CN101888431A - 3g移动终端上的视觉跟踪交互界面设计方法 - Google Patents
3g移动终端上的视觉跟踪交互界面设计方法 Download PDFInfo
- Publication number
- CN101888431A CN101888431A CN2009100155073A CN200910015507A CN101888431A CN 101888431 A CN101888431 A CN 101888431A CN 2009100155073 A CN2009100155073 A CN 2009100155073A CN 200910015507 A CN200910015507 A CN 200910015507A CN 101888431 A CN101888431 A CN 101888431A
- Authority
- CN
- China
- Prior art keywords
- interaction
- vision
- visual
- portable terminal
- mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
3G移动终端上的视觉跟踪交互界面设计方法是机器视觉技术在3G移动终端上的应用。利用人肢体的运动和姿势与3G手机进行交互是很自然的，但传统PC平台上的视觉算法计算开销大，无法在移动终端应用中获得实时性交互效果，本发明通过采用基于双核的TMS3 20DM6467芯片分担视觉运动跟踪识别算法的开销，在移动平台获得了交互的实时性。基于视觉的用户肢体运动跟踪交互技术利用移动平台上的摄像头等设备，获取肢体运动的图像序列，通过视觉算法提取肢体静态或动态特征、识别肢体的姿态或动作，从而理解用户的意图实现人机交互。本发明在3G移动终端智能交互、娱乐游戏和穿戴计算等领域有广泛的应用前景。
Description
1.所属技术领域
3G移动终端上的视觉跟踪交互界面设计方法，属于计算机应用技术领域中机器视觉技术方向。本发明涵盖了计算机视觉中的图像、视频处理技术与增强现实中的3D交互技术。
2.背景技术
目前，手机的视频处理子系统设计方案已经较为成熟，但对于复杂的视觉处理算法仍然略显不足，无法在移动终端应用中获得实时性交互效果。美国TI公司2008年推出的TMS320DM6467是基于达芬奇技术的数字媒体处理器，该芯片集成了ARM9内核、C64x+DSP内核、高清晰度视频/影像协处理器(HD-VICP)、视频数据转换引擎和目标视频端口接口，其主旨在于解决商业和消费类市场(包括媒体网关、多点控制单元、数字媒体适配器、用于安全市场的数字视频服务器、录像机和IP机顶盒)面临的各种HD代码转换的难题，是适用于范围极为广泛的数字视频终端设备，其性能是原处理器的10倍，但价格却只有原来的1/10。本发明通过采用基于双核的TMS3 20DM6467芯片分担视觉运动跟踪识别算法的开销，在移动平台上获得了交互的实时性。
3.发明内容
3G移动终端上的视觉跟踪交互界面设计方法的主要难点包括：TMS320DM6467的接口设计、用户肢体视觉运动跟踪的实现、用户肢体交互语义的识别、应用实例的交互语义驱动，以及视觉交互算法开销在多核处理器上的任务划分等几个方面。
技术方案：基于视觉的用户肢体运动跟踪交互技术，利用移动平台上的摄像头等设备获取肢体运动的图像序列，通过视觉算法提取肢体静态或动态特征、识别肢体的姿态或动作，从而理解用户的意图实现人机交互。其中，运动跟踪过程基于自适应背景减除算法实现，由于有运动物体出现的区域与背景图像的亮度差较大，因此不用处理色度信号，利用图像的亮度信息就已足够，这样就提高了系统处理速度，此过程运行于DSP/ARM之一内核上；运动轨迹提取采用图像处理方法，以延时神经网络TDNN在时域上进行运动分类，同时，提取轨迹特征点并作为匹配对象在特征库中检索，获取的检索结果将指向预定义的交互语义，此过程将运行于ARM/DS P之一内核上。通过上述处理，缓存中的数据处理速度将得到极大提高。
有益效果：利用人肢体的运动、姿势与3G手机进行交互更为自然，本发明通过采用基于DSP+ARM9双核的TMS 320DM6467芯片分担视觉运动跟踪识别算法的开销，在移动平台获得了交互的实时性。本发明在3G移动终端智能交互、娱乐游戏和穿戴计算等领域有广泛的应用前景。
4.附图说明
如图1为3G移动终端上的视觉跟踪交互界面硬件设计原理示意图，如图2为3G移动终端上的视觉跟踪交互界面软件算法处理过程示意图，其处理过程划分为两个阶段，分别运行于DSP/AR M上。
5.具体实施方式
结合示图做详细说明如下。
如图1硬件原理设计图，手机视频处理子系统设计过程中，参照TMS320DM6467接口说明设计好缓存、DMA、中断间的电路，然后移植Symbian或Window Mobile操作系统以及应用程序，比如OpenG L ES和OpenCV。参照如图2，建立对应的应用程序，并将对应功能函数建立多进程或多线程。整个运动跟踪识别过程可基于OpenCV建立，并运行于后台，前台程序可基于OpenGL ES建立三维场景应用，通过调用由后台获取的运动交互语义可驱动三维场景交互如漫游、抓取虚拟对象等，由此可判断本发明的有效性。若后台程序由OpenG L ES建立虚拟对象，前台程序由Ope nCV建立现实场景，并将后台程序中的虚拟对象渲染叠加至前台现实场景中则为增强现实应用，同样可判断本发明的有效性。此外，在二维应用中，如加解锁、开关机等交互过程可直接调用运动跟踪得到的视觉语义信号作为交互媒介。
Claims (4)
1.3G移动终端上的视觉跟踪交互界面设计方法其特征在于，3G移动终端视频处理子系统中的数字信号处理器，采用多核处理器以实现复杂交互算法的实时性。
2.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于对于实时视频的处理算法，将其划分为多个阶段性计算任务分散到多核处理器上。
3.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于3G移动终端上的交互主体以肢体语言作为交互输入信号。
4.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于3G移动终端上的交互客体以识别出的肢体语言作为交互语义指令输出到被驱动应用实例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100155073A CN101888431A (zh) | 2009-05-13 | 2009-05-13 | 3g移动终端上的视觉跟踪交互界面设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100155073A CN101888431A (zh) | 2009-05-13 | 2009-05-13 | 3g移动终端上的视觉跟踪交互界面设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101888431A true CN101888431A (zh) | 2010-11-17 |
Family
ID=43074144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100155073A Pending CN101888431A (zh) | 2009-05-13 | 2009-05-13 | 3g移动终端上的视觉跟踪交互界面设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101888431A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989835A (zh) * | 2017-09-11 | 2020-04-10 | 大连海事大学 | 一种基于手势识别的全息投影装置的工作方法 |
-
2009
- 2009-05-13 CN CN2009100155073A patent/CN101888431A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989835A (zh) * | 2017-09-11 | 2020-04-10 | 大连海事大学 | 一种基于手势识别的全息投影装置的工作方法 |
| CN110989835B (zh) * | 2017-09-11 | 2023-04-28 | 大连海事大学 | 一种基于手势识别的全息投影装置的工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Hmor: Hierarchical multi-person ordinal relations for monocular multi-person 3d pose estimation | |
| Kumarapu et al. | Animepose: Multi-person 3d pose estimation and animation | |
| KR100958379B1 (ko) | 복수 객체 추적 방법과 장치 및 저장매체 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| Hwang et al. | Monoeye: Multimodal human motion capture system using a single ultra-wide fisheye camera | |
| Baby et al. | Dynamic vision sensors for human activity recognition | |
| Liu et al. | Combining 3d joints moving trend and geometry property for human action recognition | |
| Zhang et al. | Multimodal spatiotemporal networks for sign language recognition | |
| Liu et al. | 3D action recognition using multiscale energy-based global ternary image | |
| CN116917949A (zh) | 根据单目相机输出来对对象进行建模 | |
| Zhang et al. | Handsense: smart multimodal hand gesture recognition based on deep neural networks | |
| CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
| Tsai et al. | A skeleton-based dynamic hand gesture recognition for home appliance control system | |
| Mariappan et al. | Picolife: A computer vision-based gesture recognition and 3D gaming system for android mobile devices | |
| Singh | Recognizing hand gestures for human computer interaction | |
| CN112069943A (zh) | 基于自顶向下框架的在线多人姿态估计与跟踪方法 | |
| Howe et al. | Comparison of hand segmentation methodologies for hand gesture recognition | |
| CN101888431A (zh) | 3g移动终端上的视觉跟踪交互界面设计方法 | |
| Gahlot et al. | Skeleton based human action recognition using Kinect | |
| Fang et al. | Dynamic gesture recognition based on multimodal fusion model | |
| Jain et al. | Synthetic video generation for robust hand gesture recognition in augmented reality applications | |
| Yang et al. | Detection and recognition of hand gesture for wearable applications in IoMT | |
| Jian et al. | A micro-gesture recognition on the mobile web client | |
| Song et al. | Towards robust ego-centric hand gesture analysis for robot control | |
| Song et al. | Real-time single camera natural user interface engine development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20101117 |