CN101424972B - 在连续影像中计算目标非结构化物体位置的方法 - Google Patents
在连续影像中计算目标非结构化物体位置的方法 Download PDFInfo
- Publication number
- CN101424972B CN101424972B CN2007101659336A CN200710165933A CN101424972B CN 101424972 B CN101424972 B CN 101424972B CN 2007101659336 A CN2007101659336 A CN 2007101659336A CN 200710165933 A CN200710165933 A CN 200710165933A CN 101424972 B CN101424972 B CN 101424972B
- Authority
- CN
- China
- Prior art keywords
- destructuring
- target
- image
- continuous image
- calculate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001914 filtration Methods 0.000 claims 1
- 210000005224 forefinger Anatomy 0.000 description 8
- 230000003993 interaction Effects 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种在连续影像中计算非结构化物体位置的方法，其首先建立目标物体的线条样板，并分析出其中特征部分的位置；而后撷取目标物体的连续影像，并利用该连续影像中特征部分周围的亮度变化，计算出目前影像特征部分的候选位置；接着计算该候选位置周围影像于该连续影像中的差异程度，以及该候选位置周围影像与目标物体的线条样板的相似度；再利用所计算出的差异程度，以及与目标物体的线条样板的相似度，计算出目标物体的特征部分在影像中的位置。
Description
技术领域
本发明是有关于一种在连续影像中计算目标非结构化物体位置的方法，尤指一种初始化目标物体样板后，利用追踪算法计算出下个时间点的搜寻空间，并使用运动和边缘的影像特征信息来计算与样板的相似程度，藉此追踪定位出目标非结构化物体位置的方法。
背景技术
在人机互动的接口中，单纯以影像处理来辨识使用者的活动，相对于穿戴式、接触式的感测工具辅助较为困难，而且影像处理所需要的内存和处理时间需求很大，要达成实时反应的效果相对不易；除了希望追踪定位的特定对象外，往往含有许多背景、噪声、光线变化等干扰因素，因此目前技术多需要用架设多台摄影机、配合其它感测组件，或要求单纯的背景环境等方式来达到良好的辨识率。
就现有专利而言，如美国发明专利第6434255号“Hand pointingapparatus”，该案提出一种手部指向的方法，以3D视觉方式定位的，需要二台影像撷取装置计算3D空间信息。
如美国发明专利第6600475号“Single camera system for gesture-basedinput and target indication”，该案提出单一摄影机系统下以姿态为基础的目标指向，其是以空间几何的关是来定位追踪，且定位追踪物体前需要设定四个参考点。
如美国发明专利第7148913号“Vision-based pointer tracking andobject classification method and apparatus”，该案提出以视觉为基础的指向追踪和物体分类的方法，以追踪算法缩小搜寻区域，再使用预测方式追踪物体，且以辨识该区域有无该物体来确认其位置。
如中国台湾发明专利申请第91118146号“指动式指针输入装置”，该案所提出的输入装置，需要安装二台影像位置感知器，一用以侦测手部水平位移，一用以侦测手部垂直位移，且该专利仅能针对手部位置的定位。
再如中国台湾新型专利申请第95217697号“计算机指针操作装置”，该案所提出的指针操作装置，使用者必须于指尖配戴指环以作为定位追踪的依据，换言之，该专利只能追踪定位配戴有指环的物体。
据此可知，如何利用最少的装置，使用最自然的方式与机器达到互动，无须任何标记或感测工具，且不限定物体形状，即可快速追踪出物体位置，是急需解决的重要课题。
发明内容
有鉴于现有技术的缺失，本发明的目的在于提出一种在连续影像中计算非结构化物体位置的方法，仅需要一台影像撷取装置，使用者不需事先做冗长的训练，无须佩戴或设置任何标记、感应器或感测工具，即可快速追踪出物体位置；不限定特殊形状的物体，而且非结构化的物体亦可以定位其位置；使用者可以利用最少的装置，使用最自然的方式与机器达到互动的目的。
为达到上述目的，本发明提出一种在连续影像中计算目标非结构化物体位置的方法，其是首先建立目标非结构化物体的线条样板，并分析出其中特征部分的位置；而后撷取目标非结构化物体的连续影像，并利用该连续影像中特征部分周围的亮度变化，计算出目前影像特征部分的候选位置；接着计算于该连续影像中的候选位置周围影像的像素的差异程度，以及该候选位置周围影像与目标非结构化物体的线条样板的相似度；再利用所计算出的差异程度，以及与目标非结构化物体的线条样板的相似度，计算出目标非结构化物体的特征部分在影像中的位置。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1是本发明的演算流程图；
图2是本发明的架构示意图。
其中，附图标记
20 影像撷取装置
30 使用者
31 手部
311 食指
32 头部
33 身体
40 屏幕
41 特定区域
具体实施方式
以下将参照随附的图式来描述本发明为达成目的所使用的技术手段与功效，而以下图式所列举的实施例仅为辅助说明，以利审查员了解，但本案的技术手段并不限于所列举图式。
请参阅图1所示本发明提供的在连续影像中计算非结构化物体位置的方法的演算流程图：
步骤101：定位追踪程序开始。
步骤102：初始化使用者欲定位追踪的目标物体样板。请参阅图2所示，其显示藉由一影像撷取装置20撷取使用者30的影像，并显示于一屏幕40上，于该屏幕40上设有一特定区域41，该特定区域41是供设定初始化使用者欲定位追踪的目标物体样板，如图所示，该凸伸食指311的手部31是预定位追踪的目标物体，使用者30自行调整位置，使该手部31可完全位于该特定区域41内，再由系统分析该手部31的边缘特征，作为初始化物体样板，并设定一初始化权重值。
步骤103：系统于目标物体(亦即图2所示该凸伸食指311的手部31)上定位一参考点位置，并纪录该参考点的亮度，作为系统追踪之用。该参考点位置可依所需设定，通常是位于分析所得目标物体的轮廓线条较为突显的部位，如图2所示，该参考点位置是位于食指311的指尖。
步骤104：侦测参考点的周围像素亮度变化，包含该影像的灰阶梯度，计算与原参考点亮度变化最接近的位置坐标。
步骤105：若得到与原参考点亮度变化最接近的新位置坐标，则将原参考点移至新位置坐标；反之，则表示追踪失败。
步骤106：若环境亮度变化太大或其它因素，例如原目标物体消失，或原初始化目标物体外型改变过大，而无法追踪到下个时刻参考点的新位置时，则必须重新初始化物体样板，回到步骤102。
步骤107：当追踪到下个时刻参考点的新位置时，则以新的参考点位置设定为目前的搜寻空间大小和位置，藉此缩小需要搜寻空间，有效地节省搜寻的时间。
步骤108：计算初始样板在搜寻区域中的运动程度。于正常情况下，相对于背景、环境中的其它物体，例如使用者30的头部32、身体33，或窗户、家具(图中未示出)等等，该凸伸食指311的手部31必然是屏幕40上运动量最大的物体，因此可经由计算搜寻区域中初始物体样板具有运动程度最高的位置，得出目标物体的新位置坐标。
步骤109：计算搜寻区域中的目标物体的边缘特征和初始样板的相似度，并撷取相似度最高的位置坐标；就图2所示该该凸伸食指311的手部31而言，即使手部31及该食指311于移动过程中产生角度变化，或食指311的弯曲度改变，基本上均可维持与初始化物体样板相近似的边缘特征；换言之，使用者30于进行步骤102初始化物体样板前，必须选定最适当的目标物体形状，且于定位过程中不再大幅度改变原目标物体形状。
步骤110：确认搜寻空间中以运动程度和边缘特征计算出权重值最高的位置坐标。
步骤111：计算搜寻结果得到的权重值是否低于初始化权重值；若低于初始化权重值，代表找不到相似的物体样板，则必须重新初始化物体样板(步骤106)，回到步骤102。
步骤112：若搜寻结果得到的权重值高于初始化时的权重值，则将新定位到的样板位置更新参考点。
根据上述流程，可归纳出本发明所提出的在连续影像中计算非结构化物体位置的方法具有以下主要步骤：
A.建立目标物体的线条样板，并分析出其中特征部分的位置；可先过滤出目标物体前景后，再建立目标物体的线条样板；再者，所建立目标物体的线条样板，可包含计算出目标物体亮度变化较大的线条信息，以及计算出目标物体色彩变化较大的线条信息，以取得最佳化线条样板。
B.撷取目标物体移动时的连续影像，并利用该连续影像中特征部分周围的亮度变化，包含该连续影像的灰阶梯度，以计算出目前影像特征部分的候选位置。
C.计算该候选位置周围影像于该连续影像中的差异程度，包含分析该目标物体于该连续影像中的运动程度，并使用权重累计该候选位置坐标周围影像于该连续影像中的差异程度；以及，该候选位置周围影像与目标物体的线条样板的相似度，包含在接收连续影像输入并计算目标物体的特征部分在影像中位置的同时，重新建立目标物体的线条样板。
D.利用步骤C所计算出的差异程度，以及与目标物体的线条样板的相似度，并采用权重累加差异程度与相似度以计算出目标物体的特征部分在影像中的位置。
综上所述，本发明所提供的在连续影像中计算非结构化物体位置的方法，利用最少的装置，使用最自然的方式与机器达到互动，无须任何标记或感测工具，且不限定物体形状，即可快速追踪出物体位置；可运用于不同产业领域，例如：
(1)游戏玩具相关产业：只需单一摄影机，更容易放置于体积较小的玩具中，有机会让玩具具备视觉，提升让使用者能以简单手势控制玩具的可行性。对家庭游戏而言，单一摄影机可装置于屏幕或游戏主机上，不须对家庭环境做额外的更动。
(2)运动休闲相关产业：运动休闲目前发展趋势强调个人适性化，不需冗长的事先训练时间，更容易达到自动适应每个使用者的手势或姿态。
(3)互动展示相关产业：对于互动展示可进一步提升直觉性，透过无接触式的感测，让使用者可以对互动展示的内容做类似鼠标一般的控制，可进一步拓展互动展示市场的应用范围。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种在连续影像中计算目标非结构化物体位置的方法，其特征在于，包含下列步骤：
A.建立目标非结构化物体的线条样板，并分析出其中特征部分的位置；
B.撷取目标非结构化物体的连续影像，并利用该连续影像中特征部分周围的亮度变化，计算出目前影像特征部分的候选位置；
C.计算于该连续影像中的候选位置周围影像的像素的差异程度，以及该候选位置周围影像与目标非结构化物体的线条样板的相似度；
D.利用步骤C所计算出的差异程度，以及与目标非结构化物体的线条样板的相似度，计算出目标非结构化物体的特征部分在影像中的位置。
2.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤A是先过滤出目标非结构化物体前景后，再建立目标非结构化物体的线条样板。
3.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤A所建立目标非结构化物体的线条样板，是包含计算出目标非结构化物体亮度变化较大的线条信息。
4.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤A所建立目标非结构化物体的线条样板，是包含计算出目标非结构化物体色彩变化较大的线条信息。
5.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤B是撷取该目标非结构化物体移动时的连续影像。
6.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤B所利用的连续影像中特征部分周围的亮度变化，是包含该连续影像的灰阶梯度。
7.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤C所计算的于连续影像中的候选位置周围影像的像素的差异程度，是包含分析该目标非结构化物体于该连续影像中的运动程度。
8.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤C所计算的于连续影像中的候选位置周围影像的像素的差异程度，是包含使用权重累计该候选位置坐标周围影像于该连续影像中的差异程度。
9.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤C所计算的该候选位置周围影像与目标非结构化物体的线条样板的相似度，是包含在接收连续影像输入并计算目标非结构化物体的特征部分在影像中位置的同时，重新建立目标非结构化物体的线条样板。
10.如权利要求1所述的在连续影像中计算目标非结构化物体位置的方法，其特征在于，其中该步骤D还包含使用权重累加差异程度与相似度以计算出目标非结构化物体的特征部分在影像中的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101659336A CN101424972B (zh) | 2007-11-02 | 2007-11-02 | 在连续影像中计算目标非结构化物体位置的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101659336A CN101424972B (zh) | 2007-11-02 | 2007-11-02 | 在连续影像中计算目标非结构化物体位置的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101424972A CN101424972A (zh) | 2009-05-06 |
| CN101424972B true CN101424972B (zh) | 2010-06-16 |
Family
ID=40615615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101659336A Expired - Fee Related CN101424972B (zh) | 2007-11-02 | 2007-11-02 | 在连续影像中计算目标非结构化物体位置的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101424972B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117116B (zh) * | 2009-12-30 | 2013-02-13 | 微盟电子(昆山)有限公司 | 运动物体识别方法及基于运动物体识别的指令输入方法 |
| CN105224941B (zh) * | 2014-06-18 | 2018-11-20 | 台达电子工业股份有限公司 | 对象辨识与定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1704247A (zh) * | 2004-06-02 | 2005-12-07 | 德鑫科技股份有限公司 | 处理图形的方法 |
| CN1711557A (zh) * | 2002-11-19 | 2005-12-21 | 皇家飞利浦电子股份有限公司 | 使用样板预测的图像分段 |
-
2007
- 2007-11-02 CN CN2007101659336A patent/CN101424972B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1711557A (zh) * | 2002-11-19 | 2005-12-21 | 皇家飞利浦电子股份有限公司 | 使用样板预测的图像分段 |
| CN1704247A (zh) * | 2004-06-02 | 2005-12-07 | 德鑫科技股份有限公司 | 处理图形的方法 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开2001-121848A 2001.05.08 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101424972A (zh) | 2009-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8582037B2 (en) | System and method for hand gesture recognition for remote control of an internet protocol TV | |
| KR101711619B1 (ko) | 컴퓨터 장치의 원격 제어 | |
| CA2880052C (en) | Virtual controller for visual displays | |
| US8166421B2 (en) | Three-dimensional user interface | |
| CN103164022B (zh) | 多指触摸方法和装置、便携式终端设备 | |
| US20130335324A1 (en) | Computer vision based two hand control of content | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| Störring et al. | Computer vision-based gesture recognition for an augmented reality interface | |
| TW201317843A (zh) | 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法 | |
| Iannizzotto et al. | Hand tracking for human-computer interaction with graylevel visualglove: turning back to the simple way | |
| KR102052449B1 (ko) | 가상 마우스 시스템 및 그 제어 방법 | |
| Gupta et al. | Hand Gesture Recognition using OpenCV | |
| CN101424972B (zh) | 在连续影像中计算目标非结构化物体位置的方法 | |
| US20090110237A1 (en) | Method for positioning a non-structural object in a series of continuing images | |
| Zhang et al. | Near-field touch interface using time-of-flight camera | |
| KR20140140482A (ko) | 오브젝트의 움직임을 이용하여 사용자 입력을 처리하는 장치 및 방법 | |
| CN110007748B (zh) | 终端的控制方法、处理装置、存储介质及终端 | |
| Chan et al. | Real-time tracking of hand gestures for interactive game design | |
| KR101171239B1 (ko) | 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법 | |
| Chang et al. | Virtual keyboard for head mounted display-based wearable devices | |
| Tiwari et al. | Volume Controller using Hand Gestures | |
| Hsieh et al. | Robust visual mouse by motion history image | |
| Ahn et al. | Depth Camera-based Screen Control System Employing Fingertip | |
| Moeslund et al. | Pointing and command gestures for augmented reality | |
| Fang et al. | Hand tracking and application in map navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100616 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |