CN102012769B - 利用摄像头对屏幕上的内容进行多点控制的方法和装置 - Google Patents
利用摄像头对屏幕上的内容进行多点控制的方法和装置 Download PDFInfo
- Publication number
- CN102012769B CN102012769B CN 201010552010 CN201010552010A CN102012769B CN 102012769 B CN102012769 B CN 102012769B CN 201010552010 CN201010552010 CN 201010552010 CN 201010552010 A CN201010552010 A CN 201010552010A CN 102012769 B CN102012769 B CN 102012769B
- Authority
- CN
- China
- Prior art keywords
- input target
- input
- screen
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种利用摄像头对屏幕上的内容进行多点控制的方法和装置，通过摄像头采集图像，然后确定图像中的运动前景，并确认输入目标，然后对输入目标区域进行跟踪，并判断输入状态，将处于输入状态的点映射到屏幕上的控制点，通过控制点对屏幕内容进行多点控制操作。整个装置方法简单，成本较低。
Description
【技术领域】
本发明涉及触摸屏多点控制领域，特别是关于基于摄像头的多点控制方法和装置。
【背景技术】
多点触摸技术是指在可以允许用户在屏幕的多个位置同时输入，与传统的鼠标键盘的输入方式相比，这种技术是一种完全不同的人机交互的方式。这种技术最突出的特点是多个用户可以同时与机器交互，每个用户可以用多个手指操作屏幕，比如可以用两个手指缩放一幅图像，用一根手指移动物体，还可以产生捏的效果。
目前的触摸技术实现主要基于两种技术：红外投影仪和红外摄像机；面阵LED。前一种方式采用的比较多，也比较成熟，它是基于一种称为受抑全内反射（Frustrated Total Internal Reflection，FTIR）的技术，摄像机采集下面板上手指的红外散射光进行图像处理，分析出手指的位置和姿态，然后计算机可以做出相应的响应。
以上方法实现上比较复杂，而且成本高昂。因此有必要提供一种新的多点触摸输入技术。
【发明内容】
本发明的目的在于提供一种利用摄像头对屏幕上的内容进行多点控制的方法。
本发明的另一目的在于提供一种利用摄像头对屏幕上的内容进行多点控制的装置。
为达成前述目的，本发明一种利用摄像头对屏幕上的内容进行多点控制的方法，其包括：
摄像头获取图像；
对图像区域进行运动检测，利用背景模型检测图像中的运动前景区域；
对前景区域进行检测，确定输入目标；
对输入目标进行连通域分析获取多个独立的区域，作为检测跟踪的输入目标区域；
提取各输入目标区域的特征；
根据各输入目标区域的特征，对各输入目标区域进行跟踪；
根据对输入目标区域的跟踪判断输入目标的输入状态；
将处于输入状态的点映射到屏幕上的控制点，通过控制点对屏幕内容进行多点控制操作。
进一步地，前述对前景区域进行检测，确定输入目标，进一步包括确定预先设定的特定输入目标和确定非特定输入目标。
进一步地，所述确定非特定输入目标包括：
对图像进行运动检测，获取图像中的运动前景；
对图像中某个特定部位进行标识，设定一个检测目标判断区；
对前述运动前景进行判断，判断运动前景是否进入标识的检测目标判断区，如果运动前景进入标识的检测目标判断区，则进行下一步，否则返回继续对图像进行运动检测；
判断进入检测目标判断区的运动前景在检测目标判断区内停滞的时间是否大于预定值，如果运动前景在检测目标判断区内停滞的时间大于预定值，则进行下一步；如果运动前景在检测目标判断区停滞的时间小于预定值，则返回继续对图像进行运动检测；
判断进入检测目标判断区的运动前景的尺寸是否大于预定值，如果运动前景小于预定尺寸，则返回继续对图像进行运动检测；如果运动前景大于预定尺寸则确定所述运动前景为非特定输入目标。
进一步地，所述提取各输入目标区域的特征是对各输入目标区域利用颜色直方图和/或边缘信息作为特征描述。
进一步地，所述对各输入目标区域进行跟踪是利用均值漂移算法(mean-shift)对各输入目标区域进行跟踪。
进一步地，所述判断输入目标的输入状态是当输入目标尺寸大于预定阈值时认为是输入状态，否则为离开状态。
为达成前述另一目的，本发明一种利用摄像头对屏幕上的内容进行多点控制的装置，其包括：
运动前景检测单元，用于对采集图像进行背景建模，利用背景差获取运动的前景区域；
输入目标确定单元，用于从运动前景检测单元检测到的前景区域中确定输入目标；
特征抽取单元，用于对输入目标确定单元确定的输入目标进行特征的抽取；
跟踪检测单元，根据特征抽取单元抽取的输入目标的特征，对图像中确定的输入目标进行输入目标区域的跟踪；
输入状态判断单元，根据踪检测单元跟踪的跟踪结果，判断输入目标是否为输入状态；
多点控制映射单元，在输入目标处于输入状态时对跟踪的输入目标区域进行映射，对屏幕内容进行多点控制。
进一步地，前述输入目标可以是事先确定的某个特定可检测的物体，也可以是未知目标，当为未知目标时利用预先设定一个检测判断区域，判断进入该区域中运动目标的停滞时间以及尺寸来确定输入目标。
进一步地，前述特征抽取单元抽取的是输入目标区域的颜色直方图和/或边缘信息作为特征描述。
进一步地，当输入目标尺寸大于预定阈值时所述输入状态判断单元判断输入目标是输入状态，否则为离开状态。
本发明利用摄像头对屏幕上的内容进行多点控制的方法及装置，利用摄像头采集图像信息，然后确定图像中的前景区域，并从前景区域中进一步区分出输入目标，然后对输入目标所在的输入目标区域进行跟踪，判断输入目标的输入状态，并将输入状态的点映射到屏幕上的控制点，对屏幕上的内容进行控制。相对于现有的触摸技术方法简单，整个系统结构也相对简单，因此成本较低。
【附图说明】
图1是本发明的利用摄像头对屏幕上的内容进行多点控制的方法的流程图。
图2是本发明的方法中检测非特定输入目标的流程图。
图3是检测非特定输入目标的示意图。
图4是确定跟踪输入目标区域的示意图。
图5是确定输入状态的示意图。
图6是对屏幕内容进行多点控制的示意图。
图7是本发明利用摄像头对屏幕上的内容进行多点控制的装置的结构框图。
【具体实施方式】
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的单元顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。
本发明是关于一种利用普通摄像头对输入目标进行跟踪检测并映射到屏幕上的控制点，通过控制点的操作实现对屏幕上具体内容的多点控制。
请参阅图1所示，其显示本发明的利用摄像头对屏幕上的内容进行多点控制的方法，其包括如下步骤：
步骤S11：摄像头获取图像。
步骤S12：对图像区域进行运动检测，利用背景模型检测图像中的运动物体，即获取图像的运动前景信息。关于图像中的前景检测的技术可以采用本领域技术人员熟知的现有技术。
步骤S13：对前景区域进行检测，确定特定的输入目标。
因为虽然确定出前景信息，但并非所有的前景信息都是输入目标，因此需要进一步在前景中确定输入目标。在本发明的一个实施例中，前述输入目标可以是事先设定好的特定目标，例如某个特定的顶端易于识别的输入棒，对前景区域进行检测即从前景区域中检测出该特定的输入棒。
步骤S14：对前景区域进行检测，确定不特定的输入目标。
在本发明的一些实施例中，如果用户找不到前述输入棒时，可能会使用手指或其他物体来进行多点控制，此时因为每个人的手指可能不一样，所以不是预先确定的目标，此时需要识别出进行输入的不特定的输入目标。
请参阅图2及图3所示，其中前述识别不特定的输入目标（手指）的步骤S14包括：
步骤S141：对图像31进行运动检测，获取图像31中的运动物体32，即图像的运动前景32，在本实施例中该运动前景32为人的手指。
步骤S142：对图像31中某个特定部位进行标识，设定一个检测目标判断区33。
步骤S143：对前述运动前景32进行判断，判断运动前景32是否进入标识的检测目标判断区33，如果运动前景32进入标识的检测目标判断区33，则进行下一步，否则返回步骤S141继续检测。
步骤S144：判断进入检测目标判断区33的运动前景32在检测目标判断区33内停滞的时间是否大于预定值，如果运动前景32在检测目标判断区33内停滞的时间大于预定值，则进行下一步。如果运动前景32在检测目标判断区33停滞的时间小于预定值，则表示该运动前景32不是输入目标，因此返回前述步骤S141继续进行运动检测。
步骤S145：对运动前景32进行尺寸滤波，即判断进入检测目标判断区33的运动前景的尺寸是否大于预定值，如果运动前景32小于预定尺寸，则返回步骤S141，继续进行检测，当运动前景32大于预定尺寸时才表示是输入目标，因此可以确定输入目标。
步骤S15：对输入目标进行连通域分析获取多个独立的区域，作为检测跟踪的输入目标区域，如图4中的圆圈区域34。
步骤S16：提取各输入目标区域的特征，对各输入目标区域利用颜色直方图和/或边缘信息作为特征描述。
步骤S17利用均值漂移算法(mean-shift)对各输入目标区域进行跟踪。
步骤S18：判断输入目标的输入状态。前面确定的圆圈区域为输入目标区域，当用户的输入棒或者手指位于该区域时，可能并未输入。当用户需要输入时，需要点击屏幕上欲控制的图像，在点击图像时，输入棒或手指会靠近图像，输入棒或手指距离摄像头的距离变近，则摄像头采集到的输入棒或手指的尺寸会变大，如图5所示，当输入目标尺寸（或直径）大于某个阈值时（该阈值可以用一个系数（如1.2）和对应输入目标区域的尺寸相乘获得），认为是输入状态，相当于触摸屏的接触状态，否则为离开状态。
步骤S19：如图6所示，将处于输入状态的点映射到屏幕上的控制点，通过控制点对屏幕内容4进行多点控制操作。
请参阅图7所示，本发明的利用普通摄像头对输入目标进行跟踪检测并映射到屏幕上的控制点，通过控制点的操作实现对屏幕上具体内容的多点控制的装置1其包括：运动前景检测单元11、输入目标确定单元12、特征抽取单元13、跟踪检测单元14、输入状态判断单元15以及多点控制影射单元16。
运动前景检测单元11对采集图像进行背景建模，利用背景差获取运动的前景区域。
输入目标确定单元12用于从运动前景检测单元检测到的前景区域中确定输入目标，该目标可以是事先确定的某个特定可检测的物体，也可以是未知目标，当为未知目标时利用预先设定一个检测判断区域，判断进入该区域中运动目标的停滞时间以及尺寸来确定输入目标。
特征抽取单元13对输入目标确定单元12确定的输入目标进行特征的抽取，如颜色直方图和/或边缘信息，用来为后续的跟踪检测单元14提供信息。
跟踪检测单元14对图像中确定的输入目标进行特定区域（输入目标区域）的跟踪。
输入状态判断单元15对跟踪检测单元14跟踪的结果进行判断，判断输入目标是否为输入状态。
多点控制映射单元16，在输入目标处于输入状态时对跟踪的输入目标区域进行映射，对屏幕内容进行多点控制。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (7)
1.一种利用摄像头对屏幕上的内容进行多点控制的方法，其包括：
摄像头获取图像；
对图像区域进行运动检测，利用背景模型检测图像中的运动前景区域；
对前景区域进行检测，确定预先设定的特定输入目标或确定非特定输入目标；
对输入目标进行连通域分析获取多个独立的区域，作为检测跟踪的输入目标区域；
提取各输入目标区域的特征；
根据各输入目标区域的特征，对各输入目标区域进行跟踪；
根据对输入目标区域的跟踪判断输入目标的输入状态，当输入目标尺寸大于预定阈值时认为是输入状态，否则为离开状态；
将处于输入状态的点映射到屏幕上的控制点，通过控制点对屏幕内容进行多点控制操作。
2.如权利要求1所述的利用摄像头对屏幕上的内容进行多点控制的方法，其特征在于：所述确定非特定输入目标包括：
对图像进行运动检测，获取图像中的运动前景；
对图像中某个特定部位进行标识，将所标识的区域设为一个检测目标判断区；
对前述运动前景进行判断，判断运动前景是否进入所述检测目标判断区，如果运动前景进入所述检测目标判断区，则进行下一步，否则返回继续对图像进行运动检测；
判断进入检测目标判断区的运动前景在检测目标判断区内停滞的时间是否大于预定值，如果运动前景在检测目标判断区内停滞的时间大于预定值，则进行下一步；如果运动前景在检测目标判断区停滞的时间小于预定值，则返回继续对图像进行运动检测；
判断进入检测目标判断区的运动前景的尺寸是否大于预定值，如果运动前景小于预定尺寸，则返回继续对图像进行运动检测；如果运动前景大于预定尺寸则确定所述运动前景为非特定输入目标。
3.如权利要求1所述的利用摄像头对屏幕上的内容进行多点控制的方法， 其特征在于：所述提取各输入目标区域的特征是对各输入目标区域利用颜色直方图和/或边缘信息作为特征描述。
4.如权利要求1所述的利用摄像头对屏幕上的内容进行多点控制的方法，其特征在于：所述对各输入目标区域进行跟踪是利用均值漂移算法(mean-shift)对各输入目标区域进行跟踪。
5.一种利用摄像头对屏幕上的内容进行多点控制的装置，其包括：
运动前景检测单元，用于对采集图像进行背景建模，利用背景差获取运动的前景区域；
输入目标确定单元，用于从运动前景检测单元检测到的前景区域中确定输入目标，该目标是预先设定的特定输入目标或非特定输入目标；
特征抽取单元，用于对输入目标确定单元确定的输入目标进行特征的抽取；
跟踪检测单元，根据特征抽取单元抽取的输入目标的特征，对图像中确定的输入目标进行输入目标区域的跟踪；
输入状态判断单元，根据跟踪检测单元跟踪的跟踪结果，判断输入目标是否为输入状态，当输入目标尺寸大于预定阈值时所述输入状态判断单元判断输入目标是输入状态，否则为离开状态；
多点控制映射单元，在输入目标处于输入状态时对跟踪的输入目标区域进行映射，对屏幕内容进行多点控制。
6.如权利要求5所述的利用摄像头对屏幕上的内容进行多点控制的装置，其特征在于：当前述输入目标为非特定输入目标时利用预先设定一个检测判断区域，判断进入该区域中运动目标的停滞时间以及尺寸来确定输入目标。
7.如权利要求6所述的利用摄像头对屏幕上的内容进行多点控制的装置，其特征在于：前述特征抽取单元抽取的是输入目标区域的颜色直方图和/或边缘信息作为特征描述。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010552010 CN102012769B (zh) | 2010-11-18 | 2010-11-18 | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010552010 CN102012769B (zh) | 2010-11-18 | 2010-11-18 | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102012769A CN102012769A (zh) | 2011-04-13 |
| CN102012769B true CN102012769B (zh) | 2013-03-27 |
Family
ID=43842955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010552010 Active CN102012769B (zh) | 2010-11-18 | 2010-11-18 | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102012769B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102789645B (zh) * | 2012-06-21 | 2015-06-17 | 武汉烽火众智数字技术有限责任公司 | 一种用于周界防范的多目标快速跟踪方法 |
| CN102945103B (zh) * | 2012-10-19 | 2015-12-09 | 无锡海森诺科技有限公司 | 一种光学传感器触摸物识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003323604A (ja) * | 2002-04-26 | 2003-11-14 | Nippon Hoso Kyokai <Nhk> | 動作判定方法、動作判定装置、及び動作判定プログラム |
| CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位系统及其定位方法 |
| CN101038671A (zh) * | 2007-04-25 | 2007-09-19 | 上海大学 | 基于立体视觉三维手指运动轨迹跟踪方法 |
| CN101212658A (zh) * | 2007-12-21 | 2008-07-02 | 北京中星微电子有限公司 | 一种目标跟踪方法及装置 |
| CN101324922A (zh) * | 2008-07-30 | 2008-12-17 | 北京中星微电子有限公司 | 手指尖轨迹获取方法和装置 |
-
2010
- 2010-11-18 CN CN 201010552010 patent/CN102012769B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003323604A (ja) * | 2002-04-26 | 2003-11-14 | Nippon Hoso Kyokai <Nhk> | 動作判定方法、動作判定装置、及び動作判定プログラム |
| CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位系统及其定位方法 |
| CN101038671A (zh) * | 2007-04-25 | 2007-09-19 | 上海大学 | 基于立体视觉三维手指运动轨迹跟踪方法 |
| CN101212658A (zh) * | 2007-12-21 | 2008-07-02 | 北京中星微电子有限公司 | 一种目标跟踪方法及装置 |
| CN101324922A (zh) * | 2008-07-30 | 2008-12-17 | 北京中星微电子有限公司 | 手指尖轨迹获取方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102012769A (zh) | 2011-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108845668B (zh) | 人机交互系统和方法 | |
| Naglot et al. | Real time sign language recognition using the leap motion controller | |
| CN104992171A (zh) | 一种基于2d视频序列的手势识别及人机交互方法和系统 | |
| Agarwal et al. | High precision multi-touch sensing on surfaces using overhead cameras | |
| Wu et al. | Robust fingertip detection in a complex environment | |
| US20120062736A1 (en) | Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system | |
| CN110796018B (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN103984928A (zh) | 基于景深图像的手指手势识别方法 | |
| US10366281B2 (en) | Gesture identification with natural images | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| CN103294257B (zh) | 对于手写识别用于引导手写输入的装置和方法 | |
| CN106095201B (zh) | 一种投影交互系统的双击检测方法 | |
| CN103207709A (zh) | 一种多点触摸系统及方法 | |
| CN103105924B (zh) | 人机交互方法和装置 | |
| Jinda-Apiraksa et al. | A simple shape-based approach to hand gesture recognition | |
| Chen et al. | Research and implementation of sign language recognition method based on Kinect | |
| CN114138121B (zh) | 用户手势识别方法、装置、系统、存储介质及计算设备 | |
| She et al. | A real-time hand gesture recognition approach based on motion features of feature points | |
| CN108073930A (zh) | 一种基于多个不规则roi的目标检测和跟踪方法 | |
| CN111444764A (zh) | 一种基于深度残差网络的手势识别方法 | |
| CN103793056A (zh) | 基于距离向量的空中手势漫游控制方法 | |
| CN108614988A (zh) | 一种复杂背景下的运动手势自动识别系统 | |
| CN103713755A (zh) | 一种触摸识别装置及识别方法 | |
| CN102012769B (zh) | 利用摄像头对屏幕上的内容进行多点控制的方法和装置 | |
| CN102194097A (zh) | 一种多用途手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Patentee after: WUXI ZHONGGAN MICROELECTRONIC CO., LTD. Address before: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Patentee before: Wuxi Vimicro Co., Ltd. |