CN102446032A - 基于摄像头的信息输入方法及终端 - Google Patents

基于摄像头的信息输入方法及终端 Download PDF

Info

Publication number
CN102446032A
CN102446032A CN2010105041226A CN201010504122A CN102446032A CN 102446032 A CN102446032 A CN 102446032A CN 2010105041226 A CN2010105041226 A CN 2010105041226A CN 201010504122 A CN201010504122 A CN 201010504122A CN 102446032 A CN102446032 A CN 102446032A
Authority
CN
China
Prior art keywords
information
terminal
change
zone
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105041226A
Other languages
English (en)
Other versions
CN102446032B (zh
Inventor
柳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Co Ltd
Original Assignee
China Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Co Ltd filed Critical China Mobile Communications Co Ltd
Priority to CN201010504122.6A priority Critical patent/CN102446032B/zh
Priority to PCT/CN2011/080303 priority patent/WO2012041234A1/zh
Priority to KR20137011118A priority patent/KR101477592B1/ko
Priority to US13/877,084 priority patent/US20130328773A1/en
Publication of CN102446032A publication Critical patent/CN102446032A/zh
Application granted granted Critical
Publication of CN102446032B publication Critical patent/CN102446032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于摄像头的信息的信息输入方法及终端，用以提供一种不会对终端屏幕产生遮挡，且耗费资源较少的输入方式。方法包括：终端从摄像头获得的图像中，识别出具备指定色彩信息的区域；确定所述区域的变化信息；根据所述变化信息确定输入终端的信息。

Description

基于摄像头的信息输入方法及终端
技术领域
本发明涉及通信技术领域，尤其涉及一种基于摄像头的信息输入方法及终端。
背景技术
随着终端的不断发展，终端功能越来越强大，人机交互的方式也越来越方便、自然、友好。目前许多的终端都支持键盘输入、触摸屏输入、语音输入等多种用户输入方式。在用户进行输入时，最习惯利用手指完成输入操作，手指是最直接也是最有效的人机交互工具。在现有技术中，除了传统的基于键盘的手指输入方式以外，还有如下两类利用手指进行输入的方式：
方式一：基于摄像头的方式，即利用计算机视觉技术跟踪、识别手指运动轨迹，实现利用手指进行输入。
现在的计算机视觉技术已经应用于视频监控、车牌识别、人脸识别、虹膜识别等领域。近年来，基于计算机视觉的手势识别技术，也取得比较大的进步。但该方式一存在的缺陷在于，为了实现手指运动轨迹的跟踪，一般需要重建手指尖三维坐标，这就需要终端安装至少两个摄像头来捕捉手指的在三维空间上的运动轨迹，因此对终端的要求较高，对硬件资源的需求量也比较大。
方式二：基于触摸屏的方式，即通过用户利用手指通过碰触触摸屏来进行输入。
方式二属于目前采用得较多的成熟技术，其支持单点和多点触摸输入，使用起来简单方便。但其仍然存在缺陷：手指碰触触摸屏时会遮挡触摸屏的部分显示内容。
发明内容
本发明实施例提供一种基于摄像头的信息的信息输入方法及终端，用以提供一种不会对终端屏幕产生遮挡，且耗费资源较少的输入方式。
本发明实施例采用以下技术方案：
一种基于摄像头的信息输入方法，包括：终端从摄像头获得的图像中，识别出具备指定色彩信息的区域；确定所述区域的变化信息；根据所述变化信息确定输入终端的信息。
较佳地，根据所述变化信息确定输入终端的信息之前，还包括：终端确定所述区域的面积在小于预定时间阈值的时间长度内的变化幅度大于预定面积变化幅度阈值。
较佳地，根据所述变化信息确定对终端进行操作的信息之前还包括：终端确定自身所处的输入模式为非手写输入模式；以及根据所述变化信息确定输入终端的信息具体包括：终端根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，比较所述区域的位置变化幅度是否大于预定的滑动检测阈值；在比较结果为是时，确定输入终端的信息为滑动操作信息，否则，确定输入终端的信息为单击操作信息。
较佳地，根据所述变化信息确定对终端进行操作的信息之前还包括：终端确定自身所处的输入模式为手写输入模式；以及根据所述变化信息确定输入终端的信息具体包括：终端根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，确定输入终端的信息为指示终端输入所述区域运动轨迹的信息。
较佳地，所述区域的变化信息包括：所述区域的面积变化信息；或所述区域的位置变化信息；或所述区域的面积变化信息和位置变化信息。
一种终端，包括：识别单元，用于从摄像头获得的图像中，识别出具备指定色彩信息的区域；变化信息确定单元，用于确定识别单元识别的区域的变化信息；输入信息确定单元，用于根据变化信息确定单元确定的变化信息，确定输入终端的信息。
本发明实施例的有益效果如下：
本发明实施例提供的上述方案无需重建手指尖的三维坐标，而是可以通过简单地对摄像头获得的图像中具备指定色彩信息的区域进行识别的方式，从图像中确定出用于针对终端进行输入的区域，从而通过该区域的变化信息来确定输入终端的信息，由于采用本发明实施例提供的上述方案由摄像头来获取图像，从而不会对终端屏幕产生遮挡，并且，采用上述方案可以由一个摄像头来完成，耗费的资源较少。特别地，由于上述方案是基于色彩信息来识别特定区域，无需进行复杂的图像识别运算，从而尤其适用于CPU运算能力偏低、内存偏小的移动终端。
附图说明
图1为本发明实施例提供的基于摄像头的信息的信息输入方法的具体流程示意图；
图2为本发明实施例提供的终端的具体结构示意图；
图3a为本发明实施例提供的方案在实际中的应用流程示意图；
图3b为本发明实施例中标记初始指尖外接矩形面积的示意图。
具体实施方式
本发明实施例所提供的方案的基本思想在于，通过简单地对摄像头获得的图像中具备指定色彩信息的区域进行识别，并基于该区域的变化信息来确定输入终端的信息，从而解决现有技术采用的输入方法存在的对终端的要求较高，对硬件资源的需求量也比较大，或者手指碰触触摸屏时会遮挡触摸屏的部分显示内容的问题。
首先，本发明实施例提供一种基于摄像头的信息的信息输入方法，该方法的具体流程示意图如图1所示，包括以下步骤：
步骤11，终端从摄像头获得的图像中，识别出具备指定色彩信息的区域，其中，摄像头可以是设置在终端上的，也可以是独立于终端之外的，当独立于终端之外时，终端与摄像头之间需建立用于信息交互的连接通道，此外，上述具备指定色彩信息的区域可以为摄像头所捕获到的带有颜色标签的用户手指尖在图像中所处区域，也可以为用户手持的一种具备指定色彩的输入辅助工具在图像中所处区域；
步骤12，终端确定该区域的变化信息，这里的变化信息可以但不限于是该区域的面积变化信息和/或位置变化信息，当用户利用带有颜色标签的手指尖进行输入时，用户可以根据自己的需求，利用手指尖完成靠近摄像头、远离摄像头以及在摄像头前移动等等操作；
步骤13，终端根据该区域的变化信息，确定输入终端的信息。在步骤13中，对应于该区域的多种变化信息，终端确定出多种信息，详细流程将在下文进行描述，在此不再赘述。
根据上述方法可知，本发明实施例提供的上述方案无需对手指尖的三维坐标进行重建，而是通过简单地对摄像头获得的图像中具备指定色彩信息的区域进行识别的方式，从图像中确定该区域，并通过该区域的变化信息来确定输入终端的信息，从而采用本发明实施例提供的方案无需多个摄像头来进行三维坐标重建，对硬件资源的需求量较小。另外，由于采用本发明实施例提供的上述方案是由摄像头来获取图像，无需用户对终端(包括屏幕)进行碰触，从而不会对终端屏幕产生遮挡。特别地，由于上述方案是基于色彩信息来识别特定区域，无需进行复杂的图像识别运算，从而尤其适用于CPU运算能力偏低、内存偏小的移动终端。
为了避免用户手指抖动带来的误操作，在本发明实施例，根据上述区域的变化信息确定输入终端的信息之前，还可以进一步包括步骤：终端确定识别出的区域的面积在小于预定时间阈值的时间长度内的变化幅度大于预定面积变化幅度阈值。通过该步骤，即使用户手指的抖动使得该区域的面积变化幅度大于了预定面积变化幅度阈值，然而，由于该区域发生的面积变化是在小于预定时间阈值的时间长度内发生，因此，此时可以确定用户只是手指发生轻微抖动，而并非是想利用手指执行某信令的输入。
在本发明实施例中，图1所示的流程中，在根据区域变化信息确定输入终端的信息之前，还可以进一步包括终端确定自身所处的输入模式的步骤，这里的输入模式可以预先设定，输入模式可以包括非手写输入模式、手写输入模式等等。
当终端确定自身处于非手写输入模式时，根据上述区域的变化信息确定输入终端的信息具体可以包括：
首先，终端根据上述区域的变化信息，确定出该区域的面积变化趋势为由小变大再由大变小，且面积的变小、变大幅度均大于预定面积变化幅度阈值时，比较该区域的位置变化幅度是否大于预定的滑动检测阈值；
然后，在比较结果为是时，确定输入终端的信息为滑动操作信息，否则，确定输入终端的信息为单击操作信息。
而当终端确定自身处于手写输入模式时，根据该区域的变化信息确定输入终端的信息则具体包括：
终端根据该区域的变化信息，确定出该区域的面积变化趋势为由小变大再由大变小，且面积的变小、变大幅度均大于预定面积变化幅度阈值时，确定输入终端的信息为指示终端输入上述区域运动轨迹的信息。
前述已经提到，在本发明实施例中，识别出的区域的变化信息可以为该区域的面积变化信息或位置变化信息，也可以为面积变化信息与位置变化信息。上述已经对根据面积变化信息以及根据“面积变化信息与位置变化信息”来确定输入终端的信息。而针对根据位置变化来确定输入终端的信息的情况，一个具体的实施例可以为终端根据区域的位置变化信息，确定出该区域的位置变化幅度大于预定位置变化幅度阈值时，可以确定输入终端的信息为指示终端输入该区域运动轨迹的信息。
本发明实施例提供的上述方法中，终端可以为移动终端，比如手机，也可以为非移动终端，比如PC机等。
对应于本发明实施例提供的上述输入方法，本发明实施例还提供一种终端，用以解决现有技术采用的输入方法存在的对终端的要求较高，对硬件资源的需求量也比较大，或者手指碰触触摸屏时会遮挡触摸屏的部分显示内容的问题。该终端的具体结构示意图如图2所示，包括以下功能单元：
识别单元21，用于从摄像头获得的图像中，识别出具备指定色彩信息的区域，其中，具备指定色彩信息的区域可以为带有颜色标签的用户手指尖在图像中所处的区域；
变化信息确定单元22，用于确定识别单元21识别的区域的变化信息，其中，这里的变化信息可以为该区域的面积变化信息，或该区域的位置变化信息，或该区域的面积变化信息和位置变化信息等；
输入信息确定单元23，用于根据变化信息确定单元22确定的变化信息，确定输入终端的信息。
为了避免用户手指抖动带来的误操作，上述终端还可以进一步包括：变化幅度确定单元，用于在输入信息确定单元23确定输入终端的信息之前，确定识别单元21识别的区域的面积在小于预定时间阈值的时间长度内的变化幅度大于预定面积变化幅度阈值。
较佳地，本发明实施例提供的上述终端还可以包括模式确定单元，用于在输入信息确定单元23确定输入终端的信息之前，确定终端所处的输入模式为非手写输入模式；从而在确定出终端所处的输入模式为非手写输入模式后，所述输入信息确定单元23可以划分为：比较模块，用于根据上述区域的变化信息，确定出该区域的面积变化趋势为由小变大再由大变小，且面积的变小、变大幅度均大于预定面积变化幅度阈值时，比较该区域的位置变化幅度是否大于预定的滑动检测阈值；信息确定模块，用于在比较模块得到的比较结果为是时，确定输入终端的信息为滑动操作信息，否则，确定输入终端的信息为单击操作信息。
或者，当本发明实施例提供的上述终端包括在输入信息确定单元23确定输入终端的信息之前，确定终端所处的输入模式为手写输入模式的模式确定单元时，输入信息确定单元23具体可以用于根据上述区域的变化信息，确定出该区域的面积变化趋势为由小变大再由大变小，且面积的变小、变大幅度均大于预定面积变化幅度阈值时，确定输入终端的信息为指示终端输入该区域运动轨迹的信息。
以下以本发明实施例提供的上述方案在实际中的应用流程为例，详细说明上述方案在实际中的具体应用过程。
以在移动终端上应用上述方案为例，为了适应移动终端CPU运行能力偏低和内存偏小的特点，本发明实施例中，用户可以通过在手指尖带上颜色标签的方式，简化基于计算机视觉的手指运动轨迹识别方法，从而把复杂的手指识别问题转化为简单的颜色识别问题，以提高本发明实施例提供的方案的运行效率。在实际应用中，用户可以根据移动终端所处场景的颜色，尽量选择与场景的颜色差异较大的颜色标签，以便于移动终端能够迅速识别用户的手指。一般地，颜色标签的形状较为规则，比如可以为矩形、椭圆形或者圆形等。
当摄像头捕获到包含上述颜色标签的画面后，可以以该画面作为初始画面，并以移动终端的屏幕中心为基点，标记初始画面中的带有颜色标签的指尖的外接矩形面积。其次，通过识别指尖的颜色标签所在区域，可以计算屏幕坐标的Xs、Ys轴坐标值。然后，通过监测指尖外接矩形面积的变化，就能够模拟屏幕坐标的Zs轴。比如，当终端检测到摄像头所获得的图像中的指尖外接矩形面积大于初始画面中的指尖外接矩形面积时，就可以开始记录指尖的移动轨迹了；而当终端检测到摄像头所获得的图像中的指尖外接矩形面积小于初始画面中的指尖外接矩形面积时，无需记录指尖的移动轨迹。通过对指尖的移动轨迹的记录，就可以得到手指运动的三维坐标(Xs，Ys，Zs)，其中，Zs轴对应于指尖外接矩形面积的变化，其为二值坐标轴。具体地，当图像中的指尖外接矩形面积大于初始画面中的指尖外接矩形面积时，Zs＝0；而当图像中的指尖外接矩形面积大于初始画面中的指尖外接矩形面积时，Zs＝1。
上述过程的具体实现流程示意图如图3a所示，包括以下步骤：
步骤31，用户的选择一个手指带上颜色标签，用户可以根据个人习惯，选择一个手指带上颜色标签，如右手食指带上红色标签。
步骤32，启动带有摄像头的移动终端及其摄像头。有的移动终端有两个摄像头(一个位于移动终端正面，一个位于移动终端背面)，可根据用户的设置选择使用其中一个摄像头。当启动移动终端正面的摄像头时，手指在移动终端前方操作；当启动移动终端背面的摄像头时，手指在移动终端后方操作。
步骤33，移动终端标记初始图像中的指尖外接矩形(以下将初始图像中的指尖外接矩形简称为初始指尖外接矩形)面积，并判断是否已标记完成，在判断结果为是时，执行步骤34，否则，则进一步执行步骤33。如图3b所示，为移动终端标记初始指尖外接矩形面积的示意图。在该图3b中，以移动终端屏幕中心为基点，标记初始指尖外接矩形面积。该标记操作可以仅仅在用户第一次使用本发明实施例的方案进行输入时进行，而无需在每次进行输入时都需要进行标记。具体地，步骤33可以由下述多个子步骤实现：
首先，移动终端在屏幕上全屏显示摄像头拍摄的图像；
然后，用户移动手指使带有颜色标签的手指尖移动到如图3b所示的位于屏幕中心的方框内(方框大小可设置)；
最后，终端识别图像中的手指尖所带的颜色标签的颜色，并确定该颜色所处的区域，当该区域位于方框内的时间超过预设值(如2秒)时，则记录该区域的外接矩形面积，即记录初始指尖外接矩形面积Api。
步骤34，确定初始指尖外接矩形的中心位置在预设的屏幕坐标系的坐标值(Xs、Ys)，并确定该中心位置在摄像头采集的图像的坐标系的坐标值(Xc、Yc)。需要说明的是，为了确定(Xs、Ys)，需利用如下式[1]所示的屏幕坐标系与摄像头采集的图像坐标系的线性变换关系：
Xs＝Sw*Xc/Cw    [1]
Ys＝Sh*Yc/Ch
其中，Xs/Ys为移动终端屏幕坐标系的横/纵轴坐标值，该坐标系的坐标原点可以为移动终端屏幕最左上角的点；Sw/Sh为移动终端屏幕的宽/高；Xc/Yc为摄像头采集的图像的坐标系的横/纵轴坐标值，该坐标系的坐标原点可以为摄像头采集的图像的最左上角的点；Cw/Ch为摄像头采集的图像的宽/高。所有参数的单位为像素。
步骤35，移动终端监测指尖外接矩形面积Ap相对于初始指尖外接矩形面积Api的变化情况，实现对指尖外接矩形中心位置的第三维坐标值Zs的确定，从而确定出用户输入用户终端的信息。
步骤35可以有多种情况，情况之一为当移动终端确定出Ap＞Api时，触发接触事件(以下简称T事件)，此时确定中心位置的Zs轴坐标值为0，说明用户的手指接近摄像头，相当于用户用手指接触触摸屏；而移动终端确定出Ap＜Api时，触发非接触事件(以下简称U事件)，此时确定中心位置的Zs轴坐标值为1，说明用户的手指远离摄像头，相当于用户的手指没有接触触摸屏。
需要说明的是，本发明实施例中，可以通过监测手指的移动距离和移动速度来识别并过滤一些抖动，以提高手指输入的平滑性，减少手指抖动带来的误操作影响。考虑到抖动的主要的特点是发生抖动的时间持续较短，且抖动所导致的面积变化幅度比较小，因此，当触发T事件或者U事件时，如果下述公式[2]成立，则识别该事件是由用户手指的抖动造成的，从而忽略与该事件对应的操作。
|Ap1-Ap2|×|P1t-P2t|＜Td                    [2]
其中，Ap2、Ap1分别代表发生移动前后的用户指尖的外接矩形的面积大小，P1t、P2t则分别代表摄像头获得Ap1、Ap2对应的图像的时间值，Td代表预定抖动阈值。上述公式的物理含义在于，当用户的手指同时满足移动距离比较小和移动速度比较快这两个条件时，可以识别用户的手指仅为抖动，而并非刻意地进行移动，从而忽略该移动过程，以避免一些误操作。
在步骤35中，通过监测指尖外接中心位置坐标(Xs、Ys、Zs)的变化，还可以确定类似输入触摸屏的点击、滑动、手写输入等的单手指输入操作。
为了便于处理，在本发明实施例中，可以将手指输入操作分为两种模式：非手写输入模式和手写输入模式。点击和上下左右滑动属于非手写输入模式，手写输入属于手写输入模式。具体地，点击、上下左右滑动、手写输入等操作的具体识别过程如下所述：
一、点击操作
点击操作的具体识别过程如下：
当监测到T事件时，记录指尖外接矩形中心位置在移动终端屏幕上的坐标值P1(Xs，Ys)；
当监测到U事件时，记录指尖外接矩形中心位置在移动终端屏幕上的坐标值P2(Xs，Ys)；
当满足如下式[3]所示的两个条件时，识别输入用户终端的操作为点击操作：
|P2(XS)-P1(XS)|＜Tc                   [3]
|P2(YS)-P1(YS)|＜Tc
其中，Tc为预定防抖动阈值，用于处理点击操作的抖动情况，该值不宜设置过大，如可以设为10。
二、上下左右滑动操作
上下左右滑动操作的具体识别过程如下：
当监测到T事件时，记录指尖外接矩形中心位置在移动终端屏幕上的坐标值P1(Xs，Ys)；
当监测到U事件时，记录指尖外接矩形中心位置在移动终端屏幕上的坐标值P2(Xs，Ys)；
当满足下式[4]时，识别输入用户终端的操作为左滑动操作：
|P2(XS)-P1(XS)|＜-Tm                           [4]
|P2(XS)-P1(XS)|＞|P2(YS)-P1(YS)|
当满足下式[5]时，识别输入用户终端的操作为右滑动操作：
|P2(XS)-P1(XS)|＞Tm                            [5]
|P2(XS)-P1(XS)|＞|P2(YS)-P1(YS)|
当满足下式[6]时，识别输入用户终端的操作为上滑动操作：
|P2(YS)-P1(YS)|＜-Tm                            [6]
|P2(YS)-P1(YS)|＞|P2(XS)-P1(XS)|
当满足下式[7]时，识别输入用户终端的操作为下滑动操作：
|P2(YS)-P1(YS)|＞Tm                                [7]
|P2(YS)-P1(YS)|＞|P2(XS)-P1(XS)|
其中，Tm为预设的滑动检测阈值，只有当滑动距离大于该阈值时，才会触发上下左右滑动操作。该值不宜设置过大，也不易过小，比如可以设为30。
三、书写输入操作
手写输入操作的具体识别过程如下：
当监测到T事件时，开始记录指尖外接矩形中心位置在移动终端屏幕上所移动到的各个位置处的坐标值，生成坐标序列Sp；
当监测到U事件时，停止记录坐标序列Sp，并把记录得到的坐标序列Sp送入移动终端的手写输入程序，以完成相对应的手写输入操作。
采用本发明实施例提供的方案，用户可以方便地用单手指完成点击、上下左右滑动、手写输入等手指输入操作。与基于触摸屏的手指输入相比，基于移动终端摄像头的手指输入不遮挡屏幕内容，交互更自然，可以取代传统的基于触摸屏的手指输入方式。现有的移动终端主要通过键盘、触摸屏、语音等方式，完成输入操作，而在通过本发明实施例提供的上述方案，进一步为移动终端提供了新的基于移动终端摄像头的手指输入途径，从而实现了更加自然、直观的手势交互操作。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于摄像头的信息输入方法，其特征在于，包括：
终端从摄像头获得的图像中，识别出具备指定色彩信息的区域；
确定所述区域的变化信息；
根据所述变化信息确定输入终端的信息。
2.如权利要求1所述的方法，其特征在于，根据所述变化信息确定输入终端的信息之前，还包括：
终端确定所述区域的面积在小于预定时间阈值的时间长度内的变化幅度大于预定面积变化幅度阈值。
3.如权利要求1所述的方法，其特征在于，根据所述变化信息确定对终端进行操作的信息之前还包括：
终端确定自身所处的输入模式为非手写输入模式；以及
根据所述变化信息确定输入终端的信息具体包括：
终端根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，比较所述区域的位置变化幅度是否大于预定的滑动检测阈值；
在比较结果为是时，确定输入终端的信息为滑动操作信息，否则，确定输入终端的信息为单击操作信息。
4.如权利要求1所述的方法，其特征在于，根据所述变化信息确定对终端进行操作的信息之前还包括：
终端确定自身所处的输入模式为手写输入模式；以及
根据所述变化信息确定输入终端的信息具体包括：
终端根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，确定输入终端的信息为指示终端输入所述区域运动轨迹的信息。
5.如权利要求1所述的方法，其特征在于，根据所述变化信息确定输入终端的信息具体包括：
终端根据所述变化信息，确定出所述区域的位置变化幅度大于预定位置变化幅度阈值时，确定输入终端的信息为指示终端输入所述区域运动轨迹的信息。
6.一种终端，其特征在于，包括：
识别单元，用于从摄像头获得的图像中，识别出具备指定色彩信息的区域；
变化信息确定单元，用于确定识别单元识别的区域的变化信息；
输入信息确定单元，用于根据变化信息确定单元确定的变化信息，确定输入终端的信息。
7.如权利要求6所述的终端，其特征在于，还包括：
变化幅度确定单元，用于在输入信息确定单元确定输入终端的信息之前，确定识别单元识别的区域的面积在小于预定时间阈值的时间长度内的变化幅度大于预定面积变化幅度阈值。
8.如权利要求6所述的终端，其特征在于，还包括：
模式确定单元，用于在输入信息确定单元确定输入终端的信息之前，确定终端所处的输入模式为非手写输入模式；以及
所述输入信息确定单元具体包括：
比较模块，用于根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，比较所述区域的位置变化幅度是否大于预定的滑动检测阈值；
信息确定模块，用于在比较模块得到的比较结果为是时，确定输入终端的信息为滑动操作信息，否则，确定输入终端的信息为单击操作信息。
9.如权利要求6所述的终端，其特征在于，模式确定单元，用于在输入信息确定单元确定输入终端的信息之前，确定终端所处的输入模式为手写输入模式；以及
所述输入信息确定单元具体用于根据所述变化信息，确定出所述区域的面积变化趋势为由小变大再由大变小，且所述面积的变小、变大幅度均大于预定面积变化幅度阈值时，确定输入终端的信息为指示终端输入所述区域运动轨迹的信息。
10.如权利要求6所述的终端，其特征在于，所述输入信息确定单元具体用于根据所述变化信息，确定出所述区域的位置变化幅度大于预定位置变化幅度阈值时，确定输入终端的信息为指示终端输入所述区域运动轨迹的信息。
CN201010504122.6A 2010-09-30 2010-09-30 基于摄像头的信息输入方法及终端 Active CN102446032B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010504122.6A CN102446032B (zh) 2010-09-30 2010-09-30 基于摄像头的信息输入方法及终端
PCT/CN2011/080303 WO2012041234A1 (zh) 2010-09-30 2011-09-28 基于摄像头的信息输入方法及终端
KR20137011118A KR101477592B1 (ko) 2010-09-30 2011-09-28 카메라 기반 정보 입력 방법 및 단말
US13/877,084 US20130328773A1 (en) 2010-09-30 2011-09-28 Camera-based information input method and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010504122.6A CN102446032B (zh) 2010-09-30 2010-09-30 基于摄像头的信息输入方法及终端

Publications (2)

Publication Number Publication Date
CN102446032A true CN102446032A (zh) 2012-05-09
CN102446032B CN102446032B (zh) 2014-09-17

Family

ID=45891966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010504122.6A Active CN102446032B (zh) 2010-09-30 2010-09-30 基于摄像头的信息输入方法及终端

Country Status (4)

Country Link
US (1) US20130328773A1 (zh)
KR (1) KR101477592B1 (zh)
CN (1) CN102446032B (zh)
WO (1) WO2012041234A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440033A (zh) * 2013-08-19 2013-12-11 中国科学院深圳先进技术研究院 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN104331191A (zh) * 2013-07-22 2015-02-04 深圳富泰宏精密工业有限公司 基于图像识别实现触摸的系统及方法
CN104793744A (zh) * 2015-04-16 2015-07-22 天脉聚源(北京)传媒科技有限公司 一种手势操作的方法及装置
CN106020712A (zh) * 2016-07-29 2016-10-12 青岛海信移动通信技术股份有限公司 一种触控手势识别方法及装置
CN106845472A (zh) * 2016-12-30 2017-06-13 深圳仝安技术有限公司 一种新型智能手表扫描解释/翻译方法及新型智能手表
WO2017206383A1 (zh) * 2016-05-31 2017-12-07 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法、控制装置以及终端
CN107885450A (zh) * 2017-11-09 2018-04-06 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
WO2021012513A1 (zh) * 2019-07-19 2021-01-28 平安科技（深圳）有限公司 手势操作方法、装置以及计算机设备
CN112419453A (zh) * 2020-11-19 2021-02-26 山东亚华电子股份有限公司 一种基于Android系统的手写方法及装置
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9790282B2 (en) 2013-03-25 2017-10-17 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Anti-CD276 polypeptides, proteins, and chimeric antigen receptors
TWI496070B (zh) * 2013-07-30 2015-08-11 Pegatron Corp 使觸碰點禁能之方法及電子裝置
CA2961609C (en) 2014-09-17 2023-03-21 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Anti-cd276 antibodies (b7h3)
CN104317398B (zh) * 2014-10-15 2017-12-01 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN105894497A (zh) * 2016-03-25 2016-08-24 惠州Tcl移动通信有限公司 一种基于摄像头的按键检测方法、系统及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276577A (ja) * 1999-03-25 2000-10-06 Fujitsu Ltd 画像感応型イベント発生装置
CN101167043A (zh) * 2004-01-16 2008-04-23 索尼电脑娱乐公司 用于光输入装置的方法和设备
CN101464750A (zh) * 2009-01-14 2009-06-24 苏州瀚瑞微电子有限公司 通过检测触控板的感应面积进行手势识别的方法
CN101730874A (zh) * 2006-06-28 2010-06-09 诺基亚公司 基于免接触的手势的输入

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785071B1 (ko) * 2007-02-08 2007-12-12 삼성전자주식회사 터치스크린을 갖는 휴대 단말기에서 터치 입력에 대한 정보표시 방법
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
JP5077956B2 (ja) * 2008-04-23 2012-11-21 Ｋｄｄｉ株式会社 情報端末装置
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
KR20100093293A (ko) * 2009-02-16 2010-08-25 주식회사 팬택 터치 기능을 갖는 이동 단말기 및 그 이동 단말기의 터치 인식 방법
JP5141984B2 (ja) * 2009-05-11 2013-02-13 ソニー株式会社 情報処理装置および方法
US20130063493A1 (en) * 2011-09-14 2013-03-14 Htc Corporation Devices and Methods Involving Display Interaction Using Photovoltaic Arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276577A (ja) * 1999-03-25 2000-10-06 Fujitsu Ltd 画像感応型イベント発生装置
CN101167043A (zh) * 2004-01-16 2008-04-23 索尼电脑娱乐公司 用于光输入装置的方法和设备
CN101730874A (zh) * 2006-06-28 2010-06-09 诺基亚公司 基于免接触的手势的输入
CN101464750A (zh) * 2009-01-14 2009-06-24 苏州瀚瑞微电子有限公司 通过检测触控板的感应面积进行手势识别的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331191A (zh) * 2013-07-22 2015-02-04 深圳富泰宏精密工业有限公司 基于图像识别实现触摸的系统及方法
CN103440033A (zh) * 2013-08-19 2013-12-11 中国科学院深圳先进技术研究院 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN103440033B (zh) * 2013-08-19 2016-12-28 中国科学院深圳先进技术研究院 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN104793744A (zh) * 2015-04-16 2015-07-22 天脉聚源(北京)传媒科技有限公司 一种手势操作的方法及装置
WO2017206383A1 (zh) * 2016-05-31 2017-12-07 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法、控制装置以及终端
CN107454304A (zh) * 2016-05-31 2017-12-08 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法、控制装置以及终端
CN106020712A (zh) * 2016-07-29 2016-10-12 青岛海信移动通信技术股份有限公司 一种触控手势识别方法及装置
CN106020712B (zh) * 2016-07-29 2020-03-27 青岛海信移动通信技术股份有限公司 一种触控手势识别方法及装置
CN106845472A (zh) * 2016-12-30 2017-06-13 深圳仝安技术有限公司 一种新型智能手表扫描解释/翻译方法及新型智能手表
CN107885450A (zh) * 2017-11-09 2018-04-06 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
WO2021012513A1 (zh) * 2019-07-19 2021-01-28 平安科技（深圳）有限公司 手势操作方法、装置以及计算机设备
CN112419453A (zh) * 2020-11-19 2021-02-26 山东亚华电子股份有限公司 一种基于Android系统的手写方法及装置
CN114063778A (zh) * 2021-11-17 2022-02-18 北京蜂巢世纪科技有限公司 一种利用ar眼镜模拟图像的方法、装置、ar眼镜及介质
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
KR101477592B1 (ko) 2015-01-02
US20130328773A1 (en) 2013-12-12
CN102446032B (zh) 2014-09-17
KR20130101536A (ko) 2013-09-13
WO2012041234A1 (zh) 2012-04-05

Similar Documents

Publication Publication Date Title
CN102446032B (zh) 基于摄像头的信息输入方法及终端
US20130044071A1 (en) Method and mobile terminal for automatically recognizing a rotation gesture
US8860675B2 (en) Drawing aid system for multi-touch devices
US20140300542A1 (en) Portable device and method for providing non-contact interface
CN103150018B (zh) 手势识别方法及装置
US20130234957A1 (en) Information processing apparatus and information processing method
JP5264844B2 (ja) ジェスチャ認識装置及び方法
CN103076919B (zh) 一种无线触摸遥控方法和系统
US9904372B2 (en) Method by which eyeglass-type display device recognizes and inputs movement
CN110727496B (zh) 图形用户界面的布局方法、装置、电子设备及存储介质
CN101794171A (zh) 基于红外光运动捕捉的无线感应交互系统
KR102060962B1 (ko) 포인팅 장치를 이용한 컨텐츠 이동 방법 및 장치
CN103106388B (zh) 图像识别方法和系统
CN102819398A (zh) 一种在触摸屏设备上滑动控制摄像机的方法
CN103019518A (zh) 一种自动调整人机交互界面的方法
CN104166509A (zh) 一种非接触式屏幕交互方法及系统
CN101183284A (zh) 一种移动终端手写输入方法、装置及移动终端
Matulic et al. Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
CN102662592A (zh) 一种数据输出方法及装置
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
CN103186264A (zh) 触控式电子装置及其触控方法
CN103176708A (zh) 一种移动电子产品的电子文档阅读控制方法
CN103558948A (zh) 一种应用在虚拟光学键盘人机交互方法
CN104571603A (zh) 一种空中手写系统及手写笔

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant