CN1694045A - 一种非接触式目控操作系统和方法 - Google Patents

一种非接触式目控操作系统和方法 Download PDF

Info

Publication number
CN1694045A
CN1694045A CNA2005100735314A CN200510073531A CN1694045A CN 1694045 A CN1694045 A CN 1694045A CN A2005100735314 A CNA2005100735314 A CN A2005100735314A CN 200510073531 A CN200510073531 A CN 200510073531A CN 1694045 A CN1694045 A CN 1694045A
Authority
CN
China
Prior art keywords
parameter
operator
head
eyes
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100735314A
Other languages
English (en)
Other versions
CN1293446C (zh
Inventor
王浩
黄英
夏煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongxing Technology Co ltd
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CNB2005100735314A priority Critical patent/CN1293446C/zh
Publication of CN1694045A publication Critical patent/CN1694045A/zh
Priority to US11/419,489 priority patent/US7853050B2/en
Application granted granted Critical
Publication of CN1293446C publication Critical patent/CN1293446C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种非接触式目控操作系统，包括显示用于操作的对象的显示终端，该系统还包括：图像获取装置，提供操作者头部正面的图像；图像处理装置，根据所提供的图像计算操作者的头部姿态参数和眼睛姿态参数的值；视线方向分析装置，根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置并根据所确定的视线位置判断操作者所注视的对象；通知装置，通知操作者所判断出的注视对象；动作分析装置，根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别并根据识别结果确定操作指令；和操作执行装置，基于所判断出的注视对象和所确定的操作指令执行操作。

Description

一种非接触式目控操作系统和方法
发明领域
本发明涉及一种非接触式操作系统和方法，尤其涉及一种非接触式目控操作系统和方法。
发明背景
现有的操作装置几乎都需要用手来进行操作，其输入装置包括鼠标、键盘、触敏屏等。在操作这样的操作装置时，需要用手移动鼠标或者用手接触触摸屏等，因此在公共场合很容易传播病菌。此外，对不方便利用手动方式进行操作的残疾人来说，使用手动装置之类的接触式操作装置是有障碍的。
佳能公司曾发明过一种新的“人-机”摄影控制方式，其原理主要是：眼球经红外光束照射时会在眼角膜上反射出红外光斑，而这个红外光斑会与瞳孔中心形成横竖两个方向的角度差，该角度差的值会随着眼球的转动(即视线的改变)而变化。通过微型检测装置就可以读取到这个差值的大小，将其与预先储存的眼控对焦点的间隔角度基准值进行对比，从而计算出拍摄者的视线是通过哪一个自动对焦点注视到主体的，进而可以完成相应的自动对焦。
在上面所公开的方案中，要求人眼贴近相机的取景器，实际上也属于接触式方式。另外，上述方案工作时需要有红外光束发生装置。
发明内容
本发明的目的是针对传统接触式操作方式的上述缺陷提供一种能以非接触的方式进行操作的途径。
根据本发明的一个方面，提供了一种非接触式操作系统，包括显示用于操作的对象的显示终端，该系统还包括：
图像获取装置，提供操作者头部正面的图像；
图像处理装置，根据所述图像获取装置所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；
视线方向分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；
通知装置，以操作者可感知的方式通知操作者所判断出的注视对象；
动作分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和
操作执行装置，基于所述视线方向分析装置所判断出的注视对象和所述动作分析装置所确定的操作指令执行操作。
根据本发明的另一个方面，提供了一种非接触式操作方法，以对显示屏幕的显示区域上的用于操作的对象进行操作，包括：
(a)提供操作者头部正面的图像；
(b)根据所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；
(c)根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；
(d)以操作者可感知的方式通知操作者所判断出的注视对象；
(e)根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和
(f)基于所判断出的注视对象和所确定的操作指令执行操作，
其中步骤(c)和步骤(e)并行进行或顺序进行。
根据本发明的操作系统以图像获取装置为输入装置，通过图像获取装置提供操作者的头部正面的图像，并运用图像处理装置来分析操作者头部和眼睛的姿态参数。通过将这些参数进一步转化为操作者视线所对应的、显示终端的屏幕上的相应区域来确定操作对象，并通过利用图像获取装置接收某些特定动作来实现非接触式操作。利用本发明，操作者可以距离显示终端及图像获取装置50cm左右，实现了真正的非接触式操作。因此本发明的有益效果是：有助于防止使用公用设施时传播病菌；和为不方便利用手动方式进行接触式操作的残疾人提供了便利。本发明的附加优点是避免了因经常接触使用而可能对操作设备造成的人为磨损。
附图简述
参照附图，结合对实施方式的详细描述将能够更加清楚地了解本发明，其中：
图1是根据本发明的非接触式操作系统的一个实施例的框图；
图2是根据本发明的一个实施例的操作者脸部及双眼的示意图；
图3是根据本发明的一个实施例的操作者眼睛和瞳孔的示意图；
图4是一个眼睛姿态参数随时间的变化图；和
图5是一个头部姿态参数随时间的变化图。
具体实施方式详述
参照图1，其示出了根据本发明的非接触式操作系统的一个实施例的框图。如图所示，该操作系统包括图像获取装置10、连接到图像获取装置10的图像处理装置12、连接到图像处理装置12的视线方向分析装置14和动作分析装置16、连接到视线方向分析装置14和动作分析装置16的操作执行装置18、连接到操作执行装置18的显示终端20以及连接到视线方向分析装置14的通知装置(未示出)。在显示终端20的显示区域上显示用于操作的对象，所述对象可以采用按钮的形式或其它形式。图像处理装置12、视线方向分析装置14、动作分析装置16、操作执行装置18和通知装置可以是在处理器上运行的软件模块或在处理器外部单独实现的硬件电路。
图像获取装置10捕捉操作者头部正面的图像并以一定的帧率提供所捕捉的操作者头部正面的图像给图像处理装置12。优选地，图像获取装置10以每秒30帧的帧率提供操作者头部正面的图像给图像处理装置12。在一个特定实施例中，图像获取装置10是一只分辨率为640×480的摄像头，该摄像头可以放置在显示终端20的屏幕上方，使得当操作者坐在显示终端的屏幕前时该摄像头对准操作者的头部正面以捕捉操作者头部正面的图像。
图像处理装置12根据图像获取装置10所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值。在一个实施例中，头部姿态参数包括与头部的俯仰姿势有关的头部俯仰参数和与头部的水平转动角度有关的头部水平转动参数，眼睛姿态参数包括与视线在水平方向上的注视方向有关的水平注视参数和与视线在竖直方向上的注视方向有关的竖直注视参数。可以根据操作者脸部和双眼的大小、双眼相对于脸部的位置以及瞳孔的位置来计算这些参数的值，因此在该实施例中，对所提供的每帧图像，图像处理装置12检测操作者头部正面的图像中操作者脸部的位置及大小，这可以利用人脸检测技术或其它已知技术来完成；继而在所检测出的操作者脸部上检测出操作者双眼的位置及大小，这可以通过模板匹配算法或其它已知方法来实现；进而在所检测出的双眼上分别确定瞳孔的位置及中心坐标，例如，用直方图的方法来确定。现在参照图2和图3作进一步描述。
图2是所检测到的操作者脸部及双眼的示意图，其示出了检测出的操作者脸部高度H和脸部宽度W。根据双眼的位置可以求出眉心的位置，根据操作者脸部的位置及大小、双眼的位置及大小和眉心的位置可以求出操作者双眼距下颌的高度Y1和眉心距脸部左侧边缘的距离X1，也分别在图2中示出。
因此，可以计算头部俯仰参数(下文用a1表示)的值，即比值a1＝Y1/H，其大小与操作者头部的俯仰姿势有关，俯仰角在±10度的范围内时，操作者越向上仰，该比值越大；反之越小。也可以计算头部水平转动参数(下文用a2表示)的值，即比值a2＝X1/W，其大小与操作者头部的水平转动角度有关，水平转动角度在±30度的范围内时，操作者越向右转，该比值越小；越向左转，该比值越大。
图3是操作者眼睛和瞳孔的示意图，其示出了操作者眼睛的宽度W2和高度Y2。根据眼睛的位置和大小及瞳孔的中心坐标可以求出操作者瞳孔中心到眼睛外侧的距离X2，也在图3中示出。
因此，可以计算水平注视参数(下文用a3表示)的值，即比值a3＝X2/W2，其大小与操作者视线在水平方向上的注视方向有关。也可以计算竖直注视参数(下文用a4表示)的值，即比值a4＝Y2/W2，其大小与操作者视线在竖直方向上的注视方向有关，操作者越向上方注视，Y2就越大，因而比值也越大。
图像处理装置12将所计算的头部姿态参数和眼睛姿态参数的值，例如参数值a1、a2、a3和a4，提供给视线方向分析装置14和动作分析装置16。
视线方向分析装置14根据图像处理装置12所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在显示终端20的显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象。优选地，视线方向分析装置通过将所计算的头部姿态参数和眼睛姿态参数的值与预先存储的、对应于显示终端20的显示区域的多个位置的多组头部姿态参数和眼睛姿态参数的基准值进行匹配和利用插值的方法来确定操作者的视线在所述显示区域上的位置。
为便于理解，现在举例说明获得上述多组头部姿态参数和眼睛姿态参数的基准值的过程。在显示终端20的显示区域的多个不同位置显示一个红色的小球，小球直径为20个像素，显示位置包括屏幕显示区域的左上角、左下角、右上角、右下角、中心和上下左右四个边各自的中点等。当小球显示在每个位置上的时候，操作者用目光注视小球足够长的时间，例如3秒以上，在此期间，如摄像头之类的图像获取装置捕捉并以每秒30帧的帧率提供操作者头部正面的图像。将所提供的图像保存在合适的媒介上，待获得对应于上述各个期望位置的图像之后分别进行处理。现在以计算对应于上述期望位置中的左上角的头部姿态参数和眼睛姿态参数的基准值为例，说明具体的处理方式。对在屏幕左上角获得的每帧图像，按照前面所描述的方法利用图像处理装置12分别计算出操作者的头部姿态参数和眼睛姿态参数的值，则可得到若干组头部姿态参数和眼睛姿态参数的值。对各组中的对应参数值分别取平均，以a1为例，根据上面的描述可以得到若干个关于a1的参数值，通过计算这若干个参数值的平均值及均方差可以确定对应于该位置的a1的基准值。同样方法，可以得到对应于该位置的a2、a3和a4的基准值。这样就得到了对应于屏幕显示区域左上角的头部姿态参数和眼睛姿态参数的基准值。对在其它位置上获得的图像，进行类似的处理，就得到了对应于显示区域的多个位置的多组头部姿态参数和眼睛姿态参数的基准值，将它们存储在存储器中供以后使用。
在一个实施例中，通过上述过程预先得到了分别对应于显示区域的多个位置的多组a1、a2、a3和a4的基准值。视线方向分析装置将所计算的a1、a2、a3和a4值与所述多组a1、a2、a3和a4的基准值进行匹配，并通过插值方法得到更精细的结果。a1与a4是存在关联关系的。例如，同样将视线向下移动，操作者可能保持眼球不动，将头向下低一点(即减小a1)；也可能保持头部不动，将眼睛向下转动(即减小a4)；也可能通过共同调整两者来完成。这一关联关系可以通过统计来得出。a2与a3是存在关联关系的，这一关联关系也可以通过统计来得出。为了方便叙述，现在假设在操作者头部保持不动的情况下(即根据a3、a4的值)来确定视线位置。根据a3的值确定视线在左右方向上的大致位置。例如，假设显示区域上的左边中间位置所对应的a3的基准值为0.2，中心位置所对应的a3的基准值为0.5。假设计算得到的a3值为0.35，如果利用线性插值方法则可以推出此时视线在左右方向上大致处于中心偏左1/4的位置，根据具体的精度要求还可以利用更高阶的插值方法，如二阶或三阶等。同样，可以根据a4的值确定视线在竖直方向上的大致位置。这样，操作者视线在屏幕上的方位就基本确定了。在头部参数的值也发生变化的情况下，用类似的方法，根据a1、a2、a3、a4的值并结合a2与a3以及a1与a4的关联关系确定操作者视线在显示区域上的具体位置。
然后，视线方向分析装置14可以基于关于显示终端所显示的对象与所述对象在其显示区域上的位置之间的对应关系的信息、根据所确定的视线位置来判断操作者所注视的对象。
通知装置，以操作者可感知的方式通知操作者所判断出的注视对象。在一个实施例中，当视线方向分析装置判断出当前操作者注视的对象时，通知装置将该对象的颜色加深，以此来通知操作者系统所理解的其希望操作的对象，于是操作者可以发出相应的操作指令。通知装置也可以以其它操作者可感知的方式来通知操作者，如语音方式等。
动作分析装置根据图像处理装置12所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值，例如a1、a2、a3和a4中的至少一个，随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令。根据上面的描述，已知头部姿态参数和眼睛姿态参数的值会随着操作者头部姿势和眼睛注视方向等变化。例如，图4为眨两眼时a4随时间的变化图，当眼睛逐渐闭合时，a4越来越小；当眼睛逐渐睁开时，a4越来越大。图5为摇头时a2随时间变化的趋势，最初一段时间没有明显的动作，但从第25个时间点开始，a2呈现出大幅度有规律的变化。点头时a1随时间也会有类似的变化，当操作者头向下点时，a1逐渐减小；当操作者向上抬头时，a1逐渐增大。在一个实施例中，根据这一点建立了分别对应于多个预定动作的多个预定动作模式并存储在存储器中，动作分析装置将图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化与存储的所述多个预定动作模式进行比较，并且将与所述变化匹配的一个预定动作模式所对应的预定动作识别为操作者的动作，根据识别结果确定操作指令。需要说明的是，可以事先规定分别对应于所述多个预定动作的操作指令，例如，规定连续眨两下眼睛表示″点击一个按钮″、点头表示″同意″、摇头表示″不同意″等。基于这种规定可以根据预定动作来确定操作指令，从而根据识别结果确定操作指令。
操作执行装置，基于视线方向分析装置所判断出的注视对象和动作分析装置所确定的操作指令执行操作。动作分析装置与视线方向分析装置可以并行运行，在这种情况下，一方面，操作执行装置从视线方向分析装置接收操作对象(即所判断出的注视对象)；另一方面，操作执行装置从动作分析装置接收操作指令，只有在接收到操作对象和操作指令两者时操作执行装置才会执行操作。
在根据本发明的实施例中，主要靠视线方位来决定显示终端的屏幕上某些按钮的操作，而这些按钮的大小可以设计为30×50像素，且按钮之间相互间隔30至50像素。
前面的描述意图仅是说明性的，而不是为了限制本发明，根据本发明的众多另外的替换实施例对本领域技术人员来说是显然的。本领域的普通技术人员可以对在这里公开的实施例的形式和细节进行许多变化。因此，虽然在这里公开了本发明的某些优选实施例，但对本领域技术人员来说显而易见的是：在本发明的形式和细节上可能作出的各种改变没有脱离如下列权利要求的整体范围所示出的本发明的精神和范围。

Claims (22)

1.一种非接触式操作系统，包括显示用于操作的对象的显示终端，该系统还包括：
图像获取装置，提供操作者头部正面的图像；
图像处理装置，根据所述图像获取装置所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；
视线方向分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示终端的显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；
通知装置，以操作者可感知的方式通知操作者所判断出的注视对象；
动作分析装置，根据所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和
操作执行装置，基于所述视线方向分析装置所判断出的注视对象和所述动作分析装置所确定的操作指令执行操作。
2.根据权利要求1所述的系统，其特征在于，还包括存储器，该存储器存储分别对应于所述显示区域的多个位置的多组头部姿态参数和眼睛姿态参数的基准值，所述视线方向分析装置通过将所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值与所述多组头部姿态参数和眼睛姿态参数的基准值进行匹配和利用插值的方法来确定操作者的视线在所述显示区域上的位置。
3.根据权利要求2所述的系统，其特征在于，所述存储器还存储表明所述显示终端所显示的对象与所述显示终端的显示区域的位置之间的对应关系的信息，所述视线方向分析装置基于所述信息、根据所确定的视线位置判断操作者所注视的对象。
4.根据权利要求1所述的系统，其特征在于，还包括存储分别对应于多个预定动作的多个预定动作模式的存储器，所述动作分析装置将所述图像处理装置所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化与所述多个预定动作模式进行比较，并且将与所述变化匹配的一个预定动作模式所对应的预定动作识别为操作者的动作。
5.根据权利要求4所述的系统，其特征在于，所述存储器还存储表明所述多个预定动作与操作指令之间的对应关系的信息，所述动作分析装置基于所述信息、根据识别结果确定操作指令。
6.根据权利要求4所述的系统，其特征在于，所述多个预定动作至少包括以下一个：连续眨两下眼睛、点头和摇头。
7.根据权利要求1-6中任一权利要求所述的系统，其特征在于，所述头部姿态参数包括与头部的俯仰姿势有关的头部俯仰参数和与头部的水平转动角度有关的头部水平转动参数，眼睛姿态参数包括与视线在水平方向上的注视方向有关的水平注视参数和与视线在竖直方向上的注视方向有关的竖直注视参数。
8.根据权利要求7所述的系统，其特征在于，所述图像处理装置用于：
检测所述图像获取装置所提供的操作者头部正面的图像中操作者脸部的位置及大小；
在所检测出的操作者脸部上检测操作者双眼的位置及大小；
在所检测出的双眼上分别确定瞳孔的位置；和
基于所检测到的操作者脸部和眼睛的信息计算头部俯仰参数和头部水平转动参数的值，基于所检测到的操作者眼睛的信息和所确定的瞳孔的位置计算水平注视参数和竖直注视参数的值。
9.根据权利要求8所述的系统，其特征在于，所述图像处理装置利用人脸检测技术检测操作者脸部的位置及大小，利用模板匹配算法检测操作者双眼的位置及大小，利用直方图的方法确定瞳孔的位置。
10.根据权利要求1所述的系统，其特征在于，所述可感知的方式包括将所判断出的注视对象的颜色加深。
11.根据权利要求1所述的系统，其特征在于，所述图像获取装置以30帧每秒的帧率提供操作者头部正面的图像。
12.一种非接触式操作方法，以对显示屏幕的显示区域上的用于操作的对象进行操作，包括：
(a)提供操作者头部正面的图像；
(b)根据所提供的操作者头部正面的图像计算操作者的头部姿态参数和眼睛姿态参数的值；
(c)根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示区域上的位置，并根据所确定的视线位置判断操作者所注视的对象；
(d)以操作者可感知的方式通知操作者所判断出的注视对象；
(e)根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别，并根据识别结果确定操作指令；和
(f)基于所判断出的注视对象和所确定的操作指令执行操作，
其中步骤(c)和步骤(e)并行进行或顺序进行。
13.根据权利要求12所述的方法，其特征在于，还包括提供分别对应于所述显示区域的多个位置的多组头部姿态参数和眼睛姿态参数的基准值的步骤，以及
步骤(c)所述根据所计算的头部姿态参数和眼睛姿态参数的值确定操作者的视线在所述显示区域上的位置的步骤包括通过将所计算的头部姿态参数和眼睛姿态参数的值与所述多组头部姿态参数和眼睛姿态参数的基准值进行匹配和利用插值的方法确定操作者的视线在所述显示区域上的位置。
14.根据权利要求13所述的方法，其特征在于，还包括提供表明所述显示区域上的对象与所述显示区域的位置之间的对应关系的信息的步骤，以及
步骤(c)所述根据所确定的视线位置判断操作者所注视的对象的步骤包括基于所述信息、根据所确定的视线位置判断操作者所注视的对象。
15.根据权利要求12所述的方法，其特征在于，还包括提供分别对应于多个预定动作的多个预定动作模式的步骤，以及
步骤(e)所述根据所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化对操作者的动作进行识别的步骤包括将所计算的头部姿态参数和眼睛姿态参数的值中的至少一个单独参数值随时间的变化与所述多个预定动作模式进行比较，并且将与所述变化匹配的一个预定动作模式所对应的预定动作识别为操作者的动作。
16.根据权利要求15所述的方法，其特征在于，还包括提供表明所述多个预定动作与操作指令之间的对应关系的信息，以及
步骤(e)所述根据识别结果确定操作指令的步骤包括基于所述信息、根据识别结果确定操作指令。
17.根据权利要求15所述的方法，其特征在于，所述多个预定动作至少包括以下一个：连续眨两下眼睛、点头和摇头。
18.根据权利要求12-17中任一权利要求所述的方法，其特征在于，所述头部姿态参数包括与头部的俯仰姿势有关的头部俯仰参数和与头部的水平转动角度有关的头部水平转动参数，眼睛姿态参数包括与视线在水平方向上的注视方向有关的水平注视参数和与视线在竖直方向上的注视方向有关的竖直注视参数。
19.根据权利要求18所述的方法，其特征在于，步骤(b)包括：
(i)检测所提供的操作者头部正面的图像中操作者脸部的位置及大小；
(ii)在所检测出的操作者脸部上检测操作者双眼的位置及大小；
(iii)在所检测出的双眼上分别确定瞳孔的位置；和
(iv)基于所检测到的操作者脸部和眼睛的信息计算头部俯仰参数和头部水平转动参数的值，基于所检测到的操作者眼睛的信息和所确定的瞳孔的位置计算水平注视参数和竖直注视参数的值。
20.根据权利要求19所述的方法，其特征在于，步骤(i)所述的检测是利用人脸检测技术进行检测的，步骤(ii)所述的检测是利用模板匹配算法进行检测的，步骤(iii)所述的确定是利用直方图的方法进行确定的。
21.根据权利要求12所述的方法，其特征在于，所述可感知的方式包括将所判断出的注视对象的颜色加深。
22.根据权利要求12所述的方法，其特征在于，步骤(a)所述的提供是以30帧每秒的帧率提供的。
CNB2005100735314A 2005-06-02 2005-06-02 一种非接触式目控操作系统和方法 Expired - Fee Related CN1293446C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNB2005100735314A CN1293446C (zh) 2005-06-02 2005-06-02 一种非接触式目控操作系统和方法
US11/419,489 US7853050B2 (en) 2005-06-02 2006-05-19 System and method for operation without touch by operators

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100735314A CN1293446C (zh) 2005-06-02 2005-06-02 一种非接触式目控操作系统和方法

Publications (2)

Publication Number Publication Date
CN1694045A true CN1694045A (zh) 2005-11-09
CN1293446C CN1293446C (zh) 2007-01-03

Family

ID=35353027

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100735314A Expired - Fee Related CN1293446C (zh) 2005-06-02 2005-06-02 一种非接触式目控操作系统和方法

Country Status (2)

Country Link
US (1) US7853050B2 (zh)
CN (1) CN1293446C (zh)

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
CN101593079B (zh) * 2008-05-27 2011-07-27 株式会社Ntt都科摩 字符输入装置和字符输入方法
CN102239460A (zh) * 2008-11-20 2011-11-09 亚马逊技术股份有限公司 作为输入机制的动作识别
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102404584A (zh) * 2010-09-13 2012-04-04 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN102402286A (zh) * 2010-09-03 2012-04-04 微软公司 动态姿势参数
CN102469293A (zh) * 2010-11-17 2012-05-23 中兴通讯股份有限公司 一种在视频业务中获取用户输入信息的实现方法及装置
CN102495675A (zh) * 2011-12-20 2012-06-13 陈岚婕 互动式多媒体广告控制系统
CN102566753A (zh) * 2010-12-07 2012-07-11 索尼公司 信息处理装置和信息处理系统
CN102579138A (zh) * 2012-04-06 2012-07-18 苏州迪凯尔医疗科技有限公司 导航视图视角自动调整法
CN102708843A (zh) * 2012-05-15 2012-10-03 中兴通讯股份有限公司 一种终端图像处理方法及终端
WO2012174743A1 (en) * 2011-06-24 2012-12-27 Technicolor (China) Technology Co., Ltd. Computer device operable with user's eye movement and method for operating the computer device
CN102866776A (zh) * 2012-09-07 2013-01-09 广东电网公司电力调度控制中心 电网调度运行的眼控输入系统及其应用方法
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN103188987A (zh) * 2010-11-02 2013-07-03 伊顿株式会社 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN103186237A (zh) * 2011-12-31 2013-07-03 由田信息技术(上海)有限公司 藉由影像辨识之启动方法
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
CN103294180A (zh) * 2012-03-01 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN103376887A (zh) * 2012-04-23 2013-10-30 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103677247A (zh) * 2012-12-19 2014-03-26 苏州贝腾特电子科技有限公司 虚拟鼠标单击的方法
CN103809733A (zh) * 2012-11-07 2014-05-21 北京三星通信技术研究有限公司 人机交互系统和方法
US8745524B2 (en) 2008-04-25 2014-06-03 Wistron Corp. Display method and device thereof
CN103853440A (zh) * 2012-11-30 2014-06-11 北京三星通信技术研究有限公司 一种移动终端及其快捷操作的实现方法
CN103902027A (zh) * 2012-12-26 2014-07-02 鸿富锦精密工业（深圳）有限公司 智能切换装置及其智能切换方法和系统
CN103914151A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 信息显示方法及装置
CN104065986A (zh) * 2013-03-18 2014-09-24 中兴通讯股份有限公司 一种基于眼球动作控制电视机的方法及装置
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
CN104159499A (zh) * 2012-03-08 2014-11-19 埃西勒国际通用光学公司 用于测定眼镜佩戴者的至少一种头部姿势特征的方法
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN104348619A (zh) * 2013-07-31 2015-02-11 联想(北京)有限公司 验证身份的方法和终端设备
CN104364733A (zh) * 2012-06-01 2015-02-18 夏普株式会社 注视位置检测装置、注视位置检测方法和注视位置检测程序
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9122917B2 (en) 2011-08-04 2015-09-01 Amazon Technologies, Inc. Recognizing gestures captured by video
CN104914988A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 手势识别装置以及手势识别装置的控制方法
CN104933334A (zh) * 2014-03-17 2015-09-23 富士施乐株式会社 图像处理装置和图像显示装置
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
CN105630135A (zh) * 2014-10-27 2016-06-01 中兴通讯股份有限公司 一种智能终端的控制方法和装置
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
CN105721401A (zh) * 2014-12-04 2016-06-29 中芯国际集成电路制造(上海)有限公司 可穿戴式设备之间的通信方法及通讯系统
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
CN106325480A (zh) * 2015-06-30 2017-01-11 天津三星电子有限公司 基于视线追踪的鼠标控制设备及其方法
CN106662916A (zh) * 2014-05-30 2017-05-10 微软技术许可有限责任公司 用于一个或多个用户的注视跟踪
US9760169B2 (en) 2014-11-14 2017-09-12 Boe Technology Group Co., Ltd. Line-of-sight processing method, line-of-sight processing system and wearable device
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
CN108006749A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006750A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
CN108519834A (zh) * 2018-04-04 2018-09-11 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质和电子设备
CN108563778A (zh) * 2018-04-24 2018-09-21 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
CN108681399A (zh) * 2018-05-11 2018-10-19 北京七鑫易维信息技术有限公司 一种设备控制方法、装置、控制设备及存储介质
CN109844784A (zh) * 2016-09-22 2019-06-04 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN110858095A (zh) * 2018-08-23 2020-03-03 宏碁股份有限公司 可由头部操控的电子装置与其操作方法
CN111160251A (zh) * 2019-12-30 2020-05-15 支付宝实验室(新加坡)有限公司 一种活体识别方法及装置
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
JP2014048936A (ja) * 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US10453355B2 (en) 2012-09-28 2019-10-22 Nokia Technologies Oy Method and apparatus for determining the attentional focus of individuals within a group
DE102013003047A1 (de) * 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
GB2523345B (en) 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
CN105320259B (zh) * 2014-08-05 2018-11-16 深圳Tcl新技术有限公司 遥控方法和装置
WO2016058847A1 (en) * 2014-10-13 2016-04-21 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
EP3009918A1 (en) * 2014-10-13 2016-04-20 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method and computer readable storage medium
CN106339069A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 屏幕处理方法及装置
CN105554391B (zh) * 2015-12-31 2019-05-14 广州广电运通金融电子股份有限公司 摄像头的控制方法及装置、金融设备终端
CN105911910A (zh) * 2016-05-11 2016-08-31 东北大学 一种基于人机接口的颈椎运动锻炼系统及方法
CN106528376A (zh) * 2016-11-11 2017-03-22 广东小天才科技有限公司 一种用户的提醒方法以及终端
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
WO2021134160A1 (en) * 2019-12-30 2021-07-08 Fresenius Medical Care Deutschland Gmbh Method for driving a display, tracking monitor and storage medium
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems

Cited By (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
US8745524B2 (en) 2008-04-25 2014-06-03 Wistron Corp. Display method and device thereof
CN101593079B (zh) * 2008-05-27 2011-07-27 株式会社Ntt都科摩 字符输入装置和字符输入方法
CN102239460A (zh) * 2008-11-20 2011-11-09 亚马逊技术股份有限公司 作为输入机制的动作识别
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
US8797261B2 (en) 2009-07-10 2014-08-05 Peking University Image manipulation based on tracked eye movement
US8564533B2 (en) 2009-07-10 2013-10-22 Peking University Image manipulation based on tracked eye movement
US9081414B2 (en) 2009-07-10 2015-07-14 Peking University Image manipulation based on tracked eye movement
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US9557811B1 (en) 2010-05-24 2017-01-31 Amazon Technologies, Inc. Determining relative motion as input
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102402286A (zh) * 2010-09-03 2012-04-04 微软公司 动态姿势参数
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
US9983784B2 (en) 2010-09-03 2018-05-29 Microsoft Technology Licensing, Llc Dynamic gesture parameters
CN102404584A (zh) * 2010-09-13 2012-04-04 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN102404584B (zh) * 2010-09-13 2014-05-07 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN103188987A (zh) * 2010-11-02 2013-07-03 伊顿株式会社 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN103188987B (zh) * 2010-11-02 2015-08-05 伊顿株式会社 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN102469293A (zh) * 2010-11-17 2012-05-23 中兴通讯股份有限公司 一种在视频业务中获取用户输入信息的实现方法及装置
CN102566753A (zh) * 2010-12-07 2012-07-11 索尼公司 信息处理装置和信息处理系统
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
WO2012174743A1 (en) * 2011-06-24 2012-12-27 Technicolor (China) Technology Co., Ltd. Computer device operable with user's eye movement and method for operating the computer device
US9411416B2 (en) 2011-06-24 2016-08-09 Wenjuan Song Computer device operable with user's eye movement and method for operating the computer device
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US9122917B2 (en) 2011-08-04 2015-09-01 Amazon Technologies, Inc. Recognizing gestures captured by video
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN102495675A (zh) * 2011-12-20 2012-06-13 陈岚婕 互动式多媒体广告控制系统
CN103186237A (zh) * 2011-12-31 2013-07-03 由田信息技术(上海)有限公司 藉由影像辨识之启动方法
CN103207664B (zh) * 2012-01-16 2016-04-27 联想(北京)有限公司 一种图像处理方法和设备
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
CN103294180A (zh) * 2012-03-01 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN103294180B (zh) * 2012-03-01 2017-02-15 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN104159499A (zh) * 2012-03-08 2014-11-19 埃西勒国际通用光学公司 用于测定眼镜佩戴者的至少一种头部姿势特征的方法
CN104159499B (zh) * 2012-03-08 2017-06-30 埃西勒国际通用光学公司 用于测定眼镜佩戴者的至少一种头部姿势特征的方法
US9471153B1 (en) 2012-03-14 2016-10-18 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9652083B2 (en) 2012-03-28 2017-05-16 Amazon Technologies, Inc. Integrated near field sensor for display devices
CN102579138A (zh) * 2012-04-06 2012-07-18 苏州迪凯尔医疗科技有限公司 导航视图视角自动调整法
CN103376887B (zh) * 2012-04-23 2016-08-10 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103376887A (zh) * 2012-04-23 2013-10-30 联想(北京)有限公司 一种信息处理的方法及电子设备
CN102708843B (zh) * 2012-05-15 2017-02-15 中兴通讯股份有限公司 一种终端图像处理方法及终端
CN102708843A (zh) * 2012-05-15 2012-10-03 中兴通讯股份有限公司 一种终端图像处理方法及终端
CN104364733A (zh) * 2012-06-01 2015-02-18 夏普株式会社 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN102866776B (zh) * 2012-09-07 2016-07-13 广东电网公司电力调度控制中心 电网调度运行的眼控输入系统及其应用方法
CN102866776A (zh) * 2012-09-07 2013-01-09 广东电网公司电力调度控制中心 电网调度运行的眼控输入系统及其应用方法
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
WO2013185714A1 (zh) * 2012-11-06 2013-12-19 中兴通讯股份有限公司 增强现实中识别对象的方法及系统和计算机
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN103809733B (zh) * 2012-11-07 2018-07-20 北京三星通信技术研究有限公司 人机交互系统和方法
CN108845668A (zh) * 2012-11-07 2018-11-20 北京三星通信技术研究有限公司 人机交互系统和方法
CN103809733A (zh) * 2012-11-07 2014-05-21 北京三星通信技术研究有限公司 人机交互系统和方法
CN108845668B (zh) * 2012-11-07 2022-06-03 北京三星通信技术研究有限公司 人机交互系统和方法
CN103853440A (zh) * 2012-11-30 2014-06-11 北京三星通信技术研究有限公司 一种移动终端及其快捷操作的实现方法
CN103677247A (zh) * 2012-12-19 2014-03-26 苏州贝腾特电子科技有限公司 虚拟鼠标单击的方法
CN103902027A (zh) * 2012-12-26 2014-07-02 鸿富锦精密工业（深圳）有限公司 智能切换装置及其智能切换方法和系统
US9483113B1 (en) 2013-03-08 2016-11-01 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
CN104065986A (zh) * 2013-03-18 2014-09-24 中兴通讯股份有限公司 一种基于眼球动作控制电视机的方法及装置
CN104348619B (zh) * 2013-07-31 2018-12-14 联想(北京)有限公司 验证身份的方法和终端设备
CN104348619A (zh) * 2013-07-31 2015-02-11 联想(北京)有限公司 验证身份的方法和终端设备
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
CN104914988A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 手势识别装置以及手势识别装置的控制方法
CN104933334A (zh) * 2014-03-17 2015-09-23 富士施乐株式会社 图像处理装置和图像显示装置
CN104933334B (zh) * 2014-03-17 2018-06-15 富士施乐株式会社 图像处理装置和图像显示装置
CN103914151A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 信息显示方法及装置
CN106662916A (zh) * 2014-05-30 2017-05-10 微软技术许可有限责任公司 用于一个或多个用户的注视跟踪
CN104055478B (zh) * 2014-07-08 2016-02-03 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN105630135A (zh) * 2014-10-27 2016-06-01 中兴通讯股份有限公司 一种智能终端的控制方法和装置
US9760169B2 (en) 2014-11-14 2017-09-12 Boe Technology Group Co., Ltd. Line-of-sight processing method, line-of-sight processing system and wearable device
CN105721401B (zh) * 2014-12-04 2018-11-16 中芯国际集成电路制造(上海)有限公司 可穿戴式设备之间的通信方法及通讯系统
CN105721401A (zh) * 2014-12-04 2016-06-29 中芯国际集成电路制造(上海)有限公司 可穿戴式设备之间的通信方法及通讯系统
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
CN106325480A (zh) * 2015-06-30 2017-01-11 天津三星电子有限公司 基于视线追踪的鼠标控制设备及其方法
CN109844784B (zh) * 2016-09-22 2023-10-31 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN109844784A (zh) * 2016-09-22 2019-06-04 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN107390863B (zh) * 2017-06-16 2020-07-07 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
CN108006750B (zh) * 2017-06-21 2023-09-15 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006749A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006749B (zh) * 2017-06-21 2023-09-15 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006750A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US11013397B2 (en) 2018-01-02 2021-05-25 Boe Technology Group Co., Ltd. Endoscope apparatus and controlling method thereof
CN108519834A (zh) * 2018-04-04 2018-09-11 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质和电子设备
CN108563778A (zh) * 2018-04-24 2018-09-21 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
CN108681399A (zh) * 2018-05-11 2018-10-19 北京七鑫易维信息技术有限公司 一种设备控制方法、装置、控制设备及存储介质
CN108681399B (zh) * 2018-05-11 2020-07-10 北京七鑫易维信息技术有限公司 一种设备控制方法、装置、控制设备及存储介质
CN110858095A (zh) * 2018-08-23 2020-03-03 宏碁股份有限公司 可由头部操控的电子装置与其操作方法
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN111160251A (zh) * 2019-12-30 2020-05-15 支付宝实验室(新加坡)有限公司 一种活体识别方法及装置
CN111160251B (zh) * 2019-12-30 2023-05-02 支付宝实验室(新加坡)有限公司 一种活体识别方法及装置
CN111539333B (zh) * 2020-04-24 2021-06-29 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US7853050B2 (en) 2010-12-14
US20060281969A1 (en) 2006-12-14
CN1293446C (zh) 2007-01-03

Similar Documents

Publication Publication Date Title
CN1293446C (zh) 一种非接触式目控操作系统和方法
CN100343867C (zh) 一种判别视线方向的方法和装置
US10157477B2 (en) Robust head pose estimation with a depth camera
US10755438B2 (en) Robust head pose estimation with a depth camera
JP6577454B2 (ja) 軸上視線追跡システム及び方法
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
US9075459B2 (en) Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface
CN1457468A (zh) 根据观看者的位置对显示器进行的自动定位
US20170351327A1 (en) Information processing apparatus and method, and program
JP2010086336A (ja) 画像制御装置、画像制御プログラムおよび画像制御方法
JP2011166305A (ja) 画像処理装置および撮像装置
WO2010142455A2 (en) Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
WO2021204211A1 (zh) 人脸和虹膜图像采集方法、装置、可读存储介质及设备
JP2011095985A (ja) 画像表示装置
CN110750157A (zh) 基于3d眼球模型的眼控辅助输入装置及方法
KR20140137564A (ko) 인물 추적용 3차원 이미지 센싱 시스템 및 그 방법
EP2261772A1 (en) Method for controlling an input device based on the detection of attitude or eye gaze
KR20220055704A (ko) 인공지능 기반의 운동 코칭 장치
EP2261857A1 (en) Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
JP6547012B2 (ja) 生体情報解析装置及びその基礎化粧解析方法
US20240013439A1 (en) Automated calibration method of a system comprising an external eye-tracking device and a computing device
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
Iwata et al. PupilMouse supported by head pose detection
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171221

Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16

Patentee after: Vimicro

Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor

Patentee before: VIMICRO Corp.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16

Patentee after: Zhongxing Technology Co.,Ltd.

Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16

Patentee before: Vimicro

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070103