CN101840265A - 视觉感知装置及其控制方法 - Google Patents

视觉感知装置及其控制方法 Download PDF

Info

Publication number
CN101840265A
CN101840265A CN200910301016A CN200910301016A CN101840265A CN 101840265 A CN101840265 A CN 101840265A CN 200910301016 A CN200910301016 A CN 200910301016A CN 200910301016 A CN200910301016 A CN 200910301016A CN 101840265 A CN101840265 A CN 101840265A
Authority
CN
China
Prior art keywords
vision
vernier
visual
destination object
perception device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910301016A
Other languages
English (en)
Other versions
CN101840265B (zh
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengqin International Intellectual Property Exchange Co ltd
Original Assignee
Shenzhen Futaihong Precision Industry Co Ltd
Chi Mei Communication Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Futaihong Precision Industry Co Ltd, Chi Mei Communication Systems Inc filed Critical Shenzhen Futaihong Precision Industry Co Ltd
Priority to CN200910301016.5A priority Critical patent/CN101840265B/zh
Priority to US12/547,674 priority patent/US20100241992A1/en
Publication of CN101840265A publication Critical patent/CN101840265A/zh
Application granted granted Critical
Publication of CN101840265B publication Critical patent/CN101840265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

一种视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕和存储单元。该处理单元包括：影像处理模块，用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛的视觉影像，处理视觉影像获得视觉焦点位置，计算视觉校准偏移量；视觉校准模块，用于根据视觉校准偏移量对视觉焦点位置进行坐标校准；游标控制模块，用于选择视觉焦点周围区域作为视觉游标，判断视觉游标的停留时间是否大于指定时间；对象控制模块，用于当停留时间大于指定时间时控制视觉游标选定目标对象，当停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域。实施本发明，减少视觉捕捉的不可靠性以及利用手动交互的次数，同时实现省电节能的效果。

Description

视觉感知装置及其控制方法
技术领域
本发明涉及一种电子装置及其控制方法，特别是关于一种视觉感知装置以及控制该视觉感知装置中目标物件的方法。
背景技术
由于电子装置(例如手机)的人机交互领域的不断发展，从最初的按键交互方式逐步发展到目前的笔触摸和手指触摸的交互方式，因此人机交互变得越来越方便。然而，这种依然通过手动来实现人机交互的模式对于残疾用户或者因为某些疾病导致手活动受限的终端用户来说就显得有些困难。因此，一种基于眼控捕捉技术就逐步应用到电子装置中，即利用视觉感知与电子装置进行人机交互是一个很不错的交互方式。
目前，已存在视觉感知和视觉焦点捕捉的装置及类似的显示产品(例如LCD)，这些带有视觉捕捉的LCD能够计算出终端用户视觉凝视在LCD的坐标或区域，通过眼睛凝视时间长短或眨眼方式可以控制目标对象的选择。然而，由于视觉捕捉系统的不精确和不可靠性，从而导致用户不能准确地捕捉到LCD中显示的目标对象。
发明内容
鉴于以上内容，有必要提供一种视觉感知装置来减少视觉捕捉的不确定性和不可靠性，减少利用手动进行人机交互的次数，同时达到省电节能的效果。
此外，还有必要提供一种视觉感知装置控制方法来减少视觉捕捉的不确定性和不可靠性，减少利用手动进行人机交互的次数，同时达到省电节能的效果。
一种视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕以及存储单元。其中，该处理单元包括：影像处理模块、视觉校准模块、游标控制模块以及对象控制模块。所述的影像处理模块用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛的视觉影像，处理该视觉影像获得视觉焦点位置，以及计算一个用于校准该视觉焦点位置的视觉校准偏移量。所述的视觉校准模块用于根据所述的视觉校准偏移量对视觉焦点位置进行坐标校准得到校准后的视觉焦点。所述的游标控制模块用于选择视觉焦点周围区域作为视觉游标，以及判断视觉游标在目标对象上的停留时间是否大于指定时间。所述的对象控制模块，用于当停留时间大于指定时间时控制视觉游标选定目标对象，以及当停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
一种视觉感知装置控制方法包括如下步骤：(a)计算一个用于校准视觉焦点位置的视觉校准偏移量；(b)控制摄像单元摄取用户凝视显示屏幕中目标对象时的视觉影像；(c)处理该视觉影像获得用户凝视目标对象的视觉焦点位置；(d)根据视觉校准偏移量对视觉焦点位置进行坐标校准；(e)选择视觉焦点周围区域作为视觉游标；(f)判断视觉游标的停留时间是否大于指定时间；(g)如果视觉游标的停留时间大于指定时间，则控制视觉游标选定目标对象；(h)如果视觉游标的停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
相较于现有技术，所述视觉感知装置及其控制方法通过眼睛凝视和按键结合的方式处理目标对象，减少了视觉捕捉的不确定性和不可靠性，也减少了利用手动进行人机交互，同时实现了省电节能的效果。
附图说明
图1是本发明视觉感知装置较佳实施例的架构图。
图2是本发明视觉感知装置控制方法较佳实施例的流程图。
图3是图2中步骤S20的计算视觉校准偏移量的细化流程图。
具体实施方式
如图1所示，是本发明视觉感知装置较佳实施例的架构图。该视觉感知装置包括处理单元1、摄像单元2、显示单元3、显示屏幕4以及存储单元5。所述的摄像单元2、显示单元3以及存储单元5分别与处理单元1直接相连接，显示单元3与显示屏幕4直接相连接。摄像单元2用于摄取用户通过眼睛凝视目标对象时产生的视觉影像，并将该视觉影像传递给处理单元1进行处理从而获得视觉焦点。显示单元3用于产生校准视觉焦点的基准点并在显示屏幕4上显示该基准点，以及在显示屏幕4上显示用户所需操作的目标对象。存储单元5用于存储作为校准视觉焦点位置的视觉校准偏移量，该视觉校准偏移量包括宽度偏移量(记为“k”)以及高度偏移量(记为“h”)，其用于对用户凝视显示屏幕4中目标对象时所产生的视觉焦点进行位置校准。
处理单元1用于对摄取的视觉影像进行影像处理得到视觉焦点，计算所述的视觉校准偏移量，并利用该视觉校准偏移量对视觉焦点进行视觉位置校准，以及根据视觉焦点位置来控制显示屏幕4中显示的目标对象。所述的处理单元1包括影像处理模块11、视觉校准模块12、游标控制模块13以及对象控制模块14。
所述的影像处理模块11用于当用户凝视显示屏幕4中的目标对象时，控制摄像单元2摄取用户眼睛的视觉影像，通过处理该视觉影像获得视觉焦点位置，计算一个用于校准该视觉焦点位置的视觉校准偏移量，并将该视觉校准偏移量存储于存储单元5中。
所述的视觉校准模块12用于根据所述的视觉校准偏移量对视觉焦点位置进行坐标校准得到校准后的视觉焦点坐标，从而使视觉感知装置100能够准确地捕捉到用户视觉焦点。在本实施例中，假如影像处理模块11获取的视觉焦点位置坐标为(X0，Y0)，视觉校准模块12将视觉焦点的X0坐标乘以宽度偏移量k，将视觉焦点的X0坐标乘以高度偏移量h，从而得到校准后的视觉焦点坐标(X，Y)。
所述的游标控制模块13用于选择视觉焦点周围较小区域作为视觉游标，以及判断显示单元3是否捕捉到视觉游标。当显示单元3捕捉到视觉游标时，所述的显示单元3以高亮区域在显示屏幕上显示该视觉游标，当显示单元没有捕捉到视觉游标时，所述的显示单元3控制显示屏幕4工作于省电模式下。
所述的游标控制模块13还用于判断目标对象是否完全出现在视觉游标范围内，如果目标对象没有完全出现在视觉游标范围内，则用户眼睛在显示屏幕上继续移动视觉来凝视该目标对象让摄像单元2继续摄取视觉影像，如果目标对象完全出现在视觉游标范围内，则游标控制模块13判断视觉游标范围内是否有多个目标对象。当视觉游标范围内有多个目标对象时，所述的对象控制模块14将视觉游标范围内的多个目标对象进行放大并产生一个图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。
所述的游标控制模块13还用于判断视觉游标在目标对象上的停留时间是否大于指定时间(例如2秒)。当停留时间大于指定时间时，所述的对象控制模块14控制视觉游标选定目标对象，当停留时间小于等于指定时间时，所述的对象控制模块14控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
如图2所示，是本发明视觉感知装置控制方法较佳实施例的流程图。步骤S20，影像处理模块11计算一个用于校准视觉焦点位置的视觉校准偏移量，并将该视觉校准偏移量存储于存储单元5中。所述视觉校准偏移量用于对用户凝视显示屏幕4中目标对象时所产生的视觉焦点位置进行校准，从而使所述视觉感知装置能够准确地捕捉到用户视觉焦点。所述计算视觉校准偏移量的方法在下图3进行描述。
步骤S21，当用户凝视显示屏幕4所显示的目标对象时，影像处理模块11控制摄像单元2摄取用户眼睛的视觉影像。步骤S22，影像处理模块11通过处理该视觉影像获得用户凝视目标对象的视觉焦点位置。在本实施例中，为了得到清晰的视觉影像，该影像处理模块11可以清除视觉影像中的杂质像点，对视觉影像进行灰度处理，以及对影像灰度值进行均值化处理。
步骤S23，视觉校准模块12根据视觉校准偏移量对视觉焦点位置进行坐标校准。在本实施例中，假如影像处理模块11获取的视觉焦点位置坐标为(X0，Y0)，视觉校准模块12将视觉焦点的X0坐标乘以宽度偏移量k，将视觉焦点的X0坐标乘以高度偏移量h，从而得到校准后的视觉焦点坐标(X，Y)。
步骤S24，游标控制模块13选择视觉焦点周围较小区域作为视觉游标。步骤S25，游标控制模块13根据视觉焦点位置判断显示单元3是否捕捉到视觉游标。如果显示单元3没有捕捉到视觉游标，则流程转向步骤S32。步骤S26，如果显示单元3捕捉到视觉游标，则显示单元3以高亮区域在显示屏幕4上显示该视觉游标。
步骤S27，游标控制模块13判断目标对象是否完全出现在视觉游标范围内。如果目标对象没有完全出现在视觉游标范围内，则流程转向步骤S21，即用户眼睛可在显示屏幕4上继续移动视觉来凝视该目标对象，从而让摄像单元2摄取另外的视觉影像。步骤S28，如果目标对象完全出现在视觉游标范围内，则游标控制模块13判断视觉游标范围内是否只有一个目标对象。如果视觉游标范围内多于一个目标对象，则流程转向步骤S33。
步骤S29，如果视觉游标范围内只有一个目标对象，则游标控制模块13判断视觉游标在该目标对象的停留时间是否大于指定时间(例如2秒)。步骤S30，如果停留时间大于指定时间，表明用户需要选择一个目标对象，则对象控制模块14控制视觉游标选定该目标对象。步骤S31，如果停留时间小于等于指定时间，表明用户只需要浏览目标对象而无需选择目标对象，则对象控制模块14控制下一个目标对象进入视觉游标区域内浏览目标对象。
步骤S32，显示单元3控制显示屏幕4工作于省电模式下，使显示屏幕4进入屏幕保护方式，从而达到省电节能的效果。所述的省电模式可以关闭显示屏幕4，也可以使显示屏幕4处于半透明状态。
步骤S33，对象控制模块14将视觉游标范围内的多个目标对象进行放大，并产生一个图标视窗显示该多个放大的目标对象。步骤S34，用户可以在该图标视窗上采用选择或浏览该多个目标对象，因此可以有效地避免视觉捕捉的不确定性和不可靠性。
如图3所示，是图2中步骤S20的计算视觉校准偏移量的细化流程图。步骤S201，处理单元1初始化显示单元3，控制显示单元3产生四个基准点，并在显示屏幕4上显示该四个基准点。步骤S202，当用户眼睛分别凝视上述四个基准点时，影像处理模块11控制摄像单元2分别摄取用户眼睛凝视的四幅视觉影像。步骤S203，影像处理模块11清除每一幅视觉影像中的杂质像点，并对每一幅视觉影像的像素进行灰度处理得到影像灰度值数组。步骤S204，影像处理模块11对每一影像灰度值数组中的像素值进行均值化处理。在本实施例中，假如将一幅视觉影像中的像素值范围规定为0至100，则将像素值超过100的像素进行均值化。步骤S205，影像处理模块11获取每一幅视觉影像的中心位置。步骤S206，影像处理模块11分别计算每一个中心位置的坐标对应于每一个基准点的视觉校准偏移量，该视觉校准偏移量包括宽度偏移量k以及高度偏移量h。本实施例中，假如一个基准点的坐标为(X1，Y1)，以及用户凝视该基准点时的视觉影像的中心位置坐标为(a，b)。影像处理模块11将视觉影像的中心位置的a坐标除以基准点的X1坐标得到宽度偏移量k，将中心位置的b坐标除以基准点的X1坐标得到高度偏移量h。
本发明所述的视觉感知装置以及控制该视觉感知装置中目标物件的方法，通过眼睛凝视和按键结合处理目标对象的方式，弥补了视觉捕捉的不确定性和不可靠性，减少了利用手动方式进行人机交互的次数，同时也实现了省电节能的效果。对于视觉捕捉的不确定性和不可靠性，视觉游标区域中或许会存在多于一个的目标对象，采用弹出放大目标对象的图标视窗，用户可以在弹出的图标视窗上再进行目标对象的操作。

Claims (10)

1.一种视觉感知装置，该视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕以及存储单元，其特征在于，所述的处理单元包括：
影像处理模块，用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛的视觉影像，处理该视觉影像获得视觉焦点位置，以及计算一个用于校准该视觉焦点位置的视觉校准偏移量；
视觉校准模块，用于根据所述的视觉校准偏移量对视觉焦点位置进行坐标校准得到校准后的视觉焦点；
游标控制模块，用于选择校准后的视觉焦点周围区域作为视觉游标，以及判断视觉游标在目标对象上的停留时间是否大于指定时间；
对象控制模块，用于当停留时间大于指定时间时控制视觉游标选定该目标对象，以及当停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
2.如权利要求1所述的视觉感知装置，其特征在于，所述的游标控制模块还用于判断显示单元是否捕捉到视觉游标，当显示单元捕捉到视觉游标时，显示单元以高亮区域在显示屏幕上显示该视觉游标，当显示单元没有捕捉到视觉游标时，显示单元控制显示屏幕工作于省电模式下。
3.如权利要求1所述的视觉感知装置，其特征在于，所述的游标控制模块还用于判断目标对象是否完全出现在视觉游标范围内，当目标对象没有完全出现在视觉游标范围内，则摄像单元继续摄取下一幅视觉影像，当目标对象完全出现在视觉游标范围内，则游标控制模块判断视觉游标范围内是否只有一个目标对象。
4.如权利要求3所述的视觉感知装置，其特征在于，当所述的视觉游标范围内有多个目标对象时，所述的对象控制模块将视觉游标范围内的多个目标对象进行放大并产生一个图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。
5.如权利要求1所述的视觉感知装置，其特征在于，所述的存储单元用于存储所述的视觉校准偏移量，该视觉校准偏移量包括宽度偏移量以及高度偏移量，用于对用户凝视显示屏幕中目标对象时所产生的视觉焦点进行位置校准。
6.一种视觉感知装置控制方法，该视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕以及存储单元，其特征在于，该方法包括如下步骤：
(a)计算一个用于校准视觉焦点位置的视觉校准偏移量；
(b)控制摄像单元摄取用户凝视显示屏幕中目标对象时的视觉影像；
(c)处理该视觉影像获得用户凝视目标对象的视觉焦点位置；
(d)根据视觉校准偏移量对视觉焦点位置进行坐标校准；
(e)选择校准后的视觉焦点周围区域作为视觉游标；
(f)判断视觉游标在目标对象上的停留时间是否大于指定时间；
(g)如果停留时间大于指定时间，则控制视觉游标选定该目标对象；
(h)如果停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
7.如权利要求6所述的视觉感知装置控制方法，其特征在于，所述的步骤(c)包括：清除所述的视觉影像中的杂质像点，对视觉影像进行灰度处理，以及对该影像灰度值进行均值化处理。
8.如权利要求6所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤：
判断显示单元是否捕捉到视觉游标；
如果显示单元捕捉到视觉游标，则显示单元以高亮区域在显示屏幕上显示该视觉游标；
如果显示单元没有捕捉到视觉游标时，则显示单元控制显示屏幕工作于省电模式下。
9.如权利要求6所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤：
判断目标对象是否完全出现在视觉游标范围内；
如果目标对象没有完全出现在视觉游标范围内，则执行步骤(b)摄取下一幅视觉影像；
如果目标对象完全出现在视觉游标范围内，则判断视觉游标范围内是否有多个目标对象。
10.如权利要求9所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤：
如果视觉游标范围内只有一个目标对象，则执行步骤(f)判断视觉游标的停留时间是否大于指定时间；
如果视觉游标范围内有多个目标对象，则将视觉游标范围内的多个目标对象进行放大并产生一个图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。
CN200910301016.5A 2009-03-21 2009-03-21 视觉感知装置及其控制方法 Active CN101840265B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200910301016.5A CN101840265B (zh) 2009-03-21 2009-03-21 视觉感知装置及其控制方法
US12/547,674 US20100241992A1 (en) 2009-03-21 2009-08-26 Electronic device and method for operating menu items of the electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910301016.5A CN101840265B (zh) 2009-03-21 2009-03-21 视觉感知装置及其控制方法

Publications (2)

Publication Number Publication Date
CN101840265A true CN101840265A (zh) 2010-09-22
CN101840265B CN101840265B (zh) 2013-11-06

Family

ID=42738730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910301016.5A Active CN101840265B (zh) 2009-03-21 2009-03-21 视觉感知装置及其控制方法

Country Status (2)

Country Link
US (1) US20100241992A1 (zh)
CN (1) CN101840265B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN103093221A (zh) * 2013-01-31 2013-05-08 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN103455147A (zh) * 2013-09-10 2013-12-18 惠州学院 一种光标控制方法
CN103838374A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息提示方法和信息提示装置
CN103974107A (zh) * 2013-01-28 2014-08-06 海尔集团公司 电视机眼动控制方法、装置及电视机
CN104145230A (zh) * 2011-12-23 2014-11-12 汤姆逊许可公司 带有功耗管理的计算机设备和管理计算机设备功耗的方法
CN105279459A (zh) * 2014-11-20 2016-01-27 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN105359082A (zh) * 2013-06-25 2016-02-24 微软技术许可有限责任公司 用户接口导航
CN105590015A (zh) * 2014-10-24 2016-05-18 中国电信股份有限公司 信息图热点采集方法、处理方法和装置及热点系统
CN107111355A (zh) * 2014-11-03 2017-08-29 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
CN107995979A (zh) * 2015-04-16 2018-05-04 托比股份公司 使用凝视信息的用户识别和/或认证
CN109753143A (zh) * 2018-04-16 2019-05-14 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN110069101A (zh) * 2019-04-24 2019-07-30 洪浛檩 一种穿戴式计算设备和一种人机交互方法
CN110114777A (zh) * 2016-12-30 2019-08-09 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
CN111263170A (zh) * 2020-01-17 2020-06-09 腾讯科技（深圳）有限公司 一种视频播放方法、装置、设备及可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011112617A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Kooperativer 3D-Arbeitsplatz
US9910490B2 (en) * 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
CN102798382B (zh) * 2012-07-30 2015-12-02 深圳市轴心自控技术有限公司 嵌入式视觉定位系统
US9292086B2 (en) 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
CN106325701A (zh) * 2015-07-03 2017-01-11 天津三星通信技术研究有限公司 移动终端的触摸显示屏的显示控制方法及装置
JP6852612B2 (ja) * 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE73311T1 (de) * 1986-04-04 1992-03-15 Applied Science Group Inc Verfahren und geraet zur entwicklung der darstellung der sehzeitverteilung wenn leute fernsehwerbung beobachten.
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JPH05241063A (ja) * 1992-02-28 1993-09-21 Nikon Corp 視線位置検出装置付カメラ
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5831594A (en) * 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6426740B1 (en) * 1997-08-27 2002-07-30 Canon Kabushiki Kaisha Visual-axis entry transmission apparatus and method therefor
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
CN1182509C (zh) * 2001-01-22 2004-12-29 松下电器产业株式会社 显示装置及其驱动方法
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US20060059044A1 (en) * 2004-09-14 2006-03-16 Chan Wesley T Method and system to provide advertisements based on wireless access points
US7988287B1 (en) * 2004-11-04 2011-08-02 Kestrel Corporation Objective traumatic brain injury assessment system and method
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
US7430365B2 (en) * 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
US7757274B2 (en) * 2005-04-05 2010-07-13 Mcafee, Inc. Methods and systems for exchanging security information via peer-to-peer wireless networks
SE529156C2 (sv) * 2005-10-28 2007-05-15 Tobii Technology Ab Ögonföljare med visuell återkoppling
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
TWI345193B (en) * 2006-06-15 2011-07-11 Chimei Innolux Corp Eye tracking compensated method and device thereof and hold-type display
CN1889016A (zh) * 2006-07-25 2007-01-03 周辰 眼睛对电脑光标自动定位控制方法和系统
GB0618978D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Method of employing gaze direction tracking for cursor control in a computer
WO2009097492A1 (en) * 2008-01-30 2009-08-06 Azuki Systems, Inc. Media navigation system
KR100947990B1 (ko) * 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN101291364B (zh) * 2008-05-30 2011-04-27 华为终端有限公司 一种移动通信终端的交互方法、装置及移动通信终端
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20110197156A1 (en) * 2010-02-09 2011-08-11 Dynavox Systems, Llc System and method of providing an interactive zoom frame interface

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104145230A (zh) * 2011-12-23 2014-11-12 汤姆逊许可公司 带有功耗管理的计算机设备和管理计算机设备功耗的方法
US9654768B2 (en) 2011-12-23 2017-05-16 Thomson Licensing Computer device with power-consumption management and method for managing power consumption of computer device
CN102830797B (zh) * 2012-07-26 2015-11-25 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN103974107A (zh) * 2013-01-28 2014-08-06 海尔集团公司 电视机眼动控制方法、装置及电视机
CN103093221B (zh) * 2013-01-31 2015-11-11 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN103093221A (zh) * 2013-01-31 2013-05-08 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN105359082B (zh) * 2013-06-25 2018-11-06 微软技术许可有限责任公司 用于用户接口导航的系统和方法
CN105359082A (zh) * 2013-06-25 2016-02-24 微软技术许可有限责任公司 用户接口导航
CN103455147A (zh) * 2013-09-10 2013-12-18 惠州学院 一种光标控制方法
CN103455147B (zh) * 2013-09-10 2016-08-31 惠州学院 一种光标控制方法
CN103838374A (zh) * 2014-02-28 2014-06-04 深圳市中兴移动通信有限公司 一种信息提示方法和信息提示装置
CN105590015B (zh) * 2014-10-24 2019-05-03 中国电信股份有限公司 信息图热点采集方法、处理方法和装置及热点系统
CN105590015A (zh) * 2014-10-24 2016-05-18 中国电信股份有限公司 信息图热点采集方法、处理方法和装置及热点系统
CN107111355A (zh) * 2014-11-03 2017-08-29 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
CN105279459B (zh) * 2014-11-20 2019-01-29 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN105279459A (zh) * 2014-11-20 2016-01-27 维沃移动通信有限公司 一种终端防偷窥方法及移动终端
CN107995979A (zh) * 2015-04-16 2018-05-04 托比股份公司 使用凝视信息的用户识别和/或认证
CN107995979B (zh) * 2015-04-16 2021-12-07 托比股份公司 用于对用户进行认证的系统、方法和机器可读介质
CN110114777A (zh) * 2016-12-30 2019-08-09 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
CN110114777B (zh) * 2016-12-30 2023-10-20 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
CN109753143A (zh) * 2018-04-16 2019-05-14 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN109753143B (zh) * 2018-04-16 2019-12-13 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN110069101A (zh) * 2019-04-24 2019-07-30 洪浛檩 一种穿戴式计算设备和一种人机交互方法
WO2020216106A1 (zh) * 2019-04-24 2020-10-29 洪浛檩 一种穿戴式计算设备和一种人机交互方法
CN110069101B (zh) * 2019-04-24 2024-04-02 洪浛檩 一种穿戴式计算设备和一种人机交互方法
CN111263170A (zh) * 2020-01-17 2020-06-09 腾讯科技（深圳）有限公司 一种视频播放方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US20100241992A1 (en) 2010-09-23
CN101840265B (zh) 2013-11-06

Similar Documents

Publication Publication Date Title
CN101840265B (zh) 视觉感知装置及其控制方法
AU2022200580B2 (en) Photographing method, photographing apparatus, and mobile terminal
KR101780138B1 (ko) 입력 장치 및 기억 매체
US20150062386A1 (en) Imaging device and signal correcting method
US9678657B2 (en) Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface
CN111182205B (zh) 拍摄方法、电子设备及介质
US9386216B2 (en) Imaging device, defocus amount calculating method, and imaging optical system
US20160191819A1 (en) Image displaying apparatus and image displaying method
WO2016038971A1 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
CN108156378B (zh) 拍照方法、移动终端及计算机可读存储介质
KR20110004085A (ko) 촬영 장치 및 촬영 방법
US20140104161A1 (en) Gesture control device and method for setting and cancelling gesture operating region in gesture control device
CN107749046B (zh) 一种图像处理方法及移动终端
US9633418B2 (en) Image processing device, imaging apparatus, image processing method, and program
US9900494B2 (en) Imaging device and focus control method
US20140055566A1 (en) Gesture recognition system and method
US9547217B2 (en) Device and, method for controlling a focusing operation
TWI494792B (zh) 手勢辨識系統及方法
WO2022156774A1 (zh) 对焦方法、装置、电子设备及介质
US20150358524A1 (en) Imaging apparatus and storage medium, and exposure amount control method
CN106385543A (zh) 利用动作识别来单手操作智能拍摄设备变焦的方法
CN112702527A (zh) 图像拍摄方法、装置及电子设备
CN103679124A (zh) 手势识别系统及方法
KR101662560B1 (ko) 카메라 기능 설정과 영상 촬영을 동시에 수행하는 카메라 셔터 제어 장치 및 그 방법
US20220360717A1 (en) Image capture device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151231

Address after: 518104 Guangdong city of Shenzhen province Baoan District manhole street and new road in New City Plaza E floor Room 308

Patentee after: Shenzhen Bo'er Simpson Technology Co.,Ltd.

Address before: 518109 F3 building, Foxconn science and Technology Industrial Park, Longhua Town, Shenzhen, Guangdong, A, China

Patentee before: Shenzhen Futaihong Precision Industry Co.,Ltd.

Patentee before: Chi Mei Communication Systems, Inc.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170216

Address after: 518104 Guangdong city of Zhuhai province Hengqin financial service base No. 5 2-I

Patentee after: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

Address before: 518104 Guangdong city of Shenzhen province Baoan District manhole street and new road in New City Plaza E floor Room 308

Patentee before: Shenzhen Bo'er Simpson Technology Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20171226

Address after: Chongqing city Yubei District Shuangfeng Bridge Street Airport Road No. 7 Building 3 buildings

Patentee after: Chongqing Beijing Great Automotive Components Co.,Ltd.

Address before: Guangdong city of Zhuhai province Hengqin financial service base No. 5 2-I

Patentee before: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180316

Address after: 519031, Guangdong, Zhuhai province Hengqin financial industry service base No. 18 building, B District

Patentee after: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

Address before: 401120 Chongqing city Yubei District Shuangfeng Bridge Street, Airport Road No. 7 Building 3 buildings

Patentee before: Chongqing Beijing Great Automotive Components Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201218

Address after: 264006 4th floor, building 2, energy saving science and Technology Park, Gaoxiong Road, Yantai Economic and Technological Development Zone, Shandong Province

Patentee after: Yantai HUAFA qixianqin Intellectual Property Operation Co.,Ltd.

Address before: Area B, building 18, Hengqin financial industry service base, Zhuhai, Guangdong 519031

Patentee before: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220318

Address after: 519031 Building No. 12-3, Hengqin Financial Industry Development Base, Zhuhai City, Guangdong Province (Centralized Office District)

Patentee after: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

Address before: 264006 4th floor, building 2, energy saving science and Technology Park, Gaoxiong Road, Yantai Economic and Technological Development Zone, Shandong Province

Patentee before: Yantai HUAFA qixianqin Intellectual Property Operation Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20100922

Assignee: Huizhou Ruigang Technology Co.,Ltd.

Assignor: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

Contract record no.: X2023980035084

Denomination of invention: Visual perception device and its control method

Granted publication date: 20131106

License type: Common License

Record date: 20230425

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20100922

Assignee: SHENGHUA ELECTRONICS (HUIYANG) Co.,Ltd.

Assignor: HENGQIN INTERNATIONAL INTELLECTUAL PROPERTY EXCHANGE CO.,LTD.

Contract record no.: X2023980035180

Denomination of invention: Visual perception device and its control method

Granted publication date: 20131106

License type: Common License

Record date: 20230428