CN107092346B - 一种信息处理方法及电子设备 - Google Patents
一种信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN107092346B CN107092346B CN201710117281.2A CN201710117281A CN107092346B CN 107092346 B CN107092346 B CN 107092346B CN 201710117281 A CN201710117281 A CN 201710117281A CN 107092346 B CN107092346 B CN 107092346B
- Authority
- CN
- China
- Prior art keywords
- user
- eyes
- determining
- current
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
Abstract
本发明实施例提供一种信息处理方法,应用于电子设备,该方法包括获取用户眼睛在转动过程中的眼球位置信息,该眼球位置信息能够指示用户眼睛的视线的当前注视位置;基于眼球位置信息,获取电子设备通过采集装置所采集的目标采集图像;其中,目标采集图像的图像内容与当前注视位置所指示的画面相应。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种信息处理方法及电子设备。
背景技术
随着现代科学的不断进步,尤其是信息科技技术领域的飞速发展,人们开始渴望能够利用这些不断进步和发展的信息科技技术来提高工作效率,或者提高生活的质量。
目前,在一些实况场景中,如医生动手术时,可能会需要对医生动手术的画面进行摄录和转播。现有的做法主要包括两种,一种是通过手术室配备的多个摄像头对手术画面进行摄录,进而进行转播,但由于多个摄像头摄录的画面不同,在手术期间若当前的摄像头摄录的画面被包括医生在内的医护人员遮挡时,很可能因为外部人员对画面的不及时切换,导致转播的内容准确性较低。另一种做法是,通过为医生配置具有摄像功能的穿戴式设备,如智能眼镜,对手术画面进行实时摄录,通常穿戴式设备内的摄像装置会随着医生头部的运动而运动,而若医生仅是视线发生变化而头部未运动时,穿戴式设备的摄像装置所摄录的范围仍是固定的。比如,医生对病人的腹部作切口缝合手术时,医生所注视的画面为切口起点到终点的缝合过程,而在此过程中,由于医生的头部未发生运动,因此,在缝合的过程中,穿戴式设备的摄像装置所摄录的画面有可能是整个手术画面,那么观看者也就无法通过摄录的画面准确地确定医生实际所关注的画面,故导致呈现的图像内容的准确性较低。
综上,现有技术中存在通过电子设备所呈现的图像内容的准确性较低的技术问题。
发明内容
本发明实施例提供一种信息处理方法及电子设备,用以解决现有技术中存在通过电子设备所呈现的图像内容的准确性较低的技术问题。
一方面,本发明实施例提供一种信息处理方法,应用于电子设备中,该方法包括:
获取用户眼睛在转动过程中的眼球位置信息,所述眼球位置信息能够指示所述用户眼睛的视线的当前注视位置;基于所述眼球位置信息,获取所述电子设备通过采集装置所采集的目标采集图像;其中,所述目标采集图像的图像内容与所述当前注视位置所指示的画面相应。
可选的,若所述电子设备为设置有视线检测装置的头戴式电子设备,当所述头戴式电子设备处于穿戴状态时,所述视线检测装置与所述用户眼睛之间的距离小于等于预设距离,所述视线检测装置用于检测所述用户眼睛的视线的移动方向和/或移动角度。
可选的,基于所述眼球位置信息,获取所述电子设备通过采集装置所采集的目标采集图像,包括:基于所述眼球位置信息确定控制参数,所述控制参数包括用于指示所述电子设备中所述采集装置的方向控制参数和/或角度控制参数,所述采集装置能够相对于所述电子设备进行运动;基于所述控制参数,获取所述电子设备通过采集装置所采集的目标采集图像。
可选的,基于所述眼球位置信息确定控制参数,包括:确定所述用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及所述用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,所述第一时刻与所述第二时刻之间的时间差小于等于预设时间差;确定由所述第一注视位置指向所述第二注视位置的方向为所述控制参数中的方向控制参数;及确定所述第一注视位置、所述第二注视位置与所述用户眼睛所处的位置所形成的夹角,将所述夹角的角度确定为所述控制参数中的角度控制参数;其中,所述用户眼睛所处的位置为所述夹角的顶点。
可选的,基于所述眼球位置信息,获取所述电子设备通过采集装置所采集的目标采集图像,包括:确定所述采集装置采集的与其采集范围对应的当前采集图像;基于所述眼球位置信息,确定在所述当前采集图像中与所述用户眼睛的视线的当前注视位置对应的目标位置;确定所述当前采集图像中以所述目标位置为中心的预设尺寸的目标区域为与所述用户眼睛的视线的当前注视位置对应的所述目标采集图像。
另一方面,本发明实施例提供一种电子设备,可以应用上述信息处理方法,该电子设备包括:
采集装置,用于进行图像采集,所述采集装置能够相对于所述电子设备进行运动;处理器,与所述采集装置相连,所述处理器用于获取用户眼睛在转动过程中的眼球位置信息,所述眼球位置信息能够指示所述用户眼睛的视线的当前注视位置;及,基于所述眼球位置信息,获取所述电子设备通过所述采集装置所采集的目标采集图像;其中,所述目标采集图像的图像内容与所述当前注视位置所指示的画面相应。
可选的,若所述电子设备为设置有视线检测装置的头戴式电子设备,当所述头戴式电子设备处于穿戴状态时,所述视线检测装置与所述用户眼睛之间的距离小于等于预设距离,所述视线检测装置用于检测所述用户眼睛的视线的移动方向和/或移动角度。
可选的,所述处理器用于:基于所述眼球位置信息确定控制参数,所述控制参数包括用于指示所述电子设备中所述采集装置的方向控制参数和/或角度控制参数;基于所述控制参数,获取所述电子设备通过采集装置所采集的目标采集图像。
可选的,所述处理器用于:确定所述用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及所述用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,所述第一时刻与所述第二时刻之间的时间差小于等于预设时间差;确定由所述第一注视位置指向所述第二注视位置的方向为所述控制参数中的方向控制参数;及确定所述第一注视位置、所述第二注视位置与所述用户眼睛所处的位置所形成的夹角,将所述夹角的角度确定为所述控制参数中的角度控制参数;其中,所述用户眼睛所处的位置为所述夹角的顶点。
可选的,所述处理器还用于:确定所述采集装置采集的与其采集范围对应的当前采集图像;基于所述眼球位置信息,确定在所述当前采集图像中与所述用户眼睛的视线的当前注视位置对应的目标位置;确定所述当前采集图像中以所述目标位置为中心的预设尺寸的目标区域为与所述用户眼睛的视线的当前注视位置对应的所述目标采集图像。
上述技术方案中的一个或多个技术方案,具有如下技术效果或优点:
一、本发明实施例提供一种信息处理方法,应用于电子设备,该方法首先获取用户眼睛在转动过程中能够指示用户眼睛的视线的当前注视位置的眼球位置信息,然后根据该眼球位置信息,获取电子设备通过采集装置所采集的目标采集图像,其中,目标采集图像的图像内容与当前注视位置所指示的画面相应。本发明实施例中,电子设备根据用户眼睛在转动过程中的眼球位置信息,获取与用户眼睛的视线的当前注视位置所对应的目标采集图像,使得获取的目标采集图像与用户实际所注视的画面一致,从而解决了现有技术中存在的通过电子设备所呈现的图像内容的准确性较低的技术问题,达到了提高获取图像的准确性的技术效果。
二、由于本发明实施例中电子设备为设置有视线检测装置的头戴式电子设备,当用户穿戴上该头戴式电子设备时,视线检测装置能够检测用户眼睛的视线的移动方向和/或移动角度,即视线检测装置能够实时且自动的监测用户视线的变化,从而确保电子设备能够及时的获取与用户视线对应的正确画面。
三、本发明实施例中,在根据眼球位置信息,获取目标采集图像时,可以先确定采集装置的与其采集范围对应的当前采集图像,然后根据眼球位置信息,确定出当前采集画面中与用户视线的当前注视位置对应的目标位置,最后确定当前采集图像中以目标位置为中心的预设尺寸的目标区域为与用户视线的当前注视位置对应的目标采集凸显,从而进一步确保了电子设备获取的图像的正确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中信息处理方法的流程示意图;
图2为本发明实施例中视线检测装置与随动装置的连接示意图;
图3为本发明实施例中随动装置随着眼球向上运动的示意图;
图4为本发明实施例中确定方向控制参数和/或角度控制参数的示意图;
图5为本发明实施例中用户注视区域由D变为E的示意图;
图6为本发明实施例中电子设备的连接示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的信息处理方法,可以应用于电子设备中,该电子设备可以是各种虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)等头戴式显示设备,或者也可以是内置有摄像头、眼控仪等部件的电子设备。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图对本发明优选的实施方式进行详细的说明。
如图1所示,本发明实施例提供一种信息处理方法,该信息处理方法可以应用于电子设备,该方法的过程可以描述如下:
S100:获取用户眼睛在转动过程中的眼球位置信息,该眼球位置信息能够指示用户眼睛的视线的当前注视位置。
本发明实施例中,用户在通过眼睛对外界物体进行观察时,用户眼睛的眼球通常处于运动状态,如眼球向上/下、左/右运动、睁眼闭眼及直视前方等;眼球位置信息可以是指用户的眼球瞳孔的位置信息,该眼球位置信息可以指示用户眼睛的视线所注视的位置,本文中可以称其为当前注视位置,如用户在当前视野区域内注视的某个局部位置。
在实际应用中,电子设备中可以设置有检测装置,如红外设备等,电子设备可以控制检测装置向用户的眼睛发射测试光线,如红外线等,然后可以辅以眨眼识别、注视识别等技术获取由用户眼睛对测试光线进行反射而反射回检测装置的反射光线,根据反射光线相对于检测装置的反射方向,即可确定出与用户眼睛所对应的眼球位置信息;或者,进一步通过眼电图检测等技术确定出用户眼睛的移动轨迹,以实现对用户视线的追踪,从而进一步确定用户视线当前所注视的位置。
可选的,该电子设备可以为设置有视线检测装置的头戴式电子设备,其中,当头戴式电子设备处于穿戴状态时,视线检测装置与用户眼睛之间的距离小于等于预设距离,视线检测装置用于检测用户眼睛的视线的移动方向和/或移动角度。
其中,视线检测装置可以设置于头戴式电子设备的内部,如若头戴式电子设备为智能眼镜,视线检测装置可以内置在智能眼镜的框架内靠近人眼的位置,如分别设置在人眼的左上角和右上角所对应的框架内的位置上。或者,视线检测装置也可以设置在头戴式电子设备外部且靠近人眼的位置。
在实际应用中,视线检测装置可以为红外收发器等,其可以通过向用户的眼睛发射红外线,并接收通过人眼虹膜对该红外线进行反射回来的反射光线路径,对用户当前视线的变化进行监测,由此可以检测用户眼睛的视线的移动方向,如向左、向右等。
或者,也可以检测用户眼睛的视线的移动角度,例如若用户在第一时刻直视前方,后续可以检测在第二时刻用户视线的移动角度可以是20°、30°等,其中第二时刻为第一时刻之后的时刻;或者,也可以检测用户的视线的移动方向和移动角度,如若用户当前第一时刻直视前方,后续可以检测第一时刻到第一时刻之后的第二时刻,用户视线向右移动了20°等。
举例来说,用户穿戴上智能眼镜后,设置于智能眼镜外部的视线检测装置与用户眼睛之间的距离为2cm,小于预设距离3cm,其中,用户可以根据眼睛的舒适度对该预设距离进行设置,或者智能眼镜也可以根据视线检测效果自动调整该预设距离,然后智能眼镜可以通过视线检测装置实时检测用户的视线的变化。
如图2所示,头戴式电子设备还可以包括随动装置,该随动装置可以通过连接线,如导电线等,与视线检测装置相连,且该随动装置可以根据视线检测装置所检测到的用户视线的变化而进行转动。在实际应用中,随动装置可以是摄像头等装置。
比如,请同时参见图2和图3,视线检测装置实时地对用户的眼球进行检测,当检测到用户眼球向上转动时,即用户的眼球位置由图2所示位置变换到图3所示位置,视线检测装置可以将用户的眼球向上转动的角度信息和/或方向信息发送给随动装置。然后,随动装置可以接收这些角度信息和/或方向信息,并根据这些信息自动地跟随用户眼球的转动而向上进行转动,即随动装置可以跟随用户眼球的转动而转动。
S200:基于眼球位置信息,获取电子设备通过采集装置所采集的目标采集图像;其中,目标采集图像的图像内容与当前注视位置所指示的画面相应。
本发明实施例中,采集装置可以是摄像头,如广角摄像头、鱼眼摄像头等;或者也可以是内置有机械装置的摄像头,如内置有电机装置的摄像头等,此类摄像头中的机械装置,如电机,其可以根据眼球位置信息,控制摄像头进行转动时的转动角度和转动方向。而目标采集图像可以是用户眼睛的视线的当前注视位置所对应的图像,比如,医生动结石手术时,目标采集图像可以是医生当前注视的用镊子拿出结石的手术画面,或者也可以是医生当前注视的对手术切口进行缝合的手术画面等。
可选的,基于眼球位置信息,获取电子设备通过采集装置所采集的目标采集图像,可以包括:基于眼球位置信息确定控制参数,该控制参数可以包括用于指示电子设备中采集装置的方向控制参数和/或角度控制参数,采集装置能够相对于电子设备进行运动;基于控制参数,获取电子设备通过采集装置所采集的目标采集图像。
在实际应用中,根据眼球位置信息,可以确定控制参数,该控制参数可以包括方向控制参数和/或角度控制参数,其中,方向控制参数可以为指向某个方向的参数,如向左、向右等;角度控制参数可以为具体的角度值,如30°、40°等,也可以表征用户眼球视角前后变化的角度范围,如[20°,30°]、(10°,15°]等。而电子设备可以根据这些控制参数控制采集装置相对于电子设备进行运动,并获取采集装置所采集的目标采集图像。
比如,头戴式电子设备中的视线检测装置检测到用户眼睛相对于前一时刻向左转动了30°,头戴式电子设备则可以根据该控制参数控制摄像头向左转动30°,从而进一步捕捉用户感兴趣的画面。
可选的,基于眼球位置信息确定控制参数,包括:确定用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,第一时刻与第二时刻之间的时间差小于等于预设时间差;确定由第一注视位置指向第二注视位置的方向为控制参数中的方向控制参数;及确定第一注视位置、第二注视位置与用户眼睛所处的位置所形成的夹角,将夹角的角度确定为控制参数中的角度控制参数;其中,用户眼睛所处的位置为夹角的顶点。
请参见图4,假设用户眼睛在第一时刻看向A处,即A为第一注视位置,在第二时刻看向B处,B为第二注视位置,其中,第一时刻与第二时刻之间的时间间隔为4s,小于第一时刻与第二时刻之间的预设时间差5s。在此期间,用户是由A向左看向B,且A、B、用户眼睛之间形成的夹角为30°,其中用户眼睛为夹角顶点,则确定出的方向控制参数为向左转动,确定出的角度控制参数为30°。
或者,用户是由A向右看向C,且A、C、用户眼睛之间形成的夹角为60°,同样以用户眼睛为夹角的顶点,则可以确定出方向控制参数为向右,角度控制参数为60°。后续,电子设备可以确定出来的这些控制参数控制采集装置对用户实际看到的画面进行采集,即电子设备获取的图像和用户眼睛所看到的图像保持一致,确保电子设备能够及时的获取与用户视线对应的正确画面。
可选的,基于眼球位置信息,获取电子设备通过采集装置所采集的目标采集图像,包括:确定采集装置采集的与其采集范围对应的当前采集图像;基于眼球位置信息,确定在当前采集图像中与用户眼睛的视线的当前注视位置对应的目标位置;确定当前采集图像中以目标位置为中心的预设尺寸的目标区域为与用户眼睛的视线的当前注视位置对应的目标采集图像。
请参见图5,当采集装置为广角摄像头时,圆形区域是用户在平视时广角摄像头在其摄像范围内所捕捉到的全部画面,假设可以是一种球形的画面G,其中,D区域表示该球形画面中的主要区域,即用户眼睛当前注视的主要区域。当用户视线向右下方看时,广角摄像头摄下的全部画面仍为画面G,而用户眼睛当前注视的主要区域却由D区域移动到了E区域,这时电子设备可以确定E区域为用户眼睛的视线的当前注视位置所对应的主要区域,然后根据需要的预设尺寸,如长*宽为20cm*30cm等来确定目标采集图像。
本发明实施例中,用户佩戴的电子设备在靠近人眼的地方,可以内置由红外收发器,该红外收发器可以通过向人眼发射红外线,然后接收人眼虹膜对红外线反射回的光线方向、路径等检测用户眼球的运动,从而检测出用户当前的视线变化。然后,在已知用户视线的变化之后,电子设备中的采集装置就可以确定需要捕捉的画面在哪个方位,这时采集装置可以跟随眼球视线的变化而自动的转动角度,从而捕捉正确的湖面,或者也可以根据眼球视线的变化来捕捉正确的用户感兴趣的画面。
因此,一方面,若采集装置为内部设置有电机的摄像头,即电子设备可以根据眼球追踪得到的控制参数控制摄像头的转动,使得用户眼睛往某个方向转动,电子设备就控制摄像头朝这个方向转动,实现摄像头的随动,从而捕捉用户视线对应的正确的画面,免去手动调整摄像头角度的问题,彻底解放了双手。比如在远程医疗动手术的时候,主刀医生不用手动调整摄像头角度,也不需要反复去调整摄像装置,电子设备可以实时的检测医生视线的变化,从而确保摄录的画面与医生所看的画面保持一致。
另一方面,若采集装置内部未设置有电机等部件,如采集装置为广角摄像头,则首先电子设备控制广角摄像头在其摄像范围内捕捉的画面可以尽可能的大,然后根据眼球追踪的结果来确定用户当前感兴趣的画面的中心位置,然后借此确定应该捕获的画面的中心位置,从而电子设备可以在广角摄像头所采集到的完整画面中截取出正确的画面进行摄录或者转播。采用广角摄像头并结合眼球追踪技术后,从广角画面中实时获取正确的部分画面,在实时转播第一视角的场景下,不仅能直播正确的画面,而且可以降低传输数据量,提升画面流畅度和清晰度。
请参见图6,本发明实施例还提供一种电子设备,可以应用上述信息处理方法,该电子设备可以包括采集装置10和处理器20。
其中,采集装置10用于进行图像采集,该采集装置10能够相对于电子设备进行运动;处理器20与所述采集装置10相连,所述处理器20用于获取用户眼睛在转动过程中的眼球位置信息,所述眼球位置信息能够指示所述用户眼睛的视线的当前注视位置;及,基于所述眼球位置信息,获取所述电子设备通过所述采集装置10所采集的目标采集图像;其中,所述目标采集图像的图像内容与所述当前注视位置所指示的画面相应。
可选的,若所述电子设备为设置有视线检测装置的头戴式电子设备,当所述头戴式电子设备处于穿戴状态时,所述视线检测装置与所述用户眼睛之间的距离小于等于预设距离,所述视线检测装置用于检测所述用户眼睛的视线的移动方向和/或移动角度。
可选的,所述处理器20用于:基于所述眼球位置信息确定控制参数,所述控制参数包括用于指示所述电子设备中所述采集装置10的方向控制参数和/或角度控制参数;基于所述控制参数,获取所述电子设备通过采集装置10所采集的目标采集图像。
可选的,所述处理器20用于:确定所述用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及所述用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,所述第一时刻与所述第二时刻之间的时间差小于等于预设时间差;确定由所述第一注视位置指向所述第二注视位置的方向为所述控制参数中的方向控制参数;及确定所述第一注视位置、所述第二注视位置与所述用户眼睛所处的位置所形成的夹角,将所述夹角的角度确定为所述控制参数中的角度控制参数;其中,所述用户眼睛所处的位置为所述夹角的顶点。
可选的,所述处理器20还用于:确定所述采集装置10采集的与其采集范围对应的当前采集图像;基于所述眼球位置信息,确定在所述当前采集图像中与所述用户眼睛的视线的当前注视位置对应的目标位置;确定所述当前采集图像中以所述目标位置为中心的预设尺寸的目标区域为与所述用户眼睛的视线的当前注视位置对应的所述目标采集图像。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例,以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种信息处理方法,应用于电子设备,所述电子设备包括AR设备或VR设备,且所述电子设备包括检测装置和采集装置,所述方法包括:
根据用户眼睛针对所述检测装置发射的测试光线所反射的反射光线相对于所述检测装置的反射方向,确定所述用户眼睛在转动过程中的眼球位置信息,所述眼球位置信息能够指示所述用户眼睛的视线的当前注视位置;
基于所述用户眼睛的视线的当前注视位置,获取所述AR设备或所述VR设备通过采集装置所采集的目标采集图像;其中,所述目标采集图像的图像内容与所述用户眼睛注视所述当前注视位置时看到的图像一致,
其中,基于所述用户眼睛的视线的当前注视位置,获取所述AR设备或所述VR设备通过采集装置所采集的目标采集图像,包括:
基于所述用户眼睛的视线的当前注视位置确定控制参数,所述控制参数包括用于针对所述电子设备中所述采集装置的方向控制参数和/或角度控制参数,所述采集装置能够相对于所述电子设备进行运动;
基于所述控制参数,控制所述采集装置相对于所述电子设备运动并获取所述采集装置在运动过程中所采集的目标采集图像;
其中,基于所述用户眼睛的视线的当前注视位置,获取所述AR设备或所述VR设备通过采集装置所采集的目标采集图像,还包括:
确定所述采集装置采集的与其采集范围对应的当前采集图像;
基于所述眼球位置信息,确定在所述当前采集图像中与所述用户眼睛的视线的当前注视位置对应的目标位置;
确定所述当前采集图像中以所述目标位置为中心的预设尺寸的目标区域为与所述用户眼睛的视线的当前注视位置对应的所述目标采集图像。
2.如权利要求1所述的方法,其特征在于,当所述AR设备或所述VR设备处于穿戴状态时,所述检测装置与所述用户眼睛之间的距离小于等于预设距离,所述检测装置用于检测所述用户眼睛的视线的移动方向和/或移动角度。
3.如权利要求1所述的方法,其特征在于,基于所述用户眼睛的视线的当前注视位置确定控制参数,包括:
确定所述用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及所述用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,所述第一时刻与所述第二时刻之间的时间差小于等于预设时间差;
确定由所述第一注视位置指向所述第二注视位置的方向为所述控制参数中的方向控制参数;及
确定所述第一注视位置、所述第二注视位置与所述用户眼睛所处的位置所形成的夹角,将所述夹角的角度确定为所述控制参数中的角度控制参数;其中,所述用户眼睛所处的位置为所述夹角的顶点。
4.一种电子设备,包括AR设备或VR设备,所述AR设备或所述VR设备包括:
检测装置,用于发射测试光线与接收经由用户眼睛反射的反射光线;
采集装置,用于进行图像采集,所述采集装置能够相对于所述AR设备或所述VR设备进行运动;
处理器,与所述采集装置相连,所述处理器用于根据所述用户眼睛针对所述检测装置发射的所述测试光线所反射的所述反射光线相对于所述检测装置的反射方向,确定所述用户眼睛在转动过程中的眼球位置信息,所述眼球位置信息能够指示所述用户眼睛的视线的当前注视位置;及,基于所述用户眼睛的视线的当前注视位置,获取所述AR设备或所述VR设备通过所述采集装置所采集的目标采集图像;其中,所述目标采集图像的图像内容与所述用户眼睛注视所述当前注视位置时看到的图像一致,
其中,处理器用于:
基于所述用户眼睛的视线的当前注视位置确定控制参数,所述控制参数包括用于针对所述电子设备中所述采集装置的方向控制参数和/或角度控制参数;
基于所述控制参数,控制所述采集装置相对于所述电子设备运动并获取所述采集装置在运动过程中所采集的目标采集图像,以及
确定所述采集装置采集的与其采集范围对应的当前采集图像;
基于所述眼球位置信息,确定在所述当前采集图像中与所述用户眼睛的视线的当前注视位置对应的目标位置;
确定所述当前采集图像中以所述目标位置为中心的预设尺寸的目标区域为与所述用户眼睛的视线的当前注视位置对应的所述目标采集图像。
5.如权利要求4所述的电子设备,其特征在于,当所述AR设备或所述VR设备处于穿戴状态时,所述检测装置与所述用户眼睛之间的距离小于等于预设距离,所述检测装置用于检测所述用户眼睛的视线的移动方向和/或移动角度。
6.如权利要求4所述的电子设备,其特征在于,所述处理器用于:
确定所述用户眼睛在第一时刻所对应的第一眼球位置信息所指示的第一注视位置,及所述用户眼睛在第二时刻所对应的第二眼球位置信息所指示的第二注视位置,所述第一时刻与所述第二时刻之间的时间差小于等于预设时间差;
确定由所述第一注视位置指向所述第二注视位置的方向为所述控制参数中的方向控制参数;及
确定所述第一注视位置、所述第二注视位置与所述用户眼睛所处的位置所形成的夹角,将所述夹角的角度确定为所述控制参数中的角度控制参数;其中,所述用户眼睛所处的位置为所述夹角的顶点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710117281.2A CN107092346B (zh) | 2017-03-01 | 2017-03-01 | 一种信息处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710117281.2A CN107092346B (zh) | 2017-03-01 | 2017-03-01 | 一种信息处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107092346A CN107092346A (zh) | 2017-08-25 |
CN107092346B true CN107092346B (zh) | 2021-12-24 |
Family
ID=59646122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710117281.2A Active CN107092346B (zh) | 2017-03-01 | 2017-03-01 | 一种信息处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107092346B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109995986A (zh) * | 2017-12-29 | 2019-07-09 | 北京亮亮视野科技有限公司 | 控制智能眼镜拍摄视角移动的方法 |
CN110324648B (zh) * | 2019-07-17 | 2021-08-06 | 咪咕文化科技有限公司 | 直播展现方法和系统 |
CN112666705A (zh) * | 2019-10-15 | 2021-04-16 | 北京七鑫易维信息技术有限公司 | 一种眼动追踪设备及眼动追踪方法 |
CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
CN113891062A (zh) * | 2021-09-27 | 2022-01-04 | 歌尔光学科技有限公司 | 视频显示方法、vr头戴设备、视频显示系统及存储介质 |
US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子(中国)研发中心 | 控制显示器的方法及设备 |
CN103516985A (zh) * | 2013-09-18 | 2014-01-15 | 上海鼎为软件技术有限公司 | 移动终端及其获取图像的方法 |
CN103914150A (zh) * | 2014-04-08 | 2014-07-09 | 小米科技有限责任公司 | 摄像头控制方法和装置 |
CN105007424A (zh) * | 2015-07-22 | 2015-10-28 | 深圳市万姓宗祠网络科技股份有限公司 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065880A (zh) * | 2014-06-05 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 一种基于眼球跟踪技术进行自动拍照的处理方法及系统 |
-
2017
- 2017-03-01 CN CN201710117281.2A patent/CN107092346B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103516985A (zh) * | 2013-09-18 | 2014-01-15 | 上海鼎为软件技术有限公司 | 移动终端及其获取图像的方法 |
CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子(中国)研发中心 | 控制显示器的方法及设备 |
CN103914150A (zh) * | 2014-04-08 | 2014-07-09 | 小米科技有限责任公司 | 摄像头控制方法和装置 |
CN105007424A (zh) * | 2015-07-22 | 2015-10-28 | 深圳市万姓宗祠网络科技股份有限公司 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107092346A (zh) | 2017-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107092346B (zh) | 一种信息处理方法及电子设备 | |
US11547520B2 (en) | Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display | |
US9967475B2 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
US20190235624A1 (en) | Systems and methods for predictive visual rendering | |
KR20120057033A (ko) | Iptv 제어를 위한 원거리 시선 추적 장치 및 방법 | |
WO2005063114A1 (ja) | 視線検出方法および装置ならびに三次元視点計測装置 | |
US20120044347A1 (en) | Imaging apparatus and imaging method | |
US11295460B1 (en) | Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene | |
US20220148218A1 (en) | System and method for eye tracking | |
CN113362450B (zh) | 一种三维重建方法、装置及系统 | |
CN112666705A (zh) | 一种眼动追踪设备及眼动追踪方法 | |
US11619813B2 (en) | Coordinating an eye-mounted imager with an external camera | |
CN114371779B (zh) | 一种视线深度引导的视觉增强方法 | |
CN111417888B (zh) | 头戴式显示设备及其调节控制方法 | |
CN209358681U (zh) | 一种应用于手术室内的裸眼3d人眼追踪设备 | |
JP7258620B2 (ja) | 画像処理システム、及び画像処理方法 | |
CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
JP7417337B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
CN115834858A (zh) | 显示方法、装置、头戴显示设备及存储介质 | |
CN117452642A (zh) | 自动对焦方法、系统、头戴式设备和可读存储介质 | |
WO2023203522A2 (en) | Reduction of jitter in virtual presentation | |
CN116954363A (zh) | 一种眼球运动与屏幕ui实时交互控制方法及装置 | |
CN115867238A (zh) | 视觉辅助 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |