CN109756663A - 一种ar设备的控制方法、装置及ar设备 - Google Patents
一种ar设备的控制方法、装置及ar设备 Download PDFInfo
- Publication number
- CN109756663A CN109756663A CN201710740892.2A CN201710740892A CN109756663A CN 109756663 A CN109756663 A CN 109756663A CN 201710740892 A CN201710740892 A CN 201710740892A CN 109756663 A CN109756663 A CN 109756663A
- Authority
- CN
- China
- Prior art keywords
- user
- eyes
- pupil
- eyeball
- axis direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种AR设备的控制方法、装置及AR设备，涉及增强显示领域，用于解决现有技术中的问题，本发明实施例中的AR设备的控制方法包括：获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；根据所述待调节角度值对所述前置摄像头进行转动调节。本发明上述实施例，达到了使得前置摄像头随用户眼球的转动而转动，进而使得显示出的增强现实图像与期望的图像相一致，提高用户体验的效果。
Description
技术领域
本发明涉及增强显示领域，尤其是一种AR设备的控制方法、装置及AR设备。
背景技术
继智能手机、平板电脑之后，虚拟现实(VR)与增强现实(AR)有潜力成为下一个重大通用计算平台。随着智能手机销量的持续下滑，VR、AR成为消费电子的另一个重要方向。
图像识别和录像是AR眼镜的重要功能之一，但现有的增强现实(AR)显示系统，最大的问题就是摄像头的方向是固定的，因此只能够采集人头正前方的一片区域的图像信息，无法跟随人眼球的视线，动态的调整拍摄方向，因此无法实现所识别和录制的信息和用户想要看的信息完全一致。也会造成AR叠加到真实场景中的3D模型无法和人的视线完全一致，用户体验效果较差。
现有的摄像头控制技术都是在普通的摄像头云台上实现的，不具备能够检测人的眼球视线，自动调整摄像头角度的能力。
发明内容
本发明实施例要解决的技术问题是提供一种AR设备的控制方法、装置及AR设备，用以实现使得摄像头采集的图像与用户的视线一致，以及使得显示的图像与用户的视线一致，进而提高用户体验。
为解决上述技术问题，本发明实施例提供的AR设备的控制方法，包括：
获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；
根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；
根据所述待调节角度值对所述前置摄像头进行转动调节。
优选地，获取用户双眼的基准瞳孔信息和对比瞳孔信息的步骤包括：
获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
优选地，根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息的步骤包括：
按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
优选地，根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息的步骤包括：
根据用户双眼的边缘特征，获得用户双眼的边缘特征的圆形轮廓；
对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
优选地，所述基准瞳孔信息和所述对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径，所述根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值的步骤包括：
判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值；
若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
优选地，根据用户双眼的对比瞳孔位置、用户双眼之间的瞳距和用户的眼球半径，确定所述前置摄像头的待调节角度值的步骤包括：
根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
优选地，根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息的步骤包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
优选地，根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值的步骤包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
根据本发明的另一方面，本发明实施例还提供了一种AR设备的控制装置，包括：
图像分析模块，用于获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；
转动角度确定模块，用于根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；
云台控制模块，用于根据所述待调节角度值对所述前置摄像头进行转动调节。
优选地，图像分析模块包括：
第一获取单元，用于获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
第二获取单元，用于根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
第三获取单元，用于根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
优选地，第二获取单元包括：
第一获取子单元，用于按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
第二获取子单元，用于根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
优选地，第一获取子单元包括：
第一获取一级子单元，用于根据用户双眼的边缘特征，获得用户双眼眼球的边缘特征的圆形轮廓；
第二获取一级子单元，用于对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
优选地，所述基准瞳孔信息和所述对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径，转动角度获取模块包括：
判断单元，用于判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值；
确定单元，用于若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
优选地，确定单元包括：
第三获取子单元，用于根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
确定子单元，用于根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
优选地，第三获取子单元包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
优选地，确定子单元包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
根据本发明另一方面，本发明实施例还提供了一种AR设备，包括上述的AR设备的控制装置。
优选地，所述AR设备还包括：
镜框，所述AR设备的控制装置固定于所述镜框上；
可转动设置于所述镜框上的前置摄像头；
固定设置于所述镜框上的后置摄像头，所述前置摄像头和所述后置摄像头均与所述AR设备的控制装置连接；
其中，所述后置摄像头的镜头朝向与用户的双眼眼球相对设置，所述前置摄像头的镜头朝向与所述后置摄像头的镜头朝向相反，所述前置摄像头与用户双眼眼球的瞳孔之间的距离相等。
优选地，所述后置摄像头包括：与用户的其中一个眼球相对设置的第一后置摄像头，以及与用户的另一眼球相对设置的第二后置摄像头，所述前置摄像头位于所述第一后置摄像头和所述第二后置摄像头之间。
与现有技术相比，本发明实施例提供的AR设备的控制方法、装置及AR设备，至少具有以下有益效果：
通过用户双眼在前一时刻的基准瞳孔信息和后一时刻的对比瞳孔信息，能够确定出用户眼球是否发生转动，进而获得与用户视线相一致的前置摄像头的待调节角度值，使得前置摄像头与用户的实现同步转动，进而使得显示出的增强现实图像与期望的图像相一致，提高用户体验。
附图说明
图1为本发明实施例所述的AR设备的控制方法的流程示意图；
图2为本发明实施例中步骤1的流程示意图；
图3为本发明实施例中步骤12的流程示意图；
图4为本发明实施例中步骤122的流程示意图；
图5为本发明实施例中步骤2的流程示意图；
图6为本发明实施例中步骤22的流程示意图；
图7为本发明实施例所述的AR设备的控制装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
参照图1，本发明实施例提供了一种AR设备的控制方法，包括：
步骤1，获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息。
具体地，基准瞳孔信息和对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径。用户双眼的瞳孔位置是指用户双眼瞳孔的位置坐标。在步骤1中的一个时刻的长短根据后置摄像头采集的频率确定，例如，后置摄像头在1s内采集10次用户双眼图像，则一个时刻的长度为0.1s。
具体地，参照图2，步骤1包括：
步骤11，获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
步骤12，根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
步骤13，根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
具体地，上述的后置摄像头为两个，第一后置摄像头采集用户的其中一个眼球的图像信息，第二后置摄像头采集用户的另外一个眼球的图像信息，在每一时刻，第一后置摄像头和第二后置摄像头同时对各自对应的眼球图像采集一次。
优选地，参照图3，步骤12包括：
步骤121，按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
步骤122，根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
在步骤121中的预定算法是指canny边缘检测算法，根据该算法可以获得用户双眼的边缘特征。
优选地，参照图4，步骤122包括：
步骤1221，根据用户双眼的边缘特征，获得用户双眼的边缘特征的圆形轮廓；
步骤1222，对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
在每一时刻对用户双眼的图像进行采集后，将两个后置摄像头在同一时刻各自采集的用户眼球的图像放置于同一画面中进行分析。通过对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，可以确定出用户双眼眼球的瞳孔位置。在获得用户的瞳孔位置后，以用户的第一眼球的瞳孔中心为原点，确定出第一眼球的瞳孔坐标以及第二眼球的瞳孔坐标。
对于用户的双眼在后一时刻的对比瞳孔信息的获取，与基准瞳孔信息的获取的原理相同，在此不再赘述。通过上述方式还可以获得用户双眼在第二时刻的双眼的位置坐标。步骤2，根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值。
参照图5，优选地，步骤2包括：
步骤21，判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值。
步骤22，若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
在步骤21中，通过前述步骤获得的用户的其中一个眼球在前一时刻和后一时刻的坐标信息，可以确定用户眼球转动的距离，该距离为两个时刻的用户瞳孔位置的直线长度。若该最短距离超过预设门限值，则表面用户的眼球移动的距离较大，此时，为了使得最终显示的增强现实图像与用户期望的图像一致，应当对前置摄像头的转动角度进行调节。
优选地，参照图6，步骤22包括：
步骤221，根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
步骤222，根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
优选地，步骤221包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
其中，瞳距L在本发明实施例中为一已知值，其在用户配置该AR设备时，便已经获取到。
优选地，步骤222包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
步骤3，根据所述待调节角度值对所述前置摄像头进行转动调节。
前置摄像头连接有两个步进电机，第一步进电机用于驱动前置摄像头沿x轴方向上移动，第二步进电机用于驱动前置摄像头沿y轴方向上移动。在确定出待调节角度值A和B后，确定出两个步进电机各自所需要转动的时间。第一步进电机的转动时间通过待调节角度值A与第一步进电机的转速的比值确定，第二步进电机的转动时间通过待调节角度值B与第二步进电机的转速的比值确定。通过对第一步进电机和第二步进电机的转动时间进行控制，进而实现对前置摄像头的转动角度进行控制。
通过本发明实施例提供的AR设备的控制方法，能够实现使得前置摄像头随用户眼球的转动而转动，进而使得显示出的增强现实图像与期望的图像相一致，提高用户体验。
参照图7，根据本发明的另一方面，本发明实施例还提供了一种AR设备的控制装置，包括：
图像分析模块1，用于获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；
转动角度确定模块2，用于根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；
云台控制模块3，用于根据所述待调节角度值对所述前置摄像头进行转动调节。
优选地，图像分析模块包括：
第一获取单元，用于获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
第二获取单元，用于根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
第三获取单元，用于根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
优选地，第二获取单元包括：
第一获取子单元，用于按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
第二获取子单元，用于根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
优选地，第一获取子单元包括：
第一获取一级子单元，用于根据用户双眼的边缘特征，获得用户双眼眼球的边缘特征的圆形轮廓；
第二获取一级子单元，用于对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
优选地，所述基准瞳孔信息和所述对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径，转动角度获取模块包括：
判断单元，用于判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值；
确定单元，用于若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
优选地，确定单元包括：
第三获取子单元，用于根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
确定子单元，用于根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
优选地，第三获取子单元包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
优选地，确定子单元包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
本发明实施例提供的AR设备的控制装置，是与上述方法对应的装置，上述方法中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。能够实现使得前置摄像头随用户眼球的转动而转动，进而使得显示出的增强现实图像与期望的图像相一致，提高用户体验。
根据本发明另一方面，本发明实施例还提供了一种AR设备，包括上述的AR设备的控制装置。
优选地，所述AR设备还包括：
镜框，所述AR设备的控制装置固定于所述镜框上；
可转动设置于所述镜框上的前置摄像头；
固定设置于所述镜框上的后置摄像头，所述前置摄像头和所述后置摄像头均与所述AR设备的控制装置连接；
其中，所述后置摄像头的镜头朝向与用户的双眼眼球相对设置，所述前置摄像头的镜头朝向与所述后置摄像头的镜头朝向相反，所述前置摄像头与用户双眼眼球的瞳孔之间的距离相等。
后置摄像头用于采集用户双眼的图像，前置摄像头用于采集用户正前方的图像，上述的AR设备的控制装置为一摄像头控制单元，后置摄像头通过线连接的方式与该摄像头控制单元连接，摄像头控制单元通过微型云台(步进电机)与前置摄像头连接，该微型云台为2个，一个用于控制前置摄像头沿x轴方向上移动，另一个用于控制前置摄像头沿y轴方向上移动。
优选地，所述后置摄像头包括：与用户的其中一个眼球相对设置的第一后置摄像头，以及与用户的另一眼球相对设置的第二后置摄像头，所述前置摄像头位于所述第一后置摄像头和所述第二后置摄像头之间。
具体地，前置摄像头位于第一后置摄像头和第二后置摄像头之间的中部位置处。
在本发明实施例中的AR设备，还包括：与该AR设备的控制装置连接的RAM存储器，处理器和Flash存储器，其中，处理器用于实现增强现实识别，3D图形重建，以及交互控制。RAM存储器用于程序存储，Flash存储器用于存储系统内存。
摄像头控制单元根据对第一后置摄像头和第二后置摄像头实时采集的用户双眼的图像信息进行解析，获得用户双眼的基准瞳孔信息和对比瞳孔信息，根据用户双眼的基准瞳孔位置和对比瞳孔位置之间的偏移距离是否超过预设门限值确定是否需要对前置摄像头进行转动调节，若需要，则根据对比瞳孔信息获得前置摄像头的待调节转动角度，并依据获得的待调节转动角度控制与前置摄像头连接的微型云台进行转动，进而实现对前置摄像头的转动调节。通过本发明提供的AR设备，达到了使得前置摄像头与用户的视线同步转动的效果，进而使得显示出的增强显示图像与用户期望的图像相一致，提高用户体验。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (19)
1.一种AR设备的控制方法，其特征在于，包括：
获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；
根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；
根据所述待调节角度值对所述前置摄像头进行转动调节。
2.根据权利要求1所述的AR设备的控制方法，其特征在于，获取用户双眼的基准瞳孔信息和对比瞳孔信息的步骤包括：
获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
3.根据权利要求2所述的AR设备的控制方法，其特征在于，根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息的步骤包括：
按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
4.根据权利要求3所述的AR设备的控制方法，其特征在于，根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息的步骤包括：
根据用户双眼的边缘特征，获得用户双眼的边缘特征的圆形轮廓；
对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
5.根据权利要求1所述的AR设备的控制方法，其特征在于，所述基准瞳孔信息和所述对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径，所述根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值的步骤包括：
判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值；
若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
6.根据权利要求5所述的AR设备的控制方法，其特征在于，根据用户双眼的对比瞳孔位置、用户双眼之间的瞳距和用户的眼球半径，确定所述前置摄像头的待调节角度值的步骤包括：
根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
7.根据权利要求6所述的AR设备的控制方法，其特征在于，根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息的步骤包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
8.根据权利要求6所述的AR设备的控制方法，其特征在于，根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值的步骤包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
9.一种AR设备的控制装置，其特征在于，包括：
图像分析模块，用于获取用户双眼在相邻时刻中的前一时刻的基准瞳孔信息和在相邻时刻中的后一时刻的对比瞳孔信息；
转动角度确定模块，用于根据所述基准瞳孔信息和所述对比瞳孔信息，确定AR设备的前置摄像头的待调节角度值；
云台控制模块，用于根据所述待调节角度值对所述前置摄像头进行转动调节。
10.根据权利要求9所述的AR设备的控制装置，其特征在于，图像分析模块包括：
第一获取单元，用于获取所述AR设备的后置摄像头在前一时刻采集的用户的双眼图像，以及在后一时刻分别采集的双眼图像；
第二获取单元，用于根据所述后置摄像头在前一时刻采集的用户双眼图像，获得用户双眼的基准瞳孔信息；
第三获取单元，用于根据所述后置摄像头在后一时刻采集的用户双眼图像，获得用户双眼的对比瞳孔信息。
11.根据权利要求10所述的AR设备的控制装置，其特征在于，第二获取单元包括：
第一获取子单元，用于按照预定算法对所述后置摄像头在前一时刻所采集的用户双眼图像进行边缘检测，获得用户双眼的边缘特征；
第二获取子单元，用于根据用户双眼的边缘特征，获得用户双眼的基准瞳孔信息。
12.根据权利要求11所述的AR设备的控制装置，其特征在于，第一获取子单元包括：
第一获取一级子单元，用于根据用户双眼的边缘特征，获得用户双眼眼球的边缘特征的圆形轮廓；
第二获取一级子单元，用于对用户双眼的边缘特征的圆形轮廓进行椭圆拟合，根据拟合结果，获得用户双眼的基准瞳孔信息。
13.根据权利要求9所述的AR设备的控制装置，其特征在于，所述基准瞳孔信息和所述对比瞳孔信息均包括：用户双眼的瞳孔位置和用户的眼球半径，转动角度获取模块包括：
判断单元，用于判断用户的其中一个眼球的基准瞳孔位置和对比瞳孔位置之间的最短距离是否超过一预设门限值；
确定单元，用于若超过，则根据用户双眼的对比瞳孔位置和用户的眼球半径，确定所述前置摄像头的待调节角度值。
14.根据权利要求13所述的AR设备的控制装置，其特征在于，确定单元包括：
第三获取子单元，用于根据用户双眼的对比瞳孔位置和用户的眼球半径，获得用户双眼在后一时刻的焦点的位置信息；
确定子单元，用于根据所述焦点的位置信息，确定所述前置摄像头的待调节角度值。
15.根据权利要求14所述的AR设备的控制装置，其特征在于，第三获取子单元包括:
通过公式：
获得所述焦点的位置信息，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度；x1为用户的第一眼球的瞳孔沿x轴方向的长度，y1为用户的第一眼球的瞳孔沿y轴方向的长度；x2为用户的第二眼球的瞳孔沿x轴方向的长度，y2为用户的第二眼球的瞳孔沿y轴方向的长度；r为用户的眼球半径；L为用户双眼之间的瞳距。
16.根据权利要求14所述的AR设备的控制装置，其特征在于，确定子单元包括：
通过公式：
获得所述前置摄像头沿x轴方向上的待调节角度值A，其中，X为所述焦点沿x轴方向上的长度，Y为所述焦点沿y轴方向上的长度，L为用户双眼之间的瞳距，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度；
通过公式：
B＝artan(Y-M)/Z
获得所述前置摄像头沿y轴方向上的待调节角度值B，其中，Y为所述焦点沿y轴方向上的长度，Z为所述焦点沿z轴方向上的长度，M为所述前置摄像头与用户的其中一个眼球的瞳孔之间的垂直高度。
17.一种AR设备，其特征在于，包括如权利要求9至16任一项所述的AR设备的控制装置。
18.根据权利要求17所述的AR设备，其特征在于，所述AR设备还包括：
镜框，所述AR设备的控制装置固定于所述镜框上；
可转动设置于所述镜框上的前置摄像头；
固定设置于所述镜框上的后置摄像头，所述前置摄像头和所述后置摄像头均与所述AR设备的控制装置连接；
其中，所述后置摄像头的镜头朝向与用户的双眼眼球相对设置，所述前置摄像头的镜头朝向与所述后置摄像头的镜头朝向相反，所述前置摄像头与用户双眼眼球的瞳孔之间的距离相等。
19.根据权利要求18所述的AR设备，其特征在于，所述后置摄像头包括：与用户的其中一个眼球相对设置的第一后置摄像头，以及与用户的另一眼球相对设置的第二后置摄像头，所述前置摄像头位于所述第一后置摄像头和所述第二后置摄像头之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710740892.2A CN109756663B (zh) | 2017-08-25 | 2017-08-25 | 一种ar设备的控制方法、装置及ar设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710740892.2A CN109756663B (zh) | 2017-08-25 | 2017-08-25 | 一种ar设备的控制方法、装置及ar设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109756663A true CN109756663A (zh) | 2019-05-14 |
| CN109756663B CN109756663B (zh) | 2020-11-17 |
Family
ID=66397548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710740892.2A Active CN109756663B (zh) | 2017-08-25 | 2017-08-25 | 一种ar设备的控制方法、装置及ar设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109756663B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416935A (zh) * | 2020-03-17 | 2020-07-14 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
| CN112764523A (zh) * | 2019-10-21 | 2021-05-07 | 北京眼神科技有限公司 | 一种基于虹膜识别的人机交互方法、装置及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102316260A (zh) * | 2010-07-06 | 2012-01-11 | 鸿富锦精密工业（深圳）有限公司 | Ptz摄影机控制系统、方法及ptz摄影机调整装置 |
| US20120013708A1 (en) * | 2010-07-14 | 2012-01-19 | Victor Company Of Japan, Limited | Control apparatus, stereoscopic image capturing apparatus, and control method |
| CN103297696A (zh) * | 2013-05-24 | 2013-09-11 | 北京小米科技有限责任公司 | 拍摄方法、装置和终端 |
| CN103336576A (zh) * | 2013-06-28 | 2013-10-02 | 优视科技有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
| CN104280883A (zh) * | 2013-07-04 | 2015-01-14 | 精工爱普生株式会社 | 图像显示装置 |
| CN105554384A (zh) * | 2015-12-17 | 2016-05-04 | 上海青橙实业有限公司 | 可穿戴设备及拍摄方法 |
| CN105827960A (zh) * | 2016-03-21 | 2016-08-03 | 乐视网信息技术（北京）股份有限公司 | 一种成像方法及装置 |
| CN105843397A (zh) * | 2016-04-12 | 2016-08-10 | 公安部上海消防研究所 | 基于瞳孔追踪技术的虚拟现实互动系统 |
| CN106293100A (zh) * | 2016-08-24 | 2017-01-04 | 上海与德通讯技术有限公司 | 虚拟现实设备中视线焦点的确定方法及虚拟现实设备 |
| CN106331471A (zh) * | 2015-07-10 | 2017-01-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种自动跟踪摄像方法、装置、移动终端和旋转支架 |
| CN106686365A (zh) * | 2016-12-16 | 2017-05-17 | 歌尔科技有限公司 | 用于头戴显示设备的镜头调节方法、装置及头戴显示设备 |
-
2017
- 2017-08-25 CN CN201710740892.2A patent/CN109756663B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102316260A (zh) * | 2010-07-06 | 2012-01-11 | 鸿富锦精密工业（深圳）有限公司 | Ptz摄影机控制系统、方法及ptz摄影机调整装置 |
| US20120013708A1 (en) * | 2010-07-14 | 2012-01-19 | Victor Company Of Japan, Limited | Control apparatus, stereoscopic image capturing apparatus, and control method |
| CN103297696A (zh) * | 2013-05-24 | 2013-09-11 | 北京小米科技有限责任公司 | 拍摄方法、装置和终端 |
| CN103336576A (zh) * | 2013-06-28 | 2013-10-02 | 优视科技有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
| CN104280883A (zh) * | 2013-07-04 | 2015-01-14 | 精工爱普生株式会社 | 图像显示装置 |
| CN106331471A (zh) * | 2015-07-10 | 2017-01-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种自动跟踪摄像方法、装置、移动终端和旋转支架 |
| CN105554384A (zh) * | 2015-12-17 | 2016-05-04 | 上海青橙实业有限公司 | 可穿戴设备及拍摄方法 |
| CN105827960A (zh) * | 2016-03-21 | 2016-08-03 | 乐视网信息技术（北京）股份有限公司 | 一种成像方法及装置 |
| CN105843397A (zh) * | 2016-04-12 | 2016-08-10 | 公安部上海消防研究所 | 基于瞳孔追踪技术的虚拟现实互动系统 |
| CN106293100A (zh) * | 2016-08-24 | 2017-01-04 | 上海与德通讯技术有限公司 | 虚拟现实设备中视线焦点的确定方法及虚拟现实设备 |
| CN106686365A (zh) * | 2016-12-16 | 2017-05-17 | 歌尔科技有限公司 | 用于头戴显示设备的镜头调节方法、装置及头戴显示设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764523A (zh) * | 2019-10-21 | 2021-05-07 | 北京眼神科技有限公司 | 一种基于虹膜识别的人机交互方法、装置及电子设备 |
| CN112764523B (zh) * | 2019-10-21 | 2022-11-18 | 北京眼神科技有限公司 | 一种基于虹膜识别的人机交互方法、装置及电子设备 |
| CN111416935A (zh) * | 2020-03-17 | 2020-07-14 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
| CN111416935B (zh) * | 2020-03-17 | 2021-10-19 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109756663B (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Itoh et al. | Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization | |
| US9911216B2 (en) | System and method for enabling mirror video chat using a wearable display device | |
| US10165176B2 (en) | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems | |
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| US20190102956A1 (en) | Information processing apparatus, information processing method, and program | |
| CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
| US20170316582A1 (en) | Robust Head Pose Estimation with a Depth Camera | |
| WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
| WO2019062056A1 (zh) | 一种智能投影方法、系统及智能终端 | |
| WO2019041795A1 (zh) | 一种动向投影物体展示系统及其方法 | |
| KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
| US10924660B2 (en) | Augmented reality markers in digital photography | |
| WO2020042541A1 (zh) | 眼球追踪交互方法和装置 | |
| CN107462992A (zh) | 一种头戴显示设备的调节方法、装置及头戴显示设备 | |
| WO2016093750A1 (en) | Device for and method of corneal imaging | |
| CN107368192A (zh) | Vr眼镜的实景观测方法及vr眼镜 | |
| CN103034330A (zh) | 一种用于视频会议的眼神交互方法及系统 | |
| CN106570747A (zh) | 结合手势识别的眼镜在线适配方法及系统 | |
| Rocca et al. | Head pose estimation by perspective-n-point solution based on 2d markerless face tracking | |
| CN109756663A (zh) | 一种ar设备的控制方法、装置及ar设备 | |
| JPWO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN105049778A (zh) | 一种实现视频通信的方法及装置 | |
| CN110809880B (zh) | 监视设备的调整方法、监视设备及云台设备 | |
| CN203445950U (zh) | 一种通用型3d摄像机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200424 Address after: 100190 South Road, Haidian District Academy of science, Haidian District, Beijing Applicant after: Wang Yi Address before: 100096 Changlin 813, Xisanqi, Haidian District, Beijing Applicant before: BEIJING SEENGENE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210219 Address after: 100080 Building 1, Loongson Industrial Park, Institute of computing, Chinese Academy of Sciences, No.1 wensong Road, Haidian District, Beijing Patentee after: Zhongkehai micro (Beijing) Technology Co.,Ltd. Address before: 100190 No.6, south academy of Sciences Road, Haidian District, Beijing Patentee before: Wang Yi |
|
| TR01 | Transfer of patent right |