CN116257129A - 一种目光指向测量装置的改进拍照模组 - Google Patents

一种目光指向测量装置的改进拍照模组 Download PDF

Info

Publication number
CN116257129A
CN116257129A CN202111505466.3A CN202111505466A CN116257129A CN 116257129 A CN116257129 A CN 116257129A CN 202111505466 A CN202111505466 A CN 202111505466A CN 116257129 A CN116257129 A CN 116257129A
Authority
CN
China
Prior art keywords
camera
photographing module
light
measuring
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111505466.3A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Yechi
Original Assignee
Zhang Yechi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhang Yechi filed Critical Zhang Yechi
Priority to CN202111505466.3A priority Critical patent/CN116257129A/zh
Publication of CN116257129A publication Critical patent/CN116257129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种目光指向测量装置的改进拍照模组，包括调节组件以及安装在所述调节组件上的图像采集组件，所述图像采集组件至少包括拍照模组，其中调节组件用于调节拍照模组的空间位置，所述拍照模组的中心设置有第一摄像头，且位于第一摄像头的两侧分别设置有用于向外界散发光线和光线接收的测量单元，不管拍照模组中的第一摄像头的光轴是否相交于用户眼睛的瞳孔中心，安装在拍照模组上的两个测量单元能够判断出高光表面物体表面上的一个点，与第一测量单元简化模型和第二测量单元简化模型的位置关系近似于：用户眼球注视第一摄像头时用户眼球的瞳孔中心与第一测量单元和第二测量单元的位置关系。

Description

一种目光指向测量装置的改进拍照模组
技术领域
本发明涉及眼动追踪技术领域，具体涉及一种目光指向测量装置的改进拍照模组。
背景技术
基于专利202110609915.2(目光指向测量装置以及目光指向模型建立方法)中介绍了一种目光指向测量装置，包括调节组件以及安装在所述调节组件上的图像采集组件，所述图像采集组件至少包括拍照模组。其中调节组件用于调节拍照模组的空间位置(图1、图2)，拍照模组用于采集用户眼睛信息，并生成光指向模型，目光指向模型用于眼动追踪领域。
所述拍照模组的使用方法，原理和作用大致为：
用户控制眼球以直视所述拍照模组中的第一摄像头，同时目光指向测量装置的调节组件调整拍照模组的空间位置和角度，使拍照模组上的第一摄像头的光轴相交于用户一只眼睛的瞳孔中心后，外点光源向外界散发出红外光线，同时拍照模组中的第二摄像头拍摄红外点光源散发出的所有光线中照射到用户眼睛角膜后的反射光线，并得到所述反射光线在拍摄得到图像上呈现出来的高光点，并根据得到的图像推算拍照模组和用户的眼睛角膜，即瞳孔中心点的相对位置关系。该方法用于生成光指向模型，从而达到眼动追踪目的的面部和眼模型。
该专利有以下不足：
1、当第一摄像头光轴因为设备误差很大而没有相交于眼睛瞳孔中心时，根据点位置计算形成光线角度方法计算出红外点光源被瞳孔中心点反射并射入第二摄像头的光的路径所在的直线，最终所述直线与第一摄像头镜头的光轴不一定会相交，因而，无法围成直角三角形，因而无法判断瞳孔中心与拍照模组的相对位置关系；
当第一摄像头光轴因为设备误差较小时，并近似相交于眼睛瞳孔中心时，根据点位置计算形成光线角度方法计算出红外点光源被瞳孔中心点反射并射入第二摄像头的光的路径所在的直线，近似相交于第一摄像头镜头的光轴，所以只能近似的组成一个直角三角形，但并非真正意义上的三角形，根据近似的三角形求得的瞳孔中心点到第一摄像头焦点的距离值不够精确，即得到的瞳孔中点和拍照模组的位置关系不够精确。
其中：计算得到的瞳孔中心点到第一摄像头焦点的距离的误差值会随着调整位置之后，的第一摄像头光轴与眼睛瞳孔中心的距离，即相交误差值呈指数倍放大。最终导致所述目光指向模型产生误差，继而导致基于目光指向模型的眼动追踪产生误差；
2、通过该目光指向测量装置以及目光指向模型建立方法无法测量操作者眼睛角膜的形状。
发明内容
本发明的目的在于提供一种目光指向测量装置的改进拍照模组，不管拍照模组中的第一摄像头的光轴是否相交于用户眼睛的瞳孔中心，安装在拍照模组上的两个测量单元能够判断出高光表面物体(眼球)表面上的一个点，与第一测量单元简化模型和第二测量单元简化模型的位置关系近似于：用户眼球注视第一摄像头时用户眼球的瞳孔中心(视轴线与角膜外层的交点)与第一测量单元和第二测量单元(即拍照模组)的位置关系。
本发明的目的可以通过以下技术方案实现：
一种目光指向测量装置的改进拍照模组，包括调节组件以及安装在所述调节组件上的图像采集组件，所述图像采集组件至少包括拍照模组，其中调节组件用于调节拍照模组的空间位置，所述拍照模组的中心设置有第一摄像头，且位于第一摄像头的两侧分别设置有用于向外界散发光线和光线接收的测量单元。
作为本发明进一步的方案：所述拍照模组呈九宫格式结构，且在拍照模组九宫格的每个拐点均设置有测量单元。
作为本发明进一步的方案：所述测量单元包括发光元件和摄像头单元，所述发光元件和摄像头单元与测量单元的数量一一对应；
同一个所述测量单元内的摄像头单元与发光元件的个数比为1:M，M≥1。
作为本发明进一步的方案：所述发光元件的发射光为散发，使光线能够向空间中的各个角度进行发射。
作为本发明进一步的方案：所述发光元件为圆环形LED灯。
作为本发明进一步的方案：所述摄像头单元为色彩摄像头。
本发明的有益效果：
(1)本发明中用两个测量单元分别代替拍照模组中的第一红外点光源以及第二摄像头后：不论拍照模组中的第一摄像头的光轴是否相交于用户眼睛的瞳孔中心，安装在拍照模组上的两个测量单元按照上文提到的方法判断出高光表面物体(眼球)表面上的一个点，与第一测量单元简化模型和第二测量单元简化模型的位置关系近似于：用户眼球注视第一摄像头时用户眼球的瞳孔中心(视轴线与角膜外层的交点)与第一测量单元和第二测量单元的位置关系；从而避免了因为第一摄像头的光轴未能完全重合与操作者眼睛的瞳孔中心为导致测量出现误差或者无法测量操作者眼球瞳孔中心的位置；
(2)本发明在拍照模组上安装多个由圆环形LED灯和色彩摄像头组成的测量单元，即通过该测量单元代替传统的拍照模组上的色彩摄像头，通过该测量单元的计算测量用户眼球的形状，以便利于提高用户面部和眼球模型的详细程度，以便提高最终眼动追踪的精度。
附图说明
下面结合附图对本发明作进一步的说明。
图1是现有技术结构示意图；
图2是现有技术拍照模组工作示意图；
图3是本发明拍照模组的结构示意图；
图4是本发明拍照模组目光指向的结构示意图；
图5是本发明拍摄模组导入三维空间的结构示意图一；
图6是本发明拍摄模组导入三维空间的结构示意图二；
图7是本发明拍摄模组导入三维空间的结构示意图三；
图8是本发明拍摄模组模拟的结构示意图；
图9是本发明将色彩摄像头改作测量单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
参阅图1-图3所示，本发明为一种目光指向测量装置的改进拍照模组，包括调节组件以及安装在所述调节组件上的图像采集组件，所述图像采集组件至少包括拍照模组，其中调节组件用于调节拍照模组的空间位置，所述拍照模组的中心设置有第一摄像头，且位于第一摄像头的两侧分别设置有用于向外界散发光线和光线接收的测量单元；
所述测量单元包括发光元件和摄像头单元，所述发光元件和摄像头单元与测量单元的数量一一对应，同一个所述测量单元内的摄像头单元与发光元件的个数比为1:M，M≥1，所述发光元件的发射光为散发，使光线能够向空间中的各个角度进行发射，发光元件为圆环形LED灯，摄像头单元为色彩摄像头。
如图4所示，第一测量单元131b2-2与所述第二测量单元131b3-2设置在所述第一摄像头131b1的光轴T171的两侧；所述第一测量单元131b2-2中的摄像头焦点与所述第二测量单元131b3-2中的摄像头焦点的连线T172-2相交于所述第一摄像头131b1的光轴T171，所述连线T172-2与所述第一摄像头131b1的光轴T171垂直；所述第二测量单元131b3-2中的摄像头焦点与所述第一摄像头131b1的光轴T172之间的距离等于所述第一测量单元131b2-2的中的摄像头焦点与所述第一摄像头131b1的光轴之间的距离；
其中，距离为20mm；
具体过程如下：
如图5所示，将拍摄模组的三维模型导入模拟的三维空间中，且将其中的第一摄像头镜头焦点所在的点命名为点A，第一测量单元中的摄像头焦点命名为点B，第二测量单元中的摄像头焦点命名为点C；
如图6所示，将眼球模型导入同一模拟的三维空间中，设置眼球模型由一个直径为25mm的球体和一条命名为视轴线的射线组成，所述视轴线所在的射线的起点相交于所述球体的球心，射线与所述球体的唯一交点命名为瞳孔中心点；
任意设置拍照模组的空间位置，以及眼球模型所在球体的球心的空间位置，并保证眼球模型中的视轴线始终相交于拍照模组的第一摄像头的摄像头焦点(且拍照模组中的第一摄像头的光轴的位置也是任意的，不必相交于眼球模型中的瞳孔中心点)；
如图7所示，取眼球模型的球的球面上的点，并设为点F，点F用来模拟现实中第一测量单元中的LED灯散射出的光线并照射到用户眼睛角膜上的所有点中，将所述光线反射后射入第二测量单元中的摄像头镜头的眼睛角膜上的那个唯一的点，并且根据光的反射定律以及光的可逆性原理，该眼睛角膜上的点也是第二测量单元中的LED灯散射出的光线并照射到用户眼睛角膜上的所有点中，将所述光线反射后射入第一测量单元中的摄像头镜头的点，即：点F等价于现实中基于两个测量单元以及计算得出的瞳孔中心点所在的位置；
在模拟空间中的眼球模型所在的球面上，找到点F需要令点F在球面上的位置需要满足：
1：点F分别与第一测量单元中的摄像头的焦点B，第二测量单元中的摄像头的焦点C的直连线以及过该点的球面法线(过该点且垂直于该点在球面上切面的直线)和这两条直连线在同一平面内；
2：点F分别与第一测量单元中的摄像头的焦点B，第二测量单元中的摄像头的焦点C的直连线分别在过该点的球面法线两侧；
3：点F分别与第一测量单元中的摄像头的焦点B，第二测量单元中的摄像头的焦点C的直连线分别和过该点的球面法线的夹角相等；(等价于光的反射定律)
4：点F分别与第一测量单元中的摄像头的焦点B，第二测量单元中的摄像头的焦点C的直连线不与眼球模型的球面相交；
即在模拟空间中的眼球模型所在的球面上的点F、改进拍照模组三维模型上的第一摄像头焦点A、第一测量单元中的摄像头焦点B、第二测量单元中的摄像头焦点C、点F与第一测量单元中的摄像头的焦点B的连线、点F与第二测量单元中的摄像头的焦点C的连线，六个单位之间的相对位置关系等价于在现实中的眼睛角膜上的某一点、改进拍照模组上的第一摄像头焦点、第一测量单元中的摄像头焦点、第二测量单元中的摄像头焦点、第二测量单元中的发光元件散发光线的某一条光线照射到眼睛角膜表面的某一个点上，并被该点镜面反射后被第一测量单元中的摄像头所接收的光线、第一测量单元中的发光元件散发光线的某一条光线照射到眼睛角膜表面的同一个点上，并被该点镜面反射后被第二测量单元中的摄像头所接收的光线六个物质之间的相对位置关系。
其中，瞳孔中心点所在的位置依据专利申请号202111123670.9(一种测量光滑表面形状的设备及测量方法)中描述的方法计算得到的，具体为：
步骤一：第一测量单元中的第一发光元件散发光线，散发光线中的某一条光线照射到光滑的物体表面的某一个点上，并被该点镜面反射，反射光线被第二测量单元中的第二摄像头所接收，并且该条光线在空间中形成一条光路；
步骤二：在同一时刻下第二测量单元中的第二发光元件散发光线，散发光线中的某一条光线沿着步骤一中的光路照射到光滑的物体表面的同一个点上，并被这个点镜面反射，并沿着光路射向第一测量单元中的第一摄像头，并被第一摄像头接收；
步骤三：根据步骤一和步骤二中光路上的这两条光线射进第一摄像头和第二摄像头，并被第一摄像头和第二摄像头接收后的得到的数据推算出光滑的物体表面上该点相对于第二摄像头以及第一摄像头的位置关系，和光滑的物体表面上该点所在切面的方向；
即第一测量单元，第二测量单元，一直到第N测量单元共能够测量出光滑的物体表面上
Figure BDA0003404145660000071
个点以及点所在的光滑物体表面的切面的法线的方向。
在模拟空间中求得所述眼球模型的球面上的点F的坐标值，设眼球模型的瞳孔中心点E与眼球模型上测量得到的点F的距离为L，代表在模拟空间中正确的球模型的瞳孔中心点E与通过本文提到的基于两个测量单元计算得到的瞳孔中心点F之间的距离，计算得到的瞳孔中心点和正确的瞳孔中心点之间的误差值；
如图8中A、B、C三次模拟的结果如下表(1)所示：
Figure BDA0003404145660000081
表(1)
上述模拟试验中的数据中第一摄像头131b1的光轴T171始终没有相交于操作者眼睛的瞳孔中心点。
以上数据用来说明，即使没有调整拍照模组的位置，使第一摄像头的光轴相交与眼球模型的瞳孔中心，拍照模组上安装的两个测量单元测量眼球模型上得到的点近似于眼球模型直视拍照模组中的第一摄像头时的瞳孔中心。
实施例2
本实施例与实施例1的实施方式基本相同，区别在于，在拍照模组九宫格的每个拐点均设置有测量单元；
如图9所示，该测量单元为专利申请号202111123670.9(一种测量光滑表面形状的设备及测量方法)中描述的测量单元，实现测量光滑表面形状，从而实现测量出用户眼球角膜的形状；
在测量用户眼睛的瞳孔中心点位置的同时，多个测量单元按照专利申请号202111123670.9(一种测量光滑表面形状的设备及测量方法)中描述方法共同作用可将用户眼球形状的信息也加入专利申请号202110609915.2(目光指向测量装置以及目光指向模型建立方法)中描述的目光指向模型中，能够更加完善目光指向模型的信息，将上述信息作为已知条件，有助于更精准的测量用户的目光指向；
其中测量单元中的发光元件为圆环形LED灯，且可限定所述圆环形LED灯可散发特定波长的红外光线，由于红外光线不会被用户眼睛看到，不会分散用户的注意力，使用户集中注意力，控制眼球并看向第一摄像头的镜头中心；
摄像头单元为色彩摄像头，设置调整所述色彩摄像头的感光元件所能接收并成像的光的波长范围，不仅可接收可见光所在的波长不失去原有功能的同时，还可以作为测量单元接收圆环形LED灯发射并被眼睛角膜高光反射后的特定的红外光线的波长，并按照实施例1中专利申请号202111123670.9(一种测量光滑表面形状的设备及测量方法)的测量方式测量用户眼睛角膜的形状。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (6)

1.一种目光指向测量装置的改进拍照模组，包括调节组件以及安装在所述调节组件上的图像采集组件，所述图像采集组件至少包括拍照模组，其中调节组件用于调节拍照模组的空间位置，其特征在于，所述拍照模组的中心设置有第一摄像头，且位于第一摄像头的两侧分别设置有用于向外界散发光线和光线接收的测量单元。
2.根据权利要求1所述的一种目光指向测量装置的改进拍照模组,其特征在于，所述拍照模组呈九宫格式结构，且在拍照模组九宫格的每个拐点均设置有测量单元。
3.根据权利要求1或2所述的一种目光指向测量装置的改进拍照模组,其特征在于，所述测量单元包括发光元件和摄像头单元，所述发光元件和摄像头单元与测量单元的数量一一对应；
同一个所述测量单元内的摄像头单元与发光元件的个数比为1:M，M≥1。
4.根据权利要求3所述的一种目光指向测量装置的改进拍照模组,其特征在于，所述发光元件的发射光为散发，使光线能够向空间中的各个角度进行发射。
5.根据权利要求3所述的一种目光指向测量装置的改进拍照模组,其特征在于，所述发光元件为圆环形LED灯。
6.根据权利要求3所述的一种目光指向测量装置的改进拍照模组,其特征在于，所述摄像头单元为摄像头。
CN202111505466.3A 2021-12-10 2021-12-10 一种目光指向测量装置的改进拍照模组 Pending CN116257129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111505466.3A CN116257129A (zh) 2021-12-10 2021-12-10 一种目光指向测量装置的改进拍照模组

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111505466.3A CN116257129A (zh) 2021-12-10 2021-12-10 一种目光指向测量装置的改进拍照模组

Publications (1)

Publication Number Publication Date
CN116257129A true CN116257129A (zh) 2023-06-13

Family

ID=86677982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111505466.3A Pending CN116257129A (zh) 2021-12-10 2021-12-10 一种目光指向测量装置的改进拍照模组

Country Status (1)

Country Link
CN (1) CN116257129A (zh)

Similar Documents

Publication Publication Date Title
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
US10503248B1 (en) Selective color sensing for motion tracking
CN106643547A (zh) 提供改进测量质量的光线上的光强度补偿
CN109307480A (zh) 一种透射元件多表面面形检测方法
TWI684026B (zh) 控制方法、控制裝置、深度相機和電子裝置
US11587254B2 (en) Raycast calibration for artificial reality head-mounted displays
CN108354585A (zh) 用于检测角膜顶点的用计算机实现的方法
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用
CN109032329B (zh) 面向多人增强现实交互的空间一致性保持方法
CN110360930A (zh) 一种激光位移法线传感器及其测量方法
TW200422754A (en) Method for determining the optical parameters of a camera
CN105212890B (zh) 眼睛跟踪器设备
WO2018149992A1 (en) Eye gaze tracking
CN108803067A (zh) 一种光学深度相机及其信号光源处理方法
CN113125127A (zh) 基于人眼视觉的光学场景模拟方法及装置
CN102346020B (zh) 用于互动介面的三维信息产生装置与三维信息产生方法
CN116257129A (zh) 一种目光指向测量装置的改进拍照模组
JP3758809B2 (ja) 点光源装置およびこの点光源装置を用いた写真測量用ターゲット
JP2006220603A (ja) 撮像装置
CN109901137B (zh) 广角tof模组的标定方法及其标定设备
CN113052921B (zh) 一种三维视线跟踪系统的系统标定方法
CN208337777U (zh) 主动对焦装置
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
CN114485923A (zh) 一种正四面体全景照度计及全景照度测量方法
CN209417442U (zh) 双目头戴设备中光学模组的装调测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination