CN107506036A - Vr瞳距调节方法和装置 - Google Patents

Vr瞳距调节方法和装置 Download PDF

Info

Publication number
CN107506036A
CN107506036A CN201710728127.9A CN201710728127A CN107506036A CN 107506036 A CN107506036 A CN 107506036A CN 201710728127 A CN201710728127 A CN 201710728127A CN 107506036 A CN107506036 A CN 107506036A
Authority
CN
China
Prior art keywords
lens
distance
position information
equipment
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710728127.9A
Other languages
English (en)
Other versions
CN107506036B (zh
Inventor
戴天荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710728127.9A priority Critical patent/CN107506036B/zh
Publication of CN107506036A publication Critical patent/CN107506036A/zh
Priority to PCT/CN2018/097819 priority patent/WO2019037578A1/zh
Priority to US16/640,686 priority patent/US20200355928A1/en
Application granted granted Critical
Publication of CN107506036B publication Critical patent/CN107506036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了VR瞳距调节方法和装置。根据人眼图像确定人眼瞳孔的中心点位置信息；将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配；在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。因此本发明是一种结合软件、硬件和结构的自动瞳距自适应调节方案，能够根据自动识别人眼瞳孔和计算人眼瞳距，并且根据人眼瞳距自动调节VR透镜轴间距，达到透镜轴间距与瞳距完全相等的匹配状态，可以根据不同人眼瞳距客观、快速、精准进行透镜轴间距调节，大大提高用户的体验度。

Description

VR瞳距调节方法和装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种VR瞳距调节方法和装置。
背景技术
现有的VR头显一般不支持瞳距(interpupillary distance，IPD)调节，或者仅支持手动调节。不支持IPD调节的VR头显，在瞳距不匹配的状态下显示清晰度和反畸变效果较差，影响使用VR体验。仅支持手动调节的VR头显，由用户根据自己看到的视觉效果主观判断是否已经调到合适位置，而这种主观判断不够精准，经常出现来回调整而不能正确判断是否已经处于合适位置。
发明内容
为了解决上述问题，本发明提供一种VR瞳距调节方法和装置，可以根据不同人眼的瞳距自适应调整VR头显的透镜轴间距，以适应不同人眼瞳距，保证不同用户的VR体验效果保持最佳状态。
本发明提供一种VR瞳距调节方法，包括：
根据人眼图像确定人眼瞳孔的中心点位置信息；
将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配；
在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。
可选地，根据人眼图像确定人眼瞳孔的中心点位置信息，包括：
对人眼图像进行图像处理确定左眼瞳孔的中心点位置信息和右眼瞳孔的中心点位置信息。
可选地，将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行匹配，包括：
根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；
根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；
若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致。
可选地，所述的方法还包括：
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
可选地，在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置信息与所述人眼瞳孔的中心点位置信息相匹配，包括：
若所述VR设备的透镜间距大于所述人眼瞳孔距离，则确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，根据所述第一调节距离减小所述透镜间距的距离；或者
若所述VR设备的透镜间距小于所述人眼瞳孔距离，则确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，根据所述第二调节距离增加所述透镜间距的距离。
可选地，所述人眼图像的几何中心点像素用来表示摄像位置，识别出来的人眼瞳孔的中心点像素位置用来表示人眼瞳孔的中心点位置信息，两个像素之间的水平距离用像素点个数来表示，对应地，所述距离的偏差为像素点个数的差值。
本申请还提供一种VR瞳距调节装置，包括：摄像模块，处理器、存储器和驱动马达；所述处理器分别与所述存储器、摄像模块和驱动马达连接；其中，所述存储器中存储实现VR瞳距调节的程序，所述处理器执行所述存储器中存储的实现VR瞳距调节的程序；
所述摄像模块，用于拍摄人眼图像并发送给处理器；
当所述处理器接收到所述摄像模块发送得人眼图像时，调用所述存储器中的程序，对所述人眼图像进行人眼瞳孔识别，并却确定人眼瞳孔的中心点位置信息；将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配，在在匹配不一致时，给所述驱动马达发送调节指令；
所述驱动马达，用于根据所述调节指令调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。
可选地，所述摄像模块设置所述VR设备的透镜的外部下方，且所述摄像模块位于所述透镜的光轴正下方位置处，所述摄像模块设置在所述透镜和人眼相对的一侧，所述摄像模块对所述人眼采集人眼图像；或者
所述摄像模块设置在所述VR设备的透镜和显示屏之间，且所述摄像模块与所述透镜和所述显示屏的相对位置固定不变，连成一个整体的结构模块，所述透镜和显示屏之间设置有半透明的半反射镜片，所述摄像模块与所述半反射镜片相对设置，所述摄像模块采集的是人眼通过所述透镜在所述半反射镜片上反射的人眼图像。
可选地，所述处理器确定的人眼瞳孔的中心点位置信息包括左眼瞳孔的中心点位置信息和右眼瞳孔的中心点位置信息。
可选地，所述处理器调用所述存储器中的程序时，具体用于根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致。
可选地，所述处理器调用所述存储器中的程序时，具体还用于：
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
可选地，所述处理器，还用于在确定所述VR设备的透镜间距大于所述人眼瞳孔距离，确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第一调节距离，驱动右透镜和左透镜相向移动所述第一调节距离；或者
所述处理器，还用于在确定所述VR设备的透镜间距小于所述人眼瞳孔距离，确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第二调节距离，驱动右透镜和左透镜相背移动所述第二调节距离。
本发明实施例通过一种结合软件、硬件和结构的自动瞳距(IPD)自适应调节方案，能够根据自动识别人眼瞳孔和计算人眼瞳距，并且根据人眼瞳距自动调节VR透镜轴间距，达到透镜轴间距与瞳距完全相等的匹配状态，因此可以根据不同人眼瞳距客观、快速、精准进行透镜轴间距调节，大大提高用户的体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为VR透镜中心、人眼瞳孔中心、屏幕中心示意图；
图2为本申请提供的VR瞳距调节方法流程示意图；
图3为直接拍摄方式拍摄的人眼图像示意图；
图4为红外反射镜进行拍摄人眼图像示意图；
图5为透镜轴间距与瞳距关系的一种计算示意图；
图6为透镜轴间距与瞳距关系的另一种计算示意图；
图7为透镜轴间距与瞳距关系的又一种计算示意图；
图8为透镜轴间距与瞳距关系的再一种计算示意图；
图9为一种透镜轴间距调节结构示意图；
图10为本申请提供的VR瞳距调节装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
瞳距(IPD：interpupillary distance)是指两眼瞳孔之间的距离，每个人都会有所不同，范围一般会从55到75mm之间变动，不同年龄、人种之间的瞳距差异甚至超出上述范围。对于VR头显，光学透镜的轴间距与用户的瞳距是否保持一致，将会很大程度上影响到用户的使用体验。当光学透镜的轴间距与用户的瞳距不一致时，即瞳孔位置偏离透镜的光轴位置，特别是偏离较大时，会导致透过透镜看到的屏幕图像的清晰度下降。此外，VR透镜的反畸变处理都是假定用户观察点就在透镜光轴上，当观察点偏离透镜光轴较远时，反畸变的效果将削弱很多。
图1为VR透镜中心、人眼瞳孔中心、屏幕中心示意图，如图1所示，一般情况下，VR透镜中心、人眼瞳孔中心、屏幕中心三点不在一条直线上，此时，VR透镜的轴间距与用户的瞳距不一致，会导致用户透过透镜看到的屏幕图像的清晰度大幅下降，因此需要对VR透镜的轴间距进行调节以适应用户的瞳距。
图2为本申请提供的VR瞳距调节方法的流程示意图，如图2所示，包括：
101、根据人眼图像确定人眼瞳孔的中心点位置信息；
首先获取人眼图像，本实施例中，通过在VR透镜的光轴正下方放置摄像头拍摄人眼图像的原因，是因为在确定人眼瞳距之前，并不能确定人眼瞳距相对VR透镜轴间距是偏大了还是偏小了，将摄像头放在VR透镜的光轴正下方正好能最大程度应对VR透镜轴间距偏大或偏小这两种极端情况，而且将摄像头放在VR透镜的光轴正下方拍摄人眼图像，可以使得计算人眼图像时的计算量最小，且不需要提前标定、鲁棒性强。
考虑到佩戴VR头显时人眼是处于密闭空间，需要在透镜周边放置红外LED光源，这样可以通过摄像头拍摄到人眼的红外图像。拍摄可以有两种方式，一种是直接拍摄方式，摄像头放置在VR透镜的外部下方，图3为直接拍摄方式拍摄的人眼图像示意图，摄像头设置在透镜和人眼相对的一侧，摄像头直接对人眼采集人眼图像；另一种是将摄像头放置在透镜与显示屏之间，通过红外反射镜进行拍摄,图4为红外反射镜进行拍摄人眼图像示意图，透镜和显示屏之间设置有半透明的半反射镜片，摄像头与半反射镜片相对设置，摄像头采集的是人眼通过所述透镜在所述半反射镜片上反射的人眼图像。
不论哪种方式，摄像头、透镜和显示屏的相对位置都固定不变，连成一个整体的结构模块。
其次，根据拍摄得到的左右眼图像，通过图像处理进行瞳孔识别，考虑到人眼并非总是直视前方，可能向左右斜视，发明人在实现本发明的过程中发现:人眼不管怎么动，除非严重斜视患者，左右眼的动作都是严格同步的，包括眨眼、转动，都严格同步，因此不管用户看向哪个方向，用户的瞳距都不会变的。因此，在识别瞳孔的基础上，确定人眼瞳孔的中心点位置，具体包括左眼瞳孔的中心点位置信息和右眼瞳孔的中心点位置信息。
102、将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配；
在一种可选的方式中，根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致。
需要说明的是，本发明实施例中的距离和偏差都是用像素来表示，摄像头所拍摄的图像的几何中心点像素可以用来表示摄像头的位置，识别出来的瞳孔的中心点像素位置代表瞳孔位置，这两个像素之间水平距离用像素点个数来表示，因此，距离偏差也是像素点个数的差值。
103、在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置信息与所述人眼瞳孔的中心点位置信息相匹配。
具体地，若所述VR设备的透镜间距大于所述人眼瞳孔距离，则确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，根据所述第一调节距离减小所述透镜间距的距离；或者
若所述VR设备的透镜间距小于所述人眼瞳孔距离，则确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，根据所述第二调节距离增加所述透镜间距的距离。
下面对透镜轴间距与瞳距之间的各个关系进行详细的举例说明。
图5为透镜轴间距与瞳距关系的一种计算示意图，如图5所示，假设左透镜光轴位于左眼中心线的左侧，右透镜光轴位于右眼中心线的左侧，此时左右眼瞳孔中心的水平位置分为别p1,p2，左右透镜光轴的水平位置(也是摄像头的水平位置)分别为:a1,a2，则可以分别计算左右眼瞳孔相对于左右透镜光轴的偏差为：
第一偏差d1＝p1-a1,d1为正；
第二偏差d2＝p2-a2，d2为正；
diff＝d2-d1，若diff>0，则瞳距IPD>透镜轴间距，若diff<0，则IPD<透镜轴间距。
图6为透镜轴间距与瞳距关系的另一种计算示意图，如图6所示，假设左透镜光轴位于左眼中心线的右侧，右透镜光轴位于右眼中心线的左侧，此时左右眼瞳孔中心的水平位置分为别p1,p2，左右透镜光轴的水平位置(也是摄像头的水平位置)分别为:a1,a2，则可以分别计算左右眼瞳孔相对于左右透镜光轴的偏差为：
第一偏差d1＝p1-a1,d1为负；
第二偏差d2＝p2-a2，d2为正；
diff＝d2-d1，此时，只有一种可能，即diff>0，此时，瞳距IPD>透镜轴间距。
图7为透镜轴间距与瞳距关系的又一种计算示意图，如图7所示，假设左透镜光轴位于左眼中心线的左侧，右透镜光轴位于右眼中心线的右侧，此时左右眼瞳孔中心的水平位置分为别p1,p2，左右透镜光轴的水平位置(也是摄像头的水平位置)分别为:a1,a2，则可以分别计算左右眼瞳孔相对于左右透镜光轴的偏差为：
第一偏差d1＝p1-a1,d1为负；
第二偏差d2＝p2-a2，d2为负；
diff＝d2-d1；
diff>0(|d1|>|d2|)表示：瞳距IPD>透镜轴间距；
diff<0(|d1|<|d2|)表示：瞳距IPD<透镜轴间距。
图8为透镜轴间距与瞳距关系的再一种计算示意图，如图8所示，假设左透镜光轴位于左眼中心线的左侧，右透镜光轴位于右眼中心线的右侧，此时左右眼瞳孔中心的水平位置分为别p1,p2，左右透镜光轴的水平位置(也是摄像头的水平位置)分别为:a1,a2，则可以分别计算左右眼瞳孔相对于左右透镜光轴的偏差为：
第一偏差d1＝p1-a1,d1为正；
第二偏差d2＝p2-a2，d2为负；
diff＝d2-d1，此时，只有一种可能，即diff<0，此时，瞳距IPD<透镜轴间距。
因此，由图5至图8可以得到：即diff＝d2–d1，如果diff为正值，则说明透镜轴间距比瞳距小；如果diff为0，则说明透镜轴间距与瞳距相等；如果diff为负值，则说明透镜轴间距比瞳距大。
因此，上述步骤102在进行位置匹配时，还包括：
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
本发明实施例中，关于调节VR设备的透镜间距使得VR设备的透镜光轴位置信息与人眼瞳孔的中心点位置信息相匹配，具体实现时，可以通过软件指令驱动马达调节透镜轴间距。
其中，实现透镜间距调节的结构方案有很多，图9为一种透镜轴间距调节结构示意图，如图9所示，通过马达驱动螺杆，螺杆有两种转动方式：正转和反转，分别对应透镜模块(包括显示屏、摄像头和透镜)的两种运动模式：聚拢或分离，具体对应方式取决于结构设计。
根据图5至图8所示的透镜轴间距与瞳距关系中计算得到的diff值的不同，执行不同的马达驱动方式。如果diff为0则不进行调整，此时透镜轴间距跟瞳距正好相等；如果diff为正值，则说明透镜轴间距偏小，需要驱动马达将透镜轴间距增大一定的步长(如1mm)，从而增大透镜轴间距；如果diff为负值，则说明透镜轴间距偏大，需要驱动马达将透镜轴间距减小一定的步长，从而减小透镜轴间距；循环执行步骤101至103，直到diff为0，即达到透镜轴间距与瞳距完全相等的匹配状态。循环调整速度由马达驱动速度确定，通常每次摄像头拍摄和软件计算的速度都非常快，可以在几十毫秒内完成。
本发明实施例通过一种结合软件、硬件和结构的自动瞳距(IPD)自适应调节方案，能够根据自动识别人眼瞳孔和计算人眼瞳距，并且根据人眼瞳距自动调节VR透镜轴间距，达到透镜轴间距与瞳距完全相等的匹配状态，因此可以根据不同人眼瞳距客观、快速、精准进行透镜轴间距调节，大大提高用户的体验度。
图10为本申请提供的VR瞳距调节装置的结构示意图，如图10所示，包括：摄像模块，处理器、存储器和驱动马达；所述处理器分别与所述存储器、摄像模块和驱动马达连接；其中，所述存储器中存储实现VR瞳距调节的程序，所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行，所述处理器执行所述存储器中存储的实现VR瞳距调节的程序。
所述摄像模块，用于拍摄人眼图像并发送给处理器；
可选地，所述摄像模块设置所述VR设备的透镜的外部下方，且所述摄像模块位于所述透镜的光轴正下方位置处，所述摄像模块设置在所述透镜和人眼相对的一侧，所述摄像模块对所述人眼采集人眼图像；或者
所述摄像模块设置在所述VR设备的透镜和显示屏之间，且所述摄像模块与所述透镜和所述显示屏的相对位置固定不变，连成一个整体的结构模块，所述透镜和显示屏之间设置有半透明的半反射镜片，所述摄像模块与所述半反射镜片相对设置，所述摄像模块采集的是人眼通过所述透镜在所述半反射镜片上反射的人眼图像。
当所述处理器接收到所述摄像模块发送得人眼图像时，调用所述存储器中的程序，执行如下步骤：
对所述人眼图像进行人眼瞳孔识别，并却确定人眼瞳孔的中心点位置信息；将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配，在在匹配不一致时，给所述驱动马达发送调节指令；
所述驱动马达，用于根据所述调节指令调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。
其中，所述处理器确定的人眼瞳孔的中心点位置信息包括左眼瞳孔的中心点位置信息和右眼瞳孔的中心点位置信息。
其中，所述处理器调用所述存储器中的程序时，具体用于根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致。
其中，所述处理器调用所述存储器中的程序时，具体还用于：
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
其中，所述处理器，还用于在确定所述VR设备的透镜间距大于所述人眼瞳孔距离，确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第一调节距离，驱动右透镜和左透镜相向移动所述第一调节距离；或者
所述处理器，还用于在确定所述VR设备的透镜间距小于所述人眼瞳孔距离，确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第二调节距离，驱动右透镜和左透镜相背移动所述第二调节距离。
本发明实施例所述的装置可以执行图2所示的方法，其实现原理和技术效果不再赘述。
本发明实施例还提供了一种计算机存储介质，用于储存VR瞳距调节装置所用的计算机软件指令，所述计算机软件指令包含了用于执行上述VR瞳距调节方法为VR瞳距调节装置所涉及的程序。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种VR瞳距调节方法，其特征在于，包括：
根据人眼图像确定人眼瞳孔的中心点位置信息；
将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配；
在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。
2.根据权利要求1所述的VR瞳距调节方法，其特征在于，根据人眼图像确定人眼瞳孔的中心点位置信息，包括：
对人眼图像进行图像处理确定左眼瞳孔的中心点位置信息和右眼瞳孔的中心点位置信息。
3.根据权利要求2所述的VR瞳距调节方法，其特征在于，将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行匹配，包括：
根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；
根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；
若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致。
4.根据权利要求3所述的VR瞳距调节方法，其特征在于，还包括：
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
5.根据权利要求3或4所述的VR瞳距调节方法，其特征在于，在匹配不一致时，调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置信息与所述人眼瞳孔的中心点位置信息相匹配，包括：
若所述VR设备的透镜间距大于所述人眼瞳孔距离，则确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，根据所述第一调节距离减小所述透镜间距的距离；或者
若所述VR设备的透镜间距小于所述人眼瞳孔距离，则确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，根据所述第二调节距离增加所述透镜间距的距离。
6.根据权利要求3或4所述的VR瞳距调节方法，其特征在于：
所述人眼图像的几何中心点像素位置用来表示摄像位置，识别出来的人眼瞳孔的中心点像素位置用来表示人眼瞳孔的中心点位置信息，两个像素之间的水平距离用像素点个数来表示，对应地，所述距离的偏差为像素点个数的差值。
7.一种VR瞳距调节装置，其特征在于，包括：摄像模块，处理器、存储器和驱动马达；所述处理器分别与所述存储器、摄像模块和驱动马达连接；其中，所述存储器中存储实现VR瞳距调节的程序，所述处理器执行所述存储器中存储的实现VR瞳距调节的程序；
所述摄像模块，用于拍摄人眼图像并发送给处理器；
当所述处理器接收到所述摄像模块发送得人眼图像时，调用所述存储器中的程序，对所述人眼图像进行人眼瞳孔识别，并却确定人眼瞳孔的中心点位置信息；将所述人眼瞳孔的中心点位置信息与VR设备的透镜光轴位置信息进行位置信息匹配，在匹配不一致时，给所述驱动马达发送调节指令；
所述驱动马达，用于根据所述调节指令调节所述VR设备的透镜间距，使得所述VR设备的透镜光轴位置与所述人眼瞳孔的中心点位置相匹配。
8.根据权利要求6所述的VR瞳距调节装置，其特征在于，所述摄像模块设置所述VR设备的透镜的外部下方，且所述摄像模块位于所述透镜的光轴正下方位置处，所述摄像模块设置在所述透镜和人眼相对的一侧，所述摄像模块对所述人眼采集人眼图像；或者
所述摄像模块设置在所述VR设备的透镜和显示屏之间，且所述摄像模块与所述透镜和所述显示屏的相对位置固定不变，连成一个整体的结构模块，所述透镜和显示屏之间设置有半透明的半反射镜片，所述摄像模块与所述半反射镜片相对设置，所述摄像模块采集的是人眼通过所述透镜在所述半反射镜片上反射的人眼图像。
9.根据权利要求7所述的VR瞳距调节装置，其特征在于，所述处理器调用所述存储器中的程序时，具体用于：
根据所述左眼瞳孔的中心点位置信息以及所述VR设备的左透镜光轴位置信息，确定第一偏差；根据所述右眼瞳孔的中心点位置信息以及所述VR设备的右透镜光轴位置信息，确定第二偏差；若所述第一偏差和所述第二偏差之间的差值不等于0，则确定匹配不一致；
若所述第二偏差减去所述第一偏差之差值大于0，则确定人眼瞳距大于透镜间距；
若所述第二偏差减去所述第一偏差之差值小于0，则确定人眼瞳距小于透镜间距；
其中，所述人眼瞳距为所述左眼瞳孔的中心点与所述右眼瞳孔的中心点之间的距离；
所述透镜间距为所述左透镜光轴与所述右透镜光轴之间的距离。
10.根据权利要求9所述的VR瞳距调节装置，其特征在于：
所述处理器，还用于在确定所述VR设备的透镜间距大于所述人眼瞳孔距离，确定第一调节距离，所述第一调节距离为需要减小的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第一调节距离，驱动右透镜和左透镜相向移动所述第一调节距离；或者
所述处理器，还用于在确定所述VR设备的透镜间距小于所述人眼瞳孔距离，确定第二调节距离，所述第二调节距离为需要增大的透镜间距的距离，发送调节指令给所述驱动马达，以使所述驱动马达根据所述调节指令中包含的第二调节距离，驱动右透镜和左透镜相背移动所述第二调节距离。
CN201710728127.9A 2017-08-23 2017-08-23 Vr瞳距调节方法和装置 Active CN107506036B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710728127.9A CN107506036B (zh) 2017-08-23 2017-08-23 Vr瞳距调节方法和装置
PCT/CN2018/097819 WO2019037578A1 (zh) 2017-08-23 2018-07-31 Vr瞳距调节方法和装置
US16/640,686 US20200355928A1 (en) 2017-08-23 2018-07-31 Method and apparatus for adjusting vr interpupillary distance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710728127.9A CN107506036B (zh) 2017-08-23 2017-08-23 Vr瞳距调节方法和装置

Publications (2)

Publication Number Publication Date
CN107506036A true CN107506036A (zh) 2017-12-22
CN107506036B CN107506036B (zh) 2020-10-09

Family

ID=60692538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710728127.9A Active CN107506036B (zh) 2017-08-23 2017-08-23 Vr瞳距调节方法和装置

Country Status (3)

Country Link
US (1) US20200355928A1 (zh)
CN (1) CN107506036B (zh)
WO (1) WO2019037578A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170283A (zh) * 2018-01-30 2018-06-15 小派科技（上海）有限责任公司 虚拟现实显示设备的瞳距调节方法和装置
CN108519215A (zh) * 2018-03-28 2018-09-11 华勤通讯技术有限公司 瞳距适应性测试系统及方法、测试主机
CN109002164A (zh) * 2018-07-10 2018-12-14 歌尔科技有限公司 头戴显示设备的显示方法、装置及头戴显示设备
WO2019037578A1 (zh) * 2017-08-23 2019-02-28 歌尔股份有限公司 Vr瞳距调节方法和装置
CN109714571A (zh) * 2018-12-28 2019-05-03 重庆电子工程职业学院 一种医生手术智慧监管系统
CN111103971A (zh) * 2018-10-29 2020-05-05 托比股份公司 头戴式装置在用户上的位置的确定
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及系统
CN111781856A (zh) * 2020-06-03 2020-10-16 Oppo广东移动通信有限公司 眼镜及其控制方法、存储介质
CN112684604A (zh) * 2019-10-18 2021-04-20 宏达国际电子股份有限公司 头戴式显示装置及调整方法
CN113900255A (zh) * 2021-10-29 2022-01-07 青岛歌尔声学科技有限公司 一种智能头戴设备
WO2023092713A1 (zh) * 2021-11-24 2023-06-01 歌尔股份有限公司 一种智能眼镜及其瞳距调节方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866425B1 (en) 2019-12-16 2020-12-15 Microsoft Technology Licensing, Llc Image reprojection based on intra-pupil distance
KR20220128726A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
CN113419344A (zh) * 2021-05-20 2021-09-21 歌尔股份有限公司 虚拟现实装置的瞳距调节方法、虚拟现实装置及介质
US11835725B2 (en) 2022-04-07 2023-12-05 Htc Corporation Head-mounted display device assembly and external adjustment module
CN115014204B (zh) * 2022-07-29 2022-11-04 武汉精立电子技术有限公司 一种近眼显示设备几何中心定位测量方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105974588A (zh) * 2016-06-14 2016-09-28 深圳市金立通信设备有限公司 一种调节vr眼镜的瞳距的方法以及vr眼镜

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304446B2 (en) * 2016-02-03 2019-05-28 Disney Enterprises, Inc. Self calibration for smartphone goggles
CN106686365A (zh) * 2016-12-16 2017-05-17 歌尔科技有限公司 用于头戴显示设备的镜头调节方法、装置及头戴显示设备
CN107506036B (zh) * 2017-08-23 2020-10-09 歌尔股份有限公司 Vr瞳距调节方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105974588A (zh) * 2016-06-14 2016-09-28 深圳市金立通信设备有限公司 一种调节vr眼镜的瞳距的方法以及vr眼镜

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037578A1 (zh) * 2017-08-23 2019-02-28 歌尔股份有限公司 Vr瞳距调节方法和装置
US11500216B2 (en) * 2018-01-30 2022-11-15 Pimax Technology (Shanghai) Co., Ltd Method and device for adjusting pupil distance of virtual reality display device
WO2019149175A1 (zh) * 2018-01-30 2019-08-08 小派科技（上海）有限责任公司 虚拟现实显示设备的瞳距调节方法和装置
CN108170283A (zh) * 2018-01-30 2018-06-15 小派科技（上海）有限责任公司 虚拟现实显示设备的瞳距调节方法和装置
CN108519215A (zh) * 2018-03-28 2018-09-11 华勤通讯技术有限公司 瞳距适应性测试系统及方法、测试主机
CN109002164B (zh) * 2018-07-10 2021-08-24 歌尔光学科技有限公司 头戴显示设备的显示方法、装置及头戴显示设备
CN109002164A (zh) * 2018-07-10 2018-12-14 歌尔科技有限公司 头戴显示设备的显示方法、装置及头戴显示设备
CN111103971A (zh) * 2018-10-29 2020-05-05 托比股份公司 头戴式装置在用户上的位置的确定
CN109714571A (zh) * 2018-12-28 2019-05-03 重庆电子工程职业学院 一种医生手术智慧监管系统
CN112684604A (zh) * 2019-10-18 2021-04-20 宏达国际电子股份有限公司 头戴式显示装置及调整方法
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及系统
CN111781856A (zh) * 2020-06-03 2020-10-16 Oppo广东移动通信有限公司 眼镜及其控制方法、存储介质
CN113900255A (zh) * 2021-10-29 2022-01-07 青岛歌尔声学科技有限公司 一种智能头戴设备
WO2023092713A1 (zh) * 2021-11-24 2023-06-01 歌尔股份有限公司 一种智能眼镜及其瞳距调节方法

Also Published As

Publication number Publication date
CN107506036B (zh) 2020-10-09
WO2019037578A1 (zh) 2019-02-28
US20200355928A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN107506036A (zh) Vr瞳距调节方法和装置
IL305833A (en) Eye center for determining rotation, choosing depth plane and processing camera position in display systems
US10551638B2 (en) Imaging apparatus and imaging method
CN105554384B (zh) 可穿戴设备及拍摄方法
CN104090371B (zh) 一种3d眼镜及3d显示系统
CN103190883A (zh) 一种头戴式显示装置和图像调节方法
JP2022538669A (ja) 眼追跡待ち時間向上
US20210019493A1 (en) Information processing apparatus, information processing method, and program
CN111897129A (zh) 一种人工智能液体眼镜
CN107307981A (zh) 基于眼动的视觉训练方法
CN113940812B (zh) 用于准分子激光角膜屈光手术的角膜中心定位方法
CN109964230A (zh) 用于眼睛度量采集的方法和设备
CN112099622B (zh) 一种视线追踪方法及装置
EP3498149B1 (en) Optoelectronic binocular instrument for the correction of presbyopia and method for the binocular correction of presbyopia
CN107137211A (zh) 基于眼动的3d视觉训练方法
CN109756663B (zh) 一种ar设备的控制方法、装置及ar设备
CN111417893B (zh) 用于检验眼科镜片在镜架中的安装的方法和组件
KR102548807B1 (ko) 대상자의 참조 머리 자세를 결정하기 위한 방법 및 장치
JPH08266465A (ja) 眼光学系のシミュレーション装置
CN115955547B (zh) 一种xr眼镜的摄像头调整方法及系统
WO2022024104A1 (en) Eye tracking systems and methods
CN116889374A (zh) 一种眼科检查机器人的控制方法和装置及电子设备
CN115644796A (zh) 一种基于斜视度的ac/a检测方法和装置
RU2021124905A (ru) Устройство, система и способ определения одного или более параметров рефракционной аномалии исследуемого глаза

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 No. 268 Dongfang Road, Weifang hi tech Industrial Development Zone, Shandong, Weifang

Patentee before: GOERTEK Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right