CN115988193A - 一种基于单镜头的双目合像方法、光学模组及头显设备 - Google Patents

Abstract

本发明公开一种基于单镜头的双目合像方法、光学模组及头显设备。该方法采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片；获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值；计算所述位移值和角度值与参考的位移值和角度值的差值；根据所述差值调整左光机和/或右光机进行双目合像。本发明的误差较小，可获得更高精度和质量的双目合像，并且，采用单镜头进行双目合像，结构简单，成本低。

Description

一种基于单镜头的双目合像方法、光学模组及头显设备

技术领域

本发明涉及一种光学设备，具体涉及一种基于单镜头的双目合像方法。

背景技术

头戴式显示设备(简称头显设备)用不同方法向眼睛发送光学信号，可以实现虚拟现实(Virtual Reality，简称VR)、增强现实(AugmentedReality，简称AR)、混合现实(MixReality，简称MR)等不同效果。

头显设备一般由用于成像的光学模组和作为载体的支架组合而成，光学模组中可以包括光机、波导片、等腰三角棱镜等。头显设备的组装就是将光学模组和支架的位置进行相对固定。对于双目的头显设备而言，在组装的过程中有一个重要的指标需要参考，那就是双目合像程度，若双目合像效果不好，不仅可能使得用户会感觉左右眼的画面不能重合，进而导致头显设备无法正常使用，还有可能因不符合用户的承受范围而易导致用户的视觉疲劳。因此，头显设备的合像精度对产品显示品质和用户体验感影响非常大。

目前，有的是在组装过程中，多人通过人眼观测判断来调节双目合像，但是采用这样的方式，不仅费人伤眼、效率低，而且不同人眼对于合像的判断不统一，所以在调节过程中误差不可控，合像效果参差不齐，精度比较低。为提高双目合像的效率和精度，有人提出采用双摄像组件形式进行合像，具体是，采用左摄像件拍摄左波导片显示画面的图像，采用右摄像件拍摄右波导片显示画面的图像，然后分别基于拍摄到的图像处理、计算、调整，直至左波导片和右波导片显示的图像达到要求。然而采用双摄像组件进行双目合像的方式也还存在以下问题：因采用双摄像组件进行双目合像是分别基于左、右摄像件拍摄到的图像分别独立的与基准图像进行计算比较、调整，以使左、右波导片显示的画面分别独立的满足各自的要求。基于此，可能存在由双镜头机械校准误差和分开独立计算波导片成像图像偏差而存在的计算误差，导致合像效果存在双向误差，进而影响最终双目合像的精度和质量。

发明内容

为解决上述技术问题，本发明第一方面提供一种基于单镜头的双目合像方法，用于头显设备，包括，

采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片；

获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值；

计算所述位移值和角度值与参考的位移值和角度值的差值；

根据所述差值调整左光机和/或右光机进行双目合像。

本发明第二方面提供一种光学模组，包括左光机、右光机、左波导片、右波导片使用如上所述的双目合像方法。

本发明第三方面提供一种头显设备，包括上述的光学模组以及用于安装光学模组的支架。

本发明通过采用单镜头同时拍摄待组装光学模组中左波导片和右波导片中显示得图像，获得同时具有左显示图像和右显示图像的单张图片，对单张图片内的左显示图像和右显示图像进行位移值和角度值的计算，相比较于采用双摄像组件独立拍摄两张照片后分别进行左显示图像和右显示图像位移和角度值的计算，存在误差较小，从而可获得更高精度和质量的双目合像。此外采用单镜头相对于双摄像组件，结构简单，成本低。

附图说明

图1为本发明采用单镜头摄像设备拍摄光学模组显示图像的光路图；

图2为本发明左/右波导片显示图像；

图3为本发明采用单镜头摄像设备拍摄左/右波导片显示图像而获得的图像；

图4为本发明双目合像方法实施例一的流程图；

图5为本发明双目合像方法实施例二的流程图；

图6为用于单镜头摄像设备镜头校准的测试图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例一

头显设备可包括光学模组以及用于安装光学模组的支架。

图1是本发明采用单镜头摄像设备拍摄光学模组显示图像的光路图。如图1所示，光学模组包括左波导片2、左光机3、右波导片2’、右光机3’。左波导片2与左光机3安装于左支架1上；右波导片2’与右光机3’安装于右支架1’上。图2是左光机3在左波导片2或右光机3’在右波导片2’中投射的图片，单镜头摄像设备4对左光机3在左波导片2上的投射的图像以及右光机3’在右波导片2’上投射的图像进行拍照，获得一张目标图片(如图3所示)。如图3所示，获得的目标图片具有左右两个部分的图像，左部分图像即为左波导片显示图像中的部分图像，右部分图像即为右波导片显示图像中的部分图像。单镜头摄像设备4位于远离波导片显示图像的一侧，单镜头摄像设备4位置的设置能拍摄到左光机3在左波导片2上的投射的部分图像以及右光机3’在右波导片2’上投射的部分图像即可，优选设置在左波导片2及右波导片2’之间中线的中间区域位置。

左波导片2、右波导片2’显示的图像经单镜头摄像设备4的透镜组5后在成像面6成像。如图1所示，左波导片2的图像中的左部分图像形成于单镜头摄像设备4内成像面6的右侧，右波导片2’的图像中的右部分图像形成于单镜头摄像设备4内成像面6的左侧。

图3是单镜头摄像设备4按照图1所示的光路图拍摄出来的图片，图片中包括左图像与右图像，左图像是左波导片2显示图片的至少一部分，右图像显示右波导片2’显示图片的至少一部分，因单镜头摄像设备4内成像面6呈现的是倒像，经数据处理后形成如图3所示的正像图片。

图4所示，本实施例使用单镜头摄像设备进行双目合像的步骤如下：

步骤101，采用单镜头摄像设备的远景、暗场模式拍摄标定光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张标定图片。

标定光学模组是已完成双目合像的光学模组，可以算是一种用于双目合像的标准件，作为参考使用的光学模组，将该光学模组设置于组装位置中进行拍摄，得到一种标定图片。

本实施例使用远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，发明人通过对远景摄像设备采集的图像和背景暗场分析发现，对于远景、暗场模式下采集到的图像，进行图像处理后，几何算法可较为准确地计算图像中目标的位置信息，便于后续得到较为准确位移偏移量和角度偏移值，达到较为准确的双目合像的效果。

采用单镜头摄像设备4放置于左、右波导片显示图片的另一侧对标定光学模组进行拍摄，获得一张如图3所示的标定图片，标定图片包括标定左图像及标定右图像，根据图1所示的光路图，标定左图像是左波导片显示图片的至少一部分，标定右图像是右波导片显示图片的至少一部分。单镜头摄像设备4可放置于左、右波导片显示图片另一侧的任意位置，只要能拍摄到左波导片显示图片的至少一部分以及右波导片显示图片的至少一部分即可。在一些实施方式中，单镜头摄像设备4优选设置于左、右波导片之间中线的中间区域附近，此时拍摄到的标定图片中，标定左图像与标定右图像的大小相近，便于提高计算精度。

步骤102，获取所述标定图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值。

此步骤包括获取标定图片中标定左图像与标定右图像的位移值，以及获取标定图片中标定左图像与标定右图像的角度值。

在一些实施方式中，先确定角度值后再确定位移值。

角度值，即角度偏移量，用于反映图像的角度偏移程度，图像的角度偏移程度与光机的位置相关联。

在计算标定图片中的标定左图像与标定右图像的位移值和角度值之前，先对标定图片进行计算区域划分。在一些实施例方式中，对采用远景、暗场模式拍摄的标定图片，依据标定图片的像素，对所述标定图片划分计算区域，获得左计算区域和右计算区域。

具体地，如图3所示，依据标定图像的像素，对所述标定图像划分计算区域，获得左计算区域和右计算区域，其中，左计算区域包括左波导片显示的部分图像(即标定左图像)；右计算区域包括右波导片显示的部分图像(即标定右图像)；具体地，依据标定图像的像素划分计算区域是以图像的像素中间值为分界线(图3中的虚线)，左边的属于左计算区域，右边的属于右计算区域。在计算左计算区域内的标定左图像的位移值和角度值时，计算范围只限定在左计算区域内，不会计算右计算区域标定右图像的位移值和角度值。

在一些实施方式中，步骤102中获取标定图片中标定左图像或标定右图像的角度值采用如下方式计算：

步骤102-1，对所述标定图片进行二值化处理，得到左计算区域或右计算区域内对应图像的二值化图像。

在一种实现中，二值化处理就是将标定图片上的像素点的灰度值设置为0或255(其中，灰度区间为[0,255])，获得二值化图像，该二值化图像呈现出明显的只有黑和白的视觉效果。具体地，左计算区域内标定左图像所在的区域为白色，左计算区域内除标定左图像所在区域的其他区域为黑色，同理，位于右计算区域内的标定右图像所在区域也为白色，其他区域为黑色。本实施例对二值化处理的方式不作限定，例如可以包括双峰处理法、迭代处理法、最大类间方差法(OTSU)等。

步骤102-2，对具有标定左图像的左计算区域的二值化图像进行边缘检测，获得边缘检测图像，或者对具有标定右图像的右计算区域内的二值化图像进行边缘检测，获得边缘检测图像。

得到二值化图像以后，则可以对该二值化图像进行边缘检测，得到边缘检测图像。本实施例对边缘检测算法不作限定，例如可以包括梯度算子、Roberts算子、拉普拉斯算子、Canny算子等。

步骤102-3，对所述边缘检测图像进行积分变换处理，得到所述边缘检测图像的最大边缘偏转角。

在一种实施方式中，可以采用Radon变换算法对边缘检测图像进行积分变换处理，得到该边缘检测图像最大的边缘偏转角(即最大边缘偏转角)。

步骤102-4，基于所述最大边缘偏转角计算所述左计算区域或右计算区域对应图像的角度值。

示例性地，角度值可以包括水平偏移量以及垂直偏移量。可以直接将上述最大边缘偏转角作为垂直偏移量，水平偏移量为该最大边缘偏转角的绝对值减去90°。即，假设最大边缘偏转角为θ，则垂直偏移量＝θ，水平偏移量＝|θ|-90°。

以下对位移值的计算进行说明。

位移值，即位移偏移量，用于反映图像的位移偏移量，位移值与光机的位置相关联。

位移值采用如下方式计算：

步骤102-5，对所述标定图片进行灰度处理，得到左计算区域或右计算区域对应图像的灰度图像。

本实施例对灰度处理算法不作限定，例如可以包括最大值法、平均值法、加权平均值法等。

步骤102-6，采用基于所述角度值生成的旋转矩阵，对所述灰度图像进行角度校正，得到角度校正后的灰度图像。

在一些实施方式中，根据角度值得到的旋转矩阵可以为：

在灰度图像中，所有像素点的灰度值组成灰度矩阵(即，灰度矩阵中每个矩阵元素可以表示为(像素点坐标，灰度值))，然后将该灰度矩阵与旋转矩阵相乘，得到的结果为角度校正后的灰度矩阵，角度校正后的灰度矩阵形成角度校正后的灰度图像。

步骤102-7，从所述角度校正后的灰度图像中筛选出灰度值大于设定灰度阈值的像素点，作为目标像素点。

具体的，由于标定图片为摄像设备在远景、暗场的拍摄模式下拍摄的图片，使得标定图片中包含明场区域以及暗场区域，明场区域为标定左图像、标定右图像所在的区域，暗场区域为标定图像中除明场区域以外的区域。因此，可以从角度校正后的灰度图像中筛选出明场区域，作为左、右计算区域的目标区域。在实现时，可以在角度校正后的灰度矩阵中筛选出灰度值大于设定灰度阈值的像素点作为目标像素点，所有的目标像素点形成目标区域。

其中，该设定灰度阈值可以为经验值，例如设定灰度阈值＝200。

步骤102-8，从所有所述目标像素点的像素坐标中，确定横坐标信息、纵坐标信息。

示例性地，该横坐标信息包括横坐标的最小值和横坐标的最大值，该纵坐标信息包括纵坐标的最小值和纵坐标的最大值。当筛选出所有目标像素点以后，则可以将各目标像素点的像素坐标分别按照横坐标和纵坐标进行排序，从而筛选出横坐标的最小值和横坐标的最大值作为横坐标信息，以及，筛选出纵坐标的最小值和纵坐标的最大值作为纵坐标信息。

步骤102-9，根据所述横坐标信息以及纵坐标信息确定中心坐标。

该中心坐标为标定左图像或标定右图像的中心坐标，在一种实现中，可以采用如下公式确定中心坐标：

中心坐标的横坐标为：Xmin+(Xmin+Xmax)/2，其中，Xmin为横坐标的最小值，Xmax为横坐标的最大值；

中心坐标的纵坐标为：Ymin+(Ymin+Ymax)/2，其中，Ymin为纵坐标的最小值，Ymax为纵坐标的最大值。

该中心坐标即为左计算区域或右计算区域对应图像的位移值。

步骤103，采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片。具体方法与步骤101相同。

步骤104，获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值。即获得目标图片中目标左图像、右目标图像的位移值和角度值。具体方法与步骤102相同。

步骤105，计算所述标定图片的位移值与标定图片的位移值之间的位移值差值，以及计算目标图片的角度值与标定图片的角度值之间的角度值差值。

具体为，计算目标图片中左计算区域内目标左图像与标定图片中左计算区域内标定左图像的位移值和角度值的差值，以及计算目标图片中右计算区域内右目标图像与标定图片右计算区域内右标定图像的位移值和角度值的差值。

步骤106，根据所述位移值差值及角度值差值调整左光机和/或右光机进行双目合像。

当所述位移值差值及角度值差值为零或接近零时，完成双目合像。

当所述位移值差值及角度值差值不为零时，包括以下步骤：

步骤106-1，调整左光机。根据计算得到的目标图片中的目标左图像的角度值与标定图片中的标定左图像角度值的差值，调整左光机的角度，根据计算得到的目标图片中的目标左图像的位移值与标定图片中的标定左图像的位移值的差值，调整左光机的位移。

步骤106-2，调整右光机。根据计算得到的目标图片中的目标右图像的角度值与标定图片中的标定右图像的角度值的差值，调整右光机的角度，根据计算得到的目标图片中的目标右图像的位移值与标定图片中的标定右图像的位移值的差值，调整右光机的位移。使目标左图像与目标右图像的角度值与位移值与标定图片中标定左图像与标定右图像的角度值与位移值相等或接近，从而完成双目合像。

本实施例通过采用单镜头摄影设备对标定光学模组及待组装光学模组分别拍摄一张标定图片及目标图片，对标定图片及目标图片进行计算处理，获得位移值和角度值的计算，并且根据相应的位移值和角度值差值调整左光机和/或右光机。对单镜头摄像设备的拍摄位置要求小并且结构简单，调整误差较小，可获得更高精度和质量的双目合像。

实施例二

图5是本申请实施例二的双目合像的方法流程图。本实施例对双目合像的方法进一步优化。如图5所示，本实施例可包括以下步骤：

步骤201，对单镜头摄像设备进行校准。

该步骤对单镜头摄像设备存在画面不正进行校正。具体包括以下步骤：

步骤201-1，采用单镜头摄像设备拍摄带中心标记的测试图样，获得测试图像。

测试图样如图6所示，该测试图样的中心标记为中间十字带有外圆的位置。

当控制摄像设备对测试图样进行拍摄时，可以将测试图样全屏投在波导片上，也可以直接将测试图样放置在摄像件的前方，将摄像件的镜头中心对准该中心标记进行拍摄，拍摄到的图像记作测试图像。测试图像的像素优选4096*2160。

其中，在获得测试图像时，可以将摄像件调节至远景、暗场的拍摄模式。

步骤201-2，确定测试图像的角度值和图像中心点与单镜头摄像设备光点O的横纵坐标差值。

确定测试图像的角度值和图像中心点与单镜头摄像设备光点O的横纵坐标差值与前述实施例一中步骤103中获得目标图片的角度值和位移值的方法的过程相同。

在一些实施例中，先确定测试图像的角度值，并根据角度值调整图像后，再计算测试图像中心点与单镜头摄像设备光点O的横纵坐标差值。

步骤201-3，根据所述差值调整单镜头摄像设备进行校准。

当图像中心点与单镜头摄像设备光点O的横纵坐标差值不为零时，调整单镜头摄像设备及拍摄画面的位置，直至所述差值为零或接近零。

步骤202，采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片。具体步骤与实施例一的步骤103相同。

步骤203，获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值。也即，获得目标图像中目标左图像及目标右图像的位移值和角度值。具体步骤与实施例一的步骤104相同。

步骤203，以目标图片中左波导片所显示图像的至少部分图像的位移值、角度值或右波导片所显示图像的至少部分图像的位移、角度值为基准，计算左波导片所显示图像的至少部分图像与右波导片所显示图像的至少部分图像之间的位移值与角度值的差值。

例如，对目标图片中目标左图像的位移值与目标右图像的位移值求差；对目标图片中目标左图像的角度值与目标右图像的角度值求差，得到相应的差值。

步骤204，根据所述位移值差值及角度值的差值调整左光机和/或右光机进行双目合像。

具体地，若以目标左图像的位移值与角度值为基准，则调整右光机，使目标左图像与目标右图像的位移值与角度值的差值落入预定的阈值之内，则待测光学模组的右光机双目合像调整完成。同理，若以目标右图像的位移值与角度值为基准，则对应调整左光机，实现双目合像。

本实施例以目标图片中左/右波导片所显示图像的至少部分图像的位移值、角度值作为基准，只需调整另一个光机即可使目标图片中两侧图像的位移值、角度值的差值为零或达到特定的合像精度，即可使双目合像。本实施例中不需要重新拍摄得到标定图像的位移值、角度值与之比较。可进一步减小误差，并且步骤更简便，使双目合像精度和质量更高。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于单镜头的双目合像方法，用于头显设备，其特征在于，包括，

采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片；

获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值；

计算所述位移值和角度值与参考的位移值和角度值的差值；

根据所述差值调整左光机和/或右光机进行双目合像。

2.根据权利要求1所述的单镜头的双目合像方法，其特征在于，在计算所述位移值和角度值与参考的位移值和角度值的差值之前，还包括：

采用单镜头摄像设备的远景、暗场模式拍摄标定光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张标定图片；

获取所述标定图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值；

其中，所述标定图片的位移值和角度值为所述参考的位移值和角度值。

3.根据权利要求2所述的单镜头的双目合像方法，其特征在于，所述获取所述目标图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值，或所述获取所述标定图片中左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的位移值和角度值，具体为：

依据所述目标图片或所述标定图片的像素值，对所述目标图片或所述标定图片进行计算区域划分，形成左计算区域和右计算区域；

获取所述左计算区域和/或所述右计算区域中对应图像的位移值和角度值。

4.根据权利要求3所述的单镜头的双目合像方法，其特征在于，所述计算所述目标图片与所述标定图片的位移值和角度值的差值具体为：计算所述目标图片中所述左计算区域内图像与所述标定图片中所述左计算区域内图像的位移值和角度值的差值，以及计算所述目标图片中所述右计算区域内图像与所述标定图片中所述右计算区域内图像的位移值和角度值的差值。

5.根据权利要求3所述的单镜头的双目合像方法，其特征在于，获取所述左计算区域或右计算区域中对应图像的角度值，包括：

对所述目标图片或所述标定图片进行二值化处理，得到所述左计算区域或所述右计算区域中对应图像的二值化图像；

对所述二值化图像进行边缘检测，获得边缘检测图像；

对所述边缘检测图像进行积分变换处理，得到所述边缘检测图像的最大边缘偏转角；

基于所述最大边缘偏转角计算所述左计算区域或所述右计算区域中对应图像的的角度值。

6.根据权利要求5所述的单镜头的双目合像方法，其特征在于，获取所述左计算区域和/或所述右计算区域中对应图像的位移值包括：

对所述目标图片或所述标定图片进行灰度处理，得到所述左计算区域或所述右计算区域中对应图像的灰度图像；

采用基于所述角度值生成的旋转矩阵，对所述灰度图像进行角度校正，得到角度校正后的灰度图像；

从所述角度校正后的灰度图像中筛选出灰度值大于设定灰度阈值的像素点，作为目标像素点；

从所有所述目标像素点的像素坐标中，确定横坐标信息、纵坐标信息；

根据所述横坐标信息以及所述纵坐标信息确定中心坐标；

所述中心坐标为所述左计算区域或所述右计算区域中对应图像的的位移值。

7.根据权利要求1所述的单镜头的双目合像方法，其特征在于，在采用单镜头摄像设备的远景、暗场模式拍摄待组装光学模组中左波导片、右波导片显示的图像，获得具有左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像的一张目标图片之前，包括：

对所述单镜头摄像设备进行校准；所述对单镜头摄像设备进行校准包括：

采用所述单镜头摄像设备拍摄带中心标记的测试图样，获得测试图像；

确定所述测试图像的角度值和图像中心点与所述单镜头摄像设备光点O的横纵坐标差值；

根据所述差值调整所述单镜头摄像设备进行校准。

8.根据权利要求7所述的单镜头的双目合像方法，其特征在于，计算所述位移值和角度值与参考的位移值和角度值的差值，包括，

以所述目标图片中左波导片所显示图像的至少部分图像的位移值、角度值或右波导片所显示图像的至少部分图像的位移值、角度值为基准，计算左波导片所显示图像的至少部分图像和右波导片所显示图像的至少部分图像之间的位移值与角度值的差值。

9.一种光学模组，包括左光机、右光机、左波导片、右波导片；其特征在于，使用权利要求1-8任一项所述的双目合像方法。

10.一种头显设备，其特征在于，包括权利要求9所述的光学模组以及用于安装光学模组的支架。

Images