CN109767472B

CN109767472B - 一种用于测量眼戴式显示器fov的方法

Info

Publication number: CN109767472B
Application number: CN201811486102.3A
Authority: CN
Inventors: 张宇宁; 黄晓煜; 李晓华
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2023-03-31
Anticipated expiration: 2038-12-06
Also published as: CN109767472A

Abstract

本发明公开了一种用于测量眼戴式显示器FOV的方法，包括如下步骤：(1)使眼戴式显示设备播放测试图像，由嵌入头部框架中的两台微型广角相机监控和采集眼戴式显示器的双眼内容，分别获得测试图像矩阵T_L和T_R，并将其输入信号处理设备；(2)信号处理设备判断眼戴式显示器佩戴位置是否正确，若正确，则眼戴式设备播放白场图像，相机采集白场图像矩阵W_L和W_R并将其输入信号处理设备；(3)信号处理设备对其进行去畸变处理，并结合相机视角和相关图像处理算法，计算得到眼戴式显示设备的FOV。本发明简化了光学测量前繁琐的实验环境搭建、校正等准备工作，降低了成本，可以同时进行双目测量，整个测量过程耗时大大减少，且适用于多种类型的NED测量。

Description

一种用于测量眼戴式显示器FOV的方法

技术领域

本发明涉及光学属性评测技术领域，尤其是一种用于测量眼戴式显示器FOV的方法。

背景技术

随着显示技术的发展，以VR/AR眼镜等设备为代表的眼戴式显示器(NED，Near-EyeDisplay)因其便携、沉浸感强、用途广泛等特点，正逐渐走入人们的生活。尽管对眼戴式显示器本身的设计和优化方面的技术成果层出不穷，但关于对眼戴式显示设备的测量，相关的研究相对较少。能够准确、便捷地测量眼戴式显示设备的光学属性，是把握生产品控、提升设备品质、改善用户体验的必要环节。其中，FOV(视场角)因与用户体验息息相关而受到重点关注，是所有待测光学属性中的重中之重。

目前，对于眼戴式显示器FOV的测量，大多采用点亮度计或平面亮度计的方法，先用亮度计测量NED显示内容的亮度，再据此计算出FOV。然而，对于点亮度计，测量前的准备过程十分繁琐：为了保证光轴平行、所测角度准确，需要用到支持直角坐标系和球坐标系移动的样品台和角度计，且需要随时记录大量坐标以防止原点移动造成测量误差。而对于面亮度计，虽然不需要频繁挪动角度，但其较大的入瞳会导致亮度测量的不准确，而如果手动减小入瞳则会减少进光量，同样影响亮度测量。另一方面，NED的出瞳距一般在15-30mm，这意味着所用的亮度计镜头需要离NED的目镜很近；但由于市面上现有的NED产品外型多种多样，只用一种亮度计很难匹配丰富的形状参数，而使用多种亮度计则无疑会增加成本。再加上，由于NED的光学系统设计的原因，显示的内容往往引入畸变，此时仅依靠亮度和坐标信息测得的FOV显然是不准确的。因此，使用亮度计方法测量眼戴式显示设备不仅费时费力，还很难得到准确结果。

发明内容

本发明所要解决的技术问题在于，提供一种用于测量眼戴式显示器FOV的方法，简便高效，成本低廉，且适用于各种眼戴式显示设备的光学属性测量。

为解决上述技术问题，本发明提供一种用于测量眼戴式显示器FOV的方法，包括如下步骤：

(1)使眼戴式显示设备播放测试图像，由嵌入头部框架中的两台微型广角相机监控和采集眼戴式显示器的双眼内容，分别获得测试图像矩阵T_L和T_R，并将其输入信号处理设备；

(2)信号处理设备判断眼戴式显示器佩戴位置是否正确，若正确，则眼戴式设备播放白场图像，相机采集白场图像矩阵W_L和W_R并将其输入信号处理设备；

(3)信号处理设备对其进行去畸变处理，并结合相机视角和相关图像处理算法，计算得到眼戴式显示设备的FOV。

优选的，步骤(1)中，使用的两台微型广角相机A和B嵌于测量设备头部框架的眼睛处，两个镜头的中心连线、任一相机的光轴、从地面引出的垂线之间两两平行，其具体位置以所用微型相机的入瞳距为依据确定。

优选的，步骤(1)中，头部框架的结构需尽可能接近人的头部，需有类似耳部、额骨、顶骨、鼻骨等可能成为眼戴式显示设备支撑部位的结构。

优选的，步骤(2)中，信号处理设备对眼戴式显示设备佩戴位置是否正确的判断包括以下步骤：

(21)信号处理设备按一定频率对广角相机采集的画面实时采样，得到测试图像矩阵T_L和T_R；

(22)将所得测试图像矩阵T_L和T_R由三通道转化为单通道，再进行二值化处理得到二值化测试图像矩阵TB_L和TB_R；

(23)分别对二值化测试图像矩阵TB_L和TB_R的边缘像素值求和，得到SUM1和SUM2，判断SUM1＝0和SUM2＝0是否同时成立，若成立则执行步骤(24)，否则返回步骤(21)；

(24)利用角点提取算法，从测试图像矩阵中分别提取测试图像的角点，每幅图像共9点，分别为P₀～P₈，在拍摄画面坐标系中对应的像素坐标数组Cor_L[(u_kL,v_kL)]和Cor_R[(u_kR,v_kR)](0≤k≤8)；

(25)从像素坐标数组中提取测试图像中心点P₀在拍摄画面中对应的像素点坐标(u_0L,v_0L)和(u_0R,v_0R)，并根据广角相机分辨率，判断坐标(u_0L,v_0L)和(u_0R,v_0R)是否均位于采集画面中心或误差允许范围内；

(26)对之后n次采样重复步骤(21)至(25)，若SUM1＝SUM2＝0总是成立，且(u_0L,v_0L)和(u_0R,v_0R)始终位于采集画面中心，则认为眼戴式显示设备佩戴位置正确。

优选的，步骤(3)中，信号处理设备对其进行去畸变处理，并结合相机视角和相关图像处理算法，计算得到眼戴式显示设备的FOV具体包括如下步骤：

(31)信号处理设备控制相机拍摄白场内容，得到白场图像矩阵W_L(W_R)；

(32)根据广角相机内参矩阵和畸变系数，将W_L(W_R)转换为无畸变白场图像矩阵W_L*(W_R*)；

(33)以亮度对比度为依据，检测眼戴式显示设备的显示内容边缘，获取边缘图像矩阵Edg_L(Edg_R)；

(34)利用图像处理算法绘制出上述边缘图像的内切矩形，并获取矩形四个顶点R0～R3在无畸变图像矩阵中对应的像素坐标；

(35)根据上述坐标，结合拍摄图像矩阵中心点C₀和相机的视角AOV，计算出眼戴式显示设备(单目)目镜的FOV。

优选的，信号处理设备计算出的FOV参数包括眼戴式显示器两片目镜显示内容的水平视场角A_h、眼戴式显示器两片目镜显示内容的竖直视场角A_v和眼戴式显示器两片目镜显示内容的对角线视场角A_FOV。

本发明的有益效果为：本发明通过头部框架结合相机监控测量法，简化了眼戴式显示设备的光学测量前繁琐的实验环境搭建、校正等准备工作，降低了成本，可以同时进行双目测量，整个测量过程耗时大大减少，且适用于多种类型的NED测量；如果在本发明的基础上稍作修改，还可以支持亮度、畸变、色度、双目特性等其他光学属性的测量；另外，通过信号处理设备封装算法，能够有效地减少测量人员的计算工作；如果能结合增强可读性的屏幕显示，则可以进一步地削减测量步骤和耗时。

附图说明

图1为本发明的硬件系统搭建示意图。

图2为本发明带白边的4×4黑白格测试图像示意图。

图3为本发明中信号处理设备判断NED测量位置是否正确的流程示意图。

图4为本发明中信号处理设备对眼戴式显示设备FOV的计算过程流程示意图。

图5为本发明图像处理过程示意图。

具体实施方式

如图1所示，一种用于测量眼戴式显示器FOV的方法，包括如下步骤：

本发明的硬件系统结构和位置关系如图1所示，系统包含待测眼戴式显示设备1，头部框架2，微型广角相机(A、B)3，信号处理设备4。

眼戴式显示设备1作为待测设备，需要能够播放自定义的测量图像，如位置检测时的带白边的4×4黑白格测试图像，和计算FOV时的白场图像。对于待测设备提供给用户调整的个性化设置，默认使用初始设置；对于具有透明特性的设备(如AR眼镜)，需要在暗室中进行测量。图中以用绑带佩戴在脑后的VR眼镜为例，事实上本发明可测量的眼戴式设备的外型和佩戴方式可以是多种多样的。

头部框架2的作用在于固定待测眼戴式显示设备1和两台微型相机3，并确保测量过程中待测设备1和微型相机3之间的相对位置保持不变。头部框架的结构接近人的头部，从而能够支持各种眼戴式设备的佩戴需求。

两台微型广角相机3分别固定在头部框架的左右眼处，其作用包括：(a)监控测量画面，防止测量过程中发生待测NED显示屏熄灭等情况；(b)将监控画面实时传送至显示屏供测量软件采样，作为佩戴位置是否正确的判断依据；(c)收到拍摄指令后，拍摄图像并传输至信号处理设备进行后续处理和计算。如前所述，微型相机的安装位置与其入瞳距有关，安装时需要确保微型相机的入瞳位于NED目镜的出瞳处(或eye-box内)。另外，在测量之前，需要调整相机的帧率与待测NED的屏幕刷新频率匹配，防止出现扫描线。

信号处理设备4负责监控相机的拍摄画面，判断NED佩戴位置是否正确，以及拍摄图像的处理和FOV的计算。信号处理设备4也可以替换为有专门用途的装置或系统(如计算机，或嵌入式系统)。

在眼戴式显示设备1佩戴位置检测阶段，NED播放的测试图像如图2所示。测试图像由白色边框和4×4黑白格构成，黑色边缘线、图上的角点及各边尺寸标注仅作为说明，不包含于实际测试图像中。其中，W和H分别对应于NED信号源的行、列像素数(分辨率)。

图3为本发明中信号处理设备判断NED测量位置是否正确的流程图，下面对其各个步骤进行详细说明。

步骤一、眼戴式显示设备1播放测试图像，信号处理设备按一定频率对广角相机采集的画面实时采样，得到测试图像矩阵T_L,T_R。若采样频率过高则占用设备资源大，频率过低会影响调整与反馈的实时性，需酌情确定。若无特殊说明，本发明中所有L和R作下标使用时分别表示左和右。

步骤二、信号处理设备4将所得测试图像矩阵T_L,T_R由三通道转化为单通道(灰度图)，再进行二值化处理得到二值化测试图像矩阵TB_L,TB_R。二值化的目的在于降低后期判断难度和加快计算速度。为防止NED的内部光学系统折射对判断目镜内容(前景)和背景产生干扰，推荐采用最大类间方差法(Otsu算法)进行二值化。

步骤三、按照式(1)，分别对二值化测试图像矩阵TB_L，TB_R的边缘像素值求和，得到SUM1和SUM2；判断SUM1＝0和SUM2＝0是否同时成立，若成立则执行步骤四，否则返回步骤一；

本发明所采用的两台相机A、B的分辨率相同。式中，X和Y分别表示图像矩阵TB_L(TB_R)的行数和列数(对应于相机分辨率)。

如无特殊说明，本发明中的图像矩阵均以左上角为行列计数原点，T(x,y)表示图像矩阵T中第x行y列的像素值。

步骤四、利用角点提取算法，从测试图像矩阵中分别提取测试图像的角点(每幅图像共9点，P₀～P₈)在拍摄画面坐标系中对应的像素坐标数组Cor_L[(u_kL,v_kL)]和Cor_R[(u_kR,v_kR)](0≤k≤8)。P0～P8在测试图像中的位置如图2所示。为了使角点提取结果准确，可进一步采用亚像素角点提取算法。本发明中，图像坐标系均以左下角为坐标原点，u,v分别表示拍摄画面坐标系中的横坐标和纵坐标。

步骤五、信号处理设备4从坐标数组中提取测试图像中心点P₀(如图2)在拍摄画面中对应的像素点坐标(u_0L,v_0L)和(u_0R,v_0R)，并根据广角相机分辨率，判断坐标(u_0L,v_0L)和(u_0R,v_0R)是否均位于采集画面中心，即(Y/2,X/2)。基于现实情况考虑，显示画面难以完全位于采集画面中心，因此可设定误差允许范围，只要坐标在范围内则视为满足条件，如式(2)。同时检测左右图像矩阵中的坐标，目的是通过使NED两个目镜位置尽量保持水平，避免NED佩戴歪斜导致后续计算误差。

式中，t表示误差允许范围上限，建议取值5≤t≤10。只有当四条不等式均成立，才视为满足中心条件。

步骤六、信号处理设备4对之后n次采样重复步骤一至五，若SUM1＝SUM2＝0总是成立，且(u_0L,v_0L)和(u_0R,v_0R)始终位于采集画面中心，则认为眼戴式显示设备佩戴位置正确。进行n次采样判断的目的在于确保待测NED位置正确且不再发生移动，排除偶然性。建议取值n≥5。

图4为信号处理设备对眼戴式显示设备FOV的计算过程流程图，下面对其各个步骤进行详细说明。为简略起见，以下步骤仅表示单个相机的处理流程，在实际应用中，需要对左右眼相机都实施以下操作(如果待测NED为单眼显示设备则例外)。

步骤一、在确认眼戴式显示设备1的佩戴位置正确后，NED播放白场图像，信号处理设备控制广角相机3拍摄白场内容，得到白场图像矩阵W_L(W_R)；

步骤二、信号处理设备4根据广角相机内参矩阵和畸变系数，对W_L(W_R)进行去畸变校正，将其转换为无畸变白场图像矩阵W_L*(W_R*)。相机的内参矩阵K和畸变系数k可以由生产商/制造商提供，也可通过相机标定等方式得到。需要注意，去畸变过程不应丢失相机视角信息，且拍摄图像中心点依旧位于无畸变图像中心，不产生偏移。无畸变矩阵W_L*(W_R*)的行列数M和N满足M＞X，N＞Y，其具体数值可根据相机视角、镜头畸变程度等因素确定。无畸变白场图像的横纵像素数对应的相机视角AOV_h和AOV_v应事先通过标定或计算确定。

步骤三、信号处理设备4以亮度对比度为依据，利用边缘检测算法，识别眼戴式显示设备的显示内容边缘，获取边缘图像矩阵Edg_L(Edg_R)(表示为区分边缘轮廓像素值与非边缘像素值的二值化图像矩阵)。对比度阈值可作为附加参数引入算法，阈值太小会导致检测区域大于实际显示区域，阈值太大则会造成边缘不平滑，需酌情调整。

步骤四、利用图像处理算法绘制出上述边缘图像的内切矩形，并获取矩形四个顶点R₀～R₃在无畸变图像矩阵中对应的像素坐标，表示为R_n(Rx_n,Ry_n)(0≤n≤3)。R₀～R₃对应的位置如图5所示。所得矩形的两条对边分别与图像坐标系的x轴和y轴平行(即Rx₀＝Rx₂，Rx₁＝Rx₃，Ry₀＝Ry₁，Ry₂＝Ry₃)。

步骤五、信号处理设备4根据上述坐标，结合拍摄图像矩阵中心点C₀在无畸变图像矩阵中的坐标(N/2,M/2)和广角相机的横、纵视角AOV_h、AOV_v，计算出眼戴式显示设备(单目)目镜的FOV。根据平面几何原理，易推得计算公式(3)。

式中，A_h，A_v和A_FOV分别表示NED目镜显示内容的水平视场角，竖直视场角和对角线视场角。

图5为本发明的图像处理过程示意图(以单目为例)。如图展示了信号处理设备将畸变图像校正为无畸变图像[图(a)→(b)]，和对NED的显示内容边缘求内切矩形[图(c)]的过程。由于目前对于如何考虑NED光学系统的畸变对FOV的影响相关的标准尚不完善，所以暂不考虑畸变问题，如果今后出台相关标准，可根据标准内容修改算法。

Claims

1.一种用于测量眼戴式显示器FOV的方法，其特征在于，包括如下步骤：

(2)信号处理设备判断眼戴式显示器佩戴位置是否正确，若正确，则眼戴式设备播放白场图像，相机采集白场图像矩阵W_L和W_R并将其输入信号处理设备；信号处理设备对眼戴式显示设备佩戴位置是否正确的判断包括以下步骤：

(24)利用角点提取算法，从测试图像矩阵中分别提取测试图像的角点，每幅图像共9点，分别为P₀～P₈，在拍摄画面坐标系中对应的像素坐标数组Cor_L[(u_kL,v_kL)]和Cor_R[(u_kR,v_kR)]，其中0≤k≤8；

(26)对之后n次采样重复步骤(21)至(25)，若SUM1＝SUM2＝0总是成立，且(u_0L,v_0L)和(u_0R,v_0R)始终位于采集画面中心，则认为眼戴式显示设备佩戴位置正确；

2.如权利要求1所述的用于测量眼戴式显示器FOV的方法，其特征在于，步骤(1)中，使用的两台微型广角相机A和B嵌于测量设备头部框架的眼睛处，两个镜头的中心连线、任一相机的光轴、从地面引出的垂线之间两两平行，其具体位置以所用微型相机的入瞳距为依据确定。

3.如权利要求1所述的用于测量眼戴式显示器FOV的方法，其特征在于，步骤(1)中，头部框架的结构需尽可能接近人的头部，需有类似耳部、额骨、顶骨、鼻骨能够成为眼戴式显示设备支撑部位的结构。

4.如权利要求1所述的用于测量眼戴式显示器FOV的方法，其特征在于，步骤(3)中，信号处理设备对其进行去畸变处理，并结合相机视角和相关图像处理算法，计算得到眼戴式显示设备的FOV具体包括如下步骤：

(31)信号处理设备控制相机拍摄白场内容，得到白场图像矩阵W_L和W_R；

(32)根据广角相机内参矩阵和畸变系数，将W_L和W_R转换为无畸变白场图像矩阵W_L*和W_R*；

(33)以亮度对比度为依据，检测眼戴式显示设备的显示内容边缘，获取边缘图像矩阵Edg_L和Edg_R；

(35)根据上述坐标，结合拍摄图像矩阵中心点C₀和相机的视角AOV，计算出眼戴式显示设备目镜的FOV。

5.如权利要求1所述的用于测量眼戴式显示器FOV的方法，其特征在于，信号处理设备计算出的FOV参数包括眼戴式显示器两片目镜显示内容的水平视场角A_h、眼戴式显示器两片目镜显示内容的竖直视场角A_v和眼戴式显示器两片目镜显示内容的对角线视场角A_FOV。