CN110099268B - 色彩自然匹配与显示区自然融合的盲区透视化显示方法 - Google Patents

Abstract

本发明公开了一种色彩自然匹配与显示区自然融合的盲区透视化显示方法，包括如下步骤：通过双目相机的左相机和右相机分别获取观察者的人眼图像，并分别采用Haar_AdaBoost算法对左相机和右相机获取的观察者的人眼图像进行人眼ROI区域定位和定位瞳孔位置：进行观察者眼部位置三维重建；在被遮蔽物的外侧安装摄像机，在其内侧安装显示设备，建立视平面与显示设备的显示屏平面间的映射关系；图像显示区域优化；显示屏的显示色彩与自然场景色彩匹配优化。本发明可以克服盲区显示设备与自然视野色彩匹配度低、角度计算粗略、融合突兀等问题。

Description

色彩自然匹配与显示区自然融合的盲区透视化显示方法

技术领域

本发明涉及盲区显示技术领域，具体涉及一种色彩自然匹配与显示区自然融合的盲区透视化显示方法。

背景技术

盲区显示是指将被非透明物体遮蔽的区域显示在显示屏上，应用在高级驾驶辅助系统上，例如汽车A柱盲区显示系统。现有的基于盲区的盲区显示方法通常是在显示屏上直接显示由安装在被遮蔽区域的摄像机获取被遮蔽区域的场景，但由于没有考虑驾驶员视线改变与自然视野内色彩的匹配，导致普遍存在盲区显示设备与自然视野色彩匹配度低、融合突兀、观察区域固定等的问题。

发明内容

针对现有技术的不足，本发明旨在提供一种色彩自然匹配与显示区自然融合的盲区透视化显示方法。

为了实现上述目的，本发明采用如下技术方案：

色彩自然匹配与显示区自然融合的盲区透视化显示方法，包括如下步骤：

S1、通过双目相机的左相机和右相机分别获取观察者的人眼图像，并分别采用Haar_AdaBoost算法对左相机和右相机获取的观察者的人眼图像进行人眼ROI区域定位和定位瞳孔位置；

S2、进行观察者眼部位置三维重建；

S3、在被遮蔽对象的外侧安装摄像机，在其内侧安装显示设备，建立视平面与显示设备的显示屏平面间的映射关系，将摄像机拍摄到的原始图像转换为观察者视线里的图像；

S4、优化图像显示区域，以将步骤S3中得到的观察者视线里的图像与自然视野在角度上进行融合；

S5、显示屏的显示色彩与自然场景色彩匹配优化：

S5.1、对被遮蔽对象的图像中由于外界的光照、空气的杂质引起随机噪点影响的随机色彩失真进行处理优化：

记时间变量为t_i，色彩特征变量为y_i，帧数为m，y_i＝a_i-1y_i-1+a_i-2y_i-2+…+a_i-my_i-m，a_i＝f(t_i)且

在处理被遮蔽对象的图像的随机色彩失真时，记录色彩特征并赋予其随时间减小的权重a_i，与随后即将处理的对应时间的图像信息进行融合；

S5.2、采用一个图像采集设备同时捕获显示屏色彩和现实背景色彩图像，运用最大类间方差法对获取的图像进行RGB三通道的目标—背景的阈值划分，若类间方差<阈值T，说明现实背景与显示屏的色彩匹配程度良好，否则返回一个对色彩参数进行的优化调整参数q。

进一步地，所述人眼ROI区域定位和定位瞳孔位置的具体过程如下：

S1.1、利用分类器模型

对人眼图像采用20*20的滑动窗口的方式得到观察者左眼和右眼的ROI区域；

分类器模型Y(t)中，f₁(t)、f₂(t)、f₃(t)分别为二矩形特征、三矩形特征、四矩形特征的Harr_like特征(t)的三个弱分类器,w₁、w₂、w₃分别为三个弱分类器所对应的权重，经过训练样本集合A训练后得到的分类器模型

其中A＝{(t₁，y₁)，(t₂，y₂)......(t_n，y_n)}，t_i∈T，y_i∈Y(-1，1)，T为样本特征集合，Y(-1，1)为训练数据标签，-1表示负样本，1表示正样本，n表示训练样本集的样本数量；训练后得到分类器模型

S1.2、定位瞳孔中心位置：

S1.2.1、对步骤S1.1中得到的左眼和右眼的ROI区域进行线性滤波，消除异常点；

S1.2.2、利用自适应阈值法对左眼和右眼的ROI区域进行图像二值化；

S1.2.3、采用Canny算法对经过二值化的左眼和右眼的ROI区域提取瞳孔边缘，并分别取左眼和右眼的瞳孔边缘位置信息的算术平均值作为左眼和右眼的瞳孔中心位置；

S1.2.4、最终得到左眼瞳孔在双目相机中的左相机的位置为p_LL(S_LL，T_LL，1)，左眼瞳孔在双目相机中的右相机的位置为p_LR(S_LR，T_LR，1)，右眼瞳孔在双目相机中的左相机的位置为p_RL(S_RL，T_RL，1)，右眼瞳孔在双目相机中的右相机的位置为p_RR(S_RR，T_RR，1)；其中，S与T分别表示瞳孔在人眼图像中像素点的横坐标和纵坐标，第一个下标L表示左眼瞳孔，第一个下标R表示右眼瞳孔，第二个下标L表示左相机，第二个下标R表示右相机。

更进一步地，步骤S2的具体过程为：

S2.1、对双目相机进行标定，得到双目相机的左相机和右相机的内参数与外参数，内参数包括左相机和右相机的焦距F₀，外参数包括左相机和右相机的光心距离L_O；

S2.2、进行双目相机矫正：利用内参数将双目摄像机所拍摄的人眼图像从图像坐标系转化到相机坐标系，然后利用外参数建立左相机和右相机的映射关系，从而完成双目相机的矫正，左相机和右相机获取的人眼图像在矫正后位于同一平面；

S2.3、利用视差进行三维重建眼部信息：

利用步骤S1.2.4中得到的左瞳孔和右瞳孔分别在左相机和右相机中的位置p_LL(S_LL，T_LL，1)、p_LR(S_LR，T_LR，1)、p_RL(S_RL，T_RL，1)、p_RR(S_RR，T_RR，1)，T_LLT_RL,T_LR＝T_RR计算得到：

视差

深度距离

从而得到左瞳孔的三维坐标为

右瞳孔的三维坐标为

左瞳孔和右瞳孔之间的中点的三维坐标为

再进一步地，步骤S3的具体过程为：

显示屏左上、右上、左下、右下四个顶点与中点的三维坐标分别为p_d1(S_d1，T_d1，W_d1)、p_d2(S_d2，T_d2，W_d2)、p_d3(S_d3，T_d3，W_d3)、p_d4(S_d4，T_d4，W_d4)、

视平面的法向量为：

显示屏的四个顶点在视平面的投影点对分别为p_d1′(S_d1，T_d1，W_d1)、p_d2′(S_d2，T_d2，W_d2)、p_d3′(S_d3，T_d3，W_d3)、p_d4′(S_d4，T_d4，W_d4)；

结合几何关系

和

求解得到：

p_di′(S_di，T_di，W_di)，1≤i≤4；

结合公式[p_d1，p_d2，p_d3，p_d4]＝H_3*3.[p_d1′，p_d2′，p_d3′，p_d4′]得到透视矩阵H_3*3；

将摄像机获取的被遮蔽对象的原始图像乘以透视矩阵H_3*3，以将原始图像转换为观察者视线里的图像。

再进一步地，步骤S4的具体过程为：

记所述摄像机的广角为θ、分辨率为H*W，并与显示屏平行；

显示屏的左侧中点坐标为

显示屏的右侧中点坐标为

显示屏横向中心线向量

观察者左视线向量

观察者右视线向量

观察者左视线与显示屏的夹角

观察者右视线与显示屏的夹角

由此得到被遮蔽对象的范围角度ε＝180-α-β；

观察者视平面与显示屏的偏移角度

从而被遮蔽对象在步骤S3中转换得到的图像的起始显示角度

因此优化的图像显示区域为宽度

高度

起始点

的矩形区域。

本发明的有益效果在于：本发明在被遮蔽物外侧安装摄像机，在内侧安装显示设备，采用双目立体视觉精准定位观察者视线位置，将摄像机拍摄到的遮蔽区域景通过由观察者视线确定的透视变换、图像剪裁实时智能化的显示到显示屏上，并运用一个图像采集设备来自动判断色彩匹配程度，以达到观察者视线内自然场景与显示视野的角度与色彩自然融合。本发明可以应用在汽车A柱透视化显示、汽车盲区透视化显示、乃至汽车整车透视化显示等汽车高级驾驶辅助系统中，也可应用于手机透视化显示等应用领域，从而为各种基于计算机视觉的透视化显示提供解决方案。

具体实施方式

以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

色彩自然匹配与显示区自然融合的盲区透视化显示方法，包括如下步骤：

S1、通过双目相机的左相机和右相机分别获取观察者的人眼图像，并分别采用Haar_AdaBoost算法对左相机和右相机获取的观察者的人眼图像进行人眼ROI区域定位和定位瞳孔位置；

所述人眼ROI区域定位和定位瞳孔位置的具体过程如下：

S1.1、利用分类器模型

对人眼图像采用20*20的滑动窗口的方式得到观察者左眼和右眼的ROI区域；

分类器模型Y(t)中，f₁(t)、f₂(t)、f₃(t)分别为二矩形特征、三矩形特征、四矩形特征的Harr_like特征(t)的三个弱分类器,w₁、w₂、w₃分别为三个弱分类器所对应的权重，经过训练样本集合A训练后得到的分类器模型

其中A＝{(t₁，y₁)，(t₂，y₂)......(t_n，y_n)}，t_i∈T，y_i∈Y(-1，1)，T为样本特征集合，Y(-1，1)为训练数据标签，-1表示负样本，1表示正样本，n表示训练样本集的样本数量；训练后得到分类器模型

S1.2、定位瞳孔中心位置：

S1.2.1、对步骤S1.1中得到的左眼和右眼的ROI区域进行线性滤波，消除异常点；

S1.2.2、利用自适应阈值法对左眼和右眼的ROI区域进行图像二值化；

S1.2.3、采用Canny算法对经过二值化的左眼和右眼的ROI区域提取瞳孔边缘，并分别取左眼和右眼的瞳孔边缘位置信息的算术平均值作为左眼和右眼的瞳孔中心位置；

S1.2.4、最终得到左眼瞳孔在双目相机中的左相机的位置为p_LL(S_LL，T_LL，1)，左眼瞳孔在双目相机中的右相机的位置为p_LR(S_LR，T_LR，1)，右眼瞳孔在双目相机中的左相机的位置为p_RL(S_RL，T_RL，1)，右眼瞳孔在双目相机中的右相机的位置为p_RR(S_RR，T_RR，1)；其中，S与T分别表示瞳孔在人眼图像中像素点的横坐标和纵坐标，第一个下标L表示左眼瞳孔，第一个下标R表示右眼瞳孔，第二个下标L表示左相机，第二个下标R表示右相机；

S2、进行观察者眼部位置三维重建；眼部位置三维重建的作用在于为盲区图像显示区域的自然融合建立驾驶员视线参数指导,以优化显示屏的显示角度：

S2.1、对双目相机进行标定，得到双目相机的左相机和右相机的内参数与外参数，内参数包括左相机和右相机的焦距F₀，外参数包括左相机和右相机的光心距离L_O；

S2.2、进行双目相机矫正：利用内参数将双目摄像机所拍摄的人眼图像从图像坐标系转化到相机坐标系，然后利用外参数建立左相机和右相机的映射关系，从而完成双目相机的矫正，左相机和右相机获取的人眼图像在矫正后位于同一平面；

S2.3、利用视差进行三维重建眼部信息：

利用步骤S1.2.4中得到的左瞳孔和右瞳孔分别在左相机和右相机中的位置p_LL(S_LL，T_LL，1)、p_LR(S_LR，T_LR，1)、p_RL(S_RL，T_RL，1)、p_RR(S_RR，T_RR，1)，T_LLT_RL,T_LR＝T_RR计算得到：

视差

深度距离

从而得到左瞳孔的三维坐标为

右瞳孔的三维坐标为

左瞳孔和右瞳孔之间的中点的三维坐标为

S3、在被遮蔽对象的外侧安装摄像机，在其内侧安装显示设备，建立视平面与显示设备的显示屏平面间的映射关系；

其中，显示屏左上、右上、左下、右下四个顶点与中点的三维坐标分别为p_d1(S_d1，T_d1，W_d1)、p_d2(S_d2，T_d2，W_d2)、p_d3(S_d3，T_d3，W_d3)、p_d4(S_d4，T_d4，W_d4)、

视平面的法向量为：

显示屏的四个顶点在视平面的投影点对分别为p_d1′(S_d1，T_d1，W_d1)、p_d2′(S_d2，T_d2，W_d2)、p_d3′(S_d3，T_d3，W_d3)、p_d4′(S_d4，T_d4，W_d4)；

结合几何关系

和

求解得到：

p_di′(S_di，T_di，W_di)，1≤i≤4；

结合公式[p_d1，p_d2，p_d3，p_d4]＝H_3*3.[p_d1′，p_d2′，p_d3′，p_d4′]得到透视矩阵H_3*3；

将摄像机获取的被遮蔽对象的原始图像乘以透视矩阵H_3*3，以将原始图像转换为观察者视线里的图像；

S4、优化图像显示区域，以将步骤S3中得到的观察者视线里的图像与自然视野在角度上进行融合：

记所述摄像机的广角为θ、分辨率为H*W，并与显示屏平行；

显示屏的左侧中点坐标为

显示屏的右侧中点坐标为

显示屏横向中心线向量

观察者左视线向量

观察者右视线向量

观察者左视线与显示屏的夹角

观察者右视线与显示屏的夹角

由此得到被遮蔽对象的范围角度ε＝180-α-β；

观察者视平面与显示屏的偏移角度

从而被遮蔽对象在步骤S3中转换得到的图像的起始显示角度

因此优化的图像显示区域为宽度

高度

起始点

的矩形区域；

S5、显示屏的显示色彩与自然场景色彩匹配优化：

S5.1、对被遮蔽对象的图像中由于外界的光照、空气的杂质引起随机噪点影响的随机色彩失真进行处理优化：

记时间变量为t_i，色彩特征变量为y_i，由运动速度决定的参考的帧数为m，y_i＝a_{i- 1}y_i-1+a_i-2y_i-2+…+a_i-my_i-m，a_i＝f(t_i)且

在处理被遮蔽对象的图像的随机色彩失真时，记录色彩特征并赋予其随时间减小的权重a_i，与随后即将处理的对应时间的图像信息进行融合，可以保证色彩在视频中的连续性特征；

S5.2、由于显示的色彩与现实色彩难以进行物理上的对比，本实施例采用一个图像采集设备同时捕获显示屏色彩和现实背景色彩图像，运用最大类间方差法(OSTU)对获取的图像进行RGB三通道的目标—背景的阈值划分，若类间方差<阈值T，说明现实背景与显示屏的色彩匹配程度良好，否则返回一个对色彩参数进行的优化调整参数q。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (4)

1.色彩自然匹配与显示区自然融合的盲区透视化显示方法，其特征在于，包括如下步骤：

S1、通过双目相机的左相机和右相机分别获取观察者的人眼图像，并分别采用Haar_AdaBoost算法对左相机和右相机获取的观察者的人眼图像进行人眼ROI区域定位和定位瞳孔位置；

S2、进行观察者眼部位置三维重建；

S3、在被遮蔽对象的外侧安装摄像机，在其内侧安装显示设备，建立视平面与显示设备的显示屏平面间的映射关系，将摄像机拍摄到的原始图像转换为观察者视线里的图像；

S4、优化图像显示区域，以将步骤S3中得到的观察者视线里的图像与自然视野在角度上进行融合：

记所述摄像机的广角为θ、分辨率为H*W，并与显示屏平行；显示屏左上、右上、左下、右下四个顶点与中点的三维坐标分别为p_d1(S_d1，T_d1，W_d1)、p_d2(S_d2，T_d2，W_d2)、p_d3(S_d3，T_d3，W_d3)、p_d4(S_d4，T_d4，W_d4)、p_dm(S_dm，T_dm，W_dm)；左瞳孔的三维坐标为p_el(S_el，T_el，W_el)，右瞳孔的三维坐标为p_er(S_er，T_er，W_er)，左瞳孔和右瞳孔之间的中点的三维坐标为p_em(S_em，T_em，W_em)；

显示屏的左侧中点坐标为

显示屏的右侧中点坐标为

视平面的法向量为：

显示屏横向中心线向量

观察者左视线向量

观察者右视线向量

观察者左视线与显示屏的夹角

观察者右视线与显示屏的夹角

由此得到被遮蔽对象的范围角度ε＝180-α-β；

观察者视平面与显示屏的偏移角度

从而被遮蔽对象在步骤S3中转换得到的图像的起始显示角度

因此优化的图像显示区域为宽度

高度

起始点

的矩形区域；

S5、显示屏的显示色彩与自然场景色彩匹配优化：

S5.1、对被遮蔽对象的图像中由于外界的光照、空气的杂质引起随机噪点影响的随机色彩失真进行处理优化：

记时间变量为t_i，色彩特征变量为y_i，帧数为m，y_i＝a_i-1y_i-1+a_i-2y_i-2+…+a_i-my_i-m，a_i＝f(t_i)且

在处理被遮蔽对象的图像的随机色彩失真时，记录色彩特征并赋予其随时间减小的权重a_i，与随后即将处理的对应时间的图像信息进行融合；

S5.2、采用一个图像采集设备同时捕获显示屏色彩和现实背景色彩图像，运用最大类间方差法对获取的图像进行RGB三通道的目标—背景的阈值划分，若类间方差<阈值T，说明现实背景与显示屏的色彩匹配程度良好，否则返回一个对色彩参数进行的优化调整参数q。

2.根据权利要求1所述的色彩自然匹配与显示区自然融合的盲区透视化显示方法，其特征在于，所述人眼ROI区域定位和定位瞳孔位置的具体过程如下：

S1.1、利用分类器模型

对人眼图像采用20*20的滑动窗口的方式得到观察者左眼和右眼的ROI区域；

分类器模型Y(t)中，f₁(t)、f₂(t)、f₃(t)分别为二矩形特征、三矩形特征、四矩形特征的Harr_like特征(t)的三个弱分类器,w₁、w₂、w₃分别为三个弱分类器所对应的权重，经过训练样本集合A训练后得到的分类器模型

其中A＝{(t₁，y₁)，(t₂，y₂)......(t_n，y_n)}，t_i∈T，y_i∈Y(-1，1)，T为样本特征集合，Y(-1，1)为训练数据标签，-1表示负样本，1表示正样本，n表示训练样本集的样本数量；训练后得到分类器模型

S1.2、定位瞳孔中心位置：

S1.2.1、对步骤S1.1中得到的左眼和右眼的ROI区域进行线性滤波，消除异常点；

S1.2.2、利用自适应阈值法对左眼和右眼的ROI区域进行图像二值化；

S1.2.3、采用Canny算法对经过二值化的左眼和右眼的ROI区域提取瞳孔边缘，并分别取左眼和右眼的瞳孔边缘位置信息的算术平均值作为左眼和右眼的瞳孔中心位置；

S1.2.4、最终得到左眼瞳孔在双目相机中的左相机的位置为p_LL(S_LL，T_LL，1)，左眼瞳孔在双目相机中的右相机的位置为p_LR(S_LR，T_LR，1)，右眼瞳孔在双目相机中的左相机的位置为p_RL(S_RL，T_RL，1)，右眼瞳孔在双目相机中的右相机的位置为p_RR(S_RR，T_RR，1)；其中，S与T分别表示瞳孔在人眼图像中像素点的横坐标和纵坐标，第一个下标L表示左眼瞳孔，第一个下标R表示右眼瞳孔，第二个下标L表示左相机，第二个下标R表示右相机。

3.根据权利要求2所述的色彩自然匹配与显示区自然融合的盲区透视化显示方法，其特征在于，步骤S2的具体过程为：

S2.1、对双目相机进行标定，得到双目相机的左相机和右相机的内参数与外参数，内参数包括左相机和右相机的焦距F₀，外参数包括左相机和右相机的光心距离L_O；

S2.2、进行双目相机矫正：利用内参数将双目摄像机所拍摄的人眼图像从图像坐标系转化到相机坐标系，然后利用外参数建立左相机和右相机的映射关系，从而完成双目相机的矫正，左相机和右相机获取的人眼图像在矫正后位于同一平面；

S2.3、利用视差进行三维重建眼部信息：

利用步骤S1.2.4中得到的左瞳孔和右瞳孔分别在左相机和右相机中的位置p_LL(S_LL，T_LL，1)、p_LR(S_LR，T_LR，1)、p_RL(S_RL，T_RL，1)、p_RR(S_RR，T_RR，1),T_LL＝T_RL,T_LR＝T_RR计算得到：

视差

深度距离

从而得到左瞳孔的三维坐标为

右瞳孔的三维坐标为

左瞳孔和右瞳孔之间的中点的三维坐标为

4.根据权利要求3所述的色彩自然匹配与显示区自然融合的盲区透视化显示方法，其特征在于，步骤S3的具体过程为：

显示屏的四个顶点在视平面的投影点对分别为p_d1′(S_d1，T_d1，W_d1)、p_d2′(S_d2，T_d2，W_d2)、p_d3′(S_d3，T_d3，W_d3)、p_d4′(S_d4，T_d4，W_d4)；

结合几何关系

和

求解得到：

p_di′(S_di，T_di，W_di)，1≤i≤4；

结合公式[p_d1，p_d2，p_d3，p_d4]＝H_3*3·[p_d1′，p_d2′，p_d3′，p_d4′]得到透视矩阵H_3*3；

将摄像机获取的被遮蔽对象的原始图像乘以透视矩阵H_3*3，以将原始图像转换为观察者视线里的图像。