CN1830216A - 适合于色盲的汽车用颜色补偿方法与装置 - Google Patents

Abstract

本发明涉及一种用于清楚地检测车前颜色信息的方法与装置，目的在于为色盲者(包括二色性色盲和异常三色性色盲)准确而有效地显示与颜色有关的交通信号(如交通信号灯)和物体的全部颜色信息。本发明提供了一种补偿由车前摄像机提供的视频帧数据的颜色的方法，其包括补偿由车前摄像机输出的外部环境(如外部颜色和亮度)的视频帧数据的步骤：选择用户优选的颜色范围；根据已经输入的或将要输入的用户色盲程度补偿视频帧数据的颜色；以及通过用户界面将外部情况(如车前情况)传输给用户，同时考虑用户的优先选择。

Description

适合于色盲的汽车用颜色补偿方法与装置

技术领域

本发明涉及一种用于清楚地检测车外颜色信息的方法与装置，更具体地说，涉及一种用于汽车的外部观察摄像机，其基于摄像机输入的视频数据的颜色内容并根据驾驶员的色盲程度、周围的亮度和色度来补偿视频数据的颜色。

背景技术

近来，随着半导体技术的发展，出现了许多廉价的数码摄像机，而且由于个人电脑(PC)和Internet的普及，这些摄像机被作为各种各样的观察摄像机使用。从传统建筑中的观察摄像机到普通家庭中的网络摄像机，观察摄像机的使用在不断增加。尤其是数码摄像机能以数字的形式存储视频帧数据，这使得数码摄像机的图像质量与传统模拟观察摄像机的图像质量相比有很大的改进，而且存储媒体的磁盘的价格在不断下降，因而加速了数码观察摄像机的普及。

之所以出现色盲这种情况，是因为眼睛视网膜中的视锥细胞无法履行其功能。大多数色盲者难于辨别或无法辨别原色域的一些特定部分，而这些部分对于正常人来说是可见的。如果色盲程度严重，则色盲者根本就看不到颜色。

全世界大约有8％以上的人是色盲者。特别是在北美和欧洲，色盲是一种非常普遍的缺陷，色盲者的人数占总人口数的比例高达10％以上。色盲可分为完全色盲和部分色盲，而部分色盲又可分为二色性色盲和异常三色性色盲。

二色性色盲者不具有三种视锥细胞(L、M和S视锥细胞)之一。相应地，二色性色盲者仅通过两种色度来辨别可见光波长范围内的所有颜色。根据其所缺少的视锥细胞类型，可将二色性色盲分为红色盲(缺少L视锥细胞)、绿色盲(缺少M视锥细胞)和蓝色盲(缺少L视锥细胞)。

异常三色性色盲者具有所有三种视锥细胞，但其中一种视锥细胞不能正常发挥作用。视锥细胞之所以不能正常发挥作用，是因为视锥细胞的波长敏感性转移，或者对敏感性的反应度有所下降。虽然视锥细胞异常，但三种视锥细胞仍然存在，因此，异常三色性色盲者可以辨别可见光波长范围内的大部分颜色。异常三色性色盲的严重程度取决于波长敏感性的转移度和反应度，异常三色性色盲程度越严重，不可辨别的颜色的范围就变得越宽。与二色性色盲一样，根据异常视锥细胞的类型，也可将异常三色性色盲分为红色弱、绿色弱和蓝色弱。

大多数色盲者属于红色弱/绿色弱/红色盲/绿色盲，其大约占到总色盲者人数的90％。目前还没有治愈色盲的方法，并且红色弱、绿色弱、红色盲和绿色盲具有遗传性，这样孩子就从父母身上继承了红色弱、绿色弱、红色盲和绿色盲，因此总会存在一定比例的色盲者。

当色盲者驾驶汽车时，由于周围环境和色盲特征，因此他们难于辨别颜色。特别地，红绿色盲者(二色性色盲/异常三色性色盲)在辨别交通信号灯颜色时存在很大困难。红绿色盲者辨别不清交通信号灯的红、橙、黄和绿颜色。由于当前的交通信号灯系统没有为色盲者提供任何辨别交通信号灯颜色的方法，因此急需开发一种能够实际应用的技术。此外，还存在其他麻烦，其中包括色盲驾驶员无法辨别其他车辆和建筑物的颜色，因此就不能接收各种相关信息。

对于帮助色盲者清楚地辨别颜色的传统技术，其方法是佩戴有色眼镜来过滤掉特定波长范围内的颜色。当色盲者佩戴有色眼镜驾车时，此方法能够使其清楚地辨别颜色。但是，此方法存在这样的问题，在正常情况下对于色盲者可见的颜色可能会有不同的感觉，而且该方法还有一个不利之处，其很难考虑到异常三色性色盲的不同严重程度。

此外，还存在一种技术，其通过卫星检测交通信号灯的位置，并使用字符提供交通信号灯的颜色。此方案在检测复杂区域(例如城镇中心地区)交通信号灯的准确位置以及操作准确性方面具有一定的局限性，并且该系统存在成本高，难度大的问题。另外，此方案的局限性还在于，当驾驶员希望检测前面车辆或周围建筑物的颜色时，无法使用此方案进行测量。

发明内容

相应地，为了解决上述问题而提出了本发明，本发明的一个目的是，提供一种方法与装置，其使色盲汽车驾驶员能够辨别交通信号灯和物体的外部颜色。

此外，本发明的另一目的是，提供一种颜色补偿方法与装置，其基于色盲者的色盲程度、外部亮度、外部颜色以及与外部物体颜色相关的内容来进行颜色补偿。

为了达到上述目的，本发明允许将数码摄像机安装在汽车上，并将周围的视觉信息转换为数字视频数据。相应地，它不仅能够显示交通信号灯，而且能够显示周围环境的视觉信息，而这些都是色盲驾驶员在驾驶时必须注意的。颜色补偿是通过对获取的数字视频数据的颜色进行分析，将其转换为数字信号，并根据视频数据内容的颜色来进行的，具体取决于色盲驾驶员的色盲特征、外部环境(外部亮度和外部颜色)以及显示装置的特性。

根据本发明的一个方面，从汽车的外部摄像机接收视频帧数据并为色盲者补偿颜色的方法包括以下步骤：从由外部摄像机输入的数字视频帧数据提取颜色信息R、G和B；根据视频帧数据测量外部亮度和颜色；选择用户优选的颜色范围；通过输入测量的外部亮度和颜色、用户优选的颜色范围和驾驶员的色盲程度对颜色进行补偿；基于用户优先选择并根据颜色补偿的结果显示颜色信息。

此外，根据本发明的另一方面，在执行该颜色补偿方法中选择用户优选的颜色范围的步骤时，需要考虑如下事项：选择要显示的颜色范围；放大相关物体；通过语音提供颜色信息。

此外，根据本发明的又一方面，在执行该颜色补偿方法中为色盲驾驶员进行颜色补偿的步骤时，需要使用外部亮度、外部颜色、用户优选的颜色范围和驾驶员的色盲程度作为变量。

此外，根据本发明的又一方面，从汽车的外部摄像机接收视频帧数据并自动为车内的异常三色性色盲者进行颜色补偿的装置包括：根据由外部摄像机输入的数字视频帧数据测量外部亮度和颜色的工具；选择用户优选的颜色范围的工具；根据输入或测量的驾驶员色盲程度、外部亮度、外部颜色和优选的颜色范围进行颜色补偿的工具；以及基于用户优先选择并根据颜色补偿的结果显示颜色信息的工具。

此外，根据本发明的又一方面，从汽车的外部摄像机接收视频帧数据的外部观察摄像机系统进一步包括用于色盲者的颜色补偿装置，其具有：根据从外部摄像机输入的数字视频帧数据测量外部亮度和颜色的工具；选择用户优选的颜色范围的工具；根据输入或测量的驾驶员色盲程度、外部亮度、外部颜色和优选的颜色范围进行颜色补偿的工具；以及基于用户优先选择并根据颜色补偿的结果显示颜色信息的工具。

如上所述，当色盲驾驶员希望辨别与颜色有关的交通信号(如交通信号灯)和车外物体的颜色时，可以通过本发明的颜色补偿方法与装置来准确地检测各种颜色。此外，根据本发明，不管色盲驾驶员的色盲程度以及外部环境(如外部亮度和颜色)如何，他们都可以准确地辨别各种颜色。

附图说明

图1显示了一个安装在汽车上的根据本发明的颜色补偿装置的示例；

图2的方块图显示了根据本发明的用于补偿颜色的系统的构造；

图3是根据本发明的视频帧颜色补偿引擎的方块图；

图4的流程图显示了根据本发明的视频帧颜色补偿过程；

图5显示了包含参考图像块的观察图像的示例。

具体实施方式

下面参照附图详细说明本发明的实施例。在附图中，始终用相同的参考编号表示不同附图中的相同或相似构件。

图1显示了一个车前观察系统的示例，其中，根据本发明的用于色盲驾驶员的外部颜色观察系统安装在汽车上。在图1的示例中，最终的颜色信息通过监视器或扬声器传递给色盲驾驶员。

图2的方块图显示了用于汽车的观察摄像机颜色补偿系统的构造。在图2中，在步骤100，摄像机视频帧输入单元从数码摄像机读取视频帧数据。同时，在步骤200，摄像机视频帧输入单元接收驾驶员的色盲程度。如果没有输入，则用以前确定的色盲程度代替驾驶员的色盲程度。在步骤300，视频帧数据输入到外部环境条件计算单元，并测量外部亮度和颜色，然后，在步骤500，根据测量结果在颜色补偿单元进行色盲驾驶员的颜色补偿。在此情况下，根据驾驶员输入的优选颜色范围进行颜色补偿。最后，在步骤400，根据放大倍数和驾驶员的优先选择进行颜色补偿，在步骤600，将其最终颜色经过补偿的视频显示在屏幕上。

图3的方块图显示了根据本发明实施例的适合于色盲驾驶员的颜色补偿引擎。请参照图3，颜色补偿引擎包括六个部分。首先，在步骤510，从输入视频帧数据提取红(R)、绿(G)和蓝(B)颜色，然后，在步骤520和525，从输入视频数据提取外部亮度信息和外部颜色。在此情况下，根据从输入视频数据的参考图像块中分离的R、G和B颜色信息计算外部亮度，并且通过计算参考图像块上R、G和B的平均值来获得外部颜色。此后，在步骤530，对该颜色进行补偿，以将其调整到驾驶员优选的颜色范围。接着，在步骤540，通过输入上述提取的外部亮度和外部颜色以及优选颜色范围和驾驶员的色盲程度来进行色盲驾驶员的颜色补偿。在此情况下，当在步骤550显示经过颜色补偿的视频和在步骤600显示颜色信息时，将考虑驾驶员的优先选择。

图4的流程图显示了根据本发明实施例的视频帧颜色补偿过程。请参照图4，在步骤100，由数码摄像机读取视频帧数据。在步骤510，从输入数据分离颜色R、G和B。如图5所示，参考图像块位于视频屏幕的侧部或下部。在步骤520，根据图像块上的颜色R、G和B计算外部亮度。所计算的上述外部亮度可以用等式1表示：

${W|}_{\mathrm{external\; brightness}}=\frac{1}{\mathrm{number\; of\; pixels\; of\; reference\; image\; piece}}$

$\×\underset{(x,y)\∈\mathrm{referenceimage\; piece}}{\mathrm{\Σ}}\left\{\frac{R(x,y)+G(x,y)+B(x,y)}{3}\right\}\·\·\·\left(1\right)$

其中，W|_{external brightness}表示图像块上指定的外部亮度，(x，y)表示二维空间中视频像素的位置。如等式1所示，外部亮度是通过测量参考图象块的亮度计算出来的。同时，为了进行一致的颜色补偿，选择参考外部亮度W|_{reference brighgtness}，并且在进行颜色补偿时考虑此参考亮度。可以根据外部参考颜色计算外部参考亮度。

${w|}_{\mathrm{reference\; brightness}}=\frac{{R|}_{\mathrm{reference\; color}}+{G|}_{\mathrm{reference\; color}}+{B|}_{\mathrm{reference\; color}}}{3}\·\·\·\left(2\right)$

如下所述，在步骤525，根据外部亮度W|_{external brightness}和参考亮度W|_{reference brightness}进行颜色补偿。

首先，利用等式3计算输入视频的像素的亮度：

$W(x,y)=\frac{R(x,y)+G(x,y)+B(x,y)}{3}$ $\·\·\·$ $\left(3\right)$

其中，(x，y)表示观察视频帧的像素的位置。

然后，用齐次矩阵表示其亮度经过补偿的R1、G1和B1信号，如等式4所示：

$\left[\begin{array}{c}R1(x,y)\\ G1(x,y)\\ B1(x,y)\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{{W|}_{\mathrm{reference\; brightness}}}{W(x,y)}& 0& 0& 0\\ 0& \frac{{W|}_{\mathrm{reference\; brightness}}}{W(x,y)}& 0& 0\\ 0& 0& \frac{{W|}_{\mathrm{reference\; brightness}}}{W(x,y)}& 0\\ 0& 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}R(x,y)\\ G(x,y)\\ B(x,y)\\ 1\end{array}\right]\·\·\·\left(4\right)$

同时，在步骤525，还可以根据图像块计算外部颜色。如果假定图像块的R、G和B颜色的平均值为外部颜色，则外部颜色可以用等式5表示：

$\left[\begin{array}{c}{R}_{\mathrm{externalcolor}}\\ G_{\mathrm{externalcolor}}\\ B_{\mathrm{externalcolor}}\end{array}\right]=\frac{1}{\mathrm{number\; of\; pixels\; of\; referenceimage\; piece}}\×\left[\begin{array}{c}\underset{(x,y)\∈\mathrm{referenceimage\; piece}}{\mathrm{\Σ}}R(x,y)\\ \underset{(x,y)\∈\mathrm{referenceimage\; piece}}{\mathrm{\Σ}}G(x,y)\\ \underset{(x,y)\∈\mathrm{referenceimage\; piece}}{\mathrm{\Σ}}B(x,y)\end{array}\right]\·\·\·\left(5\right)$

其中，R_{external color}，G_{external color}和B_{external color}分别表示外部颜色的R、G和B值。作为参考，图像块的亮度为在等式1中定义的W|_{external brightness}

为了对外部颜色进行一致的颜色补偿，可以进行颜色补偿以获得等式2中所示的参考颜色。对于根据参考颜色进行的颜色补偿，比较外部颜色与参考颜色之间的差值，并计算R、G和B的像素差值，得到如下所示的等式6：

$\mathrm{\ΔR}(x,y)=\frac{W(x,y)}{{W|}_{\mathrm{external\; brightness}}}({R|}_{\mathrm{external\; color}}-{R|}_{\mathrm{reference\; color}})$

$\mathrm{\ΔG}(x,y)=\frac{W(x,y)}{{W|}_{\mathrm{external\; brightness}}}({G|}_{\mathrm{external\; color}}-{G|}_{\mathrm{reference\; color}})$

$\mathrm{\ΔB}(x,y)=\frac{W(x,y)}{{W|}_{\mathrm{external\; brightness}}}({B|}_{\mathrm{external\; color}}-{B|}_{\mathrm{reference\; color}})\·\·\·\left(6\right)$

接着，用齐次矩阵表示外部颜色已经过补偿的R2、G2和B2信号，如等式7所示：

$\left[\begin{array}{c}R2(x,y)\\ G2(x,y)\\ B2(x,y)\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& \mathrm{\ΔR}(x,y)\\ 0& 1& 0& \mathrm{\ΔG}(x,y)\\ 0& 0& 1& \mathrm{\ΔB}(x,y)\\ 0& 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}R1(x,y)\\ G1(x,y)\\ B1(x,y)\\ 1\end{array}\right]\·\·\·\left(7\right)$

然后，在步骤530，选择用户设置的颜色范围，并对颜色(具体取决于选择)进行量化，如等式8所示：

$\left[\begin{array}{c}R3(x,y)\\ G3(x,y)\\ B3(x,y)\\ 1\end{array}\right]=\mathrm{round}\left[\begin{array}{cccc}\frac{1}{\mathrm{Qstep}\_R}& 0& 0& 0\\ 0& \frac{1}{\mathrm{Qstep}\_G}& 0& 0\\ 0& 0& \frac{1}{\mathrm{Qstep}\_B}& 0\\ 0& 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}R2(x,y)\\ G2(x,y)\\ B2(x,y)\\ 1\end{array}\right]\·\·\·\left(8\right)$

其中，

和

分别表示R、G和B的量化级，round()表示取整函数。最终使用的颜色范围通过控制颜色的量化级来确定。如果使用窄的颜色范围，各种颜色(颜色轮廓)就可以彼此非常清楚地区分开来，从而有助于色盲者辨别不同的颜色。通过控制颜色范围并因而改变颜色轮廓，可以提高辨色能力，具体取决于色盲程度。

随后，在步骤540，输入驾驶员的色盲特征信息。如果驾驶员在步骤541输入新的色盲信息，则使用这一新的信息。如果在步骤542没有输入信息，则使用驾驶员以前使用的色盲信息。

色盲特征信息如表1所示。表示异常三色性色盲程度的数值分别定义为与红色弱/红色盲、绿色弱/绿色盲和蓝色弱/蓝色盲相关的d_R，d_G和d_B。

表1

医学术语	色盲特征
			色盲类型	色盲程度的数字表示(d)
	红色弱	红色障碍			0.1至0.9
红色盲			红色障碍	1.0

绿色弱	绿色障碍	0.1至0.9
			绿色盲	绿色障碍	1.0
蓝色弱	蓝色障碍	0.1至0.9
			蓝色盲	蓝色障碍	1.0

色盲驾驶员的最终颜色感觉特点既取决于驾驶员的色盲特征，又取决于驾驶员的显示装置特性。人们通过三种类型的视锥细胞来感觉颜色的波长，颜色的特征可以显示在L、M和S空间中。如果通过显示装置(如监视器)感觉颜色，则必须考虑监视器的R、G和B特性。考虑到显示装置的波长特性，用等式9表示可以通过人们的L、M和S视锥细胞感觉的颜色数量：

L_R＝∫k_lL(λ)R(λ)dλ

L_G＝∫k_lL(λ)G(λ)dλ

L_B＝∫k_lL(λ)B(λ)dλ

M_R＝∫k_mM(λ)R(λ)dλ

M_G＝∫k_mM(λ)G(λ)dλ

M_B＝∫k_mM(λ)B(λ)dλ

S_R＝∫k_sS(λ)R(λ)dλ

S_G＝∫k_sS(λ)G(λ)dλ

S_B＝∫k_sS(λ)B(λ)dλ                              (9)

在此情况下，如果在步骤541和542输入色盲者(而非正常人)的色盲特征，则色盲者的视锥细胞的反应与正常人的不同。如果色盲者红色弱，且红色弱程度为d_R，则可以用p(d_R)和q(d_R)函数表示视锥细胞的反应。等式10表示红色盲及L视锥细胞异常的情况。而M和S视锥细胞的情况通常与等式9相似。

$L_R^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_G^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_B^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}\·\·\·\left(10\right)$

其中，p(d_R))表示L视锥细胞异常反应度，q(d_R)表示L视锥细胞对波长的异常反应。

对于绿色盲及色盲程度为d_s的情况，M视锥细胞的反应可以用等式11表示。而L和S视锥细胞的情况通常与等式9相似。

$M_R^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_G^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_B^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}\·\·\·\left(11\right)$

其中，p(d_G)表示M视锥细胞异常反应度，q(d_G)表示M视锥细胞对波长的异常反应。

对于蓝色盲及色盲程度为d_B的情况，S视锥细胞的反应可以用等式12表示。而L和M视锥细胞的情况通常与等式9相似。

$S_R^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_G^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_B^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}\·\·\·\left(12\right)$

其中，p(d_B)表示S视锥细胞异常反应度，q(d_B)表示S视锥细胞对波长的异常反应。

根据等式10至12，对不能辨别的颜色的补偿过程如下所述。首先，通过等式13对色盲程度为d_R的红色盲进行颜色补偿：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R^{\mathrm{color\; blindness}}& L_G^{\mathrm{color\; blindness}}& L_B^{\mathrm{color\; blindness}}& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}R3(x,y)\\ G3(x,y)\\ B3(x,y)\\ 1\end{array}\right]\·\·\·\left(13\right)$

其中，第一个LMS反应矩阵表示对色盲的补偿，第二个矩阵是将颜色空间从RGB更改为LMS的矩阵。

接着，通过等式14对色盲程度为d_G的绿色盲进行颜色补偿：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R^{\mathrm{color\; blindness}}& M_G^{\mathrm{color\; blindness}}& M_B^{\mathrm{color\; blindness}}& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 0\end{array}\right]\×\left[\begin{array}{c}R3(x,y)\\ G3(x,y)\\ B3(x,y)\\ 1\end{array}\right]\·\·\·\left(14\right)$

然后，通过等式15对色盲程度为d_B的蓝色盲进行颜色补偿：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R^{\mathrm{color\; blindness}}& S_G^{\mathrm{color\; blindness}}& S_B^{\mathrm{color\; blindness}}& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 0\end{array}\right]\×\left[\begin{array}{c}R3(x,y)\\ G3(x,y)\\ B3(x,y)\\ 1\end{array}\right]\·\·\·\left(15\right)$

在步骤545，用等式16表示最终的颜色补偿，其中考虑到外部亮度、外部颜色、用户选择的颜色范围以及驾驶员的色盲信息：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R^{\mathrm{color\; blindness}}& L_G^{\mathrm{color\; blindness}}& L_B^{\mathrm{color\; blindness}}& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×\begin{array}{c}\end{array}$

其中，R(x，y)、G(x，y)和B(x，y)表示由外部摄像机输入的颜色信号，R4(x，y)、G4(x，y)和B4(x，y)表示通过补偿驾驶员的色盲得到的最终颜色值。等式16表示对红色盲的补偿，等式17与18分别表示对绿色盲和蓝色盲的补偿。

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R^{\mathrm{color\; blindness}}& M_G^{\mathrm{color\; blindness}}& M_B^{\mathrm{color\; blindness}}& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×\begin{array}{c}\end{array}$

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]=\begin{array}{c}\end{array}{\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R^{\mathrm{color\; blindness}}& S_G^{\mathrm{color\; blindness}}& S_B^{\mathrm{color\; blindness}}& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×\begin{array}{c}\end{array}$

在等式16至18中，由于二色性色盲的情况属于缺少L、M和S视锥细胞，因此相应的值为零。对于这种补偿，将L、M和S设置为较小的特定常数值而非零值，并对等式进行计算。

上述对色盲进行的颜色补偿是在视频上进行的，在显示视频之前，在步骤550中要考虑与显示有关的驾驶员的优先选择。特别地，当驾驶员希望辨别交通信号灯或车前特定物体的颜色时，应该包括用于放大交通信号灯或车前特定物体的功能，以及所选颜色的语音服务。特定物体的放大功能是通过如下方式实现的，即，在步骤600，驾驶员选择一种物体，并且以软件图像放大或硬件图像放大的方式将物体放大。

此外，颜色语音服务是一种使用语音合成(TTS)技术的服务，其通过如下方式实现：即，在步骤600，从帧屏幕获取驾驶员指定的物体的颜色，然后使用TTS技术将该颜色转换为字符。

给出上述实施例的目的在于使本领域的技术人员能够容易地理解本发明，而不是限制本发明的范围。相应地，本领域的技术人员应了解，可以在不超出本发明的范围的情况下进行各种修改和改变。原则上，本发明的范围由所附的权利要求书限定。

如上所述，根据本发明，当色盲驾驶员辨别交通信号(如交通信号灯)和车外物体的颜色时，通过使用本发明的颜色补偿方法与装置，可以准确地辨别各种颜色。此外，根据本发明，具有不同色盲程度的驾驶员可以准确地判断外部环境的颜色(如外部亮度和色调)。

Claims (14)

1.从车外的摄像机接收视频帧数据并自动为车内的异常三色性色盲者进行视频帧数据颜色补偿的颜色补偿方法包括以下步骤：

从数码观察摄像机提取数字视频帧数据；

根据提取的视频帧数据计算外部环境条件；

接收色盲驾驶员的色盲特征；

接收色盲驾驶员的优先选择；

根据外部环境条件和输入信息进行视频帧数据颜色补偿；

根据色盲驾驶员的优先选择显示最终经过补偿的颜色。

2.如权利要求1所述的方法，其中，计算外部环境条件的步骤按照如下方式执行，即，从视频帧数据提取外部环境的亮度和颜色，并将其传输到颜色补偿单元。

3.如权利要求1所述的方法，其中，接收色盲特征的步骤按照如下方式执行，即，接收色盲的类型和程度，显示色盲的类型，并用函数p和q表示与颜色相关的视锥细胞的异常程度，如下所示：

对于红色盲：

$L_R^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_G^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_B^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

对于绿色盲：

$M_R^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_G^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_B^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

对于蓝色盲：

$S_R^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_G^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_B^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

4.如权利要求1所述的方法，其中，接收驾驶员的优先选择的步骤包括以下步骤：

量化色盲驾驶员优选的颜色范围，并设置一定的颜色范围，以使驾驶员能够清楚地辨别不同的颜色；

当驾驶员希望辨别交通信号灯或外部环境的颜色时，放大驾驶员希望详细显示的物体部分；

读取相应物体的颜色，并将相关颜色转换为字符，同时通过语音合成(TTS)技术用语音表示字符。

5.如权利要求2所述的方法，其中，提取外部环境的亮度和颜色的步骤按照如下方式执行，即，将部分视频帧屏幕设置为参考图像块，并根据参考图像测量外部亮度和颜色。

6.如权利要求5所述的方法，其中，通过参考图像块进行颜色补偿的步骤按照如下方式执行，即，根据参考亮度和颜色与外部亮度和颜色之间的差异校准色调，参考亮度和颜色是以前根据参考图像块测量的，并存储在日光条件中，而外部亮度和颜色是在计算外部环境的步骤中计算出来的。

7.根据权利要求1所述的方法，其中：

视频帧数据颜色补偿步骤包括如下所有步骤：根据输入外部环境条件进行颜色补偿；通过根据用户优选的颜色范围补偿提取的视频帧数据的RGB颜色进行颜色补偿；根据驾驶员输入的色盲特征进行颜色补偿；

其中，对于二色性色盲，在执行颜色补偿的步骤时，将L、M和S的值设置为较小的特定常数值而非零值；

其中，使用以下等式之一执行颜色补偿步骤：

对于红色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R^{\mathrm{color\; blindness}}& L_G^{\mathrm{color\; blindness}}& L_B^{\mathrm{color\; blindness}}& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

对于绿色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R^{\mathrm{color\; blindness}}& M_G^{\mathrm{color\; blindness}}& M_B^{\mathrm{color\; blindness}}& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

对于蓝色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R^{\mathrm{color\; blindness}}& S_G^{\mathrm{color\; blindness}}& S_B^{\mathrm{color\; blindness}}& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

8.通过车外摄像机接收视频帧数据并自动为车内的异常三色性色盲者进行颜色补偿的颜色补偿系统包括：

提取输入数码观察摄像机的数字视频帧数据的工具；

根据提取的视频帧数据计算外部环境条件的工具；

接收色盲驾驶员的色盲特征的工具；

接收色盲驾驶员的优先选择的工具；

根据外部环境条件和输入信息进行视频帧数据颜色补偿的工具；

根据色盲驾驶员的优先选择显示最终经过补偿的颜色的工具。

9.如权利要求8所述的颜色补偿系统，其中，用于计算外部环境条件的工具从提取的视频帧数据提取外部环境的亮度和颜色，并将亮度和颜色传输到颜色补偿单元。

10.如权利要求8所述的颜色补偿系统，其中，用于接收色盲特征的工具接收色盲的类型和程度，并显示色盲的类型，同时使用函数p和q显示与颜色有关的视锥细胞的异常程度，如下所示：

对于红色盲：

$L_R^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_G^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$L_B^{\mathrm{color\; blindness}}=\∫p\left(d_R\right)L(\mathrm{\λ}-q\left(d_R\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

对于绿色盲：

$M_R^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_G^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$M_B^{\mathrm{color\; blindness}}=\∫p\left(d_G\right)M(\mathrm{\λ}-q\left(d_G\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

对于蓝色盲：

$S_R^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))R\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_G^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))G\left(\mathrm{\λ}\right)\mathrm{d\λ}$

$S_B^{\mathrm{color\; blindness}}=\∫p\left(d_B\right)S(\mathrm{\λ}-q\left(d_B\right))B\left(\mathrm{\λ}\right)\mathrm{d\λ}$

11.如权利要求8所述的颜色补偿系统，其中，用于接收驾驶员的优先选择的工具包括：

量化色盲驾驶员优选的颜色范围，并设置一定的颜色范围，以使驾驶员能够清楚地辨别不同颜色的工具；

当驾驶员希望辨别交通信号灯或外部环境的颜色时，放大驾驶员希望详细显示的物体部分的工具；

以及读取相应物体的颜色，并将颜色转换为字符，同时使用语音合成(TTS)技术以语音形式表示字符的工具。

12.如权利要求9所述的颜色补偿系统，其中，用于提取外部环境的亮度和颜色的工具将部分视频帧屏幕设置为参考图像块，并根据参考图像测量外部亮度和颜色。

13.如权利要求8所述的颜色补偿系统，其中，用于视频帧数据颜色补偿的工具包括如下所有工具：根据测量的外部环境条件进行颜色补偿的工具；通过根据用户优选的颜色范围补偿提取的视频帧数据的RGB颜色进行颜色补偿的工具；以及根据驾驶员输入的色盲特征进行颜色补偿的工具；

其中，对于二色性色盲，在执行颜色补偿的步骤时，将L、M和S的值设置为较小的特定常数值而非零值；

其中，使用以下等式之一执行颜色补偿步骤：

对于红色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R^{\mathrm{color\; blindness}}& L_G^{\mathrm{color\; blindness}}& L_B^{\mathrm{color\; blindness}}& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

对于绿色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R^{\mathrm{color\; blindness}}& M_G^{\mathrm{color\; blindness}}& M_B^{\mathrm{color\; blindness}}& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

对于蓝色盲：

$\left[\begin{array}{c}R4(x,y)\\ G4(x,y)\\ B4(x,y)\\ 1\end{array}\right]={\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R^{\mathrm{color\; blindness}}& S_G^{\mathrm{color\; blindness}}& S_B^{\mathrm{color\; blindness}}& 0\\ 0& 0& 0& 1\end{array}\right]}^{-1}\×\left[\begin{array}{cccc}{L}_R& L_G& L_B& 0\\ M_R& M_G& M_B& 0\\ S_R& S_G& S_B& 0\\ 0& 0& 0& 1\end{array}\right]\×$

14.连接到外部摄像机的汽车颜色观察系统包括：

根据外部亮度和颜色补偿从观察摄像机输入的视频帧数据的颜色的工具；

根据色盲驾驶员的色盲特征进行颜色补偿的工具；

根据色盲驾驶员的优先选择进行颜色补偿的工具；

根据用户优先选择通过监视器或扬声器接收外部物体的颜色信息的工具。

Images