CN111066080B

CN111066080B - 汽车显示验证

Info

Publication number: CN111066080B
Application number: CN201880055336.4A
Authority: CN
Inventors: A·杜贝; P·拉巴齐维茨; A·兰金
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 2017-09-05
Filing date: 2018-09-05
Publication date: 2023-02-28
Anticipated expiration: 2038-09-05
Also published as: US20190075290A1; US20220174268A1; CN111066080A; US11284062B2; WO2019050919A1

Abstract

一种方法，包括：由片上系统(SoC)从安装在车辆上的相机接收(314)第一图像；以及由SoC通过接口缆线将第一图像传输(304)到显示电路。该方法还包括由SoC从显示电路接收(306)与第一图像相对应的反馈签名。而且，该方法包括：响应于确定(308)反馈签名与传输侧签名不匹配，由SoC检测(312)错误；以及响应于确定(308)反馈签名与传输侧签名匹配，由SoC将第二图像传输(310)到显示电路。

Description

汽车显示验证

技术领域

本发明总体上涉及用于汽车显示的系统和方法，并且更具体地涉及用于汽车显示验证的系统和方法。

背景技术

许多应用涉及安全关键的显示。例如，数字集群的基本信号和迹象(telltales)对安全关键。而且，在先进的安全功能和驾驶员辅助应用的推动下，汽车行业正在增加与汽车驾驶员共享的信息量。驾驶员辅助应用的示例包括后置相机应用、环视相机应用以及侧视和后视镜更换应用。驾驶员辅助应用涉及将由相机捕获的安全关键视频录像和其他信息显示到显示器，以供汽车驾驶员查看。该显示可以包括添加到视频的附加信息，诸如停车应用中的停车线。

发明内容

一种示例方法包括：由片上系统(SoC)从安装在车辆上的相机接收第一图像；以及由SoC通过接口缆线将第一图像传输到显示电路。该方法还包括由SoC从显示电路接收与第一图像相对应的反馈签名。而且，该方法包括：响应于确定反馈签名与传输侧签名不匹配，由SoC检测错误；以及响应于确定反馈签名与传输侧签名匹配，由SoC将第二图像传输到显示电路。

示例汽车显示系统包括显示电路。显示电路包括被配置为通过接口缆线从SoC接收图像的接口以及耦合到该接口的帧随机存取存储器(RAM)。帧RAM被配置为存储图像。显示电路还包括耦合到帧RAM的发光二极管(LED)驱动器以及耦合到帧RAM的签名生成器，该LED驱动器被配置为在显示器上显示图像。签名生成器被配置为基于图像生成反馈签名，并将反馈签名传输到SoC。

示例电路包括直方图生成电路。直方图生成电路包括B个二进制数的第一配置寄存器二进制数阈值，其中B为大于1的整数，以及第二配置寄存器，其指示图像的一部分。直方图生成电路还包括耦合到第一配置寄存器和第二配置寄存器的M路比较器。M路比较器被配置为生成该部分图像的M个直方图，M个直方图包含N个二进制数，其中M为大于1的整数。直方图合并电路被配置为基于M个直方图生成输出直方图，该输出直方图包含N个二进制数。

附图说明

图1示出了示例汽车显示系统。

图2示出了由片上系统(SoC)执行的汽车显示验证的示例方法的流程图。

图3示出了由显示电路执行的汽车显示验证的示例方法的流程图。

图4示出了示例汽车显示验证系统。

图5示出了另一示例汽车显示验证系统。

图6示出了附加示例汽车显示验证系统。

图7示出了另一示例汽车显示验证系统。

图8示出了附加示例汽车显示验证系统。

图9示出了示例直方图生成电路。

图10示出了示例直方图比较电路。

具体实施方式

在汽车应用中向驾驶员显示信息有助于驾驶员基于高质量信息做出决策。然而，这种显示对所显示的内容提出了严格的安全要求。安全要求确保以下安全目标：显示正确的安全关键数据、帧未部分或完全冻结以及图像帧满足安全关键等待时间要求。对于汽车显示系统来说，期望保证准确性，诸如使用汽车显示验证。

图1示出了汽车显示系统100，其包括相机102、片上系统(SoC)104、显示电路114和显示器126。在示例中，相机102被安装在诸如汽车或卡车的车辆上。相机102可以为电荷耦合器件(CCD)视频相机或互补金属氧化物半导体(CMOS)视频相机，并且可以面向任何方向。在一个实施例中，车辆包含面向多个方向的多个相机。

SoC 104从相机102接收视频数据。在实施例中，SoC 104为由德克萨斯仪器有限公司生产的TDAx^TM驾驶员辅助芯片。SoC 104(可以位于相机102附近)包含处理器，诸如图像信号处理器(ISP)103、中央处理单元(CPU)106和数字信号处理器(DSP)108。图示了三个处理器，但是SoC 104可以包括多个CPU、多个DSP或其他处理器，诸如一个或多个嵌入式视觉引擎(EVE)处理器。ISP 103处理从相机102接收到的原始数据。CPU 106和DSP 108对从相机102接收到的视频数据执行处理。SoC 104还包括显示子系统(DSS)110，其将由CPU 106和DSP 108处理的视频数据输出到显示电路114。在实施例中，在处理期间验证DSS的视频输出数据。

SoC 104通过接口缆线112耦合到显示电路114。接口缆线112可以为以太网缆线、低压差分信号(LVDS)缆线、高清多媒体接口(HDMI)缆线或另一种缆线类型。接口缆线112可以为几米长。例如，接口缆线112的一端可以在卡车的后部，并且另一端在卡车的驾驶室内部。

显示电路114包括接口116、帧随机存取存储器(RAM)118、显示控制器120、段发光二极管(LED)驱动器122和公共LED驱动器124。在一个实施例中，显示电路114为印刷电路板(PCB)。接口116通过接口缆线112接收从SoC 104传输的视频信号。帧RAM 118存储视频帧以显示给用户，诸如驾驶员。此外，显示控制器120通过发信号通知段LED驱动器122和公共LED驱动器124来控制显示。段LED驱动器122和公共LED驱动器124经由显示器126将视频流显示给用户，显示器126可以为LED显示器。期望验证在全部或部分接口缆线112之后，在显示电路114处或在显示器126处发生的传输路径中的位置处的显示。

示例汽车显示验证系统检测汽车显示中的错误，诸如冻结帧和不良像素数据，以确保安全关键的汽车应用。一些实施例使用验证整个显示的精确的汽车显示验证方法。其他实施例使用考虑显示的一部分的汽车显示验证的近似统计方法。在实施例中，硬件电路用于即时生成直方图。

图2示出了由传输侧SoC执行的汽车显示验证的示例方法的流程图300。在框314中，SoC从相机接收视频图像。相机可以指向任何方向，安装在诸如汽车的车辆上。在实施例中，SoC在物理上靠近相机。

在框316中，SoC对视频图像执行处理和分析，以生成处理后的图像。在框314中，诸如ISP的处理器对从相机接收到的视频图像执行图像处理。例如，处理器执行拜耳变换、去马赛克、降噪和/或图像锐化。在拜耳变换中，处理器基于拜耳滤波器指定的图案为每个像素确定RGB值。在去马赛克中，处理器评估像素的颜色和亮度数据，将颜色和亮度数据与相邻像素的颜色和亮度数据进行比较，并且使用去马赛克算法为像素生成合适的颜色和亮度值。处理器还可以整体访问图片，以确保正确的分布和对比度，诸如通过调整伽玛值。在降噪中，处理器将噪声从图像中分离出来，以去除噪声，诸如通过对图像进行滤波。在图像锐化中，使用边缘检测对边缘和轮廓进行锐化。可以执行图像锐化以补偿由于降噪而引入的图像软化。在一些实施例中，不执行框316。

在框302中，SoC为在框314中接收到的图像生成传输侧签名。框302可以由SoC的处理器(诸如DSP或CPU)执行。在一些实施例中，传输侧签名为时间戳、直方图、循环冗余校验(CRC)值、帧差签名或安全哈希算法(SHA)值。在帧差签名中，签名为两个连续帧之间的值差。例如，处理器可以确定两个连续帧的像素值之间的差的绝对值，并对这些绝对值差求和以确定帧差签名。在另一示例中，处理器确定两个连续帧的像素值之间的差的有符号值，并将这些有符号的差值相加，以生成帧差签名。处理器可以基于在框314中接收到的视频图像或者基于在框316中生成的处理后的图像来生成传输侧签名。在一些实施例中，处理器可以基于整个图像或基于图像的一部分来生成传输侧签名。在附加实施例中，处理器通过改变图像来生成传输侧签名。在一个实施例中，处理器将参考帧(诸如全黑帧或全白帧)添加到视频传输流。在其他实施例中，处理器以预定方式改变帧的一部分。例如，可以将白色或黑色像素的补丁添加到用户查看不到的图像的一部分。在其他实施例中，处理器将用户不可见的红外图案添加到图像。在附加实施例中，处理器从图像中选择伪随机块，并修改伪随机块。处理器可以在帧与帧之间改变用于选择伪随机块的伪随机图案的位置，以统计地覆盖整个显示区域的正确性。在一些示例中，处理器在生成传输侧签名之前调整图像的大小。在一些实施例中，不执行框302。在其他实施例中，处理器在传输图像之后或在存储图像之后执行框302。

在框304中，SoC将传输的图像传输到显示电路。传输的图像可以为在框314中接收到的视频图像或在框316中生成的处理后的图像。传输的图像可以由SoC的DSS通过接口缆线传输到显示电路的接口。在一些示例中，接口缆线(可以为几米长)为以太网缆线、LVDS缆线或HDMI缆线。在一些实施例中，不传输传输侧签名。在其他实施例中，SoC单独传输所传输的传输侧签名，或者SoC将传输侧签名与图像一起传输。

在框305中，SoC将传输的图像的副本存储在诸如RAM的存储器中。附加地或替代地，SoC将由框302生成的传输侧签名存储在存储器中。

在框306中，SoC从显示电路接收与框304中传输的图像相对应的反馈签名。反馈签名指示显示电路接收、处理或显示的图像的特性。在一个实施例中，SoC通过用于将传输图像传输到显示电路的相同接口缆线接收反馈签名。在另一个实施例中，单独的接口缆线用于接收反馈签名。在实施例中，反馈签名为CRC值、帧比较签名或SHA值。在一些实施例中，反馈签名为时间戳。在其他实施例中，反馈签名为图像。该图像(可以小于传输的图像)可以由监测显示的相机获得。在其他实施例中，在将图像发送到显示控制器之前，获得图像的解复用器提取全部或部分图像。在一些实施例中，传输的图像和/或反馈图像被调整大小以具有相同的缩放比例。在一些实施例中，反馈签名为由光传感器在图像的一部分上检测到的信号。

在框308中，SoC确定反馈签名是否与传输侧签名匹配。在一个实施例中，当反馈签名与传输侧签名相同时，反馈签名与传输侧签名匹配。在另一实施例中，当反馈签名与传输侧签名之间的差或绝对差之和小于阈值时，反馈签名与传输侧签名匹配。在一些实施例中，在反馈签名为反馈图像的情况下，SoC确定反馈图像是否与传输的图像匹配。当反馈签名与传输侧签名匹配时，SoC前进到框310，并确定不存在错误。相反，当反馈签名与传输的图像不匹配时，存在错误，并且SoC前进到框312。在一个实施例中，为了确定反馈签名是否与传输侧签名匹配，SoC将反馈签名与用于传输的或存储的图像的传输侧签名进行比较。当它们相似但不完全相同时(诸如，当传输侧签名与反馈签名之间的差小于预定义阈值时)，SoC确定传输侧签名与反馈签名匹配。在另一个实施例中，仅当传输侧签名与反馈签名完全相同时，SoC才确定它们匹配。在实施例中，为了确定反馈签名是否与传输侧反馈匹配，SoC对传输的图像和反馈图像执行分析，并比较结果。在一个实施例中，反馈签名为反馈图像，并且SoC为传输的图像和反馈图像生成拐角(corner)特征，并且比较拐角特征，以确定反馈签名是否与传输的图像匹配。在生成拐角特征之前，可以对图像中的一者或两者进行缩放，使得图像具有相同的缩放比例。在另一个实施例中，SoC为传输的图像以及反馈图像生成直方图，并且比较直方图，以确定反馈签名是否与传输的图像匹配。可以使用一个或多个直方图生成电路来生成直方图，并且可以使用直方图比较电路来比较直方图。在另一个示例中，软件生成并比较直方图。在一个实施例中，SoC基于预定模式将来自光传感器的值与期望值进行比较，以确定反馈签名是否与传输的图像匹配。

在框310中，SoC确定不存在错误，并继续将图像传输到显示电路。例如，SoC将另一个图像传输到显示电路。

在框312中，SoC确定存在错误，并改变传输。在实施例中，SoC停止将图像传输到显示控制器。附加地或可替代地，SoC可以向用户传输错误消息，该错误消息指示错误的性质。该错误消息可以指示该错误为冻结帧或像素错误。在一个实施例中，当SoC检测到错误时，使用第二显示器(诸如使用次级图像屏幕的较低分辨率的显示器)来代替初级图像屏幕。

图3示出了由显示电路执行的用于汽车显示验证的示例方法的流程图320。在框322中，显示电路的接口诸如通过接口缆线从传输侧SoC接收图像。

在框324中，显示电路将在框322中接收到的图像存储在帧RAM中。

在框326中，显示电路在用户(诸如可能正在驾驶车辆的用户)可见的显示器上显示存储在帧RAM中的图像。显示控制器可以控制段LED驱动器和公共LED驱动器以在显示器上显示图像。该显示器可以为位于用户附近的LED显示器。

在框328中，显示电路基于图像生成反馈签名。在一个实施例中，显示电路通过从帧RAM中提取图像并基于提取的图像生成反馈签名来生成反馈签名。反馈签名可以为CRC值、直方图、图像中嵌入的时间戳、连续帧之间的帧比较或其他签名(诸如SHA值)。在实施例中，显示电路生成时间戳作为反馈签名。在另一个实施例中，视频相机获得反馈签名并查看显示。在附加实施例中，位于显示器的特定区域中的光传感器生成反馈签名。在另一个示例中，解复用器生成反馈签名，诸如显示电路附近的接口缆线中的LVDS解复用器。

在框330中，显示电路将反馈签名传输到SoC。在一个实施例中，在框322中，在用于接收图像的相同接口缆线上传输反馈签名。在另一个示例中，使用单独的接口缆线。

图4示出了汽车显示验证系统130，其基于整个图像实现了汽车显示验证的方法。在一些实施例中，汽车显示验证系统130使用低带宽反馈签名。汽车显示验证系统130包括从显示电路140内到SoC 138的视频反馈113。SoC 138接收经由相机102和ISP 103捕获的图像。CPU 106和DSP 108处理接收到的图像。在一个实施例中，相机102安装在诸如汽车的车辆上。SoC 138使用DSS 110通过接口缆线112将图像传输到显示电路140。在一个实施例中，SoC 138上的时钟生成与图像相关联的时间戳。在一个实施例中，时间戳指示SoC 138传输图像的时间。在另一个实施例中，时间戳指示SoC 138接收图像的时间。SoC 138还可以将传输的图像的副本存储在可以为RAM的存储器139中。ISP 103对从相机102接收到的原始图像执行图像处理。例如，ISP 103执行拜耳变换、去马赛克、降噪或图像锐化。在拜耳变换中，ISP 103基于拜耳滤波器指定的图案为每个像素确定RGB值。在去马赛克中，ISP 103评估像素的颜色和亮度数据，将颜色和亮度数据与相邻像素的颜色和亮度数据进行比较，并且使用去马赛克算法为像素产生合适的颜色和亮度值。ISP 103还可以整体访问图片，以确保正确的分布和对比度，诸如通过调整伽玛值。在降噪方面，ISP 103将噪声从图像中分离出来，以去除噪声，诸如通过对图像进行滤波。在图像锐化中，ISP 103使用边缘检测来锐化边缘和轮廓。可以执行图像锐化以补偿由于降噪而引入的图像软化。

显示电路140在接口116处通过接口缆线112从SoC 138接收图像。在一个实施例中，显示电路140使用显示电路140上的时钟在到达时将时间戳添加到图像。帧RAM 118存储图像，图像也前进到显示控制器120。显示器126使用段LED驱动器122和公共LED驱动器124来显示来自帧RAM 118的图像。

签名生成器136从帧RAM 118提取图像，并生成反馈签名。反馈签名可以为CRC值、帧之间的比较或其他机制，诸如SHA值。在一个实施例中，签名生成器136从图像中提取时间戳。在另一个实施例中，签名生成器136生成时间戳。在一个实施例中，签名生成器136生成图像的直方图。在实施例中，签名生成器136由诸如CPU的处理器实现。然后，显示电路140将反馈签名113传输到SoC 138。在一个实施例中，接口缆线112传输反馈签名。在另一个示例中，诸如低吞吐量缆线的单独缆线传输反馈签名。

SoC 138从存储器139读取存储的图像。而且，在一些实施例中，签名生成器132为存储的图像生成传输侧签名。在实施例中，签名生成器132使用与签名生成器136相同的签名生成机制。在一些实施例中，存储器139存储传输侧签名。

签名比较器134将由传输的图像的签名生成器132生成的传输侧签名与由签名生成器136生成的反馈签名进行比较。在实施例中，签名比较器134将传输侧签名中的CRC值与反馈签名中的CRC值进行比较，并且当CRC值相同时，检测到匹配。在实施例中，签名比较器134将传输侧签名的时间戳与反馈签名的时间戳进行比较。在比较时间戳时，可以考虑图像传输的时滞以及SoC 138的时钟和显示电路140的时钟的异步特性。例如，签名比较器134从反馈时间戳中减去预定的传输时间值，以生成补偿后的时间戳。然后，签名比较器134确定补偿后的时间戳和传输侧时间戳之间的差。在实施例中，当补偿后的时间戳和传输侧时间戳在彼此的预定阈值内时，签名比较器134确定它们匹配，以考虑传输时间的变化。在一个实施例中，传输侧签名与反馈签名必须精确匹配以确定匹配。在另一个实施例中，当传输侧签名与反馈签名相似时，签名比较器134确定它们匹配，并且在它们不相似时确定不匹配，以考虑噪声。图像中相对少量的噪声不会构成安全威胁。然而，签名比较器134检测到严重的失配，诸如丢帧，这构成了安全威胁。签名比较器134可以将结果发送到DSS 110以控制进一步的图像传输。

例如，DSS 110可以在检测到错误时暂停图像传输，并且在确定不存在错误时继续图像传输。在一个实施例中，附加地或替代地，DSS 110将错误消息传输到显示电路114，以指示错误的性质或幅度。在一个实施例中，签名生成器132和签名比较器134在分开的处理器上实现。在其他实施例中，签名生成器132以及图章和签名比较器134在DSP 108或CPU106上实现。在另一个实施例中，DSS 110将错误帧传输到显示器，并通过诸如控制器局域网(CAN)总线、多通道音频串行端口(McASP)、串行外围设备接口(SPI)总线或接口缆线112的总线传输基本信号和迹象。基本信号和迹象可以为用户可感知的听觉或视觉消息。例如，警告灯或警报信号可以警告用户以显示错误。

图5示出了汽车显示验证系统170，其为基于考虑整个图像的汽车显示验证的方法。汽车显示验证系统170包括从在显示器126上训练的相机152到SoC 172的视频反馈153。在实施例中，汽车显示验证系统170为非侵入性的，并且不需要修改显示电路114。另外，汽车显示验证系统170监测实际上在显示器126上显示的图像。汽车显示验证系统170的优点在于显示电路114和显示器126可以类似于不具有显示验证的显示电路和显示器。

SoC 172从相机102接收图像，该相机102安装在诸如汽车的车辆上。SoC 172的处理器(诸如ISP 103、CPU 106和DSP 108)处理图像。DSS 110通过接口缆线112将处理后的图像传输到显示电路114。另外，诸如RAM的存储器139存储传输的图像。接口缆线112可以为以太网缆线、LVDS缆线或HDMI缆线。

在显示电路114中，接口116通过接口缆线112接收从SoC 104传输的图像。显示控制器120通过发信号通知段LED驱动器122和公共LED驱动器124来控制显示器126。而且，帧RAM 118存储视频帧以供显示。段LED驱动器122和公共LED驱动器124经由显示器126将视频显示给用户，显示器126可以为LED显示器。相机152监测显示的图像。相机152可以为CCD视频相机或CMOS视频相机。在一个实施例中，相机152具有比相机102低的分辨率。相机152将获取的图像作为图像反馈153反馈回SoC 172。在一个实施例中，图像反馈通过接口缆线112传输。在另一个示例中，图像反馈通过单独的缆线传输。

SoC 172从相机152接收图像。在SoC 172中，视频缩放器174检索存储在存储器139中的图像，并且缩放存储的图像和/或接收到的图像，使得两个图像具有相同的缩放比例。在一些实施例中，视频缩放器174缩放传输的图像以生成缩放的图像，并且存储器139存储缩放的图像。在一些实施例中，诸如使用直方图的实施例，不使用视频缩放器174。

特征生成器176为接收到的图像和存储的图像生成特征。在一个实施例中，特征生成器176和特征比较器178由诸如CPU 106、DSP 108的处理器或另一处理器实现。在另一个实施例中，例如当使用直方图时，特征生成器176和特征比较器178在专用硬件(诸如直方图生成电路和直方图比较电路)中实现。在一个实施例中，特征生成器176为接收到的图像和传输的图像生成拐角特征或兴趣点。拐角可以被定义为两个边缘的交点或两个主要且不同的边缘方向位于其局部附近的一个点。可以使用相关性、Moravec拐角检测、HarrisStephens拐角检测、Forstner拐角检测、多尺度Harris算子或其他方法(诸如水平曲线曲率方法、高斯方法的拉普拉斯算子、尺度空间关注点)、Wang和Brady拐角检测、最小的单值段同化核(SUSAN)拐角检测、Trajkovic和Hedley检测、基于加速段测试(AST)的特征检测或与检测器自动合成来执行拐角检测。

在另一个实施例中，特征生成器176生成接收到的图像和传输的图像的直方图。直方图可以为图像的强度直方图或颜色直方图。特征生成器176将值范围划分为二进制数，并将每个像素放置在对应的二进制数中。二进制数的尺寸可以均匀，也可以尺寸不同。

特征比较器178将在特征生成器176中为传输的帧生成的特征与反馈图像进行比较。当使用拐角特征时，特征比较器178将传输的帧的拐角特征与反馈图像的拐角特征进行比较。同样，当使用直方图时，特征比较器178将传输的帧的直方图与反馈图像的直方图进行比较。特征比较器178可以将直方图归一化，使得它们具有相同的缩放比例。每个帧可以具有唯一的直方图，使得匹配的直方图指示匹配的帧。在一些实施例中，拐角特征或直方图必须精确匹配以确定匹配。在另一个示例中，足够相似的拐角特征或直方图指示匹配。例如，当归一化的直方图之间的绝对差之和小于预定值时，特征比较器178可以确定直方图匹配。在另一个示例中，当拐角特征的幅度和/或位置的差在预定阈值内时，特征比较器178确定拐角特征匹配。特征比较器178将比较结果发送到DSS 110。特征比较器178还将比较结果发送到DSP 108和CPU 106。DSP 108和CPU 106辅助检测场景错误，并提高稳健性。

DSS 110可以在检测到错误时暂停图像传输，并且在确定不存在错误时继续图像传输。附加地或替代地，DSS 110将错误消息传输到显示电路114，以指示失配的性质或幅度。

图6示出了汽车显示系统180，其使用LVDS解复用器(多路分配器)182从LVDS缆线188中提取传输的图像的一部分。汽车显示系统180为基于整个图像的汽车显示验证的方法。汽车显示系统180的优点包括低成本。汽车显示系统180的另一个优点在于显示电路114和显示器126可以类似于不具有显示验证的显示电路和显示器。

安装在车辆上的相机102将图像传输到SoC 184。SoC 184包括处理器，诸如ISP103、CPU 106和DSP 108，其处理图像并将图像存储在存储器139中。DSS 110通过LVDS缆线188将图像传输到显示电路114。SoC 184还可以将传输的图像存储在存储器139中。

LVDS解复用器182从LVDS缆线188中提取图像帧。在一个示例中，LVDS解复用器182可以在提取过程期间对图像数据进行采样。LVDS解复用器182将提取的帧作为反馈签名183发送回SoC 184。在一个实施例中，反馈签名通过LVDS缆线188传输。在另一个示例中，反馈签名通过单独的缆线传输。在一个实施例中，如图所示，LVDS解复用器182位于显示电路114之前。在另一个实施例中，LVDS解复用器182位于显示电路114的输入处。

显示电路114的接口116通过LVDS缆线188接收从SoC 184传输的视频信号。帧RAM118存储视频帧以显示给用户。此外，显示控制器120通过发信号通知段LED驱动器122和公共LED驱动器124来控制显示，使得段LED驱动器122和公共LED驱动器124经由显示器126向用户显示视频。

SoC 184从LVDS解复用器182接收反馈签名。在SoC 184中，视频缩放器186缩放存储或传输的图像和/或反馈或接收到的图像，使得两个图像具有相同的缩放比例。在一些实施例中，视频缩放器186缩放传输的图像以生成缩放的图像，并且存储器139存储缩放的图像。在一些实施例中，诸如当使用直方图时，不使用视频缩放器186。

特征生成器158为接收到的图像或反馈图像以及传输的图像或存储的图像两者生成特征。在一个实施例中，特征生成器158和特征比较器160由诸如CPU 106、DSP 108的处理器或另一处理器实现。在另一个实施例中，诸如当使用直方图时，特征生成器158和特征比较器160在专用硬件中被实现为直方图电路。在一个实施例中，特征生成器158为接收到的图像和传输的图像生成拐角特征或兴趣点。在另一个实施例中，特征生成器158为接收到的图像和传输的图像生成直方图。

特征比较器160比较在特征生成器158中为传输的图像和反馈图像生成的特征。当使用拐角特征时，特征比较器160将传输的图像的拐角特征与反馈图像的拐角特征进行比较。同样地，当使用直方图时，特征比较器160将传输的图像的直方图与反馈图像的直方图进行比较。在一些实施例中，拐角特征或直方图必须精确匹配以确定匹配。在另一个示例中，足够相似的拐角特征或直方图指示匹配。例如，可以在直方图之间取绝对差之和，并且当绝对差之和小于预定阈值时检测到匹配。特征比较器160将比较结果发送到DSS 110。特征比较器160还将比较结果发送到DSP 108和CPU 106。DSP 108和CPU 106辅助检测场景错误，并提高稳健性。

DSS 110在检测到故障时可以暂停图像传输，并且在没有检测到故障时可以继续图像传输。附加地或替代地，DSS 110将错误消息传输到显示电路114，以指示失配的性质或幅度。

图7示出了用于使用来自光传感器202的反馈进行汽车显示验证的汽车显示验证系统200，其中仅一部分图像用于验证。在实施例中，汽车显示验证系统200为低成本系统。

SoC 204从可以安装在车辆上的相机102接收图像。SoC 204的处理器(诸如ISP103、CPU 106和DSP 108)处理图像。SoC 204将参考图像206添加到传输之前的图像，以生成修改后的图像。在一个实施例中，参考图像仅被添加到用户将不可见的图像的一部分，以避免扰乱用户的体验。参考图像可以为白色补丁、黑色补丁或预定义图案。在其他实施例中，参考图像为整个帧，诸如全黑帧或全白帧。参考图像可以为用户不可见的红外图像。在添加参考图像之后，存储器212存储修改后的图像，并且DSS 110通过接口缆线112将修改后的图像传输到显示电路114。在一些实施例中，附加地或替代地，存储器212存储参考图像本身。在一个实施例中，将没有参考图像的原始图像和参考图像分别存储在存储器212中。

在显示电路114中，接口116通过接口缆线112接收从SoC 204传输的视频帧。帧RAM118存储视频帧以显示给用户。而且，段LED驱动器122和公共LED驱动器124经由显示器126显示视频，显示器126可以为LED显示器。

光传感器202感测显示器126的全部或一部分中的光。在一个实施例中，光传感器202感测在驾驶员或用户不可见的图像的一部分中的光。在一个实施例中，光传感器202为简单的光电检测器，诸如光电二极管、光电晶体管或光敏电阻器(LDR)。在其他实施例中，光传感器202为视频相机，诸如低分辨率视频相机。在附加实施例中，光传感器为典型的CCD或CMOS视频相机。可以使用低成本的光传感器。光传感器202通过接口缆线112或另一根缆线将可能基于光测量的反馈签名203传输到SoC 204。

SoC 204从光传感器202接收反馈签名。参考图像提取器210从光传感器202接收到的反馈签名中提取参考图像。在一个实施例中，参考图像提取器210从反馈图像中减去来自存储器212的原始视频图像，以生成比较图像。

SoC 204还包括参考图像比较器208，该参考图像比较器208将在参考图像提取器210中提取的比较图像与参考图像、原始图像或存储在存储器212中的修改后的图像进行比较。可以将比较图像与参考图像进行比较。在实施例中，当比较图像和参考图像之间的绝对差之和小于预定阈值时，检测到匹配。在一些实施例中，参考图像比较器208仅比较包含参考图像的某些预定义帧。当提取的参考图像与生成的参考图像匹配时，系统确定不存在错误。相反，当提取的参考图像与生成的参考图像不匹配时，系统确定存在错误。参考图像比较器208将图像比较发送到CPU 106、DSP 108和/或DSS 110。

当系统检测到错误时，DSS 110可以暂停图像传输，并且当系统确定不存在错误时，DSS 110可以继续图像传输。附加地或替代地，DSS 110将错误消息传输到显示电路114，以指示失配的性质或幅度。

图8示出了用于基于图像的一部分进行汽车显示验证的方法的汽车显示验证系统220。汽车显示验证系统220包括SoC 226，该SoC 226使用DSS 110将经由相机102捕获并由ISP 103、CPU 106和DSP 108处理的图像传输到显示控制器120，该DSS 110通过接口缆线112传输图像。

伪随机地址生成器230伪随机地或半随机地选择图像帧内的一个或多个区域以进行修改。在一个实施例中，伪随机地址生成器230通过生成伪随机块的位置来选择图像帧内的伪随机块。伪随机选择的块可以随帧而变化，使得针对不同的帧测试不同的区域。在一个实施例中，利用明确的目标，每个帧都改变块位置，以测试在给定的时间间隔内扫描整个显示。伪随机块的位置可以被添加到图像帧，诸如元数据。在另一示例中，伪随机块的位置与图像分开地被维护。

SoC 226的像素图案生成器228在由伪随机地址生成器230生成的图像的位置处生成预定像素图案或签名。在实施例中，在块内以预定图案调整有限数量的像素。预定图案可以被设计成对于用户不可见或最小可见。例如，可以生成红外图案。像素图案生成器228将预定像素图案添加到视频图像，以生成修改后的图像。在实施例中，像素图案生成器228将伪随机选择的块的位置添加到修改后的图像，诸如元数据。预定像素图案在不明显干扰用户体验的情况下向图像添加了一些噪声。而且，在一些实施例中，SoC 226上的时钟生成时间戳并将时间戳添加到修改后的图像，诸如元数据。存储器139存储修改后的图像。在实施例中，存储器139存储预定像素图案。此外，存储器139与修改后的图像分开存储预定像素图案。在一个实施例中，修改后的图像和未修改图像都存储在存储器139中。图像的时间戳也可以存储在存储器139中。在另一个实施例中，伪随机块的位置存储在存储器139中。此外，像素图案生成器228将修改后的图像发送到DSS 110以用于传输到显示电路222。

显示电路222在接口116处通过接口缆线112从SoC 226接收修改后的图像。修改后的图像可以包括指示该帧的伪随机块的位置的嵌入信息，或者指示图像的修改部分的其他信息。在一个实施例中，显示电路222使用显示电路222的时钟在到达时将时间戳添加到图像。帧RAM 118存储修改后的图像，并且修改后的图像也前进到显示控制器120。显示器126使用段LED驱动器122和公共LED驱动器124来示出帧RAM 118中的修改后的图像。

签名生成器224从帧RAM 118提取图像。签名生成器224可以提取由伪随机块的位置指示的图像的一部分。然后，签名生成器224在伪随机块处掩蔽图像。在实施例中，反馈签名指示伪随机块中的像素值。在另一个实施例中，签名生成器224将整个图像分配为反馈签名。在一个实施例中，签名生成器224还从图像提取用于传输时间的时间戳，或者将时间戳分配给图像。在实施例中，签名生成器224由诸如CPU的处理器实现。然后，显示电路222将反馈签名225传输到SoC 138。在一个实施例中，接口缆线112用于传输签名。在另一个实施例中，诸如低吞吐量缆线的单独缆线被用于反馈签名。

SoC 226从存储器139读取修改后的图像。SoC 226还可以从存储器139中读出像素图案和/或伪随机块位置。在一个示例中，SoC 226使用伪随机块位置从修改后的图像中提取像素图案。在实施例中，SoC 225从存储器139中读出时间戳。签名比较器232从签名生成器224接收反馈签名。签名比较器232将修改后的图像或像素图案与反馈签名进行比较。在实施例中，SoC 226从反馈签名中减去原始未修改的图像，留下像素图案，加上由传输引入的任何误差或噪声。然后，可以将该像素图案与传输侧像素图案进行比较。在实施例中，SoC226直接将反馈签名中的像素图案与预定像素图案进行比较。在其他示例中，SoC 226将包含接收到的图像的反馈签名的全部或重要部分与修改后的图像进行比较。在实施例中，SoC226比较像素图案和图像的时间戳两者。在比较传输时间戳和反馈时间戳时，可以考虑图像传输的时滞以及SoC 226的时钟和显示电路222的时钟的异步特性。签名比较器232可以从反馈时间戳中减去预定义的时滞以确定补偿后的时间戳。然后，将补偿后的时间戳与传输时间戳进行比较。在一个实施例中，传输侧签名与反馈签名必须精确匹配以确定匹配。在另一个实施例中，传输侧签名与反馈签名在相似时被确定为匹配，而在不相似时被确定为不匹配。例如，可以确定传输的像素图案和像素图案之间的绝对差之和，并且当绝对差之和低于预定阈值时确定匹配。在实施例中，当补偿后的时间戳小于传输时间戳的第一预定阈值并且绝对差之和小于第二预定阈值时，发现匹配。签名比较器232可以将结果发送到DSS110以控制进一步的图像传输。而且，签名比较器232可以将结果发送给CPU 106和/或DSP108以进行分析。

例如，DSS 110在检测到故障时可以暂停图像传输，并且在没有检测到故障时可以继续图像传输。在一个实施例中，附加地或替代地，DSS 110将错误消息传输到显示电路222，以指示失配的性质或幅度。在一个实施例中，伪随机地址生成器230、像素图案生成器228和签名比较器232在分开的处理器上或在DSP 108上或在CPU 106上实现。在其他实施例中，它们在专用硬件中实现。

用作签名的直方图特征可以抵抗轻微噪声。然而，计算直方图是复杂且耗时的，并且CPU可能不适用于计算直方图。在实施例中，硬件电路即时生成直方图。图9示出了直方图生成电路240，用于计算直方图的数字电路。在实施例中，直方图生成电路240实现签名生成器132和特征生成器176的全部或部分。直方图生成电路240可以用于涉及直方图计算的其他应用。直方图生成电路240包括寄存器块246、寄存器块252、M路比较器250和直方图合并电路256。直方图生成电路240接收用于直方图计算的图像244。直方图生成电路240并行更新像素块的多个直方图，每个像素具有一个直方图。然后，直方图生成电路240组合多个并行直方图，以生成用于该块的一个直方图。

寄存器块246包含配置寄存器248，其存储用于直方图生成的图像244的块的范围。在示例中，配置寄存器248包含针对块范围(诸如，针对图像244的块242)的最小x值、最大x值、最小y值和最大y值。配置寄存器248将块242的值输出到M路比较器250。

寄存器块252包含配置寄存器254，B-1个二进制数阈值。B(其可配置)指示用于直方图的二进制数的数量。直方图合并电路256包含直方图262至266和主直方图270。M路比较器250接收包含M个像素的块的块242和来自配置寄存器254的B-1个二进制数阈值。M路比较器并行地将M个像素中的每一个与B-1个二进制数阈值进行比较。M路比较器250产生M个直方图，对于图像的M个像素中的每个像素对应一个直方图，从而在直方图合并电路256中生成直方图262至266。直方图262至266中的每一个包含寄存器264，B个二进制数中的每个二进制数对应一个寄存器，其中每个直方图的二进制数指示M个像素中的一个像素的直方图值。在实施例中，直方图262至266中的每一个具有一个值为1的二进制数，其指示对应像素所属的二进制数，并且其余二进制数的值为0。直方图合并电路256通过将直方图262至266的二进制数相加在一起，来生成具有N个二进制数的二进制数272的主直方图270。直方图合并电路256对M个直方图262至266求和以生成主直方图270。M为整数，诸如64、256或1024。对于二进制数272，N的值是可配置的。N的值可以由寄存器块252配置为针对一帧生成10路直方图，并且针对下一帧生成64路直方图。这种灵活性使直方图生成电路240不受计算复杂度的影响。直方图生成电路240能够以与直接直方图相同的计算成本来计算复杂的直方图。而且，由于M路比较器250，直方图更新对于M个像素并行发生。对于M个像素，可以并行更新直方图数据结构，使得针对总直方图的时间为1/M。

图10示出了用于计算和比较多个图像的直方图的直方图比较电路280。直方图比较电路280接收直方图282，诸如针对DSS的输出。直方图282包含二进制数284，其为B个二进制数。在一个实施例中，直方图生成电路(诸如直方图生成电路240)生成直方图282。直方图比较电路280还接收另一图像(诸如反馈图像)的直方图286，以用于汽车显示验证。直方图286包含二进制数288，其也是B个二进制数。在一个实施例中，直方图生成电路(诸如直方图生成电路240)生成直方图286。在示例中，同一直方图生成电路生成直方图282和直方图286。在另一个示例中，分开的直方图生成电路生成直方图282和直方图286。

直方图282和直方图286被馈送到微分电路290，诸如绝对差之和电路。微分电路290比较直方图282和直方图286，以确定直方图282和直方图286之间的绝对差之和，该绝对差之和指示诸如来自图像传输的噪声。微分电路290通过获取直方图的二进制数的值之间的差的绝对值并对这些绝对值差求和来计算直方图282和直方图286之间的绝对差之和。当绝对差之和大时，这可能表明传输的图像的质量明显下降。

框294确定来自差分电路290的绝对差之和是否小于阈值292。阈值292可以为可配置阈值，其使得能够配置可变阈值，该可变阈值用于将可接受的噪声水平与指示传输问题或精度损失的噪声水平区分开。当差小于阈值292时，直方图比较电路280前进到框296，并确定不存在错误。相反，当差大于或等于阈值292时，直方图比较电路280前进到框298，并确定存在错误。

在所描述的实施例中可以进行修改，并且在权利要求的范围内，其他实施例也是可能的。

Claims

1.一种用于显示验证的方法，其包括：

由片上系统即SoC从安装在车辆上的相机接收第一图像，其中所述SoC包括第一签名生成器和签名比较器；

由所述第一签名生成器使用所述第一图像生成传输侧签名；

由所述SoC通过接口缆线将所述第一图像传输到显示电路，其中所述显示电路包括第二签名生成器，并且其中所述显示电路与所述SoC物理分离；

由所述显示电路接收已接收的第一图像；

由所述第二签名生成器使用所述已接收的第一图像生成反馈签名；

由所述SoC从所述显示电路接收所述反馈签名；

响应于确定所述反馈签名与所述传输侧签名不匹配，由所述SoC检测错误；以及

响应于确定所述反馈签名与所述传输侧签名匹配，由所述SoC将第二图像传输到所述显示电路。

2.根据权利要求1所述的方法，其中所述反馈签名和所述传输侧签名为循环冗余校验值即CRC值、帧差签名或安全哈希算法值即SHA值。

3.根据权利要求1所述的方法，其中所述传输侧签名为基于所述SoC的第一时钟生成的第一时间戳，并且其中所述反馈签名为基于所述显示电路的第二时钟生成的第二时间戳。

4.根据权利要求1所述的方法，其中所述反馈签名为第三图像，并且其中基于所述第一图像与所述第三图像匹配来确定所述反馈签名是否与所述传输侧签名匹配。

5.根据权利要求4所述的方法，还包括：

选择所述第一图像的伪随机块；以及

在传输所述第一图像之前，将像素图案应用于所述第一图像的伪随机块；以及

其中基于所述第一图像的所述伪随机块和所述第三图像的所述伪随机块来执行确定所述第一图像是否与所述第三图像匹配。

6.根据权利要求4所述的方法，其中确定所述第一图像是否与所述第三图像匹配包括：

计算所述第一图像的第一直方图；

计算所述第三图像的第二直方图；以及

确定所述第一图像的所述第一直方图是否与所述第三图像的所述第二直方图匹配。

7.根据权利要求6所述的方法，其中由所述SoC的直方图生成器电路执行计算所述第一直方图，并且其中由所述SoC的直方图比较电路执行确定所述第一图像的所述第一直方图是否与所述第三图像的所述第二直方图匹配。

8.根据权利要求4所述的方法，其中确定所述第一图像是否与所述第三图像匹配包括：

确定所述第一图像的第一拐角特征；

确定所述第三图像的第二拐角特征；以及

确定所述第一图像的所述第一拐角特征是否与所述第三图像的所述第二拐角特征匹配。

9.根据权利要求4所述的方法，还包括：

在确定所述第一图像是否与所述第三图像匹配之前，缩放所述第一图像以与所述第三图像的缩放比例匹配。

10.根据权利要求1所述的方法，还包括：

通过所述显示电路的接口接收所述第一图像；

通过所述显示电路的帧随机存取存储器即帧RAM将所述第一图像存储为存储的图像；

在显示器上显示所述存储的图像；以及

通过监测相机捕获所述显示器的视图，其中所述反馈签名为所述显示器的所述视图。

11.根据权利要求1所述的方法，还包括：

通过所述显示电路的接口接收所述第一图像；

在显示器上将所述存储的图像显示为显示的图像；以及

通过光传感器检测所述显示的图像的一部分的强度，其中所述反馈签名为检测的光强度。

12.根据权利要求1所述的方法，其中所述接口缆线为低压差分信号缆线即LVDS缆线，其中所述方法还包括：

由LVDS解复用器从所述LVDS缆线提取出提取的图像；以及

由所述LVDS解复用器将所述提取的图像传输到所述SoC，其中所述反馈签名为所述提取的图像。

13.一种汽车显示系统，所述汽车显示系统包括：

片上系统即SoC；以及

显示电路，其包括：

接口，其被配置为通过接口缆线从所述SoC接收图像，其中所述显示电路与所述SoC物理分离；

耦合到所述接口的帧随机存取存储器即帧RAM，所述帧RAM被配置为存储所述图像；

耦合到所述帧RAM的发光二极管驱动器即LED驱动器，所述LED驱动器被配置为在显示器上显示所述图像；以及

耦合到所述帧RAM的签名生成器，所述签名生成器被配置为：

基于所述图像生成反馈签名；并且

将所述反馈签名传输到所述SoC；

其中所述SoC包括：

处理器，其被配置为从相机接收所述图像，其中所述相机安装在车辆上；

耦合到所述处理器的显示子系统即DSS，所述DSS被配置为通过所述接口缆线将所述图像传输到所述显示电路；

耦合到所述处理器的存储器，所述存储器被配置为将所述图像存储为存储的图像；

第二签名生成器，所述第二签名生成器被配置为基于所述图像生成传输侧签名；以及

签名比较器，所述签名生成器被配置为：

接收所述传输侧签名；

接收所述反馈签名；

确定所述反馈签名是否与所述传输侧签名匹配。