CN109951678A - 经由发送的视频发送功能安全统计 - Google Patents

Abstract

本申请公开经由发送的视频发送功能安全统计。提供了用于在系统内发送功能安全统计的系统和方法。视频源(16)产生视频数据流。功能安全系统驱动器(18)累积来自至少一个系统的功能安全统计，并将功能安全统计写入相关联的系统存储器(20)。显示子系统驱动器(22)将视频数据流的帧写入系统存储器(20)。显示子系统驱动器(12)将功能安全统计格式化为视频数据，并将功能安全统计附加到为功能安全统计保留的视频的帧的一部分。显示子系统(12)将视频数据流的帧发送到主处理器(24)，主处理器(24)从视频帧提取功能安全统计。

Description

经由发送的视频发送功能安全统计

技术领域

本发明一般涉及通信系统，并且更具体地，涉及用于经由发送的视频发送功能安全统计的系统和方法。

背景技术

功能安全是系统或设备的整体安全的一部分，其取决于系统或设备响应于其输入而正确操作，包括可能的操作员错误、硬件故障和环境变化的安全管理。功能安全的关键要求之一是监控每个安全系统和系统关键设备，以确保它们按预期正确执行。通常，通过从客户端设备收集统计信息，在作为主设备的外部设备上验证和检查功能安全。

发明内容

根据本发明的一个方面，提供了一种系统。视频源产生视频数据流。功能安全系统驱动器累积来自至少一个系统的功能安全统计，并将功能安全统计写入相关联的系统存储器。显示子系统驱动器将视频数据流的帧写入系统存储器。显示子系统驱动器将功能安全统计格式化(format)为视频数据，并将功能安全统计附加到为功能安全统计保留的视频的帧的一部分。显示子系统将视频数据流的帧发送到主处理器，主处理器从视频帧提取功能安全统计。

根据本发明的另一方面，提供了一种方法。累积来自至少一个受监控系统的功能安全统计。功能安全统计被格式化为视频数据。功能安全统计被附加到为功能安全统计保留的视频的帧的一部分。视频数据流的帧经由显示子系统被发送到主处理器。在主处理器处从视频帧提取功能安全统计。

根据本发明的又一方面，提供了一种用于发送汽车内的功能安全统计的方法。累计来自汽车内的至少一个自动系统的功能安全统计。在汽车的摄像机处获取视频的帧。功能安全统计被格式化为视频数据，使得功能安全统计对于视频数据从第一视频格式到第二视频格式的转换是鲁棒的。功能安全统计被附加到为功能安全统计保留的视频的帧的一部分。在显示子系统处，视频数据流的帧从第一视频格式被转换为第二视频格式。视频数据流的帧经由显示子系统被发送到主处理器。在主处理器处，从视频数据流的帧提取功能安全统计。

附图说明

通过下面结合附图阐述的详细描述，本发明的特征、目的和优点将变得更加明显，其中：

图1说明了利用显示子系统向主处理器提供功能安全统计的系统；

图2说明了将功能安全统计数据从片上系统(SoC)发送到主处理器的系统的一种实施方式；

图3说明了用于经由显示链路发送功能安全统计的方法的示例；以及

图4说明了用于发送汽车内的功能安全统计的方法。

具体实施方式

功能安全是关于即使在系统出错时也确保系统的安全操作。作为功能安全的一部分，期望嵌入式片上系统(SoC)或其他系统内的不同事件(可能指示或可能不指示存在故障)被记录并提供给安全监督者系统，该安全监督者系统然后可以确定系统的健康状况并确保它仍然安全。这种记录的信息在本文中称为功能安全统计(FSS)。上述安全监督者系统可以存在于受监控系统内或位于受监控系统外部。在监督者系统位于受监控系统外部的情况下，功能安全统计数据可以以可靠且鲁棒的方式被传送到安全监督者系统。

在一些应用中，例如，在自动系统中，受监控系统可以与单个嵌入式系统中的一个或更多个视频系统共存。这样的系统可以包括显示子系统(DSS)，其经由DSS输出，向系统存储器(例如，双倍数据速率(DDR)存储器)以及系统的其他部分或系统外部的主处理器提供高带宽接口。由于显示需要被连续更新，因此由DSS提供的数据在嵌入式系统处已经是高优先级，并由实时软件驱动器控制。

根据本公开，可以通过传送与视频和图形数据交错的功能安全统计数据来利用显示子系统的存在。具体地，这里呈现的系统和方法以可靠且鲁棒的方式将功能安全统计数据编码在视频帧本身中，并且然后在主处理器处从接收侧上的视频数据提取功能安全统计。结果，功能安全统计数据可以方便地被提供给主处理器而没有显著的额外开销。

图1说明了利用显示子系统12向主处理器14提供功能安全统计数据的系统10。视频源16产生视频数据流。例如，视频源16可以包括摄像机、系统内产生视频帧的CPU/GPU或存储通过WiFi或以太网预加载在存储器中的视频内容的存储器。功能安全系统驱动器18累积来自至少一个系统的功能安全统计，并将功能安全统计写入系统存储器20。显示子系统驱动器22从系统存储器20读取功能安全统计并将视频数据流的帧写入系统存储器20，将功能安全统计格式化为视频数据，并将功能安全统计附加到为功能安全统计保留的视频的帧的一部分。显示子系统12将视频帧发送到主处理器14，主处理器14从视频帧提取功能安全统计。

在一个实施方式中，格式化功能安全统计可以包括改变数据，使得功能安全统计对于数据的变换是鲁棒的。例如，视频数据最初可以以RGB格式被捕获，但在发送之前在显示子系统12处被转变为YUV格式。该转换可以将量化误差引入视频数据中的一个或更多个最低有效位。结果，功能安全统计可以在系统存储器20处被写入，使得没有数据被存储在最低有效位内。在另一实施方式中，数据可以在显示子系统处从YUV 444格式被转换为YUV422格式，这需要对数据进行下采样。为了避免数据丢失，可以在将功能安全统计附加到视频帧之前对功能安全统计进行上采样。

在一个实施方案中，视频的帧被直接提供到显示器24，其中功能安全统计仍嵌入在视频内。应当理解，这可以在视频馈送内引起几行失真，但是它允许主处理器14的简化实施方式。在所说明的实施方式中，主处理器14从视频帧提取功能安全统计，以产生功能安全统计流和已移除功能安全统计数据的视频流两者。因此，可以以更复杂的主处理器14为代价提供干净的视频馈送。

图2说明了系统50的一种实施方式，该系统50将功能安全统计数据从片上系统(SoC)60发送到主处理器80。在所说明的实施方式中，系统50在汽车中实施，并且功能安全统计可以包括安全参数，例如帧计数、帧速率、帧延迟、性能/执行数量(performancenumbers)、移动汽车的速度、用于在头部单元上实现增强现实的元数据以及其他这样的值。然而，应当理解，本发明可以应用于其中期望快速报告安全统计的许多系统中的任何系统，例如工业系统。

考虑到安全统计的重要性，期望将它们实时提供给主处理器80。目前，在许多实施方式中，内部集成电路接口或串行外围接口用于向外部设备发送功能安全统计信息，但是可以传送的数据量是有限的，接口通常很慢，并且利用数据管道同步这些接口非常困难。

汽车芯片将具有显示子系统(DSS)，其用于向外部设备显示视频和图形数据。显示子系统经由显示子系统输出向系统存储器以及外部主机提供高带宽接口。显示也需要被实时更新，因此显示子系统已经是片上系统中的高优先级主控器，并由实时驱动器控制。可以通过在每个视频帧中保留几行，将功能安全统计转换为视频格式，在视频帧本身中嵌入功能安全统计并且在主处理器处从视频帧提取功能安全统计来利用这种高带宽连接。

为此，片上系统60包括功能安全统计(FSS)驱动器62，其从多个自动系统接收功能安全统计数据。显示子系统(DSS)驱动器64从与汽车相关联的摄像机52接收视频帧。例如，摄像机52可以被实施为汽车中的摄像机。在一个实施方式中，显示子系统驱动器64和功能安全统计驱动器中的每一个可以被实施为由片上系统60上的处理器(未示出)执行的软件或固件指令。功能安全统计驱动器62将接收到的功能安全统计写入到系统存储器66中。显示子系统驱动器64从系统存储器66检索功能安全统计，并将功能安全统计附加到视频帧。然后改变的视频帧被写入系统存储器66。

在所说明的实施方式中，在摄像机52处捕获的视频帧以RGB格式被捕获，但是数据在显示子系统68处被变换为YUV 422格式以进行发送。RGB到YUV转换以及用于检索功能安全统计的主处理器80处的反向YUV到RGB转换，在所发送的最低有效位中引入量化误码。结果，显示子系统驱动器64可以避免在视频帧的每个字中的一个或更多个最低有效位内写入功能安全统计。在显示子系统68处的YUV444到YUV422转换导致输入数据的下采样和相应的信息丢失。为了避免这种情况，显示子系统驱动器64可以在功能安全统计被发送到显示子系统68之前对功能安全统计进行上采样。

在另一实施方式中，摄像机52以YUV 422格式捕获视频帧，但是数据在显示子系统68处被变换为RGB格式以进行发送。在该实施方式中，在转换为RGB之前，使用缩放引擎在显示子系统68内部对色度分量进行上采样。该色度转换可以破坏功能安全统计数据，并且为了避免由于对色度进行上采样引起的误差，仅使用亮度分量来传送功能安全统计。为功能安全统计保留的帧的一部分内的色度分量以固定的0x80值传送。同样，颜色空间转换可能引入误码，因此亮度的每个分量的两个最低有效位未被使用，并且使用N个最高有效位，其中N是大于1的正整数。

在又一个实施方式中，摄像机52可以捕获YUV 422或YUV 420输入，并且视频数据可以作为YUV 444被发送。因此，显示子系统68将色度分量上采样为YUV444格式，并且主处理器80可以将色度分量下采样为YUV422格式。这种色度转换可能破坏被附加到视频的功能安全统计，因此只有亮度分量用于传送功能安全统计数据，并且为了避免了量化误差，亮度的每个分量的两个最低有效位未被使用。

应当理解的是，在一些实施方式中，视频格式将不会改变，并且除了使其适应视频帧所必须的格式化之外，将不利用功能安全统计的变化。在这种情况下，功能安全统计可以被直接复制到视频帧中，并且可以在主处理器80中提取而无需任何转换。

在主处理器80处，提取组件82从视频帧提取功能安全统计并将其从视频格式转换。然后将功能安全统计提供给系统控制84，系统控制84评估功能安全统计并且如果功能安全统计超出期望范围则采取补救措施。补救措施的示例包括向驾驶员提供警告消息、重置客户端系统或者将车辆或其他机器(例如工业机器人)中的自动系统改变为手动控制。在所说明的实施方式中，视频被直接并行提供给显示器56和主处理器80，并且为功能安全统计保留的显示的一部分被保留在视频数据中，导致视频中的微小伪像。在一个替代实施方式中，主处理器80还可以提取视频帧的副本，该副本不包括为功能安全统计保留的帧的一部分，并提供该干净的视频以供在显示器56处使用。

在所说明的系统50中，功能安全统计可以与显示帧一起实时传送，消除了对用于功能安全统计传送的额外数据接口的需要，并且允许相对于现有实施方式的更快、更鲁棒的数据传送。通常，显示器的尺寸将超过百万像素，并且帧速率可以在三十到六十赫兹之间，允许通过仅保留视频帧中的甚至一行或两行来传送大量的功能安全统计数据。如果在现有系统中实施，则可以释放以前用于功能安全统计的现有专用接口以用于其他目的。

鉴于上文在图1和图2中描述的前述结构和功能特征，参照图3和图4，将更好地理解示例方法。但是，为了简化说明的目的，图3和图4的方法被示出并描述为连续执行，但是应该理解和认识到，本发明不受所说明顺序的限制，因为在其他示例中一些动作可以以不同的顺序发生和/或以与本文所示出和描述的动作同时发生。

图3说明了用于经由显示链路发送功能安全统计的方法100的示例。在102处，累积来自至少一个受监控系统的功能安全统计。在104处，将功能安全统计格式化为视频数据。例如，功能安全统计可以以与相关联视频源提供的视频帧相兼容的格式被写入。在106处，将功能安全统计附加到为功能安全统计保留的视频的帧的一部分。在108处，将视频数据流的帧经由显示子系统提供给主处理器，并且在110处在主处理器处从视频帧提取功能安全统计。在一个示例中，如果功能安全统计偏离期望的范围，则响应于功能安全统计，可以在受监控系统处采取补救措施。应当理解的是，可以将帧并行提供给显示器和主处理器，或者主处理器可以处理接收的视频以提供不包含功能安全统计的干净的视频的帧并将干净的视频的帧提供到显示器。

在一个实施方式中，在显示子系统处，视频数据流的帧从第一视频格式被转换为第二视频格式。在这种情况下，在104处将功能安全统计格式化为视频数据可以包括格式化功能安全统计，使得功能安全统计对于视频数据从第一视频格式到第二视频格式的转换是鲁棒的。例如，如果第一视频格式是RGB格式并且第二视频格式是YUV 422格式，则由于在转换期间可能出现最低有效位中的量化误差，所以功能安全统计可以仅被写入为功能安全统计保留的视频的帧的部分内的每个字的N个最高有效位中，其中N是大于1的正整数。类似地，可以对功能安全统计进行上采样，以确保在到YUV 422格式的转换中，在视频数据被下采样时没有数据丢失。

在另一示例中，第一视频格式是YUV 422格式，并且第二视频格式是RGB格式和YUV444格式中的一个。在这种情况下，在104处格式化功能安全统计可以包括仅在为功能安全统计保留的视频的帧的部分的亮度分量内的每个字的N个最高有效位中写入功能安全统计。这允许在色度值的重新采样期间保存数据并避免最低有效位中的量化误差。应当理解的是，在发生视频转换的情况下，在110处的提取期间，将提取的功能安全统计转换回原始格式。因此，功能安全统计在104处被格式化，以对于原始的转换以及反向转回原始格式中的每一个是鲁棒的。

图4说明了用于发送汽车内的功能安全统计的方法150。在152处，累积来自汽车内的至少一个自动系统的功能安全统计。在154处，在汽车的摄像机处获取视频的帧。在156处，将功能安全统计格式化为视频数据，使得功能安全统计对于视频数据从第一视频格式转换为第二视频格式的转换是鲁棒的。该格式化可以包括，例如，对功能安全统计进行上采样、仅在视频帧内的亮度分量中写入功能安全统计或者仅在视频帧中的每个字的N个最高有效位中写入功能安全统计，其中N是大于1的正整数。

在158处，将功能安全统计附加到为功能安全统计保留的视频的帧的一部分。在160处，视频数据流的帧在显示子系统处从第一视频格式转换为第二视频格式。在162处，视频数据流的帧经由显示子系统被提供给主处理器，并且在164处在主处理器处从视频帧提取功能安全统计。如前所述，提取过程可包括将功能安全统计数据转换回第一视频格式。

已经说明性地公开了本发明。因此，应该以示例性而非限制性的方式阅读贯穿本公开使用的术语。虽然本领域技术人员会想到对本发明的微小修改，但应该理解，旨在被划入所授权的专利的范围内的是所有这样的实施例，这些实施例合理地落入由此对本领域做出贡献的进步的范围内，并且除非根据所附权利要求及其等同物，否则该范围不应受限制。

Claims (20)

1.一种系统，包括：

产生视频数据流的视频源；

功能安全系统驱动器，其累积来自至少一个系统的功能安全统计，并将所述功能安全统计写入相关联的系统存储器；

显示子系统驱动器，其将所述视频数据流的帧写入所述系统存储器，所述显示子系统驱动器将所述功能安全统计格式化为视频数据，并将所述功能安全统计附加到为所述功能安全统计保留的视频的帧的一部分；

显示子系统，其将所述视频数据流的所述帧发送到主处理器；以及

所述主处理器，其从所述视频帧提取所述功能安全统计。

2.根据权利要求1所述的系统，其中所述主处理器还提取所述视频帧的没有为功能安全统计保留的部分，并将其提供给相关联的显示器。

3.根据权利要求1所述的系统，其中所述显示子系统将所述视频数据流的所述帧从第一视频格式转换为第二视频格式，所述显示子系统驱动器在将所述功能安全统计附加到为所述功能安全统计保留的所述视频的帧的所述部分之前重新格式化所述功能安全统计。

4.根据权利要求3所述的系统，其中所述显示子系统驱动器在将所述功能安全统计附加到为所述功能安全统计保留的所述视频的帧的所述部分之前对所述功能安全统计进行上采样。

5.根据权利要求3所述的系统，其中所述显示子系统驱动器仅在为所述功能安全统计保留的所述视频的帧的所述部分的亮度分量中写入所述功能安全统计。

6.根据权利要求3所述的系统，其中所述显示子系统驱动器仅在为所述功能安全统计保留的所述视频的帧的所述部分中的每个字的N个最高有效位中写入所述功能安全统计，其中N是大于1的正整数。

7.根据权利要求1所述的系统，其中所述视频帧被并行提供给所述主处理器和相关联的显示器。

8.根据权利要求1所述的系统，其中功能安全系统驱动器、所述显示子系统驱动器和所述显示子系统中的每一个被实施为汽车中的片上系统的一部分。

9.一种方法，包括：

累积来自至少一个受监控系统的功能安全统计；

将所述功能安全统计格式化为视频数据；

将所述功能安全统计附加到为功能安全统计保留的视频的帧的一部分；

经由显示子系统，将视频数据流的所述帧发送到主处理器；以及

在所述主处理器处，从视频帧提取所述功能安全统计。

10.根据权利要求9所述的方法，其中将所述视频数据流的所述帧发送到所述主处理器包括将所述视频数据流的所述帧并行发送到所述主处理器和相关联的显示器中的每一个。

11.根据权利要求9所述的方法，其中在所述主处理器处从所述视频帧提取所述功能安全统计包括在所述主处理器处提取所述视频的帧以提供所述功能安全统计和不包含所述功能安全统计的干净的视频的帧，所述方法还包括将所述干净的视频的帧提供给相关联的显示器。

12.根据权利要求9所述的方法，还包括在所述显示子系统处将所述视频数据流的所述帧从第一视频格式转换为第二视频格式，其中将所述功能安全统计格式化为视频数据包括格式化所述功能安全统计，使得所述功能安全统计对于所述视频数据从所述第一视频格式到所述第二视频格式的转换是鲁棒的。

13.根据权利要求9所述的方法，其中所述第一视频格式是RGB格式，并且所述第二视频格式是YUV 422格式，并且格式化所述功能安全统计包括：

仅在为功能安全统计保留的视频的帧的所述部分内的每个字的N个最高有效位中写入所述功能安全统计，其中N是大于1的正整数；以及

对所述功能安全统计进行上采样。

14.根据权利要求9所述的方法，其中所述第一视频格式是YUV 422格式，并且所述第二视频格式是RGB格式和YUV 444格式中的一个，并且格式化所述功能安全统计包括仅在为功能安全统计保留的视频的帧的所述部分的亮度分量内的每个字的N个最高有效位中写入所述功能安全统计，其中N是大于1的正整数。

15.根据权利要求9所述的方法，还包括响应于所述功能安全统计，在所述至少一个受监控系统的受监控系统处采取补救措施。

16.一种用于发送汽车内的功能安全统计的方法，包括：

累积来自所述汽车内的至少一个自动系统的功能安全统计；

在所述汽车的摄像机处获取视频的帧；

将所述功能安全统计格式化为视频数据，使得所述功能安全统计对于所述视频数据从第一视频格式到第二视频格式的转换是鲁棒的；

将所述功能安全统计附加到为功能安全统计保留的所述视频的帧的一部分；

在显示子系统处，将所述视频数据流的所述帧从所述第一视频格式转换为所述第二视频格式；

经由所述显示子系统，将所述视频数据流的所述帧发送到主处理器；以及

在所述主处理器处，从所述视频数据流的所述帧提取所述功能安全统计。

17.根据权利要求16所述的方法，其中将所述功能安全统计格式化为视频数据包括对所述功能安全统计进行上采样。

18.根据权利要求16所述的方法，其中将所述功能安全统计格式化为视频数据包括仅在为所述功能安全统计保留的所述视频的帧的所述部分的亮度分量中写入所述功能安全统计。

19.根据权利要求16所述的方法，其中将所述功能安全统计格式化为视频数据包括仅在为所述功能安全统计保留的所述视频的帧的所述部分中的每个字的N个最高有效位中写入所述功能安全统计，其中N是大于1的正整数。

20.根据权利要求16所述的方法，其中在所述主处理器处从所述视频帧提取所述功能安全统计包括在所述主处理器处提取所述视频的帧以提供所述功能安全统计以及不包含所述功能安全统计的干净的视频的帧，所述方法还包括将所述干净的视频的帧提供给相关联的显示器。