CN115665403A - 视频注入方法、系统、视频注入配置方法及电子设备 - Google Patents

Abstract

本发明公开了一种视频注入方法、系统、视频注入配置方法及电子设备。视频注入方法包括：首先获取视频故障配置信息及初始视频数据；视频故障配置信息包括视频故障类型和视频故障参数；然后根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元，以使视频接收单元对部分或全部图像帧进行处理。本发明可以根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

Description

视频注入方法、系统、视频注入配置方法及电子设备

技术领域

本发明涉及计算机软件技术领域，具体而言，涉及一种视频注入方法、系统、视频注入配置方法及电子设备。

背景技术

目前无人驾驶技术蓬勃发展，其中最依赖的是现实情况下采集的数据信息。在算法开发过程中最重要的就是利用现实数据验证算法的效果，利用采集数据回注(即注入)控制器，可以大大提高开发及验证的效率。

具体来说，控制器中设置有算法(比如机器学习的神经网络)，在开发完成后，车上的摄像头可将采集到的视频数据注入到控制器，控制器的算法可对采集到的视频数据进行处理，得到输出结果，例如可实现目标识别。

在算法开发过程中，需要对算法(例如神经网络)进行训练、验证等工作，此时，需要向控制器的算法注入各种样本视频数据，样本视频数据的数据源一般为真实采集的视频数据，而大量真实采集的视频数据获取难度大，且成本较高。为了降低数据获取难度和成本，目前出现了模拟视频数据的方案。而如何模拟视频数据，使模拟的视频数据尽量贴近真实采集的视频数据，对开发和硬件验证至关重要。

发明内容

为了克服上述问题和缺陷，本发明提供一种视频注入方法、系统、视频注入配置方法及电子设备，可以使注入的图像帧更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证。

由此，本发明第一方面提供一种视频注入方法，包括：

获取视频故障配置信息及初始视频数据；视频故障配置信息包括视频故障类型和视频故障参数；

根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元，以使视频接收单元对部分或全部图像帧进行处理；

若视频故障类型包括时延故障，则：视频故障参数包括时延参数，初始视频数据中注入至视频接收单元的图像帧包括时延图像帧，时延图像帧注入至视频接收单元的实际注入时间晚于时延图像帧的预设注入时间，且时延图像帧的实际注入时间与预设注入时间的时间差匹配于时延参数。

可选地，时延参数包括用于表征时延幅度的第一时延参数和用于表征时延故障发生的频繁程度的第二时延参数，

根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，包括：

将初始视频数据传输至图像帧缓冲模块中，并根据第二时延参数与初始视频数据中各图像帧的预设注入时间，确定时延图像帧；

根据第一时延参数和时延图像帧的预设注入时间，从图像帧缓冲模块中提取时延图像帧，并将提取出的时延图像帧注入视频接收单元，第一时延参数匹配于时间差。

可选地，若视频故障类型包括乱序故障，则：视频故障参数包括乱序参数，初始视频数据中注入至视频接收单元的图像帧包括乱序图像帧；

根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，包括：

将初始视频数据传输至图像帧缓冲模块中，并根据乱序参数，将初始视频数据中多个乱序图像帧的排列次序自初始排列次序调整为目标排列次序；

针对其中的任一乱序图像帧，均确定该任一乱序图像帧在目标排列次序中的目标位次，并将初始排列次序中处于目标位次的乱序图像帧的预设注入时间，作为该任一乱序图像帧的目标注入时间；

根据目标排列次序与目标注入时间，从图像帧缓冲模块中提取乱序图像帧，并将乱序图像帧注入视频接收单元。

可选地，视频故障配置信息，由故障配置单元根据目标故障场景确定，目标故障场景包括至少一个子故障场景，子故障场景与视频故障类型相对应。

可选地，目标故障场景，由故障配置单元根据预设的故障场景生成时序确定，故障场景生成时序用于表征各子故障场景发生的时间和顺序。

可选地，若子故障场景包括通信延迟的故障场景，视频故障类型包括时延故障，则：时延故障，由故障配置单元根据通信延迟的故障场景确定；

若子故障场景包括接口松动的故障场景，视频故障类型包括掉帧故障，则：掉帧故障由故障配置单元根据接口松动的故障场景确定；视频故障参数包括掉帧参数，初始视频数据中注入至视频接收单元的图像帧排除了掉帧图像帧，掉帧图像帧是根据掉帧参数自初始视频数据排除的。

可选地，故障配置单元包括第一故障配置单元和第二故障配置单元，第一故障配置单元与第一视频注入单元通信连接，第二故障配置单元与第二视频注入单元通信连接，第一视频注入单元与第二视频注入单元均与视频接收单元通信连接，故障配置信息包括第一故障配置信息和第二故障配置信息；

获取视频故障配置信息的步骤，包括：

通过第一视频注入单元接收第一故障配置信息，并通过第二视频注入单元接收第二故障配置信息；第一故障配置信息由第一故障配置单元根据目标故障场景确定得到，第二故障配置信息由第二故障配置单元根据关联故障场景确定得到，目标故障场景与关联故障场景互相同步，且均由第一故障配置单元确定得到；

其中，初始视频数据包括第一初始视频数据和第二初始视频数据，第一初始视频数据与第一故障配置信息相对应，第二初始视频数据与第二故障配置信息相对应，第一初始视频数据与第二初始视频数据关联于同一车辆。

本发明第二方面提供一种视频注入配置方法，包括：

确定视频故障配置信息，并将视频故障配置信息发送至视频注入单元，以使视频注入单元执行上述的视频注入方法。

本发明第三方面提供一种视频注入系统，包括：

故障配置单元，用于执行上述的视频注入配置方法；

视频注入单元，用于执行上述的视频注入方法。

本发明第四方面提供一种电子设备，包括处理器和存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现上述视频注入方法和/或视频注入配置方法。

与现有技术相比，本发明的有益效果包括：本发明通过上述技术方案，可以根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例视频注入系统的架构示意图一；

图2为本发明实施例视频注入方法的步骤流程图一；

图3为本发明实施例视频注入方法的步骤流程图二；

图4为本发明实施例视频注入方法的步骤流程图三；

图5为本发明实施例视频注入系统的架构示意图二；

图6为本发明实施例视频注入装置的架构示意图；

图7为本发明实施例电子设备的计算机系统的架构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本发明提供一种视频注入系统，如图1所示，包括故障配置单元1和视频注入单元2，其中，故障配置单元1用于执行下文描述的视频注入配置方法，视频注入单元2用于执行下文描述的视频注入方法。视频注入单元2可以为FPGA(Field－Programmable GateArray，现场可编程门阵列)视频注入板卡，故障配置单元1可以为上位机、视频处理单元(例如工控机)或服务器。

故障配置单元1可以为视频处理单元，其可用于向视频注入单元2输出初始视频数据，故障配置单元1和视频注入单元2之间可以通过HDMI线路传输数据，HDMI(HighDefinition Multimedia Interface，高清多媒体接口)是一种全数字化视频和声音发送接口，可以传输未压缩的音频及视频信号。故障配置单元1和视频注入单元2之间也可以通过PCIE来传输数据，其中PICE(peripheral component interconnect express，高速外围设备互连)是一种高速串行计算机扩展总线标准，具有较高的数据传输速率。

本发明实施例提供一种视频注入方法，如图2所示，包括步骤110和步骤120，具体如下：

步骤110，获取视频故障配置信息及初始视频数据；视频故障配置信息包括视频故障类型和视频故障参数。

步骤120，根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元3，以使视频接收单元3对部分或全部图像帧进行处理。

针对于不需发生故障的图像帧，其注入过程可例如：

针对于某一视频图像帧，可比较该图像帧的预设注入时间t与视频注入单元基于其所获取到的时钟信号得到的当前时间t'；

一种举例中，可在t＝t'时,将该图像帧注入至视频接收单元3；

另一举例中，也可在t≤t'时，则将该图像帧注入至视频接收单元3。其中，无故障的情况下，视频注入单元会依据接收的顺序，依次将图像帧注入到视频接收单元3.在t≤t'时注入的方案下，可有效保障所需注入的图像帧都能顺利完成注入，还可以为各种故障模拟的实现提供基础。例如，即便有两个预设注入时间(例如t1、t2)小于t'的图像帧均还未被注入，也可依次将该两个图像帧注入。其中的小于，也可理解为领先于，其中的大于，也可理解为落后于。

在此基础上，在融入故障之后，处理过程可例如：

若视频故障类型包括时延故障，则：视频故障参数包括时延参数，初始视频数据中注入至视频接收单元3的图像帧包括时延图像帧，时延图像帧注入至视频接收单元3的实际注入时间晚于时延图像帧的预设注入时间，且时延图像帧的实际注入时间与预设注入时间的时间差匹配于时延参数。

其中，时延故障是指图像帧注入的时间晚于预设的时间，例如，图像帧预设的注入时间为第n秒中，在时延故障下，图像帧实际的注入时间为第n+1秒中。图像帧的预设注入时间可以为图像帧的时间戳。时延图像帧的实际注入时间晚于其本身时间戳表示的时间。

视频接收单元3可以为神经网络模型，具有机器学习的算法，可对采集到的视频数据进行处理，得到输出结果，例如可实现目标识别。视频接收单元3可以利用视频数据进行自动驾驶或辅助驾驶技术中的算法验证、开发或测试等处理。

本实施例可以根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

此外，以上所提及的预设注入时间等时间，可以表征为第几秒，也可表征为某年某月某日某时某分某秒。其单位的精细程度也可根据需求而任意变化，本说明书为便于说明，精细至秒进行说明，仅为一种示例。

本实施例的一种实施方式中，时延参数包括用于表征时延幅度的第一时延参数和用于表征时延故障发生的频繁程度的第二时延参数；

在步骤120中，根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，具体包括步骤121和步骤122，如图3所示：

步骤121，将初始视频数据传输至图像帧缓冲模块中，并根据第二时延参数与初始视频数据中各图像帧的预设注入时间，确定时延图像帧。其中，第二时延参数为时延频次，可以表征每过第一段时间发生一次时延故障，例如每过10秒钟产生一次时延故障；或者每隔一定数量图像帧发生一次时延故障，例如每100帧图像，发生一次时延故障。

具体地，可以设初始视频数据有30秒，时延频次为每过10秒钟产生一次时延故障，预设在第10秒、20秒、30秒的时候发生时延故障，将时间戳(即预设注入时间)为10秒、20秒、30秒的图像帧确定为时延图像帧。

步骤122，根据第一时延参数和时延图像帧的预设注入时间，从图像帧缓冲模块中提取时延图像帧，并将提取出的时延图像帧注入视频接收单元，第一时延参数匹配于时间差。

其中，第一时延参数中时延幅度可以表示时延图像帧需要时延的时间长短，如时延幅度为0.1秒。第一时延参数还可以表示每次发生时延故障的持续时间，如1秒钟内所有图像帧都时延，或涉及到多少帧时延图像帧，如连续10帧图像都时延。

具体地，设第一时延参数为时延幅度0.1秒，时延图像帧的预设注入时间为第10秒，则该时延图像帧的实际注入时间为第10.1秒。时延幅度可设计为小于相邻两个图像帧的预设注入时间的差值，也可设计为大于相邻两个图像帧的预设注入时间的差值，进而，时延图像帧的时延也会影响后一帧图像的注入时间，例如，相邻两个图像帧的预设注入时间分别为第10秒与第10.2秒，时延幅度为0.3秒，该两个图像帧将会早第10.3秒到来时以此被注入，即：第10.3秒到来时先注入预设注入时间为第10秒的图像帧，然后再注入预设注入时间为第10.2秒的图像帧。

本实施例中，图像帧缓冲模块采用可以FIFO(First Input First Output，先进先出)技术。

本实施例的一种实施方式中，若视频故障类型包括乱序故障，则：视频故障参数包括乱序参数，初始视频数据中注入至视频接收单元的图像帧包括乱序图像帧。乱序故障指的是图像帧的次序发生了意外的变化。

根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，包括步骤123、步骤124和步骤125，如图4所示：

步骤123，将初始视频数据传输至图像帧缓冲模块中，并根据乱序参数，将初始视频数据中多个乱序图像帧的排列次序自初始排列次序调整为目标排列次序。其中，乱序参数可以表征按设定的规则对多个图像帧的排列次序进行调整。

例如，图像帧P1、P2及P3为乱序图像帧，原始排列次序为P1在P2之前、P2在P3之前，经过乱序后，图像帧的排列次序由P1，P2，P3变成P3，P1，P2。即，P3排在最前面，其次是P1，最后是P2，目标排列次序为P3，P1，P2。

步骤124，针对其中的任一乱序图像帧，均确定该任一乱序图像帧在目标排列次序中的目标位次，并将初始排列次序中处于目标位次的乱序图像帧的预设注入时间，作为该任一乱序图像帧的目标注入时间。

例如，乱序图像帧P1、P2及P3的预设注入时间(时间戳)分别为t1、t2和t3。针对乱序图像帧P1，其在目标排列次序中，目标位次为第2位；而在初始排列次序中，排列位次为第2位的乱序图像帧为P2，P2的预设注入时间为t2，则将时间t2作为乱序图像帧P1的目标注入时间。以此类推，P2的目标注入时间为t3，P3的目标注入时间为t1。

步骤125，根据目标排列次序与目标注入时间，从图像帧缓冲模块中提取乱序图像帧，并将乱序图像帧注入视频接收单元。

例如，目标排列次序为P3，P1，P2；当时间到达t1时，将图像帧P3注入视频接收单元；当时间到达t2时，将图像帧P1注入视频接收单元；当时间到达t3时，将图像帧P1注入视频接收单元。

本实施例的一种实施方式中，视频故障配置信息，由故障配置单元1根据目标故障场景确定，目标故障场景包括至少一个子故障场景，子故障场景与视频故障类型相对应。例如，子故障场景可以包括通信延迟的故障场景、接口松动的故障场景、通信干扰的故障场景等汽车自动驾驶中可能出现的故障场景。通信延迟指的是视频数据传输网络存在的通信延迟；接口松动指的是视频数据传输链路中某个接口松动；通信干扰指的是视频数据传输网络存在的通信干扰。

具体地，目标故障场景，由故障配置单元1根据预设的故障场景生成时序确定，故障场景生成时序用于表征各子故障场景发生的时间和顺序。例如，在第t1秒发生通信延迟的故障场景、在第t2秒发生接口松动的故障场景，在t3秒不发生故障场景。

其中，若子故障场景包括通信延迟的故障场景，视频故障类型包括时延故障，则：时延故障，由故障配置单元1根据通信延迟的故障场景确定。

若子故障场景包括接口松动的故障场景，视频故障类型包括掉帧故障，则：掉帧故障由故障配置单元1根据接口松动的故障场景确定；视频故障参数包括掉帧参数，初始视频数据中注入至视频接收单元的图像帧排除了掉帧图像帧，掉帧图像帧是根据掉帧参数自初始视频数据排除的，即，在接口松动的故障场景中，初始视频数据中注入至视频接收单元的图像帧不包括掉帧图像帧。

若子故障场景包括通信干扰的故障场景，视频故障类型包括乱序故障，则：乱序故障由故障配置单元1根据通信干扰的故障场景确定；视频故障参数包括乱序参数，初始视频数据中注入至视频接收单元的图像帧排列次序发生变化。

在通信网络问题的故障场景中，还可以产生误码故障。在误码故障中，部分图像帧的数据出现误码情况，随机修改任意数量的图像帧的行数据，完成通信网络问题导致信号误码的故障模拟。

每个故障场景对应的视频故障配置信息可以预先设置在故障配置单元中，当需要进行视频故障模拟时，直接选定需要的故障场景，即可模拟出对应的视频数据，并注入至视频接收单元。

以上过程中，为便于理解，每种子故障场景描述为对应于一种故障类型，在实际方案中，一个故障场景也可对应多种故障类型，多种故障类型可同时发生，也可以依据预设的时序而依次发生。

本实施例的一种实施方式中，如图5所示，故障配置单元1包括第一故障配置单元11和第二故障配置单元12，视频注入单元2包括第一视频注入单元21和第二视频注入单元22，第一故障配置单元11与第一视频注入单元21通信连接，第二故障配置单元12与第二视频注入单元22通信连接，第一视频注入单元21与第二视频注入单元22均与视频接收单元3通信连接，故障配置信息包括第一故障配置信息和第二故障配置信息；

获取视频故障配置信息的步骤，包括：

通过第一视频注入单元21接收第一故障配置信息，并通过第二视频注入单元22接收第二故障配置信息；第一故障配置信息由第一故障配置单元11根据目标故障场景确定得到，第二故障配置信息由第二故障配置单元12根据关联故障场景确定得到，目标故障场景与关联故障场景互相同步，且均由第一故障配置单元11确定得到；

其中，初始视频数据包括第一初始视频数据和第二初始视频数据，第一初始视频数据与第一故障配置信息相对应，第二初始视频数据与第二故障配置信息相对应，第一初始视频数据与第二初始视频数据关联于同一车辆。

上述步骤中，第二故障配置单元12可以有多个，第二视频注入单元22也可以有多个，总体而言，第一视频注入单元和各第二视频注入单元22的视频故障配置信息，都在第一故障配置单元11上设置，然后通过第一故障配置单元11去同步各第二故障配置单元12对应的故障场景模式。

通过上述步骤，可以模拟一车辆上多个摄像头所拍摄到的视频，然后将这些多路视频同步注入至视频接收单元。每一路故障配置单元和视频注入单元模拟一个摄像头。

本实施例中，由于同步注入的不同视频数据有时候是相关联的，例如同一部车不同摄像头的视频数据，此时在接口不牢固的故障场景中，通常只会出现一个或少数几个摄像头的视频数据发生故障；而通信环境不佳(延迟、干扰)的故障场景中，则可能会普遍发生于多个摄像头的视频数据，也可能发生于单个摄像头的视频数据，所以，基于上述方法，也可自适应地选择需要模拟的子故障场景。

本实施例通过上述方法步骤，可以根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

本实施例的一种实施方式中，故障配置单元先将视频故障配置信息发送至寄存器，形成寄存器故障配置信息，可以由嵌入式程序将视频故障配置信息转换为寄存器故障配置信息。然后视频注入单元检测到寄存器上存在寄存器故障配置信息时，根据寄存器故障配置信息确定故障操作。

本实施例的一种实施方式中，视频注入单元通过串行解串器(SERDES)传输给视频接收单元3。其中，串行解串器包括串行器(SERializer)和解串器(DESerializer)，它是一种主流的时分多路复用(TDM)、点对点(P2P)的串行通信技术。即在发送端多路低速并行信号被转换成高速串行信号，经过传输媒体(光缆或铜线)，最后在接收端高速串行信号重新转换成低速并行信号。这种点对点的串行通信技术充分利用传输媒体的信道容量，减少所需的传输信道和器件引脚数目，提升信号的传输速度，从而大大降低通信成本。

本发明实施例还提供一种视频注入配置方法，包括：

确定视频故障配置信息，并将视频故障配置信息发送至视频注入单元，以使视频注入单元执行上述实施例提供的视频注入方法。

本实施例通过上述方法步骤，可以让视频注入单元根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

一种实施例中，图像帧可以是视频接收单元根据传输时机信息和预设注入时间而传输至视频注入单元的，所述传输时机信息用于表征，所述图像帧传输至所述视频注入单元的时间相对于所述图像帧的预设注入时间的提前程度。各所述子初始视频数据中，同一预设注入时间的视频图像帧的所述传输时机信息相匹配。

例如：可先确定传输时间点与时间区间作为所述传输时机信息，所述时间区间的最小值大于所述传输时间点；比较所述传输时间点与所述当前时间，若所述当前时间到达所述传输时间点，则将预设注入时间落在所述第二时间区间的视频帧图像，及其预设注入时间均传输至所述视频注入单元。

进而，可以让视频注入单元中缓存的图像帧数量保持在一定范围，在图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。

一种实施例中，视频接收单元和视频注入单元之间通过HDMI线路传输数据时，视频接收单元还可根据所述图像帧和所述预设注入时间的对应关系，将所述预设注入时间编码至对应的所述视频图像帧的目标像素上，以使所述视频注入单元能够自所述目标像素提取出所述预设注入时间；所述目标像素为所述图像帧中指定区域的像素。进而，可保障预设注入时间可在HDMI线路的基础上实现传输，相较而言，现有技术中通常会将图像帧之外的其他信息设置于消隐期进行传输，然而，这种方式仅适用于视频注入单元已配置了读取消隐期中数据并进行分析处理功能的情况下，而以上实施例的方案可普遍适用于各种情形，有助于简化视频注入单元的软硬件配置。

本发明实施例还提供一种视频注入装置，如图6所示，包括获取模块301和注入模块302；

获取模块301，用于获取视频故障配置信息及初始视频数据；视频故障配置信息包括视频故障类型和视频故障参数。

注入模块302，用于根据视频故障配置信息，将初始视频数据中的部分或全部图像帧注入视频接收单元，以使视频接收单元对部分或全部图像帧进行处理。

其中，若视频故障类型包括时延故障，则：视频故障参数包括时延参数，初始视频数据中注入至视频接收单元的图像帧包括时延图像帧，时延图像帧注入至视频接收单元的实际注入时间晚于时延图像帧的预设注入时间，且时延图像帧的实际注入时间与预设注入时间的时间差匹配于时延参数。

本实施例的视频注入装置可以采用上述实施例提供的视频注入方法，根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

本发明实施例还提供一种视频注入配置装置，用于确定视频故障配置信息，并将视频故障配置信息发送至视频注入单元，以使视频注入单元执行上述实施例提供的视频注入方法。

本实施例视频注入配置装置，可以让视频注入单元根据视频故障配置信息将初始视频数据中的图像帧进行回注，模拟视频数据，让包括时延故障的图像帧注入至视频接收单元，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图7示出的电子设备的计算机系统仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)1801，其可以根据存储在只读存储器(Read-Only Memory，ROM)1802中的程序或者从存储部分1808加载到随机访问存储器(Random Access Memory，RAM)1803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1803中，还存储有系统操作所需的各种程序和数据。CPU 1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出(Input/Output，I/O)接口1805也连接至总线1804。

以下部件连接至I/O接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1807；包括硬盘等的存储部分1808；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至I/O接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元(CPU)1801执行时，执行本发明的系统中限定的各种功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

具体地，通过本实施例的电子设备，可以实现上述实施例提供的视频故障模拟方法。具体包括：首先获取初始视频数据，并接收来自于故障配置单元的视频故障配置信息；视频故障配置信息包括视频故障类型和视频故障参数，视频故障类型包括时延故障、掉帧故障和误码故障，视频故障参数包括时延参数、掉帧参数和误码参数；然后根据视频故障配置信息，对初始视频数据进行对应的故障操作并缓存图像，得到模拟故障视频数据；最后将模拟故障视频数据传输给视频接收单元，以使视频接收单元对模拟故障视频数据进行处理。通过上述技术方案，可以模拟视频故障数据，让样本视频数据包含模拟视频故障数据，模拟的故障种类更加丰富多样，样本视频数据也更有多样性，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

作为另一方面，本发明还提供了一种计算机可读的存储介质，该存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备的处理器执行时，使得该电子设备实现上述实施例中提供的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

具体地，通过本实施例的存储介质，可以实现上述实施例提供的视频故障模拟方法。具体包括：首先获取初始视频数据，并接收来自于故障配置单元的视频故障配置信息；视频故障配置信息包括视频故障类型和视频故障参数，视频故障类型包括时延故障、掉帧故障和误码故障，视频故障参数包括时延参数、掉帧参数和误码参数；然后根据视频故障配置信息，对初始视频数据进行对应的故障操作并缓存图像，得到模拟故障视频数据；最后将模拟故障视频数据传输给视频接收单元，以使视频接收单元对模拟故障视频数据进行处理。通过上述技术方案，可以模拟视频故障数据，让样本视频数据包含模拟视频故障数据，模拟的故障种类更加丰富多样，样本视频数据也更有多样性，使模拟的视频数据更贴近真实采集的视频数据，提升视频接收单元中人工智能算法的健壮性和容错性验证，使得应用程序可以得到更好的测试用例，完善应用开发的成熟度和健壮度。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频注入方法，其特征在于，包括：

获取视频故障配置信息及初始视频数据；所述视频故障配置信息包括视频故障类型和视频故障参数；

根据所述视频故障配置信息，将所述初始视频数据中的部分或全部图像帧注入视频接收单元，以使所述视频接收单元对所述部分或全部图像帧进行处理；

若所述视频故障类型包括时延故障，则：所述视频故障参数包括时延参数，所述初始视频数据中注入至所述视频接收单元的图像帧包括时延图像帧，所述时延图像帧注入至所述视频接收单元的实际注入时间晚于所述时延图像帧的预设注入时间，且所述时延图像帧的实际注入时间与预设注入时间的时间差匹配于所述时延参数。

2.根据权利要求1所述的视频注入方法，其特征在于，所述时延参数包括用于表征时延幅度的第一时延参数和用于表征时延故障发生的频繁程度的第二时延参数；

所述根据所述视频故障配置信息，将所述初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，包括：

将所述初始视频数据传输至图像帧缓冲模块中，并根据所述第二时延参数与所述初始视频数据中各图像帧的预设注入时间，确定所述时延图像帧；

根据所述第一时延参数和所述时延图像帧的预设注入时间，从所述图像帧缓冲模块中提取所述时延图像帧，并将提取出的所述时延图像帧注入所述视频接收单元，所述第一时延参数匹配于所述时间差。

3.根据权利要求1所述的视频注入方法，其特征在于，

若所述视频故障类型包括乱序故障，则：所述视频故障参数包括乱序参数，所述初始视频数据中注入至所述视频接收单元的图像帧包括乱序图像帧；

所述根据所述视频故障配置信息，将所述初始视频数据中的部分或全部图像帧注入视频接收单元的步骤，包括：

将所述初始视频数据传输至图像帧缓冲模块中，并根据所述乱序参数，将所述初始视频数据中多个乱序图像帧的排列次序自初始排列次序调整为目标排列次序；

针对其中的任一乱序图像帧，均确定所述任一乱序图像帧在所述目标排列次序中的目标位次，并将所述初始排列次序中处于所述目标位次的乱序图像帧的预设注入时间，作为所述任一乱序图像帧的目标注入时间；

根据所述目标排列次序与所述目标注入时间，从所述图像帧缓冲模块中提取所述乱序图像帧，并将所述乱序图像帧注入所述视频接收单元。

4.根据权利要求1至3任一项所述的视频注入方法，其特征在于，所述视频故障配置信息，由故障配置单元根据目标故障场景确定，所述目标故障场景包括至少一个子故障场景，所述子故障场景与所述视频故障类型相对应。

5.根据权利要求4所述的视频注入方法，其特征在于，所述目标故障场景，由所述故障配置单元根据预设的故障场景生成时序确定，所述故障场景生成时序用于表征各所述子故障场景发生的时间和顺序。

6.根据权利要求4所述的视频注入方法，其特征在于，

若所述子故障场景包括通信延迟的故障场景，所述视频故障类型包括时延故障，则：所述时延故障，由所述故障配置单元根据所述通信延迟的故障场景确定；

若所述子故障场景包括接口松动的故障场景，所述视频故障类型包括掉帧故障，则：所述掉帧故障由故障配置单元根据所述接口松动的故障场景确定；所述视频故障参数包括掉帧参数，所述初始视频数据中注入至所述视频接收单元的图像帧排除了掉帧图像帧，所述掉帧图像帧是根据所述掉帧参数自所述初始视频数据排除的。

7.根据权利要求4所述的视频注入方法，其特征在于，所述故障配置单元包括第一故障配置单元和第二故障配置单元，所述第一故障配置单元与第一视频注入单元通信连接，所述第二故障配置单元与第二视频注入单元通信连接，所述第一视频注入单元与所述第二视频注入单元均与所述视频接收单元通信连接，所述视频故障配置信息包括第一故障配置信息和第二故障配置信息；

所述获取视频故障配置信息的步骤，包括：

通过所述第一视频注入单元接收所述第一故障配置信息，并通过所述第二视频注入单元接收所述第二故障配置信息；所述第一故障配置信息由所述第一故障配置单元根据所述目标故障场景确定得到，所述第二故障配置信息由所述第二故障配置单元根据关联故障场景确定得到，所述目标故障场景与所述关联故障场景互相同步，且均由所述第一故障配置单元确定得到；

其中，所述初始视频数据包括第一初始视频数据和第二初始视频数据，所述第一初始视频数据与所述第一故障配置信息相对应，所述第二初始视频数据与所述第二故障配置信息相对应，所述第一初始视频数据与所述第二初始视频数据关联于同一车辆。

8.一种视频注入配置方法，其特征在于，包括：

确定视频故障配置信息，并将所述视频故障配置信息发送至视频注入单元，以使所述视频注入单元执行权利要求1至7任一项所述的视频注入方法。

9.一种视频注入系统，其特征在于，包括：

故障配置单元，用于执行权利要求8所述的视频注入配置方法；

视频注入单元，用于执行权利要求1至7任一项所述的视频注入方法。

10.一种电子设备，其特征在于，包括处理器和存储介质，所述存储介质存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至8中任一项所述的方法。

Images