CN116016823B - 一种视频注入装置及系统 - Google Patents

Abstract

本发明公开了一种视频注入装置及系统。视频注入装置包括端口确定模块、视频注入模块及传输处理模块，端口确定模块用于确定视频输出装置与视频注入装置之间的连接端口是PCIE端口，或HDMI端口；视频注入模块用于向视频接收装置注入视频数据；传输处理模块用于当确定连接端口是HDMI端口时，通过HDMI端口接收视频输出装置输出的视频数据，并向视频注入装置传输视频数据；当连接端口为PCIE端口时，视频注入模块直接与PCIE端口连接，视频数据通过PCIE端口传输至视频注入模块。本发明可配置有PCIE端口和/或HDMI端口，视频注入装置可以通过端口确定模块，任意选择通过PCIE端口或HDMI端口与视频输出装置连接，使得视频注入装置兼容HDMI和PCIE的传输方式，扩大了适用范围。

Description

一种视频注入装置及系统

技术领域

本发明涉及视频技术领域，具体而言，涉及一种视频注入装置及系统。

背景技术

在无人驾驶技术的在算法开发过程中，需要对控制器中的算法(例如神经网络)进行训练、验证、测试等工作，这就需要向控制器注入各种视频数据。

目前一般是利用视频输出装置，将视频传输至视频注入装置，视频注入装置再将视频数据注入至控制器(视频接收装置)中。

现有的视频注入装置中，只能以单一的一种方式(例如PCIE方式)接收视频数据；这就导致在视频注入的工作中，数据接收方式单一，难以兼顾各种软硬件条件。如何使视频注入装置兼容视频输入装置不同的输出方式，是一个亟需解决的问题。

发明内容

为了克服上述问题和缺陷，本发明的目的是提供一种视频注入装置及系统，可以让视频输出装置和视频注入装置兼容HDMI和PCIE的传输方式，扩大视频注入系统的适用范围。

为实现上述目的，本发明首先提供一种视频注入装置，用于接收视频输出装置输出的视频数据，并将视频数据注入至视频接收装置，视频注入装置包括：

端口确定模块，用于确定视频注入装置与视频输出装置之间的连接端口是PCIE端口，或HDMI端口；

视频注入模块，用于向视频接收装置注入视频数据；

传输处理模块，用于当确定连接端口是HDMI端口时，通过HDMI端口接收视频输出装置输出的视频数据，并向视频注入装置传输视频数据；

当连接端口为PCIE端口时，视频注入模块直接与PCIE端口连接，视频数据通过PCIE端口传输至视频注入模块。

可选地，端口确定模块包括PCIE判断模块和配置模块，PCIE判断模块用于判断传输处理模块是否与PCIE端口连接，若是则确定连接端口为PCIE端口，反之则确定连接端口为HDMI端口，配置模块用于根据PCIE判断模块反馈的判断结果，调整传输处理模块的传输模式，传输模式包括PCIE模式或HDMI模式。

可选地，传输处理模块包括：

多个速度选择模块，用于根据视频输出装置与视频注入装置之间的HDMI线路的传输速率，选择视频数据的传输速率，以使视频数据的传输速率与HDMI线路的传输速率相匹配；

多个对齐模块，与速度选择模块连接，用于将多路HDMI线路中传输的视频数据在时间上对齐；

线路选择模块，用于将各对齐模块输出的视频数据传输至视频注入模块中对应的传输线路。

可选地，视频注入模块包括格式转换模块，格式转换模块用于将视频数据转换为AXIS视频数据，当连接端口为HDMI端口时，格式转换模块与传输处理模块的线路选择模块连接，当连接端口为PCIE端口时，格式转换模块与PCIE端口连接。

可选地，视频注入模块还包括视频处理模块，视频处理模块用于将AXIS视频数据的格式转换为目标格式、透传AXIS视频数据或改变AXIS视频数据的图像分辨率。

可选地，视频注入模块还包括视频流选择模块和缓存控制模块，视频流选择模块用于根据述AXIS视频数据中图像帧的时间戳，将图像帧发送至缓存控制模块，缓存控制模块用于接收和缓存图像帧。

可选地，视频注入模块还包括视频输出控制模块，视频输出控制模块用于根据时间戳，将图像帧从缓存控制模块传输至视频接收装置。

可选地，当连接端口为HDMI端口时，视频输出控制模块还用于从图像帧的目标像素上获取时间戳。

可选地，当连接端口为PCIE端口时，视频输出控制模块还用于从图像帧的嵌入式数据中获取时间戳。

本发明同时提供一种视频注入系统，包括视频输出装置和上述的视频注入装置，视频输出装置与视频注入装置通信连接。

与现有技术相比，本发明的有益效果包括：本发明的视频注入装置用于接收视频输出装置输出的视频数据，并将视频数据注入至视频接收装置；视频注入装置包括端口确定模块、视频注入模块及传输处理模块，端口确定模块用于确定视频输出装置与视频注入装置之间的连接端口是PCIE端口，或HDMI端口；视频注入模块用于向视频接收装置注入视频数据；传输处理模块用于当确定连接端口是HDMI端口时，通过HDMI端口接收视频输出装置输出的视频数据，并向视频注入装置传输视频数据；当连接端口为PCIE端口时，视频注入模块直接与PCIE端口连接，视频数据通过PCIE端口传输至视频注入模块。本发明的视频输出装置可以配置有PCIE端口和/或HDMI端口，视频注入装置可以通过端口确定模块，任意选择通过PCIE端口或HDMI端口与视频输出装置连接，进行数据传输，使得视频注入装置可以兼容HDMI和PCIE的传输方式，适配不同连接端口的视频输出装置，扩大了视频注入装置的适用范围。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例视频注入系统的架构示意图；

图2为本发明实施例视频注入装置的架构示意图；

图3为本发明实施例视频注入装置HDMI方式下的架构示意图；

图4为本发明实施例视频注入装置PCIE方式下的架构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

现有的视频输出装置中，有的只有PCIE(peripheral component interconnectexpress，一种高速串行计算机扩展总线标准)卡槽，只能以PCIE方式输出视频数据；也有一些视频输出装置只有HDMI(High Definition Multimedia Interface，高清多媒体接口)端口，只能以HDMI方式输出视频数据；还有一些视频输出装置PCIE和HDMI二者皆有，但其程序只支持以一种方式输出视频数据。因此视频注入装置只能以单一的一种方式(例如PCIE方式)接收视频数据；这就导致在视频注入的工作中，数据接收方式单一，难以兼顾各种软硬件条件。

由此，本发明实施例提供一种视频注入系统，如图1所示，视频注入系统包括视频输出装置1和视频注入装置2，视频输出装置1配置有PCIE端口和/或HDMI端口，视频注入装置2通过PCIE端口或HDMI端口接收视频输出装置1输出的视频数据，并将视频数据注入至视频接收装置3。

如图2所示，本实施例的视频注入装置2包括端口确定模块21、视频注入模块22及传输处理模块23，端口确定模块21用于确定视频输出装置1与视频注入装置2之间的连接端口是PCIE端口，或HDMI端口；视频注入模块22用于向视频接收装置3注入视频数据；传输处理模块23用于当确定连接端口是HDMI端口时，通过HDMI端口接收视频输出装置1输出的视频数据，并向视频注入装置2传输视频数据；当连接端口为PCIE端口时，视频注入模块22直接与PCIE端口连接，视频数据通过PCIE端口传输至视频注入模块22。

本实施例采用上述结构，视频输出装置1同时配置有PCIE端口和HDMI端口，视频注入装置2可以通过端口确定模块21，任意选择通过PCIE端口或HDMI端口与视频输出装置1连接，使得视频注入系统兼容了HDMI和PCIE的传输方式，扩大了视频注入系统的适用范围。

本实施例中，视频输出装置1可以为上位机、工控机、实时机或服务主机，可以对视频数据进行解码处理。视频注入装置2可以包括一个或多个FPGA(Field－ProgrammableGate Array，现场可编程门阵列)视频注入板卡。视频接收装置3可以为需要进行算法的验证、训练、测试的处理器或控制器。

具体地，数据源的原始视频数据可输入至工控机进行解码等处理(也可注入故障视频、视频格式调整等处理)，处理后得到第一视频数据，然后将第一视频数据传输至FPGA视频注入板卡，FPGA视频注入板卡可将第一视频数据注入至视频接收装置3，或FPGA视频注入板卡对第一视频数据做格式、帧率、分辨率调整后得到第二视频数据，再将这个第二视频数据注入至视频接收装置3。

本实施例的一种实施方式中，端口确定模块21包括PCIE判断模块211和配置模块212，PCIE判断模块211用于判断传输处理模块23是否与PCIE端口连接，若是则确定连接端口为PCIE端口，反之则确定连接端口为HDMI端口，配置模块212用于根据PCIE判断模块211反馈的判断结果，调整传输处理模块23的传输模式，传输模式包括PCIE模式或HDMI模式。

具体地，PCIE端口为PCIE卡槽，当PCIE判断模块211监测到FPGA视频注入板卡插入在PCIE卡槽上时，则判定视频注入装置2采用PCIE方式进行数据传输。反之，若PCIE判断模块211监测到PCIE卡槽上没有插入FPGA视频注入板卡时，则判定视频输出装置1与视频注入装置2通过HDMI方式进行数据传输。

配置模块212通过改变寄存器的状态，指示传输处理模块23，当下工作模式为采用PCIE方式还是采用HDMI方式。例如，若FPGA视频注入板卡接入到PCIE卡槽，则可判断为采用PCIE方式，若未接入到PCIE卡槽，则可直接判断为采用HDMI方式，或在满足其他条件(例如HDMI接口是否接线)的情况下，判断为采用HDMI方式。本实施例通过PCIE判断模块211和配置模块212，即可确定整个系统的工作方式为PCIE或HDMI。

本实施例中，HDMI方式需要将视频数据中图像的像素替换掉，所以会改变原图。所以，PCIE判断模块211判断连接端口为PCIE端口，时就优先采用PCIE端口，即，只要视频注入装置2和视频输出装置1支持PCIE方式，就优先用PCIE方式。所以，即便视频注入装置2和视频输出装置1同时连了PCIE端口与HDMI端口，也是优先使用PCIE端口的，这就能保证尽量不去修改原图。

另一方面，视频输出装置1也可以根据PCIE端口是否连接上视频注入装置2，来判断用HDMI方式还是用PCIE方式。判断逻辑与PCIE判断模块211是一样的，如果视频输出装置1的PCIE端口连接上了视频注入装置2，则将视频数据的时间戳写在嵌入式数据(embeddingdata)中；如果视频输出装置1的PCIE端口未连接上视频注入装置2，则将视频数据的时间戳替换到图像帧的像素中，视频数据传输方式采用HDMI方式。

本实施例的一种实施方式中，传输处理模块23包括多个速度选择模块231、多个对齐模块232，及线路选择模块233。

速度选择模块231用于根据视频输出装置1与视频注入装置2之间的HDMI线路的传输速率，选择视频数据的传输速率，以使视频数据的传输速率与HDMI线路的传输速率相匹配。其中，速度选择模块231的作用在于：由于HDMI有高速传输的高速数据线，也有普通低速传输的普通数据线，速度选择模块231可有选择地针对高速数据线实现数据的高速传输，针对普通数据线实现数据的低速传输。

对齐模块232与速度选择模块231连接，对齐模块232用于将多路HDMI线路中传输的视频数据在时间上对齐。对齐模块232具体为MPI(Mobile Industry ProcessorInterface，移动产业处理器接口)对齐模块232，MPI对齐模块232作用在于：实现多路之间所传输数据在时间上的对齐，实现同步传输。

线路选择模块233用于将各对齐模块232输出的视频数据传输至视频注入模块22中对应的传输线路。线路选择模块233具体为MIPI线路选择模块233,MIPI线路选择模块233作用在于：为每个MIPI对齐模块232输出的视频数据，选择对应的一路进行传输。

本实施例中，速度选择模块231、MIPI对齐模块232和MIPI线路选择模块233主要应用于HDMI方式，在采用HDMI方式时，才有效调用。若采用PCIE方式，速度选择模块231、MIPI对齐模块232和MIPI线路选择模块233这些模块则可不有效调用。例如，视频数据不经过速度选择模块231、MIPI对齐模块232、MIPI线路选择模块233进行传输、处理，或者：速度选择模块231、MIPI对齐模块232及MIPI线路选择模块233只对视频数据进行传输，而不做HDMI方式下才做的处理操作。

本实施例的一种实施方式中，视频注入模块22包括格式转换模块221，格式转换模块221用于将视频数据转换为AXIS(Advanced eXtensible Interface Stream，高级可扩展接口流)视频数据，当连接端口为HDMI端口时，格式转换模块221与传输处理模块23的线路选择模块233连接，当连接端口为PCIE端口时，格式转换模块221与PCIE端口连接。格式转换模块221的作用在于：将传输而来的视频数据处理为AXIS视频数据；在HDMI方式下，可以是经MIPI选择模块选择后传输而来的；在PCIE方式下，可以是经PCIE端口直接或间接传输而来的。

本实施例的一种实施方式中，视频注入模块22还包括视频处理模块222，视频处理模块222用于将AXIS视频数据的格式转换为目标格式、透传AXIS视频数据或改变AXIS视频数据的图像分辨率。视频处理模块222的作用在于：可对传输而来的AXIS视频数据中图像帧的格式进行格式转换后输出，也可直接将图像帧透传过去而不做转换，还可通过图像帧中像素点的采样改变图像帧的分辨率；其中图像帧的格式转换可以如YUV格式转RAW格式、RGB格式转RAW格式等。

本实施例的一种实施方式中，视频注入模块22还包括视频流选择模块223和缓存控制模块224，视频流选择模块223用于根据述AXIS视频数据中图像帧的时间戳，将图像帧发送至缓存控制模块224，缓存控制模块224用于接收和缓存图像帧。

进一步地，视频注入模块22还包括视频输出控制模块225，视频输出控制模块225用于根据时间戳，将图像帧从缓存控制模块224传输至视频接收装置3。

本实施例中，视频流选择模块223的作用在于，对传输而来的AXIS视频数据中的图像帧，可以有以下处理方式：

视频注入系统若是选择了采用时间戳触发方式(即图像帧需基于时间戳实现输出注入)，则可将图像帧发送至缓存控制模块224进行缓存；

若是选择了采用其他输出注入的触发方式，例如serdes、I/O触发方式(即图像帧需匹配于输出接口、串行器的配置而实现输出注入)，视频流选择模块223可将图像帧直接传输至视频输出控制模块225，不经过缓存控制模块224；视频输出控制模块225可以根据实际情况选择将图像帧进行透传、丢帧处理或缓存后输出至视频输出控制模块225。

缓存控制模块224的作用在于：在选择采用时间戳触发方式时，缓存控制模块224可将图像帧缓存至DDR(双倍速率同步动态随机存储器)，以供视频输出控制模块225调取。

视频输出控制模块225的作用在于：若选择采用时间戳触发方式，则可通过缓存控制模块224调取缓存的图像帧，获取图像帧的时间戳，然后基于时间戳实现对应图像帧的输出注入。例如，可判断图像帧的时间戳是否小于等于时钟信号体现出的当前时间，若是，则将该图像帧注入至视频接收装置3，否则，暂不注入，等待当前时刻到达时间戳代表的时间。

其中，当连接端口为HDMI端口时，视频输出控制模块225还用于从图像帧的目标像素上获取时间戳，目标像素可以为图像帧上的某一行或两行像素点。具体地，若采用HDMI方式，则时间戳已被写入到图像帧的目标像素上；进而，视频输出控制模块225可以自图像帧的目标像素提取出时间戳；并且，为保障目标像素位置的数据不会因为图像帧格式转换而改变，视频处理模块222需透传该数据，而不对其进行格式转换。

另一方面，当连接端口为PCIE端口时，视频输出控制模块225还用于从图像帧的嵌入式数据中获取时间戳。具体地，若采用PCIE方式，则时间戳已被写入了embedding data(嵌入式数据)中，其不占用图像帧像素点，视频输出控制模块225可自嵌入式数据中提取出时间戳。

若选择采用其他触发方式，则可根据接口、串行器的需求而控制数据的输出。

本实施例的一种实施方式中，视频注入装置2还包括MIPI DPHY接口。视频输出控制模块225通过MIPI DPHY接口，将视频数据注入至视频接收装置3中。其中，MIPI DPHY接口一般是1/2/4Lane(线路)，每个Lane走差分线对，是电流驱动型，单信号幅度一般是200mv，线对差分的幅度在400mv左右，布线要求是等长且成双成对；MIPI DPHY接口是有单独的同步时钟来进行同步，最多是10根线，但解码接收要容易些。

本实施例的一种实施方式中，如图3所示，当采用HDMI方式时，视频注入装置2有效工作的功能模块包括：速度选择模块231、对齐模块232、线路选择模块233、格式转换模块221、视频处理模块222、视频流选择模块223、缓存控制模块224及视频输出控制模块225。

其中，视频输出装置1通过HDMI端口将视频数据传输至视频注入装置2。

速度选择模块231根据视频输出装置1与视频注入装置2之间的HDMI线路的传输速率，选择对应的传输速率的输入输出端口，然后将视频数据传输至对齐模块232。

对齐模块232将多路HDMI线路中传输的视频数据在时间上对齐，再传输至线路选择模块233。

线路选择模块233将各对齐模块232输出的视频数据传输至对线路上的格式转换模块221。

格式转换模块221将视频数据转换为AXIS(Advanced eXtensible InterfaceStream，高级可扩展接口流)视频数据。

经格式转换模块221处理后，视频数据再传输至视频处理模块222，视频处理模块222将AXIS视频数据的格式转换为目标格式、透传AXIS视频数据或改变AXIS视频数据的图像分辨率。

经视频处理模块222处理后，视频数据传输至视频流选择模块223，视频流选择模块223根据述AXIS视频数据中图像帧的时间戳，将图像帧发送至缓存控制模块224，缓存控制模块224用于接收和缓存图像帧。

视频注入系统若是选择了采用时间戳触发方式(即图像帧需基于时间戳实现输出注入)，视频流选择模块223则可将图像帧发送至缓存控制模块224进行缓存；缓存控制模块224将图像帧缓存至DDR(双倍速率同步动态随机存储器)，以供视频输出控制模块225调取。

若是选择了采用其他输出注入的触发方式，例如serdes、I/O触发方式(即图像帧需匹配于输出接口、串行器的配置而实现输出注入)，视频流选择模块223可将图像帧直接传输至视频输出控制模块225，不经过缓存控制模块224；视频输出控制模块225可以根据实际情况选择将图像帧进行透传、丢帧处理或缓存后输出至视频输出控制模块225。

视频输出控制模块225根据时间戳，将图像帧从缓存控制模块224传输至视频接收装置3。

本实施例的一种实施方式中，如图4所示，当采用PICE方式时，视频注入装置2有效工作的功能模块包括：格式转换模块221、视频处理模块222、视频流选择模块223、缓存控制模块224及视频输出控制模块225。

其中，视频输出装置1通过PICE端口将视频数据传输至视频注入装置2。

格式转换模块221接收来自PICE端口的视频数据，并将视频数据转换为AXIS(Advanced eXtensible Interface Stream，高级可扩展接口流)视频数据。

经格式转换模块221处理后，视频数据再传输至视频处理模块222，视频处理模块222将AXIS视频数据的格式转换为目标格式、透传AXIS视频数据或改变AXIS视频数据的图像分辨率。

经视频处理模块222处理后，视频数据传输至视频流选择模块223，视频流选择模块223根据述AXIS视频数据中图像帧的时间戳，将图像帧发送至缓存控制模块224，缓存控制模块224用于接收和缓存图像帧。

视频注入系统若是选择了采用时间戳触发方式(即图像帧需基于时间戳实现输出注入)，视频流选择模块223则可将图像帧发送至缓存控制模块224进行缓存；缓存控制模块224将图像帧缓存至DDR(双倍速率同步动态随机存储器)，以供视频输出控制模块225调取。

若是选择了采用其他输出注入的触发方式，例如serdes、I/O触发方式(即图像帧需匹配于输出接口、串行器的配置而实现输出注入)，视频流选择模块223可将图像帧直接传输至视频输出控制模块225，不经过缓存控制模块224；视频输出控制模块225可以根据实际情况选择将图像帧进行透传、丢帧处理或缓存后输出至视频输出控制模块225。

视频输出控制模块225根据时间戳，将图像帧从缓存控制模块224传输至视频接收装置3。

本实施例采用上述结构，视频输出装置1同时配置有PCIE端口和HDMI端口，视频注入装置2可以通过端口确定模块21，任意选择通过PCIE端口或HDMI端口与视频输出装置1连接，使得视频注入系统兼容了HDMI和PCIE的传输方式，扩大了视频注入系统的适用范围。

本实施例还提供一种视频传输方法，应用上述实施例提供的视频注入系统。该方法以视频输出装置1为执行主体，视频输出装置1与视频注入装置2之间采用HDMI方式进行数据传输，视频传输方法具体包括以下步骤：

获取视频图像帧和视频图像帧对应的关联信息。其中，关联信息可以包括时间戳信息、地理位置信息及总线信息中的至少一种，总线信息包括总线类型、总线带宽、总线位宽、总线工作频率等技术信息。当然，本实施例中，关联信息也不局限于时间戳信息、地理位置信息及总线信息，也可以包括其他与视频图像帧相关联的信息。

确定视频图像帧上的目标像素，并将关联信息编码到目标像素上，得到编码图像帧；目标像素包括视频图像帧上指定区域中的像素。其中，指定区域可以为视频图像帧上的第N行区域，例如第一行、第二行、或最后一行，N为大于或等于1的正整数。

将编码图像帧传输至视频注入装置，以使视频注入装置将编码图像进行解码，得到视频图像帧和关联信息。

通过上述方法步骤，本实施例可以将关联信息编码到对应的视频图像帧的目标像素上，在视频数据的传输过程中，关联信息随同视频图像帧一起由视频输出装置传输至视频注入装置，避免关联信息的缺失，利于视频注入装置根据关联信息将视频图像帧注入至视频接收装置。

一种实施例中，关联信息可以具体为时间戳信息本发明实施例提供一种视频数据注入方法，应用上述实施例提供的视频注入系统。该方法的执行主体为视频注入装置2，视频输出装置1与视频注入装置2之间采用HDMI方式进行数据传输，视频数据注入具体包括以下步骤：

获取编码图像帧，编码图像帧通过上述实施例提供的视频数据传输方法获得；具体地，视频数据由视频输出装置1通过HDMI端口输出后，依次经过速度选择模块231、对齐模块232、线路选择模块233、格式转换模块221、视频处理模块222、视频流选择模块223及缓存控制模块224；编码图像帧缓存在缓存控制模块224上，需要注入时，由视频输出控制模块225从缓存控制模块224中调取编码图像帧。

将编码图像帧进行处理，获得视频图像帧及视频图像帧对应的关联信息；具体地，由视频输出控制模块225从缓存控制模块224中调取编码图像帧，并提取编码图像帧的目标像素上的关联信息，如时间戳信息。

根据关联信息，将视频图像帧注入至视频接收装置；例如，由视频输出控制模块225根据时间戳通信息，将视频图像帧注入至视频接收装置。

本实施例视频数据注入方法，可以将关联信息编码到对应的视频图像帧的目标像素上，在视频数据的传输过程中，关联信息随同视频图像帧一起由视频输出装置传输至视频注入装置，避免关联信息的缺失，利于视频注入装置根据关联信息将视频图像帧注入至视频接收装置。

一种实施方式中，视频输出控制模块225可根据时间戳信息，将视频图像帧注入至视频接收装置，并且，在注入之前，视频输出控制模块225还可对视频图像帧进行故障注入，例如可注入一些故障。

例如，视频输出控制模块225还可以根据目标事件确定故障信息，再基于故障信息注入故障，该故障信息例如可包括故障类型与故障参数；目标事件包括至少一个子事件，子事件与视频故障类型相对应。

例如，子事件可以包括通信延迟的事件、接口松动的事件、通信干扰的事件等汽车自动驾驶中可能出现的事件。通信延迟指的是视频数据传输网络存在的通信延迟；接口松动指的是视频数据传输链路中某个接口松动；通信干扰指的是视频数据传输网络存在的通信干扰。

具体地，目标事件可以根据预设的事件生成时序确定，事件生成时序用于表征各子事件发生的时间和顺序。

其中，若子事件包括通信延迟的事件，视频故障类型包括时延故障，对应的故障参数为用于定义时延幅度等信息的时延参数；

若子事件包括接口松动的事件，视频故障类型包括掉帧故障，故障参数包括用于确定出掉帧图像帧的掉帧参数，进而，待注入的视频图像帧中需要排除被确定出的掉帧图像帧，即，在接口松动的事件中，初始视频数据中注入至视频输出装置的图像帧不包括掉帧图像帧。

若子事件包括通信干扰的事件，视频故障类型包括乱序故障，则：故障参数包括用于确定出多个乱序图像帧的乱序参数，进而，待注入的视频图像帧该多个乱序图像帧的次序及时间戳信息需发生调换，实现乱序模拟。

在通信网络问题的事件中，还可以产生误码故障。在误码故障中，部分图像帧的数据出现误码情况，随机修改任意数量的图像帧的行数据，完成通信网络问题导致信号误码的故障模拟。

以上过程中，为便于理解，每种子事件描述为对应于一种故障类型，在实际方案中，一个事件也可对应多种故障类型，多种故障类型可同时发生，也可以依据预设的时序而依次发生。

据此，本实施例可实现不同事件的故障模拟，保障能模拟出真实的故障情形。此外，由于同步注入的不同视频数据有时候是相关联的，例如同一部车不同摄像头的视频数据，此时在接口不牢固的事件中，通常只会出现一个或少数几个摄像头的视频数据发生故障，所发生故障通常为时延故障；而通信环境不佳(延迟、干扰)的事件中，则可能会普遍发生于多个摄像头的视频数据，所发生故障通常为掉帧，所以，进一步的，也可自适应地选择需要模拟的目标事件。其中，若某一路视频注入装置需模拟通信环境不佳的事件作为目标事件，则各视频注入装置可同步配置为相同的目标事件，对应在各路视频中均模拟掉帧故障(掉帧参数可相同也可不同)，若某一视频注入装置需模拟接口不牢固的事件，则可仅该视频注入装置配置该事件作为目标事件，对应在该路视频中模拟时延故障，其余视频注入装置不配置成该事件故障。该过程可通过各视频注入装置和/或视频输出装置间的通信而确定。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种视频注入装置，其特征在于，用于接收视频输出装置输出的视频数据，并将所述视频数据注入至视频接收装置，所述视频接收装置为需要进行算法的验证、训练以及测试中至少一个的处理器或控制器，所述视频注入装置包括：

端口确定模块，用于确定所述视频注入装置与所述视频输出装置之间的连接端口是PCIE端口或HDMI端口；

视频注入模块，用于向所述视频接收装置注入所述视频数据；

传输处理模块，用于当确定所述连接端口是所述HDMI端口时，通过所述HDMI端口接收所述视频输出装置输出的所述视频数据，并向所述视频注入模块传输所述视频数据；

当所述连接端口为所述PCIE端口时，所述视频数据通过所述PCIE端口传输至所述视频注入模块；

所述传输处理模块包括：

多个速度选择模块，用于根据所述视频输出装置与所述视频注入装置之间的HDMI线路的传输速率，选择所述视频数据的传输速率，以使所述视频数据的传输速率与所述HDMI线路的传输速率相匹配；

多个对齐模块，与所述速度选择模块连接，用于将多路所述HDMI线路中传输的所述视频数据在时间戳上对齐，所述时间戳已被写入到相应所述视频数据的图像帧的目标像素上；

线路选择模块，用于为每一所述对齐模块输出的所述视频数据，选择所述视频注入模块中对应的一条传输线路，以及将各所述对齐模块输出的所述视频数据传输至所述视频注入模块中对应的传输线路。

2.根据权利要求1所述的视频注入装置，其特征在于，所述端口确定模块包括PCIE判断模块和配置模块，所述PCIE判断模块用于判断所述传输处理模块是否与所述PCIE端口连接，若是则确定所述连接端口为所述PCIE端口，反之则确定所述连接端口为所述HDMI端口，所述配置模块用于根据所述PCIE判断模块反馈的判断结果，调整所述传输处理模块的传输模式，所述传输模式包括PCIE模式和HDMI模式。

3.根据权利要求1至2任一项所述的视频注入装置，其特征在于，所述视频注入模块包括格式转换模块，所述格式转换模块用于将所述视频数据转换为AXIS视频数据，当所述连接端口为所述HDMI端口时，所述格式转换模块与所述传输处理模块的线路选择模块连接，当所述连接端口为所述PCIE端口时，所述格式转换模块与所述PCIE端口连接。

4.根据权利要求3所述的视频注入装置，其特征在于，所述视频注入模块还包括视频处理模块，所述视频处理模块用于将所述AXIS视频数据的格式转换为目标格式、透传所述AXIS视频数据或改变所述AXIS视频数据的图像分辨率。

5.根据权利要求3所述的视频注入装置，其特征在于，所述视频注入模块还包括视频流选择模块和缓存控制模块，所述视频流选择模块用于根据所述AXIS视频数据中图像帧的时间戳，将所述图像帧发送至所述缓存控制模块，所述缓存控制模块用于接收和缓存所述图像帧。

6.根据权利要求5所述的视频注入装置，其特征在于，所述视频注入模块还包括视频输出控制模块，所述视频输出控制模块用于根据所述时间戳，将所述图像帧从所述缓存控制模块传输至所述视频接收装置。

7.根据权利要求6所述的视频注入装置，其特征在于，当所述连接端口为所述HDMI端口时，所述视频输出控制模块还用于从所述图像帧的目标像素上获取时间戳。

8.根据权利要求6所述的视频注入装置，其特征在于，当所述连接端口为所述PCIE端口时，所述视频输出控制模块还用于从所述图像帧的嵌入式数据中获取时间戳。

9.一种视频注入系统，其特征在于，包括视频输出装置和权利要求1至8任一项所述的视频注入装置，所述视频输出装置与所述视频注入装置通信连接。