CN116437161B - 视频数据处理方法、注入方法、系统、设备及存储介质 - Google Patents
视频数据处理方法、注入方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116437161B CN116437161B CN202310325949.8A CN202310325949A CN116437161B CN 116437161 B CN116437161 B CN 116437161B CN 202310325949 A CN202310325949 A CN 202310325949A CN 116437161 B CN116437161 B CN 116437161B
- Authority
- CN
- China
- Prior art keywords
- video
- video image
- information
- injection unit
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002347 injection Methods 0.000 title claims abstract description 169
- 239000007924 injection Substances 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 abstract description 12
- 230000009286 beneficial effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频数据处理方法、注入方法、系统、设备及存储介质。视频数据处理方法包括：首先获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息；然后确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息传输至视频注入单元，以使视频注入单元根据时间戳信息将视频图像帧注入至视频接收单元，传输时机信息用于表征，视频图像帧传输至视频注入单元的时间相对于视频图像帧的时间戳信息的提前程度。本发明可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
Description
本发明申请为申请日为2022年10月24日，申请号为202211303188.8，发明名称为“视频数据处理方法、注入方法、系统、设备及存储介质”的发明专利申请的分案申请，该原申请的内容通过引用并入本发明申请。
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种视频数据处理方法、注入方法、系统、设备及存储介质。
背景技术
目前无人驾驶技术蓬勃发展，无人驾驶技术涉及到人工智能或机器学习的神经网络的算法。为了提升算法健壮性和硬件容错率，需要进行大量的仿真测试。在仿真测试中，需要进行大量视频数据的回注。
目前在视频数据回注的过程中，视频处理单元往往会不停的解码产生视频图像帧，并持续的向视频注入单元传输视频图像帧，然而，传输的帧率与注入的帧率可能并不相同，此时有可能会导致视频注入单元中缓存的视频图像帧过多等情形，进而，视频注入单元的缓存空间有限的情况下，易于导致：在需要注入多路视频时，无法保障视频数据同步注入，对仿真测试带来负面影响。
发明内容
为了克服上述问题和缺陷，本发明提供一种视频数据处理方法、注入方法、系统、设备及存储介质，可以使视频注入单元缓存的视频图像帧数量保持在一定范围，避免缓存图像数量过多，影响视频同步注入。
由此，本发明第一方面提供一种视频数据处理方法，包括：
获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息；
确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息传输至视频注入单元，以使视频注入单元根据时间戳信息将视频图像帧注入至视频接收单元，传输时机信息用于表征，视频图像帧传输至视频注入单元的时间相对于视频图像帧的时间戳信息的提前程度。
可选地，确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及视频图像帧的时间戳信息传输至视频注入单元的步骤，包括：
获取第一时钟信号；第一时钟信号用于确定出当前时间；
针对于任一视频图像帧，均根据任一视频图像帧的时间戳信息，确定任一视频图像帧对应的第一时间区间作为传输时机信息，第一时间区间的最大值小于该任一视频图像帧的时间戳信息；
比较第一时间区间与当前时间，若当前时间进入到第一时间区间，则将任一视频图像帧及其时间戳信息传输至视频注入单元。
可选地，确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及视频图像帧的时间戳信息传输至视频注入单元的步骤，包括：
获取第一时钟信号；第一时钟信号用于确定出当前时间；
确定传输时间点与第二时间区间作为传输时机信息，第二时间区间的最小值大于传输时间点；
比较传输时间点与当前时间，若当前时间到达传输时间点，则将时间戳信息落在第二时间区间的视频图像帧，及其时间戳信息均传输至视频注入单元。
可选地，第一时钟信号与视频注入单元所采用的第二时钟信号源自同一时钟源。
可选地，视频注入单元包括多路子视频注入单元，初始视频数据包括来自同一车辆的多路子初始视频数据，每一路子初始视频数据由对应的一路子视频注入单元注入至视频接收单元；各子初始视频数据中，同一时间戳信息的视频图像帧的传输时机信息相匹配，同一时间戳信息的视频图像帧被同步注入至视频接收单元。
可选地，获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息的步骤，还包括：
根据视频图像帧和时间戳信息的对应关系，将时间戳信息编码至对应的视频图像帧的目标像素上，以使视频注入单元能够自目标像素提取出时间戳信息；目标像素为视频图像帧中指定区域的像素。
本发明第二方面提供一种视频数据注入方法，包括：
接收视频图像帧及视频图像帧对应的时间戳信息，视频图像帧及时间戳信息是视频处理单元通过上述的视频数据处理方法传输而来；
根据时间戳信息，将视频图像帧同步注入至视频接收单元。
本发明第三方面提供一种视频注入系统，包括：
视频处理单元，用于执行上述的视频数据处理方法；
视频注入单元，用于执行上述的视频数据注入方法。
本发明第四方面提供一种电子设备，包括处理器和存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现上述视频数据处理方法和/或视频数据注入方法。
本发明第五方面提供一种计算机可读的存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述视频数据处理方法和/或视频数据注入方法。
与现有技术相比，本发明的有益效果包括：视频处理单元根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例视频数据注入系统的架构示意图一；
图2为本发明实施例视频数据处理方法的步骤流程图一；
图3为本发明实施例视频数据处理方法的步骤流程图二；
图4为本发明实施例视频数据处理方法的步骤流程图三；
图5为本发明实施例视频数据注入系统的架构示意图二；
图6为本发明实施例视频数据注入方法的步骤流程图；
图7为本发明实施例视频数据处理装置的架构示意图；
图8为本发明实施例视频数据注入装置的架构示意图；
图9为本发明实施例电子设备的计算机系统的架构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
以下对本发明实施例的技术方案的实现细节进行详细阐述。
本发明实施例提供一种视频数据注入系统，如图1所示，视频注入系统包括视频处理单元1和视频注入单元2。视频处理单元1用于执行下文中提供的视频数据处理方法，视频注入单元2用于执行下文中提供的视频数据注入方法。
其中，视频注入单元2可以包括一个或多个FPGA(Field－Programmable GateArray，现场可编程门阵列)视频注入板卡。
视频处理单元1可以为上位机、工控机、实时机或服务主机，可以对视频数据进行解码处理。视频处理单元1和视频注入单元2之间可以通过HDMI线路传输数据，HDMI(HighDefinition Multimedia Interface，高清多媒体接口)是一种全数字化视频和声音发送接口，可以传输未压缩的音频及视频信号。视频处理单元1和视频注入单元2之间也可以通过PCIE线路来传输数据，其中PICE(peripheral component interconnect express，高速外围设备互连)是一种高速串行计算机扩展总线标准，具有较高的数据传输速率。
如图2所示，本实施例提供一种视频数据处理方法，包括步骤110和步骤120。其中：
步骤110，获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息。
步骤120，确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息传输至视频注入单元2，以使视频注入单元根据时间戳信息将视频图像帧注入至视频接收单元3，传输时机信息用于表征，视频图像帧传输至视频注入单元的时间相对于视频图像帧的时间戳信息的提前程度。
采用上述方法，根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
本实施例的视频数据处理方法可以用于无人驾驶技术中的仿真测试中，保证多个视频数据注入的同步性。
其中，视频接收单元3可以为神经网络模型，具有机器学习的算法，可对接收到的视频数据进行处理，得到输出结果，例如可对视频图像进行目标识别。视频接收单元3可以利用视频数据进行自动驾驶(或辅助驾驶)技术中的算法验证、开发或测试等处理。
本实施例的一种实施方式中，如图3所示，在步骤120中，确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及视频图像帧的时间戳信息传输至视频注入单元的步骤，包括：
步骤121，获取第一时钟信号；第一时钟信号用于确定出当前时间。
步骤122，针对于任一视频图像帧，均根据该任一视频图像帧的时间戳信息，确定该任一视频图像帧对应的第一时间区间作为传输时机信息，第一时间区间的最大值小于该任一视频图像帧的时间戳信息。
其中的小于，也可理解为早于，其中的最大值，也可理解为第一时间区间的最晚的一个时刻。
例如，设一视频图像帧P的时间戳信息为X，该视频图像帧P对应的第一时间区间为X-1秒至X-2秒的时间段，X-1秒至X-2秒的时间段为传输时机信息。X-1秒至X-2秒的时间段即可表示视频图像帧P传输至视频注入单元的时间，相对于视频图像帧P的时间戳信息的提前程度。
步骤123，比较第一时间区间与当前时间，若当前时间进入到第一时间区间，则将该视频图像帧及其时间戳信息传输至视频注入单元。
例如，设当前时间为T，当时间T进入到X-1秒至X-2秒的时间段内时，将视频图像帧P及时间戳信息X传输至视频注入单元。
这样可以保证视频注入单元中缓存的视频图像帧数量较少(例如至缓存有1秒时间内的视频图像帧)。
本实施例的一种实施方式中，如图4所示，在步骤120中，确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及视频图像帧的时间戳信息传输至视频注入单元的步骤，还可以包括：
步骤121，获取第一时钟信号；第一时钟信号用于确定出当前时间。
步骤124，确定传输时间点与第二时间区间作为传输时机信息，第二时间区间的最小值大于传输时间点。
其中的大于，也可理解为晚于，其中的最小值，也可理解为第二时间区间的最早的一个时刻。
例如，预先设定传输时间点为2秒、3秒、4秒、5秒这些确定的时间点，那么每个时间点对应一个时间段，比如2秒对应2.5秒至3.5秒的时间段，3秒对应2.5秒4.5秒的时间段等，这些时间段即为第二时间区间。当前时间T还没有来到第二时间区间时，此时还不用去关注视频图像帧和时间戳，然后视频处理单元持续解码产生图像帧。
步骤125，比较传输时间点与当前时间，若当前时间到达传输时间点，则将时间戳信息落在第二时间区间的视频图像帧，及其时间戳信息均传输至视频注入单元。
例如，当时间T来到2秒，此时才开始关注时间戳，可以把已经解码的时间戳信息在2.5秒-3.5秒之间的图像都传输到视频注入单元。以此类推，时间T来到3秒，则把已经解码的时间戳在3.5秒-4.5秒之间的视频图像帧都传输到视频注入单元。此时，第二时间段是预先定好的，视频图像帧的传输时机信息就是时钟T来到相应时间点，且时间戳落在该时间点对应的时间段的时机。
又例如，可以设定相邻时间点的差值为1秒，时间点与时间段的关系也可定下来，比如时间点n对应的时间段即为n+0.5秒至n+1.5秒，此时还不用去关注视频图像帧和时间戳信息。然后，视频处理单元解码不停地会产生视频图像帧，当时钟来到2秒这个时间点时(即n＝2秒)，对应的时间段即为2.5秒至3.5秒，此时才开始关注时间戳，可以把已经解码的时间戳在2.5秒至3.5秒之间的视频图像帧都传输到视频注入单元。同时，可根据差值1秒，设定下一个时间点为3秒，然后等待时钟来到3秒这个时间点，以此类推，时钟来到3秒，则把已经解码的时间戳在3.5秒-4.5秒之间的视频图也像帧都传输到视频注入单元。
这样可以保证视频注入单元中缓存的视频图像帧数量较少(例如只缓存有1秒时间内的视频图像帧)。
本实施例的一种实施方式中，第一时钟信号与视频注入单元所采用的第二时钟信号源自同一时钟源。例如，视频处理单元和视频注入单元采用同一外部时钟源，第一时钟信号和第二时钟信号来自同一外部时钟源；或者以视频注入单元的时钟源为基准，第一时钟信号和第二时钟信号都来自视频注入单元的时钟源；又或者以视频处理单元的时钟源为基准，第一时钟信号和第二时钟信号都来自视频处理单元的时钟源。
本实施例的一种实施方式中，如图5所示，视频注入单元2包括多路子视频注入单元21，初始视频数据包括来自同一车辆的多路子初始视频数据，每一路子初始视频数据由对应的一路子视频注入单元注21入至视频接收单元3；各子初始视频数据中，同一时间戳信息的视频图像帧的传输时机信息相匹配，同一时间戳信息的视频图像帧被同步注入至视频接收单元3。
例如，子视频注入单元21有三个，对应的视频处理单元1也有三个子视频处理单元11，子初始视频数据有三个，三个子初始视频数据分别来自同一辆汽车的三个摄像头。来自这三个摄像头的子初始视频数据中，视频注入单元2将时间戳信息相同的视频图像帧同步注入至视频接收单元3。这样可以较佳的模拟汽车行驶过程中，不同摄像头拍摄到的图像和视频同步传输到汽车的车机系统中，进行辅助驾驶和自动驾驶。
本实施例的一种实施方式中，步骤110，获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息的步骤，还包括：
根据视频图像帧和时间戳信息的对应关系，将时间戳信息编码至对应的视频图像帧的目标像素上，以使视频注入单元能够自目标像素提取出时间戳信息；目标像素为视频图像帧中指定区域的像素。
现有技术中，视频处理单元1和视频注入单元2之间大多通过HDMI线路传输数据，而HDMI线路只能传输图像数据，不能传输时间戳等数据。本实施例通过上述方法步骤，可以让视频图像帧和时间戳信息都通过HDMI线路传输至视频注入单元。
本实施例中，视频数据从视频处理单元1传输至视频接收单元3的过程中，经历了两阶段同步。
第一阶段同步，由视频处理单元1将首先获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息。然后确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息同步传输至视频注入单元2。
第二阶段同步，由视频注入单元2根据时间戳信息将视频图像帧同步注入至视频接收单元3。
本实施例通过两阶段同步传输和注入，有效地提高待注入视频数据回注到视频接收单元的同步精度，为仿真测试提供精准同步的视频数据。
本发明实施例还提供一种视频数据注入方法，通过视频注入单元2来执行，如图6所示，包括步骤210和步骤220，其中：
步骤210，接收视频图像帧及视频图像帧对应的时间戳信息，视频图像帧及时间戳信息是视频处理单元通过上述实施例提供的视频数据处理方法传输而来。
具体地，由视频处理单元1获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息。然后由视频处理单元1确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息传输至视频注入单元2，以使视频注入单元2根据时间戳信息将视频图像帧注入至视频接收单元3，传输时机信息用于表征，视频图像帧传输至视频注入单元2的时间相对于视频图像帧的时间戳信息的提前程度。
步骤220，根据时间戳信息，将视频图像帧注入至视频接收单元3。
例如，针对于某一视频图像帧，可比较该视频图像帧的时间戳信息t与视频注入单元基于第二时钟信号得到的当前时间t'；
一种举例中，可在t＝t'时,将该视频图像帧注入至视频接收单元3；
另一举例中，也可在t≤t'时，则将该视频图像帧注入至视频接收单元3。由于视频图像帧是有先后顺序的，通常来说，视频注入单元会依据接收的顺序，依次将视频图像帧注入到视频接收单元，即：对于注入次序，通常是：先收到的会先注入，例如可采用队列的方式缓存视频图像。此时，若仅在t＝t'时才注入，则：若缓存的任一视频图像帧未能成功取出并注入(例如因传输、处理的延迟、错误而导致，再例如因故障注入而导致)，则可能会导致后续视频图像帧无法继续注入，所以，在t≤t'时注入的方案下，可有效保障所需注入的视频图像帧都能顺利完成注入，还可以为各种故障模拟的实现提供基础。例如，即便有两个时间戳信息(例如t1、t2)小于t'的视频图像帧，也可依次将该两个视频图像帧注入。
其中的大于，也可理解为晚于，其中的小于，也可理解为早于。
一种实施例中，视频注入单元2通过串行解串器(SERDES)将待注入视频数据(视频图像帧)传输给视频接收单元3。其中，串行解串器包括串行器(SERializer)和解串器(DESerializer)，它是一种主流的时分多路复用(TDM)、点对点(P2P)的串行通信技术。即在发送端多路低速并行信号被转换成高速串行信号，经过传输媒体(光缆或铜线)，最后在接收端高速串行信号重新转换成低速并行信号。这种点对点的串行通信技术充分利用传输媒体的信道容量，减少所需的传输信道和器件引脚数目，提升信号的传输速度，从而大大降低通信成本。
本实施例的视频数据注入方法，可以让视频注入单元2中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
通过视频注入单元2，还可实现故障的模拟，例如可执行以下过程：
获取视频故障配置信息；视频故障配置信息包括视频故障类型和视频故障参数；
进而：
若视频故障类型包括时延故障，则：时延参数包括时延幅度的和时延发生频次；对应的，可以根据时延发生频次与各视频图像帧的时间戳信息，在传输而来的视频图像帧中确定时延图像帧，再根据时延幅度和时延图像帧的时间戳信息，实现时延图像帧的延时注入。
若视频故障类型包括乱序故障，则：视频故障参数包括乱序参数，注入至视频接收单元的视频图像帧包括乱序图像帧；对应的，可以根据乱序参数，将多个乱序图像帧的排列次序自初始排列次序调整为目标排列次序；针对其中的任一乱序图像帧，均确定任一乱序图像帧在目标排列次序中的目标位次，并将初始排列次序中处于目标位次的乱序图像帧的时间戳信息作为任一乱序图像帧的新的时间戳信息；根据目标排列次序与新的时间戳信息，将任一乱序图像帧注入视频接收单元。
若视频故障类型包括掉帧故障，则：视频故障参数包括掉帧参数，注入至视频接收单元的图像帧排除了掉帧图像帧，掉帧图像帧是根据掉帧参数排除的。
其中：
视频故障配置信息可以根据目标故障场景自动确定。目标故障场景可以自动确定，例如随机确定或根据预设的规则自动确定。故障场景与视频故障类型的对应关系可以是一对多，也可以是一对一。
若目标故障场景包括通信延迟的故障场景，则视频故障类型包括时延故障；若子故障场景包括接口松动的故障场景，则视频故障类型包括掉帧故障。据此，可实现不同场景的故障模拟，保障能模拟出真实的故障情形。此外，由于同步注入的不同视频数据有时候是相关联的，例如同一部车不同摄像头的视频数据，此时在接口不牢固的故障场景中，通常只会出现一个或少数几个摄像头的视频数据发生故障，所发生故障通常为时延故障；而通信环境不佳(延迟、干扰)的故障场景中，则可能会普遍发生于多个摄像头的视频数据，所发生故障通常为掉帧，所以，进一步的，也可自适应地选择需要模拟的目标故障场景。其中，若某一子视频注入单元需模拟通信环境不佳的故障场景作为目标故障场景，则各子视频注入单元可同步配置为相同的目标故障场景，对应在各路视频中均模拟掉帧故障(掉帧参数可相同也可不同)，若某一子视频注入单元需模拟接口不牢固的故障场景，则可仅该子视频注入单元配置该故障场景作为目标故障场景，对应在该路视频中模拟时延故障，其余子视频注入单元不配置成该故障场景故障。该过程可通过各视频注入单元和/或视频处理单元间的通信而确定。
本发明实施例提供一种视频数据处理装置，应用于视频处理单元，如图7所示，包括获取模块301和传输模块302，其中：
获取模块301，用于获取初始视频数据的视频图像帧和每个视频图像帧的时间戳信息。
传输模块302，用于确定传输时机信息，并根据传输时机信息和时间戳信息，将视频图像帧及时间戳信息传输至视频注入单元，以使视频注入单元根据时间戳信息将视频图像帧注入至视频接收单元3，传输时机信息用于表征，视频图像帧传输至视频注入单元的时间相对于视频图像帧的时间戳信息的提前程度。
本实施例的视频数据处理装置可以采用上述实施例提供的视频数据处理方法，根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
本发明实施例提供一种视频数据注入装置，应用于视频注入单元，如图8所示，包括接收模块401、确定模块402和注入模块403，其中：
接收模块401，用于接收视频图像帧及视频图像帧对应的时间戳信息，视频图像帧及时间戳信息是视频处理单元通过上述实施例提供的视频数据处理方法传输而来。
确定模块402，用于根据时间戳信息确定注入时间。例如时间戳信息为T，则确定注入时间为T。
注入模块403，用于根据注入时间将视频图像帧同步注入至视频接收单元3。例如，当时间来到T时，将时间戳信息为T的视频图像帧同步注入至视频接收单元3。
本实施例的视频数据注入装置可以采用上述实施例提供的视频数注入方法，视频处理单元根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图9示出的电子设备的计算机系统仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)1801，其可以根据存储在只读存储器(Read-Only Memory，ROM)1802中的程序或者从存储部分1808加载到随机访问存储器(Random Access Memory，RAM)1803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1803中，还存储有系统操作所需的各种程序和数据。CPU 1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出(Input/Output，I/O)接口1805也连接至总线1804。
以下部件连接至I/O接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1807；包括硬盘等的存储部分1808；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至I/O接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元(CPU)1801执行时，执行本发明的系统中限定的各种功能。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
具体地，本实施例的电子设备包括处理器和存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例提供的视频数据处理方法和/或视频数据注入方法。
通过本实施例的电子设备，视频处理单元根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
作为另一方面，本发明还提供了一种计算机可读的存储介质，该存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述存储介质承载有一个或者多个计算机程序，当上述一个或者多个计算机程序被一个该电子设备的处理器执行时，使得该电子设备实现上述实施例中提供的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
具体地，通过本实施例的存储介质，可以实现上述实施例提供的视频数据处理方法和/或视频数据注入方法。通过本实施例的计算机介质，视频处理单元根据传输时机信息将视频图像帧及时间戳信息传输至视频注入单元，可以让视频注入单元中缓存的视频图像帧数量保持在一定范围，在视频图像帧能够及时传输至视频注入单元的情况下，可避免视频注入单元缓存的图像帧过多等情形的发生，有助于保障多路视频的同步注入。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种视频数据处理方法，其特征在于，包括：
获取初始视频数据的视频图像帧和每个所述视频图像帧的时间戳信息；
确定传输时机信息，并根据所述传输时机信息和所述时间戳信息，将所述视频图像帧及所述时间戳信息传输至视频注入单元，包括：获取第一时钟信号；所述第一时钟信号用于确定出当前时间；针对于任一视频图像帧，均根据所述任一视频图像帧的时间戳信息，确定所述任一视频图像帧对应的第一时间区间作为所述传输时机信息，所述第一时间区间的最大值小于所述任一视频图像帧的时间戳信息；比较所述第一时间区间与所述当前时间，若所述当前时间进入到所述第一时间区间，则将所述任一视频图像帧及其时间戳信息传输至所述视频注入单元，以使所述视频注入单元根据所述时间戳信息将所述视频图像帧注入至视频接收单元，所述传输时机信息用于表征，所述视频图像帧传输至所述视频注入单元的时间相对于所述视频图像帧的时间戳信息的提前程度；所述视频注入单元包括多路子视频注入单元，所述初始视频数据包括来自同一车辆的多路子初始视频数据，每一路所述子初始视频数据由对应的一路所述子视频注入单元注入至所述视频接收单元；各所述子初始视频数据中，同一时间戳信息的视频图像帧的所述传输时机信息相匹配，同一时间戳信息的视频图像帧被同步注入至所述视频接收单元。
2.一种视频数据处理方法，其特征在于，包括：
获取初始视频数据的视频图像帧和每个所述视频图像帧的时间戳信息；
确定传输时机信息，并根据所述传输时机信息和所述时间戳信息，将所述视频图像帧及所述时间戳信息传输至视频注入单元，包括：获取第一时钟信号；所述第一时钟信号用于确定出当前时间；确定传输时间点与第二时间区间作为所述传输时机信息，所述第二时间区间的最小值大于所述传输时间点；比较所述传输时间点与所述当前时间，若所述当前时间到达所述传输时间点，则将时间戳信息落在所述第二时间区间的视频图像帧，及其时间戳信息均传输至所述视频注入单元，以使所述视频注入单元根据所述时间戳信息将所述视频图像帧注入至视频接收单元，所述传输时机信息用于表征，所述视频图像帧传输至所述视频注入单元的时间相对于所述视频图像帧的时间戳信息的提前程度；所述视频注入单元包括多路子视频注入单元，所述初始视频数据包括来自同一车辆的多路子初始视频数据，每一路所述子初始视频数据由对应的一路所述子视频注入单元注入至所述视频接收单元；各所述子初始视频数据中，同一时间戳信息的视频图像帧的所述传输时机信息相匹配，同一时间戳信息的视频图像帧被同步注入至所述视频接收单元。
3.根据权利要求1或2所述的视频数据处理方法，其特征在于，
所述第一时钟信号与所述视频注入单元所采用的第二时钟信号源自同一时钟源。
4.根据权利要求3所述的视频数据处理方法，其特征在于，所述时钟源包括外部时钟源、所述视频注入单元的时钟源或视频处理单元的时钟源。
5.根据权利要求1或2所述的视频数据处理方法，其特征在于，所述获取初始视频数据的视频图像帧和每个所述视频图像帧的时间戳信息的步骤，还包括：
根据所述视频图像帧和所述时间戳信息的对应关系，将所述时间戳信息编码至对应的所述视频图像帧的目标像素上，以使所述视频注入单元能够自所述目标像素提取出所述时间戳信息；所述目标像素为所述视频图像帧中指定区域的像素。
6.一种视频数据注入方法，其特征在于，包括：
接收视频图像帧及所述视频图像帧对应的时间戳信息，所述视频图像帧及所述时间戳信息是由视频处理单元执行权利要求1至5任一项所述的视频数据处理方法而得到的；
根据所述时间戳信息，将所述视频图像帧同步注入至视频接收单元。
7.一种视频注入系统，其特征在于，包括：
视频处理单元，用于执行权利要求1至5任一项所述的视频数据处理方法；
视频注入单元，用于执行权利要求6所述的视频数据注入方法。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至6中任一项所述的方法。
9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310325949.8A CN116437161B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310325949.8A CN116437161B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
| CN202211303188.8A CN115665502B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211303188.8A Division CN115665502B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116437161A CN116437161A (zh) | 2023-07-14 |
| CN116437161B true CN116437161B (zh) | 2024-02-09 |
Family
ID=84992332
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310325949.8A Active CN116437161B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
| CN202211303188.8A Active CN115665502B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211303188.8A Active CN115665502B (zh) | 2022-10-24 | 2022-10-24 | 视频数据处理方法、注入方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116437161B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117675434B (zh) * | 2023-12-01 | 2024-09-06 | 昆易电子科技(上海)有限公司 | 数据处理方法、装置、系统、电子设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683866A (zh) * | 2013-11-29 | 2015-06-03 | 成都鼎桥通信技术有限公司 | 一种接收视频流的播放处理方法 |
| CN110798682A (zh) * | 2019-11-28 | 2020-02-14 | 湖南金翎箭信息技术有限公司 | 一种延时测试系统 |
| CN111246178A (zh) * | 2020-02-05 | 2020-06-05 | 浙江大华技术股份有限公司 | 视频处理方法和装置、存储介质及电子装置 |
| CN111405288A (zh) * | 2020-03-19 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 视频抽帧方法、装置、电子设备及计算机可读存储介质 |
| CN111601135A (zh) * | 2020-05-09 | 2020-08-28 | 青岛海信传媒网络技术有限公司 | 一种音视频基本流同步注入的方法及显示设备 |
| CN112347650A (zh) * | 2020-11-06 | 2021-02-09 | 深圳佑驾创新科技有限公司 | 自动驾驶的硬件在环仿真测试方法及系统 |
| CN115167374A (zh) * | 2022-08-09 | 2022-10-11 | 科大国创合肥智能汽车科技有限公司 | 自动驾驶传感器回灌虚拟仿真测试方法及其系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10764473B2 (en) * | 2016-01-14 | 2020-09-01 | Disney Enterprises, Inc. | Automatically synchronizing multiple real-time video sources |
| CN114383667A (zh) * | 2022-01-29 | 2022-04-22 | 重庆长安汽车股份有限公司 | 多传感器仿真数据同步注入方法及系统 |
-
2022
- 2022-10-24 CN CN202310325949.8A patent/CN116437161B/zh active Active
- 2022-10-24 CN CN202211303188.8A patent/CN115665502B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683866A (zh) * | 2013-11-29 | 2015-06-03 | 成都鼎桥通信技术有限公司 | 一种接收视频流的播放处理方法 |
| CN110798682A (zh) * | 2019-11-28 | 2020-02-14 | 湖南金翎箭信息技术有限公司 | 一种延时测试系统 |
| CN111246178A (zh) * | 2020-02-05 | 2020-06-05 | 浙江大华技术股份有限公司 | 视频处理方法和装置、存储介质及电子装置 |
| CN111405288A (zh) * | 2020-03-19 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 视频抽帧方法、装置、电子设备及计算机可读存储介质 |
| CN111601135A (zh) * | 2020-05-09 | 2020-08-28 | 青岛海信传媒网络技术有限公司 | 一种音视频基本流同步注入的方法及显示设备 |
| CN112347650A (zh) * | 2020-11-06 | 2021-02-09 | 深圳佑驾创新科技有限公司 | 自动驾驶的硬件在环仿真测试方法及系统 |
| CN115167374A (zh) * | 2022-08-09 | 2022-10-11 | 科大国创合肥智能汽车科技有限公司 | 自动驾驶传感器回灌虚拟仿真测试方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115665502A (zh) | 2023-01-31 |
| CN115665502B (zh) | 2023-04-21 |
| CN116437161A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965907B (zh) | 用于播放视频的方法、装置和系统 | |
| CN108495164B (zh) | 音视频同步处理方法及装置、计算机装置及存储介质 | |
| CN109089130B (zh) | 一种调整直播视频的时间戳的方法和装置 | |
| US8922713B1 (en) | Audio and video synchronization | |
| CN102655585B (zh) | 视频会议系统及其时延测试方法、装置和系统 | |
| CN110049361B (zh) | 显示控制方法、装置、投屏设备及计算机可读介质 | |
| CN116437161B (zh) | 视频数据处理方法、注入方法、系统、设备及存储介质 | |
| CN112423140A (zh) | 视频播放方法、装置、电子设备和存储介质 | |
| CN105578585B (zh) | 一种确定链路延时的方法、装置和通信设备 | |
| CN108712299A (zh) | 一种监测直播延时的方法、装置、设备和计算机存储介质 | |
| CN114257870B (zh) | 短视频播放方法、装置、设备及存储介质 | |
| CN113144620B (zh) | 帧同步游戏的检测方法、装置、平台、可读介质和设备 | |
| CN108235119B (zh) | 视频处理方法及装置、电子设备和计算机可读介质 | |
| CN111225255B (zh) | 目标视频推送播放方法、装置、电子设备及存储介质 | |
| CN116033199A (zh) | 多设备音视频同步方法、装置、电子设备及存储介质 | |
| CN116016823B (zh) | 一种视频注入装置及系统 | |
| CN116708892A (zh) | 一种音画同步检测方法、装置、设备和存储介质 | |
| CN114584709B (zh) | 变焦特效的生成方法、装置、设备及存储介质 | |
| CN114630157B (zh) | 直播启播方法、设备及程序产品 | |
| CN115665403A (zh) | 视频注入方法、系统、视频注入配置方法及电子设备 | |
| CN115190359A (zh) | 一种视频播放格式自动转换方法及系统 | |
| US20100076944A1 (en) | Multiprocessor systems for processing multimedia data and methods thereof | |
| CN115665357B (zh) | 图像数据传输方法、系统、注入方法及电子设备 | |
| CN115665422B (zh) | 视频数据传输方法、系统、注入方法及电子设备 | |
| CN116132706A (zh) | 一种视频处理方法、注入方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |