CN110234029A - 多传感器数据的播放处理方法和装置 - Google Patents
多传感器数据的播放处理方法和装置 Download PDFInfo
- Publication number
- CN110234029A CN110234029A CN201910704341.XA CN201910704341A CN110234029A CN 110234029 A CN110234029 A CN 110234029A CN 201910704341 A CN201910704341 A CN 201910704341A CN 110234029 A CN110234029 A CN 110234029A
- Authority
- CN
- China
- Prior art keywords
- data
- timing information
- playable
- sensor
- play
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请提供一种多传感器数据播放处理方法、装置、设备和存储介质，通过获取传感器采集到的多路传感器数据，多路传感器数据包括图像数据和非图像数据，非图像数据不支持根据时序信息进行播放；对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，可播放数据与非图像数据具有相同的时序信息；在数据播放时钟下，根据时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。
Description
技术领域
本申请实施例涉及数据处理技术领域，尤其涉及一种多传感器数据的播放处理方法、装置、设备和存储介质。
背景技术
随着自动驾驶技术的迅速发展，快速准确地验证自动驾驶相关算法显得尤为重要。利用多路各类传感器采集相关数据，并对采集到的多路传感器数据进行播放，是验证自动驾驶相关算法的有效途径。但是，在实际操作中，由于多路传感器的工作状态不同，比如：触发时刻、触发源等不同，采集到的数据存在不同步的情况，这使得多路传感器数据播放难以实现。
为实现多路传感器数据的播放，一般的方法是引入额外的设备将所有的传感器同步触发，通过硬件同步的方式实现数据的同步采集，或将多路传感器数据进行离线加工，通过人工预处理来对齐多路传感器数据的时间信息，从而实现多路传感器数据的播放。
然而，通过额外的设备同步触发各类传感器进行数据的同步采集，或通过人工预处理来对齐多路传感器数据的时间信息，以实现多路传感器数据播放的方法，存在硬件成本高，专业性要求强，操作复杂的问题。
发明内容
本申请实施例提供一种多传感器数据的播放处理技术方案。
第一方面，本申请实施例提供一种多传感器数据的播放处理方法，包括：
获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，所述多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，所述图像数据具有图像传感器采集时钟下的时间戳，所述非图像数据具有非图像传感器采集时钟下的时序信息，所述非图像数据不支持根据所述时序信息进行播放；
对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，所述可播放数据与所述非图像数据具有相同的时序信息；
在数据播放时钟下，根据所述时序信息，播放所述可播放数据，并响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧。
结合本申请一个或多个实施例，所述传感器数据包括至少一路非图像数据，
对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，包括：
对每一路所述非图像数据进行格式转换处理，得到至少一路能够根据时序信息进行播放的可播放数据，
在数据播放时钟下，根据所述时序信息，播放所述可播放数据，包括：
在所述数据播放时钟下，在每一路所述可播放数据的起始时刻中，确定最早的所述起始时刻为数据播放的起始播放时刻；
从所述起始播放时刻开始，根据每一路所述可播放数据的所述时序信息，播放所述可播放数据。
结合本申请一个或多个实施例，根据所述时序信息，对所述可播放数据进行播放处理，包括：
当存在某路可播放数据的起始时刻晚于所述起始播放时间时，在所述当前播放时刻早于该路可播放数据的起始时刻时，不播放该路可播放数据，在所述当前播放时刻与该路可播放数据的起始时刻相同时，开始播放该路可播放数据。
结合本申请一个或多个实施例，响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧，包括：
获取待读取的所述数据帧的所述时间戳，判断所述时间戳与所述当前播放时刻是否相同；
在所述时间戳与所述当前播放时刻相同时，读取且一并播放所述图像数据中与所述时间戳对应的数据帧。
结合本申请一个或多个实施例，当存在某路图像数据包括所述时间戳早于所述起始播放时间的数据段时，所述方法还包括：以第一读取速度读取所述数据段的所述数据帧，所述第一读取速度小于第二读取速度，其中，第二读取速度为数据播放时所述图像数据的数据帧读取速度。
结合本申请一个或多个实施例，获取采集到的多路传感器数据，包括：
从采集到的N路所述传感器数据中，获取M路所述传感器数据，其中，M、N为正整数，且M≤N。
第二方面，本申请实施例提供一种多传感器数据的播放处理装置，包括：
获取单元，用于获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，所述多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，所述图像数据具有图像传感器采集时钟下的时间戳，所述非图像数据具有非图像传感器采集时钟下的时序信息，所述非图像数据不支持根据所述时序信息进行播放；
第一处理单元，用于对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，所述可播放数据与所述非图像数据具有相同的时序信息；
第二处理单元，用于在数据播放时钟下，根据所述时序信息，播放所述可播放数据，并响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧。
结合本申请一个或多个实施例，所述传感器数据包括至少一路非图像数据，
所述第一处理单元，具体用于：
对每一路所述非图像数据进行格式转换处理，得到至少一路能够根据时序信息进行播放的可播放数据，
所述第二处理单元，包括：
第一处理子单元，用于在所述数据播放时钟下，在每一路所述可播放数据的起始时刻中，确定最早的所述起始时刻为数据播放的起始播放时刻；
第二处理子单元，用于从所述起始播放时刻开始，根据每一路所述可播放数据的所述时序信息，播放所述可播放数据。
结合本申请一个或多个实施例，所述第二处理单元，还包括：
第三处理子单元，用于当存在某路可播放数据的起始时刻晚于所述起始播放时间时，在所述当前播放时刻早于该路可播放数据的起始时刻时，不播放该路可播放数据，在所述当前播放时刻与该路可播放数据的起始时刻相同时，开始播放该路可播放数据。
结合本申请一个或多个实施例，所述第二处理单元，还包括：
获取子单元，用于获取待读取的所述数据帧的所述时间戳，判断所述时间戳与所述当前播放时刻是否相同；
第四处理子单元，用于在所述时间戳与所述当前播放时刻相同时，读取且一并播放所述图像数据中与所述时间戳对应的数据帧。
结合本申请一个或多个实施例，所述第二处理单元，还包括：
第五处理子单元，用于当存在某路图像数据包括所述时间戳早于所述起始播放时间的数据段时，以第一读取速度读取所述数据段的所述数据帧，所述第一读取速度小于第二读取速度，其中，第二读取速度为数据播放时所述图像数据的数据帧读取速度。
结合本申请一个或多个实施例，所述获取单元，具体用于：
从采集到的N路所述传感器数据中，获取M路所述传感器数据，其中，M、N为正整数，且M≤N。
第三方面，本申请实施例提供一种多传感器数据的播放处理设备，包括：发送器、接收器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现第一方面任一实现方式提供的多传感器数据的播放处理方法。
第四方面，本申请实施例提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现第一方面任一实现方式提供的多传感器数据的播放处理方法。
本申请实施例提供的数据回放处理方法、装置、设备和存储介质，通过获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，所述多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，所述图像数据具有图像传感器采集时钟下的时间戳，所述非图像数据具有非图像传感器采集时钟下的时序信息，所述非图像数据不支持根据所述时序信息进行播放；对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，所述可播放数据与所述非图像数据具有相同的时序信息；在数据播放时钟下，根据所述时序信息，播放所述可播放数据，并响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧。将不同工作状态下的多个传感器采集到的多路传感器数据进行播放时，不需要引进额外的硬件设备来实现多路传感器数据的同步采集，硬件成本低，适用性广泛；可对采集到的原始传感器数据进行播放，无需进行人工对齐预处理，专业性要求低，操作简便。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种多传感器数据的播放处理方法的流程图；
图2为本申请实施例提供的另一种多传感器数据的播放处理方法的流程图；
图3为本申请实施例提供的另一种多传感器数据的播放处理方法的流程示意图；
图4为本申请实施例提供的一种多传感器数据的播放处理装置的结构示意图；
图5为本申请实施例提供的另一种多传感器数据的播放处理装置的结构示意图；
图6为本申请实施例提供的一种多传感器数据的播放处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请涉及的名词解释：
CCD：Charge Coupled Device，电荷耦合器件。
CMOS：Complementary Metal Oxide Semiconductor，互补金属氧化物半导体。
canbus：controller area network bus，串行总线系统。
ros：sobotoperating system，机器人操作系统，能够用于实现工程的协作及发布。
回调函数：Callback Functions，当某函数可以通过其函数指针去调用其他函数时，该函数为调用函数，回调函数通过将其函数指针作为参数传递给另一个函数，而实现另一个函数的调用。
随着自动驾驶技术的迅速发展，快速准确地验证自动驾驶相关算法显得尤为重要。利用多路各类传感器采集相关数据，并对采集到的多路传感器数据进行播放，是验证自动驾驶相关算法的有效途径。例如，在进行自动驾驶车辆的行车场景复现时，获取设置在自动驾驶车辆上的多路传感器采集到的多路传感器数据，并播放多路传感器数据，以确定行车过程中每个时刻对应的车辆位姿，并构建车辆的位姿队列。多传感器数据播放在用于还原自动驾驶车辆的行车场景时，有利于为自动驾驶车辆的自动驾驶和辅助驾驶提供参考决策。同时，多传感器数据播放还可用于其他虚拟仿真场景，例如，将多传感器数据播放应用于虚拟驾驶、虚拟飞行、虚拟足球、虚拟射击等场景。
但是，在实际操作中，由于多路传感器的工作状态不同，比如：触发时刻、触发源等不同，采集到的数据存在不同步的情况，这使得多路传感器数据同步播放难以实现。为实现多路传感器数据的同步播放，一般的方法是引入额外的设备将所有的传感器同步触发，通过硬件同步的方式实现数据的同步采集，并将多路传感器数据进行离线加工，通过人工预处理来对齐多路传感器数据的时间信息，从而实现多路传感器数据的播放。然而，通过额外的设备同步触发各类传感器进行数据的同步采集，会大幅增加传感器数据播放的硬件成本；并且若采集数据时发生丢帧情况，仍会使采集到的数据存在不同步的现象，进而影响多路传感器数据的播放效果。
本申请提出一种多传感器数据的播放处理技术方案。下面通过具体实施例对技术方案进行详细说明。
图1为本申请实施例提供的一种多传感器数据的播放处理方法的流程示意图，如图1所示，该方法包括：
S101、获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，图像数据具有图像传感器采集时钟下的时间戳，非图像数据具有非图像传感器采集时钟下的时序信息，非图像数据不支持根据时序信息进行播放。
在本实施例中，具体的，本实施例的执行主体为终端设备、或者控制器、服务器，或者其他可以执行本实施例的装置或设备。本实施例以执行主体为终端设备进行说明，可以在终端设备中设置应用软件，然后，终端设备控制应用软件执行本实施例提供的方法。
终端获取设置在如车辆、机器人等可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括图像传感器和非图像传感器，图像传感器包括CCD传感器、CMOS传感器等用于采集图像数据的传感器，非图像传感器包括激光传感器、雷达传感器、红外传感器、惯导传感器等用于采集非图像数据的传感器。每个传感器有各自的数据采集时钟，不同传感器的时钟可能不同步。传感器数据包括图像数据和非图像数据，其中，图像数据由离散的数据帧构成，每一个数据帧具有图像传感器采集时钟下的时间戳，图像数据能够根据其数据帧的时间戳进行播放；非图像数据具有非图像传感器采集时钟下的时序信息，非图像数据不支持根据其时序信息进行播放。
S102、对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，可播放数据与非图像数据具有相同的时序信息。
在本实施例中，具体的，对获取到的非图像数据进行格式转换处理，得到数据内容不变、时序信息不变的可播放数据，可播放数据能够根据其时序信息进行播放。示例性的，获取到的非图像数据包括雷达数据、惯导数据和canbus数据，将非图像数据的雷达数据、惯导数据和canbus数据进行格式转换处理，将这些数据转换成为支持播放的格式，得到三路可播放数据，三路可播放数据分别与获取到的雷达数据、惯导数据和canbus数据的数据内容相同、时序信息相同，且三路可播放数据能够根据其时序信息进行播放。由于只对获取到的非图像数据进行格式转换处理，格式转换处理的数据量较小，能够有效缓解大批量数据进行格式转换发生数据帧丢失的情况。
S103、在数据播放时钟下，根据时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。
在本实施例中，具体的，在数据播放时钟下，根据可播放数据的时序信息，播放可播放数据。由于可播放数据与非图像数据具有相同的时序信息，因此，可播放数据播放过程中的时序信息与非图像数据采集过程中的时序信息相同。在可播放数据播放过程中，在当前播放时刻与图像数据的数据帧的时间戳相同时，读取与时间戳对应的数据帧，进行图像数据的播放。
本实施例通过获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，图像数据具有图像传感器采集时钟下的时间戳，非图像数据具有非图像传感器采集时钟下的时序信息，非图像数据不支持根据时序信息进行播放；对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，可播放数据与非图像数据具有相同的时序信息；在数据播放时钟下，根据时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。将不同工作状态下的多路传感器采集到的多路传感器数据进行播放时，不需要引进额外的硬件设备来实现多路传感器数据的同步采集，硬件成本低，适用性广泛；在不需要对采集到的原始数据进行人工预处理的前提下，实现了多路传感器数据的时间同步播放处理，专业性要求低，操作简便。
图2为本申请实施例提供的又一种多传感器数据的播放处理方法的流程示意图，图3为本申请实施例提供的另一种多传感器数据的播放处理方法的流程示意图，结合图2和图3所示，该方法包括：
S201、获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括至少图像传感器和非图像传感器，传感器数据包括至少一路图像数据和至少一路非图像数据，每一路图像数据具有图像传感器采集时钟下的时间戳，每一路非图像数据具有非图像传感器采集时钟下的时序信息，每一路非图像数据不支持根据时序信息进行播放。
在本实施例中，具体的，可以从采集到的N路传感器数据中，获取M路传感器数据进行数据播放，其中，M、N为正整数，且M≤N，该种设计有利于根据业务需求，灵活配置数据播放的组合形式。
举例来说，获取设置在自动驾驶车辆上的多路传感器采集到的多路传感器数据，多路传感器数据是利用自动驾驶平台获取完成，获取到的多路传感器数据包括图像数据和非图像数据。其中，图像数据是直接使用自动驾驶平台携带的数据采集工具获取的视频数据，非图像数据是利用硬件驱动获取的底层数据，具体包括雷达数据、惯导数据、canbus数据。多路传感器数据的采集过程没有引进额外的硬件设备来保证各个传感器同步触发，也不要求各个传感器的工作状态完全相同。
S202、对每一路非图像数据进行格式转换处理，得到能够根据时序信息进行播放的至少一路可播放数据，其中，每一路非图像数据和与其对应的可播放数据具有相同的时序信息。
在本实施例中，具体的，由于非图像数据不支持根据其时序信息进行播放，因此需要对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据。在多传感器数据播放的诸多应用场景中，例如，在利用多传感器数据播放进行自动驾驶车辆的行车场景复现，或者在利用多传感器数据播放进行模拟驾驶、模拟运动、模拟游戏等虚拟场景仿真时，需要保证进行多传感数据播放的数据内容与采集到的数据内容相同，多传感数据播放过程中的时序信息与采集过程中的时序信息相同。因此，在对非图像数据进行格式转换处理时，得到的可播放数据的数据内容、时序信息与获取的非图像数据的数据内容、时序信息相同。由于图像数据能够根据其数据帧的时间戳进行播放，因此不需要对图像数据进行格式转换处理。由于只需要对非图像数据进行格式转换处理，格式转换处理的数据量较小，能够有效避免因数据转换量太大容易发生数据帧丢失的情况。
举例来说，将获取的每一路非图像数据，转换为ros(机器人操作系统)的数据包rosbag，rosbag主要用于记录、回放、分析ros中的数据。它可以将ros中的指定数据记录到.bag后缀的数据包中，以便对其中的数据进行离线分析和处理。rosbag与非图像数据的数据内容相同，rosbag完整保存有非图像数据的时序信息，且能够根据时序信息进行数据内容播放。
S203、在数据播放时钟下，在每一路可播放数据的起始时刻中，确定最早的起始时刻为数据播放的起始播放时刻。
在本实施例中，具体的，在每一路可播放数据的所有起始时刻中，确定最早的起始时刻为起始播放时刻。由于可播放数据的时序信息，与非图像数据采集过程中的时序信息相同，因此，相当于在获取的每一路非图像数据中，确定最早的数据采集时刻为起始播放时刻。由于图像数据由离散的数据帧构成，且能够根据数据帧的时间戳，读取与任一个时间戳对应的数据帧，因此在确定多传感器数据播放的起始播放时刻时，不考虑图像数据的起始时刻。
S204、从起始播放时刻开始，根据每一路可播放数据的时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。
在本实施例中，具体的，从起始播放时刻开始，根据每一路可播放数据的时序信息，播放可播放数据。可选的，通过将回调函数的函数指针作为参数，传递给每一路可播放数据的时序信息，实现每一路可播放数据的时序信息的调用，其中，回调函数可采用现有代码实现，在此本申请不做赘述。当存在某路可播放数据的起始时刻晚于起始播放时刻时，在当前播放时刻早于该路可播放数据的起始时刻时，不播放该路可播放数据，在当前播放时刻与该路可播放数据的起始时刻相同时，开始播放该路可播放数据。从起始播放时刻开始，根据每一路可播放数据的时序信息，播放每一路可播放数据，每一路可播放数据播放过程中的时序信息与其采集过程中的时序信息相同，对每一路可播放数据进行播放，相当于对每一路非图像传感器数据的采集过程进行了还原。
获取到的多路传感器数据中包括至少一路图像数据，在对每一路图像数据进行播放时，按照时间戳由早至晚的顺序，依次读取与时间戳对应的数据帧，在某一路图像数据的所有未读取数据帧中，最早时间戳对应的数据帧为待读取数据帧。在读取数据帧之前，先获取待读取的数据帧的时间戳，通过判断待读取的数据帧的时间戳与数据播放的当前播放时刻是否相同，来确定是否读取该数据帧。当待读取的数据帧的时间戳与当前播放时刻相同时，读取该数据帧；当待读取的数据帧的时间戳晚于当前播放时刻时，暂不读取该数据帧。当存在某路图像数据包括时间戳早于起始播放时刻的数据段时，以第一读取速度读取该数据段的数据帧，第一读取速度大于第二读取速度，其中，第二读取速度为数据播放时图像数据的数据帧读取速度。即，当某路图像数据存在数据段的时间戳早于所有可播放数据的最早起始时刻时，以相对第二速度更快的速度，读取完该数据段中的数据帧，该种设计有利于提高多传感器数据播放的播放效率。
本申请实施例通过获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括至少图像传感器和非图像传感器，传感器数据包括至少一路图像数据和至少一路非图像数据，每一路图像数据具有图像传感器采集时钟下的时间戳，每一路非图像数据具有非图像传感器采集时钟下的时序信息，每一路非图像数据不支持根据时序信息进行播放；对每一路非图像数据进行格式转换处理，得到能够根据时序信息进行播放的至少一路可播放数据，其中，每一路非图像数据和与其对应的可播放数据具有相同的时序信息；在数据播放时钟下，在每一路可播放数据的起始时刻中，确定最早的起始时刻为数据播放的起始播放时刻；从起始播放时刻开始，根据每一路可播放数据的时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。多传感器数据播放过程中，在不对图像数据做格式转换处理的基础上，将非图像数据格式转换为可播放数据，在保证完整时序信息的基础上，能够有效避免大数据量格式转换过程中出现数据帧丢失的情况，有利于提高多传感器数据播放的鲁棒性；根据每一路可播放数据的起始时刻，确定多传感器数据播放的起始播放时刻，起始播放时刻确定方法简单，易于操作；根据每一路传感器数据采集过程中的时间信息进行播放，多传感器数据播放过程能够同步还原各路传感器数据的采集过程，在利用多传感器数据播放进行场景复原和虚拟仿真时，场景还原准确高、参考价值大；多传感器数据播放过程中，当待读取的数据帧的时间戳与当前播放时刻相同时，读取该数据帧，当某路图像数据存在数据帧丢失时，丢失的数据帧不会影响该路图像数据的正常播放，并且不影响该路图像数据播放过程中的时间信息，数据播放的鲁棒性高；在将多个传感器采集到的多路传感器数据进行播放时，不需要要求各个传感器的工作状态相同，也不需要引进额外的硬件设备来实现多路传感器数据的同步采集，硬件成本低，传感器数据采集方案简单，适用性广泛；不需要通过人工预处理来对齐多路传感器数据的时间信息，可对采集到的初始传感器数据直接进行播放，专业要求低，操作简单。
图4为本申请实施例提供的一种多传感器数据的播放处理装置的结构示意图，如图4所示，该装置包括：
获取单元1，用于获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，图像数据具有图像传感器采集时钟下的时间戳，非图像数据具有非图像传感器采集时钟下的时序信息，非图像数据不支持根据时序信息进行播放；
第一处理单元2，用于对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，可播放数据与非图像数据具有相同的时序信息；
第二处理单元3，用于在数据播放时钟下，根据时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。
本实施例通过获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，图像数据具有图像传感器采集时钟下的时间戳，非图像数据具有非图像传感器采集时钟下的时序信息，非图像数据不支持根据时序信息进行播放；对非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，可播放数据与非图像数据具有相同的时序信息；在数据播放时钟下，根据时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。将不同工作状态下的多路传感器采集到的多路传感器数据进行播放时，不需要引进额外的硬件设备来实现多路传感器数据的同步采集，硬件成本低，适用性广泛；在不需要对采集到的原始数据进行人工预处理的前提下，实现了多路传感器数据的播放处理，专业性要求低，操作简便。
图5为本申请实施例提供的另一种多传感器数据的播放处理装置的结构示意图，如图5所示，
传感器数据包括至少一路非图像数据，第一处理单元2，具体用于：
对每一路非图像数据进行格式转换处理，得到至少一路能够根据时序信息进行播放的可播放数据，
第二处理单元3，包括：
第一处理子单元31，用于在数据播放时钟下，在每一路可播放数据的起始时刻中，确定最早的起始时刻为数据播放的起始播放时刻；
第二处理子单元32，用于从起始播放时刻开始，根据每一路可播放数据的时序信息，播放可播放数据。
第二处理单元3，还包括：
第三处理子单元33，用于当存在某路可播放数据的起始时刻晚于起始播放时间时，在当前播放时刻早于该路可播放数据的起始时刻时，不播放该路可播放数据，在当前播放时刻与该路可播放数据的起始时刻相同时，开始播放该路可播放数据。
第二处理单元3，还包括：
获取子单元34，用于获取待读取的数据帧的时间戳，判断时间戳与当前播放时刻是否相同；
第四处理子单元35，用于在时间戳与当前播放时刻相同时，读取且一并播放图像数据中与时间戳对应的数据帧。
第二处理单元3，还包括：
第五处理子单元36，用于当存在某路图像数据包括时间戳早于起始播放时间的数据段时，以第一读取速度读取数据段的数据帧，第一读取速度小于第二读取速度，其中，第二读取速度为数据播放时图像数据的数据帧读取速度。
获取单元1，具体用于：
从采集到的N路传感器数据中，获取M路传感器数据，其中，M、N为正整数，且M≤N。
本申请实施例通过获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，多路传感器包括至少图像传感器和非图像传感器，传感器数据包括至少一路图像数据和至少一路非图像数据，每一路图像数据具有图像传感器采集时钟下的时间戳，每一路非图像数据具有非图像传感器采集时钟下的时序信息，每一路非图像数据不支持根据时序信息进行播放；对每一路非图像数据进行格式转换处理，得到能够根据时序信息进行播放的至少一路可播放数据，其中，每一路非图像数据和与其对应的可播放数据具有相同的时序信息；在数据播放时钟下，在每一路可播放数据的起始时刻中，确定最早的起始时刻为数据播放的起始播放时刻；从起始播放时刻开始，根据每一路可播放数据的时序信息，播放可播放数据，并响应于可播放数据的当前播放时刻与时间戳相同时，读取且一并播放图像数据中与时间戳对应的数据帧。多传感器数据播放过程中，在不对图像数据做格式转换处理的基础上，将非图像数据格式转换为可播放数据，在保证完整时序信息的基础上，能够有效避免大数据量格式转换过程中出现数据帧丢失的情况，有利于提高多传感器数据播放的鲁棒性；根据每一路可播放数据的起始时刻，确定多传感器数据播放的起始播放时刻，起始播放时刻确定方法简单，易于操作；根据每一路传感器数据采集过程中的时间信息进行播放，多传感器数据播放过程能够同步还原各路传感器数据的采集过程，在利用多传感器数据播放进行场景复原和虚拟仿真时，场景还原准确高、参考价值大；多传感器数据播放过程中，当待读取的数据帧的时间戳与当前播放时刻相同时，读取该数据帧，当某路图像数据存在数据帧丢失时，丢失的数据帧不会影响该路图像数据的正常播放，并且不影响该路图像数据播放过程中的时间信息，数据播放的鲁棒性高；在将多个传感器采集到的多路传感器数据进行播放时，不需要要求各个传感器的工作状态相同，也不需要引进额外的硬件设备来实现多路传感器数据的同步采集，硬件成本低，传感器数据采集方案简单，适用性广泛；不需要通过人工预处理来对齐多路传感器数据的时间信息，可对采集到的初始传感器数据直接进行播放，专业要求低，操作简单。
图6为本申请实施例提供的一种多传感器数据的播放处理设备的结构示意图，如图6所示，本申请实施例提供了一种多传感器数据的播放设备，可以用于执行图1-图3所示实施例中多传感器数据的播放处理动作或步骤，具体包括：处理器601，存储器602和通信接口603。
存储器602，用于存储计算机程序。
处理器601，用于执行存储器602中存储的计算机程序，以实现图1-图5所示实施例中多传感器数据的播放的动作，不再赘述。
可选的，多传感器数据的播放设备还可以包括总线604。其中，处理器601、存储器602以及通信接口603可以通过总线604相互连接；总线604可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。上述总线604可以分为地址总线、数据总线和控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，上述各实施例之间可以相互参考和借鉴，相同或相似的步骤以及名词均不再一一赘述。
或者，以上各个模块的部分或全部也可以通过集成电路的形式内嵌于该多传感器数据的播放设备的某一个芯片上来实现。且它们可以单独实现，也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、多传感器数据的播放设备或数据中心通过有线(例如，同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如，红外、无线、微波等)方式向另一个网站站点、计算机、多传感器数据的播放设备或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的多传感器数据的播放设备、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种多传感器数据的播放处理方法，其特征在于，包括：
获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，所述多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，所述图像数据具有图像传感器采集时钟下的时间戳，所述非图像数据具有非图像传感器采集时钟下的时序信息，所述非图像数据不支持根据所述时序信息进行播放；
对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，所述可播放数据与所述非图像数据具有相同的时序信息；
在数据播放时钟下，根据所述时序信息，播放所述可播放数据，并响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧。
2.根据权利要求1所述的方法，其特征在于，所述传感器数据包括至少一路非图像数据，
对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，包括：
对每一路所述非图像数据进行格式转换处理，得到至少一路能够根据时序信息进行播放的可播放数据，
在数据播放时钟下，根据所述时序信息，播放所述可播放数据，包括：
在所述数据播放时钟下，在每一路所述可播放数据的起始时刻中，确定最早的所述起始时刻为数据播放的起始播放时刻；
从所述起始播放时刻开始，根据每一路所述可播放数据的所述时序信息，播放所述可播放数据。
3.根据权利要求2所述的方法，其特征在于，根据所述时序信息，对所述可播放数据进行播放处理，包括：
当存在某路可播放数据的起始时刻晚于所述起始播放时刻时，在所述当前播放时刻早于该路可播放数据的起始时刻时，不播放该路可播放数据，在所述当前播放时刻与该路可播放数据的起始时刻相同时，开始播放该路可播放数据。
4.根据权利要求1所述的方法，其特征在于，响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧，包括：
获取待读取的所述数据帧的所述时间戳，判断所述时间戳与所述当前播放时刻是否相同；
在所述时间戳与所述当前播放时刻相同时，读取且一并播放所述图像数据中与所述时间戳对应的数据帧。
5.根据权利要求2-4任一项所述的方法，其特征在于，当存在某路图像数据包括所述时间戳早于所述起始播放时刻的数据段时，所述方法还包括：以第一读取速度读取所述数据段的所述数据帧，所述第一读取速度大于第二读取速度，其中，第二读取速度为数据播放时所述图像数据的数据帧读取速度。
6.根据权利要求1-4任一项所述的方法，其特征在于，获取采集到的多路传感器数据，包括：
从采集到的N路所述传感器数据中，获取M路所述传感器数据，其中，M、N为正整数，且M≤N。
7.一种多传感器数据的播放处理装置，其特征在于，包括：
获取单元，用于获取设置在可移动设备上的多路传感器采集到的多路传感器数据，其中，所述多路传感器包括图像传感器和非图像传感器，传感器数据包括图像数据和非图像数据，所述图像数据具有图像传感器采集时钟下的时间戳，所述非图像数据具有非图像传感器采集时钟下的时序信息，所述非图像数据不支持根据所述时序信息进行播放；
第一处理单元，用于对所述非图像数据进行格式转换处理，得到能够根据时序信息进行播放的可播放数据，所述可播放数据与所述非图像数据具有相同的时序信息；
第二处理单元，用于在数据播放时钟下，根据所述时序信息，播放所述可播放数据，并响应于所述可播放数据的当前播放时刻与所述时间戳相同时，读取且一并播放所述图像数据中与时间戳对应的数据帧。
8.根据权利要求7所述的装置，其特征在于，所述传感器数据包括至少一路非图像数据，
所述第一处理单元，具体用于：
对每一路所述非图像数据进行格式转换处理，得到至少一路能够根据时序信息进行播放的可播放数据，
所述第二处理单元，包括：
第一处理子单元，用于在所述数据播放时钟下，在每一路所述可播放数据的起始时刻中，确定最早的所述起始时刻为数据播放的起始播放时刻；
第二处理子单元，用于从所述起始播放时刻开始，根据每一路所述可播放数据的所述时序信息，播放所述可播放数据。
9.一种多传感器数据的播放处理设备，其特征在于，包括：处理器、存储器以及计算机程序；
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如权利要求1-6任一项的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，计算机程序被处理器执行以实现如权利要求1-6任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704341.XA CN110234029B (zh) | 2019-07-31 | 2019-07-31 | 多传感器数据的播放处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910704341.XA CN110234029B (zh) | 2019-07-31 | 2019-07-31 | 多传感器数据的播放处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110234029A true CN110234029A (zh) | 2019-09-13 |
| CN110234029B CN110234029B (zh) | 2021-12-17 |
Family
ID=67855220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910704341.XA Active CN110234029B (zh) | 2019-07-31 | 2019-07-31 | 多传感器数据的播放处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110234029B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112683544A (zh) * | 2019-10-17 | 2021-04-20 | 北京百度网讯科技有限公司 | 无人车行驶能力验证方法、装置、设备及存储介质 |
| CN112988669A (zh) * | 2021-04-30 | 2021-06-18 | 湖北亿咖通科技有限公司 | 多传感器数据文件的回放方法、电子设备及存储介质 |
| CN114297136A (zh) * | 2021-12-13 | 2022-04-08 | 南京理工大学 | 基于zynq的多传感器数据实时时间配准方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572443A (zh) * | 2010-09-30 | 2012-07-11 | 苹果公司 | 用于在图像信号处理系统中同步音频和视频数据的技术 |
| CN203243527U (zh) * | 2013-05-30 | 2013-10-16 | 广州中国科学院沈阳自动化研究所分所 | 无线传感器网络时间同步测量装置 |
| CN106443607A (zh) * | 2016-10-25 | 2017-02-22 | 华域汽车系统股份有限公司 | 一种车载雷达数据处理算法验证系统 |
| CN106998434A (zh) * | 2016-07-08 | 2017-08-01 | 增城市城乡规划测绘院 | 一种移动视频轨迹在电子地图中与视频播放同步显示的方法 |
| CN107223316A (zh) * | 2014-12-14 | 2017-09-29 | 深圳市大疆创新科技有限公司 | 用于支持选择性回溯数据录制的系统和方法 |
| CN107819799A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
| CN107850901A (zh) * | 2015-05-23 | 2018-03-27 | 深圳市大疆创新科技有限公司 | 使用惯性传感器和图像传感器的传感器融合 |
| CN108268033A (zh) * | 2016-12-30 | 2018-07-10 | 百度（美国）有限责任公司 | 使用基于图的车道变换指导来操作无人驾驶车辆的方法和系统 |
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| CN109194436A (zh) * | 2018-11-01 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 传感器时间戳同步测试方法、装置、设备、介质及车辆 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109729277A (zh) * | 2018-11-19 | 2019-05-07 | 魔门塔(苏州)科技有限公司 | 多传感器采集时间戳同步装置 |
| CN110058594A (zh) * | 2019-04-28 | 2019-07-26 | 东北大学 | 基于示教的多传感器的移动机器人定位导航系统及方法 |
-
2019
- 2019-07-31 CN CN201910704341.XA patent/CN110234029B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572443A (zh) * | 2010-09-30 | 2012-07-11 | 苹果公司 | 用于在图像信号处理系统中同步音频和视频数据的技术 |
| CN203243527U (zh) * | 2013-05-30 | 2013-10-16 | 广州中国科学院沈阳自动化研究所分所 | 无线传感器网络时间同步测量装置 |
| CN107223316A (zh) * | 2014-12-14 | 2017-09-29 | 深圳市大疆创新科技有限公司 | 用于支持选择性回溯数据录制的系统和方法 |
| CN107850901A (zh) * | 2015-05-23 | 2018-03-27 | 深圳市大疆创新科技有限公司 | 使用惯性传感器和图像传感器的传感器融合 |
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| CN106998434A (zh) * | 2016-07-08 | 2017-08-01 | 增城市城乡规划测绘院 | 一种移动视频轨迹在电子地图中与视频播放同步显示的方法 |
| CN107819799A (zh) * | 2016-09-13 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于无人驾驶车辆的数据获取方法和装置 |
| CN106443607A (zh) * | 2016-10-25 | 2017-02-22 | 华域汽车系统股份有限公司 | 一种车载雷达数据处理算法验证系统 |
| CN108268033A (zh) * | 2016-12-30 | 2018-07-10 | 百度（美国）有限责任公司 | 使用基于图的车道变换指导来操作无人驾驶车辆的方法和系统 |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109194436A (zh) * | 2018-11-01 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 传感器时间戳同步测试方法、装置、设备、介质及车辆 |
| CN109729277A (zh) * | 2018-11-19 | 2019-05-07 | 魔门塔(苏州)科技有限公司 | 多传感器采集时间戳同步装置 |
| CN110058594A (zh) * | 2019-04-28 | 2019-07-26 | 东北大学 | 基于示教的多传感器的移动机器人定位导航系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANXUEZIXUAN: "Autoware搭建自动驾驶系统.一：数据记录/播放和传感器校准", 《HTTPS://BLOG.CSDN.NET/JIANXUEZIXUAN/ARTICLE/DETAILS/87283600》 * |
| 张品，董为浩，高大冬: "一种优化的贝叶斯估计多传感器数据融合方法", 《传感技术学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112683544A (zh) * | 2019-10-17 | 2021-04-20 | 北京百度网讯科技有限公司 | 无人车行驶能力验证方法、装置、设备及存储介质 |
| CN112988669A (zh) * | 2021-04-30 | 2021-06-18 | 湖北亿咖通科技有限公司 | 多传感器数据文件的回放方法、电子设备及存储介质 |
| CN114297136A (zh) * | 2021-12-13 | 2022-04-08 | 南京理工大学 | 基于zynq的多传感器数据实时时间配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110234029B (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110234029A (zh) | 多传感器数据的播放处理方法和装置 | |
| EP3748972A1 (en) | Video recording method and system | |
| US20190335162A1 (en) | System that generates virtual viewpoint image, method and storage medium | |
| CN105959620A (zh) | 一种全景视频的同步显示方法及设备 | |
| KR20210002459A (ko) | 오디오 및 비디오를 동기시키기 위한 시스템 및 방법 | |
| JP2008005154A (ja) | 画像処理装置及びその制御方法 | |
| US20200322669A1 (en) | Video recording of a display device | |
| JP2013229860A (ja) | 記録装置および記録システム | |
| KR20180034792A (ko) | 다중 센서 데이터 취득/리시뮬레이션 시스템 및 방법 | |
| WO2016190472A1 (ko) | 크로마키를 이용한 증강현실 영상 제작 장치 및 방법 | |
| CN101895736B (zh) | 媒体流数据处理方法及其装置 | |
| CN113938617A (zh) | 一种多路视频显示方法、设备、网络摄像机及存储介质 | |
| KR100298174B1 (ko) | 네트웍을통한멀티미디어스트리밍시스템및그방법 | |
| CN110636219B (zh) | 一种视频数据流的传输方法及装置 | |
| WO2014199424A1 (ja) | 画像処理システム、サーバ、及び画像処理端末 | |
| JP2005057590A (ja) | デコード表示装置、撮像装置及びそれらを備えた画像伝送システム | |
| US20110292228A1 (en) | Image capturing device | |
| CN102984451A (zh) | 成像装置和成像方法 | |
| CN114466145B (zh) | 视频处理方法、装置、设备和存储介质 | |
| JPH0946376A (ja) | 伝送装置および伝送記録装置および再生伝送装置 | |
| US20200218700A1 (en) | Image synchronized storage method and image processing device | |
| US6182259B1 (en) | Program for error correcting process included in error correcting device, method, and medium | |
| WO2018155910A1 (ko) | 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| US5774589A (en) | Image processing system | |
| JP3625346B2 (ja) | カメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 01, 2nd floor, 29, 30 Lane 1775, Qiushan Road, Nicheng, Pudong New Area, Shanghai, 2002 Applicant after: Shanghai Shangtang Lingang Intelligent Technology Co., Ltd. Address before: 2002 233 C Building, 888 Huanhu West Second Road, Nanhui New Town, Pudong New District, Shanghai Applicant before: Shanghai Shangtang Visual Technology Co., Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |