CN110677623A - 数据处理的方法、装置、设备和存储介质 - Google Patents

数据处理的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110677623A
CN110677623A CN201910980311.1A CN201910980311A CN110677623A CN 110677623 A CN110677623 A CN 110677623A CN 201910980311 A CN201910980311 A CN 201910980311A CN 110677623 A CN110677623 A CN 110677623A
Authority
CN
China
Prior art keywords
data
video
video capture
identifier
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910980311.1A
Other languages
English (en)
Other versions
CN110677623B (zh
Inventor
刘慧�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910980311.1A priority Critical patent/CN110677623B/zh
Publication of CN110677623A publication Critical patent/CN110677623A/zh
Priority to PCT/CN2020/083597 priority patent/WO2021073054A1/zh
Priority to JP2021538335A priority patent/JP7273975B2/ja
Priority to EP23190861.7A priority patent/EP4246965A3/en
Priority to EP20876718.6A priority patent/EP3896964A4/en
Priority to US17/374,981 priority patent/US11671678B2/en
Application granted granted Critical
Publication of CN110677623B publication Critical patent/CN110677623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Abstract

本申请公开了数据处理的方法、装置、设备和计算机可读存储介质，涉及数据处理领域。该方法包括从数据聚合装置接收单个聚合数据流，聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集数据包的视频采集装置的标识符。该方法还包括基于标识符，从聚合数据流确定与多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。以此方式，能够稳定且高效地传输来自多个视频采集装置的视频，同时节省了传输过程所占用的资源。本方案可用于人工智能领域，尤其是自动驾驶(包括自主泊车)领域。

Description

数据处理的方法、装置、设备和存储介质
技术领域
本公开的实施例主要涉及数据处理领域，并且更具体地，涉及数据处理的方法、装置、设备和计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的场景中需要对视频进行采集和处理。例如，视频采集与处理技术在汽车辅助驾驶等场景中具有重要应用价值。一般而言，汽车可以利用传感器和视频采集装置，在汽车行驶过程中感应周围环境、收集各种数据，从而实现辅助驾驶。
通常，视频采集与处理装置对多个视频采集装置的控制不够灵活，难以实现针对个别视频采集装置的启停控制。此外，随着视频采集装置数目的增加，这些装置往往需要占用较多的硬件资源来传输多个视频，并且这些视频之间的同步精度也较低。
发明内容
根据本公开的示例实施例，提供了一种数据处理的方案。
在本公开的第一方面中，提供了一种数据处理方法。该方法包括从数据聚合装置接收单个聚合数据流，聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集数据包的视频采集装置的标识符。该方法还包括基于标识符，从聚合数据流确定与多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。
在本公开的第二方面中，提供了一种用于数据处理的装置。该装置包括数据接收模块，被配置为从数据聚合装置接收单个聚合数据流，聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集数据包的视频采集装置的标识符。该装置还包括视频确定模块，被配置为基于标识符，从聚合数据流确定与多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。
在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的实施例的数据处理的过程的流程图；
图3示出了根据本公开的实施例的数据处理的示意图；
图4示出了根据本公开的实施例的用于数据处理的装置的示意性框图；以及
图5示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本公开的实施例的描述中，如本领域技术人员所理解的，术语“数据流”是指从视频采集装置获得的数据以流的形式由数据聚合装置接收。数据流可以包括至少一个数据包，数据包可以包括至少一帧图像。
在本公开的实施例的描述中，如本领域技术人员所理解的，术语“聚合”是指将多个数据流的多个数据包以首尾相接或者相互交织的方式聚合在单个数据流中，以便于经由单个传输通道来实现多个视频的传输。
在本公开的实施例的描述中，如本领域技术人员所理解的，术语“标识符”是指用于指示数据包来自哪个视频采集装置的标识。标识符可以是数字、字母、符号或者由它们中的一个或多个组合而成。
传统上，如上文所提及的，视频采集与处理装置对多个视频采集装置的控制不够灵活，难以实现针对个别视频采集装置的启停控制。此外，随着视频采集装置数目的增加，这些装置往往需要占用较多的硬件资源来传输多个视频，并且这些视频之间的同步精度也较低。
根据本公开的实施例，提出了一种数据处理方案，用于获得来自多个视频采集装置的视频。在该方案中，从数据聚合装置接收单个聚合数据流，聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集数据包的视频采集装置的标识符。基于标识符，从聚合数据流确定与多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。以此方式，来自多个视频采集装置的数据流被聚合为单个聚合数据流进行传输，单个聚合数据流还可以根据标识符被确定为多个视频以供用户使用。因此，利用本公开的方案能够稳定且高效地传输来自多个视频采集装置的视频，同时降低了数据传输的成本。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，数据聚合装置130接收来自视频采集装置110-1和110-2的数据流120-1和120-2。数据流120-1可以包括数据包121-1、122-1和123-1，数据流120-2可以包括121-2、122-2和123-2。在一些实施例中，视频采集装置可以包括相机、摄像头或者其他任何能够采集视频的装置。
数据聚合装置130可以将来自视频采集装置110-1和110-2的数据流120-1和120-2聚合为单个聚合数据流140。在一些实施例中，数据聚合装置130可以包括串行器或解串器，也可以包括其他任何能够将多个数据流聚合为单个数据流的装置。聚合数据流140包括数据包121-1、122-1、123-1、121-2、122-2和123-2。数据包121-1、122-1、123-1具有视频采集装置110-1的标识符141，数据包121-2、122-2和123-2具有视频采集装置110-2的标识符142，以指示与这些数据包相关联的视频采集装置。应当理解，虽然图1示出了这些数据包以121-1、122-1、123-1、121-2、122-2和123-2这样首尾相接的顺序排列，但是应当理解，这些数据包也能够以互相交织的顺序排列，例如以121-1、122-2、123-1、121-2、122-1和123-2等顺序排列，本公开对此不进行限制。
计算设备150接收聚合数据流140。由于数据包121-1、122-1、123-1、121-2、122-2和123-2具有指示视频采集装置110-1或视频采集装置110-2的标识符141或142，计算设备150可以根据这些标识符，从聚合数据流140中确定包括数据包121-1、122-1、123-1的视频160-1以及包括数据包121-2、122-2和123-2的视频160-2，以供用户使用。计算设备150可以是固定式计算设备，诸如服务器、台式计算机、开发板等，也可以是便携式计算设备，诸如移动电话、平板计算机等。应当理解，以上仅仅是计算设备150的一些示例，其还可以是分布式计算系统等其他适当的系统或设备。
应当理解，图1中示出的环境仅是示例性的，尽管图1中仅示出了数据聚合装置130从两个视频采集装置110-1和110-2接收数据流，然而应当理解，数据聚合装置130还可以从更多个视频采集装置接收数据流，也可以将更多个数据流聚合为单个聚合数据流。还应当理解，可以使用多个数据聚合装置来从多个视频采集装置接收数据流，也可以使用多个计算设备来确定多个视频，本公开对此不进行限制。
为了更清楚地理解本公开的实施例所提供的数据处理的方案，将参照图2来进一步描述本公开的实施例。图2示出了根据本公开的实施例的数据处理的过程200的流程图。过程200可以由图1的计算设备150或者由包括计算设备150的分布式计算系统来实现。为便于讨论，将结合图1来描述过程200。
在框210处，计算设备150从数据聚合装置130接收单个聚合数据流140。聚合数据流140包括由视频采集装置110-1和110-2采集的数据包121-1、122-1、123-1、121-2、122-2和123-2。数据包121-1、122-1和123-1具有指示视频采集装置110-1的标识符141，数据包121-2、122-2和123-2具有指示视频采集装置110-2的标识符142。标识符141和142是由数据聚合装置130在聚合数据流120-1和120-2时添加在每个数据包中的。以这样的方式，计算设备150只需要从数据聚合装置130接收单个聚合数据流，就可以接收到来自多个视频采集装置的数据包，显著地降低了数据包传输所需要的硬件资源。
在一些实施例中，计算设备150可以接收用户针对视频采集装置110-1或110-2中的至少一个视频采集装置的访问请求。响应于接收到该访问请求，计算设备150可以向数据聚合装置130发送用于启动该至少一个视频采集装置的指示。数据聚合装置130可以根据该指示来启动该至少一个视频采集装置。计算设备150可以从数据聚合装置130接收聚合数据流140，聚合数据流140至少包含由该至少一个视频采集装置采集的数据包。以此方式，用户可以根据需要来有针对性地启动个别视频采集装置，从而降低了装置整体功率消耗。
在框220处，计算设备150基于标识符141和142，从聚合数据流140确定与视频采集装置110-1和110-2相关联的视频160-1和160-2。视频160-1包括数据包121-1、122-1和123-1，视频160-2包括数据包121-2、122-2和123-2。以此方式，计算设备150可以将接收到的单个聚合数据流140确定为分别从视频采集装置110-1和110-2采集到的视频，从而提高了数据传输效率，并且降低了传输资源的消耗。
在一些实施例中，计算设备150可以确定聚合数据流140中所包含的数据包121-1、122-1、123-1、121-2、122-2和123-2具有的标识符141和142。计算设备150将具有标识符141的数据包121-1、122-1和123-1确定为第一数据集合，将具有相同标识符142的数据包121-2、122-2和123-2确定为第二数据集合。以此方式，计算设备150可以快速确定来自第一视频采集装置110-1的第一数据集合和来自第二视频采集装置110-2的第二数据集合，以提高获得视频的效率。在一些实施例中，计算设备150基于第一数据集合和第二数据集合可以确定来自第一视频采集装置110-1的视频160-1和来自第二视频采集装置110-2的视频160-2。以此方式，计算设备150利用标识符可以从聚合数据流140获得来自多个视频采集装置的视频，从而简化了数据传输过程。
在一些实施例中，计算设备150接收到针对视频160-1和160-2中至少一个视频的访问请求后，计算设备150可以从访问请求中获取该至少一个视频的标识符。根据该标识符，计算设备150可以向用户提供与该标识符相匹配的视频，以供用户使用。例如，如果用户当前需要获取视频160-1，那么用户可以向计算设备150发出针对视频160-1的访问请求，该请求中包含了标识符141。计算设备150可以从访问请求中获取标识符141。在一些实施例中，计算设备150可以根据该标识符141向用户提供与该标识符141相匹配的视频160-1，以供用户使用。以此方式，计算设备150可以选择性地将用户所需的视频提供给用户，从而提高了装置运行效率，降低了功率消耗。
图3示出了根据本公开的实施例的数据处理的示意图300。出于简化视图的目的，数据流和数据包的传输和转换过程未在图3中示出，本领域技术人员应当理解，图3中涉及的数据流和数据包的传输和转换过程是以如图1和图2所描述的方式来进行的。在图3的示例中，计算设备150可以从两个数据聚合装置130和230分别接收单个聚合数据流，然后从这些聚合数据流中确定从视频采集装置110-1、110-2、210-1和210-2采集的视频160-1、160-2、260-1和260-2。以此方式，计算设备150可以获得从更多视频采集装置采集到的视频，扩展装置的适用性。
仍然以图3为例，计算设备150可以分别向数据聚合装置130和230发送具有预定频率的触发信号310和320，其中触发信号310和320的频率相同。数据聚合装置130和230可以在接收到触发信号310和320后，以该预定频率同步地获取由视频采集装置110-1、110-2、210-1和210-2所采集的数据包。例如，计算设备150向数据聚合装置130和230同步地发送25Hz的触发信号310和320，数据聚合装置130和230就能够以40毫秒的间隔同步地从视频采集装置110-1、110-2、210-1和210-2获取数据包。由于触发信号310和320是同步地发送到数据聚合装置130和230的，因此，从视频采集装置110-1、110-2、210-1和210-2获取的数据包也是同步的，最终获得的视频160-1、160-2、260-1和260-2也是同步的。以此方式，可以提高从多个视频采集装置获得的视频的同步精度。
应当理解，尽管图3中示出了4个视频采集装置以及两个数据聚合装置，然而可以根据实际情况的需要而设置更多视频采集装置和数据聚合装置。还应当理解，尽管图3中仅示出了一个计算设备150分别从数据聚合装置130和230接收聚合数据流，然而还可以设置附加的计算设备来从数据聚合装置130和230接收聚合数据流，该附加的计算设备也可以获得视频160-1、160-2、260-1和260-2。以此方式，可以在不同的计算设备上获得所需要的视频，以便用户独立地对视频执行各种处理。
通常，在用户对图像进行处理时，获得的图像经常会出现图像切帧的问题，这是由于处理器对一帧图像的处理速度小于一帧图像被存储到缓冲器的速度而造成的。例如，在一帧图像被存储到缓冲器后，处理器对该帧图像进行处理，但是由于某些原因，处理器对该帧图像的处理速度较慢，导致缓冲器中的该帧图像还未被处理完毕就被下一帧图像所覆盖，使得用户获得的图像一部分显示为前一帧图像，而另一部分显示为后一帧图像，降低了图像处理的质量，并且大大影响了用户体验。
在一些实施例中，计算设备150可以为每个视频分配n个低层缓冲器，n为大于等于2的整数。在用户需要对视频进行处理时，可以将视频中的每一帧按照先后顺序循环存储到每个低层缓冲器中。例如，以n＝3为例，计算设备150可以将视频中的第1帧图像存储到第1个缓冲器，将第2帧图像存储到第2个缓冲器，将第3帧图像存储到第3个缓冲器，然后返回到第1个缓冲器，将第4帧图像存储到第1个缓冲器，将第5帧图像存储到第2个缓冲器，以此类推。计算设备150再分配一个临时缓冲器，用于将当前要处理的一帧图像从低层缓冲器中读取到临时缓冲器，以供计算设备150进行处理。
例如，计算设备150在处理第1帧图像时，先从第1个缓冲器读取第1帧图像到临时缓冲器中，并且在临时缓冲器中对该帧图像进行处理。假设计算设备150向低层缓冲器存储一帧的时间间隔为T，那么在第1帧图像被存储到第1个缓冲器后，第2帧图像在经过时间T之后被存储到第2个缓冲器，又经过时间T之后第3帧图像被存储在第3个缓冲器，再经过时间T之后第4帧图像被存储到第1个缓冲器，然后又经过时间T之后，第5帧图像被存储在第2个缓冲器中。可以看出，由于第2帧图像、第3帧图像、第4帧图像被分别存储在第2个、第3个第和第1个缓冲器中，所以不会对临时缓冲器中正在被处理的图像造成任何影响，只要保证计算设备150在处理完第1帧图像后从第2个缓冲器中读取第2帧图像时，第2帧图像没有被第5帧图像所覆盖即可。因此，只要计算设备150处理图像的速度小于(n+1)*T就可以避免异常情况的出现。以此方式，根据实际情况的需要，通过调节分配给视频的低层缓冲器的数量就可以有效避免出现图像切帧和丢帧的问题，提高了图像处理的质量。
图4示出了根据本公开的实施例的用于数据处理的装置400的示意性框图。装置400可以被包括在图1的计算设备150中或者被实现为计算设备150。如图4所示，装置400包括数据接收模块410，被配置为从数据聚合装置接收单个聚合数据流，聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集数据包的视频采集装置的标识符。装置400还包括视频确定模块420，被配置为基于标识符，从聚合数据流确定与多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。
在一些实施例中，数据接收模块410包括：指示发送模块，被配置为响应于接收到针对多个视频采集装置中的至少一个视频采集装置的访问请求，向数据聚合装置发送用于启动至少一个视频采集装置的指示；以及数据流接收模块，被配置为从数据聚合装置接收单个聚合数据流，单个聚合数据流至少包含由至少一个视频采集装置采集的数据包。
在一些实施例中，视频确定模块420包括：标识符确定模块，被配置为确定聚合数据流中所包括的多个数据包分别所具有的标识符；数据集合确定模块，被配置为将多个数据包中具有相同标识符的数据包确定为一个数据集合；以及标识符利用模块，被配置为基于数据集合确定与标识符所对应的视频采集装置相关联的视频。
在一些实施例中，装置400还包括：触发模块，被配置为向数据聚合装置和另一数据聚合装置同时发送具有预定频率的触发信号，以使数据聚合装置和另一数据聚合装置以预定频率同步地获取由不同的视频采集装置所采集的数据包。
在一些实施例中，装置400还包括：标识符获取模块，被配置为响应于接收到针对多个视频中的至少一个视频的访问请求，从访问请求中获取至少一个视频的标识符；以及视频提供模块，被配置为提供多个视频中的、与获取的标识符匹配的视频。
在一些实施例中，数据聚合装置130包括串行器和解串器。
图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。设备500可以用于实现图1的计算设备150。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元501执行上文所描述的各个方法和处理，例如过程200。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时，可以执行上文描述的过程200中的任一个的一个或多个步骤。备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种数据处理方法，包括：
从数据聚合装置接收单个聚合数据流，所述聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集所述数据包的视频采集装置的标识符；以及
基于所述标识符，从所述聚合数据流确定与所述多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。
2.根据权利要求1所述的方法，其中从数据聚合装置接收单个聚合数据流包括：
响应于接收到针对所述多个视频采集装置中的至少一个视频采集装置的访问请求，向所述数据聚合装置发送用于启动所述至少一个视频采集装置的指示；以及
从所述数据聚合装置接收所述单个聚合数据流，所述单个聚合数据流至少包含由所述至少一个视频采集装置采集的数据包。
3.根据权利要求1所述的方法，其中从所述聚合数据流确定所述多个视频包括：
确定所述聚合数据流中所包括的多个数据包分别所具有的标识符；
将所述多个数据包中具有相同标识符的数据包确定为一个数据集合；以及
基于所述数据集合确定与所述标识符所对应的视频采集装置相关联的视频。
4.根据权利要求1所述的方法，还包括：
向所述数据聚合装置和另一数据聚合装置同时发送具有预定频率的触发信号，以使所述数据聚合装置和所述另一数据聚合装置以所述预定频率同步地获取由不同的视频采集装置所采集的数据包。
5.根据权利要求1所述的方法，还包括：
响应于接收到针对所述多个视频中的至少一个视频的访问请求，从所述访问请求中获取所述至少一个视频的标识符；以及
提供所述多个视频中的、与获取的所述标识符匹配的视频。
6.根据权利要求1所述的方法，其中所述数据聚合装置包括串行器和解串器。
7.一种用于数据处理的装置，包括：
数据接收模块，被配置为从数据聚合装置接收单个聚合数据流，所述聚合数据流包括分别由多个视频采集装置采集的多个数据包，每个数据包具有采集所述数据包的视频采集装置的标识符；以及
视频确定模块，被配置为基于所述标识符，从所述聚合数据流确定与所述多个视频采集装置相关联的多个视频，每个视频包括具有相同标识符的数据包。
8.根据权利要求7所述的装置，其中所述数据接收模块包括：
指示发送模块，被配置为响应于接收到针对所述多个视频采集装置中的至少一个视频采集装置的访问请求，向所述数据聚合装置发送用于启动所述至少一个视频采集装置的指示；以及
数据流接收模块，被配置为从所述数据聚合装置接收所述单个聚合数据流，所述单个聚合数据流至少包含由所述至少一个视频采集装置采集的数据包。
9.根据权利要求7所述的装置，其中所述视频确定模块包括：
标识符确定模块，被配置为确定所述聚合数据流中所包括的多个数据包分别所具有的标识符；
数据集合确定模块，被配置为将所述多个数据包中具有相同标识符的数据包确定为一个数据集合；以及
标识符利用模块，被配置为基于所述数据集合确定与所述标识符所对应的视频采集装置相关联的视频。
10.根据权利要求7所述的装置，还包括：
触发模块，被配置为向所述数据聚合装置和另一数据聚合装置同时发送具有预定频率的触发信号，以使所述数据聚合装置和所述另一数据聚合装置以所述预定频率同步地获取由不同的视频采集装置所采集的数据包。
11.根据权利要求7所述的装置，还包括：
标识符获取模块，被配置为响应于接收到针对所述多个视频中的至少一个视频的访问请求，从所述访问请求中获取所述至少一个视频的标识符；以及
视频提供模块，被配置为提供所述多个视频中的、与获取的所述标识符匹配的视频。
12.根据权利要求7所述的装置，其中所述数据聚合装置包括串行器和解串器。
13.一种电子设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN201910980311.1A 2019-10-15 2019-10-15 数据处理的方法、装置、设备和存储介质 Active CN110677623B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910980311.1A CN110677623B (zh) 2019-10-15 2019-10-15 数据处理的方法、装置、设备和存储介质
PCT/CN2020/083597 WO2021073054A1 (zh) 2019-10-15 2020-04-07 数据处理的方法、装置、设备和存储介质
JP2021538335A JP7273975B2 (ja) 2019-10-15 2020-04-07 データ処理の方法、装置、機器及び記憶媒体
EP23190861.7A EP4246965A3 (en) 2019-10-15 2020-04-07 Method and device, equipment, and storage medium for data processing
EP20876718.6A EP3896964A4 (en) 2019-10-15 2020-04-07 DATA PROCESSING METHOD, APPARATUS AND DEVICE, AND STORAGE MEDIA
US17/374,981 US11671678B2 (en) 2019-10-15 2021-07-13 Method and device, equipment, and storage medium for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910980311.1A CN110677623B (zh) 2019-10-15 2019-10-15 数据处理的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110677623A true CN110677623A (zh) 2020-01-10
CN110677623B CN110677623B (zh) 2021-09-10

Family

ID=69082688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910980311.1A Active CN110677623B (zh) 2019-10-15 2019-10-15 数据处理的方法、装置、设备和存储介质

Country Status (5)

Country Link
US (1) US11671678B2 (zh)
EP (2) EP3896964A4 (zh)
JP (1) JP7273975B2 (zh)
CN (1) CN110677623B (zh)
WO (1) WO2021073054A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073054A1 (zh) * 2019-10-15 2021-04-22 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
CN112866640A (zh) * 2021-01-08 2021-05-28 珠海研果科技有限公司 数据存储方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011293A1 (en) * 2022-07-14 2024-01-18 Harvest Technology Pty Ltd Systems, methods, and storage media for transmitting multiple data streams over a communications network for remote inspection

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262628A1 (en) * 2009-04-14 2010-10-14 David William Singer Method and apparatus for media data transmission
US20120098970A1 (en) * 1999-10-12 2012-04-26 Amini Shaun S System and method for storing and remotely retrieving video images
CN102480600A (zh) * 2010-11-22 2012-05-30 上海银晨智能识别科技有限公司 双路监控视频信息融合方法及系统
CN102656848A (zh) * 2010-11-09 2012-09-05 华为技术有限公司 数据包的传输方法及装置
CN106878658A (zh) * 2011-02-09 2017-06-20 宝利通公司 用于多流多站点远程呈现会议系统的自动视频布局
CN108063746A (zh) * 2016-11-08 2018-05-22 北京国双科技有限公司 数据的处理方法、客户端、服务器及系统
US10044987B1 (en) * 2014-12-10 2018-08-07 Amazon Technologies, Inc. Image processing system
CN108924477A (zh) * 2018-06-01 2018-11-30 北京图森未来科技有限公司 一种远距离视频处理方法和系统、视频处理设备
CN108986253A (zh) * 2018-06-29 2018-12-11 百度在线网络技术（北京）有限公司 用于存储数据的方法、装置、设备和计算机可读存储介质
CN109392018A (zh) * 2018-11-23 2019-02-26 Oppo广东移动通信有限公司 数据传输方法及相关装置
CN110278418A (zh) * 2019-07-29 2019-09-24 广州小鹏汽车科技有限公司 视频数据的处理系统、方法和车辆

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602858A (en) * 1993-09-20 1997-02-11 Kabushiki Kaisha Toshiba Digital signal decoding apparatus having a plurality of correlation tables and a method thereof
JPH11164289A (ja) * 1997-11-25 1999-06-18 Matsushita Electric Ind Co Ltd 映像多重装置と映像監視装置
JP2995703B1 (ja) * 1998-10-08 1999-12-27 コナミ株式会社 画像作成装置、画像作成装置における表示場面切替方法、画像作成装置における表示場面切替プログラムが記録された可読記録媒体及びビデオゲーム装置
WO2005027518A1 (ja) * 2003-09-11 2005-03-24 Fujitsu Limited 画像伝送装置及び画像伝送システム
JP4577768B2 (ja) * 2005-01-27 2010-11-10 株式会社コルグ 映像信号切り換え装置
JP4849297B2 (ja) * 2005-04-26 2012-01-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US8249339B2 (en) * 2006-08-01 2012-08-21 Nikon Corporation Image processing device and electronic camera
JP5492736B2 (ja) * 2010-11-01 2014-05-14 日本電信電話株式会社 映像配信システム、映像配信方法、および映像配信プログラム
JP5940999B2 (ja) * 2013-03-12 2016-06-29 日本電信電話株式会社 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
JP6364838B2 (ja) * 2014-03-14 2018-08-01 日本電気株式会社 映像処理装置および映像処理方法
CN103927364B (zh) * 2014-04-18 2017-03-01 苏州科达科技股份有限公司 一种视频摘要数据的存储方法、系统及展示系统
CN105335387A (zh) * 2014-07-04 2016-02-17 杭州海康威视系统技术有限公司 一种视频云存储系统的检索方法
JP2016171382A (ja) * 2015-03-11 2016-09-23 パナソニックＩｐマネジメント株式会社 サーバ装置、自動撮影システム及び自動撮影方法
US9736081B2 (en) * 2015-06-04 2017-08-15 At&T Intellectual Property I, L.P. Apparatus and method to improve compression and storage data
CN106851183B (zh) 2015-12-04 2020-08-21 宁波舜宇光电信息有限公司 基于fpga的多路视频处理系统及其方法
CN106162075A (zh) 2016-06-17 2016-11-23 浙江万朋教育科技股份有限公司 一种单台pc实现多路视频输入的稳定解决方法
US10193944B2 (en) * 2016-06-17 2019-01-29 Q Technologies Inc. Systems and methods for multi-device media broadcasting or recording with active control
CN106331673A (zh) * 2016-08-22 2017-01-11 上嘉（天津）文化传播有限公司 一种基于分散控制系统的vr视频数据控制方法
EP3518781A4 (en) * 2016-09-28 2020-06-17 Covidien LP SYSTEM AND METHOD FOR PARALLELIZING CPU AND GPU PROCESSING FOR ULTRASONIC IMAGING DEVICES
CN106454236B (zh) 2016-10-09 2019-09-17 珠海全志科技股份有限公司 一种提高多路视频采集前端处理效率的方法和系统
US10560609B2 (en) * 2016-11-04 2020-02-11 Karl Storz Endoscopy-America, Inc. System and related method for synchronized capture of data by multiple network-connected capture devices
WO2018086131A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Data flow scheduling between processors
AU2018270151A1 (en) * 2017-05-15 2020-01-16 T-Worx Holdings, LLC System and method for networking firearm-mounted devices
CN108200345A (zh) 2018-01-24 2018-06-22 华东师范大学 高速实时多路视频采集处理装置
US10694167B1 (en) * 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
CN109949203B (zh) 2019-03-19 2023-01-03 广东紫旭科技有限公司 一种异构cpu多路4k超高清视频处理装置与控制方法
CN110677623B (zh) * 2019-10-15 2021-09-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098970A1 (en) * 1999-10-12 2012-04-26 Amini Shaun S System and method for storing and remotely retrieving video images
US20100262628A1 (en) * 2009-04-14 2010-10-14 David William Singer Method and apparatus for media data transmission
CN102656848A (zh) * 2010-11-09 2012-09-05 华为技术有限公司 数据包的传输方法及装置
CN102480600A (zh) * 2010-11-22 2012-05-30 上海银晨智能识别科技有限公司 双路监控视频信息融合方法及系统
CN106878658A (zh) * 2011-02-09 2017-06-20 宝利通公司 用于多流多站点远程呈现会议系统的自动视频布局
US10044987B1 (en) * 2014-12-10 2018-08-07 Amazon Technologies, Inc. Image processing system
CN108063746A (zh) * 2016-11-08 2018-05-22 北京国双科技有限公司 数据的处理方法、客户端、服务器及系统
CN108924477A (zh) * 2018-06-01 2018-11-30 北京图森未来科技有限公司 一种远距离视频处理方法和系统、视频处理设备
CN108986253A (zh) * 2018-06-29 2018-12-11 百度在线网络技术（北京）有限公司 用于存储数据的方法、装置、设备和计算机可读存储介质
CN109392018A (zh) * 2018-11-23 2019-02-26 Oppo广东移动通信有限公司 数据传输方法及相关装置
CN110278418A (zh) * 2019-07-29 2019-09-24 广州小鹏汽车科技有限公司 视频数据的处理系统、方法和车辆

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073054A1 (zh) * 2019-10-15 2021-04-22 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
US11671678B2 (en) 2019-10-15 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device, equipment, and storage medium for data processing
CN112866640A (zh) * 2021-01-08 2021-05-28 珠海研果科技有限公司 数据存储方法和装置

Also Published As

Publication number Publication date
WO2021073054A1 (zh) 2021-04-22
JP7273975B2 (ja) 2023-05-15
EP3896964A4 (en) 2022-07-20
US20210345009A1 (en) 2021-11-04
JP2022516534A (ja) 2022-02-28
EP3896964A1 (en) 2021-10-20
EP4246965A3 (en) 2023-11-15
US11671678B2 (en) 2023-06-06
EP4246965A2 (en) 2023-09-20
CN110677623B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US20220394316A1 (en) Message sending method and device, readable medium and electronic device
CN110677623B (zh) 数据处理的方法、装置、设备和存储介质
US11232058B2 (en) Enabling sync header suppression latency optimization in the presence of retimers for serial interconnect
US9634888B2 (en) Method and system for transmitting data in parallel via wireless link and wired link
CN109040230B (zh) 文件的下载方法、装置、设备/终端/服务器及存储介质
CN111818632B (zh) 一种设备同步的方法、装置、设备及存储介质
US9286078B2 (en) Data processing apparatus having a parallel processing circuit including a plurality of processing modules, and method for controlling the same
CN110391989B (zh) 一种进行数据传输的方法和装置
CN113099133A (zh) 串行解串器链路传输高带宽相机数据的方法
CN111669262A (zh) 数据发送的方法、装置、电子设备及介质
CN112908877A (zh) 一种光伏电池片检测方法、系统、电子设备及存储介质
CN111817830B (zh) 传输、接收控制方法、终端及网络侧设备
CN108289165B (zh) 一种基于手机控制相机的实现方法、装置及终端设备
CN114039926B (zh) 传输控制协议确定方法、装置、可读介质及电子设备
CN116033199A (zh) 多设备音视频同步方法、装置、电子设备及存储介质
CN112954449B (zh) 视频流处理方法、系统、电子装置和存储介质
US20230146130A1 (en) Reference signal resource configuration method and apparatus, device, and storage medium
CN114095907A (zh) 蓝牙连接的控制方法、装置及设备
US20090319826A1 (en) Apparatus and method for testing a communication circuit
CN106371966B (zh) 收集与数据处理系统的操作相关的监视数据
CN117194290A (zh) 自动驾驶中的多路传感器数据传输方法和装置
CN112684878B (zh) 数据传输方法和电子设备
CN112653691B (zh) 一种数据处理方法、装置、设备及存储介质
CN114513523B (zh) 数据同步方法、装置、设备及存储介质
CN110855575B (zh) Tcp报文的调度方法、装置及通信设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211015

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100094 2 / F, baidu building, No.10 Shangdi 10th Street, Haidian District, Beijing

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.