CN113132552A - 视频流处理方法及装置 - Google Patents

视频流处理方法及装置 Download PDF

Info

Publication number
CN113132552A
CN113132552A CN201911408239.1A CN201911408239A CN113132552A CN 113132552 A CN113132552 A CN 113132552A CN 201911408239 A CN201911408239 A CN 201911408239A CN 113132552 A CN113132552 A CN 113132552A
Authority
CN
China
Prior art keywords
video stream
deserializer
video
synchronization signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911408239.1A
Other languages
English (en)
Other versions
CN113132552B (zh
Inventor
陈杰
曹峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu TD Tech Ltd
Original Assignee
Chengdu TD Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu TD Tech Ltd filed Critical Chengdu TD Tech Ltd
Priority to CN201911408239.1A priority Critical patent/CN113132552B/zh
Publication of CN113132552A publication Critical patent/CN113132552A/zh
Application granted granted Critical
Publication of CN113132552B publication Critical patent/CN113132552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种视频流处理方法及装置，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接，该方法包括：解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号；解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步；解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。通过该方法，单个解串器通过向每路摄像头模组发送帧同步信号，接收每路摄像头模组基于帧同步信号发送的视频流，从而无需多个解串器或者更新SoC芯片即可实现多路摄像头同步传输数据，降低了实现多路摄像头同步传输数据的成本。

Description

视频流处理方法及装置
技术领域
本发明涉及信息技术领域，尤其涉及一种视频流处理方法及装置。
背景技术
随着智能座舱行业的飞速发展，车内摄像头作为多媒体视频输入，在智能座舱系统中扮演着至关重要的角色，车内多路不同功能的摄像头将会成为智能座舱系统的标配。
现有技术中，车内多路不同摄像头数据的传输和解析主要存在两种方式。第一种方式，可以使用片上系统(System on Chip，SoC)的多个相机串行接口(CMOS serialinterface，CSI)端口异步接收来自多个解串器的多路摄像头数据。第二中方式，可以通过修改SoC的CSI端口物理层(Physical，PHY)结构，使其支持对一个CSI端口内传输的多路摄像头非同步数据的可靠解析。
然而，第一种方式，为了配合SoC的多个CSI端口异步接收多路摄像头数据，需要使用多个CSI输出端的解串器或多CSI输出端的解串器，由此造成硬件成本的增加。第二中方式，修改SoC的CSI PHY结构需要对SoC芯片进行更新，其实现难度大，工作量大，成本高。因此，现有的实现多路摄像头同步传输数据的成本均较高。
发明内容
本发明提供一种视频流处理方法及装置，以解决现有技术中实现多路摄像头同步传输数据的成本高的问题。
本发明第一个方面提供一种视频流处理方法，多路摄像头模组通过串行总线与解串器的输入端连接，所述解串器的输出端与主芯片的相机串行接口CSI端口连接，该方法包括：
所述解串器通过所述串行总线的反向映射通道，向每路所述摄像头模组发送帧同步信号；
所述解串器接收每路所述摄像头模组基于所述帧同步信号发送的视频流，各路所述视频流帧同步；
所述解串器将各路所述视频流异步输出至所述主芯片，以使所述主芯片对各路所述视频流进行处理。
一种可选的实施方式中，所述解串器将各路所述视频流异步输出至所述主芯片，包括：
所述解串器以视频帧为传输单位，将各路所述视频流异步输出至所述主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
一种可选的实施方式中，所述视频流包括所述视频流的帧开始标识、帧结束标识和所述视频流对应的虚拟通道标识，所述虚拟通道标识与所述视频流所属的摄像头模组对应。
一种可选的实施方式中，所述解串器向每路所述摄像头模组发送帧同步信号之前，所述方法还包括：
所述解串器生成所述帧同步信号。
一种可选的实施方式中，所述解串器向每路所述摄像头模组发送帧同步信号之前，所述方法还包括：
所述解串器接收所述主芯片发送的所述帧同步信号。
本发明第二方面提供一种视频流处理装置，多路摄像头模组通过串行总线与所述视频流处理装置的输入端连接，所述视频流处理装置的输出端与主芯片的相机串行接口CSI端口连接，所述装置包括：收发模块、处理模块；
所述收发模块用于通过所述串行总线的反向映射通道，向每路所述摄像头模组发送帧同步信号；
所述收发模块用于接收每路所述摄像头模组基于所述帧同步信号发送的视频流，各路所述视频流帧同步；
所述处理模块用于将各路所述视频流异步输出至所述主芯片，以使所述主芯片对各路所述视频流进行处理。
一种可选的实施方式中，所述处理模块具体用于以视频帧为传输单位，将各路所述视频流异步输出至所述主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
一种可选的实施方式中，所述视频流包括所述视频流的帧开始标识、帧结束标识和所述视频流对应的虚拟通道标识，所述虚拟通道标识与所述视频流所属的摄像头模组对应。
一种可选的实施方式中，所述处理模块还用于生成所述帧同步信号。
一种可选的实施方式中，所述收发模块还用于接收所述主芯片发送的所述帧同步信号。
本本发明实施例的第三方面视频流处理系统，包括：解串器、主芯片和多路摄像头模组；
所述多路摄像头模组通过串行总线与解串器的输入端连接，所述解串器的输出端与主芯片的相机串行接口CSI端口连接；
所述解串器执行上述第一方面及第一方面各种可选的视频流处理方法。
本发明实施例的第四方面提供一种解串器，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可选的视频流处理方法。
本发明的第五个方面提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面及第一方面各种可选的视频流处理方法。
本发明提供的视频流处理方法及装置，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接，解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号，解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步，解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。通过该方式，单个解串器就可以通过向每路摄像头模组发送帧同步信号，从而接收每路摄像头模组基于帧同步信号发送的视频流，进而无需多个解串器或者更新SoC芯片即可实现多路摄像头同步传输数据，降低了实现多路摄像头同步传输数据的成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频流处理方法的场景示意图；
图2为本申请实施例提供的一种视频流处理方法的流程示意图；
图3为本申请实施例提供的另一种视频流处理方法的流程示意；
图4为本申请实施例提供的一种解串器多路摄像头模组视频流时序图；
图5为本申请实施例提供的再一种视频流处理方法的流程示意；
图6为本申请实施例提供的又一种视频流处理方法的流程示意图；
图7为本申请实施例提供的一种视频流处理方法的应用原理示意图；
图8为本申请实施例提供的一种视频流处理装置的结构示意图；
图9为本申请实施例提供的一种解串器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，车内多路不同摄像头数据的传输和解析主要存在两种方式。第一种方式，可以使用片上系统(System on Chip，SoC)的多个相机串行接口(CMOS serialinterface，CSI)端口异步接收来自多个解串器的多路摄像头数据。第二种方式，可以通过修改SoC的CSI端口物理层(Physical，PHY)结构，使其支持对一个CSI端口内传输的多路摄像头非同步数据的可靠解析。然而，第一种方式，为了配合SoC的多个CSI端口异步接收多路摄像头数据，需要使用多个CSI输出端的解串器或多CSI输出端的解串器，由此造成硬件成本的增加。第二种方式，修改SoC的CSI PHY结构需要对SoC芯片进行更新，其实现难度大，工作量大，成本高。因此，现有的实现多路摄像头同步传输数据的成本较高。
考虑到上述问题，本发明提供了一种视频流处理方法及装置，通过触发各摄像头模组发送的视频流同步，从而在不增加解串器或者更新SoC芯片的基础上同步传输数据，降低了实现多路摄像头同步传输数据的成本。
图1为本申请实施例提供的一种视频流处理方法的场景示意图。如图1所示，多路摄像头模组101通过串行总线与解串器102的输入端连接，解串器102的输出端与主芯片103连接，多路摄像头模组拍摄多个视频流，解串器将自多路摄像头模组发送的视频流通过主芯片的CSI端口发送给主芯片进行处理。
其中，本申请实施例对于摄像头模组、解串器以及主芯片的连接方式不做限制，示例性的，多路摄像头模组可以通过同轴电缆或屏蔽双绞线接入解串器的视频串行通信(flat panel display link，FPD_LINK)III输入端。
多路摄像头模组可例如行车记录仪(driver video record，DVR)、车内摄像头监控系统(camera monitoring system，CMS)中的摄像头、人脸识别(Face ID)、驾驶员疲劳监控(driver monitoring system，DMS)系统中的摄像头和360环视系统中的摄像头。
本申请实施例对于主芯片和解串器的型号不做显示，主芯片也可以称为片上系统(System on Chip，SoC)，可例如Kirin 980型，解串器可例如DS90UB962型。
需要说明的是，本申请技术方案可以应用于智能座舱系统中，但并不限于此，还可以运用到其他需要进行多路摄像头同步传输数据的场景。
可以理解，上述视频流处理方法可以通过本申请实施例提供的视频流处理装置实现，视频流处理装置可以是某个设备的部分或全部，例如可以是上述解串器。
下面以集成或安装有相关执行代码的解串器为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种视频流处理方法的流程示意图。其中，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接。本实施例涉及的是如何实现多路摄像头同步传输数据的具体过程。如图2所示，该方法包括：
S201、解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号。
在本步骤中，当需要进行视频流处理时，解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号。
其中，本申请实施例对于串行总线的型号不做限制，示例性的，由于本申请要传输的为视频流，串行总线相应的可以采用视频串行通信(flat panel display link，FPD_LINK)III。反向映射通道还可以称为反向控制通道(backward control channel)。
本申请实施例对于帧同步信号的占空比和每秒传输帧数(frames per second，FPS)也不做限制，可以根据实际情况具体设置。示例性的，帧同步信号可以是占空比为10％的30FPS帧同步信号
在一些实施例中，解串器通过串行总线的反向映射通道发送的帧同步信号可以透传至每路摄像头模组的通用输入输出口(General Purpose Input Output，GPIO)，再通过GPIO将帧同步信传输至每路摄像头模组的传感器(Sensor)。
在一种可选的实施方式中，可以采用多个不同类型的摄像头模组，只需保证摄像头模组的分辨率和帧率相同。
S202、解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步。
在本步骤中，在解串器通过串行总线的反向映射通道向每路摄像头模组发送帧同步信号之后，解串器可以接收每路摄像头模组基于帧同步信号发送的视频流。
其中，本申请实施例对于摄像头模组如何基于帧同步信号发送的视频流不做限制，示例性的，若摄像头模组的GPIO接收到解串器发送的帧同步信号，则可以通过GPIO将帧同步信号传输至每路摄像头模组的Sensor，Sensor接收到帧同步信号后触发摄像头模组的视频流，视频流以未加工图像(raw image format，RAW)10比特(bit)格式流入ISP，并以最高12bit并口输出到模组串行器。由此解串器向每路摄像头模组发送的是帧同步信号，每路摄像头模组触发的视频流也相应同步。
在一种可选的实施方式中，视频流包括视频流的帧开始标识、帧结束标识和视频流对应的虚拟通道标识，虚拟通道标识与视频流所属的摄像头模组对应。
S203、解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。
在本步骤中，在解串器接收每路摄像头模组基于帧同步信号发送的视频流，可以将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。
其中，本申请实施例对于如何将视频流异步输出至主芯片不做限制，一种可选的实施方式中，解串器以接收的视频流帧开始(FS)为标识，将多路视频信号异步输出到主芯片。
在一些实施例中，若主芯片中的图像信号处理(image signal processing，ISP)可以通过数据包中的虚拟通道标志位(VCID)识别并提取各路摄像头模组的视频流，从而实现多路摄像头同步传输数据。
本申请实施例提供的视频流处理方法，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接，解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号，解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步，解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。通过该方式，单个解串器就可以通过向每路摄像头模组发送帧同步信号，从而接收每路摄像头模组基于帧同步信号发送的视频流，进而无需多个解串器或者更新SoC芯片即可实现多路摄像头同步传输数据，降低了实现多路摄像头同步传输数据的成本。
在上述实施例的基础上，当主芯片接收到一帧完整的行数即可产生视频帧接收中断，若未能接收到完整的行数据则以帧结束(Frame End)作为视频中断。因此，为了进一步满足上述中断条件，解串器将视频流异步输出至主芯片时，要求对解串器输出的多路视频流之间的帧间隔时间进行限制。下面对解串器输出的多路视频流之间的帧间隔时间进行说明。图3为本申请实施例提供的另一种视频流处理方法的流程示意，如图3所示，视频流处理方法包括：
S301、解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号。
S302、解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步。
步骤S301-S302的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201-S202理解，对于重复的内容，在此不再累述。
S303、解串器以视频帧为传输单位，将各路视频流异步输出至主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
在本步骤中，若解串器传输多次视频流，则相邻两次传输之间前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
示例性的，图4为本申请实施例提供的一种解串器多路摄像头模组视频流时序图，如图4所示，VC1-VC4为不同摄像头模组输出的视频流，即前一次传输最后一个视频帧(FE)至下一词传输第一个FS的时间间隔应大于等于1毫秒(ms)，相应的，单路摄像头模组帧间隔时间(V Blanking)应不小于4ms。此外，由于多路摄像模组采用帧同步模式，使得解串器输出的多路视频流FS间隔满足不超过3ms的要求，则可以认为多路视频流同步，进而实现多路摄像头模组同步数据的传输。
本申请实施例提供的视频流处理方法，解串器以视频帧为传输单位，将各路视频流异步输出至主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。通过该方式使得多路视频流的间隔时间满足同步要求，实现了多路摄像头模组同步数据的传输。
在上述实施例的基础上，下面对于如何产生帧同步信号进行说明。图5为本申请实施例提供的再一种视频流处理方法的流程示意，如图5所示，视频流处理方法包括：
S401、解串器生成帧同步信号。
在本步骤中，在解串器向每路摄像头模组发送帧同步信号之前，解串器可以生成帧同步信号。
本申请实施例对于解串器如何生成帧同步信号不做限制，示例性的，若为内部帧同步模式，则由解串器(Hub)的内部帧同步信号发生器产生帧同步信号。
S402、解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号。
S403、解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步。
S404、解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。
步骤S402-S404的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201-S203理解，对于重复的内容，在此不再累述。
在上述实施例的基础上，上述帧同步信号不但可以由解串器纯生存，还可以由主芯片生成。图6为本申请实施例提供的又一种视频流处理方法的流程示意图，如图6所示，视频流处理方法包括：
S501、解串器接收主芯片发送的帧同步信号。
在本步骤中，在解串器向每路摄像头模组发送帧同步信号之前，可以由主芯片生成帧同步信号，并且解串器接收主芯片发送的帧同步信号。
本申请实施例对于主芯片如何生成帧同步信号不做限制，可以采用现有的帧同步信号生成方式。
S502、解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号。
S503、解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步；
S504、解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。
步骤S502-S504的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201-S203理解，对于重复的内容，在此不再累述。
本申请实施例提供的视频流处理方法，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接，解串器通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号，解串器接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步，解串器将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。通过该方式，单个解串器就可以通过向每路摄像头模组发送帧同步信号，从而接收每路摄像头模组基于帧同步信号发送的视频流，进而无需多个解串器或者更新SoC芯片即可实现多路摄像头同步传输数据，降低了实现多路摄像头同步传输数据的成本。
图7为本申请实施例提供的一种视频流处理方法的应用原理示意图，如图7所示，不同功能的多路摄像头模组通过同轴电缆或屏蔽双绞线接入解串器的FPD_LINK III输入端。解串器配置为外部帧同步模式或内部帧同步模式，外部帧同步模式由主芯片产生帧同步信号(Frame SYNC)送至解串器Hub，内部帧同步模式即由解串器Hub的内部帧同步信号发生器产生帧同步信号。解串器将相同的帧同步信号通过FPD_LINK III反向映射通道映射到摄像头模组的GPIO中，最后分别送至sensor和ISP，从而触发帧同步的多路视频流。多路视频流经FPD_LINK III链路下行至解串器，解串器根据所接收的各路视频流帧开始(FrameStart)将数据包通过单移动产业处理器接口(mobile industry processor interface，MIPI)CSI端口异步输出至主芯片，并由主芯片内部ISP进行解析和提取。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8为本申请实施例提供的一种视频流处理装置的结构示意图。多路摄像头模组通过串行总线与视频流处理装置的输入端连接，视频流处理装置的输出端与主芯片的相机串行接口CSI端口连接，该视频流处理装置可以通过软件、硬件或者两者的结合实现，可以为前述所说的解串器。
如图8所示，该视频流处理装置600包括：收发模块601、处理模块602。
收发模块601用于通过串行总线的反向映射通道，向每路摄像头模组发送帧同步信号；接收每路摄像头模组基于帧同步信号发送的视频流，各路视频流帧同步；
处理模块602用于将各路视频流异步输出至主芯片，以使主芯片对各路视频流进行处理。
一种可选的实施方式中，处理模块602具体用于以视频帧为传输单位，将各路视频流异步输出至主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
一种可选的实施方式中，视频流包括视频流的帧开始标识、帧结束标识和视频流对应的虚拟通道标识，虚拟通道标识与视频流所属的摄像头模组对应。
一种可选的实施方式中，处理模块602还用于生成帧同步信号。
一种可选的实施方式中，收发模块601还用于接收主芯片发送的帧同步信号。
本申请实施例提供的视频流处理装置，可以执行上述方法实施例中的视频流处理方法，其实现原理和技术效果类似，在此不再赘述。
图9为本申请实施例提供的一种解串器的结构示意图。如图9所示，该解串器可以包括：至少一个处理器701和存储器702。图9示出的是以一个处理器为例的解串器。
存储器702，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器702可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器701用于执行存储器702存储的计算机执行指令，以实现上述视频流处理方法；
其中，处理器701可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果通信接口、存储器702和处理器701独立实现，则通信接口、存储器702和处理器701可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器702和处理器701集成在一块芯片上实现，则通信接口、存储器702和处理器701可以通过内部接口完成通信。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
本发明还提供了一种视频流处理系统，包括多路摄像头模组、解串器和主芯片。其中，多路摄像头模组通过串行总线与解串器的输入端连接，解串器的输出端与主芯片的相机串行接口CSI端口连接，解串器执行上述实施例中的视频流处理方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种视频流处理方法，其特征在于，多路摄像头模组通过串行总线与解串器的输入端连接，所述解串器的输出端与主芯片的相机串行接口CSI端口连接，所述方法包括：
所述解串器通过所述串行总线的反向映射通道，向每路所述摄像头模组发送帧同步信号；
所述解串器接收每路所述摄像头模组基于所述帧同步信号发送的视频流，各路所述视频流帧同步；
所述解串器将各路所述视频流异步输出至所述主芯片，以使所述主芯片对各路所述视频流进行处理。
2.根据权利要求1所述的方法，其特征在于，所述解串器将各路所述视频流异步输出至所述主芯片，包括：
所述解串器以视频帧为传输单位，将各路所述视频流异步输出至所述主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
3.根据权利要求2所述的方法，其特征在于，所述视频流包括所述视频流的帧开始标识、帧结束标识和所述视频流对应的虚拟通道标识，所述虚拟通道标识与所述视频流所属的摄像头模组对应。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述解串器向每路所述摄像头模组发送帧同步信号之前，所述方法还包括：
所述解串器生成所述帧同步信号。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述解串器向每路所述摄像头模组发送帧同步信号之前，所述方法还包括：
所述解串器接收所述主芯片发送的所述帧同步信号。
6.一种视频流处理装置，其特征在于，多路摄像头模组通过串行总线与所述视频流处理装置的输入端连接，所述视频流处理装置的输出端与主芯片的相机串行接口CSI端口连接，所述装置包括：收发模块、处理模块；
所述收发模块用于通过所述串行总线的反向映射通道，向每路所述摄像头模组发送帧同步信号；
所述收发模块用于接收每路所述摄像头模组基于所述帧同步信号发送的视频流，各路所述视频流帧同步；
所述处理模块用于将各路所述视频流异步输出至所述主芯片，以使所述主芯片对各路所述视频流进行处理。
7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于以视频帧为传输单位，将各路所述视频流异步输出至所述主芯片，其中，相邻两次传输之间，前一次传输的最后一路视频流的视频帧的结束时刻，与后一次传输的第一路视频流的视频帧的开始时刻，间隔时长大于或等于预设时长。
8.根据权利要求7所述的装置，其特征在于，所述视频流包括所述视频流的帧开始标识、帧结束标识和所述视频流对应的虚拟通道标识，所述虚拟通道标识与所述视频流所属的摄像头模组对应。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述处理模块还用于生成所述帧同步信号。
10.根据权利要求6-8任一项所述的装置，其特征在于，所述收发模块还用于接收所述主芯片发送的所述帧同步信号。
11.一种解串器，其特征在于，包括：存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一所述的方法。
12.一种存储介质，其上存储有计算机程序，其特征在于，包括：该程序被处理器执行时实现权利要求1-5任一所述的方法。
CN201911408239.1A 2019-12-31 2019-12-31 视频流处理方法及装置 Active CN113132552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911408239.1A CN113132552B (zh) 2019-12-31 2019-12-31 视频流处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911408239.1A CN113132552B (zh) 2019-12-31 2019-12-31 视频流处理方法及装置

Publications (2)

Publication Number Publication Date
CN113132552A true CN113132552A (zh) 2021-07-16
CN113132552B CN113132552B (zh) 2023-03-14

Family

ID=76770555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911408239.1A Active CN113132552B (zh) 2019-12-31 2019-12-31 视频流处理方法及装置

Country Status (1)

Country Link
CN (1) CN113132552B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923357A (zh) * 2021-10-09 2022-01-11 上汽通用五菱汽车股份有限公司 一种汽车360全景的控制方法
CN114885103A (zh) * 2022-06-14 2022-08-09 智道网联科技(北京)有限公司 多路车载摄像头视频数据的处理方法及装置
CN117880623A (zh) * 2024-03-11 2024-04-12 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107686A1 (en) * 2002-06-01 2003-12-24 Silicon Image, Inc. Generating time stamp data from embedded clock data and a video clock
US7342520B1 (en) * 2004-01-08 2008-03-11 Vladimir Katzman Method and system for multilevel serializer/deserializer
CN201623760U (zh) * 2009-12-25 2010-11-03 大连科迪视频技术有限公司 3g-sdi高清数字视频帧同步器
CN206865570U (zh) * 2017-05-22 2018-01-09 西安诺瓦电子科技有限公司 视频处理器
CN208971624U (zh) * 2018-10-31 2019-06-11 深圳市易成自动驾驶技术有限公司 车载摄像系统
CN110324609A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 输出信号同步性检测方法、装置、电子设备及存储介质
WO2019239779A1 (ja) * 2018-06-12 2019-12-19 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107686A1 (en) * 2002-06-01 2003-12-24 Silicon Image, Inc. Generating time stamp data from embedded clock data and a video clock
US7342520B1 (en) * 2004-01-08 2008-03-11 Vladimir Katzman Method and system for multilevel serializer/deserializer
CN201623760U (zh) * 2009-12-25 2010-11-03 大连科迪视频技术有限公司 3g-sdi高清数字视频帧同步器
CN206865570U (zh) * 2017-05-22 2018-01-09 西安诺瓦电子科技有限公司 视频处理器
CN110324609A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 输出信号同步性检测方法、装置、电子设备及存储介质
WO2019239779A1 (ja) * 2018-06-12 2019-12-19 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路
CN112088527A (zh) * 2018-06-12 2020-12-15 罗姆股份有限公司 照相机系统、其控制器、汽车、解串器电路
CN208971624U (zh) * 2018-10-31 2019-06-11 深圳市易成自动驾驶技术有限公司 车载摄像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋海明: "标清数字视频帧同步机的设计与实现", 《乐山师范学院学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923357A (zh) * 2021-10-09 2022-01-11 上汽通用五菱汽车股份有限公司 一种汽车360全景的控制方法
CN114885103A (zh) * 2022-06-14 2022-08-09 智道网联科技(北京)有限公司 多路车载摄像头视频数据的处理方法及装置
CN117880623A (zh) * 2024-03-11 2024-04-12 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法
CN117880623B (zh) * 2024-03-11 2024-05-28 厦门瑞为信息技术有限公司 双目镜头的同步方法及接收端获取同步图像的方法

Also Published As

Publication number Publication date
CN113132552B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN113132552B (zh) 视频流处理方法及装置
CN107087132B (zh) 接收器及信号传输方法
US20050094676A1 (en) Signal transmitting apparatus and method
WO2011037406A2 (en) Method and system for wireless communication of audio in wireless networks
CN112702581A (zh) 视频采集电路
CN109600532B (zh) 无人机多路视频无缝切换系统和方法
CN109788214B (zh) 一种基于fpga的多路视频无缝切换系统和方法
US11671678B2 (en) Method and device, equipment, and storage medium for data processing
CN114598843A (zh) 一种应用于大型汽车多路摄像头的图像处理系统及方法
CN109495707B (zh) 一种高速视频采集传输方法
CN100389612C (zh) 双工传输视频信号与控制数据的方法与装置
WO2015160599A1 (en) Bidirectional transmission of usb data using audio/video data channel
US20210037208A1 (en) Compositing video signals and stripping composite video signal
CN107707829A (zh) 一种基于fpga实现多接口智能sdi视频转换盒的方法
CN217546051U (zh) 中继器及图像传输系统
CN215222350U (zh) 视频采集电路、视频处理电子设备及辅助驾驶系统
CN102932668A (zh) 一种基于usb传输的音视频数据处理装置
CN210351397U (zh) 时分复用传输接口
CN102497514B (zh) 一种三通道视频转发设备和转发方法
EP2382596B1 (en) A data processing apparatus for segmental processing of input data, systems using the apparatus and methods for data transmittal
CN210927604U (zh) 一种数据串并转换装置、延时器及信号转换处理器
WO2020215220A1 (zh) 接口时序转化装置、图像数据处理方法、传输方法及系统、存储介质
CN114445261A (zh) 数据传输设备、系统及方法
CN113612938A (zh) 一种多类型自适应分辨率的图像转换方法及装置
CN111970499A (zh) 一种基于rgif vdma的多路3g-sdi光端机数据解复用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant