CN114598843A - 一种应用于大型汽车多路摄像头的图像处理系统及方法 - Google Patents

一种应用于大型汽车多路摄像头的图像处理系统及方法 Download PDF

Info

Publication number
CN114598843A
CN114598843A CN202210119809.0A CN202210119809A CN114598843A CN 114598843 A CN114598843 A CN 114598843A CN 202210119809 A CN202210119809 A CN 202210119809A CN 114598843 A CN114598843 A CN 114598843A
Authority
CN
China
Prior art keywords
image
camera
data
processor
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210119809.0A
Other languages
English (en)
Inventor
肖文平
杨俊�
谭群晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hinge Electronic Technologies Co Ltd
Original Assignee
Shanghai Hinge Electronic Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hinge Electronic Technologies Co Ltd filed Critical Shanghai Hinge Electronic Technologies Co Ltd
Priority to CN202210119809.0A priority Critical patent/CN114598843A/zh
Publication of CN114598843A publication Critical patent/CN114598843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种应用于大型汽车多路摄像头的图像处理系统及方法，系统包括：多路摄像头、SoC处理器，显示屏，其中，多路摄像头和显示屏与SoC处理器相连接；其中，SoC处理器至少包括：显示控制器、第二图像处理器、视频解码器、视屏编码器，显示控制器、第二ISP图像处理器、视频解码器、视屏编码器相互独立，分别连接至AXI bus总线并通过AXI bus总线进行数据交换。处理器SOC的各子处理模块分别独立，通过AXI总线连接数据交互，视屏解码,编码和视频处理独立开来，可实时处理视频输入及输出的数据流，支持多路视频pipeline平行处理。

Description

一种应用于大型汽车多路摄像头的图像处理系统及方法
技术领域
本发明涉及多路摄像头的图像处理系统，特别是涉及大型汽车多路摄像头的图像处理系统及方法。
背景技术
近年来随着技术的发展进步，目前主流的车载摄像头方案基本都是视频信号经视频解码芯片后通过MIPI或者平行接口的方式传送给处理芯片SOC来处理。目前辅助驾驶的汽车中，普遍采用4个摄像头组成环视系统形成全景图像，能够对车身周围的环境进行实时监控，从而提醒驾驶员采取措施。由于轿车或SUV本身车身长度较小，用4个摄像头完成可以采集车身周围的图像。但是商用车、大货车、卡车等由于车身太长，如图1所示，传统的四个摄像头方案无法构成环视系统，摄像头的个数需要增加至6个以上，而且传统采用LVDS传统在线束距离增加时，则会使图像受到花屏、EMC等问题。
发明内容
基于现有技术中存在的缺陷，本发明提供一种应用于大型汽车多路摄像头的图像处理系统，包括：多路摄像头、SoC处理器，显示屏，其中，多路摄像头和显示屏与SoC处理器相连接；
所述多路摄像头用于采集大型汽车周围的图像数据；
所述SoC处理器用于对多路摄像头采集的图像进行处理以供外部设备进行调用或输出至显示屏进行显示；
其中，SoC处理器至少包括：显示控制器、第二图像处理器、视频解码器、视频编码器，显示控制器、第二ISP图像处理器、视频解码器、视频编码器相互独立，分别连接至AXIbus总线并通过AXI bus总线进行数据交换。
一种应用于大型汽车多路摄像头的图像处理系统，进一步可选的，所述多路摄像头至少包括：车载以太网摄像头或AHD摄像头或MIPI接口的摄像头中的一种或多种。
一种应用于大型汽车多路摄像头的图像处理系统，进一步可选的，车载以太网摄像头通过车载以太网总线连接至SoC处理器中；车载以太网摄像头对获取的图像进行压缩后通过车载以太网总线传输至SoC处理器中的以太网MAC芯片；
或MIPI接口摄像头通过GMSL总线连接解串器后接入SoC处理器中；
或AHD摄像头通过解码器后形成并行数据接入SoC处理器中；
根据需求，车载以太网摄像头或AHD摄像头或MIPI接口的摄像头选择配置ISP图像处理器。
一种应用于大型汽车多路摄像头的图像处理系统，进一步可选的，，MIPI接口的摄像头至少包括：图像传感器、串行器。
一种应用于大型汽车多路摄像头的图像处理系统，进一步可选的，车载以太网摄像头的数据流协议经过SoC处理器的协议栈解包后将数据输出至视频存储缓存区，视频解码芯片从视频存储缓冲区提取数据进行解压后获取raw dat格式的图像数据后放入视频存储缓存区以供SOC处理器中的第二ISP图像处理器进行调用。
一种应用于大型汽车多路摄像头的图像处理系统，进一步可选的，SoC处理器还设置：以太网栈解包芯片、交叉开关芯片、视频捕获芯片、GPU芯片、图像处理引擎芯片；
其中，以太网栈解包芯片、视频捕获芯片、GPU芯片、图像处理引擎芯片通过AXIBUS总线相连接并进行数据交换；
交叉开关芯片与视频捕获芯片相连接。
一种图像处理方法，应用于上述大型汽车多路摄像头的图像处理系统，具体包括：系统上电后，判断SoC处理器中摄像头接口是否有摄像头的信号接入；
若有摄像头的信号接入，获取摄像头ID对应的图像处理ID；
获取图像数据，将图像数据存储第一缓冲区，视频解码器从第一缓冲区获取图像数据并进行解压；
图像处理ID用于记录对应摄像头ID获取的图像是否经过摄像头中的ISP图像处理器进行处理。
根据图像处理ID判断图像是否经过摄像头中的ISP图像处理器，并根据判断结构将图像存储于预设缓冲区。
一种图像处理方法，进一步地，若经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第二缓冲区；
若未经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第三缓冲区；
若第三缓冲区存在图像数据，第二ISP图像处理器从第三缓冲区获取图像数据进行处理后存储于第二缓冲区。
一种图像处理方法，进一步可选的，若需要获取全景图像，系统根据多摄像头拍摄的图像进行拼接后形成全景图像以供外部设备调用或通过显示控制器输出至显示屏进行显示；
全景图像拼接方法具体包括：对进行全景拼接的多路摄像头图像进行时间同步，获取相同时刻下中多路摄像头拍摄的图像；
在第二缓冲区开辟同步队列缓存用于存储经过时间同步后相同时刻的多路摄像头拍摄的图像
系统调用全景图像拼接算法从同步队列缓存空间调用图像进行全景拼接后获取全景图像存储于第四缓存区。
一种图像处理方法，进一步可选的，当启动全景拼接后，系统在第二缓冲空间创建与多路摄像头数量相同的队列，每个队列至存储对应摄像头ID的图像；
获取每个摄像头的数据传输至SoC处理器的时间延迟T，从图像中获取SoC处理器接收到图像的第二时间戳，通过第二时间戳和时间延迟T对图像进行校正，获取相同时刻的图像；
分别从对应的摄像头拍摄存储存储的队列中取出经过校正后相同时刻的图像存储于同步队列缓存空间。
一种图像处理方法，进一步可选的，同步队列缓存空间包括头文件和数据块区，头文件用于记录数据块的地址，数据块对应的图像的时刻，其中，每个数据块用于存储每一次全景拼接的图像数量。
有益效果：
1.本发明提供的技术方案中，多路摄像头的图像处理系统能够支撑8路以上的摄像头，并且能够兼容不同协议和接口的摄像头。任意组成结构的摄像头都能够接入本发明提供的图像处理系统，打破传统不同厂商之间的摄像头协议以及接口不兼容的限制。
2.本发明提供处理器SOC的各子处理模块分别独立，通过AXI总线连接数据交互。以太网的数据流协议解包后，通过AXI总线送给视频缓冲区，同步通过视频解码器进行解码成raw data，然后送给ISP图像处理器进行处理。视频解码,编码和视频处理独立开来，可实时处理视频输入及输出的数据流，支持多路视频pipeline平行处理，满足应用需求。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
图1为现有技术中处理器SOC视频流处理架构示意图。
图2为本发明一实施例多路摄像头的图像处理系统示意图。
图3为本发明一实施例图像存储缓冲区结构示意图。
图4为本发明一实施例图像数据处理方法流程图。
图5为本发明一实施例在全景拼接时多路摄像头存储于第二缓冲区的数据结构示意图。
图6为本发明一实施例在全景拼接时经过时间同步校正后对应不同时刻点的同步图像在同步队列中的存储结构示意图。
具体实施方式
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
关于控制系统，功能模块、应用程序(APP)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本申请描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。
本发明提供一种应用于大型汽车多路摄像头的图像处理系统，如图2所所示，具体包括：包括：多路摄像头、SoC处理器，显示屏，其中，多路摄像头和显示屏与SoC处理器相连接；
所述多路摄像头用于采集大型汽车周围的图像数据；
所述SoC处理器用于对多路摄像头采集的图像进行处理以供外部设备进行调用或输出至显示屏进行显示；
其中，SoC处理器至少包括：显示控制器、第二图像处理器、视频解码器、视频编码器，显示控制器、第二ISP图像处理器、视频解码器、视频编码器相互独立，分别连接至AXIbus总线并通过AXI bus总线进行数据交换。
具体地，SoC处理中设有多个子模块，每个字模块的功能相互独立，互补干扰；
多路摄像头至少包括：车载以太网摄像头或AHD摄像头或MIPI接口的摄像头中的一种或多种。
具体地，摄像头的种类较多，本实施例中，为了兼容不同接口的摄像头，在SoC处理器提供了多种不同的接口和图像处理方式，使得SoC处理器能够适配不同供应商生产的摄像头。
具体地，针对不同的类型摄像头，提供了相应的通信方式：
车载以太网摄像头通过车载以太网总线连接至SoC处理器中；车载以太网摄像头对获取的图像进行压缩后通过车载以太网总线传输至SoC处理器中的以太网MAC芯片；
或MIPI接口摄像头通过GMSL总线连接解串器后接入SoC处理器中；
或AHD摄像头通过解码器后形成并行数据接入SoC处理器中。
摄像头的镜头可以采用鱼眼镜头和球形镜头，增加可视角度，减少盲区。
MIPI接口的摄像头至少包括：图像传感器、串行器；
根据需求，车载以太网摄像头或AHD摄像头或MIPI接口的摄像头选择配置ISP图像处理器。
具体地，由于摄像头来自不同的厂家，不同的厂家摄像头配置的芯片不一样，有的摄像头具备ISP图像处理芯片，有的摄像头并没有搭配。因此，若摄像头设有ISP图像处理芯片，在SoC中就无需再经过SoC中的图像处理器进行处理；
在MIPI接口的摄像头中，由于MIPI接口的摄像头采用是私有协议，需要用其图像处理器，而图像处理器与MIPI接口进行绑定，因此在MIPI接口的摄像头中一般未设置ISP图像处理器，因此如果不采用专用处理器，则通过SoC处理器中第二ISP图像处理器进行处理。
在车载以太网摄像头或ADI摄像头，根据不同厂家生产需求，有些型号摄像头设有ISP图像处理器，有些摄像头并未配置，因此根据实际情况对图像信号进行处理，避免资源浪费。
车载以太网摄像头的数据流协议经过SoC处理器的协议栈解包后将数据输出至视频存储缓存区，视频解码芯片从视频存储缓冲区提取数据进行解压后获取raw dat格式的图像数据后放入视频存储缓存区以供SOC处理器中的第二ISP图像处理器进行调用。
SoC处理器还设置：以太网栈解包芯片、交叉开关芯片、视频捕获芯片、GPU芯片、图像处理引擎芯片；
其中，以太网栈解包芯片、视频捕获芯片、GPU芯片、视频处理引擎芯片、存储器通过AXI BUS总线相连接并进行数据交换；
交叉开关芯片与视频捕获芯片相连接。
具体地，SoC处理器的各个子模块相对独立，互不干扰，相同之间通过AXI bus总线进行通信。相比现有技术中，如将视频解码、视频编码、视频处理引擎芯片集成到一起的技术，由于是集成的，无法直接调用其中某一个模块的功能。如在视频编码时，无法实现视频处理。但是本实施例提供的方案中，由于各个模块相对独立工作，互不影响，在视频解码时，可以同时进行视频解码和通过视频处理引擎芯片进行视频处理，这样能够提高效率。
交叉开关芯片将接收的M路输入数据转化为N路输出数据。
根据实际需求，在第二缓冲区的图像可以选择进入GPU或视频处理引擎芯片或全景图像拼接模块进行处理。
具体地，由于本发明提供的大型汽车多路摄像头的图像处理系统对现有的图像处理系统架构进行了较大的改进，从而导致现有的图像处理方法无法处理新的图像处理系统架构中多路摄像头的图像。如果按照传统的方法进行解析，则会导致丢包、多路摄像头画面出现抖动以及图像的重复处理或者无法处理等，为了解决上述问题，基于本发明提供的图像处理系统，提出了一种图像处理方法，具体包括：
系统上电后，判断SoC处理器中摄像头接口是否有摄像头的信号接入；
若有摄像头的信号接入，获取摄像头ID对应的图像处理ID；
具体地，在系统的ROM中读取对应摄像头ID的属性值，查看属性值是否存在，若属性值不存在，提醒用于进行设置；
摄像头ID的属性值至少包括图像处理ID，图像处理ID记录摄像头当前摄像头的图像是否进行摄像头中的ISP处理器进行处理；图像的传输协议，图像数据类型。
具体地，由于存在多路摄像头拍摄的图像数据，并且经过的处理阶段并不相同，如果按照现有技术中并不缺乏缓冲区的话，则系统需要产生一个实时监控进程并且还需要将图像处理过程中相关信息进行存储，否则，系统无法知晓图像当前是否经过的处理步骤。一方面，实时监控会大量的消失CPU系统资源，记录信息也需要占用存储空间并且在调用时还得查询和判断。为了解决上述问题，本实施例通过设置在存储种开辟多个不同的缓冲区对不同阶段的图像数据进行存储。
在存储器，如系统内存中设置共享内容，或选择一块区域作为图像存储缓冲区，图像缓冲区包括：第一缓冲区，用于存储SoC接收到经过解包后的原始图像数据。如图3和图4所示。
第二缓冲区，用于经过视频解码器解压后并且经过多路摄像头内部的ISP处理器进行处理后的图像数据。
第三缓冲区，用于经过视频解码器解压后并且经过多路摄像头内部的ISP处理器进行处理后的图像数据。
第四缓冲区，用于存储经过GPU或视频处理引起芯片或全景拼接模块处理后的图像数据。
通过相应缓冲区的头文件中增加标识，对不同缓冲区进行区分，从而减少进程、线程之间的频繁调用以及图像的重复处理，节省系统资源。
获取图像数据，将图像数据存储第一缓冲区，视频解码器从第一缓冲区获取图像数据并进行解压；
图像处理ID用于记录对应摄像头ID获取的图像是否经过摄像头中的ISP图像处理器进行处理。
根据图像处理ID判断图像是否经过摄像头中的ISP图像处理器，并根据判断结构将图像存储于预设缓冲区。
若经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第二缓冲区；
若未经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第三缓冲区；
若第三缓冲区存在图像数据，第二ISP图像处理器从第三缓冲区获取图像数据进行处理后存储于第二缓冲区。
具体地，用户可以根据需求，获取多路摄像头的全景图像，从而实时对车辆周围进行监控，具体方法如下：
若需要获取全景图像，系统根据多摄像头拍摄的图像进行拼接后形成全景图像以供外部设备调用或通过显示控制器输出至显示屏进行显示；
具体地，由于多路摄像头可能来自不同的厂家以及不同的传输协议的摄像头，因此，摄像头拍摄图像的同步时刻就显得非常重要，如果拼接过程中的图像拍摄时间存在差异，则会导致拼接后的图像画面抖动或扭曲，甚至导致拼接算法由于无法发现公共区域从而导致拼接失败，因此需要对多路摄像头拍摄的图像进行同步校正。现有技术中都是采用图像拍摄的时间为准，从图像属性获取拍摄的时刻，并根据相同时刻进行拼接。但是这种方式仅是针对相同协议的摄像头，基于不同协议传输协议的摄像头时，由于系统时钟的晶振存在较大的差异，可能导致这种方法的误差过大，使得同步结构不准确，因此，本实施例提供一种全景图像的拼接方法，以解决此问题：
全景图像拼接方法具体包括：对进行全景拼接的多路摄像头图像进行时间同步，获取相同时刻下中多路摄像头拍摄的图像；
在第二缓冲区开辟同步队列缓存用于存储经过时间同步后相同时刻的多路摄像头拍摄的图像；
系统调用全景图像拼接算法从同步队列缓存空间调用图像进行全景拼接后获取全景图像存储于第四缓存区；
当启动全景拼接后，系统在第二缓冲空间创建与多路摄像头数量相同的队列，每个队列至存储对应摄像头ID的图像；
通过启动多个线程对图像多路摄像头的图像进行同步处理；
参见图5，假设系统有多路摄像头存在6路，即6个车载摄像头，此时在第二缓冲区，当检测到全景拼接时，需要同时开辟6个队列，每个队列按照顺序分别存储摄像头拍的图像数据，数据时按照一帧一帧的存储，一帧可以分别多个数据小块，在每个队列的头文件进行编号，如CID01，表示第一个摄像头。
获取每个摄像头的数据传输至SoC处理器的时间延迟T，从图像中获取SoC处理器接收到图像的第二时间戳，通过第二时间戳和时间延迟T对图像进行校正，获取相同时刻的图像；
即此时，在每个队列中获取相同时刻的图像，假设在t时刻中，如图5中的阴影区域的数据块中图像是相同时刻，正好满足全景拼接的条件。现有技术中，都是直接按照地址编号来进行取的，但是如果取出CID01中的t时刻图像，视频需要在CID02至CID06中再次查询t时刻中图像，每次查询产生的CPU中断会增加系统负荷，因此，本实施提供了解决方案，具体如下：
分别从对应的摄像头拍摄存储存储的队列中取出经过校正后相同时刻的图像存储于同步队列缓存空间；
同步队列缓存空间包括头文件和数据块区，头文件用于记录数据块的地址，数据块对应的图像的时刻，其中，每个数据块用于存储每一次全景拼接的图像数量。
即，经过在第二缓冲区开辟同步队列缓存空间，专门用于全景拼接的。如图6所示，同步队列缓存空间中的每一个大的数据块存储对应经过时间同步6张图像，6张图像是按照顺序存储，方便全景拼接模块调用。这样每个数据大块按照6张为一个单位进行存储，并且采用先进先出的顺序。全景拼接模块一旦获知同步队列缓存空间存在数据，则每个取出一个数据大块的图像进行拼接即可，而无需考虑其它因素。如图像的时间不匹配，图像是否是ISP处理后等等。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (11)

1.一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，包括：多路摄像头、SoC处理器，显示屏，其中，多路摄像头和显示屏与SoC处理器相连接；
所述多路摄像头用于采集大型汽车周围的图像数据；
所述SoC处理器用于对多路摄像头采集的图像进行处理以供外部设备进行调用或输出至显示屏进行显示；
其中，SoC处理器至少包括：显示控制器、第二ISP图像处理器、视频解码器、视频编码器，显示控制器、第二ISP图像处理器、视频解码器、视频编码器相互独立，分别连接至AXIbus总线并通过AXIbus总线进行数据交换。
2.如权利要求1所述的一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，所述多路摄像头至少包括：车载以太网摄像头或AHD摄像头或MIPI接口摄像头中的一种或多种。
3.如权利要求2所述的一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，车载以太网摄像头通过车载以太网总线连接至SoC处理器中；车载以太网摄像头对获取的图像进行压缩后通过车载以太网总线传输至SoC处理器中的以太网MAC芯片；
或MIPI接口摄像头通过GMSL总线连接解串器后接入SoC处理器中；
或AHD摄像头通过解码器后形成并行数据接入SoC处理器中；
根据需求，车载以太网摄像头或AHD摄像头或MIPI接口摄像头选择配置ISP图像处理器。
4.如权利要求2所述的一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，MIPI接口摄像头至少包括：图像传感器、串行器。
5.如权利要求2所述的一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，车载以太网摄像头的数据流协议经过SoC处理器的协议栈解包后将数据输出至视频存储缓存区，视频解码芯片从视频存储缓冲区提取数据进行解压后获取raw data格式的图像数据后放入视频存储缓存区以供SOC处理器中的第二ISP图像处理器进行调用。
6.如权利要求1所述的一种应用于大型汽车多路摄像头的图像处理系统，其特征在于，SoC处理器还设置：以太网栈解包芯片、交叉开关芯片、视频捕获芯片、GPU芯片、图像处理引擎芯片；
其中，以太网栈解包芯片、视频捕获芯片、GPU芯片、图像处理引擎芯片通过AXI BUS总线相连接并进行数据交换；交叉开关芯片与视频捕获芯片相连接。
7.一种图像处理方法，应用于权利要求1至权利要求6任一项所述应用于大型汽车多路摄像头的图像处理系统，其特征在于，系统上电后，判断SoC处理器中摄像头接口是否有摄像头的信号接入；
若有摄像头的信号接入，获取摄像头ID对应的图像处理ID；
获取图像数据，将图像数据存储第一缓冲区，视频解码器从第一缓冲区获取图像数据并进行解压；
图像处理ID用于记录对应摄像头ID获取的图像是否经过摄像头中的ISP图像处理器进行处理；
根据图像处理ID判断图像是否经过摄像头中的ISP图像处理器，并根据判断结构将图像存储于预设缓冲区。
8.如权利要求7所述一种图像处理方法，其特征在于，若经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第二缓冲区；
若未经过摄像头中的ISP图像处理器，则将对应ID摄像头获取的图像存储于第三缓冲区；
若第三缓冲区存在图像数据，第二ISP图像处理器从第三缓冲区获取图像数据进行处理后存储于第二缓冲区。
9.如权利要求7所述一种图像处理方法，其特征在于，若需要获取全景图像，系统根据多摄像头拍摄的图像进行拼接后形成全景图像以供外部设备调用或通过显示控制器输出至显示屏进行显示；
全景图像拼接方法具体包括：对进行全景拼接的多路摄像头图像进行时间同步，获取相同时刻下多路摄像头拍摄的图像；
在第二缓冲区开辟同步队列缓存用于存储经过时间同步后相同时刻的多路摄像头拍摄的图像；
系统调用全景图像拼接算法从同步队列缓存空间调用图像进行全景拼接后获取全景图像存储于第四缓存区。
10.如权利要求8所述一种图像处理方法，其特征在于，当启动全景拼接后，系统在第二缓冲空间创建与多路摄像头数量相同的队列，每个队列只存储对应摄像头ID的图像；
获取每个摄像头的数据传输至SoC处理器的时间延迟T，从图像中获取SoC处理器接收到图像的第二时间戳，通过第二时间戳和时间延迟T对图像进行校正，获取相同时刻的图像；
分别从对应的摄像头存储的队列中取出经过校正后相同时刻的图像存储于同步队列缓存空间。
11.如权利要求8所述一种图像处理方法，其特征在于，同步队列缓存空间包括头文件和数据块区，头文件用于记录数据块的地址，数据块对应的图像的时刻，其中，每个数据块用于存储每一次全景拼接的图像数量。
CN202210119809.0A 2022-02-09 2022-02-09 一种应用于大型汽车多路摄像头的图像处理系统及方法 Pending CN114598843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210119809.0A CN114598843A (zh) 2022-02-09 2022-02-09 一种应用于大型汽车多路摄像头的图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210119809.0A CN114598843A (zh) 2022-02-09 2022-02-09 一种应用于大型汽车多路摄像头的图像处理系统及方法

Publications (1)

Publication Number Publication Date
CN114598843A true CN114598843A (zh) 2022-06-07

Family

ID=81804622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210119809.0A Pending CN114598843A (zh) 2022-02-09 2022-02-09 一种应用于大型汽车多路摄像头的图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN114598843A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN117499601A (zh) * 2024-01-02 2024-02-02 上海励驰半导体有限公司 用于SoC的调用多摄像头数据的方法
CN117676097A (zh) * 2024-01-29 2024-03-08 厦门瑞为信息技术有限公司 基于虚拟isp的三目摄像头拼接显示装置及方法
CN117939039A (zh) * 2024-03-19 2024-04-26 智道网联科技(北京)有限公司 车载监控电路、信号切换控制方法
CN118691458A (zh) * 2024-08-28 2024-09-24 比亚迪股份有限公司 图像缓存系统、图像缓存方法、图像缓存架构及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215401A (zh) * 2010-04-01 2011-10-12 美国博通公司 一种用于视频处理的方法和系统
CN106454236A (zh) * 2016-10-09 2017-02-22 珠海全志科技股份有限公司 一种提高多路视频采集前端处理效率的方法和系统
CN109672890A (zh) * 2017-10-16 2019-04-23 三星电子株式会社 视频编码器件及编码器
CN109690610A (zh) * 2016-09-19 2019-04-26 高通股份有限公司 用于多相机系统的颜色归一化
CN110733444A (zh) * 2019-10-28 2020-01-31 武汉极目智能技术有限公司 一种基于mpsoc平台的adas驾驶辅助系统
CN113411499A (zh) * 2021-06-17 2021-09-17 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN215526535U (zh) * 2021-05-12 2022-01-14 驭势（上海）汽车科技有限公司 一种车载智能计算平台
CN216852171U (zh) * 2022-02-09 2022-06-28 上海赫千电子科技有限公司 一种车载以太网环视处理器及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215401A (zh) * 2010-04-01 2011-10-12 美国博通公司 一种用于视频处理的方法和系统
CN109690610A (zh) * 2016-09-19 2019-04-26 高通股份有限公司 用于多相机系统的颜色归一化
CN106454236A (zh) * 2016-10-09 2017-02-22 珠海全志科技股份有限公司 一种提高多路视频采集前端处理效率的方法和系统
CN109672890A (zh) * 2017-10-16 2019-04-23 三星电子株式会社 视频编码器件及编码器
CN110733444A (zh) * 2019-10-28 2020-01-31 武汉极目智能技术有限公司 一种基于mpsoc平台的adas驾驶辅助系统
CN215526535U (zh) * 2021-05-12 2022-01-14 驭势（上海）汽车科技有限公司 一种车载智能计算平台
CN113411499A (zh) * 2021-06-17 2021-09-17 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN216852171U (zh) * 2022-02-09 2022-06-28 上海赫千电子科技有限公司 一种车载以太网环视处理器及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN117499601A (zh) * 2024-01-02 2024-02-02 上海励驰半导体有限公司 用于SoC的调用多摄像头数据的方法
CN117499601B (zh) * 2024-01-02 2024-04-05 上海励驰半导体有限公司 用于SoC的调用多摄像头数据的方法
CN117676097A (zh) * 2024-01-29 2024-03-08 厦门瑞为信息技术有限公司 基于虚拟isp的三目摄像头拼接显示装置及方法
CN117676097B (zh) * 2024-01-29 2024-04-30 厦门瑞为信息技术有限公司 基于虚拟isp的三目摄像头拼接显示装置及方法
CN117939039A (zh) * 2024-03-19 2024-04-26 智道网联科技(北京)有限公司 车载监控电路、信号切换控制方法
CN117939039B (zh) * 2024-03-19 2024-07-12 智道网联科技(北京)有限公司 车载监控电路、信号切换控制方法
CN118691458A (zh) * 2024-08-28 2024-09-24 比亚迪股份有限公司 图像缓存系统、图像缓存方法、图像缓存架构及车辆

Similar Documents

Publication Publication Date Title
CN114598843A (zh) 一种应用于大型汽车多路摄像头的图像处理系统及方法
US10891245B2 (en) Video device and method for embedded data capture on a virtual channel
CN113132552B (zh) 视频流处理方法及装置
CN216852171U (zh) 一种车载以太网环视处理器及系统
CN112702576A (zh) 一种车载视频的数据采集推流显示方法
CN111988557A (zh) 车载视频传输方法和车载视频传输系统
US11863712B1 (en) Daisy chaining dash cams
US20070067524A1 (en) System for transmitting and receiving data
CN219204583U (zh) 一种图像采集装置及电子设备
CN115460425B (zh) 基于车载以太网传输音视频同步传输方法
US9485333B2 (en) Method and apparatus for network streaming
CN114913624A (zh) 域控制器间数据共享方法、车机系统及车辆
WO2022134976A1 (zh) 配置方法及装置
CN116319402A (zh) 一种车辆数据采集和监测方法、系统、设备和介质
CN114422773A (zh) 一种定制化影像调试系统及方法
US20230198802A1 (en) Vehicle Control Device and Data Transfer Control Method
CN111901533B (zh) 一种图像数据通道分时复用的采集方法和系统
CN112738417A (zh) 一种车载视频的数据采集存储显示方法
CN114866733A (zh) 一种低延迟视频处理方法、系统及装置
CN219428021U (zh) 流媒体后视镜图像处理电路以及ivi系统
US10268626B2 (en) Data processing device, data processing system and method
CN112165606A (zh) 车载摄像头、机动车视频采集系统及机动车视频采集方法
CN216134481U (zh) 一种具有成像调节功能的智能网关
EP2736220B1 (en) Method and apparatus for network streaming
CN216086672U (zh) 一种具有成像调节功能的车载以太网智能网关系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination