CN110620874A - 一种用于平行驾驶的图像处理方法 - Google Patents

一种用于平行驾驶的图像处理方法 Download PDF

Info

Publication number
CN110620874A
CN110620874A CN201910907021.4A CN201910907021A CN110620874A CN 110620874 A CN110620874 A CN 110620874A CN 201910907021 A CN201910907021 A CN 201910907021A CN 110620874 A CN110620874 A CN 110620874A
Authority
CN
China
Prior art keywords
image data
image
processing
data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910907021.4A
Other languages
English (en)
Other versions
CN110620874B (zh
Inventor
张慧松
赵学峰
刘渊
霍舒豪
张德兆
王肖
李晓飞
张放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Landshipu Information Technology Co ltd
Original Assignee
Beijing Idriverplus Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Idriverplus Technologies Co Ltd filed Critical Beijing Idriverplus Technologies Co Ltd
Priority to CN201910907021.4A priority Critical patent/CN110620874B/zh
Publication of CN110620874A publication Critical patent/CN110620874A/zh
Application granted granted Critical
Publication of CN110620874B publication Critical patent/CN110620874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种用于平行驾驶的图像处理方法,包括:车载的控制器接收图像采集命令,触发多个图像采集器同时采集车辆周边环境的图像,并对集到的图像分别进行数字化处理,得到多路原始图像数据;控制器对多路原始图像数据分别进行图像整理处理,得到多路第一图像数据传输给车辆的处理器,处理器对第一图像数据进行畸变校正处理,得到多路第二图像数据;处理器对多路第二图像数据进行局部匹配拼接处理,得到拼接全图数据;处理器根据预置的图像切割规则对拼接全图数据进行图像切割处理,得到环境图像数据,并发送给云端处理器;环境图像数据携带车辆ID;云端处理器将预置车辆图像数据与环境图像数据进行数据合成,得到驾驶图像数据。

Description

一种用于平行驾驶的图像处理方法
技术领域
本发明涉及图像数据处理领域,尤其涉及一种用于平行驾驶的图像处理方法。
背景技术
随着汽车电子的发展,360度全景越来越普及,平行驾驶也在一点点走入大众的视线,人们对平行驾驶的需求也越来越大。
目前平行驾驶采集的图像主要通过4G网络进行传输,4G的实测速度为20Mbps,这个传输速率对于平行驾驶车辆采集的图像传输还是有较大的制约。人们也在探索如何通过现有的传输网络,完成高实时性的图像采集传输过程。通常,采用减低分辨率的方式传输YUV格式的图像,通过USB传输给控制器,控制器再通过4G传输给云端,或者采用M-JPEG格式对图像进行压缩传输,通过USB传输给控制器,控制器在通过4G传输给云端。
然而,采用YUV格式来传输,数据量比较大,而现在采用的USB2.0不能支持这样大的数据传输,通过降低分辨率的方式来传输,图像会变得不清晰,没法识别图像中的事物。通过4G将降低分辨率的图像传输给云端,为了最大保持图像清晰度,最大的使用4G带宽来进行数据传输,传输数据消耗的流量巨大,带来的费用也相当高。
采用M-JPEG来传输,压缩率为YUV格式的1/6,数据量少,USB2.0可以支持30帧的传输,可是4G网络智能支持到10帧左右,会带来明显的卡顿现象。
发明内容
本发明的目的是针对现有技术的不足,提供了一种用于平行驾驶的图像处理方法,解决目前图像数据处理中图像模糊、传输数据量大造成明显卡顿现象等缺陷,实现一种更经济、稳定、高效的图像处理方法。
为了实现上述目的,本发明实施例提供一种用于平行驾驶的图像处理方法,包括:
车载的控制器接收图像采集命令;
所述控制器根据图像采集命令,触发多个图像采集器同时采集车辆周边环境的图像,并对各图像采集器采集到的图像分别进行数字化处理,得到多路原始图像数据;
所述控制器对多路所述原始图像数据分别进行图像整理处理,得到多路第一图像数据,并将多路所述第一图像数据传输给车辆的处理器;
所述处理器对多路所述第一图像数据分别进行畸变校正处理,得到多路第二图像数据;
所述处理器分别对多路所述第二图像数据进行边缘检测处理,对所述多路第二图像数据的边缘信息数据进行提取,根据提取得到的各路第二图像数据的图像边缘信息数据;
所述处理器根据图像边缘信息数据,对多路第二图像数据进行边缘交叠匹配融合处理,得到所述多路第二图像数据在交叠匹配处理后融合生成的拼接全图数据;
所述处理器根据预置的图像切割规则对所述拼接全图数据进行图像切割处理,得到环境图像数据,并发送给云端处理器;所述环境图像数据携带车辆ID;
所述云端处理器将预置车辆图像数据与所述环境图像数据进行数据合成,得到驾驶图像数据。
优选的,所述控制器对多路所述原始图像数据分别进行图像整理处理,得到多路第一图像数据具体包括:
控制器对多路所述原始图像数据分别进行去噪点处理,得到去噪处理后的多路图像数据;
控制器对去噪处理后的多路图像数据分别进行白平衡调整处理,得到所述第一图像数据。
优选的,所述处理器对多路所述第一图像数据分别进行畸变校正处理,得到多路第二图像数据具体为:
所述处理器按照校正像素索引坐标读取所述第一图像数据,并在读取过程中基于所述校正像素索引坐标对所述第一图像数据进行重新排序,得到所述第二图像数据。
优选的,所述处理器根据预置的图像切割规则对所述拼接全图数据进行图像切割处理,得到环境图像数据具体为:
所述处理器读取预置图像格式的设定参数数据和车辆行驶状态数据;
所述处理器根据所述行驶状态数据确定相应的图像切割规则;
所述处理器按照所述图像切割规则对所述拼接全图数据进行图像切割处理,并根据所述预置图像格式的设定参数数据,生成所述预置图像格式的所述环境图像数据。
优选的,在所述发送给云端处理器之前,所述方法还包括:
所述处理器采用H.265编码协议对所述环境图像数据进行编码压缩处理。
优选的,所述图像采集器具体包括:至少4个广角摄像头。
优选的,所述处理器根据图像边缘信息数据,对多路第二图像数据进行边缘交叠匹配融合处理,得到所述多路第二图像数据在交叠匹配处理后融合生成的拼接全图数据具体为:
所述处理器根据所述多路第二图像数据对应的图像采集器的位置信息,确定其中相邻的图像数据;
所述处理器根据所述图像边缘信息数据对多路第二图像数据中相邻的图像数据进行交叠匹配,和交叠数据去除处理,得到拼接全图数据。
优选的,所述方法还包括:
后台终端发送图像获取指令给所述云端处理器;其中,图像获取指令包括第一车辆ID;
所述云端处理器解析所述图像获取指令,根据第一车辆ID从所述驾驶图像数据中获取第一驾驶图像数据,发送给所述后台终端用以显示。
本发明实施例提供的一种用于平行驾驶的图像处理方法,对多个广角摄像头采集到的图像数据进行局部匹配拼接处理,然后根据平行驾驶对图像的具体需求,对图像进行相应的图像切割处理,再对图像数据进行指定格式的压缩处理后上传给云端,在云端对图像数据进行二次处理后传输给后台终端设备。这种在传输前对多路图像根据需求图像局部匹配拼接处理,之后传输给云端的方法,在保证图像清晰度的条件下,大大减小了图像的传输数据量,以达到输出实时的无卡顿现象、高清晰度的图像,提高了平行驾驶使用体验。
附图说明
图1为本发明实施例提供的一种平行驾驶的图像数据处理方法流程图;
图2为本发明实施例提供的后台终端获取驾驶图像数据的方法流程图;
图3a为本发明实施例提供的车辆的4个图像采集器采集的图像示意图;
图3b为本发明实施例提供的对4路图像数据进行边缘交叠匹配处理后,得到的拼接全图数据对应的图像示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明的方法,可以用于车辆驾驶领域,提供在平行驾驶后台设备实时输出无卡顿的、高清晰度的图像的方法。
图1为本发明实施例提供的一种平行驾驶的图像数据处理方法流程图。结合图1所示,下面对本发明提供的一种平行驾驶的图像数据处理方法进行说明,如图1所示,步骤包括:
步骤101,车载的控制器接收图像采集命令。
具体的,当车辆需要进行平行驾驶操作时,车辆的处理器会给车载摄像头的控制器发送图像采集命令,控制器接收到图像采集命令后启动图像采集器进行图像采集。
步骤102,控制器根据图像采集命令,触发多个图像采集器同时采集车辆周边环境的图像,并对各图像采集器采集到的图像分别进行数字化处理,得到多路原始图像数据。
具体的,控制器根据图像采集命令,同时启动各图像采集器进行图像车辆周边环境的图像采集。为了采集到车辆周边360度的全景图像,图像采集器的个数需要根据其安装的位置进行确定,至少为4个摄像头,通过计算安装位置,使摄像头安装在能保证拍摄的图像可以拼接为360全景图像。本发明实施例中,控制器采用可编程(In-system processing,ISP)芯片,控制自动驾驶车辆的4个广角摄像头。在具体实例中,4个广角摄像头分别安置在自动驾驶车辆底部的前、后、左、右方向,用于采集车辆前边、后边、左边和右边环境的图像。
自动驾驶车辆的4个广角摄像头对采集到的前边、后边、左边和右边环境的图像分别进行数字化处理,得到4路原始图像数据。为了方便描述,规定在本发明实施例中,前、后、左、右的摄像头采集到的分别对应第一路原始图像数据、第三路原始图像数据、第四路原始图像数据、第二路原始图像数据。
步骤103,控制器对多路原始图像数据分别进行图像整理处理,得到多路第一图像数据,并将多路第一图像数据传输给车辆的处理器。
具体的,控制器对多路原始图像数据分别进行图像整理处理包括:对多路图像数据分别进行去噪点处理和白平衡处理。
首先,控制器根据预置去噪算法,对多路原始图像数据分别进行去噪点处理,得到去噪处理后的多路图像数据。本发明实施例中,优选选用中值滤波方法对原始图像进行去噪点处理,中值滤波处理的图像数据能在滤除噪声的同时很好的保持图像边缘。在本发明的一个具体例子中,控制器对第一路原始图像数据、第二路原始图像数据、第三路原始图像数据、第四路原始图像数据通过中值滤波处理后,得到第一路去噪点的图像数据、第二路去噪点的图像数据、第三路去噪点的图像数据、第四路去噪点的图像数据。
其次,控制器对根据预置的白平衡算法,对多路去噪处理后的多路图像数据分别进行白平衡处理,得到多路第一图像数据。处理后的数据分别为第一路第一图像数据、第二路第一图像数据、第三路第一图像数据、第四路第一图像数据。
然后,控制器多路第一图像数据传输给车辆的处理器。
步骤104,处理器对多路第一图像数据分别进行畸变校正处理,得到多路第二图像数据。
具体的,处理器根据图像采集器的标定参数计算得出校正像素索引坐标,并将其写入到存储单元中。当处理器接收到多路第一图像数据时,按照校正图像索引坐标对相应的第一图像数据进行读取,在读取的过程中基于校正图像索引坐标对第一图像进行重新排序,得到第二图像数据。
在本发明实施例的具体方案中,处理器按照校正索引坐标对第一图像数据进行读取,读取过程中将图像数据中的像素位置按照校正像素索引进行校正。重新排序前的图像数据是畸变图像数据,经过重新排序后得到的第二图像数据是无畸变或经畸变修正处理后的图像数据,即第二图像数据。
步骤105,处理器对多路第二图像进行局部匹配拼接处理,将多路第二图像拼接融合为拼接全图数据。
具体的,局部匹配拼接主要通过三个步骤完成。
首先,处理器分别对多路第二图像数据进行边缘检测处理,分别得到多路第三图像数据。
处理器分别对多路第二图像数据进行边缘检测处理,对多路第二图像数据的边缘信息数据进行提取,根据提取得到的各路第二图像数据的图像边缘信息数据。本发明实施例中,处理器采用Sobel算子边缘检测方法对各第二图像数据分别进行边缘检测处理,对各路第二图像数据的像素点进行是否为边缘点的判断,得到边缘信息数据。即对4路第二图像进行处理后分别得到第一路图像边缘信息数据、第二路图像边缘信息数据、第三路图像边缘信息数据、第四路图像边缘信息数据。
其次,处理器根据多路第二图像数据对应的图像采集器的位置信息,确定其中相邻的图像数据。
具体的,对于本实施例中的图像采集器安装位置为车辆的前边、后边、左边和右边四个图像采集器,分别对应的第一路图像数据、第三路图像数据、第四路图像数据、第二路图像数据。如图3a所示,第一路图像数据与第二路图像数据、第二路图像数据与第三路图像数据、第三路图像数据与第四路图像数据、第四路图像数据与第一路图像数据为相邻的图像数据。
最后,处理器根据图像边缘信息数据对多路第二图像数据中相邻的图像数据进行交叠匹配,和交叠数据去除处理,得到拼接全图数据。
本发明实施例中,处理器根据相应的图像边缘信息数据,对第二图像进行交叠匹配。具体的,识别边缘图像信息的像素点,直接对图像的各像素点的灰度值进行比对,也即是交叠匹配,在匹配过程中,如果出现相同的两个相等的灰度值时,去除其中一个值,只保留其中一个值,这样就去除了交叠的图像数据,得到去除交叠数据的图像数据;如果出现两个点的灰度值不同,但两个点的灰度值的差值在预置范围内,那么将两个灰度值用预置的融合算法进行融合处理,将两个灰度值融合成一个灰度值,得到去除交叠数据的图像数据。对所有第二图像数据做交叠匹配和交叠数据去除处理,就得到了拼接全图数据。如图3b所示,图3b为对4路图像数据进行边缘交叠匹配处理后,得到的拼接全图数据对应的图像示意图。
步骤106,处理器根据预置的图像切割规则对拼接全图数据进行图像切割处理,得到环境图像数据,并发送给云端处理器。
其中,在发送时,环境图像数据携带有车辆ID的信息,使得云端处理器能够识别出该数据与车辆的对应关系。
具体的,处理器读取预置图像格式的设定参数数据和车辆行驶状态数据。
在图像采集前,根据传输网络的网络带宽和采用的指定图像压缩算法进行计算,得到预置图像格式的设定参数数据并写入储存单元。本发明实施例中,采用4G网络进行数据传输,其实测的传输速率为20Mbps,人眼能够识别的闪烁频率为24Hz,按照每秒传输24帧图像数据进行计算,以保证在图像显示时能够保证图像没有卡顿现象。采用H.265编码协议对图像数据进行压缩后传输,H.265的压缩比能保证在300:1或者更大。经过计算,按照1080P采用H.265编码协议进行压缩后进行传输能够满足在1秒内传输24张的数据量,这个值小于4G网的传输速率。所以本发明实施例选用1080P作为预置图像格式的设定参数数据,这个参数值既能保证在4G网络下,将图像数据经过H.265的压缩方式压缩后进行传输,每秒得到24帧图像数据,又能保证图像显示的清晰度。
同样,在图像采集前,提前预置了预置车辆行驶状态与图像切割的规则,这些预置条件数据都保存在车辆的存储单元中。车辆在行驶过车中,改变行驶状态时,都会在相应的存储单元中保存当前的车辆行驶状态数据。当车辆需要进行图像切割的时候,处理器先从存储单元中读取车辆当前的行驶状态,再到预置条件数据中进行查找与当前行驶状态相对应的图像切割规则。
在处理器读取到预置图像格式的设定参数数据和车辆行驶状态数据,并且查找到车辆行驶状态数据相应的图像切割规则。处理器按照确定的图像切割规则对拼接全图数据按照预置图像格式的设定参数数据进行图像切割处理,将拼接图案图数据切割成预置图像格式的环境图像数据。
比如,车辆的行驶状态为前进,预置的与前进状态对应的图像切割规则为bining,这种切割规则可以保留车辆周边所有的环境数据,即保留图像显示面积,切割后的图像数据较切割前的图像数据相比,只改变了图像的清晰度,没有改变图像显示的区域和物体信息。也就是说在进行图像切割的时候,保留原图显示的面积,只对图像数据量进行切割。例如本实施例的一个具体例子中,拼接全图数据的数据量大小为199065600bit,此时,处理按照bining的切割规则,保留图像显示面积,对拼接全图数据针对减小数据量的裁剪,将其裁剪为图像格式为1080P的图像数据,也就是在图像显示的范围不改变的情况下,只改变图像的像素点,对其进行数据量的裁剪,得到的图像数据大小为49766400bit,即得到1080P的环境图像数据。
再比如,车辆的行驶状态为倒车,那么与倒车相对应的图片切割规则为显示车辆后边的环境图像,车辆的前边和左右两侧的图像不显示。本发明实施例的一个具体例子中,拼接全图数据的数据量大小为199065600bit,此时,处理器按照保留后侧图像显示,切割车辆前侧和左右两侧图像数据,对拼接全图数据针对显示面积进行裁剪,将其裁剪为图像格式为1080P的图像数据,也就是在图像清晰度不变,只改变图像显示面积的情况下,对其进行数据量的裁剪,得到的图像数据大小为49766400bit,即得到1080P的车辆尾部的环境状况的环境图像数据。
处理器选用指定的压缩方法对得到环境图像数进行图像压缩处理,本发明实施例中,指定选用H.265编码协议对环境图像数据进行压缩。这是因为,H.265编码协议具有较高的压缩比,能达到300:1甚至更大的压缩比。环境图像数经过压缩处理后,处理器将压缩后的图像数据通过4G网络发送给云端处理器,压缩后的数据还携带车辆ID。
其中,传输网络也可以根据当时的网络情况进行选择,目前最快的传输网络为4G。随着5G的发展,其传输速度更快,则可以使用5G网络进行数据传输。
步骤107,云端处理器将预置车辆图像数据与环境图像数据进行数据合成,得到驾驶图像数据;
具体的,云端处理器在接收到环境图像数据后,根据H.265编码协议对环境图像数据进行解压缩处理,得到的图像数据也就是环境图像数据。
然后,云端处理器将预置车辆图像数据与环境图像数据进行数据合成,得到驾驶图像数据;
具体的,由于环境图像数据是经由安装在车辆前、后、左、右的摄像头进行采集处理后得到的环境图像数据,并没有采集车辆本身的图像数据,所以环境图像数据的是不包括车辆本身图像数据的。所以在云端,提前预置车辆图像数据,云端的处理器通过将预置车辆图像数据与环境图像数据进行拼接,这样就形成了可以用于显示的带有车辆的驾驶图像数据。带有车辆的驾驶图像数据使得平行驾驶操作者能够更直观的看见车辆的状态,从而获得更好的平行驾驶体验。
经过上述详细描述,已经完成了车辆对周边环境进行图像采集,之后经过图像拼接及压缩之后上传到云端,并在云端进行拼接车辆图像的处理,得到了驾驶图像数据。平行驾驶操作者可以通过后台终端从云端获取驾驶图像数据,进行平行驾驶操作。
图2为本发明实施例提供的后台终端获取驾驶图像数据的方法流程图。结合图2所示,下面对本发明提供的一种平行驾驶的图像数据处理方法进行说明,如图2所示,步骤包括:
步骤201,后台终端发送图像获取指令给云端处理器;
其中,其中,图像获取指令包括第一车辆ID
具体的,当平行驾驶操作者需要对车辆进行控制操作的时,可以通过后台终端进行驾驶图像数据的获取,后台终端接收操作者的查看指令生成图像获取指令,并将图像获取指令发送给云端处理器。
步骤202,云端处理器解析图像获取指令,根据第一车辆ID从驾驶图像数据中获取第一驾驶图像数据,发送给后台终端用以显示。
具体的,云端处理器解析图像获取指令,得到第一车辆ID,根据第一车辆ID在其数据存储单元中进行查找,查找第一车辆ID对应的第一驾驶图像数据,然后将查找到的第一驾驶图像数据进行数据压缩处理,此时的压缩方法可以在主流的数据压缩方法中选择,可以选用与步骤106中相同的图像压缩方法,也可以选用不同的压缩方法对第一驾驶图像数据进行压缩。这是因为,后台终端与云端处理器进行数据传输是通过有线网络进行传输,其传输的数据量不受限制,也不会引起更高的传输费用。而有线网络的数据传输速率也相对较大。
步骤203,后台终端接收压缩后的第一驾驶图像数据,并对压缩后的第一驾驶图像数据进行解压缩处理,得到第一驾驶图像数据,通过显示屏输出对应的图像画面。
具体的,后台终端接收压缩后的第一驾驶图像数据,根据云端处理器选用的数据压缩方法对压缩后的第一驾驶图像数据解压缩处理,得到第一驾驶图像数据,用于在后台终端的显示屏上进行显示。从而,平行驾驶操作者就能通过屏幕看见车辆的驾驶状态,根据第一驾驶图像进行对车辆的平行驾驶控制。
后台终端获取的第一驾驶图像,是由第一车辆的图像采集器不断的、连续的对周边环境进行图像采集,经过图像处理后上传给云端处理器;云端处理器在接收到第一车辆上传的环境图像数据,立即进行预置车辆图像数据与环境图像数据进行数据合成,得到驾驶图像数据,再经过云端处理器将驾驶图像数据发送给后台终端设备。整个过程是在100毫秒内完成的,保证了图像数据的实时性和连续性,形成了连续的图像数据流,能够保证平行驾驶车辆操作者对车辆的实时的、连续的监控。
本发明实施例提供的一种用于平行驾驶的图像处理方法,对多个广角摄像头采集到的图像数据先进行局部匹配拼接处理,并根据平行驾驶对图像的具体特定需求,对图像进行相应的图像切割处理,并对图像数据进行指定格式的压缩处理后上传给云端,在云端对图像数据进行二次处理后传输给后台终端设备。这种将采集到的多路图像在车辆端进行局部匹配拼接为环境图像数据,再通过选用H.265这样高压缩比的图像压缩方法对环境图像数据进行压缩处理,之后传输到云端的方法,在保证提供更高清晰度的图像数据的前提下,大大减小图像传输数据量。另外,在云端再进行预置车辆图像与环境图像数据进行拼接的方法进一步减小了从车辆传输图像数据到云端的数据的传输量。以达到输出无卡顿现象的高清晰度的图像的目的,提高了平行驾驶使用体验。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于平行驾驶的图像处理方法,其特征在于,所述方法包括:
车载的控制器接收图像采集命令;
所述控制器根据图像采集命令,触发多个图像采集器同时采集车辆周边环境的图像,并对各图像采集器采集到的图像分别进行数字化处理,得到多路原始图像数据;
所述控制器对多路所述原始图像数据分别进行图像整理处理,得到多路第一图像数据,并将多路所述第一图像数据传输给车辆的处理器;
所述处理器对多路所述第一图像数据分别进行畸变校正处理,得到多路第二图像数据;
所述处理器分别对多路所述第二图像数据进行边缘检测处理,对所述多路第二图像数据的边缘信息数据进行提取,根据提取得到的各路第二图像数据的图像边缘信息数据;
所述处理器根据图像边缘信息数据,对多路第二图像数据进行边缘交叠匹配融合处理,得到所述多路第二图像数据在交叠匹配处理后融合生成的拼接全图数据;
所述处理器根据预置的图像切割规则对所述拼接全图数据进行图像切割处理,得到环境图像数据,并发送给云端处理器;所述环境图像数据携带车辆ID;
所述云端处理器将预置车辆图像数据与所述环境图像数据进行数据合成,得到驾驶图像数据。
2.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述控制器对多路所述原始图像数据分别进行图像整理处理,得到多路第一图像数据具体包括:
控制器对多路所述原始图像数据分别进行去噪点处理,得到去噪处理后的多路图像数据;
控制器对去噪处理后的多路图像数据分别进行白平衡调整处理,得到所述第一图像数据。
3.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述处理器对多路所述第一图像数据分别进行畸变校正处理,得到多路第二图像数据具体为:
所述处理器按照校正像素索引坐标读取所述第一图像数据,并在读取过程中基于所述校正像素索引坐标对所述第一图像数据进行重新排序,得到所述第二图像数据。
4.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述处理器根据预置的图像切割规则对所述拼接全图数据进行图像切割处理,得到环境图像数据具体为:
所述处理器读取预置图像格式的设定参数数据和车辆行驶状态数据;
所述处理器根据所述行驶状态数据确定相应的图像切割规则;
所述处理器按照所述图像切割规则对所述拼接全图数据进行图像切割处理,并根据所述预置图像格式的设定参数数据,生成所述预置图像格式的所述环境图像数据。
5.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,在所述发送给云端处理器之前,所述方法还包括:
所述处理器采用H.265编码协议对所述环境图像数据进行编码压缩处理。
6.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述图像采集器具体包括:至少4个广角摄像头。
7.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述处理器根据图像边缘信息数据,对多路第二图像数据进行边缘交叠匹配融合处理,得到所述多路第二图像数据在交叠匹配处理后融合生成的拼接全图数据具体为:
所述处理器根据所述多路第二图像数据对应的图像采集器的位置信息,确定其中相邻的图像数据;
所述处理器根据所述图像边缘信息数据对多路第二图像数据中相邻的图像数据进行交叠匹配,和交叠数据去除处理,得到拼接全图数据。
8.根据权利要求1所述用于平行驾驶的图像处理方法,其特征在于,所述方法还包括:
后台终端发送图像获取指令给所述云端处理器;其中,图像获取指令包括第一车辆ID;
所述云端处理器解析所述图像获取指令,根据第一车辆ID从所述驾驶图像数据中获取第一驾驶图像数据,发送给所述后台终端用以显示。
CN201910907021.4A 2019-09-24 2019-09-24 一种用于平行驾驶的图像处理方法 Active CN110620874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910907021.4A CN110620874B (zh) 2019-09-24 2019-09-24 一种用于平行驾驶的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910907021.4A CN110620874B (zh) 2019-09-24 2019-09-24 一种用于平行驾驶的图像处理方法

Publications (2)

Publication Number Publication Date
CN110620874A true CN110620874A (zh) 2019-12-27
CN110620874B CN110620874B (zh) 2021-09-10

Family

ID=68924240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910907021.4A Active CN110620874B (zh) 2019-09-24 2019-09-24 一种用于平行驾驶的图像处理方法

Country Status (1)

Country Link
CN (1) CN110620874B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741259A (zh) * 2020-06-11 2020-10-02 北京三快在线科技有限公司 无人驾驶设备的控制方法及装置
CN113436461A (zh) * 2021-05-31 2021-09-24 荣耀终端有限公司 发送停车位信息的方法、车机设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
US20160044284A1 (en) * 2014-06-13 2016-02-11 Magna Electronics Inc. Vehicle vision system with panoramic view
CN108965921A (zh) * 2018-08-15 2018-12-07 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
CN109147092A (zh) * 2018-08-30 2019-01-04 奇瑞汽车股份有限公司 车辆行驶记录方法及装置
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN109948398A (zh) * 2017-12-20 2019-06-28 深圳开阳电子股份有限公司 全景泊车的图像处理方法及全景泊车装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
US20160044284A1 (en) * 2014-06-13 2016-02-11 Magna Electronics Inc. Vehicle vision system with panoramic view
CN109948398A (zh) * 2017-12-20 2019-06-28 深圳开阳电子股份有限公司 全景泊车的图像处理方法及全景泊车装置
CN108965921A (zh) * 2018-08-15 2018-12-07 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
CN109147092A (zh) * 2018-08-30 2019-01-04 奇瑞汽车股份有限公司 车辆行驶记录方法及装置
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741259A (zh) * 2020-06-11 2020-10-02 北京三快在线科技有限公司 无人驾驶设备的控制方法及装置
CN113436461A (zh) * 2021-05-31 2021-09-24 荣耀终端有限公司 发送停车位信息的方法、车机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110620874B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
KR102480245B1 (ko) 패닝 샷들의 자동 생성
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
US7860343B2 (en) Constructing image panorama using frame selection
CN108154514B (zh) 图像处理方法、装置及设备
US10462518B2 (en) Image presentation method, terminal device, and server
CN107079135A (zh) 视频数据传输方法、系统、设备和拍摄装置
CN115052104B (zh) 图像处理方法、电子装置及非易失性计算机可读存储介质
JP4839183B2 (ja) 画像処理装置
CN110620874B (zh) 一种用于平行驾驶的图像处理方法
CN113518996A (zh) 从多视图视觉数据进行损坏检测
CN113034384A (zh) 视频处理方法、装置、电子设备以及存储介质
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN108564551A (zh) 鱼眼图像处理方法及鱼眼图像处理装置
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
JP2002344970A (ja) 画像符号化および復号のための方法および装置
CN117278731A (zh) 多视频与三维场景融合方法、装置、设备及存储介质
US11044399B2 (en) Video surveillance system
CN107094230A (zh) 一种利用多空域数据融合技术获取图像和视频的方法
KR20160135661A (ko) 비디오에서의 객체를 바운딩하기 위한 방법 및 디바이스
CN114219895A (zh) 一种三维视觉图像构建方法和装置
CN110418059B (zh) 应用于电子设备的图像处理方法、装置、电子设备、介质
CN110276722B (zh) 一种视频图像拼接方法
CN109328373B (zh) 图像处理方法及其相关设备、存储介质
CN110661785A (zh) 视频处理方法、装置、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220725

Address after: 401122 No.1, 1st floor, building 3, No.21 Yunzhu Road, Yubei District, Chongqing

Patentee after: Chongqing landshipu Information Technology Co.,Ltd.

Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096

Patentee before: Beijing Idriverplus Technology Co.,Ltd.

TR01 Transfer of patent right