CN114333105A - 图像处理方法、装置、设备、车辆及介质 - Google Patents

图像处理方法、装置、设备、车辆及介质 Download PDF

Info

Publication number
CN114333105A
CN114333105A CN202011065948.7A CN202011065948A CN114333105A CN 114333105 A CN114333105 A CN 114333105A CN 202011065948 A CN202011065948 A CN 202011065948A CN 114333105 A CN114333105 A CN 114333105A
Authority
CN
China
Prior art keywords
image
vehicle
key frame
preset
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011065948.7A
Other languages
English (en)
Other versions
CN114333105B (zh
Inventor
陈泽通
覃进严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN202011065948.7A priority Critical patent/CN114333105B/zh
Publication of CN114333105A publication Critical patent/CN114333105A/zh
Application granted granted Critical
Publication of CN114333105B publication Critical patent/CN114333105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备、车辆及介质,该方法在车辆行驶过程中,获取关键帧图像序列,该关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;将关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;在拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与第一视野方向对应的记录图像。本申请实施例通过拼接图像扩大了显示图像范围,并叠加预设的与固定遮挡物对应的图像子区域,驾驶者可以看到将固定遮挡物透视化后的图像,增加行车过程中的安全性。

Description

图像处理方法、装置、设备、车辆及介质
技术领域
本发明一般涉及汽车电子产品技术领域,具体涉及一种图像处理方法、装置、设备、车辆及介质。
背景技术
目前,行车记录仪只是把采集的图像保存在TF卡、U盘等存储介质中记录下来,现有角度摄像头的安装角度较低,引擎盖的面积过大,通常会出现所采集图像中,阻挡驾驶者视觉角度对前方障碍物的距离判断。为了避开引擎盖,摄像头的安装角度需要高一些,但上半截图像会拍到天空影像,虽然去除了采集图像中的引擎盖,但形成的是无效图像数据,可见现有的行车记录方式显示范围较小,无法形成前方障碍物完整的图像,影响驾驶者对车头与前方障碍物之间距离的判断,辅助驾驶的效果较差,不利于行车安全。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种行车记录方法、装置、车辆及介质来解决安全行车问题。
第一方面,本发明提供一种图像处理方法,所述方法包括:
在车辆行驶过程中,获取关键帧图像序列,该关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;
将关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;
在拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
其中,该方法还包括:
在确定车辆的行驶速度下降至预设的第二阈值时,缓存关键帧图像序列,该关键帧图像序列中至少包括按照时间顺序排列的初始时刻的关键帧图像和当前时刻的关键帧图像;
在确定车辆的行驶速度属于第二阈值和预设的第一阈值范围时,循环从获取关键帧图像序列的步骤至在拼接图像中叠加预设的与固定遮挡物对应的图像子区域的步骤,更新得到新的历史图像和新的当前图像;
在确定车辆的行驶速度已下降至预设的第一阈值时,控制输出记录图像至外部显示设备,该第二阈值大于第一阈值。
其中,获取关键帧图像序列包括:
在确定车辆的行驶速度下降至预设的第二阈值时,获取初始时刻的关键帧图像作为历史图像,该当前时刻的关键帧图像作为当前图像;
在确定车辆的行驶速度属于第二阈值和预设的第一阈值范围时,获取拼接图像作为新的历史图像;获取当前时刻的下一时刻的关键帧图像作为新的当前图像。
其中,在确定车辆的行驶速度已下降至预设的第一阈值时,控制输出记录图像至外部显示设备还包括:
当确定车辆的行驶速度已下降至预设的第一阈值,且记录图像中显示车辆前方无障碍物时,输出未进行拼接处理的图像帧至外部显示设备;
当确定车辆的行驶速度已下降至预设的第一阈值,且记录图像中显示车辆前方有障碍物时,将前方障碍物叠加至所述记录图像中,输出包含前方障碍物的记录图像至外部显示设备。
其中,将历史图像与所述当前图像进行拼接,得到拼接图像包括:
对比历史图像与所述当前图像,得到历史图像与当前图像的相同数据;
将历史图像所包含的相同数据与当前图像所包含的相同数据进行合并拼接,得到拼接图像。
其中,固定遮挡物为车头部分的引擎盖,在拼接图像中叠加与固定遮挡物对应的图像子区域包括:
在拼接图像中确定与引擎盖对应的图像区域;
对与引擎盖对应的图像区域进行处理;
调用与引擎盖对应的图像子区域填补处理后的与引擎盖对应的图像区域的轮廓,得到记录图像,与引擎盖对应的图像子区域是预先根据引擎盖的图像区域的轮廓生成的。
其中,该方法还包括:
按照记录图像的输出顺序,将预设数量的所述记录图像进行合成,得到至少一段视频;
输出至少一段视频至外部显示设备。
第二方面,本发明提供一种图像处理装置,包括:
获取模块,配置为获取关键帧图像序列,该关键帧图像序列包括多张车与车辆的第一视野方向对应的图像帧;
拼接模块,配置为将关键帧图像序列中的历史图像与当前图像进行拼接得到拼接图像;
叠加模块,配置为在拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与第一视野方向对应的记录图像。
第三方面,本发明提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现第一方面所描述的方法。
第四方面,本发明提供一种车辆,包括第三方面所描述的电子设备。
第五方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序用于实现第一方面描述的方法。
与现有技术相比,本发明的有益效果是:
本发明提供一种图像处理方法、装置、设备、车辆及介质,该方法在车辆行驶过程中,获取关键帧图像序列,该关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;将该关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。本申请实施例通过拼接图像扩大了显示图像范围,叠加预设的与固定遮挡物对应的图像子区域,驾驶者可以看到将固定遮挡物透视化后的图像,增加行车过程中的安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了本申请实施例涉及的应用场景示意图;
图2示出了本申请一个实施例涉及的图像处理方法的流程图;
图3示出了本申请一个实施例涉及的图像处理方法的流程图;
图4示出了本申请一个实施例涉及的图像处理方法的流程图;
图5示出了本申请实施例涉及的图像处理装置的结构示意图;
图6示出了本申请实施例涉及的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,图1示出了本申请涉及的应用场景示意图。
如图l所示,预先安装在车辆中的行车记录仪1和中控装置2。
行车记录仪1的摄像头用于采集车辆的行驶环境信息。
中控装置2包括存储器21、控制器22和显示器23。
存储器21用于存储行车记录仪1采集的行驶环境信息。
控制器22与行车记录仪1和存储器21分别信号连接,控制器22用于控制行车记录装置的记录模式。
显示器23与存储器21和控制器22信号连接。显示器23用于显示从行车记录仪1获取的行驶环境信息或经过处理后的行车记录图像。
上述中控装置和行车记录仪都可以包括传感设备(图中未示出),控制器22可以与传感设备信号连接,传感设备用于采集车辆运行信息,传感设备例如可以是车速传感器,车速传感器用于采集车辆的行驶速度。控制器22用于根据车辆运行信息判断车辆是否出现紧急驾驶情况。
上述行车记录仪1的记录模式可以包括紧急记录模式和主动记录模式。紧急记录模式是指在车辆从正常行驶速度减速至静止状态的情形下触发的记录模式。例如,紧急刹车情况,或者与前车出现碰撞情形等。本申请实施例中与示例情形相同的场景都可以认为是紧急驾驶场景。在紧急记录模式下,行车记录仪的摄像头采集得到行驶环境信息不会被覆盖,其存储至行车记录仪的存储装置内。可选地,还可以将紧急记录模式下采集得到的行车记录图像备份至中控装置的存储模块。
主动记录模式是指车辆在正常行驶速度范围内所采用的记录模式。
在主动记录模式下按照不同的预设的采样频率对行车记录仪的摄像头采集的行驶图像进行采样。采样结果可以存储至行车记录仪的存储装置内,但是在主动记录模式下采样结果会被定期覆盖。可选地,还可以将主动记录模式下采集得到的行车记录图像存储至中控装置的存储器21。
当处于紧急驾驶情形时,存储器21用于缓存行车记录仪的摄像头采集得到的行车记录图像,例如缓存预设时间的图像。预设时间例如可以是若干秒。行车记录图像可以是视频数据,其包含多帧图像数据。
控制器22用于从存储器21中读取缓存的视频数据中的关键帧图像序列。控制器22将关键帧图像序列中的当前图像与历史图像进行拼接,并在拼接图像中叠加预设的虚拟车头线条,不断重复前述过程得到若干个行车记录图像,最后输出一个行车记录图像至显示器23,以便驾驶者通过行车记录图像准确预估距离前方障碍物的距离,从而提升行车安全性。
控制器22可以执行如图2所示的图像处理方法,该方法包括:
步骤210:在车辆行驶过程中,获取关键帧图像序列,所述关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;
步骤220:将所述关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;
步骤230:在拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
上述步骤中,关键帧图像序列由若干帧关键帧图像组成,关键帧图像是指物体运动或变化中的关键动作对应的图像。
其中,将历史图像与当前图像进行拼接,得到拼接图像包括:对比历史图像与所述当前图像,得到历史图像与当前图像的相同数据;将历史图像所包含的相同数据与当前图像所包含的相同数据进行合并拼接,得到拼接图像。
需要说明的是,对比历史图像与当前图像所需时间比提取关键帧图像所需的时间要短,例如,1秒提取10帧关键帧图像,但是比对10帧关键帧图像所需的时间约0.5秒。通过提升比对关键帧图像的速度,使得行车记录仪记录图像和比对图像可以并行处理,从而提升图像处理效率。
另外,将历史图像所包含的相同数据与当前图像所包含的相同数据进行合并拼接,得到拼接图像,该拼接图像是长图。本申请中长图的高度等于拼接的所有关键帧图像的高度之和。例如关键帧图像包括10帧。高度为每帧图像的垂直像素值,假设第一帧图像的垂直像素值为1080,10帧关键帧图像经过拼接处理后得到的长图的高度为10800。
可选地,控制器22获取关键帧图像序列通过行车记录仪来完成。具体可以主动获取存储器21内缓存的行车记录仪采集的图像数据,并按照每秒取10帧关键帧图像的速度从行车记录仪采集的图像数据中提取关键帧图像作为关键帧图像序列。优选地,可以按照每秒取30帧关键帧图像的速度进行提取。
具体地,所述固定遮挡物为车头部分的引擎盖,所述在所述拼接图像中与固定遮挡物对应的图像子区域包括:在所述拼接图像中确定与引擎盖对应的图像区域;对与所述引擎盖对应的图像区域进行处理;调用与引擎盖对应的图像子区域填补所述处理后的与所述引擎盖对应的图像区域的轮廓,得到所述记录图像,所述与引擎盖对应的图像子区域是预先根据所述引擎盖的图像区域的轮廓生成的。
对车头部分的图像区域进行处理可以是对车头部分图像进行透明化处理。例如调用图片处理程序对车头部分图像进行透明化处理,例如对车头部分图像进行抠图,然后将车头部分的图像删除。或者,选择图层,将车头部分的图像对应的图层关闭,然后擦除车头部分的图像。再或者,直接选择车头部分的图像对应的图层,将其透明度调至大于95%。
虚拟车头线条是是从行车记录仪采集得到的车头部分的图像区域上去掉车头部分;将车头部分的轮廓作为预设的虚拟车头线条。
控制器22可以执行如图3所示的图像处理方法,该方法包括:
步骤310:在车辆行驶过程中,获取关键帧图像序列,所述关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;
步骤320:将所述关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;
步骤330:在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
在步骤310之前,该方法还包括步骤340,在确定车辆的行驶速度下降至预设的第二阈值时,缓存关键帧图像序列。
在步骤330之后,该方法还包括:
步骤341:在确定车辆的行驶速度属于第二阈值和预设的第一阈值范围时,循环从获取关键帧图像序列的步骤至在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域的步骤,更新得到新的历史图像和新的当前图像。
在步骤330之后,该方法还包括
步骤342,在确定车辆的行驶速度已下降至预设的第一阈值时,控制输出记录图像至外部显示设备。上述第二阈值大于第一阈值。
上述预设的第二阈值例如可以是10km/h,例如车速从正常行驶速度减速至10km/h。其中,正常行驶速度是与车辆行驶位置相关的。例如,在市区街道上,正常行驶速度一般是30-40km/h,当车辆的行驶速度减少至10km/h时,触发行车记录仪将关键帧图像序列传输至中控装置,或者触发控制器向存储器读取关键帧图像序列。
假设关键帧图像序列包括10帧关键帧图像{T1,T2,…,T10}。其中,关键帧图像T1为t1时刻行车记录仪采集得到的图像,定义为历史图像,或者第一图像。关键帧图像T2为T2时刻行车记录仪采集得到的图像,定义为当前图像,或者第二图像,其中t2>t1。历史图像,当前图像是为了区别表示图像。
在对历史图像与当前图像进行拼接,得到拼接图像之后,获取拼接图像作为更新后的历史图像;以及获取行车记录仪采集的当前时刻的下一时刻的图像作为更新后的当前图像。
例如,将关键帧图像T1与关键帧图像T2进行拼接,得到拼接图像P1,将拼接图像P1定义为新的历史图像。
将关键帧图像T3定义为新的当前图像,关键帧图像T3为t3时刻行车记录仪采集得到的图像,其中t3>t2
随着时间的递增,历史图像和当前图像的获取过程与上述内容类似,在此不再一一进行列举。
其中,所述获取关键帧图像序列包括:
在确定所述车辆的行驶速度下降至预设的第二阈值时,获取所述初始时刻的关键帧图像作为所述历史图像,所述当前时刻的关键帧图像作为所述当前图像;
在确定所述车辆的行驶速度属于所述第二阈值和预设的第一阈值范围时,获取所述拼接图像作为所述新的历史图像;获取所述当前时刻的下一时刻的关键帧图像作为所述新的当前图像。
历史图像和当前图像是不断变化更新的,初始时刻历史图像指的是行车记录仪初始时刻采集的关键帧图像,当前图像指的是初始时刻的下一时刻的采集的关键帧图像。
在对初始时刻采集的关键帧图像与初始时刻之后的下一时刻的采集的关键帧图像进行拼接,得到拼接图像之后,将拼接图像作为更新后的历史图像;以及获取行车记录仪采集的初始时刻之后的下一时刻的下一时刻的图像作为更新后的当前图像。例如初始时刻为t1,初始时刻之后的下一时刻t2,初始时刻之后的下一时刻的下一时刻为t3。初始时刻之后的第n-1个时刻为tn。n的取值为关键帧图像序列所包含的关键帧图像的数量。
第二阈值作为车辆是否处于紧急驾驶场景的判断标准,当车辆的传感设备检测的车辆运行速度小于10km/h时,控制器22自动生成控制信号并发送控制信号行车记录仪,并利用存储器21对行车记录仪采集的关键帧图像序列通过进行缓存,控制器22以大于采样频率的读取频率从存储器21中读取关键帧图像序列,并对关键帧图像序列中的关键帧图像进行合并拼接得到拼接图像。
在上述实施例基础上,在确定所述车辆的行驶速度已下降至预设的第一阈值时,控制输出所述记录图像至外部显示设备还包括:当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方无障碍物时,输出未进行拼接处理的图像帧至外部显示设备;当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方有障碍物时,将前方障碍物叠加至所述记录图像中,输出包含前方障碍物的记录图像至外部显示设备。
在车辆正向行驶过程中,驾驶员需要目测自己驾驶的车辆与前车之间的距离,或者在车辆倒车过程中,驾驶员需要目测自己驾驶的车辆与后方障碍物之间的距离。由于前方的前方引擎盖的存在导致驾驶员估测距离前车的距离并不准确。本申请通过在车辆减速至0km/h时,识别行车记录仪采集的图像中是否存在障碍物,如果不存在,则直接显示行车记录仪采集的图像,如果存在,则显示经过合并拼接和叠加虚拟车头线条的行车记录图像,以便驾驶员可以看到无遮挡的行车图像,可以更好地判断与前方障碍物的距离,并培养驾驶员保持与前车跟车行走的距离感。
上述方法还包括:按照行车记录图像的输出顺序,将预设数量的所述行车记录图像进行合成,得到至少一段视频;输出所述至少一段视频至外部显示设备。
具体地,至少每10帧行车记录图像合成1秒长度的视频。优选地,将每30帧行车记录图像合成1秒长度的视频。每秒30帧能够保证视频的流畅度,并实现缓存行车记录图像和拼接处理同步处理,然后将缓存的行车记录图像合成生成视频,同步处理有效地提高图像处理的效率。
可选地,还可以将多段视频缓存至存储器相应的存储位置,以作为行车记录仪的备份数据,提高行车记录仪数据存储的安全性。
本申请实施例可以有效地避开引擎盖图像区域,解决行车记录仪的摄像头拍摄角度与行车记录仪采集图像的有效图像之间的比例问题。
本申请实施例还可以中控装置的空余计算能力,在驾驶员停车场景中提供有效图像,增加驾驶员的行车安全性,安全停车。
请参考图4,图4示出了本申请提供的图像处理方法,该方法以车辆处于紧急驾驶场景为例进行描述。
如图4所示,在车速降低达到10km/h时,触发行车记录仪将采集的关键帧图像序列传输至中控装置,中控装置缓存键帧图像序列。例如关键帧图像序列包括{T1,T2,…,T30}。其中,关键帧图像T1为t1时刻行车记录仪采集得到的关键帧图像,关键帧图像T2为T2时刻行车记录仪采集得到的关键帧图像,其中t2>t1。将关键帧图像T1与关键帧图像T2进行拼接,得到拼接图像P1,在拼接图像P1中叠加预设的虚拟车头线条,得到第一帧行车记录图像。
然后,判断当前车速是否为0km/h。当车速为0km/h时,且车辆前方有障碍物时,显示第一帧行车记录图像,第一帧行车记录图像包含前方障碍物对应的图像区域。当车速为0km/h时,且车辆前方没有障碍物时,显示关键帧图像T2
当车速不为0km/h时,将拼接图像P1和关键帧图像T3定义为新的拼接对象,关键帧图像T3为t3时刻行车记录仪采集得到的关键帧图像,其中t3>t2。将拼接图像P1与关键帧图像T3进行拼接,得到拼接图像P2,在拼接图像P2中叠加预设的虚拟车头线条,得到第二帧行车记录图像。在判断当前车速是否为0km/h,与上面描述第一帧行车记录图像的处理相同。
不断对车速进行判断,循环获取,拼接和叠加的步骤,直至车速为0km/h时,再根据前方是否存在障碍物,判断输出行车记录图像,还是拼接对象中的关键帧图像。
本申请实施例可以有效地避开引擎盖图像区域,解决行车记录仪的摄像头拍摄角度与行车记录仪采集图像的有效图像之间的比例问题。
本申请实施例还可以中控装置的空余计算能力,在驾驶员停车场景中提供有效图像,增加驾驶员的行车安全性,安全停车。
请参考图5,图5示出了本申请实施例提供的图像处理装置的结构示意图。
获取模块510,配置为获取关键帧图像序列,所述关键帧图像序列包括多张车与车辆的第一视野方向对应的图像帧;
拼接模块520,配置为将所述关键帧图像序列中的历史图像与当前图像进行拼接得到拼接图像;
叠加模块530,配置为在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
该装置还包括:确定模块,配置为:在确定所述车辆的行驶速度下降至预设的第二阈值时,缓存所述关键帧图像序列,所述关键帧图像序列中至少包括按照时间顺序排列的初始时刻的关键帧图像和当前时刻的关键帧图像;在确定所述车辆的行驶速度属于所述第二阈值和预设的第一阈值范围时,循环从所述获取关键帧图像序列的步骤至所述在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域的步骤,更新得到新的历史图像和新的当前图像;在确定所述车辆的行驶速度已下降至预设的第一阈值时,控制输出所述记录图像至外部显示设备,所述第二阈值大于所述第一阈值。
可选地,获取模块510具体可以配置为:在确定所述车辆的行驶速度下降至预设的第二阈值时,获取所述初始时刻的关键帧图像作为所述历史图像,所述当前时刻的关键帧图像作为所述当前图像;
在确定所述车辆的行驶速度属于所述第二阈值和预设的第一阈值范围时,获取所述拼接图像作为所述新的历史图像;获取所述当前时刻的下一时刻的关键帧图像作为所述新的当前图像。
可选地,该装置还包括:显示模块,配置为当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方无障碍物时,输出未进行拼接处理的图像帧至外部显示设备;当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方有障碍物时,将前方障碍物叠加至所述记录图像中,输出包含前方障碍物的记录图像至外部显示设备。
可选地,拼接模块520具体可以配置为:对比所述历史图像与所述当前图像,得到所述历史图像与所述当前图像的相同数据;将所述历史图像所包含的所述相同数据与所述当前图像所包含的相同数据进行合并拼接,得到拼接图像。
可选地,叠加模块530具体可以配置为:在所述拼接图像中确定与引擎盖对应的图像区域;对与所述引擎盖对应的图像区域进行处理;调用与引擎盖对应的图像子区域填补所述处理后的与所述引擎盖对应的图像区域的轮廓,得到所述记录图像,所述与引擎盖对应的图像子区域是预先根据所述引擎盖的图像区域的轮廓生成的。
可选地,该装置还包括:合成模块,配置为按照所述记录图像的输出顺序,将预设数量的所述记录图像进行合成,得到至少一段视频;输出所述至少一段视频至外部显示设备。
本申请提出的上述图像处理装置可以设置在行车记录仪中。其基于该装置输出的行车记录图像,可以扩大显示图像范围、增加行车过程中的安全性能以及更好的判断与前方障碍物的距离。
本申请提出的上述技术方案,将所述关键帧图像序列中的历史图像与当前图像进行拼接得到拼接图像,拼接图像包括当前时刻以前行车记录仪采集的所有关键帧图像的信息,可以扩大显示图像范围。
在所述拼接图像中叠加预设的虚拟车头线条,使得驾驶者可以看到引擎盖底下的图像,增加行车过程中的安全性能。
本申请实施例中,驾驶员可以直接观看到车头的最前端,当车速为0时,可以更好地判断车辆与前方障碍物之间的距离,培养司机的距离感,以更好的辅助驾驶操作。
本申请实施例可以有效地避开引擎盖图像区域,解决行车记录仪的摄像头拍摄角度与行车记录仪采集图像的有效图像之间的比例问题。本申请实施例还可以中控装置的空余计算能力,在驾驶员停车场景中提供有效图像,增加驾驶员的行车安全性,安全停车。
另一方面,本发明提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行上述程序时实现图2-4描述的方法。
本申请提出的上述电子设备可以设置在行车记录仪中。其基于该装置输出的行车记录图像。
电子设备能够将关键帧图像序列中的历史图像与当前图像进行拼接得到拼接图像,拼接图像包括当前时刻以前行车记录仪采集的所有关键帧图像的信息,可以扩大显示图像范围。
另外,在拼接图像中叠加预设的虚拟车头线条,使得驾驶者可以看到引擎盖底下的图像,增加行车过程中的安全性能。
因为驾驶者可以直接观察到车头的最前端,因此当车速为0时可以更好的判断与前方障碍物的距离,培养司机的距离感,以更好的进行驾驶操作。
另一方面,本发明提供一种车辆,该车辆包括上述实施例描述的电子设备。
最后,本申请还提供了一种计算机可读存储介质,该计算机可读介质可以是下述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。该电子设备例如可以是车载中控装置。电子设备如图6所示,其包括图像处理单元(GPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分加载到随机访问存储器(RAM)604中的程序而执行各种适当的动作和处理。在RAM603中,还存储有系统操作所需的各种程序和数据。GPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明的实施例,上文参考流程图1描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(GPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中或者控制处理器中,例如,可以描述为:一种控制处理器包括获取模块、拼接模块、叠加模块、。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。例如,循环模块还可以被描述为“配置为获取关键帧图像序列的模块”。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被服务器执行时,使得该服务器实现如上述实施例中描述的图像处理方法。上述服务器也可以是其他的电子设备。
例如,服务器可以实现如图2中所示的:步骤210:在车辆行驶过程中,获取关键帧图像序列,关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;步骤220:将关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;步骤230:在拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与第一视野方向对应的记录图像。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种图像处理方法,其特征在于,所述方法包括:
在车辆行驶过程中,获取关键帧图像序列,所述关键帧图像序列包括多张与车辆的第一视野方向对应的图像帧;
将所述关键帧图像序列中的历史图像与当前图像进行拼接,得到拼接图像;
在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
2.根据权利要求1所述的方法,其特征在于,该方法还包括:
在确定所述车辆的行驶速度下降至预设的第二阈值时,缓存所述关键帧图像序列,所述关键帧图像序列中至少包括按照时间顺序排列的初始时刻的关键帧图像和当前时刻的关键帧图像;
在确定所述车辆的行驶速度属于所述第二阈值和预设的第一阈值范围时,循环从所述获取关键帧图像序列的步骤至所述在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域的步骤,更新得到新的历史图像和新的当前图像;
在确定所述车辆的行驶速度已下降至预设的第一阈值时,控制输出所述记录图像至外部显示设备,所述第二阈值大于所述第一阈值。
3.根据权利要求2所述的方法,其特征在于,所述获取关键帧图像序列包括:
在确定所述车辆的行驶速度下降至预设的第二阈值时,获取所述初始时刻的关键帧图像作为所述历史图像,所述当前时刻的关键帧图像作为所述当前图像;
在确定所述车辆的行驶速度属于所述第二阈值和预设的第一阈值范围时,获取所述拼接图像作为所述新的历史图像;获取所述当前时刻的下一时刻的关键帧图像作为所述新的当前图像。
4.根据权利要求2所述的方法,其特征在于,在确定所述车辆的行驶速度已下降至预设的第一阈值时,控制输出所述记录图像至外部显示设备还包括:
当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方无障碍物时,输出未进行拼接处理的图像帧至外部显示设备;
当确定所述车辆的行驶速度已下降至预设的第一阈值,且所述记录图像中显示车辆前方有障碍物时,将前方障碍物叠加至所述记录图像中,输出包含前方障碍物的记录图像至外部显示设备。
5.根据权利要求1所述的方法,其特征在于,所述将所述历史图像与所述当前图像进行拼接,得到拼接图像包括:
对比所述历史图像与所述当前图像,得到所述历史图像与所述当前图像的相同数据;
将所述历史图像所包含的所述相同数据与所述当前图像所包含的相同数据进行合并拼接,得到拼接图像。
6.根据权利要求1所述的方法,其特征在于,所述固定遮挡物为车头部分的引擎盖,所述在所述拼接图像中叠加与固定遮挡物对应的图像子区域包括:
在所述拼接图像中确定与引擎盖对应的图像区域;
对与所述引擎盖对应的图像区域进行处理;
调用与引擎盖对应的图像子区域填补所述处理后的与所述引擎盖对应的图像区域的轮廓,得到所述记录图像,所述与引擎盖对应的图像子区域是预先根据所述引擎盖的图像区域的轮廓生成的。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述记录图像的输出顺序,将预设数量的所述记录图像进行合成,得到至少一段视频;
输出所述至少一段视频至外部显示设备。
8.一种图像处理装置,其特征在于,包括:
获取模块,配置为获取关键帧图像序列,所述关键帧图像序列包括多张车与车辆的第一视野方向对应的图像帧;
拼接模块,配置为将所述关键帧图像序列中的历史图像与当前图像进行拼接得到拼接图像;
叠加模块,配置为在所述拼接图像中叠加预设的与固定遮挡物对应的图像子区域,得到与所述第一视野方向对应的记录图像。
9.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法。
10.一种车辆,其特征在于,包括如权利要求9所述的电子设备。
11.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于实现如权利要求1-7任一项所述的方法。
CN202011065948.7A 2020-09-30 2020-09-30 图像处理方法、装置、设备、车辆及介质 Active CN114333105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065948.7A CN114333105B (zh) 2020-09-30 2020-09-30 图像处理方法、装置、设备、车辆及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065948.7A CN114333105B (zh) 2020-09-30 2020-09-30 图像处理方法、装置、设备、车辆及介质

Publications (2)

Publication Number Publication Date
CN114333105A true CN114333105A (zh) 2022-04-12
CN114333105B CN114333105B (zh) 2023-04-07

Family

ID=81032942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065948.7A Active CN114333105B (zh) 2020-09-30 2020-09-30 图像处理方法、装置、设备、车辆及介质

Country Status (1)

Country Link
CN (1) CN114333105B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
CN101584210A (zh) * 2007-12-07 2009-11-18 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN106097246A (zh) * 2016-06-07 2016-11-09 深圳市凯立德科技股份有限公司 一种行车记录图像处理方法及系统
CN107093327A (zh) * 2017-04-21 2017-08-25 华南理工大学 一种行车碰撞处理方法及系统
CN107958441A (zh) * 2017-12-01 2018-04-24 深圳市科比特航空科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN108184049A (zh) * 2017-12-13 2018-06-19 深圳进化动力数码科技有限公司 行车记录装置
CN108257092A (zh) * 2018-01-18 2018-07-06 维森软件技术(上海)有限公司 一种车身环视图像底部显示方法
CN110517368A (zh) * 2018-05-21 2019-11-29 上海博泰悦臻网络技术服务有限公司 基于行车记录仪的车底透视路面系统及汽车
US20190379841A1 (en) * 2017-02-16 2019-12-12 Jaguar Land Rover Limited Apparatus and method for displaying information
JP2020068499A (ja) * 2018-10-26 2020-04-30 現代自動車株式会社Hyundai Motor Company 車両周囲画像表示システム及び車両周囲画像表示方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211466A (ja) * 2000-01-27 2001-08-03 Toshiba Corp 自己診断機能を有する画像処理システム
CN101584210A (zh) * 2007-12-07 2009-11-18 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN106097246A (zh) * 2016-06-07 2016-11-09 深圳市凯立德科技股份有限公司 一种行车记录图像处理方法及系统
US20190379841A1 (en) * 2017-02-16 2019-12-12 Jaguar Land Rover Limited Apparatus and method for displaying information
CN107093327A (zh) * 2017-04-21 2017-08-25 华南理工大学 一种行车碰撞处理方法及系统
CN107958441A (zh) * 2017-12-01 2018-04-24 深圳市科比特航空科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN108184049A (zh) * 2017-12-13 2018-06-19 深圳进化动力数码科技有限公司 行车记录装置
CN108257092A (zh) * 2018-01-18 2018-07-06 维森软件技术(上海)有限公司 一种车身环视图像底部显示方法
CN110517368A (zh) * 2018-05-21 2019-11-29 上海博泰悦臻网络技术服务有限公司 基于行车记录仪的车底透视路面系统及汽车
JP2020068499A (ja) * 2018-10-26 2020-04-30 現代自動車株式会社Hyundai Motor Company 車両周囲画像表示システム及び車両周囲画像表示方法

Also Published As

Publication number Publication date
CN114333105B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN105551110A (zh) 一种行车数据记录方法、装置和系统
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
JP5962898B2 (ja) 運転評価システム、運転評価方法、及び運転評価プログラム
CN102819880B (zh) 一种全方位还原道路事故影像的方法
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP3861811B2 (ja) 運転情報処理装置
CN115489536B (zh) 一种驾驶辅助方法、系统、设备及可读存储介质
CN113442831A (zh) 视野盲区显示方法、装置以及采用该方法的导航系统
CN115402322A (zh) 一种路口驾驶辅助方法、系统、电子设备及存储介质
CN114333105B (zh) 图像处理方法、装置、设备、车辆及介质
CN107077715B (zh) 车辆周边图像显示装置、车辆周边图像显示方法
JP2005004410A (ja) 道路標識等表示装置及び道路標識等画像の画像表示方法
CN116704643A (zh) 一种基于NeRF的三维行车记录系统
JP6281435B2 (ja) 駐車支援システム
CN114332789A (zh) 图像处理方法、装置、设备、车辆及介质
CN111959417A (zh) 汽车全景影像显示控制方法、装置、设备及存储介质
JP6607272B2 (ja) 車両用記録装置、車両用記録方法及びプログラム
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
JP3404802B2 (ja) 道路状況記録システム
JP2009213063A (ja) 監視装置
EP1280681B1 (en) A device for recording image of driving circumstances around automobile
JP7384830B2 (ja) 車両周辺部を表示するための方法及び装置
CN110979319A (zh) 驾驶辅助方法、装置和系统
CN114495546B (zh) 一种路况展示方法、装置、电子设备及存储介质
JP2004251886A (ja) 周囲物体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant