CN111160070A - 车辆全景图像盲区消除方法、装置、存储介质及终端设备 - Google Patents
车辆全景图像盲区消除方法、装置、存储介质及终端设备 Download PDFInfo
- Publication number
- CN111160070A CN111160070A CN201811321821.XA CN201811321821A CN111160070A CN 111160070 A CN111160070 A CN 111160070A CN 201811321821 A CN201811321821 A CN 201811321821A CN 111160070 A CN111160070 A CN 111160070A
- Authority
- CN
- China
- Prior art keywords
- panoramic image
- filling
- filled
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车辆全景图像盲区消除方法、装置、存储介质及终端设备，包括：根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。本发明能够有效消除车辆四角及车底盲区，从而为驾驶员提供全方位的视野辅助，并提升驾驶员的视觉体验。
Description
技术领域
本发明涉及智能辅助驾驶环境感知技术领域，尤其涉及一种车辆全景图像盲区消除方法、装置、计算机可读存储介质及终端设备。
背景技术
随着汽车技术的快速发展，智能辅助驾驶系统的应用越来越广泛，智能辅助驾驶系统的一项关键技术是通过车载环境感知摄像头实现对车辆周围环境图像的采集，以填补驾驶员的视角盲区，减少行车或泊车过程中误碰撞事故的发生，并且通过对采集到的图像进行分析处理，给驾驶员提供包括车道偏离报警、盲区车辆检测在内的各种辅助驾驶功能，对于提高汽车的主动安全性具有重要的意义。
全景环视摄像头包括设置在汽车周围、能覆盖车辆周边所有视觉范围的4到8个广角摄像头，虽然全景环视摄像头现在基本能够实现车辆周围360°全覆盖，然而，在车辆四角仍然存在部分视角盲区，并且车辆底部的图像也无法被摄像头探测到，因此，车辆四角及车底盲区仍然存在，无法为驾驶员提供全方位的视野辅助，另外，在全景展示图上盲区的存在很大程度影响到视觉的美观性，从而降低了驾驶员的视觉体验。
发明内容
本发明实施例所要解决的技术问题在于，提供一种车辆全景图像盲区消除方法、装置、计算机可读存储介质及终端设备，能够有效消除车辆四角及车底盲区，从而为驾驶员提供全方位的视野辅助，并提升驾驶员的视觉体验。
为了解决上述技术问题，本发明实施例提供了一种车辆全景图像盲区消除方法，包括：
根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；
根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
进一步地，所述根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像，具体包括：
根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量；其中，每一所述关联全景图像为在所述待填充全景图像对应的获取时间之前获取的全景图像；
当所述运动矢量在所述偏移范围内时，将与所述运动矢量对应的所述关联全景图像作为所述第一填充全景图像。
进一步地，所述根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，具体包括：
至少根据实时获取的车辆的四轮轮速脉冲信号、方向盘转角、转向轮横摆角和运动方向分别计算每一所述关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量。
进一步地，所述分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算，具体包括：
对于每一所述第一填充全景图像，根据所述第一填充全景图像的像素栅格对所述第一填充全景图像进行若干次位移旋转，相应获得若干个旋转后的第一填充全景图像；
在预设的搜索区域内，根据全景图像的像素信息分别对每一所述旋转后的第一填充全景图像与所述待填充全景图像进行熵差计算；其中，所述搜索区域由预设的像素栅格组成。
进一步地，所述根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像，具体包括：
找出若干个所述旋转后的第一填充全景图像与所述待填充全景图像的所有熵差中的最小熵差；
当所述最小熵差在所述阈值范围内时，将与所述最小熵差对应的所述旋转后的第一填充全景图像作为所述第二填充全景图像。
进一步地，所述至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像，具体包括：
根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量、所述第二填充全景图像在旋转时相应的旋转矢量，确定所述待填充全景图像的盲区在所述第二填充全景图像上对应的位置区域；
根据所述位置区域在所述第二填充全景图像上获取所述盲区填充图像。
进一步地，所述方法还包括：
获取摄像头拍摄的图像；其中，所述摄像头至少包括四个，分别安装在车辆的四角位置；
分别根据每个所述摄像头的参数相应对获取到的图像进行矫正处理；
根据车身参数和全景标定参数对矫正后的图像进行图像拼接，获得所述全景图像。
为了解决上述技术问题，本发明实施例还提供了一种车辆全景图像盲区消除装置，包括：
第一填充全景图像获取模块，用于根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
熵差计算模块，用于分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
第二填充全景图像获取模块，用于根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
盲区填充图像获取模块，用于至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；以及，
盲区填充模块，用于根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的车辆全景图像盲区消除方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的车辆全景图像盲区消除方法。
与现有技术相比，本发明实施例提供了一种车辆全景图像盲区消除方法、装置、计算机可读存储介质及终端设备，根据车身运动信息获取满足条件的第一填充全景图像，根据每一个第一填充全景图像与待填充全景图像之间的熵差获取满足条件的第二填充全景图像，再根据第二填充全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量在第二填充全景图像上获取相应的盲区填充图像对待填充全景图像的盲区进行填充，融合了车辆的车身运动信息，从而有效消除了车辆四角及车底盲区，为驾驶员提供全方位的视野辅助，并优化了显示效果，提升了驾驶员观测全景图像时的视觉体验。
附图说明
图1是本发明提供的一种车辆全景图像盲区消除方法的一个优选实施例的流程图；
图2是本发明提供的一种车辆全景图像盲区消除方法的步骤S11的一个优选实施例的具体流程图；
图3是本发明提供的一种车辆全景图像盲区消除方法的步骤S12的一个优选实施例的具体流程图；
图4是本发明提供的旋转后的第一填充全景图像所对应的熵差显示效果图；
图5是本发明提供的一种车辆全景图像盲区消除装置的一个优选实施例的结构框图；
图6是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，是本发明提供的一种车辆全景图像盲区消除方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S15：
步骤S11、根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
步骤S12、分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
步骤S13、根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
步骤S14、至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；
步骤S15、根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
具体的，当需要消除车辆的待填充全景图像上的盲区时，首先根据车辆的实时车身运动信息获取待填充全景图像的满足第一预设条件的第一填充全景图像(第一填充全景图像可能不止一个)，需要满足的第一预设条件为：第一填充全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量在预先设置的偏移范围内(该偏移范围可以根据实际需要进行设置)，并且每一个第一填充全景图像均需要满足第一预设条件；其中，车辆在行驶过程中，其运动轨迹为矢量，在两个全景图像之间会产生相应的运动距离和偏移角度，因此车辆的运动矢量包括运动距离和偏移角度；接着根据第一填充全景图像的像素信息和待填充全景图像的像素信息分别对每一个第一填充全景图像与待填充全景图像进行熵差计算，并根据计算获得的熵差从所有的第一填充全景图像中获取待填充全景图像的满足第二预设条件的第二填充全景图像(第二填充全景图像可能不止一个)，需要满足的第二预设条件为：第二填充全景图像与待填充全景图像之间的熵差在预先设置的阈值范围内(该阈值范围可以根据实际需要进行设置)，并且每一个第二填充全景图像均需要满足第二预设条件；最后至少根据第二填充全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量，在第二填充全景图像上获取待填充全景图像的盲区填充图像，从而根据在每一个第二填充全景图像上获取的所有的盲区填充图像对待填充全景图像的盲区进行填充，以消除待填充全景图像上的盲区。
需要说明的是，第一填充全景图像为从待填充全景图像所对应的获取时间之前获取的全景图像中选择出的满足第一预设条件的若干个全景图像；优选地，第一填充全景图像至少包括待填充全景图像的前一帧全景图像；其中，帧为图像的计量单位，每一个时间点获取到的全景图像对应为一帧全景图像。
可以理解的，每一个全景图像上均有对应的车辆的车身运动信息，并且不同的全景图像上所对应的车身运动信息不同，可以通过车辆的实际行驶状态实时获取相应的车身运动信息。
本发明实施例所提供的一种车辆全景图像盲区消除方法，根据车身运动信息获取满足条件的第一填充全景图像，根据每一个第一填充全景图像与待填充全景图像之间的熵差获取满足条件的第二填充全景图像，再根据第二填充全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量在第二填充全景图像上获取相应的盲区填充图像对待填充全景图像的盲区进行填充，融合了车辆的车身运动信息，从而有效消除了车辆四角及车底盲区，为驾驶员提供全方位的视野辅助，并优化了显示效果，提升了驾驶员观测全景图像时的视觉体验。
另外，与根据大量的填充全景图像对待填充全景图像的盲区进行填充相比，本发明实施例根据车辆的车身运动信息对大量的全景图像与待填充全景图像进行匹配，从大量的全景图像中匹配出第一填充全景图像，并根据第一填充全景图像与待填充全景图像的熵差对第一填充全景图像进行二次匹配，从第一填充全景图像中获得匹配度较高的第二填充全景图像，大大减少了填充全景图像的数量，缩小了盲区填充区域的搜索范围，从而能够降低待填充区域的搜索算法的复杂度。
结合图2所示，是本发明提供的一种车辆全景图像盲区消除方法的步骤S11的一个优选实施例的具体流程图，所述根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像，具体包括步骤S1101至步骤S1102：
步骤S1101、根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量；其中，每一所述关联全景图像为在所述待填充全景图像对应的获取时间之前获取的全景图像；
步骤S1102、当所述运动矢量在所述偏移范围内时，将与所述运动矢量对应的所述关联全景图像作为所述第一填充全景图像。
具体的，根据实时获取的车身运动信息分别计算每一个关联全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量，并将计算获得的每一个关联全景图像所对应的运动矢量与预先设置的偏移范围进行比较，当任意一个运动矢量在预先设置的偏移范围内时，将与该运动矢量相对应的关联全景图像作为满足上述实施例中的第一预设条件的第一填充全景图像。
可以理解的，当任意一个运动矢量不在预先设置的第一偏移范围内时，表示与该运动矢量相对应的关联全景图像不满足上述实施例中的第一预设条件。
需要说明的是，关联全景图像为在待填充全景图像所对应的获取时间之前的预设时间段内(预设时间段可以根据实际需要进行设置)获取的全景图像(可能不止一个)；优选地，关联全景图像至少包括待填充全景图像的前一帧全景图像，从关联全景图像中选择出的满足上述实施例中的第一预设条件的第一填充全景图像可能不止一帧。
在另一个优选实施例中，所述根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，具体包括：
至少根据实时获取的车辆的四轮轮速脉冲信号、方向盘转角、转向轮横摆角和运动方向分别计算每一所述关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量。
需要说明的是，车辆的车身运动信息至少包括车辆的四轮轮速脉冲信号、方向盘转角、转向轮横摆角和运动方向，这些信息可以通过车辆的实际行驶状态实时采集获取，根据这些信息可以计算获得车辆在不同全景图像上所对应的运动距离和偏移角度。
结合图3所示，是本发明提供的一种车辆全景图像盲区消除方法的步骤S12的一个优选实施例的具体流程图，所述分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算，具体包括步骤S1201至步骤S1202：
步骤S1201、对于每一所述第一填充全景图像，根据所述第一填充全景图像的像素栅格对所述第一填充全景图像进行若干次位移旋转，相应获得若干个旋转后的第一填充全景图像；
步骤S1202、在预设的搜索区域内，根据全景图像的像素信息分别对每一所述旋转后的第一填充全景图像与所述待填充全景图像进行熵差计算；其中，所述搜索区域由预设的像素栅格组成。
具体的，对于每一个第一填充全景图像，根据该第一填充全景图像的像素栅格对该第一填充全景图像进行若干次位移旋转，其中，具体旋转次数以及每一次旋转对应的旋转矢量(旋转矢量具体指旋转的像素栅格数量和旋转方向)可以根据实际需要进行设置，经过每一次位移旋转之后均可以对应获得一个旋转后的第一填充全景图像，则相应获得若干个旋转后的第一填充全景图像；对于旋转获得的每一个旋转后的第一填充全景图像，在预先设置的搜索区域内，根据该旋转后的第一填充全景图像的像素信息和待填充全景图像的像素信息对该旋转后的第一填充全景图像与待填充全景图像进行熵差计算。
需要说明的是，搜索区域由预先设置的像素栅格组成，可以以某固定像素为中心，定义由3*3或5*5等范围内的相邻像素栅格组成搜索区域，确定搜索区域后，以全景图像的像素栅格为单位，对任意一个第一填充全景图像进行若干次图像的像素级的位移旋转，例如，以搜索区域的中心像素栅格为基准，向左移动一个像素栅格或向右移动两个像素栅格(具体的移动方向以及移动的栅格数可以根据实际需要进行设置)，然后根据相应的像素信息分别对每一次旋转后的第一填充全景图像与待填充全景图像进行熵差计算，获得的若干个旋转后的第一填充全景图像所对应的若干个熵差的显示效果如图4所示，图中的圆形区域表示搜索区域，以圆心O处的像素栅格为中心，并定义了由5*5范围内的相邻像素栅格组成该搜索区域，其中，每一个像素栅格均表示一个旋转后的第一填充全景图像与待填充全景图像的熵差，像素栅格的位置与旋转后的第一填充全景图像在旋转时相应的旋转矢量相对应，像素栅格的颜色深浅表示了旋转后的第一填充全景图像与待填充全景图像的熵差的大小，颜色越浅，则表明熵差越小；例如，第一填充全景图像向左移动一个像素栅格，相应获得的熵差显示为中心像素栅格O左边的第一个像素栅格A。
在又一个优选实施例中，所述根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像，具体包括：
找出若干个所述旋转后的第一填充全景图像与所述待填充全景图像的所有熵差中的最小熵差；
当所述最小熵差在所述阈值范围内时，将与所述最小熵差对应的所述旋转后的第一填充全景图像作为所述第二填充全景图像。
具体的，结合上述实施例，对于任意一个第一填充全景图像，进行若干次位移旋转并分别计算若干个旋转后的第一填充全景图像与待填充全景图像之间的熵差后，相应获得若干个熵差，找出这若干个熵差中的最小熵差，并将该最小熵差与预先设置的阈值范围进行比较，当该最小熵差在预先设置的阈值范围内时，将与该最小熵差相对应的旋转后的第一填充全景图像作为满足上述实施例中的第二预设条件的第二填充全景图像。
例如，结合图4所示，图中像素栅格B为熵谷，颜色最浅，表示此处的熵差为最小熵差，假设该最小熵差在预先设置的阈值范围内，则将该位置B处所对应的旋转后的第一填充全景图像作为第二填充全景图像。
可以理解的，当上述最小熵差不在预先设置的阈值范围内时，表示若干个旋转后的第一填充全景图像均不满足上述实施例中的第二预设条件。
需要说明的是，在根据熵差获取待填充全景图像的第二填充全景图像时，即使某一个第一填充全景图像所对应的所有旋转后的第一填充全景图像均不满足上述实施例中的第二预设条件，只能说明根据该第一填充全景图像无法获取第二填充全景图像，还可以根据其他第一填充全景图像获取第二填充全景图像，由于第一填充全景图像可能不止一个，相应获取的第二填充全景图像也可能不止一个。
本发明实施例所提供的一种车辆全景图像盲区消除方法，由于获取车身运动信息以及计算运动矢量可能存在误差，导致获取到的第一填充全景图像与待填充全景图像的匹配准确度不高，通过对旋转后的第一填充全景图像与待填充全景图像进行熵差计算，从而根据熵差获取第二填充全景图像，可以提高获得的填充全景图像与待填充全景图像的匹配准确度，优化填充效果。
在又一个优选实施例中，所述至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像，具体包括：
根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量、所述第二填充全景图像在旋转时相应的旋转矢量，确定所述待填充全景图像的盲区在所述第二填充全景图像上对应的位置区域；
根据所述位置区域在所述第二填充全景图像上获取所述盲区填充图像。
具体的，结合上述实施例，对于任意一个第二填充全景图像，基于待填充全景图像，均有一个对应的计算获得的运动矢量和旋转矢量(对应于上述实施例中的旋转后的第一填充全景图像)，根据该第二填充全景图像所对应的运动矢量和旋转矢量，可以确定待填充全景图像的盲区在该第二填充全景图像上所对应的位置区域，则根据确定的位置区域可以在该第二填充全景图像上获取待填充全景图像的盲区填充图像，同理，在每一个第二填充全景图像上均可以获取待填充全景图像的盲区填充图像，从而根据获取的所有的盲区填充图像对待填充全景图像的盲区进行填充，以消除待填充全景图像上的盲区。
在又一个优选实施例中，所述方法还包括：
获取摄像头拍摄的图像；其中，所述摄像头至少包括四个，分别安装在车辆的四角位置；
分别根据每个所述摄像头的参数相应对获取到的图像进行矫正处理；
根据车身参数和全景标定参数对矫正后的图像进行图像拼接，获得所述全景图像。
具体的，获取各个摄像头拍摄的图像，并分别根据每个摄像头的内外参数相应对获取到的图像进行矫正处理(例如摄像头鱼眼矫正、图像畸变矫正等)，结合车辆的车身参数和全景标定参数对矫正后的图像进行图像拼接，从而获得环视360°的全景图像。
本发明实施例还提供了一种车辆全景图像盲区消除装置，能够实现上述任一实施例所述的车辆全景图像盲区消除方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的车辆全景图像盲区消除方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图5所示，是本发明提供的一种车辆全景图像盲区消除装置的一个优选实施例的结构框图，所述装置包括：
第一填充全景图像获取模块11，用于根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
熵差计算模块12，用于分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
第二填充全景图像获取模块13，用于根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
盲区填充图像获取模块14，用于至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；以及，
盲区填充模块15，用于用于根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
优选地，所述第一填充全景图像获取模块具体包括：
运动矢量计算单元，用于根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量；其中，每一所述关联全景图像为在所述待填充全景图像对应的获取时间之前获取的全景图像；以及，
第一填充全景图像获取单元，用于当所述运动矢量在所述偏移范围内时，将与所述运动矢量对应的所述关联全景图像作为所述第一填充全景图像。
优选地，所述运动矢量计算单元具体用于：
至少根据实时获取的车辆的四轮轮速脉冲信号、方向盘转角、转向轮横摆角和运动方向分别计算每一所述关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量。
优选地，所述熵差计算模块具体包括：
位移旋转单元，用于对于每一所述第一填充全景图像，根据所述第一填充全景图像的像素栅格对所述第一填充全景图像进行若干次位移旋转，相应获得若干个旋转后的第一填充全景图像；以及，
熵差计算单元，用于在预设的搜索区域内，根据全景图像的像素信息分别对每一所述旋转后的第一填充全景图像与所述待填充全景图像进行熵差计算；其中，所述搜索区域由预设的像素栅格组成。
优选地，所述第二填充全景图像获取模块具体包括：
最小熵差获取单元，用于找出若干个所述旋转后的第一填充全景图像与所述待填充全景图像的所有熵差中的最小熵差；以及，
第二填充全景图像获取单元，用于当所述最小熵差在所述阈值范围内时，将与所述最小熵差对应的所述旋转后的第一填充全景图像作为所述第二填充全景图像。
优选地，所述盲区填充图像获取模块具体包括：
盲区位置区域获取单元，用于根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量、所述第二填充全景图像在旋转时相应的旋转矢量，确定所述待填充全景图像的盲区在所述第二填充全景图像上对应的位置区域；以及，
盲区填充图像获取单元，用于根据所述位置区域在所述第二填充全景图像上获取所述盲区填充图像。
优选地，所述装置还包括：
摄像头图像获取单元，用于获取摄像头拍摄的图像；其中，所述摄像头至少包括四个，分别安装在车辆的四角位置；
图像矫正单元，用于分别根据每个所述摄像头的参数相应对获取到的图像进行矫正处理；以及，
全景图像获取单元，用于根据车身参数和全景标定参数对矫正后的图像进行图像拼接，获得所述全景图像。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的车辆全景图像盲区消除方法。
本发明实施例还提供了一种终端设备，参见图6所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的车辆全景图像盲区消除方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图6结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种车辆全景图像盲区消除方法、装置、计算机可读存储介质及终端设备，根据车身运动信息获取满足条件的第一填充全景图像，根据每一个第一填充全景图像与待填充全景图像之间的熵差获取满足条件的第二填充全景图像，再根据第二填充全景图像上的车辆与待填充全景图像上的车辆之间的运动矢量在第二填充全景图像上获取相应的盲区填充图像对待填充全景图像的盲区进行填充，融合了车辆的车身运动信息，从而有效消除了车辆四角及车底盲区，为驾驶员提供全方位的视野辅助，并优化了显示效果，提升了驾驶员观测全景图像时的视觉体验。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种车辆全景图像盲区消除方法，其特征在于，包括：
根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；
根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
2.如权利要求1所述的车辆全景图像盲区消除方法，其特征在于，所述根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像，具体包括：
根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量；其中，每一所述关联全景图像为在所述待填充全景图像对应的获取时间之前获取的全景图像；
当所述运动矢量在所述偏移范围内时，将与所述运动矢量对应的所述关联全景图像作为所述第一填充全景图像。
3.如权利要求2所述的车辆全景图像盲区消除方法，其特征在于，所述根据所述车身运动信息分别计算每一关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，具体包括：
至少根据实时获取的车辆的四轮轮速脉冲信号、方向盘转角、转向轮横摆角和运动方向分别计算每一所述关联全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量。
4.如权利要求1所述的车辆全景图像盲区消除方法，其特征在于，所述分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算，具体包括：
对于每一所述第一填充全景图像，根据所述第一填充全景图像的像素栅格对所述第一填充全景图像进行若干次位移旋转，相应获得若干个旋转后的第一填充全景图像；
在预设的搜索区域内，根据全景图像的像素信息分别对每一所述旋转后的第一填充全景图像与所述待填充全景图像进行熵差计算；其中，所述搜索区域由预设的像素栅格组成。
5.如权利要求4所述的车辆全景图像盲区消除方法，其特征在于，所述根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像，具体包括：
找出若干个所述旋转后的第一填充全景图像与所述待填充全景图像的所有熵差中的最小熵差；
当所述最小熵差在所述阈值范围内时，将与所述最小熵差对应的所述旋转后的第一填充全景图像作为所述第二填充全景图像。
6.如权利要求4或5所述的车辆全景图像盲区消除方法，其特征在于，所述至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像，具体包括：
根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量、所述第二填充全景图像在旋转时相应的旋转矢量，确定所述待填充全景图像的盲区在所述第二填充全景图像上对应的位置区域；
根据所述位置区域在所述第二填充全景图像上获取所述盲区填充图像。
7.如权利要求1～5任一项所述的车辆全景图像盲区消除方法，其特征在于，所述方法还包括：
获取摄像头拍摄的图像；其中，所述摄像头至少包括四个，分别安装在车辆的四角位置；
分别根据每个所述摄像头的参数相应对获取到的图像进行矫正处理；
根据车身参数和全景标定参数对矫正后的图像进行图像拼接，获得所述全景图像。
8.一种车辆全景图像盲区消除装置，其特征在于，包括：
第一填充全景图像获取模块，用于根据车辆的车身运动信息获取待填充全景图像的第一填充全景图像；其中，每一所述第一填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量在预设的偏移范围内；所述运动矢量包括车辆的运动距离和偏移角度；
熵差计算模块，用于分别对每一所述第一填充全景图像与所述待填充全景图像进行熵差计算；
第二填充全景图像获取模块，用于根据计算获得的熵差确定所述待填充全景图像的第二填充全景图像；其中，每一所述第二填充全景图像与所述待填充全景图像的熵差在预设的阈值范围内；
盲区填充图像获取模块，用于至少根据所述第二填充全景图像上的车辆与所述待填充全景图像上的车辆之间的运动矢量，在所述第二填充全景图像上获取所述待填充全景图像的盲区填充图像；以及，
盲区填充模块，用于根据所述盲区填充图像对所述待填充全景图像的盲区进行填充。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7中任一项所述的车辆全景图像盲区消除方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1至7中任一项所述的车辆全景图像盲区消除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811321821.XA CN111160070A (zh) | 2018-11-07 | 2018-11-07 | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811321821.XA CN111160070A (zh) | 2018-11-07 | 2018-11-07 | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160070A true CN111160070A (zh) | 2020-05-15 |
Family
ID=70554693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811321821.XA Pending CN111160070A (zh) | 2018-11-07 | 2018-11-07 | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160070A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614050A (zh) * | 2020-12-01 | 2021-04-06 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车车底路面图像获取装置及方法 |
| CN113228135A (zh) * | 2021-03-29 | 2021-08-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
| CN113516733A (zh) * | 2021-05-21 | 2021-10-19 | 北京易航远智科技有限公司 | 一种填充车底盲区的方法和系统 |
| CN113935942A (zh) * | 2021-09-02 | 2022-01-14 | 同致电子科技（厦门）有限公司 | 一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品 |
| CN114862989A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种全景环视图像的盲区填充方法与装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8908054B1 (en) * | 2011-04-28 | 2014-12-09 | Rockwell Collins, Inc. | Optics apparatus for hands-free focus |
| CN104331872A (zh) * | 2014-11-26 | 2015-02-04 | 中测新图(北京)遥感技术有限责任公司 | 图像拼接方法 |
| CN107274342A (zh) * | 2017-05-22 | 2017-10-20 | 纵目科技（上海）股份有限公司 | 一种车底盲区填充方法及系统、存储介质、终端设备 |
-
2018
- 2018-11-07 CN CN201811321821.XA patent/CN111160070A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8908054B1 (en) * | 2011-04-28 | 2014-12-09 | Rockwell Collins, Inc. | Optics apparatus for hands-free focus |
| CN104331872A (zh) * | 2014-11-26 | 2015-02-04 | 中测新图(北京)遥感技术有限责任公司 | 图像拼接方法 |
| CN107274342A (zh) * | 2017-05-22 | 2017-10-20 | 纵目科技（上海）股份有限公司 | 一种车底盲区填充方法及系统、存储介质、终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 夏倩等: ""基于局部熵差的全景图实现技术研究"", 《第三届和谐人机环境联合学术会议（HHME2007）论文集》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614050A (zh) * | 2020-12-01 | 2021-04-06 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车车底路面图像获取装置及方法 |
| CN112614050B (zh) * | 2020-12-01 | 2024-03-22 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车车底路面图像获取装置及方法 |
| CN113228135A (zh) * | 2021-03-29 | 2021-08-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
| WO2022204854A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
| CN113516733A (zh) * | 2021-05-21 | 2021-10-19 | 北京易航远智科技有限公司 | 一种填充车底盲区的方法和系统 |
| CN113516733B (zh) * | 2021-05-21 | 2024-05-17 | 北京易航远智科技有限公司 | 一种填充车底盲区的方法和系统 |
| CN113935942A (zh) * | 2021-09-02 | 2022-01-14 | 同致电子科技（厦门）有限公司 | 一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品 |
| CN114862989A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种全景环视图像的盲区填充方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
| CN112329552B (zh) | 基于汽车的障碍物检测方法及装置 | |
| US9986173B2 (en) | Surround-view camera system (VPM) online calibration | |
| US11003920B2 (en) | Detection and planar representation of three dimensional lanes in a road scene | |
| US20140085409A1 (en) | Wide fov camera image calibration and de-warping | |
| JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
| CN110751598B (zh) | 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 | |
| CN108376384B (zh) | 视差图的矫正方法、装置及存储介质 | |
| US11055541B2 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
| US20230109473A1 (en) | Vehicle, electronic apparatus, and control method thereof | |
| CN110719411A (zh) | 车辆的全景环视图像生成方法及相关设备 | |
| WO2018198512A1 (ja) | 駐車支援装置 | |
| WO2016131587A1 (en) | Method and device for stabilization of a surround view image | |
| EP3002709A1 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
| CN113362232A (zh) | 车辆全景环视图像生成方法和系统 | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| CN113808013A (zh) | 生成鸟瞰视点图像的方法及装置 | |
| JP2018077713A (ja) | 区画線検出システム | |
| CN116101174A (zh) | 车辆的碰撞提醒方法、装置、车辆及存储介质 | |
| CN114312577B (zh) | 一种车辆底盘透视方法、装置及电子设备 | |
| CN113066158A (zh) | 一种车载环视方法及装置 | |
| CN114290995B (zh) | 透明a柱的实现方法、装置、汽车及介质 | |
| CN113646769A (zh) | 用于图像归一化的系统和方法 | |
| US10936885B2 (en) | Systems and methods of processing an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |