CN113449582A - 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 - Google Patents
一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 Download PDFInfo
- Publication number
- CN113449582A CN113449582A CN202110240601.XA CN202110240601A CN113449582A CN 113449582 A CN113449582 A CN 113449582A CN 202110240601 A CN202110240601 A CN 202110240601A CN 113449582 A CN113449582 A CN 113449582A
- Authority
- CN
- China
- Prior art keywords
- top view
- current frame
- transformation matrix
- vehicle bottom
- dead zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004590 computer program Methods 0.000 title abstract description 5
- 230000009466 transformation Effects 0.000 claims abstract description 128
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000007499 fusion processing Methods 0.000 claims description 31
- 238000009499 grossing Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品，其中方法包括图像获取步骤，获取包含车底盲区的全景环视2D俯视图；系列变换矩阵计算步骤，计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域；车底盲区填充步骤，利用系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。本发明实现了车底透明化处理，从而实现真正意义上的全景环视的驾驶辅助功能。
Description
技术领域
本发明涉及车辆辅助驾驶技术领域，具体涉及一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品。
背景技术
近年来，汽车在人们的日常工作和生活中起到越来越重要的作用。然而，汽车驾驶操作需要经过专门的技术培训才能掌握，且在复杂的道路环境上驾驶汽车需要驾驶员不仅有娴熟的驾驶技术还需要高度集中注意力才行，这不仅降低了汽车驾驶的安全性，也提高了汽车驾驶的门槛。
在汽车行业降低汽车驾驶的门槛，提高安全性和舒适度的过程中，车载电子系统逐步发展出高级辅助驾驶系统（Advanced Driver Assistance System ADAS），该系统引入了影像技术，尤其是目前的全景环视影像系统。由分布安装在车身四周的摄像头所组成的全景环视影像系统，能够将同一时刻采集到的车辆四周的视频影像进行分析和处理，得到车身四周360度3D立体影像或2D鸟瞰图，为驾驶员掌握周边环境提供了极大的便利。
然而，当前的360度全景环视影像系统仍存在无法感知车底盲区的不足。近年来越来越多的新闻报道，一些不熟练的驾驶员，在汽车泊出或泊入的时候，对于矮小的儿童被卷入车底后还浑然不觉，造成悲惨的交通事故。由此可见车底状况显示的重要性，在汽车行驶中应同步反馈车底状况，达到更高的驾驶安全要求。
发明内容
针对现有技术存在的不足和缺陷，本发明的目的在于提供一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品，其通过对车底盲区进行填充，实现车底透明化处理，从而实现真正意义上的全景环视的驾驶辅助功能。
为实现上述目的，本发明采用的技术方案是：
一种车底盲区填充方法，其包括以下步骤：
图像获取步骤，获取包含车底盲区的全景环视2D俯视图；
系列变换矩阵计算步骤，计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域；
车底盲区填充步骤，利用系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。
所述系列变换矩阵计算步骤具体如下：
获取当前帧和前第n帧的车身位姿；
利用车身位姿计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
对变换矩阵H1进行融合处理，得到系列变换矩阵H。
所述系列变换矩阵计算步骤具体如下：
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
对变换矩阵H2进行融合处理，得到系列变换矩阵H。
所述系列变换矩阵计算步骤具体如下：
获取当前帧和前第n帧的车身位姿；
利用车身位姿轨迹计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
所述车底盲区填充步骤中，对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
一种车底盲区填充装置，其包括
图像获取模块，用于获取包含车底盲区的全景环视2D俯视图；
系列变换矩阵计算模块，用于计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域；
车底盲区填充模块，用于根据系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，还用于将映射后的坐标像素值进行插值拟合，返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。
所述系列变换矩阵计算模块包括
第一变换矩阵计算单元，用于获取当前帧和前第n帧的车身位姿；并利用车身位姿，计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
融合处理单元，用于对变换矩阵H1进行融合处理，得到系列变换矩阵H。
所述系列变换矩阵计算模块包括
第二变换矩阵计算单元，用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
融合处理单元，用于对变换矩阵H2进行融合处理，得到系列变换矩阵H。
所述系列变换矩阵模块包括
第一变换矩阵计算单元，用于获取当前帧和前第n帧的车身位姿；并利用车身位姿轨迹计算当前帧与前第n帧之间的相对运动信息，然后利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
第二变换矩阵计算单元，用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
融合处理单元，用于将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
所述车底盲区填充模块还用于对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车底盲区填充方法。
一种计算机软件程序产品，所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的车底盲区填充方法。
一种终端设备，包括处理器及存储器，所述存储器用于存储有指令；
所述处理器用于执行所述存储器存储的指令，以使所述终端设备执行如上所述的车底盲区填充方法。
采用上述方案后，本发明利用当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，并返回车底盲区相应融合的像素，填充至当前帧俯视图中，实现了车底透明化处理，从而实现真正意义上的全景环视的驾驶辅助功能。
此外，本发明在获取车底盲区图像时，将当前帧的盲区像素映射到前第n帧的俯视图所选取的盲区填充像素，并不区分盲区与非盲区，在减小方法复杂度的同时，既扩大了应用范围，又可以提高填充区域的平滑度。
附图说明
图1为本发明的方法流程图；
图2为本发明车底盲区填充过程示意图。
具体实施方式
如图1所示，本发明揭示了一种车底盲区填充方法，其包括以下步骤：
步骤1、获取包含车底盲区的全景环视2D俯视图。
本实施例利用车辆的360°全景环视影像系统生成全景环视2D俯视图。具体地，由安装在车辆四周的多路摄像头获取到的视频流，输入到车载360°全景环视影像系统中进行预处理，生成包含车底盲区的全景环视2D俯视图。由于360°全景环视影像系统属于车辆已装备的设备，所以本实施例无需额外安装设备，从而降低成本。
步骤2、计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域。
对于系列变换矩阵H的计算，本发明提供了以下三种实施例。
第一种系列变换矩阵H的计算如下：
首先，获取当前帧和前第n帧的车身位姿。具体地，对于当前帧和前第n帧图像，由车轮脉冲、轮速、档位、方向盘转角、惯导等车身信息计算出相应的车身位姿（即车身位置坐标和航向角）。然后采用适当的滤波器（例如均值滤波器、卡尔曼滤波器等）进行车身位姿的平滑滤波。
然后，利用车身位姿计算当前帧与前第n帧之间的相对运动信息（即相对位移和航向角偏转），并利用该相对运动信息（即相对位移和航向角偏转）计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1。
最后，对变换矩阵H1进行融合处理，即得到系列变换矩阵H。
本实施例中，融合处理是指将变换矩阵与四周实际场景变化进行融合。
第二种系列变换矩阵H的计算如下：
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2。
本实施例中，当前帧与前第n帧的图像匹配可以采用模板匹配、特征点匹配、纹理匹配等匹配方法。
对变换矩阵H2进行融合处理，得到系列变换矩阵H。
第三种系列变换矩阵H的计算是将第一种和第二种计算方式结合在一起，利用变换矩阵H1和变换矩阵H2结合算出系列变换矩阵H。具体如下：
计算变换矩阵H1：获取当前帧和前第n帧的车身位姿。具体地，对于当前帧和前第n帧图像，由车轮脉冲、轮速、档位、方向盘转角、惯导等车身信息计算出相应的车身位姿（即车身位置坐标和航向角）。然后采用适当的滤波器（例如均值滤波器、卡尔曼滤波器等）进行车身位姿的平滑滤波。
然后，利用车身位姿计算当前帧与前第n帧之间的相对运动信息（即相对位移和航向角偏转），并利用该相对运动信息（即相对位移和航向角偏转）计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1。
计算变换矩阵H2：
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配（采用模板匹配、特征点匹配、纹理匹配等匹配方法），计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2。
最后，将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
本实施例中，车辆行驶过程中，基于四周实际场景变化，动态选择合适的变换矩阵H。选择的策略方程（加权融合）为：H=(1-w)*H1+w*H2， 当实时侦测的场景满足以下组合条件时： （a） 用于图像匹配的特征数量达到一定阈值且在车身盲区四周分布足够均匀； （b）所计算出的H2矩阵分量满足二维平面的正交归一性； （c）H2与H1的偏差在一定的阈值范围内；
则 w = 1；否则 w = 0。 上述三种计算方式比较来说，第三种方式计算出的系列矩阵H的准确性会更准确。而在第三种计算方式中，若计算变换矩阵H2的过程中，图像匹配结果良好，也可以仅用H2计算系列变换矩阵H。
步骤3、利用系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。
图2为车底盲区填充过程示意图，图中，A0为当前帧全景环视2D俯视图可视区域，B0为当前帧全景环视2D俯视图车底盲区；An为前第n帧全景环视2D俯视图可视区域，Bn为前第n帧全景环视2D俯视图已处理过的车底盲区。将B0对应的像素坐标映射到前第n帧已处理过的俯视图中，并获取相应像素值即可得到当前帧需填充的车底盲区图像。
为了提高车底盲区填充的效果，本实施例在对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
上述获得的车底盲区填充结果可以返回到360°全景环视影像系统，用于显示无盲区下的全景2D俯视图、3D环视图以及多视角侧视图。
以上方法利用当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，并返回车底盲区相应融合的像素，填充至当前帧俯视图中。进行车底透明化处理，从而实现真正意义上的全景环视的驾驶辅助功能。
此外，本发明在获取车底盲区图像时，将当前帧的盲区像素映射到前第n帧的俯视图所选取的盲区填充像素，并不区分盲区与非盲区，在减小方法复杂度的同时，既扩大了应用范围，又可以提高填充区域的平滑度。
基于同一发明构思，本发明还揭示了一种车底盲区填充装置，其包括：
图像获取模块，用于获取包含车底盲区的全景环视2D俯视图。本实施例中图像获取模块连接360°全景环视影像系统，从360°全景环视影像系统生成全景环视2D俯视图，并直接从该系统中调取俯视图。
系列变换矩阵计算模块，用于计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域。
车底盲区填充模块，用于根据系列变换矩阵，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，还用于将映射后的坐标像素值进行插值拟合，并返回车底盲区相应融合的像素，填充至当前帧俯视图中。
为了提高填充效果，车底盲区填充模块还用于对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
本发明中，上述系列变换矩阵计算模块有以下几种实施方式。
第一种实施方式为：系列变换矩阵计算模块包括第一变换矩阵计算单元和融合处理单元。其中，第一变换矩阵计算单元用于获取当前帧和前第n帧的车身位姿；并利用车身位姿，计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1。融合处理单元，用于对变换矩阵H1进行融合处理，得到系列变换矩阵H。
第二种实施方式为：系列变换矩阵计算模块包括第二变换矩阵计算单元和融合处理单元。其中，第二变换矩阵计算单元用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2。融合处理单元用于对变换矩阵H2进行融合处理，得到系列变换矩阵H。
第三种实施方式为：系列变换矩阵计算模块包括第一变换矩阵计算单元、第二变换矩阵计算单元和融合处理单元。其中，第一变换矩阵计算单元用于获取当前帧和前第n帧的车身位姿；并利用车身位姿轨迹计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1。第二变换矩阵计算单元用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2。融合处理单元用于将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
基于同一发明构思，本发明还揭示了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车底盲区填充方法。
本发明还揭示了一种计算机软件程序产品，该计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如上所述的车底盲区填充方法。
本发明还揭示了一种终端设备，包括处理器及存储器，其中，所述存储器用于存储有指令；所述处理器用于执行所述存储器存储的指令，以使所述终端设备执行如上所述的车底盲区填充方法。
综上，本发明的关键在于，本发明利用当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，并返回车底盲区相应融合的像素，填充至当前帧俯视图中，从而实现了车底透明化处理，实现真正意义上的全景环视的驾驶辅助功能。
此外，本发明在获取车底盲区图像时，将当前帧的盲区像素映射到前第n帧的俯视图所选取的盲区填充像素，并不区分盲区与非盲区，在减小方法复杂度的同时，既扩大了应用范围，又可以提高填充区域的平滑度。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (13)
1.一种车底盲区填充方法，其特征在于：包括以下步骤：
图像获取步骤，获取包含车底盲区的全景环视2D俯视图；
系列变换矩阵计算步骤，计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域；
车底盲区填充步骤，利用系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。
2.根据权利要求1所述的一种车底盲区填充方法，其特征在于：所述系列变换矩阵计算步骤具体如下：
获取当前帧和前第n帧的车身位姿；
利用车身位姿计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
对变换矩阵H1进行融合处理，得到系列变换矩阵H。
3.根据权利要求1所述的一种车底盲区填充方法，其特征在于：所述系列变换矩阵计算步骤具体如下：
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
对变换矩阵H2进行融合处理，得到系列变换矩阵H。
4.根据权利要求1所述的一种车底盲区填充方法，其特征在于：所述系列变换矩阵计算步骤具体如下：
获取当前帧和前第n帧的车身位姿；
利用车身位姿轨迹计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
5.根据权利要求1-4任一所述的一种车底盲区填充方法，其特征在于：所述车底盲区填充步骤中，对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
6.一种车底盲区填充装置，其特征在于：包括
图像获取模块，用于获取包含车底盲区的全景环视2D俯视图；
系列变换矩阵计算模块，用于计算当前帧俯视图与前第n帧已处理过的俯视图之间的系列变换矩阵H，其中，当前帧与前第n帧存在重叠区域；
车底盲区填充模块，用于根据系列变换矩阵H，将当前帧俯视图中的车底盲区的像素坐标映射到前第n帧已处理过的俯视图的像素坐标上，还用于将映射后的坐标像素值进行插值拟合，返回车底盲区相应融合的像素，并将其填充至当前帧俯视图中。
7.根据权利要求6所述的一种车底盲区填充装置，其特征在于：所述系列变换矩阵计算模块包括
第一变换矩阵计算单元，用于获取当前帧和前第n帧的车身位姿；并利用车身位姿，计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
融合处理单元，用于对变换矩阵H1进行融合处理，得到系列变换矩阵H。
8.根据权利要求6所述的一种车底盲区填充装置，其特征在于：所述系列变换矩阵计算模块包括
第二变换矩阵计算单元，用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
融合处理单元，用于对变换矩阵H2进行融合处理，得到系列变换矩阵H。
9.根据权利要求6所述的一种车底盲区填充装置，其特征在于：
所述系列变换矩阵模块包括
第一变换矩阵计算单元，用于获取当前帧和前第n帧的车身位姿；并利用车身位姿轨迹计算当前帧与前第n帧之间的相对运动信息，并利用该相对运动信息计算当前帧俯视图到前第n帧已处理过的俯视图的相对运动信息，得到变换矩阵H1；
第二变换矩阵计算单元，用于对当前帧俯视图与前第n帧已处理过的俯视图进行图像匹配，计算出当前帧俯视图到前第n帧已处理过的俯视图之间的相对运动信息，得到变换矩阵H2；
融合处理单元，用于将变换矩阵H1和变换矩阵H2进行加权融合处理，得到系列变换矩阵H。
10.根据权利要求6-9任一所述的一种车底盲区填充装置，其特征在于：所述车底盲区填充模块还用于对返回的车底盲区进行平滑处理，以及在当前帧俯视图的车底盲区填充完成后，对当前帧俯视图的车底盲区边界进行平滑处理。
11.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-5任一项所述的车底盲区填充方法。
12.一种计算机软件程序产品，其特征在于：所述计算机软件程序产品在终端设备上运行时，使得所述终端设备执行如权利要求1-5任一所述的车底盲区填充方法。
13.一种终端设备，包括处理器及存储器，其特征在于：
所述存储器用于存储指令；
所述处理器用于执行所述存储器存储的指令，以使所述终端设备执行如权利要求1-5任一所述的车底盲区填充方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110240601.XA CN113449582A (zh) | 2021-03-04 | 2021-03-04 | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110240601.XA CN113449582A (zh) | 2021-03-04 | 2021-03-04 | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113449582A true CN113449582A (zh) | 2021-09-28 |
Family
ID=77809038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110240601.XA Pending CN113449582A (zh) | 2021-03-04 | 2021-03-04 | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449582A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862989A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种全景环视图像的盲区填充方法与装置 |
| CN115861080A (zh) * | 2023-02-24 | 2023-03-28 | 杭州枕石智能科技有限公司 | 环视透明车底图像的拼接方法和终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473774A (zh) * | 2013-09-09 | 2013-12-25 | 长安大学 | 一种基于路面图像特征匹配的车辆定位方法 |
| US20170084001A1 (en) * | 2015-09-22 | 2017-03-23 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| CN110636263A (zh) * | 2019-09-20 | 2019-12-31 | 黑芝麻智能科技(上海)有限公司 | 全景环视图生成方法、车载设备及车载系统 |
| CN110906923A (zh) * | 2019-11-28 | 2020-03-24 | 重庆长安汽车股份有限公司 | 车载多传感器紧耦合融合定位方法、系统、存储介质及车辆 |
| CN112215747A (zh) * | 2019-07-12 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 无车底盲区的车载全景图的生成方法、装置及存储介质 |
-
2021
- 2021-03-04 CN CN202110240601.XA patent/CN113449582A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473774A (zh) * | 2013-09-09 | 2013-12-25 | 长安大学 | 一种基于路面图像特征匹配的车辆定位方法 |
| US20170084001A1 (en) * | 2015-09-22 | 2017-03-23 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| CN112215747A (zh) * | 2019-07-12 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 无车底盲区的车载全景图的生成方法、装置及存储介质 |
| CN110636263A (zh) * | 2019-09-20 | 2019-12-31 | 黑芝麻智能科技(上海)有限公司 | 全景环视图生成方法、车载设备及车载系统 |
| CN110906923A (zh) * | 2019-11-28 | 2020-03-24 | 重庆长安汽车股份有限公司 | 车载多传感器紧耦合融合定位方法、系统、存储介质及车辆 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862989A (zh) * | 2022-05-20 | 2022-08-05 | 远峰科技股份有限公司 | 一种全景环视图像的盲区填充方法与装置 |
| CN115861080A (zh) * | 2023-02-24 | 2023-03-28 | 杭州枕石智能科技有限公司 | 环视透明车底图像的拼接方法和终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107792179B (zh) | 一种基于车载环视系统的泊车引导方法 | |
| Gandhi et al. | Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps | |
| DE102009012435B4 (de) | Vorrichtung und Verfahren zum monokularen Motion-Stereo-basierten Detektieren von freien Parkplätzen | |
| CN111959397B (zh) | 在全景影像中显示车底图像的方法、系统、装置及介质 | |
| CN113449582A (zh) | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 | |
| CN106379237A (zh) | 基于增强现实的车辆换道全过程辅助驾驶系统 | |
| US11380110B1 (en) | Three dimensional traffic sign detection | |
| CN102862531A (zh) | 一种轨迹连续变化的可视泊车辅助系统及其控制方法 | |
| CN106696826A (zh) | 一种基于增强现实的倒车方法、装置及设备 | |
| CN102458923B (zh) | 用于扩展可视区域的方法和设备 | |
| US11227366B2 (en) | Heads up display (HUD) content control system and methodologies | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| JP2004147083A (ja) | 運転支援装置 | |
| CN105774657B (zh) | 一种单摄像头全景倒车影像系统 | |
| CN110126733A (zh) | 一种基于单目摄像头的全景系统及其工作方法 | |
| CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
| US20230406410A1 (en) | Method for displaying an environment of a vehicle having a coupled trailer, computer program, computing device and vehicle | |
| CN117411984A (zh) | 图像的生成方法、装置、自动驾驶装置和车辆 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| CN110733422B (zh) | 一种外后视镜动态轨迹预测方法及系统 | |
| CN113516733B (zh) | 一种填充车底盲区的方法和系统 | |
| CN113935942B (zh) | 一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品 | |
| CN115171384A (zh) | 一种车载显示过程中关键车位置延迟补偿方法及装置 | |
| CN113850881A (zh) | 图像生成方法、装置、设备及可读存储介质 | |
| CN113496601A (zh) | 一种车辆辅助驾驶方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lin Shaofeng Inventor after: Zheng Lifang Inventor after: Wang Baojie Inventor after: Yang Wenqin Inventor after: Lin Caiming Inventor before: Lin Shaofeng Inventor before: Zheng Lifang Inventor before: Wang Baojie Inventor before: Yang Wenqin Inventor before: Lin Caiming |