CN112435167B - 机动车车底路面图像获取装置及方法 - Google Patents

机动车车底路面图像获取装置及方法 Download PDF

Info

Publication number
CN112435167B
CN112435167B CN202011379032.9A CN202011379032A CN112435167B CN 112435167 B CN112435167 B CN 112435167B CN 202011379032 A CN202011379032 A CN 202011379032A CN 112435167 B CN112435167 B CN 112435167B
Authority
CN
China
Prior art keywords
suspected
image
template
coordinate point
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011379032.9A
Other languages
English (en)
Other versions
CN112435167A (zh
Inventor
罗小平
颜良飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Original Assignee
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Longhorn Automotive Electronic Equipment Co Ltd filed Critical Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority to CN202011379032.9A priority Critical patent/CN112435167B/zh
Publication of CN112435167A publication Critical patent/CN112435167A/zh
Application granted granted Critical
Publication of CN112435167B publication Critical patent/CN112435167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种机动车车底路面图像获取装置，所述装置包括初始化模块，从采集的全景视频影像中逐帧提取出俯视视角下的原始图像帧，并保存确定参照图像帧；图像处理模块，用于确定第一待提取图像和第二待提取图像，再提取出的第一灰度图和第二灰度图；模板生成模块，用于估算出机动车的旋转角度阈值，确定模板角度偏移量，获得模板图像；偏移量确定模块，计算出第二灰度图中疑似坐标点对应的疑似角度偏移量，判断疑似区域和对应的模板图像的相似度，确定目标坐标点、目标角度偏移量和目标位置偏移量；图像拼接模块，计算参照图像帧中的匹配区域并拼入当前原始图像帧中的机动车车身的对应位置。本实施例能准确获取机动车车底的路面图像。

Description

机动车车底路面图像获取装置及方法
技术领域
本发明实施例涉及机动车辅助驾驶技术领域，尤其涉及一种机动车车底路面图像获取装置及方法。
背景技术
通常的，在现有的机动车安全驾驶中，为方便用户实时了解机动车周围360度影像，通常在机动车上安装有360全景影像系统，其中，还将机动车整体虚拟为透明状呈现在显示画面中为提高用户的观感，一方面提升了整体的科技感，另一方面，也方便用户查看机动车车底的路面图像，并结合车底的路面图像选择安全的驾驶路线。
然而，由于机动车的车底路面处于机动车的360全景影像系统的视野盲区，无法直接拍摄获得，但是，机动车的俯视视角下的会拍摄到机动车车体周围部分路面的图像，因此，现有的机动车车底路面图像通常首先获取机动车的俯视视角下的当前帧(从第二帧开始，第一帧通常不显示车底路面图像或显示为黑色图像)的前一帧，然后基于图像检测原理计算出机动车的角度偏移量和位置偏移量，最后再根据角度偏移量和位置偏移量从前一帧图像中截取出相应位置(机动车车体周围部分路面)的图像用于当前帧中的车底路面图像的拼接，依次循环，即采用车辆移动前的路面图像(当前帧的前一帧)来拼补车辆移动后被车底盘覆盖的路面图像(当前帧)。但是，现有的这种机动车车底路面图像方法随着机动车的行驶速度的增大，对应计算出的角度偏移量和位置偏移量的准确度会随之降低，导致无法获得准确的机动车车底的路面图像。
发明内容
本发明实施例要解决的技术问题在于，提供一种机动车车底路面图像获取装置，能准确的获取机动车车底的路面图像。
本发明实施例进一步要解决的技术问题在于，提供一种机动车车底路面图像获取方法，能准确的获取机动车车底的路面图像。
为了解决上述技术问题，本发明实施例提供以下技术方案：一种机动车车底路面图像获取装置，包括：
初始化模块，与机动车的摄像装置相连，用于从所述摄像装置采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧；
图像处理模块，与所述初始化模块相连，用于从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
模板生成模块，与所述图像处理模块相连，用于估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像；
偏移量确定模块，与所述模板生成模块和图像处理模块相连，用于计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量；以及
图像拼接模块，与所述偏移量确定模块相连，用于根据所述目标角度偏移量和目标位置偏移量从参照图像帧中计算出与当前原始图像帧中的机动车车身相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧中的机动车车身的对应位置。
进一步的，所述图像处理模块包括：
第一图像获取单元，用于在当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像；
第二图像获取单元，用于根据预定机动车参数和阿克曼转向几何原理在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
灰度图提取单元，用于从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
进一步的，所述模板生成模块包括：
阈值计算单元，用于根据所述预定机动车参数和阿克曼转向几何原理估算出机动车的旋转角度阈值；
分割单元，用于将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
图像旋转单元，用于将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像。
进一步的，所述偏移量确定模块包括：
疑似偏移量计算单元，用于采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量；
对比单元，用于对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应；
判定单元，用于判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点；以及
目标偏移量计算单元，用于将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量。
进一步的，所述预定区域为根据机动车的行驶方向在当前原始图像帧中对应截取于机动车的车头或车尾的预定区域。
另一方面，为了解决上述进一步的技术问题，本发明实施例提供一种机动车车底路面图像获取方法，包括以下步骤：
从机动车的摄像装置采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧；
从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前原始图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像；
计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出原始图像帧相对参照图像帧中机动车的目标位置偏移量；以及
根据所述目标角度偏移量和目标位置偏移量从参照图像帧中计算出与当前原始图像帧中的机动车车身相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧中的机动车车身的对应位置。
进一步的，所述从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前原始图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图具体包括：
在原始图像帧中截取机动车车身上的预定区域作为第一待提取图像；
根据预定机动车参数和阿克曼转向几何原理在参照图像帧中计算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
进一步的，所述估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像具体包括：
根据所述预定机动车参数和阿克曼转向几何原理计算出机动车的旋转角度阈值；
将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像。
进一步的，所述计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量具体包括：
采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量；
对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应；
判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点；
将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量。
进一步的，所述预定区域为根据机动车的行驶方向在当前原始图像帧中对应截取于机动车的车头或车尾的预定区域。
采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例首先通过获得机动车在俯视视角下的原始图像帧和参照图像帧，并估算确定第一待提取图像和第二待提取图像并对应生成第一灰度图和第二灰度图，进一步将第一灰度图进行旋转生成多个模板角度偏移量的模板图像，然后估算出第二灰度图中每个疑似坐标点的疑似偏移角度偏移量后，通过与对应的模板图像进行比较判断，从而确定相似度最大的疑似坐标点为目标坐标点，再根据目标坐标点即可确定出当前原始图像帧相对参照图像帧的目标角度偏移量和目标位置偏移量，最后即可相应的计算出匹配区域作为车底路面图像拼入当前原始图像帧中的机动车车身的对应位置，根据具体的实验测得，在机动车车速较大时也能准确的获取机动车车底的路面图像。
附图说明
图1为本发明机动车车底路面图像获取装置一个可选实施例的结构原理框图。
图2为本发明机动车车底路面图像获取装置一个可选实施例原始图像帧和参照图像帧的原理示意图。
图3为本发明机动车车底路面图像获取装置一个可选实施例模板图像帧的原理示意图。
图4为本发明机动车车底路面图像获取装置一个可选实施例图像处理模块的原理框图。
图5为本发明机动车车底路面图像获取装置一个可选实施例模板生成模块的原理框图。
图6为本发明机动车车底路面图像获取装置一个可选实施例偏移量确定模块的原理框图。
图7为本发明机动车车底路面图像获取方法一个可选实施例的步骤流程图。
图8为本发明机动车车底路面图像获取方法一个可选实施例步骤S2具体的流程图。
图9为本发明机动车车底路面图像获取方法一个可选实施例步骤S3具体的流程图。
图10为本发明机动车车底路面图像获取方法一个可选实施例步骤S4具体的流程图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
如图1至图3所示，本发明一个可选实施例提供一种机动车车底路面图像获取装置1，包括：
初始化模块10，与机动车的摄像装置3相连，用于从所述摄像装置3采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧A；
图像处理模块12，与所述初始化模块10相连，用于从第二帧原始图像帧A开始逐帧处理原始图像帧A，从当前原始图像帧A中截取机动车车身上的预定区域a作为第一待提取图像以及以当前原始图像帧A的相邻前一帧原始图像帧A为参照图像帧，在参照图像帧B中估算出与所述预定区域a的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像b作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
模板生成模块14，与所述图像处理模块12相连，用于估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像M；
偏移量确定模块16，与所述模板生成模块14和图像处理模块12相连，用于计算出所述第二灰度图中每个疑似坐标点相对所述预定区域a的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像M分别一一对应，再判断以疑似坐标点为中心点与所述模板图像M大小相同的疑似区域c和与疑似坐标点对应的模板图像M的相似度，将与所述相似度最大的疑似区域c对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域a的中心点计算出当前原始图像帧A相对参照图像帧B中机动车的目标位置偏移量；以及
图像拼接模块18，与所述偏移量确定模块16相连，用于根据所述目标角度偏移量和目标位置偏移量从参照图像帧B中计算出与当前原始图像帧A中的机动车车身C相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧A中的机动车车身C的对应位置。
本发明实施例首先通过获得机动车在俯视视角下的原始图像帧A和参照图像帧B，并分别从原始图像帧A和参照图像帧B中估算确定第一待提取图像和第二待提取图像并对应生成第一灰度图和第二灰度图，进一步将第一灰度图进行旋转生成多个模板角度偏移量的模板图像M，然后估算出第二灰度图中每个疑似坐标点的疑似偏移角度偏移量后，通过与对应的模板图像M进行比较判断，从而确定相似度最大的疑似坐标点为目标坐标点，再根据目标坐标点即可确定出当前原始图像帧A相对参照图像帧C的目标角度偏移量和目标位置偏移量，最后即可相应的计算出匹配区域作为车底路面图像拼入当前原始图像帧A中的机动车车身的对应位置，根据具体的实验测得，在机动车车速较大时也能准确的获取机动车车底的路面图像。
在本发明一个可选实施例中，如图2和图4所示，所述图像处理模块12包括：
第一图像获取单元121，用于在当前原始图像帧A中截取机动车车身C上的预定区域a作为第一待提取图像；
第二图像获取单元123，用于根据预定机动车参数和阿克曼转向几何原理在参照图像帧B中估算出与所述预定区域a的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像b作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
灰度图提取单元125，用于从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
本实施例通过第一图像获取单元121先从当前原始图像帧A中截取出第一待提取图像，而第二图像获取单元123从参照图像帧B中计算出第二待提取图像，最后灰度图提取单元125再对应提取出的第一灰度图和第二灰度图，能有效的估算出预定区域a的中心点可能对应的各个疑似坐标点。在具体实施时，可以理解的是，当当前方向盘的实际转动方向和实际转动角度确定时，各个疑似坐标点的位置与机动车的车速是一一对应的关系，而通常机动车的全景影像系统仅在预定的车速阈值内才会启动(0-30km/h)，因此本发明实施例中所提及的机动车预设的车速阈值可根据机动车的全景影像系统具体的进行设定。
在本发明一个可选实施例中，如图3和图5所示，所述模板生成模块14包括：
阈值计算单元141，用于根据所述预定机动车参数和阿克曼转向几何原理估算出机动车的旋转角度阈值；
分割单元143，用于将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
图像旋转单元145，用于将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像M。
本实施例首先通过阈值计算单元141根据所述预定机动车参数和阿克曼转向几何原理估算出机动车的旋转角度阈值，然后分割单元143将所述旋转角度阈值等分为多个连续的模板角度偏移量，最后图像旋转单元145对第一灰度图进行旋转获得模板图像M，能高效率的获得与每个模板角度偏移量一一对应的模板图像M，方便后续的模板匹配，同样能有效估算出机动车的旋转角度阈值。在具体实施时，可以理解的是，机动车的旋转角度阈值是指机动车在单位时间内机动车车身可能的角度变化量，同样的，当当前方向盘的实际转动方向和实际转动角度确定时，机动车的旋转角度阈值与机动车的车速也是一一对应的关系；另外，例如计算得出的旋转角度阈值为0-n°，则可以理解的是，各个模板角度偏移量可以是0、1°、2°……n°，当然，为提高模板匹配的精确度，还可以设置更小的模板角度偏移量的间隔。
在本发明一个可选实施例中，如图6所示，所述偏移量确定模块16包括：
疑似偏移量计算单元161，用于采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域a的中心点的疑似角度偏移量；
对比单元163，用于对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像M分别一一对应；
判定单元165，用于判断以疑似坐标点为中心点与所述模板图像M大小相同的疑似区域c和与疑似坐标点对应的模板图像M的相似度，将与所述相似度最大的疑似区域c对应的疑似坐标点确定为目标坐标点；以及
目标偏移量计算单元167，用于将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域a的中心点计算出当前原始图像帧A相对参照图像帧B中机动车的目标位置偏移量。
本实施例首先由疑似偏移量计算单元161采用阿克曼转向几何原理计算出疑似角度偏移量，计算准确度高，再由对比单元163进行模板匹配，将疑似坐标点与模板图像M分别一一对应，进一步判定单元165判断疑似区域c和与疑似坐标点对应的模板图像M的相似度，确定出目标坐标点，最后目标偏移量计算单元167确定出目标角度偏移量和目标位置偏移量，计算过程简单，可有效的减少计算步骤，提高计算效率。
在本发明一个可选实施例中，所述预定区域a为根据机动车的行驶方向在当前原始图像帧A中对应截取于机动车的车头或车尾的预定区域a。本实施例根据机动车的行驶方向在当前原始图像帧A中对应截取于机动车的车头或车尾作为预定区域a，计算获得的目标位置偏移量和目标角度偏移量更加的准确。
另一方面，如图2、图3和图7所示，本发明实施例提供一种机动车车底路面图像获取方法，包括以下步骤：
S1：从机动车的摄像装置采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧A；
S2：从第二帧原始图像帧A开始逐帧处理原始图像帧A，从当前原始图像帧A中截取机动车车身上的预定区域a作为第一待提取图像以及以当前原始图像帧A的相邻前一帧原始图像帧A为参照图像帧，在参照图像帧B中估算出与所述预定区域a的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像b作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
S3：估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像M；
S4：计算出所述第二灰度图中每个疑似坐标点相对所述预定区域a的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像M分别一一对应，再判断以疑似坐标点为中心点与所述模板图像M大小相同的疑似区域c和与疑似坐标点对应的模板图像M的相似度，将与所述相似度最大的疑似区域c对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域a的中心点计算出当前原始图像帧A相对参照图像帧B中机动车的目标位置偏移量；以及
S5：根据所述目标角度偏移量和目标位置偏移量从参照图像帧B中计算出与当前原始图像帧A中的机动车车身C相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧A中的机动车车身C的对应位置。
本发明实施例首先通过获得机动车在俯视视角下的原始图像帧A和参照图像帧B，并分别从当前原始图像帧A和参照图像帧B中估算确定第一待提取图像和第二待提取图像并对应生成第一灰度图和第二灰度图，进一步将第一灰度图进行旋转生成多个模板角度偏移量的模板图像M，然后估算第二灰度图中每个疑似坐标点的疑似偏移角度偏移量后，通过与对应的模板图像M进行比较判断，从而确定相似度最大的疑似坐标点为目标坐标点，再根据目标坐标点即可确定出当前原始图像帧A相对参照图像帧C的目标角度偏移量和目标位置偏移量，最后即可相应的计算出匹配区域作为车底路面图像拼入原始图像帧A中的机动车车身的对应位置，根据具体的实验测得，在机动车车速较大时也能准确的获取机动车车底的路面图像。
在本发明一个可选实施例中，如图2和图8所示，所述步骤S2具体包括：
S21：在当前原始图像帧A中截取机动车车身C上的预定区域a作为第一待提取图像；
S22：根据预定机动车参数和阿克曼转向几何原理在参照图像帧B中计算出与所述预定区域a的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像b作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
S23：从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
本实施例上述通过，先从当前原始图像帧A中截取出第一待提取图像，再从参照图像帧B中计算出第二待提取图像，最后再对应提取出的第一灰度图和第二灰度图，能有效的估算出预定区域a的中心点可能对应的各个疑似坐标点。在具体实施时，可以理解的是，当当前方向盘的实际转动方向和实际转动角度确定时，各个疑似坐标点的位置与机动车的车速是一一对应的关系，而通常机动车的全景影像系统仅在预定的车速阈值内才会启动(0-30km/h)，因此本发明实施例中所提及的机动车预设的车速阈值可根据机动车的全景影像系统具体的进行设定。
在本发明一个可选实施例中，如图3和图9所示，所述步骤S3具体包括：
S31：根据所述预定机动车参数和阿克曼转向几何原理计算出机动车的旋转角度阈值；
S32：将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
S33：将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像M。
本实施例通过上述方法，首先根据所述预定机动车参数和阿克曼转向几何原理计算出机动车的旋转角度阈值，然后将所述旋转角度阈值等分为多个连续的模板角度偏移量，最后对第一灰度图进行旋转获得模板图像M，能高效率的获得与每个模板角度偏移量一一对应的模板图像M，方便后续的模板匹配。在具体实施时，同样的，当当前方向盘的实际转动方向和实际转动角度确定时，机动车的旋转角度阈值与机动车的车速也是一一对应的关系；另外，例如计算得出的旋转角度阈值为0-n°，则可以理解的是，各个模板角度偏移量可以是0、1°、2°……n°，当然，为提高模板匹配的精确度，还可以设置更小的模板角度偏移量的间隔。
在本发明一个可选实施例中，如图10所示，所述步骤S4具体包括：
S41：采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域a的中心点的疑似角度偏移量；
S42：对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像M分别一一对应；
S43：判断以疑似坐标点为中心点与所述模板图像M大小相同的疑似区域c和与疑似坐标点对应的模板图像M的相似度，将与所述相似度最大的疑似区域c对应的疑似坐标点确定为目标坐标点；
S44：将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域a的中心点计算出当前原始图像帧A相对参照图像帧B中机动车的目标位置偏移量。
本实施例通过上述方法，首先采用阿克曼转向几何原理计算出疑似角度偏移量，计算准确度高，再进行模板匹配，将疑似坐标点与模板图像M分别一一对应，进一步判断疑似区域c和与疑似坐标点对应的模板图像M的相似度，确定出目标坐标点，最后确定出目标角度偏移量和目标位置偏移量，计算过程简单，可有效的减少计算步骤，提高计算效率。
在本发明一个可选实施例中，所述预定区域a为根据机动车的行驶方向在当前原始图像帧A中对应截取于机动车的车头或车尾的预定区域a。本实施例根据机动车的行驶方向在当前原始图像帧A中对应截取于机动车的车头或车尾作为预定区域a，计算获得的目标位置偏移量和目标角度偏移量更加的准确。
本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (10)

1.一种机动车车底路面图像获取装置，其特征在于，所述装置包括：
初始化模块，与机动车的摄像装置相连，用于从所述摄像装置采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧；
图像处理模块，与所述初始化模块相连，用于从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前原始图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
模板生成模块，与所述图像处理模块相连，用于估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像；
偏移量确定模块，与所述模板生成模块和图像处理模块相连，用于计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量；以及
图像拼接模块，与所述偏移量确定模块相连，用于根据所述目标角度偏移量和目标位置偏移量从参照图像帧中计算出与当前原始图像帧中的机动车车身相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧中的机动车车身的对应位置。
2.如权利要求1所述的机动车车底路面图像获取装置，其特征在于，所述图像处理模块包括：
第一图像获取单元，用于在当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像；
第二图像获取单元，用于根据预定机动车参数和阿克曼转向几何原理在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
灰度图提取单元，用于从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
3.如权利要求2所述的机动车车底路面图像获取装置，其特征在于，所述模板生成模块包括：
阈值计算单元，用于根据所述预定机动车参数和阿克曼转向几何原理计算出机动车的旋转角度阈值；
分割单元，用于将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
图像旋转单元，用于将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像。
4.如权利要求1所述的机动车车底路面图像获取装置，其特征在于，所述偏移量确定模块包括：
疑似偏移量计算单元，用于采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量；
对比单元，用于对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应；
判定单元，用于判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点；以及
目标偏移量计算单元，用于将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量。
5.如权利要求1所述的机动车车底路面图像获取装置，其特征在于，所述预定区域为根据机动车的行驶方向在当前原始图像帧中对应截取于机动车的车头或车尾的预定区域。
6.一种机动车车底路面图像获取方法，其特征在于，所述方法包括以下步骤：
从机动车的摄像装置采集及传来的全景视频影像中逐帧提取获得机动车在俯视视角下的原始图像帧；
从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前原始图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图；
估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像；
计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量；以及
根据所述目标角度偏移量和目标位置偏移量从参照图像帧中计算出与当前原始图像帧中的机动车车身相对应的匹配区域，并将所述匹配区域作为车底路面图像拼入当前原始图像帧中的机动车车身的对应位置。
7.如权利要求6所述的机动车车底路面图像获取方法，其特征在于，所述从第二帧原始图像帧开始逐帧处理原始图像帧，从当前原始图像帧中截取机动车车身上的预定区域作为第一待提取图像以及以当前原始图像帧的相邻前一帧原始图像帧为参照图像帧，在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，再从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图具体包括：
在原始图像帧中截取机动车车身上的预定区域作为第一待提取图像；
根据预定机动车参数和阿克曼转向几何原理在参照图像帧中估算出与所述预定区域的中心点可能对应的各个疑似坐标点，将各个疑似坐标点集合组成的疑似点集合图像作为第二待提取图像，所述预定机动车参数包括机动车预设的车速阈值、当前方向盘的实际转动方向和实际转动角度；以及
从所述第一待提取图像和第二待提取图像中分别提取出的第一灰度图和第二灰度图。
8.如权利要求7所述的机动车车底路面图像获取方法，其特征在于，所述估算出机动车的旋转角度阈值，将所述旋转角度阈值等分为多个连续的模板角度偏移量，再将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像具体包括：
根据所述预定机动车参数和阿克曼转向几何原理估算出机动车的旋转角度阈值；
将所述旋转角度阈值等分为多个连续的模板角度偏移量；以及
将所述第一灰度图依次按照各个模板角度偏移量分别进行旋转处理以获得与每个模板角度偏移量一一对应的模板图像。
9.如权利要求6所述的机动车车底路面图像获取方法，其特征在于，所述计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量，对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应，再判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点，将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量具体包括：
采用阿克曼转向几何原理计算出所述第二灰度图中每个疑似坐标点相对所述预定区域的中心点的疑似角度偏移量；
对比各个所述疑似角度偏移量和模板角度偏移量，将疑似角度偏移量和模板角度偏移量相同的疑似坐标点与模板图像分别一一对应；
判断以疑似坐标点为中心点与所述模板图像大小相同的疑似区域和与疑似坐标点对应的模板图像的相似度，将与所述相似度最大的疑似区域对应的疑似坐标点确定为目标坐标点；以及
将目标坐标点对应的疑似角度偏移量确定为目标角度偏移量，再根据所述目标坐标点和所述预定区域的中心点计算出当前原始图像帧相对参照图像帧中机动车的目标位置偏移量。
10.如权利要求6所述的机动车车底路面图像获取方法，其特征在于，所述预定区域为根据机动车的行驶方向在当前原始图像帧中对应截取于机动车的车头或车尾的预定区域。
CN202011379032.9A 2020-12-01 2020-12-01 机动车车底路面图像获取装置及方法 Active CN112435167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379032.9A CN112435167B (zh) 2020-12-01 2020-12-01 机动车车底路面图像获取装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379032.9A CN112435167B (zh) 2020-12-01 2020-12-01 机动车车底路面图像获取装置及方法

Publications (2)

Publication Number Publication Date
CN112435167A CN112435167A (zh) 2021-03-02
CN112435167B true CN112435167B (zh) 2024-03-12

Family

ID=74699313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379032.9A Active CN112435167B (zh) 2020-12-01 2020-12-01 机动车车底路面图像获取装置及方法

Country Status (1)

Country Link
CN (1) CN112435167B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN107085842A (zh) * 2017-04-01 2017-08-22 上海讯陌通讯技术有限公司 自学习多路图像融合的实时矫正方法及系统
CN107274342A (zh) * 2017-05-22 2017-10-20 纵目科技（上海）股份有限公司 一种车底盲区填充方法及系统、存储介质、终端设备
JP2018152803A (ja) * 2017-03-15 2018-09-27 オムロン株式会社 画像合成装置、画像合成方法、および画像合成プログラム
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681994B (zh) * 2018-05-11 2023-01-10 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
JP2018152803A (ja) * 2017-03-15 2018-09-27 オムロン株式会社 画像合成装置、画像合成方法、および画像合成プログラム
CN107085842A (zh) * 2017-04-01 2017-08-22 上海讯陌通讯技术有限公司 自学习多路图像融合的实时矫正方法及系统
CN107274342A (zh) * 2017-05-22 2017-10-20 纵目科技（上海）股份有限公司 一种车底盲区填充方法及系统、存储介质、终端设备
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像处理的前方行驶车辆速度测量方法;陈荣保;赵聃;王乾隆;;传感器与微系统;20180419(第04期);全文 *
基于摄影经纬仪的全景图像拼接方法;陈继华 等;激光与光电子学进展;20160510;全文 *

Also Published As

Publication number Publication date
CN112435167A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN110060202B (zh) 一种单目slam算法的初始化方法及系统
CN108647638B (zh) 一种车辆位置检测方法及装置
US10354151B2 (en) Method of detecting obstacle around vehicle
EP2757527B1 (en) System and method for distorted camera image correction
US8369577B2 (en) Vehicle position recognition system
US8406474B2 (en) Method and apparatus for identifying obstacle in image
CN110636263B (zh) 全景环视图生成方法、车载设备及车载系统
KR20030024857A (ko) 차량 주변 이미지 처리 장치 및 기록 매체
US11910092B2 (en) Panoramic look-around view generation method, in-vehicle device and in-vehicle system
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN112529935B (zh) 目标车辆运动状态识别方法及装置
CN108292441B (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN107689028A (zh) 基于adas的自适应界面显示方法、系统和存储装置
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN112435167B (zh) 机动车车底路面图像获取装置及方法
KR20200027215A (ko) 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
JP2011209070A (ja) 画像処理装置
KR101738425B1 (ko) 다차선 검출을 위한 관심 영역 설정 장치 및 방법
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP2008003696A (ja) 画像処理装置及び画像処理方法
JP5773334B2 (ja) オプティカルフロー処理装置及び表示半径マップ生成装置
CN115171384A (zh) 一种车载显示过程中关键车位置延迟补偿方法及装置
CN118212280A (zh) 一种基于单目相机的众包动态车辆深度估计方法及系统
CN112614050B (zh) 机动车车底路面图像获取装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant