CN106608220B - 车辆底部影像的生成方法、装置和车辆 - Google Patents

车辆底部影像的生成方法、装置和车辆 Download PDF

Info

Publication number
CN106608220B
CN106608220B CN201510690780.1A CN201510690780A CN106608220B CN 106608220 B CN106608220 B CN 106608220B CN 201510690780 A CN201510690780 A CN 201510690780A CN 106608220 B CN106608220 B CN 106608220B
Authority
CN
China
Prior art keywords
vehicle
under
image
wheel
mapping relations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510690780.1A
Other languages
English (en)
Other versions
CN106608220A (zh
Inventor
熊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201510690780.1A priority Critical patent/CN106608220B/zh
Priority to PCT/CN2016/102825 priority patent/WO2017067495A1/en
Publication of CN106608220A publication Critical patent/CN106608220A/zh
Application granted granted Critical
Publication of CN106608220B publication Critical patent/CN106608220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆底部影像的生成方法、装置和车辆，所述方法包括以下步骤：获取车辆当前状态下的车速和方向盘转角；获取车辆前一个状态下的历史全景影像；根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系；根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像。该方法扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。

Description

车辆底部影像的生成方法、装置和车辆
技术领域
本发明涉及车辆技术领域，尤其涉及一种车辆底部影像的生成方法、装置和车辆。
背景技术
随着电子产品技术的快速发展，用户对电子产品的体验要求越来越高。比如传统的车辆的全景影像显示系统，其拼接效果只能显示车身周围摄像头拍摄的可见范围，用户想要更加全面的了解显示区域内的信息，就无法达到要求。
例如，车辆在行驶过程中，由于摄像头无法照射到车身底部，所以无法产生实时的图像供用户观看，这样就无法得到车身底部的环境信息，从而导致用户体验不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种车辆底部影像的生成方法，该方法扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
本发明的第二个目的在于提出一种车辆底部影像的生成装置。
本发明的第三个目的在于提出一种车辆。
为了实现上述目的，本发明第一方面实施例的车辆底部影像的生成方法，包括以下步骤：获取所述车辆当前状态下的车速和方向盘转角；获取所述车辆前一个状态下的历史全景影像；根据所述车速和所述方向盘转角获取所述历史全景影像与当前状态下全景影像之间的位置映射关系；根据所述位置映射关系和所述历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像。
根据本发明实施例的车辆底部影像的生成方法，获取车辆当前状态下的车速和方向盘转角，并获取车辆前一个状态下的历史全景影像，根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系，以及根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像，该方法扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全 景显示的功能，提升了用户体验。
为了实现上述目的，本发明第二方面实施例的车辆底部影像的生成装置，包括：行驶信息获取模块，用于获取所述车辆当前状态下的车速和方向盘转角；历史信息获取模块，用于获取所述车辆前一个状态下的历史全景影像；映射关系获取模块，用于根据所述车速和所述方向盘转角获取所述历史全景影像与当前状态下全景影像之间的位置映射关系；生成模块，用于根据所述位置映射关系和所述历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像。
根据本发明实施例的车辆底部影像的生成装置，行驶信息获取模块获取车辆当前状态下的车速和方向盘转角，历史信息获取模块获取车辆前一个状态下的历史全景影像，映射关系获取模块则根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系，生成模块根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像，该装置扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
为了实现上述目的，本发明第三方面实施例的车辆，包括本发明第二方面实施例的车辆底部影像的生成装置。
根据本发明实施例的车辆，由于具有了车辆底部影像的生成装置，扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
附图说明
图1是根据本发明一个实施例的车辆底部影像的生成方法的流程图；
图2是根据本发明一个实施例的车辆运动时在当前状态B和前一个状态A时的示意图；
图3A是相关技术中全景影像显示示意图；
图3B是根据本发明一个实施例的全景影像显示示意图；
图4是根据本发明一个实施例的车辆运动状态详细图解；
图5A是相关技术中一个具体场景的全景影像显示示意图；
图5B是根据本发明一个具体实施例的全景影像显示示意图；
图6是根据本发明一个实施例的车辆底部影像的生成装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1是根据本发明实施例的车辆底部影像的生成方法的流程图。如图1所示，本发明实施例的车辆底部影像的生成方法，包括以下步骤：
S1，获取车辆当前状态下的车速和方向盘转角。
具体地，车辆全景影像系统的控制器可以从车身CAN网络上获取有关车辆的车速和方向盘转角的报文信息。
S2，获取车辆前一个状态下的历史全景影像。
S3，根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系。
举例来讲，如图2所示，当车辆由图2中的A状态运动到B状态时，对于阴影部分M所代表的区域，有以下2种含义：
1)对于车辆的当前状态B来说，阴影部分M所代表的是小车底部的一部分区域，此区域摄像头无法照射到，理论上无图像数据；
2)而对于车辆的前一个状态(即历史状态)A来说，阴影部分M所代表的是车身周围的影像，此区域影像，摄像头可获取到。
据上述分析可知，车辆在可以将车辆前一个状态下的历史全景影像用于车辆当前状态下的车辆底部影像的填充。
具体地，为了使车辆前一个状态下的历史全景影像能够精确的填充到当前状态下的车辆底部，就需要获知历史全景影像与当前状态下全景影像之间的位置映射关系。
更具体地，可以根据从车身CAN网络中获取的车速和方向盘转角来计算车辆和全景影像在不同状态下的位置映射关系。
S4，根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像。
具体地，在获得车辆和全景影像在前一个状态下和当前状态下的位置映射关系后，也就可以获知当前状态下车辆底部的点对应在前一个状态下车身周围的影像的位置，进而根据车辆前一个状态下车身周围的影像生成当前状态下的车辆底部影像。
进一步地，将当前状态下的车辆底部影像和当前状态下的车身周围的影像拼接成当前状态下的全景影像，供用户观看，影像显示的更加全面，大大提升了用户体验。
在本发明的一个实施例中，根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系，具体包括：根据方向盘转角计算车轮转角；根据车轮转角获取车辆两前轮中间点运动轨迹所对应的半径，并根据半径和车速计算车辆从前一个状态到 当前状态所转过的圆心角度；建立车辆当前状态下的坐标系；获取车辆当前状态下至少三个车轮位置在坐标系下的第一坐标，并根据圆心角度获取车辆前一个状态下至少三个车轮位置在坐标系下的第二坐标；根据第一坐标和第二坐标计算位置映射关系。
下面对步骤S3中获取位置映射关系的过程进行详细说明。
在相关技术中，如图3A所示，举例来讲，车辆的四周安装有C1、C2、C3、C4四个摄像头，正常情况下，全景影像拼接的可视区域为阴影区域，受摄像头的照射范围约束，车辆底部的区域是不可见的。而本发明实施例的车辆底部影像的生成方法，所要实现的效果如图3B所示，使车辆底部也显示出图像，从而达到车辆底部亦无盲区的目的。
为了使车辆前一个状态下的历史全景影像能够精确的填充到当前状态下的车辆底部，需要从车身CAN网络采集车辆当前车速信息和方向盘转角信息，利用这2个信息，计算出历史全景影像与当前状态下全景影像之间的位置映射关系。具体实现步骤如下(以一般情况代替特殊情况，即此处讨论拐弯情况)。
前提条件：经验证，车辆在拐弯的时候，某一瞬间，车轮的运动轨迹为圆周运动，如图4所示，A、B、C、D所在的方框代表车辆的前一个状态，A’、B’、C’、D’所在的方框代表车辆的当前状态，A、B、C、D和A’、B’、C’、D’分别代表两种状态下的4个车轮，AB代表轮距，AC代表轴距，以矢量V代表从车身CAN网络上采集来的车速信息，过C点的圆的矢量切线VL，代表车左前轮行驶的矢量方向，其与车身的夹角α代表车左前轮偏过的角度信息(由车身CAN网络上的方向盘转角信息计算获得)，角度θ代表车辆由前一个状态运动到当前状态时，整个车身相对圆心O运动的弧度，小车以圆心O为原点，做圆周运动。
在本发明的一个实施例中，根据下述公式计算车轮转角α：
θr＝-0.21765-0.05796ω+9.62064*10-6ω2-1.63785*10-8ω3， (1)
θl＝0.22268-0.05814ω-9.89364*10-6ω2-1.76545*10-8ω3， (2)
其中，θr代表车辆右转时右轮相对车身的车轮转角，θl代表车辆左转时左轮相对车身的车轮转，ω为方向盘转角。当车辆右转时，α＝θr，当车辆左转时，α＝θl。
由图4可以看出，当车辆左转弯时，车辆的左后轮具有最小转弯半径，最小转弯半径Rmin可由如下公式计算出：
Rmin＝AC*cotα， (3)
其中，AC为车辆的轴距，α为车轮转角。
其中，以圆心O为原点，以Rmin方向为X轴，过O点垂直于X轴向上为Y轴建立直角坐标系，这样，就已知A、B、C点分别在XY坐标系中的点坐标位置(Rmin，0)，(Rmin+AB，0)，(Rmin，AC)。
进一步地，在本发明的一个实施例中，根据下述公式计算车辆前轮中间点运动轨迹所对应的半径Rmid：
其中，AC为车辆的轴距，AB为车辆的轮距，Rmin为车辆的最小转弯半径。
假设车辆全景影像系统的视频处理速度达到实时状态，即30fps，这样的话，帧与帧之间的间隔为33ms，设为T，在这T时间内，假设车辆由图4中的A、B、C、D所在的方框移动到了A’、B’、C’、D’所在的方框，那么，对于E点，它沿着V方向移动的弧长为V*T，由弧长公式，可得其转过的圆心角度为：
其中，Rmid车辆前轮中间点运动轨迹所对应的半径，V为车辆的车速，T为车辆从前一个状态到当前状态所用的时间。
该圆心角度，亦为车辆从前一个状态到当前状态车辆上所有点转过的圆心角度，即：θ＝β。
进一步地，以OA’为X’轴，垂直于OA’向上为Y’轴，建立X’Y’直角坐标系，可得出：A’、B’、C’在X’Y’直角坐标系下的坐标分别为：A’(Rmin，0)、B’(Rmin+A’B’，0)和C’(Rmin，A’C’)。
更进一步地，由A点引OA’的垂直线，可得出A点位于X’Y’坐标系中的位置为：A(Rmin*cosθ，-Rmin*sinθ)。进而由A点的坐标以及车辆转过的圆心角度θ(即β)可以求得B和C位于X’Y’坐标系中的坐标，如下：
B：(A.x+AB*cosθ，A.y-AB*sinθ)，C：(A.x+AC*sinθ，A.y+AC*cosθ)，其中，A.x＝Rmin*cosθ，A.y＝-Rmin*sinθ。
在本发明的一个实施例中，根据第一坐标和第二坐标通过仿射变换方式、透视变换方式或四点双线性插值等方式来计算位置映射关系。
下面以仿射变换方式为例进行说明。
具体地，在已知车辆前一个状态下车辆上A、B、C三点在X’Y’坐标系中的坐标值和对应的当前状态下的A’、B’、C’的坐标值，借助仿射变换关系式，可求出仿射变换关系式中的6个系数值，其中，仿射变换关系式如下：
x’＝a1*x+b1*y+c1， (6)
y’＝a2*x+b2*y+c2， (7)
将上述3对点的坐标值带入公式(6)和(7)，即可求出a1、b1、c1、a2、b2、c2的值。这样就得到了车辆前一个状态下的历史全景影像和当前状态下全景影像之间的位置映射关系。
在本发明的一个实施例中，根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像，具体包括：根据位置映射关系计算车辆当前状态下车底所有点对应在车辆前一个状态下的位置；根据对应在车辆前一个状态下的位置的历史全景影像生成车辆当前状态下全景影像中的车辆底部影像。
具体地，仍以仿射变换关系为例，在求得仿射变换关系式中的6个系数值后，对车辆当前状态下车底所有点按照(6)和(7)所示的关系式进行仿射变换，求出其对应到的历史状态下(即前一个状态下)的点的坐标值，那么，利用其对应到的历史状态下(即前一个状态下)的点来填充当前状态下车辆底部的点，从而完成重新拼接显示的过程。
其中，在相关技术中，车辆在行驶的过程中，车辆中所显示的全景影像中的车辆是一个不透明的logo图标，无法观察到其底部信息，例如，如图5A所示；当采用本发明实施例的车辆底部影像的生成方法后，可以改变车辆logo图标的透明度，以将车辆底部影像信息显示出来，从而达到车身底部盲区也有显示的目的，例如，显示效果如图5B所示。
在上面的实施例中的描述中均是以车体向前左转的情况为例的，而车体向前右转、向后左转以及向后右转的原理和上述原理一致，这里不再一一说明。
另外，需要说明的是，如图2所示，当车辆由A状态运动到B状态时，B状态下阴影区域M可由A状态下的车身周围图像来填充，那么随着车辆的继续运动，车辆底部影像则会逐渐的被填充完整。
本发明实施例的车辆底部影像的生成方法，获取车辆当前状态下的车速和方向盘转角，并获取车辆前一个状态下的历史全景影像，根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系，以及根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像，该方法扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
为了实现上述实施例，本发明还提供了一种车辆底部影像的生成装置。
图6是根据本发明一个实施例的车辆底部影像的生成装置的方框示意图。如图6所示，本发明实施例的车辆底部影像的生成装置，包括：行驶信息获取模块10、历史信息获取模块20、映射关系获取模块30和生成模块40。
其中，行驶信息获取模块10用于获取车辆当前状态下的车速和方向盘转角。
具体地，行驶信息获取模块10可以从车身CAN网络上获取有关车辆的车速和方向盘转角的报文信息。
历史信息获取模块20用于获取车辆前一个状态下的历史全景影像。
映射关系获取模块30用于根据车速和方向盘转角获取历史全景影像与当前状态下全 景影像之间的位置映射关系。
举例来讲，如图2所示，当车辆由图2中的A状态运动到B状态时，对于阴影部分M所代表的区域，有以下2种含义：
1)对于车辆的当前状态B来说，阴影部分M所代表的是小车底部的一部分区域，此区域摄像头无法照射到，理论上无图像数据；
2)而对于车辆的前一个状态(即历史状态)A来说，阴影部分M所代表的是车身周围的影像，此区域影像，摄像头可获取到。
据上述分析可知，车辆在可以将车辆前一个状态下的历史全景影像用于车辆当前状态下的车辆底部影像的填充。
具体地，为了使车辆前一个状态下的历史全景影像能够精确的填充到当前状态下的车辆底部，就需要获知历史全景影像与当前状态下全景影像之间的位置映射关系。
更具体地，映射关系获取模块30可以根据从车身CAN网络中获取的车速和方向盘转角来计算车辆和全景影像在不同状态下的位置映射关系。
生成模块40用于根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车辆底部影像。
具体地，在获得车辆和全景影像在前一个状态下和当前状态下的位置映射关系后，也就可以获知当前状态下车辆底部的点对应在前一个状态下车身周围的影像的位置，进而根据车辆前一个状态下车身周围的影像生成当前状态下的车辆底部影像。
进一步地，将当前状态下的车辆底部影像和当前状态下的车身周围的影像拼接成当前状态下的全景影像，供用户观看，影像显示的更加全面，大大提升了用户体验。
在本发明的一个实施例中，映射关系获取模块30，具体用于：根据方向盘转角计算车轮转角，并根据车轮转角获取车辆两前轮中间点运动轨迹所对应的半径，并根据半径和车速计算车辆从前一个状态到当前状态所转过的圆心角度，以及建立车辆当前状态下的坐标系，并获取车辆当前状态下至少三个车轮位置在坐标系下的第一坐标，并根据圆心角度获取车辆前一个状态下至少三个车轮位置在坐标系下的第二坐标，以及根据第一坐标和第二坐标计算位置映射关系。
在本发明的一个实施例中，映射关系获取模块30，具体用于：根据车轮转角获取车辆的最小转弯半径，并根据车辆的最小转弯半径获取车辆前轮中间点运动轨迹所对应的半径。
下面对映射关系获取模块30获取位置映射关系的过程进行详细说明。
在相关技术中，如图3A所示，举例来讲，车辆的四周安装有C1、C2、C3、C4四个摄像头，正常情况下，全景影像拼接的可视区域为阴影区域，受摄像头的照射范围约束，车辆底部的区域是不可见的。而本发明实施例的车辆底部影像的生成装置，所要实现的效果 如图3B所示，使车辆底部也显示出图像，从而达到车辆底部亦无盲区的目的。
为了使车辆前一个状态下的历史全景影像能够精确的填充到当前状态下的车辆底部，行驶信息获取模块10需要从车身CAN网络采集车辆当前车速信息和方向盘转角信息，映射关系获取模块30利用这2个信息，计算出历史全景影像与当前状态下全景影像之间的位置映射关系。具体实现步骤如下(以一般情况代替特殊情况，即此处讨论拐弯情况)。
前提条件：经验证，车辆在拐弯的时候，某一瞬间，车轮的运动轨迹为圆周运动，如图4所示，A、B、C、D所在的方框代表车辆的前一个状态，A’、B’、C’、D’所在的方框代表车辆的当前状态，A、B、C、D和A’、B’、C’、D’分别代表两种状态下的4个车轮，AB代表轮距，AC代表轴距，以矢量V代表从车身CAN网络上采集来的车速信息，过C点的圆的矢量切线VL，代表车左前轮行驶的矢量方向，其与车身的夹角α代表车左前轮偏过的角度信息(由车身CAN网络上的方向盘转角信息计算获得)，角度θ代表车辆由前一个状态运动到当前状态时，整个车身相对圆心O运动的弧度，小车以圆心O为原点，做圆周运动。
在本发明的一个实施例中，映射关系获取模块30根据公式(1)或(2)计算车轮转角α。
由图4可以看出，当车辆左转弯时，车辆的左后轮具有最小转弯半径，最小转弯半径Rmin可由公式(3)计算出。
其中，以圆心O为原点，以Rmin方向为X轴，过O点垂直于X轴向上为Y轴建立直角坐标系，这样，就已知A、B、C点分别在XY坐标系中的点坐标位置(Rmin，0)，(Rmin+AB，0)，(Rmin，AC)。
进一步地，在本发明的一个实施例中，映射关系获取模块30根据公式(4)计算车辆前轮中间点运动轨迹所对应的半径Rmid。
假设车辆全景影像系统的视频处理速度达到实时状态，即30fps，这样的话，帧与帧之间的间隔为33ms，设为T，在这T时间内，假设车辆由图4中的A、B、C、D所在的方框移动到了A’、B’、C’、D’所在的方框，那么，对于E点，它沿着V方向移动的弧长为V*T，由弧长公式，可得其转过的圆心角度β如公式(5)所示。该圆心角度亦为车辆从前一个状态到当前状态车辆上所有点转过的圆心角度，即：θ＝β。
进一步地，以OA’为X’轴，垂直于OA’向上为Y’轴，建立X’Y’直角坐标系，可得出：A’、B’、C’在X’Y’直角坐标系下的坐标分别为：A’(Rmin，0)、B’(Rmin+A’B’，0)和C’(Rmin，A’C’)。
更进一步地，由A点引OA’的垂直线，可得出A点位于X’Y’坐标系中的位置为：A(Rmin*cosθ，-Rmin*sinθ)。进而由A点的坐标以及车辆转过的圆心角度θ(即β)可以求 得B和C位于X’Y’坐标系中的坐标，如下：
B：(A.x+AB*cosθ，A.y-AB*sinθ)，C：(A.x+AC*sinθ，A.y+AC*cosθ)，其中，A.x＝Rmin*cosθ，A.y＝-Rmin*sinθ。
在本发明的一个实施例中，其中，映射关系获取模块30根据第一坐标和第二坐标通过仿射变换方式、透视变换方式或四点双线性插值方式来计算位置映射关系。
下面以仿射变换方式为例进行说明。具体地，在已知车辆前一个状态下车辆上A、B、C三点在X’Y’坐标系中的坐标值和对应的当前状态下的A’、B’、C’的坐标值，借助仿射变换关系式，可求出仿射变换关系式中的6个系数值，其中，仿射变换关系式如式(6)、(7)所示。将上述3对点的坐标值带入公式(6)和(7)，即可求出a1、b1、c1、a2、b2、c2的值。这样就得到了车辆前一个状态下的历史全景影像和当前状态下全景影像之间的位置映射关系。
在本发明的一个实施例中，生成模块40具体用于：根据位置映射关系计算车辆当前状态下车底所有点对应在车辆前一个状态下的位置，并根据对应在车辆前一个状态下的位置的历史全景影像生成车辆当前状态下全景影像中的车辆底部影像。
具体地，仍以仿射变换关系为例，映射关系获取模块30在求得仿射变换关系式中的6个系数值后，生成模块40对车辆当前状态下车底所有点按照(6)和(7)所示的关系式进行仿射变换，求出其对应到的历史状态下(即前一个状态下)的点的坐标值，那么，生成模块40利用其对应到的历史状态下(即前一个状态下)的点来填充当前状态下车辆底部的点，从而完成重新拼接显示的过程。
其中，在相关技术中，车辆在行驶的过程中，车辆中所显示的全景影像中的车辆是一个不透明的logo图标，无法观察到其底部信息，例如，如图5A所示；当采用本发明实施例的车辆底部影像的生成装置后，可以改变车辆logo图标的透明度，以将车辆底部影像信息显示出来，从而达到车身底部盲区也有显示的目的，例如，显示效果如图5B所示。
在上面的实施例中的描述中均是以车体向前左转的情况为例的，而车体向前右转、向后左转以及向后右转的原理和上述原理一致，这里不再一一说明。
另外，需要说明的是，如图2所示，当车辆由A状态运动到B状态时，B状态下阴影区域M可由A状态下的车身周围图像来填充，那么随着车辆的继续运动，车辆底部影像则会逐渐的被填充完整。
本发明实施例的车辆底部影像的生成装置，行驶信息获取模块获取车辆当前状态下的车速和方向盘转角，历史信息获取模块获取车辆前一个状态下的历史全景影像，映射关系获取模块则根据车速和方向盘转角获取历史全景影像与当前状态下全景影像之间的位置映射关系，生成模块根据位置映射关系和历史全景影像生成车辆当前状态下全景影像中的车 辆底部影像，该装置扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
为了实现上述实施例，本发明还提出了一种车辆。该车辆包括本发明实施例的车辆底部影像的生成装置。
本发明实施例的车辆，由于具有了车辆底部影像的生成装置，扩充了全景拼接显示的范围，使车身底部摄像头不可见的区域也能显示出图像信息，增加了行车的安全性，同时也丰富了全景显示的功能，提升了用户体验。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以 在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种车辆底部影像的生成方法，其特征在于，包括以下步骤：
获取所述车辆当前状态下的车速和方向盘转角；
获取所述车辆前一个状态下的历史全景影像；
根据所述车速和所述方向盘转角获取所述历史全景影像与当前状态下全景影像之间的位置映射关系；
根据所述位置映射关系和所述历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像；
其中，所述根据所述车速和所述方向盘转角获取所述历史全景影像与当前状态下全景影像之间的位置映射关系，具体包括：
根据所述方向盘转角计算车轮转角；
根据所述车轮转角获取所述车辆两前轮中间点运动轨迹所对应的半径，并根据所述半径和所述车速计算所述车辆从前一个状态到当前状态所转过的圆心角度；
建立所述车辆当前状态下的坐标系；
获取所述车辆当前状态下至少三个车轮位置在所述坐标系下的第一坐标，并根据所述圆心角度获取所述车辆前一个状态下至少三个车轮位置在所述坐标系下的第二坐标；
根据所述第一坐标和所述第二坐标计算所述位置映射关系。
2.如权利要求1所述的车辆底部影像的生成方法，其特征在于，所述根据所述车轮转角获取所述车辆前轮中间点运动轨迹所对应的半径，具体包括：
根据所述车轮转角获取所述车辆的最小转弯半径；
根据所述车辆的最小转弯半径获取所述车辆前轮中间点运动轨迹所对应的半径。
3.如权利要求1所述的车辆底部影像的生成方法，其特征在于，根据下述公式计算所述车轮转角：
θr＝-0.21765-0.05796ω+9.62064*10-6ω2-1.63785*10-8ω3，
θl＝0.22268-0.05814ω-9.89364*10-6ω2-1.76545*10-8ω3，
其中，θr代表所述车辆右转时右轮相对车身的车轮转角，θl代表所述车辆左转时左轮相对车身的车轮转，ω为所述方向盘转角。
4.如权利要求2所述的车辆底部影像的生成方法，其特征在于，根据下述公式计算所述车辆的最小转弯半径Rmin：
Rmin＝AC*cotα，
其中，AC为所述车辆的轴距，所述α为所述车轮转角。
5.如权利要求4所述的车辆底部影像的生成方法，其特征在于，根据下述公式计算所述车辆前轮中间点运动轨迹所对应的半径Rmid：
其中，AC为所述车辆的轴距，AB为所述车辆的轮距，所述Rmin为所述车辆的最小转弯半径。
6.如权利要求5所述的车辆底部影像的生成方法，其特征在于，根据下述公式计算所述车辆从前一个状态到当前状态所转过的圆心角度β：
其中，所述Rmid所述车辆前轮中间点运动轨迹所对应的半径，所述V为所述车辆的车速，所述T为所述车辆从前一个状态到当前状态所用的时间。
7.如权利要求6所述的车辆底部影像的生成方法，其特征在于，其中，根据所述第一坐标和所述第二坐标通过仿射变换方式、透视变换方式或四点双线性插值方式来计算所述位置映射关系。
8.如权利要求1-7中任一项所述的车辆底部影像的生成方法，其特征在于，所述根据所述位置映射关系和所述历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像，具体包括：
根据所述位置映射关系计算所述车辆当前状态下车底所有点对应在所述车辆前一个状态下的位置；
根据所述对应在所述车辆前一个状态下的位置的历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像。
9.一种车辆底部影像的生成装置，其特征在于，包括：
行驶信息获取模块，用于获取所述车辆当前状态下的车速和方向盘转角；
历史信息获取模块，用于获取所述车辆前一个状态下的历史全景影像；
映射关系获取模块，用于根据所述车速和所述方向盘转角获取所述历史全景影像与当前状态下全景影像之间的位置映射关系；
生成模块，用于根据所述位置映射关系和所述历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像；
其中，所述映射关系获取模块，具体用于：
根据所述方向盘转角计算车轮转角，并根据所述车轮转角获取所述车辆两前轮中间点运动轨迹所对应的半径，并根据所述半径和所述车速计算所述车辆从前一个状态到当前状态所转过的圆心角度，以及建立所述车辆当前状态下的坐标系，并获取所述车辆当前状态下至少三个车轮位置在所述坐标系下的第一坐标，并根据所述圆心角度获取所述车辆前一个状态下至少三个车轮位置在所述坐标系下的第二坐标，以及根据所述第一坐标和所述第二坐标计算所述位置映射关系。
10.如权利要求9所述的车辆底部影像的生成装置，其特征在于，所述映射关系获取模块，具体用于：根据所述车轮转角获取所述车辆的最小转弯半径，并根据所述车辆的最小转弯半径获取所述车辆前轮中间点运动轨迹所对应的半径。
11.如权利要求9所述的车辆底部影像的生成装置，其特征在于，所述映射关系获取模块，根据下述公式计算所述车轮转角：
θr＝-0.21765-0.05796ω+9.62064*10-6ω2-1.63785*10-8ω3，
θl＝0.22268-0.05814ω-9.89364*10-6ω2-1.76545*10-8ω3，
其中，θr代表所述车辆右转时右轮相对车身的车轮转角，θl代表所述车辆左转时左轮相对车身的车轮转，ω为所述方向盘转角。
12.如权利要求10所述的车辆底部影像的生成装置，其特征在于，所述映射关系获取模块根据下述公式计算所述车辆的最小转弯半径Rmin：
Rmin＝AC*cotα，
其中，AC为所述车辆的轴距，所述α为所述车轮转角。
13.如权利要求12所述的车辆底部影像的生成装置，其特征在于，所述映射关系获取模块根据下述公式计算所述车辆前轮中间点运动轨迹所对应的半径Rmid：
其中，AC为所述车辆的轴距，AB为所述车辆的轮距，所述Rmin为所述车辆的最小转弯半径。
14.如权利要求13所述的车辆底部影像的生成装置，其特征在于，所述映射关系获取模块根据下述公式计算所述车辆从前一个状态到当前状态所转过的圆心角度β：
其中，所述Rmid所述车辆前轮中间点运动轨迹所对应的半径，所述V为所述车辆的车速，所述T为所述车辆从前一个状态到当前状态所用的时间。
15.如权利要求14所述的车辆底部影像的生成装置，其特征在于，其中，所述映射关系获取模块根据所述第一坐标和所述第二坐标通过仿射变换方式、透视变换方式或四点双线性插值方式来计算所述位置映射关系。
16.如权利要求9-15中任一项所述的车辆底部影像的生成装置，其特征在于，所述生成模块，具体用于：
根据所述位置映射关系计算所述车辆当前状态下车底所有点对应在所述车辆前一个状态下的位置，并根据所述对应在所述车辆前一个状态下的位置的历史全景影像生成所述车辆当前状态下全景影像中的车辆底部影像。
17.一种车辆，其特征在于，包括如权利要求9-16中任一项所述的车辆底部影像的生成装置。
CN201510690780.1A 2015-10-22 2015-10-22 车辆底部影像的生成方法、装置和车辆 Active CN106608220B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510690780.1A CN106608220B (zh) 2015-10-22 2015-10-22 车辆底部影像的生成方法、装置和车辆
PCT/CN2016/102825 WO2017067495A1 (en) 2015-10-22 2016-10-21 Method and apparatus for generating image of area under vehicle, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510690780.1A CN106608220B (zh) 2015-10-22 2015-10-22 车辆底部影像的生成方法、装置和车辆

Publications (2)

Publication Number Publication Date
CN106608220A CN106608220A (zh) 2017-05-03
CN106608220B true CN106608220B (zh) 2019-06-25

Family

ID=58556682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690780.1A Active CN106608220B (zh) 2015-10-22 2015-10-22 车辆底部影像的生成方法、装置和车辆

Country Status (2)

Country Link
CN (1) CN106608220B (zh)
WO (1) WO2017067495A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396057B (zh) * 2017-08-22 2019-12-20 纵目科技(厦门)有限公司 一种基于车载摄像头五视角拼接立体全景图像的拼接方法
CN109532714B (zh) * 2017-09-21 2020-10-23 比亚迪股份有限公司 获取车底图像的方法和系统以及车辆
CN109552173A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN109552174A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制单元
CN107888894B (zh) * 2017-10-12 2019-11-05 浙江零跑科技有限公司 一种立体车载环视方法、系统及车载中控装置
CN108312966A (zh) * 2018-02-26 2018-07-24 江苏裕兰信息科技有限公司 一种包含汽车底部影像的全景环视系统及其实现方法
CN110246359A (zh) * 2018-03-08 2019-09-17 比亚迪股份有限公司 用于定位车辆所在停车位的方法、车辆及系统
CN110246358A (zh) * 2018-03-08 2019-09-17 比亚迪股份有限公司 用于定位车辆所在停车位的方法、车辆及系统
CN108909625B (zh) * 2018-06-22 2021-09-17 河海大学常州校区 基于全景环视系统的车底地面显示方法
CN108810417A (zh) * 2018-07-04 2018-11-13 深圳市歌美迪电子技术发展有限公司 一种图像处理方法、机构及后视镜
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN112215747A (zh) * 2019-07-12 2021-01-12 杭州海康威视数字技术股份有限公司 无车底盲区的车载全景图的生成方法、装置及存储介质
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
CN110503660A (zh) * 2019-08-21 2019-11-26 东软睿驰汽车技术（沈阳）有限公司 车辆朝向识别方法、装置、仿真器和无人驾驶仿真方法
DE102020209513A1 (de) 2020-07-29 2022-02-03 Volkswagen Aktiengesellschaft Automatische Überprüfung eines Bereichs unter einem Kraftfahrzeug
CN111959397B (zh) * 2020-08-24 2023-03-31 北京茵沃汽车科技有限公司 在全景影像中显示车底图像的方法、系统、装置及介质
CN112488995B (zh) * 2020-11-18 2023-12-12 成都主导软件技术有限公司 列车自动化检修的智能判伤方法及系统
CN115209037A (zh) * 2021-06-30 2022-10-18 惠州华阳通用电子有限公司 一种车辆底部透视方法及装置
CN114162048A (zh) * 2021-12-08 2022-03-11 上海寅家电子科技股份有限公司 确保车辆安全行驶系统及方法
CN114312577B (zh) * 2022-02-17 2022-11-29 镁佳(北京)科技有限公司 一种车辆底盘透视方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199093A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Ind Co Ltd 運転支援装置及び画像出力装置並びにカメラ付きロッド
CN101945257A (zh) * 2010-08-27 2011-01-12 南京大学 基于监控视频内容提取车辆底盘图像的合成方法
CN103072528A (zh) * 2013-01-30 2013-05-01 深圳市汉华安道科技有限责任公司 一种车辆及其全景泊车方法、系统
CN103661599A (zh) * 2013-12-04 2014-03-26 奇瑞汽车股份有限公司 一种车辆转弯轨迹预测系统和方法
CN104412578A (zh) * 2012-07-06 2015-03-11 罗伯特·博世有限公司 用于检查机动车辆的车辆底部的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001002181A (ja) * 1999-06-28 2001-01-09 Vantec Corp コンテナーボックスの側壁面フレ−ム構造
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2004026115A (ja) * 2002-06-28 2004-01-29 Nissan Motor Co Ltd 車両用死角監視装置
JP2004064441A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 車載画像処理装置及び周囲モニタシステム
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
CN100586772C (zh) * 2006-12-20 2010-02-03 财团法人工业技术研究院 车道偏移警示方法与装置
DE102012209224A1 (de) * 2012-05-31 2013-12-05 Robert Bosch Gmbh Vorrichtung und Verfahren zur Aufnahme von Bildern eines Fahrzeugunterbodens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199093A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Ind Co Ltd 運転支援装置及び画像出力装置並びにカメラ付きロッド
CN101945257A (zh) * 2010-08-27 2011-01-12 南京大学 基于监控视频内容提取车辆底盘图像的合成方法
CN104412578A (zh) * 2012-07-06 2015-03-11 罗伯特·博世有限公司 用于检查机动车辆的车辆底部的方法和装置
CN103072528A (zh) * 2013-01-30 2013-05-01 深圳市汉华安道科技有限责任公司 一种车辆及其全景泊车方法、系统
CN103661599A (zh) * 2013-12-04 2014-03-26 奇瑞汽车股份有限公司 一种车辆转弯轨迹预测系统和方法

Also Published As

Publication number Publication date
WO2017067495A1 (en) 2017-04-27
CN106608220A (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106608220B (zh) 车辆底部影像的生成方法、装置和车辆
CN103373285B (zh) 图像生成设备和方法、摄像机及装备控制图像生成设备
JP4642723B2 (ja) 画像生成装置および画像生成方法
CN105383384B (zh) 车辆控制装置
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP3968375B2 (ja) 周辺監視装置および周辺監視方法
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP2021170826A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN107792179A (zh) 一种基于车载环视系统的泊车引导方法
WO2011141971A1 (ja) 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
JP6024581B2 (ja) 車両用画像処理装置
JP4902368B2 (ja) 画像処理装置及び画像処理方法
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2009060499A (ja) 運転支援システム及び連結車両
CN106303417B (zh) 用于无人平台的增强全景监控方法
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
CN108312966A (zh) 一种包含汽车底部影像的全景环视系统及其实现方法
JP2007141098A (ja) 画像処理装置及び画像処理方法
CN108068696B (zh) 全景影像的显示方法和显示装置
WO2019058585A1 (ja) 表示制御装置
JP4860835B2 (ja) パノラマ画像表示方法及びパノラマ画像表示装置
JP2008034964A (ja) 画像表示装置
CN112488918A (zh) 基于rgb-d图像和多相机系统的图像插值方法及装置
US10291846B2 (en) Method for producing an overall image of surroundings of a vehicle, and corresponding device
JP2019504414A (ja) 車両の周囲の正面の光景を表示する方法及びデバイス並びにそれぞれの車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant