CN108099789A - 影像合成方法及装置、标定模型建立方法及装置及车辆 - Google Patents

影像合成方法及装置、标定模型建立方法及装置及车辆 Download PDF

Info

Publication number
CN108099789A
CN108099789A CN201711107769.3A CN201711107769A CN108099789A CN 108099789 A CN108099789 A CN 108099789A CN 201711107769 A CN201711107769 A CN 201711107769A CN 108099789 A CN108099789 A CN 108099789A
Authority
CN
China
Prior art keywords
image
vehicle
peg model
surroundings
steering angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711107769.3A
Other languages
English (en)
Inventor
郗冲
谭业辉
郑海霞
向海波
邵华
郭明
刘�东
李畅
王丽琴
田俊涛
刘莲芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beiqi Foton Motor Co Ltd
Original Assignee
Beiqi Foton Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beiqi Foton Motor Co Ltd filed Critical Beiqi Foton Motor Co Ltd
Priority to CN201711107769.3A priority Critical patent/CN108099789A/zh
Publication of CN108099789A publication Critical patent/CN108099789A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Abstract

本公开涉及一种影像合成方法及装置、标定模型建立方法及装置及车辆。该方法包括：获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；根据获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。由此，可以成功消除车辆拐弯时的拐弯盲区，也不会造成视觉混乱，保证了车辆周边影像信息的完整性和准确性，进而提高了车辆的行车安全性。

Description

影像合成方法及装置、标定模型建立方法及装置及车辆
技术领域
本公开涉及车辆安全领域，具体地，涉及一种影像合成方法及装置、标定模型建立方法及装置及车辆。
背景技术
由于商用车体积较大，视觉盲区较多，因此，目前市场上的全景环视系统基本都应用在乘用车上的，而在商用车上的应用范围比较有限。然而随着重型卡车的驾驶安全问题越来越严重，市场上陆续出现了针对重型卡车的全景环视系统。目前针对重型卡车的全景环视系统主要是通过以下方式来减少视觉盲区：(1)增加摄像头的数量来减少因重型卡车体积较大造成的视觉盲区，这无疑增加了成本；(2)通过增加雷达来减少重型卡车拐弯时的视觉盲区，但雷达只能检测到障碍物，并不能识别出障碍物，因此不能真实反映车辆周边环境。
并且，现有的全景环视系统通常是采用固定标定模型来确定在多个图像采集装置各自的有效照射区域内的图像，其中，该固定标定模型是车辆处于某个固定姿态时(即，车辆处于某一转向角时)的标定模型。当车辆拐弯时，车辆的车头会相对于车厢发生角度偏移，如果仍然采用上述固定标定模型来确定在多个图像采集装置各自的有效照射区域内的图像，可能会出现相邻图像采集装置的有效照射区域间存在空白盲区的情况，即存在拐弯盲区。此外，还可能出现相邻图像采集装置的有效照射区域间存在重叠区域的情况，造成视觉混乱。因此，无法得到完整、准确的车辆周边影像信息，也就无法保证车辆的行车安全性。
发明内容
为了解决相关技术中存在的问题，本公开提供一种影像合成方法及装置、标定模型建立方法及装置及车辆。
为了实现上述目的，本公开提供一种车辆周边影像合成方法，包括：
获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；
根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；
根据获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
可选地，多个图像采集装置的总照射区域覆盖车辆周边全部区域。
可选地，在所述根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理的步骤之前，所述方法还包括：
对所述多个图像采集装置采集到的图像进行图像校正。
可选地，在所述根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理的步骤之前，所述方法还包括：
针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
可选地，不同的转向角范围对应不同的标定模型。
可选地，所述方法还包括：
显示所述车辆周边影像信息。
本公开还提供一种用于车辆周边影像合成的标定模型的建立方法，所述标定模型用于指示安装在所述车辆四周的各个图像采集装置的有效照射区域，包括：
针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
本公开还提供一种车辆周边影像合成装置，包括：
获取模块，用于获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；
处理模块，用于根据与所述获取模块获取到的所述转向角信息相对应的标定模型，对所述获取模块获取到的各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；
图像合成模块，用于根据所述处理模块获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
可选地，所述多个图像采集装置的总照射区域覆盖车辆周边全部区域。
可选地，所述装置还包括：
校正模块，用于在所述处理模块根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，对所述多个图像采集装置采集到的图像进行图像校正。
可选地，所述装置还包括：
建立模块，用于在所述处理模块根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储模块，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
可选地，不同的转向角范围对应不同的标定模型。
可选地，所述装置还包括：
显示模块，用于显示所述车辆周边影像信息。
本公开还提供一种用于车辆周边影像合成的标定模型的建立装置，所述标定模型用于指示安装在所述车辆四周的各个图像采集装置的有效照射区域，包括：
建立模块，用于针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储模块，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
本公开还提供一种车辆，所述车辆包括：
转向角传感器，用于检测所述车辆的转向角；
多个图像采集装置，设置在所述车辆四周，用于进行图像采集；以及
本公开提供的所述车辆周边影像合成装置。
可选地，在所述多个图像采集装置的周围均设置有近程红外线LED灯。
本公开的实施例提供的技术方案可以包括以下有益效果：根据获取到的车辆的转向角信息，确定出与该转向角信息相对应的标定模型，并根据该标定模型对分布在车辆四周的各个图像采集装置采集到的图像分别进行处理，以获得在各个图像采集装置各自的有效照射区域内的图像，进而通过图像合成技术来获得车辆周边影像信息。由于在确定各个图像采集装置各自的有效照射区域内的图像时，所采用的标定模型是与车辆的转向角相适应的，而非采用针对车辆处于某个固定姿态时(即，车辆处于某一转向角时)的固定标定模型，因而成功消除了车辆拐弯时的拐弯盲区，也不会造成视觉混乱，保证了车辆周边影像信息的完整性和准确性，进而提高了车辆的行车安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种车辆周边影像合成方法的流程图。
图2A至图2C是根据一示例性实施例示出的一种标定模型的示意图。
图2D至图2F是根据一示例性实施例示出的另一种标定模型的示意图。
图3是根据一示例性实施例示出的一种用于车辆周边影像合成的标定模型的建立方法的流程图。
图4A是根据另一示例性实施例示出的一种车辆周边影像合成方法的流程图。
图4B是根据另一示例性实施例示出的一种车辆周边影像合成方法的流程图。
图5是根据一示例性实施例示出的一种车辆周边影像合成装置的框图。
图6是根据另一示例性实施例示出的一种车辆周边影像合成装置的框图。
图7是根据另一示例性实施例示出的一种车辆周边影像合成装置的框图。
图8是根据一示例性实施例示出的一种用于车辆周边影像合成的标定模型的建立装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据一示例性实施例示出的一种车辆周边影像合成方法的流程图。如图1所示，该方法可以包括以下步骤。
在步骤101中，获取车辆的转向角信息以及安装在车辆四周的多个图像采集装置采集到的图像。
在本公开中，该方法可以应用于全景环视系统。该全景环视系统可以通过转向角传感器(例如，陀螺仪传感器、方向盘转角传感器等)来获取车辆的转向角信息。其中，该转向角信息的获取方式可以包括以下两种：(1)全景环视系统向转向角传感器发送转向角信息请求消息，当转向角传感器接收到该转向角信息请求消息后，将其采集到的转向角信息发送至全景环视系统，该全景环视系统接收该转向角信息；(2)转向角传感器可以按照固定周期将其采集到的转向角信息发送至全景环视系统，全景环视系统接收该转向角信息。
另外，上述图像采集装置可以例如是超广角鱼眼摄像头(其中，该超广角鱼眼摄像头的镜头模组由多片透镜组成，镜头视场角大于180度，例如190度)、电荷耦合器件(ChargeCoupled Device，CCD)摄像机等。
在本公开中，在车辆四周可以设置有至少两个图像采集装置，并且相邻两个图像采集装置的照射区域具有重叠的部分。以卡车为例，如图2A至图2F所示，在卡车四周设置有6个图像采集装置，并且该6个图像采集装置为超广角鱼眼摄像头，它们分别为：设置在车头左侧的左前摄像头21、设置在车头右侧的右前摄像头22、设置在车厢左侧的左后摄像头23、设置在车厢右侧的右后摄像头24、设置在车头前方的前摄像头25和设置在车厢后方的后摄像头26。由图2A、2B、2D、2E可知，相邻两个摄像头之间的具有重叠的照射区域，例如，图2A中所示，前摄像头25与右前摄像头22具有重叠的照射区域1，右前摄像头22与右后摄像头24具有重叠的照射区域2，再例如，图2D中所示，前摄像头25与右前摄像头22具有重叠的照射区域3，右前摄像头22与右后摄像头24具有重叠的照射区域4。
此外，上述多个图像采集装置的总照射区域可以覆盖车辆周边全部区域。示例地，如图2A、2B、2D、2E中所示，设置在卡车四周的6个摄像头的总照射区域覆盖了卡车周边全部区域。另外，需要说明的是，上述多个图像采集装置的总照射区域可以覆盖车辆周边全部区域，也可以只覆盖车辆周边的部分区域，在本公开中不作具体限定。
此外，还可以在上述多个图像采集装置的周围设置有近程红外线发光二极管，这样，近程红外线发光二极管能够由内部的感光部件自动感应下控制自身打开和关闭，从而使各图像采集装置适合夜间低照度、光线暗的应用环境，进而提升图像采集装置采集到图像的分辨率和清晰度。
另外，全景环视系统可以通过以下两种方式来获取多个图像采集装置采集到的图像：(1)全景环视系统分别向各图像采集装置发送图像请求消息，当相应图像采集装置接收到该图像请求消息后，将其采集到的图像发送至全景环视系统，全景环视系统接收该图像；(2)各图像采集装置可以按照固定周期将其采集到的图像发送至全景环视系统，全景环视系统接收该图像。
在步骤102中，根据与转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像。
在本公开中，该标定模型可以用于指示各个图像采集装置的有效照射区域，并且该各个图像采集装置的有效照射区域互不重叠。由于相邻两个图像采集装置之间存在重叠的照射区域，如果根据各图像采集装置采集到的图像直接进行图像合成，合成后的图像中可能存在重叠区域，这样，将会给用户造成视觉混乱，因此，在图像合成之前，需要确定各个图像采集装置的有效照射区域，由此可以消除由于重叠照射区域造成的用户视觉混乱的问题。
另外，当车辆拐弯时，车辆的车头会相对于车厢发生角度偏移，如果仍采用针对车辆处于某个固定姿态(即，车辆处于某一转向角时)的固定标定模型来确定多个图像采集装置各自的有效照射区域内的图像，可能会出现相邻两个图像采集装置的有效照射区域间存在空白盲区的情况，即存在拐弯盲区。此外，还可能出现相邻两个图像采集装置的有效照射区域间存在重叠区域的情况，造成视觉混乱。为了避免拐弯盲区以及视觉混乱，在本公开中，可以建立多个用于车辆周边影像合成的标定模型，以确定各个图像采集装置的有效照射区域。具体来说，在上述步骤102之前，即在根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，可以通过如图3中所示的步骤301和步骤302来建立用于车辆周边影响合成的标定模型。
在步骤301中，针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型。
示例地，可以将直行(待标定转向角为零度)到左转极限(待标定转向角为最大左转向角+X度时)之间，每隔预设角度阈值Δ度(例如，Δ＝3度)设置一个标定模型；同样地，将直行(待标定转向角为零度)到右转极限(待标定转向角为最大右转向角-X度时)之间，每隔上述预设角度阈值Δ度建立一个标定模型。
在一种实施方式中，可以通过如下方式来建立上述多个标定模型：由于相邻两个图像采集装置之间的具有重叠的照射区域，这样，可以在各重叠的照射区域寻找特征点，按照特征点确定出拼接线，然后以拼接线为界重新划分各个图像采集装置的照射区域，即得到各个图像采集装置的有效照射区域。
示例地，可以通过如下方式来得到车辆直行(即，待标定转向角为零度)时的标定模型：如图2A、2B所示，由于图中所示的6个图像采集装置均为超广角鱼眼摄像头，所以相邻两个摄像头之间的具有重叠的照射区域(如图2A中所示的重叠照射区域1、重叠照射区域2)，这样，可以在如图2A所示的各重叠的照射区域寻找特征点，按照特征点确定出拼接线(如图2B中所示的6条虚线)，然后以拼接线为界重新划分各个摄像头的照射区域，即得到如图2C中所示的各个摄像头的有效照射区域，即获得待标定转向角为零度时的标定模型。
又示例地，可以通过如下方式来得到车辆左转弯(待标定转向角为+β度)时的标定模型：如图2D、2E所示，由于图中所示的6个图像采集装置为超广角鱼眼摄像头，所以相邻两个摄像头之间的具有重叠的照射区域(如图2D中所示的重叠的照射区域3、重叠照射区域4)，这样，可以在如图2D所示的各重叠的照射区域寻找特征点，按照特征点确定出拼接线(如图2E中所示的6条虚线)，然后以拼接线为界重新划分各个摄像头的照射区域，即得到如图2F中所示的各个摄像头的有效照射区域，即获得待标定转向角为+β度时的标定模型。
在步骤302中，存储每个待标定转向角与所对应的标定模型之间的对应关系。
在建立上述标定模型后，可以将各个待标定转向角与所对应的标定模型之间的对应关系存储在全景环视系统的相应存储模块中。
这样，可以根据全景环视系统中存储的各个待标定转向角与所对应的标定模型之间的对应关系，建立转向角与标定模型之间的对应关系。其中，不同的转向角范围对应不同的标定模型，即一个标定模型可以与一个转向角范围相对应，由此，可以建立如下表所示的转向角与标定模型的对应关系：
表1
转向角(度) 标定模型 转向角(度) 标定模型
(-Δ，+Δ) 标定模型1
[+Δ，+2Δ) 标定模型2 (-2Δ，-Δ] 标定模型n+2
[+2Δ，+3Δ) 标定模型3 (-3Δ，-2Δ] 标定模型n+3
… … … …
[+nΔ，+X] 标定模型n+1 [-X,-nΔ] 标定模型2n+1
如表1中所示，当转向角在(-Δ，+Δ)范围内时，对应的标定模型为标定模型1，当转向角在[+Δ，+2Δ)范围内时，对应的标定模型为标定模型2；当转向角在[+2Δ，+3Δ)范围内时，对应的标定模型为标定模型3，……，当转向角在[+nΔ，+X]范围内时，对应的标定模型为标定模型n+1；当转向角在(-2Δ，-Δ]范围内时，对应的标定模型为标定模型n+2；当转向角在(-3Δ，-2Δ]范围内时，对应的标定模型为标定模型n+3，……，当转向角在[-X,-nΔ]范围内时，对应的标定模型为标定模型2n+1。
示例地，Δ＝3度，最大左转向角为+15度，最大右转向角为-15度，这样，可以建立如下表所示的转向角与标定模型的对应关系：
表2
转向角(度) 标定模型 转向角(度) 标定模型
(-3，+3) 标定模型1
[+3，+6) 标定模型2 (-6，-3] 标定模型6
[+6，+9) 标定模型3 (-9，-6] 标定模型7
[+9，+12) 标定模型4 (-12,-9] 标定模型8
[+12，+15] 标定模型5 [-15,-12] 标定模型9
如表2中所示，当转向角在(-3，+3)范围内时，对应的标定模型为标定模型1，当转向角在[+3，+6)范围内时，对应的标定模型为标定模型2；当转向角在[+6，+9)范围内时，对应的标定模型为标定模型3，当转向角在[+9，+12)范围内时，对应的标定模型为标定模型4，当转向角在[+12，+15]范围内时，对应的标定模型为标定模型5；当转向角在(-6，-3]范围内时，对应的标定模型为标定模型6；当转向角在(-9，-6]范围内时，对应的标定模型为标定模型7，当转向角在(-12,-9]范围内时，对应的标定模型为标定模型8，当转向角在[-15,-12]范围内时，对应的标定模型为标定模型9。
另外，需要说明的是，上述步骤301、302可以在上述步骤101之前执行，可以在上述步骤101之后执行，也可以与上述步骤101同时执行，在本公开中不作具体限定。
此外，可以将上述转向角与标定模型之间的对应关系存储在全景环视系统的相应存储模块中。具体来说，上述步骤102可以包括步骤：
首先，根据获取到的车辆的转向角信息，确定该转向角所属的转向角范围；然后，通过访问上述存储模块获取到与该转向角所属的转向角范围相对应的目标标定模型；最后，根据该目标标定模型，对各个图像采集装置采集到的图像分别进行处理，即，将各个图像采集装置采集到的图像嵌入到该目标标定模型中，从而得到在各个图像采集装置各自的有效照射区域内的图像。
示例地，上述获取到的转向角为+7度，全景环视系统首先确定该转向角+7度所属的转向角范围为[+6，+9)；然后，该全景环视系统通过访问上述存储模块获取到与该转向角范围相对应[+6，+9)的目标标定模型为标定模型3；最后，全景环视系统可以根据该标定模型3，对各个图像采集装置采集到的图像分别进行处理，即，将各个图像采集装置采集到的图像嵌入到该标定模型3中，从而得到在各个图像采集装置各自的有效照射区域内的图像。
又示例地，上述获取到的转向角为-9度，全景环视系统首先确定该转向角-9度所属的转向角范围为(-12,-9]；然后，该全景环视系统通过访问上述存储模块获取到与该转向角范围相对应(-12,-9]的目标标定模型为标定模型8；最后，全景环视系统可以根据该标定模型8，对各个图像采集装置采集到的图像分别进行处理，即，将各个图像采集装置采集到的图像嵌入到该标定模型8中，从而得到在各个图像采集装置各自的有效照射区域内的图像。
另外，需要说明的是，上述根据目标标定模型，对各个图像采集装置采集到的图像分别进行处理，以得到在各个图像采集装置各自的有效照射区域内的图像的方式属于本领域技术人员公知的，在本公开中不再赘述。
在步骤103中，根据获得的各个图像采集装置各自的有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
在本公开中，在得到在各个图像采集装置各自的有效照射区域内的图像后，将这些图像进行图像合成，从而得到车辆周边影像信息。
本公开的实施例提供的技术方案可以包括以下有益效果：根据获取到的车辆的转向角信息，确定出与该转向角信息相对应的标定模型，并根据该标定模型对分布在车辆四周的各个图像采集装置采集到的图像分别进行处理，以获得在各个图像采集装置各自的有效照射区域内的图像，进而通过图像合成技术来获得车辆周边影像信息。由于在确定各个图像采集装置各自的有效照射区域内的图像时，所采用的标定模型是与车辆的转向角相适应的，而非采用针对车辆处于某个固定姿态时(即，车辆处于某一转向角时)的固定标定模型，因而成功消除了车辆拐弯时的拐弯盲区，也不会造成视觉混乱，保证了车辆周边影像信息的完整性和准确性，进而提高了车辆的行车安全性。
图4A是根据另一示例性实施例示出的一种车辆周边影像合成方法的流程图。如图4A所示，上述方法还可以包括以下步骤104。
在步骤104中，显示车辆周边影像信息。
在本公开中，当获取到车辆周边影像信息后，可以将其传送至相应的显示装置(例如，抬头显示屏)，以在该显示装置中显示该车辆周边影像信息。这样，用户通过该显示装置即可获知车辆周边的环境信息，便于其及时发现异常情况以采取相应安全措施，进而提升了行车安全性。
另外，上述方法还可以包括：根据与转向角信息相对应的标定模型和车辆周边影像信息，合成车辆至少一侧的局部影像信息；或者根据车辆周边影像信息，从中截取车辆至少一侧的局部影像信息。这样，当用户需要了解车辆某一侧的局部影像信息时，通过切换显示装置即可获知到该侧的局部影像信息。
此外，为了便于日后查看，在获取到车辆周边影像信息、以及车辆至少一侧的局部影像信息后，可以将其存储在设定的影像存储区域中。
另外，由于图形采集装置采集到的图像可能存几何畸形问题，因此，在根据与转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理的步骤之前，即在上述步骤102之前，可以对多个图像采集装置采集到的图像进行图像校正，这样，上述步骤102可以根据与转向角信息相对应的标定模型，对上述校正后的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像。由此，可以提升后续合成的车辆周边影像信息的准确性。具体来说，可以通过如图4B中所示的步骤105来进行图像校正。
在步骤105中，对多个图像采集装置采集到的图像进行图像校正。
在一种实施方式中，全景环视系统可以根据图像采集装置内预设的畸变校正调节参数以及预设的畸变模型来校正图像的几何畸形问题。具体来说，可以通过如下等式(1)所示的畸变模型来完成图像校正，即：
其中，(x,y)为所述图像采集装置采集到的图像上的任一点；aij、bij为预设的畸变校正调节参数；(u,v)为所述图像采集装置采集到的图像上的任一点(x,y)经校正后的对应点。
另外，需要说明的是，上述步骤301、302可以在上述步骤105之前执行，可以在上述步骤105之后执行，也可以与上述步骤105同时执行，在本公开中不作具体限定。并且，虽然在本公开中以卡车为例进行说明，但是本公开提供的上述方法不局限于卡车，也可以适用于其他类型的车辆，如轿车、列车等。
图5是根据一示例性实施例示出的一种车辆周边影像合成装置的框图。参照图5，该装置500可以包括：获取模块501，用于获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；处理模块502，用于根据与所述获取模块501获取到的所述转向角信息相对应的标定模型，对所述获取模块获取到的各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；图像合成模块503，用于根据所述处理模块502获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
可选地，多个图像采集装置的总照射区域覆盖车辆周边全部区域。
可选地，上述装置500还可以包括：建立模块，用于在所述处理模块502根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；存储模块，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
图6是根据另一示例性实施例示出的一种车辆周边影像合成装置的框图。参照图6，上述装置500还可以包括：校正模块504，用于在所述处理模块502根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，对所述多个图像采集装置采集到的图像进行图像校正。
可选地，不同的转向角范围对应不同的标定模型。
图7是根据另一示例性实施例示出的一种车辆周边影像合成装置的框图。参照图7，上述装置500还可以包括：显示模块505，用于显示所述车辆周边影像信息。
图8是根据一示例性实施例示出的一种用于车辆周边影像合成的标定模型的建立装置的框图。参照图8，该装置800可以包括：建立模块801，用于针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；存储模块802，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种车辆，所述车辆包括：转向角传感器，用于检测所述车辆的转向角；多个图像采集装置，设置在所述车辆四周，用于进行图像采集；以及本公开提供的所述车辆周边影像合成装置500。
可选地，所述多个图像采集装置均为超广角鱼眼摄像头。
可选地，在所述多个图像采集装置的周围均设置有近程红外线LED灯。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (16)

1.一种车辆周边影像合成方法，其特征在于，包括：
获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；
根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；
根据获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
2.根据权利要求1所述的方法，其特征在于，所述多个图像采集装置的总照射区域覆盖车辆周边全部区域。
3.根据权利要求1所述的方法，其特征在于，在所述根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理的步骤之前，所述方法还包括：
对所述多个图像采集装置采集到的图像进行图像校正。
4.根据权利要求1所述的方法，其特征在于，在所述根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理的步骤之前，所述方法还包括：
针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
5.根据权利要求1-4中任一项所述的方法，其特征在于，不同的转向角范围对应不同的标定模型。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
显示所述车辆周边影像信息。
7.一种用于车辆周边影像合成的标定模型的建立方法，所述标定模型用于指示安装在所述车辆四周的各个图像采集装置的有效照射区域，其特征在于，包括：
针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
8.一种车辆周边影像合成装置，其特征在于，包括：
获取模块，用于获取所述车辆的转向角信息以及安装在所述车辆四周的多个图像采集装置采集到的图像；
处理模块，用于根据与所述获取模块获取到的所述转向角信息相对应的标定模型，对所述获取模块获取到的各个图像采集装置采集到的图像分别进行处理，获得在各个图像采集装置各自的有效照射区域内的图像，其中，所述标定模型用于指示各个图像采集装置的有效照射区域；
图像合成模块，用于根据所述处理模块获得的所述有效照射区域内的图像进行图像合成，获得车辆周边影像信息。
9.根据权利要求8所述的装置，其特征在于，所述多个图像采集装置的总照射区域覆盖车辆周边全部区域。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
校正模块，用于在所述处理模块根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，对所述多个图像采集装置采集到的图像进行图像校正。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
建立模块，用于在所述处理模块根据与所述转向角信息相对应的标定模型，对各个图像采集装置采集到的图像分别进行处理之前，针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储模块，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
12.根据权利要求8-11中任一项所述的装置，其特征在于，不同的转向角范围对应不同的标定模型。
13.根据权利要求8-11中任一项所述的装置，其特征在于，所述装置还包括：
显示模块，用于显示所述车辆周边影像信息。
14.一种用于车辆周边影像合成的标定模型的建立装置，所述标定模型用于指示安装在所述车辆四周的各个图像采集装置的有效照射区域，其特征在于，包括：
建立模块，用于针对车辆的多个待标定转向角，分别建立每个待标定转向角所对应的标定模型；
存储模块，用于存储每个所述待标定转向角与所对应的标定模型之间的对应关系。
15.一种车辆，其特征在于，所述车辆包括：
转向角传感器，用于检测所述车辆的转向角；
多个图像采集装置，设置在所述车辆四周，用于进行图像采集；以及
根据权利要求8-13中任一项所述的车辆周边影像合成装置。
16.根据权利要求15所述的车辆，其特征在于，在所述多个图像采集装置的周围均设置有近程红外线LED灯。
CN201711107769.3A 2017-11-10 2017-11-10 影像合成方法及装置、标定模型建立方法及装置及车辆 Pending CN108099789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711107769.3A CN108099789A (zh) 2017-11-10 2017-11-10 影像合成方法及装置、标定模型建立方法及装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711107769.3A CN108099789A (zh) 2017-11-10 2017-11-10 影像合成方法及装置、标定模型建立方法及装置及车辆

Publications (1)

Publication Number Publication Date
CN108099789A true CN108099789A (zh) 2018-06-01

Family

ID=62206838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711107769.3A Pending CN108099789A (zh) 2017-11-10 2017-11-10 影像合成方法及装置、标定模型建立方法及装置及车辆

Country Status (1)

Country Link
CN (1) CN108099789A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108621948A (zh) * 2018-06-26 2018-10-09 杭州车厘子智能科技有限公司 车辆全景环视系统及全景环视图像生成方法
CN109204141A (zh) * 2018-09-19 2019-01-15 深圳市众鸿科技股份有限公司 车辆行驶过程中的预警方法与装置
CN111942288A (zh) * 2019-05-14 2020-11-17 欧特明电子股份有限公司 车辆影像系统及使用车辆影像的车辆定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299811A (zh) * 2008-06-04 2008-11-05 上海世科嘉车辆技术研发有限公司 一种动态倒车影像辅助系统
CN102510475A (zh) * 2011-10-21 2012-06-20 上海交通大学 基于红外标定的汽车全景成像装置及方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
WO2015013311A1 (en) * 2013-07-22 2015-01-29 Johnson Controls Technology Company Vehicle imaging system
US20150326782A1 (en) * 2014-05-08 2015-11-12 Hyundai Mobis Co., Ltd. Around view system
CN205601702U (zh) * 2016-03-21 2016-09-28 吉林大学 挂车倒车辅助系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299811A (zh) * 2008-06-04 2008-11-05 上海世科嘉车辆技术研发有限公司 一种动态倒车影像辅助系统
CN102510475A (zh) * 2011-10-21 2012-06-20 上海交通大学 基于红外标定的汽车全景成像装置及方法
WO2015013311A1 (en) * 2013-07-22 2015-01-29 Johnson Controls Technology Company Vehicle imaging system
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
US20150326782A1 (en) * 2014-05-08 2015-11-12 Hyundai Mobis Co., Ltd. Around view system
CN205601702U (zh) * 2016-03-21 2016-09-28 吉林大学 挂车倒车辅助系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108621948A (zh) * 2018-06-26 2018-10-09 杭州车厘子智能科技有限公司 车辆全景环视系统及全景环视图像生成方法
CN109204141A (zh) * 2018-09-19 2019-01-15 深圳市众鸿科技股份有限公司 车辆行驶过程中的预警方法与装置
CN111942288A (zh) * 2019-05-14 2020-11-17 欧特明电子股份有限公司 车辆影像系统及使用车辆影像的车辆定位方法

Similar Documents

Publication Publication Date Title
JP7380180B2 (ja) 固体撮像素子、撮像装置、撮像方法および撮像プログラム
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
US8130270B2 (en) Vehicle-mounted image capturing apparatus
CN104321224B (zh) 具有摄像机监控系统的机动车
CN111369439A (zh) 基于环视的自动泊车车位识别全景环视图像实时拼接方法
JP4706466B2 (ja) 撮像装置
US20160098815A1 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN108765496A (zh) 一种多视点汽车环视辅助驾驶系统及方法
JP4258539B2 (ja) 複数画角カメラ
CN113271400A (zh) 成像装置和电子设备
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US10187590B2 (en) Multi-camera vehicle vision system with image gap fill
US20070263090A1 (en) Method and Apparatus for Automatic Exposure of an In-Vehicle Camera
EP1179958A4 (en) IMAGE PROCESSING DEVICE AND MONITORING SYSTEM
CN108099789A (zh) 影像合成方法及装置、标定模型建立方法及装置及车辆
US20160005316A1 (en) Around view system and operating method thereof
US20190253623A1 (en) Image processing method and device supporting multiple modes, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
JP2005191962A (ja) 移動体周囲監視装置および移動体
CN102845059A (zh) 用于在车辆中的显示装置上显示图像的方法、驾驶员辅助系统和车辆
CN109657638A (zh) 障碍物定位方法、装置和终端
CN103863192A (zh) 一种车载全景成像辅助方法及其系统
EP3787278A1 (en) Wide-angle image providing system
CN112069862A (zh) 目标检测方法和装置
CN101540822A (zh) 高分辨率大视场航空成像装置及其方法
JP2011049735A (ja) 車両周辺画像提供装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 102206 Beijing Changping District Shahe town Shayang Road, Niu Niu Wan Village North

Applicant after: Beiqi Futian Automobile Co., Ltd.

Address before: 102206, Beijing, Shahe Town, Changping District Road, sand Yang

Applicant before: Beiqi Futian Automobile Co., Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601

RJ01 Rejection of invention patent application after publication