CN111667538B - 一种全景环视系统的标定方法、装置及系统 - Google Patents

一种全景环视系统的标定方法、装置及系统 Download PDF

Info

Publication number
CN111667538B
CN111667538B CN202010312448.2A CN202010312448A CN111667538B CN 111667538 B CN111667538 B CN 111667538B CN 202010312448 A CN202010312448 A CN 202010312448A CN 111667538 B CN111667538 B CN 111667538B
Authority
CN
China
Prior art keywords
around
panoramic
target
looking
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010312448.2A
Other languages
English (en)
Other versions
CN111667538A (zh
Inventor
段福海
李书利
高波
高通
魏宏
范志超
许东春
郝鹏
马炳旭
杨建长
徐荣昌
王冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202010312448.2A priority Critical patent/CN111667538B/zh
Publication of CN111667538A publication Critical patent/CN111667538A/zh
Priority to PCT/CN2021/088125 priority patent/WO2021213326A1/zh
Priority to EP21793161.7A priority patent/EP4068212A4/en
Priority to US17/758,144 priority patent/US20230032613A1/en
Application granted granted Critical
Publication of CN111667538B publication Critical patent/CN111667538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种全景环视系统的标定方法、装置及系统，包括：在接收到标定启动操作的情况下，生成投射指令，并将投射指令发送至投影设备控制模块；接收多个环视摄像头采集的多张目标照片，多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；根据多张目标照片，生成环视摄像头的目标标定数据。本发明中，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，并根据包含预设图案的多张目标照片，生成环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，使得用户只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。

Description

一种全景环视系统的标定方法、装置及系统
技术领域
本发明涉及汽车技术领域，特别涉及一种全景环视系统的标定方法、装置及系统。
背景技术
随着汽车保有量的增加，交通环境的日益复杂，为了安全的进行泊车操作，驾驶员对泊车辅助系统的功能和性能有着更高的需求，车载360度全景环视系统可以给驾驶员提供车辆周围360度的实时图像，从而消除视野盲区，使泊车过程更加安全、便捷。
现有的全景环视系统，是通过将车身四周的多个摄像头采集到的图像，根据预先标定好的相机参数，将拍摄图像无缝拼接成一幅俯视画面，从而为驾驶员提供车辆周围360度的实时图像，同时，因摄像头本身的制造过程和车辆装配过程均存在误差，为保证图像拼接效果，一个车型的不同车辆不能采用一组相机参数作为标定数据，每辆车都需要单独标定，从而确定每辆车对应的标定数据，现有的标定方法是在车辆生产线或4S店布置专用的标定场景对车辆进行标定，需要使用标定专用的场地和设备，且对场景布置的精度要求较高。
但是，在目前的方案中，当车辆全景环视系统的摄像头或车辆的状态发生变化，客户需要对全景环视系统图像拼接的标定数据重新进行标定时，只能花费较长的时间前往4S店对车辆进行标定，同时，4S店的标定人员也需要消耗较多的时间布置专用的标定场地和设备，从而进一步造成时间和人员的浪费。
发明内容
有鉴于此，本发明旨在提出一种全景环视系统的标定方法、装置及系统，以解决现有技术中用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，需要前往4S店，利用专用的标定场地和设备进行标定，从而造成时间和人员浪费的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种全景环视系统的标定方法，应用于所述全景环视系统中的环视控制器，所述方法包括：
在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；
根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
一种全景环视系统的标定方法，应用于所述全景环视系统中的投影设备控制模块，所述方法包括：
在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。
一种全景环视系统的标定装置，应用于所述全景环视系统中的环视控制器，所述装置包括：
第一生成模块，用于在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
采集模块，用于控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；
第二生成模块，用于根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
标定模块，用于根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
一种全景环视系统的标定装置，应用于所述全景环视系统中的投影设备控制模块，所述装置包括：
第一投射模块，用于在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。
一种全景环视系统的标定系统，环视控制器和投影设备控制模块，其特征在于，所述环视控制器和所述投影设备控制模块之间通信连接；
所述环视控制器在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
所述投影设备控制模块在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案；
所述环视控制器控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；
所述环视控制器根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
所述环视控制器根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
相对于现有技术，本发明所述的一种全景环视系统的标定方法、装置及系统具有以下优势：
本发明实施例提供的一种全景环视系统的标定方法、装置及系统，包括：在接收到标定启动操作的情况下，生成投射指令，并将投射指令发送至全景环视系统中的投影设备控制模块；控制多个环视摄像头进行图像采集，并接收多个环视摄像头采集的多张目标照片，多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；根据多张目标照片，生成环视摄像头的目标标定数据；根据目标标定数据，将多张目标照片进行标定和拼接，得到全景环视图像，完成全景环视系统的标定操作。本发明中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种全景环视系统的标定方法的步骤流程图；
图2为本发明实施例所述的一种全景环视系统的结构示意图；
图3为本发明实施例所述的一种预设图案示意图；
图4为本发明实施例所述的另一种全景环视系统的标定方法的步骤流程图；
图5为本发明实施例所述的一种全景环视系统的标定方法的交互步骤流程图；
图6为本发明实施例所述的一种标定启动操作的示意图；
图7为本发明实施例所述的另一种标定启动操作的示意图；
图8为本发明实施例所述的目标照片的示意图；
图9为本发明实施例所述的另一种全景环视系统的标定方法的交互步骤流程图；
图10为本发明实施例所述的一种标定系统的结构图；
图11为本发明实施例所述的一种全景环视系统的标定装置的结构框图；
图12为本发明实施例所述的另一种全景环视系统的标定装置的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
参照图1，示出了本发明实施例所述的一种全景环视系统的标定方法的步骤流程图。
本发明实施例提供的一种全景环视系统的标定方法，应用于全景环视系统中的环视控制器。
步骤101，在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块。
在该步骤中，全景环视系统中的环视控制器可以在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块。
具体的，参照图2，示出了本发明实施例所述的一种全景环视系统的结构示意图，所述全景环视系统可以包括环视控制器10、投影设备控制模块20、车辆的多媒体主机30、车辆投影设备40和多个环视摄像头50，其中，所述环视控制器10可以在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至投影设备控制模块20，以供投影设备控制模块20控制车辆投影设备40进行投影，从而在车辆周边的地面上生成预设图案。
其中，所述标定启动操作可以是环视控制器10通过车辆的多媒体主机30接收的用户输入的用于启动标定操作的启动操作。
步骤102，控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案。
在该步骤中，全景环视系统中的环视控制器可以控制车辆上的多个环视摄像头进行图像采集，并接收多个环视摄像头采集的多张目标照片，其中，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案。
具体的，参照图2，投影设备控制模块20在接收到环视控制器10发送的投射指令之后，可以控制车辆投影设备40进行投影，从而在车辆周边的地面上生成预设图案，进一步的，环视控制器10可以控制车辆上的多个环视摄像头50对车辆周边进行图像采集，从而采集到包括车辆投影设备40在车辆周边的地面上投射出的预设图案的多张目标图片。
在本发明实施例中，车辆的全景环视系统包括多个环视摄像头，所述多个环视摄像头的数目以确保能够采集到车辆周围360度的实时图像为基准，从而可以根据多个环视摄像头采集到的多张目标照片进行标定和拼接之后获得的全景环视图像，是车辆周围360度的实时图像，用户可以利用该全景环视图像消除视野盲区，使泊车过程更加安全、便捷。
例如，所述环视摄像头包括分别安装在车头位置、车位位置和车辆左右后视镜下方的四路鱼眼摄像头，同时拍摄车身周围四路图像，每一路鱼眼摄像头拍摄的目标照片中包含部分预设图案，将四路鱼眼摄像头拍摄的目标照片进行处理后拼接得到的照片中包含了全部的预设图案中。
进一步的，所述预设图案可以是包含直线、圆弧等规则形状的图案，参照图3，示出了本发明实施例所述的一种预设图案示意图，如图3所示，车辆投影设备在车辆周边的地面上投射出的预设图案60包括多条具有交点的直线，所述预设图案60中包含有四条长度为8200毫米，线宽为100毫米，且与X轴平行的直线，包含八条长度为1200毫米，线宽为100毫米，且与Y轴平行的直线，需要说明的是，预设图案60的具体形状、尺寸可根据具体车型参数进行设计。
其中，所述车辆投影设备可以是车辆本身带有的镭射灯，很多车型的左右外后视镜下方配备有镭射灯，在一定条件下可以在地面投影出车辆品牌、车型等标志信息，但是仅作为装饰使用。镭射灯控制模块在接收到环视系统发送的投射指令之后，可以控制镭射灯的电流大小，从而控制镭射灯以一定的亮度和颜色在车辆周边的地面上投射出的预设图案。
步骤103，根据所述多张目标照片，生成所述环视摄像头的目标标定数据。
在该步骤中，全景环视系统中的环视控制器可以根据多个环视摄像头采集得到的多张目标照片，生成环视摄像头的目标标定数据。
具体的，所述目标标定数据可以包括所述环视摄像头的外参，即所述环视摄像头的相机坐标系与地面坐标系之间的变换关系，也即所述环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵和平移矩阵，从而可以根据所述变换关系，将车辆投影设备在车辆周边的地面上投射出的预设图案在地面坐标系中的坐标，转换成相机坐标系中多个像素的坐标，从而可以准确的将预设图案显示在全景环视图像中，用户就可以通过观察全景环视图像，获得车辆投影设备在车辆周边的地面上投射出的预设图案的信息。
参照图3，所述地面坐标系O-xyz可以是以车辆所在的地平面为XY平面，以车辆的车身中轴线与车身前轴线的交点O为原点，以沿所述车身中轴线指向车头的方向为X轴正方向，以沿所述车身前轴线指向车辆左侧车身的方向为Y轴正方向，所述预设图案中各直线的坐标，和各直线相交产生的交点的坐标可以根据图3中标示的尺寸确定，例如，其中A点在地面坐标系中的坐标为(1925，1725，0)。
所述相机坐标系Ow-xwywzw可以是以摄像头光学中心为原点，光轴为Z轴建立的坐标系，若设地面坐标系O-xyz中任意一点坐标为(x0，y0，z0)T，其在环视摄像头的相机坐标系中的坐标为(x，y，z)T，则有：
其中，R0为环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵，t0为环视摄像头的相机坐标系相对于地面坐标系的平移矩阵。
因而，可以根据多个环视摄像头采集得到的目标照片，确定目标照片中的某个像素特征点在相机坐标系中的坐标，并根据预先设置的预设图案，确定该像素特征点在地面坐标系中的坐标，从而确定环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵和平移矩阵，从而生成环视摄像头的目标标定数据。
步骤104，根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
在该步骤中，全景环视系统中的环视控制器可以根据上述步骤确定的目标标定数据，对所述多张目标照片进行标定，即对每一个环视摄像头采集到的目标照片，根据该环视摄像头对应的目标标定数据，将目标照片中的像素点在相机坐标系中的坐标，转换成该像素点在地面坐标系中的坐标，进一步，可以根据相邻环视摄像头拍摄得到的目标照片中的像素特征点在相机坐标系中的位置重叠的特性，将相邻环视摄像头拍摄得到的目标照片进行图像拼接，可以实现相邻环视摄像头在视场重叠区域图像的无缝拼接。
进一步的，将环视摄像头采集的多张目标照片根据目标标定数据进行标定和拼接，最终得到车辆周围360度的实时全景环视图像，从而完成全景环视系统的标定操作。
综上所述，本发明实施例提供的一种全景环视系统的标定方法、装置及系统，应用于全景环视系统中的环视控制器，包括：在接收到标定启动操作的情况下，生成投射指令，并将投射指令发送至全景环视系统中的投影设备控制模块；控制多个环视摄像头进行图像采集，并接收多个环视摄像头采集的多张目标照片，多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；根据多张目标照片，生成环视摄像头的目标标定数据；根据目标标定数据，将多张目标照片进行标定和拼接，得到全景环视图像，完成全景环视系统的标定操作。本发明实施例中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
参照图4，示出了本发明实施例所述的另一种全景环视系统的标定方法的步骤流程图。
本发明实施例提供的一种全景环视系统的标定方法，应用于全景环视系统中的投影设备控制模块。
步骤201，在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。
在该步骤中，全景环视系统中的投影设备控制模块可以在接收到环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，从而在车辆周边的地面上生成预设图案，以供车辆的环视摄像头在进行图像采集时得到的多张目标照片中，包括车辆投影设备在车辆周边的地面上投射出的预设图案。
其中，所述车辆投影设备可以是车辆本身带有的镭射灯，很多车型的左右外后视镜下方配备有镭射灯，在一定条件下可以在地面投影出车辆品牌、车型等标志信息，但是仅作为装饰使用。镭射灯控制模块在接收到环视系统发送的投射指令之后，可以控制镭射灯的电流大小，从而控制镭射灯以一定的亮度和颜色在车辆周边的地面上投射出的预设图案。
进一步的，所述预设图案可以是包含直线、圆弧等规则形状的图案，便于环视控制器根据所述预设图案生成目标标定数据，从而对环视摄像头采集的照片进行标定和拼接，预设图案的具体形状、尺寸可根据具体车型参数进行设计。
综上所述，本发明实施例提供的一种全景环视系统的标定方法、装置及系统，应用于全景环视系统中的投影设备控制模块，包括：在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。本发明实施例中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
参照图5，示出了本发明实施例所述的一种全景环视系统的标定方法的交互步骤流程图。
本发明实施例提供的一种全景环视系统的标定方法，应用于一种包括环视控制器和投影设备控制模块的全景环视系统的标定系统。
步骤301，环视控制器在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块。
该步骤具体可以参照上述步骤101，此处不再赘述。
可选的，所述标定启动操作包括：用户输入的针对所述标定操作的启动操作、用户输入的针对所述标定操作的确认启动操作，以及在检测到初始全景环视图像的形变量超过预设形变量的情况下生成的启动操作中的任意一种或多种。
具体的，所述用户输入的针对所述标定操作的启动操作，可以是用户通过车辆的多媒体主机输入的开始进行标定操作的启动操作，例如，参照图6，示出了本发明实施例所述的一种标定启动操作的示意图，如图6所示，在车辆的多媒体主机设置选项菜单下有全景式监控影像系统(Around View Monitor，AVM)设置子菜单，用户可以通过点击AVM子菜单下的“进入标定”选项开始标定，即可以将用户点击AVM子菜单下的“进入标定”选项的操作，作为用户输入的针对所述标定操作的启动操作。
进一步的，所述用户输入的针对所述标定操作的确认启动操作，可以是用户通过车辆的多媒体主机输入的开始进行标定操作的确认启动操作，例如，参照图7，示出了本发明实施例所述的另一种标定启动操作的示意图，如图7所示，在车辆的多媒体主机设置选项菜单下有AVM设置子菜单，用户可以通过点击AVM子菜单下的“进入标定”选项进入“标定注意事项”界面，在该界面中，显示有车辆进行标定操作的各项注意事项，用户可以通过点击“标定注意事项”界面中的“确定”按钮开始标定，即可以将用户点击“标定注意事项”界面中的“确定”按钮的操作，作为用户输入的针对所述标定操作的确认启动操作。
进一步的，车辆也可以根据车辆的状态，自动进行标定操作，例如，当车辆姿态发生变化时，如皮卡车在后备箱装满货物后，车辆的悬架变低，导致车辆上安装的环视摄像头整体偏低，使得根据环视摄像头采集到的照片拼接后得到的全景环视图像中车辆四周的物体或地面上的线等参考物变形严重，导致全景环视图像的拼接效果不佳，无法给驾驶员提供准确的图像信息辅助泊车过程，从而需要临时对车辆的环视摄像头进行重新标定。具体的，全景环视控制器在检测到初始全景环视图像中的参考物的形变量超过预设形变量时，开始进行标定操作，即可以将在检测到初始全景环视图像的形变量超过预设形变量的情况下生成的启动操作作为标定启动操作。
步骤302，投影设备控制模块在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。
可选的，该步骤具体可以包括以下步骤：
子步骤3021，投影设备控制模块接收车辆所处环境的环境信息。
在该步骤中，投影设备控制模块在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，可以接收车辆的传感器检测到的车辆所处环境的环境信息。
具体的，所述环境信息可以包括车辆中的光线传感器检测到的车辆所处环境的亮度。
子步骤3022，投影设备控制模块根据预先设置的环境信息与投射参数之间的对应关系，确定与所述环境信息对应的目标投射参数。
在该步骤中，投影设备控制模块可以根据预先设置的环境信息与投射参数之间的对应关系，确定与所述环境信息对应的目标投射参数。
具体的，所述投射参数可以包括车辆投影设备的输出电流和输出颜色，即可以根据车辆中的光线传感器检测到的车辆所处环境的亮度，确定与所述车辆所处环境的亮度对应的车辆投影设备的输出电流和输出颜色，从而控制车辆投影设备进行投射时输出光的亮度及颜色，达到可以根据车辆周围环境的亮度确定车辆投影设备进行投射的亮度和颜色。
子步骤3023，投影设备控制模块控制所述车辆投影设备以所述目标投射参数进行投射。
在该步骤中，投影设备控制模块可以控制车辆投影设备以上述步骤中确定的目标投射参数进行投射。
例如，当车辆周围环境的亮度较暗时，可以控制车辆投影设备以较低的亮度，投射白色的预设图案；当车辆周围环境的亮度较亮时，可以控制车辆投影设备以较高的亮度，投射红的预设图案，从而使全景环视系统能够通过自身对外界环境的亮度识别，控制车辆投影设备根据不同环境进行投射，提高环视摄像头对车辆投影设备投射的预设图案的采集效率，并且提高环视控制器根据环视摄像头采集到的目标照片生成目标标定数据的成功率。
步骤303，环视控制器控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案。
该步骤具体可以参照上述步骤102，此处不再赘述。
步骤304，环视控制器根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像。
在本发明实施例中，所述初始标定数据包括：地面坐标系与相机坐标系之间的变换关系，即所述环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵和平移矩阵，从而可以根据所述变换关系，将车辆投影设备在车辆周边的地面上投射出的预设图案在地面坐标系中的坐标，转换成相机坐标系中多个像素的坐标。
在该步骤中，环视控制器可以根据预先存储的初始标定数据，将多个环视摄像头采集得到的多张目标照片进行标定和拼接，得到初始全景环视图像。
其中，所述初始标定数据可以为车辆在出厂时，利用专用的工厂下线标定装置对车辆的环视摄像头进行标定得到的标定数据，若在后续的使用过程中，车辆的姿态或环视摄像头的位置等未发生改变，则利用该初始标定数据对多个环视摄像头采集得到的多张目标照片进行标定和拼接后得到初始全景环视图像，可以真实的反映车辆周边的环境，但是，若车辆的姿态或环视摄像头的位置等发生改变，则利用该初始标定数据对多个环视摄像头采集得到的多张目标照片进行标定和拼接后得到初始全景环视图像，相对于车辆周边的环境图像会产生较为严重的位错，无法通过该初始全景环视图像给驾驶员提供准确的图像信息辅助泊车过程。
可选的，该步骤具体可以包括以下步骤：
子步骤3041，环视控制器确定所述多张目标照片中的特征点在所述相机坐标系中的第一坐标。
在该步骤中，环视控制器可以首先确定所述多张目标照片中的特征点在所述相机坐标系中的第一坐标。
参照图8，示出了本发明实施例所述的一种目标照片的示意图，如图8所示的目标照片，对应图3中安装在车辆左侧后视镜下方的环视摄像头，或者安装在车辆后侧的环视摄像头采集到的车辆投影设备在车辆周边的地面上投射的预设图案60中的B部分。
具体的，所述特征点可以是目标照片的预设图案60中的直线上的各个特征点，以及各条直线相交后产生的角点，进一步的，可以确定直线上的各个特征点的坐标，并通过角点检测法检测得到所述目标照片中的多个角点在相机坐标系中的第一坐标，如图8所示，目标照片中各条具有线宽的直线相交产生的角点可以包括11、12、13、14……等16个角点。
所述角点检测法可以是Harris、FAST、Moravec等算法。
子步骤3042，环视控制器根据所述地面坐标系与相机坐标系之间的变换关系对所述多张目标照片进行标定，确定所述特征点在所述地面坐标系中的第二坐标。
在该步骤中，环视控制器可以根据所述地面坐标系与相机坐标系之间的变换关系，对所述多张目标照片进行标定，即根据所述多张目标照片中的特征点在相机坐标系中的第一坐标，利用所述变换关系，确定所述特征点在地面坐标系中的第二坐标。
例如，若所述相机坐标系为Ow-xwywzw，该相机坐标系可以是以摄像头光学中心为原点，光轴为Z轴建立的坐标系，所述地面坐标系为O-xyz，该地面坐标系可以是以车辆所在的地平面为XY平面，以车辆的车身中轴线与车身前轴线的交点O为原点，以沿所述车身中轴线指向车头的方向为X轴正方向，以沿所述车身前轴线指向车辆左侧车身的方向为Y轴正方向建立的坐标系。进一步的，若根据目标照片，确定所述目标照片中的角点11在所述相机坐标系中的第一坐标为(x，y，z)T，则可以根据所述地面坐标系与相机坐标系之间的变换关系，即环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵R0，和环视摄像头的相机坐标系相对于地面坐标系的平移矩阵t0，确定该角点11在地面坐标系中的第二坐标为(x0，y0，z0)T，其中：
同样的，也可以根据目标照片中预设图案中的直线上的各个特征点在所述相机坐标系中的第一坐标，利用所述变换关系，确定预设图案中的直线上的各个特征点在地面坐标系中的第二坐标。
子步骤3043，环视控制器将所述多张目标照片根据所述第二坐标进行拼接，得到所述初始全景环视图像。
在该步骤中，环视控制器可以根据所述多张目标照片中特征点在所述地面坐标系中的第二坐标，对多个环视摄像头采集到的多张目标照片进行拼接，可以根据相邻环视摄像头拍摄得到的目标照片中的像素特征点在相机坐标系中的位置重叠的特性，将相邻环视摄像头拍摄得到的目标照片进行图像拼接，从而可以实现相邻环视摄像头在视场重叠区域图像的无缝拼接。
例如，参照图3和图8，安装在车辆左侧后视镜下方的环视摄像头和安装在车辆后侧的环视摄像头，均能够采集到车辆投影设备在车辆周边的地面上投射的预设图案60中的B部分，即安装在车辆左侧后视镜下方的环视摄像头和安装在车辆后侧的环视摄像头采集得到的目标照片中均含有B部分对应的第二坐标，因而，在对安装在车辆左侧后视镜下方的环视摄像头和安装在车辆后侧的环视摄像头采集得到的目标照片进行拼接时，可以根据两张目标照片中位置重叠B部分的第二坐标，将具有相同第二坐标的照片中的像素点进行重叠设置，从而完成目标照片的拼接，得到车辆周围360度的初始全景环视图像。
步骤305，环视控制器根据所述初始全景环视图像与所述预设图案，确定修正参数。
可选的，该步骤具体可以包括以下步骤：
子步骤3051，环视控制器确定所述初始全景环视图像中与所述预设图案存在偏差的目标特征点的第二坐标。
在该步骤中，环视控制器可以根据所述初始全景环视图像与预设图案，确定初始全景环视图像中与所述预设图案存在偏差的目标特征点，并进一步确定所述目标特征点的第二坐标。
具体的，参照图3，若所述预设图案为多条直线，则可以根据霍夫变换检测法，检测通过多张目标照片拼接后得到的初始全景环视图像中的拟合线是否为直线，若检测到所述拟合线不是直线，则说明初始全景环视图像中，可能因为车辆的姿态或环视摄像头的位置等发生改变，使得利用初始标定数据对多个环视摄像头采集得到的多张目标照片进行标定和拼接后得到初始全景环视图像，相对于车辆周边的环境图像会产生较为严重的位错，从而产生与所述预设图案存在偏差的目标特征点。
优选地，在确定所述初始全景环视图像中与所述预设图案存在偏差的目标特征点之前，可以对所述目标照片进行去噪和二值化处理，去除目标照片中的干扰信息，使得根据所述目标照片生成的初始全景环视图像保留了原始图像的主要特征，又使信息量得到了极大的压缩。
子步骤3052，环视控制器调整所述目标特征点的第二坐标，使所述初始全景环视图像调整至与所述预设图案相匹配，并将所述目标特征点的第二坐标在所述调整过程中的调整值确定为所述修正参数。
在该步骤中，环视控制器可以调整初始全景环视图像中存在偏差的目标特征点的第二坐标，使所述初始全景环视图像调整至与所述预设图案相匹配，并将所述目标特征点的第二坐标在所述调整过程中的调整值确定为所述修正参数。
具体的，参照图3，若所述预设图案为多条直线，在检测到通过多张目标照片拼接后得到的初始全景环视图像中的拟合线不是直线的情况下，将初始全景环视图像中不在一条直线上的，目标特征点的位置进行调整，使得调整后的拟合线称为一条直线，并将所述目标特征点的第二坐标在调整过程中的调整值确定为所述修正参数。
优选地，可以依据安装在车辆左/右侧后视镜下方的环视摄像头，识别相对于平行于X轴的直线产生偏移的目标特征点个数，以及所述目标特征点发生偏移的像素距离，例如，若检测到初始全景环视图像中存在n个目标特征点相对于直线70，沿Y轴的负方向发生了偏移，其中一个目标特征点相对于直线70沿Y轴的负方向偏移了一个像素，因此，需要将该目标特征点沿Y轴的正方向调整一个像素，则针对该目标特征点的修正参数，为沿Y轴的正方向调整一个像素。
需要说明的是，根据初始全景环视图像和预设图案的比例关系，确定一个像素在地面坐标系代表距离为s毫米，则说明该偏移的目标特征点在地面坐标系中偏移了s毫米。
步骤306，环视控制器利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储。
在该步骤中，环视控制器可以根据所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储。
具体的，环视控制器可以将初始标定数据中环视摄像头的外参，即环视摄像头的相机坐标系相对于地面坐标系的旋转矩阵R0，和环视摄像头的相机坐标系相对于地面坐标系的平移矩阵t0，根据所述修正参数进行修正，生成环视摄像头的目标标定数据R1和t1并存储。
在本发明实施例中，可以将所述目标标定数据和初始标定数据通过标定数据保存模块存储在双倍数据率同步动态随机存取存储器(Double Data Rate SynchronousDynamic Random Access Memory，DDR SDRAM)中，DDR SDRAM由于具有数据传输速度，因而其传输性能优越，可以快速的存储和提取目标标定数据。
步骤307，环视控制器根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
该步骤具体可以参照上述步骤104。
可选的，该步骤具体可以包括以下步骤：
子步骤3071，环视控制器根据所述目标标定数据，生成针对所述目标标定数据的应用请求。
在该步骤中，环视控制器可以根据所述目标标定数据，生成针对所述目标标定数据的应用请求，以提示用户是否应用该目标标定数据。
子步骤3072，环视控制器将所述应用请求发送至所述全景环视系统中的多媒体主机，以供所述多媒体主机展示所述应用请求，并在接收到针对所述应用请求的确认操作的情况下，所述多媒体主机生成针对所述应用请求的确认应用指令，并将所述确认应用指令发送至所述环视控制器。
在该步骤中，环视控制器可以将所述应用请求发送至所述全景环视系统中的多媒体主机，以供所述多媒体主机展示所述应用请求，从而提示用户是否应用该目标标定数据。
进一步的，若用户根据所述应用请求，通过所述多媒体主机选择了应用该目标标定数据，则说明用户针对所述应用请求进行了确认操作，因此，所述多媒体主机生成针对所述应用请求的确认应用指令，并将所述确认应用指令发送至所述环视控制器；若用户根据所述应用请求，通过所述多媒体主机选择了不应用该目标标定数据，则说明用户针对所述应用请求未进行确认操作，因此，所述多媒体主机不生成针对所述应用请求的确认应用指令。
子步骤3073，环视控制器在接收到所述确认应用指令的情况下，根据所述目标标定数据，将所述多张目标照片进行标定和拼接。
在该步骤中，若环视控制器接收到所述确认应用指令，则说明用户通过所述多媒体主机选择了应用该目标标定数据，因此，则根据所述目标标定数据，将所述多张目标照片进行标定和拼接。
子步骤3074，环视控制器在未接收到所述确认应用指令的情况下，根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接。
在该步骤中，若环视控制器未接收到所述确认应用指令，则说明用户通过所述多媒体主机选择了不应用该目标标定数据，因此，则根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接。
步骤308，环视控制器生成终止投射指令，并将所述终止投射指令发送至所述投影设备控制模块。
在该步骤中，环视控制器将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作之后，可以生成终止投射指令，并将所述终止投射指令发送至所述投影设备控制模块。
步骤309，投影设备控制模块在接收到所述环视控制器发送的终止投射指令的情况下，控制所述车辆投影设备停止投射。
在该步骤中，投影设备控制模块在接收到环视控制器发送的终止投射指令之后，可以停止向镭射灯提供电能，从而车辆控制投影设备。
综上所述，本发明实施例提供的一种全景环视系统的标定方法、装置及系统，包括：在接收到标定启动操作的情况下，生成投射指令，并将投射指令发送至全景环视系统中的投影设备控制模块；控制多个环视摄像头进行图像采集，并接收多个环视摄像头采集的多张目标照片，多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；根据多张目标照片，生成环视摄像头的目标标定数据；根据目标标定数据，将多张目标照片进行标定和拼接，得到全景环视图像，完成全景环视系统的标定操作。本发明实施例中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
此外，投影设备控制模块在控制车辆投影设备进行投射时，可以控制车辆投影设备根据不同的环境信息进行投射，从而提高环视摄像头对车辆投影设备投射的预设图案的采集效率，并且提高环视控制器根据环视摄像头采集到的目标照片生成目标标定数据的成功率。
参照图9，示出了本发明实施例所述的另一种全景环视系统的标定方法的交互步骤流程图。
本发明实施例提供的一种全景环视系统的标定方法，应用于一种包括环视控制器、投影设备控制模块和多媒体主机的全景环视系统的标定系统。
步骤S1，用户点击“进入标定”。
在该步骤中，用户可以通过点击车辆多媒体主机设置选项菜单下的AVM子菜单下的“进入标定”选项开始标定。
步骤S2，发送开始标定信号。
在该步骤中，多媒体主机在检测到用户点击“进入标定”之后，生成开始标定信号，并将所述开始标定信号通过车辆的控制器局域网络(Controller Area Network，CAN)发送至环视控制器。
步骤S3，系统检测无故障。
在该步骤中，环视控制器在接收到所述开始标定信号之后，可以进行标定前的故障检测，包括环视控制器自身有无故障、车辆投射控制模块有无故障等。
若检测到故障，则环视控制器向多媒体主机发送故障信号，多媒体主机接收到故障信号之后，根据所述故障信号在多媒体主机的显示界面中显示“检测到系统故障，无法进行标定”的提示信息，以提示用户车辆此时出现故障，无法进行标定操作，且多媒体主机可以在2秒后返回到主界面。若检测无故障，则执行步骤S4和S5，即发送开始标定的信号给多媒体主机和投影设备控制模块。
步骤S4，向多媒体主机提示开始标定。
步骤S5，向投影设备控制模块提示开始标定。
步骤S6，显示环视界面。
在该步骤中，多媒体主机在接收到开始标定的信号之后，在多媒体主机的显示界面中显示环视影像界面，即展示由全景环视系统生成的全景环视图像。
步骤S7，控制投影设备进行投影。
在该步骤中，投影设备控制模块在接收到开始标定的信号之后，可以控制投影设备的输入电流，从而进行投影。
步骤S8，反馈投影设备开启状态。
在该步骤中，投影设备控制模块在完成控制投影设备进行投影之后，可以将投影设备已经开启的状态通过车辆CAN反馈至环视控制器。
步骤S9，进行标定过程。
在该步骤中，环视控制器在收到投影设备已经开启的状态之后，开始进行标定过程。
具体的，所述标定过程可以包括以下步骤：
(1)图像采集；
在该步骤中，参照图10，示出了本发明实施例所述的一种标定系统的结构图，如图10所示，环视控制器在收到投影设备已经开启的状态之后，环视控制器可以控制所述标定系统中的图像采集模块利用车身四个方向的四路相机，同时拍摄车身周围四路图像，图像中包含了车辆投影设备投射的图案信息。
(2)标定特征数据识别和采集；
在该步骤中，所述车身四个方向的四路相机可以是鱼眼摄像头，车辆投影设备投射的图案信息中的直线在鱼眼摄像头原始的鱼眼图像中为曲线，通过俯视映射之后就变成了一条直线。
进一步的，标定系统中的标定特征数据识别、采集模块，可以分别将四张俯视图像进行去噪和二值化处理，并提取四张俯视图像上的直线和四条直线交点信息，将相邻摄像头采集到的俯视图像进行叠加，即将图像中的直线与直线进行叠加，直线的交点与直线的交点进行叠加。
进一步的，可以采用霍夫变换检测法检测四张俯视图像叠加后的拟合线是否为直线，若检测不在一条直线上，确定偏离所述直线的像素点个数，以及所述像素点发生偏移的距离，并将所述像素点的位置进行调整，使得调整后的拟合线称为一条直线时，所述像素点的调整值确定为修正参数。
(3)标定数据生成；
在该步骤中，标定系统中的标定数据生成模块，可以根据所述鱼眼摄像头的外参和所述修正参数，通过算法矩阵生成标定数据，为保证标定过程的效率，此过程保证在10秒内完成。
(4)标定数据保存。
在该步骤中，标定系统中的标定数据保存模块可以将生成的标定数据进行保存，同时，车辆出厂时保存车厂的标定数据，并作为默认标定数据也进行保存，所述默认标定数据在后续进行标定时不可被删除，从而若用户对于标定效果不满意，则可恢复到默认标定数据。
步骤S10，向多媒体主机提示标定完成。
在该步骤中，环视控制器在完成标定过程之后，可以向多媒体主机发送标定完成信号，从而提示多媒体主机标定完成。
步骤S11，向投影设备控制模块提示标定完成。
在该步骤中，环视控制器在完成标定过程之后，可以向投影设备控制模块发送标定完成信号，从而提示投影设备控制模块标定完成。
步骤S12，关闭投影设备。
在该步骤中，投影设备控制模块在接收到标定完成信号之后，可以关闭投影设备。
步骤S13，提示应用本次标定数据/不应用本次标定数据。
在该步骤中，多媒体主机在接收到标定完成信号之后，可以在多媒体主机的显示界面中提示用户是否应用本次标定数据，用户点击“应用”或“不应用”后，多媒体主机发送相关信号给环视控制器。
步骤S14，点击“应用”。
在该步骤中，若用户需要应用本次标定数据，则可以点击“应用”，多媒体主机发送应用标定数据信号至环视控制器。
若用户不需要应用本次标定数据，则可以点击“不应用”，多媒体主机直接返回至主界面。
步骤S15，发送应用标定数据信号。
在该步骤中，多媒体主机发送应用标定数据信号至环视控制器。
步骤S16，发送数据应用成功信号。
在该步骤中，环视控制器在接收到应用标定数据信号之后，应用本次标定数据，并在完成后发送数据应用成功信号给多媒体主机。
步骤S17，提示“本次标定完成”。
在该步骤中，多媒体主机在接收到数据应用成功信号之后，可以在多媒体主机的显示界面中显示“本次标定完成”，以提示用户本次标定完成，并在2秒后返回至主界面，并在此上电周期内的全景环视图像将按照本次标定数据的参数进行全景环视图像显示，保证全景环视效果。
步骤S18，退出环视影像界面。
在该步骤中，多媒体主机完成本次标定之后，可以自动退出环视影像界面。
在上述实施例的基础上，本发明实施例还提供了一种全景环视系统的标定装置。
参照图11，示出了本发明实施例所述的应用于环视控制器的一种全景环视系统的标定装置的结构框图，具体可以包括如下模块：
第一生成模块401，用于在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
采集模块402，用于控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；
第二生成模块403，用于根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
可选的，所述第二生成模块403，具体包括：
第一标定子模块，用于根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；
第一确定子模块，用于根据所述初始全景环视图像与所述预设图案，确定修正参数；
第一生成子模块，用于利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储。
可选的，所述初始标定数据包括：地面坐标系与相机坐标系之间的变换关系；
所述第一标定子模块，包括：
第一确定单元，用于确定所述多张目标照片中的特征点在所述相机坐标系中的第一坐标；
第二确定单元，用于根据所述地面坐标系与相机坐标系之间的变换关系对所述多张目标照片进行标定，确定所述特征点在所述地面坐标系中的第二坐标；
拼接单元，用于将所述多张目标照片根据所述第二坐标进行拼接，得到所述初始全景环视图像。
可选的，所述第一确定子模块，包括：
第三确定单元，用于确定所述初始全景环视图像中与所述预设图案存在偏差的目标特征点的第二坐标；
第四确定单元，用于调整所述目标特征点的第二坐标，使所述初始全景环视图像调整至与所述预设图案相匹配，并将所述目标特征点的第二坐标在所述调整过程中的调整值确定为所述修正参数。
标定模块404，用于根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
可选的，所述标定模块404，具体包括：
第二生成子模块，用于根据所述目标标定数据，生成针对所述目标标定数据的应用请求；
发送子模块，用于将所述应用请求发送至所述全景环视系统中的多媒体主机，以供所述多媒体主机展示所述应用请求，并在接收到针对所述应用请求的确认操作的情况下，所述多媒体主机生成针对所述应用请求的确认应用指令，并将所述确认应用指令发送至所述环视控制器；
第二标定子模块，用于在接收到所述确认应用指令的情况下，根据所述目标标定数据，将所述多张目标照片进行标定和拼接；
第三标定子模块，用于在未接收到所述确认应用指令的情况下，根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接。
可选的，所述装置还包括：
第三生成模块，用于生成终止投射指令，并将所述终止投射指令发送至所述投影设备控制模块。
可选的，所述标定启动操作包括：用户输入的针对所述标定操作的启动操作、用户输入的针对所述标定操作的确认启动操作，以及在检测到初始全景环视图像的形变量超过预设形变量的情况下生成的启动操作中的任意一种或多种。
综上所述，本申请提供的一种全景环视系统的标定装置，包括：在接收到标定启动操作的情况下，生成投射指令，并将投射指令发送至全景环视系统中的投影设备控制模块；控制多个环视摄像头进行图像采集，并接收多个环视摄像头采集的多张目标照片，多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；根据多张目标照片，生成环视摄像头的目标标定数据；根据目标标定数据，将多张目标照片进行标定和拼接，得到全景环视图像，完成全景环视系统的标定操作。本发明实施例中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
参照图12，示出了本发明实施例所述的应用于投影设备控制模块的车辆的一种全景环视系统的标定装置的结构框图，具体可以包括如下模块：
第一投射模块501，用于在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。
可选的，所述第一投影模块501，具体包括：
接收子模块，用于接收车辆所处环境的环境信息；
第二确定子模块，用于根据预先设置的环境信息与投射参数之间的对应关系，确定与所述环境信息对应的目标投射参数；
投射子模块，用于控制所述车辆投影设备以所述目标投射参数进行投射。
可选的，所述装置还包括：
第二投射模块，用于在接收到所述环视控制器发送的终止投射指令的情况下，控制所述车辆投影设备停止投射。
综上所述，本申请提供的一种全景环视系统的标定装置，包括：在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案。本发明实施例中，车辆中的全景环视系统，可以控制车辆的投影设备在车辆周边的地面上投射出的预设图案，采集包含预设图案的多张目标图片，并根据所述多张目标照片，生成所述环视摄像头的目标标定数据，从而使用目标标定数据对全景环视系统的环视摄像头进行标定，获得全景环视图像，使得用户在需要对车辆的全景环视系统图像拼接的标定数据重新进行标定时，只需要利用车辆的投影设备，就可以完成标定过程，不需要利用专用的标定场地和设备，从而简化了标定操作步骤，节省了时间。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种全景环视系统的标定方法，其特征在于，应用于所述全景环视系统中的环视控制器，所述方法包括：
在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案，所述预设图案为包含规则形状的图案；
根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作；
其中，所述根据所述多张目标照片，生成所述环视摄像头的目标标定数据的步骤，具体包括：
根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；
根据所述初始全景环视图像与所述预设图案，确定修正参数；
利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储。
2.根据权利要求1所述的方法，其特征在于，所述初始标定数据包括：地面坐标系与相机坐标系之间的变换关系；
所述根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像的步骤，包括：
确定所述多张目标照片中的特征点在所述相机坐标系中的第一坐标；
根据所述地面坐标系与所述相机坐标系之间的变换关系对所述多张目标照片进行标定，确定所述特征点在所述地面坐标系中的第二坐标；
将所述多张目标照片根据所述第二坐标进行拼接，得到所述初始全景环视图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始全景环视图像与所述预设图案，确定修正参数的步骤，包括：
确定所述初始全景环视图像中与所述预设图案存在偏差的目标特征点的第二坐标；
调整所述目标特征点的第二坐标，使所述初始全景环视图像调整至与所述预设图案相匹配，并将所述目标特征点的第二坐标在调整过程中的调整值确定为所述修正参数。
4.根据权利要求1所述的方法，其特征在于，在所述完成所述全景环视系统的标定操作的步骤之后，所述方法还包括：
生成终止投射指令，并将所述终止投射指令发送至所述投影设备控制模块。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标标定数据，将所述多张目标照片进行标定和拼接的步骤，具体包括：
根据所述目标标定数据，生成针对所述目标标定数据的应用请求；
将所述应用请求发送至所述全景环视系统中的多媒体主机，以供所述多媒体主机展示所述应用请求，并在接收到针对所述应用请求的确认操作的情况下，所述多媒体主机生成针对所述应用请求的确认应用指令，并将所述确认应用指令发送至所述环视控制器；
在接收到所述确认应用指令的情况下，根据所述目标标定数据，将所述多张目标照片进行标定和拼接；
在未接收到所述确认应用指令的情况下，根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接。
6.根据权利要求1所述的方法，其特征在于，所述标定启动操作包括：用户输入的针对所述标定操作的启动操作、用户输入的针对所述标定操作的确认启动操作，以及在检测到初始全景环视图像的形变量超过预设形变量的情况下生成的启动操作中的任意一种或多种。
7.一种全景环视系统的标定方法，其特征在于，应用于所述全景环视系统中的投影设备控制模块，所述方法包括：
在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案；
所述环视控制器还用于控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案，所述预设图案为包含规则形状的图案；
所述环视控制器还用于根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；根据所述初始全景环视图像与所述预设图案，确定修正参数；利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储；
所述环视控制器还用于根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
8.根据权利要求7所述的方法，其特征在于，在所述在车辆周边的地面上生成预设图案的步骤之后，所述方法还包括：
在接收到所述环视控制器发送的终止投射指令的情况下，控制所述车辆投影设备停止投射。
9.根据权利要求7所述的方法，其特征在于，所述控制车辆投影设备进行投射的步骤，具体包括：
接收车辆所处环境的环境信息；
根据预先设置的环境信息与投射参数之间的对应关系，确定与所述环境信息对应的目标投射参数；
控制所述车辆投影设备以所述目标投射参数进行投射。
10.一种全景环视系统的标定装置，其特征在于，应用于所述全景环视系统中的环视控制器，所述装置包括：
第一生成模块，用于在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
采集模块，用于控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案，所述预设图案为包含规则形状的图案；
第二生成模块，用于根据所述多张目标照片，生成所述环视摄像头的目标标定数据；
所述第二生成模块具体包括：
第一标定子模块，用于根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；
第一确定子模块，用于根据所述初始全景环视图像与所述预设图案，确定修正参数；
第一生成子模块，用于利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储；标定模块，用于根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
11.一种全景环视系统的标定装置，其特征在于，应用于所述全景环视系统中的投影设备控制模块，所述装置包括：
第一投射模块，用于在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案，所述预设图案为包含规则形状的图案；
所述环视控制器还用于控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括车辆投影设备在车辆周边的地面上投射出的预设图案；
所述环视控制器还用于根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；根据所述初始全景环视图像与所述预设图案，确定修正参数；利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储；
所述环视控制器还用于根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
12.一种全景环视系统的标定系统，所述系统包括：环视控制器和投影设备控制模块，其特征在于，所述环视控制器和所述投影设备控制模块之间通信连接；
所述环视控制器在接收到标定启动操作的情况下，生成投射指令，并将所述投射指令发送至所述全景环视系统中的投影设备控制模块；
所述投影设备控制模块在接收到所述全景环视系统中的环视控制器发送的投射指令的情况下，控制车辆投影设备进行投射，在车辆周边的地面上生成预设图案，所述预设图案为包含规则形状的图案；
所述环视控制器控制多个环视摄像头进行图像采集，并接收所述多个环视摄像头采集的多张目标照片，所述多张目标照片包括所述车辆投影设备在车辆周边的地面上投射出的预设图案；
所述环视控制器根据预先存储的初始标定数据，将所述多张目标照片进行标定和拼接，得到初始全景环视图像；根据所述初始全景环视图像与所述预设图案，确定修正参数；利用所述修正参数对所述初始标定数据进行修正，生成所述环视摄像头的目标标定数据并存储；所述环视控制器根据所述目标标定数据，将所述多张目标照片进行标定和拼接，得到全景环视图像，完成所述全景环视系统的标定操作。
CN202010312448.2A 2020-04-20 2020-04-20 一种全景环视系统的标定方法、装置及系统 Active CN111667538B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010312448.2A CN111667538B (zh) 2020-04-20 2020-04-20 一种全景环视系统的标定方法、装置及系统
PCT/CN2021/088125 WO2021213326A1 (zh) 2020-04-20 2021-04-19 一种全景环视系统的标定方法、装置及系统
EP21793161.7A EP4068212A4 (en) 2020-04-20 2021-04-19 METHOD, DEVICE AND SYSTEM FOR CALIBRATION OF A PANORAMIC ALL AROUND VISION SYSTEM
US17/758,144 US20230032613A1 (en) 2020-04-20 2021-04-19 Method, apparatus and system for calibrating panoramic surround view system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010312448.2A CN111667538B (zh) 2020-04-20 2020-04-20 一种全景环视系统的标定方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111667538A CN111667538A (zh) 2020-09-15
CN111667538B true CN111667538B (zh) 2023-10-24

Family

ID=72382838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010312448.2A Active CN111667538B (zh) 2020-04-20 2020-04-20 一种全景环视系统的标定方法、装置及系统

Country Status (4)

Country Link
US (1) US20230032613A1 (zh)
EP (1) EP4068212A4 (zh)
CN (1) CN111667538B (zh)
WO (1) WO2021213326A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视系统的标定方法、装置及系统
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN112541419A (zh) * 2020-12-08 2021-03-23 北京精英路通科技有限公司 基于图像的定位方法、位置关系判断方法及其装置
CN112785652A (zh) * 2020-12-24 2021-05-11 广州小鹏自动驾驶科技有限公司 一种全景标定方法和装置
CN113459948A (zh) * 2021-05-31 2021-10-01 广汽菲亚特克莱斯勒汽车有限公司广州分公司 用于车辆的全景标定装置
CN113581100A (zh) * 2021-07-22 2021-11-02 奇瑞汽车股份有限公司 位置标定方式的提示方法、装置及计算机存储介质
CN113554715B (zh) * 2021-07-30 2023-03-28 东风汽车集团股份有限公司 一种用于avm影像标定的设施系统及标定方法
CN114022450A (zh) * 2021-11-05 2022-02-08 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的拼接效果判断方法
CN114202588B (zh) * 2021-12-09 2022-09-23 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN114565683B (zh) * 2022-03-02 2022-09-27 禾多科技（北京）有限公司 一种精度确定方法、装置、设备、介质及产品
CN114897997B (zh) * 2022-07-13 2022-10-25 星猿哲科技(深圳)有限公司 相机标定方法、装置、设备及存储介质
US20240048843A1 (en) * 2022-08-04 2024-02-08 Ford Global Technologies, Llc Local compute camera calibration
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定系统及方法
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视系统标定方法及装置
CN109509231A (zh) * 2017-09-14 2019-03-22 宝沃汽车（中国）有限公司 全景系统标定设备
CN110111393A (zh) * 2019-03-31 2019-08-09 惠州市德赛西威汽车电子股份有限公司 一种汽车全景标定方法、装置及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
US9978146B2 (en) * 2014-01-27 2018-05-22 Xylon d.o.o. Data-processing system and method for calibration of a vehicle surround view system
JP6214717B1 (ja) * 2016-05-24 2017-10-18 三菱電機株式会社 車載カメラキャリブレーション補助装置
CN107133988B (zh) * 2017-06-06 2020-06-02 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统
CN109615660A (zh) * 2018-11-21 2019-04-12 吉利汽车研究院（宁波）有限公司 对车辆全景画面进行标定的方法及装置
CN110930457B (zh) * 2019-10-15 2023-02-28 中国第一汽车股份有限公司 一种摄像头标定方法、装置、车辆及存储介质
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视系统的标定方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN105608693A (zh) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 车载全景环视的标定系统及方法
CN109509231A (zh) * 2017-09-14 2019-03-22 宝沃汽车（中国）有限公司 全景系统标定设备
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视系统标定方法及装置
CN110111393A (zh) * 2019-03-31 2019-08-09 惠州市德赛西威汽车电子股份有限公司 一种汽车全景标定方法、装置及系统

Also Published As

Publication number Publication date
EP4068212A4 (en) 2023-06-07
US20230032613A1 (en) 2023-02-02
CN111667538A (zh) 2020-09-15
EP4068212A1 (en) 2022-10-05
WO2021213326A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111667538B (zh) 一种全景环视系统的标定方法、装置及系统
US8272748B2 (en) Projection-type display apparatus and method for performing projection adjustment
JP5339124B2 (ja) 車載カメラの校正装置
US11838497B2 (en) Calibration of a surround view camera system
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP4495041B2 (ja) ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
JP4461091B2 (ja) 位置検出装置及びその補正方法
US20140104424A1 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US20140114534A1 (en) Dynamic rearview mirror display features
US20090009604A1 (en) Image processing system and method
EP2061234A1 (en) Imaging apparatus
US20080055407A1 (en) Apparatus And Method For Displaying An Image Of Vehicle Surroundings
CN104584541A (zh) 图像生成设备、图像显示系统、参数获取设备、图像生成方法和参数获取方法
CN110930457B (zh) 一种摄像头标定方法、装置、车辆及存储介质
CN113706624A (zh) 相机外参修正方法、装置及车载环视系统
JP4032052B2 (ja) 位置検出装置及びその補正方法
WO2019053929A1 (ja) 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
CN114972521A (zh) 一种车身环视图像的自动重标定方法及装置
CN111107303A (zh) 行车图像系统及行车图像处理方法
CN115439551A (zh) 车载环视相机的外参标定方法和装置、介质及车辆
CN112339771B (zh) 一种泊车过程展示方法、装置及车辆
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
TWI834482B (zh) 車載攝影機偏移的檢查方法
CN115063488B (zh) 一种数字外后视镜系统划线标定方法和系统
CN113592949B (zh) 用于车辆无线泊车影像的控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant