CN113706624A - 相机外参修正方法、装置及车载环视系统 - Google Patents

相机外参修正方法、装置及车载环视系统 Download PDF

Info

Publication number
CN113706624A
CN113706624A CN202010429509.3A CN202010429509A CN113706624A CN 113706624 A CN113706624 A CN 113706624A CN 202010429509 A CN202010429509 A CN 202010429509A CN 113706624 A CN113706624 A CN 113706624A
Authority
CN
China
Prior art keywords
camera
calibration
image
vehicle
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010429509.3A
Other languages
English (en)
Inventor
冉盛辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010429509.3A priority Critical patent/CN113706624A/zh
Publication of CN113706624A publication Critical patent/CN113706624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种相机外参修正方法、装置及车载环视系统，该方法包括：获取多个相机拍摄的图像，对图像进行标定线检测，得到图像中的标定线的边缘，调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系；通过上述过程，实现了基于图像中标定线的信息对相机外参进行修正，无需用户将车辆开到4S店进行标定，为用户使用车载环视系统提供便利。另外，仅要求车辆与标定线大致平行，降低了相机外参标定的场景要求。

Description

相机外参修正方法、装置及车载环视系统
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种相机外参修正方法、装置及车载环视系统。
背景技术
车载环视全景影像辅助系统，简称车载环视系统，是车辆辅助安全系统之一。车载环视系统可以让驾驶员通过显示屏直观地看到车身周围360度的全景图，为驾驶员提供视觉辅助，目前已成为众多车型的标准配置。
车载环视系统中通常包括多个车载相机，各车载相机分别用于拍摄车身周围不同方位的图像。通过对各车载相机拍摄的图像进行拼接渲染，得到车身周围的全景图像。全景图像的拼接效果受到车载相机外参的影响，例如：在车辆出厂后，有可能因为车辆长时间使用，导致车载相机的角度发生一定的变化，进而导致全景图像拼接出现错位等情况。因此，需要对各车载相机的外参进行修正。
目前，对各车载相机的外参进行修正时，需要用户将车辆开到对应厂商的4S店，由4S店内的专业人员对各车载相机的外参进行重新标定，这无形中增加了车载环视系统维护的难度和成本。
发明内容
本申请提供一种相机外参修正方法、装置及车载环视系统，用以实现对车载环视系统中的各相机的外参进行自修正，降低车载环视系统的维护难度和成本。
第一方面，本申请提供一种相机外参修正方法，应用于车辆的车载环视系统，所述车载环视系统包括多个相机，所述多个相机设置在所述车辆上，所述车辆所在位置的地面上存在至少两条标定线，所述至少两条标定线相互平行且位于所述车辆的两侧，所述方法包括：
获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线；
对所述图像进行标定线检测，得到所述图像中的标定线的边缘；
调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
一种可能的实现方式中，针对所述多个相机中的任意一个第一相机；调节所述第一相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括：
根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，所述第一图像为所述第一相机拍摄的图像，所述位置信息与所述第一相机的外参相关；
调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
一种可能的实现方式中，所述多个相机中包括第一类型的相机和第二类型的相机；其中，
所述第一类型的相机设置在所述车辆的车身的前侧或者后侧，所述第二类型的相机设置在所述车辆的车身的左侧或者右侧。
一种可能的实现方式中，所述第一相机为所述第一类型的相机；所述第一图像中的标定线包括第一标定线和第二标定线；调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括执行如下调节中的至少一种：
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘、所述第二标定线的两个边缘相互平行；或，
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第一标定线的宽度和所述第二标定线的宽度相同；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘的斜率、所述第二标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的高度进行调节，直至在世界坐标系中，所述第一标定线和所述第二标定线之间的距离与所述相邻标定线之间的距离相同。
一种可能的实现方式中，所述第一相机为所述第二类型的相机；所述第一图像中的标定线包括第三标定线；调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括执行如下调节中的至少一种：
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘相互平行；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第三标定线的宽度与第一宽度相同，其中，所述第一宽度为对所述第一类型的相机的外参进行调整后，所述第一类型的相机拍摄的所述第三标定线在世界坐标系中的宽度。
一种可能的实现方式中，根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，包括：
根据所述第一图像中的每个标定线的边缘，获取所述标定线的边缘在图像坐标系中的第一直线方程；
根据所述第一相机对应的坐标转换关系，将所述第一直线方程转换为世界坐标系中的第二直线方程，所述坐标转换关系用于指示图像坐标系与世界坐标系之间的坐标转换矩阵，所述坐标转换矩阵与所述第一相机的外参、所述第一相机的内参相关；
根据所述第二直线方程确定所述标定线的边缘在世界坐标系中的位置信息。
一种可能的实现方式中，所述调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括：
调节至少一个所述第一类型的相机的外参，直至所述第一类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息；
调节所述第二类型的相机的外参，直至所述第二类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
第二方面，本申请提供一种相机外参修正装置，应用于车辆的车载环视系统，所述车载环视系统包括多个相机，所述多个相机设置在所述车辆上，所述车辆所在位置的地面上存在至少两条标定线，所述至少两条标定线相互平行且位于所述车辆的两侧，所述装置包括：
获取模块，用于获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线；
检测模块，用于对所述图像进行标定线检测，得到所述图像中的标定线的边缘；
修正模块，用于调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
一种可能的实现方式中，针对所述多个相机中的任意一个第一相机，所述修正模块具体用于：
根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，所述第一图像为所述第一相机拍摄的图像，所述位置信息与所述第一相机的外参相关；
调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
一种可能的实现方式中，所述多个相机中包括第一类型的相机和第二类型的相机；其中，
所述第一类型的相机设置在所述车辆的车身的前侧或者后侧，所述第二类型的相机设置在所述车辆的车身的左侧或者右侧。
一种可能的实现方式中，所述第一相机为所述第一类型的相机；所述第一图像中的标定线包括第一标定线和第二标定线；所述修正模块具体用于执行如下调节中的至少一种：
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘、所述第二标定线的两个边缘相互平行；或，
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第一标定线的宽度和所述第二标定线的宽度相同；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘的斜率、所述第二标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的高度进行调节，直至在世界坐标系中，所述第一标定线和所述第二标定线之间的距离与所述相邻标定线之间的距离相同。
一种可能的实现方式中，所述第一相机为所述第二类型的相机；所述第一图像中的标定线包括第三标定线；所述修正模块具体用于执行如下调节中的至少一种：
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘相互平行；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第三标定线的宽度与第一宽度相同，其中，所述第一宽度为对所述第一类型的相机的外参进行调整后，所述第一类型的相机拍摄的所述第三标定线在世界坐标系中的宽度。
一种可能的实现方式中，所述修正模块具体用于：
根据所述第一图像中的每个标定线的边缘，获取所述标定线的边缘在图像坐标系中的第一直线方程；
根据所述第一相机对应的坐标转换关系，将所述第一直线方程转换为世界坐标系中的第二直线方程，所述坐标转换关系用于指示图像坐标系与世界坐标系之间的坐标转换矩阵，所述坐标转换矩阵与所述第一相机的外参、所述第一相机的内参相关；
根据所述第二直线方程确定所述标定线的边缘在世界坐标系中的位置信息。
一种可能的实现方式中，所述修正模块具体用于：
调节至少一个所述第一类型的相机的外参，直至所述第一类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息；
调节所述第二类型的相机的外参，直至所述第二类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
第三方面，本申请提供一种电子设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行如第一方面任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
第五方面，本申请提供一种车载环视系统，包括：相机外参修正装置和多个相机，所述多个相机设置在车辆上；
所述多个相机用于拍摄得到图像，所述图像中包括至少一条标定线；
所述相机外参修正装置用于根据所述图像执行如第一方面任一项所述的相机外参修正方法。
一种可能的实现方式中，所述车载环视系统还包括：控制装置和渲染装置，所述控制装置与所述相机外参修正装置、所述渲染装置分别连接；
所述控制装置用于接收控制指令，并根据所述控制指令确定是否对所述多个相机进行外参修正；
在确定对所述多个相机进行外参修正时，所述控制装置还用于从所述多个相机获取所述图像，并将所述图像传输给所述相机外参修正装置；
在确定不对所述多个相机进行外参修正时，所述控制装置还用于获取当前查找表，并从所述多个相机获取所述图像，将所述当前查找表和所述图像传输给渲染装置；所述渲染装置用于根据所述当前查找表对所述图像进行拼接处理，得到全景图像。
一种可能的实现方式中，所述相机外参修正装置还用于根据所述相机外参修正方法获取到的各所述相机的外参，生成新的查找表；
所述渲染装置还用于根据所述新的查找表对所述图像进行拼接，得到全景图像。
一种可能的实现方式中，所述车载环视系统还包括显示装置，所述显示装置与所述渲染装置连接，所述显示装置用于对所述全景图像进行显示。
本申请提供的相机外参修正方法、装置及车载环视系统，该方法包括：获取多个相机拍摄的图像，对图像进行标定线检测，得到图像中的标定线的边缘，调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系；通过上述过程，实现了基于图像中的标定线对相机的外参进行修正的过程，无需用户将车辆开到4S店进行标定，为用户使用车载环视系统提供便利。另外，本实施例仅要求车辆与标定线大致平行，无需车辆位于两条标定线的中间，也不需要车身相对于标定线位置保持不变，降低了相机外参标定的场景要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例中的一种车载环视系统的示意图；
图1B为本申请实施例适用的应用场景的示意图；
图2为本申请一个实施例提供的相机外参修正方法的流程示意图；
图3为本申请另一个实施例提供的相机外参修正方法的流程示意图；
图4A为本申请实施例中前视图和后视图中的标定线的边缘的示意图；
图4B为本申请实施例中左视图和右视图中的标定线的边缘的示意图；
图5A至图5C为本申请实施例中相机外参对图像中的标定线的影响示意图；
图6为本申请一个实施例提供的相机外参修正过程的流程示意图；
图7为本申请另一个实施例提供的相机外参修正过程的流程示意图；
图8为本申请一个实施例提供的相机外参修正装置的结构示意图；
图9为本申请一个实施例提供的电子设备的结构示意图；
图10为本申请一个实施例提供的车载环视系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
车载环视系统可以为驾驶员提供车身周围360度的全景图，从而为驾驶员提供视觉辅助，例如：辅助驾驶员起步、泊车、驾驶等。图1A为本申请实施例中的一种车载环视系统的示意图。示例性的，在车辆10的车身上设置多个相机11，每个相机11覆盖一定的拍摄区域。每个相机对各自对应的拍摄区域进行拍摄，并将拍摄的图像发送给车载电子设备(图1A中未示出)，车载电子设备对各相机拍摄的图像进行拼接渲染处理，得到车身周围的全景图像。车载电子设备还可以通过显示屏对全景图像进行显示，从而车内的驾驶员可以通过显示屏观看到车身360度的全景图。
其中，车载环视系统中的多个相机可以设置在车身的任意位置，示例性的，参见图1A，可以在车身的前侧、后侧、左侧和右侧分别设置相机。其中，每侧均可以设置一个或者多个相机，图1A中仅以每侧设置一个相机为例进行示意。相机可以为具有拍摄功能的任意拍摄设备，例如：可以为单目相机、双目相机、鱼眼相机等。
为了使全景图实现无缝拼接，且不会发生畸变，需要对各个相机的外参进行精确标定。目前，车载环视系统中的各相机的标定通常在车辆出厂前完成。对于后装车载环视系统的车辆，通常在车辆的4S店完成。然而，在车辆长期使用过程中，有可能因为车辆长时间使用导致各相机的拍摄角度发生一定的变化，进而导致全景图失真，例如：部分区域发生畸变、拼接错位等情况。
目前，针对车辆长期使用后导致的全景图失真问题，需要用户将车辆开到对应厂商的4S店，由4S店内的专业人员对车载环视系统中的各相机的外参进行重新标定，这无形中增加了车载环视系统的维护难度和成本，给用户使用带来不便。
为了解决上述问题，本申请提供一种相机外参修正方法。图1B为本申请实施例适用的应用场景的示意图。如图1B所示，车辆10所在位置的地面上存在至少两条标定线20，所述至少两条标定线20相互平行且位于车辆10的两侧。其中，上述标定线20可以是地面上设置的相互平行的、可用于标定的线。标定线20具有一定的宽度。可选的，上述标定线20可以为道路上的车道线。可选的，上述标定线20还可以是预设场地地面上画的平行线。例如，一些场景中，车辆行驶或者停放在平直道路上，平直道路上的车道线可以作为标定线。另一些场景中，车辆行驶或者停放在预设场地中，在车辆的左右两侧画有相互平行的标定线。
本实施例提供的相机外参修正方法，可以基于各相机拍摄的图像中的标定线信息，实现对各相机的外参进行自修正，无需用户将车辆开到4S店进行标定，为用户使用车载环视提供便利。
为了便于理解，下面对本实施例中所涉及的相机的内参和外参进行解释。内参是指相机自身的几何光学参数，包括：焦距信息和主点坐标信息。外参是指相机在世界坐标系中的位姿参数，包括：相机的安装位置、相机的安装角度等信息。
其中，相机的安装角度通常采用俯仰角、滚转角和偏航角来表示。俯仰角指的是相机拍摄方向与水平面之间的夹角。偏航角指的是相机拍摄方向与竖直平面的夹角，滚转角指的是相机以其拍摄方向为轴心的旋转角度。这三个外参用于建立起三维世界坐标和二维图像坐标之间的关系，以实现二维信息和三维信息之间的相互转换。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请一个实施例提供的相机外参修正方法的流程示意图。本实施例的方法可以由相机外参修正装置执行。其中，相机外参修正装置可以为软件和/或硬件的形式，相机外参修正装置可以集成在用于对图像进行拼接渲染的车载电子设备中。当然，相机外参修正装置也可以设置在其他电子设备中。
如图2所示，本实施例的方法，包括：
S201：获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线。
本实施例的方法基于相机拍摄的图像中的标定线信息，对相机外参进行修正。本实施例应用于如图1B所示的应用场景中，车辆可以处于行驶或者停放状态，车辆的车身两侧存在至少两条标定线，所述至少两条标定线相互平行且位于车辆的两侧。其中，车辆的车身与标定线大致平行。
车载环视系统中的各相机对各自拍摄区域进行拍摄，得到对应的图像。以图1A所示的车载环视系统为例，设置在车身前侧的相机对车身前侧区域进行拍摄，得到前视图；设置在车身后侧的相机对车身后侧区域进行拍摄，得到后视图；设置在车身左侧的相机对车身左侧区域进行拍摄，得到左视图；设置在车身右侧的相机对车身右侧区域进行拍摄，得到右视图。结合图1B，由于车辆左右两侧存在标定线，因此，各相机拍摄得到的图像中会包括至少一条标定线。例如，前视图和后视图中包括车辆左侧和右侧的标定线，左视图中仅包括车辆左侧的标定线，右视图中仅包括车辆右侧的标定线。
S202：对所述图像进行标定线检测，得到所述图像中的标定线的边缘。
具体的，可以采用标定线检测方法，对图像进行标定线检测，得到图像中的标定线的边缘。其中，标定线检测方法为现有技术，本实施例对此不作详细说明。
本实施例中，由于标定线具有宽度信息，通过标定线检测得到的“标定线的边缘”为标定线的两个边缘，即内边缘和外边缘。
S203：调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
通常，图像中的各像素点采用的是图像坐标系的表示方法。图像坐标系包括u轴和v轴，针对图像中的每个像素点，采用(u,v)进行表示。可以理解的，由于拍摄参数等原因，图像中的标定线具有近大远小的特点。例如：实际呈平行状态的两条标定线，在图像中呈现为非平行状态。
世界坐标系中，同一标定线在不同位置的宽度相同，并且，两条标定线之间为平行关系。本申请实施例中，通过将图像坐标系转换到世界坐标系中，可以克服图像标定线近大远小的问题，从而可以利用标定线的先验信息。其中，标定线的先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
示例性的，以车辆的底部中心为原点O，将车辆的长度方向定义为X轴，将车辆的宽度方向定义为Y轴，将车辆的高度方向定义为Z轴，建立得到XOYZ世界坐标系。世界坐标系中的每个点的坐标可以表示为(X，Y，Z)。
可以理解的，图像坐标系中的像素点(u,v)与世界坐标系中的点(X,Y,Z)之间具有映射关系，本实施例中将该映射关系称为坐标转换关系。例如，可以采用如下公式表示：
Figure BDA0002500006290000111
其中，α为比例因子，R为内参矩阵，Rroll为滚转角旋转矩阵，Ryaw为偏航角旋转矩阵，Rpitch为俯仰角旋转矩阵。(Xcam，Ycam，Zcam)为相机的安装位置。可见，坐标转换关系用于指示图像坐标系与世界坐标系之间的坐标转换矩阵，该坐标转换矩阵与相机的内参、以及相机的外参相关。
可以理解的，不同相机对应的坐标转换关系可能有所不同，主要体现在欧拉角定义的旋转顺序不同。例如：对于设置在车身前侧的相机，其欧拉角的旋转矩阵按照滚转角、偏航角、俯仰角的顺序进行旋转。对于设置在车身左侧的相机，其欧拉角的旋转矩阵按照偏航角、滚转角、俯仰角的顺序进行旋转。
针对多个相机中的任意一个第一相机，假设该第一相机拍摄的图像为第一图像。可以根据第一图像中的标定线的边缘和第一相机的内参，确定第一图像中标定线的边缘在世界坐标系中的位置信息。其中，该位置信息与第一相机的外参相关。进而，调节第一相机的外参，直至第一图像中的标定线的边缘在世界坐标下的位置信息满足所述至少两条标定线的先验信息。
一种可能的实施方式中，根据图像中的每个标定线的边缘，获取该标定线的边缘对应的第一直线方程。可以理解的，第一直线方程为图像坐标系中的方程。然后，根据第一相机对应的坐标转换关系，将所述第一直线方程转换为第二直线方程，所述第二直线方程为世界坐标系中的方程。这样，根据该第二直线方程确定该标定线的边缘在世界坐标系中的位置信息。例如，可以使用第二直线方程表示该标定线的边缘在世界坐标系中的位置信息。
能够理解，对于每个图像，该图像中的标定线的边缘在世界坐标系中的位置信息与拍摄该图像的相机的外参相关，或者说，第二直线方程中包括了相机的外参。因此，可以不断调节相机的外参，直至标定线的边缘在世界坐标系下的位置关系满足标定线的先验信息。例如，使得图像中的多个标定线的边缘之间相互平行，和/或，使得相邻两条标定线之间的距离为预设距离，和/或，使得两条标定线的宽度相等。当图像中的多个标定线的边缘在世界坐标系中的位置信息满足上述先验信息时，得到的相机外参即为修正后的外参。上述调节相机外参的过程也可以称为对第二直线方程中的相机外参进行迭代处理的过程。通过上述过程实现对相机外参的修正。
需要说明的是，实际应用中，可以利用上述先验信息中的一种或者多种，本实施例对此不作限定。能够理解，当利用的先验信息越多时，对相机外参的修正结果越精确。这样，将各相机拍摄的图像进行拼接时，能够保证各图像中的标定线无缝拼接，使得拼接后的图像无畸变。
本实施例提供的相机外参修正方法，包括：获取多个相机拍摄的图像，对图像进行标定线检测，得到图像中的标定线的边缘，调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系；通过上述过程，实现了基于图像中的标定线对相机的外参进行修正的过程，无需用户将车辆开到4S店进行标定，为用户使用车载环视系统提供便利。另外，本实施例仅要求车辆与标定线大致平行，无需车辆位于两条标定线的中间，也不需要车身相对于标定线位置保持不变，降低了相机外参标定的场景要求。
图3为本申请另一个实施例提供的相机外参修正方法的流程示意图。本实施例的方法可以作为图2所示实施例中S203的进一步细化。本实施例以图1A所示的车载环视系统为例，假设在车辆的前侧、后侧、左侧和右侧均设置有一个相机。为了描述方便，本实施例中将设置在车身的前侧或者后侧的相机称为第一类型的相机，将设置在车身的左侧或者右侧的相机称为第二类型的相机。
如图3所示，本实施例的方法包括：
S301：调节至少一个所述第一类型的相机的外参，直至所述第一类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
S302：调节所述第二类型的相机的外参，直至所述第二类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
本实施例中，对图1A中的四个相机进行外参修正的顺序进行示例。即，先对至少一个第一类型的相机进行外参修正，再对第二类型的相机进行外参修正。
也就是说，指定第一个修正的相机为设置在车身前侧或者后侧的相机。剩余相机的修正顺序则可以不受限制。为了描述方便，将拍摄前视图的相机称为前相机，将拍摄左视图的相机称为左相机，将拍摄右视图的相机称为右相机，将拍摄后视图的相机称为后相机。
例如：修正顺序可以为：前相机、后相机、左相机、右相机；还可以为前相机、左相机、右相机、后相机；还可以为：后相机、前相机、左相机、右相机；还可以为：后相机、左相机、右相机、前相机。可以理解的，上述列举的修正顺序中，左相机、右相机的顺序还可以互换。
为了便于理解，下面以标定线为行驶道路上的车道线为例结合图4A和图4B对各个相机拍摄的图像中的车道线的边缘进行示例。图4A为本申请实施例中前视图和后视图中的车道线的边缘的示意图，如图4A所示，前视图和后视图中包括两条车道线，分别为车辆所在车道的左侧车道线和右侧车道线。左侧车道线对应的边缘为l1和l2，右侧车道线对应的边缘为l3和l4。也就是说，前视图和后视图中的车道线的边缘为4条，分别为l1、l2、l3和l4。图4B为本申请实施例中左视图和右视图中的车道线的边缘的示意图。左视图和右视图中均包括一条车道线，具体为车辆所在车道的左侧车道线或右侧车道线。参见图4B，左视图或者右视图中车道线的边缘为l1和l2。
由于前视图和后视图中的车道线的数量较多，可以利用的车道线的先验信息较多，因此，本实施例中最先修正前视图或者后视图对应的相机，能够保证得到的修正参数的准确性。以最先修正前视图对应的相机为例，在修正其他视图对应的相机时，除了利用自身图像的信息，还可以利用前视图的相关信息。例如：在修正左视图、右视图和后视图对应的相机时，除了利用自身拍摄图像中车道线的先验信息，还可以利用前视图中的车道线的信息，保证了其他视图对应的相机的修正参数的准确性。
图5A至图5C为本申请实施例中相机外参的影响示意图。为了便于理解后续实施例的原理，下面结合图5A至图5C对相机的三个外参(偏航角、滚转角、俯仰角)对图像信息的影响进行说明。当俯仰角偏大或者偏小时，车道线在世界坐标系中呈现出入图5A所示的“内八”或“外八”形状，与实际车道线之间的平行关系不符。当滚转角不正确时，车道线的方向会与车身的长度方向不一致，在世界坐标系中会形成如图5B所示的状态。当偏航角不正确时，在世界坐标系中的两条车道线的宽度会不相等，呈现如图5C所示的状态。只有当相机外参角度全部正确时，将图像转换到世界坐标系中，车道线才会呈现平行、等距的情况。因此，可以利用上述现象对世界坐标系中对相机的外参进行调整，直至车道线呈现出与实际情况相符的平行、等距特征。
下面以修正顺序为前相机、左相机、右相机、后相机为例，结合几个具体的实例，描述各个相机的外参修正的具体过程。
(1)针对前相机进行外参修正
为了描述方面，将前视图中两条车道线分别称为第一车道线和第二车道线。结合图4A，采用拟合算法对前视图中的两条车道线的边缘分别进行拟合，得到4个直线方程(分别为l1、l2、l3和l4)。这4个直线方程为图像坐标系中的方程。根据下述的坐标转换关系，将4个直线方程转换为世界坐标系中的方程，分别为L1、L2、L3、L4，且这四个方程与前相机的三个外参pitch、yaw、roll相关。
Figure BDA0002500006290000151
Figure BDA0002500006290000152
其中，(u,v)为图像坐标系中的坐标，(X,Y,Z)为世界坐标系中的坐标。α为比例因子，计算时可消去。(fx，fy)为前相机的焦距信息，属于已知参数，(cx，cy)为前相机的主点坐标，属于已知参数。(Xcam，Ycam，Zcam)为前相机的安装位置。roll为滚转角，yaw为偏航角，pitch为俯仰角，这三个角度为前相机的安装角度。其中，前相机的安装位置和安装角度为待修正的外参，为未知参数。
对前相机的修正过程可以参见图6，图6为本申请一个实施例提供的相机外参修正过程的流程示意图。本实施例中的第一相机可以为前相机或者后相机。如图6所示，包括：
S601：对所述第一相机的俯仰角进行调节，直至在世界坐标系中，第一车道线的两个边缘、第二车道线的两个边缘相互平行。
结合图5A，俯仰角会影响车道线之间的平行关系。也就是说，若第一车道线和第二车道线之间不平行的话，是相机的俯仰角不合适导致的。因此，本实施例中，对世界坐标系中的4个直线方程L1、L2、L3、L4中的俯仰角进行迭代计算，使得四条直线最接近互相平行，从而得到修正后的俯仰角pitch。示例性的，迭代计算时，可以将俯仰角pitch的初始值设置为第一相机现有的俯仰角，然后以一定的步长对俯仰角进行调整，直至调整后的俯仰角能够使得四条直线方程L1、L2、L3、L4最接近平行。
S602：对所述第一相机的偏航角进行调节，直至在世界坐标系中，第一车道线的宽度和第二车道线的宽度相同。
结合图5C，偏航角会影响车道线的宽度。也就是说，若两条车道线的宽度不同的话，是相机的偏航角不合适导致的。因此，本实施例中，对世界坐标系中的4个直线方程L1、L2、L3、L4中的偏航角进行迭代计算，使得L1、L2之间的宽度与L3、L4之间的宽度相等，从而得到修正后的偏航角yaw。示例性的，迭代计算时，可以将偏航角yaw的初始值设置为第一相机现有的偏航角，然后以一定的步长对偏航角进行调整，直至调整后的偏航角能够使得L1、L2之间的宽度与L3、L4之间的宽度相等。
S603：对所述第一相机的滚转角进行调节，直至在世界坐标系中，第一车道线的两个边缘的斜率、第二车道线的两个边缘的斜率与车身的斜率相同。
结合图5B，滚转角会影响车道线的方向。也就是说，若车道线的方向与车身的长度方向不同的话，是相机的滚转角不合适导致的。因此，本实施例中，对世界坐标系中的4个直线方程L1、L2、L3、L4中的滚转角进行迭代计算，使得L1、L2、L3、L4的延伸方向与车身方向平行，从而得到修正后的滚转角roll。示例性的，迭代计算时，可以将滚转角roll的初始值设置为第一相机现有的滚转角，然后以一定的步长对滚转角进行调整，直至调整后的滚转角能够使得L1、L2、L3、L4的延伸方向斜率与车身斜率方向相同。
S604：对所述第一相机的高度进行调节，直至在世界坐标系中，第一车道线和第二车道线之间的距离与相邻车道线之间的距离相同。
能够理解，所述相邻车道线之间的距离可以是指内边距，还可以是指外边距，可以通过事先测量得到。相机的安装高度会影响图像中的车道线之间的距离。因此，本实施例中，对世界坐标系中的4个直线方程L1、L2、L3、L4中的安装高度进行迭代计算，使得L1、L4之间的宽度与所述相邻车道线之间的外边距相等，或者，使得L2、L3之间的宽度与所述相邻车道线之间的内边距相等，从而得到修正后的安装高度Zcam。
经过上述迭代处理过程之后，得到了前相机的4个外参，分别为俯仰角pitch、偏航角yaw、滚转角roll、安装高度Zcam。
需要说明的是，实际应用中，可以执行S601-S604中的所有步骤，还可以仅执行S601-S604中部分步骤，本实施例对此不作限定。
(2)针对左相机进行外参修正
为了描述方便，将左视图中车道线称为第三车道线。需要说明的是，本实施例中第三车道线与前视图/后视图中的第一车道线或者第二车道线是重合的。
结合图4B，采用拟合算法对左视图中的车道线的边缘进行拟合，得到2个直线方程(分别为l1、l2)。这2个直线方程为图像坐标系中的方程。根据下述的坐标转换关系，将4个直线方程转换为世界坐标系中的方程，分别为L1、L2，且这2个方程与左相机的三个外参pitch、yaw、roll相关。
其中，(u,v)为图像坐标系中的坐标，(X,Y,Z)为世界坐标系中的坐标。α为比例因子，计算时可消去。(fx，fy)为左相机的焦距信息，属于已知参数，(cx，cy)为左相机的主点坐标，属于已知参数。(Xcam，Ycam，Zcam)为左相机的安装位置。roll为滚转角，yaw为偏航角，pitch为俯仰角，这三个角度为待修正的未知参数。
Figure BDA0002500006290000171
Figure BDA0002500006290000172
可以理解的，左视图和前视图的计算过程是类似的，二者的区别在于欧拉角定义的旋转顺序不同。如上述公式所示，左视图按照偏航角、滚转角、俯仰角的顺序进行旋转。
下面结合图7对左相机的外参修正过程进行说明。图7为本申请另一个实施例提供的相机外参修正过程的流程示意图。本实施例中的第一相机可以为左相机或者右相机。如图7所示，包括：
S701：对所述第一相机的偏航角进行调节，直至在世界坐标系中，第三车道线的两个边缘相互平行。
也就是说，对世界坐标系中的2个直线方程L1、L2进行迭代计算，使得2条直线最接近平行，从而得到修正后的偏航角yaw。
S702：对所述第一相机的滚转角进行调节，直至在世界坐标系中，第三车道线的两个边缘的斜率与车身的斜率相同。
也就是说，对世界坐标系中的2个直线方程L1、L2进行迭代计算，使得L1、L2的延伸方向与车身方向一致，从而得到修正后的滚转角roll。
S703：对所述第一相机的俯仰角进行调节，直至在世界坐标系中，第三车道线的宽度与第一宽度相同，其中，所述第一宽度为对所述第一类型的相机的外参进行调整后，所述第一类型的相机拍摄的第三车道线在世界坐标系中的宽度。
也就是说，对世界坐标系中的2个直线方程L1、L2进行迭代计算，使得L1、L2之间的宽度与前视图/后视图中同一车道线的宽度相等，从而得到修正后的俯仰角pitch。其中，前视图/后视图中同一车道线的宽度是指利用修正后的前相机/后相机的外参计算得到的同一车道线的宽度。
经过上述迭代处理过程之后，得到了左相机的3个外参，分别为俯仰角pitch、偏航角yaw、滚转角roll。
需要说明的是，实际应用中，可以执行S701-S703中的所有步骤，还可以仅执行S701-S703中部分步骤，本实施例对此不作限定。
(3)针对右相机进行外参修正
能够理解，针对右相机的外参修正过程与左相机是类似的，可以参见图7所示的外参修正过程。此处不作赘述。
经过上述修正之后，左视图、右视图与前视图中的车道线的位置、宽度、方向等信息一致，能够实现无缝拼接。
(4)针对后相机进行外参修正
可以理解的，后相机的外参修正过程与前相机是类似的。具体的，针对后相机，执行如图6所示的外参修正过程，得到后相机的4个外参：俯仰角pitch、偏航角yaw、滚转角roll、安装高度Zcam。
进一步的，还可以根据前视图中的两条车道线之间的距离与后视图中的两条车道线之间的距离相等，对后相机的安装位置进行修正。其中，前视图中的两条车道线之间的距离，是指利用修正后的前相机的外参计算得到的两条车道线之间的距离。也就是说，进一步调整后相机沿车宽方向的安装位置，使得后视图中的两条车道线之间的距离与前视图中计算得到的两条车道线之间的距离相等。
经过上述修正之后，后视图、左视图、右视图与前视图中的车道线的位置、宽度、方向等信息一致，能够实现全景图的无缝拼接。
本实施例的相机外参修正方法，实现了基于图像中的标定线对相机的外参进行修正的过程，无需用户将车辆开到4S店进行标定，为用户使用车载环视系统提供便利。另外，本实施例仅要求车辆与标定线大致平行，无需车辆位于标定线的中间，也不需要车身相对于标定线位置保持不变，降低了相机外参标定的场景要求。
图8为本申请一个实施例提供的相机外参修正装置的结构示意图。如图8所示，本实施例的相机外参修正装置12，包括：获取模块121、检测模块122、修正模块123。
其中，获取模块121，用于获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线；
检测模块122，用于对所述图像进行标定线检测，得到所述图像中的标定线的边缘；
修正模块123，用于调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
一种可能的实现方式中，针对所述多个相机中的任意一个第一相机，所述修正模块123具体用于：
根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，所述第一图像为所述第一相机拍摄的图像，所述位置信息与所述第一相机的外参相关；
调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
一种可能的实现方式中，所述多个相机中包括第一类型的相机和第二类型的相机；其中，
所述第一类型的相机设置在所述车辆的车身的前侧或者后侧，所述第二类型的相机设置在所述车辆的车身的左侧或者右侧。
一种可能的实现方式中，所述第一相机为所述第一类型的相机；所述第一图像中的标定线包括第一标定线和第二标定线；所述修正模块123具体用于执行如下调节中的至少一种：
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘、所述第二标定线的两个边缘相互平行；或，
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第一标定线的宽度和所述第二标定线的宽度相同；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘的斜率、所述第二标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的高度进行调节，直至在世界坐标系中，所述第一标定线和所述第二标定线之间的距离与所述相邻标定线之间的距离相同。
一种可能的实现方式中，所述第一相机为所述第二类型的相机；所述第一图像中的标定线包括第三标定线；所述修正模块123具体用于执行如下调节中的至少一种：
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘相互平行；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第三标定线的宽度与第一宽度相同，其中，所述第一宽度为对所述第一类型的相机的外参进行调整后，所述第一类型的相机拍摄的所述第三标定线在世界坐标系中的宽度。
一种可能的实现方式中，所述修正模块123具体用于：
根据所述第一图像中的每个标定线的边缘，获取所述标定线的边缘在图像坐标系中的第一直线方程；
根据所述第一相机对应的坐标转换关系，将所述第一直线方程转换为世界坐标系中的第二直线方程，所述坐标转换关系用于指示图像坐标系与世界坐标系之间的坐标转换矩阵，所述坐标转换矩阵与所述第一相机的外参、所述第一相机的内参相关；
根据所述第二直线方程确定所述标定线的边缘在世界坐标系中的位置信息。
一种可能的实现方式中，所述修正模块123具体用于：
调节至少一个所述第一类型的相机的外参，直至所述第一类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息；
调节所述第二类型的相机的外参，直至所述第二类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
本实施例提供的相机外参修正装置，可用于执行上述任一方法实施例中的相机外参修正方法，其实现原理和技术效果类似，此处不再赘述。
图9为本申请一个实施例提供的电子设备的结构示意图。如图9所示，本实施例的电子设备900，包括：处理器901以及存储器902；其中，存储器902，用于存储计算机程序；处理器901，用于执行存储器存储的计算机程序，以实现上述实施例中的相机外参修正方法。具体可以参见前述方法实施例中的相关描述。可选地，存储器902既可以是独立的，也可以跟处理器901集成在一起。
当所述存储器902是独立于处理器901之外的器件时，所述电子设备900还可以包括：总线903，用于连接所述存储器902和处理器901。
本实施例提供的电子设备，可用于执行上述任一方法实施例中的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序用于实现如上任一方法实施例中的技术方案。
本申请实施例还提供一种芯片，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行上述任一方法实施例中的技术方案。
图10为本申请一个实施例提供的车载环视系统的结构示意图。如图10所示，本实施例的车载环视系统100，包括：相机外参修正装置12和多个相机11，多个相机设置在车辆的车身上。
其中，多个相机在车身上的设置位置可以有多种，本实施例不作具体限定。示例性的，如图1A所示，可以设置在车身的前侧、后侧、左侧和右侧。本实施例的相机外参修正装置12可以采用如图8所示的结构。
各所述相机11用于拍摄得到图像，每个所述图像中包括至少一条标定线。所述相机外参修正装置12用于根据所述图像执行上述任意方法实施例所述的相机外参修正方法。其实现原理和技术效果类似，此处不再赘述。
一种可能的实施方式中，如图10所示，车载环视系统还可以包括控制装置13和渲染装置14，控制装置13和相机外参修正装置12、渲染装置14分别连接。
控制装置13用于接收控制指令，并根据所述控制指令确定是否对所述多个相机进行外参修正。示例性的，控制装置13可以向用户提供操作界面，用于通过操作界面输入控制指令。或者，控制装置13还可以与其他的终端设备连接，用于从其他终端设备接收控制指令。其中，控制指令用于指示是否需要对各所述相机进行外参修正。
在确定对所述多个相机进行外参修正时，所述控制装置13从多个相机11获取所述图像，并将所述图像传输给所述相机外参修正装置12；在确定不对所述多个相机进行外参修正时，所述控制装置13获取当前查找表，并从各所述相机11获取所述图像，将所述当前查找表和所述图像传输给渲染装置14；所述渲染装置14用于根据所述当前查找表对所述图像进行拼接处理，得到全景图。
一种可能的实施方式中，所述相机外参修正装置12还用于，根据所述相机外参修正方法获取到的各所述相机的外参，生成新的查找表；所述渲染装置14还用于根据所述新的查找表对所述图像进行拼接，得到全景图像。
其中，本实施例中的查找表是指用于指示二维信息到三维信息之间的转换关系的数据表。可以理解的，查找表是基于各相机的外参得到的。
一种可能的实施方式中，如图10所示，车载环视系统还可以包括显示装置15，显示装置15与渲染装置14连接。显示装置15用于对全景图像进行显示。
需要说明的是，本实施例中的，控制装置13、相机外参修正装置12、渲染装置14和显示装置15可以集成到同一个车载电子设备中，还可以集成到多个不同的车载电子设备中，本实施例对此不作具体限定。
本实施例提供的车载环视系统，用户可以手动触发相机外参修正功能，示例性的，在车辆长时间使用后，用户确定需要进行相机外参修正时，只需要向控制器输入控制指令，便可以触发相机外参修正过程，用户操作以及修正场景简单，便于用户操作，提升了车载环视系统的使用便利性。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种相机外参修正方法，其特征在于，应用于车辆的车载环视系统，所述车载环视系统包括多个相机，所述多个相机设置在所述车辆上，所述车辆所在位置的地面上存在至少两条标定线，所述至少两条标定线相互平行且位于所述车辆的两侧，所述方法包括：
获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线；
对所述图像进行标定线检测，得到所述图像中的标定线的边缘；
调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
2.根据权利要求1所述的方法，其特征在于，针对所述多个相机中的任意一个第一相机；调节所述第一相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括：
根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，所述第一图像为所述第一相机拍摄的图像，所述位置信息与所述第一相机的外参相关；
调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
3.根据权利要求2所述的方法，其特征在于，所述多个相机中包括第一类型的相机和第二类型的相机；其中，
所述第一类型的相机设置在所述车辆的车身的前侧或者后侧，所述第二类型的相机设置在所述车辆的车身的左侧或者右侧。
4.根据权利要求3所述的方法，其特征在于，所述第一相机为所述第一类型的相机；所述第一图像中的标定线包括第一标定线和第二标定线；调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括执行如下调节中的至少一种：
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘、所述第二标定线的两个边缘相互平行；或，
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第一标定线的宽度和所述第二标定线的宽度相同；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第一标定线的两个边缘的斜率、所述第二标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的高度进行调节，直至在世界坐标系中，所述第一标定线和所述第二标定线之间的距离与所述相邻标定线之间的距离相同。
5.根据权利要求3所述的方法，其特征在于，所述第一相机为所述第二类型的相机；所述第一图像中的标定线包括第三标定线；调节所述第一相机的外参，直至所述第一图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括执行如下调节中的至少一种：
对所述第一相机的偏航角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘相互平行；或，
对所述第一相机的滚转角进行调节，直至在世界坐标系中，所述第三标定线的两个边缘的斜率与所述车身的斜率相同；或，
对所述第一相机的俯仰角进行调节，直至在世界坐标系中，所述第三标定线的宽度与第一宽度相同，其中，所述第一宽度为对所述第一类型的相机的外参进行调整后，所述第一类型的相机拍摄的所述第三标定线在世界坐标系中的宽度。
6.根据权利要求2至5任一项所述的方法，其特征在于，根据第一图像中的标定线的边缘和所述第一相机的内参，确定所述第一图像中的标定线的边缘在世界坐标系中的位置信息，包括：
根据所述第一图像中的每个标定线的边缘，获取所述标定线的边缘在图像坐标系中的第一直线方程；
根据所述第一相机对应的坐标转换关系，将所述第一直线方程转换为世界坐标系中的第二直线方程，所述坐标转换关系用于指示图像坐标系与世界坐标系之间的坐标转换矩阵，所述坐标转换矩阵与所述第一相机的外参、所述第一相机的内参相关；
根据所述第二直线方程确定所述标定线的边缘在世界坐标系中的位置信息。
7.根据权利要求3至5任一项所述的方法，其特征在于，所述调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，包括：
调节至少一个所述第一类型的相机的外参，直至所述第一类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息；
调节所述第二类型的相机的外参，直至所述第二类型的相机拍摄的图像中的标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息。
8.一种相机外参修正装置，其特征在于，应用于车辆的车载环视系统，所述车载环视系统包括多个相机，所述多个相机设置在所述车辆上，所述车辆所在位置的地面上存在至少两条标定线，所述至少两条标定线相互平行且位于所述车辆的两侧，所述装置包括：
获取模块，用于获取所述多个相机拍摄的图像，所述图像中包括至少一条所述标定线；
检测模块，用于对所述图像进行标定线检测，得到所述图像中的标定线的边缘；
修正模块，用于调节所述多个相机的外参，直至所述标定线的边缘在世界坐标系中的位置信息满足所述至少两条标定线的先验信息，所述先验信息包括下述中的至少一种：标定线的宽度、相邻标定线之间的距离、以及标定线之间的平行关系。
9.一种电子设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
11.一种车载环视系统，其特征在于，所述车载环视系统包括：相机外参修正装置和多个相机，所述多个相机设置在车辆上；
所述多个相机用于拍摄得到图像，所述图像中包括至少一条标定线；
所述相机外参修正装置用于根据所述图像执行权利要求1至7任一项所述的相机外参修正方法。
12.根据权利要求11所述的车载环视系统，其特征在于，所述车载环视系统还包括：控制装置和渲染装置，所述控制装置与所述相机外参修正装置、所述渲染装置分别连接；
所述控制装置用于接收控制指令，并根据所述控制指令确定是否对所述多个相机进行外参修正；
在确定对所述多个相机进行外参修正时，所述控制装置还用于从所述多个相机获取所述图像，并将所述图像传输给所述相机外参修正装置；
在确定不对所述多个相机进行外参修正时，所述控制装置还用于获取当前查找表，并从所述多个相机获取所述图像，将所述当前查找表和所述图像传输给渲染装置；所述渲染装置用于根据所述当前查找表对所述图像进行拼接处理，得到全景图像。
13.根据权利要求12所述的车载环视系统，其特征在于，所述相机外参修正装置还用于根据所述相机外参修正方法获取到的各所述相机的外参，生成新的查找表；
所述渲染装置还用于根据所述新的查找表对所述图像进行拼接，得到全景图像。
14.根据权利要求12或13所述的车载环视系统，其特征在于，所述车载环视系统还包括显示装置，所述显示装置与所述渲染装置连接，所述显示装置用于对所述全景图像进行显示。
CN202010429509.3A 2020-05-20 2020-05-20 相机外参修正方法、装置及车载环视系统 Pending CN113706624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429509.3A CN113706624A (zh) 2020-05-20 2020-05-20 相机外参修正方法、装置及车载环视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429509.3A CN113706624A (zh) 2020-05-20 2020-05-20 相机外参修正方法、装置及车载环视系统

Publications (1)

Publication Number Publication Date
CN113706624A true CN113706624A (zh) 2021-11-26

Family

ID=78645516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429509.3A Pending CN113706624A (zh) 2020-05-20 2020-05-20 相机外参修正方法、装置及车载环视系统

Country Status (1)

Country Link
CN (1) CN113706624A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114754695A (zh) * 2022-06-14 2022-07-15 中国地质大学（北京） 多视场桥梁挠度测量装置、方法及存储介质
CN116630436A (zh) * 2023-05-17 2023-08-22 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质
CN116704040A (zh) * 2023-04-03 2023-09-05 上海保隆汽车科技(武汉)有限公司 相机标定方法、装置、控制器、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN109859279A (zh) * 2019-01-29 2019-06-07 江苏裕兰信息科技有限公司 一种基于线特征的车载360环视系统的流水线下线标定方法
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN109859279A (zh) * 2019-01-29 2019-06-07 江苏裕兰信息科技有限公司 一种基于线特征的车载360环视系统的流水线下线标定方法
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114754695A (zh) * 2022-06-14 2022-07-15 中国地质大学（北京） 多视场桥梁挠度测量装置、方法及存储介质
CN116704040A (zh) * 2023-04-03 2023-09-05 上海保隆汽车科技(武汉)有限公司 相机标定方法、装置、控制器、车辆及存储介质
CN116704040B (zh) * 2023-04-03 2024-03-15 上海保隆汽车科技(武汉)有限公司 相机标定方法、装置、控制器、车辆及存储介质
CN116630436A (zh) * 2023-05-17 2023-08-22 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质
CN116630436B (zh) * 2023-05-17 2024-01-12 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
CN113706624A (zh) 相机外参修正方法、装置及车载环视系统
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
US9992481B2 (en) Method and apparatus for processing surrounding images of vehicle
CN112224132B (zh) 一种车用全景环视障碍物预警方法
CN111223038A (zh) 一种车载环视图像的自动拼接方法及显示装置
CN113362228A (zh) 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
CN112614192B (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN107113376A (zh) 一种图像处理方法、装置及摄像机
CN111800589B (zh) 图像处理方法、装置和系统，以及机器人
CN110264395B (zh) 一种车载单目全景系统的镜头标定方法及相关装置
CN109754363B (zh) 基于鱼眼相机的环视图像合成方法和装置
CN112489136A (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN110956585B (zh) 全景图像拼接方法、装置以及计算机可读存储介质
CN112465915A (zh) 一种车载环视系统标定方法
JP5405809B2 (ja) 車両周辺監視装置およびカメラ位置・姿勢判定方法
CN114897684A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN112598751A (zh) 标定方法及装置、终端和存储介质
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN116030139A (zh) 摄像头检测方法、装置、电子设备及车辆
CN113516722B (zh) 一种车辆摄像头标定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination