CN112270718B - 摄像头标定方法、装置、系统及存储介质 - Google Patents

摄像头标定方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112270718B
CN112270718B CN202011270934.9A CN202011270934A CN112270718B CN 112270718 B CN112270718 B CN 112270718B CN 202011270934 A CN202011270934 A CN 202011270934A CN 112270718 B CN112270718 B CN 112270718B
Authority
CN
China
Prior art keywords
detection
cameras
image
images
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011270934.9A
Other languages
English (en)
Other versions
CN112270718A (zh
Inventor
龚伟林
郑京森
孙恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN202011270934.9A priority Critical patent/CN112270718B/zh
Publication of CN112270718A publication Critical patent/CN112270718A/zh
Priority to PCT/CN2021/117913 priority patent/WO2022100265A1/en
Application granted granted Critical
Publication of CN112270718B publication Critical patent/CN112270718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请提供了一种摄像头标定方法、装置、系统及存储介质,属于机器视觉测量领域。所述方法包括:获取在同一时刻采集的雷达检测数据和至少两张检测图像,雷达检测数据通过安装平台上的雷达检测得到,至少两张检测图像通过安装平台上的摄像头模组中的至少两个摄像头拍摄得到;根据雷达检测数据,确定安装平台与检测目标之间的第一距离;根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离;调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差。上述方法能够保证摄像头的标定精度,从而保证测量距离的准确度。

Description

摄像头标定方法、装置、系统及存储介质
技术领域
本申请涉及机器视觉测量领域,特别涉及一种摄像头标定方法、装置、系统及存储介质。
背景技术
在自动驾驶领域,测量距离的准确性是安全驾驶的决定性因素,而双目摄像头因为其低成本、高可靠性、能获取丰富纹理信息的优点被广泛用于测量距离。
双目摄像头在出厂前一般会进行离线标定,但由于温度、湿度或者驾驶中的振动等原因,会导致已标定的双目摄像头中,两个摄像头之间的相对位姿发生变化,导致测量出来的距离不准。
发明内容
本申请实施例提供了一种摄像头标定方法、装置、系统及存储介质,能够保证摄像头的标定精度,从而保证测量距离的准确度。所述技术方案如下:
一方面,提供了一种摄像头标定方法,所述方法包括:
获取在同一时刻采集的雷达检测数据和至少两张检测图像,所述雷达检测数据通过安装平台上的雷达检测得到,所述至少两张检测图像通过所述安装平台上的摄像头模组中的至少两个摄像头拍摄得到;
根据所述雷达检测数据,确定所述安装平台与检测目标之间的第一距离;
根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离;
调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差。
在一种可能的实现方式中,所述根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离之前,所述方法还包括:
对所述至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,所述第一检测框包含所述检测目标,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
根据所述雷达检测数据,确定所述检测目标的位置,根据所述检测目标的位置,将所述检测目标投影到所述第一检测图像中,得到第二检测框;
从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置。
在另一种可能的实现方式中,所述从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置之后,所述方法还包括:
在除所述第一检测图像之外的其他检测图像中,确定与所述第三检测框匹配的第四检测框,将所述第四检测框确定为所述检测目标在所述其他检测图像中的位置。
在另一种可能的实现方式中,所述摄像头模组为双目摄像头,所述至少两张检测图像包括两张检测图像,所述根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离,包括:
根据所述检测目标在所述两张检测图像中的位置,以及所述双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到所述第二距离。
在另一种可能的实现方式中,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差,包括:
调整所述至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化所述第二距离与所述第一距离之间的误差;
其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
在另一种可能的实现方式中,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差之前,所述方法还包括:
从所述至少两张检测图像中分别提取特征点;
将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,所述匹配点集中包括至少两个匹配的特征点;
调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,所述图像坐标系的横轴与水平方向平行。
在另一种可能的实现方式中,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,包括:
在保持所述至少两个摄像头之间的相对位置偏移不变的前提下,调整所述至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化所述至少两个匹配的特征点之间,在所述图像坐标系中的纵坐标之差;
其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
在另一种可能的实现方式中,所述将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,包括:
确定第一特征点在第一检测图像中的第一坐标,所述第一特征点为所述第一检测图像中的任一特征点,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
在除所述第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,所述第二特征点与所述第一特征点匹配,且所述第二特征点的第二坐标与所述第一坐标的坐标差值不大于参考阈值。
另一方面,提供了一种摄像头标定装置,所述装置包括:
数据获取模块,被配置为获取在同一时刻采集的雷达检测数据和至少两张检测图像,所述雷达检测数据通过安装平台上的雷达检测得到,所述至少两张检测图像通过所述安装平台上的摄像头模组中的至少两个摄像头拍摄得到;
第一距离获取模块,被配置为根据所述雷达检测数据,确定所述安装平台与检测目标之间的第一距离;
第二距离获取模块,被配置为根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离;
位姿调整模块,被配置为调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差。
在一种可能的实现方式中,所述装置还包括:
图像识别模块,被配置为对所述至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,所述第一检测框包含所述检测目标,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
目标投影模块,被配置为根据所述雷达检测数据,确定所述检测目标的位置,根据所述检测目标的位置,将所述检测目标投影到所述第一检测图像中,得到第二检测框;
目标选择模块,被配置为从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置。
在另一种可能的实现方式中,所述装置还包括:
目标确定模块,被配置为在除所述第一检测图像之外的其他检测图像中,确定与所述第三检测框匹配的第四检测框,将所述第四检测框确定为所述检测目标在所述其他检测图像中的位置。
在另一种可能的实现方式中,所述摄像头模组为双目摄像头,所述至少两张检测图像包括两张检测图像,
所述第二距离获取模块,被配置为根据所述检测目标在所述两张检测图像中的位置,以及所述双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到所述第二距离。
在另一种可能的实现方式中,所述位姿调整模块,被配置为调整所述至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化所述第二距离与所述第一距离之间的误差;其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
在另一种可能的实现方式中,所述装置还包括:
特征点提取模块,被配置为从所述至少两张检测图像中分别提取特征点;
特征点匹配模块,被配置为将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,所述匹配点集中包括至少两个匹配的特征点;
所述位姿调整模块,还被配置为调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,所述图像坐标系的横轴与水平方向平行。
在另一种可能的实现方式中,所述位姿调整模块,被配置为在保持所述至少两个摄像头之间的相对位置偏移不变的前提下,调整所述至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化所述至少两个匹配的特征点之间,在所述图像坐标系中的纵坐标之差;其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
在另一种可能的实现方式中,所述特征点匹配模块,被配置为确定第一特征点在第一检测图像中的第一坐标,所述第一特征点为所述第一检测图像中的任一特征点,所述第一检测图像为所述至少两张检测图像中的任一检测图像;在除所述第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,所述第二特征点与所述第一特征点匹配,且所述第二特征点的第二坐标与所述第一坐标的坐标差值不大于参考阈值。
另一方面,提供了一种摄像头标定系统,所述系统包括雷达、摄像头模组和终端,所述摄像头模组包括至少两个摄像头,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现上述任一种可能实现方式中的摄像头标定方法中执行的操作。
在一种可能的实现方式中,所述摄像头模组包括双目摄像头。
另一方面,提供了一种自动驾驶车辆,所述自动驾驶车辆包括上述任一种可能的实现方式中的摄像头标定系统。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现上述任一种可能实现方式中的摄像头标定方法中执行的操作。
再一方面,提供了一种计算机程序产品,所述计算机程序产品中包括至少一条程序代码,所述程序代码由处理器加载并执行以实现上述任一种可能实现方式中的摄像头标定方法中执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括:
在本申请提供的摄像头标定方案中,通过雷达和摄像头模组分别测量与检测目标的距离,调整摄像头模组的相对位姿,以最小化摄像头模组测量的距离与雷达测量的距离之间的误差,由于雷达测量的距离为准确距离,因此,上述方案使得经过位姿调整的摄像头模组测量出的距离是准确的,保证了摄像头的标定精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种摄像头标定方法的流程图;
图3是本申请实施例提供的一种摄像头标定方法的流程图;
图4是本申请实施例提供的一种摄像头标定方法的流程图;
图5是本申请实施例提供的一种摄像头标定装置的框图;
图6是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一检测图像称为检测图像,且类似地,可将第二检测图像称为第一检测图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个特征点包括3个特征点,而每个是指这3个特征点中的每一个特征点,任一是指这3个特征点中的任意一个,可以是第一个,可以是第二个、也可以是第三个。
图1是本申请实施例提供的一种实施环境的示意图。参见图1,该实施环境包括安装平台101、雷达102、摄像头模组103(图1中以摄像头模组包括两个摄像头1031为例)和终端104,雷达102、摄像头模组103设置在安装平台101上,且雷达102与摄像头模组103的安装角度平行。可选地,终端104设置在安装平台101的任意位置,或者终端104设置在安装平台101之外的其他地方,例如,该终端104为远程终端。本申请对此不做限制。雷达102、摄像头模组103和终端104之间通过无线或者有线网络连接,能够实现例如数据传输、消息交互等功能。可选地,雷达102包括毫米波雷达、激光雷达、微波雷达等。可选地,摄像头模组103包括双目摄像头、三目摄像头或者其他多目摄像头。可选地,终端104包括终端和服务器,例如,电脑、手机、平板电脑等,本申请对此不做限制。可选地,雷达102为前向的雷达,摄像头模组103为前向的摄像头模组。可选地,雷达102的数量为多个,且多个雷达102能够分别设置在安装平台101的多个位置。可选地,摄像头模组103的数量为多个,且多个摄像头模组103能够分别设置在安装平台101的多个位置。
雷达102用于采集雷达检测数据,摄像头模组103用于采集检测图像,终端104用于根据雷达检测数据和检测图像标定摄像头模组103,以及通过雷达102和标定的摄像头模组103测量安装平台与检测目标的距离、检测目标的速度、大小、形状、方位等信息。
本申请提供的摄像头标定方法能够应用于任何摄像头标定的场景下,本申请对此不做限制。
例如,在自动驾驶的场景下,安装平台为自动驾驶车辆,雷达、摄像头模组和终端安装在自动驾驶车辆上,在自动驾驶的过程中,雷达采集雷达检测数据,摄像头模组采集检测图像,终端则能够通过本申请提供的方法对摄像头模组进行标定,从而能够通过高精度标定的摄像头模组测量自动驾驶车辆与路上的检测目标的距离,以及检测目标的速度、大小、形状、方位等信息。
又如,在路口检测的场景下,雷达、摄像头模组和终端安装在路口的安装平台上,用于检测来往车辆或行人与安装平台的距离。雷达采集雷达检测数据,摄像头模组采集检测图像,终端则能够通过本申请提供的方法对摄像头模组进行标定,从而能够通过高精度标定的摄像头模组测量安装平台与路上的车辆或行人的距离。
图2是本申请实施例提供的一种摄像头标定方法的流程图。执行主体为终端,参见图2,该实施例包括:
步骤201:获取在同一时刻采集的雷达检测数据和至少两张检测图像,雷达检测数据通过安装平台上的雷达检测得到,至少两张检测图像通过安装平台上的摄像头模组中的至少两个摄像头拍摄得到。
步骤202:根据雷达检测数据,确定安装平台与检测目标之间的第一距离。
步骤203:根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离。
步骤204:调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差。
在本申请提供的摄像头标定方案中,通过雷达和摄像头模组分别测量与检测目标的距离,调整摄像头模组的相对位姿,以最小化摄像头模组测量的距离与雷达测量的距离之间的误差,由于雷达测量的距离为准确距离,因此,上述方案使得经过位姿调整的摄像头模组测量出的距离是准确的,保证了摄像头的标定精度。
在一种可能的实现方式中,根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离之前,方法还包括:
对至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,第一检测框包含检测目标,第一检测图像为至少两张检测图像中的任一检测图像;
根据雷达检测数据,确定检测目标的位置,根据检测目标的位置,将检测目标投影到第一检测图像中,得到第二检测框;
从至少一个第一检测框中,选取与第二检测框包含同一检测目标的第三检测框,将第三检测框确定为检测目标在第一检测图像中的位置。
在另一种可能的实现方式中,从至少一个第一检测框中,选取与第二检测框包含同一检测目标的第三检测框,将第三检测框确定为检测目标在第一检测图像中的位置之后,方法还包括:
在除第一检测图像之外的其他检测图像中,确定与第三检测框匹配的第四检测框,将第四检测框确定为检测目标在其他检测图像中的位置。
在另一种可能的实现方式中,摄像头模组为双目摄像头,至少两张检测图像包括两张检测图像,根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离,包括:
根据检测目标在两张检测图像中的位置,以及双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到第二距离。
在另一种可能的实现方式中,调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差,包括:
调整至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化第二距离与第一距离之间的误差;
其中,相机坐标系的第二轴与至少两个摄像头的光轴平行。
在另一种可能的实现方式中,调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差之前,方法还包括:
从至少两张检测图像中分别提取特征点;
将至少两张检测图像中的特征点进行匹配,得到匹配点集,匹配点集中包括至少两个匹配的特征点;
调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,图像坐标系的横轴与水平方向平行。
在另一种可能的实现方式中,调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,包括:
在保持至少两个摄像头之间的相对位置偏移不变的前提下,调整至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差;
其中,相机坐标系的第二轴与至少两个摄像头的光轴平行。
在另一种可能的实现方式中,将至少两张检测图像中的特征点进行匹配,得到匹配点集,包括:
确定第一特征点在第一检测图像中的第一坐标,第一特征点为第一检测图像中的任一特征点,第一检测图像为至少两张检测图像中的任一检测图像;
在除第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,第二特征点与第一特征点匹配,且第二特征点的第二坐标与第一坐标的坐标差值不大于参考阈值。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图3是本申请实施例提供的一种摄像头标定方法的流程图。参见图3,该实施例包括:
步骤301:终端获取在同一时刻采集的雷达检测数据和至少两张检测图像。
其中,雷达检测数据通过安装平台上的雷达检测得到,雷达是利用电磁波检测目标的电子设备,雷达发射电磁波对目标进行照射并接收反射回来的电磁波,通过反射回来的电磁波的时间、方向、反射率等信息,确定检测目标的位置、检测目标的速度、检测目标的形状、大小以及安装平台与检测目标的距离。相应的,雷达检测数据包括反射回来的电磁波的方向、反射率、接收反射回来的电磁波的时间等信息。
至少两张检测图像通过安装平台上的摄像头模组中的至少两个摄像头拍摄得到。可选地,摄像头模组为多目摄像头、例如,双目摄像头、三目摄像头等。其中,在摄像头模组为双目摄像头的情况下,检测图像的张数为2,分别由左右摄像头拍摄得到,在摄像头为三目摄像头的情况下,检测图像的张数为3,分别由三个摄像头拍摄得到。
可选地,终端获取的雷达检测数据和检测图像的帧数,根据需要设置为任意数量,例如,获取500帧雷达检测数据以及500帧检测图像。需要说明的一点是,获取500帧检测图像是指摄像头模组中的每个摄像头都对应500帧检测图像。以双目摄像头为例,左右摄像头分别对应500帧检测图像,则一共得到100张检测图像。
可选地,安装平台为移动的平台,例如车辆、船只等,或者,安装平台为固定的平台,例如,设置为路口的支架等,本申请实施例对此不做限制。
终端获取在同一时刻采集的雷达检测数据和至少两张检测图像的实现方式有两种,一种是通过软件同步方式:终端在雷达采集雷达检测数据以及摄像头模组采集检测图像时,为雷达检测数据和检测图像标记采集时间,根据雷达检测数据的采集时间和至少两张检测图像的采集时间,将雷达检测数据与至少两张检测图像按照采集时间进行匹配,得到在同一时刻采集的雷达检测数据和至少两张检测图像。另一种是通过硬件同步方式:终端通过硬件触发器,直接通过物理信号,同时触发摄像头模组和雷达进行数据采集,得到在同一时刻采集的雷达检测数据和至少两张检测图像。当然,终端也能够通过其他方式获取在同一时刻采集的雷达检测数据和至少两张检测图像,本申请实施例对此不做限制。
步骤302:终端将至少两张检测图像中的特征点进行匹配,得到匹配点集,匹配点集中包括至少两个匹配的特征点。
终端将至少两张检测图像中的特征点进行匹配,得到匹配点集之前,终端先要从至少两张检测图像中分别提取特征点。可选地,终端通过图像处理算法从至少两张检测图像中分别提取特征点,其中,图像处理算法包括SIFT(Scale-invariant featuretransform,尺度不变特征变换)算法、SURF(Speeded-Up Robust Features,加速稳健特征)算法、ORB(Oriented FAST and Rotated BRIEF,快速定向旋转)算法等。
可选地,从每张检测图像中提取的特征点的个数根据需要设置为任意数量,例如,提取的特征点的数量为500,当然,也能够设置为其他数量,本申请实施例对此不做限制。
可选地,终端将至少两张检测图像中的特征点进行匹配,得到匹配点集的实现方式为:终端确定每个特征点的特征描述子,将至少两张检测图像中的征描述子进行匹配,得到匹配点集,匹配点集中匹配的特征点的特征描述子匹配。其中,特征描述子是对特征点所在局部图像的表示。
在一种可能的实现方式中,终端将至少两张检测图像中的特征点进行匹配,得到匹配点集,包括:终端确定第一特征点在第一检测图像中的第一坐标,终端在除第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,第二特征点与第一特征点匹配,且第二特征点的第二坐标与第一坐标的坐标差值不大于参考阈值。
其中,第一特征点为第一检测图像中的任一特征点,第一检测图像为至少两张检测图像中的任一检测图像。目标范围中的特征点的坐标与第一坐标的坐标差值不大于参考阈值。需要说明的一点是,坐标差值不大于参考阈值包括:横坐标的差值不大于第一参考阈值以及纵坐标的差值不大于第二参考阈值。第一参考阈值和第二参考阈值相同或者不相同,且第一参考阈值和第二参考阈值能够根据需要设置为任意数值,本申请实施例对此不做限制。
可选地,特征点所参考的坐标系为图像坐标系,该图像坐标系在摄像头的成像平面上,图像坐标系的原点为摄像头的光轴与成像平面的交点,该图像坐标系的横轴与水平方向平行。
需要说明的一点是,上述特征点所参考的图像坐标系仅是示例性说明,特征点所参考的坐标系也能够为其他坐标系,例如,像素坐标系,该像素坐标系在摄像头的成像平面上,像素坐标系的原点为成像平面的左上角,该像素坐标系的横轴与水平方向平行。当然,参考的坐标系还能够为其他坐标系,本申请实施例对此不做限制。
在本申请实施例中,考虑到匹配的特征点对应现实世界中的同一点,并且,摄像头模组在出厂前已经进行了标定,因此,匹配的特征点在检测图像中的坐标差值不会太大,所以,对于第一检测图像中的任意特征点,终端仅在其他检测图像的目标范围内,进行特征匹配,不仅能够提高特征点匹配的效率,还能够减少特征点的误匹配,提高特征点匹配的准确率。
在本申请实施例中,由于摄像头模组中的多个摄像头有着相似的内参和曝光设置,且至少两张检测图像是在同一时刻采集的,则同一物体在至少两张检测图像中的形态有着极高的相似性,几乎没有近大远小的尺度差异和视角差异,也不会受到场景中目标运动的影响,从而能够充分利用车辆等运动物体上的高质量纹理,提取到高质量的特征点,进而提高了特征点匹配的精度。
步骤303:终端调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差。
需要说明的一点是,对于标定精度高的摄像头模组,现实世界中任一点或者物体在该摄像头模组所采集的至少两张检测图像中,应大致位于同一水平线上,即极线对齐(epipolar alignment)。从另一个角度来说,也就是匹配的特征点之间,在图像坐标系中的纵坐标之差较小。因此,若经过位姿调整后的至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差最小,则能够保证摄像头模组的标定精度。
相对位姿包括相对位置偏移和相对位置旋转。其中,相对位置偏移为一个摄像头相对于另一个摄像头来说,在相机坐标系的三个轴方向上的位置偏移。相对位置旋转为一个摄像头相对于另一个摄像头来说,绕相机坐标系的三个轴旋转的角度。其中,该相机坐标系的第二轴与摄像头的光轴平行,假设第二轴的方向朝前,则第一轴的方向朝上,第三轴的方向朝右。可选地,第一轴为Y轴、第二轴为Z轴、第三轴为X轴。或者,第一轴为X轴,第二轴为Z轴、第三轴为Y轴,本申请实施例对此不做限制。
在一种可能的实现方式中,终端调整至少两个摄像头之间的相对位姿,最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,包括:终端根据至少两个摄像头之间当前的相对位姿,以及至少两个匹配的特征点在至少两张检测图像中的位置,确定该至少两个匹配的特征点所对应的现实空间中的真实点的位置,调整至少两个摄像头之间的相对位姿,以最小化根据该真实点的位置以及调整后至少两个摄像头之间的相对位姿,确定的该真实点在至少两张检测图像中对应的至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差。
可选地,终端按照参考方式调整至少两个摄像头之间的相对位姿,在按照参考方式调整至少两个摄像头之间的相对位姿的过程中,对于调整得到的每个相对位姿,确定至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,将确定的多个纵坐标之差中最小的纵坐标之差对应的相对位姿作为最终调整的相对位姿。也即是,调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差。
可选地,其中参考方式包括在保持相对位置偏移不变的前提下,按照从小到大的方式调整相对位置旋转等,当然,参考方式还能够为其他方式,本申请对此不做限制。
需要说明的一点是,其中调整至少两个摄像头之间的相对位姿,包括:调整终端当前所存储的至少两个摄像头之间的相对位姿参数,当根据调整后的相对位姿参数确定该真实点在至少两张检测图像中对应的至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差最小时,根据该调整后的相对位姿参数对至少两个摄像头之间的相对位姿进行调整。
可选地,终端按照参考方式调整当前所存储的至少两个摄像头之间的相对位姿参数,在按照参考方式调整当前所存储的至少两个摄像头之间的相对位姿参数的过程中,对于调整得到的每个相对位姿参数,根据该相对位姿参数,确定至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,将最小的纵坐标之差对应的相对位姿参数作为目标相对位姿参数,根据该目标相对位姿参数对至少两个摄像头之间的相对位姿进行调整。
在一种可能的实现方式中,终端调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,包括:终端在保持至少两个摄像头之间的相对位置偏移不变的前提下,调整至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差。
在本申请实施例中,考虑到摄像头模组在出厂前会进行离线标定,且摄像头模组中摄像头的相对位置偏移一般不会发生变化,因此,保持至少两个摄像头之间的相对位置偏移不变,仅调整至少两个摄像头之间的相对旋转角度,如此,在不影响摄像头的标定精度的前提下,提高了摄像头的标定速度。另外,由于摄像头的标定速度快,使得该摄像头标定方法能够应用于在线标定的场景下,适用范围更广。
上述步骤302-303是对摄像头模组的初步标定,下述步骤304-310是对摄像头模组的进一步标定。需要说明的一点是,步骤302-303是可选步骤,也即是,也可以不执行步骤302-303,而直接执行步骤304,本申请实施例对此不做限制。
步骤304:终端对至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框。
其中,第一检测图像为至少两张检测图像中的任一检测图像。第一检测框包含检测目标,该检测目标为采集第一检测图像的第一摄像头所捕捉到的检测目标。该检测目标可能有多个,以检测目标包括车辆和行人为例,则至少一个第一检测框包括车辆的检测框和行人的检测框。可选地,第一检测框的形状固定,例如为矩形。可选地,第一检测框的形状不固定,例如,第一检测框与其中包含的检测目标的轮廓相同。当然,第一检测框也能够为其他形状,本申请实施例对此不做限制。
可选地,终端通过基于卷积神经网络的目标检测算法对第一检测图像进行图像识别,得到至少一个第一检测框。可选地,目标检测算法所基于的卷积神经网络包括LeNet-5(一种卷积神经网络),AlexNet(一种卷积神经网络),VGG(一种卷积神经网络),GooLeNet(一种卷积神经网络)、ResNet(Residual Neural Network,残差神经网络)等,本申请实施例对此不做限制。
可选地,终端通过基于特征的目标检测算法对第一检测图像进行图像识别,得到至少一个第一检测框。例如,终端通过基于纹理特征的目标检测算法对第一检测图像进行图像识别,得到至少第一检测框。或者,终端通过基于形状特征的目标检测算法对第一检测图像进行图像识别,得到至少第一检测框。当然,终端也能够通过基于其他特征的目标检测算法对第一检测图像进行图像识别,本申请实施例对此不做限制。
步骤305:终端根据雷达检测数据,确定检测目标的位置,根据检测目标的位置,将检测目标投影到第一检测图像中,得到第二检测框。
其中,雷达检测数据包括雷达发射电磁波后,反射回来的电磁波的方向、反射率以及接收反射回来的电磁波的时间等信息,相应的,终端根据发射电磁波的时间、方向、反射回来的电磁波的方向、反射率、接收反射回来的电磁波的时间等信息,确定检测目标的位置。需要说明的一点是,该检测目标是指雷达所捕捉到的检测目标,该检测目标可能有多个,例如,检测目标包括多个车辆或行人。检测目标的位置是指该检测目标在现实空间中的位置。
可选地,终端将检测目标投影到第一检测图像中,得到第二检测框的实现方式为:终端获取雷达与采集第一检测图像的第一摄像头之间的相对位姿,根据该相对位姿以及检测目标的位置,将检测目标投影到第一检测图像中,得到第二检测框。
可选地,在检测目标为多个的情况下,终端将检测目标投影到第一检测图像中,得到第二检测框之前,还要根据多个检测目标的位置,对多个检测目标进行筛选,将筛选得到的检测目标投影到第一检测图像中,得到第二检测框。例如,终端根据多个检测目标的位置,从多个检测目标中筛选出方向在正前方的、且与安装平台的距离在参考距离范围内的检测目标,将该检测目标投影到第一检测图像中,得到第二检测框。
可选地,在检测目标为多个的情况下,终端还要根据雷达检测数据,确定检测目标的速度。相应的,终端根据多个检测目标的速度,对多个检测目标进行筛选,将筛选得到的检测目标投影到第一检测图像中,得到第二检测框。例如,终端根据多个检测目标的速度,从多个检测目标中筛选出速度在参考速度范围内的检测目标,将该检测目标投影到第一检测图像中,得到第二检测框。
需要说明的一点是,终端还能够根据检测目标的其他信息对检测目标进行筛选,例如,检测目标的电磁波反射率等,本申请实施例对此不做限制。另外,终端还能够结合检测目标的多种信息对检测目标进行筛选,例如,结合检测目标的位置、速度、反射率等信息对检测目标进行筛选,本申请实施例对此不做限制。
在本申请实施例中,在检测目标为多个的情况下,通过对检测目标进行筛选,将筛选得到的检测目标投影到第一检测图像中,得到第二检测框,能够保证投影效果,提高第二检测框的准确度。
步骤306:终端从至少一个第一检测框中,选取与第二检测框包含同一检测目标的第三检测框,将第三检测框确定为该检测目标在第一检测图像中的位置。
其中,第一检测框中包含第一摄像头捕捉到的检测目标,第二检测框包含雷达捕捉到的检测目标,该步骤则是将第一摄像头捕捉到的检测目标与雷达捕捉到的检测目标进行匹配,筛选出第一摄像头和雷达共同捕捉到的检测目标。
可选地,终端确定每个第一检测框和第二检测框的尺寸、每个第一检测框与第二检测框的中心距离、每个第一检测框与第二检测框的重叠区域的尺寸,终端从至少一个第一检测框中选择与第二检测框的尺寸之差在参考差值范围内,且与第二检测框的中心距离在第一距离范围内,且与第二检测框的重叠区域的尺寸在参考尺寸范围内的第三检测框。如此能够保证第三检测框包含的检测目标与第二检测框包含的检测目标是同一检测目标,使得后续能够通过检测图像和雷达检测数据分别获取安装平台与该检测目标的距离,从而能够根据这两种方式获取的距离来标定摄像头模组。
步骤307:终端在除第一检测图像之外的其他检测图像中,确定与第三检测框匹配的第四检测框,将第四检测框确定为检测目标在其他检测图像中的位置。
其中,第三检测框包含了雷达与第一摄像头都捕捉到的检测目标,该步骤则是确定该检测目标在其他摄像头采集的检测图像中的位置。
可选地,该步骤的实现方式为:终端通过模板匹配算法确定第三检测框对应的检测目标在其他检测图像中的位置,得到第四检测框。例如,终端将第三检测框所在的局部图像作为模板,在其他检测图像中搜索与该模板的相似度最大的局部图像,则包含该局部图像的检测框即为第四检测框。当然也能通过其他方式在其他检测图像中,确定与第三检测框匹配的第四检测图像,本申请实施例对此不做限制。
需要说明的一点是,上述步骤304-307描述了确定雷达所捕捉到的检测目标在至少两张检测图像中的位置的方法。在其他实施例中,也能够通过其他方式确定雷达所捕捉到的检测目标在至少两张检测图像中的位置,本申请实施例对此不做限制。
步骤308:终端根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离。
在一种可能的实现方式中,摄像头模组为双目摄像头,至少两张检测图像包括两张检测图像,相应的,终端根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离,包括:终端根据检测目标在两张检测图像中的位置,以及双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到第二距离。
可选地,第三检测框为检测目标在第一检测图像中的位置,第四检测框为检测目标在另一个检测图像中的位置,则终端根据检测目标在两张检测图像中的位置,以及双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到第二距离的实现方式为:终端确定第三检测框的中心点和第四检测框的中心点,将该两个中心点作为匹配点对,终端根据该匹配点对的位置,以及双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到第二距离。如此,能够减少测量误差,得到的第二距离更加准确。
需要说明的一点是,在摄像头模组包括两个以上摄像头的情况下,可将其中任意两个摄像头看做双目摄像头,通过上述方法得到第二距离。
步骤309:终端根据雷达检测数据,确定安装平台与检测目标之间的第一距离。
雷达检测数据包括雷达发射电磁波后,反射回来的电磁波的方向、反射率以及接收反射回来的电磁波的时间等信息,相应的,终端根据发射电磁波的时间、方向、反射回来的电磁波的方向、反射率以及接收反射回来的电磁波的时间等信息,确定安装平台与检测目标之间的第一距离。需要说明的一点是,该检测目标为雷达和每个摄像头均捕捉到的检测目标。
步骤310:终端调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差。
在该步骤中,终端会调整至少两个摄像头之间的相对位姿,然后根据调整后的至少两个摄像头之间的相对位姿确定第二距离与第一距离之间的误差,直至该误差最小。
可选地,终端按照参考方式调整至少两个摄像头之间的相对位姿,在按照参考方式调整至少两个摄像头之间的相对位姿的过程中,对于调整得到的每个相对位姿,确定第二距离与第一距离之间的误差,将确定的多个误差中的最小的误差对应的相对位姿作为最终调整的相对位姿。也即是,调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差。
可选地,其中参考方式包括在保持相对位置偏移不变的前提下,按照从小到大的方式调整相对位置旋转等,当然,参考方式还能够为其他方式,本申请对此不做限制。
在一种可能的实现方式中,终端调整至少两个摄像头之间的相对位姿,最小化第二距离与第一距离之间的误差,包括:终端调整至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化第二距离与第一距离之间的误差。由于,经过步骤302-303的初步标定,摄像头在相机坐标系中绕其他轴的方向上已达到较高的标定精度,因此,在该步骤中仅调整绕第一轴的相对旋转角度,如此,在保证了标定精度的同时,提高了标定的速度。
需要说明的一点是,其中调整至少两个摄像头之间的相对位姿,包括:调整终端当前所存储的至少两个摄像头之间的相对位姿参数,当根据调整后的相对位姿参数确定第二距离与第一距离之间的误差最小时,就根据该调整后的相对位姿参数对至少两个摄像头之间的相对位姿进行调整。
在本申请实施例中,由于第二距离相对于绕第一轴方向上的相对旋转角度来说,是一个单调函数,因此,能够通过线性搜索的方法快速调整得到稳定且精确的相对旋转角度,提高了摄像头标定的速度。
在本申请实施例中,经过步骤302-303对摄像头进行初步标定后,在相机坐标系中,摄像头之间在绕第二轴的方向上的相对旋转角度的标定精度较高,并且,绕第三轴的方向上的相对旋转角度的标定精度也较高,而绕第一轴的方向上的相对旋转角度的标定精度只能达到0.5度。经过步骤304-310对摄像头进一步标定后,摄像头之间在绕第一轴的方向上的相对旋转角度的标定精度提高到了0.005度,将摄像头模组的距离测量误差至少减小了1/3。
参考图4,图4为摄像头标定方法的流程图。其中,以双目摄像头为例进行说明。首先,进行数据采集,即通过雷达采集雷达检测数据,以及通过双目摄像头中的两个摄像头采集检测图像。然后,进行时间同步,即将雷达检测数据与检测图像根据采集时间进行匹配。接着,提取检测图像中的特征点。然后,将两个摄像头对应的检测图像中的特征点进行匹配。然后,进行初步标定,即根据匹配的特征点对双目摄像头进行标定。然后,通过投影确定雷达所捕捉到的检测目标在其中一个检测图像中的位置,通过模板匹配确定该检测目标在其他检测图像中的位置。然后,根据雷达检测数据确定检测目标与安装平台的第一距离,根据检测目标在检测图像中的位置测量检测目标与安装平台的第二距离,根据第一距离和第二距离对双目摄像头进行标定。
在本申请提供的摄像头标定方案中,通过雷达和摄像头模组分别测量与检测目标的距离,调整摄像头模组的相对位姿,以最小化摄像头模组测量的距离与雷达测量的距离之间的误差,由于雷达测量的距离为准确距离,因此,上述方案使得经过位姿调整的摄像头模组测量出的距离是准确的,保证了摄像头的标定精度。
图5是本申请实施例提供的一种摄像头标定装置的框图。参见图5,该装置包括:
数据获取模块501,被配置为获取在同一时刻采集的雷达检测数据和至少两张检测图像,雷达检测数据通过安装平台上的雷达检测得到,至少两张检测图像通过安装平台上的摄像头模组中的至少两个摄像头拍摄得到。
第一距离获取模块502,被配置为根据雷达检测数据,确定安装平台与检测目标之间的第一距离。
第二距离获取模块503,被配置为根据检测目标在至少两张检测图像中的位置,以及至少两个摄像头之间的相对位姿,确定安装平台与检测目标之间的第二距离。
位姿调整模块504,被配置为调整至少两个摄像头之间的相对位姿,以最小化第二距离与第一距离之间的误差。
在一种可能的实现方式中,装置还包括:
图像识别模块,被配置为对至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,第一检测框包含检测目标,第一检测图像为至少两张检测图像中的任一检测图像;
目标投影模块,被配置为根据雷达检测数据,确定检测目标的位置,根据检测目标的位置,将检测目标投影到第一检测图像中,得到第二检测框;
目标选择模块,被配置为从至少一个第一检测框中,选取与第二检测框包含同一检测目标的第三检测框,将第三检测框确定为检测目标在第一检测图像中的位置。
在另一种可能的实现方式中,装置还包括:
目标确定模块,被配置为在除第一检测图像之外的其他检测图像中,确定与第三检测框匹配的第四检测框,将第四检测框确定为检测目标在其他检测图像中的位置。
在另一种可能的实现方式中,摄像头模组为双目摄像头,至少两张检测图像包括两张检测图像,
第二距离获取模块,被配置为根据检测目标在两张检测图像中的位置,以及双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到第二距离。
在另一种可能的实现方式中,位姿调整模块,被配置为调整至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化第二距离与第一距离之间的误差;其中,相机坐标系的第二轴与至少两个摄像头的光轴平行。
在另一种可能的实现方式中,装置还包括:
特征点提取模块,被配置为从至少两张检测图像中分别提取特征点;
特征点匹配模块,被配置为将至少两张检测图像中的特征点进行匹配,得到匹配点集,匹配点集中包括至少两个匹配的特征点;
位姿调整模块,还被配置为调整至少两个摄像头之间的相对位姿,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,图像坐标系的横轴与水平方向平行。
在另一种可能的实现方式中,位姿调整模块,被配置为在保持至少两个摄像头之间的相对位置偏移不变的前提下,调整至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差;其中,相机坐标系的第二轴与至少两个摄像头的光轴平行。
在另一种可能的实现方式中,特征点匹配模块,被配置为确定第一特征点在第一检测图像中的第一坐标,第一特征点为第一检测图像中的任一特征点,第一检测图像为至少两张检测图像中的任一检测图像;在除第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,第二特征点与第一特征点匹配,且第二特征点的第二坐标与第一坐标的坐标差值不大于参考阈值。
在本申请提供的摄像头标定方案中,通过雷达和摄像头模组分别测量与检测目标的距离,调整摄像头模组的相对位姿,以最小化摄像头模组测量的距离与雷达测量的距离之间的误差,由于雷达测量的距离为准确距离,因此,上述方案使得经过位姿调整的摄像头模组测量出的距离是准确的,保证了摄像头的标定精度。
需要说明的是:上述实施例提供的摄像头标定装置在进行摄像头标定时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的摄像头标定装置与摄像头标定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6示出了本申请一个示例性实施例提供的终端600的结构框图。该终端600可以是:车载终端、工控机、智能手机、平板电脑、笔记本电脑、台式电脑、其他控制设备或者其他计算设备。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器601所执行以实现本申请中方法实施例提供的摄像头标定方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
另一方面,提供了一种摄像头标定系统,系统包括雷达、摄像头模组和终端,摄像头模组包括至少两个摄像头,终端包括处理器和存储器,存储器中存储有至少一条程序代码,程序代码由处理器加载并执行以实现上述任一种可能实现方式中的摄像头标定方法中执行的操作。
在一种可能的实现方式中,该摄像头模组包括双目摄像头。
本申请实施例还提供了一种自动驾驶车辆,该自动驾驶车辆包括上述实施例中的摄像头标定系统。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的摄像头标定方法中执行的操作。
本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的摄像头标定方法中执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (18)

1.一种摄像头标定方法,其特征在于,所述方法包括:
获取在同一时刻采集的雷达检测数据和至少两张检测图像,所述雷达检测数据通过安装平台上的雷达检测得到,所述至少两张检测图像通过所述安装平台上的摄像头模组中的至少两个摄像头拍摄得到;
根据所述雷达检测数据,确定所述安装平台与检测目标之间的第一距离;
对所述至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,所述第一检测框包含所述检测目标,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
根据所述雷达检测数据,确定所述检测目标的位置,根据所述检测目标的位置,将所述检测目标投影到所述第一检测图像中,得到第二检测框;
从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置;
根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离;
调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差。
2.根据权利要求1所述的方法,其特征在于,所述从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置之后,所述方法还包括:
在除所述第一检测图像之外的其他检测图像中,确定与所述第三检测框匹配的第四检测框,将所述第四检测框确定为所述检测目标在所述其他检测图像中的位置。
3.根据权利要求1所述的方法,其特征在于,所述摄像头模组为双目摄像头,所述至少两张检测图像包括两张检测图像,所述根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离,包括:
根据所述检测目标在所述两张检测图像中的位置,以及所述双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到所述第二距离。
4.根据权利要求1所述的方法,其特征在于,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差,包括:
调整所述至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化所述第二距离与所述第一距离之间的误差;
其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
5.根据权利要求1所述的方法,其特征在于,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差之前,所述方法还包括:
从所述至少两张检测图像中分别提取特征点;
将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,所述匹配点集中包括至少两个匹配的特征点;
调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,所述图像坐标系的横轴与水平方向平行。
6.根据权利要求5所述的方法,其特征在于,所述调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,包括:
在保持所述至少两个摄像头之间的相对位置偏移不变的前提下,调整所述至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化所述至少两个匹配的特征点之间,在所述图像坐标系中的纵坐标之差;
其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
7.根据权利要求5所述的方法,其特征在于,所述将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,包括:
确定第一特征点在第一检测图像中的第一坐标,所述第一特征点为所述第一检测图像中的任一特征点,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
在除所述第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,所述第二特征点与所述第一特征点匹配,且所述第二特征点的第二坐标与所述第一坐标的坐标差值不大于参考阈值。
8.一种摄像头标定装置,其特征在于,所述装置包括:
数据获取模块,被配置为获取在同一时刻采集的雷达检测数据和至少两张检测图像,所述雷达检测数据通过安装平台上的雷达检测得到,所述至少两张检测图像通过所述安装平台上的摄像头模组中的至少两个摄像头拍摄得到;
第一距离获取模块,被配置为根据所述雷达检测数据,确定所述安装平台与检测目标之间的第一距离;
图像识别模块,被配置为对所述至少两张检测图像中的第一检测图像进行图像识别,得到至少一个第一检测框,所述第一检测框包含所述检测目标,所述第一检测图像为所述至少两张检测图像中的任一检测图像;
目标投影模块,被配置为根据所述雷达检测数据,确定所述检测目标的位置,根据所述检测目标的位置,将所述检测目标投影到所述第一检测图像中,得到第二检测框;
目标选择模块,被配置为从所述至少一个第一检测框中,选取与所述第二检测框包含同一检测目标的第三检测框,将所述第三检测框确定为所述检测目标在所述第一检测图像中的位置;
第二距离获取模块,被配置为根据所述检测目标在所述至少两张检测图像中的位置,以及所述至少两个摄像头之间的相对位姿,确定所述安装平台与所述检测目标之间的第二距离;
位姿调整模块,被配置为调整所述至少两个摄像头之间的相对位姿,以最小化所述第二距离与所述第一距离之间的误差。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
目标确定模块,被配置为在除所述第一检测图像之外的其他检测图像中,确定与所述第三检测框匹配的第四检测框,将所述第四检测框确定为所述检测目标在所述其他检测图像中的位置。
10.根据权利要求8所述的装置,其特征在于,所述摄像头模组为双目摄像头,所述至少两张检测图像包括两张检测图像,
所述第二距离获取模块,被配置为根据所述检测目标在所述两张检测图像中的位置,以及所述双目摄像头中两个摄像头之间的相对位姿进行双目三角测量,得到所述第二距离。
11.根据权利要求8所述的装置,其特征在于,
所述位姿调整模块,被配置为调整所述至少两个摄像头与相机坐标系的第一轴之间的相对旋转角度,以最小化所述第二距离与所述第一距离之间的误差;其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
特征点提取模块,被配置为从所述至少两张检测图像中分别提取特征点;
特征点匹配模块,被配置为将所述至少两张检测图像中的特征点进行匹配,得到匹配点集,所述匹配点集中包括至少两个匹配的特征点;
所述位姿调整模块,还被配置为调整所述至少两个摄像头之间的相对位姿,以最小化所述至少两个匹配的特征点之间,在图像坐标系中的纵坐标之差,所述图像坐标系的横轴与水平方向平行。
13.根据权利要求12所述的装置,其特征在于,
所述位姿调整模块,被配置为在保持所述至少两个摄像头之间的相对位置偏移不变的前提下,调整所述至少两个摄像头与相机坐标系的三个轴之间的相对旋转角度,以最小化所述至少两个匹配的特征点之间,在所述图像坐标系中的纵坐标之差;其中,所述相机坐标系的第二轴与所述至少两个摄像头的光轴平行。
14.根据权利要求12所述的装置,其特征在于,
所述特征点匹配模块,被配置为确定第一特征点在第一检测图像中的第一坐标,所述第一特征点为所述第一检测图像中的任一特征点,所述第一检测图像为所述至少两张检测图像中的任一检测图像;在除所述第一检测图像之外的其他检测图像的目标范围内,进行特征匹配,得到第二特征点,所述第二特征点与所述第一特征点匹配,且所述第二特征点的第二坐标与所述第一坐标的坐标差值不大于参考阈值。
15.一种摄像头标定系统,其特征在于,所述系统包括雷达、摄像头模组和终端,所述摄像头模组包括至少两个摄像头,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现如权利要求1至权利要求7任一项所述的摄像头标定方法所执行的操作。
16.根据权利要求15所述的系统,其特征在于,所述摄像头模组包括双目摄像头。
17.一种自动驾驶车辆,其特征在于,所述自动驾驶车辆包括如权利要求15所述的摄像头标定系统。
18.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的摄像头标定方法所执行的操作。
CN202011270934.9A 2020-11-13 2020-11-13 摄像头标定方法、装置、系统及存储介质 Active CN112270718B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011270934.9A CN112270718B (zh) 2020-11-13 2020-11-13 摄像头标定方法、装置、系统及存储介质
PCT/CN2021/117913 WO2022100265A1 (en) 2020-11-13 2021-09-13 Camera calibration method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011270934.9A CN112270718B (zh) 2020-11-13 2020-11-13 摄像头标定方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112270718A CN112270718A (zh) 2021-01-26
CN112270718B true CN112270718B (zh) 2022-11-15

Family

ID=74339521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270934.9A Active CN112270718B (zh) 2020-11-13 2020-11-13 摄像头标定方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN112270718B (zh)
WO (1) WO2022100265A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270718B (zh) * 2020-11-13 2022-11-15 苏州智加科技有限公司 摄像头标定方法、装置、系统及存储介质
CN113344906B (zh) * 2021-06-29 2024-04-23 阿波罗智联(北京)科技有限公司 车路协同中相机评估方法、装置、路侧设备和云控平台
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN114795079B (zh) * 2022-05-06 2023-04-14 广州为实光电医疗科技有限公司 一种医用内窥镜双摄模组的匹配校准方法及装置
CN115456855B (zh) * 2022-11-11 2023-04-11 湖北晓雲科技有限公司 一种无人机辅助倾斜摄影图像采集系统
CN115639536B (zh) * 2022-11-18 2023-03-21 陕西欧卡电子智能科技有限公司 基于多传感器融合的无人船感知目标检测方法及装置
FR3146005A1 (fr) * 2023-02-16 2024-08-23 Psa Automobiles Sa Procédé et dispositif de détection d’un défaut d’étalonnage d’un système de vision stéréoscopique non parallèle embarqué dans un véhicule.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2529068A1 (es) * 2013-07-16 2015-02-16 Universitat Rovira I Virgili Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales
CN110310339A (zh) * 2019-07-04 2019-10-08 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846284A (zh) * 2016-12-28 2017-06-13 武汉理工大学 基于cell的主动式智能感知装置与方法
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons
CN110779491A (zh) * 2019-10-08 2020-02-11 苏州浪潮智能科技有限公司 一种水平面上目标测距的方法、装置、设备及存储介质
CN111105465B (zh) * 2019-11-06 2022-04-12 京东科技控股股份有限公司 一种摄像装置校准方法、装置、系统电子设备及存储介质
CN112270718B (zh) * 2020-11-13 2022-11-15 苏州智加科技有限公司 摄像头标定方法、装置、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2529068A1 (es) * 2013-07-16 2015-02-16 Universitat Rovira I Virgili Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales
CN110310339A (zh) * 2019-07-04 2019-10-08 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质

Also Published As

Publication number Publication date
CN112270718A (zh) 2021-01-26
WO2022100265A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
CN112270718B (zh) 摄像头标定方法、装置、系统及存储介质
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN110967024A (zh) 可行驶区域的检测方法、装置、设备及存储介质
CN108682036A (zh) 位姿确定方法、装置及存储介质
CN111126182A (zh) 车道线检测方法、装置、电子设备及存储介质
CN108682038A (zh) 位姿确定方法、装置及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN111256676B (zh) 移动机器人定位方法、装置和计算机可读存储介质
CN111126276B (zh) 车道线检测方法、装置、计算机设备及存储介质
CN112406707B (zh) 车辆预警方法、车辆、装置、终端和存储介质
CN112396076A (zh) 车牌图像生成方法、装置及计算机存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN111538009B (zh) 雷达点的标记方法和装置
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN109754439B (zh) 标定方法、装置、电子设备及介质
CN111586279A (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN115965936A (zh) 边缘位置标注方法及设备
CN117911520A (zh) 相机内参标定方法和自动驾驶设备
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质
CN113033590B (zh) 图像特征匹配方法、装置、图像处理设备及存储介质
CN112243083B (zh) 抓拍方法、装置及计算机存储介质
CN110443841B (zh) 地面深度的测量方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant