CN114758009A - 双目标定的方法、装置及电子设备 - Google Patents

双目标定的方法、装置及电子设备 Download PDF

Info

Publication number
CN114758009A
CN114758009A CN202210362020.8A CN202210362020A CN114758009A CN 114758009 A CN114758009 A CN 114758009A CN 202210362020 A CN202210362020 A CN 202210362020A CN 114758009 A CN114758009 A CN 114758009A
Authority
CN
China
Prior art keywords
image
camera
angle parameter
scaling
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210362020.8A
Other languages
English (en)
Inventor
武乾康
龚伟林
邹艺卓
韩志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202210362020.8A priority Critical patent/CN114758009A/zh
Publication of CN114758009A publication Critical patent/CN114758009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供一种双目标定的方法、装置及电子设备,其中,从获取到的第一摄像机和第二摄像机拍摄跟踪目标对象的第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像,根据第一目标图像和第二目标图像计算倾斜角参数和翻滚角参数,并计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值,基于多个缩放比例值计算偏航角参数。本申请在完成双摄像机标定倾斜角参数、翻滚角参数和偏航角参数的过程中,只要一个有相对位移的目标对象即可完成自标定,无需使用任何第三方传感器或者标定设备提供深度信息来完成标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。

Description

双目标定的方法、装置及电子设备
技术领域
本发明涉及双目视觉标定技术领域,尤其是涉及一种双目标定的方法、装置及电子设备。
背景技术
现有的双目标定大多数采用线下标定。使用一块标定板提供深度信息,标定两个相机之间的位置关系,此方法不适用于在线场景,在线标定只能利用真实场景中的信息进行标定,不能使用外部辅助设备,例如标定板、标定间。
双目系统在使用过程中也往往会发生微小的位移现象,双目系统在标定完后,由于材料、安装方式等原因,镜头之间的相对位置可能在使用过程中发生微小的变化,此时原来的标定参数就不适用与最新的状态,如果没有条件再进行线下标定,就需要在线标定。
现有的在线标定大多数也需要其他传感器提供深度信息,在没有例如激光、雷达等第三方传感器提供深度信息的时候,就不能在线标定,从而导致测距不准,进而降低了用户使用体验感。
发明内容
有鉴于此,本发明的目的在于提供一种双目标定的方法、装置及电子设备,无需利用第三方传感器提供深度信息的情况下完成双目标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
第一方面,本发明实施例提供了一种双目标定的方法,其中,该方法包括:获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;从第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;根据第一目标图像和第二目标图像计算相机参数;其中,相机参数包括倾斜角参数和翻滚角参数;计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值;基于多个缩放比例值计算偏航角参数。
上述方法还包括:利用标定尺测量第一摄像机和第二摄像机的镜头中心点,得到平移参数。
上述根据第一目标图像和第二目标图像计算相机参数的步骤,包括:根据预设标定参数对第一目标图像和第二目标图像进行双目立体校正和去畸变处理得到第一处理图像和第二处理图像,以在极线方向初步对齐第一处理图像和第二处理图像;分别对第一处理图像和第二处理图像进行特征点提取并匹配以得到多个匹配点;基于多个匹配点计算相机参数。
上述基于多个匹配点计算相机参数的步骤,包括:基于多个匹配点构建关于相机参数的第一损失函数;迭代求解第一损失函数的最小值;将最小值作为相机参数。
上述计算第一图像集中的每一帧图像与第一帧图像关于目标对象的缩放比例值的步骤,包括:将第一图像集中的每一帧图像与第一帧图像输入至预先训练好的缩放比例计算模型中,得到每一帧图像与第一帧图像关于目标对象的缩放比例值。
上述基于多个缩放比例值计算偏航角参数的步骤,包括:基于多个缩放比例值构建的缩放比例值变化曲线确定缩放比例变化曲率;对第一图像集和第二图像集中时间戳相同的第一图像和第二图像进行模板匹配和三角测距,得到每一时刻目标对象距离第一摄像机的深度距离;基于每一时刻对应的深度距离构建的深度距离变化曲线确定深度距离变化曲率;根据缩放比例变化曲率和深度距离变化曲率计算偏航角参数。
上述根据缩放比例变化曲率和深度距离变化曲率计算偏航角参数的步骤,包括:根据缩放比例变化曲率和深度距离变化曲率构建关于偏航角参数的第二损失函数;迭代求解第二损失函数的最小值;将最小值作为偏航角参数。
第二方面,本发明实施例还提供一种双目标定的装置,其中,该装置包括:第一获取模块,用于获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;第二获取模块,用于从第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;第一计算模块,用于根据第一目标图像和第二目标图像计算相机参数;其中,相机参数包括倾斜角参数和翻滚角参数;第二计算模块,用于计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值;第三计算模块,用于基于多个缩放比例值计算偏航角参数。
第三方面,本发明实施例还提供一种电子设备,其中,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述的方法。
本发明实施例带来了以下有益效果:
本申请实施例提供一种双目标定的方法、装置及电子设备,其中,从获取到的第一摄像机和第二摄像机拍摄跟踪目标对象的第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像,根据第一目标图像和第二目标图像计算倾斜角参数和翻滚角参数,并计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值,基于多个缩放比例值计算偏航角参数。本申请在完成双摄像机标定倾斜角参数、翻滚角参数和偏航角参数的过程中,只要一个有相对位移的目标对象即可完成自标定,无需使用任何第三方传感器或者标定设备提供深度信息来完成标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种双目标定的方法的流程图;
图2为本发明实施例提供的另一种双目标定的方法的流程图;
图3为本发明实施例提供的一种双目标定的装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有在线标定大多数在没有其他传感器提供深度信息的情况下,无法完成在线标定,从而导致测距不准,进而降低了用户使用体验感的问题;基于此,本发明实施例提供的一种双目标定的方法、装置及电子设备,能够只要一个有相对位移的目标对象即可完成在线得到自标定,无需使用任何第三方传感器或者标定设备提供深度信息来完成标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
本实施例提供了一种双目标定的方法,其中,参见图1所示的一种双目标定的方法的流程图,该方法具体包括如下步骤:
步骤S102,获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;
上述第一摄像机和第二摄像机可理解为是双目设备中的图像采集器,其中,双目设备可以是手机、平板电脑、笔记本电脑、无人机、机器人、智能穿戴设备(智能头盔、智能眼镜等)、虚拟现实设备等电子设备,在此不进行限定。
通常,第一摄像机和第二摄像机在双目设备中的相对安装位置为左右结构,在本实施例中,第一摄像机安装在第二摄像机的左侧,相对的第二摄像机安装在第一摄像机的右侧,以用于分别采集目标对象的图像集,上述目标对象可以是任意移动的物体,比如行走的人,行驶的车辆或被移动的物体,在此不进行限定。
步骤S104,从第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;
上述时间戳可理解为是摄像机采集图像的当前时刻,由于第一摄像机和第二摄像机是同时开始进行图像采集的,所以,在第一图像集中的每个图像能够在第二图像集中找到相同时间戳对应的图像,因此,可任意选定一个时间戳(即图像采集时刻),然后,从第一图像集中选取与该时间戳对应的第一目标图像,从第二图像集中选取与该时间戳对应的第二目标图像,即第一目标图像和第二目标图像对应同一时间戳。
步骤S106,根据第一目标图像和第二目标图像计算相机参数;其中,相机参数包括倾斜角参数和翻滚角参数;
通常,双目标定需要标定的是两个摄像机之间的相对位置关系(相机外参),即旋转参数和平移参数,由于平移参数不需要毫米级以下的精度,所以,在平移参数标定过程中,可利用标定尺测量第一摄像机和第二摄像机的镜头中心点得到上述平移参数。
在实际应用时,旋转参数可以分解成三个方向的欧拉角参数,即倾斜角参数、翻滚角参数和偏航角参数,在本实施例中,仅通过第一目标图像和第二目标图像即可计算得出倾斜角参数、翻滚角参数,而偏航角参数可通过步骤S108-步骤S110计算得出。
步骤S108,计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值;
在双目采集过程中由于是以左侧摄像机为主,所以,在本实施例中选取第一摄像机采集的第一图像集计算缩放比例值,该缩放比例值可理解为是第一图像集中每一帧图像与第一帧图像关于目标对象的大小变化比例。
步骤S110,基于多个缩放比例值计算偏航角参数。
本实施例提供的双目标定的方法,仅通过有相对位移的目标对象的第一图像集和第二图像集即可完成自标定,无需使用任何第三方传感器或者标定设备提供深度信息来完成标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
本实施例提供了另一种双目标定的方法,该方法在上述实施例的基础上实现;本实施例重点描述计算相机参数和偏航角参数的具体实施方式。如图2所示的另一种双目标定的方法的流程图,本实施例中的双目标定的方法包括如下步骤:
步骤S202,获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;
步骤S204,从第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;
步骤S206,根据预设标定参数对第一目标图像和第二目标图像进行双目立体校正和去畸变处理得到第一处理图像和第二处理图像,以在极线方向初步对齐第一处理图像和第二处理图像;
预设标定参数包括畸变参数和内外参数,畸变参数是指摄像头拍照过程中,物点在图像中实际对应像素位置与基于成像模型计算的理论投影点之间的偏差,该偏差一般由径向畸变参数及切向畸变参数来描述,内外参数包括相机内参和相机外参,在实际应用时,预设标定参数可以在双目设备出厂时预先设定好,也可以为上一次根据第一图像集和第二图像集标定好的相机外参,以及,基于标定好的相机外参确定出的畸变参数和相机内参。
具体实现时,根据相机内参和相机外参的旋转参数分别在第一目标图像和第二目标图像上使用OpenCV中的initUndistortRectifyMap函数计算出 X方向和Y方向的映射矩阵,分别在第一目标图像和第二目标图像上根据得到的映射矩阵使用OpenCV中的remap函数得到双目立体校正后的图像,校正后,通过相机外参的旋转参数进行去畸变处理,以使得实际中消除畸变后的非共面行对准的两个图像,校正成共面行(极线方向)对准,而后通过相机内参将相机坐标系转换成图像像素坐标系,得到在极线方向初步对齐第一处理图像和第二处理图像。其中,共面行对准:两摄像机图像平面在同一平面上,且同一点投影到两个摄像机图像平面时,两个像素坐标系的同一行。
步骤S208,分别对第一处理图像和第二处理图像进行特征点提取并匹配以得到多个匹配点;
在得到极线方向上初步对齐的第一处理图像和第二处理图像后,可根据预设特征点算法对第一处理图像和第二处理图像进行特征点提取,得到第一处理图像的多个第一特征点和第二处理图像的多个第二特征点,进而,基于预设匹配算法对第一特征点和第二特征点进行匹配,得到相互匹配的多个匹配点,并过滤误匹配的匹配点,以使得第一处理图像的匹配点和第二处理图像的匹配点一一对应。
上述预设匹配算法可包括但不限于暴力匹配算法(Brute Force)、K近邻算法(K-NearestNeighbor,KNN)或穷举搜索算法等,预设特征点算法包括但不限于ORB(OrientedFast and Rotated Brief)、尺度不变特征变换 (Scale-Invariant Feature Transform,Sift)或加速稳健特征(Speeded Up Robust Features,Surf)等特征提取算法等,在此不对预设匹配算法和预设特征点算法进行限定。
步骤S210,基于多个匹配点计算相机参数;
相机参数的计算过程为:基于多个匹配点构建关于相机参数的第一损失函数;迭代求解第一损失函数的最小值;将最小值作为相机参数。
通过迭代优化第一损失函数能够改变双目立体矫正,即改变了特征点在双目去畸变后的位置,最终互相匹配的特征点,在双目去畸变后匹配点在处理图像上的纵向坐标y值相同,即优化完成。
步骤S212,计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值;
具体地,将第一图像集中的每一帧图像与第一帧图像输入至预先训练好的缩放比例计算模型中,得到每一帧图像与第一帧图像关于目标对象的缩放比例值。其中,上述缩放比例计算模型为通过包括实时移动的对象图像集对神经网络训练得到的网络模型。
步骤S214,基于多个缩放比例值构建的缩放比例值变化曲线确定缩放比例变化曲率;
第一图像集中的每一帧图像相对第一帧图像关于目标对象有一个缩放比例,一系列图像构成的缩放比例值变化曲线,用二次方程或者三次方程拟合得到一组参数,该组参数即为缩放比例变化曲率。
步骤S216,对第一图像集和第二图像集中时间戳相同的第一图像和第二图像进行模板匹配和三角测距,得到每一时刻目标对象距离第一摄像机的深度距离;
第一图像通过网络检测出目标对象的左侧识别框,第二图像的全图进行左侧识别框的模板匹配得到右侧识别框,然后对左侧识别框和右侧识别框的中心点进行三角测距,得到每一时刻目标对象距离第一摄像机的深度距离。
步骤S218,基于每一时刻对应的深度距离构建的深度距离变化曲线确定深度距离变化曲率;
一系列深度距离组成的深度距离变化曲线,用二次方程或者三次方程拟合得到一组参数,该组参数即为深度距离变化曲率。
步骤S220,根据缩放比例变化曲率和深度距离变化曲率计算偏航角参数。
具体计算过程为:根据缩放比例变化曲率和深度距离变化曲率构建关于偏航角参数的第二损失函数;迭代求解第二损失函数的最小值;将最小值作为偏航角参数。
本申请实施例提供的双目标定的方法,能够根据第一摄像机和第二摄像机采集的第一图像集和第二图像集中时间戳相同的第一图像和第二图像得到深度距离信息完成双目标定,而无需利用第三方传感器提供深度信息的情况下完成双目标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
对应于上述方法实施例,本实施例提供了一种双目标定的装置,参见图3所示的一种双目标定的装置的结构示意图,该装置包括:
第一获取模块302,用于获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;
第二获取模块304,用于从第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;
第一计算模块306,用于根据第一目标图像和第二目标图像计算相机参数;其中,相机参数包括倾斜角参数和翻滚角参数;
第二计算模块308,用于计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值;
第三计算模块310,用于基于多个缩放比例值计算偏航角参数。
本申请实施例提供一种双目标定的装置,其中,从获取到的第一摄像机和第二摄像机拍摄跟踪目标对象的第一图像集和第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像,根据第一目标图像和第二目标图像计算倾斜角参数和翻滚角参数,并计算第一图像集中每一帧图像与第一帧图像关于目标对象的缩放比例值,基于多个缩放比例值计算偏航角参数。本申请在完成双摄像机标定倾斜角参数、翻滚角参数和偏航角参数的过程中,只要一个有相对位移的目标对象即可完成自标定,无需使用任何第三方传感器或者标定设备提供深度信息来完成标定,从而解决了双目在使用过程中发生的微小变化导致的测距不准的问题,进而提高了用户体验感。
本发明实施例提供的双目标定的装置,与上述实施例提供的双目标定的方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例还提供了一种电子设备,用于运行上述双目标定的方法;参见图4所示的一种电子设备的结构示意图,该电子设备包括存储器100 和处理器101,其中,存储器100用于存储一条或多条计算机指令,一条或多条计算机指令被处理器101执行,以实现上述双目标定的方法。
进一步地,图4所示的电子设备还包括总线102和通信接口103,处理器101、通信接口103和存储器100通过总线102连接。
其中,存储器100可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线) 实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA 总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称 ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器 100,处理器101读取存储器100中的信息,结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使处理器实现上述双目标定的方法,具体实现可参见前述方法实施例,在此不再赘述。
本申请实施例所提供的双目标定的方法、装置及电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种双目标定的方法,其特征在于,所述方法包括:
获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;
从所述第一图像集和所述第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;
根据所述第一目标图像和所述第二目标图像计算相机参数;其中,所述相机参数包括倾斜角参数和翻滚角参数;
计算所述第一图像集中每一帧图像与第一帧图像关于所述目标对象的缩放比例值;
基于多个所述缩放比例值计算偏航角参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用标定尺测量所述第一摄像机和所述第二摄像机的镜头中心点,得到平移参数。
3.根据权利要求1所述的方法,其特征在于,根据所述第一目标图像和所述第二目标图像计算相机参数的步骤,包括:
根据预设标定参数对所述第一目标图像和所述第二目标图像进行双目立体校正和去畸变处理得到第一处理图像和第二处理图像,以在极线方向初步对齐所述第一处理图像和所述第二处理图像;
分别对所述第一处理图像和所述第二处理图像进行特征点提取并匹配以得到多个匹配点;
基于多个所述匹配点计算相机参数。
4.根据权利要求3所述的方法,其特征在于,基于多个所述匹配点计算相机参数的步骤,包括:
基于多个所述匹配点构建关于相机参数的第一损失函数;
迭代求解所述第一损失函数的最小值;
将所述最小值作为相机参数。
5.根据权利要求1所述的方法,其特征在于,计算所述第一图像集中的每一帧图像与第一帧图像关于所述目标对象的缩放比例值的步骤,包括:
将所述第一图像集中的每一帧图像与第一帧图像输入至预先训练好的缩放比例计算模型中,得到每一帧图像与第一帧图像关于所述目标对象的缩放比例值。
6.根据权利要求1所述的方法,其特征在于,基于多个所述缩放比例值计算偏航角参数的步骤,包括:
基于多个所述缩放比例值构建的缩放比例值变化曲线确定缩放比例变化曲率;
对所述第一图像集和所述第二图像集中时间戳相同的第一图像和第二图像进行模板匹配和三角测距,得到每一时刻目标对象距离所述第一摄像机的深度距离;
基于每一时刻对应的所述深度距离构建的深度距离变化曲线确定深度距离变化曲率;
根据所述缩放比例变化曲率和所述深度距离变化曲率计算偏航角参数。
7.根据权利要求6所述的方法,其特征在于,根据所述缩放比例变化曲率和所述深度距离变化曲率计算偏航角参数的步骤,包括:
根据缩放比例变化曲率和所述深度距离变化曲率构建关于偏航角参数的第二损失函数;
迭代求解所述第二损失函数的最小值;
将所述最小值作为偏航角参数。
8.一种双目标定的装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一摄像机和第二摄像机拍摄跟踪目标对象得到的第一图像集和第二图像集;
第二获取模块,用于从所述第一图像集和所述第二图像集中任意获取一组时间戳相同的第一目标图像和第二目标图像;
第一计算模块,用于根据所述第一目标图像和所述第二目标图像计算相机参数;其中,所述相机参数包括倾斜角参数和翻滚角参数;
第二计算模块,用于计算所述第一图像集中每一帧图像与第一帧图像关于所述目标对象的缩放比例值;
第三计算模块,用于基于多个所述缩放比例值计算偏航角参数。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202210362020.8A 2022-04-07 2022-04-07 双目标定的方法、装置及电子设备 Pending CN114758009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362020.8A CN114758009A (zh) 2022-04-07 2022-04-07 双目标定的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362020.8A CN114758009A (zh) 2022-04-07 2022-04-07 双目标定的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114758009A true CN114758009A (zh) 2022-07-15

Family

ID=82329764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362020.8A Pending CN114758009A (zh) 2022-04-07 2022-04-07 双目标定的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114758009A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503492A (zh) * 2023-06-27 2023-07-28 北京鉴智机器人科技有限公司 自动驾驶系统中双目相机模组标定方法及标定装置
CN116819229A (zh) * 2023-06-26 2023-09-29 广东电网有限责任公司 一种输电线路的测距方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116819229A (zh) * 2023-06-26 2023-09-29 广东电网有限责任公司 一种输电线路的测距方法、装置、设备和存储介质
CN116503492A (zh) * 2023-06-27 2023-07-28 北京鉴智机器人科技有限公司 自动驾驶系统中双目相机模组标定方法及标定装置

Similar Documents

Publication Publication Date Title
EP3876141A1 (en) Object detection method, related device and computer storage medium
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN111457886B (zh) 距离确定方法、装置及系统
CN114758009A (zh) 双目标定的方法、装置及电子设备
CN111243035B (zh) 相机标定方法、装置、电子设备和计算机可读存储介质
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112200771B (zh) 一种高度测量方法、装置、设备和介质
CN111160232B (zh) 正面人脸重建方法、装置及系统
US10529081B2 (en) Depth image processing method and depth image processing system
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN109520480B (zh) 基于双目立体视觉的测距方法及测距系统
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN111340737A (zh) 图像矫正方法、装置和电子系统
CN115376109A (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN111432117B (zh) 图像矫正方法、装置和电子系统
CN113298885A (zh) 双目标定方法及装置、设备和存储介质
CN112767498A (zh) 相机标定方法、装置和电子设备
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
JP6734994B2 (ja) ステレオ計測装置及びシステム
CN109328459B (zh) 智能终端及其3d成像方法、3d成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination