CN113496520A - 摄像机转俯视图的方法、装置及存储介质 - Google Patents

摄像机转俯视图的方法、装置及存储介质 Download PDF

Info

Publication number
CN113496520A
CN113496520A CN202010255491.XA CN202010255491A CN113496520A CN 113496520 A CN113496520 A CN 113496520A CN 202010255491 A CN202010255491 A CN 202010255491A CN 113496520 A CN113496520 A CN 113496520A
Authority
CN
China
Prior art keywords
calibration
camera
ground
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010255491.XA
Other languages
English (en)
Other versions
CN113496520B (zh
Inventor
苏晓朋
赵帅领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202010255491.XA priority Critical patent/CN113496520B/zh
Publication of CN113496520A publication Critical patent/CN113496520A/zh
Application granted granted Critical
Publication of CN113496520B publication Critical patent/CN113496520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供一种摄像机转俯视图的方法、装置及存储介质,该方法包括:对摄像机获取的竖直设置于地面的多个标定板的图像进行识别,得到每个标定板各自的标识信息,根据并排设置于地面的两个所述标定板的特征点确定空间原点,并根据空间原点和右手坐标系规则将每个特征点的像素坐标均转换为空间坐标,根据多个标识构建多个特征点的像素坐标与空间坐标对应的2D‑3D点对,通过PNP位姿算法对2D‑3D点对进行计算,得到摄像机的安装坐标,将摄像机的安装坐标投影至地面的点为原点,并根据预设的俯视图的尺寸信息和原点对每个特征点的空间坐标进行转换,得到每个特征点在俯视图中的像素坐标,实现了精确且可靠的转换的技术效果。

Description

摄像机转俯视图的方法、装置及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种摄像机转俯视图的方法、装置及存储介质。
背景技术
近年来,智能交通成为研究的热点,辅助驾驶系统作为智能交通的重要组成部分,备受关注。
在现有技术中,摄像机转俯视图的方法主要是在地面平躺铺设标定板,选取标定板上的标志点作为特征点,基于特征点确定平面至少四个点所在的空间坐标和其在图像上的成像得到像素坐标,构成两个转换平面的点对,根据点对将图像转换为俯视图。
然而发明人在实现本公开的过程中,发现至少存在如下问题:由于是通过地面平躺铺设标定板,而摄像机往往安装朝向基本与地面平行或与地面法线夹角至少大于60度,因此地面物体在摄像机上成像透视现象严重,使得在地面平躺铺设标定板很难通过算法自动提取特征点,且即使能提取特征点,往往存在误识别或漏识别特征点,其在图像上的像素坐标误差也会很大,使得转换后的俯视图的准确性偏低。
发明内容
本公开提供一种摄像机转俯视图的方法、装置及存储介质,用以解决现有技术中转换后的俯视图的准确性偏低的问题。
一方面,本公开实施例提供一种摄像机转俯视图的方法,所述方法包括:
对摄像机获取的竖直设置于地面的多个标定板的图像进行识别,得到每个所述标定板各自的标识信息,其中,每个所述标识信息均包括标识、特征点以及所述特征点的像素坐标;
根据并排设置于所述地面的两个所述标定板的特征点确定空间原点,并根据所述空间原点和右手坐标系规则将每个所述特征点的像素坐标均转换为空间坐标;
根据多个所述标识构建多个所述特征点的像素坐标与空间坐标对应的2D-3D点对;
通过PNP位姿算法对所述2D-3D点对进行计算,得到所述摄像机的安装坐标;
将所述摄像机的安装坐标投影至地面的点为原点,并根据预设的俯视图的尺寸信息和所述原点对每个所述特征点的空间坐标进行转换,得到每个所述特征点在所述俯视图中的像素坐标。
在本公开实施例中,通过将标定板竖直设置于地面,由摄像机获取包括竖直设置于地面的标定板的图像进行获取,因此避免现有技术中通过将标定板平躺铺设于地面,由摄像机对包括平躺铺设于地面的标定板的图像进行获取,以便对图像进行识别,从而实现转俯视图时,由于摄像机的安装朝向一般与地面平行或者与地面法线夹角大于60度,因此导致在识别过程中,容易造成误识别或者漏识别,从而导致转换后的俯视图的可靠性不高的问题,以便得到精确的标识信息,并在基于标识信息进行相应计算和转换后得到准确性高和可靠性高的俯视图的技术效果。
在一可选实施例中,所述特征点为所述多个标定板与地面的交点,且所述特征点为与两条标定带的中心线的距离最小的交点。
在本公开实施例中,通过将特征点确定为标定板与地面的交点,且该交点为与两条标定带的中心线的距离最小的交点,可避免因各标定板之间的错位等造成的漏识别或误识别,从而实现识别的准确性和可靠性的技术效果。
在一可选实施例中,所述根据并排设置于所述地面的两个标定板的特征点确定空间原点,并根据所述空间原点和右手坐标系规则将每个所述特征点的像素坐标转换为空间坐标包括:
以所述空间原点为原点构建符合所述右手坐标系规则的空间坐标系;
根据预先设置的多个所述标定板之间的距离,以及多个所述标定板之间的位置关系,确定多个所述特征点之间的转换参数;
根据所述转换参数和每个所述像素坐标生成所述空间坐标。
在本公开实施例中,通过确定空间原点,以便基于空间原点和右手坐标系规则进行坐标转换,可以实现快速便捷地将像素坐标转换为空间坐标的技术效果。
在一可选实施例中,所述根据多个所述标识构建多个所述特征点的像素坐标与空间坐标对应的2D-3D点对包括:
获取预先设置的编号与标识之间的映射关系;
根据所述映射关系确定每个所述标识各自对应的编号;
根据多个所述编号构建所述2D-3D点对。
在本公开实施例中,通过映射关系构建2D-3D点对,可以避免遗漏特征点的问题,从而实现得到可靠的2D-3D点对的技术效果。
在一可选实施例中,在所述通过PNP位姿算法对所述2D-3D点对进行计算,得到所述摄像机的安装坐标之后,所述方法还包括:
提取所述2D-3D点对中的3D信息;
根据所述3D信息和所述安装坐标确定所述摄像机在所述地面投影为原点且坐标轴平行与所述空间坐标的地面坐标信息;
根据所述2D-3D点对中的2D信息和所述地面坐标信息构成2D-2D点对;
根据所述2D-2D点对求解得到单应性矩阵,所述单应性矩阵用于将所述图像上的像素坐标映射到以所述摄像机在所述地面投影为原点的坐标;
识别两侧的车道并计算两侧的车道中线上的像素坐标;
根据所述单应性矩阵将所述车道中线上的像素坐标映射至所述地面投影为原点的坐标;
根据映射后的车道中线与所述地面投影为原点的坐标的横轴的交点坐标确定车辆偏离所述车道中线的距离。
在本公开实施例中,可基于2D-3D点对构建2D-2D点对,以便基于2D-2D点对进行测距,一方面,可以实现测距的可靠性;另一方面,通过测距结果(即车辆偏离车道中线的距离)可控制车辆的驾驶状态,以确保车辆的安全行驶的技术效果。
另一方面,本公开实施例还提供了一种摄像机转俯视图的装置,所述装置包括:
两条标定带,每条所述标定带以白色布为背景,且每条所述标定带的一面带有字符,所述字符用于指向车辆的行驶方向,且所述标定带每隔预设距离设置用于指示放置相应标定板的编号;
与每条标定带对应设置的多个标定板,以及与每个所述标定板对应的竖立支架,每个所述标定板上设置有与所述编号对应的摆放位置说明,以便基于所述摆放位置说明可将每个所述标定板通过各自的竖立支架竖直设置在平躺设置于地面的所述标定带上,且每个所述标定板上设置有标识图案,以便通过识别所述标识图案确定相应标定板的标识。
在一可选实施例中,所述装置还包括:至少一个支撑杆,其中,每条所述标定带至少设置一个穿孔,且每条所述标定带上的穿孔的位置相同,通过所述至少一个支撑杆穿过每个所述标定带上的相同位置的穿孔将两条所述标定带连接。
在本公开实施例中,通过设置至少一个支撑杆,可确保对两条标定带的平行摆放,从而确保采集的图像的可靠性,进而实现识别的可靠性的技术效果。
在一可选实施例中,所述装置还包括:用于增强对所述标识的识别的补充背景面,且所述补充背景面与所述竖立支架可折叠。
在本公开实施例中,通过设置补充背景面,可以实现增强识别,进而实现识别的可靠性和准确性的技术效果。
在一可选实施例中,所述装置还包括:至少一条中控线,所述至少一条中控线可拆卸地与每条所述标定带连接,且基于所述至少一条中控线拉伸两条所述标定带时,两条所述标定带平行。
在本公开实施例中,通过设置至少一条中控线,以便实现对两条标定带的固定。
另一个方面,本公开实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本公开实施例的摄像机转俯视图的方法的应用场景示意图;
图2为本公开实施例的摄像机转俯视图的方法的流程示意图;
图3为本公开实施例的根据并排设置于地面的两个标定板的特征点确定空间原点,并根据空间原点和右手坐标系规则将每个特征点的像素坐标均转换为空间坐标的方法的流程示意图;
图4为本公开实施例的根据多个标识构建多个特征点的像素坐标与空间坐标对应的2D-3D点对的方法的流程示意图;
图5为本公开实施例的摄像机转俯视图的装置的示意图;
图6为本公开另一实施例的摄像机转俯视图的装置的示意图;
图7为本公开实施例的标定板的示意图;
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在现有技术中,主要通过将标定板平躺铺设于地面,由摄像机对包括平躺铺设于地面的标定板的图像进行获取,以便对图像进行识别,从而实现转俯视图。然而,由于摄像机的安装朝向一般与地面平行或者与地面法线夹角大于60度,因此导致在识别过程中,容易造成误识别或者漏识别,从而导致转换后的俯视图的可靠性不高的问题。为了解决上述问题,发明人经过创造性的劳动得到本公开实施的技术方案。在本公开实施例中,通过将标定板竖直设置于地面,由摄像机获取包括竖直设置于地面的标定板的图像进行获取,以便得到精确的标识信息,并在基于标识信息进行相应计算和转换后得到准确性高和可靠性高的俯视图的技术效果。
本公开实施例提供的摄像机转俯视图的方法,可以适用于如图1所示的应用场景。
在如图1所示的应用场景中,左标定带100和右标定带200平行设置于车道所在的地面,左标定带100上和右标定板200上均设置有4个标定板300,每个标定板300均竖直设置于地面。
车辆400上设置有摄像机(图1中未示出),车辆400行驶于车道时,由摄像机获取竖直设置于地面的多个标定板300的图像,摄像机将图像发送至服务器500,服务器500执行本公开实施例的摄像机转俯视图的方法,得到相应的俯视图的像素坐标,即得到相应的俯视图,以便基于俯视图进行测距。
在一些实施例中,当摄像机获取到竖直设置于地面的多个标定板300的图像时,可将图像发送至车辆400上设置的处理器,由处理器执行本公开实施例的摄像机转俯视图的方法,得到相应的俯视图的像素坐标,即得到相应的俯视图。
通过本公开实施例的摄像机转俯视图的方法,可以实现已知观测平面内物体在摄像机的图像上的像素坐标,就可以通过标定参数计算出观测面内物体到摄像机的空间距离。即只要能够识别到地面物体的像素坐标,就能通过映射关系计算物体到摄像机的距离。则通过车道线检测,实现车道保持;通过车辆识别,实现前车预设距离的跟随;通过障碍物识别,判断障碍物到车辆的距离等等。
在一可选实施例中,本公开实施例的摄像机转俯视图的方法还可应用于如车辆的中控平台或行车记录仪的类似终端产品上,以便实现辅助驾驶或自动驾驶功能。
其中,本公开实施例的摄像机转俯视图的方法还可应用于安防监控的应用场景,例如,在一些取票窗口或银行取款机窗口等应用场景中,当前被服务人员要与排队等候人员保持一定安全距离,通过标定地平面与监控摄像机图像的映射关系可以实现图像转换并距离测量。且本公开实施例的摄像机转俯视图的方法还可应用于工业制作的应用场景,例如,在工业流水线上,通过标定流水线平面与旁边搭载摄像机的图像的映射关系,实现流水线上的目标物距离测量。且本公开实施例的摄像机转俯视图的方法还可应用于库存管理的应用场景,例如,通过一些仓库中的监控摄像机,判断某些物体是否摆放到指定位置。
值得说明的是,上述示例所述的应用场景只是对本公开实施例的摄像机转俯视图的方法的应用场景的示范性的说明,而不能理解为对本公开实施例的摄像机转俯视图的方法的应用场景的限定。
下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
一个方面,本公开实施例提供了一种适用于上述应用场景的系统迁移方法。
请参阅图2,图2为本公开实施例的摄像机转俯视图的方法的流程示意图。
如图2所示,该方法包括:
S101:对摄像机获取的竖直设置于地面的多个标定板的图像进行识别,得到每个标定板各自的标识信息,其中,每个标识信息均包括标识、特征点以及特征点的像素坐标。
其中,结合上述应用场景可知,执行本公开实施例的摄像机转俯视图的方法的主体可以为服务器,服务器与摄像机通信连接,且还可以为车辆的处理器。
在现有技术中,是将标定板平躺铺设于地面,由摄像机对平躺铺设于地面的标定板的图像进行识别,并由服务器或处理器等对图像进行识别。但是,由于摄像机往往装朝向基本与地面平行或与地面法线夹角至少大于60度,因此当标定板为平躺铺设时,标定板在摄像机上成像时容易造成透视现象,使得服务器或处理器在对标定板的图像进行识别时,容易造成识别得到的标识信息的准确性不高,如特征点提取错误,或者对特征点识别不全面等问题。而在本公开实施例中,通过将每个标定板竖直设置于地面,由于标定板与地面成一定的夹角,因此,当摄像机在对标定板的图像进行获取,以及服务器或处理器在对图像进行识别时,可以避免由于上述透视现象,进从而实现标识信息的精确识别。
其中,标识信息包括标识,标识用于将不用的标定板进行区分,且标识可以由ARUco标识图案进行确定。标识信息还包括特征点,每个标定板至少对应一个特征点,特征点可以为预先设置于标定板上的点;也可以为标定板的四个角点中的至少一个;还可以为标定板与地面的交点,且特征点的为与两条标定带的中心线的距离最小的交点。当特征点为标定板与地面的交点,且特征点的为与两条标定带的中心线的距离最小的交点时,由于相对于同一标定板上的其他点,该交点距离车辆的距离最近,且偏离道路的误差最小,因此,较其他点,选择该交点作为特征点可以实现精确转俯视图的技术效果。标识信息还包括特征点的像素坐标,该像素坐标为二维坐标,若图像分辨率为1280*720像素,特征点的像素坐标(Pixel Coordinates)见表1中的(Xp,Yp)。
表1:
Xp Yp
136.059 627.653
296.873 501.451
411.184 413.759
479.116 363.219
1109.53 664.576
947.094 526.368
823.338 429.558
753.371 371.971
其中,标定板竖直设置于地面的夹角可基于摄像机与地面的夹角进行设定,优选以满足标定板竖直设置于地面的夹角使得透视现象最小。
S102:根据并排设置于地面的两个标定板的特征点确定空间原点,并根据空间原点和右手坐标系规则将每个特征点的像素坐标均转换为空间坐标。
基于上述示例,若8个标定板中的标定板A和标定板B为并排设置于地面的两个标定板,则基于标定板A的特征点a和标定板B的特征点b确定空间原点O。
在一可选实施例中,标定板A和标定板B为车辆行驶方向上最前排的两个标定板。
在该步骤中,根据空间原点和右手坐标系规则对特征点的二维的像素坐标进行转换,转换为三维的空间坐标。
S103:根据多个标识构建多个特征点的像素坐标与空间坐标对应的2D-3D点对。
在S102中,对特征点的二维的像素坐标进行转换,得到特征点的三维的空间坐标,在该步骤中,根据各标定板的标识构建多个特征点的二维的像素坐标与三维的空间坐标之间的点对,得到2D-3D点对,以便后续根据2D-3D点对计算摄像机的安装坐标。
S104:通过PNP位姿算法对2D-3D点对进行计算,得到摄像机的安装坐标。
例如:基于2D-3D点对,采用PNP位姿算法,求解标识所在地面坐标相对摄像机坐标的空间位置和姿态,可采用opencv开源计算机数据库的solvepnp函数实现。再经过逆运算求解摄像机距离标识所在空间坐标的三维位置(Xc,Yc,Zc)和相对姿态角度(heading,pitch,roll)。其中,三维位置(Xc,Yc,Zc)即为摄像机的安装坐标。
其中,当前排(以行驶的车辆为基准)标定板特征点处于图像的下边缘时,则计算出以前排标定板中点为原点的空间坐标系下摄像机的位置和姿态,其中位置中的Yc值就是此刻将要消失在摄像机视野的前排标识到摄像机的距离,即为摄像机的前向盲区范围。
S105:将摄像机的安装坐标投影至地面的点为原点,并根据预设的俯视图的尺寸信息和原点对每个特征点的空间坐标进行转换,得到每个特征点在俯视图中的像素坐标。
其中,俯视图的尺寸信息包括像素宽w,像素高h,且摄像机转俯视图后图像上的每个像素代表n米。
其中,转换包括三个步骤,一个步骤为坐标的换算,另一个步骤为翻转,再一个步骤为平移。
例如,将摄像机的安装坐标(Xc,Yc,Zc)投影至地面的点为原点,对每个特征点的空间坐标进行换算,即Xh1=Xwc/n,Yh1=Ywc/n,在经过翻转h,平移w/2转换到设定的俯视图效果的像素坐标(Xh,Yh)。其中,(Xw,Yw)为2D-3D点对中的3D点的信息,(Xwc,Ywc)为对(Xw,Yw)进行坐标转换得到的,转换方式为计算摄像机相对标识(Xc,Yc)位置,即得到像素坐标与摄像机在地面投影为原点且坐标轴平行于原来坐标的2D坐标(Xwc,Ywc)。
若w=220,h=320,则特征点在俯视图中像素坐标见表2中(Xh,Yh)值。
表2:
Xp Yp Xh Yh Xw(cm) Yw(cm)
136.059 627.653 87.354 261.258 -226.46 587.42
296.873 501.451 87.354 231.258 -226.46 887.42
411.184 413.759 87.354 181.258 -226.46 1387.42
479.116 363.219 87.354 111.258 -226.46 2087.42
1109.53 664.576 125.554 261.258 155.54 587.42
947.094 526.368 125.554 231.258 155.54 887.42
823.338 429.558 125.554 181.258 155.54 1387.42
753.371 371.971 125.554 111.258 155.54 2087.42
经过上述步骤,即可得到图像的像素坐标到俯视图的像素坐标的2D-2D点对,再根据该2D-2D点对求出此变换的单应性矩阵Hb,在俯视图上可以直接以(w/2,h)为摄像机空间坐标映射的参考原点,通过每个像素代表10厘米进行测距,即可得到车辆与其他车辆之间的距离,以及车辆偏离车道中心位置的距离等,从而根据测距得到的距离调整车辆的驾驶状态,进而确保车辆安全的行驶。
其中,若单应性矩阵Hb为3×3的矩阵,则计算结果为:
Figure BDA0002437152330000091
结合图3(图3为本公开实施例的根据并排设置于地面的两个标定板的特征点确定空间原点,并根据空间原点和右手坐标系规则将每个特征点的像素坐标均转换为空间坐标的方法的流程示意图)可知,在一可选实施例中,S102包括:
S21:以空间原点为原点构建符合右手坐标系规则的空间坐标系。
基于上述示例,两个特征点分别为特征点a和特征点b,两个参考点的连接线为x轴且方向指向右侧,垂直于x轴且平行于地面为y轴且方向指向前侧,过空间原点O且平行于地面法线为z轴且方向指向上侧,该坐标系指向符合右手坐标系。其中,右侧、前侧和上侧等是以行驶的车辆基准。
S22:根据预先设置的多个标定板之间的距离,以及多个标定板之间的位置关系,确定多个特征点之间的转换参数。
S23:根据转换参数和每个像素坐标生成空间坐标。
基于上述示例,根据事先测量的特征点左右x方向距离为a和前后y方向间隔为(b1、b2、b3)(即位置关系和转换参数),根据前后左右的位置关系和转换参数生成与每个像素坐标转换成的空间坐标。
例如左侧第一个标识(用L1表示)坐标为[-a/2,0,0],侧第二个标识(用L2表示)坐标为[-a/2,-b1,0],左侧第三个标识(用L3表示)坐标为[-a/2,-(b1+b2),0],依次类推,L4坐标[-a/2,-(b1+b2+b3),0],右侧第一个标识(用R1表示)坐标[a/2,0,0],R2坐标[a/2,-b1,0],R3坐标[a/2,-(b1+b2),0],R4坐标[a/2,-(b1+b2+b3),0]。
结合图4(图4为本公开实施例的根据多个标识构建多个特征点的像素坐标与空间坐标对应的2D-3D点对的方法的流程示意图)可知,在一可选实施例中,S103包括:
S31:获取预先设置的编号与标识之间的映射关系。
可以理解的是,若共有8个特征点,但是在服务器或处理器对图像进行识别时,识别到的特征点的数量为6个,为了使得像素坐标与空间坐标相互对应,因此为每个标定板设置一个编号,并建立编号与标识之间的映射关系,以便后续基于映射关系构建对应的2D-3D点对,即确保构建的2D-3D点对的准确性。
S32:根据映射关系确定每个标识各自对应的编号。
S33:根据多个编号构建2D-3D点对。
基于上述示例可知,通过本公开实施例的摄像机转俯视图的方法,可以得到精准且可靠的俯视图,且通过本公开实施例的摄像机转俯视图的方法,还可以实现测距。在一可选实施例中,基于本公开实施例的摄像机转俯视图的方法,还可通过下述示例的方式实现测距。
例如,在S104之后,还包括:
S105’:提取2D-3D点对中的3D信息。
其中,从2D-3D点对中提取(Xw,Yw)。
S106’:根据3D信息和安装坐标确定摄像机在地面投影为原点且坐标轴平行与空间坐标的地面坐标信息。
例如,计算摄像机相对标识(Xc,Yc)位置,即得到像素坐标与摄像机在地面投影为原点且坐标轴平行于原来坐标的2D坐标(Xwc,Ywc)。其中,该过程实现将特征点a和特征点b的连线中点O为空间原点的空间坐标(Xw,Yw)平移到以摄像机在地面投影为原点的坐标系,也就是将空间原点O平移到摄像机在地面投影处。如表2中(Xw,Yw)是标定板左右间距a为382cm且前后间隔为300、500、700cm的场景经过Xc=35.46cm,Yc=587.42cm进行空间原点O平移的坐标值。
S107’:根据2D-3D点对中的2D信息和地面坐标信息构成2D-2D点对。
基于上述示例,根据8个标定的特征点的像素坐标与摄像机在地面投影坐标构成的2D-2D点对。
S108’:根据2D-2D点对求解得到单应性矩阵,单应性矩阵用于将图像上的像素坐标映射到以摄像机在地面投影为原点的坐标。
其中,求解出测距单应性矩阵Hm,该单应性矩阵能够将图像上的像素坐标映射到以摄像机在地面投影为原点的空间位置。如,在图像上识别到前方物体,获得该物体像素坐标,根据此测距单应矩阵可以在将像素坐标(Xp,Yp)映射到地面坐标信息(Xwc,Ywc),实现空间坐标XY方向上求出车辆前方物体到摄像机的距离。
其中,若单应性矩阵Hm为3×3的矩阵,则计算结果为:
Figure BDA0002437152330000111
S109’:识别两侧的车道并计算两侧的车道中线上的像素坐标。
S110’:根据单应性矩阵将车道中线上的像素坐标映射至地面投影为原点的坐标。
S111’:根据映射后的车道中线与地面投影为原点的坐标的横轴的交点坐标确定车辆偏离车道中线的距离。
其中,通过识别两侧的车道并计算两车道中线上的像素坐标,能够通过该Hm矩阵将中线映射到空间坐标,在空间坐标线中线与X轴的交点坐标就是车辆偏离车道中心位置的距离。
根据本公开实施例的另一个方面,本公开实施例还提供了一种用于支持上述示例所述的方法的实现的摄像机转俯视图的装置。
请参阅图5,图5为本公开实施例的摄像机转俯视图的装置的示意图。
如图5所示,该装置包括:
两条标定带,每条标定带以白色布为背景,且每条标定带的一面带有字符,字符用于指向车辆的行驶方向,且标定带每隔预设距离设置用于指示放置相应标定板的编号。
如图5所示,两条标定带分别为左标定带1和右标定带2,左标定带1和右标定带2均以白色布为背景。其中,白色布的长度可以为25cm,宽度可以为65cm。如图5所示,左标定带1上可设置“左left”,右标定带2上可设置“右left”,用以指示标定带相对于车辆所放置的左右位置,在车辆行驶过程中,左标定带1位于车辆的左侧,右标定带2位于车辆的右侧。且在左标定带1和右标定带2可分别设置字符(如图5中所示的箭头),用以指示车辆的行驶方向。每条标定带每隔一定的距离都有一个丁字形的符号,如图5中的图号3。丁字形两条线段角点位置为标定板制定点摆放的位置,该位置上设置有编号,如图5中的图号4,该编号用于表示对应标定板应该摆放的位置。其中,预设距离可为相同的距离,即同一条标定带上的前后两相邻标定板之间的距离相等。当然,在一可选实施例中,同一标定带上的前后两相邻标定板之间的距离可以不相等,如两相邻标定板之间的距离分别为3m,5m,7m。
与每条标定带对应设置的多个标定板,以及与每个标定板对应的竖立支架,每个标定板上设置有与编号对应的摆放位置说明,以便基于摆放位置说明可将每个标定板通过各自的竖立支架竖直设置在平躺设置于地面的标定带上,且每个标定板上设置有标识图案,以便通过识别标识图案确定相应标定板的标识。
其中,如图6所示,左标定带1上设置4个标定板5,右标定带2上设置4个标定板5。结合图7可知,每个标定板5对应设置一个竖立支架6,且每个标定板5上设置有与编号对应的摆放说明7,如“左left 1”用于表示该标定板5摆放在左标定带1的第一个标定板的位置。且每个标定板5上均设置有标识图案8,以便识别时用于对不同的标定板进行区分,并通过识别标识图案8确定相应的标定板的标识(ID)。且每个标定板上设置有位置控制点9,位置控制点9与相应标定带重合。
在一可选实施例中,如图7所示,该装置还包括:用于增强对标识的识别的补充背景面10,且补充背景面10与竖立支架6可折叠。
其中,通过设置补充背景面10,可避免道路面纹理对识别时产生影响。且为了便于携带,将补充背景面10与竖立支架6设置为可折叠形式,如竖立支架6与标定板5用合页连接,补充背景面10与标定板5分别粘贴小磁铁11便于张开与闭合。
在一可选实施例中,该装置还可包括:
至少一个支撑杆,其中,每条标定带至少设置一个穿孔,且每条标定带上的穿孔的位置相同,通过至少一个支撑杆穿过每个标定带上的相同位置的穿孔将两条标定带连接。
如图6所示,本公开实施例共包括两个支撑杆12。在左标定带1的前端设置一个穿孔,且在右标定带2的前端设置一个穿孔,且两个穿孔在各自的标定带上的位置相同,前端的支撑杆12将左标定带1和右标定带2的前端链接。同理,在左标定带1的后端设置一个穿孔,且在右标定带2的后端设置一个穿孔,且两个穿孔在各自的标定带上的位置相同,后端的支撑杆12将左标定带1和右标定带2的后端链接。
在一可选实施例中,该装置还包括:
至少一条中控线,至少一条中控线可拆卸地与每条标定带连接,且基于至少一条中控线拉伸两条标定带时,两条标定带平行。
如图6所示,包括4条中控线13,每条中控线13均设置于左标定带1和右标定带2之间,用于将左标定带1和右标定带2进行连接。每条中控线13均设置为固定长度,防止在拉伸时两条标定带过于向外分离而造成两条标定带不平行。且为了方便中控线13与两条标定带的组装和拆卸,可将中控线13与两条标定带的链接方式设置为魔术贴链接、子母扣链接和拉链链接等形式。
值得说明的是,在基于上述实现如本公开实施例的方法时,可选择地面平整的,便于车辆驶入驶出的地方搭建标定场景平台。将两条标定带有字符的一面朝上展开平铺与地平面,将两条标定带左右平行摆放约支撑杆的宽度。用两个支撑杆分别将标定带两端撑起,用中控线将两条标定带连接,前后向外拉支撑杆,左右向外拉中控线,使得标定带与支撑杆呈矩形,左右平行,上下对齐。将八个标定板分别撑起竖立,补充背景面展开,有图案的一侧朝向标定带箭头指向的车辆方向,按说明文字摆放到对应的位置,确保位置控制点准确。
在一可选实施例中,也可用两个卷尺代替标定带,每个卷尺的量程约为30米。将两个卷尺拉开后平行放置于车辆左右两侧,两个卷尺的刻度起始端连线保持与拉开后的刻度带平行。将带有补充背景面的标定板张开,同上述摆放方式,将标定板对应位置控制点放置于卷尺刻度的0m,3m,8m,15m处。
根据本公开实施例的另一个方面,本公开实施例还提供了一种计算机存储介质,计算机存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解,在本公开各实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
以上,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种摄像机转俯视图的方法,其特征在于,所述方法包括:
对摄像机获取的竖直设置于地面的多个标定板的图像进行识别,得到每个所述标定板各自的标识信息,其中,每个所述标识信息均包括标识、特征点以及所述特征点的像素坐标;
根据并排设置于所述地面的两个所述标定板的特征点确定空间原点,并根据所述空间原点和右手坐标系规则将每个所述特征点的像素坐标均转换为空间坐标;
根据多个所述标识构建多个所述特征点的像素坐标与空间坐标对应的2D-3D点对;
通过PNP位姿算法对所述2D-3D点对进行计算,得到所述摄像机的安装坐标;
将所述摄像机的安装坐标投影至地面的点为原点,并根据预设的俯视图的尺寸信息和所述原点对每个所述特征点的空间坐标进行转换,得到每个所述特征点在所述俯视图中的像素坐标。
2.根据权利要求1所述的方法,其特征在于,所述特征点为所述多个标定板与地面的交点,且所述特征点为与两条标定带的中心线的距离最小的交点。
3.根据权利要求1所述的方法,其特征在于,所述根据并排设置于所述地面的两个标定板的特征点确定空间原点,并根据所述空间原点和右手坐标系规则将每个所述特征点的像素坐标转换为空间坐标包括:
以所述空间原点为原点构建符合所述右手坐标系规则的空间坐标系;
根据预先设置的多个所述标定板之间的距离,以及多个所述标定板之间的位置关系,确定多个所述特征点之间的转换参数;
根据所述转换参数和每个所述像素坐标生成所述空间坐标。
4.根据权利要求1所述的方法,其特征在于,所述根据多个所述标识构建多个所述特征点的像素坐标与空间坐标对应的2D-3D点对包括:
获取预先设置的编号与标识之间的映射关系;
根据所述映射关系确定每个所述标识各自对应的编号;
根据多个所述编号构建所述2D-3D点对。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在所述通过PNP位姿算法对所述2D-3D点对进行计算,得到所述摄像机的安装坐标之后,所述方法还包括:
提取所述2D-3D点对中的3D信息;
根据所述3D信息和所述安装坐标确定所述摄像机在所述地面投影为原点且坐标轴平行与所述空间坐标的地面坐标信息;
根据所述2D-3D点对中的2D信息和所述地面坐标信息构成2D-2D点对;
根据所述2D-2D点对求解得到单应性矩阵,所述单应性矩阵用于将所述图像上的像素坐标映射到以所述摄像机在所述地面投影为原点的坐标;
识别两侧的车道并计算两侧的车道中线上的像素坐标;
根据所述单应性矩阵将所述车道中线上的像素坐标映射至所述地面投影为原点的坐标;
根据映射后的车道中线与所述地面投影为原点的坐标的横轴的交点坐标确定车辆偏离所述车道中线的距离。
6.一种摄像机转俯视图的装置,其特征在于,所述装置包括:
两条标定带,每条所述标定带以白色布为背景,且每条所述标定带的一面带有字符,所述字符用于指向车辆的行驶方向,且所述标定带每隔预设距离设置用于指示放置相应标定板的编号;
与每条标定带对应设置的多个标定板,以及与每个所述标定板对应的竖立支架,每个所述标定板上设置有与所述编号对应的摆放位置说明,以便基于所述摆放位置说明可将每个所述标定板通过各自的竖立支架竖直设置在平躺设置于地面的所述标定带上,且每个所述标定板上设置有标识图案,以便通过识别所述标识图案确定相应标定板的标识。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:至少一个支撑杆,其中,每条所述标定带至少设置一个穿孔,且每条所述标定带上的穿孔的位置相同,通过所述至少一个支撑杆穿过每个所述标定带上的相同位置的穿孔将两条所述标定带连接。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:用于增强对所述标识的识别的补充背景面,且所述补充背景面与所述竖立支架可折叠。
9.根据权利要求6至8中任一项所述的装置,其特征在于,所述装置还包括:至少一条中控线,所述至少一条中控线可拆卸地与每条所述标定带连接,且基于所述至少一条中控线拉伸两条所述标定带时,两条所述标定带平行。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至5中任一项所述的方法。
CN202010255491.XA 2020-04-02 2020-04-02 摄像机转俯视图的方法、装置及存储介质 Active CN113496520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010255491.XA CN113496520B (zh) 2020-04-02 2020-04-02 摄像机转俯视图的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010255491.XA CN113496520B (zh) 2020-04-02 2020-04-02 摄像机转俯视图的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113496520A true CN113496520A (zh) 2021-10-12
CN113496520B CN113496520B (zh) 2024-05-28

Family

ID=77994126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010255491.XA Active CN113496520B (zh) 2020-04-02 2020-04-02 摄像机转俯视图的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113496520B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103747A (zh) * 2009-12-16 2011-06-22 中国科学院电子学研究所 采用参照物高度的监控摄像机外部参数标定方法
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
KR20170001765A (ko) * 2015-06-25 2017-01-05 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN107067391A (zh) * 2017-03-17 2017-08-18 周圣砚 一种快速标定车载摄像装置的设备与方法
WO2018076154A1 (zh) * 2016-10-25 2018-05-03 成都通甲优博科技有限责任公司 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN109741455A (zh) * 2018-12-10 2019-05-10 深圳开阳电子股份有限公司 一种车载立体全景显示方法、计算机可读存储介质及系统
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110264520A (zh) * 2019-06-14 2019-09-20 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN110363819A (zh) * 2019-06-25 2019-10-22 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN110490943A (zh) * 2019-08-26 2019-11-22 长沙自由视像信息科技有限公司 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法
WO2020036295A1 (ko) * 2018-08-17 2020-02-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103747A (zh) * 2009-12-16 2011-06-22 中国科学院电子学研究所 采用参照物高度的监控摄像机外部参数标定方法
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
KR20170001765A (ko) * 2015-06-25 2017-01-05 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
WO2018076154A1 (zh) * 2016-10-25 2018-05-03 成都通甲优博科技有限责任公司 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN107067391A (zh) * 2017-03-17 2017-08-18 周圣砚 一种快速标定车载摄像装置的设备与方法
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
WO2020036295A1 (ko) * 2018-08-17 2020-02-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN109741455A (zh) * 2018-12-10 2019-05-10 深圳开阳电子股份有限公司 一种车载立体全景显示方法、计算机可读存储介质及系统
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110264520A (zh) * 2019-06-14 2019-09-20 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN110363819A (zh) * 2019-06-25 2019-10-22 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN110490943A (zh) * 2019-08-26 2019-11-22 长沙自由视像信息科技有限公司 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法

Also Published As

Publication number Publication date
CN113496520B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
EP3407294B1 (en) Information processing method, device, and terminal
US20160267661A1 (en) Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
US8269848B2 (en) Camera calibration method and camera calibration device
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
WO2021037086A1 (zh) 定位方法及装置
US9182220B2 (en) Image photographing device and method for three-dimensional measurement
US20070091174A1 (en) Projection device for three-dimensional measurement, and three-dimensional measurement system
CN107516077A (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
US20100328308A1 (en) Three Dimensional Mesh Modeling
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
CN106600561B (zh) 基于投影映射的航拍图像透视畸变自动校正方法
EP2924612A1 (en) Object detection device, object detection method, and computer readable storage medium comprising object detection program
CN113465573A (zh) 单目测距方法、装置及智能装置
CN102446355A (zh) 一种基于双视场的无标定平面突起目标检测方法
CN114972531B (zh) 一种角点检测方法、设备及可读存储介质
CN109063632A (zh) 一种基于双目视觉的泊车位特征筛选方法
CN101782386B (zh) 非视觉几何的摄像机阵列视频定位方法及系统
KR101766470B1 (ko) 기기 판독 가능한 폼 구조 및 시스템 및 적어도 하나의 사용자 표시를 해석하는 방법
CN105354816A (zh) 一种电子元件定位方法及装置
CN113496520B (zh) 摄像机转俯视图的方法、装置及存储介质
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant