CN113496527A - 一种车辆环景影像标定方法、装置、系统及存储介质 - Google Patents
一种车辆环景影像标定方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN113496527A CN113496527A CN202110697349.5A CN202110697349A CN113496527A CN 113496527 A CN113496527 A CN 113496527A CN 202110697349 A CN202110697349 A CN 202110697349A CN 113496527 A CN113496527 A CN 113496527A
- Authority
- CN
- China
- Prior art keywords
- calibration
- picture
- parameters
- virtual
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000007704 transition Effects 0.000 claims description 52
- 238000003702 image correction Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及车载监控技术领域,本发明公开了一种车辆环景影像标定方法、装置、系统及存储介质。该标定方法利用仿真软件构建标定场景;标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;并基于标定场景中的每个虚拟摄像头来采集对应的初始标定图片,形成初始标定图片集;根据该初始标定图片集确定出目标标定参数。这使得不仅降低了标定成本,而且还具有标定效率高的优点。
Description
技术领域
本发明涉及车载监控技术领域,特别涉及一种车辆环景影像标定方法、装置、系统及存储介质。
背景技术
随着汽车数量日趋增多,城市停车越发困难。为避免泊车过程中的剐蹭,碰撞,陷落等事故发生,360环景影像应运而生。360环景影像是将4颗鱼眼摄像头同时捕获的视频进行缝合拼接,形成车身四周全景影像。
360环景影像标定的开发一般是基于实车4颗鱼眼摄像头真实位置捕获的影像进行缝合拼接。此种方案对实车依赖性强,一般根据选定的鱼眼摄像头的视场角通过粗略地计算完成其在整车前格栅,后尾门、左右外后视镜的结构布置。后期在实车上针对4颗鱼眼摄像头输出的椭圆形图像即真实视场角进行裁剪拼接缝合。此种方式往往因初期摄像头在布置时,椭圆视角的4个角落被大量遮挡而过多裁剪有效像素,最终导致拼接区域覆盖的真实像素少而使拼接效果模糊或者拼接区域内出现障碍物消失。为保证拼接区域效果,部分车厂采取的另外一种方式是放弃摄像头遮挡角落最终致使用户在实车上看到画面底部或者上方有大量实车部件影响整体360环景影像美观。
360环境影像标定评判的常见方法是在实车周边铺设黑白棋盘格,实车环境对地面平整度、清洁度,光照强度、均匀度以及实车停放位置等都有较高要求,其中一条不符合就会直接导致标定失败或者影响标定效果进而影响评判结果。常规评判方法是在实车标定完成后依赖于地面铺设的黑白棋盘格对拼接效果进行主观评价。此种测试评判方案对标定场地环境、实车停放位置要求严苛、依赖性强且机动性差。
发明内容
本发明要解决的是上述现有技术中采用实体场景对360影像进行标定进而造成标定效率低和适用性差的技术问题。
为解决上述技术问题,本申请一方面公开了一种车辆环景影像标定方法,其特征在于,包括以下步骤:
利用仿真软件构建标定场景;该标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个虚拟摄像头;
采集每个虚拟摄像头对应的初始标定图片,形成初始标定图片集;
根据该初始标定图片集确定出目标标定参数。
可选的,该根据该初始标定图片集确定出目标标定参数,包括:
获取初始标定参数;
基于该初始标定参数对该初始标定图片集进行拼接操作,得到初始拼接图片;
若该初始拼接图片满足第一预设条件,则将该初始标定参数确定为该目标标定参数;该第一预设条件包括预设区域无遮挡件和拼接缝清晰。
可选的,该若该初始拼接图片满足第一预设条件,则将该初始标定参数确定为该目标标定参数之后,还包括:
若该初始拼接图片不满足第一预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的预设参数和/或车辆造型;
基于调整后的该至少一个虚拟摄像头和/或该车辆造型采集每个虚拟摄像头对应的过渡标定图片,形成过渡标定图片集;
基于该过渡标定图片集确定出过渡标定参数;
基于该过渡标定参数对该过渡标定图片集进行拼接操作,得到过渡拼接图片;
若该过渡拼接图片满足该第一预设条件,则将该过渡标定参数确定为目标标定参数;否则,重复上述确定出该过渡标定参数的过程,直至基于该过渡标定参数对该过渡标定图片集进行拼接操作得到的过渡拼接图片满足该第一预设条件。
可选的,该根据该初始标定图片集确定出目标标定参数,包括:
对该标定图片集中的每张标定图片进行图像校正操作,确定出图像校正参数;该图像校正参数包括畸变校正参数和透视变换参数;
对图像校正后的标定图片集进行拼接操作,确定出拼接参数;
将该拼接参数与该图像校正参数确定为该目标标定参数。
可选的,该根据该初始标定图片集确定出目标标定参数之后,还包括:
利用设置了该目标标定参数的影像控制器对该图像校正后的该标定图片集进行拼接操作,得到拼接图片;
若该拼接图片满足第二预设条件,则完成该目标标定参数的确定;该第二预设条件包括拼接缝清晰和预设区域无遮挡件。
可选的,该若该拼接图片满足第二预设条件,则完成该目标标定参数的确定之后,还包括:
若该拼接图片不满足第二预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的位置和/或该车辆的造型;
重新采集该至少一个虚拟摄像头对应的视角图片,得到更新标定图片集;
对该更新标定图片集中的每个更新标定图片进行图像校正操作,确定出更新图像校正参数;
对图像校正后的更新标定图片集行拼接操作,确定出更新拼接参数;
将该更新拼接参数与该更新图像校正参数确定为更新标定参数;
利用设置了该更新标定参数的影像控制器对该更新标定图片集中进行拼接操作,得到更新拼接图片;若该更新拼接图片满足该第二预设条件,则将该更新标定参数确定为该目标标定参数;否则,重复上述确定该更新标定参数的步骤,直至该更新拼接图片满足该第二预设条件。
可选的,该标定图案包括中部区域、环绕该中部区域内部的内边缘区域和环绕该中部区域外部的外边缘区域;
该内边缘区域和该外边缘区域的宽度范围均为5-8厘米。
可选的,本申请在另一方面还公开了一种车辆环景影像标定装置,其包括处理器和仿真软件端;
仿真软件端用于构建标定场景,采集每个虚拟摄像头对应标定图片,并将采集到的该标定图片发送给处理器;该标定场景包括虚拟车辆、标定图案、N个该虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个该虚拟摄像头;
该处理器用于接收该仿真软件端发送的该标定图片,根据该标定图片确定出目标标定参数。
本申请在另一方面还公开了一种车辆环景影像标定装置,其包括:
仿真模块,用于构建标定场景,采集每个虚拟摄像头对应标定图片;该标定场景包括虚拟车辆、标定图案、N个该虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个该虚拟摄像头;该标定图案包括黑白棋盘格;
标定参数确定模块,用于根据该标定图片确定出目标标定参数。
本申请在另一方面还公开了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由处理器加载并执行以实现上述的车辆环景影像标定方法。
采用上述技术方案,本申请提供的车辆环景影像标定方法具有如下有益效果:
本申请对车辆的环景影像标定的方法是先利用仿真软件构建标定场景;标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;这使得本申请在标定过程中不需要提供实际的标定场地,降低了标定成本,而且根据实际需要可以灵活选择标定的车辆类型、标定图案、摄像头以及光源,不仅提高了该标定方法的适用性,而且还能够提高标定效率;再基于标定场景中的每个虚拟摄像头来采集对应的初始标定图片,形成初始标定图片集;根据该初始标定图片集确定出目标标定参数。从而可以进一步提高标定效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种应用场景图;
图2为本申请一种可选地车辆环景影像标定方法的流程图;
图3为本申请虚拟车辆的结构示意图;
图4为本申请一种可选的实施例中标定图案的示意图;
图5为本申请另一种可选地车辆环景影像标定方法的流程图;
图6为本申请另一种可选地车辆环景影像标定方法的流程图;
图7为本申请一种可选地车辆环景影像标定装置的结构示意图;
图8为本申请实施例提供的一种车辆环景影像标定方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,图1为本申请提供的一种应用场景图。该场景包括处理器和仿真软件端;该仿真软件端可以是终端或者服务器;该仿真软件端用于构建标定场景,采集每个虚拟摄像头对应标定图片,并将采集到的该标定图片发送给处理器;该标定场景包括虚拟车辆、标定图案、N个该虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个该虚拟摄像头;该处理器用于接收该仿真软件端发送的该标定图片,根据该标定图片确定出目标标定参数。从而具有标定效率高和成本低的优点。
可选的,终端可以是台式电脑,笔记本电脑、手机、平板电脑,数字助理、智能可穿戴设备等类型的实体设备;其中,智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。
以下介绍本申请一种车辆环景影像标定方法的具体实施例,图2为本申请一种可选地车辆环景影像标定方法的流程图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:利用仿真软件构建标定场景;该标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个虚拟摄像头。这使得本申请在标定过程中不需要提供实际的标定场地,降低了标定成本,而且根据实际需要可以灵活选择标定的车辆类型、标定图案、摄像头以及光源,不仅提高了该标定方法的适用性,而且还能够提高标定效率。
在本实施例中,如图3所示,图3为本申请虚拟车辆的结构示意图。该虚拟摄像头4的个数N等于4,分别设置在虚拟车辆3周围的四个侧面,即车头设置一个,虚拟车辆3的两个后视镜上分别设置一个,虚拟车辆3的尾部设置一个;从而可以将虚拟车辆四周的场景采集到,后续通过拼接操作形成该虚拟车辆的环景影像;当然,根据需要也可以设置5、6、7个等,进一步提高环景影像的质量,保证能够凭借出完整的车辆环景影像,而且还可以进一步提高环景影像的稳定性。
可选的,该虚拟摄像为鱼眼摄像头。
可选的,该仿真软件可以是prescan。步骤S201可以表示为:将需要进行标定的车辆的A面数据导入到Sketch up软件中,从而生成该车辆的模型,即为上述虚拟车辆,并在Sketch up软件中绘制出标定图案以及虚拟摄像头;将上述绘制出的虚拟车辆、标定图案以及虚拟摄像头导入到prescan中,并设置4个虚拟摄像头的位置以及光源参数;再设置虚拟摄像头的属性参数,例如:畸变参数、视场角和瞳距点等。可选的,在Sketch up软件中生成车辆的模型的过程中,需要将该虚拟车辆的坐标系调整到全局坐标系上,从而能够与摄像头、标定图案的坐标系统一。
可选的,上述标定图案可以是黑白棋盘格,也可以是黑白圆点。
于一种可选的实施例中,如图4所示,图4为本申请一种可选的实施例中标定图案的示意图。该标定图案包括中部区域5、环绕该中部区域内部的内边缘区域6和环绕该中部区域外部的外边缘区域7;可选地,该内边缘区域6和该外边缘区域7的宽度范围均为5-8厘米;该内边缘区域6和外边缘区域7便于后续标定拼接时可以清楚的看到靠外的地方是否模糊,能够更准确和高效的评价拼接效果。优选地,该内边缘区域6和该外边缘区域7的宽度为5厘米,在保证可以清楚地识别靠外的地方图像清晰度的同时还能够保证标定图片的中部区域5的图案的区域足够大,便于后续的标定参数的确定,该内边缘区域6和该外边缘区域7的宽度还可以是6厘米、7厘米和8厘米等;需要说明的是,本申请不限于上述设定的宽度范围,只要能够实现上述便于标定拼接观察靠外的地方是否模糊即可。
可选的,黑白格的尺寸为30*30厘米;四个角为白色格;标定图案的尺寸为460*960厘米;该标定图案形成场地可以兼容3.6~5.4米车长的乘用车,具有适用范围广的优点。
需要说明的是,从图4可以看出,该标定图案为环形结构,中部为车辆放置区域,用于放置虚拟车辆,而虚拟摄像头位于该虚拟车辆的上述预设位置,为了提高标定的准确度,可以设置该标定场景中的虚拟光源为标准日光,从而使得虚拟摄像头采集到的图片质量较高,提高了标定的效率和准确度。
S202:采集每个虚拟摄像头对应的初始标定图片,形成初始标定图片集。
可选的,可以通过图片导出模块来将prescan软件中的初始标定图片进行导出和保存,该图片导出模块可以是Simulink。
需要说明的是,本实施例中是以图片来进行标定的,当然,也可以利用虚拟摄像头采集的视频来进行标定。
S203:根据该初始标定图片集确定出目标标定参数。
于一种可选的实施例中,步骤S203可以阐述为:获取初始标定参数;基于该初始标定参数对该初始标定图片集进行拼接操作,得到初始拼接图片;若该初始拼接图片满足第一预设条件,则将该初始标定参数确定为该目标标定参数;该第一预设条件包括预设区域无遮挡件和拼接缝清晰。
可选的,该初始标定参数可以包括畸变校正参数、透视变换参数和拼接参数。
可选的,该第一预设条件还可以包括图片中底面参考线弯折度小于等于5度,白平衡和噪点均属于预设范围内,且由于虚拟摄像头得到的图片畸变比较大,所以还要评价拼接后的图片中相邻虚拟摄像头之间的拼接缝的是否弯折,该第一预设条件还包括相邻图片之间的拼接缝的弯折度是否满足预设参数。根据不同的车型、不同的厂家对于拼接图像的要求是不同的,所以实际上该第一预设条件不仅限于上述提及的参考条件。
可选的,在进行标定的过程中,可以是人来评价上述第一预设条件,也可以是基于拼接算法来实现,可选的,该拼接算法可以是基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。
可选的,拼接参数可以包括拼接区域、裁剪大小、角度和色彩度。
为了提高使得基于本申请确定出标定参数确定出的拼接图片的能够满足上述第一预设条件,即拼接图片上无遮挡件且拼接缝清晰;于一种可选的实施例中,如图5所示,图5为本申请另一种可选地车辆环景影像标定方法的流程图。该标定方法还包括:
S501:若该初始拼接图片不满足第一预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的预设参数和/或车辆造型。
在本实施例中,该虚拟摄像头的预设参数包括位置、畸变参数、视场角和瞳距点等,由于该虚拟车辆是由于车辆A面数据形成的,则该车辆造型可以是车辆A面数据,例如后视镜和A柱等,这里的调整一般均为微调。
由于传统标定方法均是基于实体车以及实体场地进行标定的,不仅标定成本高,而且受限于标定图案的精准度、底面的平整度以及环境的光照情况,大大降低了标定的效果,而且如果在标定过程中仅能调整摄像头参数,进一步降低了标定效率以及标定效果,而本申请基于上述调整能够有效保证拼接图像的效果和标定效率,通过上述评价可以反向指导二次标定。
S502:基于调整后的该至少一个虚拟摄像头和/或该车辆造型采集每个虚拟摄像头对应的过渡标定图片,形成过渡标定图片集。
S503:基于该过渡标定图片集确定出过渡标定参数。
本实施例中,该过渡标定参数可以与上述初始标定参数所包含的内容一样。
S504:基于该过渡标定参数对该过渡标定图片集进行拼接操作,得到过渡拼接图片。
S505:若该过渡拼接图片满足该第一预设条件,则将该过渡标定参数确定为目标标定参数;否则,重复上述确定出该过渡标定参数的过程,直至基于该过渡标定参数对该过渡标定图片集进行拼接操作得到的过渡拼接图片满足该第一预设条件。
通过上述步骤S501-S505可以实现得到拼接效果较好的拼接图片,也可以是环景影像。
为了便于用户查看车辆的环景影像;于另一种可选的实施例中,步骤S203可以阐述为:对该标定图片集中的每张标定图片进行图像校正操作,确定出图像校正参数;该图像校正参数包括畸变校正参数和透视变换参数;对图像校正后的标定图片集进行拼接操作,确定出拼接参数;将该拼接参数与该图像校正参数确定为该目标标定参数。
由于上述步骤主要是基于仿真软件来确定标定参数,然而实际场景中,4个视频流是基于影像控制器来拼接的,该影像控制器将拼接后的视频发送至车辆的显示屏上,所以,为了验证上述标定参数的准确性,提高标定参数的准确性,本申请还提出直接将标定参数设置在车辆上的影像控制器中,通过该影像控制器处理后的拼接图片确定上述标定参数是否符合要求。于一种可选的实施例中,如图6所示,图6为本申请另一种可选地车辆环景影像标定方法的流程图.该方法还包括:
S601:利用设置了该目标标定参数的影像控制器对该图像校正后的该标定图片集进行拼接操作,得到拼接图片。
可选的,可以将基于上述步骤确定的拼接参数设置在影像控制器中。也可以直接将目标标定参数设置在影像控制器中,则该影像控制器则需要对上述标定图片集进行图像校正操作和拼接操作。
可选的,本申请的标定系统还包括图像注入板卡、上述影像控制器和图像采集板卡;该图像注入板卡用于将接收到的标定图片集发送给影像控制器,影像控制器用于对该标定图片集进行拼接操作,形成拼接图片,并将拼接图片经由图像采集板卡发送给仿真端;可选的,由于标定图片集中包含有4张标定图片,上述图像注入板卡可以分4路通道,每路通道传输一张标定图片,也可以是视频流,从而提高传输效率。
S602:若该拼接图片满足第二预设条件,则完成该目标标定参数的确定;该第二预设条件包括拼接缝清晰和预设区域无遮挡件。
可选的,该第二预设条件与上述第一预设条件相同。
为了提高使得基于本申请确定出标定参数确定出的拼接图片的能够满足上述第二预设条件,即拼接图片上无遮挡件且拼接缝清晰;于一种可选的实施例中,步骤S602之后,该方法还包括:若该拼接图片不满足第二预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的位置和/或该车辆的造型;重新采集该至少一个虚拟摄像头对应的视角图片,得到更新标定图片集;对该更新标定图片集中的每个更新标定图片进行图像校正操作,确定出更新图像校正参数;对图像校正后的更新标定图片集行拼接操作,确定出更新拼接参数;将该更新拼接参数与该更新图像校正参数确定为更新标定参数;利用设置了该更新标定参数的影像控制器对该更新标定图片集中进行拼接操作,得到更新拼接图片;若该更新拼接图片满足该第二预设条件,则将该更新标定参数确定为该目标标定参数;否则,重复上述确定该更新标定参数的步骤,直至该更新拼接图片满足该第二预设条件。通过该步骤可以进一步保证目标标定参数的准确度和拼接图片的效果。
参阅图7,图7为本申请一种可选地车辆环景影像标定装置的结构示意图。本申请在另一方面还公开了一种车辆环景影像标定装置,其包括:
仿真模块701,用于构建标定场景,采集每个虚拟摄像头对应标定图片;该标定场景包括虚拟车辆、标定图案、N个该虚拟摄像头和虚拟光源;该虚拟车辆的每一个侧面分别设有一个该虚拟摄像头;该标定图案包括黑白棋盘格;
标定参数确定模块702,用于根据该标定图片确定出目标标定参数。
于一种可选的实施例中,该装置包括:
仿真模块,用于获取初始标定参数;
标定参数确定模块,用于基于该初始标定参数对该初始标定图片集进行拼接操作,得到初始拼接图片;若该初始拼接图片满足第一预设条件,则将该初始标定参数确定为该目标标定参数;该第一预设条件包括预设区域无遮挡件和拼接缝清晰。
于一种可选的实施例中,该装置包括:
标定参数确定模块,用于若该初始拼接图片不满足第一预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的预设参数和/或车辆造型;基于该过渡标定图片集确定出过渡标定参数;基于该过渡标定参数对该过渡标定图片集进行拼接操作,得到过渡拼接图片;若该过渡拼接图片满足该第一预设条件,则将该过渡标定参数确定为目标标定参数;否则,重复上述确定出该过渡标定参数的过程,直至基于该过渡标定参数对该过渡标定图片集进行拼接操作得到的过渡拼接图片满足该第一预设条件;
仿真模块,用于基于调整后的该至少一个虚拟摄像头和/或该车辆造型采集每个虚拟摄像头对应的过渡标定图片,形成过渡标定图片集;
于一种可选的实施例中,该装置包括:
标定参数确定模块,用于对该标定图片集中的每张标定图片进行图像校正操作,确定出图像校正参数;该图像校正参数包括畸变校正参数和透视变换参数;对图像校正后的标定图片集进行拼接操作,确定出拼接参数;将该拼接参数与该图像校正参数确定为该目标标定参数。
于一种可选的实施例中,该装置还包括:
影像拼接模块,用于利用设置了该目标标定参数的影像控制器对该图像校正后的该标定图片集进行拼接操作,得到拼接图片;若该拼接图片满足第二预设条件,则完成该目标标定参数的确定;该第二预设条件包括拼接缝清晰和预设区域无遮挡件。
于一种可选的实施例中,该装置包括:
影像拼接模块,用于若该拼接图片不满足第二预设条件,则调整该N个虚拟摄像头中至少一个虚拟摄像头的位置和/或该车辆的造型;对该更新标定图片集中的每个更新标定图片进行图像校正操作,确定出更新图像校正参数;对图像校正后的更新标定图片集行拼接操作,确定出更新拼接参数;将该更新拼接参数与该更新图像校正参数确定为更新标定参数;利用设置了该更新标定参数的影像控制器对该更新标定图片集中进行拼接操作,得到更新拼接图片;若该更新拼接图片满足该第二预设条件,则将该更新标定参数确定为该目标标定参数;否则,重复上述确定该更新标定参数的步骤,直至该更新拼接图片满足该第二预设条件;
仿真模块,用于重新采集该至少一个虚拟摄像头对应的视角图片,得到更新标定图片集。
于一种可选的实施例中,该标定图案包括中部区域、环绕该中部区域内部的内边缘区域和环绕该中部区域外部的外边缘区域;该内边缘区域和该外边缘区域的宽度范围均为5-8厘米。
本申请在另一方面还公开了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图8为本申请实施例提供的一种车辆环景影像标定方法的服务器的硬件结构框图。如图8所示,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830,一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中,存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器810可以设置为与存储介质820通信,在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口840,和/或,一个或一个以上操作系统821,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中,输入输出接口840包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口840可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器800还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。
本申请的实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的数据传输方法。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种数据传输方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述数据传输方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的车辆环景影像标定方法,该方法包括:利用仿真软件构建标定场景;标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;并基于标定场景中的每个虚拟摄像头来采集对应的初始标定图片,形成初始标定图片集;根据该初始标定图片集确定出目标标定参数。如此,不仅能够降低标定成本,而且还能提高标定效率高。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种车辆环景影像标定方法,其特征在于,包括以下步骤:
利用仿真软件构建标定场景;所述标定场景包括虚拟车辆、标定图案、N个虚拟摄像头和虚拟光源;所述虚拟车辆的每一个侧面分别设有一个虚拟摄像头;
采集每个虚拟摄像头对应的初始标定图片,形成初始标定图片集;
根据所述初始标定图片集确定出目标标定参数。
2.根据权利要求1所述的车辆环景影像标定方法,其特征在于,所述根据所述初始标定图片集确定出目标标定参数,包括:
获取初始标定参数;
基于所述初始标定参数对所述初始标定图片集进行拼接操作,得到初始拼接图片;
若所述初始拼接图片满足第一预设条件,则将所述初始标定参数确定为所述目标标定参数;所述第一预设条件包括预设区域无遮挡件和拼接缝清晰。
3.根据权利要求2所述的车辆环景影像标定方法,其特征在于,所述若所述初始拼接图片满足第一预设条件,则将所述初始标定参数确定为所述目标标定参数之后,还包括:
若所述初始拼接图片不满足第一预设条件,则调整所述N个虚拟摄像头中至少一个虚拟摄像头的预设参数和/或车辆造型;
基于调整后的所述至少一个虚拟摄像头和/或所述车辆造型采集每个虚拟摄像头对应的过渡标定图片,形成过渡标定图片集;
基于所述过渡标定图片集确定出过渡标定参数;
基于所述过渡标定参数对所述过渡标定图片集进行拼接操作,得到过渡拼接图片;
若所述过渡拼接图片满足所述第一预设条件,则将所述过渡标定参数确定为目标标定参数;否则,重复上述确定出所述过渡标定参数的过程,直至基于所述过渡标定参数对所述过渡标定图片集进行拼接操作得到的过渡拼接图片满足所述第一预设条件。
4.根据权利要求1所述的车辆环景影像标定方法,其特征在于,所述根据所述初始标定图片集确定出目标标定参数,包括:
对所述标定图片集中的每张标定图片进行图像校正操作,确定出图像校正参数;所述图像校正参数包括畸变校正参数和透视变换参数;
对图像校正后的标定图片集进行拼接操作,确定出拼接参数;
将所述拼接参数与所述图像校正参数确定为所述目标标定参数。
5.根据权利要求4所述的车辆环景影像标定方法,其特征在于,所述根据所述初始标定图片集确定出目标标定参数之后,还包括:
利用设置了所述目标标定参数的影像控制器对所述图像校正后的所述标定图片集进行拼接操作,得到拼接图片;
若所述拼接图片满足第二预设条件,则完成所述目标标定参数的确定;所述第二预设条件包括拼接缝清晰和预设区域无遮挡件。
6.根据权利要求5所述的车辆环景影像标定方法,其特征在于,所述若所述拼接图片满足第二预设条件,则完成所述目标标定参数的确定之后,还包括:
若所述拼接图片不满足第二预设条件,则调整所述N个虚拟摄像头中至少一个虚拟摄像头的位置和/或所述车辆的造型;
重新采集所述至少一个虚拟摄像头对应的视角图片,得到更新标定图片集;
对所述更新标定图片集中的每个更新标定图片进行图像校正操作,确定出更新图像校正参数;
对图像校正后的更新标定图片集行拼接操作,确定出更新拼接参数;
将所述更新拼接参数与所述更新图像校正参数确定为更新标定参数;
利用设置了所述更新标定参数的影像控制器对所述更新标定图片集中进行拼接操作,得到更新拼接图片;若所述更新拼接图片满足所述第二预设条件,则将所述更新标定参数确定为所述目标标定参数;否则,重复上述确定所述更新标定参数的步骤,直至所述更新拼接图片满足所述第二预设条件。
7.根据权利要求1所述的车辆环景影像标定方法,其特征在于,所述标定图案包括中部区域、环绕所述中部区域内部的内边缘区域和环绕所述中部区域外部的外边缘区域。
8.一种车辆环景影像标定系统,其特征在于,包括处理器和仿真软件端;
仿真软件端用于构建标定场景,采集每个虚拟摄像头对应标定图片,并将采集到的所述标定图片发送给处理器;所述标定场景包括虚拟车辆、标定图案、N个所述虚拟摄像头和虚拟光源;所述虚拟车辆的每一个侧面分别设有一个所述虚拟摄像头;
所述处理器用于接收所述仿真软件端发送的所述标定图片,根据所述标定图片确定出目标标定参数。
9.一种车辆环景影像标定装置,其特征在于,包括:
仿真模块,用于构建标定场景,采集每个虚拟摄像头对应标定图片;所述标定场景包括虚拟车辆、标定图案、N个所述虚拟摄像头和虚拟光源;所述虚拟车辆的每一个侧面分别设有一个所述虚拟摄像头;
标定参数确定模块,用于根据所述标定图片确定出目标标定参数。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任一项所述的车辆环景影像标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697349.5A CN113496527B (zh) | 2021-06-23 | 2021-06-23 | 一种车辆环景影像标定方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110697349.5A CN113496527B (zh) | 2021-06-23 | 2021-06-23 | 一种车辆环景影像标定方法、装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113496527A true CN113496527A (zh) | 2021-10-12 |
CN113496527B CN113496527B (zh) | 2024-04-26 |
Family
ID=77997925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110697349.5A Active CN113496527B (zh) | 2021-06-23 | 2021-06-23 | 一种车辆环景影像标定方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496527B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115994952A (zh) * | 2023-02-01 | 2023-04-21 | 镁佳(北京)科技有限公司 | 环视影像系统的标定方法、装置、计算机设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016087298A1 (en) * | 2014-12-04 | 2016-06-09 | Connaught Electronics Ltd. | Online calibration of a motor vehicle camera system |
CN108596982A (zh) * | 2018-04-24 | 2018-09-28 | 深圳市航盛电子股份有限公司 | 一种简易的车载多目摄像机环视系统标定方法及装置 |
CN110610523A (zh) * | 2018-06-15 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 汽车环视标定方法及装置、计算机可读存储介质 |
CN110796711A (zh) * | 2019-10-31 | 2020-02-14 | 镁佳(北京)科技有限公司 | 全景系统标定方法、装置、计算机可读存储介质及车辆 |
JP2020053898A (ja) * | 2018-09-27 | 2020-04-02 | 京セラ株式会社 | 較正装置、較正システム、カメラ、移動体および較正値調整方法 |
KR20200063899A (ko) * | 2018-11-28 | 2020-06-05 | 아진산업(주) | 차량 다중 카메라 교정을 위한 교정판 |
-
2021
- 2021-06-23 CN CN202110697349.5A patent/CN113496527B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016087298A1 (en) * | 2014-12-04 | 2016-06-09 | Connaught Electronics Ltd. | Online calibration of a motor vehicle camera system |
CN108596982A (zh) * | 2018-04-24 | 2018-09-28 | 深圳市航盛电子股份有限公司 | 一种简易的车载多目摄像机环视系统标定方法及装置 |
CN110610523A (zh) * | 2018-06-15 | 2019-12-24 | 杭州海康威视数字技术股份有限公司 | 汽车环视标定方法及装置、计算机可读存储介质 |
JP2020053898A (ja) * | 2018-09-27 | 2020-04-02 | 京セラ株式会社 | 較正装置、較正システム、カメラ、移動体および較正値調整方法 |
KR20200063899A (ko) * | 2018-11-28 | 2020-06-05 | 아진산업(주) | 차량 다중 카메라 교정을 위한 교정판 |
CN110796711A (zh) * | 2019-10-31 | 2020-02-14 | 镁佳(北京)科技有限公司 | 全景系统标定方法、装置、计算机可读存储介质及车辆 |
Non-Patent Citations (3)
Title |
---|
SHUNPING JI等: "Panoramic SLAM from a multiple fisheye camera rig", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, vol. 159, pages 169 - 183, XP085961777, DOI: 10.1016/j.isprsjprs.2019.11.014 * |
卢官明;陈浩;肖鲁宁;苏昊;钟锐;: "全景视图泊车辅助系统中的多视点视频拼接", 南京邮电大学学报(自然科学版), vol. 36, no. 03, pages 10 - 17 * |
袁红照等: "全景视频摄像机的非参数化几何校正与拼接", 光电子.激光, vol. 23, no. 04, pages 762 - 767 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115994952A (zh) * | 2023-02-01 | 2023-04-21 | 镁佳(北京)科技有限公司 | 环视影像系统的标定方法、装置、计算机设备及存储介质 |
CN115994952B (zh) * | 2023-02-01 | 2024-01-30 | 镁佳(北京)科技有限公司 | 环视影像系统的标定方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113496527B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220279124A1 (en) | Image processing method, electronic device, and storage medium | |
CN106799993B (zh) | 街景采集方法和系统、车辆 | |
US20170278293A1 (en) | Processing a Texture Atlas Using Manifold Neighbors | |
CN112017222A (zh) | 视频全景拼接与三维融合方法及装置 | |
CN111080557B (zh) | 亮度均衡处理方法及相关装置 | |
CN109658427B (zh) | 图像处理方法及装置 | |
CN110728638A (zh) | 一种图像的畸变矫正方法、车机及汽车 | |
US9332247B2 (en) | Image processing device, non-transitory computer readable recording medium, and image processing method | |
CN112954194B (zh) | 一种图像采集装置调整方法、系统、终端及介质 | |
CN115115611B (zh) | 车辆损伤识别方法、装置、电子设备和存储介质 | |
CN113496474A (zh) | 一种图像处理方法、装置、环视系统、汽车和存储介质 | |
CN114881863B (zh) | 一种图像拼接方法、电子设备及计算机可读存储介质 | |
US20200343972A1 (en) | Optical communication method | |
CN113496527B (zh) | 一种车辆环景影像标定方法、装置、系统及存储介质 | |
CN109949414A (zh) | 室内地图的构建方法及装置 | |
US20240037856A1 (en) | Walkthrough view generation method, apparatus and device, and storage medium | |
CN103544344A (zh) | 一种整车电磁仿真逆向建模方法 | |
JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
WO2020181510A1 (zh) | 一种图像数据处理方法、装置及系统 | |
CN111950157B (zh) | 一种仿真输出方法、装置及电子设备 | |
CN116206069B (zh) | 三维扫描中的图像数据处理方法、装置和三维扫描仪 | |
CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
CN110400255B (zh) | 车辆全景影像的生成方法、系统和车辆 | |
CN115880142A (zh) | 一种拖挂车的图像生成方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |