CN111612851B - 用于标定相机的方法、装置、设备以及存储介质 - Google Patents

用于标定相机的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111612851B
CN111612851B CN202010430722.6A CN202010430722A CN111612851B CN 111612851 B CN111612851 B CN 111612851B CN 202010430722 A CN202010430722 A CN 202010430722A CN 111612851 B CN111612851 B CN 111612851B
Authority
CN
China
Prior art keywords
target
image
mask image
determining
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010430722.6A
Other languages
English (en)
Other versions
CN111612851A (zh
Inventor
贾金让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202010430722.6A priority Critical patent/CN111612851B/zh
Publication of CN111612851A publication Critical patent/CN111612851A/zh
Application granted granted Critical
Publication of CN111612851B publication Critical patent/CN111612851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本申请公开了用于标定相机的方法、装置、设备以及存储介质,涉及智能交通领域。具体实现方案为:获取目标相机采集的针对目标区域的目标图像;获取针对上述目标区域的高精地图数据和掩膜图像;根据上述目标图像以及上述掩膜图像,确定上述掩膜图像是否满足预设条件;响应于确定上述掩膜图像不满足上述预设条件,对上述掩膜图像进行修改;根据修改后的掩膜图像、上述高精地图数据以及上述目标图像,对上述目标相机进行标定。本实现方式可以利用合适的掩膜图像对目标相机进行标定,从而能够减少计算量,并且提高标定的准确率,满足实时标定的要求。

Description

用于标定相机的方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域,具体涉及智能交通领域,尤其涉及用于标定相机的方法、装置、设备以及存储介质。
背景技术
在V2X路侧感知场景下,为了通过相机获取超视距的道路交通信息,通常将相机位置安装在路灯杆或红绿灯杆上,相机越高,在图像中获得的视场就越大,信息量就越多,路侧感知能力就越强。
然而当相机安装在较高的杆子上时,由于风吹或重型车经过会引起相机抖动。相机位置的变化需要计算新的外参及地面方程,否则会引起回障碍物3D不准确,对路侧感知造成影响,因此需要在线计算相机外参。
发明内容
提供了一种用于标定相机的方法、装置、设备以及存储介质。
根据第一方面,提供了一种用于标定相机的方法,包括:获取目标相机采集的针对目标区域的目标图像;获取针对上述目标区域的高精地图数据和掩膜图像;根据上述目标图像以及上述掩膜图像,确定上述掩膜图像是否满足预设条件;响应于确定上述掩膜图像不满足上述预设条件,对上述掩膜图像进行修改;根据修改后的掩膜图像、上述高精地图数据以及上述目标图像,对上述目标相机进行标定。
根据第二方面,提供了一种用于标定相机的装置,包括:第一获取单元,被配置成获取目标相机采集的针对目标区域的目标图像;第二获取单元,被配置成获取针对上述目标区域的高精地图数据和掩膜图像;判断单元,被配置成根据上述目标图像以及上述掩膜图像,确定上述掩膜图像是否满足预设条件;修改单元,被配置成响应于确定上述掩膜图像不满足上述预设条件,对上述掩膜图像进行修改;标定单元,被配置成根据修改后的掩膜图像、上述高精地图数据以及上述目标图像,对上述目标相机进行标定。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,所述指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面所描述的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,上述计算机指令用于使计算机执行如第一方面所描述的方法。
根据本申请的技术解决了现有的相机标定方法不能满足实时性的技术问题。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于标定相机的方法的一个实施例的流程图;
图3是根据本申请的用于标定相机的方法的一个应用场景的示意图;
图4是根据本申请的用于标定相机的方法的另一个实施例的流程图;
图5是根据本申请的用于标定相机的方法的另一个实施例的流程图;
图6是根据本申请的用于标定相机的装置的一个实施例的结构示意图;
图7是用来实现本申请实施例的用于标定相机的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于标定相机的方法或用于标定相机的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括相机101、102,网络103和终端设备104。网络103用以在相机101、102和终端设备104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
相机101、102可以通过网络103与终端设备104交互,以接收或发送消息。相机101、102可以采集图像,并将采集的图像发送给终端设备104,或者存储于本地。相机101、102可以固定在路灯杆或者交通灯杆上,以拍摄路面的图像
终端设备104可以从相机101、102出获取采集的图像,并对图像进行处理,以标定相机101、102。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图像处理类应用等。
终端设备104可以是硬件,也可以是软件。当终端设备104为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备104为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的用于标定相机的方法可以由终端设备104执行,还可以由相机101、102执行。相应地,用于标定相机的装置可以设置于终端设备104中,也可以设置于相机101、102中。
应该理解,图1中的相机、网络和终端设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的相机、网络和终端设备。
继续参考图2,示出了根据本申请的用于标定相机的方法的一个实施例的流程200。本实施例的用于标定相机的方法,包括以下步骤:
步骤201,获取目标相机采集的针对目标区域的目标图像。
本实施例中,执行主体可以获取目标相机采集的针对目标区域的目标图像。这里目标相机可以是固定在目标区域,用于拍摄目标区域的图像的相机。目标区域可以是任意区域,例如可以是一个路口。目标相机可以实时地采集目标区域的图像,采集的图像记为目标图像。
步骤202,获取针对目标区域的高精地图数据和掩膜图像。
本实施例中,执行主体还可以获取针对目标区域的高精地图数据和掩膜图像。具体的,执行主体可以通过各种方式,从存储有高精地图数据和掩膜图像的电子设备处获取高精地图数据和掩膜图像。
在这里,高精地图数据实际上是和我们现在已经普及的普通导航电子地图做比较来说的。高精度,一方面是说高精地图的绝对坐标精度更高。绝对坐标精度指的是地图上某个目标和真实的外部世界的事物之间的精度。另一方面,高精地图所含有的道路交通信息元素更丰富和细致。普通的导航电子地图的绝对坐标精度大约在10米左右,由于是辅助驾驶员做导航使用,外加上GPS设备的定位精度也在10米左右,所以这样的精度对整体来说影响不大。而应用在自动驾驶领域的高精度地图就不行了,自动驾驶汽车需要精确地知道自己在路上的位置,往往车辆离马路牙子和旁边的车道也就几十厘米左右,所以高精度地图的绝对精度一般都会在亚米级,也就是1米以内的精度,而且横向的相对精度(比如,车道和车道,车道和车道线的相对位置精度)往往还要更高。高精度地图不仅有高精度的坐标,同时还有准确的道路形状,并且每个车道的坡度、曲率、航向、高程,侧倾的数据也都含有。
掩膜图像的作用在于用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。本实施例中,掩膜图像与目标区域相关。也就是说,不同的区域对应不同的掩膜图像。可以理解的是,执行主体在获取掩膜图像时,还可以获取目标区域与掩膜图像的对应关系,根据上述对应关系以及目标区域从存储掩膜图像的电子设备处获取掩膜图像。
步骤203,根据目标图像以及掩膜图像,确定掩膜图像是否满足预设条件。
执行主体在获取到目标图像和掩膜图像后,可以判断掩膜图像是否满足预设条件。执行主体可以将掩膜图像覆盖在目标图像上,得到未被覆盖的部分。根据未被覆盖的部分,来判断掩膜图像是否满足预设条件。这里的预设条件可以是任意满足应用场景的条件,例如可以是掩膜图像的遮挡率是否大于预设阈值等等。
步骤204,响应于确定掩膜图像不满足预设条件,对掩膜图像进行修改。
本实施例中,如果执行主体认定掩膜图像不满足预设条件,可以对掩膜图像进行修改。例如,执行主体可以修改掩膜图像的图案所覆盖的面积等。可以理解的是,经过至少一次修改后,得到的掩膜图像满足预设条件。
步骤205,根据修改后的掩膜图像、高精地图数据以及目标图像,对目标相机进行标定。
本实施例中,执行主体在得到修改后的掩膜图像后,可以结合高精地图数据以及目标图像,对目标相机进行标定。具体的,执行主体可以首先将高精地图中某些特定地点的坐标,变换到相机坐标系中,然后再变换到图像坐标系中。利用变换后得到的上述特定地点的图像坐标与目标图像中这些特定地点的图像坐标,对目标相机进行标定。
继续参见图3,其示出了根据本申请的用于标定相机的方法的一个应用场景的示意图。在图3的应用场景中,目标相机固定在路口A的路灯杆上,用于采集路口A的路面图像。然后,目标相机本地存储有路口A的高精地图数据和掩膜图像。在判断掩膜图像满足预设条件后,利用掩膜图像、目标图像和高精地图数据,进行实时在线标定。
本申请的上述实施例提供的用于标定相机的方法,可以利用合适的掩膜图像对目标相机进行标定,从而能够减少计算量,并且提高标定的准确率,满足实时标定的要求。
继续参见图4,其示出了根据本申请的用于标定相机的方法的另一个实施例的流程400。如图4所示,本实施例的用于标定相机的方法可以包括以下步骤:
步骤401,获取目标相机采集的针对目标区域的目标图像。
步骤402,获取针对所述目标区域的高精地图数据和掩膜图像。
本实施例中,掩膜图像包括多个掩膜孔。这些掩膜孔可以是相互分离的。掩膜孔的尺寸可以根据实际的应用场景进行设定。
步骤403,检测目标图像中的车道线。
本实施例中,执行主体可以通过现有的车道线检测算法对目标图像中的车道线进行检测,得到车道线的轮廓。
步骤404,根据目标图像以及掩膜图像,确定至少一个掩膜孔对应的至少一个感兴趣区域。
执行主体可以将掩膜图像覆盖在目标图像上,得到各掩膜孔对应的多个感兴趣区域。可以理解的是,每个感兴趣区域中包括目标图像的多个像素。
步骤405,对于每个感兴趣区域,确定该感兴趣区域中的车道线的像素与该感兴趣区域中目标图像中的像素的比值。
执行主体可以对每个感兴趣区域进行处理,即计算每个感兴趣区域中的车道线的像素与该感兴趣区域中目标图像中的像素的比值。可以理解的是,执行主体可以通过车道线的轮廓,确定车道线的像素。
步骤406,对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值大于第一预设阈值,将该感兴趣区域对应的掩膜孔删除。
在得到每个感兴趣区域对应的比值后,执行主体可以判断该比值是否大于第一预设阈值。如果大于,则说明车道线在该感兴趣区域所占面积过大。认为通过该车道线对目标相机进行标定,会降低标定的准确率。由于近大远小的成像规律,实际世界中宽度相同的车道线,在距离目标相机较近时,在图像中的成像会越宽。在距离目标相机较远时,在图像中的成像会越窄。在掩膜孔大小有限的情况下,过宽的车道线可能会导致后续的标定异常。因此,认定该感兴趣区域对应的掩膜孔不满足预设条件。在不满足预设条件时,执行主体可以将该感兴趣区域对应的掩膜孔删除。
步骤407,根据修改后的掩膜图像、高精地图数据以及目标图像,对目标相机进行标定。
本实施例中,修改后的掩膜图像中,每个掩膜孔对应的感兴趣区域中,车道线的像素与该感兴趣区域中的像素的比值均小于第一预设阈值。执行主体可以利用修改后的掩膜图像、高精地图数据以及目标图像,对目标相机进行标定。
本申请的上述实施例提供的用于标定相机的方法,可以删除掩膜孔对应的感兴趣区域中,车道线过宽的掩膜孔。从而能够提高相机标定的准确率,同时提高计算效率。
在本实施例的一些可选的实现方式中,上述方法还可以进一步包括图4中未示出的以下步骤:对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值小于第二预设阈值,间隔预设时间段内再次获取目标相机采集的针对所述目标区域的图像。
本实现方式中,如果执行主体判断每个感兴趣区域所对应的比值小于第二预设阈值,则认为该感兴趣区域中的车道线的像素数量过少,不能用于目标相机的标定。这种情况下,可能是行驶中的车辆遮挡了部分车道线。为了保证相机标定的准确率,执行主体可以再次获取目标相机采集的针对目标区域的图像。再次判断在上述掩膜孔对应的感兴趣区域对应的比值。如果上述比值大于第一预设阈值,则需要删除该掩膜孔。
继续参见图5,其示出了根据本申请的用于标定相机的方法的又一个实施例的流程500。如图5所示,本实施例的用于标定相机的方法,可以包括以下步骤:
步骤501,获取目标相机采集的针对目标区域的目标图像。
步骤502,获取针对目标区域的高精地图数据。
步骤503,获取针对目标相机的历史标定结果。
本实施例中,执行主体还可以获取针对目标相机的历史标定结果。上述历史标定结果可以是通过其它标定方法得到的标定结果。上述历史标定结果可以存储在其它电子设备处,执行主体可以从这些电子设备处获取历史标定结果。上述历史标定结果可以包括至少一个标注框。这些标注框用于标注车道线的中心线。这些标注框可以是人工标注的,尺寸可以是人工设定的。
步骤504,根据至少一个标注框的位置信息,确定至少一个掩膜孔的位置信息。
执行主体可以确定上述各标注框的位置信息,上述位置信息可以是标注框的中心,或者是标注框的角点的位置信息。执行主体可以将标注框的位置信息,直接作为各掩膜孔的位置信息。或者,执行主体可以将标注框的中心的位置信息作为掩膜孔的中心的位置信息。或者,执行主体还可以从标注框中均匀地选取一些标注框,将选取的标注框的位置信息作为各掩膜孔的位置信息。
步骤505,根据至少一个掩膜孔的位置信息,确定掩膜图像。
执行主体在确定各掩膜孔的位置信息后,可以确定掩膜图像。具体的,执行主体可以设置掩膜图像的尺寸与目标图像的尺寸相同。然后,根据各掩膜孔的位置信息,确定掩膜图像。
步骤506,根据目标图像以及掩膜图像,确定掩膜图像是否满足预设条件。
步骤507,响应于确定掩膜图像不满足预设条件,对掩膜图像进行修改。
步骤508,根据修改后的掩膜图像、高精地图数据以及目标图像,对目标相机进行标定。
在本实施例的一些可选的实现方式中,上述步骤503可以通过图5中未示出的以下步骤来确定:根据高精地图数据,确定目标区域的车道线的坐标数据;获取针对目标区域的车道线的标注数据;根据坐标数据以及标注数据,确定针对目标相机的历史标定结果。
本实现方式中,执行主体可以首先根据目标区域的车道线的坐标数据。然后,获取目标区域的车道线的标注数据。上述标注数据可以是技术人员针对目标区域的车道线进行标注的。执行主体可以根据上述坐标数据以及标注数据,确定针对目标相机的历史标定结果。此处,利用坐标数据以及标注数据,对目标相机进行标定时,可采用现有的相机标定算法。
在本实施例的一些可选的实现方式中,上述标注数据包括对目标区域的车道线的中心线的标注信息,执行主体还可以通过图5中未示出的以下步骤来确定历史标定结果:根据坐标数据,确定目标区域的车道线的中心线的位置信息;根据位置信息以及标注信息,确定针对目标相机的历史标定结果。
本实现方式中,执行主体可以利用目标区域中车道线的中心线来对目标相机进行标定,使得历史标定结果的准确度较高。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种用于标定相机的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的标定相机装置600包括:第一获取单元601、第二获取单元602、判断单元603、修改单元604和标定单元605。
第一获取单元601,被配置成获取目标相机采集的针对目标区域的目标图像。
第二获取单元602,被配置成获取针对目标区域的高精地图数据和掩膜图像。
判断单元603,被配置成根据目标图像以及掩膜图像,确定掩膜图像是否满足预设条件。
修改单元604,被配置成响应于确定掩膜图像不满足预设条件,对掩膜图像进行修改。
标定单元605,被配置成根据修改后的掩膜图像、高精地图数据以及目标图像,对目标相机进行标定。
在本实施例的一些可选的实现方式中,掩膜图像包括至少一个掩膜孔。判断单元603可以进一步包括图6中未示出的:车道线检测模块、感兴趣区域确定模块、比值计算模块和判断模块。
车道线检测模块,被配置成检测目标图像中的车道线。
感兴趣区域确定模块,被配置成根据目标图像以及掩膜图像,确定至少一个掩膜孔对应的至少一个感兴趣区域。
比值计算模块,被配置成对于每个感兴趣区域,确定该感兴趣区域中的车道线的像素与该感兴趣区域中目标图像中的像素的比值。
判断模块,被配置成响应于确定比值大于第一预设阈值,确定掩膜图像不满足预设条件。
在本实施例的一些可选的实现方式中,修改单元604可以进一步被配置成:对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值大于第一预设阈值,将该感兴趣区域对应的掩膜孔删除。
在本实施例的一些可选的实现方式中,装置600还可以进一步包括图6中未示出的第三获取单元,被配置成对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值小于第二预设阈值,间隔预设时间段内再次获取目标相机采集的针对所述目标区域的图像。
在本实施例的一些可选的实现方式中,第二获取单元602可以进一步包括图6中未示出的:历史标定结果获取模块、掩膜孔位置信息确定模块和掩膜图像确定模块。
历史标定结果获取模块,被配置成获取针对目标相机的历史标定结果,历史标定结果包括至少一个标注框。
掩膜孔位置信息确定模块,被配置成根据至少一个标注框的位置信息,确定至少一个掩膜孔的位置信息。
掩膜图像确定模块,被配置成根据至少一个掩膜孔的位置信息,确定掩膜图像。
在本实施例的一些可选的实现方式中,历史标定结果获取模块进一步被配置成:根据高精地图数据,确定目标区域的车道线的坐标数据;获取目标区域的车道线的标注数据;根据坐标数据以及标注数据,确定目标相机的历史标定结果。
在本实施例的一些可选的实现方式中,标注数据包括对目标区域的车道线的中心线的标注信息。历史标定结果获取模块进一步被配置成:根据坐标数据,确定目标区域的车道线的中心线的位置信息;根据位置信息以及标注信息,确定目标相机的历史标定结果
应当理解,用于标定相机的装置600中记载的单元601至单元605分别与参考图2中描述的方法中的各个步骤相对应。由此,上文针对用于标定相机的方法描述的操作和特征同样适用于装置600及其中包含的单元,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图7所示,是根据本申请实施例的执行用于标定相机的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的执行用于标定相机的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的执行用于标定相机的方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的执行用于标定相机的方法对应的程序指令/模块(例如,附图6所示的第一获取单元601、第二获取单元602、判断单元603、修改单元604和标定单元605)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的执行用于标定相机的方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据执行用于标定相机的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至执行用于标定相机的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行用于标定相机的方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与执行用于标定相机的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,可以利用合适的掩膜图像对目标相机进行标定,从而能够减少计算量,并且提高标定的准确率,满足实时标定的要求。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (16)

1.一种用于标定相机的方法,包括:
获取目标相机采集的针对目标区域的目标图像;
获取针对所述目标区域的高精地图数据和掩膜图像;
根据所述目标图像以及所述掩膜图像,确定所述掩膜图像是否满足预设条件;
响应于确定所述掩膜图像不满足所述预设条件,对所述掩膜图像进行修改;
根据修改后的掩膜图像、所述高精地图数据以及所述目标图像,对所述目标相机进行标定。
2.根据权利要求1所述的方法,其中,所述掩膜图像包括至少一个掩膜孔;以及
所述根据所述目标图像以及所述掩膜图像,确定所述掩膜图像是否满足预设条件,包括:
检测所述目标图像中的车道线;
根据所述目标图像以及所述掩膜图像,确定所述至少一个掩膜孔对应的至少一个感兴趣区域;
对于每个感兴趣区域,确定该感兴趣区域中的车道线的像素与该感兴趣区域中目标图像中的像素的比值;
响应于确定所述比值大于第一预设阈值,确定所述掩膜图像不满足预设条件。
3.根据权利要求2所述的方法,其中,所述响应于所述掩膜图像不满足所述预设条件,对所述掩膜图像进行修改,包括:
对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值大于所述第一预设阈值,将该感兴趣区域对应的掩膜孔删除。
4.根据权利要求2所述的方法,其中,所述方法还包括:
对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值小于第二预设阈值,间隔预设时间段内再次获取目标相机采集的针对所述目标区域的图像。
5.根据权利要求1所述的方法,其中,所述掩膜图像通过以下步骤确定:
获取针对所述目标相机的历史标定结果,所述历史标定结果包括至少一个标注框;
根据所述至少一个标注框的位置信息,确定至少一个掩膜孔的位置信息;
根据所述至少一个掩膜孔的位置信息,确定所述掩膜图像。
6.根据权利要求5所述的方法,其中,所述获取针对所述目标相机的历史标定结果,包括:
根据所述高精地图数据,确定所述目标区域的车道线的坐标数据;
获取所述目标区域的车道线的标注数据;
根据所述坐标数据以及所述标注数据,确定所述目标相机的历史标定结果。
7.根据权利要求6所述的方法,其中,所述标注数据包括对所述目标区域的车道线的中心线的标注信息;以及
所述根据所述坐标数据以及所述标注数据,确定所述目标相机的历史标定结果,包括:
根据所述坐标数据,确定所述目标区域的车道线的中心线的位置信息;
根据所述位置信息以及所述标注信息,确定所述目标相机的历史标定结果。
8.一种用于标定相机的装置,包括:
第一获取单元,被配置成获取目标相机采集的针对目标区域的目标图像;
第二获取单元,被配置成获取针对所述目标区域的高精地图数据和掩膜图像;
判断单元,被配置成根据所述目标图像以及所述掩膜图像,确定所述掩膜图像是否满足预设条件;
修改单元,被配置成响应于确定所述掩膜图像不满足所述预设条件,对所述掩膜图像进行修改;
标定单元,被配置成根据修改后的掩膜图像、所述高精地图数据以及所述目标图像,对所述目标相机进行标定。
9.根据权利要求8所述的装置,其中,所述掩膜图像包括至少一个掩膜孔;以及
所述判断单元包括:
车道线检测模块,被配置成检测所述目标图像中的车道线;
感兴趣区域确定模块,被配置成根据所述目标图像以及所述掩膜图像,确定所述至少一个掩膜孔对应的至少一个感兴趣区域;
比值计算模块,被配置成对于每个感兴趣区域,确定该感兴趣区域中的车道线的像素与该感兴趣区域中目标图像中的像素的比值;
判断模块,被配置成响应于确定所述比值大于第一预设阈值,确定所述掩膜图像不满足预设条件。
10.根据权利要求9所述的装置,其中,所述修改单元进一步被配置成:
对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值大于所述第一预设阈值,将该感兴趣区域对应的掩膜孔删除。
11.根据权利要求9所述的装置,其中,所述装置还包括:
第三获取单元,被配置成对于每个感兴趣区域,响应于确定该感兴趣区域对应的比值小于第二预设阈值,间隔预设时间段内再次获取目标相机采集的针对所述目标区域的图像。
12.根据权利要求8所述的装置,其中,所述第二获取单元包括:
历史标定结果获取模块,被配置成获取针对所述目标相机的历史标定结果,所述历史标定结果包括至少一个标注框;
掩膜孔位置信息确定模块,被配置成根据所述至少一个标注框的位置信息,确定至少一个掩膜孔的位置信息;
掩膜图像确定模块,被配置成根据所述至少一个掩膜孔的位置信息,确定所述掩膜图像。
13.根据权利要求12所述的装置,其中,所述历史标定结果获取模块进一步被配置成:
根据所述高精地图数据,确定所述目标区域的车道线的坐标数据;
获取所述目标区域的车道线的标注数据;
根据所述坐标数据以及所述标注数据,确定所述目标相机的历史标定结果。
14.根据权利要求13所述的装置,其中,所述标注数据包括对所述目标区域的车道线的中心线的标注信息;以及
所述历史标定结果获取模块进一步被配置成:
根据所述坐标数据,确定所述目标区域的车道线的中心线的位置信息;
根据所述位置信息以及所述标注信息,确定所述目标相机的历史标定结果。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202010430722.6A 2020-05-20 2020-05-20 用于标定相机的方法、装置、设备以及存储介质 Active CN111612851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430722.6A CN111612851B (zh) 2020-05-20 2020-05-20 用于标定相机的方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430722.6A CN111612851B (zh) 2020-05-20 2020-05-20 用于标定相机的方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111612851A CN111612851A (zh) 2020-09-01
CN111612851B true CN111612851B (zh) 2023-04-07

Family

ID=72202087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430722.6A Active CN111612851B (zh) 2020-05-20 2020-05-20 用于标定相机的方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111612851B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165590B (zh) * 2020-09-30 2022-05-31 联想(北京)有限公司 视频的录制实现方法、装置及电子设备
CN113066092A (zh) * 2021-03-30 2021-07-02 联想(北京)有限公司 视频对象分割方法、装置及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置
CN110503690A (zh) * 2018-05-16 2019-11-26 南京大学 一种高光谱视频采集系统的双路相机对齐方法
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技(深圳)有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN110675635A (zh) * 2019-10-09 2020-01-10 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
CN110956599A (zh) * 2019-11-20 2020-04-03 腾讯科技(深圳)有限公司 图片处理方法和装置、存储介质及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3262614B1 (en) * 2015-02-24 2018-12-12 NEXTVR Inc. Calibration for immersive content systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503690A (zh) * 2018-05-16 2019-11-26 南京大学 一种高光谱视频采集系统的双路相机对齐方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110210303A (zh) * 2019-04-29 2019-09-06 山东大学 一种北斗视觉融合精准车道辨识与定位方法及其实现装置
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技(深圳)有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN110675635A (zh) * 2019-10-09 2020-01-10 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
CN110956599A (zh) * 2019-11-20 2020-04-03 腾讯科技(深圳)有限公司 图片处理方法和装置、存储介质及电子装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ROCHADE: Robust Checkerboard Advanced Detection for Camera Calibration;Simon Placht等;《European Conference on Computer Vision ECCV 2014: Computer Vision》;20140912;766–779 *
Sports camera calibration via synthetic data;Jianhui Chen等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2019》;20190620;1-8 *
基于公路监控视频的相机自标定检测技术研究;田园园;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170615;C034-202 *
基于双目视觉的水下目标图像处理与定位技术研究;李煊;《中国博士学位论文全文数据库工程科技Ⅱ辑》;20190515;C036-22 *

Also Published As

Publication number Publication date
CN111612851A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111220154A (zh) 车辆定位方法、装置、设备和介质
CN110738183B (zh) 路侧相机障碍物检测方法及装置
CN110806215B (zh) 车辆定位的方法、装置、设备及存储介质
CN112415552A (zh) 车辆位置的确定方法、装置及电子设备
CN111324115A (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
CN111767853B (zh) 车道线检测方法和装置
CN112560680A (zh) 车道线处理方法、装置、电子设备及存储介质
CN111523471B (zh) 车辆所在车道的确定方法、装置、设备以及存储介质
CN111079079B (zh) 数据修正方法、装置、电子设备及计算机可读存储介质
CN111784837B (zh) 高精地图生成方法、装置、设备、存储介质和程序产品
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN111612851B (zh) 用于标定相机的方法、装置、设备以及存储介质
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
CN111310840A (zh) 数据融合处理方法、装置、设备和存储介质
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111721305B (zh) 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN112344855A (zh) 障碍物的检测方法、装置、存储介质和路测设备
CN112101209A (zh) 用于路侧计算设备的确定世界坐标点云的方法和装置
CN114140759A (zh) 高精地图车道线位置确定方法、装置及自动驾驶车辆
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN111783611B (zh) 无人车的定位方法、装置、无人车及存储介质
CN111400537B (zh) 一种道路元素信息获取方法、装置和电子设备
CN112102417A (zh) 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211011

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant