CN110378965B - 确定路侧成像设备坐标系转换参数的方法、装置、设备 - Google Patents
确定路侧成像设备坐标系转换参数的方法、装置、设备 Download PDFInfo
- Publication number
- CN110378965B CN110378965B CN201910423823.8A CN201910423823A CN110378965B CN 110378965 B CN110378965 B CN 110378965B CN 201910423823 A CN201910423823 A CN 201910423823A CN 110378965 B CN110378965 B CN 110378965B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- dimensional map
- coordinates
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本公开的实施例提供了用于成像设备的坐标系转换参数的方法、装置、设备和计算机可读存储介质。该方法包括从成像设备所处的环境的三维地图中选择参考点集合,三维地图与世界坐标系无关联;确定参考点集合在世界坐标系中的第一坐标集合;从由成像设备所捕获的环境的二维图像中确定与参考点集合相对应的目标点集合,目标点集合具有在二维图像的像素坐标系中的第二坐标集合;以及基于第一坐标集合和第二坐标集合,确定坐标系转换参数。由此,可以在例如无法获得GPS信息的环境下确定成像设备的坐标系转换参数,提高了成像设备的参数标定的灵活性和普适性。
Description
技术领域
本公开的实施例主要涉及车外交互领域,并且更具体地,涉及用于确定路侧成像设备的坐标系转换参数的方法、装置、设备以及计算机可读存储介质。
背景技术
近年来,诸如自主泊车、视频监控等的自动驾驶相关技术逐渐崭露头角。自动驾驶技术的基础是对车辆周围环境的感知,即识别周围环境的具体状况。已经提出,除了车载(也称为“车侧”)的传感器装置(例如,车载激光雷达)之外,可以通过车外(也称为“路侧”)的传感器装置(例如,安装在马路两侧的成像设备)获取相关数据来更好地支持自动驾驶技术。
目前,车外的成像设备的外参数标定(例如,确定相机坐标系至世界坐标系的转换参数)是通过标定车载激光雷达与该成像设备之间的关系来实现。然而,在例如地下停车场、隧道等的一些场景中,可能没有全球定位系统(GPS)信号、也没有设置激光雷达传感器,因此难以通过标定上述关系的方式来执行对该场景中设置的成像设备的外参数标定,造成无法使用来自该成像设备的数据。
发明内容
根据本公开的实施例,提供了一种用于确定成像设备的坐标系转换参数的方案。
在本公开的第一方面中,提供了一种用于确定成像设备的坐标系转换参数的方法。该方法包括:从所述成像设备所处的环境的三维地图中选择参考点集合,所述三维地图与世界坐标系无关联;确定所述参考点集合在所述世界坐标系中的第一坐标集合;从由所述成像设备所捕获的所述环境的二维图像中确定与所述参考点集合相对应的目标点集合,所述目标点集合具有在所述二维图像的像素坐标系中的第二坐标集合;以及基于所述第一坐标集合和所述第二坐标集合,确定所述坐标系转换参数。
在本公开的第二方面中,提供了一种用于确定成像设备的坐标系转换参数的装置。该装置包括:参考点集合选择模块,被配置为从所述成像设备所处的环境的三维地图中选择参考点集合,所述三维地图与世界坐标系无关联;第一坐标集合第一确定模块,被配置为确定所述参考点集合在所述世界坐标系中的第一坐标集合;目标点集合第一确定模块,被配置为从由所述成像设备所捕获的所述环境的二维图像中确定与所述参考点集合相对应的目标点集合,所述目标点集合具有在所述二维图像的像素坐标系中的第二坐标集合;以及坐标系转换参数确定模块,被配置为基于所述第一坐标集合和所述第二坐标集合,确定所述坐标系转换参数。
在本公开的第三方面中,提供了一种电子设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的一些实施例的用于确定成像设备的坐标系转换参数的示例方法的流程图;
图3示出了根据本公开的一些实施例的成像设备所处的环境的三维地图的示意图;
图4示出了根据本公开的一些实施例的用于确定第一坐标集合的示例方法的流程图;
图5示出了根据本公开的一些实施例的用于测试坐标系转换参数的示例方法的流程图;
图6示出了根据本公开的一些实施例的用于确定成像设备的坐标系转换参数的装置的示意性结构框图;以及
图7示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如本文中使用的,术语“坐标系转换参数”例如可以是在相机坐标系、图像坐标系、像素坐标系与世界坐标系之间进行转换所需要的参数,例如平移矩阵、旋转矩阵,等等。在本公开的上下文中,世界坐标系可以是指覆盖全球范围的参考坐标系统,其例如可以用于辅助车辆的自动驾驶或自主停车等,其示例包括UTM坐标系统、经纬度坐标系统,等等。相机坐标系的原点可以位于成像设备的光心,竖轴(z轴)可以与成像设备的光轴重合,横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原点可以在图像的左上角,横轴和纵轴可以分别为图像所在的像素行和像素列,单位可以为像素。图像坐标系的原点可以在图像的中心(即像素坐标系的中点),横轴和纵轴与像素坐标系平行,单位为可以毫米。但是,将理解,在其他的实施例中,这些坐标系也可以按照在本领域中所接受的其他合理的方式被定义。
在本公开的实施例中,“坐标系转换参数”可以包括或指代相机标定领域中所谓的“外参”、“外参数”、“外部参数”、“外参矩阵”,等等。通常,“外参数”可以是指与特定成像设备相关联的相机坐标系与世界坐标系(例如,UTM坐标系)之间的转换参数。“外参数标定”可以是指对相机坐标系与世界坐标系之间的转换参数的确定。因此,在本公开的实施例的描述中,为了方便,术语“外参数”可以与术语“坐标系转换参数”替换使用。
在本公开的实施例的描述中,术语“成像设备”指代能够捕获图像数据例如图片数据和/或视频数据的传感器装置,例如摄像头、相机等等。
如前面提及的,目前车外的成像设备的外参数标定是通过标定车载激光雷达与该成像设备之间的关系来实现,而在例如地下停车场等的一些场景中,没有GPS信号、也没有设置激光雷达传感器,因此难以通过标定上述关系的方式来执行对成像设备的外参数标定。
根据本公开的各种实施例,提供了一种确定成像设备的坐标系转换参数的方案。在本公开的实施例中,从成像设备所处的环境的三维地图中选择参考点集合,确定该参考点集合在世界坐标系中的第一坐标集合并且从由成像设备所捕获的环境的二维图像中确定与参考点集合相对应的目标点集合,该目标点集合具有在二维图像的像素坐标系中的第二坐标集合,并且基于所确定的第一坐标集合和第二坐标集合来确定坐标系转换参数。
应理解到,根据本公开实施例的方案不仅适用于没有GPS信号的场景中的成像设备的参数标定,而且适用于有GPS信号的场景中的成像设备的参数标定。根据本公开实施例的方案,可以提高成像设备的参数标定的灵活性和普适性。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例交通环境100的示意图。在该示例环境100中示意性示出了一些典型物体,包括道路102、车辆停放位置101,障碍物130-1至130-6。在图1示出的示例中,障碍物可以被视作处于交通环境100中的建筑支承物,例如柱子。应当理解,这些示出的设施和物体仅是示例,根据实际情况,不同交通环境中存在可能出现的物体将会变化。本公开的范围在此方面不受限制。
在图1的示例中,车辆110正在道路102上行驶。车辆110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆,包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。环境100中的车辆110可以是具有一定自动驾驶能力的车辆,这样的车辆也被称为无人驾驶车辆。当然,环境100中的还可以包括不具有自动驾驶能力的车辆。
环境100中还布置有成像设备120。成像设备120独立于车辆110,并且用于捕获与环境100相关的图像信息。为了全方位监测环境100,成像设备120可以被布置在道路102附近。例如,多个成像设备120可以按一定间隔被布置在道路102的两侧,用于监测环境100的特定区域。在一些示例中,除了将成像设备120固定在特定位置之外,还可以设置可移动的成像设备120,诸如可移动感知站点等。
在本公开的实施例中,在对成像设备120执行外参数标定时,成像设备120捕获的图像信息可以被提供至计算设备140,以供在确定成像设备120坐标系转换参数时使用。计算设备140可以是支持坐标系转换参数的确定的任意服务器或客户端设备。下面结合图2详细描述坐标系转换参数的确定过程。为便于描述,下文将结合图1所示交通环境进行讨论。
图2示出了根据本公开的一些实施例的用于确定成像设备的坐标系转换参数的示例方法200的流程图。该方法200可以在图1的计算设备140处实施。
如图2所示,在框210,计算设备140从该三维地图中选择一组参考点。该一组参考点在下文中也被称作参考点集合。
在一些实施例中,三维地图可以由地图数据采集车来采集环境100相关的信息并且基于这样的信息而生成。例如,针对没有GPS信号的场景,可以通过即时定位与地图构建(SLAM)方法,让采集车从室外有GPS信号的位置驶入该场景,利用车载激光雷达、摄像头以及环视影像采集系统来采集道路环境信息,之后进行识别和融合,以将采集到的数据叠加在一起,生成三维地图。应理解到,可以通过其它任意合适方式来生成三维地图,本申请对三维地图的生成方式并不做任何限制。
根据本公开的一些实施例,计算设备140可以从三维地图确定表征环境100的位置信息的定位特征并且基于这些定位特征来确定参考点集合。例如,当环境100为地下停车场时,可以将地下停车场中的车位之间的墙壁、柱子、车位标识线等作为表征环境100的位置信息的定位特征。
图3示出了根据本公开的一些实施例的成像设备所处的环境的三维地图的示意图。在图3中示出了定位特征,障碍物130-1至130-6,其表征了环境100的位置信息,即地下停车场中的车位之间的墙壁或柱子。根据本公开的一些实施例,计算设备140可以选择障碍物130-3至130-5处的点作为参考点。计算设备还可以确定所选择的参考点在该三维地图的地图坐标系中的特征坐标。
参考图2,在框220,计算设备140确定所选择的参考点集合在世界坐标系下的第一坐标集合。
下面将结合图4描述确定第一坐标集合的过程。图4示出了根据本公开的一些实施例的用于确定第一坐标集合的示例方法的流程图。该方法400可以在计算设备140处实施。
如图4所示,在框410,计算设备140可以获取与世界坐标系相关联的另一三维地图。该另一三维地图与前述三维地图可以具有重叠的部分。
计算设备140可以以任何方式获取到与世界坐标系相关联的另一三维地图。例如该另一三维地图是由地图数据采集车在行将进入到无法接收到GPS信号的环境100时、在能够接收到GPS信号另一环境下生成的。因此该另一三维地图具有在世界坐标系下的坐标。这两个三维地图可以在环境100的边界处具有重叠部分。
在框420,计算设备140可以从该重叠部分中选择重叠点,在下文中也可以称作关联位置点。在另一三维地图中,这些关联位置点具有在世界坐标系下的坐标,而在关于环境100的三维地图中,这些关联位置点具有在地图坐标系下的坐标。因此,在框430,计算设备140能够通过这些关联位置点确定关于环境100的三维地图与世界坐标系的关联。
基于上述关联,在框440,计算设备140能够确定在关于环境100的三维地图中不处于重叠部分的点,例如参考点在世界坐标系下的坐标。以下详细描述上文所述的坐标系转换的一个实施例的推导过程。
假设已知在能够接收到GPS区域信号的生成的点云为p且p到世界坐标系的转换关系为Tp2w,在无法接收到GPS区域信号的生成的点云为P,并且P与p具有重叠区域,则利用以下方法可以获得P和p之间的转换关系:
两个点云之间的误差项为:
:e=p-(RP+t) (1)
构建最小二乘问题使得误差平方和达到极小的R和t:
定义两组点云的质心:
因此,等式(2)可以被转换成:
假设pi-p=q,Pi-P=Q
等式(4)可以转换成:
上式中第一项与R无关,第二项RTR=I也与R无关。因此等式(6)可以转换成:
返回图2,在框230,计算设备140从成像设备120所捕获的环境100的二维图像中确定与上述参考点相对应的点,在下文中这些点可以被称作目标点。
如上文所述,计算设备140可以选择障碍物130-3至130-5处的点作为参考点。根据本公开的一些实施例,计算设备140可以获取包括这些障碍物130-3至130-5的、由成像设备120捕获的二维图像。在一些实施例中,二维图像可以是图片格式。在一些实施例中,二维图像可以是数据帧流的格式。
在一些实施例中,计算设备140可以获取由成像设备120在预定时间段内捕获的二维图像。在一些实施例中,计算设备140可以获取由成像设备120实时捕获的二维图像。在一些实施例中,计算设备140可以获取由成像设备120在过去的预定时间或时间段捕获的二维图像。
根据本公开的一些实施例,计算设备140可以获取由经校准后的成像设备120捕获的二维图像。在一些实施例中,成像设备120可以经内参数标定后捕获该二维图像。内参数是指与成像设备自身特性相关的参数。以相机为例,内参数是指比如焦距、像素大小等参数。在一些实施例中,成像设备120可以经畸变校正后捕获该二维图像。在一些实施例中,成像设备120可以经内参数标定和畸变校正后捕获该二维图像。由此可以有利于提高成像设备的外参数标定的准确性。
计算设备140可以在该二维图像中确定与前述定位特征相对应的目标特征,即障碍物130-3至130-5。计算设备140可以将二维图像中障碍物130-3至130-5处的与参考点对应的点确定为目标点。
根据本公开的一些实施例,计算设备140可以确定上述目标点在二维地图的像素坐标系的特征坐标。这些目标点的特征坐标的结合在下文中被称作第二坐标集合。
在框240,计算设备140可以基于第一坐标集合和第二坐标集合确定所述坐标系转换参数。基于上文能够理解,第一坐标集合是在世界坐标系的三维坐标集合,而第二坐标结合是在像素坐标系下的二维坐标集合。根据本公开的一些实施例,计算设备140例如可以通过透视N点法(PnP)对第一坐标集合和第二坐标集合进行求解,从而得到坐标系转换参数。
根据本公开的一些实施例,计算设备140还可以对所确定的坐标系转换参数进行测试。下面将结合图描述测试坐标系转换参数的过程。图5示出了根据本公开的一些实施例的用于测试坐标系转换参数的示例方法的流程图。该方法500可以在计算设备140处实施。
如图5所示,在框510,计算设备140从三维地图中选择测试参考点集合,该测试参考点集合不同于在上文中为了确定坐标系转换参数而选择的参考点集合。例如,测试参考点可以是图3示出的三维地图中的障碍物130-1和130-2处的点。
在框520,计算设备140可以基于先前所确定的坐标系转换参数将测试参考点集合转换成待测试目标点集合。在框530,计算设备140可以利用与方法300类似的方法来确定二维图像中与测试参考点集合相对应的测试目标点集合。
在框40,计算设备140可以将上述待测试目标点集合投影到二维图像中,以确定待测试目标点集合与测试目标点集合之间的误差。在框540,如果该误差高于阈值误差,则在框550,计算设备140通过迭代方法300中的步骤来调节坐标系转换参数,以便对经调节的坐标系转换参数进行测试。
应理解到,除了上述方法外,也可以使用本领域已知或未来开发的其它合适方式来表征待测试目标点集合与测试目标点集合的匹配误差。此外,应理解到,图5的处理仅为示例,并不对本申请构成限制。
至此描述了根据本公开实施例的用于确定成像设备的坐标系转换参数的方法。根据本公开的各种实施例,可以在例如无法获得GPS信息的环境下确定成像设备的坐标系转换参数,提高了成像设备的参数标定的灵活性和普适性。
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图6示出了根据本公开的一些实施例的用于确定成像设备的坐标系转换参数的装置600的示意性结构框图。该装置600可以在例如图1的计算设备140处实施。
如图6所示,装置600可以包括参考点集合选择模块610,被配置为从所述成像设备所处的环境的三维地图中选择参考点集合,所述三维地图与世界坐标系无关联。装置600还可以包括第一坐标集合第一确定模块620,被配置为确定所述参考点集合在所述世界坐标系中的第一坐标集合。此外,装置600还可以包括目标点集合第一确定模块630,被配置为从由所述成像设备所捕获的所述环境的二维图像中确定与所述参考点集合相对应的目标点集合,所述目标点集合具有在所述二维图像的像素坐标系中的第二坐标集合以及坐标系转换参数确定模块640,被配置为基于所述第一坐标集合和所述第二坐标集合,确定所述坐标系转换参数。
根据本公开的一些实施例,参考点集合选择模块610可以包括(图中未示出)定位特征确定模块,被配置为从所述三维地图中确定表征所述环境的位置信息的定位特征以及参考点集合确定模块,被配置为基于所述定位特征确定所述参考点集合。
根据本公开的一些实施例,参考点集合选择模块610还可以包括(图中未示出)第一特征坐标确定模块,被配置为确定所述定位特征在所述三维地图的地图坐标系中的特征坐标。
根据本公开的一些实施例,其中所述三维地图是第一三维地图,并且其中第一坐标集合第一确定模块620可以包括(图中未示出):第二三维地图获取模块,被配置为获取与所述世界坐标系相关联的第二三维地图,所述第二三维地图与所述第一三维地图具有重叠部分;关联位置点选择模块,被配置为从所述重叠部分中选择关联位置点;关联确定模块,被配置为基于所述关联位置点在所述第二三维地图中的坐标和所述关联位置点在所述第一三维地图中的坐标,确定所述第一三维地图与所述世界坐标系的关联;以及所述第一坐标集合第二确定模块,被配置为基于所述关联确定所述参考点集合在所述世界坐标系下的第一坐标集合。第二三维地图获取模块、关联位置点选择模块、关联确定模块和所述第一坐标集合第二确定模块可被配置为执行参照图4所述的相应处理。
根据本公开的一些实施例,目标点集合第一确定模块630可以包括(图中未示出):目标特征确定模块,被配置为在所述二维图像中确定目标特征,所述目标特征与所述三维地图中表征所述环境的位置信息的定位特征相对应;以及目标点集合第二确定模块,被配置为基于所述目标特征确定所述目标点集合。
根据本公开的一些实施例,目标点集合第一确定模块630还可以包括(图中未示出)第二特征坐标确定模块,被配置为确定所述目标特征在所述二维地图的像素坐标系的特征坐标。
根据本公开的一些实施例,装置600还可以包括(图中未示出)测试点集合选择模块,配置为从所述三维地图中选择测试参考点集合,所述测试参考点集合不同于所述参考点集合;转换模块,被配置为基于所述坐标系转换参数,将所述测试参考点集合转换成待测试目标点集合;测试目标点集合确定模块,被配置为确定在所述二维图像中与所述测试参考点集合相对应的测试目标点集合;误差确定模块,被配置为确定所述待测试目标点集合与所述测试目标点集合之间的误差;以及坐标系转换参数调节模块,被配置为响应于所述误差高于阈值误差,调节所述坐标系转换参数。测试点集合选择模块、转换模块、测试目标点集合确定模块、误差确定模块和坐标系转换参数调节模块可被配置为执行参照图5所述的相应处理。
应当理解,装置600中记载的每个单元分别与参考图2、图4和图5描述的方法200、400、500中的每个步骤相对应。并且,装置600及其中包含的单元的操作和特征都对应于上文结合图2、图4和图5描述的操作和特征,并且具有同样的效果,具体细节不再赘述。
装置600中所包括的单元可以利用各种方式来实现,包括软件、硬件、固件或其任意组合。在一些实施例中,一个或多个单元可以使用软件和/或固件来实现,例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代,装置600中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制,可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD),等等。
图6中所示的这些单元可以部分或者全部地实现为硬件模块、软件模块、固件模块或者其任意组合。特别地,在某些实施例中,上文描述的流程、方法或过程可以由存储系统或与存储系统对应的主机或独立于存储系统的其它计算设备中的硬件来实现。
图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。设备700可以用于实现计算设备140。如图所示,设备700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元707加载到随机访问存储器(RAM)703中的计算机程序指令,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元701执行上文所描述的各个方法和处理,例如方法200、400、500。例如,在一些实施例中,方法200、400、500可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由CPU701执行时,可以执行上文描述的方法200、400、500的一个或多个步骤。备选地,在其他实施例中,CPU 801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200、400、500。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (14)
1.一种用于确定成像设备的坐标系转换参数的方法,包括:
从所述成像设备所处的环境的三维地图中选择参考点集合,所述三维地图与世界坐标系无关联,所述三维地图是第一三维地图;
获取与所述世界坐标系相关联的第二三维地图,所述第二三 维地图是由地图数据采集车在行将进入到无法接收到GPS信号的所述环境时、在能够接收到GPS信号的另一环境下生成的,所述第二三维地图与所述第一三维地图具有重叠部分;
从所述重叠部分中选择关联位置点;
基于所述关联位置点在所述第二三维地图中的坐标和所述关联位置点在所述第一三维地图中的坐标,确定所述第一三维地图与所述世界坐标系的关联;以及
基于所述关联确定所述参考点集合在所述世界坐标系下的第一坐标集合;
从由所述成像设备所捕获的所述环境的二维图像中确定与所述参考点集合相对应的目标点集合,所述目标点集合具有在所述二维图像的像素坐标系中的第二坐标集合;以及
基于所述第一坐标集合和所述第二坐标集合,确定所述坐标系转换参数。
2.根据权利要求1所述的方法,其中选择参考点集合包括:
从所述三维地图中确定表征所述环境的位置信息的定位特征;以及
基于所述定位特征确定所述参考点集合。
3.根据权利要求2所述的方法,还包括:
确定所述定位特征在所述三维地图的地图坐标系中的特征坐标。
4.根据权利要求1所述的方法,其中确定所述目标点集合包括:
在所述二维图像中确定目标特征,所述目标特征与所述三维地图中表征所述环境的位置信息的定位特征相对应;以及
基于所述目标特征确定所述目标点集合。
5.根据权利要求4所述的方法,还包括:
确定所述目标特征在所述二维地图的像素坐标系的特征坐标。
6.根据权利要求1所述的方法,还包括:
从所述三维地图中选择测试参考点集合,所述测试参考点集合不同于所述参考点集合;
基于所述坐标系转换参数,将所述测试参考点集合转换成待测试目标点集合;
确定在所述二维图像中与所述测试参考点集合相对应的测试目标点集合;
确定所述待测试目标点集合与所述测试目标点集合之间的误差;以及
响应于所述误差高于阈值误差,调节所述坐标系转换参数。
7.一种用于确定成像设备的坐标系转换参数的装置,包括:
参考点集合选择模块,被配置为从所述成像设备所处的环境的三维地图中选择参考点集合,所述三维地图与世界坐标系无关联,所述三维地图是第一三维地图;
第一坐标集合第一确定模块,被配置为确定所述参考点集合在所述世界坐标系中的第一坐标集合;
目标点集合第一确定模块,被配置为从由所述成像设备所捕获的所述环境的二维图像中确定与所述参考点集合相对应的目标点集合,所述目标点集合具有在所述二维图像的像素坐标系中的第二坐标集合;以及
坐标系转换参数确定模块,被配置为基于所述第一坐标集合和所述第二坐标集合,确定所述坐标系转换参数,
其中所述第一坐标集合第一确定模块包括:
第二三维地图获取模块,被配置为获取与所述世界坐标系相关联的第二三维地图,所述第二三 维地图是由地图数据采集车在行将进入到无法接收到GPS信号的所述环境时、在能够接收到GPS信号的另一环境下生成的,所述第二三维地图与所述第一三维地图具有重叠部分;
关联位置点选择模块,被配置为从所述重叠部分中选择关联位置点;
关联确定模块,被配置为基于所述关联位置点在所述第二三维地图中的坐标和所述关联位置点在所述第一三维地图中的坐标,确定所述第一三维地图与所述世界坐标系的关联;以及
所述第一坐标集合第二确定模块,被配置为基于所述关联确定所述参考点集合在所述世界坐标系下的第一坐标集合。
8.根据权利要求7所述的装置,其中所述参考点集合选择模块包括:
定位特征确定模块,被配置为从所述三维地图中确定表征所述环境的位置信息的定位特征;以及
参考点集合确定模块,被配置为基于所述定位特征确定所述参考点集合。
9.根据权利要求8所述的装置,还包括:
第一特征坐标确定模块,被配置为确定所述定位特征在所述三维地图的地图坐标系中的特征坐标。
10.根据权利要求7所述的装置,其中所述目标点集合第一确定模块包括:
目标特征确定模块,被配置为在所述二维图像中确定目标特征,所述目标特征与所述三维地图中表征所述环境的位置信息的定位特征相对应;以及
目标点集合第二确定模块,被配置为基于所述目标特征确定所述目标点集合。
11.根据权利要求10所述的装置,还包括:
第二特征坐标确定模块,被配置为确定所述目标特征在所述二维地图的像素坐标系的特征坐标。
12.根据权利要求7所述的装置,还包括:
测试点集合选择模块,配置为从所述三维地图中选择测试参考点集合,所述测试参考点集合不同于所述参考点集合;
转换模块,被配置为基于所述坐标系转换参数,将所述测试参考点集合转换成待测试目标点集合;
测试目标点集合确定模块,被配置为确定在所述二维图像中与所述测试参考点集合相对应的测试目标点集合;
误差确定模块,被配置为确定所述待测试目标点集合与所述测试目标点集合之间的误差;以及
坐标系转换参数调节模块,被配置为响应于所述误差高于阈值误差,调节所述坐标系转换参数。
13.一种电子设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910423823.8A CN110378965B (zh) | 2019-05-21 | 2019-05-21 | 确定路侧成像设备坐标系转换参数的方法、装置、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910423823.8A CN110378965B (zh) | 2019-05-21 | 2019-05-21 | 确定路侧成像设备坐标系转换参数的方法、装置、设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378965A CN110378965A (zh) | 2019-10-25 |
CN110378965B true CN110378965B (zh) | 2022-04-15 |
Family
ID=68248592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910423823.8A Active CN110378965B (zh) | 2019-05-21 | 2019-05-21 | 确定路侧成像设备坐标系转换参数的方法、装置、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378965B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110941587B (zh) * | 2019-11-18 | 2023-04-18 | 内蒙古师范大学 | 基于附加文件的空间矢量数据存储方法及坐标系转换系统 |
CN110942007B (zh) * | 2019-11-21 | 2024-03-05 | 北京达佳互联信息技术有限公司 | 手部骨骼参数确定方法、装置、电子设备和存储介质 |
CN110926334B (zh) * | 2019-11-29 | 2022-02-22 | 深圳市商汤科技有限公司 | 测量方法、装置、电子设备及存储介质 |
CN113126044A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 雷达标定方法、装置及设备 |
CN113129382A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种确定坐标转换参数的方法及装置 |
EP4111368A4 (en) * | 2020-02-26 | 2023-08-16 | Magic Leap, Inc. | CROSS REALITY SYSTEM WITH BUFFERING FOR LOCATION ACCURACY |
CN113311422A (zh) * | 2020-02-27 | 2021-08-27 | 富士通株式会社 | 坐标转换方法、装置和数据处理设备 |
CN111400537B (zh) * | 2020-03-19 | 2023-04-28 | 北京百度网讯科技有限公司 | 一种道路元素信息获取方法、装置和电子设备 |
CN111462251B (zh) * | 2020-04-07 | 2021-05-11 | 深圳金三立视频科技股份有限公司 | 摄像机标定方法及终端 |
CN111667545B (zh) * | 2020-05-07 | 2024-02-27 | 东软睿驰汽车技术(沈阳)有限公司 | 高精度地图生成方法、装置、电子设备及存储介质 |
CN113804100B (zh) * | 2020-06-11 | 2023-02-10 | 华为技术有限公司 | 确定目标对象的空间坐标的方法、装置、设备和存储介质 |
CN111831775A (zh) * | 2020-07-15 | 2020-10-27 | 上海三一重机股份有限公司 | 一种挖掘机施工区域的地图建立方法及装置 |
CN111915494A (zh) * | 2020-07-21 | 2020-11-10 | 沈阳先进医疗设备技术孵化中心有限公司 | 校准方法、装置及系统 |
CN112767536A (zh) * | 2021-01-05 | 2021-05-07 | 中国科学院上海微系统与信息技术研究所 | 一种对象的三维重建方法、装置、设备及存储介质 |
CN112561990B (zh) * | 2021-01-21 | 2022-05-31 | 禾多科技(北京)有限公司 | 定位信息生成方法、装置、设备和计算机可读介质 |
CN113052919A (zh) * | 2021-04-23 | 2021-06-29 | 深圳市商汤科技有限公司 | 一种视觉传感器的标定方法及装置、电子设备和存储介质 |
CN113219505B (zh) * | 2021-04-30 | 2023-04-04 | 阿波罗智联(北京)科技有限公司 | 用于车路协同隧道场景的采集gps坐标的方法、装置和设备 |
CN113449021B (zh) * | 2021-06-28 | 2023-05-19 | 华科融资租赁有限公司 | 空间坐标转换方法、装置、计算机设备和可读存储介质 |
CN113436253B (zh) * | 2021-06-28 | 2023-05-16 | 华科融资租赁有限公司 | 地图的定位显示方法、装置、计算机设备和存储介质 |
CN113822943A (zh) * | 2021-09-17 | 2021-12-21 | 中汽创智科技有限公司 | 一种相机的外参标定方法、装置、系统及存储介质 |
CN114013427A (zh) * | 2021-11-13 | 2022-02-08 | 安徽江淮汽车集团股份有限公司 | 用于自动泊车测试的泊车数据处理方法 |
CN114663276A (zh) * | 2022-03-25 | 2022-06-24 | 北京百度网讯科技有限公司 | 地图数据的压缩方法、装置、设备及存储介质 |
CN114963025B (zh) * | 2022-04-19 | 2024-03-26 | 深圳市城市公共安全技术研究院有限公司 | 泄漏点定位方法、装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105203551A (zh) * | 2015-09-11 | 2015-12-30 | 尹栋 | 车载激光雷达隧道检测系统、基于隧道检测系统的自主定位方法及隧道灾害检测方法 |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN107464264A (zh) * | 2016-06-02 | 2017-12-12 | 南京理工大学 | 一种基于gps的相机参数标定方法 |
CN109242779A (zh) * | 2018-07-25 | 2019-01-18 | 北京中科慧眼科技有限公司 | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 |
CN109490931A (zh) * | 2018-09-03 | 2019-03-19 | 天津远度科技有限公司 | 飞行定位方法、装置及无人机 |
-
2019
- 2019-05-21 CN CN201910423823.8A patent/CN110378965B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105203551A (zh) * | 2015-09-11 | 2015-12-30 | 尹栋 | 车载激光雷达隧道检测系统、基于隧道检测系统的自主定位方法及隧道灾害检测方法 |
CN107464264A (zh) * | 2016-06-02 | 2017-12-12 | 南京理工大学 | 一种基于gps的相机参数标定方法 |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN109242779A (zh) * | 2018-07-25 | 2019-01-18 | 北京中科慧眼科技有限公司 | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 |
CN109490931A (zh) * | 2018-09-03 | 2019-03-19 | 天津远度科技有限公司 | 飞行定位方法、装置及无人机 |
Also Published As
Publication number | Publication date |
---|---|
CN110378965A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378965B (zh) | 确定路侧成像设备坐标系转换参数的方法、装置、设备 | |
CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
CN110174093B (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
US11131752B2 (en) | Vehicle navigation system using pose estimation based on point cloud | |
US11474247B2 (en) | Methods and systems for color point cloud generation | |
CN113657224B (zh) | 车路协同中用于确定对象状态的方法、装置、设备 | |
US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
US10909395B2 (en) | Object detection apparatus | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
US20130147661A1 (en) | System and method for optical landmark identification for gps error correction | |
CN110766761B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN110751693B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
CN110728720B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
JP2006234703A (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN108195359B (zh) | 空间数据的采集方法及系统 | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
KR20180054219A (ko) | 전방위 영상의 좌표 맵핑 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |