CN110174093B - 定位方法、装置、设备和计算机可读存储介质 - Google Patents
定位方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110174093B CN110174093B CN201910367798.6A CN201910367798A CN110174093B CN 110174093 B CN110174093 B CN 110174093B CN 201910367798 A CN201910367798 A CN 201910367798A CN 110174093 B CN110174093 B CN 110174093B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- orientation
- physical
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Abstract
本公开提供了一种定位方法、装置、设备和计算机可读存储介质。所述定位方法包括:获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;确定所述图像中的目标物体在所述图像中的像素坐标;确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系;根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置坐标。通过本申请的实施例,能够准确地确定物体的位置信息。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,具体涉及一种定位方法、装置、设备和计算机可读存储介质。
背景技术
在辅助驾驶技术中,当驾驶车辆需要道路周边的物体的信息时,目前常用的方法是V2X(Vehicle to Everything,车到外界)技术,即通过其他车辆广播的V2X消息,收集与驾驶相关的信息(例如,道路周边的物体的位置、速度、运动方向等信息),再基于这些信息来实现驾驶辅助。
但是,V2X技术存在渗透率低的情况下,很难有效发挥作用。比如,当有个不守交通规则的车辆正好没有装V2X设备,周围车辆将无法获得该车辆的行驶信息,这将造成很大的安全隐患。
另外,现在的自动驾驶将视觉感知都集成在车上,通过车上的视觉类传感器来实现对于周边目标的识别、跟踪、定位,并以此来确定车辆自身的行驶路线、控制方式等。比如,目前自动驾驶一般都采用多源融合定位技术,主要的定位融合源一般包括:RTK(Real-time kinematic,实时动态差分技术)定位、IMU(Inertial measurement unit,惯性测量单元)定位、激光雷达摄像头点云定位、高精地图等。通过这一系列的感知定位源与融合技术来获得自动驾驶车辆本身与周边目标的位置定位。由于其传感器都装在车上,位置较低,视野也极容易收到周边物体(例如大货车等)的遮挡,存在很多的盲区。另外,多源融合定位会造成自动驾驶的感知定位设备成本高昂。
发明内容
本申请的实施例提供一种定位方法、装置、设备和计算机可读存储介质,以实现根据所拍摄的图像对图像中的物体进行定位。
根据本申请实施例的第一方面,公开了一种确定图像中的坐标与物理世界中的位置之间的关系的方法,包括:
确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标;
获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像;
根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;
获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位;
根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
根据一示例性实施例,所述方法还包括:
根据所述转换关系和对应关系,确定所述图像捕获装置从第二方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
根据本申请实施例的第二方面,公开了一种定位方法,包括:
获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;
确定所述图像中的目标物体在所述图像中的像素坐标;
确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系;
根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置坐标。
根据一示例性实施例,确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系包括:
确定所述图像捕获装置从另一拍摄方位拍摄的图像中的像素坐标与从所述拍摄方位拍摄的图像中的像素坐标之间的转换关系;
确定从所述另一拍摄方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
根据一示例性实施例,根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置包括:
根据所述转换关系以及目标物体在从所述拍摄方位拍摄的所述图像中的像素坐标,确定目标物体在从所述另一拍摄方位拍摄的所述图像中应具有的像素坐标;
根据所述对应关系以及目标物体在从所述另一拍摄方位拍摄的所述图像中应具有的像素坐标,确定目标物体在物理世界中的位置坐标。
根据一示例性实施例,确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系包括:
根据双摄像头标定法,确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
根据一示例性实施例,所述定位方法还包括:
基于根据所述图像捕获装置所拍摄的包含所述目标物体的多个图像而确定的所述目标物体的相应位置坐标,确定所述目标物体的包括如下中的至少一个的运动信息:
速度;
运动方向;
加速度。
根据一示例性实施例,所述定位方法还包括:
将所述目标物体在物理世界中的位置坐标和/或运动信息通过网络提供给终端设备。
根据本申请实施例的第三方面,公开了一种用于确定图像中的坐标与物理世界中的位置之间的关系的装置,包括:
第一确定单元,其被配置为:确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标;
第一获取单元,其被配置为:获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像;
第二确定单元,其被配置为:根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;
第二获取单元,其被配置为:获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位;
第三确定单元,其被配置为:根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
根据一示例性实施例,所述装置还包括:
第四确定单元,其被配置为:根据所述转换关系和对应关系,确定所述图像捕获装置从第二方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
根据本申请实施例的第四方面,公开了一种定位装置,包括:
获取单元,其被配置为:获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;
像素坐标确定单元,其被配置为:确定所述图像中的目标物体在所述图像中的像素坐标;
对应关系确定单元,其被配置为:确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系;
位置确定单元,其被配置为:根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置坐标。
根据本申请实施例的第五方面,公开了一种获取物体的运动信息的系统,包括:
图像捕获装置,其被设置为以俯视的方位拍摄预定场地以及预定场地中的物体;
边缘侧服务器,用于根据图像捕获装置拍摄的图像,按照第二方面中所述的定位方法确定物体在物理世界中的位置坐标。
根据本申请实施例的第六方面,公开了一种计算设备,其包括处理器以及存储器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时被配置为实现如在第一或第二方面的方法实施例中的任一个。
根据本申请实施例的第七方面,公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如在第一或第二方面的方法实施例中的任一个。
本申请的实施例提供的技术方案可以具有以下有益效果:
在本申请各实施例的一个或多个中,根据图像捕获装置从特定的第一方位(预定方位)拍摄的多个物理参考点的第一图像获取第一图像中的像素坐标与实际的物理世界中的位置坐标之间的对应关系,并根据多个物理参考点在该图像捕获装置从另一方位拍摄的第二图像中的像素坐标以及在第一图像中的像素坐标,得到像素坐标在两个图像间的转换关系,从而使得根据目标物体在第二图像中的像素坐标确定出该目标物体在物理世界中的位置坐标成为可能。
本申请实施例的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请实施例的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参照附图详细描述其示例实施例,本申请实施例的上述和其它目标、特征及优点将变得更加显而易见。此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并于说明书一起用于解释本申请的原理。
图1示出根据本申请一示例性实施例的用于获取物体的运动信息的系统的组成示意图。
图2示出根据本申请一示例性实施例的定位方法的示意流程图。
图3示出根据本申请一示例性实施例的图2中步骤S230的示例具体实施方式的示意流程图。
图4示出根据本申请一示例性实施例的图2中步骤S240的示例具体实施方式的示意流程图。
图5示出了根据本申请一示例性实施例的确定图像中的像素坐标与物理世界中的位置坐标之间的关系的方法的示意流程图。
图6示出根据本申请一示例性实施例的图5中步骤S520的示例具体实施方式的示意流程图。
图7示出根据本申请一示例性实施例的确定图像中的像素坐标与物理世界中的位置坐标之间的关系的装置的示意组成框图。
图8示出根据本申请一示例性实施例的定位装置的示意组成框图。
图9示出根据本申请一示例性实施例示出的计算设备的示意组成框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本申请实施例的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请实施例的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请实施例的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请实施例的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请实施例的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了根据本申请一示例性实施例的用于获取物体的运动信息的系统100的组成示意图。如图1中所示,系统100包括图像捕获装置110以及边缘侧服务器120。在图1中,示出了一个图像捕获装置110和一个边缘侧服务器120作为示例。可以理解的是,在替代实施例中,系统100可以包括一个或多个图像捕获装置110和一个或多个边缘侧服务器120,每个边缘侧服务器120可以为一个或多个图像捕获装置110提供服务。
图像捕获装置110被设置在道路140侧,用于以俯视的角度拍摄道路140以及道路上的一个或多个物体141-144。例如,图像捕获装置110可以被设置在位于路侧的立杆上预定高度处,并以俯视的角度对准道路140。图像捕获装置110可以是固定不动的,即,拍摄方位(拍摄角度及到路面的距离)固定不变,也可以是活动的,即拍摄方位是可调节的(例如,图像捕获装置110可转动拍摄角度和/或到路面的距离可调)。在一个示例中,图像捕获装置可以是任何可以对物体进行成像的装置,例如照相机、摄像机、激光雷达等。物体141-144可以是运动的物体,也可以是静止的物体,例如路上行驶或静止的车辆、行人、护栏等。
边缘侧服务器120可以通过有线或无线通信链路与图像捕获装置110进行通信,以便使得图像捕获装置110所拍摄的图像被传送至边缘侧服务器120。边缘侧服务器120具有图像识别功能,可以识别图像中的物体(例如车辆、行人、护栏等等),并使用根据本申请实施例的定位方法根据图像捕获装置110所拍摄的图像对所识别出的物体进行定位,获得物体在真实物理世界中的位置坐标。
在一些实施例中,边缘侧服务器120除了能够对图像中的物体进行定位,还可以基于根据图像捕获装置110所拍摄的包含该物体的多个图像而确定的该物体的相应的多个位置坐标,确定该物体的速度、运动方向、加速度中的至少一个。例如,由物体A在图像i中的像素坐标确定出的其物理世界位置坐标为i(i1,i2),由其在图像j中像素坐标确定出的其物理世界位置坐标为j(j1,j2),其中图像i为t1时刻拍摄,图像j为t1之后的t2时刻拍摄,则可以确定物体A的运动速度V为坐标i与j之间的距离除以两幅图像拍摄的时间差。另外,还可以计算物体A的运动方向和加速度,在此不再详述。
在一些实施例中,边缘侧服务器120还可以通过诸如网络130的通信链路与诸如道路上的车辆的设备进行通信,以将所确定的物体的位置、速度、运动方向、加速度等运动信息传送给这些设备。在一个示例中,可以在道路侧布置足够数量的图像捕获装置110以及相应的边缘侧服务器120,使得所有图像捕获装置110的拍摄范围总和可以覆盖道路的任意地方。诸如道路上的车辆的这些设备在行驶在道路上时与相应的边缘侧服务器120进行通信,由此可以获得道路上其周边物体的运动信息,从而基于这些信息实现辅助驾驶/自动驾驶。
在一个示例中,网络130为移动通信网络。在一个示例中,边缘侧服务器120可以是移动通信网络的边缘计算设备或其组件,或者是能够与边缘计算设备进行通信,以把物体的运动信息经由边缘计算设备传递到移动通信网络,再经由移动通信网络传送到诸如车辆的设备。
在上面的描述中,将图像捕获装置110设置为拍摄道路及道路上的物体。但是,应当理解的是,可以将图像捕获装置110设置为以俯视的方位拍摄任意的预定场地(其可以是室外的,也可以是室内的)及其中的物体,道路仅是预定场地的一示例性实施例。
可以理解的是,如上所述的边缘侧服务器120可以是具有如上所述的功能的任意计算设备,其可以是一个独立的设备或一个独立设备的组成部分,也可以是在物理上分散、但结合起来实现如上所述的功能的多个设备或部件的总称。
根据本申请实施例的用于获取物体的运动信息的系统可以是基于车路协同的路侧感知系统。通过该系统的各实施例,可以弥补V2X技术渗透率低的情况下,无法有效工作的问题,快速推动车路协同技术落地。该系统使用根据设置在路侧的图像捕获装置拍摄的图像对图像中的物体进行定位的视觉定位技术,提供物体的位置、速度等信息,而无需在车辆等需要这些信息的设备上安装各种传感器,从而可以降低用于感知设备的成本和自动驾驶/辅助驾驶的成本,以较低的成本给出较高精度的路况感知信息。通过根据本申请实施例的系统及其定位方法、运动信息获取方法可以有效地识别和定位各种类型的车辆、行人等目标,从网络侧为诸如辅助驾驶车辆的设备提供道路路况信息。由于诸如图像捕获装置的路侧视觉感知定位系统往往会部署在路边一定高度以上的位置,所以就不易受到大货车等较高的相关障碍物的遮挡影响,大大减少了自动驾驶/辅助驾驶车辆的感知盲区。
如上所述的实施例只是对根据本申请实施例的示例路侧感知系统的描述,应当理解的是,该实施例存在各种变形和改变。
图2示出了根据本申请一示例性实施例的定位方法的示意流程图。该示例方法可以由任意计算设备(例如图1中所示的边缘侧服务器120)来执行。如图2所示,该示例方法包括:
S210,获取图像捕获装置所拍摄的图像以及所述图像的拍摄方位。
图像捕获装置可以是如上所述的图像捕获装置110。执行图2所示的示例方法的计算设备可以与图像捕获装置进行通信,以获取其拍摄的图像。
图像捕获装置在拍摄图像时是以一定的方位进行拍摄的,在不同的拍摄方位(拍摄角度和拍摄距离)拍摄得到的图像不同。图像捕获装置在保存拍摄的图像时,可以同时保存相对应的拍摄方位。计算设备在获取图像时可以一并获取相应的拍摄方位。
S220,确定图像捕获装置拍摄的图像中的目标物体在所述图像中的像素坐标。
计算设备还可以使用相关的图像识别技术从图像中识别出物体。例如,识别出图像中的车辆、行人等。
对于从图像中识别出的目标物体,计算设备可以根据图像中与该目标物体相对应的像素确定其在图像中的像素坐标。
S230,确定与所述拍摄方位相对应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
确定图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系的过程可以称为图像捕获装置的标定过程。该关系与图像捕获装置的内参、畸变等相关,也与图像捕获装置的拍摄方位及所处的位置坐标相关。同一图像捕获装置在一定方位拍摄的所有图像中的像素坐标与物理世界位置坐标之间具有同一特定的对应关系,即,相同图像捕获装置在相同拍摄方位拍摄的图像中的像素坐标与物理世界位置坐标之间具有相同的特定对应关系。在一个实施例中,对于目标图像捕获装置,可以针对其所有可能的拍摄方位求解并保存相应的对应关系,在获取了图像及其拍摄方位信息后,可以对从该图像中识别出的目标物体应用与该拍摄方位相应的对应关系。关于如何确定图像捕获装置在某特定方位拍摄的图像中的像素坐标与物理世界位置之间的对应关系,将在后面参考图5进行详细描述。
S240,根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置坐标。
如果获得了目标物体在图像中的像素坐标(S220),并获得了与该图像的拍摄方位相对应的、图像中的像素坐标与物理世界位置之间的对应关系(S230),则可以确定出与所确定的像素坐标相对应的物理世界位置坐标,即目标物体的实际位置,从而实现对目标物体的定位。
在一个示例中,计算设备还可以根据物体的与在不同时间拍摄的多个图像相应的位置坐标而计算该物体的运动速度、运动方向和加速度中的至少一个。在一个示例中,计算设备还把物体的位置、运动速度、运动方向和加速度中的至少一个作为该物体的运动信息,传送给需要这些信息的其他设备,例如道路行驶的相关车辆。
上述实施例中所述的目标物体在物理世界中的位置坐标可以是GPS(全球定位系统)坐标,也可以是二维平面中的平面位置坐标,二者可以根据需要相互转化。例如,从GPS坐标通过墨卡托投影或者其他的转化方式可以转化成平面位置坐标,反之,通过相反的处理可以由平面位置坐标转化成GPS坐标。
根据本申请实施例的定位方法可以被应用在车路协同路边视觉感知方案中,通过路边视觉感知系统(例如图1中所示的系统100)为道路上的车辆提供道路上其他车辆、行人、障碍物、事故、标识牌等的位置,并进一步计算速度、运动方向等信息。道路上的交通参与者(车辆、行人等)基于这些信息可以判断哪些车辆对自身的安全行驶造成潜在的威胁,可以使用什么样的规避动作,而又不影响到其他车辆的安全行驶。另外,该视觉定位技术还可以被应用到室内定位中,可对室内目标进行定位,获得室内目标的位置信息,为室内的广告投放、路线导航等提供信息。
根据本申请实施例的定位方法(也可以称为视觉定位方法),通过确定物体在图像捕获装置所拍摄的图像中的像素坐标并确定与所述图像的拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素与实际物理世界中的位置坐标之间的对应关系,可以确定出图像中的物体在真实世界中的位置坐标,实现对物体的定位。
如上所述,为了根据图像对图像中的物体进行定位,需要对图像捕获装置进行标定,即确定图像捕获装置拍摄的图像中的像素坐标与物理世界的位置坐标之间的关系。
一般地,摄像头内参和畸变系数的标定具有成熟的方法(如张氏标定法),但是标定图像中的像素坐标与物理世界的位置坐标之间的关系需要关联物理参考点位置与参考点像素,实施起来往往比较困难。
在一实施例中,可以使用双摄像头标定法来对图像捕获装置进行标定。例如,在一些场景下,当两个摄像头具有较大的交叠覆盖区时,可以使用双摄像头自动标定的方式。具体为:在这两个摄像头的交叠覆盖区中,两个摄像头可以同时识别同一个目标,并且该目标可以在两个摄像头上意义对应起来;然后基于这两个摄像头的内参、摄像头距离等参数求解这个同时识别到的目标的位置信息;当识别了多个目标之后,即获得摄像头标定所需的足够多的物理参考点的像素与实际物理位置之间的对应关系。
在一些实施例中,可以使用双摄像头标定法之外的其他标定方式来确定图像捕获装置拍摄的图像中的像素坐标与物理世界的位置坐标之间的关系。例如,本申请的发明人意识到,在某些特定的拍摄方位(以下称为第一方位)下,图像捕获装置所拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间具有近似的线性变换关系,该线性变换关系可以通过已知其在特定拍摄方位下的图像(以下称为第一图像)中的像素坐标与实际物理世界中的位置坐标的多个物理参考点(例如四个或更多,这多个物理参考点在同一平面内)来求解。所述特定的拍摄方位例如是垂直拍摄方位,即图像捕获装置垂直于所选取的多个物理参考点所在的共同平面进行拍摄。这里所述的实际物理世界中的位置坐标是指平面坐标系中的坐标,其与GPS坐标可以通过墨卡托投影或者其他的转化方式进行相互转化。对于该图像捕获装置在其他非特定拍摄方位(以下称为第二方位)下所拍摄的图像(以下称为第二图像),本申请的发明人意识到,可以通过选取的多个物理参考点在第一图像和第二图像中的相应的像素坐标,来确定第一图像中的像素坐标与第二图像中的像素坐标之间的转换关系,即单应性转换关系。该单应性变换关系可以用单应性变换矩阵来表示。由所确定出的第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系以及第一图像与第二图像的像素坐标之间的转换关系,即可确定出第二图像中的像素坐标与物理世界中的位置坐标之间的关系。因此,图像捕获装置的非特定方位下的图像中的像素坐标与物理世界中的位置坐标之间的关系包含如下两个关系:特定拍摄方位下的图像中的像素坐标与物理世界中的位置坐标之间的对应关系以及特定拍摄方位下的图像与非特定拍摄方位下的图像的像素坐标之间的转换关系。因此,如上所述的步骤S230可以包括如图3所示的如下两个步骤:
S310,确定所述图像捕获装置从另一拍摄方位拍摄的图像中的像素坐标与从所述拍摄方位拍摄的图像中的像素坐标之间的转换关系。
这里的另一拍摄方位可以指上面所述的特定的拍摄方位,例如垂直拍摄方位。这里的所述拍摄方位是指非特定拍摄方位。
S320,确定从所述另一拍摄方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
基于上述对应关系以及上述转换关系,可以先确定出非特定拍摄方位下的图像中的像素坐标与实际物理位置坐标之间的关系,然后进入S240,也可以根据上述对应关系以及上述转换关系直接在S240进行定位计算,即S240可以包括如图4中所示的如下步骤:
S410,根据所述转换关系以及目标物体在从所述拍摄方位拍摄的所述图像中的像素坐标,确定目标物体在从所述另一拍摄方位拍摄的所述图像中应具有的像素坐标。
在S410中确定目标物体如果在以特定拍摄方位拍摄的图像中则应具有的像素坐标,即像素坐标在特定方位拍摄的图像与非特定方位拍摄的图像之间的转换。
S420,根据所述对应关系以及目标物体在从所述另一拍摄方位拍摄的所述图像中应具有的像素坐标,确定目标物体在物理世界中的位置坐标。
在S420中根据转换后的像素坐标,求解物理世界中的位置坐标,即在平面坐标系中的坐标。如果所需的是GPS坐标,可以将该平面坐标系坐标转换成GPS坐标。
图5示出了根据本申请一示例性实施例的确定图像中的像素坐标与物理世界中的位置坐标之间的关系的方法的示意流程图。在图5的示例中以上面提到的方式确定该关系。图5可以由任意计算设备(例如图1中所述的边缘侧服务器120)来执行。如图5所示,该示例方法包括:
S510,确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标。
所述预定拍摄范围,是指图像捕获装置在使用场景下所拍摄的范围。这里的拍摄范围是指在图像捕获装置固定不动(即拍摄方位不变)的情况下所能拍摄到的范围,即一个拍摄方位对应于一个拍摄范围。在有些情况下,图像捕获装置的位置和角度是可调的,这样,该图像捕获装置就具有多个拍摄范围/拍摄方位,需要针对每个拍摄范围/拍摄方位分别进行标定。如上所述,为了进行标定,需要使用多个物理参考点来求解。一般地使用四个或更多物理参考点。这多个物理参考点基本位于同一平面内,并且可被图像捕获装置同时捕获到,即位于图像捕获装置的对应于某拍摄方位的某一拍摄范围内。可以使用这多个物理参考点对相应的该拍摄方位/拍摄范围进行标定。
这里所述的多个物理参考点在物理世界中的位置坐标,是指每个物理参考点在它们的共同平面(以下称为第一平面)上的平面坐标。如果已知物理参考点的GPS坐标,可以通过墨卡托投影或者其他的转化方式将GPS坐标转化为平面坐标。反之,如果已知物理参考点的平面坐标,可以通过相反的转化处理得到GPS坐标。
在一个实施例中,可以通过诸如GPS定位、雷达定位等的高精度定位技术来确定每个物理参考点在实际物理世界中的位置坐标。例如,可以先确定每个物理参考点的GPS坐标,然后将其转换成在第一平面内的平面位置坐标。再例如,通过高精度定位技术得出的也可能直接是第一平面内的平面位置坐标。
S520,获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像。
这里的预定方位可以设置为如上所述的特定方位,例如垂直拍摄方位,在这种方位下,能够容易地确定出图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
为了从图像中识别出物理参考点,可以在物理参考点处设置可识别对象,然后使用所述图像捕获装置进行拍摄。这里所述的第一图像并不一定是某一个特定的图像,其可以是包括一个或多个图像的第一图像集合。集合中的每个图像可以包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第一图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象。例如,假设选取的物理参考点为A、B、C和D,那么第一图像可以包括如下4张图像:包含物理参考点A的相应可识别对象的图像1;包含物理参考点B的相应可识别对象的图像2;包含物理参考点C的相应可识别对象的图像3;包含物理参考点D的相应可识别对象的图像4。或者,第一图像也可以是包含所有物理参考点的相应可识别对象的一个图像。应当理解,以上示例仅是示例性的,第一图像也可以是包括其他图像个数的集合。
虽然第一图像可以包括多个图像,但应当注意的是,这多个图像的拍摄方位应当都是所述预定方位。
在一个实施例中,包含物理参考点的第一图像可以是针对实际物理世界中的物理参考点所拍摄的图像。在另一实施例中,第一图像可以是由所述图像捕获装置从所述预定方位拍摄的所述多个物理参考点的相对位置图的图像,其中所述多个物理参考点的所述相对位置图是根据每个物理参考点在第一平面内的位置坐标等比例绘制的,其中第一平面为所述多个物理参考点确定的共同平面。图6示出了在这种情况下获取第一图像的示例具体实施方式的示意流程图。如图6所示,在这种情况下,S520可以包括:
S610,根据每个物理参考点在第一平面内的位置坐标,以等比例绘制包含所述多个物理参考点的相对位置图。
所述以等比例绘制,是指所绘制的相对位置图中,各物理参考点之间的距离与物理世界中的相应真实距离均成相同的比例。
S620,通过所述图像捕获装置以所述预定方位拍摄所述相对位置图,作为第一图像。
相对位置图是多个物理参考点的相对位置的等比例缩小图像(也可以是等比例放大图像),更便于使用图像捕获装置以预定方位进行拍摄。
S530,根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置以预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
获得第一图像后,可以识别第一图像中的每个物理参考点,并确定其在第一图像中的像素坐标。根据每个物理参考点在第一图像中的像素坐标以及其在物理世界中的位置坐标,可以得到第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系。该对应关系可以适用于由同一图像捕获装置以相同的所述预定方位拍摄的所有图像,即该对应关系是所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
S540,获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位。
第二方位是指待标定的拍摄方位,即所述图像捕获装置在使用场景下的拍摄方位或拍摄方位之一,其一般不同于所述特定的预定方位。例如,在路边视觉感知系统中,图像捕获装置110被固定设置在道路侧的立柱上,对道路进行拍摄,则第二方位是指该图像捕获装置110被固定到立柱后对道路进行拍摄的方位。如果图像捕获装置可以具有多个拍摄方位,则可以针对每个方位逐一进行标定。
为了从图像中识别出物理参考点,可以在物理参考点处设置可识别对象,然后使用所述图像捕获装置从第二方位进行拍摄。这里所述的第二图像并不一定是某一个特定的图像,其可以是包括一个或多个图像的第二图像集合。集合中的每个图像可以包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第二图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象。
S550,根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
从所获取的第二图像中,同样可以识别出所述多个物理参考点并确定其在第二图像中的像素坐标。在同一图像捕获装置从不同方位拍摄的图像中的像素坐标之间具有单应性转换关系,其表现为单应性转换矩阵。通过每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,可以确定出第一图像和第二图像的像素坐标之间的单应性转换矩阵。该单应性转换矩阵适用于图像捕获装置从预定方位拍摄的任意图像中的像素坐标与从第二方位拍摄的任意图像中的像素坐标之间的转换。因此,该单应性转换矩阵可以作为所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
通过上述步骤S510-550,可以获得图像捕获装置从待标定方位(第二方位)拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间的关系所包含的两种关系:所述图像捕获装置以预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;以及所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。即,完成了对所述图像捕获装置的第二方位的标定。在一个实施例中,在获得上述两种关系后,还可以根据这两种关系确定出所述图像捕获装置从第二方位拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间的对应关系,以便直接应用在定位方法中。
虽然在附图5中以顺序的方式示出了步骤S510-S550,但应当理解的是,根据本申请实施例的标定方法并不限于该顺序。S510-S550可以以与图5中的顺序不同的次序被执行,例如S510-S550中的一个或多个步骤以相反的顺序执行,或者可以并行同时执行。
在一个实施例中,确定每个物理参考点在物理世界中的位置坐标(S510)以及获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像(S540)可以以如下示例实施方式来实现。该示例实施方式可以由任意计算设备(例如图1中所述的边缘侧服务器120)来执行,包括步骤:
对于每个物理参考点:
获取可识别对象位于该物理参考点处时位置感测装置所确定的该可识别对象在物理世界中的位置坐标,作为该物理参考点在物理世界中的位置坐标;
获取所述图像捕获装置在该可识别对象位于该物理参考点处时从第二方位拍摄的包含该可识别对象的图像,作为第二图像集合中的图像。
在上述实施方式的一个实施例中,所述可识别对象为行驶经过该物理参考点的物体,其中,所述位置感测装置的位置感测点设置在该物理参考点处,所述位置感测装置被布置为:确定位置感测点在物理世界中的位置坐标,并在检测到位置感测点处经过物体时触发所述图像捕获装置从第二方位的拍摄。
例如,在一个示例中,在将图像捕获装置设置为待标定方位后,安装与图像捕获装置同步的雷达,当有诸如车辆的物体经过雷达照射点后,立即同步拍照。如果经过图像识别,此时只有一个物体经过,则该物体对应一个物理参考点。这样,既可通过雷达获得该物体在物理世界的位置信息,又可以通过图像识别获得该物体在图像(即第二图像)中的像素位置(像素坐标)。通过调整雷达方位角至多个不同方位,即可如上述这样获得多个物理参考点的物理世界位置坐标和在第二图像中的相应像素坐标。
在另一示例中,可以在物体(例如专用车辆)上设置容易图像识别的标记,并配备专用高精度定位装置。在图像捕获装置被设置到待标定方位后,使该物体依次行驶到图像捕获装置的与待标定方位相对应的预定拍摄范围内的多个位置(物理参考点)处,图像捕获装置分别拍摄每个位置处的该物体的图像(第二图像),并且在物体侧分别记录每个位置(物理参考点)的物理世界位置坐标。
在又一示例中,可以使用实际道路上位置固定的某些标志物(如路边具有特定特征的树木、交通灯)作为物理参考点的相应标记。可以确定这些标志物的物理世界位置坐标,并拍摄包括这些标志物的图像作为第二图像。
根据本申请实施例的另一方面,还提供一种用于确定图像中的坐标与物理世界中的位置之间的关系的装置,用于执行如上所述的各标定方法实施例。图7示出了根据本申请一示例性实施例的这样的装置700的示意组成框图,如图7所示,该装置700包括:
第一确定单元710,其被配置为:确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标;
第一获取单元720,其被配置为:获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像;
第二确定单元730,其被配置为:根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;
第二获取单元740,其被配置为:获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位;
第三确定单元750,其被配置为:根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
在一示例性实施例中,该装置700还可以包括:
第四确定单元,其被配置为:根据所述转换关系和对应关系,确定所述图像捕获装置从第二方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
根据本申请实施例的又一方面,还提供一种定位装置,用于执行如前所述的各定位方法实施例。图8示出了根据本申请一示例性实施例的这样的装置800的示意组成框图,如图8所示,该装置800包括:
获取单元810,其被配置为:获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;
像素坐标确定单元820,其被配置为:确定所述图像中的目标物体在所述图像中的像素坐标;
对应关系确定单元830,其被配置为:确定与所述拍摄方位相应的、所述图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系;
位置确定单元840,其被配置为:根据所述关系以及目标物体在所述图像中的像素坐标,确定目标物体在物理世界中的位置坐标。
可以理解的是,对应关系确定单元830可以具体实现为如前所述的装置700的任一实施例。
上述各装置中各个单元/模块的功能和作用的实现过程以及相关细节具体详见上述方法实施例中对应步骤的实现过程,在此不再赘述。
以上各实施例中的各装置实施例可以通过硬件、软件、固件或其组合的方式来实现,并且其可以被实现为一个单独的装置,也可以被实现为各组成单元/模块分散在一个或多个计算设备中并分别执行相应功能的逻辑集成系统。以上各实施例中组成各装置的各单元/模块是根据逻辑功能而划分的,它们可以根据逻辑功能被重新划分,例如可以通过更多或更少的单元/模块来实现该装置。这些组成单元/模块分别可以通过硬件、软件、固件或其组合的方式来实现,它们可以是分别的独立部件,也可以是多个组件组合起来执行相应的逻辑功能的集成单元/模块。所述硬件、软件、固件或其组合的方式可以包括:分离的硬件组件,通过编程方式实现的功能模块、通过可编程逻辑器件实现的功能模块,等等,或者以上方式的组合。
根据一个示例性实施例,上述各装置实施例中的每个可被实现为一种计算设备,该计算设备包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序在被所述处理器执行时,使得所述计算设备执行如上所述的定位方法或标定方法的各实施例中的任一个,或者,所述计算机程序在被所述处理器执行时使得该计算设备实现如上所述的各装置实施例的组成单元/模块所实现的功能。
上面的实施例中所述的处理器可以指单个的处理单元,如中央处理单元CPU,也可以是包括多个分散的处理单元/处理器的分布式处理器系统。
上面的实施例中所述的存储器可以包括一个或多个存储器,其可以是计算设备的内部存储器,例如暂态或非暂态的各种存储器,也可以是通过存储器接口连接到计算设备的外部存储装置。
图9示出了这样的计算设备901的一个示例性实施例的示意组成框图。如图9所示,该计算设备可以包括但不限于:至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述示例性方法的描述部分中描述的根据本申请各种示例性实施方式的步骤。例如,所述处理单元910可以执行附图中所示的各个步骤。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)921和/或高速缓存存储单元922,还可以进一步包括只读存储单元(ROM)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924,这样的程序模块925包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
该计算设备也可以与一个或多个外部设备970(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该计算设备交互的设备通信,和/或与使得该计算设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。在一个实施例中,该计算设备还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与该计算设备的其它模块通信。应当明白,尽管图中未示出,但该计算设备可以使用其它硬件和/或软件模块来实现,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(RedundantArrays of Independent Drives,RAID)系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的各方法实施例。
根据本申请的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本申请实施例的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于无线、有线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例的操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如C或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。
Claims (13)
1.一种确定图像中的坐标与物理世界中的位置之间的关系的方法,其特征在于,包括:
确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标;
获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像;
根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置以所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的具有线性变换的对应关系;所述对应关系与所述预定方位相关,所述预定方位为垂直拍摄方位;
获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位;在第一图像和第二图像中,所述多个物理参考点处具有可识别对象,其中,第一图像为包括一个或多个图像的第一图像集合,第二图像为包括一个或多个图像的第二图像集合,第一图像集合中的每个图像包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第一图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象,第二图像集合中的每个图像包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第二图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象;
根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述图像捕获装置以所述预定方位拍摄的图像中的像素坐标与以所述第二方位拍摄的图像中的像素坐标之间的转换关系;
其中,确定每个物理参考点在物理世界中的位置坐标以及获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像包括:
对于每个物理参考点:
获取可识别对象位于该物理参考点处时位置感测装置所确定的该可识别对象在物理世界中的位置坐标,作为该物理参考点在物理世界中的位置坐标;
获取所述图像捕获装置在该可识别对象位于该物理参考点处时从第二方位拍摄的包含该可识别对象的图像,作为第二图像集合中的图像;所述可识别对象为行驶经过该物理参考点的物体,其中,所述位置感测装置的位置感测点设置在该物理参考点处,所述位置感测装置被布置为:确定位置感测点在物理世界中的位置坐标,并在检测到位置感测点处经过物体时触发所述图像捕获装置从第二方位的拍摄。
2.根据权利要求1所述的方法,其特征在于,所述物理世界中的位置坐标为第一平面内的位置坐标,其中第一平面为所述多个物理参考点确定的共同平面。
3.根据权利要求1所述的方法,其特征在于,第一图像是由所述图像捕获装置从所述预定方位拍摄的所述多个物理参考点的相对位置图的图像,其中所述多个物理参考点的所述相对位置图是根据每个物理参考点在第一平面内的位置坐标等比例绘制的,其中第一平面为所述多个物理参考点确定的共同平面。
4.根据权利要求2所述的方法,其特征在于,确定每个物理参考点在物理世界中的位置坐标包括:
确定每个物理参考点的全球定位系统坐标;
根据每个物理参考点的全球定位系统坐标确定该物理参考点在第一平面内的位置坐标。
5.一种定位方法,其特征在于,包括:
获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;
确定所述图像中的目标物体在所述图像中的像素坐标;
根据权利要求1-4中任一项所述的方法确定所述图像捕获装置从垂直拍摄方位拍摄的图像中的像素坐标与从所述拍摄方位拍摄的图像中的像素坐标之间的转换关系;确定从所述垂直拍摄方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;
根据所述转换关系以及目标物体在从所述拍摄方位拍摄的所述图像中的像素坐标,确定目标物体在从所垂直拍摄方位拍摄的所述图像中应具有的像素坐标;
根据所述对应关系以及目标物体在从所述垂直拍摄方位拍摄的所述图像中应具有的像素坐标,确定目标物体在物理世界中的位置坐标。
6.根据权利要求5所述方法,其特征在于,还包括:
基于根据所述图像捕获装置所拍摄的包含所述目标物体的多个图像而确定的所述目标物体的相应位置坐标,确定所述目标物体的包括如下中的至少一个的运动信息:
速度;
运动方向;
加速度。
7.一种用于确定图像中的坐标与物理世界中的位置之间的关系的装置,其特征在于,包括:
第一确定单元,其被配置为:确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标;
第一获取单元,其被配置为:获取所述图像捕获装置从预定方位拍摄的包含所述多个物理参考点的第一图像;
第二确定单元,其被配置为:根据所述多个物理参考点中的每个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标,确定所述图像捕获装置从所述预定方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的具有线性变换的对应关系;所述对应关系与所述预定方位相关,所述预定方位为垂直拍摄方位;
第二获取单元,其被配置为:获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像,其中第二方位不同于所述预定方位;在第一图像和第二图像中,所述多个物理参考点处具有可识别对象,其中,第一图像为包括一个或多个图像的第一图像集合,第二图像为包括一个或多个图像的第二图像集合,第一图像集合中的每个图像包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第一图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象,第二图像集合中的每个图像包括所述多个物理参考点中的一个或多个相对应的可识别对象,并且第二图像集合的所有图像一起包括所有所述多个物理参考点相对应的可识别对象;
第三确定单元,其被配置为:根据所述多个物理参考点中的每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标,确定所述捕获装置从所述预定方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系;
其中,所述第一确定单元确定每个物理参考点在物理世界中的位置坐标,以及第二获取单元获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像包括:对于每个物理参考点:获取可识别对象位于该物理参考点处时位置感测装置所确定的该可识别对象在物理世界中的位置坐标,作为该物理参考点在物理世界中的位置坐标;获取所述图像捕获装置在该可识别对象位于该物理参考点处时从第二方位拍摄的包含该可识别对象的图像,作为第二图像集合中的图像;所述可识别对象为行驶经过该物理参考点的物体,其中,所述位置感测装置的位置感测点设置在该物理参考点处,所述位置感测装置被布置为:确定位置感测点在物理世界中的位置坐标,并在检测到位置感测点处经过物体时触发所述图像捕获装置从第二方位的拍摄。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第四确定单元,其被配置为:根据所述转换关系和对应关系,确定所述图像捕获装置从第二方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系。
9.一种定位装置,其特征在于,包括:
获取单元,其被配置为:获取图像捕获装置拍摄的图像以及所述图像的拍摄方位;
像素坐标确定单元,其被配置为:确定所述图像中的目标物体在所述图像中的像素坐标;
对应关系确定单元,其被配置为:根据权利要求1-4中任一项所述的方法确定所述图像捕获装置从垂直拍摄方位拍摄的图像中的像素坐标与从所述拍摄方位拍摄的图像中的像素坐标之间的转换关系;确定从所述垂直拍摄方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系;
位置确定单元,其被配置为:根据所述转换关系以及目标物体在从所述拍摄方位拍摄的所述图像中的像素坐标,确定目标物体在从所垂直拍摄方位拍摄的所述图像中应具有的像素坐标;根据所述对应关系以及目标物体在从所述垂直拍摄方位拍摄的所述图像中应具有的像素坐标,确定目标物体在物理世界中的位置坐标。
10.根据权利要求9所述的装置,其特征在于,还包括运动信息确定单元,其被配置为:
基于根据所述图像捕获装置所拍摄的包含所述目标物体的多个图像而确定的所述目标物体的相应位置坐标,确定所述目标物体的包括如下中的至少一个的运动信息:
速度;
运动方向;
加速度。
11.一种获取物体的运动信息的系统,其特征在于,包括:
图像捕获装置,其被设置为以俯视的方位拍摄预定场地及预定场地中的物体;
边缘侧服务器,用于根据图像捕获装置拍摄的图像,按照如权利要求5-6中任一项所述的定位方法确定物体在物理世界中的位置坐标。
12.一种计算设备,包括处理器以及存储器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时被配置为实现根据权利要求1至4中任一项所述的方法,或权利要求5-6中任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至4中任一项所述的方法,或权利要求5-6中任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910367798.6A CN110174093B (zh) | 2019-05-05 | 2019-05-05 | 定位方法、装置、设备和计算机可读存储介质 |
PCT/CN2020/084148 WO2020224375A1 (zh) | 2019-05-05 | 2020-04-10 | 定位方法、装置、设备和计算机可读存储介质 |
EP20802454.7A EP3967972A4 (en) | 2019-05-05 | 2020-04-10 | Positioning method, apparatus, and device, and computer-readable storage medium |
US17/379,829 US20210350572A1 (en) | 2019-05-05 | 2021-07-19 | Positioning method, apparatus, device, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910367798.6A CN110174093B (zh) | 2019-05-05 | 2019-05-05 | 定位方法、装置、设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110174093A CN110174093A (zh) | 2019-08-27 |
CN110174093B true CN110174093B (zh) | 2022-10-28 |
Family
ID=67690521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910367798.6A Active CN110174093B (zh) | 2019-05-05 | 2019-05-05 | 定位方法、装置、设备和计算机可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210350572A1 (zh) |
EP (1) | EP3967972A4 (zh) |
CN (1) | CN110174093B (zh) |
WO (1) | WO2020224375A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110174093B (zh) * | 2019-05-05 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
CN110926453A (zh) * | 2019-11-05 | 2020-03-27 | 杭州博信智联科技有限公司 | 一种障碍物定位方法及系统 |
CN111046762A (zh) * | 2019-11-29 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种对象定位方法、装置电子设备及存储介质 |
CN111105461B (zh) * | 2019-12-27 | 2023-05-09 | 万翼科技有限公司 | 定位装置、基于空间模型的定位方法和可读存储介质 |
WO2021168838A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳市大疆创新科技有限公司 | 位置信息确定方法、设备及存储介质 |
CN111397582B (zh) * | 2020-04-03 | 2021-12-10 | 小狗电器互联网科技(北京)股份有限公司 | 一种目标物的定位方法、装置、可读介质及电子设备 |
CN111741214A (zh) * | 2020-05-13 | 2020-10-02 | 北京迈格威科技有限公司 | 图像处理方法、装置及电子设备 |
CN113515981A (zh) * | 2020-05-22 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 识别方法、装置、设备和存储介质 |
CN111862211B (zh) * | 2020-07-22 | 2023-10-27 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置、系统、存储介质和计算机设备 |
CN112446898A (zh) * | 2020-10-30 | 2021-03-05 | 北京软通智慧城市科技有限公司 | 基于车路协同的定位方法、装置、设备、系统及存储介质 |
CN112419739A (zh) * | 2020-11-18 | 2021-02-26 | 联通智网科技有限公司 | 车辆定位方法、装置和电子设备 |
CN114650366A (zh) * | 2020-12-18 | 2022-06-21 | 深圳市卫飞科技有限公司 | 飞鸟防御方法、主控模块、飞鸟防御系统及存储介质 |
CN113489945A (zh) * | 2020-12-18 | 2021-10-08 | 深圳市卫飞科技有限公司 | 一种目标定位方法、装置、系统及计算机可读存储介质 |
CN112866579B (zh) * | 2021-02-08 | 2022-07-01 | 上海巡智科技有限公司 | 数据采集方法、装置及可读存储介质 |
CN113268063A (zh) * | 2021-06-03 | 2021-08-17 | 北京京东乾石科技有限公司 | 机器人的控制方法、装置和非易失性计算机可读存储介质 |
CN113223087B (zh) * | 2021-07-08 | 2021-09-21 | 武大吉奥信息技术有限公司 | 一种基于视频监控的目标物体地理坐标定位方法和装置 |
CN113436279B (zh) * | 2021-07-23 | 2023-02-28 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
US11423576B1 (en) * | 2021-07-23 | 2022-08-23 | Ford Global Technologies, Llc | Infrastructure node localization with respect to alternative frame of reference |
TWI811954B (zh) * | 2022-01-13 | 2023-08-11 | 緯創資通股份有限公司 | 定位系統及物件位置的校正方法 |
US11908185B2 (en) * | 2022-06-30 | 2024-02-20 | Metrostudy, Inc. | Roads and grading detection using satellite or aerial imagery |
CN115297315A (zh) * | 2022-07-18 | 2022-11-04 | 北京城市网邻信息技术有限公司 | 用于环拍时拍摄中心点的矫正方法、装置及电子设备 |
CN115565134B (zh) * | 2022-10-13 | 2024-03-15 | 广州国交润万交通信息有限公司 | 球机监控盲区诊断方法、系统、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
CN101661617A (zh) * | 2008-08-30 | 2010-03-03 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
CN102141398A (zh) * | 2010-12-28 | 2011-08-03 | 北京航空航天大学 | 基于单目视觉的多机器人位置与姿态测量方法 |
CN108364304A (zh) * | 2018-04-11 | 2018-08-03 | 湖南城市学院 | 一种用于单目机载目标检测的系统和方法 |
CN108759834A (zh) * | 2018-04-28 | 2018-11-06 | 温州大学激光与光电智能制造研究院 | 一种基于全局视觉的定位方法 |
CN108830907A (zh) * | 2018-06-15 | 2018-11-16 | 深圳市易尚展示股份有限公司 | 基于单目系统的投影标定方法及系统 |
CN108980539A (zh) * | 2018-06-19 | 2018-12-11 | 华南农业大学 | 多自由度运动拍摄平台装置及空间点坐标测量方法 |
CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达(北京)科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4776329B2 (ja) * | 2005-10-17 | 2011-09-21 | アルパイン株式会社 | ナビゲーション装置 |
CN102306382A (zh) * | 2011-06-28 | 2012-01-04 | 吉林大学 | 基于道路环境固有特征的事故现场图像校正方法 |
CN102496160B (zh) * | 2011-12-09 | 2014-02-26 | 河海大学常州校区 | 集控式足球机器人视觉系统标定方法 |
DE102014008578B4 (de) * | 2014-06-12 | 2016-02-18 | Audi Ag | Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem |
US9928594B2 (en) * | 2014-07-11 | 2018-03-27 | Agt International Gmbh | Automatic spatial calibration of camera network |
CN104933718B (zh) * | 2015-06-23 | 2019-02-15 | 广东省智能制造研究所 | 一种基于双目视觉的物理坐标定位方法 |
TWI662252B (zh) * | 2016-09-06 | 2019-06-11 | 財團法人工業技術研究院 | 路側偵測系統、路側裝置及其路側通訊方法 |
US10268203B2 (en) * | 2017-04-20 | 2019-04-23 | GM Global Technology Operations LLC | Calibration validation for autonomous vehicle operations |
US10235882B1 (en) * | 2018-03-19 | 2019-03-19 | Derq Inc. | Early warning and collision avoidance |
CN108416812B (zh) * | 2018-03-20 | 2020-03-10 | 中国电子科技集团公司第五十四研究所 | 一种单摄像机镜像双目视觉系统的标定方法 |
CN109118545B (zh) * | 2018-07-26 | 2021-04-16 | 深圳市易尚展示股份有限公司 | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 |
CN110174093B (zh) * | 2019-05-05 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
-
2019
- 2019-05-05 CN CN201910367798.6A patent/CN110174093B/zh active Active
-
2020
- 2020-04-10 WO PCT/CN2020/084148 patent/WO2020224375A1/zh unknown
- 2020-04-10 EP EP20802454.7A patent/EP3967972A4/en active Pending
-
2021
- 2021-07-19 US US17/379,829 patent/US20210350572A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
CN101661617A (zh) * | 2008-08-30 | 2010-03-03 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
CN102141398A (zh) * | 2010-12-28 | 2011-08-03 | 北京航空航天大学 | 基于单目视觉的多机器人位置与姿态测量方法 |
CN109003226A (zh) * | 2017-06-06 | 2018-12-14 | 中林信达(北京)科技信息有限责任公司 | 一种全景图像实时拼接方法及装置 |
CN108364304A (zh) * | 2018-04-11 | 2018-08-03 | 湖南城市学院 | 一种用于单目机载目标检测的系统和方法 |
CN108759834A (zh) * | 2018-04-28 | 2018-11-06 | 温州大学激光与光电智能制造研究院 | 一种基于全局视觉的定位方法 |
CN108830907A (zh) * | 2018-06-15 | 2018-11-16 | 深圳市易尚展示股份有限公司 | 基于单目系统的投影标定方法及系统 |
CN108980539A (zh) * | 2018-06-19 | 2018-12-11 | 华南农业大学 | 多自由度运动拍摄平台装置及空间点坐标测量方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210350572A1 (en) | 2021-11-11 |
EP3967972A4 (en) | 2022-06-29 |
EP3967972A1 (en) | 2022-03-16 |
CN110174093A (zh) | 2019-08-27 |
WO2020224375A1 (zh) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110174093B (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
US11482008B2 (en) | Directing board repositioning during sensor calibration for autonomous vehicles | |
CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
US11959771B2 (en) | Creation and use of enhanced maps | |
US11386672B2 (en) | Need-sensitive image and location capture system and method | |
US10896539B2 (en) | Systems and methods for updating highly automated driving maps | |
JP6484228B2 (ja) | 視覚強化ナビゲーション | |
CN102951089B (zh) | 基于移动设备摄像头的车载导航及主动安全系统 | |
CN105512646A (zh) | 一种数据处理方法、装置及终端 | |
CN109949439B (zh) | 行车实景信息标注方法、装置、电子设备和介质 | |
CN111046762A (zh) | 一种对象定位方法、装置电子设备及存储介质 | |
JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
CN104280036A (zh) | 一种交通信息的检测与定位方法、装置及电子设备 | |
CN103747207A (zh) | 基于视频监控网络的定位与追踪方法 | |
KR102006291B1 (ko) | 전자 장치의 이동체 포즈 추정 방법 | |
CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
KR102332179B1 (ko) | 영상 및 실공간 매핑장치 및 그 장치에서 각 기능을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램 | |
CN115004273A (zh) | 交通道路的数字化重建方法、装置和系统 | |
CN109964132A (zh) | 用于在运动物体上配置传感器的方法、设备和系统 | |
JP6880797B2 (ja) | 位置座標変換システム、マーカー作成装置、路側撮像装置及び位置座標変換方法 | |
CN113902805A (zh) | 标定路侧设备的方法、系统、路侧设备及标定车辆 | |
WO2023113676A1 (en) | High fidelity anchor points for real-time mapping with mobile devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |