CN110057352B - 一种相机姿态角确定方法及装置 - Google Patents

一种相机姿态角确定方法及装置 Download PDF

Info

Publication number
CN110057352B
CN110057352B CN201810051708.8A CN201810051708A CN110057352B CN 110057352 B CN110057352 B CN 110057352B CN 201810051708 A CN201810051708 A CN 201810051708A CN 110057352 B CN110057352 B CN 110057352B
Authority
CN
China
Prior art keywords
attitude angle
camera
imu
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810051708.8A
Other languages
English (en)
Other versions
CN110057352A (zh
Inventor
戴恒晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201810051708.8A priority Critical patent/CN110057352B/zh
Priority to US16/248,650 priority patent/US10970873B2/en
Publication of CN110057352A publication Critical patent/CN110057352A/zh
Priority to US17/222,915 priority patent/US11715232B2/en
Application granted granted Critical
Publication of CN110057352B publication Critical patent/CN110057352B/zh
Priority to US18/354,156 priority patent/US20230360260A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种相机姿态角确定方法及装置，以提高相机姿态角的准确性，从而提高根据相机姿态角得到的相机姿态的准确性，并且还能够提高根据相机姿态角进行物体测距、车辆定位的准确性。相机姿态角确定方法中，相机与IMU固定设置在车辆上的同一刚性物体上，方法包括：获取所述IMU输出的IMU姿态角和所述相机采集的图像；根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角；根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。

Description

一种相机姿态角确定方法及装置
技术领域
本发明涉及自动驾驶领域，特别涉及一种相机姿态角确定方法及装置、一种物体测距方法及其装置、一种车辆定位方法及其装置。
背景技术
在视觉定位中，系统需要根据相机的实时位姿来实现对相机的定位。考虑到相机会有抖动以及旋转的情况，目前传统的确定相机位姿的方法主要是使用特征点或者预先设置好的参照物来确定相机的位姿，但是这些方法通常会存在较大的误差。
尤其是车载端的相机由于车辆在行驶过程中的晃动、颠簸、急刹车、急拐弯等导致相机发生非常严重的抖动、旋转等问题，因此如何能够获得准确的相机位姿则成为亟待解决的技术问题。
发明内容
鉴于上述问题，本发明提供一种相机姿态角确定方法及装置，以提高相机姿态角的准确性，从而提高根据相机姿态角得到的相机位姿更准确。另外，还提供一种物体测距方法及装置，基于前述相机姿态角确定方法确定的相机姿态角进行物体测距，以提高测距的准确性。最后，还提供一种车辆定位方法及装置，基于前述相机姿态角确定方法确定的相机姿态角进行车辆定位，以提高车辆定位的准确性。
本发明实施例，第一方面，提供一种相机姿态角确定方法，相机与IMU固定设置在车辆上的同一刚性物体上，方法包括：
获取所述IMU输出的IMU姿态角和所述相机采集的图像；
根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角；
根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。
本发明实施例，第二方面，提供一种相机姿态角确定装置，该装置包括：
获取单元，用于获取IMU输出的IMU姿态角和相机采集的图像，其中所述IMU与相机固定设置在车辆上的同一刚性物体上；
计算单元，用于根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角；
确定单元，用于根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。
本发明实施例提供的相机姿态角确定方法及装置，将相机与IMU固定设置在车辆上的同一刚性物体上，以使相机和IMU在同一个刚性运动模型下运动，在车辆发生颠簸、晃动、急刹车、急拐弯等情况时能够确保相机和IMU之间的空间位置关系保持不变；而IMU输出的IMU姿态角的精确性并不受车辆发生颠簸、晃动、急刹车、急拐弯等情况的影响，因此，以IMU输出的IMU姿态角作为参考来确定相机的相机姿态角，能够提高相机姿态角的准确性，从而根据相机姿态角得到的相机位姿更准确。
本发明实施例，第三方面，提供一种物体测距方法，针对相机采集的每一帧图像，该方法包括：
通过前述相机姿态角确定方法得到当前帧图像对应的相机姿态角；
根据所述相机姿态角调整所述相机的相机坐标系与世界坐标系之间的外参；
根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息；
确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
本发明实施例，第四方面，提供一种物体测距装置，该装置前述相机位姿确定装置连接，该装置包括：
第一位姿获取单元，用于从所述相机姿态角确定装置中获取相机采集的当前帧图像对应的相机姿态角；
第一调整单元，用于根据所述相机姿态角调整所述相机坐标系与世界坐标系之间的外参；
映射单元，用于根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息；
距离确定单元，用于确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
本发明实施例提供的物体测距方法及装置所采用的相机姿态角通过前述相机姿态角确定方法得到，由于该种方法提供的相机姿态角的准确性较高，因此，根据该相机姿态角来进行目标物体的测距，使得测距结果较为准确。
本发明实施例，第五方面，提供一种车辆定位方法，该方法包括：
通过前述相机姿态角确定方法得到相机采集的每帧图像对应的相机姿态角；
根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参；
根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
本发明实施例，第六方面，提供一种车辆定位装置，该装置与前述相机姿态角确定装置连接，该装置包括：
第二位姿获取单元，用于从所述相机姿态角确定装置中获取相机采集的每帧图像对应的相机姿态角；
第二调整单元，用于根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参；
定位单元，用于根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
本发明实施例提供的车辆定位方法及装置所使用的相机姿态角通过前述相机姿态角确定方法得到，由于该种方法提供的相机姿态角的准确性较高，因此，根据该相机姿态角来进行车辆定位，使得定位结果较为准确。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中相机姿态角确定方法的流程图；
图2为本发明实施例中相机姿态角确定的详细流程图；
图3A为本发明实施例中IMU姿态角序列的示意图；
图3B为本发明实施例中滑动窗口在IMU姿态角序列中滑动的示意图；
图3C为本发明实施例中将滑动窗口滑动到当前帧图像的采集时间为中心点的位置的示意图；
图3D为本发明实施例中图像序列的示意图；
图3E为本发明实施例中混合序列的示意图；
图3F为本发明实施例中确定的输出时间与当前帧图像的采集时间匹配的IMU姿态角的示意图；
图4A为本发明实施例中相机/刚性物体的运动曲线为直线的示意图；
图4B为本发明实施例中相机/刚性物体的运动曲线为开口向下的抛物线的示意图；
图5为本发明实施例中相机姿态角确定装置的结构示意图；
图6为本发明实施例中物体测距方法的流程图；
图7A为本发明实施例中图像坐标系与成像平面坐标系的关系示意图；
图7B为成像平面坐标系、相机坐标系和世界坐标系的关系示意图；
图8为本发明实施例中物体测距装置的结构示意图；
图9为本发明实施例中车辆定位方法的流程图；
图10为本发明实施例中车辆定位装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明实施例中，涉及到的相机坐标系与车辆坐标系之间的转换关系、相机坐标系与世界坐标系之间的转换关系、相机的图像坐标系与成像平面坐标系之间的转换关系、相机的成像平面坐标系和相机坐标系之间的转换关系，均为现有技术，坐标系之间的转换并不是本发明技术方案的发明点。
本发明实施例提供的相机姿态角确定方法及装置，可以应用于车载端，也可以应用于飞行器(例如无人机)、无人船舶、机器人等，本申请不对技术方案所应用的场景做限定。
实施例一
参见图1，为本发明实施例中相机姿态角确定方法的流程图，在该方法中相机与IMU(Inertial Measurement Unit，惯性测量单元)固定设置在车辆上的同一刚性物体(例如车辆上的车架等)上，方法包括：
步骤101、获取所述IMU输出的IMU姿态角和所述相机采集的图像。
该步骤101中，可以以同一个时间点为起点，开始获取IMU输出的IMU姿态角和相机采集的图像。例如，以时间开始，在T时间段内获取到IMU输出的n个IMU姿态角，获取到相机采集的m帧图像。可以通过向相机(IMU)发送数据获取请求的方式从相机(IMU)获取图像(IMU姿态角)，也可以由相机(IMU)按照采集周期(输出周期)主动下发图像(IMU姿态角)，具体获取方式本申请不做严格限定。
步骤102、根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角。
步骤103、根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。
本发明实施例中，在将相机与IMU固定设置在刚性物体上时，相机与IMU之间具有一个固定的空间位置关系，由于相机与IMU固定设置在刚性物体上，相机和IMU在同一个刚性运动模型下运动，因此，在车辆行发生颠簸、晃动、急刹车、急拐弯等情况时能够确保相机和IMU之间的空间位置关系保持不变。
本发明实施例中，假设相机的相机坐标系用XcYcZc表示，IMU的IMU坐标系用XiYiZi表示，IMU输出的每个IMU姿态角和目标IMU姿态角包含在XiYiZi的X轴、Y轴和Z轴上的偏转角度(分别用Wix、Wiy、Wiz表示)。步骤103具体实现如下：根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系将Wix、Wiy、Wiz转换成XcYcZc中的X轴、Y轴和Z轴上的偏转角度(分别用Wcx、Wcy、Wcz表示)，根据Wcx、Wcy、Wcz即为相机姿态角。
优选地，本发明实施例中，前述步骤102具体可通过但不仅限于以下方式实现：
针对每帧图像，执行以下步骤A～步骤B：
步骤A、从各IMU姿态角中选取输出时间与当前帧图像的采集时间匹配的IMU姿态角；
步骤B、根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角。
具体地，如图2所示，假设多帧图像构成一个集合，可通过以下具体流程依次对该集合中的图像进行以下处理，以得到每帧图像对应的目标IMU姿态角：
步骤201、从各IMU姿态角中选取输出时间与当前帧图像的采集时间匹配的IMU姿态角；
步骤202、根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角；
步骤203、判断当前帧图像是否为集合中的最后一帧图像，若不是则执行步骤204，若是则结束流程；
步骤204、将下一帧图像作为当前帧图像，并对该当前帧图像执行步骤201。
优选地，本发明实施例中，步骤A具体可通过但不仅限于以下任意一种方式(方式A1～方式A3)实现：
方式A1、按照输出时间的先后顺序对各IMU进行排序，得到IMU姿态角序列；在IMU姿态角序列滑动预置的滑动窗口，将滑动窗口滑动到以当前帧图像的采集时间为中心的位置，并将落入滑动窗口内的IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角。
假设滑动窗口的长度为T秒，当前帧图像的采集时间为t1；图3A为排序后的IMU姿态角序列的一个示意图；图3B为滑动窗口在IMU姿态角序列中滑动的示意图；图3C为将滑动窗口滑动到以当前帧图像的采集时间t1为中心的位置的示意图；则图3C所示的滑动窗口的时间范围为[t1-T/2,t1+T/2]，则将输出时间位于该时间范围内的IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角。
方式A2、按照输出时间的先后顺序对各IMU进行排序，得到IMU姿态角序列；按照采集时间的先后顺序对各帧图像进行排序，得到图像序列如图3D所示；将IMU姿态角序列与图像序列进行合并，得到混合序列，如图3E所示(圆点为IMU姿态角，三角为图像)；将混合序列中位于当前帧图像两侧较近的多个IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角，如图3F所示(虚线框内的IMU姿态角为输出时间与当前帧图像的采集时间匹配的IMU姿态角)。
方式A3、计算各IMU姿态角的输出时间与当前帧图像的采集时间之间的绝对差值，选取绝对差值较小的至少一个IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角。
优选地，本发明实施例中，前述步骤B具体可通过但不仅限于以下任意一种方式(方式B1～方式B2)实现：
方式B1、获取所述相机或刚性物体的运动曲线(本发明实施例中，由于相机、IMU固定在刚性物体上，可以认为相机、刚性物体和IMU的运动曲线相同)；采用选取的IMU姿态角拟合所述运动曲线，得到IMU姿态角曲线；从所述IMU姿态角曲线中获取与当前帧图像的采集时间对应的IMU姿态角，并将该IMU姿态角作为所述当前帧图像对应的目标IMU姿态角。
方式B1中，相机或刚性物体或IMU的运动曲线可预先设置，也可以通过算法根据相机或刚性物体或IMU的运动轨迹计算得到运动曲线。相机的运动曲线可以是直线，如图4A所示，相机从中心点O1直线运动到中心点O2；也可以是开口向下的抛物线，如图4B所示，相机从中心点O1曲线运动到中心点O2。
方式B2、计算选取的IMU姿态角的平均值(可以是算数平均值或几何平均值等，本申请不做严格限定)，并将所述平均值作为所述当前帧图像对应的目标IMU姿态角。
方式B3、计算选取的各IMU姿态角的输出时间与当前帧图像的采集时间的绝对差值；将绝对差值最小的IMU姿态角作为当前帧图像对应的目标IMU姿态角。
实施例二
基于前述实施例一提供的相机姿态角确定方法相同的构思，本发明实施例二还提供一种相机姿态角确定装置，该装置的结构如图5所示，包括：
获取单元51，用于获取IMU输出的IMU姿态角和相机采集的图像，其中所述IMU与相机固定设置在车辆上的同一刚性物体上；
计算单元52，用于根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角；
确定单元53，用于根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。
优选地，所述计算单元52具体用于：
针对每帧图像执行以下步骤：
步骤A、从各IMU姿态角中选取输出时间与当前帧图像的采集时间匹配的IMU姿态角；
步骤B、根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角。
其中步骤A的实现方式可通过但不仅限于前述实施例一提供的方式A1～A3中的任意一种，在此不在赘述。
步骤B的实现方式具体可通过但不仅限于前述实施例一提供的方式B1～B3中的任意一种，在此不再赘述。
本发明实施例二中，假设相机的相机坐标系用XcYcZc表示，IMU的IMU坐标系用XiYiZi表示，IMU输出的每个IMU姿态角和目标IMU姿态角包含在XiYiZi坐标系的X轴、Y轴和Z轴上的偏转角度(分别用Wix、Wiy、Wiz表示)。确定单元53具体实现如下：根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系将Wix、Wiy、Wiz转换成XcYcZc中的X轴、Y轴和Z轴上的偏转角度(分别用Wcx、Wcy、Wcz表示)，Wcx、Wcy、Wcz即为相机姿态角。
前述实施例一提供的相机姿态角确定方法和实施例二提供的相机姿态角确定装置，提高了相机姿态角的准确性，因此，提高了根据相机姿态角确定得到的相机位姿。并且在应用该相机姿态角进行其他处理的处理结果也变得更准确，例如通过相机姿态角进行物体测距、车辆定位等。下面分别以一些实施例分别对通过相机姿态角进行物体测距和进行车辆定位等应用场景进行详细的描述。
实施例三
本发明实施例三提供一种物体测距方法，该方法针对相机采集的每一帧图像，流程如图6所示，具体包括：
步骤601、通过图1所述的相机姿态角确定方法得到当前帧图像对应的相机姿态角。
步骤602、根据所述相机姿态角调整所述相机的相机坐标系与世界坐标系之间的外参。
步骤603、根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息(该距离信息是指位置点到相机的距离)。
步骤604、确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
前述步骤601的具体实现参见实施例一相关的内容，在此不再赘述。
本发明实施例中，相机的相机坐标系与世界坐标系之间的外参包括R和t，其中，R为相机姿态角的矩阵表示，t为相机坐标系与世界坐标系之间的X轴、Y轴和Z轴的平移值，该t一直保持不变。在车辆行驶之前，R的初始值为0，随着车辆的行驶，R的取值会随着相机姿态角的变化而变化，因此，R根据每一帧图像对应的相机姿态角转换得到。前述步骤602中，具体实现为：根据相机姿态角调整所述相机的相机坐标系与世界坐标系之间的外参中的R。
本发明实施例中，相机的图像坐标系(用uv表示)与成像平面坐标系(用xy表示)的关系如图7A所示；成像平面坐标系与相机坐标系的转换关系如式(1)：
Figure GDA0001578345430000091
其中
Figure GDA0001578345430000092
式(1)中K为相机内参，在出厂时即已确定。
本发明实施例中，相机的成像平面坐标系(xy)、相机坐标系(XcYcZc)和世界坐标系(XwYwZw)的关系如图7B所示，相机坐标系的原点O与成像平面坐标系的原点O'在同一轴上，且OO'为相机的焦距；成像平面坐标系和相机坐标系之间的转换关系如式(2)，相机坐标系与世界坐标系之间的转换关系如式(3)所示，则根据式(1)、式(2)和式(3)得到图像坐标系与世界坐标系之间的转换关系如式(4)所示：
Figure GDA0001578345430000101
Figure GDA0001578345430000102
Figure GDA0001578345430000103
式(3)、式(4)中，R，t为相机坐标系与地球坐标系之间的外参，R为相机姿态角的矩阵表示，t为相机坐标系与世界坐标系的平移值。
实施例四
基于前述实施例三提供的一种物体测距方法相同的构思，本发明实施例四提供一种物体测距装置，该物体测距装置与前述实施例二提供的相机姿态角确定装置连接，该装置的结构如图8所示，包括：
第一位姿获取单元81，用于从所述相机姿态角确定装置中获取相机采集的当前帧图像对应的相机姿态角；
第一调整单元82，用于根据所述相机姿态角调整所述相机的相机坐标系与世界坐标系之间的外参；
映射单元83，用于根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息；
距离确定单元84，用于确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
第一调整单元82具体实现可参见步骤602相关的内容，在此不再赘述。
映射单元83具体实现可参见前述公式(4)，在此不再赘述。
实施例五
本发明实施例五提供一种车辆定位方法，方法流程图如图9所示，包括：
步骤901、通过图1所示的相机姿态角确定方法得到相机采集的每帧图像对应的相机姿态角。
步骤902、根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参。
步骤903、根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
本发明实施例中，将车辆在世界坐标系中的姿态角与车辆上的定位传感器(例如GPS(Global Positioning System，全球定位系统)或GNSS(Global Navigation SatelliteSystem，全球卫星导航系统)等)得到的位置信息，作为车辆的定位信息。
本发明实施例中，相机坐标系与车辆坐标系之间的外参包括R，t，R为相机姿态角的矩阵表示，t为相机坐标系与车辆坐标系之间的平移值，该t在车辆行驶过程中保持不变，R根据相机姿态角的变化而变化，即根据当前帧图像对应的相机姿态角转换得到R。
本发明实施例中，车辆坐标系用XvYvZv表示，相机坐标系与车辆坐标系的转换关系参见式(5)，相机坐标系与世界坐标系之间的转换关系参见式(3)。
Figure GDA0001578345430000111
实施例六
基于前述实施例五提供的一种车辆定位方法相同的构思，本发明实施例六提供一种车辆定位装置，该车辆定位装置与前述实施例二的相机姿态角确定装置连接，该装置的结构如图10所示，包括：
第二位姿获取单元10，用于从所述相机姿态角确定装置中获取相机采集的每帧图像对应的相机姿态角；
第二调整单元11，用于根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参；
定位单元12，用于根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
定位单元12具体实现可参见前述步骤903，在此不再赘述。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种相机姿态角确定方法，其特征在于，相机与惯性测量单元IMU固定设置在车辆上的同一刚性物体上，使得相机和IMU在车辆的行驶过程中保持空间位置关系不变，方法包括：
获取所述IMU输出的IMU姿态角和所述相机采集的图像；
根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角；
根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角；
其中，根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角，具体针对每帧图像执行以下步骤：
按照输出时间的先后顺序对各IMU姿态角进行排序，得到IMU姿态角序列；
在IMU姿态角序列滑动预置的滑动窗口，将滑动窗口滑动到以当前帧图像的采集时间为中心的位置，并将落入滑动窗口内的IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角；
根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角。
2.根据权利要求1所述的方法，其特征在于，根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体包括：
获取所述相机或刚性物体的运动曲线；
采用选取的IMU姿态角拟合所述运动曲线，得到IMU姿态角曲线；
从所述IMU姿态角曲线中获取与当前帧图像的采集时间对应的IMU姿态角，并将该IMU姿态角作为所述当前帧图像对应的目标IMU姿态角。
3.根据权利要求1所述的方法，其特征在于，根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体包括：
计算选取的IMU姿态角的平均值，并将所述平均值作为所述当前帧图像对应的目标IMU姿态角。
4.根据权利要求1所述的方法，其特征在于，根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体包括：
计算选取的各IMU姿态角的输出时间与当前帧图像的采集时间的绝对差值；
将绝对差值最小的IMU姿态角作为当前帧图像对应的目标IMU姿态角。
5.一种物体测距方法，其特征在于，针对相机采集的每一帧图像，方法包括：
通过权利要求1～4任一项所述的相机姿态角确定方法得到当前帧图像对应的相机姿态角；
根据所述相机姿态角调整相机坐标系与世界坐标系之间的外参；
根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息；
确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
6.一种车辆定位方法，其特征在于，方法包括：
通过权利要求1～4任一项所述的相机姿态角确定方法得到相机采集的每帧图像对应的相机姿态角；
根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参；
根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
7.一种相机姿态角确定装置，其特征在于，包括：
获取单元，用于获取IMU输出的IMU姿态角和相机采集的图像，其中所述IMU与相机固定设置在车辆上的同一刚性物体上，使得相机和IMU在车辆的行驶过程中保持空间位置关系不变；
计算单元，用于根据各帧图像的采集时间和各IMU姿态角的输出时间，确定每帧图像对应的目标IMU姿态角，具体用针对每帧图像执行以下步骤：
按照输出时间的先后顺序对各IMU姿态角进行排序，得到IMU姿态角序列；
在IMU姿态角序列滑动预置的滑动窗口，将滑动窗口滑动到以当前帧图像的采集时间为中心的位置，并将落入滑动窗口内的IMU姿态角确定为输出时间与当前帧图像的采集时间匹配的IMU姿态角；
根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角；
确定单元，用于根据预置的所述相机的相机坐标系与所述IMU的IMU坐标系之间的转换关系、每帧图像对应的目标IMU姿态角，确定每帧图像对应的相机姿态角。
8.根据权利要求7所述的装置，其特征在于，所述计算单元根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体用于：
获取所述相机或刚性物体的运动曲线；
采用选取的IMU姿态角拟合所述运动曲线，得到IMU姿态角曲线；
从所述IMU姿态角曲线中获取与当前帧图像的采集时间对应的IMU姿态角，并将该IMU姿态角作为所述当前帧图像对应的目标IMU姿态角。
9.根据权利要求7所述的装置，其特征在于，所述计算单元根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体用于：
计算选取的IMU姿态角的平均值，并将所述平均值作为所述当前帧图像对应的目标IMU姿态角。
10.根据权利要求7所述的装置，其特征在于，所述计算单元根据选取的IMU姿态角确定当前帧图像对应的目标IMU姿态角，具体用于：
计算选取的各IMU姿态角的输出时间与当前帧图像的采集时间的绝对差值；
将绝对差值最小的IMU姿态角作为当前帧图像对应的目标IMU姿态角。
11.一种物体测距装置，其特征在于，该装置与权利要求7～10任意一项所述的相机位姿确定装置连接，该装置包括：
第一位姿获取单元，用于从所述相机姿态角确定装置中获取相机采集的当前帧图像对应的相机姿态角；
第一调整单元，用于根据所述相机姿态角调整所述相机坐标系与世界坐标系之间的外参；
映射单元，用于根据预置的图像坐标系与世界坐标系之间的转换关系、相机坐标系与世界坐标系之间的外参，确定地图车道线上各位置点在当前帧图像中的图像坐标及其距离信息；
距离确定单元，用于确定当前帧图像中地图车道线中距离目标物体最近的位置点，并根据该位置点的距离信息确定目标物体的距离。
12.一种车辆定位装置，其特征在于，该装置与权利要求7～10任意一项所述的相机姿态角确定装置连接，该装置包括：
第二位姿获取单元，用于从所述相机姿态角确定装置中获取相机采集的每帧图像对应的相机姿态角；
第二调整单元，用于根据所述相机姿态角调整相机坐标系与车辆坐标系之间的外参；
定位单元，用于根据相机坐标系与车辆坐标系之间的转换关系、预置的车辆坐标系与世界坐标系之间的转换关系、相机姿态角，得到所述车辆在世界坐标系中的姿态角。
CN201810051708.8A 2018-01-19 2018-01-19 一种相机姿态角确定方法及装置 Active CN110057352B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810051708.8A CN110057352B (zh) 2018-01-19 2018-01-19 一种相机姿态角确定方法及装置
US16/248,650 US10970873B2 (en) 2018-01-19 2019-01-15 Method and device to determine the camera position and angle
US17/222,915 US11715232B2 (en) 2018-01-19 2021-04-05 Method and device to determine the camera position and angle
US18/354,156 US20230360260A1 (en) 2018-01-19 2023-07-18 Method and device to determine the camera position and angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810051708.8A CN110057352B (zh) 2018-01-19 2018-01-19 一种相机姿态角确定方法及装置

Publications (2)

Publication Number Publication Date
CN110057352A CN110057352A (zh) 2019-07-26
CN110057352B true CN110057352B (zh) 2021-07-16

Family

ID=67315732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810051708.8A Active CN110057352B (zh) 2018-01-19 2018-01-19 一种相机姿态角确定方法及装置

Country Status (2)

Country Link
US (3) US10970873B2 (zh)
CN (1) CN110057352B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN112414400B (zh) * 2019-08-21 2022-07-22 浙江商汤科技开发有限公司 一种信息处理方法、装置、电子设备和存储介质
CN112445929B (zh) * 2019-08-30 2022-05-17 浙江商汤科技开发有限公司 视觉定位方法及相关装置
CN110595468B (zh) * 2019-09-25 2021-05-07 中国地质科学院地球物理地球化学勘查研究所 一种基于深度学习的三分量感应线圈姿态测量系统及方法
CN110673122A (zh) * 2019-10-16 2020-01-10 杨清平 一种单目相机测量目标位置数据，拍摄角度和相机视角的方法
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
US11738694B2 (en) * 2019-12-16 2023-08-29 Plusai, Inc. System and method for anti-tampering sensor assembly
US11313704B2 (en) 2019-12-16 2022-04-26 Plusai, Inc. System and method for a sensor protection assembly
US11077825B2 (en) 2019-12-16 2021-08-03 Plusai Limited System and method for anti-tampering mechanism
US11724669B2 (en) 2019-12-16 2023-08-15 Plusai, Inc. System and method for a sensor protection system
US11754689B2 (en) 2019-12-16 2023-09-12 Plusai, Inc. System and method for detecting sensor adjustment need
US11650415B2 (en) 2019-12-16 2023-05-16 Plusai, Inc. System and method for a sensor protection mechanism
US11470265B2 (en) 2019-12-16 2022-10-11 Plusai, Inc. System and method for sensor system against glare and control thereof
CN111429525A (zh) * 2019-12-25 2020-07-17 北京海兰信数据科技股份有限公司 基于海天分界线的船载相机外参数的获取方法及装置
CN111060138B (zh) * 2019-12-31 2022-01-28 上海商汤智能科技有限公司 标定方法及装置、处理器、电子设备、存储介质
CN111649746B (zh) * 2020-06-11 2023-03-28 青岛卓信通智能科技有限公司 一种融合惯导测量和ArUco标记的定位与导航方法
CN113804195A (zh) * 2020-06-15 2021-12-17 阿里巴巴集团控股有限公司 信息处理方法及设备和室内地图定位方法及设备
CN111768454B (zh) * 2020-08-05 2023-12-22 腾讯科技（深圳）有限公司 位姿确定方法、装置、设备及存储介质
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
WO2023155434A1 (zh) * 2022-02-18 2023-08-24 上海商汤智能科技有限公司 位姿预测方法及装置、设备、介质、计算机程序、计算机程序产品
CN114851197B (zh) * 2022-05-16 2023-08-04 华北电力大学（保定） 一种排管电缆机器人及其控制方法
CN114830911B (zh) * 2022-05-19 2023-08-01 苏州大学 智能除草方法、装置和存储介质
US11772667B1 (en) 2022-06-08 2023-10-03 Plusai, Inc. Operating a vehicle in response to detecting a faulty sensor using calibration parameters of the sensor
CN115690194B (zh) * 2022-10-17 2023-09-19 广州赤兔宸行科技有限公司 一种车载xr设备定位方法、装置、设备及存储介质
CN117516485B (zh) * 2024-01-04 2024-03-22 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042548A1 (ja) * 2002-11-07 2004-05-21 Olympus Corporation 運動検出装置
CN106611157A (zh) * 2016-11-17 2017-05-03 中国石油大学(华东) 一种基于光流定位和滑动窗口检测的多人姿态识别方法
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160980B2 (en) * 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
KR101286741B1 (ko) * 2011-08-24 2013-07-15 주식회사 쿼드라임 모바일 매핑 시스템 및 이의 제어 방법
FR3034554B1 (fr) * 2015-04-01 2017-04-28 Parrot Drone muni d'une camera video a visee verticale compensee des rotations instantanees pour l'estimation des vitesses horizontales
CN105606127A (zh) * 2016-01-11 2016-05-25 北京邮电大学 一种双目立体相机与惯性测量单元相对姿态标定方法
US11185305B2 (en) * 2016-06-30 2021-11-30 Koninklijke Philips N.V. Intertial device tracking system and method of operation thereof
CN106840140B (zh) * 2017-01-06 2020-05-22 中国人民解放军信息工程大学 一种室内定位方法和系统
CN107093210B (zh) * 2017-04-20 2021-07-16 北京图森智途科技有限公司 一种激光点云标注方法及装置
US10313651B2 (en) * 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
CN107172320A (zh) * 2017-06-21 2017-09-15 成都理想境界科技有限公司 数据同步方法及摄像设备
CN107341831B (zh) * 2017-07-06 2020-10-27 青岛海通胜行智能科技有限公司 一种imu辅助的视觉特征鲁棒跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042548A1 (ja) * 2002-11-07 2004-05-21 Olympus Corporation 運動検出装置
CN106611157A (zh) * 2016-11-17 2017-05-03 中国石油大学(华东) 一种基于光流定位和滑动窗口检测的多人姿态识别方法
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"PostureMonitor: Real-Time IMU Wearable Technology to Foster Poise and Health";Fatemeh Abyarjoo等;《Design, User Experience, and Usability: Interactive Experience Design》;20151231;第9188卷;543-552 *
"基于 IMU 与单目视觉融合的姿态测量方法";孙长库等;《天津大学学报(自然科学与工程技术版)》;20170331;第50卷(第3期);313-320 *

Also Published As

Publication number Publication date
US20190259176A1 (en) 2019-08-22
US20210225030A1 (en) 2021-07-22
CN110057352A (zh) 2019-07-26
US11715232B2 (en) 2023-08-01
US10970873B2 (en) 2021-04-06
US20230360260A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
CN110057352B (zh) 一种相机姿态角确定方法及装置
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN109116397B (zh) 一种车载多相机视觉定位方法、装置、设备及存储介质
CN107111879B (zh) 通过全景环视图像估计车辆自身运动的方法和设备
US11906983B2 (en) System and method for tracking targets
US20220187843A1 (en) Systems and methods for calibrating an inertial measurement unit and a camera
CN108932737B (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
WO2013069012A1 (en) Method and system for determining position and/or orientation
CN107389088A (zh) 车载惯性导航的误差修正方法、装置、介质及设备
CN111380514A (zh) 机器人位姿估计方法、装置、终端及计算机存储介质
JP2020533667A5 (zh)
CN111279354A (zh) 图像处理方法、设备及计算机可读存储介质
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
CN109141411B (zh) 定位方法、定位装置、移动机器人及存储介质
CN110736457A (zh) 一种基于北斗、gps和sins的组合导航方法
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN113240813B (zh) 三维点云信息确定方法及装置
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
CN111145263A (zh) 一种基于车载的摄像机自动标定方法
CN108322698B (zh) 基于多摄像机和惯性测量单元融合的系统和方法
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
WO2021143664A1 (zh) 在载运工具中测量目标对象距离的方法、装置和载运工具
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
CN112633043B (zh) 一种车道线确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200324

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 100130 No. 1 Linkong Second Road, Shunyi Park, Zhongguancun Science and Technology Park, Shunyi District, Beijing

Applicant before: TuSimple

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant