CN112115930B - 位姿信息的确定方法和装置 - Google Patents

位姿信息的确定方法和装置 Download PDF

Info

Publication number
CN112115930B
CN112115930B CN202011316916.XA CN202011316916A CN112115930B CN 112115930 B CN112115930 B CN 112115930B CN 202011316916 A CN202011316916 A CN 202011316916A CN 112115930 B CN112115930 B CN 112115930B
Authority
CN
China
Prior art keywords
target
camera
angle
determining
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011316916.XA
Other languages
English (en)
Other versions
CN112115930A (zh
Inventor
方永堃
党文冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011316916.XA priority Critical patent/CN112115930B/zh
Publication of CN112115930A publication Critical patent/CN112115930A/zh
Application granted granted Critical
Publication of CN112115930B publication Critical patent/CN112115930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种位姿信息的确定方法和装置。其中，该方法包括：通过鱼眼相机拍摄目标车辆得到目标图像，在目标图像中获取目标车辆上的目标关键点的目标位置；根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，达到了在自动驾驶过程中直接根据目标图像中目标车辆上的关键点确定出目标车辆的位姿信息的目的，进而解决了现有技术中，确定车辆位姿信息准确性较低的技术问题。

Description

位姿信息的确定方法和装置
技术领域
本发明涉及车辆自动驾驶领域，具体而言，涉及一种位姿信息的确定方法和装置。
背景技术
在自动驾驶环境感知的众多算法中，目标车辆的跟踪是其中非常重要的一个算法。这类算法通过各种传感器的数据估计出目标车辆的位置和姿态。而根据使用传感器的不同，跟踪算法也有不同的优劣势。
一类就是利用相机传感器和其他传感器的信息一起来对目标进行跟踪，通过其他传感器来获取目标的三维位置、姿态。即在相机获取的图像中定位目标车辆二维位置之后，去找对应匹配位置的其他传感器数据以获取目标车辆三维信息。
还有一类是仅使用相机传感器得到的信息来推理目标位置信息的。即利用计算机视觉算法直接从相机获取的图像中对目标进行跟踪，但是仅能得到目标车辆的二维位置。以及同样只使用相机获取的二维图像，直接使用深度学习方法，实现端到端估计目标车辆的三维位姿，但是由于使用深度学习方法故需要大量训练数据，难以标注，扩展到其他相机系统成本较大，而且逻辑黑箱不便于系统调试。
现有技术中，深度学习方法需要大量训练数据，训练数据标注困难，导致训练数据存在误差，进而确定的车辆位姿信息准确性较低。不利于根据位姿信息对自动驾驶后续规划、以及规划安全的驾驶轨迹。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种位姿信息的确定方法和装置，以至少解决现有技术中，确定车辆位姿信息准确性较低的技术问题。
根据本发明实施例的一个方面，提供了一种位姿信息的确定方法，包括：在目标图像中获取目标关键点的目标位置，其中，所述目标图像是目标相机拍摄到的图像，所述目标相机为鱼眼相机，所述目标关键点是所述目标图像中的目标车辆上的关键点；根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的第一角度和目标距离，其中，所述第一角度为所述目标关键点的所述目标位置相对于所述目标相机的相机航向上的角度；根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息。
根据本发明实施例的另一方面，还提供了一种位姿信息的确定装置，包括：获取单元，用于在目标图像中获取目标关键点的目标位置，其中，所述目标图像是目标相机拍摄到的图像，所述目标相机为具有广角镜头的相机，所述目标关键点是所述目标图像中的目标车辆上的关键点；第一确定单元，用于根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的第一角度和目标距离，其中，所述第一角度为所述目标关键点的所述目标位置相对于所述目标相机的相机航向的角度；第二确定单元，用于根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述位姿信息的确定方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的位姿信息的确定方法。
在本发明实施例中，通过鱼眼相机拍摄目标车辆得到目标图像，在目标图像中获取目标车辆上的目标关键点的目标位置；根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，达到了直接根据目标图像中目标车辆上的关键点确定出目标车辆的位姿信息的目的，从而避免可以在通过算法确定目标车辆位姿信息，由于训练数据标注困难导致的算法精度较低，进而导致确定的目标车辆的位姿信息准确性较低的技术效果，进而解决了现有技术中，确定车辆位姿信息准确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的位姿信息的确定方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的位姿信息的确定方法的流程图；
图3是根据本发明实施例的一种可选的目标车辆各个关键点的俯视图；
图4是根据本发明实施例的一种可选的通过鱼眼相机拍摄得到的目标图像；
图5是根据本发明实施例的一种可选的目标车辆关键点对应的目标位置示意图；
图6是根据本发明实施例的一种可选的基于鱼眼相机关键点生成的视景体的车辆跟踪算法的流程图
图7是根据本发明实施例的一种可选的位姿信息的确定装置的结构示意图；
图8是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种位姿信息的确定方法，可选地，作为一种可选的实施方式，上述位姿信息的确定方法可以但不限于应用于如图1所示的环境中。鱼眼相机102、网络104以及服务器106。
其中，鱼眼相机102用于获取目标图像，并通过网络104将目标图像上传至服务器106，服务器106在目标图像中获取目标车辆上的目标关键点的目标位置；根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，达到了直接根据目标图像中目标车辆上的关键点确定出目标车辆的位姿信息的目的，从而避免可以在通过算法确定目标车辆位姿信息，由于训练数据标注困难导致的算法精度较低，进而导致确定的目标车辆的位姿信息准确性较低的技术效果，进而解决了现有技术中，确定车辆位姿信息准确性较低的技术问题。
可选地，在本实施例中，上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器106可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述位姿信息的确定方法包括：
步骤S202，在目标图像中获取目标关键点的目标位置，其中，目标图像是目标相机拍摄到的图像，目标相机为具有广角镜头的相机，目标关键点是目标图像中的目标车辆上的关键点。
步骤S202，根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向的角度。
步骤S202，根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息。
可选的，在本实施例中，上述位姿信息的确定方法可以包括但不限于应用于自动驾驶领域，在确定出目标车辆的位姿信息后，可以进一步的根据目标车辆的位姿信息进行自动驾驶后续规划，如根据目标车辆的位姿信息规划出一条安全的驾驶轨迹。以上只是一种示例，本实施例对此不作任何限定。
其中，上述目标相机可以包括但不限于具有广角镜头的鱼眼相机，上述目标图像是通过广角镜头拍摄的图像。
需要说明的是，在鱼眼相机的内、外标定参数已知的情况下，对于图像中任意一个像素点可以估计出该像素点对应的物体相对于相机的朝向角度信息；假如额外加上路面平坦的假设，对于图像中地面上的像素点还可以估计出该像素点对应物体距离相机的距离。
其中，本实施例中，上述鱼眼相机可以是指视场角超过180度的广角相机。
还需要说明的是，在本实施例中，在自动驾驶的相机传感器中鱼眼相机视野更加宽广，提供的信息更加丰富。和其他相机一样，从中提取的二维信息需要经过合理的转换才能被用于后续的规划、控制中。在本申请中提出一种基于鱼眼相机关键点生成的视景体，根据视景体确定目标车辆的位姿信息。目标车辆上的关键点可以生成一个视景体(frustum)，算法通过鱼眼相机畸变模型f-theta模型来估计视景体各个端点的横向、纵向位置信息，并通过关键点之间的几何位置约束估计目标车辆的朝向信息。算法不断进行迭代估计，最终输出目标车辆的位姿信息及其置信度。这种方式在实际应用中能有效地估计目标车辆的位姿信息，增加目标车辆三维信息的冗余，提升自动驾驶感知系统的感知精度和鲁棒性。
在本实施例中，可以只根据由鱼眼相机获取的目标图像中的目标车辆的关键点确定目标车辆的位姿信息。在实现的过程中，可以鱼眼相机关键点生成的视景体。其中，视景体frustum，又称视锥。以光学仪器的镜头为顶点，以被测目标的包围框上下左右四条边缘形成的四个平面为边界内部构成的锥体。可以通过视景体实现目标车辆的跟踪。
其中，如图3所示，目标车辆各个关键点的俯视图。在图3中，
Figure DEST_PATH_IMAGE001
为四个轮胎接地点，
Figure DEST_PATH_IMAGE002
为目标车辆的四角；
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
分别为目标车辆的长、宽；
Figure 100002_DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
分别为前轮到车前距离和后轮到车尾距离。
可选的，在本实施例中，目标图像可以包括但不限于通过鱼眼相机拍摄得到。如图4所示，通过鱼眼相机拍摄得到的目标图像。在图4中可以看到目标车辆的目标关键点P1（如目标车辆的车尾后灯处）。通过正交投影模型获取目标图像中目标关键点的二维位置信息，可以从图像中的二维位置信息中估计出三维位置信息。在目标图像中获取目标关键点P1的目标位置，目标位置可以是关键点的二维坐标，也可以是三维坐标。
图5所示，目标车辆关键点对应的目标位置示意图。在图5中可知，目标关键点的坐标信息，以及目标关键点的目标位置相对于鱼眼相机航向上的角度
Figure 100002_DEST_PATH_IMAGE007
。
以图5中目标车辆的右前轮接地点
Figure DEST_PATH_IMAGE008
为例，其在图像中的坐标为
Figure 100002_DEST_PATH_IMAGE009
，存在如下的映射关系：
Figure DEST_PATH_IMAGE010
Figure 100002_DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE012
表示相机标定的内参，整个目标图像中的中心点，
Figure DEST_PATH_IMAGE013
表示每个像素对应的物体的长度（mm/像素），f是相机的角度，
Figure DEST_PATH_IMAGE014
表示目标图像中水平方向像素坐标，
Figure 100002_DEST_PATH_IMAGE015
表示目标位置相对于相机航向的角度，FOV x 表示鱼眼相机水平方向视野，Res x 表示目标图像中水平方向最大分辨率。
通过上述公式（1）-（2）可以得到目标位置相对于相机航向的角度
Figure DEST_PATH_IMAGE016
：
Figure 100002_DEST_PATH_IMAGE017
需要说明的是，通过公式（1）-（2）确定目标位置相对于相机航向的角度
Figure DEST_PATH_IMAGE018
时可以只考虑参数
Figure 100002_DEST_PATH_IMAGE019
，使得夹角计算简单。
可选的，在本实施例中，根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度，可以包括：
根据目标关键点在水平方向上的第一坐标、目标相机的中心点在水平方向上的第二坐标、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定目标关键点相对于目标相机的第一角度，其中，目标位置包括第一坐标；或者根据第一坐标、第二坐标、以及目标相机的焦距，确定目标关键点相对于目标相机的第一角度，其中，目标位置包括第一坐标。
其中，根据目标关键点在水平方向上的第一坐标、目标相机的中心点在水平方向上的第二坐标、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定目标关键点相对于目标相机的第一角度，可以包括：通过以下公式确定第一角度
Figure DEST_PATH_IMAGE020
：
Figure 830421DEST_PATH_IMAGE017
其中，
Figure 100002_DEST_PATH_IMAGE021
表示第一坐标，
Figure 449621DEST_PATH_IMAGE012
表示第二坐标，
Figure DEST_PATH_IMAGE022
表示目标相机在水平方向上的广角范围，
Figure 100002_DEST_PATH_IMAGE023
表示目标相机在水平方向上的最大分辨率。
其中，根据第一坐标、第二坐标、以及目标相机的焦距，确定目标关键点相对于目标相机的第一角度，可以包括：通过以下公式确定第一角度
Figure DEST_PATH_IMAGE024
：
Figure DEST_PATH_IMAGE025
其中，
Figure 326441DEST_PATH_IMAGE021
表示第一坐标，
Figure 790921DEST_PATH_IMAGE012
表示第二坐标，
Figure DEST_PATH_IMAGE026
表示目标相机的焦距，s x 表示每个像素对应的物体的长度。
可选的，在本实施例中，根据目标关键点的目标位置，确定目标关键点相对于目标相机的目标距离，可以包括：根据目标关键点在竖直方向上的第三坐标、目标相机的中心点在竖直方向上的第四坐标、目标相机在竖直方向上的广角范围以及目标相机在竖直方向上的最大分辨率，确定目标关键点相对于目标相机的第二角度，其中，第二角度为目标关键点的目标位置相对于目标相机的相机俯仰的角度；根据第二角度和目标相机相对于地面的高度，确定目标关键点相对于目标相机的目标距离。
其中，根据目标关键点在竖直方向上的第三坐标、目标相机的中心点在竖直方向上的第四坐标、目标相机在竖直方向上的广角范围以及目标相机在竖直方向上的最大分辨率，确定目标关键点相对于目标相机的第二角度，可以包括：通过以下公式确定第二角度
Figure 100002_DEST_PATH_IMAGE027
：
Figure DEST_PATH_IMAGE028
其中，
Figure 100002_DEST_PATH_IMAGE029
表示第三坐标，
Figure DEST_PATH_IMAGE030
表示第四坐标，FOV y 表示目标相机在竖直方向上的广角范围，
Figure 100002_DEST_PATH_IMAGE031
表示目标相机在竖直方向上的最大分辨率。
其中，根据第二角度和目标相机相对于地面的高度，确定目标关键点相对于目标相机的目标距离，可以包括：通过以下公式确定目标距离
Figure DEST_PATH_IMAGE032
：
Figure 100002_DEST_PATH_IMAGE033
其中，
Figure DEST_PATH_IMAGE034
表示第二角度，
Figure 100002_DEST_PATH_IMAGE035
表示目标相机相对于地面的高度。
在本实施例中，目标位置的距离d和目标图像中竖直方向的像素位置
Figure 942023DEST_PATH_IMAGE029
有关系，这个位置对应的
Figure DEST_PATH_IMAGE036
就是目标位置相对于相机俯仰的角度。
由公式（4）-（5）可知，
Figure 732124DEST_PATH_IMAGE034
的计算类似
Figure 502765DEST_PATH_IMAGE024
。需要说明的是，和上述
Figure 770936DEST_PATH_IMAGE024
不同的是，航向角
Figure 559900DEST_PATH_IMAGE024
=0的方向也是目标车辆正前方，因为相机是朝着正前方安装的；而
Figure 520903DEST_PATH_IMAGE034
=0的方向往往不是正前方，而且受到车辆颠簸影响也更严重。真实观测到的距离d meas 还受到一个误差项e的影响。
Figure 100002_DEST_PATH_IMAGE037
其中，e=e 1 +e 2 ，e 1 由于标定、颠簸带来的俯仰角误差，e 2 是竖直方向上像素误差有关。
通过本申请提供的实施例，鱼眼相机拍摄目标车辆得到目标图像，在目标图像中获取目标车辆上的目标关键点的目标位置；根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，达到了直接根据目标图像中目标车辆上的关键点确定出目标车辆的位姿信息的目的，从而避免可以在通过算法确定目标车辆位姿信息，由于训练数据标注困难导致的算法精度较低，进而导致确定的目标车辆的位姿信息准确性较低的技术效果，进而解决了现有技术中，确定车辆位姿信息准确性较低的技术问题。
需要说明的是，在本实施例中，可以仅使用相机获取图像中的二维信息，不需要使用来自毫米波雷达、激光雷达的三维信息，就可以直接估计目标在三维空间中的位姿信息。在本实施例中，算法逻辑不是端到端黑箱，易于调试，扩展性良好。假如使用其他相机仅需要更换投影模型，不需要在估计位姿信息部分重新标注数据；假如提供毫米波雷达、激光雷达获取的三维信息的话，可以在同一个框架中将这些信息融合在一起使用得到更加准确的估计。也就是说，在本实施例中，可以从目标图像中目标车辆二维数据，获取目标车辆的二维位置信息，进而根据二维位置信息计算出三维位姿信息。
其中，本申请提供的实施例，通过鱼眼相机获取的目标二维关键点信息直接输出目标三维位姿及其置信度，这些信息可以使得自动驾驶车辆获得周围目标车辆更加准确的位置和姿态信息，提高了自动驾驶车辆的安全性、舒适性。解决了图像数据本身三维信息的缺失和鱼眼图像畸变较大的问题。
可选的，在本实施例中，上述方法还可以包括：根据第一角度、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定第一角度的第一误差值。
其中，根据第一角度、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定第一角度的第一误差值，可以包括：
通过以下公式确定第一角度的标准差
Figure DEST_PATH_IMAGE038
，其中，第一角度的第一误差值包括第一角度的标准差：
Figure 100002_DEST_PATH_IMAGE039
Figure DEST_PATH_IMAGE040
其中，
Figure 372315DEST_PATH_IMAGE024
表示第一角度，FOV x 表示目标相机在水平方向上的广角范围， Res x 表示目标相机在水平方向上的最大分辨率，Err表示像素误差。
可选的，在本实施例中，上述方法还可以包括：根据第二角度和目标距离，确定目标距离的第二误差值。
其中，根据第二角度和目标距离，确定目标距离的第二误差值，可以包括：通过以下公式确定目标距离的标准差
Figure 100002_DEST_PATH_IMAGE041
，其中，目标距离的第二误差值包括目标距离的标准差：
Figure DEST_PATH_IMAGE042
Figure 100002_DEST_PATH_IMAGE043
Figure DEST_PATH_IMAGE044
其中，d true 表示目标距离，
Figure 522805DEST_PATH_IMAGE034
表示第二角度，
Figure 100002_DEST_PATH_IMAGE045
为预设的固定值，FOV y 表示目标相机在竖直方向上的广角范围，Res y 表示目标相机在竖直方向上的最大分辨率，Err表示像素误差。
可选的，在本实施例中，根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，可以包括：在目标关键点包括多个关键点的情况下，根据多个关键点相对于目标相机的第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，其中，目标车辆的位姿信息包括目标车辆的中心点的位置，目标车辆相对于目标相机的朝向角度，目标车辆的长度。
其中，在目标关键点包括多个关键点的情况下，根据多个关键点相对于目标相机的第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，可以包括：
通过多个关键点对应的多组以下公式，确定目标图像中的目标车辆的位姿信息：
Figure DEST_PATH_IMAGE046
Figure 100002_DEST_PATH_IMAGE047
其中，P i 表示多个关键点中的第i个关键点，i为自然数，
Figure DEST_PATH_IMAGE048
表示目标车辆的中心点的位置，
Figure 100002_DEST_PATH_IMAGE049
表示目标车辆相对于目标相机的朝向角度，T px 与目标车辆的长度相关，T py 与目标车辆的宽度相关。
在本实施例中，以
Figure DEST_PATH_IMAGE050
为例，需要将观测
Figure 100002_DEST_PATH_IMAGE051
和状态
Figure DEST_PATH_IMAGE052
联系在一起，参数化表达如公式（15）-（16）：
Figure DEST_PATH_IMAGE053
Figure DEST_PATH_IMAGE054
其中，T px 和T py 为每个关键点和车体中心位置的偏移量。
以图3中所示的p0-p7每个关键点和车体中心位置的偏移量，如表1所示。
表1
Figure DEST_PATH_IMAGE055
根据参数表达分别在每一个观测上对每一个状态求偏导得到Jacobian矩阵每一个元素的值，以
Figure DEST_PATH_IMAGE056
为例，可以得到一组偏导值。
可选的，在本实施例中，上述方法可以包括：在目标关键点包括多个关键点的情况下，根据多个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定位姿信息的置信度。
也就是说，在目标图像中存在目标车辆的4个点，则根据4个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定位姿信息的置信度。
其中，在目标关键点包括多个关键点的情况下，根据多个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定位姿信息的置信度，可以包括：在目标关键点包括N个关键点的情况下，根据N个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定N组偏导值，其中，N为大于1的自然数；根据N组偏导值形成的目标矩阵，确定位姿信息的置信度。
需要说明的是，在目标关键点包括N个关键点的情况下，根据N个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定N组偏导值，可以包括：通过以下公式确定N组偏导值：
Figure DEST_PATH_IMAGE057
Figure DEST_PATH_IMAGE058
Figure DEST_PATH_IMAGE059
Figure DEST_PATH_IMAGE060
其中，i表示N组偏导值中的第i组偏导值，
Figure DEST_PATH_IMAGE061
表示对目标车辆的中心点的位置xci的偏导数，
Figure DEST_PATH_IMAGE062
表示对目标车辆的中心点的位置yci的偏导数，
Figure DEST_PATH_IMAGE063
表示对目标车辆的长度的偏导数数，
Figure DEST_PATH_IMAGE064
表示是相对于目标相机的朝向角度的偏导数。
还需要说明的是，根据N组偏导值形成的目标矩阵，确定位姿信息的置信度，可以包括：
Figure DEST_PATH_IMAGE065
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE069
其中，
Figure DEST_PATH_IMAGE070
表示目标矩阵，
Figure DEST_PATH_IMAGE071
表示对角矩阵，
Figure DEST_PATH_IMAGE072
表示目标车辆的中心点在水平方向上的坐标的置信度，
Figure DEST_PATH_IMAGE073
表示目标车辆的中心点在竖直方向上的坐标的置信度，
Figure DEST_PATH_IMAGE074
表示目标车辆相对于目标相机的朝向角度的置信度，
Figure DEST_PATH_IMAGE075
表示目标车辆的长度的置信度。
需要说明的是，目标矩阵
Figure DEST_PATH_IMAGE076
，其每一行就是某个观测（关键点），每一列就是对某一个状态该观测的偏导。对于每一个图像中的二维点可能仅有角度
Figure 904893DEST_PATH_IMAGE024
的观测，或者
Figure 505639DEST_PATH_IMAGE024
，d的观测都有。
目标车辆处于自动驾驶车辆周围不同位置时，鱼眼相机所捕获到的观测并不相同，有越多的观测Jacobian矩阵的行数也越多。而观测数据越丰富其置信度就越高、信息量越大能够更好地辅助估计出目标位姿信息。
其中，假设各个观测（关键点）独立设置
Figure 765719DEST_PATH_IMAGE071
为对角矩阵，其中每一个元素就是Jacobian矩阵每一行观测对应的标准差
Figure DEST_PATH_IMAGE077
，即不同点的
Figure DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE079
。
还需要说明的是，得到的协方差矩阵就是位姿状态的置信度，就可以用于目标车辆状态更新，本实施例中，使用了传统的EKF（Extended Kalman Filter 扩展卡尔曼滤波器）算法。通过其他传感器，比如毫米波雷达、激光雷达能获得这几项观测，可以在EKF中将这些传感器融合到一起。
在本实施例中，目标图像中存在N个点，可以根据N个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定N组偏导值，将N组中的每一组记为矩阵的一行，进而得到目标矩阵。其中，N可以是大于等于1的正整数，N值越大，得到的置信度可信度越大。
可选的，本申请还提供了一种可选的实施例一种基于鱼眼相机关键点生成的视景体的车辆跟踪算法。如图6所示，基于鱼眼相机关键点生成的视景体的车辆跟踪算法的流程图。
步骤S61，开始；
步骤S62，获取鱼眼相机序列图像；
在步骤S62中，上述鱼眼相机序列图像是指自动驾驶车辆通过鱼眼相机采集获取的一系列原始图像数据。
步骤S63，目标车辆关键点检测；
在步骤S63中，通过步骤S62中的鱼眼相机序列图像，通过算法识别出每一帧图像中目标车辆关键点在图像中的二维位置，其中，目标车辆关键点在图像中的二维位置是目标车辆关键点检。
步骤S64，获取有效观测；
在步骤S64中，可以识别出鱼眼相机图像中目标车辆上某一些有特殊语义关键点的二维位置。根据正交投影模型，可以从图像中的二维位置信息中估计出三维位置信息。
其中，在鱼眼相机的内、外标定参数已知的情况下，对于图像中任意一个像素点我们可以估计出该像素点对应的物体相对于相机的朝向角度信息；假如额外加上路面平坦的假设，对于图像中地面上的像素点我们还可以估计出该像素点对应物体距离相机的距离。
在步骤S64中，有效观测包括角度观测和距离观测。其中，角度观测与本申请上述实施例中第一角度检测方式相同，距离观测与本申请上述实施例中，目标距离确定方式相同，在此不再赘述。
步骤S65，置信度估计；
在步骤S65中置信度估计与上述实施例中置信度估计的方式相同。在此不再赘述。
步骤S66，目标车辆状态更新；
步骤S67，目标车辆状态位姿轨迹；
步骤S68，结束。
在本实施例中，通过鱼眼相机获取的目标二维关键点信息直接输出目标三维位姿及其置信度，这些信息可以使得自动驾驶车辆获得周围目标车辆更加准确的位置和姿态信息，提高了自动驾驶车辆的安全性、舒适性。解决了图像数据本身三维信息的缺失和鱼眼图像畸变较大的问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述位姿信息的确定方法的位姿信息的确定装置。如图7所示，该位姿信息的确定装置包括：获取单元71、第一确定单元73以及第二确定单元75。
获取单元71，用于在目标图像中获取目标关键点的目标位置，其中，目标图像是目标相机拍摄到的图像，目标相机为具有广角镜头的相机，目标关键点是目标图像中的目标车辆上的关键点。
第一确定单元73，用于根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向的角度。
第二确定单元75，用于根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息。
可选的，在本实施例中，上述第一确定单元73，可以包括：
第一确定模块，用于根据目标关键点在水平方向上的第一坐标、目标相机的中心点在水平方向上的第二坐标、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定目标关键点相对于目标相机的第一角度，其中，目标位置包括第一坐标。
第二确定模块，用于根据第一坐标、第二坐标、以及目标相机的焦距，确定目标关键点相对于目标相机的第一角度，其中，目标位置包括第一坐标。
第三确定模块，用于根据目标关键点在竖直方向上的第三坐标、目标相机的中心点在竖直方向上的第四坐标、目标相机在竖直方向上的广角范围以及目标相机在竖直方向上的最大分辨率，确定目标关键点相对于目标相机的第二角度，其中，第二角度为目标关键点的目标位置相对于目标相机的相机俯仰的角度；
第四确定模块，用于根据第二角度和目标相机相对于地面的高度，确定目标关键点相对于目标相机的目标距离。
其中，上述第一确定模块，可以包括：第一子确定模块，用于通过以下公式确定第一角度
Figure DEST_PATH_IMAGE080
：
Figure DEST_PATH_IMAGE081
其中，
Figure 719899DEST_PATH_IMAGE019
表示第一坐标，
Figure 483456DEST_PATH_IMAGE012
表示第二坐标，FOV x 表示目标相机在水平方向上的广角范围，Res x 表示目标相机在水平方向上的最大分辨率。
其中，上述第二确定模块，可以包括：第二确定子模块，用于通过以下公式确定第一角度
Figure 536994DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE082
其中，
Figure 18791DEST_PATH_IMAGE021
表示第一坐标，
Figure 432455DEST_PATH_IMAGE012
表示第二坐标，
Figure 50518DEST_PATH_IMAGE026
表示目标相机的焦距，s x 表示每个像素对应的物体的长度。
其中，上述第三确定模块，可以包括：第三子确定模块，用于通过以下公式确定第二角度
Figure 524224DEST_PATH_IMAGE034
：
Figure DEST_PATH_IMAGE083
其中，
Figure 506699DEST_PATH_IMAGE029
表示第三坐标，
Figure 192896DEST_PATH_IMAGE030
表示第四坐标，FOV y 表示目标相机在竖直方向上的广角范围，
Figure 931045DEST_PATH_IMAGE031
表示目标相机在竖直方向上的最大分辨率。
其中，上述第四确定模块，可以包括：第四子确定模块，用于通过以下公式确定目标距离
Figure 575652DEST_PATH_IMAGE032
：
Figure DEST_PATH_IMAGE084
其中，
Figure DEST_PATH_IMAGE085
表示第二角度，
Figure 313932DEST_PATH_IMAGE035
表示目标相机相对于地面的高度。
可选的，在本实施例中，上述第二确定单元75，可以包括：第七确定模块，用于在目标关键点包括多个关键点的情况下，根据多个关键点相对于目标相机的第一角度和目标距离，确定目标图像中的目标车辆的位姿信息，其中，目标车辆的位姿信息包括目标车辆的中心点的位置，目标车辆相对于目标相机的朝向角度，目标车辆的长度。
其中，上述第七确定模块，可以包括：第五子确定模块，用于通过多个关键点对应的多组以下公式，确定目标图像中的目标车辆的位姿信息：
Figure DEST_PATH_IMAGE086
Figure DEST_PATH_IMAGE087
其中，P i 表示多个关键点中的第i个关键点，i为自然数，
Figure 600557DEST_PATH_IMAGE048
表示目标车辆的中心点的位置，
Figure 943945DEST_PATH_IMAGE049
表示目标车辆相对于目标相机的朝向角度，T px 与目标车辆的长度相关，T py 与目标车辆的宽度相关。
通过本申请提供的实施例，获取单元71在目标图像中获取目标关键点的目标位置，其中，目标图像是目标相机拍摄到的图像，目标相机为具有广角镜头的相机，目标关键点是目标图像中的目标车辆上的关键点；第一确定单元73根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向的角度；第二确定单元75，用于根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息。达到了直接根据目标图像中目标车辆上的关键点确定出目标车辆的位姿信息的目的，从而避免可以在通过算法确定目标车辆位姿信息，由于训练数据标注困难导致的算法精度较低，进而导致确定的目标车辆的位姿信息准确性较低的技术效果，进而解决了现有技术中，确定车辆位姿信息准确性较低的技术问题。
可选的，在本实施例中，上述装置还可以包括：第三确定单元，用于根据第一角度、目标相机在水平方向上的广角范围以及目标相机在水平方向上的最大分辨率，确定第一角度的第一误差值。
其中，上述第三确定单元，可以包括：第五确定模块，用于通过以下公式确定第一角度的标准差
Figure DEST_PATH_IMAGE088
，其中，第一角度的第一误差值包括第一角度的标准差：
Figure DEST_PATH_IMAGE089
Figure DEST_PATH_IMAGE090
其中，
Figure 821771DEST_PATH_IMAGE024
表示第一角度，FOV x 表示目标相机在水平方向上的广角范围，Res x 表示目标相机在水平方向上的最大分辨率，Err表示像素误差。
可选的，在本实施例中，上述装置还可以包括：第四确定单元，用于根据第二角度和目标距离，确定目标距离的第二误差值。
其中，上述第四确定单元，可以包括：第六确定模块，用于通过以下公式确定目标距离的标准差
Figure 499877DEST_PATH_IMAGE041
，其中，目标距离的第二误差值包括目标距离的标准差：
Figure DEST_PATH_IMAGE091
Figure DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE093
其中，d true 表示目标距离，
Figure 606505DEST_PATH_IMAGE034
表示第二角度，
Figure 319246DEST_PATH_IMAGE045
为预设的固定值，FOV y 表示目标相机在竖直方向上的广角范围，Res y 表示目标相机在竖直方向上的最大分辨率，Err表示像素误差。
可选的，在本实施例中，上述装置可以包括：第五确定单元，用于在目标关键点包括多个关键点的情况下，根据多个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定位姿信息的置信度。
其中，上述第五确定单元，可以包括：第八确定模块，用于在目标关键点包括N个关键点的情况下，根据N个关键点的目标位置、以及目标图像中的目标车辆的位姿信息，确定N组偏导值，其中，N为大于1的自然数；第九确定模块，用于根据N组偏导值形成的目标矩阵，确定位姿信息的置信度。
其中，上述第八确定模块，可以包括：第六子确定模块，用于通过以下公式确定N组偏导值：
Figure DEST_PATH_IMAGE094
Figure DEST_PATH_IMAGE095
Figure DEST_PATH_IMAGE096
Figure DEST_PATH_IMAGE097
其中，i表示N组偏导值中的第i组偏导值，
Figure DEST_PATH_IMAGE098
表示对目标车辆的中心点的位置xci的偏导数，
Figure DEST_PATH_IMAGE099
表示对目标车辆的中心点的位置yci的偏导数，
Figure DEST_PATH_IMAGE100
表示对目标车辆的长度的偏导数数，
Figure DEST_PATH_IMAGE101
表示是相对于目标相机的朝向角度的偏导数。
还需要说明的是，上述第九确定模块，还用于执行如下操作：
Figure DEST_PATH_IMAGE102
Figure DEST_PATH_IMAGE103
Figure DEST_PATH_IMAGE104
Figure DEST_PATH_IMAGE105
Figure DEST_PATH_IMAGE106
其中，
Figure 335350DEST_PATH_IMAGE070
表示目标矩阵，
Figure 500752DEST_PATH_IMAGE071
表示对角矩阵，
Figure 598021DEST_PATH_IMAGE072
表示目标车辆的中心点在水平方向上的坐标的置信度，
Figure 181580DEST_PATH_IMAGE073
表示目标车辆的中心点在竖直方向上的坐标的置信度，
Figure 807734DEST_PATH_IMAGE074
表示目标车辆相对于目标相机的朝向角度的置信度，
Figure 726011DEST_PATH_IMAGE075
表示目标车辆的长度的置信度。
根据本发明实施例的又一个方面，还提供了一种用于实施上述位姿信息的确定方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在目标图像中获取目标关键点的目标位置，其中，目标图像是目标相机拍摄到的图像，目标相机为鱼眼相机，目标关键点是目标图像中的目标车辆上的关键点；
S2，根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；
S3，根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息。
可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件（如网络接口等），或者具有与图8所示不同的配置。
其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的位姿信息的确定方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的位姿信息的确定方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储目标图像、目标关键点的目标位置、第一角度、目标距离以及位姿信息等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述位姿信息的确定装置中的获取单元71、第一确定单元73以及第二确定单元75。此外，还可以包括但不限于上述位姿信息的确定装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器808，用于显示上述位姿书信息；和连接总线810，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述位姿信息的确定方面或者位姿信息的确定方面的各种可选实现方式中提供的位姿信息的确定方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在目标图像中获取目标关键点的目标位置，其中，目标图像是目标相机拍摄到的图像，目标相机为鱼眼相机，目标关键点是目标图像中的目标车辆上的关键点；
S2，根据目标关键点的目标位置，确定目标关键点相对于目标相机的第一角度和目标距离，其中，第一角度为目标关键点的目标位置相对于目标相机的相机航向上的角度；
S3，根据第一角度和目标距离，确定目标图像中的目标车辆的位姿信息。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种位姿信息的确定方法，其特征在于，包括：
在目标图像中获取目标关键点的目标位置，其中，所述目标图像是目标相机拍摄到的图像，所述目标相机为具有广角镜头的相机，所述目标关键点是所述目标图像中的目标车辆上的关键点；
根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的第一角度和目标距离，其中，所述第一角度为所述目标关键点的所述目标位置相对于所述目标相机的相机航向的角度；
根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息；
其中，所述根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息，包括：在所述目标关键点包括多个关键点的情况下，根据所述多个关键点相对于所述目标相机的所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息，其中，所述目标车辆的所述位姿信息包括所述目标车辆的中心点的位置，所述目标车辆相对于所述目标相机的朝向角度，所述目标车辆的长度
其中，在所述目标关键点包括多个关键点的情况下，根据所述多个关键点相对于所述目标相机的所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息，包括：
通过所述多个关键点对应的多组以下公式，确定所述目标图像中的所述目标车辆的位姿信息：
Figure 811196DEST_PATH_IMAGE002
Figure 976336DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
表示所述多个关键点中的第i个关键点，i为自然数，
Figure 992833DEST_PATH_IMAGE006
表示所述第i个关键点相对于所述目标相机的所述第一角度，（
Figure DEST_PATH_IMAGE007
）表示所述目标车辆的中心点的位置，
Figure 428494DEST_PATH_IMAGE008
表示所述目标车辆相对于所述目标相机的朝向角度，
Figure DEST_PATH_IMAGE009
与所述目标车辆的长度相关，
Figure 574042DEST_PATH_IMAGE010
与所述目标车辆的宽度相关，
Figure 524681DEST_PATH_IMAGE009
表示所述第i个关键点与所述目标车辆的中心点在所述长度上的偏移量，
Figure 344869DEST_PATH_IMAGE010
表示所述第i个关键点与所述目标车辆的中心点在所述宽度上的偏移量，
Figure DEST_PATH_IMAGE011
表示所述第i个关键点相对于所述目标相机的所述目标距离。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的第一角度，包括：
根据所述目标关键点在水平方向上的第一坐标、所述目标相机的中心点在所述水平方向上的第二坐标、所述目标相机在所述水平方向上的广角范围以及所述目标相机在所述水平方向上的最大分辨率，确定所述目标关键点相对于所述目标相机的第一角度，其中，所述目标位置包括所述第一坐标；或者
根据所述第一坐标、所述第二坐标、以及所述目标相机的焦距，确定所述目标关键点相对于所述目标相机的第一角度，其中，所述目标位置包括所述第一坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标关键点在水平方向上的第一坐标、所述目标相机的中心点在所述水平方向上的第二坐标、所述目标相机在所述水平方向上的广角范围以及所述目标相机在所述水平方向上的最大分辨率，确定所述目标关键点相对于所述目标相机的第一角度，包括：
通过以下公式确定所述第一角度
Figure 635036DEST_PATH_IMAGE012
：
Figure 515267DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示所述第一坐标，
Figure 327103DEST_PATH_IMAGE016
表示所述第二坐标，
Figure DEST_PATH_IMAGE017
表示所述目标相机在所述水平方向上的广角范围，
Figure 685404DEST_PATH_IMAGE018
表示所述目标相机在所述水平方向上的最大分辨率。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一坐标、所述第二坐标、以及所述目标相机的焦距，确定所述目标关键点相对于所述目标相机的第一角度，包括：
通过以下公式确定所述第一角度
Figure DEST_PATH_IMAGE019
：
Figure DEST_PATH_IMAGE021
其中，
Figure 531875DEST_PATH_IMAGE015
表示所述第一坐标，
Figure 583007DEST_PATH_IMAGE016
表示所述第二坐标，
Figure 508238DEST_PATH_IMAGE022
表示所述目标相机的焦距，
Figure DEST_PATH_IMAGE023
表示每个像素对应的物体的长度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的目标距离，包括：
根据所述目标关键点在竖直方向上的第三坐标、所述目标相机的中心点在所述竖直方向上的第四坐标、所述目标相机在所述竖直方向上的广角范围以及所述目标相机在所述竖直方向上的最大分辨率，确定所述目标关键点相对于所述目标相机的第二角度，其中，所述第二角度为所述目标关键点的所述目标位置相对于所述目标相机的相机俯仰的角度；
根据所述第二角度和所述目标相机相对于地面的高度，确定所述目标关键点相对于所述目标相机的所述目标距离。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标关键点在竖直方向上的第三坐标、所述目标相机的中心点在所述竖直方向上的第四坐标、所述目标相机在所述竖直方向上的广角范围以及所述目标相机在所述竖直方向上的最大分辨率，确定所述目标关键点相对于所述目标相机的第二角度，包括：
通过以下公式确定所述第二角度
Figure 607912DEST_PATH_IMAGE024
：
Figure 669409DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
表示所述第三坐标，
Figure 389978DEST_PATH_IMAGE028
表示所述第四坐标，
Figure DEST_PATH_IMAGE029
表示所述目标相机在所述竖直方向上的广角范围，
Figure 740188DEST_PATH_IMAGE030
表示所述目标相机在所述竖直方向上的最大分辨率。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第二角度和所述目标相机相对于地面的高度，确定所述目标关键点相对于所述目标相机的所述目标距离，包括：
通过以下公式确定所述目标距离
Figure DEST_PATH_IMAGE031
：
Figure DEST_PATH_IMAGE033
其中，
Figure 643553DEST_PATH_IMAGE024
表示所述第二角度，
Figure 825136DEST_PATH_IMAGE034
表示所述目标相机相对于地面的高度。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一角度、所述目标相机在水平方向上的广角范围以及所述目标相机在所述水平方向上的最大分辨率，确定所述第一角度的第一误差值。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一角度、所述目标相机在所述水平方向上的广角范围以及所述目标相机在所述水平方向上的最大分辨率，确定所述第一角度的第一误差值，包括：
通过以下公式确定所述第一角度的标准差
Figure DEST_PATH_IMAGE035
，其中，所述第一角度的第一误差值包括所述第一角度的标准差：
Figure DEST_PATH_IMAGE037
Figure DEST_PATH_IMAGE039
其中，
Figure 326393DEST_PATH_IMAGE019
表示所述第一角度，
Figure 163899DEST_PATH_IMAGE017
表示所述目标相机在所述水平方向上的广角范围，
Figure 730010DEST_PATH_IMAGE018
表示所述目标相机在所述水平方向上的最大分辨率，
Figure 467896DEST_PATH_IMAGE040
表示像素误差。
10.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述第二角度和所述目标距离，确定所述目标距离的第二误差值。
11.根据权利要求10所述的方法，其特征在于，所述根据所述第二角度和所述目标距离，确定所述目标距离的第二误差值，包括：
通过以下公式确定所述目标距离的标准差
Figure DEST_PATH_IMAGE041
，其中，所述目标距离的第二误差值包括所述目标距离的标准差：
Figure DEST_PATH_IMAGE043
Figure DEST_PATH_IMAGE045
Figure DEST_PATH_IMAGE047
其中，
Figure 641520DEST_PATH_IMAGE031
表示所述目标距离，
Figure 28639DEST_PATH_IMAGE024
表示所述第二角度，
Figure 834658DEST_PATH_IMAGE048
为预设的固定值，
Figure 725254DEST_PATH_IMAGE029
表示所述目标相机在所述竖直方向上的广角范围，
Figure 459992DEST_PATH_IMAGE030
表示所述目标相机在所述竖直方向上的最大分辨率，
Figure 68828DEST_PATH_IMAGE040
表示像素误差。
12.根据权利要求1所述的方法，其特征在于，所述方法包括：
在所述目标关键点包括多个关键点的情况下，根据所述多个关键点的目标位置、以及所述目标图像中的所述目标车辆的位姿信息，确定所述位姿信息的置信度。
13.一种位姿信息的确定装置，其特征在于，包括：
获取单元，用于在目标图像中获取目标关键点的目标位置，其中，所述目标图像是目标相机拍摄到的图像，所述目标相机为具有广角镜头的相机，所述目标关键点是所述目标图像中的目标车辆上的关键点；
第一确定单元，用于根据所述目标关键点的目标位置，确定所述目标关键点相对于所述目标相机的第一角度和目标距离，其中，所述第一角度为所述目标关键点的所述目标位置相对于所述目标相机的相机航向的角度；
第二确定单元，用于根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息；
其中，所述第二确定单元还用于执行以下步骤来实现根据所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息：在所述目标关键点包括多个关键点的情况下，根据所述多个关键点相对于所述目标相机的所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息，其中，所述目标车辆的位姿信息包括所述目标车辆的中心点的位置，所述目标车辆相对于所述目标相机的朝向角度，所述目标车辆的长度；
其中，所述第二确定单元还用于执行以下步骤来实现根据所述多个关键点相对于所述目标相机的所述第一角度和所述目标距离，确定所述目标图像中的所述目标车辆的位姿信息：
通过所述多个关键点对应的多组以下公式，确定所述目标图像中的所述目标车辆的位姿信息：
Figure 180003DEST_PATH_IMAGE002
Figure 190684DEST_PATH_IMAGE004
其中，
Figure 96324DEST_PATH_IMAGE005
表示所述多个关键点中的第i个关键点，i为自然数，
Figure DEST_PATH_IMAGE049
表示所述第i个关键点相对于所述目标相机的所述第一角度，（）表示所述目标车辆的中心点的位置，
Figure 628674DEST_PATH_IMAGE008
表示所述目标车辆相对于所述目标相机的朝向角度，
Figure 277961DEST_PATH_IMAGE050
与所述目标车辆的长度相关，
Figure DEST_PATH_IMAGE051
与所述目标车辆的宽度相关，
Figure 80832DEST_PATH_IMAGE050
表示所述第i个关键点与所述目标车辆的中心点在所述长度上的偏移量，
Figure 593591DEST_PATH_IMAGE051
表示所述第i个关键点与所述目标车辆的中心点在所述宽度上的偏移量，
Figure 177019DEST_PATH_IMAGE052
表示所述第i个关键点相对于所述目标相机的所述目标距离。
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至12任一项中所述的方法。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
CN202011316916.XA 2020-11-23 2020-11-23 位姿信息的确定方法和装置 Active CN112115930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316916.XA CN112115930B (zh) 2020-11-23 2020-11-23 位姿信息的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316916.XA CN112115930B (zh) 2020-11-23 2020-11-23 位姿信息的确定方法和装置

Publications (2)

Publication Number Publication Date
CN112115930A CN112115930A (zh) 2020-12-22
CN112115930B true CN112115930B (zh) 2021-03-16

Family

ID=73794903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316916.XA Active CN112115930B (zh) 2020-11-23 2020-11-23 位姿信息的确定方法和装置

Country Status (1)

Country Link
CN (1) CN112115930B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115002A (zh) * 2021-04-13 2021-07-13 大庆安瑞达科技开发有限公司 一种油气田人员、车辆定位关联视频监控方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101580071B (zh) * 2009-06-05 2010-12-15 中南大学 铁路机车车辆运行姿态测量系统
CN101819036B (zh) * 2009-11-25 2011-11-30 煤炭科学研究总院太原研究院 一种掘进机的空间位姿自动测量方法
CN103245335B (zh) * 2013-05-21 2015-11-04 北京理工大学 一种自主在轨服务航天器超近距离视觉位姿测量方法
CN106292653B (zh) * 2015-05-21 2018-12-14 中国科学院沈阳自动化研究所 基于视觉传感器系统的管道车辆纠偏方法
CN106843278B (zh) * 2016-11-24 2020-06-19 腾讯科技（深圳）有限公司 一种飞行器跟踪方法、装置及飞行器
CN106840137B (zh) * 2016-12-28 2022-12-27 中国煤炭科工集团太原研究院有限公司 一种四点式掘进机自动定位定向方法
JP6753383B2 (ja) * 2017-10-23 2020-09-09 株式会社Ｓｏｋｅｎ 物体検知装置
CN109747638B (zh) * 2018-12-25 2020-06-16 东软睿驰汽车技术（沈阳）有限公司 一种车辆行驶意图识别方法及装置
CN109782786B (zh) * 2019-02-12 2021-09-28 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机

Also Published As

Publication number Publication date
CN112115930A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN109920011B (zh) 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110176032B (zh) 一种三维重建方法及装置
CN107886477A (zh) 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN110264528B (zh) 一种鱼眼镜头双目像机快速自标定方法
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN111862180A (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112365549B (zh) 车载相机的姿态校正方法、装置和存储介质及电子装置
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
Luo et al. Fast terrain mapping from low altitude digital imagery
Christiansen et al. Platform for evaluating sensors and human detection in autonomous mowing operations
CN112115930B (zh) 位姿信息的确定方法和装置
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
CN112146620B (zh) 目标物体的测距方法及装置
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN109917417A (zh) 一种基于摄像装置的车辆外观测量方法和装置以及设备
CN111656404B (zh) 图像处理方法、系统及可移动平台
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
CN115409903A (zh) 相机标定方法、设备及计算机存储介质
CN114820809A (zh) 一种参数确定方法、设备以及计算机存储介质
CN114088103A (zh) 车辆定位信息的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221014

Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right