CN112489126B - 车辆关键点信息检测方法、车辆控制方法及装置、车辆 - Google Patents

车辆关键点信息检测方法、车辆控制方法及装置、车辆 Download PDF

Info

Publication number
CN112489126B
CN112489126B CN202011454859.1A CN202011454859A CN112489126B CN 112489126 B CN112489126 B CN 112489126B CN 202011454859 A CN202011454859 A CN 202011454859A CN 112489126 B CN112489126 B CN 112489126B
Authority
CN
China
Prior art keywords
target vehicle
information
dimensional coordinate
coordinate system
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011454859.1A
Other languages
English (en)
Other versions
CN112489126A (zh
Inventor
刘诗男
韩志伟
曾星宇
闫俊杰
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202011454859.1A priority Critical patent/CN112489126B/zh
Publication of CN112489126A publication Critical patent/CN112489126A/zh
Priority to KR1020227008917A priority patent/KR20220084021A/ko
Priority to PCT/CN2021/102179 priority patent/WO2022121283A1/zh
Application granted granted Critical
Publication of CN112489126B publication Critical patent/CN112489126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了车辆关键点信息检测方法、车辆控制方法及装置、车辆，包括：获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。

Description

车辆关键点信息检测方法、车辆控制方法及装置、车辆
技术领域
本公开涉及信息处理技术领域，具体而言，涉及车辆关键点信息检测方法、车辆控制方法及装置、车辆。
背景技术
在一些驾驶场景中，需要自动识别所驾驶车辆周围车辆行驶状态，从而对所驾驶车辆进行控制。实施时可以通过所驾驶车辆拍摄周围车辆的图片，然后根据对图片的识别结果确定周围车辆的行驶状态，从而控制所驾驶车辆的行驶状态。在识别所驾驶车辆拍摄的图片中的周围车辆时，需要借助于图片中周围车辆的关键点信息。
相关技术中，一般采用人工方式在样本图片上标注车辆的关键点信息，标注效率和准确率都比较低，通过这种样本图片训练出的关键点检测模型的检测精度也较低，影响了对图片中周围车辆行驶状态识别的准确度，从而影响对所驾驶车辆的控制策略。
发明内容
本公开实施例至少提供一种车辆关键点信息检测方法、车辆控制方法及装置、车辆。
第一方面，本公开实施例提供了一种车辆关键点信息检测方法，包括：
获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；
基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
上述方法中，通过针对目标车辆的三维扫描数据，可以确定目标车辆对应的多个关键点的三维坐标信息，然后基于目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，将多个关键点的三维坐标信息转换为待检测图片中的二维坐标信息，由于关键点的三维坐标信息是预先标注在目标车辆对应的三维车辆上的，因此，确定出的关键点的三维坐标信息比较精确，进而映射到待检测图片中，所确定出的关键点在待检测图片中的二维坐标也比较精确。
在一种可能的实施方式中，基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息：
基于所述三维扫描数据，确定所述目标车辆的参数信息；
根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型；
获取预先标注在所述目标车辆模型上的多个关键点的三维坐标信息；
所述根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息，包括：
根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
这里，关键点是预先标注在目标车辆模型上的，目标车辆模型为三维模型，因此得到的关键点的坐标信息为三维坐标信息，且由于目标车辆模型与真实的目标车辆是等比例的，因此所述关键点的三维坐标信息也比较精确。
在一种可能的实施方式中，根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息，包括：
基于所述参数信息，确定所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系；其中，所述相机坐标系为以采集所述待检测图片的相机为坐标原点的三维坐标系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息；
基于采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，基于所述参数信息，确定所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，包括：
基于所述参数信息，确定用于表征目标车辆模型的三维坐标系和所述相机坐标系之间的角度变化量的正交旋转矩阵，和用于表征目标车辆模型的三维坐标系和所述相机坐标系之间偏移量的平移矩阵；
根据所述正交旋转矩阵和所述偏移矩阵生成第一转换矩阵，所述第一转换矩阵用于表征所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息，包括：
基于所述第一转换矩阵，将所述目标车辆模型上关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息。
在一种可能的实施方式中，基于所述采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息，包括：
基于所述相机内参信息，确定用于表征所述相机坐标系与所述待检测图片对应的二维坐标系之间的转换关系的第二转换矩阵；
基于所述第二转换矩阵，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，确定所述多个关键点在所述待检测图片中的二维坐标信息，包括：
确定在所述待检测图片中可见关键点和/或不可见关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述基于所述三维扫描数据，确定所述目标车辆的参数信息，包括：
基于采集所述三维扫描数据的装置与采集所述待检测图片的相机之间的相对位置关系，将所述三维扫描数据转换到以所述相机为坐标原点的相机坐标系下；
将所述相机坐标系下的三维扫描数据输入至预先训练的神经网络进行处理，得到所述目标车辆的参数信息；所述神经网络为基于标注好车辆参数信息的样本三维扫描数据训练得到的。
在一种可能的实施方式中，所述基于所述三维扫描数据，确定所述目标车辆的参数信息，包括：
获取所述三维扫描数据对应的标注信息，所述标注信息包括所述目标车辆的参数信息。
在一种可能的实施方式中，所述目标车辆的参数信息中包括车辆型号信息；
所述根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型，包括：
根据所述车辆型号信息，从预先构建的多种三维车辆模型中，筛选出与所述车辆型号信息相匹配的目标车辆模型。
在一种可能的实施方式中，所述目标车辆的参数信息至少包括：
目标车辆的尺寸信息；
目标车辆的欧拉角信息；
目标车辆的中心点在相机坐标系下的坐标。
第二方面，本公开实施例提供了一种车辆控制方法，包括：
获取车辆采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于第一方面或第一方面任一可能的实施方式所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
这种方法中，样本图像所携带的监督信息是基于第一方面或第一方面任一可能的实施方式所述的方法确定的，由于样本图像的监督信息无需人工进行标注，因此在关键点检测模型的训练过程中，训练效率更高，且训练出的关键点检测模型识别精度也更高；基于关键点检测模型在对车辆行驶过程中采集的图像进行识别后，可以根据识别结果快速确定周围车辆的位姿信息，进而及时控制所驾驶车辆的行驶状态，提高了所驾驶车辆行驶过程中的安全性。
第三方面，本公开实施例还提供一种车辆关键点信息检测装置，包括：
第一获取模块，用于获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；
第一确定模块，用于基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
第二确定模块，用于根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第一确定模块，在基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息时，用于：
基于所述三维扫描数据，确定所述目标车辆的参数信息；
根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型；
获取预先标注在所述目标车辆模型上的多个关键点的三维坐标信息；
所述第二确定模块，在根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块，在根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
基于所述参数信息，确定所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系；其中，所述相机坐标系为以采集所述待检测图片的相机为坐标原点的三维坐标系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息；
基于采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块，在基于所述参数信息，确定所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系时，用于：
基于所述参数信息，确定用于表征目标车辆模型的三维坐标系和所述相机坐标系之间的角度变化量的正交旋转矩阵，和用于表征目标车辆模型的三维坐标系和所述相机坐标系之间偏移量的平移矩阵；
根据所述正交旋转矩阵和所述偏移矩阵生成第一转换矩阵，所述第一转换矩阵用于表征所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系；
所述第二确定模块，在根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息时，用于：
基于所述第一转换矩阵，将所述目标车辆模型上关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息。
在一种可能的实施方式中，所述第二确定模块，在基于所述采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息时，用于：
基于所述相机内参信息，确定用于表征所述相机坐标系与所述待检测图片对应的二维坐标系之间的转换关系的第二转换矩阵；
基于所述第二转换矩阵，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块，在确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
确定在所述待检测图片中可见关键点和/或不可见关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第一确定模块，在基于所述三维扫描数据，确定所述目标车辆的参数信息时，用于：
基于采集所述三维扫描数据的装置与采集所述待检测图片的相机之间的相对位置关系，将所述三维扫描数据转换到以所述相机为坐标原点的相机坐标系下；
将所述相机坐标系下的三维扫描数据输入至预先训练的神经网络进行处理，得到所述目标车辆的参数信息；所述神经网络为基于标注好车辆参数信息的样本三维扫描数据训练得到的。
在一种可能的实施方式中，所述第一确定模块，在基于所述三维扫描数据，确定所述目标车辆的参数信息时，用于：
获取所述三维扫描数据对应的标注信息，所述标注信息包括所述目标车辆的参数信息。
在一种可能的实施方式中，所述目标车辆的参数信息中包括车辆型号信息；
所述第一确定模块，在根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型时，用于：
根据所述车辆型号信息，从预先构建的多种三维车辆模型中，筛选出与所述车辆型号信息相匹配的目标车辆模型。
在一种可能的实施方式中，所述目标车辆的参数信息至少包括：
目标车辆的尺寸信息；
目标车辆的欧拉角信息；
目标车辆的中心点在相机坐标系下的坐标。
第四方面，本公开实施例还提供一种车辆控制装置，包括：
第二获取模块，用于获取车辆采集的待检测图片；
检测模块，用于将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于第一方面或第一方面任一种可能的实施方式确定的目标车辆对应的多个关键点的二维坐标信息；
识别模块，用于基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
控制模块，用于基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
第五方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第七方面，本公开实施例还提供一种车辆，包括：图像采集设备、以及计算设备；
所述图像采集设备，用于采集待检测图片；
所述计算设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如下步骤：
获取所述图像采集设备采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于第一方面或第一方面任一种可能的实施方式所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
关于上述车辆关键点信息检测装置、车辆控制装置、电子设备、及计算机可读存储介质、车辆的效果描述参见上述车辆关键点信息检测方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种车辆关键点信息检测方法的流程图；
图2示出了本公开实施例所提供的一种确定多个关键点在待检测图片中的二维坐标信息方法的流程图；
图3示出了本公开实施例所提供的一种车辆控制方法的流程示意图；
图4示出了本公开实施例所提供的一种车辆关键点信息检测装置的架构示意图；
图5示出了本公开实施例所提供的一种车辆控制装置的架构示意图；
图6示出了本公开实施例所提供的电子设备600的结构示意图；
图7示出了本公开实施例所提供的电子设备700的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
为了解决人工方式在样本图片上标注车辆的关键点信息标注效率低的问题，本公开提供了车辆关键点信息检测方法、车辆控制方法及装置、车辆，通过针对目标车辆的三维扫描数据，可以确定目标车辆对应的多个关键点的三维坐标信息，然后基于目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，将多个关键点的三维坐标信息转换为待检测图片中的二维坐标信息，由于关键点的三维坐标信息是预先标注在目标车辆对应的三维车辆上的，因此，确定出的关键点的三维坐标信息比较精确，进而映射到待检测图片中，所确定出的关键点在待检测图片中的二维坐标也比较精确。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种车辆关键点信息检测方法进行详细介绍，本公开实施例所提供的车辆关键点信息检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、个人数字助手(Personal Digital Assistant，PDA)、手持设备、计算设备等。在一些可能的实现方式中，该车辆关键点信息检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种车辆关键点信息检测方法的流程图，该方法包括以下几个步骤：
步骤101、获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片。
步骤102、基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息。
步骤103、根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
上述方法中，通过针对目标车辆的三维扫描数据，可以确定目标车辆对应的多个关键点的三维坐标信息，然后基于目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，将多个关键点的三维坐标信息转换为待检测图片中的二维坐标信息，由于关键点的三维坐标信息是预先标注在目标车辆对应的三维车辆上的，因此，确定出的关键点的三维坐标信息比较精确，进而映射到待检测图片中，所确定出的关键点在待检测图片中的二维坐标也比较精确。
以下是对上述步骤101～步骤103的详细说明。
针对步骤101、
在一种可能的实施方式中，所述针对目标车辆的三维扫描数据可以为针对目标车辆的点云数据。
在一种可能的实施方式中，获取的三维扫描数据和待检测图片可以是采集装置实时采集的，也可以是从数据库中获取历史采集的三维扫描数据和待检测图片。需要确保三维扫描数据针对的车辆与待检测图片中的目标车辆为具有相同位姿的同一车辆。以本方案的执行主体为计算机为例，在从数据库中获取历史采集的三维扫描数据和待检测图片时，可以是从计算机本地的数据库中读取的，也可以是从云端服务器读取的，对此本公开并不限定。
示例性的，三维扫描数据可以是通过激光雷达传感器获取的点云数据，激光雷达传感器和相机可以均安装在同一采集设备上，该采集设备可以是所驾驶车辆，或者数据采集机器人等；获取的激光雷达传感器采集的点云数据中包含有该目标车辆对应的点云数据。
在一种可能的应用场景中，所述目标车辆为采集设备在行驶过程中所采集到图片中的车辆，采集设备在行驶过程中可以每隔预设时长采集一次三维扫描数据和待检测图片，在执行本公开实施例所提供的方法时，为提高处理效率，可以先对采集设备在行驶过程中所采集到的三维扫描数据和待检测图片进行筛选，筛选出包含目标车辆的待检测图片和三维扫描数据，然后再执行步骤102～步骤103，对于并不包括目标车辆的待检测图片和三维扫描数据，可以直接进行丢弃。
下面，将以三维扫描数据为点云数据为例，则三维扫描数据的采集装置可以为激光雷达传感器，对步骤102和步骤103的执行步骤做出详细介绍。
针对步骤102、
在一种可能的实施方式中，在基于三维扫描数据，确定目标车辆对应的多个关键点的三维坐标信息时，可以先基于三维扫描数据，确定目标车辆的参数信息，然后根据参数信息，从预先构建的多种三维车辆模型中确定目标车辆对应的目标车辆模型，然后获取预先标注在目标车辆模型上的多个关键点的三维坐标信息。
其中，目标车辆的参数信息至少包括：
目标车辆的尺寸信息(例如目标车辆的长、宽、高等)；
目标车辆的欧拉角信息(例如俯仰角、翻滚角、偏航角等)；
目标车辆的中心点在相机坐标系下的坐标。
其中，目标车辆的中心点可以是指，覆盖目标车辆的最小长方体的体对角线的交点。
所述三维扫描数据是以采集三维扫描数据的装置为坐标原点下的数据，而目标车辆的参数信息是指目标车辆在相机坐标系下的参数信息，因此，在确定目标车辆的参数信息时，可以先将所述三维扫描数据转换到相机坐标系下，所述相机坐标系为以采集待检测图片的相机为坐标原点的坐标系。
以三维扫描数据为点云数据为例，由于激光雷达传感器在采集点云数据时，所记录的雷达点的坐标是在雷达坐标系下的坐标(即以激光雷达传感器为坐标原点构建的三维坐标系)，因此，在基于点云数据，确定目标车辆的参数信息时，可以先将激光雷达传感器采集的点云数据由以激光雷达为坐标原点的坐标系转换到相机坐标系中。
具体的，可以先基于激光雷达传感器和相机之间的相对位置关系，将激光雷达传感器采集的雷达坐标系下的点云数据，转换为以相机为坐标原点的相机坐标系下的点云数据；然后基于相机坐标系下的点云数据，确定目标车辆的参数信息。
在基于相机坐标系下的点云数据，确定目标车辆的参数信息时，示例性的，可以将相机坐标系下的点云数据输入至预先训练的神经网络中，得到目标车辆的参数信息。
其中，神经网络在训练过程中，可以是基于标注好车辆参数信息的样本点云数据训练得到的，样本点云数据的标注的车辆参数信息可以是人工进行标注的。
具体的，可以将样本点云数据输入待训练的神经网络中，输出得到神经网络预测的车辆参数信息，然后基于预测的车辆参数信息与该样本点云数据对应的标注的车辆参数信息，确定本次训练过程中的模型损失值，并在确定的模型损失值不满足预设条件的情况下，基于模型损失值调整神经网络的模型参数。
在另外一种可能的实施方式中，在基于三维扫描数据，确定目标车辆的参数信息时，还可以通过人工对三维扫描数据进行标注，然后获取三维扫描数据对应的标注信息，标注信息中包括目标车辆的参数信息。
需要说明的是，在这种实施方式中，由于需要人工去对三维扫描数据进行标注，因此这种实施方式并不适用于实时确定待检测图片中关键点的二维坐标信息的应用场景中。
目标车辆对应的多个关键点可以是目标车辆模型上的预设位置点，例如可以包括后视镜、车轮、车灯等，具体车辆模型上的关键点可以根据用户需求进行设置，不同型号的三维车辆模型上的关键点的个数和关键点的位置可以相同。
实际应用中，可以预先构建多种型号的车辆的三维车辆模型，该三维车辆模型可以是CAD模型，然后先确定每个三维车辆模型上各个关键点的三维坐标信息，其中，该三维坐标信息是在车辆模型坐标系下的坐标信息，所述车辆模型坐标系是以三维车辆模型上的任一位置点为坐标原点构建的三维坐标系，不同型号的三维车辆模型的坐标原点可以车辆的同一位置，例如均以车辆的后视镜为坐标原点。
在另一种可能的实施方式中，目标车辆的参数信息中还可以包括目标车辆的车辆型号信息，车辆型号信息例如可以包括车辆品牌名、车辆型号名等。
在基于目标车辆的参数信息，从预先构建的多种三维车辆模型中选择目标车辆模型时，可以先确定目标车辆的参数信息中的车辆型号信息，然后根据车辆型号信息，从预先构建的多种三维车辆模型中，筛选出与车辆型号信息相匹配的目标车辆模型。
在另外一种可能的实施方式中，还可以仅根据待检测图片确定待检测图片中目标车辆的车辆型号信息，示例性的，可以对待检测图片进行语义识别，或者通过预先训练好的车辆识别网络，识别待检测图片中的车辆型号信息。
在筛选出目标车辆模型之后，由于在构建目标车辆模型时，已经确定各个关键点在目标车辆模型上的三维坐标信息，因此，可以直接根据筛选出的目标车辆模型，确定目标车辆模型上多个关键点的三维坐标信息。
针对步骤103、
具体实施中，在根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述三维车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息时，可以参照图2所述的方法，包括以下两个步骤：
步骤201、基于所述参数信息，确定所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系。
步骤202、根据所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在相机坐标系下的三维坐标信息。
步骤203、基于采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
其中，目标车辆模型上每一个关键点对应的目标车辆上的关键点为，目标车辆模型上的每一个关键点在真实的世界中的目标车辆上的关键点，例如，目标车辆模型上的后视镜上的关键点在真实世界中的目标车辆的后视镜的关键点，所述目标车辆模型上的每个关键点在目标车辆上均对应有真实的关键点。
具体的，在根据目标车辆的参数信息，确定目标车辆模型的三维坐标系与相机坐标系之间的转换关系时，可以先基于参数信息，确定用于表征目标车辆模型的三维坐标系和相机坐标系之间角度变化量的正交旋转矩阵，和用于表征目标车辆模型的三维坐标系和相机坐标系之间偏移量的平移矩阵；然后根据所述正交旋转矩阵和所述偏移矩阵生成第一转换矩阵，所述第一转换矩阵用于表征所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系；在根据所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系，确定所述目标车辆模型上每一个关键点对应的所述目标车辆上的关键点在相机坐标系下的三维坐标信息时，可以是基于所述第一转换矩阵，将所述目标车辆模型上每一个关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息。
需要说明的是，目标车辆模型的三维坐标系是以目标车辆模型上的任一位置点为坐标原点构建的三维坐标系，相机坐标系是以相机为坐标原点构建的三维坐标系。
具体实施中，可以通过以下公式确定第一转换矩阵：
其中，R为正交旋转矩阵，T为偏移矩阵，R可以表示为：
yaw表示目标车辆的参数信息中的偏航角，pitch表示目标车辆的参数信息中的俯仰角，roll表示目标车辆的参数信息中的翻滚角；T可以表示为：
T＝[xc yc zc]T
xc、yc、zc表示目标车辆的参数信息中目标车辆的中心点在相机坐标系下的坐标。
在基于第一转换矩阵，将所述目标车辆模型上多个关键点中的每一个关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息时，可以通过以下公式进行计算：
Pci＝SPki
其中，Pci表示第i个关键点在相机坐标系下的三维坐标信息，Pki表示第i个关键点在目标车辆模型的三维坐标系下的三维坐标信息。
针对步骤203，在一种可能的实施方式中，在基于采集待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息时，可以先基于相机内参信息，确定第二转换矩阵，第二转换矩阵用于表征相机坐标系与待检测图片对应的二维坐标系之间的转换关系，然后基于第二转换矩阵，将关键点在相机坐标系下的三维坐标信息转换成在待检测图片中的二维坐标信息。
其中，相机内参信息可以包括相机焦距和主点的实际坐标，实际应用中，相机内参信息可以在相机出厂时获得，在之后的应用中相机内参信息不会发生改变。
具体的，可以根据以下公式确定第二转换矩阵：
其中，fx表示横轴焦距，fy表示纵轴焦距，(u0,v0)表示主点的实际坐标。
在基于第二转换矩阵，将关键点在相机坐标系下的三维坐标信息转换成在待检测图片中的二维坐标信息时，可以通过如下公式进行转换：
其中，(ui,vi)表示转换后的第i个关键点在待检测图片中的二维坐标信息，Zc表示相机内参信息中目标车辆的中心点在相机坐标系下的坐标中的Z轴坐标，K表示第二转换矩阵，Pci表示第i个关键点在相机坐标系下的三维坐标信息。
这里，需要说明的是，由于待检测图片的拍摄角度的影响，在确定多个关键点在待检测图片中的二维坐标信息时，所确定的多个关键点包括在待检测图片中的可见关键点和/或不可见关键点，所述在待检测图片中的可见关键点，即为在待检测图片中(肉眼)可以看到的关键点，在待检测图片中不可见关键点，即为受拍摄角度的影响，在待检测图片中(肉眼)不可见的关键点。
在一种可能的实施方式中，在确定多个关键点在待检测图片中的二维坐标信息之后，还可以基于多个目标车辆对应的多个关键点在待检测图片中的二维坐标信息，训练关键点检测模型，所述关键点检测模型用于检测所驾驶车辆在行驶过程中采集的待检测图片中的关键点的二维坐标信息。
示例性的，参照图3所示，为本公开所提供的一种车辆控制方法的流程示意图，包括以下几个步骤：
步骤301、获取车辆采集的待检测图片。
步骤302、将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有本公开所提供的方法确定的目标车辆对应的多个关键点的二维坐标信息。
步骤303、基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息。
步骤304、基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
在一种可能的实施方式中，在训练所述关键点检测模型时，可以将每一张样本图片输入至关键点检测模型中，得到关键点检测模型预测的关键点的二维坐标信息，然后预先基于本公开所使用的方法确定的该样本图片对应的二维坐标信息和预测的关键点的二维坐标信息，确定本次训练过程中的损失值，并在确定出的损失值不满足预设条件的情况下，调整本次训练过程中关键点检测模型的模型参数。
步骤303中，基于周围车辆的关键点的二维坐标信息，识别周围车辆的位姿信息可以采用现有的位姿识别方式来实施，这里不做限制。
所述控制车辆的行驶状态，可以包括控制车辆前进、后退、转弯、提速、降速、刹车等。
这种方法中，样本图像所携带的监督信息是基于本申请实施例提供的车辆关键点信息检测方法确定的，由于样本图像的监督信息无需人工进行标注，因此在关键点检测模型的训练过程中，训练效率更高，且训练出的关键点检测模型识别精度也更高；基于关键点检测模型在对车辆行驶过程中采集的图像进行识别后，可以根据识别结果快速确定周围车辆的位姿信息，进而及时控制所驾驶车辆的行驶状态，提高了所驾驶车辆行驶过程中的安全性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与车辆关键点信息检测方法对应的车辆关键点信息检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述车辆关键点信息检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种车辆关键点信息检测装置的架构示意图，所述装置包括：第一获取模块401、第一确定模块402、第二确定模块403；具体的：
第一获取模块401，用于获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；
第一确定模块402，用于基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
第二确定模块403，用于根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第一确定模块402，在基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息时，用于：
基于所述三维扫描数据，确定所述目标车辆的参数信息；
根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型；
获取预先标注在所述目标车辆模型上的多个关键点的三维坐标信息；
所述第二确定模块403，在根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块403，在根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
基于所述参数信息，确定所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系；其中，所述相机坐标系为以采集所述待检测图片的相机为坐标原点的三维坐标系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息；
基于采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块403，在基于所述参数信息，确定所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系时，用于：
基于所述参数信息，确定用于表征目标车辆模型的三维坐标系和所述相机坐标系之间的角度变化量的正交旋转矩阵，和用于表征目标车辆模型的三维坐标系和所述相机坐标系之间偏移量的平移矩阵；
根据所述正交旋转矩阵和所述偏移矩阵生成第一转换矩阵，所述第一转换矩阵用于表征所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系；
所述第二确定模块403，在根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息时，用于：
基于所述第一转换矩阵，将所述目标车辆模型上关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息。
在一种可能的实施方式中，所述第二确定模块403，在基于所述采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息时，用于：
基于所述相机内参信息，确定用于表征所述相机坐标系与所述待检测图片对应的二维坐标系之间的转换关系的第二转换矩阵；
基于所述第二转换矩阵，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第二确定模块403，在确定所述多个关键点在所述待检测图片中的二维坐标信息时，用于：
确定在所述待检测图片中可见关键点和/或不可见关键点在所述待检测图片中的二维坐标信息。
在一种可能的实施方式中，所述第一确定模块402，在基于所述三维扫描数据，确定所述目标车辆的参数信息时，用于：
基于采集所述三维扫描数据的装置与采集所述待检测图片的相机之间的相对位置关系，将所述三维扫描数据转换到以所述相机为坐标原点的相机坐标系下；
将所述相机坐标系下的三维扫描数据输入至预先训练的神经网络进行处理，得到所述目标车辆的参数信息；所述神经网络为基于标注好车辆参数信息的样本三维扫描数据训练得到的。
在一种可能的实施方式中，所述第一确定模块402，在基于所述三维扫描数据，确定所述目标车辆的参数信息时，用于：
获取所述三维扫描数据对应的标注信息，所述标注信息包括所述目标车辆的参数信息。
在一种可能的实施方式中，所述目标车辆的参数信息中包括车辆型号信息；
所述第一确定模块402，在根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型时，用于：
根据所述车辆型号信息，从预先构建的多种三维车辆模型中，筛选出与所述车辆型号信息相匹配的目标车辆模型。
在一种可能的实施方式中，所述目标车辆的参数信息至少包括：
目标车辆的尺寸信息；
目标车辆的欧拉角信息；
目标车辆的中心点在相机坐标系下的坐标。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
参照图5所示，为本公开实施例提供的一种车辆控制装置的架构示意图，所述装置包括：第二获取模块501、检测模块502、识别模块503、以及控制模块504；具体的：
第二获取模块501，用于获取车辆采集的待检测图片；
检测模块502，用于将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于上述实施例提供的方法确定的目标车辆对应的多个关键点的二维坐标信息；
识别模块503，用于基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
控制模块504，用于基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
基于同一技术构思，本申请实施例还提供了一种电子设备。参照图6所示，为本申请实施例提供的电子设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当电子设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；
基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
基于同一技术构思，本申请实施例还提供了一种电子设备。参照图7所示，为本申请实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
获取车辆采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于上述实施例所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
本公开实施例还提供一种车辆，包括：图像采集设备、以及计算设备；
所述图像采集设备，用于采集待检测图片；
所述计算设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如下步骤：
获取所述图像采集设备采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于上述实施例所提供的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
本公开实施例提供的车辆可以为自动驾驶车辆，也可以为具有部分智能控制功能的人工驾驶车辆。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的车辆关键点信息检测方法、车辆控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的车辆关键点信息检测方法、车辆控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的车辆关键点信息检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
上述计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种车辆关键点信息检测方法，其特征在于，包括：
获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；其中，所述待检测图片中的目标车辆与所述三维扫描数据中的目标车辆具有相同的位姿；
基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息；其中，所述待检测图片中的二维坐标信息包括可见关键点和不可见关键点的二维坐标信息，所述二维坐标信息为训练关键点检测模型时的监督数据，所述关键点检测模型的输出为关键点的二维坐标信息。
2.根据权利要求1所述的方法，其特征在于，基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息：
基于所述三维扫描数据，确定所述目标车辆的参数信息；
根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型；
获取预先标注在所述目标车辆模型上的多个关键点的三维坐标信息；
所述根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息，包括：
根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息。
3.根据权利要求2所述的方法，其特征在于，根据所述目标车辆模型的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及预先标注在所述目标车辆模型上的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息，包括：
基于所述参数信息，确定所述目标车辆模型的三维坐标系与相机坐标系之间的转换关系；其中，所述相机坐标系为以采集所述待检测图片的相机为坐标原点的三维坐标系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息；
基于采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
4.根据权利要求3所述的方法，其特征在于，基于所述参数信息，确定所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，包括：
基于所述参数信息，确定用于表征目标车辆模型的三维坐标系和所述相机坐标系之间的角度变化量的正交旋转矩阵，和用于表征目标车辆模型的三维坐标系和所述相机坐标系之间偏移量的平移矩阵；
根据所述正交旋转矩阵和所述平移矩阵生成第一转换矩阵，所述第一转换矩阵用于表征所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系；
根据所述目标车辆模型的三维坐标系与所述相机坐标系之间的转换关系，确定所述目标车辆模型上关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息，包括：
基于所述第一转换矩阵，将所述目标车辆模型上关键点对应的三维坐标信息，转换为与该关键点对应的所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息。
5.根据权利要求3所述的方法，其特征在于，基于所述采集所述待检测图片的相机的相机内参信息，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息，包括：
基于所述相机内参信息，确定用于表征所述相机坐标系与所述待检测图片对应的二维坐标系之间的转换关系的第二转换矩阵；
基于所述第二转换矩阵，将所述目标车辆上的关键点在所述相机坐标系下的三维坐标信息转换成在所述待检测图片中的二维坐标信息。
6.根据权利要求2～5任一所述的方法，其特征在于，所述基于所述三维扫描数据，确定所述目标车辆的参数信息，包括：
基于采集所述三维扫描数据的装置与采集所述待检测图片的相机之间的相对位置关系，将所述三维扫描数据转换到以所述相机为坐标原点的相机坐标系下；
将所述相机坐标系下的三维扫描数据输入至预先训练的神经网络进行处理，得到所述目标车辆的参数信息；所述神经网络为基于标注好车辆参数信息的样本三维扫描数据训练得到的。
7.根据权利要求2～5任一所述的方法，其特征在于，所述基于所述三维扫描数据，确定所述目标车辆的参数信息，包括：
获取所述三维扫描数据对应的标注信息，所述标注信息包括所述目标车辆的参数信息。
8.根据权利要求2～5任一所述的方法，其特征在于，所述目标车辆的参数信息中包括车辆型号信息；
所述根据所述参数信息，从预先构建的多种三维车辆模型中确定所述目标车辆对应的目标车辆模型，包括：
根据所述车辆型号信息，从预先构建的多种三维车辆模型中，筛选出与所述车辆型号信息相匹配的目标车辆模型。
9.根据权利要求2～5任一所述的方法，其特征在于，所述目标车辆的参数信息至少包括：
目标车辆的尺寸信息；
目标车辆的欧拉角信息；
目标车辆的中心点在相机坐标系下的坐标。
10.一种车辆控制方法，其特征在于，所述方法包括：
获取车辆采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于权利要求1～9任一所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
11.一种车辆关键点信息检测装置，其特征在于，包括：
第一获取模块，用于获取针对目标车辆的三维扫描数据，以及包含所述目标车辆的待检测图片；其中，所述待检测图片中的目标车辆与所述三维扫描数据中的目标车辆具有相同的位姿；
第一确定模块，用于基于所述三维扫描数据，确定所述目标车辆对应的多个关键点的三维坐标信息；
第二确定模块，用于根据所述目标车辆的三维坐标系与所述待检测图片的二维坐标系之间的坐标转换关系，以及所述目标车辆对应的多个关键点的三维坐标信息，确定所述多个关键点在所述待检测图片中的二维坐标信息；其中，所述待检测图片中的二维坐标信息包括可见关键点和不可见关键点的二维坐标信息，所述二维坐标信息为训练关键点检测模型时的监督数据，所述关键点检测模型的输出为关键点的二维坐标信息。
12.一种车辆控制装置，其特征在于，包括：
第二获取模块，用于获取车辆采集的待检测图片；
检测模块，用于将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于权利要求1～9任一所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
识别模块，用于基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
控制模块，用于基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的车辆关键点信息检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任意一项所述的车辆关键点信息检测方法的步骤。
15.一种车辆，其特征在于，包括：图像采集设备、以及计算设备；
所述图像采集设备，用于采集待检测图片；
所述计算设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如下步骤：
获取所述图像采集设备采集的待检测图片；
将所述待检测图片输入至预先训练的关键点检测模型中，得到所述车辆的周围车辆的关键点的二维坐标信息；其中，所述关键点检测模型是基于多张样本图像训练得到的，所述样本图像携带有基于权利要求1～9任一所述的方法确定的目标车辆对应的多个关键点的二维坐标信息；
基于所述周围车辆的关键点的二维坐标信息，识别所述周围车辆的位姿信息；
基于识别的所述周围车辆的位姿信息，控制所述车辆的行驶状态。
CN202011454859.1A 2020-12-10 2020-12-10 车辆关键点信息检测方法、车辆控制方法及装置、车辆 Active CN112489126B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011454859.1A CN112489126B (zh) 2020-12-10 2020-12-10 车辆关键点信息检测方法、车辆控制方法及装置、车辆
KR1020227008917A KR20220084021A (ko) 2020-12-10 2021-06-24 차량 키포인트 정보 검출 및 차량 제어
PCT/CN2021/102179 WO2022121283A1 (zh) 2020-12-10 2021-06-24 车辆关键点信息检测和车辆控制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011454859.1A CN112489126B (zh) 2020-12-10 2020-12-10 车辆关键点信息检测方法、车辆控制方法及装置、车辆

Publications (2)

Publication Number Publication Date
CN112489126A CN112489126A (zh) 2021-03-12
CN112489126B true CN112489126B (zh) 2023-09-19

Family

ID=74916656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011454859.1A Active CN112489126B (zh) 2020-12-10 2020-12-10 车辆关键点信息检测方法、车辆控制方法及装置、车辆

Country Status (3)

Country Link
KR (1) KR20220084021A (zh)
CN (1) CN112489126B (zh)
WO (1) WO2022121283A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489126B (zh) * 2020-12-10 2023-09-19 浙江商汤科技开发有限公司 车辆关键点信息检测方法、车辆控制方法及装置、车辆
CN113327192B (zh) * 2021-05-11 2022-07-08 武汉唯理科技有限公司 一种通过三维测量技术测算汽车行驶速度的方法
CN113793413A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质
CN114705121B (zh) * 2022-03-29 2024-05-14 智道网联科技(北京)有限公司 车辆位姿测量方法、装置及电子设备、存储介质
CN115661577B (zh) * 2022-11-01 2024-04-16 吉咖智能机器人有限公司 用于对象检测的方法、设备和计算机可读存储介质
CN116883496B (zh) * 2023-06-26 2024-03-12 小米汽车科技有限公司 交通元素的坐标重建方法、装置、电子设备及存储介质
CN117078752B (zh) * 2023-07-19 2024-05-28 苏州魔视智能科技有限公司 车辆位姿估计方法、装置、车辆及存储介质
CN117423109A (zh) * 2023-10-31 2024-01-19 北京代码空间科技有限公司 一种图像关键点标注方法及其相关设备
CN117274956B (zh) * 2023-11-17 2024-05-24 深圳市航盛电子股份有限公司 车辆侧视图生成方法、装置、终端设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN110370286A (zh) * 2019-08-13 2019-10-25 西北工业大学 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN110427917A (zh) * 2019-08-14 2019-11-08 北京百度网讯科技有限公司 用于检测关键点的方法和装置
US10600210B1 (en) * 2019-07-25 2020-03-24 Second Spectrum, Inc. Data processing systems for real-time camera parameter estimation
CN111340877A (zh) * 2020-03-25 2020-06-26 北京爱笔科技有限公司 一种车辆定位方法及装置
CN111462249A (zh) * 2020-04-02 2020-07-28 北京迈格威科技有限公司 一种交通摄像头的标定数据获取方法、标定方法及装置
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法
CN111951326A (zh) * 2019-05-15 2020-11-17 北京地平线机器人技术研发有限公司 基于多摄像装置的目标对象骨骼关键点定位方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
CN109903337B (zh) * 2019-02-28 2022-06-14 北京百度网讯科技有限公司 用于确定挖掘机的铲斗的位姿的方法和装置
CN112489126B (zh) * 2020-12-10 2023-09-19 浙江商汤科技开发有限公司 车辆关键点信息检测方法、车辆控制方法及装置、车辆

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN111951326A (zh) * 2019-05-15 2020-11-17 北京地平线机器人技术研发有限公司 基于多摄像装置的目标对象骨骼关键点定位方法和装置
US10600210B1 (en) * 2019-07-25 2020-03-24 Second Spectrum, Inc. Data processing systems for real-time camera parameter estimation
CN110370286A (zh) * 2019-08-13 2019-10-25 西北工业大学 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN110427917A (zh) * 2019-08-14 2019-11-08 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN111340877A (zh) * 2020-03-25 2020-06-26 北京爱笔科技有限公司 一种车辆定位方法及装置
CN111462249A (zh) * 2020-04-02 2020-07-28 北京迈格威科技有限公司 一种交通摄像头的标定数据获取方法、标定方法及装置
CN111652928A (zh) * 2020-05-11 2020-09-11 上海交通大学 三维点云中物体抓取位姿检测方法

Also Published As

Publication number Publication date
WO2022121283A1 (zh) 2022-06-16
CN112489126A (zh) 2021-03-12
KR20220084021A (ko) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112489126B (zh) 车辆关键点信息检测方法、车辆控制方法及装置、车辆
CN110869974B (zh) 点云处理方法、设备及存储介质
CN111539484B (zh) 训练神经网络的方法及装置
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN112907746B (zh) 电子地图的生成方法、装置、电子设备及存储介质
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN115205383A (zh) 相机位姿的确定方法、装置、电子设备及存储介质
CN111724432B (zh) 物体三维检测方法和装置
CN113624223A (zh) 一种室内停车场地图构建方法及装置
CN112926461A (zh) 神经网络训练、行驶控制方法及装置
CN110969104B (zh) 基于二值化网络检测可行驶区域的方法、系统及存储介质
CN114140533A (zh) 摄像头外参标定的方法与装置
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN112818845B (zh) 测试方法、目标对象检测方法、行驶控制方法及装置
CN112668596B (zh) 三维物体识别方法及装置、识别模型训练方法及装置
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN114419581A (zh) 一种目标检测样本遗漏的确定方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039731

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant