CN117409395A - 车辆控制方法、装置、系统、车辆及可读存储介质 - Google Patents

车辆控制方法、装置、系统、车辆及可读存储介质 Download PDF

Info

Publication number
CN117409395A
CN117409395A CN202311356129.1A CN202311356129A CN117409395A CN 117409395 A CN117409395 A CN 117409395A CN 202311356129 A CN202311356129 A CN 202311356129A CN 117409395 A CN117409395 A CN 117409395A
Authority
CN
China
Prior art keywords
hand
vehicle
coordinate
identified
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311356129.1A
Other languages
English (en)
Inventor
周佳航
贺刚
刁楷
任伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202311356129.1A priority Critical patent/CN117409395A/zh
Publication of CN117409395A publication Critical patent/CN117409395A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种车辆控制方法、装置、系统、车辆及可读存储介质，涉及车辆技术领域，以减小用户与车辆进行交互控制时的延迟。该方法包括：响应于语音控制指令，获取车辆内部人员的待识别手部图像；确定待识别手部图像中的多个关节点的像素坐标以及相对深度；根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标；根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件；对目标车辆部件执行语音控制指令指示的控制操作。

Description

车辆控制方法、装置、系统、车辆及可读存储介质
技术领域
本发明涉及车辆技术领域，具体涉及一种车辆控制方法、装置、系统、车辆及可读存储介质。
背景技术
为了增加驾驶者和乘客的车内体验，车辆不断的向智能化进行发展。例如，驾驶者和乘客可以通过手势与车内设备进行交互，实现不同的功能。为了通过手势与车内设备进行交互，实现不同的功能，需要准确的计算出手部的位置以及姿态。
相关技术中，可以通过采集手部的红外图像和深度图像，并提取手掌轮廓区域中各个像素点的颜色、三维坐标等特征数据，并通过该特征数据进行手势识别，然而，此方式只能进行手势的识别，无法确定手势位置，也就不能精确的根据手势与不同车内设备进行交互，用户体验效果较差。
发明内容
本发明的目的之一在于提供一种车辆控制方法、装置、系统、车辆及可读存储介质，以减小用户与车辆进行交互控制时的延迟。
第一方面，提供一种车辆控制方法，应用于待检测车辆中的车辆控制器，包括：响应于语音控制指令，获取车辆内部人员的待识别手部图像；确定待识别手部图像中的多个关节点的像素坐标以及相对深度；相对深度为关节点相对于根关节点的深度距离；针对每个关节点，根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标；根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件；对目标车辆部件执行语音控制指令指示的控制操作。
可以根据待识别手部图像中每个关节点的热力图、深度坐标确定待识别手部图像中的多个关节点的世界坐标，并根据待识别手部图像中的多个关节点的世界坐标确定待识别手部的手部姿态是否为目标手部姿态。这样，可以在进行手势识别的基础上确定手势位置，由于多个关节点的世界坐标可以较为丰富准确的提供手部姿态的建模数据，可以提高识别手部姿态的准确率。另外，无需对多目图像中的多个图像进行识别以及匹配处理，仅通过单目图像即可识别出用户的手部姿态，可以提高识别手部姿态的效率。进一步，在手部姿态为目标手部姿态的情况下，根据待识别手部的指向方向，确定目标车辆部件，并响应于语音控制指令，对目标车辆部件执行语音控制指令指示的控制操作。由于上述分析本申请识别手部姿态的准确率较高，这样，可以精确的根据手势与不同车内设备进行交互，提高用户体验效果，另外，由于上述分析本申请识别手部姿态的效率较高，可以减少确定目标车辆部件的时间，进而可以减小对车辆进行交互控制时的延迟，提高用户体验。
进一步，获取车载摄像头的摄像头参数、待识别手部的真实面积以及待识别手部的像素面积；将摄像头参数、待识别手部的真实面积以及待识别手部的像素面积代入深度计算公式，得到根关节点与车载摄像头之间的距离；根据根关节点与车载摄像头之间的距离以及摄像头参数，将关节点的像素坐标和深度坐标映射至世界坐标系，得到关节点的世界坐标。
进一步，确定待识别手部图像中的多个关节点的像素坐标以及相对深度，包括：将待识别手部图像输入手部姿态估计模型，得到多个关节点的热力图及相对深度；针对每个关节点的热力图，对关节点的热力图进行解码，得到关节点的像素坐标，以获得多个关节点中每个关节点的像素坐标。
进一步，针对多个关节点中的任一关节点，关节点的热力图包括第一热力图和第二热力图；第一热力图为第一关节点在第一轴向的热力图；第二热力图为第一关节点在第二轴向的热力图；第一轴向和第二轴向为像素坐标系中的不同轴向，热力图为一维热力图。
进一步，确定关节点的第一热力值坐标和第二热力值坐标；第一热力值坐标为关节点在第一热力图中的最大热力值处对应的坐标，第二热力值坐标为关节点在第二热力图中的最大热力值处对应的坐标；按照目标比例系数将第一热力值坐标和第二热力值坐标映射至像素坐标系，得到关节点的像素坐标；目标比例系数为待识别手部图像的分辨率与关节点的热力图的分辨率的比值。
进一步，根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，包括：将多个关节点的世界坐标输入姿态分类模型，得到多个关节点的手部姿态与目标手部姿态的匹配度；在匹配度大于或等于匹配度阈值的情况下，确定待识别手部的手部姿态为目标手部姿态；在匹配度小于匹配度阈值的情况下，确定待识别手部的手部姿态为非目标手部姿态。
进一步，确定待识别手部的指向方向对应的目标车辆部件，包括：利用向量法确定目标手部姿态的指向方向与车内平面的交点坐标；在交点坐标处于第一车辆部件的坐标范围内的情况下，将第一车辆部件确定为目标车辆部件；第一车辆部件为多个车辆部件中的任一个；多个车辆部件位于同一坐标系，且多个车辆部件的坐标范围不同。
第二方面，提供了一种车辆控制装置，该装置包括：获取单元、确定单元、处理单元；获取单元，用于响应于语音控制指令，获取车辆内部人员的待识别手部图像；确定单元，用于确定待识别手部图像中的多个关节点的像素坐标以及相对深度；相对深度为关节点相对于根关节点的深度距离；处理单元，用于针对每个关节点，根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标；确定单元，还用于根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件；处理单元，还用于对目标车辆部件执行语音控制指令指示的控制操作。
进一步，待识别手部图像为车载摄像头采集到的，处理单元，具体用于：获取车载摄像头的摄像头参数、待识别手部的真实面积以及待识别手部的像素面积；将摄像头参数、待识别手部的真实面积以及待识别手部的像素面积代入深度计算公式，得到根关节点与车载摄像头之间的距离；根据根关节点与车载摄像头之间的距离以及摄像头参数，将关节点的像素坐标和深度坐标映射至世界坐标系，得到关节点的世界坐标。
进一步，确定单元，具体用于：将待识别手部图像输入手部姿态估计模型，得到多个关节点的热力图及相对深度；针对每个关节点的热力图，对关节点的热力图进行解码，得到关节点的像素坐标，以获得多个关节点中每个关节点的像素坐标。
进一步，针对多个关节点中的任一关节点，关节点的热力图包括第一热力图和第二热力图；第一热力图为第一关节点在第一轴向的热力图；第二热力图为第一关节点在第二轴向的热力图；第一轴向和第二轴向为像素坐标系中的不同轴向，热力图为一维热力图。
进一步，处理单元，具体还用于：确定关节点的第一热力值坐标和第二热力值坐标；第一热力值坐标为关节点在第一热力图中的最大热力值处对应的坐标，第二热力值坐标为关节点在第二热力图中的最大热力值处对应的坐标；按照目标比例系数将第一热力值坐标和第二热力值坐标映射至像素坐标系，得到关节点的像素坐标；目标比例系数为待识别手部图像的分辨率与关节点的热力图的分辨率的比值。
进一步，确定单元，具体用于：将多个关节点的世界坐标输入姿态分类模型，得到多个关节点的手部姿态与目标手部姿态的匹配度；在匹配度大于或等于匹配度阈值的情况下，确定待识别手部的手部姿态为目标手部姿态；在匹配度小于匹配度阈值的情况下，确定待识别手部的手部姿态为非目标手部姿态。
进一步，处理单元，具体还用于：利用向量法确定目标手部姿态的指向方向与车内平面的交点坐标；在交点坐标处于第一车辆部件的坐标范围内的情况下，将第一车辆部件确定为目标车辆部件；第一车辆部件为多个车辆部件中的任一个；多个车辆部件位于同一坐标系，且多个车辆部件的坐标范围不同。
第三方面，提供了一种车辆控制器，包括：处理器；用于存储处理器可执行指令的存储器；处理器被配置为执行指令，第一方面或第一方面的任一可能的设计中所执行的功能。
第四方面，提供了一种车辆控制系统，车辆控制系统包括车辆控制装置，车辆控制装置用于执行如第一方面或第一方面的任一可能的设计中的方法。
第五方面，提供了一种车辆，包括如第六方面所提供的车辆控制系统。
第六方面，提供了一种车辆控制装置，该车辆控制装置可以实现上述各方面或者各可能的设计中车辆控制装置所执行的功能，功能可以通过硬件实现，如：一种可能的设计中，该车辆控制装置可以包括：处理器和通信接口，处理器可以用于支持车辆控制装置实现上述第一方面或者第一方面的任一种可能的设计中所涉及的功能。
在又一种可能的设计中，车辆控制装置还可以包括存储器，存储器用于保存车辆控制装置必要的计算机执行指令和数据。当该车辆控制装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该车辆控制装置执行上述第一方面或者第一方面的任一种可能的车辆控制方法。
第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质可以为可读的非易失性存储介质，该计算机可读存储介质存储有计算机指令或者程序，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的车辆控制方法。
第八方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的设计的车辆控制方法。
本发明的有益效果：
(1)可以根据待识别手部图像中每个关节点的热力图、深度坐标确定待识别手部图像中的多个关节点的世界坐标，并根据待识别手部图像中的多个关节点的世界坐标确定待识别手部的手部姿态是否为目标手部姿态。这样，可以在进行手势识别的基础上确定手势位置，由于多个关节点的世界坐标可以较为丰富准确的提供手部姿态的建模数据，可以提高识别手部姿态的准确率。另外，无需对多目图像中的多个图像进行识别以及匹配处理，仅通过单目图像即可识别出用户的手部姿态，可以提高识别手部姿态的效率。进一步，在手部姿态为目标手部姿态的情况下，根据待识别手部的指向方向，确定目标车辆部件，并响应于语音控制指令，对目标车辆部件执行语音控制指令指示的控制操作。由于上述分析本申请识别手部姿态的准确率较高，这样，可以精确的根据手势与不同车内设备进行交互，提高用户体验效果，另外，由于上述分析本申请识别手部姿态的效率较高，可以减少确定目标车辆部件的时间，进而可以减小对车辆进行交互控制时的延迟，提高用户体验。
(2)通过映射处理得到的每个关节点的世界坐标，更真实的展示的手部的关节点的位置，进而可以提高识别手部姿态的准确率。
(3)通过两个一维热力图的热力值确定不同关节点的像素坐标，相比于解码现有技术中的二维热力图，解码2个一维热力图的计算量更小，减少了解码时间和误差率，可以更快速准确的确定多个关节点的像素坐标，提高了手势识别的效率和精度。
(4)通过多个关节点的世界坐标与目标手部姿态的匹配度确定待识别手部的手部姿态是否为目标手部姿态，这样，可以避免用户在非指令手势的情况下进行误识别，提高用户体验。
(5)通过交点坐标确定目标车辆部件，可以提高识别用户意图的准确率，提高用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
图1为本申请实施例提供的一种车辆控制系统的结构示意图；
图2为本申请实施例提供的一种车辆控制装置的结构示意图；
图3为本申请实施例提供的一种车辆控制方法的流程示意图；
图4为本申请实施例提供的多种热力图的转换示意图；
图5为本申请实施例提供的又一种车辆控制方法的流程示意图；
图6为本申请实施例提供的多种类型坐标系的结构示意图；
图7为本申请实施例提供的又一种车辆控制方法的流程示意图；
图8为本申请实施例提供的又一种车辆控制方法的流程示意图；
图9为本申请实施例提供的一种交点坐标的结构示意图；
图10为本申请实施例提供的又一种车辆控制装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为了增加驾驶者和乘客的车内体验，车辆不断的向智能化进行发展。例如，驾驶者和乘客可以通过手势与车内设备进行交互，实现不同的功能。为了通过手势与车内设备进行交互，实现不同的功能，需要准确的计算出手部的位置以及姿态。
相关技术中，可以通过多目相机采集多个手部图像，并通过多目匹配算法对多个手部图像进行处理，得到手部手势，然而，此方式需要对多个图像进行处理，复杂度较高。
鉴于此，本申请实施例提供一种车辆控制方法，该方法包括：响应于语音控制指令，获取车辆内部人员的待识别手部图像；确定待识别手部图像中的多个关节点的像素坐标以及相对深度；相对深度为关节点相对于根关节点的深度距离；针对每个关节点，根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标；根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件；对目标车辆部件执行语音控制指令指示的控制操作。
需要说明的是，本申请实施例描述的车辆控制系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着车辆控制系统的演变和其他车辆控制系统的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请实施例提供的车辆控制系统可以应用于车辆。本申请的实施例对车辆所采用的具体技术、具体数量和具体设备形态不做限定。
图1为本申请实施例提供的一种车辆控制系统10的组成示意图，如图1所示，车辆控制系统10可以包括车辆11、车辆控制装置12。
其中，车辆11、车辆控制装置12相互连接。例如，车辆11、车辆控制装置12之间可以通过有线的方式进行连接；车辆11、车辆控制装置12之间也可以通过无线的方式进行连接，本发明实施例对此不作限定。
车辆11，用于通过车辆的图像采集设备(如车载摄像头)采集车辆内部的待识别手部图像。例如，车辆11可以为新能源汽车、混动汽车以及燃油汽车等。本申请的实施例对车辆11所采用的具体技术、具体数量和具体设备形态不做限定。
车辆控制装置12用于在获取到车辆内部的待识别手部图像下，对待识别手部图进行识别处理，得到待识别手部的手部姿态，并在手部姿态为目标手部姿态的情况下，根据待识别手部的指向方向，从多个车辆部件中确定目标车辆部件；进一步，响应于语音控制指令，控制目标车辆部件。例如，车辆控制装置12可以为车辆控制器。
需要说明的是，图1仅为示例性框架图，图1中包括的各个模块的名称不受限制，且除图1所示功能模块外，还可以包括其他模块，本申请实施例对此不进行限定。
具体实现时，图1中的各个设备可以采用图2所示的组成结构，或者包括图2所示的部件。图2为本申请实施例提供的一种车辆控制装置200的结构示意图，该车辆控制装置200可以为车辆控制系统中的蓝牙检测设备、待检测车辆、服务器中的任一个，或者，该车辆控制装置200可以为蓝牙检测设备、待检测车辆、服务器中的任一个中的芯片或者片上系统。如图2所示，该车辆控制装置200包括处理器201，通信接口202以及通信线路203。
进一步的，该车辆控制装置200还可以包括存储器204。其中，处理器201，存储器204以及通信接口202之间可以通过通信线路203连接。
其中，处理器201是CPU、通用处理器、网络处理器(network processor，NP)、数字信号处理器(digital signal processing，DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device，PLD)或它们的任意组合。处理器201还可以是其它具有处理功能的装置，例如电路、器件或软件模块，不予限制。
通信接口202，用于与其他设备或其它通信网络进行通信。通信接口202可以是模块、电路、通信接口或者任何能够实现通信的装置。
通信线路203，用于在车辆控制装置200所包括的各部件之间传送信息。
存储器204，用于存储处理器201可执行的指令。其中，指令可以是计算机程序。
其中，存储器204可以是只读存储器(read-only memory，ROM)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是随机存取存储器(random accessmemory，RAM)或可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等，不予限制。
需要指出的是，存储器204可以独立于处理器201存在，也可以和处理器201集成在一起。存储器204可以用于存储指令或者程序代码或者一些数据等。存储器204可以位于车辆控制装置200内，也可以位于车辆控制装置200外，不予限制。处理器201，用于执行存储器204中存储的指令，以实现本申请下述实施例提供的车辆控制方法。
在一种示例中，处理器201可以包括一个或多个CPU，例如，图2中的CPU0和CPU1。
作为一种可选的实现方式，车辆控制装置200包括多个处理器，例如，除图2中的处理器201之外，还可以包括处理器205。
需要指出的是，图2中示出的组成结构并不构成对该图1中的各个设备的限定，除图2所示部件之外，图1中的各个设备可以包括比图2更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。
下面结合图1所示车辆控制系统，对本申请实施例提供的车辆控制方法进行描述。
本申请实施例以应用于车辆控制器为例进行说明。例如，车辆控制器可以设置于待检测车辆，待检测车辆可以为图1中的车辆11。如图3所示，该方法包括下述S301-S305：
S301、响应于语音控制指令，获取车辆内部的待识别手部图像。
其中，语音控制指令可以为车辆驾驶员的语音控制指令，也可以为车辆乘客的语音控制指令。语音控制指令用于控制目标车辆部件执行目标动作。待识别手部图像为单目图像。
作为一种可能的实现方式，车辆控制器可以基于预设频率从与车辆控制器连接的图像采集设备处获取车辆内部的待识别手部图像。
需要说明的，预设频率可以根据需要设置。例如，可以为每秒10次、每秒5次等。
一些实施例中，车辆内部可以设置有放置于不同位置的多个图像采集设备。例如，不同位置可以包括车辆顶部、车辆前挡风玻璃上方等。
可以理解的，较短的预设频率可以保证车辆控制触发的实时性。
S302、确定待识别手部图像中的多个关节点的像素坐标以及相对深度。
其中，相对深度为关节点相对于根关节点的深度距离。
作为一种可能的实现方式，车辆控制器可以利用手部姿态估计模型确定第一关节点的热力图，并解码第一关节点的热力图得到第一关节点的像素坐标，得到待识别手部图像中的多个关节点的像素坐标。进一步，利用手部姿态估计模型对待识别手部图像进行处理，得到多个关节点的深度坐标。
其中，第一关节点为多个关节点中的任一个。多个关节点可以包括根关节点以及目标数量的叶关节点。例如，目标数量可以为20个等，不予限制。第一关节点的热力图可以包括第一热力图和第二热力图；第一热力图用于表征第一关节点在第一轴向的热力图；第二热力图用于表征第一关节点在第二轴向的热力图；第一轴向和第二轴向为像素坐标系中的不同轴向。例如，第一轴向可以为x轴，第二轴向可以为y轴。
例如，车辆控制器可以利用手部姿态估计模型对待识别手部图像进行处理，得到第一关节点的热力图。进一步，在第一关节点的热力图与待识别手部图像的分辨率相同的情况下，车辆控制器可以确定第一关节点的热力图在不同轴向中热力值的最大值处的坐标，并将第一关节点的热力图在不同轴向中热力值的最大值处的坐标作为第一关节点的像素坐标，得到待识别手部图像中的多个关节点的像素坐标。
又例如，在第一关节点的热力图与待识别手部图像的分辨率不同的情况下，车辆控制器可以确定第一关节点的热力图在不同轴向中热力值的最大值处的坐标，并将第一关节点的热力图在不同轴向中热力值的最大值处的坐标按照预设比例进行映射，进一步，将映射后的坐标作为第一关节点的像素坐标，得到待识别手部图像中的多个关节点的像素坐标。
一些实施例中，像素坐标也可以称为2d坐标。例如，第一关节点的像素坐标可以为(u，v)。
一种示例中，图4示出了多种热力图的转换示意图，可如图4所示，多种热力图的转换示意图包括待识别手部图像、第一热力图、第二热力图和传统二维热力图。
在待识别手部图像的分辨率大小是256*256，传统二维热力图分辨率为64*64的情况下，解码该二维热力图时，通常先获取二维热力图上最大热力值处的坐标作为关节点的热力图坐标，然后将热力图坐标从64*64分辨率映射到256*256分辨率，该映射过程(从低分辨率映射到高分辨率)会导致坐标点出现误差，热力图的分辨率越高，该误差越小，然而热力图分辨率过高又会导致计算量急剧增加。
需要说明的，根关节点可以为多个关节点中的任一个。例如，可以为手腕中部。
在一些实施例中，在利用手部姿态估计模型对待识别手部图像进行处理之前，车辆控制器可以将待识别手部图像进行推理，识别手部框，进一步，根据手部框对待识别手部图像进行裁剪等处理并输入手部姿态估计模型，得到多个关节点的深度坐标。
需要说明的，手部姿态估计模型包括关节点检测模型、Lift模型、平滑模块。
其中，关节点检测模型用于检测多个关节点在像素坐标系下的像素坐标值，主要包含卷积层、BN层、激活函数以及全连接层。
Lift模型用于利用多个关节点的像素坐标值获取多个关节点的2.5d坐标，主要包含全连接层、BN层、激活函数、Dropout层。
可以理解的，通过两个一维热力图的热力值确定不同关节点的像素坐标，相比于解码现有技术中的二维热力图，解码2个一维热力图的计算量更小，减少了解码时间和误差率，可以更快速准确的确定多个关节点的像素坐标，提高了手势识别的效率和精度。
S303、针对每个关节点，根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标。
其中，关节点的深度坐标(也可以称为25.d坐标)为关节点的像素坐标和相对深度的组合。一种示例中，在第一关节点的相对深度为z的情况下，第一关节点的2.5d坐标可以为(u，v，z)。
作为一种可能的实现方式，车辆控制器可以在获取车载摄像头的摄像头参数(如成像焦距、旋转矩阵和偏移向量)、待识别手部的真实面积以及待识别手部的像素面积之后，将车载摄像头的成像焦距、待识别手部的真实面积以及待识别手部的像素面积代入深度计算公式，得到根关节点与车载摄像头之间的距离；并根据根关节点与车载摄像头之间的距离以及车载摄像头的旋转矩阵和偏移向量，将每个关节点的像素坐标和深度坐标在世界坐标系进行映射，得到每个关节点的世界坐标。
一种示例中，深度计算公式可以用于以下公式一表示。
其中，D表示根关节点与车载摄像头之间的距离。Ac表示待识别手部在现实世界中的面积，通常使用预设值。Ap表示待识别手部在待识别手部图像中所占像素的面积，可通过目标检测模型获取的手部框的面积计算得出。FXFy表示车载摄像头的成像焦距，可通过相机标定获得。
其中，Ac＝Wc*Hc。Ap＝wh。Wc表示待识别手部在现实世界中的宽度，Hc表示待识别手部在现实世界中的高度。w表示待识别手部在待识别手部图像中所占的像素宽度，h表示待识别手部在待识别手部图像中所占的像素高度。
S304、根据多个关节点的世界坐标确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件。
其中，车辆部件可以包括车载显示屏、车辆座椅、不同位置的车窗(如左前车窗、左后车窗、右前车窗、右后车窗、天窗)、车辆空调等。手部姿态可以包括指向手势、ok、点赞、比心等。目标手部姿态可以为指向手势。
作为一种可能的实现方式，车辆控制器可以利用姿态分类模型对多个关节点的世界坐标进行处理，得到多个关节点的世界坐标与目标手部姿态的匹配度，并根据该匹配度确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，根据待识别手部的指向方向，从多个车辆部件中确定目标车辆部件。
例如，车辆控制器可以在匹配度大于或等于匹配度阈值的情况下，确定待识别手部的手部姿态为目标手部姿态；在匹配度小于匹配度阈值的情况下，确定待识别手部的手部姿态为非目标手部姿态。
其中，匹配度可以根据需要设置。例如，可以为90％。
S305、对目标车辆部件执行语音控制指令指示的控制操作。
作为一种可能的实现方式，车辆控制器可以从与车辆控制器连接的语音采集设备获取语音控制指令，并根据语音控制指令的内容，控制目标车辆部件执行目标动作。
一种示例中，在目标车辆部件为左前车窗、语音控制指令为“打开这个”的情况下，车辆控制器可以控制车辆的左前车窗从关闭状态变更为打开状态。
又一种示例中，在目标车辆部件为车辆后排空调、语音控制指令为“打开这个”的情况下，车辆控制器可以控制车辆的后排空调从关闭状态变更为打开状态。
作为又一种可能的实现方式，在目标车辆部件包括多个子功能部件的情况下，车辆控制器可以基于待识别手部的指向方向从多个子功能部件确定目标子功能部件，并响应于语音控制指令，控制目标子功能部件。
例如，在目标车辆部件为车载显示屏情况下，多个子功能部件可以包括多个应用软件。
一种示例中，在目标车辆部件为车载显示屏(且地图软件处于开启)、语音控制指令为“导航去这儿”的情况下，车辆控制器可以控制车辆的地图软件生成导航至目标地点的导航路线。目标地点为待识别手部的指向方向与车载显示屏地图软件交点处的地点。
可以根据待识别手部图像中每个关节点的热力图、深度坐标确定待识别手部图像中的多个关节点的世界坐标，并根据待识别手部图像中的多个关节点的世界坐标确定待识别手部的手部姿态是否为目标手部姿态。这样，可以在进行手势识别的基础上确定手势位置，由于多个关节点的世界坐标可以较为丰富准确的提供手部姿态的建模数据，可以提高识别手部姿态的准确率。另外，无需对多目图像中的多个图像进行识别以及匹配处理，仅通过单目图像即可识别出用户的手部姿态，可以提高识别手部姿态的效率。进一步，在手部姿态为目标手部姿态的情况下，根据待识别手部的指向方向，从多个车辆部件中确定目标车辆部件，并响应于语音控制指令，控制目标车辆部件。由于上述分析本申请识别手部姿态的准确率较高，这样，可以精确的根据手势与不同车内设备进行交互，提高用户体验效果，另外，由于上述分析本申请识别手部姿态的效率较高，可以减少确定目标车辆部件的时间，进而可以减小对车辆进行交互控制时的延迟，提高用户体验。
在一些实施例中，如图5所示，为了确定每个关节点的世界坐标，本申请的车辆控制方法还可以包括下述S401-S403。
S401、获取摄像头参数、待识别手部的真实面积以及待识别手部的像素面积。
其中，摄像头参数包括成像焦距、旋转矩阵和偏移向量。
作为一种可能的实现方式，车辆控制器可以从与车辆控制器连接的存储设备获取摄像头参数、待识别手部的真实面积，以及，根据目标检测模型获取的手部框的面积，确定待识别手部的像素面积。
需要说明的，存储设备中的摄像头参数、待识别手部的真实面积可以为厂家预存储的数据。
S402、将摄像头参数、待识别手部的真实面积以及待识别手部的像素面积代入深度计算公式，得到根关节点与车载摄像头之间的距离。
其中，该步骤的具体实施方式可以参考上述S304的说明，不予赘述。
一些实施例中，为了提高确定根关节点与车载摄像头之间的距离的准确度，车辆控制装置可以根据根深度估计模型以及待识别手部图像生成自适应系数。
其中，自适应系数用于校正不同情况待识别手部距离车载摄像头之间的距离(也可以以称为绝对深度)。
S403、根据根关节点与车载摄像头之间的距离以及摄像头参数，将关节点的像素坐标和深度坐标映射至世界坐标系，得到关节点的世界坐标。
作为一种可能的实现方式，车辆控制器可以将每个关节点的像素坐标和深度坐标转换为图像坐标系下的图像坐标，并将该图像坐标转换为相机坐标系下的相机坐标，进一步，将该相机坐标转换为世界坐标系下的世界坐标。
一种示例中，图6示出多种类型坐标系的示意图，多种类型坐标系可以包括像素坐标系、图像坐标系、相机坐标系和世界坐标系。像素坐标系是在图像像素所在空间构建的坐标系，通常以图像左上角为原点(如图6中的坐标系uv)。图像坐标系是通过图像所在空间构建的坐标系，通常以图像中心为原点，(如图6中的坐标系O-xy)。相机坐标系是根据相机所在空间构建的坐标系，通常以相机的光心位置作为原点，相机的光轴作为Z轴，X轴和Y轴分别平行于图像坐标系中的x轴和y轴(如图6中的坐标系Oc-XcYcZc)。世界坐标系通常根据实际情况自由确定(如图6中的坐标系Ow-XwYwZw)。
例如，在关节点的像素坐标和深度坐标组合的2.5d坐标为(u，v，z)、图像坐标系的原点所在的像素坐标为u0、v0的情况下，像素坐标系下的某点在图像坐标系的对应关系可以用以下公式二表示。
/>
其中，表示相机内参。
车辆控制器可以对该公式二求解，得到图像坐标(u，v，z)。
进一步，车辆控制装置可以根据以下公式三确定相机坐标。
其中，Xc,Yc,Zc表示相机坐标。f表示摄像头内参。
进一步，车辆控制装置可以根据以下公式四确定世界坐标。
其中，R为旋转矩阵，T为偏移向量。例如，R可以为3*3。T可以为3*1。
本申请上述实施例中的各个方案在不矛盾的前提下，均可以进行结合。
可以理解的，通过映射处理得到的每个关节点的世界坐标，更真实的展示的手部的关节点的位置，进而可以提高识别手部姿态的准确率。
在一些实施例中，如图7所示，为了确定关节点的像素坐标，本申请的车辆控制方法还可以包括下述S501-S502。
S501、确定关节点的第一热力值坐标和第二热力值坐标。
其中，第一热力值坐标为第一热力图中的最大热力值处对应的坐标，第二热力值坐标为第二热力图中的最大热力值处对应的坐标。
作为一种可能的实施方式，车辆控制装置可以确定第一热力图中每个坐标的热力值，并最大热力值处的坐标(也可以为称为索引)作为第一热力值坐标。进一步的，确定第二热力图中每个坐标的热力值，并最大热力值处的坐标(也可以为称为索引)作为第二热力值坐标。
S502、按照目标比例系数将第一热力值坐标和第二热力值坐标映射至像素坐标系，得到关节点的像素坐标。
目标比例系数为待识别手部图像的分辨率与第一关节点的热力图的分辨率的比值。例如，在第一热力图的和第二热力图的分辨率为1*512，待识别手部图像的分辨率为256*256的情况下，目标比例系数可以为2。
作为一种可能的实施方式，车辆控制装置可以将第一热力值坐标与目标比例系数的比值，以及，第二热力值坐标与目标比例系数的比值确定为关节点的像素坐标。
可以理解的，相比于解码现有技术中的二维热力图，解码2个一维热力图的计算量更小，减少了解码时间和误差率，可以更快速准确的确定多个关节点的像素坐标，提高了手势识别的效率和精度。
在一些实施例中，如图8所示，为了确定目标车辆部件，本申请的车辆控制方法还可以包括下述S601-S602。
S601、利用向量法确定目标手部姿态的指向方向与车内平面的交点坐标。
其中，车内平面可以包括车辆左侧平面(可以包括左前玻璃、左后玻璃、左前车门、左后车门以及左侧车体框架)、车辆右侧平面(可以包括右前玻璃、右后玻璃、右前车门、右后车门以及右侧车体框架)，车辆中控平面、座椅所在平面等等。多个车辆部件位于同一坐标系，且多个车辆部件的坐标范围不同。
作为一种可能的实施方式，车辆控制装置可以利用以下公式五确定目标手部姿态的指向方向与车内平面的交点坐标。例如，结合图9，P1P2为目标手部姿态的指向方向，T为车内平面，且平面方程式为：ax+by+cz+d＝0。公式五可以为：
其中，因此，/>
需要说明的，θ表示目标手部姿态的指向角度，
S602、在交点坐标处于第一车辆部件的坐标范围内的情况下，将第一车辆部件确定为目标车辆部件。
其中，第一车辆部件为多个车辆部件中的任一个。第一车辆部件的坐标范围可以为预先设定。
一种示例中，在第一车辆部件的坐标范围的x轴向处于100-300，y轴向处100-300，交点坐标为(150,200)的情况下，车辆控制装置将第一车辆部件确定为目标车辆部件。
实际应用中，车辆控制器可以根据车辆中的NLU模块确定目标车辆部件。
可以理解的，通过交点坐标确定目标车辆部件，可以提高识别用户意图的准确率，提高用户体验。
本申请实施例可以根据上述方法示例对车辆控制装置或者车辆控制装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图10示出了一种车辆控制装置700的结构示意图，该车辆控制装置700可以为车辆控制器，也可以为应用于待检测车辆中的车辆控制器中的芯片，该车辆控制装置700可以用于执行上述实施例中涉及的对车辆控制器的功能。图10所示的车辆控制装置700可以包括：获取单元701、确定单元702、处理单元703；获取单元701，用于响应于语音控制指令，获取车辆内部人员的待识别手部图像；确定单元702，用于确定待识别手部图像中的多个关节点的像素坐标以及相对深度；相对深度为关节点相对于根关节点的深度距离；处理单元703，用于针对每个关节点，根据关节点的像素坐标和相对深度，确定关节点的深度坐标，并将关节点的深度坐标在世界坐标系进行映射，得到关节点的世界坐标，以获得多个关节点中每个关节点的世界坐标；确定单元702，还用于根据多个关节点的世界坐标，确定待识别手部的手部姿态是否为目标手部姿态，并在手部姿态为目标手部姿态的情况下，确定待识别手部的指向方向对应的目标车辆部件；处理单元703，还用于对目标车辆部件执行语音控制指令指示的控制操作。
进一步，待识别手部图像为车载摄像头采集到的，处理单元703，具体用于：获取车载摄像头的摄像头参数、待识别手部的真实面积以及待识别手部的像素面积；将摄像头参数、待识别手部的真实面积以及待识别手部的像素面积代入深度计算公式，得到根关节点与车载摄像头之间的距离；根据根关节点与车载摄像头之间的距离以及摄像头参数，将关节点的像素坐标和深度坐标映射至世界坐标系，得到关节点的世界坐标。
进一步，确定单元702，具体用于：将待识别手部图像输入手部姿态估计模型，得到多个关节点的热力图及相对深度；针对每个关节点的热力图，对关节点的热力图进行解码，得到关节点的像素坐标，以获得多个关节点中每个关节点的像素坐标。
进一步，针对多个关节点中的任一关节点，关节点的热力图包括第一热力图和第二热力图；第一热力图为第一关节点在第一轴向的热力图；第二热力图为第一关节点在第二轴向的热力图；第一轴向和第二轴向为像素坐标系中的不同轴向，热力图为一维热力图。
进一步，处理单元703，具体还用于：确定关节点的第一热力值坐标和第二热力值坐标；第一热力值坐标为关节点在第一热力图中的最大热力值处对应的坐标，第二热力值坐标为关节点在第二热力图中的最大热力值处对应的坐标；按照目标比例系数将第一热力值坐标和第二热力值坐标映射至像素坐标系，得到关节点的像素坐标；目标比例系数为待识别手部图像的分辨率与关节点的热力图的分辨率的比值。
进一步，确定单元702，具体用于：将多个关节点的世界坐标输入姿态分类模型，得到多个关节点的手部姿态与目标手部姿态的匹配度；在匹配度大于或等于匹配度阈值的情况下，确定待识别手部的手部姿态为目标手部姿态；在匹配度小于匹配度阈值的情况下，确定待识别手部的手部姿态为非目标手部姿态。
进一步，处理单元703，具体还用于：利用向量法确定目标手部姿态的指向方向与车内平面的交点坐标；在交点坐标处于第一车辆部件的坐标范围内的情况下，将第一车辆部件确定为目标车辆部件；第一车辆部件为多个车辆部件中的任一个；多个车辆部件位于同一坐标系，且多个车辆部件的坐标范围不同。
本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的车辆控制装置或者控制器(包括数据发送端和/或数据接收端)的内部存储单元，例如车辆控制装置的硬盘或内存。上述计算机可读存储介质也可以是上述车辆控制装置的外部存储设备，例如上述车辆控制装置上配备的插接式硬盘，智能存储卡(smartmedia card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述车辆控制装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述车辆控制装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种车辆，包括上述方法实施例中涉及的车辆控制系统、控制器或者车辆控制装置。
此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。
需要说明的是，本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种车辆控制方法，其特征在于，所述方法包括：
响应于语音控制指令，获取车辆内部人员的待识别手部图像；
确定所述待识别手部图像中的多个关节点的像素坐标以及相对深度；所述相对深度为关节点相对于根关节点的深度距离；
针对每个关节点，根据所述关节点的像素坐标和相对深度，确定所述关节点的深度坐标，并将所述关节点的深度坐标在世界坐标系进行映射，得到所述关节点的世界坐标，以获得所述多个关节点中每个关节点的世界坐标；
根据所述多个关节点的世界坐标，确定所述待识别手部的手部姿态是否为目标手部姿态，并在所述手部姿态为所述目标手部姿态的情况下，确定所述待识别手部的指向方向对应的目标车辆部件；
对所述目标车辆部件执行所述语音控制指令指示的控制操作。
2.根据权利要求1所述的车辆控制方法，其特征在于，所述待识别手部图像为车载摄像头采集到的，所述将所述关节点的深度坐标在世界坐标系进行映射，得到所述关节点的世界坐标，包括：
获取所述车载摄像头的摄像头参数、所述待识别手部的真实面积以及所述待识别手部的像素面积；
将所述摄像头参数、所述待识别手部的真实面积以及所述待识别手部的像素面积代入深度计算公式，得到所述根关节点与所述车载摄像头之间的距离；
根据所述根关节点与所述车载摄像头之间的距离以及所述摄像头参数，将所述关节点的像素坐标和深度坐标映射至世界坐标系，得到所述关节点的世界坐标。
3.根据权利要求1所述的车辆控制方法，其特征在于，所述确定所述待识别手部图像中的多个关节点的像素坐标以及相对深度，包括：
将所述待识别手部图像输入手部姿态估计模型，得到所述多个关节点的热力图及相对深度；
针对每个关节点的热力图，对所述关节点的热力图进行解码，得到所述关节点的像素坐标，以获得所述多个关节点中每个关节点的像素坐标。
4.根据权利要求3所述的车辆控制方法，其特征在于，针对所述多个关节点中的任一关节点，所述关节点的热力图包括第一热力图和第二热力图；所述第一热力图为所述关节点在第一轴向的热力图；所述第二热力图为所述关节点在第二轴向的热力图；所述第一轴向和所述第二轴向为像素坐标系中的不同轴向，所述热力图为一维热力图。
5.根据权利要求4所述的车辆控制方法，其特征在于，所述对所述关节点的热力图进行解码，得到所述关节点的像素坐标，包括：
确定所述关节点的第一热力值坐标和第二热力值坐标；所述第一热力值坐标为所述关节点在所述第一热力图中的最大热力值处对应的坐标，所述第二热力值坐标为所述关节点在所述第二热力图中的最大热力值处对应的坐标；
按照目标比例系数将所述第一热力值坐标和所述第二热力值坐标映射至所述像素坐标系，得到所述关节点的像素坐标；所述目标比例系数为所述待识别手部图像的分辨率与所述关节点的热力图的分辨率的比值。
6.根据权利要求1所述的车辆控制方法，其特征在于，所述根据所述多个关节点的世界坐标，确定所述待识别手部的手部姿态是否为目标手部姿态，包括：
将所述多个关节点的世界坐标输入姿态分类模型，得到所述多个关节点的手部姿态与目标手部姿态的匹配度；
在所述匹配度大于或等于匹配度阈值的情况下，确定所述待识别手部的手部姿态为所述目标手部姿态；
在所述匹配度小于所述匹配度阈值的情况下，确定所述待识别手部的手部姿态为非目标手部姿态。
7.根据权利要求1-6中任一项所述的车辆控制方法，其特征在于，所述确定所述待识别手部的指向方向对应的目标车辆部件，包括：
利用向量法确定所述目标手部姿态的指向方向与车内平面的交点坐标；
在所述交点坐标处于第一车辆部件的坐标范围内的情况下，将所述第一车辆部件确定为所述目标车辆部件；所述第一车辆部件为所述多个车辆部件中的任一个；所述多个车辆部件位于同一坐标系，且所述多个车辆部件的坐标范围不同。
8.一种车辆控制装置，其特征在于，所述装置包括：获取单元、确定单元、处理单元；
所述获取单元，用于响应于语音控制指令，获取车辆内部人员的待识别手部图像；
所述确定单元，用于确定所述待识别手部图像中的多个关节点的像素坐标以及相对深度；所述相对深度为关节点相对于根关节点的深度距离；
所述处理单元，用于针对每个关节点，根据所述关节点的像素坐标和相对深度，确定所述关节点的深度坐标，并将所述关节点的深度坐标在世界坐标系进行映射，得到所述关节点的世界坐标，以获得所述多个关节点中每个关节点的世界坐标；
所述确定单元，还用于根据所述多个关节点的世界坐标，确定所述待识别手部的手部姿态是否为目标手部姿态，并在所述手部姿态为所述目标手部姿态的情况下，确定所述待识别手部的指向方向对应的目标车辆部件；
所述处理单元，还用于对所述目标车辆部件执行所述语音控制指令指示的控制操作。
9.一种车辆控制系统，其特征在于，所述车辆控制系统包括车辆控制装置，
所述车辆控制装置用于执行如权利要求1至7中任一项所述的方法。
10.一种车辆，其特征在于，包括如权利要求9所述的车辆控制系统。
11.一种车辆控制器，其特征在于，所述车辆控制器用于执行如权利要求1至7中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中存储的计算机执行指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202311356129.1A 2023-10-18 2023-10-18 车辆控制方法、装置、系统、车辆及可读存储介质 Pending CN117409395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311356129.1A CN117409395A (zh) 2023-10-18 2023-10-18 车辆控制方法、装置、系统、车辆及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311356129.1A CN117409395A (zh) 2023-10-18 2023-10-18 车辆控制方法、装置、系统、车辆及可读存储介质

Publications (1)

Publication Number Publication Date
CN117409395A true CN117409395A (zh) 2024-01-16

Family

ID=89490099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311356129.1A Pending CN117409395A (zh) 2023-10-18 2023-10-18 车辆控制方法、装置、系统、车辆及可读存储介质

Country Status (1)

Country Link
CN (1) CN117409395A (zh)

Similar Documents

Publication Publication Date Title
CN106952308B (zh) 运动物体的位置确定方法及系统
CN109544629B (zh) 摄像头位姿确定方法和装置以及电子设备
EP4361771A1 (en) Gesture recognition method and apparatus, system, and vehicle
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
JP6197388B2 (ja) 距離測定装置、距離測定方法、およびプログラム
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
JP4943034B2 (ja) ステレオ画像処理装置
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
JP2019124538A (ja) 情報処理装置、システム、情報処理方法
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
JP2017199302A (ja) 判定装置、判定方法、判定プログラム及び記録媒体
WO2023193482A1 (zh) 显示方法、装置、电子设备和计算机可读存储介质
JP4921847B2 (ja) 対象物の三次元位置推定装置
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN112771480B (zh) 交互方法及电子设备
CN117409395A (zh) 车辆控制方法、装置、系统、车辆及可读存储介质
CN117252912A (zh) 深度图像获取方法、电子设备及存储介质
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
CN113544742B (zh) 泊车辅助系统
WO2019072911A1 (en) METHOD FOR DETERMINING A REGION OF INTEREST IN AN IMAGE CAPTURED BY A CAMERA OF A MOTOR VEHICLE, CONTROL SYSTEM, CAMERA SYSTEM AND MOTOR VEHICLE
CN116880723B (zh) 一种3d场景显示方法及系统
WO2021243693A1 (zh) 驾驶员图像采集的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination