CN114475577B - 车辆控制方法、装置及存储介质 - Google Patents
车辆控制方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114475577B CN114475577B CN202111551328.9A CN202111551328A CN114475577B CN 114475577 B CN114475577 B CN 114475577B CN 202111551328 A CN202111551328 A CN 202111551328A CN 114475577 B CN114475577 B CN 114475577B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target object
- human body
- position information
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 claims abstract description 175
- 230000008859 change Effects 0.000 claims description 122
- 230000008569 process Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 18
- 210000000707 wrist Anatomy 0.000 description 35
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 210000000988 bone and bone Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 1
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/181—Preparing for stopping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18109—Braking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本申请是关于一种车辆控制方法、装置及存储介质。该方法包括：在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；从各帧所述图像中分别确定出所述目标对象的人体关键点；确定所述人体关键点在各帧所述图像中的位置信息；根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；控制所述车辆按照所述执行动作移动。这样，能够使得确定出的位置信息与目标对象的动作更贴合，通过在时序上连续的多组位置信息，确定目标对象所指示的执行动作，能够保证最终所确定的执行动作的连贯性和准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种车辆控制方法、装置及存储介质。
背景技术
近年来，停车困难的问题日益显著，一方面是由于汽车的数量不断增长，另一方面是停车位的数量有限，以及用户不规范的停车习惯等因素，导致常常出现一位难求的局面，给用户的出行带来了很大的不便。
在实际生活中，当车位狭窄时，常常出现驾驶员将车辆临时停靠在其他车辆的车门旁，从而影响其他被阻挡车辆的出行。这样，在其他被阻挡车辆需要移动车辆时，其他车辆的驾驶员无法打开车门进入车内进行挪车，或者停车后无法打开车门离开车内等。因此，遇到狭窄车位时，如何提高停车的便利性和效率是目前亟待解决的问题。
发明内容
为克服相关技术中存在的问题，本申请提供一种车辆控制方法、装置及存储介质。
根据本申请实施例的第一方面，提供一种车辆控制方法，包括：
在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
从各帧所述图像中分别确定出所述目标对象的人体关键点；
确定所述人体关键点在各帧所述图像中的位置信息；
根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制所述车辆按照所述执行动作移动。
在一些实施例中，所述人体关键点为多个；所述位置信息包括：相对位置信息和位置变化信息；所述确定所述人体关键点在各帧所述图像中的位置信息，包括：
确定当前待处理的图像中各个所述人体关键点之间的相对位置信息；
根据各个所述人体关键点在所述当前待处理的图像中的位置信息，以及各个所述人体关键点在与所述当前待处理的图像相邻的图像中的位置信息，确定各个所述人体关键点的位置变化信息；
所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作；
其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。
在一些实施例中，所述根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作，包括：
根据当前待处理的图像中各个所述人体关键点之间的位置信息，以及与所述当前待处理的图像相邻的图像中各个所述人体关键点之间的位置信息，确定动态关键点；
根据各个所述动态关键点之间的相对位置信息，以及各个所述动态关键点在各帧所述图像中的位置变化信息，确定所述目标对象所指示的执行动作。
在一些实施例中，所述位置变化信息，包括：所述人体关键点的位置变化速度和位置变化方向；所述方法还包括：
在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
根据所述位置变化速度，对所述车辆的移动速度进行调整；
控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
在一些实施例中，所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各帧所述图像的采集时间，确定出各帧所述图像的时序信息；
将所述时序信息和所述多组位置信息输入识别模型，得到所述目标对象所指示的执行动作。
在一些实施例中，所述执行动作至少包括：停止动作；所述方法还包括：
在控制所述车辆移动的过程中，如果在预设时长内未检测到所述停止动作，则停止所述车辆的移动。
在一些实施例中，所述方法还包括：
在检测到所述目标对象的地理位置发生变化时，根据所述目标对象的地理位置变化量，调整所述车辆的移动轨迹。
根据本申请实施例的第二方面，提供一种车辆控制装置，包括：
检测模块，配置为在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
采集模块，配置为在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
第一确定模块，配置为从各帧所述图像中分别确定出所述目标对象的人体关键点；
第二确定模块，配置为确定所述人体关键点在各帧所述图像中的位置信息；
第三确定模块，配置为根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制模块，配置为控制所述车辆按照所述执行动作移动。
在一些实施例中，所述人体关键点为多个；所述位置信息包括：相对位置信息和位置变化信息；所述第二确定模块，配置为：
确定当前待处理的图像中各个所述人体关键点之间的相对位置信息；
根据各个所述人体关键点在所述当前待处理的图像中的位置信息，以及各个所述人体关键点在与所述当前待处理的图像相邻的图像中的位置信息，确定各个所述人体关键点的位置变化信息；
所述第三确定模块，配置为：
根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作；
其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。
在一些实施例中，所述第二确定模块，配置为：
根据当前待处理的图像中各个所述人体关键点之间的位置信息，以及与所述当前待处理的图像相邻的图像中各个所述人体关键点之间的位置信息，确定动态关键点；
根据各个所述动态关键点之间的相对位置信息，以及各个所述动态关键点在各帧所述图像中的位置变化信息，确定所述目标对象所指示的执行动作。
在一些实施例中，所述位置变化信息，包括：所述人体关键点的位置变化速度和位置变化方向；所述装置还包括：
获取模块，配置为在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
第一调整模块，配置为根据所述位置变化速度，对所述车辆的移动速度进行调整；
第二调整模块，配置为控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
在一些实施例中，所述第三确定模块，配置为：
根据各帧所述图像的采集时间，确定出各帧所述图像的时序信息；
将所述时序信息和多组所述位置信息输入识别模型，得到所述目标对象所指示的执行动作。
在一些实施例中，所述执行动作至少包括：停止动作；所述装置还包括：
停止模块，配置为在控制所述车辆移动的过程中，如果在预设时长内未检测到所述停止动作，则停止所述车辆的移动。
在一些实施例中，所述装置还包括：
第三调整模块，配置为在检测到所述目标对象的地理位置发生变化时，根据所述目标对象的地理位置变化量，调整所述车辆的移动轨迹。
根据本申请实施例的第三方面，提供一种车辆控制装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中任一种车辆控制方法中的步骤。
根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由车辆控制装置的处理器执行时，使得所述装置能够执行上述第一方面中任一种车辆控制方法中的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请可以在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；从各帧所述图像中分别确定出所述目标对象的人体关键点；确定所述人体关键点在各帧所述图像中的位置信息；根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；控制所述车辆按照所述执行动作移动。
本申请在确定出目标对象的人体关键点之后，可以确定人体关键点在各帧图像中的位置信息，从而可以根据位置信息来确定执行动作，进而控制车辆按照执行动作移动。这样，能够使得确定出的位置信息与目标对象的动作更贴合，且由于采集的多帧图像在时序上是连续的，则得到的多组位置信息在时序上也是连续的，通过在时序上连续的多组位置信息，确定目标对象所指示的执行动作，能够保证最终所确定的执行动作的连贯性和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据本申请一示例性实施例示出的一种车辆控制方法的流程图。
图2是根据本申请一示例性实施例示出的一种人体关键点的位置示意图。
图3是根据本申请一示例性实施例示出的一种位置信息的示意图。
图4是根据本申请一示例性实施例示出的泊车控制系统的示意图。
图5是根据本申请一示例性实施例示出的一种执行动作的示意图。
图6是根据本申请一示例性实施例示出的一种车辆直行移动的示意图。
图7是根据本申请一示例性实施例示出的一种车辆转向移动的示意图。
图8是根据本申请一示例性实施例示出的一种预测手势的流程图。
图9是根据本申请一示例性实施例示出的一种车辆控制装置框图。
图10是根据本申请一示例性实施例示出的一种车辆控制装置的硬件结构框图。
图11是根据本申请一示例性实施例示出的一种车辆控制装置的硬件结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的车辆控制方法的流程图，如图1所示，主要包括以下步骤：
在步骤101中，在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
在步骤102中，在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
在步骤103中，从各帧所述图像中分别确定出所述目标对象的人体关键点；
在步骤104中，确定所述人体关键点在各帧所述图像中的位置信息；
在步骤105中，根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
在步骤106中，控制所述车辆按照所述执行动作移动。
在一些实施例中，本申请的车辆控制方法可以应用于车载终端等。车载终端可以包括车辆监控管理系统的前端设备，也可以称为车辆调度监控(Telematics ControlUnit，TCU)终端，如，车机终端等。车载终端可以融合全球定位系统(Global PositioningSystem，GPS)技术、里程定位技术及汽车黑匣等技术，能用于对车辆进行现代化管理，包括：行车安全监控管理、运营管理、服务质量管理、智能集中调度管理、电子站牌控制管理等。
本申请实施例中，控制状态可以是指车载终端能够执行本申请的车辆控制技术方案时的状态，车载终端可以通过接收到的不同的指令，进行各个状态的切换。例如：车载终端可以通过接收唤醒指令，从休眠状态切换到控制状态；通过接收终止指令，从控制状态切换到休眠状态等。车载终端进入控制状态的方式有多种多样，本申请不作具体限定，例如：车载终端可以通过采集用户的语音，通过与用户之间的语音交互来进入控制状态，车载终端也可以通过接收用户通过手机等设备发送的控制指令，响应于控制指令生成唤醒指令，从而通过与用户之间的图像界面交互来进入控制状态等。
车载终端在确定车辆进入控制状态后，可以检测位于车辆外部的目标对象。本申请实施例中，对象主要可以是指人体对象，车载终端与对象之间可以预先建立匹配关系，目标对象可以是指与车辆相匹配的用户等。目标对象可以为一个(如，车辆拥有者)，也可以为多个(如，允许操作车辆的相关人员等)。车载终端可以预先在存储器中存储目标对象的相关信息(如，历史人脸图像等)，然后判断各个对象是否与标记对象匹配，若匹配则确定对象为目标对象，若不匹配则确定对象不为目标对象，可以继续进行判断。
车载终端可以通过多种不同的方式来检测车辆外部的目标对象，本申请不作具体限定。例如：车载终端可以利用车辆外部的图像采集模组进行图像采集，并对采集的图像进行人脸识别等处理，确定图像中的对象是否为车载终端的目标对象。车载终端也可以利用车辆外部的激光雷达模组进行点云采集，对采集到的点云可以进行障碍物识别等处理，确定点云中的对象是否为目标对象。车载终端还可以利用车辆外部的麦克风模组进行语音采集，对采集到的音频进行音频特征识别等处理，确定语音中的对象是否为车载终端的目标对象等。
在一些实施例中，车载终端可以在检测到位于车辆外部的目标对象的情况下，针对目标对象连续采集多帧图像。如，车载终端在通过图像采集模组采集图像，并检测到采集的图像中存在目标对象的情况下，可以在图像中标记出目标图像对应的检测框，检测框可以表示目标对象在图像中的位置信息等，然后车载终端可以通过对目标对象进行追踪处理，以使得采集到的图像上存在目标对象。车载终端可以直接基于每张图像上检测框内的图像进行后续处理，有助于提高检测效率等。
本申请实施例中，可以在车辆上设置一个或者多个图像采集模组，并利用图像采集模组进行多帧图像的采集。这里，多帧图像可以是指单独的图像采集模组采集的连续多帧图像，或者多个图像采集模组采集的同步或者异步采集的多帧图像，或者多个图像采集模组分别采集的连续多帧图像等，只要能够保证连续采集的多帧图像在时序上是连续的即可。在一种可能的实施例中，多个图像采集模组可以同时对目标对象进行图像采集，得到多张图像，然后将包含目标对象最完整(如，可以通过目标对象的检测框的大小来确定完整程度等)的图像保留，用于后续处理，舍弃其他图像，有助于提高后续处理的准确率，节省车载终端的运算时间等。需要说明的是，关键点可以是指目标对象中具有代表性或特征性的像素点，也可以称为兴趣点或者特征点等，例如：边界点、中心点、关点或角点等，车载终端可以根据关键点的位置信息来进行识别、分类、追踪等处理，有助于提高图像处理的运算效率，提高准确率等。人体关键点可以是指位于目标对象上的关键点，可以包括头顶、五官、颈部、四肢主要关节等部位上的关键点。本申请实施例中，对于人体关键点的数量不作具体限定，例如：对于单人人体关键点检测，可以为14个人体关键点，也可以为9个人体关键点等；对于多人人体关键点检测，可以为16个人体关键点，也可以为17个人体关键点，或者为14个人体关键点等。
车载终端可以利用关键点检测(或识别)算法，来确定出目标对象的人体关键点。关键点检测算法可以包括：基于主动形状模型(Active Shape Model，ASM)和主动外观模型(Active Appearnce Model，AAM)的传统方法，基于级联形状回归的方法，基于深度学习的方法等。例如：车载终端通过将各帧图像输入训练好的关键点检测模型，得到多帧各帧图像对应的结果图像，结果图像的目标对象上标记有14个人体关键点，以及各个人体关键点的名称(或者编号等)和坐标等信息。其中，14个人体关键点分别可以为头部、颈部、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝等部位的关键点。如图2所示，图2可以表示一种人体关键点的位置示意图。如图2所示，人体关键点的数量可以为14个，14个人体关键点分别可以为头部、颈部、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝等部位的关键点。人体周围的矩形框可以是指图像中检测到包含目标对象的检测框。
车载终端确定目标对象的人体关键点后，可以确定所述人体关键点在各帧所述图像中的位置信息。位置信息可以是指目标对象的人体关键点之间的属性或者特征等信息，位置信息可以包括：目标对象上各人体关键点之间的距离、角度和移动快慢等信息。车载终端可以确定各个人体关键点之间的距离，各对人体关键点之间的角度，将距离和角度等信息作为图像所对应的位置信息。例如：车载终端确定右肩和右肘之间的距离为20，右肩和右肘确定第一直线，右肘和右腕确定第二直线，第一直线与第二直线之间的夹角为60度等。如图3所示，图3可以表示一种位置信息的示意图。如图3所示，位置信息可以包括：骨骼长度(如，左肩关键点与左肘关键点之间的距离、左肘关键点与左腕关键点之间的距离)，相邻骨骼的角度(如，相邻骨骼可以包括：左肩关键点和左肘关键点之间的第一骨骼与左肘关键点和左腕关键点之间的第二骨骼，角度值可以根据角度的正弦值和余弦值来确定)，肢体末端左右手两帧之间的运动向量(如，左腕关键点的运动方向)以及肢体末端和跳一个点的连接距离(如，左肩关键点与左腕关键点之间的距离)等特征，这些特征可以根据各人体关键点的位置信息来确定。
本申请实施例中，每一帧图像可以对应一组位置信息，多帧图像可以对应多组位置信息，单帧图像对应的位置信息可以只根据单帧图像上的人体关键点来确定，也可以根据单帧图像上的人体关键点以及与单帧图像相邻的图像上的人体关键点共同来确定等。
车载终端在确定出各帧图像所对应的位置信息后，可以根据多帧图像所对应的多组位置信息，确定目标对象所指示的执行动作。执行动作可以是指目标对象运动的手势动作等，至少可以包括：直行动作、后退动作、停止动作、左转动作、右转动作、控制状态启动动作和控制状态终止动作等。车载终端可以预先设置位置信息与执行动作之间的对应关系，然后根据多组位置信息以及对应关系来确定目标对象所指示的执行动作。例如：车载终端预先设置第一位置信息对应第一执行动作(如，左转动作)，第二位置信息对应第二执行动作(如，右转动作)等。在车载终端根据多帧图像所对应的多组位置信息确定出第一位置信息后，可以确定第一执行动作为目标对象所指示的执行动作。车载终端可以对多组位置信息进行组合处理(如，相加融合等)，得到第一位置信息。
在另一种可能的实施例中，车载终端还可以通过动作识别模型，根据多组位置信息得到执行动作。动作识别模型可以是指训练好的神经网络模型，输入多组位置信息，输出对应的执行动作等。例如：车载终端可以通过将多组位置信息按照各个位置信息所属各帧图像的时序顺序依次输入到训练好的动作识别模型，得到具体的执行动作等，其中，时序顺序可以理解为各帧图像对应的采集顺序等。在训练的过程中，车载终端可以将标记好的位置信息和执行动作输入初始化的动作识别模型进行配置参数的训练，得到训练好的动作识别模型。
车载终端在确定出目标对象所指示的执行动作后，可以控制所述车辆按照执行动作移动，控制车辆移动的内容可以包括：移动方向和移动速度等。例如：车载终端确定执行动作为直行动作，那么车载终端可以控制车辆直线行驶，在确定执行动作为停止动作后，可以控制车辆停止移动。
在一些实施例中，根据多组位置信息所得到的执行动作与车辆的移动方向具有映射关系。例如：映射关系可以为镜像关系，可以理解为，若目标对象的执行动作为右转动作，那么控制车辆向车辆的左侧转向移动，若目标对象的执行动作为远离身体的后退动作，那么控制车辆向前移动等，也即目标对象所指示的执行动作与控制车辆移动的实际方向之间呈镜像关系。
本申请中在确定出目标对象的人体关键点之后，可以根确定人体关键点在各帧图像中的位置信息，从而可以根据位置信息来确定执行动作，进而控制车辆按照执行动作移动。这样，能够使得确定出的位置信息与目标对象的动作更贴合，且由于采集的多帧图像在时序上是连续的，则得到的多组位置信息在时序上也是连续的，通过在时序上连续的多组位置信息，确定目标对象所指示的执行动作，能够保证最终所确定的执行动作的连贯性和准确性。
在一些实施例中，所述人体关键点为多个；所述位置信息包括：相对位置信息和位置变化信息；所述确定所述人体关键点在各帧所述图像中的位置信息，包括：
确定当前待处理的图像中各个所述人体关键点之间的相对位置信息；
根据各个所述人体关键点在所述当前待处理的图像中的位置信息，以及各个所述人体关键点在与所述当前待处理的图像相邻的图像中的位置信息，确定各个所述人体关键点的位置变化信息；
所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作；
其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。
本申请实施例中，人体关键点可以为多个，位置信息至少可以包括：相对位置信息和位置变化信息。相对位置信息可以是指同一帧图像上各人体关键点之间相对的位置信息，相对位置信息可以包括距离和角度等信息。例如：骨骼长度，如，左肩关键点与左肘关键点之间的距离、左肘关键点与左腕关键点之间的距离，左肩关键点与左腕关键点之间的距离；相邻骨骼的角度，如，相邻骨骼可以包括：左肩关键点和左肘关键点之间的第一骨骼与左肘关键点和左腕关键点之间的第二骨骼等。位置变化信息可以是指同一个人体关键点在各帧图像上位置的变化信息，位置变化信息可以包括移动方向和移动快慢程度等信息。例如：当前待处理的图像的目标对象上，左腕关键点与左肘关键点之间的相对位置信息可以表示为，左腕关键点在左肘关键点左偏上22厘米处等，左腕关键点的位置变化信息可以表示为，从左向右移动等。
车载终端可以根据检测到的人体关键点的坐标信息，确定当前待处理的图像中各个所述人体关键点之间的相对位置信息。例如：车载终端确定第一人体关键点的坐标为(1,2)，第二人体关键点的坐标为(3,4)，第三人体关键点的坐标为(5,6)，那么车载终端可以根据坐标信息确定相对位置信息。
车载终端可以根据各个人体关键点在当前待处理的图像中的位置信息，以及各个人体关键点在与当前待处理的图像相邻的图像中的位置信息，确定各个人体关键点的位置变化信息，其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。例如：车载终端采集了15帧连续的图像，确定第一帧图像上的左腕关键点的位置信息(也即位置坐标等)为(125,100)，第二帧图像上的左腕关键点的位置信息为(125,200)，那么车载终端可以确定左腕关键点的位置变化信息可以表示为从左往右水平移动。
在一些实施例中，与当前待处理的图像相邻的图像的数量可以为一个也可以为两个，本申请不作具体限定，例如：与当前待处理的第一帧图像相邻的图像的数量可以为1，相邻的图像可以为第二帧图像，与当前待处理的第三帧图像相邻的图像的数量可以为2，相邻的图像可以为第二帧图像和第四帧图像等。
车载终端确定各个人体关键点的相对位置信息和位置变化信息后，可以根据各个人体关键点的相对位置信息和位置变化信息，确定目标对象所指示的执行动作。车载终端可以通过预先设置相对位置信息和位置变化信息与执行动作之间的对应关系，或者通过训练好的动作识别模型等方式，来确定目标对象所指示的执行动作。例如：车载终端确定左腕关键点的位置信息由(125,100)移动到(125,200)，左腕关键点的位置变化信息可以表示为从左往右水平移动，从而确定目标对象所指示的执行动作为右转动作等。
本申请实施例中，通过当前待处理的图像中各个人体关键点的位置信息确定的相对位置信息，以及通过多帧图像的中各个人体关键点的位置信息确定的位置变化信息，可以确定出具体的执行动作，进而使得确定出的执行动作更加准确快速，提高了车载终端的计算效率和计算准确率等。
在一些实施例中，所述根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作，包括：
根据当前待处理的图像中各个所述人体关键点之间的位置信息，以及与所述当前待处理的图像相邻的图像中各个所述人体关键点之间的位置信息，确定动态关键点；
根据各个所述动态关键点之间的相对位置信息，以及各个所述动态关键点在各帧所述图像中的位置变化信息，确定所述目标对象所指示的执行动作。
本申请实施例中，车载终端可以根据当前待处理的图像中各个人体关键点之间的位置信息，以及与当前待处理的图像相邻的图像中各个人体关键点之间的位置信息，确定动态关键点。需要说明的是，人体关键点可以包括动态关键点和静态关键点，动态关键点可以是指多帧图像中位置信息发生变化的关键点，静态关键点可以是指多帧图像中位置信息未发生变化的关键点。
由于车载终端检测关键点是为了识别出目标对象所指示的执行动作，静态关键点仅能作为参照对象，车载终端可以只根据动态关键点来确定位置信息，从而确定具体的执行动作，有助于减少车载终端的计算量，提高计算效率，同时忽略掉无用信息也可以提高计算的准确率等。例如：车载终端确定当前待处理的图像中，左肩关键点的位置信息为(10，12)，左肘关键点的位置信息为(15,20)，与当前待处理的图像相邻的图像(如，后一帧图像)中，左肩关键点的位置信息为(10,12)，左肘关键点的位置信息为(30,40)，那么车载终端可以确定左肩关键点为静态关键点，左肘关键点为动态关键点。
在一种可能的实施例中，车载终端可以将位置信息的差值大于预设阈值的人体关键点作为动态关键点，将位置信息的差值小于或者等于预设阈值的人体关键点作为静态关键点，其中，位置信息的差值可以是指：人体关键点在连续两帧图像上的位置信息的差值。例如：左肩关键点在连续两帧图像上位置信息的差值为5，左腕关键点在连续两帧图像上位置信息的差值为15，预设阈值为10，那么可以确定左肩关键点为静态关键点，左腕关键点为动态关键点等。
车载终端确定动态关键点后，可以根据各个动态关键点之间的相对位置信息，以及各个动态关键点在各帧图像中的位置变化信息，确定目标对象所指示的执行动作。例如：车载终端确定出左肩关键点与左肘关键点之间的距离为15，左肘关键点与左腕关键点之间的距离为10，以及左臂两连接骨骼之间的夹角为120度等相对位置信息，左腕关键点的位置变化信息为从左往右水平移动等位置变化信息，确定出执行动作为右转动作。
本申请实施例中，通过根据当前待处理的图像中各个人体关键点之间的相对位置信息，以及与当前待处理的图像相邻的图像中各个人体关键点之间的相对位置信息，确定动态关键点，根据各个动态关键点之间的相对位置信息，以及各个动态关键点在各帧图像中的位置变化信息，确定目标对象所指示的执行动作，可以减少车载终端的工作量，提高车载终端的计算效率以及计算准确率等。
在一些实施例中，所述位置变化信息，包括：所述人体关键点的位置变化速度和位置变化方向；所述方法还包括：
在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
根据所述位置变化速度，对所述车辆的移动速度进行调整；
控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
本申请实施例中，位置变化信息至少可以包括：人体关键点的位置变化速度和位置变化方向。位置变化速度可以表征目标对象的各个部位移动的快慢，例如：第一帧图像上左腕关键点的位置信息为(125,100)，第二帧图像上左腕关键点的位置信息为(125,200)，第三帧图像上左腕关键点的位置信息为(125,250)，那么车载终端可以确定左腕关键点的位置变化速度在减小。位置变化方向可以是指目标对象移动的方向，例如：第一帧图像上左腕关键点的位置信息为(125,100)，第二帧图像上左腕关键点的位置信息为(125,200)，那么车载终端可以确定左腕关键点的位置变化方向为从左往右水平移动。
在一些实施例中，车载终端可以在控制车辆按照执行动作移动的过程中，获取各个人体关键点的位置变化速度。例如，车载终端可以根据各帧图像上人体关键点的位置信息以及预先设置的图像采集模组的采集频率，来确定人体关键点的位置变化速度。例如：车载终端确定连续两帧图像中左腕关键点的位置信息的差值为5，采集频率为每秒15帧，采集周期为0.25秒，则差值除以周期即为位置变化速度，那么可以确定位置变化速度为20。
然后车载终端可以根据位置变化速度，对车辆的移动速度进行调整。例如：车载终端控制车辆以预先设置的4千米每小时的移动速度匀速向前直线移动，车载终端可以通过确定左腕关键点的位置变化速度(如，20)大于预设速度阈值(如，15)，那么车载终端可以将预先设置的移动速度调高，控制车辆以新的移动速度匀速向前直线移动。车载终端可以预先设置位置变化速度与车辆的移动速度之间的对应关系，或者位置变化速度与车辆的移动速度的调整量之间的对应关系，根据当前获取的位置变化速度以及对应关系，来对车辆的移动速度进行调整。
在一些实施例中，车载终端也可以控制车辆按照调整后的移动速度，沿位置变化方向移动，例如：车载终端控制车辆以预先设置的4千米每小时的移动速度匀速向前直线移动，车载终端可以通过确定左腕关键点的位置变化方向(如，向左)，那么车载终端控制车辆以预先设置的转向角度(如，10度)向左移动等。车载终端可以预先设置位置变化方向与转向角度之间的对应关系，根据当前获取的位置变化方向以及对应关系，来控制车辆的移动方向等。
本申请实施例中，通过在控制车辆按照执行动作移动的过程中，获取各个人体关键点的位置变化速度，根据位置变化速度，对车辆的移动速度进行调整，控制车辆按照调整后的移动速度，沿所述位置变化方向移动，可以及时准确地调整车辆的移动速度和移动方向等，方便灵活地控制车辆移动，提高用户体验。
在一些实施例中，所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各帧所述图像的采集时间，确定出各帧所述图像的时序信息；
将所述时序信息和多组所述位置信息输入识别模型，得到所述目标对象所指示的执行动作。
本申请实施例中，车载终端可以根据各帧图像的采集时间，确定出各帧图像的时序信息，时序信息可以是指采集图像时的先后顺序，例如：车载终端连续采集三帧图像，第一帧的时序信息可以为1，第二帧的时序信息可以为2，第三帧的时序信息可以为3等。车载终端可以通过读取图像头文件中的具体采集时间，来确定具体的时序信息。车载终端确定时序信息后，可以将时序信息和多组位置信息输入识别模型，得到目标对象所指示的执行动作。识别模型可以是指训练好的神经网络模型，输入时序信息和多组位置信息，输出对应的执行动作等，如，长短期记忆网络(Long Short-Term Memory，LSTM)等。例如：车载终端可以通过将多组位置信息以及各个动作对应的时序信息输入到训练好的识别模型，得到具体的执行动作等。在训练的过程中，车载终端可以将标记好的时序信息和位置信息和执行动作输入初始化的识别模型进行配置参数的训练，得到训练好的识别模型。
本申请实施例中，通过根据各帧图像的采集时间，确定出各帧图像的时序信息，将时序信息和多组位置信息输入识别模型，得到目标对象所指示的执行动作，相对于相关技术中，直接输入时序信息和各人体关键点，本申请的技术方案可以提高车载终端的计算效率以及计算准确率等。
在一些实施例中，所述执行动作至少包括：停止动作；所述方法还包括：
在控制所述车辆移动的过程中，如果在预设时长内未检测到所述停止动作，则停止所述车辆的移动。
本申请实施例中，执行动作至少可以包括：停止动作、移动动作等，其中，停止动作用于指示车辆停止移动，移动动作用于指示车辆移动。车载终端在控制车辆移动的过程中，如果在预设时长内未检测到停止动作，则停止车辆的移动。例如：在车载终端进入控制状态的过程中，可以一直针对目标对象连续采集多帧图像，那么车载终端可以确定目标对象所指示的不同的执行动作。在车载终端直行或者转向移动的过程中，若车载终端确定预设时长2秒内，未检测执行动作时，车载终端可以停止车辆的移动，例如：车载终端在2秒内未检测到任何一种用于指示车辆移动的执行动作，那么可以强制控制车辆停止移动。或者车辆正在前向直行，而且已经检测到车辆直行超过5分钟，整个移动过程中都未检测到停止动作，且未检测到其他新的执行动作(如，直行动作、后退动作、右转动作等)时，车载终端可以停止车辆的移动。
本申请实施例中，通过在控制车辆移动的过程中，如果在预设时长内未检测到停止动作，则停止车辆的移动，可以进一步保证车辆在移动过程中的安全性。
在一些实施例中，所述方法还包括：
在检测到所述目标对象的地理位置发生变化时，根据所述目标对象的地理位置变化量，调整所述车辆的移动轨迹。
本申请实施例中，车载终端在检测到目标对象的地理位置发生变化时，根据目标对象的地理位置变化量，调整车辆的移动轨迹，地理位置变化量可以包括距离变化量和方向变化量等变化量。车载终端可以通过多帧图像的人体关键点在图像中的位置信息，来判断目标对象的地理位置是否发生变化。例如：车载终端计算第一帧图像中人体关键点的平均坐标，得到平均坐标为(125,100)，计算第二帧图像中人体关键点的平均坐标，得到平均坐标为(125,169)等，那么可以确定目标对象的地理位置发生了变化，且地理位置变化量可为向右69。车载终端还可以通过确定目标对象与其他对象之间的相对位置信息，来确定目标对象的地理位置是否发生变化等。
在一些实施中，车载终端可以预先设置对应不同的执行动作时，车辆默认的的移动速度和移动路径等信息。在车载终端确定具体的执行动作后，按照预设的移动速度和移动路径控制车辆进行移动，若车载终端确定目标对象的地理位置变化量不为零，那么可以调整车辆的移动轨迹，例如：将预设的移动路径向左偏移10度等。车载终端规划出新的移动路径后，可以控制车辆按照新的移动路径进行移动，到达指定位置。
本申请实施例中，通过在检测到目标对象的地理位置发生变化时，根据目标对象的地理位置变化量，调整车辆的移动轨迹，可以及时准确地调整车辆的移动路径等，方便灵活地控制车辆移动，提高用户体验。
本申请实施例中，在确定出目标对象的人体关键点之后，可以确定人体关键点在各帧图像中的位置信息，从而可以根据位置信息来确定执行动作，进而控制车辆按照执行动作移动。这样，能够使得确定出的位置信息与目标对象的动作更贴合，且由于采集的多帧图像在时序上是连续的，则得到的多组位置信息在时序上也是连续的，通过在时序上连续的多组位置信息，确定目标对象所指示的执行动作，能够保证最终所确定的执行动作的连贯性和准确性。
在一种可能的实施例中，本申请中的车辆控制方法可以应用在泊车控制系统中，如图4所示，图4可以表示一种泊车控制系统的示意图。如图4所示，泊车控制系统可以包括：采集模块401、感知模块402、规划模块403和控制模块404等。采集模块401可以用于从车辆外部采集多帧图像，可以包括前视摄像头和周视摄像头等多种类型的摄像头。感知模块402可以用于对多帧图像进行处理，确定具体的执行动作，可以包括感知、行人识别和预测手势等多个子模块。规划模块403可以用于根据具体的执行动作，确定车辆的移动信息(如，移动速度和移动方向等)，可以包括场景决策、速度规划和路径规划等多个子模块。控制模块404可以用于根据移动信息，控制车辆的横向移动的横向能力和纵向移动的纵向能力等，以使得车辆安全稳定地到达指定位置。
在处理的过程中，车载终端可以通过采集模块401(如，设置在车辆外部的前视摄像头和周视摄像头等多种类型的摄像头等)，从多个角度采集多帧图像，如，视场角(FieldofView，FOV)为60度的摄像头等。车载终端可以通过感知模块402中的感知(Perception)子模块来判断图像中是否存在行人等对象，若确定存在，可以通过行人识别(PersonRecognition)子模块来进行身份认证，确定对象是否为目标对象。例如：可以通过在车辆外的外部识别系统使用人脸识别(Face Id)算法检测行人身份(如，判断是否为控车用户)。车载终端确定目标对象后，可以通过预测手势(Prediction)子模块，确定具体的执行动作。例如：前视摄像头实时获取30fps的彩色(Red Green Blue，RGB)图像，通过检测网络检测目标对象(如，行人)的检测框(Bounding Bbox，BBOX)，将检测框送入关键点检测网络，检测到目标对象的14个人体关键点，通过连续的15帧的人体关键点构成的位置信息进行时序的动作预测，确定执行动作。其中，执行动作的动作类别可以包括启动动作、直行动作、后退动作、停止动作、左转动作、右转动作和算法终止动作等。
车载终端确定具体的执行动作后，可以通过规划模块403根据执行动作规划车辆的移动信息，移动信息可以包括移动速度和移动路径等，车载终端可以通过预测的不同执行动作进行速度和车辆行驶路径的判定和优化，从而对移动信息进行全局规划(GlobalPlanner)等。例如：车载终端可以先进行场景决策(Scenario decider)处理确定车辆是直行还是非直行等移动场景，然后根据具体的移动场景来进行速度规划(Speed Planner)和路径规划(Path Planner)等处理。速度规划可以包括速度优化(Speed Optimizer)和速度判断(Speed decider)等处理，路径规划可以包括路径优化(Path Optimizer)和路径判断(Path decider)等处理。车载终端确定车辆的移动速度和移动路径后，可以通过控制模块404对车辆进行控制，车载终端可以具有控制车辆横向移动的横向能力和纵向移动的纵向能力等，从而使得车辆能够根据目标对象的执行动作，自动到达指定位置，提高用户的使用体验和便利性等。
如图5所示，图5可以表示一种执行动作的示意图。如图5所示，执行动作可以包括：直行动作、后退动作、停止动作、左转动作、右转动作、控制系统(也可以称为算法)终止动作以及控制系统(也可以称为算法)启动动作等。例如：若车载终端确定目标对象所指示的为启动动作，那么车载终端可以跟踪目标对象所在的检测框，根据采集到的检测框大小的图像进行后续的手势识别处理等；若车载终端确定目标对象所指示的为停止动作，那么车载终端可以控制车辆立即制动，且延时需小于第二预设时长(如，500ms)；若车载终端确定目标对象所指示的为终止动作，那么车载终端可以控制车辆的波长系统停止运行。
如图6所示，图6可以表示一种车辆直行移动的示意图。如图6所示，车辆在直行(如，前进和后退)的过程中，可以从多个角度采集多帧图像，例如：视场角为30度的1号前视摄像头、视场角为60度的2号前视摄像头、视场角为120度的3号前视摄像头等，视场角为60度的4号周视摄像头和5号周视摄像头等。在目标对象的指示下，车载终端可以控制车辆自动进出车位，如，前进4m，到达车道线附近等。若车载终端确定目标对象所指示的为直行动作，那么车载终端可以控制车辆持续以第一预设速度(如，小于5km/h)的速度缓慢行驶。若第一预设时长内(如，2s)未继续检测到直行动作，则可以停止车辆前行。
如图7所示，图7可以表示一种车辆转向移动的示意图。如图7所示，车辆在转向(如，左转和右转)的过程中，可以从多个角度采集多帧图像，例如：视场角为30度的1号前视摄像头、视场角为60度的2号前视摄像头、视场角为120度的3号前视摄像头等，视场角为60度的4号周视摄像头和5号周视摄像头等。例如：在目标对象的指示下，车载终端确定目标对象所指示的为左转动作，那么车载终端可以控制车辆以第二预设速度(如，小于5km/h)的速度缓慢以预设角度(如，27度)行驶直行转弯至平行于车道线的方向，转弯后车辆终点位置与起始点位置之间的水平距离可以为2m，车辆可以距离目标对象(也可以称为控车人)1m，终点位置与起始点位置之间的竖直距离可以通过图像采集模组的内外参数进行估计距离(如，可以控制在4m左右)。其中，预设角度(θ)，可以通过公式θ＝arctan(0.5)/pi×180＝27°来确定，0.5可以表示水平距离与竖直距离之间的比值，右转动作对应的控制方式与左转动作对应的控制方式的逻辑相同，转向角度不同。
如图8所示，图8可以表示一种预测手势的流程图。如图8所示，车载终端可以进行目标检测，确定目标对象。然后对目标对象进行目标跟踪处理，确定目标对象对应的检测框。再对检测框内的图像进行人体关键点检测，确定当前图像的人体关键点。通过对多帧进行人体关键点检测，得到多帧图像的人体关键点。根据多帧图像的人体关键点来进行时序预测动作，确定具体的动作，如，启动动作、直行动作、后退动作、停止动作、左转动作、右转动作、终止动作等。
相关技术中的动作预测算法，主要是利用三维卷积或者时空图卷积网络，但是网络复杂度和所需的算力较多，本申请的技术方案结合关键点检测和时序预测(如，通过长短期记忆网络进行时序预测)，满足算力需求，且能够节省计算时间。本申请的技术方案使用连续多帧的人体关键点，通过计算出相邻关键点构成的位置信息。如图3所示，图3可以表示一种位置信息的示意图。如图3所示，位置信息可以包括：骨骼长度(特征一)，相邻骨骼的角度(特征二)，肢体末端左右手两帧之间的运动向量(特征四)以及肢体末端和跳一个点的连接(特征三)等。由于目标对象动作的变化是各个骨骼之间的变化，通过对上述位置信息的预测，得到具体的执行动作，相比只用人体关键点的位置变化学习时序信息，位置信息更准确全面，有助于提高车载终端的计算效率和计算准确率等。
图9是根据一示例性实施例示出的一种车辆控制装置框图。如图9所示，该车辆控制装置900主要包括：
检测模块901，配置为在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
采集模块902，配置为在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
第一确定模块903，配置为从各帧所述图像中分别确定出所述目标对象的人体关键点；
第二确定模块904，配置为确定所述人体关键点在各帧所述图像中的位置信息；
第三确定模块905，配置为根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制模块906，配置为控制所述车辆按照所述执行动作移动。
在一些实施例中，所述人体关键点为多个；所述位置信息包括：相对位置信息和位置变化信息；所述第二确定模块904，配置为：
确定当前待处理的图像中各个所述人体关键点之间的相对位置信息；
根据各个所述人体关键点在所述当前待处理的图像中的位置信息，以及各个所述人体关键点在与所述当前待处理的图像相邻的图像中的位置信息，确定各个所述人体关键点的位置变化信息；
所述第三确定模块905，配置为：
根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作；
其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。
在一些实施例中，所述第二确定模块904，配置为：
根据当前待处理的图像中各个所述人体关键点之间的位置信息，以及与所述当前待处理的图像相邻的图像中各个所述人体关键点之间的位置信息，确定动态关键点；
根据各个所述动态关键点之间的相对位置信息，以及各个所述动态关键点在各帧所述图像中的位置变化信息，确定所述目标对象所指示的执行动作。
在一些实施例中，所述位置变化信息，包括：所述人体关键点的位置变化速度和位置变化方向；所述装置900还包括：
获取模块，配置为在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
第一调整模块，配置为根据所述位置变化速度，对所述车辆的移动速度进行调整；
第二调整模块，配置为控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
在一些实施例中，所述第三确定模块905，配置为：
根据各帧所述图像的采集时间，确定出各帧所述图像的时序信息；
将所述时序信息和多组所述位置信息输入识别模型，得到所述目标对象所指示的执行动作。
在一些实施例中，所述执行动作至少包括：停止动作；所述装置900还包括：
停止模块，配置为在控制所述车辆移动的过程中，如果在预设时长内未检测到所述停止动作，则停止所述车辆的移动。
在一些实施例中，所述装置900还包括：
第三调整模块，配置为在检测到所述目标对象的地理位置发生变化时，根据所述目标对象的地理位置变化量，调整所述车辆的移动轨迹。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种车辆控制装置的硬件结构框图。例如，装置1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图10，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如WI-FI，4G或5G，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由车辆控制装置的处理器执行时，使得车辆控制装置能够执行一种车辆控制方法，包括：
在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
从各帧所述图像中分别确定出所述目标对象的人体关键点；
确定所述人体关键点在各帧所述图像中的位置信息；
根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制所述车辆按照所述执行动作移动。
图11是根据一示例性实施例示出的一种用于车辆控制的装置1100的硬件结构框图。例如，装置1100可以被提供为一服务器。参照图11，装置1100包括处理组件1122，其进一步包括一个或多个处理器，以及由存储器1132所代表的存储器资源，用于存储可由处理组件1122的执行的指令，例如应用程序。存储器1132中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1122被配置为执行指令，以执行一种车辆控制方法，包括：
在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
从各帧所述图像中分别确定出所述目标对象的人体关键点；
确定所述人体关键点在各帧所述图像中的位置信息；
根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制所述车辆按照所述执行动作移动。
装置1100还可以包括一个电源组件1126被配置为执行装置1100的电源管理，一个有线或无线网络接口1150被配置为将装置1100连接到网络，和一个输入/输出(I/O)接口1158。装置1100可以操作基于存储在存储器1132的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种车辆控制方法，其特征在于，所述方法包括：
在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
从各帧所述图像中分别确定出所述目标对象的人体关键点；
确定所述人体关键点在各帧所述图像中的位置信息；
根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
控制所述车辆按照所述执行动作移动；
其中，所述位置信息包括位置变化信息，所述位置变化信息包括：
所述人体关键点的位置变化速度和位置变化方向；
所述方法还包括：
在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
根据所述位置变化速度，对所述车辆的移动速度进行调整；
控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
2.根据权利要求1所述的方法，其特征在于，所述人体关键点为多个；所述位置信息还包括：相对位置信息；所述确定所述人体关键点在各帧所述图像中的位置信息，包括：
确定当前待处理的图像中各个所述人体关键点之间的相对位置信息；
根据各个所述人体关键点在所述当前待处理的图像中的位置信息，以及各个所述人体关键点在与所述当前待处理的图像相邻的图像中的位置信息，确定各个所述人体关键点的位置变化信息；
所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作；
其中，所述当前待处理的图像为：各帧所述图像中的任意一帧。
3.根据权利要求2所述的方法，其特征在于，所述根据各个所述人体关键点的相对位置信息和位置变化信息，确定所述目标对象所指示的执行动作，包括：
根据当前待处理的图像中各个所述人体关键点之间的位置信息，以及与所述当前待处理的图像相邻的图像中各个所述人体关键点之间的位置信息，确定动态关键点；
根据各个所述动态关键点之间的相对位置信息，以及各个所述动态关键点在各帧所述图像中的位置变化信息，确定所述目标对象所指示的执行动作。
4.根据权利要求1所述的方法，其特征在于，所述根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作，包括：
根据各帧所述图像的采集时间，确定出各帧所述图像的时序信息；
将所述时序信息和多组所述位置信息输入识别模型，得到所述目标对象所指示的执行动作。
5.根据权利要求1所述的方法，其特征在于，所述执行动作至少包括：停止动作；所述方法还包括：
在控制所述车辆移动的过程中，如果在预设时长内未检测到所述停止动作，则停止所述车辆的移动。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在检测到所述目标对象的地理位置发生变化时，根据所述目标对象的地理位置变化量，调整所述车辆的移动轨迹。
7.一种车辆控制装置，其特征在于，包括：
检测模块，配置为在确定所述车辆进入控制状态时，检测位于所述车辆外部的目标对象；
采集模块，配置为在检测到所述目标对象的情况下，针对所述目标对象连续采集多帧图像；
第一确定模块，配置为从各帧所述图像中分别确定出所述目标对象的人体关键点；
第二确定模块，配置为确定所述人体关键点在各帧所述图像中的位置信息；
第三确定模块，配置为根据多帧所述图像所对应的多组所述位置信息，确定所述目标对象所指示的执行动作；
第一控制模块，配置为控制所述车辆按照所述执行动作移动；
其中，所述位置信息包括位置变化信息，所述位置变化信息包括：
所述人体关键点的位置变化速度和位置变化方向；
所述装置还包括：
获取模块，配置为在控制所述车辆按照所述执行动作移动的过程中，获取各个所述人体关键点的位置变化速度；
调整模块，配置为根据所述位置变化速度，对所述车辆的移动速度进行调整；
第二控制模块，配置为控制所述车辆按照调整后的移动速度，沿所述位置变化方向移动。
8.一种车辆控制装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至6中任一种车辆控制方法中的步骤。
9.一种非临时性计算机可读存储介质，当所述存储介质中的指令由车辆控制装置的处理器执行时，使得所述装置能够执行上述权利要求1至6中任一种车辆控制方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111551328.9A CN114475577B (zh) | 2021-12-17 | 2021-12-17 | 车辆控制方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111551328.9A CN114475577B (zh) | 2021-12-17 | 2021-12-17 | 车辆控制方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114475577A CN114475577A (zh) | 2022-05-13 |
| CN114475577B true CN114475577B (zh) | 2023-11-03 |
Family
ID=81494577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111551328.9A Active CN114475577B (zh) | 2021-12-17 | 2021-12-17 | 车辆控制方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114475577B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110239529A (zh) * | 2019-06-28 | 2019-09-17 | 北京海益同展信息科技有限公司 | 车辆控制方法、装置及计算机可读存储介质 |
| CN111382624A (zh) * | 2018-12-28 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 动作识别方法、装置、设备及可读存储介质 |
| WO2020237942A1 (zh) * | 2019-05-30 | 2020-12-03 | 初速度（苏州）科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN113158833A (zh) * | 2021-03-31 | 2021-07-23 | 电子科技大学 | 一种基于人体姿态的无人车控制指挥方法 |
| CN113496200A (zh) * | 2020-04-08 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113536857A (zh) * | 2020-04-20 | 2021-10-22 | 深圳绿米联创科技有限公司 | 目标动作识别方法、装置、服务器及存储介质 |
-
2021
- 2021-12-17 CN CN202111551328.9A patent/CN114475577B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382624A (zh) * | 2018-12-28 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 动作识别方法、装置、设备及可读存储介质 |
| WO2020237942A1 (zh) * | 2019-05-30 | 2020-12-03 | 初速度（苏州）科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN110239529A (zh) * | 2019-06-28 | 2019-09-17 | 北京海益同展信息科技有限公司 | 车辆控制方法、装置及计算机可读存储介质 |
| CN113496200A (zh) * | 2020-04-08 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113536857A (zh) * | 2020-04-20 | 2021-10-22 | 深圳绿米联创科技有限公司 | 目标动作识别方法、装置、服务器及存储介质 |
| CN113158833A (zh) * | 2021-03-31 | 2021-07-23 | 电子科技大学 | 一种基于人体姿态的无人车控制指挥方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114475577A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11833966B2 (en) | Switchable display during parking maneuvers | |
| CN113442950B (zh) | 基于多车辆的自动驾驶控制方法、装置和设备 | |
| CN114620072B (zh) | 车辆控制方法、装置、存储介质、电子设备及车辆 | |
| CN111476057A (zh) | 车道线获取方法及装置、车辆驾驶方法及装置 | |
| CN114764911A (zh) | 障碍物信息检测方法、装置、电子设备及存储介质 | |
| CN105511603A (zh) | 设备控制方法和装置 | |
| CN114475577B (zh) | 车辆控制方法、装置及存储介质 | |
| WO2023231211A1 (zh) | 语音识别方法、装置、电子设备、存储介质及产品 | |
| CN114802233B (zh) | 车辆控制方法、装置、电子设备及存储介质 | |
| CN115825979A (zh) | 一种环境感知方法、装置、电子设备、存储介质及车辆 | |
| US20220219717A1 (en) | Vehicle interactive system and method, storage medium, and vehicle | |
| US20230319397A1 (en) | Information processing apparatus, information processing method, and program | |
| CN115995142A (zh) | 基于可穿戴装置的驾驶训练提醒方法及可穿戴装置 | |
| CN115014372A (zh) | 路径规划方法、装置、存储介质及车辆 | |
| CN113460092A (zh) | 车辆控制的方法、装置、设备、存储介质及产品 | |
| CN107458299A (zh) | 车灯控制方法、装置及计算机可读存储介质 | |
| CN113505674A (zh) | 人脸图像处理方法及装置、电子设备和存储介质 | |
| CN114596554B (zh) | 车辆行驶控制方法、装置、设备、车辆及介质 | |
| CN112199987A (zh) | 单一区域内多算法组合配置策略方法、图像处理装置及电子设备 | |
| CN114633764B (zh) | 交通信号灯检测方法、装置、存储介质、电子设备及车辆 | |
| CN114834463B (zh) | 车辆控制方法、装置、存储介质、电子设备、芯片及车辆 | |
| CN114842457B (zh) | 模型训练及特征提取方法、装置、电子设备和介质 | |
| CN116424243B (zh) | 一种智能车载多媒体系统控制方法及装置 | |
| CN115118950B (zh) | 图像处理方法及装置 | |
| US20230290137A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |