CN115909564A - 自动驾驶车辆的控制方法、系统、装置和电子设备 - Google Patents
自动驾驶车辆的控制方法、系统、装置和电子设备 Download PDFInfo
- Publication number
- CN115909564A CN115909564A CN202211663079.7A CN202211663079A CN115909564A CN 115909564 A CN115909564 A CN 115909564A CN 202211663079 A CN202211663079 A CN 202211663079A CN 115909564 A CN115909564 A CN 115909564A
- Authority
- CN
- China
- Prior art keywords
- limb
- posture
- combination
- target
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000036544 posture Effects 0.000 claims abstract description 906
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 239000013589 supplement Substances 0.000 claims description 15
- 230000001502 supplementing effect Effects 0.000 claims description 12
- 230000006698 induction Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 210000003414 extremity Anatomy 0.000 description 689
- 230000000875 corresponding effect Effects 0.000 description 111
- 210000004247 hand Anatomy 0.000 description 33
- 210000003811 finger Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 241000203475 Neopanax arboreus Species 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 210000005224 forefinger Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 241000700605 Viruses Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/72—Electric energy management in electromobility
Landscapes
- Lock And Its Accessories (AREA)
Abstract
本公开提供了一种自动驾驶车辆的控制方法、系统、装置和电子设备,涉及人工智能领域,尤其涉及自动驾驶领域、计算机视觉、图像处理等技术领域。具体实现方案为:在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合;从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势;对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及自动驾驶、计算机视觉、图像处理等领域中的一种自动驾驶车辆的控制方法、系统、装置和电子设备。
背景技术
目前,市场上的自动驾驶车辆都是复用车内物理把手推开车门或者点一下物理按钮启动自动门,或基于私家车(乘用车)的车钥匙解锁方法。
但是,物理把手或按钮开门的方法容易使乘车对象的皮肤较大接触面积,很难规避上一段行程的活性病毒或细菌残留。如果对车辆自动进行紫外线或酒精消杀,也存在卫生死角和运营效率降低的情况。
发明内容
本公开提供了一种自动驾驶车辆的控制方法、系统、装置和电子设备。
根据本公开的一方面,提供了一种自动驾驶车辆的控制方法。该方法可以包括:在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合;从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。
根据本公开的另一方面,还提供了另一种自动驾驶车辆的控制方法。该方法可以包括:检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门;感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定;在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。
根据本公开的另一方面,还提供了一种自动驾驶车辆的控制系统。该系统可以包括:感应模组,用于在自动驾驶车辆的当前行程结束的情况下,于感应自动驾驶车辆中乘车对象的肢体;图像采集设备,用于采集乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势;处理器,用于从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;控制器,用于基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门。
根据本公开的另一方面,还提供了一种自动驾驶车辆的控制装置。该装置可以包括:识别单元,用于在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势;调取单元,用于从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;匹配单元,用于对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;确定单元,用于基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门。
根据本公开的一方面,还提供了一种电子设备。该电子设备可以包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开实施例的自动驾驶车辆的控制方法。
根据本公开的另一方面,还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开实施例的自动驾驶车辆的控制方法。
根据本公开的另一方面,还提供了一种计算机程序产品,可以包括计算机程序,计算机程序在被处理器执行时实现本公开实施例的自动驾驶车辆的控制方法。
根据本公开的另一方面,还提供了一种自动驾驶车辆,可以包括上述电子设备。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的一种自动驾驶车辆的控制方法的流程图;
图2是根据本公开实施例的另一种自动驾驶车辆的控制方法的流程图;
图3是根据本公开实施例的一种感知模块的示意图;
图4(a)是根据本公开实施例的一种物体感知手势识别的方法的流程图;
图4(b)是根据本公开实施例的一种手势识别的示意图;
图4(c)是根据本公开实施例的一种手势识别的示意图;
图4(d)是根据本公开实施例的一种提示信息的示意图;
图4(e)是根据本公开实施例的另一种提示信息的示意图;
图5是根据本公开实施例的一种自动驾驶车辆的控制系统的示意图;
图6是根据本公开实施例的一种自动驾驶车辆的控制装置的示意图;
图7是根据本公开实施例的另一种自动驾驶车辆的控制装置的示意图;
图8是根据本公开实施例的一种自动驾驶车辆的控制方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种自动驾驶车辆的控制方法,图1是根据本公开实施例的一种自动驾驶车辆的控制方法的流程图,如图1所示,该自动驾驶车辆的控制方法的实施方案至少可以包括以下实施步骤:
步骤S102,在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的肢体姿势。
在本申请公开上述步骤S102提供的技术方案中,自动驾驶车辆可以为运营类车辆,比如,为共享出行运营类车辆时,当前行程可以指的是自动驾驶车辆从出站到进站的过程,在自动驾驶车辆的上述当前行程结束的情况下,可以响应于感应到的自动驾驶车辆中乘车对象的肢体,可以识别乘车对象的肢体姿势,该肢体姿势可以为多个,每次识别到的乘车对象的肢体姿势形成肢体姿势组合。其中,乘车对象可以为自动驾驶车辆中的乘客,肢体可以为乘车对象灵活执行的肢体部位,比如,肢体为乘车对象的手部、手臂等,此处仅为举例,不对肢体做具体限制。对肢体姿势组合的识别可以通过截图、图像或视频等方式进行识别的,此处仅为举例,不对识别方式做具体限制。肢体姿势组合可以包括乘车对象按照执行顺序依次执行的肢体姿势。其中,肢体姿势可以为乘车对象的肢体执行的动作序列,可以为乘车对象的手势姿势或手臂姿势等,比如,在肢体为手部的情况下,肢体姿势可以为乘车对象的五指张开姿势或握拳姿势,在肢体为手臂的情况下,肢体姿势可以为手臂交叉姿势或打弯姿势等。需要说明的是,只要是方便乘车对象执行的肢体姿势都在该实施例的范围之内,此处不做具体限制。
可选地,在自动驾驶车辆的当前行程结束的情况下,可以通过车辆中的信息感应装置对车辆中乘车对象的肢体进行感应,其中,信息感应装置可以为红外感应装置,其也可以为包括红外感应装置的红外感应模组。当信息感应装置感应到乘车对象的肢体时,响应于感应到的自动驾驶车辆中乘车对象的肢体,可以对乘车对象肢体姿势进行识别,得到乘车对象按照执行顺序依次执行的肢体姿势,以形成肢体姿势组合。
需要说明的是,自动驾驶车辆在接乘车对象上车时,为避免因为上错车而存在安全隐患的问题,通常是对乘车对象进行身份认证,一旦认证成功之后,会自动解锁打开车门,并不需要手势识别,也不存在安全隐患。但是,在乘车对象下车的时候,只是对乘车对象进行身份认证之后就对车门解锁开门的话,容易导致误触发车门的问题,因此,本公开实施例,在自动驾驶车辆的当前行程结束、乘车对象准备下车的情况下,当感应到乘车对象的肢体时,对乘车对象的肢体姿势进行识别,得到乘车对象的肢体姿势组,基于肢体姿势组中的肢体姿势可以准确判断乘车对象想要下车的意图,从而自动对车门进行解锁开门的动作,进而提高自动驾驶车辆行驶过程中的安全性。
步骤S104,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定。
在本申请公开上述步骤S104提供的技术方案中,可以基于肢体姿势组合中的肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。其中,目标肢体姿势组合可以用于与肢体姿势组合中肢体姿势进行匹配,以判断肢体姿势组合中肢体姿势是否满足执行要求,可以包括按照调取顺序进行排序的目标肢体姿势,可以为预先存储的姿势肢体组合,比如,预先设定好的用于解锁车门的姿势肢体组合。
可选地,可以从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势为相似肢体和相似姿势的目标肢体姿势,得到肢体姿势对应的目标肢体姿势。可以基于识别到的肢体姿势组合中肢体姿势的执行顺序,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。
举例而言,识别乘车对象的肢体姿势组包括五指张开的肢体姿势和五指握拳的肢体姿势。可以从目标肢体姿势组合中提取出与五指张开为相似肢体、相似姿势的目标肢体姿势,得到与五指张开对应的目标肢体姿势A和与五指握拳为相似肢体、相似姿势的目标肢体姿势,得到与五指握拳对应的目标肢体姿势B。其中,肢体姿势组中的执行顺序为五指张开、五指握拳,则目标肢体姿势组合中的提取顺序为目标肢体姿势A、目标肢体姿势B。
再举例而言,可以在车载显示器中显示想要乘车对象做的肢体姿势,当红外感知模组感应到乘车对象的肢体时,可以对乘车对象的肢体姿势进行识别,得到肢体姿势组合。可以按照肢体姿势组合的执行顺序,依次从目标肢体姿势组合中调取目标肢体姿势。
步骤S106,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
在本申请公开上述步骤S106提供的技术方案中,识别肢体姿势组合,基于肢体姿势组合中肢体姿势的执行顺序从目标肢体姿势组合中提取与肢体姿势对应的目标肢体姿势,可以将肢体姿势组合中的肢体姿势和对应的目标肢体姿势进行匹配,得到匹配结果。其中,匹配结果可以为肢体姿势与目标肢体姿势匹配成功或匹配失败,可以用于表征肢体姿势组合中肢体姿势与目标肢体姿势之间的相似度,比如,可以为匹配程度为80%的相似度,需要说明的是,此处仅为举例,不对匹配结果的表现形式做具体限制。
举例而言,乘车对象的肢体姿势组为五指张开和五指握拳。可以从目标肢体姿势组合中提取出与五指张开对应的目标肢体姿势A和与五指握拳对应的目标肢体姿势B。可以将五指张开与目标肢体姿势A进行匹配,可以将五指握拳与目标肢体姿势B进行匹配,得到匹配结果。
步骤S108,基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。
在本申请公开上述步骤S108提供的技术方案中,基于匹配结果,可以确定是否控制自动驾驶车辆的目标车门进行解锁开门,比如,如果匹配结果用于表示肢体姿势组合中的肢体姿势和对应的目标肢体姿势匹配,则可以确定需要控制自动驾驶车辆的目标车门进行解锁开门,如果匹配结果用于表示肢体姿势组合中的肢体姿势和对应的目标肢体姿势不匹配,则可以确定不需要控制自动驾驶车辆的目标车门进行解锁开门。目标车门可以为预先设定好的解锁开门的车门,比如,可以为车辆的右后门。
可选地,在车辆进行解锁开门时,只打开目标车门即可,不需要打开所有的车门。其中,目标车门可以为根据实际使用情况,预先设定好的待打开的车门。比如,当自动驾驶车辆为运营类车辆时,从驾驶安全的角度出发,副驾驶是不允许坐人的,左后面也是只上不下的,因此,目标车门可以为右后门。需要说明的是,此处不对目标车门的位置做具体限制,目标车门的数量和位置可以根据实际情况进行改变。
举例而言,可以对乘车对象的肢体进行识别,得到乘车对象的第一个肢体姿势,从目标肢体姿势组合中调取与上述肢体姿势对应的目标肢体姿势。可以先将第一个肢体姿势与第一个肢体姿势对应的目标肢体姿势进行匹配,如果匹配失败,则停止匹配第一个肢体姿势后面的肢体姿势,且不控制自动驾驶车辆的目标车门进行解锁,如果匹配成功,则可以对乘车对象的肢体进行识别,得到乘车对象的第二个肢体姿势,将第二个肢体姿势与第二个肢体姿势对应的目标肢体姿势继续进行匹配。如果第二个肢体姿势与第二个肢体姿势对应的目标肢体姿势匹配失败,则停止匹配第二个肢体姿势后面的肢体姿势,且不控制自动驾驶车辆的目标车门进行解锁,如果匹配成功,则继续对乘车对象的肢体进行识别,对得到的下一个肢体姿势进行判断,直至判断到最后一个肢体姿势与最后一个肢体姿势对应的目标肢体姿势的匹配结果也为匹配成功,则可以确定控制自动驾驶车辆的目标车门进行解锁。如果在匹配过程中存在任意一个匹配结果为失败的情况,都不会控制自动驾驶车辆的目标车门进行解锁开锁,上述对乘车对象的肢体每次识别得到的肢体姿势构成了乘车对象的肢体姿势组合。
通过上述步骤S102至步骤S108,在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的肢体姿势;从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。也就是说,本公开实施例在自动驾驶车辆的当前行程结束的情况下,通过感应自动驾驶车辆中乘车对象的肢体,实现了非接触式从内部解锁车门并打开的方案。其中,通过识别肢体姿势组合的策略可以规避误操作的安全隐患,能够使得共享出行车辆更安全的运行,从而达到了提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。
下面对该实施例的上述方法进行进一步地详细介绍。
作为一种可选的实施例,步骤S106,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果包括:检测肢体姿势组合中肢体姿势的持续时长;基于检测到的持续时长,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
在该实施例中,当感应到自动驾驶车辆中乘车对象的肢体时,可以识别乘车对象的肢体姿势组合,且检测肢体姿势组合中每个肢体姿势的持续时长,可以基于检测到的持续时长,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。其中,持续时长可以为肢体姿势持续的时间,比如,可以为1秒、2秒等,此处仅为举例,不对持续时长的大小做具体限制。
可选地,识别肢体姿势组合,可以从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,可以将肢体姿势与目标肢体姿势的姿势和持续时长进行匹配,得到匹配结果。
举例而言,识别得到肢体姿势组合,检测肢体姿势组合中肢体姿势的持续时长,可以将肢体姿势与调取到的目标肢体姿势的肢体、姿势和持续时长进行匹配,得到匹配结果。
作为一种可选的实施例,基于检测到的持续时长,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果包括:响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度大于相似度阈值,且检测到的持续时长满足调取到的目标肢体姿势的目标持续时长,确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功。
在该实施例中,可以判断肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度,如果肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度大于相似度阈值,可以进一步判断该肢体姿势的持续时长是否满足调取到的目标肢体姿势的目标持续时长。如果肢体姿势的持续时长不小于调取到的目标肢体姿势的目标持续时长,则可以确定该肢体姿势的持续时长满足调取到的目标肢体姿势的目标持续时长,如果肢体姿势的持续时长小于调取到的目标肢体姿势的目标持续时长,则可以确定该肢体姿势的持续时长不满足调取到的目标肢体姿势的目标持续时长。响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度大于相似度阈值,且检测到的持续时长满足调取到的目标肢体姿势的目标持续时长,可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功。其中,相似度阈值可以为预先存储的阈值,比如,可以为根据实际情况预先设定好的值,比如,为了提高控制的准确性,可以设计较大的相似度阈值,可以为98%。目标持续时长可以为预先存储的时间长度,比如,可以为预先设定好的时间长度,可以为2秒、3秒等。需要说明的是,上述数字仅为举例说明,不对相似度阈值和目标持续时长的大小做具体限制。
举例而言,设定相似度阈值为90%,目标肢体姿势为双手握拳的目标持续时长为4秒。识别乘车对象的肢体姿势组合为双手握拳和双手都伸出食指,检测得到双手握拳的持续时长为5秒。判断双手握拳与对应的目标肢体姿势之间的相似度,且判断双手握拳的持续时长是否满足调取到的目标肢体姿势的目标持续时长。响应于双手握拳于调取到的目标肢体姿势为双手握拳的相似度为95%,大于相似度阈值;且双手握拳的持续时长为5秒,满足目标持续时长,则可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功。
作为一种可选的实施例,基于检测到的持续时长,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果包括:响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度不大于相似度阈值,和/或,检测到的持续时长未满足调取到的目标肢体姿势的目标持续时长,确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。
在该实施例中,判断肢体姿势组合中肢体姿势与调取到的目标肢体姿势的相似度和肢体姿势组合中肢体姿势的持续时长。响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度不大于相似度阈值,和/或,检测到的持续时长未满足调取到的目标肢体姿势的目标持续时长,则可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。
可选地,可以将肢体姿势组合中肢体姿势与调取的目标肢体姿势组合中目标肢体姿势进行匹配,可以将肢体姿势与对应的目标肢体姿势的肢体动作的相似度进行匹配,且可以判断肢体姿势的持续时长是否满足目标肢体姿势的目标持续时长。如果肢体姿势与对应的目标肢体姿势的肢体动作相似度不大于相似度阈值,且检测到的持续时长未满足调取到的目标肢体姿势的目标持续时长,则可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。或如果肢体姿势与对应的目标肢体姿势的肢体动作相似度不大于相似度阈值,但检测到的持续时长满足调取到的目标肢体姿势的目标持续时长,也可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。或如果肢体姿势与对应的目标肢体姿势的肢体动作相似度大于相似度阈值,但检测到的持续时长不满足调取到的目标肢体姿势的目标持续时长,也可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。
在本公开实施例中,不仅是对肢体姿势进行确定,还对肢体姿势的持续时间进行判断,从而避免了误触发的情况,提高了控制的准确性。
举例而言,检测到肢体姿势组合中双手握拳的肢体姿势的持续时长为4秒,目标肢体姿势组合中与双手握拳对应的目标肢体姿势的目标持续时长为5秒。将双手握拳与双手握拳对应的目标肢体姿势进行匹配,确定双手握拳与双手握拳对应的目标肢体姿势的相似度为95%,大于相似度阈值80%,但双手握拳的持续时长小于目标持续时长,不满足调取到的目标肢体姿势的目标持续时长。因此,响应于肢体姿势组合中肢体姿势检测到的持续时长未满足调取到的目标肢体姿势的目标持续时长,可以确定双手握拳与调取到的目标肢体姿势匹配失败。
作为一种可选的实施例,步骤S104,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势包括:响应于肢体姿势组合中肢体姿势为首位肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势;或者,响应于肢体姿势组合中肢体姿势非首位肢体姿势,且肢体姿势组合中肢体姿势的上一肢体姿势与目标肢体姿势组合中与上一肢体姿势对应的目标肢体姿势匹配成功,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。
在该实施例中,确定肢体姿势组合中肢体姿势为首位肢体姿势,响应于肢体姿势组合中肢体姿势为首位肢体姿势,可以直接从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。如果肢体姿势组合中肢体姿势为非首位肢体姿势,需先确定肢体姿势组合中肢体姿势的上一肢体姿势与目标肢体姿势组合中与上一肢体姿势对应的目标肢体姿势匹配成功,则才从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。
举例而言,当肢体姿势为肢体姿势组合中的非首位(第三位)时,需要先确定肢体姿势组合中位于首位的肢体姿势与目标肢体姿势组合中调取与的位于首位的肢体姿势对应的目标肢体姿势是否匹配成功。如果首位的肢体姿势与对应的目标肢体姿势匹配失败,则可以停止对后面肢体姿势的匹配;如果首位的肢体姿势与对应的目标肢体姿势匹配成功,则可以继续从目标肢体姿势组合中调取肢体姿势组合中第二位肢体姿势对应的目标肢体姿势,可以将第二位肢体姿势与对应的目标肢体姿势进行匹配。如果肢体姿势组合中位于第二位的肢体姿势与调取的与第二位的肢体姿势对应的目标肢体姿势匹配失败,则可以停止对后面肢体姿势的匹配;如果第二位的肢体姿势与对应的目标肢体姿势匹配成功,则可以继续对肢体姿势组合中位于第三位的肢体姿势进行匹配,可以从目标肢体姿势组合中调取与肢体姿势组合中的非首位(第三位)的肢体姿势对应的目标肢体姿势。
作为一种可选的实施例,响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功,且肢体姿势组合中肢体姿势非末位肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势的下一肢体姿势对应的目标肢体姿势;对肢体姿势组合中肢体姿势的下一肢体姿势、调取到的下一肢体姿势对应的目标肢体姿势进行匹配,得到匹配结果。
在该实施例中,当肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功,且肢体姿势组合中肢体姿势为非末位肢体姿势时,可以从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势的下一肢体姿势对应的目标肢体姿势;对肢体姿势组合中肢体姿势的下一肢体姿势和调取到的下一肢体姿势对应的目标肢体姿势进行匹配,得到匹配结果。
可选地,响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功,且肢体姿势组合中肢体姿势为非末位肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势的下一肢体姿势对应的目标肢体姿势。对肢体姿势组合中肢体姿势的下一肢体姿势、调取到的下一肢体姿势对应的目标肢体姿势进行匹配,如果此时的匹配的肢体姿势组合中的肢体姿势还是非末位肢体姿势,则可以继续从目标肢体姿势组合中调取与当前肢体姿势组合中肢体姿势的下一肢体姿势对应的目标肢体姿势,对肢体姿势组合中肢体姿势的下一肢体姿势和调取到的下一肢体姿势对应的目标肢体姿势进行匹配,直至肢体姿势组合中肢体姿势为末位的肢体姿势,则将末位的肢体姿势与调取到的末位的肢体姿势对应的目标肢体姿势进行匹配,最终得到匹配结果。
在本公开实施例中,肢体姿势组可以为包含多个肢体姿势的集合,通过对肢体姿势组中多个肢体姿势进行匹配,只有当多个肢体姿势均匹配成功才会控制车门解锁开门,通过组合策略规避了乘车对象误操作导致的安全隐患,保障了乘车对象乘车的安全性。
举例而言,肢体姿势组合包含位于首位的双手紧握的肢体姿势、位于第二位的双手张开的肢体姿势和位于末位的双手均伸出食指的肢体姿势。可以从目标肢体姿势组合中调取与双手紧握对应的目标肢体姿势,将双手紧握与双手紧握对应的目标肢体姿势进行匹配。如果二者匹配失败,则不需要在进行第二位肢体姿势的匹配,如果二者匹配成功,则可以从目标肢体姿势组合中调取与双手张开的肢体姿势对应的目标肢体姿势,且将双手张开与双手张开对应的目标肢体姿势进行匹配。如果双手张开与双手张开对应的目标肢体姿势匹配失败,则不需要在进行第三位肢体姿势的匹配。如果双手张开与双手张开对应的目标肢体姿势匹配成功,由于双手张开为非末位肢体姿势,则可以从目标肢体姿势组合中调取双手张开的下一肢体姿态,双手均伸出食指的肢体动作对应的目标肢体姿势,且将双手均伸出食指的肢体姿态与双手均伸出食指对应的目标肢体姿势进行匹配。由于双手均伸出食指为末位的肢体姿势,则将双手均伸出食指匹配完成之后,可以结束匹配,得到匹配结果。
作为一种可选的实施例,步骤S108,基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门包括:响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,禁止控制自动驾驶车辆的车门进行解锁开门。
在该实施例中,响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,则禁止控制自动驾驶车辆的车门进行解锁开门。
可选地,将肢体姿势组合中肢体姿势分别与对应的目标肢体姿势相匹配,响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,则禁止控制自动驾驶车辆的车门进行解锁开门。
可选地,如果在匹配的过程中,存在肢体姿势错了,则车辆解锁开门失败,禁止控制自动驾驶车辆的车门进行解锁开门。
举例而言,确定肢体姿势组合中位于首位的肢体姿势与目标肢体姿势组合中调取的与位于首位的肢体姿势对应的目标肢体姿势是否匹配成功。如果首位的肢体姿势与对应的目标肢体姿势匹配失败,则可以停止对后面肢体姿势的匹配,且禁止控制自动驾驶车辆的车门进行解锁开门;如果首位的肢体姿势与对应的目标肢体姿势匹配成功,则可以继续从目标肢体姿势组合中调取肢体姿势组合中第二位肢体姿势对应的目标肢体姿势,可以将第二位肢体姿势与对应的目标肢体姿势进行匹配。如果肢体姿势组合中位于第二位的肢体姿势与调取的与第二位的肢体姿势对应的目标肢体姿势匹配失败,则可以停止对后面肢体姿势的匹配,且禁止控制自动驾驶车辆的车门进行解锁开门;如果第二位的肢体姿势与对应的目标肢体姿势匹配成功,则可以继续对肢体姿势组合中位于第三位的肢体姿势进行匹配,可以从目标肢体姿势组合中调取与肢体姿势组合中的非首位(第三位)的肢体姿势对应的目标肢体姿势,将第三位的肢体姿势与对应的目标肢体姿势进行匹配,如果匹配失败,则禁止控制自动驾驶车辆的车门进行解锁开门。
作为一种可选的实施例,响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,输出失败提示信息,其中,失败提示信息用于提示乘车对象重新执行与调取到的目标肢体姿势匹配的肢体姿势;重新识别乘车对象基于失败提示信息执行的肢体姿势;对重新识别到的肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
在该实施例中,当肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,则可以输出失败提示信息。可以重新对乘车对象基于失败提示信息执行的肢体姿势进行识别,对重新识别到的肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。其中,失败提示信息可以用于提示乘车对象重新执行与调取到的目标肢体姿势匹配的肢体姿势,可以为提示文字、语音、视频等,比如,可以为“不匹配”的语音信息,同时重新在显示界面中显示目标肢体姿势。需要说明的是,此处仅为举例说明,不对失败提示信息的内容做具体限制。
在该实施例中,为了使乘车对象有较良好的体验,当乘车对象的肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败的时候,可以输出失败提示信息,以提示乘车对象只需要重新执行当前本需要执行的预定的肢体姿势,而不用从头开始执行新一轮的检测流程。
举例而言,当肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败时,可以输出失败提示信息,并显示在车辆中的显示界面中,以提醒乘车对象重新执行与调取到的目标肢体姿势匹配的肢体姿势。可以重新识别乘车对象基于失败提示信息执行的肢体姿势,对重新识别到的肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
作为一种可选的实施例,步骤S108,基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门包括:响应于肢体姿势组合中每个肢体姿势与调取到的对应目标肢体姿势匹配成功,控制自动驾驶车辆的车门进行解锁开门。
在该实施例中,当肢体姿势组合中每个肢体姿势与调取到的对应目标肢体姿势匹配成功时,响应于肢体姿势组合中每个肢体姿势与调取到的对应目标肢体姿势匹配成功,则可以控制自动驾驶车辆的车门进行解锁开门。
可选地,只有肢体姿势组合中每个肢体姿势与调取到的对应目标肢体姿势匹配成功,才可以控制自动驾驶车辆的车门进行解锁开门,从而提高对车门控制的准确性,避免误触发的情况。
作为一种可选的实施例,步骤S102,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合,包括:检测乘车对象的肢体停留在感应模组前的停留时长,其中,感应模组用于感应乘车对象的肢体;响应于检测到的停留时长大于时长阈值,识别乘车对象的肢体姿势组合。
在该实施例中,当感应到自动驾驶车辆中乘车对象的肢体时,可以对乘车对象的肢体姿势进行识别,且可以检测乘车对象的肢体停留在感应模组前的停留时长。当确定肢体的停留时长大于时长阈值之后,确定乘车对象是处于想要下车的状态,可以识别乘车对象的肢体姿势组合。其中,感应模组可以为红外感应装置或红外感知模组等,可以用于对肢体进行感知。时长阈值可以为预先设定的时间长度。
可选地,当感应到自动驾驶车辆中乘车对象的肢体时,可以检测肢体的停留时长是否大于时长阈值,如果肢体的停留时长大于时长阈值,则可以确定乘车对象想要下车,而并非误触发。响应于停留时长大于时长阈值,可以对乘车对象的肢体姿势进行识别,得到肢体姿势组合。
举例而言,假设时长阈值为3秒。可以通过感知模组感应乘车对象手部停留时长超过3秒,则响应于检测到的停留时长超过时长阈值,可以启动人工智能摄像头中的手势识别软件算法对肢体进行识别,得到肢体姿势组合。需要说明的是,上述检测方法或识别方法仅为举例说明,不对检测方法和识别方法做具体限制。
作为一种可选的实施例,检测自动驾驶车辆所处环境的光信息;响应于光信息小于光信息阈值,开启补光设备;响应于由补光设备调整后的光信息大于光信息阈值,对自动驾驶车辆中乘车对象的肢体进行感应。
在该实施例中,可以检测自动驾驶车辆所处环境的光信息,可以判断自动驾驶车辆所处环境的光信息是否小于光信息阈值。响应于自动驾驶车辆所处环境的光信息小于光信息阈值,可以开启补光设备,通过补光设备对光信息进行调整。其中,补光设备可以用于对车辆中的光信息进行调整。比如,补光设备可以为车辆中安装的小灯盘或红外线补光灯等,此处仅为举例,不对补光设备种类做具体限制。光信息可以用于表征车辆中环境的光照情况,比如,可以为光照强度。光信息阈值可以为预设的值。
可选地,当车辆处于较为黑暗的环境中时,自动驾驶车辆所处的环境的光信息小于光信息阈值,此时对肢体进行识别,容易由于识别图像不清晰,导致识别异常的问题。为避免上述问题,本公开实施例可以检测自动驾驶车辆所处环境的光信息,当光信息小于光信息阈值时,响应于光信息小于光信息阈值,可以开启补光设备,通过补光设备对光信息进行调整,从而达到准确识别肢体姿势的目的。
在本公开实施例中,通过利用补光设备,使得即使在夜间等无光环境下也可以对乘车对象的肢体姿势进行识别,从而提高对肢体动作识别的准确性。
可选地,如果光信息大于光信息阈值,则可以通过感应模组对自动驾驶车辆中乘车对象的肢体进行感应。如果光信息不大于光信息阈值,则可以通过补光设备对车辆所处环境的光信息进行调整,直至调整后的光信息大于光信息阈值之后,可以通过感应模组(比如,摄像头)对自动驾驶车辆中乘车对象的肢体进行感应。
作为一种可选的实施例,响应于感应到乘车对象的肢体,输出肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行与执行顺序对应的目标肢体姿势。
在该实施例中,可以当感应模组感应到乘车对象的肢体时,响应于感应到的乘车对象的肢体,可以输出肢体姿势提示信息。其中,肢体姿势提示信息可为语音、图像、文本信息等。
举例而言,当感应到乘车对象的肢体时,可以输出肢体姿势提示信息:“开始匹配,请伸出双手”并以视频动画的方式显示在车辆中的显示屏中,乘车对象可以按照肢体姿势提示信息,做出相应的肢体姿势。
需要说明的是,肢体姿势提示信息可以为语音、图像、文本信息中的一种,也可以为语音、图像、文本信息几种信息的组合显示,此处不对肢体姿势提示信息的内容做具体限制。
作为一种可选的实施例,响应于肢体姿势配置操作,配置目标肢体姿势,得到目标肢体姿势组合。
在该实施例中,目标肢体姿势组合可以为响应于肢体姿势配置操作得到的,可以响应于肢体姿势配置操作,配置目标肢体姿势,得到目标肢体姿势组合。其中,目标肢体姿势可以为解锁手势。
可选地,响应于肢体姿势配置操作,自定义解锁手势,得到配置的目标肢体姿势组合。
举例而言,可以响应于肢体姿势配置操作,定义车门解锁的目标肢体姿势,得到目标肢体姿势组合,且可以将目标肢体姿势显示在车辆中的显示屏中,以提醒乘车对象车门解锁的流程和具体内容。
作为一种可选的实施例,肢体包括乘车对象的手部,肢体姿势包括乘车对象的手势。
在该实施例中,肢体可以包括乘车对象的手部,肢体姿势可以包括乘车对象的手势,但是,需要说明的是,本公开实施例并不仅局限于手部和手势,可以根据实际情况选择合适的肢体。
本公开实施例提供一种物体感知结合手势识别的方法,实现非接触式从内部解锁车门并打开,能够使得共享出行车辆更安全、卫生、高效地进行营运。
在本公开实施例中,在自动驾驶车辆的当前行程结束的情况下,通过感应自动驾驶车辆中乘车对象的肢体,实现了非接触式从内部解锁车门并打开的方案。其中,通过识别肢体姿势组合的策略可以规避误操作的安全隐患,能够使得共享出行车辆更安全的运行,从而达到了提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。。
本公开实施例还提供了一种自动驾驶车辆的控制方法,图2是根据本公开实施例的另一种自动驾驶车辆的控制方法的流程图,如图2所示,该自动驾驶车辆的控制方法的实施方案至少可以包括以下实施步骤:
步骤S202,检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门。
在本申请公开上述步骤S202提供的技术方案中,当检测到自动驾驶车辆的当前行程结束时,可以在自动驾驶车辆的车载界面上显示操作指引信息。其中,操作指引信息可以为语音、文字等信息,可以用于指引自动驾驶车辆中乘车对象的操作,以使得车辆可以基于乘车对象的操作控制自动驾驶车辆的车门进行解锁开门。
举例而言,可以在自动驾驶车辆的副驾枕头中内嵌一小块智能感应屏幕作为车载界面,当检测到自动驾驶车辆的速度为0时,可以确定当前自动驾驶车辆的当前行程结束,可以在自动驾驶车辆的车载界面上显示预先设定好的操作指引信息。需要说明的是,上述车载界面的位置仅为举例说明,不对车载界面的位置做具体限制。
步骤S204,感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势。
在本公开上述步骤S204提供的技术方案中,当感应到乘车对象在操作指引信息下而停留的肢体时,可以在车载界面上显示肢体姿势提示信息。其中,肢体姿势提示信息可以用于提示乘车对象执行从目标肢体姿势组合中提取到的目标肢体姿势,可以为语音、视频、图像等类型的提示信息。
步骤S206,在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定。
在本申请公开上述步骤S206提供的技术方案中,可以获取乘车对象基于肢体姿势提示信息执行的肢体姿势组合中的肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,并可以将匹配结果显示在车载界面上。其中,肢体姿势组合可以包括乘车对象按照执行顺序依次执行的多个肢体姿势。
举例而言,肢体姿势提示信息为双手握紧,获取乘车对象的肢体姿势,可以从目标肢体姿势组合中调取到肢体姿势对应的目标肢体姿势,确定乘车对象的肢体姿势和目标肢体姿势之间的匹配结果,可以将匹配结果显示在车载界面上。
步骤S208,在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。
在本申请公开上述步骤S208提供的技术方案中,可以在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。比如,如果匹配结果为匹配成功,则可以在车载界面上显示“控制车门解锁开门”的控制结果;如果匹配结果为匹配失败,则可以在车载界面上显示“匹配失败,无法控制车门进行解锁开门”。
需要说明的是,车载界面上的显示内容仅为举例说明,此处不对车载界面上的显示内容做具体限制。
通过上述步骤S202至步骤S208,检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门;感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定;在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果,从而达到了提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。
下面结合优选的实施例对本公开实施例的上述技术方案进行进一步地举例介绍。
随着道路和车辆协同智能化发展,无人化共享出行车辆已经逐渐开始普及。但是,在使用过程中,共享出行车辆很容易因为接触产生病毒、细菌的表面遗留从而引发卫生防疫问题,因此,车辆结束上一段运营形成后的消杀成为一个亟待解决的问题。
目前,市场上的共享出行营运类车辆都是复用车内物理把手推开车门或者点一下物理按钮启动自动门,以及基于私家车或乘用车的车钥匙解锁方法,但是,上述方法容易产生皮肤较大接触面积,很难规避上一段行程的活性病毒或细菌残留。如果车辆自动进行紫外线或酒精消杀,也存在卫生死角和运营效率降低的情况,比如,紫外线照射时长较长才具有杀菌效果。
自动驾驶共享出行汽车到站后,无接触、且快速实现解锁打开车门是一种刚性需求,因此,亟需一种更卫生且无使用门槛的非接触式到站解锁后排车门的方法代替传统物理按键控制车门打开。
本公开实施例提供了一种物体感知结合手势识别的方法,图3是根据本公开实施例的一种感知模块的示意图,如图3所示,在副驾驶头枕出内嵌一小块感应模块,比如,可以为智能感应屏幕。智能感应屏幕可以内置红外感应装置(可以为红外感知模组),以便第一时间就可以感知到有手部停留;同时,可以配套人工智能(Artificial Intelligence,简称为AI)摄像头,进行手势识别。另外,可以设有红外线补光灯,结合人工智能手势识别算法,在夜间等无光环境下也能快速识别,实现可以非接触式从内部解锁车门并打开,顺畅解锁开门,从而实现提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。
下面对物体感知结合手势识别的方法进行进一步介绍。
图4(a)是根据本公开实施例的一种物体感知手势识别的方法的流程图,如图4(a)所示,该自动驾驶车辆的中物体感知手势识别方法的实施方案至少可以包括以下实施步骤:
步骤S402,定义车门解锁手势,并通过软件告知乘车对象解锁流程。
在该实施例中,可以预先设定在车门的解锁手势,其中,解锁手势可以为一个手势,也可以为一组手势的集合。可以通过软件告知乘车对象解锁的流程。其中,乘车对象可以为车辆中的乘车对象。软件可以为车载显示器(或车辆中智能感应屏幕)中的软件,此处不对软件的位置和类型做具体限制。
举例而言,图4(b)是根据本公开实施例的一种手势识别的示意图,如图4(b)所示,可以在车辆的智能感应屏幕中显示图像和文字的方式,告知乘车对象解锁流程和需要做的肢体姿势,比如,如图4(b)所示,可以在智能感应屏幕中显示“请单手握拳”的文字及单手握拳的演示图像。可以通过文字、图像、语音等方式告知乘车对象的解锁流程,需要说明的是,上述告知方式仅为举例说明,不对告知的方式做具体限制。
举例而言,可以预先定义车门的解锁手势,当乘车对象在车上时,可以通过启动车载显示器(比如,可以为车载平板界面)中的小程序,或者当乘车对象想要下车时,可以通过点击手机上的打车软件确定解锁流程。
需要说明的是,本公开还可以对乘车对象的面部、头部等其他部位进行识别,比如,可以对乘车对象的正脸、眨眼、抬头、张嘴等动作进行识别。但是由于正脸、眨眼、抬头、张嘴等动作为乘车对象的常规动作,容易误触对车门进行解锁,因此,考虑到运营安全,且为了提高对车门进行解锁的准确性,本公开侧重于对手势进行识别达到解锁车门的目的。
步骤S404,感知手部停留时长。
在该实施例中,可以通过安装在车辆中的红外感知装置对乘车对象的手部停留时长进行感知。
可选地,可以确定手部的停留时长。如果停留时长超过时间阈值,则可以实施步骤S406;如果停留时长未超过时间阈值,则可以通过小程序告知乘车对象解锁流程,比如,可以通过语音讲解或画面讲解的方式,告知乘车对象解锁流程。其中,时间阈值可以为预设的时长,比如,可以为3秒。
步骤S406,获取手势1。
在该实施例中,通过设定时间阈值,只有当手部停留时长超过时间阈值时,才会对感应到的手势进行获取,从而减少了误触的概率,提高了识别的准确率。
可选地,当感知手部停留时长超过时间阈值,可以确定乘车对象想要下车,则可以获取乘车对象当前的手势1。可以通过获取指尖位置并跟踪运动轨迹的方法获取手势1,或者,可以通过截取手部动态图片的方式对手势1进行获取,需要说明的是,此处手势获取的方式仅为举例说明,不对手势获取的方式做具体限制。
举例而言,图4(c)是根据本公开实施例的一种手势识别的示意图,如图4(c)所示,乘车对象根据智能感应显示屏幕中的指示做出相应的动作。可以通过安装在车辆中的红外感知装置对乘车对象的手部停留时长进行感知,当乘车对象的手部停留时长超过时间阈值,则可以启动手势识别软件算法获取乘车对象的手势。
步骤S408,对手势1进行识别和对比。
在实施例中,可以对获取到的手势1进行识别和对比。如果对比成功,可以通过语音、视频、图片等方式告知乘车对象识别成功可以进入手势2的识别。
举例而言,当启动手势识别软件算法后,可以获取此刻乘车对象的指尖位置并跟踪手指的运动轨迹,从而得到手势1,可以对手势1进行识别和对比。
再举例而言,可以设定时间阈值为3秒,解锁动作为初始手势为五指张开状态,且停留3秒。红外感知装置对乘车对象的手部停留时长进行感知,当感知到乘车对象的手部停留时长超过3秒时,可以通过截取手部动态图片的方式对乘车对象的手势进行获取,并对获取得到的手势进行对比和判断,判断乘车对象第一个动作是否满足五指张开状态,且停留3秒,如果满足则实施步骤S410。
步骤S410,获取手势2。
在该实施例中,只有当乘车对象满足两种手势后,才会开启车门。但当乘车对象不满足其中任意一个手势时,则车门解锁开门失败,需要重新感知乘车对象的手部,并对一系列手势重新开始识别;或者,需要重新对乘车对象的当前手势进行识别。
可选地,当乘车对象手势1匹配成功时,可以通过截取手部动态图片的方式对乘车对象的手势2进行获取。
本公开实施例,通过对多种手势的组合识别,从而减少识别过程中误判的情况,提高识别的准确性,也即,通过手势组合策略规避误操作的安全隐患,达到精准控制车门开闭的效果。其中,多种手势可以为两种手势的组合,也可以为三种手势的组合,此处不对组合的手势的数量和动作做具体限定。
步骤S412,对手势2进行识别和对比。
在实施例中,可以对获取到的手势2进行识别和对比。如果对比成功,可以通过语音、视频、图片等方式告知乘车对象识别成功且对车门进行解锁开门。
举例而言,设定时间阈值为3秒,解锁动作为初始手势为五指张开状态,停留3秒后变为握拳2秒。红外感知装置对乘车对象的手部停留时长进行感知。当感知到乘车对象的手部停留时长超过3秒时,可以通过截取手部动态图片的方式获取乘车对象的手势1,可以对手势1进行识别和对比,判断乘车对象手势1是否满足五指张开状态,停留3秒,如果满足,则可以获取手势2。判断乘车对象手势2是否为握拳2秒,如果是,则实施步骤S414;如果否,则车门解锁开门失。
步骤S414,对车门进行解锁车门。
在该实施例中,对乘车对象的手势进行识别,如果乘车对象的手势满足预设的手势动作,则对车门进行解锁车门,并控制车门开启,检测流程结束。
可选地,对乘车对象的手势进行识别,如果乘车对象的手势满足预设的手势动作,可以在显示界面中输出匹配成功的提示信息,并对车门进行解锁开门。图4(d)是根据本公开实施例的一种提示信息的示意图,如图4(d)所示,解锁成功后可以在显示界面中显示提示信息“匹配成功,已成功对右后车门进行解锁开门,请带齐随身物品,下车时注意来往车辆,欢迎下次乘坐”,以提醒乘车对象匹配成功及可以下车的位置。
举例而言,当匹配失败时,可以在显示界面中提醒乘车对象匹配失败,并重新对乘车对象的手部进行匹配。图4(e)是根据本公开实施例的另一种提示信息的示意图,如图4(e)所示,当乘车对象匹配失败时,可以在显示界面中显示:“匹配失败,请重新单手握拳”,并显示需要乘车对象做出的手势的图像。
本公开实施例,卫生安全的开启车门方式实现了无人化共享出行车辆到站时的车门开启,简单易操作,无需培训乘车对象引发误解。同时,节省了消杀清洁时间,提高了运营效率。
本公开实施例还提供了一种自动驾驶车辆的控制系统。图5是根据本公开实施例的一种自动驾驶车辆的控制系统的示意图。如图5所示,该自动驾驶车辆的控制系统500可以包括:感应模组502、图像采集设备504、处理器506和控制器508。
感应模组502,用于在自动驾驶车辆的当前行程结束的情况下,感应自动驾驶车辆中乘车对象的肢体。
在该实施例中,感应模组可以用于在自动驾驶车辆的当前行程结束的情况下,对自动驾驶车辆中乘车对象的肢体进行感应。感应模组可以为红外感知模组。其中,肢体可以为乘车对象的手、躯干等,此处仅为举例说明,不对乘车对象的肢体做具体限制。
举例而言,可以将感应模组安装于自动驾驶车辆的副驾驶头枕中,当自动驾驶车辆的当前行程结束的情况下,可以使用感知模组对自动驾驶车辆中乘车对象的肢体进行感应。
图像采集设备504,用于采集乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势。
在该实施例中,可以通过图像采集设备采集乘车对象的肢体姿势组合。其中,图像采集设备用于对乘车对象的肢体姿势进行采集,可以为摄像头,比如,可以为AI摄像头。肢体姿势组合可以包括乘车对象按照执行顺序依次执行的多个肢体姿势。
处理器506,用于从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
在该实施例中,处理器可以用于从目标肢体姿势组合中调取与肢体姿势组合中的肢体姿势对应的目标肢体姿势。其中,目标肢体姿势可以为预设的按照调取顺序排序的目标肢体姿势的组合。可以对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。其中,匹配结果可以用于表征肢体姿势组合中肢体姿势与目标肢体姿势的匹配情况。
控制器508,用于基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门
在该实施例中,基于匹配结果,可以通过控制器控制自动驾驶车辆的车门的解锁。
可选地,可以确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势是否匹配。如果匹配结果用于表征肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间匹配,则可以通过控制器控制自动驾驶车辆的车门进行解锁开门。如果匹配结果用于表征肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间不匹配,则可以不通过控制器控制自动驾驶车辆的车门进行解锁开门。
在该实施例中,自动驾驶车辆的控制系统还可以包括补光设备。其中,补光设备可以用于对车辆中的光信息进行调整。比如,补光设备可以为车辆中安装的小灯盘或红外线补光灯等,此处仅为举例,不对补光设备种类做具体限制。
可选地,可以判断自动驾驶车辆所处环境的光信息是否小于光信息阈值,响应于自动驾驶车辆所处环境的光信息小于光信息阈值,可以通过补光设备对光信息进行调整。其中,光信息可以用于表征车辆中环境的光照情况,比如,可以为光照强度。光信息阈值可以为预设的值。
在本公开实施例中,通过利用补光设备,使得即使在夜间等无光环境下也可以对乘车对象的肢体姿势进行识别,从而提高对肢体动作识别的准确性。
在该实施例中,如果光信息大于光信息阈值,则可以通过感应模组对自动驾驶车辆中乘车对象的肢体进行感应。如果光信息不大于光信息阈值,则可以通过补光设备对车辆所处环境的光信息进行调整,直至调整后的光信息大于光信息阈值之后,可以通过感应模组对自动驾驶车辆中乘车对象的肢体进行感应。
在本公开实施例中,提出了一种自动驾驶车辆的控制系统。该系统通过感应模组在自动驾驶车辆的当前行程结束的情况下,感应自动驾驶车辆中乘车对象的肢体,通过图像采集设备采集乘车对象的肢体姿势组合,通过处理器从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,且对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果,通过控制器基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门,从而实现了提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。
本公开实施例还提供了一种用于执行图1所示实施例的自动驾驶车辆的控制方法的自动驾驶车辆的控制装置。
图6是根据本公开实施例的一种自动驾驶车辆的控制装置的示意图。如图6所示,该自动驾驶车辆的控制装置600可以包括:识别单元602、调取单元604、匹配单元606和确定单元608。
识别单元602,用于在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势。
调取单元604,用于从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定。
匹配单元606,用于对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
确定单元608,用于基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门。
可选地,匹配单元606包括:检测模块,用于检测肢体姿势组合中肢体姿势的持续时长;第一处理模块,用于基于检测到的持续时长,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
可选地,第一处理模块包括:第一确定子模块,用于响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度大于相似度阈值,且检测到的持续时长满足调取到的目标肢体姿势的目标持续时长,确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功。
可选地,第一处理模块包括:第二确定子模块,用于响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势之间的相似度不大于相似度阈值,和/或,检测到的持续时长未满足调取到的目标肢体姿势的目标持续时长,确定肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败。
可选地,调取单元604包括:调取模块,用于响应于肢体姿势组合中肢体姿势为首位肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势;或者,响应于肢体姿势组合中肢体姿势非首位肢体姿势,且肢体姿势组合中肢体姿势的上一肢体姿势与目标肢体姿势组合中与上一肢体姿势对应的目标肢体姿势匹配成功,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势。
可选地,该装置还包括:第一处理单元,用于响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配成功,且肢体姿势组合中肢体姿势非末位肢体姿势,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势的下一肢体姿势对应的目标肢体姿势;对肢体姿势组合中肢体姿势的下一肢体姿势、调取到的下一肢体姿势对应的目标肢体姿势进行匹配,得到匹配结果。
可选地,确定单元608包括:第二处理模块,用于响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,禁止控制自动驾驶车辆的车门进行解锁开门。
可选地,该装置还包括:第二处理单元,用于响应于肢体姿势组合中肢体姿势与调取到的目标肢体姿势匹配失败,输出失败提示信息,其中,失败提示信息用于提示乘车对象重新执行与调取到的目标肢体姿势匹配的肢体姿势;重新识别乘车对象基于失败提示信息执行的肢体姿势;对重新识别到的肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果。
可选地,确定单元608包括:控制模块,用于响应于肢体姿势组合中每个肢体姿势与调取到的对应目标肢体姿势匹配成功,控制自动驾驶车辆的车门进行解锁开门。
可选地,调取单元602包括:处理子模块,用于检测乘车对象的肢体停留在感应模组前的停留时长,其中,感应模组用于感应乘车对象的肢体;响应于检测到的停留时长大于时长阈值,识别乘车对象的肢体姿势组合。
可选地,该装置还包括:第三处理单元,用于检测自动驾驶车辆所处环境的光信息;响应于光信息小于光信息阈值,开启补光设备;响应于由补光设备调整后的光信息大于光信息阈值,对自动驾驶车辆中乘车对象的肢体进行感应。
可选地,该装置还包括:第四处理单元,用于响应于肢体姿势配置操作,配置目标肢体姿势,得到目标肢体姿势组合。
本公开实施例还提供了另一种用于执行图2所示实施例的自动驾驶车辆的控制方法的自动驾驶车辆的控制装置。
图7是根据本公开实施例的另一种自动驾驶车辆的控制装置的示意图。如图7所示,该自动驾驶车辆的控制装置700可以包括:第一显示单元702、第二显示单元704、第三显示单元706和第四显示单元708。
第一显示单元702,用于检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门;
第二显示单元704,用于感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;
第三显示单元706,用于在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定;
第四显示单元708,用于在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。
在本公开实施例的自动驾驶车辆的控制装置中,通过识别单元,在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合;通过调取单元,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势;通过匹配单元,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;通过确定单元,基于匹配结果,确定是否控制自动驾驶车辆的车门进行解锁开门,从而达到了提高自动驾驶车辆运行的安全性的技术效果,解决了自动驾驶车辆运行的安全性低的技术问题。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品和一种自动驾驶车辆。
本公开的实施例提供了一种自动驾驶车辆,其中,自动驾驶车辆可以包括电子设备。该电子设备可以包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开实施例的自动驾驶车辆的控制方法。
可选地,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
根据本公开的实施例,本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开实施例的自动驾驶车辆的控制的方法。
可选地,在本实施例中,上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合;
S2,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;
S3,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;
S4,基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。
可选地,在本实施例中,上述非易失性存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门;
S2,感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;
S3,在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定;
S4,在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。
可选地,在本实施例中,上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的实施例,本公开还提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现以下步骤:
S1,在自动驾驶车辆的当前行程结束的情况下,响应于感应到自动驾驶车辆中乘车对象的肢体,识别乘车对象的肢体姿势组合;
S2,从目标肢体姿势组合中调取与肢体姿势组合中肢体姿势对应的目标肢体姿势,其中,目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和调取顺序而确定;
S3,对肢体姿势组合中肢体姿势与调取到的目标肢体姿势进行匹配,得到匹配结果;
S4,基于匹配结果,确定是否控制自动驾驶车辆的目标车门进行解锁开门。
可选地,在本实施例中,上述计算机程序在被处理器执行时还可以实现下步骤:
S1,检测到自动驾驶车辆的当前行程结束,在自动驾驶车辆的车载界面上显示操作指引信息,其中,操作指引信息用于指引自动驾驶车辆中乘车对象的操作,以控制自动驾驶车辆的车门进行解锁开门;
S2,感应到乘车对象在操作指引信息下而停留的肢体,在车载界面上显示肢体姿势提示信息,其中,肢体姿势提示信息用于提示乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;
S3,在车载界面上显示乘车对象基于肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应目标肢体姿势之间的匹配结果,其中,肢体姿势组合包括乘车对象按照执行顺序依次执行的多个肢体姿势,肢体姿势组合中肢体姿势与目标肢体姿势组合中目标肢体姿势之间的对应关系为基于执行顺序和多个目标肢体姿势的调取顺序而确定;
S4,在车载界面上显示基于匹配结果对自动驾驶车辆的车门进行解锁开门的控制结果。
图8是根据本公开实施例的一种自动驾驶车辆的控制方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元804,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如方法数据处理方法。例如,在一些实施例中,方法数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (22)
1.一种自动驾驶车辆的控制方法,包括:
在自动驾驶车辆的当前行程结束的情况下,响应于感应到所述自动驾驶车辆中乘车对象的肢体,识别所述乘车对象的肢体姿势组合,其中,所述肢体姿势组合包括所述乘车对象按照执行顺序依次执行的肢体姿势;
从目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势对应的目标肢体姿势,其中,所述目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,所述肢体姿势组合中所述肢体姿势与所述目标肢体姿势组合中所述目标肢体姿势之间的对应关系为基于所述执行顺序和所述调取顺序而确定;
对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到匹配结果;
基于所述匹配结果,确定是否控制所述自动驾驶车辆的目标车门进行解锁开门。
2.根据权利要求1所述的方法,其中,对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到匹配结果包括:
检测所述肢体姿势组合中所述肢体姿势的持续时长;
基于检测到的所述持续时长,对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到所述匹配结果。
3.根据权利要求2所述的方法,其中,基于检测到的所述持续时长,对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到所述匹配结果包括:
响应于所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势之间的相似度大于相似度阈值,且检测到的所述持续时长满足调取到的所述目标肢体姿势的目标持续时长,确定所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势匹配成功。
4.根据权利要求2所述的方法,其中,基于检测到的所述持续时长,对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到所述匹配结果包括:
响应于所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势之间的相似度不大于相似度阈值,和/或,检测到的所述持续时长未满足调取到的所述目标肢体姿势的目标持续时长,确定所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势匹配失败。
5.根据权利要求1所述的方法,其中,从目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势对应的目标肢体姿势包括:
响应于所述肢体姿势组合中所述肢体姿势为首位肢体姿势,从所述目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势对应的目标肢体姿势;或者,
响应于所述肢体姿势组合中所述肢体姿势非所述首位肢体姿势,且所述肢体姿势组合中所述肢体姿势的上一肢体姿势与所述目标肢体姿势组合中与所述上一肢体姿势对应的目标肢体姿势匹配成功,从所述目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势对应的目标肢体姿势。
6.根据权利要求1所述的方法,还包括:
响应于所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势匹配成功,且所述肢体姿势组合中所述肢体姿势非末位肢体姿势,从所述目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势的下一肢体姿势对应的目标肢体姿势;
对所述肢体姿势组合中所述肢体姿势的下一肢体姿势、调取到的所述下一肢体姿势对应的目标肢体姿势进行匹配,得到所述匹配结果。
7.根据权利要求1所述的方法,其中,基于所述匹配结果,确定是否控制所述自动驾驶车辆的车门进行解锁开门包括:
响应于所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势匹配失败,禁止控制所述自动驾驶车辆的车门进行解锁开门。
8.根据权利要求1所述的方法,所述方法还包括:
响应于所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势匹配失败,输出失败提示信息,其中,所述失败提示信息用于提示所述乘车对象重新执行与调取到的所述目标肢体姿势匹配的肢体姿势;
重新识别所述乘车对象基于所述失败提示信息执行的肢体姿势;
对重新识别到的所述肢体姿势与调取到的所述目标肢体姿势进行匹配,得到所述匹配结果。
9.根据权利要求1所述的方法,其中,基于所述匹配结果,确定是否控制所述自动驾驶车辆的车门进行解锁开门包括:
响应于所述肢体姿势组合中每个所述肢体姿势与调取到的对应所述目标肢体姿势匹配成功,控制所述自动驾驶车辆的车门进行解锁开门。
10.根据权利要求1所述的方法,其中,响应于感应到所述自动驾驶车辆中乘车对象的肢体,识别所述乘车对象的肢体姿势组合,包括:
检测所述乘车对象的肢体停留在感应模组前的停留时长,其中,所述感应模组用于感应所述乘车对象的肢体;
响应于检测到的所述停留时长大于时长阈值,识别所述乘车对象的所述肢体姿势组合。
11.根据权利要求1至10中任意一项所述的方法,还包括:
检测所述自动驾驶车辆所处环境的光信息;
响应于所述光信息小于光信息阈值,开启补光设备;
响应于由所述补光设备调整后的所述光信息大于所述光信息阈值,对所述自动驾驶车辆中所述乘车对象的肢体进行感应。
12.根据权利要求1至10中任意一项所述的方法,还包括:
响应于感应到所述乘车对象的肢体,输出肢体姿势提示信息,其中,所述肢体姿势提示信息用于提示所述乘车对象执行与所述执行顺序对应的所述目标肢体姿势。
13.根据权利要求1至10中任意一项所述的方法,还包括:
响应于肢体姿势配置操作,配置所述目标肢体姿势,得到所述目标肢体姿势组合。
14.根据权利要求1至10中任意一项所述的方法,所述肢体包括所述乘车对象的手部,所述肢体姿势包括所述乘车对象的手势。
15.一种自动驾驶车辆的控制方法,包括:
检测到自动驾驶车辆的当前行程结束,在所述自动驾驶车辆的车载界面上显示操作指引信息,其中,所述操作指引信息用于指引所述自动驾驶车辆中乘车对象的操作,以控制所述自动驾驶车辆的车门进行解锁开门;
感应到所述乘车对象在所述操作指引信息下而停留的肢体,在所述车载界面上显示肢体姿势提示信息,其中,所述肢体姿势提示信息用于提示所述乘车对象执行从目标肢体姿势组合中调取到的目标肢体姿势;
在所述车载界面上显示所述乘车对象基于所述肢体姿势提示信息执行的肢体姿势组合中肢体姿势,与调取到的对应所述目标肢体姿势之间的匹配结果,其中,所述肢体姿势组合包括所述乘车对象按照执行顺序依次执行的多个所述肢体姿势,所述肢体姿势组合中所述肢体姿势与所述目标肢体姿势组合中所述目标肢体姿势之间的对应关系为基于所述执行顺序和多个所述目标肢体姿势的调取顺序而确定;
在所述车载界面上显示基于所述匹配结果对所述自动驾驶车辆的车门进行解锁开门的控制结果。
16.一种自动驾驶车辆的控制系统,包括:
感应模组,用于在自动驾驶车辆的当前行程结束的情况下,感应所述自动驾驶车辆中乘车对象的肢体;
图像采集设备,用于采集所述乘车对象的肢体姿势组合,其中,所述肢体姿势组合包括所述乘车对象按照执行顺序依次执行的多个肢体姿势;
处理器,用于从目标肢体姿势组合中调取与所述肢体姿势组合中所述肢体姿势对应的目标肢体姿势,其中,所述目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,所述肢体姿势组合中所述肢体姿势与所述目标肢体姿势组合中所述目标肢体姿势之间的对应关系为基于所述执行顺序和所述调取顺序而确定;对所述肢体姿势组合中所述肢体姿势与调取到的所述目标肢体姿势进行匹配,5得到匹配结果;
控制器,用于基于所述匹配结果,确定是否控制所述自动驾驶车辆的车门进行解锁开门。
17.根据权利要求16所述的系统,还包括:
补光设备,用于响应于所述自动驾驶车辆所处环境的光信息小0于光信息阈值,对所述光信息进行调整;
其中,所述感应模组用于响应于由所述补光设备调整后的所述光信息大于所述光信息阈值,对所述自动驾驶车辆中所述乘车对象的肢体进行感应。
18.一种自动驾驶车辆的控制装置,包括:
5识别单元,用于在自动驾驶车辆的当前行程结束的情况下,响应于感应到所述自动驾驶车辆中乘车对象的肢体,识别所述乘车对象的肢体姿势组合,其中,所述肢体姿势组合包括所述乘车对象按照执行顺序依次执行的多个肢体姿势;
调取单元,用于从目标肢体姿势组合中调取与所述肢体姿势组0合中所述肢体姿势对应的目标肢体姿势,其中,所述目标肢体姿势组合包括按照调取顺序进行排序的目标肢体姿势,所述肢体姿势组合中所述肢体姿势与所述目标肢体姿势组合中所述目标肢体姿势之间的对应关系为基于所述执行顺序和所述调取顺序而确定;
匹配单元,用于对所述肢体姿势组合中所述肢体姿势与调取到5的所述目标肢体姿势进行匹配,得到匹配结果;
确定单元,用于基于所述匹配结果,确定是否控制所述自动驾驶车辆的车门进行解锁开门。
19.一种电子设备,包括:
至少一个处理器;以及
0与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述的方法。
22.一种自动驾驶车辆,包括如权利要求19所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211663079.7A CN115909564A (zh) | 2022-12-23 | 2022-12-23 | 自动驾驶车辆的控制方法、系统、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211663079.7A CN115909564A (zh) | 2022-12-23 | 2022-12-23 | 自动驾驶车辆的控制方法、系统、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115909564A true CN115909564A (zh) | 2023-04-04 |
Family
ID=86493775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211663079.7A Pending CN115909564A (zh) | 2022-12-23 | 2022-12-23 | 自动驾驶车辆的控制方法、系统、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115909564A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116450381A (zh) * | 2023-06-15 | 2023-07-18 | 蔚来汽车科技(安徽)有限公司 | 复杂事件处理方法、电子设备、存储介质及车辆 |
-
2022
- 2022-12-23 CN CN202211663079.7A patent/CN115909564A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116450381A (zh) * | 2023-06-15 | 2023-07-18 | 蔚来汽车科技(安徽)有限公司 | 复杂事件处理方法、电子设备、存储介质及车辆 |
CN116450381B (zh) * | 2023-06-15 | 2023-09-08 | 蔚来汽车科技(安徽)有限公司 | 复杂事件处理方法、电子设备、存储介质及车辆 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11726577B2 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
US20210009150A1 (en) | Method for recognizing dangerous action of personnel in vehicle, electronic device and storage medium | |
CN112590794B (zh) | 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置 | |
CN106682602B (zh) | 一种驾驶员行为识别方法及终端 | |
CN107995979B (zh) | 用于对用户进行认证的系统、方法和机器可读介质 | |
CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
EP3647129A1 (en) | Vehicle, vehicle door unlocking control method and apparatus, and vehicle door unlocking system | |
GB2505338B (en) | Obstructing user content based on location | |
CN107533599B (zh) | 一种手势识别方法、装置及电子设备 | |
CN103823632A (zh) | 一种屏幕解锁方法及其终端 | |
CN108423004A (zh) | 一种双目识别驾驶员状态检测系统及方法 | |
CN101825947A (zh) | 智能控制移动终端的方法、装置及移动终端 | |
CN107273869B (zh) | 手势识别控制方法和电子设备 | |
CN115909564A (zh) | 自动驾驶车辆的控制方法、系统、装置和电子设备 | |
CN103616953A (zh) | 一种屏幕解锁和应用启动的方法及装置 | |
CN115291724A (zh) | 人机交互的方法、装置、存储介质和电子设备 | |
CN107209936B (zh) | 信息处理设备,信息处理方法和程序 | |
CN114663863A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN113835570B (zh) | 车辆中显示屏的控制方法、装置、设备、存储介质及程序 | |
CN113011211A (zh) | 一种吸烟行为的检测方法、装置、电子设备及存储介质 | |
WO2017212967A1 (ja) | 照合装置及び照合方法 | |
JPH10105310A (ja) | 身振り入力装置及びそれを含む入力装置 | |
CN113034764B (zh) | 门禁控制方法、装置、设备以及门禁系统 | |
US11568758B2 (en) | Terminal | |
CN107107756A (zh) | 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |