CN114926896A - 一种自动驾驶车的控制方法 - Google Patents

一种自动驾驶车的控制方法 Download PDF

Info

Publication number
CN114926896A
CN114926896A CN202210486907.8A CN202210486907A CN114926896A CN 114926896 A CN114926896 A CN 114926896A CN 202210486907 A CN202210486907 A CN 202210486907A CN 114926896 A CN114926896 A CN 114926896A
Authority
CN
China
Prior art keywords
gesture
data
passenger
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210486907.8A
Other languages
English (en)
Inventor
熊常春
李海良
王敬贵
李国元
刘昂
吴江川
张富耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jilian Technology Co ltd
Original Assignee
Shenzhen Jilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jilian Technology Co ltd filed Critical Shenzhen Jilian Technology Co ltd
Priority to CN202210486907.8A priority Critical patent/CN114926896A/zh
Publication of CN114926896A publication Critical patent/CN114926896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/0065—Control members, e.g. levers or knobs
    • B60H1/00657—Remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Thermal Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种自动驾驶车的控制方法与系统，包括：乘客向显示屏录入手势动作数据；根据手势动作数据分析模拟手势动作图像；用深度学习的手势模型进行手势识别获取指令；自定义手势关联想要操作的车辆功能；通过自动驾驶系统进行路况监测；根据路况判断乘客手势控制指令是否有执行条件；根据路况开关手势路况预警模块。

Description

一种自动驾驶车的控制方法
技术领域
本发明涉及信息技术领域，尤其涉及一种自动驾驶车的控制方法。
背景技术
目前自动驾驶汽车正处于大多数路段能够自动驾驶，少数路段需要驾驶员接管的阶段，对驾驶席上无驾驶员情况的行车技术还未完善。主流自动驾驶汽车上的各种非行驶功能仍需要传统的按钮模式进行开关，按钮的位置处于驾驶席，乘客不方便开关，同时乘客操作这些开关的时候，可能出现触碰到方向盘导致自动驾驶进入人工接管的状态，影响自动驾驶的行车安全。这种情况下需要一个能够让乘客方便开关车内非行驶功能同时不影响自动驾驶系统行驶的手势控制方法，这种对车辆功能的控制需要借助自动驾驶系统已有的周围环境监测数据，对执行指令造成的影响进行预估，判断是否执行乘客的指令。
发明内容
本发明提供了一种自动驾驶车的控制方法，主要包括： 乘客向显示屏录入手势动作数据；根据手势动作数据分析模拟手势动作图像；用深度学习的手势模型进行手势识别获取指令；自定义手势关联想要操作的车辆功能；通过自动驾驶系统进行路况监测；根据路况判断乘客手势控制指令是否有执行条件；根据路况开关手势路况预警模块； 进一步可选地，所述乘客向显示屏录入手势动作数据包括： 乘客穿戴数据手套，在显示屏正前方区域内做出手势动作，手势手套捕捉和记录乘客做出的手势动作数据，传递给自动驾驶系统；所述数据手套通过USB数据线或蓝牙无线连接技术与显示屏进行连接；使用合成弹力纤维制造，能够适应不同大小的手掌。 进一步可选地，所述根据手势动作数据分析模拟手势动作图像包括： 利用数据手套上集成的数据采集模块，接收并记录数据手套采集的手势动作数据，分析并模拟出乘客的手势动作图像；包括在数据手套上装载MPU6050传感器，根据该传感器集成的3MEMS陀螺仪，3轴MEMS加速度计获取手势动作的3D加速度，角速率或2D旋转速率；利用弯曲传感器采集手指弯曲程度信息，得到手势动作的轮廓数据；利用手套的触点传感器获取手势都骨架关键点，并结合显示屏上的磁定位传感器获取手势运动轨迹以及手势方向。 进一步可选地，所述用深度学习的手势模型进行手势识别获取指令包括： 根据模拟出来的手势动作图像，加载系统中用深度学习技术训练好的手势识别模型，通过手势数据和手势图像动作比对，模型识别出手势类型并获取该手势对应的指令；包括对手势动作图像进行初步姿态估计；利用卷积神经网络提取特征区域；根据手指关节的拓扑结构，利用全连接对特征区域进行层次集成；用迭代级联方法得到手势的姿态；所述手势识别模型，为预先训练好的深度学习手势控制模型，能够对指定的训练好的手势进行识别；包括：判断乘客作出的手势是否准确并进行提醒； 所述判断乘客作出的手势是否准确并进行提醒，具体包括： 如果做出手势正确，系统获取到手势对应指令后，将指令显示在屏幕上并执行指令；如果手势不清晰或不规范，则给出可能的手势指令让乘客选择。 进一步可选地，所述自定义手势关联想要操作的车辆功能包括： 选择可录入手势功能目录，为系统规定的基本功能及其他扩展功能设置自定义手势，录入的手势与其他功能已有手势进行比对，相似度在一定程度以下才允许录入；包括：利用差分隐私技术上传乘客的个人手势数据；建立联邦学习模型帮助训练公共图像模型； 所述利用差分隐私技术上传乘客的个人手势数据，具体包括：为训练出更好的公共手势模型，在乘客同意隐私协议的前提下，上传本次行程中乘客的个人手势数据，该手势数据属于用户的个人隐私，利用松弛差分隐私上传数据。 所述建立联邦学习模型帮助训练公共图像模型，具体包括： 利用纵向联邦学习技术，在个人手势图像数据存储在车辆设备不会被泄露的情况下，结合预先训练好的手势图像模型，微调训练出乘客个人的自定义手势模型。包括系统对乘客个人手势图像数据进行加密对齐;上传数据给第三方机构进行共同特征提取；利用共同数据特征进行模型训练。 进一步可选地，所述通过自动驾驶系统进行路况监测包括： 收到手势图像对应的指令后，自动驾驶系统利用车载的各种用途的传感器手机周围的环境参数；根据陀螺仪和加速度计测量车辆的角速率和线加速度；用GPS和地图定位得到车辆在导航地图的位置；通过毫米波雷达和超声波雷达发射并接收前后方及侧边的激光束反射，获取前方最近物体的距离和速度，通过视觉传感器与卷积神经网络对前方及周围物体进行图像识别与跟踪；最后根据分析出的环境信息得到综合的当前路段路况。 进一步可选地，所述根据路况判断乘客手势控制指令是否有执行条件包括： 利用收集到的环境数据，根据乘客做出的手势动作对应指令，模拟执行指令后的情况，判断指令是否能够执行，符合条件则执行，如果没有执行条件，通过语音播报功能告知乘客可能发现的风险并不执行指令；包括前方车辆类型，周围与车内湿度与温度；包括：重复和不规范手势进行阻力提醒； 所述重复和不规范手势进行阻力提醒，具体包括： 当乘客完成一次手势动作之后，继续重复做出相同的手势动作，或者当前手势动作对应的指令无法继续执行时，数据手套通过力反馈传感器模拟阻力，让乘客感受到手势运动方向的阻力，提醒乘客该手势动作无法执行。 一种自动驾驶车的控制方法其特征在于，所述系统包括： 通过自动驾驶系统GPS卫星定位模块、数码摄像头以及激光雷达持续接收周围的环境信息，对周围路况进行分析，若路况良好，则关闭手势路况预警模块，此时用户做出手势指令时无需进行合理性判断，若路况复杂，则打开预警系统。
本发明实施例提供的技术方案可以包括以下有益效果： 本发明能够利用与手势控制显示屏连接的数据手套，进行手势的录入识别，利用预训练好的手势识别模型，判断手势是否正确，发出对应指令操控自动驾驶汽车的非行驶功能。根据乘客使用过程中产生的手势数据，在乘客允许的情况下，上传数据优化公共手势识别模型，达到更加精确的手势识别功能。在自动驾驶系统监测到路况不适合执行指令时，提醒乘客并不执行指令，同时对重复或无法执行的手势动作进行阻力模拟提醒。
【附图说明】 图1为本发明的一种自动驾驶车的控制方法的流程图。
【具体实施方式】 为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。 图1为本发明的一种自动驾驶车的控制方法流程图。如图1所示，本实施例一种自动驾驶车的控制方法具体可以包括：
步骤101，乘客向显示屏录入手势动作数据。 乘客穿戴数据手套，在显示屏正前方区域内做出手势动作，手势手套捕捉和记录乘客做出的手势动作数据，传递给自动驾驶系统。所述数据手套通过USB数据线或蓝牙无线连接技术与显示屏进行连接。使用合成弹力纤维制造，能够适应不同大小的手掌。
步骤102，根据手势动作数据分析模拟手势动作图像。 利用数据手套上集成的数据采集模块，接收并记录数据手套采集的手势动作数据，分析并模拟出乘客的手势动作图像。包括在数据手套上装载MPU6050传感器，根据该传感器集成的3MEMS陀螺仪，3轴MEMS加速度计获取手势动作的3D加速度，角速率或2D旋转速率。利用弯曲传感器采集手指弯曲程度信息，得到手势动作的轮廓数据；利用手套的触点传感器获取手势都骨架关键点，并结合显示屏上的磁定位传感器获取手势运动轨迹以及手势方向。
步骤103，用深度学习的手势模型进行手势识别获取指令。 根据模拟出来的手势动作图像，加载系统中用深度学习技术训练好的手势识别模型，通过手势数据和手势图像动作比对，模型识别出手势类型并获取该手势对应的指令。包括对手势动作图像进行初步姿态估计；利用卷积神经网络提取特征区域；根据手指关节的拓扑结构，利用全连接对特征区域进行层次集成；用迭代级联方法得到手势的姿态。所述手势识别模型，为预先训练好的深度学习手势控制模型，能够对指定的训练好的手势进行识别。例如：乘客通过穿戴ManusVRPrimeIIHaptic触觉反馈数据手套连接显示屏，在显示屏前方做出握拳手势，手套通过触觉反馈模块记录并反馈收集的数据给自动驾驶系统。 判断乘客作出的手势是否准确并进行提醒。 如果做出手势正确，系统获取到手势对应指令后，将指令显示在屏幕上并执行指令；如果手势不清晰或不规范，则给出可能的手势指令让乘客选择。例如用户从张开手掌状态变为握拳状态，MPU6050传感器获取陀螺仪与加速度计中以50HZ频率获取的xyz轴坐标，利用终点与起始点的各轴距离与移动时间计算出各轴加速度，然后先计算合成x、y轴平面的矢量加速度，得到的结果再与z轴加速度合并，计算出两点间的直线加速度。
步骤104，自定义手势关联想要操作的车辆功能。 选择可录入手势功能目录，为系统规定的基本功能及其他扩展功能设置自定义手势，录入的手势与其他功能已有手势进行比对，相似度在一定程度以下才允许录入。例如乘客作出握拳手势，数据手套采集数据传入模型识别结果为握拳，获取对应的指令为打开空调。 利用差分隐私技术上传乘客的个人手势数据。 为训练出更好的公共手势模型，在乘客同意隐私协议的前提下，上传本次行程中乘客的个人手势数据，该手势数据属于用户的个人隐私，利用松弛差分隐私上传数据。例如乘客作出对应打开空调指令的挥手手势，因动作幅度太小系统无法准确识别，显示屏给出打开空调、打开窗、打开音响等选项供乘客选择；当系统找不到符合的手势时，显示屏上显示无法识别的文字。 建立联邦学习模型帮助训练公共图像模型。 利用纵向联邦学习技术，在个人手势图像数据存储在车辆设备不会被泄露的情况下，结合预先训练好的手势图像模型，微调训练出乘客个人的自定义手势模型。包括系统对乘客个人手势图像数据进行加密对齐;上传数据给第三方机构进行共同特征提取；利用共同数据特征进行模型训练。例如乘客设置开空调的对应手势，首先录入乘客想要录入的手势，然后根据录入手势与所有功能对应手势进行轮廓与运动轨迹的比对，利用手势图像关键帧提取方法计算手势之间的相似度，若相似程度在50%以下则认为手势不同，可以进行覆盖所述手势功能目录，只能修改不影响行驶的指令对应的手势，例如开关空调、雨刷，打开车内灯。
步骤105，通过自动驾驶系统进行路况监测。 收到手势图像对应的指令后，自动驾驶系统利用车载的各种用途的传感器手机周围的环境参数。根据陀螺仪和加速度计测量车辆的角速率和线加速度。用GPS和地图定位得到车辆在导航地图的位置。通过毫米波雷达和超声波雷达发射并接收前后方及侧边的激光束反射，获取前方最近物体的距离和速度，通过视觉传感器与卷积神经网络对前方及周围物体进行图像识别与跟踪。最后根据分析出的环境信息得到综合的当前路段路况。例如：上传前将用户本次使用得到手势数据加入随机噪声。获取图像的像素点，并进行归一化处理，建立N个图像扰动层，并利用随机响应机制添加在图像的不同的区域，最后将改动后的图像数据上传。
步骤106，根据路况判断乘客手势控制指令是否有执行条件。 利用收集到的环境数据，根据乘客做出的手势动作对应指令，模拟执行指令后的情况，判断指令是否能够执行，符合条件则执行，如果没有执行条件，通过语音播报功能告知乘客可能发现的风险并不执行指令。包括前方车辆类型，周围与车内湿度与温度。例如乘客本次录入了握拳的手势图像，系统询问乘客能否上传图像以帮助服务方训练出更好的手势识别模型，用户同意之后上传图像到可信任的第三方进行模型训练，系统定期下载最新的训练模型。 重复和不规范手势进行阻力提醒。 当乘客完成一次手势动作之后，继续重复做出相同的手势动作，或者当前手势动作对应的指令无法继续执行时，数据手套通过力反馈传感器模拟阻力，让乘客感受到手势运动方向的阻力，提醒乘客该手势动作无法执行。
步骤107，根据路况开关手势路况预警模块。 通过自动驾驶系统GPS卫星定位模块、数码摄像头以及激光雷达持续接收周围的环境信息，对周围路况进行分析，若路况良好，则关闭手势路况预警模块，此时用户做出手势指令时无需进行合理性判断，若路况复杂，则打开预警系统。例如：乘客作出打开窗户的手势动作，系统利用装有深度学习的车辆类型识别模型的系统识别前方有一辆洒水车，若检测到前方与窗户同高的空气湿度较高，判断开窗可能导致水汽进入，指令不符合路况，则停止执行指令并告知乘客前方有一辆洒水车，不予执行。 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
用于实现本发明进行信息控制的程序，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。 程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。 在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。 上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。 而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1. 一种自动驾驶车的控制方法，其特征在于，所述方法包括： 乘客向显示屏录入手势动作数据；根据手势动作数据分析模拟手势动作图像；用深度学习的手势模型进行手势识别获取指令，具体包括：判断乘客作出的手势是否准确并进行提醒；自定义手势关联想要操作的车辆功能，所述自定义手势关联想要操作的车辆功能，具体包括：利用差分隐私技术上传乘客的个人手势数据，建立联邦学习模型帮助训练公共图像模型；通过自动驾驶系统进行路况监测；根据路况判断乘客手势控制指令是否有执行条件，具体包括：重复和不规范手势进行阻力提醒；根据路况开关手势路况预警模块。
2. 根据权利要求1所述的方法，其中，所述乘客向显示屏录入手势动作数据，包括: 乘客穿戴数据手套，在显示屏正前方区域内做出手势动作，手势手套捕捉和记录乘客做出的手势动作数据，传递给自动驾驶系统；所述数据手套通过USB数据线或蓝牙无线连接技术与显示屏进行连接；使用合成弹力纤维制造，能够适应不同大小的手掌。
3.根据权利要求1所述的方法，其中，所述根据手势动作数据分析模拟手势动作图像，包括: 利用数据手套上集成的数据采集模块，接收并记录数据手套采集的手势动作数据，分析并模拟出乘客的手势动作图像；包括在数据手套上装载MPU6050传感器，根据该传感器集成的3MEMS陀螺仪，3轴MEMS加速度计获取手势动作的3D加速度，角速率或2D旋转速率；利用弯曲传感器采集手指弯曲程度信息，得到手势动作的轮廓数据；利用手套的触点传感器获取手势都骨架关键点，并结合显示屏上的磁定位传感器获取手势运动轨迹以及手势方向。
4.根据权利要求1所述的方法，其中，所述用深度学习的手势模型进行手势识别获取指令，包括: 根据模拟出来的手势动作图像，加载系统中用深度学习技术训练好的手势识别模型，通过手势数据和手势图像动作比对，模型识别出手势类型并获取该手势对应的指令；包括对手势动作图像进行初步姿态估计；利用卷积神经网络提取特征区域；根据手指关节的拓扑结构，利用全连接对特征区域进行层次集成；用迭代级联方法得到手势的姿态；所述手势识别模型，为预先训练好的深度学习手势控制模型，能够对指定的训练好的手势进行识别；包括：判断乘客作出的手势是否准确并进行提醒； 所述判断乘客作出的手势是否准确并进行提醒，具体包括： 如果做出手势正确，系统获取到手势对应指令后，将指令显示在屏幕上并执行指令；如果手势不清晰或不规范，则给出可能的手势指令让乘客选择。
5.根据权利要求1所述的方法，其中，所述自定义手势关联想要操作的车辆功能，包括:选择可录入手势功能目录，为系统规定的基本功能及其他扩展功能设置自定义手势，录入的手势与其他功能已有手势进行比对，相似度在一定程度以下才允许录入；包括：利用差分隐私技术上传乘客的个人手势数据；建立联邦学习模型帮助训练公共图像模型； 所述利用差分隐私技术上传乘客的个人手势数据，具体包括： 为训练出更好的公共手势模型，在乘客同意隐私协议的前提下，上传本次行程中乘客的个人手势数据，该手势数据属于用户的个人隐私，利用松弛差分隐私上传数据； 所述建立联邦学习模型帮助训练公共图像模型，具体包括： 利用纵向联邦学习技术，在个人手势图像数据存储在车辆设备不会被泄露的情况下，结合预先训练好的手势图像模型，微调训练出乘客个人的自定义手势模型；包括系统对乘客个人手势图像数据进行加密对齐;上传数据给第三方机构进行共同特征提取；利用共同数据特征进行模型训练。
6.根据权利要求1所述的方法，其中，所述通过自动驾驶系统进行路况监测，包括: 收到手势图像对应的指令后，自动驾驶系统利用车载的各种用途的传感器手机周围的环境参数；根据陀螺仪和加速度计测量车辆的角速率和线加速度；用GPS和地图定位得到车辆在导航地图的位置；通过毫米波雷达和超声波雷达发射并接收前后方及侧边的激光束反射，获取前方最近物体的距离和速度，通过视觉传感器与卷积神经网络对前方及周围物体进行图像识别与跟踪；最后根据分析出的环境信息得到综合的当前路段路况。
7.根据权利要求1所述的方法，其中，所述根据路况判断乘客手势控制指令是否有执行条件，包括: 利用收集到的环境数据，根据乘客做出的手势动作对应指令，模拟执行指令后的情况，判断指令是否能够执行，符合条件则执行，如果没有执行条件，通过语音播报功能告知乘客可能发现的风险并不执行指令；包括前方车辆类型，周围与车内湿度与温度；包括：重复和不规范手势进行阻力提醒； 所述重复和不规范手势进行阻力提醒，具体包括：当乘客完成一次手势动作之后，继续重复做出相同的手势动作，或者当前手势动作对应的指令无法继续执行时，数据手套通过力反馈传感器模拟阻力，让乘客感受到手势运动方向的阻力，提醒乘客该手势动作无法执行。
8.根据权利要求1所述的方法，其中，所述根据路况开关手势路况预警模块，包括： 通过自动驾驶系统GPS卫星定位模块、数码摄像头以及激光雷达持续接收周围的环境信息，对周围路况进行分析，若路况良好，则关闭手势路况预警模块，此时用户做出手势指令时无需进行合理性判断，若路况复杂，则打开预警系统。
CN202210486907.8A 2022-05-06 2022-05-06 一种自动驾驶车的控制方法 Pending CN114926896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210486907.8A CN114926896A (zh) 2022-05-06 2022-05-06 一种自动驾驶车的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210486907.8A CN114926896A (zh) 2022-05-06 2022-05-06 一种自动驾驶车的控制方法

Publications (1)

Publication Number Publication Date
CN114926896A true CN114926896A (zh) 2022-08-19

Family

ID=82806615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210486907.8A Pending CN114926896A (zh) 2022-05-06 2022-05-06 一种自动驾驶车的控制方法

Country Status (1)

Country Link
CN (1) CN114926896A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116722629A (zh) * 2023-08-07 2023-09-08 深圳市首诺信电子有限公司 一种车载无线充电装置及其充电方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116722629A (zh) * 2023-08-07 2023-09-08 深圳市首诺信电子有限公司 一种车载无线充电装置及其充电方法
CN116722629B (zh) * 2023-08-07 2024-01-16 深圳市首诺信电子有限公司 一种车载无线充电装置及其充电方法

Similar Documents

Publication Publication Date Title
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US10562536B1 (en) Apparatuses, systems and methods for determining distractions associated with vehicle driving routes
US11003932B1 (en) Apparatuses, systems, and methods for inferring a driving environment based on vehicle occupant actions
US10242274B1 (en) Apparatuses, systems and methods for determining degrees of risk associated with a vehicle operator
US11897483B2 (en) Apparatuses, systems and methods for determining distracted drivers associated with vehicle driving routes
US10065504B2 (en) Intelligent tutorial for gestures
CN111104820A (zh) 一种基于深度学习的手势识别方法
US10282624B1 (en) Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
US10445604B1 (en) Apparatuses, systems and methods for detecting various actions of a vehicle operator
US11861917B2 (en) Apparatuses, systems, and methods for detecting vehicle occupant actions
US10943136B1 (en) Apparatuses, systems and methods for generating a vehicle driver signature
US20210342612A1 (en) Apparatuses, systems, and methods for determining vehicle operator distractions at particular geographic locations
US10891502B1 (en) Apparatuses, systems and methods for alleviating driver distractions
US10452933B1 (en) Apparatuses, systems and methods for generating a vehicle driver model for a particular vehicle
US11922705B2 (en) Apparatuses, systems and methods for generation and transmission of vehicle operation mode data
CN114926896A (zh) 一种自动驾驶车的控制方法
US20220172494A1 (en) Apparatuses, systems and methods for generating a vehicle driver signature
CN115320626B (zh) 基于人车状态的危险感知能力预测方法、装置及电子设备
JP2020130502A (ja) 情報処理装置および情報処理方法
US20240135731A1 (en) Apparatuses, systems, and methods for detecting vehicle occupant actions
González-Ortega et al. 3D Kinect-Based Gaze Region Estimation in a Driving Simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination