CN117435054A - 应用于车载系统的手势识别方法、装置及设备 - Google Patents
应用于车载系统的手势识别方法、装置及设备 Download PDFInfo
- Publication number
- CN117435054A CN117435054A CN202311396449.XA CN202311396449A CN117435054A CN 117435054 A CN117435054 A CN 117435054A CN 202311396449 A CN202311396449 A CN 202311396449A CN 117435054 A CN117435054 A CN 117435054A
- Authority
- CN
- China
- Prior art keywords
- gesture recognition
- recognition model
- gesture
- initial
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种应用于车载系统的手势识别方法、装置及设备，该方法应用于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述方法包括：获取所述摄像头采集得到的初始数据；根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；获取与手势识别结果对应的执行指令进行执行，以执行与手势识别结果对应的操作。本发明实施例能有效降低人机交互的复杂度，提高驾驶安全性。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种应用于车载系统的手势识别方法、装置及设备。
背景技术
现有的汽车人机交互主要是以中控屏为核心，该中控屏大多是触控式显示屏，在进行人机交互时，驾驶者需要低头查看中控屏或对中控屏进行操作，因此，现有的汽车人机交互方式容易分散驾驶员的注意力，导致意外事故发生。
因此，现有的汽车人机交互方式存在驾驶安全性低的问题。
发明内容
本发明实施例提供了一种应用于车载系统的手势识别方法、装置及设备，旨在解决现有的汽车人机交互方式存在驾驶安全性低的问题。
第一方面，本发明实施例提供了一种应用于车载系统的手势识别方法，该方法应用于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述方法包括：
获取所述摄像头采集得到的初始数据；
根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；
根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；
获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
第二方面，本发明实施例还提供了一种应用于车载系统的手势识别装置，该装置配置于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述装置包括：
获取单元，用于获取所述摄像头采集得到的初始数据；
手势分割单元，用于根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；
手势分析单元，用于根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；
执行单元，用于获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
第三方面，本发明实施例还提供了一种电子设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述方法。
本发明实施例提供了一种应用于车载系统的手势识别方法、装置及设备，该方法应用于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述方法包括：获取所述摄像头采集得到的初始数据；根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。本发明实施例可对初始数据进行手势识别得到手势识别结果，还可获取与手势识别结果对应的执行指令进行执行，以执行与手势识别结果对应的操作，能有效降低人机交互的复杂度，提高驾驶安全性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的应用于车载系统的手势识别方法的流程示意图；
图2为本发明实施例提供的应用于车载系统的手势识别装置的示意性框图；
图3为本发明实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的应用于车载系统的手势识别方法的流程示意图。该方法该应用于车载系统的手势识别方法应用于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接。
图1为本发明实施例提供的应用于车载系统的手势识别方法的流程示意图。如图1所示，该方法包括以下步骤S110-S140。
S110、获取所述摄像头采集得到的初始数据。
在本实施例中，使用Camera框架获取所述摄像头采集得到的初始数据，所述初始数据为手势图片，通过对车内乘客做出的手势进行手势识别，从而执行与该手势相对应的操作，能有效降低人机交互的复杂度，避免驾驶员注意力分散从而保障行车安全。
在一实施例中，在步骤S110之前，还包括：
向所述摄像头发送摄像头开启指令，以控制所述摄像头进入启动状态。
在本实施例中，在进行无接触式人机交互之前，需要保证所述摄像头处于开启状态，以防止手势识别失败。
在一实施例中，所述车机端还设置有显示设备，所述控制器与所述显示设备之间进行网络连接，在步骤S110之后，还包括：
对所述初始数据进行筛选，得到显示图像数据；将所述显示图像数据发送至所述显示设备进行显示。
在本实施例中，所述车机端还设置有显示设备，所述显示设备可以是触控式显示屏，所述控制器与所述显示设备之间进行网络连接。在获取所述初始数据之后，还可对所述初始数据进行筛选，得到显示图像数据；将所述显示图像数据发送至所述显示设备进行显示，车内乘客可根据显示在所述显示设备上的显示图像数据确认做出的手势动作是否正确。
S120、根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据。
在本实施例中，将所述初始数据输入至预设的手势识别模型，根据所述手势识别模型对所述初始数据进行手势分割，以将手势从背景中分割出来，得到局部图像数据。
在一实施例中，在步骤S120之前，还包括：
采集手势照片；使用标注工具对所述手势照片进行标注，得到与所述手势照片对应的训练集合；根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。
在本实施例中，通过采集手势照片，使用Labelme作为标注工具对所述手势照片进行拉框标注，得到与所述手势照片对应的训练集合；根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。通过所述手势识别模型对车内乘客做出的手势进行识别，进而执行与该手势相对应的操作；车内乘客可做出相应的手势接听电话、控制车辆空调、控制车辆座椅或控制导航，在播放音乐时，车内乘客还可做出相应的手势进行上一曲，下一曲的切换，还可做出相应的手势暂停或打开音乐、调节音乐音量等。
在一实施例中，步骤S120，包括：
基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。
在本实施例中，所述训练集合包括训练集，测试集和验证集，基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。基于YOLOv5框架及基于YOLOv5神经网络对所述训练集合进行训练，可提高最后得到的所述手势识别模型的识别准确率。
在一实施例中，步骤S120，包括：
对所述第二初始手势识别模型进行转化，得到第三初始手势识别模型；对所述第三初始手势识别模型进行简化转换，得到手势识别模型。
在本实施例中，基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型，所述第二初始手势识别模型为YOLOv5手势识别模型；对所述YOLOv5手势识别模型进行转化，得到第三初始手势识别模型，所述第三初始手势识别模型为ONNX手势识别模型；使用onnx-simplifier对所述ONNX手势识别模型进行简化转换，得到手势识别模型，所述手势识别模型为TNN手势识别模型。
在一实施例中，在步骤S120之后，还包括：
根据所述手势识别模型编写手势识别算法接口；其中，所述控制器通过所述手势识别算法接口与所述手势识别模型进行通信连接。
在本实施例中，根据所述手势识别模型编写手势识别算法接口，所述手势识别模型为TNN手势识别模型；其中，所述控制器可通过所述手势识别算法接口与所述手势识别模型进行通信连接。
S130、根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果。
在本实施例中，根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果，所述手势识别结果可通过所述手势识别算法接口返回至所述控制器中。
S140、获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
在本实施例中，获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。如所述手势识别结果为向左滑动或向右滑动，所述控制器可根据向左滑动或向右滑动的手势识别结果获取对应的上一曲切换指令或下一曲切换指令，并根据所述上一曲切换指令或所述下一曲切换指令对播放器中的歌曲进行上一曲或下一曲的切换。
综上所述，本发明实施例可对初始数据进行手势识别得到手势识别结果，还可获取与手势识别结果对应的执行指令进行执行，以执行与手势识别结果对应的操作，能有效降低人机交互的复杂度，提高驾驶安全性。
图2为本发明实施例提供的应用于车载系统的手势识别装置的示意性框图。如图2所示，对应于以上应用于车载系统的手势识别方法，本发明还提供一种应用于车载系统的手势识别装置。该应用于车载系统的手势识别装置包括用于执行上述应用于车载系统的手势识别方法的单元，该装置配置于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接。
获取单元701，用于获取所述摄像头采集得到的初始数据；
手势分割单元702，用于根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；
手势分析单元703，用于根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；
执行单元704，用于获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
在一些实施例中，所述手势分割单元702在执行根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据步骤之前，还用于：
采集手势照片；使用标注工具对所述手势照片进行标注，得到与所述手势照片对应的训练集合；根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。
在一些实施例中，所述手势分割单元702在执行根据预设的训练策略对所述训练集合进行训练，得到手势识别模型步骤时，具体用于：
基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。
在一些实施例中，所述手势分割单元702在执行根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型步骤时，具体用于：
对所述第二初始手势识别模型进行转化，得到第三初始手势识别模型；对所述第三初始手势识别模型进行简化转换，得到手势识别模型。
在一些实施例中，所述手势分割单元702在执行对所述第三初始手势识别模型进行简化转换，得到手势识别模型步骤之后，还用于：
根据所述手势识别模型编写手势识别算法接口；其中，所述控制器通过所述手势识别算法接口与所述手势识别模型进行通信连接。
在一些实施例中，所述获取单元701在执行获取所述摄像头采集得到的初始数据步骤之前，还用于：
向所述摄像头发送摄像头开启指令，以控制所述摄像头进入启动状态。
在一些实施例中，所述车机端还设置有显示设备，所述控制器与所述显示设备之间进行网络连接，所述获取单元701在执行获取所述摄像头采集得到的初始数据步骤之后，还用于：
对所述初始数据进行筛选，得到显示图像数据；将所述显示图像数据发送至所述显示设备进行显示。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述应用于车载系统的手势识别装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述应用于车载系统的手势识别装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本发明实施例提供的一种电子设备的示意性框图。该计算机设备800可以是车机端的控制器，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接。
参阅图3，该电子设备800包括通过系统总线801连接的处理器802、存储器和网络接口805，其中，存储器可以包括非易失性存储介质803和内存储器804。
该非易失性存储介质803可存储操作系统8031和计算机程序8032。该计算机程序8032包括程序指令，该程序指令被执行时，可使得处理器802执行一种应用于车载系统的手势识别方法。
该处理器802用于提供计算和控制能力，以支撑整个电子设备800的运行。
该内存储器804为非易失性存储介质803中的计算机程序8032的运行提供环境，该计算机程序8032被处理器802执行时，可使得处理器802执行一种应用于车载系统的手势识别方法。
该网络接口805用于与其它设备进行网络通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备800的限定，具体的电子设备800可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器802用于运行存储在存储器中的计算机程序8032，以实现如下步骤：
获取所述摄像头采集得到的初始数据；根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
在一些实施例中，处理器802在实现根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据步骤时，具体实现如下步骤：
采集手势照片；使用标注工具对所述手势照片进行标注，得到与所述手势照片对应的训练集合；根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。
在一些实施例中，处理器802在实现根据预设的训练策略对所述训练集合进行训练，得到手势识别模型步骤时，具体实现如下步骤：
基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。
在一些实施例中，处理器802在实现根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型步骤时，具体实现如下步骤：
对所述第二初始手势识别模型进行转化，得到第三初始手势识别模型；对所述第三初始手势识别模型进行简化转换，得到手势识别模型。
在一些实施例中，处理器802在实现对所述第三初始手势识别模型进行简化转换，得到手势识别模型步骤之后，还实现如下步骤：
根据所述手势识别模型编写手势识别算法接口；其中，所述控制器通过所述手势识别算法接口与所述手势识别模型进行通信连接。
在一些实施例中，处理器802在实现获取所述摄像头采集得到的初始数据步骤之前，还实现如下步骤：
向所述摄像头发送摄像头开启指令，以控制所述摄像头进入启动状态。
在一些实施例中，所述车机端还设置有显示设备，所述控制器与所述显示设备之间进行网络连接，处理器802在实现获取所述摄像头采集得到的初始数据步骤之后，还实现如下步骤：
对所述初始数据进行筛选，得到显示图像数据；将所述显示图像数据发送至所述显示设备进行显示。
应当理解，在本发明实施例中，处理器802可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器802还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
获取所述摄像头采集得到的初始数据；根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
在一实施例中，所述处理器在执行根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据步骤时，具体实现如下步骤：
采集手势照片；使用标注工具对所述手势照片进行标注，得到与所述手势照片对应的训练集合；根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。
在一实施例中，所述处理器在执行根据预设的训练策略对所述训练集合进行训练，得到手势识别模型步骤时，具体实现如下步骤：
基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。
在一实施例中，所述处理器在执行根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型步骤时，具体实现如下步骤：
对所述第二初始手势识别模型进行转化，得到第三初始手势识别模型；对所述第三初始手势识别模型进行简化转换，得到手势识别模型。
在一实施例中，所述处理器在执行对所述第三初始手势识别模型进行简化转换，得到手势识别模型步骤之后，还实现如下步骤：
根据所述手势识别模型编写手势识别算法接口；其中，所述控制器通过所述手势识别算法接口与所述手势识别模型进行通信连接。
在一实施例中，所述处理器在执行获取所述摄像头采集得到的初始数据步骤之前，还实现如下步骤：
向所述摄像头发送摄像头开启指令，以控制所述摄像头进入启动状态。
在一实施例中，所述车机端还设置有显示设备，所述控制器与所述显示设备之间进行网络连接，所述处理器在执行获取所述摄像头采集得到的初始数据步骤之后，还实现如下步骤：
对所述初始数据进行筛选，得到显示图像数据；将所述显示图像数据发送至所述显示设备进行显示。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种应用于车载系统的手势识别方法，其特征在于，该方法应用于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述方法包括：
获取所述摄像头采集得到的初始数据；
根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；
根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；
获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
2.根据权利要求1所述的应用于车载系统的手势识别方法，其特征在于，所述根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据之前，还包括：
采集手势照片；
使用标注工具对所述手势照片进行标注，得到与所述手势照片对应的训练集合；
根据预设的训练策略对所述训练集合进行训练，得到手势识别模型。
3.根据权利要求2所述的应用于车载系统的手势识别方法，其特征在于，所述根据预设的训练策略对所述训练集合进行训练，得到手势识别模型，包括：
基于YOLOv5框架对所述训练集合进行训练，得到第一初始手势识别模型；
基于YOLOv5神经网络对所述第一初始手势识别模型进行训练，得到第二初始手势识别模型；
根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型。
4.根据权利要求3所述的应用于车载系统的手势识别方法，其特征在于，所述根据预设的转化策略对所述第二初始手势识别模型进行转化，得到手势识别模型，包括：
对所述第二初始手势识别模型进行转化，得到第三初始手势识别模型；
对所述第三初始手势识别模型进行简化转换，得到手势识别模型。
5.根据权利要求4所述的应用于车载系统的手势识别方法，其特征在于，所述对所述第三初始手势识别模型进行简化转换，得到手势识别模型之后，还包括：
根据所述手势识别模型编写手势识别算法接口；其中，所述控制器通过所述手势识别算法接口与所述手势识别模型进行通信连接。
6.根据权利要求1所述的应用于车载系统的手势识别方法，其特征在于，所述获取所述摄像头采集得到的初始数据之前，还包括：
向所述摄像头发送摄像头开启指令，以控制所述摄像头进入启动状态。
7.根据权利要求1所述的应用于车载系统的手势识别方法，其特征在于，所述车机端还设置有显示设备，所述控制器与所述显示设备之间进行网络连接，所述获取所述摄像头采集得到的初始数据之后，还包括：
对所述初始数据进行筛选，得到显示图像数据；
将所述显示图像数据发送至所述显示设备进行显示。
8.一种应用于车载系统的手势识别装置，其特征在于，该装置配置于车机端的控制器中，所述车机端设置有摄像头，所述控制器与所述摄像头之间进行网络连接，所述装置包括：
获取单元，用于获取所述摄像头采集得到的初始数据；
手势分割单元，用于根据预设的手势识别模型对所述初始数据进行手势分割，得到局部图像数据；
手势分析单元，用于根据所述手势识别模型对所述局部图像数据进行手势分析，得到与所述局部图像数据相对应的手势识别结果；
执行单元，用于获取与所述手势识别结果对应的执行指令进行执行，以执行与所述手势识别结果对应的操作。
9.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396449.XA CN117435054A (zh) | 2023-10-25 | 2023-10-25 | 应用于车载系统的手势识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396449.XA CN117435054A (zh) | 2023-10-25 | 2023-10-25 | 应用于车载系统的手势识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117435054A true CN117435054A (zh) | 2024-01-23 |
Family
ID=89557878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311396449.XA Pending CN117435054A (zh) | 2023-10-25 | 2023-10-25 | 应用于车载系统的手势识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117435054A (zh) |
-
2023
- 2023-10-25 CN CN202311396449.XA patent/CN117435054A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105579319B (zh) | 用于识别车载信息系统中的手写手势的系统和方法 | |
| DE102017105459A1 (de) | Interaktive anzeige auf grundlage der interpretation von fahrerhandlungen | |
| CN112309380B (zh) | 一种语音控制方法、系统、设备及汽车 | |
| CN108944451B (zh) | 一种显示控制方法及车辆 | |
| EP3486805A1 (de) | Verfahren zum bedienen einer elektronischen einrichtung oder einer applikation und entsprechende vorrichtung | |
| DE102015213362A1 (de) | Verfahren zum erweitern einer fahrzeugschnittstelle | |
| DE102018109425A1 (de) | Kontextabhängige fahrzeugbenutzerschnittstelle | |
| CN112959945B (zh) | 车窗控制方法、装置、车辆及存储介质 | |
| CN117435054A (zh) | 应用于车载系统的手势识别方法、装置及设备 | |
| DE112012005745T5 (de) | Mobile Informationsvorrichtung | |
| US20140168058A1 (en) | Apparatus and method for recognizing instruction using voice and gesture | |
| CN115115531A (zh) | 图像去噪方法、装置、车辆及存储介质 | |
| CN113127710A (zh) | 信息呈现方法、装置、服务器及介质 | |
| CN116540969A (zh) | 车载多显示屏显示控制方法、装置、设备及存储介质 | |
| CN116016578B (zh) | 一种基于设备状态和用户行为的智能语音引导方法 | |
| CN115499645B (zh) | 车载影像的启动速度优化方法、装置、车辆终端及介质 | |
| CN116881770A (zh) | 车辆状态映射方法、装置、计算机设备和存储介质 | |
| CN115116439A (zh) | 一种语音控制方法、装置、终端设备及存储介质 | |
| CN117698585A (zh) | 车载滑移屏控制方法及装置 | |
| CN115938343A (zh) | 基于视觉识别的语音控制方法、装置、电子设备及介质 | |
| CN116331233A (zh) | 车载显示设备的显示方法、装置、车辆及存储介质 | |
| CN107054224B (zh) | 汽车影像控制方法及其控制系统 | |
| CN118210522A (zh) | 智能座舱模型升级方法、装置、计算机设备及存储介质 | |
| DE102012005866A1 (de) | Verfahren zur Wiedergabe von möglichen oder bereits erfolgten, von einer Eingabeeinheit zu erfassenden oder bereits erfolgten Bedieneingaben in einem Kraftfahrzeug | |
| CN116373767A (zh) | 车载屏幕的防窥方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |