CN110692032A - 用于自动的手势识别的方法以及装置 - Google Patents

用于自动的手势识别的方法以及装置 Download PDF

Info

Publication number
CN110692032A
CN110692032A CN201880035341.9A CN201880035341A CN110692032A CN 110692032 A CN110692032 A CN 110692032A CN 201880035341 A CN201880035341 A CN 201880035341A CN 110692032 A CN110692032 A CN 110692032A
Authority
CN
China
Prior art keywords
data
type
machine learner
training
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880035341.9A
Other languages
English (en)
Inventor
T·舍恩
M·施利滕鲍尔
M·莫高特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN110692032A publication Critical patent/CN110692032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于自动的手势识别的方法，其中，借助于机器学习器(5)将由用户实施且借助于至少一个传感器检测的多个手势中的相应手势的数据与多个预设类型中的相应类型相关联，其中，利用被分成预设的数据段(1、2、3、4)的训练数据组训练机器学习器(5)，在训练期间借助于机器学习器(5)将训练数据组的相应数据段(1、2、3、4)与多个预设类型中的相应类型相关联，借助于至少一个加权系数(6、7)考虑用于将相应数据段(1、2、3、4)与相应类型相关联的相应关联过程在自动手势识别中的相应贡献，在训练期间借助于损失函数优化机器学习器(5)，损失函数在使用根据相应数据段与相应类型的关联过程的频繁度形成的至少一个加权系数(6、7)的情况下为用于将相应数据段(1、2、3、4)与相应类型相关联的相应关联过程进行加权。

Description

用于自动的手势识别的方法以及装置
技术领域
本发明涉及一种用于自动地识别用户的手势的方法以及一种设置成执行所提出的方法的手势获取系统。
背景技术
目前，常常利用以监督学习为基础的方法实现用于手势识别的算法。在此，在所谓的深度学习过程中，借助于任意样式的数据组训练人工神经网络的模型参数。用于手势识别的算法利用预分割的数据组来训练，其中，根据预设的格式为每个数据段分别分配一种类型。如此被训练的机器学习器仅仅适用于为同样被分成各数据段的数据分类。因此，或者实现预分割的序列的纯粹的离线识别，或者需要另一算法用于实时应用，该算法以不可避免的等待时间分割输入数据，以便紧接着以手势识别算法为各个数据段分类，也就是说与相应的类型相关联。随着各个数据段与相应类型的关联精度的最大化，对相应的机器学习器的相应的模型参数进行优化。
由于在传统的优化方案中不考虑各个类型之间的频繁度分布的不均匀性，出现如下情况，即，机器学习器非常准确地将频繁出现的数据段与相应的类型相关联，而非常不准确地将不太频繁出现的数据段与相应的类型相关联。
在公开文献US 2014 279 716 A1中公开了一种用于使用主动学习方法来分类电子信息的方法，在该方法中，借助于损失函数和手势输入为数据分类。
在公开文献DE 11 2014 003 305 T5中公开了一种用于借助于学习方法处理声学信号的方法，在该方法中，在为语音分类时考虑损失函数和用户输入。
在公开文献US 2016/0321540 A1中公开了一种具有用于由用户提供的手势的滤波器的人工神经网络。
Song,Y.；Morency,L.P.；Davis,R.的文章：Distribution-sensitive learningfor imbalanced datasets(第十届IEEE国际会议及自动人脸和手势识别研讨会(FG，2013)，2013，第1-6页)公开了一种用于手势识别的方法，在该方法中，在学习过程之前分析训练数据组并且进行加权。
Gibson,Adam；Patterson,Josh的文献：Deep Learning(Early出版社，美国：O'Reilly Media有限公司，2016年8月，章节“6.Tuning Deep Networks”，段落：“Workingwith Class Imbalance”，ISBN 978-1-4919-1425-0)公开了一种用于在训练期间匹配机器学习器的损失函数的方法。
Owens,Adams的文章：Training Neural Nets with Class Imbalance(2014年01月20日)公开了一种用于平衡人工神经网络的方法。
发明内容
在该背景下，本发明的目的是，提供一种机器学习器，其以最大可能的精度识别用户提供的手势。
为了实现以上所述的目的，提出一种用于自动识别用于控制车辆部件的手势的方法。根据所提出的方法规定，借助于机器学习器，将由用户实施的且借助于至少一个传感器获取的多个手势中的相应一个手势的数据与多个预设类型中的相应一个类型相关联/对应。在此规定，利用被分成预设的数据段的训练数据组训练机器学习器，其中，在训练期间借助于机器学习器将训练数据组的各个数据段与多个预设类型中的相应类型相关联。在此，借助于至少一个加权系数考虑如下相应贡献/量值，用于将相应的数据段与相应的类型相关联的相应的关联过程以所述贡献流入/进入自动手势识别中。在此规定，在训练期间借助于损失函数优化机器学习器，该损失函数在使用依赖于相应数据段与相应类型的关联过程的频繁度/频率/次数而形成的至少一个加权系数的情况下为用于将相应的数据段与相应的类型相关联的相应的关联过程进行加权。
在此，通常为每个类型分配分别一个加权系数，通过该加权系数考虑为该类型关联数据段的相应关联过程在自动手势识别中的贡献。这意味着，视预设类型的数量而定，给出相应数量的加权系数。
从说明书和从属权利要求中得到本发明的设计方案。
根据本发明设置的训练用于，将机器学习器、尤其是人工神经网络最终配置成，将由用户实施的运动与至少一个预设的、例如与手势相关的类型相关联。通过借助于机器学习器根据用户的运动与和相应手势相关的类型的关联性识别出相应的手势，可产生用于控制车辆的相应部件的控制命令，由此能实现部件的手势控制。
所提出的方法尤其是用于尽可能精确地识别通过用户提供的手势、也就是说用于控制一装置、例如车辆或车辆部件的操作手势。可规定，借助于根据本发明设置的机器学习器对由至少一个传感器、例如摄像机获取的数据进行分类，也就是说将其与相应的类型相关联。为此，根据本发明规定，首先将由传感器提供的相应的数据组分成各个数据段，然后由机器学习器将相应的数据段与相应的类型相关联。
此外，根据本发明规定，在考虑损失函数的情况下来训练用于识别相应的手势的机器学习器或相应的机器学习功能，该损失函数借助于、也就是说在使用至少一个依赖于相应数据段与相应类型的关联过程的频繁度而形成的加权系数的情况下，为相应的数据段与相应类型的相应的关联过程或该关联过程的概率进行加权。这意味着，在使用至少一个加权系数的情况下为相应贡献(用于将相应的数据段与相应的类型相关联的相应的关联过程以所述贡献流入自动手势识别中)进行加权。在此，通过改变机器学习器直至损失函数达到局部最小值，将损失函数(借助于该损失函数以数学方式描述在相应的机器学习器的优化的识别性能与实际的识别性能之间的偏差)用作优化机器学习器的优化函数。在损失函数的局部最小值时，机器学习器表现最优。
为了避免在训练中仅仅以数据段与类型的相应关联过程出现的频繁度为基础配置机器学习器，设置如下加权系数，即，该加权系数预先给定相应的关联过程对机器学习器的影响，或者该加权系数影响机器学习器响应于关联过程的匹配或配置。例如可规定，以加权系数“0.1”为一个关联过程加权，从而该关联过程以10％进入损失函数中。由于使用损失函数来配置机器学习器、也就是说机器学习器的内部结构，例如在人工神经网络作为机器学习器的情况中匹配节点之间的连接/边的权重，因此相应的加权系数由于其对损失函数的影响而对机器学习器、例如相应的人工神经网络产生影响。
一旦训练出相应的机器学习器，就可利用机器学习器实现非常精确地将借助于传感器获取的各个数据与一定数量的预设类型相关联，而机器学习器不必特定于仅仅一种类型被优化或过度训练。
为了识别用户的相应的手势，也就是说将相应的与手势对应的数据与和相应的手势相关的预设类型相关联，并且产生与该类型相关联的控制命令，通常连续地借助于传感器、例如摄像机观测用户。相应地，由传感器产生不仅包括不反映手势的数据而且包括反映手势的数据的数据组。此时，不反映手势的数据通常过度体现，也就是说与反映手势或与手势对应的数据相比更频繁地在数据组中出现。
由于在由相应的传感器获取的数据组中过度体现不对应任何手势的数据，因此在现有技术中可能出现的情况是，借助于该数据组训练出的机器学习器被配置成极其专注于不与任何手势对应的数据的最佳识别性能，且相应地不太专注于与手势对应的数据的最佳识别性能。例如，当相应的训练数据组中的第一数据段与第一类型的关联或关联过程相对于第二数据段与第二类型的关联或关联过程更频繁地、也就是说例如频繁十倍地出现，从而机器学习器比第二数据段的关联或关联过程更频繁十倍地收到第一数据段的关联或关联过程的反馈时，可产生这种错误配置。相应地，在这种训练中，机器学习器特别强地针对第一数据段与第一类型的关联或关联过程进行优化，由此机器学习器可能会特别差地适用于第二数据段与第二类型的关联或关联过程。这样的机器学习器被认为是误训练的。
为了避免相应的机器学习器的误训练，也就是说该训练导致对于比其它类型更不频繁地提供的类型具有非最优的识别性能，所提出的方法规定，在训练相应的机器学习器时，为相应的数据段与相应类型的不同关联过程加权，其中，在自动的手势识别时合适地考虑相应数据段与相应类型的不同关联过程的相应贡献。为此，尤其是规定，不同类型根据其识别的频繁度或者说与之相关的通过机器学习器的关联过程，以加权的方式对通过机器学习器的评估以及进而对机器学习器对于相应类型的关联精度产生影响。在此，可选择与相应的数据段与相应类型的关联频繁度成比例的加权系数，并且将加权系数的倒数与相应的数据段被分配给相应类型的概率/可能性相乘。这导致，在使用该加权系数的情况下，越频繁地识别出的相应的类型对机器学习器的配置或训练的影响越小。显然，也可选择在相应的数据段与相应类型相关联的频繁度(也就是说进行特定关联过程的频繁度)与相应的加权系数的值之间的任意其它数学比例，以便合适地流入损失函数中。
尤其是规定，如此选择用于相应类型的、确切地说用于与所述相应类型相关的相应关联过程的加权系数，使得在训练时，当特别频繁地被提供或识别出时，该类型比特别少地提供或识别出的类型弱地被考虑与该相应的类型相关的关联过程。也就是说，相比于与更不经常地识别出的类型的相应的关联过程，将数据段与更频繁地识别出的类型相关联的相应的关联过程更弱地流入损失函数中。
根据本发明的加权系数可用于，在不均衡的数据组中，在训练时，以彼此间均衡的比例考虑以不同频繁度识别的类型。
相应地，通过根据本发明设置的至少一个加权系数可以防止，以不有利于很少被关联或很少被识别的类型的识别率的方式，特定地针对频繁被关联或频繁识别出的类型训练相应的机器学习器。为此，至少一个加权系数在不同的类型之间平衡在训练时相应的类型或相应的与所述类型相关的关联过程对在机器学习器的各个层或节点之间的关系的匹配/配置所产生的影响/贡献。相应地，在使用根据本发明设置的至少一个加权系数的情况下，尤其是非特定地或宽泛地训练相应的机器学习器，从而机器学习器能尽可能准确地识别尽可能多的类型。
所提出的方法尤其是基于借助于分成数据段的数据所进行的训练，从而由相应的机器学习器将各个数据段与相应的类型相关联。相应地规定，根据数据段与相应类型的关联过程的频繁度来形成至少一个根据本发明设置的加权系数，从而与各数据段与相应类型的很少出现的关联或关联过程相比，数据段与类型的频繁出现的关联或关联过程更少地贡献于在机器学习器的各层之间的连接(也就是说各节点之间的边)的改变或匹配。
训练是中心步骤，该步骤为机器学习器、例如人工神经网络赋予其识别能力。在训练中，逐步地匹配网络中的所有神经元的权重和偏差，使得人工神经网络根据期望的输出来描摹输入。出发点是具有随机选择的权重的人工神经网络。然后，在监督学习中，通过随机选择的人工神经网络根据输出来描摹输入，并且然后将该输出与期望的输出比较。接着，将人工神经网络的期望的输出与实际的输出的偏差(误差)用于，以小的步距修正在人工神经网络中的权重。用于执行监督学习的算法称为反向传播算法。为此，将产生的误差反向传导通过人工神经网络，以匹配权重。反向传播算法的出发点是人工神经网络在当前状态中在计算时出现的偏差或误差。该偏差借助于以上所述的损失函数来计算。
最终，训练的目标是，寻找损失函数的局部最小值。
可规定，在训练期间借助于包括至少一个加权系数的损失函数来优化机器学习器。在此规定，在损失函数中借助于相应的加权系数来考虑数据段与相应类型的关联或关联过程的频繁度。
借助于损失函数(该损失函数表明通过机器学习器预测的、相应数据段与相应类型的关联的精度，也就是说通过机器学习器预测的、相应数据段与相应类型的关联与相应的实际的、相应数据段与相应类型的关联的一致性的程度)，可评判机器学习器的质量。相应地，通过改变/匹配机器学习器直至损失函数达到局部最小值，损失函数尤其有利地适合用作机器学习器的优化函数。此时，可计算局部的最小值例如作为相应的损失函数的根。
尤其是规定，借助于包括或考虑根据本发明设置的至少一个加权系数的损失函数来优化根据本发明设置的机器学习器。相应地，机器学习器在考虑至少一个加权系数的情况下被改变或优化。在此尤其是可规定，损失函数考虑相应数据与相应类型的所有识别出的关联或关联过程，并且为这些关联或关联过程单个地借助于相应的、特定地针对相应的关联、也就是说相应的关联过程或相应的与其相关的类型计算出的加权系数来加权。通过以这种方式为相应的关联或相应的关联过程加权，可限制例如不包含手势的数据的频繁出现的关联对损失函数并进而对机器学习器自身的影响。
通过公式(1)示出以上描述的损失函数的可能的设计方案。
在公式(1)中，“gt”是基本真值或相应的根据基本真值修正的关联的类型，“i”是训练样例，“J”是训练样例长度，“k”是数据段，
Figure BDA0002293080720000072
是训练样例“i”的数据段“k”与根据基本真值的类型的关联概率(也就是说在给定的模型中获取基本真值“yi,k”的概率)，并且“P”是相应的数据组的大小。此时应注意的是，在一个数据段k期间可出现仅仅一个类型，其中，这些类型可通过gt＝argmax(yi,k)来确定并且随后相应地宣告。系数“mgt”给出用于相应的数据段与根据基本真值的相应类型的关联过程的加权系数，并且在此或者事先计算该系数，或者必要时也动态地确定该系数，也就是说，在训练过程期间形成并因此个别地根据相应的训练数据组匹配该系数。
根据公式(1)，将相应的加权系数“m”作为倒数与相应的计算出的、数据段与相应类型的关联概率相乘。由于按照最低或最少出现的手势对相应的加权系数进行归一化/标准化，因此确保，不必对大于1的值进行对数运算。
在训练时，预设训练数据组，其中，将训练数据组分成预设的数据段。此时可设想的是，相应的与数据段相联系的手势具有不同长度或者包括所谓的“空白手势”，也就是说，包括不对应于有意识的手势的运动。这种“空白手势”也必须被包含在训练过程中。如以上已经解释的那样，此时出现的问题是，手势之间的比例不均衡。为了训练，例如使用视频形式的训练数据组，其中，将视频分成选择出的部分(剪辑)，相应地分成选择出的数据段。在此，在训练数据组中也考虑不对应任何手势并且现在在训练时应该用来培训人工神经网络的动作或运动。初始时，视频的每个单个图像具有关联的类型。然而，在这种方案中，将多个单个图像汇总成所谓的剪辑，也就是说数据段，其中，也将相应的类型汇总成一个类型。在可能的设计方案中，现在，在一与特定手势相关联的类型仅仅出现一次时，将包括该特定手势的整个数据段与该类型关联。仅当在数据段中仅仅存在所谓的空白手势时，才将相应的数据段也分配给与空白手势相关的类型。由此防止，在手势非常短时，将所有从属的数据段、也就是说分别包括该短的手势的数据段错误地分配给空白手势。在另一设计方案中，各手势之间的比例根据具有最少存在性或最少出现的手势来归一化，以便该手势也流入人工神经网络的计算或配置中。由此解决开头所述的问题，即，在不均衡的数据组中不按比例地训练确定的类型。所述比例因此用作计算损失的权重，并且因此通过以上所述的加权系数流入已经说过的损失函数中。可设想的是，所述比例不仅在开始训练之前以与预设的训练数据组相协调的方式来计算，或者也在训练期间在线地确定。
最终，训练的目的是，寻找这样的模型，即，该模型通过人工神经网络来描摹，并且该模型利用输入值计算出的输出值相应于实际值、即所谓的基本真值。为此，在可能的设计方案中列出用于反向传播算法的损失函数，该损失函数使用所谓的似然值的负对数。由此，得到概率的总和，并且在考虑平均值的情况下得到以上所述的公式(1)作为负对数似然值损失函数。在此，如以上解释的那样，为损失函数加权，以便将以上所述的在手势之间的比例包括在内。动态计算的加权系数m作为倒数与计算出的概率
Figure BDA0002293080720000081
相乘。在此，分别考虑真值gt。由于根据最少出现的手势将加权系数归一化，因此确保，单个的权重或加权系数都不小于1。为了保证不必形成大于1的值的对数，这是必须的。现在，计算出的损失函数的值用作误差以便计算模型参数的修正值。
公式(1)从公式(2)中导出，在公式(2)中，对于反向传播算法(其典型地用于训练人工神经网络)，将数据段与相应类型的正确关联的概率的负对数用于训练相应的人工神经网络。
在公式(2)中，“gt”是基本真值或相应的类型，“i”是训练样例，“J”是训练样例长度，“k”是数据段，
Figure BDA0002293080720000092
是数据段与类型的关联概率，“P”是相应的数据组的大小。
在所提出的方法的另一可能的设计方案中规定，如以上已经阐述的那样，根据最少与数据段相关联的类型来归一化相应的数据段与相应类型的相应关联或关联过程的相应加权系数。
由于在使用公式(2)优化或训练人工神经网络时，大量出现的或频繁地被关联的类型对人工神经网络有很强的影响，并且根据公式(2)的损失函数可能达到局部最小值(其主要考虑频繁被关联的或比例过大地识别出的类型)，因此根据相应的“基础真值标签”的频繁度或与相应类型关联的频繁度，为人工神经网络的网络输出、也就是说输出层加权。
为了归一化相应加权系数对相应机器学习器的影响，可相对于另一加权系数解释相应加权系数的值。为此，尤其是可规定，根据最少与数据段相关联的或者说最少被识别到的类型归一化相应的加权系数，从而为该最少被识别到的类型分配例如值“1”。
在所提出的方法的另一可能的设计方案中规定，用于为份额/贡献(用于将相应的数据段与相应类型相关联的相应关联过程以该份额/贡献流入自动手势识别中)加权的相应的加权系数作为倒数考虑在损失函数中。
对于加权系数作为倒数流入损失函数中并且由此对机器学习器产生影响的情况，最少被识别到的类型对机器学习器有相对最强的影响。
与相应的归一化步骤无关地，通过作为数据段与相应类型关联的频繁度的相应值的倒数考虑加权系数，频繁识别出或被关联的类型与数据段的关联越频繁，该类型对相应的机器学习器的相对影响减小越多。
所提出的方法尤其是已经证实用于作为机器学习器的人工神经网络，并且相应地适用于优化人工神经网络。尽管不了解有别于人工神经网络的其它机器学习器，但所提出的方法的工作原理也适用于优化其它机器学习器。
在所提出的方法的另一可能的设计方案中规定，在训练机器学习器期间，动态地更新至少一个加权系数。
为了将相应的加权系数特定地与相应的训练数据组匹配，可规定，动态地、也就是说例如总是在通过相应的机器学习器对类型的识别过程之后，更新相应的加权系数。在此，所有加权系数可并行地更新，或者选择性地仅仅更新为当前识别的类型或与其相关的关联过程进行加权的加权系数。
在所提出的方法的另一可能的设计方案中规定，在训练之前计算至少一个加权系数并且在训练期间固定地预设该至少一个加权系数。
通过固定地预设的加权系数，可排除由于其它加权系数改变引起的所述加权系数的改变，从而可非常快速且有效地进行相应的训练。
在所提出的方法的另一可能的设计方案中规定，机器学习器在训练之后将相应的由至少一个传感器获取的数据自动地分成各个数据段并且将这些数据段与相应的预设的类型相关联。
一旦相应的机器学习器完成了训练或者一旦结束机器学习器的优化过程，机器学习器就可用于识别手势，也就是说用于将借助于传感器获取的数据与相应的类型相关联。在此尤其是规定，用于实施所提出的方法的算法不仅用于将所获取的数据分段，也就是说用于将所获取的数据按照例如时间上的出现或按时间顺序的获取分成各个数据段，而且用于将相应的数据段或与一个数据段对应的数据分类，也就是说用于将相应的数据段或与一个数据段对应的数据与预设的类型相关联。
此外，本发明涉及一种用于车辆的手势获取系统，其具有至少一个用于获取通过用户提供的手势的传感器和控制器。在此规定，控制器被设计成，借助于机器学习器将多个通过用户实施的且借助于至少一个传感器获取的手势中的相应一个手势的数据与多个预设类型中的相应一个类型相关联。此外规定，控制器被设计成，以训练数据组训练机器学习器，训练数据组被分成预设的数据段，并且在训练期间，借助于机器学习器将训练数据组的相应的数据段与多个预设类型中的相应类型相关联，其中，借助于至少一个加权系数考虑相应贡献(用于将相应的数据段与相应类型相关联的相应的关联过程以该贡献流入自动手势识别中)，并且其中，控制器还设计成，在训练期间借助于损失函数优化机器学习器，其中，在使用至少一个依赖于相应的数据段与相应类型的关联过程的频繁度而形成的加权系数的情况下，损失函数为相应贡献(用于将相应的数据段与相应类型相关联的关联过程以该贡献流入自动手势识别中)加权。
所提出的方法尤其是用于运行所提出的手势获取系统。
从说明书和附图中得到其它优点和设计方案。
可理解的是，以上所述的和以下还将解释的特征不仅能以相应给出的组合、而且能以其它组合或单独地使用，而不离开本发明的范围。
附图说明
根据附图中的实施例示意性地示出本发明并且参考附图示意性地且详细地描述本发明。
图1示出了按照根据本发明的方法的一种可能的设计方案的机器学习器的训练流程的示意图。
具体实施方式
在图1中示出了训练数据组的不同数据段1至4。训练数据组借助于车辆中的摄像机拍摄到并且例如由技工分成了数据段1至4。在数据段1至3中未提供车辆用户的手势，而在数据段4中用户进行了用于激活车辆的娱乐系统的手势。
如果在训练被设置用于识别手势的人工神经网络5时以相同的强度、也就是说以相同的对人工神经网络5的配置的影响考虑所有数据段1至4，可能特别强地针对数据段1至3的关联过程来优化人工神经网络5，这是因为数据段1至3的数据全都与类型“噪声”或者说没有手势的运动相关联。相应地，人工神经网络5在尽可能精确地识别类型“噪声”方面被训练三次，而在类型“用于娱乐系统的手势”方面仅仅训练一次。这种训练导致对于类型“噪声”有良好的识别性能，然而对于类型“用于娱乐系统的手势”没有良好的识别性能。
通过在训练期间进行的用于优化人工神经网络5的匹配，可出现，有利于类型“噪声”的识别性能地，类型“用于娱乐系统的手势”的识别性能降低。为了将类型“用于娱乐系统的手势”的识别性能增到最大，根据本发明规定，在用于改变人工神经网络5的过程中，借助于第一加权系数6为类型“用于娱乐系统的手势”加权，并且借助于第二加权系数7为类型“噪声”加权。
第一加权系数6和第二加权系数7都根据相应数据段1至4与相应类型的关联过程的频繁度来选择。由于在此已识别了类型“噪声”三次，也就是说有三个数据段、确切的说数据段1至3与类型“噪声”相关联，因此为类型“噪声”分配值“3”。由于在此一个数据段、即数据段4与类型“用于娱乐系统的手势”相关联，因此为类型“用于娱乐系统的手势”分配值“1”。
为了将频繁识别出的类型“噪声”对人工神经网络5的影响降到最小，并且将很少识别到的类型“用于娱乐系统的手势”对人工神经网络5的影响增到最大，在训练人工神经网络5时，使用如下优化函数或损失函数，该优化函数或损失函数将数据段1至4与相应类型相关联的概率与相应加权系数的倒数相乘，以便预先给定数据段1至4与相应类型的相应关联过程对人工神经网络5的优化所具有的比重。
在此，与数据段与相应类型的关联频繁度成正比的相应的加权系数作为倒数进入优化函数或损失函数中，从而加权系数随着相应识别出的与相应类型的关联的值的增大而减小。相应地，与更少地识别出的关联相比，频繁识别出的手势、例如类型“噪声”导致对在人工神经网络5的相应层或节点之间的相应连接的更弱的匹配。相应地，在优化人工神经网络5时，特别强地考虑类型“用于娱乐系统的手势”，从而人工神经网络5特别好地识别类型“用于娱乐系统的手势”。

Claims (6)

1.一种用于自动识别用于控制车辆部件的手势的方法，在该方法中，借助于机器学习器(5)将由用户实施且借助于至少一个传感器检测到的多个手势中的各手势的数据与多个预设类型中的相应类型相关联，
其中，利用训练数据组训练所述机器学习器(5)，所述训练数据组被划分成预设的数据段(1、2、3、4)，其中，在训练期间借助于所述机器学习器(5)将训练数据组的各数据段(1、2、3、4)与多个预设类型中的相应类型相关联，其中，借助于至少一个加权系数(6、7)来考虑相应的关联过程在自动手势识别中的相应贡献，该关联过程用于将相应数据段(1、2、3、4)与相应类型相关联，其中，为了给用于将相应数据段(1、2、3、4)与相应类型相关联的相应关联过程在自动手势识别中的贡献进行加权，所述至少一个加权系数(6、7)作为倒数在损失函数中被考虑，利用所述损失函数在训练期间优化所述机器学习器(5)，其中，在训练机器学习器(5)期间动态地更新所述至少一个加权系数(6、7)，
其中，所述损失函数在使用根据相应数据段与相应类型的关联过程的频繁度而形成的至少一个加权系数(6、7)的情况下为用于将相应数据段(1、2、3、4)与相应类型相关联的相应关联过程进行加权，
其中，产生与相应类型相关联的控制命令并使用控制命令来控制车辆部件，其中，加权系数(6、7)是与相应数据段与相应类型的关联过程的频繁度成正比的因数。
2.根据上述权利要求中任一项所述的方法，其特征在于，根据与数据段(1、2、3、4)最少关联的类型来对相应数据段与相应类型的相应关联的相应加权系数(6、7)进行归一化。
3.根据上述权利要求中任一项所述的方法，其特征在于，借助于所述损失函数的局部最小值优化所述机器学习器(5)。
4.根据上述权利要求中任一项所述的方法，其特征在于，将人工神经网络选作机器学习器(5)。
5.根据上述权利要求中任一项所述的方法，其特征在于，所述机器学习器(5)在训练之后将相应的由至少一个传感器检测到的数据自动地划分成各个数据段(1、2、3、4)并将所述数据段(1、2、3、4)与相应的预设的类型相关联。
6.一种用于车辆的手势获取系统，其具有控制器和用于检测由用户提供的手势的至少一个传感器，其中，所述控制器被配置成，借助于机器学习器(5)将由用户实施且借助于至少一个传感器检测到的多个手势中的各手势的数据与多个预设类型中的相应类型相关联，其中，所述控制器还配置成，以训练数据组训练所述机器学习器(5)，所述训练数据组被划分成预设的数据段(1、2、3、4)，在训练期间借助于机器学习器(5)将训练数据组的各数据段(1、2、3、4)与多个预设类型中的相应类型相关联，其中，所述控制器还配置成，使用至少一个加权系数(6、7)来为用于为将相应数据段与相应类型相关联的相应关联过程在自动手势识别中的贡献进行加权，并且将所述至少一个加权系数(6、7)作为倒数在损失函数中考虑，所述损失函数用于在训练期间优化所述机器学习器(5)，其中，在训练机器学习器(5)期间动态地更新所述至少一个加权系数(6、7)，其中，所述控制器还配置成，产生与相应类型相关联的控制命令并使用控制命令来控制车辆部件，其中，所述至少一个加权系数(6、7)是与相应数据段与相应类型的关联过程的频繁度成正比的因数。
CN201880035341.9A 2017-06-01 2018-04-18 用于自动的手势识别的方法以及装置 Pending CN110692032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017209262.9 2017-06-01
DE102017209262.9A DE102017209262A1 (de) 2017-06-01 2017-06-01 Verfahren und Vorrichtung zur automatischen Gestenerkennung
PCT/EP2018/059935 WO2018219551A1 (de) 2017-06-01 2018-04-18 Verfahren und vorrichtung zur automatischen gestenerkennung

Publications (1)

Publication Number Publication Date
CN110692032A true CN110692032A (zh) 2020-01-14

Family

ID=62027995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035341.9A Pending CN110692032A (zh) 2017-06-01 2018-04-18 用于自动的手势识别的方法以及装置

Country Status (4)

Country Link
US (1) US11475712B2 (zh)
CN (1) CN110692032A (zh)
DE (1) DE102017209262A1 (zh)
WO (1) WO2018219551A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655889A (zh) * 2021-09-01 2021-11-16 北京字跳网络技术有限公司 一种虚拟角色控制方法、装置以及计算机存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605161B2 (en) * 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
CN110068326B (zh) * 2019-04-29 2021-11-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
DE102019005592A1 (de) * 2019-08-08 2021-02-11 Daimler Ag Verfahren zum Bereitstellen einer Funktion einer Funktionseinheit eines Kraftfahrzeugs, Assistenzsystem sowie Kraftfahrzeug
US20210241101A1 (en) * 2020-02-04 2021-08-05 Dsp Group Ltd. Post-training Control of the Bias of Neural Networks
DE102020204362A1 (de) 2020-04-03 2021-10-07 Volkswagen Aktiengesellschaft Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, ein Verfahren zum Beleuchten eines Objekts sowie ein Beleuchtungssystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104573621A (zh) * 2014-09-30 2015-04-29 李文生 基于Chebyshev神经网络的动态手势学习和识别方法
US20160321540A1 (en) * 2015-04-28 2016-11-03 Qualcomm Incorporated Filter specificity as training criterion for neural networks
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122681B2 (en) 2013-03-15 2015-09-01 Gordon Villy Cormack Systems and methods for classifying electronic information using advanced active learning techniques
US9601130B2 (en) 2013-07-18 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method for processing speech signals using an ensemble of speech enhancement procedures
US9727821B2 (en) * 2013-08-16 2017-08-08 International Business Machines Corporation Sequential anomaly detection
US11093845B2 (en) * 2015-05-22 2021-08-17 Fair Isaac Corporation Tree pathway analysis for signature inference
US9923931B1 (en) * 2016-02-05 2018-03-20 Digital Reasoning Systems, Inc. Systems and methods for identifying violation conditions from electronic communications
US11277425B2 (en) * 2019-04-16 2022-03-15 International Business Machines Corporation Anomaly and mode inference from time series data
US11271957B2 (en) * 2019-07-30 2022-03-08 International Business Machines Corporation Contextual anomaly detection across assets

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104573621A (zh) * 2014-09-30 2015-04-29 李文生 基于Chebyshev神经网络的动态手势学习和识别方法
US20160321540A1 (en) * 2015-04-28 2016-11-03 Qualcomm Incorporated Filter specificity as training criterion for neural networks
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICARDO CRUZ: "Tackling Class Imbalance with Ranking", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655889A (zh) * 2021-09-01 2021-11-16 北京字跳网络技术有限公司 一种虚拟角色控制方法、装置以及计算机存储介质
CN113655889B (zh) * 2021-09-01 2023-08-08 北京字跳网络技术有限公司 一种虚拟角色控制方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
DE102017209262A1 (de) 2018-12-06
US11475712B2 (en) 2022-10-18
WO2018219551A1 (de) 2018-12-06
US20200175265A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN110692032A (zh) 用于自动的手势识别的方法以及装置
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
CN107368892B (zh) 基于机器学习的模型训练方法和装置
CN111178548B (zh) 集成学习预测方法与系统
Li et al. Model-based online learning with kernels
CN107977710A (zh) 用电异常数据检测方法和装置
CN110443352B (zh) 基于迁移学习的半自动神经网络调优方法
WO2019184054A1 (zh) 一种弹幕信息的处理方法及系统
CN105320945A (zh) 图像分类的方法及装置
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
US20150371149A1 (en) Calculation device, calculation method, and recording medium
JP7078873B2 (ja) 機械学習装置、デマンド制御システム、及び、空調制御システム
EP3657403A1 (en) Computing device and method
Lin et al. Fairgrape: Fairness-aware gradient pruning method for face attribute classification
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
KR20210068993A (ko) 분류기를 훈련하는 디바이스 및 방법
US11727268B2 (en) Sparse training in neural networks
CN113986561B (zh) 人工智能任务处理方法、装置、电子设备及可读存储介质
CN112486784A (zh) 诊断和优化数据分析系统的方法、设备和介质
CN113822443A (zh) 一种对抗攻击和生成对抗样本的方法
TW202217628A (zh) 射頻指紋訊號處理裝置及射頻指紋訊號處理方法
EP4047603A1 (en) Abnormality degree calculation system and abnormality degree calculation method
CN110503205A (zh) 一种多模态数据处理方法及系统
CN107229944B (zh) 基于认知信息粒子的半监督主动识别方法
CN111191675B (zh) 行人属性识别模型实现方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination