CN104423570A - 误识别降低的动作识别设备和方法 - Google Patents

Abstract

本发明公开了误识别降低的动作识别设备和方法。设备的拍摄单元拍摄车辆内的图像以及控制器检测设置区域内的热变化。控制器对通过检测热变化确定存在手势动作响应，通过从所拍摄的图像中识别手势动作来操作车辆内的相应装置。

Description

误识别降低的动作识别设备和方法

相关申请的交叉引用

本申请要求于2013年9月6日提交给韩国知识产权局的韩国专利申请第10-2013-0107488号的优先权和权益，通过引用将其全部内容结合在此。

技术领域

本发明涉及一种误识别降低的动作识别设备和方法。

背景技术

在当前制造的车辆中，包括方便用户的各种安装装置。例如，在车辆中安装有诸如包括音频系统、导航系统、免提移动电话系统或空调器的电子装置等便利设备。然而，需要驾驶员直接接触车辆中的各种装置以操作这些装置，这可能妨碍安全驾驶。因此，在现有技术中，驾驶员的手部动作由成像装置获取，并利用图像处理算法来识别手部动作的手势或动作以操作各种装置。然而，在现有技术的动作识别设备中，可能由于外部环境（诸如阳光或照明）而产生对动作的误识别，并因此，需要验证动作识别的可靠性。

本部分所公开的上述信息仅用于增进对本发明的背景技术的理解，并因此上述信息包含的信息并不形成为该国的本领域的普通技术人员所已知的现有技术。

发明内容

本发明提供一种误识别降低的动作识别设备和方法，其可以去除（例如，降低）动作识别中的误识别以提高动作识别的可靠性。

本发明的示例性实施方式提供一种动作识别设备，该设备可包括由基于手势的控制器执行的多个单元。该多个单元可包括：拍摄单元，被配置为拍摄车辆内的图像；热变化检测单元，被配置为检测设置区域内的热变化；其中，基于手势的控制器可被配置为响应于由热变化检测单元检测热变化确定存在手势动作，通过从所拍摄的图像中识别手势动作来操作车辆内的相应装置。

具体地，基于手势的控制器可包括：动作存在/不存在确定单元，被配置为通过由热变化检测单元检测存在/不存热变化来确定存在/不存在动作；图像处理器，被配置为通过操作拍摄单元来拍摄图像，并在动作存在/不存在确定单元确定存在动作时从所拍摄的图像中识别手势动作；以及装置控制器，被配置为基于由图像处理器识别的手势动作来操作车辆内的装置。

此外，图像处理器可包括：图像提取单元，被配置为从拍摄单元所拍摄的图像中提取手或手指的图像；手势数据库（DB），被配置为存储手势信息的多个元素以操作车辆内的装置；以及手势识别单元，被配置为利用存储在手势DB中的手势信息来识别对应于由图像提取单元提取的手或手指的图像的手势动作。

此外，热变化检测单元可使用热电传感器，该热电传感器被配置为检测外部热变化并输出对应于所检测的热变化的信号。热电传感器可被配置为通过调整镜头的视角来设置检测其中热变化的区域。

本发明的另一示例性实施方式提供一种由安装在车辆内的动作识别设备来识别驾驶员的动作的方法，该方法可包括：由控制器通过检测设置区域内的热变化来确定存在/不存在动作；由控制器响应于确定设置区域内存在动作来拍摄图像；由控制器从所拍摄的图像中识别手势动作；以及由控制器基于识别出的手势来操作车辆内的装置。具体地，在确定存在/不存在动作的过程中，通过调整镜头的视角可设置检测其中热变化的区域。

本发明的又一示例性实施方式提供一种动作识别设备，该设备可包括由基于手势的控制器执行的多个单元。该多个单元可包括：拍摄单元，被配置为拍摄车辆内的图像；以及热变化检测单元，被配置为检测设置区域内的热变化；其中，基于手势的控制器可被配置为存储由拍摄单元拍摄的图像并且响应于热变化检测单元检测热变化确定存在手势动作，通过从存储的图像中识别手势动作来操作车辆内的相应装置。

具体地，该基于手势的控制器可包括：图像存储单元，被配置为存储由拍摄单元拍摄的图像；动作存在/不存在确定单元，被配置为通过由热变化检测单元检测存在/不存在热变化来确定存在/不存在动作；图像处理器，被配置为在存在/不存在确定单元确定存在动作时从存储在图像存储单元的图像中识别手势动作；以及装置控制器，被配置为基于由图像处理器识别的手势动作来操作车辆内的装置。图像处理器可被配置为利用存储在图像存储单元的图像之中的在预定的时段（其中动作存在/不存在确定单元确定动作存在）期间拍摄并存储在图像存储单元中的图像来识别手势动作。

根据本发明的示例性实施方式，通过热变化可检测存在/不存在动作，以及当检测出动作时可拍摄图像，并且因此可降低由于外部环境导致的动作的误识别，由此提高动作识别的可靠性。此外，可使用小功率传感器来检测手势动作的存在/不存在，以及当检测到动作时可使用成像装置来拍摄图像，从而降低成像装置的功率。因此，通过调整热电传感器的镜头的视角可在预定的区域中明确地识别手势，从而消除（例如，降低）在手势区域之外的区域中的误识别。

附图说明

图1是示出了在根据现有技术的常规动作识别设备中由于外部光导致的动作误识别的原理的示例性示图；

图2是示出了根据本发明的示例性实施方式的误识别降低的动作识别设备的示意性配置的示例性示图；

图3是示出了根据本发明的示例性实施方式的图2中所示的基于手势的控制器的具体配置的示例性框图；

图4是示出了根据本发明的示例性实施方式的图3中所示的图像处理器的具体配置的示例性框图；

图5是根据本发明的示例性实施方式的误识别降低的动作识别方法的示例性流程图；以及

图6是示出了根据本发明的示例性实施方式的动作识别设备的动作识别原理的示例性示图。

符号说明

具体实施方式

应理解的是，本文中使用的术语“车辆”或“车辆的”或其他相似术语包括广义的机动运载工具，诸如包括运动型多用途车辆（SUV）、公共汽车、卡车、各种商用车辆的载客车辆，包括各种小船和海船的船只，航天器等，以及包括混合动力车辆、电动车辆、燃油车辆、插电式混合动力车辆、氢动力车辆以及其他替代燃料车辆（例如，燃料来源于非石油能源）。

尽管示例性实施方式被描述为使用多个单元来执行示例性处理，但应当理解，该示例性处理也可以由一个或者多个模块来执行。此外，应当理解，术语控制器/控制单元指代包括存储器和处理器的硬件设备。该存储器被配置为对模块进行存储，并且该处理器具体地被配置为执行所述模块以执行下文中进一步描述的一个或多个处理。

此外，本发明的控制逻辑可实施为计算机可读介质上的非易失性计算机可读介质，计算机可读介质包括由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的实例包括但不限于：ROM、RAM、光盘（CD）-ROM、磁带、软盘、闪存驱动、智能卡以及光学数据存储装置。计算机可读记录介质也可以分布在网络耦合的计算机系统中，从而以分布式方式例如由车载通信服务器或控制器局域网（CAN）来存储和执行计算机可读介质。

本文所使用的术语仅用于描述特定的实施方式的目的，而并不旨在限制本发明。除非上下文另有明确指示，否则如本文中使用的单数形式“一（a）”、“一（an）”和“该”也旨在包括复数形式。应当进一步理解的是，当术语“包括”和/或“包含”用于本说明书时，其描述了存在所述特征、整体、步骤、操作、元件和/或组件，但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。作为本文中所使用的术语“和/或”包括一个或多个相关所列项的任意以及所有组合。

在下面的详细说明中，仅以说明方式，已经示出和描述本发明的示例性实施方式。本领域技术人员应当理解，在不完全背离本发明的精神或范围的前提下，可以以各种不同的方式修改所述示例性实施方式。因此，附图和说明书在本质上视为说明性而非限制性的。通篇说明书，相同参考标号表示相同元件。

图1是示出了在根据现有技术的常规动作识别设备中由于外部光造成的动作误识别的原理的示例性示图。

参考图1，当由驾驶员输入的动作输入信号输入为如曲线图（a）所示的时段“a”，但是由于阳光或照明等外部环境而改变的外部光信号输入为如曲线图（b）所示的动作输入信号输入之前的时段“b”时，现有技术中的动作识别设备被配置将外部光信号和动作输入信号确定为动作输入，并输出对应“a”和“b”的两个手势检测信号，如曲线图（c）所示，致使尽管输入一个手势动作但由于外部光而使动作被误识别为仿佛输入了两个手势动作。在曲线图（c）中，由虚线指示的检测信号表示误识别的手势动作检测信号。

在下文中，将描述根据本发明的示例性实施方式的误识别降低的动作识别设备。

图2是示出了根据本发明的示例性实施方式的误识别降低的动作识别设备的示意性配置的示例性示图。如图2所示，误识别降低的动作识别设备10可包括由基于手势的控制器300执行的多个单元。该多个单元可包括拍摄单元100和热变化检测单元200。

拍摄单元100可设置在车辆内以及拍摄单元100可被配置为拍摄车辆内驾驶员的图像。热变化检测单元200可被配置为检测外部热变化并输出与所检测的热变化对应的信号。热电传感器可用作热变化检测单元200以及热电传感器可被配置为检测人体、物体等的外部热变化，并且输出与外部热变化对应的信号。

此外，热变化检测单元200还可以包括镜头，镜头可被配置为设置可检测其中外部热变化的区域。因此，热变化检测单元200可被配置为检测通过调整镜头的视角来设置的区域（例如，驾驶员的区域）中的热变化。因此，可以降低除通过调整镜头的视角来设置的区域以外的区域因外部变化而产生的误识别。

基于手势的控制器300可被配置为从所拍摄的拍摄图像中识别手势动作并可被配置为操作车辆内的装置400，以及当热变化检测单元200检测出热变化时，基于手势的控制器300可被配置为操作拍摄单元100来拍摄图像。换言之，响应于确定由拍摄单元100拍摄的图像包括驾驶员手势产生的动作，基于手势的控制器300可被配置为操作拍摄单元100以拍摄图像并识别所拍摄的图像中的手势。

图3是示出了图2中所示的基于手势的控制器300的具体配置的示例性框图。如图3中所示，基于手势的控制器300可包括：动作存在/不存在确定单元310、图像处理器320和装置控制器330。

动作存在/不存在确定单元310可被配置为利用从热变化检测单元200传输的热变化信号来确定存在以及不存在动作，以及响应于确定动作存在，动作存在/不存在确定单元310可被配置为指示拍摄单元100拍摄图像，并同时将关于动作存在的相应消息传输至图像处理器320。当从动作存在/不存在确定单元310传输动作存在的消息时，图像处理器320可被配置为从拍摄单元100拍摄的图像中识别驾驶员的手势。当图像处理器320识别出驾驶员的手势时，装置控制器330可被配置为基于该手势来操作车辆内的装置400。

图4是示出了图3中所示的图像处理器320的具体配置的示例性框图。如图4中所示，图像处理器320可包括：图像提取单元321、手势数据库（DB）322和手势识别单元323，它们均可由基于手势的控制器300执行。

图像提取单元321可被配置成从拍摄单元100拍摄的图像中提取驾驶员的手或手指的图像（例如，提取细节图像）。手势DB322可被配置成存储关于操作车辆内的装置400的各种手势的信息。关于手势的信息已是公知，并因此将省去其详细描述。手势识别单元323可被配置为利用由图像提取单元321提取和手势DB322存储的手或手指的图像来识别通过驾驶员的手或手指（例如，或者物体）的操作产生的手势，并且将识别出的手势传输至装置控制器330。

在下文中，将描述根据本发明的示例性实施方式的误识别降低的动作识别方法。

图5是根据本发明的示例性实施方式的误识别降低的动作识别方法的示例性流程图。参考图5，首先，热变化检测单元200可被配置为检测由镜头设置的区域中的热变化以检测动作（即，手或手指的移动）并且将手势输入传输至基于手势的控制器300（S100）。

基于手势的控制器300可被配置成经由从热变化检测单元200传输的检测信号来确定是否通过热变化检测到动作（S110），并且当检测到动作时，基于手势的控制器300可被配置为操作拍摄单元100以拍摄图像（S120）。然后，基于手势的控制器300可被配置成从所拍摄的图像中识别手势（S130），并且基于所识别的手势操作车辆内的装置400（S140）。当在步骤S110中通过热变化未检测到动作时，可重复地执行步骤S100和S110直至通过热变化检测到动作。

图6是示出了根据本发明的示例性实施方式的动作识别设备的动作识别原理的示例性示图。

参考图6，当由驾驶员输入的动作输入信号输入为如曲线图（a）所示的时段“a”，以及由于阳光或照明等外部环境而改变的外部光信号输入为如曲线图（b）所示的动作输入信号输入之前的时段“b”时，对于时段“a”的驾驶员动作的输入可通过热变化检测单元200检测，以及热检测信号可生成为如曲线图（c）所示的时段“c”时，以及拍摄单元100可被配置为依据热变化检测信号来拍摄图像以检测到与时段“c”附近对应的一个手势动作，以及与所检测的手势动作对应的信号可输出为如曲线图（e）所示。

因此，如曲线图（e）中所示，即使如曲线图（d）所示的时段“b”由于现有技术中的误识别而产生识别为手势运动的信号，但这在根据本发明的示例性实施方式的动作识别设备100中不可能误识别。如曲线图（e）所示，利用虚线标出的圆形部分表示在本发明的示例性实施方式中根据热变化的检测来检测出的手势动并识别手势，从而防止动作被误识别。

如上所述，在本发明的示例性实施方式中，可以通过热变化检测动作存在/不存在，以及当检测到动作时可拍摄图像，从而降低动作的误识别并提高动作识别的可靠性。此外，可使用小功率传感器来检测手势动作存在/不存在，以及当检测到动作时可通过成像装置拍摄图像，因此降低成像装置的功率。

同时，虽然已经描述，当通过人体中的热变化来检测到动作时，使用成像装置拍摄图像，以及当动作存在时可识别手势，但是本发明的技术范围不限于此。例如，当通过人体中的热变化来检测到动作时，当利用成像设备拍摄图像来识别手势时，驾驶员手势的一部分可能由于动作检测与图像拍摄之间的时间间隔而未被识别。

因此，拍摄单元100可被配置为连续地拍摄图像，以及基于手势的控制器300可被配置为存储由拍摄单元100拍摄的图像以及当热变化检测单元200检测到热变化并可以确定动作存在时直接从存储的图像中识别手势。基于手势的控制器300还可包括图像存储单元324，被配置为存储由拍摄单元100拍摄的图像。具体地，基于手势的控制器300可被配置为利用存储在图像存储单元324之中的在可通过热变化检测单元200检测到热变化的预定时间或者在动作存在/不存在确定单元310确定存在动作的时间拍摄并存储在图像存储单元324中的图像来识别手势。因此，当检测到驾驶员的手势动作时，可直接识别手势。

虽然已经结合当前所视为示例性实施方式的内容描述了本发明，但应当理解，本发明不限于所公开的实施方式，而相反，旨在涵盖包括在所附权利要求的实质和范围内的各种修改和等同配置。

Claims (14)

1.一种动作识别设备，包括：

存储器，被配置为存储程序指令；以及

处理器，被配置为执行所述程序指令，所述程序指令在被执行时被配置为：

拍摄车辆内的图像；

检测设置区域内的热变化；以及

响应于通过检测所述热变化确定存在手势动作，通过从所拍摄的所述图像中识别所述手势动作来操作所述车辆内的相应装置。

2.根据权利要求1所述的动作识别设备，其中，所述程序指令在被执行时进一步被配置为：

通过存在以及不存在所述热变化来确定存在以及不存在所述动作；

响应于确定存在所述动作，从所拍摄的所述图像中识别所述手势动作；以及

基于所识别的所述手势动作来操作所述车辆内的所述装置。

3.根据权利要求2所述的动作识别设备，其中，所述程序指令在被执行时进一步被配置为：

从所拍摄的所述图像中提取细节图像；

将手势信息的多个元素存储在手势数据库（DB）中以操作所述车辆内的所述装置；以及

利用存储在所述手势数据库中的所述手势信息识别对应于所述细节图像的手势动作。

4.根据权利要求1所述的动作识别设备，其中，热电传感器用于检测外部热变化并被配置为输出与所检测的所述热变化对应的信号。

5.根据权利要求4所述的动作识别设备，其中，所述热电传感器通过调整镜头的视角来设置检测所述热变化的区域。

6.一种由安装在车辆内的动作识别设备识别动作的方法，所述方法包括：

由控制器通过检测设置区域内的热变化确定存在以及不存在所述动作；

由所述控制器响应于确定存在所述动作来拍摄图像；

由所述控制器从所拍摄的所述图像中识别手势动作；以及

由所述控制器基于所识别的所述手势动作操作所述车辆内的装置。

7.根据权利要求6所述的方法，其中，热电传感器用于确定存在以及不存在所述动作。

8.根据权利要求7所述的方法，其中，在确定存在以及不存在所述动作的过程中，检测所述热变化的所述区域是通过调整所述热电传感器的镜头的视角来设置的。

9.一种动作识别设备，包括：

拍摄单元，被配置为拍摄车辆内的图像；

存储器，被配置为存储程序指令；以及

处理器，被配置为执行所述程序指令，所述程序指令在被执行时被配置为：

检测设置区域内的热变化；

存储所拍摄的所述图像；

响应于通过检测所述热变化确定存在手势动作，通过从所存储的所述图像中识别手势动作来操作所述车辆内的相应装置。

10.根据权利要求9所述的动作识别设备，其中，所述程序指令在被执行时进一步被配置为：

通过检测存在以及不存在所述热变化来确定存在以及不存在所述动作；

响应于确定存在所述动作，从所存储的所述图像中识别所述手势动作；以及

基于所识别的所述手势动作操作所述车辆内的所述装置。

11.根据权利要求10所述的动作识别设备，其中，所述程序指令在被执行时进一步被配置为：利用在所存储的所述图像之中的、在确定所述动作存在的预定时段期间拍摄并存储的图像来识别所述手势动作。

12.一种包括由控制器执行的程序指令的非易失性计算机可读介质，所述计算机可读介质包括：

通过检测设置区域内的热变化来确定存在以及不存在动作的程序指令；

响应于确定存在所述动作来控制成像设备拍摄图像的程序指令；

从所拍摄的所述图像中识别手势动作的程序指令；以及

基于所识别的所述手势动作操作车辆内的装置的程序指令。

13.根据权利要求12所述的非易失性计算机可读介质，其中，热电传感器用于确定存在以及不存在所述动作。

14.根据权利要求13所述的非易失性计算机可读介质，其中，在确定存在以及不存在所述动作的过程中，检测所述热变化的所述区域是通过调整所述热电传感器的镜头的视角来设置的。