CN103869967A - 控制装置、车辆以及便携终端 - Google Patents

控制装置、车辆以及便携终端 Download PDF

Info

Publication number
CN103869967A
CN103869967A CN201310525082.7A CN201310525082A CN103869967A CN 103869967 A CN103869967 A CN 103869967A CN 201310525082 A CN201310525082 A CN 201310525082A CN 103869967 A CN103869967 A CN 103869967A
Authority
CN
China
Prior art keywords
hand
towards
user
equipment
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310525082.7A
Other languages
English (en)
Other versions
CN103869967B (zh
Inventor
寺田卓马
吉永智明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN103869967A publication Critical patent/CN103869967A/zh
Application granted granted Critical
Publication of CN103869967B publication Critical patent/CN103869967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Abstract

提供一种控制装置、车辆以及便携终端，能够通过不妨碍驾驶的、无须目视并且简单的操作来控制设备的功能。一种控制装置，连接于路径引导装置，该控制装置包括：手信息检测部，从拍摄图像中检测关于用户的手的信息；以及设备操作命令部，对路径引导装置或连接于路径引导装置的多个设备输出控制命令，其中，设备操作命令部基于由手信息检测部检测出的用户的手的朝向，输出对路径引导装置或设备的控制命令。

Description

控制装置、车辆以及便携终端
技术领域
本发明涉及对路径进行引导的控制装置，尤其涉及对用户的手进行识别，通过用户的手的动作控制设备的控制装置。
背景技术
车辆里配置有行驶所需的设备和构建舒适空间的设备，以及为了控制这些设备而由用户操作的开关。行驶所需的设备例如有方向盘、反射镜、灯、以及方向指示器等。构建舒适空间的设备例如有空调、音响装置、以及导航仪等。
随着车辆里配置的这些设备的数量的增加，以及使这些设备工作的功能的数量的增加，开关的数量也呈现增加的倾向。由于这种开关数量的增加以及开关的多功能化，用于控制设备的操作变得复杂，给驾驶员造成负担。因此，需要提供减少开关以减轻驾驶员负担的接口。
例如，已知一种接口，作为非接触接口检测用户的姿势(身体和手的动作)，并基于检测出的姿势控制设备。利用这种接口，用户无须操作开关，能够通过可直观操作的姿势来控制设备，因此能够减轻驾驶员的负担。但是，在如车辆这样所配置的设备数量较多的情况下，即使能够减少开关的数量，操作设备所需的姿势的动作数也会增加，给驾驶员造成负担。
作为本技术领域的背景技术，有日本特开2004-171476号公报(专利文献1)。该公报中记载了如下内容：“手模式开关装置根据从照相机3的输入图像识别的手指形状，识别驾驶员(开关操作者)对开关装置的操作意图，并且利用开关控制对象设定单元14识别随后的手指形状或动作，从分组的多个控制对象中选择一个控制对象，输出指定的开关操作信息。各控制对象的多个开关中，将操作·调整方式类似的开关集合在一起并相互关联，容易记忆，从而提高操作性”。
专利文献1：日本特开2004-171476号公报
专利文献1中，驾驶员为了选择要操作的设备并执行设备功能，需要多次动作，操作性有可能变差。
另外，驾驶员在控制车辆上配置的设备时，需要执行不妨碍驾驶的操作，需要执行无须目视并且简单的操作。
发明内容
本发明的目的在于提供一种控制装置，能够通过不妨碍驾驶的、无须目视并且简单的操作来控制设备的功能。
为了解决上述问题，本发明提供一种控制装置，连接于路径引导装置，该控制装置包括：手信息检测部，从拍摄图像中检测关于用户的手的信息；以及设备操作命令部，对所述路径引导装置或连接于所述路径引导装置的多个设备输出控制命令，其中，所述设备操作命令部基于由所述手信息检测部检测出的所述用户的手的朝向，输出对所述路径引导装置或所述设备的控制命令。
(发明效果)
根据本发明，能够提供一种控制装置，能够通过不妨碍驾驶的、无须目视并且简单的操作来控制设备的功能。
上述内容以外的结构和效果通过下面的实施方式的说明变得明了。
附图说明
图1是本发明实施例1的搭载了车载设备接口的车辆的框图。
图2是本发明实施例1的手形状识别部的手形状识别处理的流程图。
图3是本发明实施例1的手形状识别部所识别的手形状的例子的说明图。
图4是本发明实施例1的手朝向识别部的手朝向识别处理的流程图。
图5是本发明实施例1的手朝向识别部所识别的手的朝向的例子的说明图。
图6是本发明实施例1的手形状与车载设备群的设备的关系的说明图。
图7是本发明实施例1的手形状及手的朝向与控制对象设备的功能的关系的说明图。
图8是本发明实施例1的效果的一例的说明图。
图9是本发明实施例2的姿势区域的说明图。
图10是本发明实施例3的照明装置的照射范围的说明图。
图11是本发明实施例4的照相机的配置位置的说明图。
图12是本发明实施例5的搭载了车载设备接口的车辆的框图。
图13是本发明实施例5的利用语音的触发操作的说明图。
图14是本发明实施例5的利用手的姿势的触发操作的说明图。
图15是本发明实施例5的变形例的利用手的触发操作的说明图。
图16是本发明实施例6的输出对语音提问的回答的导航装置的说明图。
图17是本发明实施例7的搭载了姿势识别的便携终端的框图。
图18是本发明实施例8的识别结果确定部判定用户的姿势是否是姿势操作的处理的说明图。
图19是本发明实施例8的手的朝向和手的移动方向与音响装置功能的关系的说明图。
图20A是本发明实施例8的用户的手的转动动作的说明图。
图20B是本发明实施例8的转动角度与阈值的关系的说明图。
图20C是本发明实施例8的导航仪的画面变更的说明图。
具体实施方式
下面使用附图说明实施例。
实施例1
使用图1～图16说明本发明的实施例1。
本实施例中，说明能够通过用户的手形状和手的朝向来控制设备功能的控制装置的例子。例如，该控制装置连接于路径引导装置(导航装置)。
图1是本发明实施例1的搭载了车载设备接口1的车辆的方框图。
图1所示的车辆中，搭载有车载设备接口1以及车载设备群2。车载设备接口1识别用户的手形状以及手的朝向，控制车载设备群2中包含的设备。
车载设备接口1包括：图像输入部11、手信息检测部12、手形状识别部13、手朝向识别部14、设备操作命令部15、识别结果确定部720、CPU10、以及RAM19。与手信息检测部12、手形状识别部13、手朝向识别部14、识别结果确定部720、以及设备操作命令部15对应的程序存储在RAM19中，CPU10执行这些程序。此外，将手信息检测部12、手形状识别部13、手朝向识别部14、识别结果确定部720、以及设备操作命令部15称为手信息检测部。
图像输入部11例如为照相机等，取得图像数据，并将取得的图像数据输出到手信息检测部12。例如，照相机可以使用取得二维图像数据的RGB照相机、以及能够取得距离数据的红外线照相机，但也可以使用它们之外的照相机。
手信息检测部12从图像输入部11取得的图像中检测与用户的手有关的信息。与用户的手有关的信息例如是手的区域信息以及手的位置信息等。作为手的区域信息的检测方法，有将特定颜色的地方检测为手的区域的肤色检测、以及预先学习大量手的图像数据并基于学习数据来检测手的区域的AdaBoost等。AdaBoost的详细情况记载在“P.Viola and M.Jones，″Rapid Object Detection using a Boosted Cascade of Simple Features″，In Proc.IEEE Conf. 0n Computer Vision and Pattern Recognition(CVPR)，Kauai，USA，2001.”中，因而省略说明。
另外，图像输入部11取得的图像数据中，由于手的朝向以及手的位置不同，有时学习数据和背景不同，由于照明环境的变化，纹理有时也会发生变化，因此，手信息检测部12有时无法检测手的区域信息。为了解决该问题，可以使手信息检测部12预先学习背景统一的手的图像数据，手信息检测部12基于该图像数据检测手的区域。此外，手信息检测部12从所学习的图像数据中排除不适合进行手的区域的检测的图像数据，将排除了不适合数据之后的图像数据用于手的区域的检测，由此能够减少手的区域的误检测。
手信息检测部12计算所检测的手的区域的中心或重心的二维坐标，由此计算手的位置信息。此外，为了减少手形状的变化所带来的影响，手信息检测部12最好计算重心的二维坐标。另外，通过按照时间顺序收集手的位置信息，能够计算手的移动信息。手的移动信息可以由移动方向和移动量来表示。
手形状识别部13根据手信息检测部12检测出的手的区域信息识别手形状，并将识别结果输出到识别结果确定部720。手形状识别部13的详细情况通过图2进行说明。手朝向识别部14基于手信息检测部12检测出的手的区域信息以及手的位置信息，识别从手腕到指尖的手的朝向，并将识别结果输出到识别结果确定部720。手朝向识别部14的详细情况通过图4进行说明。
识别结果确定部720输入手形状识别部13以及手朝向识别部14的识别结果后，将输入的识别结果输出到设备操作命令部15。
设备操作命令部15基于从识别结果确定部720输入的手形状识别部13以及手朝向识别部14中的一者的识别结果，从车载设备群2包含的设备中选择成为控制对象的设备。并且，设备操作命令部15基于另一者的识别结果，对该设备输出控制命令，从而使成为所选择的控制对象的设备实现指定功能，由此控制成为控制对象的设备。
在下面的说明中，说明设备操作命令部15基于手形状识别部13的识别结果(手形状)，选择作为控制对象的设备，基于手朝向识别部14的识别结果(手的朝向)，确定作为控制对象的设备的功能的例子，但也可以基于手的朝向选择作为控制对象的设备，基于手的形状确定作为控制对象的设备的功能。
设备操作命令部15中，预先设定登记了手形状识别部13的各识别结果与车载设备群2包含的各设备的关系的设备关系信息、以及登记了手朝向识别部14的各识别结果与车载设备群2包含的各设备的各功能的关系的功能关系信息。
由于手的朝向是微小的动作，所以设备操作命令部15难以根据手朝向识别部14的识别结果识别手的朝向的微小变化，或者，为了要识别微小的动作，有可能由于手的抖动而确定错误的设备功能，向设备输出用户意料外的控制命令。因此，设备操作命令部15为了不向设备输出用户意料外的控制命令，事先作为预测结果保持手形状识别部13的识别结果以及手朝向识别部14的识别结果。设备操作命令部15在识别结果与预测结果不一致的情况下丢弃识别结果，由此防止输出用户意料外的控制命令。
另外，为了使设备瞬时工作，用户的手的移动是一瞬间的动作，因而存在设备操作命令部15在什么时机输出控制命令的问题。例如，说明在用户的手的移动停止之前使设备工作的情况。假设手从第一停止状态开始移动，在第二停止状态下停止。在此情况下，设备操作命令部15在第一停止状态的阶段的状态下捕捉到用户的动作特征，预测下一个动作。接着，设备操作命令部15从手开始移动起开始处理，手的移动在第二停止状态下停止后结束处理，若识别结果与预测结果一致，则输出与识别结果对应的控制命令。由此，能够在较早的时机发出控制命令，减少误动作。
车载设备群2包括音响装置21、平视显示器(Head Up Display，HUD)22、电视机23、导航仪24、以及空调25。另外，车载设备群2还可以包括车辆行驶所需的设备。车辆行驶所需的设备例如有灯、反射镜、方向指示器、以及雨刮器等。
具有车载设备接口1和指引到达目的地的路径的导航仪24的装置称为导航装置(路径引导装置)。若具有车载设备接口1和导航仪24，则导航装置既可以是汽车导航仪等搭载于车辆的装置，也可以是高性能移动电话等用户可携带的装置。
图2是本发明实施例1的手形状识别部13的手形状识别处理的流程图。
在由手信息检测部12输出的关于手的信息被输入到手形状识别部13的情况下，执行手形状识别处理。手形状识别处理是基于手的纹理和指尖与手的重心的距离来识别手形状的处理，由车载设备接口1具有的未图示的CPU执行。
首先，手形状识别部13从输入的关于手的信息所包含的手的区域信息中取得手的纹理(201)。
接着，手形状识别部13对通过步骤201的处理取得的纹理执行主成分分析或独立成分分析，由此计算手的大致形状，判定手是手心还是手背(202)。
接着，手形状识别部13基于输入的关于手的信息所包含的手的区域信息，提取手的轮廓(203)，基于手的区域信息计算手的重心的坐标(204)。
接着，手形状识别部13计算通过步骤203的处理提取的轮廓的曲率，检测计算出的曲率属于预先设定的表示指尖的曲率范围的位置作为指尖(205)。接着，手形状识别部13计算通过步骤205的处理检测出的指尖之间的距离(206)。
具体而言，手形状识别部13在指尖之间的距离在第一指定值以下时，判定为手处于并拢状态，在指尖之间的距离大于第一指定值时，判定为手处于张开状态。在步骤205的处理中，有可能将手腕误检测为指尖。在步骤206的处理中，手形状识别部13在指尖之间的距离大于第二指定值的情况下，假定任一指尖为手腕，在假定为手腕的指尖中，如果有与未假定为手腕的其他指尖的距离大于第二指定值的指尖，则该指尖确定为手腕，删除该指尖。由此，手形状识别部13能够防止将手腕误检测为指尖。此外，假设将第二指定值设定为大于第一指定值的值。
接着，手形状识别部13计算通过步骤206的处理检测出的各指尖与重心之间的距离(207)。手形状识别部13在指尖与重心间的距离大于第三指定值时，判定为该指尖处于伸开的状态，在指尖与重心间的距离在第三指定值以下时，判定为该指尖处于弯曲的状态。由此，手形状识别部13能够确定用户的哪个手指伸开，哪个手指弯曲。
接着，手形状识别部13基于步骤202的处理结果和步骤205～207的处理结果识别手形状(208)，结束处理。
步骤201～202的处理是基于手的纹理识别手形状的处理，步骤203～207的处理是基于指尖与手的重心的距离识别手形状的处理。
在图2所示的手形状识别处理中，执行步骤201～202的处理和步骤203～207的处理，但也可以仅执行步骤201～202的处理及步骤203～207的处理中的一者。但是，例如，在仅执行了步骤203～207的处理的情况下，手形状识别部13很可能无法识别图3的手形状F及手形状H所示的手心和手背，因此执行步骤201～202的处理和步骤203～207的处理这两者时，手形状识别部13的手形状的识别较为正确。
此外，手形状识别部13也可以从提取的手的图像中提取每个局部区域的边缘、颜色边缘直方图作为特征量，通过SVM、AdaBoost以及RandomForest等分类识别器对提取出的特征量进行处理，以识别手的形状。
图3是本发明实施例1的手形状识别部13所识别的手形状的例子的说明图。
作为手形状识别部13所识别的手形状的例子，有图3所示的手形状A～手形状N。
手形状A是食指伸开的形状。手形状B是食指和中指伸开的形状。手形状C是食指、中指和无名指伸开的形状。手形状D是食指、中指、无名指和小指伸开的形状。手形状E是拇指、食指、中指、无名指和小指伸开的形状。
手形状F是全部手指伸开，并且手掌侧(手心侧)朝向照相机的形状。手形状G是全部手指伸开，并且小指侧朝向照相机的形状。手形状H是全部手指伸开，并且手的指甲侧(手背侧)朝向照相机的形状。手形状I是食指与拇指形成圆的形状。手形状N是拇指伸开的形状。
此外，这些手形状A～手形状N与控制对象设备相关联，登记在设备操作命令部15中设定的设备关系信息中。
另外，手形状识别部13也可以识别手形状A～手形状N以外的手形状。
图4是本发明实施例1的手朝向识别部14的手朝向识别处理的流程图。
在由手信息检测部12输出的关于手的信息输入到手朝向识别部14的情况下执行手朝向识别处理。手朝向识别处理是基于通过主成分分析得到的通过指尖与重心的直线、以及指尖的坐标和重心的坐标，识别手的朝向的处理，由车载设备接口1具有的未图示的CPU执行。
首先，手朝向识别部14基于输入的关于手的信息所包含的手的区域信息提取手的轮廓(401)，基于手的区域信息计算手的重心的坐标(402)。
接着，手朝向识别部14计算通过步骤401的处理提取的轮廓的曲率，检测计算出的曲率属于预先设定的表示指尖的曲率范围的位置作为指尖(403)。
接着，手朝向识别部14对输入的关于手的信息所包含的手的区域信息，执行求出分布达到最大的轴的主成分分析，由此计算式(1)(404)。
y=a1x+b  式(1)
式(1)的a1表示通过重心坐标和指尖坐标的直线的斜率，式(1)的b表示手的区域的坐标的平均值。
通过对手的区域信息执行主成分分析，计算分布达到最大的轴，因而在检测出多个指尖的情况下也计算一个直线。另外，通过对手的区域信息执行主成分分析，在将手腕误检测为指尖的情况下，也能够避免计算通过误检测为指尖的手腕和重心的直线。
通过步骤404的处理计算出的式(1)所示的直线的任一朝向均为手的朝向，而为了确定式(1)所示的直线的哪一朝向是手的朝向，执行步骤405和406的处理。
手朝向识别部14取得通过步骤404的处理计算出的式(1)的直线上的指尖的坐标(405)。
接着，手朝向识别部14基于通过步骤405的处理取得的指尖的坐标、重心的坐标、以及通过步骤404的处理计算出的式(1)，识别手的朝向(406)，并结束处理。具体而言，手朝向识别部14将式(1)所示的直线的任一方向中的、从重心坐标朝向指尖坐标的方向识别为手的朝向。
手的朝向存在个人差异，例如，即使在指向相同的上方的情况下，每个用户的手的朝向也会不同。另外，手移动的速度也存在个人差异。因此，在手朝向识别部14中预先设定学习数据，该学习数据收集了表示每个用户的差异的数据，手朝向识别部14从学习数据中提取与作为手朝向识别对象的用户的共同点，以识别用户的手的朝向。
例如，在手开始运动时存在蓄势，移动手的过程中倾向于比普通的动作快的用户的情况下，手朝向识别部14基于手的位置和该位置的时刻，计算手的运动的速度，若计算出的速度在指定速度以上，则判定为用于设备控制的动作。另外，手朝向识别部14在计算出的速度小于指定速度的情况下，判定为不是用于设备控制的动作，此时的手形状和朝向不用于设备控制。此外，指定速度可以是已收集的表示差异的数据的平均值，也可以是任意值。
另外，手朝向识别部14也可以从提取的手的图像中提取每个局部区域的边缘、颜色边缘直方图作为特征量，使用SVM、AdaBoost以及RandomForest等分类识别器对提取出的特征量进行处理，判定与预先确定的上下左右的哪个方向最为接近，由此识别手的朝向。作为此时的特征量，通过使用HoG(Histgram Oriented Gradient，梯度方向直方图)和Haar等，能够提取手的特征。另外，作为分类识别器，通过使用Regression Forest等，能够估计手的左右转动角度(-90～90度等)。
图5是本发明实施例1的手朝向识别部14所识别的手的朝向的例子的说明图。
作为手朝向识别部14所识别的手的朝向的例子，有图5所示的向上(UP)、向右(RIGHT)、向下(DOWN)、以及向左(LEFT)。
图5所示的向上是从用户角度观察手朝上的状态，指尖位于手的重心上方。图5所示的向右是从用户角度观察手朝右的状态，指尖位于手的重心右方。图5所示的向下是从用户角度观察手朝下的状态，指尖位于手的重心下方。图5所示的向左是从用户角度观察手朝左的状态，指尖位于手的重心左方。
此外，这些手的朝向与控制对象设备的功能相关联，登记在设备操作命令部15中设定的功能关系信息中。
另外，手朝向识别部14也可以识别图5所示的手的朝向以外的朝向。
图6是本发明实施例1的手形状与车载设备群2的设备的关系的说明图。
手形状A与音响装置21相关联，因而设备操作命令部15在从手形状识别部13输入手形状A的识别结果后，选择音响装置21作为控制对象设备。
另外，手形状B与电视机23相关联，手形状C与空调25相关联。
此外，这些关联作为设备关系信息设定在设备操作命令部1 5中。另外，手形状与控制对象设备的关联不限于图6。
图7是本发明实施例1的手形状及手的朝向与控制对象设备的功能的关系的说明图。
设备操作命令部15根据手形状识别部13的识别结果确定控制对象设备，根据手朝向识别部13的识别结果确定控制对象设备的功能。并且，设备操作命令部15对控制对象设备输出用于控制为特定功能的控制命令。
图7中，说明模式a～模式f的六种模式。
模式a～模式c中为手形状A，因而控制对象设备为音响装置21，模式d～模式f中为手形状C，因而控制对象设备为空调25。
模式a中使手形状A朝上，因而设备操作命令部15将音响装置21的功能控制为再生或停止。模式b中使手形状A朝左，因而设备操作命令部1 5将音响装置21的功能控制为下一首曲子。模式c中使手形状A朝右，因而设备操作命令部15将音响装置21的功能控制为上一首曲子。
模式d中使手形状C朝左，因而设备操作命令部15将空调25的功能控制为增强风量。模式e中使手形状C朝上，因而设备操作命令部15将空调25的功能控制为提高温度。模式f中使手形状C朝下，因而设备操作命令部15将空调25的功能控制为降低温度。
如上所述，基于手的朝向确定控制对象设备的功能，与基于手形状确定控制对象设备的功能相比，用户能够直观地操作设备。
图8是本发明实施例1的效果的一例的说明图。
图8中，说明通过驾驶员的姿势操作车载设备群2包含的设备中的HUD22的功能的情况。设备操作命令部15中设定的设备关系信息中，登记手形状N与HUD22的关系。另外，设备操作命令部15中设定的功能关系信息中，登记手形状N的向上与HUD22的开始画面显示的功能的关系、手形状N的向左与HUD22的切换为上一画面的功能的关系、以及手形状N的向右与HUD22的切换为下一画画的功能的关系。
驾驶员为了使HUD22开始画面显示，在照相机的拍摄区域内使手形状为手形状N，并且使手的朝向为向上。由此，手形状识别部13识别为由照相机拍摄的驾驶员的手形状为手形状N，手朝向识别部14识别为由照相机拍摄的驾驶员的手的朝向为向上，由此，设备操作命令部1 5对HUD22输出开始画面显示的控制命令。
驾驶员通过使手形状为N的手向右或向左，能够切换HUD22的画面。
HUD22中通常没有操作按钮等，因而实现基于用户姿势的操作是有效的。
如上所述，本实施例中，通过由用户的手形状和手的朝向构成的一个动作，能够控制车载设备群2包含的多个设备中的作为控制对象的设备实现指定功能。由此，能够通过不妨碍驾驶的、无须目视并且简单的操作来控制设备的功能。
实施例2
本实施例中，说明基于用户的脸部区域设定作为手信息检测部12检测关于手的信息的区域的姿势区域的导航装置。由此，能够防止由操作设备的用户以外的人的姿势造成的设备的误动作。
图9是本发明实施例2的姿势区域的说明图。
实施例1中，如图9的上部所示，从照相机的拍摄区域中检测用户的手。换言之，实施例1中，将照相机的全部拍摄区域作为姿势区域。
实施例1中，有可能检测出驾驶员以外的坐在后排座位和副驾驶席上的同车人的手，将同车人的无意识的手的动作检测为用于设备操作的姿势，使设备做出误动作。
本实施例中，车载设备接口1检测驾驶员的脸部区域，基于检测出的脸部区域在手信息检测部12中设定姿势区域。例如，在车辆为右方向盘的情况下，车载设备接口1将检测出的驾驶员的脸部区域的左下区域设定为姿势区域。另外，在车辆为左方向盘的情况下，车载设备接口1将检测出的驾驶员的脸部区域的右下区域设定为姿势区域。另外，手信息检测部12还可以从姿势区域中除去用于控制车载设备群2的操作时以外手放置的区域(例如，方向盘等手通常放置的区域)。这可以由用户事先对手信息检测部12设定方向盘位置等用于控制车载设备群2的操作时以外手放置的区域，还可以由手信息检测部12根据过去历史推定手在一定时间以上连续存在的区域，将该区域作为用于控制车载设备群2的操作时以外手放置的区域。
手信息检测部12仅从姿势区域中检测关于用户的手的信息，不从姿势区域以外的拍摄区域中检测关于用户的手的信息。
另外，车载设备接口1在检测出驾驶员的指定的手形状和手的朝向的情况下，将对手信息检测部12设定的姿势区域切换为指定区域。例如，如图9所示，切换目标区域为能够检测副驾驶席的同车人的手的区域。另外，车载设备接口1还可以检测同车人的脸部区域，基于检测出的脸部区域，确定切换目标区域。
由此，能够从全部拍摄区域中限定姿势区域，能够防止由同车人的无意识的手的动作造成的设备的误动作。
实施例3
本实施例中，说明由照明装置照射姿势区域的情况。由此，在照明环境容易变动的车辆中，能够维持一定的照明环境，防止姿势的误检测。本实施例能够适用于实施例1和实施例2。
图10是本发明实施例3的照明装置的照射范围的说明图。
本实施例的照明装置既可以是车辆具有的车内灯，也可以是照相机具有的照明装置，还可以是独立于照相机安装在车辆上的照明装置。
照明装置被配置为照射姿势区域。实施例1的情况下，姿势区域是照相机的全部拍摄区域，因此照明装置被配置为照射驾驶员移动手的区域。另外，在如实施例2那样能够切换姿势区域的情况下，车载设备接口1可以在切换了姿势区域的情况下，将照明装置的朝向控制为照射切换目标姿势区域的朝向。
这样，照射操作设备的用户的手的动作区域，由此能够防止该用户以外的同车人的手的误检测。
另外，照明装置照射带颜色的光，由此手信息检测部12能够在照相机拍摄的拍摄区域中将手的区域的颜色与其他区域的颜色区别开来，能够正确地检测手的区域。另外，由此还进一步提高手形状识别部13的手形状识别精度和手朝向识别部14的手朝向识别精度。
此外，照明装置既可以始终照射姿势区域，也可以仅在必要时照射姿势区域。例如，可以在开始车辆头灯照射的同时开始照明装置的姿势区域的照射。另外，还可以在由红外线传感器等在姿势区域中检测出手的情况下，开始照明装置的姿势区域的照射。
实施例4
本实施例中，以拍摄用户的手的方式在车辆上配置照相机。这样，照相机拍摄手时的背景为天花板，不易受到外部环境(坐在后排座位上的人的动作、车外的景色等)变化的影响，因而能够防止姿势的误检测。
图11是本发明实施例4的照相机的配置位置的说明图。
照相机位于驾驶员与副驾驶席的中间，并且配置于低于方向盘中心的位置，因而照相机朝向位于上方的用户脸部附近。由此，照相机配置为从下方拍摄用户的手，可以使照相机拍摄的图像的背景为天花板，因而不易受到外部环境变化的影响，能够防止姿势的误检测。
实施例5
本实施例中，设备操作命令部15在接收用户的指定操作(触发操作)之前，不对控制对象设备输出控制命令。由此，能够防止对设备输出用户意图之外的控制命令。
例如，触发操作有利用语音的操作、以及利用手的姿势的操作，使用图12和图13说明利用语音的操作的细节，使用图14说明利用手的姿势的操作的细节。
首先说明将利用语音的操作作为触发操作的情况。
图12是本发明实施例5的搭载了车载设备接口1的车辆的框图。此外，图12所示结构中与实施例1的图1相同的结构标注相同符号，并省略说明。
本实施例的车载设备接口1除了图像输入部11、手信息检测部12、手形状识别部13、手朝向识别部14、以及设备操作命令部15以外，还包括语音输入部16和语音识别部17。
语音输入部16为麦克风等，取得语音数据，并将取得的语音数据输出到语音识别部17。
语音识别部17对语音输入部16输入的语音数据进行语音识别，在语音识别结果为表示触发操作的指定语音的情况下，对图像输入部11输出将拍摄数据输出到手信息检测部12的输出开始命令。另外，语音识别部17在语音识别结果为控制车载设备群2包含的设备的功能的指定语音识别结果的情况下，可以经由识别结果确定部720将该语音识别结果输出到设备操作命令部15，从设备操作命令部15将与语音识别结果对应的控制命令输出到车载设备群2包含的设备。
图13是本发明实施例5的利用语音的触发操作的说明图。
图13中，语音识别部17的语音识别结果例如为“姿势开始”时判定为进行了触发操作，语音识别部17将输出开始命令输出到图像输入部11。
如上所述，在指定语音被输入到车载设备接口1的情况下，开始从图像输入部11到手信息检测部12的拍摄数据的输入。因此，用户在操作车载设备群2包含的设备的情况下，发出指定语音后，使照相机读取手形状和手的朝向，因而能够防止由于无意的姿势而对设备做出无意的操作。
此外，在上述利用语音的触发操作中，在语音识别部17识别了指定语音的情况下，开始从图像输入部11到手信息检测部12的拍摄数据的输入。换言之，若语音识别部17未识别指定语音，则不对设备操作命令部15输入手形状识别部13和手朝向识别部14的识别结果，因而设备操作命令部15不对车载设备群2包含的设备输出控制命令，仅在语音识别部17识别了指定语音的情况下，设备操作命令部15才对车载设备群2包含的设备输出控制命令。
接着，说明将利用手的姿势的操作作为触发操作的情况。
图14是本发明实施例5的利用手的姿势的触发操作的说明图。
图14中，将向上的手形状F、向上的手形状G、以及向上的手形状H这样的按时间顺序变化的姿势作为触发操作。该触发操作只需在照相机前将手从手心转到手背即可，因而是考虑了用户的操作性的触发操作。
设备操作命令部15从手形状识别部13和手朝向识别部14的识别结果中检测出触发操作后，基于触发操作以后的手形状识别部13和手朝向识别部14的识别结果，确定控制对象设备和控制对象设备的功能，允许对该控制对象设备输出控制命令。换言之，设备操作命令部15在未检测出触发操作的情况下，禁止基于输入的手形状识别部13和手朝向识别部14的识别结果的控制命令的输出。
此外，利用手的姿势的触发操作不限于按照时间顺序变化的姿势，也可以是由一个手形状和手的朝向构成的姿势，但将按照时间顺序变化的姿势作为触发操作，能够防止由于将无意的姿势检测为触发操作而导致的设备的误动作。
另外，也可以将组合了利用语音的操作和利用手的姿势的操作形成的操作作为触发操作。
实施例5中，在用于操作设备的姿势之前需要进行触发操作，但也可以在用于操作设备的姿势之后进行触发操作。关于这种情况，作为实施例5的变形例，使用图15进行说明。
图15是本发明实施例5的变形例的利用手的触发操作的说明图。
如上所述，本变形例的触发操作在用于操作设备的姿势之后进行，在图15中，触发操作采用向上的手形状I。
设备操作命令部15在从手形状识别部13和手朝向识别部14输入了触发操作的识别结果的情况下，基于该识别结果之前刚输入的手形状识别部13和手朝向识别部14的识别结果，对控制对象设备输出控制命令。换言之，设备操作命令部15即便决定了要输出的控制命令，只要没有输入姿势操作，也禁止该控制命令的输出。
在图15所示的模式a中，设备操作命令部15在作为触发操作的向上的手形状I的识别结果之前刚输入了向上的手形状A的识别结果，因而将与手形状A对应的音响装置21选择为控制对象设备，对音响装置21输出将音响装置21控制为与向上对应的功能的控制命令。
另外，在图15所示的模式b中，设备操作命令部15在作为触发操作的向上的手形状I的识别结果之前刚输入了向上的手形状B的识别结果，因而将与手形状B对应的电视机23选择为控制对象设备，对电视机23输出将电视机23控制为与向上对应的功能的控制命令。
另外，在图15所示的模式c中，设备操作命令部15在作为触发操作的向上的手形状I的识别结果之前刚输入了向上的手形状C的识别结果，因而将与手形状C对应的空调25选择为控制对象设备，对空调25输出将空调25控制为与向上对应的功能的控制命令。
此外，本变形例中，作为用于操作设备的姿势之后的触发操作，说明了利用手的姿势的操作，但该触发操作也可以是利用语音的操作，还可以是利用手的姿势的操作与利用语音的操作组合而成的操作。
另外，上述实施例5及实施例5的变形例中，在将利用手的姿势的操作作为触发操作的情况下，说明了将基于手形状和手的朝向的操作作为触发操作的方案，但也可以仅将手形状的操作作为触发操作。若仅将手的朝向的操作作为触发操作，则触发操作被误检测的可能性较大，将至少包含手形状的操作作为触发操作，会降低触发操作被误检测的可能性。
实施例6
本实施例中，说明组合了利用手的姿势的操作与利用语音的操作的导航装置。例如，用户手指着车外的建筑物等发出提问时，车载设备接口1基于手形状识别部13和手朝向识别部14的识别结果以及基于GPS等的位置信息，输出对有关所指方向的建筑物等信息的提问的回答。
图16是本发明实施例6的输出对语音提问的回答的导航装置的说明图。
本实施例的车载设备接口1与实施例5的图12所示的车载设备接口1相同，除了图像输入部11、手信息检测部12、手形状识别部13、手朝向识别部14、以及设备操作命令部15以外，还包括语音输入部16和语音识别部17。
语音识别部17在识别了表示预先设定的提问的语音数据的情况下，将该语音识别结果经由识别结果确定部720输出到设备操作命令部15。设备操作命令部15在输入了语音识别结果的情况下，根据手形状识别部13的识别结果即手形状和手朝向识别部14的识别结果即手的朝向，确定用户手指的方向。接着，设备操作命令部15从未图示的方位检测部取得方位，基于取得的方位和所确定的用户手指的方向，确定用户手指的目标方位(方角、ほうがく)。
接着，设备操作命令部15从导航装置存储的地图信息中，取得从当前位置出发位于用户手指的目标方位的地图信息，利用指定条件从取得的地图信息中选择一个地图信息。接着，设备操作命令部15对音响装置21具有的未图示的扬声器、HUD22、或者电视机23，输出将所选择的地图信息作为对提问的回答进行输出的控制命令。此外，设备操作命令部15在取得地图信息时，可以连接到因特网，从存储地图信息的地图信息服务器取得。
从多个地图信息中选择一个地图信息时利用的条件例如既可以是重要性最高的地图信息，也可以是与当前位置距离最近的地图信息。另外，不必一定从多个地图信息中选择一个地图信息，也可以将多个地图信息作为对用户提问的回答。
图16中，坐在副驾驶席上的用户手指东京塔的方向，提出“那是什么”的问题，导航装置经由显示装置或扬声器输出回答“东京塔”。
此外，为了防止收到用户意图之外的提问，可以设定语音识别部17开始或结束语音识别的触发操作。例如，触发操作可以是利用手的姿势的操作，将手以握起的手形状向用户口部移动的操作作为使语音识别部17开始语音识别的触发操作，将摆手的操作作为使语音识别部17结束语音识别的触发操作。
实施例7
本实施例中，说明能够连接于车载设备群2的便携终端701识别用户的手形状和手的朝向，经由车载设备接口1控制车载设备群2的结构。
图17是本发明实施例7的经由车载设备接口1连接于车载设备群2的便携终端701的框图。此外，图17所示的结构中，与图1所示结构相同的结构标注相同符号并省略说明。
便携终端701包括图像输入部710、手区域识别部12、手形状识别部13、手朝向识别部14、识别结果确定部720、CPU711、RAM712、显示器713、以及外部I／F(接口)714。手区域检测部12、手形状识别部13、手朝向识别部14与实施例1相同，因而省略说明。
图像输入部710是搭载于便携终端2的照相机，向手信息检测部711输出拍摄图像。此外，识别结果确定部720中，输入手形状识别部13的识别结果A和手朝向识别部14的识别结果B。识别结果确定部720将输入的识别结果A和识别结果B作为识别结果，经由外部I／F714发送到车载设备接口1具有的设备操作命令部15。识别结果的内容包括时间、手的位置(坐标)、手的大小、手的朝向、以及手的形状等。
与区域识别部12、手形状识别部13、手朝向识别部14、以及识别结果确定部720对应的程序存储在RAM712中，CPU711执行这些程序。此外，区域识别部12、手形状识别部13、手朝向识别部14、以及识别结果确定部720称为手信息检测部。另外，显示器713上，显示手区域识别部12、手形状识别部13、以及手朝向识别部14的用户手的识别结果。
外部I／F714通过无线通信或有线连接等，向车载设备接口1的设备操作命令部15发送识别结果。无线通信例如有Bluetooth(注册商标)和Wi-Fi(注册商标)，有线连接有利用USB的连接、利用LAN的连接、以及利用便携专用端子的连接等。
设备操作命令部15在接收了识别结果时，与实施例1的设备操作命令部15同样，确定控制对象设备，确定控制对象设备的功能，对控制对象设备输出用于控制为所确定的功能的控制命令。
此外，本实施例中，将车载设备群2作为控制对象的一例，但控制对象也可以是电视机或PC(个人计算机)等。
实施例8
本实施例中，说明不识别用户无意的姿势，而是识别用户有意的姿势(姿势操作)的识别方法。
图18是本发明实施例8的识别结果确定部720判定用户的姿势是否为姿势操作的处理的说明图。
识别结果确定部720按照时间顺序处理基于手朝向识别部14取得的手的朝向信息、以及手信息检测部711取得的手的位置信息能够计算的手的移动方向、手的移动量。这样，本实施例的识别结果确定部720作为运动识别部发挥作用，该运动识别部识别手的移动方向和手的移动量等手的运动。这里，识别结果确定部720在手的移动量为指定阈值以上的情况下，判断为未结束姿势操作，不将输入的识别结果输出到设备操作命令部15。由此，设备操作命令部15不输出控制命令，因而能够防止由用户的无意姿势造成车载设备群2的误动作。此外，识别结果确定部720在手的移动量小于阈值的情况下，判断为姿势操作已结束，将输入的识别结果输出到设备操作命令部15。例如，识别结果确定部720仅将图18所示的时刻t0和t1的识别结果输出到设备操作命令部15。换言之，将图18所示的时刻t0和t1作为识别对象时间。
此外，识别结果确定部720可以比较手的移动量变得小于阈值的时刻的手的朝向和手的移动方向，在手的朝向和手的移动方向相同的情况下，判断为进行了姿势操作，将识别结果输出到设备操作命令部15。图18所示的时刻t0的手的朝向为左，而手的移动方向为右，因此识别结果确定部720不判断为进行了姿势操作，不输出识别结果。另一方面，图18所示的时刻t1的手的朝向和手的移动方向相同，均为右，因此识别结果确定部720将时刻t1的姿势判断为姿势操作，将时刻t1的识别结果输出到设备操作命令部15。
在此情况下，识别结果确定部720将手的移动量变得小于阈值之前指定时间连续出现的手的移动方向用于判定。这是因为，在手的移动量变得小于阈值，手静止的状态下，由于用户的微小抖动，手的方向不会固定于上下左右，可防止对手的移动方向进行误检测。
如上所述，通过将手的移动方向和手的朝向这两者用于是否姿势操作的判定，识别结果确定部720能够不识别用户无意的姿势，而是瞬时识别用户有意而为的姿势。
在向指定方向移动了手的情况下，为了将手返回原来的位置，会向相反方向移动手。因此，在识别结果确定部720仅基于手的移动方向判定是否是姿势操作的情况下，会将用于将手返回原来位置的手的移动也误识别为姿势操作。例如，在向右移动手时控制音响装置21再生“下一首曲子”，向左移动手时控制音响装置21再生“上一首曲子”的情况下，向右移动手之后需要向左返回的动作，有时将该用于向左返回的姿势误识别为姿势操作，音响装置21再生“上一首曲子”。
另一方面，在识别结果确定部720仅基于手的朝向判定是否姿势操作的情况下，在操作过程中手偶然朝向右的瞬间，会控制音响装置21再生“下一首曲子”。为了防止这种情况，识别结果确定部720可以在手的朝向持续指定时间指向指定方向的情况下将其判断为姿势操作，但用户需要使手的朝向为指定方向并静止指定时间，因而操作不便。对此，如上所述，识别结果确定部720将手的移动方向和手的朝向用于是否姿势操作的判定，由此能够防止用于将手返回原来位置的手的移动的误检测、以及手的方向偶然变为指定方向的情况下的误检测等。
图19是本发明的实施例8的手的朝向和手的移动方向与音响装置21的功能的关系的说明图。通过以此方式将手的朝向和手的移动方向分配给控制对象设备的功能，能够在不误检测姿势的情况下控制设备。
此外，图19中，“向上”的手的朝向与“右、左、右、左”的手的移动方向的组合被分配给“再生／停止”功能。在此情况下，识别结果确定部720在手的朝向“向上”并向“右、左、右、左”移动了手的情况(例如左右摆手的动作)下的姿势判断为姿势动作。这里，手的朝向和手的移动方向不必一定相同，但通过使它们为相同的方向，用户能够自然并且直观地进行操作。
接着，使用图20A～图20C，说明识别结果确定部720基于手朝向识别部14取得的手的朝向的信息、以及手信息检测部711取得的手的位置的信息计算转动角度，设备操作命令部15根据计算的转动角度控制设备的情况。
图20A是本发明实施例8的用户的手的转动动作的说明图。例如，如图20A所示，用户能够作为姿势，进行向左右方向转动手的动作。
图20B是本发明实施例8的转动角度与阈值的关系的说明图。
识别结果确定部720中，设定转动角度的第一阈值和第二阈值。这里，第二阈值设定为大于第一阈值的值。识别结果确定部720在转动角度超过第一阈值的情况或者超过第二阈值的情况下，将手形状识别部13的识别结果和手朝向识别部14的识别结果、以及表示超过了哪个阈值的信息作为识别结果，输出到设备操作命令部15。
设备操作命令部15在输入了识别结果的情况下，基于输入的手形状识别部13的识别结果和手朝向识别部14的识别结果，确定控制对象设备和该设备控制的功能。并且，设备操作命令部15在判定为超过第一阈值的情况下，通过影像或语音等使用户能够确认与用户的姿势对应的设备的控制内容。
例如，使用图20C说明变更导航仪24的画面时画面变更的情形。图20C是本发明实施例8的导航仪24的画面变更的说明图。
在正在显示导航仪24的地图画画，用户希望从地图画画变更为菜单画面的情况下，设备操作命令部15在判定为转动角度超过第一阈值的情况下，在地图画面的一部分上显示菜单画面，使用户确认变更后的控制内容。接着，用户确认菜单画面，由于与自身希望的控制内容一致，所以进一步转动手。设备结果确定部720在判定为转动角度超过第二阈值的情况下，将识别结果输出到设备操作命令部15，设备操作命令部15在判定为转动角度超过第二阈值的情况下，判断为用户已决定变更为菜单画面，将整个地图画面变更为菜单画面。
此外，例如，在通过音响装置21变更正在再生的乐曲的情况下，在转动角度超过第一阈值的情况下，一边再生当前的乐曲，一边持续指定时间再生下一曲的开头部分或副歌部分等，以对用户通知与用户正在操作的姿势对应的控制内容，由此给用户提供反馈的机会。据此，能够提高用户的操作性，同时防止用户意料之外的设备控制。
此外，上面对转动角度设定了阈值，但也可以对手的移动速度设定阈值。例如，可以在移动速度为阈值以下且用户转动手的情况下，设备操作命令部15仅将显示切换一个画面，在移动速度大于阈值且用户转动手的情况下，设备操作命令部15将显示切换两个画面以上。即，根据移动速度分配类似但不同的功能，由此用户能够直观并且简单地操作车载设备群2。
此外，上述各种实施例能够进行组合。例如，可以在实施例1的手的形状和手的朝向的基础上组合实施例8的手的运动，以确定控制对象设备和该设备的功能。
此外，本发明不限于上述实施例，还包括各种变形例。例如，上述实施例为了便于理解地说明本发明而进行了详细说明，但不限于具有所说明的全部结构。另外，还可以将某个实施例的部分结构置换为其他实施例的结构，另外还可以在某个实施例的结构中加入其他实施例的结构。另外，对于各实施例的部分结构，可以进行其他的结构的追加、删除、置换。
另外，上述各结构、功能、处理部、处理单元等的部分或全部，例如可以通过集成电路设计等以硬件方式实现。另外，上述各结构、功能等还可以通过由处理器解释并执行实现各自功能的程序，以软件方式实现。实现各功能的程序、表、文件等信息可以置于存储器、硬盘、SSD(Solid StateDrive，固态驱动器)等存储装置，或者IC卡、SD卡、DVD等存储介质。
符号说明
1  车载设备接口
2  车载设备群
11  图像输入部
12  手信息检测部
13  手形状识别部
14  手朝向识别部
15  设备操作命令部
21  音响装置
22  平视显示器(Head Up Display，HUD)
22  车载设备群
23  电视机
24  导航仪
25  空调

Claims (9)

1.一种控制装置，连接于路径引导装置，该控制装置的特征在于包括：
手信息检测部，从拍摄图像中检测关于用户的手的信息；以及
设备操作命令部，对所述路径引导装置或连接于所述路径引导装置的多个设备输出控制命令，
其中，所述设备操作命令部基于由所述手信息检测部检测出的所述用户的手的朝向，输出对所述路径引导装置或所述设备的控制命令。
2.根据权利要求1所述的控制装置，其特征在于：
所述手信息检测部包括：
区域识别部，检测所述用户的手的区域；
形状识别部，基于检测出的所述手的区域，识别所述用户的手形状；
朝向识别部，基于检测出的所述手的区域，识别所述用户的手的朝向；以及
运动识别部，基于所述手的区域和所述手的朝向，识别所述用户的手的运动，
所述设备操作命令部还基于由所述运动识别部识别的所述手的运动，输出控制命令。
3.根据权利要求2所述的控制装置，其特征在于：
所述设备操作命令部还基于由所述形状识别部识别的所述手的形状，输出控制命令。
4.根据权利要求1所述的控制装置，其特征在于：
所述手信息检测部包括：
区域识别部，检测所述用户的手的区域；
形状识别部，基于检测出的所述手的区域，识别所述用户的手形状；以及
朝向识别部，基于检测出的所述手的区域，识别所述用户的手的朝向，
所述设备操作命令部还基于由所述形状识别部识别的所述手的形状，输出控制命令。
5.根据权利要求4所述的控制装置，其特征在于：
保持设备关系信息和功能关系信息，
所述设备关系信息登记了所述形状识别部能够识别的识别结果与对应于该识别结果选择为控制对象的设备的关系，
所述功能关系信息登记了所述朝向识别部能够识别的识别结果与对应于该识别结果进行控制的功能的关系，
所述设备操作命令部：
参照所述设备关系信息，将与所述形状识别部的识别结果对应的设备选择为成为所述控制对象的设备，
参照所述功能关系信息，确定与所述朝向识别部的识别结果对应的功能，输出控制命令。
6.根据权利要求1所述的控制装置，其特征在于：
所述手信息检测部：
从所述拍摄图像中检测用户的脸部区域，
基于所述拍摄图像内的所述脸部区域的位置，设定要检测所述用户的手的区域，
从要检测所述手的区域中除去用于控制所述路径引导装置或所述设备的操作时以外的时间中用户的手放置的区域。
7.根据权利要求1所述的控制装置，其特征在于还包括：
照明装置，
所述照明装置配置为照射用户的手放置的区域。
8.一种车辆，包括权利要求1所述的控制装置和路径引导装置，还包括：
拍摄装置，
所述拍摄装置位于车载方向盘中心的下方，配置为将所述车辆内的天花板作为所述用户的手的背景。
9.一种便携终端，能够经由控制装置连接于路径引导装置，其特征在于：
所述控制装置包括对所述路径引导装置或连接于所述路径引导装置的多个设备输出控制命令的设备操作命令部，
所述便携终端包括拍摄装置以及从所述拍摄装置的拍摄图像中检测关于用户的手的信息的手信息检测部，
所述手信息检测部包括：
形状识别部，基于检测出的所述手的区域，识别所述用户的手形状；
朝向识别部，基于检测出的所述手的区域，识别所述用户的手的朝向；以及
识别结果输出部，将所述形状识别部的识别结果和所述朝向识别部的识别结果输出到所述设备操作命令部，
所述设备操作命令部基于由所述识别结果输出部输出的所述形状识别部的识别结果和所述朝向识别部的识别结果，输出对所述路径引导装置或所述设备的控制命令。
CN201310525082.7A 2012-12-14 2013-10-30 控制装置、车辆以及便携终端 Active CN103869967B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012273081A JP6030430B2 (ja) 2012-12-14 2012-12-14 制御装置、車両及び携帯端末
JP2012-273081 2012-12-14

Publications (2)

Publication Number Publication Date
CN103869967A true CN103869967A (zh) 2014-06-18
CN103869967B CN103869967B (zh) 2017-04-26

Family

ID=49518697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310525082.7A Active CN103869967B (zh) 2012-12-14 2013-10-30 控制装置、车辆以及便携终端

Country Status (4)

Country Link
US (1) US9547792B2 (zh)
EP (1) EP2743799B1 (zh)
JP (1) JP6030430B2 (zh)
CN (1) CN103869967B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016070827A1 (zh) * 2014-11-07 2016-05-12 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
CN105759955A (zh) * 2014-12-04 2016-07-13 罗伯特·博世有限公司 输入装置
CN106133653A (zh) * 2014-07-04 2016-11-16 歌乐株式会社 信息处理装置
CN106143495A (zh) * 2015-05-15 2016-11-23 福特全球技术公司 手在方向盘上的检测
TWI572503B (zh) * 2015-02-24 2017-03-01 晶典有限公司 行車平視投影儀系統
CN106886275A (zh) * 2015-12-15 2017-06-23 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CN107291219A (zh) * 2016-04-13 2017-10-24 大众汽车有限公司 用户界面、运输工具和用于识别用户的手的方法
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
CN110800026A (zh) * 2017-07-27 2020-02-14 戴姆勒股份公司 遥控车辆功能的方法
CN110968184A (zh) * 2018-10-01 2020-04-07 丰田自动车株式会社 设备控制装置
CN111523435A (zh) * 2020-04-20 2020-08-11 安徽中科首脑智能医疗研究院有限公司 一种基于目标检测ssd的手指检测方法、系统及存储介质
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5709228B2 (ja) * 2011-04-28 2015-04-30 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
US9967522B2 (en) * 2013-02-27 2018-05-08 GM Global Technology Operations LLC Driver monitoring camera system
US9405375B2 (en) * 2013-09-13 2016-08-02 Qualcomm Incorporated Translation and scale invariant features for gesture recognition
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
KR101556520B1 (ko) * 2013-12-11 2015-10-02 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
EP2907730B1 (en) 2014-01-29 2017-09-06 Steering Solutions IP Holding Corporation Hands on steering wheel detect
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
JP6011579B2 (ja) * 2014-05-21 2016-10-19 株式会社デンソー ジェスチャ入力装置
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
JP6310787B2 (ja) 2014-06-24 2018-04-11 株式会社デンソー 車両用入力装置および車両用コックピットモジュール
JP2016015077A (ja) * 2014-07-03 2016-01-28 Ｎｅｃパーソナルコンピュータ株式会社 ジェスチャー認識装置、ジェスチャー認識方法、及び、プログラム
US10609267B2 (en) * 2014-07-23 2020-03-31 Orcam Technologies Ltd. Systems and methods for analyzing advertisement effectiveness using wearable camera systems
WO2016017695A1 (ja) * 2014-07-30 2016-02-04 オリンパス株式会社 画像処理装置
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
DE102014017166A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
JP6409118B2 (ja) * 2015-02-25 2018-10-17 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US9766370B2 (en) * 2015-05-18 2017-09-19 Apple Inc. Wrist-detection algorithm
DE102016110791A1 (de) * 2015-06-15 2016-12-15 Steering Solutions Ip Holding Corporation Gestensteuerung für ein einfahrbares Lenkrad
US10112639B2 (en) 2015-06-26 2018-10-30 Steering Solutions Ip Holding Corporation Vehicle steering arrangement and method of making same
US20180217680A1 (en) * 2015-07-29 2018-08-02 Kyocera Corporation Wearable device, control method, and control code
JP6650595B2 (ja) 2015-09-24 2020-02-19 パナソニックＩｐマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
JP6144743B2 (ja) * 2015-09-30 2017-06-07 京セラ株式会社 ウェアラブル装置
US10029725B2 (en) 2015-12-03 2018-07-24 Steering Solutions Ip Holding Corporation Torque feedback system for a steer-by-wire vehicle, vehicle having steering column, and method of providing feedback in vehicle
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6341343B2 (ja) * 2016-02-08 2018-06-13 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US10496102B2 (en) 2016-04-11 2019-12-03 Steering Solutions Ip Holding Corporation Steering system for autonomous vehicle
DE102017108692A1 (de) 2016-04-25 2017-10-26 Steering Solutions Ip Holding Corporation Steuerung einer elektrischen Servolenkung unter Verwendung von Systemzustandsvorhersagen
WO2017203102A1 (en) * 2016-05-25 2017-11-30 Valo Motion Oy An arrangement for controlling a computer program
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
US10160477B2 (en) 2016-08-01 2018-12-25 Steering Solutions Ip Holding Corporation Electric power steering column assembly
US10384708B2 (en) 2016-09-12 2019-08-20 Steering Solutions Ip Holding Corporation Intermediate shaft assembly for steer-by-wire steering system
JP2018055614A (ja) * 2016-09-30 2018-04-05 島根県 ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
US10399591B2 (en) 2016-10-03 2019-09-03 Steering Solutions Ip Holding Corporation Steering compensation with grip sensing
US10239552B2 (en) 2016-10-14 2019-03-26 Steering Solutions Ip Holding Corporation Rotation control assembly for a steering column
US10481602B2 (en) 2016-10-17 2019-11-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control
US10310605B2 (en) 2016-11-15 2019-06-04 Steering Solutions Ip Holding Corporation Haptic feedback for steering system controls
US10780915B2 (en) 2016-12-07 2020-09-22 Steering Solutions Ip Holding Corporation Vehicle steering system having a user experience based automated driving to manual driving transition system and method
JP6880697B2 (ja) * 2016-12-16 2021-06-02 カシオ計算機株式会社 表示装置、表示方法及びプログラム
KR102560598B1 (ko) * 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10449927B2 (en) 2017-04-13 2019-10-22 Steering Solutions Ip Holding Corporation Steering system having anti-theft capabilities
JP2019139633A (ja) * 2018-02-14 2019-08-22 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
JP2019149066A (ja) * 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
JP7238495B2 (ja) 2019-03-12 2023-03-14 トヨタ自動車株式会社 車両運転システム
US11437031B2 (en) 2019-07-30 2022-09-06 Qualcomm Incorporated Activating speech recognition based on hand patterns detected using plurality of filters
JP2021133877A (ja) * 2020-02-28 2021-09-13 株式会社Subaru 車両の乗員監視装置
JP7470069B2 (ja) 2021-02-17 2024-04-17 株式会社日立製作所 指示物体検出装置、指示物体検出方法及び指示物体検出システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090102788A1 (en) * 2007-10-22 2009-04-23 Mitsubishi Electric Corporation Manipulation input device
US20100202693A1 (en) * 2009-02-09 2010-08-12 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand shape in portable terminal
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
CN102575943A (zh) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 对于机动车辆的基于手势的信息和命令输入

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236534A (ja) * 2001-02-13 2002-08-23 Mitsubishi Motors Corp 車載機器操作装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2004171476A (ja) 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
JP2004168264A (ja) * 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
JP2004298988A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2007241833A (ja) * 2006-03-10 2007-09-20 Kagoshima Univ 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
US20100185341A1 (en) * 2009-01-16 2010-07-22 Gm Global Technology Operations, Inc. Vehicle mode activation by gesture recognition
CN102227616B (zh) * 2009-05-27 2015-04-15 松下电器产业株式会社 行为识别装置
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
EP2617180B1 (en) * 2010-09-20 2019-01-16 Kopin Corporation Wireless video headset with spread spectrum overlay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090102788A1 (en) * 2007-10-22 2009-04-23 Mitsubishi Electric Corporation Manipulation input device
US20100202693A1 (en) * 2009-02-09 2010-08-12 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand shape in portable terminal
CN102575943A (zh) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 对于机动车辆的基于手势的信息和命令输入
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106133653A (zh) * 2014-07-04 2016-11-16 歌乐株式会社 信息处理装置
CN106133653B (zh) * 2014-07-04 2019-01-08 歌乐株式会社 信息处理装置
WO2016070827A1 (zh) * 2014-11-07 2016-05-12 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
CN105759955A (zh) * 2014-12-04 2016-07-13 罗伯特·博世有限公司 输入装置
TWI572503B (zh) * 2015-02-24 2017-03-01 晶典有限公司 行車平視投影儀系統
CN106143495A (zh) * 2015-05-15 2016-11-23 福特全球技术公司 手在方向盘上的检测
CN106143495B (zh) * 2015-05-15 2021-08-24 福特全球技术公司 手在方向盘上的检测
CN106886275A (zh) * 2015-12-15 2017-06-23 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CN106886275B (zh) * 2015-12-15 2020-03-20 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CN107291219A (zh) * 2016-04-13 2017-10-24 大众汽车有限公司 用户界面、运输工具和用于识别用户的手的方法
CN107291219B (zh) * 2016-04-13 2020-06-26 大众汽车有限公司 用户界面、运输工具和用于识别用户的手的方法
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
CN110800026A (zh) * 2017-07-27 2020-02-14 戴姆勒股份公司 遥控车辆功能的方法
CN110968184A (zh) * 2018-10-01 2020-04-07 丰田自动车株式会社 设备控制装置
CN110968184B (zh) * 2018-10-01 2023-09-01 丰田自动车株式会社 设备控制装置
CN111523435A (zh) * 2020-04-20 2020-08-11 安徽中科首脑智能医疗研究院有限公司 一种基于目标检测ssd的手指检测方法、系统及存储介质
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP6030430B2 (ja) 2016-11-24
JP2014119295A (ja) 2014-06-30
CN103869967B (zh) 2017-04-26
EP2743799A2 (en) 2014-06-18
US9547792B2 (en) 2017-01-17
EP2743799A3 (en) 2017-05-03
US20140172231A1 (en) 2014-06-19
EP2743799B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CN103869967A (zh) 控制装置、车辆以及便携终端
US20240077969A1 (en) Gesture recognition devices and methods
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
JP7061465B2 (ja) 指紋認識を用いる操作方法、装置、およびモバイル端末
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
US9868449B1 (en) Recognizing in-air gestures of a control object to control a vehicular control system
KR101330810B1 (ko) 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
JPH1091320A (ja) 情報入力装置及び方法
CN109069920B (zh) 手持式控制器、跟踪定位方法以及系统
JP2012058854A (ja) ジェスチャ認識装置及び方法
US20160301692A1 (en) Information processing apparatus
US11886643B2 (en) Information processing apparatus and information processing method
KR20130051319A (ko) 신호 입력 장치 및 신호 입력 방법
KR101314641B1 (ko) 사용자 제스처를 이용한 조작 방법 및 디지털 장치
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
JP5756762B2 (ja) ジェスチャ認識装置及びそのプログラム
CN112383826A (zh) 车载娱乐终端的控制方法、装置、存储介质、终端及汽车
KR20140112316A (ko) 모션인식을 이용한 스마트 디바이스 제어 장치 및 방법
CN107367966B (zh) 人机交互方法以及装置
CN103984499A (zh) 一种动作指令控制方法及电子设备
JP2016071824A (ja) インターフェース装置、手指追跡方法、及び、プログラム
US20220129109A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant