CN109871118A - 手势判断设备和程序 - Google Patents

Abstract

一种手势判断设备(20)包括：识别装置(212)，该识别装置基于被对车辆的内部成像的成像装置(10)捕获的捕获图像来识别乘员的运动以及乘员的第一部分和第二部分，以及判断装置(213)，该判断装置基于被识别装置识别的乘员的运动以及被识别装置识别的第一部分和第二部分之间的位置关系，判断与任意命令相对应的运动是否被执行。

Description

手势判断设备和程序

技术领域

本发明涉及一种手势判断设备和程序。

背景技术

在现有技术中，一种用于检测乘坐在车辆中的乘员的手势(运动)并输出与检测到的手势相对应的命令的技术是已知的。例如，在JP2015-219885A(参考文献1)中，一种用于从被相机捕获的图像中提取乘员的手的第一部分和第二部分并且根据第二部分的移动速度决定是否输出与对应于第一部分的移动的手势对应的命令的技术被公开。

然而，在上述现有技术中，尽管可以区分识别的手势是否是打算输入命令的手势或另一个手势，但是难以准确地判断识别的手势是否对应于针对任意命令预先定义的手势。也就是说，难以准确地判断与任意命令相对应的手势是否被执行，这是有问题的。

发明内容

根据本公开的一个方面的手势判断设备包括，例如，识别装置，该识别装置基于被对车辆的内部成像的成像装置捕获的捕获图像来识别乘员的运动以及乘员的第一部分和第二部分，以及判断装置，该判断装置基于被识别装置识别的乘员的运动以及被识别装置识别的第一部分和第二部分之间的位置关系，判断与任意命令相对应的运动是否被执行。根据该构造，除了基于捕获的图像被识别的乘员的运动之外，还可以通过考虑基于捕获图像被识别的乘员的第一部分和第二部分之间的位置关系来准确地判断与任意命令相对应的运动是否被执行。

在根据本公开的方面的手势判断设备中，例如，判断装置可以基于运动与多个类型的命令中的每一个的位置关系的条件相关联的对应信息来判断与任意命令相对应的运动是否被执行。根据该构造，判断装置可以通过使用运动与多个类型的命令中的每一个的位置关系的条件相关联的对应信息来准确地判断与任何命令相对应的运动是否被执行。

在根据本公开的方面的手势判断设备中，例如，判断装置可以参考对应信息以指定与被识别装置识别的乘员的运动一致的运动的相关联的位置关系的条件，并且判断对应于与该运动和条件的组合相关联的命令的运动在被识别装置识别的第一部分和第二部分之间的位置关系满足条件的情况下被执行。根据该构造，可以准确地判断与任意命令对应的运动是否被执行。

在根据本公开的方面的手势判断设备中，例如，可以对与多个座位一一对应的多个乘员中的每一个设置对应信息。根据该构造，可以为例如驾驶员座位、前部乘客座位和后座位中的每个乘员预先设置对应信息。也就是说，对于每个命令，可以单独地设置每个座位的运动和位置关系的条件的组合。

在根据本公开的方面的手势判断设备中，例如，乘员的运动可以是使用手的运动，并且第一部分和第二部分中的每一个可以是被包括在乘员的手中的一部分。根据该构造，例如，基于基于捕获图像被识别的乘员的运动(使用手的运动)以及乘员的手中的第一部分和第二部分之间的位置关系，可以准确地判断与任意命令对应的使用手的运动是否被执行。

在根据本公开的方面的手势判断设备中，例如，第一部分可以是拇指并且第二部分可以是手的中心点。根据该构造，例如，在假设与命令对应的运动是使用乘员的手的运动的情况下，基于基于捕获图像被识别的乘员的运动(使用手的运动)以及乘员的手的拇指(第一部分)和手的中心点(第二部分)之间的位置关系，可以准确地判断与任意命令对应的使用手的运动是否被执行。

根据本公开的另一方面的手势判断设备包括，例如，识别装置，该识别装置基于被对车辆的内部成像的成像装置捕获的捕获图像来识别乘员的运动和指示用作乘员的参考的一部分的参考部分，以及判断装置，该判断装置基于被识别装置识别的乘员的运动和被识别装置识别的参考部分的位置，判断与任意命令对应的运动是否被执行。根据该构造，除了基于捕获图像被识别的乘员的运动之外，还可以通过考虑基于捕获图像被识别的乘员的参考部分的位置来准确地判断与任意命令相对应的运动是否被执行。

根据本公开的另一方面的程序使得计算机执行，例如，识别步骤，该识别步骤基于被对车辆的内部成像的成像装置捕获的捕获图像来识别乘员的运动以及乘员的第一部分和第二部分，以及判断步骤，该判断步骤基于该识别步骤中被识别的乘员的运动和在识别步骤中被识别的第一部分和第二部分之间的位置关系，判断与任意命令相对应的运动是否被执行。根据该构造，除了基于捕获图像被识别的乘员的运动之外，还可以通过考虑基于捕获图像被识别的乘员的第一部分和第二部分之间的位置关系来准确地判断与任意命令相对应的运动是否被执行。

附图说明

通过以下参考附图的详细说明，本发明的上述和附加的特点和特征将变得更加明显，其中：

图1是示出根据实施例的信息处理系统的示意性构造的图；

图2是示出图像处理装置的硬件配置的示例的图；

图3是示出设置在图像处理装置中的功能的示例的图；

图4是示出骨架信息的示例的视图；

图5是示出根据第一实施例的对应信息的示例的表；

图6是示出在打开方向上移动右手的手掌的运动的视图；

图7是示出与驾驶员的右手的拇指相对应的特征点和与驾驶员的右手的中心点相对应的特征点之间的位置关系的视图；

图8是示出在关闭方向上移动右手的手掌的运动的视图；

图9是示出与驾驶员的右手的拇指相对应的特征点和与驾驶员的右手的中心点相对应的特征点之间的位置关系的视图；

图10是示出举起驾驶员的握住的右手的运动的视图；

图11是示出与驾驶员的右手的拇指相对应的特征点和与驾驶员的右手的中心点相对应的特征点之间的位置关系的图；

图12是示出根据该实施例的图像处理装置的操作示例的流程图；

图13是示出前部乘客座位中乘员的对应信息的示例的表；

图14是示出与前部乘客座位中的乘员的左手的拇指相对应的特征点和与前部乘客座位中的乘员的左手的中心点相对应的特征点之间的位置关系的视图；

图15是示出与前部乘客座位中的乘员的左手的拇指相对应的特征点和与前部乘客座位中的乘员的左手的中心点相对应的特征点之间的位置关系的视图；

图16是示出用乘员的左手隐藏面部的运动的视图；

图17是示出与乘员的头部相对应的特征点和与乘员的左手的中心点相对应的特征点之间的位置关系的视图；以及

图18是示出根据第二实施例的对应信息的示例的表。

具体实施方式

在下文中，将参考附图详细描述这里公开的手势判断设备和程序的实施例。

第一实施例

图1是示出安装在例如汽车的车辆内的信息处理系统100的示意性构造的图，该车辆具有例如发动机或电动机等驱动源。如图1所示，信息处理系统100包括成像装置10、图像处理装置20和车辆控制装置30。

成像装置10是用于对车辆的内部成像的装置。例如，成像装置10配置有相机。在该示例中，成像装置10以预定的帧速率连续地执行成像。由成像装置10捕获的图像(下文中，可以称为“捕获图像”)被输入到图像处理装置20。

图像处理装置20是“手势判断设备”的示例，并且基于从成像装置10输入的捕获图像来判断与任意命令对应的运动是否被执行。在判断结果是肯定的情况下，图像处理装置20输出指示允许输出至车辆控制装置30的命令的信息(命令信息)。稍后将描述图像处理装置20的具体结构。

在本实施例中，描述将基于假设进行，该假设为执行与每个命令相对应的运动的人是驾驶员，并且成像装置10被安装(视角和姿势被调整)以使得在驾驶员座位的乘员(驾驶员)的上半身被成像，但不限于此。如稍后将描述的，例如，前部乘客座位中的乘员或后座位中的乘员执行与每个命令相对应的运动并且该命令被执行的配置是可用的。在该构造中，成像装置10被安装为不仅用于对驾驶员的上半身成像，而且还用于对前部乘客座位中的乘员的上半身和后座位中的乘客成像。

车辆控制装置30根据由从图像处理装置20输入的命令信息指示的命令来控制车辆的每个构成单元。命令类型等将稍后与图像处理装置20的具体结构一起被描述。

在下文中，将描述该实施例的图像处理装置20的具体结构。图2是示出图像处理装置20的硬件配置的示例的图。如图2所示，图像处理装置20包括CPU 201、ROM 202、RAM 203和外部I/F 204。在该示例中，图像处理装置20具有与正常计算机相同的硬件结构。图像处理装置20的硬件元件不限于图2中所示的硬件元件，另外设置其他硬件元件的配置可以被采用。

CPU 201执行程序以全面控制图像处理装置20的操作，并实现图像处理装置20的各种功能。稍后将描述图像处理装置20的各种功能。

ROM 202是非易失性存储器，并且存储包括用于激活图像处理装置20的程序的各种数据。RAM 203是包括CPU 201的工作区域的易失性存储器。

外部I/F 204是用于连接外部设备的接口。例如，作为外部I/F 204，用于连接成像装置10的接口和用于连接到车辆控制装置30的接口被设置。

图3是示出包括在图像处理装置20中的功能的示例的图。在图3的示例中，仅示出了与本公开有关的功能，但是图像处理设备20中的功能并不限于此。

如图3所示，图像处理装置20包括获取单元211、识别单元212、判断单元213、对应信息存储单元214和命令输出单元215。在该示例中，CPU 201执行存储在例如ROM 202之类的存储装置中的程序，使得获取单元211、识别单元212、判断单元213和命令输出单元215的各自的功能被实现。然而，本公开不限于此，而可以具有其中获取单元211、识别单元212、判断单元213和命令输出单元215的至少一部分被配置有专用硬件电路的配置。此外，对应信息存储单元214可以配置有例如ROM 202等，并且可以被设置在图像处理装置20的外部。

获取单元211从成像装置10获取捕获图像。每当成像装置10实行成像时，获取单元211获取通过图像捕获获得的捕获图像。

识别单元212基于由获取单元211获取的捕获图像(由成像设备10捕获的捕获图像)识别乘员的运动和乘员的第一部分和第二部分。在该示例中，乘员的运动是使用手的运动，并且第一部分和第二部分中的每一个是被包括在乘员的手中的一部分。进一步地，第一部分是拇指并且第二部分是手的中心点，但并不限于此。

各种已知技术可被用作基于捕获图像来识别乘员的运动以及第一部分和第二部分的方法。例如，利用JP 2017-182748中公开的技术的结构是可用的。在该实施例中，识别单元212提取捕获图像中反映出的乘员的身体(上半身)的每个部分的关节(特征点)，并生成骨架信息(骨架数据)。然后，基于生成的骨架信息，识别单元212识别乘员的运动以及乘员的第一部分和第二部分。

图4是示出根据该实施例的骨架信息的示例的图。每个特征点由x方向(水平方向)上的坐标值和y方向(竖直方向)上的坐标值的组合(二维坐标信息)表示。在图4的示例中，作为骨架信息的特征点，包括与头部对应的特征点P1(x1，y1)、与颈部对应的特征点P2(x2，y2)、与右肩对应的特征点P3(x3，y3)、与右肘对应的特征点P4(x4，y4)、与右手腕对应的特征点P5(x5，y5)、与右手的中心点对应的特征点P6(x6，y6)、与右手的拇指对应的特征点P7(x7，y7)、与右手的中指对应的特征点P8(x8，y8)、与左肩对应的特征点P9(x9，y9)、与左肘对应的特征点P10(x10，y10)、与左手腕对应的特征点P11(x 11，y11)、与左手的中心点对应的特征点P12(x12，y12)、与左手的拇指对应的特征点P13(x13，y13)、与左手的中指对应的特征点P14(x14，y14)、与右腰对应的特征点P15(x15，y15)和与左腰对应的特征点P16(x16，y16)，但是不限于此。

这里，假设驾驶员执行使用右手的运运动为与每个命令相对应的运动，并且与右手的拇指对应的特征点P7(x7，y7)被指定作为第一部分，与右手的中心点对应的特征点P6(x6，y6)被指定作为第二部分。然而，该公开并不局限于此。例如，驾驶员执行使用左手的运运动为与每个命令对应的运动的配置也是可用的。

返回图3，继续描述。判断单元213基于被识别单元212识别的乘员的运动以及被识别单元212识别的第一部分和第二部分之间的位置关系，判断与任意命令相对应的运动是否被执行。在本实施例中，基于如下对应信息，判断单元213判断对应的运动是否被执行：运动与多种类型的命令中的每一种的位置关系(第一部分和第二部分之间的位置关系)相关联。更具体地，判断单元213参考对应信息，指定与被识别单元212识别的乘员的运动一致的运动相关联的位置关系的条件，并且确定对应于与该运动和条件的组合相关联的命令的运动在被识别单元212识别的第一部分和第二部分之间的位置关系满足该条件的情况下被执行。

图5是示出骨架信息的示例的表格。在该示例中，对应信息被储存在对应信息存储单元214中。在图5的示例中，与天窗的控制有关的命令被举例说明，但是命令的类型不限于此。

在图5中，被表示为“打开”的命令是指示打开天窗的命令，被表示为“关闭”的命令是指示关闭天窗的命令，并且被表示为“暂停”的命令是指示停止(暂停)天窗的打开和关闭操作的命令。

如图5所示，对于命令“打开”，指示手在天窗的打开方向上被移动的运动以及指示与右手的拇指对应的、作为第一部分的特征点P7的x坐标的数值x7大于与右手的中心点对应的、作为第二部分的特征点P6的x坐标的数值x6的位置关系的条件彼此相关联。

这里，如图6所示，假设在天窗的打开方向上移动右手的手掌的运动作为被预先定义为命令“打开”的运动。这里，假设成像装置10被布置成对驾驶员的前部成像，并且在基于该运动被执行时的捕获图像的骨架信息中，与驾驶员的右手的拇指对应的特征点P7和与驾驶员的右手的中心点对应的特征点P6之间的位置关系如图7所示(右上角为原点，但不限于此)。在该示例中，由于图7中的左方向是x方向上的正方向，所以特征点P7的x坐标的值x7大于特征点P6的x坐标的值x6。从而，在指示在打开方向上移动的运动被识别并且与右手的拇指相对应的特征点P7的x坐标的值x7大于与右手的中心点相对应的特征点P6的x坐标的值x6的情况下，可以判断与命令“打开”相对应的运动被执行。位置关系的条件也可以是被认为是准确地判断识别的运动是否是与命令相对应的运动的条件。

如图5所示，对于命令“打开”，指示手在天窗的关闭方向上被移动的运动和指示与右手的拇指相对应的特征点P7的x坐标的值x7小于与右手的中心点相对应的特征点P6的x坐标的值x6的位置关系的条件彼此相关联。

这里，如图8所示，关闭方向上移动右手的手掌的运动被假设作为被预先定义为命令“关闭”的运动。当该运动被执行时的与驾驶员的右手的拇指相对应的特征点P7和与驾驶员的右手的中心点相对应的特征点P6之间的位置关系如图9所示。这里，由于图9中的左方向是x方向上的正方向，所以特征点P7的x坐标的值x7示出小于特征点P6的x坐标的值x6的值。从而，在指示手在关闭方向上移动的运动被识别并且与右手的拇指相对应的特征点P7的x坐标的值x7小于与右手的中心点相对应的特征点P6的x坐标的值x6的情况下，可以判断与命令“关闭”相对应的运动被执行。

如图5所示，对于命令“暂停”，表示抬起握住的手的运动和表示与右手的拇指相对应的特征点P7的x坐标的值x7和与右手的中心点相对应的特征点P6的x坐标的值x6之间的差的绝对值大于指定值的位置关系的条件彼此相关联。

这里，如图10所示，抬起握住的右手的运动被假设作为被预先定义为命令“暂停”的运动。当该运动被执行时的与驾驶员的右手的拇指相对应的特征点P7和与驾驶员的右手的中心点相对应的特征点P6之间的位置关系如图11示。当右手被握住时，与拇指相对应特征点P7和与中心点相对应的特征点P6密集地聚集在彼此接近的位置处，因此，在与右手的拇指相对应的特征点P7的x坐标的值x7和与右手的中心点相对应的特征点P6的x坐标值x6的值x6之间的差的绝对值大于指定值的情况下，可以判断右手被握住。从而，在指示抬起手的运动被识别并且与右手的拇指相对应的特征点P7的x坐标的值x7和与右手的中心点相对应的特征点P6的x坐标的值x6之间的差的绝对值大于指定值的情况下，可以判断与命令“暂停”相对应的运动被执行。

例如，通过考虑与右手的中指相对应的特征点P8进行判断的配置可以被采用。例如，当抬起手的运动被识别时，在与右手的拇指对应的特征点P7的x坐标的值x7和与右手的中心点对应的特征点P6的x坐标的值x6之间的差的绝对值大于指定值的情况下以及在与右手的中指相对应的特征点P8的x坐标的值x8和特征点P7和特征点P6中每一个的x坐标的值(x7或x6)之间的差的绝对值中的每一个大于指定值的情况下，可以判断握住的右手被抬起。

如上所述，判断单元213判断与任意命令相对应的运动是否被执行，并将判断结果输入到命令输出单元215。

图3所示的命令输出单元215向车辆控制装置30输出指示判断对应运动被执行的命令的命令信息。

图12是示出根据该实施例的图像处理装置20的操作示例的流程图。由于每个步骤的具体内容如上所述，因此，详细说明将适当地省略。

如图12所示，获取单元211从成像装置10获取捕获图像(步骤S1)。接下来，基于在步骤S1中获取的捕获图像，识别单元212识别乘员(在该示例中的驾驶员)的运动和第一部分(在该示例中的右手的拇指)和第二部分(在该示例中的右手的中心点)(步骤S2)。接下来，基于在步骤S2中识别的乘员的运动以及在在步骤S2中被识别的第一部分和第二部分之间的位置关系，判断单元213判断与任意命令相对应的运动是否被执行(步骤S3)。

在通过步骤S3中的判断，判断与任意命令相对应的运动被执行的情况下(步骤S4中的“是”)，命令输出单元215将指示该命令的命令信息输出到车辆控制装置30(步骤S5)。在通过步骤S3中的判断，判断与任意命令相对应的运动未被执行的情况下(步骤S4中为“否”)，不输出命令信息，并且步骤S1和后续步骤的步骤被重复。

如上所述，在本实施例中，除了基于捕获图像被识别的乘员的运动之外，还可以通过考虑基于捕获图像被识别的乘员的第一部分和第二部分之间的位置关系来判断与任意命令相对应的运动是否被执行。例如，当乘员执行“移动打开的手”的运动时，可以考虑乘员的手的两点(拇指、中心点等)之间的位置关系准确地区分打开的手是否向前或者向后被移动。也就是说，该实施例在根据打开的手向前或者向后移动来设置不同的命令的情况下特别有效(例如，可以准确地判断与每个命令相对应的运动是否被执行)。

第一实施例的修改例1

例如，针对与多个座位一一对应的多个乘员中的每一个可以设置上述的对应信息的配置是可用的。例如，针对驾驶员的座位中的乘员的对应信息、针对前部乘客座位中的乘员的对应信息以及针对后座位中的乘员的对应信息被单独设置的配置是可用的。在下文中，作为一个示例，将描述前部乘客座位中的乘员的对应信息。

这里，假设前部乘客座位中的乘员执行使用左手的运运动为与每个命令相对应的运动，并且与左手的拇指对应的特征点P13(x13，y13)被指定作为第一部分，与左手的中心点对应的特征点P12(x12，y2)被指定作为第二部分。然而，该公开并不局限于此。例如，假设驾驶员执行使用右手的运运动为与每个命令对应的运动的配置也是可用的。

图13是示出前部乘客座位中的乘员的对应信息的示例的表格，并且如上述第一实施例，对于与天窗控制相关的多个命令中的每一个，运动和位置关系的条件是彼此相关联的。如图13所示，对于“打开”命令，表示手在天窗的打开方向上被移动的运动以及表示与左手的拇指相对应的、作为第一部分的特征点P13的x坐标的值x13小于与左手的中心点相对应的、作为第二部分的特征点P12的x坐标的值x12的位置关系的条件是彼此相关联的。

这里，左手的手掌在打开方向上移动的运动被假定作为针对命令“打开”预先定义的运动(前部乘客座位中的乘员的运动)。这里，假设成像装置10被布置成对前部乘客座位中的乘员的前部成像，并且在基于该运动被执行时的捕获图像的骨架信息中，与前部乘客座位中的乘员的左手的拇指相对应的特征点P13和与前部乘客座位中的乘员的左手的中心点相对应的特征点P12之间的位置关系如图14所示(右上角是原点，但不限于此)。在该示例中，由于图14中的左方向是x方向上的正方向，所以特征点P13的x坐标的值x13小于特征点P12的x坐标的值x12的值。从而，对于捕获图像中反映出的前部乘客座位中的乘员，在指示手在打开方向上移动的运动被识别并且与左手的拇指相对应的特征点P13的x坐标的值x13小于与左手的中心点相对应的特征点P12的x坐标的值x12的情况下，可以判断与命令“打开”相对应的运动被执行。

如图13所示，对于命令“关闭”，指示手在天窗的关闭方向上被移动的运动以及指示与左手的拇指相对应的特征点P13的x坐标的值x13大于与左手的中心点相对应的特征点P12的x坐标的值x12的位置关系的条件是彼此相关联的。

这里，关闭方向上移动左手的手掌的运动被假设作为被预先定义为命令“关闭”的运动。当该运动被执行时的与前部乘客座位中乘员的左手的拇指相对应的特征点P13和与前部乘客座位中的乘员的左手的中心点相对应的特征点P12之间的位置关系如图15所示。在该示例中，由于图15中的左方向是x方向上的正方向，所以表示特征点P13的x坐标的值x13大于特征点P12的x坐标的值x12的值。从而，对于捕获图像中反映出的前部乘客座位中的乘员，在指示手在关闭方向上移动的运动被识别并且与左手的拇指相对应的特征点P13的x坐标的值x13大于与左手的中心点相对应的特征点P12的x坐标的值x12的情况下，可以判断与命令“关闭”相对应的运动被执行。

如图13所示，对于命令“暂停”，表示抬起握住的手的运动和表示与左手的拇指相对应的特征点P13的x坐标的值x13和与左手的中心点相对应的特征点P12的x坐标的值x12之间的差的绝对值大于指定值的位置关系的条件是彼此关联的。由于这与驾驶员的对应信息中描述的内容相同，因此，将省略详细描述。

后座位中的乘员的对应信息也可以以上述相同的方式被单独设置。

第一实施例的修改例2

在上述实施例中，与天窗的控制有关的命令被举例说明，但是命令的类型不限于此。例如，与窗口调节器的开关控制有关的命令、与音频设备的音量控制有关的命令、与挡风玻璃的透射率控制有关的命令等都是可用的。针对每个命令预先被定义的运动也可以被设置。例如，对于与音频设备的音量控制有关的命令，转动手指等运动可以被预先定义。

此外，例如，对于指示将车窗玻璃的透射率从对应于透明状态的第一透射率改变为对应于遮光状态的第二透射率的命令，如图16所示，用乘员的左手(或右手)隐藏面部的运动可以被预先定义。当该运动被执行时的与乘员头部相对应的特征点P1和与乘员的左手的中心点相对应的特征点P12之间的位置关系如图17所示。为了便于描述，省略了其他特征点的说明。当使用左手隐藏面部时，与头部相对应的特征点P1和与左手的中心点相对应的特征点P12被密集地聚集在彼此靠近的位置处，因此，在与头部相对应的特征点P1的x坐标的值x1和与左手的中心点相对应的特征点P12的x坐标的值x12之间的差的绝对值大于指定值的情况下，可以判断使用左手隐藏面部。

在该示例中，指示与头部相对应的特征点P1的x坐标的值x1和与左手的中心点相对应的特征点P12的x坐标的值x12之间的差的绝对值大于指定值的条件被设置，但是本公开不限于此，该位置关系的条件可以被随机设置。例如，作为位置关系的条件，指示与乘员的左手的中心点相对应的特征点P12和与乘员的左手的拇指(可以是中指)相对应的特征点P13存在于预定区域(例如，假设反映出面部的区域)中的条件被设置的配置是可用的。

第一实施例的修改例3

例如，上述的判断单元213和上述的命令输出单元215被安装在车辆控制装置30侧的配置是可用的。在这种情况下，图像处理装置20和车辆控制装置30的组合对应于“手势判断设备”。简而言之，手势判断设备仅需要具有至少包括上述识别单元212和判断单元213的配置，可以配置有单个设备或多个设备(识别单元212和判断单元213被分配至多个设备的配置)。

第一实施例的修改例4

例如，命令输出单元215可以具有如下结构：在判断单元213判断与任意命令相对应的运动被执行之后，判断与另一个命令相对应的操作在一段时间内被执行的情况下，不输出任意命令。例如，命令输出单元215可以被构造成：在从判断单元213接收到指示与“打开”命令相对应的运动被执行的判断结果之后，指示与“关闭”命令相对应的运动被执行的判断结果在预定时间内被接收的情况下，不输出任意命令。该预定时间可以被随机设置。

第一实施例的修改例5

此外，例如，命令输出单元215可以被构造成：在判断单元213判断在输出命令期间与另一个命令相对应的运动被执行的情况下，停止被输出执行的命令。例如，命令输出单元215可以被构造成：在指示与“关闭”命令相对应的运动被执行的判断结果在输出的“打开”命令的执行期间从判断单元213被接收的情况下，请求车辆控制装置30暂停“打开”命令的执行。在接收到该请求时，车辆控制装置30可以暂停“打开”命令的执行(暂停天窗打开操作)。

第二实施例

接下来，将描述第二实施例。对上述第一实施例的那些共同的部分的描述将被适当地省略。在本实施例中，识别单元212基于被对车辆的内部成像的成像装置10捕获的捕获图像来识别乘员的运动和指示作为乘员的参考的一部分的参考部分。该识别方法与上述第一实施例中描述的识别方法相同。然后，基于被识别单元212识别的乘员的运动和被识别单元212识别的参考部分的位置，判断单元213判断与任意命令相对应的运动是否被执行。由于其他配置与第一实施例的配置相同，因此，将适当省略对共同部分的描述。

例如，乘员的运动是使用手的运动，并且参考部分可以是被包括在乘员的手中的一部分。例如，参考部分可以是乘员的手的中心点，但不限于此。

本实施例的判断单元213基于将运动与用于多种命令中的每一种命令的参考部分的位置的条件(范围)相关联的对应信息来判断与任意命令相对应的运动是否被执行。更具体地，判断单元213参考对应信息以指定与被识别单元212识别的乘员的运动一致的运动相关联的参考部分的位置的条件，并判断与该运动和条件的组合相关联的命令相对应的运动在被识别单元212识别的参考部分的位置满足该条件的情况下被执行。

图18是示出对应信息的示例的表格。在图18的示例中，与天窗的控制有关的命令被举例说明，但是命令的类型不限于此。如图18所示，对于多个命令中的每一个，运动和作为参考部分的高度的条件的高度范围(“参考部分的位置的条件”的示例)是彼此关联的。在该示例中，参考部分是乘员的右手的中心点，并且作为高度的条件，指示与右手的中心点相对应的特征点P6的y坐标的值y6大于第一阈值H1的条件和指示值y6小于第二阈值H2(>H1)的条件彼此关联。这里，与各个命令相关联的高度的条件都是相同的，但是本公开不限于此，例如，可以为每个命令单独设置不同的条件。

例如，当注意到命令“打开”时，在手在天窗的打开方向上移动的运动被识别，并且与作为参考部分的右手的中心点相对应的特征点P6的y坐标的值y6大于第一阈值H1并且小于第二阈值H2的情况下，判断单元213判断与命令“打开”相对应的运动被执行。也就是说，可以允许命令“打开”的输出。类似于第一实施例中描述的位置关系的条件，参考部分的高度的条件可以被认为是用于准确地判断识别的运动是否是与命令相对应的运动的条件。

如上所述，在本实施例中，除了基于捕获图像被识别的乘员的运动之外，还可以通过考虑基于捕获图像被识别的乘员的参考部分(该示例中的乘员的右手的中心点)的位置(该示例中的高度)来准确地判断与任意命令相对应的运动是否被执行。例如，虽然乘员在假定乘员执行与命令相对应的运动的高度范围之外执行任何运动，但是操作被拒绝作为与命令相对应的运动无关的运动，因此，没有命令被发出。也就是说，可以防止应归于不适当的运动的命令的发出。

这里，参考部分在竖直方向上的位置(高度)的条件被设置作为参考部分的位置的条件的情况已经被描述作为一个示例，但是本公开不限于此。例如，设置在水平方向上的参考部分的位置的条件的配置是可用的。简而言之，作为参考部分的位置的条件，条件被设置为可以利用其判断参考部分是否存在于假设与命令相对应的运动要被执行的区域(手势区域)的范围内的配置是可用的。

虽然以上已经描述了根据本公开的实施例，但是本公开不限于上述的实施例。在本公开的实施阶段，可以在不脱离本公开的主旨的范围内修改和实施构成元件。此外，各种发明可以通过适当地组合上述实施例中公开的多个组成元件而形成。例如，一些组成元件可以从该实施例中示出的所有组成元件中被删除。此外，上述的每个实施例和修改例可以被随机组合。

上述说明书描述了本发明的原理，优选实施例和操作方式。然而，本发明想要保护的不应诠释为局限于公开的具体实施例。此外，在此描述的实施例被认为是示例性的而不是限制性的。可以通过采用其他以及等价物做出不偏离本发明的精神的变型和改动。因此，明确地意指，如随附的权利要求所限定的所有这些属于本发明精神及范围的变型、改动及等价物都由此而包含其中。

Claims (8)

1.一种手势判断设备(20)，其特征在于，包括：

识别装置(212)，所述识别装置(212)基于被对车辆的内部成像的成像装置(10)捕获的捕获图像来识别乘员的运动以及所述乘员的第一部分和第二部分；以及

判断装置(213)，所述判断装置(213)基于被所述识别装置识别的所述乘员的运动以及被所述识别装置识别的所述第一部分和所述第二部分之间的位置关系，来判断与任意命令相对应的运动是否被执行。

2.如权利要求1所述的手势判断设备，其特征在于，

其中，所述判断装置基于运动与多个类型的命令中的每一个的位置关系的条件相关联的对应信息，来判断与任意命令相对应的运动是否被执行。

3.如权利要求2所述的手势判断设备，其特征在于，

其中，所述判断装置参考所述对应信息来指定与被所述识别装置识别的所述乘员的运动一致的运动相关联的位置关系的条件，并且判断对应于与所述运动和所述条件的组合相关联的命令的运动在被所述识别装置识别的所述第一部分和所述第二部分之间的位置关系满足所述条件的情况下被执行。

4.如权利要求2或3所述的手势判断设备，其特征在于，

其中，对与多个座位一一对应的多个乘员中的每一个设置所述对应信息。

5.如权利要求1至4中任一项所述的手势判断设备，其特征在于，

其中，所述乘员的运动是使用手的运动；并且

所述第一部分和所述第二部分中的每一个是被包括在所述乘员的所述手中的一部分。

6.如权利要求5所述的手势判断设备，其特征在于，

其中，所述第一部分是拇指；并且

所述第二部分是所述手的中心点。

7.一种手势判断设备(20)，其特征在于，包括：

识别装置(212)，所述识别装置(212)基于被对车辆的内部成像的成像装置(10)捕获的捕获图像来识别乘员的运动以及指示作为所述乘员的参考的一部分的参考部分；以及

判断装置(213)，所述判断装置(213)基于被所述识别装置识别的所述乘员的运动以及被所述识别装置识别的所述参考部分的位置，来判断与任意命令相对应的运动是否被执行。

8.一种程序，其特征在于，所述程序使得计算机执行：

识别步骤，所述识别步骤基于被对车辆的内部成像的成像装置捕获的捕获图像来识别乘员的运动以及所述乘员的第一部分和第二部分；以及

判断步骤，所述判断步骤基于在所述识别步骤中被识别的所述乘员的运动以及在所述识别步骤中被识别的所述第一部分和所述第二部分之间的位置关系，来判断与任意命令相对应的运动是否被执行。