CN110968184B - 设备控制装置 - Google Patents

Abstract

一种设备控制装置，包括：成像单元，其配置为拍摄车辆中乘员的图像；第一识别单元，其配置为基于由成像单元拍摄的图像识别乘员的姿势；第二识别单元，其配置为基于由成像单元拍摄的图像识别手的状态，所述手的状态至少包括乘员的手的形状；辨别处理单元，其配置为基于由第一识别单元识别的乘员的姿势和由第二识别单元识别的手的状态指定要控制的设备和要执行的操作；以及控制器，其配置为发出与所指定的要控制的设备和所指定的要执行的操作对应的控制命令。

Description

设备控制装置

技术领域

本发明涉及一种用于控制电子设备的设备控制装置。

背景技术

日本未审查专利申请公开2013-205983号(JP2013-205983A)描述了一种信息输入设备，该信息输入设备识别用户的手指尖的形状、位置和姿势，并基于用户的手指尖的形状或其状态变化的时序信息，对控制对象设备输出控制命令。

发明内容

当JP2013-205983A中描述的信息输入设备应用于车载设备的操纵时，在车辆行驶期间存在振动等影响。因此，用户难以准确地呈现手指尖的形状或其状态变化。因此，在基于手指尖的形状或其状态变化的时序信息操纵车载设备的配置中，可能无法执行用户想要的车载设备的操纵或者可能执行用户不想要的车载设备的操纵。

本发明提供一种能够准确地辨别用户对车载设备进行的操纵指令的设备控制装置。

本发明的一个方面涉及一种用于控制安装在车辆中的设备的设备控制装置。该设备控制装置包括：成像单元，其配置为拍摄车辆中乘员的图像；第一识别单元，其配置为基于由成像单元拍摄的图像来识别乘员的姿势；第二识别单元，其配置为基于由成像单元拍摄的图像来识别手的状态，所述手的状态至少包括乘员的手的形状；辨别处理单元，其配置为基于由第一识别单元识别的乘员的姿势和第二识别单元识别的手的状态指定要控制的设备和要执行的操作；和控制器，其配置为发出与所指定的要控制的设备和所指定的要执行的操作对应的控制命令。

在根据本发明的方面的设备控制装置中，辨别处理单元可以配置为通过参考辨别处理信息来指定要控制的设备和要执行的操作，所述辨别处理信息中表示乘员的姿势的信息、表示手的状态的信息、表示设备的信息以及表示操作的信息是预先关联的。

在根据本发明的方面的设备控制装置中，在辨别处理信息中，由骨骼坐标序列表示的骨骼图案被定义为表示乘员的姿势的信息，并且手的形状或者手的形状和方向的组合被定义为表示手的状态的信息。第一识别单元可以配置为从成像单元拍摄的图像识别乘员的骨骼坐标序列。第二识别单元可以配置为从成像单元拍摄的图像识别乘员的手的形状和方向。辨别处理单元配置为，基于第一识别单元以及第二识别单元的识别结果与辨别处理信息之间的匹配程度，将与所识别的乘员的姿势以及所识别的手的状态相关联的设备和操作指定为要控制的设备和要执行的操作。

在根据本发明的方面的设备控制装置中，在辨别处理信息中，与表示乘员的姿势的信息和表示手的状态的信息的每个组合相关联地进一步定义乘员的姿势以及手的状态的维持时间。辨别处理单元可以配置为，当辨别处理单元基于第一识别单元以及第二识别单元的识别结果与辨别处理信息之间的匹配程度指定要控制的设备和要执行的操作时，还判定由第一识别单元识别的乘员的姿势以及由第二识别单元识别的手的状态是否持续了在辨别处理信息中定义的维持时间或更长时间。控制器可以配置为，当辨别处理单元指定要控制的设备和要执行的操作，并且判定为由第一识别单元识别的乘员的姿势和由第二识别单元识别的手的状态持续了辨别处理信息中定义的维持时间或更长时间时，发出控制命令。

根据本发明的方面的设备控制装置还可包括配置为估计车辆状态的车辆状态估计单元。辨别处理单元可以配置为基于车辆状态估计单元估计的车辆状态来决定是否允许指定的操作。控制器可以配置为，当辨别处理单元指定要控制的设备和要执行的操作并且决定允许所指定的操作时，发出控制命令。

在根据本发明的方面的设备控制装置中，控制器可以配置为，在控制器发出控制命令之后满足预定条件时，发出辅助命令，该辅助命令用于中断或改变由控制命令指示的操作。

根据本发明的该方面，可以提供一种能够准确地辨别用户对车载设备进行的操纵指令的设备控制装置。

附图说明

下面将参照附图描述本发明的示例性实施方式的特征、优点以及技术和工业意义，附图中相同的数字表示相同的元件，并且其中：

图1是根据第一实施方式的设备控制装置的功能框图；

图2是说明根据第一实施方式的设备控制装置执行的控制处理的流程图；

图3是说明检测乘员的姿势的方法的一个示例的图；

图4是说明根据第一实施方式的设备控制装置所参照的辨别处理表的一个示例的图；

图5是说明根据第一实施方式的变形例的设备控制装置所参照的辨别处理表的一个示例的图；

图6是说明根据第一实施方式的变形例的设备控制装置执行的控制处理的流程图；

图7是根据第二实施方式的设备控制装置的功能框图；

图8是说明根据第二实施方式的设备控制装置执行的控制处理的流程图；以及

图9是根据第三实施方式的设备控制装置的功能框图。

具体实施方式

在根据实施方式的设备控制装置中，基于乘员的姿势和手的形状的组合执行预先分配的控制。通过将乘员的姿势结合到控制对象设备和控制的内容的辨别中，可以准确地检测由乘员对设备进行的操纵指令。

第一实施方式

配置

图1是根据第一实施方式的设备控制装置的功能框图。

设备控制装置1是控制经由通信网络或信号线连接的车载设备20的操作的装置，包括成像单元10、第一识别单元11、第二识别单元12、辨别处理单元13、以及控制器14。由设备控制装置1控制的车载设备20的示例可包括电动车窗、空调、刮水器、立体声音响、导航系统、前灯和车内照明，但不限于此。

成像单元10是成像装置(如相机)，其拍摄乘员的图像。成像单元10设置在可拍摄乘员的上身和位于上身附近的空间中的乘员的手的位置处(例如，车辆前侧的车顶附近的位置)。成像单元10可以设置在每个座位处以对一个乘员进行成像，或者可以设置在车辆中的特定位置以同时对多个乘员进行成像。此外，可见光相机或红外相机可用于成像单元10。

第一识别单元11基于成像单元10拍摄的图像识别乘员的姿势。在本实施例中，第一识别单元11从拍摄的图像中检测乘员的骨骼。可以使用已知的骨骼检测算法识别乘员的骨骼，并且可以通过人的多个关节的位置信息的组合来表示乘员的骨骼。

第二识别单元12基于成像单元10拍摄的图像估计乘员的手的状态。此处，乘员的手的状态指的是手的形状或手的形状与手的方向的组合。乘员的手的形状由手的每根手指的弯折和伸展的状态、相邻手指之间的间隔以及手掌形状的组合构成。手的方向可以通过伸出的指尖的方向或手掌的方向来指定。

辨别处理单元13基于第一识别单元11检测到的乘员的姿势和第二识别单元12检测到的手的状态，指定要控制的车载设备20和由要控制的车载设备20执行的操作。辨别处理单元13持有辨别处理表，所述辨别处理表中，对于表示乘员的姿势的信息和表示手的状态的信息的每个组合，预先关联要控制的车载设备20和要执行的操作。辨别处理单元13参考辨别处理表，并基于第一识别单元11和第二识别单元12的识别结果与在辨别处理表中定义的信息之间的匹配程度，来指定要控制的车载设备20和要执行的操作。辨别处理表存储在存储装置中，如设备控制装置1所包含的存储器。此外，要控制的车载设备20是指乘员希望通过乘员的姿势和手的状态的组合最终操作的装置。此外，下面将描述由辨别处理单元13执行以指定要控制的车载设备20和要执行的操作的处理的细节。

控制器14生成并发出与判别处理单元13指定的要控制的车载设备20和要执行的操作对应的控制命令。可以由控制命令做出的指令不受特别限制，除了用于控制车载设备20的操作的指令之外，例如打开或关闭要控制的车载设备20、改变操作模式、音量、温度、亮度或操作速度，还可以包括执行用于接收控制车载设备20的请求的操作的指令。接收控制车载设备20的请求的操作的示例包括使语音识别装置开始语音识别处理的操作。当要执行的操作针对要控制的车载设备20时，与所指定的要控制的车载设备20和要执行的操作对应的控制命令对应于被发送到要控制的车载设备的控制命令。当要执行的操作针对与要控制的车载设备20不同的装置(例如，语音识别装置)时，控制命令对应于被发送到该不同的装置的控制命令。

此外，在控制器14发出控制命令以指示由辨别处理单元13指定的操作之后，控制器14可以在满足预定条件时发出辅助命令以指示辅助操作。辅助操作的示例包括中断、取消或改变由控制命令指示的操作、以及输出调整，但不限于此。此外，为了使控制器14发出辅助命令而要满足的条件的示例可以包括：已经执行了对设置在车辆中的输入装置(例如开关、按钮、控制杆或拨号盘)的操纵；作为发出控制命令的触发器的乘员的姿势或手的状态已经改变；已经检测到用于发出辅助命令的预先决定的乘员的姿势或手的状态；以及乘员发出特定词语，但不限于此。当乘员的姿势或手的状态用作为发出辅助命令的触发器时，可以分别通过第一识别单元11以及第二识别单元12检测乘员的姿势以及手的状态。

例如，控制器14可以发出用于指示打开乘客座位的窗户的操纵的控制命令，该操纵已经基于乘员的姿势和手的状态的组合而被指定，然后在设置在方向盘中的任何一个开关(该开关通常不是用于窗户操纵)被操纵的条件下，发出用于停止开窗操作的辅助命令。通过控制器14发出这样的辅助命令，驾驶员座位上的乘员可以在驾驶期间手不松开方向盘的情况下停止乘客座位的窗户的打开操作。此外，控制器14可以发出用于指示基于乘员的姿势和手的状态的组合指定的开始语音识别处理的控制命令，然后在乘员的姿势改变的条件下，发出用于指示中断语音识别处理的辅助命令。通过控制器14发出这样的辅助命令，可以在不执行特殊操纵的情况下快速中断已开始的语音识别处理。通过控制器14能够发出辅助命令，可以提高要控制的车载设备20的使用性能。辅助命令旨在使得更容易使用要控制的车载设备20。除了这里描述的中断操纵之外，还可以通过辅助命令执行以下指令：用于中断由控制命令指示的操纵并返回到原始状态(取消操作)的指令、用于中断由控制命令指示的操纵并执行另一操纵(改变操作)的指令、用于在由控制命令指示的操纵已经开始后改变温度、音量、亮度等输出(输出调整)的指令。

控制处理

下面将参考图1至图4描述根据第一实施例的设备控制装置的详细内容。

图2是说明根据第一实施方式的设备控制装置执行的控制处理的流程图，图3是说明检测乘员的姿势的方法的一个示例的图，图4是说明根据第一实施方式的设备控制装置所参照的辨别处理表的一个示例的图。图2所示的处理是当车辆启动时开始并且直到发动机停止或电源关闭(直到满足结束条件)时以预定间隔重复执行的过程。

步骤S1：成像单元10拍摄乘员的图像。由成像单元10拍摄的图像是包括坐在座位上的乘员的上身和手的范围内的图像。此外，在以下描述中，成像单元10设置在车辆前侧的车顶附近，并且从前上方对乘员进行成像。此后，处理前进至步骤S2。

步骤S2：第一识别单元11从成像单元10拍摄的图像检测乘员的姿势。如上所述，乘员的姿势可以通过基于骨骼识别计算的乘员的关节位置信息的组合来表示。例如，如图3所示，第一识别单元11可以通过骨骼识别从而获取乘员的头部、颈部、腰部、右肩、右肘、右手腕、左肩、左肘以及左手腕各自的三维坐标，生成作为三维坐标的组合的骨骼坐标序列，由此来表示乘员的姿势。此后，处理前进步骤S3。

步骤S3：辨别处理单元13判定第一识别单元11识别的乘员的姿势是否被登记在辨别处理表中。如图4所示，辨别处理表将表示乘员的姿势的信息、表示乘员的手的状态的信息、要控制的车载设备20以及要执行的操作相关联地定义。在图4的辨别处理表的示例中，骨骼坐标序列被定义为表示乘员的姿势的信息。骨骼坐标序列是通过以特定顺序排列图3中所示的各部分的三维坐标而获得的，表示骨骼图案。辨别处理单元13将第一识别单元11生成的乘员的骨骼坐标序列依次与在辨别处理表中登记的各骨骼坐标序列比较，基于两个骨骼坐标序列的匹配程度判定第一识别单元11生成的骨骼坐标序列是否已登记。辨别处理单元13可以允许第一识别单元11生成的骨骼坐标序列与在辨别处理表中登记的骨骼坐标序列之间的一定程度的偏差，当两个骨骼坐标序列的坐标之间的距离差小于预定阈值时，即使坐标不完全匹配也可以判定为第一识别单元生成的骨骼坐标序列登记在辨别处理表中。当步骤S3中的判定结果为是时，处理前进至步骤S4，否则，处理前进至步骤S1。

乘员坐在车辆内部，并且乘员可采取的姿势限于上身可采取的姿势。优选地，在辨别处理表中登记的乘员的姿势为在驾驶操纵期间容易摆出的姿势，这些姿势在上身可采取的姿势中易于彼此区分。更优选地，在辨别处理表中登记的乘员的姿势为与在驾驶操纵期间乘员可采取的姿势不同的姿势。例如，在驾驶操纵期间，乘员难以在车内采取使上身大幅倾斜或扭转的姿势。因此，优选地，在辨别处理表中登记的乘员的姿势是肘部和腕关节的位置相对于头部或肩部的关节位置而改变的多个姿势。具体地，容易检测到手腕位于头部的右侧、左侧或前侧中任一个的姿势，或手腕或肘部位于肩部的上侧或下侧的姿势等。

步骤S4：第二识别单元12从成像单元10拍摄的图像检测乘员的手的状态。如上所述，乘员的手的状态可以由手的形状来表示、或由手的形状与手的方向来表示。例如，第二识别单元12可以使用基于深度学习的图像识别来识别乘员的手的形状和手的方向。此后，处理前进至步骤S5。

步骤S5：辨别处理单元13判定第二识别单元12识别的手的状态是否登记在辨别处理表中。如图4所示，在辨别处理表中，手的形状或手的形状与手(指尖)的方向的组合被定义为手的状态。在图4所示的辨别处理表的示例中，石头的形状(所有手指弯折以握紧的形状)、纸张的形状(所有手指都伸展开的形状)、V标志的形状以及食指竖起的形状被定义为手的形状，并且将食指的指尖方向与食指竖起的手的形状组合。尽管在图4的示例中，仅针对食指竖起的手的形状定义了手(指尖)的方向，但针对其他手的形状也可以定义手(指尖)的方向。此外，手的方向不限于指尖的方向，也可以由手掌或手背的方向定义。注意，手(指尖)的方向不是必不可少的，手的状态可以仅由手的形状定义。辨别处理单元13根据第二识别单元12识别手的形状与手的方向(指尖方向)的组合是否与在辨别处理表中登记的手的状态匹配来判定是否存在登记。当步骤S5中的判定结果为是时，处理前进至步骤S6，否则，处理前进至步骤S1。

步骤S6：辨别处理单元13对第一识别单元11识别的乘员的姿势和第二识别单元12识别的乘员的手的状态的组合执行控制处理，即，判定要控制的车载设备20和要执行的操作是否登记在辨别处理表中。例如，在图4的示例中，当乘员的姿势被识别为{(x2，y2，z2)，…}，手的形状被识别为“食指”，指尖方向被识别为“右(从成像单元观察)”时，对于所识别的姿势和所识别的手的状态的组合，在辨别处理表中，将“乘客座位窗户”登记为要控制的车载设备20，将“语音识别激活”登记为“操作”。在这种情况下，辨别处理单元13在步骤S6中判定为是。当步骤S6中的判定结果为是时，处理前进至步骤S7，否则，处理前进至步骤S1。

可以将直接控制要控制的车载设备20的操作以及通过与要控制的车载设备20不同的装置控制要控制的车载设备20的操作登记在辨别处理表中。在图4的示例中，开启或关闭空调的操作以及将刮水器设置为服务模式的操作相当于直接控制要控制的车载设备20的操作。此外，在图4的示例中，激活语音识别处理以控制乘客座位或滑动天窗的操作相当于通过不同的装置控制要控制的车载设备20的操作。

步骤S7：控制器14基于辨别处理单元13的辨别结果执行控制命令生成处理。控制器14生成控制命令，该控制命令用于对针对所识别的乘员的姿势和所识别的手的状态的组合登记的要控制的车载设备20，指示所登记的操作。例如，在图4的示例中，当乘员的姿势被识别为{(x2，y2，z2)，…}，手的形状被识别为“食指”，指尖方向被识别为“右(从成像单元观察时)”时，生成用于开始语音识别处理的控制命令，以操纵乘客座位的窗户。该控制命令是与按下设置在方向盘等中的语音识别按钮以开始语音识别处理时发出的命令等效的命令。此外，在用于操纵乘客座位的窗户的语音识别处理中，识别出诸如“打开窗户”或“关闭窗户”等话语，该话语是用于打开或关闭乘客座位的窗户的指令。

当车载设备20包括语音识别单元时，可以通过要控制的车载设备20的语音识别单元执行语音识别处理，也可以通过设置在设备控制装置1中的语音识别单元(未示出)或经由通信网络或信号线连接到设备控制装置1的语音识别装置来执行。

另外，在步骤S7中，控制器14还可以生成辅助命令，以指示当满足预定条件时要执行的操作。如上所述，辅助命令是在由控制命令指示的操作开始之后发出的命令，旨在对要控制的车载设备20指示辅助操作。是否生成辅助命令和要生成的辅助命令的内容可以针对姿势和手的状态的每个组合登记在辨别处理表中，或者可以针对要控制的车载设备20和操作的每个组合来确定。例如，当在步骤S7中控制器14已经生成了操作语音识别以操纵乘客座位的窗户的控制命令时，控制器14可以产生用于停止开窗操作或关窗操作的辅助命令，或者用于中断语音识别处理的辅助命令，所述语音识别处理用于接收操纵乘客座位的窗户的指令。作为发出这些辅助命令要满足的条件，例如，可以设定为按下设置在车辆内部的任何按钮、或者在步骤S2中识别的姿势或在步骤S5中识别的手的状态已改变。

在控制器14生成控制命令以及根据需要生成辅助命令之后，处理前进步骤S8。

步骤S8：控制器14发出在步骤S7中生成的控制命令。当控制器14通过不同的装置(如语音识别装置)控制要控制的车载设备20时，该不同的装置可以将控制命令发送给要控制的车载设备20，或者控制器14基于该不同的装置的处理结果将控制命令发送到车载设备20。此后，处理前进步骤S9。

步骤S9：控制器14判定是否满足处理结束条件，如车辆发动机停止或电源关闭。当步骤S9中的判定结果为是时，处理结束，否则处理前进至步骤S1。

效果等

在仅基于手的形状或手的动作(手势)来指定要控制的车载设备和要执行的操作的配置中，因为在行驶期间由于振动导致手的位置发生变化或存在用于驾驶操纵的手的动作，所以难以始终准确地识别手的形状或动作。因此，很可能无法如乘员所期望地控制车载设备，或者由于乘员的手的形状或动作与所登记的形状或动作之间的意外匹配而导致可能会进行不期望的车载设备的操作。可以将易于识别的手的形状或动作(手势)作为检测目标。然而，在这种情况下，由于可以分配给手的形状或动作的功能的数量减少，因此可以通过手的形状或动作指示的操纵受到限制。

另一方面，根据本实施例的设备控制装置1基于从所拍摄的乘员的图像检测到的姿势和手的状态的组合来指定要控制的车载设备20和要执行的操作。由于乘员的姿势通过各个关节的相对布置来区分，因此每个姿势的各个关节的位置之间的差异比手的形状或动作更清楚，姿势比手的形状或动作更容易辨别。在基于所拍摄的乘员图像接收乘员对车载设备20的操纵指令的装置中，如实施例中那样，通过将乘员的姿势结合在操纵指令中，可以提高操纵指令的辨别精度。此外，如该实施例中那样，当作为操作对象的车载设备20和要执行的操作被分配给乘员的姿势和手的状态的组合时，与作为操作对象的车载设备20和要执行的操作仅被分配给乘员的姿势或手的状态的情况相比，可以增加可分配功能的数量。考虑到由于车辆行驶期间的振动或驾驶操纵导致的手的动作，优选地，作为检测对象的手的状态容易被识别。在这种情况下，尽管作为检测对象的手的状态的类型受到限制，但是如该实施例中那样，通过组合乘员的姿势，可以在采用具有高识别精度的手的形状的同时增加可分配功能的数量。

第一实施方式的变形例

图5是说明根据第一实施方式的变形例的设备控制装置所参照的辨别处理表的一个示例的图。

根据该变形例的设备控制装置的基本配置与根据第一实施例的设备控制装置1的基本配置相同，但是两者不同的是辨别处理单元参照的辨别处理表的内容以及辨别处理单元为了指定要控制的车载设备和要执行的操作而执行的处理。在下文中，将参照图1、图5以及图6主要描述变形例和第一实施方式之间的差异。

如图5所示，在根据变形例的辨别处理表中，还将乘员的姿势以及手的状态的维持时间与表示乘员的姿势的信息和表示手的状态的信息的每个组合相关联。维持时间是阈值，该阈值用于区分与该维持时间相关联的乘员的姿势以及手的状态是有意还是无意的。当乘员的姿势和手的状态持续了被定义的维持时间或更长时间时，可以认为是由乘员执行的有意的操纵指令。

图6是说明根据第一实施方式的变形例的设备控制装置执行的控制处理的流程图。通过在图2所示的流程图的步骤S6和步骤S7之间插入步骤S20来获得图6所示的流程图。

步骤S20：当辨别处理单元13判定为对于第一识别单元11识别的乘员的姿势和第二识别单元12识别的乘员的手的状态的组合登记了要控制的车载设备20和要执行的操作(步骤S6中的是)时，辨别处理单元13通过参考图5所示的辨别处理表来获取与所识别的乘员的姿势和所识别的手的状态的组合相关联的维持时间。辨别处理单元13启动计时器以测定所识别的乘员的姿势以及所识别的手的状态的持续时间，判定乘员的姿势以及手的状态是否持续了从辨别处理表获取的维持时间或更长时间。当步骤S20中的判定结果为是时，处理前进至步骤S7，否则，处理前进至步骤S1。

例如，当第一识别单元11将乘员的姿势识别为{(x3，y3，z3，...)}，第二识别单元12将手的形状识别“V标志”时，在图5所示的辨别处理表的示例中，对于所识别的姿势以及手的状态的组合，“空调”被登记为要控制的车载设备，“ON”被登记为要执行的操作，并且“1000毫秒”被登记为维持时间。辨别处理单元用计时器测定从识别了乘员的姿势{(x3，y3，z3)，...}和手的形状“V标志”开始的持续时间。当所识别的姿势和所识别的手的状态持续了1000毫秒或更长时，辨别处理单元生成并发送用于打开空调的控制命令，并且如果需要，生成并发送上述辅助命令。另一方面，当在维持时间过去1000毫秒之前，乘员的姿势{(x3，y3，z3)，...}以及手的形状“V标志”中的至少一个未被识别出，则继续识别乘员的姿势和手的状态的处理而不生成控制命令。

在根据该变形例的设备控制装置中，辨别处理单元13可以通过判定乘员的姿势与手的状态的组合是否持续了维持时间或更长时间，来辨别所识别乘员的姿势以及所识别的手的状态的组合是有意执行还是意外产生的。因此，利用根据该变形例的设备控制装置，可以进一步提高由乘员有意执行的车载设备20的操纵请求的辨别精度。

在驾驶操纵期间，例如，可以通过紧握变速杆或方向盘来产生类似于“石头”形状的手的形状，或通过按喇叭按钮来产生类似于“纸张”形状的手的形状。在第一实施例中，由于不仅组合手的形状而且组合乘员的姿势来判定操纵指令，因此判定精度高于仅使用手的形状来判定操纵指令的情况。然而，当具有高发生频率的手的形状(如石头的形状或纸张的形状)用于操纵指令时，存在根据乘员的姿势而意外做出错误辨别的可能性。在根据本变形例的设备控制装置中，即使当由于驾驶操纵等而容易产生的手的形状用于操纵指令的辨别时，也可以减少意外做出的错误辨别的可能性。

在本变形例中，可以针对在辨别处理表中登记的乘员的姿势和手的状态的每个组合，记录姿势以及手的状态的识别没有持续维持时间或更长时间的次数，可以使记录次数大于预定阈值的姿势和手的状态的组合无效，或者进一步增加记录次数大于预定阈值的姿势和手的状态的组合的维持时间。如果乘员的姿势和手的状态的组合没有持续维持时间或更长时间的频率高，则组合的指示可能是容易意外发生的或者乘员容易错误地选择组合的指示。因此，通过删除没有持续维持时间或更长时间的频率较高的姿势和手的状态的组合或者改变其维持时间，能够防止意外选择这种组合。当使在辨别处理表中登记的姿势和手的状态的组合无效或者更新与组合相关联的维持时间时，可以通过车辆中的显示单元等向用户发送通知。

在图4和图5的示例中，构成骨骼坐标序列的每个关节的位置可以由坐标范围而不是特定坐标表示。此外，每个关节的坐标可以由参考预定参考点的相对坐标表示，或者可以由预先固定到相机的成像范围的坐标系的坐标值表示。

第二实施方式

图7是根据第二实施方式的设备控制装置的功能框图。

根据本实施方式的设备控制装置2包括辨别处理单元15以代替根据第一实施方式的设备控制装置1的辨别处理单元13，并且还包括车辆状态估计单元16。在下文中，将主要描述本实施方式与第一实施方式之间的差异。

车辆状态估计单元16从经由通信网络或信号线连接的其他控制装置或传感器获取关于车辆的操作的各种车辆信号，并基于所获取的车辆信号估计车辆的状态。由车辆状态估计单元16获取的车辆信号的示例可以包括表示车辆速度、加速器踏板操纵量、制动踏板操纵量、换档范围、每个门的开闭状态、每个门的锁定状态等的信号，但不限于此。由车辆状态估计单元16估计的车辆状态的示例可以包括行驶、停止、停车和上下车，并且不限于此。车辆状态估计单元16将所估计的车辆状态输出到辨别处理单元15。

当辨别处理单元15已经基于第一识别单元11识别出的乘员的姿势和第二识别单元12识别出的乘员的手的状态指定了要控制的车载设备20和要执行的操作时，辨别处理单元15基于车辆状态估计单元16估计的车辆状态来判定是否可执行所指定的操作。例如，预先准备将要控制的车载设备20和要执行的操作与允许(或禁止)执行操作的车辆状态相关联的信息，辨别处理单元15可以通过参考该信息判定是否允许所指定的要控制的车载设备20和所指定的要执行的操作。允许(或禁止)操作的车辆状态可以在辨别处理表(图4和图5)中定义，或者也可以定义为与辨别处理表不同的信息。由判别处理单元15执行的用于指定要控制的车载设备20和要执行的操作的方法与第一实施例方式的相同。

当辨别处理单元15判定为可以执行基于乘员的姿势和手的状态指定的操作时，控制器14生成并发出用于指示所指定的操作的控制命令。

图8是说明根据第二实施方式的设备控制装置执行的控制处理的流程图。如图8所示的流程图中，在图2所示的流程图的步骤S6和步骤S7之间插入步骤S25和S26。

步骤S25：当辨别处理单元15判定为对于第一识别单元11识别的乘员的姿势和第二识别单元12识别的乘员的手的状态的组合登记了要控制的车载设备20和要执行的操作(步骤S6中为是)时，车辆状态估计单元16基于车辆信号估计车辆状态。车辆状态估计单元可以基于车辆速度、加速器踏板操纵量、制动踏板操纵量、换档范围、每个门的开闭状态、每个门的锁定状态等中的一个、或两个或更多的组合来估计车辆状态，如行驶、停止、停车和上下车。

步骤S26：辨别处理单元15基于车辆状态估计单元16估计的车辆状态来判定是否允许步骤S6中指定的操作。如上所述，辨别处理单元15可以通过参考将要控制的车载设备20和要执行的操作与允许(或禁止)执行操作的车辆状态相关联的信息来判定是否允许执行所指定的操作。当步骤S26中的判定结果为是时，处理前进至步骤S7，否则，处理前进至步骤S1。

在根据本实施方式的设备控制装置2中，可以根据车辆状态允许或限制基于乘员的姿势和手的状态指定的要控制的车载设备20和要执行的操作。因此，例如，可以在车辆行驶期间禁止汽车导航系统的操纵或打开窗户的操作，可以抑制在车辆行驶期间意外执行分配给由于驾驶操纵而容易发生的姿势或手的状态的操作，或者可以抑制负荷的降低，并且可以抑制在停车时意外执行分配给由于乘员的上下车而容易发生的姿势或手的状态的操作。在根据本实施方式的设备控制中，可以根据车辆状态精细地控制基于乘员的姿势和手的状态的车载设备20的操纵。此外，由于在车辆的特定状态下容易发生的乘员的姿势和手的状态仅在该车辆的特定状态下无效，并且在车辆的其他状态下可以用于车载设备20的操纵，能够增加可分配功能的乘员的姿势和手的状态的组合的数量。

虽然在本实施例中说明了根据车辆状态决定是否允许基于乘员的姿势和手的状态指定的要控制的车载设备20和要执行的操作，但也可以为车辆的每个状态准备辨别处理表，并根据车辆状态区分基于乘员的姿势和手的状态指定的要控制的车载设备20和要执行的操作。此外，可以根据车辆状态仅区分基于乘员的姿势和手的状态指定的操作。如此一来，例如，即使当乘员指示车载设备20的操纵时的姿势和手的状态相同，也可以例如在车辆停止和行驶期间改变作为操纵对象的车载设备和要指示的操纵内容，并且根据车辆状态进一步精细地控制基于乘员的姿势和手的状态的车载设备20的操纵。

此外，本实施方式中说明的基于车辆状态的要控制的车载设备20和要执行的操作的决定也适用于第一实施方式的变形例。具体地，在图6中的步骤S20和步骤S7之间插入图8中的步骤S25和步骤S26，当所识别出的姿势和所识别出的手的状态的组合持续了维持时间或更长时间时(步骤S20为是)，判别处理单元15基于车辆状态估计单元16获取的车辆状态，判定是否执行通过所识别的姿势和所识别的手的状态的组合指定的要控制的车载设备20和要执行的操作。当辨别处理单元15判定为允许操作(步骤S26中为是)时，控制器14可以生成并发出控制命令(步骤S7)。根据该控制，可以根据车辆状态进一步精细地控制基于乘员的姿势及手的状态的车载设备20的操纵，同时进一步提高乘员有意进行的车载设备20的操纵请求的辨别精度。

第三实施方式

图9是根据第三实施方式的设备控制装置的功能框图。

根据本实施方式的设备控制装置3包括车载设备25和外部设备30，车载设备25包括成像单元10和控制器17，外部设备30包括第一识别单元31、第二识别单元32和辨别处理单元33。外部设备30例如是能够通过无线通信与车载设备25通信的服务器，或者是能够通过有线通信或无线通信与车载设备25通信的智能手机。当外部设备30是智能手机时，该外部设备30可以通过USB、LAN、蓝牙(注册商标)等与车载设备连接，但是连接方式不限于此。

成像单元10、第一识别单元31、第二识别单元32、辨别处理单元33和控制器17分别与第一实施方式或第一实施方式的变形例中描述的成像单元10、第一识别单元11、第二识别单元12、辨别处理单元13和控制器14相同。然而，在本实施方式中，由于第一识别单元31、第二识别单元32和辨别处理单元33在与车载设备25分离的外部设备30中，因此成像单元10拍摄的乘员的图像通过有线通信或无线通信发送到第一识别单元31和第二识别单元32。类似地，辨别处理单元33的判定结果通过有线通信或无线通信发送到控制器17，所述判定结果为：与乘员的姿势和手的状态的识别结果对应的要控制的车载设备20和要执行的操作，以及所识别的乘员的姿势和手的识别状态持续了维持时间或更长时间。

在本实施方式中，由于辨别处理单元33设置在外部设备30中，因此辨别处理单元33所参考的辨别处理表也存储在外部设备30的存储装置中。当辨别处理表存储在车辆外部的装置中时，通过用户使用智能手机、网络应用程序等改变辨别处理表的内容，可以根据偏好来定制可通过姿势和手的状态的组合来指示的车载设备20及操纵。

此外，尽管在第三实施方式中采用了使用车载设备25的成像单元10拍摄乘员的图像的配置，但是当外部设备30是含有相机的智能手机或平板电脑时，外部设备30的相机也可以用作为成像单元10。

此外，本实施方式的车载设备25和成像单元10的配置可以应用于上述第二实施方式。在这种情况下，图7所示的车辆状态估计单元16可以设置在车载设备25中，并且可以通过有线通信或无线通信将由车辆状态估计单元16估计的车辆状态发送到辨别处理单元33。或者，当外部设备30是智能手机或平板电脑时，图7所示的车辆状态估计单元16可以设置在外部设备30中。当车辆状态估计单元16设置在外部设备30中时，可以利用外部设备30所包括的加速度传感器、GPS等来判定车辆状态。

其他变形例

在该设备控制装置中，不仅驾驶员座位上的乘员而且副驾驶座位或后排座位上的乘员也可以是操纵指示的检测对象。在这种情况下，可以为每个乘员的乘坐位置准备辨别处理表，并可以对每个乘员的乘坐位置改变可被操纵的车载设备20或者可能的操纵。

此外，在该设备控制装置中，判定所识别的姿势与辨别处理表之间的匹配程度，判定所识别的手的状态与辨别处理表的数据之间的匹配程度，然后指定与所识别的姿势和所识别的手的状态的组合相关联的要控制的车载设备和要执行的操作，但是指定方法不限于此。例如，可以从辨别处理表中提取与所识别的姿势匹配的数据，并可以判定所识别的手的状态与所提取的数据之间的匹配程度，以指定要控制的车载设备和要执行的操作。或者，可以通过判定所识别的姿势以及所识别的手的状态与辨别处理表的数据之间的匹配程度来指定要控制的车载设备和要执行的操作。

此外，在该设备控制装置中，可以为每个用户登记辨别处理表，可以在上车时根据用户执行辨别处理表之间的切换。例如，在登记辨别处理表时，可以将用于指定用户的识别信息(代码、生物信息等)与辨别信息表相关联，可以在上车时输入用户的信息，获取与所输入的识别信息相关联的辨别处理表。此外，指纹或面部图像可以用作为用户的识别信息。当使用面部图像作为用户的识别信息时，可以在上车时通过成像单元对用户的面部进行成像来识别用户。此外，在第三实施方式中，当使用含有相机的智能手机或平板电脑作为外部设备时，可以在用户上车时使用外部设备的指纹或面部识别功能来识别用户。

此外，在设备控制装置中，辨别处理表可以存储在安装在车辆中的存储装置中，或者可以存储在车辆的外部设备(服务器、智能手机、平板电脑等)的存储装置中。此外，可以在上车时或者在车辆启动时从外部设备获取辨别处理表并存储在安装在车辆中的存储装置中。

此外，虽然在上述设备控制装置中已经描述了将乘员的姿势的识别结果输出为骨骼坐标序列的示例，但是识别结果可以是基于机器学习的抽象输出而不是坐标序列。例如，可以使用大量图像来学习回头看后座椅、寻找副驾驶座椅上的物体或系安全带姿势等的抽象概念，并基于所拍摄的乘员的图像将乘员的姿势输出为抽象概念。

此外，在该设备控制装置中，可以将手的动作(手势)(如左右挥动手、抬起和放下手、或者弯折和伸展手指)识别为手的状态。在这种情况下，考虑到由于车辆行驶期间的振动或驾驶操纵而不能准确识别手的动作的可能性，期望作为识别对象的手的动作应尽可能简单。

本发明可以用作为用于控制车载设备的设备控制装置。

Claims (5)

1.一种设备控制装置，其用于控制安装在车辆中的设备，该设备控制装置的特征在于，包括：

成像单元，其配置为拍摄所述车辆中乘员的图像；

第一识别单元，其配置为基于由所述成像单元拍摄的图像来识别所述乘员的姿势；

第二识别单元，其配置为基于由所述成像单元拍摄的图像来识别手的状态，所述手的状态至少包括所述乘员的手的形状；

辨别处理单元，其配置为，基于由所述第一识别单元识别的所述乘员的姿势和由所述第二识别单元识别的所述手的状态来指定要控制的设备和要执行的操作；和

控制器，其配置为：

发出与所指定的要控制的设备和所指定的要执行的操作对应的控制命令，以及

在所述控制器发出所述控制命令之后，当作为发出所述控制命令的触发的所述乘员的姿势或所述手的状态已经改变或者已经检测到用于发出辅助命令的预先决定的所述乘员的姿势或所述手的状态时，发出所述辅助命令，所述辅助命令用于中断或改变由所述控制命令指示的操作。

2.根据权利要求1所述的设备控制装置，其特征在于，所述辨别处理单元配置为，通过参考辨别处理信息来指定所述要控制的设备和所述要执行的操作，所述辨别处理信息中表示所述乘员的姿势的信息、表示所述手的状态的信息、表示所述设备的信息以及表示所述操作的信息是预先关联的。

3.根据权利要求2所述的设备控制装置，其特征在于：

在所述辨别处理信息中，由骨骼坐标序列表示的骨骼图案被定义为表示所述乘员的姿势的信息，并且手的形状或者手的形状和方向的组合被定义为表示所述手的状态的信息；

所述第一识别单元配置为从所述成像单元拍摄的图像识别所述乘员的骨骼坐标序列；

所述第二识别单元配置为从所述成像单元拍摄的图像识别所述乘员的手的形状和方向；以及

所述辨别处理单元配置为，基于所述第一识别单元以及所述第二识别单元的识别结果与所述辨别处理信息之间的匹配程度，将与所识别的所述乘员的姿势以及所识别的所述手的状态相关联的设备和操作指定为所述要控制的设备和所述要执行的操作。

4.根据权利要求2所述的设备控制装置，其特征在于：

在所述辨别处理信息中，与表示所述乘员的姿势的信息和表示所述手的状态的信息的每个组合相关联地进一步定义所述乘员的姿势和所述手的状态的维持时间；

所述辨别处理单元配置为，当所述辨别处理单元基于所述第一识别单元以及所述第二识别单元的识别结果与所述辨别处理信息之间的匹配程度指定所述要控制的设备和所述要执行的操作时，还判定由所述第一识别单元识别的所述乘员的姿势和由所述第二识别单元识别的所述手的状态是否持续了在所述辨别处理信息中定义的所述维持时间或更长时间；以及

所述控制器配置为，当所述辨别处理单元指定所述要控制的设备和所述要执行的操作，并且判定由所述第一识别单元识别的所述乘员的姿势和由所述第二识别单元识别的所述手的状态持续了所述辨别处理信息中定义的所述维持时间或更长时间时，发出所述控制命令。

5.根据权利要求1所述的设备控制装置，其特征在于，还包括车辆状态估计单元，该车辆状态估计单元配置为估计车辆的状态，其中：

所述辨别处理单元配置为基于所述车辆状态估计单元估计的所述车辆的状态来决定是否允许指定的操作；以及

所述控制器配置为，当所述辨别处理单元指定所述要控制的设备和所述要执行的操作并且决定允许所述指定的操作时，发出所述控制命令。