CN103188537A - 输入装置和输入识别方法 - Google Patents

Abstract

本发明披露了输入装置和输入识别方法。一种输入装置，包括：红外照相机；图像捕获单元，被配置为顺序捕获由红外照相机以预定时间间隔拍摄的多个温度分布图像；以及输入识别单元，被配置为，从由图像捕获单元捕获的多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度；从由此检测的若干对皮肤温度图像部分中识别若干对皮肤温度图像部分作为若干对检测目标图像，从若干对检测目标图像中观察运动；以及基于若干对检测目标图像的运动状态，识别操作输入。

Description

输入装置和输入识别方法

技术领域

本发明涉及输入装置和输入识别方法。更具体地，本发明涉及被配置为例如检测用户手势操作的装置以及手势操作输入识别的技术。

背景技术

作为提供台式人-机界面的技术，日本专利申请公开号2001-282456公开了通过计算由基于桌上手的图像利用指尖的形状的特点执行图案匹配而指定的指尖的坐标对而操作装置的方法，其中，所述手由红外线相机拍照。

发明内容

期望使得用户能够通过在相对于诸如电视接收器的电子装置的空间中执行挥动或移动他/她的手的操作（下文中，这样的操作统称为“手势”）来执行操作输入。

在这种情况下，设想用户由设置至电视接收器等的照相机拍照，并且基于所拍的图像来判断用户的手的运动。然而，与以上专利文件1中所公开技术不同，当观察不是那些在桌面上的目标对象时，可以观察各种对象。这样的对象的实例包括：除了用户的手之外，脸、身体、周围家具物品和电灯。

当预料到这样的情况时，例如，必须从由照相机拍摄的各种对象中判断例如作为用户手势的手的运动，并且将运动反映在操作输入中。

例如，在日本专利申请公开第2001-282456号所公开技术中，基于人的体温从由红外照相机拍摄的图像中提取手的图像。然而，如果不在桌上而在空间中执行操作，则脸部等被一起提取。

因此，为了提取手部分，必须执行复杂的成像处理，诸如从各种对象中提取手的形状特征。据此，处理装置的结构变得复杂，并且处理时间周期变得更长。这与利用红外照相机容易提取检测目标的优势相冲突。

此外，类似的问题还出现在温度等于或高于体温的物体（诸如，加热设备和灯泡）存在于红外照相机拍的摄范围内的情况中。

鉴于上述情况，需要使得使用红外照相机的输入装置将在空间中由用户作出的手势准确地识别为操作，而不用执行复杂的处理。

根据本发明实施方式，提供了一种输入装置，包括：

红外照相机；

图像捕获单元，被配置为顺序捕获由红外照相机以预定时间间隔拍摄的多个温度分布图像；以及

输入识别单元，被配置为

从由图像捕获单元捕获的多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度，

从由此检测的若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像，以及

基于若干对检测目标图像的运动状态，识别操作输入。

根据本发明另一个实施方式，提供一种输入识别方法，包括：

顺序捕获由红外照相机以预定时间间隔拍摄的多个温度分布图像；

从由此捕获的多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度；

从由此检测的若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像；以及

基于若干对检测目标图像的运动状态，识别操作输入。

换言之，根据本发明实施方式，通过从由红外照相机拍摄的多个温度分布图像的每一个中检测一对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度，例如，已经作出操作输入手势的“手”可被容易识别。然而，仅参考皮肤温度，与手势操作无关的部分（诸如人脸）可被一起识别为另一对皮肤温度图像部分。作为解决措施，从若干对皮肤温度图像部分中，从中观察到运动的该对皮肤温度图像部分被识别为一对检测目标图像（执行手势操作的诸如手的检测目标图像）。然后，基于该对检测目标图像的运动的状态，识别操作输入。

根据本发明实施方式，获得了以下优点：由用户在空间中执行的手势操作可以基于通过使用红外照相机拍摄的图像，通过简单处理以高准确度识别。

鉴于以下本发明最佳方式实施方式的详细描述，本发明的这些和其它目的、特征和优点将变得更加显而易见，如附图所示。

附图说明

图1为示出了在根据本发明实施方式在操作方法中操作者如何面向电子装置的示例图；

图2A和图2B为根据实施方式的示出手势操作实例的示意图；

图3为根据实施方式的输入装置的框图；

图4为根据实施方式的输入装置的功能结构的框图；

图5为根据实施方式由红外照相机拍摄的温度分布图像的示例图；

图6A和图6B为根据实施方式的示出了图像存储区域和重心坐标存储区域的示例图；

图7A和图7B为由红外照相机拍摄的温度分布图像之一及其二值化图像的示例图；

图8为根据实施方式的温度分布图像和二值化图像的示例图；

图9A至图9C为根据实施方式的差分图像（difference image）和重心计算的示例图；

图10A至图10C为根据实施方式的示出了二值化处理的示例图；

图11A至图11D为根据实施方式的示出了对差分图像的处理的示例图；

图12为根据第一实施方式的示出输入识别处理的流程图；

图13A和13B为示出了红外照相机位于装置下侧的情况的示例图；

图14A和14B为示出了红外照相机位于装置上侧的情况的示例图；

图15为根据第二实施方式的示出了输入识别处理的流程图；

图16为根据第二实施方式的变形例的示出了输入识别处理的流程图；

图17为根据第三实施方式的示出了运动判断的示例图；

图18为根据第三实施方式的运动判断处理的流程图；

图19A和19B为根据第四实施方式的示出了皮肤温度图像部分提取的示例图；

图20为根据第四实施方式的阈值调整处理的流程图；

图21A和21B为图示根据第五实施方式的示出了检测目标范围的设定的示例图；

图22为根据第五实施方式的输入识别处理的流程图；

图23为根据第五实施方式的用于检测目标范围的计算处理的流程图；

图24A至24C为示出了根据第六实施方式的情况的示例图，其中，难以识别差分图像中的检测目标；

图25为在指示消息的情况下根据第六实施方式的输入识别处理的流程图；

图26A至26C为示出了在存在多个检测目标图像的情况下根据第七实施方式的处理的示例图；以及

图27为示出根据第七实施方式的输入识别处理的流程图。

具体实施方式

下文中，将参考附图以以下顺序描述本发明实施方式。

<1.手势输入概述>

<2.输入装置的结构>

<3.第一实施方式>

[3-1：输入识别方法]

[3-2：输入识别处理]

[3-3：红外照相机位置]

<4.第二实施方式>

<5.第三实施方式>

<6.第四实施方式>

<7.第五实施方式>

<8.第六实施方式>

<9.第七实施方式>

<10.变形例>

注意，在实施方式中，结合在电视接收器中的输入装置作为实例示出。输入装置识别与用户的手的运动相对应的手势操作。在该实例中，电视接收器的控制单元根据由输入装置识别的操作来控制各种功能。

此外，实施方式中使用的术语含义定义如下。

温度分布图像：由红外照相机拍摄的图像，其中，各像素具有与对象的温度相对应的像素值。

皮肤温度图像部分：温度分布图像中与人皮肤的温度相对应的图像部分（像素区）。

检测目标图像：皮肤温度图像部分的一部分，对应于待用于运动状态判断的对象的图像，即，待用于手势操作的识别的目标图像。在本发明的实施方式中，用户的手的图像对应于检测目标图像。注意，各温度分布图像中以检测目标图像出现的对象（例如，用户的手）被称为“检测目标”。

<1.手势输入概述>

图1示出了设置有本实例的输入装置的电视接收器20以及观看电视接收器20的用户。例如，红外照相机1设置在电视接收器20的机壳上侧上。红外照相机1构成本实例的输入装置的一部分。红外照相机1拍摄用户。结合在电视接收器20中的本实例的输入装置基于由红外照相机1连续拍摄的所拍摄的帧的图像（温度分布图像）来检测用户的手势，并且基于已经作出什么的种类手势来识别用户的操作。

图2示出了手势操作实例。

图2A示出了利用手势操作来控制音量和频道的实例。例如，当用户相对于电视接收器20侧（换言之，红外照相机1侧）向上移动他/她的手时执行增大音量操作，当向下移动手时执行减小音量操作。此外，通过向左移动手来执行向上换台操作，通过向右移动手来执行向下换台操作。

以此方式，在操作内容已经提前被指派给各种手势模式并且输入装置已经识别用户的手势与这些内容中的任何一个相对应的情况下，输入装置将手势识别为相对应的操作内容（音量控制和频道选择）。

当然，图2A仅示出了一个实例，可以采用其它各种手势模式和操作内容。图2B示出了用户画了顺时针圆和逆时针圆的实例，并且特定的操作内容（诸如，增大/减小音量）可被指派给这样的手势模式。

可选地，尽管未示出，但不用说，其它各种手势模式（诸如，左右挥动手、前后挥动手、以三角形方式移动手以及以Z方式移动手）可被指派给特定操作。

<2.输入装置的结构>

图3示出本实例的结合在电视接收器20中的输入装置的结构。

图3主要示出了电视接收器20的内部结构，具体地，对应于输入装置10的部分。

如图3所示，电视接收器20包括红外照相机1、CPU（中央处理单元）2、RAM（随机存取存储器）3、ROM（只读存储器）4、输入/输出（I/O）端口5、主功能单元6以及被够着为将这些单元彼此连接的总线。

例如，红外照相机1如图1所示设置于电视接收器20的机壳上侧，并且拍摄作为对象的用户侧。以此方式，获得用户侧上的温度分布图像。

主功能单元6统称为电视接收器20的主功能部分。具体地，主功能单元6包括提供给电视接收器20的一般组件，诸如调谐器单元、被配置为接收和解码广播信号的解码器单元、被配置为处理解码视频/音频信号的处理单元、显示驱动单元、显示单元和音频输出单元。

CPU 2、RAM 3和ROM 4被用来执行电视接收器20的控制单元的各种处理，此外，也用作本实例的输入装置10的组件。

例如，CPU 2通过执行存储于ROM 4中的程序来整体控制电视接收器20。具体地，CPU 2通过响应于用户的操作和程序，将控制命令和控制数据经由I/O端口5发送至主功能单元6来实现控制，从而使得主功能单元6中的必要的操作被执行。此外，CPU 2还具有识别手势操作的功能，使得本实例的输入装置10的功能被实现。

RAM 3被用作CPU 2各种处理所需的存储区，诸如各种数据项和处理系数、程序开发和工作区的存储。此外，作为输入装置10的功能，RAM3还存储由红外照相机1拍摄的温度分布图像、在输入识别处理期间产生的图像、重心坐标值等。

ROM 4存储待由CPU 2执行的程序、固定系数值、调整值等。

图4从功能（即，CPU 2、RAM 3和ROM 4的功能）角度示出了输入装置10的结构。

CPU 2、RAM 3和ROM 4构成了图像捕获单元11、输入识别单元12和装置控制单元13。

图像捕获单元11捕获由红外照相机1以预定的时间间隔拍摄的温度分布图像。例如，以一帧间隔捕获温度分布图像。

具体地，由红外照相机1基于帧拍摄的拍摄图像（温度分布图像）的数据项经由I/O端口5存储于RAM 3中。结果，CPU 2可对温度分布图像执行必要的处理。图像捕获单元11是指RAM 3和CPU 2的功能发挥作用的部分。

图5示出了由红外照相机1拍摄的帧（N-1、N、N+1和N+2）的温度分布图像的实例。

输入识别单元12执行以下处理：从由图像捕获单元11捕获的多个时间连续的温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分与人的皮肤温度相对应；从以此方式检测的若干对皮肤温度图像部分中识别作为若干对检测目标图像的若干对皮肤温度图像部分，从若干对检测目标图像中可以观察运动；以及基于从若干对检测目标图像中获得的运动状态，识别操作输入。

具体地，通过使CPU 2通过二值化处理和差分图像处理（下文描述）对帧的温度分布图像执行识别用户的手势操作的处理，即，使得CPU2通过使用RAM3基于存储在ROM4中的程序来执行这些处理，来发挥输入识别单元12的功能。

装置控制单元13响应于由输入识别单元12识别的手势操作来实现主功能单元6所需的控制。例如，当识别增大音量的手势操作时，装置控制单元13向主功能单元6发送增大音量的命令，从而使得执行增大音量。具体地，装置控制单元13使得发出命令的操作的功能响应于识别的手势操作而被CPU2执行。

如图4所示，本实例的输入装置10至少包括红外照相机1、图像捕获单元11和输入识别单元12。输入识别单元12可兼作装置控制单元13。

注意，尽管这里并未描述特定的处理实例，但是在输入识别单元12的处理期间，RAM3存储各种数据项。因此，作为输入识别单元12的组件，如图6A所示存储区域被制备在RAM3中。

具体地，存在制备图像存储区域AR-a、AR-b、AR-c和AR-d以及重心坐标存储区域ARG。

尽管这里未作出详细描述，但图像存储区域AR-a和AR-b存储由红外照相机1拍摄的温度分布图像的二值化图像。

图像存储区域AR-c存储作为存储于图像存储区域AR-a和AR-b中的两个二值化图像之间的差而获得的差分图像。

图像存储区域AR-d存储通过从差分图像擦除微区域而获得的另一个差分图像。

重心坐标存储区域ARG存储在图像存储区域AR-d中存储的图像的重心位置。

如图6B所示，重心坐标存储区域ARG存储在各时间点处存储在图像存储区域AR-d中的图像的重心位置的坐标对（X值和Y值）。重心坐标存储区域ARG可存储各检测目标图像的“n”个时间上连续的重心坐标对。重心坐标存储区域ARG可以环形存储器的形式使用，从而使得由此存储的“n”个重心坐标对以重写的方式从旧重心坐标对被删除。

注意，图6B示出了用于一个检测目标图像的重心坐标对的存储区。在一些情况下，存储多个检测目标图像中各个的重心坐标对。在所述情况下，制备与图6B中存储区相同的多个存储区。

<3.第一实施方式>

[3-1：输入识别方法]

对在如上述配置的本实例的输入装置10中如何执行根据第一实施方式的输入识别处理作出描述。

首先，对根据第一实施方式的输入识别处理的发展背景作出简要描述。

当通过使用红外照相机1获得温度分布图像时，可基于图像温度分布来检测用户的皮肤（手）部分。其优点在于，通过区分用户的手来检测手势，而无需执行诸如图像分析的复杂的处理。

然而，就这样的检测准确度而言，存在如下问题。

连续地获得由红外照相机1拍摄的图像，如上述图5所示。为了从这样的温度分布图像中检测人皮肤部分，相对于预定阈值检测具有比周围温度高的温度的部分。例如，相对于阈值30℃将图像二值化。

图7A示出了由红外照相机1拍摄的某个帧的拍摄图像（温度分布图像），图7B示出了例如相对于阈值30℃二值化的图像。

尽管通过二值化来检测手部分，但是从图7B可以理解，除了手部分之外部分，还一起检测了诸如用户脸部。此外，温度比身体温度的对象，诸如，照明设备也被一起检测。因此，手、脸和其它高温对象被同时检测。

仅通过这样的简单的二值化，难以单独准确地检测原始目标部分（例如，手部分）。作为解决措施，在本实施方式中，当使用由红外照相机1获得的温度分布图像时，如下所述执行手部分单独检测以及基于检测的输入识别。

参考图8、图9、图10和图11对这样检测和输入识别作出描述。

图8示出了由红外照相机1拍摄的帧N的温度分布图像及其二值化图像Pic-a以及时间上连续后一个帧N+1的温度分布图像及其二值化图像Pic-b。

在本实例中，温度分布图像相对于两个阈值被二值化。具体地，设置略低于身体温度的第一阈值和略高于身体温度的第二阈值，使得，首先，仅温度接近身体温度的对象被检测，同时排除温度低于身体温度的对象和温度高于身体温度的对象。

图10B示出帧N和帧N+1的显示图像上某个水平线上的像素的温度值。某个水平线上的像素对应于由图10A图像中的虚线指示的水平线上的像素。可以参考图10B中的实线粗略算出水平线上的像素的温度值。换言之，在与手、脸和背照明相对应的部分处温度高。

图10B中横轴表示在一个帧中水平线上的像素数目为640个像素的情况下的像素数目，其纵轴表示温度。

帧N的温度值，即，某个水平线上像素的温度值由实线表示，而帧N+1的温度值由虚线表示。

图10B中高温区对应于手部分（区域HD）、脸部（区域FC）和与高温对象（诸如照明）相对应的部分（区域HT）。

帧N和N+1对应于移动他/她手的用户的拍摄的图像，因此，与手的图像相对应的区域HD中的高温部分的像素在帧N和N+1之间彼此偏移。同时，脸、照明等几乎不移动，因此，区域FC和区域HT中的高温部分的像素在帧N和N+1之间基本上相互对应。

在该上下文中，如上所述，温度分布图像相对于两个阈值（即，阈值th1和th2）被二值化。

第一阈值th1被设定为略低于身体温度，例如，设定约为32℃，第二阈值th2被设定为略高于身体温度，例如，设定约为38℃。

图10C示出了其中帧N和N+1已经被二值化的状态。具体地，作为二值化的结果，在从阈值th1到阈值th2的温度范围内的像素由“1”表示，而温度低于阈值th1和高于阈值th2的像素由“0”表示。

执行相对于阈值th1和th2的二值化的目的是为了提取与人皮肤温度相对应的部分，同时排除温度低于或高于人皮肤温度的部分。

据此，如图10C所示，在帧N和帧N+1的每一个观察到与手部和脸部相对应的区域“1”。换言之，通过二值化提取了皮肤温度图像部分。

注意，在图10C所示的实例中，区域“1”还少量存在于例如与照明部分相对应的区域HT中。这些区域对应于与温度变化的边缘部分相对应的像素部分。

图8中的二值化图像Pic-a和Pic-b为如上所述二值化而获得的图像，换言之，通过皮肤温度图像部分提取而获得的图像（对应于“1”的部分以白色示出，对应于“0”的部分以黑色示出）。

注意，例如，除了皮肤部分之外，像素“1”还少量存在于照明部分的边缘部分中。

在上文描述中，执行二值化主要用来提取皮肤温度图像部分。接下来，对皮肤温度图像部分（其中观察到运动）中的检测目标图像的差分图像的产生作出描述，换言之，对两个连续二值化图像之间的差异的确定作出描述。

图11A和图11B分别示出帧N和帧N+1的二值化图像的在图10C中示出的某些水平线，并且从各二值化图像的像素获得异或。图11C示出了异或结果，从而获得差分图像Pic-c。

在差分图像Pic-c中，区域“1”在一定程度上相对应地存在于手部分中，示出帧N和帧N+1的每一个中的原始拍摄图像的运动。注意，脸部也反映了轻微的运动，因此，区域“1”也少量产生于脸部中。

图9A示出了差分图像Pic-c的实例。如图9A所示，手部的相对明显的运动以及脸部的轻微运动出现在差分图像Pic-c中。

注意，其它对象（诸如照明）是不动的，因此，在差分图像Pic-c的时间点处消失。

随后，通过使用差分图像Pic-c判断检测目标图像，使得从检测目标图像中检测运动状态。

在下文描述中，将通过擦除根据图9A和图11C的差分图像Pic-c中的皮肤温度图像部分运动已经被判断为轻微的图像部分而获得的图像称作检测目标图像。

例如，当从差分图像Pic-c擦除像素数少（即，显示图像中区域小）的区域时，如图9B和图11D所示，获得了微区域已经被擦除的差分图像Pic-d。

出现在微区域已经被擦除的差分图像Pic-d中的图像部分构成检测目标图像，即，对应于用户的移动而用来执行手势操作的手的部分。

注意，在帧之间未观察到与温度高于身体温度的对象相对应的其它余下部分的运动，因此，其它余下部分在差分图像Pic-c阶段消失，如上所述。然而，例如，在已经检测到诸如蜡烛的火焰的运动的轻微运动的情况下，该轻微运动在差分图像Pic-c中作为微区域而出现。然而，微区域已经被另外擦除的差分图像Pic-d中，这样的部分甚至被擦除。因此，对应于明显的手运动的部分作为手势操作而更有可能被留下。

在检测目标图像已经被提取为差分图像Pic-d之后，检测目标图像（手）的重心坐标对通常被确定为其特征点。

如图9C所示，去定作为示出运动的图像的检测目标图像的重心g，并且计算图像上X坐标值（Xg）和Y坐标值（Yg）。

重心坐标对被用作执行手势操作的手的一个位置坐标对，并且存储于上述图6B中的重心坐标存储区域ARG中。

随后，基于之后类似计算的重心坐标对中的变化，换言之，基于根据顺序存储于重心坐标存储区域ARG中的重心坐标对计算的运动矢量，判断手的运动。

即，在根据通过如上所述帧N和N+1二值化获得的差分图像已经计算一个重心坐标对之后，计算基于例如帧N+1和N+2类似产生的另一个差分图像的重心坐标，然后将该重心坐标存储于重心坐标存储区域ARG中。

此外，相似地，根据基于帧N+2和N+3、帧N+3和N+4和后一个帧对获得的差分图像计算重心坐标对，并且将这些重心坐标对存储于重心坐标存储区域ARG中。

在这样的操作期间，CPU 2（输入识别单元12）可基于存储于重心坐标存储区域ARG中的坐标值的变化来判断手的运动。

注意，在本文描述中，如在典型的实例中，重心坐标对被用作检测目标图像（手）的特征点。然而，特征点并不限于此，而是可包括对应于指尖的最上部分的坐标对以及重心与最上部分之间的中间部分的坐标对。可以适当地选择特征点，因为被指派了一些手势操作的大的手运动用指尖比用手腕更容易做出。

[3-2：输入识别处理]

参考图12，对CPU 2执行上文所述的输入识别处理的特定处理实例作出描述。图12中所示的处理对应于在图4的结构中执行的以下处理：输入识别单元12通过对由图像捕获单元11从红外照相机1顺序捕获的温度分布图像执行步骤F101至F109的处理内容来识别手势操作；响应于此，在步骤F110中，装置控制单元13根据手势操作来实现控制。下文中，这些步骤作为CPU 2的处理来描述。

首先，在步骤F101中，作为初始处理内容，CPU 2清除参考图6所描述的图像存储区域AR-a和AR-b。

之后，每次来自红外照相机1拍摄的图像被捕获时，CPU 2重复步骤F102至F110的处理内容，直至手势操作输入识别完成。

固定在RAM 3中的图像存储区域AR-a和AR-b被用作用于存储如图8所示的二值化图像Pic-a和Pic-b的区域。从红外照相机1拍摄的帧图像（温度分布图像）被顺序二值化，然后存储于图像存储区域AR-a和AR-b中，用于产生差分图像Pic-c。

因此，在步骤F102中，CPU 2将图像存储区域AR-b中的图像数据项移动到图像存储区域AR-a。

此外，在步骤F103中，CPU 2相对于阈值th1和th2二值化当前捕获帧的所拍摄的图像（温度分布图像），并且将二值化的图像存储于图像存储区域AR-b中。

在步骤F104中，CPU 2确认二值化图像是否存储于图像存储区域AR-a中，当未存储二值化图像时，回到步骤F102。

通过上述处理，顺序拍摄的当前帧（帧N+1）和前一个帧（帧N）的相应二值化图像分别被存储于图像存储区域AR-b和图像存储区域AR-a中。

换言之，处理开始之后的第一帧的所拍摄的图像在步骤F103中首先被转换为二值化图像，然后存储于图像存储区域AR-b中。

在捕获后一个帧时的时间点处，在步骤F102中，前一个帧的二值化图像已经被移动到图像存储区域AR-a。因此，当前帧的二值化图像被存储于图像存储区域AR-b中。

因此，当前帧的二值化图像Pic-b被存储于图像存储区域AR-b中，前一个帧的二值化图像Pic-a被存储于图像存储区域AR-a中。也对随后顺序捕获的帧重复执行步骤F102和F103。

在当前二值化图像Pic-b和前一个二值化图像Pic-a已经分别存储于图像存储区域AR-a和AR-b中的状态下的捕获第二帧和随后帧的时间点处，执行对所拍摄图像的第二帧和后续帧执行的处理。在这样的情况下，处理从步骤F104进行至步骤F105。

在步骤F105中，CPU 2通过计算分别存储于图像存储区域AR-a和AR-b中的二值化图像Pic-a和Pic-b的每一个的像素值的异或来产生差分图像Pic-c。差分图像Pic-c存储于图像存储区域AR-c中。

接下来，在步骤F106中，CPU 2从差分图像Pic-c中擦除微区域，以产生例如图9B所示的差分图像Pic-d，微区域已经从差分图像Pic-d中擦除。然后，CPU 2将差分图像Pic-d存储于图像存储区域AR-d中。

具体地，在差分图像Pic-c中，当由连续存在的像素“1”形成的区域的各区域的像素值等于或小于预定值（预定像素数）时，这样的像素值由“0”取代，这就足够了。

以此方式，获得了作为其中对应于诸如用户的手的检测目标的检测目标图像被留下的差分图像的差分图像Pic-d。

然后，在步骤F107中，CPU 2对出现在差分图像Pic-d中的检测目标图像执行重心计算，并且将以此方式计算的重心坐标值存储于重心坐标存储区域ARG中。

在步骤F108中，CPU 2分析在所述时间点处存储于重心坐标存储区域ARG中的坐标值，以判断检测目标图像的运动状态。

具体地，当重心坐标存储区域ARG中存在多个重心坐标对时，计算各重心坐标对的变化矢量（方向和变化量）。

基于以此方式计算的一个或者多个矢量，判断检测目标图像是如何移动的（图像上位置的变化）。

注意，在这样的处理中，仅在至少两个坐标对的值存储于重心坐标存储区域ARG中之后，判断运动状态。换言之，仅在步骤F102至F107的处理内容被执行，至少在已经捕获第三帧的所拍摄图像之后，可以判断运动状态。换言之，在已经捕获第二帧之后，可基于第一帧和第二帧的差分图像判断第一重心坐标对，可基于第二帧和第三帧的差分图像判断第二重心坐标对。

在步骤F109中，CPU 2基于对步骤F108中的运动状态的分析结果来判断是否已经执行了某一手势操作。在已经判断处理为在还未捕获第二帧的时间点处（换言之，难以分析运动状态的时间点，或检测的运动状态并不对应特定的手势操作）的情况下，处理回到步骤F102，并且对后续捕获的图像重复上述步骤。

同时，在某个时间点处，检测目标图像的运动状态（在步骤F108中已经判定）已经判断为对应于某个手势操作运动的情况下，CPU 2的处理进行至步骤F110，使得指派给某个手势操作的控制命令被发送给主功能单元6。

例如，当识别出其中用户的手向左移动（如图2A所示）的运动状态时，CPU 2向主功能单元6发送向上换台操作的控制命令，从而使得执行向上换台操作。

通过上述处理，CPU 2判断从红外照相机1拍摄的图像中的图像（检测目标图像）中用户的手（检测目标）的运动状态，并且实现控制，使得在运动状态对应于预设的手势操作运动的情况下，根据对应的手势操作来操作装置。

根据第一实施方式的所述输入识别处理具有以下几个优点。

首先，相对于阈值th1和th2（设定为限定人皮肤温度范围）二值化来自红外照相机1的图像，因此，可以从检测目标排除温度与人皮肤温度不相等的对象。例如，这样的对象包括：高温对象，诸如照明设备和加热设备；以及温度通常比身体温度低的家具物品。因此，通过红外拍摄温度分布图像的二值化，可容易提取与人皮肤相对应的部分，即，皮肤温度图像部分。

此外，示出运动的皮肤温度图像部分被提取作为差分图像。借助于此，当手被设定为检测目标时，可排除未与检测目标相对应但与皮肤温度图像部分相对应的部分，诸如脸。

换言之，通过差分图像的二值化和产生，可提取检测目标图像，而无需执行复杂处理，诸如使用图像的图案匹配的形状分析。

在这样的处理中，在一些情况下，除了检测目标图像之外的图像被留下作为差分图像中的微区域。然而，通过擦除这样的微区域，例如，擦除其中由连续存在的像素（像素数）形成的每个区域占据的面积等于或小于预定面积（差分图像Pic-d）的部分，可更准确地判断示出运动的检测目标图像。

注意，微区域擦除的优势还在于，与手势操作无关的人的运动，诸如，在例如远离电视接收器20位置处的人的手的运动，不会被误识别为手势操作。换言之，对应于远处的人的皮肤的部分的图像占据小的面积，因此即使出现在差分图像Pic-c中，也会被从差分图像Pic-d中擦除。

在如上述从差分图像Pic-d中提取检测目标图像之后，计算检测目标图像的重心坐标对。然后，基于重心坐标对的变化，就检测目标图像的位置变化，换言之，运动量和方向性，来判断运动状态。这也可通过重心位置之间的简单的矢量计算来执行。

通过本实例的这样的处理，利用简单的运算处理，可准确地识别手势操作，并且根据手势操作可实现控制。借助于此，可容易提供由手势操作准确控制的人界面。

注意，通过使用红外照相机1，即使在照明关闭的黑暗地方，也可检测到与皮肤相对应的部分（用于判断操作者的手势操作）。因此，存在另一个优势在于，即使在黑暗房间里也可适当执行输入识别。

[3-3：红外照相机位置]

关于红外照相机1相对于电视接收器20的配置，如图1所示，红外照相机1期望尽可能多地配置于装置的上侧。

图13A示出了红外照相机1设置在电视接收器20的机壳较低位置处的状态。

在这种情况下，如图13A所示，红外照相机1的拍摄角度设定在某个仰角范围内，使得用户胸部前面的空间可被适当拍摄。这是因为，设想用户通常在他/她胸部前面的空间位置处执行手势操作。

然而，在这种情况下，如图13B所示，在许多拍摄的图像中，手部可能与在其后的面部重叠。

在这样的拍摄的图像中，在二值化之后，手部和脸部存在于同一区域中，因此，手的运动不太可能出现于差分图像Pic-c中。

同时，如图14A所示，当尽可能高地设置红外照相机1时，在拍摄的图像中，如图14B所示，脸部和手部更可能清晰地相互分开。

换言之，在这种情况下，在差分图像Pic-c中，手的运动几乎不被脸隐藏，因此，可清晰判断手的运动。

从以上描述可以理解，考虑到用户手通常达到比他/她脸的位置更低的位置的事实，在被配置为检测手势操作的输入装置中，期望红外照相机1从尽可能高的位置（从该位置可以拍摄其中手和脸不可能相互重叠的图像）拍摄图像。

具体地，红外线照相机1可以适当地结合在专制外壳的上部中，当与装置机壳分离时，位于上侧。

<4.第二实施方式>

接下来，参考图15对根据第二实施方式的输入识别处理实例作出描述。图15示出与上述图12相似的CPU 2的处理。注意，图15中，与图12中步骤相同的步骤由相同步骤编号表示，以省略相同步骤的描述。

在本处理实例中，CPU 2（输入识别单元12）从皮肤温度图像部分中选择检测目标图像，所述皮肤温度图像部分占据的面积等于或大于由红外线相机1拍摄的温度分布图像的二值化图像中的预定面积。

在图15的处理实例中，在与图12中相同的步骤F101至F104之后加入步骤F140。

在步骤F140中，CPU 2确认在每一个中像素“1”占据的面积等于或者大于预定面积的像素区是否已经存在于分别存储在图像存储区域AR-a和AR-b中的二值化图像Pic-a和Pic-b中。如在以上第一实施方式中所述，像素“1”构成了对应于均具有阈值在th1和th2之间的温度的手和脸的皮肤温度图像部分。

CPU 2确认其中像素“1”连续存在的像素区，并且计算像素区的区域（即，像素数目）。然后，在占据的区域像素数目等于或者大于预定面积的皮肤温度图像部分已经存在于各二值化图像Pic-a和Pic-b中的情况下，处理进行至步骤F105和后续步骤。步骤F105至F110的处理内容与图12中的相同。

此外，在由步骤F140处理已经判断占据的面积等于或者大于预定面积的皮肤温度图像部分未存在于二值化图像Pic-a和Pic-b至少一个中的情况下，CPU 2处理回到步骤F102。换言之，在这种情况下，未产生差分图像Pic-c，或者未执行坐标计算。

该处理实例的处理具有以下优点：通过省略不必要的运算处理的执行，更高效地执行了所述处理；除了作为操作者的用户的手之外的运动不易被误识别为手势操作。

换言之，本处理实例的处理设计关注以下事实，当在步骤F140中判断占据的面积等于或者大于预定面积的皮肤温度图像部分未存在于二值化图像Pic-a和Pic-b至少一个中时，手势操作可能还未由作为操作者的用户执行。

通常，如图1所示，在电视接收器20的前面，执行手势操作的用户相对靠近电视接收器20。因此，操作者的脸和手在从红外照相机1拍摄的图像中占据相对大的面积（像素区）。

同时，当操作者移动远离电视接收器20的前面时，在温度分布图像中未拍摄操作者的脸或手。此外，在另一个人位于远处位置（通常，未执行手势操作）的情况下，即使由红外照相机1拍摄人的脸和手，由与脸和手相对应的皮肤温度图像部分占据的面积也小。

因此，采用这样的结构，使得即使皮肤温度图像部分出现在二值化图像中，仍判定占据小的面积的皮肤温度图像部分的图像未对应于“已经作出手势操作的用户的手部”，并且在步骤F140处取消处理（不执行步骤F105和后续步骤）。

借助于此，防止将远处的人的运动误识别为手势操作，并且当无人时，通过阻止产生不必要的差分图像和坐标计算，可以更有效地执行处理。

作为相同目的的处理，可以执行如图16所示的处理。图16的处理通过将步骤F141添加至图12处理而获得。

步骤F101至F105与图12中的相同。

在步骤F141中，CPU 2确认在步骤F105中产生差分图像Pic-c时的时间点处，在其中每一个中连续像素“1”占据的面积等于或者大于预定面积的区域是否已经存在于差分图像Pic-c中。

然后，在对应于像素“1”（占据的面积等于或者大于预定面积（像素数目））的部分已经存在于差分图像Pic-c中的情况下，处理进行至步骤F106和后续步骤。步骤F106至F110的处理内容与图12中的相同。

此外，在由步骤F141处理内容已经判断对应于像素“1”（占据的面积等于或者大于预定面积）的部分未存在于差分图像Pic-c中的情况下，CPU 2处理回到步骤F102。换言之，在该情况下，不执行坐标计算。

差分图像Pic-c中的像素“1”对应于皮肤温度图像部分中的示出运动的部分。因此，在在步骤F141中，已经判断连续像素“1”在差分图像Pic-c中占据的面积等于或者大于预定面积的情况下，可以判断对应于手和脸的皮肤温度图像部分包括示出略微明显运动的区域。

如第一实施方式所述，在步骤F106中，从差分图像Pic-c中擦除微区域。在这方面，在已经判断不存在对应于像素“1”（占据的面积等于或者大于预定面积）的区域的情况下，未检测到对手势操作有效的运动。

例如，在用于步骤F141中的区域判断的阈值和用于步骤F106中的微区域判断的阈值被设定为彼此相等的状态下，在在步骤F141中已经判断不存在对应于像素“1”（占据的面积等于或者大于预定面积）的区域的情况下，出现以下情况，在步骤F106中已经擦除微区域之后，像素“1”不再存在于差分图像Pic-d中。换言之，从一开始就不存在示出对应于手势操作的运动的图像。

此外，例如，在用于步骤F141中的区域判断的阈值被设定为大于用于步骤F106中的微区域判断的阈值的状态下，在步骤F141中已经判断不存在与像素“1”（占据的面积等于或者大于预定面积）相对应的区域的情况为以下情况：在步骤F106中已经擦除微区域之后，差分图像Pic-d中的像素“1”表示对应于示出不太大运动的图像的信息。换言之，像素“1”在该情况下不可能表示与手势操作相对应的信息。

因此，在与像素“1”（占据的面积等于或者大于预定面积）相对应的区域不存在于差分图像Pic-c中的情况下，几乎不可能示出与手势操作相对应的图像。因此，在该情况下，通过被配置为从步骤F141返回至步骤F102而不执行坐标值的计算来更有效地执行处理，并且防止轻微的运动被误识别为手势操作一部分。

<5.第三实施方式>

参考图17和图18对根据第三实施方式的处理作出描述。

在本实例中，CPU2（输入识别单元12）执行操作输入的识别处理，假设变化预定量或更大的位置变化（示出了检测目标图像的运动状态）被连续检测预定次数或更多次数。

图17仅示出了帧N、N+1和N+2的二值化图像中对应于用户的手的部分。当执行手势操作时，在所述帧上连续观察到用户手的一定量或者更大量的运动。例如，如图17所示，在帧N、N+1、N+2和后续帧上连续观察到二值化图像中的手的位置的变化。

同时，甚至在已经出现在二值化图像中的情况下，当手的图像位于各连续帧中完全相同的位置处时，可以确定手未移动，因此，未执行手势操作。

因此，当假设变化预定量或更大量的位置变化（示出了作为检测目标图像的手的图像的运动的状态）在预定数量或更多的帧上被连续检测到而作出判断时，可以准确地判断所述运动是否对应于手势操作。

具体地，在图12所示的步骤F108中，CPU 2执行图18中所示的子程序，这就足够了。

如第一实施方式所述，在图12的步骤F108中，CPU 2分析存储于重心坐标存储区域ARG中的坐标值，以判断运动状态。此时，CPU 2执行图18的运动判断处理。

注意，在图18的处理实例中，预定量或者更大量的运动被连续检测两次。

首先，在步骤F150中，CPU 2计算在帧N和N+1上的检测目标的运动矢量，并且将该运动矢量设定为运动矢量V1。

此外，在步骤F151中，CPU 2计算在帧N+1和N+2上的检测目标的运动矢量，并且将该运动矢量设定为运动矢量V2。

图17利用二值化图像示意性地示出了帧N和N+1上的检测目标的运动矢量V1以及帧N+1和N+2上的检测目标的运动矢量V2。在这方面，图17的处理实例略微不同于图12的处理实例。

在图12的处理实例中，实际上，基于已经擦除了微区域的差分图像Pic-d来计算坐标值，因此，基于从帧N和N+1产生的差分图像Pic-d获得的坐标值以及从帧N+1和N+2产生的另一个差分图像Pic-d获得的坐标值来计算运动矢量V1。同样，基于从帧N+1和N+2产生的差分图像Pic-d获得的坐标值以及从帧N+2和N+3产生的另一个差分图像Pic-d获得的坐标值来计算运动矢量V2。

换言之，基于顺序存储在重心坐标存储区域ARG中的坐标值的差值来获得运动矢量V1和V2，这就足够了。

在步骤F152中，CPU 2判断各运动矢量V1和V2是否大于运动量阈值Vs。

在V1>Vs和V2>Vs两者都满足的情况下，处理进行至步骤F153，并且CPU 2判断已经作出运动。与此同时，在V1>Vs和V2>Vs中没有一个或者至少一个满足的情况下，处理进行至步骤F154，并且CPU 2判断未作出运动。

图18仅示出了步骤F108中的处理内部的一部分（运动判断）。在CPU2判断已经作出运动的情况下，CPU 2基于存储在重心坐标存储区域ARG中的坐标值判断运动状态，并且确定运动是否对应于手势操作。

同时，在CPU 2判断未作出运动的情况下，CPU 2不确定运动状态是否对应于手势操作。因此，可立即判断未执行操作输入。

以此方式，当假设变化预定量或更大量的位置变化（示出了检测目标图像的运动的状态）被连续检测预定次数或更多次，换言之，当假设基于运动矢量计算的运动的量保持等于或大于预定的量而确定运动的状态时，防止了由对用户的瞬时运动或轻微运动的不必要的响应而导致的误操作，从而可以以更高的效率来执行处理。

注意，在图18的实例中，尽管将连续两次作出比运动量阈值Vs大量的运动设定为条件，但当然，关于次数，可以将连续三次或者连续四次设定为条件。

例如，在连续三次的情况下，计算后一帧的运动矢量V3，并且同时满足V1>Vs、V2>Vs和V3>Vs，这就足够了。

此外，在上述实例中，尽管在图12的步骤F108中执行了图18的子程序，但是这不应视为限制性的。例如，如图17中所示，可基于帧的二值化图像来计算运动矢量V1、V2和后续运动矢量，在该阶段，可以判断是否满足预定次数和预定量的条件。

<6.第四实施方式>

参考图19和图20对根据第四实施方式的处理实例作出描述。

在本处理实例中，在二值化图像产生时，在通过使用第一阈值th1和第二阈值th2已经检测到例如与作为目标的手相对应的部分之后，已经指定检测目标的温度的情况下，设定大于第一阈值th1的第三阈值th3以及小于第二阈值th2的第四阈值th4使得检测范围变窄。以此方式，可容易指定皮肤温度图像部分。

如图19A所示以及如以上第一实施方式所述，CPU 2（输入识别单元12）通过相对于阈值th1和th2（设定为限定人皮肤温度范围）相互比较各温度分布图像的像素温度值从温度分布图像中检测皮肤温度图像部分。

之后，基于识别为检测目标图像的皮肤温度图像部分的温度值，CPU2设定阈值th3和th4（参考图19A），阈值th3和th4限定比由阈值th1和th2限定的温度范围更小的温度范围。随后，通过使用阈值th3和th4，CPU2从温度分布图像中检测皮肤温度图像部分，换言之，产生二值化图像。使用红外线的温度检测在分辨率方面具有优势，因此，甚至可检测到小于0.1℃的差异。因此，足以检测用户脸和手之间的温度差、个人身体温度之间的差异等。借助于此，可更加准确地识别手势操作。

为了执行这样的处理，CPU2执行例如与图12中相似的输入识别处理，这就足够了。具体地，例如，CPU2（输入识别单元12）执行如图20中所示的阈值调整处理以及图12的处理。

在步骤F201中，CPU2将温度宽度Td设定为初始设定。温度宽度Td是指图19B中所示的从目标温度Tg到阈值th3和th4的温度宽度。目标温度Tg例如为作为检测目标的手的温度。

在步骤F202中，CPU2将阈值th1和th2（限定检测人皮肤的通用温度范围）设定为用于图12的步骤F103中的阈值。

借助于此，准备执行如第一实施方式所描述的图12的处理。

之后，在步骤F203中，CPU2测量检测目标的温度（目标温度Tg）。所述处理内容可在图12的处理执行期间在某个时间点指定检测目标图像之后执行。例如，指定检测目标图像的某个时间点为图12的步骤F106的时间点，在所述时间点获得已经擦除了微区域的差分图像Pic-d。

当计算与差分图像中指定的检测目标图像相对应的二值化图像的像素位置（坐标值）并且在二值化图像的原始温度分布图像中检测像素位置处的温度值时，温度值可被获得作为检测目标（例如，作为操作者的用户的手）的温度，换言之，作为目标温度Tg。

在测量目标温度Tg之后，CPU2将处理从步骤F204进行至步骤F205，并且如下基于预先设定的温度宽度Td以及目标温度Tg来确定阈值th3和th4。

阈值th3=Tg-Td

阈值th4=Tg+Td

在以此方式判定阈值th3和th4之后，在步骤F206中，CPU2将阈值th3和th4设定为用于图12的步骤F103中的阈值。

借助于此，同样在阈值调整处理之后，在继续的图12的处理的后续部分中，通过使用阈值th3和th4来执行步骤F103中的二值化处理。

在通过使用阈值th3和th4产生的二值化图像中，更加准确地排除了除了对应于操作者的皮肤的部分之外部分。因此，出现在二值化图像中的皮肤温度图像部分更有可能包括对应于操作者皮肤的部分。

结果，例如通过图12的处理，可更加准确地识别手势操作。这是因为，可以以高的准确度来判断二值化图像中的皮肤温度图像部分。

此外，在存在多个人的情况下，可以从二值化图像更有可能地排除与除了操作者之外人皮肤相对应的部分的图像。此外，利用该优点，可以以跟高的准确性识别手势操作。

此外，在操作者手的温度和脸的温度彼此略微偏离的情况下，手部可被单独提取作为二值化图像。同样在该情况下，可以以更高的准确性识别手势操作。具体地，存在以下优点：即使操作者移动他/她手的范围的一部分与脸重叠，也可仅准确地识别手的运动。

保持使用阈值th3和th4的状态，直至完成手势跟踪。在完成手势跟踪之后，处理回到步骤F202，而使用阈值th3和th4的状态被复位为使用阈值th1和th2的状态。

设想在步骤F207中如何判断手势跟踪的完成的各种实例。

例如，在通过图12的处理已经识别单个手势操作的情况下，在步骤F110中发出控制命令时的时间点处，可以完成手势操作。在该情况下，对关于单个手势操作的帧执行的处理中，可以在设定阈值th3和th4之后以更高的准确性获得二值化图像，因此，可以以更高的准确性识别作为手势操作的运动的状态。

可选地，在相对于某个用户皮肤温度（已经设定为目标温度Tg）已经设定阈值th3和th4的情况下，可能不识别其它用户的手势操作。因此，为了处理多个人的手势操作，在单个手势操作完成之后取消阈值th3和th4设定，使得阈值th3和th4的使用状态回到阈值th1和th2的使用状态，这是合适的。

可选，在某个时间间隔中未识别手势操作的情况下，可以判断手势跟踪已经完成。

可选地，自然设想，某个用户连续执行手势操作。在该情况下，当阈值th3和th4的使用状态相对于某个用户的皮肤温度（其已经被设置为目标温度Tq）被设置一次时，期望连续使用阈值th3和th4。因此，在任何手势在短时间间隔内重复作出的情况下，假设由同一人执行操作，则保持阈值th3和th4的使用状态是合适的。

可选地，当阈值th3和th4的使用状态被保持一定时间段时，在至少一个手势操作被检测到之后，可执行步骤F203中的目标温度Tg的测量。这是因为，在操作已经被识别为至少一个手势操作的情况下，当与操作相对应的图像被识别为检测目标图像时，可准确地检测检测目标的温度。结果，阈值th3和th4的准确度可得到提高。

可选地，可以判断的是，在针对相同目的设定阈值th3和th4之后，在某个时间段之后手势跟踪已经完成。

可选地，可以将特定的手势操作设定为取消阈值th3和th4的设定的操作，使得利用来自用户的指令完成手势跟踪。

注意，尽管与图12的输入识别一起执行了上述的图20的子程序，但是在这方面，设想，例如，利用设定模式来设定阈值th3和th4。

例如，作为设定模式，用户必须将他/她手放在红外照相机1前面，或者必须在阈值th1和th2的使用状态中执行手势操作。在这种状态下，检测了皮肤温度图像部分，并且温度分布图像中的相对应的部分的像素温度被设定为目标温度Tg。在获得目标温度Tg之后，设定阈值th3和th4，随后，阈值th3和th4继续被用作用于图12的步骤F103中的阈值。

关于手势操作，当某个用户不断使用输入装置时，可以用户的身体温度如上所述地预先设定阈值th3和th4以提高准确度，这也是合适的。

尽管阈值th3和th4为从目标温度Tg计算的值，但是固定值（为限定比由阈值th1和th2限定的温度范围更小温度范围的值）可被用作阈值th3和th4。例如，当作为检测目标的用户手的温度落入由阈值th3和th4限定的范围内时，可执行诸如切换为使用阈值th3和th4的处理。

<7.第五实施方式>

参考图21、图22和图23对根据第五实施方式的处理作出描述。

第五实施方式示出了这样的实例，其中，在CPU 2（输入识别单元12）已经检测到检测目标图像的特定运动的情况下，CPU 2基于示出特定运动的检测目标图像位于温度分布图像和二值化图像中何处来设定检测目标范围。随后，在该检测目标范围内检测检测目标图像。

图21示出了第五实施方式的实例。图21A示出了其中对应于用户手的一部分的区域HD和对应于用户脸的一部分的区域FC出现在二值化图像中的状态。

这里，假设，在输入识别处理期间，用户作出绘制圆（由虚线箭头RD表示）的运动作为对应于范围设定操作的特定运动。

在已经检测到这样的特定运动的情况下，基于图像中运动的位置将检测目标范围Adet设定为如图21B所示。

随后，在该检测目标范围Adet内执行检测目标图像的检测和运动状态的判断。

图22示出CPU 2的处理实例。注意，步骤F101至F110与图12中的相同，因此，省略相同步骤的描述。

图22的处理基本上与图12的处理相同，除了，例如将如以上图21所示的绘制圆的手势预设为特定手势之外。然后，当用户作出该特定手势时，设定检测目标范围Adet。

换言之，在通过步骤F108中的检测目标图像的运动状态的判断，运动已经被识别为手势操作的情况下，不仅CPU 2将处理从步骤F109进行至步骤F110以发出相应的命令，而且通过本实例的步骤F108中的运动判断，除了判断所述运动是否对应于手势操作之外，还判断所述运动是否对应于绘制的“特定手势”（例如，作为范围设定操作的圆）。

然后，在已经识别作为范围设定操作的特定手势的情况下，处理从步骤F120进行至步骤F121，并且CPU 2执行计算检测目标范围Adet的处理内容。

图23示出了步骤F121中计算检测目标范围Adet的处理实例。

当用户作出绘制图21A中由虚线箭头RD表示的圆的运动时，响应于此，在步骤F301中，CPU 2计算图像中圆的中心坐标对CP和直径D。

注意，在图22的步骤F107中获得帧中的手的图像的重心坐标对，并且随后将所述重心坐标对存储于重心坐标存储区域ARG中。因此，在图22的步骤F108中，可以基于重心坐标值变化（运动矢量的方向）来识别绘制圆的手势。此外，在图23的步骤F301中，基于重心坐标值，可计算沿着存储在重心坐标存储区域ARG中的重心坐标的迹线形成的圆的中心坐标对CP和直径D。

接下来，在步骤F302中，CPU 2计算检测目标（手）的高度H和宽度W。可以基于某个帧的二值化图像中的手部的高度方向和宽度方向上的像素数目来计算检测目标的高度H和宽度W。

然后，在步骤F303中，CPU 2将由中心坐标对CP周围的宽度W+D和高度H+D限定的范围设定为检测目标范围Adet。换言之，如图21B所示，检测目标范围Adet对应于手的图像通常可能被拍摄的范围。

在如上所述在图22的步骤F121中已经计算了检测目标范围Adet之后，在步骤F122中，CPU 2开始被限制在检测目标范围Adet内的输入识别处理，然后执行步骤F102和后续步骤的处理内容。

因此，随后，仅在检测目标范围Adet内执行从步骤F102到F108的处理内容。

具体地，产生对应于检测目标范围Adet的二值化图像。然后，产生多个二值化图像的差分图像，并且从差分图像擦除微区域。以此方式，检测目标图像被指定，并且检测目标图像的重心位置被存储。之后，基于重心位置如何变化来判断检测目标图像的运动的状态。

注意，二值化图像通常可能产生在整个屏幕上，然后差分图像Pic-c可能仅产生在检测目标图像Adet中。

根据上述处理实例，在将其中由用户的手执行的手势操作所处的范围限制在每个拍摄的图像中的同时执行输入识别。因此，当执行输入识别时，更有可能排除脸部和其它对象，因此，可以以更高的准确性识别手势操作。

注意，在上述实例中，在图22的输入识别处理期间，根据由用户作出的特定手势来设定检测目标范围Adet。然而，例如，可利用独立于输入识别处理的设定模式来设定检测目标范围Adet。

具体地，在设定模式的状态下，用户必须作出特定手势，然后CPU 2识别特定手势，并且执行如图23所示的子程序。以此方式，可设定检测目标范围Adet。随后，可在检测目标范围Adet内执行输入识别处理，并且可由用户操作来启用检测目标范围Adet。

此外，当然，特定手势包括除了绘制圆的手势之外的其它各种手势。

此外，设定检测目标范围Adet的方法包括其它各种方法。

例如，用户必须作出以四边形或者圆形方式移动他/她的手的“特定手势”，并且图像中略微大于所述手势移动轨迹外轮缘的范围可被设定为检测目标范围Adet。

<8.第六实施方式>

参考图24和图25对第六实施方式作出描述。在第六实施方式的实例中，在预定时间周期内未检测到皮肤温度图像部分（参考差分图像从皮肤温度图像部分中观察运动）的情况下，CPU 2（输入识别单元12）执行输出消息处理。

图24A和图24B分别示出某些连续帧的二值化图像Pic-a和Pic-b。在该情况下，原始拍摄的图像包含用户的脸和手，各二值化图像Pic-a和Pic-b中出现与用户手一部分相对应的区域HD以及与用户脸一部分相对应的区域FC。然而，如图24A和图24B所示，手区HD与脸区FC重叠，因此，难以单独提取手区HD。换言之，手的运动被其后的脸区FC隐藏，因此，难以检测到手的运动。

在这种状态下，如图24C所示，CPU 2难以从二值化图像Pic-a和Pic-b的差分图像Pic-c检测到与运动相对应的差分像素。

这样的情况可能出现在用户在他/她的脸的前面执行移动他/她手的手势操作时。在这样的情况期间，难以准确地检测手势操作。

作为解决办法，在这样的情况下，CPU 2执行向用户输出消息的处理。

例如，作为图12中的步骤F105的子程序，CPU 2执行如图25中所示的处理内容。

在图12中，当处理进行至步骤F105时，二值化图像Pic-a和Pic-b已经被分别存储于图像存储区域AR-a和AR-b中，并且产生了二值化图像Pic-a和Pic-b的差分图像Pic-c。

在该情况下，在图25的步骤F401中，CPU 2确认各二值化图像Pic-a和Pic-b中是否存在皮肤温度图像部分。皮肤温度图像部分对应于各由通过相对于阈值th1和th2二值化获得的像素“1”而形成的区域。

在二值化图像Pic-a和Pic-b至少一个中不存在皮肤温度图像部分的情况下，没必要产生差分图像Pic-c，因此，处理回到图12步骤F102。

在各二值化图像Pic-a和Pic-b中存在皮肤温度图像部分的情况下，CPU 2将处理进行至步骤F402，并且计算各二值化图像Pic-a和Pic-b的像素的异或，以产生差分图像Pic-c。

在该情况下，在步骤F403中，CPU 2确认是否已经产生了有效差分图像Pic-c。有效差分图像是指其中存在示出运动的皮肤温度图像部分的差分图像。例如，当差分图像Pic-c中存在与像素“1”（占据的面积等于或者大于预定面积）相对应的连续区域时，判断已经产生了有效差分图像Pic-c。同时，如图24C所示，当不存在或者几乎不存在像素“1”时，判断未产生有效差分图像Pic-c。

在已经获得有效差分图像Pic-c的情况下，CPU 2将处理进行至步骤F404，并且将有效差分图像Pic-c存储在图像存储区域AR-c中。以此方式，完成图12的步骤F105的子程序，处理进行至步骤F106。

同时，在产生有效差分图像Pic-c失败的情况下，CPU 2将处理进行至步骤F405，以递增变量CT，其中，CT为连续产生无效差分图像多少次的计数。

然后，在步骤F406中，CPU 2判断变量CT是否等于或者大于计数阈值CTth。在已经满足CT<CTth的情况下，CPU 2将处理直接进行至图12的步骤F102。

在图12的处理（该处理在每次来自红外照相机1的所拍摄的图像的帧时被捕获时被执行）期间，在某个时间点，尽管二值化图像中的皮肤温度图像部分存在，但是在持续长时间段未产生有效差分图像Pic-c的情况下，在步骤F406中判断变量CT等于或者大于计数阈值CTth。

在该情况下，CPU 2将处理从步骤F406进行到步骤F407，以控制消息指示。换言之，在参考图24所描述的情况下，CPU 2估计未令人满意地检测到手势操作，然后使主功能单元6执行消息输出，诸如“改变作出手势操作的手的位置”。例如，CPU 2可实现控制，例如使得执行消息指示执行固定时间段。

然后，在步骤F408中，CPU 2将变量CT复位到零，并且将处理返回到图12的步骤F102。

通过执行这样的处理，例如，根据用户的手的位置，在长时间段内未检测到手势操作的情况下，可以请求用户校正执行手势操作的位置。例如，当用户根据消息指示来降低他/她的手的位置时，之后可获得有效差分图像Pic-c。结果，可正确识别手势操作。

在上述处理实例中，指示了用于请求用户改变手势位置的消息。在这方面，所述消息可在其它各种时序处以及在其它各种条件下被指示。

例如，即使电视接收器20前面有人并且在二值化图像中出现人的皮肤温度图像部分，在人根本还未执行任何手势操作的情况下，可能判断在长时间段内未获得差分图像Pic-c。

作为解决措施，尽管电视接收器20已经处于等待手势操作的模式中的状态，在预定时间段内未检测到手势操作的情况下，可指示消息。

可选地，例如，关注以下事实：在已经执行了任何手势操作的情况下，除了手的部分（诸如脸）移动一定程度，则采用这样一种方法，其中，手的运动没有出现而在对应于脸的部分处出现轻微运动的差分图像pic-c被判断为无效差分图像pic-c。

换言之，例如，尽管假设已经执行任何手势操作，在难以检测手的运动的情况下，指示消息是适当的。

<9.第七实施方式>

参考图26和图27对第七实施方式作出描述。

在第七实施方式的实例中，在已经获得多个检测目标图像的情况下，CPU 2（输入识别单元12）选择一个检测目标图像，设定与所选的一个检测目标图像对应的检测条件，并基于检测条件来检测后续的检测目标图像。

例如，作为检测条件，可以使用根据所选的一个检测目标图像的温度而设定的温度范围条件（温度条件）以及基于所选的一个检测目标图像的图像位置而设定的检测目标范围Adet条件（位置条件）中的至少一个。

此外，在已经获得多个检测目标图像的情况下，CPU 2（输入识别单元12）从多个检测目标图像中选择与特定运动对应的图像作为一个检测目标图像。

图26示出第七实施方式的实例的概况。

例如，假设电视接收器20前面有三个人，如图26A所示，例如，三个人的各手的区域HD1、区域HD2和区域HD3作为二值化图像中的皮肤温度图像部分而出现。

注意，三个人手的相应温度为35.5℃（区域HD1）、35.7℃（区域HD2）和34.9℃（区域HD3）。

如上所述，在已经拍摄到多个人的手的情况下，需要通过指定哪个手已经作出与手势操作相对应的运动来识别手势操作。

因此，在本实例中，通过检测作为已经执行了对应于预设的特定运动（特定手势）的手势操作的操作者的人（手）的运动来识别手势操作。

例如，如图26A所示的绘制由虚线箭头RD表示的圆的手势被设定为特定手势。

在已经检测到这样的特定手势的情况下，相对于手的温度，CPU 2设定用于二值化的阈值th3和th4，并且设置例如如图26B中所示的检测目标范围Adet。例如，通过与第五实施方式中所描述的相同的处理来设定检测目标范围Adet。

随后，基于由阈值th3和th4确定的温度条件以及二值化图像中的检测目标范围Adet内的位置条件，通过指定对应于特定手势操作的一个检测目标图像来识别手势操作。

例如，作为温度条件，当阈值th3被设定为35.0℃且阈值th4被设定为36.0℃时，图26A中的区域HD1和HD2的手图像满足温度条件。换言之，当相对于阈值th3和th4执行二值化时，如图26C所示，在二值化图像中提取了区域HD1和HD2的手图像。此外，当在作为位置条件的检测目标范围Adet内执行检测时，只有区域HD1的手图像出现。在这样的情况下，CPU 2通过检测区域HD1的图像运动的状态来识别手势操作。

注意，没必要基于温度条件以及图像中的位置条件来指定多个检测目标图像。

图27具体示出了CPU 2的处理实例。图27示出了图12的处理的变形例，具体地，示出了图12的步骤F107和F108以及作为子程序添加至步骤F107和F108的步骤F501至F505。也参考图12对步骤F501至F505作出描述。

CPU 2执行如上所述图12的步骤F101至F106。注意，阈值th1和th2被设定为用在步骤F103中的原始阈值。

在步骤F106中通过擦除微区域来产生差分图像Pic-d之后，在步骤F107中CPU 2对检测目标图像执行重心计算。

在本实例中，如图27所示执行上述步骤F107。

首先，在步骤F107a中，CPU 2确认在微区域已经被擦除的差分图像Pic-d中是否已经存在多个检测目标图像。

在只有一个检测目标图像存在的情况下，CPU 2将处理进行至步骤F107b，以对所述一个检测目标图像执行重心计算，并且将通过重心计算获得的坐标值存储在重心坐标存储区域ARG中。该处理内容与图12的步骤F107的处理内容相同。

同时，在已经存在多个检测目标图像的情况下，CPU 2将处理进行至步骤F107c，以对多个检测目标图像中的每一个执行重心计算，并且将通过重心计算获得的坐标值存储于重心坐标存储区域ARG中。注意，在重心坐标存储区域ARG中，准备多个存储区，使得与所述多个检测目标图像对应的坐标值可顺序存储在各时间帧处。例如，以与多个检测目标图像的数目对应的多个单元来准备如图6B所示的存储区。

在图12的后续步骤F108中，CPU 2基于重心坐标存储区域ARG的内容来分析重心坐标对的变化，以判断检测目标图像的运动的状态。在本实例中，在步骤F108中，CPU 2执行图27中所示子程序。

首先，在步骤F108a中，CPU 2基于是否已经存在多个检测目标图像来分支处理。在只存在一个检测目标图像的情况下，在步骤F108b中，CPU2基于存储于重心坐标存储区域ARG中的一系列重心坐标值来分析运动状态。所述处理内容与参考图12所描述的相同。

在通过所述处理内容检测到与任何手势操作相对应的运动的情况下，CPU 2将处理从图12的步骤F109进行至步骤F110，以向主功能单元6发出对应的控制命令。

同时，在存在多个检测目标图像并且多个检测目标图像中各个的一系列重心坐标值已经存储于重心坐标存储区域ARG中的情况下，CPU 2将处理从步骤F108a进行至步骤F108c，以通过分析多个检测目标图像中各个的重心坐标对的变化来判断运动状态。

在该情况下运动状态的判断是基于是否已经作出上述绘制圆的特定手势。

在从多个检测目标图像中任何的一个中未检测到特定运动（特定手势）的情况下，处理从步骤F501进行至图12的步骤F109，然后回到步骤F102。

当对从红外照相机1顺序提供的帧重复图12（和图27）的处理时，在步骤F501中，可以判断，在某个时间点，已经作出特定运动。

作为这样的情况的实例，示出了以下情况：如图26A所示，三个拍摄的手图像已经作为与微区域已经被擦除的差分图像Pic-d中的运动（换言之，检测目标图像）对应的部分出现。在上述步骤F107c中，计算并且存储各帧处理周期中各检测目标图像的重心坐标对。

在当各检测目标图像的所需数目的重心坐标值存储于重心坐标存储区域ARG中时的时间点处，可以判断检测目标图像之一的运动状态已经对应于绘制圆的运动。

例如，当对应于图26A的区域HD的手图像的用户用他/她的手绘制圆时，在某个时间点处通过步骤F108c中的分析来检测该特定手势。

在这种情况下，CPU 2将处理从步骤F501进行至步骤F502，以指定一个检测目标图像。换言之，与微区域已经被擦除的差分图像Pic-d（已经擦除微区域）中的区域HD1对应的图像被指定作为一个检测目标图像。

然后，在步骤F503中，CPU 2通过使用基于对应于区域HD1的温度分布图像而获得的温度（与区域HD1相对应的手的温度）来计算阈值th3和th4。例如，如第四实施方式所述，如下通过计算来确定阈值th3和th4：阈值th3=Tg-Td，阈值th4=Tg+Td，其中，目标温度Tg表示对应于区域HD1的温度值，这就足够了。在已经确定了阈值th3和th4之后，这些阈值th3和th4而不是阈值th1和th2被设定为用于图12的步骤F103中的阈值。

此外，在步骤F504中，CPU 2计算检测目标范围Adet。为了计算检测目标范围Adet，执行在第五实施方式中所述的图23子程序就足够了。

在已经计算了检测目标范围Adet之后，在步骤F505中，CPU 2在检测目标范围Adet内开始输入识别处理，然后将处理返回至图12的步骤F101。

在步骤F502至F505的处理内容已经完成之后，即使检测到多个检测目标图像，所述多个检测目标图像之一被指定为一个检测目标图像，并继续监视手势操作。

换言之，当基于由阈值th3（例如，35.0℃）和阈值th4（例如，36.0℃）限定的温度条件产生二值化图像时，在图26A的情况下，对应于区域HD3的部分被排除而不作为皮肤温度图像部分出现在二值化图像中。

此外，当如图26B所示在检测目标范围Adet中产生差分图像Pic-c时，从差分图像Pic-c和Pic-d排除与区域HD2对应的部分的运动分量。因此，在步骤F107中，相对于与区域HD1对应的部分执行步骤F107b的处理内容，在步骤F108中，相对于与区域HD1相对应的部分执行步骤F108b的处理内容。

以此方式，监视较早作出特定手势的用户的手的运动，并识别随后的手势操作。

在本实例中如上所述，在电视接收器20前面有多个人的情况下，通过指定已经作出特定手势的人的手来执行手势操作识别。因此，只有操作者的手势操作被准确地检测而同时防止了由多个人的各种运动而作出不稳定的识别处理。

注意，当然，特定手势并不限于绘制圆的运动。

此外，在已经指定一个检测目标图像并且一旦设定温度条件和位置条件之后，所述状态可持续，直至单个手势操作已经完成，或者可持续某个时间段。

为了处理多个人的手势操作，适合在单个手势操作已经完成之后，取消温度条件和位置条件。

同时，如果某个用户连续执行手势操作，那么，适合将已经被对应于某个用户的手的温度或位置而设定的温度条件和位置条件持续一定的时间段。

可选地，当电视接收器20关闭时，可取消温度条件和位置条件。

可选地，当操作者通过作出已经设定为识别为取消指令的另一个特定手势（例如，绘制反向圆的手势）来发出取消指令时，可取消温度条件和位置条件。

可选地，通过检测用另一个人的手作出的特定手势，可重新设定温度条件和位置条件。

注意，在上述实例中，尽管采用温度条件和位置条件的与条件作为检测条件，但是可提供以下处理实例，其中，只有温度条件和位置条件之一被设定为检测条件。

此外，尽管将已经作出特定手势的用户的手的图像作为一个检测目标图像，但是可采用其它各种指定方法。

例如，可采用指定方法，包括：从多个检测目标图像中指定对应于某一手势操作的运动已经首先被观察为操作者的手的图像的检测目标图像；响应于此，发出对应于手势操作的命令；以及向所述检测目标图像的图像部分相应地设定诸如用于后续处理的图27的步骤F503至F505的条件。

可选地，在二值化图像中已经出现多个皮肤温度图像部分的情况下，可以将其中运动首先被检测到的图像区域（在差分图像pic-c中的区域，其中，运动被首先检测到）指定为检测目标图像，以及可以像检测目标图像的图像部分相应地设置诸如图27的步骤F503至F505的条件。

可选地，在二值化图像中已经出现多个皮肤温度图像部分的情况下，可以将其中已经检测到最大量运动的图像区域（差分图像Pic-c中的区域，其中，已经观察到最大量运动）指定为检测目标图像，以及向检测目标图像的图像部分相应地设定诸如图27的步骤F503至F505的条件。

<10.变形例>

除了上文已经描述的各种实施方式的处理实例之外，还可提供各种处理实例。

在第一实施方式中所描述的图12的处理实例中，在产生差分图像Pic-c之后，通过从差分图像Pic-c擦除微区域而产生差分图像Pic-d，并且计算差分图像Pic-d的重心。相反，可基于差分图像Pic-c来计算重心，而无需执行擦除微区域处理。例如，可以将占据的面积等于或大于预定面积的区域“1”作为检测目标图像，并且可计算检测目标图像的重心坐标值。

此外，基于对应于手的部分的重心坐标的变化来判断运动状态。然而，可选地，例如，可基于差分图像Pic-c（或者Pic-d）中的像素“1”位置的中心坐标对的变化或者基于图像边缘部分的位置变化来判断运动状态。

此外，在实施方式的各实例中，每当捕获从红外照相机1拍摄的图像中各个的一个帧，就执行处理。然而，可选地，例如，每当捕获拍摄图像的每n个帧，间歇地执行处理。

此外，在实施方式各实例中，相对于用户的手执行手势操作识别。然而，没必要相对于手来执行识别。当然，例如，可基于脸的运动来识别手势操作。

通过安装到电视接收器20的输入装置10的实例已经描述了实施方式。然而，根据本发明实施方式的输入装置和输入识别方法可应用于各种电子装置。具体地，例如，根据本发明实施方式的输入装置和输入识别方法可应用于视频装置、音频装置、照相机装置、计算机装置、通信装置和家用电器。

此外，根据本发明实施方式的输入装置可被配置为连接至其它装置的独立装置。

此外，从红外照相机1获得温度分布图像，因此，可以检测用户的皮肤温度是否比通常高。例如，在已经设定第五阈值并且用户皮肤温度高于第五阈值的情况下，可以执行告知健康风险的操作。

注意，本发明也可利用如下构成。

（1）一种输入装置，包括：

红外照相机；

图像捕获单元，被配置为顺序捕获由所述红外照相机以预定时间间隔拍摄的多个温度分布图像；以及

输入识别单元，构成为：

从由图像捕获单元捕获的多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度，

从由此若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像，以及

基于若干对检测目标图像的运动状态，识别操作输入。

（2）根据（1）项所述的输入装置，其中，所述输入识别单元通过相对于第一阈值和第二阈值彼此比较多个温度分布图像中每一个的像素的温度值来从多个温度分布图像中检测若干对皮肤温度图像部分，其中所述第一阈值和第二阈值被设定为限定人皮肤的温度范围。

（3）根据（2）项所述的输入装置，其中，所述输入识别单元

通过基于多个温度分布图像中每一个的像素温度值是否落入由第一阈值和第二阈值限定的温度范围内二值化多个温度分布图像来产生一对二值化图像，其中，各二值化图像包含若干对皮肤温度图像部分，

通过确定多个温度分布图像的该对二值化图像之间的差异，产生从中观察运动的若干对皮肤温度图像部分中若干对检测目标图像的差分图像，以及

通过使用所述差分图像，判断若干对检测目标图像的运动的状态。

（4）根据（3）项所述的输入装置，其中，所述输入识别单元从所述差分图像中擦除对应于运动均已被判断为是轻微的若干对皮肤温度图像部分的图像部分，以获得检测目标图像。

（5）根据（3）项或者（4）项所述的输入装置，其中，所述输入识别单元

基于所述差分图像，计算检测目标图像的特征点的位置，以及

基于特征点位置变化，判断检测目标图像的运动的状态。

（6）根据（1）项至（5）项中任一项所述的输入装置，其中，所述预定时间间隔包括所述红外照相机的拍摄操作的一帧间隔。

（7）根据（1）项至（6）项中任一项所述的输入装置，所述输入识别单元基于所述若干对皮肤温度图像部分中占据的面积等于或大于预定面积的皮肤温度图像部分，来选择检测目标图像。

（8）根据（1）项至（7）项中任一项所述的输入装置，其中，假设变化预定量以上的位置变化被检测预定次数以上，所述输入识别单元执行所述操作输入的识别处理，其中，位置变化示出了若干对检测目标图像的至少一个运动的状态。

（9）根据（2）项至（5）项中任一项所述的输入装置，其中，所述输入识别单元

通过相对于第一阈值和第二阈值彼此比较多个温度分布图像中每一个的像素的温度值从多个温度分布图像中检测若干对皮肤温度图像部分，所述第一阈值和第二阈值被设定为限定人的皮肤温度范围，以及之后，

基于被识别为若干对检测目标图像的若干对皮肤温度图像部分的温度值，设定第三阈值和第四阈值，所述第三阈值和第四阈值被设定为限定比由所述第一阈值和所述第二阈值设定的温度范围更小的温度范围，以及

通过使用所述第三阈值和所述第四阈值，从多个温度分布图像中检测后续若干对皮肤温度图像部分。

（10）根据（1）项至（9）项中任一项所述的输入装置，其中，在从若干对检测目标图像中已经检测到特定运动的情况下，所述输入识别单元

基于在示出所述特定运动的过程中若干对检测目标图像的图像位置设定检测目标范围，以及

从所述检测目标范围检测后续若干对皮肤温度图像部分。

（11）根据（3）项至（5）项中任一项所述的输入装置，其中，在预定时间段内未检测到参考所述差分图像从中观察运动的若干对皮肤温度图像部分的情况下，所述输入识别单元执行输出消息处理，其中。

（12）根据（1）项至（11）项中任一项所述的输入装置，其中，在已经获得多个检测目标图像的情况下，所述输入识别单元

从所述多个检测目标图像中选择一个检测目标图像，设定与所选的一个检测目标图像相对应的检测条件，以及

基于所述检测条件，检测后续检测目标图像。

（13）根据（12）项所述的输入装置，其中，所述检测条件包括根据所选的一个检测目标图像的温度所设定的温度范围条件以及基于所选的一个检测目标图像的图像位置所设定的检测目标范围条件中的至少一个。

（14）根据（12）项或者（13）项所述的输入装置，其中，在已经获得多个检测目标图像的情况下，所述输入识别单元从所述多个检测目标图像中选择对应于特定运动的图像作为一个检测目标图像。

（15）根据（1）项至（14）项中任一项所述的输入装置，还包括装置控制单元，被配置为响应于由所述输入识别单元识别的操作输入来实现控制。

（16）一种输入识别方法，包括以下步骤：

顺序捕获由红外照相机以预定时间间隔拍摄的多个温度分布图像；

从由此捕获的多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度；

从由此检测的若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像；以及

基于若干对检测目标图像的运动状态，识别操作输入。

本发明包括于2011年10月5日向日本专利局提交的日本在先专利申请JP 2011-220771中所公开的主题，其全部内容结合于此作为参考。

本领域技术人员应当理解，根据设计需求和其他因素，可以进行各种修改、组合、子组合和变形，均应包括在所附权利要求或其等同替换的范围之内。

Claims (16)

1.一种输入装置，包括：

红外照相机；

图像捕获单元，被配置为顺序捕获由所述红外照相机以预定时间间隔拍摄的多个温度分布图像；以及

输入识别单元，被配置为

从由所述图像捕获单元捕获的所述多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度，

从由此检测的所述若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像，以及

基于所述若干对检测目标图像的运动状态，识别操作输入。

2.根据权利要求1所述的输入装置，其中，所述输入识别单元通过相对于第一阈值和第二阈值彼此比较所述多个温度分布图像中每一个的像素的温度值来从所述多个温度分布图像中检测若干对皮肤温度图像部分，其中，所述第一阈值和第二阈值被设定为限定人皮肤的温度范围。

3.根据权利要求2所述的输入装置，其中，所述输入识别单元通过基于所述多个温度分布图像中每一个的像素的温度值是否落入由所述第一阈值和所述第二阈值限定的温度范围内二值化所述多个温度分布图像来产生一对二值化图像，其中，各二值化图像包含若干对皮肤温度图像部分，

通过确定所述多个温度分布图像的该对二值化图像之间的差异，产生从中观察运动的若干对皮肤温度图像部分中若干对检测目标图像的差分图像，以及

通过使用所述差分图像，判断所述若干对检测目标图像的运动的状态。

4.根据权利要求3所述的输入装置，其中，所述输入识别单元从所述差分图像中擦除与运动均已被判断为是轻微的的若干对皮肤温度图像部分对应的图像部分，以获得检测目标图像。

5.根据权利要求3所述的输入装置，其中，所述输入识别单元基于所述差分图像，计算所述检测目标图像的特征点的位置，以及

基于所述特征点的位置的变化，判断所述检测目标图像的运动的状态。

6.根据权利要求1所述的输入装置，其中，所述预定时间间隔包括所述红外照相机的拍摄操作的一帧间隔。

7.根据权利要求1所述的输入装置，其中，所述输入识别单元基于所述若干对皮肤温度图像部分中占据的面积等于或大于预定面积的皮肤温度图像部分，来选择检测目标图像。

8.根据权利要求1所述的输入装置，其中，假设变化预定量以上的位置变化被检测预定次数以上，所述输入识别单元执行所述操作输入的识别处理，其中，位置变化示出了若干对检测目标图像的至少一个运动的状态。

9.根据权利要求2所述的输入装置，其中，所述输入识别单元

通过相对于第一阈值和第二阈值彼此比较多个温度分布图像中每一个的像素的温度值从所述多个温度分布图像中检测若干对皮肤温度图像部分，所述第一阈值和所述第二阈值被设定为限定人皮肤的温度范围，以及之后，

基于被识别为若干对检测目标图像的若干对皮肤温度图像部分的温度值，设定第三阈值和第四阈值，所述第三阈值和所述第四阈值被设定为限定比由所述第一阈值和所述第二阈值设定的温度范围更小的温度范围，以及

通过使用所述第三阈值和所述第四阈值，从多个温度分布图像中检测后续若干对皮肤温度图像部分。

10.根据权利要求1所述的输入装置，其中，在从若干对检测目标图像中已经检测到特定运动的情况下，所述输入识别单元

基于在示出所述特定运动的过程中若干对检测目标图像的图像位置来设定检测目标范围，以及

从所述检测目标范围检测后续若干对皮肤温度图像部分。

11.根据权利要求3所述的输入装置，其中，在预定时间段内未检测到参考所述差分图像从中观察运动的若干对皮肤温度图像部分的情况下，所述输入识别单元执行输出消息处理。

12.根据权利要求1所述的输入装置，其中，在已经获得多个检测目标图像的情况下，所述输入识别单元

从所述多个检测目标图像中选择一个检测目标图像，

设定与所选的一个检测目标图像相对应的检测条件，以及

基于所述检测条件，检测后续检测目标图像。

13.根据权利要求12所述的输入装置，其中，所述检测条件包括根据所选的一个检测目标图像的温度所设定的温度范围条件以及基于所选的一个检测目标图像的图像位置所设定的检测目标范围条件中的至少一个。

14.根据权利要求12所述的输入装置，其中，在已经获得多个检测目标图像的情况下，所述输入识别单元从所述多个检测目标图像中选择对应于特定运动的图像作为一个检测目标图像。

15.根据权利要求1所述的输入装置，还包括装置控制单元，被配置为响应于由所述输入识别单元识别的操作输入来实现控制。

16.一种输入识别方法，包括：

顺序捕获由红外照相机以预定时间间隔拍摄的多个温度分布图像；

从由此捕获的所述多个温度分布图像中检测若干对皮肤温度图像部分，各皮肤温度图像部分对应于人的皮肤温度；

从由此检测的若干对皮肤温度图像部分中识别从中观察运动的若干对皮肤温度图像部分作为若干对检测目标图像；以及

基于若干对检测目标图像的运动状态，识别操作输入。

Images