CN102385459A - 信息处理装置及方法 - Google Patents

Abstract

本发明涉及信息处理装置及信息处理方法，摄像部(12)将桌子上表面等规定区域作为与规定的输入设备对应的虚拟输入设备区域，对在该虚拟输入设备区域内进行按下操作的使用者的手指进行摄像，由此输出摄像图像的数据。声音输入部(13)输入被进行了使用者的手指的按下操作的虚拟输入设备区域所发出的声音，输出该声音的数据。接触操作检测部(51)基于从摄像部(12)输出的摄像图像的数据和从声音输入部(13)输出的声音的数据，检测通过使用者的手指对虚拟输入设备区域进行了按下操作的情况。输入处理部(53)基于接触操作检测部(51)的检测结果，输入规定的信息。

Description

信息处理装置及方法

关联申请的交叉引用：本申请基于2010年8月31日申请的在先日本特许申请2010-193637并主张其优先权，通过援引包含其全部内容。

技术领域

本发明涉及以不利用输入设备的方式受理利用使用者的手的动作来输入信息的使用者操作的信息处理装置、方法以及程序，尤其涉及能够以简单的结构一并实现无误检测且可靠地检测使用者操作、提供更简便的操作作为使用者操作这两者的技术。

背景技术

至今为止，一直在研究开发以不使用打字键盘或钢琴键盘等输入设备的方式检测人的手的规定动作，由此输入规定信息的技术。

例如，在日本特开平6-28096中公开了检测空间中的手的运动来输入文字的技术。在日本特开平6-118962中公开了在手上佩戴传感器来控制声源的技术。在专利文献3(日本特开平5-19957号)中公开了在检测空间中的手的动作来输入信息时，还附加与操作有关的使用者的说话内容、例如“那个”、“这个”这样的内容的技术。

近年来，提出了想要将桌子上表面等当作打字键盘或钢琴键盘而通过对桌子上表面等进行按下操作来输入信息这样的需求。为了满足该需求，需要以简单的结构一并实现无误检测且可靠地检测使用者操作、作为使用者操作提供更简便的操作这两者。但是，在包括日本特开平6-28096、日本特开平6-118962、日本特开平5-19957公开的技术在内的现有技术中，一并实现两者是困难的。

即，为了无误检测且可靠地检测使用者操作，需要检测到使用者的手指实际接触了桌子上表面等的情况。在此，以下将这样的检测称为“手指接触检测”。

应用日本特开平6-28096中记载的技术，为了实现手指接触检测，不仅需要从上方对使用者的手背进行摄像，还需要从横向对使用者的手掌与桌子上表面等之间的空间进行摄像。为此，至少要设置2台摄像装置，并且，必须对2台摄像装置摄像到的各个图像实施图像处理，结果，成为复杂且大型的结构。即，不能够实现简单的结构。

另一方面，若为了成为简单的结构而仅从上方对使用者的手背进行摄像，则不能够判断手指仅是停止(与桌子上表面等分离)还是按压了桌子等(手指接触了桌子上表面等)。即，不能够进行手指接触检测，结果，要无误检测且可靠地检测使用者操作的非常困难的。

在应用日本特开平6-118962中记载的技术的情况下，需要在手上佩戴传感器，所以成为复杂且大型的结构，不能够实现简单的结构。

在应用日本特开平5-19957中记载的技术的情况下，使用者每次用手指对被当作打字键盘或钢琴键盘的桌子上表面等进行按下操作时，都必须说出与被进行了按下操作的区域对应的打字键或乐器键的名称等。

例如，使用者每当为了文字处理(word processing)的输入而用手指对被当作打字键盘的桌子上表面等进行了按下操作时，都要说出与被进行了按下操作的区域对应的打字键的名称，这无疑就是朗读要通过文字处理制作的文章，对使用者来说是非常麻烦且劳累的作业。

此外，例如使用者每当为了电子钢琴的演奏操作而用手指对被当作钢琴键盘的桌子上表面等进行按下操作时，都要说出与被进行了按下操作的区域对应的乐器键的名称，这无疑就是朗读或唱出要用电子钢琴演奏的乐曲的乐谱，对于使用者来说是非常麻烦且劳累的作业。

而且要是在使用者不能够说话的环境下，是不能够应用日本特开平5-19957中记载的技术的。

这样，即使应用日本特开平5-19957中记载的技术，也不能够提供更加简便的操作作为使用者操作。

发明内容

本发明是鉴于这样的情况而提出的，其目的在于提供一种在以不利用输入设备的方式进行利用使用者的手的动作来输入信息的使用者操作的情况下，能够以简单的结构一并实现无误检测且可靠地检测使用者操作、提供更加简便的操作作为使用者操作这两者的技术。

根据本发明的一个方式，提供一种信息处理装置，将规定的面上视为虚拟输入设备区域，通过使用者进行使手指或指甲与上述虚拟输入设备区域接触的接触操作，来输入规定的信息，其特征在于，具备：摄像单元，对形成有上述虚拟输入设备区域的上述面进行摄像，由此输出摄像图像的数据；确定信息检测单元，检测确定信息，该确定信息能够确定上述使用者的手指或指甲是否接触了上述虚拟输入设备区域；接触操作检测单元，基于从上述摄像单元输出的上述摄像图像的数据和从上述状态输入单元输出的上述状态数据，检测对上述虚拟输入设备区域之中的规定区域进行了上述接触操作的情况；以及信息输入单元，基于上述接触操作检测单元的检测结果，输入上述规定的信息。

此外，根据本发明的其他的方式，提供一种信息处理装置的信息处理方法，该信息处理装置将规定的面上视为虚拟输入设备区域，通过使用者进行使手指与上述虚拟输入设备区域接触的接触操作，来输入规定的信息，并且该信息处理装置具有摄像单元，该摄像单元对形成有上述虚拟输入设备区域的上述面进行摄像，由此输出摄像图像的数据，信息处理方法的其特征在于，包括：摄像步骤，通过摄像单元对形成有上述虚拟输入设备区域的上述面进行摄像，由此输出摄像图像的数据；确定信息检测步骤，检测确定信息，该确定信息能够确定上述使用者的手指是否接触了上述虚拟输入设备区域；接触操作检测步骤，基于通过上述摄像步骤的处理输出的上述摄像图像的数据和通过上述确定信息检测步骤的处理检测出的上述确定信息，检测对上述虚拟输入设备区域之中的规定区域进行了上述接触操作的情况；以及信息输入步骤，基于上述接触操作检测步骤的检测处理的结果，输入上述规定的信息。

附图说明

附图与说明书一体构成说明书的一部分，用于图示本发明所涉及的实施方式，在此与上述的大致描述以及后述的本实施方式的详细描述一起，解释本发明的原理。

图1是表示本发明的一个实施方式的信息处理装置的外观结构的主视图。

图2是表示图1的信息处理装置的侧面的结构例的、图1中A-A’线的剖视图。

图3是说明在图1的信息处理装置所执行的虚拟输入设备用处理中，虚拟输入设备区域对应于打字键盘的情况下的使用者操作的图。

图4是表示用于执行虚拟输入设备用处理的图1的信息处理装置的功能结构的功能框图。

图5是表示在图1的信息处理装置所执行的虚拟输入设备用处理之中与图3的使用者操作对应的虚拟输入设备用处理所使用的摄像图像的一例的图。

图6是说明在图1的信息处理装置所执行的虚拟输入设备用处理之中与图3的使用者操作对应的虚拟输入设备用处理所使用的、手指的配置位置的检测方法的图。

图7是表示图5的摄像图像通过规定信息被区划的状态的图。

图8是表示将作为图1的信息处理装置与图3的使用者操作相对应地执行虚拟输入设备用处理的结果而得到的输入操作的结果图像，显示为显示部显示的画面的形态的图。

图9是说明在图1的信息处理装置所执行的虚拟输入设备用处理中，虚拟输入设备区域对应于钢琴键盘的情况下的使用者操作的图。

图10是表示在图1的信息处理装置所执行的虚拟输入设备用处理之中与图9的使用者操作对应的虚拟输入设备用处理所使用的摄像图像的一例的图。

图11是表示图1的信息处理装置所执行的虚拟输入设备用处理的流程的一例的流程图。

图12是说明图11的虚拟输入设备用处理之中的对位处理的详细流程的一例的流程图。

图13是说明图11的虚拟输入设备用处理之中的开启检测处理的详细流程的一例的流程图。

图14是说明图11的虚拟输入设备用处理之中的开启检测处理的详细流程的、与图12的例子不同的一例的流程图。

图15是表示实现图1的信息处理装置的硬件结构的框图。

具体实施方式

以下，基于附图说明本发明的一实施方式。

图1是表示本发明的一实施方式的信息处理装置1的外观结构的例子的主视图。

如图1所示，信息处理装置1构成为数码相框。因此，在信息处理装置1的正面1a设置例如由液晶显示器等构成的显示部11、例如由数码摄像机等构成的摄像部12以及由麦克风等构成的声音输入部13。

在此，在与图1的A-A’线平行的方向中，将该图中的上方向(A’朝向A的方向)称为“上方向”，将该图中的下方向(A朝向A’的方向)称为“下方向”。在该情况下，在显示部11的中央部的上方向上配置有摄像部12，在显示部11的中央部的下方向上配置有声音输入部13。

图2是表示信息处理装置1的侧面的结构例的、图1中A-A’线的剖视图。

如图2所示，信息处理装置1通过在其背面1b设置的支架14，能够配置成立在例如桌子21的上表面。

在该情况下，使用者能够将桌子21的上表面之中的处于信息处理装置1的正面1a的前方的规定区域41当作规定的输入设备，进行与对该输入设备的操作完全相同的操作，由此将所需信息输入信息处理装置1。

另外，以下将桌子21的上表面等、配置有信息处理装置1的面之中的处于信息处理装置1的正面1a的前方的规定区域(在图2的例子中为规定区域41)、即被视为规定的输入设备的区域，称为“虚拟输入设备区域”。

图3是说明桌子21的上表面的虚拟输入设备区域41对应于打字键盘的情况下的使用者操作的图。

另外，在图3中，虚拟输入设备区域41中由虚线示出的打字键盘的打字键的排列，是为了说明方便而进行的图示。即，虚拟输入设备区域41也就是实际物体的面(图3的例子中为桌子21的上表面)的一个区域。因此，实际上，在形成了虚拟输入设备区域41的实际物体的面上表现出打字键盘的打字键的排列是很少见的。即，在此以使用者进行所谓的盲打为前提。但是，也可以为了不善于盲打的使用者，例如在虚拟输入设备区域41(桌子21的上表面等)上铺设印刷有打字键盘的打字键排列的纸张或垫板等。

如图3所示，使用者在想要将分配给打字键盘的“F打字键”的信息输入信息处理装置1的情况下，只要对虚拟输入设备区域41之中的与“F打字键”对应的位置进行敲动其手指31的操作即按下操作即可。

信息处理装置1检测这样的手指31的按下操作，输入与按下操作对应的信息，例如在图3的例子中输入被分配给打字键盘的“F打字键”的信息，基于所输入的信息进行各种各样的处理。

以下，将这样的信息处理装置1的一系列的处理称为“虚拟输入设备用处理”。

另外，在图3的例子中，虚拟输入设备用处理所检测出的使用者操作为手指31的按下操作，但是不限于此。例如，用指甲刮划桌子21的上表面等面的操作等使手指31或指甲与实际物体的面接触而实现的操作(以下称为“接触操作”)能够被虚拟输入设备用处理检测出。

即，更通俗地说，虚拟输入设备用处理是指，信息处理装置1检测接触操作，输入与该接触操作对应的信息，基于输入的信息执行各种各样的处理为止的一系列的处理。

但是，以下为了便于说明，利用图3的例子继续说明虚拟输入设备用处理。

图4是表示用于执行这样的虚拟输入设备用处理的信息处理装置1的功能结构的功能框图。

信息处理装置1除了上述的显示部11、声音输入部13之外还具备接触操作检测部51、规定信息存储部52、输入处理部53、显示控制部54、声音控制部55、声源部56、声音输出部57。

如上述的图2所示，摄像部12从斜上方对形成有虚拟输入设备区域41的桌子21的上表面进行摄像，将作为结果而得到的图像(以下称为“摄像图像”)的数据供给至接触操作检测部51。

图5表示摄像图像61的一例。

在图5的例子的摄像图像61中，摄像有在桌子21上配置使用者的左右手的手背(包括手指31)的形态。

图4的接触操作检测部51基于摄像图像的数据，检测使用者的各手指在摄像图像内的配置位置。

手指的配置位置的检测方法不特别限定，但是在本实施方式中采用了图6所示的方法。

即，图6是说明手指的配置位置的检测方法的图。

如图6所示，接触操作检测部51根据摄像图像61分别检测各手指31的指甲的区域31a(以下称为“指甲区域31a”)，将摄像图像61中的各指甲区域31a的位置检测为各手指31的配置位置。

在此，图4的规定信息存储部52存储规定信息。

规定信息是指与摄像部12的视场角的范围相对应地预先规定虚拟输入设备区域41的配置位置的信息。摄像部12的视场角的范围意思是指摄像部12的摄像元件的有效像素的整个区域的范围，即摄像图像的范围。即，规定虚拟输入设备区域41位于摄像图像内的位置的信息为规定信息。

例如，在图3的例子的情况下，即在采用与打字键盘对应的虚拟输入设备区域41的情况下，规定信息为用于规定构成打字键盘的各打字键与摄像部12的视场角的范围(摄像图像的范围)内的哪个区域对应的信息。

因此，接触操作检测部51基于这样的规定信息和检测出的各手指31的配置位置，确定手指31相对于虚拟输入设备区域41的相对位置。

图7表示摄像图像61通过规定信息被区划的状态。

如图7所示，摄像图像61中的通过规定信息被区划的区域为虚拟输入设备区域41。即，借助规定信息再现在桌子21的上表面虚拟地配置有打字键盘的状态下通过摄像部12进行了摄像，则要被摄入在摄像图像61中的打字键盘的像通过规定信息被再现，将该打字键盘的像的区域设定为虚拟输入设备区域41。

具体地说，在摄像部12的视场角的范围内(在图7的例子中为摄像图像61的范围内)，与打字键盘的打字键排列相对应地基于透视法划分出的各区域，对应于构成打字键盘的各打字键。将这样的与规定的打字键对应的各区域(以下称为“键区域”)的集合体设定为虚拟输入设备区域41。即，如图3的例子那样，在设定与打字键盘相对应的虚拟输入设备区域41的情况下所采用的规定信息是指，规定各个键区域的在摄像部12的视场角的范围内的各自的配置位置的信息。

在图7的例子中，接触操作检测部51在摄像图像61的范围内，将通过规定信息设定的虚拟输入设备区域41的配置位置、与检测出的指甲区域31a的配置位置建立对应，由此确定手指31在虚拟输入设备区域41的相对位置。

另外，图5至图7所示的摄像图像61不提示给使用者，仅用于接触操作检测部51的处理。

图4的接触操作检测部51每隔规定时间执行上述的一系列的处理，即，基于摄像图像61的数据确定手指31在虚拟输入设备区域41的相对位置的上述的一系列的处理。而且，接触操作检测部51基于每隔规定时间的各个执行结果，求出手指31在虚拟输入设备区域41的移动轨迹以及移动速度。

在此，移动速度也包括“0”即手指31停止。因此，接触操作检测部51在正在移动的手指31急停的情况下，识别为构成虚拟输入设备区域41的各键区域之中的与手指31停止的位置对应的键区域为按下操作对象。

例如，在图7中，带有附图标记的指甲区域31a，在移动后，在该图所示的位置急停。在该情况下，接触操作检测部51确定为指甲区域31a配置在与虚拟输入设备区域41的“F打字键”对应的键区域，由此识别为与“F打字键”对应的键区域为按下操作对象。

另外，以下将被识别为按下操作对象的键区域称为“对象键区域”。

接触操作检测部51利用手指31敲击桌子21的上表面等时(按下操作时)发出的声音的数据，来判断对象键区域是否被手指31进行了按下操作。

即，如图2所示，声音输入部13始终被输入桌子21上表面的虚拟输入设备区域41附近的声音，将该声音的数据供给至接触操作检测部51。

在此，被供给至接触操作检测部51的声音的数据为时域数据。因此，接触操作检测部51对从声音输入部13供给来的声音的数据进行FFT(FastFourier Transform：快速傅里叶变换)处理，由此使其形态从时域数据变为频域数据。

并且，接触操作检测部51基于该频域的声音的数据，判定一次振动音的水平是否超过阈值，由此判定是否用手指31进行了按下操作。在一次振动音的水平超过阈值的情况下，接触操作检测部51判断为手指31敲击了桌子21的上表面等(进行了按下操作)。

例如，假设手指31敲击了桌子21的上表面等(进行了按下操作)情况下的一次振动音为20Hz带宽的声音，阈值为-10dB。在该情况下，接触操作检测部51参照频域的声音的数据之中的20Hz带宽的数据，在该数据的水平超过-10dB的情况下，判断为用手指31进行了按下操作。

另外，上述数值仅为示例，此外，进行阈值判断的频带不限于1种，如后所述，为了防止误检测，有时通过2种以上的频带进行阈值判断。

综上所述，接触操作检测部51基于从摄像部12输出的摄像图像的数据，从虚拟输入设备区域41中识别对象键区域，基于从声音输入部13输出的声音的数据，检测该对象键区域是否被进行了按下操作。

另外，将这样的接触操作检测部51的检测称为“对对象键区域的按下操作的检测”。

对对象键区域的按下操作的检测结果从接触操作检测部51通知给输入处理部53。

于是，输入处理部53输入被分配给与对象键区域对应的打字键的信息，按照输入的信息执行各种处理。

即，输入处理部53具备输入信息的输入功能和按照输入的信息执行处理的处理执行功能。

作为处理执行功能包括所谓的文字处理功能。在输入处理部53正在发挥这样的文字处理功能时，如图3所示那样使用者对桌子21上的虚拟输入设备区域41之中的与“F打字键”对应的键区域进行了按下操作。另外，如上所述，实际上“F打字键”没有被表现在桌子21的上表面。

在该情况下，接触操作检测部51执行上述一系列的处理，作为对对象键区域的按下操作的检测结果，将与“F打字键”对应的键区域被进行了按下操作的情况通知给输入处理部53。

于是，输入处理部53发挥输入功能，按照该通知输入被分配给“F打字键”的信息例如文本信息“F”。并且，输入处理部53发挥文字处理功能，例如在制作中的文章中追加文本“F”。

输入处理部53还将与对象键区域相关的信息供给至显示控制部54。作为与对象键区域相关的信息，不仅包括确定与对象键区域对应的打字键的信息，还广泛地包括被分配给该打字键的信息(即，所输入的信息)等。

显示控制部54将包括被供给来的与对象键区域相关的信息的图像，即表示使用者对虚拟输入设备区域41进行操作的结果的图像(以下称为“输入操作结果图像”)显示在显示部11。

图8是表示输入操作结果图像显示为显示部11的画面的形态的图。

在此，“画面”是指显示在显示装置上的图像或显示在装置所具有的显示部(在本实施方式中为显示部11)的整个显示区域上的图像。

在图8的例子中，在显示部11的画面即输入操作结果图像中包括输入信息显示区域71、虚拟输入设备区域41以及指甲区域31a。

在输入信息显示区域71中，与对象键区域的按下操作相对应地被输入的信息还显示过去的履历。即，在输入处理部53正在发挥文字处理功能的情况下，使用者制作的文章等显示在输入信息显示区域71中。例如，在图8的例子中，显示“ABCDE”这样的过去输入的信息，而且在其右方，高亮显示“F”这样的最新输入的信息71a。

虚拟输入设备区域41基于存储在规定信息存储部52中的规定信息被显示。在此，在图8的例子中，虚拟输入设备区域41之中的键区域41a被高亮显示。该高亮显示表示最新的对象键区域。即，在图8的例子中，被高亮显示的键区域41a为最新的对象键区域，对该键区域41a进行按下操作的结果是，在输入信息显示区域71中高亮显示“F”这样的信息71a。

指甲区域31a基于图4的接触操作检测部51的检测结果而被显示。

另外，最新的键区域41a的显示方式、通过该键区域41a的按下操作而最新被输入的信息71a的显示方式，不限于高亮显示的方式，只要是能够与过去输入的信息区别的方式即可。

此外，只要能够提示最新的对象键区域41a，虚拟输入设备区域41和指甲区域31a的显示不是必须的。但是，对使用者而言，是在本来什么都不存在的桌子21(打字键排列等都未被表现出来的桌子21)上进行按下操作。因此，如果不显示虚拟输入设备区域41和指甲区域31a，则使用者有可能不能够容易且立即识别当前正在进行怎样的按下操作。因此，为了防止这样的可能性，即，为了使使用者容易且立即视觉识别当前正在进行怎样的按下操作，优选对虚拟输入设备区域41和指甲区域31a进行显示。

返回图4，输入处理部53还将与对象键区域相关的信息供给至声音控制部55。

声音控制部55基于与对象键区域相关的信息执行使得从声音输出部57输出声源部56发出的声音的控制。

例如，如图3的例子所示，在采用与打字键盘相对应的虚拟输入设备区域41的情况下，在声源部56存储对打字键盘的打字键实际被按下时发出的声音即“咔咔音”进行实际录音而得的数据。

在该情况下，声音控制部55取得该声音的数据，将其转换为模拟的声音信号，然后供给至声音输出部57。声音输出部57例如由扬声器等构成，输出与从声音控制部55供给来的模拟的声音信号对应的声音，即从被按下的打字键盘发出的“咔咔音”。

由此，能够使使用者感觉就像正在操作打字键盘一样。

以上，利用图3的例子即采用了与打字键盘相对应的虚拟输入设备区域41的情况下例子，说明了信息处理装置1的功能结构，但是打字键盘仅为示例。

例如，具有该功能结构的信息处理装置1，还能够通过改变规定信息，利用与电子钢琴等的钢琴键盘相对应的虚拟输入设备区域41，来执行“虚拟输入设备用处理”。

换而言之，使用者若进行使虚拟输入设备区域41与打字键盘相对应的设定操作，则能够如图3说明的那样将虚拟输入设备区域41当作打字键盘进行操作。另一方面，使用者若进行使虚拟输入设备区域41与钢琴键盘相对应的设定操纵，则能够如图9所示那样将虚拟输入设备区域41当作钢琴键盘进行操作。

图9是表示桌子21的上表面的虚拟输入设备区域41与钢琴键盘相对应的情况下的使用者操作的图。

另外，在图9中，为了便于说明，在虚拟输入设备区域41中通过虚线示出了钢琴键盘的乐器键的排列。即，虚拟输入设备区域41是指实际物体的面(在图9的例子中为桌子21的上表面)的一个区域。因此，实际上，几乎不在形成有虚拟输入设备区域41的实际物体的面上表现出钢琴键盘的乐器键的排列。即，在此，以使用者能够不目视实际的钢琴键盘地进行演奏为前提。但是，为了便于不善于进行这样的演奏的使用者，例如，可以在虚拟输入设备区域41(桌子21的上表面等)上铺设印刷有钢琴键盘的乐器键的排列的纸张或垫板等。

如图9所示，使用者在想使信息处理装置1发出所需的音高(频率)的声音的情况下，只要进行对虚拟输入设备区域41之中的与被分配了该所需的音高的乐器键对应的键区域敲动其手指31的操作、即按下操作即可。

在该情况下，信息处理装置1的图4的规定信息存储部52，存储用于规定构成钢琴键盘的各乐器键对应于摄像部12的视场角的范围(摄像图像的范围)内的哪个区域的信息，作为规定信息。

因此，接触操作检测部51基于这样的规定信息和检测出的各手指31的配置位置，确定手指31在虚拟输入设备区域41的相对位置。

图10表示摄像图像91通过规定信息被区划的状态。

如图10所示，摄像图像91之中的通过规定信息被区划的区域为虚拟输入设备区域41。即，在桌子21的上表面虚拟地配置有钢琴键盘的状态下通过摄像部12进行了摄像，则要被摄入在摄像图像91中的钢琴键盘的像通过规定信息被再现，将该钢琴键盘的像的区域设定为虚拟输入设备区域41。

具体地说，在摄像部12的视场角的范围内(在图10的例子中为摄像图像91的范围内)，与钢琴键盘的乐器键的排列相对应地基于透视法划分出的各区域，对应于构成钢琴键盘的各乐器键。为了与打字键盘的情况统一，将这样的与规定的乐器键对应的各区域同样称为“键区域”，与打字键盘的情况完全相同地将键区域的集合体设定为虚拟输入设备区域41。

在图10的例子中，接触操作检测部51在摄像图像61的范围内，将规定信息所设定的虚拟输入设备区域41的配置位置、与检测出的指甲区域31a的配置位置建立对应，由此确定手指31相对于虚拟输入设备区域41的相对位置。

然后，接触操作检测部51执行同与打字键盘相对应的虚拟输入设备区域41的情况下完全相同的处理，进行对对象键区域的按下操作的检测。

对对象键区域的按下操作的检测结果，从图4的接触操作检测部51通知给输入处理部53。

在该情况下，输入处理部53发挥输入功能，并且发挥作为处理执行功能的所谓的序列发生功能。

即，输入处理部53发挥输入功能，按照该通知，输入被分配给与对象键区域对应的乐器键的能够确定音高的信息(以下称为“音高信息”)。例如，将“C3”等作为音高信息输入至输入处理部53。然后，输入处理部53发挥序列发生功能，通过控制后述的声音控制部55，从声音输出部57输出音高信息所确定的音高(频率)的声音，例如“C3”的声音等。

换而言之，声音控制部55执行使得从声源部56发出音高确定信息所确定的音高的声音并从声音输出部57输出该声音的控制。

例如，声源部56构成为所谓的PCM(Pulse Code Modulation)声源。

在该情况下，声音控制部55使得从声源部56再现音高信息所确定的音高的声音的数据，将该声音的数据转换为模拟的声音信号，然后供给至声音输出部57。声音输出部57例如由扬声器等构成，输出与从声音控制部55供给来的模拟的声音信号对应的声音，即从PCM声源(声源部56)发出的规定音高的声音。

由此，能够使不具有钢琴键盘的信息处理装置1发挥电子钢琴的功能。即，即便没有钢琴键盘，使用者也能够利用在桌子21的上表面等任意的实际物体的面上形成的虚拟输入设备区域41代替钢琴键盘，来进行与电子钢琴完全相同的演奏操作。

另外，在该情况下也是，显示控制部54执行将包括对象键区域以及由输入处理部53输入的信息的输入操作结果图像显示在显示部11上的控制。具体地说，例如虽然没有图示，但是，在显示部11显示如包括与钢琴键盘对应的虚拟输入设备区域41以及指甲区域31a、且对显示最新的对象键区域(与最新按下的乐器键对应的键区域)和其他键区域进行区别显示这样的输入操作结果图像。

以上，说明了信息处理装置1的功能结构。

但是，上述的图4的功能结构仅为示例，只要能够执行虚拟输入设备用处理，信息处理装置1能够采用任意的功能结构。

接着，参照图11至图14，说明具有图4的功能结构的信息处理装置1所执行的虚拟输入设备用处理的流程。

图11是表示虚拟输入设备用处理的主要流程的一例的流程图。

虚拟输入设备用处理例如以信息处理装置1的电源被接通并由使用者进行了规定的操作为契机而开始。

在步骤S11中，图4的信息处理装置1的各部分执行初始化处理。

在步骤S12中，信息处理装置1的各部分执行开关(switch)处理。

开关处理是指，针对模式或设定条件等具有多个选项的情况，包括初始设定在内地选择设定规定选项的处理。

例如，在本实施方式中，作为与虚拟输入设备区域41相对应的输入设备，使用者能够选择打字键盘和钢琴键盘中的任一方。而且，在使用者选择打字键盘的情况下，能够进行图3所述的操作，即，能够将虚拟输入设备区域41当作打字键盘，进行与对打字键盘进行按下操作完全相同的操作。另一方面，在使用者选择钢琴键盘的情况下，能够进行图9所述的操作，即，能够将虚拟输入设备区域41当作钢琴键盘，进行与对钢琴键盘进行演奏操作完全相同的操作。

作为在该情况下的开关处理，接触操作检测部51等接受该使用者的选择操作，按照该操作的内容，进行使打字键盘和钢琴键盘中的任一方与虚拟输入设备区域41建立对应的设定。

作为其他的开关处理，接触操作检测部51等设定形成有虚拟输入设备区域41的实际物体的面的种类(例如，如果为桌子21的上表面则设定为木材等)，或在设定为钢琴键盘的情况下设定想要发出的音色的种类等。

在步骤S13中，接触操作检测部51执行对位处理。

对位处理是指，将使用者进行按下操作的实际物体的面(在上述的例子中为桌子21的上表面)中的规定位置初始设定为虚拟输入设备区域41内的规定的键区域的位置(基准位置)的处理。

即，对使用者而言存在作为手指31的初始位置(基准位置)的规定的键区域。例如，在打字键盘的情况下，与“J打字键”对应的键区域的位置为初始位置。另一方面，例如在钢琴键盘的情况下，与“C3音程的乐器键”对应的键区域的位置为初始位置。用于从设定有虚拟输入设备区域41的面(在上述的例子中为桌子21的上表面)中决定出这样的初始位置来进行初始设定的定标(calibration)处理，是对位处理。

另外，关于本实施方式的对位处理的详细情况，将参照图12的流程图后述。

若对位处理结束，则将使用者进行按下操作的实际物体的面的一部分区域确定为虚拟输入设备区域41。

在步骤S14中，接触操作检测部51进行开启(ON)检测处理。

在本实施方式中，开启检测处理是指，进行对对象键区域的接触操作的检测的处理，例如，在虚拟输入设备区域41与打字键盘或钢琴键盘相对应的情况下，是指进行对对象键区域的按下操作的检测的处理。

另外，关于本实施方式的开启检测处理的详细情况，将参照图13的流程图后述。

若对对象键区域的按下操作的检测结果被从图4的接触操作检测部51通知给输入处理部53，则处理从步骤S14前进至步骤S15。

在步骤S15中，输入处理部53执行输入处理。

输入处理使输入处理部53发挥上述的输入功能以及处理执行功能。

即，作为输入处理，输入处理部53通过发挥输入功能，输入被分配给与对象键区域对应的打字键或乐器键的信息，通过发挥处理执行功能，按照输入的信息执行各种处理。

例如，在步骤S12的开关处理中对虚拟输入设备区域41进行了使其与打字键盘相对应的设定的情况下，作为处理执行功能发挥文字处理功能。并且，对象键区域与构成打字键盘的各打字键之中的被使用者进行了按下操作的打字键相对应。因此，在该情况下，输入处理部53输入被分配给与对象键区域对应的打字键的“F”等文本信息，例如向制作中的文章中追加“F”等文本。

另一方面，例如，在步骤S12的开关处理中对虚拟输入设备区域41进行了使其与钢琴键盘相对应的设定的情况下，作为处理执行功能发挥序列发生功能。并且，对象键区域与构成钢琴键盘的各乐器键之中的被使用者进行了按下操作(演奏操作)的乐器键相对应。因此，在该情况下，输入处理部53输入与对象键区域对应的音高信息，例如入“C3”等音高信息。然后，输入处理部53控制声音控制部55，由此使得从声音输出部57输出音高信息所确定的音高(频率)的声音，例如“C3”声音等。其中，这样的声音的输出的处理作为后述的步骤S17的发声处理而被执行。

在步骤S16中，显示控制部54执行显示处理。

显示处理是指，将包含与对象键区域相关的信息的输入操作结果图像显示在显示部11上的处理。

例如，在步骤S12的开关处理中对虚拟输入设备区域41进行了使其与打字键盘相对应的情况下，通过显示处理，将图8所示的输入操作结果图像显示在显示部11上。即，将对象键区域(在图8的例子中为与“F打字键”对应的键区域41a)、被分配给与对象键区域对应的打字键的信息即通过步骤S16的处理输入的信息(在图8的例中为“F”那样的文本)，显示在显示部11上。

另一方面，例如，在步骤S12的开关处理中对虚拟输入设备区域41进行了使其与钢琴键盘相对应的情况下，通过显示处理，虽未图示，将对象键区域(与“C3”等被按下操作的乐器键对应的键区域)、被分配给与对象键区域对应的乐器键的信息即通过步骤S16的处理输入的信息(“C3”等的音高信息)，显示在显示部11上。

在步骤S17中，声音控制部55执行发声处理。

发声处理是指，基于与对象键区域相关的信息从声音输出部57输出声音的处理。

例如，在步骤S12的开关处理中对虚拟输入设备区域41进行了使其与打字键盘相对应的设定情况下，通过发声处理，将实录了“咔咔音”的数据从声源部56供给至声音控制部55，基于该数据，从声音输出部57输出“咔咔音”。

另一方面，例如，在步骤S12的开关处理对虚拟输入设备区域41进行了使其与钢琴键盘相对应的设定的情况下，通过发声处理，从声音输出部57输出通过步骤S15的处理输入的音高信息所确定的音高(频率)的声音，例如“C3”的声音等。

在步骤S18中，信息处理装置1的各部判定是否被指示了使处理结束。

使处理结束的指示没有特别限定，例如，能够采用将信息处理装置1电源断开的指示等各种各样的指示作为使处理结束的指示。

在还没有被指示处理结束的情况下，在步骤S18中判定为“否”，处理返回步骤S12，之后的处理反复进行。

相对于此，在被指示了使处理结束的的情况下，在步骤S18中判定为“是”，结束整个虚拟输入设备用处理。

接着，说明这样的虚拟输入设备用处理之中的步骤S13的对位处理的详细流程。

图12是说明对位处理的详细流程的流程图。

如上所述，若步骤S12的开关处理结束，则步骤S13的对位处理开始，执行如下的步骤S31至S35的一系列的处理。

在步骤S31中，接触操作检测部51提示基准对位开始的消息。

该消息的提示方法没有特别限定，例如可以采用从声音输出部57输出声音消息的方法。但是，在本实施方式中，例如将包括“请用手指和指甲强烈敲击想设定为基准位置的位置。将那里设定为‘J打字键’或‘C3音’”的文本消息的图像，显示在在显示部11上的方法。

即，在本实施方式中，接触操作检测部51控制显示控制部54，将包括该文本消息的图像显示在显示部11上。

在步骤S32中，接触操作检测部51开始取入来自声音输入部13的声音的数据和来自摄像部12的摄像图像的数据。

在步骤S33中，接触操作检测部51基于从摄像部12取入的摄像图像的数据，判定在该摄像图像的范围内指甲区域31a是否以一定以上的速度移动了一定时间以上之后停止。

在此，“一定以上的速度”和“一定时间以上”没有特别限定，能够采用任意的值。

其中，步骤S33的判定处理的目的在于，判定使用者从随后要被当作打字键盘或钢琴键盘被进行按下操作的桌子21的上表面等中决定出基准位置后，是否使手指31停止在了该基准位置(相对平面在水平方向上停止)。即，判定使用者是否有决定基准位置的意愿，就是步骤S33的判定处理的目的所在。

因此，从其目的来看，可以采用适当值作为“一定以上的速度”和“一定时间以上”的值。根据这样的观点，在本实施方式中，作为“一定以上的速度”采用能够判断为手指31没有停止的速度，“一定时间以上”采用“20msec”。

在摄像图像的范围内，在指甲区域31a正在移动而未停止的情况下，或者在指甲区域31a虽然停止了但是在刚要停止时的指甲区域31a的移动的速度没有达到一定或者移动的时间没有达到一定的情况下，表示使用者还没有决定基准位置的意愿，在步骤S33中判定为“否”，处理返回至步骤S33。

即，在指甲区域31a以一定以上的速度移动了一定时间之后停止之前的期间，反复进行步骤S33的判定处理。

此后，在判断为在摄像图像的范围内，指甲区域31a以一定以上的速度移动了一定时间以上之后停止的情况下，表示使用者有将该停止位置决定为基准位置的意愿，在步骤S33中判定为“是”，处理前进至步骤S34。

在步骤S34中，接触操作检测部51基于从声音输入部13取入的声音的数据(FFT处理后的频域数据)，判定20Hz带宽和1kHz带宽的该声音是否在-10dB以上。

即，该步骤S34的处理在步骤S33的处理中判定为“是”之后执行，如上所述，在步骤S33中为“是”的判定表示使用者有决定基准位置的意愿。

但是，使用者有决定基准位置的意愿是不能够仅通过该步骤S33的判定来确定的。例如，使用者虽然使手指31暂时停止在规定位置上，但是存在没有用手指31和指甲敲击该规定位置(不进行按下操作)而是使手指31再次移动的情况。在该情况下，如果仅通过步骤S33的判定而判定为使用者有将该规定位置决定为基准位置的意愿，就意味着做出了误判定。

以防止这样的误判定为目的，即为了更准确地(高精度地)判定出使用者有决定基准位置的意愿，而设置了步骤S34的处理。

具体地说，在本实施方式中，如上所述，在步骤S31的处理中，在显示部11上显示“请用手指和指甲用力敲击想要设定为基准位置的位置”这样的文本消息。因此，目视识别了该文本消息的使用者应该会用手指31和指甲用力敲击想要设定为基准位置的位置来进行将该位置作为基准位置的意愿表示。

这样，接触操作检测部51是不能够仅通过在步骤S33的处理中判定为“是”、即仅通过确认了手指31停止在想要设定为基准位置的位置的上方，来最终判断为使用者有决定基准位置的意愿的。即，接触操作检测部51只有在能够检测出用手指31和指甲敲击了(进行了按下操作)想要设定为基准位置的位置的情况下，才能够最终判断为使用者有决定基准位置的意愿。用于进行这样的最终判断的判定处理为步骤S34的处理。

更具体地说，20Hz带宽为用手指31敲击桌子21(进行了按下操作)时从桌子21发出的声音的频带。因此，接触操作检测部51在20Hz带宽的声音为-10dB以上的情况下，检测为使用者用手指31敲击了桌子21之上(进行了按下操作)。

另一方面，1kHz带宽为用指甲敲击桌子21(进行了按下操作)时从桌子21发出的声音的频带。因此，接触操作检测部51在检测出1kHz带宽的声音为-10dB以上的情况下，检测为使用者用指甲敲击了桌子21之上(进行了按下操作)。

换而言之，步骤S34的判定处理中使用的“20Hz带宽”、“1kHz”以及“10dB”这样的各数值，只不过是以虚拟输入设备区域41形成在桌子21的上表面为前提的示例。即，能够按照形成有虚拟输入设备区域41的实际物体的面的特性例如其材质、大小等，将步骤S34的判定处理中使用的数值改变为合适的值。

在本实施方式中，在声音的20Hz带宽和1kHz带宽的中的至少一方不到-10dB的情况下，表示使用者没有决定基准位置的意愿，在步骤S34中判定为“否”，处理返回至步骤S33，以后的处理反复进行。

即，在指甲区域31a以一定以上的速度移动了一定时间以上后停止、并且声音的20Hz带宽和1kHz带宽都为-10dB以上之前的期间，表示使用者没有决定基准位置的意愿，在步骤S33或S34的处理中判定为“否”，对位处理成为待机状态。

此后，若在指甲区域31a以一定以上的速度移动了一定时间以上后停止、并且声音的20Hz带宽和1kHz带宽都为-10dB以上，则最终判断为使用者有将该停止位置决定为基准位置的意愿，在步骤S33以及S34中都判定为“是”，处理前进至步骤S35。

在步骤S35中，接触操作检测部51将在摄像图像内停止的指甲区域31a的配置位置作为基准位置，来设定虚拟输入设备区域41。

由此，对位处理结束，即，图11的步骤S13的处理结束，处理前进至步骤S14的开启检测处理。

因此，以下继续说明步骤S14的开启检测处理的详细流程。

图13是说明开启检测处理的详细流程的流程图。

在步骤S41中，接触操作检测部51开始来自声音输入部13的声音的数据和来自摄像部12的摄像图像的数据的取入。

在步骤S42中，接触操作检测部51基于从摄像部12取入的摄像图像的数据，判定在该摄像图像的范围内，指甲区域31a是否以一定以上的速度的移动了一定时间以上之后停止。

在此，对于“一定以上的速度”和“一定时间以上”没有特别的限定，能够采用任意的值，当然能够分别采用与图12的步骤S33的值相独立的值。

其中，步骤S42的判定处理的目的在于，判定使用者从随后要被当作打字键盘或钢琴键盘被进行按下操作的虚拟输入设备区域41中决定出成为按下操作对象的对象键区域后，是否使手指31停止在了该对象键区域的位置(相对于与桌子21的上表面等平行的方向停止)。即，判定使用者是否有决定基准位置的意愿，就是步骤S42的判定处理的目的所在。

因此，从其目的来看，可以采用适当值作为“一定以上的速度”和“一定时间以上”的值。根据这样的观点，在本实施方式中，采用与图12的步骤S33中的值相同的值，即作为“一定以上的速度”采用能够判断为手指31没有停止的速度，作为“一定时间以上”采用“20msec”。

在摄像图像的范围内，在指甲区域31a正在移动而未停止的情况下，或者在指甲区域31a虽然停止了但是在刚要停止时的指甲区域31a的移动的速度没有达到一定或者移动的时间没有达到一定的情况下，表示使用者没有决定成为按下操作对象的对象键区域的意愿(进行按下操作的意愿)，在步骤S42中判定为“否”，处理返回至步骤S42。

即，在指甲区域31a以一定以上的速度移动了一定时间以上后停止之前的期间，反复进行步骤S42的判定处理。

此后，在判定为在摄像图像的范围内，指甲区域31a以一定以上的速度移动了一定时间以上之后停止的情况下，表示使用者有将该停止位置决定为对象键区域的意愿(对对象键区域进行按下操作的意愿)，在步骤S42中判定为“是”，处理前进至步骤S43。

在步骤S43中，接触操作检测部51基于从声音输入部13取入的声音的数据(FFT处理后的频域数据)，判定20Hz带宽和1kHz带宽的该声音是否在-10dB以上。

即，该步骤S43的处理在步骤S42的处理中判定为“是”之后执行，如上所述，在步骤S42中为“是”的判定表示使用者有决定对象键区域的意愿(对对象键区域进行按下操作的意愿)。

即，前一步的步骤S42的判定处理是基于对摄像图像的数据实施图像识别处理而进行的判定处理。但是，在这样的图像识别处理中，是不能够对手指31接触到桌子21的上表面等之前进行检测的。因此，在前一步的步骤S42的处理中，只能进行使用者有决定对象键区域的意愿这样的判定。

换而言之，使用者实际上是否用手指31进行了按下操作的判定仅通过前一步的步骤S42的判定是不能够确定的。例如，存在使用者使手指31暂时停止在规定位置上，但是不用手指31敲击该规定位置(不进行按下操作)而使手指31再次移动的情况。在该情况下，如果仅通过前一步的步骤S42的判定而判定为将与该规定位置对应的键区域作为对象键区域进行了按下操作，就意味着做出了误判定。

以防止这样的误判定为目的，即为了更可靠(高精度)地判定出对对象键区域进行了按下操作，而设置了步骤S43的处理。

具体地说，20Hz带宽为用手指31敲击桌子21(进行了按下操作)时从桌子21发出的声音的频带。因此，接触操作检测部51在20Hz带宽的声音为-10dB以上的情况下，检测为使用者用手指31敲击了桌子21之上(进行了按下操作)。

而且，在本实施方式中，为了防止误检测，还判定50Hz的声音是否为-10dB以上。该50Hz带宽为桌子21之上振动时通常从桌子21发出的声音的频带。因此，接触操作检测部51通过判定为20Hz带宽的声音为-10dB以上且50Hz带宽的声音为-10dB以上，能够更加可靠地检测出使用者用手指31敲击了桌子21之上(进行了按下操作)。

换而言之，步骤S43的判定处理中使用的“20Hz”、“50Hz”以及“-10dB”这样的各数值是以虚拟输入设备区域41形成在桌子21上为前提的示例。即，能够按照形成有虚拟输入设备区域41的实际物体的面的特性例如其材质、大小等，将步骤S43的判定处理中使用的数值改变为合适的值。

在本实施方式中，在20Hz带宽和50Hz带宽的声音中的至少一方不到-10dB的情况下是不能够断定为使用者用手指31进行了按下操作的，因此在步骤S43中判定为“否”，处理返回至步骤S42，以后的处理反复进行。

即，在指甲区域31a以一定以上的速度移动了一定时间以上之后停止、并且20Hz带宽和50Hz带宽的声音都为-10dB以上之前的期间，不能够断定为使用者用手指31进行了按下操作，在步骤S42或S43的处理中判定为“否”，开启检测处理成为待机状态。

此后，若指甲区域31a以一定以上的速度移动了一定时间以上之后停止、并且20Hz带宽和50Hz带宽的声音都为-10dB以上，则最终判断为使用者使手指31停止在了对象键区域的位置并在该位置进行了按下操作，从而在步骤S42以及S43的各个步骤中都判定为“是”，处理前进至步骤S44。

在步骤S44中，接触操作检测部51将摄像图像内的配置有停止的指甲区域31a的键区域识别为对象键区域。

即，在步骤S42中判定为“是”的处理中，仅能进行使用者已使手指31停止的动作的判定。换而言之，作为接触操作检测部51，在步骤S42中判定为“是”时，仅能够识别出使用者有使手指31对停止位置进行按下操作的意愿。因此，在步骤S42中判定为“是”时，手指31的停止位置与虚拟输入设备区域41的配置位置还没有被建立对应。因此，使手指31的停止位置与虚拟输入设备区域41的配置位置建立对应来确定对象键区域的处理，作为步骤S44的处理被执行。

在步骤S45中，接触操作检测部51检测出对对象键区域的按下操作。即，在步骤S44的处理中确定了对象键区域之后，对对象键区域的按下操作的检测的处理，作为步骤S45的处理被执行。

由此，开启检测处理结束，即图11的步骤S14的处理结束，处理前进至上述的步骤S15的输入处理。

如以上说明那样，本实施方式的信息处理装置1具备摄像部12、声音输入部13、接触操作检测部51、输入处理部53。

摄像部12将桌子21的上表面等规定区域作为与规定的输入设备对应的虚拟输入设备区域41，对将进行按下操作的使用者的手指31进行摄像，由此输出摄像图像的数据。

声音输入部13输入用使用者的手指31对虚拟输入设备区域进行按下操作时产生的声音，并输出该声音的数据。

接触操作检测部51基于从摄像部12输出的摄像图像的数据和从声音输入部13输出的声音的数据，检测是否通过使用者的手指31对虚拟输入设备区域进行了按下操作。

输入处理部53基于接触操作检测部51的检测结果输入规定的信息。

这样，信息处理装置1能够作为不使用输入设备而利用使用者的手的动作来输入信息的使用者操作之一来接受按下操作，基于该按下操作输入规定的信息。

这样，不仅利用摄像图像，还利用使用者的手指31对虚拟输入设备区域进行按下操作时产生的声音，检测按下操作。由此，能够无误检测地可靠检测按下操作。

而且，用于检测按下操作的摄像图像和声音的数据，从摄像部12以及声音输入部13获得。构成摄像部12的数码摄像机、构成声音输入部13的麦克风等，由于近年来技术的发展，能够采用低成本且非常小型的结构，如图1所示，能够容易地内置在信息处理装置1中。这样，能够以简单的结构实现信息处理装置1。

此外，使用者只要将桌子21的上表面当作所需的输入设备，进行与对该输入设备的操作完全相同的操作，就能够将所需的信息输入至信息处理装置1。在该情况下，使用者不需要像上述的专利文献3那样说话。因此，使用者能够在所需的场所(即使禁止说话的场所)通过更简便的操作输入所需的信息。

综上所述，信息处理装置1能够通过简单的结构无误检测地可靠检测按下操作，并且提供对桌子21的上表面等进行按压的按下操作这样的更简便的使用者操作。

另外，本发明不限于上述的实施方式，在能够实现本发明目的的范围内的变形、改良等也包含在本发明中。

例如，在上述的实施方式中，将与虚拟输入设备区域41对应的输入设备设定为打字键盘或钢琴键盘，但是不限于此。

具体地说，例如，能够使鼠标与虚拟输入设备区域41相对应，更确切地是使鼠标的移动区域与虚拟输入设备区域41相对应。

图14是说明是鼠标与虚拟输入设备区域41相对应的情况下的开启检测处理的详细流程的流程图。

在图14的例子中，使用者可利用鼠标在显示部11的画面内进行的操作之中的滚动(scroll)操作、光标的移动操作以及用于选择光标所指示的对象(图标等)等的点击操作，通过接触操作检测部15来检测。

信息处理装置1能够在具有图4的功能结构的状态下，执行图14的例子的开启检测处理。

虽然没有图示，但是如上所述，更确切地说不是鼠标本身与虚拟输入设备区域41对应，而是桌子21的上表面等实际物体的面之中的鼠标的移动范围、即在图14的例子中为与显示部11的画面对应的范围，与虚拟输入设备区域41对应。

在该情况下，虽然没有图示，但是，在对位处理中，通过相当于图12的步骤S31的处理，例如显示包括“请用指甲用力敲击想要设定为基准位置的位置。将此处设定为画面的中心位置”的文本消息的图像。

此后，执行与图12的步骤S32至S35相当的处理。即，将摄像图像内的停止的指甲区域31a的配置位置作为基准位置(画面的中心位置)，设定虚拟输入设备区域41。

由此，对位处理结束，即，图11的步骤S13的处理结束，处理前进至步骤S14的开启检测处理。在该情况下，执行图14的步骤S81以后的处理。

在步骤S81中，接触操作检测部51开始来自声音输入部13的声音的数据和来自摄像部12的摄像图像的数据的取入。

在步骤S82中，接触操作检测部51基于从声音输入部13取入的声音的数据(FFT处理后的频域数据)，判定10kHz带宽的该声音是否为-10dB以上。

具体地说，10kHz带宽是用手指31指甲刮划桌子21的上表面时产生的声音的频带。因此，在10kHz带宽的声音为-10dB以上的情况下，接触操作检测部51检测为使用者用手指31的指甲刮划了桌子21的上表面。

换而言之，步骤S82的判定处理中使用的“10kHz”以及“-10dB”这样的各数值是以虚拟输入设备区域41形成在桌子21上为前提的示例。即，能够按照形成有虚拟输入设备区域41的实际物体的面的特性例如其材质、大小等，将步骤S82的判定处理中使用的数值改变为合适的值。

在此，也可以理解为使用者用手指31的指甲刮划了桌子21，是如向下按压指甲并使按压下去的指甲移动这样的按下操作的一种。在这样理解的况下，接触操作检测部51不仅能够检测按下打字键等的一般的按下操作，而且能够检测这样的用指甲进行刮划等的按下操作。其中，如上所述，为了与按下打字键等一般的按下操作明确地区别开来，将接触操作检测部51检测的操作称为“接触操作”。

即，接触操作检测部51不仅能够检测一般意义的按下操作，还能够检测各种各样的接触操作，在步骤S82的处理中，能够判定是否存在作为接触操作的一例进行了用指甲进行刮划的操作的可能性。

在此，设定用指甲进行刮划的操作与滚动操作建立了对应。在该情况下，在步骤S82中判定为“是”时，判定为存在进行了滚动操作的可能性，处理前进至步骤S83。相对于此，在步骤S82中判定为“否”时，判定为不存在进行了滚动操作的可能性，而存在进行了其他操作的可能性，处理前进至步骤S87。

首先，说明在步骤S82中判定为“是”之后的处理，即在判定为存在进行了滚动操作的可能性时执行的步骤S83至S86的处理。

在该情况下，接触操作检测部51基于从声音输入部13取入的声音的数据识别出了用指甲刮划的操作，即识别出了存在进行了滚动操作的可能性，因此，在步骤S83以后的处理中，利用从摄像部12取入的摄像图像的数据，检测滚动操作。

另外，在该情况下使用的摄像图像的数据，是在10kHz的声音成为-10dB以上的时刻或该时刻前后的期间在时间上连续地得到的图像(动画图像)的数据。

即，在步骤S83中，接触操作检测部51基于从摄像部12取入的摄像图像的数据，判定在该摄像图像的范围内，指甲区域31a是否进行了左右移动。

在判定为在摄像图像的范围内指甲区域31a正在左右移动的情况下，在步骤S83中判定为“是”，处理前进至步骤S84。

在步骤S84中，接触操作检测部51检测为是使画面向左右滚动与指甲区域31a的位移量相当的量的操作。

由此，开启检测处理结束。即，图11的步骤S14的处理结束，此后，执行步骤S15至S17的处理。结果，显示部11的画面显示滚动与使用者的手指甲向左右刮划的量相当的量。

相对于此，在判定为在摄像图像范围内指甲区域31a没有向左右移动的情况下，即在步骤S83中判定为“否”的情况下，处理前进至步骤S85。

在步骤S85中，接触操作检测部51基于从摄像部12取入的摄像图像的数据，判定在该摄像图像的范围内指甲区域31a的大小(摄像图像内的占有率)是否发生了变化。

在判定为在摄像图像的范围内指甲区域31a的大小没有变化的情况下，即在步骤S85中判定为“否”的情况下，表示没有进行滚动操作，处理返回至步骤S82，以后的处理反复进行。

相对于此，在判定为在摄像图像的范围内指甲区域31a大小发生了变化的情况下，即在步骤S85中判定为“是”的情况下，处理前进至步骤S86。

在步骤S86中，接触操作检测部51在指甲区域31a的变大时检测为是进行向上滚动的操作，在指甲区域31a的变小时检测为是进行向下滚动的操作。

由此，开启检测处理结束。即，图11的步骤S14的处理结束，此后，执行步骤S15至S17的处理。结果，显示部11的画面显示向上或下滚动与使用者的手指甲向上下刮划的量相当的量。

以上，说明了通过使用者刮划手指甲进行了滚动操作的情况下的开启检测处理。

接着，说明使用者进行了光标的移动操作以及点击操作的情况下的开启检测处理。

在此，例如，假设使用者用右手保持虚拟鼠标，进行用右手的食指等规定的手指31敲击桌子21的上表面等的操作(一般意义上的按下操作)由此点击虚拟鼠标。即，在虚拟输入设备区域41的范围内移动手指31的操作，与光标操作建立了对应，用手指31敲击桌子21的上表面等的操作(一般意义上的按下操作)与点击操作建立了对应。

在该情况下，若步骤S82中判定为“否”，则处理前进至步骤S87。

在步骤S87中，接触操作检测部51根据从摄像部12取入的摄像图像的数据求出指甲区域31的位置关系，基于该指甲区域31的位置关系决定虚拟鼠标的前后左右的绝对位置，由此检测光标移动操作。

另外，光标移动操作被设定为，在步骤S87的处理中依次执行与图11的步骤S15的输入处理以及S16的显示处理等同的处理，在显示部11的画面中，按照使用者的手指31的移动轨迹，依次移动光标。

在步骤S88中，接触操作检测部51基于从声音输入部13取入的声音的数据(FFT处理后的频域数据)，判定20Hz带宽和50Hz带宽的该声音是否为-10dB以上且指甲区域31a是否以一定以上的速度移动了一定时间以上之后停止。

即，与将图13的步骤S42和S43的选择处理合并而成的一个处理等价的处理，就是步骤S88的处理。此外，该处理的目的在于，判定是否是使手指31停止在形成在桌子21的上表面等上的虚拟输入设备区域41内的规定位置后在该规定位置进行了敲击手指31的操作(一般意义上的按下操作)这一点，这与图13的步骤S42以及S43的选择处理相同。

但是，在图14的例子中，手指31的停止位置与光标的停止位置、例如在显示部11的画面内指定选择对象的标记(图标等)的位置相对应，用手指31敲击该规定位置的操作(一般意义的按下操作)与点击操作相对应，这些点与图13的例子不同。

因此，图14的步骤S88中的“一定以上的速度”、“一定时间以上”，没有特别的限定，能够采用任意的值，但是，优选采用与图13的步骤S42的值相同的值。即，“一定以上的速度”优选采用能够判断为手指31没有停止的速度，“一定时间以上”优选采用“20msec”。

这样，步骤S88的判定处理也就是判定是否进行了点击操作的判定处理。

因此，在步骤S88中判定为“否”的情况下，表示没有进行点击操作，处理返回至步骤S82，反复进行以后的处理。

相对于此，在步骤S88中判定为“是”的情况下，处理前进至步骤S89。在步骤S89中，接触操作检测部51检测到点击操作。

由此，开启检测处理结束。即图11的步骤S14的处理结束，此后，执行步骤S15至S17的处理。结果，执行与进行鼠标的点击操作时完全相同的处理，还能够适当地输出鼠标的点击音等。

以上，作为本发明的变形例说明了使鼠标与虚拟输入设备区域41相对应的例子。

此外，例如在上述的实施方式中，形成有虚拟输入设备区域41的面设成了桌子21的上表面，但是不限定于此，只要是使用者的手指31能够接触的面，不仅是平面，可以是凹凸的面等任意的面。

此外，例如在上述的实施方式中，除了手指31对接触虚拟输入设备区域41的接触操作、即敲击手指31所实现的一般意义上的按下操作之外，在用手指31的指甲进行刮划等各种操作的检测中都利用了声音的数据，但是不限于此。

即，为了检测这样的接触操作，只要是表示因手指31或其指甲与虚拟输入设备区域41接触(与桌子21的上表面等面接触)而发生变化的现实世界的状态的状态数据即可，能够采用任意的数据。

例如，能够基于表示因手指31与面接触而产生的该面的振动的状态的状态数据，检测接触操作。在该情况下，在信息处理装置1上，与声音输入部13一起或代替声音输入部13设置所谓的振动传感器，将该振动传感器的检测结果作为状态数据之一供给至接触操作检测部51。

换而言之，上述的实施方式中使用的声音的数据是指，表示因手指31或其指甲与虚拟输入设备区域41接触而产生变化的空气振动的状态、即音量和音高(频率)的数据，因此这仅是状态数据的示例。

进一步来讲，为了检测接触操作，只要具有对虚拟输入设备区域41的形成面进行摄像所形成的摄像图像的数据、和能够确定使用者的手指31或指甲是否接触了虚拟输入设备区域41的确定信息即可。即，声音的数据和振动传感器的检测结果等状态数据仅为确定信息的示例。在此“接触状态”不仅包括处于接触的各种状态，还包括没有接触状态。因此，根据表示“接触状态”的信息，能够判定是否正在接触。

此外，例如在上述的实施方式中，适用本发明的信息处理装置以带有相机的数码相框的例子进行了说明。

但是，本发明不限于此，能够普遍适用于具有摄像功能以及状态数据输入功能(优选声音输入功能)的电子设备，例如，本发明能够广泛地适用于个人电脑、便携式导航装置、便携式游戏机等。

上述的一系列的处理能够通过硬件执行，还能够通过软件执行。

图15是表示通过软件执行上述一系列的处理的情况下的、信息处理装置1的硬件结构的框图。

信息处理装置1具备CPU(Central Processing Unit)101、ROM(ReadOnly Memory)102、RAM(Random Access Memory)103、总线104、输入输出接口105、输入部106、输出部107、存储部108、通信部109、驱动器110、上述的声源部56。

CPU101按照记录在ROM102中的程序执行各种处理。或者，CPU101按照从存储部108载入至RAM103的程序执行各种处理。

在RAM103还适当地存储有CPU101执行各种处理所需要的数据等。

例如，上述图4的功能结构之中的接触操作检测部51、输入处理部53、显示控制部54以及声音控制部55能够由CPU101这样的硬件和存储在ROM102等中的程序(软件)的组合来构成。

CPU101、ROM102以及RAM103经由总线104相互连接。该总线104还与输入输出接口105连接。在输入输出接口105上，除了上述的声源部56之外，还连接有输入部106、输出部107、存储部108、通信部109以及驱动110。

输入部106除了例如图4的摄像部12和声音输入部13之外，还包括未图示的操作部等，根据需要还包括振动传感器。

输出部107例如由图4的显示部11和声音输出部57等构成。

存储部108由硬盘等构成，用于存储各种数据。例如图4的规定信息存储部52构成为存储部108内的一部分区域，存储上述的规定信息。

通信部109控制经由网络等与其他装置之间进行的通信。

在驱动器110上适当地安装有由磁盘、光盘、光磁盘或半导体存储器等构成的可移动媒体(removable media)121。被驱动器110读出的计算机程序按照需要安装在存储部108等中。

在通过软件执行一系列的处理的情况下，构成该软件的程序能够从网络或记录介质安装在计算机等中。计算机可以是组装在专用的硬件上的计算机。此外，计算机也可以是通过安装各种程序来执行各种功能的计算机，例如可以是通用的个人电脑。

这样的包含有程序的记录介质，不仅能够由为了向使用者提供程序而与装置主体另外提供的可移动媒体121构成，还能够由以预先安装在装置主体的状态被提供给使用者的记录介质等构成。可移动媒体例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-ReadOnly Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。此外，预先组装在装置主体中而被提供给使用者的记录介质例如由记录有程序的ROM102或存储部108包括的硬盘等构成。

另外，在本说明书中，对记录在记录介质中的程序进行记述的步骤，当然包括按照其顺序以时序进行的处理，但是还包括不是以时序进行的处理而是并列或单独执行的处理。

Claims (6)

1.一种信息处理装置，将规定的面上视为虚拟输入设备区域，通过使用者进行使手指与上述虚拟输入设备区域接触的接触操作，来输入规定的信息，其特征在于，具备：

摄像单元，对形成有上述虚拟输入设备区域的上述面进行摄像，由此输出摄像图像的数据；

确定信息检测单元，检测确定信息，该确定信息表示上述使用者的手指向上述虚拟输入设备区域接触的状态；

接触操作检测单元，基于从上述摄像单元输出的上述摄像图像的数据和上述确定信息检测单元检测出的上述确定信息，检测对上述虚拟输入设备区域之中的规定区域进行了上述接触操作的情况；以及

信息输入单元，基于上述接触操作检测单元的检测结果，输入上述规定的信息。

2.根据权利要求1所述的信息处理装置，其特征在于，还具备：

规定信息存储单元，存储规定信息，该规定信息规定上述摄像图像内的上述虚拟输入设备区域的位置，

上述接触操作检测单元，

基于存储在上述规定信息存储单元中的上述规定信息、以及上述摄像图像中的上述使用者的手指的相对位置，检测成为上述接触操作的对象的上述规定区域，

基于在对上述摄像图像进行了摄像的时刻或该时刻前后通过上述确定信息检测单元检测出的上述确定信息，检测上述使用者的手指向上述面的接触的情况，

由此检测对上述规定区域进行了上述接触操作的情况。

3.根据权利要求1所述的信息处理装置，其特征在于，

上述确定信息检测单元包括输入因上述使用者的手指向上述虚拟输入设备区域接触而产生的声音的单元，检测该声音的数据，作为上述确定信息。

4.根据权利要求3所述的信息处理装置，其特征在于，

上述接触操作检测单元基于上述确定信息检测单元作为上述确定信息检测出的上述声音的数据，检测一个以上频带的声音各自的水平为阈值以上的情况，由此检测上述使用者的手指向上述面的接触。

5.根据权利要求2所述的信息处理装置，其特征在于，

上述接触操作检测单元基于时间上连续的上述摄像图像的数据，检测上述使用者的手指以一定以上的速度移动了一定时间之后停止的情况，由此检测上述手指停止的位置，作为上述规定区域。

6.一种信息处理方法，是信息处理装置的信息处理方法，该信息处理装置将规定的面上视为虚拟输入设备区域，通过使用者进行使手指与上述虚拟输入设备区域接触的接触操作，来输入规定的信息，并且该信息处理装置具有摄像单元，该摄像单元对形成有上述虚拟输入设备区域的上述面进行摄像，由此输出摄像图像的数据，该信息处理方法的其特征在于，包括：

确定信息检测步骤，检测确定信息，该确定信息能够确定上述使用者的手指是否接触了上述虚拟输入设备区域；

接触操作检测步骤，基于通过上述摄像步骤的处理输出的上述摄像图像的数据和通过上述确定信息检测步骤的处理检测出的上述确定信息，检测对上述虚拟输入设备区域之中的规定区域进行了上述接触操作的情况；以及

信息输入步骤，基于上述接触操作检测步骤的检测处理的结果，输入上述规定的信息。

Images