CN102193728A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN102193728A
CN102193728A CN2011100437880A CN201110043788A CN102193728A CN 102193728 A CN102193728 A CN 102193728A CN 2011100437880 A CN2011100437880 A CN 2011100437880A CN 201110043788 A CN201110043788 A CN 201110043788A CN 102193728 A CN102193728 A CN 102193728A
Authority
CN
China
Prior art keywords
finger
type
function
touch
touch location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100437880A
Other languages
English (en)
Inventor
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102193728A publication Critical patent/CN102193728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种信息处理装置包括：检测部，配置成检测物体触摸触敏部件的位置作为触摸位置；识别部，配置成基于触摸位置和触敏部件的图像来识别触摸触敏部件的手指的类型；搜索部，配置成搜索功能表，该功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向手指的触摸位置和类型的组合分配的功能之间的对应，该搜索部在功能表中搜索与检测部检测到的触摸位置和识别部检测到的手指类型相对应的功能；以及执行部，配置成执行搜索部通过搜索检测到的功能。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序。具体而言，本发明涉及可以通过触摸来操作以迅速和容易地执行用户期望的功能的信息处理装置、用于与这样的信息处理装置一起使用的信息处理方法和实施这样的信息处理方法的功能的程序。
背景技术
可通过鼠标来操作的信息处理装置可以向对它的鼠标进行的各所谓右击和左击操作分配不同的功能。通过指尖按压一次并且立即释放鼠标上的右和左按钮之一来实现这些操作中的各操作。
了解上述类型的信息处理装置，假设可通过鼠标11来操作的光标12如图1A中所示在装置的屏幕上显示于图标13的位置。在这种情况下，左击鼠标11执行选择图标13的功能。如果如图1B中所示右击鼠标11，则实现显示图标13的上下文菜单14的功能。也就是说，可以向鼠标11操作的光标12的位置分配两个功能。
同时存在可以通过用指尖触摸来操作的信息处理装置。一种这样的装置通常利用重叠在它的显示器上的触摸屏来检测触摸该屏的物体的位置和/或移动、由此执行向该位置和/或移动分配的功能。
在配备有触摸屏的信息处理装置上，用户可以如图2A中所示用他的或者她的任一手指(在这个例子中为食指)触摸触摸屏上的与图标13对应的位置比如一次。然后实现选择图标13的功能或者执行与图标13对应的功能。
然而在配备有触摸屏的信息处理装置上仅检测手指触摸触摸屏的位置；未检测触摸手指的类型。随之不能向单个触摸位置分配多个功能。因而，无论如图2A中所示食指触摸该屏或者如图2B中所示中指触摸该屏，只要触摸位置相同就执行相同功能。
如果向图标13的位置分配与在鼠标可操作的信息处理装置上的左击对应的功能，则可以不向图标13的位置分配与右击对应的功能。因此如果用户想要执行分配给右击的显示上下文菜单14的功能，则有必要如图3A至3C中所示进行复杂操作。
具体而言，如果用户想要执行显示上下文菜单14的功能，则用户首先用他的或者她的任一手指(在图3A至3C的例子中为食指)触摸触摸屏上的与图标13对应的位置以执行选择图标13的功能。此后如图3B中所示，用户使用他的或者她的任一手指来触摸触摸屏上的与图标21对应的位置以执行显示上下文菜单14的功能。作为该操作的结果，如图3C中所示显示上下文菜单14。如上文所述，用户需要用食指触摸触摸屏两次以便执行显示上下文菜单14的功能。
在有上述瓶颈时，需要一种能够给触摸屏上的相同触摸位置分配多个功能以便迅速和容易地实现用户期望的功能的触摸可操作的信息处理装置。
一些触摸可操作的信息处理装置检测触摸触摸屏的手指数目以便根据检测到的手指的数目来实现不同功能(例如参见特开2001-134382号日本专利)。
发明内容
然而迄今为止公开的触摸可操作的信息处理装置无一被设计成根据一个或多个手指的类型向相同触摸位置分配不同功能以便迅速和容易地进行用户期望的功能。
鉴于上述境况已经做出本发明并且提供一种可以通过触摸进行操作来以迅速和容易的方式执行用户期望的功能的信息处理装置等。
在实现本发明时并且根据其一个实施例，提供一种信息处理装置，该装置包括：检测单元，用于检测物体触摸触敏部件的位置作为触摸位置；识别单元，用于基于触摸位置和触敏部件的图像来识别触摸触敏部件的手指的类型；搜索单元，用于搜索功能表，该功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向手指的触摸位置和类型的组合分配的功能之间的对应，该搜索单元在功能表中搜索与检测单元检测到的触摸位置和识别单元检测到的手指类型相对应的功能；以及执行单元，用于执行搜索单元通过搜索检测到的功能。
根据本发明其它实施例的信息处理装置和程序对应于上文概述的本发明的信息处理装置。
根据如上文所示具体化的本发明，首先检测物体触摸触敏部件的位置作为触摸位置。然后基于触摸位置和触敏部件的图像来识别触摸触敏部件的手指的类型。提供搜索功能表以限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向手指的触摸位置和类型的组合分配的功能之间的对应。在功能表中搜索与检测到的触摸位置和检测到的手指类型相对应的功能。然后执行通过搜索检测到的功能。
当如上文概述实施本发明时，可以使触摸可操作的信息处理装置迅速和容易地执行用户期望的功能。
附图说明
图1A和1B是示出了通常如何操作鼠标的示意图；
图2A和2B是示出了通常如何进行触摸操作的示意图；
图3A、3B和3C是示出了通常如何进行触摸操作以显示上下文菜单的示意图；
图4是示出了作为本发明第一实施例的信息处理系统的典型配置的示意图；
图5是示出了图4中包括的信息处理装置的典型硬件结构的框图；
图6是示出了图5的结构中包括的CPU实施的功能执行处理部的典型功能结构的框图；
图7是示出了典型功能表的列表图；
图8A和8B是说明在存储图7的功能表时执行的典型功能的示意图；
图9是说明图6中所示功能执行处理部进行的功能执行过程的流程图；
图10是示出了作为本发明第二实施例的信息处理系统的典型配置的示意图；
图11是示出了图10中包括的信息处理装置的典型硬件结构的框图；
图12是示出了图11的结构中包括的CPU实施的功能执行处理部的典型功能结构的框图；
图13是示出了图11的结构中包括的典型功能标签表的列表图；
图14A、14B和14C是示出了图11的结构中包括的HMD上显示的典型图像的示意图；
图15是说明图12的功能执行处理部进行的标签显示过程的流程图；
图16是示出了图10中的信息处理装置的另一典型硬件结构的框图；
图17是示出了图16的结构中包括的CPU实施的功能执行处理部的典型功能结构的框图；
图18是示出了图16的结构中包括的典型功能标签表的列表图；
图19A和19B是示出了图16的结构中包括的HMD上显示的典型图像的示意图；
图20是说明图17的功能执行处理部进行的标签显示过程的流程图；
图21是说明从图20的流程图继续的标签显示过程的流程图；
图22是示出了作为本发明第三实施例的信息处理系统的典型配置的示意图；
图23是示出了图22中包括的信息处理装置的典型硬件结构的框图；
图24是示出了图22的结构中包括的触摸屏监视器的典型具体结构的框图；
图25是示出了图23的结构中包括的CPU实施的功能执行处理部的典型功能结构的框图；
图26是说明图25的功能执行处理部进行的功能执行过程的流程图；
图27是说明手指信息的示意图；并且
图28是说明其它手指信息的示意图。
具体实施方式
<第一实施例>
[作为第一实施例的信息处理系统的典型配置]
图4是示出了作为本发明第一实施例的信息处理系统的典型配置的示意图。
如图4中所示，信息处理系统30由信息处理装置31和配备有相机32的护目镜33组成。在图4中，图1A至3C中已经示出的那些部件由相同标号表示，并且下文在多余时将省略它们的描述。
在利用信息处理系统30时，用户持有信息处理装置31并且佩戴护目镜33。用户在通过护目镜33注视装置31之时对信息处理装置31进行触摸操作。
在信息处理系统30中，信息处理装置31和相机32互连。信息处理装置31可以通过用指尖触摸来操作并且通常配有触摸屏监视器41。信息处理装置31使图标13等出现于触摸屏监视器41上。用户通过注视图标13等并且通过用指尖触摸该屏上的相关位置来使信息处理装置31执行期望的功能。
附接到护目镜33的相机32拍摄包括触摸屏监视器41的图像。图像这样拍摄的单位包括与触摸屏监视器41接触的一个或者多个手指。相机32向信息处理装置31发送获取的图像。
[信息处理装置的典型硬件结构]
图5是示出了图4中包括的信息处理装置的典型硬件结构的框图。
如图5中所示，信息处理装置31合并有CPU(中央处理单元)61。ROM(只读存储器)62和RAM(随机存取存储器)63经由总线64连接到CPU 61。CPU 61也通过总线64和输入/输出端口65来与触摸屏监视器41、操作按钮66、扬声器67、存储部68、通信部69和驱动70连接。
CPU 61根据代表用户的操作的来自操作按钮66的操作信息来执行ROM 62中预装的程序。可替换地，CPU 61可以从存储部68向RAM 63中加载预装程序以便执行程序。以这种方式，CPU 61实现如后文将讨论的流程图中所示或者如后文也将描述的功能框图中所示的过程。按照需要，CPU 61通常经由总线64和输入/输出接口65从触摸屏监视器41和/或扬声器67输出它的处理的结果、通过通信部69发送结果或者在存储部68中存储或者以别的方式保持结果。
触摸屏监视器41(检测装置)通常由显示设备81如CRT(阴极射线管)或者LCD(液晶显示器)和布置于显示设备81上的无色透明触摸屏82(接触装置)组成。触摸屏监视器41使显示设备81显示图标13等作为CPU 61进行的过程的结果。触摸屏监视器41感测物体对触摸屏82的触摸并且向CPU 61馈送与物体接触的位置作为触摸位置。
操作按钮66是将由用户操作的物理按钮。在由用户操作时，操作按钮66向CPU 61供应表示用户的操作的操作信息。扬声器67输出代表CPU 61进行的过程的结果的声音。
存储部68通常由硬盘驱动(HDD)等组成。这样，存储部68存储功能表91、手指信息92和其它数据。功能表91是如下所述的表，该表限定在一方面为各手指的触摸位置和类型与另一方面为向讨论的触摸位置和手指类型的组合分配的功能之间的对应。
假设在操纵该实施例的手指中不包括拇指。也就是说，该实施例用于食指、中指、无名指和小指这四个指头。手指信息92是标识用户的各手指的信息。在本文中，假设手指信息92为用户的各手指的图像或者用于标识各手指的形状的信息。通常，用户使用相机32拍摄他的或者她的各手指的图像来预先存储手指信息92。
通信部69与外部设备如相机32通信。例如通信部69接收从相机32发送的图像并且将接收到的图像馈送到RAM 63或者别处以供存储。
一件可拆卸介质71按照需要附接到驱动70。驱动70向附接的可拆卸介质71记录数据或者再现其上记录的数据。典型的可拆卸介质71包括软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字万用盘)、磁盘和半导体存储器。
要由CPU 61执行的程序可以存储(即记录)于可拆卸介质71上。可以赋予这样的可拆卸介质71作为所谓的封装软件。在这种情况下，经由驱动70向信息处理装置31中安装程序。
可替换地，要由CPU 61执行的程序可以经由通信或者广播网络下载到信息处理装置31中并且安装到内部的存储部68中。例如可以经由数字广播卫星无线地或者通过网络如LAN(局域网)和因特网以有线方式从下载站点向信息处理装置31传送程序。
[信息处理装置的典型功能结构]
图6是示出了信息处理装置31的CPU 61实施的功能执行处理部的典型功能结构的框图。
如图6中所示，功能执行处理部100由位置获取部101、手指类型识别部102(识别装置)、功能识别部103(搜索装置)和执行部104(执行装置)组成。响应于用指尖在触摸屏82上的触摸，功能执行处理部100执行向触摸手指在屏上的位置及其类型分配的功能。
具体而言，功能执行处理部100的位置获取部101获取从触摸屏监视器41馈送的触摸位置(例如在图标上)。位置获取部101向手指类型识别部102和功能识别部103供应这样获取的触摸位置。
基于从相机32发送的图像、预先存储于存储部68中的手指信息92和来自位置获取部101的触摸位置，手指类型识别部102识别触摸触摸屏802的手指的类型。具体而言，如果存储各手指的图像作为手指信息92，则手指类型识别部102匹配手指信息92与从相机32发送的图像中的触摸位置的周围以便识别来自相机32的图像中包括的手指的类型。手指类型识别部102继续向功能识别部103供应识别的手指类型(例如食指)。
例如，可以根据Taehee Lee和Tobias Hollerer在“Handy AR：Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking”(参见Proc.IEEE International Symposium on Wearable Computers(ISWC)(关于可穿戴计算机的国际会议)，Boston，MA，2007年10月)中讨论的技术来修改识别手指类型的方法。
功能识别部103在预先存储于存储部68中的功能表91中搜索与从位置获取部102供应的触摸位置以及来自手指类型识别部102的手指类型相对应的功能。功能识别部103识别这样通过搜索检测到的功能作为要执行的功能并且将代表该功能的信息发送到执行部104。
执行部104执行从功能识别部103馈送的信息所代表的功能。
[效果说明]
图7是示出了功能表91的例子的列表图。图8A和8B是说明在图7中的功能表91存储于存储部68中时执行的典型功能的示意图。
如图7中所示，功能表91限定在一方面为各手指的触摸位置和类型与另一方面为向触摸位置和手指类型的组合分配的功能之间的对应。在图7的例子中，在一方面为触摸位置“在图标上”和手指类型“食指”与另一方面为功能“执行”之间建立了对应。在相同例子中，在一方面为触摸位置“在图标上”和手指类型“中指”与另一方面为功能“显示菜单”之间也建立了对应。
因此如图8A中所示，当用户用他的或者她的食指触摸触摸屏82上的与图标13的显示位置相对应的位置时，进行执行与图标13相对应的应用程序的功能。并且如图8B中所示，当用户用他的或者她的中指触摸触摸屏82上的与图标13的显示位置相对应的位置时，实现显示上下文菜单14的功能。
也就是说，当图7中所示功能表91存储于存储部68中时，要执行的功能根据是用食指还是中指来触摸触摸屏82上的与图标13相对应的相同位置而不同。在图8A和8B中，图1A至3C中已经示出的那些部件由相同标号表示，并且下文将在多余时省略它们的描述。
在信息处理系统30中，如上文所述，触摸屏监视器41检测物体触摸触摸屏82的位置。基于触摸位置和触摸屏82的图像，手指类型识别部102识别触摸触摸屏82的手指的类型。提供功能表91以限定在一方面为各手指的触摸位置和类型与另一方面为向触摸位置和手指类型的组合分配的功能之间的对应。功能识别部103在功能表91中搜索与这样检测到的触摸位置和这样识别的手指类型相对应的功能。执行部104执行通过搜索检测到的功能。
因此即使在用指尖触摸触摸屏82上的相同位置时，仍然根据手指的类型来执行不同功能。因而有可能增加可以用涉及到手指触摸该屏上的相关位置的单个动作来执行的功能的数目。这允许迅速和简单执行用户期望的功能。
[信息处理装置进行的过程的说明]
图9是说明功能执行处理部100进行的功能执行过程的流程图。
在图9的步骤S11中，位置获取部101确定是否检测到物体在触摸屏82上的触摸、即是否从触摸屏监视器41供应任何触摸位置。
如果在步骤S11中确定检测到物体在触摸屏82上的触摸，则到达步骤S12。在步骤S12中，位置获取部101从触摸屏监视器41获取触摸位置并且将这样获取的触摸位置馈送给手指类型识别部102和功能识别部103。
在步骤S13中，手指类型识别部102获取从相机32发送的图像。
在步骤S14中，手指类型识别部102基于预先存储于存储部68中的手指信息92、从相机32得到的图像和来自位置获取部101的触摸位置来识别触摸触摸屏82的手指的类型。手指类型识别部102将这样识别的手指类型发送到功能识别部103。
在步骤S15中，功能识别部103在预先存储于存储部68中预先存储的功能表91中搜索与从位置获取部101馈送的触摸位置和来自手指类型识别部102的手指类型相对应的功能。
在步骤S16中，功能识别部103确定是否已经通过搜索检测到与从位置获取部101馈送的触摸位置和来自手指类型识别部102的手指类型相对应的功能。如果在步骤S16中确定已经检测到功能，则功能识别部103识别检测到的功能作为要执行的功能并且向执行部104供应代表该功能的信息。然后将控制转移到步骤S17。
在步骤S17中，执行部104执行已经从功能识别部103馈送其信息的功能。这使功能执行过程结束。
如果在步骤S11中确定尚未检测到物体在触摸屏82上的触摸或者如果在步骤S16中确定未发现对应的功能，则终止功能执行过程。
关于在步骤S14中识别的各手指类型完成图9中的步骤S15至S17。
<第二实施例>
[作为第二实施例的信息处理系统的典型配置]
图10是示出了作为本发明第二实施例的信息处理系统的典型配置的示意图。
在图10中，图4中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图10中的信息处理系统120的配置与图4中的信息处理系统30的配置主要不同在于以下两点：信息处理装置31替换为信息处理装置121，以及护目镜33替换为头戴式显示器(head mount display，HMD)122。
在利用信息处理系统120时，用户持有信息处理装置121并且佩戴HMD 122。用户不直接注视信息处理装置121。取而代之，用户在观看相机32拍摄的并且显示于HMD 122上的装置121的那些图像之时对信息处理装置121进行触摸操作。
在信息处理系统120中，信息处理装置121不仅连接到相机32而且连接到HMD 122。与图4中的信息处理装置31一样，信息处理装置121可以通过用指尖触摸来操作并且配有触摸屏监视器41等。并且如同图4中的信息处理装置31，信息处理装置121使触摸屏监视器41显示图标13等。
同样，基于由相机31拍摄并且从相机31发送的图像，信息处理装置121在图像中包括的手指触摸触摸屏监视器41上的当前位置的周围时识别要执行的功能并且将代表该功能的标签图像叠加到手指的图像上。信息处理装置121将得到的图像发送到HMD 122并且使HMD 122显示图像。
用户在查看触摸屏监视器41上显示的图标13、标签图像等之时用他的或者她的手指触摸该屏上的相关位置。触摸操作使信息处理装置121执行期望的功能。
HMD 122连接到信息处理装置121。HMD 122显示从信息处理装置121发送的图像。
[信息处理装置的典型硬件结构]
图11是示出了图10中的信息处理装置121的典型硬件结构的框图。
在图11中，图5中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图11中的信息处理装置121的结构与图5中的信息处理装置的结构主要不同在于以下两点：存储部68中的功能表91替换为功能标签表131以及通信部69替换为通信部132。
功能标签表131限定在各手指的触摸位置和类型、向讨论的手指的触摸位置和类型的组合分配的功能以及代表该功能的标签图像中包括的文字(功能信息)之间的对应。
通信部132与外部设备如相机32和HMD 122通信。例如通信部132接收从相机32发送的图像并且将接收到的图像转发到RAM 63等以供存储。同样，通信部132从CPU 61接收从相机32发送的图像或者各自叠加有标签图像的图像并且将接收到的图像发送到HMD 122以供显示。
[信息处理装置的典型功能结构]
图12是示出了图11中的信息处理装置121的CPU 61实施的功能执行处理部的典型功能结构的框图。
在图12中，图6中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图12中的功能执行处理部140的结构与图6中的功能执行处理部的结构不同主要在于以下两点：手指类型识别部102替换为手指类型识别部141(识别装置)以及新提供了标签显示控制部142(显示控制装置)。
基于从相机32发送的图像和预先存储于存储部68中的手指信息92，功能执行处理部140的手指类型识别部141识别图像中包括的手指的类型和位置。也就是说，基于来自相机332的图像和手指信息92，手指类型识别部141识别触摸屏监视器41上放置的手指的类型和位置。手指类型识别部141然后将识别的手指类型和手指位置供应给标签显示控制部142。
与手指类型识别部102一样，手指类型识别部141基于从相机32发送的图像、手指信息92和来自位置获取部101的触摸位置来识别触摸触摸屏82的手指的类型。
如果预先识别触摸屏监视器41上放置的手指的类型和位置，则手指类型识别部141可以被设置成通过使用先前识别的手指类型及其位置来识别触摸触摸屏82的手指的类型。在这种情况下，手指类型识别部141从先前识别的放置于触摸屏监视器41上的手指的类型之中识别与来自位置获取部101的触摸位置相对应的手指类型作为触摸触摸屏82的手指的类型。
手指类型识别部141向功能识别部103供应放置于触摸屏监视器41上的手指的类型。
标签显示控制部142在预先存储于存储部68中的功能标签表131中搜索与手指位置的周围和从手指类型识别部141馈送的手指类型相对应的包括在标签图像中的位置。标签显示控制部142用检测到的文字生成检测到的文字的标签图像。标签显示控制部142将与手指位置和手指类型相对应的标签图像叠加到从相机32发送并且经由手指类型识别部141转发的图像的手指位置上。标签显示控制部142继续控制通信部132以将通过叠加得到的图像发送到HMD 122以供显示。
[典型功能标签表]
图13是示出了典型功能标签表131的列表图。
如图13中所示，功能标签表131限定在各手指的触摸位置和类型、向讨论的手指的触摸位置和类型的组合分配的功能以及代表该功能的标签图像中包括的文字之间的对应。
具体而言，在图13的例子中，在手指的触摸位置“在图标上”、手指类型“食指”、功能“执行”和标签图像中包括的文字“执行”之间建立了对应。在手指的触摸位置“在图标上”、手指类型“中指”、功能“显示菜单”和标签图像中包括的文字“菜单”之间也建立了对应。
另外，在手指的触摸位置“在图标上”、手指类型“无名指”、功能“复制”和标签图像中包括的文字“复制”之间建立了对应。并且在手指的触摸位置“在图标上”、手指类型“小指”、功能“显示属性”和标签图像中包括的文字“属性”之间建立了对应。
[显示于HMD上的典型图像]
图14A、14B和14C是示出了图11中的信息处理装置121在HMD 122上显示的典型图像的示意图。
对于图14A至14C中所示例子，假设图13中表示的功能标签表131存储于存储部68中。
在用户如图14A中所示将他的或者她的食指放置在图标13的周围上时，相机32拍摄包括食指的图像。然后在功能标签表131中搜索与食指和代表食指位置周围的图标13的上部相对应的包括在标签图像中的文字“执行”。使HMD 122显示如下图像，在该图像中将包括文字“执行”的标签图像161叠加到食指的位置上。
同样，在用户如图14B所示将他的或者她的中指放置在图标13的位置上时，相机32拍摄包括中指的图像。然后在功能标签表131中搜索与中指和代表中指位置周围的图标13的上部相对应的包括在标签图像中的文字“菜单”。使HMD 122显示如下图像，在该图像中将包括文字“菜单”的标签图像162叠加到中指的位置上。
另外，在用户如图14C中所示将所有他的或者她的手指放置在图标13的周围上时，相机32拍摄包括所有手指的图像。然后在功能标签表131中搜索与所有手指和代表所有手指位置周围的图标13的上部相对应的包括在标签图像中的文字。因而如图14C中所示，使HMD 122显示如下图像，在该图像中分别将包括文字“执行”的标签图像161、包括文字“菜单”的标签图像162、包括文字“复制”的标签图像163和包括文字“属性”的标签图像164叠加到食指、中指、无名指和小指的位置上。
如上文所述，信息处理系统120使HMD 122显示代表在放置于触摸屏监视器41上的给定手指触摸当前位置的周围时执行的功能的标签图像，该标签图像叠加于在包括触摸屏监视器41的图像中的手指的位置上。因此通过在触摸屏监视器41的相关位置上放置期望的手指，用户可以容易地识别在手指触摸监视器上的该位置的周围时要执行的功能。因而用户即使在不熟悉向各种手指及其类型的组合分配的功能时仍然可以进行期望的功能。以这种方式，信息处理系统120允许用户在利用期望的功能时进行明显更简单的触摸操作。
[信息处理装置进行的典型过程的说明]
图15是说明功能执行处理部140进行的标签显示过程的流程图。
在步骤S31中，手指类型识别部141获取由相机32拍摄并且从相机32发送的图像。
在步骤S32中，基于预先存储于存储部68中的手指信息92和从相机32获取的图像，手指类型识别部141识别图像中包括的手指的类型和位置。手指类型识别部141将这样识别的手指类型和手指位置供应给标签显示控制部142。
在步骤S33中，标签显示控制部142在预先存储于存储部68中的功能标签表131中搜索从手指类型识别部141馈送的并且与手指位置的周围和手指类型相对应的包括在图像中的文字。
在步骤S34中，标签显示控制部142确定是否已经通过搜索检测到来自手指类型识别部141并且与手指位置的周围和手指类型相对应的包括在图像中的文字。
如果在步骤S34中确定已经检测到相关文字，则标签显示控制部142生成包括检测到的文字的标签图像并且将控制转移到步骤S35。
在步骤S35中，标签显示控制部142将在步骤S33中生成的标签图像叠加到从相机32发送的图像中的从功能识别部103馈送的手指位置上。然后将控制转移到步骤S36。
如果在步骤S34中确定未检测到文字，则不向相机32拍摄的图像上叠加标签图像。在这种情况下，将控制转移到步骤S36。
关于在步骤S32中识别的各手指类型完成图15中的步骤S33至S36。
在步骤S36中，标签显示控制部142控制通信部132以向HMD 122发送在上述步骤中从相机32发送的并且标签图像未叠加于其上的图像或者来自相机32并且标签图像已经叠加于其上的图像以供显示。
功能执行处理部140进行的功能执行过程与上文参照图9说明的过程相同并且因此将不进一步加以讨论。
[信息处理装置的另一典型硬件结构]
图16是示出了图10中的信息处理装置121的另一典型硬件结构的框图。
在图16中，图11中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图16中的信息处理装置121的结构与图11中的信息处理装置的结构主要不同在于以下一点：存储部68中的功能标签表131替换为功能标签表170。
在图16的信息处理装置121中，功能不仅分配给各手指的触摸位置和类型的组合而且分配给多个手指的触摸位置和类型的组合。
具体而言，功能标签表170限定在一个或者多个手指的触摸位置和类型、向这些手指的触摸位置和类型的组合分配的功能以及代表该功能的标签图像中包括的文字之间的对应。
[信息处理装置的典型功能结构]
图17是示出了图16中的信息处理装置121的CPU 61实施的功能执行处理部180的典型功能结构的框图。
在图17中，图12中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图17中的信息处理装置180的结构与图12中的信息处理装置的结构主要不同在于以下两点：功能识别部103替换为功能识别部181以及标签显示控制部142替换为标签显示控制部182。
当从位置获取部101供应有多个手指的触摸位置时，功能执行处理部180的功能识别部181基于从手指类型识别部141馈送的触摸位置和手指类型来计算在每两个邻近手指之间的距离。与后文将讨论的标签显示控制部182一样，功能识别部181基于计算的距离来确定多个手指是否接合(join)。
在发现触摸触摸屏82的多个手指相互接合时，功能识别部181在功能标签表170中搜索与这些手指的位置和类型相对应的功能。如果触摸触摸屏82的一个或者多个手指与其它手指分离，则功能识别部181在功能标签表170中搜索与分离手指的位置和类型相对应的功能。功能识别部181识别通过搜索检测到的功能作为要执行的功能并且将代表该功能的信息发送到执行部104。
在从手指类型识别部141供应有多个手指的位置和类型时，标签显示控制部182基于这些手指的位置和类型来计算在每两个邻近手指之间的距离。基于这样计算的距离，标签显示控制部182确定多个手指是否相互接合。如果多个手指以相互接合的方式放置于触摸屏82上，则标签显示控制部182在功能标签表170中搜索与这些手指的位置和类型相对应的包括在标签图像中的文字。如果一个或者多个手指以与其它手指分离的方式放置于触摸屏82上，则标签显示控制部182在功能标签表170中搜索与分离手指的位置和类型相对应的包括在标签图像中的文字。标签显示控制部182继续生成包括通过搜索检测到的文字的标签图像。
标签显示控制部182将与多个接合手指的位置和类型相对应的功能的标签图像叠加到与从手指类型识别部141供应的这些手指的位置相对应的在从相机32发送的图像中的一个位置上。同样，标签显示控制部182将与其他手指分离的一个或者多个手指的位置和类型相对应的功能的标签图像叠加到从手指类型识别部141供应的一个或者多个分离的手指在从相机32发送的图像中的位置上。标签显示控制部182然后控制通信部132将叠加得到的图像发送到HMD 122以供显示。
[典型功能标签表]
图18是示出了典型功能标签表170的列表。
如图18中所示，功能标签表170限定在至少一个手指的触摸位置和类型、向手指的触摸位置及其类型的组合分配的功能以及代表该功能的包括在标签图像中的文字之间的对应。
具体而言，在图18的例子中，在手指的触摸位置“在图标上”、手指类型“食指”、功能“执行”和标签图像中包括的文字“执行”之间建立了对应。在手指的触摸位置“在图标上”、手指类型“中指”、功能“显示菜单”和标签图像中包括的文字“菜单”之间建立了对应。
另外，在手指的触摸位置“在图标上”、手指类型“食指和中指”、功能“复制”和标签图像中包括的文字“复制”之间建立了对应。
[显示于HMD上的典型图像]
图19A和19B是示出了图16中的信息处理装置121在HMD 122上显示的典型图像的示意图。
对于图19A和19B中的例子，假设图18中所示功能标签表170存储于存储部68中。同样，在图19A和19B中，图14A至14C中已经示出的那些部件由相同标号表示，并且下文将在多余时省略它们的描述。
当用户如图19A中所示将他的或者她的相互分离的食指和中指放置在图13的周围上时，相机32拍摄包括分离的食指和中指的图像。然后在功能标签表170中搜索与食指和食指触摸其周围的图标13相对应的包括在标签图像中的文字“执行”。同样在功能标签表170中搜索与中指和中指触摸其周围的图标13相对应的包括在标签图像中的文字“菜单”。然后使HMD 122显示如下图像，在该图像中将包括文字“执行”的标签图像161叠加到食指的位置上而将包括字符“菜单”的标签图像162叠加到中指的位置上。
同样在用户如图19B中所示将他的或者她的相互接合的食指和中指放置在图标13的周围上时，相机32拍摄包括接合的食指和中指的图像。在功能标签表170中搜索与食指和中指以及食指和中指触摸其周围的图标13相对应的包括在标签图像中的文字“复制”。然后使HMD 122显示如下图像，在该图像中将包括文字“复制”的标签图像163叠加到与接合的食指和中指相对应的位置上(例如在图19A和19B的例子中叠加在食指与中指之间的中点上)。
[信息处理装置进行的典型过程的说明]
图20和21是说明功能执行处理部180进行的标签显示过程的流程图。
在步骤S41中，手指类型识别部141获取由相机32拍摄并且从相机32发送的图像。
在步骤S42中，基于预先存储于存储部68中的手指信息92和从相机32获取的图像，手指类型识别部141识别图像中包括的一个或者多个手指的类型和位置。手指类型识别部141将这样识别的手指类型和手指位置供应到标签显示控制部182。
在步骤S43中，基于从手指类型识别部141馈送的一个或者多个手指类型，标签显示控制部182确定是否已经识别多个邻近手指的类型。邻近手指的类型由“食指和中指”、“中指和无名指”、“无名指和小指”、“食指、中指和无名指”、“中指、无名指和小指”或者“食指、中指、无名指和小指”组成。
如果在步骤S43中确定已经识别多个邻近手指的类型，则到达步骤S44。在步骤S44中，标签显示控制部182基于从手指类型识别部141馈送的手指的位置及其类型来计算在每两个邻近手指之间的距离。具体而言，标签显示控制部182计算在食指与中指之间、在中指与无名指之间或者在无名指与小指之间的距离。然后将控制转移到步骤S45。
如果在步骤S43中确定未识别多个邻近手指的类型、即识别的手指是手指中的仅一个、食指以及无名指、食指以及小指或者中指以及小指，则将控制转移到步骤S45。
在步骤S45中，标签显示控制部182取食指作为待处理的目标手指。
在步骤S46中，标签显示控制部182确定手指类型识别部141是否已经识别目标手指的类型、即是否从手指类型识别部141供应目标手指的类型。
如果在步骤S46中确定已经识别目标手指的类型，则到达步骤S47。在步骤S47中，标签显示控制部182确定手指类型识别部141是否识别目标手指的右侧手指的类型。具体而言，如果目标手指是食指，则标签显示控制部182确定是否识别中指。如果目标手指是中指，则标签显示控制部182确定是否识别无名指。如果目标手指是无名指，则标签显示控制部182确定是否识别小指。
如果在步骤S47中确定识别目标手指的右侧手指的类型，则到达步骤S48。在步骤S48中，标签显示控制部182确定在步骤S44中计算的在目标手指与目标手指的右侧手指之间的距离是否少于阈值。
如果在步骤S48中确定在目标手指与目标手指的右侧手指之间的距离不少于阈值，则标签显示控制部182确定目标手指和目标手指的右侧手指不接合。在这种情况下，将控制转移到步骤S49。
如果在步骤S47中确定未识别目标手指的右侧手指，则将控制转移到步骤S49。
在步骤S49中，标签显示控制部182在功能标签表170中搜索与手指类型“目标手指”和触摸位置“目标手指的位置周围”相对应的包括在标签图像中的文字。也就是说，如果识别目标手指的类型、但是未识别目标手指的右侧手指的类型，或者如果识别目标手指的类型和目标手指的右侧手指的类型、但是目标手指和目标手指的右侧手指不接合，则在功能标签表170中搜索与手指类型“目标手指”和触摸位置“目标手指的位置周围”相对应的包括在标签图像中的位置。
在步骤S50中，标签显示控制部182确定是否通过对功能标签表170的搜索检测到与手指类型“目标手指”和触摸位置“目标手指的位置周围”相对应的包括在标签图像中的文字。
如果在步骤S50中确定检测到讨论的文字，则标签显示控制部182生成包括检测到的文字的标签图像并且将控制转移到步骤S51。
在步骤S51中，标签显示控制部182将包括检测到的文字的标签图像叠加到目标手指在从相机32发送的图像中的位置上。然后将控制转移到步骤S52。
如果在步骤S50中确定未检测到讨论的文字、即在功能标签表170中未发现与手指类型“目标手指”和触摸位置“目标手指的位置周围”相对应的包括在标签图像中的文字，则将控制转移到步骤S52。
如果在步骤S46中确定手指类型识别部141未识别目标手指的类型，则也将控制转移到步骤S52。
在步骤S52中，标签显示控制部182确定目标手指是否为无名指。如果在步骤S52中确定目标手指不是无名指，则到达步骤S53。在步骤S53中，标签显示控制部182取当前目标手指的右侧手指作为新目标手指并且将控制转移回到步骤S46。
当如上文所述实现步骤S45至S53时，在与食指分离的中指旁边的食指的位置、在均与中指分离的食指和无名指旁边的中指的位置以及在均与无名指分离的中指和小指旁边的无名指的位置各自叠加有向讨论的手指的位置和类型分配的功能的标签图像。
如果在步骤S52中确定目标手指是无名指，则将控制转移到图21的步骤S68。
如果在步骤S48中确定在目标手指与目标手指的右侧手指之间的距离少于阈值，则标签显示控制部182确定目标手指和目标手指的右侧手指相互接合。在这种情况下，将控制转移到步骤S54。
在步骤S54中，标签显示控制部182确定目标手指是否为无名指。如果在步骤S54中确定目标手指不是无名指、即目标手指是食指或者中指，则将控制转移到步骤S55。
在步骤S55中，标签显示控制部182确定手指类型识别部141是否识别目标手指的右侧隔开一个的手指的类型。如果目标手指是食指，则目标手指的右侧隔开一个的手指是无名指；如果目标手指是中指，则目标手指的右侧隔开一个的手指是小指。
如果在步骤S55中确定识别目标手指的右侧隔开一个的手指的类型，则到达图21的步骤S61。在步骤S61中，标签显示控制部182确定目标手指的右侧手指与目标手指的右侧隔开一个的手指之间的距离是否少于阈值。具体而言，如果目标手指是食指，则标签显示控制部182确定在步骤S44中计算的在中指与无名指之间的距离是否少于阈值。如果目标手指是中指，则标签显示控制部182确定在步骤S44中计算的在无名指与小指之间的距离是否少于阈值。
如果在步骤S61中确定目标手指的右侧手指与目标手指的右侧隔开一个的手指之间的距离不少于阈值，则标签显示控制部182确定目标手指的右侧手指和目标手指的右侧隔开一个的手指相互分离。标签显示控制部182然后将控制转移到图20中的步骤S56。
如果在步骤S54中确定目标手指是无名指，或者如果在步骤S55中确定未识别目标手指的右侧隔开一个的手指的类型，则将控制转移到步骤S56。
在步骤S56中，标签显示控制部182在功能标签表170中搜索与手指类型“目标手指和目标手指的右侧手指”以及与触摸位置“目标手指和目标手指的右侧手指的位置周围”相对应的包括在标签图像中的文字。
在步骤S57中，确定是否通过搜索检测到与手指类型“目标手指和目标手指的右侧手指”以及与触摸位置“目标手指和目标手指的右侧手指的位置周围”相对应的包括在标签图像中的文字。
如果在步骤S57中确定检测到讨论的文字，则标签显示控制部182生成包括检测到的文字的标签图像，并且将控制转移到步骤S58。
在步骤S58中，标签显示控制部182将包括检测到的文字的标签图像叠加到从相机32发送的图像中的与目标手指和目标手指的右侧隔开一个的手指相对应的一个位置上。
如果在步骤S57中确定未通过搜索检测到讨论的文字，则将控制转移到步骤S59。
在步骤S59中，标签显示控制部182确定目标手指是否为无名指。如果确定目标手指是无名指，则使标签显示过程结束。
如果在步骤S59中确定目标手指不是无名指，则到达步骤S60。在步骤S60中，标签显示控制部182取当前目标手指的右侧隔开一个的手指作为新目标手指，并且将控制转移到步骤S46。
当如上文所述完成步骤S54至S61时，与“仅与中指接合的食指”、“仅与无名指接合的中指”或者“仅与小指接合的无名指”这两个接合手指的位置相对应的一个位置叠加有向该位置的周围和两个接合手指的类型分配的功能的标签图像。
如果在图21的步骤S61中确定在目标手指的右侧手指与目标手指的右侧隔开一个的手指之间的距离少于阈值，则标签显示控制部182确定目标手指的右侧手指和目标手指的右侧隔开一个的手指接合。在这种情况下，将控制转移到步骤S62。
在步骤S62中，标签显示控制部182确定目标手指是否为中指。如果在步骤S62中确定目标手指不是中指、即目标手指是食指，则将控制转移到步骤S63。
在步骤S63中，标签显示控制部182确定是否识别目标手指的右侧隔开一个的手指、即是否识别小指。
如果在步骤S63中确定识别目标手指的右侧隔开一个的手指，则到达步骤S72。在步骤S72中，标签显示控制部182确定在目标手指的右侧隔开一个的手指与目标手指的右侧隔开两个的手指之间的距离是否少于阈值。也就是说，标签显示控制部182确定在图20的步骤S44中计算的在无名指与小指之间的距离是否少于阈值。
如果在步骤S72中确定在目标手指的右侧隔开一个的手指与目标手指的右侧隔开两个的手指之间的距离不少于阈值，则标签显示控制部182确定无名指和小指相互分离。在这种情况下，将控制转移到步骤S64。
如果在步骤S62中确定目标手指是中指，或者如果在步骤S63中确定未识别目标手指的右侧隔开两个的手指的类型，则将控制转移到步骤S64。
在步骤S64中，标签显示控制部182在功能标签表170中搜索与手指类型“目标手指、目标手指的右侧手指和目标手指的右侧隔开一个的手指”以及与触摸位置“目标手指、目标手指的右侧手指和目标手指的右侧隔开一个的手指的位置周围”相对应的包括在标签图像中的文字。
在步骤S65中，标签显示控制部182确定是否通过搜索检测到与手指类型“目标手指、目标手指的右侧手指和目标手指的右侧隔开一个的手指”以及与触摸位置“目标手指、目标手指的右侧手指和目标手指的右侧隔开一个的手指的位置周围”相对应的包括在标签图像中的文字。
如果在步骤S65中确定通过搜索检测到讨论的文字，则标签显示控制部182生成包括检测到的文字的标签图像，并且将控制转移到步骤S66。
在步骤S66中，标签显示控制部182将包括检测到的文字的标签图像叠加到与目标手指、目标手指的右侧手指和目标手指的右侧隔开一个的手指的位置相对应的一个位置上。然后将控制转移到步骤S67。
如果在步骤S65中确定未通过搜索检测到讨论的文字，则将控制转移到步骤S67。
当如上文所述实现步骤S61至S66和步骤S72时，与“与小指分开的接合在一起的食指、中指和无名指”或者“与食指分开的结合在一起的中指、无名指和小指”这三个接合手指的位置相对应的一个位置叠加有向三个接合手指的位置周围及其类型分配的功能的标签图像。
在步骤S67中，标签显示控制部182确定目标手指是否为中指。如果在步骤S67中确定目标手指是中指，则将控制转移到步骤S76。如果在步骤S64中确定目标手指不是中指、即目标手指是食指，则将控制转移到步骤S68。
在步骤S68中，标签显示控制部182确定手指类型识别部141是否识别小指作为手指类型。
如果在步骤S69中确定识别小指，则到达步骤S69。在步骤S69中，标签显示控制部182在功能标签表170中搜索与手指类型“小指”和触摸位置“小指的位置周围”相对应的包括在标签图像中的文字。
在步骤S70中，标签显示控制部182确定是否通过搜索检测到与手指类型“小指”和触摸位置“小指的位置周围”相对应的包括在标签图像中的文字。
如果在步骤S70中确定通过搜索检测到讨论的文字，则标签显示控制部182生成包括检测到的文字的标签图像，并且将控制转移到步骤S71。
在步骤S71中，标签显示控制部182将包括检测到的文字的标签图像叠加到在从相机32发送的图像中小指的位置上。然后将控制转移到步骤S76。
如果在步骤S68中确定未识别小指，或者如果在步骤S70中确定未通过搜索检测到讨论的文字，则将控制转移到步骤S76。
当如上文所述实现步骤S68至S71时，与食指分离的小指的位置叠加有向小指的位置周围和手指类型“小指”分配的功能的标签图像。
如果在步骤S72中确定在目标手指的右侧隔开一个的手指与目标手指的右侧隔开两个的手指之间的距离少于阈值，则标签显示控制部182确定无名指和小指接合。在这种情况下，将控制转移到步骤S73。
在步骤S73中，标签显示控制部182在功能标签表170中搜索与手指类型“目标手指、目标手指的右侧手指、目标手指的右侧隔开一个的手指和目标手指的右侧隔开两个的手指”以及触摸位置“目标手指、目标手指的右侧手指、目标手指的右侧隔开一个的手指和目标手指的右侧隔开两个的手指的位置周围”相对应的包括在标签图像中的文字。也就是说，标签显示控制部182在功能标签表170中搜索与手指类型“食指、中指、无名指和小指”以及触摸位置“食指、中指、无名指和小指的位置周围”相对应的包括在标签图像中的文字。
在步骤S74中确定是否通过搜索检测到与手指类型“目标手指、目标手指的右侧手指、目标手指的右侧隔开一个的手指和目标手指的右侧隔开两个的手指”以及触摸位置“目标手指、目标手指的右侧手指、目标手指的右侧隔开一个的手指和目标手指的右侧隔开两个的手指的位置周围”相对应的包括在标签图像中的文字。
如果在步骤S74中确定通过搜索检测到讨论的文字，则标签显示控制部182生成包括检测到的文字的标签图像，并且将控制转移到步骤S75。
在步骤S75中，标签显示控制部182将包括检测到的文字的标签图像叠加到与目标手指、目标手指的右侧手指、目标手指的右侧隔开一个的手指和目标手指的右侧隔开两个的手指的位置相对应的一个位置上。然后将控制转移到步骤S76。
当如上文所述实现步骤S72至S75时，与接合在一起的食指、中指、无名指和小指的位置相对应的一个位置叠加有向这些手指的位置周围以及手指类型“食指、中指、无名指和小指”分配的功能的标签图像。
如果在步骤S74中确定未通过搜索检测到讨论的文字，则将控制转移到步骤S76。
在步骤S76中，标签显示控制部182控制通信部132以向HMD 122发送从相机32发送的并且未叠加上述步骤获得的标签图像的图像或者从相机32馈送的并且叠加有所得标签图像的图像以供显示。这使标签显示过程结束。
如上文所述，图16中的信息处理装置121向一个或者多个手指的触摸位置及其类型的组合分配功能。与其中向单个手指的触摸位置及其类型的组合分配功能的普通设置比较，本发明的布置允许向用指尖触摸相关位置的单个动作分配更多功能。
同样，在图16的信息处理装置121中，与接合在一起的多个手指的位置相对应的单个位置叠加有与这些手指的位置周围及其类型相对应的功能的标签图像。这种布置比其中各手指的位置叠加有标签图像的普通设置提供更佳的可见性。
功能执行处理部180进行的功能执行过程与上文参照图9说明的功能执行过程相同，不同在于确定触摸该屏的多个手指是否接合在一起并且如果发现多个手指接合在一起，则在图9的过程中将通过搜索检测到的目标替换为与多个接合手指的类型及其在屏上的触摸位置相对应的功能。因此从附图中省略对功能执行处理部180实现的功能执行过程的进一步图示。
<第三实施例>
[作为第三实施例的信息处理系统的典型配置]
图22是示出了作为本发明第三实施例的信息处理系统的典型配置的示意图。
在图22中，图4中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图22中的信息处理系统200的配置与图4中的配置主要不同在于以下两点：信息处理装置31替换为信息处理装置201，以及省略配备有相机32的护目镜33。信息处理装置201还配有图4和10中所示相机32提供的成像工具，从而在使用信息处理系统200时用户仅需持有信息处理装置201。
在信息处理系统200中，信息处理装置201是可以通过用指尖触摸来操作的装置并且包括触摸屏监视器211等。触摸屏监视器211具有成像功能和显示功能。通过用触摸屏监视器211的成像功能拍摄它的图像等，触摸屏监视器211检测触摸该屏的一个或者多个手指的类型和位置。使用它的显示功能，触摸屏监视器211显示图标13等。后文将参照图24具体说明触摸屏监视器211。
通过注视触摸屏监视器211上显示的图标13等，用户用他的或者她的指尖触摸该屏上的相关位置以便执行期望的功能。具体而言，基于由触摸屏监视器211拍摄的图像，信息处理装置201识别触摸触摸屏监视器211的手指的位置和类型。信息处理装置201然后执行向讨论的手指的位置和类型分配的功能。
[信息处理装置的典型硬件结构]
图23是示出了图22中包括的信息处理装置201的典型硬件结构的框图。
在图23中，图5中已经示出的那些组件由相同标号表示，并且下文将在多余时省略它们的描述。
图23中的信息处理装置201的结构与图5中的结构主要不同在于以下两点：触摸屏监视器41替换为触摸屏监视器211以及通信部69替换为通信部212。
触摸屏监视器212拍摄包括触摸屏监视器211的图像并且显示这样拍摄的图像。通信部212与未示出的外部设备通信。
[触摸屏监视器的典型具体结构]
图24是示出了触摸屏监视器211的典型具体结构的框图。
如图24中所示，触摸屏监视器211由I/O显示屏211、背光222、显示驱动电路223和受光驱动电路224组成。
I/O显示屏221是如下LCD，在该LCD中与多个像素对应的电路以矩阵形式排列以在屏的中心构成显示区221A。与各像素对应的电路由像素部件(由TFT(薄膜晶体管)和位于液晶侧面的电极组成)和传感器部件(由与TFT相同的层形成的光学传感器、重置开关、电容器等组成)构成。
在显示驱动电路223的控制之下，I/O显示屏221中的各像素的像素部件进行线顺序操作以在显示区221A上显示来自CPU 61的图像等。同样，在受光驱动电路224的控制之下，I/O显示屏221中的各像素的传感器部件进行线顺序操作以获取受光数据。也就是说，I/O显示屏221的像素部件显示图像而其上的传感器部件拍摄图像。
背光222作为用于I/O显示屏221的光源。例如背光222由排列于屏内的多个发光二极管形成。背光222与从显示驱动电路223馈送的并且代表I/O显示屏221的操作定时的信号同步以高速接通和关断发光二极管。背光222发射两种光：用于显示图像的可见光和用于拍摄图像的紫外线光。
基于从CPU 61馈送的图像等，显示驱动电路223使I/O显示屏221进行线顺序操作以便在显示区221A上显示讨论的图像。显示驱动电路223还向背光222供应代表线顺序操作定时的信号。
受光驱动电路224使I/O显示屏221进行线顺序操作以便拍摄图像。受光驱动电路224还向CPU 61供应由作为成像的结果而获取的各像素的受光数据组成的图像。
附带提一点，在本申请人更早提交的特开2009-63803号日本专利中找到对触摸屏监视器211的更具体的说明。
[信息处理装置的典型功能结构]
图25是示出了信息处理装置201的CPU 61实施的功能执行处理部的典型功能结构的框图。
功能执行处理部240的结构与图6中的结构主要不同在于以下两点：位置获取部101替换为位置检测部241(检测装置)以及手指类型识别部102替换为手指类型识别部242。
位置检测部241通常基于从触摸屏监视器211馈送的图像的像素值大小来检测物体触摸触摸屏监视器211的位置作为触摸位置。位置检测部241将这样检测到的触摸位置供应给功能识别部103和手指类型识别部242。
手指类型识别部242基于从触摸屏监视器211供应的图像、预先存储于存储部68中的手指信息92和来自位置检测部241的触摸位置来识别触摸触摸屏监视器211的手指的类型。手指类型识别部242将识别的手指类型馈送给功能识别部103。
[信息处理装置进行的过程的说明]
图26是说明功能执行处理部240进行的功能执行过程的流程图。
在图26的步骤S81中，位置检测部241获取从触摸监视器211供应的图像。
在步骤S82中，位置检测部241通常基于从触摸屏监视器211馈送的图像的像素值大小来确定对象是否触摸触摸屏监视器211。
如果在步骤S82中确定对象触摸触摸屏监视器211，则将控制转移到步骤S83。
在步骤S83中，位置检测部241通常基于来自触摸屏监视器211的图像的像素值大小来检测物体触摸触摸屏监视器211的位置作为触摸位置。位置检测部241将触摸位置发送到功能识别部103和手指类型识别部242。
在步骤S84中，手指类型识别部242基于手指信息92、来自触摸屏监视器211的图像和来自位置检测部241的触摸位置来识别触摸触摸屏监视器211的手指的类型。手指类型识别部242将识别的手指类型供应给功能识别部103。
步骤S85至S87与图9中的步骤S15至S17相同并且因此将不进一步加以讨论。
如果在步骤S82中确定没有物体触摸触摸屏监视器211，则使功能执行过程结束。
[手指信息的其它例子]
图27和28是说明手指信息92的其它例子的示意图。
在前文描述中，示出了手指信息92为各手指的图像或者用于标识各手指的形状的信息。可替换地，如图27中所示，用户可以让他的或者她的手指在期望的位置(在图27的例子中为指甲)上涂有唯一颜色。在这样的情况下，颜色信息可以用作手指信息92。
具体而言，在图27的例子中，用户让他的或者她的食指的指甲涂有与涂在中指的指甲上的颜色302不同的颜色301。在这种情况下，信息处理装置31(120，201)建立在颜色301与手指类型“食指”之间以及在颜色302与手指类型“中指”之间的对应并且存储这些对应的表作为手指信息92。然后信息处理装置31(121，201)可以通过在手指信息92中搜索与相机32(触摸屏监视器211)拍摄的图像的颜色相对应的手指类型来识别手指类型。
同样，如图28中所示，用户可以让他的或者她的手指在期望的位置(在图28的例子中为指甲)上涂有标记、比如纸条，各标记具有绘制于其上的唯一定位的标志。在这样的情况下，表示标志在标记上的位置的信息可以用作手指信息92。
具体而言，在图28的例子中，用户让他的或者她的食指的指甲涂有在其底部中心绘制有标志311A的标记311而让他的或者她的中指的指甲涂有在其顶部中心绘制有标志312A的标记312。在这种情况下，信息处理装置31(121，201)建立在标志311A在标记311上的位置“底部中心”与手指类型“食指”之间以及在标志312A在标记312上的位置“顶部中心”与食指类型“中指”之间的对应并且存储这些对应的表作为手指信息92。然后信息处理装置31(121，201)可以从相机32(触摸屏监视器211)拍摄的图像中提取标记311(312)并且通过在手指信息92中搜索与标志311A(312A)在提取的标记311(312)上的位置相对应的手指类型来识别手指类型。
用户可以预先建立或者可以在以后设置上文结合图27和28说明的手指信息92。
功能表91和功能标签表131(170)可以由用户建立。在这种情况下，允许用户定制分配给手指的类型与它们的触摸位置的组合的功能。
在本说明书中，计算机根据相关程序进行的步骤或者过程无需以流程图中的所示序列(即在时间顺序基础上)来进行。也就是说，这样的步骤或者过程也可以包括并行或者个别进行(例如以并行或者面向对象的方式)进行的步骤或者过程。
程序可以由单个计算机处理或者在分布式基础上由多个计算机处理。也可以向一个或者多个远程计算机传送程序用以执行。
在本说明书中，术语“系统”是指由多个组成设备或者装置组成的整个配置。
本领域技术人员应当理解，根据设计要求和迄今为止的其它因素可以出现各种修改、组合、再组合和变更，只要它们在所附权利要求及其等效含义的范围内。
本申请包含与在2010年3月1日向日本专利局提交的日本优先权专利申请JP 2010-044611中公开的主题内容有关的主题内容，其全部内容通过引用结合于此。
本领域技术人员应当理解，根据设计要求和迄今为止的其它因素可以出现各种修改、组合、再组合和变更，只要它们在所附权利要求及其等效含义的范围内。

Claims (8)

1.一种信息处理装置，包括：
检测单元，用于检测物体触摸触敏部件的位置作为触摸位置；
识别单元，用于基于所述触摸位置和所述触敏部件的图像来识别触摸所述触敏部件的手指的类型；
搜索单元，用于搜索功能表，所述功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向所述手指的所述触摸位置和所述类型的组合分配的功能之间的对应，所述搜索单元在所述功能表中搜索与所述检测单元检测到的所述触摸位置和所述识别单元检测到的所述手指类型相对应的功能；以及
执行单元，用于执行所述搜索单元通过所述搜索检测到的所述功能。
2.根据权利要求1所述的信息处理装置，其中所述检测单元感测所述物体对所述触敏部件的触摸以检测所述触摸的位置作为所述触摸位置。
3.根据权利要求1所述的信息处理装置，其中所述检测单元基于所述触敏部件的所述图像来检测所述触摸位置。
4.根据权利要求1所述的信息处理装置，还包括用于显示所述触敏部件的所述图像的显示控制单元；其中
所述功能表限定在至少一个手指的所述触摸位置和类型、向所述触摸位置和所述手指类型的组合分配的所述功能以及代表所述分配的功能的功能信息之间的对应；
所述识别单元基于所述触敏部件的所述图像来识别放置在所述触敏部件上的所述手指的所述类型和所述位置；并且
所述显示控制单元在所述功能表中搜索与所述手指位置的周围和所述识别单元识别的所述手指类型相对应的功能信息，所述显示控制单元还将所述功能信息的图像叠加到所述触敏部件的所述图像中的所述手指位置上。
5.根据权利要求4所述的信息处理装置，其中如果多个手指接合地放置在所述触敏部件上，则所述显示控制单元在所述功能表中搜索与所述多个手指的位置的周围及其类型相对应的功能信息，所述显示控制单元还将所述功能信息的图像叠加到所述触敏部件的所述图像中的与所述多个手指的位置相对应的一个位置上。
6.一种用于与具有触敏部件的信息处理装置一起使用的信息处理方法，所述信息处理方法包括以下步骤：
检测物体触摸所述触敏部件的位置作为触摸位置；
基于所述触摸位置和所述触敏部件的图像来识别触摸所述触敏部件的手指的类型；
搜索功能表，所述功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向所述手指的所述触摸位置和所述类型的组合分配的功能之间的对应，在所述功能表中搜索与在所述检测步骤中检测到的所述触摸位置和在所述识别步骤中检测到的所述手指类型相对应的功能；并且
执行在所述搜索步骤中通过所述搜索检测到的所述功能。
7.一种用于使计算机执行包括以下步骤的过程的程序：
检测物体触摸触敏部件的位置作为触摸位置；
基于所述触摸位置和所述触敏部件的图像来识别触摸所述触敏部件的手指的类型；
搜索功能表，所述功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向所述手指的所述触摸位置和所述类型的组合分配的功能之间的对应，在所述功能表中搜索与在所述检测步骤中检测到的所述触摸位置和在所述识别步骤中检测到的所述手指类型相对应的功能；并且
执行在所述搜索步骤中通过所述搜索检测到的所述功能。
8.一种信息处理装置，包括：
检测部，配置成检测物体触摸触敏部件的位置作为触摸位置；
识别部，配置成基于所述触摸位置和所述触敏部件的图像来识别触摸所述触敏部件的手指的类型；
搜索部，配置成搜索功能表，所述功能表限定在一方面为至少一个手指的触摸位置及其类型与另一方面为向所述手指的所述触摸位置和所述类型的组合分配的功能之间的对应，所述搜索部在所述功能表中搜索与所述检测部检测到的所述触摸位置和所述识别部检测到的所述手指类型相对应的功能；以及
执行部，配置成执行所述搜索部通过所述搜索检测到的所述功能。
CN2011100437880A 2010-03-01 2011-02-22 信息处理装置、信息处理方法和程序 Pending CN102193728A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-044611 2010-03-01
JP2010044611A JP2011180843A (ja) 2010-03-01 2010-03-01 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN102193728A true CN102193728A (zh) 2011-09-21

Family

ID=44117221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100437880A Pending CN102193728A (zh) 2010-03-01 2011-02-22 信息处理装置、信息处理方法和程序

Country Status (7)

Country Link
US (1) US9218124B2 (zh)
EP (1) EP2363793A2 (zh)
JP (1) JP2011180843A (zh)
KR (1) KR20110099166A (zh)
CN (1) CN102193728A (zh)
BR (1) BRPI1100155A2 (zh)
RU (1) RU2011106653A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207746A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种功能调用方法及装置
CN103998970A (zh) * 2011-12-16 2014-08-20 索尼公司 头戴式显示器和信息显示设备
CN104272225A (zh) * 2012-05-09 2015-01-07 索尼公司 信息处理装置、信息处理方法和程序
CN104615237A (zh) * 2013-11-05 2015-05-13 精工爱普生株式会社 图像显示系统、控制其的方法及头部佩戴型显示装置
CN106970931A (zh) * 2015-12-21 2017-07-21 拉文互动株式会社 利用插槽装置的物体信息提供方法及系统
CN107391014A (zh) * 2012-01-09 2017-11-24 谷歌公司 具有手指鉴别的智能触摸屏键盘
CN110661965A (zh) * 2018-06-29 2020-01-07 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
CN113076025A (zh) * 2014-11-27 2021-07-06 三星电子株式会社 可穿戴设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572768B1 (ko) 2007-09-24 2015-11-27 애플 인크. 전자 장치 내의 내장형 인증 시스템들
JP5978592B2 (ja) * 2011-10-26 2016-08-24 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
CN111176516B (zh) 2012-05-18 2023-10-20 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
JP5931680B2 (ja) * 2012-09-28 2016-06-08 京セラ株式会社 表示装置、制御方法および制御プログラム
CN104662493B (zh) * 2012-09-28 2018-01-05 京瓷株式会社 显示装置、控制方法和存储介质
JP5931681B2 (ja) * 2012-09-28 2016-06-08 京セラ株式会社 表示装置、制御方法および制御プログラム
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
KR20160114413A (ko) * 2015-03-24 2016-10-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9671828B2 (en) 2014-09-19 2017-06-06 Lg Electronics Inc. Mobile terminal with dual touch sensors located on different sides of terminal body and method of controlling the same
TWI598785B (zh) * 2015-01-29 2017-09-11 政美應用股份有限公司 觸控面板之檢測方法及裝置
US10963063B2 (en) * 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program
CN107203320A (zh) * 2016-03-18 2017-09-26 大陆汽车投资（上海）有限公司 基于多点触摸的用户界面控制方法
JP6125076B2 (ja) * 2016-04-26 2017-05-10 京セラ株式会社 表示装置、制御方法および制御プログラム
JP6125075B2 (ja) * 2016-04-26 2017-05-10 京セラ株式会社 表示装置、制御方法および制御プログラム
US11796660B2 (en) * 2020-07-24 2023-10-24 Fujifilm Sonosite, Inc. Systems and methods for customized user interface
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces
WO2023140340A1 (ja) * 2022-01-19 2023-07-27 メタマティクス プライベート リミテッド 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163506A1 (en) * 2001-03-21 2002-11-07 Alec Matusis System and method for selecting functions based on a finger-type-mechanism feature such as a fingerprint
CN1570841A (zh) * 2003-04-23 2005-01-26 三星电子株式会社 三维输入设备和方法、相应的软键映射方法和虚拟键盘
CN101142617A (zh) * 2005-02-23 2008-03-12 杰龙公司 数据输入方法和装置
CN101180599A (zh) * 2005-03-28 2008-05-14 松下电器产业株式会社 用户界面系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134382A (ja) 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2007072578A (ja) * 2005-09-05 2007-03-22 Denso Corp 入力装置
JP2007219966A (ja) * 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器
JP2009063803A (ja) 2007-09-06 2009-03-26 Sony Corp 表示装置
JP2009140390A (ja) * 2007-12-10 2009-06-25 Mega Chips Corp 指示デバイスおよび指紋認証半導体回路
JP2009184551A (ja) * 2008-02-07 2009-08-20 Panasonic Corp 車載機器入力装置
JP5212630B2 (ja) 2008-08-13 2013-06-19 花王株式会社 複合型撹拌槽における流体の流動状態の解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163506A1 (en) * 2001-03-21 2002-11-07 Alec Matusis System and method for selecting functions based on a finger-type-mechanism feature such as a fingerprint
CN1570841A (zh) * 2003-04-23 2005-01-26 三星电子株式会社 三维输入设备和方法、相应的软键映射方法和虚拟键盘
CN101142617A (zh) * 2005-02-23 2008-03-12 杰龙公司 数据输入方法和装置
CN101180599A (zh) * 2005-03-28 2008-05-14 松下电器产业株式会社 用户界面系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103998970A (zh) * 2011-12-16 2014-08-20 索尼公司 头戴式显示器和信息显示设备
CN107391014B (zh) * 2012-01-09 2020-10-27 谷歌有限责任公司 具有手指鉴别的智能触摸屏键盘
CN107391014A (zh) * 2012-01-09 2017-11-24 谷歌公司 具有手指鉴别的智能触摸屏键盘
CN103207746A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种功能调用方法及装置
CN103207746B (zh) * 2012-01-16 2016-12-28 联想(北京)有限公司 一种功能调用方法及装置
CN104272225B (zh) * 2012-05-09 2017-11-03 索尼公司 信息处理装置、信息处理方法
CN104272225A (zh) * 2012-05-09 2015-01-07 索尼公司 信息处理装置、信息处理方法和程序
CN104615237A (zh) * 2013-11-05 2015-05-13 精工爱普生株式会社 图像显示系统、控制其的方法及头部佩戴型显示装置
CN113076025A (zh) * 2014-11-27 2021-07-06 三星电子株式会社 可穿戴设备
CN113076025B (zh) * 2014-11-27 2023-11-07 三星电子株式会社 可穿戴设备
CN106970931A (zh) * 2015-12-21 2017-07-21 拉文互动株式会社 利用插槽装置的物体信息提供方法及系统
CN110661965A (zh) * 2018-06-29 2020-01-07 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质
CN110661965B (zh) * 2018-06-29 2021-10-15 佳能株式会社 电子装置、电子装置的控制方法和计算机可读介质

Also Published As

Publication number Publication date
RU2011106653A (ru) 2012-08-27
US9218124B2 (en) 2015-12-22
BRPI1100155A2 (pt) 2012-07-31
EP2363793A2 (en) 2011-09-07
KR20110099166A (ko) 2011-09-07
US20110210928A1 (en) 2011-09-01
JP2011180843A (ja) 2011-09-15

Similar Documents

Publication Publication Date Title
CN102193728A (zh) 信息处理装置、信息处理方法和程序
US11797131B2 (en) Apparatus and method for image output using hand gestures
JP2986047B2 (ja) ディジタル入力用表示装置並びに入力処理装置および方法
US9207806B2 (en) Creating a virtual mouse input device
KR101597844B1 (ko) 터치 스크린 상의 모호한 입력들의 해석
EP1942399A1 (en) Multi-event input system
US9261987B2 (en) Method of supporting multiple selections and interactive input system employing same
US20100328351A1 (en) User interface
US20120212440A1 (en) Input motion analysis method and information processing device
US20100077333A1 (en) Method and apparatus for non-hierarchical input of file attributes
US7110619B2 (en) Assisted reading method and apparatus
US20130290901A1 (en) Remote control, display device, television receiver device, and program for remote control
CN110121693A (zh) 多层显示系统中的内容碰撞
TWI461962B (zh) 用以執行多手指手勢功能之計算裝置及方法
US20170285932A1 (en) Ink Input for Browser Navigation
TW200849109A (en) Note capture device
CN104137034A (zh) 基于手势位置的输入模式
CN111984144A (zh) 信息处理装置、信息处理方法以及存储介质
KR20150100332A (ko) 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20230196566A1 (en) Image annotation system and method
US20220391055A1 (en) Display apparatus, display system, and display method
JP6476626B2 (ja) 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム
JP2015079350A (ja) 表示装置
JP2021026561A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2000293310A (ja) 映像表示及び入力方式並びにシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110921