CN106575184B - 信息处理装置、信息处理方法及计算机可读介质 - Google Patents

信息处理装置、信息处理方法及计算机可读介质 Download PDF

Info

Publication number
CN106575184B
CN106575184B CN201580040986.8A CN201580040986A CN106575184B CN 106575184 B CN106575184 B CN 106575184B CN 201580040986 A CN201580040986 A CN 201580040986A CN 106575184 B CN106575184 B CN 106575184B
Authority
CN
China
Prior art keywords
target object
contact
image
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580040986.8A
Other languages
English (en)
Other versions
CN106575184A (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106575184A publication Critical patent/CN106575184A/zh
Application granted granted Critical
Publication of CN106575184B publication Critical patent/CN106575184B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]提供一种能够根据使用通常的摄像装置所捕获的图像来以高精度执行接触检测的信息处理装置、信息处理方法及程序。[解决方案]该信息处理装置配备有接触确定单元。接触确定单元基于包括对象物体和操作体的图像的颜色的变化来确定操作体与对象物体是否接触。

Description

信息处理装置、信息处理方法及计算机可读介质
技术领域
本技术涉及能够对接触进行检测的信息处理装置、信息处理方法及程序。
背景技术
近年来，伴随着信息处理设备使用形式的多样化，新的UI(用户界面)正在被研究。例如，已经开发了一种技术，该技术在头戴式显示器上显示图标，将图标投影到对象物体(例如，手掌和桌子)上，并在操作体(例如，手指和触控笔)触摸所投影的图标时输入对图标的选择。
为了使操作体与对象物体接触，需要使用立体摄像装置、3D传感器等。UI识别对象物体和操作体，并且基于从立体摄像装置、3D传感器等获取的3D信息对操作体的位置以及对象物体的平面形状进行检测。UI能够将对象物体与操作体之间的距离等于或者小于预定值确定为接触。
专利文献1：日本专利申请特开No.2011-70491
发明内容
要解决的技术问题
然而，在上述方法中，需要提供诸如立体摄像装置和3D传感器的检测装置以检测接触，因此存在设备尺寸增加、电力消耗增加和成本增加的问题。此外，由于立体摄像装置和3D传感器的特性，使得立体摄像装置和3D传感器难以在日光下使用。此外，如果在操作体靠近对象物体时将非接触确定为接触，则可能造成用户的非预期输入。
考虑到上述情况，本技术的一个目的是提供能够根据通常的摄像装置所拾取的图像以高精度检测接触的信息处理装置、信息处理方法及程序。解决问题的技术方案
为了实现上述目的，根据本技术的实施方式的信息处理装置包括接触确定单元，该接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定操作体与对象物体的接触。
在这种配置下，因为使用颜色变化检测对象物体与操作体之间的接触，所以可以根据一般摄像装置所拾取的图像执行接触检测。注意，颜色的含义等同于像素值，并且包括亮度。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元识别包括在图像中的操作体，其中，接触确定单元可以基于操作体的颜色变化来确定操作体与对象物体的接触。
在这种配置下，因为物体识别处理单元会对操作体(例如，手指和触控笔)进行识别，所以接触确定单元能够通过使用所识别的操作体的颜色变化对接触进行检测。
物体识别处理单元可以使用物体检测词典来识别操作体。
物体识别处理单元能够通过参照物体检测词典对图像进行检查来识别操作体，该物体检测词典中存储有关于可以是操作体的物体的信息。
物体识别处理单元可以将已经进入图像的物体识别为操作体。
当物体新进入图像(摄像装置的图像拾取范围)时，物体识别处理单元能够将物体识别为操作体。
接触确定单元可以基于预定颜色的变化来确定操作体与对象物体之间的接触。
通过提前设定可以是操作体的物体(手指、触控笔等)的颜色，即使在操作体的物体未被识别的情况下，接触确定单元也能够通过使用颜色变化对接触进行检测。
预定颜色可以是与手指指尖的颜色相对应的颜色。
指尖的颜色在手指与某种物体接触时发生变化。因此，当操作体是手指时，接触确定单元能够通过使用与指尖的颜色对应的颜色的变化来确定操作体与对象物体的接触。
接触确定单元可以基于操作体的颜色变化来确定操作体与对象物体的接触。
如上述指尖的颜色那样、在物体与某物品接触时其颜色(包括亮度)发生变化的物体作为操作体的情况下，接触确定单元能够基于操作体的颜色变化来确定接触。
接触确定单元可以基于对象物体的颜色变化来确定操作体与对象物体的接触。
当对象物体是响应于操作体的接触而颜色发生变化的物体时，接触确定单元可以使用对象物体的颜色变化来确定接触。
接触确定单元可以基于由于操作体的阴影而引起的对象物体的颜色变化来确定操作体与对象物体的接触。
接触确定单元可以使用由于操作体的阴影而引起的对象物体的颜色变化来确定接触。例如，因为阴影会在操作体靠近对象物体时加深，所以这可用于对接触的确定。
接触确定单元还可以基于图像的颜色变化来确定操作体与对象物体的接触程度。
在操作体的颜色变化取决于接触程度而不同的情况下，接触确定单元能够使用颜色变化来确定接触程度(按压力)。
接触确定单元还可以基于图像的颜色变化来确定操作体与对象物体的接触方向。
在操作体的颜色变化根据接触方向而不同的情况下，则接触确定单元能够使用颜色变化来确定接触方向(按压方向)。
信息处理装置还可以包括输入控制单元，该输入控制单元基于接触确定单元的确定结果来控制操作输入。
在接触确定单元确定操作体与对象物体之间的接触时，输入控制单元能够根据接触位置或者接触数量接收操作输入，并将操作输入提供给OS等。
信息处理装置还可以包括图像输出单元，该图像输出单元生成叠加在对象物体上的操作对象图像，其中，输入控制单元可以基于操作对象图像中的操作体与对象物体之间的接触位置来控制操作输入。
图像输出单元生成显示在HMD(头戴式显示器)、投影仪等上并且叠加在对象物体上的操作对象图像。输入控制单元能够基于操作对象图像中的接触位置以及操作对象图像在对象物体上的叠加位置来计算操作对象图像与接触位置之间的位置关系，并且根据叠加在接触位置上的操作对象图像的内容(图标等)来接收操作输入。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元识别包括在图像中的操作体，其中，输入控制单元可以基于物体识别处理单元所识别的操作体的形状以及接触确定单元的确定结果来控制操作输入。
物体识别处理单元可以识别操作体的形状(例如在挤压操作时手指的形状)，以及将操作体的形状提供给输入控制单元。因此，输入控制单元能够根据操作体的形状来接收操作输入。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元识别包括在图像中的对象物体，其中，接触确定单元可以在对象物体是刚性体时，基于图像的颜色变化来确定操作体与对象物体的接触，以及在对象物体不是刚性体时，基于法线方向检测传感器所获取的对象物体表面的法线方向来确定操作体与对象物体的接触。
虽然法线方向检测传感器可以对物体表面的法线方向(垂直于物体表面的方向)进行检测，并且可以使用对象物体因接触而造成的形变来确定接触，但在对象物体是刚性体(不产生形变的物体)的情况下难以使用法线方向检测传感器。另一方面，即使在对象物体是刚性体的情况下，也可以通过使用图像的颜色变化来确定接触。
当深度传感器所获取的对象物体与操作体之间的距离等于或小于预定值时，接触确定单元可以基于图像的颜色变化来确定操作体与对象物体的接触。
深度传感器能够通过使用红外线等的投影模式对传感器与物体之间的距离进行测量。在对象物体与操作体之间的距离等于或小于预定值的情况下，接触确定单元基于图像的颜色变化来确定接触。因此，可以仅在接触的可能性很高的情况下确定接触。
为了实现上述目的，根据本技术实施方式的程序使信息处理装置充当接触确定单元，该接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定操作体与对象物体的接触。
为了实现上述目的，根据本技术实施方式的信息处理方法包括：由接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定操作体与对象物体之间的接触。
技术效果
如上所述，根据本技术，可以提供能够根据通常的摄像装置所拾取的图像以高精度检测接触的信息处理装置、信息处理方法和程序。应当注意的是此处所描述的技术效果并非一定是限制性的，其可以是本公开内容中所描述的任何技术效果。
附图说明
图1是示出了根据本技术的第一实施方式的信息处理装置的配置的示意图。
图2是示出了由信息处理装置的图像输出单元生成的叠加在对象物体上的操作图像的示意图。
图3是示出了由信息处理装置的图像输出单元生成的叠加在对象物体上的操作图像的示意图。
图4是示出了由信息处理装置的图像输出单元生成的叠加在对象物体上的操作图像的示意图。
图5是示出了信息处理装置的硬件配置的示意图。
图6是示出了信息处理装置的操作的流程图。
图7是示出了由于接触而引起的操作体的颜色变化的状态的示意图。
图8是示出了信息处理装置的操作的流程图。
图9是示出了信息处理装置的操作的流程图。
图10是示出了信息处理装置的操作的流程图。
图11是示出了操作体的取决于接触程度的颜色变化的状态的示意图。
图12是示出了操作体的取决于接触方向的颜色变化的状态的示意图。
图13是示出了操作体的形状的示意图。
图14是示出了由操作体进行的操作输入的状态的示意图。
图15是示出了根据本技术的第二实施方式的信息处理装置的配置的示意图。
图16是示出了信息处理装置的操作的流程图。
具体实施方式
[第一实施方式]
下面将描述根据本技术的第一实施方式的信息处理装置。
(信息处理装置的配置)
图1是示出了根据本技术的第一实施方式的信息处理装置100的功能配置的示意图。如图所示，信息处理装置100包括声音输入单元101、声音识别处理单元102、图像输入单元103、物体识别处理单元104、接触确定单元105、输入控制单元106和图像输出单元107。
如图所示，信息处理装置100可以连接至眼镜10。此外，信息处理装置100可以安装在眼镜10上。眼镜10包括显示器11、摄像装置12和麦克风(未示出)。显示器11可以是透视式HMD(头戴式显示器)，并且摄像装置12可以是用于拾取图像(动态图像)的一般摄像装置。
声音输入单元101连接至眼镜10的麦克风。麦克风所采集的声音的音频信号被输入至声音输入单元101。声音输入单元101将获取的音频信号输出至声音识别处理单元102。
声音识别处理单元102执行对从声音输入单元101提供的音频信号的音频识别处理，并对用户的操作声音进行识别。在操作声音被识别的情况下，声音识别处理单元102将识别结果提供给输入控制单元106。
图像输入单元103连接至摄像装置12。摄像装置12所拾取的图像(动态图像)被输入至图像输入单元103。图像输入单元103将从摄像装置12获取的图像(以下称为获取图像)提供给物体识别处理单元104。
物体识别处理单元104参照存储在物体检测词典D中的信息对图像输入单元103提供的获取图像进行检查以识别物体。物体识别处理单元104能够识别物体例如下面要描述的操作体和对象物体。物体识别处理单元104将获取的图像和物体识别结果提供给接触确定单元105。物体检测词典D可以存储在信息处理装置100中，或者物体识别处理单元104可以从网络等获取物体检测词典D。
接触确定单元105通过使用物体识别结果和接触确定阈值T来执行对物体识别处理单元104所提供的获取图像的接触确定。下面将描述该处理的细节。接触确定单元105将确定结果提供给输入控制单元106。接触确定阈值T可以存储在信息处理装置100中，或者接触确定单元105可以从网络等获取接触确定阈值T。
输入控制单元106基于声音识别处理单元102所提供的识别结果或接触确定单元105所提供的确定结果来控制用户的操作输入。特别地，输入控制单元106将操作体与对象物体的接触位置、按压力或按压方向，接触后操作体的移动等接收作为触摸、多触摸、拖动、挤压等的操作输入。输入控制单元106将接收到的操作输入提供给信息处理装置100的OS等。
图像输出单元107生成在显示器11上显示的图像(动态图像)。图像输出单元107能够生成包括图标和操作按钮的操作图像。如上所述，显示器11是透视式HMD，并且用户在视觉上确认以下视场，在该视场中显示器11上显示的视频与真实物体相互叠加。
图2示意性地示出了经由显示器11的用户视场。用户视场包括用户的手掌H、用户的手指Y和显示器11上显示的操作图像G。操作图像G包括图标P。当用户用手指Y触摸手掌H上叠加有图标P的部分时，信息处理装置100接收对图标P的选择。
操作图像G并非一定要叠加在手掌上。图3是示出了操作图像G叠加在杂志Z上的状态的示意图。如图所示，当用户用手指Y触摸杂志Z上叠加有图标P的部分时，信息处理装置100接收对图标P的选择。此外，用户可以用手指以外的物体，例如触控笔，来选定图标P。以下，由用户选定的其上投影有操作图像G的物体(例如手掌H和杂志Z)称为对象物体，与对象物体接触并选定图标P的物体(例如是手指Y和触控笔)称为操作体。特别地，信息处理装置100对操作体与对象物体的接触进行检测，并且响应于接触而接收操作输入。
眼镜10的配置不局限于上述配置。图4示出了以与眼镜10无关的方式提供摄像装置12的状态。操作图像G在显示器11上显示，并叠加在杂志Z上。摄像装置12设置在不同于眼镜10的位置(例如在杂志Z的上侧)，并连接至图像输入单元103。
此外，信息处理装置100可以连接至不同于眼镜10的图像投影装置。例如，信息处理装置100可以连接至投影仪，该投影仪包括能够将视频投影在桌子表面或墙表面上并对投影表面成像的摄像装置。在这种情况下，图像输出单元107连接至投影仪的图像投影机构，并将视频投影在对象物体(桌子或墙)上。图像输入单元103连接至摄像装置，并获取包括对象物体和投影图像的图像。替选地，信息处理装置100可以连接至包括如下摄像装置的装置，该摄像装置能够将视频显示或投影在对象物体上并将对象物体进行成像。
信息处理装置100的上述功能配置可以连接至或包含在如眼镜、投影仪的图像投影装置，或安装在不同于图像投影装置的PC、智能手机等上。此外，功能配置的全部或部分还可以位于网络上。
图5是示出了信息处理装置100的硬件配置的示意图。信息处理装置100的上述配置是通过图5所示的硬件配置和程序一起协作而实现的功能配置。
如图5所示，信息处理装置100包括CPU 121、存储器122、存储装置123和输入/输出IF 124作为硬件配置。这些硬件通过总线125彼此连接。
CPU(中央处理单元)121根据存储器122中存储的程序控制另一配置，根据程序执行数据处理，并将处理结果存储在存储器122中。CPU 121可以是微处理器。
存储器122存储由CPU 121执行的程序和数据。存储器122可以是RAM(随机存取存储器)。
存储装置123存储程序或数据。存储装置123可以是HDD(硬盘驱动器)或SSD(固态驱动器)。存储装置123存储上述物体检测词典D或上述接触确定阈值T。
输入/输出IF(接口)124接收信息处理装置100的输入，并将信息处理装置100的输出提供给显示器11等。输入/输出IF 124包括输入设备如鼠标和触摸板、输出设备如显示器11以及连接接口如网络。如上所述，信息处理装置100能够基于图像输入单元103所获取的图像来接收用户的操作输入。在这种情况下，不经由输入/输出IF 124接收输入。图像输出单元107生成的图像经由输入/输出IF 124输出至显示器11并进行显示。
信息处理装置100的硬件配置不局限于这里所描述的这些配置，只要能够实现信息处理装置100的上述功能配置即可。
(信息处理装置的接触确定操作)
下面将描述信息处理装置100的操作。图6是示出了信息处理装置100的操作的流程图。如上所述，摄像装置12对图像进行拾取，并且图像输入单元103获取该图像(获取的图像)。图像输入单元103将获取的图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体(St101)。物体识别处理单元104通过参照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。因此，例如，当获取的图像包括手掌、杂志等时，将该手掌、杂志等识别为对象物体。
在获取的图像中检测到对象物体的情况下(St102：是)，图像输出单元107将操作图像G(见图2)提供给显示器11，并使显示器11显示该操作图像G(St103)。在获取的图像中没有检测到对象物体的情况下(St102：否)，重新执行由物体识别处理单元104进行的对象物体的识别(St101)。
接下来，物体识别处理单元104识别操作体(St104)。物体识别处理单元104通过参照物体检测词典D对获取的图像进行检查来识别操作体。因此，例如，当获取的图像包括手指、触控笔等时，将该手指、触控笔等识别为操作体。注意，物体识别处理单元104可以识别多个操作体。
在获取的图像中检测到操作体的情况下(St105：是)，接触确定单元105计算操作体的颜色变化(St106)。颜色表示像素值(RGB值)，并且包括亮度(颜色的深浅)。接触确定单元105捕获操作体随着时间流逝而发生的颜色变化。在获取的图像中未检测到操作体的情况下(St105：否)，重新执行由物体识别处理单元104进行的对象物体的识别(St101)。
图7示出了将手指Y识别为操作体的示例。接触确定单元105能够计算手指Y的(指甲内的)指尖的颜色变化。图7的部分(a)示出了手指Y未与对象物体接触时的状态，图7的部分(b)示出了手指Y与对象物体接触时的状态。图中灰色区域表示指尖的颜色。当手指Y与对象物体接触时，指尖的颜色从图7的部分(a)所示的颜色变为图7的部分(b)所示的颜色。
接触确定单元105将操作体的颜色变化与接触确定阈值T进行比较，当颜色变化是接触确定阈值T所定义的预定模式变化时(St107：是)，确定操作体与对象物体接触(St108)。例如，接触确定单元105可以在图7的部分(a)所示的指尖的颜色变成图7的部分(b)所示的颜色时确定手指Y与对象物体接触。在物体识别处理单元104对多个操作体进行识别的情况下，接触确定单元105能够针对每个操作体确定接触。
接触确定单元105在进行确定时所使用的颜色变化模式(接触确定阈值T)可以根据某种规则(例如将图7所示的指甲自由边的颜色变浅确定为接触)或者机器学习来确定，在机器学习中会针对许多对象重复地执行接触确定。此外，接触确定单元105可以存储用户在使用信息处理装置100时的指尖颜色的趋势，并执行对接触确定阈值T的校准。
在对象物体的颜色变化不是预定模式变化的情况下(St107：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St101)。
在确定操作体与对象物体接触的情况下，接触确定单元105将接触位置和获取的图像提供给输入控制单元106。输入控制单元106基于操作图像G上显示的图标P的位置以及接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以将叠加在接触位置的图标P视为被选择。
信息处理装置100执行这样的操作。如上所述，信息处理装置100通过使用通常的摄像装置所拾取的图像来执行接触确定。特别地，不需要提供诸如3D传感器和立体摄像装置的接触检测装置，且可以减小设备的尺寸以及成本。此外，由于除非操作体与对象物体接触否则对象物体不会发生颜色变化，即信息处理装置100仅在操作体肯定与对象物体接触的情况下才执行接触确定，因此可以高精度地接收操作输入。
注意，虽然前文描述了将手指作为操作体的情况，但是操作体并不局限于手指。例如，在将触控笔作为操作体的情况下，可以通过使用因与对象物体接触而引起的触控笔的形变所引起的触控笔的颜色变化来执行接触确定。替选地，可以使用在触控笔与物品接触时会改变颜色的触控笔或者会发光的触控笔作为操作体。
此外，虽然在前文中接触确定单元105通过使用操作体的颜色变化来执行接触确定，然而其并不局限于此。可以通过使用对象物体的颜色变化来执行接触确定。例如，在对象物体是手掌的情况下，手掌的颜色在操作体与手掌接触时发生变化。接触确定单元105可以通过使用这一点来执行接触确定。此外，在一些液晶显示器中，液晶表面的颜色在没有图像显示而液晶被触摸时发生变化。接触确定单元105可以通过使用液晶表面的颜色的这种变化来执行接触确定。此外，在对象物体较软的情况下，对象物体在操作体与其接触时发生形变(形成凹陷)。接触确定单元105可以通过使用由于该形变而引起的颜色变化来执行接触确定。
此外，接触确定单元105可以通过使用操作体的阴影来执行接触确定。当操作体靠近对象物体至一定程度时，操作体的阴影投射在对象物体上。当阴影与操作体接触时，接触确定单元105可以基于由于操作体的阴影而引起的对象物体的颜色变化来确定操作体与对象物体接触。
此外，在上文中，物体识别处理单元104参照物体检测词典D对获取的图像进行检查，以识别物体(对象物体和操作体)。然而，其并不局限于此。例如，在获取的图像在预定时间内未发生变化并且有某种物体进入该获取的图像(即摄像装置的成像范围)的情况下，可以将该物体识别为操作体。接触确定单元105能够通过使用物体的颜色变化来执行接触确定。
(信息处理装置的结合使用法线方向的接触确定操作)
下面将描述信息处理装置100的另一操作。注意，连接至信息处理装置100的眼镜10(或另一装置)的摄像装置12是能够执行偏振成像的摄像装置。偏振成像是可以获取成像范围中的亮度图像和成像范围中的法线(与物体的表面垂直的线)方向的技术。此外，摄像装置12可以用不同于偏振成像的方法获取物体的法线方向，并且除摄像装置12以外，眼镜10还可以包括能够获取法线方向的传感器。
图8是示出了信息处理装置100的另一操作的流程图。如上所述，摄像装置12对图像进行拾取，并且图像输入单元103获取该图像(获取的图像)。图像输入单元103将获取的图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体进行(St111)。物体识别处理单元104通过参照物体检测词典D对图像输入单元103所提供的获取的图像进行检查来识别对象物体。因此，例如，当获取的图像包括手掌、杂志等时，将该手掌、杂志等识别为对象物体。
在获取的图像中检测到对象物体的情况下(St112：是)，图像输出单元107将操作图像G(见图2)提供给显示器11，并使显示器11显示该操作图像G(St113)。在获取的图像中没有检测到对象物体的情况下(St112：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St111)。
接下来，物体识别处理单元104识别操作体(St114)。物体识别处理单元104通过参照物体检测词典对获取的图像进行检查来识别操作体。因此，例如，当获取的图像包括手指、触控笔等时，将该手指、触控笔等识别为操作体。注意，物体识别处理单元104可以识别多个操作体。
接下来，物体识别处理单元104确定对象物体是否是刚性体(St116)。“刚性体”表示与另一物体接触时不发生形变的物体。刚性体的示例包括桌子。而手掌或者杂志被认为不是刚性体。在对象物体是刚性体的情况下(St116：是)，接触确定单元105计算操作体的颜色变化(St117)。
之后，如上所述，接触确定单元105将操作体的颜色变化与接触确定阈值T进行比较，并且当颜色变化是接触确定阈值T所定义的预定模式变化时(St118：是)，确定操作体与对象物体接触(St119)。在操作体的颜色变化不是预定模式变化的情况下(St118：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St111)。
在物体识别处理单元104确定对象物体不是刚性体的情况下，(St116：否)，接触确定单元105根据获取的图像计算操作体附近的对象物体表面的法线方向(St120)。在摄像装置12具有上述偏振成像功能的情况下，可以从获取的图像获取对象物体表面的法线方向。此外，物体识别处理单元104可以根据不同于摄像装置12的传感器的输出计算对象物体表面的法线方向。
接触确定单元105基于对象物体表面的法线方向的变化来确定操作体与对象物体的接触(St121)。在对象物体不是刚性体的情况下，对象物体的表面由于与操作体接触而发生凹陷，并且对象物体表面的法线向操作体倾斜。因此，接触确定单元105能够基于对象物体表面的法线方向的变化来确定操作体与对象物体的接触。特别地，当对象物体表面的法线方向在操作体的方向上变化时(St121：是)，接触确定单元105确定操作体与对象物体接触(St119)。在对象物体表面的法线方向没有在操作体的方向上变化的情况下(St121：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St111)。
在确定操作体与对象物体接触的情况下，接触确定单元105将接触位置和获取的图像提供给输入控制单元106。输入控制单元106基于操作图像G上显示的图标P的位置以及接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以将叠加在接触位置的图标P视为被选择。
信息处理装置100还能够执行这样的操作。在对象物体是刚性体的情况下，即使操作体与对象物体接触，对象物体的表面也不发生形变，从而难以使用法线方向来执行接触确定。就这一点而言，信息处理装置100可以在对象物体是刚性体的情况下通过使用获取的图像的颜色变化来执行接触确定，并在对象物体不是刚性体的情况下使用法线方向来执行接触确定。
(信息处理装置的结合使用深度信息的接触确定操作)
下面将描述信息处理装置100的另一操作。注意，能够获取深度信息的深度传感器被设置到连接至信息处理装置100的眼镜10(或另一装置)。深度信息是表示了物体与深度传感器之间的距离的信息。
图9是示出了信息处理装置100的另一操作的流程图。如上所述，摄像装置12对图像进行拾取，并且图像输入单元103获取该图像(获取的图像)。图像输入单元103将获取的图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体(St131)。物体识别处理单元104通过参照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。因此，例如，当获取的图像包括手掌、杂志等时，将该手掌、杂志识别为对象物体。
在获取的图像中检测到对象物体的情况下(St132：是)，图像输出单元107将操作图像G(见图2)提供给显示器11，并使显示器11显示该操作图像G(St133)。在获取的图像中没有检测到对象物体的情况下(St132：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St131)。
接下来，物体识别处理单元104对操作体进行识别(St134)。物体识别处理单元104通过参照物体检测词典D对获取的图像进行检查来识别操作体。因此，例如，当获取的图像包括手指、触控笔等时，将该手指、触控笔等识别为操作体。注意，物体识别处理单元104可以识别多个操作体。
在获取的图像中检测到操作体的情况下(St135：是)，接触确定单元105通过使用深度信息来计算操作体与对象物体之间的距离(St136)。如上所述，接触确定单元105能够从深度传感器获取深度信息。在获取的图像中未检测到操作体的情况下(St135：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St131)。
在操作体与对象物体之间的距离等于或小于提前设定的预定值的情况下(St137：是)，接触确定单元105计算操作体的颜色变化(St138)。在操作体与对象物体之间的距离大于预定值的情况下(St137：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St131)。
之后，如上所述，接触确定单元105将操作体的颜色变化与接触确定阈值T进行比较，并且当颜色变化是接触确定阈值T所定义的预定模式变化时(St139：是)，确定操作体与对象物体接触(St140)。在操作体的颜色变化不是预定模式变化的情况下(St139：否)，再次执行由物体识别处理单元104进行的对象物体的识别(St131)。
在确定操作体与对象物体接触的情况下，接触确定单元105将接触位置和获取的图像提供给输入控制单元106。输入控制单元106基于操作图像G上显示的图标P的位置以及接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以将叠加在接触位置的图标P视为被选择。
信息处理装置100还能够执行这样的操作。通过使用深度信息，信息处理装置100能够获取操作体与对象物体之间的距离，并且仅在操作体与对象物体之间的距离足够小且接触的可能性很高的情况下通过使用获取的图像的颜色变化来执行接触确定。
(信息处理装置的接触和操作的确定操作)
信息处理装置100能够确定操作体与对象物体之间的接触以及接触操作的类型(拖动、挤压等)。图10是示出了信息处理装置100的接触和操作的确定操作的流程图。
接触确定步骤(St151)的流程与图6所示的接触确定操作的步骤的流程相同。此外，接触确定步骤(St151)的流程还可以与图8所示的结合使用法线方向的接触确定操作或者图9所示的结合使用深度信息的接触反应操作的流程相同。
在接触确定步骤中确定为接触的情况下(St152：是)，接触确定单元105确定操作体与对象物体的接触(按压)方向和接触(按压)程度(St153)。在接触确定步骤中确定为未接触的情况下(St152：否)，重复接触确定步骤(St151)。
接触确定单元105能够通过使用操作体的颜色变化来确定操作体与对象物体的接触(按压)方向和接触(按压)程度。图11是示出了由于操作体(手指)与对象物体的接触程度而引起的颜色变化的状态的示意图。如图所示，在操作体是手指Y的情况下，颜色变化的程度在图11的部分(a)所示的按压力较小的情况下与图11的部分(b)所示的按压力较大的情况下是不同的。接触确定单元105能够通过将颜色变化与取决于按压力(接触确定阈值T)的颜色变化模式进行比较来确定操作体在对象物体上的压力程度。注意，操作体不局限于手指Y，只要其颜色取决于在另一物体上的按压力程度而变化即可。
图12是示出了取决于操作体(手指)与对象物体的接触方向的颜色变化的状态的示意图。图12的部分(a)表示按压方向与对象物体垂直的情况，图12的部分(b)表示了按压方向为右方向的情况，图12的部分(c)表示按压方向为左方向的情况，图12的部分(d)表示按压方向为上方向的情况，并且图12的部分(e)表示按压方向为下方向的情况。
如图所示，在按压方向不同的情况下，颜色变化的位置不同。接触确定单元105能够通过将颜色变化与取决于按压方向(接触确定阈值T)的颜色变化模式进行比较来确定操作体对对象物体的按压方向。注意，操作体不局限于手指Y，只要其颜色取决于在另一物体上的按压方向而变化即可。
接触确定单元105将接触位置与获取的图像以及操作体在对象物体上的按压力的程度和按压方向提供给输入控制单元106。输入控制单元106确定操作体与对象物体之间的接触位置是否发生变化(St154)。在接触位置发生变化的情况下(St154：是)，输入控制单元106确定操作体的数量是否为两个(St155)。在接触位置未发生变化的情况下(St154：否)，再次执行接触确定步骤(St151)。
在操作体的数量是两个的情况下(St155：是)，输入控制单元106将操作体的操作确定为挤压。另一方面，在操作体的数量不是两个的情况下，输入控制单元106将操作体的操作确定为拖动。注意，在操作体的数量是两个的情况下，如果接触位置的移动方向大体上相互平行，则输入控制单元106可以将其确定为多个操作体的拖动(多触摸拖动)。此外，在操作体的操作是挤压的情况下，输入控制单元106可以根据接触位置的移动方向来确定操作是向内挤压还是向外挤压。
此时，输入控制单元106可以通过使用从物体识别处理单元104获取的物体识别结果来确定操作的类型。图13是示出了作为操作体的手指的形状的示意图。在操作体的特定形状(例如手指的取向)提前记录在物体识别词典D中的情况下，物体识别处理单元104将该信息提供给输入控制单元106。输入控制单元106能够使用操作体的形状来确定操作的类型。例如，在图13所示的示例中，物体识别处理单元104能够识别手指的形状是用于挤压操作的形状(由大拇指和食指形成的U形)，并且输入控制单元106可以仅在手指的形状是用于挤压操作的形状的情况下将操作确定为挤压操作。
输入控制单元106根据操作体所进行的操作的类型来控制操作输入。此时，输入控制单元106根据操作体在目标物体上的按压力程度来改变拖动的效果的程度(光标移动速度、滚动速度等)。此外，在操作体与对象物体之间的接触位置没有移动的情况下，输入控制单元106可以根据操作体在对象物体上的按压力的方向来控制操作输入的方向。在这种情况下，用户能够在不移动操作体的接触位置的情况下进行操作输入，如同他/她在操作指点杆那样。
图14示出了在信息处理装置100的上述操作下的音乐再现应用的UI的示例。如图所示，信息处理装置100能够根据操作体在对象物体上的按压方向或按压程度来选择声音音量、要再现的音乐等。
[第二实施方式]
下面将描述根据本技术的第二实施方式的信息处理装置。
(信息处理装置的配置)
图15是示出了根据本技术的第二实施方式的信息处理装置200的功能配置的示意图。如图所示，信息处理装置200包括声音输入单元201、声音识别处理单元202、图像输入单元203、接触确定单元204、输入控制单元205和图像输出单元206。根据该实施方式的信息处理装置200不包括物体识别处理单元。
如图所示，信息处理装置200可以连接至眼镜10。由于眼镜10的配置与第一实施方式中的配置类似，因此不再赘述。
声音输入单元201连接至眼镜10的麦克风。麦克风所采集的声音的音频信号被输入至声音输入单元201。声音输入单元201将所获取的音频信号输出至声音识别处理单元202。
声音识别处理单元202执行对声音输入单元201提供的音频信号的音频识别处理，并对用户的操作声音进行识别。在操作声音被识别的情况下，声音识别处理单元202将音频识别结果提供给输入控制单元205。
图像输入单元203连接至摄像装置12。摄像装置12拾取的图像(动态图像)被输入至图像输入单元203。图像输入单元203将从摄像装置12获取的图像(以下称为获取的图像)提供给接触确定单元204。
接触确定单元204通过使用接触确定阈值T来执行对图像输入单元203提供的获取的图像的接触确定。下面将描述该处理的细节。接触确定单元204将确定结果提供给输入控制单元205。接触确定阈值T可以存储在信息处理装置200中，或者接触确定单元204可以从网络等获取接触确定阈值T。
输入控制单元205基于声音识别处理单元202所提供的识别结果或接触确定单元204所提供的确定结果来控制用户的操作输入。特别地，输入控制单元205将操作体与对象物体的接触位置、按压力或按压方向，操作体在接触之后的移动等接收作为触摸、多触摸、拖动、挤压等的操作输入。输入控制单元205将所接收的操作输入提供给信息处理装置200的OS等。
图像输出单元206生成在显示器11上显示的图像(动态图像)。图像输出单元206能够生成包括图标和操作按钮的操作图像。与第一实施方式类似，用户在视觉上确认以下视场，在该视场中显示器11上显示的视频与真实物体相互叠加(见图2和图3)。
除眼镜10之外，信息处理装置200还可以连接至包括能够将视频显示或投影在对象物体上并将对象物体进行成像的摄像装置的装置。
信息处理装置200的上述功能配置可以连接至或包含在诸如眼镜和投影仪的图像投影装置，或安装在不同于图像投影装置的PC、智能手机等上。此外，功能配置的全部或部分还可以位于网络上。
信息处理装置200的上述功能配置可以通过第一实施方式中所示的硬件配置来实现。
(信息处理装置的接触确定操作)
下面将描述信息处理装置200的操作。图16是示出了信息处理装置200的操作的流程图。如上所述，摄像装置12对图像进行拾取，并且图像输入单元203获取该图像(获取的图像)。图像输入单元203将获取的图像提供给接触确定单元204。
图像输出单元206将操作图像G(见图2)提供给显示器11，并使显示器11显示操作图像G(St201)。与第一实施方式相比，不执行对象物体的识别处理。然而，用户能够将显示器11瞄准对象物体(桌子表面或墙表面)，从而将操作图像G投影在对象物体上。
接触确定单元204计算操作体的颜色变化(St202)。注意，接触确定单元204能够计算提前设定的颜色(以下称为确定对象颜色)的变化。确定对象颜色例如是与手指颜色对应的颜色。可以将假定要使用的触控笔的颜色用作确定对象颜色。通过使用确定对象颜色，接触确定单元204能够在不执行操作体的识别处理的情况下识别出期望要计算其变化的颜色。注意，确定对象颜色可以具有一定的幅度(像素值范围)。此外，可以将多种颜色用作确定对象颜色。
接触确定单元204将操作体的颜色(确定对象颜色)的变化与接触确定阈值T进行比较，并且当颜色变化是接触确定阈值T所定义的预定模式变化时(St203：是)，确定操作体与对象物体接触(St204)。在有多个为确定对象颜色的区域的情况下，接触确定单元204能够看作(regard)存在多个操作体并针对每个操作体确定接触。
接触确定单元204在进行确定时所使用的颜色变化模式(接触确定阈值T)可以根据某种规则或者机器学习来确定，在机器学习中会针对许多对象重复地执行接触确定。此外，接触确定单元204可以存储用户在使用信息处理装置200时的指尖颜色的趋势，并执行对接触确定阈值T的校准。
在对象物体的颜色变化不是预定模式变化的情况下(St203：否)，再次执行对操作体的颜色(确定对象颜色)的变化的计算(St202)。
在确定操作体与对象物体接触的情况下，接触确定单元204将接触位置和获取的图像提供给输入控制单元205。输入控制单元205基于接触确定单元204所提供的接触确定结果来控制操作输入。
信息处理装置200执行这样的操作。如上所述，信息处理装置200通过使用通常的摄像装置所拾取的图像来执行接触确定。特别地，不需要提供诸如3D传感器和立体摄像装置的接触检测装置，并且可以减小设备的尺寸以及成本。此外，由于除非操作体与对象物体接触否则对象物体不发生颜色变化，即信息处理装置200仅在操作体肯定与对象物体接触的情况下才执行接触确定，因此可以高精度地接收操作输入。
注意，尽管在前文描述了将手指作为操作体的情况，但是操作体并不局限于手指。例如，在将触控笔作为操作体的情况下，可以通过使用因与对象物体接触而引起的触控笔的形变所引起的触控笔的颜色变化来执行接触确定。替选地，可以使用在触控笔与物品接触时会改变颜色的触控笔或者会发光的触控笔作为操作体。
此外，虽然在前文的描述中接触确定单元204通过使用操作体的颜色变化来执行接触确定，然而并不局限于此。可以通过使用对象物体的颜色变化来执行接触确定。例如，接触确定单元204可以通过使用手掌、液晶显示器等的颜色变化来执行接触确定。此外，接触确定单元204可以通过使用由于对象物体的形变而引起的颜色变化来执行接触确定。
此外，接触确定单元204可以通过使用作为确定对象颜色的操作体的阴影的颜色的变化来执行接触确定。例如，接触确定单元204能够通过将比周围颜色深的颜色(阴影)作为确定对象颜色来确定接触。
信息处理装置200执行这样的操作。注意，类似于第一实施方式，信息处理装置200可以通过使用颜色变化和深度信息来执行接触确定(见图9)。此外，信息处理装置200可以在接触确定之后确定接触操作的类型(见图10)。
应当注意的是本技术可以使用下述配置。
(1)
一种信息处理装置，包括：
接触确定单元，所述接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定所述操作体与所述对象物体的接触。
(2)
根据(1)所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元识别包括在所述图像中的操作体，其中，
所述接触确定单元基于所述操作体的颜色变化来确定所述操作体与所述对象物体的接触。
(3)
根据上述(1)或(2)所述的信息处理装置，其中，
所述物体识别处理单元使用物体检测词典来识别所述操作体。
(4)
根据上述(1)至(3)中任一项所述的信息处理装置，其中，
所述物体识别处理单元将已经进入所述图像的物体识别为所述操作体。
(5)
根据上述(1)至(4)中任一项所述的信息处理装置，其中，
所述接触确定单元基于预定颜色的变化来确定所述操作体与所述对象物体的接触。
(6)
根据上述(1)至(5)中任一项所述的信息处理装置，其中，
所述预定颜色是与手指指尖的颜色相对应的颜色。
(7)
根据上述(1)至(6)中任一项所述的信息处理装置，其中，
所述接触确定单元基于所述操作体的颜色变化来确定所述操作体与所述对象物体的接触。
(8)
根据上述(1)至(7)中任一项所述的信息处理装置，其中，
所述接触确定单元基于所述对象物体的颜色变化来确定所述操作体与所述对象物体的接触。
(9)
根据上述(1)至(8)中任一项所述的信息处理装置，其中，
所述接触确定单元基于由所述操作体的阴影而引起的所述对象物体的颜色变化来确定所述操作体与所述对象物体的接触。
(10)
根据上述(1)至(9)中任一项所述的信息处理装置，其中，
所述接触确定单元还基于所述图像的颜色变化来确定所述操作体对所述对象物体的接触程度。
(11)
根据上述(1)至(10)中任一项所述的信息处理装置，其中，
所述接触确定单元还基于所述图像的颜色变化来确定所述操作体与所述对象物体的接触方向。
(12)
根据上述(1)至(11)中任一项所述的信息处理装置，还包括：
输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。
(13)
根据上述(1)至(12)中任一项所述的信息处理装置，还包括：
图像输出单元，所述图像输出单元生成叠加在所述对象物体上的操作对象图像，其中，
所述输入控制单元基于所述操作对象图像中所述操作体与所述对象物体之间的接触位置来控制操作输入。
(14)
根据上述(1)至(13)中任一项所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元识别包括在所述图像中的操作体，其中，
所述输入控制单元基于所述物体识别处理单元所识别的操作体的形状和所述接触确定单元的确定结果来控制操作输入。
(15)
根据上述(1)至(14)中任一项所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元识别包括在所述图像中的对象物体，其中，
所述接触确定单元在所述对象物体是刚性体时，基于所述图像的颜色变化来确定所述操作体与所述对象物体的接触，并且所述接触确定单元在所述对象物体不是刚性体时，基于法线方向检测传感器所获取的对象物体的表面上的法线方向来确定所述操作体与所述对象物体的接触。
(16)
根据上述(1)至(15)中任一项所述的信息处理装置，其中，
当深度传感器所获取的所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元基于所述图像的颜色变化来确定所述操作体与所述对象物体的接触。
(17)
一种程序，所述程序使信息处理装置充当：
接触确定单元，所述接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定所述操作体与所述对象物体的接触。
(18)
一种信息处理方法，包括：
由接触确定单元基于包括对象物体和操作体的图像的颜色变化来确定所述操作体与所述对象物体的接触。
附图标记说明
100、200 信息处理装置
101、201 声音输入单元
102、202 音频识别处理单元
103、203 图像输入单元
104 物体识别处理单元
105、204 接触确定单元
106、205 输入控制单元
107、206 图像输出单元

Claims (16)

1.一种信息处理装置，包括：
接触确定单元，所述接触确定单元基于包括对象物体和操作体的图像的颜色的变化来确定所述操作体与所述对象物体的接触；以及
物体识别处理单元，所述物体识别处理单元识别包括在所述图像中的对象物体，
其中，所述接触确定单元在所述对象物体是刚性体时，基于所述图像的颜色的变化来确定所述操作体与所述对象物体的接触，并且所述接触确定单元在所述对象物体不是刚性体时，基于法线方向检测传感器所获取的所述对象物体的表面上的法线的方向来确定所述操作体与所述对象物体的接触。
2.根据权利要求1所述的信息处理装置，其中，
所述物体识别处理单元还识别包括在所述图像中的操作体，以及
所述接触确定单元在所述对象物体是刚性体时，基于所述操作体的颜色的变化来确定所述操作体与所述对象物体的接触。
3.根据权利要求2所述的信息处理装置，其中，
所述物体识别处理单元使用物体检测词典来识别所述操作体。
4.根据权利要求2所述的信息处理装置，其中，
所述物体识别处理单元将已经进入所述图像的物体识别为所述操作体。
5.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元在所述对象物体是刚性体时，基于预定颜色的变化来确定所述操作体与所述对象物体的接触。
6.根据权利要求5所述的信息处理装置，其中，
所述预定颜色是与手指指尖的颜色相对应的颜色。
7.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元在所述对象物体是刚性体时，基于所述对象物体的颜色的变化来确定所述操作体与所述对象物体的接触。
8.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元在所述对象物体是刚性体时，基于由所述操作体的阴影而引起的所述对象物体的颜色的变化来确定所述操作体与所述对象物体的接触。
9.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元还基于所述图像的颜色的变化来确定所述操作体对所述对象物体的接触程度。
10.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元还基于所述图像的颜色的变化来确定所述操作体与所述对象物体的接触方向。
11.根据权利要求1所述的信息处理装置，还包括：
输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。
12.根据权利要求11所述的信息处理装置，还包括：
图像输出单元，所述图像输出单元生成叠加在所述对象物体上的操作对象图像，其中，
所述输入控制单元基于所述操作对象图像中的所述操作体与所述对象物体之间的接触位置来控制操作输入。
13.根据权利要求11所述的信息处理装置，其中
所述物体识别处理单元还识别包括在所述图像中的操作体，以及
所述输入控制单元基于所述物体识别处理单元所识别的操作体的形状和所述接触确定单元的确定结果来控制操作输入。
14.根据权利要求1所述的信息处理装置，其中，
当深度传感器所获取的所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元在所述对象物体是刚性体时，基于所述图像的颜色的变化来确定所述操作体与所述对象物体的接触。
15.一种其上记录有程序的计算机可读介质，所述程序使信息处理装置充当：
接触确定单元，所述接触确定单元基于包括对象物体和操作体的图像的颜色的变化来确定所述操作体与所述对象物体的接触；以及
物体识别处理单元，所述物体识别处理单元识别包括在所述图像中的对象物体，
其中，所述接触确定单元在所述对象物体是刚性体时，基于所述图像的颜色的变化来确定所述操作体与所述对象物体的接触，并且所述接触确定单元在所述对象物体不是刚性体时，基于法线方向检测传感器所获取的所述对象物体的表面上的法线的方向来确定所述操作体与所述对象物体的接触。
16.一种信息处理方法，包括：
由接触确定单元基于包括对象物体和操作体的图像的颜色的变化来确定所述操作体与所述对象物体的接触；以及
由物体识别处理单元识别包括在所述图像中的对象物体，
其中，所述接触确定单元在所述对象物体是刚性体时，基于所述图像的颜色的变化来确定所述操作体与所述对象物体的接触，并且所述接触确定单元在所述对象物体不是刚性体时，基于法线方向检测传感器所获取的所述对象物体的表面上的法线的方向来确定所述操作体与所述对象物体的接触。
CN201580040986.8A 2014-07-30 2015-07-14 信息处理装置、信息处理方法及计算机可读介质 Expired - Fee Related CN106575184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014155227 2014-07-30
JP2014-155227 2014-07-30
PCT/JP2015/003560 WO2016017096A1 (ja) 2014-07-30 2015-07-14 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106575184A CN106575184A (zh) 2017-04-19
CN106575184B true CN106575184B (zh) 2020-05-19

Family

ID=55217021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580040986.8A Expired - Fee Related CN106575184B (zh) 2014-07-30 2015-07-14 信息处理装置、信息处理方法及计算机可读介质

Country Status (5)

Country Link
US (1) US10175825B2 (zh)
EP (1) EP3176681A4 (zh)
JP (1) JP6686885B2 (zh)
CN (1) CN106575184B (zh)
WO (1) WO2016017096A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201420859D0 (en) * 2014-11-24 2015-01-07 Cancer Res Inst Royal Tumour analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法
WO2013168508A1 (ja) * 2012-05-09 2013-11-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2014071505A (ja) * 2012-09-27 2014-04-21 Aisin Aw Co Ltd 電子機器、電子機器の制御方法及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4169688B2 (ja) 2003-12-02 2008-10-22 オリンパス株式会社 ヒューマンインタフェース装置
JP2011070491A (ja) 2009-09-28 2011-04-07 Nec Personal Products Co Ltd 入力方法、情報処理装置、タッチパネル及びプログラム
KR101077308B1 (ko) 2010-07-13 2011-10-26 삼성전기주식회사 터치패널의 압력센싱 모듈 및 그 작동방법
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置
WO2014034527A1 (ja) 2012-08-27 2014-03-06 シチズンホールディングス株式会社 情報入力装置
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
CN102200881A (zh) * 2010-03-24 2011-09-28 索尼公司 图像处理装置、图像处理方法以及程序
WO2013168508A1 (ja) * 2012-05-09 2013-11-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2014071505A (ja) * 2012-09-27 2014-04-21 Aisin Aw Co Ltd 電子機器、電子機器の制御方法及びコンピュータプログラム
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法

Also Published As

Publication number Publication date
EP3176681A4 (en) 2018-04-18
US20170139545A1 (en) 2017-05-18
WO2016017096A1 (ja) 2016-02-04
JP6686885B2 (ja) 2020-04-22
US10175825B2 (en) 2019-01-08
EP3176681A1 (en) 2017-06-07
JPWO2016017096A1 (ja) 2017-04-27
CN106575184A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
EP2972669B1 (en) Depth-based user interface gesture control
JP6393341B2 (ja) 投射型映像表示装置
CN106662923B (zh) 信息处理装置、信息处理方法和程序
US9317130B2 (en) Visual feedback by identifying anatomical features of a hand
US20130057469A1 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US20120327125A1 (en) System and method for close-range movement tracking
US20080244468A1 (en) Gesture Recognition Interface System with Vertical Display
US20120032903A1 (en) Information processing apparatus, information processing method, and computer program
US20170003762A1 (en) Systems and methods for text entry
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20160162098A1 (en) Method for providing user interface using multi-point touch and apparatus for same
US10564760B2 (en) Touch system, touch apparatus and control method thereof
US9971490B2 (en) Device control
CN106325726B (zh) 触控互动方法
US20150355769A1 (en) Method for providing user interface using one-point touch and apparatus for same
JP6033061B2 (ja) 入力装置およびプログラム
US20150268736A1 (en) Information processing method and electronic device
CN106575184B (zh) 信息处理装置、信息处理方法及计算机可读介质
US20100245266A1 (en) Handwriting processing apparatus, computer program product, and method
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
US9778822B2 (en) Touch input method and electronic apparatus thereof
KR101579649B1 (ko) 제스처를 이용한 인터페이스 장치
KR20140083301A (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

Termination date: 20210714