CN106662923B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN106662923B
CN106662923B CN201580040960.3A CN201580040960A CN106662923B CN 106662923 B CN106662923 B CN 106662923B CN 201580040960 A CN201580040960 A CN 201580040960A CN 106662923 B CN106662923 B CN 106662923B
Authority
CN
China
Prior art keywords
target object
contact
image
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580040960.3A
Other languages
English (en)
Other versions
CN106662923A (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106662923A publication Critical patent/CN106662923A/zh
Application granted granted Critical
Publication of CN106662923B publication Critical patent/CN106662923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了能够以低成本并且高精度地执行接触检测的信息处理装置、信息处理方法和程序。该信息处理装置配备有接触确定单元。接触确定单元基于对象物体的表面的法线矢量的任何改变来确定操作体是否与对象物体接触，其中，该对象物体是由操作体进行的操作的对象。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及能够检测接触的信息处理装置、信息处理方法和程序。
背景技术
近年来，随着信息处理设备的利用形式的多样化，正在研究新的UI(用户接口)。例如，开发将图标显示在头戴式显示装置上、将图标投影到对象物体(例如手掌和桌子)上并且在操作体(例如手指和触控笔)触摸投影的图标时输入对图标的选择的技术。
对于操作体与对象物体的接触而言，使用立体摄像装置、3D传感器等。UI对对象物体和操作体进行识别，并且基于从立体摄像装置、3D传感器等获取的3D信息对操作体的位置和对象物体的平面形状进行检测。UI能够将对象物体与操作体之间的等于或小于预定值的距离确定为接触。
专利文献1：日本专利申请特开第2011-70491号
发明内容
需要解决的问题
然而，在上面所提及的方法中，需要提供用于检测接触的检测装置例如立体摄像装置和3D传感器，并且存在装置尺寸增大、功耗增大并且成本增加的问题。此外，由于立体摄像装置和3D传感器的性质，难以在阳光下使用立体摄像装置和3D传感器。此外，在操作体接近对象物体时非接触被确定为接触的情况下，可能会进行用户的无意识输入。
考虑到上面所描述的情况，本技术的目的在于提供能够以低成本并且高精度地检测接触的信息处理装置、信息处理方法和程序。
用于解决问题的装置
为了实现上面所提及的目的，根据本技术的实施方式的信息处理装置包括接触确定单元。
接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。
法线矢量是面向与物体表面垂直的方向的矢量。当操作体与对象物体接触时，对象物体的表面由于与操作体的接触而变形，并且法线矢量改变。因此，利用上面所提及的配置，可以通过检测法线矢量的改变来确定操作体与对象物体的接触。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，
接触确定单元可以基于操作体周围的对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触。
因为接触确定单元仅使用操作体很可能接触的对象物体的表面的区域以用于接触确定，所以利用该配置可以减少用于计算法线矢量的改变的计算量并且可以防止错误检测。
接触确定单元可以取决于法线矢量沿操作体的方向的倾斜度来确定操作体与对象物体的接触。
在对象物体是通过操作体的按压形成凹陷的物体(手掌等)的情况下，法线矢量由于与操作体接触而沿操作体的方向倾斜。因此，接触确定单元能够使用法线矢量沿操作体的方向的倾斜度以用于接触确定。
接触确定单元可以取决于法线矢量的倾斜度的扰动来确定操作体与对象物体的接触。
在对象物体是通过操作体的按压而变得褶皱的物体(手的背面等)的情况下，法线矢量由于与操作体接触而被扰动并且沿各方向倾斜。因此，接触确定单元能够使用法线矢量的倾斜度的扰动以用于接触确定。
信息处理装置还可以包括输入控制单元，该输入控制单元基于接触确定单元的确定结果来控制操作输入。
当接触确定单元确定操作体与对象物体之间存在接触时，输入控制单元能够取决于接触位置或接触次数将该接触接收为操作输入并且能够将操作输入提供给OS等。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，
输入控制单元可以基于由物体识别处理单元识别的操作体的形状和接触确定单元的确定结果来控制操作输入。
物体识别处理单元可以识别操作体的形状(例如手指在挤压操作时的形状)并且将操作体的形状提供给输入控制单元。因此，输入控制单元能够取决于操作体的形状来接收操作输入。
信息处理装置还可以包括图像输出单元，该图像输出单元生成被叠加在对象物体上的操作对象图像，其中，
输入控制单元可以基于操作体与操作对象图像中的对象物体的接触位置关系来控制操作输入。
图像输出单元生成被显示在头戴式显示装置、投影仪等上并且被叠加在对象物体上的操作对象图像。输入控制单元能够基于操作对象图像中的接触位置和操作对象图像在对象物体上的叠加位置，对操作对象图像与接触位置之间的位置关系进行计算，并且取决于叠加在接触位置上的操作对象图像的内容(图标等)来接收操作输入。
当法线矢量的倾斜度超过阈值时，接触确定单元可以确定操作体与对象物体接触。
利用该配置，可以通过阈值来调节接触检测的精确度。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，
接触确定单元可以取决于对象物体的种类来确定阈值。
利用该配置，接触确定单元能够利用取决于对象物体的种类的适当的阈值来确定接触。例如，可以在对象物体是硬物时减小阈值以及在对象物体是软物时增大阈值。
接触确定单元还可以取决于对象物体的表面的位置来确定阈值。
例如，在对象物体是手掌的情况下，即使以相同的按压力按压手掌，凹陷的程度也会由于位置而不同。因此，利用上面所提及的配置，可以利用取决于对象物体的位置的适当的阈值来确定接触。
当法线矢量的倾斜度大于阈值时，接触确定单元可以取决于法线矢量的倾斜度的大小来计算操作体与对象物体的接触程度。
由于操作体与对象物体接触引起的对象物体的变形程度随着接触的按压力增大而增大。因此，利用上面所提及的配置，不仅可以计算操作体与对象物体的接触，而且还可以计算操作体对对象物体的按压力。
信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，
接触确定单元可以在对象物体是刚体时基于拾取图像的颜色的改变来确定操作体与对象物体的接触，并且可以在对象物体不是刚体时基于法线矢量的改变来确定操作体与对象物体的接触。
在对象物体是刚体并且对象物体没有由于操作体的接触而变形的情况下，接触确定单元能够通过使用拾取图像的颜色的改变来确定接触。例如，因为当手指按压物体时指尖的颜色改变，所以接触确定单元能够通过使用这样的颜色改变来确定接触。
当对象物体与操作体之间的距离等于或小于预定值时，接触确定单元可以基于法线矢量的改变来确定操作体与对象物体的接触。
当对象物体与操作体之间的距离小于预定值时，接触确定单元基于图像的颜色的改变来确定接触。因此，可以仅在接触的可能性高的情况下确定接触。对象物体与操作体之间的距离可以由使用红外线等的投影图案以测量传感器与物体之间的距离的深度传感器来获取。
接触确定单元可以根据通过偏振成像拾取的拾取图像来检测法线矢量。
偏振成像由向每个像素提供具有不同偏振方向的偏振滤波器的摄像装置来实现，并且可以根据拾取图像来检测法线矢量。
为了实现上面所提及的目的，根据本技术的实施方式的程序使信息处理装置用作接触确定单元。
接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。
为了实现上面所提及的目的，根据本技术的实施方式的信息处理方法包括：通过接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。
效果
如上所述，根据本技术，可以提供能够以低成本并且高精度地检测接触的信息处理装置、信息处理方法和程序。应当注意，文中所描述的效果不一定是限制性的并且可以是本公开内容中所描述的任何效果。
附图说明
图1是示出根据本技术的第一实施方式的信息处理装置的配置的示意图。
图2是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的示意图。
图3是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的示意图。
图4是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的示意图。
图5是示出信息处理装置的硬件配置的示意图。
图6是示出信息处理装置的操作的流程图。
图7是示出在操作体不与对象物体接触的状态下的对象物体中的法线矢量的示意图。
图8是示出在操作体与对象物体接触的状态下的对象物体中的法线矢量的示意图。
图9是示出在操作体与对象物体接触的状态下的对象物体中的法线矢量的示意图。
图10是示出信息处理装置的操作的流程图。
图11是示出信息处理装置的操作的流程图。
图12是示出信息处理装置的操作的流程图。
图13是示出操作体的形状的示意图。
图14是示出由操作体输入的操作的状态的示意图。
图15是示出根据本技术的第二实施方式的信息处理装置的配置的示意图。
图16是示出信息处理装置的操作的流程图。
具体实施方式
[第一实施方式]
将描述根据本技术的第一实施方式的信息处理装置。
(信息处理装置的配置)
图1是示出根据本技术的第一实施方式的信息处理装置100的功能配置的示意图。如图所示，信息处理装置100包括声音输入单元101、声音识别处理单元102、图像输入单元103、物体识别处理单元104、接触确定单元105、输入控制单元106和图像输出单元107。
如图所示，信息处理装置100可以连接至眼镜10。此外，信息处理装置100可以安装在眼镜10上。眼镜10包括显示装置11、摄像装置12和麦克风(未示出)。显示装置11可以是透明的HMD(头戴式显示装置)。
摄像装置12可以是能够执行偏振成像的摄像装置。具体地，可以对每个像素应用偏振方向偏移90度的四种类型的偏振膜，从而对摄像装置12进行配置。可以通过以下方式来获取成像物体的表面的法线方向(稍后描述)：通过对具有不同偏振方向的每个像素的接收光强度应用傅立叶变换来取得非偏振分量强度、偏振主轴方向和偏振分量强度，从而根据主轴方向获得方位角并且根据强度获得天顶角。此外，信息处理装置100除了摄像装置12以外还可以包括常规摄像装置。
声音输入单元101连接至眼镜10的麦克风。由麦克风收集的声音的音频信号被输入至声音输入单元101。声音输入单元101将获取的音频信号输出至声音识别处理单元102。
声音识别处理单元102对从声音输入单元101提供的音频信号执行音频识别处理，并且识别由用户发出的操作声音。在识别出操作声音的情况下，声音识别处理单元102将识别结果提供给输入控制单元106。
图像输入单元103连接至摄像装置12。将由摄像装置12拾取的图像(运动图像)输入至图像输入单元103。由摄像装置12拾取的图像是通过上述偏振成像拾取的图像。图像输入单元103将从摄像装置12获取的图像(下文中称为获取图像)提供给物体识别处理单元104。
物体识别处理单元104对照存储在物体检测词典D中的信息对从图像输入单元103供给的获取图像进行检查以识别物体。物体识别处理单元104能够识别物体例如稍后描述的操作体和对象物体。物体识别处理单元104将获取图像和物体识别结果提供给接触确定单元105。物体检测词典D可以存储在信息处理装置100中，或者物体识别处理单元104可以从网络等获取物体检测词典D。
接触确定单元105通过使用物体识别结果和接触确定阈值T对从物体识别处理单元104提供的获取图像执行接触确定。稍后将描述该处理的细节。接触确定单元105将确定结果提供给输入控制单元106。接触确定阈值T可以存储在信息处理装置100中，或者接触确定单元105可以从网络等获取接触确定阈值T。
输入控制单元106基于从声音识别处理单元102提供的识别结果或从接触确定单元105提供的确定结果，来控制由用户进行的操作输入。具体地，输入控制单元106接收操作体与对象物体的接触位置、按压力或按压方向、接触以后的操作体的运动等作为触摸、多点触摸、拖动、挤压等的操作输入。输入控制单元106将所接收的操作输入提供给信息处理装置100的OS等。
图像输出单元107生成被显示在显示装置11上的图像(运动图像)。图像输出单元107能够生成包括图标和操作按钮的操作图像。如上所述，显示装置11是透明的HMD，并且用户在视觉上确认被显示在显示装置11上的视频和真实物体彼此叠加的视野。
图2示意性地示出了经由显示装置11的用户的视野。用户的视野包括用户的手掌H、用户的手指Y和显示在显示装置11上的操作图像G。操作图像G包括图标P。当用户用手指Y触摸叠加有图标P的手掌H的一部分时，信息处理装置100接收对图标P的选择。
操作图像G不一定需要叠加在手掌上。图3是示出操作图像G叠加在杂志Z上的状态的示意图。如图所示，当用户用手指Y触摸叠加有图标P的杂志Z的一部分时，信息处理装置100接收对图标P的选择。此外，用户可以用除了手指以外的事物例如触控笔来指定图标P。在下文中，将投影有被用户指定的操作图像G的物体(例如手掌H和杂志Z)称为对象物体，并且将与对象物体接触并操作图标P等的物体(例如手指Y和触控笔)称为操作体。具体地，信息处理装置100检测操作体与对象物体的接触，并且响应于该接触来接收操作输入。
眼镜10的配置不限于上述配置。图4示出了摄像装置12被设置成独立于眼镜10的状态。操作图像G被显示在显示装置11上并且被叠加在杂志Z上。摄像装置12被设置在与眼镜10的位置不同的位置(例如杂志Z的上侧面上)并且连接至图像输入单元103。
此外，信息处理装置100可以连接至与眼镜10不同的图像投影装置。例如，信息处理装置100可以连接至包括摄像装置的投影仪，该投影仪能够将视频投影在桌面或墙壁表面上并且能够对投影表面进行成像。在这种情况下，图像输出单元107连接至投影仪的图像投影机构，并且将视频投影在对象物体(桌子或墙壁)上。图像输入单元103连接至摄像装置，并且获取包括对象物体和投影图像的图像。替代地，信息处理装置100可以连接至包括摄像装置的装置，该装置能够将视频显示或投影在对象物体上并且能够对对象物体进行成像。
信息处理装置100的上面所提及的功能配置可以连接至或结合至/在图像投影装置例如眼镜和投影仪中，或者安装在与图像投影装置不同的PC、智能手机等上。此外，功能配置的整体或一部分可以在网络上。
图5是示出信息处理装置100的硬件配置的示意图。信息处理装置100的上面所提及的配置是通过图5所示的硬件配置与程序的协作而实现的功能配置。
如图5所示，信息处理装置100包括作为硬件配置的CPU 121、存储器122、存储装置123和输入/输出接口124。这些通过总线125彼此连接。
CPU(中央处理单元)121根据存储在存储器122中的程序来控制其他配置、根据该程序来执行数据处理、并且将处理结果存储在存储器122中。CPU 121可以是微处理器。
存储器122存储由CPU 121执行的程序和数据。存储器122可以是RAM(随机存取存储器)。
存储装置123存储程序或数据。存储装置123可以是HDD(硬盘驱动器)或SSD(固态驱动器)。存储装置123能够存储上面所提及的物体检测词典D或上面所提及的接触确定阈值T。
输入/输出IF(接口)124接收向信息处理装置100的输入，并且将信息处理装置100的输出提供给显示装置11等。输入/输出IF 124包括输入设备例如鼠标和触摸面板、输出设备例如显示装置11以及连接接口例如网络。如上所述，信息处理装置100能够基于由图像输入单元103获取的图像接收用户的操作输入。在这种情况下，不经由输入/输出IF 124接收输入。由图像输出单元107生成的图像经由输入/输出IF 124输出至显示装置11并且被显示。
只要可以实现信息处理装置100的上面所提及的功能配置，则信息处理装置100的硬件配置不限于文中所描述的那些硬件配置。
(信息处理装置的接触确定操作)
将描述信息处理装置100的操作。图6是示出信息处理装置100的操作的流程图。如上所述，摄像装置12拾取图像，并且图像输入单元103获取图像(获取图像)。图像输入单元103将获取图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体(St101)。物体识别处理单元104通过对照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。因此，当获取图像包括例如手掌、杂志等时，手掌或杂志被识别为对象物体。
在获取图像中识别出对象物体的情况下(St102：是)，图像输出单元107将操作图像G(参见图2)提供给显示装置11，并且使显示装置11显示操作图像G(St103)。在获取图像中没有识别出对象物体的情况下(St102：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St101)。
接下来，物体识别处理单元104识别操作体(St104)。物体识别处理单元104通过对照物体检测词典D对获取图像进行检查来识别操作体。因此，当获取图像包括例如手指、触控笔等时，手指或触控笔被识别为操作体。注意，物体识别处理单元104可以识别多个操作体。
在获取图像中识别出操作体的情况下(St105：是)，接触确定单元105对包括在获取图像中的对象物体的表面上的法线矢量的方向(下文中称为法线方向)进行计算(St106)。在获取图像中没有识别出操作体的情况下(St105：否)，再次执行由物体识别处理单元104对对象物体的识别(St101)。
图7和图8分别是示出对象物体的表面上的法线矢量B的示意图。图7示出了操作体(手指Y)不与对象物体(手掌H)接触的状态。图7的部分(a)是平面图，并且图7的部分(b)是侧视图。如图所示，接触确定单元105对手掌H的表面上的法线矢量B进行检测。法线矢量是与物体的表面垂直的矢量，并且法线矢量的大小为1。如上所述，摄像装置12是能够执行偏振成像的摄像装置，并且接触确定单元105能够从由摄像装置12拾取的获取图像中检测法线矢量B。
图8示出了操作体(手指Y)与对象物体(手掌H)接触的状态。图8的部分(a)是平面图，并且图8的部分(b)是侧视图。如图所示，当手指Y与手掌H接触并且按压手掌H时，手掌H的表面凹陷。因此，在手掌H的表面中检测到的法线矢量B沿手指Y的方向倾斜。
接触确定单元105基于由于操作体与对象物体接触引起的法线矢量B的改变来检测接触。具体地，当法线矢量B的方向(下文中称为法线方向)的倾斜度超过接触确定阈值T时，接触确定单元105能够确定手指Y与手掌H接触(St107：是)。接触确定单元105可以对法线方向发生改变的法线矢量B中的具有最大倾斜度的法线矢量B的倾斜度与接触确定阈值T进行比较，或对倾斜的法线矢量B的倾斜度的平均值与接触确定阈值T进行比较。此外，当法线方向的倾斜度小于接触确定阈值T时，接触确定单元105能够确定手指Y不与手掌H接触(St107：否)。
注意，仅当法线方向沿手指Y的方向的倾斜度超过接触确定阈值T时，接触确定单元105可以确定手指Y与手掌H接触。这是因为即使当法线方向的倾斜度很大时，在法线方向不是手指Y的方向的情况下法线方向仍可能由于与手指Y的接触不同的其他原因而倾斜。具体地，可以通过仅使用法线方向沿手指Y的方向的倾斜度用于接触确定来提高检测精确度。
此外，接触确定单元105可以取决于法线方向的扰动来检测操作体与对象物体的接触。图9是示出作为对象物体的手的背面K和作为操作体的手指Y的示意图。如图所示，在对象物体是手的背面的情况下，该表面与手掌相比在操作体与该表面接触时不会凹陷而是会变得褶皱。接触确定单元105能够根据法线方向的扰动来检测这样的褶皱的产生。具体地，当法线方向沿任何方向的倾斜度超过接触确定阈值T时，接触确定单元105能够确定手指Y与手的背面K接触。
接触确定单元105能够通过使用物体识别处理单元104的识别结果来确定法线矢量中的哪种改变用于确定。例如，接触确定单元105能够在物体识别处理单元104对通过按压例如手掌H形成凹陷的物体进行检测的情况下使用法线方向沿操作体的方向的倾斜度来用于确定。此外，接触确定单元105能够在物体识别处理单元104对通过按压例如手的背面K而变得褶皱的物体进行检测的情况下使用法线方向沿任何方向的倾斜度来用于确定。
接触确定阈值T可以是恒定值。替代地，接触确定单元105可以通过使用物体识别处理单元104对对象物体进行的识别的结果来确定接触确定阈值T。具体地，接触确定单元105能够使用取决于对象物体的种类设置的接触确定阈值T。此外，接触确定单元105可以取决于对象物体的种类来调节接触确定阈值T。例如，接触确定单元105可以在对象物体由于操作体的按压而大幅变形时使用大的值作为接触确定阈值T，并且在对象物体没有由于操作体的按压大幅变形时使用小的值作为接触确定阈值T。
此外，接触确定单元105可以取决于由操作体对对象物体的按压形成的凹陷的程度、即法线方向的倾斜度，或取决于操作体与对象物体的接触位置来调节接触确定阈值T。例如，同样在手指按压手掌的情况下，在手掌的中心附近形成大的凹陷，以及在手指的基部附近形成小的凹陷。因此，接触确定单元105能够使用适当的值作为接触确定阈值T，从而以更高的精确度来确定操作体与对象物体的接触。
注意，接触确定单元105不需要检测对象物体的所有表面上的法线矢量，而是可以仅对由物体识别处理单元104识别的操作体周围的对象物体的表面上的法线矢量进行检测并将该法线矢量用于接触确定。因此，可以对沿法线方向的改变被跟踪的法线矢量的数量进行限制、减少计算的次数并且防止错误检测。
在接触确定单元105确定操作体未与对象物体接触的情况下(St107：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St101)。
在确定操作体与对象物体的接触的情况下，接触确定单元105将接触位置与获取图像一起提供给输入控制单元106。输入控制单元106基于显示在操作图像G上的图标P的位置和从接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以认为选择了叠加在接触位置上的图标P。
信息处理装置100执行这样的操作。因为如上面所描述的那样由能够执行偏振成像的摄像装置12拾取的图像可以用于检测操作体与对象物体的接触，所以除了摄像装置12以外，不需要提供用于检测接触的传感器。因此，可以减小接触检测系统的尺寸和成本。此外，因为不使用红外线等来检测接触，所以可以在室外使用。
此外，信息处理装置100通过使用由于操作体与对象物体接触引起的法线矢量的改变来检测接触。因此，信息处理装置100在操作体接近对象物体或与对象物体稍微接触时不检测接触，并且仅在操作体肯定与对象物体接触时才检测接触。因此，可以高精度地检测操作体与对象物体的接触。
注意，虽然上面已经描述操作体是手指的情况，但操作体不限于手指并且可以是触控笔等。此外，只要对象物体的表面的形状由于与操作体的接触而改变，则对象物体不限于手掌。
此外，物体识别处理单元104对照物体检测词典D对获取图像进行检查以识别上述物体(对象物体和操作体)。然而，并不限于此。例如，在获取图像在预定时间内没有改变并且某种物体进入获取图像(即，摄像装置的成像范围)的情况下，该物体可以被识别为操作体。
(取决于对象物体的种类的信息处理装置的接触确定操作)
将描述信息处理装置100的另一操作。图10是示出信息处理装置100的另一操作的流程图。注意，对于连接至信息处理装置100的眼镜10(或其他装置)而言，可以提供能够获取深度信息的深度传感器。深度信息是和物体与深度传感器之间的距离有关的信息。如上所述，摄像装置12拾取图像，并且图像输入单元103获取图像(获取图像)。输入单元103将获取图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体(St111)。物体识别处理单元104能够通过对照物体检测词典D对从图像输入单元103提供的获取图像进行检查来识别对象物体。因此，当获取图像例如包括手掌、杂志等时，手掌或杂志被识别为对象物体。
在获取图像中识别出对象物体的情况下(St112：是)，图像输出单元107将操作图像G(参见图2)提供给显示装置11，并且使显示装置11显示操作图像G(St113)。在获取图像中没有识别出对象物体的情况下(St112：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St111)。
接下来，物体识别处理单元104识别操作体(St114)。物体识别处理单元104通过对照物体检测词典D对获取图像进行检查来识别操作体。
接下来，物体识别处理单元104确定对象物体是否是刚体(St116)。“刚体”表示不由于与另一物体接触而变形的物体。刚体的示例包括桌子。手掌或杂志被确定为不是刚体。
物体识别处理单元104确定对象物体不是刚体(St116：否)，接触确定单元105根据上述获取图像对对象物体的表面的法线方向进行计算(St117)。在法线方向的倾斜度超过接触确定阈值T的情况下(St118：是)，接触确定单元105确定为接触(St119)。在法线方向的倾斜度小于接触确定阈值T的情况下(St118：否)，接触确定单元105不确定为接触，并且再次执行由物体识别处理单元104对对象物体进行的识别(St111)。
另一方面，在物体识别处理单元104确定对象物体是刚体的情况下(St116：是)，难以使用法线方向用于接触检测，这是因为法线方向甚至不由于操作体与对象物体的接触而改变。因此，接触确定单元105可以在不使用法线方向的情况下确定接触。
具体地，接触确定单元105对对象物体与操作体之间的距离进行计算(St120)。可以通过使用从深度传感器提供的深度信息来计算对象物体与操作体之间的距离。在对象物体与操作体之间的距离等于或小于恒定值的情况下(St121：是)，接触确定单元105确定为接触(St119)。在对象物体与操作体之间的距离不等于或小于恒定值的情况下(St121：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St111)。
信息处理装置100也能够执行这样的操作。即使对象物体是刚体并且难以使用法线方向执行接触确定，也可以执行接触确定。注意，在上面的描述中，在对象物体是刚体的情况下，接触确定单元105通过使用深度信息来检测操作体与对象物体的接触，可以使用其他方法来检测接触。
例如，当手指被物体按压时，指尖的颜色改变。在手指不与物体接触的情况下，例如，通过指甲观察到的指尖的颜色为粉红色。然而，当手指被物体按压时，手指的尖端的颜色变为白色。接触确定单元105能够通过对指尖的颜色的这样的改变与预先设置的模式进行比较，来检测手指与对象物体的接触。此外，只要操作体是在物体被对象物体按压时颜色改变的物体，则接触确定单元105能够基于与指尖的颜色类似的颜色的改变来检测接触。
(结合使用深度信息的信息处理装置的接触确定操作)
将描述信息处理装置100的另一操作。注意，能够获取深度信息的深度传感器被提供给连接至信息处理装置100的眼镜10(或另一装置)。
图11是示出信息处理装置100的另一操作的流程图。如上所述，摄像装置12拾取图像，并且由图像输入单元103获取图像(获取图像)。图像输入单元103将获取图像提供给物体识别处理单元104。
物体识别处理单元104识别对象物体(St131)。物体识别处理单元104通过对照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。
在获取图像中识别出对象物体的情况下(St132：是)，图像输出单元107将操作图像G(参见图2)提供给显示装置11，并且使显示装置11显示操作图像G(St133)。在获取图像中没有识别出对象物体的情况下(St132：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St131)。
接下来，物体识别处理单元104识别操作体(St134)。物体识别处理单元104能够通过对照物体检测词典D对获取图像进行检查来识别操作体。注意，物体识别处理单元104可以识别多个操作体。
在获取图像中识别出操作体的情况下(St135：是)，接触确定单元105通过使用深度信息来计算操作体与对象物体之间的距离(St136)。如上所述，接触确定单元105能够从深度传感器获取深度信息。在获取图像中没有识别出操作体的情况下(St135：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St131)。
在操作体与对象物体之间的距离等于或小于预先设置的预定值的情况下(St137：是)，接触确定单元105对对象物体的表面上的法线矢量进行检测，并且计算法线方向(St138)。在操作体与对象物体之间的距离大于预定值的情况下(St137：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St131)。
此后，接触确定单元105对法线方向的倾斜度与接触确定阈值T进行比较，并且在法线方向的倾斜度超过上述接触确定阈值T(St139：是)时确定操作体与对象物体接触(St140)。在法线方向的倾斜度小于接触确定阈值T的情况下(St139：否)，再次执行由物体识别处理单元104对对象物体进行的识别(St131)。
在确定操作体与对象物体的接触的情况下，接触确定单元105将接触位置与获取图像一起提供给输入控制单元106。输入控制单元106基于显示在操作图像G上的图标P的位置和从接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以认为选择了叠加在接触位置上的图标P。
信息处理装置100也能够执行这样的操作。通过使用深度信息，信息处理装置100能够获取操作体与对象物体之间的距离，并且仅在操作体与对象物体之间的距离足够小并且接触的可能性高的情况下通过使用法线矢量的改变来执行接触确定。
(信息处理装置的接触和操作确定操作)
信息处理装置100能够确定操作体与对象物体之间的接触以及接触操作的类型(拖动、挤压等)。图12是示出信息处理装置100的接触和操作确定操作的流程图。
接触确定步骤(St151)的流程与图6所示的接触确定操作的流程相同。此外，相同步骤(St151)的流程可以与取决于图10所示的对象物体的种类的接触确定操作或通过使用图11所示的深度信息组合的接触反应操作的步骤的流程相同。
在接触确定步骤中确定接触的情况下(St152：是)，接触确定单元105确定操作体与对象物体的接触(按压)程度(St153)。接触确定单元105能够根据法线方向的倾斜度超过接触确定阈值T时的倾斜度的大小来获得接触程度。在接触确定步骤中确定没有接触的情况下(St152：否)，重复接触确定步骤(St151)。
接触确定单元105将接触位置与获取图像以及操作体对对象物体的按压力的程度提供给输入控制单元106。输入控制单元106确定操作体与对象物体之间的接触位置是否改变(St154)。在接触位置改变的情况下(St154：是)，输入控制单元106确定操作体的数量是否为两个(St155)。在接触位置不改变的情况下(St155：否)，再次执行接触确定的步骤(St151)。
在操作体的数量为两个的情况下(St155：是)，输入控制单元106确定由操作体进行的操作是挤压。另一方面，在操作体的数量不是两个的情况下，输入控制单元106确定由操作体进行的操作是拖动。注意，在操作体的数量为两个的情况下，输入控制单元106可以在接触位置的移动方向基本上彼此平行的情况下，将其确定为由多个操作体进行的拖动(多点触摸拖动)。此外，在由操作体进行的操作为挤压的情况下，输入控制单元106可以取决于接触位置的移动方向来确定操作是向内挤压还是向外挤压。
此时，输入控制单元106可以通过使用从物体识别处理单元104获取的物体识别结果来确定操作的类型。图13是示出作为操作体的手指的形状的示意图。在操作体的特定形状(例如，手指的朝向)被预先登记在物体识别词典D中的情况下，物体识别处理单元104将该信息提供给输入控制单元106。输入控制单元106能够使用操作体的形状来确定操作的类型。例如，在图13所示的示例中，物体识别处理单元104可以识别出手指的形状是用于挤压操作的形状(由拇指和食指形成的U形)，并且输入控制单元106可以仅在手指的形状是用于挤压操作的形状的情况下确定操作是挤压操作。
输入控制单元106取决于由操作体进行的操作的类型来控制操作输入。此时，输入控制单元106可以取决于操作体对对象物体的按压力的程度通过拖动来改变效果的程度(光标移动速度、滚动速度等)。
图14示出了通过信息处理装置100的上面所提及的操作的音乐再现应用的UI的示例。如图所示，信息处理装置100能够取决于操作体对对象物体的按压的方向或程度来选择音量、要再现的音乐等。
[第二实施方式]
将描述根据本技术的第二实施方式的信息处理装置。
(信息处理装置的配置)
图15是示出根据本技术的第二实施方式的信息处理装置200的功能配置的示意图。如图所示，信息处理装置200包括声音输入单元201、声音识别处理单元202、图像输入单元203、接触确定单元204、输入控制单元205和图像输出单元206。根据本实施方式的信息处理装置200不包括物体识别处理单元。
如图所示，信息处理装置200可以连接至眼镜10。因为眼镜10的配置与第一实施方式中的配置类似，所以将省略对眼镜10的配置的描述。
声音输入单元201连接至眼镜10的麦克风。由麦克风收集的声音的音频信号被输入至声音输入单元201。声音输入单元201将获取的音频信号输出至声音识别处理单元202。
声音识别处理单元202对从声音输入单元201提供的音频信号执行音频识别处理，并且识别由用户发出的操作声音。在识别出操作声音的情况下，声音识别处理单元202将音频识别结果提供给输入控制单元205。
图像输入单元203连接至摄像装置12。由摄像装置12拾取的图像(运动图像)被输入至图像输入单元203。图像输入单元203将从摄像装置12获取的图像(下文中称为获取图像)提供给接触确定单元204。
接触确定单元204通过使用接触确定阈值T对从图像输入单元203提供的获取图像执行接触确定。稍后将描述该处理的细节。接触确定单元204将确定结果提供给输入控制单元205。接触确定阈值T可以存储在信息处理装置200中，或者接触确定单元204可以从网络等获取接触确定阈值T。
输入控制单元205基于从声音识别处理单元202提供的识别结果或从接触确定单元204提供的确定结果来控制用户的操作输入。具体地，输入控制单元205接收操作体与对象物体的接触位置、按压力或按压方向，接触以后的操作体的运动等作为触摸、多点触摸、拖动、挤压等的操作输入。输入控制单元205将接收的操作输入提供给信息处理装置200的OS等。
图像输出单元206生成被显示在显示装置11上的图像(运动图像)。图像输出单元206能够生成包括图标和操作按钮的操作图像。与第一实施方式类似，用户在视觉上确认被显示在显示装置11上的视频和真实物体彼此叠加的视野(参见图2和图3)。
除了眼镜10之外，信息处理装置200可以连接至包括摄像装置的装置，该装置能够将视频显示或投影在对象物体上并对对象物体进行成像。
信息处理装置200的上面所提及的功能配置可以连接至或结合至/在图像投影装置例如眼镜和投影仪中或安装在与图像投影装置不同的PC、智能手机等上。此外，功能配置的全部或一部分可以在网络上。
信息处理装置200的上面所提及的功能配置可以通过第一实施方式中所示出的硬件配置来实现。
(信息处理装置的接触确定操作)
将描述信息处理装置200的操作。图16是示出信息处理装置200的操作的流程图。如上所述，摄像装置12拾取图像，并且由图像输入单元203来获取图像(获取图像)。图像输入单元203将获取图像提供给接触确定单元204。
图像输出单元206将操作图像G(参见图2)提供给显示装置11，并且使显示装置11显示操作图像G(St201)。与第一实施方式相比，不执行对对象物体的识别处理。然而，用户能够将显示装置11对准对象物体(桌面或墙壁表面)，从而将操作图像G投影到对象物体上。
接触确定单元204
接触确定单元204对法线方向的倾斜度与接触确定阈值T进行比较，并且在法线方向的改变超过接触确定阈值T时(St203：是)确定操作体与对象物体接触(St204)。在法线方向的改变小于接触确定阈值T的情况下(St203：否)，再次执行对法线方向进行的计算(St202)。
在确定操作体与对象物体接触的情况下，接触确定单元204将接触位置与获取的图像一起提供给输入控制单元205。输入控制单元205基于从接触确定单元204提供的接触确定结果来控制操作输入。
信息处理装置200执行这样的操作。因为如上面所描述的那样由能够执行偏振成像的摄像装置12拾取的图像可以用于检测操作体与对象物体的接触，所以除了摄像装置12以外，不需要提供用于检测接触的传感器。因此，可以减小接触检测系统的尺寸和成本。此外，因为不使用红外线等来检测接触，所以可以在室外使用。
此外，信息处理装置200通过使用由于操作体与对象物体接触引起的法线方向的改变来检测接触。因此，信息处理装置100在操作体接近对象物体或与对象物体稍微接触时不检测接触，并且仅在操作体肯定与对象物体接触时才检测接触。因此，可以高精度地检测操作体与对象物体的接触。
信息处理装置200执行这样的操作。注意，与第一实施方式类似，信息处理装置200可以通过使用颜色和深度信息的改变来执行接触确定(参见图11)。此外，信息处理装置200可以在接触确定以后确定通过接触进行的操作的类型(参见图12)。
注意，虽然上面已经描述操作体是手指的情况，但操作体不限于手指，而是可以是触控笔等。此外，只要对象物体的表面的形状由于操作体与对象物体的接触而改变，则对象物体不限于手掌。
应当注意，本技术可以采用以下配置。
(1)
一种信息处理装置，包括：
接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。
(2)
根据以上(1)所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，
所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触。
(3)
根据以上(1)或(2)所述的信息处理装置，其中，
所述接触确定单元根据所述法线矢量沿所述操作体的方向的倾斜度来确定所述操作体与所述对象物体的接触。
(4)
根据以上(1)至(3)中的任意一项所述的信息处理装置，其中，
所述接触确定单元根据所述法线矢量的倾斜度的扰动来确定所述操作体与所述对象物体的接触。
(5)
根据以上(1)至(4)中的任意一项所述的信息处理装置，还包括：
输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。
(6)
根据以上(1)至(5)中的任意一项所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，
所述输入控制单元基于由所述物体识别处理单元识别的所述操作体的形状和所述接触确定单元的确定结果来控制操作输入。
(7)
根据以上(1)至(6)中的任意一项所述的信息处理装置，还包括：
图像输出单元，所述图像输出单元生成被叠加在所述对象物体上的操作对象图像，其中，
所述输入控制单元基于所述操作对象图像中的所述操作体与所述对象物体的接触位置来控制操作输入。
(8)
根据以上(1)至(7)中的任意一项所述的信息处理装置，其中，
当所述法线矢量的倾斜度超过阈值时，所述接触确定单元确定所述操作体与所述对象物体接触。
(9)
根据以上(1)至(8)中的任意一项所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，
所述接触确定单元根据所述对象物体的种类来确定所述阈值。
(10)
根据以上(1)至(9)中的任意一项所述的信息处理装置，其中，
所述接触确定单元还根据所述对象物体的表面的位置来确定所述阈值。
(11)
根据以上(1)至(10)中的任意一项所述的信息处理装置，其中，
当所述法线矢量的倾斜度大于所述阈值时，所述接触确定单元根据所述法线矢量的倾斜度的大小来计算所述操作体与所述对象物体的接触程度。
(12)
根据以上(1)至(11)中的任意一项所述的信息处理装置，还包括：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，
所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
(13)
根据以上(1)至(12)中的任意一项所述的信息处理装置，其中，
当所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
(14)
根据以上(1)至(13)中的任意一项所述的信息处理装置，其中，
所述接触确定单元根据通过偏振成像拾取的拾取图像来检测所述法线矢量。
(15)
一种程序，所述程序使信息处理装置用作：
接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。
(16)
一种信息处理方法，包括：
由接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象
附图标记的描述：
100,200：信息处理装置
101,201：声音输入单元
102,202：音频识别处理单元
103,203：图像输入单元
104：物体识别处理单元
105,204：接触确定单元
106,205：输入控制单元
107,206：图像输出单元

Claims (14)

1.一种信息处理装置，包括：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，所述对象物体为投影有被用户指定的操作图像的物体，所述操作体为与所述对象物体接触并操作所述操作图像上的图标的物体；以及
接触确定单元，所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触，
其中，所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
2.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元根据所述法线矢量沿所述操作体的方向的倾斜度来确定所述操作体与所述对象物体的接触。
3.根据权利要求1所述的信息处理装置，
其中，所述接触确定单元根据所述法线矢量的倾斜度的扰动来确定所述操作体与所述对象物体的接触。
4.根据权利要求1所述的信息处理装置，还包括：
输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。
5.根据权利要求4所述的信息处理装置，其中，
所述输入控制单元基于由所述物体识别处理单元识别的所述操作体的形状和所述接触确定单元的确定结果来控制操作输入。
6.根据权利要求4所述的信息处理装置，还包括：
图像输出单元，所述图像输出单元生成被叠加在所述对象物体上的操作对象图像，其中，
所述输入控制单元基于所述操作对象图像中的所述操作体与所述对象物体的接触位置来控制操作输入。
7.根据权利要求1所述的信息处理装置，其中，
当所述法线矢量的倾斜度超过阈值时，所述接触确定单元确定所述操作体与所述对象物体接触。
8.根据权利要求7所述的信息处理装置，其中，
所述接触确定单元根据所述对象物体的种类来确定所述阈值。
9.根据权利要求8所述的信息处理装置，其中，
所述接触确定单元还根据所述对象物体的表面的位置来确定所述阈值。
10.根据权利要求7所述的信息处理装置，其中，
当所述法线矢量的倾斜度大于所述阈值时，所述接触确定单元根据所述法线矢量的倾斜度的大小来计算所述操作体与所述对象物体的接触程度。
11.根据权利要求1所述的信息处理装置，其中，
当所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
12.根据权利要求1所述的信息处理装置，其中，
所述接触确定单元根据通过偏振成像拾取的拾取图像来检测所述法线矢量。
13.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令在信息处理装置上运行时，使得所述信息处理装置用作：
物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，所述对象物体为投影有被用户指定的操作图像的物体，所述操作体为与所述对象物体接触并操作所述操作图像上的图标的物体；以及
接触确定单元，所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触，其中，所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
14.一种信息处理方法，包括：
由物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，所述对象物体为投影有被用户指定的操作图像的物体，所述操作体为与所述对象物体接触并操作所述操作图像上的图标的物体；以及
由接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触，
其中，在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。
CN201580040960.3A 2014-07-30 2015-07-15 信息处理装置、信息处理方法和程序 Active CN106662923B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014155226 2014-07-30
JP2014-155226 2014-07-30
PCT/JP2015/003579 WO2016017101A1 (ja) 2014-07-30 2015-07-15 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106662923A CN106662923A (zh) 2017-05-10
CN106662923B true CN106662923B (zh) 2021-02-09

Family

ID=55217024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580040960.3A Active CN106662923B (zh) 2014-07-30 2015-07-15 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10346992B2 (zh)
EP (1) EP3176675B1 (zh)
JP (1) JP6528774B2 (zh)
CN (1) CN106662923B (zh)
WO (1) WO2016017101A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303865B2 (en) * 2016-08-31 2019-05-28 Redrock Biometrics, Inc. Blue/violet light touchless palm print identification
WO2018074055A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109960964A (zh) 2017-12-14 2019-07-02 红石生物特征科技有限公司 非接触式掌纹获取装置及其方法
DE102018220693B4 (de) 2018-11-30 2022-08-18 Audi Ag Steuerungssystem und Verfahren zum Steuern einer Funktion eines Fahrzeugs, sowie Fahrzeug mit einem solchen
JP2020194517A (ja) * 2019-05-21 2020-12-03 雄史 高田 翻訳システムおよび翻訳システムセット
US20240219997A1 (en) * 2023-01-03 2024-07-04 Meta Platforms Technologies, Llc Extended Reality User Interfaces for Hand-based Input
CN118113151A (zh) * 2023-10-16 2024-05-31 潍坊幻视软件科技有限公司 一种给手部设定碰撞器进行输入的系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
EP2648082A2 (en) * 2012-04-05 2013-10-09 Sony Corporation Information processing apparatus comprising an image generation unit and an imaging unit, related program, and method

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JP4565200B2 (ja) * 1998-09-28 2010-10-20 パナソニック株式会社 手動作分節方法および装置
JP2005018385A (ja) 2003-06-26 2005-01-20 Mitsubishi Electric Corp 作業情報提供装置
EP2294375B8 (en) * 2008-06-19 2024-02-14 Massachusetts Institute of Technology Tactile sensor using elastomeric imaging
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5435509B2 (ja) 2009-05-25 2014-03-05 国立大学法人電気通信大学 操作情報入力システム及び方法
JP2011029903A (ja) 2009-07-24 2011-02-10 Artray Co Ltd 偏光子を付設したデジタルカメラシステム
JP2011070491A (ja) 2009-09-28 2011-04-07 Nec Personal Products Co Ltd 入力方法、情報処理装置、タッチパネル及びプログラム
JP5621422B2 (ja) * 2010-09-07 2014-11-12 ソニー株式会社 情報処理装置、プログラム及び制御方法
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
EP2849035A4 (en) * 2012-05-09 2016-05-11 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2013183938A1 (ko) * 2012-06-08 2013-12-12 주식회사 케이엠티글로벌 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2014034527A1 (ja) * 2012-08-27 2014-03-06 シチズンホールディングス株式会社 情報入力装置
JP6116934B2 (ja) * 2012-09-06 2017-04-19 東芝アルパイン・オートモティブテクノロジー株式会社 アイコン操作装置
JP2014071505A (ja) * 2012-09-27 2014-04-21 Aisin Aw Co Ltd 電子機器、電子機器の制御方法及びコンピュータプログラム
JP2014071504A (ja) 2012-09-27 2014-04-21 Aisin Aw Co Ltd 電子機器、電子機器の制御方法及びコンピュータプログラム
JP5798103B2 (ja) * 2012-11-05 2015-10-21 株式会社Ｎｔｔドコモ 端末装置、画面表示方法、プログラム
KR101370027B1 (ko) * 2012-11-29 2014-03-06 주식회사 매크론 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
CA2949088C (en) * 2014-05-15 2023-01-24 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
JP6119679B2 (ja) * 2014-06-24 2017-04-26 株式会社デンソー 車両用入力装置
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
JP6477130B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CA2957383A1 (en) * 2016-02-08 2017-08-08 University Of Ontario Institute Of Technology System and method for spatial interaction for viewing and manipulating off-screen content
US10852936B2 (en) * 2016-09-23 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
US11073980B2 (en) * 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
EP2648082A2 (en) * 2012-04-05 2013-10-09 Sony Corporation Information processing apparatus comprising an image generation unit and an imaging unit, related program, and method

Also Published As

Publication number Publication date
JP6528774B2 (ja) 2019-06-12
EP3176675B1 (en) 2021-08-25
EP3176675A4 (en) 2018-03-07
CN106662923A (zh) 2017-05-10
US10346992B2 (en) 2019-07-09
EP3176675A1 (en) 2017-06-07
US20170140547A1 (en) 2017-05-18
WO2016017101A1 (ja) 2016-02-04
JPWO2016017101A1 (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
CN106662923B (zh) 信息处理装置、信息处理方法和程序
CN108431729B (zh) 用以增大显示区域的三维对象跟踪
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
JP6195939B2 (ja) 複合的な知覚感知入力の対話
JP2020052991A (ja) ジェスチャ認識に基づく対話型ディスプレイの方法及び装置
US20140237401A1 (en) Interpretation of a gesture on a touch sensing device
US10156938B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US11714540B2 (en) Remote touch detection enabled by peripheral device
US20120306734A1 (en) Gesture Recognition Techniques
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
CN107407959B (zh) 基于姿势的三维图像的操纵
US11360550B2 (en) IMU for touch detection
WO2020117539A1 (en) Augmenting the functionality of user input devices using a digital glove
US20150324025A1 (en) User input device and method thereof
CN106575184B (zh) 信息处理装置、信息处理方法及计算机可读介质
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
Mujibiya et al. Anywhere touchtyping: text input on arbitrary surface using depth sensing
US20180074648A1 (en) Tapping detecting device, tapping detecting method and smart projecting system using the same
Suzuki et al. Estimation of Brush Type Passive Stylus Angles Using Capacitive Image
Bhowmik 39.2: invited paper: natural and intuitive user interfaces: technologies and applications
CN115904063A (zh) 非接触式人机交互笔笔迹生成方法、装置、设备及系统
Götzelmann Concept of the joint use of smartphone camera and projector for keyboard inputs
KR20160014091A (ko) 홀로그래피 터치 기술 및 프로젝터 터치 기술
KR20150138659A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20150136759A (ko) 홀로그래피 터치 기술 및 프로젝터 터치 기술

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant