CN112292658A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112292658A
CN112292658A CN201980038813.0A CN201980038813A CN112292658A CN 112292658 A CN112292658 A CN 112292658A CN 201980038813 A CN201980038813 A CN 201980038813A CN 112292658 A CN112292658 A CN 112292658A
Authority
CN
China
Prior art keywords
candidate
candidate point
point
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980038813.0A
Other languages
English (en)
Inventor
大塚纯二
半田正树
后藤健志
池田哲男
藤绳英佑
吉富光祐
宫泽克次
渡边祥次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112292658A publication Critical patent/CN112292658A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

该信息处理装置具有控制单元，该控制单元检测位于所检测的操作方向上的至少两个候选点，使得切换，以便从至少两个候选点中选择预定的候选点，并且使得至少显示所选择的候选点。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开一种涉及信息处理装置、一种信息处理方法和一种程序。
背景技术
传统上，已经提出了显示由用户指示的点的装置(例如，参考专利文献1)。
引用列表
专利文献
专利文献1：JP 5614014 B
发明内容
技术问题
在专利文献1中公开的装置中，假设位于用户指示的方向上的物体的表面是用户指示的点。因此，存在关于用户想要指示的点受到限制以及指示点的位置和实际显示位置不一致的问题。
本公开的目的是提供一种信息处理装置、一种信息处理方法和一种程序，其能够呈现用户想要指示的点的候选(以下适当地称为候选点)，这些点位于用户的操作方向上。
问题的解决方案
本公开是例如一种信息处理装置，包括控制器，控制器被配置为检测位于所检测的操作方向上的至少两个候选点，切换候选点，使得从至少两个候选点中选择预定的候选点，并且至少显示所选择的候选点。
此外，本公开是例如一种使用控制器的信息处理方法，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
此外，本公开是例如一种使计算机使用控制器执行信息处理方法的程序，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
发明的有利效果
根据本公开的至少一个实施方式，可以呈现位于用户的操作方向上的候选点。注意，此处描述的有利效果不一定是限制性的，并且可以实现本公开中描述的任何有利效果。此外，对本公开内容的解释不应受到示例性有利效果的限制。
附图说明
[图1]图1是示出根据实施方式的投影映射系统的配置示例的示图；
[图2]图2A和图2B是用于描述实施方式中要考虑的问题的示图；
[图3]图3是用于描述实施方式中要考虑的问题的示图；
[图4]图4是示出根据实施方式的信息处理装置的配置示例的框图；
[图5]图5A和图5B是用于描述手的特征点的示例的示图；
[图6]图6A至图6D是用于描述身体的特征点的示例的示图；
[图7]图7是用于描述关于候选点的显示的第一示例的示图；
[图8]图8A和图8B是用于描述关于候选点的显示的第二示例的示图；
[图9]图9A和图9B是用于描述关于候选点的显示的第二示例的示图；
[图10]图10A和图10B是用于描述候选点的第一检测示例的示图；
[图11]图11A和图11B是用于描述候选点的第二检测示例的示图；
[图12]图12A和图12B是用于描述候选点的第三检测示例的示图；
[图13]图13A至图13C是用于描述关于候选点的设置示例的示图；
[图14]图14是用于描述向候选点检测单元输入区域信息的示图；
[图15]图15是用于描述要选择的候选点的显示示例的示图；
[图16]图16是用于描述切换要选择的候选点的手势的第一示例的示图；
[图17]图17是用于描述切换要选择的候选点的手势的第二示例的示图；
[图18]图18是用于描述切换要选择的候选点的手势的第三示例的示图；
[图19]图19是用于描述切换要选择的候选点的手势的第三示例的修改示例的示图；
[图20]图20是用于描述切换要选择的候选点的手势的第三示例的修改示例的示图；
[图21]图21是用于描述切换要选择的候选点的手势的第四示例的示图；
[图22]图22是用于描述切换要选择的候选点的手势的第五示例的示图；
[图23]图23是用于描述切换要选择的候选点的手势的第六示例的示图；
[图24]图24是用于描述当物体内部的候选点已经被确定为确定点时的处理示例的示图；
[图25]图25是用于描述当物体内部的候选点已经被确定为确定点时的处理示例的示图；
[图26]图26是示出根据实施方式的信息处理装置执行的处理流程的流程图；
[图27]图27A和图27B是用于描述根据用户的手势检测操作方向的示例的示图；
[图28]图28是用于描述根据用户的手势检测操作方向的另一示例的示图；
[图29]图29是用于描述操作方向被物体(例如，墙壁)反射的示例的示图；
[图30]图30是用于描述用于通知用户对用户不可见的候选点的存在或位置的投影显示的示例的示图。
具体实施方式
在下文中，将参考附图描述本技术的实施方式。注意，将按以下顺序给出描述。
<实施方式>
<修改示例>
下面描述的实施方式是本公开的优选具体示例，并且本公开的内容不限于这些实施方式。
<实施方式>
[实施方式的概述]
首先，将描述实施方式的概述。通过在预定物体上投影并显示(投影)各种类型的信息的所谓投影映射系统来实现本实施方式。图1是示出根据实施方式的投影映射系统(投影映射系统1)的配置示例的示图。
投影映射系统1包括根据投影映射控制投影显示的信息处理装置2和工作台3。根据信息处理装置2的控制，在工作台3的表面上的预定投影区域3a上投影并显示预定信息。例如，在投影区域3a上显示由用户(操作者)的食指F指向的操作方向和工作台3的表面的交点，作为指示点P1。
同时，尽管图1示出了信息处理装置2设置在工作台3上方的配置，但是本公开不限于此。例如，可以采用四个信息处理装置2围绕工作台3的四个角设置的配置。即，只要可以在投影区域3a中显示预定信息，就可以适当地确定信息处理装置2的数量和布置。另外，虽然稍后将详细描述，但是投影区域3a不限于工作台3的表面。例如，可以在放置在工作台3上的物体的表面上进行投影显示。
[实施方式中要考虑的问题]
首先，为了便于理解本公开，将描述实施方式中要考虑的问题。图2A是从上方观察的投影区域3a的鸟瞰图，而图2B是从工作台3的侧面观察的投影区域3a的侧视图。如图2A所示，假设圆柱形物体4a、方形柱状物体4b和三角形柱状物体4c在投影区域3a上排成一行的情况。另外，假设通过使用用户的食指F的手指指向来指示预定方向并且物体4a、4b和4c存在于从预定方向延伸的操作方向FD上的示例。
在这种示例的情况下，存在交点Pa、交点Pb和交点Pc，作为操作方向FD和相应物体的表面的交点，如图2B所示。同时，根据操作方向FD，也可以存在操作方向FD和工作台3的表面的交点。在一般技术中，作为操作方向FD上的初始交点的交点Pa被设置为用户想要指向的点。然而，交点Pb和交点Pc或其他点可以是用户想要指向的点。以这种方式，当在操作方向FD上存在物体时，由于物体的遮蔽、用户的视点差异等，存在难以将特定点设置为用户U想要指向的点的问题。
此外，如图3所示，从用户的近侧看，物体4d和物体4e被依次设置在投影区域3a上的示例是可以想象的。在这种情况下，假设候选点Pd、候选点Pe和候选点Pf被检测为候选点。在这样的示例中，当设置在用户近侧的物体4d相对较大时，即，当用户不能看到被物体4d遮蔽的物体4d的背面时，存在不能识别物体4d后面的候选点Pe和Pf的问题。考虑到上述事实，将详细描述本实施方式。
[信息处理装置的配置示例]
图4是示出根据实施方式的信息处理装置2的配置示例的框图。信息处理装置2包括例如输入单元200、环境识别单元201、人类识别单元202、候选点检测单元203、选择单元204、显示控制单元205和输出单元206。
输入单元200是检测工作台3的工作台表面和工作台3上的物体的状态的装置、接收用户操作等的输入装置等。例如，具有图像传感器的装置是输入单元200的示例，并且更具体地，红/绿/蓝(RGB)相机是示例。此外，输入单元200可以是距离传感器，立体相机、飞行时间(ToF)相机、结构光相机等是距离传感器的示例。除了这些示例性传感器之外的传感器可以用作输入单元200。
环境识别单元201接收从输入单元200输入的输入信息，并估计工作台3和工作台3上的物体的三维结构信息。例如，当输入单元200包括距离传感器时，通过将已知的3D模型应用于从距离传感器获取的三维点组或将平面应用于局部点组以重建点组，来估计三维结构信息。当然，可以应用其他方法，作为估计三维结构信息的方法。由环境识别单元201获取的三维结构信息被提供给候选点检测单元203。
人类识别单元202接收从输入单元200输入的输入信息，并估计用户的姿势信息。用户的姿势信息包括至少关于手(包括手指)的信息。估计用户的姿势信息的方法的一个示例是将用户的姿势表示为手或身体的关节的特征点集合并通过神经网络估计其位置的方法。当然，可以应用其他方法，作为估计用户的姿势信息的方法。同时，作为手、指尖、指节、手指基部、手掌中心、手腕等的特征点，可以设想图5A和图5B中由白色圆圈指示的类似点。手指的特征点可以是手指向量和指尖位置的组合，而不是单独点。另外，作为身体的特征点，可以设想身体的主要关节等，类似于由图6A至图6D中所示的点指示的点。由人类识别单元202获取的用户的姿势信息被提供给候选点检测单元203和选择单元204。
候选点检测单元203接收从人类识别单元202提供的姿势信息和从环境识别单元201提供的三维结构信息，并基于该信息检测位于执行手指指向的操作方向上的候选点。例如，假设穿过食指的指尖位置(例如，对应于图5A中的数字7的指尖点)和食指的指节的位置(例如，对应于图5A中的数字8的指节的位置)的直线(手指指向线)的延伸是操作方向。
作为示例，由三维结构信息估计的操作方向和物体表面(例如，工作台3的表面和放置在工作台3上的物体的表面)的交点被检测为候选点。此外，存在由候选点检测单元203检测到单个候选点的情况，也存在由候选点检测单元203检测到包括多个候选点的候选点组的情况。关于由候选点检测单元203检测的候选点的候选点信息被提供给选择单元204和显示控制单元205。
同时，例如，手指指向线可以不是直线。此外，不仅相对于物体表面的交点，而且表面之间的点也可以是候选点。此外，可以根据预先设置的条件和区域缩小检测到的候选点。这将在后面详细描述。
选择单元204接收从候选点检测单元203提供的候选点信息和从人类识别单元202提供的姿势信息，并且指定已经被确定为从多个候选点中选择的确定点。同时，候选点和确定点是对应于预定位置的区域，并且不一定限于点状区域。在本实施方式中，在存在由候选点检测单元203检测到的多个候选点的情况下，根据用户的手势来切换要选择的候选点。例如，选择单元204基于姿势信息检测预定姿势的存在或不存在。然后，当检测到预定手势时，选择单元204切换(改变)要选择的候选点。根据用于确定选择的姿势、用于选择的时间流逝等，确定选择要选择的候选点，并且被指定为确定点。同时，当存在单个候选点时，不执行候选点切换。根据选择单元204的操作获取的选择信息被提供给显示控制单元205。
显示控制单元205主要执行关于投影显示的控制。例如，显示控制单元205基于从候选点检测单元203提供的候选点信息，执行用于工作台3的表面和工作台3上的物体的候选点的投影显示的控制。另外，显示控制单元205基于从选择单元204输入的选择信息，执行关于切换要选择的候选点的显示的控制。
输出单元206是根据显示控制单元205的控制输出信息的装置。输出单元206例如是投影仪或平视显示器(HUD)。此外，除了投影仪之外的装置(例如，显示器或扬声器)可以包括在输出单元206中。
在本实施方式中，作为示例，控制器由候选点检测单元203、选择单元204和显示控制单元205组成。
[信息处理装置的操作示例]
将示意性地描述信息处理装置2的操作示例。环境识别单元201基于从输入单元200输入的输入信息获取三维结构信息。另外，人类识别单元202基于从输入单元200输入的输入信息获取用户的姿势信息。候选点检测单元203基于姿势信息检测操作方向。然后，候选点检测单元203检测位于操作方向上的候选点。关于检测到的候选点的候选点信息被提供给显示控制单元205。显示控制单元205基于候选点信息执行关于候选点的投影显示的控制。输出单元206根据显示控制单元205的控制进行操作，因此候选点被呈现给用户。
选择单元204基于姿势信息检测是否已经执行了预定姿势。当已经执行手势时，选择信息被输出到显示控制单元205。显示控制单元205控制输出单元206，使得基于选择信息执行用于切换要选择的候选点的投影显示。例如，显示控制单元205生成显示数据，使得切换要选择的候选点，并且控制输出单元206，使得执行基于显示数据的投影显示。输出单元206根据显示控制单元205的控制进行操作，从而向用户呈现切换要选择的候选点的状态。根据投影，通过投影显示将至少要选择的候选点呈现给用户。
同时，选择单元204基于姿势信息检测是否已经执行了用于确定作为确定点的要选择的候选点的手势。当已经执行手势时，输出表示手势意图的确定信息。基于确定信息执行根据应用的处理。例如，执行在所确定的点的位置投射和显示预定信息(例如，烟火)的处理以及从所确定的点的位置再现声音等的处理。从选择单元204输出的确定信息被提供给执行上述处理的组件。该组件可以包括在信息处理装置2中。
[候选点的呈现的具体示例]
(第一示例)
接下来，将描述与候选点的呈现相关的具体示例。图7是用于描述与候选点的呈现相关的第一示例的示图。如图7所示，假设一个示例，其中，盒形物体31A和31B以特定间隔放置在工作台3的投影区域3a上成一行。用户U出现在工作台3的角落附近(图7中的左下角附近)。对于用户U来说，物体似乎是按照物体31A和31B的顺序排列。同时，在该示例中，假设物体31A和31B是相对小的物体并且用户U在整个投影区域3a上方观看的环境。
当用户U使用食指F执行手指指向时，信息处理装置2检测到作为由手指指向指示的方向的操作方向FD。同时，尽管在本实施方式中操作方向FD由实际上不可见的线描述，但是根据全息图等，可以是可见的。
然后，信息处理装置2检测位于操作方向FD上的候选点。在图7所示的示例中，操作方向FD和物体31A的表面(用户U侧的表面)的交点、操作方向FD和物体31B的表面(用户U侧的表面)的交点、以及操作方向FD和投影区域3a(工作台3的表面)的交点被检测为候选点PA、PB和PC。根据信息处理装置2的处理，投影和显示检测到的候选点PA、PB和PC。信息处理装置2在对应于物体31A的表面的位置投射并显示候选点PA。信息处理装置2在对应于物体31B的表面的位置投影并显示候选点PB。信息处理装置2在对应于投影区域3a的位置投影并显示候选点PC。
如上所述，在一般技术中，候选点PA被识别为指示点，并且当诸如物体31A的遮蔽物出现在操作方向FD上时，执行各种类型的处理。因此，存在不能指示不能在用户U的操作位置指示的至少一个点的问题，例如，候选点PB和PC，更具体地，位于作为遮蔽物的物体31A后面的候选点。然而，在本实施方式中，也显示并且可选择候选点PB和PC。因此，当用户想要指向的点是候选点PB或候选点PC时，用户U可以选择候选点PB或候选点PC。当然，当用户想要指示的点是候选点PA时，用户U可以选择候选点PA。因此，用户U也可以选择被物体31A遮蔽的点，作为指示点。同时，位于操作方向FD上的遮蔽物的内部是不能在用户U的操作位置指示的点的另一示例。
在这种情况下，投影并显示至少是所选候选点的确定点。因此，在投影区域3a(未示出)附近的另一用户可以识别哪个点是指示点。
(第二示例)
将参照图8和图9描述关于候选点的呈现的第二示例。如图8A所示，假设物体41A和物体41B以特定间隔设置在投影区域3a上成一行的示例。用户U在工作台3的角落附近(图8A中的左下角附近)执行手指指向。同时，在该示例中，假设物体41A是相对较大的物体并且用户U不可能或难以可视地识别物体41A的背面的情况。此外，如图8B所示，在物体41B的表面(用户U侧的表面)上绘制了类似猫的脸的图案M1。
图9A是从上方观察的图8A所示的设置的鸟瞰图。当从用户U的侧面观察时，在投影区域3a上的物体41B的背面绘制了类似黑猫的图案M2。当用户U使用食指F执行手指指向时，信息处理装置2检测到作为由手指指向指示的方向的操作方向FD。然后，信息处理装置2检测位于操作方向FD上的候选点。
在图9A所示的示例中，操作方向FD和物体41A的两个表面(正面和背面)的交点被检测为候选点PA和PB。另外，操作方向FD和物体41B的两个表面(正面和背面)的交点被检测为候选点PC和PD。操作方向FD和投影区域3a的交点被检测为候选点PE。根据信息处理装置2的处理来投影和显示检测到的候选点。然而，存在当在其位置简单地投影并显示每个候选点时，用户U只能识别候选点PA的问题。即，候选点PB存在于物体41A的背面并被物体41A遮蔽，因此用户U不能识别候选点PB。这同样适用于从PC到PE的候选点。
因此，显示控制单元205生成图像数据，使得存在于物体41A后面的候选点PB至PE能够被用户U识别。然后，显示控制单元205控制输出单元206，使得在例如用户U可视地识别的物体41A的表面上投影并显示图像数据。根据这样的处理，在物体41A的表面上投影并显示候选点PA至PE，如图9B所示。因此，用户U可以识别他/她实际上看不到的候选点PB到PE。另外，用户U可以适当地选择候选点PA至PE，以确定所确定的点，这将在后面描述。
同时，如图9B所示，近侧的候选点可以显示为大，远侧的候选点可以显示为小，使得用户U可以识别候选点之间的位置关系(例如，深度)。此外，近侧的候选点可以显示为暗，远侧的候选点可以显示为亮。另外，可以投影和显示通过将操作方向FD投影到投影区域3a而获得的线L1和从每个候选点相对于线L1绘制的垂直线(图9B中的垂直线L2和L3等)。
另外，如图9B所示，作为被物体41A遮蔽并且不能被用户U视觉识别的图案的图案M1和图案M2可以与候选点PA等一起在物体41A的表面上投影并显示。根据这种投影显示，用户U可以适当地选择候选点。例如，假设用户U识别出已经预先在投影区域3a上绘制类似黑猫的图案M2并且想要指向图案M2的附近的情况。在这种情况下，由于图案M2与候选点PA等一起投影和显示，所以用户U可以识别出可以选择图案M2附近的候选点PE。
同时，上面呈现的示例仅仅是示例，并且本公开不限于此。基于稍后将描述的候选点检测示例，根据信息处理装置2的处理检测到的候选点在用户能够识别它们的状态下通过投影显示来呈现。
[候选点检测示例]
接下来，将描述在候选点检测单元203执行的候选点检测处理中，候选点检测单元203将检测哪个点作为候选点的示例。
(第一示例)
图10A和图10B是用于描述第一候选点检测示例的示图。图10A是从工作台3上方观察的鸟瞰图，图10B是从工作台3的侧面观察的侧视图。例如，假设圆柱形物体51放置在投影区域3a上的状态。同时，环境识别单元201识别物体51的设置位置和三维结构信息。然后，用户U使用食指F执行手指指向。另外，候选点检测单元203检测从穿过对应于数字7的指尖位置和对应于数字8的指节位置的直线(手指指向线)延伸的方向，作为操作方向FD(参考图5)。
第一示例是候选点检测单元203检测操作方向FD和物体表面的交点作为候选点的示例。如图10A和图10B所示，操作方向FD和物体51A的交点被检测为候选点PA和PB，并且操作方向FD和投影区域3a(工作台3的表面)的交点被检测为候选点PC。
(第二示例)
图11A和图11B是用于描述第二候选点检测示例的示图。第二示例是相对于第一示例另外检测物体内部的预定点作为候选点的示例。如图11A和图11B所示，第一示例中描述的候选点PA、PB和PC被检测为候选点。此外，物体51内部的预定点被检测为候选点PD和PE。例如，存在于物体51的表面上的候选点PA和PB之间的范围除以N(在所示示例中为3)，并且分割点被检测为候选点PD和PE。以这种方式，物体51内部的预定点可以被检测为候选点。此外，可以通过不同于等分割的分割方法来检测候选点PD和PE。
同时，物体51例如是真实物体(不是中空的真实物体)。因此，候选点PD和PE不能原样呈现给用户U。在这种情况下，显示控制单元205生成候选点PD和PE存在于物体51内部的图像数据，并且基于图像数据在物体51的表面上投影和显示图像，如以上参考图9所述。例如，生成候选点PD和PE的显示密度低于其他候选点的显示密度的图像数据，并且在物体51的表面上投影并显示基于该图像数据的图像。对应于候选点PD和PE的标记可以由虚线圆等表示。因此，用户U可以识别作为物体51内部的可选候选点的候选点PD和PE的存在。
同时，尽管稍后将详细描述，但是当物体51内部的候选点被确定为确定点时，显示控制单元205可以生成物体51的内部透明且可见的图像数据，并且例如基于图像数据在物体51的表面上投影和显示图像。当用户U想要知道物体51内部的结构和状态时，他/她可以将物体51内部的候选点PD和PE确定为确定点。
(第三示例)
图12A和图12B是用于描述第三候选点检测示例的示图。例如，假设内部具有空腔部分53A的方形柱状物体52和杯形物体53设置在投影区域3a上的示例。用户U在物体52的横向方向上执行手指指向。
如在第一示例中那样检测操作方向FD。第三示例是在操作方向FD上检测物体表面之间的预定点作为候选点的示例。例如，食指F的指尖和物体52的表面(位于用户U侧的表面)之间的中心附近被检测为候选点PF。另外，物体52和物体53之间的中心附近被检测为候选点PG。此外，物体53的内圆周表面之间的中心附近被检测为候选点PH。此外，物体53和工作台3之间的中心附近被检测为候选点PI。以这种方式，物体之间的预定点可以被检测为候选点。此外，除了物体之间的中心附近之外的点可以被检测为候选点。
同时，将在其上投影和显示图像的物体不存在于对应于候选点PF等的物体之间的点处。因此，当如该示例中那样检测到候选点时，通过增强现实(AR)、虚拟现实(VR)等来执行在对应于该候选点的点上的显示。例如，当候选点PG被选择作为确定点时，在物体52和物体53之间执行使用AR等的预定显示(例如，吉祥物角色的显示)。另外，当选择候选点作为确定点时，通过AR等执行显示，例如，将饮料倒入杯状物体53。
在上述第三示例中，与第一示例中一样，操作方向FD和物体表面的交点可以被检测为候选点。另外，在上述第三示例中，物体内部的预定点可以如第二示例中那样被检测为候选点。
上面已经描述了候选点检测的示例。在物体表面上对应于每个检测到的候选点的位置投影并显示指示候选点等的点状标记。
[候选点的设置]
上面已经描述了候选点检测的示例。在本实施方式中，可以为候选点检测单元203检测的候选点设置预定的检测规则。预定的检测规则是关于检测候选点的区域和位置的设置。尽管下面将主要描述关于检测到候选点的检测区域的设置，但是关于候选点的投影显示的设置(例如，当投影和显示候选点时的颜色和大小)是可以的。
例如，检测规则如下。
排除用户U看到的位于物体背面的候选点的规则；
指示上述第一示例至第三示例中的哪种模式用于检测候选点的规则；
(同时，可以通过手势等来执行模式的切换)；
如果应用程序中的选择操作未定义，则从候选点中排除候选点的规则。
通过适当的方法来执行关于候选点的设置，例如，通过手势的输入、到诸如遥控器或按钮的输入装置的输入或者音频输入。
可以由用户U具体设置检测到候选点的区域。图13A至图13C是用于描述关于候选点和从投影区域3a上方观看的两个鸟瞰图的设置示例的示图。
例如，如图13A所示，假设在投影区域3a上放置圆柱形物体61、方形柱状物体62和三角形柱状物体63的示例。环境识别单元201获取每个物体的设置位置和三维形状，作为三维结构信息。
在此处，设想当面对附图时，用户U执行用食指F从左侧(物体61的一侧)指示投影区域3a的操作的情况。食指F的操作方向FD和投影区域3a的表面的交点由信息处理装置2投影并显示为点P5。然后，用户U执行旋转食指F的操作，如图13B所示。点P5的位置根据该操作而改变，并且在投影区域3a上投影并显示根据点P5的移动的轨迹。如图13B所示，例如，投影并显示围绕物体61和物体62的轨迹65。由轨迹65定义的区域AR1被设置为候选点检测单元203检测到候选点的区域。
当应用第一示例，作为候选点检测示例时，如图13C所示，检测位于区域AR1中的候选点PJ、PK、PI和PM。同时，在检测到的四个候选点之间执行稍后将描述的候选点的切换。
此外，如图14所示，指示设置区域AR1的信息作为区域信息输入到候选点检测单元203。候选点检测单元203基于区域信息适当地限制检测到候选点的区域。由环境识别单元201例如基于由相机等获取的图像来生成区域信息。区域信息例如由投影区域3a的X-Y坐标来定义，但是也可以由其他内容来定义。
候选点检测规则不仅由用户设置，而且预先包括在候选点检测单元203中。例如，候选点检测单元203可以具有在不能执行投影显示的位置排除候选点的规则等。
例如，通过允许执行关于候选点的设置，更具体地，执行关于检测到候选点的区域的设置和用于从检测到的候选点中排除候选点的设置，可以避免由于向用户U呈现许多候选点而导致的不便。例如，可以避免由于许多候选点的投影显示而导致的观看困难以及当确定所确定的点时候选点切换的次数增加的不便。
[关于候选点的选择]
如上所述，适当地投影和显示检测到的候选点。当存在多个候选点时，选择预定的候选点，并且如果对应于所选择的候选点的位置是用户U想要指示的点，则候选点被确定为确定点。同时，投影并显示至少一个要选择的候选点。在本实施方式中，所选择的候选点与其他候选点被一起投影和显示。
在本实施方式的形式中，当存在多个候选点时，根据用户U的预定手势来切换要选择的候选点。具体地，选择单元204基于姿势信息来检测预定手势等，并且当执行手势时切换要选择的候选点。指示要选择的候选点的选择信息被提供给显示控制单元205。显示控制单元205基于选择信息执行关于切换要选择的候选点的呈现的控制。
(关于要选择的候选点的呈现)
图15是用于描述显示要选择的候选点的示例的示图。如图15所示，假设将盒形物体71和72放置在投影区域3a上的示例。物体71比物体72大。用户U使用食指F从物体71的近侧执行手指指向操作，并且检测基于该操作的操作方向FD。检测位于操作方向FD上的候选点。在该示例中，根据上述候选点检测示例(第一示例)来检测候选点PN、PO和PP。假设每个候选点可以被用户U可视地识别。
图15示出了要选择的候选点是候选点PN的示例。以这种方式，要选择的候选点PN比其他候选点PO和PP更受重视并呈现。例如，候选点PN比其他候选点更亮、更闪耀，具有更暗的显示颜色，具有更鲜艳的显示颜色，具有指示候选点的更大的图标(在该示例中为圆形)，或者具有指示候选点的更闪烁的图标。同时，当要选择的候选点从候选点PN切换到候选点PO时，例如，突出并呈现候选点PO。
(关于要选择的候选点的切换)
接下来，将描述用于切换要选择的候选点的手势的示例。图16是用于描述切换要选择的候选点的手势的第一示例的示图。在第一示例中，当在已经执行了使用食指F的手指指向的状态下检测到点击拇指F1的手势时，切换要选择的候选点。点击拇指F1的手势是移动拇指F1的手势，使得食指F和拇指F1之间的距离从该距离已经延伸的状态缩小一次，然后将拇指F1返回到原始位置。
如图16所示，候选点PN、PO和PP被检测为候选点。同时，最接近用户U的候选点PN被设置为例如在初始状态(呈现检测到的候选点的初始状态)下要选择的候选点。当然，候选点PO和候选点PP可以是在初始状态下选择的候选点。
例如，当执行点击拇指F1(第一次点击)的手势时，要选择的候选点从候选点PN切换到候选点PO。此外，当执行点击拇指F1的手势(第二次点击)时，要选择的候选点从候选点PO切换到候选点PP。此外，当执行点击拇指F1的手势(第三次点击)时，要选择的候选点从候选点PP切换到候选点PN。
图17是用于描述切换要选择的候选点的手势的第二示例的示图。如在上述示例中，根据用食指F指向的手势来检测候选点PN、PO和PP。在初始状态中，例如，最接近用户U的候选点PN被设置为要选择的候选点。
在此处，假设例如执行了扭转手的手势。当检测到该手势时，选择单元204确定模式已经切换到切换要选择的候选点的切换模式，并且执行切换要选择的候选点的处理。在这种状态下，例如，执行弯曲食指F的手势。根据手势切换要选择的候选点。例如，当在初始状态下执行弯曲食指F的手势一次时，要选择的候选点从候选点PN切换到候选点PO。当弯曲食指F的手势额外地执行一次时，要选择的候选点从候选点PO切换到候选点PP。当弯曲食指F的手势额外地执行一次时，要选择的候选点从候选点PP切换到候选点PN。以这种方式，在第一示例和第二示例中连续切换要选择的候选点。
图18是用于描述切换要选择的候选点的手势的第三示例的示图。如在上述示例中一样，根据用食指F指向的手势来检测候选点PN、PO和PP。在初始状态中，例如，最接近用户U的候选点PN被设置为要选择的候选点。
用于切换要选择的候选点的手势的第三示例是响应于由食指F和拇指F1形成的角度θ1的大小来切换要选择的候选点的示例。例如，为角度θ1设置两个阈值Th1和Th2。当食指F和拇指F1形成的角度小时，具体地，如果角度θ1小于阈值Th1，则候选点PN成为要选择的候选点。另外，当执行增大由食指F和拇指F1形成的角度的手势并且因此角度θ1变得等于或大于阈值Th1时，要选择的候选点从候选点PN切换到候选点PO。当额外地执行增大由食指F和拇指F1形成的角度的手势并且因此角度θ1变得等于或大于阈值Th2时，要选择的候选点从候选点PO切换到候选点PP。同时，当例如执行减小由食指F和拇指F1形成的角度的手势时，具体地，当角度θ1变得小于阈值Th1时，要选择的候选点从候选点PP切换到候选点PN。同时，可以执行(不连续)切换，使得要选择的候选点根据例如在该示例中一次增大角度θ1的操作从候选点PN跳跃到候选点PP。同时，存在两个阈值，因为在该示例中有三个候选点。当然，阈值的设置数量等可以适当地改变。
尽管在上述第三示例中，响应于由一只手的食指F和拇指F1形成的角度来切换要选择的候选点，但是如图19和图20所示，可以响应于由一只手的食指F和另一只手的食指F2形成的角度来切换要选择的候选点。
例如，如图19所示，当由食指F和食指F2形成的角度θ2较大时，可以执行切换，使得位于近侧的候选点成为要选择的候选点，并且如图20所示，当由食指F和食指F2形成的角度θ2减小时，可以执行切换，使得位于远侧的候选点成为要选择的候选点。相反，当角度θ2小时，可以执行切换，使得位于近侧的候选点成为要选择的候选点，并且当角度θ2增大时，可以执行切换，使得位于远侧的候选点成为要选择的候选点。
在使用双手手指的手势的情况下，也可以根据下面的手势来切换要选择的候选点。例如，当执行使食指F和食指F2近似彼此平行的手势时，要选择的候选点可以从近侧的候选点依次切换到远侧的候选点。此外，例如，当执行以图8的形式交叉食指F和食指F2的手势时，要选择的候选点可以从远侧的候选点依次切换到近侧的候选点。
图21是用于描述切换要选择的候选点的手势的第四示例的示图。如在上述示例中，根据用食指F指向的手势来检测候选点PN、PO和PP。
在第四示例中，在候选点附近投影并显示用于帮助选择候选点的信息。例如，如图21所示，在与在候选点PN附近投影并显示候选点PN的物体71相同的表面上投影并显示诸如“1”的数字。另外，在与在候选点PO附近投影并显示候选点PO的物体72相同的表面上投影并显示诸如“2”的数字。此外，在与在候选点PP附近投影并显示候选点PP的工作台3的表面相同的表面上投影并显示诸如“3”的数字。
用户U使用具有食指F的手的另一只手的手指执行指示数字的手势。根据该手势切换要选择的候选点。同时，图21示出了一个示例，其中，执行指示“2”的手势，具体而言，抬起两个手指的手势，使得选择位于“2”附近的候选点PO。当用户U想要选择候选点PN时，他/她可以举起一个手指，当他/她想要选择候选点PP时，他/她可以举起三个手指。在该示例的情况下，通过适当地改变举起的手指的数量，可以连续地切换要选择的候选点或者不连续地切换要选择的候选点。
图22是用于描述切换要选择的候选点的手势的第五示例的示图。如在上述示例中，根据用食指F指向的手势来检测候选点PN、PO和PP。
第五示例是位于操作方向的交点附近的候选点成为要选择的候选点的示例。用户U使用一只手的食指F执行手指指向，并且使用另一只手的食指F2执行手指指向。检测响应于相应手指指向操作的操作方向FD和FD2。位于操作方向FD和FD2的交点处的候选点或最接近该交点的候选点成为要选择的候选点。用户U可以通过改变食指F2指向的方向来切换要选择的候选点。
图23是用于描述切换要选择的候选点的手势的第六示例的示图。如在上述示例中，根据用食指F指向的手势来检测候选点PN、PO和PP。
第六示例是响应于用户U的视线方向来切换要选择的候选点的示例。用户U的视线方向例如由人类识别单元202检测，并且表示检测到的视线方向的信息包括在姿势信息中。选择单元204基于姿势信息中包括的视线方向来切换要选择的候选点。
如图23所示，例如，候选点PN存在于检测到的视线方向ED1的一侧。在这种情况下，候选点PN成为要选择的候选点。然后，设想用户U改变姿势使得视线面对候选点PO的情况。根据用户U的姿势变化检测新的视线方向ED2。候选点PO出现在检测到的视线方向ED2的一侧。在这种情况下，要选择的候选点从候选点PN切换到候选点PO。以这种方式，可以响应于用户U的视线方向来切换要选择的候选点。如在该示例中，也包括用于改变视线方向的眼睛的移动，作为手势。此外，可以通过检测改变头部方向等的手势以及视线方向来识别用户U关注的方向，并且位于该方向上的候选点可以成为要选择的候选点。
[关于确定点]
(关于确定所确定的点)
例如，当存在多个检测到的候选点时，多个检测到的候选点中的一个被确定为确定点。例如，在选择某个候选点的情况下，当检测到与切换要选择的候选点的手势不同的手势时，要选择的候选点被确定为确定点。当正在选择某个候选点时，可以根据诸如“确定”的音频输入将要选择的候选点确定为确定点
可以在没有特定输入的情况下确定所确定的点。如图21所示的示例中，在检测到用一只手指示数字的手势的情况下，可以指定要选择的候选点，并且可以将该候选点确定为确定点。另外，在已经选择了某个候选点的情况下，如果在预定时间段(例如，大约10秒至30秒)内没有执行切换要选择的候选点的手势等，则要选择的候选点可以被确定为确定点。
(确定所确定的点时的处理示例)
接下来，将描述当已经确定了确定点时执行的处理的示例。当然，下面的处理示例是一个示例，并且可以根据信息处理装置2等的使用来适当地设置当已经确定了确定点时将执行的处理。用于执行在已经确定了确定点时执行的处理的配置适当地添加到信息处理装置2的上述配置中。
例如，在确定点的位置处投影并显示预定图像(可以是静止图像或运动图像)。显示方法不限于投影，并且可以通过AR等在确定点的位置显示预定图像。另外，假设三维地图模型被放置在投影区域3a上。可以再现对应于被确定为确定点的点的描述(例如，关于原点的描述或解释)。
只能指定特定空间中的特定点或人。例如，当说话者用手指指着例如在新闻发布会或教室中位于后面的收听者时，也有这样的情况，即周围的人不能理解说话者用手指指着的收听者，因为收听者也在前面。例如，如果应用根据本实施方式的技术，当说话者执行手指指向时，为位于操作方向上的每个收听者设置候选点。说话者确定候选点中的确定点，并以突出的方式显示该确定点，因此周围的人可以识别说话者指定的收听者。同时，在这个使用示例中，在例如收听者的身体上投影并显示候选点。
此外，在本实施方式中，如上所述(参考图11)，候选点也可以设置在工作台3的投影区域3a上的物体内部。在此处，描述当物体内部的候选点被确定为确定点时的处理示例。
如图24所示，鱼模型75被放置在投影区域3a上，并且在这种状态下，用户U使用食指F执行手指指向。候选点PQ、PR和PS被检测为候选点。在此处，假设对应于模型75内部的候选点PR被确定为确定点的情况。在这种情况下，可以由显示控制单元205生成穿透模型75的内部状态的图像数据，并且可以执行用于在模型75的表面上投影和显示基于图像数据的图像的处理。根据这样的处理，例如，在模型75的表面上投影并显示表示鱼的内部(器官和骨骼)的图像，如图25所示，因此用户U可以确定模型75的内部结构。模型75不限于鱼，并且可以是人体、另一种动物、建筑物等。通过执行这种传输显示，本公开可以应用于教育、医疗等。
[处理流程]
图26是示出根据实施方式的处理流程的流程图。在步骤ST11中，环境识别单元201和人类识别单元202接收通过输入单元200获取的信息。然后，处理进行到步骤ST12和ST13。
在步骤ST12中，人类识别单元202估计人体的特征点。人类识别单元202基于人体的特征点生成姿势信息，并将姿势信息输出到候选点检测单元203和选择单元204。然后，处理进行到步骤ST14。
同时，在步骤ST13中，环境识别单元201识别工作台3上(更具体地，投影区域3a上)的三维结构，并生成三维结构信息。环境识别单元201将生成的三维结构信息输出到候选点检测单元203。然后，处理进行到步骤ST14。
在步骤ST14中，候选点检测单元203执行候选点检测处理，用于检测操作方向并检测操作方向上存在的候选点。然后，处理进行到步骤ST15。
例如，在步骤ST15中，候选点检测单元203确定是否已经检测到候选点。此处，在没有检测到候选点的情况下，例如，在没有执行手指指向的情况下，处理返回到步骤ST11。
当在步骤ST15的确定处理中检测到候选点时，显示控制单元205执行对检测到的候选点的投影显示的控制。然后，通过输出单元206将检测到的候选点呈现给用户U。然后，处理进行到步骤ST16。
在步骤ST16中，确定是否已经检测到用户U的特定手势。该确定处理例如由选择单元204基于姿势信息来执行。在此处，特定手势是用于切换要选择的候选点的手势。当已经执行了特定手势时，处理进行到步骤ST17。
在步骤ST17中，选择单元204根据检测到的特定手势切换要选择的候选点。然后，选择单元204向显示控制单元205输出表示要选择的候选点的选择信息。然后，处理进行到步骤ST18。
在步骤ST18中，显示控制单元205执行显示控制处理。例如，显示控制单元205执行控制，使得基于选择信息，与其他候选点相比，突出要选择的候选点。根据这种控制，突出要选择的候选点并通过输出单元206呈现给用户U。然后，处理进行到步骤ST19。
在步骤ST19中，选择单元204检测是否执行了用于将要选择的候选点确定为确定点的确定输入(例如，手势)。在此处，当执行确定输入时，在所确定的点附近的点处执行响应于应用的处理，并且处理结束。当没有执行确定输入时，处理返回到步骤ST16。
当在步骤ST16的确定处理中没有检测到用户U的特定手势时，处理进行到步骤ST20。在步骤ST20中，选择单元204确定图像的前一帧是否包括要选择的候选点。在此处，在前一帧包括要选择的候选点时，处理进行到步骤ST21。
在步骤ST21中，由于尽管没有执行特定手势，但是前一帧包括要选择的候选点，所以设想已经执行了特定手势并且先前已经选择了某个候选点(例如，大约几十帧之前)。因此，在步骤ST21中，选择单元204不切换要在前一帧中选择的候选点，换言之，生成用于保持要选择的候选点的选择信息，并将生成的选择信息输出到显示控制单元205。然后，处理进行到步骤ST18。在步骤ST18中，显示控制单元205执行用于投影显示的显示控制处理，使得不切换要选择的候选点，即，保持预定候选点当前被呈现为要选择的候选点的状态。然后，处理进行到步骤ST19，并且执行步骤ST19的处理和后续处理。由于已经描述了步骤ST19的处理和后续处理，所以省略了多余的描述。
当前一帧不包括要在步骤ST20的确定处理中选择的候选点时，处理进行到步骤ST22。由于这种情况是第一阶段(初始阶段)，其中，检测到的候选点被呈现给用户U，所以例如多个候选点中最接近用户U的候选点成为要选择的候选点。然后，处理进行到步骤ST18，其中，显示控制单元205执行用于投影显示的显示控制处理，使得多个候选点中最接近用户U的候选点成为要选择的候选点。然后，处理进行到步骤ST19，并且执行步骤ST19的处理和后续处理。由于已经描述了步骤ST19的处理和后续处理，所以省略了多余的描述。
同时，可以适当地改变在初始阶段在多个候选点中呈现给用户U的要选择的候选点。此外，在初始阶段，要选择的候选点可以不被呈现给用户U。此外，即使前一帧包括要选择的候选点，当检测到用户U的大动作时，也可以取消对候选点的选择。
<修改示例>
尽管上面具体描述了本公开的实施方式，但是本公开的内容不限于上述实施方式，并且基于本公开的技术思想，各种修改是可能的。在下文中，将描述修改的示例。
[关于操作方向的修改示例]
尽管在上述实施方式中，从食指延伸用于手指指向直线的方向被定义为操作方向，但是本公开不限于此。操作方向FD可以是曲线、对应于直线和曲线的组合的线等。
候选点检测单元203可以根据用户U的手势检测操作方向FD。图27A和图27B是用于描述根据用户U的手势检测操作方向FD的示例的示图。图27A是从投影区域3a上方观察的鸟瞰图，而图27B是从工作台3侧观察的投影区域3a的侧视图。如图27A所示，假设在投影区域3a上放置圆柱形物体81、方形柱状物体82和三角形柱状物体83的示例。
如图27B所示，在用食指F大致平行于手背指向的情况下，检测操作方向FD10，并且操作方向FD10和物体表面的交点被检测为候选点。例如，假设候选点PT、PU、PV、PW和PX被检测为候选点，如图27A所示。相反，当食指F的指尖稍微向上移动时，检测到抛物线操作方向FD11，如图27B所示。另外，操作方向FD11和物体82和83的表面的交点被检测为候选点。以这种方式，操作方向可以是抛物线轨迹。另外，用户U可以通过适当地改变食指F的方向来设置操作方向，并且预先防止在非预期位置处检测候选点(在图27所示的示例中，候选点位于物体81的表面上)。
图28是用于描述根据用户U的手势检测操作方向FD的另一示例的示图。例如，从食指F延伸的操作方向FD被检测为抛物线轨迹。该抛物线轨迹的曲率根据食指F和拇指F1形成的角度θ3而变化。例如，如图28所示，曲率随着角度θ3的增大而增大。用户U可以通过适当地改变角度θ3来防止例如相对于位于近侧的物体的候选点被用户U检测到。
操作方向FD可以被诸如墙壁等物体反射。图29是用于描述操作方向FD被诸如墙壁的物体反射的示例的示图。如图29的鸟瞰图所示，例如，假设墙壁90设置在工作台3的一侧，并且圆柱形物体91、方形柱状物体92和三角形柱状物体93放置在投影区域3a上的状态。
环境识别单元201识别墙壁90的位置。例如，用户U使用食指F执行手指指向墙壁90，并且检测根据手指指向的操作方向FD。操作方向FD与不是工作台3上的物体的墙壁90的表面相交。在这种情况下，候选点检测单元203设置操作方向FD，使得其在墙壁90处被反射，并且检测位于反射的操作方向FD上的候选点(例如，反射的操作方向FD与物体92和93的表面的交点)。以这种方式，用户可以反射操作方向FD，并且防止用户U检测到相对于位于近侧的物体(例如，物体91)的候选点
[其他修改示例]
在上述实施方式中，已经描述了候选点在被遮蔽的地方并且因此对于用户U不可见的存在可以呈现给用户U这一事实(参考图9)。在这种情况下，即使当已经在近侧的物体的表面上投影并显示存在于遮蔽和不可见位置的候选点时，用户U也可能难以对候选点的存在或特定位置进行成像。因此，可以在用户U可见的地方执行用于通知用户U不可见的候选点的存在或位置的投影显示。例如，如图30所示，在作为候选点PB至PE的位置的横向方向的位置处投影并显示指示分别对应于存在于用户U不可见的位置处的候选点PB至PE的位置的箭头95B至95E，并且对于用户U是可见的。
另外，表示检测到的候选点的位置的信息(例如，具有相对较小尺寸的映射信息，其中，可以在用户U附近投影并显示候选点的位置被映射到投影区域3a上的物体)。用户U可以通过查看这样的信息来确定候选点的位置，并且在选择候选点时参考这些位置。可以在用户U携带的诸如智能手机等电子装置上显示这种信息，或者可以在天花板上投影并显示。
尽管在上述实施方式中描述的用户U通常被假设为人，但是可以是机器人。在上述实施方式中进行投影显示的物体可以是树脂产品、陶器、诸如玻璃的光学透明构件、空气等中的任何一种。另外，可以适当地改变投影区域的大小，并且可以响应于投影区域的大小等使用适当数量的信息处理装置。投影区域不限于工作台的表面，可以是地板等。此外，可以基于用笔等指示而不是手指指示的动作来检测操作方向。
也可以通过装置、方法、程序、系统等来实现本公开。例如，使得执行上述实施方式中描述的功能的程序是可下载的，并且不具有实施方式中描述的功能的装置可以通过下载和安装程序而在装置中执行实施方式中描述的控制。也可以通过分发这种程序的服务器来实现本公开。此外，实施方式中的技术特征和修改示例中描述的特征可以适当地组合。
本公开也可以如下配置。
(1)一种信息处理装置，包括控制器，控制器被配置为检测位于所检测的操作方向上的至少两个候选点，切换候选点，使得从至少两个候选点中选择预定的候选点，并且至少显示所选择的候选点。
(2)根据(1)所述的信息处理装置，其中，候选点包括不能在用户的操作位置处指示的至少一个点。
(3)根据(2)所述的信息处理装置，其中，点在位于操作方向上的遮蔽物的背面。
(4)根据(2)所述的信息处理装置，其中，点在位于操作方向上的遮蔽物的内部。
(5)根据(1)至(4)中任一项所述的信息处理装置，其中，控制器被配置为根据在位于操作方向上的预定物体上的投影显示来显示候选点。
(6)根据(5)所述的信息处理装置，其中，控制器被配置为将指示所检测的候选点的位置的信息投影和显示在用户附近。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，控制器被配置为在位于操作方向上的物体的用户一侧的表面上投影和显示存在于物体的内部和物体的背面中的至少一个中的候选点。
(8)根据(1)至(7)中任一项所述的信息处理装置，其中，控制器被配置为突出显示所选择的候选点。
(9)根据(1)至(8)中任一项所述的信息处理装置，其中，控制器被配置为检测操作方向和位于操作方向上的物体的表面的交点，作为候选点。
(10)根据(1)至(9)中任一项所述的信息处理装置，其中，能够进行关于候选点的设置。
(11)根据(10)所述的信息处理装置，其中，关于候选点的设置是关于检测到候选点的区域的设置。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，控制器被配置为根据检测到的手势来切换候选点。
(13)根据(12)所述的信息处理装置，其中，基于用户的手指指向来检测操作方向，并且手势是使用用户的手指的手势。
(14)根据(1)至(13)中任一项所述的信息处理装置，其中，控制器连续地切换候选点。
(15)根据(1)至(13)中任一项所述的信息处理装置，其中，控制器被配置为不连续地切换候选点。
(16)根据(1)至(15)中任一项所述的信息处理装置，其中，控制器被配置为根据用户的手势来设置操作方向。
(17)根据(4)所述的信息处理装置，其中，当对应于遮蔽物内部的候选点被确定为确定点时，在遮蔽物上投影并显示遮蔽物的内部结构。
(18)一种由控制器执行的信息处理方法，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
(19)一种使计算机通过控制器执行信息处理方法的程序，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
附图标记列表
1 投影映射系统
2 信息处理装置
3 工作台
201 环境识别单元
202 人类识别单元
203 候选点检测单元
204 选择单元
205 显示控制单元
206 输出单元
F 食指
FD 操作方向
FD、PA至PX 候选点。

Claims (19)

1.一种信息处理装置，包括控制器，所述控制器被配置为检测位于所检测的操作方向上的至少两个候选点，切换候选点，使得从所述至少两个候选点中选择预定的候选点，并且至少显示所选择的候选点。
2.根据权利要求1所述的信息处理装置，其中，所述候选点包括不能在用户的操作位置处指示的至少一个点。
3.根据权利要求2所述的信息处理装置，其中，所述点在位于所述操作方向上的遮蔽物的背面。
4.根据权利要求2所述的信息处理装置，其中，所述点在位于所述操作方向上的遮蔽物的内部。
5.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为根据在位于所述操作方向上的预定物体上的投影显示来显示所述候选点。
6.根据权利要求5所述的信息处理装置，其中，所述控制器被配置为将指示所检测的候选点的位置的信息投影和显示在用户附近。
7.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为在位于所述操作方向上的物体的用户一侧的表面上投影和显示存在于所述物体的内部和所述物体的背面中的至少一个中的候选点。
8.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为突出显示所选择的候选点。
9.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为检测所述操作方向和位于所述操作方向上的物体的表面的交点，作为所述候选点。
10.根据权利要求1所述的信息处理装置，其中，能够进行关于所述候选点的设置。
11.根据权利要求10所述的信息处理装置，其中，关于所述候选点的设置是关于检测到所述候选点的区域的设置。
12.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为根据检测到的手势来切换所述候选点。
13.根据权利要求12所述的信息处理装置，其中，基于用户的手指指向来检测所述操作方向，并且所述手势是使用所述用户的手指的手势。
14.根据权利要求1所述的信息处理装置，其中，所述控制器连续地切换所述候选点。
15.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为不连续地切换所述候选点。
16.根据权利要求1所述的信息处理装置，其中，所述控制器被配置为根据用户的手势来设置所述操作方向。
17.根据权利要求4所述的信息处理装置，其中，当对应于所述遮蔽物的内部的候选点被确定为确定点时，在所述遮蔽物上投影并显示所述遮蔽物的内部结构。
18.一种由控制器执行的信息处理方法，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从所述至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
19.一种使计算机通过控制器执行信息处理方法的程序，包括：检测位于所检测的操作方向上的至少两个候选点；切换候选点，使得从所述至少两个候选点中选择预定的候选点；并且至少显示所选择的候选点。
CN201980038813.0A 2018-06-18 2019-04-02 信息处理装置、信息处理方法和程序 Withdrawn CN112292658A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-115140 2018-06-18
JP2018115140 2018-06-18
PCT/JP2019/014643 WO2019244437A1 (ja) 2018-06-18 2019-04-02 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112292658A true CN112292658A (zh) 2021-01-29

Family

ID=68983884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038813.0A Withdrawn CN112292658A (zh) 2018-06-18 2019-04-02 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20210181864A1 (zh)
EP (1) EP3809249A4 (zh)
CN (1) CN112292658A (zh)
WO (1) WO2019244437A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5120862A (en) 1974-08-13 1976-02-19 Japan National Railway Ichikenchokosajudosen
JPH0877231A (ja) * 1994-09-05 1996-03-22 Matsushita Electric Ind Co Ltd ３次元図形操作装置
JP3276068B2 (ja) * 1997-11-28 2002-04-22 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクトの選択方法およびそのシステム
JP2001291115A (ja) * 2000-04-05 2001-10-19 Nippon Telegr & Teleph Corp <Ntt> ３次元図形描画方法およびこの方法を記録した記録媒体
JP2002366974A (ja) * 2001-06-12 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
WO2011155118A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
JP5627314B2 (ja) * 2010-06-24 2014-11-19 キヤノン株式会社 情報処理装置
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US9483873B2 (en) * 2013-03-26 2016-11-01 Autodesk, Inc. Easy selection threshold
US9262012B2 (en) * 2014-01-03 2016-02-16 Microsoft Corporation Hover angle
US11275498B2 (en) * 2016-08-31 2022-03-15 Sony Corporation Information processing system, information processing method, and program
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment

Also Published As

Publication number Publication date
US20210181864A1 (en) 2021-06-17
EP3809249A4 (en) 2021-08-11
EP3809249A1 (en) 2021-04-21
WO2019244437A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
US11262840B2 (en) Gaze detection in a 3D mapping environment
CN110168475B (zh) 操作集线器的方法以及用于与外围装置交互的系统
JP2022535316A (ja) スライドメニューを有する人工現実システム
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
EP3324270A1 (en) Selection of an object in an augmented reality environment
EP3549127B1 (en) A system for importing user interface devices into virtual/augmented reality
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
US10515484B1 (en) Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
CN112292658A (zh) 信息处理装置、信息处理方法和程序
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
JP2023079161A (ja) 表示制御装置、表示制御方法、及びプログラム
CN117043720A (zh) 用于与环境中的对象进行交互的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129