CN108369477B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN108369477B
CN108369477B CN201680073273.6A CN201680073273A CN108369477B CN 108369477 B CN108369477 B CN 108369477B CN 201680073273 A CN201680073273 A CN 201680073273A CN 108369477 B CN108369477 B CN 108369477B
Authority
CN
China
Prior art keywords
coordinate
display
information processing
display area
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680073273.6A
Other languages
English (en)
Other versions
CN108369477A (zh
Inventor
河合宣彰
长良徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108369477A publication Critical patent/CN108369477A/zh
Application granted granted Critical
Publication of CN108369477B publication Critical patent/CN108369477B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

[问题]提供一种能够进一步改善指示操作的操作感的机制。[方案]信息处理装置包括控制单元，所述控制单元配置用于基于用户与显示区域之间的位置关系以及用户的指示对象所指向的所述显示区域上的第一坐标，来控制所述第一坐标与将显示与所述指示对象相对应的显示对象的第二坐标之间的关系。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及一种信息处理装置、信息处理方法和程序。
背景技术
近年来，诸如显示器和投影仪之类的显示装置变得更大，并且期望在大显示区域中向用户提供舒适的UI的技术。例如，下面的专利文献1公开了根据用户与屏幕之间的位置关系以及人数来显示UI的技术。
引文列表
专利文献
专利文献1：JP2015-90547A
发明内容
技术问题
然而，上述专利文献1中公开的技术仅仅是控制诸如图标、菜单部分和应用程序窗口之类的UI元素的显示位置的技术。为了为用户提供舒适感，改善操作感也是重要的一点。例如，虽然使用诸如激光指示器之类的装置的手势操作或指示操作实现了对诸如指针之类的操作目标的直观操作，但存在难以根据情况随意操作操作目标的情况。因此，期望提供一种能够进一步改善指示操作的操作感的机制。
解决问题的方法
根据本公开，提供了一种信息处理装置，包括：控制单元，配置用于基于用户与显示区域之间的位置关系以及用户的指示对象所指向的该显示区域上的第一坐标，控制该第一坐标与将显示与该指示对象相对应的显示对象的第二坐标之间的关系。
此外，根据本公开，提供了一种信息处理方法，该信息处理方法包括：基于用户与显示区域之间的位置关系以及用户的指示对象所指向的该显示区域上的第一坐标，使得处理器控制该第一坐标与将显示与该指示对象相对应的显示对象的第二坐标之间的关系。
此外，根据本公开，提供了一种用于使得计算机用作控制单元的程序，该控制单元配置用于基于用户与显示区域之间的位置关系以及用户的指示对象所指向的该显示区域上的第一坐标，控制该第一坐标与将显示与该指示对象相对应的显示对象的第二坐标之间的关系。
发明的有益效果
如上所述，根据本公开，提供了一种能够进一步改善指示操作的操作感的机制。注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的效果或可以从本说明书了解的其他效果中的任何一种效果。
附图说明
[图1]图1是用于说明根据本公开的实施例的显示控制系统的概要的图。
[图2]图2是用于说明根据该实施例的显示控制系统的技术问题的说明图。
[图3]图3是示出根据该实施例的显示控制装置的逻辑配置的示例的框图。
[图4]图4是示出将在根据该实施例的显示控制装置处执行的显示控制处理的流程的示例的流程图。
[图5]图5是用于说明根据第一示例的显示控制处理的说明图。
[图6]图6是用于说明根据第二示例的显示控制处理的说明图。
[图7]图7是用于说明根据第二示例的显示控制处理的说明图。
[图8]图8是用于说明根据第二示例的显示控制处理的说明图。
[图9]图9是用于说明根据第三示例的显示控制处理的说明图。
[图10]图10是用于说明根据第三示例的显示控制处理的说明图。
[图11]图11是用于说明根据第四示例的显示控制处理的说明图。
[图12]图12是用于说明根据第四示例的显示控制处理的说明图。
[图13]图13是用于说明根据第五示例的显示控制处理的说明图。
[图14]图14是用于说明根据第五示例的显示控制处理的说明图。
[图15]图15是用于说明根据第六示例的显示控制处理的说明图。
[图16]图16是用于说明根据第七示例的显示控制处理的说明图。
[图17]图17是用于说明根据该实施例的显示控制装置所进行的校准的说明图。
[图18]图18是示出根据该实施例的信息处理装置的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重复说明。
注意，描述将按以下顺序提供。
1.概要
2.基本技术
2.1.配置示例
2.2.处理流程
3.具体示例
3.1.第一示例
3.2.第二示例
3.3.第三示例
3.4.第四示例
3.5.第五示例
3.6.第六示例
3.7.第七示例
3.8.补充说明
4.硬件配置示例
5.结论
<<1.概要>>
首先，将参照图1和图2描述根据本公开的实施例的显示控制系统的概要。
图1是用于解释根据本实施例的显示控制系统1的概要的图。如图1所示，显示控制系统1包括例如显示控制装置10、指示对象20、成像装置30和显示装置40。
显示装置40具有基于从显示控制装置10输出的显示控制信息来显示图像(静止图像或运动图像)的功能。典型地，显示装置40用投影仪来实现，并且图像被投影在显示区域50上。注意，显示区域的形状是任意的，并且可以是矩形、圆形、平面、具有凹凸的形状等。另外，显示区域可以是诸如全息图的固体。显示装置40和显示区域50可以一体地形成。在这种情况下，显示装置40用液晶显示器(LCD)、有机发光二极管(OLED)等实现。另外，显示区域50可以是虚拟屏幕，并且显示装置40可以是头戴式显示器(HMD)。
指示对象20具有指示显示区域50上的任意坐标的功能。例如，指示对象20用诸如激光指示器之类的装置来实现。另外，指示对象20可以用用户的手指等来实现。在以下描述中，显示区域50中指示对象20所指向的指向点51的坐标(对应于第一坐标)也将被称为原始坐标。注意，在指向点51从显示区域50偏离的情况下，将作为显示区域50的端部的延长线的虚拟平面上的坐标设置为原始坐标。
成像装置30具有拍摄图像(静止图像或运动图像)并将拍摄的图像输出到显示控制装置10的功能。例如，成像装置30拍摄显示区域50、指示对象20、操作指示对象20的用户等的图像。注意，成像设备30是获取与这些成像目标有关的信息的装置的示例，并且显示控制系统1可以包括其他任意设备。例如，除成像装置30之外或者代替成像装置30，显示控制系统1可以包括深度传感器、红外传感器、无线电波传感器等。
显示控制装置10具有控制显示装置40的显示的功能。特别地，显示控制装置10具有控制与待在显示区域50中显示的显示对象52有关的显示的功能。显示对象52用例如指针、焦点等来实现。在以下描述中，将假定显示对象52是指针来提供描述。显示控制装置10控制指向点51与指针52之间的关系。即，显示控制装置10在指向点51处显示指针52或在从指向点51移位(即，具有偏移)的位置处显示指针。关系的控制例如通过控制指向点51与指针52之间的相对坐标来实现。此处，关系是包括指向点51与指针52之间的相对距离、相对方向、相对加速度等的概念。在以下描述中，待在显示区域50中显示的显示对象52的坐标(对应于第二坐标)也将被称为显示坐标。
注意，在本说明书中，将形成显示区域50的二维空间的正交坐标轴分别设置为X轴和Y轴。更简单地说，将显示区域50的水平方向设置为X轴，将竖直方向设置为Y轴。另外，将与显示区域50正交的坐标轴设置为Z轴。更简单地说，将用户从显示区域50看过来的方向设置为Z轴。
图2是用于说明根据本实施例的显示控制系统1的技术问题的说明图。图2示出了从Y轴方向看到沿X轴方向具有不同长度的两个不同显示区域50的情况。如图2所示，随着X轴方向上的长度变长，用指示对象20在X轴方向上从一端到另一端指示所需的运动(即，使指示对象20倾斜的运动)变大。在原始坐标与显示坐标相匹配的情况下，因为指示对象20的运动与指针52的运动相匹配，所以提供了直观的操作感。另一方面，在指示范围宽的情况下，指示对象20移动的范围变宽，这有可能导致操作感明显下降，例如迫使用户采用不自然的姿态来指向末端附近的部分。
因此，根据本实施例的显示控制系统1根据情况提供原始坐标与显示坐标之间的偏移。通过这种方式，指针52的运动变得大于指示对象20的运动。因此，即使在指示范围宽的情况下，也有可能以较小的指示对象20的动作来覆盖宽范围，从而有可能防止用户例如采用不自然的姿态来指向末端附近的部分。注意，因为考虑到用户通常在观察指针52而不是观察指示对象20的同时操作指针52，所以认为原始坐标与显示坐标之间的位移不太可能被感知到。
<<2.基本技术>>
以下将参考图3和图4来描述本实施例的基本配置示例和处理流程。
<2.1.配置示例>
图3是示出根据本实施例的显示控制装置10的逻辑配置的示例的框图。如图3所示，显示控制装置10包括无线通信单元110、输入/输出单元120、存储单元130和处理单元140。
(1)无线通信单元110
无线通信单元110通过显示控制装置10介导与其他装置的无线通信的无线通信接口。例如，无线通信单元110将从指示对象20接收的信息输出到处理单元140。无线通信单元110可以接收指示用户操作的信息，例如与指示对象20有关的按钮操作。另外，无线通信单元110可以接收由包括在指示对象20中的惯性传感器等感测到的传感器信息。注意，在指示对象20是诸如用户的手指之类的不具有无线通信功能的对象的情况下，可以省略无线通信单元110。
(2)输入/输出单元120
输入/输出单元120是通过显示控制装置10介导与其他装置的通信的接口。例如，输入/输出单元120从成像设备30获取拍摄图像，将拍摄图像输出到处理单元140，并且将从处理单元140获取的显示控制信息输出到显示装置40。
(3)存储单元130
存储单元130暂时或永久地存储用于显示控制装置10的操作的程序和各种数据。
(4)处理单元140
处理单元140提供显示控制装置10的各种功能。如图3所示，处理单元140包括检测单元141和显示控制单元143。注意，处理单元140可以进一步包括除这些部件之外的组件。即，处理单元140可以执行除这些部件的操作之外的操作。
检测单元141具有检测由显示控制装置10获取的信息中的各种信息的功能。例如，检测单元141基于来自成像装置30的拍摄图像，识别用户与显示区域50之间的位置关系、用户的姿态、指示对象20与显示区域50之间的位置关系、指示对象20的姿态等。另外，检测单元141可以基于指示对象20的传感器信息来识别指示对象20的姿态。检测单元141然后基于这些检测结果检测原始坐标。此外，在指示对象20是激光指示器的情况下，检测单元141可以通过识别包括在来自成像装置30的拍摄图像中的显示区域50上的激光照射点(即，亮点)的中心来检测原始坐标。
显示控制单元143基于检测单元141的检测结果来确定显示坐标。在这种情况下，显示控制单元143控制指示对象20所指向的显示区域50上的原始坐标与将显示与指示对象20相对应的显示对象52的显示坐标之间的关系。特别地，显示控制单元143基于用户与显示区域50之间的位置关系(例如，将在稍后描述的参考点、显示区域50与用户之间距离以及用户从显示区域50的中心的位移等)以及原始坐标，来控制原始坐标与显示坐标之间的关系。通过这种显示控制，用户可以通过与显示区域50的位置关系相应并且非不自然的操作，用指针52指示整个显示区域50。注意，显示控制单元143通过使用与原始坐标的坐标系和显示坐标的坐标系相同的坐标系使得指向点51的位置实时地反映到指针52的位置。
显示控制单元143生成用于使得指针52显示在反映原始坐标与显示坐标之间的关系的控制结果的显示坐标处的显示控制信息，并且将显示控制信息通过输入/输出单元120输出到显示装置40。
<2.2.处理流程>
图4是示出根据本实施例的将在显示控制装置10处执行的显示控制处理的流程的示例的流程图。
如图4所示，首先，无线通信单元110从指示对象20获取传感器信息(步骤S102)。在指示对象20不包括传感器的情况下，该步骤将被省略。然后，输入/输出单元120从成像设备30获取拍摄图像(步骤S104)。检测单元141然后基于传感器信息和拍摄图像来检测原始坐标(步骤S106)。显示控制单元143然后确定显示坐标(步骤S108)。稍后将使用多个示例来详细描述用于确定在此使用的显示坐标的方法的具体示例。随后，输入/输出单元120将包括指示由显示控制单元143确定的显示坐标的信息的显示控制信息输出到显示装置40，并使得显示控制信息被反映以显示在显示区域50中(步骤S110)。
处理如上所述结束。
<<3.具体示例>>
随后，将参照图5至图17描述显示控制装置10(例如，显示控制单元143)的显示控制的具体示例。注意，在以下描述中，为了简化说明而集中于X轴方向，但同一说明也适用于Y轴方向。
<3.1.第一示例>
本示例是其中添加了基于对指向点51(即，原始坐标)的可移动范围的设置的偏移的形式。
图5是用于说明根据第一示例的显示控制处理的说明图。如图5的上部所示，首先，用户设置原始坐标的可移动范围53，该可移动范围表示指向点51移动的范围。然后，如图5的下部所示，显示控制装置10基于原始坐标的可移动范围53的设置来控制原始坐标与显示坐标之间的关系。例如，随着原始坐标接近可移动范围53的端部，显示控制装置10增大原始坐标与显示坐标之间的相对距离(即，偏移55的长度)。在图5所示的示例中，指向点51与可动范围53的中心附近的指针52匹配(即没有偏移)，并且在指向点51位于可移动范围53的端部的情况下，指针52显示在显示区域50的端部，而向指向点51添加长偏移55。利用这种显示控制，有可能使用指示器52通过指示对象20在比显示区域50的宽度窄的可移动范围53内的操作，即，通过非不自然的操作，来指示显示区域50的整个宽度。显示控制装置10可以使原始坐标与显示坐标之间的相对距离的最大值(即，原始坐标位于可移动范围53的端部的情况下的偏移的距离)随着可移动范围53变窄而变大。通过这种方式，即使在可移动范围53窄的情况下，也有可能使用指示对象52通过指示对象20在可移动范围53内的操作来指示显示区域50的整个宽度。
在此，用于移动指向点51的中心被设置为参考点54。参考点54基于用户与显示区域50之间的位置关系来设置。通常，参考点54是用户的前方点(即，从用户到显示区域50的垂直线与显示区域50相交的点)。从另一个角度来看，参考点54可以被认为是可移动范围53的中心点。参考点54可以根据用户的姿态(诸如，例如身体的方向和抓握指示对象20的手臂所面对的方向)而从前方点移位。另外，参考点54可以是显示区域50的中心点，或者可以根据上述位置关系、用户的姿态等从显示区域50的中心点移位。注意，关于Y轴方向，可以根据显示区域50的中心、用户的前方点、用户的视点的高度、抓握指示对象20的高度等来设置参考点54。注意，参考点54可以位于显示区域50上，或者可以位于显示区域50之外。
随着从参考点54到原始坐标的距离增大，显示控制装置10可以增大从原始坐标到显示坐标的相对距离。在图5所示的示例中，在指向点51位于参考点54的情况下，指向点51与指针52匹配，并且在指向点51远离参考点的情况下54，指针52显示在显示区域50的端部，而向指向点51添加长偏移55。利用这种显示控制，有可能在用户可能注意到原始坐标与显示坐标之间的位移的区域中的相对距离更小，并且使用户不太可能注意到位移的区域中的相对距离更大。注意，从参考点54到原始坐标的距离的增大可以被视为原始坐标接近可移动范围53的端部。
<3.2.第二示例>
本示例是添加了根据用户与显示区域50之间的距离的偏移的示例。
图6是用于说明根据第二示例的显示控制处理的说明图。如图6所示，将X轴方向上显示区域50的宽度设置为宽度W，并且将Z轴方向上从显示区域50到用户的距离设置为距离L。注意，距离L是由检测单元141检测到的位置关系的示例，并且可以通过例如图像识别或利用深度传感器等来检测。下面将参考图7和图8描述原始坐标与显示坐标之间的关系的具体控制示例。
图7是用于说明根据第二示例的显示控制处理的说明图。更具体地，图7是示出对应于距离L的偏移的示例的图。水平轴表示在指示对象20指向参考点54的情况下的角度设置为0的情况下指示对象20的角度。该角度可以基于指示对象20的倾斜、握持指示对象20或执行指示的手与前臂部分之间的角度、用户的姿态等来计算。竖直轴表示在参考点54的X坐标被设置为0的情况下显示区域50上的X坐标。参考标号61是指示对象20的角度的上限值，并且例如是抓握指示对象20的用户能够自然地弯曲他的/她的手腕的上限角度。参考标号62是X轴方向上的上限坐标，即显示区域50的端部的坐标。
显示控制装置10可以在距离L短的情况下和距离L长的情况下切换偏移添加处理。例如，显示控制装置10根据距离L比阈值更短还是更长来切换偏移添加处理。
首先，将描述距离L短(例如，距离L比阈值短)的情况。参考标号63表示在距离L短的情况下与指示对象20的角度相对应的原始坐标。参考标号65表示在距离L短的情况下与指示对象20的角度相对应的显示坐标。在相同角度下参考标号63与参考标号65之间在竖直轴方向上的距离表示偏移的长度。如图7所示，随着角度变大，偏移增大。即，显示控制装置10随着从参考点54到原始坐标的距离增大而增大相对距离。另外，如图7所示，偏移在这样的方向上添加以使原始坐标从参考点54的位移进一步变大。即，显示控制装置10基于原始坐标使显示坐标位于与参考点54的一侧相反的一侧。换句话说，从参考点54到原始坐标的方向变得与从原始坐标到显示坐标的方向相同或基本相同(两个方向所形成的角度变得小于±90度)。例如，如果用户指向从参考点54在X轴上的正方向，则在X轴上的正方向上添加偏移。在这种情况下，位移可能发生在Y轴方向上。
在距离L短的情况下，当用户指向显示区域50的中心时，如果原始坐标与显示坐标分离，则用户会感到不适。因此，如图7所示，显示控制装置10可以通过在从参考点54到原始坐标的距离短的情况下使相对距离为零或者缩短相对距离来避免用户感到不适。同时，随着指示对象20的角度变大(即，随着指示对象20指向显示区域50的端部)，指针52相对于角度的移动变得更大，并且即使原始坐标与显示坐标分离，用户也不太可能感到不适。然而，如果无法在指示对象20的角度不超过用户能够自然地弯曲他/她的手腕的上限角度的情况下指向显示区域50的端部，则操作感显著降低。因此，如图7所示，显示控制装置10能够在从参考点54到原始坐标的距离长的情况下使相对距离更长，而使得能够在用户能够自然弯曲他/她的手腕的上限角度的范围内来用指示对象20指向显示区域50的端部。
随后，将描述距离L长(例如，距离L比阈值长)的情况。参考标号64表示在距离L长的情况下与指示对象20的角度相对应的原始坐标。参考标号66表示在距离L长的情况下与指示对象20的角度相对应的显示坐标。那么，在相同角度下参考标号64与参考标号66之间在竖直轴方向上的距离表示偏移的长度。如图7所示，随着角度变大，偏移增大。即，显示控制装置10随着从参考点54到原始坐标的距离增大而增大相对距离。另外，如图7所示，偏移在这样的方向上添加以使原始坐标从参考点54的位移被抑制。也就是说，显示控制装置10基于原始坐标使得显示坐标位于与参考点54的一侧相同的一侧。换句话说，与从参考点54到原始坐标的方向相反的方向变得与从原始坐标到显示坐标的方向相同或基本相同(两个方向所形成的角度变得小于±90度)。例如，如果用户指向从参考点54在X轴上的正方向，则在X轴上的负方向上添加偏移。在这种情况下，位移可能发生在Y轴方向上。
在距离L长的情况下，指针52相对于指示对象20的角度的移动也大，即指针52变得过度敏感。因此，如图7所示，显示控制装置10可以通过在原始坐标从参考点54的位移随着角度的增大被抑制的方向上添加偏移，来降低指针52的灵敏度以改善用户的操作感。
上面已经描述了根据距离L切换偏移添加处理的示例。随后，将参考图8描述另一个示例。
图8是用于说明根据第二示例的显示控制处理的说明图。更具体地，图8是示出与距离L相对应的偏移的另一示例的图。水平轴表示在指示对象20指向参考点54的情况下的角度设置为0的情况下指示对象20的角度。竖直轴表示在参考点54的X坐标设置为0的情况下显示区域50上的X坐标。距离L短的情况下的处理如上面参考图8所述。
参考标号67表示在距离L长的情况下与指示对象20的角度相对应的显示坐标。在相同角度下参考标号64与参考标号67之间在竖直轴方向上的距离表示偏移的长度。如图8所示，即使在参考点54附近，也添加了偏移。另外，在角度小的情况下以及在角度大的情况下统一地添加了偏移。这种统一的偏移添加使用户能够获得一致的操作感。
<3.3.第三示例>
本示例是在用户不位于显示区域50前方的中心的情况下，添加了与从中心的位移相对应的偏移的示例。
图9是用于说明根据第三示例的显示控制处理的说明图。如图9所示，从参考点54(例如，用户的前方点)到显示区域50的一个端部的距离被设置为W1，并且到另一个端部的距离被设置为W2。距离W1大于距离W2。在用户不以这种方式位于显示区域50的中心的情况下，显示控制装置10在在原始坐标位于距参考点54较近的端部侧的情况下并且在原始坐标位于距参考点54较远的端部侧的情况下之间添加不对称偏移。下面将参考图10描述原始坐标与显示坐标之间关系的具体控制示例。
图10是用于说明根据第三示例的显示控制处理的说明图。更具体地，图10是示出与距离L以及距离W1和距离W2相对应的偏移的示例的图。水平轴表示在指示对象20指向参考点54的情况下的角度设置为0的情况下指示对象20的角度。竖直轴表示在参考点54的X坐标设置为0的情况下显示区域50上的X坐标。
首先，将描述原始坐标位于距参考点54较近的端部侧的情况。参考标号68是显示区域50在X轴方向的上限之中距参考点54较近的端部的坐标(即，W2)。参考标号69表示在距离L短的情况下与指示对象20的角度相对应的显示坐标。那么，在相同角度下参考标号63与参考标号69之间在竖直轴方向上的距离表示偏移的长度。另外，参考标号70指示在距离L长的情况下与指示对象20的角度相对应的显示坐标。那么，在相同角度下参考标号64与参考标号70之间在竖直轴方向上的距离表示偏移的长度。
随后，将描述原始坐标位于距参考点54较远的端部侧的情况。参考标号71是显示区域50在X轴方向的上限之中距参考点54较远的端部的坐标(即W1)。注意，虽然最初，参考标号68和参考标号71的正号和负号应该是相反的，但是在此，这两个符号被设置为正以简化说明。参考标号72表示在距离L短的情况下与指示对象20的角度相对应的显示坐标。那么，在相同角度下参考标号63与参考标号72之间在竖直轴方向上的距离表示偏移的长度。另外，参考标号73指示在距离L长的情况下与指示对象20的角度相对应的显示坐标。那么，在相同角度下参考标号64与参考标号73之间在竖直轴方向上的距离表示偏移的长度。
如果在距离L短的情况下(即，距离L比阈值短)的情况下将在原始坐标位于距参考点54较近的端部侧的情况下的显示坐标(参考标号69)与在原始坐标位于距参考点54较远的端部侧的情况下的显示坐标(参考标号72)进行比较，偏移的长度在后一种情况下比在前一种情况下长。也就是说，在距离L比阈值短的情况下，显示控制装置10使从原始坐标到显示坐标的相对距离在原始坐标位于显示区域50的端部之中距参考点54较远的端部侧的情况下比在原始坐标位于距参考点54较近的端部侧的情况下更大。
如果在距离L长的情况下(即，距离L比阈值长)的情况下将在原始坐标位于距参考点54较近的端部侧的情况下的显示坐标(参考标号70)与在原始坐标位于距参考点54较远的端部侧的情况下的显示坐标(参考标号73)进行比较，偏移的长度在前一种情况下比在后一种情况下长。也就是说，在距离L比阈值长的情况下，显示控制装置10使从原始坐标到显示坐标的相对距离在原始坐标位于显示区域50的端部之中距参考点54较近的端部侧的情况下比在原始坐标位于距参考点54较远的端部侧的情况下更大。
通过这种处理，即使在用户不位于显示区域50的前方的中心的情况下，用户也可以使用指针52通过与他/她自己的位置相应并且非不自然的操作来指示整个显示区域50。
<3.4.第四示例>
本示例是用户不在显示区域50的前方的示例。
图11是用于说明根据第四示例的显示控制处理的说明图。如图11所示，用户不位于显示区域50的前方，并且用户的前方点位于显示区域50之外。在这种情况下，如下所述，可以执行根据指示对象20的角度的显示控制。
图12是用于说明根据第四示例的显示控制处理的说明图。如图12所示，假定参考点54是显示区域50中的任意点(例如，中心点)。那么，显示控制装置10识别出指向点51位于与抓握指示对象20的用户的前臂部分与指示对象20之间的角度(参考标号74)相应的位置。例如，在前臂部分与指示对象20之间的角度(参考标号74)为0的情况下，识别出指向点51位于参考点54处。另外，在前臂部分与指示对象20之间的角度(参考标号74)不为0的情况下，识别出指向点51位于从参考点54偏移了与该角度相对应的量的位置处。注意，虽然图12示出了位于用户的前臂部分指向的方向上的参考点54，但是参考点54可以位于移位位置。如图12所示，在指向点51位于参考点54的情况下，指向点51与指针52匹配(即，没有偏移)，而在指向点51移位的情况下，向指向点51添加长偏移55。该偏移可以以与以上参考例如图7、图8或图10所描述的示例类似的方式来控制。
<3.5.第五示例>
本示例是添加了考虑了用户的姿态的偏移的示例。
图13是用于说明根据第五示例的显示控制处理的说明图。如图13所示，在用户相对于显示区域50面对前方(即，用户所面对的方向变为垂直于显示区域50的线)的情况下，在用户面对的方向上的点56(在本示例中，该点将被称为参考点)与前方点57匹配。同时，在用户相对于显示区域50倾斜地面对的情况下(即，用户面对的方向未变为垂直于显示区域50的线)，参考点56与前方点57不匹配。在这两种情况下，显示控制装置10都添加非对称偏移。在这种情况下，显示控制装置10进一步基于用户的姿态来控制原始坐标与显示坐标之间的关系。通过这种方式，用户可以使用指针52通过根据他/她自己的姿态相应并且非不自然的操作来指示整个显示区域50。以下将参考图14描述原始坐标与显示坐标之间的关系的具体控制示例。注意，将使用图14描述距离L比阈值短的情况。
图14是用于说明根据第五示例的显示控制处理的说明图。水平轴表示在指示对象20指向参考点56的情况下的角度设置为0的情况下指示对象20的角度。竖直轴表示在前方点57的X坐标设置为0的情况下显示区域50上的X坐标。参考标号69和参考标号72表示在参考点56与前方点57匹配的情况下与指示对象20的角度相对应的显示坐标，其已经参考图10详细描述。同时，参考标号75和参考标号76指示在参考点56与前方点57不匹配的情况下与指示对象20的角度相对应的显示坐标。参考标号75指示在原始坐标位于距前方点57较近的端部侧的情况下与指示对象20的角度相对应的显示坐标。注意，截距77指示指示对象20指向前方点57。参考标号76指示在原始坐标位于距前方点57较远的端部侧的情况下与指示对象20的角度相对应的显示坐标。注意，截距78指示指示对象20指向前方点57。
<3.6.第六示例>
本示例是根据指向点51的移动来控制与指针52的移动有关的加速度的形式。
图15是用于说明根据第六示例的显示控制处理的说明图。水平轴表示在指示对象20指向参考点54(例如，用户的前方点)的情况下的角度设置为0的情况下指示对象20的角度。纵轴是用于计算加速度的系数的值。显示控制装置10使用该系数来控制显示坐标相对于原始坐标的加速度的相对加速度。例如，默认加速度与该系数的乘积变为调整后的加速度。参考标号79表示与距离L短的情况下与指示对象20的角度相对应的系数。参考标号80表示在距离L长的情况下与指示对象20的角度相对应的系数。也就是说，在距离L短的情况下，相对加速度随着参考点54距原始坐标更远而增大，而在距离L长的情况下，相对加速度随着参考点54距原始坐标更远而减小。出于类似于如上参考图7所述的根据从原始坐标到显示坐标的相对距离的距离L进行控制会改善用户的操作感的原因，有可能通过这种对相对加速度的控制来改善用户的操作感。
<3.7.第七示例>
本示例是能够在用于粗略指针操作的正常操作模式与用于微小指针操作的详细操作模式之间进行切换的形式。换句话说，本示例是其中显示控制装置10(显示控制单元143)切换原始坐标与显示坐标之间的关系是固定的还是可变的的形式。
图16是用于说明根据第七示例的显示控制处理的说明图。更具体地，图16的上部是示出正常操作模式下的操作的图。在正常操作模式下，显示控制装置10显示指针52A和指针52B作为与指示对象20相对应的显示对象。指针52B是指示指针52A在框架内操作的显示。在正常操作模式下，指针52A与指针52B协作。在此，显示控制装置10在正常操作模式下以如在例如上述第一示例中所描述的可变方式等方式控制原始坐标与显示坐标之间的关系。通过这种方式，用户能够以小的操作量使用指针52A、52B指示整个显示区域50。
同时，图16的下部是示出详细操作模式中的操作的图。同样，在详细操作模式下，显示控制装置10显示指针52A和指针52B为与指示对象20相对应的显示对象。然而，显示控制装置10固定指针52B并将指针52A移动到指针52B内部。在这种情况下，显示控制装置10固定原始坐标与指针52A之间的关系。通过这种方式，用户可以精确地操作指针52A。注意，作为固定的示例，显示控制装置10可以使原始坐标与显示坐标匹配。另外，当指针52A接近指针52B的框架时，显示控制装置10可以在远离指针52A的方向上移动指针52B。通过这种方式，有可能防止操作范围在详细操作模式下受到限制。
而在正常操作模式下，指针52A固定在指针52B的框架的中心等处，在详细操作模式下，指针52A不固定并且只有指针52A移动。通过这种方式，用户可以知道操作模式的改变。另外，显示控制装置10可以在正常操作模式与详细操作模式之间改变指针52A和52B的对比度(例如，反转颜色密度)。同样，通过这种方式，用户可以知道操作模式的改变。
<3.8.补充说明>
(1)基于其他因素控制原始坐标与显示坐标之间的关系
显示控制装置10可以基于除上述信息之外的各种各样的信息来控制原始坐标与显示坐标之间的关系。
例如，显示控制装置10可以进一步基于用户的简档信息来控制原始坐标与显示坐标之间的关系。具体地，因为关节的运动范围可以根据年龄而改变，显示控制装置10可以根据用户的年龄来扩大或缩小可移动范围53。另外，因为视角的高度可以根据用户的身体高度而改变，显示控制装置10可以根据用户的身体高度来扩大或缩小可移动范围53。另外，显示控制装置10可以基于用户的注视点、行为识别结果、移动速度、生物信息(诸如心率，身体温度、出汗、血压、出汗、脉搏、呼吸、悸动、眼球运动、凝视时间、瞳孔直径大小、血压、脑电波、身体运动、身体位置、皮肤温度、皮肤电阻、微振动(MV)、肌肉电位和血氧饱和度水平(SPO2))、感觉评估结果(喜悦、愤怒、悲伤和愉悦)等来控制原始坐标与显示坐标之间的关系。
例如，显示控制装置10可以进一步基于设备的信息来控制原始坐标与显示坐标之间的关系。设备的信息的示例可以包括例如显示区域50的状态。显示区域50的状态的示例可以包括显示区域50的尺寸、长宽比、形状等，因为存在显示区域50弯曲或存在凹凸的情况。另外，设备的信息的示例可以包括指示对象20是诸如激光指示器之类的装置或用户的手指等。另外，设备的信息的示例可以包括用户的位置(例如，重心的位置)与指示对象20的位置之间的距离。另外，显示控制装置10可以基于设备属性(HMD、TV、智能电话)、显示器分辨率、显示方案、HMD方案、是否存在传感器、ID、剩余电池电量、电池容量、是否正在进行充电、CPU的处理负载、CPU的温度、是否存在用于外部存储介质的插槽、通信方案、声学特性、成像器的特性、3D拍摄能力、3D显示能力、设备的姿态、可穿戴设备的穿戴状态(穿戴、未穿戴、穿戴该设备的位置)、设备的位置(如果该设备是可穿戴设备，则为穿戴该设备的位置)等来控制原始坐标与显示坐标之间的关系。
例如，显示控制装置10可以进一步基于内容的信息来控制原始坐标与显示坐标之间的关系。内容的信息的示例可以包括例如指针52是指向诸如图标之类的区域还是指向精确位置。另外，内容的信息的示例可以包括例如内容是仅需要粗略指示还是需要微小指示。另外，显示控制装置10可以基于内容的显示尺寸、显示位置、显示姿态、显示的动画状态(移动速度、移动方向、轨迹、更新频率)、内容属性(类型、重要程度、优先级、应用程序类型(浏览器、地图、邮件程序、IME、SNS))、分辨率、颜色、使用模式等来控制原始坐标与显示坐标之间的关系。
另外，显示控制装置10可以进一步基于环境信息来控制原始坐标与显示坐标之间的关系。例如，显示控制装置10可以基于背景(重要信息、背景颜色)、照度、位置(室内、外部、情形(地理栅栏)、水下、气氛)、行动历史(是否位于熟悉的位置)、情况(是否有其他人、汽车等以及密度)、时间、海拔、温度、风向、风量等来控制原始坐标与显示坐标之间的关系。
在此，偏移设置(即，与原始坐标与显示坐标之间的关系的控制有关的各种设置，诸如距离L的阈值、待添加的偏移的长度和方向)可以是由各种因素触发而改变。例如，在上述简档信息、设备的信息、内容的信息或环境信息存在变化的情况下，显示控制装置10可以改变偏移设置。另外，在用户与显示区域50之间的位置关系改变的情况下，并且在用户的视点位置与显示区域50之间的位置关系改变的情况下，显示控制装置10可以改变偏移设置。
(2)异常处理
另外，显示控制装置10可以执行异常处理。例如，显示控制装置10可以使原始坐标与显示坐标匹配，即，在发生异常时使偏移为零，同时以如上所述在正常状态下以可变方式控制原始坐标与显示坐标之间的关系。例如，在距离L变得比阈值短的情况下，显示控制装置10使偏移为零。另外，显示控制装置10可以在用户执行书写字符的操作或使用指示器52绘制图片的情况下使偏移为零。再另外，显示控制装置10可以在用户保持特定姿势的情况下，例如，使用从前臂到指尖的整个部分，或者在用户的视线的方向匹配指示对象20指向的方向的情况下使偏移为零。
(3)校准
随后，将参考图17描述校准。图17是用于说明根据本实施例的显示控制装置10的校准的说明图。
首先，显示控制装置10(例如，检测单元141)基于由成像设备30A和30B拍摄的图像来检测显示区域50与用户之间的位置关系。成像装置30A和30B可以形成立体相机。
随后，显示控制装置10(例如，显示控制单元143)接受用户对可移动范围53的设置。显示控制装置10还可以接受加速度的设置。
通过这样的校准，显示控制装置10(显示控制单元143)可以根据用户的设置来控制原始坐标与显示坐标之间的关系。例如，在区域58中，原始坐标与显示坐标之间的相对距离变短，并且在区域59中，原始坐标与显示坐标之间的相对距离变长。
<<4.硬件配置示例>>
最后，将参考图18描述根据本实施例的信息处理装置的硬件配置。图18是示出根据本实施例的信息处理装置的硬件配置的示例的框图。注意，图18中所示的信息处理装置900可以实现例如图3中所示的显示控制装置10。由根据本实施例的显示控制装置10执行的信息处理通过下面描述的软件与硬件之间的协作来实现。
如图18所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储设备908、驱动器909、连接端口911和通信设备913。信息处理装置900可以包括诸如DSP或ASIC之类的处理电路来代替CPU 901或与CPU 901组合。
CPU 901用作处理设备和控制设备，并且根据各种程序来控制信息处理装置900的整体操作。此外，CPU 901可以是微处理器。ROM 902存储CPU901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序以及在执行期间适当改变的参数等。例如，CPU 901可以形成图3中所示的处理单元140。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a通过桥接器904连接到外部总线904b，诸如外围部件互连/接口(PCI)总线。注意，主总线904a、桥接器904和外部总线904b不一定配置为不同的部件，但其功能可以在单个总线中实现。
输入装置906例如通过用户向其中输入信息的诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和杠杆之类的装置来实现。此外，输入装置906可以是例如使用红外光或其他无线电波的遥控装置，或者可以是可响应于信息处理装置900的操作而操作的外部连接装置，诸如移动电话和PDA。另外，输入装置906可以包括例如基于用户使用上述输入装置输入的信息来生成输入信号并且将输入信号输出到CPU 901的输入控制电路等。信息处理装置900的用户能够向信息处理装置900输入各种数据，并且通过操作该输入装置906来指示信息处理装置900执行处理操作。
输出装置907包括能够在视觉上或听觉上向用户通知所获取的信息的装置。这样的设备包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪和灯之类的显示装置，诸如扬声器和耳机之类的声音输出装置，打印机装置等。输出装置907输出例如从信息处理装置900所执行的各种处理获得的结果。具体地，显示装置以各种形式(例如文本、图像、表格和图表)可视地显示从信息处理装置900所执行的各种类型的处理获得的结果。同时，声音输出装置将包括再现的音频数据、声音数据等的音频信号转换为模拟信号，并且可听地输出模拟信号。
存储装置908是用于数据存储的装置，其被配置为信息处理装置900的存储单元的示例。存储装置908例如通过HDD、半导体存储设备、光存储设备、磁光存储设备等磁存储装置来实现。存储装置908可以包括记录介质、将数据记录在记录介质中的记录装置、从记录介质读出数据的读出装置、删除记录在记录介质中的数据的删除装置等。该存储设备908存储待由CPU 901执行的程序、各种数据、从外部获取的各种数据等。存储装置908可以形成例如图3所示的存储单元130。
驱动器909是用于存储介质的读取器/写入器，并且被构建在或外部附接到信息处理装置900。驱动器909读出记录在诸如安装的磁盘、光盘、磁光盘或半导体存储器之类的可移动存储介质上的信息，并将读出的信息输出到RAM 903。此外，驱动器909还能够将信息写入可移动存储介质中。
连接端口911是连接到外部装置的接口，并且是用于连接通过例如通用串行总线(USB)进行数据传输的外部装置的端口。连接端口911可以形成例如图3所示的输入/输出单元120。
通信设备913例如是包括用于连接到网络920的通信设备等的通信接口。通信设备913可以是例如用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，通信设备913可以是用于光通信的路由器、用于不对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。该通信设备913能够例如根据诸如TCP/IP之类的预定协议向互联网或其他通信设备发送和从其接收信号等。通信装置913可以形成例如图3所示的无线通信单元110。
注意，网络920是通过其从连接到网络920的装置发送信息的有线或无线传输路径。网络920可以包括诸如因特网、电话网络和卫星网络之类的公共网络，包括以太网(注册商标)的各种局域网(LAN)，以及广域网(WAN)。此外，网络920还可以包括诸如互联网协议-虚拟专用网络(IP-VPN)之类的租用线路网络。
上面已经描述了能够实现根据本实施例的信息处理装置900的功能的硬件配置的示例。每个上述部件可以用通用构件来实现，并且还可以用专用于每个部件的功能的硬件来实现。因此，有可能根据实现本实施例时的技术水平适当地修改所使用的硬件配置。
注意，有可能创建用于实现根据上述实施例的信息处理装置900的每个功能的计算机程序，并且在PC等中实现该计算机程序。此外，还有可能提供存储有这种计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存。此外，该计算机程序也可以经由例如不使用记录介质的网络来分发。
<<5.结论>>
以上参照图1至图18详细描述了本公开的实施例。如上所述，根据本实施例的显示控制装置10基于用户与显示区域50之间的位置关系以及用户的指示对象20所指向的显示区域50上的原始坐标，来控制原始坐标与将显示与指示对象20相对应的显示对象的显示坐标之间的关系。通过这种方式，可以进一步改善指示操作的操作感。更具体地，用户可以使用指示器52通过与显示区域50的位置关系相应并且非不自然的操作来指示整个显示区域50。
以上参考附图描述了本公开的一个或多个优选实施例，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变化和修改，并且应该理解，它们自然会落入本公开的技术范围内。
例如，本说明书中描述的每个装置可以实现为单个装置，或者装置的部分或全部可以实现为单独的装置。例如，在图3所示的显示控制装置10的功能配置示例中，存储单元130和处理单元140可以设置在诸如经由网络连接到无线通信单元110和输入/输出单元120的服务器等装置处。另外，显示控制装置10、成像装置30、显示装置40和显示区域50可以一体地形成。
另外，虽然上面已经描述了与整个显示区域50相关地控制原始坐标与显示坐标之间的关系的情况，但是本技术不限于这样的示例。例如，原始坐标与显示坐标之间的关系可以与应用程序窗口相关地进行控制。具体地，可以用指针52通过在比应用程序窗口更窄的范围内操作原始坐标来指示整个应用程序窗口。
另外，可以适当地组合上述各个示例。
在此参考流程图和序列图描述的处理不一定必须以所示顺序执行。一些处理步骤可以并行执行。此外，还可以采用额外的处理步骤，同时可以省略一些处理步骤。
另外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，除上述效果之外或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
此外，本技术也可以如下配置。
(1)
一种信息处理装置，包括：
控制单元，其配置用于基于用户与显示区域之间的位置关系以及所述用户的指示对象所指向的所述显示区域上的第一坐标，来控制所述第一坐标与将显示与所述指示对象相对应的显示对象的第二坐标之间的关系。
(2)
根据(1)所述的信息处理装置，
其中随着基于所述位置关系从参考点到所述第一坐标的距离增大，所述控制单元增大所述第一坐标与所述第二坐标之间的相对距离。
(3)
根据(2)所述的信息处理装置，
其中所述位置关系包括从所述显示区域到所述用户的距离。
(4)
根据(3)所述的信息处理装置，
其中，在所述距离短于阈值的情况下，所述控制单元基于所述第一坐标使得所述第二坐标布置在与所述参考点的一侧相反的一侧上。
(5)
根据(3)或(4)所述的信息处理装置，
其中，在所述距离短于阈值并且所述第一坐标位于所述显示区域的端部中距所述参考点较远的端部侧的情况下，与所述第一坐标位于距所述参考点的端部侧较近的情况相比，所述控制单元增大所述相对距离。
(6)
根据(3)至(5)中任一项所述的信息处理装置，
其中，在所述距离大于阈值的情况下，所述控制单元使得所述第二坐标基于所述第一坐标被布置在与所述参考点的一侧相同的一侧。
(7)
根据(6)所述的信息处理装置，
其中，在所述距离长于阈值并且所述第一坐标位于所述显示区域的端部中距所述参考点较近的端部侧的情况下，与所述第一坐标位于距所述参考点的端部侧较远的情况相比，所述控制单元增大所述相对距离。
(8)
根据(1)至(7)中任一项所述的信息处理装置，
其中，所述控制单元进一步基于所述第一坐标的可移动范围的设置来控制所述关系。
(9)
根据(8)所述的信息处理装置，
其中，当所述第一坐标接近所述可移动范围的端部时，所述控制单元增大所述第一坐标与所述第二坐标之间的相对距离。
(10)
根据(8)或(9)所述的信息处理装置，
其中，随着所述可移动范围收缩，所述控制单元使得所述第一坐标与所述第二坐标之间的相对距离的最大值变大。
(11)
根据(1)至(10)中任一项所述的信息处理装置，
其中，所述控制单元进一步基于所述用户的简档信息来控制所述关系。
(12)
根据(1)至(11)中任一项所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的状态来控制所述关系。
(13)
根据(12)所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的尺寸来控制所述关系。
(14)
根据(12)所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的形状来控制所述关系。
(15)
根据(1)至(14)中任一项所述的信息处理装置，
其中，所述控制单元进一步基于内容的信息来控制所述关系。
(16)
根据(1)至(15)中任一项所述的信息处理装置，
其中所述控制单元切换使得所述关系固定或可变。
(17)
根据(1)至(16)中任一项所述的信息处理装置，
其中，所述控制单元控制所述第二坐标相对于所述第一坐标的加速度的相对加速度。
(18)
根据(1)至(17)中任一项所述的信息处理装置，
其中，所述控制单元进一步基于所述用户的姿态来控制所述关系。
(19)
一种信息处理方法，包括：
基于用户与显示区域之间的位置关系以及用户的指示对象所指向的所述显示区域上的第一坐标，使得处理器控制所述第一坐标与将显示与所述指示对象相对应的显示对象的第二坐标之间的关系。
(20)
一种程序，其使得计算机起到如下作用
控制单元，其配置用于基于用户与显示区域之间的位置关系以及所述用户的指示对象所指向的所述显示区域上的第一坐标，来控制所述第一坐标与将显示与所述指示对象相对应的显示对象的第二坐标之间的关系。
参考标记列表
1 显示控制系统
10 显示控制装置
20 指示对象
30 成像装置
40 显示装置
50 显示区域
51 指向点
52 指针
53 可移动范围
54 参考点
55 偏移
110 无线通信单元
120 输入/输出单元
130 存储单元
140 处理单元
141 检测单元
143 显示控制单元。

Claims (19)

1.一种信息处理装置，包括：
控制单元，其被配置用于基于用户与显示区域之间的位置关系以及所述用户的指示对象所指向的所述显示区域上的第一坐标，来控制所述第一坐标与将要显示与所述指示对象相对应的显示对象的第二坐标之间的关系，
其中，随着从基于所述位置关系的参考点到所述第一坐标的距离增大，所述控制单元增大所述第一坐标与所述第二坐标之间的相对距离。
2.根据权利要求1所述的信息处理装置，
其中所述位置关系包括从所述显示区域到所述用户的距离。
3.根据权利要求2所述的信息处理装置，
其中，在所述距离短于阈值的情况下，所述控制单元基于所述第一坐标使得所述第二坐标布置在与所述参考点的一侧相反的一侧上。
4.根据权利要求2所述的信息处理装置，
在所述距离短于阈值并且所述第一坐标位于所述显示区域的端部中的距所述参考点较远的端部侧的情况下，与所述第一坐标位于距所述参考点较近的端部侧的情况相比，所述控制单元增大所述相对距离。
5.根据权利要求2所述的信息处理装置，
其中，在所述距离大于阈值的情况下，所述控制单元基于所述第一坐标使得所述第二坐标被布置在与所述参考点的一侧相同的一侧上。
6.根据权利要求5所述的信息处理装置，
其中，在所述距离长于阈值并且所述第一坐标位于所述显示区域的端部中的更靠近所述参考点的端部侧的情况下，与所述第一坐标位于更远离所述参考点的端部侧的情况相比，所述控制单元增大所述相对距离。
7.根据权利要求1所述的信息处理装置，
其中，所述控制单元进一步基于所述第一坐标的可移动范围的设置来控制所述关系。
8.根据权利要求7所述的信息处理装置，
其中，随着所述第一坐标接近所述可移动范围的端部，所述控制单元增大所述第一坐标与所述第二坐标之间的相对距离。
9.根据权利要求7所述的信息处理装置，
其中，随着所述可移动范围收缩，所述控制单元使得所述第一坐标与所述第二坐标之间的相对距离的最大值变大。
10.根据权利要求1所述的信息处理装置，
其中，所述控制单元进一步基于所述用户的简档信息来控制所述关系。
11.根据权利要求1所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的状态来控制所述关系。
12.根据权利要求11所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的尺寸来控制所述关系。
13.根据权利要求11所述的信息处理装置，
其中，所述控制单元进一步基于所述显示区域的形状来控制所述关系。
14.根据权利要求1所述的信息处理装置，
其中，所述控制单元进一步基于内容的信息来控制所述关系。
15.根据权利要求1所述的信息处理装置，
其中所述控制单元切换使得所述关系固定或可变。
16.根据权利要求1所述的信息处理装置，
其中，所述控制单元控制所述第二坐标相对于所述第一坐标的加速度的相对加速度。
17.根据权利要求1所述的信息处理装置，
其中，所述控制单元进一步基于所述用户的姿态来控制所述关系。
18.一种信息处理方法，包括：
基于用户与显示区域之间的位置关系以及用户的指示对象所指向的所述显示区域上的第一坐标，使得处理器控制所述第一坐标与将要显示与所述指示对象相对应的显示对象的第二坐标之间的关系，
其中，随着从基于所述位置关系的参考点到所述第一坐标的距离增大，增大所述第一坐标与所述第二坐标之间的相对距离。
19.一种计算机可读存储介质，其上存储有程序，所述程序使得计算机起到如下作用：
控制单元，其被配置用于基于用户与显示区域之间的位置关系以及所述用户的指示对象所指向的所述显示区域上的第一坐标，来控制所述第一坐标与将显示与所述指示对象相对应的显示对象的第二坐标之间的关系，
其中，随着从基于所述位置关系的参考点到所述第一坐标的距离增大，所述控制单元增大所述第一坐标与所述第二坐标之间的相对距离。
CN201680073273.6A 2015-12-22 2016-09-20 信息处理装置、信息处理方法和程序 Expired - Fee Related CN108369477B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015250233 2015-12-22
JP2015-250233 2015-12-22
PCT/JP2016/077746 WO2017110178A1 (ja) 2015-12-22 2016-09-20 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108369477A CN108369477A (zh) 2018-08-03
CN108369477B true CN108369477B (zh) 2021-10-29

Family

ID=59089990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073273.6A Expired - Fee Related CN108369477B (zh) 2015-12-22 2016-09-20 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10503278B2 (zh)
EP (1) EP3396509B1 (zh)
JP (1) JP6922743B2 (zh)
CN (1) CN108369477B (zh)
WO (1) WO2017110178A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN104077056A (zh) * 2014-06-27 2014-10-01 广州视睿电子科技有限公司 屏幕显示页面的平移方法和系统
CN104331236A (zh) * 2014-09-30 2015-02-04 珠海市君天电子科技有限公司 一种多个窗口的绑定拖动方法及装置
JP2015035060A (ja) * 2013-08-08 2015-02-19 株式会社ニコン 撮像装置
CN104503682A (zh) * 2014-11-07 2015-04-08 联发科技（新加坡）私人有限公司 一种屏幕显示窗口的处理方法以及移动终端
WO2015050380A1 (ko) * 2013-10-02 2015-04-09 삼성전자 주식회사 화상 표시 장치 및 그의 포인팅 방법
CN104679483A (zh) * 2013-11-26 2015-06-03 中兴通讯股份有限公司 一种界面调整方法及移动设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733915B2 (ja) 2002-02-12 2006-01-11 セイコーエプソン株式会社 プロジェクタ
TW201020901A (en) * 2008-11-20 2010-06-01 Ibm Visual feedback for drag-and-drop operation with gravitational force model
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US9086756B2 (en) * 2009-11-18 2015-07-21 Opera Software Asa Snapping to text columns while scrolling
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US8902198B1 (en) * 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
US9696867B2 (en) * 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
CN105765513B (zh) * 2013-11-01 2020-02-21 索尼公司 信息处理装置、信息处理方法和程序
CN103677269A (zh) * 2013-12-11 2014-03-26 小米科技有限责任公司 一种内容显示方法、装置及终端设备
JP6335015B2 (ja) 2014-05-08 2018-05-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN106572389A (zh) * 2015-10-08 2017-04-19 小米科技有限责任公司 调节显示图像方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路
JP2015035060A (ja) * 2013-08-08 2015-02-19 株式会社ニコン 撮像装置
WO2015050380A1 (ko) * 2013-10-02 2015-04-09 삼성전자 주식회사 화상 표시 장치 및 그의 포인팅 방법
CN104679483A (zh) * 2013-11-26 2015-06-03 中兴通讯股份有限公司 一种界面调整方法及移动设备
CN104077056A (zh) * 2014-06-27 2014-10-01 广州视睿电子科技有限公司 屏幕显示页面的平移方法和系统
CN104331236A (zh) * 2014-09-30 2015-02-04 珠海市君天电子科技有限公司 一种多个窗口的绑定拖动方法及装置
CN104503682A (zh) * 2014-11-07 2015-04-08 联发科技（新加坡）私人有限公司 一种屏幕显示窗口的处理方法以及移动终端

Also Published As

Publication number Publication date
US20180356905A1 (en) 2018-12-13
JP6922743B2 (ja) 2021-08-18
EP3396509A1 (en) 2018-10-31
EP3396509A4 (en) 2018-12-05
US10503278B2 (en) 2019-12-10
JPWO2017110178A1 (ja) 2018-10-11
EP3396509B1 (en) 2021-10-27
WO2017110178A1 (ja) 2017-06-29
CN108369477A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US11410276B2 (en) Determination of an operation
EP3965003A1 (en) Image processing method and device
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP7026267B2 (ja) アプリケーションシーンにおけるインタラクティブ方法並びにその方法を実行するモバイル端末及びコンピュータプログラム
CN107438812B (zh) 信息处理设备、信息处理方法和程序
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
US10386921B2 (en) Display of information on a head mounted display
CN108369477B (zh) 信息处理装置、信息处理方法和程序
US11514604B2 (en) Information processing device and information processing method
WO2017134732A1 (ja) 入力装置、入力支援方法および入力支援プログラム
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
JP6587364B2 (ja) プログラムおよび画像表示システム
EP2811361A1 (en) Method and apparatus for interaction mode determination
WO2019142621A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113282207B (zh) 菜单展示方法、装置、设备、存储介质及产品
US20230400958A1 (en) Systems And Methods For Coordinating Operation Of A Head-Wearable Device And An Electronic Device To Assist A User In Interacting With The Electronic Device
CN112835445B (zh) 虚拟现实场景中的交互方法、装置及系统
JP6628331B2 (ja) プログラムおよび画像表示システム
WO2019142817A1 (ja) 画像表示システムおよびそのプログラムを記録した記録媒体
JP2020053077A (ja) プログラムおよび画像表示システム
CN117762243A (zh) 连续手势的运动映射
JP2020149336A (ja) 情報処理装置、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211029