CN108700992B - 信息处理设备、信息处理方法和计算机可读介质 - Google Patents

信息处理设备、信息处理方法和计算机可读介质 Download PDF

Info

Publication number
CN108700992B
CN108700992B CN201680081587.0A CN201680081587A CN108700992B CN 108700992 B CN108700992 B CN 108700992B CN 201680081587 A CN201680081587 A CN 201680081587A CN 108700992 B CN108700992 B CN 108700992B
Authority
CN
China
Prior art keywords
display mode
display
information item
output control
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680081587.0A
Other languages
English (en)
Other versions
CN108700992A (zh
Inventor
繁田修
泽井邦仁
山田真之
井田健太郎
池田拓也
川名阳方
井元麻纪
矢野茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108700992A publication Critical patent/CN108700992A/zh
Application granted granted Critical
Publication of CN108700992B publication Critical patent/CN108700992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

该信息处理设备包括输出控制单元，该输出控制单元基于用户对操作对象执行的指向操作的检测结果来输出与操作对象有关的显示信息。输出控制单元输出与操作对象有关的显示信息，使得根据执行指向操作的方式以第一显示模式和/或与第一显示模式不同的第二显示模式来显示操作对象。

Description

信息处理设备、信息处理方法和计算机可读介质
技术领域
本技术涉及能够响应于用户的指向操作来执行显示控制的信息处理设备。本技术还涉及信息处理设备中的信息处理方法和程序。
背景技术
如今，各种选择操作被用于执行人与计算机之间的交互。例如，可以提及对用户持有的设备(控制器)的操作以及对触摸屏的触摸操作。此外，手势输入、眼睛跟踪输入、对下一代指向设备的操作等似乎在未来占优势。
为了在执行这种指向操作时改进用户的操作感觉，重要的是，响应于操作向用户提供视觉反馈，这又引起了新类型的问题。
例如，在延迟与位置坐标的稳定性之间存在权衡的问题。具体地，当来自用户的输入被原样施加于所选择的操作位置时，位置坐标是不稳定的。作为对策，可以施加使位置坐标稳定的处理(滤波处理)。然而，在这种情况下会发生延迟。
如上所述，例如，在下面的专利文献1中，提出了具有小的延迟的用于使位置坐标稳定的技术。专利文献1中描述的信息处理设备经由触摸传感器获取触摸位置的坐标，计算表示按(n+1)至(n+q)的顺序获取的“q”坐标X(n+1)至X(n+q)之间的关系的回归线，计算最接近于坐标X(n+q)的回归线上的坐标X(n+q)'，并且通过使用坐标X(n+ q)'来校正坐标X(n+q)。利用该配置，在获取坐标X(n+q)的时间点处，可以开始坐标X(n+q)'的计算。因此，可以实时减少检测到的位置与实际位置之间的误差。结果，在不降低响应性的情况下减少了对用户的不适感。
引用列表
专利文献
专利文献1：日本专利申请公开第2012-194841号
发明内容
然而，在专利文献1中描述的技术中，即使当执行对位置坐标的稳定输入时，仍然存在例如由在屏幕上进行显示而引起的整个系统的延迟的影响。因此，仍然发生延迟。为了解决该问题，还存在用于基于从过去到现在的输入历史来预测未来位置坐标的技术。然而，该技术存在丧失位置坐标的稳定性的问题。
此外，尽管如同对智能手机进行触摸屏操作的情况，在操作范围相对小的情况下延迟可能不是显著问题，但是在对大屏幕执行选择操作时，移动范围广。因此，延迟的问题显著。此外，要施加于不稳定输入坐标(诸如在执行手势输入和眼睛跟踪输入中的不稳定输入坐标)的滤波处理负荷相对较高。因此，延迟是有问题的。
鉴于这种情况，已经使本技术实现下述目的：提供能够通过精心设计视觉反馈的表示来改进用户在执行指向操作时的操作感觉的信息处理设备，并且提供信息处理方法和程序。
问题的解决方案
根据本技术的实施方式，提供了一种信息处理设备，包括：
输出控制单元，其基于用户对操作对象的指向操作的检测结果，输出关于操作对象的显示信息项。
输出控制单元输出关于操作对象的显示信息项，使得根据指向操作的操作状况以第一显示模式和与第一显示模式不同的第二显示模式中的至少任一个来显示操作对象。
利用该配置，使得信息处理设备能够根据用户的指向操作的操作状况以不同的显示模式显示操作对象。以这种方式，可以改进指向操作时的操作感。
输出控制单元可以使用优先考虑关于指向操作的延迟减小的显示模式作为第一显示模式，并且使用优先考虑检测结果的稳定性的显示模式作为第二显示模式。
这样，使得信息处理设备能够根据指向操作的操作状况改变显示模式。以这种方式，可以实现关于指向操作的延迟减小和检测结果的稳定性二者。
输出控制单元可以根据指向操作的操作状况在第一显示模式和第二显示模式之间切换关于操作对象的显示信息项。
这样，使得信息处理设备能够根据操作状况动态地切换关于操作对象的显示信息项的显示模式。以这种方式，使得用户能够容易地掌握指向位置。
输出控制单元可以根据指向操作的操作状况，在以第一显示模式和第二显示模式两者输出关于操作对象的显示信息项的处理与在以第一显示模式和第二显示模式中的任一个输出关于操作对象的显示信息项的处理之间进行切换。
这样，使得信息处理设备能够根据操作状况显示关于操作对象的显示信息项的不同显示模式中的两种或仅一种。以这种方式，使得用户能够容易地掌握指向位置。
指向操作的操作状况可以包括以下项中的任一个：关于用户的用户信息项、关于信息处理设备的设备信息项、关于安装信息处理设备的环境的环境信息项以及关于指向操作的目标的内容信息项。
检测结果可以包括关于指向操作的输入坐标值的信息项，并且
操作对象可以被显示在与输入坐标值对应的位置处。
在这种情况下，作为第一显示模式，输出控制单元可以基于根据所检测到的输入坐标值计算出的预测值呈现关于操作对象的显示信息项，并且作为第二显示模式，输出控制单元可以基于通过将预定的稳定滤波器施加于所检测到的输入坐标值而生成的坐标值呈现关于操作对象的显示信息项。
这样，使得信息处理设备能够通过使用预测值来实现延迟减小，并且同时通过使用稳定滤波器来实现输入坐标值的稳定性。
作为第一显示模式，输出控制单元可以通过同时使用预测值和在预测值周围随机配置的值呈现关于操作对象的显示信息项，并且作为第二显示模式，输出控制单元可以在强调通过施加稳定滤波器而生成的坐标值的同时呈现关于操作对象的显示信息项。
这样，使得信息处理设备能够通过使用第一显示模式来阻止用户感知与输入坐标值对应的位置的不稳定性，并且使得能够通过使用第二显示模式清楚地使指向位置靠近用户。
用户信息项可以包括关于指向操作的速度的速度信息项。
在这种情况下，输出控制单元可以在包括在速度信息项中的指示指向操作的速度的值等于或大于预定阈值的情况下使用第一显示模式，并且在指示速度的值小于预定阈值的情况下使用第二显示模式。
这样，使得信息处理设备能够在指向操作的速度高时通过使用第一显示模式来实现延迟减小，并且在指向操作的速度低时通过使用第二显示模式来实现输入坐标值的稳定性(当指向操作停止时也是如此)。
输出控制单元可以在指向操作的目标是第一对象的情况下使用第一显示模式，并且在指向操作的目标是与第一对象不同的第二对象的情况下使用第二显示模式。
这样，使得信息处理设备能够根据指向操作的目标是延迟减少重要的对象(例如能够相对广泛地移动的对象)还是输入坐标值的稳定性重要的对象(例如相对较小且需要仔细指向操作的对象)来改变显示模式。
用户信息项可以包括关于指向操作的类型的操作类型信息项。
在这种情况下，输出控制单元可以在指向操作是移动对象的操作的情况下使用第一显示模式，并且在指向操作不是移动对象的操作的情况下使用第二显示模式。
这样，使得信息处理设备能够在执行需要延迟减少的移动操作时使用第一显示模式，并且在执行需要输入坐标值的稳定性而不是延迟减少的其他操作时使用第二显示模式。
设备信息项可以包括关于信息处理设备的CPU或电池的状况的信息项。
在这种情况下，输出控制单元可以在CPU或电池处于第一状况的情况下使用第一显示模式，并且在CPU或电池处于与第一状况不同的第二状况的情况下使用第二显示模式。
这样，例如，使得信息处理设备能够在CPU上的处理负荷低时或者在电池的剩余容量足够时使用处理负荷相对高(电力消耗高)的第一显示模式。使得信息处理设备能够在CPU上的处理负荷高时或者在电池的剩余容量低时使用处理负荷低(电力消耗低)的第二显示模式。
输出控制单元可以基于第一时间处的预测值和在第一时间之前的第二时间处的预测值的内插值来计算第一时间处的预测值的内插值，并且基于所计算的内插值在第一时间处呈现关于操作对象的显示信息项。
这样，使得信息处理设备能够通过使用内插值而使得使用预测值的第一显示模式成为稳定性和跟随性增加的显示模式。
作为第一显示模式，输出控制单元可以以颗粒或点的形式呈现关于操作对象的显示信息项，并且作为第二显示模式，输出控制单元可以以光标或焦点的形式呈现关于操作对象的显示信息项。
这样，在第一显示模式中，使得信息处理设备能够通过使用颗粒表示或点表示而使得在实现延迟减小的同时坐标值的不稳定性不明显。在第二显示模式中，使得信息处理设备能够通过使用光标表示或焦点表示而使得显示信息项在与稳定坐标值对应的位置处明显。
指向操作可以是用户用手指进行的操作。
在这种情况下，作为第一显示模式，输出控制单元可以以关于操作对象的显示信息项从作为指向操作的目标的对象朝向用户的手指延伸同时逐渐变窄并且透明度逐渐增加的方式呈现关于操作对象的显示信息项，并且作为第二显示模式，输出控制单元可以以延伸的形式收缩并会聚在作为指向操作的目标的对象上的方式呈现关于操作对象的显示信息项。
这样，使得信息处理设备能够例如在操作对象被移动时显示以下动画，在该动画中，类似可膨胀的橡胶的指针或者类似绳或线的指针从作为操作目标的对象朝向用户的手指扩展。以这种方式，可以实现延迟减少。使得信息处理设备能够例如在操作对象被停止时显示以下动画，在该动画中，类似可膨胀的橡胶的指针或者类似绳或线的指针收缩、会聚并稳定。以这种方式，可以实现坐标值的稳定性。
根据本技术的另一实施方式，提供了一种信息处理方法，包括：
获取用户对操作对象的指向操作的检测结果；以及
基于检测结果来输出关于操作对象的显示信息项，使得根据指向操作的操作状况以第一显示模式和与第一显示模式不同的第二显示模式中的至少任一个来显示操作对象。
根据本技术的又一实施方式，提供了一种使信息处理设备执行以下步骤的程序：
获取用户对操作对象的指向操作的检测结果；以及
基于检测结果来输出关于操作对象的显示信息项，使得根据指向操作的操作状况以第一显示模式和与第一显示模式不同的第二显示模式中的至少任一个来显示操作对象。
本发明的有益效果
如上所述，根据本技术，可以通过精心设计视觉反馈的表示来改进用户在执行指向操作时的操作感。然而，该优点不限制本技术。
附图说明
[图1]示出根据本技术的实施方式的桌面系统的配置的视图。
[图2]示出桌面系统中的输出控制设备的硬件配置的示图。
[图3]桌面系统的功能框图。
[图4]示出要在桌面系统中处理的指尖位置的说明表和说明图。
[图5]示出要在桌面系统中使用的指针(pointer)的显示示例的视图。
[图6]示出由桌面系统中的输出控制设备对指针的输出控制处理的过程的流程图。
[图7]示出由输出控制设备以不同显示模式显示的指针的示例的视图。
[图8]示出由输出控制设备显示的指针的示例的修改的视图。
[图9]示出由输出控制设备显示的指针的示例的其他修改的视图。
[图10]示出由输出控制设备显示的指针的示例的其他修改的视图。
[图11]示出由输出控制设备显示的指针的示例的另一修改的视图。
[图12]示出由输出控制设备显示的指针的示例的又一修改的视图。
[图13]示出在由输出控制设备显示的指针的示例的又一修改中使用的不同坐标值的说明性照片。
[图14]示出要在由输出控制设备显示的指针的示例的又一修改中使用的多个预测值的视图。
[图15]示出要在由输出控制设备显示的指针的示例的又一修改中使用的多个预测值的另一视图。
[图16]示出对图14和图15中使用的预测值的内插处理的说明性曲线图。
[图17]示出由输出控制设备显示的指针的示例的另一修改的视图。
[图18]示出由输出控制设备显示的指针的示例的另一修改的视图。
具体实施方式
现在，参考附图描述将本技术应用于桌面系统的情况的实施方式。
[系统的配置]
图1是示出根据实施方式的桌面系统的配置的视图。
如图1所示，该系统包括输出控制设备100、摄像机200和投影仪300。这些可以被安装在例如房间的天花板中，或者可以与从天花板悬挂的照明设备一体地被配置。
在该系统中，桌子T用作屏幕。投影仪300将包括图标和内容的图形用户界面投影到桌子T上的投影区域A上，并且用户用他/她的手指操作投影界面。
摄像机200获取投影区域A的图像，并且该图像被输入到输出控制设备100。输出控制设备100检测从摄像机200输入的图像中的用户的指尖的位置，并且基于所检测到的坐标值执行诸如选择处理和移动指针的处理的输出控制处理。
[输出控制设备的硬件配置]
图2是示出输出控制设备100的硬件配置的示图。如图2所示，输出控制设备100包括CPU(中央处理单元)11、ROM(只读存储器)12、 RAM(随机存取存储器)13、输入/输出接口15以及将这些彼此连接的总线14。
CPU 11在必要时访问例如RAM 13，并且在执行各种计算处理的同时共同控制输出控制设备100中的所有块。ROM 12是永久存储要由CPU 11 执行的固件例如OS、程序和各种参数的非易失性存储器。RAM 13用作例如用于CPU 11的工作区域，并且暂时保存OS、正在执行的各种应用程序以及正在处理的各种数据项。
显示单元16、操作接收单元17、存储单元18、通信单元19等连接至输入/输出接口15。
显示单元16是使用例如LCD(液晶显示器)、OELD(有机电致发光显示器)或CRT(阴极射线管)的显示设备。
操作接收单元17是包括键和开关的输入设备，接收由用户对输出控制设备的操作，并且向CPU 11发送操作的信息项。
存储单元18例如是HDD(硬盘驱动器)或诸如快闪存储器(SSD；固态驱动器)和其他固态存储器的非易失性存储器。存储单元18不仅存储OS、各种应用程序和各种数据项，还存储用于关于例如该实施方式中的指针的输出控制处理所需的软件程序和数据项。
通信单元19包括诸如以太网NIC(网络接口卡)和无线LAN的各种无线通信模块，并且执行关于诸如摄像机200和投影仪300的外围设备的通信处理。
[要被处理的指尖位置和系统的功能]
图3是桌面系统的功能框图。此外，图4包括示出要在该系统中被处理的指尖位置的说明表和说明图。
如图3所示，输出控制设备100包括指尖位置检测控制单元110和指针表示控制单元120。
指尖位置检测控制单元110在从摄像机200输入的图像中检测用他/ 她的手指执行指向操作的用户的指尖的位置。
指针表示控制单元120在基于检测到的指尖的位置的多个显示模式中的至少任意一个中表示指示指向位置的指针，并且将其显示信息项输出到投影仪300。
如图4所示，存在要在该实施方式中处理的三种类型的指尖位置。由指尖位置检测控制单元110检测到的指尖位置被称为I_r(原始值)，施加了稳定滤波处理的指尖位置被称为I_s(稳定滤波器施加值)，并且例如通过经由摄像机200的图像获取、由输出控制设备的控制处理以及由投影仪 300的显示处理引起的考虑到整个系统中的延迟而预测的指尖位置被称为 I_e(预测值)。
图4的A是示出延迟与位置坐标的稳定性(与真值的方差)之间的关系的表，其与I_r(原始值)、I_s(稳定滤波器施加值)和I_e(预测值) 有关。图4的B是示出桌子T上的I_r(原始值)、I_s(稳定滤波器施加值)与I_e(预测值)之间的位置关系的视图。
如图4的A所示，预测值具有比原始值延迟更小但是稳定性更低的特性，并且稳定滤波器施加值具有比原始值延迟更大但是稳定性更高的特性。因此，如图4的B所示，当用户在图4的B中的箭头方向上移动他/ 她的指尖时，稳定滤波器值表示在原始值之前与延迟对应的距离的位置，并且预测值表示在原始值之后与其预测对应的距离的位置。
换句话说，出现如下权衡的问题：当考虑到在原始值按照原样被施加于用户的指向操作(例如选择操作)的位置时丢失位置坐标的稳定性的风险而施加稳定滤波器值(其通过施加用于稳定位置坐标的稳定滤波处理而获得)时，发生延迟，并且同时，当预测值被施加以使延迟最小化时，丢失位置坐标的稳定性。
在该实施方式中，为了解决延迟与稳定之间的权衡问题，应用了两种类型的表示技术。
具体地，如图3所示，输出控制设备100的指针表示控制单元120使用相对于延迟小但稳定性低的坐标值例如预测值能够表示位置坐标(小延迟指针表示)的波动(不稳定性)的表示。此外，指针表示控制单元120 相对于可适用引起延迟但是稳定的坐标的坐标值(例如稳定滤波器值)施加清楚地表示(突出显示)这些稳定坐标的表示(稳定指针表示)。
换句话说，如图3所示，指尖位置检测控制单元110基于由指尖位置检测控制单元110检测到的I_r(原始值)生成I_e(预测值)和I_s(稳定滤波器施加值)中的任何一个，并且将I_e和I_s中的任何一个输出到指针表示控制单元120。然后，指针表示控制单元120使投影仪300根据用户的指向操作的操作状况显示I_e(预测值)与I_s(稳定滤波器施加值)中的至少一个。
图5是示出小延迟指针表示和稳定指针表示的显示示例的视图。如图 5所示，在该实施方式中，颗粒表示用作小延迟指针表示，并且光标表示用作稳定指针表示。
通过应用这样的两种类型的表示技术，使得该系统能够向用户提供小延迟位置坐标的视觉反馈，其中这些坐标的不稳定性使得颗粒表示不明显，并且使得该系统能够在执行坐标的稳定性重要的诸如选择和确定的操作时向用户提供具有光标表示的确定操作位置的视觉反馈。
[系统的操作]
接下来，描述如上所述配置的桌面系统的操作。该操作由用作指尖位置检测控制单元110和指针控制单元120的诸如输出控制设备100的CPU 11的硬件和存储在存储单元18中的软件(程序)协同执行。
在上述两种类型的表示技术中，当例如用户在大屏幕上执行相对快速地移动他/她的手指的操作而导致稳定指针与小延迟指针之间的距离差 (在下文中，称为“延迟派生距离差”)时，出现用户执行操作的这些指针中的哪一个不能被识别的问题(主仆关系的问题)。
在该问题明显发生的情况下，指针表示控制单元120可以选择性地控制指针表示。例如，当用户的移动操作的速度(每单位时间的移动距离) 等于或高于阈值时，指针表示控制单元120可以取消稳定指针表示，或者可以例如通过添加透射表示使稳定指针表示不明显。
此外，当如在用户选择目标的情况下位置坐标的速度降低到低于阈值时，指针表示控制单元120可以再次显示稳定指针表示。
此外，当用户暂停以选择目标时，尽管稳定滤波器值保持不变，但是预测值可以响应于轻微移动而波动。在这样的情况下，在指尖位置检测控制单元110检测到暂停状态之后，指针表示控制单元120可以显示稳定的指针，并且取消小延迟指针表示或使小延迟指针表示透射。
图6是示出添加了上述控制处理的由输出控制设备100处理的过程的流程图。为了方便起见，在参照图6的描述中，输出控制设备100的CPU 11本身执行处理。
如图6所示，输出控制设备100的CPU 11经由摄像机200获取图像 (步骤61)。
然后，CPU 11使指尖位置检测控制单元110在所获取的图像中检测用户的指尖(步骤62)。
接下来，CPU 11确定是否在图像中检测到用户的手指(步骤63)。
当CPU 11确定在图像中检测到用户的手指时(“是”)，CPU 11使指尖位置检测控制单元110将稳定滤波器和预测滤波器施加于所检测到的指尖的原始值，以便分别生成稳定滤波器施加值和预测值(步骤64)。
现在，描述施加稳定滤波器和预测滤波器的处理的具体示例。
作为稳定滤波器，例如，将如由以下式表示的初级IIR(无限脉冲响应)滤波器施加于输入坐标P(x，y)。
X′t＝αXt+(1-α)X′t-1
Y′t＝αYt+(1-α)Y′t-1
在这些式中，X′和Y′是在施加稳定滤波器之后的坐标，并且X和Y 与原始值对应。CPU 11将权重α施加于相对于在前时刻处的X′t-1和Y′t-1的Xt和Yt的值，以便更新稳定滤波器的坐标值。以这种方式，CPU 11生成平滑坐标。
稳定滤波器的技术不限于IIR(无限脉冲响应)滤波器，并且可以应用各种技术，例如卡尔曼滤波器、粒子滤波器、FIR(有限脉冲响应)滤波器和机器学习技术。
作为预测滤波器，例如，将如由以下式表示的匀速直线运动施加于输入坐标P(x，y)。
X′t+1＝Xt+(Xt-Xt-1)
Y′t+1＝Yt+(Yt-Yt-1)
在这些式中，X′t+1和Y′t+1与预测值对应。CPU 11通过将先前的位置差(速度×分钟时间段)与所获得的当前坐标相加来预测随后时刻处的位置。
实际上，通过机器学习来预测位置坐标。CPU 11学习先前分钟时间中的移动，搜索最接近当前获得的特定区域中的路径的先前路径中的一个，并且使用该路径作为预测值。换句话说，CPU 11在大量先前路径数据中搜索最接近当前移动的路径，并且将该路径用作未来路径。作为用于计算预测值的技术，可以使用除上述技术之外的技术。
返回参照图6，当CPU 11确定用户的操作速度等于或高于阈值时 (“是”)，CPU 11使指针表示控制单元120取消指示用户的指向操作的指针的稳定指针表示(或在其上执行发送处理)，并且使投影仪300显示小延迟指针表示(步骤66)。
同时，当CPU 11确定用户的操作速度低于阈值时(步骤65中的“否”)， CPU 11确定用户的指尖是否处于暂停状态(步骤67)。
当CPU 11确定用户的指尖处于暂停状态时(“是”)，CPU 11使指针表示控制单元120显示指针的稳定指针表示，并使投影仪300取消小延迟指针表示(步骤68)。
同时，当CPU 11确定用户的指尖未处于暂停状态时(步骤67中的“否”)，CPU 11使投影仪300显示指针的稳定指针表示和小延迟指针表示两者。
图7包括示出上述指针表示的显示示例的视图。
如图7的A所示，当用户的操作速度不等于或高于阈值时，并且同时，当用户的指尖未处于暂停状态时，显示作为小延迟指针表示的颗粒表示和作为稳定指针表示的光标两者。
此外，如图7的B所示，当用户的操作速度等于或高于阈值时，显示作为小延迟指针表示的颗粒表示，并且显示作为稳定指针表示的光标。
此外，如图7的C所示，当用户的指尖处于暂停状态时，取消作为小延迟指针表示的颗粒表示，并且显示作为稳定指针表示的光标。
具体地，在这些情况下，如下显示颗粒表示。
颗粒各自具有以下参数：位置x、y、速度vx、vy和透明度。通过将随机值加到从一组预测值获得的坐标附近来设定颗粒的初始位置。此外，随机设定颗粒的初始速度值。
然后，CPU 11通过对参数执行以下处理来更新颗粒。
·速度：如由以下式所示，将摩擦力(Frcx)添加到初始速度，以便根据时间的推移来降低速度。
Figure GDA0001761153220000121
·位置：如由以下式所示，通过添加更新的速度来更新位置。由此，随着颗粒与用户的指尖分开，颗粒的移动速度逐渐降低。
Figure GDA0001761153220000122
·透明度：透射率(transmittance)随着时间的推移而增加。由此，随着颗粒与用户的指尖分开，颗粒逐渐消失。
如上所述，根据该实施方式，输出控制设备100根据操作状况(操作速度)来切换并且显示作为表示用户的指向操作的指针表示的稳定指针表示和小延迟指针表示。由此，可以解决坐标的不稳定性与延迟之间的权衡问题。
修改例
本发明不是仅限于上述实施方式，并且可以在不背离本公开内容的主旨的情况下视情况而改变。
(操作技术的修改例)
在上述实施方式中，施加不同指针表示的处理在桌面系统中被执行，具体地，在关于执行投影的桌面的触摸操作上被执行。但是，相同的处理适用于其他操作。例如，用例如通过眼睛跟踪或指向手势的输入、通过对指向远程控制器和模拟操纵杆例如游戏控制器的操作的输入或通过对触摸板的操作的输入，可以替换通过触摸操作的输入。因此，代替在上述实施方式中作为示例提及的摄像机200，可以使用诸如模拟操纵杆、触摸板、触摸屏和眼睛盯视(eye-gaze)检测设备的其他输入单元。此外，代替执行投影到桌子上的投影仪300，可以使用其他显示单元，例如执行投影到墙壁上的其他投影仪、显示器、智能电话、平板电脑和头戴式显示器。
(要在处理中使用的坐标类型的修改例)
在上述实施方式中，使用关于两种类型坐标的两种类型的表示技术。然而，坐标的类型不限于此，并且可以扩展到关于“n”种类型的坐标的“m”种类型的表示技术。例如，如图8所示，作为上述稳定指针表示，除了光标之外还可以显示背景焦点表示。
(对原始值的处理的修改例)
在上述实施方式中，预测值和稳定滤波器施加值在由表示技术的控制中使用。但是，可以使用除这些值之外的值。此外，上述实施方式适用于不具有延迟和稳定性变化的特性的输入值。
(指针表示技术的修改例)
在上述实施方式中，颗粒用作小延迟指针表示，并且光标用作稳定指针表示。然而，可以使用其他表示技术。例如，代替作为小延迟指针表示的颗粒，如图9的A所示，可以使用点图案，或者如图9的B所示，可以使用轮廓表示。此外，代替作为稳定指针表示的光标，如图9的B所示，可以使用如焦点的表示。
注意，关于图9的A所示的点图案，从该组预测值生成掩模图像(像橡胶一样膨胀的图像)，并且掩模图像叠加在由点阵列指示的背景图像上。由此，显示仅在掩模区域中显示点图案的表示。
此外，如图10的A所示，箭头状光标(鼠标光标)可以用作稳定指针表示，并且圆形模糊表示可以用作小延迟指针表示。
此外，如图10的B所示，在不使用诸如指针的确定光标的UI中，像橡胶一样膨胀的表示技术可以用作小延迟指针表示以及跟随其后的焦点表示。
(一起显示小延迟指针表示和稳定指针表示)
在上述实施方式中，小延迟指针表示和稳定指针表示被显示为独立的指针表示。然而，只要防止上述主仆关系的问题(无法识别指针中的哪一个是操作目标的问题)，就可以使用小延迟指针表示和稳定指针表示的组合。
具体地，如图11和图12所示，输出控制设备100使用从作为操作目标的对象像橡胶一样膨胀的光标表示。以这种方式，仅使用该橡胶状表示的单一表示技术，输出控制设备100显示小延迟指针表示和稳定指针表示。
更具体地，如图12的A所示，当用户的指尖移动时，例如在移动作为操作目标的对象时，输出控制设备100以指针从作为指向操作的目标的对象向用户的手指扩展同时逐渐变窄并且透明度逐渐增加的方式将指针呈现为小延迟指针表示。此外，如图12的B所示，当用户的指尖暂停时 (例如，在选择操作时)，输出控制设备100以曾经扩展的指针在对象上收缩并会聚的方式将指针呈现为稳定滤波器表示。此外，同样在图12的 A所示的扩展状态下，在作为操作目标的对象上显示作为稳定滤波器表示的指针。
注意，如图13所示并且如上所述，尽管预测值的延迟小而坐标值波动，但是稳定滤波器值的延迟大而位置坐标稳定。鉴于这样的情况，输出控制设备100执行使如上所述的橡胶状表示变窄并且朝向其前端(移动期间的预测值)增加透明度的处理。
由于前端是能透射的，即使当发生上述波动时，用户也不易察觉到波动。此外，由于前端较窄，因此向用户呈现光标的尖端与手指连续的感觉。由此，减少了延迟的感觉。
此外，除了通过预测值减少延迟的效果之外，通过使前端变窄并且能透射，产生了手指与前端连续的视觉效果。由此，进一步减少了延迟的感觉。此外，在停止操作或缓慢执行操作时，显示橡胶会聚到圆形光标中的表示。由此，向用户提供了正在指向的位置的清晰反馈。
现在，详细描述使用橡胶状表示的实现方式。
输出控制设备100通过使用稳定滤波器值和多个预测值的动画显示橡胶状表示。在该情况下，如图15所示，多个预测值是通过根据在时刻 t处获得的先前路径预测第一个至第k个随后帧的坐标而生成的预测值。随着要预测的帧的数目增加，输出控制设备100增加透射率并且使前端变窄。
当使用这样的多个预测值时，不仅显示如图14的A所示的当用户的指尖直线移动时的直线膨胀的橡胶的表示，而且还显示如图14的B所示的当用户的指尖进行圆周运动时的弯曲橡胶的表示。因此，即使当用户进行弯曲动作时，也可以呈现指针跟随用户的指尖的感觉。
此外，由输出控制设备100要预测的帧的数目可以被固定，或者可以在每个时刻处适当地改变。在上述实施方式中，可以获得预测值的可靠性。由此，使得输出控制设备100能够利用等于或大于用于橡胶状表示的阈值的预测值，并且不一定需要利用等于或小于阈值的预测值。当仅使用具有相对高精度的预测值时，显示具有小波动并且提供被跟随的感觉的表示。
然而，当要在每个时刻处使用的预测值彼此不同时，橡胶的前端快速膨胀或收缩。此外，存在预测值本身的波动的影响。为了防止这些现象，输出控制设备100不是简单使用预测值作为呈现橡胶状表示的点(在下文中，称为控制点)，而是对在时间方向上的每个时刻处获得的预测值进行内插，并且使用这些内插值来呈现橡胶状的光标。
图16示出了该内插方法的细节。图16的A示出了在时刻t-1处的一组内插值以及在时刻t处的一组预测值。当简单地对在时刻t-1和时刻t 处的随后帧的预测值进行内插时，可能发生延迟。作为对策，如图16的 B所示，输出控制设备100将预测值转换成具有与在时刻t和t-1处获得的原始值对应的原点的坐标系中的预测值。如图16的C所示，输出控制设备100根据该坐标系中的第一在前时刻处的预测值和内插值来计算随后时刻处的内插值。最后，如图16的D所示，输出控制设备100将计算的内插值转换回到相对于在时刻t处的原始值的位置，并且利用这些转换值作为用于橡胶状表示的控制点。通过这样的处理，使得输出控制设备 100能够对橡胶状光标的动画进行内插而不受与时刻处的原始值之间的距离对应的延迟的影响，并且仅使用来自在每个时刻处的原始值的相对值。
将在该情况下的内插值表示为P′t，k和P′t-1，k，并且将在该情况下的预测值表示为Pt，k。如图16的B所示，将预测值表示为相对于设定为原点的原始值的值。“t”表示时刻，并且范围从0至1的“k”表示预测率。作为时刻t的示例，这些率值0至1表示原始值的坐标至第四随后帧的坐标。例如，将随后帧的坐标如下表示。
Pt，k＝1 第四随后帧的坐标
Pt，k＝0.75 第三随后帧的坐标
Pt，k＝0.5 第二随后帧的坐标
Pt，k＝0.25 第一随后帧的坐标
Pt，k＝0 原始值
当需要k＝0.8的值时，输出控制设备100通过在第三随后帧的坐标与第四随后帧的坐标之间执行线性内插来计算该值。在时刻t处改变预测率k的情况下的内插值由下式表示。
P′t，k＝αPt，k+(1-α)P′t-1，k
在该式中，α是内插参数。当α为1时，输出控制设备100仅使用时刻t处的信息项。随着α变得更接近0，内插的效果增加。通过使用上述预测率k，使得输出控制设备100能够计算内插坐标值，而不受时刻t与 t-1之间的帧的数目差异的影响。以该方式计算的内插值是相对于原点的值。因此，如图16的D所示，当输出控制设备100最后在时刻t处添加原始值的坐标时，使得输出控制设备100能够获得用于预测值的内插值，而不受在时刻t与t-1处的原始值之间的距离之间的差异的影响。
当引入这样的内插值时，可以显示橡胶状的动画。换句话说，通过参数α的效果，显示以下表示：指针在开始移动时像橡胶一样膨胀并且在停止时像橡胶一样收缩。
尽管在上述内插值的计算中使用预测值和原始值，但是可以根据预测值和稳定滤波器施加值计算内插值。此外，除了线性内插之外的方法可以用作内插技术。此外，尽管使用由帧表示的预测值来执行上述内插值的计算，但是可以使用由时间(t[ms])表示的预测值来执行类似的处理。
为了将小延迟指针表示和稳定指针表示一起显示，可以使用除了上述橡胶状的表示之外的表示技术。
例如，如图17所示，可以使用采用多个绳的表示(下文中，称为网)。如图17的A所示，当用户的指尖缓慢移动或停止时，使用网的前端彼此交叉的表示。由此，向用户清楚地表示指针的位置。如图17的B所示，当用户的指尖移动时，可以使用网绳朝向指尖会聚地延伸的表示。通过使用网绳随着指尖的移动而朝向前端会聚的表示，其中前端保持彼此分开，如通过上述橡胶状的表示那样，呈现与指尖的连续性的感觉，并且减少延迟的感觉。关于网状表示中的控制点，类似于橡胶状的表示中的控制点，使用多个内插值使得显示平滑动画。
此外，与橡胶状的表示不同，在网状表示中，当用户简单地将他/她的手指在平面中移动而不拖动对象时，用户可以由于网状表示本身感到不舒服。换句话说，尽管网能够呈现捏住和拉动目标的感觉，但是当不存在拖动目标时，网状表示本身会引起不适感。
作为对策，如图18所示，输出控制设备100可以根据是否存在拖动目标来切换表示。如图18的A和B所示，当存在拖动目标时，可以使用网状表示。如图18的C所示，当不存在拖动目标时，例如可以使用颗粒表示。
(用于改变指针表示的条件的修改例)
在上述实施方式中，输出控制设备100通过使用速度作为用户的指向操作的操作状况来控制表示技术。然而，表示技术可以根据其他操作状况例如稳定指针与小延迟指针之间的距离差(延迟派生距离差)来控制，根据指向操作的加速度来控制，并且根据时间来控制(例如仅在开始移动之后的几秒钟内施加小延迟指针表示)。
此外，指向操作的操作状况包括关于用户的用户信息项、关于例如输出控制设备100、摄像机200或投影仪300的设备信息项、关于安装这些设备的环境的环境信息项以及关于用户的指向操作的目标的内容信息项中的任何一个。
作为根据内容改变控制的情况的示例，当要被操作的图标聚合时，需要仔细执行指针操作。因此，可以不断地显示小延迟指针表示(即，响应于轻微移动而移动的指针)。相反，当操作目标是大图标时，输出控制设备100可以在缓慢执行或停止操作时取消上述小延迟指针表示。
此外，在上述实施方式中，执行例如使表示能透射或取消表示的控制。然而，可以执行通过其他方法的控制。例如，输出控制设备100可以采用例如缩小指针的尺寸、将指针着色为与背景颜色相同的颜色并且将指针的外观改变成另一不明显的外观的方法。
此外，当关于输出控制设备100、摄像机200或投影仪300的CPU 或电池的状态的信息项用作设备信息项时，输出控制设备100可以根据 CPU或电池是否处于特定状态(例如，处理负荷高的情况，或电池剩余容量低的情况)选择性地使用小延迟指针表示和稳定滤波器表示。
此外，可以根据环境信息项(具体地，根据例如安装包括输出控制设备100的系统的位置(在室内或户外)，或者根据该位置处的照明)来选择性地使用小延迟指针表示和稳定滤波器表示。
注意，本技术还可以提供以下配置。
(1)
一种信息处理设备，包括
输出控制单元，其基于用户对操作对象的指向操作的检测结果，输出关于所述操作对象的显示信息项，
所述输出控制单元输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象。
(2)
根据项目(1)所述的信息处理设备，其中，
所述输出控制单元使用优先考虑关于所述指向操作的延迟减小的显示模式作为所述第一显示模式，并且使用优先考虑所述检测结果的稳定性的显示模式作为所述第二显示模式。
(3)
根据项目(1)或(2)所述的信息处理设备，其中，
所述输出控制单元根据所述指向操作的操作状况在所述第一显示模式和所述第二显示模式之间切换关于所述操作对象的显示信息项。
(4)
根据项目(1)或(2)所述的信息处理设备，其中，
所述输出控制单元根据所述指向操作的操作状况，在以所述第一显示模式和所述第二显示模式两者输出关于所述操作对象的显示信息项的处理与在以所述第一显示模式和所述第二显示模式中的任一个输出关于所述操作对象的显示信息项的处理之间进行切换。
(5)
根据项目(1)至(4)中任一项所述的信息处理设备，其中，
所述指向操作的操作状况包括以下项中的任一个：关于所述用户的用户信息项、关于所述信息处理设备的设备信息项、关于安装所述信息处理设备的环境的环境信息项以及关于所述指向操作的目标的内容信息项。
(6)
根据项目(5)所述的信息处理设备，其中，
所述检测结果包括关于所述指向操作的输入坐标值的信息项，并且
所述操作对象被显示在与所述输入坐标值对应的位置处。
(7)
根据项目(6)所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元基于根据所检测到的输入坐标值计算出的预测值呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元基于通过将预定的稳定滤波器施加于所检测到的输入坐标值而生成的坐标值呈现关于所述操作对象的显示信息项。
(8)
根据项目(7)所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元通过同时使用所述预测值和在所述预测值周围随机配置的值呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元在强调通过施加所述稳定滤波器而生成的坐标值的同时呈现关于所述操作对象的显示信息项。
(9)
根据项目(7)所述的信息处理设备，其中，
所述用户信息项包括关于所述指向操作的速度的速度信息项，并且
所述输出控制单元在包括在所述速度信息项中的指示所述指向操作的速度的值等于或大于预定阈值的情况下使用所述第一显示模式，并且在指示所述速度的值小于所述预定阈值的情况下使用所述第二显示模式。
(10)
根据项目(7)所述的信息处理设备，其中，
所述输出控制单元在所述指向操作的目标是第一对象的情况下使用所述第一显示模式，并且在所述指向操作的目标是与所述第一对象不同的第二对象的情况下使用所述第二显示模式。
(11)
根据项目(7)所述的信息处理设备，其中，
所述用户信息项包括关于所述指向操作的类型的操作类型信息项，并且
所述输出控制单元在所述指向操作是移动对象的操作的情况下使用所述第一显示模式，并且在所述指向操作不是移动对象的操作的情况下使用所述第二显示模式。
(12)
根据项目(7)所述的信息处理设备，其中，
所述设备信息项包括关于所述信息处理设备的CPU或电池的状况的信息项，并且
所述输出控制单元在所述CPU或电池处于第一状况的情况下使用所述第一显示模式，并且在所述CPU或电池处于与所述第一状况不同的第二状况的情况下使用所述第二显示模式。
(13)
根据项目(7)所述的信息处理设备，其中，
所述输出控制单元基于第一时间处的预测值和在所述第一时间之前的第二时间处的预测值的内插值来计算所述第一时间处的预测值的内插值，并且基于所计算的内插值在所述第一时间处呈现关于所述操作对象的显示信息项。
(14)
根据项目(8)所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元以颗粒或点的形式呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元以光标或焦点的形式呈现关于所述操作对象的显示信息项。
(15)
根据项目(8)所述的信息处理设备，其中，
所述指向操作是所述用户用手指进行的操作，并且
作为所述第一显示模式，所述输出控制单元以关于所述操作对象的显示信息项从作为所述指向操作的目标的对象朝向所述用户的手指延伸同时逐渐变窄并且透明度逐渐增加的方式呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元以所述延伸的形式收缩并会聚在作为所述指向操作的目标的对象上的方式呈现关于所述操作对象的显示信息项。
(16)
一种信息处理方法，包括：
获取用户对操作对象的指向操作的检测结果；以及
基于所述检测结果来输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象。
(17)一种程序，其使信息处理设备执行以下步骤：
获取用户对操作对象的指向操作的检测结果；以及
基于所述检测结果来输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象。
附图标记列表
11 CPU
18 存储单元
110 指尖位置检测控制单元
120 指针表示控制单元
100 输出控制设备
200 摄像机
300 投影仪
T 桌子
A 投影区域

Claims (17)

1.一种信息处理设备，包括：
输出控制单元，其基于用户对操作对象的指向操作的检测结果，输出关于所述操作对象的显示信息项，
其中，所述输出控制单元输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象，
其中，作为所述第二显示模式并且基于通过将预定的稳定滤波器施加于所检测到的输入坐标值而生成的坐标值，所述输出控制单元在所检测到的指向操作的位置之前的位置处呈现关于所述操作对象的显示信息项。
2.根据权利要求1所述的信息处理设备，其中，
所述输出控制单元使用优先考虑关于所述指向操作的延迟减小的显示模式作为所述第一显示模式，并且使用优先考虑所述检测结果的稳定性的显示模式作为所述第二显示模式。
3.根据权利要求1所述的信息处理设备，其中，
所述输出控制单元根据所述指向操作的操作状况在所述第一显示模式和所述第二显示模式之间切换关于所述操作对象的显示信息项。
4.根据权利要求1所述的信息处理设备，其中，
所述输出控制单元根据所述指向操作的操作状况，在以所述第一显示模式和所述第二显示模式两者输出关于所述操作对象的显示信息项的处理与在以所述第一显示模式和所述第二显示模式中的任一个输出关于所述操作对象的显示信息项的处理之间进行切换。
5.根据权利要求1所述的信息处理设备，其中，
所述指向操作的操作状况包括以下项中的任一个：关于所述用户的用户信息项、关于所述信息处理设备的设备信息项、关于安装所述信息处理设备的环境的环境信息项以及关于所述指向操作的目标的内容信息项。
6.根据权利要求5所述的信息处理设备，其中，
所述检测结果包括关于所述指向操作的输入坐标值的信息项，并且
所述操作对象被显示在与所述输入坐标值对应的位置处。
7.根据权利要求6所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元基于根据所检测到的输入坐标值计算出的预测值呈现关于所述操作对象的显示信息项。
8.根据权利要求7所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元通过同时使用所述预测值和在所述预测值周围随机配置的值呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元在强调通过施加所述稳定滤波器而生成的坐标值的同时呈现关于所述操作对象的显示信息项。
9.根据权利要求7所述的信息处理设备，其中，
所述用户信息项包括关于所述指向操作的速度的速度信息项，并且
所述输出控制单元在包括在所述速度信息项中的指示所述指向操作的速度的值等于或大于预定阈值的情况下使用所述第一显示模式，并且在指示所述速度的值小于所述预定阈值的情况下使用所述第二显示模式。
10.根据权利要求7所述的信息处理设备，其中，
所述输出控制单元在所述指向操作的目标是第一对象的情况下使用所述第一显示模式，并且在所述指向操作的目标是与所述第一对象不同的第二对象的情况下使用所述第二显示模式。
11.根据权利要求7所述的信息处理设备，其中，
所述用户信息项包括关于所述指向操作的类型的操作类型信息项，并且
所述输出控制单元在所述指向操作是移动对象的操作的情况下使用所述第一显示模式，并且在所述指向操作不是移动对象的操作的情况下使用所述第二显示模式。
12.根据权利要求7所述的信息处理设备，其中，
所述设备信息项包括关于所述信息处理设备的CPU或电池的状况的信息项，并且
所述输出控制单元在所述CPU或电池处于第一状况的情况下使用所述第一显示模式，并且在所述CPU或电池处于与所述第一状况不同的第二状况的情况下使用所述第二显示模式。
13.根据权利要求7所述的信息处理设备，其中，
所述输出控制单元基于第一时间处的预测值和在所述第一时间之前的第二时间处的预测值的内插值来计算所述第一时间处的预测值的内插值，并且基于所计算的内插值在所述第一时间处呈现关于所述操作对象的显示信息项。
14.根据权利要求8所述的信息处理设备，其中，
作为所述第一显示模式，所述输出控制单元以颗粒或点的形式呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元以光标或焦点的形式呈现关于所述操作对象的显示信息项。
15.根据权利要求8所述的信息处理设备，其中，
所述指向操作是所述用户用手指进行的操作，并且
作为所述第一显示模式，所述输出控制单元以关于所述操作对象的显示信息项从作为所述指向操作的目标的对象朝向所述用户的手指延伸同时逐渐变窄并且透明度逐渐增加的方式呈现关于所述操作对象的显示信息项，并且作为所述第二显示模式，所述输出控制单元以所述延伸的形式收缩并会聚在作为所述指向操作的目标的对象上的方式呈现关于所述操作对象的显示信息项。
16.一种信息处理方法，包括：
获取用户对操作对象的指向操作的检测结果；以及
基于所述检测结果来输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象，
其中，作为所述第二显示模式并且基于通过将预定的稳定滤波器施加于所检测到的输入坐标值而生成的坐标值，在所检测到的指向操作的位置之前的位置处呈现关于所述操作对象的显示信息项。
17.一种非暂态计算机可读介质，其上包括有程序，所述程序在由计算机执行时使所述计算机执行信息处理方法，所述信息处理方法包括：
获取用户对操作对象的指向操作的检测结果；以及
基于所述检测结果来输出关于所述操作对象的显示信息项，使得根据所述指向操作的操作状况以第一显示模式和与所述第一显示模式不同的第二显示模式中的至少任一个来显示所述操作对象，
其中，作为所述第二显示模式并且基于通过将预定的稳定滤波器施加于所检测到的输入坐标值而生成的坐标值，在所检测到的指向操作的位置之前的位置处呈现关于所述操作对象的显示信息项。
CN201680081587.0A 2016-02-18 2016-12-20 信息处理设备、信息处理方法和计算机可读介质 Active CN108700992B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-029082 2016-02-18
JP2016029082 2016-02-18
PCT/JP2016/087879 WO2017141540A1 (ja) 2016-02-18 2016-12-20 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108700992A CN108700992A (zh) 2018-10-23
CN108700992B true CN108700992B (zh) 2022-03-01

Family

ID=59625839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081587.0A Active CN108700992B (zh) 2016-02-18 2016-12-20 信息处理设备、信息处理方法和计算机可读介质

Country Status (6)

Country Link
US (1) US10747370B2 (zh)
EP (1) EP3418873A4 (zh)
JP (1) JP6911772B2 (zh)
KR (1) KR20180112785A (zh)
CN (1) CN108700992B (zh)
WO (1) WO2017141540A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107031A (ja) * 2018-12-27 2020-07-09 株式会社デンソー 指示ジェスチャ検出装置、およびその検出方法
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
JP2022030262A (ja) * 2020-08-06 2022-02-18 キヤノン株式会社 表示制御装置およびその制御方法およびプログラムおよびその記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214414A (en) * 1991-04-12 1993-05-25 International Business Machines Corp. Cursor for lcd displays
CN102937846A (zh) * 2006-06-09 2013-02-20 苹果公司 触摸屏液晶显示器
CN105204707A (zh) * 2014-06-23 2015-12-30 联想(北京)有限公司 一种显示对象的显示方法及电子设备
JP5856343B1 (ja) * 2015-06-30 2016-02-09 株式会社コロプラ ユーザ・インタフェース・プログラムおよびコンピュータ実装方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement
US6727892B1 (en) * 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
WO2007060604A2 (en) * 2005-11-25 2007-05-31 Koninklijke Philips Electronics N.V. Filtering pointer coordinates
US20090284532A1 (en) * 2008-05-16 2009-11-19 Apple Inc. Cursor motion blurring
TW201104529A (en) * 2009-07-22 2011-02-01 Elan Microelectronics Corp Touch device, control method and control unit for multi-touch environment
US20110083108A1 (en) * 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
JP2011113216A (ja) * 2009-11-25 2011-06-09 Nec Corp ポインティングシステム
US8970528B2 (en) * 2010-06-03 2015-03-03 Panasonic Intellectual Property Corporation Of America Information input device, information input method, and program
US8914305B2 (en) * 2010-06-30 2014-12-16 Trading Technologies International, Inc. Method and apparatus for motion based target prediction and interaction
JP5552947B2 (ja) * 2010-07-30 2014-07-16 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP2012194841A (ja) 2011-03-17 2012-10-11 Sony Corp 座標補正装置、入力装置、座標補正方法、及びプログラム
US9201567B2 (en) * 2011-06-27 2015-12-01 General Electric Company Method for indicating a cursor location on a flight deck having multiple flight displays
US8643616B1 (en) * 2011-07-29 2014-02-04 Adobe Systems Incorporated Cursor positioning on a touch-sensitive display screen
CN103309489B (zh) * 2012-03-12 2016-07-06 硕呈科技股份有限公司 一种可改变移动速度的触控输入装置与方法
JP6015183B2 (ja) * 2012-07-18 2016-10-26 富士ゼロックス株式会社 情報処理装置およびプログラム
JP6029453B2 (ja) * 2012-12-21 2016-11-24 京セラ株式会社 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
CN105320260B (zh) * 2014-12-16 2019-03-05 维沃移动通信有限公司 移动终端的控制方法及移动终端
US9983695B2 (en) * 2015-03-19 2018-05-29 Lenovo (Singapore)Pte. Ltd. Apparatus, method, and program product for setting a cursor position

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214414A (en) * 1991-04-12 1993-05-25 International Business Machines Corp. Cursor for lcd displays
CN102937846A (zh) * 2006-06-09 2013-02-20 苹果公司 触摸屏液晶显示器
CN105204707A (zh) * 2014-06-23 2015-12-30 联想(北京)有限公司 一种显示对象的显示方法及电子设备
JP5856343B1 (ja) * 2015-06-30 2016-02-09 株式会社コロプラ ユーザ・インタフェース・プログラムおよびコンピュータ実装方法

Also Published As

Publication number Publication date
WO2017141540A1 (ja) 2017-08-24
US20190050111A1 (en) 2019-02-14
KR20180112785A (ko) 2018-10-12
JP6911772B2 (ja) 2021-07-28
EP3418873A4 (en) 2019-01-16
CN108700992A (zh) 2018-10-23
US10747370B2 (en) 2020-08-18
EP3418873A1 (en) 2018-12-26
JPWO2017141540A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
US11727650B2 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US9372577B2 (en) Method and device to reduce swipe latency
US10671238B2 (en) Position-dependent modification of descriptive content in a virtual reality environment
CN108700992B (zh) 信息处理设备、信息处理方法和计算机可读介质
CN110850958B (zh) 用于小凹模拟的系统和设备及计算机可读存储设备
US10359906B2 (en) Haptic interface for population of a three-dimensional virtual environment
US20190155378A1 (en) Analysis of User Interface Interactions Within a Virtual Reality Environment
US10928919B2 (en) Information processing device and information processing method for virtual objects operability
CN113168281B (zh) 计算机可读介质、电子装置和方法
JP2013037467A (ja) コマンド発行装置、コマンド発行方法およびプログラム
US10073609B2 (en) Information-processing device, storage medium, information-processing method and information-processing system for controlling movement of a display area
US10943372B2 (en) GUI display method and apparatus, and terminal device
US10768710B2 (en) Information processing device, information processing method, and program
US11093117B2 (en) Method for controlling animation's process running on electronic devices
CN107957781B (zh) 信息显示方法及装置
WO2018019053A1 (zh) 一种用于模拟触摸屏上的滑动操作的方法及装置
JP2019015812A (ja) 端末装置、表示システム、及び端末装置の制御方法
US10080963B2 (en) Object manipulation method, object manipulation program, and information processing apparatus
JP6655880B2 (ja) 表示制御装置、表示制御方法及びプログラム
CN114911398A (zh) 显示图形界面方法、电子设备和计算机程序产品
KR102666741B1 (ko) 전자 디바이스들에 대한 렌더링
CN114546314B (zh) 一种窗口显示方法、装置、电子设备及存储介质
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
WO2017183194A1 (ja) 表示制御装置
US20230072322A1 (en) Dynamic user interface animations in a fitness application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant