CN110291495B - 信息处理系统、信息处理方法及程序 - Google Patents

信息处理系统、信息处理方法及程序 Download PDF

Info

Publication number
CN110291495B
CN110291495B CN201780086150.0A CN201780086150A CN110291495B CN 110291495 B CN110291495 B CN 110291495B CN 201780086150 A CN201780086150 A CN 201780086150A CN 110291495 B CN110291495 B CN 110291495B
Authority
CN
China
Prior art keywords
display
information
window
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086150.0A
Other languages
English (en)
Other versions
CN110291495A (zh
Inventor
泉昭彦
生江拓也
久永贤司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110291495A publication Critical patent/CN110291495A/zh
Application granted granted Critical
Publication of CN110291495B publication Critical patent/CN110291495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

[问题]为了提供能够基于显示对象相对于显示面上的基准角度的旋转角度自适应地校正操作方向的信息处理系统、信息处理方法和程序。[解决方式]该信息处理系统设置有：获取单元，其获取关于用户对在显示面上显示的显示对象的操作的信息；以及处理单元，其基于显示对象相对于显示面上的基准角度的旋转角度来校正由操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与显示对象对应的应用，其中，显示对象的旋转角度与显示面的旋转角度不同。

Description

信息处理系统、信息处理方法及程序
技术领域
本公开涉及信息处理系统、信息处理方法和程序。
背景技术
常规地，已经开发出能够检测用户的手指正在触摸或接近显示屏的触摸面板。
例如，专利文献1公开了一种触摸操作终端，其被适配成能够改变输入单元与显示单元之间形成的角度。另外，专利文献1指出，根据在输入单元的表面与显示单元的表面之间形成的相对角度改变与用户相对于输入单元的输入方向对应的输出方向。
引用列表
专利文献
专利文件1：国际公布第2014/10458号
发明内容
本发明要解决的问题
然而，专利文献1中公开的技术没有考虑在显示单元上显示的对象根据旋转角度来执行适当处理的特征。
因此，本公开提出了一种新的且改进的信息处理系统、信息处理方法和程序，其能够基于显示对象相对于显示面上的基准角度的旋转角度来自适应地校正操作方向。
技术问题的解决方案
根据本公开，提供了一种信息处理系统，包括：获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及处理单元，其基于显示对象相对于显示面上的基准角度的旋转角度来校正由操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与显示对象对应的应用，其中，显示对象的旋转角度与显示面的旋转角度不同。
另外，根据本公开，提供了一种信息处理方法，包括：获取针对在显示面上显示的显示对象的用户的操作信息；由处理器基于显示对象相对于显示面上的基准角度的旋转角度来校正由操作信息指示的操作方向；以及将指示经校正的操作方向的信息输出到与显示对象对应的应用，其中，显示对象的旋转角度与显示面的旋转角度不同。
此外，根据本公开，提供了一种使得计算机用作以下的程序：获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及处理单元，其基于显示对象相对于显示面上的基准角度的旋转角度来校正由操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与显示对象对应的应用，其中，显示对象的旋转角度与显示面的旋转角度不同。本发明的有益效果
如上所述，根据本公开，可以基于显示对象相对于显示面上的基准角度的旋转角度来自适应地校正操作方向。应当注意，在本文中所描述的效果不必然是限制性的，而是可以是本公开中所描述的效果中的任何一种效果。
附图说明
图1是示出根据本公开的实施方式的信息处理系统10的配置示例的说明图。
图2A是示出其中从屏幕20的正面方向对每个窗口进行操作的窗口系统的示例的说明图。
图2B是示出其中从任意方向对各个窗口进行操作的窗口系统的示例的说明图。
图3是示出根据实施方式的信息处理系统10的另一配置示例的说明图。
图4是示出根据实施方式的信息处理系统10的又一配置示例的说明图。
图5A是示出其中做出在窗口30中在水平方向上移动手指的触摸姿势的状态的说明图。
图5B是示出在图5A所示的情况下用户意图的操作方向的说明图。
图5C是示出在图5A所示的情况下根据公知技术被输出到应用的操作方向的说明图。
图6是示出根据实施方式的信息处理系统10的功能配置示例的功能框图。
图7A是示出根据实施方式的滚动的触摸姿势的操作方向的校正示例的说明图。
图7B是示出根据实施方式的滚动的触摸姿势的操作方向的校正示例的说明图。
图8是示出根据实施方式的相对于操作单元50的操作方向的校正示例的说明图。
图9是示出根据实施方式的相对于通过对屏幕20进行图像捕获所获取的成像图像的操作方向的校正示例的说明图。
图10是示出根据实施方式的改变区域中的触摸姿势的示例的说明图。
图11是示出根据实施方式的除改变区域之外的区域中的触摸姿势的示例的说明图。
图12是示出根据实施方式的处理流程的流程图。
图13是示出根据实施方式的信息处理系统10的硬件配置的说明图。
具体实施方式
下面将参照附图详细描述本公开的优选实施方式。应当注意，本文中描述的以及附图上的具有基本相同的功能配置的部件设置有相同的附图标记，并且将不重复其说明。
另外，在本说明书和附图中，还存在这样的情况，其中在具有基本相同的功能配置的多个部件中，通过将不同字母添加到相同的附图标记的最后部分来将部件中的每一个与其他部件区分开。例如，在具有基本相同的功能配置的多个配置中，配置中的每一个与其他配置根据需要如下面那样地区分开：窗口30a与窗口30b。然而，在不需要特别区分具有基本相同的功能配置的多个部件的情况下，仅使用相同的附图标记。例如，在不需要特别区分窗口30a与窗口30b的情况下，窗口30a与窗口30b仅被称为窗口30。
另外，将根据以下列出的项的顺序来描述“具体实施方式”。
1.信息处理系统的配置
2.实施方式的详细说明
3.硬件配置
4.修改示例
<<1.信息处理系统的配置>>
首先，将描述根据本公开的实施方式的信息处理系统10的配置示例。图1是示出根据本公开的一个实施方式的信息处理系统10的一个配置示例的说明图。顺便提及，在本说明书中，系统可以意指用于执行预定处理的配置。系统可以由一个装置形成，或者可以包括多个装置。另外，根据本实施方式的信息处理系统10也仅需要被适配成作为整个信息处理系统10能够执行预定处理，并且可以任意确定信息处理系统10中的哪些配置应当被认为是一个装置。
参照图1，根据本公开的一个实施方式的信息处理系统10a设置有传感器单元122a和显示单元124a。
<1-1.显示单元124>
显示单元124a在桌子90a上显示各种类型的信息。显示单元124a可以是投影单元(投影仪)。例如，如图1所示，显示单元124a可以通过悬挂在天花板上以便与桌子90a分开预定距离而被布置在桌子90a上方。在这种情况下，显示单元124a将信息投影到桌子90a的上表面上。以这种方式从上方在桌子90a的上表面上显示信息的方法也称为“投影类型”。另外，存在下文中将桌子90的上表面称为“屏幕20”的情况。另外，屏幕20是本公开中的投影目标的示例。屏幕20包括面(显示面)，显示单元124在该面上进行投影。
尽管稍后将描述细节，信息处理系统10a可以包括多个应用200。在这种情况下，根据多个应用200的相应控制，显示单元124a能够显示与应用200对应的显示对象。这里，显示对象例如是窗口。然而，显示对象不限于这样的示例。显示对象可以是例如用于接受用户进行的各种类型的操作(选择、输入等)的预定图像。预定图像可以包括图形用户界面(GUI)部分(例如，按钮、滑块、复选框、文本框、软件键盘等)。应当注意，下面将通过聚焦于显示对象是窗口的示例来进行说明。
顺便提及，例如，如图2A所示，在假定基本上从屏幕的正面方向执行操作的情况下设计公知的窗口系统。因此，用户难以从除正面之外的方向执行操作。
同时，例如，如图2B所示，根据本实施方式的信息处理系统10a能够在显示单元124上以相对于屏幕20中的基准角度的任意旋转角度显示与各个应用200对应的显示对象(例如，窗口30)。例如，可以由显示单元124将至少两个显示对象(例如，窗口30)投影到屏幕20上，使得至少两个显示对象相对于屏幕20的旋转角度彼此不同。因此，例如，在多个用户在屏幕20周围执行不一致的操作(例如，执行非合作操作)的这样的使用情况下，可以分别以方便多个用户的旋转角度显示窗口30。随后，相应用户能够方便地操作窗户30。另外，在屏幕20周围的用户之间，可以实现例如将显示对象移向另一用户等的交互操作。
<1-2.传感器单元122>
传感器单元122a包括：摄像装置，其通过使用例如一个透镜对桌子90a成像；以及立体摄像装置，其通过使用两个透镜对桌子90a成像，从而能够记录深度方向信息。例如，可见光摄像装置、红外摄像装置等可以用作立体摄像装置。另外，传感器单元122a还可以包括拾取用户发出的语音、周围环境中的环境声音等的语音输入装置，例如麦克风。
在通过使用一个透镜对桌子90a成像的摄像装置用作传感器单元122a的情况下，信息处理系统10a能够通过分析由摄像装置成像的图像(成像图像)来检测位于屏幕20上的对象(例如，用户的手等)的位置。另外，在立体摄像装置用作传感器单元122a的情况下，信息处理系统10a能够通过分析由立体摄像装置成像的成像图像来不仅获取位于屏幕20上的对象的位置信息，还获取该对象的深度信息。基于深度信息，信息处理系统10a能够检测用户的手已经在高度方向上触摸或接近屏幕20，以及用户的手已经从屏幕20释放。应当注意，在下面的说明中，用户使操作体(例如，用户的手等)触摸屏幕20，或者使操作体靠近屏幕20也被统称为仅仅“触摸”。应当注意，传感器单元122a可以具有深度传感器作为立体摄像装置的替选。在这种情况下，深度传感器能够获取位于屏幕20上的对象的深度信息。
在本实施方式中，基于由传感器单元122a成像的成像图像来检测操作体在屏幕20上的位置。另外，基于检测到的操作体的位置来输入各种类型的信息。换句话说，用户能够通过在屏幕20上移动操作体来执行各种类型的操作输入。例如，通过检测用户的手已触摸窗口30或GUI部分，执行针对窗口30或GUI部分的操作输入。应当注意，尽管在下面的说明中将操作体是用户的手的示例作为示例进行说明，但是本发明不限于这样的示例。操作体可以是各种操作构件，例如触笔。
另外，在传感器单元122a中包括的摄像装置可以被配置成不仅对桌子90a的上表面进行图像捕获，还对桌子90a周围存在的用户进行图像捕获。在这种情况下，信息处理系统10a能够基于由传感器单元122a成像的成像图像来检测桌子90a周围的用户的位置。另外，信息处理系统10a可以基于成像图像通过提取使得能够识别各个用户的物理特征(面部、身体尺寸等)来对用户进行个体识别。
应当注意，本发明不限于上述示例，并且因此可以通过其他方法执行用户操作输入。例如，传感器单元122a可以作为触摸面板安装在桌子90a的上表面(屏幕20a)上。另外，当用户的手指等触摸该触摸面板时可以检测到用户的操作输入。此外，可以通过用户朝在传感器单元122a中包括的摄像装置做出的姿势来检测用户的操作输入。
<1-3.修改示例>
上面已经说明了根据本实施方式的信息处理系统10a的配置。应当注意，根据本实施方式的信息处理系统的配置不限于图1中所示的示例，并且可以是诸如例如图3或图4中所示的配置的配置。
{1-3-1.修改示例1}
图3是示出根据本实施方式的信息处理系统的另一配置示例(信息处理系统10b)的图。如图3所示，在信息处理系统10b中，显示单元124b安装在桌子90b下方。显示单元124b例如是投影仪，并且从下侧向桌子90b的顶板投影信息。例如，桌子90b的顶板例如由诸如玻璃板和透明塑料板的透明材料形成。随后，将由显示单元124b投影的信息(穿过顶板)显示在桌子90b的上表面(屏幕20b)上。其中通过使显示单元124b以这种方式从桌子90b的下方投影信息而将信息显示在屏幕20b上的方法也被称为“背面投影类型”。
另外，在图3所示的示例中，屏幕20b(表面)设置有传感器单元122b。传感器单元122b由例如触摸面板形成。在这种情况下，通过使用触摸面板来检测操作体对屏幕20b的触摸，进行用户的操作输入。应当注意，本发明不限于这样的示例，并且因此，与图1所示的信息处理系统10a一样，传感器单元122b可以通过与桌子90b隔离而安装在桌子90b下方。在这种情况下，传感器单元122b包括摄像装置。另外，摄像装置能够通过桌子90b的顶板来对位于屏幕20b上的操作体进行图像捕获。随后，可以基于捕获图像来检测操作体的位置。
{1-3-2.修改示例2}
图4是示出根据本实施方式的信息处理系统的又一配置示例(信息处理系统10c)的图。如图4所示，在信息处理系统10c中，触摸面板型显示器在显示器的显示面朝上的状态下被安装在桌子90c上。在信息处理系统10c中，传感器单元122c和显示单元124c可以集成地形成为触摸面板型显示器。换句话说，各种类型的信息被显示在显示器的显示屏幕(屏幕20c)上，并且通过使用触摸面板检测操作体对显示器的显示屏幕的触摸，进行用户的操作输入。应当注意，同样地在信息处理系统10c中，与图1所示的信息处理系统10a一样，传感器单元122c包括摄像装置，并且摄像装置可以被安装在显示单元124c上方。在这种情况下，例如，可以基于由摄像装置进行图像捕获而得到的捕获图像来检测位于桌子90c周围的各个用户的位置。
<1-4.对问题的组织>
上面已经说明了根据本实施方式的信息处理系统的其他配置示例。顺便提及，在对屏幕20上的窗口30做出用户移动手指(例如，猛击、滑动、拖动等)的触摸姿势的场景中，在公知技术中，存在将与用户的意图不同的方向识别为与触摸姿势对应的操作方向的可能性。
这里，将参照图5A至图5C详细描述上述内容。图5A示出如下示例：其中在窗口30相对于屏幕20旋转“90度”的情况下，用户做出在窗口30中在如图5A所示的水平方向(x轴方向)上移动手指的触摸姿势40。在这种情况下，如图5B所示，用户想要执行相对于窗口30的竖直方向上的滚动(从图5B所示的“顶部”到“底部”的滚动)。
然而，在公知技术中，平台软件(操作系统(OS)、中间件等)在没有任何改变的情况下将称为“水平滚动”的输入信息输出到与窗口30对应的应用。因此，如图5C所示，与用户的意图相对，应用将滚动视为用于应用的水平滚动(换句话说，从图5C中所示的“左”到“右”的滚动)。换句话说，应用将触摸姿势视为相对于屏幕20的竖直滚动(换句话说，从图5A中所示的“底部”到“顶部”的滚动)。
顺便提及，作为用于解决该问题的方法，可以考虑以下的方法，其中与窗口30对应的应用检测对应的窗口30相对于屏幕20的旋转角度(“90度”)，并且在应用中，基于检测到的旋转角度改变操作方向的解释。然而，该方法要求所有应用都具有这样的内置功能，并且因此用于开发各个应用的成本变高。另外，如果存在不具有这样的内置功能的应用，即使在屏幕20上进行相同操作的情况下，行为也可能根据窗口30而不同，这将导致用户的困惑。
因此，考虑到上述情况作为一个视点，已经设计了根据本实施方式的信息处理系统10。信息处理系统10能够获取针对在显示面上显示的显示对象(例如，窗口30)的用户的操作信息，并且然后基于显示对象相对于显示面上的基准角度的旋转角度校正由操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与显示对象对应的应用200。因此，可以在与用户意图一致的方向上校正用户的操作输入(例如，姿势输入等)的向量信息。
这里，显示面上的基准角度是信息处理系统10中包括的软件的内部(逻辑或相对)基准角度，并且可以是用作“x轴”的基准的角度(例如，相对于x轴的0度)。另外，显示对象的旋转角度可以是相对于显示面的基准角度(换句话说，软件中的基准角度)的显示对象的关于x轴的角度。换句话说，即使例如图1所示的显示单元124a(投影仪等)，或者图4所示的显示单元124c(触摸显示器)旋转，“显示面上的基准角度”和“显示对象的旋转角度”两者均是不可改变的。
另外，在本实施方式中，显示面的旋转角度可以意指在屏幕20上投影或显示的整个投影区域的物理空间角度。例如，显示面的旋转角度是显示单元124a(投影仪等)的旋转角度或者是图4所示的显示单元124c(触摸显示器)的物理旋转角度等。换句话说，显示面的旋转角度可以与显示对象的旋转角度不同。例如，在本实施方式中，显示对象的旋转角度由于用户做出的调整等而改变，而不依赖显示面的旋转角度。
<<2.实施方式的详细说明>>
<2-1.功能配置>
接下来，将详细描述根据本实施方式的功能配置。图6是示出根据本实施方式的信息处理系统10的功能配置的功能框图。如图6所示，信息处理系统10包括平台单元100、通信单元120、传感器单元122、显示单元124和应用200。应当注意，下面将不再描述与上述内容类似的内容。
{2-1-1.平台单元100}
平台单元100可以包括一个或多个处理电路(例如，如稍后所述的中央处理单元(CPU)150等)。平台单元100执行对信息处理系统10的操作的整体控制。例如，平台单元100通过使用一个或多个处理电路来实现与信息处理系统10有关的OS、中间件等的功能。另外，如图6所示，平台单元100包括获取单元102、处理单元104和显示控制单元106。
{2-1-2.获取单元102}
获取单元102获取关于用户对通过显示单元124投影在屏幕20上的窗口30的操作的操作信息。这里，用户操作信息可以包括以下中的至少之一，例如，操作方法的类型、作为操作目标的显示对象、操作方向、操作量、操作速度等。应当注意，操作方法的类型可以是允许输入方向信息的任何方法，该方法包括例如触摸姿势、稍后描述的操作单元50的操作等。例如，在操作方法是滚动的触摸姿势的情况下，操作信息包括x轴方向上的移动距离(操作量)和y轴方向上的移动距离，以及作为操作目标的窗口30的识别信息。另外，在操作方法是惯性滚动的触摸姿势的情况下，操作信息包括x轴方向上的移动速度(操作速度)和y轴方向上的移动速度，以及作为操作目标的窗口30的识别信息。
下面将描述用于获取用户操作信息的方法的具体内容。例如，获取单元102基于由传感器单元122感测位于屏幕20上的用户的手的结果来获取用户操作信息。作为示例，首先，获取单元102通过执行接收、读取处理等从传感器单元122获取作为传感器数据的、已经通过由传感器单元122进行图像捕获而获取的图像。接下来，获取单元102使图像经历图像识别，从而识别屏幕20上的触摸姿势。随后，获取单元102获取识别结果作为操作信息。
应当注意，图像识别可以由传感器单元122执行，而不是由获取单元102执行。替选地，对应的图像可以经由通信网络(例如，因特网、各种局域网(LAN)等)传送到能够与如稍后所述的通信单元120通信的外部装置(服务器等)，并且外部装置可以使图像经历图像识别。在这种情况下，获取单元102能够从外部装置获取图像识别的结果。
另外，如图8所示，在对与屏幕20分离的操作单元50(例如，控制器、操纵杆、键盘等)执行操作的情况下，获取单元102从操作单元50接收用户操作信息，从而获取用户操作信息。应当注意，操作单元50可以被适配成能够通过例如上述通信网络与通信单元120通信。
另外，如图9所示，在对能够通过例如上述通信网络与通信单元120通信的信息处理终端60执行操作的情况下，获取单元102从信息处理终端60接收用户操作信息，从而获取用户操作信息。例如，通过对屏幕20进行图像捕获而获取的图像被传送到信息处理终端60，并且随后信息处理终端60能够显示图像。在这种情况下，例如，当对在信息处理终端60的操作显示单元600(例如，触摸显示器等)上显示的图像执行触摸操作时，获取单元102从信息处理终端60接收指示触摸操作的内容的操作信息，这使得获取单元102能够获取操作信息。
{2-1-3.处理单元104}
(2-1-3-1.操作方向的校正)
-校正示例1
处理单元104基于作为操作目标的窗口30相对于屏幕20中(更详细地，在屏幕20的显示面中)的基准角度的旋转角度来校正由操作信息指示的操作方向，旋转角度是由获取单元102获取的操作信息指示的。例如，处理单元104基于由所获取的操作信息指示的操作的类型，并且基于作为操作目标的窗口30相对于屏幕20中的基准角度的旋转角度，来校正操作方向。作为示例，在操作的类型是滚动的触摸姿势的情况下，处理单元104基于由操作信息指示的x轴方向上的移动距离和y轴方向上的移动距离，以及作为操作目标的窗口30相对于屏幕20的旋转角度，来校正操作方向。
这里，将参照图7A和图7B详细地描述在对窗口30做出滚动的触摸姿势40的情况下的操作方向的校正示例。顺便提及，图7A示出窗口30仅相对于屏幕20的x轴旋转角度θ的示例。另外，图7A示出与滚动40对应的x轴方向上的移动距离是Δx1并且与滚动40对应的y轴方向上的移动距离是Δy1的示例。
在这种情况下，如图7B所示，处理单元104通过使用例如以下数学式(1)将x轴方向上的移动距离从Δx1校正为Δx2。类似地，处理单元104通过使用以下数学式(2)将y轴方向上的移动距离的从Δy1校正为Δy2。
[数学式1]
Δx2＝cosθ·Δx1+sinθ·Δy1(l)
Δy2＝-sinθ·Δx1+cosθ·Δy1(2)
-校正示例2
另外，处理单元104还能够基于由操作信息指示的操作是否是对窗口30的直接操作来校正由操作信息指示的操作方向。例如，在由操作信息指示的操作不是对窗口30的直接操作的情况下(换句话说，在间接操作的情况下)，处理单元104基于窗口30相对于屏幕20的旋转角度以及屏幕20与用户之间的位置关系来校正操作方向。另外，在由操作信息指示的操作是对窗口30的直接操作的情况下，处理单元104仅基于窗口30相对于屏幕20的旋转角度来校正操作方向(不需要使用屏幕20与用户之间的位置关系)。这里，对窗口30的直接操作包括例如屏幕20上的触摸姿势等。另外，对窗口30的间接操作包括例如将方向信息输入到操作单元50中(例如，对操作单元50中包括的按键、按钮、杆等的操作等)。
这里，参照图8，将更详细地描述上面描述的内容。图8是示出用户2通过使用操作单元50对窗口30执行操作(具有方向信息)的示例(换句话说，执行间接操作的示例)的说明图。应当注意，图8示出获取单元102已经获取指示(在操作单元50中包括的方向按键500中的)左按键500a已经被按压的操作信息的示例。
在这种情况下，处理单元104基于窗口30相对于屏幕20的旋转角度(在图8所示的示例中，“90度”)以及屏幕20与用户2之间的位置关系的检测结果而校正由操作信息指示的操作方向。作为结果，如图8所示，以例如用户2面对的方向(图8中的“向下”方向)为基准的“左”方向变为校正之后的操作方向42。
-校正示例3
另外，在由操作信息指示的操作是对通过对屏幕20进行图像捕获而获取的捕获图像(摄像装置图像)的操作的情况下，处理单元104还能够进一步基于对捕获图像进行物体识别的结果校正由操作信息指示的操作方向。另外，在这种情况下，处理单元104还能够基于对捕获图像进行物体识别的结果来校正由操作信息指示的操作量。换句话说，处理单元104能够在考虑视角的情况下校正(与对应的操作对应的)向量的大小。
例如，如图9所示，通过对屏幕20进行图像捕获而获取的捕获图像被传送到信息处理终端60，并且随后信息处理终端60的操作显示单元600能够显示捕获图像。在这种情况下，处理单元104基于对捕获图像中包括的屏幕20进行识别的结果和由获取单元102获取的操作信息来校正由操作信息指示的操作方向和操作量。例如，首先，处理单元104使捕获图像经历物体识别。接下来，处理单元104识别在操作显示单元600上显示的捕获图像中的窗口30的显示区域。另外，处理单元104基于窗口30的显示区域与由操作信息指示的操作(例如，对操作显示单元600的触摸操作、对信息处理终端60中包括的操作单元(按键、杆等)的操作等)之间的关系来校正由操作信息指示的操作方向和操作量。
2-1-3-2.与窗口相关的改变
另外，在由获取单元102获取的操作信息指示的操作是对窗口30做出的触摸姿势的情况下，处理单元104基于触摸姿势的位置确定是校正相对于对应窗口30的操作方向还是改变与对应窗口30有关的设置。例如，基于触摸姿势的位置是否在窗口30中的改变区域内，处理单元104校正相对于对应窗口30的操作方向或者改变与对应窗口30有关的设置。这里，改变区域是本公开中的预定区域的示例。改变区域可以是例如，落入距窗口30的外周的预定距离内的窗口30内的区域、落入距窗口30的外周的预定距离内的窗口30外的区域或者包括该窗口30内的区域和该窗口30外的区域两者的范围。另外，与窗口30有关的设置包括例如，窗口30相对于屏幕20的旋转角度、窗口30相对于屏幕20的位置、窗口30的显示尺寸等。
例如，如图10所示，在触摸姿势的位置在窗口30的改变区域302内的情况下，处理单元104基于触摸姿势来改变对应窗口30的旋转角度。
另外，如图11所示，在触摸姿势的位置在除窗口30的改变区域之外的区域300内的情况下，处理单元104基于触摸姿势来校正相对于对应窗口30的操作方向(如上所述的那样)。
(2-1-3-3.校正结果的输出)
另外，处理单元104将校正的结果的信息(下文中称为“校正结果的信息”)输出到与作为操作目标的窗口30对应的应用200。这里，校正结果的信息可以包括校正的操作方向、校正的操作量等。因此，对应的应用200能够执行与校正的结果对应的处理。
{2-1-4.显示控制单元106}
显示控制单元106对通过显示单元124进行的投影进行控制。例如，在处理单元104基于用户的触摸姿势来改变与窗口30有关的设置(旋转角度、位置或尺寸等)时，显示控制单元106将对应窗口30的显示模式从标准显示模式改变到另外的显示模式。例如，仅在与窗口30有关的设置改变时，显示控制单元106可以改变对应窗口30自身的显示颜色，可以增加透射率，或者可以使对应窗口30的框变亮。替选地，例如，如图10所示，仅在与窗口30有关的设置改变时，显示控制单元106还可以响应于改变在显示单元124上显示对应窗口30的轮廓以便移动轮廓，或者以便改变尺寸。根据这些显示示例，信息处理系统10(更详细地，处理单元104)能够向正在操作窗口30的用户通知当前是否正在执行与窗口30有关的设置，并且因此改善用户的便利性。
{2-1-5.通信单元120}
通信单元120向其他装置传送信息/从其他装置接收信息。例如，通信单元120从操作单元50和信息处理终端60接收用户操作信息。
{2-1-6.应用200}
应用200根据与由处理单元104输出的校正结果有关的信息执行预定处理。另外，应用200使得与应用200对应的至少一个窗口30显示在显示单元124上。应当注意，应用200可以由与处理单元104不同的处理器等执行。替选地，在处理单元104还能够执行除作为平台单元100的处理之外的处理的情况下，处理单元104可以执行应用200的处理。
<2-2.处理流程>
上面已经说明了根据本实施方式的功能配置。接下来，将参照图12描述根据本实施方式的处理流程。图12是示出根据本实施方式的处理流程的流程图。顺便提及，下面将描述用户执行对屏幕20的触摸操作的场景中的处理流程的示例。
如图12所示，首先，例如，至少一个应用200基于用户的输入等而启动。随后，显示单元124根据已经启动的应用200的控制在屏幕20上投影与应用200对应的窗口30(S101)。
此后，用户对投影在屏幕20上的任何窗口30执行期望的触摸操作。然后，获取单元102获取指示触摸操作的内容的操作信息(S103)。这里，获取可以包括：接收例如操作信息的处理；基于传感器信息生成操作信息的处理；读取临时记录在诸如存储器的存储介质上的操作信息的处理等。
随后，处理单元104基于操作信息识别作为触摸操作的目标的窗口30(S105)。
随后，处理单元104确定触摸操作是否是包括方向信息的操作(S107)。在触摸操作是不包括方向信息的操作的情况下(S109：否)，处理单元104在没有任何改变的情况下将操作信息输出到与S105中识别的窗口30对应的应用200(S111)。随后，重复S103之后的处理。
同时，在触摸操作是包括方向信息的操作的情况下(S109：是)，处理单元104基于在S105中识别的窗口30的相对于屏幕20的旋转角度来校正由在S103中获取的操作信息所指示的操作方向(S113)。
随后，处理单元104将反映S113中的校正的结果的操作信息输出到与窗口30对应的应用200(S115)。随后，重复S103之后的处理。
<2-3.效果>
{2-3-1.效果1}
如上所述，根据本实施方式的平台单元100获取关于用户对在显示面上显示的窗口30的操作的操作信息，并且然后基于窗口30相对于显示面上的基准角度的旋转角度来校正由操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与窗口30对应的应用200。因此，可以将与用户意图一致的操作方向输出到与作为操作目标的窗口30对应的应用200。
因此，例如，在允许多个用户分别从不同方向操作的设备(图1、图3和图4中所示的桌子90等)中，用户可以执行操作输入而没有感受到困难或不适感。因此，可以提高设备的可用性。
{2-3-2.效果2}
另外，根据本实施方式，不是应用200而是平台单元100实现操作方向的校正。因此，不需要在应用200中构建特殊功能。因此，创建应用200不需要不必要的成本。另外，行为在应用200之间不变，并且因此可以实现统一的操作感。
另外，由于类似的原因，现有的应用200可以在信息处理系统10中原样使用。此外，将来，即使在具有新形式的设备进入的情况下，平台单元100也能够执行与设备的形式对应的校正，并且因此不需要修改现有的应用200。
<<3.硬件配置>>
接下来，将参照图13描述根据本实施方式的信息处理系统10的硬件配置。如图13所示，信息处理系统10设置有CPU 150、只读存储器(ROM)152、随机存取存储器(RAM)154、总线156、接口158、输入装置160、输出装置162、存储装置164以及通信装置166。
CPU 150用作计算处理装置和控制装置，并且根据各种类型的程序控制信息处理系统10中的整体操作。另外，CPU 150实现信息处理系统10中的平台单元100的功能。顺便提及，CPU 150由诸如微处理器的处理器形成。
ROM 152存储例如由CPU 150使用的程序和诸如计算参数的控制数据。
RAM 154临时存储例如由CPU 150执行的程序等。
总线156由CPU总线等形成。总线156将CPU 150、ROM 152和RAM154相互连接。
接口158将输入装置160、输出装置162、存储装置164和通信装置166连接至总线156。
输入装置160例如包括：用于供用户输入信息的输入装置，例如，触摸面板、按钮、开关、拨号盘、控制杆或麦克风；基于用户的输入生成输入信号并且将输入信号输出到CPU150的输入控制电路，等等。
输出装置162包括例如显示装置，例如，投影仪、液晶显示装置、有机发光二极管(OLED)装置或灯。另外，输出装置162包括诸如扬声器的音频输出装置。输出装置162可以实现信息处理系统10中的显示单元124的功能。
存储装置164是用于存储数据的装置。存储装置164包括例如存储介质、用于将数据记录在存储介质上的记录装置、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。
通信装置166例如是用于连接至诸如因特网的通信网络的通信接口，并且由通信装置等形成。另外，通信装置166可以是支持无线LAN的通信装置、支持长期演进(LTE)的通信装置、或执行有线通信的有线通信装置。该通信装置166可以实现信息处理系统10中的通信单元120的功能。
<<4.修改示例>>
如上已经参照附图详细描述了本公开的优选实施方式。然而，本公开不限于上述示例。显然，本公开所属的技术领域的普通技术人员可以在权利要求中阐述的技术构思的范畴内想到各种校正示例或修改示例。应当理解，当然这些示例也属于本公开的技术范围。
<4-1.修改示例1>
例如，在上述实施方式中，已经描述了本公开中的投影目标是屏幕20的示例。然而，本发明不限于这样的示例。投影目标可以是作为显示单元124的投影目标的三维对象。
<4-2.修改示例2>
另外，在上述实施方式中，已经描述了显示单元124将图像投影在屏幕20上的示例。然而，本发明不限于这样的示例。例如，头戴式(例如，眼镜型等)显示器用作显示单元124，并且平台单元100或每个应用200可以使显示单元124显示显示对象，例如窗口30。在这种情况下，显示单元124可以是透射型显示器，或非透射型显示器。在后一种情况下，可以由附接至显示单元124的摄像装置来捕获显示单元124的前方的视频图像。另外，平台单元100或每个应用20可以使显示单元124以显示的对象被叠加在通过由摄像装置进行图像捕获而获取的图像上的方式显示该图像。
<4-3.修改示例3>
另外，根据本实施方式的包括平台单元100的装置(信息处理装置)可以包括通信单元120、传感器单元122和显示单元124中的一个或更多个。例如，信息处理装置可以是包括平台单元100和显示单元124(投影单元)的投影仪单元。
替选地，信息处理装置可以与桌子90集成地构造。替选地，信息处理装置可以是通过例如通信网络连接至通信单元120、传感器单元122和显示单元124中的至少一个的装置。例如，信息处理装置可以是服务器、通用个人计算机(PC)、平板式终端、游戏机、诸如智能电话的便携式电话、便携式音乐播放器、可穿戴装置或机器人，例如，可穿戴装置是头戴式显示器(HMD)、增强现实(AR)眼镜、智能手表等。
另外，应用200可以在信息处理装置中实现，或者可以在能够与信息处理装置通信的其他装置中实现。
<4-4.修改示例4>
另外，并不总是需要根据上述顺序执行上述处理流程中的每个步骤。例如，可以按照适当改变的顺序来执行每个步骤。此外，每个步骤可以部分地以并行或单独的方式执行，而不是以时间序列的方式执行。另外，可以省略上述步骤的一部分，或者可以将另外的步骤添加到上述步骤。
此外，根据上述实施方式，也可以提供使得诸如CPU 150、ROM 152和RAM 154的硬件提供与根据上述实施方式的信息处理系统10(具体地，平台单元100)的每个配置的功能等效的功能的计算机程序。此外，还提供上面记录有计算机程序的记录介质。
此外，本说明书中描述的效果被解释为仅是说明性或示例性的，而不是限制性的。换句话说，与上述效果一起或者代替上述效果，根据本公开的技术可以实现对于本领域技术人员而言根据本说明书的叙述而明显的其他效果。
应当注意，以下配置也属于本公开的技术范围。
(1)一种信息处理系统，包括：
获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及
处理单元，其基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，
其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
(2)根据前述(1)所述的信息处理系统，其中，所述显示对象通过投影单元投影在包括所述显示面的投影目标上。
(3)根据前述(2)所述的信息处理系统，其中，所述显示对象是窗口。
(4)根据前述(2)所述的信息处理系统，其中，
通过所述投影单元将至少两个所述显示对象投影在所述投影目标上，以及
至少两个所述显示对象相对于所述显示面上的基准角度的相应旋转角度彼此不同。
(5)根据前述(4)所述的信息处理系统，其中，所述处理单元基于作为由所述操作信息指示的操作目标的显示对象的旋转角度来校正所述操作方向，所述显示对象是从至少两个所述显示对象中选择的，并且所述处理单元将指示经校正的操作方向的信息输出到与作为所述操作目标的所述显示对象对应的应用。
(6)根据前述(2)至(5)中任一项所述的信息处理系统，其中，所述处理单元还基于由所述操作信息指示的操作是否是对所述显示对象的直接操作来校正所述操作方向。
(7)根据前述(6)所述的信息处理系统，其中，在由所述操作信息指示的操作是对所述显示对象的间接操作的情况下，所述处理单元还基于所述投影目标与所述用户之间的位置关系来校正所述操作方向。
(8)根据前述(7)所述的信息处理系统，其中，对所述显示对象的间接操作包括将方向信息输入到操作单元内。
(9)根据前述(6)至(8)中任一项所述的信息处理系统，其中，对所述显示对象的直接操作包括对所述投影目标的触摸姿势。
(10)根据前述(2)至(5)中任一项所述的信息处理系统，其中，
通过对所述投影目标进行图像捕获所获取的捕获图像被传送到具有操作显示单元的信息处理终端，
所述操作信息指示对所述操作显示单元上显示的捕获图像的操作，
所述获取单元从所述信息处理终端获取所述操作信息，以及
所述处理单元还基于对所述捕获图像进行物体识别的结果来校正所述操作方向。
(11)根据前述(10)所述的信息处理系统，其中，
所述处理单元还基于对所述捕获图像进行物体识别的结果来校正由所述操作信息指示的操作量，并且将指示经校正的操作量的信息输出到与所述显示对象对应的应用。
(12)根据前述(3)所述的信息处理系统，其中，
所述操作信息指示对所述窗口的触摸姿势，以及
所述处理单元还基于所述触摸姿势的位置是否在所述窗口中的预定区域中来确定是校正所述操作方向还是改变与所述窗口相关的设置。
(13)根据前述(12)所述的信息处理系统，其中，
与所述窗口相关的设置包括所述窗口相对于所述投影目标的旋转角度。
(14)根据前述(13)所述的信息处理系统，其中，
在所述触摸姿势的位置在除所述预定区域之外的所述窗口中的情况下，所述处理单元基于所述窗口相对于所述投影目标的旋转角度来校正所述操作方向。
(15)根据前述(13)或(14)所述的信息处理系统，其中，
在所述触摸姿势的位置在所述预定区域中的情况下，所述处理单元基于所述触摸姿势改变所述窗口相对于所述投影目标的旋转角度。
(16)根据前述(12)至(15)中任一项所述的信息处理系统，还包括：显示控制单元，其控制通过所述投影单元进行的投影，
其中，所述显示控制单元根据所述处理单元是否正在改变与所述窗口相关的设置来改变所述窗口的显示模式。
(17)根据前述(16)所述的信息处理系统，其中，
在所述处理单元正在改变与所述窗口相关的设置的期间，所述显示控制单元将所述窗口的显示模式设置成第一显示模式，以及
在与所述窗口相关的设置的改变已经完成时，所述显示控制单元将所述窗口的显示模式从所述第一显示模式改变为第二显示模式。
(18)一种信息处理方法，包括：
获取针对在显示面上显示的显示对象的用户的操作信息；
由处理器基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向；以及
将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，
其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
(19)一种使得计算机用作以下的程序：
获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及
处理单元，其基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，
其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
参考标记列表
10 信息处理系统
20 投影目标
30 窗口
50 操作单元
60 信息处理终端
90 桌子
100 平台单元
102 获取单元
104 处理单元
106 显示控制单元
120 通信单元
122 传感器单元
124 显示单元
200 应用
600 操作显示单元

Claims (19)

1.一种信息处理系统，包括：
获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及
处理单元，其基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，
其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
2.根据权利要求1所述的信息处理系统，其中，所述显示对象通过投影单元投影在包括所述显示面的投影目标上。
3.根据权利要求2所述的信息处理系统，其中，所述显示对象是窗口。
4.根据权利要求2所述的信息处理系统，其中，
通过所述投影单元将至少两个所述显示对象投影在所述投影目标上，以及
至少两个所述显示对象相对于所述显示面上的基准角度的相应旋转角度彼此不同。
5.根据权利要求4所述的信息处理系统，其中，所述处理单元基于作为由所述操作信息指示的操作目标的显示对象的旋转角度来校正所述操作方向，所述显示对象是从至少两个所述显示对象中选择的，并且所述处理单元将指示经校正的操作方向的信息输出到与作为所述操作目标的所述显示对象对应的应用。
6.根据权利要求2所述的信息处理系统，其中，所述处理单元还基于由所述操作信息指示的操作是否是对所述显示对象的直接操作来校正所述操作方向。
7.根据权利要求6所述的信息处理系统，其中，在由所述操作信息指示的操作是对所述显示对象的间接操作的情况下，所述处理单元还基于所述投影目标与所述用户之间的位置关系来校正所述操作方向。
8.根据权利要求7所述的信息处理系统，其中，对所述显示对象的间接操作包括将方向信息输入到操作单元内。
9.根据权利要求6所述的信息处理系统，其中，对所述显示对象的直接操作包括对所述投影目标的触摸姿势。
10.根据权利要求2所述的信息处理系统，其中，
通过对所述投影目标进行图像捕获所获取的捕获图像被传送到具有操作显示单元的信息处理终端，
所述操作信息指示对所述操作显示单元上显示的捕获图像的操作，
所述获取单元从所述信息处理终端获取所述操作信息，以及
所述处理单元还基于对所述捕获图像进行物体识别的结果来校正所述操作方向。
11.根据权利要求10所述的信息处理系统，其中，所述处理单元还基于对所述捕获图像进行物体识别的结果来校正由所述操作信息指示的操作量，并且将指示经校正的操作量的信息输出到与所述显示对象对应的应用。
12.根据权利要求3所述的信息处理系统，其中，
所述操作信息指示对所述窗口的触摸姿势，以及
所述处理单元还基于所述触摸姿势的位置是否在所述窗口中的预定区域中来确定是校正所述操作方向还是改变与所述窗口相关的设置。
13.根据权利要求12所述的信息处理系统，其中，与所述窗口相关的设置包括所述窗口相对于所述投影目标的旋转角度。
14.根据权利要求13所述的信息处理系统，其中，在所述触摸姿势的位置在除所述预定区域之外的所述窗口中的情况下，所述处理单元基于所述窗口相对于所述投影目标的旋转角度来校正所述操作方向。
15.根据权利要求13所述的信息处理系统，其中，在所述触摸姿势的位置在所述预定区域中的情况下，所述处理单元基于所述触摸姿势改变所述窗口相对于所述投影目标的旋转角度。
16.根据权利要求12所述的信息处理系统，还包括：
显示控制单元，其控制通过所述投影单元进行的投影，其中，
所述显示控制单元根据所述处理单元是否正在改变与所述窗口相关的设置来改变所述窗口的显示模式。
17.根据权利要求16所述的信息处理系统，其中，
在所述处理单元正在改变与所述窗口相关的设置的期间，所述显示控制单元将所述窗口的显示模式设置成第一显示模式，以及
在与所述窗口相关的设置的改变已经完成时，所述显示控制单元将所述窗口的显示模式从所述第一显示模式改变为第二显示模式。
18.一种信息处理方法，包括：
获取针对在显示面上显示的显示对象的用户的操作信息；
由处理器基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向；以及
将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
19.一种记录有程序的记录介质，所述程序使得计算机用作：
获取单元，其获取针对在显示面上显示的显示对象的用户的操作信息；以及
处理单元，其基于所述显示对象相对于所述显示面上的基准角度的旋转角度来校正由所述操作信息指示的操作方向，并且将指示经校正的操作方向的信息输出到与所述显示对象对应的应用，
其中，所述显示对象的旋转角度与所述显示面的旋转角度不同。
CN201780086150.0A 2017-02-17 2017-12-28 信息处理系统、信息处理方法及程序 Active CN110291495B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017027641 2017-02-17
JP2017-027641 2017-02-17
PCT/JP2017/047382 WO2018150757A1 (ja) 2017-02-17 2017-12-28 情報処理システム、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN110291495A CN110291495A (zh) 2019-09-27
CN110291495B true CN110291495B (zh) 2023-05-30

Family

ID=63169813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086150.0A Active CN110291495B (zh) 2017-02-17 2017-12-28 信息处理系统、信息处理方法及程序

Country Status (5)

Country Link
US (1) US11054941B2 (zh)
EP (1) EP3584688A4 (zh)
JP (1) JPWO2018150757A1 (zh)
CN (1) CN110291495B (zh)
WO (1) WO2018150757A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346977B2 (ja) * 2019-07-29 2023-09-20 株式会社リコー 制御装置、電子機器、制御システム、制御方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207668A (zh) * 2012-01-13 2013-07-17 索尼公司 信息处理装置、信息处理方法及计算机程序
CN104933399A (zh) * 2014-03-20 2015-09-23 富士通株式会社 图像校正装置和图像校正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823417B2 (ja) * 1992-03-16 1998-11-11 三洋電機株式会社 表示装置
JPH07319615A (ja) * 1994-05-24 1995-12-08 Wacom Co Ltd 情報処理装置及びその制御方法
US6396506B1 (en) * 1996-03-15 2002-05-28 Hitachi, Ltd. Display operation method to change the number of images to be displayed and to independently change image direction and rotation of each image
US20050140696A1 (en) * 2003-12-31 2005-06-30 Buxton William A.S. Split user interface
JP5717270B2 (ja) * 2009-12-28 2015-05-13 任天堂株式会社 情報処理プログラム、情報処理装置および情報処理方法
JPWO2014010458A1 (ja) 2012-07-10 2016-06-23 ソニー株式会社 操作処理装置および操作処理方法、並びにプログラム
US20160300325A1 (en) * 2013-10-04 2016-10-13 Nec Corporation Electronic apparatus, method of controlling electronic apparatus and non-transitory storage medium
CN105706028B (zh) * 2013-11-19 2018-05-29 麦克赛尔株式会社 投影型影像显示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207668A (zh) * 2012-01-13 2013-07-17 索尼公司 信息处理装置、信息处理方法及计算机程序
CN104933399A (zh) * 2014-03-20 2015-09-23 富士通株式会社 图像校正装置和图像校正方法

Also Published As

Publication number Publication date
US20190339864A1 (en) 2019-11-07
CN110291495A (zh) 2019-09-27
EP3584688A1 (en) 2019-12-25
US11054941B2 (en) 2021-07-06
EP3584688A4 (en) 2020-01-22
JPWO2018150757A1 (ja) 2019-12-12
WO2018150757A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210405761A1 (en) Augmented reality experiences with object manipulation
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN114303120B (zh) 虚拟键盘
US11360605B2 (en) Method and device for providing a touch-based user interface
JP6903935B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US11714540B2 (en) Remote touch detection enabled by peripheral device
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
US20140015794A1 (en) Electronic device, control method, and control program
WO2013028279A1 (en) Use of association of an object detected in an image to obtain information to display to a user
CN113168221B (zh) 信息处理设备、信息处理方法和程序
US11803233B2 (en) IMU for touch detection
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
CN111480132A (zh) 信息处理系统、信息处理方法和程序
CN117916777A (zh) 手工制作的增强现实努力证据
CN110291495B (zh) 信息处理系统、信息处理方法及程序
JP6481360B2 (ja) 入力方法、入力プログラムおよび入力装置
US20240168565A1 (en) Single-handed gestures for reviewing virtual content
US20230066686A1 (en) Augmented reality prop interactions
CN117940964A (zh) 手工制作的增强现实体验

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant