CN111480132A - 信息处理系统、信息处理方法和程序 - Google Patents

信息处理系统、信息处理方法和程序 Download PDF

Info

Publication number
CN111480132A
CN111480132A CN201880080504.5A CN201880080504A CN111480132A CN 111480132 A CN111480132 A CN 111480132A CN 201880080504 A CN201880080504 A CN 201880080504A CN 111480132 A CN111480132 A CN 111480132A
Authority
CN
China
Prior art keywords
display surface
display
information
predetermined
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880080504.5A
Other languages
English (en)
Inventor
池田哲男
大场晴夫
新岛诚
福田玲
小迪金森·福雷斯特·马修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111480132A publication Critical patent/CN111480132A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

[问题]为了提供一种能够以适应于相对于传送对象移动显示表面内的对象的操作的方式控制特定显示表面的显示的信息处理系统、信息处理方法和程序。[解决方案]提供了一种信息处理系统,其具有:处理单元,其在检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的由第一用户执行的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与第一显示表面对应的第二显示表面内的一组或更多组显示信息改变为可在第一显示表面中操作,并且基于第一操作之后由第一用户执行的第二操作的检测结果来改变第二显示表面的显示状态。

Description

信息处理系统、信息处理方法和程序
技术领域
本公开内容涉及信息处理系统、信息处理方法和程序。
背景技术
传统上,已经开发了与增强现实(AR)有关的各种技术。在AR中,可以向用户呈现与用户所处的环境中的对象相关联的附加信息。
例如,在下述专利文献1中记载了通过分析拍摄图像来检测标记并且调用与检测到的标记相关联的功能的技术。
引文列表
专利文献
专利文献1:JP 2015-90524A
发明内容
技术问题
然而,在专利文献1中描述的技术中,当检测到在特定显示表面中的对象相对于传送对象移动的操作时,没有考虑响应于该操作适应性地控制显示表面上的显示。
因此,本公开内容提供了一种新的且改进的信息处理系统、信息处理方法和程序,其能够响应于将特定显示表面中的对象相对于传送对象移动的操作而自适应地控制显示表面上的显示。
问题的解决方案
根据本公开内容,提供了一种信息处理系统,包括:处理单元,其当在检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对第一显示表面执行预定的显示控制,并且基于在第一操作之后由第一用户的第二操作的检测结果来改变第二显示表面的显示状态,所述预定的显示控制指示将与第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在第一显示表面中操作。
此外,根据本公开内容,提供了一种信息处理方法,其包括:当在检测到将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对第一显示表面执行预定的显示控制,并且通过处理器基于在第一操作的检测之后由第一用户的第二操作的检测结果来改变第二显示表面的显示状态,所述预定的显示控制指示将与第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在第一显示表面中操作。
此外,根据本公开内容,提供了一种程序,其使计算机用作处理单元,所述处理单元当在检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时对第一显示表面执行预定的显示控制,并且基于在第一操作的检测之后由第一用户的第二操作的检测结果来改变第二显示表面的显示状态,所述预定的显示控制指示将与第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在第一显示表面中操作。
本发明的有益效果
如上所述,根据本公开内容,可以响应于相对于传送对象移动特定显示表面中的对象的操作而自适应地控制显示表面上的显示。注意,此处描述的效果不必是限制性的,并且可以是本公开内容中描述的任何效果。
附图说明
图1是示出用于描述根据本公开内容的实施方式的信息处理系统10的配置示例的图。
图2是示出根据实施方式的信息处理系统10的另一配置示例的图。
图3是示出根据实施方式的信息处理系统10的另一配置示例的图。
图4是示出根据实施方式的信息处理系统10的另一配置示例的图。
图5是示出根据实施方式的系统的另一配置示例的图。
图6是示出根据实施方式的信息处理系统10的功能配置的示例的框图。
图7是示出根据实施方式的用于将与对象对应的信息传送至另一显示表面的传送操作的示例的图。
图8是示出根据实施方式的表面属性信息DB 128的配置示例的图。
图9A是示出根据实施方式的表面属性匹配处理单元104的功能的示例的图。
图9B是示出根据实施方式的表面属性匹配处理单元104的功能的示例的图。
图10A是示出根据实施方式的表面属性匹配处理单元104的功能的另一示例的图。
图10B是示出根据实施方式的表面属性匹配处理单元104的功能的另一示例的图。
图11是示出根据实施方式的处理流程的一部分的流程图。
图12是示出根据实施方式的处理流程的一部分的流程图。
图13是示出根据本实施方式的第一应用示例中传送与对象对应的图像的示例的图。
图14是示出根据第一应用示例中传送与对象对应的图像的另一示例的图。
图15是示出根据本实施方式的第二应用示例中传送与对象对应的图像的示例的图。
图16是示出根据第二应用示例中传送与对象对应的图像的另一示例的图。
图17是示出根据本实施方式的第三应用示例中传送与对象对应的图像的示例的图。
图18是示出根据第三应用示例中传送与对象对应的图像的另一示例的图。
图19A是示出根据本实施方式的第四应用示例中与对象对应的图像的传送操作的示例的图。
图19B是示出根据第四应用示例中传送与对象对应的图像的示例的图。
图20是示出根据本实施方式的第五应用示例的表面属性信息DB 128的配置示例的图。
图21A是示出根据第五应用示例中与对象对应的图像的传送操作的示例的图。
图21B是示出根据传送目的地的显示表面转换和显示根据第五应用示例的与要传送的对象对应的图像的示例的图。
图22是示出根据本实施方式的第六应用示例的系统的配置示例的图。
图23是示出根据第六应用示例的表面属性信息DB 128的配置示例的图。
图24A是示出根据第六应用示例的与对象对应的图像相对于智能电话50的显示屏的传送操作的示例的图。
图24B是示出根据传送目的地的显示表面转换和显示根据第六应用示例的与要传送的对象对应的图像的示例的图。
图24C是示出根据传送目的地的显示表面转换和显示根据第六应用示例的与要传送的对象对应的图像的示例的图。
图25是示出根据本实施方式的第七应用示例的表面属性信息DB 128的配置示例的图。
图26A是示出根据第七应用示例中与对象对应的图像的传送操作的示例的图。
图26B是示出根据传送目的地的显示表面转换和显示根据第七应用示例的与要传送的对象对应的图像的示例的图。
图27A是示出根据本实施方式的第八应用示例中与对象对应的图像的传送操作的示例的图。
图27B是示出根据第八应用示例中传送与对象对应的图像的示例的图。
图27C是示出根据第八应用示例的在传送源的显示表面上显示传送目的地的显示表面中的目标区域中的显示信息的示例的图。
图27D是示出在图27C所示的定时处的传送目的地的显示表面的显示示例的图。
图28A是示出根据本实施方式的第九应用示例的用于在传送目的地的显示表面中滚动目标区域的传送源的显示表面的操作的示例的图。
图28B是示出基于图28A所示的操作的目标区域的移动的示例的图。
图29A是示出根据第九应用示例的用于滚动传送目的地的显示表面中的目标区域的传送源的显示表面的另一操作的示例的图。
图29B是示出基于图28B所示的操作的目标区域的移动的示例的图。
图30A是示出根据本实施方式的第七应用示例的传送目的地的显示表面的显示示例的图。
图30B是示出在传送源的显示表面上显示在图30A所示的定时处的指示传送目的地的基本上整个显示表面的映射图像的示例的图。
图31A是示出根据本实施方式的第十一应用示例的传送目的地的显示表面的显示示例的图。
图31B是示出根据第十一应用示例的如图31A所示的定时处的传送源的显示表面的显示示例的图。
图32A是示出根据本实施方式的第十二应用示例的当在桌面20-1和桌面20-3上同时执行白板20-2上的编辑任务时白板20-2的显示示例的图。
图32B是示出在图32A所示的定时处的桌面20-1的显示示例的图。
图32C是示出在图32A所示的定时处的桌面20-3的显示示例的图。
图33A是示出根据本实施方式的第十三应用示例的将要传送的对象移动到传送区域中的操作的示例的图。
图33B是示出在图33A所示的定时之后用户继续触摸要传送的对象的状态的图。
图33C是示出在图33B所示的定时之后的用于指定对应对象的传送位置显示的映射图像的显示示例的图。
图34是示出根据本实施方式的信息处理系统10的硬件配置的示例的图。
图35是示出根据本实施方式的修改示例的系统的配置示例的图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同功能配置的部件将由相同的附图标记表示,并且将省略其冗余描述。
在本说明书和附图中,具有基本相同的功能配置的多个部件可以通过在相同的附图标记之后添加不同的字母来区分。例如,根据需要区分具有基本相同的功能配置的多个部件,例如桌子90a和桌子90b。然而,当不需要特别区分具有基本相同的功能配置的多个部件中的每一个时,仅用相同的附图标记表示部件。例如,当不需要特别区分桌子90a和桌子90b时,将桌子90a和桌子90b简称为桌子90。
此外,将按照以下项的顺序描述“用于执行本发明的实施方式”。
1.信息处理系统的配置
2.实施方式的详细描述
3.应用示例
4.硬件配置
5.修改示例
<<1.信息处理系统的配置>>
首先,参照图1描述根据本公开内容的实施方式的信息处理系统的配置示例。注意,在本说明书中,系统可以表示用于执行预定处理的配置。系统可以由一个设备构成,或者可以由多个设备构成。此外,根据本实施方式的信息处理系统10还可以被配置成能够整体执行预定处理,并且可以是任意的,其中信息处理系统10中的配置被视为一个设备。
图1是示出信息处理系统10的配置示例的图。参照图1,根据本实施方式的信息处理系统10a包括输入单元120a和输出单元124a。
<1-1.输出单元124>
输出单元124a可以被配置成包括稍后描述的输出设备162。输出单元124a在桌子90a上显示各种信息。输出单元124a可以是投影单元(投影仪)。例如,如图1所示,输出单元124a可以在从天花板悬挂的同时以距桌子90a预定距离布置在桌子90a上方。在该情况下,输出单元124a可以将信息投影到桌子90a的顶面上。例如,输出单元124a可以是吊灯或台式立灯。从上方在桌子90a的顶面上显示信息的这种方法也被称为“投影型”。在下文中,桌子90的顶面可以被称为显示表面20。显示表面20包括要由输出单元124投影的表面(屏幕)。
例如,输出单元124a根据稍后描述的显示处理单元122的控制来显示虚拟显示对象。显示对象是例如窗口、用户接口(UI)对象等。UI对象是接收用户的各种操作(选择、输入等)的预定图像(静止图像或运动图像)。例如,UI对象是包括图形用户接口(GUI)部件(例如,按钮、滑块、复选框、文本框、软键盘等)的图像。此外,UI对象可以被布置在窗口中。
<1-2.输入单元120>
输出单元120a可以被配置成包括稍后描述的输入设备160。输入单元120a包括例如用一个镜头捕获桌子90a的图像的摄像装置。替选地,输入单元120a可以包括能够通过利用两个透镜捕获桌子90a的图像来记录深度方向上的信息的立体摄像装置。例如,可以使用可见光摄像装置、能够检测诸如红外光的不可见光的不可见光摄像装置等作为立体摄像装置。此外,输入单元120a还可以包括诸如麦克风的语音输入设备,其收集由用户发出的语音或周围环境的环境声音。
当上述摄像装置用作输入单元120a时,信息处理系统10a分析由摄像装置捕获的图像(捕获图像),从而检测位于显示表面20上的对象(例如,用户的手部等)的位置。注意,在本说明书和附图中,术语“手部”可以主要用作表示手部本身的表达。然而,本发明不限于这样的示例,并且本说明书可以用作表示手指、手臂或这些部位中的两个或更多个(例如,上肢等)的表达。
此外,当立体摄像装置用作输入单元120a时,信息处理系统10a分析由立体摄像装置捕获的图像,从而除了位于显示表面20上的对象的位置信息之外,还获取对象的深度信息。信息处理系统10a可以基于深度信息来检测用户的手部对显示表面20的触摸或接近以及手部与显示表面20的分离。注意,输入单元120a可以具有另一类型的深度传感器(例如,飞行时间型传感器、结构光型传感器等)来代替立体摄像装置。在该情况下,深度传感器可以获取位于显示表面20上的对象的深度信息。
在本实施方式中,可以基于由输入单元120a捕获的图像来检测操作工具(例如,用户的手部、诸如触笔的各种操作构件)在显示表面20上的位置,并且可以基于检测到的操作工具的位置来输入各种信息。即,用户可以通过在显示表面20上移动操作工具来执行各种操作输入。例如,检测用户的手部对窗口或UI对象的触摸,并且因此,执行对窗口或UI对象的操作输入。
此外,包括在输入单元120a中的摄像装置不仅可以拍摄桌子90a的顶面,而且可以拍摄桌子90a周围存在的用户。在该情况下,信息处理系统10a可以基于由输入单元120a捕获的图像来检测桌子90a周围的用户的位置。此外,信息处理系统10a可以通过基于捕获的图像检测每个用户的物理特性(诸如面部或身体的尺寸)来执行用户的个人识别。
注意,用户的操作输入不限于上述示例,并且可以通过其他方法来执行。例如,输入单元120a可以被布置为桌子90a的顶面(显示表面20a)上的触摸面板,并且还可以通过用户的手指等在触摸面板上的触摸来检测用户的操作输入。替选地,可以由在输入单元120a中包括的摄像装置拍摄用户的手势操作,并且可以基于拍摄的图像来检测用户的操作输入。
<1-3.修改示例>
以上已经描述了根据本实施方式的信息处理系统10a的配置。注意,根据本实施方式的信息处理系统10的配置不限于图1中所示的示例。信息处理系统10可以具有例如图2至图4所示的另一配置。
{1-3-1.第一修改示例}
图2是示出根据本实施方式的信息处理系统10的另一配置示例(信息处理系统10b)的图。如图2所示,在信息处理系统10b中,输出单元124b被布置在桌子90b的下方。输出单元124b例如是投影仪,并且从桌子90b的下方向桌子90b的桌顶投射信息。例如,桌子90b的桌顶由诸如玻璃板或透明塑料板的透明材料形成。然后,由输出单元124b投影的信息(通过桌顶)显示在桌子90b的顶面(显示表面20b)上。通过以这种方式将信息从桌子90b下方投影到输出单元124b而在显示表面20b上显示信息的方法也被称为“背投型”。
此外,在图2所示的示例中,输入单元120b被设置在显示表面20b上。例如,输入单元120b由触摸面板构成。在该情况下,通过触摸面板检测操作工具对显示表面20b的触摸,使得可以接收用户的操作输入。然而,本发明不限于这样的示例,并且类似于图2中所示的信息处理系统10a,输入单元120b可以与桌子90b分离的同时被布置在桌子90b下方。在该情况下,输入单元120b可以包括摄像装置,并且摄像装置可以拍摄位于桌子90b的桌顶上方的显示表面20b上的操作工具。然后,可以基于拍摄的图像检测操作工具的位置。
{1-3-2.第二修改示例}
图3是示出根据本实施方式的信息处理系统10的另一配置示例(信息处理系统10c)的图。如图3所示,在信息处理系统10c中,触摸面板型显示器被布置在具有显示表面面向上的桌子90c上。在信息处理系统10c中,输入单元120c和输出单元124c可以被整体地配置为触摸面板型显示器。换句话说,可以在显示器的显示屏(显示表面20c)上显示各种信息,并且可以通过检测操作工具在触摸面板的显示器的显示屏上的触摸来接收用户的操作输入。
即使在信息处理系统10c中,也可以如图1所示的信息处理系统10a中那样,将摄像装置(输入单元120c的示例)布置在输出单元124c的上方。在该情况下,可以基于由摄像装置拍摄的图像来检测位于桌子90c周围的各个用户。
{1-3-3.第三修改示例}
图4是示出根据本实施方式的信息处理系统10的另一配置示例(信息处理系统10d)的图。如图4所示,信息处理系统10d可以被构成为诸如头戴式显示器(HMD)的头戴式设备(例如,眼镜型设备等)。头戴式设备可以包括输入单元120d(未示出)和输出单元124d(未示出)。输出单元124d可以被构造为透射型显示设备。在该情况下,输出单元124d可以将图像投影到作为投影表面(显示表面20d)的、在头戴式设备中包括的右眼透镜和左眼透镜(或护目镜型透镜)中的每一个的至少一些区域。
替选地,输出单元124d可以被构造为非透射型显示设备。例如,输出单元124d可以被配置成包括液晶显示器(LCD)、有机发光二极管(OLED)等。此外,输入单元120d可以包括摄像装置。在该情况下,摄像装置可以拍摄在佩戴头戴式设备的用户前方的图像,并且输出单元124d可以顺序地显示所拍摄的图像。从而,用户可以经由在输出单元124d上显示的图像看到用户前方的场景。
{1-3-4.第四修改示例}
接下来,参照图5描述根据本实施方式的系统的另一配置示例。图5是示出系统的配置示例的图。如图5所示,上述信息处理系统10a至10d中的任一个和一个或更多个不同的显示表面20可以经由例如通信网络22连接。此处,另一显示表面20可以是例如白板、桌子的顶表面(例如显示表面20a或显示表面20b)、预定的设备(例如显示表面20c)或预定的表面(例如,在头戴式装置中包括的显示表面20d)。
通信网络22是用于从连接至通信网络22的设备发送的信息的有线或无线通信信道。例如,通信网络22可以包括诸如电话线网络、因特网的公用线网络和卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外,通信网络22可以包括诸如因特网协议-虚拟专用网络(IP-VPN)的专线网络。
在下文中,将主要给出根据本实施方式的系统的配置示例具有例如如图5所示的配置的情况的描述。
以上已经描述了根据本实施方式的信息处理系统10的配置。如稍后将描述的,根据本实施方式,在其中与位于特定显示表面中的对象对应的信息被传送至另一显示表面的场景中,在位于传送源的显示表面中的所有对象中,仅可以在传送目的地的显示表面上显示与由用户选择的对象对应的信息。
在本说明书和附图中,当分开描述不同的显示表面20时,例如,在“显示表面20”之后给出不同的数字,例如显示表面20-1和20-2。此外,在本说明书和附图中,布置在显示表面20上的真实对象和显示在显示表面20上的显示对象可以被共同地描述为“位于显示表面20上的对象”。在下文中,将更详细地描述本实施方式的内容。
<<2.实施方式的详细描述>>
<2-1.配置>
首先,将详细描述根据本实施方式的信息处理系统10的功能配置。图6是示出信息处理系统10的功能配置的示例的框图。如图6所示,信息处理系统10包括处理单元100、输入单元120、显示处理单元122、输出单元124和存储单元126。在下文中,将省略与上述内容相同的内容的描述。
{2-1-1.显示处理单元122}
显示处理单元122可以被配置成包括一个或多个处理电路(例如,中央处理单元(CPU)、图形处理单元(GPU)等)。显示处理单元122基于由输入单元120获取的输入信息来执行与可以由输出单元124显示的图形有关的处理。例如,显示处理单元122执行诸如窗口的显示对象的绘制处理,并且将处理结果输出至输出单元124。作为示例,显示处理单元122根据对各个显示对象的用户操作来执行这些显示对象的绘制处理。
此外,显示处理单元122可以从输入单元120获取由输入单元120获取的输入信息(例如,捕获图像等),并且将输入信息输出至处理单元100。此外,显示处理单元122还可以从处理单元100接收由处理单元100处理的信息,并且基于该信息执行绘制处理。
{2-1-2.处理单元100}
处理单元100可以被配置成包括一个或多个处理电路(例如,如上所述的CPU 150、GPU等)。处理单元100基于由输入单元120获取的输入信息执行各种处理。
此外,如图5所示,处理单元100具有传送操作检测单元102、表面属性匹配处理单元104和显示控制单元106。
{2-1-3.传送操作检测单元102}
传送操作检测单元102基于从输入单元120获取的输入信息检测用于将位于显示表面20-1中的一个对象传送至另一显示表面20-2的传送操作。例如,当检测到用于将位于显示表面20-1上的一个对象移动到与位于显示表面20-1中的一个或更多个预定传送对象具有预定位置关系的检测区域的特定用户的操作(例如,靠近)时,传送操作检测单元102将该操作检测为传送操作。此处,检测区域可以与预定传送对象相同。替选地,检测区域可以是包括预定传送对象位于显示表面20-1上并且在距对象区域的轮廓预定距离内的对象区域的全部或一些区域。注意,稍后描述的“传送区域”是检测区域的示例。此外,传送操作是根据本公开内容的第一操作的示例。
此外,预定传送对象可以是预定真实对象(例如,如图7所示的预定传送基部32等)或预定显示对象。例如,当预定传送基部被布置在显示表面20-1上并且检测到使位于显示表面20-1上的一个对象接近传送基部32的操作时,传送操作检测单元102可以将该操作检测为传送操作。
替选地,如图7所示,当传送基部32被布置在显示表面20-1上时,处理单元100可以例如围绕传送基部32设置圆形传送区域34,并且在显示表面20-1上显示传送区域34。在该情况下,当检测到用户将位于显示表面20-1上的一个对象(图7所示的示例中的标签30)从传送区域34的外部拖动到传送区域34的内部的操作时,传送操作检测单元102可以将该操作检测为传送操作。此处,传送区域34是上述检测区域的示例。注意,本实施方式不限于图7所示的示例,并且处理单元100可以将传送区域34设置在没有布置传送基部32的位置中。
{2-1-4.表面属性匹配处理单元104}
当传送操作检测单元102检测到传送操作时,表面属性匹配处理单元104基于与传送目的地的显示表面相关联的信息和与传送源的显示表面相关联的信息来确定被显示在传送目的地的显示表面上的、与要传送的对象对应的信息的显示设置。例如,表面属性匹配处理单元104基于与如图8所示的表面属性信息DB 128中存储的传送目的地的显示表面相关联的信息来确定被显示在传送目的地的显示表面上的要传送的对象的显示设置的信息。此处,要传送的对象的信息的显示设置可以包括例如在对应传送目的地的显示表面中的信息的显示尺寸、显示方向、显示内容等。在传送之前的显示表面是根据本公开内容的第一显示表面的示例。此外,传送目的地的显示表面是根据本公开内容的第二显示表面的示例。
{2-1-4-1.表面属性信息DB 128}
表面属性信息DB 128是存储与每个显示表面相关联的信息(属性信息等)的数据库。此处,与显示表面相关联的信息,例如显示表面的屏幕特性(例如,物理尺寸、分辨率、纵横比等)和相关显示表面的布局特性(例如,相对于显示表面的重力方向等)。表面属性信息DB 128可以例如以诸如关系数据库或查找表的形式来实现。
图8是示出表面属性信息DB 128的配置示例的图。如图8所示,在表面属性信息DB128中,例如,将编号1280、表面类型1282、重力方向1284、尺寸1286、分辨率1288和表面属性匹配处理1290相关联。此处,表面类型1282存储对应显示表面的类型。此外,重力方向1284存储相对于对应显示表面的重力方向。例如,当对应的显示表面是竖直布置的平面时,重力方向1284存储“向下”。当位于传送源的显示表面上的对象(即,要传送的对象)的图像被显示在显示表面上时,基于存储在重力方向1284上的信息自动地确定图像的显示方向。此外,尺寸1286存储显示表面的尺寸。分辨率1288存储显示表面的分辨率。此外,当信息从另一显示表面传送至对应的显示表面时,表面属性匹配处理1290存储用于将信息与显示表面匹配的预定处理的内容。
(2-1-4-2.第一处理示例)
此处,将参照图9A和图9B描述上述表面属性匹配处理单元104的功能的特定示例。图9A是示出其中图8所示的表面属性信息DB 128中的编号为“1”的显示表面20-1(桌面20-1)的配置示例的图。此外,图9B是示出其中图8所示的表面属性信息DB 128中的编号为“2”的显示表面20-2(白板20-2)的配置示例的图。在图8和图9A所示的示例中,桌面20-1具有120cm的宽度和80cm的高度,并且,例如,通过输出单元124将具有1366×768的分辨率的图像投影到桌面20-1。此外,如图9A所示,具有200像素正方形的尺寸的标签30被布置在桌面20-1上。此外,在图8和图9B所示的实施方式中,白板20-2的宽度为100cm并且高度为190cm,并且例如,分辨率为2160×3840的图像由对应于白板20-2的投影仪投影。
当与图9A所示的标签30对应的图像被传送至白板20-2时,如果不执行特殊处理(换句话说,如果不考虑白板20-2的属性信息),则如图9B所示的标签图像40a中那样,该图像以不同于标签30的尺寸投影在桌面20-1上。表面属性匹配处理单元104可以根据作为传送源的表面的桌面20-1的每英寸点数(dpi)(具体地29dpi)与作为传送目的地的表面的白板20-2的dpi(具体地51dpi)之间的差来确定增加与标签30对应的图像的尺寸。由此,在稍后描述的显示控制单元106的控制下,可以在白板20-2上显示所确定尺寸的图像40b。根据上述确定示例,甚至可以在白板20-2上以全尺寸显示标签30。因此,使用桌面20-1的用户和使用白板20-2的用户可以更平稳地执行与标签30相关联的通信(讨论等)。
{2-1-4-3.处理示例2}
接下来,将参照图10A和图10B描述上述表面属性匹配处理单元104的功能的特定示例。图10A和图10B是示出与桌面20-1上的标签30对应的图像被传送至白板20-2并且被显示的示例的图。此处,假设桌面20-1是水平布置的平面,并且白板20-2是竖直布置的平面。例如,如图8所示,在表面属性信息DB 128中,重力方向没有被设置在桌面20-1上,并且“向下”被设置在白板20-2上作为重力方向。
如图10A所示,为了将与标签30对应的图像传送至白板20-2,例如,使用桌面20-1的用户将标签30从显示在桌面20-1中的传送区域34的外部拖动到传送区域34的内部。在该情况下,表面属性匹配处理单元104基于表面属性信息DB 128中与白板20-2相关联的“重力方向”的信息,将与标签30对应的图像40(标签图像40)的显示方向确定为例如白板20-2中的“向下”。由此,如图10B所示,标签图像40可以沿所确定的显示方向显示在白板20-2上。
{2-1-5.显示控制单元106}
显示控制单元106控制在输出单元124上的各种信息的显示。
此外,当由传送操作检测单元102检测到传送操作时,显示控制单元106可以控制与要传送的对象对应的信息以显示在传送目的地的显示表面上。例如,当检测到传送操作时,显示控制单元106在具有表面属性匹配处理单元104确定的显示设置的传送目的地的显示表面上显示与要传送的对应对象对应的图像。例如,当检测到传送操作时,显示控制单元106在具有由表面属性匹配处理单元104确定的显示设置的传送目的地的显示表面中设置的传送区域中显示与要传送的对应对象对应的图像。
{2-1-6.存储单元126}
存储单元126可以被配置成包括稍后描述的存储设备164。存储单元126存储各种数据,例如表面属性信息DB 128和各种软件。
<2-2.处理流程>
上面已经描述了根据本实施方式的配置。接下来,将描述根据本实施方式的处理流程。
图11和图12是各自示出根据本实施方式的处理流程的一部分的流程图。如图11所示,除非检测到用户的结束操作(S101:否),否则处理单元100重复下面描述的步骤S103至S129。当检测到用户已经执行结束操作(S101:是)时,处理流程结束。
具体地,首先,处理单元100从输入单元120获取由输入单元120获取的输入信息(各种感测结果等)(S103)。
随后,处理单元100基于在S103中获取的输入信息控制将由输出单元124的各种信息输出至与输出单元124对应的显示表面20(在下文中,有时称为传送源的显示表面)(S105)。例如,处理单元100基于由所获取的输入信息指示的用户的手部的移动来确定用户的操作内容(例如,操作内容是否是拖动操作等)。当确定用户的操作内容是拖动操作时,接下来,处理单元100将由拖动操作在传送源的显示表面上指示的位置(例如,坐标)与位于传送源的显示表面上的每个对象的位置(例如,坐标)进行比较,从而确定拖动操作是否指示传送源的显示表面上的任何对象。然后,当检测到拖动操作指示任何对象时,处理单元100可以根据拖动操作来改变对象的显示位置。
此后,传送操作检测单元102基于由输入单元120获取的信息来确定是否对传送源的显示表面中的任何对象执行传送操作(S107)。在未检测到传送操作(S107:否)的情况下,处理单元100再次执行S101之后的步骤。
另一方面,当检测到传送操作(S107:是)时,表面属性匹配处理单元104从表面属性信息DB 128中提取传送目的地的显示表面的属性信息(S109)。然后,表面属性匹配处理单元104基于所提取的属性信息来确定在传送目的地的显示表面上显示的、与要传送的对象对应的信息的显示设置(S111)。
此处,将参照图12描述S111之后的处理流程。如图12中所示,在S111之后,当确定要传送的对象在传送目的地的显示表面上的传送位置(S121:是)时,显示控制单元106执行稍后描述的S129。
另一方面,当未确定要传送的对象的传送位置(S121:否)时,显示控制单元106首先例如从传送目的地的显示表面获取当前显示在传送目的地的显示表面上的一个或更多个显示信息。然后,显示控制单元106控制输出单元124使得所获取的一个或更多个显示信息被显示在传送源的显示表面上(S123)。
此后,输入单元120获取关于用户对于传送源的显示表面的操作输入的信息(S125)。
随后,显示控制单元106基于在S125中获取的输入信息来确定是否确定要传送的对象在传送目的地的显示表面上的传送位置(S127)。当未确定要传送的对象的传送位置(S127:否)时,显示控制单元106再次执行S123之后的步骤。
另一方面,当确定要传送的对象的传送位置(S127:是)时,显示控制单元106在传送目的地的显示表面中的所确定的传送位置处显示与要传送的对象对应的信息(例如图像)(S129)。
此后,处理单元100在S101之后再次重复步骤。
<2-3.效果>
{2-3-1.第一效果}
如上所述,当检测到特定用户将一个对象移动到与位于传送源的显示表面上的一个或更多个预定的传送对象具有预定位置关系相关的检测区域的传送操作时,根据在本实施方式的处理单元100在传送目的地的显示表面上显示与对象对应的信息。因此,在与位于特定显示表面上的特定对象对应的信息被传送到另一显示表面的场景中,在位于传送源的显示表面中的所有对象中,能够在传送目的地的显示表面上仅显示与由用户选择的对象对应的信息。
因此,例如,位于传送源的显示表面周围的多个用户进行了零星的讨论,并且能够在传送目的地的显示表面上无缝地密集化仅与作为讨论的结果获得的好意见对应的对象(例如,标签等)。然后,在讨论期间,布置与好意见对应的对象和与坏意见对应的对象的任务变得容易。因此,多个用户可以在不停止创建想法的流程的情况下继续讨论。
{2-3-1.第二效果}
此外,根据本实施方式,例如,可以根据传送目的地的显示表面的属性信息将要传送的对象适当地显示在传送目的地的显示表面上。因此,可以在使用传送源的显示表面的用户与使用传送目的地的显示表面的用户之间更平稳地执行与要传送的对象相关联的通信(讨论等)。例如,可以减少优化在传送目的地的显示表面上的对象的麻烦,例如使得传送目的地的用户无缝地使用被传送的对应对象。因此,这些用户可以专注讨论。
<<3.应用示例>>
本实施方式不限于上述示例,并且可应用于各种应用示例。接下来,将在“3-1.第一应用示例”至“3-13.第十三应用示例”中描述本实施方式的应用示例。注意,根据每个应用示例的信息处理系统10中包括的每个部件与图6所示的示例相同。在下文中,将仅描述具有与上述实施方式的功能不同的功能的部件,并且将省略相同内容的描述。
<3-1.第一应用示例>
首先,将描述根据本实施方式的第一应用示例。根据第一应用示例,可以针对位于传送源的显示表面上的多个预定的传送对象的状态自适应地确定要传送的对象的传送目的地的显示表面。在第一应用示例中,假设其中多个预定的传送对象是真实对象的示例。
{3-1-1.传送操作检测单元102}
当检测到用户将位于传送源的显示表面上的特定对象放置在多个预定传送对象之一上时,根据第一应用示例的传送操作检测单元102将操作检测为用于将与对象对应的信息传送至另一显示表面的传送操作。
{3-1-2.显示控制单元106}
当通过传送操作检测单元102检测到传送操作时,根据第一应用示例的显示控制单元106基于指示位于传送源的显示表面上的多个预定传送对象的状态的信息和传送操作的检测结果来确定与传送源的显示表面对应的多个显示表面中的用作与要传送的对象对应的信息的传送目的地的至少一个显示表面。例如,多个预定传送对象中的每一个与多个显示表面中彼此不同的一个显示表面相关联。然后,当检测到传送操作时,显示控制单元106基于多个预定传送对象中的任意两个传送对象之间的距离是否等于或小于预定阈值并且任意两个传送对象的布置是否为预定布置来确定用作与要传送的对象对应的信息的传送目的地的至少一个显示表面。
此处,将参照图13和图14更详细地描述上述功能。在图13和图14所示的示例中,两个传送基部32中的传送基部32a与白板20-2相关联,并且传送基部32b与白板20-3相关联。例如,白板20-2是由属于组A的多个用户用于讨论使用的显示表面。此外,白板20-3是由属于组B的多个用户用于讨论的显示表面。注意,图13和图14所示的传送基部32是上述预定传送对象的示例。
例如,如图13所示,两个传送基部32被彼此隔开大于预定距离的距离被布置在传送源的显示表面20-1(桌面20-1)上。然后,如图13所示,作为与位于桌面20-1上的标签30对应的图像的传送操作,使用桌面20-1的用户将标签30放置在传送基部32b上。在该情况下,如图13所示,显示控制单元106仅向与两个白板的传送基部32b相关联的白板20-3传送并且显示与标签30对应的图像40。
此外,如图14所示,假设两个传送基部32相邻地布置在传送源的显示表面20-1(桌面20-1)上。然后,作为与位于桌面20-1上的标签30对应的图像的传送操作(如图13所示的示例中那样),使用桌面20-1的用户将标签30放置在传送基部32b上。在该情况下,如图14所示,显示控制单元106仅向两个白板两者传送并且显示与标签30对应的图像40。
<3-2.第二应用示例>
上面已经描述了第一应用示例。接下来,将描述根据本实施方式的第二应用示例。根据第二应用示例,可以针对位于传送源的显示表面上的多个预定的传送对象的状态自适应地确定要传送的对象的传送目的地的显示表面。
在第二应用示例中,可以假设预定的传送对象是具有如图15所示的多个表面的真实对象的示例。此外,假设预定传送对象的多个表面中的每个表面与除了传送源的显示表面之外的多个显示表面中的不同显示表面相关联。
{3-2-1.传送操作检测单元102}
当检测到用户将位于传送源的显示表面上的特定对象安装在具有预定传送对象的多个表面中的任一个上时,根据第一应用示例的传送操作检测单元102将操作检测为用于将与对象对应的信息传送至另一显示表面的传送操作。
{3-2-2.显示控制单元106}
当通过传送操作检测单元102检测到传送操作时,根据第二应用示例的显示控制单元106将与具有预定传送对象的多个表面中的要传送的对象被布置的表面相关联的一个显示表面确定为与对象对应的信息的传送目的地的显示表面。
此处,将参照图15和图16更详细地描述上述功能。如图15和图16所示,传送基部32的多个表面中的每个表面与多个显示表面(例如,白板20-2和白板20-3)中的不同的显示表面相关联。例如,将传送基部32的多个表面中被描述为“A”的表面与白板20-2相关联。此外,将多个表面中的被描述为“B”的表面与白板20-3相关联。注意,图15和图16所示的传送基部32是上述预定传送对象的示例。
例如,如图15所示,传送基部32被布置在桌面20-1(即,与白板20-2相关联的表面)上使得传送基部32的上表面是被描述为“A”的表面。然后,作为与位于桌面20-1上的标签30对应的图像的传送操作,使用桌面20-1的用户将标签30放置在传送基部32的上表面上。在该情况下,如图15所示,显示控制单元106仅向两个白板中的(与被描述为“A”的表面相关联的)白板20-2传送并且显示与标签30对应的图像40。
作为另一示例,如图16所示,传送基部32被布置在桌面20-1上使得传送基部32的上表面是描述为“B”的表面(即,与白板20-3相关联的表面)。然后,作为与位于桌面20-1上的标签30对应的图像的传送操作,使用桌面20-1的用户将标签30放置在传送基部32的上表面上。在该情况下,如图16所示,显示控制单元106仅向两个白板中的(与被描述为“B”的表面相关联的)白板20-3传送并且显示与标签30对应的图像40。
<3-3.第三应用示例>
上面已经描述了第二应用示例。接下来,将描述根据本实施方式的第三应用示例。根据第三应用示例,可以在位于传送源的显示表面上的预定的传送对象被指向的方向上自适应地确定要传送的对象的传送目的地的显示表面。
在第三应用示例中,可以假设预定的传送对象是例如如图17和图18所示的具有至少一个倾斜表面的真实对象的示例。
{3-3-1.传送操作检测单元102}
当检测到用户将特定对象布置在预定传送对象的至少一个倾斜表面中的任一个上时,根据第三应用示例的传送操作检测单元102将该操作检测为用于将与对象对应的信息传送至另一显示表面的传送操作。
{3-3-2.显示控制单元106}
当检测到将要传送的对象布置在至少一个倾斜表面中的任一个上的操作(上述传送操作)时,根据第三应用示例的显示控制单元106从与传送源的显示表面对应的多个显示表面中,将例如位于预定传送对象指向的方向上的显示表面确定为与要传送的对象对应的信息的传送目的地的显示表面。
此处,将参照图17和图18更详细地描述上述功能。在如图17和图18所示的示例中,传送基部32仅具有一个倾斜表面。此外,在图17和图18所示的示例中,信息处理系统10可以实时地指定桌面20-1、白板20-2与白板20-3之间的位置关系。例如,假设处理单元100可以实时获取指示白板20-2和白板20-3相对于桌面20-1的相对方向的信息。注意,图17和图18所示的传送基部32是上述预定传送对象的示例。
例如,如图17所示,假设在沿白板20-2相对于桌面20-1的方向指向传送基部32的状态下传送基部32被布置在桌面20-1上。然后,作为与位于桌面20-1上的标签30对应的图像的传送操作,使用桌面20-1的用户将标签30放置在传送基部32的倾斜表面上。在该情况下,如图17所示,显示控制单元106仅向两个白板中的传送基部32被指向的白板20-2传送并且显示与标签30对应的图像40。
作为另一示例,如图18所示,假设在白板20-3相对于桌面20-1的方向上指向传送基部32的状态下传送基部32被布置在桌面20-1上。然后,作为与位于桌面20-1上的标签30对应的图像的传送操作,使用桌面20-1的用户将标签30放置在传送基部32的倾斜表面上。在该情况下,如图18所示,显示控制单元106仅向两个白板中的传送基部32被指向的白板20-3传送并且显示与标签30对应的图像40。
<3-4.第四应用示例>
上面已经描述了第三应用示例。接下来,将描述根据本实施方式的第四应用示例。根据第四应用示例,可以自适应于传送源的显示表面与预定传送对象的姿势之间的关系将与要传送的对象对应的图像显示在传送目的地的显示表面上。在第四应用示例中,假设其中预定传送对象是真实对象的示例。
{3-4-1.传送操作检测单元102}
当确定用户进行使特定对象接近并触摸(例如,被布置在)传送源的显示表面上的预定传送对象的操作时,根据第四应用示例的传送操作检测单元102将该系列操作检测为用于将与对象对应的信息传送至另一显示表面的传送操作。
{3-4-2.显示控制单元106}
当由传送操作检测单元102将上述一系列操作检测为传送操作时,根据第四应用示例的显示控制单元106基于传送操作期间要传送的对象的移动进度的检测结果和传送操作期间预定传送对象的姿态的检测结果来控制与要传送的对象对应的图像显示在传送目的地的显示表面上。例如,在该情况下,当在传送目的地的显示表面上显示与要传送的对象对应的图像时,显示控制单元106基于传送操作期间要传送的对象的移动进度的检测结果和传送操作期间预定传送对象的姿态的检测结果连续地改变图像的显示位置。
此处,将参照图19A和图19B更详细地描述上述功能。在图19A和图19B所示的示例中,假设在传送源的显示表面20-1(桌面20-1)和传送目的地的显示表面20-2(桌面20-2)上分别布置有相同的传送基部32。注意,在图19A和图19B所示的传送基部32是上述预定传送对象的示例。
例如,如图19A所示,使用桌面20-1的用户通过轻拂操作使标签30接近桌面20-1上的传送基部32a(与标签30对应的图像的传送操作),并且将标签30布置在传送基部32a上。在该情况下,如图19B所示,首先,显示控制单元106在桌面20-2上的传送基部32b的位置处显示与标签30对应的图像40。然后,显示控制单元106基于桌面20-1上的传送基部32a的位置和姿态与桌面20-2上的传送基部32b的位置和姿态之间的关系连续地改变图像40的显示位置,使得图像40在传送操作期间与标签30相对于传送基部32a的移动进度(例如,移动期间的速度变化、移动期间的加速度变化、移动路径等)相对相同地移动。根据该显示示例,可以在维持传送目的地的显示表面20-2上的相对位置关系的同时再现在传送操作期间标签30的移动。
<3-5.第五应用示例>
上面已经描述了第四应用示例。接下来,将描述根据本实施方式的第五应用示例。根据第五应用示例,可以将要传送的对象中包括的字符串自适应地转换为传送目的地的显示表面被定位和显示的位置(或使用传送目的地的显示表面的用户)。
{3-5-1.显示控制单元106}
当通过传送操作检测单元102检测到传送操作时,根据第五应用示例的显示控制单元106基于与传送目的地的显示表面相关联的表面属性信息DB 128中登记的字符串的转换规则来生成与要传送的对象对应的图像并且将该图像显示在传送目的地的显示表面上。例如,显示控制单元106首先使用与传送目的地的显示表面相关联的表面属性信息DB 128中登记的字符串的转换规则来转换要传送的对象中包括的字符串。然后,显示控制单元106生成与要传送的对象对应的图像以便包括转换后的字符串(替代包括在要传送的对象中的字符串)。
此处,将参照图20和图21B更详细地描述上述功能。图20是示出根据第五应用示例的表面属性信息DB 128的配置示例的图。如图20所示,例如,可以针对每种显示表面预先定义在显示与要传送的对象对应的图像时对象中包括的字符串的转换规则。
此外,图21A是示意性示出其中图20所示的表面属性信息DB 128中的编号为“1”的显示表面20-1(桌面20-1)的图。图21B是示意性示出图8所示的表面属性信息DB 128中的编号为“2”的显示表面20-2(桌面20-2)的图。在图21A和图21B所示的示例中,假设其中使用位于美利坚合众国的显示表面20-1的一个或更多个用户和使用位于日本的显示表面20-2的一个或更多个用户正在集思广益的情景。
例如,如图21A所示,假设检测到将位于显示表面20-1上的标签30a移动到显示在显示表面20-1中的传送区域34a的传送操作。在该情况下,显示控制单元106首先通过使用例如,光学字符识别(OCR)等来指定标签30a中包括的全部字符串。接下来,显示控制单元106基于与显示表面20-2(其是与标签30a对应的图像的传送目的地的显示表面)相关联地存储在表面属性信息DB 128中的转换规则来将标签30a中包括的全部字符串转换为日语。接下来,显示控制单元106生成与标签30a对应的图像40以便包括转换后的字符串(即,日语字符串)。然后,如图21B所示,显示控制单元106在显示表面20-2中限定的传送区域34b上显示图像40。
<3-6.第六应用示例>
上面已经描述了第五应用示例。接下来,将描述根据本实施方式的第六应用示例。根据第六应用示例,可以将要传送的对象中包括的字符串自适应地转换为传送目的地的显示表面被定位和显示的位置(或使用传送目的地的显示表面的用户)。
{3-6-1.系统配置}
首先,参照图22描述根据第六应用示例的系统的配置。图22是示出根据第六应用示例的系统的配置示例的图。如图22所示,与根据例如图5所示的上述实施方式的系统的配置示例相比,系统还包括智能电话50。例如,智能电话50被配置成可通过无线通信连接至通信网络22。智能电话50可以经由通信网络22向信息处理系统10或其他显示表面(显示表面20-2和显示表面20-3)发送各种类型的信息以及从信息处理系统10或其他显示表面接收各种类型的信息。
{3-6-2.传送操作检测单元102}
例如,如图24A所示,当从智能电话50接收到用于将智能电话50上显示的特定对象移动到智能电话50上显示的传送区域的用户的操作的检测结果时,根据第六应用示例的传送操作检测单元102将用户的操作检测为用于将对象从智能电话50传送至另一显示表面的传送操作。
{3-6-3.显示控制单元106}
当通过传送操作检测单元102检测到智能电话50上的传送操作时,根据第六应用示例的显示控制单元106基于与传送目的地的显示表面相关联的表面属性信息DB 128中登记的字符串的转换规则来生成与要传送的对象对应的图像并且将该图像显示在传送目的地的显示表面上。
此处,将参照图23和图24C更详细地描述上述功能。图23是示出根据第六应用示例的表面属性信息DB 128的配置示例的图。此外,图24A是示意性地示出图23所示的表面属性信息DB 128中的编号为“1”的显示表面(即,智能电话50的显示表面)的图。图24B是示意性示出图23所示的表面属性信息DB 128中的编号为“2”的显示表面20-2(通知板20-2)的图。图24C是示意性示出图23所示的表面属性信息DB 128中的编号为“3”的显示表面20-2(通知板20-3)的图。在图23至图24C所示的示例中,智能电话50由特定家庭的父亲使用,通知板20-2被放置在家庭居住的房屋的起居室中,并且通知板20-3被放置在房屋的儿童室中。
如图23所示,在表面属性信息DB 128中,可以针对每种类型的显示表面预先定义在显示与要传送的对象对应的图像时的对象中包括的字符串的转换规则。假设即使字符串包括中文字符使用通知板20-2的成年用户(例如,母亲)也可以容易地理解该字符串。因此,在表面属性信息DB 128中,将“不转换在要传送的对象中包括的字符串”作为字符串的转换规则与通知板20-2相关联。另一方面,假设当字符串包括中文字符时,使用通知板20-3的儿童难以理解字符串。因此,在表面属性信息DB 128中,将“转换在要传送到平假名的对象中包括的字符串”作为字符串的转换规则与通知板20-3相关联。
例如,如图24A所示,假设检测到父亲将显示标签30移动到智能电话50上显示的传送区域34a的传送操作。如图24A所示,标签30包括包含中文字符串的字符串(“很快回来”)。在该情况下,信息处理系统10的显示控制单元106首先基于从智能电话50接收到的操作的检测结果来指定标签30中包括的字符串。接下来,显示控制单元106通过参考在与通知板20-2相关联的表面属性信息DB 128中存储的转换规则来确定不转换在标签30中包括的字符串。接下来,显示控制单元106生成包括原样在标签30中包括的字符串的、与标签30对应的图像40a。然后,如图24B所示,显示控制单元106在通知板20-2上显示图像40a。
此外,显示控制单元106通过参考在与通知板20-3相关联的表面属性信息DB 128中存储的转换规则来确定将在标签30中包括的全部字符串转换成“平假名”。接下来,显示控制单元106生成与标签30对应的图像40以便包括转换后的字符串。然后,如图24C所示,显示控制单元106在通知板20-3上显示图像40b。
<3-7.第七应用示例>
上面已经描述了第六应用示例。接下来,将描述根据本实施方式的第七应用示例。根据第七应用示例,可以自适应地转换与要传送的对象对应的图像的格式(或布局)并将其显示在传送目的地的显示表面上。
{3-7-1.显示控制单元106}
当传送操作检测单元102检测到传送操作时,根据第七应用示例的显示控制单元106首先基于与传送目的地的显示表面相关联的表面属性信息DB 128中登记的图像的格式(或布局)的转换规则来确定与要传送的对象对应的图像的格式。然后,显示控制单元106将传送目的地的显示表面上的所确定格式的图像显示为与对象对应的图像。
此处,将参照图25至图26B更详细地描述上述功能。图25是示出根据第七应用示例的表面属性信息DB 128的配置示例的图。如图25所示,例如,可以针对每种类型的显示表面预先定义在显示与要传送的对象对应的图像时与对象对应的图像的格式(或布局)的转换规则。此外,图26A是示意性示出其中图25所示的表面属性信息DB 128中的编号为“1”的显示表面20-1(桌面20-1)的图。图26B是示意性示出图25所示的表面属性信息DB 128中的编号为“2”的显示表面20-2(通知板20-2)的图。
例如,如图26A所示,假设检测到将位于显示表面20-1上的两个标签30逐个移动到显示在显示表面20-1中的传送区域34a的传送操作。在该情况下,显示控制单元106首先参考在与通知板20-2(其是与两个标签30对应的图像的传送目的地的显示表面)相关联的表面属性信息DB 128中存储的格式的转换规则。接下来,显示控制单元106确定将与每个标签30对应的图像的形状分别转换为“帖子”的形状,并且将每个标签30中包括的“图章”分别转换为“奖章标记”。接下来,显示控制单元106通过针对每个标签30确定的变换规则来分别对每个标签30的格式进行变换,以生成与每个标签30对应的图像40(图像40a和图像40b)。然后,如图26B所示,显示控制单元106在通知板20-2上显示图像40a和图像40b。
根据该显示示例,可以将包括与“图章”数目(其是桌面20-1上的重要性的度量)相同数目的“奖章标记”的“帖子”图像作为与标签30对应的图像40显示在通知板20-2上。
<3-8.第八应用示例>
上面已经描述了第七应用示例。接下来,将描述根据本实施方式的第八应用示例。根据第八应用示例,使用传送源的显示表面的用户可以通过直观的操作在传送目的地的显示表面中的期望的位置处显示与要传送的对象对应的图像。
{3-8-1.显示控制单元106}
(3-8-1-1.传送操作检测的反馈显示)
当传送操作检测单元102检测到传送操作时,根据第八应用示例的显示控制单元106对传送源的显示表面执行预定的显示控制,该预定的显示控制指示在传送目的地的显示表面上显示的显示信息被改变为可在传送源的显示表面中操作。例如,显示控制单元106在传送源的显示表面上显示在传送目的地的显示表面上的目标区域中的一个或更多个显示信息作为预定的显示控制。此处,目标区域可以是传送目的地的显示表面中的部分区域。
例如,当检测到在传送操作之后执行预定操作(在下文中,有时称为“随后操作”)时,显示控制单元106首先将目标区域从传送目的地的显示表面中的预定区域改变为与随后操作的检测结果对应的另一区域。然后,每当目标区域被改变为另一区域时,显示控制单元106控制改变之后的另一区域中的一个或更多个显示信息作为在传送源的显示表面中显示的传送目的地的显示表面中的显示信息顺序地显示在传送源的显示表面上。
此外,随后操作是根据本公开内容的第二操作的示例。随后操作可以是在将要传送的对象的操作状态维持在预定操作状态的同时对传送操作连续地执行的操作。例如,传送操作可以是将传送源的显示表面上的要传送的对象拖动到预定传送对象的操作。在该情况下,随后操作可以是在维持对象所指向的状态(例如,对象被触摸的状态)的同时连续拖动对象的操作。
根据本公开内容的第二操作不限于上述“随后操作”,并且可以是在传送操作之后由用户执行的另一类型的操作。例如,第二操作可以是在传送与要传送的对象对应的信息之后用户在传送源的显示表面上移动要传送的对象的操作。作为示例,第二操作可以是用户将在传送源的显示表面上要传送的对象轻拂到预定传送对象(例如,传送基部等)的操作。
作为修改的示例,预定的显示控制可以改变传送源的显示表面的显示模式。例如,预定的显示控制可以改变传送源的显示表面的显示颜色或亮度,或者在传送源的显示表面上附加地显示预定效果。
(3-8-1-2.传送目的地的显示表面上的显示的改变)
此外,根据第八应用示例的显示控制单元106可以基于随后操作的检测结果来改变传送目的地的显示表面的显示状态。例如,显示控制单元106基于随后操作的检测结果在传送目的地的显示表面上显示与要传送的对象对应的信息。作为示例,显示控制单元106基于随后操作的检测结果来确定与要传送的对象对应的图像在传送目的地的显示表面中的显示位置。例如,随后操作可以是对要传送的对象的触摸操作(拖动操作等)。在该情况下,在检测到触摸要传送的对象的手部从传送源的显示表面释放的定时处,显示控制单元106在传送目的地的显示表面上的与在该定时之前刚刚触摸的位置对应的位置处显示与要传送的对象对应的图像。
此处,将参照图27A至图27D更详细地描述上述功能。图27A至图27D是示出根据第八应用示例的在传送源的显示表面20-1(桌面20-1)和传送目的地的显示表面20-2(白板20-2)上的显示控制的示例的图。
-情况1
例如,如图27A所示,使用桌面20-1的用户用他的/她的手部将标签30从在桌面20-1上显示的传送区域34a的外部(作为与标签30对应的图像的传送操作)拖动到传送区域34a中,并且将他的/她的手部从标签30释放。在该情况下,如图27B所示,在手部从标签30释放时的定时处,显示控制单元106在白板20-2上设置的传送区域34b中显示与标签30对应的图像40。
-情况2
另一方面,用户用他的/她的手部将标签30从传送区域34a的外部拖动到传送区域34a中,并且维持用户的手部例如在预定时间或更长时间内没有从标签30释放(即,将手部保持在标签30上)的状态。在该情况下,显示控制单元106在桌面20-1上显示位于白板20-2中限定的剪切区域60内的全部显示信息。换句话说,白板20-2侧的图像可以被改变以显示在桌面20-1上。此处,剪切区域60是目标区域的示例。
同时,如图27D所示,显示控制单元106实时显示指示要显示在白板20-2上的剪切区域60的显示(例如,剪切区域60的轮廓线等)。此外,显示控制单元106在桌面20-1中的与拖动操作期间手部的当前位置(指向位置)对应的白板20-2中的位置处显示指示用户的指向位置的图像62。例如,每当用户的指示位置改变时,显示控制单元106顺序地改变图像62在白板20-2中的显示位置。
此外,例如,如图27C所示,在用户将标签30拖动到传送区域34a中时的定时之后,用户在不从标签30释放他的/她的手部的情况下在桌面20-1上拖动标签30,并且然后从标签30释放他的/她的手部。在该情况下,显示控制单元106将与标签30对应的图像40传送到白板20-2。然后,显示控制单元106在当手部从标签30释放时的定时处,在与标签30在桌面20-1上的位置对应的白板20-2的位置处显示标签图像40。
此后,显示控制单元106将桌面20-1的显示状态返回到原始显示状态。即,代替剪切区域60中的显示信息,显示控制单元106例如在检测到随后操作时将要显示的桌面20-1上显示的显示信息再次显示在桌面20-1上。
{3-8-2.效果}
如上所述,根据第八应用示例,使用传送源的显示表面的用户可以在传送目的地的显示表面中的期望位置处显示与要传送的对象对应的图像。此外,用户可以通过诸如拖动操作的直观操作来确定与要被传送的对象对应的图像在传送目的地的显示表面上的传送位置(显示位置)。
<3-9.第九应用示例>
上面已经描述了第八应用示例。接下来,将描述根据本实施方式的第九应用示例。根据第九应用示例,用户可以容易地滚动在传送目的地的显示表面上限定的目标区域。
{3-9-1.显示控制单元106}
根据第九应用示例的显示控制单元106在维持用户指向要传送的对象的状态的同时,基于随后操作的检测结果来移动目标区域在传送目的地的显示表面中的位置。
(3-9-1-1.目标区域的第一改变示例)
此处,将参照图28A和图28B更详细地描述上述功能。在图28A所示的示例中,例如,如图27C所示,假设使用桌面20-1的用户将标签30拖动到传送区域34a中,并且然后在不从标签30释放手部的情况下在桌面20-1中拖动标签30。
例如,如图28A所示,假设例如在维持用户在桌面20-1上用右手部4a(即,拖动标签30的手部)触摸标签30的状态的同时左手部4b打开的状态下执行在桌面20-1上滑动左手部4b的操作。在该情况下,例如,如图28B所示,显示控制单元106根据左手部4b的移动(移动距离和移动方向)的检测结果连续地移动白板20-2中的剪切区域60的位置。即,显示控制单元106根据左手部4b的移动的检测结果来滚动剪切区域60。
(3-9-1-2.目标区域的第二改变示例)
接下来,将参照图29A和图29B更详细地描述上述功能的另一特定示例。例如,在图29A所示的示例中,假设使用桌面20-1的用户(类似于图28A所示的示例)将标签30拖动到传送区域34a中,并且然后在不从标签30上释放手部的情况下在桌面20-1中拖动标签30。
例如,如图29A所示,假设用户用右手部4a将与标签30对应的图像40拖动到桌面20-1的任一端。在该情况下,例如,当右手部4a连续位于端部时,例如,如图29B所示,显示控制单元106根据右手部4a在桌面20-1上的位置连续地滚动白板20-2中的剪切区域60。例如,当右手部4a连续地位于端部时,显示控制单元106将剪切区域60连续地滚动到与右手部4a在桌面20-1上被拖动的方向对应的白板20-2的方向。
根据这些滚动示例,用户可以容易地改变传送目的地的显示表面中的剪切区域60(即,目标区域),因此可以更容易地确定要传送的对象的传送位置。因此,即使传送源的显示表面的尺寸与传送目的地的显示表面的尺寸显著不同,用户也可以容易地确定要传送的对象的传送位置。
<3-10.第十应用示例>
上面已经描述了第九应用示例。接下来,将描述根据本实施方式的第十应用示例。根据第十应用示例,可以将大致指示传送目的地的整个显示表面的图像与传送目的地的显示表面上的目标区域内的一个或更多个显示信息一起同时显示在传送源的显示表面上。
{3-10-1.显示控制单元106}
根据第十应用示例的显示控制单元106在随后的操作期间(即,在维持用户指向要传送的对象的状态的同时)在传送源的显示表面上显示指示在传送目的地的几乎整个显示表面上显示的全部显示信息的映射图像。例如,显示控制单元106在传送源的显示表面中的预定位置处以比传送源的显示表面更小的尺寸显示映射图像。
此处,将参照图30A和图30B更详细地描述上述功能。例如,如第九应用示例中所述,如图30B所示,显示控制单元106在剪切区域60的滚动期间(即,当剪切区域60的位置连续移动的同时)在传送源的显示表面20-1中的预定位置处显示指示在传送目的地的基本上整个显示表面20-2上显示的全部显示信息的映射图像42。此时,如图30B中所示,映射图像42可以包括指示当前剪切区域60的显示。根据该显示示例,即使传送源的显示表面的尺寸与传送目的地的显示表面的尺寸显著不同,并且甚至在滚动显示期间,用户也可以实时且容易地掌握当前剪切区域60的位置与传送目的地的整个显示表面之间的位置关系。
<3-11.第十一应用示例>
上面已经描述了第十应用示例。接下来,将描述根据本实施方式的第十一应用示例。
{3-11-1.显示控制单元106}
根据第十一应用示例的显示控制单元106显示在传送目的地的显示表面上的一个或更多个显示信息以及在随后的操作期间(即,在维持对应用户指向要传送的对象的状态的同时)用于在传送源的显示表面上移动目标区域的操作图像。
此处,将参照图31A和图31B更详细地描述上述功能。图31A是示出在特定定时处的传送目的地的显示表面20-2的显示示例的图。此外,图31B是示出在如图31A所示的传送源的显示表面20-1上显示在传送目的地的显示表面20-2上设置的剪切区域60中包括的显示信息的示例的图。如图31B所示,例如,显示控制单元106在传送源的显示表面20-1上显示在剪切区域60中包括的全部显示信息40以及用于在不同方向上滚动剪切区域60的多个滚动按钮44。例如,用户可以通过触摸每个滚动按钮44在与滚动按钮44对应的方向上滚动剪切区域60。
此外,如图31B所示,显示控制单元106还可以在传送源的显示表面20-1上显示指示在传送目的地的显示表面20-2上限定的传送区域的方向的图像46。根据显示示例,例如,即使当用户移动剪切区域60时,用户也可以实时且容易地掌握剪切区域60的当前位置与传送目的地的整个显示表面之间的位置关系。
<3-12.第十二应用示例>
上面已经描述了第十一应用示例。接下来,将描述根据本实施方式的第十二应用示例。根据第十二应用示例,位于远离特定显示表面位于的位置的彼此不同的位置处的每个用户可以容易地对在显示表面上显示的一个或更多个显示信息执行共同编辑。
在第十二应用示例中,假设至少三个显示表面位于的位置彼此远离(例如,分开预定距离或更大距离)。此外,假设一个显示表面20-2中的第一目标区域被显示在另一显示表面20-1上,并且显示表面20-2中的第二目标区域还被显示在另一显示表面20-3上。此处,显示表面20-2可以是要由使用显示表面20-1的一个或更多个用户和使用显示表面20-3的一个或更多个用户共同编辑的显示表面。
{3-12-1.显示控制单元106}
根据第十二应用示例的显示控制单元106可以在显示表面20-1上显示显示表面20-2中的第一目标区域中的一个或更多个显示信息的同时,在显示表面20-1上显示显示表面20-2中的第一目标区域与显示表面20-2中的第二目标区域之间的位置关系。同时,显示控制单元106可以在显示表面20-3上显示显示表面20-2中的第二目标区域内的一个或更多个显示信息的同时在显示表面20-3上显示第一目标区域与第二目标区域之间的位置关系。
此外,信息处理系统10可以从显示表面20-3中接收正在使用显示表面20-3的一个或更多个用户关于在显示表面20-3上显示的第二目标区域内的一个或更多个显示信息的第二编辑操作信息。在该情况下,在第一目标区域内的一个或更多个显示信息被显示在显示表面20-1上时,显示控制单元106在显示表面20-1上显示由第二编辑操作信息指示的操作内容。
同时,显示控制单元106可以获取正在使用显示表面20-1的一个或更多个用户针对第一目标区域中的一个或更多个显示信息的第一编辑操作信息,并且可以在显示表面20-3上显示由第一编辑操作信息指示的操作内容。
{3-12-1-1.特定示例}
此处,将参照图32A和图32C更详细地描述上述功能。在图32A至图32C所示的示例中,白板20-2、桌面20-1和桌面20-3彼此远离地定位。然后,白板20-2中的剪切区域60a内的全部显示信息被显示在桌面20-1上,并且白板20-2中的剪切区域60b内的全部显示信息被显示在桌面20-3上。
例如,如图32B所示,显示控制单元106在桌面20-1上显示剪切区域60a内的全部显示信息40。同时,显示控制单元106在桌面20-1上的剪切区域60b相对于剪切区域60a的位置的相对位置处显示指示剪切区域60b的图像(例如,剪切区域60b的轮廓线等)。此外,显示控制单元106在与使用桌面20-3的用户相对于剪切区域60a的位置的指向位置(手指位置等)对应的桌面20-1上的位置处显示指示指向位置的图像62b。
类似地,如图32C所示,显示控制单元106在桌面20-3上显示剪切区域60b内的全部显示信息40。同时,显示控制单元106在显示表面20-3上显示在剪切区域60a相对于剪切区域60b的位置的相对位置处的指示剪切区域60a的图像(例如,剪切区域60a的轮廓线等)。此外,显示控制单元106在与使用桌面20-1的用户相对于剪切区域60b的位置的指向位置(手指位置等)对应的桌面20-3上的位置处显示指示指向位置的图像62a。
此外,如图31A所示,显示控制单元106同时且实时地在白板20-2上显示指示剪切区域60a的位置的图像、指示剪切区域60b的位置的图像、指示使用桌面20-1的用户的指向位置的图像62a以及指示使用桌面20-3的用户的指向位置的图像62b。
根据上述显示示例,使用桌面20-1的用户和使用桌面20-3的用户分别可以同时参考白板20-2内的另一用户的指向位置和另一侧的剪切区域。然后,可以实时知道另一用户在白板20-2中正在编辑的内容。因此,在不同点处的用户可以容易地执行白板20-2的共同编辑任务。
<3-13.第十三应用示例>
上面已经描述了第十二应用示例。接下来,将描述根据本实施方式的第十三应用示例。根据第十三应用示例,用户可以在俯视传送目的地的整个显示表面的同时容易地指定传送目的地的显示表面上的要传送对象的传送位置。
{3-13-1.显示控制单元106}
当检测到上述随后操作时(即,在维持用户指向要传送的对象的状态的同时),根据第十三应用示例的显示控制单元106根据用户的指向位置在传送源的显示表面上显示映射图像,该映射图像指示在传送目的地的基本上整个显示表面上显示的全部显示信息。此外,当用户在映射图像中指定位置时,显示控制单元106将传送目的地的显示表面中与指定位置对应的位置确定为与要传送的对象对应的图像的传送位置。
此处,将参照图33A至图33C更详细地描述上述功能。例如,如图33A所示,使用显示表面20-1的用户将位于显示表面20-1上的标签30拖动到在显示表面20-1上显示的传送区域34a。此后,如图33B所示,假设用户在不从标签30释放手部的情况下将对应的手部维持预定时间或更长时间。
在该情况下,如图33C所示,显示控制单元106相对于触摸标签30的手指的位置在显示表面20-1上显示映射图像42,该映射图像42指示在传送目的地的基本上整个显示表面20-2上显示的全部显示信息。此后,用户通过例如在映射图像42上拖动对应的手指来指定与标签30对应的图像的传送位置。在该情况下,显示控制单元106可以将与紧临在手指从标签30释放之前手指在映射图像42中触摸的位置对应的传送目的地的显示表面20-2的位置显示为与标签30对应的图像40的传送位置。
根据该显示示例,用户可以在俯视传送目的地的整个显示表面20-2的同时指定与标签30对应的图像的传送位置。
<<4.硬件配置>>
上面已经描述了根据本实施方式的每个应用示例。首先,将参照图34描述根据本实施方式的信息处理系统10的硬件配置。如图34所示,信息处理系统10包括CPU 150、只读存储器(ROM)152、随机存取存储器(RAM)154、总线156、接口158、输入设备160、输出设备162、存储设备164和通信设备166。
CPU 150用作算术处理设备和控制设备,并且根据各种程序来控制信息处理系统10的整体操作。此外,CPU 150可以实现信息处理系统10中的处理单元100和显示处理单元122的功能。CPU 150可以由诸如微处理器的处理器配置。
ROM 152存储由CPU 150使用的程序、诸如操作参数的控制数据等。
RAM 154例如临时存储由CPU 150执行的程序等。
总线156包括CPU总线等。总线156相互连接CPU 150、ROM 152和RAM 154。
接口158将输入设备160、输出设备162、存储设备164和通信设备166连接至总线156。
输入设备160包括用于用户输入信息的输入单元(例如,触摸面板、按钮、开关、拨盘、操纵杆、麦克风等)。此外,输入设备160包括输入控制电路,该输入控制电路基于由用户的输入生成输入信号并且将该输入信号输出至CPU 150。输入设备160可以实现信息处理系统10中的输入单元120的功能。
例如,输出设备162包括显示设备,例如投影仪、液晶显示设备、有机发光二极管(OLED)设备或灯。此外,输出设备162包括诸如扬声器的语音输出设备。输出设备162可以实现信息处理系统10中的输出单元124的功能。
存储设备164是用于存储数据的设备。例如,存储设备164包括存储介质、将数据记录在存储介质中的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。存储设备164可以实现信息处理系统10中的存储单元126的功能。
通信设备166是包括连接至诸如因特网或局域网(LAN)的通信网络的通信设备等的通信接口。此外,通信设备166可以是无线LAN兼容通信设备、长期演进(LTE)兼容通信设备或执行有线通信的有线通信设备。
<5.修改示例>
如上所述,已经参照附图详细描述本公开内容的优选实施方式,但是本公开内容不限于这样的示例。对于本公开内容所属领域的技术人员来说,明显的是可以在权利要求书中描述的技术思想的范围内构思各种改变或修改,并且自然理解的是,这些改变或修改落入本公开内容的技术范围内。
<5-1.第一修改示例>
例如,图6示出了其中分开提供显示处理单元122和处理单元100示例,但是本实施方式不限于该示例。作为修改示例,显示处理单元122和处理单元100可以被整体地配置。
<5-2.第二修改示例>
根据本实施方式的系统的配置示例不限于上述示例。例如,如图35所示,根据上述实施方式和每个应用示例的包括处理单元100的服务器80可以连接至通信网络22。在该情况下,服务器80可以经由通信网络22与连接至通信网络22的每个显示表面20通信。此外,服务器80可以对每个显示表面20执行与上述实施方式和每个应用示例中描述的内容基本类似的显示控制。例如,上述输入单元120、显示处理单元122和输出单元124可以各自被布置在每个显示表面20位于的位置(替换地,在每个显示表面20本身上)。在该情况下,服务器80可以从每个显示表面20接收由与每个显示表面20对应的输入单元120获取的输入信息。此外,服务器80可以基于从每个显示表面20接收到的输入信息对每个显示表面20执行与上述实施方式和每个应用示例中描述的内容基本相同的显示控制。
<5-3.第三修改示例>
作为另一修改示例,根据本实施方式的包括处理单元100的设备(信息处理设备)可以是包括上述输入单元120、显示处理单元122或输出单元124中的至少一个的设备。例如,信息处理设备可以是包括处理单元100、显示处理单元122和输出单元124的投影仪。
替选地,信息处理设备可以与桌子90一体地配置。替选地,信息处理设备可以经由通信网络连接至输入单元120、显示处理单元122和输出单元124中的至少一个。例如,信息处理设备可以是服务器、通用个人计算机(PC)、平板终端、游戏机、诸如智能电话的移动电话、便携式音乐播放器、电视接收器、诸如头戴式显示器(HMD)或智能手表的可穿戴设备或机器人(例如,人形机器人、自动驾驶汽车等)。
<5-4.第四修改示例>
上述处理流程中的每个步骤可以不必按照所述顺序执行。例如,可以以适当改变的顺序处理每个步骤。此外,每个步骤可以部分地同时或单独处理,而不是以时间序列处理。此外,可以省略所描述的步骤中的一些,或者还可以添加其他步骤。
此外,根据上述实施方式中的每一个,还可以提供一种计算机程序,其使得诸如CPU 150、ROM 152和RAM 154的硬件执行与根据上述实施方式的信息处理系统10(具体地,处理单元100)的每个部件的功能等同的功能。此外,提供了一种记录有计算机程序的存储介质。
此外,本说明书中描述的效果仅仅是说明性的或示例性的,并且不限于本说明书中描述的那些效果。即,除了上述效果之外或替代上述效果,根据本公开内容的技术,可以表现出根据本说明书的描述对本领域技术人员明显的其他效果。
以下配置也在本公开内容的技术范围内。
(1)
一种信息处理系统,包括:
处理单元,其当检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作,并且
基于所述第一操作之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
(2)
根据(1)所述的信息处理系统,其中,所述处理单元基于所述第二操作的检测结果在所述第二显示表面上显示与所述第一对象对应的信息。
(3)
根据(2)所述的信息处理系统,其中,所述第二操作是在将所述第一对象的操作状态维持在预定操作状态的同时连续执行所述第一操作的操作。
(4)
根据(3)所述的信息处理系统,其中,所述预定的显示控制包括在所述第一显示表面上显示在所述第二显示表面上的第一目标区域内的一个或更多个显示信息。
(5)
根据(4)所述的信息处理系统,其中,所述第一目标区域是所述第二显示表面中的部分区域,
所述处理单元还基于所述第二操作的检测结果将所述第一目标区域从所述第二显示表面中的第一区域改变为所述第二显示表面中的第二区域,以及
当所述第一目标区域从所述第一区域改变为所述第二区域时,所述处理单元将在所述第一显示表面上显示的显示信息从所述第一区域内的一个或更多个显示信息切换到所述第二区域内的一个或更多个显示信息。
(6)
根据(4)所述的信息处理系统,其中,
所述第一目标区域基本上是整个所述第二显示表面,
所述预定的显示控制包括在所述第一显示表面上显示指示在基本上整个所述第二显示表面上显示的一个或更多个显示信息的映射图像,并且
所述映射图像的尺寸小于所述第一显示表面的尺寸。
(7)
根据(4)至(6)中任一项所述的信息处理系统,其中,
所述第二显示表面位于的位置远离所述第一显示表面位于的位置,
所述处理单元在第三显示表面上显示所述第二显示表面上的第二目标区域内的一个或更多个显示信息,所述第三显示表面位于的位置远离所述第一显示表面位于的位置和所述第二显示表面位于的位置中的每一个的位置,并且
当在所述第一显示表面上显示所述第一目标区域中的一个或更多个显示信息的同时,所述处理单元还在所述第一显示表面上进行指示所述第一目标区域与所述第二目标区域之间的位置关系的显示。
(8)
根据(7)所述的信息处理系统,还包括:
接收单元,所述接收单元当在所述第三显示表面上显示所述第二目标区域中的一个或更多个显示信息的同时接收指示第二用户正在所述第三显示表面上指向的位置的指向信息,其中,
所述处理单元还当在所述第一显示表面上显示所述第一目标区域中的一个或更多个显示信息的同时在所述第一显示表面中的与由所述指向信息指示的指向位置对应的位置处显示预定图像。
(9)
根据(4)至(8)中任一项所述的信息处理系统,其中,所述处理单元还基于所述第二操作的检测结果来确定与所述第一对象对应的信息的在所述第二显示表面上的传送位置。
(10)
根据(9)所述的信息处理系统,其中,
所述第一目标区域基本上是所述第二显示表面的整个部分,
所述预定的显示控制包括在所述第一显示表面上显示映射图像,所述映射图像指示所述第二显示表面的基本上整个部分上显示的一个或更多个显示信息,并且
所述映射图像的尺寸小于所述第一显示表面的尺寸,并且
所述第二操作包括在所述映射图像中由所述第一用户指定与所述第一对象对应的信息在所述第二显示表面上的传送位置。
(11)
根据(9)或(10)所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像,并且
所述处理单元还在所述第二显示表面上的所述传送位置处显示与所述第一对象对应的图像。
(12)
根据(3)至(11)中任一项所述的信息处理系统,其中,
所述处理单元还基于指示所述一个或更多个预定传送对象的状态的信息和所述第一操作的检测结果从与所述第一显示表面对应的多个显示表面中确定与所述第一对象对应的信息的传送目的地的至少一个显示表面,并且
所述多个显示表面包括所述第二显示表面。
(13)
根据(12)所述的信息处理系统,其中,
所述一个或更多个预定的传送对象存在多个,
所述多个预定传送对象中的每一个是真实对象,并且
当检测到所述第一操作时,所述处理单元基于所述多个预定传送对象中的任意两个传送对象之间的距离是否等于或小于预定阈值以及所述任意两个传送对象的布置是否为预定布置来从所述多个显示表面中确定与所述第一对象对应的信息的传送目的地的至少一个显示表面。
(14)
根据(12)或(13)所述的信息处理系统,其中,
所述预定传送对象是具有多个表面的真实对象,
所述预定传送对象的多个表面中的每一个与所述多个显示表面中的不同显示表面相关联,
所述第一操作包括所述第一用户将所述第一对象布置在所述预定传送对象的多个表面之一上,并且
当检测到所述第一操作时,所述处理单元将所述预定传送对象的多个表面中的布置所述第一对象的表面相关联的显示表面确定为与所述第一对象对应的信息的传送目的地的显示表面。
(15)
根据(12)至(14)中任一项所述的信息处理系统,其中,
所述预定传送对象是具有至少一个倾斜表面的真实对象,
所述第一操作包括所述第一用户将所述第一对象布置在所述预定传送对象的至少一个倾斜表面中的任一个上,并且
当检测到所述第一操作时,所述处理单元从所述多个显示表面中将位于所述第一对象被指向的方向上的显示表面确定为与所述第一对象对应的信息的传送目的地的显示表面。
(16)
根据(12)至(15)中任一项所述的信息处理系统,其中,
所述预定传送对象是真实对象,并且
当在所述第二显示表面上显示与所述第一对象对应的图像时,所述处理单元基于在所述第一操作期间所述预定传送对象的姿态的检测结果和所述第一对象相对于所述预定传送对象的移动进度的检测结果连续地改变所述图像在所述第二显示表面内的显示位置。
(17)
根据(12)至(16)中任一项所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像,
与所述第二显示表面相关联的信息包括与所述第二显示表面相关联的字符串的转换规则信息,并且
当在所述第一对象中包括第一字符串时,所述处理单元在所述第二显示表面上显示包括第二字符串的图像作为与所述第一对象对应的图像,所述第二字符串是通过基于与所述第二显示表面相关联的字符串的转换规则信息和所述第一字符串进行转换来得到。
(18)
根据(12)至(17)中任一项所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像,并且
与所述第二显示表面相关联的信息包括与所述第二显示表面相关联的图像的格式的转换规则信息,并且
所述处理单元将基于与所述第二显示表面相关联的图像的格式的转换规则信息和所述第一对象而确定的格式的图像
作为与所述第一对象对应的图像显示在所述第二显示表面上。
(19)
一种信息处理方法,包括:
在当检测到用于将第一对象移动到与位于所述第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作;以及
由处理器基于所述第一操作的检测之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
(20)
一种用于实现将计算机用作处理单元的程序,所述处理单元:
当检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作;以及
基于所述第一操作的检测之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
参考标记列表
10信息处理系统
22通信网络
33传送基部
50智能电话
80服务器
90桌子
100处理单元
102传送操作检测单元
104表面属性匹配处理单元
106显示控制单元
120输入单元
122显示处理单元
124输出单元
126存储单元
128表面属性信息DB

Claims (20)

1.一种信息处理系统,包括:
处理单元,其当检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作,并且
基于所述第一操作之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
2.根据权利要求1所述的信息处理系统,其中,所述处理单元基于所述第二操作的检测结果在所述第二显示表面上显示与所述第一对象对应的信息。
3.根据权利要求2所述的信息处理系统,其中,所述第二操作是在将所述第一对象的操作状态维持在预定操作状态的同时连续执行所述第一操作的操作。
4.根据权利要求3所述的信息处理系统,其中,所述预定的显示控制包括在所述第一显示表面上显示在所述第二显示表面上的第一目标区域内的一个或更多个显示信息。
5.根据权利要求4所述的信息处理系统,其中,所述第一目标区域是所述第二显示表面中的部分区域,
所述处理单元还基于所述第二操作的检测结果将所述第一目标区域从所述第二显示表面中的第一区域改变为所述第二显示表面中的第二区域,以及
当所述第一目标区域从所述第一区域改变为所述第二区域时,所述处理单元将显示在所述第一显示表面上的显示信息从所述第一区域内的一个或更多个显示信息切换到所述第二区域内的一个或更多个显示信息。
6.根据权利要求4所述的信息处理系统,其中,
所述第一目标区域基本上是所述第二显示表面的整个部分,
所述预定的显示控制包括在所述第一显示表面上显示映射图像,该映射图像指示在所述第二显示表面的基本上整个部分上显示的一个或更多个显示信息,并且
所述映射图像的尺寸小于所述第一显示表面的尺寸。
7.根据权利要求4所述的信息处理系统,其中,
所述第二显示表面位于的位置远离所述第一显示表面位于的位置,
所述处理单元在第三显示表面上显示所述第二显示表面上的第二目标区域内的一个或更多个显示信息,所述第三显示表面位于的位置远离所述第一显示表面位于的位置和所述第二显示表面位于的位置中的每一个的位置,并且
当在所述第一显示表面上显示所述第一目标区域中的一个或更多个显示信息的同时,所述处理单元还在所述第一显示表面上进行指示所述第一目标区域与所述第二目标区域之间的位置关系的显示。
8.根据权利要求7所述的信息处理系统,还包括:
接收单元,所述接收单元当在所述第三显示表面上显示所述第二目标区域中的一个或更多个显示信息的同时接收指示第二用户正在所述第三显示表面上指向的位置的指向信息,其中,
所述处理单元还当在所述第一显示表面上显示所述第一目标区域中的一个或更多个显示信息的同时在所述第一显示表面中的与由所述指向信息指示的指向位置对应的位置处显示预定图像。
9.根据权利要求4所述的信息处理系统,其中,所述处理单元还基于所述第二操作的检测结果来确定与所述第一对象对应的信息的在所述第二显示表面上的传送位置。
10.根据权利要求9所述的信息处理系统,其中,
所述第一目标区域基本上是所述第二显示表面的整个部分,
所述预定的显示控制包括在所述第一显示表面上显示映射图像,所述映射图像指示所述第二显示表面的基本上整个部分上显示的一个或更多个显示信息,并且
所述映射图像的尺寸小于所述第一显示表面的尺寸,并且
所述第二操作包括在所述映射图像中由所述第一用户指定与所述第一对象对应的信息在所述第二显示表面上的传送位置。
11.根据权利要求9所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像;并且
所述处理单元还在所述第二显示表面上的所述传送位置处显示与所述第一对象对应的图像。
12.根据权利要求3所述的信息处理系统,其中,
所述处理单元还基于指示所述一个或更多个预定传送对象的状态的信息和所述第一操作的检测结果从与所述第一显示表面对应的多个显示表面中确定与所述第一对象对应的信息的传送目的地的至少一个显示表面,并且
所述多个显示表面包括所述第二显示表面。
13.根据权利要求12所述的信息处理系统,其中,
所述一个或更多个预定传送对象存在多个,
所述多个预定传送对象中的每一个都是真实对象,并且
当检测到所述第一操作时,所述处理单元基于所述多个预定传送对象中的任意两个传送对象之间的距离是否等于或小于预定阈值以及所述任意两个传送对象的布置是否为预定布置来从所述多个显示表面中确定与所述第一对象对应的信息的传送目的地的至少一个显示表面。
14.根据权利要求12所述的信息处理系统,其中,
所述预定传送对象是具有多个表面的真实对象,
所述预定传送对象的多个表面中的每一个与所述多个显示表面中的不同显示表面相关联,
所述第一操作包括所述第一用户将所述第一对象布置在所述预定传送对象的多个表面之一上,并且
当检测到所述第一操作时,所述处理单元将与所述预定传送对象的多个表面中的布置所述第一对象的表面相关联的显示表面确定为与所述第一对象对应的信息的传送目的地的显示表面。
15.根据权利要求12所述的信息处理系统,其中,
所述预定传送对象是具有至少一个倾斜表面的真实对象,
所述第一操作包括所述第一用户将所述第一对象布置在所述预定传送对象的至少一个倾斜表面中的任一个上,并且
当检测到所述第一操作时,所述处理单元从所述多个显示表面中将位于所述第一对象被指向的方向上的显示表面确定为与所述第一对象对应的信息的传送目的地的显示表面。
16.根据权利要求12所述的信息处理系统,其中,
所述预定传送对象是真实对象,并且
当在所述第二显示表面上显示与所述第一对象对应的图像时,所述处理单元基于在所述第一操作期间所述预定传送对象的姿态的检测结果和所述第一对象相对于所述预定传送对象的移动进度的检测结果连续地改变所述图像在所述第二显示表面内的显示位置。
17.根据权利要求12所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像,
与所述第二显示表面相关联的信息包括与所述第二显示表面相关联的字符串的转换规则信息,并且
当在所述第一对象中包括第一字符串时,所述处理单元在所述第二显示表面上显示包括第二字符串的图像作为与所述第一对象对应的图像,所述第二字符串是通过基于与所述第二显示表面相关联的字符串的转换规则信息和所述第一字符串进行转换来得到。
18.根据权利要求12所述的信息处理系统,其中,
与所述第一对象对应的信息是与所述第一对象对应的图像;并且
与所述第二显示表面相关联的信息包括与所述第二显示表面相关联的图像的格式的转换规则信息,并且
所述处理单元将基于与所述第二显示表面相关联的图像的格式的转换规则信息和所述第一对象而确定的格式的图像作为与所述第一对象对应的图像显示在所述第二显示表面上。
19.一种信息处理方法,包括:
当检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作;以及
由处理器基于所述第一操作的检测之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
20.一种用于实现将计算机用作处理单元的程序,所述处理单元:
当检测到用于将第一对象移动到与位于第一显示表面中的一个或更多个预定传送对象具有预定位置关系的检测区域的第一用户的第一操作时,对所述第一显示表面执行预定的显示控制,所述预定的显示控制指示将与所述第一显示表面对应的第二显示表面中的一个或更多个显示信息改变为能够在所述第一显示表面中操作;以及
基于所述第一操作的检测之后的所述第一用户的第二操作的检测结果来改变所述第二显示表面的显示状态。
CN201880080504.5A 2017-12-19 2018-11-12 信息处理系统、信息处理方法和程序 Withdrawn CN111480132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017242317 2017-12-19
JP2017-242317 2017-12-19
PCT/JP2018/041786 WO2019123888A1 (ja) 2017-12-19 2018-11-12 情報処理システム、情報処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN111480132A true CN111480132A (zh) 2020-07-31

Family

ID=66993086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080504.5A Withdrawn CN111480132A (zh) 2017-12-19 2018-11-12 信息处理系统、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11112961B2 (zh)
EP (1) EP3731068A4 (zh)
JP (1) JPWO2019123888A1 (zh)
CN (1) CN111480132A (zh)
WO (1) WO2019123888A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3594797A1 (en) 2012-05-09 2020-01-15 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
DE112013002412T5 (de) * 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP4010516B2 (ja) * 2000-01-27 2007-11-21 株式会社日立製作所 変換規則導出システム
RU2179336C1 (ru) * 2000-12-26 2002-02-10 Общество С Ограниченной Ответственностью "Инсмат Технология" Способ формирования оптического изображения в некогерентном свете и устройство для его осуществления (варианты)
US9032325B2 (en) * 2001-06-08 2015-05-12 Real Enterprise Solutions Development B.V. Management of local applications in local and remote desktops in a server-based computing environment
US6947162B2 (en) * 2001-08-30 2005-09-20 Hewlett-Packard Development Company, L.P. Systems and methods for converting the format of information
US7519910B2 (en) * 2002-10-10 2009-04-14 International Business Machines Corporation Method for transferring files from one machine to another using adjacent desktop displays in a virtual network
EP1859339A2 (en) * 2005-03-10 2007-11-28 Koninklijke Philips Electronics N.V. System and method for detecting the location, size and shape of multiple objects that interact with a touch screen display
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
WO2007121557A1 (en) * 2006-04-21 2007-11-01 Anand Agarawala System for organizing and visualizing display objects
US8516393B2 (en) * 2006-12-18 2013-08-20 Robert Pedersen, II Apparatus, system, and method for presenting images in a multiple display environment
US20080307324A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Sharing content in a videoconference session
GB2451274B (en) * 2007-07-26 2013-03-13 Displaylink Uk Ltd A system comprising a touchscreen and one or more conventional display devices
US9529820B2 (en) * 2008-05-23 2016-12-27 International Business Machines Corporation Automated content tracking and conversion
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US20100169791A1 (en) * 2008-12-31 2010-07-01 Trevor Pering Remote display remote control
JP5157971B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5398728B2 (ja) * 2009-03-23 2014-01-29 パナソニック株式会社 情報処理装置、情報処理方法、記録媒体、及び集積回路
KR20100109686A (ko) * 2009-04-01 2010-10-11 삼성전자주식회사 Gui 제공방법 및 이를 적용한 멀티미디어 기기
JP5528739B2 (ja) * 2009-08-12 2014-06-25 株式会社ジャパンディスプレイ 検出装置、表示装置、および物体の近接距離測定方法
JP2011070511A (ja) 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
JP4824805B2 (ja) * 2009-09-28 2011-11-30 京セラ株式会社 携帯端末装置
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
KR101688942B1 (ko) * 2010-09-03 2016-12-22 엘지전자 주식회사 다중 디스플레이에 기반한 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
WO2012092506A1 (en) * 2010-12-31 2012-07-05 Ebay, Inc. Methods and systems for displaying content on multiple networked devices with a simple command
KR101802522B1 (ko) * 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
EP2713282A4 (en) * 2011-07-26 2014-07-16 Huawei Device Co Ltd INPUT METHOD FOR COMMUNICATION TERMINALS AND COMMUNICATION TERMINALS
CN103425403B (zh) * 2012-05-14 2017-02-15 华为技术有限公司 一种屏幕间显示内容的穿越方法、装置及系统
US9767446B2 (en) * 2012-07-19 2017-09-19 Mastercard International Incorporated Touch screen system and methods for multiple contactless payments
KR20140011857A (ko) * 2012-07-20 2014-01-29 삼성전자주식회사 이동 단말에서 디스플레이 장치의 디스플레이를 제어하기 위한 방법 및 이를 위한 이동 단말
KR102061881B1 (ko) * 2012-10-10 2020-01-06 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
CN104769959A (zh) * 2012-11-02 2015-07-08 Lg电子株式会社 用于播放内容的方法和设备
CN104903810B (zh) * 2012-12-07 2018-12-07 优特设备有限公司 重新格式化显示数据的包含切口区域的显示表面
KR102058368B1 (ko) * 2013-01-21 2019-12-24 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102453031B1 (ko) * 2013-02-07 2022-10-11 디즈모 아게 디스플레이 디바이스상에 정보를 조직하고 디스플레이하기 위한 시스템
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
US20140279531A1 (en) * 2013-03-15 2014-09-18 SingTel Idea Factory Pte. Ltd. Systems and methods for financial transactions between mobile devices via hand gestures
TWI493497B (zh) * 2013-05-15 2015-07-21 Quanta Comp Inc 電子裝置及其控制方法
US10549180B2 (en) * 2013-09-30 2020-02-04 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
JP6070512B2 (ja) 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10664162B2 (en) * 2013-11-18 2020-05-26 Red Hat, Inc. Multiple display management
US20190037611A1 (en) * 2013-12-23 2019-01-31 Google Llc Intuitive inter-device connectivity for data sharing and collaborative resource usage
WO2015106114A1 (en) * 2014-01-13 2015-07-16 T1visions, Inc. Display capable of object recognition
EP2930717A1 (en) * 2014-04-07 2015-10-14 Thomson Licensing Method and apparatus for determining in a 2nd screen device whether the presentation of watermarked audio content received via an acoustic path from a 1st screen device has been stopped
JP6390277B2 (ja) 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR20160053641A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 멀티 디스플레이 제어 방법 및 그 전자 장치
US20170052685A1 (en) * 2015-08-17 2017-02-23 Tenten Technologies Limited User experience for social sharing of electronic data via direct communication of touch screen devices
KR101730315B1 (ko) * 2015-11-05 2017-04-27 엘지전자 주식회사 영상을 공유하는 전자 기기 및 방법
US20200201038A1 (en) * 2017-05-15 2020-06-25 Real View Imaging Ltd. System with multiple displays and methods of use
JP7043931B2 (ja) * 2018-03-30 2022-03-30 ブラザー工業株式会社 画面作成プログラム、情報処理装置および画面作成方法

Also Published As

Publication number Publication date
WO2019123888A1 (ja) 2019-06-27
US20210081092A1 (en) 2021-03-18
US11112961B2 (en) 2021-09-07
EP3731068A1 (en) 2020-10-28
JPWO2019123888A1 (ja) 2020-12-24
EP3731068A4 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US11561579B2 (en) Integrated computational interface device with holder for wearable extended reality appliance
US10001845B2 (en) 3D silhouette sensing system
CN106257391B (zh) 用于导航媒体内容的设备、方法和图形用户界面
JP7143847B2 (ja) 情報処理システム、情報処理方法、およびプログラム
CN105518579A (zh) 信息处理设备和信息处理方法
JP2012212343A (ja) 表示制御装置、表示制御方法、およびプログラム
US10621766B2 (en) Character input method and device using a background image portion as a control region
JP2018133019A (ja) 情報処理システム、情報処理方法、およびプログラム
CN102375564A (zh) 使用光学指示器的交互方法、光学指示器、展示方法和系统
CN111480132A (zh) 信息处理系统、信息处理方法和程序
CN109815462A (zh) 一种文本生成方法及终端设备
JP6516464B2 (ja) ウェアラブル検索システム
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
CN103543825A (zh) 摄像机光标系统
US11314981B2 (en) Information processing system, information processing method, and program for displaying assistance information for assisting in creation of a marker
CN110291495B (zh) 信息处理系统、信息处理方法及程序
WO2019116780A1 (ja) 情報処理システム、情報処理方法、および、プログラム
CN117897680A (zh) 基于物理动作的增强现实通信交换
CN111754434A (zh) 一种远距ai视觉影像交互式阴影处理方法
Davies et al. Interaction Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200731

WW01 Invention patent application withdrawn after publication