CN112166601A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN112166601A
CN112166601A CN201980034766.2A CN201980034766A CN112166601A CN 112166601 A CN112166601 A CN 112166601A CN 201980034766 A CN201980034766 A CN 201980034766A CN 112166601 A CN112166601 A CN 112166601A
Authority
CN
China
Prior art keywords
display
information processing
image
processing apparatus
communication partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980034766.2A
Other languages
English (en)
Other versions
CN112166601B (zh
Inventor
小池龙正
永野佳惠
佐藤康次
古泽浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112166601A publication Critical patent/CN112166601A/zh
Application granted granted Critical
Publication of CN112166601B publication Critical patent/CN112166601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[问题]提供信息处理设备、信息处理方法和程序，通过上述的信息处理设备、信息处理方法和程序，可以在通过视频的通信中直观地理解由通信对方指示的对象。[解决方案]该信息处理设备设置有控制单元，该控制单元控制双向通信，在该双向通信中显示已经从通信对方侧获取的通信对方侧的空间的捕获图像，并且该控制单元执行控制以显示将由在一侧的人使用的指示体与由该人指示的目标相关联的图像。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
已经提出了支持与处于远程位置的人通信的通信系统，例如使用视频电话的会议系统。
例如，以下描述的专利文献1公开了一种技术，该技术通过显示来自多个远程位置的指示相同内容图像上的期望位置的用户的指示体来支持远程通信。
引文列表
专利文献
专利文献1：日本专利申请特许公开第2006-41884号
发明内容
本发明要解决的问题
然而，在通过图像进行双向通信时指示的对象不限于相同内容图像中的对象。
因此，本公开内容提出了使得能够直观地掌握在通过图像进行通信时由通信伙伴指示的对象的信息处理设备、信息处理方法和程序。
问题的解决方案
根据本公开内容，提出了一种信息处理设备，该信息处理设备包括控制单元，该控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，该控制单元进行控制以显示将一侧的人使用的指示体与该人指示的对象建立关联的图像。
根据本公开内容，提出了一种信息处理方法，该信息处理方法包括：通过处理器控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像；以及通过处理器进行控制以显示将一侧的人使用的指示体与该人指示的对象建立关联的图像。
根据本公开内容，提出了一种程序，该程序用于使计算机作为控制单元起作用，该控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，该控制单元进行控制以显示将一侧的人使用的指示体与该人指示的对象建立关联的图像。
本发明的有益效果
如上所述，本公开内容使得能够直观地掌握在通过图像进行通信时由通信伙伴指示的对象。
注意，以上效果不一定是限制性的，并且可以与以上效果一起或代替以上效果而实现本说明书中描述的任何效果或可以根据本说明书理解的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的概要的图。
图2是示出根据本实施方式的信息处理系统的整体配置的示例的图。
图3是示出根据本实施方式的信息处理设备的配置的示例的框图。
图4是示出根据本实施方式的根据用户的指示动作的控制处理的流程的示例的流程图。
图5A是示出根据本实施方式的在从本地侧执行指示的情况下的指示对象的突出显示的示例的图。
图5B是示出根据本实施方式的在从本地侧执行指示的情况下的指示对象的突出显示的示例的图。
图6是示出根据本实施方式的在本地侧处指示位于该本地侧的真实物体的情况下的指示对象的突出显示的示例的图。
图7是示出根据本实施方式的在从通信伙伴侧穿越画面进行指示动作的情况下的显示处理的流程的示例的流程图。
图8是示出根据本实施方式的从本地侧指示真实物体的背侧的显示示例的图。
图9是示出根据本实施方式的在从通信伙伴侧(远程侧)穿越画面来指示真实物体的背侧的情况下的显示示例的图。
图10是示出根据本实施方式的结合语音来穿越画面指示特定区域的情况的图。
图11是示出根据本实施方式的在桌面显示器上的显示被共享的共享模式的图。
图12是示出根据本实施方式的用于在共享模式下明确指示对象的显示控制的图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，相同的附图标记被分配给具有基本相同的功能配置的部件，以避免重复的说明。
此外，将按照以下顺序进行描述。
1.根据本公开内容的实施方式的信息处理系统的概述
2.配置示例
3.动作处理
3-1.根据用户的指示动作的控制处理
3-2.根据在通信伙伴侧的指示动作的显示处理
4.其他显示示例
4-1.难以指示的位置的指示
4-2.根据语音的指示对象区域的调整
4-3.共享模式下的显示控制
5.总结
<<1.根据本公开内容的实施方式的信息处理系统的概述>>
图1是示出根据本公开内容的实施方式的信息处理系统的概要的图。根据本实施方式的信息处理系统使用信息处理设备10来通过图像和语音提供双向通信。如图1所示，信息处理设备10包括作为显示单元的窗口显示器131，在该窗口显示器131上实时显示通信伙伴侧的图像。这样的信息处理设备10设置在每个空间中。例如，在连接位于空间A中的用户A和位于空间B中的用户B的情况下，如图2所示，根据本实施方式的信息处理系统1具有包括在空间A中使用的信息处理设备10A和在空间B中使用的信息处理设备10B的系统配置。信息处理设备10A和信息处理设备10B经由网络3连接以进行通信。
当从用户A侧观看时，如图1所示，在信息处理设备10的窗口显示器131上显示空间B的捕获图像(示出用户B的图像)，并且从扬声器135(未示出)输出在空间B侧收集的语音信息，从而允许面对面的通信。
此外，用户A侧的捕获图像由摄像机123捕获，并且被发送至用户B侧的信息处理设备10B。图1所示的摄像机123的布置是示例，并且本实施方式不限于此。此外，通过麦克风125(未示出)收集用户A侧的语音信息，并将其发送至用户B侧的信息处理设备10B。
在此，在通过这样的图像进行双向通信时穿越显示画面朝向远程位置的特定对象执行指示的情况下，取决于摄像机的位置，从远程端侧观察时，指示方向可能会偏离该对象。例如，在图1所示的示例中，用户B正在指示在示出在用户B侧的显示单元(在其上显示由在用户A侧的摄像机123捕获的捕获图像)上的在用户A侧的桌面上的真实物体20，但是当从用户A侧观看时，用户B的指示方向偏离真实物体20，并且可能不清楚用户B所指示的位置。
因此，本实施方式在通过图像的双向通信中显示将在一侧的人所使用的指示体(例如，人体部位诸如手或手指或人造物体诸如笔或指示杆)与由该人指示的对象关联的图像，从而使得能够直观地掌握由通信伙伴指示的对象。
具体地，例如，如图1所示，信息处理设备10执行控制，以跨越窗口显示器131和设置在桌面的顶部的显示单元(桌面显示器133)来显示线状图像30，该线状图像30连接在窗口显示器131上示出的用户B的指尖和由用户B指示的放置在用户A侧(即，本地侧)的桌面上的真实物体20。以这种方式，即使指示方向看起来不同，也清楚地示出了连接指示指尖和对象的图像，从而用户A可以直观地掌握用户B所指示的对象(这里，在本地侧的真实物体20)。
注意，在本实施方式中，桌面显示器133被用作示例，但是本公开内容不限于此。例如，线状图像可以由投影仪(未示出)投影。例如，信息处理设备10通过投影仪投影并显示连接在窗口显示器131上的指示体(例如，用户B的指尖)和桌面上的真实物体20的线状图像30的在桌面上的线状图像部分。
此外，在本实施方式中，由用户指示的“对象”不限于真实物体，并且包括由投影仪显示或投影在桌面显示器133上的图像(在本说明书中，称为“虚拟物体”)以及在桌面显示器133等上的一定范围内的区域。
此外，图1和图2作为示例示出了两点之间的通信，但是本实施方式不限于此。还可以连接三个点或更多个点。
另外，桌面显示器133和窗口显示器131的布置和配置(基本水平方向上的显示单元和基本垂直方向上的显示单元的组合)可以被可替选地设置在期望的位置，例如地板、墙壁或空间(室内或室外)中的家具或笔记本PC(个人电脑)等。
上文描述了根据本公开内容的实施方式的信息处理系统1。接下来，将参照附图描述包括在根据本实施方式的信息处理系统1中的信息处理设备10的具体配置。
<<2.配置示例>>
图3是示出根据本实施方式的信息处理设备10的配置的示例的框图。如图3所示，信息处理设备10包括控制单元100、通信单元110、输入单元120、输出单元130和存储单元140。
<2-1.控制单元100>
控制单元100作为运算处理单元和控制器起作用，并且根据各种程序来控制信息处理设备10中的所有操作。控制单元100例如通过电子电路诸如中央处理单元(CPU)或微处理器来实现。此外，控制单元100可以包括存储要被使用的程序、操作参数等的只读存储器(ROM)以及临时存储被适当改变的参数等的随机存取存储器(RAM)。
此外，根据本实施方式的控制单元100还作为输入信息识别单元101、指示对象识别单元102、指示对象分析单元103、指示体识别单元104、显示控制单元105和语音输出控制单元106起作用。
输入信息识别单元101分析从输入单元120获取的各种输入信息，并识别用户输入。例如，输入信息识别单元101分析从麦克风125获取的发出的语音，并且识别用户的发声的内容(语音识别)。此外，输入信息识别单元101基于从传感器单元121和摄像机123获取的信息来识别姿态(用户动作)。此外，输入信息识别单元101可以基于从传感器单元121和通信单元110获取的信息，识别使用外部装置诸如遥控器(例如，IR遥控器)或鼠标执行的用户输入。
关于姿态(用户动作)的识别，更具体地，例如，输入信息识别单元101分析由作为输入单元120的示例的深度摄像机、热成像摄像机、RGB摄像机、触摸传感器、压力传感器、接近度传感器、超声波传感器等所感测到的信息。此外，“姿态(用户动作)”例如包括信息诸如用户的手动作、指示、臂动作、姿势(例如，骨骼信息)、视线或触摸操作(特别是触摸、点击、双击、滑动或拖动)。例如，输入信息识别单元101分析捕获的图像和深度信息，获取位于桌面显示器133的显示画面上方的用户的手或手指的位置信息和深度信息(换句话说，三维信息)，并且检测在高度方向上的用户的手与桌面显示器133的接触或用户的手向桌面显示器133的接近以及手从桌面显示器133的收回。在此，用户使操作体诸如手与显示画面接触或接近显示画面也统称为“接触”。
输入信息识别单元101将桌面显示器133上的触摸操作、朝向窗口显示器131的指示动作等识别为姿态信息。
当输入信息识别单元101识别出指示动作诸如用户的指示时，指示对象识别单元102识别由用户指示的对象。例如，在基于相对于窗口显示器131的指示方向(角度)识别出用户正在朝向窗口显示器131进行指示动作的情况下，指示对象识别单元102从在窗口显示器131上显示的通信伙伴侧的捕获图像中识别出用户正在指示的对象(真实物体、虚拟物体(例如，显示在通信伙伴侧的桌面显示器133上的图像)或者在图像中所示的在通信伙伴侧的一定范围内的区域)作为指示对象。例如，指示对象识别单元102将在指示方向上的延长线与在窗口显示器131上显示的捕获图像相交的位置处显示的对象识别为指示对象。此外，指示对象识别单元102可以例如突出显示所识别的指示对象以反馈给用户。这使得用户能够确认用户正在指示的对象是否被正确识别。如果识别出不同的对象，则用户可以例如改变手指的角度以进行调节。此外，指示对象识别单元102的识别结果作为指示对象信息从通信单元110被发送至在通信伙伴侧的信息处理设备10。
指示对象分析单元103基于从通信伙伴侧接收到的信息(指示对象信息)来分析由通信伙伴指示的在用户侧(本地侧)的对象。从通信伙伴侧接收到的指示对象信息包括基于由通信伙伴朝向显示在通信伙伴侧的用户侧的捕获图像的指示动作所识别的指示对象的识别结果(诸如对象的位置和形状的信息)。基于指示对象信息，指示对象分析单元103分析在窗口显示器131上示出的通信伙伴正在穿越画面来指示的在用户侧(本地侧)的对象(放置在桌面显示器133上的真实物体、显示在桌面显示器133上的虚拟物体、一定范围内的区域等)。
指示体识别单元104从接收到的通信伙伴侧的捕获图像中识别由通信伙伴使用的指示体(例如，诸如手或手指)。
显示控制单元105根据由输入信息识别单元101识别的用户操作来执行显示控制，并且进行控制以显示由通信单元110从通信伙伴侧接收到的通信伙伴侧的捕获图像。此外，显示控制单元105基于指示对象识别单元102的识别结果执行显示控制以清楚地示出由用户指示的对象，并且基于指示对象分析单元103的分析结果执行显示控制以清楚地示出通信伙伴正在穿越画面来指示的在本地侧的指示对象。
具体地，显示控制单元105执行控制以显示将通过指示动作等来指示对象的人所使用的指示体(例如指尖)与指示对象(真实物体、虚拟物体或特定区域)关联的图像。例如，显示控制单元105跨越桌面显示器133和窗口显示器131显示线状图像，该线状图像连接在窗口显示器131上示出的通信伙伴的指尖和该通信伙伴正在指示的在本地侧的对象(放置在桌面显示器133上的真实物体、显示在桌面显示器133上的图像等)。这使得用户能够直观地掌握由通信伙伴指示的对象。
此外，根据指示对象识别单元102的识别结果，如果用户正在指示在窗口显示器131上示出的在通信伙伴侧的对象，则显示控制单元105执行控制以在窗口显示器131上示出的通信伙伴侧的捕获图像中突出显示该对象。此外，根据指示对象识别单元102的识别结果，如果用户正在指示放置在桌面显示器133上的真实物体或在桌面显示器133上显示的图像(虚拟物体)，则显示控制单元105执行控制以在桌面显示器133上突出显示该对象。
注意，这里，设置在桌面上的桌面显示器133用作显示单元的示例，但是本实施方式不限于此。桌面上的显示可以由投影仪执行。具体地，例如，如果通信伙伴正在穿越画面来指示放置在桌面上的真实物体，则显示控制单元105使用投影仪进行控制以突出显示该真实物体并在桌面上投影线状投影图像，该线状投影图像连接至线状显示图像，该线状显示图像连接至窗口显示器131上示出的通信伙伴的指尖。
语音输出控制单元106控制从扬声器135输出的语音。例如，语音输出控制单元106输出由通信单元110接收的通信伙伴侧的语音信息。
<2-2.通信单元110>
通信单元110是用于将信息处理设备10和其他装置连接的连接装置。通信单元110通过例如有线或无线电连接至网络3，并且向通信目的地设备(信息处理设备10)发送数据并从通信目的地设备(信息处理设备10)接收数据。通信单元110通过例如有线或无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(长期演进(LET))、第三代移动通信系统(3G)等连接至网络3以进行通信。
<2-3.输入单元120>
输入单元120获取输入至信息处理设备10的信息。例如，输入单元120包括传感器单元121、摄像机123和麦克风125。传感器单元121可以包括例如触摸传感器、压力传感器、接近度传感器、红外光接收单元、超声波传感器、深度摄像机、热成像摄像机、RGB摄像机等，并且可以包括由物理构造诸如按钮、开关和控制杆等形成的操作输入单元。摄像机123捕获在桌面显示器133和窗口显示器131上执行操作输入的用户(包括指示动作)的图像。麦克风125感测语音信息诸如用户发出的语音。
<2-4.输出单元130>
输出单元130将从信息处理设备10输出的信息呈现给用户。例如，输出单元130包括桌面显示器133、窗口显示器131和扬声器135。扬声器135输出语音信息诸如从通信目的地接收的由伙伴发出的语音。
<2-5.存储单元140>
存储单元140由存储在控制单元100的处理中使用的程序、操作参数等的只读存储器(ROM)和临时存储被适当改变的参数的随机存取存储器(RAM)等来实现。
此外，存储单元140可以存储输入信息识别单元101的识别结果，以及由通信单元110从通信伙伴侧接收到的通信伙伴侧的图像(捕获图像)和语音。
上面已经具体描述了根据本实施方式的信息处理设备10的配置。注意，信息处理设备10的配置不限于图3所示的示例。例如，信息处理设备10可以包括多个设备。此外，信息处理设备10的控制单元100的功能的至少一部分可以由外部装置(例如，诸如智能电话、平板终端、PC或服务器)来实现。
此外，根据本实施方式的信息处理设备10可以经由网络上的服务器(未示出)向通信伙伴侧发送数据并从通信伙伴侧接收数据。
<<3.动作处理>>
接下来，将参照附图具体描述根据本实施方式的信息处理系统的动作处理。
<3-1.根据用户的指示动作的控制处理>
首先，将参照图4描述根据用户(即，来自本地侧)的指示动作的控制处理。图4是示出根据本实施方式的根据用户的指示动作的控制处理的流程的示例的流程图。
如图4所示，首先，信息处理设备10的输入信息识别单元101分析由摄像机123捕获的图像。如果其检测到用户的指示动作(步骤S103)，则其进一步识别指尖的位置和指示方向(步骤S106)。
接下来，指示对象识别单元102基于输入信息识别单元101的识别结果和在窗口显示器131上显示的通信伙伴侧的图像或桌面显示器133的状态(虚拟物体的显示位置、在桌面显示器133上放置的真实物体的位置等)来识别用户正在指示的对象(即，指示对象)(步骤S109)。
接下来，指示对象识别单元102将关于所识别的指示对象的信息(即，指示对象信息)从通信单元110发送至通信伙伴侧(步骤S112)。
然后，显示控制单元105显示连接用户的指尖和指示对象的图像(步骤S115)。这里，将参照图5A和图5B描述根据来自本地侧的指示动作的指示对象的显示控制。
图5A和图5B是示出根据本实施方式的在从本地侧进行指示动作的情况下的指示对象的突出显示的示例的图。例如，如图5A所示，在用户B朝向在桌面显示器133上显示的通信伙伴侧的图像(用户A侧的图像)进行指示动作并且穿越画面将放置在通信伙伴侧的桌面上的真实物体20a识别为指示对象的情况下，信息处理设备10的显示控制单元105执行显示以在窗口显示器131上强调作为指示对象的真实物体20a(改变周围的颜色、使其闪烁等)。此外，如图5A所示，显示控制单元105显示连接作为指示对象的真实物体20a和用户B的指尖方向的线状图像30a。这使得用户B能够在视觉上认识到用户B正在指示的对象被正确识别。此外，这同样适用于如图5B所示的情况：用户B朝向显示在桌面显示器133上的通信伙伴侧的图像(用户A侧的图像)进行指示动作，并且穿越画面将放置在通信伙伴侧的桌面上的真实物体20b识别为指示对象。信息处理设备10的显示控制单元105执行显示以在窗口显示器131上强调作为指示对象的真实物体20b(改变周围颜色、使其闪烁等)，并进一步显示连接作为指示对象的真实物体20b和用户B的指尖方向的线状图像30b。
注意，由用户指示的对象不限于穿越画面的对象，并且可以是位于本地侧的真实物体(放置在桌面显示器133上的对象)或虚拟物体(显示在桌面显示器133上的图像)。例如，如图6所示，在用户B正在指指放置在桌面显示器133上的真实物体20c的情况下，信息处理设备10的显示控制单元105可以在桌面显示器133上在作为指示对象的真实物体20c周围显示图像30c以强调真实物体20c。
<3-2.根据通信伙伴侧的指示动作的显示处理>
接下来，将参照图7描述在从通信伙伴侧(远程侧)穿越画面进行指示动作的情况下的显示处理。图7是示出根据本实施方式的在从通信伙伴侧(远程侧)穿越画面进行指示动作的情况下的显示处理的流程的示例的流程图。
如图7所示，首先，信息处理设备10的指示对象分析单元103基于从通信伙伴侧接收到的信息(指示对象信息)来分析在窗口显示器131上示出的通信伙伴正在穿越画面来指示的在本地侧的对象(步骤S203)。
接下来，信息处理设备10的指示体识别单元104从显示在窗口显示器131上的通信伙伴侧的图像中识别指示体(例如，指尖)的指示动作(步骤S206)。
然后，信息处理设备10的显示控制单元105执行控制以跨越窗口显示器131和桌面显示器133来显示连接所识别的指尖和指示对象的图像(步骤S209)。根据来自远程侧的这样的指示动作的显示的示例如图1所示出。具体地，如图1所示，在作为在窗口显示器131上显示的通信伙伴的用户B正在穿越画面(窗口显示器131)来指示在本地侧的真实物体20的情况下，信息处理设备10的显示控制单元105执行控制以跨越窗口显示器131和桌面显示器133来显示连接在窗口显示器131上示出的用户B的指尖和在本地侧的作为指示对象的(放置在桌面显示器133上的)真实物体20的图像30。因此，即使当从本地侧观看时，在远程侧的伙伴正在穿越画面来指示的方向偏离在本地侧的对象(真实物体20)，连接指尖和该对象的图像30的显示使得能够直观地掌握伙伴正在指示的对象。
<<4.其他显示示例>>
如上所述，在本实施方式中，显示将诸如在远程侧的人的指尖的指示体与指示对象连接的图像，以使得能够直观地掌握在远程侧的人所指示的对象。清楚地示出指示对象的显示的示例不限于以上描述的示例。也可以适当地指示盲区的位置和区域。以下将它们具体描述为其他显示示例。
<4-1.难以指示的位置的指示>
本实施方式使得能够指示难以实际指示的位置，具体地，例如，真实物体的背侧或同时指示多个对象。图8是示出根据本实施方式的从本地侧指示真实物体20d的背侧的显示的示例的图。如图8所示，例如，在用户A穿越窗口显示器131的画面来指示位于通信伙伴侧的真实物体20d的情况下，信息处理设备10将示出真实物体20d的相对侧和底侧的面(隐藏面)的图像210叠加显示在真实物体20d上，并且根据用户的指示方向来突出显示(例如，改变其颜色或使其闪烁)识别的对象(例如，背侧的侧面211)。此外，信息处理设备10的显示控制单元105显示从突出显示的侧面211朝向用户A的指尖延伸的线状图像30d。
这使得能够指示真实物体的不能实际指示的相对侧、底侧等。注意，图像210可以由信息处理设备10根据对象的形状来生成。例如，信息处理设备10可以从过去的图像中提取对象的背侧的捕获图像以进行显示(例如，如果用户B已经移动了真实物体20d并且背侧已经被成像)，或者可能示出从外观形状可想象的隐藏线。信息处理设备10可以根据用户指示(诸如特定姿态或语音)来确定是否显示示出这样的隐藏面的图像210。
此外，这样的真实物体(位于在窗口显示器131上显示的通信伙伴侧的真实物体)的相对侧、底侧等的指示不限于通过指示等的姿态。例如，可以组合使用通过语音的指示。具体地，例如，在指示(在窗口显示器131上显示的)真实物体的前面(可见侧)的同时，“背面”、“其背面”等的发声使得信息处理设备10能够执行对指示对象的位置的调整。信息处理设备10突出显示基于姿态和语音识别的指示对象的位置(例如，图8所示的侧面211)，以向用户反馈。
此外，如图8中所示的用于反馈的识别的侧面211的突出显示使得用户能够确认系统侧是否正确识别了指示对象。例如，如果用户A想要指示底面而不是侧面211，则用户A调整指示角度，使得底面被识别并被突出显示。
此外，信息处理设备10将指示对象(例如，正在指示的真实物体20d的侧面211)的识别结果作为指示对象信息发送至通信伙伴侧。
接下来，将参照图9描述在如上所描述的从本地侧穿越画面来指示真实物体的背侧的情况下从伙伴侧的观察。图9是示出根据本实施方式的在从通信伙伴侧(远程侧)穿越画面来指示真实物体20d的背侧的情况下的显示示例的图。
如图9所示，在信息处理设备10基于从通信伙伴侧接收到的指示对象信息分析出正在指示真实物体20d的侧面211的情况下，其执行控制以跨越窗口显示器131和桌面显示器133来显示连接在窗口显示器131上示出的用户A的指尖和位于本地侧的真实物体20d的侧面211的线状图像30e。线状图像30e的路线没有特别限制。例如，如图9所示，它可以围绕真实物体20d并到达侧面211。此外，信息处理设备10可以在桌面显示器133上围绕侧面211执行突出显示。可替选地，如果在周围设置有投影仪，则信息处理设备10可以通过例如通过投影仪将图像投影在真实物体20d的侧面211上来执行显示以强调指示对象。
此外，本实施方式还使得能够一次指示多个对象。例如，信息处理设备10可以基于用户的特定姿态、语音等来识别多个指示对象。在这种情况下，信息处理设备10显示例如连接多个对象中的每个对象和用户的指尖的线状图像。此外，在从远程端穿越画面来指示多个对象的情况下，信息处理设备10可以跨越窗口显示器131和桌面显示器133来显示连接多个对象中的每个对象和在窗口显示器131上示出的通信伙伴的指尖的线状图像。
<4-2.根据语音的指示对象区域的调整>
根据本实施方式的信息处理设备10可以根据用户发出的语音来调整指示对象区域。在上述实施方式的每一个中，以指示真实物体(整个真实物体或真实物体的一部分)的情况作为示例进行描述，但是本公开内容不限于此，并且还允许指示特定区域。在下文中，将参照图10给出描述。
图10是示出例如用户B结合语音来穿越画面指示特定区域的情况的图。信息处理设备10根据朝向窗口显示器131的用户的指示姿态和发出的语音的识别来识别指示对象，并且将识别结果反馈在窗口显示器131上。例如，如图10所示，在用户进行指示并发出“在那”的语音的情况下，信息处理设备10将相对窄的点识别为指示对象区域，并且在所识别的区域中显示图像301以进行反馈。此外，在用户进行指示并发出“在那附近”的语音的情况下，信息处理设备10将比“在那”的区域宽的区域识别为指示对象区域，并且在识别的区域中显示图像302以进行反馈。此外，在用户进行指示并发出“那个方向”的语音的情况下，信息处理设备10将比“在那附近”的区域宽的区域识别为指示对象区域，并且在识别的区域中显示图像303以进行反馈。因此，本实施方式使得能够根据作为示例的指示术语来调整指示对象区域的大小。
注意，在图10所示的示例中，通过语音调整位于通信伙伴侧的真实物体20f的一部分或其附近的区域，但是本实施方式不限于此，并且还使得能够指示在伙伴侧的桌面上的特定区域、在本地侧的桌面(桌面显示器133)上的特定区域或窗口显示器131上的特定区域，不论是否存在真实物体或虚拟物体。
此外，根据一个指示术语或多个指示术语的指示对象区域的大小可以由用户预先期望地设置。
<4-3.共享模式下的显示控制>
接下来，将描述在共享模式下根据指示动作的显示控制，在共享模式下，通信连接的两个人的桌面显示器133上的显示被共享。在共享模式下，例如，如图11所示，在通信连接的两个人的桌面显示器133(133A和133B)上显示相同的图像(虚拟物体22)(虚拟物体22的布置可以上下或左右反转)。当一侧控制虚拟物体22的显示位置等时，另一侧的相同虚拟物体22同样(实时)改变(该控制被反映在另一侧)。这使得远程位置的多个用户能够使用桌面显示器133来更有效地协作。
此外，在窗口显示器131上以未示出手边的桌面(即，在通信伙伴侧的桌面显示器133)的视角仅显示通信伙伴可以提供好像在围绕一个桌面(桌面显示器133)执行工作的感觉。
在这种情况下，相同的图像(虚拟物体)被显示在彼此的桌面显示器133上。因此，如果一个人指示位于该人的桌面上的对象，则从该通信伙伴侧观看时该人看起来并不在指示本地对象。因此，本实施方式执行图像处理以使得清楚地指出正在指示本地对象，从而即使在共享模式下也提供了逼真的指示动作。在下文中，将参照图12给出具体描述。
图12是示出根据本实施方式的用于在共享模式下明确指示对象的显示控制的图。
如图12的左侧所示，当窗口显示器131上示出的用户B正在指示用户B的桌面(用户B侧的桌面显示器133)上显示的虚拟物体时，手超出了视角，并且看起来并不在指示在本地侧(用户A侧)的虚拟物体。在共享模式下，相同的虚拟物体被显示在两个用户的桌面显示器133上。因此，当用户B正在指示在用户B的桌面上显示的虚拟物体时，优选的是用户B看起来正在指示在用户A侧的桌面上显示的相同虚拟物体(例如，虚拟物体22a)。
因此，如图12的右侧所示，由于用户的指尖(指示体)没有在窗口显示器131上的图像中示出，所以信息处理设备10叠加显示指示图像310，并且跨越窗口显示器131和桌面显示器133来显示连接指示图像310和作为指示对象的虚拟物体22a的线状图像30g。可以基于从通信伙伴侧接收到的指示对象信息来确定关于指示对象的信息。
这使得即使在共享模式下手和手下方的位置未被显示的情况下，也能够直观地掌握远程侧(通信伙伴侧)的用户正在指示什么。
<<5.总结>>
如上所述，根据本公开内容的实施方式的信息处理系统使得能够直观地掌握在通过图像进行通信时由通信伙伴指示的对象。
此外，在来自一侧的多个人分别穿越画面指示的情况下，可以同样地显示连接每个用户的指尖和对应的指示对象的图像。
尽管以上已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于示例。明显的是，本公开内容的技术领域中的普通技术人员可以在权利要求中描述的技术构思的范围内做出各种改变或修改。当然，这些改变或修改被认为属于本公开内容的技术范围。
例如，可以创建用于使得内置在以上描述的信息处理设备10中的硬件例如CPU、ROM和RAM实现信息处理设备10的功能的计算机程序。此外，提供其中存储有计算机程序的计算机可读存储介质。
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。也就是说，除上述效果以外或者代替上述效果，根据本公开内容的技术可以实现对于本领域技术人员而言根据本说明书的描述而是明显的其他效果。
注意，本技术还可以具有以下配置。
(1)
一种信息处理设备，包括：控制单元，所述控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，
所述控制单元进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
(2)
根据上述(1)所述的信息处理设备，其中，
所述控制单元显示连接所述指示体和所述对象的线状图像作为所述建立关联的图像。
(3)
根据上述(1)或(2)所述的信息处理设备，其中，所述指示体是所述人的手指。
(4)
根据上述(1)至(3)中任一项所述的信息处理设备，其中，
所述控制单元显示线状图像，所述线状图像连接在显示所述捕获图像的所述显示单元上示出的通信伙伴正用手指的指尖和所述通信伙伴指示的所述对象。
(5)
根据上述(1)至(4)中任一项所述的信息处理设备，其中，
所述对象是真实物体，并且
所述控制单元执行控制以跨越所述真实物体被放置的第二显示单元和所述捕获图像被显示的第一显示单元来显示连接所述指示体和所述真实物体的线状图像。
(6)
根据上述(1)至(4)中任一项所述的信息处理设备，其中，
所述对象是真实物体，并且
所述控制单元执行控制，以通过投影仪投影连接所述真实物体被放置的位置的线状投影图像，所述线状投影图像连接至所述捕获图像被显示的所述显示单元上的连接所述指示体和所述对象的线状显示图像。
(7)
根据上述(1)至(4)中任一项所述的信息处理设备，其中，
所述对象是虚拟物体，并且
所述控制单元执行控制，以跨越所述虚拟物体被显示的第二显示单元和所述捕获图像被显示的第一显示单元来显示连接所述指示体和所述虚拟物体的线状图像。
(8)
根据上述(1)至(7)中任一项所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象。
(9)
根据上述(1)至(8)中任一项所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象，并且
所述控制单元执行控制，以在所述指示体未被显示在所述显示单元上的情况下，叠加显示所述指示体的虚拟图像，并且显示连接所述虚拟图像的指示体和所确定的对象的线状图像。
(10)
根据上述(1)至(9)中任一项所述的信息处理设备，其中，
所述控制单元在所述显示单元上示出的所述通信伙伴侧的对象上叠加显示虚拟图像，所述虚拟图像示出所述对象的隐藏面，并且
所述控制单元基于用户的针对所述虚拟图像的指示动作来确定由所述用户指示的面。
(11)
根据上述(1)至(10)中任一项所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象的面，并且
所述控制单元显示连接在所述显示单元上示出的所述通信伙伴使用的所述指示体和所确定的所述对象的面的线状图像。
(12)
根据上述(1)至(11)中任一项所述的信息处理设备，其中，
所述控制单元基于用户的指示动作来确定所述用户指示的对象。
(13)
根据上述(12)所述的信息处理设备，其中，
所述显示单元执行清楚地示出所确定的对象的显示。
(14)
根据上述(12)或(13)所述的信息处理设备，其中，
所述显示单元还基于所述用户的语音来确定所述用户指示的对象区域。
(15)
一种信息处理方法，包括：
通过处理器控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像；以及
通过所述处理器进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
(16)
一种用于使计算机作为控制单元起作用的程序，所述控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，
所述控制单元进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
附图标记列表
1 信息处理系统
3 网络
10 信息处理设备
20 真实物体
22 虚拟物体
100 控制单元
101 输入信息识别单元
102 指示对象识别单元
103 指示对象分析单元
104 指示体识别单元
105 显示控制单元
106 语音输出控制单元
110 通信单元
120 输入单元
121 传感器单元
123 摄像机
125 麦克风
130 输出单元
131 窗口显示器
133 桌面显示器
135 扬声器
140 存储单元

Claims (16)

1.一种信息处理设备，包括：控制单元，所述控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，
所述控制单元进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
2.根据权利要求1所述的信息处理设备，其中，
所述控制单元显示连接所述指示体和所述对象的线状图像作为所述建立关联的图像。
3.根据权利要求1所述的信息处理设备，其中，所述指示体是所述人的手指。
4.根据权利要求1所述的信息处理设备，其中，
所述控制单元显示线状图像，所述线状图像连接在显示所述捕获图像的所述显示单元上示出的通信伙伴正用手指的指尖和所述通信伙伴指示的所述对象。
5.根据权利要求1所述的信息处理设备，其中，
所述对象是真实物体，并且
所述控制单元执行控制以跨越所述真实物体被放置的第二显示单元和所述捕获图像被显示的第一显示单元来显示连接所述指示体和所述真实物体的线状图像。
6.根据权利要求1所述的信息处理设备，其中，
所述对象是真实物体，并且
所述控制单元执行控制，以通过投影仪投影连接所述真实物体被放置的位置的线状投影图像，所述线状投影图像连接至所述捕获图像被显示的所述显示单元上的连接所述指示体和所述对象的线状显示图像。
7.根据权利要求1所述的信息处理设备，其中，
所述对象是虚拟物体，并且
所述控制单元执行控制，以跨越所述虚拟物体被显示的第二显示单元和所述捕获图像被显示的第一显示单元来显示连接所述指示体和所述虚拟物体的线状图像。
8.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象。
9.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象，并且
所述控制单元执行控制，以在所述指示体未被显示在所述显示单元上的情况下，叠加显示所述指示体的虚拟图像，并且显示连接所述虚拟图像的指示体和所确定的对象的线状图像。
10.根据权利要求1所述的信息处理设备，其中，
所述控制单元在所述显示单元上示出的所述通信伙伴侧的对象上叠加显示虚拟图像，所述虚拟图像示出所述对象的隐藏面，并且
所述控制单元基于用户的针对所述虚拟图像的指示动作来确定所述用户指示的面。
11.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于从所述通信伙伴侧接收到的指示对象信息，确定在所述显示单元上示出的通信伙伴指示的位于本地侧的对象的面，并且
所述控制单元显示连接在所述显示单元上示出的所述通信伙伴使用的所述指示体和所确定的所述对象的面的线状图像。
12.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于用户的指示动作来确定所述用户指示的对象。
13.根据权利要求12所述的信息处理设备，其中，
所述显示单元执行清楚地示出所确定的对象的显示。
14.根据权利要求12所述的信息处理设备，其中，
所述显示单元还基于所述用户的语音来确定所述用户指示的对象区域。
15.一种信息处理方法，包括：
通过处理器控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像；以及
通过所述处理器进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
16.一种用于使计算机作为控制单元起作用的程序，所述控制单元控制双向通信，以在显示单元上显示从通信伙伴侧获取的通信伙伴侧空间的捕获图像，
所述控制单元进行控制以显示将一侧的人使用的指示体与所述人指示的对象建立关联的图像。
CN201980034766.2A 2018-05-31 2019-03-22 信息处理设备、信息处理方法和计算机可读介质 Active CN112166601B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018104642A JP2021141346A (ja) 2018-05-31 2018-05-31 情報処理装置、情報処理方法、およびプログラム
JP2018-104642 2018-05-31
PCT/JP2019/012156 WO2019230155A1 (ja) 2018-05-31 2019-03-22 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN112166601A true CN112166601A (zh) 2021-01-01
CN112166601B CN112166601B (zh) 2023-09-15

Family

ID=68697441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034766.2A Active CN112166601B (zh) 2018-05-31 2019-03-22 信息处理设备、信息处理方法和计算机可读介质

Country Status (6)

Country Link
US (1) US11307670B2 (zh)
EP (1) EP3806454A4 (zh)
JP (1) JP2021141346A (zh)
KR (1) KR20210015780A (zh)
CN (1) CN112166601B (zh)
WO (1) WO2019230155A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377487A (zh) * 2012-04-11 2013-10-30 索尼公司 信息处理设备、显示控制方法以及程序
CN104571604A (zh) * 2013-10-24 2015-04-29 富士通株式会社 信息处理设备及方法
WO2018074262A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 通信装置および通信方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245207A (ja) 1993-02-16 1994-09-02 Nippon Telegr & Teleph Corp <Ntt> 投影機能を有するテレビ電話装置
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2006041884A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7474983B2 (en) * 2005-01-05 2009-01-06 Massachusetts Institute Of Technology Method for object identification and sensing in a bounded interaction space
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9491418B2 (en) * 2012-11-15 2016-11-08 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
JP5877824B2 (ja) 2013-09-20 2016-03-08 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
US9883138B2 (en) * 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
US10684707B2 (en) 2014-06-25 2020-06-16 Sony Corporation Display control device, display control method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377487A (zh) * 2012-04-11 2013-10-30 索尼公司 信息处理设备、显示控制方法以及程序
CN104571604A (zh) * 2013-10-24 2015-04-29 富士通株式会社 信息处理设备及方法
WO2018074262A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 通信装置および通信方法、並びにプログラム

Also Published As

Publication number Publication date
KR20210015780A (ko) 2021-02-10
US11307670B2 (en) 2022-04-19
EP3806454A4 (en) 2021-08-04
WO2019230155A1 (ja) 2019-12-05
JP2021141346A (ja) 2021-09-16
EP3806454A1 (en) 2021-04-14
CN112166601B (zh) 2023-09-15
US20210208687A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
CN106575194B (zh) 信息处理设备和控制方法
JP5260643B2 (ja) ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US10254847B2 (en) Device interaction with spatially aware gestures
JP4907483B2 (ja) 映像表示装置
US8416189B2 (en) Manual human machine interface operation system and method thereof
WO2012046432A1 (en) Information processing apparatus, information processing system and information processing method
US20210006749A1 (en) Information processing apparatus, information processing method, and program
JP2012238293A (ja) 入力装置
US10437415B2 (en) System, method, and device for controlling a display
CN112166601B (zh) 信息处理设备、信息处理方法和计算机可读介质
US20130187890A1 (en) User interface apparatus and method for 3d space-touch using multiple imaging sensors
US10593077B2 (en) Associating digital ink markups with annotated content
US20190035126A1 (en) Body information analysis apparatus capable of indicating blush-areas
CN106095088B (zh) 一种电子设备及其图像处理方法
Shi et al. Helping people with ICT device control by eye gaze
CN112445328A (zh) 映射控制方法及装置
WO2023286316A1 (ja) 入力装置、システム、および制御方法
TW201925989A (zh) 互動系統
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
JP2020149336A (ja) 情報処理装置、表示制御方法、及びプログラム
KR20160045945A (ko) 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치
JP2022078778A (ja) 情報処理装置、表示システム、情報処理方法およびプログラム
JP2021131521A (ja) 表示制御装置、表示制御方法およびプログラム
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant