CN103125115A - 信息处理装置、信息处理系统和信息处理方法 - Google Patents

信息处理装置、信息处理系统和信息处理方法 Download PDF

Info

Publication number
CN103125115A
CN103125115A CN2011800468849A CN201180046884A CN103125115A CN 103125115 A CN103125115 A CN 103125115A CN 2011800468849 A CN2011800468849 A CN 2011800468849A CN 201180046884 A CN201180046884 A CN 201180046884A CN 103125115 A CN103125115 A CN 103125115A
Authority
CN
China
Prior art keywords
image
user
point
objects
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800468849A
Other languages
English (en)
Inventor
阪井佑介
近藤真生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103125115A publication Critical patent/CN103125115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

信息处理装置可以包括在捕获图像中检测指向对象的检测单元和基于该检测单元对指向对象的检测而生成指向信息的生成单元。指向信息可以指示使用基于捕获图像中的用户设置的可指向范围确定的指向对象的位置。该装置可以进一步包括将指向信息传输到外部装置的通信单元。

Description

信息处理装置、信息处理系统和信息处理方法
对相关申请的交叉引用
本申请要求于2010年10月4日向日本专利局提交的日本专利申请第2010-224959号的优先权，其整体内容通过引用合并于此。
技术领域
本公开涉及信息处理装置、信息处理系统和信息处理方法。
背景技术
在相关领域中，已知电视会议系统，其在多个远距离用户终端之间传输并接收图像和音频声音。由此，在电视会议中存在如下的一些情况：参照在多个用户终端上显示的公共图像信息，传输并接收图像和音频声音。
发明内容
技术问题
当用户对其他用户在图像信息上指向任意位置时，操作用户终端以在指向位置上显示标记或者用音频声音提示指向位置。因而，存在如下情况：用户费力地对其他用户指向图像信息上的任意点。
因此，本公开提供信息处理装置、信息处理系统和信息处理方法，其可以轻易地对其他用户在图像信息上指向任意点。
解决方案
依据实施例，信息处理装置可以包括在捕获图像中检测指向对象的检测单元和基于该检测单元对指向对象的检测而生成指向信息的生成单元。指向信息可以使用指示基于捕获图像中的用户设置的可指向范围确定的指向对象的位置。装置可以进一步包括将指向信息传输到外部装置的通信单元。
依据另一实施例，信息处理装置可以包括从外部装置接收包括捕获图像中的指向对象的信息的指向信息的通信单元。该指向信息可以使用指示基于捕获图像中的用户设置的可指向范围确定的指向对象的位置。该装置可以进一步包括控制在与叠加在内容图像上的指向信息对应的指向图像的显示屏幕上的显示的生成单元。
发明的有益效果
本公开可以提供信息处理装置、信息处理系统和信息处理方法，其可以轻易地对其他用户指向图像信息上的任意点。
附图说明
图1是图示根据本公开的实施例的电视会议系统的配置的框图。
图2是图示显示系统的配置的视图。
图3是图示信息处理装置的硬件配置的框图。
图4是图示电视会议系统的基本操作的过程的流程图（1/2）。
图5是图示电视会议系统的基本操作的过程的流程图（2/2）。
图6A是图示生成包括用户的指向图像的叠加图像的示例的视图。
图6B是图示生成包括用户的指向图像的叠加图像的示例的视图。
图6C是图示生成包括用户的指向图像的叠加图像的示例的视图。
图6D是图示生成包括用户的指向图像的叠加图像的示例的视图。
图7A是在显示装置前方的用户位置和指向图像的叠加位置之间的关系的视图。
图7B是在显示装置前方的用户位置和指向图像的叠加位置之间的关系的视图。
图8是图示生成叠加图像的示例的视图（1/4）。
图9是图示生成叠加图像的示例的视图（2/4）。
图10是图示生成叠加图像的示例的视图（3/4）。
图11是图示生成叠加图像的示例的视图（4/4）。
图12A是图示生成包括多个用户的指向图像的叠加图像的示例的视图。
图12B是图示生成包括多个用户的指向图像的叠加图像的示例的视图。
图12C是图示生成包括多个用户的指向图像的叠加图像的示例的视图。
图13A是图示生成包括多个用户的指向图像的叠加图像的修改示例的视图。
图13B是图示生成包括多个用户的指向图像的叠加图像的修改示例的视图。
图13C是图示生成包括多个用户的指向图像的叠加图像的修改示例的视图。
图14是图示可指向范围的设置示例的视图。
图15A是图示基于可指向范围的指向操作的示例的视图。
图15B是图示基于可指向范围的指向操作的示例的视图。
图16A是图示基于可指向范围的指向操作的另一示例的视图。
图16B是图示基于可指向范围的指向操作的又一示例的视图。
图17是图示包括不同模式的指向图像的叠加图像的示例的视图（1/2）。
图18A是图示包括不同模式的指向图像的叠加图像的示例的视图（2/2）。
图18B是图示包括不同模式的指向图像的叠加图像的示例的视图（2/2）。
图19是图示电视会议系统的另一配置的框图。
具体实施方式
以下，将参考附图详细地描述本公开的优选实施例。注意，在此说明书和附图中，用相同的附图标记表示具有基本相同功能和结构的结构要素，并且省略这些结构要素的重复说明。
图1是图示根据本公开的实施例的电视会议系统（信息处理系统）的配置的框图。如图1所示，电视会议系统包括包含显示系统100和连接到显示系统100的信息处理装置200的多个用户终端。如图2所示，显示系统100包括诸如显示器或投影仪之类的显示装置102、诸如视频相机或静态相机之类的图像捕获装置104以及扬声器和麦克风等（未示出）。
例如，由用户A应用的第一用户终端包括显示系统100和信息处理装置200。由多个其他用户应用的第二用户终端包括显示系统400和信息处理装置500。由另一用户应用的第三用户终端包括显示系统600和信息处理装置700。多个用户终端通过包括通信服务器300的通信线800连接。
显示装置102显示内容图像IC，且图像捕获装置104捕获位于显示装置102的前方的用户的图像。内容图像IC是包括文字、图片、人物、图像或这些的组合的任意图像，并且被显示在显示装置102的显示屏幕上的任意图像上。显示装置102的前方指的是显示装置102的显示屏幕的前方。
信息处理装置200包括捕获图像输入单元202、检测单元204、辨识单元206、镜像图像生成单元208、通信单元210、指向图像生成单元212、叠加图像生成单元214、显示控制单元216和存储单元218。
捕获图像输入单元202从图像捕获装置104接收捕获用户的捕获图像I1的输入。捕获图像输入单元202向检测单元204、镜像图像生成单元208和通信单元210供应捕获图像I1。捕获图像I1是捕获位于显示装置102前方的预定范围内（即，在图像捕获装置104的视角范围内）的对象的图像。尽管捕获图像I1是运动图像，但是取决于情况捕获图像I1可能是静态图像。用户通常注视在显示装置102上显示的内容图像IC。因此，捕获图像I1通常包括从接近前方捕获用户的脸部F的图像。
检测单元204从捕获图像I1检测用户的脸部F，并且从检测结果生成在捕获图像I1中指示脸部F的位置的位置信息。检测单元204从捕获图像I1选择性地检测用户用来指向任意位置的指向对象H，并且从检测结果生成指示在捕获图像I1中的指向对象H的位置的位置信息。检测单元204向辨识单元206、通信单元210和指向图像生成单元212供应检测结果，并且向通信单元210和指向图像生成单元212供应位置信息。检测单元204基于在例如存储单元218中存储的特征量信息使用公共图像检测技术，检测用户的脸部F和指向对象H。指向对象H指的是诸如用户的手指、手掌、手背或通常用来指向任意位置的指向杆之类的身体的部分或工具。
辨识单元206从脸部F的检测结果辨识用户并且选择性地从指向对象H的检测结果辨识指向对象H的形状。辨识单元206向通信单元210和指向图像生成单元212供应辨识结果。辨识单元206基于在例如存储单元218中存储的辨识信息使用通用图像辨识技术，辨识指向对象H的用户和形状。指向对象H的形状指的是手的形状或用户的手的朝向，且被用于确定指向图像I3的显示模式，尽管在下面描述。另外，如果用户和指向对象H未辨识到，则辨识单元206可以移除。
镜像图像生成单元208从捕获图像I1生成镜像图像I2以向指向图像生成单元212供应。镜像图像生成单元208也生成另一用户的捕获图像I1的镜像图像I2。镜像图像I2指的是图像是捕获图像I1的左和右被翻转的镜像图像。
通信单元210用作通过通信线800向其他用户终端传输用户的捕获图像I1、检测结果、辨识结果和位置信息的传输单元。进一步，通信单元210用作通过通信线800从另一用户终端接收另一用户的捕获图像I1、检测结果、辨识结果和位置信息的接收单元。通信单元210编码从捕获图像输入单元202供应的捕获图像I1以传输，并且解码所接收的编码数据为捕获图像I1以向镜像图像生成单元208供应。
指向图像生成单元212基于检测结果、辨识结果、位置信息和镜像图像I2生成指向图像I3以向叠加图像生成单元214供应。指向图像生成单元212也生成另一用户的捕获图像I1的指向图像I3。指向图像生成单元212使用在存储单元218中存储的用户身份信息选择性地生成指向图像I3。
指向图像I3包括使得用户借助于指向对象H指向的指向位置被指定的信息以及使得用户被识别的信息。使得指向图像被指定的信息指的是例如在捕获图像I1中包括的指向对象H的图像和示出从指向对象H的检测结果中指定的指向位置的图像。使得用户被识别的用户的信息指的是例如在捕获图像I1中包括的用户脸部F的图像以及分配给用户的身份信息（例如，用户的名字和人物）。进一步，指向图像I3的细节将在下面描述。
叠加图像生成单元214基于内容IC、指向图像I3和位置信息生成叠加图像I4以向显示控制单元216供应。叠加图像生成单元214可以生成包括用户和另一用户的指向图像I3的叠加图像I4，并且可以取决于情况生成仅包括另一用户的指向图像I3的叠加图像I4。叠加图像I4指在其中指向图像I3基于位置信息叠加在在显示装置102上显示的内容图像IC上的图像。此外，叠加图像I4的细节将在下面描述。
显示控制单元216在显示装置102上显示内容图像IC。进一步，显示控制单元216使得显示装置在102显示在其中在内容图像IC上叠加指向图像I3的叠加图像I4。存储单元218存储用来检测用户脸部F和指向对象H的特征量信息。存储单元218存储用来辨识用户和指向对象H的形状的辨识信息。存储单元218存储例如用来生成指向图像I3（例如，示出指向位置和表示用户的人物的图像）和文字（例如，用户的名字）的图像。
另外，借助图1所示的配置，使用捕获图像I1检测和辨识图像。然而，取代捕获图像I1，可以使用镜像图像I2检测和辨识图像。在此情况下，准备用来检测和辨识图像的信息以匹配镜像图像I2。
进一步，借助图1所示的配置，检测结果、辨识结果和位置信息与捕获图像I1一起被传输到另一用户终端。然而，通过仅向另一用户终端传输捕获图像I1（或镜像图像I2），已经接收到捕获图像I1的用户终端可以检测和辨识图像并生成位置信息。进一步，通过仅向通信服务器300传输捕获图像I1（或镜像图像I2），已经接收到捕获图像I1（或镜像图像I2）的通信服务器300可以检测和辨识图像并生成位置信息，并且向其他用户终端传输处理结果。
图3是图示信息处理装置200的硬件配置的框图。如图3所示，信息处理装置200包括MPU230、ROM232、RAM234、存储介质236、输入/输出接口238、操作输入器件240、显示器件242、通信接口244和总线246。总线246连接MPU230、ROM232、RAM234、存储介质236、输入/输出接口238和通信接口244。
MPU230读取在例如ROM232、RAM234和存储介质236中存储的程序，在RAM234上展开程序并执行程序以控制信息处理装置200的操作。MPU230特别地用作检测单元204、辨识单元206、镜像图像生成单元208、指向图像生成单元212、叠加图像生成单元214和显示控制单元216。RAM234用作存储单元218。
输入/输出接口238例如输入数据到AV系统和从AV系统输出数据。输入/输出接口238特别地用作捕获图像输入单元202和显示控制单元216。操作输入器件240例如包括键盘、鼠标和触摸板，并且通过输入/输出接口238向MPU230供应通过器件输入的操作信息。显示器件242显示例如指示系统的操作状态的图像信息和文字信息。通信接口244通过通信线800传输和接收例如在通信服务器300与其他信息处理装置500及700之间的数据。通信接口244特别地用作通信单元210。
图4和图5是图示电视会议系统的基本操作的过程的流程图。图4和图5图示在公共内容图像IC显示在多个用户终端的状态下在内容图像IC上指向任意位置的过程。另外，在内容图像IC上指向任意位置的操作也称为“指向操作”。以下，尽管将描述在用户A的用户终端A与用户B的用户终端B之间进行指向操作的情况，但是将以相同的方式描述在三个或更多个用户终端之间进行指向操作的情况。
首先，用户终端A判定用户A是否选择了指向模式（步骤S100）。可以通过操作用户终端A来选择或通过输入预定手势来选择指向模式。当选择了指向模式时，用户终端A判定与另一用户终端（在此情况下，为用户终端B）建立网络连接（步骤S102）。进一步，如果未建立对网络的连接，则执行在步骤S108中的处理，而如果建立了对网络的连接，则执行在步骤S104中的处理。
首先，参考图6到图11，将描述当在步骤S102中判定未建立对网络的连接时的操作。图6A到图6D是图示生成包括用户的指向图像I3的叠加图像I4的示例的视图。另外，将以相同方式描述包括例如用户A的指向图像Ia3（下面描述）的叠加图像I4被生成的情况。
捕获图像输入单元202从图像捕获装置104接收捕获用户A的捕获图像I1（步骤S200）。该捕获图像I1是捕获位于显示装置102的前方的预定范围（即，在图像捕获装置104的视角范围）内的对象的图像。图6A图示示出包括在观众左侧的作为指向对象H的示例的手指和脸部F的用户的上身并示出背景图像的捕获图像I1的示例。
检测单元204从捕获图像I1检测用户A的脸部F，并且从检测结果生成在捕获图像I1上指示脸部F的位置的位置信息。辨识单元206从脸部F的检测结果选择性地辨识用户A。镜像图像生成单元208从捕获图像I1生成镜像图像I2（步骤S202）。镜像图像I2是作为在其中捕获图像I1的左和右被翻转的镜像图像的图像。图6B图示在图6A中图示的捕获图像I1的镜像图像I2。镜像图像I2包括包含在观众右侧的指向对象H和脸部F的用户的上身的图像和背景图像。
指向图像生成单元212基于检测结果位置信息和镜像图像I2生成指向图像I3（步骤S204）。指向图像I3是包括如下信息的图像：使得用户A借助于指向对象H指向的指向位置被指定的信息以及使得用户A被识别的信息。图6C图示从在图6B中图示的镜像图像I2生成的指向图像I3的示例。在图6C中图示的指向图像I3通过基于脸部F的位置信息从镜像图像I2指定用户的脸部F的周围区域来生成。指向图像I3通过基于镜像图像I2使得除了周围区域之外的图像透明并且通过剪去（clip）周围区域的图像来生成。
基于例如脸部F的位置信息将周围区域设为从脸部F的位置在上下左右方向上特定距离范围内的区域。例如，可以将周围区域设为具有与基于脸部F的位置的左右方向上两张脸部对应的宽度和与在上下方向上两张脸部F对应的高度的范围的区域。由用户终端或用户设置周围区域以包括指向对象H的图像以及脸部F的图像。
叠加图像生成单元214基于内容图像IC、指向图像I3和位置信息生成叠加图像I4（步骤S206）。显示控制单元216在显示装置102上显示叠加图像I4（步骤S208）。图6D图示叠加图像I4的示例，该叠加图像I4中在图6B中图示的指向图像I3叠加在内容图像IC上。借助在图6D中图示的叠加图像I4，通过匹配镜像图像I2的范围与内容图像IC的范围，基于脸部F的位置信息在内容图像IC上叠加指向图像I3。另外，借助叠加图像I4，在增加指向图像I3的显示透射度之后，可以在内容图像IC上叠加指向图像I3。
图7A和图7B是在显示装置102前方的用户位置和指向图像I3的叠加位置之间的关系的视图。如上所述，基于脸部F的位置信息，通过在内容图像IC上叠加从镜像图像I2生成的指向图像I3的生成叠加图像I4。因此，如图7A所示，当用户移动到显示装置102的前方的右侧时，在内容图像IC的右侧上叠加指向图像I3。与此对比，如图7B所示，当用户移动到显示装置102的前方的左侧时，在内容图像IC的左侧上叠加指向图像I3。
进一步，基本上通过匹配镜像图像I2（或捕获图像I1）的范围（即，图像捕获装置104的视角的范围）与内容图像IC的范围，生成叠加图像I4。然后，如图7A和图7B所示，当图像捕获装置104被排列在显示装置102的前方的中央并且图像捕获装置104的视角范围匹配内容图像IC的范围时，用户定位在叠加在内容图像IC上的指向图像I3的前方。
与此对比，如果图像捕获装置104的视角的范围是内容图像IC的范围的两倍，则当用户向右侧移动超过距离x时，指向图像I3向右侧移动超过距离x/2。进一步，如果图像捕获装置104的视角的范围是内容图像IC的范围的一半，则当用户向右侧移动超过距离x时，指向图像I3向右侧移动超过距离2x。
图8到图11是图示生成叠加图像I4的示例的视图。另外，在图8到图11中，用户A借助于用户A的手指（即指向对象H）指向在内容图像IC中包括的预定区域（在其中示出UFO图像的区域）。
类似于在图6D、图7A和图7B中图示的叠加图像I4，借助在图8中图示的叠加图像I4，在内容图像IC上叠加仅示出用户A的脸部F的周围区域的指向图像Ia3。同时，叠加图像I4也包括在周围区域中包括的背景图像。
借助在图9中图示的叠加图像I4，在内容图像IC上叠加在其中从镜像图像Ia2移除了背景图像的指向图像Ia3。通过基于用户A的脸部F的检测结果指定上身的区域、使得除了指定区域之外的区域透明并且剪去指定区域的图像来生成指向图像I3，该上身区域包括在镜像图像Ia2中包括的用户A的脸部F和指向对象H。
借助在图10中图示的叠加图像I4，在内容图像IC上叠加由从镜像图像Ia2指定的用户A的脸部F和指向对象H的区域的图像形成的指向图像Ia3。通过使得除了指定区域之外的区域透明并且剪去指定区域的图像来生成指向图像Ia3。通过从捕获图像Ia1检测用户A的脸部F和指向对象H并通过生成用户A的脸部F和指向对象H的位置信息来生成指向图像Ia3。
借助在图11中图示的叠加图像I4，在内容图像IC上叠加示出指向位置和指向图像Ia3的图像，该指向图像Ia3包括指示用户A的名字的文字。在此情况下，不对指向图像Ia3使用在镜像图像Ia2中包括的图像。通过从捕获图像Ia1检测用户A的脸部F和指向对象H并通过生成用户A的脸部F和指向对象H的位置信息来生成指向图像Ia3。进一步，从用户A的脸部F的检测结果辨识用户A，并且从存储单元218读取示出所辨识的用户A的名字的文字“用户A”。类似地，从指向对象H的检测结果辨识指向对象H的形状，并且从存储单元218读取匹配所辨识的指向对象H的形状的图像。
另外，指向图像Ia3可以包括分配给用户A的人物（例如，肖像），取代示出用户A的名字的文字，并且可以包括用户A的脸部F的区域的图像。进一步，指向图像Ia3可以包括指向对象H的区域的图像取代示出指向位置的图像。
接着，将描述当在步骤S102中判定建立了对网络的连接时的操作。用户终端A和B显示公共内容图像IC。用户终端A的通信单元210通过通信线800向用户终端B传输用户A的捕获图像Ia1、检测结果、辨识结果和位置信息（步骤S104）。进一步，用户终端A的通信单元210通过通信线800从用户终端B接收用户B的捕获图像Ib1、检测结果、辨识结果和位置信息（步骤S106）。通过这种方式，用户终端A获取用户B的捕获图像Ib1（步骤S200）。另外，也在用户终端B中进行相同的处理。
进一步，类似于用户A的捕获图像Ia1，镜像图像生成单元208从用户B的捕获图像Ib1中生成镜像图像Ib2（步骤S202）。类似于用户A的捕获图像Ia3，指向图像生成单元212基于检测结果、选择性辨识结果、位置信息和镜像图像Ib2生成用户B的指向图像Ib3（步骤S204）。叠加图像生成单元214基于内容图像IC、指向图像Ia3及用户A的位置信息和指向图像Ib3及用户B的位置信息生成叠加图像I4（步骤S206）。显示控制单元216在显示装置102上显示叠加图像I4（步骤S208）。另外，也在用户终端B中进行相同的处理。
图12A到图12C是图示生成包括用户A和B的指向图像Ia3和Ib3的叠加图像I4的示例的视图。图12A图示包括在观众左侧的用户A的手指H和脸部F的上身的图像，并图示包括背景图像的用户A的捕获图像Ia1的镜像图像Ia2。图12B图示包括在观众右侧的用户B的手指H和脸部F的上身的图像，并图示包括背景图像的用户B的捕获图像Ib1的镜像图像Ib2。
图12C图示叠加图像I4的示例，叠加图像I4中，在内容图像IC上叠加用户A和B的指向图像Ia3和Ib3。用户A的镜像图像Ia2包括在观众左侧的用户A的图像，而用户B的镜像图像Ib2包括在观众右侧的用户B的图像。因此，借助叠加图像I4，在观众左侧，在内容图像IC上叠加用户A的指向图像Ia3，并且在观众右侧，在内容图像IC上叠加用户B的指向图像Ib3。用户A和B的指向图像Ia3和Ib3包括使得每一个用户被识别的信息，并且可以轻易地使得每一个用户的指向位置被指定。
另外，在图12C中图示的叠加图像I4假定内容图像IC的宽度和用户A和B的镜像图像Ia2和Ib2的宽度相同的情况。进一步，尽管类似于在图8中图示的生成示例地生成在图12C中图示的叠加图像I4，但是可以类似于在图9到图11中图示的生成示例地生成叠加图像I4。
图13A到图13C是图示生成包括用户A和B的指向图像Ia3和Ib3的叠加图像I4的修改示例的视图。借助修改示例，假定用户A和B的指向图像Ia3和Ib3在内容图像IC上彼此重叠地叠加的情况。图13A图示用户A的镜像图像Ia2，包括在中央包括手指H和脸部F的上身的图像。图13B图示了用户B的镜像图像Ib2，包括在中央包括手指H和脸部F的上身的图像。
图13C图示了在内容图像IC上叠加用户A和B的指向图像Ia3和Ib3的叠加图像I4的示例。用户A的镜像图像Ia2包括在中央的用户A的图像，而用户B的镜像图像Ib2包括在中央的用户B的图像。因而，当类似于在图12C中图示的生成示例地生成叠加图像I4时，用户A和B的指向图像Ia3和Ib3彼此重叠，由此降低了可见度。因此，如图13C所示，通过增加用户A和/或B的指向图像Ia3和Ib3的显示透射度，抑制了彼此重叠地叠加的指向图像Ia3和Ib3在可见度上的降低。
在上面已经描述了图像捕获装置104的视角范围匹配内容图像IC的范围以生成叠加图像I4的情况。在此情况下，当视角的范围远宽于内容图像IC的范围或者用户的位置远远于图像捕获装置104时，迫使用户为指向操作而做出相对大的移动。因而，提出了基于用户的脸部F的位置设置用户可以指向而不移动的可指向范围，并且将可指向范围与内容图像IC的范围而不是视角的范围匹配以生成叠加图像I4。
图14是图示可指向范围的设置示例的视图。将在图14中图示的可指向范围设置为基于用户A的脸部F的位置在左臂伸展到左、左上或左下且右臂伸展到右、右上或右下的状态下可以由左手或右手的手指指向的范围。例如，借助在图14中图示的示例，将可指向范围设置为在用户A的脸部F的位置附近宽度L的范围。可指向范围可以通过使得用户A实际指向用户A将指向的范围并且检测指向该范围的指向对象H的区域Ha来设置。进一步，可以将可指向范围设置为具有基于用户A的脸部F的区域Fa的尺寸的与在左右方向上四个脸部F对应的宽度以及与在上下方向上两个脸部F对应的宽度的范围。
图15A和图15B是图示基于可指向范围的指向操作的示例的视图。图15A图示包括用户A和用户C的捕获图像I1的镜像图像I2。镜像图像I2在观众左侧包括捕获包括手指H和脸部F的上身的用户A的图像，并在观众右侧包括捕获包括手指H和脸部F的上身的用户C的图像。比用户A更远离图像捕获装置104地定位用户C。
在镜像图像I2上，示出表示检测用户A和C的脸部F和指向对象H的区域Fa、Ha、Fc和Hc的矩形框以及可指向范围Pa和Pc。另外，出于描述方便示出检测区域Fa、Ha、Fc和Hc的矩形框以及可指向范围Pa和Pc，以图示用户终端的处理取代镜像图像I2的图像形成部分。用户A可以通过在用户A的可指向范围Pa和镜像图像I2的范围内移动指向对象H进行指向操作。类似地，用户C可以通过在用户C的可指向范围Pc和镜像图像I2的范围内移动指向对象H来进行指向操作。
同时，用户A的可指向范围Pa和用户C的可指向范围Pc分别与内容图像IC的范围匹配。结果，用户A和C可以通过向用户A和C的可指向范围Pa和Pc中的任意位置移动指向对象H，来指向内容图像IC中的任意位置，而不在图像捕获装置104的视角范围内移动指向对象H。
图15B图示包括用户A和用户C的指向图像Ia3和Ic3的叠加图像I4的示例。借助在图15A中图示的镜像图像I2，用户A指向更靠近用户A的可指向区域Pa的中央的右边的位置，而用户C指向更靠近用户C的可指向区域Pc的中央的左边的位置。因此，借助叠加图像I4，用户A的指向图像Ia3更靠近内容图像IC的中央的右边地叠加，而用户C的指向图像Ic3更靠近内容图像IC的中央的左边地叠加。同时，用户A和用户C的指向图像Ia3和Ic3示出在用户A和C的可指向范围Pa和Pc中用户A和C指向的位置。
类似地，当用户A指向用户A的可指向范围Pa的右上角时，用户A的指向图像Ia3叠加在内容图像IC的右上角上，而当用户C指向用户C的可指向范围Pc的左下角时，用户C的指向图像Ic3叠加在内容图像IC的左下角上。另外，尽管与图11中图示的生成示例类似地生成在图15B中图示的叠加图像I4，但是可以与图10中图示的生成示例类似地生成叠加图像I4。
图16A和图16B是图示基于可指向范围的指向操作的其他示例的视图。类似于图15A，图16A图示捕获用户A和C的镜像图像I2。在镜像图像I2上，示出表示用户A的脸部F的检测区域Fa和Ha和指向对象H的矩形框以及可指向范围Pa。借助在图16A中图示的示例，通过从捕获图像I1检测用户A和C的脸部F并且比较所检测到的脸部F的区域Fa和Fc的尺寸，仅允许具有脸部F的大区域的用户A（即，最靠近图像捕获装置104的用户A）进行指向操作。
图16B图示包括用户A的指向图像Ia3的叠加图像I4的示例。借助在图16A中图示的镜像图像I2，用户A指向更靠近用户A的可指向范围Pa的中央的右边的位置。因此，借助叠加图像I4，用户A的指向图像Ia3更靠近内容图像IC的中央的右边地叠加。
另外，取代最靠近图像捕获装置104的用户，仅允许距图像捕获装置104最远的用户或者位于距图像捕获装置104足够距离的用户进行指向操作。进一步，当检测到多个脸部F时，仅允许位于距图像捕获装置104足够距离的预定数量的用户进行指向操作。
已经描述了通过检测指向对象H的位置的叠加图像I4的情况。顺便，用户希望取决于情况在内容图像IC上叠加不同模式的指向图像I3。因此，提出通过检测指向对象H的位置并辨识该指向对象H的形状，生成包括不同模式的指向图像I3的叠加图像I4。借此，通过改变指向图像I3的模式，可以例如向其他用户传输额外信息，并且由此改善关于指向操作的便利性。
图17到图18B是图示包括不同模式的指向图像I3的叠加图像I4的示例的视图。借助在图17中图示的示例，用户通过弯曲拇指和食指形成了一个环并且在显示装置102的前方从左向右移动该环画出一个波形。然后，用户终端辨识指向对象H的形状，并且根据匹配所辨识的形状的模式生成包括示出与用户对应的人物的指向图像I3的叠加图像I4。同时，指向图像I3根据使得人物的清晰辨识的模式示出人物。借助叠加图像I4，如图17中虚线所示，指向图像I3在内容图像IC上与指向对象H的移动关联地移动。
与此对比，借助图18A和图18B所示的示例，如图18A所示，用户在食指伸展的状态下，首先在显示装置102的前方从左至右移动食指，画出一个波形。然后，用户终端辨识指向对象H的形状，并且根据不同于图17的模式生成包括代表人物的指向图像I3的叠加图像I4。同时，指向图像I3根据不使得人物的清晰辨识的模式示出人物。
进一步，如图18B所示，用户移动指向对象H并随后通过弯曲拇指和食指形成环。然后，用户终端辨识指向对象H的形状的改变，并且根据与图17相同的模式生成包括代表人物的指向图像I3的叠加图像I4。另外，尽管在图17到图18B中描述的辨识两个不同形状的情况，但是可以辨识三个或更多个不同形状。
如上所述，借助根据本公开的实施例的电视会议系统，每一个用户终端从捕获图像I1检测用户的脸部F并且生成指示脸部F的位置的信息、生成指向图像I3（包括使得用户的指向位置能够被指定的信息以及用户的身份信息）并且生成叠加图像I4（在其中基于位置信息在内容图像IC上叠加指向图像I3）。进一步，向其他用户终端传输至少该捕获图像I1以在其他用户终端上显示相同的叠加图像I4。借此，在应用多个用户终端的用户之间，可以轻易地对其他用户在共同显示的内容信息上指向任意位置，而无复杂的操控或操作。
本领域技术人员应当明白，各种修改、组合、部分组合和变更可以取决于设计要求和其他因素而发生，只要它们处于所附权利要求或其等同的范围内。
例如，用以上实施例已经描述用户终端包括显示系统100和信息处理装置200的情况。然而，如图19所示，用户终端可以包括在其中安装显示系统100的配置的信息处理装置250。在此情况下，除了在图1中所示的信息处理装置200的配置之外，信息处理装置250还具有图像捕获单元252（图像捕获装置）和显示单元254（显示装置）。另外，可能以混合方式在电视会议系统中存在显示系统安装型信息处理装置和分离型信息处理装置。

Claims (13)

1.一种信息处理装置，包括：
检测单元，在捕获图像中检测指向对象；
生成单元，基于所述检测单元对指向对象的检测而生成指向信息，其中所述指向信息指示使用基于所述捕获图像中的用户设置的可指向范围确定的所述指向对象的位置；以及
通信单元，将所述指向信息传输到外部装置。
2.如权利要求1所示的装置，其中，所述指向信息包括与所检测的指向对象对应的捕获图像的部分。
3.如权利要求1所示的装置，其中，所述指向信息包括位置信息。
4.如权利要求1所示的装置，进一步包括：
图像捕获单元，捕获所述捕获图像。
5.如权利要求1所示的装置，其中，所述可指向范围是基于远离捕获所述捕获图像的图像捕获单元的用户的位置。
6.如权利要求1所示的装置，其中，所述检测单元检测所述指向对象的形状。
7.一种信息处理装置，包括：
通信单元，从外部装置接收包括捕获图像中的指向对象的信息的指向信息，其中，所述指向信息指示使用基于所述捕获图像中的用户设置的可指向范围确定的所述指向对象的位置；以及
生成单元，控制在与叠加在内容图像上的所述指向信息对应的指向图像的显示屏幕上的显示。
8.如权利要求7所示的装置，其中，所述指向信息包括与所述指向对象对应的所述捕获图像的部分，且将所述捕获图像的部分作为所述指向图像叠加。
9.如权利要求7所示的装置，其中，所述指向信息包括位置信息，且根据所述位置信息将确定为与所述指向对象对应的图像作为所述指向图像叠加。
10.如权利要求9所示的装置，其中，确定的图像是光标图像。
11.如权利要求7所示的装置，其中，所述指向信息指示所述指向对象的形状。
12.如权利要求11所示的装置，其中，所述指向图像依据所述指向对象的形状。
13.如权利要求11所示的装置，其中，所述指向图像基于所述指向对象指示与所述指向对象对应的用户。
CN2011800468849A 2010-10-04 2011-10-03 信息处理装置、信息处理系统和信息处理方法 Pending CN103125115A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010224959A JP5598232B2 (ja) 2010-10-04 2010-10-04 情報処理装置、情報処理システムおよび情報処理方法
JP2010-224959 2010-10-04
PCT/JP2011/005567 WO2012046432A1 (en) 2010-10-04 2011-10-03 Information processing apparatus, information processing system and information processing method

Publications (1)

Publication Number Publication Date
CN103125115A true CN103125115A (zh) 2013-05-29

Family

ID=45927439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800468849A Pending CN103125115A (zh) 2010-10-04 2011-10-03 信息处理装置、信息处理系统和信息处理方法

Country Status (8)

Country Link
US (2) US9013535B2 (zh)
EP (1) EP2586203A4 (zh)
JP (1) JP5598232B2 (zh)
KR (1) KR101797260B1 (zh)
CN (1) CN103125115A (zh)
BR (1) BR112013007715B1 (zh)
RU (1) RU2598598C2 (zh)
WO (1) WO2012046432A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
EP2853986B1 (en) * 2012-05-22 2020-09-23 Sony Corporation Image processing device, image processing method, and program
EP2919099B1 (en) * 2012-11-06 2020-04-15 Sony Interactive Entertainment Inc. Information processing device
JP6369101B2 (ja) * 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
CN104301660A (zh) * 2014-10-31 2015-01-21 四川量迅科技有限公司 一种便携式图像通信设备
CN110366849B (zh) * 2017-03-08 2022-02-11 索尼公司 图像处理设备和图像处理方法
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
JP6714942B1 (ja) * 2020-03-04 2020-07-01 フォクレット合同会社 コミュニケーションシステム、コンピュータプログラム、及び情報処理方法
FR3139685A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion des interventions de différents intervenants lors d’une présentation visualisée lors d’une visioconférence et dispositif pour sa mise en œuvre
FR3139684A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion d’une présentation et dispositif pour sa mise en œuvre

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
US20050197578A1 (en) * 2004-03-03 2005-09-08 Canon Kabushiki Kaisha Image display method, program, image display apparatus and image display system
CN101266529A (zh) * 2007-03-12 2008-09-17 精工爱普生株式会社 显示装置及电子设备
CN101739722A (zh) * 2008-11-14 2010-06-16 富士施乐株式会社 信息处理装置和信息处理系统
CN101810003A (zh) * 2007-07-27 2010-08-18 格斯图尔泰克股份有限公司 增强的基于相机的输入

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261920A (ja) * 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JP3267047B2 (ja) * 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5675361A (en) * 1995-08-23 1997-10-07 Santilli; Donald S. Computer keyboard pointing device
JP3877188B2 (ja) * 1997-04-10 2007-02-07 株式会社ウェブマネー 電子通貨システム
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
TW417404B (en) * 1998-02-03 2001-01-01 Seiko Epson Corp Projection display device and method therefor, and an image display device
JPH11345087A (ja) * 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
US6265993B1 (en) * 1998-10-01 2001-07-24 Lucent Technologies, Inc. Furlable keyboard
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
KR100329392B1 (ko) * 1999-01-04 2002-03-22 구자홍 기록 디지털 데이터 스트림의 탐색정보 기록방법 및 이를 이용한 탐색방법
US7454125B2 (en) * 1999-01-04 2008-11-18 Lg Electronics Inc. Method and apparatus for recording search information and searching for recorded digital data streams using the search information
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
AU2001227797A1 (en) * 2000-01-10 2001-07-24 Ic Tech, Inc. Method and system for interacting with a display
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
US6947073B1 (en) * 2000-04-14 2005-09-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for detecting a moving target
JP3539553B2 (ja) * 2000-05-30 2004-07-07 シャープ株式会社 アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US6910778B2 (en) * 2001-09-28 2005-06-28 Fujinon Corporation Presentation system using laser pointer
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
JP2003209821A (ja) * 2002-01-15 2003-07-25 National Institute Of Advanced Industrial & Technology 指示確認システム
WO2003063067A1 (en) * 2002-01-24 2003-07-31 Chatterbox Systems, Inc. Method and system for locating positions in printed texts and delivering multimedia information
WO2004081783A1 (ja) * 2003-03-14 2004-09-23 Fujitsu Limited ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
JP4103652B2 (ja) 2003-03-27 2008-06-18 日本電気株式会社 情報重畳表示装置、情報重畳表示方法、および、情報重畳表示プログラム
JP2004318793A (ja) * 2003-04-17 2004-11-11 Kenichi Horie 操作者頭部を基準とする情報端末
US7149353B2 (en) * 2003-09-23 2006-12-12 Amazon.Com, Inc. Method and system for suppression of features in digital images of content
EP1671235A4 (en) * 2003-09-23 2007-10-24 Amazon Com Inc CUSTOMIZED RESEARCH BANK WITH HIGH-PERFORMANCE CAPABILITIES FOR ACCESSING ELECTRONIC TEXT IMAGES ON THE BASIS OF MEMBERSHIP OF THE CORRESPONDING PHYSICAL TEXT
US7496560B2 (en) * 2003-09-23 2009-02-24 Amazon Technologies, Inc. Personalized searchable library with highlighting capabilities
JP2005117285A (ja) * 2003-10-07 2005-04-28 Hitachi Ltd 情報入力装置、通信端末及び通信方法
JP2005352580A (ja) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ ポインタ制御信号発生方法及び装置
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP4162015B2 (ja) 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
TW200802036A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Input method of a pointer input system
EP1868347A3 (en) * 2006-06-16 2010-07-14 Ericsson AB Associating independent multimedia sources into a conference call
US20070291108A1 (en) 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
US8791994B2 (en) * 2006-06-29 2014-07-29 Nikon Corporation Replay device, replay system, and television set
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US20080172627A1 (en) * 2006-12-28 2008-07-17 Sharp Kabushiki Kaisha Information display apparatus, information providing server, information display system, method for controlling information display apparatus, method for controlling information providing server, control program and recording medium
US7924273B2 (en) * 2006-11-06 2011-04-12 Toshiba Matsushita Display Technology Co., Ltd. Display apparatus with optical input function
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
US8985774B2 (en) * 2007-03-30 2015-03-24 National Institute Of Information And Communication Technology Floating image interaction device and its program
JP4867766B2 (ja) * 2007-04-05 2012-02-01 セイコーエプソン株式会社 液晶装置、イメージセンサ、及び電子機器
US20130187854A1 (en) * 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8089476B2 (en) * 2007-08-01 2012-01-03 Sony Corporation Liquid crystal device
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5294612B2 (ja) * 2007-11-15 2013-09-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想共有空間における参照マークの自動生成方法、装置及びプログラム
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
JP4958759B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR100952699B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉각센서를 이용한 터치스크린장치의 풀브라우징 표시방법
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
US8144241B2 (en) * 2008-04-04 2012-03-27 Sony Corporation Imaging apparatus, image processing apparatus, and exposure control method
US9563293B2 (en) 2008-04-09 2017-02-07 Hewlett-Packard Development Company, L.P. Remote-controlled pointing
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
JP2010011364A (ja) * 2008-06-30 2010-01-14 Canon Inc 画像出力システムおよびその制御方法、画像入力装置およびその制御方法、ならびに、画像出力装置およびその制御方法
FI20085794A0 (fi) * 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
KR100912109B1 (ko) * 2008-08-27 2009-08-13 왕상주 멀티미디어 컨텐츠를 송신하는 장치, 멀티미디어 컨텐츠를 중계하는 시스템 및 그 방법
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP2010098542A (ja) * 2008-10-16 2010-04-30 Sony Corp 情報処理装置、表示装置、および情報処理システム
JP5369702B2 (ja) * 2009-01-23 2013-12-18 セイコーエプソン株式会社 共有情報表示装置、共有情報表示方法およびコンピュータプログラム
JP5233708B2 (ja) * 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5113781B2 (ja) * 2009-02-17 2013-01-09 シャープ株式会社 テレビ電話装置
US20100278071A1 (en) * 2009-04-29 2010-11-04 Tomoki Hattori Method and apparatus for discovering a device on a network
JP5361567B2 (ja) * 2009-06-25 2013-12-04 キヤノン株式会社 データ処理装置、データ処理方法およびプログラム
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
US8264518B2 (en) * 2009-09-28 2012-09-11 Cisco Technology, Inc. Gesture-based actions in a video communication session
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
US8654103B2 (en) * 2010-02-09 2014-02-18 Multitouch Oy Interactive display
EP2579162B1 (en) * 2010-06-03 2016-12-07 Sony Interactive Entertainment Inc. Information processing device
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP5817400B2 (ja) * 2011-09-30 2015-11-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
EP2804372A4 (en) * 2012-01-13 2015-09-16 Sony Corp DATA PROCESSING DEVICE, METHOD FOR DATA PROCESSING, AND COMPUTER PROGRAM
JP6382721B2 (ja) * 2012-11-27 2018-08-29 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 表示装置及び表示方法、並びにコンピューター・プログラム
JP2014217032A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316510A (ja) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
US20050197578A1 (en) * 2004-03-03 2005-09-08 Canon Kabushiki Kaisha Image display method, program, image display apparatus and image display system
CN101266529A (zh) * 2007-03-12 2008-09-17 精工爱普生株式会社 显示装置及电子设备
CN101810003A (zh) * 2007-07-27 2010-08-18 格斯图尔泰克股份有限公司 增强的基于相机的输入
CN101739722A (zh) * 2008-11-14 2010-06-16 富士施乐株式会社 信息处理装置和信息处理系统

Also Published As

Publication number Publication date
US20150222851A1 (en) 2015-08-06
JP2012079167A (ja) 2012-04-19
RU2013113749A (ru) 2014-10-10
JP5598232B2 (ja) 2014-10-01
RU2598598C2 (ru) 2016-09-27
US9013535B2 (en) 2015-04-21
KR101797260B1 (ko) 2017-12-12
EP2586203A1 (en) 2013-05-01
US20130314489A1 (en) 2013-11-28
BR112013007715B1 (pt) 2021-09-21
EP2586203A4 (en) 2015-11-11
US9860484B2 (en) 2018-01-02
BR112013007715A2 (pt) 2016-08-09
KR20130115094A (ko) 2013-10-21
WO2012046432A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
CN103125115A (zh) 信息处理装置、信息处理系统和信息处理方法
US11320858B2 (en) Wearable devices for courier processing and methods of use thereof
KR101881925B1 (ko) 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치
US9563272B2 (en) Gaze assisted object recognition
CN103631768B (zh) 协作数据编辑和处理系统
CN104238872B (zh) 移动终端和控制移动终端的方法
US9729635B2 (en) Transferring information among devices using sensors
EP2418563A2 (en) User equipment, server, and method for selectively filtering augmented reality
US20120229509A1 (en) System and method for user interaction
KR20160001266A (ko) 이동단말기 및 그 제어방법
CN104423573A (zh) 显示装置及其操作方法
WO2013088637A2 (en) Information processing device, information processing method and program
KR20160087268A (ko) 이동 단말기 및 이의 제어방법
KR20120000418A (ko) 휴대 단말기 및 그 동작 방법
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
US10290120B2 (en) Color analysis and control using an electronic mobile device transparent display screen
KR20170073068A (ko) 이동단말기 및 그 제어방법
KR101838074B1 (ko) 단말기 및 그 제어 방법
US20090226101A1 (en) System, devices, method, computer program product
KR20160001229A (ko) 이동단말기 및 그 제어방법
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
KR20170043175A (ko) 더치페이 기능을 가지는 이동 단말기
KR20160071013A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
KR20180079051A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130529

RJ01 Rejection of invention patent application after publication