CN1981525B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN1981525B
CN1981525B CN200580022569.7A CN200580022569A CN1981525B CN 1981525 B CN1981525 B CN 1981525B CN 200580022569 A CN200580022569 A CN 200580022569A CN 1981525 B CN1981525 B CN 1981525B
Authority
CN
China
Prior art keywords
user
image
content
messaging device
indicant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200580022569.7A
Other languages
English (en)
Other versions
CN1981525A (zh
Inventor
斋藤直毅
阪井祐介
镰田干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1981525A publication Critical patent/CN1981525A/zh
Application granted granted Critical
Publication of CN1981525B publication Critical patent/CN1981525B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及允许相隔遥远的通话者视听同一内容、并指示内容图像上的任意位置的信息处理设备和方法、记录介质、以及程序。当用户A和B移动他们的指尖，使得他们的指尖指向用户想要在内容图像上指示的位置时，运动矢量被检测，并切出包含所检测到的位置的预定区域，并在内容图像中将其α混合成用户A的指示物(94)和用户B的指示物(95)。为了将从图像(91)切出的两个指示物对应于用户A和B，例如可在用户A和B的手指上安装了不同的赛博码(2维码)(101)。本发明可应用于例如远程位置之间的通信设备。

Description

信息处理设备和信息处理方法
技术领域
本发明涉及信息处理设备、信息处理方法、记录介质和程序。更具体地，本发明涉及用于与经由网络连接的另一信息处理设备再现同一内容并在所再现的内容的图像上显示所连接的设备的用户指向所显示的图像上的任意位置的指示物的信息处理设备、信息处理方法、记录介质和程序。
背景技术
存在允许相隔遥远的人彼此通信(被称之为远程通信)的电话、视频电话和视频会议系统。远程通信的其它方式包括使用个人计算机等设备连接至因特网以便以文本聊天或视频聊天模式通信，后一模式涉及视频和音频交换。
也提出了远程通信中的各方使用个人计算机等在因特网上在彼此之间共享虚拟空间和相同内容(歌曲、运动和静止图片)(例如，参见专利文献1)。
同时，存在允许通信各方指向所共享的内容图像上的特定位置或区域的技术。例如，CCD(电荷耦合器件)照相机等设备被用于检测通信方的手部运动，并且所检测到的运动被转换成诸如显示屏上的光标等指示物的移动(例如，见专利文献2)。
[专利文献1]日本特开第2003-271530号公报
[专利文献2]日本特开平8-44490号公报
发明内容
本发明解决的问题
在典型的远程通信设置中，通信各方要共享他们的体验或环境从而增强相互理解或放松的感觉是很困难的。结果，通信的语调往往显然是公事化甚至是尴尬的。因此难以实现使通信风格更活泼且更有感情。例如，通信方不能指向共享内容的图像上的特定位置或区域，并对不能更好地表达他们想要传达的意思而感到不快。
考虑以上状况进行了本发明，它提供允许相隔遥远的通信各方视听同一内容并指向所共享内容的显示图像上的任意位置的安排。
解决问题的手段
在实现本发明中，并根据本发明的一个实施例，提供了用于经由网络与另一信息处理设备通信的信息处理设备，该信息处理设备包括：再现装置，被配置成同步地再现与由另一信息处理设备再现的相同的内容数据；输入装置，被配置成输入通过对信息处理设备的用户成像而获取的第一用户图像；接收装置，被配置成接收通过对该另一信息处理设备的用户成像而获取且经由网络从该另一信息处理设备发来的第二用户图像；提取装置，被配置成从第一和第二用户图像的至少其中之一提取表示该用户指向图像上的任意位置的指示物；以及合成装置，被配置成将由提取装置提取的指示物合成到由再现装置同步再现的内容数据的图像上。
较佳地，合成装置可将由提取装置提取的指示物与用于标识指示物所表示的用户的信息一起合成到由再现装置同步再现的内容数据的图像上.
合成装置较佳地可通过将由提取装置提取的指示物α混合到由再现装置同步再现的内容数据的图像上来进行合成。
较佳地，信息处理设备还可包括运动矢量检测装置，它被配置成从第一和第二用户图像的至少其中之一检测运动矢量；其中提取装置可基于运动矢量提取指示物。
如果第一和第二用户图像的至少其中之一包括多个用户，则提取装置较佳地可提取表示这多个用户指向图像上的任意位置的多个指示物。
提取装置较佳地可使所提取的多个指示物与这多个用户之一相关联。
根据本发明的另一实施例，提供了供经由网络与另一信息处理设备通信的信息处理设备使用的信息处理方法，该信息处理方法包括以下步骤：同步再现与由该另一信息处理设备再现的相同的内容数据；输入通过对信息处理设备的用户成像而获取的第一用户图像；接收通过对该另一信息处理设备的用户成像而获取并经由网络从该另一信息处理设备发来的第二用户图像；从第一和第二用户图像的至少其中之一中提取表示用户指向图像上的任意位置的指示物；以及将在提取步骤中提取的指示物合成到再现步骤中同步再现的内容数据的图像上。
根据本发明的又一实施例，提供了以计算机可读的方式记录要在经由网络与另一信息处理设备通信的信息处理设备上执行的程序的记录介质，该程序包括以下步骤：同步再现与由该另一信息处理设备再现的相同的内容数据；输入通过对信息处理设备的用户成像而获取的第一用户图像；接收通过对该另一信息处理设备的用户成像而获取并经由网络从该另一信息处理设备发来的第二用户图像；从第一和第二用户图像的至少其中之一中提取表示用户指向图像上的任意位置的指示物；以及将在提取步骤中提取的指示物合成到在再现步骤中同步再现的内容数据的图像上。
根据本发明的又一实施例，提供了供与经由网络与另一信息处理设备通信的信息处理设备一起工作的计算机使用的程序，该程序使得计算机执行包括以下步骤的处理：同步再现与由该另一信息处理设备再现的相同的内容数据；输入通过对信息处理设备的用户成像而获取的第一用户图像；接收通过对该另一信息处理设备的用户成像而获取并经由网络从另一信息处理设备发来的第二用户图像；从第一和第二用户图像的至少其中之一提取表示用户指向图像上的任意位置的指示物；以及将在提取步骤中提取的指示物合成到在再现步骤中同步再现的内容数据的图像上。
根据本发明，如上概述，从第一和第二用户图像的至少其中之一提取表示用户指向任意的位置的指示物，第一和第二用户图像中的一个示出一个信息处理设备的用户，另一个示出另一信息处理设备的用户。所提取的指示物被合成到正由这两个设备同步再现的内容的图像上。
发明效果
使用以上发明性的安排，相隔遥远的通信各方可视听正被显示的同一内容，并可指向内容图像上的任意位置。
附图说明
图1是示出根据本发明的通信系统的典型配置的示意图。
图2A是给出内容和用户图像表示的示意图。
图2B是给出另一内容和用户图像表示的示意图。
图2C是给出另一内容和用户图像表示的示意图。
图3A是示出内容和用户的合成图像的示意图。
图3B是示出另一内容和用户合成图像的示意图。
图3C是示出另一内容和用户合成图像的示意图。
图4是示出图1中所包括的通信设备的典型结构的框图。
图5是构成通信设备所执行的远程通信处理的步骤的流程图。
图6A是概括第一情况的指向处理的示例性视图。
图6B是概括第一情况的指向处理的另一示例性视图。
图6C是概括第一情况的指向处理的另一示例性视图。
图7A是概括第二情况的指向处理的示例性视图。
图7B是概括第二情况的指向处理的另一示例性视图。
图7C是概括第二情况的指向处理的另一示例性视图。
图7D是概括第二情况的指向处理的另一示例性视图。
图8A是概括第三情况的指向处理的示例性视图。
图8B是概括第三情况的指向处理的另一示例性视图。
图8C是概括第三情况的指向处理的另一示例性视图。
图9是示出用于识别用户的典型赛博码(Cyber Code)的示意性视图。
图10是构成第三情况的指示处理的步骤的流程图。
图11是示出通用个人计算机的典型结构的框图。
对参考标号的说明
在以下描述中，参考标号1代表通信设备；2代表通信网络；3代表内容供给服务器；4代表认证服务器；5代表广播设备；6代表标准时刻信息供给设备；21代表输出部分；22代表显示器；23代表扬声器；24代表输入部分；25代表相机；26代表话筒；27代表传感器；28代表通信部分；29代表广播接收器部分；30代表内容再现部分；31代表图像声音合成部分；32代表存储部分；33代表内容；34代表合成信息；35代表图像分析部分；36代表镜像生成单元；37代表指示物检测单元；38代表运动矢量检测单元；39代表匹配单元；40代表通信环境检测部分；41代表标准时刻计时部分；42代表操作输入部分；43代表控制部分；44代表会话管理单元；45代表视听记录级别设置单元；46代表再现同步单元；47代表合成控制单元；48代表再现许可单元；49代表记录许可单元；50代表操作信息输出单元；51代表电子设备控制单元；200代表个人计算机；201代表CPU；以及211代表记录介质。
具体实施方式
图1示出了根据本发明的通信系统的典型配置.在该通信系统中，通信设备1-1经由通信网络2被连接至另一通信设备1(即，图1中的通信设备1-2).这两个设备以视频电话方式在彼此之间传递其用户的语音和图像，并同步再现共有的内容(例如，TV广播节目、之前下载的电影、在用户之间私下交换的运动和静止图像)，从而支持相隔遥远的用户之间的通信.在以下描述中，如果不需要区分彼此，则两个通信设备1-1和1-2将被统称为通信设备1.
多个用户可利用通信设备1。例如，图1中的通信设备1-1由用户A和B使用，而通信设备1-2由用户X使用。
例如，假定给定如图2A中所示的共有内容、出现如图2B中所示的由通信设备1-1拾取的用户A的图像、以及提供了如图2C中所示的由通信设备1-2拾取的用户X的图像。在这些假定下，通信设备1-1的显示器22(图4)以如图3A中所示的画中画(picture-in-picture)模式、以如图3B中所示的交叉淡化(cross fade)模式或以如图3C中所示的划变(wipe)模式显示内容和用户的合成图像。
在图3A的画中画模式中，小的用户图像被作为屏幕重叠在内容图像上。小屏幕的位置和大小是可任意改变的。可显示两个图像，即用户A的图像或通信相对方(用户X)的图像中的任一个来代替同时显示这两个图像。作为另一替换方案，内容图像可被安排成以所谓的α混合模式透过用户的小屏幕显现。
在图3B的交叉淡化模式中，用户图像(用户A或X的图像)被示为与内容图像α混合。这样的交叉淡化模式可例如在用户指向内容图像上的特定位置或区域时使用。
在图3C的划变模式中，用户图像以在预定方向上划变内容图像的方式显现。
如有需要，可改变将内容和用户图像的合成方式。也可采用除上述以外的其它合适的模式来显示内容和用户图像。
将内容和用户的图像和声音合成的方式被记录为合成信息34(图4)。例如，对画中画模式、交叉淡化模式和划变模式之间的区别、画中画模式中子屏幕的大小和位置、采用交叉淡化的经α混合的图像中的透明度、以及使用的音量进行记录。
回到图1，通信网络2是诸如因特网等广域数据通信网络。相应于来自通信设备1的请求，内容供给服务器3经由通信网络2将内容提供给通信设备1。认证服务器4在通信设备1的用户利用该通信系统时执行认证、收费和其它处理。
广播设备5广播诸如电视节目等内容。每一通信设备1被设计成同步接收和再现由广播设备5发送的内容。内容可由广播设备5以有线或无线方式向通信设备1广播。这样的广播可替换地使用通信网络2执行。
标准时刻信息供给设备6广播用于同步通信设备1的内部时钟(即，图4的标准时刻计时部分41)的标准时刻信息(例如，世界标准时、日本标准时刻等)。标准时刻信息可由标准时刻信息供给设备6以有线或无线方式向通信设备1广播。这样的广播可替换地使用通信网络2执行。
现在将参考图4对通信设备1-1的典型结构进行详细说明。
在通信设备1-1中，输出部分21由显示器22和扬声器23构成。输出部分21从图像声音合成部分31输入图像和声音信号，并输出与输入的图像和声音信号对应的图像和声音。
输入部分24由用于拾取用户图像(运动或静止图像)的相机25、用于拾取用户声音的话筒26以及用于检测关于用户的周围环境信息(亮度、温度、湿度等)的传感器27构成.输入部分24将所获取的运动图像、声音和环境信息转换成关于用户的实时(RT)数据，并将该数据输出到通信部分28和存储部分32.相机25能够测量到所成像的对象(即用户)的距离.输入部分24还将所获取的用户图像和声音输出到图像声音合成部分31.而且，输入部分24将所获取的图像输出到图像分析部分35.例如，多个输入部分24(在图4的结构中为两个)可被安装并指向多个用户(例如，图1中的用户A和B).
通信部分28从输入部分24输入关于用户A的实时数据，并经由通信网络2将输入的数据输出到通信相对方的通信设备1-2。通信部分28还从通信设备1-2接收关于用户X的实时数据，并将所接收的数据输出到图像声音合成部分31、存储部分32和图像分析部分35。通信部分28还经由通信网络2接收从通信相对方的通信设备1-2或内容供给服务器3提供的内容，并将所接收的内容输出到内容再现部分30和存储部分32。此外，通信部分28经由通信网络2将存储部分32中所保存的内容33或由操作信息输出单元50生成的操作信息发送给通信设备1-2。
广播接收器部分29从广播设备5接收电视广播信号，并将从所接收的广播信号得到的电视节目形式的内容输出到内容再现部分30。内容再现部分30再现：由广播接收器部分29接收的电视节目形式的内容；由通信部分28接收的内容；以及从存储部分32读出的内容。由此获取的内容的图像和声音被输出到图像声音合成部分31和图像分析部分35。
图像声音合成部分31将从内容再现部分30输入的内容的图像、用户图像以及OSD(屏上显示)图像α混合成合成图像，并将得到的视频信号输出到输出部分21。视频音频合成部分31还将来自内容再现部分30的内容的声音与用户语音合成，并将得到的音频信号输出到输出部分21。
存储部分32存储：从输入部分24提供的关于用户(例如，用户A)的实时数据；从通信部分28发来的关于通信相对方(例如，用户X)的实时数据；代表由广播接收器部分29接收的电视节目的内容；以及从通信部分28提供的内容。存储部分32还存储由合成控制单元47生成的合成信息34。
图像分析部分35按照亮度和辉度分析从内容再现部分30输入的内容图像以及用户图像(包括从通信设备1-2发来的图像)，并将分析结果输出到合成控制单元47。图像分析部分35的镜像生成单元生成用户图像(包括来自通信设备1-2的图像)的镜像。指示物检测单元37在由运动矢量检测单元38检测到的用户运动矢量的基础上，从用户图像(包括来自通信设备1-2的图像)提取关于用户以他或她的手腕或指尖指向所需位置的指示物的图像。如果从输入部分24传入的图像包括多个用户，则指示物检测单元37检测与用户关联的多个指示物。运动矢量检测单元38从用户图像(包括来自通信设备1-2的图像)检测描绘用户的运动的运动矢量元素，并识别每一用户运动的发生点和轨迹。匹配单元39检查以确定所检测到的用户运动矢量是否与预测的用户运动中的任何一个相匹配，并将检查的结果作为运动矢量匹配信息输出到控制部分43。
通信环境检测部分40监视经由通信网络2在通信部分28与通信设备1-2之间的通信的环境(即，通信速度、延迟时间等)，并将所检测到的输出到控制部分43。标准时刻计时部分41基于从标准时刻信息供给设备6提供的标准时刻信息调节它所计时的标准时刻，并将标准时刻提供给控制部分43。操作输入部分42例如由向控制部分43输入与用户的操作对应的操作信号的远程控制器组成。
控制部分43基于来自操作输入部分42的与用户操作对应的操作信号和从图像分析部分35发来的运动矢量匹配信息来控制通信设备1-1的各组件.控制部分43包括会话管理单元44、视听记录级别设置单元45、再现同步单元46、合成控制单元47、再现许可单元48、记录许可单元49、操作信息输出单元50、以及电子设备控制单元51.图4中，略去了从控制部分43发出并通向通信设备1-1的各组件的控制线.
会话管理单元44控制通信部分28经由通信网络2与通信设备1-2、内容供给服务器3以及认证服务器4通信的处理。响应于用户的设置操作，视听记录级别设置单元45进行规定由输入部分24获取的关于用户A等的实时数据是否可由通信相对方的通信设备1-2再现和/或记录、以及如果规定数据为可记录的则它可被记录多少次的设置。设置信息从通信部分28被发送到通信设备1-2。再现同步单元46以确保与通信相对方的通信设备1-2同步地再现相同内容的方式来控制广播接收器部分29和内容再现部分30。
基于图像分析部分35的分析结果，合成控制单元47以根据用户设置将内容和用户的图像和声音合成的方式控制图像声音合成部分31。基于给定内容所附的许可证信息等，再现许可单元48判定所述内容是否可被再现，并相应地控制内容再现部分30。基于与给定内容所附的通信相对方的设置或许可证信息，记录许可单元49判定关于用户和/或内容的实时数据是否可被记录，并相应地控制存储部分32。操作信息输出单元52响应于用户的操作(例如，在电视广播接收期间的频道改变；对正在再现的内容的开始、停止、快进等)，生成包括操作内容和操作时刻的操作信息并使得通信部分28将所生成的信息发送给通信相对方的通信设备1-2。操作信息随后被用于同步的内容再现。
电子设备控制单元51在从图像分析部分35输入的运动矢量匹配信息的基础上，控制连接(以有线或无线方式)至通信设备1-1的电子设备(包括，照明设备、空调设备等，未示出)。
通信设备1-2的详细结构与图4中描绘的通信设备1-1的详细结构相同，因此将不再讨论。
以下参考图5的流程图对由通信设备1-1对于通信设备1-2执行的远程通信处理进行说明。
当在操作输入部分42上执行给出开始与相隔遥远的通信设备1-2通信的指令的操作且向控制部分43给出与该指令对应的操作信号时，远程通信处理开始。
在步骤S1中，通信部分28在会话管理单元44的控制之下经由通信网络2连接至通信设备1-2，并向通信相对方通知远程通信处理开始。与该通知对应地，通信设备1-2确认远程通信处理的启动，并将对该通知的应诺发回给通信部分28。
在步骤S2中，通信部分28在控制部分43的控制之下开始经由通信网络2将从输入部分24输入的关于用户A等的实时数据发送给通信设备1-2。同时，通信部分28开始接收从通信设备1-2发来的关于用户X的实时数据。所发送的关于用户A等的实时数据中所包括的图像和声音以及所接收的关于用户X的实时数据中所包括的图像和声音被输入到图像声音合成部分31。
在步骤S3中，通信部分28在会话管理单元44的控制之下经由通信网络2连接至认证服务器4，并进行用于内容获取的认证处理。在成功的认证处理之后，通信部分28经由通信网络2访问内容供给服务器3，并获取用户指定的内容。此时假定，通信设备1-2进行类似的处理并获取相同的内容。
如果要接收电视广播内容或者如果要取得并再现已经存储在存储部分32中的任何内容，则可跳过步骤S3。
在步骤S4中，内容再现部分30在再现同步单元46的控制之下开始与通信设备1-2同步地再现内容。
在步骤S5中，存储部分32开始远程通信记录处理。更具体地，存储部分32开始记录已开始被再现的内容的图像和声音、所发送的关于用户A等的实时数据中所包括的图像和声音、所接收的关于用户X的实时数据中的图像和声音、以及由合成控制单元47以指示图像和声音如何被合成的方式生成的合成信息。
在步骤S6中，图像声音合成部分31在合成控制单元47的控制之下，以图3A到3C中所示出的三种方式之一将所再现的内容的图像和声音、所发送的关于用户A等的实时数据中所包括的图像和声音以及在所接收的关于用户X的实时数据中的图像和声音合成。得到的图像和声音信号从图像声音合成部分31发送到输出部分21。输出部分21显示与所提供的图像信号对应的图像，并输出与所提供的声音信号对应的声音。在此阶段，用户之间的图像和声音的通信与内容的同步再现一起在其设备上开始。
而且在步骤6中，与图像声音合成部分31等的处理并行地，图像分析部分35中的指示物检测单元37从关于用户A等的实时数据中所包括的图像中检测用户A等的一个或多个指示物，并将该一个或多哥指示物显示在屏幕上(即，指向处理)。
在步骤S7中，控制部分43检查以判定用户是否执行了给出结束远程通信处理的指令的操作。控制部分43等待该操作被执行。当发现给出了结束远程通信处理的指令时，控制被传递给步骤S8。
在步骤S8中，通信部分28在会话管理单元44的控制之下经由通信网络2连接至通信设备1-2，并向通信设备1-2通知远程通信处理结束。与该通知对应地，通信设备1-2确认远程通信处理终止，并将对该通知的应诺发回给通信部分28。
在步骤S9中，存储部分32结束通信记录处理。到此为止已记录的所有信息，包括所再现的内容、关于用户A等的实时数据中所包括的图像和声音、所接收的关于用户X的实时数据中的图像和声音以及合成信息34将在该远程通信处理今后被再现时使用。
以上的描述是关于由通信设备1-1对于通信设备1-2实现的远程通信处理。
以下参考图6A到8C对在上述远程通信处理期间执行步骤S6的指向处理的三种典型情况。在第一种情况中，通信设备1-1由单个用户A操作；在第二种情况中，配备多个输入部分24的通信设备1-1由多个用户A和B操作；而在第三种情况中，通信设备1-1由以单个输入部分24成像的多个用户A和B操作。
图6A到6C概述了指向处理的第一种情况。用户A在观看显示器22上交叉淡化模式(如图3B中所示)下的内容图像和他或她自己的图像的情况下，以指向正显示的内容中的所需位置的方式如图6A中所示地移动指尖。然后用户的运动的运动矢量被检测到，并从用户A的图像71中切出包含检测到运动矢量的位置的区域。所提取的用户图像变成如图6C中所示地被α混合到内容图像中的用户A的指示物74。用户A的图像71作为子屏幕被重叠到内容图像上。
同样，从如图6B中所示的用户X的图像72检测用户X的运动矢量。用户X的指示物75被提取，并被α混合到内容图像中。用户X的图像72作为子屏幕被重叠到内容图像上。从用户X的图像72检测用户X的运动并提取用户X的指示物的处理可由通信设备1-1执行，或由通信设备1-2实现，其处理结果被提供给通信设备1-1。
在内容图像(未示出)和用户指示物被如图6C中所示地合成的图像73上，指示物的边缘在颜色或图案上不同，以便将用户A的指示物74与用户X的指示物75区分开来。或者，可通过以不同的颜色描绘指示物或通过在每一指示物附近显示所述用户的文字、符号、标记或缩略图(即，缩图)来将用户的指示物彼此区分开来。
图7A到7D概述了第二种情况的指向处理。在这种情况中，假定通信设备1-1所配备的多个输入部分24预先已经存储了用于标识相应分派的用户的信息。
用户A在观看显示器22上交叉淡化模式(如图3B中所示)下的内容图像和他或她自己的图像的情况下，以指向正被显示的内容图像中的所需位置的方式如图7A中所示地移动指尖。然后用户的运动的运动矢量被检测到，并从用户A的图像81中切出包含检测到运动矢量的位置的区域。所提取的用户图像变成如图7C中所示地被α混合到内容图像中的指示物85。用户A的图像81作为子屏幕被重叠到内容图像上。
同样，从如图7B中所示的用户B的图像82中检测用户B的运动矢量。用户B的指示物86被提取，并被α混合到内容图像中。用户B的图像82作为子屏幕被重叠到内容图像上。
而且，以类似的方式从如图7C中所示的用户X的图像83中检测用户X的运动矢量。用户X的指示物87被提取，并被α混合到内容图像中。用户X的图像83作为子屏幕被重叠到内容图像上。从用户X的图像83检测用户X的运动并提取用户X的指示物的处理可由通信设备1-1执行，或由通信设备1-2实现，其处理结果被提供给通信设备1-1。
在内容图像(未示出)和用户的指示物被如图7D中所示地合成的图像84上，在每一用户指示物附近显示用户识别文字，以便将用户A的指示物85、用户B的指示物86以及用户X的指示物87彼此区分开来。或者，可通过以不同的颜色描绘指示物或其边缘或者通过在每一指示物附近显示所述用户的符号、标记或缩略图来将用户的指示物彼此区分开来。
图8A到8C概述了第三情况的指向处理。在这种情况中，通信设备1-1所配备的单个输入部分24同时成像用户A和B。然后输出诸如图8A中所示的用户A和B的图像91。
用户A和B在观看显示器22上交叉淡化模式(如图3B中所示)下的内容图像和他们自己的图像的情况下，以指向正被显示的内容图像中的所需位置的方式如图8A中所示地移动指尖。然后用户A和用户B的运动的运动矢量被检测到，并从用户图像91中切出包含检测到运动矢量的位置的区域。所提取的用户图像变成如图8C中所示地被α混合到内容图像中的用户A的指示物94和用户B的指示物95。用户A和B的图像91作为子屏幕被重叠到内容图像上。
可通过如图9中所示地使每一用户在其指尖上戴上不同的赛博码(2D码)101来使从单个图像91中切出的两个指示物分别与用户A和B相关联。在操作中，从图像91中读取赛博码101，并对其分析以供指示物显示使用。或者，可由每一用户戴上不同颜色的指环来代替赛博码101。
同样，从如图8B中所示的用户X的图像92中检测用户X的运动矢量。用户X的指示物96被提取，并被α混合到内容图像中。用户X的图像92作为子屏幕被重叠到内容图像上。从用户X的图像92检测用户X的运动并提取用户X的指示物的处理可由通信设备1-1执行，或由通信设备1-2实现，其处理结果被提供给通信设备1-1。
在内容图像(未示出)和用户的指示物被如图8C中所示地合成的图像93上，在每一用户指示物附近显示用户标识缩略图，以便将用户A的指示物94、用户B的指示物95以及用户X的指示物96彼此区分开来。或者，可通过以不同的颜色或图案描绘指示物或其边缘或者通过在每一指示物附近显示识别目的的文字、符号、标记来将用户的指示物彼此区分开来。
以下参考图10的流程图对如图8A到8C中所示的第三情况的指向处理、即通信设备1-1显示用户A、B和C的指示物的处理进行说明。该指向处理在用户A或B执行给出开始处理的指令的操作时开始。
在步骤S21中，通信设备1-1的镜像生成单元36生成从输入部分24输入的覆盖用户A和B的图像的镜像。图像声音合成部分31将所生成的镜像和内容图像α混合成诸如图3B中所示的交叉淡化的图像，并将得到的图像输出到显示器22。
此时，用户A和B在观看显示器22上交叉淡化的图像的情况下，可用指向内容图像上的所需位置的方式移动他们的指尖。在步骤S22中，输入部分21中的相机25测量到正被成像的对象(即，用户A和B)的距离，并将测量结果输出到图像分析部分35。在步骤S23中，运动矢量检测单元38从用户A和B的图像检测他们的运动矢量。
在步骤S24中，指示物检测单元37基于在步骤S22中所测量到的到用户A和B的距离以及在步骤23中从用户A和B的图像获取的他们的运动矢量从用户A和B的图像中提取他们的指示物(例如，指尖、手腕等)。在这种情况中，提取了两个指示物。在步骤S25中，指示物检测单元37标识对应于所提取的这两个指示物的用户。更具体地，可让用户A和B在其指尖上戴上不同的赛博码。然后从指示物图像上读取赛博码以将用户A与用户B区分开来。
在步骤S26中，图像声音合成部分31将用户标识信息(例如，以不同颜色描绘的指示物；文字、标记、符号或缩略图的显示)附加于用户A和B的指示物，并使所附加的信息与内容图像α混合。
上述的步骤S21到S25也由通信设备1-1或通信设备1-2对从通信设备1-2的输入部分24输入的用户X的图像执行。然后由通信设备1-1对所得到的表示执行步骤S26。
最后，通信设备1-1的显示器22显示诸如图8C中所示的合成图像。以上完成的说明是关于指向处理是如何进行的。
图6A到6C中的第一情况和图7A到7D中的第二情况除了要跳过步骤S25以外其它可容易地通过参考图10的以上说明详细理解。因此将不再描述第一和第二情况。
在以上说明中，示出了通信设备1-2追随通信设备1-1而操作。或者，如有需要，这种主从关系可被逆转或随时改变。
在以上说明中，示出了仅有一个通信设备1(即通信设备1-2)追随通信设备1-1而操作。或者，多个通信设备1可被安排成追随通信设备1-1而操作。在多个通信设备1当中，如有需要，这样的主从关系可被逆转或随时改变。
上述由通信设备1执行的一连串步骤或处理可由硬件或软件执行。要进行基于软件的处理，构成该软件的程序可或者事先被包含在计算机的专用硬件中供程序执行或者可在使用时从合适的记录介质安装到诸如图11中所示的能够基于所安装的程序执行各种功能的通用个人计算机中。
图11中所示的个人计算机200包括CPU(中央处理单元201)。输入/输出接口205经由总线204被连接至CPU 201。总线204也连接至ROM(只读存储器)202和RAM(随机存取存储器)203。
输入/输出接口205被连接至输入部分206、输出部分207、存储部分208和通信部分209。输入部分206由键盘、鼠标和/或用户籍此输入操作命令的其它元件组成。输出部分207显示图像并输出声音。存储部分208一般包含保存程序和数据的硬盘驱动器。通信部分209经由诸如因特网等网络执行通信处理。输入/输出接口205还连接至驱动器210，它向诸如磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(迷你盘))或半导体存储器等记录介质211写数据或从中读数据。
用于使个人计算机200执行如上所述通信设备1的处理的程序被保存在提供给个人计算机200的记录介质211上。当程序被置入记录介质211中时，程序由驱动器210从记录介质211中读出，并被安装到存储部分208中的硬盘驱动器上。当CPU响应于用户经由输入部分206输入的命令指令执行程序时，安装在存储部分208中的程序被加载到RAM 203内以便执行。
在本说明书中，在所安装的程序的基础上执行的步骤不仅表示将按所述顺序(即，在时序基础上)执行的处理，而且包含可并行地或单独地而不按时间顺序执行的处理。
程序可由单台计算机执行或由多台计算机分布式执行。程序也可被传送给远方的一台或多台计算机以由其执行。
在本说明书中，术语“系统”指的是由多个组件组成的整个配置。

Claims (3)

1.一种用于经由网络与另一信息处理设备通信的信息处理设备，所述信息处理设备包括：
再现装置，被配制成同步地再现与由所述另一信息处理设备所再现的相同的内容数据；
输入装置，被配置成输入通过对所述信息处理设备的用户成像而获取的第一用户图像；
接收装置，被配置成接收通过对所述另一信息处理设备的用户成像而获取且经由所述网络从所述另一信息处理设备发来的第二用户图像；
提取装置，被配置成从所述第一用户图像和所述第二用户图像的至少其中之一提取表示用户指向图像上的任意位置的指示物；以及
合成装置，被配置成将由所述提取装置提取的指示物合成到由所述再现装置同步再现的内容数据的图像上，
其中，如果所述第一用户图像和所述第二用户图像的至少其中之一包括多个用户，则所述提取装置提取表示所述多个用户指向图像上任意位置的多个指示物。
2.如权利要求1所述的信息处理设备，其特征在于，所述提取装置使所提取的多个指示物与所述多个用户之一相关联。
3.一种供经由网络与另一信息处理设备通信的信息处理设备使用的信息处理方法，所述信息处理方法包括以下步骤：
同步再现与由所述另一信息处理设备所再现的相同的内容数据；
输入通过对所述信息处理设备的用户成像而获取的第一用户图像；
接收通过对所述另一信息处理设备的用户成像而获取并经由所述网络从所述另一信息处理设备发来的第二用户图像；
从所述第一和所述第二用户图像的至少其中之一中提取表示用户指向图像上任意位置的指示物；以及
将在所述提取步骤中提取的指示物合成到在所述再现步骤中同步再现的内容数据的图像上，
其中，如果所述第一用户图像和所述第二用户图像的至少其中之一包括多个用户，则所述提取步骤取表示所述多个用户指向图像上任意位置的多个指示物。
CN200580022569.7A 2004-07-27 2005-07-20 信息处理设备和信息处理方法 Expired - Fee Related CN1981525B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004218529A JP2006041884A (ja) 2004-07-27 2004-07-27 情報処理装置および方法、記録媒体、並びにプログラム
JP218529/2004 2004-07-27
PCT/JP2005/013291 WO2006011399A1 (ja) 2004-07-27 2005-07-20 情報処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
CN1981525A CN1981525A (zh) 2007-06-13
CN1981525B true CN1981525B (zh) 2010-05-05

Family

ID=35786149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580022569.7A Expired - Fee Related CN1981525B (zh) 2004-07-27 2005-07-20 信息处理设备和信息处理方法

Country Status (4)

Country Link
US (2) US8099460B2 (zh)
JP (1) JP2006041884A (zh)
CN (1) CN1981525B (zh)
WO (1) WO2006011399A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200341B2 (ja) * 2006-06-28 2013-06-05 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示方法
JP2009239646A (ja) * 2008-03-27 2009-10-15 Fuji Xerox Co Ltd テレビ会議システムおよびテレビ会議装置および画像処理プログラム
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
JP2013070368A (ja) 2011-09-05 2013-04-18 Panasonic Corp テレビ対話システム、端末および方法
CN102612205B (zh) 2011-12-31 2014-12-31 华为技术有限公司 一种控制可视光源的方法、终端及视频会议系统
US10122896B2 (en) 2012-12-14 2018-11-06 Avaya Inc. System and method of managing transmission of data between two devices
US8970651B2 (en) * 2012-12-14 2015-03-03 Avaya Inc. Integrating audio and video conferencing capabilities
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
FR3019704B1 (fr) * 2014-04-02 2017-09-01 Studec Procede de transmission d'informations via un canal video entre deux terminaux
US20160072858A1 (en) * 2014-09-10 2016-03-10 RIV Tech, Inc. Methods and systems for remote interactive viewing
TWI595786B (zh) * 2015-01-12 2017-08-11 仁寶電腦工業股份有限公司 基於時間戳記的音訊與視訊處理方法及其系統
JP2021141346A (ja) 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1017008B (zh) * 1988-08-15 1992-06-10 三菱电机株式会社 调相变压器

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107443A (en) * 1988-09-07 1992-04-21 Xerox Corporation Private regions within a shared workspace
JPH04328627A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> カーソル表示方法
US5561811A (en) * 1992-11-10 1996-10-01 Xerox Corporation Method and apparatus for per-user customization of applications shared by a plurality of users on a single display
US5444476A (en) * 1992-12-11 1995-08-22 The Regents Of The University Of Michigan System and method for teleinteraction
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5767897A (en) * 1994-10-31 1998-06-16 Picturetel Corporation Video conferencing system
JPH08211979A (ja) 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
JPH08212327A (ja) 1995-02-06 1996-08-20 Mitsubishi Electric Corp 身振り認識装置
JPH09116879A (ja) * 1995-10-20 1997-05-02 Ricoh Co Ltd オーディオビジュアル通信端末装置
JP3759216B2 (ja) * 1995-12-08 2006-03-22 株式会社リコー テレビカメラ通信装置及び多地点接続装置
US5977968A (en) * 1997-03-14 1999-11-02 Mindmeld Multimedia Inc. Graphical user interface to communicate attitude or emotion to a computer program
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置
JP2002507027A (ja) * 1998-03-13 2002-03-05 シーメンス コーポレイト リサーチ インコーポレイテツド 協調的ダイナミックビデオコメント作成装置および作成方法
JP2001148841A (ja) * 1999-11-19 2001-05-29 Nec Corp テレビコミュニティの形成方法とそのシステム
JP2001157184A (ja) * 1999-11-22 2001-06-08 Hitachi Ltd 画面共有端末装置とその表示方法
JP2001245269A (ja) * 2000-02-25 2001-09-07 Sony Corp コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2003162506A (ja) * 2001-11-22 2003-06-06 Sony Corp ネットワーク情報処理システム、情報提供管理装置、情報処理装置及び情報処理方法
JP3664132B2 (ja) * 2001-12-27 2005-06-22 ソニー株式会社 ネットワーク情報処理システム及び情報処理方法
JP2003271530A (ja) 2002-03-18 2003-09-26 Oki Electric Ind Co Ltd 通信システム，システム間関連装置，プログラム，及び，記録媒体
US6943811B2 (en) * 2002-03-22 2005-09-13 David J. Matthews Apparatus and method of managing data objects
JP2004088327A (ja) * 2002-08-26 2004-03-18 Casio Comput Co Ltd 通信端末、通信端末処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP2004112372A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像処理システム
WO2004038641A2 (en) * 2002-10-21 2004-05-06 Applied Global Technologies, Inc. System and method for sharing, viewing, and controlling mutliple information systems
US7484176B2 (en) * 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
WO2005008626A1 (en) * 2003-07-11 2005-01-27 University Of North Carolina At Chapel Hill Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
US7020434B2 (en) * 2004-01-02 2006-03-28 The United States Of America As Represented By The Secretary Of The Navy Animated radar signal display with fade
JP4510005B2 (ja) * 2004-03-02 2010-07-21 三菱電機株式会社 メディア配信装置及びメディア受信装置
JP2006041886A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4716083B2 (ja) * 2004-07-27 2011-07-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4572615B2 (ja) * 2004-07-27 2010-11-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4655190B2 (ja) * 2004-08-06 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1017008B (zh) * 1988-08-15 1992-06-10 三菱电机株式会社 调相变压器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2004-88327A 2004.03.18
JP特开平11-143677A 1999.05.28
JP特开平9-163336A 1997.06.20

Also Published As

Publication number Publication date
US20120110081A1 (en) 2012-05-03
CN1981525A (zh) 2007-06-13
JP2006041884A (ja) 2006-02-09
US20080133640A1 (en) 2008-06-05
US8856231B2 (en) 2014-10-07
WO2006011399A1 (ja) 2006-02-02
US8099460B2 (en) 2012-01-17

Similar Documents

Publication Publication Date Title
CN1981525B (zh) 信息处理设备和信息处理方法
CN1993990B (zh) 信息处理设备和方法
CN1981524B (zh) 信息处理设备和方法
US20060023949A1 (en) Information-processing apparatus, information-processing method, recording medium, and program
EP1519305A2 (en) Multimedia printer with user interface for allocating processes
CN105612743A (zh) 编码的媒体的音频视频回放同步
CN111246300B (zh) 剪辑模板的生成方法、装置、设备及存储介质
CN106210757A (zh) 直播方法、直播装置及直播系统
CN106559696A (zh) 信息发送方法及装置
CN1383543A (zh) 一种卡拉ok系统
WO2008016083A1 (fr) Dispositif et système de présentation d&#39;informations en superposition
US20120144312A1 (en) Information processing apparatus and information processing system
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
WO2013093175A1 (en) A method, an apparatus and a computer program for determination of an audio track
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
CN112637529A (zh) 一种录像处理方法、装置、存储介质及电子设备
JP2002109099A (ja) 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体
JP5169239B2 (ja) 情報処理装置および方法、並びにプログラム
CN106792024A (zh) 多媒体信息的分享方法及装置
JP2012178028A (ja) アルバム作成装置、アルバム作成装置の制御方法、及びプログラム
US20120072869A1 (en) Copy supporting device, terminal device, copy support method, and copy supporting program
KR101657552B1 (ko) 휴대 단말기 및 그 동작방법
JP2009239349A (ja) 撮影装置
JP2005191892A (ja) 情報取得装置及びこれを用いたマルチメディア情報作成システム
JP6116213B2 (ja) 合成動画コンテンツの生成システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100505

Termination date: 20210720