CN1719852A - 信息源选择系统和方法 - Google Patents

信息源选择系统和方法 Download PDF

Info

Publication number
CN1719852A
CN1719852A CNA2004100818030A CN200410081803A CN1719852A CN 1719852 A CN1719852 A CN 1719852A CN A2004100818030 A CNA2004100818030 A CN A2004100818030A CN 200410081803 A CN200410081803 A CN 200410081803A CN 1719852 A CN1719852 A CN 1719852A
Authority
CN
China
Prior art keywords
virtual space
information source
user
information
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100818030A
Other languages
English (en)
Other versions
CN1719852B (zh
Inventor
金田泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1719852A publication Critical patent/CN1719852A/zh
Application granted granted Critical
Publication of CN1719852B publication Critical patent/CN1719852B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种信息源选择系统和方法，能够从多个信息源中选择任意的信息源。客户机(201)具有指示设备(226)，接收虚拟空间内的移动信息；存在提供器(222)，将指示设备(226)接收的移动信息发送到服务器装置；空间模型(221)，根据自身用户和信息源各自在虚拟空间中的位置算出虚拟空间中的信息源的位置；音频再现器(216)，根据虚拟空间的用户的位置，控制音响效果。

Description

信息源选择系统和方法
技术领域
本发明涉及从多个信息源中选择任意的信息源的技术。
背景技术
作为使用了虚拟空间的会议系统，有京都大学所开发的会议系统FreeWalk(例如，参照非专利文献1和非专利文献2)。FreeWalk是会议系统的用户共用虚拟空间，处于同一空间内的用户彼此之间进行对话的技术。各用户可通过三维图形观看从自己的视点、或接近于自己的视点，但自己本身也进入视野的视点看该虚拟空间的图像。三维图形技术是通过计算机·图形来模拟三维空间的技术，作为实现该技术的API(Application Programming Interface)，有作为行业标准的OpenGL(http：//www.opengl.org)和Microsoft公司的Direct3D等。通过摄像机拍摄的对话对方的图像被实时投影到可从自己的视点看到的图像中的虚拟屏幕上。另外，各用户可在该虚拟空间内自由移动。即，可以使用指示设备或键盘的键来改变自己本身在该虚拟空间中的位置。
还有Interval Research Corporation所开发的会议系统Somewire(例如，参照专利文献1、专利文献2和非专利文献3)。Somewire是会议系统的用户共用虚拟的空间，处于同一空间内的用户彼此可进行对话的系统。Somewire中，声音通过高品质的立体声来再现。另外，具有比可通过使人形物体的移动来控制虚拟空间上的对话对方的位置的GUI(图形·用户·接口)更直观的物有形(tangible)接口。
另外，有ヒユ-レツト·パツカ-ド公司开发的使用了三维分散音频技术的会议系统(例如，参照非专利文献4)。三维分散音频技术是在通过网络连接的系统(所谓的分布环境)中使用三维音频技术的技术。并且，三维音频技术是模拟三维音响空间的技术，作为实现该技术的API，有由Loki Entertainment Software公司等规定的作为行业标准的Open AL(http：//www.opengl.org/)，Microsoft公司的DirectSound 3D、Creative Technology公司的EAX2.0(http：//www.sei.com/algorithms/eax2.0.pdf)等。通过使用该三维音频技术，在由耳机、双声道或4声道等扬声器进行的音响再现中，可以模拟从收听者看到的声源方向和距离，并在音响空间内使声源定位。另外，通过模拟混响、由墙壁等物体产生的反射、由空气产生的依赖于距离的声音吸收、由障碍物造成的声音遮挡等音响属性，可以表现房间的存在感、空间内物体的存在感。
【专利文献1】US5889843
【专利文献2】US6262711B1
【非专利文献1】中西英之 吉田力 西村俊和石田亨“FreeWalk：使用了三维虚拟空间的非形式通信的支持”，信息处理学会论文集，Vol.39，No.5，pp.1356-1364，1998。
【非专利文献2】Nakanishi，H.，Yoshida，C.，Nishimura，T.，and Ishida，T.，“FreeWalk：A 3D Virtual Space for Casual Meetings”，IEEE MultiMedia，April-June 1999，pp.2028
【非专利文献3】Singer，A.，Hindus，D.，Stifelman，L.，and White，S.，“Tangible Progress：Less Is More In Somewire AudioSpaces”，ACM CHI’99(Conference on Human Factors in ComputingSystems)，pp.104-112，May 1999.
【非专利文献4】Low，C.，and Babarit，L.，“Distributed 3D AudioRendering”，7th International World Wide Web conference(WWW 7)，1998，http：//www7.scu.edu.au/programme/fullpapers/1912/com1912.com.
发明内容
近年来，各种各样的信息经互联网提供给用户。在使用指示设备等接近信息源的情况下，存在适当进行操作不容易的情况。例如，对于手不能自由运动的残疾人和老人等，与健全人不同，存在操作指示设备困难的情况。
另外，网络广播和网络电视中，观看想要收看收听的节目很困难。即，广播和电视一次只能平均收看一个台。因此，通过依次改变频道来收看收听，来观看所要收看的节目，很耗费时间。
另外，专利文献1、2和非专利文献1-4所述的会议系统中，不考虑虚拟空间上的移动和信息源的选择。
本发明鉴于上述问题而作出，本发明的目的是提供一种可以使用虚拟空间从多个信息源中容易选择出希望的信息源的技术。
为了解决上述问题，本发明中，在具有多个信息源的虚拟空间中，接收用户的移动指示，将用户自己移动到规定的位置上。
例如，一种信息源选择系统，利用虚拟空间从多个信息源中选择任意的信息源，其特征在于：所述虚拟空间具有所述多个信息源；所述系统具有管理所述多个信息源在虚拟空间上的位置的服务器装置和客户机终端；其中所述客户机终端具有：移动接收单元，接收用户在虚拟空间上的移动指示；移动单元，根据所述移动接收单元所接收的移动指示，移动虚拟空间中的用户；客户机发送单元，将与所述移动单元所移动的用户在虚拟空间中的位置有关的位置信息发送到所述服务器装置；客户机接收单元，从所述服务器装置接收与所述多个信息源各自在虚拟空间上的位置有关的位置信息；空间模型化单元，根据所述用户在虚拟空间中的所述位置信息和所述多个信息源各自在虚拟空间中的所述位置信息算出所述用户和所述多个信息源在所述虚拟空间中的位置；以及音响控制单元，根据所述空间模型化单元算出的位置来控制适用于所述多个信息源各自的声音的音响效果；所述服务器装置具有：服务器接收单元，从所述客户机终端接收所述用户在虚拟空间上的所述位置信息；存储单元，存储所述服务器接收单元所接收的所述用户在虚拟空间上的所述位置信息和所述多个信息源在虚拟空间上的位置信息；以及服务器发送单元，向所述客户机终端发送所述存储单元存储的所述多个信息源各自的所述位置信息。
根据本发明，可以在虚拟空间中移动用户。由此，可以从存在于虚拟空间内的多个信息源中接近于任意信息源进行选择。
附图说明
图1是本实施形态的网络结构图；
图2是本实施形态的各装置的硬件结构图；
图3是本实施形态的客户机的结构图；
图4是模式表示本实施形态的声源的方向和距离的图；
图5是模式表示本实施形态的音频再现器的处理的图；
图6是本实施形态的虚拟空间的第一显示器显示画面例子；
图7是本实施形态的虚拟空间的第二显示器显示画面例子；
图8示例了本实施形态的客户机的种类；
图9是模式表示本实施形态的向前的长距离移动的图；
图10是模式表示本实施形态的向左或右方向的长距离移动的图；
图11是本实施形态的客户机向网络的连接处理的流程图；
图12是本实施形态的客户机的入场处理的流程图；
图13是本实施形态的客户机的自身用户的移动处理的流程图；
图14是本实施形态的客户机的其他用户的移动处理的流程图；
图15是本实施形态的存在服务器的功能结构图；
图16是表示本实施形态的存在服务器的处理过程的处理流程图；
图17是本实施形态的流服务器的功能结构图；
图18是具有音响服务器的实施形态的网络结构图；
图19是具有音响服务器的实施形态的音响服务器的功能结构图；
图20是具有音响服务器的实施形态的流服务器的功能结构图。
具体实施方式
下面，说明本发明的实施形态。
图1表示适用了本发明的一实施形态的通信系统的系统结构图。如图所示，本系统中经互联网等网络101使多个客户机201、202、203、管理存在的存在服务器110、进行会话控制的SIP代理服务器120、进行用户的登录·认证的登录服务器130和将图像与声音等多媒体数据配送到客户机的流(streaming)服务器140相连接。存在是包含多个信息源的虚拟空间本身和虚拟空间内的各用户的位置信息。
另外，本实施形态中，虽然具有三台客户机，但是客户机的数目并不限于三台，也可以是2台或4台以上。本实施形态中，网络101由单一域构成，但是也可由多个域构成网络101，结合各个域进行跨过多个域的通信。这时，存在多个存在服务器110、SIP代理服务器120、登录服务器130和流服务器140。
接着，说明通信系统的硬件结构。
图2表示客户机201、202、203、存在服务器110、SIP代理服务器120、登录服务器130和流服务器140的各装置的硬件结构。
客户机201、202、203可使用具有根据程序进行数据加工·运算的CPU301、CPU301可直接读写的存储器302、硬盘等外部存储装置303、与外部系统进行数据通信用的通信装置304、输入装置305、输出装置306的通常的计算机系统。例如，PDA(Personal Digital Assistant)、PC(Personal Computer)等计算机系统。输入装置305和输出装置306在图3中进行描述。
存在服务器110、SIP代理服务器120、登录服务器130、流服务器140可使用至少具有根据程序进行数据加工·运算的CPU301、CPU301可直接读写的存储器302、硬盘等外部存储装置303、与外部系统进行数据通信用的通信装置304的一般的计算机系统。具体的，是服务器、主计算机等。
另外，上述各装置的后述各个功能通过CPU301执行在存储器302中装载或存储的规定程序(在客户机201、202、203的情况下是客户机用的程序，在存在服务器110的情况下是存在服务器用的程序，在SIP代理服务器120的情况下是SIP代理服务器用的程序，在登录服务器130的情况下是登录服务器用程序，在流服务器140的情况下是流服务器用的程序)来实现。
接着，参照图3说明客户机201的输入装置305和输出装置306和设备功能。另外，客户机202、203中具有相同的结构。
客户机201作为输入装置305具有麦克风211、摄像机213、指示设备226。指示设备226是用户输入自身在虚拟空间中的移动信息用的输入装置，例如，是各种按钮、键盘等。作为输出装置306，具有与三维音频技术对应的耳机217、显示器220。
作为功能结构，具有音频编码器212、音频再现器(レンダラ)216、视频编码器214、图形再现器219、空间模型221、存在提供器222、音频通信部215、视频通信部218、会话控制部223、局部策略224。
音频编码器212将声音转换为数字信号。音频再现器216使用三维音频技术，进行根据混响、滤波等虚拟空间的属性进行归结的处理。视频编码器214将图像转换为数字信号。图形再现器219进行根据虚拟空间的属性进行归结的处理。空间模型221根据所输入的移动信息计算虚拟空间上的用户位置和方向等存在。存在提供器222在与存在服务器110之间发送接收虚拟空间上的用户的位置信息和方位信息。音频通信部215在与其他的客户机和流服务器140之间实时发送接收音频信号(声音信号)。视频通信部218在与其他的客户机和流服务器140之间实时发送接收视频信号(图像信息)。会话控制部223通过SIP代理服务器120，在与其他客户机和存在服务器110之间，控制通信会话。后面将描述局部策略224。
这里，所谓虚拟空间，是指为了与多个信息源进行双向通信(会议和对话)，或收看收听信息源提供的图像和音乐，而虚拟作出的空间。信息源考虑包括共用虚拟空间的其他用户、网络广播、网络电视、再现音乐和视频用的播放器等。存在服务器110管理虚拟空间的属性、和在该虚拟空间内存在的用户的信息。
若用户进入某一虚拟空间，存在服务器110将该虚拟空间的属性、和存在于该虚拟空间内的其他用户的信息发送到该用户的客户机中。然后，该客户机的空间模型221将所发送的这些信息和虚拟空间内的自身的位置信息存储到存储器302或外部存储装置303中。
虚拟空间的属性包括例如空间的大小、天井的高度、墙壁和天井的反射率·色彩·质感、混响特性、由空间内的空气产生的对声音的吸收率等。其中墙壁和天井的反射率、混响特性、由空间内的空气等产生的声音吸收率等是听觉属性、墙壁和天井的色彩·质感是视觉属性、空间的大小、天井的高度是涉及听觉·视觉双方的属性。
另外，虚拟空间的属性包括与除去用户的信息源(网络广播、网络电视、播放器等)有关的信息。作为与信息源有关的信息，对在该虚拟空间上设置的每个信息源，有识别该信息源用的信息源识别信息、在虚拟空间中的设置场所、用户视听该信息源时的最佳区域等。另外，本实施形态的信息源，例如在网络广播的情况下，将每个频道设为一个信息源，并对各个从流服务器140配送的音频信息添加信息源识别信息。另外，在网络电视的情况下，将每个频道设为一个信息源，并对从各个流服务器140配送的视频信号添加信息源识别信息。因此，信息源识别信息是可识别(指定)信息源的种类和频道的信息。
接着，对于各功能的动作，以存在、声音和图像的过程进行说明。
对于存在，指示设备226接收来自自身用户的位置信息或方位信息的输入，并将这些信息转换为数字信号后，输入到空间模型221中。空间模型221接收来自指示设备226的输入，并使虚拟空间中的所述自身用户的位置和方向改变。另外，后面描述使用了指示设备226的用户的移动方法。
然后，空间模型221经存在提供器222，将自身用户在虚拟空间的位置信息(方位信息)发送到存在服务器110。另外，空间模型221经存在提供器222，从存在服务器110接收其他用户在虚拟空间的位置信息(方位信息)。然后，空间模型221保持使用客户机201的用户在虚拟空间内的位置信息(方位信息)和其他用户在虚拟空间中的位置信息(方位信息)。即，空间模型221经网络101，接收其他用户在虚拟空间中的位置信息和方位信息，所以对于其他用户在虚拟空间内的位置和方向，不能避免延迟和抖动的产生。另一方面，对于自身用户的位置和方向，由于从指示设备226直接向空间模型221输入，所以几乎不会产生延迟。因此，客户机201的用户可实时在显示器220上确认移动后的自身位置，使容易的指示设备226的操作成为可能。
对于声音，麦克风211收集使用客户机201的用户声音，并发送到音频编码器212。然后，音频编码器212将所述声音转换为数字信号后，输出到音频再现器216中。另外，音频通信部215在与其他一个或多个客户机之间实时发送接收音频信号，并输出到音频再现器216。另外，音频通信部215在与流服务器140之间实时接收音频信号后，发送到音频再现器216中。
向音频再现器216输入从音频编码器212和音频通信部215输出的数字输出信号。然后，音频再现器216使用三维音频技术，根据空间模型221保持的听觉虚拟空间属性、和在虚拟空间上配置(映射)的自身用户和其他用户的位置、用户之外的信息源(网络广播等)的位置，来计算在虚拟空间上如何听到其他用户(通信对方)的声音或用户之外的信息源的声音(音乐)。另外，虚拟空间属性包括在该虚拟空间上设置的各信息源的信息源识别信息和设置场所等。因此，音频再现器216将从流服务器140接收的音频信号配置在对应于该音频信号的信息识别信息的、虚拟空间内的设置场所后进行再现。
下面，使用图4、5，具体说明音频再现器216。
图4是模式表示其他用户或网络广播等信息源(声源)的方向和距离的图。图5中，表示从正上面表示的人头1和作为信息源的声源2。人头1具有用于表示方向的鼻子11。即，人头1向着加有鼻子11的方向3。在三维音频技术中，主要通过呈现在人头1旋转的存在下的音响变化方式(脉冲响应)的HRIR(Head Related ImpluseResponse)和由房间等虚拟环境生成的模拟混响来表现声音的方向和距离。然后，通过声源2和人头1的距离4及人头1和声源的角度(水平角度和垂直角度)5来决定HRIR。另外，存储器302或外部存储装置303中预先存储了使用虚拟头(人头1)分别对各距离和各角度测量的HRIR的数值。另外，HRIR的数值通过使用左声道用(由虚拟头的左耳测量)和右声道用(由虚拟头的右耳测量)为不同的数值来表现左右、前后或上下的方向感。
图5是表示音频再现器216的处理的图。音频再现器216对于各个声源，对通过后述的RTP(Real-time Transport Protocol)或RTSP(Real Time Streaming Protocol)接收的每个包(通常为每20ms)进行下述的计算。如图所示，音频再现器216对于各声源，接收信号列si[t](t＝1，...)和声源在虚拟空间内的坐标(xi，yi)的输入(S61)。从空间模型221输入各声源在虚拟空间内的坐标。空间模型221在虚拟空间上映射(配置)了各声源后，将各声源的坐标(虚拟空间的位置信息)输入到音频再现器216中。另外，从音频通信部215输入各声源的信号列。
然后，音频再现器216使用所输入的坐标，对每个声源计算自身用户和声源的距离和角度(azimuth)(S62)。然后，音频再现器216从存储器302或外部存储装置303中预先存储的HRIR的数值中指定对应于与自身用户的距离和角度(azimuth)的HRIR(S63)。并且，音频再现器216也可使用通过校正存储器302等中存储的HRIR的数值而算出的HRIR的数值。
然后，音频再现器216使用在S61中输入的信号列和S63中指定的HRIR的左声道用HRIR，进行卷积(convolution)计算，生成左声道信号(S64)。然后，音频再现器216将来自各声源的左声道信号全部相加(S65)。另外，音频再现器216使用在S61中输入的信号列和在S63中指定的HRIR的右声道用HRIR，进行卷积(convolution)计算，生成右声道信号(S66)。音频再现器216相加全部来自各声源的右声道信号(S67)。
接着，音频再现器216对相加后的左声道信号施加混响(S68)。即，音频再现器216根据由虚拟空间属性产生的音响变化方式(脉冲响应)计算混响。混响的计算包括基于FIR(有限脉冲响应)的计算法和基于IIR(无限脉冲响应)的计算法。由于这些计算法是与数字滤波器有关的基本方法，所以这里省略了说明。另外，音频再现器216与左声道相同地对相加后的右声道信号施加混响(S69)。虽然HRIR的指定(S63)如前所述对每个包进行，但是在混响计算(S68、S69)和卷积计算(S64、S66)中，产生应转入到下一包的部分。因此，需要将所指定的HRIR或所输入的信号列保持到下一包的处理之前。
这样，音频再现器216对从音频通信部215输出的通信对方的用户声音和用户以外的信息源的声音进行基于所述计算的音量调整、混响和回声的重叠、滤波等处理，而对自身用户在虚拟空间内的位置应听到的声音控制音响效果。即，通过虚拟空间的属性和其他用户或用户之外的信息源的位置进行归结的处理，来定位声音，进行再现。
对于图像，摄像机213拍摄用户的头部，并将所拍摄的图像连续发送到视频编码器214中。然后，视频编码器214将所述的图像转换为数字信号后，输出到图形再现器219中。另外，视频通信部218在与其他一个或多个客户机之间实时发送接收视频信号后，输出到图形再现器219中。另外，视频通信部218在与流服务器140之间接收视频信号(运动图像数据)，而发送到图形再现器219中。图形再现器219输入来自视频编码器214和视频通信部218的数字输出信号。
然后，图形再现器219根据空间模型221保持的视觉虚拟空间属性、虚拟空间中的自身用户的位置和方向，计算(坐标转换)在虚拟空间上如何看到其他用户、网络广播等的信息源。另外，虚拟空间属性包括在该虚拟空间上设置的各信息源的信息源识别信号和设置场所等。因此，图形再现器219将从流服务器140接收的视频信号嵌入到对应于该视频信号的信息识别信息的、在虚拟空间内的设置场所中。
接着，图形再现器219对从视频通信部218输出的通信对方的用户图像和从流服务器140发送的视频信号，通过所述计算以从自己的位置看的视点进行根据虚拟空间的属性而归结的处理，并生成在画面上输出的图像数据。将由该图形再现器219生成的图像输出到显示器220中，再现为从使用客户机201的用户的视点看到的图像，用户参照显示器220的输出。
图6是在显示器220上显示的虚拟空间的一例。
图示的例子中，进行使用了三维图形技术的再现。图形再现器219根据在存储器302或外部存储装置303中存储的虚拟空间大小、墙壁等的虚拟空间属性和虚拟空间内的各种信息源(用户、网络广播等)等三维数据生成二维图像，并显示在显示器220上。
在图示的例子中，显示通过从由自身用户在虚拟空间的位置和方向决定的视点眺望在虚拟空间上配置的壁面、天井、床面和表现其他用户的两个麻点11、12、用户以外的四个信号源21～24而得到的二维图像。在改变虚拟空间内的视点时，通过指示设备226，通过改变自身位置或方向来改变所述视点，并实时在画面上显现来自该位置的眺望。另外，图示的例子中，没有显示使用客户机201的自身用户。
麻点11表示使用客户机202的第一其他用户，麻点12表示使用客户机203的第二其他用户。另外，虽然没有图示，但是通过纹理映射对麻点11粘附客户机202的摄像机213所拍摄的第一其他用户的图像，对麻点12粘附客户机203的摄像机213所拍摄的第二其他用户的图像。若通信对方的用户旋转，纹理映射也随之旋转，所以第一和第二用户可以把握在虚拟空间内朝向哪个方向。图示的例子中，虽然仅通过图形(或图像)表示麻点11、12，但是还可在图形的附近显示对应于各麻点11、12的用户的用户信息(例如，地址等文字信息)。
另外，在各麻点11、12的周围显示规定的区域、即aura(territory)13、14。在实际空间中与他人进行对话的情况下，与他人相隔一定距离进行对话。即，若他人存在于与自身相当接近的位置，则存在产生不快感觉的情况。Aura是与他人之间确保一定距离用的区域。在用户移动的情况下，不能移动到其他用户的aura13、14中。
另外，aura13、14可以针对每个用户设定固定大小的区域。即，对各个客户机的局部策略224设定该用户的aura(区域)的大小。空间模型221在后述的进入虚拟空间处理时，接收存在于该虚拟空间内的其他用户的aura，并存储在存储器302或外部存储装置中。图形再现器219读出存储在存储器等中的其他用户的aura的大小，并显示在显示器220上。
另外，图示的例子中，虽然aura的形状以球(圆形)来表示，但是也可以是多面体。另外，aura的形状也可以是椭圆。在aura的形状设为椭圆的情况下，一个焦点可以作为用户的位置。然后，用户朝向另一个焦点。即，aura为前方长、后方短的椭圆。这表示用户的注意更容易向着前面。另外，椭圆的细长可以根据用户的嗜好等而改变。另外，也可以接收来自用户的指示，从显示器220中消去aura的显示。
虚拟空间的属性包括与在该虚拟空间上设置的网络广播、网络电视等信息源21～24有关的信息。另外，在存储器302或外部存储装置上存储虚拟空间的属性。图示的例子中，显示了显示有网络电视等信息源的显示器21、22。另外，在显示器21、22的左右两侧设置扬声器，输出对应于从显示器输出的视频信号的声音。图形再现器219读出在存储器等中存储的信息源21、22的信息，向虚拟空间上的规定场所纹理映射从流服务器140接收的视频信号(图像)来进行显示。由于如图6所示的信息源21、22那样，将显示间隔决定为规定的大小，所以进行纹理映射的计算，使其容纳在其中。
另外，图示的例子中，显示输出网络广播等的信息源的声音·音乐的扬声器23、24。图示的例子中，左声道用和右声道用的两个扬声器成组配置。另外，在再现5.1声道的声音的情况下，6个扬声器成组配置。音频再现器216读出存储器等中存储的信息源23、24的信息后，向虚拟空间上的规定场所再现从流服务器140接收的音频信号后，向耳机输出。
音频再现器216对于从其他用户接收的音频信号，缓冲40ms～200ms左右后进行再现，对于从流服务器140接收的音频信号，缓冲几秒左右后进行再现。这是因为由于具有在与其他用户之间进行双向对话的可能性，所以即使在进行再现之前包没有到来，而有音质下降的危险，也需要使延迟尽可能小。另一方面，这是因为由于流为单向通信，所以数秒的延迟通常没有问题，需要等待延迟的包的到来以尽可能避免音质的下降。
另外，对于将从流服务器140接收的音频信号的图像(运动图像)或音频信号的声音(音乐)显示在哪个信息源的设置场所上，通过所述的信息源识别信息来对应。另外，如上所述，信息源在每个频道中存在。由此，用户在选择收看收听的图像(运动图像)或声音(音乐)时，可以一次收看收听进入视野(或耳朵可听到)的多个信息源21～24。另外，可以从这些信息源21～24中容易地选择自己想看的图像或声音·音乐。然后，若自身用户指定了想看的信息源，则向所指定的信息源移动。由此，将自身用户的视点不同、指定的信息源为中心的虚拟空间显示在显示器220上。另外，通过向指定的信息源移动，音频再现器216进行控制，使得能大声听到该信息源的声音。
图7在平面图中显示了图6所示的虚拟空间。图示的例子中，空间模型221以存储器302或外部存储装置303中存储的虚拟空间的属性、虚拟空间内的自身用户的位置和其他用户的信息为基础，显示通过从正上方眺望在虚拟空间内配置的各信息源11、21、21～24而得到的二维图像。另外，在信息源21、22为网络电视的情况下，即使是如图7所示的平面图，也显示从正面眺望的图像。即，单纯缩小图像(图形)，而显示在该图像的设置位置上。
图形再现器219固定客户机201的自身用户的位置和方向，以自身用户为中心进行显示，使得虚拟空间和在虚拟空间内存在的其他用户相对移动、旋转。在自身用户通过指示设备226改变了位置或方向的情况下，实时显示虚拟空间和虚拟空间的信息源相对移动·旋转后的画面。图示的例子中，自身用户通常固定在前面的方向(画面的上部)。因此，若自身用户改变方向，则虚拟空间的墙壁4移动。由此，可以表现自身用户和信息源的相对位置关系。
另外，与其他客户机(其他用户)的声音或运动图像的实时通信通过IETF(Internet Engineering Task Force)发行的文档RFC3550中所描述的作为协议的RTP(Real-time Transport Protocol)来进行，其通过IETF发行的文档RFC3216中所描述的作为协议的SIP(Session Initiation Protocol)来控制通信开始·终止等。另外，流服务器140的声音或图像的配送也通过所述RTP进行，其通过IETF发行的文档RFC2326中描述的作为协议的RTSP(Real Time StreamingProtocol)等进行控制。RTF是在TCP/IP网络上，实时配送声音和运动图像等用的协议。通过使用RTSP，使边下载声音或运动图像等数据、边再现声音或运动图像的流成为可能。
以上，终止对图2的客户机201的说明。另外，客户机201中，麦克风211、摄像机213、耳机217、指示设备226和显示器220通过硬件实现。另外，音频编码器212和视频编码器214通过软件、硬件或这些的组合来实现。另外，音频通信部215、视频通信部218、空间模型221和会话控制部223通常由软件实现。
接着，参照图8，示例客户机201、202、203的种类。
图8(a)所示的客户机具有接近PDA或小型计算机的大小和功能。客户机主体230具有摄像机213、显示器220、指示设备226和天线237。另外，在主体230上连接的耳机具有头挂听筒217和麦克风211。
指示设备226具有前进钮231、后退钮232、左移动钮233、右移动钮234和选择钮235。例如，通过按压前进钮231，在虚拟空间内前进，通过按压后退钮232，在虚拟空间内后退。另外，后面描述在虚拟空间上的移动。
另外，指示设备226也可以是触摸屏。即，显示器220的表面也可以是由配置了检测手指等的接触用的元件的透明屏幕(触摸屏)覆盖的触摸屏。用户通过用手指或专用笔接触显示器220，可容易进行输入操作。
另外，虽然将图中所示的耳机有线连接到主体230上，但是也可通过蓝牙或IrDA(红外线)等进行无线连接。另外，该客户机也可通过使用天线237由无线LAN连接到互联网101上。
图8(b)所示的客户机表示台式机。在计算机主机251上连接有耳机211、摄像机213、显示器220、代替耳机功能的扬声器252和具有代替指示设备226的功能的键盘253。另外，指示设备226也可以是前述的触摸屏。另外，认为该客户机通过双绞线连接到LAN，并进一步连接到互联网101。
接着，说明虚拟空间的移动方法。
首先，说明指示设备226为图8(a)所示的各种按钮231～234的情况下的移动方法。例如，在指示向前短距离移动的情况下，用户比规定时间短地按压前进按键231(下面，称为“短时间按压”)。所谓向前短距离移动是指当前时刻的用户在虚拟空间的位置向当前时刻用户在虚拟空间所面向的方向(前方)前进(移动)规定的距离。空间模型221接收来自前进按钮231的短时间按压的输入后，将自身用户向前方移动规定的距离。
另外，在指示向后短距离移动的情况下，用户与向前的短距离移动同样，短时间按压后退按钮232。空间模型221在接收了来自后退按钮232的短时间按压的输入后，将自身用户向后方移动规定的距离。
另外，在指示改变向左方向或右方向的方向的情况下，用户短时间按压左移动按钮233或右移动按钮234。接收了左移动按钮233的短时间按压输入后，空间模型231将自身用户在虚拟空间内向左旋转几度。另外，在接收了右移动按钮234的短时间按压输入后，空间模型221将自身用户在虚拟空间内向右旋转几度。
另外，在指示向前长距离移动的情况下，用户比规定时间长地按压前进按钮231(下面，称为“长时间按压”)。所谓向前长距离移动是指从当前时刻的用户在虚拟空间内的位置向存在于最接近的前方的其他用户紧前移动。即，从前方的其他用户移动到规定的距离之前。空间模型221若接收了前进按钮231的长时间按压，则参照在该客户机201的外部存储装置303中存储的局部策略224和存在于前方的用户的局部策略224，决定移动位置。
例如，在第一客户机的局部策略224上存储“aura＝50cm”，但是在第二客户机的局部策略224上存储“aura＝60cm”。这时，意味着第一客户机的用户与其他用户通常至少确保50cm的距离，即，在半径50cm以内，限制了其他用户的进入。同样，意味着第二客户机的用户与其他用户通常至少确保60cm的距离。在这种状态下，第一客户机的用户在向第二客户机的用户进行向前的长距离移动的情况下，空间模型221比较第一客户机的局部策略224、第二客户机的局部策略224。然后，空间模型221指定大的aura值“aura＝60cm”。然后，空间模型将第一用户移动到接触到第二用户的aura的地点(即，距第二用户60cm)。
这样，通过采用aura值大的一方，对于所有用户可以确保适当的与其他用户的距离。另外，局部策略224由用户预先从输入装置305输入，并存储在外部存储装置303中。
图9是模式表示前方长距离移动的图。图9中，表示在虚拟空间中进行向前的长距离移动的自身用户1和在虚拟空间中位于自身用户的前方的第一其他用户21和第二其他用户22。另外，在第一其他用户21的周围显示aura31。
这种状态下，在通过长时间按压前进按钮231指示向前长距离移动的情况下，空间模型221指定存在于自身用户1的前方的其他用户，即，位于最接近自身用户1的第一其他用户21。然后，空间模型221比较自身用户1的aura值和第一其他用户21的aura值，指定大的值。然后，空间模型221移动到距第一其他用户21相隔指定的aura值的地点a。另外，图示的例子中，设第一其他用户21的aura值比自身用户1的aura值大，或设双方为相同的值。
另外，位于前方的其他用户包括存在于规定的角度5内的前方的其他用户。即，在第一其他用户21不存在的情况下，空间模型221指定存在于规定的角度5内的前方的第二其他用户22，并向第二其他用户22前进。由此，即使是不在正面而是存在于前方的其他用户，也可移动到该其他用户紧前(接触到aura的地点)。另外，规定的角度5可根据用户的嗜好预先定义。另外，用户可通过使用输入装置904输入希望的角度，随时改变各角度。另外，也可根据存在于虚拟空间的其他用户的密度，由空间模型221来调整角度。例如，空间模型221在密度为大于或等于规定值的情况下设为规定的角度，在密度比规定的值小的情况下设为比所述规定的角度大的角度。
在指示向后长距离移动的情况下，长时间按压后退按钮232。由此，与向前长距离移动相同，可以移动到存在于后方的其他用户紧前(接触到aura的地点)。
在指示向左或右方向长距离移动的情况下，长时间按压左移动按钮233或右移动按钮234。所谓向左或右方向长距离移动是指移动到存在于距自身用户在虚拟空间的位置一定范围(距离)内的其他用户、即在从自身用户的方向向左或右旋转的情况下，存在于旋转角度最小的方向上的其他用户紧前。
图10是模式表示向左或右方向的长距离移动的图。图10中，虚拟空间中，表示了自身用户1、第一其他用户21、第二其他用户22、第三其他用户23、第四其他用户24和第五其他用户25。另外，通过以自身用户1为中心的圆来设定用于指定存在于距自身用户1规定的范围(距离)内的其他用户的区域5。另外，区域5的半径根据虚拟空间的大小或将该虚拟空间在显示器上显示时的比例尺(未图示)来设定。另外，在图示的例子中，第一其他用户21和第二其他用户22的aura值比自身用户1的aura值大。
在这种状态中，在长时间按压左移动按钮233的情况下，空间模型221指定在规定的领域5内存在的其他用户，即，从作为自身用户的方向的前方A向左旋转、在最接近(旋转角度小)的方向上存在的第一其他用户21。然后，空间模型221将自身用户1向左旋转到与第一其他用户21正对的位置上(左旋转α度)。这时，自身用户1向着第一其他用户21到达正面的方向B。然后，空间模型221与前述的前方长距离移动相同，使自身用户1向第一其他用户21前进，而移动到第一其他用户21紧前(与aura31相接触的地点)地点b’。另外，第四其他用户24虽然存在于区域5内，但是存在于从用户的方向A向左旋转，比第一其他用户21更远(旋转角度大)的方向。因此，在长时间按压左移动按钮233的情况下，空间模型221不指定第四其他用户24。
另外，这种状态中，在长时间按压右移动按钮234的情况下，空间模型221指定在区域5内存在的其他用户，即，从作为自身用户的方向的前方A向右旋转，最接近(旋转角度小)的方向上的第二其他用户22。然后，与长时间按压左移动按钮233的情况相同，空间模型221将自身用户1向右旋转到第二其他用户22到达正面的位置(右旋转β度)。然后，空间模型221使自身用户1向第二其他用户22前进，而移动到第二其他用户22紧前(与aura32相接触的地点)的地点c’。另外，第五其他用户25虽然存在于与自身用户的方向A最接近(旋转角度小)的方向上，但是不存在于区域5内(即，距自身用户1的距离远于规定的距离)。因此，在长时间按压左移动按钮233的情况下，空间模型221不指定第五其他用户252。
另外，在前方、后方、左方向和右方向的长距离移动中，在所指定的移动目标是网络广播等用户之外的信息源的情况下，移动到该信息源的最佳区域内的任一个地点。最佳区域是预先定义的虚拟空间属性中的一个，即，可舒适地收看收听该信息源的虚拟空间内的规定区域。
接着，说明指示设备226为在显示器220上设置的触摸屏情况下的移动方法。触摸屏通过由手指或专用笔接触输出装置的画面，进行输入操作。触摸屏通过检测出手指接触的位置，指定画面上的位置(坐标)，向空间模型221提供移动指示。
例如，在指示向前短距离移动的情况下，用户从在显示器220上显示的虚拟空间的自身用户的位置开始向前方(自身用户所面向的方向)比规定长度(例如，2cm)短地在触摸屏(显示器220)上进行描画(移)。触摸屏检测出接触，并向空间模型221通知在显示器上检测出的线的坐标。空间模型221根据从触摸屏输入的线的坐标指定的长度，将自身用户向前方移动规定的距离。另外，在指示向后方短距离移动的情况下，用户与向前方的短距离移动同样，从显示器220上显示的虚拟空间中的自身用户的位置开始向后方(与用户面向的方向相反的方向)比规定长度短地在触摸屏上描画。
在指示向左方向短距离移动的情况下和指示向右方向短距离移动的情况下也与向前的短距离移动相同，自身用户沿左方向或右方向比规定长度短地在显示器上描画。另外，所谓向左方向的短距离移动或向右方向的短距离移动是指从当前时刻用户在虚拟空间内的位置向左方向或右方向仅前进(移动)规定的距离。
另外，在指示向前方的长距离移动的情况下，自身用户从在显示器220上显示的虚拟空间内的自身用户的位置开始沿前向在触摸屏(显示器220)上描画规定的长度(例如，2cm)以上。由此，与长时间按压所述的前进按钮231的情况相同，从当前时刻用户在虚拟空间内的位置开始向存在于最接近的前方的其他用户紧前移动。在指示向后方的长距离移动的情况下，从在显示器220上显示的虚拟空间的自身用户的位置开始沿后向在触摸屏上描画规定的长度(例如，2cm)以上。由此，与长时间按压所述的后退按钮232的情况相同，从当前时刻用户在虚拟空间内的位置开始向存在于最接近的前方的其他用户紧前移动。
另外，在指示向左或右方向的长距离移动的情况下，自身用户从在显示器220上显示的虚拟空间内的自身用户的位置开始向左或向右在触摸屏上描画规定的长度(例如，2cm)以上。由此，与长时间按压所述的左移动按钮233或右移动按钮234的情况相同，自身用户移动到存在于距当前时刻在虚拟空间中的位置一定的范围(距离)的其他用户、即从当前时刻用户的方向开始向左或右旋转的情况下，最接近(旋转角度小)的方向上的其他用户紧前。
另外，在使用触摸屏来指示自身用户的移动的情况下，通过量化手指的运动，使得手指的颤动对移动指示没有影响。即，触摸屏检测出用户的手指或手的运动，将所检测出的线的坐标通知给空间模型221。空间模型221比较从触摸屏输入的线(移动距离)的左右方向成份x的绝对值和前后方向成份y的绝对值。在左右方向成份x的绝对值比前后方向成份y的绝对值大的情况下，空间模型221判断为向左右的移动，而忽略y的值。在前后方向成份y的绝对值比左右方向成份x的绝对值大的情况下，空间模型221判断为向前后的运动，而忽略x的值。
另外，在判断为向左右运动的情况下，即x的绝对值比规定的值(例如，2cm)短的情况下，空间模型221判断为短距离移动。另外，在x的绝对值比规定的值(例如，2cm)长的情况下，空间模型判断为长距离移动。同样，在判断为向前后移动的情况下，即y的绝对值比规定的值(例如，2cm)短的情况下，空间模型221判断为短距离移动。另外，在y的绝对值比规定的值(例如，2cm)长的情况下，空间模型判断为长距离移动。由此，指端不能自由活动的残疾人或老人可以容易在虚拟空间上进行向适当位置的移动。
另外，也可以不进行将手指的运动(移动量)限定为短距离和长距离两种量化。这时，空间模型221与上述方法相同，将从触摸屏输入的线(移动距离)分类为前后方向或左右方向的移动。之后，空间模型221使用户移动与从触摸屏输入的前后方向或左右方向的轨迹(track)量(手指的描画)成比例的距离。这时，由于需要正确的轨迹(手指的描画)，所以老人和残疾人很难输入。但是，对健全人来说，有可以更快速地进行输入的优点。
另外，上述说明的触摸屏也可以是触摸片。触摸片是通过用手指在平面状的操作面上描画来移动鼠标，或通过用手指敲操作面而进行相当于鼠标的操作的指示设备。触摸片用作笔记本型PC用的指示设备，不设置在显示器220上，而例如设置在键盘的附近。
另外，指示设备226也可以是鼠标。
接着，参照图11-图15，说明客户机201的处理过程。
图11是将客户机201连接到网络101上时的处理过程。图示的连接过程在客户机201的电源接通时执行。首先，会话控制部223将包含用户的识别信息和认证信息的登录消息发送到SIP代理服务器120中(S901)。SIP代理服务器120接收登录消息，将该用户的认证请求消息发送到登录服务器130。然后，登录服务器130认证用户的识别信息和认证信息，并将用户的识别信息发送到存在服务器110中。在客户机和登录服务器130的通信中，考虑使用在IETF的文档RFC3261中规定的协议SIP(Session Initiation Protocol)的REGISTER消息。客户机经SIP代理服务器120，定期向登录服务器130发送REGISTER消息。
另外，在客户机201的存在提供器222和存在服务器110的通信中，可以使用IETF的文档RFC3265中描述的SIP的SUBSCRIBE消息。SUBSCRIBE消息是在事件发生时预先请求接收通知的事件请求消息。存在提供器222与存在服务器110管理的虚拟空间的房屋列表和入场者列表相关地向存在服务器110请求产生的事件的通知。另外，存在提供器222在使用了SUBSCRIBE消息的情况下，经会话控制部223和SIP代理服务器120与存在服务器110进行通信。
接着，存在提供器222从存在服务器110接收房间列表(S902)。在S901中，在使用了SUBSCRIBE消息的情况下，作为事件通知消息使用NOTIFY消息发送所述的房间列表。然后，存在提供器222将所接收的房间列表显示在显示器220上(S903)。
图12表示用户从显示器220上显示的房间列表中选择想入场的房间时的客户机201的处理过程。客户机201的存在提供器222接收使用指示设备226输入的房间的选择指示(S1001)。然后，存在提供器222向存在服务器110发送入场消息(enter)(S1002)。入场消息中含有自身用户的识别信息、自身用户在虚拟空间内的位置信息和方位信息、在局部策略224中存储的aura的大小。另外，将入场时的自身用户的位置信息和方位信息预先存储在存储器302或外部存储装置303中。
入场消息的发送也可使用SIP的SUBSCRIBE消息。即，将所选择的房间作为接收者的SUBSCRIBE消息作为入场消息使用。SUBSCRIBE消息请求通知该所选择的房间在虚拟空间中所发生的事件(例如，用户的入场退场或移动、虚拟空间属性的改变等)。
接着，存在提供器222从存在服务器111接收进入到所选择的房间中的其他用户的入场者列表(S1003)。在将SUBSCRIBE消息作为入场消息使用的情况下，以对应于此的NOTIFY消息的形式向存在提供器222发送入场者列表。另外，入场者列表至少包括与进入房间中的其他用户有关的信息和所指定的房间的虚拟空间属性。
与其他用户有关的信息中，针对每个其他用户包括其他用户的识别信息、虚拟空间中的位置信息和方位信息、在其他用户的局部策略224中存储的aura的大小。虚拟空间属性中包含有与用户之外的信息源(网络广播、网络电视等)有关的信息。作为与信息源有关的信息是针对每个在该虚拟空间中设置的信息源的、用于识别信息源的信息源识别信息、虚拟空间中的设置场所、用户收看收听该信息源时最佳的视听区域(虚拟空间上的规定场所)等。然后，存在提供器222将得到的入场者列表中含有的信息存储在存储器302或外部存储装置303中。
在上述所说明的入场处理后，音频通信部215和视频通信部218使用RTP，从流服务器140中接收声音或运动图像等多媒体数据。另外，使用RTP(Real-time Transport Protocol)，与其他用户的客户机之间发送接收进入房间的其他用户的声音或图像及自身用户的声音或图像。
另外，虽然图中未示出用户退出房间时的处理过程，但是接收用户的退出指示，存在提供器222向存在服务器110发送包括用户识别信息的退出消息。
图13是在用户改变存在的情况下，即，在虚拟空间中，改变位置或方向的情况下的处理过程。首先，空间模型221从指示设备226接收移动信息的输入(S1101)。空间模型221判断所接收的移动信息是否为长距离移动(S1102)。即，在接收了前进按钮231、后退按钮232、左移动按钮233或右移动按钮234的长时间按压的情况下，空间模型判断为所输入的移动信息为长距离移动。另外，在从触摸屏接收了向规定方向的比规定的长度长的线的连续的坐标输入的情况下，空间模型判断为所输入的移动信息为长距离移动。
在判断出移动信息为长距离移动的情况下(S1102：yes)，空间模型221指定移动目标的信息源(S1103)。例如，在长时间按压前进按钮231的情况下，指定在最接近的前方存在的其他用户或用户之外的信息源(参照图9)。另外，在长时间按压左移动按钮233的情况下，指定在规定的范围内，即向左方向的旋转角度最短的其他用户或用户之外的信息源(参照图10)。
然后，空间模型221指定自身用户的移动目标的场所(地点)(S1104)。即，在所指定的信息源为其他用户的情况下，空间模型221比较在入场处理中所接收的入场者列表(图12：参照S1003)中含有的其他用户的aura的大小和在局部策略224中存储的自身用户的aura的大小。然后，空间模型221指定大的aura，指定所指定的aura与自身用户接触到的时刻(或，自身用户的aura和其他用户接触到的地点)。
另外，所指定的信息源为用户之外的信息源(例如，网络广播等)的情况下，空间模型221指定在入场者列表(图12：参照S1003)的虚拟空间属性中含有的、所指定的信息源在视听区域内的任何地点。
然后，空间模型221向所指定的自身用户的移动目标的场所(地点)移动自身用户(S1005)。另外，在判断为移动信息不是长距离移动的情况下(S1102：No)，空间模型221根据所输入的移动信息，移动自身用户(S1105)。例如，在接收了所述按钮231的短时间按压的输入的情况下，空间模型221将自身用户向前方移动规定的距离。另外，在接收了左移动按钮233的输入的情况下，空间模型221将自身用户向左方向移动规定的角度，并改变方向。
然后，空间模型221将移动后的自身用户的位置和方向(下面，称为“位置信息等”)存储在存储器302或外部存储装置303(下面，称为“存储器等”)中。
接着，空间模型221向音频再现器216、图形再现器219和存在提供器222通知移动后的虚拟空间的位置信息等(S1106)。音频再现器216如图5所说明的，计算在虚拟空间内的自身用户的位置和方向中，可怎样听到各信息源的声音、音乐。然后，音频再现器216对从音频通信部215输出的各信息源的声音、音乐等进行由所述计算进行的音量调节、混响、滤波等处理，将音响效果控制为使用客户机201的自身用户在虚拟空间内的位置中应听到的声音，并更新三维音响。
另外，图形再现器219根据虚拟空间内的自身用户的位置和方向改变视点，计算(坐标变换)在虚拟空间上可如何看到各信息源(参照图6、图7)。然后，图形再现器219通过从该位置和方向的眺望生成在画面上输出的图像数据，并更新显示画面。
接着，存在提供器222向存在服务器110通知自身用户移动后的在虚拟空间的位置信息等(S1107)。在使用了SIP协议的情况下，使用NOTIFY消息。另外，NOTIFY消息通常作为接收了SUBSCRIBE消息的结果来发送。因此，认为在存在服务器110从客户机201接收了入场消息时，在返回入场者消息的同时，发送对应于所述NOTIFY消息的SUBSCRIBE消息。另外，存在服务器110接收从存在提供器222通知的在虚拟空间中的位置信息等，更新入场者列表中的该用户的位置信息等。
图14是表示存在的改变输入，即存在服务器110向客户机通知其他用户在虚拟空间的位置信息等情况下的处理过程。
空间模型221经存在提供器222，从存在服务器110接收其他客户机的其他用户在虚拟空间的位置信息等(S1201)。另外，存在服务器110将在图13的S1107中从客户机发送的位置信息等通知(发送)给该发送源的客户机之外的客户机。然后，空间模型221在存储器等中存储所通知的在虚拟空间中的位置信息等。然后，空间模型221使用所通知的位置信息等，改变虚拟空间上的其他用户的位置和方向。然后，空间模型221向音频再现器216和图形再现器219通知移动后的虚拟空间的位置信息等(S1203)。音频再现器216和图形再现器219根据如图13的S1106，所通知的其他用户的位置和方向，更新该其他用户的三维音响和显示画面。
接着，说明存在服务器110的功能结构和处理过程。另外，对于登录服务器130、SIP代理服务器120来说，由于与使用SIP的现有通信相同，所以省略说明。
图15表示存在服务器110的功能结构。存在服务器110具有用于与客户机之间发送接收各种信息的接口部111、判断来自客户机的消息类别的判断部112、进行对应于判断结果的处理的处理部113、管理并存储虚拟空间的属性、在虚拟空间中发生的事件(用户的入场退场，移动等)、房间列表、入场者列表等的存储部114。
存储部114中预先存储了存在服务器110管理的一个虚拟空间的属性。如前所述，用户选择想要从这些虚拟空间入场的虚拟空间(参照图11、图12)。之后，客户机将入场到虚拟空间中的用户的各种事件发送到存在服务器110。由此，在各虚拟空间内产生了各种事件。另外，存储部114将这些信息存储在存储器302或外部存储装置303中。
另外，虚拟空间的属性包括与用户之外的信息源有关的信息。本系统的管理者预先决定将哪个信息源设置在哪个虚拟空间中，将信息源设置在虚拟空间的哪个地方或将信息源的视听区域设置在虚拟空间的哪个地方。然后，管理者使用输入装置305输入这些信息，并存储在存储部114中。例如，可以考虑通过播放台的特性或根据各播放台播放的节目内容，设定虚拟空间中的信息源的设置场所。
图16表示存在服务器110的处理过程。存在服务器110接收来自客户机的请求的情况下，将对其的处理进行到存在服务器110停止为止。首先，接口部111等待来自客户机的消息(S1411)。若接收了消息，则判断部112判断接口部111所接收的消息的种类(S1412)。
在消息是登录消息的情况下，处理部113指示接口部111，使其将房间列表发送到消息发送源的客户机(S1412)。接口部111将房间列表发送到消息发送源的客户机后，返回到之后的S1411，等待下一消息。
在消息为入场消息的情况下，处理部113将消息发送源客户机的用户追加到所指定的房间的入场者列表中(S1431)。即，处理部113将包含在入场消息中的该用户的识别信息、该用户在虚拟空间的位置信息和方位信息、该用户的aura的大小追加到入场者列表中。接着，处理部113指示接口部111，使其将所指定的房间的全部入场者(其中，该用户之外)的识别信息、虚拟空间上的位置信息和方位信息、aura的大小发送到消息发送源客户机中。
另外，处理部113指示接口部111，使其将所指定的房间的虚拟空间属性发送到消息发送源客户机中。虚拟空间属性中包含与在虚拟空间上设置的各信息源有关的信息。接口部111根据所述指示，发送到发送源客户机(S1432)。并且，进入到后述的S1436中。
在为移动消息的情况下，处理部113更新入场者列表中的消息发送源客户机(用户)在虚拟空间中的位置信息和方位信息(S1435)。另外，虚拟空间的位置信息和方位信息包含在移动消息中。然后，处理部113指示接口部111，使其向作为对象的房间的所有入场者的客户机(其中，消息发送源客户机除外)通知消息发送源客户机的用户识别信息、虚拟空间的位置信息和方位信息(S1436)。接口部111根据所述指示，向客户机进行发送后，返回到S1411。在为入场消息的情况下(S1431)也同样处理。
在为退场消息的情况下，处理部113从入场者列表中删除消息发送源客户机的用户(S1441)。然后，处理部指示接口部111，使其向作为对象的房间的所有入场者的客户机(其中，消息发送源客户机除外)通知该用户从房间中退场(S1442)。接口部111根据所述指示，向客户机发送，并返回到S1411。
另外，虽然没有图示，但是存在服务器110也可接收来自系统管理者的请求(输入)，并改变虚拟空间属性。例如，判断部112接收从存在服务器110的输入单元305输入的信息源追加指示。该信息源追加指示中含有识别变更对象的房间的识别信息，追加信息源的识别信息和设置场所、视听区域。并且，处理部113向存储部114中存储的改变对象的房间中追加新的信息源。然后，处理部113读出存储部114中所存储的入场者列表，并向进入到变更对象的房间中的所有用户的客户机通知变更后的虚拟空间属性(信息源的追加)。接收了通知的客户机的空间模型221将变更后的虚拟空间属性存储在存储器等中。音频再现器和图形再现器输出流服务器140配送的新信息源的音频信号和视频信号。
接着，说明流服务器140的功能结构。
图17表示流服务器140的功能结构。如图所示，流服务器140具有流DB141，至少一个的文件再现部142和发送部143、会话控制部144。即，流服务器140具有对应于播放台的频道数的文件再现部142和发送部143。另外，流服务器140也可不具有频道数的文件再现部142和发送部143，也可通过时分分别使用一个程序或装置来实现。
流DB141是存储声音数据或运动图像数据等多媒体数据的数据库(文件)。文件再现部142对每个频道取出在流DB141中存储的MP3格式的信号(文件)、没有压缩的音乐信号、MPEG格式的信号(文件)、没有压缩的运动图像信号。然后，文件再现部142在压缩的情况下，分别将所取出的信号(文件)解压缩，并送到发送部143中。发送部143将从文件再现部142输入的各个信号发送到进入到虚拟空间中的所有客户机。会话控制部144控制与SIP代理服务器120和客户机之间的通信。
流服务器140的会话控制部144经SIP代理服务器120接收来自客户机的通信开始(INVITE)消息。然后，在该通信开始消息为最初的情况下(在发送声音或图像的客户机仍不存在的情况下)，文件再现部142开始对存储在流DB141中的文件的再现。然后，发送部143使用会话控制部144，将文件再现部142再现的文件内容发送到通信开始消息的发送源客户机中。另外，在从其他客户机全部接收通信开始消息、将文件再现部142再现的文件内容发送到其他客户机的情况下，在新接收了通信开始消息的情况下，发送部143使用会话控制部144，将文件再现部142所再现的同一文件的内容发送到新的通信开始消息的发送源客户机中。
另外，各客户机的音频通信部215和视频通信部218针对每个频道从流服务器140接收信号。并且，音频再现器216和图形再现器219根据在存储器等中存储的虚拟空间属性，指定在该虚拟空间中设置的对应于信息源的信号，并在该信息源的设置场所中输出(再现)所指定的信号。
以上，说明了本发明的一实施形态。
本实施形态的通信·系统中，可从存在于虚拟空间中的其他用户、网络广播等多个信息源中选择任意的信息源，从所选的信息源中将用户移动(接近)适当的距离。由此，可以成为也能听到来自存在于虚拟空间中的其他信息源的声音的状态，同时，可以重点听到所选的信息源的声音。
另外，在向存在于虚拟空间的其他用户、网络广播等信息源移动的情况下，可以根据该信息源容易地移动到适当的位置。由此，手不能自由活动的残疾人和老人等也可以在虚拟空间上容易地指示移动。
另外，本实施形态中，在一个虚拟空间内存在多个信息源。即，用户可以一次看到、听到多个信息源。由此，用户可以容易看到从存在于虚拟空间的多个信息源中想要对话的用户、或想要收看收听的收音机或电视。例如，可以一次收看收听收音机或广播的全部或其中几个频道的节目、可以使注意力向着一个节目，同时还可以听到其他节目发送的关键字和话题等。另外，有用户判断出与当前注意的信息源节目不同的信息源节目更好的情况。这时，用户通过接近判断为更好的节目的信息源，可以将注意力转移到其他信息源的节目，而不中止当前注意的信息源的节目的收看收听。另外，可以一次收看收听广播和电视的所有频道的节目。另外，可以边与其他用户进行对话，边收看收听某一个或多个信息源的节目。
本实施形态中，即使与现有的会议系统不同，多个信息源(多个其他用户组等)同时就不同的话题进行对话，自身用户也可通过在虚拟空间内移动或将注意力仅转移到来自指定方向的声音，来选择指定信息源的声音。另外，现有的会议系统中，由于不考虑从多个信息源选择指定的信息源，所以若多个用户同时发言，选择其中的指定用户是困难的。
本发明并不限于上述实施形态，可在其精神的范围内有各种变形。
例如，本实施形态的客户机201具有摄像机213和视频编码器214，向显示器220输出虚拟空间的图像数据。但是，考虑用户也可以通过由三维音频技术从耳机217中输出的三维声音，来把握各信息源的方向和距离，而且不参照显示器220，而是使用各操作按钮231～234，来进行虚拟空间中的自身用户的移动指示。这时，客户机201不向显示器220输出虚拟空间的图像数据。因此，客户机201不具有摄像机213、视频编码器214和显示器220等。
另外，在使用了触摸屏的自身用户的移动指示中，也可通过用手指接触想要移动的位置来指示想要移动的地点。触摸屏通过检测出手指接触的画面上的位置(坐标)，而向空间模型221输入画面上的位置。空间模型221使自身用户连续移动到对应于所输入的画面上的位置的虚拟空间上的位置。不直接移动到目的地的原因在于若急于移动，则有使以自身用户和其他用户的听觉为基础的感觉混乱的危险。通过连续地以不过快的速率移动，可以维持当前位置的感觉，同时用户可以进行移动。这时，空间模型221算出从自身用户的当前位置到所指示的移动后的位置的轨迹，并连续移动自身用户。即，在连接当前位置和所指示的位置的直线线段或曲线中，选择不通过其他用户(包含该用户的aura)和障碍物的附近的轨迹。在连接当前位置和所指示的位置的线段不通过其他用户和障碍物附近的情况下，空间模型221以该线作为轨迹，将自身用户以一定速度移动到所指定的位置上。另外，在连接当前位置和所指示的位置的线通过其他用户和障碍物附近的情况下，空间模型221从该线中选择规定数目的在规定范围内可通过的地点(其他用户和障碍物不存在的地点)。然后，空间模型221算出通过所选择的可通过的多个地点的锯齿曲线。然后，空间模型221取所算出的锯齿曲线，而以一定速度将自身用户移动到所指定的位置上。另外，在不通过其他用户和障碍物的附近就不能移动到所指定位置的情况下，空间模型221将由通知移动失败的声音作为出错消息输出到耳机217等中。由此，自身用户可以知道移动失败。
另外，本实施形态中，系统的管理者决定将哪个信息源设置在哪个虚拟空间中或将信息源设置在虚拟空间的哪个位置上。但是，还可以考虑根据播放台的特性、或各播放台当前广播的节目的内容而自动设定虚拟空间中的信息源的设置场所。例如，考虑通过将各播放台的指性或节目的内容描述为关键字组，通过将其输入到神经元网络中而生成二维的拓扑映射，并将声源配置在拓扑映射的各区域内的方法。
另外，本实施形态中，对应于虚拟空间中的用户的位置和方向，用户收看收听多个信息源的声音和图像。但是，也可以通过从网络广播或网络电视的多个信息源中选择、接近希望的信息源，用户可以仅收看收听网络广播或图像。例如，考虑在用户收看收听网络广播或网络电视等信息源时移动到作为虚拟空间上的最佳区域的视听区域的情况下，仅可以视听该信息源的声音或图像。即，用户移动到某一信息源的视听区域的情况下，音频通信部215和视频通信部218切断(终止通信)该信息源之外的音频信号或视频信号。并且，音频再现器216和图形再现器219仅再现该信息源的声音或图像，并输出到耳机217或显示器220上。另外，视听区域如前所述，是在虚拟空间属性中包含的与信息源有关的信息之一。
另外，作为除了本实施形态的用户的信息源，以网络电视或网络广播为例进行了说明。但是，除用户以外的信息源也可以是收音机广播的收音机节目。即，将以各个频率广播的广播节目设为一个信息源，在虚拟空间上配置作为多个频率的广播节目的多个信息源。在广播节目为信息源的情况下，图2所示的收音机通信部215接收从图中未示的广播台广播的广播节目。并且，音频通信部215将所接收的收音机节目的声音·音乐转换为数字信号后，输出到音频再现器216中。另外，通常的广播仅可以一次平均广播一个台。为此，通过刻度盘或选台按钮依次改变频率，收看想要听的节目很花时间。如上所述，通过将按每个频率广播的多个广播节目作为信息源而在虚拟空间上配置多个，而可依次收听从多个频率广播的广播节目。
另外，本实施形态中，存在服务器110管理虚拟空间中的各信息源的位置和虚拟空间属性。但是，各客户机也可具有存在服务器110的功能。即，各客户机在全部的客户机之间直接交换自身用户和其他用户在虚拟空间上的位置和方向的信息。然后，各客户机共用与全部用户有关的位置和方向的信息。另外，各客户机分别具有虚拟空间的属性信息。这时，不需要存在服务器110。具体的，各客户机的存在提供器222(参照图3)之间不经过存在服务器110而直接进行通信。该方法中，客户机需要知道其他所有客户机的地址。为了知道其他所有客户机的地址，具有预先向各客户机登录其他所有客户机的地址的方法，但是，已知使用在客户机之间、即通过对等通信，使用例如JXTA(http：//www.jxta.org/)协议以发现其他的客户机的方法更好。
另外，本实施形态中，各个客户机不直接进行声音通信，而三维化从其他客户机输入的声音(参照图5)。但是，在客户机的处理能力和通信能力低的情况下，也可由服务器进行这些处理。即，考虑对图1所示的网络结构追加新的音响服务器。另外，本实施形态中各个客户机直接从流服务器140中接收音频信号或视频信号，而在虚拟空间的规定场所中输出。但是，也可以由流服务器140进行这些处理，下面，说明各服务器进行再现时的实施形态。
图18是具有音响服务器150的实施形态的网络结构图。图示的网络结构在具有音响服务器150方面与图1的网络结构不同。另外，各客户机201、202、203与图3所示的客户机的结构在以下方面不同。即，音频再现器216是不进行声音三维化处理(参照图6)的单纯的声音解码器。另外，音频通信部215与音响服务器150进行通信，以代替与其他客户机进行直接通信。
图19是图18所示的音响服务器150的结构图。如图所示，音响服务器150分别具有至少一个音频接收部151、音频再现器152、混频器153和音频发送部154。即，音响服务器150具有对应于客户机数目(即，按每个客户机)的这些处理部151～154。另外，音响服务器150也可不具有客户机数目的音频接收部151、音频再现器152、混频器153和音频发送部154，而通过分别时分使用一个程序或装置来实现。
另外，音响服务器150具有空间模型155。空间模型155从存在服务器110接收虚拟空间上的各用户的位置和虚拟空间的属性，通过与图3所示的客户机的空间模型221相同的处理，映射(配置)虚拟空间上的各用户的位置。另外，音响服务器150具有会话控制部156。会话控制部156经网络101，控制与其他装置之间的通信。
音频接收部151接收从各客户机的音频通信部215输入的声音。音频再现器152进行声音的三维化，并对应于各客户机，将分别两个声道(左声道和右声道)的信号数据(信号列)输出到与每个客户机对应的各混频器153上。即，音频再现器152根据空间模型155配置的虚拟空间上的各用户的位置，进行与图3所示的客户机的音频再现器216的声源输入(图5：S61)、距离·角度计算(S62)、HRIR的指定(S63)和卷积计算(S64、S66)同样的处理。混频器153从各音频再现器152接收两个声道的信号数据后，进行与图3所示的客户机的音频再现器216的混频处理(S65、S67)和混响计算(S68、S69)相同的处理。并且，混频器153向音频发送部154输出两个声道的信号数据。音频发送部154向客户机发送该信号数据。
接着，说明音响服务器150的处理。对应于每个客户机的音频接收部151分别从各客户机接收声音流，通过进行缓存而将来自所有输入客户机的声音流之间同步(对应的)的信号数据发送到对应于每个客户机的音频再现器152。该缓存(配置·缓存)方法例如在下面的文献中描述。
Colin Perkins著：RTP：Audio and Video for Internet，Addison-Wesley Pub Co；1st edition(6月11，2003)
然后，音频再现器152根据空间模型155配置的虚拟空间上的各用户的位置，进行距离·角度的计算、HRIR的指定、卷积计算(图6：S62～S64、S66)处理。并且，混频器153进行混频处理(图5：S65、S67)和混响计算(图5：S68、S69)，并对应于各客户机分别输出两个声道的信号数据。并且，音频发送部154向对应的客户机发送该信号数据。由此，即使在客户机的处理能力低的情况下，也可以实现声音的三维化。
另外，存在服务器110也可以具有上述说明的音响服务器150的功能。即，也可不包括其他的音响服务器150，存在服务区110不仅管理用户的位置、虚拟空间属性等，同时进行音响服务器150的处理。
图20是图18所示的流服务器140的结构图。如图所示，流服务器140具有流DB141、至少一个文件再现部142和再现器143(每个频道的)、空间模型146和会话控制部147。另外，流服务器140针对每个客户机具有混频器144和发送部145。对于流DB141和文件再现部144，与图17所示的流DB141和文件再现部141相同。对于空间模型146和会话控制部147与图19所示的空间模型155和会话控制部156相同。另外，也可不具有对应于频道数目或客户机数目的文件再现部142、再现器143、混频器144和发送部145，而通过分别时分使用一个程序或装置来实现。
各个再现器143根据各用户在虚拟空间上的位置和方向，为每个客户机再现各文件再现部142再现的音频信号或视频信号。再现器143对于音频信号，进行与图3所示的音频再现器216相同的处理。即，根据从存在服务器110接收的各用户的虚拟空间上的位置和方向，使用三维音频技术进行将各文件再现部142再现的文件(音频信号)根据混响·滤波等虚拟空间的属性进行归结的处理。另外，再现器143对于视频信号，进行与图3所示的图形再现器219相同的处理和下面的处理。即，由于各客户机中，需要的分辨率比输入视频信号低，所以再现器143使分辨率降低。例如，再现器143在客户机中，使应以显示器220的1/4的大小显示的图像的分辨率降低为1/4。另外，为了使客户机侧的处理负载降低，还可考虑再现器143将客户机的显示器220上倾斜显示的图形预先转换为其形状。
混频器144对于音频信号，进行与图3所示的音频再现器216同样的处理。即，相加所输入的各信号。另外，混频器144对视频信号，将所输入的各信号整理为统一格式的一个信号，使得发送部146容易处理。即，在视频信号的情况下，混频器144从基于各用户在虚拟空间上的位置和方向的视点生成将视频信号嵌入到虚拟空间的规定位置的虚拟空间的运动图像数据。
发送部146将混频器140对每个客户机生成的声音信号或图像信号进行压缩后发送到各客户机。例如，发送部146在声音信号的情况下编码为MP3，在图像信号的情况下，编码为MPEG等进行发送。客户机的音频再现器216和图形再现器219解压缩从流服务器140接收的MP3或MPEG等压缩的数据后，输出到耳机217或显示器220中。
接着，说明存在服务器110和客户机的处理。存在服务器110在图16的S1432、S1436和S1442中，向各客户机通知用户名、该用户的位置和aura的大小时，同时向音响服务器150和流服务器140通知用户名、该用户的位置和aura的大小。音响服务器150的会话控制部156和流服务器140的会话控制部147从存在服务器110接收用户名、该用户的位置和aura的大小等。由此，各客户机若进入到房间中，则与音响服务器150的规定的通信端口之间(或，入场时，与从存在服务器110通知的端口之间)进行声音通信。即，各客户机的音频通信部215向音响服务器150发送一个声道的声音流，从音响服务器150接收两个声道的声音流。另外，各客户机若进入到房间中，则在与流服务器140之间接收各声道的音频信号和视频信号。

Claims (19)

1、一种信息源选择系统，利用虚拟空间从多个信息源中选择任意的信息源，其特征在于：
所述虚拟空间具有所述多个信息源；
所述系统具有管理所述多个信息源在虚拟空间上的位置的服务器装置和客户机终端；
其中所述客户机终端具有：
移动接收单元，接收用户在虚拟空间上的移动指示；
移动单元，根据所述移动接收单元所接收的移动指示，移动虚拟空间中的用户；
客户机发送单元，将与所述移动单元所移动的用户在虚拟空间中的位置有关的位置信息发送到所述服务器装置；
客户机接收单元，从所述服务器装置接收与所述多个信息源各自在虚拟空间上的位置有关的位置信息；
空间模型化单元，根据所述用户在虚拟空间中的所述位置信息和所述多个信息源各自在虚拟空间中的所述位置信息算出所述用户和所述多个信息源在所述虚拟空间中的位置；以及
音响控制单元，根据所述空间模型化单元算出的位置来控制适用于所述多个信息源各自的声音的音响效果；
所述服务器装置具有：
服务器接收单元，从所述客户机终端接收所述用户在虚拟空间上的所述位置信息；
存储单元，存储所述服务器接收单元所接收的所述用户在虚拟空间上的所述位置信息和所述多个信息源在虚拟空间上的位置信息；以及
服务器发送单元，向所述客户机终端发送所述存储单元存储的所述多个信息源各自的所述位置信息。
2、根据权利要求1所述的信息源选择系统，其特征在于：进一步具有将声音数据和/或运动图像数据配送给所述客户机终端的流服务器；
其中所述多个信息源包括由所述流服务器配送的声音数据和/或运动图像数据。
3、根据权利要求2所述的信息源选择系统，其特征在于：在所述服务器装置的所述存储单元中存储包含所述信息源中所含有的声音数据和/或运动图像在虚拟空间中的配置场所的虚拟空间属性；
所述服务器发送单元向所述客户机终端发送所述虚拟空间的属性；
所述客户机接收单元从所述服务器装置接收所述虚拟空间的属性；
所述空间模型化单元根据所述虚拟空间的属性，算出所述信息源中含有的声音数据和/或运动图像数据各自在虚拟空间中的位置；
所述音响控制单元根据所述空间模型化单元算出的位置来控制适用于所述信息源中含有的声音数据和/或运动图像数据各自的声音的音响效果。
4、根据权利要求1所述的信息源选择系统，其特征在于：所述客户机终端具有图像生成单元，根据所述空间模型化单元算出的位置，生成在显示画面上输出的图像数据。
5、根据权利要求4所述的信息源选择系统，其特征在于：所述图像生成单元通常固定用户在所述虚拟空间中的位置和方向，并以用户为中心，生成使所述虚拟空间和所述多个信息源相对移动或旋转的图像数据。
6、根据权利要求1所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在所述移动指示为向前长距离移动的情况下，所述指定单元指定在距所述用户在虚拟空间中的位置最近的前方所存在的信息源；
所述移动单元将用户移动到紧靠所述指定单元所指定的信息源之前。
7、根据权利要求1所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在所述移动指示为向后长距离移动的情况下，所述指定单元指定在距所述用户在虚拟空间中的位置最近的前方所存在的信息源；
所述移动单元将用户移动到所述指定单元所指定的信息源之前。
8、根据权利要求1所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在所述移动指示为向左方向长距离移动的情况下，所述指定单元指定在自虚拟空间中的所述用户的位置起的规定范围内所存在的信息源，即存在于从所述用户的方向向左的旋转角度最小的方向上的信息源；
所述移动单元将用户移动到紧靠所述指定单元所指定的信息源之前。
9、根据权利要求1所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在所述移动指示为向右方向长距离移动的情况下，所述指定单元指定在自虚拟空间中的所述用户的位置起的规定范围内所存在的信息源，即存在于从所述用户的方向向右的旋转角度最小的方向上的信息源；
所述移动单元将用户移动到紧靠所述指定单元所指定的信息源之前。
10、根据权利要求1所述的信息源选择系统，其特征在于：所述多个信息源中含有在虚拟空间中存在的其他用户；
所述用户和所述其他用户各自具有以该用户或该其他用户为中心的预先决定的规定区域；
所述系统进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
所述移动单元在所述指定单元指定的信息源为所述其他用户的情况下，比较所述用户的区域大小和所述指定的其他用户的区域大小；
在所述其他用户的区域大的情况下，将所述用户移动到与所述其他用户的区域相接触的地点；
在所述用户的区域大的情况下，将所述用户移动到所述用户的区域和所述其他用户相交接的地点。
11、根据权利要求1所述的信息源选择系统，其特征在于：所述移动单元在作为所述移动接收单元接收的移动指示的线在左右方向上的长度比在前后方向上的长度大的情况下，判断为向左右方向移动，将所述用户向左或向右移动；并且
在作为所述移动接收单元接收的移动指示的线在前后方向上的长度比在左右方向上的长度大的情况下，判断为向前后方向移动，将所述用户向前或向后移动。
12、根据权利要求11所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在判断为所述移动指示为向左右方向移动的情况下，即作为所述移动指示的线在左右方向上的长度比规定的长度大时，所述指定单元指定在自虚拟空间中的所述用户的位置起的规定范围内所存在的信息源、即在从所述用户的方向向左或向右的旋转角度最小的方向上所存在的信息源；
所述移动单元将用户移动到紧靠所述指定单元指定的信息源之前。
13、根据权利要求11所述的信息源选择系统，其特征在于：进一步具有指定单元，根据所述移动接收单元所接收的移动指示，指定移动目标的信息源；
在判断为所述移动指示为向前后移动的情况下，即作为所述移动指示的线在前后方向上的长度比规定长度大时，所述指定单元指定在距所述用户在虚拟空间中的位置最近的前方或后方所存在的信息源；
所述移动单元将用户移动到紧靠所述指定单元指定的信息源之前。
14、一种客户机终端，利用虚拟空间、从多个信息源中选择任意的信息源，其特征在于：
所述虚拟空间具有所述多个信息源；
所述客户机终端具有：
移动指示输入单元，用于指示用户在虚拟空间中的移动；
移动单元，根据所述移动指示输入单元输入的移动指示，移动虚拟空间中的所述用户；
发送单元，发送与所述移动单元移动的用户在虚拟空间中的位置有关的第一位置信息；
接收单元，接收所述多个信息源各自在虚拟空间上的位置有关的第二位置信息；
空间模型化单元，根据所述用户的所述第一位置信息和所述多个信息源各自的所述第二位置信息算出所述用户和所述多个信息源各自在所述虚拟空间中的位置；以及
音响控制单元，根据所述空间模型化单元算出的位置来控制适用于所述多个信息源各自的声音的音响效果。
15、根据权利要求14所述的客户机终端，其特征在于：
所述第一位置信息和所述第二位置信息包括虚拟空间中的位置和方向；
所述多个信息源是流声源或其他用户的声音；
所述音响控制单元根据所述空间模型化算出的、所述用户与所述多个信息源各自的距离和方向，使用三维音响技术，控制适用于所述多个信息源各自的声音的音响效果。
16、根据权利要求14所述的客户机终端，其特征在于：
所述第一位置信息和所述第二位置信息包括虚拟空间中的位置和方向；
所述客户机终端进一步具有图像生成单元，根据所述空间模型化单元算出的、所述用户与所述多个信息源各自的距离和方向，使用三维图形技术，生成在显示画面上输出的图像数据；
所述图像生成单元通常固定所述用户在虚拟空间中的位置和方向，生成在显示画面上进行输出的图像数据。
17、一种信息源选择方法，使用虚拟空间从多个信息源中选择任意的信息源，其特征在于：
所述虚拟空间具有所述多个信息源；
客户机终端进行：
移动接收步骤，接收用户在虚拟空间中的移动指示；
移动步骤，根据在所述移动接收步骤中接收的移动指示，移动虚拟空间中的用户；
发送步骤，将与所述移动步骤中移动的用户在虚拟空间中的位置有关的位置信息发送到管理所述多个信息源在虚拟空间中的位置的服务器装置；
接收步骤，从所述服务器装置接收与所述多个信息源各自在虚拟空间上的位置有关的位置信息；
算出步骤，根据所述用户在虚拟空间中的所述位置信息和所述多个信息源各自在虚拟空间中的所述位置信息，算出所述用户和所述多个信息源在虚拟空间中的位置；以及
音响控制步骤，根据在所述算出步骤中算出的位置，控制适用于所述多个信息源各自的声音的音响效果。
18、根据权利要求17所述的信息源选择方法，其特征在于：所述多个信息源中包括用于配送声音数据和/或运动图像数据的流服务器所配送的声音数据和/或运动图像数据。
19、根据权利要求18所述的信息源选择方法，其特征在于：所述服务器装置的存储单元中存储包含所述信息源中所含有的声音数据和/或运动图像数据在虚拟空间中的配置场所的虚拟空间属性；
所述方法进一步具有信息源接收步骤，从所述服务器装置接收与包括所述声音数据和/或运动图像数据的多个信息源各自在虚拟空间上的位置有关的位置信息；
其中所述算出步骤根据包括所述声音数据和/或运动图像数据的多个信息源各自在虚拟空间上的位置，算出在所述信息源中含有的声音数据和/或运动图像数据各自在虚拟空间中的位置；以及
所述音响控制步骤根据所述算出步骤中算出的位置来控制适用于包含在所述信息源中的声音数据和/或运动图像数据各自的声音的音响效果。
CN2004100818030A 2004-07-09 2004-12-30 信息源选择系统和方法 Expired - Fee Related CN1719852B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004202767A JP2006025281A (ja) 2004-07-09 2004-07-09 情報源選択システム、および方法
JP202767/2004 2004-07-09

Publications (2)

Publication Number Publication Date
CN1719852A true CN1719852A (zh) 2006-01-11
CN1719852B CN1719852B (zh) 2010-05-05

Family

ID=35541408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004100818030A Expired - Fee Related CN1719852B (zh) 2004-07-09 2004-12-30 信息源选择系统和方法

Country Status (3)

Country Link
US (1) US20060008117A1 (zh)
JP (1) JP2006025281A (zh)
CN (1) CN1719852B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630385A (zh) * 2009-11-30 2012-08-08 诺基亚公司 音频场景内的音频缩放处理
CN106535059A (zh) * 2015-09-14 2017-03-22 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
CN107197407A (zh) * 2016-02-19 2017-09-22 汤姆逊许可公司 用于确定处于目标位置的目标声音场景的方法及装置
CN108141693A (zh) * 2015-10-09 2018-06-08 索尼公司 信号处理设备、信号处理方法和计算机程序
CN108351248A (zh) * 2015-12-14 2018-07-31 富士施乐株式会社 诊断装置、诊断系统、诊断方法及程序
CN109923576A (zh) * 2016-12-27 2019-06-21 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及计算机装置
CN110035250A (zh) * 2019-03-29 2019-07-19 维沃移动通信有限公司 音频处理方法、处理设备、终端及计算机可读存储介质
CN110999281A (zh) * 2017-06-09 2020-04-10 Pcms控股公司 支持变化的几何结构和移动用户的空间可靠的远程呈现
US11363240B2 (en) 2015-08-14 2022-06-14 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US11361497B2 (en) 2017-05-24 2022-06-14 Sony Corporation Information processing device and information processing method
US11488364B2 (en) 2016-04-01 2022-11-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
CN115550600A (zh) * 2022-09-27 2022-12-30 阿里巴巴（中国）有限公司 识别音频数据声音来源的方法、存储介质和电子设备

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608400B2 (ja) * 2005-09-13 2011-01-12 株式会社日立製作所 音声通話システムおよび音声通話中におけるコンテンツの提供方法
WO2008029466A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Dispositif de terminal de dialogue en ligne et système de dialogue en ligne
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
WO2009109217A1 (en) * 2008-03-03 2009-09-11 Nokia Corporation Apparatus for capturing and rendering a plurality of audio channels
KR101381594B1 (ko) * 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
JP5340296B2 (ja) * 2009-03-26 2013-11-13 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
US8224395B2 (en) * 2009-04-24 2012-07-17 Sony Mobile Communications Ab Auditory spacing of sound sources based on geographic locations of the sound sources or user placement
US8391789B2 (en) * 2010-04-19 2013-03-05 Nokia Corporation Apparatus for facilitating peripheral device selection
US8717289B2 (en) 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
DE102010030534A1 (de) * 2010-06-25 2011-12-29 Iosono Gmbh Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
US9258665B2 (en) * 2011-01-14 2016-02-09 Echostar Technologies L.L.C. Apparatus, systems and methods for controllable sound regions in a media room
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
US20130145293A1 (en) * 2011-12-01 2013-06-06 Avaya Inc. Methods, apparatuses, and computer-readable media for providing availability metaphor(s) representing communications availability in an interactive map
WO2013093565A1 (en) * 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
EP2898510B1 (en) 2012-09-19 2016-07-13 Dolby Laboratories Licensing Corporation Method, system and computer program for adaptive control of gain applied to an audio signal
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US9299350B1 (en) * 2013-03-15 2016-03-29 Amazon Technologies, Inc. Systems and methods for identifying users of devices and customizing devices to users
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
JP2016100689A (ja) * 2014-11-19 2016-05-30 ヤマハ株式会社 端末装置、およびオーディオ信号処理システム
WO2016126819A1 (en) 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
EP3254435B1 (en) 2015-02-03 2020-08-26 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
CN105610868B (zh) * 2016-03-03 2019-08-06 腾讯科技（深圳）有限公司 一种信息交互的方法、设备及系统
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
WO2018174500A1 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
JP6506486B2 (ja) * 2017-04-28 2019-04-24 株式会社アルファコード 仮想現実画像提供装置および仮想現実画像提供用プログラム
JP2019192172A (ja) * 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
US20240340605A1 (en) * 2021-07-12 2024-10-10 Sony Group Corporation Information processing device and method, and program
WO2024084843A1 (ja) * 2022-10-19 2024-04-25 株式会社Ｎｔｔドコモ 仮想空間管理装置
CN116437282A (zh) * 2023-03-23 2023-07-14 合众新能源汽车股份有限公司 虚拟演唱会的声感处理方法及存储介质、电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0842490B1 (en) * 1995-08-03 2007-06-27 Interval Research Corporation Computerized interactor systems and methods for providing same
US5889843A (en) * 1996-03-04 1999-03-30 Interval Research Corporation Methods and systems for creating a spatial auditory environment in an audio conference system
KR20050052484A (ko) * 1997-03-17 2005-06-02 마츠시타 덴끼 산교 가부시키가이샤 데이터 처리방법
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
JP4232231B2 (ja) * 1998-09-30 2009-03-04 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP2000236330A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
JP2001160022A (ja) * 1999-12-03 2001-06-12 Tafu:Kk チャットシステム、チャット制御方法およびプログラムを記録した記録媒体
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
JP3621650B2 (ja) * 2001-02-26 2005-02-16 日本電信電話株式会社 ３次元共有仮想空間通信サービスにおける動的セル管理方法，仮想空間集中制御装置およびマスタサーバ
AUPR989802A0 (en) * 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
US20060031288A1 (en) * 2002-10-21 2006-02-09 Koninklijke Philips Electronics N.V. Method of and system for presenting media content to a user or group of users
US7373383B2 (en) * 2002-12-06 2008-05-13 International Business Machines Corporation Location messaging method for delivering messages in a global virtual space
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630385A (zh) * 2009-11-30 2012-08-08 诺基亚公司 音频场景内的音频缩放处理
CN102630385B (zh) * 2009-11-30 2015-05-27 诺基亚公司 音频场景内的音频缩放处理的方法、装置及系统
US11962940B2 (en) 2015-08-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for augmented reality multi-view telepresence
US11363240B2 (en) 2015-08-14 2022-06-14 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
CN106535059A (zh) * 2015-09-14 2017-03-22 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
CN106535059B (zh) * 2015-09-14 2018-05-08 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
CN108141693A (zh) * 2015-10-09 2018-06-08 索尼公司 信号处理设备、信号处理方法和计算机程序
CN108141693B (zh) * 2015-10-09 2021-10-29 索尼公司 信号处理设备、信号处理方法和计算机可读存储介质
CN108351248B (zh) * 2015-12-14 2020-10-23 富士施乐株式会社 诊断装置、诊断系统、诊断方法及程序
CN108351248A (zh) * 2015-12-14 2018-07-31 富士施乐株式会社 诊断装置、诊断系统、诊断方法及程序
CN107197407B (zh) * 2016-02-19 2021-08-10 交互数字Ce专利控股公司 用于确定处于目标位置的目标声音场景的方法及装置
CN107197407A (zh) * 2016-02-19 2017-09-22 汤姆逊许可公司 用于确定处于目标位置的目标声音场景的方法及装置
US11488364B2 (en) 2016-04-01 2022-11-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
CN109923576A (zh) * 2016-12-27 2019-06-21 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及计算机装置
CN109923576B (zh) * 2016-12-27 2023-08-11 Colopl株式会社 用于提供虚拟空间的方法、用于使计算机实现该方法的程序以及计算机装置
US11361497B2 (en) 2017-05-24 2022-06-14 Sony Corporation Information processing device and information processing method
CN110999281A (zh) * 2017-06-09 2020-04-10 Pcms控股公司 支持变化的几何结构和移动用户的空间可靠的远程呈现
CN110999281B (zh) * 2017-06-09 2021-11-26 Pcms控股公司 一种用于允许在虚拟景观中探索的方法及装置
CN110035250A (zh) * 2019-03-29 2019-07-19 维沃移动通信有限公司 音频处理方法、处理设备、终端及计算机可读存储介质
CN115550600A (zh) * 2022-09-27 2022-12-30 阿里巴巴（中国）有限公司 识别音频数据声音来源的方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN1719852B (zh) 2010-05-05
US20060008117A1 (en) 2006-01-12
JP2006025281A (ja) 2006-01-26

Similar Documents

Publication Publication Date Title
CN1719852A (zh) 信息源选择系统和方法
US9565316B2 (en) Multidimensional virtual learning audio programming system and method
CN1574870A (zh) 人际通信系统
US9686627B2 (en) Multidimensional virtual learning system and method
CN1703065A (zh) 语音通信系统
JP2015053061A (ja) アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法
KR102375482B1 (ko) 오디오의 공간 프리젠테이션을 위한 장치 및 관련 방법
CN103002376A (zh) 声音定向发送的方法和电子设备
US11930350B2 (en) Rendering audio
US11546718B2 (en) Use of local link to support transmission of spatial audio in a virtual environment
JP7160263B2 (ja) 情報処理システム、情報処理装置およびプログラム
JP7191146B2 (ja) 配信サーバ、配信方法、及びプログラム
WO2022054603A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
EP3582477B1 (en) Ambient sound adjustments during call handling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100505

Termination date: 20141230

EXPY Termination of patent right or utility model