CN102577370A - 信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序 - Google Patents

信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序 Download PDF

Info

Publication number
CN102577370A
CN102577370A CN2011800040446A CN201180004044A CN102577370A CN 102577370 A CN102577370 A CN 102577370A CN 2011800040446 A CN2011800040446 A CN 2011800040446A CN 201180004044 A CN201180004044 A CN 201180004044A CN 102577370 A CN102577370 A CN 102577370A
Authority
CN
China
Prior art keywords
user
display medium
augmented reality
meeting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800040446A
Other languages
English (en)
Other versions
CN102577370B (zh
Inventor
庵原升
笹尾和宏
横山甲
樱井新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Publication of CN102577370A publication Critical patent/CN102577370A/zh
Application granted granted Critical
Publication of CN102577370B publication Critical patent/CN102577370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

HMD(201a～c)以及小型摄像机(202a～c)生成用户的显示介质的图像数据并发送给会议管理服务器(100)。此外，HMD(201a～c)以及小型摄像机(202a～c)生成用户的针对会议的提示信息并发送给会议管理服务器(100)。会议管理服务器(100)比较各用户和各用户使用的显示介质的图像数据的对应关系、和接收到的用户的显示介质的图像数据以及用户的对应关系，由此进行显示介质的核对，在显示介质的核对成功的情况下，将从HMD(201a～c)以及小型摄像机(202a～c)接收的、用户的针对会议的提示信息发送给HMD(201a～c)。

Description

信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序
技术领域
本发明涉及能够合成现实空间的影像和计算机图形(graphics)图像数据来重叠显示的增强现实(Augmented Reality、以下称为AR)。另外，所谓AR，是将文字、图形、静止画面、动画等通过计算机管理的数据(以下称为计算机图形图像数据)与现实的环境重叠显示，提供补充信息的技术。
背景技术
已知与TV会议系统或Web会议系统等远距离地点间的成员之间共享信息的会议支持软件相关的技术(例如参照非专利文献1)。当利用TV会议系统时，远距离地点间的会议参加者彼此面对面地进行会议，能够与在一个房间(会议室)内进行会议相同地面对面进行会议。而且，在Web会议系统中，共享资料等远距离地点之间的意思沟通的幅度变宽，在远距离地点之间的会议更顺利。此外，已知有使用白板的Web会议系统(例如参照非专利文献2)。这是将使用电子笔写在白板上的信息显示在远距离地点的白板上的会议支持系统。
现有技术文献
非专利文献
非专利文献1：V-cube公司“Nice to meet you”、因特网<http://nice2meet.us>
非专利文献2：日立软件“StarBoard”、因特网<http://www.hitachijoho.com/solution/network/jp-tv/starboard.html>
发明内容
发明要解决的课题
但是，这些现有技术能够在远距离地点间的成员之间共享信息，但为此的环境被固定。例如发生如下的因环境而引起的制约：a在被设置在A地点的TV会议系统(x)下，b在被设置在B地点的TV会议系统(y)下。从而，无法实现无论成员在什么地方都如在相同空间内进行会议那样的状况。
因此，本发明的目的在于，即使参加会议的成员位于物理上不同的场所，也不受各场所的环境的制约地支持会议的顺利化。
用于解决课题的手段
本发明的信息处理系统，具备：多个增强现实感提示装置，其能够合成显示现实空间的影像和计算机图形图像数据；会议管理装置，其管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，该信息处理系统的特征在于，所述多个增强现实感提示装置具备：第一生成单元，其生成用户的显示介质的图像数据，并发送给所述会议管理装置；以及第二生成单元，其生成所述用户的针对会议的提示信息，并发送给所述会议管理装置，所述会议管理装置具备：第一管理单元，其管理各用户和该各用户使用的显示介质的图像数据的对应关系；第二管理单元，其管理从所述多个增强现实感提示装置接收的、针对会议的提示信息；核对单元，其通过比较在所述第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及发送单元，其在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的针对会议的提示信息发送给所述增强现实感提示装置，所述增强现实感提示装置还具备提示单元，该提示单元将表示针对会议的提示信息的计算机图形图像数据与现实空间中的所述显示介质的影像合成之后进行提示。
本发明的会议管理装置，与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，该会议管理装置的特征在于，具备：第一管理单元，其管理所述各用户和所述各用户使用的显示介质的图像数据的对应关系；第二管理单元，其管理从所述多个增强现实感提示装置接收的、用户的针对会议的提示信息；核对单元，其通过比较在所述第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及发送单元，其在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的、针对会议的提示信息发送给所述增强现实感提示装置。
本发明的信息处理方法，是通过信息处理系统执行的信息处理方法，所述信息处理系统具备能够合成显示现实空间的影像和计算机图形图像数据的多个增强现实感提示装置、以及管理成为合成显示计算机图形图像数据的对象的各用户的显示介质的会议管理装置，该信息处理方法的特征在于，包含以下步骤：所述多个增强现实感提示装置，生成用户的显示介质的图像数据，并发送给所述会议管理装置的第一生成步骤；以及所述多个增强现实感提示装置，生成所述用户的针对会议的提示信息，并发送给所述会议管理装置的第二生成步骤，所述会议管理装置，通过比较在第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对的核对步骤，其中，所述第一管理单元管理各用户和该各用户使用的显示介质的图像数据的对应关系；以及所述会议管理装置，在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的针对会议的提示信息发送给所述增强现实感提示装置的发送步骤，其中，所述第二管理单元管理从所述多个增强现实感提示装置接收的针对会议的提示信息，还包含：所述增强现实感提示装置将表示针对会议的提示信息的计算机图形图像数据与现实空间中的所述显示介质的影像合成之后进行提示的提示步骤。
本发明的会议管理装置的控制方法，是与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质的会议管理装置的控制方法，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，所述会议管理装置的控制方法的特征在于，包含以下步骤：核对步骤，其通过比较在第一管理单元中管理的、所述各用户和所述各用户使用的显示介质的图像数据的对应关系、和从所述增强现实感提示装置接收的、所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及发送步骤，其在所述显示介质的核对成功的情况下，将在第二管理单元中管理的、从所述多个增强现实感提示装置接收的用户的针对会议的提示信息发送给所述增强现实感提示装置。
本发明的程序，是用于使计算机执行会议管理装置的控制方法的程序，所述会议管理装置与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，所述程序的特征在于，使计算机执行如下的步骤：核对步骤，其通过比较在第一管理单元中管理的、所述各用户和所述各用户使用的显示介质的图像数据的对应关系、和从所述增强现实感提示装置接收的、所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及发送步骤，其在所述显示介质的核对成功的情况下，将在第二管理单元中管理的、从所述多个增强现实感提示装置接收的用户的针对会议的提示信息发送给所述增强现实感提示装置。
发明效果
根据本发明，即使参加会议的成员位于物理上不同的场所，也能够不受各场所的环境的制约地支持会议的顺利化。
附图说明
图1是概略地表示本发明的实施方式的会议管理系统的结构的图。
图2是表示会议管理服务器的功能性的结构的图。
图3是表示HMD以及小型摄像机的功能性的结构的图。
图4是表示会议管理服务器的硬件结构的图。
图5是表示HMD以及小型摄像机的硬件结构的图。
图6是表示本发明的实施方式的会议管理系统中的显示介质的登录处理的流程图。
图7A是表示本发明的实施方式的会议管理系统中的逻辑对象登录处理的流程图。
图7B是表示本发明的实施方式的会议管理系统中的逻辑对象的发送处理以及AR显示处理的流程图。
图8A是表示显示介质上的逻辑对象的AR显示例的图。
图8B是表示显示介质上的逻辑对象的AR显示例的图。
图8C是表示显示介质上的逻辑对象的AR显示例的图。
图9是表示显示介质上的逻辑对象的AR显示例的图。
图10是表示显示介质上的逻辑对象的AR显示例的图。
具体实施方式
以下，参照附图详细说明应用了本发明的优选实施方式。
图1是概略地表示本发明的实施方式的会议管理系统的结构的图。如图1所示，本实施方式的会议管理系统经由无线通信线路连接了会议管理服务器100、小型摄像机202a～c以及HMD(Head Mounted Display)201a～c。会议管理服务器100具备管理各用户的显示介质的显示介质管理数据库101、对与现实空间中的各显示介质的影像合成显示的逻辑对象进行管理的逻辑对象管理数据库102。另外，所谓逻辑对象，是写入了在各用户间共享的信息的计算机图形图像数据，有包含通过被检测出的用户的写入动作的轨迹而表示的图形、记号、文字等的对象、或包含通过小型摄像机202a～c的摄像而得到的图像的计算机图形图像数据等。HMD201a～c是眼镜型的物体，被佩戴在用户A～C的头部。HMD201a～c在与光学地透射之后在HMD201a～c的镜片部分呈现的现实空间的影像匹配的位置上显示逻辑对象，由此演出被增强的现实感。在以下的说明中，有时将赋予这样被增强的现实感的逻辑对象的合成显示称为AR(增强现实：Augmented Reality)显示。此外，小型摄像机202a～c以能够以接近用户A～C的视野的视角对图像数据进行摄像的方式被安装在HMD201a～c上。被摄像的图像数据经由无线通信线路发送到会议管理服务器100。另外，HMD中有非透射型、视频透射型、光学透射型等各种方式。合成显示(AR显示)是指通过任意一种方式对于在HMD的镜片部分呈现的现实空间的影像，在匹配的位置重叠显示计算机图形图像数据，例如，如果是光学透射型方式，则与透视看到的现实空间的影像重叠显示，如果是视频透射型，则与通过视频摄像机拍摄的现实空间的影像重叠显示。
用户A～C在参加会议之前选择要在会议中使用的显示介质。所谓显示介质，是成为对逻辑对象进行AR显示的对象的、存在于现实空间中的物体。在此，假定用户A将大学笔记本302的封面选择为显示介质，用户B将笔记本PC303的盖子选择为显示介质，用户C将手册304的双联页选择为显示介质。作为显示介质，理想的是尽量有平面形状，但可以并不是特别限定的形状，而能够选择任意形状的物体。当用户A～C选择显示介质时，通过小型摄像机202a～c对显示介质302～304进行摄像，进行用于将显示介质302～304的图像数据登录在会议管理服务器100中的操作。由此，显示介质302～304的图像数据被发送给会议管理服务器100。会议管理服务器100将接收到的显示介质302～304的图像数据与用户名A～C对应起来，在显示介质管理数据库101中进行管理。另外，从显示介质302～304的图像数据的标题信息取得用户名A～C。
以后在用户A～C参加会议时，将自己所选择的显示介质302～304收纳在小型摄像机202a～c的视角内。由此，显示介质302～304的图像数据被发送给会议管理服务器100。会议管理服务器100从接收到的图像数据的标题信息取得用户名，判定在显示介质管理数据库101中是否管理接收到的图像数据和从该图像数据的标题信息取得的用户名的对应关系。在管理接收到的图像数据和从该图像数据的标题信息取得的用户名的对应关系的情况下，用户的显示介质的核对成功。当用户的显示介质的核对成功时，会议管理服务器100将在逻辑对象管理数据库102中管理的逻辑对象发送给该用户的HMD。HMD从会议管理服务器100接收逻辑对象，并将接收到的逻辑对象的计算机图形图像数据与现实空间中的显示介质的影像合成来进行AR显示。
另外，在本实施方式中，作为进行AR显示的设备的AR显示设备的例子，列举了眼镜型的HMD201a～c，但是并不限于此。例如可以是在液晶显示器等中显示通过摄像机拍摄的现实空间的影像，在所显示的现实空间的影像上合成显示计算机图形图像数据的便携终端型的AR显示设备，也可以是被设置在移动车辆的驾驶席的视线方向上，对于光学地透射而呈现出的现实空间的影像合成显示计算机图形图像数据的平视显示器型的AR显示设备。此外，在与现实空间的影像匹配地显示计算机图形图像数据时，进行现实空间的影像中的对象和计算机图形图像数据的坐标匹配。对通过摄像机拍摄的现实空间的图像数据进行解析，由此检测出现实空间的对象的位置，以与所检测出的位置匹配的方式合成计算机图形图像数据。尤其在本实施方式中，进行在现实空间中的显示介质的影像上重叠显示逻辑对象的坐标匹配。作为其他坐标匹配的方法，可以在现实空间的物体上附加标识，通过摄像机来拍摄该标识，根据拍摄到的图像数据检测该标识的位置，以与检测出的位置匹配的方式合成计算机图形图像数据。而且，还可以根据HMD的位置(纬度、经度)和姿势(方向、仰角)，推定佩戴了HMD的用户正在看现实空间的哪里，以与推定出的位置匹配的方式合成计算机图形图像数据。
伴随着会议的进行，通过用户A～C的HMD201a～c以及小型摄像机202a～c生成表示议论的内容的逻辑对象。当生成逻辑对象时，逻辑对象每次被发送到会议管理服务器100。当接收了逻辑对象时，会议管理服务器100将作为逻辑对象的发信者的名称的用户名、以及表示生成逻辑对象的日期时间的时间戳和逻辑对象对应起来，在逻辑对象数据库102中进行管理。另外，能够从发送逻辑对象时的发送数据的标题信息中取得用户名。可以同样地从发送数据的标题信息中取得该发送数据的生成日期时间并将其作为时间戳，也可以将该发送数据的接收日期时间作为时间戳。
如上所述，在用户的显示介质的核对成功时，会议管理服务器100将在逻辑对象管理数据库102中管理的逻辑对象发送给该用户的HMD201a～c。逻辑对象的发送，在该逻辑对象被登录在逻辑对象管理数据库102中的时刻进行。由此保证会议的实时性。
图2是表示会议管理服务器100的功能性的结构的图。在图2中，显示介质图像数据登录/核对部103，在参加会议前登录显示介质时，接收通过小型摄像机202a～c拍摄的显示介质的图像数据，与用户名对应起来登录在显示介质管理数据库101中。此外，在参加会议时核对显示介质时，显示介质图像数据登录/核对部103接收同样通过小型摄像机202a～c拍摄的显示介质的图像数据，并判定在显示介质管理数据库101中是否管理该图像数据和被记录在该图像数据的标题信息中的用户名的对应关系，由此进行显示介质的核对。
逻辑对象登录/读出部104，当从各用户的HMD201a～c接收逻辑对象时，将接收到的逻辑对象登录在逻辑对象管理数据库102中。此外，通过显示介质图像数据登录/核对部103核对显示介质302～304时，逻辑对象登录/读出部104从逻辑对象管理数据库102读出逻辑对象并发送给显示介质的核对已成功的用户的HMD201a～c。当从未图示的PC或便携终端接收了检索条件时，逻辑对象检索部105从逻辑对象管理数据库102中检索符合检索条件的逻辑对象。例如，在检索条件中指定了日期时间的情况下，检索与所指定的日期时间相应的时间戳的逻辑对象，在检索条件中指定了发信者的情况下，检索所指定的发信者的逻辑对象。之后，逻辑对象检索部105向发行了检索条件的PC或便携终端发送检索出的逻辑对象。通过本功能，能够用作用于事后检索需要的逻辑对象来回顾会议内容的会议记录。
图3是表示HMD201a～c以及小型摄像机202a～c的功能性的结构的图。在图3中，显示介质图像数据生成部203是相当于小型摄像机202a～c的结构，通过摄像来生成显示介质的图像数据并发送给会议管理服务器100。逻辑对象生成部204是相当于HMD201a～c以及小型摄像机202a～c的结构，通过小型摄像机202a～c来对用户的写入动作进行拍摄，根据拍摄的图像数据检测出写入动作的轨迹，生成包含与检测出的轨迹对应的图形、记号、文字等的逻辑对象，或者生成包含通过小型摄像机202a～c的摄像处理而得到的静止画面数据或运动图像数据的逻辑对象，或者通过对用户的发言进行语音分析来把发言内容变换成文字数据，生成包含变换后的文字数据的逻辑对象。之后，逻辑对象生成部204将生成的逻辑对象发送给会议管理服务器100。增强现实感提示部205从会议管理服务器100接收逻辑对象，将接收到的逻辑对象的计算机图形图像数据与现实空间中的显示介质的影像合成来进行AR显示。
图4是表示会议管理服务器100的硬件结构的图。CPU1001集中管理与系统总线连接的各设备或控制器。在ROM1003或HD(硬盘)1009中存储有作为CPU1001的控制程序的BIOS(Basic Input/Output System)或操作系统程序、会议管理服务器100执行的例如图6、图7A以及图7B中所示的处理的程序等。
另外，在图4的例中，HD1009是被配置在会议管理服务器100的内部的结构，但作为其他实施方式，可以是相当于HD1009的结构被配置在会议管理服务器100的外部的结构。此外，本实施方式中的例如用于进行图6、图7A以及图7B中所示的处理的程序可以被存储在软盘(FD)或CD-ROM等计算机可读取的记录介质中，并由这些记录介质提供的结构，也可以是经由因特网等通信介质提供的结构。
RAM1002作为CPU1001的主存储器、工作区域等而工作。CPU1001在执行处理时将必要的程序等载入RAM1002来执行程序，由此实现各种动作。
HD1009或FD1008作为外部存储器而工作。CPU1001在执行处理时将必要的程序等载入RAM1002来执行程序，由此实现各种动作。
磁盘控制器1010控制针对HD1009或FD1008等外部存储器的访问。通信I/F控制器1006与因特网或LAN连接，例如通过TCP/IP来控制与外部的通信。
显示器控制器1010控制显示器1011中的图像显示。
KB控制器1004接受来自KB(键盘)1005的操作输入并发送给CPU1001。另外，虽然未图示，但是除了KB1005之外还能够把鼠标等指点设备作为用户的操作单元而应用到本实施方式的会议管理服务器100中。
图2中表示的显示介质图像数据登录/核对部103、逻辑对象登录/读出部104、逻辑对象检索部105，例如是通过被存储在HD1009内，根据需要被载入RAM1002的程序以及执行该程序的CPU1001来实现的结构。此外，显示介质管理数据库101、逻辑对象管理数据库102是相当于HD1009或RAM1002的一部分存储区域的结构。
图5是表示HMD201a～c以及小型摄像机202a～c的硬件结构的图。CPU2001集中控制与系统总线连接的各设备或控制器。在ROM2002中存储有HMD201a～c以及小型摄像机202a～c执行的例如图6、图7A以及图7B中所示的处理的程序等。另外，可以经由因特网等通信介质来提供用于进行图6、图7A以及图7B中所示的处理的程序。
RAM2004作为CPU2001的主存储器、工作存储器等而工作。CPU2001在执行处理时把必要的程序等载入RAM2004并执行程序，由此实现各种动作。通信I/F控制器2003与因特网或LAN连接，例如通过TCP/IP控制与外部的通信。
摄像部2005将经由光学镜片入射并在摄像元件上成像的被拍摄物图像变换为电信号，输出运动图像数据或静止图像数据。显示器控制器2006控制显示器2007中的图像显示。在本实施方式中，采用了光学透射型的头戴式显示器，显示器2007由半透镜构成，佩戴了显示器2007的用户能够经由显示器2007看外部的情况。另外，例如通过载入到ROM2002的程序以及执行该程序的CPU2001来实现图3中所示的增强现实感提示部205。另外，通过图1的小型摄像机202a～c、未图示的麦克风、以及例如载入到ROM2002的程序以及执行该程序的CPU2001来实现逻辑对象生成部204。摄像部2005是相当于图1的小型摄像机202a～c或图2的显示介质图像数据生成部203的结构。
图6是表示本实施方式的会议管理系统中的显示介质的登录处理的流程图。以下，参照图6说明本实施方式的会议管理系统中的显示介质的登录处理。
首先，说明HMD201a～c以及小型摄像机202a～c侧的处理。在步骤S101中，显示介质图像数据生成部203通过摄像来生成由用户选择的显示介质的图像数据。在步骤S102中，显示介质图像数据生成部203将生成的显示介质的图像数据发送给会议管理服务器100。
接着，说明会议管理服务器100侧的处理。在步骤S201中，显示介质图像数据登录/核对部103判定是否接收了显示介质的图像数据。在接收了显示介质的图像数据时，处理转移到步骤S202。另一方面，在未接收显示介质的图像数据的情况下，显示介质图像数据登录/核对部103待机，直到接收到显示介质的图像数据为止。在步骤S202中，显示介质图像数据登录/核对部103将该显示介质的图像数据和用户名对应起来登录在显示介质管理数据库101中。
图7A是表示本实施方式的会议管理系统中的逻辑对象登录处理的流程图。以下，参照图7A说明本实施方式的会议管理系统中的逻辑对象登录处理。在此说明按照用户的写入动作的轨迹生成的逻辑对象的登录处理。
首先，说明HMD201a～c以及小型摄像机202a～c侧的处理。在步骤S103中，逻辑对象生成部204对用户的写入动作进行拍摄。在步骤S104中，逻辑对象生成部204从所拍摄的图像数据中检测出写入动作的轨迹。在步骤S105中，逻辑对象生成部204生成包含与检测出的写入动作的轨迹相对应的图形、记号、文字等的逻辑对象，并发送给会议管理服务器100。另外，用户的写入动作可以不需要实际写入图形、记号、文字等，也可以是虚拟的写入动作。即使是虚拟地进行的写入动作，也能通过解析图像数据来检测出写入动作的轨迹，并生成包含与轨迹相对应的图形等的逻辑对象。
接着，说明会议管理服务器100侧的处理。在步骤S203中，逻辑对象登录/读出部104判定是否接收了逻辑对象。在接收了逻辑对象时，处理转移到步骤S204。另一方面，在没有接收到逻辑对象时，逻辑对象登录/读出部104待机，直到接收到逻辑对象为止。在步骤S204中，逻辑对象登录/读出部104将逻辑对象与该逻辑对象的发信者信息以及时间戳对应起来登录在逻辑对象管理数据库102中。
图7B是表示本实施方式中的会议管理系统中的逻辑对象的发送处理以及AR显示处理的流程图。以下，参照图7B说明本实施方式的会议管理系统中的AR显示处理。
首先，说明HMD201a～c以及小型摄像机202a～c侧的处理。在步骤S106中，显示介质图像数据生成部203通过摄像来生成显示介质的图像数据。在步骤S107中，显示介质图像数据生成部203向会议管理服务器100发送所生成的显示介质的图像数据。
接着，说明会议管理服务器100侧的处理。在步骤S205中，显示介质图像数据登录/核对部103判定是否接收了显示介质的图像数据。在接收了显示介质的图像数据的情况下，处理转移到步骤S206。另一方面，在没有接收到显示介质的图像数据的情况下，待机到接收到图像数据为止。在步骤S206中，显示介质图像数据登录/核对部103判定在显示介质管理数据库101中是否对接收到的显示介质的图像数据、和记录在该图像数据的标题信息中的用户名的对应关系进行管理，由此进行显示介质的核对。在该核对处理中判定了接收到的显示介质的图像数据和在显示介质管理数据库101中登录的显示介质的图像数据的一致性，但通过图像数据的模式匹配等来进行该核对。在核对成功的情况下，处理转移到步骤S208。另一方面，在核对失败的情况下，处理回到步骤S205。在步骤S208中，显示介质图像数据登录/核对部103将逻辑对象发送给在显示介质管理数据库101中与该显示介质的图像数据相对应的用户名的用户的HMD。
再次说明HMD201a～c以及小型摄像机202a～c侧的处理。在步骤S108中，增强现实感提示部205判定是否接收到了逻辑对象。在接收到了逻辑对象的情况下，处理转移到步骤S109。另一方面，在没有接收到逻辑对象的情况下，待机到接收到逻辑对象为止。在步骤S109中，增强现实感提示部205将接收到的逻辑对象的计算机图形图像数据与现实空间中的显示介质的影像合成来进行AR显示。
接着，参照图1说明使用本实施方式的会议管理系统进行的会议的具体例。
在参加会议之前，用户A将大学笔记本302的封面选择为显示介质，用户B将笔记本PC303的盖子选择为显示介质，用户C将手册304的双联页选择为显示介质。然后，用户A～C通过小型摄像机202a～c对大学笔记本302的封面、笔记本PC303的盖子、手册304的双联页进行摄像，并进行用于将各自登录为显示介质的操作。由此，大学笔记本302的封面的图像数据从用户A的小型摄像机202a被发送到会议管理服务器100。此外，笔记本PC303的盖子的图像数据从用户B的小型摄像机202b被发送到会议管理服务器100。此外，手册304的双联页的图像数据从用户C的小型摄像机202c被发送到会议管理服务器100。会议管理服务器100在显示介质管理数据库101中将用户A与大学笔记本302的封面的图像数据对应起来管理，将用户B与笔记本PC303的盖子的图像数据对应起来管理，将用户C与手册304的双联页的图像数据对应起来管理。
当参加会议时，用户A～C通过各小型摄像机202a～c再次对事先登录的显示介质进行摄像。被拍摄到的图像数据被发送到会议管理服务器100，进行各用户A～C的显示介质的核对。当该核对成功时，成为用户A～C能够参加会议的状态。首先，用户A在自己所在的会议室的白板301上写入上午访问的客户的反映，通过小型摄像机202a来对该写入的内容进行摄像。HMD201a以及小型摄像机202a生成包含写入的图像数据的逻辑对象，并发送给会议管理服务器100。
会议管理服务器100接收逻辑对象，将该逻辑对象与发信者(在此为用户A)以及时间戳对应起来登录在逻辑对象管理数据库102中，并且将该逻辑对象发送给用户A～C的HMD201a～c。由此，HMD201a～c对于显示介质302～304的影像合成包含用户A的写入的图像数据的逻辑对象来进行AR显示。由此，用户A～C能够在显示介质302～304上确认用户A的写入。图8A是表示在显示介质302上AR显示了包含用户A的写入的图像的逻辑对象801的状态的图。如此在显示介质302上AR显示逻辑对象801，用户A能够在作为显示介质302的大学笔记本的封面上参照自己写在白板301上的内容。
接着，用户B考虑到如果提示自己所写的研究报告书，则客户会更加关心，在研究所通过小型摄像机202b对研究报告书中的相应页进行摄像。由此，HMD201b以及小型摄像机202b生成包含相应页的图像数据的逻辑对象，并发送给会议管理服务器100。会议管理服务器100接收逻辑对象，将该逻辑对象与发信者(在此为用户B)以及时间戳对应起来登录在逻辑对象管理数据库102中。会议管理服务器100将逻辑对象登录在逻辑对象管理数据库102中，并且将该逻辑对象发送给HMD201a～c。由此，HMD201a～c对于显示介质302～304的影像，AR显示包含研究报告中的相应页的图像数据的逻辑对象。由此，用户A～C能够在显示介质302～304上确认研究报告书中的相应页。图8B是表示在显示介质302的影像上AR显示了包含研究报告中的相应页的图像数据的逻辑对象802的状态的图。如此在显示介质302上还AR显示逻辑对象802，用户A能够在大学笔记本的封面上参照用户B提示的研究报告书的相应页。
接着，用户C将依据上述相应页的内容的客户的若干对策写入手册的双联页。通过小型摄像机202c来拍摄该写入动作，通过检测写入动作的轨道，生成包含与写入动作的轨道对应的图形、记号、文字等的逻辑对象。生成的逻辑对象被发送到会议管理服务器100。会议管理服务器100接收逻辑对象，并将该逻辑对象与发信者(在此为用户C)以及时间戳对应起来登录在逻辑对象管理数据库102中，并且将该逻辑对象发送给HMD201a～c。由此，HMD201a～c对于显示介质302～304的影像AR显示包含通过用户C写入的客户的对策的逻辑对象。由此，用户A～C能够在显示介质302～304上确认由用户C写入的客户的对策。图8C是表示在显示介质302的影像上AR显示了包含客户的对策的逻辑对象803的状态的图。如此在显示介质302上还AR显示逻辑对象803，用户A能够在大学笔记本的封面上参照由用户C写入的客户的对策。
在图8A～图8C中例示了作为用户A的显示介质302的大学笔记本的封面上的AR显示，在用户B、用户C的显示介质303、304即笔记本PC的盖子、手册的双联页中也AR显示同样的逻辑对象。这样，在本实施方式中，即使参加会议的成员位于在物理上不同的场所，也能够不受各场所的环境的制约地支持会议的顺利化。另外，上述“物理上不同的场所”，作为概念包含：如东京、美国那样距离远的情况、或大厦的3层和4层那样平面上的位置(X坐标、Y坐标)相同但在高度方向上位置(Z坐标)不同的情况、或如面对面的座位那样距离近的情况等成员存在于不同空间的所有情况。
图9表示用户B的显示介质303上的AR显示的例子。在图9中，901是包含用户B的写入内容的逻辑对象。该逻辑对象与其他的逻辑对象不同，虽然在用户B的显示介质303上AR显示该逻辑对象，但在其他的显示介质302、304上不进行AR显示。即，写入逻辑对象901的内容是作为用户B的备注来写入的，在不希望被其他用户A、C看到的情况下，用户设定了秘密模式之后生成逻辑对象901。由此，逻辑对象901被发送到会议管理服务器100，在逻辑对象管理数据库102中被管理之前相同，但仅对用户B的HMD201b发送逻辑对象901，并不对其他用户A、C的HMD201a、c发送逻辑对象901。从而，用户A、C的HMD201a、c进行不包含逻辑对象901的AR显示，另一方面，用户B的HMD201b进行包含逻辑对象901的AR显示。
图10是表示用户A的显示介质302中的AR显示例的图。图10中表示的AR显示例是对于一个显示介质AR显示了多个逻辑对象时采用的显示方式的例子，将各用户生成的逻辑对象针对每个用户区分地进行AR显示。在该AR显示例中，以记录了用户名的选项卡(tab)方式被AR显示，当通过笔等指示所期望的用户名的选项卡时，在最前面显示由该用户生成的逻辑对象的一览，以便能够阅览。在图10的例中，由用户A生成的逻辑对象801以及1100被AR显示在最前面。通过采用这样的显示方式，即使在会议中逻辑对象增加，也能够整理各用户的逻辑对象来阅览。另外，进行AR显示时的对象的整理方法，当然可以是针对每个逻辑对象以选项卡方式进行AR显示等、针对每个用户以选项卡方式进行AR显示的方式以外的方式。
此外，可以将讲话的用户在发言中正在参照的逻辑对象，在会议参加者各人的显示介质上强制性地AR显示在最前面。会议管理服务器100通过监视从各用户的麦克风得到的语音信号，能够确定哪个用户是讲话者。并且，会议管理服务器100能够通过向各用户的HMD201a～c进行指示来实现在最前面AR显示确定为讲话者的用户的逻辑对象。由此支持会议参加者的意思沟通，能够顺利地进行会议。
此外，可以与显示介质的尺寸相应地放大或缩小逻辑对象，或者以滚动方式AR显示逻辑对象。由此，即使在会议途中作业环境变化或者姿势改变，与之相伴需要变更显示介质的情况下，也能够应对。
此外，在显示介质上AR显示包含多页的资料的逻辑对象来进行会议的情况下，在会议管理服务器100中管理讲话者正在参照的部位，会议管理服务器100可以指示各用户的HMD201a～c强调性地AR显示该部位。例如假定在用户A一边指示共20页的资料中的第10页第5行一边发言时，用户B翻开被AR显示的资料的第15页来阅览。在这样的情况下，在用户B的显示介质上，在资料中的第10页第5行的部位例如能够显示书签型的标签(tag)。由此，尽管在物理上远离的场所进行会议，也能够在视觉上得到与参照部位相关的信息，容易遵循资料，能够顺利地进行会议。
此外，在本实施方式中，在对逻辑对象进行AR显示时还能够进行逻辑对象之间的对位。其求出将最初被AR显示的逻辑对象的位置作为基准位置来进行写入的位置坐标，以在各显示介质上的坐标系中成为相同位置坐标的方式配置包含上述写入内容的逻辑对象。由此，在各显示介质上能够进行取得了逻辑对象间的位置关系的一致性的AR显示。例如，对于在用户B的显示介质303上AR显示的、由用户A写入的图形a，用户B进行了追加某个图形b的写入的情况下，如果在各显示介质之间未恰当地进行逻辑对象之间的对位，则在用户B的显示介质303上AR显示的图形a和图形b的位置关系、与其他的用户A、C的显示介质302、304上AR显示的图形a和图形b的位置关系不同。在本实施方式中，通过由各HMD201a～c执行上述的逻辑对象间的对位，能够防止发生这样的不恰当的情形。
另外，在上面说明了在一个会议中应用本实施方式的会议管理系统的情况，但本实施方式的会议管理系统也能够应用到多个会议。即，在应用到多个会议的情况下，将用户名和显示介质的图像数据的对应关系、或逻辑对象等与各会议的识别信息关联起来进行管理。因此，在某个用户对于多个会议登录了同一显示介质的情况下(例如，在显示介质管理数据库101中与会议A、B两个会议相关联地管理用户1和显示介质1的图像数据的对应关系的情况下)，当核对该显示介质(例如显示介质1)时，多个会议的逻辑对象(例如会议A的逻辑对象、会议B的逻辑对象)以附加了各会议的识别信息的形态被发送到该用户，可以在同一显示介质(例如显示介质1)上AR显示多个会议的逻辑对象。此时，例如还能够更醒目地显示被附加在各逻辑对象上的会议的识别信息，能够更容易分辨地显示是哪个会议的逻辑对象。或者，也可以不是在同一显示介质上混合多个会议的逻辑对象来进行AR显示，而是该用户在核对显示介质之前指定参加哪个会议，并对会议管理服务器100进行通知。由此，即使在核对了针对多个会议登录的显示介质的情况下，也能够只把与上述通知符合的会议的逻辑对象发送给相应的用户。或者，可以根据与逻辑对象相对应地管理的时间戳或发信者信息或它们的组合，推定是哪个会议的逻辑对象并管理。
本发明的实施方式能够通过由计算机执行程序来实现。此外，本发明的实施方式，能够应用用于把程序提供给计算机的单元、例如存储了所涉及的程序的CD-ROM等计算机可读取的记录介质、或传输所涉及的程序的传输介质。此外，记录了所述程序的计算机可读取的记录介质等程序产品，也能够作为本发明的实施方式来应用。所述程序、计算机可读取的记录介质、传输介质以及程序产品被包含在本发明的范畴内。
产业上的利用可能性
本发明，在能够对现实空间的影像和计算机图形图像数据进行合成之后重叠显示的增强现实中有用。

Claims (11)

1.一种信息处理系统，其具备：多个增强现实感提示装置，其能够合成显示现实空间的影像和计算机图形图像数据；会议管理装置，其管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，该信息处理系统的特征在于，
所述多个增强现实感提示装置具备：
第一生成单元，其生成用户的显示介质的图像数据，并发送给所述会议管理装置；以及
第二生成单元，其生成所述用户的针对会议的提示信息，并发送给所述会议管理装置，
所述会议管理装置具备：
第一管理单元，其管理各用户和该各用户使用的显示介质的图像数据的对应关系；
第二管理单元，其管理从所述多个增强现实感提示装置接收的、针对会议的提示信息；
核对单元，其通过比较在所述第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及
发送单元，其在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的针对会议的提示信息发送给所述增强现实感提示装置，
所述增强现实感提示装置还具备提示单元，该提示单元将表示针对会议的提示信息的计算机图形图像数据与现实空间中的所述显示介质的影像合成之后进行提示。
2.根据权利要求1所述的信息处理系统，其特征在于，
所述第一生成单元通过对所述显示介质进行摄像来生成所述显示介质的图像数据。
3.根据权利要求1所述的信息处理系统，其特征在于，
所述第二生成单元检测出用户进行的写入动作的轨迹，将由该轨迹表示的信息生成为针对会议的提示信息。
4.根据权利要求1所述的信息处理系统，其特征在于，
所述第二生成单元将通过摄像处理而得到的图像数据生成为针对会议的提示信息。
5.根据权利要求1所述的信息处理系统，其特征在于，
所述第二生成单元对发言内容进行解析来变换为文字数据，将该文字数据生成为针对会议的提示信息。
6.根据权利要求1所述的信息处理系统，其特征在于，
所述会议管理装置还具备检索单元，该检索单元根据在所述第二管理单元中与针对会议的提示信息相对应地管理的、表示所述用户以及生成该针对会议的提示信息的时刻的信息中的至少某一个信息，检索该针对会议的提示信息。
7.根据权利要求1所述的信息处理系统，其特征在于，
所述提示单元，根据要提示的计算机图形图像数据的数量或显示介质的变更，切换计算机图形图像数据的提示方式。
8.一种会议管理装置，其与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，该会议管理装置的特征在于，
具备：
第一管理单元，其管理所述各用户和所述各用户使用的显示介质的图像数据的对应关系；
第二管理单元，其管理从所述多个增强现实感提示装置接收的、用户的针对会议的提示信息；
核对单元，其通过比较在所述第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及
发送单元，其在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的、针对会议的提示信息发送给所述增强现实感提示装置。
9.一种通过信息处理系统执行的信息处理方法，所述信息处理系统具备能够合成显示现实空间的影像和计算机图形图像数据的多个增强现实感提示装置、以及管理成为合成显示计算机图形图像数据的对象的各用户的显示介质的会议管理装置，该信息处理方法的特征在于，
包含以下步骤：
所述多个增强现实感提示装置，生成用户的显示介质的图像数据，并发送给所述会议管理装置的第一生成步骤；以及
所述多个增强现实感提示装置，生成所述用户的针对会议的提示信息，并发送给所述会议管理装置的第二生成步骤，
所述会议管理装置，通过比较在第一管理单元中管理的数据、和从所述增强现实感提示装置接收的所述显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对的核对步骤，其中，所述第一管理单元管理各用户和该各用户使用的显示介质的图像数据的对应关系；以及
所述会议管理装置，在所述显示介质的核对成功的情况下，将在所述第二管理单元中管理的针对会议的提示信息发送给所述增强现实感提示装置的发送步骤，其中，所述第二管理单元管理从所述多个增强现实感提示装置接收的针对会议的提示信息，
还包含：
所述增强现实感提示装置将表示针对会议的提示信息的计算机图形图像数据与现实空间中的所述显示介质的影像合成之后进行提示的提示步骤。
10.一种会议管理装置的控制方法，是与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质的会议管理装置的控制方法，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，
所述会议管理装置的控制方法的特征在于，
包含以下步骤：
核对步骤，其通过比较在第一管理单元中管理的、所述各用户和所述各用户使用的显示介质的图像数据的对应关系、和从所述增强现实感提示装置接收的、所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及
发送步骤，其在所述显示介质的核对成功的情况下，将在第二管理单元中管理的、从所述多个增强现实感提示装置接收的用户的针对会议的提示信息发送给所述增强现实感提示装置。
11.一种程序，是用于使计算机执行会议管理装置的控制方法的程序，所述会议管理装置与多个增强现实感提示装置能够通信地连接，管理成为合成显示计算机图形图像数据的对象的各用户的显示介质，所述多个增强现实感提示装置能够合成显示现实空间的影像和表示各用户的针对会议的提示信息的计算机图形图像数据，所述程序的特征在于，
使计算机执行如下的步骤：
核对步骤，其通过比较在第一管理单元中管理的、所述各用户和所述各用户使用的显示介质的图像数据的对应关系、和从所述增强现实感提示装置接收的、所述用户的显示介质的图像数据以及所述用户的对应关系，进行所述显示介质的核对；以及
发送步骤，其在所述显示介质的核对成功的情况下，将在第二管理单元中管理的、从所述多个增强现实感提示装置接收的用户的针对会议的提示信息发送给所述增强现实感提示装置。
CN201180004044.6A 2010-03-31 2011-03-25 信息处理系统以及信息处理方法 Active CN102577370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-083022 2010-03-31
JP2010083022A JP4902765B2 (ja) 2010-03-31 2010-03-31 情報処理システム及び情報処理方法
PCT/JP2011/057456 WO2011122496A1 (ja) 2010-03-31 2011-03-25 情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102577370A true CN102577370A (zh) 2012-07-11
CN102577370B CN102577370B (zh) 2013-07-31

Family

ID=44712202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180004044.6A Active CN102577370B (zh) 2010-03-31 2011-03-25 信息处理系统以及信息处理方法

Country Status (7)

Country Link
US (1) US8659635B2 (zh)
EP (1) EP2493187B1 (zh)
JP (1) JP4902765B2 (zh)
CN (1) CN102577370B (zh)
MY (1) MY152414A (zh)
SG (1) SG181977A1 (zh)
WO (1) WO2011122496A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277429A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行远程会议的方法
CN108427195A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
CN111108491A (zh) * 2017-10-26 2020-05-05 Sun电子株式会社 会议系统
CN111108491B (zh) * 2017-10-26 2024-05-03 Sun电子株式会社 会议系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950634B2 (ja) * 2012-03-09 2016-07-13 キヤノン株式会社 情報処理装置、コンピュータプログラム、情報処理方法
JP5958049B2 (ja) * 2012-04-26 2016-07-27 富士ゼロックス株式会社 台紙管理プログラム及び台紙管理装置
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
TWI524214B (zh) 2014-08-15 2016-03-01 中強光電股份有限公司 簡報系統、穿戴式裝置及簡報的文稿呈現方法
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
KR102647544B1 (ko) 2015-09-30 2024-03-18 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
WO2017138153A1 (ja) * 2016-02-12 2017-08-17 富士通株式会社 端末装置、管理方法、制御方法、管理プログラム、及び制御プログラム
DE102016224268A1 (de) * 2016-12-06 2018-06-07 Robert Bosch Gmbh Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
WO2018164532A1 (en) * 2017-03-09 2018-09-13 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (ar) experience on user equipment (ue) based on in-device contents
JP2018201153A (ja) * 2017-05-29 2018-12-20 京セラドキュメントソリューションズ株式会社 情報処理システム
CN109511004B (zh) 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
US11209966B2 (en) * 2019-01-24 2021-12-28 Disney Enterprises, Inc. Extended on-screen gameplay via augmented reality
US11044282B1 (en) 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing
US11463499B1 (en) * 2020-12-18 2022-10-04 Vr Edu Llc Storage and retrieval of virtual reality sessions state based upon participants
KR20220126107A (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 화상 회의를 제공하는 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310470A (ja) * 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
CN101022352A (zh) * 2006-02-15 2007-08-22 富士施乐株式会社 电子会议系统、电子会议控制器、信息终端设备以及电子会议支持方法
US20080297436A1 (en) * 2007-05-29 2008-12-04 Canon Kabushiki Kaisha Head mounted display, display, and control method thereof
JP4293135B2 (ja) * 2005-01-20 2009-07-08 日本電信電話株式会社 会議情報共有支援装置及び方法及びプログラム
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309555A (en) * 1990-05-15 1994-05-03 International Business Machines Corporation Realtime communication of hand drawn images in a multiprogramming window environment
US5444476A (en) * 1992-12-11 1995-08-22 The Regents Of The University Of Michigan System and method for teleinteraction
JP4321751B2 (ja) * 2003-04-25 2009-08-26 パイオニア株式会社 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム
US7260278B2 (en) 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
US8644842B2 (en) * 2007-09-04 2014-02-04 Nokia Corporation Personal augmented reality advertising
JP4626775B2 (ja) * 2007-10-16 2011-02-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310470A (ja) * 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
JP4293135B2 (ja) * 2005-01-20 2009-07-08 日本電信電話株式会社 会議情報共有支援装置及び方法及びプログラム
CN101022352A (zh) * 2006-02-15 2007-08-22 富士施乐株式会社 电子会议系统、电子会议控制器、信息终端设备以及电子会议支持方法
US20080297436A1 (en) * 2007-05-29 2008-12-04 Canon Kabushiki Kaisha Head mounted display, display, and control method thereof
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427195A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
WO2018149266A1 (zh) * 2017-02-14 2018-08-23 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
CN107277429A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行远程会议的方法
CN111108491A (zh) * 2017-10-26 2020-05-05 Sun电子株式会社 会议系统
CN111108491B (zh) * 2017-10-26 2024-05-03 Sun电子株式会社 会议系统

Also Published As

Publication number Publication date
US8659635B2 (en) 2014-02-25
MY152414A (en) 2014-09-30
WO2011122496A1 (ja) 2011-10-06
EP2493187B1 (en) 2016-02-10
US20130010052A1 (en) 2013-01-10
SG181977A1 (en) 2012-08-30
JP2011217098A (ja) 2011-10-27
EP2493187A4 (en) 2013-08-28
JP4902765B2 (ja) 2012-03-21
CN102577370B (zh) 2013-07-31
EP2493187A1 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
CN102577370B (zh) 信息处理系统以及信息处理方法
CN110138645B (zh) 会话消息的显示方法、装置、设备及存储介质
US10599923B2 (en) Mobile device utilizing multiple cameras
CN109891365A (zh) 虚拟现实和跨设备体验
US11315337B2 (en) Method and apparatus for managing content in augmented reality system
KR20070102381A (ko) 전자 회의 시스템, 전자 회의 지원 방법, 전자 회의 제어장치, 휴대형 기억 기기
US7528977B2 (en) Printer with hardware and software interfaces for peripheral devices
Berger et al. Using symbiotic displays to view sensitive information in public
EP1600873A1 (en) A data control system, a method of data control, a computer program and a computer readable storage medium
CN100544432C (zh) 视频处理设备和对象识别方法
JP2023109925A (ja) 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
Hagita et al. Collaborative capturing of experiences with ubiquitous sensors and communication robots
CN100414973C (zh) 物体感知方法和相关的感知设备
CN100355240C (zh) 信息显示装置以及信息显示方法
JP2022140997A (ja) 情報処理装置及び情報処理プログラム
US20080065619A1 (en) Method, system, and program product for sharing collaborative data among a plurality of authors
US7962364B2 (en) Multimedia communications/collaboration hub
EP2442269B1 (en) Method for providing user information, and device adopting same
KR20150113299A (ko) Qr 코드를 이용한 커뮤니케이션 서비스 제공 시스템, 그 방법 및 qr 코드 표시 매체
JP2021089583A (ja) 移動店舗型商談支援システム
JP2008020685A (ja) プリント注文受付装置及び注文受付装置
JP2005191616A (ja) 調査システム、調査サーバ、調査用携帯端末及び調査方法
CN101506756A (zh) 用于向用户呈现与目标相关联的信息的方法和装置
JP2008262477A (ja) 町並み表示装置、町並み表示プログラム、及び町並み表示方法
JP2003284020A (ja) 表示データ管理方法、端末装置及び双方向対話型システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: NIPPON STEEL + SUMITOMO METAL SYSTEM INTEGRATION C

Free format text: FORMER NAME: NIPPON STEEL SYTEM INTEGRATION CO. LTD.

CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan, Japan

Patentee after: Nippon Steel & Sumitomo Metal System Integration Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Nippon Steel Sytem Integration Co., Ltd.