CN111108491A - 会议系统 - Google Patents

会议系统 Download PDF

Info

Publication number
CN111108491A
CN111108491A CN201780095076.9A CN201780095076A CN111108491A CN 111108491 A CN111108491 A CN 111108491A CN 201780095076 A CN201780095076 A CN 201780095076A CN 111108491 A CN111108491 A CN 111108491A
Authority
CN
China
Prior art keywords
user
display
unit
display screen
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780095076.9A
Other languages
English (en)
Other versions
CN111108491B (zh
Inventor
寺仓庆一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Suncorporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suncorporation filed Critical Suncorporation
Publication of CN111108491A publication Critical patent/CN111108491A/zh
Application granted granted Critical
Publication of CN111108491B publication Critical patent/CN111108491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种会议系统，其具有：两个以上的用户设备；以及信息处理装置，其以能够与两个以上的用户设备分别进行通信的方式连接。信息处理装置从各用户设备接收第一指示数据，生成表示包含虚拟白板的显示画面的显示画面数据，并发送所生成的显示画面数据，所述虚拟白板显示根据第一指示数据进行了变更的显示内容。各用户设备使显示部显示由显示画面数据表示的显示画面。显示画面包含对由所生成的显示内容数据表示的显示内容进行显示的虚拟白板。

Description

会议系统
技术领域
本说明书公开的技术涉及一种会议系统，其具有两个以上的用户设备和信息处理装置，用于各图像显示装置的用户彼此一边观看图像一边实现意思沟通。
背景技术
例如，在日本特开2006-352309号公报(以下，称为专利文献1)中，公开了具有虚拟形象的显示功能的电话机。该电话机在与持有具有同样功能的电话机的通话对象进行通话的过程中使显示器显示用户本身的第一虚拟形象和通话对象的第二虚拟形象。在通话对象的电话机的显示器上也同样地显示第一虚拟形象和第二虚拟形象。用户通过在通话过程中对电话机进行操作，就能够变更作为用户本身的虚拟形象的第一虚拟形象的方式。第一虚拟形象的方式的变更也反映在显示于通话对象的电话机的显示器上的第一虚拟形象。由此，能够一边按照用户的状况酌情地变更显示在彼此的显示器上的虚拟形象的方式，一边顺畅地实现交流。
发明内容
发明要解决的课题
当用户和通话对象进行通话时，有时希望用户和通话对象各自在共同的介质(纸、板等)上记入信息，并且一边观看记入了信息的共同的介质(即一边辨识共同信息)一边进行会谈。但是，在专利文献1的技术中，在通话过程中显示在电话机的显示器上的内容只不过是第一虚拟形象和第二虚拟形象(即，用户本身和通话对象的虚拟形象)，而没有考虑到使显示器显示用户本身和通话对象各自能够记入信息的介质或空间。在专利文献1的技术中，存在用户和通话对象不能一边辨识记入到共同的介质上的共同信息一边进行意思沟通的情况。
本说明书提供一种两个以上的用户设备的各自的用户能够一边辨识记入到共同的介质上的共同信息一边进行意思沟通的技术。
本说明书公开的会议系统包括：两个以上的用户设备；以及信息处理装置，其以能够与所述两个以上的用户设备分别进行通信的方式连接。所述两个以上的用户设备分别具有：镜架，其能够被用户佩戴；显示部，其设置在所述镜架，配置在佩戴了所述镜架的所述用户的视野范围；输入部，其用于所述用户输入指示；以及控制部。所述控制部具有：第一设备接收部，其从所述信息处理装置接收用于该用户设备的显示画面数据；显示控制部，其使所述显示部显示由所接收的所述显示画面数据表示的显示画面，所述显示画面包含各用户能够记入信息的虚拟白板；第一设备发送部，其在向所述输入部输入用于指示所述虚拟白板的显示内容的变更的变更指示的情况下，将表示所述变更指示的第一指示数据发送到所述信息处理装置。所述信息处理装置具有：第一装置接收部，其接收所述第一指示数据；第一装置生成部，其针对所述两个以上的用户设备分别生成用于该用户设备的所述显示画面数据，由所述显示画面数据表示的所述显示画面所包含的所述虚拟白板显示根据所述第一指示数据进行了变更的显示内容；第一装置发送部，其针对所述两个以上的用户设备分别发送所生成的用于该用户设备的所述显示画面数据。
根据上述结构，在用户设备的显示部显示用于该用户设备的显示画面。显示画面包含各用户能够记入的虚拟白板。即，显示画面所包含的虚拟白板显示被各用户记入的信息。然后，各用户能够通过观看在自身的用户设备的显示部上显示的显示画面来观看记入有共同信息的共同的虚拟白板。此外，各用户也能够通过向输入部输入变更指示来变更虚拟白板的显示内容(例如，信息的追加记入、信息的删除、显示面的变更等)。即，各用户能够以在存在虚拟白板的空间内进行会议那样的感觉相互进行意思沟通。因此，根据上述的结构，两个以上用户设备的各自的用户能够一边辨识记入到共同的虚拟白板上的共同信息一边进行意思沟通。
所述第一设备发送部还在被输入用于指示所述虚拟白板的显示内容的输出的输出指示的情况下，将表示所述输出指示的第二指示数据发送到所述信息处理装置。所述信息处理装置还具有：第二装置接收部，其接收所述第二指示数据；第二装置生成部，其在接收到所述第二指示数据的情况下，生成表示所述虚拟白板的所述显示内容的白板输出数据；以及输出部，其输出所述白板输出数据。
根据该结构，通过由任意用户向输入部输入输出指示，从而输出表示虚拟白板的显示内容的白板输出数据。在此，“输出”包括使各用户设备能够访问的存储装置存储白板输出数据、在纸等记录介质上进行印刷、向规定的邮件地址发送等。通过具有该结构，各用户能够在白板输出数据输出之后的任意时刻根据所输出的白板输出数据来确认虚拟白板的显示内容。
所述白板输出数据的输出能够包含使所述两个以上的用户设备分别能够访问的存储装置存储所述白板输出数据。
根据该结构，各用户在白板输出数据存储在存储装置之后，通过在任意时刻经由用户设备访问存储装置，就能够确认存储在存储装置中的白板输出数据的内容。
所述两个以上的用户设备分别还具有：传声器，其输入佩戴了所述镜架的所述用户发出的第一类声音；以及扬声器，其根据声音输出数据来输出第二类声音。所述控制部还具有：第二设备发送部，其将输入到所述传声器的所述第一类声音发送到所述信息处理装置；第二设备接收部，其从所述信息处理装置接收所述声音输出数据；以及声音输出控制部，其根据所接收的所述声音输出数据而使所述扬声器输出所述第二类声音。所述信息处理装置还具有：第三装置接收部，其接收所述第一类声音；第三装置生成部，其根据从所述两个以上的用户设备分别接收到的所述第一类声音，针对所述两个以上用户设备分别生成用于该用户设备的所述声音输出数据；以及第二装置发送部，其针对所述两个以上用户设备分别发送所生成的用于该用户设备的所述声音输出数据。
根据该结构，能够在各用户之间进行声音通话。即使在各用户彼此存在于分离的场所的情况下，各用户也能够一边辨识记入到共同的虚拟白板上的共同信息一边进行声音通话。
所述输入部包含所述用户能够通过所述用户发出的第一类声音来输入指示的声音输入部。
根据该结构，各用户能够声音输入变更指示等各种指示，因此各用户的操作负担少。
所述两个以上的用户设备分别具有：头部佩戴型的头戴式显示器，其包含所述镜架、所述显示部和所述控制部；以及操作终端，其与所述头戴式显示器独立地形成，能够与所述头戴式显示器进行通信，所述操作终端包含所述输入部。
根据该结构，例如在操作终端具有由多个键等构成的输入部等情况下，有时用户容易对操作终端进行操作来输入各种指示。能够提高各用户的便利性。
所述两个以上的用户设备分别还具有获取部，所述获取部获取与佩戴了所述镜架的所述用户的状态相关的状态信息。所述控制部还具有第三设备发送部，所述第三设备发送部向所述信息处理装置发送由所述获取部获取的所述状态信息。所述信息处理装置还具有：第四装置接收部，其接收所述状态信息；以及第四装置生成部，其生成表示佩戴所述两个以上的用户设备的各个用户的两个以上的角色图像，所述两个以上的角色图像分别具有与从对应的所述用户设备接收的所述状态信息所表示的状态对应的显示方式。由所述显示画面数据表示的所述显示画面还包含所生成的所述两个以上的角色图像中的至少一部分。
根据该结构，显示在各用户的用户设备的显示部上的显示画面包含两个以上的角色图像中的至少一部分。而且，各角色图像具有与从对应的用户设备接收到的状态信息表示的状态(即，该用户设备的用户的状态)对应的显示方式。即，显示画面所包含的角色图像能够恰当地反映对应的用户的状态。因此，根据上述结构，即使各用户设备的用户不进行操作，各用户也能够一边观看恰当地反映各用户的状态的显示画面，一边进行意思沟通。
所述两个以上的用户设备分别还能够不经由所述信息处理装置而相互通信，所述控制部还具有：第三设备接收部，其从不经由所述信息处理装置进行通信的通信目标的用户设备接收所述显示画面数据；设备生成部，其在向所述输入部输入所述变更指示的情况下，针对所述两个以上的用户设备分别生成用于该用户设备的所述显示画面数据，由所述显示画面数据表示的所述显示画面所包含的所述虚拟白板显示了根据所述变更指示进行了变更的显示内容；以及第四设备发送部，其将所生成的所述显示画面数据发送到所述通信目标的用户设备。
根据该结构，各用户即使在自身的用户设备处于不能与信息处理装置进行通信的状态的情况下，通过在各用户设备间不经由信息处理装置来执行通信，由此能够一边辨识记入到共同虚拟白板上的共同信息，一边进行意思沟通。
此外，用于实现上述的用户设备以及信息处理装置的控制方法、计算机程序以及储存该计算机程序的计算机可读介质也是新型且有用的。
附图说明
图1为示出会议系统的概要的图。
图2为示出图像显示装置的概要的图。
图3为示出图像显示装置的框图。
图4为示出终端装置的框图。
图5为示出服务器的框图。
图6为示出用户看到的显示画面的一例的图。
图7为示出服务器的控制部执行的通话控制处理的流程图。
图8为示出服务器的控制部执行的图像通信处理的流程图。
图9为示出第三实施例的图像显示装置的控制部执行的通话处理的流程图。
具体实施方式
(第一实施例)
(会议系统2的结构；图1)
图1所示的会议系统2是用于多个用户一边观看包含示出共同的一个虚拟白板的白板图像的显示画面(参照后述的图6)一边进行会议的系统。图1的会议系统2具有用户设备8A～8D和服务器100。用户设备8A～8D分别具有图像显示装置10A～10D和终端装置40A～40D。各个图像显示装置10A～10D能够在与对应的终端装置40A～40D之间执行Bluetooth(注册商标)通信。以下，有时将Bluetooth简称为“BT”。另外，各图像显示装置10A～10D能够在与服务器100之间执行Wi-Fi通信。在变形例中，各图像显示装置10A～10D也能够在与对应的终端装置40A～40D之间执行任意的近距离无线通信来代替BT通信。图像显示装置10A～10D分别佩戴在用户4A～4D的头部。对图像显示装置10A～10D分别分配了用于识别该装置的装置ID(“D01”、“D02”、“D03”、“D04”)。另外，用户4A～4D分别具有预先在服务器100注册的用户ID(“U01”、“U02”、“U03”、“U04”)。以下，在不对用户设备8A～8D、图像显示装置10A～10D以及终端装置40A～40D进行区别称呼的情况下，有时称为“用户设备8”、“图像显示装置10”、“终端装置40”。另外，在不对用户4A～4D进行区别称呼的情况下，有时称为“用户4”。在图1的示例中仅示出了四个用户设备8A～8D，但是在实际的会议系统2中可以包含除此之外的用户设备8。
(图像显示装置10的结构；图1～图3)
图1所示的图像显示装置10(即图像显示装置10A～10D)是佩戴在用户4的头部来使用的图像显示装置(所谓的头戴式显示器)。如图2所示，图像显示装置10具有镜架12、显示部14、操作部16、生物传感器18、脑波传感器20、传声器22、扬声器24、内侧摄像机26、外侧摄像机27、以及控制盒28。
镜架12是眼镜架状的构件。用户4通过以从脸部的前面侧佩戴眼镜的方式佩戴镜架12，由此能够将图像显示装置10佩戴在头部。
显示部14是遮光性的显示构件。当用户4将图像显示装置10佩戴在头部时，则显示部14配置在与用户4的双眼相向的位置。当用户4佩戴图像显示装置10时，则用户4的视野被显示部14遮挡。在其他例子中，显示部14可以是透光性的显示器，也可以是在用户4佩戴了图像显示装置10时通过显示部14能够看到周围的构件。
操作部16设置在镜架12上。操作部16包含多个按钮、刻度盘等。用户4能够对操作部16进行操作而向图像显示装置10输入各种操作。
生物传感器18是用于检测佩戴图像显示装置10的用户4的脉搏数以及出汗状态的传感器。生物传感器18安装在镜架12的一部分。用户4能够在将镜架12佩戴于头部的状态下在身体的规定部位(例如头部、颈部等)安装生物传感器18。
脑波传感器20是用于检测佩戴图像显示装置10的用户4的脑波的传感器。脑波传感器20安装在镜架12的一部分。用户4能够在将镜架12佩戴于头部的状态下在头部安装脑波传感器20。
传声器22是用于输入佩戴图像显示装置10的用户4的声音、周围的声音等各种声音的声音输入单元。传声器22安装在镜架12的一部分。当用户4将镜架12佩戴在头部时，则传声器22配置在用户4的嘴边附近(参见图1)。用户4也能够移动传声器22来酌情变更配置位置。
扬声器24是用于输出通话对象的声音等各种声音的声音输出单元。扬声器24也安装在镜架12的一部分。
内侧摄像机26设置在显示部14的内侧(即用户4的脸侧)。在图2的例子中，设置有两个内侧摄像机26。内侧摄像机26对佩戴图像显示装置10的用户的眼睛进行拍摄。
外侧摄像机27是用于对与佩戴图像显示装置10的用户4的视野范围对应的范围进行拍摄的摄像机。在图2的例子中，设置有两个外侧摄像机27。其中一方的外侧摄像机27拍摄用户4的右眼的视野范围，另一方的外侧摄像机27拍摄用户4的左眼的视野范围。
控制盒28是内置于镜架12的一部分中的控制装置。在控制盒28中收容有管理图像显示装置10的控制系统的各要素。具体而言，如图3所示，在控制盒28中收容有控制部30、存储器32、三维传感器34、Wi-Fi接口36、以及BT接口37。以下，将接口记载为“I/F”。
控制部30根据存储在存储器32中的程序来执行各种处理。另外，如图3所示，控制部30与显示部14、操作部16、生物传感器18、脑波传感器20、传声器22、扬声器24、内侧摄像机26、外侧摄像机27、存储器32、三维传感器34、Wi-Fi I/F36以及BT I/F38电连接，能够控制这些各要素的动作。
存储器32由ROM、RAM、硬盘等构成。存储器32存储各种程序。另外，存储器32还存储有分配给图像显示装置10本身的装置ID。例如，在图像显示装置10A的存储器32中存储有本机的装置ID“D01”。另外，存储器32还具有存储伴随控制部30的处理而生成的各种信息的区域。
三维传感器34是三轴加速度传感器。三维传感器34检测X、Y、Z三轴的加速度。控制部30能够使用三维传感器34的检测值来确定图像显示装置10的姿态以及运动状态。
Wi-Fi I/F36是用于经由未图示的因特网与外部的装置(例如服务器100)执行Wi-Fi通信的I/F。
BT I/F38是用于与外部的装置(具体而言是终端装置40)执行BT通信的I/F。在本实施例中，控制部30经由BT I/F38从终端装置40接收表示各种指示(变更指示、输出指示等)的指示信号。
(终端装置40的结构；图1、图4)
图1所示的终端装置40(即终端装置40A～40D)是智能手机、笔记本PC、平板PC等用户4所持有的便携型终端装置。如图4所示，终端装置40具有显示部42、操作部44、BT I/F46、控制部50和存储器52。另外，在后述的第二实施例中，终端装置40还具有传声器48。
显示部42是用于显示各种信息的显示器。操作部44具有多个键。用户4通过对操作部44进行操作就能够将各种指示(例如变更指示、输出指示等)输入到终端装置40。在本实施例中，显示部42是所谓的触控面板，也作为操作部来发挥功能。以下的“操作部44”这样的表述是指包含操作部44本身和作为触控面板的显示部42这两者的意思。
BT I/F46是用于与外部的装置(具体而言是图像显示装置10)执行BT通信的I/F。在本实施例中，控制部50经由BT I/F38将表示输入到操作部44的各种指示(变更指示、输出指示等)的指示信号发送到图像显示装置10。
控制部50根据存储在存储器52中的程序来执行各种处理。存储器52由ROM、RAM、硬盘等构成，存储有各种程序。存储在存储器52中的程序包含用于通过如在后面说明的那样与图像显示装置10进行BT通信从而将表示输入到操作部44的各种指示(变更指示、输出指示等)的指示信号发送到图像显示装置10的应用程序(以下称为“特定的应用程序”)。存储器52还存储在控制部50执行处理的过程中获取或生成的各种数据。
(服务器100的结构；图1、图5)
图1所示的服务器100是由会议系统2的管理者(例如，利用了会议系统2的会议服务的提供商等)设置的服务器。如图5所示，服务器100具有Wi-Fi I/F102、控制部110、以及存储器112。
Wi-Fi I/F102是用于经由未图示的因特网与外部的装置(例如图像显示装置10A～10D)执行无线通信的I/F。
控制部110根据存储在存储器112中的程序120来执行包含后述的通话控制处理(参照图5)的各种处理。存储器112由ROM、RAM、硬盘等构成。存储器112除了程序120之外，还存储有用户表122。用户表122包含多个组合信息122a～122d，所述多个组合信息122a～122d表示各用户(即用户4A～4D)的用户ID和该用户使用的图像显示装置10(即图像显示装置10A～10D)的装置ID的组合。组合信息122a～122d是通过各用户预先将用户ID和装置ID注册到服务器100从而被追加到用户表122内。例如，组合信息122a示出了表示用户4A的用户ID“U01”与表示图像显示装置10A的装置ID“D01”相关联。此外，存储器112还具有对伴随在控制部110的处理而生成的各种信息(例如，后述的白板输出数据)进行存储的区域。
(使用会议系统2进行的会议的概要；图6)
接着，参照图6，说明使用会议系统2在各用户4之间进行的会议的概要。当开始进行用户4A～4D参加的会议会谈时，则各用户4能够一边观看在佩戴于头部的图像显示装置10的显示部14所显示的显示画面200(参照图6)，一边与其他用户4之间进行声音通话。如图6所示，在显示画面200中包含表示各用户4A～4D的角色图像C1～C4。各角色图像C1～C4的显示方式是根据会议中的各用户4的状态(即姿态、视线、情绪、健康状态等)而实时地变化的。
显示画面200还包含表示虚拟白板的白板图像210。参加会议的各用户4能够一边如现实的会议室内的白板那样利用由白板图像210表示的虚拟白板，一边进行声音通话。即，参加会议的各用户4能够一边观看显示在共同的虚拟白板上的共同信息，一边进行声音通话。
在白板图像210的附近显示有页面变更按钮212、214、数据输出按钮216、笔按钮218以及删除按钮220。在显示画面200中还显示有各用户4能够操作的光标230。用户4能够操作终端装置40的操作部44，输入用光标230选择各按钮212～220的操作。
页面变更按钮212、214是用于变更(前进或后退)虚拟白板的显示面(即页面)的按钮。当操作页面变更按钮212和214时，则变更白板图像210表示的虚拟白板的显示面。
数据输出按钮216是用于使表示虚拟白板的显示内容的白板输出数据存储在服务器100的存储器112内的按钮。若操作数据输出按钮216，则生成表示虚拟白板的显示内容的白板输出数据，存储在服务器100的存储器112中。在变形例中，白板输出数据可以使用任意的方法输出来替代存储在存储器112。例如，白板输出数据可以邮件发送到用户4指定的邮件地址，也可以通过规定的打印机进行打印。
笔按钮218是用于利用向虚拟白板写入的笔的按钮。当用光标230操作笔按钮218时，则光标230的显示方式变更为笔的形状。然后，用户4通过向操作部44输入指示，进行在白板图像210上移动光标230的操作，从而在虚拟白板上记入信息(文字、图形等)。
删除按钮220是用于利用了将虚拟白板上的信息删除的擦除器的按钮。当用光标230操作删除按钮220时，则光标230的显示方式变更为擦除器的形状。然后，通过用户4向操作部44输入指示，来进行在白板图像210上移动光标230的操作，从而删除记入到虚拟白板的信息。
在显示画面200中还包含规定的背景图像250。在本实施例中，背景图像250利用用户4佩戴的图像显示装置10的外侧摄像机27的拍摄图像(即相当于用户4的视野的图像)。在图6的例子中，背景图像250包含有终端装置40的图像。即，意味着用户4将视线朝向自身携带的终端装置40。参加会议的用户4能够一边观看背景图像250中所包含的终端装置40的图像，一边操作终端装置40。
图6所示的显示画面200是在各用户4的图像显示装置10的显示部14中显示的显示画面的一例。在显示画面200上，也可以显示图6所示的各图像(角色图像C1～C4、白板图像210等)以外的图像。
(通话控制处理；图7)
参照图7，对本实施例的服务器100的控制部110执行的通话控制处理进行说明。通话控制处理是为了用户设备8A～8D的用户4A～4D一边观看显示画面200(参照图6)一边进行通话(即视讯会议)而由服务器100的控制部110执行的处理，所述显示画面200包含表示各用户的角色图像以及表示虚拟白板的白板图像210。当服务器100的电源被接通时，则控制部110开始进行图7的通话控制处理。
在S10中，控制部110监视从任意一个图像显示装置10接收通话开始请求的情况。通话开始请求是用于向服务器100要求开始多个用户的通话的请求信号。例如，图像显示装置10A的用户4A(参照图1)接通图像显示装置10A的电源并将其佩戴在头部。此时，由外侧摄像机27拍摄到的图像(即，与用户的视野对应的图像)显示在显示部14。用户能够通过观看外侧摄像机27的拍摄图像来掌握周围的状况。用户4A在该状态下操作终端装置40的操作部44，使上述的特定的应用程序启动。由此，向终端装置40和图像显示装置10A能够执行BT通信的状态转移。然后，用户4A对操作部44进行操作来输入规定的通话开始操作。规定的通话开始操作包含输入表示进行通话开始操作的用户4A(以下称为主机用户)的用户ID(在该例中为“U01”)的操作、选择表示参加通话的用户(以下称为宾客用户。例如用户4B～4D)的用户ID(“U02”、“U03”、“U04”)的操作、以及指示开始通话的操作。若向操作部44输入通话开始操作，则图像显示装置10A的控制部30经由BT I/F38从终端装置40接收表示通话开始操作的通话开始信号。另外，以下将用户4向操作部44输入各种操作并通过BT通信向图像显示装置10传输表示操作内容的信号的情况仅作为用户4的操作来简单地说明。并且，控制部30生成包含所输入的主机用户的用户ID(“U01”)和所选择的宾客用户的用户ID(“U02”～“U04”)的通话开始请求，将所生成的通话开始请求经由Wi-Fi I/F36发送给服务器100。在这种情况下，服务器100的控制部110经由Wi-Fi I/F102从图像显示装置10A接收通话开始请求。控制部110在接收到通话开始请求时，在S10中判断为“是”，进入S12。
在S12中，控制部110发送呼叫通知。详细而言，在S12中，首先，控制部110参照存储器112内的用户表122，确定与在S10中接收到的通话开始请求所包含的宾客用户的各用户ID(在上述例子中为“U02”、“U03”、“U04”)对应的装置ID(在上述例子中为“D02”、“D03”、“D04”)。然后，控制单元110经由Wi-Fi I/F102向由所确定的装置ID表示的图像显示装置10(在上述示例中为装置10B、10C、10D)发送呼叫通知。呼叫通知是用于向宾客用户使用的图像显示装置10通知被邀请参加通话的意思的信号，包含主机用户的用户ID(在上述的例子中为“U01”)和宾客用户的用户ID(在上述的例子中为“U02”、“U03”、“U04”)。呼叫通知的发送目标的图像显示装置10(即宾客用户的图像显示装置10)在接收到呼叫通知时，进行规定的呼叫动作。呼叫动作包含从扬声器24发出呼叫音、使显示部14显示主机用户的用户ID、宾客用户ID的用户ID以及呼叫消息。通过进行呼叫动作，使用图像显示装置10的用户4能够知道被主机用户邀请参加通话的情况以及参加通话的用户是谁。
接着，在S14中，控制部110监视从呼叫通知的发送目标的图像显示装置10的各自接收响应通知的情况。如上所述，接收到呼叫通知的图像显示装置10进行呼叫动作。正在进行呼叫动作的图像显示装置10的用户4(例如，图像显示装置10B的用户4B)佩戴图像显示装置10，启动终端装置40B的特定的应用程序，执行规定的响应操作。响应操作包含表示参加通话的参加操作和表示不参加通话的拒绝操作中的任意一个。当进行响应操作时，则图像显示装置10的控制部30生成包含表示参加的参加信息和表示拒绝的拒绝信息中的一方的响应通知，将所生成的响应通知发送给服务器100。服务器100的控制部110在从呼叫通知的发送目标的图像显示装置10的各自接收到响应通知时，在S14中判断为“是”，进入S16。
在S16中，控制部110开始进行通话会谈。具体地说，首先，控制部110确定主机用户的图像显示装置10的装置ID。接着，控制部110确定在宾客用户的图像显示装置10中的发送了包含参加信息的响应通知的图像显示装置10的装置ID。然后，控制部110开始进行包含由所确定的装置ID表示的图像显示装置10的通话会谈。即，在通话会谈中不包含发送了包含拒绝信息的响应通知的图像显示装置10。
(通话会谈开始后的各图像显示装置10的控制部30的处理)
在图5的S16中开始进行通话会谈时，则参加通话会谈的图像显示装置10的控制部30执行如下处理。即，控制部30将输入到传声器22的声音发送到服务器100，根据从服务器100接收到的声音数据从扬声器24输出声音。由此，能够在各图像显示装置10之间执行声音通话。
然后，控制部30随时生成包含该图像显示装置10的装置ID、三维传感器34的检测值、生物传感器18的检测值、脑波传感器20的检测值、输入到传声器22的声音信号以及内侧摄像机26拍摄的眼睛的图像的状态信息，并发送到服务器100。然后，控制部30按照发送状态信息的情况，从服务器100接收该图像显示装置10用的显示画面数据，使显示部14显示根据接收到的显示画面数据而显示的显示画面200(参照图6)。由此，参加通话的各用户4能够一边观看包含表示参加通话的其他用户4的角色图像C1～C4、和表示虚拟白板的白板图像210的显示画面200，一边进行通话。
进而，用户4能够向终端装置40的操作部44输入用于对显示画面200中的虚拟白板的显示内容进行变更(即，上述的显示面的变更、信息的记入或删除等)的变更指示。当输入变更指示时，则控制部30将表示所输入的变更指示的内容的变更指示数据发送到服务器100。然后，控制部30按照发送变更指示数据的情况，从服务器100接收表示包含变更显示内容后的白板图像210的显示画面200的显示画面数据，使显示部14显示根据接收到的显示画面数据而显示的显示画面200。由此，参加了通话的各用户4能够一边观看变更了显示内容的白板图像210一边进行通话。
进而，用户4能够向终端装置40的操作部44输入用于输出显示画面中的虚拟白板的显示内容(即，存储在服务器100的存储器112)的输出指示。当输入输出指示时，则控制部30将表示输出指示的输出指示数据发送到服务器100。如在后面说明的那样，当输出指示数据发送到服务器100时，则服务器100的控制部110生成包含在该时刻的虚拟白板的显示内容的白板输出数据，使存储器112存储所生成的白板输出数据。此后，用户4能够在任意时刻通过经由图像显示装置10向服务器100发送浏览请求，由此观看存储在存储器112中的白板输出数据的内容。
(通话控制处理的后续；图5的S18以后)
在接下来的S18中，控制部110开始进行声音通信处理。即，控制部110执行对参加通话会谈的各图像显示装置10间的声音通话进行中继的处理。即，控制部110从各图像显示装置10接收输入到各图像显示装置10的传声器22的声音信号。控制部110根据从各图像显示装置10接收到的声音信号来生成声音输出数据，并发送到各图像显示装置10。
另外，在S20中，控制部110开始进行图像通信处理。以下，参照图8，详细地说明在S20中执行的图像通信处理的内容。
(图像通信处理；图8)
当开始进行图8的图像通信处理时，控制部110开始进行S30、S50、S70的各监视。
在S30中，控制部110监视从参加了通话会谈的各图像显示装置10接收状态信息的情况。如上所述，当开始进行通话会谈时(图7的S16)，则参加了通话会谈的图像显示装置10的控制部30随时生成包含三维传感器34的检测值、生物传感器18的检测值、脑波传感器20的检测值、输入到传声器22的声音信号以及内侧摄像机26拍摄的眼睛的图像的状态信息，并发送到服务器100。控制部110在接收到参加了通话会谈的各图像显示装置10发送的上述的状态信息时，在S30判断为“是”，进入S32。
在S50中，控制部110监视从参加了通话会谈的各图像显示装置10中的任一个图像显示装置10接收变更指示数据的情况。如上所述，参加了通话会谈的用户4能够向终端装置40的操作部44输入上述的变更指示。在这种情况下，图像显示装置10的控制部30将表示所输入的变更指示的内容的变更指示数据发送到服务器100。控制部110在接收到任意一个图像显示装置10发送的变更指示数据时，在S50中判断为“是”，进入S52。
在S70中，控制部110监视从参加了通话会谈的图像显示装置10中的任一个图像显示装置10接收输入指示数据的情况。如上所述，参加了通话会谈的用户4能够向终端装置40的操作部44输入输出指示。在该情况下，图像显示装置10的控制部30将表示输出指示的输出指示数据发送到服务器100。控制部110在接收到任意一个图像显示装置10发送的输出指示数据时，在S70中判断为“是”，进入S72。
在S32(在S30中为“是”的情况)中，控制部110确定所接收的一个以上的状态信息中的一个状态信息(即，从参加了通话会谈的图像显示装置10之一接收到的状态信息)。以下，有时将在S32中所确定的状态信息称为“特定的状态信息”。此外，有时将特定的状态信息的发送源的图像显示装置10称为“特定的图像显示装置”。进而，有时将使用特定的图像显示装置的用户4称为“特定的用户”。
在接下来的S34中，控制部110根据在S32中所确定的特定的状态信息来确定特定的用户的状态。这里，特定的用户的状态包含特定的用户的姿态(包含脸部的朝向、身体的朝向)、情绪、身体状况、视线、讲话状态(是否为正在讲话中)等。在S34中，首先，控制部110参照用户表122，确定与特定的状态信息所包含的装置ID对应的用户ID(即，特定的用户的用户ID)。然后，控制部110根据特定的状态信息所包含的各种信息来确定特定的用户的状态。控制部110能够根据特定的状态信息所包含的三维传感器34的检测值来确定特定的用户的姿态。此外，控制单元110能够根据特定的状态信息所包含的生物传感器18的检测值、脑波传感器20的检测值、输入到传声器22的声音信号以及使用内侧摄像机26拍摄到的眼睛的图像来确定特定的用户的情绪(例如，生气、喜悦、不安、悲伤等)。此外，控制器110能够根据特定的状态信息所包含的生物传感器18的检测值和脑波传感器20的检测值来确定特定的用户的身体状况(健康、发热、头晕等)。另外，控制部110能够根据特定的状态信息所包含的使用内侧摄像机26拍摄到的眼睛的图像和三维传感器34的检测值，来确定特定的用户的视线。控制部110通过执行以上的各处理，能够确定特定的用户的状态。控制部110将特定的用户的用户ID和特定的用户的状态相关联地暂时存储在存储器112中。
在接下来的S36中，控制部110生成表示特定的用户的角色图像(参照图6的符号C1～C4)。在本实施例中，角色图像是具有反映了在S34中所确定的状态(姿态、情绪、身体状况、视线、讲话状态等)的显示方式的图像(所谓的虚拟形象)。
在接下来的S38中，控制部110判断在S30中接收到的一个以上的状态信息是否全部进行了确定。在该时刻对1个以上的状态信息全部确定完毕的情况下，控制部110在S38中判断为“是”，进入S40。另一方面，当还没有全部确定一个以上的状态信息时，控制部110在S38中判断为“否”，返回到S32，将未确定的状态信息之一重新确定为特定的状态信息，执行S34、S36的处理。
在S40中，控制部110生成包含已经生成完毕的各用户的角色图像和表示当前的虚拟白板的白板图像的各图像显示装置10用的显示画面数据。在本实施例中，在S40中所生成的显示画面数据的内容在各图像显示装置10之间是相同的。在变形例中，在S40中所生成的显示画面数据的内容可以在各图像显示装置10之间不同。在这种情况下，例如，各显示画面数据也可以具有反映了各用户的视野的内容。
在接下来的S42中，控制部110将所生成的各显示画面数据发送到对应的图像显示装置10。各图像显示装置10的控制部30在接收到显示画面数据时，使显示部14显示根据接收到的显示画面数据而显示的显示画面200(参照图6)。当结束S42时，控制部110返回到S30、S50和S70的各监视。
另一方面，在S52(S50中为“是”的情况)中，控制部110生成表示反映了由变更指示数据表示的变更指示所示出的变更内容(例如，信息的记入或者删除、显示面的变更等)的虚拟白板的白板图像(参照图6的符号210)。然后，在接下来的S40中，控制部110生成包含在S52中所生成的白板图像的各图像显示装置10用的显示画面数据。之后的S42的处理与上述相同。
另一方面，在S72(在S70中为“是”的情况)中，控制部110生成包含该时刻的虚拟白板的显示内容的白板输出数据。白板输出数据也可以是在该时刻显示在各图像显示装置10的显示部14上的白板图像本身。在其他例子中，白板输出数据也可以是在该时刻所显示的虚拟白板上显示的文本数据。
在接下来的S74中，控制部110使存储器112存储在S72中所生成的白板输出数据。当结束S47时，控制部110返回到S30、S50和S70的各监视。
通过控制部110反复执行S30～S74的各处理，在各图像显示装置10的显示部14上显示的显示画面200的内容根据各用户4的状态(视线、情绪、姿态等)以及各用户4输入的变更指示的内容而实时地变化。各用户4能够得到如与其他用户4实际进行会谈这样的感觉。另外，各用户4能够得到如一边观看共同的一个白板一边进行会议这样的感觉。进而，各用户4能够通过在任意时刻经由图像显示装置10向服务器100发送浏览请求，由此观看存储在存储器112中的白板输出数据的内容。
(通话控制处理的后续；图7的S22以后)
如上所述，通过在图7的S18中开始进行声音通信处理，在S20中开始进行图像通信处理，参加了通话的各用户4能够一边观看包含角色图像以及白板图像的显示画面一边进行通话。
在后续的S22中，控制部110监视从参加了通话会谈的图像显示装置10中的任一个图像显示装置10接收通话结束请求的情况。通话结束请求是用于向服务器100要求现在的通话会谈结束的请求信号。例如，参加了通话会谈的图像显示装置10A的用户4A能够在操作部16中进行规定的通话结束操作。在这种情况下，图像显示装置10A的控制部30将通话结束请求发送到服务器100。控制部110在接收到通话结束请求时，在S22中判断为“是”，进入S24。
在S24中，控制部110结束通话会谈。在结束S24时，返回到S10，控制部30再次监视接收通话开始请求的情况。
以上，对本实施例的会议系统2的结构以及操作进行了说明。在本实施例中，当开始进行通话会谈时，在参加通话会谈的各图像显示装置10的显示部14显示用于该图像显示装置10的显示画面200(参照图6)。显示画面200包含表示各用户能够记入的虚拟白板的白板图像210。显示画面200中所包含的白板图像210显示由参加通话会谈的各用户4记入的信息。然后，各用户4能够通过观看在自身的图像显示装置10的显示部14上显示的显示画面200，观看记入有共同信息的白板图像210。此外，各用户4也能够通过向终端装置40的操作部44输入变更指示来变更白板图像210的显示内容(例如，信息的记入、信息的删除、显示面的变更等)。即，各用户能够以在存在虚拟白板的空间内进行会议那样的感觉相互进行意思沟通。因此，根据本实施例，两个以上的用户设备8的每个用户4能够一边辨识记入到共同的虚拟白板上的共同信息一边进行意思沟通。
此外，在本实施例中，通过参加了通话会谈的任一个用户4向终端装置40的操作部44输入输出指示，由此在服务器100的存储器112存储(即输出)表示虚拟白板的显示内容的白板输出数据。此后，各用户4能够通过在任意时刻经由图像显示装置10向服务器100发送浏览请求，由此观看存储在存储器112中的白板输出数据的内容。
此外，在本实施例中，当开始进行通话会谈时，参加通话会谈的各图像显示装置10的控制部30将输入到传声器22的声音信号发送给服务器100，根据从服务器100接收的声音数据从扬声器24输出声音。因此，在本实施例中，能够在各用户4之间进行声音通话。即使在各用户4彼此存在于分离的场所的情况下，各用户4也能够一边辨识记入到共同的虚拟白板上的共同信息一边进行声音通话。
另外，在本实施例中，用户设备8由图像显示装置10和终端装置40构成。用于输入各种指示的终端装置40与佩戴于头部的图像显示装置10独立地形成，因此与用于输入各种指示的输入部设置于图像显示装置10的情况相比，用户4容易输入各种指示。另外，如果能够将用户4预先持有的智能手机等用作指示输入用的终端装置40，则也进一步提高用户的便利性。
另外，在本实施例中，显示在各用户4的图像显示装置10的显示部14上的显示画面200包含表示各用户4的角色图像C1～C4(参照图6)，并且，各角色图像C1～C4具有与从对应的图像显示装置10接收到的状态信息所示出的状态(即，该用户的状态)相应的显示方式。即，显示画面200中所包含的角色图像C1～C4恰当地反映对应的用户4的状态。因此，在本实施例中，即使各用户4不进行操作，各用户4也能够一边观看恰当反映了各用户4的状态的显示画面200一边进行通话。各用户4能够以一边观看自己或其他用户4的姿态、表情一边进行会谈的感觉来进行通话。
服务器100是“信息处理装置”的一例。变更指示数据、输出指示数据是“第一指示数据”、“第二指示数据”的一例。终端装置40是“操作终端”的一例。操作部44是“输入部”的一例。用户4输入到传声器22的声音是“第一类声音”的一例。从扬声器24输出的声音是“第二类声音”的一例。内侧摄像机26、传声器22、生物传感器18、脑波传感器20是“获取部”的一例。
(第二实施例)
在本实施例中，如图4所示，终端装置40具有传声器48。在本实施例中，用户4通过将用户发出的声音输入到传声器48，能够输入变更指示、输出指示等各种指示。即，在本实施例中，用户4能够声音输入各种指示。根据本实施例，各用户4的操作负担少。本实施例的传声器48是“输入部”的一例。
(第三实施例)
在本实施例中，与第一实施例不同点是各图像显示装置10能够不经由服务器100而相互进行通信。具体而言，各图像显示装置10能够经由BT I/F38相互执行近距离无线通信(具体而言是BT通信)。即，在本实施例中，图像显示装置10的控制部30能够经由BT I/F38与其他图像显示装置10执行BT通信。
在本实施例中，在各图像显示装置10之间建立了经由BT I/F38的无线连接(即BT连接)的情况下，在进行规定的通话开始操作的情况下，开始进行包含各图像显示装置10的通话会谈。当开始进行通话会谈时，各图像显示装置10的控制部30执行图9所示的通话处理。
在S100中，控制部30首先使显示部14显示初始的显示画面。在本实施例中，显示在显示部14的显示画面与图6的显示画面200同样地包含白板图像210、各按钮212～220、以及背景图像250，但不包含角色图像(参照图6的C1～C4)。另外，在此时刻所显示的显示画面中包含的白板图像210中未写入信息。
在接下来的S102中，控制部30将表示输入到传声器22的声音的声音数据发送到通信中的其他图像显示装置10。在S104中，控制部30根据从通信中的其他图像显示装置10接收的声音数据，从扬声器24输出声音。通过S102、S104的处理，即使在本实施例中也能够在各图像显示装置10间执行声音通话。
在S106中，控制部30判断是否从通信中的其他图像显示装置10接收到显示画面数据。若在该时刻从通信中的其他的图像显示装置10接收到显示画面数据，则控制部30在S106中判断为“是”，进入S108。在S108中，控制部30使显示部14显示根据接收完毕的显示画面数据来显示的显示画面。当结束S108时，进入S110。另一方面，若在该时刻没有从其他的图像显示装置10接收显示画面数据，则控制部30跳过S108而进入S110。
在S110中，控制部30判断是否在该时刻向对应的终端装置40的操作部44输入用于变更显示画面中的虚拟白板的显示内容(即，上述的显示面的变更、信息的记入或删除等)的变更指示。如果在该时刻输入了变更指示，则控制部30在S110中判断为“是”，进入S112。在S112中，控制部30生成包含根据变更指示而变更了显示内容之后的白板图像的显示画面数据。在接下来的S114中，控制部30使显示部14显示根据在S112中所生成的显示画面数据来显示的显示画面。在接下来的S115中，控制部30将在S112中所生成的显示画面数据发送到通信中的其他的图像显示装置10。当结束S115时，进入S116。另一方面，如果在该时刻没有输入变更指示，则控制部30在S110中判断为“否”，跳过S112～S115而进入S116。
在S116中，控制部30判断是否在该时刻向对应的终端装置40的操作部44输入用于输出显示画面中的虚拟白板的显示内容的输出指示。如果在该时刻输入了输出指示，则控制部30在S116中判断为“是”，进入S118。在S118中，控制部30生成包含此时的虚拟白板的显示内容的白板输出数据。在接下来的S119中，控制部30使存储器32存储在S118中所生成的白板输出数据。在转移到图像显示装置10和服务器100能够通信的状态的情况下，存储在存储器32的白板输出数据被输出到服务器100。当结束S119时，返回到S102。另一方面，如果在该时刻未输入输出指示，则控制部30在S116判断为“否”，跳过S118、S119而返回至S102。
此后，控制部30反复执行S102～S119的各处理，直到从任一图像显示装置10输出规定的通话结束请求而结束通话会谈为止。
另外，在能够执行本实施例的各图像显示装置10与服务器100的无线通信(Wi-Fi通信)的状态被确立的情况下，会议系统2根据在第一实施例中说明的方法执行会议，来代替在本实施例中说明的方法。
如上所述，在本实施例中，各用户4即使在自身的图像显示装置10处于不能与服务器100进行通信的状态的情况下，通过在各图像显示装置10间不经由服务器100来执行通信，由此能够一边辨识记入到共同的虚拟白板上的共同信息一边进行意思沟通。
如上所述，在本实施例中，在各图像显示装置10的显示部14中显示的显示画面不包含角色图像(参照图6的C1～C4)。这是考虑到在各图像显示装置10之间执行的BT通信的数据通信速度比在与服务器100之间执行的Wi-Fi通信的数据通信速度慢。在本实施例中，由于在各图像显示装置10之间收发的显示画面数据不包含角色图像，所以各图像显示装置10的控制部30的处理负荷以及BT通信负荷小。
基于同样的理由，在本实施例的变形例中，各用户4能够在虚拟白板中仅记入文本数据，而不能记入(粘贴)图像等。在该情况下，各图像显示装置10的控制部30的处理负荷以及BT通信负荷也较小。
但是，在本实施例的其他变形例中，在各图像显示装置10的显示部14显示的显示画面也可以包含角色图像。
以上，虽然详细地说明了实施例，但这些只不过是示例，并不限定专利请求的范围。在专利请求的范围所记载的技术中包含对以上例示的具体例进行各种变形、变更而得到的技术。例如，也可以采用以下的变形例。
(变形例1)在上述的各实施例中，在接收到输出指示数据的情况下(图8的S70中的“是”)，服务器100的控制部110使存储器112存储所生成的白板输出数据(S72、S74)。不限于此，控制部110也可以使用其他任意方法输出白板输出数据。例如，控制部110可以将白板输出数据邮件发送到用户4指定的邮件地址。此外，在其他例子中，控制部110也可以将白板输出数据发送到用户4指定的打印机来进行打印。
(变形例2)在上述的各实施例中，当开始进行通话会谈时，参加通话会谈的各图像显示装置10的控制部30将输入到传声器22的声音信号发送给服务器100，根据从服务器100接收的声音数据从扬声器24输出声音。即，在上述的实施例中，能够在各用户4之间进行声音通话。不限于此，控制部30也可以不进行用于声音通话的上述各处理。即，可以在各用户4之间不进行使用了传声器22和扬声器24的声音通话。在该变形例中，各用户4也可以一边观看显示画面200(参照图6)一边直接进行会谈(例如，谈话、在相同会议室内的会谈等)。在该情况下，各用户4也能够一边辨识记入到共同的虚拟白板上的共同信息，一边进行意思沟通。
(变形例3)在上述的各实施例中，用于用户4输入各种指示的终端装置40是用户4持有的便携式的终端装置。不限于此，只要用户4能够输入各种指示并且能够与图像显示装置10进行通信，则也可以具有任意的指示输入单元来代替终端装置40。例如，可以具有用户4能够操作的键盘等来代替终端装置40。
(变形例4)在上述的各实施例中，用户设备8具有图像显示装置10和终端装置40。不限于此，用户设备8也可以仅由图像显示装置10构成，省略终端装置40。在该情况下，用户4可以操作操作部16来输入变更指示等各种指示。在其他例子中，用户4也可以通过传声器22来声音输入各种指示。
(变形例5)在上述各实施例中，角色图像C1～C4是表示用户4A～4D的虚拟形像。不限于此，角色图像也可以是对用户本人的照片的图像进行加工后的图像等。
(变形例6)显示画面200也可以不包含角色图像C1～C4。
(变形例7)图像显示装置10也可以省略生物传感器18、脑波传感器20、内侧摄像机26、三维传感器34中的至少一个。
(变形例8)在上述的各实施例中，用户设备8包含作为佩戴于用户4的头部的头戴式显示器的图像显示装置10和便携式的终端装置40。用户设备的方式不限于此，也可以采用任意的方式。例如，可以采用佩戴在用户的手腕的手表型的用户设备。另外，例如，佩戴在用户的头部的图像显示装置10也可以具有能够将显示画面投影到周围的屏幕的图像照射部。用户能够看到投影在屏幕上的显示画面。
(变形例9)在上述的各实施例中，在显示画面中的虚拟白板上，以伴随用户进行移动光标(参照图6的符号230)的操作而使用笔写入信息(文字、图形等)那样的方式进行记入。不限于此，用户能够通过进行规定的文本输入操作从而在显示画面中的虚拟白板上记入文本数据。同样地，用户也能够通过进行规定的文件插入操作从而将文件(例如，图像文件等)粘贴到显示画面中的虚拟白板上。在该变形例中，在白板输出数据中可以仅包含记入到虚拟白板的文本数据或文件数据。
(参考例)进一步介绍作为在本说明书中公开的技术的一种方式的参考例。在本参考例中，会议系统2可以不具有服务器100。在本参考例中，各图像显示装置10可以相互直接执行BT通信，并且根据在第3实施例中说明的方法执行通话处理(参照图9)，由此进行会议。
另外，本说明书或附图中说明的技术要素是通过单独或各种组合来发挥技术实用性，并不限定于申请时权利要求所记载的组合。此外，在本说明书或附图中例示的技术是同时实现多个目的，实现其中一个目的本身就具有技术实用性。

Claims (8)

1.一种会议系统，具有：
两个以上的用户设备；以及
信息处理装置，其以能够与所述两个以上的用户设备分别进行通信的方式连接，
所述两个以上的用户设备分别具有：
镜架，其能够被用户佩戴；
显示部，其设置在所述镜架，配置在佩戴了所述镜架的所述用户的视野范围；
输入部，其用于所述用户输入指示；以及
控制部，
所述控制部具有：
第一设备接收部，其从所述信息处理装置接收用于该用户设备的显示画面数据；
显示控制部，其使所述显示部显示由所接收的所述显示画面数据表示的显示画面，所述显示画面包含各用户能够记入信息的虚拟白板；
第一设备发送部，其在向所述输入部输入用于指示所述虚拟白板的显示内容的变更的变更指示的情况下，将表示所述变更指示的第一指示数据发送到所述信息处理装置，
所述信息处理装置具有：
第一装置接收部，其接收所述第一指示数据；
第一装置生成部，其针对所述两个以上的用户设备分别生成用于该用户设备的所述显示画面数据，由所述显示画面数据表示的所述显示画面所包含的所述虚拟白板显示根据所述第一指示数据进行了变更的显示内容；以及
第一装置发送部，其针对所述两个以上的用户设备分别发送所生成的用于该用户设备的所述显示画面数据。
2.根据权利要求1所述的会议系统，其中，
所述第一设备发送部还在被输入用于指示所述虚拟白板的显示内容的输出的输出指示的情况下，将表示所述输出指示的第二指示数据发送到所述信息处理装置，
所述信息处理装置还具有：
第二装置接收部，其接收所述第二指示数据；
第二装置生成部，其在接收到所述第二指示数据的情况下，生成表示所述虚拟白板的所述显示内容的白板输出数据；以及
输出部，其输出所述白板输出数据。
3.根据权利要求2所述的会议系统，其中，
所述白板输出数据的输出包含使所述两个以上的用户设备分别能够访问的存储装置存储所述白板输出数据。
4.根据权利要求1至3中任一项所述的会议系统，其中，
所述两个以上的用户设备分别还具有：
传声器，其输入佩戴了所述镜架的所述用户发出的第一类声音；以及
扬声器，其根据声音输出数据来输出第二类声音，
所述控制部还具有：
第二设备发送部，其将输入到所述传声器的所述第一类声音发送到所述信息处理装置；
第二设备接收部，其从所述信息处理装置接收所述声音输出数据；以及
声音输出控制部，其根据所接收的所述声音输出数据而使所述扬声器输出所述第二类声音，
所述信息处理装置还具有：
第三装置接收部，其接收所述第一类声音；
第三装置生成部，其根据从所述两个以上的用户设备分别接收到的所述第一类声音，针对所述两个以上用户设备分别生成用于该用户设备的所述声音输出数据；以及
第二装置发送部，其针对所述两个以上的用户设备分别发送所生成的用于该用户设备的所述声音输出数据。
5.根据权利要求1至4中任一项所述的会议系统，其中，
所述输入部包含所述用户能够通过所述用户发出的第一类声音来输入指示的声音输入部。
6.根据权利要求1至5中任一项所述的会议系统，其中，
所述两个以上的用户设备分别具有：
头部佩戴型的头戴式显示器，其包含所述镜架、所述显示部和所述控制部；以及
操作终端，其与所述头戴式显示器独立地形成，能够与所述头戴式显示器进行通信，所述操作终端包含所述输入部。
7.根据权利要求1至6中任一项所述的会议系统，其中，
所述两个以上的用户设备分别还具有获取部，所述获取部获取与佩戴了所述镜架的所述用户的状态相关的状态信息，
所述控制部还具有第三设备发送部，所述第三设备发送部向所述信息处理装置发送由所述获取部获取的所述状态信息，
所述信息处理装置还具有：
第四装置接收部，其接收所述状态信息；以及
第四装置生成部，其生成表示佩戴所述两个以上的用户设备的各个用户的两个以上的角色图像，所述两个以上的角色图像分别具有与从对应的所述用户设备接收的所述状态信息所表示的状态对应的显示方式，
由所述显示画面数据表示的所述显示画面还包含所生成的所述两个以上的角色图像中的至少一部分。
8.根据权利要求1至7中任一项所述的会议系统，其中，
所述两个以上的用户设备分别还能够不经由所述信息处理装置而相互通信，
所述控制部还具有：
第三设备接收部，其从不经由所述信息处理装置进行通信的通信目标的用户设备接收所述显示画面数据；
设备生成部，其在向所述输入部输入所述变更指示的情况下，针对所述两个以上的用户设备分别生成用于该用户设备的所述显示画面数据，由所述显示画面数据表示的所述显示画面所包含的所述虚拟白板显示了根据所述变更指示进行了变更的显示内容；以及
第四设备发送部，其将所生成的所述显示画面数据发送到所述通信目标的用户设备。
CN201780095076.9A 2017-10-26 2017-10-26 会议系统 Active CN111108491B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038807 WO2019082366A1 (ja) 2017-10-26 2017-10-26 会議システム

Publications (2)

Publication Number Publication Date
CN111108491A true CN111108491A (zh) 2020-05-05
CN111108491B CN111108491B (zh) 2024-05-03

Family

ID=66247211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780095076.9A Active CN111108491B (zh) 2017-10-26 2017-10-26 会议系统

Country Status (5)

Country Link
US (1) US11212488B2 (zh)
EP (1) EP3702925B1 (zh)
JP (1) JP6882797B2 (zh)
CN (1) CN111108491B (zh)
WO (1) WO2019082366A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163155A (zh) * 2021-04-30 2021-07-23 咪咕视讯科技有限公司 用户头像生成方法、装置、电子设备及存储介质
CN114727046A (zh) * 2021-01-05 2022-07-08 中国移动通信有限公司研究院 容器虚拟子系统、无线投屏分享方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022018733A (ja) * 2020-07-16 2022-01-27 ヤフー株式会社 提供プログラム、提供方法、および提供装置
US11582272B1 (en) * 2021-12-21 2023-02-14 Microsoft Technology Licensing, Llc Whiteboard background customization system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427626A (zh) * 2001-12-20 2003-07-02 松下电器产业株式会社 虚拟电视通话装置
US20100277563A1 (en) * 2009-04-29 2010-11-04 Embarq Holdings Company, Llc Video conferencing eyewear
US20100302345A1 (en) * 2009-05-29 2010-12-02 Cisco Technology, Inc. System and Method for Extending Communications Between Participants in a Conferencing Environment
JP2010283645A (ja) * 2009-06-05 2010-12-16 Nikon Corp ヘッドマウントディスプレイ装置及び通信システム
CN102169482A (zh) * 2010-01-18 2011-08-31 夏普株式会社 信息处理装置以及通信会议系统
CN102577370A (zh) * 2010-03-31 2012-07-11 新日铁系统集成株式会社 信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序
CN103718152A (zh) * 2011-06-08 2014-04-09 思科技术公司 虚拟会谈视频共享
US20140149880A1 (en) * 2012-11-28 2014-05-29 Microsoft Corporation Interactive whiteboard sharing
US20140253866A1 (en) * 2012-04-24 2014-09-11 Sergio Martin Carabajal Spectacles having a built-in computer
CN105009124A (zh) * 2013-02-06 2015-10-28 Hoya株式会社 仿真系统、仿真装置以及商品说明辅助方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0589217A (ja) 1991-09-30 1993-04-09 N T T Data Tsushin Kk 共有画面表示制御装置
US6769767B2 (en) * 2001-04-30 2004-08-03 Qr Spex, Inc. Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices
US20040236830A1 (en) * 2003-05-15 2004-11-25 Steve Nelson Annotation management system
US7092002B2 (en) * 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
JP2006352309A (ja) 2005-06-14 2006-12-28 Mitsubishi Electric Corp 電話機
US9300912B2 (en) * 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
JP5683998B2 (ja) 2011-02-28 2015-03-11 オリンパス株式会社 サーバシステム及びクライアント装置の制御方法
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
JP6234223B2 (ja) 2013-12-27 2017-11-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびコンピュータプログラム
US10055018B2 (en) 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427626A (zh) * 2001-12-20 2003-07-02 松下电器产业株式会社 虚拟电视通话装置
US20100277563A1 (en) * 2009-04-29 2010-11-04 Embarq Holdings Company, Llc Video conferencing eyewear
US20100302345A1 (en) * 2009-05-29 2010-12-02 Cisco Technology, Inc. System and Method for Extending Communications Between Participants in a Conferencing Environment
JP2010283645A (ja) * 2009-06-05 2010-12-16 Nikon Corp ヘッドマウントディスプレイ装置及び通信システム
CN102169482A (zh) * 2010-01-18 2011-08-31 夏普株式会社 信息处理装置以及通信会议系统
CN102577370A (zh) * 2010-03-31 2012-07-11 新日铁系统集成株式会社 信息处理系统、会议管理装置、信息处理方法、会议管理装置的控制方法以及程序
CN103718152A (zh) * 2011-06-08 2014-04-09 思科技术公司 虚拟会谈视频共享
US20140253866A1 (en) * 2012-04-24 2014-09-11 Sergio Martin Carabajal Spectacles having a built-in computer
US20140149880A1 (en) * 2012-11-28 2014-05-29 Microsoft Corporation Interactive whiteboard sharing
CN105009124A (zh) * 2013-02-06 2015-10-28 Hoya株式会社 仿真系统、仿真装置以及商品说明辅助方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DR. ABRAHAM G. CAMPBELL: "Future Mixed Reality Educational Spaces", FUTURE TECHNOLOGIES CONFERENCE 2016, 31 December 2016 (2016-12-31), pages 1088 - 1093, XP033044543, DOI: 10.1109/FTC.2016.7821738 *
程瀚;廉东本;: "视频会议客户端信息管理系统", 计算机系统应用, no. 05, 15 May 2015 (2015-05-15), pages 247 - 250 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114727046A (zh) * 2021-01-05 2022-07-08 中国移动通信有限公司研究院 容器虚拟子系统、无线投屏分享方法及系统
CN113163155A (zh) * 2021-04-30 2021-07-23 咪咕视讯科技有限公司 用户头像生成方法、装置、电子设备及存储介质
CN113163155B (zh) * 2021-04-30 2023-09-05 咪咕视讯科技有限公司 用户头像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111108491B (zh) 2024-05-03
US11212488B2 (en) 2021-12-28
JPWO2019082366A1 (ja) 2020-11-19
JP6882797B2 (ja) 2021-06-02
WO2019082366A1 (ja) 2019-05-02
EP3702925A4 (en) 2021-03-24
EP3702925B1 (en) 2024-03-13
US20200275057A1 (en) 2020-08-27
EP3702925A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
CN111108491B (zh) 会议系统
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
KR20180057366A (ko) 이동 단말기 및 그 제어방법
CN110691027A (zh) 一种信息处理方法、装置、电子设备及介质
CN110263617B (zh) 三维人脸模型获取方法及装置
US11837233B2 (en) Information processing device to automatically detect a conversation
US20220232191A1 (en) Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method
JP2016018313A (ja) プログラム、情報処理装置、コミュニケーションシステム及びコミュニケーション方法
WO2018158852A1 (ja) 通話システム及びコミュニケーションシステム
CN107959755B (zh) 一种拍照方法、移动终端及计算机可读存储介质
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN108933891A (zh) 拍照方法、终端及系统
CN113170075A (zh) 信息处理装置、信息处理方法和程序
US20210120167A1 (en) Control method for camera device, camera device, camera system, and storage medium
JP6071006B2 (ja) 通信装置および方法、並びにプログラム
JP6779715B2 (ja) 情報処理システム
CN109862434A (zh) 一种美妆通话系统及其方法
WO2023032172A1 (ja) 仮想空間提供装置、仮想空間提供方法、及びコンピュータ読み取り可能な記憶媒体
US11900013B2 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing method
WO2024116529A1 (ja) システム、システムの制御方法
EP4273669A1 (en) Monitoring of facial characteristics
US20210349533A1 (en) Information processing method, information processing device, and information processing system
JP2024095393A (ja) 制御装置
CN115421815A (zh) 终端设备的模式管理方法、装置及存储介质
WO2019142817A1 (ja) 画像表示システムおよびそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant