CN114845081A - 信息处理装置、记录介质及信息处理方法 - Google Patents

信息处理装置、记录介质及信息处理方法 Download PDF

Info

Publication number
CN114845081A
CN114845081A CN202111018887.3A CN202111018887A CN114845081A CN 114845081 A CN114845081 A CN 114845081A CN 202111018887 A CN202111018887 A CN 202111018887A CN 114845081 A CN114845081 A CN 114845081A
Authority
CN
China
Prior art keywords
user
processor
online conference
speaking
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111018887.3A
Other languages
English (en)
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN114845081A publication Critical patent/CN114845081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038Arrangements for multi-party communication, e.g. for conferences with floor control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1093In-session procedures by adding participants; by removing participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种信息处理装置、记录介质及信息处理方法。信息处理装置,其具有处理器,当在线会议中登录了所述在线会议的用户以外的其他用户进行了讲话时,所述处理器在所述在线会议上显现所述其他用户正在讲话。

Description

信息处理装置、记录介质及信息处理方法
技术领域
本发明涉及一种信息处理装置、记录介质及信息处理方法。
背景技术
在专利文献1中记载有一种在经由网络的远程会议上确定下一个讲话者的装置。
在专利文献2中记载有一种装置,其输入配置有通信装置的基地内的语音,对该基地内进行拍摄,当在该基地内发声时,将表示说话者的位置的发声地点与时刻一同进行记录,当在规定时间内记录了该基地内的复数个发声地点时,确定包含所记录的复数个发声地点的拍摄范围,将所确定的拍摄范围的影像发送到配置于其他基地的其他通信装置。
在专利文献3中记载有一种装置,其在位于分开的场所的三个人以上使用电话线路进行基于语音的会议时,用于掌握谁与谁正在讲话。
在专利文献4中记载有一种装置,其检测会议的参加者彼此的对话成立的状态,记录该会议的参加者发出的语音,根据该对话的成立状态的检测结果从所记录的语音中提取特定的语音,使用该特定的语音制作会议的备忘录。
在专利文献5中记载有一种系统,其随着会议的进展而切换说话者,同时缓和能够发声的说话者的制约。
在专利文献6中记载有一种系统,其构建通常使用各终端的共用会议室和供各终端的特定群组个别使用的会议室,并按各终端所属的每个会议室提供语音会议。
专利文献1:日本特开2012-146072号公报
专利文献2:日本特开2017-34312号公报
专利文献3:日本特开2001-274912号公报
专利文献4:日本特开2013-105374号公报
专利文献5:日本特开2009-33594号公报
专利文献6:日本特开2020-141208号公报
发明内容
本发明的目的在于即使不按参加在线会议的每个用户使用麦克风,也能够确定在在线会议上正在讲话的用户。
方案1所涉及的发明为一种信息处理装置,其具有处理器,当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,所述处理器在所述在线会议上显现所述其他用户正在讲话。
方案2所涉及的发明为方案1所述的信息处理装置,其中登录了所述在线会议的用户和所述其他用户是位于相同场所的用户。
方案3所涉及的发明为方案1或方案2所述的信息处理装置,其中登录了所述在线会议的用户和所述其他用户是共用为了参加所述在线会议而利用的至少一个装置的用户。
方案4所涉及的发明为方案1至方案3中任一项所述的信息处理装置,其中所述处理器根据用户的面部的信息来识别正在讲话的用户。
方案5所涉及的发明为方案1至方案3中任一项所述的信息处理装置,其中所述处理器根据用户的语音来识别正在讲话的用户。
方案6所涉及的发明为方案1至方案5中任一项所述的信息处理装置,其中所述处理器让所述其他用户登录所述在线会议。
方案7所涉及的发明为方案1至方案6中任一项所述的信息处理装置,其中所述处理器还在用户不讲话时利用用于拾取所述用户的语音的麦克风拾取了声音的情况下推断为其他用户正在讲话。
方案8所涉及的发明为方案1至方案7中任一项所述的信息处理装置,其中所述处理器还在在相同场所只有一个人且参加了所述在线会议的情况下,当所述一个用户未讲话时拾取了声音时,停止拾取声音。
方案9所涉及的发明为方案1至方案8中任一项所述的信息处理装置,其中所述处理器还在所述其他用户被指定之后所述其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
方案10所涉及的发明为方案9所述的信息处理装置,其中所述其他用户由在所述其他用户之前讲话的用户指定。
方案11所涉及的发明为方案9所述的信息处理装置,其中所述其他用户由具有指定讲话者的权限的权限者指定。
方案12所涉及的发明为方案9至方案11中任一项所述的信息处理装置,其中所述处理器还在所述在线会议上显现表示所述其他用户已被指定的信息。
方案13所涉及的发明为方案1至方案12中任一项所述的信息处理装置,其中所述处理器还在各用户的讲话的顺序已被指定时,在所述在线会议上以与所述顺序相对应的方式显现各用户的图像。
方案14所涉及的发明为方案1至方案13中任一项所述的信息处理装置,其中所述处理器还在以预先规定的顺序切换要讲话的用户时,按照所述顺序切换在所述在线会议上显示的用户的图像。
方案15所涉及的发明为方案1至方案14中任一项所述的信息处理装置,其中所述处理器还将正在使用输入装置手动输入文字的用户从要讲话的用户的候选中排除。
方案16所涉及的发明为方案1至方案14中任一项所述的信息处理装置,其中所述处理器还将正在利用与所述在线会议不同的应用软件的用户从要讲话的用户的候选中排除。
方案17发明为一种记录介质,其记录有用于使计算机以如下方式动作的程序:当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
方案18所涉及的发明为一种信息处理方法,其包括如下步骤:当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
发明效果
根据本发明的第1、4、5、17、18方案,即使不按参加在线会议的每个用户使用麦克风,也能够确定在在线会议上正在讲话的用户。
根据本发明的第2方案,当复数个用户位于相同场所时,能够确定在在线会议上正在讲话的用户。
根据本发明的第3方案,当复数个用户共用相同的装置时,能够确定在在线会议上正在讲话的用户。
根据本发明的第6方案,能够让未登录在线会议的用户登录在线会议。
根据本发明的第7方案,能够推断正在讲话的用户。
根据本发明的第8方案,能够防止不应传达到参加了在线会议的对象的声音被传达。
根据本发明的第9方案,能够向参加了在线会议的用户传达被指定的用户正在讲话。
根据本发明的第10方案,能够由进行了讲话的用户指定接下来要讲话的用户。
根据本发明的第11方案,能够由权限者指定要讲话的用户。
根据本发明的第12方案,能够向参加了在线会议的用户传达被指定的用户要讲话。
根据本发明的第13、14方案,能够向参加了在线会议的用户传达要讲话的用户的顺序。
根据本发明的第15、16方案,能够将被推测为不讲话的用户从要讲话的用户的候选中排除。
附图说明
根据以下附图,对本发明的实施方式进行详细叙述。
图1是表示本实施方式所涉及的信息处理系统的结构的框图;
图2是表示本实施方式所涉及的服务器的结构的框图;
图3是表示本实施方式所涉及的终端装置的结构的框图;
图4是表示位于场所α的用户的图;
图5是表示位于场所β的用户的图;
图6是表示位于场所γ的用户的图;
图7是表示画面的图;
图8是表示画面的图;
图9是表示画面的图;
图10是表示画面的图;
图11是表示画面的图;
图12是表示画面的图;
图13是表示画面的图;
图14是表示画面的图;
图15是表示画面的图。
符号说明
10-服务器,12-终端装置,20、28-处理器。
具体实施方式
参考图1对本实施方式所涉及的信息处理系统进行说明。在图1中示出本实施方式所涉及的信息处理系统的结构的一例。
作为一例,本实施方式所涉及的信息处理系统包括服务器10和N个(N为1以上的整数)终端装置。在图1所示的例子中,本实施方式所涉及的信息处理系统包括终端装置12A、12B,12C、……、12N。图1所示的终端装置的数量仅为一例,只要一个或复数个终端装置包括在本实施方式所涉及的信息处理系统中即可。以下,当无需区分终端装置12A、12B、12C、……、12N时,将它们称为“终端装置12”。本实施方式所涉及的信息处理系统可以包括服务器10及终端装置12以外的其他装置。
服务器10及各终端装置12具有与其他装置进行通信的功能。该通信可以为利用电缆的有线通信,也可以为无线通信。即,各装置可以通过电缆与其他装置物理连接来收发信息,也可以通过无线通信收发信息。无线通信例如为近距离无线通信或Wi-Fi(注册商标)等。近距离无线通信例如为Bluetooth(注册商标)或RFID(Radio Frequency Identifier:射频识别)或NFC等。例如,各装置可以通过LAN(Local Area Network:局域网)或互联网等通信路径N与其他装置进行通信。
服务器10通过通信路径N提供在线服务。用户能够使用终端装置12来利用在线服务。例如,用户能够通过利用在线服务来将声音、图像、动画、字符串及振动等信息传达到对象。
在线服务例如为在线会议、在线提供内容(contents)的服务、在线游戏、在线购物、社交网络服务(SNS)或它们的组合等。在线会议有时被称为Web会议、远程会议或视频会议等。内容例如为娱乐节目(例如,音乐会、戏剧、电影、动画、音乐等)或体育比赛或e体育比赛等。例如,动画传送服务或音乐传送服务为在线提供内容的服务的一例。用户能够在线欣赏娱乐节目或者观看体育比赛或e体育比赛。
在线服务可以为利用虚拟空间的服务,也可以为不利用虚拟空间的服务。虚拟空间为与现实空间对比的概念,例如为通过计算机实现的虚拟的空间、形成于互联网等网络上的虚拟的空间、通过虚拟现实(VR)技术实现的虚拟的空间或网络空间等。例如,虚拟的三维空间或二维空间相当于虚拟空间的一例。
并且,服务器10存储并管理利用在线服务的用户的账户信息。账户信息为用于登录在线服务并利用在线服务的信息,例如为包含用户ID和密码的信息。例如,通过将账户信息发送到服务器10并登录在线服务,与该账户信息建立有关联的用户被允许参加在线服务并利用在线服务。当然,用户也可以无需将自己的账户信息登记在在线服务而能够利用在线服务。并且,用户也可以无需登录在线服务而能够利用在线服务。
终端装置12例如为个人电脑(以下,称为“PC”)、平板PC、智能手机、可穿戴设备(例如,AR(Augmented Reality:增强现实)眼镜、VR(Virtual Reality:虚拟现实)眼镜、可听戴设备等)或移动电话等。
另外,聊天机器人等自动应答对象也可以参加在线服务。例如,自动应答对象作为应答用户的咨询的应答助手发挥功能,接收用户的讲话并分析该讲话的内容,制作对该讲话的答复等并通知给用户。自动应答对象例如能够通过程序来实现。该程序例如被存储于服务器10或其他装置(例如,其他服务器或终端装置12等)中。自动应答对象也可以通过人工智能(AI)来实现。用于人工智能的算法可以为任何算法。
以下,作为一例,假设用户利用在线会议,通过该在线会议将声音或图像或动画或字符串或振动等传达到通信对象。
以下,参考图2对服务器10的硬件结构进行说明。在图2中示出服务器10的硬件结构的一例。
服务器10例如包括通信装置14、UI16、存储器18及处理器20。
通信装置14为具有通信芯片或通信电路等的通信接口,具有向其他装置发送信息的功能及从其他装置接收信息的功能。通信装置14可以具有无线通信功能,也可以具有有线通信功能。通信装置14例如可以通过利用近距离无线通信来与其他装置进行通信,也可以通过通信路径N与其他装置进行通信。
UI16为用户界面,包括显示器及输入装置中的至少一个。显示器为液晶显示器或EL显示器等。输入装置为键盘、鼠标、输入键或操作面板等。UI16也可以为兼备显示器和输入装置的触摸面板等UI。
存储器18为构成存储各种信息的一个或复数个存储区域的装置。存储器18例如为硬盘驱动器、各种存储器(例如,RAM、DRAM或ROM等)、其他存储装置(例如,光盘等)或它们的组合。一个或复数个存储器18包括在服务器10中。
处理器20构成为控制服务器10的各部的动作。处理器20可以具有存储器。例如,处理器20向用户提供在线服务。
以下,参考图3对终端装置12的硬件结构进行说明。在图3中示出终端装置12的硬件结构的一例。
终端装置12例如包括通信装置22、UI24、存储器26及处理器28。
通信装置22为具有通信芯片或通信电路等的通信接口,具有向其他装置发送信息的功能及接收从其他装置发送过来的信息的功能。通信装置22可以具有无线通信功能,也可以具有有线通信功能。通信装置22例如可以通过利用近距离无线通信来与其他装置进行通信,也可以通过通信路径N与其他装置进行通信。
UI24为用户界面,包括显示器及输入装置中的至少一个。显示器为液晶显示器或EL显示器等。输入装置为键盘、鼠标、输入键或操作面板等。UI24也可以为兼备显示器和输入装置的触摸面板等UI。
并且,终端装置12可以包括摄像头等摄像装置或麦克风或扬声器,这些中的全部或一部分可以连接于终端装置12。并且,也可以将耳机或头戴式耳机(head phone)连接于终端装置12。
存储器26为构成存储各种信息的一个或复数个存储区域的装置。存储器26例如为硬盘驱动器、各种存储器(例如,RAM或DRAM或ROM等)、其他存储装置(例如,光盘等)或它们的组合。一个或复数个存储器26包括在终端装置12中。
处理器28构成为控制终端装置12的各部的动作。处理器28可以具有存储器。
例如,处理器28将通过在线会议发送过来的图像或动画或字符串等显示于终端装置12的显示器,或者从扬声器产生通过在线会议发送过来的声音,将通过利用摄像头拍摄而生成的图像或动画等通过在线会议发送到对象,或者将由麦克风拾取的声音通过在线会议发送到对象。
终端装置12可以包括获取终端装置12的位置信息的传感器(例如,GPS(GlobalPositioning System:全球定位系统)传感器)、检测方位和姿势的陀螺仪传感器及加速度传感器等各种传感器中的至少一个。
以下,对本实施方式的各实施例进行说明。可以由服务器10的处理器20或终端装置12的处理器28执行各实施例所涉及的处理,也可以通过处理器20和处理器28协作来执行各实施例所涉及的处理。某一处理的一部分可以由处理器20执行,该处理的另一部分可以由处理器28执行。另外,服务器10、终端装置12或它们的组合相当于本实施方式所涉及的信息处理装置的一例。
在本实施方式中,在复数个用户位于相同的场所,且在该场所利用在线会议。场所并不受特别限定,可以为封闭的空间(例如,房间或会议室等),也可以为开放的空间(例如,户外等)。
(实施例1)
以下,对实施例1进行说明。作为一例,在场所α、场所β及场所γ利用相同的在线会议。例如,通过利用分别设置于场所α、场所β及场所γ的终端装置12来在场所α、场所β及场所γ利用相同的在线会议。位于场所α的用户、位于场所β的用户及位于场所γ的用户能够通过利用相同的在线会议来彼此交换信息。另外,场所的数量仅为一例。
在图4中示出位于场所α的用户,在图5中示出位于场所β的用户,在图6中示出位于场所γ的用户。场所α、场所β及场所γ为不同的场所。
如图4所示,在场所α有4个用户(例如,用户A、B、C、D)。如图5所示,在场所β有两个用户(例如,用户E、F)。如图6所示,在场所γ有一个用户(例如,用户G)。如此,在场所α及场所β有复数个用户。另外,位于各场所的用户的数量仅为一例。
用户A利用终端装置12A,用户B利用终端装置12B,用户C利用终端装置12C,用户D利用终端装置12D,用户E利用终端装置12E,用户F利用终端装置12F,用户G利用终端装置12G。在各终端装置12中可以设置有摄像头、麦克风及扬声器。
在场所α设置有显示器30、麦克风32及摄像头34。扬声器可以设置于场所α。显示器30、麦克风32、摄像头34及扬声器由位于场所α的用户A、B、C、D共用,并用于在线会议。例如,在显示器30上显示在线会议用的画面,在该画面上显示参加了在线会议的用户的图像等。
在场所β设置有显示器36。在场所β也设置有麦克风、摄像头及扬声器,它们可以由用户E、F共用。显示器36、麦克风、摄像头及扬声器用于在线会议。例如,在显示器36上显示在线会议用的画面。
在场所γ也设置有显示器、麦克风、摄像头及扬声器,它们可以用于在线会议。
相同场所例如可以根据各终端装置12的IP地址来规定,也可以根据各用户或各终端装置12的物理位置来规定,也可以根据利用GPS获取的位置信息来规定,也可以利用麦克风或扬声器来规定,也可以通过各用户申报自己的场所来规定。
例如,服务器10的处理器20将IP地址彼此接近的复数个终端装置12统括为一个群组来推断为该复数个终端装置12设置于相同场所,并推断为利用该复数个终端装置12的复数个用户位于相同场所。例如,当在终端装置12中登记有用于识别利用该终端装置12的用户的用户识别信息(例如,用户ID或账户信息等)时,服务器10的处理器20根据用户识别信息来识别利用终端装置12的用户。例如,与分别分配给终端装置12E、12F、12G的IP地址相比,分别分配给终端装置12A、12B、12C、12D的IP地址彼此接近时,服务器10的处理器20推断为终端装置12A、12B、12C、12D设置于相同场所α,并推断为用户A、B、C、D位于相同场所α。
作为另一例,各用户的物理位置也可以利用字符串或图等来指定。例如,表示各场所的座位的布居的图像显示于显示器,用户在图像上指定自己的座位或其他用户的座位。服务器10的处理器20根据该指定来识别各用户所在的场所。例如,当用户A在表示场所α的座位的布居的图像上指定了用户A、B、C、D各自的座位时,服务器10的处理器20识别为用户A、B、C、D位于相同场所α。并且,当用户A指定用户A、B、C、D各自的座位并且将用户A、B、C、D各自的用户识别信息分配给各用户的座位时,服务器10的处理器20将用户的座位的位置与该用户的用户识别信息建立关联而进行管理。由此,管理谁位于哪个座位。
作为另一例,服务器10的处理器20也可以根据各终端装置12的位置信息(例如,利用GPS获取的位置信息)来检测利用各终端装置12的各用户的位置,并根据各用户的位置来判断各用户是否位于相同场所。例如,当用户A、B、C、D各自的位置信息表示场所α内的位置时,服务器10的处理器20推断为用户A、B、C、D位于相同场所α。服务器10的处理器20也可以将与其他用户的位置相比位置彼此接近的复数个用户推断为位于相同场所的用户。例如,当用户A、B、C、D各自的位置与用户E、F、G的位置相比彼此接近时,服务器10的处理器20推断为用户A、B、C、D位于相同场所。
作为另一例,服务器10的处理器20也可以根据麦克风或扬声器的打开/关闭及各用户的位置信息来判断各用户是否位于相同场所。例如,各用户佩戴了麦克风或者在各用户的终端装置12中设置有麦克风。服务器10的处理器20通过利用GPS等来检测各用户的位置,并且检测各用户的麦克风是打开还是关闭。当位于彼此接近的距离处的复数个用户中只有一个用户的麦克风打开时,服务器10的处理器20将该复数个用户推断为一个群组,并推断为该复数个用户位于相同场所。也可以代替麦克风而根据扬声器的打开/关闭来判断复数个用户是否位于相同场所。另外,当用户佩戴了作为扬声器的耳机或头戴式耳机时,通常设想将扬声器设为打开的情况,因此认为难以根据扬声器推断群组。在该情况下,根据麦克风的打开/关闭来推断群组。
作为另一例,用户也可以自愿申报自己所在的场所。例如,用户可以使用自己的终端装置12来输入自己所在的场所,也可以在在线会议的开始时点讲“我在〇〇”。服务器10的处理器20可以接收该输入来检测各用户所在的场所,也可以接收该讲话来检测各用户所在的场所。
另外,终端装置12的处理器28可以通过利用上述服务器10的处理器20执行处理来判断谁在哪个场所。
以下,作为一例,用户D、F、G登录并参加了相同的在线会议。例如,用户D使用终端装置12D登录在线会议并参加在线会议,用户F使用终端装置12F登录在线会议并参加在线会议,用户G使用终端装置12G登录在线会议并参加在线会议。另外,复数个用户也可以使用相同的终端装置12分别登录在线会议并参加在线会议。
用户A、B、C未登录在线会议而在与用户D相同的场所α参加了在线会议。用户D未登录在线会议而在与用户E相同的场所β参加了在线会议。例如,从登录的用户获得允许参加的用户可以无需登录在线会议而能够参加在线会议。
登录了在线会议的用户被分配形成于在线会议用的画面的显示区域,在显示区域显示通过利用与该显示区域建立有关联的摄像头拍摄而生成的图像或动画或示意性地表示分配给该显示区域的用户的图像或动画(例如,图标或网络虚拟形象等)。也可以显示图像或动画,并且显示用于识别用户的字符串(例如,姓名、用户ID、账户或昵称等),或者,不显示图像或动画而显示用于识别用户的字符串(例如,姓名、用户ID、账户或昵称等)。对于未登录在线会议的用户不分配该显示区域。
例如,在登录了在线会议的终端装置12D、12F、12G各自的显示器上显示在线会议用的画面。分配给用户D的显示区域、分配给用户F的显示区域及分配给用户G的显示区域显示于在线会议用的画面。
并且,在场所α显示器30用于在线会议,在场所β显示器36用于在线会议,在显示器30、36上显示在线会议用的画面。例如,显示器30连接于终端装置12D并且用于在线会议,显示器36连接于终端装置12F并且用于在线会议。
并且,也可以在未登录在线会议的用户的终端装置12的显示器上也显示在线会议用的画面。例如,在未登录用户D、F、G所参加的在线会议而参加了在线会议的用户的终端装置12的显示器上显示该在线会议用的画面,未登录在线会议而参加在线会议的用户能够共享该在线会议用的画面。
以下,作为一例,在各用户的终端装置12的显示器及显示器30、36上显示在线会议用的画面。
例如,设置于场所α的摄像头34与从场所α登录并参加了在线会议的用户D建立关联,通过利用摄像头34拍摄而生成的图像或动画显示于在线会议用的画面中分配给用户D的显示区域。例如,摄像头34连接于终端装置12D,通过利用摄像头34拍摄而生成的图像或动画的数据经由终端装置12D及服务器10发送到各终端装置12,并在各终端装置12的显示器上显示于在线会议用的画面。也可以是代替摄像头34而利用终端装置12D的摄像头(即,内置的摄像头)拍摄并将通过该拍摄而生成的图像或动画显示于在线会议用的画面。另外,也可以代替通过利用摄像头34拍摄而生成的图像或动画而显示表示用户D的示意性的图像或动画,也可以显示用于识别用户D的字符串。
同样地,终端装置12F的摄像头(即,内置的摄像头)或设置于场所β的摄像头与从场所β登录并参加了在线会议的用户F建立关联,通过利用该摄像头拍摄而生成的图像或动画显示于在线会议用的画面中分配给用户F的显示区域。也可以代替通过利用摄像头拍摄而生成的图像或动画而显示表示用户F的示意性的图像或动画,也可以显示用于识别用户F的字符串。
同样地,终端装置12G的摄像头(即,内置的摄像头)或设置于场所γ的摄像头与从场所γ登录并参加了在线会议的用户G建立关联,通过利用该摄像头拍摄而生成的图像或动画显示于在线会议用的画面中分配给用户G的显示区域。也可以代替通过利用摄像头拍摄而生成的图像或动画而显示表示用户G的示意性的图像或动画,也可以显示用于识别用户G的字符串。
并且,设置于场所α的麦克风32连接于终端装置12D,由麦克风32拾取的声音的数据经由终端装置12D及服务器10发送到终端装置12F、12G,该声音从终端装置12F、12G各自的扬声器(即,内置的扬声器)或分别连接于终端装置12F、12G的扬声器(即,外置的扬声器)发出。也可以代替麦克风32而使用终端装置12D的麦克风,也可以使用终端装置12A、12B、12C的麦克风。
同样地,由终端装置12F的麦克风(即,内置的麦克风)或设置于场所β的麦克风拾取的声音的数据经由终端装置12F及服务器10发送到终端装置12D、12G,该声音从终端装置12D、12G各自的扬声器(即,内置的扬声器)或分别连接于终端装置12D、12G的扬声器(即,外置的扬声器)发出。
同样地,由终端装置12G的麦克风(即,内置的麦克风)或设置于场所γ的麦克风拾取的声音的数据经由终端装置12G及服务器10发送到终端装置12D、12G,该声音从终端装置12D、12F各自的扬声器(即,内置的扬声器)或分别连接于终端装置12D、12F的扬声器(即,外置的扬声器)发出。
另外,麦克风或扬声器也可以佩戴于用户上。例如,当终端装置12为可听戴设备等可穿戴设备时,可以想到用户佩戴并利用终端装置12的情况。在该情况下,包括在终端装置12中的扬声器(例如,耳机或头戴式耳机)佩戴于用户的耳部,包括在终端装置12中的麦克风配置于用户的嘴部附近。
当在在线会议上登录了在该在线会议的用户以外的其他用户进行了讲话时,服务器10的处理器20在该在线会议上显现该其他用户正在讲话。服务器10的处理器20可以使得产生表示该其他用户正在讲话的视觉上的变化(例如,显示表示该其他用户正在讲话的图像或动画或字符串),也可以产生表示该其他用户正在讲话的声音(例如,表示该其他用户的姓名或用户ID或账户等的语音),也可以通过振动来显现该其他用户正在讲话。例如,当各用户佩戴了可听戴设备时,服务器10的处理器20通过骨导向各用户传达该其他用户正在讲话。
例如,当表示进行了讲话的其他用户的图像或动画未显示于在线会议用的画面时,服务器10的处理器20将表示进行了讲话的其他用户的图像或动画显示于在线会议用的画面。在该情况下,服务器10的处理器20可以将表示进行了讲话的其他用户的图像或动画与表示未讲话的用户的图像或动画区分显示。例如,服务器10的处理器20可以在在线会议用的画面上将表示进行了讲话的其他用户的图像或动画显示为大于表示未讲话的用户的图像或动画,也可以对表示进行了讲话的其他用户的图像或动画施加装饰(例如,用特定的颜色或形状的框包围图像或动画),也可以闪烁表示进行了讲话的其他用户的图像或动画,也可以通过其他方法使表示进行了讲话的其他用户的图像或动画显眼。
例如,当在场所α未登录在线会议的用户A进行了讲话时,即,当位于与登录了在线会议的用户D相同的场所α的用户A进行了讲话时,服务器10的处理器20将表示用户A的图像或动画显示于在线会议用的画面。例如,表示用户A的图像或动画如图4所示那样显示于显示器30,如图5所示那样显示于显示器36,如图6所示那样显示于终端装置12G的显示器。并且,当在终端装置12A~12F各自的显示器上显示有在线会议用的画面时,在终端装置12A~12F各自的显示器上也显示表示用户A的图像或动画。如上所述,可以显示成使表示用户A的图像或动画显眼。
可以显示表示用户A的图像或动画,并且产生表示用户A进行了讲话的声音或振动等,或者,不显示表示用户A的图像或动画而产生表示用户A进行了讲话的声音或振动等。
例如,当麦克风32为具有指向性的麦克风时,服务器10的处理器20能够根据利用麦克风32进行的声音拾取来检测在场所α产生了声音的方向。并且,服务器10的处理器20能够根据事先登记的各用户的位置(例如,各用户的座位的位置)或利用GPS获取的各终端装置12的位置来检测各用户的位置。当用户A在产生了声音的方向上时,服务器10的处理器20推断为用户A进行了讲话,并产生表示用户A正在讲话的图像或语音或振动等。
作为另一例,服务器10的处理器20也可以根据用户的面部的信息来识别正在讲话的用户。例如,表示参加了在线会议的各用户的面部的图像预先被登记在服务器10中。用于识别用户的信息与表示该用户的面部的图像建立有关联。例如,表示用户A的面部的图像与用于识别用户A的信息建立关联而预先被登记在服务器10中。各用户的面部被摄像头拍摄,服务器10的处理器20根据通过该拍摄而生成的图像或动画来推断正在讲话的用户。例如,服务器10的处理器20将嘴部在动的用户推断为正在讲话的用户。并且,服务器10的处理器20通过核对预先被登记的表示各用户的图像和通过拍摄而生成的表示推断为正在讲话的用户的图像或动画来识别推断为正在讲话的用户。
例如,场所α内被摄像头34拍摄。当用户A正在讲话时,服务器10的处理器20根据通过利用摄像头34拍摄而生成的图像或动画来推断为用户A正在讲话,通过核对通过该拍摄而生成的用户A的图像或动画与预先被登记在服务器10中的用户A的图像来识别正在讲话的用户为用户A。
作为另一例,服务器10的处理器20也可以根据用户的语音来识别正在讲话的用户。例如,参加了在线会议的各用户的语音预先被登记在服务器10中。用于识别用户的信息与该用户的语音建立有关联。例如,用户A的语音与用于识别用户A的信息建立关联而预先被登记在服务器10中。若进行了讲话的用户的语音被麦克风拾取,则服务器10的处理器20通过核对所拾取的语音与被登记在服务器10中的各用户的语音来识别正在讲话的用户。
并且,服务器10的处理器20可以将摄像头朝向正在讲话的用户而利用该摄像头拍摄正在讲话的用户。例如,当用户A正在讲话时,服务器10的处理器20通过将摄像头34朝向用户A而拍摄用户A,并将通过该拍摄而生成的图像或动画显示于在线会议用的画面。另外,当摄像头34连接于终端装置12(例如,终端装置12D)时,终端装置12的处理器28可以通过将摄像头34朝向用户A来拍摄用户A。
在上述例子中,由服务器10的处理器20识别正在讲话的用户,但也可以由终端装置12的处理器28识别正在讲话的用户。例如,当用户A正在讲话时,可以由设置于场所α的终端装置12(例如,终端装置12D)的处理器28识别正在讲话的用户A。
表示在讲话的用户的图像或动画(例如,表示用户A的图像或动画)可以为预先被登记在服务器10中的图像或动画,也可以为正在讲话时通过利用摄像头拍摄而生成的图像或动画。也可以显示示意性地表示正在讲话的用户的图像或动画(例如,图标或网络虚拟形象)。
如上所述,当登录了在线会议的用户以外的其他用户(例如,用户A)进行了讲话时,显现该其他用户正在讲话,并传达到参加了在线会议的各用户。由此,即使不按每个用户使用麦克风,也能够确定在在线会议中正在讲话的用户。即,即使不根据由按每个用户使用的麦克风拾取的声音来确定正在讲话的用户,也能够确定正在讲话的用户。例如,若设置于相同场所(例如,场所α)的至少一个麦克风(例如,场所α的麦克风32)打开,则能够确定正在讲话的用户。
另外,登录了在线会议的用户D和未登录在线会议的用户A、B、C可以说是共享为了参加在线会议而利用的至少一个装置的用户。例如,用于在线会议的显示器30设置于场所α,用户A、B、C、D共用显示器30参加了在线会议。并且,用于在线会议的麦克风32、摄像头34及扬声器设置于场所α,用户A、B、C、D共用麦克风32、摄像头34及扬声器参加了在线会议。如此,位于相同场所α的用户A、B、C、D共用设置于场所α的相同的显示器30、麦克风32、摄像头34及扬声器,位于其他场所β或场所γ的用户与用户A、B、C、D不共用设置于场所α的显示器30、麦克风32、摄像头34及扬声器。关于场所β及场所γ也相同。
服务器10的处理器20可以让未登录在线会议而正在讲话的用户登录在线会议。例如,在用户A未登录在线会议时进行了讲话的情况下,服务器10的处理器20让用户A登录在线会议。当用户A的账户信息预先被登记在服务器10中时,服务器10的处理器20将用户A的登录状态从未登录的状态改变为登录状态。作为另一例,服务器10的处理器20也可以通过将登录用的画面显示于终端装置12A的显示器来催促用户A登录。用户A能够通过在该登录用的画面上输入账户信息来登录在线会议。也可以由终端装置12的处理器28让未登录在线会议而正在讲话的用户登录在线会议。例如,当用户A正在讲话时,可以由终端装置12A的处理器28让用户A登录在线会议。
在用户未讲话时利用麦克风拾取了声音的情况下,服务器10的处理器20可以推断为位于与该用户相同的场所的该用户以外的其他用户正在讲话。服务器10的处理器20根据通过利用摄像头拍摄而生成的图像或动画来判断各用户是否正在讲话。例如,由终端装置12的摄像头(例如,前摄像头等)拍摄利用该终端装置12的用户的面部,服务器10的处理器20根据通过该拍摄而生成的图像或动画来判断利用该终端装置12的用户是否正在讲话。例如,位于相同场所的用户的数量被登记在服务器10中。服务器10的处理器20判断各用户是否正在讲话,并从所登记的人数中减去未讲话的用户的数量,将剩下的一个用户推断为正在讲话的用户。另外,也可以由终端装置12的处理器28推断正在讲话的用户。
举出具体例进行说明。如图5所示,在场所β有两个用户(即,用户E、F)。在服务器10中登记有在场所β有两个用户。用户F登录了在线会议,用户E未登录在线会议。
并且,登录了在线会议的终端装置12F的麦克风打开,未登录在线会议的终端装置12E的麦克风关闭。在该情况下,当语音被终端装置12F的麦克风拾取,且根据通过利用终端装置12F的摄像头(例如,前摄像头)拍摄而生成的图像或动画判断为用户F未讲话时,服务器10的处理器20推断为剩下的一个用户E正在讲话。另外,也可以由终端装置12F的处理器28推断正在讲话的用户为用户E。
并且,在相同场所只有一个用户且参加了在线会议的情况下,当该一个用户未讲话时拾取了声音时,服务器10的处理器20可以停止拾取声音。
举出具体例进行说明。如图6所示,在场所γ只有一个用户G。终端装置12G的麦克风打开。在该情况下,当声音被终端装置12G的麦克风拾取,且根据通过利用终端装置12G的摄像头(例如,前摄像头)拍摄而生成的图像或动画判断为用户G未讲话时,服务器10的处理器20停止利用终端装置12G的麦克风拾取声音。停止拾取声音是指关闭麦克风、将麦克风设定为静音或不输出所拾取的声音的数据。尽管用户G未讲话,但拾取了声音时,推测为该拾取的声音为不应通过在线会议传达到其他用户的声音。在该情况下,停止拾取声音,由此能够防止不应传达到其他用户的声音被传达到其他用户。另外,也可以由终端装置12G的处理器28停止利用麦克风拾取声音。
以下,参考图7对在线会议用的画面的一例进行说明。图7是表示在线会议用的画面38的图。在图7中示出设置于场所α的显示器30,画面38显示于显示器30。另外,在终端装置12A~12G各自的显示器及设置于场所β的显示器36上也显示与画面38相同的画面。
在画面38上形成分配给登录了在线会议的用户的显示区域。例如,用户D、F、G登录了在线会议。对用户D分配显示区域38A,对用户F分配显示区域38B,对用户G分配显示区域38C,显示区域38A、38B、38C形成于画面38。在显示区域38A显示通过利用与用户D建立有关联的摄像头(例如,设置于场所α的摄像头34或终端装置12D的摄像头)拍摄而生成的图像或动画。在显示区域38B显示通过利用与用户F建立有关联的摄像头(例如,设置于场所β摄像头或终端装置12F的摄像头)拍摄而生成的图像或动画。在显示区域38C显示通过利用与用户G建立有关联的摄像头(例如,设置于场所γ的摄像头或终端装置12G的摄像头)拍摄而生成的图像或动画。也可以显示图像或动画,并且显示用于识别所登录的用户的字符串,或者,不显示图像或动画而显示用于识别所登录的用户的字符串。所显示的图像或动画也可以不是通过利用摄像头拍摄而生成的图像或动画,而是示意性地表示用户的图像或动画。
并且,也可以将用于识别登录了在线会议的用户的信息(例如,账户信息)显示于画面38。在此,由于用户D、F、G登录了在线会议,因此用于识别用户D、F、G的信息显示于画面38。
例如,通过利用设置于场所α的摄像头34拍摄而生成的图像或动画显示于显示区域38A。当在场所α未登录在线会议的用户A进行了讲话时,服务器10的处理器20在显示区域38A显示用户A进行了讲话。例如,当用户A讲话之以前表示用户A的图像或动画未显示于显示区域38A时(例如,当用户A未被摄像头34拍摄且表示用户A的图像或动画未显示于显示区域38A时),服务器10的处理器20将表示正在讲话的用户A的图像或动画显示于显示区域38A。服务器10的处理器20也可以将摄像头34朝向用户A而拍摄用户A并将通过该拍摄而生成的表示用户A的图像或动画显示于显示区域38A,也可以将预先被登记的表示用户A的图像或动画显示于显示区域38A。在图7所示的例子中,表示用户A的图像或动画显示于显示区域38A。另外,在显示区域38B显示有表示登录了在线会议的用户F的图像或动画,在显示区域38C显示有表示登录了在线会议的用户G的图像或动画。
当用户A讲话之前表示用户A的图像或动画已显示于显示区域38A时(例如,当用户A被摄像头34拍摄且表示用户A的图像或动画已显示于显示区域38A时),服务器10的处理器20可以在画面38上放大显示表示用户A的图像或动画,也可以对表示用户A的图像或动画施加装饰,也可以闪烁表示用户A的图像或动画,也可以将显示区域38A、38B、38C以外的其他显示区域显示于画面38,并将表示用户A的图像或动画显示于该其他显示区域。
服务器10的处理器20也可以显示表示正在讲话的用户A的图像或动画,并且在画面38上显示表示用户A正在讲话的字符串,或者,不显示表示用户A的图像或动画而在画面38上显示表示用户A正在讲话的字符串。
(实施例2)
以下,对实施例2进行说明。在实施例2中,也与实施例1同样地,用户A、B、C、D在场所α参加了在线会议,用户E、F在场所β参加了在线会议,用户G在场所γ参加了在线会议。
在实施例2中,用户A~G登录在线会议并参加了在线会议。并且,在终端装置12A~12G中分别设置有摄像头(例如,前摄像头),通过利用设置于各终端装置12的摄像头拍摄而生成的图像或动画显示于在线会议用的画面。
在图8中示出在线会议用的画面38。图8所示的画面38为设置于场所α的显示器30上显示的画面。在设置于场所β的显示器36及各终端装置12的显示器上也显示与画面38相同的画面。
由于用户A~G登录了在线会议,因此用户A~G分别分配有显示区域,各用户的显示区域形成于画面38。如图8所示,显示区域38A~38G形成于画面38。另外,可以将所登录的所有用户的显示区域形成于画面38,也可以将一部分用户的显示区域形成于画面38。例如,可以将预先规定的人数的显示区域形成于画面38。
显示区域38A分配给用户A,在显示区域38A显示通过利用终端装置12A的摄像头拍摄而生成的图像或动画。显示区域38B分配给用户B,在显示区域38B显示通过利用终端装置12B的摄像头拍摄而生成的图像或动画。显示区域38C分配给用户C,在显示区域38C显示通过利用终端装置12C的摄像头拍摄而生成的图像或动画。显示区域38D分配给用户D,在显示区域38D显示通过基于终端装置12D的摄像头拍摄而生成的图像或动画。显示区域38E分配给用户E,在显示区域38E显示通过利用终端装置12E的摄像头拍摄而生成的图像或动画。显示区域38F分配给用户F,在显示区域38F显示通过利用终端装置12F的摄像头拍摄而生成的图像或动画。显示区域38G分配给用户G,在显示区域38G显示通过利用终端装置12G的摄像头拍摄而生成的图像或动画。另外,也可以显示图像或动画,并且将用于识别用户的信息显示于各显示区域,或者,不显示图像或动画而将用于识别用户的信息显示于各显示区域。
在图8所示的例子中,在各显示区域显示有表示用户的图像或动画。例如,在显示区域38A显示有表示用户A的图像或动画。表示用户A的图像或动画可以为通过利用终端装置12A的摄像头拍摄而生成的图像或动画,也可以为示意性地表示用户A的图像或动画。关于显示区域38B~38G也相同。
并且,用于识别登录了在线会议的用户的信息(例如,账户信息)的一览显示于画面38。在此,作为一例,由于用户A~G登录了在线会议,因此显示用户A~G的账户信息的一览。
当用户被指定之后该用户进行了讲话时,服务器10的处理器20在在线会议上显现该用户正在讲话。例如,服务器10的处理器20显示在与该指定的用户建立有关联的显示区域显示的图像或动画,或者改变该显示区域的显示方式,以便表示该指定的用户正在讲话。具体而言,服务器10的处理器20可以将与被指定的用户建立有关联的显示区域放大至与该用户正在讲话的情况对应的大小,也可以将显示于该显示区域的图像或动画放大至与该用户正在讲话的情况对应的大小,也可以对该显示区域施加与该用户正在讲话的情况对应的装饰(例如,用特定的颜色或形状的框包围该显示区域),也可以闪烁该显示区域或图像或动画,也可以通过其他方法使显示区域或图像或动画显眼。
例如,若用户讲话且语音被麦克风拾取时,放大与该用户建立有关联的显示区域,或者对该显示区域施加装饰,或者放大显示于该显示区域的图像或动画。
另外,也可以由正在讲话的用户所利用的终端装置12的处理器28进行使与正在讲话的用户建立有关联的显示区域或图像或动画显眼的处理,也可以由接收到语音的数据的终端装置12的处理器28进行该处理。
在图8所示的例子中,用户D被指定且正在讲话,与用户D建立有关联的显示区域38D闪烁,或者对显示区域38D施加装饰,或者显示于显示区域38D的图像或动画闪烁。例如,显示区域38D的框以与用户D正在讲话的情况对应的颜色(例如,红色)显现。作为另一例,也可以放大显示用户D的图像或动画。
服务器10的处理器20也可以通过声音或振动向其他用户传达用户D被指定且正在讲话。例如,服务器10的处理器20可以从各终端装置12的扬声器产生表示用户D被指定且正在讲话的语音,也可以通过使用可听戴设备的骨导来向其他用户传达用户D被指定且正在讲话。
接下来要讲话的用户由在该用户之前讲话的用户或具有指定讲话者的权限的权限者等来指定。之前讲话的用户可以为接下来要讲话的用户的紧跟前讲话的用户,也可以为在其之前讲话的用户。权限者例如为在线会议的主持人或主办人等。
接下来要讲话的用户例如可以在画面38上指定,也可以通过语音等声音来指定,也可以通过手指等手势来指定,也可以通过视线来指定。
当在画面38上指定接下来要讲话的用户时,可以指定与接下来要讲话的用户建立有关联的显示区域,也可以指定显示于该显示区域的图像或动画,也可以从账户信息的一览中指定接下来要讲话的用户的账户信息。服务器10的处理器20接收该指定,并识别接下来要讲话的用户。例如,当指定与用户D建立有关联的显示区域38D,或者指定显示于显示区域38D的图像或动画,或者从账户信息的一览中指定用户D的账户信息时,服务器10的处理器20接收该指定,并识别用户D为接下来要讲话的用户。
当通过语音指定接下来要讲话的用户时,若之前讲话的用户或权限者等通过语音呼唤接下来要讲话的用户的姓名或账户信息或昵称等,则该语音被麦克风拾取,服务器10的处理器20根据该语音来识别接下来要讲话的用户。例如,当通过语音呼唤用户D的姓名时,服务器10的处理器20将用户D识别为接下来要讲话的用户。
当通过手指等手势指定接下来要讲话的用户时,若之前讲话的用户或权限者等用手指或手臂指向接下来要讲话的用户,则其情形被摄像头拍摄,服务器10的处理器20分析通过该拍摄而生成的图像或动画,由此将所指向的用户识别为接下来要讲话的用户。例如,当指向用户D时,服务器10的处理器20将用户D识别为接下来要讲话的用户。
当通过视线指定接下来要讲话的用户时,若之前讲话的用户或权限者等将视线朝向接下来要讲话的用户,则其情形被摄像头拍摄,服务器10的处理器20分析通过该拍摄而生成的图像或动画,由此将该视线的前方的用户识别为接下来要讲话的用户。例如,当位于该视线的前方的用户为用户D时,服务器10的处理器20将用户D识别为接下来要讲话的用户。
另外,也可以由终端装置12的处理器28识别接下来要讲话的用户。
服务器10的处理器20可以设定被指定的用户讲话时间的长度,若该时间经过,则强制性地结束该用户的讲话。也可以将结束按钮显示于画面38,若按下该结束按钮,则服务器10的处理器20强制性结束被指定的用户的讲话。也可以通过语音指示结束被指定的用户的讲话。当被指定的用户沉默的时间的长度为阈值以上时,服务器10的处理器20可以强制性地结束该用户的讲话。当用户的讲话被强制性地结束时,服务器10的处理器20停止表示该用户为讲话者的处理。并且,当其接下来的用户已被指定时,服务器10的处理器20在在线会议上显现该接下来的用户为接下来要讲话的用户。
服务器10的处理器20也可以在在线会议上显现表示用户被指定为接下来要讲话的用户的信息。该显现方法与上述方法同样地,可以在画面38上显现,也可以通过语音等声音来显现,也可以通过振动来显现。以下,参考图9至图12对该处理进行说明。在图9至12中示出在线会议用的画面38。
作为一例,用户A、B、C、D在场所α参加了在线会议,用户E、F在场所β参加了在线会议。用户A~F登录在线会议并参加了在线会议。
图9所示的画面38为在设置于场所α的显示器30上显示的画面。在设置于场所β的显示器36及终端装置12A~12F各自的显示器上也显示与画面38相同的画面。
由于用户A~F登录了在线会议,因此显示区域38A~38F形成于画面38。
在图9所示的例子中,用户A正在讲话,显示区域38A被放大至与用户A正在讲话的情况对应的大小,随之,显示于显示区域38A的图像或动画也被放大显示。例如,表示用户A的图像或动画被放大显示。并且,可以装饰或闪烁显示区域38A,以便可知用户A正在讲话。例如,显示区域38A的框以与用户A正在讲话的情况对应的颜色(例如,红色)显现。
用户F是被指定为接下来要讲话的用户的用户。服务器10的处理器20在在线会议上显现用户F被指定为接下来要讲话的用户。即,用户F是被预约为接下来要讲话的用户的用户,服务器10的处理器20在在线会议上显现该预约。
例如,服务器10的处理器20显示在与用户F建立有关联的显示区域38F上显示的图像或动画,或者改变显示区域38F的显示方式,以便表示用户F被指定为接下来要讲话的用户。具体而言,服务器10的处理器20可以用与用户F被指定为接下来要讲话的用户的情况对应的大小或颜色(例如,与预约相对应的大小或颜色)来显现显示区域38F,也可以用与用户F被指定为接下来要讲话的用户的情况对应的大小或颜色来显示显示于显示区域38F的图像或动画,也可以对显示区域38F施加与用户F被指定为接下来要讲话的用户的情况对应的装饰(例如,与预约相对应的装饰),也可以根据预约来闪烁显示区域38F或图像或动画。如此,服务器10的处理器20显示用户F被预约为接下来要讲话的用户。另外,也可以通过声音或振动等向其他用户传达用户F被预约为接下来要讲话的用户。
在图9所示的例子中,显示区域38F以与预约相对应的颜色显示。例如,与讲话中的用户A建立有关联的显示区域38A被放大,显示区域38A的框以表示用户A正在讲话中的颜色(例如,红色)显现。与接下来要讲话的用户F(即,已被预约的用户F)建立有关联的显示区域38F的框以与用户F被预约为接下来要讲话的用户的情况对应的颜色(例如,蓝色)显现。如此,正在讲话中的用户和接下来要讲话的用户通过颜色或大小或装饰等来区分。
另外,也可以指定第3个用户以后要讲话的用户。在该情况下,也可以以与该顺序对应的颜色显示图像或动画,或者对显示区域施加与该顺序对应的装饰。
服务器10的处理器20也可以随着时间逐渐改变被指定为接下来要讲话的用户的用户F的显示区域38F的显示方式。服务器10的处理器20可以逐渐增大显示区域38F的大小,也可以使显示区域38F的框的颜色逐渐接近红色(即,表示正在讲话中的颜色)。例如,当用户A的讲话时间的长度已被规定时,越接近用户A的讲话的结束时间,服务器10的处理器20可以越增大显示区域38F的大小,也可以使显示区域38F的框的颜色越接近红色。
例如,若从用户F被指定为接下来要讲话的用户的时点起时间经过,则如图10所示,显示区域38F比该指定的时点的大小放大,随之,显示于显示区域38F的图像或动画也被放大显示。
若用户A的讲话时间结束且用户F的讲话时间开始,则如图11所示,显示区域38F被放大至与用户F为讲话者的情况对应的大小,随之,显示于显示区域38F的图像或动画也被放大至与用户F为讲话者的情况对应的大小。在图11所示的例子中,由于用户A的讲话时间已结束,因此显示区域38A的大小被缩小至未讲话时的大小,随之,显示于显示区域38A的图像或动画也被缩小至未讲话时的大小而显示。
另外,当用户未预约而进行了讲话时,服务器10的处理器20可以在在线会议上显现该讲话的用户正在讲话。例如,在图11所示的状况下(即,在用户F按照预约正在讲话的途中),当用户A未预约而进行了讲话时,如图12所示,服务器10的处理器20将显示区域38A的大小放大至显现用户A为讲话者的大小。另外,服务器10的处理器20也可以不从各终端装置12的扬声器产生未预约的用户A的讲话,且不改变显示区域38A的显示方式。
(实施例3)
以下,对实施例3进行说明。在实施例3中,与实施例1同样地,用户A、B、C、D在场所α参加了在线会议,用户E、F在场所β参加了在线会议,用户G在场所γ参加了在线会议。
在实施例3中,各用户的讲话的顺序已被指定(例如,顺序已被预约),服务器10的处理器20按照该顺序切换要讲话的用户。在该情况下,服务器10的处理器20可以让要讲话的用户登录在线会议。
例如,在图4所示的例子中,规定以用户A、B、C、D的顺序讲话,该顺序被登记在服务器10中。服务器10的处理器20按照该顺序切换要讲话的用户。例如,当各用户的讲话时间的长度已被规定时,服务器10的处理器20按照各用户的讲话时间的长度来切换要讲话的用户。在该情况下,服务器10的处理器20按照该顺序来切换显示于在线会议用的画面的用户的图像(另外,可以为动画,也可以为示意性的图像)。例如,服务器10的处理器20将轮到讲话顺序的用户的图像显示于在线会议用的画面,并按照讲话的顺序改变要显示的用户的图像。在上述例子中,以用户A、B、C、D的顺序切换用户A、B、C、D的图像。并且,服务器10的处理器20也可以让轮到顺序的用户登录在线会议,并使其以外的用户退出在线会议。在上述例子中,以用户A、B、C、D的顺序切换所登录的用户。以该顺序切换登录了在线会议的用户的账户。
另外,讲话的顺序可以为任何顺序。例如,同一个用户可以连续讲话复数次,也可以在不同的场所之间规定顺序。例如,用户A可以连续讲话两次,接着,用户B连续讲话3次。并且,也可以以位于场所α的用户A、B、位于场所β的用户F、位于场所γ的用户G的顺序讲话。
(实施例4)
以下,对实施例4进行说明。在实施例4中,用户A、B、C、D在场所α参加了在线会议,用户E、F在场所β参加了在线会议。用户A~F登录在线会议并参加了在线会议。
在实施例4中,当各用户的讲话的顺序已被指定时(例如,当顺序已被预约时),服务器10的处理器20可以在在线会议上以与该顺序相对应的方式显现各用户的图像(另外,可以为动画,也可以为示意性的图像)。例如,服务器10的处理器20改变与该顺序相对应的颜色、大小和/或其组合而显示各用户的图像。
例如,规定以用户A、B、C、D、E、F的顺序讲话(例如,该顺序被预约),且该顺序被登记在服务器10中。服务器10的处理器20以与该顺序相对应的方式显示各用户的图像。
在图13至图15中示出各用户的图像的显示例。在图13至图15中示出显示于显示器30的在线会议用的画面38。在显示器36及终端装置12A~12F的显示器上也显示与画面38相同的画面。
在图13所示的例子中,显示区域38A、38B、38C、38D形成于画面38,服务器10的处理器20按照讲话的顺序配置各显示区域。并且,服务器10的处理器20将正在讲话中的用户的显示区域(即,轮到讲话顺序的用户的显示区域)比其他用户的显示区域放大。
由于用户A为第1个讲话的用户,是正在讲话中的用户,因此显示区域38A比其他显示区域被放大,随之,显示于显示区域38A的图像或动画(例如,表示用户的图像或动画)被放大显示。并且,服务器10的处理器20也可以对显示区域38A施加与用户A为正在讲话中的用户的情况对应的装饰,也可以利用与用户A为正在讲话中的用户的情况对应的颜色或光等来显现用户A的图像或动画。
由于用户B为第2个讲话的用户,用户C为第3个讲话的用户,用户D为第4个讲话的用户,因此显示区域38B、38C、38D按照该顺序配置。另外,由于画面38的空间受限,因此第5个以后的用户的图像不显示于画面38。
另外,也可以在各显示区域显示表示顺序的字符串等。例如,在显示区域38A显示数字“1”,在显示区域38B显示数字“2”。关于其他显示区域也相同。
并且,各用户的账户信息的一览显示于画面38,在该一览中,按照讲话的顺序配置有各用户的账户信息。
各用户的讲话时间的长度已被规定,若接近接下来要讲话的用户B的讲话时间,则如图14所示,服务器10的处理器20将显示区域38B放大为与用户B为接下来要讲话的用户的情况对应的大小,并将显示于显示区域38B的图像或动画放大显示。随之,服务器10的处理器20可以改变各显示区域的配置。随着该配置的变更,当画面38上确保有空间时,目前为止未被显示的用户的显示区域可以显示于画面38。在图14所示的例子中,与第5个用户E建立有关联的显示区域38E显示于画面38,在显示区域38E显示用户E的图像或动画等。
若用户A的讲话时间结束且轮到用户B的讲话顺序,则如图15所示,服务器10的处理器20将显示区域38B放大为与用户B为正在讲话中的用户的情况对应的大小,随之,将显示于显示区域38B的图像或动画放大显示。并且,服务器10的处理器20也可以对显示区域38B施加与用户B为正在讲话中的用户的情况对应的装饰,也可以利用与用户B为正在讲话中的用户的情况对应的颜色或光等来显现用户B的图像或动画。
并且,如图15所示,服务器10的处理器20也可以不将与讲话结束的用户A建立有关联的显示区域38A显示于画面38。当然,当用户A的讲话结束时,可以将显示区域38A缩小显示于画面38。
(其他实施方式)
在开始在线会议时,用户自我介绍时,服务器10的处理器20可以根据该自我介绍识别用户,并将该识别出的用户登记为参加在线会议的用户。例如,当用户发出声音进行自我介绍时,服务器10的处理器20通过语音识别用户。并且,当在自我介绍中包含用于识别用户的信息(例如,姓名、用户ID或账户信息等)时,服务器10的处理器20可以根据该信息识别用户。
当正在讲话的用户的讲话开头和结尾已被用户(例如,主持人或主办人或权限者等)指定时,服务器10的处理器20可以根据该指定切换正在讲话的用户的图像。
服务器10的处理器20也可以将正在使用终端装置12的输入装置(例如,键盘等)手动输入文字的用户从要讲话的用户的候选中排除。例如,正在利用键盘打字的用户制作备忘录或作记录等的可能性高,不讲话的可能性高,因此服务器10的处理器20将该用户从要讲话的用户的候选中排除,从该用户以外的其他用户中确定要讲话的用户。例如,在根据语音或图像等识别要讲话的用户的情况下,将正在利用键盘打字的用户从要讲话的用户的候选中排除,从该用户以外的其他用户中确定要讲话的用户。
服务器10的处理器20也可以将正在利用与用于利用在线会议的应用软件不同的应用软件的用户从要讲话的用户的候选中排除。例如,各用户通过利用安装于自己的终端装置12中的在线会议用的应用软件来参加在线会议。在终端装置12中安装有在线会议用的应用软件以外的应用软件。启动在线会议用的应用软件以外的应用软件进行操作的用户推测为没有意向参加在线会议或者参加意向较弱,因此服务器10的处理器20将该用户从要讲话的用户的候选中排除,从其他用户中确定要讲话的用户。
另外,使用Web浏览器搜索在线会议相关信息的用户推测为具有参加在线会议的意向,因此服务器10的处理器20可以不将该用户从要讲话的用户的候选中排除。
作为一例,上述服务器10及终端装置12的各部的功能通过硬件与软件的协同来实现。例如,通过各装置的处理器读取被存储于各装置的存储器中的程序并执行来实现各装置的功能。程序经由CD或DVD等记录介质或经由网络等通信路径被存储于存储器中。
在上述各实施方式中,处理器是指广义上的处理器,包括通用的处理器(例如,CPU:Central Processing Unit(中央处理器等))或专用的处理器(例如,GPU:GraphicsProcessing Unit(图像处理器)、ASIC:Application Specific Integrated Circuit(专用集成电路)、FPGA:Field Programmable Gate Array(现场可编程门阵列)、可编程逻辑器件等))。并且,上述各实施方式中的处理器的动作不仅可以由一个处理器进行,也可以由存在于物理上分开的位置处的复数个处理器协同来进行。并且,处理器的各动作的顺序并不仅限于上述各实施方式中所记载的顺序,可以适当地进行变更。
上述本发明的实施方式是以例示及说明为目的而提供的。另外,本发明的实施方式并不全面详尽地包括本发明,并且并不将本发明限定于所公开的方式。很显然,对本发明所属的领域中的技术人员而言,各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此,本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (18)

1.一种信息处理装置,其具有处理器,
当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,所述处理器在所述在线会议上显现所述其他用户正在讲话。
2.根据权利要求1所述的信息处理装置,其特征在于,
登录了所述在线会议的用户和所述其他用户是位于相同场所的用户。
3.根据权利要求1或2所述信息处理装置,其特征在于,
登录了所述在线会议的用户和所述其他用户是共用为了参加所述在线会议而利用的至少一个装置的用户。
4.根据权利要求1至3中任一项所述的信息处理装置,其特征在于,
所述处理器根据用户的面部的信息来识别正在讲话的用户。
5.根据权利要求1至3中任一项所述的信息处理装置,其特征在于,
所述处理器根据用户的语音来识别正在讲话的用户。
6.根据权利要求1至5中任一项所述的信息处理装置,其特征在于,
所述处理器让所述其他用户登录所述在线会议。
7.根据权利要求1至6中任一项所述的信息处理装置,其特征在于,
所述处理器还在用户不讲话时利用用于拾取所述用户的语音的麦克风拾取了声音的情况下推断为其他用户正在讲话。
8.根据权利要求1至7中任一项所述的信息处理装置,其特征在于,
所述处理器还在在相同场所只有一个人且参加了所述在线会议的情况下,当所述一个用户未讲话时拾取了声音时,停止拾取声音。
9.根据权利要求1至8中任一项所述的信息处理装置,其特征在于,
所述处理器还在所述其他用户被指定之后所述其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
10.根据权利要求9所述的信息处理装置,其特征在于,
所述其他用户由在所述其他用户之前讲话的用户指定。
11.根据权利要求9所述的信息处理装置,其特征在于,
所述其他用户由具有指定讲话者的权限的权限者指定。
12.根据权利要求9至11中任一项所述的信息处理装置,其特征在于,
所述处理器还在所述在线会议上显现表示所述其他用户已被指定的信息。
13.根据权利要求1至12中任一项所述的信息处理装置,其特征在于,
所述处理器还在各用户的讲话的顺序已被指定时,在所述在线会议上以与所述顺序相对应的方式显现各用户的图像。
14.根据权利要求1至13中任一项所述的信息处理装置,其特征在于,
所述处理器还在以预先规定的顺序切换要讲话的用户时,按照所述顺序切换在所述在线会议上显示的用户的图像。
15.根据权利要求1至14中任一项所述的信息处理装置,其特征在于,
所述处理器还将正在使用输入装置手动输入文字的用户从要讲话的用户的候选中排除。
16.根据权利要求1至14中任一项所述的信息处理装置,其特征在于,
所述处理器还将正在利用与所述在线会议不同的应用软件的用户从要讲话的用户的候选中排除。
17.一种记录介质,其记录有用于使计算机以如下方式动作的程序:
当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
18.一种信息处理方法,其包括如下步骤:
当在线会议上登录了所述在线会议的用户以外的其他用户进行了讲话时,在所述在线会议上显现所述其他用户正在讲话。
CN202111018887.3A 2021-01-14 2021-09-01 信息处理装置、记录介质及信息处理方法 Pending CN114845081A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021004369A JP2022109048A (ja) 2021-01-14 2021-01-14 情報処理装置及びプログラム
JP2021-004369 2021-01-14

Publications (1)

Publication Number Publication Date
CN114845081A true CN114845081A (zh) 2022-08-02

Family

ID=82322225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111018887.3A Pending CN114845081A (zh) 2021-01-14 2021-09-01 信息处理装置、记录介质及信息处理方法

Country Status (3)

Country Link
US (1) US20220224735A1 (zh)
JP (1) JP2022109048A (zh)
CN (1) CN114845081A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11902659B1 (en) 2022-08-25 2024-02-13 Benjamin Slotznick Computer program product and method for auto-focusing a lighting fixture on a person in a venue who is wearing, or carrying, or holding, or speaking into a microphone at the venue
US11601731B1 (en) * 2022-08-25 2023-03-07 Benjamin Slotznick Computer program product and method for auto-focusing a camera on an in-person attendee who is speaking into a microphone at a hybrid meeting that is being streamed via a videoconferencing system to remote attendees
US11889187B1 (en) * 2022-08-25 2024-01-30 Benjamin Slotznick Computer program product and method for auto-focusing one or more lighting fixtures on selected persons in a venue who are performers of a performance occurring at the venue
US11877058B1 (en) * 2022-08-25 2024-01-16 Benjamin Slotznick Computer program product and automated method for auto-focusing a camera on a person in a venue who is wearing, or carrying, or holding, or speaking into a microphone at the venue
US11889188B1 (en) * 2022-08-25 2024-01-30 Benjamin Slotznick Computer program product and method for auto-focusing one or more cameras on selected persons in a venue who are performers of a performance occurring at the venue

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000056014A1 (fr) * 1999-03-12 2000-09-21 Fujitsu Limited Dispositif de traitement et procede permettant de promouvoir les modalites de discussion lors d'une teleconference
JP2009507259A (ja) * 2005-09-09 2009-02-19 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 交換可能なモジュールを有する会議システム用ディスカッションユニット
US9832423B2 (en) * 2010-06-30 2017-11-28 International Business Machines Corporation Displaying concurrently presented versions in web conferences
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9894689B2 (en) * 2014-09-30 2018-02-13 Cisco Technology, Inc. System, method, and logic for identifying devices for a virtual meeting session
JP2017034312A (ja) * 2015-07-28 2017-02-09 株式会社リコー 通信装置、通信システム、およびプログラム
JP7427408B2 (ja) * 2019-10-07 2024-02-05 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JP2022109048A (ja) 2022-07-27
US20220224735A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11811841B2 (en) Controlling a display to provide a user interface
CN114845081A (zh) 信息处理装置、记录介质及信息处理方法
US10142588B2 (en) Information-processing device, communication system, storage medium, and communication method
JP2012054897A (ja) 会議システム、情報処理装置、及び情報処理方法
JP7400231B2 (ja) 通信システム、情報処理装置、通信方法およびプログラム
CN105677023B (zh) 信息呈现方法及装置
CN111406400B (zh) 会议电话参与者标识
WO2021257868A1 (en) Video chat with spatial interaction and eye contact recognition
TW202018649A (zh) 非對稱性視訊會議系統及其方法
US20230230416A1 (en) Establishing private communication channels
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11900013B2 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing method
JP7150114B1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム
JP7292765B1 (ja) コミュニケーション制御装置及びコンピュータープログラム
JP2002009963A (ja) 通信システム用装置および通信システム
JP2022112784A (ja) 映像通話装置、及びそれに用いる制御装置、制御方法
JP2020205556A (ja) 情緒安定化プログラム
CN118104227A (zh) 终端、信息处理方法、程序以及记录介质
JP2023047084A (ja) 情報処理装置及びプログラム
JP2023123119A (ja) 通信端末、及び通信システム
GB2553480A (en) Communication event

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination