JP2011228998A - 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム - Google Patents

遠隔会議装置、遠隔会議方法、および遠隔会議プログラム Download PDF

Info

Publication number
JP2011228998A
JP2011228998A JP2010097924A JP2010097924A JP2011228998A JP 2011228998 A JP2011228998 A JP 2011228998A JP 2010097924 A JP2010097924 A JP 2010097924A JP 2010097924 A JP2010097924 A JP 2010097924A JP 2011228998 A JP2011228998 A JP 2011228998A
Authority
JP
Japan
Prior art keywords
user
video
users
network
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010097924A
Other languages
English (en)
Other versions
JP5529617B2 (ja
Inventor
Hidekazu Tamaki
秀和 玉木
Mutsuhiro Nakashige
睦裕 中茂
Takeshi Tono
豪 東野
Minoru Kobayashi
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010097924A priority Critical patent/JP5529617B2/ja
Publication of JP2011228998A publication Critical patent/JP2011228998A/ja
Application granted granted Critical
Publication of JP5529617B2 publication Critical patent/JP5529617B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】小規模のシステムを用いて、遠隔地に存在する複数のユーザが、あたかも1つの空間の中に存在するかのように、より豊かなコミュニケーションを実現する。
【解決手段】遠隔会議装置11であって、円形の表示領域を有する表示手段104と、自ユーザの映像を撮像するカメラ103と、撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段107と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段106とを有する。
【選択図】図1

Description

本発明は、複数のユーザが、ネットワークを介して会議を行う遠隔会議技術に関する。
核家族化や、サテライトオフィス化などが進み、仲の良い、同じコミュニティの人同士が離れた場所で生活・活動する機会が増えている。このような状況では、直接会う機会が減り、コミュニケーションの機会が少なくなくなることが懸念されている。そのため、遠隔地をネットワークで繋いで、コミュニケーションをとるテレビ電話や、テレプレゼンスなどが開発されている。
また、特許文献1には、仮想空間の所望の始点から各ユーザを観察できる映像合成システムが記載されている。
特開2009−239459号公報
しかしながら、テレビ電話は相手の存在感を得られにくく、なかなか普及していない。また、テレプレゼンスのような大掛かりなシステムは、臨場感を得られるものの、家庭や小さなオフィスに設置するにはコストおよび設備の点から適していない。
また、特許文献1の映像合成システムでは、1対1のコミュニケーションであれば、互いに指差しなどのジェスチャをしても整合性が取れるが、3人以上のユーザがいる場合や3地点間のコミュニケーションには対応しきれておらず、指差しなどのジェスチャをしても、誰を指しているか伝えることができない。
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも1つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することにある。
上記目的を達成するため、本発明は、遠隔会議装置であって、円形の表示領域を有する表示手段と、自ユーザの映像を撮像するカメラと、前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有する。
本発明は、コンピュータが行う遠隔会議方法であって、前記コンピュータは、円形の表示領域を有する表示部を有し、カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行う。
本発明は、前記遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラムである。
本発明によれば、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも1つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することができる。
本発明の実施形態に遠隔会議システムの構成図である。 会議装置を説明するための説明図である。 会議装置を説明するための説明図である。 ディスプレイに表示される合成映像の一例である。 本実施形態の動作を説明するための説明図である。 興味度決定処理のフローチャートである。 画像表示サイズ決定処理のフローチャートである。 波紋エフェクト判定処理のフローチャートである。
本発明の実施形態について、図を用いて説明する。
図1は、本実施形態の遠隔会議システムの全体構成図である。図示する遠隔会議システムは、複数の遠隔地点にそれぞれ設置された会議装置(遠隔会議装置)11〜14と、これらの会議装置とネットワーク9を介して接続されたサーバ20とを有する。会議装置11は、スピーカ101と、マイク102と、カメラ103と、ディスプレイ104と、制御部(映像生成手段)106と、通信部107と、記憶部108とを備える。他の会議装置12〜14も、会議装置11と同様である。
なお、図示する例では、4つの地点に設置された会議装置を用いて、4人のユーザ(参加者)がコミュニケーション(例えば、会議)を行うことを例に以下説明するが、会議装置の数は4つに限定されるものではない。
図2および図3は、会議装置1を具体的に説明するための説明図である。図2ではディスプレイ104が縦置き(床に対してほぼ垂直に設置)され、図3ではディスプレイ104が横置き(床とほぼ平行に設置)されている。
図2では、ユーザ5は、スピーカ101とマイク102が付属されたヘッドセットを装着し、縦置きしたディスプレイ104の正面に位置する。これにより、ディスプレイ104の上部に設置されたカメラ(ビデオカメラ)103が、ユーザ5の顔および上半身を撮像する。
スピーカ101は、コンピュータ105から出力される他ユーザの音声を出力する。マイク(マイクロフォン)102は、ユーザ5の発した音声を電気信号に変換し、PCなどのコンピュータ105に入力する。カメラ103は、ユーザ5の顔および上半身を撮像し、撮像した映像(動画)をコンピュータ105に入力する。なお、スピーカ101、マイク102、カメラ103およびディスプレイ104は、コンピュータ105と有線または無線により接続されている。
コンピュータ105の通信部107は、マイク102から入力された自ユーザ5の音声と、カメラ103から入力された自ユーザ5の映像とを、ネットワーク9を介してサーバ20に送信する。サーバ20は、各会議装置11〜14から送信された音声および映像を、送信元の会議装置以外の他の全ての会議装置に送信・配信する。例えば、サーバ20は、会議装置11から送信された音声および映像については会議装置12〜14に送信し、会議装置12から送信された音声および映像については会議装置11、13、14に送信する。また、コンピュータ105の通信部107は、サーバ20から送信される各他ユーザの音声および映像を受信する。
コンピュータ105の制御部106は、マイク102およびカメラ103から入力された自ユーザ5の音声および映像と、ネットワーク9を介してサーバ20から送信される各他ユーザの音声および映像とを用いて合成映像を生成し、ディスプレイ104に出力する。
図3では、ユーザ5は、スピーカ101とマイク102が付属されたヘッドセットを装着し、横置きしたディスプレイ104の前に立つ。このとき、ユーザ5は、ディスプレイ104に設置されたカメラ103がユーザ5の顔および上半身を撮像できるように、カメラ103の正面に立つ(または、座る)。その他については、図2と同様である。
上記説明した各会議装置11〜14およびサーバ20は、例えば、CPUと、メモリと、HDD等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議装置11〜14およびサーバ20の各機能は、会議装置11〜14用のプログラムの場合は会議装置11〜14のCPUが、そして、サーバ20用のプログラムの場合はサーバ20のCPUがそれぞれ実行することにより実現される。
また、会議装置11〜14用のプログラムおよびサーバ20用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
図4は、ディスプレイ104に表示される映像(画像)の一例である。図示する映像では、カメラ103が撮像したそれぞれのユーザの映像を、クロマキー処理により背景から抜き出し、水面に映ったように左右反転させて、表示領域が円形のディスプレイ104に配置する。ディスプレイ104の背景は、全て同一背景とする。
図示するように、当該円の中心から放射線状に各ユーザを環状に配置し、各ユーザは等間隔で配置するものとする。図示する例では4人のユーザが参加しているため、円の面積を4等分し(中心角90°の扇形に分割し)、分割した各扇形に各ユーザの映像を表示する。なお、5人のユーザが参加する場合は、円の面積を5等分し(中心角72°)の扇形に分割する。
なお、ディスプレイ104を見ている自ユーザ5の映像41は、当該ディスプレイ104の手前(図2の場合はディスプレイ104の下側、図3の場合は自ユーザ5に最も近い位置)になるように配置する。
左右反転させて表示することにより、鏡と同じで、自分の右手を挙げればディスプレイ104に表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また、各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。
また、ユーザ間で、自ユーザの話に対して興味を持って聞いているか否かにより他ユーザの映像の表示サイズを変化させる。さらに、発話しているユーザから、興味を持って話を聞いているユーザへ向かって、波紋が広がる波紋エフェクト43を提示する。
次に、本実施形態の動作について説明する。
図5は、本実施形態の処理の流れを示す。前述の通り、各会議装置のコンピュータ105は、自ユーザの音声および映像を自会議装置のマイク102およびカメラ103から入力するとともに、他ユーザの音声および映像をネットワーク9を介してサーバ20から受信する。なお、各会議装置のコンピュータ105は、入力された自ユーザの音声および映像をネットワーク9を介してサーバ20に送信し、サーバ20は各会議装置のコンピュータ105から送信された音声および映像を、他の全ての会議装置に送信する。これにより、各会議装置のコンピュータ105には、自ユーザの音声および映像と、他ユーザの音声および映像が入力される。
まず映像加工ステップS11において、コンピュータ105の制御部106は、各ユーザの映像を、クロマキー(Chroma key)処理により背景から抜き出し、左右反転させた鏡像を生成する。クロマキー処理は、画像を合成する手法の1つで、特定の色(Chroma)情報を持つ領域を他の画像に置き換えるものである。映像加工ステップS11により、背景のない各ユーザの左右反転した鏡像がそれぞれ生成される。
そして、興味度決定ステップS12において、制御部106は、全ての他ユーザに対し、図6に示す興味度決定フローに従って、当該他ユーザに対する興味度を決定する。図6の処理は、所定のタイミング毎(例えば、30秒毎)に繰り返し行われる。また、図6の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間(例えば、直前の30秒の間)の音声および映像である。また、図6の処理は、他ユーザ毎にそれぞれ行われるものとする。図4に示す例では、他ユーザであるユーザB、ユーザC、ユーザD毎に行われる。なお、興味度の初期値は5とする。
まず、コンピュータ105の制御部106は、記憶部108に記憶された前回の図6の処理で更新された対象となる他ユーザに対する興味度を読み出す(S300)。そして、制御部106は、直前の所定期間の自ユーザおよび他ユーザの音声および映像を解析することにより、「他ユーザの発話中に自ユーザが頷いたか?」(S301)、「他ユーザの発話中に自ユーザが相槌をうったか?」(S304)、および、「他ユーザの発話直後に自ユーザが発話したか?」(S307)、をそれぞれ判別し、判別結果に従って読み出した興味度から「2」を加算または「1」を減算する。
具体的には、制御部106は、直前の所定期間の対象となる他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの映像に動きが発生したか否かに基づいて、他ユーザの発話中に自ユーザが頷いたか否かを判別する(S301)。頷いたと判別した場合(S301:YES)、制御部106は、S300で読み出した当該他ユーザに対する興味度に「2」を加算する(S302)。頷かないと判別した場合(S301:NO)、制御部106は、S300で読み出した当該他ユーザに対する興味度に「1」を減算する(S303)。なお、制御部106は、他ユーザの発話中に自ユーザが複数回頷いたと判断した場合であっても、興味度に「2」を加算する(S302)。
また、制御部106は、対象となる他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する(S304)。すなわち、制御部106は、直前の所定期間の他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの音声に所定の音量を超える所定の時間未満の入力(すなわち相槌)が発生したか否かに基づいて、他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する(S304)。相槌があったと判別した場合(S304:YES)、制御部106は、S302またはS303で更新された興味度に「2」を加算する(S305)。相槌がないと判別した場合(S304:NO)、制御部106は、S302またはS303で更新された興味度に「1」を減算する(S306)。なお、制御部106は、他ユーザの発話中に自ユーザが複数回相槌を打ったと判断した場合であっても、興味度に「2」を加算する(S305)。
また、制御部106は、対象となる他ユーザの発話直後に自ユーザが発話したか否かを判別する(S307)。すなわち、制御部106は、直前の所定期間の他ユーザの音声から他ユーザの発話の終了時点を特定し、特定した終了時点から所定の時間内に、自ユーザの音声に所定の音量を超える所定の時間以上の入力(すなわち発話)が発生したか否かに基づいて、他ユーザの発話直後に自ユーザの発話があったか否かを判別する(S307)。発話があったと判別した場合(S307:YES)、制御部106は、S305またはS306で更新された興味度に「2」を加算する(S308)。発話がないと判別した場合(S307:NO)、制御部106は、S305またはS306で更新された興味度に「1」を減算する(S309)。
制御部106は、全ての他ユーザについて図6の処理を行い、他ユーザ毎に更新後の興味度を記憶部108に記憶する(S310)。なお、直前の所定期間内に対象となる他ユーザの発話がない場合は、前回の興味度のままとする。
そして、興味度送受信ステップS16において、制御部106は、記憶部108に記憶された各他ユーザの興味度を、サーバ20を介して対応する他ユーザの会議装置(コンピュータ)に送信する。例えば、図4に示す例では、自ユーザであるユーザAの制御部106は、記憶部108のユーザBに対する興味度をユーザBの会議装置に送信し、記憶部108のユーザCに対する興味度をユーザCの会議装置に送信し、記憶部108のユーザDに対する興味度をユーザDの会議装置に送信する。
また、興味度送受信ステップS16において、制御部106は、各他ユーザの会議装置から送信された自ユーザに対する興味度を、サーバ20を介して受信する。例えば、図4に示す例では、自ユーザであるユーザAの制御部106は、ユーザBの会議装置からユーザBのユーザAに対する興味度を受信し、ユーザCの会議装置からユーザCのユーザAに対する興味度を受信し、ユーザDの会議装置からユーザDのユーザAに対する興味度を受信する。
次に、画像サイズ決定ステップS13において、制御部106は、全ての他ユーザの画像表示レベルを図7の画像表示サイズ決定フローに従って決定する。図7の処理は、興味度送受信ステップS16で受信した他ユーザ毎の自ユーザに対する興味度を用いて、他ユーザ毎にそれぞれ行われる。
制御部106は、興味度が20以上の他ユーザについては(S201:YES)、画像表示レベルを4に設定し(S204)、興味度が10以上の他ユーザについては(S202:YES)、画像表示レベルを3に設定し(S205)、興味度が0以上の他ユーザについては(S203:YES)、画像表示レベルを2に設定し(S206)、興味度が0未満の他ユーザについては(S203:NO)、画像表示レベルを1に設定する(S207)。
制御部106は、決定した画像表示レベルを用いて、例えば以下に示す式により各他ユーザの画像の表示サイズを決定する。なお、自ユーザの画像の表示サイズについては、所定のサイズとする。
基本表示サイズ × 画像表示レベル × a(定数)
次に、映像合成ステップS14において、制御部106は、S11でクロマキー処理により抽出して左右反転させた各ユーザの映像を、図4に示すように円形のディスプレイ104の表示領域に等間隔で環状に配置する。なお、表示領域の背景は、全て同じ背景とする。これにより、あたかも1つの空間(例えば会議室)の中に各ユーザが存在しているかのように認識させることができる。また、制御部106は、表示領域に配置した他ユーザの表示サイズを画像サイズ決定ステップS13で決定した表示サイズに変更(拡大または縮小)する。
さらに、制御部106は、図8の波紋のエフェクト判定フローに従って、波紋エフェクトを表示するユーザを判定する。図8の処理は、図6の処理と同様に、所定のタイミング毎(例えば、30秒毎)に繰り返し行われる。また、図8の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間(例えば、直前の30秒の間)の音声および映像である。また、図8の処理は、各ユーザ毎にそれぞれ行われる。
具体的には、制御部106は、直前の所定期間の各ユーザの音声から発話しているユーザの発話期間を特定し、特定した発話期間に発話していない各他ユーザの映像に動きが発生したか否かを判別する(S401)。頷いたと判別したユーザがいた場合(S401:YES)、制御部106は、当該発話中のユーザから頷いたと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが頷いたと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
また、制御部106は、前記特定した発話期間に、発話していない各他ユーザの音声に所定の時間未満の入力(すなわち、相槌)が発生したか否かを判別する(S402)。相槌を打ったと判別したユーザがいた場合(S402:YES)、制御部106は、当該発話中のユーザから相槌を打ったと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが相槌を打ったと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
図4では、ユーザA41からユーザBおよびユーザDへの波紋エフェクト43が表示されている。図4に示すように、制御部106は、発話中のユーザA41を中心点として、当該中心点からからユーザBおよびユーザDの方向に、同心円を描きながら遠ざかるように移動する波紋エフェクトを生成する。
このように制御部106は、自ユーザおよび他ユーザの各映像を左右反転させて、円形の表示領域に環状に配置した合成映像を生成し、また直前の所定期間の自ユーザおよび他ユーザの映像および音声に基づいて各ユーザの画像の表示サイズを変更し、さらに波紋エフェクトを設定する。そして、映像表示ステップS15において、制御部106は、生成した合成映像をディスプレイ104に表示する。
以上説明した本実施形態では、離れていながらも対面しているかのようなコミュニケーションを可能にするために、各地点にいるユーザの映像をクロマキー処理により抽出し、左右反転させた鏡像を同じ背景の上に表示し、ユーザの実際の動きと、表示される映像の動きの整合性を取り、ディスプレイに表示される合成映像(コミュニケーション空間)への没入感を高めることができる。言い換えると、遠隔地に存在する複数のユーザが、あたかも1つの空間の中に存在するかのように互いに向かい合った状態を仮想的に生成し、より豊かなコミにケーションを実現することができる。
また、本実施形態では、規模の小さなシステムを用いて、遠隔間で互いの存在感を感じ、豊かなコミュニケーションが実現可能な環境を提供することができる。すなわち、離れている場所から井戸端会議をしているような状況を実現できる。
また、本実施形態では、各ユーザ(参加者)の映像は、左右反転させて、ディスプレイの円形の表示領域に環状に配置されて表示される。これにより、本実施形態では、鏡と同じで、自分の右手を挙げればディスプレイに表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また参加者している各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。すなわち、3人(3地点)以上のユーザがコミュニケーションをとる際に、同じ空間を共有しているかのようにコミュニケーションでき、指差しなどのジェスチャも整合性をとって伝えることのでき、それでいて、ユーザにシステムを操作する手間をかけさせないことができる。
そして、本実施形態では、各他ユーザに対する自ユーザの興味度を算出して各他ユーザの会議装置に送信すると共に、各他ユーザの会議装置から自ユーザに対する各他ユーザの興味度を受信し、受信した興味度に応じて他ユーザ各々の映像の表示サイズを変化させる。これにより、本実施形態では、大きく表示された他ユーザは、自ユーザに対して興味を持って水面(ディスプレイ)を覗き込んでいるように表示され、全てのユーザが同一空間に存在している感覚を高め、会話を盛り上げることができる。
また、本実施形態では、興味を持って聞いているユーザ同士を波紋が広がる波紋エフェクトを用いて示すことで、空間の共有感覚をさらに高めることができる。
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
11、12、13、14:会議装置
101:スピーカ
102:マイク
103:カメラ
104:ディスプレイ
105:コンピュータ
106:制御部
107:通信部
108:記憶部
20 :サーバ
9 :ネットワーク

Claims (7)

  1. 遠隔会議装置であって、
    円形の表示領域を有する表示手段と、
    自ユーザの映像を撮像するカメラと、
    前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、
    自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有すること
    を特徴とする遠隔会議装置。
  2. 請求項1記載の遠隔会議装置であって、
    自ユーザの音声を入力するマイクを、さらに有し、
    前記通信手段は前記自ユーザの音声をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの音声をネットワークを介して前記他の遠隔制御装置から受信し、
    前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他の遠隔制御装置に送信するとともに、自ユーザに対する他ユーザの興味度を前記他の遠隔制御装置から受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
    を特徴とする遠隔会議装置。
  3. 請求項1または請求項2に記載の遠隔会議装置であって、
    前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを表示すること
    を特徴とする遠隔会議装置。
  4. コンピュータが行う遠隔会議方法であって、
    前記コンピュータは、円形の表示領域を有する表示部を有し、
    カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、
    自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、
    前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行うこと
    を特徴とする遠隔会議方法。
  5. 請求項4記載の遠隔会議方法であって、
    自ユーザの音声を入力するマイクを、さらに有し、
    前記通信ステップは、マイクにより入力された前記自ユーザの音声をネットワークを介して他のコンピュータに送信するとともに、他ユーザの音声をネットワークを介して前記他のコンピュータから受信し、
    前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他のコンピュータに送信するとともに、自ユーザに対する他ユーザの興味度を前記他のコンピュータから受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
    を特徴とする遠隔会議方法。
  6. 請求項4または請求項5に記載の遠隔会議方法であって、
    前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを生成すること
    を特徴とする遠隔会議方法。
  7. 請求項1から請求項3のいずれか一項に記載の遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラム。
JP2010097924A 2010-04-21 2010-04-21 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム Expired - Fee Related JP5529617B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010097924A JP5529617B2 (ja) 2010-04-21 2010-04-21 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010097924A JP5529617B2 (ja) 2010-04-21 2010-04-21 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム

Publications (2)

Publication Number Publication Date
JP2011228998A true JP2011228998A (ja) 2011-11-10
JP5529617B2 JP5529617B2 (ja) 2014-06-25

Family

ID=45043836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010097924A Expired - Fee Related JP5529617B2 (ja) 2010-04-21 2010-04-21 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム

Country Status (1)

Country Link
JP (1) JP5529617B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769440A (zh) * 2018-06-06 2018-11-06 北京京东尚科信息技术有限公司 前置分流方法和装置
JP2021077963A (ja) * 2019-11-07 2021-05-20 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139072A (ja) * 1989-10-24 1991-06-13 Mitsubishi Electric Corp 画像表示方法及びその装置
JPH05316504A (ja) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像通信における座席選択装置
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2004502381A (ja) * 2000-07-04 2004-01-22 フランス テレコム 通信端末装置および通信システム
JP2005039656A (ja) * 2003-07-17 2005-02-10 Sony Corp 撮像表示装置およびテレビ会議システム
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006352749A (ja) * 2005-06-20 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 映像通信システム
JP2007036685A (ja) * 2005-07-27 2007-02-08 Nippon Hoso Kyokai <Nhk> 映像音声合成装置及び遠隔体験共有型映像視聴システム
JP2007300452A (ja) * 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機
JP2009267621A (ja) * 2008-04-23 2009-11-12 Yamaha Corp 通信装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139072A (ja) * 1989-10-24 1991-06-13 Mitsubishi Electric Corp 画像表示方法及びその装置
JPH05316504A (ja) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像通信における座席選択装置
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JP2004502381A (ja) * 2000-07-04 2004-01-22 フランス テレコム 通信端末装置および通信システム
JP2005039656A (ja) * 2003-07-17 2005-02-10 Sony Corp 撮像表示装置およびテレビ会議システム
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006352749A (ja) * 2005-06-20 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 映像通信システム
JP2007036685A (ja) * 2005-07-27 2007-02-08 Nippon Hoso Kyokai <Nhk> 映像音声合成装置及び遠隔体験共有型映像視聴システム
JP2007300452A (ja) * 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機
JP2009267621A (ja) * 2008-04-23 2009-11-12 Yamaha Corp 通信装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200801071007; 大塚 和弘、外4名: '"多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築"' 電子情報通信学会技術研究報告 PRMU2008-111〜146 第108巻,第327号, 20081120, p.55-62, 社団法人電子情報通信学会 *
JPN6013042397; 大塚 和弘、外4名: '"多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築"' 電子情報通信学会技術研究報告 PRMU2008-111〜146 第108巻,第327号, 20081120, p.55-62, 社団法人電子情報通信学会 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769440A (zh) * 2018-06-06 2018-11-06 北京京东尚科信息技术有限公司 前置分流方法和装置
JP2021077963A (ja) * 2019-11-07 2021-05-20 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7358919B2 (ja) 2019-11-07 2023-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP5529617B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
JP6547496B2 (ja) 通信装置、通信方法、プログラムおよび通信システム
KR101659674B1 (ko) 보이스 링크 시스템
JP6729193B2 (ja) 情報処理サーバ、情報処理システム、端末装置、及びプログラム
US10079996B2 (en) Communication system, communication device, and communication method
JP2017085372A (ja) 通信システム、通信装置、通信方法およびプログラム
CN102783140A (zh) 用于移动设备的数字会议
JP2011180948A (ja) 端末装置、会議サーバおよび処理プログラム
JP5529617B2 (ja) 遠隔会議装置、遠隔会議方法、および遠隔会議プログラム
TW201141226A (en) Virtual conversing method
JP6435701B2 (ja) 制御装置
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
JP7160263B2 (ja) 情報処理システム、情報処理装置およびプログラム
JP6668828B2 (ja) 会議システム
JP2012165170A (ja) 会議装置、会議方法および会議プログラム
JP2007221437A (ja) 遠隔会議システム
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP7361460B2 (ja) コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法
KR20210153347A (ko) 공유 콘텐츠 제공 및 활용 방법과 그 시스템
Nassani et al. Implementation of Attention-Based Spatial Audio for 360° Environments
JP2003339034A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
JP2019140517A (ja) 情報処理装置及びプログラム
WO2022201944A1 (ja) 配信システム
JP7062126B1 (ja) 端末、情報処理方法、プログラム、および記録媒体
US20240031758A1 (en) Information processing apparatus, information processing terminal, information processing method, and program
Nassani et al. Designing, Prototyping and Testing of $360^{\circ} $ Spatial Audio Conferencing for Virtual Tours

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140417

R150 Certificate of patent or registration of utility model

Ref document number: 5529617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees