JP2022096336A - 映像通信装置、および映像表示方法 - Google Patents

Abstract

【課題】カメラ映像を表示せずとも、円滑なコミュニケーションを行うこと。【解決手段】映像通信装置は、複数の他端末から、複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報を受信する通信部と、通信部が受信した情報を分析して、所定の動作または所定の表情を示す割合を取得する分析部と、分析部が取得した割合を反映したアイコンを生成するアイコン生成部と、アイコン生成部が生成したアイコンを表示部に表示させる表示制御部と、を備える。【選択図】図１

Description

本発明は、映像通信装置、および映像表示方法に関する。

ネットワークを介して、遠隔地の相手と会議等を行うことができるＷＥＢ会議装置が知られている（例えば、特許文献１）。

特開２０１８－９３３１５号公報

ＷＥＢ会議装置は、ユーザの顔の方向を撮影した映像を参加者が共有することができるが、必要に応じてカメラ機能をオフにして利用することがある。例えば、多人数でのＷＥＢ会議などでは、発話者以外のカメラ機能をオフにすることもある。このような場合、発話者は、他のユーザの表情などが確認できず、発話内容に対する反応が把握できないことから、コミュニケーションが円滑に行えない場合もある。

本発明は、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる映像通信装置、および映像表示方法を提供することを目的とする。

本発明に係る映像通信装置は、複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報を受信する通信部と、前記通信部が受信した情報を分析して、所定の動作または所定の表情を示す割合を取得する分析部と、前記分析部が取得した割合を反映したアイコンを生成するアイコン生成部と、前記アイコン生成部が生成したアイコンを表示部に表示させる表示制御部と、を備える。

本発明に係る映像表示方法は、複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報を受信するステップと、受信した情報から、所定の動作または所定の表情を示す割合を取得するステップと、取得した割合を反映したアイコンを生成するステップと、生成されたアイコンを表示部に表示させるステップと、を、映像通信装置が実行する。

本発明によれば、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる。

図１は、実施形態に係る映像通信装置の構成例を示すブロック図である。 図２は、実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。 図３は、表示制御部が表示部に表示させる映像を説明するための図である。 図４は、個々の参加者の映像またはアイコンを順に表示する方法を説明するための図である。 図５は、所定の動作または表情を示す割合を反映したアイコンを表示する方法を説明するための図である。 図６は、ジェスチャーアイコンに頷き動作を反映させる方法を説明するための図である。 図７は、所定の動作または表情を示す割合を反映したアイコンを表示する方法を説明するための図である。 図８は、ジェスチャーアイコンに首を左右に振る動作を反映させる方法を説明するための図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

［実施形態］
図１を用いて、実施形態に係る映像通信装置について説明する。図１は、実施形態に係る映像通信装置の構成例を示すブロック図である。

図１に示すように、映像通信装置１０は、カメラ１２と、マイクロフォン１４と、操作受付部１６と、通信部１８と、表示部２０と、音声出力部２２と、制御部（映像通信制御装置）２４と、を備える。映像通信装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末など、映像を表示する表示画面と、表示画面の近傍に表示画面と同じ方向を向いたカメラが備えられている装置である。映像通信装置１０は、例えば、ＷＥＢ会議などに用いられることで、ＷＥＢ会議の参加者間で映像と音声を用いたコミュニケーションを行うことのできる装置である。

カメラ１２は、映像通信装置１０の周辺を撮像する。カメラ１２は、例えば、表示部２０が向いている方向を撮像するように配置されている。カメラ１２は、所定のフレームレートで、時系列で連続した映像、所謂動画像を撮像する。カメラ１２は、撮像した映像を映像取得部３０に出力する。カメラ１２は、映像通信装置１０に接続される外部カメラであってもよい。

マイクロフォン１４は、映像通信装置１０の周辺の音声を収音する。マイクロフォン１４は、マイクロフォン１４に向かって発話している人物の音声を収音する。マイクロフォン１４は、収音した音声を音声取得部３２に出力する。マイクロフォン１４は、映像通信装置１０に接続される外部のマイクロフォンであってもよい。

操作受付部１６は、ユーザの操作によって映像通信装置１０に対する各種操作を受け付ける。操作受付部１６は、例えば、タッチパネル、スイッチ、ボタンなどを含み得る。操作受付部１６は、ユーザなどから受け付けた操作に関する操作情報を操作制御部３４に出力する。

通信部１８は、有線または無線で図示しないインターネット網などの通信網を接続されている。通信部１８は、通信網を介して、他の外部装置と情報の送受信を行う。通信部１８は、例えば、他の映像通信装置と情報の送受信を行う。通信部１８は、例えば、カメラ１２が撮影した映像およびマイクロフォン１４が収音した音声を、他の映像通信装置に送信する。通信部１８は、例えば、他の映像通信装置のカメラが撮影した映像およびマイクロフォンが収音した音声を受信する。通信部１８は、例えば、他の映像通信装置から、他の映像通信装置のカメラが撮影した映像を制限する情報を受信する。通信部１８は、例えば、他の映像通信装置により撮影された映像から撮影された人物の動作または表情を分析した分析結果を受信する。以下の説明において、通信部１８が、他の映像通信装置に映像等を送信すると記載された場合は、通信部１８が、他の映像通信装置が接続され、通信部１８が送信した映像等を他の映像通信装置が参照することができる外部のサーバなどに映像等を送信することも含む。また、通信部１８が、他の映像通信装置から映像等を受信すると記載された場合は、通信部１８が、他の映像通信装置が接続され、他の映像通信装置が送信した映像等を参照することができる外部のサーバなどから映像等を受信することも含む。

表示部２０は、各種情報を表示する。表示部２０は、例えば、カメラ１２がユーザを撮影した映像や、ＷＥＢ会議に参加している他の映像通信装置が撮影した他のユーザの映像などを表示する。表示部２０は、例えば、映像通信装置１０の利用者を示す所定のアイコンや、ＷＥＢ会議に参加している他の映像通信装置のユーザを示すアイコンを表示する。表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。

音声出力部２２は、スピーカやヘッドフォン等であり、映像通信装置１０に備えられているものや、映像通信装置１０に接続される外部のスピーカやヘッドフォン等である。音声出力部２２は、各種音声を出力する。音声出力部２２は、例えば、ＷＥＢ会議に参加している他の映像通信装置から送信された他のユーザが発話した音声などを出力する。

制御部２４は、映像通信装置１０の各部の動作を制御する、所謂、映像通信制御装置である。制御部２４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより、各種機能が実現される。このため、制御部２４は、実施形態に係る映像表示方法を実行させる。また、制御部２４は、本発明に係るプログラムを動作させるコンピュータである。制御部２４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２４は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２４は、映像取得部３０と、音声取得部３２と、操作制御部３４と、通信制御部３６と、表示制御部３８と、音声出力制御部４０と、分析部４２と、アイコン生成部４４と、を備える。言い換えると、制御部２４は、映像取得部３０と、音声取得部３２と、操作制御部３４と、通信制御部３６と、表示制御部３８と、音声出力制御部４０と、分析部４２と、アイコン生成部４４としての機能を実現する。

映像取得部３０は、カメラ１２が出力した映像を取得する。映像取得部３０は、例えば、カメラ１２が撮影した、映像通信装置１０のユーザの顔を含む範囲を撮影した映像を取得する。

音声取得部３２は、マイクロフォン１４が出力した音声を取得する。音声取得部３２は、例えば、マイクロフォン１４が取得した、映像通信装置１０のユーザの発話した音声を取得する。

操作制御部３４は、操作受付部１６が受け付けた操作に関する操作情報を取得する。

通信制御部３６は、通信部１８を制御する。通信制御部３６は、通信部１８を制御して、他の外部装置と各種の情報の送受信を行う。通信制御部３６は、例えば、通信部１８を制御して、他の映像通信装置との間で映像および音声の送受信を行う。

表示制御部３８は、表示部２０に各種映像を表示させる。表示制御部３８は、例えば、映像通信装置１０のユーザおよびＷＥＢ会議に参加している他の映像通信装置のユーザの映像を表示させる。表示制御部３８は、例えば、通信部１８が映像表示を制限する情報を受信した場合には、他のユーザの映像に代えて、アイコン生成部４４が生成したアイコンを表示部２０に表示させる。

音声出力制御部４０は、音声出力部２２に各種音声を出力させる。音声出力制御部４０は、例えば、音声出力部２２からＷＥＢ会議に参加している他のユーザの音声を出力させる。

分析部４２は、通信部１８が受信した他の映像通信装置のカメラが撮影した映像を分析する。分析部４２は、通信部１８が受信した他の映像通信装置のマイクロフォンが収音した音声を分析する。分析部４２は、例えば、他の映像通信装置のカメラが撮影した映像から人物を認識する。分析部４２は、例えば、他の映像通信装置のカメラが撮影した映像から人物が認識できた場合に、認識した動作および表情の少なくとも１つを分析する。分析部４２は、通信部１８が受信した情報を分析して、所定の動作または所定の表情を示す人数の割合を取得する。所定の動作は、例えば、発話者の発言に対するポジティブな動作や、ネガティブな動作が含まれるがこれに限定されない。分析部４２は、例えば、通信部１８が受信した他の映像通信装置のカメラが撮影した映像の分析結果から所定の動作または所定の表情を示す割合を取得してもよい。

アイコン生成部４４は、各種のアイコンを生成する。アイコン生成部４４は、例えば、分析部４２の分析結果に応じたアイコンを生成する。アイコン生成部４４は、例えば、分析部４２が取得した割合を反映したアイコンを生成する。アイコン生成部４４は、例えば、分析部４２が所定の動作または所定の表情を示す割合が所定閾値以上の割合と判断した動作または表情を反映したアイコンを生成する。また、アイコン生成部４４は、予め記憶されているアイコンを表示させてもよい。この場合は、アイコン生成部４４は、アイコンデータを取得する機能を実行する。

［映像通信装置の処理］
図２を用いて、実施形態に係る映像通信装置の処理について説明する。図２は、実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。

図２の処理は、例えばＷＥＢ会議が開始されることによって開始される。図２の処理が開始され、ＷＥＢ会議の他の参加者との通信部１８による通信が開始されることで、制御部２４は、他の映像通信装置から、撮像した映像または各参加者の映像通信装置が撮影した映像を分析した結果である、動作または表情を示す情報を取得する（ステップＳ１０）。具体的には、本実施形態では、通信制御部３６は、他の参加者の映像通信装置に設定されているモードに応じた情報を取得する。本実施形態では、他の映像通信装置には、「映像オンモード」、「映像制限モード」、および「映像オフモード」のいずれかが設定される。

通信制御部３６は、例えば、他の映像通信装置で「映像オンモード」が設定されている場合は、他の映像通信装置が撮影した映像が送信されるので、その映像を取得する。通信制御部３６は、例えば、他の映像通信装置で「映像制限モード」が設定されている場合は、他の映像通信装置が撮影した映像の分析結果である、他の参加者の動作または表情を示す情報を取得する。通信制御部３６は、例えば、他の映像通信装置で「映像オフモード」が設定されている場合は、他の参加者の属性情報を取得する。属性情報には、氏名、参加名などの各種の情報を含み得る。

制御部２４は、ＷＥＢ会議の参加者は所定人数以上であるか否かを判定する（ステップＳ１２）。具体的には、通信制御部３６は、ステップＳ１２の判定時点のＷＥＢ会議に参加人数に基づき判断するが、ＷＥＢ会議の主催者が参加要請した人数で判断してもよい。所定人数は、例えば、１０人であるが、これに限定されない。所定人数は、ＷＥＢ会議の参加者が、表示部２０にＷＥＢ会議の他の参加者の映像や音声で、全体的な状態を把握できる上限の人数が設定されればよい。ＷＥＢ会議の参加者が所定人数以上であると判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１４に進む。ＷＥＢ会議の参加者が所定以上であると判定されない場合（ステップＳ１２；Ｎｏ）、ステップＳ１６に進む。

ステップＳ１２でＹｅｓと判定された場合、制御部２４は、他の参加者の動作または表情の分析を開始する（ステップＳ１４）。具体的には、分析部４２は、他の映像通信装置で、「映像オンモード」または「映像制限モード」が設定されている映像通信装置に対して、同時に所定の動作や表情となった割合を分析する。例えば、ＷＥＢ会議の参加者が３０名であり、発話者が１名である場合、発話者は自動的に「映像オンモード」となってよい。例えば、ＷＥＢ会議を利用した講演会などは、発話者の映像を他の参加者の映像通信装置で表示される必要があるためである。なお、以下においては、他の２９名中、「映像オンモード」が１５名、「映像制限モード」が１０名、「映像オフモード」が４名と仮定する。そして、ステップＳ１８に進む。

ステップＳ１２でＮｏと判定された場合、制御部２４は、個々の参加者の映像またはアイコンを表示する（ステップＳ１６）。具体的には、表示制御部３８は、ステップＳ１０で取得した映像を、表示部２０に表示させる。図３は、表示制御部３８が表示部２０に表示させる映像を説明するための図である。図３に示す、表示画面２０ａは、例えば、映像通信装置１０のユーザＵ１を含む４人でＷＥＢ会議を行っている場合に表示される画面の一例である。映像通信装置１０のユーザ以外の他の３人のユーザの映像通信装置にも表示画面２０ａと同様の映像が表示される。図３に示す、表示画面２０ａは、ＷＥＢ会議の全参加者に共通である。

表示画面２０ａは、第一表示領域５０と、第二表示領域５２と、第三表示領域５４と、第四表示領域５６と、を含む。第一表示領域５０は、例えば、４人のユーザのうちの、発話者である第一ユーザであるユーザＵ１に関する情報を表示する。第二表示領域５２は、例えば、４人のユーザのうちの、第二ユーザに関する情報を表示する。第三表示領域５４は、例えば、４人のユーザのうちの、第三ユーザに関する情報を表示する。第四表示領域５６は、例えば、４人のユーザのうちの、第四ユーザに関する情報を表示する。

第一表示領域５０には、ユーザＵ１の映像と、アイコンＩ１とが、表示される。ユーザＵ１は、例えば、第一表示領域５０の中央部に表示される。アイコンＩ１は、第一表示領域５０の右上隅に表示される。アイコンＩ１は、ユーザＵ１の情報を示すアイコンである。アイコンＩ１は、例えば、「ＹＳ」などのようにユーザＵ１の名前のイニシャルが表示され得る。

第二表示領域５２には、中央部にアイコンＩ２が表示されている。アイコンＩ２は、第二ユーザの情報を示すアイコンである。アイコンＩ２は、例えば、「ＲＳ」などのように第二ユーザの名前のイニシャルが表示され得る。

第三表示領域５４には、中央部にアイコンＩ３が表示されている。アイコンＩ３は、第三ユーザの情報を示すアイコンである。アイコンＩ３は、例えば、「ＫＴ」などのように第三ユーザの名前のイニシャルが表示され得る。

第四表示領域５６には、中央部にアイコンＩ４が表示されている。アイコンＩ４は、第四ユーザの情報を示すアイコンである。アイコンＩ４は、例えば、「ＣＪ」などのように第四ユーザの名前のイニシャルが表示され得る。

すなわち、表示画面２０ａにおいて、発話者である第一ユーザは、「映像オンモード」を選択し、第二ユーザから第四ユーザは「映像制限モード」または「映像オフモード」を選択している。ステップＳ１２でＮｏと判定された場合には、「映像制限モード」の選択がなくともよい。

ステップＳ１４の後、制御部２４は、他の参加者の所定の動作または表情が所定割合以上であるか否かを判定する（ステップＳ１８）。具体的には、分析部４２は、ステップＳ１４の分析結果に基づいて、他の参加者の所定の動作または表情が所定割合以上であるか否かを判定する。所定割合とは、例えば、全参加者の１０％以上、「映像オンモード」または「映像制限モード」に設定されている参加者が全参加者の２０％以上など、発話者の発話内容に対する他の参加者の反応がある程度把握できるような割合であることが好ましい。所定の動作または表情が所定割合以上と判定されない場合（ステップＳ１８；Ｎｏ）、ステップＳ２０に進む。所定の動作または表情が所定割合以上であると判定された場合（ステップＳ１８；Ｙｅｓ）、ステップＳ２２に進む。

ステップＳ１８でＮｏと判定された場合、制御部２４は、個々の参加者の映像またはアイコンを順に表示する（ステップＳ２０）。具体的には、表示制御部３８は、表示部２０に個々の参加者の映像またはアイコンを順に表示させる。図４は、個々の参加者の映像またはアイコンを順に表示する方法を説明するための図である。図４に示す、表示画面２０ｂは、ＷＥＢ会議の全参加者に共通の映像である。表示画面２０ｂは、例えば、ＷＥＢ会議の参加者が３０名の場合を示す。図４に示すように、表示画面２０ｂは、第一表示領域５０Ａと、第二表示領域５２Ａと、第三表示領域５４Ａと、第四表示領域５６Ａと、第五表示領域５８Ａと、を含む。

図４に示す例では、第一表示領域５０Ａには、発話者である第一ユーザであるユーザＵ１Ａの映像と、第一ユーザを示すアイコンＩ１Ａが表示される。アイコンＩ１Ａは、例えば、第一ユーザの名前のイニシャルを示す。第四表示領域５６Ａには、第四ユーザであるユーザＵ２Ａの映像と、第四ユーザを示すアイコンＩ４Ａが表示される。アイコンＩ４Ａは、例えば、第四ユーザの名前のイニシャルを示す。第一ユーザ、および第四ユーザは、「映像オンモード」に設定している。

第二表示領域５２Ａ、第三表示領域５４Ａ、および第五表示領域５８Ａは、それぞれ、第二ユーザを示すアイコンＩ２Ａ、第三ユーザを示すアイコンＩ３Ａ、第五ユーザを示すアイコンＩ５Ａが表示される。例えば、アイコンＩ２Ａ、アイコンＩ３Ａ、およびアイコンＩ５Ａは、それぞれ、第二ユーザ、第三ユーザ、および第五ユーザの名前のイニシャルを示す。第二ユーザ、第三ユーザ、および第五ユーザは、それぞれ、「映像制限モード」または「映像オフモード」に設定している。

図４に示す例において、表示制御部３８は、第一ユーザから第五ユーザ以外の２５名の参加者の映像またはアイコンを、所定の順番、またはランダムに発話者である第一ユーザが表示される第一表示領域５０Ａ以外の領域に表示させる。表示制御部３８は、例えば、発話者以外の参加者の映像またはアイコンを表示させる領域の大きさを、参加者の人数に応じて適宜変更してもよい。ステップＳ２０の後、ステップＳ２４に進む。

ステップＳ１８でＹｅｓと判定された場合、制御部２４は、所定の動作または表情を示す割合を反映したアイコンを表示する（ステップＳ２２）。具体的には、表示制御部３８は、ＷＥＢ会議の参加者の動作または表情を示す割合を反映したアイコンを表示させる。図５は、所定の動作または表情を示す割合を反映したアイコンを表示する方法を説明するための図である。図５に示す、表示画面２０ｃは、ＷＥＢ会議の全参加者に共通の映像である。具体的には、図５に示す、表示画面２０ｃは、発話者の発言に対して、ポジティブな動作または割合を表示する方法の一例を示す。表示画面２０ｃは、例えば、ＷＥＢ会議の参加者が３０名の場合を示す。図５に示すように、表示画面２０ｃは、第一表示領域５０Ｂと、第二表示領域５２Ｂと、第三表示領域５４Ｂと、第四表示領域５６Ｂと、第一動作情報表示領域６０と、を含む。

図５に示す例では、第一表示領域５０Ｂには、発話者である第一ユーザであるユーザＵ１Ｂの映像と、第一ユーザを示すアイコンＩ１Ｂが表示される。アイコンＩ１Ｂは、例えば、第一ユーザの名前のイニシャルを示す。第三表示領域５４Ｂには、第三ユーザであるユーザＵ２Ｂの映像と、第三ユーザを示すアイコンＩ３Ｂが表示される。アイコンＩ３Ｂは、例えば、第三ユーザの名前のイニシャルを示す。第一ユーザ、および第三ユーザは、「映像オンモード」に設定している。

第二表示領域５２Ｂ、および第四表示領域５６Ｂは、それぞれ、第二ユーザを示すアイコンＩ２Ｂ、および第四ユーザを示すアイコンＩ４Ｂが表示される。例えば、アイコンＩ２Ｂ、およびアイコンＩ４Ｂは、それぞれ、第二ユーザ、および第四ユーザの名前のイニシャルを示す。第二ユーザ、および第四ユーザは、それぞれ、「映像制限モード」または「映像オフモード」に設定している。

第一動作情報表示領域６０は、ＷＥＢ会議に参加している全参加者の動作または表情の割合に関する情報が表示される領域である。具体的には、第一動作情報表示領域６０は、発話者に対するポジティブな動作または表情の割合に関する情報が表示される領域である。第一動作情報表示領域６０は、ジェスチャーアイコンＧＩ１と、文字アイコンＬＩ１とを含む。

ジェスチャーアイコンＧＩ１は、ＷＥＢ会議に参加している、参加者の動作または表情を示すアイコンである。具体的には、ジェスチャーアイコンＧＩ１は、発話者の発言に対する、発言者のポジティブな動作または表情を示すアイコンである。図５に示す例では、ジェスチャーアイコンＧＩ１は、頷くように傾けた頷き動作のアイコンである。すなわち、ジェスチャーアイコンＧＩ１は、発話者の発言に同意している動作を示す。このようなジェスチャーアイコンＧＩ１は、アイコン生成部４４により生成される。すなわち、アイコン生成部４４は、分析部４２が他の参加者の所定の動作または表情が所定割合以上と判定された動作または表情のアイコンを生成する。

文字アイコンＬＩ１は、ＷＥＢ会議に参加している全参加者のうち、ジェスチャーアイコンＧＩ１に示す動作を行っている参加者の人数を示す。図５に示す例では、文字アイコンＬＩ１は、「12 People」を示す。すなわち、図５に示す例では、文字アイコンＬＩ１は、「映像オンモード」および「映像制御モード」の他の参加者２５名中、１２名が頷き動作を行っていることを示す。

図５に示す例では、アイコンＩ２Ｂは、正面を向いている。これは、第二ユーザは、発話者の発言に対して、ポジティブな動作または表情を取ってないことを示している。また、図５に示す例では、アイコンＩ４Ｂは、頷くように傾いている。これは、第四ユーザは、発話者の発言に対して、ポジティブな動作または表情をとっていることを示す。

図６を用いて、ジェスチャーアイコンに頷き動作を反映させる方法について説明する。図６は、ジェスチャーアイコンに頷き動作を反映させる方法を説明するための図である。

図６に示すように、まず、表示制御部３８は、例えば、頷くように傾けたジェスチャーアイコンＧＩ１を第一動作情報表示領域６０に表示させる（ステップＳ１）。次いで、表示制御部３８は、例えば、正面を向いているジェスチャーアイコンＧＩ１を第一動作情報表示領域６０に表示させる（ステップＳ２）。表示制御部３８は、例えば、ステップＳ１の状態と、ステップＳ２の状態とを１秒ごとに切り替えて表示させることで、ジェスチャーアイコンＧＩ１に頷き動作を与えて、ＷＥＢ会議の他の参加者の頷き動作を反映させる。なお、表示制御部３８は、図５に示すアイコンＩ４Ｂについても、図６に示した方法で、頷き動作を反映させることができる。

また、図５に示す表示画面２０ｃにおいては、１２名全員が頷き動作を行っている場合に限らず、頷き動作と笑顔の表情など、ポジティブな感情を示す人数が１２名であることを示してもよい。

図７は、図５とは異なる所定の動作または表情を示す割合を反映したアイコンを表示する方法を説明するための図である。図７に示す、表示画面２０ｄは、ＷＥＢ会議の全参加者に共通の映像である。具体的には、図７に示す、表示画面２０ｄは、発話者の発言に対して、ポジティブな動作または割合と、ネガティブな動作または割合とを表示する方法の一例を示す。図７に示す例において、ポジティブな動作または割合を表示する方法については、図５に示す方法と同一なので、説明を省略する。

図７に示すように、表示画面２０ｄは、第一表示領域５０Ｂと、第二表示領域５２Ｂと、第三表示領域５４Ｂと、第四表示領域５６Ｂと、第一動作情報表示領域６０と、第二動作情報表示領域６２と、を含む。表示画面２０ｄは、第二動作情報表示領域６２を含む点で、図５に示す表示画面２０ｃと異なる。

第二動作情報表示領域６２は、ＷＥＢ会議に参加している全参加者の動作または表情の割合に関する情報が表示される領域である。具体的には、第二動作情報表示領域６２は、発話者に対するネガティブな動作または表情の割合に関する情報が表示される領域である。第二動作情報表示領域６２は、ジェスチャーアイコンＧＩ２と、文字アイコンＬＩ２とを含む。

ジェスチャーアイコンＧＩ２は、ＷＥＢ会議に参加している、参加者の動作または表情を示すアイコンである。具体的には、ジェスチャーアイコンＧＩ２は、発話者の発言に対する、発言者のネガティブな動作または表情を示すアイコンである。図７に示す例では、ジェスチャーアイコンＧＩ２は、首を横に振る動作のアイコンである。すなわち、ジェスチャーアイコンＧＩ２は、発話者の発言に同意しない動作を示す。このようなジェスチャーアイコンＧＩ２は、アイコン生成部４４により生成される。

文字アイコンＬＩ２は、ＷＥＢ会議に参加している全参加者のうち、ジェスチャーアイコンＧＩ２に示す動作を行っている参加者の人数を示す。図７に示す例では、文字アイコンＬＩ２は、「8 People」を示す。すなわち、図７に示す例では、文字アイコンＬＩ２は、「映像オンモード」および「映像制御モード」の他の参加者２５名中、８名が首を横に振る動作を行っていることを示す。

図８を用いて、ジェスチャーアイコンに首を左右に振る動作を反映させる方法について説明する。図８は、ジェスチャーアイコンに首を左右に振る動作を反映させる方法を説明するための図である。

図８に示すように、まず、表示制御部３８は、例えば、顔を右に向けたジェスチャーアイコンＧＩ２を第二動作情報表示領域６２に表示させる（ステップＳ３）。次いで、表示制御部３８は、例えば、顔を左に向けたジェスチャーアイコンＧＩ２を第二動作情報表示領域６２に表示させる（ステップＳ４）。表示制御部３８は、例えば、ステップＳ３の状態と、ステップＳ４の状態とを１秒ごとに切り替えて表示させることで、ジェスチャーアイコンＧＩ２に首を左右に振る動作を与えて、ＷＥＢ会議の他の参加者の首を左右に振る動作を反映させる。

ステップＳ１６、ステップＳ２０、またはステップＳ２２の後、制御部２４は、図２の処理を終了するか否かを判定する（ステップＳ２４）。制御部２４は、例えば、操作受付部１６が図２の処理を終了する操作および電源をオフする操作を受け付けた場合に、図２の処理を終了すると判定する。処理を終了すると判定された場合、（ステップＳ２４；Ｙｅｓ）、図２の処理を終了する。処理を終了すると判定されない場合（ステップＳ２４；Ｎｏ）、ステップＳ１０に進む。ステップＳ２４で判定する処理の終了とは、例えば、ＷＥＢ会議の終了である。また、ＷＥＢ会議が終了しなくとも、一部のユーザがＷＥＢ会議との接続を終了させた場合は、そのユーザに対しての図２の処理を終了させる。

上述のとおり、本実施形態は、ＷＥＢ会議などにおいて映像表示が制限されている場合に、映像表示を制限しているユーザのアイコンにユーザの動作または表情を反映させて表示する。これにより、本実施形態は、ＷＥＢ会議に参加している他のユーザがカメラ映像を表示しない状態でも、そのユーザの反応を適切に把握することができ、コミュニケーションを円滑にすることができる。

また、本実施形態は、ＷＥＢ会議などにおいて映像表示が制限されている場合に、発話者の発言に対してポジティブな動作を取った参加者と、ネガティブな動作を取った参加者との人数を表示する。これにより、本実施形態は、ＷＥＢ会議に参加している他のユーザがカメラ映像を表示しない状態でも、ＷＥＢ参加者の反応をより把握することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１０ 映像通信装置
１２ カメラ
１４ マイクロフォン
１６ 操作受付部
１８ 通信部
２０ 表示部
２２ 音声出力部
２４ 制御部（映像通信制御装置）
３０ 映像取得部
３２ 音声取得部
３４ 操作制御部
３６ 通信制御部
３８ 表示制御部
４０ 音声出力制御部
４２ 分析部
４４ アイコン生成部

Claims (5)

1. 複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報を受信する通信部と、
   前記通信部が受信した情報を分析して、所定の動作または所定の表情を示す割合を取得する分析部と、
   前記分析部が取得した割合を反映したアイコンを生成するアイコン生成部と、
   前記アイコン生成部が生成したアイコンを表示部に表示させる表示制御部と、
   を備える映像通信装置。
2. 前記通信部は、前記複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報として、前記複数の他端末の各々のカメラが撮影した映像を受信し、
   前記分析部は、前記通信部が受信した映像から人物を認識し、認識した人物の動作または表情を分析して、所定の動作または所定の表情を示す割合を取得する、
   請求項１に記載の映像通信装置。
3. 前記通信部は、前記複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報として、前記複数の他端末により撮影された映像から撮影された人物の動作または表情を分析した分析結果を受信し、
   前記分析部は、前記通信部が受信した分析結果から所定の動作または所定の表情を示す割合を取得する、
   請求項１または２に記載の映像通信装置。
4. 前記アイコン生成部は、前記分析部が所定の動作または所定の表情を示す割合が所定閾値以上の割合と判断した動作または表情を反映したアイコンを生成する、
   請求項１から３のいずれか１項に記載の映像通信装置。
5. 複数の他端末から、前記複数の他端末の各々のカメラが撮影した人物の動作または表情を示す情報を受信するステップと、
   受信した情報から、所定の動作または所定の表情を示す割合を取得するステップと、
   取得した割合を反映したアイコンを生成するステップと、
   生成されたアイコンを表示部に表示させるステップと、
   を、映像通信装置が実行する映像表示方法。

Images