JP2006139028A - 遷移支援方法及び映像音声通信システム - Google Patents

Abstract

【課題】個人作業を主にした実空間における作業状態と遠隔相手との会話状態という二つの状態が混在する環境で用いられる映像音声通信システムにおいて、作業状態と会話状態との遷移を支援する。
【解決手段】利用者の正面に配置されたデスクディスプレイ１０３と、天井ディスプレイ１０１と、利用者の正面方向に配置されたデスクカメラ１０４と天井カメラ１０２で撮影した映像に基づいて利用者の顔方向を検出する顔方向検出部と、会話における無発話時間測定部１０７と、顔方向検出部１０６及び無発話時間測定部１０７のデータに基づき、顔方向が天井ディスプレイ１０１に向いたことを検出して会話モードに遷移したと判定し、顔方向がいずれのディスプレイの方向を向いておらず、かつ、無発話時間が一定時間以上継続した場合に、作業モードに遷移したと判定するモード判定部１０８と、設ける。
【選択図】 図１

Description

本発明は、遠隔地にいる相手とのコミュニケーションを図る映像音声通信システムに関し、特に、個人作業を主体とした実空間における作業状態と遠隔相手との会話状態の二つの状態が混在し得る場合に、作業状態と会話状態との円滑な遷移を支援する遷移支援方法と、そのような遷移支援方法を実現する映像音声通信システムと、に関する。

遠隔地にいる相手とのコミュニケーションを図るためのツールとして、利用者自身を撮影するカメラと相手の画像を提示するディスプレイと相手の発した音声を出力するスピーカと利用者自身の発した音声を取得するマイクロホンとを用いる映像音声通信システムがある。これらの映像音声通信システムでは、カメラ、ディスプレイを水平方向に設置する、言い換えれば各利用者の正面にカメラやディスプレイを設置するのが一般的である。

このような映像音声通信システムの利用方法として、これまで、１対１での遠隔会議がよく知られているが、相手方との物理的な接続は維持するものの、相手方の常時と会話をするのではなく、間欠的に（あるいはときたま）相手方と会話を行ない、その他の時間帯には実空間における個人作業（例えば、利用者自身のデスクワーク）を行なう、という使い方もある。すなわち、１つの室内において複数の人間がデスクワークを行なっており、通常時には各人がそれぞれの個人作業を行なっているが、疑問点や確認事項が発生した場合に隣に在席している人と会話する、という、一般的は執務形態を遠隔地にいる相手にまで拡張したものに相当する。

このように、遠隔の相手とずっと会話をするわけではなく、実空間における個人作業を主に行いながらも遠隔相手と物理的に接続した状態を保つものは、グループワークシステムの研究にいくつか例があげられる。これらの研究例では、ユーザに事前に相手の状況情報を提示することで、映像音声通信システムを利用した会話を開始する事を支援している。映像を常時接続することによって、相手の状況を互いに取得できるシステムにおける研究（非特許文献１）や、遠隔相手の近接情報を視覚効果として提示することで相手の状況を取得できるシステムの研究（非特許文献２）、仮想世界を歩き回り遠隔相手のデスクの様子を見ながら相手を探して会話を開始できるシステムの研究（非特許文献３）、ユーザの位置情報とスケジュール情報を用いて情報を提示するシステムの研究（非特許文献４）などが行なわれている。しかし、これらは、状況情報の提示場所について検討していないため、ユーザの個人作業を妨げる場所に提示する可能性があり、また作業状態から会話状態への遷移による、集中したい対象が異なるというユーザ特性の変化について考慮していない。
"Evaluating Video as a Technology for Informal Communication", R. S. Fish, CHI '92 "The Effects of Visual Proxemic Information in Video Mediated Communication", D. Grayson, L. Coventry, CHI '98 "Design of a Multi Media Vehicle for Social Browsing", R. W. Root, Proceedings of the 1988 ACM conference on CSCW "Context Aware Messaging Service：位置情報とスケジュール情報を用いたモパイルコミュニケーションシステムの構築および運用実験", 中西泰人，辻貴孝，大山実，箱崎勝也，情報処理学会論文誌，Vol. 37, No. 6

従来の映像音声通信システムにおいて、会話に用いるディスプレイを利用者の正面に設置した場合、個人作業中の利用者に対して、ディスプレイは必要でない状況情報を提示することになり、具体的には相手側の状況がちらちらと目に入ってしまって気が散ることとなるので、その利用者の作業の妨げとなる可能性がある。また利用者が会話を始めようとする直前や会話中では、遠隔地にいる相手の顔方向が、会話をしたいと思ってディスプレイ越しにユーザを見ている顔方向であるのか、作業をしたいと思って作業をしている顔方向であるか、の判別が困難である。そのために相手に対して話しかけることが難しい、あるいは、話をしたいという相手の欲求を感じ取りにくいなど、会話の円滑な開始が阻害される、という問題がある。

そこで本発明の目的は、個人作業を主にした実空間における作業状態と遠隔相手との会話状態という二つの状態が混在する環境において用いられる映像音声通信システムにおいて、利用者の作業の妨げにならないように相手側の映像を提示でき、利用者はその作業中は作業に集中できるとともに、利用者が相手側と会話をしたいときには相手との会話状態への円滑な切替えを可能とする遷移支援方法と、そのような遷移支援方法を実現する映像音声通信システムと、を提供することにある。

本発明の遷移支援方法は、利用者の正面に配置された第１のディスプレイと、第１のディスプレイとは異なる方向に配置された第２のディスプレイとを用い、遠隔相手からの映像及び音声を利用者に提示する映像音声通信システムにおける、利用者の個人作業を主にした実空間における作業状態と遠隔相手との会話状態との間での遷移を支援する遷移支援方法であって、利用者の顔方向を検出するステップと、利用者及び遠隔相手との会話における無発話時間を検出するステップと、顔方向が第２のディスプレイに向いたことを検出して会話モードに遷移するステップと、顔方向がいずれのディスプレイの方向を向いておらず、かつ、無発話時間が一定時間以上継続した場合に、作業モードに移行するステップと、を有する。

本発明の映像音声通信システムは、利用者の個人作業を主にした実空間における作業状態と遠隔相手との会話状態とが混在する環境で用いられ、遠隔相手からの映像及び音声を利用者に提示する映像音声通信システムであって、利用者の正面方向に配置された第１のディスプレイと、第１のディスプレイとは異なる方向に配置された第２のディスプレイと、利用者の正面方向に配置されて利用者を撮影する第１のカメラと、第１のカメラとは異なる位置に配置されて利用者を撮影する第２のカメラと、利用者の発話を収録するマイクロホンと、遠隔相手の発話を利用者に向けて再生するスピーカと、第１及び第２のカメラで撮影した映像をもとに利用者の顔方向を検出する顔方向検出部と、マイクロホンに入力した音声に基づいて無発話時間を測定する無発話時間測定部と、顔方向検出部及び無発話時間測定部のデータに基づき、顔方向が第２のディスプレイに向いたことを検出して会話モードに遷移したと判定し、顔方向がいずれのディスプレイの方向を向いておらず、かつ、無発話時間が一定時間以上継続した場合に、作業モードに遷移したと判定し、判定結果に応じて、遠隔相手の映像の各ディスプレイによる提示を制御するモード判定部と、を有する。

本発明は、個人作業を主にした実空間における作業状態と遠隔相手との会話状態という二つの状態が混在する環境において、ユーザの顔方向、発話の状況を活用してユーザの作業の妨げにならない相手側の映像の提示ディスプレイを選択する事で、ユーザの作業中は作業に集中でき、またユーザが会話をしたい時には相手との会話への円滑な切り替えを可能とする。

次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は本発明の実施の一形態の映像音声通信システムの構成を示すブロック図である。

映像音声通信システムは、利用者１００の側と相手２００の側とにそれぞれ配置されており、両者の映像音声通信システム間は、ネットワーク１９０によって接続されている。利用者１００側ではその利用者１００用のデスク１５０が設けられており、相手２００側ではその人用のデスク２５０が備えられているものとする。

本実施形態の映像音声通信システムでは、会話モードと作業モードとの２つのモードが備えられている。会話モードは、利用者１００が相手２００と会話している、相手２００と会話をしたい、あるいは、会話をするためにディスプレイによって相手２００の状況を見ている、という状態（遠隔相手との会話状態）に対応するモードである。これに対し、作業モードは、利用者１００が、相手２００に対して会話をしないで、その利用者１００の個人の作業に集中している状態（個人作業を主体とした実空間における作業状態）に対応するモードである。以下に説明するように、映像音声通信システムは、利用者１００の状態を検出して会話モードと作業モードの間で遷移し、判別されたモードに応じてディスプレイ上での提示内容を変更する。

利用者１００側の映像音声通信システムは、デスク１５０の椅子に座った状態の利用者１００から見えるように画面を向けられているとともに、デスク１５０の上方の天井に設置された天井ディスプレイ１０１と、デスク１５０の椅子に座った利用者１００の頭部に光軸を向けてデスク１５０上方の天井に設置された天井カメラ１０２と、デスク１５０の椅子に座った状態の利用者１００の正面の位置に配置されたデスクディスプレイ１０３と、デスク１５０の椅子に座った状態の利用者１００の頭部に指向軸を向けて設置されたデスクカメラ１０４と、利用者１００の発話を収録するマイクロホン１０５と、天井カメラ１０２及び／またはデスクカメラ１０４によって撮影した映像に基づいて利用者１００の顔方向を検出する顔方向検出部１０６と、マイクロホン１０５によって入力した音声に基づいて利用者１００と相手２００との会話における無発話時間を測定する無発話時間測定部１０７と、顔方向検出部１０６及び無発話時間測定部１０７での検出あるいは測定結果に基づいて、会話モードか作業モードかを判定するモード判定部１０８と、相手２００側の映像音声通信システムへのネットワーク１９０を介した通信を制御する通信制御部１０９と、遠隔地にいる相手２００の発話を利用者１００に向けて再生するスピーカ１１０と、を備えている。デスクディプレイ１０３は、例えば、デスク１５０上あるいはデスク１５０の前方に設置されている。デスクディスプレイ１０３としては、利用者１００がその個人作業に用いるパーソナルコンピュータのディスプレイを用いることができる。

同様に、相手２００側の映像音声通信システムも、天井ディスプレイ２０１と、天井カメラ２０２と、デスクディスプレイ２０３と、デスクカメラ２０４と、マイクロホン２０５と、顔方向検出部２０６と、無発話時間測定部２０７と、モード判定部２０８と、通信制御部２０９と、スピーカ２１０と、を備えている。

利用者１００の映像音声通信システムでは、天井ディスプレイ１０１には、少なくとも利用者１００の顔が天井ディスプレイ１０１の方向を向いたときに、相手２００側の天井カメラ２０２で撮影された相手２００の映像が提示される。また、デスクディスプレイ１０３には、会話モード時に、相手２００側のデスクカメラ２０４で撮影された相手２００の映像が提示される。相手２００の映像音声通信システムでも、天井ディスプレイ２０１には、少なくとも相手２００の顔が天井ディスプレイ２０１の方向を向いたときに、利用者１００側の天井カメラ１０２で撮影された利用者１００の映像が提示され、モード判定部２０８が会話モードと判定しているときに、デスクディスプレイ１０３には、利用者１００側のデスクカメラ１０４で撮影された利用者１００の映像が提示される。

次に、この映像音声通信システムの動作を説明する。

まず、モード判定部１０８によるモード判定を説明する。

顔方向検出部１０６は、天井カメラ１０２及び／またはデスクカメラ１０４で撮影した映像から、肌色領域検出によって、利用者１００の顔領域を抽出し、またその領域内の利用者１００の目口鼻の位置を検出し、これらの結果から、利用者１００の顔方向を判定する。無発話時間測定部１０７は、マイクロホン１０５で取得した音声に基づいて、利用者１００及び相手２００との互いの発話のない時間を測定する。そして、モード判定部１０８は、いずれのモードにある場合であっても、利用者１００の顔方向が天井ディスプレイ１０１の方向を向いたときには、利用者１００が相手２００と会話をしたい、あるいは相手２００と会話するために相手２００の状況を見ている、と判断して、会話モードに遷移する。そして、会話モードに遷移すると、利用者１００の顔が天井ディスプレイ１０１に向いている時には天井ディスプレイ１０１に相手２００側の天井カメラ２０２で取得した相手２００の映像を提示し、利用者１００の顔がデスクディスプレイ１０３に向いている時は、そのデスクディスプレイ１０３には相手２００側のデスクカメラ２０４で取得した相手２００の映像を提示する、というように、利用者１００の顔方向に応じて提示するディスプレイを決定する。そしてモード判定部１０８は、会話モード中であって、利用者１００の顔方向がいずれのディスプレイ１０１，１０３にも向いておらず、かつ無発話時間が一定時間（例えば３秒）より長い場合、その利用者１００は提示された相手２００に会話しないで個人の作業に集中している状態とみなして、作業モードに遷移する。作業モードでは、モード判定部１０８は、利用者１００の作業を妨げないよう、相手映像を天井ディスプレイ１０１のみに提示する。

このように本実施形態では、モード判定部１０８（あるいはモード判定部２０８）によって、会話モードと作業モードとを自動的に切替えることができ、これによって、利用者１００や相手２００は、その個人作業中は作業に集中でき、また作業から相手との会話への円滑な切り替えを行なうことができるようになる。

図２は、利用者１００側の映像音声通信システムにおける処理を示すフローチャートである。当然のことながら、相手２００側の映像音声通信システムも、同様に処理を実行する。

初期状態は作業モードであるとして、ステップ３０１において、作業モードに移行する。作業モードでは、利用者１００が、デスクディスプレイ１０３を使用する使用しないに関わらずそのデスク１５０上で作業をしている時、天井ディスプレイ１０１は、相手２００側の天井カメラ２０２より送信されたデータを提示する（ステップ３０２）。デスクディスプレイ１０３は、作業用のデータを提示する、もしくは何も提示しない。作業モードは、互いに相手側の利用者とは通信しようとしない状態であるので、マイクロホン１０５での音声入力は行なわれず、スピーカ１１０からの相手側音声の再生も行なわれない。作業モード時、モード判定部１０８は、天井カメラ１０２及びデスクカメラ１０４で撮影した映像に基づいて顔方向検出部１０６が検出した利用者１００の顔方向のデータによって判定を行なう（ステップ３０３）。ユーザの顔方向が天井ディスプレイ１０１方向である場合にのみ、ステップ３０４に移行して会話モードに遷移する。それ以外の場合は、ステップ３０１に戻る。

会話モードでは、常時ユーザの顔方向判定が行なわれ、利用者１００の顔方向が天井ディスプレイ１０１方向である時は、相手２００側の天井カメラ２０２より送信されたデータを天井ディスプレイ１０１に提示し、顔方向がデスクディスプレイ１０３方向である時は、相手２００側のデスクカメラ２０４より送信されたデータをデスクディスプレイ１０３に提示する。顔方向がそれら以外の方向である時は事前に提示されていたディスプレイへの提示を続行する。すなわち、顔方向に追従して映像を提示する（ステップ３０５）。そして、モード判定部１０７は、ステップ３０６において、まず、無発話時間測定部１０７のデータにより、無発話時間が一定時間以上であるかどうかを判定し、無発話時間が一定時間未満であれば会話モードを続行するものとしてステップ３０４に戻る。無発話時間が一定時間以上であれば、モード判定部１０８は、ステップ３０７において、顔方向検出部１０６のデータによってユーザの顔方向がいずれのディスプレイ１０１，１０３方向以外の方向であるかどうかを判定し、ディスプレイ方向以外の方向であれば、利用者１００は、相手２００に会話せず個人の作業に集中しているとみなして、ステップ３０１に移行し、作業モードに遷移する。顔方向がディスプレイ方向であれば、会話モードを続行するものとしてステップ３０４に戻る。

このようにして、モード判定部１０８は、モード判定の処理を実行する。

次に、デスクディスプレイ１０３における表示方法を説明する。会話モード時に、相手２００側のデスクカメラ２０４の映像がデスクディスプレイ１０３に表示される場合、利用者１００が読書などを行っていて作業にデスクディスプレイ１０３を用いていない場合には、デスクディスプレイ１０３の全面に映像を提示するようにする。これに対し、利用者１００が、メール送受信など、作業にデスクディスプレイ１０３を用いている場合には、まず文字表示の無い部分をディスプレイ上より探索し、文字表示の無い領域が一定のサイズ以上存在すれば、その領域に映像を提示するようにする。そのような領域が内場合には、デスクディスプレイ１０３の表示面の四隅のうち、文字表示のない領域の多い箇所に映像を提示するようにする。

以上説明した映像音声通信システムのうち、顔方向検出部１０６、無発話時間測定部１０７、モード判定部１０８及び通信制御部１０９は、それを実現するための計算機プログラムを、パーソナルコンピュータなどの計算機に読み込ませ、そのプログラムを実行させることによっても実現できる。このようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを経由して、計算機に読み込まれる。そのような計算機は、一般に、ＣＰＵ（中央処理装置）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、天井ディスプレイ１０１やデスクディスプレイ１０３と接続するためのビデオアダプタと、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、天井カメラ１０２、デスクカメラ１０４、マイクロホン１０５、スピーカ１１０などが接続されるインタフェース部と、ネットワーク１９０と接続するための通信インタフェースとから構成されている。

本発明の実施の一形態の映像音声通信システムの構成を示すブロック図である。 図１に示す映像音声通信システムにおけるモードの遷移を説明するフローチャートである。

符号の説明

１００ 利用者
１０１，２０１ 天井ディスプレイ
１０２，２０２ 天井カメラ
１０３，２０３ デスクディスプレイ
１０４，２０４ デスクカメラ
１０５，２０５ マイクロホン
１０６，２０６ 顔方向検出部
１０７，２０７ 無発話時間測定部
１０８，２０８ モード判定部
１０９，２０９ 通信制御部
１１０，２１０ スピーカ
１５０，２５０ デスク
１９０ ネットワーク
２００ 相手

Claims (7)

1. 利用者の正面に配置された第１のディスプレイと、前記第１のディスプレイとは異なる方向に配置された第２のディスプレイとを用い、遠隔相手からの映像及び音声を利用者に提示する映像音声通信システムにおける、利用者の個人作業を主にした実空間における作業状態と遠隔相手との会話状態との間での遷移を支援する遷移支援方法であって、
   前記利用者の顔方向を検出するステップと、
   前記利用者及び前記遠隔相手との会話における無発話時間を検出するステップと、
   前記顔方向が前記第２のディスプレイに向いたことを検出して会話モードに遷移するステップと、
   前記顔方向がいずれのディスプレイの方向を向いておらず、かつ、前記無発話時間が一定時間以上継続した場合に、作業モードに移行するステップと、
   を有する、遷移支援方法。
2. 前記会話モードにおいて、前記会話モードにおいて、前記遠隔相手の正面からの映像を前記第１のディスプレイによって提示し、前記遠隔相手の正面以外からの映像を前記第２のディスプレイによって提示するように、前記顔方向に追従して前記第１及び第２のディスプレイによて前記遠隔相手の映像を提示するステップと、
   前記作業モードでは、前記第１のディスプレイによる前記遠隔相手の映像の提示を停止するステップと、
   をさらに有する請求項１に記載の遷移支援方法。
3. 異なる２つのカメラによって前記利用者を撮影し、撮影された映像に対して肌色領域検出を行なって前記利用者の顔の領域を抽出し、抽出された領域内で前記利用者の目口鼻の位置を検出することによって、前記利用者の顔方向を判定する、請求項１または２に記載の遷移支援方法。
4. 利用者の個人作業を主にした実空間における作業状態と遠隔相手との会話状態とが混在する環境で用いられ、前記遠隔相手からの映像及び音声を前記利用者に提示する映像音声通信システムであって、
   前記利用者の正面方向に配置された第１のディスプレイと、
   前記第１のディスプレイとは異なる方向に配置された第２のディスプレイと、
   前記利用者の正面方向に配置されて前記利用者を撮影する第１のカメラと、
   前記第１のカメラとは異なる位置に配置されて前記利用者を撮影する第２のカメラと、
   前記利用者の発話を収録するマイクロホンと、
   前記遠隔相手の発話を前記利用者に向けて再生するスピーカと、
   前記第１及び第２のカメラで撮影した映像をもとに前記利用者の顔方向を検出する顔方向検出部と、
   マイクロホンに入力した音声に基づいて無発話時間を測定する無発話時間測定部と、
   前記顔方向検出部及び前記無発話時間測定部のデータに基づき、前記顔方向が前記第２のディスプレイに向いたことを検出して会話モードに遷移したと判定し、前記顔方向がいずれのディスプレイの方向を向いておらず、かつ、前記無発話時間が一定時間以上継続した場合に、作業モードに遷移したと判定し、判定結果に応じて、前記遠隔相手の映像の前記各ディスプレイによる提示を制御するモード判定部と、
   を有する映像音声通信システム。
5. 前記モード判定部は、前記会話モードでは、前記遠隔相手の正面からの映像を前記第１のディスプレイによって提示し、前記遠隔相手の正面以外からの映像を前記第２のディスプレイによって提示するように、前記顔方向に追従して前記第１及び第２のディスプレイによって前記遠隔相手の映像を提示し、前記作業モードでは、前記第１のディスプレイによる前記遠隔相手の映像の提示を停止する、請求項４に記載の映像音声通信システム。
6. 前記第２のディスプレイ及び前記第２のカメラは、前記利用者の頭上方向の天井に設けられる、請求項４または５に記載の映像音声通信システム。
7. 利用者の正面に配置された第１のディスプレイと、前記第１のディスプレイとは異なる方向に配置された第２のディスプレイとを用い、遠隔相手からの映像及び音声を利用者に提示する映像音声通信システムを構成するコンピュータに、
   前記利用者の顔方向を検出する処理、
   前記利用者及び前記遠隔相手との会話における無発話時間を検出する処理、
   前記顔方向が前記第２のディスプレイに向いたことを検出して会話モードに遷移する処理、
   前記顔方向がいずれのディスプレイの方向を向いておらず、かつ、前記無発話時間が一定時間以上継続した場合に、作業モードに移行する処理、
   前記会話モードにおいて、前記遠隔相手の正面からの映像を前記第１のディスプレイによって提示し、前記遠隔相手の正面以外からの映像を前記第２のディスプレイによって提示するように、前記顔方向に追従して前記第１及び第２のディスプレイによて前記遠隔相手の映像を提示する処理、
   前記作業モードでは、前記第１のディスプレイによる前記遠隔相手の映像の提示を停止する処理、
   とを実行させる、プログラム。

Images