JP2005340974A - 画像送信制御プログラム、及び画像表示プログラム - Google Patents

Abstract

【課題】相手方の注視状況を確認させることのできる画像送信制御プログラム、及び画像表示プログラムを提供する。
【解決手段】 カメラ１４に接続され、当該カメラ１４が撮像した映像を遠隔の画像通信装置１に送信するコンピュータに、カメラ１４によって撮像されている利用者の視線方向を検出させ、この検出した視線方向に基づいて生成される情報を、遠隔の画像通信装置１に送信させる画像送信制御プログラムである。
【選択図】 図１

Description

本発明は、電子会議システム等に用いることのできる画像送信制御プログラム、及び画像表示プログラムに関する。

近年、世界的なネットワーク環境の整備に伴い、このネットワークを介して相互に映像や音声を授受することにより会議を行う、いわゆる電子会議システムが数多く開発されている。電子会議システムでは、相互のモニタに相手方の顔や、相手方にある書類等が映し出される。しかしながら、カメラの撮像範囲は限られているし、相手方の顔を映し出すモニタの面積やカメラの解像度、通信の帯域幅などの制限による圧縮伸長方式の特性などの影響で、相手方がこちらを注視しているのか、書類などを見ているのか、他の会議参加者（三者以上の会議の場合）を見ているのかまでは視認できないことが多い。

なお、従来一般的な電子会議システムにも利用できるテレビ電話装置が、非特許文献１に開示されている。
[online]、「業界初 、ＦＯＭＡとの映像通信を実現するデュアルモードテレビ電話機 「Ｍｏｐｐｅｔ（モペット）」の販売開始について」、東日本電信電話株式会社、[平成16年5月17日検索]、インターネット<URL:http://www.ntt-west.co.jp/news/0111/011128.html#photo>

このように、従来一般的な電子会議システムでは、他の会議参加者がこちらにどの程度注目しているのかが分かりにくく、円滑なコミュニケーションを妨げていた。

本発明は上記実情に鑑みて為されたもので、相手方の注視状況を確認させることのできる画像送信制御プログラム、及び画像表示プログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像送信制御プログラムであって、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、カメラによって撮像されている利用者の視線方向を検出する手順と、前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する手順と、を実行させることを特徴としている。

また、上記従来例の問題点を解決するための本発明は、画像送信制御プログラムであって、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、カメラによって撮像されている利用者の視線方向を検出する手順と、前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する手順と、を実行させることを特徴としている。

また、上記従来例の問題点を解決するための本発明は、コンピュータに、遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する手順と、前記受信した映像を表示する手順と、を実行させる画像表示プログラムであって、前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、前記受信した映像を表示する際に、コンピュータに当該映像に所定処理を適用させ、当該所定処理後の映像を表示させることを特徴としている。

さらに、上記従来例の問題点を解決するための本発明は、画像送信制御プログラムであって、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、カメラによって撮像されている利用者の視線方向を検出する手順と、前記検出した視線方向に基づいて生成される情報を、前記遠隔の装置に送信する手順と、を実行させることを特徴としている。

さらに本発明の別の態様に係る画像送信装置は、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信する画像送信装置であって、カメラによって撮像されている利用者の視線方向を検出する手段と、前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する手段と、を含むことを特徴としている。

さらに本発明の別の態様に係る画像送信装置は、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信する画像送信装置であって、カメラによって撮像されている利用者の視線方向を検出する手段と、前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する手段と、を実行させることを特徴としている。

さらに本発明の別の態様に係る画像表示装置は、遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する手段と、前記受信した映像を表示する手段と、を含む画像表示装置であって、前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、前記受信した映像を表示する際に、当該映像に所定処理を適用し、当該所定処理後の映像を表示することを特徴としている。

本発明のまた別の態様に係る画像送信制御方法は、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータを用い、カメラによって撮像されている利用者の視線方向を検出する工程と、前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する工程と、を実行することを特徴としている。

本発明のさらに別の態様に係る画像送信制御方法は、カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータを用い、カメラによって撮像されている利用者の視線方向を検出する工程と、前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する工程と、を実行することを特徴としている。

本発明のさらに別の態様に係る画像表示方法は、コンピュータを用い、遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する工程と、前記受信した映像を表示する工程と、を実行する画像表示方法であって、前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、前記受信した映像を表示する際に、コンピュータに当該映像に所定処理を適用させ、当該所定処理後の映像を表示させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像送信装置及び画像表示装置は、図１に示す画像通信システムを構成するものである。具体的に図１に示す画像通信システムは、複数の画像通信装置１を含んでなり、この画像通信装置１が本実施の形態の画像送信装置及び画像表示装置として動作する。

ここで画像通信装置１は図１に示すように、制御部１１と、記憶部１２と、ストレージ部１３と、カメラ１４と、マイク１５と、表示部１６と、操作部１７と、通信部１８とを含んで構成されている。以下、これらの各部の動作について説明する。

制御部１１は、ＣＰＵ等を用いて実現できる。この制御部１１は、記憶部１２に格納されている画像送信制御プログラムと、画像表示プログラムとを実行する。これらのプログラムに基づく制御部１１の具体的動作の内容は後に詳しく述べる。記憶部１２は、ＲＡＭ（Random Access Memory）や、ＲＯＭ（Read Only Memory）等の記憶素子によって実現でき、制御部１１によって実行されるプログラムを保持するとともに、この制御部１１の実行時に利用される種々のデータを記憶するワークメモリとしても動作する。

ストレージ部１３は、ハードディスク等で実現でき、制御部１１によって実行されるプログラムを格納している。本実施の形態においては、制御部１１は、各プログラムの起動時に、このストレージ部１３から読出したプログラムを記憶部１２に格納し、当該記憶部１２に格納したプログラムに従って動作するようになっている。

カメラ１４は、近年広く用いられているＣＣＤカメラやＣＭＯＳカメラ等で構わない。このカメラ１４によって撮像された映像は、ディジタルの映像データとして制御部１１に出力される。マイク１５は、周辺の音声を収集して電気的信号に変換し、さらに当該電気的信号をディジタルの音声データに変換して制御部１１に出力する。表示部１６は、モニタ等であり、制御部１１から入力される指示に従って各種映像を表示出力する。操作部１７は、マウスやキーボード等であり、利用者の指示操作を受けて、その内容を制御部１１に出力する。通信部１８は、ネットワークに接続されており、制御部１１から入力される指示に従って、映像や音声のデータを含む通信データを送信先となった遠隔の画像通信装置１に送信する。また、この通信部１８は、他の画像通信装置１から到来する通信データを受信して、制御部１１に出力する。

ここで、制御部１１によって実行される各プログラムの内容について述べる。まず、本実施の形態の画像送信制御プログラムは、カメラ１４が出力する映像データを用いて、次の処理を行う。ここで映像データは、定期的なタイミング、例えば１／３０秒ごとに撮像された一連の静止画像を含んでなる。制御部１１は、この画像送信制御プログラムに従い、各静止画像について、図２に示す処理を行う。まず制御部１１は、処理の対象となった静止画像から、人の顔と、その傾きの方向とを検出する（Ｓ１）。この検出は、例えば特開２００４−６２７２１号公報や、特開２００４−０６２５０５号公報に開示された処理によって行うことができる。この際、学習処理によって得られた各種データベースは、ストレージ部１３に格納しておけばよい。制御部１１は、さらに処理Ｓ１にて人の顔が検出された場合には、当該人の顔のうち、目の中の瞳の位置を検出する（Ｓ２）。この処理も、上記の特開２００４−０６２５０５号公報に開示された処理によって行うことができる。すなわち、本実施の形態では、ストレージ部１３には、顔の認識に関するデータベースとともに、目や瞳の認識に関するデータベースを格納しておく。

制御部１１は、処理Ｓ１で認識した顔の方向と、処理Ｓ２で認識した瞳の位置とに基づいて、処理対象となった静止画像に撮像されている人物（すなわち利用者）の視線方向を表す、視線方向情報を生成する（Ｓ３）。なお、ここでは顔の向き、及び瞳の位置に基づいて利用者の視線方向情報を生成する例について説明するが、この他に、いわゆる視線センサ（ヘッドマウントディスプレイ等の製品において実用されているものなど）を用いて視線方向を検出してもよい。この場合、表示部１６は、当該ヘッドマウントディスプレイであってもよい。

制御部１１は、生成した視線方向情報が、所定の条件を満足するか否かを調べる（Ｓ４）。ここで所定の条件とは、視線方向情報によって表される視線方向が、表示部１６の方向である（この判定のためには、予めカメラ１４にて撮像された映像から表示部１６を検出しておくか、或いは、表示部１６とカメラ１４との設置位置を固定しておくか、または表示部１６の設置位置についての情報の入力を予め受けておく）などの条件である。また、表示部１６のどの位置を見ているかを検出できる場合には、その時点で制御部１１が表示部１６に表示している表示内容を参照して、利用者が表示部１６に表示されているどの情報（提示情報）を見ているかを検出し、当該検出した提示情報が通信相手の顔であるとの条件を所定の条件としてもよい。

制御部１１は、処理Ｓ４において所定の条件を満足する場合（つまり、例えば利用者が表示部１６を見ているか通信相手の顔を見ているなどの条件を満足する場合）、当該所定条件を満足する旨の情報を、映像データとともに、送信相手が利用する遠隔の画像送信装置１に対して送信出力し（Ｓ５）、処理を終了する。また、制御部１１は、処理Ｓ４において所定の条件を満足しない場合は、当該所定条件を満足しない旨の情報を、映像データとともに、送信相手が利用する遠隔の画像送信装置１に対して送信出力して（Ｓ６）、処理を終了する。なお、処理Ｓ６においては、当該所定条件を満足しない旨の情報を送信せず、単に映像データのみを送信するようにしてもよい。制御部１１は、映像データに含まれる各静止画像について、この図２に示した処理を繰返して実行する。

つまり画像通信装置１は、その通信相手となっている遠隔の画像通信装置１に対して、図３に示すように、映像データ（Ｘ）とともに、当該映像データに含まれる各静止画像における利用者の視線方向に関する情報（Ｙ）を送信することになる。なお、ここでは映像データに含まれる各静止画像について図２に示した処理を遂行することとしているので、各静止画像について利用者の視線方向に関する情報が生成され、送信されるのであるが、本実施の形態はこれに限られるものではなく、所定のタイミングごと（例えばＮ個おきの静止画像ごと、など）に視線方向に関する情報を生成して送信してもよい。

次に、制御部１１によって実行される画像表示プログラムの内容について説明する。制御部１１は、遠隔にある他の画像通信装置１から、当該遠隔の画像通信装置１側のカメラ１４にて撮像された映像データを受信する。このとき、映像データとともに、当該他の画像通信装置１の利用者の視線方向の関する情報が到来しているときには、当該情報も併せて受信する。

そして制御部１１は、当該映像データに基づいて、表示部１６に動画像を表示する。なお、映像データが例えばＭＰＥＧ（Motion Picture Experts Group）等の規格に従って符号化されている場合、制御部１１は、当該符号化された映像データを復号して動画像を得て、当該動画像を表示部１６に表示する。

また制御部１１は、映像データとともに受信した、利用者の視線方向の情報が、上述の画像送信制御プログラムの処理における所定の条件を満足する旨の情報である場合には、動画像の表示の際に、当該動画像（映像）に所定の処理を適用し、当該所定処理後の動画像を表示する。ここで所定処理は、動画像の表示領域に予め定めた色（例えば赤色）の枠線を表示する等の強調表示処理等で構わない。

本実施の形態の画像通信装置１は、上述の構成を有しているので、例えば電子会議システムとして利用する場合に次のように動作する。すなわち、電子会議を行う会議参加者は、それぞれが利用する画像通信装置１を用いて、画像表示プログラムと、画像送信制御プログラムとを制御部１１に実行させるよう指示する。

画像通信装置１の制御部１１は、画像送信制御プログラムに基づく処理により、カメラ１４にて撮像した映像データを取得し、当該映像データに撮像された利用者の目の視線方向を検出する。ここで当該視線の方向が、表示部１６の方向である場合は、制御部１１は、取得した映像データとともに、視線方向が所定の条件を満足する旨の情報（相手側からの映像を注視している旨の情報）を、相手方の画像通信装置１に対して送信する。

さらに映像データに撮像された利用者の目の視線方向が、表示部１６の方向でない場合は、制御部１１は、取得した映像データを、相手方の画像通信装置１に対して送信する。このとき視線方向が所定の条件を満足する旨の情報は送信されない。

一方、画像通信装置１の制御部１１は、画像表示プログラムに基づく処理により、相手方の画像通信装置１から受信した映像データに基づいて動画像を生成し、表示部１６に表示する。このとき、映像データとともに、視線方向が所定の条件を満足する旨の情報を受信すると、当該動画像の周縁部に赤色の枠を表示する。また、画像通信装置１の制御部１１は、映像データとともに視線方向が所定の条件を満足する旨の情報を受信されないときには、当該動画像の周縁部に赤色の枠を表示しないよう制御する。

つまり、本実施の形態によると、相手方の利用者が表示部１６を注視しているなど、相手方の視線方向が所定の条件を満足する場合に、その旨を利用者に通知することができ、相手方の注視状況を確認させることができる。

またここまでの説明では、相手方の利用者の視線方向が所定の条件を満足する場合に、画像表示プログラムの処理において所定の画像処理を行う例について述べたが、画像送信制御プログラムの処理で当該所定の画像処理を行ってもよい。つまり、制御部１１は、利用者の視線方向の検出の結果、それが所定の条件を満足するものであった場合に、カメラ１４にて撮像された映像データに対して所定の画像処理を適用し、当該所定の画像処理を適用した後の映像データを、遠隔にある他の画像通信装置１に対して送信するようにしても構わない。ここでの所定処理もまた、例えば映像データの周縁部に赤色の枠線を合成するなど、映像を強調する処理で構わない。

さらにここでは、電子会議が１対１の利用者間で行われる場合を例として述べたが、これに限られるものではない。例えば、３人以上の利用者間で行われる電子会議の場合、図４に示すように、各利用者側の画像通信装置１から受信した映像データから得られる動画像をそれぞれ表示することになる（図４のＰ１，Ｐ２，…）。この場合、制御部１１は、画像送信制御プログラムに基づく処理として、利用者の視線方向が、どの動画像に向いているかを検出できる場合は、当該検出した視線方向の先にある動画像に対応する映像データの送信元である画像通信装置１に対して、所定の信号（利用者が当該画像通信装置１からの映像を注視している旨の信号、本発明の視線方向に基づいて生成される情報の一例に相当する）を送信するようにしてもよい。この送信は、直接行ってもよいし、サーバ等を介して間接的に行なわれてもよい。

このようにする場合、制御部１１は、他の画像通信装置１側から、上記所定の信号（他の画像通信装置の利用者が自らが送信制御した動画像を注視している旨の信号）を受け入れたときに、当該他の画像通信装置１側から受信した映像データに基づく動画像に対して所定の画像処理を行う。例えば赤色の枠を表示するなどの強調表示を行うことになる。

さらに、画像の表示時における所定の画像処理の内容も、ここでは枠線についてのみ説明したが、これに限られず、例えば顔部分を強調表示（顔の輪郭線を強調表示するなど）するなど、少なくとも、利用者の視線方向に基づく情報が所定の条件を満足するか否かが区別可能な態様であればよい。

本発明の実施の形態に係る画像通信装置の構成及びその接続状態の例を表すブロック図である。 画像送信制御プログラムの処理の一例を表すフローチャート図である。 送信されるデータ内容の一例を表す説明図である。 ３人以上の人物が参加する電子会議の画面表示例を表す説明図である。

符号の説明

１ 画像通信装置、１１ 制御部、１２ 記憶部、１３ ストレージ部、１４ カメラ、１５ マイク、１６ 表示部、１７ 操作部、１８ 通信部。

Claims (10)

1. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、
   カメラによって撮像されている利用者の視線方向を検出する手順と、
   前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する手順と、
   を実行させることを特徴とする画像送信制御プログラム。
2. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、
   カメラによって撮像されている利用者の視線方向を検出する手順と、
   前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する手順と、
   を実行させることを特徴とする画像送信制御プログラム。
3. コンピュータに、
   遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する手順と、
   前記受信した映像を表示する手順と、を実行させる画像表示プログラムであって、
   前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、
   前記受信した映像を表示する際に、コンピュータに当該映像に所定処理を適用させ、当該所定処理後の映像を表示させることを特徴とする画像表示プログラム。
4. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータに、
   カメラによって撮像されている利用者の視線方向を検出する手順と、
   前記検出した視線方向に基づいて生成される情報を、前記遠隔の装置に送信する手順と、
   を実行させることを特徴とする画像送信制御プログラム。
5. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信する画像送信装置であって、
   カメラによって撮像されている利用者の視線方向を検出する手段と、
   前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する手段と、
   を含むことを特徴とする画像送信装置。
6. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信する画像送信装置であって、
   カメラによって撮像されている利用者の視線方向を検出する手段と、
   前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する手段と、
   を実行させることを特徴とする画像送信装置。
7. 遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する手段と、
   前記受信した映像を表示する手段と、を含む画像表示装置であって、
   前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、
   前記受信した映像を表示する際に、当該映像に所定処理を適用し、当該所定処理後の映像を表示することを特徴とする画像表示装置。
8. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータを用い、
   カメラによって撮像されている利用者の視線方向を検出する工程と、
   前記検出した視線方向が所定条件を満足する場合に、当該所定条件を満足する旨の情報を、前記映像とともに前記遠隔の装置に送信する工程と、
   を実行することを特徴とする画像送信制御方法。
9. カメラに接続され、当該カメラが撮像した映像を遠隔の装置に送信するコンピュータを用い、
   カメラによって撮像されている利用者の視線方向を検出する工程と、
   前記検出した視線方向が所定条件を満足する場合に、前記映像に所定処理を適用し、当該所定処理後の映像を前記遠隔の装置に送信する工程と、
   を実行することを特徴とする画像送信制御方法。
10. コンピュータを用い、
    遠隔の装置から、当該遠隔の装置側にて撮像された映像のデータを受信する工程と、
    前記受信した映像を表示する工程と、を実行する画像表示方法であって、
    前記受信した映像のデータとともに、前記遠隔の装置側で撮像された映像に含まれる利用者の視線方向が所定の条件を満足する旨の情報が受信されているときには、
    前記受信した映像を表示する際に、コンピュータに当該映像に所定処理を適用させ、当該所定処理後の映像を表示させることを特徴とする画像表示方法。
    

Images