JP2019047357A - 撮像装置付き表示装置 - Google Patents

Abstract

【課題】従来のアイコンタクト状態にする事が可能な撮像装置付き表示装置においては、以下のような事象が有る。それは、太陽などの環境光が表示手段に入射して迷光になったり、また撮像手段に直接入射して不要光となったりする場合には、視線一致が出来なくなるという事象が生じる。さらには、通話相手に不要光が入った不快な画像を送る事になってしまう。そこで本発明の目的は、不要光を防止するための対応方法が認識可能な撮像装置付き表示装置を提供することである。【解決手段】撮像手段と、表示手段と、該表示手段に表示する画像を制御する制御手段と、を備える撮像装置付き表示装置において、前記撮像手段が撮影した被写体の撮影画像から不要光を検出し、該不要光の発生方向を演算する演算手段をさらに有し、前記制御手段は、前記演算手段の結果に応じて、前記不要光の発生を回避する情報を前記表示手段に表示する構成にした。【選択図】図２

Description

本発明は、有機ＥＬ、液晶、プラズマ方式など比較的薄型の表示機器に一体的に撮像機器が備えたられた撮像装置付き表示装置に関する。さらに詳しくは、テレビ電話などのリアルタイム双方向通信などに好適な撮像装置付き表示装置に関する。

近年、通信網の目覚しい発展によりテレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話は被写体像を電気的な画像信号に変換する撮像手段と電気的な画像信号を光信号に変換して表示する表示手段とから構成されている。テレビ電話の利用者は、表示手段の画面に映された相手の顔を見ながら会話をし、同時に利用者の顔は、撮像手段により撮影され電気信号に変換されたのち相手側へ送られる。この、テレビ電話利用者同士のコミュニケーション力向上のために、視線合致システムが提案されている。

特許文献１に開示している撮像装置付き表示装置は、表示手段を見ながらの撮像ができ、かつ表示手段に表示される相手と視線を一致させること、つまりアイコンタクト状態にすることが可能となっている。その結果、テレビ電話等で対話する相手側の人に対して利用者が自分を見て話しているように認識してもらえるようになり、コミュニケーション力が向上する。

しかしながら、表示手段自身のバックライトの光が表示手段内部で反射し、迷光となって撮像手段に入射する事によって、撮影画像にノイズとなって映り込んでしまうという事象が有った。その結果、そのノイズによって、視線一致させるために必要な話者の顔認識が出来なくなるという事象が発生した。

その対策として、特許文献２の画像表示装置では、表示タイミングと撮像タイミングを大きくずらすことすることが開示されている。これにより、表示手段の光が迷光となって撮像手段に入射したとしても、撮像手段は表示手段が光るタイミングとは異なるタイミングで撮影を行うので、迷光によるノイズの影響を低減する事が可能になる。これにより、視線一致させるために必要な話者の顔認識も可能になる。

特開２００５−１７６１５１号公報 特開２０１１−２５９０９０号公報

一方、このテレビ電話機能をモバイル端末において利用する環境としては、日中の屋外を想定しなければならない。しかしながら、特許文献２に開示されている技術では、表示手段の光が迷光になった場合にはノイズを抑制する事が出来るので、視線一致させることが出来るが、太陽などの環境光が表示手段を介して撮像手段に入射して迷光になったり、また撮像手段に直接入射して不要光となったりする場合には、ノイズを抑制出来ない。そのため、視線一致が出来なくなるという事象が生じる。さらには、通話相手に不要光が入った不快な画像を送る事になってしまう。

そこで本発明の目的は、不要光を防止するための対応方法が認識可能な撮像装置付き表示装置を提供することである。

上記目的を達成するために本発明は、
撮像手段と、
表示手段と、
該表示手段に表示する画像を制御する制御手段と、
を備える撮像装置付き表示装置において、
前記撮像手段が撮影した被写体の撮影画像から不要光を検出し、該不要光の発生方向を演算する演算手段をさらに有し、
前記制御手段は、前記演算手段の結果に応じて、前記不要光の発生を回避する情報を前記表示手段に表示する事を特徴とする。

本発明によれば、不要光を防止するための対応方法が認識可能な撮像装置付き表示装置を提供することが出来る。その結果、太陽などの環境光が表示手段を介して撮像手段に入射して迷光になったり、また撮像手段に直接入射して不要光となったりして、視線一致が出来なくなるという事象を解消する事が可能になる。さらには、通話相手に不要光が入った不快な画像を送る事を防止する事も可能になる。

（ａ）は撮像装置付き表示装置の正面図、（ｂ）は撮像装置付き表示装置の上面図、（ｃ）は撮像装置付き表示装置の側面図 撮像装置付き表示装置のブロック図 撮像装置付き表示装置の説明図 撮像装置付き表示装置の動作メインフロー説明図 撮像装置付き表示装置の動作サブフロー説明図 （ａ）は画像表示モードや音声通話モード時に表示パネルに表示されるアイコンの説明図、（ｂ）はテレビ電話モード時に表示パネルに表示されるアイコンの説明図 （ａ）はテレビ電話モード時に話者の表示パネルに表示されるアイコン等の表示例の説明図、（ｂ）はテレビ電話モード時に話者の撮影画像に不要光が発生している場合に、その状況を話者の表示パネルに表示する表示例の説明図、（ｃ）はテレビ電話モード時に話者の撮影画像に不要光が発生しなくなった場合に話者の表示パネルに表示されるアイコン等の表示例の説明図、（ｄ）はテレビ電話モード時に通話相手の表示パネルに表示されるアイコン等の表示例の説明図、（ｅ）はテレビ電話モード時に、話者の撮影画像に不要光が発生している状況を話者の表示パネルに表示している場合に、通話相手の表示パネルに表示される表示例の説明図、（ｆ）はテレビ電話モード時に話者の撮影画像に不要光が発生しなくなった場合に、通話相手の表示パネルに表示されるアイコン等の表示例の説明図 視線検出方法の説明図 アイコンタクトしていない状態の説明図 不要光の発生角度の説明図 表示位置制御説明図 顔の追尾説明図 撮像装置付き表示装置の説明図 （ａ）は本実施例の変形例おける、テレビ電話モード時に話者の表示パネルに表示されるアイコン等の表示例の説明図、（ｂ）は本実施例の変形例おける、テレビ電話モード時に話者の撮影画像に不要光が発生している場合に、その状況を話者の表示パネルに表示する表示例の説明図、（ｃ）は本発明の変形例における、テレビ電話モード時に話者の撮影画像に不要光が発生しなくなった場合に話者の表示パネルに表示されるアイコン等の表示例の説明図 本発明の変形例におけるブロック図 本実施例の変形例における、撮像装置付き表示装置の動作メインフロー説明図 本実施例の変形例における、撮像装置付き表示装置の動作サブフロー説明図

[実施例]
図１〜図１２は本発明の撮像装置付き表示装置を用いて異なる空間でテレビ電話を行う実施例を説明する図である。本実施例では、空間１で利用者βがテレビ電話を利用し、それとは異なる空間２で利用者αがテレビ電話を利用する例を示す。

図１の（ａ）は空間１のテレビ電話システム等で使用される撮像装置付き表示装置１の正面図で、撮像装置付き表示装置１には相手側の空間２の利用者αが映し出される。（ｂ）は撮像装置付き表示装置１の上面図で、空間１での撮像装置付き表示装置１を観察する利用者βの位置関係を示している。さらに、（ｃ）は撮像装置付き表示装置１の側面図である。

２は、その表面に操作入力用の透明タッチパネル３が配設されているとともに、光を透過可能な表示手段である表示パネルで、表示パネル２の背面（図中＋ｚ方向）には、表示パネル２を観察する利用者を撮影するための撮像手段であるカメラ１１が配設されている。カメラ１１は、レンズ、撮像素子１０及び撮像素子駆動回路から構成されている。またカメラ１１は、表示パネル２の画面中央より上方（図中＋ｙ方向）に配設され、表示パネル２の一部の表示画素部を通して利用者を撮影するようになっている。つまり、表示パネル２は、本発明の表示手段に、カメラ１１は、本発明の撮像手段に相当する。

また、表示パネル２は有機ＥＬで構成され、カメラ１１の撮影光路は光が透過するように構成されている。また表示パネル２の周囲には、利用者の音声を拾う音声検出手段であるマイク２１、２２、２３及び２４と相手側の空間２の音声を伝えるスピーカー３１及び３２が配設されている。つまり、スピーカー３１及び３２は、本発明の発音体に相当する。相手側の空間２で使用される撮像装置付き表示装置も同様の構成である。

さらには、透明タッチパネル３は接触式の入力手段であるが、これに限定せず、例えば静電容量方式等の非接触式型の入力手段であっても、同様の機能を有しているので、非接触式の入力手段が表示パネル２の表面に配設されていても、以下に説明する本発明と同等の効果を得る事が出来る。

次に、本発明の撮像装置付き表示装置を異なる空間でテレビ電話として使用して、利用者同士の視線合致効果が得られる、つまり、アイコンタクト状態にする事が可能であるとともに、使用者自身の撮影画像に不要光が入る事を撮影者自身で認識する事が出来、かつ、不要光を防止するための対応方法が認識可能な撮像装置付き表示装置の制御動作を説明する。本実施例では、空間１では利用者β、空間２では利用者αがテレビ電話に参加している。

以下、図２の撮像装置付き表示装置のブロック図、図３の撮像装置付き表示装置の説明図、図４Ａと図４Ｂの撮像装置付き表示装置の動作フロー説明図、図５の（ａ）の画像表示モードや音声通話モード時に表示パネルに表示されるアイコンの説明図、（ｂ）のテレビ電話モード時に表示パネルに表示されるアイコンの説明図、図６の（ａ）〜（ｆ）の話者及び通話相手の表示パネルに表示される表示例の説明図、図７の視線検出方法の説明図を用いて、本発明の撮像装置付き表示装置の制御動作を説明する。

図４Ａの動作フロー説明図において、Ｓ１００では、空間１のテレビ電話の利用者βがテレビ電話システムを構成する撮像装置付き表示装置１の操作スイッチ４０を操作すると、撮像装置付き表示装置１が起動する。

Ｓ１０１では、撮像装置付き表示装置１の制御手段であるシステム制御回路５０は、設定スイッチ４１の操作によって設定された撮像装置付き表示装置１の動作モードを確認する。

Ｓ１０２では、Ｓ１０１で動作モードを確認した結果、撮像装置付き表示装置１がテレビ電話モードかどうかをシステム制御回路５０は判定する。その結果、テレビ電話モードではない場合、つまり、撮像装置付き表示装置１の表示パネル２に、該装置内に記憶した画像の表示を行う画像表示モードであったり、通常の音声通話モードであったりする時には、Ｓ１４０に進む。

Ｓ１４０では、システム制御回路５０は、表示処理回路５２を介して表示パネル２に表示する各種表示や操作用アイコンの表示を行う。つまり、システム制御回路５０及び表示制御回路５２は、本発明の制御手段に相当する。

図５の（ａ）は、装置内に記憶した画像の表示を行う画像表示モードであったり、通常の音声通話モードであったりする時に表示パネル２に表示されている各種表示や操作用アイコンの表示例である。

図５の（ａ）の表示例において、現在時刻を表す表示部２０１や現在の天候を表す表示部２０２、通話するための操作アイコン２０３、撮像装置付き表示装置１に保存した連絡先を確認するための操作アイコン２０４、Ｅメールの作成や確認を行うための操作アイコン２０５、インターネットへのアクセスを行うための操作アイコン２０６が、表示パネル２に表示されている。

Ｓ１４１では、利用者βの操作に応じて、画像表示や音声通話を行うが、その際の撮像装置付き表示装置１の動作フローは、本発明の主旨とは異なるので、その詳細は省略する。

一方、Ｓ１０１で動作モードを確認した結果、テレビ電話モードである場合は、Ｓ１０３に進む。なお、撮像装置付き表示装置１がテレビ電話モードである場合は、カメラ１１は撮影モードに設定される。

Ｓ１０３では、システム制御回路５０は、表示処理回路５２を介して表示パネル２に表示する各種表示や操作用アイコンの表示を変更する。

図５の（ｂ）は、Ｓ１０３によって変更された場合に、表示パネル２に表示されている各種表示や操作用アイコンの表示例である。図５の（ｂ）の表示例において、テレビ電話の通話時間を表示する表示部２０７が表示されている。また、通話相手である利用者αの画像が表示されているが、Ｓ１０３の段階では、まだ利用者αとの通信状態が設定されていないので、利用者αの画像は表示されていない。後述するＳ１１２の段階で利用者αの画像が表示される事になるのだが、図５の（ｂ）の表示例では、説明のため、利用者αの画像が表示されている状態としている。

Ｓ１０４では、システム制御回路５０は、画像信号入出力手段である送受信回路５６を通して相手側である空間２の撮像装置付き表示装置との通信状態を設定する。

Ｓ１０５では、空間２の撮像装置付き表示装置との通信状態が設定されると、システム制御回路５０はテレビ電話の相手側である空間２の撮像装置付き表示装置のシステムを確認する。ここで確認されるシステム情報とは、撮像装置付き表示装置が有するカメラの数、カメラの焦点距離、カメラの位置情報、送信される信号の形態等である。送信される信号の形態とは、例えば送信されるカメラの画像信号のフレーム周期である。

Ｓ１０６では、システム制御回路５０は空間１の利用者情報を初期設定する。本実施例での利用者情報は、利用者の人数、会話を行っている話者の目の位置、話者以外の利用者の目の位置で、記憶回路５８に記憶される。

Ｓ１０７では、カメラ１１で空間１の利用者βを撮影する。この時、システム制御回路５０は撮像素子駆動回路５１を介して撮像素子１０に撮影の指示を行う。同時に、音声処理回路５３はマイク２１、２２、２３及び２４にて検出された音声信号を相手側の空間２に送信可能な所定の信号形態に処理する。

Ｓ１０８では、空間１の撮影を行われると、システム制御回路５０は送受信回路５６を介してカメラ１１で撮影した画像信号、音声処理回路５３で処理された音声信号及び記憶回路５８に記憶された空間１の利用者情報を空間２の撮像装置付き表示装置に送信する。このとき画像信号は、カメラ１１で撮影された画像が順次送信される。

Ｓ１０９では、本発明の演算手段である演算回路５７は、カメラ１１で撮影された空間１の画像から空間１での利用者βの顔認識を行う。つまり、演算回路５７は、本発明の顔検出手段にも相当する。

Ｓ１１０では、演算回路５７は利用者βの顔領域から、目の位置を検出すると共に、演算回路５７に含まれる視線検出回路５７ａを用いて、利用者βの視線を検出する。

なお、視線検出方法としては、図７の視線検出方法の説明図に示すように、視線検出回路５７ａは、利用者βの目１５の領域を、上下左右方向にそれぞれ３分割した９つの領域（領域ａ〜ｉ）に分割し、利用者βの目１５の瞳１６の領域が、領域ａ〜ｉのいずれかに存在するかを判別し、水平及び垂直方向の視線方向を検出する。

Ｓ１１１では、カメラ１１の撮影光軸に対する利用者βの顔の中心位置の変位量Ｉｘβを算出し、システム制御回路５０は検出結果を利用者情報として記憶回路５８に記憶する。なお、画像から利用者の顔を認識する方法は、本出願人より特開２０００−４８１８４号公報に開示している。

また演算回路５７は、撮影された利用者βの顔画像の目の間隔から、利用者βが撮像装置付き表示装置１を観察している距離Ｚβを算出する。成人の目の間隔はおおよそ６５ｍｍで、カメラ１１の撮影倍率に基づいて観察距離Ｚβが算出可能である。

Ｓ１１２では、システム制御回路５０は、送受信回路５６を介してテレビ電話の相手側である空間２から送信されてきた画像信号、音声信号及び利用者情報を受信する。ここで空間２の利用者情報、すなわち空間２の利用者αの顔の位置Ｉｘαは、空間１の撮像装置付き表示装置１の表示パネル２の画面サイズが考慮され記憶回路５８に記憶される。

Ｓ１１３では、システム制御回路５０は空間２の利用者情報を用いて、空間２の利用者αの目の位置から顔の中心位置を認識して利用者αの顔の中心位置の表示画面の中心からの距離Ｉｘαを確認すると共に、Ｓ１１０と同様に、演算回路５７の視線検出回路５７ａを用いて、利用者αの視線方向を検出する。

なお、図１の（ａ）の撮像装置付き表示装置１の正面図は、空間２から送られてきた画像を撮像装置付き表示装置１にそのまま表示した場合の例を示している。図１の（ａ）では、利用者αの顔の中心位置の表示画面の中心からの距離Ｉｘαが、表示パネル２での利用者αの顔の表示位置Ｄｘαと一致した例を示している。

Ｓ１１４では、システム制御回路５０は、Ｓ１１０において検出した利用者βの視線方向と、Ｓ１１３において検出した利用者αの視線検出結果を用いて、利用者αと利用者βの視線が一致している両者アイコンタクト状態かどうかを判定する。

両者アイコンタクト状態であると判定された場合は、対話を行う相手側の利用者が顔の位置を動かした場合でも、違和感をもつことなく視線合致の効果が得られるように、システム制御回路５０は表示パネル２に表示される空間２の画像を更新することに決定する。その後、Ｓ１１５に進む。

一方、両者アイコンタクト状態ではない（図８参照）と判定された場合は、利用者β（もしくは利用者α）の視線方向に表示されているモノに注視出来るように、Ｓ１３０に進む。なお、図８は、利用者αは利用者βの顔の方向に視線（同図中、矢印Ａ）を向けているが、利用者βが利用者αの顔の下方を見ている状態（同図中、矢印Ｂ）を示している。

Ｓ１１５では、空間２の利用者αの目の位置と先に確認した空間２の撮像装置付き表示装置のシステム情報より、受信した画像信号の特性を判定する。即ち、演算手段である演算回路５７は、記憶回路５８に記憶された空間２の利用者αの顔の中心位置情報Ｉｘαと受信画像のフレーム周期Δｔとに基づいて利用者αの顔の位置の時間変位量ΔＩｘαを計算する。すなわち、直前の空間２の利用者αの顔の位置をＩｘα０、今回の受信画像の空間２の利用者αの顔の位置をＩｘα１とすると、利用者αの顔の位置の時間変位量ΔＩｘαは
ΔＩｘα＝（Ｉｘα１−Ｉｘα０）／Δｔ・・・（１）
と表される。

Ｓ１１６では、システム制御回路５０は、記憶回路５８に記憶された空間１の利用者βの位置情報Ｚβを確認する。

Ｓ１１７では、システム制御回路５０は、演算回路５７で求められた空間２の利用者αの顔の位置の時間変位量ΔＩｘαを確認する事で、システム制御回路５０は、空間２の利用者αの顔の位置が変化しているかどうかを確認する。その結果、変化していれば、Ｓ１１８に進み、利用者αの顔の位置の動きの有無として、位置が変化していなければ、Ｓ１１９に進む。

Ｓ１１８では、演算回路５７は表示パネル２での空間２の利用者αの顔の表示位置Ｄｘαを算出する。

本発明の撮像装置付き表示装置では、相手の空間の利用者の顔の位置が動いた場合でも、利用者間の視線が合致可能であるとともに、顔や背景が滑らかに動き違和感のないように表示制御を行う。利用者αの顔の位置の時間変位量ΔＩｘαに応じて、利用者αの表示位置Ｄｘαが決定される。

図１の（ｂ）の撮像装置付き表示装置１の上面図では、空間２から送られてきた利用者αの画像を撮像装置付き表示装置１にそのまま表示した場合の、空間１の利用者βの注視位置とカメラ１１とのなす視線振れ角θβを示している。ここで、空間１の利用者βは空間２の利用者αの顔の表示位置Ｄｘαを注視するので、視線振れ角θβは
ｔａｎ（θβ）≒Ｄｘα／Ｚβ・・・（２）
の関係式を満足する。

また、利用者βの注視位置とカメラ１１とのなす角度θβは、視線が合致していると認識できる角度の限界θβｔｈ内にはいるように制御される。本実施例では、限界角度θβｔｈは２［°］に設定している。

ここで、直前の空間２の利用者αの顔の表示パネル２での表示位置をＤｘα０、空間２の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度をθβ０とする。さらに、今回の受信画像における空間２の利用者αの顔の表示位置Ｄｘα１とカメラ１１とのなす角度θβ１との時間変化量をΔθβとすると、視線振れ角θβは、
θβ１＝θβ０＋Δθβ＜θβｔｈ・・・（３）
を満足する。

図１０は顔画像の表示位置を制御する説明図で、空間２で撮影された利用者αの顔の位置の時間変位量ΔＩｘαに対して、空間１の利用者βに対する撮像装置付き表示装置１に表示される利用者αの顔の位置とカメラ１１とのなす角度の制御量Δθβとの関係を示している。

図１０の（ａ）は、直前の空間２の利用者αの顔の位置Ｄｘα０とカメラ１１とのなす角度θβ０が零、すなわち直前の受信画像ではカメラ１１の光軸上に空間２の利用者αの顔があった場合の制御例を示している。

本実施例では、空間２の利用者αの顔の位置の時間変位量ΔＩｘαが所定値以下の場合（本実施例では、制御量Δθβ≦１［°］までは）時間変位量ΔＩｘαに対して線形に変換するように制御量Δθβを設定する。また、利用者αの顔の位置の時間変位量ΔＩｘαが大きい場合は、受信画像をそのまま表示は行わずに、表示位置が大きく変化しないように補正して表示を行うようになっている。このとき角度制御量Δθβは、視線が合致していると認識できる角度の限界θβｔｈ内にはいるように設定されている。

以上のように、空間２で撮影された利用者αの顔の位置の時間変位量ΔＩｘαに対して、空間１の利用者βに対する撮像装置付き表示装置１に表示される利用者αの顔の位置とカメラ１１とのなす角度の制御量Δθβが決定される。このとき制御量Δθβは、表示の変化量が大きくならないように所定値以下になるように決定される。

角度制御量Δθβが決定されると、演算回路５７は上述の式（２）（３）を用いて、空間２の利用者αの表示パネル２での顔の表示位置Ｄｘα１を算出する。

上記のように、Ｓ１１８で空間２の利用者αの表示パネル２での顔の表示位置Ｄｘα１が算出されると、Ｓ１１９では、システム制御回路５０は顔の表示位置を決定する。これにより、受信画像の表示位置が設定される。

Ｓ１２０では、システム制御回路５０は、表示処理回路５２を介して表示パネル２に空間２の利用者αの画像を表示する。図３は、表示パネル２に表示される空間２の利用者αの画像と、利用者αの背景として映り込んでいる窓枠γを示している。

ここで表示画像は、あたかもカメラが小さくパンニングしたように顔や背景が滑らかな動きで表示が行われるため、空間１の利用者βは空間２の利用者αと視線が合致してコミュニケーションが向上するとともに、表示の変化に対しても違和感をもつことがない。

Ｓ１２１では、音声処理回路５３はマイク１２１、１２２、１２３及び１２４にて検出された音声信号から、空間１で会話を行っている話者の位置を検出する。複数の音声信号から話者を検出する方法は、例えば遅延和方式等で公知である。

Ｓ１２２では、記憶回路５８に記憶された利用者情報として利用者βの目の位置が話者の目の位置として更新される。

Ｓ１２３では、本発明の演算手段である演算回路５７は、演算回路５７に含まれる不要光検出回路５７ｂを用いて、カメラ１１で撮影した撮影画像を画像処理して、Ｓ１０９で認識した利用者βの顔の近傍に不要光２１１が発生しているかどうかの検出を行う。

なお、不要光検出方法としては、後述の図６の（ｄ）に示すように、利用者βの顔と背景との境界のエッジ検出を行い、そのエッジの強さによって判定する。具体的には、利用者βの顔の近傍に不要光２１１が発生していると、利用者βの顔と背景との境界のエッジの強さが弱くなるので、他の境界でのエッジ強さと比べたり、または所定値よりも小さいかどうか判定したりする事により、不要光２１１の有無を検出する。

Ｓ１２４では、Ｓ１２３で不要光２１１の発生を検出した結果、利用者βの顔の近傍に不要光２１１が発生しているかどうかをシステム制御回路５０は判定する。その結果、利用者βの顔の近傍に不要光２１１が発生している場合は、後述する不要光２１１が発生しなくなる状態とするために、ユーザーが行動するためのガイドを表示する動作サブフロー「不要光対処」であるＳ１５０（図４Ｂ参照）に進む。また、利用者βの顔の近傍に不要光２１１が発生していない場合は、Ｓ１２５に進む。

Ｓ１２５では、システム制御回路５０は操作スイッチ４０の状態を確認し、テレビ電話が使用中のままであれば、撮影画像等の送受信を続行するので、Ｓ１０９に戻って、一連のシーケンスの動作を行う。

一方、Ｓ１２５において、利用者によって操作スイッチ４０がＯＦＦされたことをシステム制御回路５０が確認し、通信終了した場合には、Ｓ１２６に進んで、システム制御回路５０は相手側とのテレビ電話の送受信を終了する。さらに、システム制御回路５０はカメラ１１による利用者の撮影を終了するとともに、表示パネル２の画像の表示を図５の（ａ）に示した状態に戻して、テレビ電話モードを終了する（Ｓ１２８）。

ところで、Ｓ１１４において、利用者αと利用者βが両者アイコンタクト状態ではないとシステム制御回路５０が判定した時には、Ｓ１３０に進むので、以下、Ｓ１３０からＳ１３１の動作を説明する。

本発明では、両者アイコンタクトしていない状態の時、例えば、図８のアイコンタクトしていない状態の説明図において、利用者βが利用者αの顔の下方に視線を向けている状態の時、利用者βが注視しているのは利用者αの顔ではない。よって、その時は表示パネル２の表示の変化が無いような制御を行う。つまり、表示パネル２に表示されている空間２の画像の更新をしないことに決定する。これによって、利用者βが注視しているモノが利用者αの顔でない場合でも、違和感を持つことはないという効果が得られるように構成している。

Ｓ１３０では、システム制御回路５０は、Ｓ１１８で演算回路５７が行う表示パネル２での空間２の利用者αの顔の表示位置Ｄｘαの算出を停止する。

Ｓ１３１では、システム制御回路５０は、直前の空間２の利用者αの顔の位置Ｄｘαの位置で、表示パネル２に利用者αの表示を行うように、表示処理回路５２を介して表示パネル２に空間２の利用者αの画像を表示する。

なお、Ｓ１１４において、利用者αと利用者βがアイコンタクト状態でないとシステム制御回路５０が判定した直前の状態が、利用者αと利用者βがアイコンタクト状態であった場合には、アイコンタクト状態であった時に表示パネル２に表示されている利用者αの顔の位置Ｄｘαの位置で、表示パネル２に利用者αの表示を継続する。

一方、Ｓ１１４において、利用者αと利用者βがアイコンタクト状態でないとシステム制御回路５０が判定した直前の状態が、利用者αと利用者βがアイコンタクト状態でなかった場合には、その直前に表示パネル２に表示されている利用者αの顔の位置Ｄｘαの位置で、表示パネル２に利用者αの表示を継続する。

これにより、表示パネル２の表示の変化が無いので、利用者βは、視線を向けている方向（図８のアイコンタクトしていない状態の説明図において、利用者αの顔の下方）に表示されているモノは動かない。よって、利用者βが注視しているモノが利用者αの顔でない場合でも、違和感を持つことはない。

なお、Ｓ１３１での処理終了後、Ｓ１２０に進み、前述の動作を行う。これにより、利用者βが利用者αとの通話を継続し、図８のアイコンタクトしていない状態の説明図の状態から利用者αの顔の方向に視線を向けた時には、Ｓ１１４において、アイコンタクト状態になった状態がシステム制御回路５０によって判定される。これより、対話を行う相手側の利用者が顔の位置を動かした場合でも、違和感をもつことなく視線合致の効果が得られるような動作を行う事となる。

ところで、Ｓ１２４において、利用者βの顔の近傍に不要光２１１が発生しているとシステム制御回路５０が判定した時には、Ｓ１５０の動作サブフロー「不要光対処」に進むので、以下、Ｓ１５０からＳ１５６の動作について説明する（図４Ｂ参照）。

Ｓ１５１では、システム制御回路５０は、角度検出回路５９を用いて撮像装置付き表示装置１の向きを検知する。つまり、角度検出回路５９は、本発明の角度検出手段に相当する。

Ｓ１５２では、演算回路５７は、Ｓ１０７で取得した利用者βの撮影画像から、発生している不要光２１１の発生状況を画像処理で分析し、その結果に基づいて、撮像装置付き表示装置１の向きを変える事で不要光２１１が発生しない状況、つまり、カメラ１１に不要光２１１が入射しない状況にするのに必要な撮像装置付き表示装置１の向きの演算を行う。

ここで、「発生状況」とは、図９に示したように、撮像装置付き表示装置１の向きであるｘ軸、ｙ軸、ｚ軸、の各々の軸に対して、不要光２１１が発生する光源Ｌがどの程度傾いた角度の位置にあるのか、つまり、図９において、θｘ、θｙ、θｚを「発生状況」と定義している。この「発生状況」が、本発明の発生方向に相当する。

また、カメラ１１に不要光２１１が入射しない状況にするのに必要な撮像装置付き表示装置１の向きの演算とは、具体的には、以下のように行う。

カメラ１１で撮影した画像において、Ｓ１５１で検出した撮像装置付き表示装置１の向きと、発生している不要光２１１の形や向き（図９中、θｘ、θｙ、θｚ）などから、撮像装置付き表示装置１の光束の向きをｘ軸、ｙ軸、ｚ軸、それぞれでどのように変えればカメラ１１に不要光２１１が入射しない状況になるのかを演算する（図６の（ｄ）参照）。

なお、不要光２１１には、例えば朝夕の太陽を光源とする直射光なども考えられるが、その場合には、撮像装置付き表示装置１に内蔵されている不図示のＧＰＳ受信機（本発明のＧＰＳ受信機に相当する）から利用者βが居る空間２の緯度経度情報と、現在時刻とＳ１５１で検知した撮像装置付き表示装置１の向きから太陽の高度と方位をシステム制御回路５０が演算する。その結果に基づいて、カメラ１１に太陽光による不要光２１１が入射しない状況にするのに必要な撮像装置付き表示装置１の向きの演算を行っても良い。これにより、Ｓ１５２で演算回路５７が行っている、画像処理による分析で発生状況を演算する動作が不要になる。

Ｓ１５３では、システム制御回路５０は、表示処理回路５２を介して表示パネル２に表示する表示画像を、利用者αから利用者βに変更する（図６の（ｂ）参照）。と同時に、Ｓ１５４では、システム制御回路５０は、表示処理回路５２を介して表示パネル２に、Ｓ１５２で演算結果から求まった撮像装置付き表示装置１の向きに変えるように、利用者βに告知するメッセージ２１０を表示する（図６の（ｂ）参照）。よって、このメッセージ２１０が本発明の「不要光の発生を回避する情報」に相当する。

なお、この時、利用者αの撮像装置付き表示装置１の表示パネル４０２には、利用者βが撮影画像に映り込んでいる不要光２１１を除去するために、撮像装置付き表示装置１の向きを変えている旨のメッセージ４１０を表示しておく方が望ましい（図６の（ｅ）参照）。なぜならば、利用者βが撮像装置付き表示装置１の向きを変える事で利用者βの表示位置や背景が動いて見苦しい状況になるので、その理由を利用者αに告知しておく事で、利用者αに与える不快感を軽減する事が可能になるからである。

Ｓ１５５では、システム制御回路５０は、角度検出回路５９を用いて撮像装置付き表示装置１の向きを検知して、Ｓ１５４で表示パネル２に表示されているメッセージ２１０に従って、利用者βが撮像装置付き表示装置１の向きを変えているかどうかの確認を行う。

Ｓ１５６では、Ｓ１５４からＳ１５５の利用者βが撮像装置付き表示装置１の向きを変えている動作によって、カメラ１１での撮影画像に不要光２１１が発生しているかどうか、Ｓ１２３同様の検出を行う。

Ｓ１５７では、Ｓ１５６で不要光２１１の有無を検出した結果に基づいて、システム制御回路５０は、利用者βの顔の近傍に不要光２１１が発生しているかどうか判定する。その結果、利用者βの顔の近傍に不要光２１１が依然として発生している場合は、Ｓ１５２に戻って一連の動作を繰り返す。

一方、利用者βの顔の近傍に不要光２１１が発生していない場合は、Ｓ１５８に進む。Ｓ１５８では、利用者βの顔の近傍に不要光２１１が発生していないので、利用者βの撮像装置付き表示装置１の表示パネル２に表示される表示画像を利用者αに切り替えるのと同時に、メッセージ２１０の表示を止める（図６の（ｃ）参照）。それと同時に、利用者αの撮像装置付き表示装置１の表示パネル４０２に表示されていたメッセージ４１０の表示を止める（図６の（ｆ）参照）。その後、Ｓ１５９に進んで、メインフローに戻る。

これにより、不要光を防止するための対応方法が認識可能な撮像装置付き表示装置を提供することが出来る。その結果、太陽などの環境光が表示手段を介して撮像手段に入射して迷光になったり、また撮像手段に直接入射して不要光となったりして、視線一致が出来なくなるという事象を解消する事が可能になる。さらには、通話相手に不要光が入った不快な画像を送る事を防止する事も可能になる。

ところで、本実施例では顔画像の表示位置を制御する際、直前の空間２の利用者αの顔の位置Ｄｘα０とカメラ１１とのなす角度θβ０が零、すなわち直前の受信画像ではカメラ１１の光軸上に空間２の利用者αの顔があった場合の制御例を示した。図１０の（ｂ）の表示位置制御説明図では、直前の受信画像で空間２の利用者αの顔がカメラ１１の光軸上になく、直前の空間２の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度θβ０が、例えば１［°］の場合の顔画像の表示位置の制御方法を示している。

図１０の（ｂ）の表示位置制御説明図においては、直前の空間２の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度θβ０が所定値以上の場合は、利用者αの顔の位置の時間変位量ΔＩｘαが小さい場合も受信画像をそのまま表示は行わずに、表示位置が大きく変化しないように補正して表示を行うようになっている。このとき角度制御量Δθβは、視線が合致していると認識できる角度の限界θβｔｈ内に入るように設定されている。

また本実施例では、演算手段である演算回路５７は受信画像から空間２の利用者αの顔の位置Ｉｘαの情報を得て、表示パネル２での利用者αの顔の表示位置Ｄｘαを決定している例を示した。一方、顔の動きを事前に予測することにより、画像を遅延無く滑らかに表示することが可能となる。図１１は顔の追尾説明図で、演算回路５７は顔の位置の時間的変化（図中実線領域）から将来的な顔の位置を予測（図中点線領域）して顔画像の表示位置を決定することにより、画像を遅延無く滑らかに表示することが可能となる。

図１２の（ａ）は空間２のテレビ電話システム等で使用される撮像装置付き表示装置３０１の正面図で、撮像装置付き表示装置３０１には相手側の空間１の利用者βが映し出される。

また、図１２の（ｂ）は撮像装置付き表示装置３０１の上面図で、空間２での撮像装置付き表示装置３０１を観察する利用者αの位置関係を示している。撮像装置付き表示装置３０１は空間１の撮像装置付き表示装置１と同様の構成である。

図１２の（ａ）の撮像装置付き表示装置３０１の正面図で特徴なのは、表示パネル３０２に表示された空間１の画像の一部に非表示領域３０４が設定されているところである。図１２の（ｂ）の撮像装置付き表示装置３０１の上面図に示すように、利用者αがカメラ３１１の撮影光軸から離れた位置Ｘαから表示パネル３０２を注視する場合、観察位置をカメラ３１１の撮影光軸寄りに誘導するために表示パネル３０２に非表示領域３０４が設定される。表示パネル３０２に非表示領域３０４を設定するか否かは、以下のように判定する。

システム制御回路は表示パネル３０２の背面に配設されたカメラ３１１で利用者αを撮影する。次に演算手段である演算回路は、カメラ３１１で撮影された画像から空間２での利用者αの顔認識を行う。このとき、演算回路は利用者αの顔領域の目の位置を検出して、カメラ３１１の撮影光軸に対する利用者αの顔の中心位置の変位量Ｉｘαを算出する。

実空間上のカメラ３１１の撮影光軸に対する利用者αの顔の中心位置の変位量Ｘαは、カメラ３１１の撮影倍率から換算される。

利用者αの顔の中心位置のカメラ３１１の撮影光軸からの変位量Ｘαが所定値以上であれば、演算回路は利用者αをカメラ３１１の撮影光軸寄りに誘導するために、表示パネル３０２の非表示領域３０４を設定する。

演算手段である演算回路で受信画像の表示位置と非表示領域３０４が設定されると、システム制御回路は表示処理回路を介して表示パネル３０２に空間１の利用者βの画像を非表示領域とともに表示する。

本実施例では、撮像装置付き表示装置１を観察する利用者βの観察距離Ｚβを、利用者βの目の間隔に基づいて算出した例を示したが、表示パネル２の大きさによって概ね観察距離は決まるため、表示パネル２の大きさに従った観察距離Ｚβを自動的に設定しても構わない。

また、本実施例では、撮像装置付表示装置１の向きに変えるように、利用者βに告知するメッセージ２１０を表示パネル２に表示しているが、これに限定しない。例えば、図１３の（ｂ）に示すように、メッセージ２１０と共に、撮像装置付き表示装置１の向きを変える方向を示すアイコン２１３を表示する事によって、ユーザー（本実施例の場合は、利用者β）の利便性を向上させる事が出来る。よってアイコン２１３も、本発明の「不要光の発生を回避する情報」に相当する。

また、本実施例では、Ｓ１５８にて不要光２１１の発生がなくなった状態になったならば、表示パネル２に表示されている画像を利用者βから利用者αに切り替えているが、その際に、撮像装置付き表示装置１の本体が振動したり、撮像装置付き表示装置１から音を出したりしても良い。それにより、不要光２１１の発生がなくなった状態が明確にユーザー（本実施例の場合は、利用者β）に伝わるので、より利便性が向上する。

図１４に、撮像装置付き表示装置１が振動する場合の変形例のブロック図、図１５Ａ及び図１５Ｂに、不要光２１１の発生がなくなった状態になった時に、撮像装置付き表示装置１が振動する場合の動作フロー図を示す。

図１５Ａにおいて、Ｓ２００〜Ｓ２５０は、Ｓ１００からＳ１５０と同一なので、その説明を省略する。

図１５Ｂにおいて、Ｓ２５０〜Ｓ２５８は、Ｓ１５０からＳ１５８と同一なので、その説明を省略する。

Ｓ２５９では、システム制御回路５０は駆動回路６０を介して振動モータ６１を振動させる事によって、撮像装置付き表示装置１を振動させる。その後、Ｓ２６０に進む。つまり、振動モータ６１は、本発明の加振手段に相当する。

Ｓ２６０は、Ｓ１５９と同一なので、その説明を省略する。

なお、撮像装置付き表示装置１が振動する代わりに、音を出す場合は、Ｓ２５９において、システム制御回路５０は駆動回路５４を介してスピーカー３０から所望の音を出す事で対応可能である。

さらには、不要光２１１の発生がなくなった状態になった時に、撮像装置付き表示装置１の本体が振動したり、撮像装置付き表示装置１から音を出したりするだけではなく、図１５Ｂの動作サブフローにおいて、Ｓ２５３とＳ２５４の間に、撮像装置付き表示装置１の本体が振動したり、撮像装置付き表示装置１から音を出したりする動作を追加しても良い。その際に、Ｓ２５４で撮像装置付き表示装置１の向きに変えるように、利用者βに告知するメッセージ２１０を表示する時の振動状態や音色を、Ｓ２５９で不要光２１１の発生がなくなった状態になった時の振動状態や音色を異ならせる事で、不要光２１１の発生がなくなった状態がより明確にユーザー（本実施例の場合は、利用者β）に伝わるので、さらに利便性が向上する。

なお、本実施例ではテレビ電話モードである場合について説明したが、これに限定せず、例えば、利用者βの画像を表示パネル２に表示する自分撮りモードでも、カメラ１１は撮影モードになる。その際に、利用者βの顔の近傍に不要光２１１が映り込んでいる場合には、本実施例にて説明した動作によって不要光２１１が映り込まないように、利用者βが対応出来る事は言うまでもない。

さらには、本実施例では表示パネル２の背面にカメラ１１が配設された撮像装置付き表示装置１について説明したが、これに限定せず、例えば、表示パネル２の周囲にカメラ１１が設けられた場合においても、同様な効果がある事は言うまでもない。

１：撮像装置付き表示装置
２，４０２：表示パネル
３，４０３：透明タッチパネル
１１：カメラ
５０：システム制御回路
５７：演算回路
５７ａ：視線検出回路
５７ｂ：不要光検出回路
５９：角度検出回路
２１０，４１０：メッセージ
２１１：不要光

Claims (7)

1. 撮像手段と、
   表示手段と、
   該表示手段に表示する画像を制御する制御手段と、
   を備える撮像装置付き表示装置において、
   前記撮像手段が撮影した被写体の撮影画像から不要光を検出し、該不要光の発生方向を演算する演算手段をさらに有し、
   前記制御手段は、前記演算手段の結果に応じて、前記不要光の発生を回避する情報を前記表示手段に表示する事を特徴とする撮像装置付き表示装置。
2. 前記撮像手段が撮影した被写体の撮影画像から被写体の顔を検出する顔検出手段を有し、前記演算手段は、前記顔検出手段で検出した顔の近傍に不要光が発生しているかどうかの検出を行う事を特徴とする請求項１に記載の撮像装置付き表示装置。
3. 前記制御手段は、前記顔検出手段の検出結果に応じて、不要光の発生を回避する情報を前記表示手段に表示する事を特徴とする請求項２に記載の撮像装置付き表示装置。
4. 前記撮像装置付き表示装置の向きを検出する角度検出手段と、
   前記撮像装置付き表示装置の位置情報を出力するＧＰＳ受信機をさらに有し、
   前記演算手段は、前記角度検出手段の検出結果と前記ＧＰＳ受信機の出力結果から不要光の発生を回避する前記像装置付き表示装置の向きを演算する事を特徴とする請求項１又は２に記載の撮像装置付き表示装置。
5. 前記撮像装置付き表示装置を振動させる加振手段を有し、
   前記制御手段は、前記演算手段の検出結果に応じて、前記加振手段の動作を制御する事を特徴とする請求項１又は２に記載の撮像装置付き表示装置。
6. 前記撮像装置付き表示装置は、発音体をさらに有し、
   前記制御手段は、前記演算手段の検出結果に応じて、前記発音体の動作を制御する事を特徴とする請求項１又は２に記載の撮像装置付き表示装置。
7. 前記撮像装置付き表示装置はテレビ電話機能を有し、前記撮像装置付き表示装置がテレビ電話機能を使用する時には、前記制御手段は、前記演算手段の結果に応じて、前記不要光の発生を回避する情報を前記表示手段に表示する事を特徴とする請求項１乃至６の何れか一項に記載の撮像装置付き表示装置。