JP2017073660A - 電子機器、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】携帯端末などの電子機器で会話中に無意識に視線を外した場合などにおいても利用者に違和感を与えることがないようにする。【解決手段】電子機器は、少なくとも顔画像が表示される表示パネル２と表示パネルに備えられたカメラ１１とを有するとともに、フレーム２０内に配置された表示ＬＥＤを有している。電子機器は顔画像において顔の向きおよび眼球の方向を検出して、顔の向きおよび眼球の方向に基づいて視線の状態を判定し、当該判定結果が示す視線の状態に応じて表示ＬＥＤを点灯制御する。【選択図】図１

Description

本発明は、電子機器、その制御方法、および制御プログラムに関し、特に、表示装置および撮像装置を備える電子機器に関する。

近年、携帯端末などの電子機器においてはリアルタイムで双方向通信が行われるが、例えば、テレビ電話によって通信を行うためには、携帯端末は撮像装置および表示装置（表示部）を備える必要がある。

テレビ電話においては、携帯端末の表示部に表示された相手の顔を目視して会話を行うが、この際、撮像装置によって携帯端末の利用者が撮像されて、画像が相手側に送られる。ところが、従来の携帯端末などにおいては、撮像装置は表示部の周辺に配置されているため、表示部を目視する利用者の顔などは斜め方向から撮像されることになる。この結果、表示部に表示された相手側の画像（顔）は、その視線が表示部の画面中心方向ではなく、別の方向を向いていることになる。このような画像を目視しつつ会話を行って何となくもぎこちなく、面と向かって会話をする場合に比べて違和感がある。

このような違和感を低減するため、例えば、表示部の背面側に撮像装置を配置して、表示部に備えられた遮光部材に開口部を形成して、開口部を介して撮像装置に光学像を導くようにした電子機器がある（特許文献１参照）。

特許文献１に記載の電子機器では、表示部を目視する利用者は正面から撮像されることになる。この結果、表示部を目視する利用者は相手と視線を合わせて会話を行うことができる。その結果、会話を行う者同士が互いに視線を合わせて会話を行うことになって会話が弾むことになる。

ところで、会話を行う者同士が、現在視線が合った状態で対話を行っていると認識するのは、相手側の画像において目の動きなどを確認したときと考えられる。ところが、携帯端末などにおいては、表示パネルの制約などから、表示パネルに表示される画像は比較的小さい。この結果、相手側の目も小さく表示され、相手が視線をこちらに向けていることが分かりづらいことがある。

一方、集合写真撮影の際に、視線が撮像装置に向いていないことを検出して警告表示を行うようにした撮像装置がある（特許文献２参照）。ここでは、被写体の目、鼻、および口を検出して、当該検出結果に基づいて顔の向きを判定する。そして、顔の向きに応じて視線が撮像装置に向いていないと判定すると、警告表示を行う。

特開２００５−１７６１５１号公報 特開２００７−２６５３６７号公報

しかしながら、テレビ電話などのように継続的に会話が行われている場合に、視線が撮像装置に向いているか否かを判定して、その判定結果を表示部に表示するようにするとする。この場合、会話中に無意識に視線を外した場合などにおいても表示部に警告表示が行われることになって、利用者に違和感を与えてしまうことになる。

そこで、本発明の目的は、会話中に無意識に視線を外した場合などにおいても利用者に違和感を与えることのない電子機器、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による電子機器は、少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置とを有する電子機器であって、前記表示パネルに設けられ、前記顔画像における視線の状態に応じて点灯制御される表示部と、前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記視線の状態を判定する判定手段と、前記判定手段による判定結果に応じて、前記表示部を点灯制御する制御手段と、を有することを特徴とする。

本発明による制御方法は、少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置と、前記表示パネルに設けられた表示部とを有する電子機器の制御方法であって、前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記顔画像における視線の状態を判定する判定ステップと、前記判定ステップによる判定結果に応じて、前記表示部を点灯制御する制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置と、前記表示パネルに設けられた表示部とを有する電子機器で用いられる制御プログラムであって、前記電子機器に備えられたコンピュータに、前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記顔画像における視線の状態を判定する判定ステップと、前記判定ステップによる判定結果に応じて、前記表示部を点灯制御する制御ステップと、を実行させることを特徴とする。

本発明によれば、視線の状態に応じて表示部を点灯制御するようにしたので、会話中に無意識に視線を外した場合などにおいても利用者に違和感を与えることがない。

本発明による電子機器の一例を説明するための図であり、（ａ）は電子機器を正面から見た図、（ｂ）は電子機器を利用者とともに上方から見た図である。 図１に示す携帯端末の構成についてその一例を示すブロック図である。 図１に示す携帯端末の利用者の顔を表示パネル側から見た図であり、（ａ）〜（ｄ）は利用者の顔の向きと眼球の方向を示す図である。 図１に示す携帯端末に二人の利用者がそれぞれ顔を向けている状態を上方から見た図であり、（ａ）〜（ｄ）は二人の利用者の顔の向きと眼球の方向を示す図である。 図３（ａ）〜図３（ｄ）に示す顔の向きおよび眼球の方向に応じた表示ＬＥＤの点灯制御の分類を示す図である。 二人の利用者の示す顔の向きおよび眼球の方向に応じた表示ＬＥＤの点灯制御の分類を示す図である。 図１および図２に示す携帯端末を用いて通信を行う際の処理を説明するためのフローチャートである（その１）。 図１および図２に示す携帯端末を用いて通信を行う際の処理を説明するためのフローチャートである（その２）。 図７に示す第１の判定処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による電子機器の一例について図面を参照して説明する。

図１は、本発明による電子機器の一例を説明するための図である。そして、図１（ａ）は電子機器を正面から見た図であり、図１（ｂ）は電子機器を利用者とともに上方から見た図である。

ここでは、電子機器の１つである携帯端末を例に挙げて説明する。図示の携帯端末はテレビ電話によって相手側と双方向で通信を行うことが可能であり、利用者αと利用者βとは互いに離れた場所にいて、携帯端末を使用しているものとする。

携帯端末１は表示パネル２を備えており、表示パネル２には利用者αの画像が表示されている。ここでは、利用者αおよびβは携帯端末を把持して会話を行っており、図１（ａ）に示すように、利用者αの顔の中心は表示パネル２の水平方向（図中ｘ方向）の中心と一致している。

表示パネル２は、例えば、有機ＥＬパネルなどの光を透過可能なパネルであり、表示パネル２の背面側（図中＋ｚ方向）には、表示パネル２を目視する利用者を撮影するための撮像装置（例えば、デジタルカメラ）カメラ１１が配置されている。

図２は、図１に示す携帯端末の構成についてその一例を示すブロック図である。

図１および図２を参照して、デジタルカメラ（以下単にカメラと呼ぶ）１１は、撮影レンズ（図示せず）、撮像素子１０、および撮像素子駆動回路５１を有している。カメラ１１は、表示パネル２の水平方向（図中ｘ方向）の中心で、かつ垂直方向（図中ｙ方向）には画面中央よりも上方（図中＋ｙ方向）に位置づけられ、表示パネル２を介して利用者を撮影する。

撮影レンズを介して利用者像（光学像）が撮像素子１０に結像する。そして、撮像素子駆動回路５１は、システム制御回路５０の制御下で撮像素子１０を駆動する。これによって、撮像素子１０は光学像に応じたアナログ信号を出力して、当該アナログ信号をＡ／Ｄ変換して画像データとして撮像素子駆動回路５１に出力する。撮像素子駆動回路５１は当該画像データをシステム制御回路５０に送る。

表示パネル２の周囲には、利用者に面する部分が半透過性の材料からなるフレーム２０が配設されている。フレーム２０にはマイク２１が配置されるとともに、一対のスピーカー３１および３２が配置されている。フレーム２０内には、表示ＬＥＤ３５が埋め込まれており、表示ＬＥＤ処理回路５５は、システム制御回路５０の制御下で表示ＬＥＤ３５を駆動する。

表示ＬＥＤ３５は表示パネル２の外周、つまり、フレーム２０の全周に亘って配置されており、これによって、表示ＬＥＤ３５が駆動された際には、表示パネル２に表示された画像（顔画像）の周囲が点灯する。このため、会話中に表示ＬＥＤ３５が点灯した場合には、利用者はフレーム２に視線を移すことなく、表示パネル２に表示された顔画像を目視した状態で、表示ＬＥＤ３５の点灯を確認することができる。

なお、後述するように、システム制御回路５０は利用者の視線の状態に応じて、表示ＬＥＤ３５の点灯制御を行う。そして、表示ＬＥＤ３５は、例えば、緑色又は青色に点灯する。視線状態とは会話中に利用者双方の視線が合っている状態、一方の利用者が視線を逸らしている状態、又は利用者の双方が視線を逸らしている状態をいう。

マイク２１で集音された音声は、音声信号として音声処理回路５３に送られる。音声処理回路５３は、システム制御回路５０の制御下で、音声信号に対して所定の処理を行って、音声データとしてシステム制御回路５０に送る。システム制御回路５０は、撮像素子１０で得られた画像データおよび音声データを送受信回路５６によって相手側の携帯端末に送る。

なお、演算回路５７は、システム制御回路５０の制御下で、前述の視線状態がいずれの状態であるかを演算処理する。また、システム制御回路５０は、後述するようにして画像データを記憶回路５８に記録する。

送受信回路５６はネットワークなどを介して相手側の携帯端末と接続される。送受信回路５６を介して相手側の携帯端末から画像データおよび音声データを受信すると、システム制御回路５０は表示処理回路５２によって画像データに応じた画像を表示パネル２に表示する。また、システム制御回路５０は、スピーカ駆動回路５４によってスピーカー３１および３２を駆動して音声データに応じた音声をスピーカー３１および３２から出力する。

図１（ａ）に示すように、携帯端末の側面には、操作ＳＷ４０が配置されており、利用者は操作ＳＷ４０を用いて、システム制御回路５０に各種指令を入力する。また、システム制御回路５０には、タイマー回路３６が接続され、システム制御回路５０はタイマー回路３６によって計時を行う。

図３は、図１に示す携帯端末の利用者の顔を表示パネル側から見た図である。そして、図３（ａ）〜図３（ｄ）は利用者の顔の向きと眼球の方向を示す図である。なお、ここでは、顔および眼球において上下方向の動きについては考慮しない。

利用者の視線状態を判定する際には、２つの身体的情報が用いられる。ここでは、第１の身体的情報は利用者の顔の向きを示し、第２の身体的情報は眼球の向きを示す。また、視線状態については、例えば、２種類ある。第１の視線状態は利用者の一方がカメラ１１（つまり、ここでは撮影レンズ）の光軸に視線を合致させている状態である。この際には、後述するように、システム制御回路５０は視線状態を表示するため表示ＬＥＤ３５を第１の表示状態に制御する。この第１の表示状態では、システム制御回路５０は、例えば、ＬＥＤ３５を緑（第１の色）に点灯する。第２の視線状態は会話中の双方がカメラ１１の光軸に視線を合致させた結果、双方の視線が合致している状態である。この際には、システム制御回路５０は表示ＬＥＤ３５を第２の表示状態に制御する。この第２の表示状態では、システム制御回路５０は、例えば、ＬＥＤ３５を青色（第２の色）に点灯する。

図３においては、眼球の向きと顔の向きとの組合せとして、その代表的なパターンが４通り示されている。なお、これ以外の組合せもあるが、視線状態の判定結果が同一となる組合せは省略されている。

図３（ａ）において、両眼の黒目の面積と右眼の白目の面積との和をパラメータＳＷｒとし、両眼の黒目の面積と左眼の白目の面積との和をパラメータＳｗｌとする。また、図３（ｃ）において、顔領域の中心線と左右の眼球の中心線とのＸ方向における位置の差をパラメータΔＸｅとする。

図３（ａ）は、利用者αがカメラ１１の正面を向いている状態を示しており、この状態では、利用者αは意識的に視線を合致させている状態であるとする。図３（ｂ）は、利用者αが顔をカメラ１１の正面を向けて、眼球を右方向に向けている状態を示している。この状態では、利用者αは意識的に何かを注視しようとしたのではなく、無意識に一瞬眼をそらした状態であるとする。

図３（ｃ）は、利用者αが顔を右に向けつつ、眼球を左方向に向けた状態を示している。つまり、利用者αは顔の向きと反対側に眼球を向けており、結果的に利用者αはカメラ１１の正面を向いていることになる。この状態では、利用者αは首を振って否定の意思を示す場合などがあるが、ここでは、利用者αは意識的に顔の向きを変えることは少なく、無意識的な動作であるとする。図３（ｄ）は、利用者αが顔を右に向けるとともに、眼球を右に向いている。この状態では、利用者αは意識的に視線を合わせていない状態であるとする。

図３（ｂ）および図３（ｃ）に示す状態は、利用者αはカメラ１１の方向、つまり、会話中の相手の方向に向いているが、何らかの理由で一時的に正面を向いていない状態である。そして、顔の向き又は眼球の向きのみでは視線が合致していないとなるが、ここでは、図３（ａ）に示す状態と同様の視線状態とし、システム制御回路５０は視線状態表示として表示ＬＥＤ３５を緑色に点灯する。

このように、演算回路５７は、カメラ１１で得られた画像データに基づいて、図３（ａ）〜図３（ｄ）の状態のいずれかであるか求める。つまり、演算回路５７は、画像データに基づいて顔の向きを示す第１の身体的情報と眼球の方向を示す第２の身体的情報を求める。そして、システム制御回路５０は第１の身体的情報および第２の身体的情報に基づいて利用者の視線状態を判定する。システム制御回路５０は当該判定結果に応じて表示ＬＥＤ処理回路５５によって表示ＬＥＤ３５を駆動制御する。

なお、前述のように、視線が外れていた場合であっても、意識的に視線を外したか又は無意識に視線を外したのかを判定して、システム制御回路５０は当該判定結果に応じて視線状態表示を示すべく表示ＬＥＤ３５を点灯する。

この結果、利用者αが無意識に視線を外した場合には、システム制御回路５０は非合致表示を行わず、利用者αに違和感を与えることがない。

図４は、図１に示す携帯端末に二人の利用者がそれぞれ顔を向けている状態を情報から見た図である。そして、図４（ａ）〜図４（ｄ）は二人の利用者の顔の向きと眼球の方向を示す図である。

図４（ａ）では、利用者αおよびβはそれぞれカメラ１１の正面を向き、かつ眼球は表示パネル２に表示された画像の両眼付近に向いている。図４（ａ）に示す状態は、通常の会話状態であり、ここでは、利用者αおよびβは意識的に視線を合わせている状態である。従って、システム制御回路５０は、望ましい視線状態であるとして表示ＬＥＤ３５を青色に点灯する。

図４（ｂ）では、利用者αおよびβはそれぞれカメラ１１の正面を向いているが、利用者αは顔を正面に向けた状態で視線のみを逸らして、表示パネル２に表示された画像の両眼付近を見ていない状態である。図４（ｂ）に示す状態では、利用者αは意識的に何かを注視しようとしたのではなく、無意識的に一瞬眼をそらした状態であるとする。つまり、図４（ｂ）に示す状態においては、利用者αは短時間で図４（ａ）に示す状態又は他の状態に移行する。よって、システム制御回路５０は、図４（ｂ）に示す状態では視線状態表示として表示ＬＥＤ３５を緑色に点灯した状態とする。

図４（ｃ）においては、利用者αがカメラ１１の正面を向いていないが、その視線は表示パネル２に表示された画像の両眼付近を向いている。この状態では、利用者αは首を振って否定の意思を示している場合などもあるが、利用者αは意識的に顔の向きだけを変えることは少なく、無意識的な動作であるとする。つまり、図４（ｃ）に示す状態においては、利用者αは短時間で図４（ａ）に示す状態又は他の状態に移行する。よって、システム制御回路５０は、図４（ｂ）に示す状態では視線状態表示として表示ＬＥＤ３５を緑色に点灯した状態とする。

図４（ｄ）においては、利用者αおよびβともにカメラ１１の正面を向いておらず、かつ、視線が表示パネル２に表示された画像の両眼付近を向いていない。この場合には、システム制御回路５０は意識的に視線を合わせていない状態であるとして、視線状態表示を示す表示ＬＥＤ３５を消灯する。

図５は、図３（ａ）〜図３（ｄ）に示す顔の向きおよび眼球の方向に応じた表示ＬＥＤの点灯制御の分類を示す図である。なお、図５においては、図３（ａ）〜図３（ｄ）に示す状態がそれぞれパターンＡ〜Ｄとされている。

図５に示す例では、システム制御回路５０は利用者αについてパターンＡ〜Ｄの動作を、パラメータΔＸｅとパラメータＳｗｌおよびＳｗｒとを用いて分類し、視線方向を判定した後、当該判定結果に応じて表示ＬＥＤ３５を点灯／消灯制御する。

なお、図５において、ＥＣは視線方向パラメータを示し、パターンＡ〜Ｃにおいては、ＥＣ＝１とし、パターンＤにおいては、ＥＣ＝０とする。そして、ＥＣ＝１の際には、システム制御回路５０は表示ＬＥＤ３５を緑色に点灯する。また、ＥＣ＝０の際には、システム制御回路５０は表示ＬＥＤ３５を消灯する。

図６は、２人の利用者の顔の向きおよび眼球の方向に応じた表示ＬＥＤの点灯制御の分類を示す図である。なお、図６においては、符号Ｌは、利用者αおよびβのＥＣの和であり、図６は、後述する表示ＬＥＤ３５の点灯制御の際に用いられる。

システム制御回路５０は利用者αおよびβの各々について、前述のようにして視線方向を判定した後、当該判定結果に応じて表示ＬＥＤ３５を点灯／消灯制御する。

このように、システム制御回路５０は複数の利用者に対してそれぞれ視線方向の判定を行って、その判定結果に基づいて双方の視線状態を決定する。よって、相手側が無意識に視線を外した場合においても、システム制御回路５０は非合致表示を行うことがなく、利用者に違和感を与えることがない。つまり、ここでは、システム制御回路５０は、Ｌ＝０である場合にのみ表示ＬＥＤ３５を消灯することになる。

図７および図８は、図１および図２に示す携帯端末を用いて通信を行う際の処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はシステム制御回路５０の制御下で行われる。また、ここでは、利用者βが用いる携帯端末１を中心として説明するが、利用者α（相手側）が用いる携帯端末１においても同様にして処理が行われる。

いま、テレビ電話システムの利用者βが携帯端末１の操作スイッチ４０を操作すると、通信処理が開始されテレビ電話システムが起動する。そして、システム制御回路５０は送受信回路５６によって相手側の携帯端末１との通信状態を設定する（ステップＳ１０１）。相手側の携帯端末１との通信状態が設定されると、システム制御回路５０は相手側の携帯端末１におけるシステム情報を確認する（ステップＳ１０２）。ステップＳ１０２の処理では、システム制御回路５０は相手側の携帯端末１に備えられたカメラ１１の焦点距離および相手側の携帯端末１から送信される信号形態などをシステム情報として確認する。なお、信号形態とは、例えば、画像データのフレーム周期である。

続いて、システム制御回路５０は利用者βに係る利用者情報を初期設定する（ステップＳ１０３）。なお、利用者情報とは、例えば、利用者の目の位置を示す位置情報などであり、予めカメラ１１で利用者βの顔を撮影して得られた画像における目の位置を示す情報である。そして、この位置情報は記憶回路５８に記憶される。

次に、システム制御回路５０はカメラ１１によって利用者βを撮影して画像データを得る（ステップＳ１０４）。この際、システム制御回路５０は音声処理回路５３によってマイク２１で集音された音声を相手側の携帯端末１に送信可能な所定の信号形態に処理する。

続いて、システム制御回路５０は送受信回路５６によって画像信号（画像データ）、音声処理回路５３で処理された音声信号（音声データ）、および記憶回路５８に記録された利用者情報を相手側の携帯端末１に送信する（ステップＳ１０５）。画像信号および音声信号はリアルタイムで相手側の携帯端末１に順次送信される。

なお、利用者αが用いる携帯端末１からも同様にして画像信号、音声信号、および利用者情報が利用者βが用いる携帯端末１に送信される。

システム制御回路５０は、送受信回路５６を介して相手側の携帯端末１から送信された画像信号、音声信号、および利用者情報を受信する（ステップＳ１０６）。そして、システム制御回路５０は、これら画像信号、音声信号、および利用者情報を記憶回路５８に記憶する。

以下の説明では、利用者βが用いる携帯端末１で得られた画像信号、音声信号、および利用者情報をそれぞれ第１の画像信号、第１の音声信号、および第１の利用者情報と呼ぶ。同様に、利用者αが用いる携帯端末１で得られた画像信号、音声信号、および利用者情報をそれぞれ第２の画像信号、第２の音声信号、および第２の利用者情報と呼ぶ。

続いて、システム制御回路５０は、後述するようにして、相手側（利用者α）の視線方向を判定する（ステップＳ１０７：第１の判定処理）。そして、システム制御回路５０は表示ＬＥＤ３５の表示に用いるパラメータＬ（図６参照）を設定して、Ｌ＝ＥＣとする（ステップＳ１０８）。

続いて、システム制御回路５０は、パラメータＬ＝１であるか否かを判定する（ステップＳ１０９）。パラメータＬ＝１であると（ステップＳ１０９において、ＹＥＳ）、システム制御回路５０は、相手側である利用者αが意識的に視線を合わせている状態（図５に示すパターンＡ、Ｂ、又はＣ）であるとして、表示ＬＥＤ３５を緑色に点灯する（ステップＳ１１０）。一方、パラメータＬ＝１でないと（ステップＳ１０９において、ＮＯ）、システム制御回路５０は、利用者αが意識的に視線を合わせない視線非合致状態（図５に示すパターンＤ）であるとして、表示ＬＥＤ３５を消灯する（ステップＳ１１１）。

ステップＳ１１０又はＳ１１１の処理の後、システム制御回路５０は表示処理回路５２によって第２の画像データに応じた画像（第２の画像データ：利用者αの画像）を表示パネル２に表示する（ステップＳ１１２）。その後、システム制御回路５０はカメラ１１によって利用者βを再度撮影して第１の画像データを得る（ステップＳ１１３）。そして、システム制御回路５０は第１の画像データに基づいて利用者βの視線方向を判定する（ステップＳ１１４：第２の判定処理）。

続いて、システム制御回路５０はパラメータＬを、Ｌ＝Ｌ＋ＥＣとする（ステップＳ１１５）。そして、システム制御回路５０はＬ＝２であるか否かを判定する（ステップＳ１１６）。パラメータＬ＝２であると（ステップＳ１１５において、ＹＥＳ）、システム制御回路５０は、利用者βが意識的に視線を合わせている状態（図５に示すパターンＡ、Ｂ、又はＣ）であるとして、表示ＬＥＤ３５を青色に点灯する（ステップＳ１１７）。これによって、システム制御回路５０は利用者βに対して良好な視線状態であることを報知する。

一方、パラメータＬ＝２でないと（ステップＳ１１５において、ＮＯ）、システム制御回路５０は、パラメータＬ＝１であるか否かを判定する（ステップＳ１１８）。パラメータＬ＝１であると（ステップＳ１１８において、ＹＥＳ）、システム制御回路５０は、利用者αおよびβのいずれか一方が視線を合わせようとしている状態であるとして、表示ＬＥＤ３５を緑色に点灯する（ステップＳ１１９）。

パラメータＬ＝１でないと（ステップＳ１１８において、ＮＯ）、システム制御回路５０は利用者αおよびβの双方が画像の方向を見ていない視線非合致状態であるとして、表示ＬＥＤ３５を消灯する（ステップＳ１２０）。上述の処理は、利用者αおよびβの視線方向のパラメータＥＣに基づいて表示ＬＥＤ３５の点灯制御を行う処理であり、図６に示すように表示ＬＥＤ３５が点灯又は消灯される。

ステップＳ１１７、Ｓ１１９、又はＳ１２０の処理の後、システム制御回路５０は操作ＳＷ４０の状態（ここではオフとされたか）を確認して、通信が終了したか否かを判定する（ステップＳ１２１）。通信が終了していないと（ステップＳ１２１において、ＮＯ）、システム制御回路５０はステップＳ１０４の処理に戻る。

一方、通信が終了すると（ステップＳ１２１において、ＹＥＳ）、システム制御回路５０は相手側の携帯端末１との送受信を終了する（ステップＳ１２２）。そして、システム制御回路５０はカメラ１１による利用者βの撮影を終了するとともに、表示パネル２への画像表示を終了する。その後、システム制御回路５０は通信処理を終了する。

図９は、図７に示す第１の判定処理を説明するためのフローチャートである。

第１の判定処理では、利用者αに係る第１の身体的情報である顔の向きと、第２の身体的情報である眼球の方向とに基づいて利用者αの視線の方向を決定する。携帯端末１においては、顔画像は表示パネル２のほぼ中心にあるので、顔領域の中心位置はカメラ１１の撮影光軸に概略一致している。

第１の判定処理を開始すると、システム制御回路５０の制御下で、演算回路５７は、第２の画像データに応じて利用者αの顔を認識して認識結果を得る（ステップＳ２０１）。ここでは、演算回路５７は、第２の画像データにおいて顔領域と左右の眼球および眼球の白目を認識する。

続いて、演算回路５７は、認識結果に基づいて顔の中心のＸ方向位置と左右の眼球の中心のＸ方向位置を求めるとともに、黒目の左右に位置する白目の面積を求める（ステップＳ２０２）。ここでは、演算回路５７は顔の中心のＸ方向位置と左右の眼球の中心のＸ方向位置との差をΔＸｅとし、両眼の黒目の右側に位置する白目の面積の和をＳｗｒ、そして、両眼の黒目の左側に位置する白目の面積の和をＳｗｌとする。

続いて、演算回路５７は利用者αの視線方向を判定する（ステップＳ２０３）。ここでは、演算回路５７は、前述の差ΔＸｅを参照して、差ΔＸｅ＝０であると、利用者αの顔の向きはカメラ１１に対して正面向きであるとする。また、差ΔＸｅ＞０であると、演算回路５７は、利用者αの顔の向きはカメラ１１に対してＸ方向＋側であるとする。そして、差ΔＸｅ＜０であると、演算回路５７は、利用者αの顔の向きはカメラ１１に対してＸ方向−側であるとする。

さらに、演算回路５７は、前述の和Ｓｗｒおよび和Ｓｗｌを参照して、Ｓｗｌ−Ｓｗｒ＝０であると、眼球が正面を向いているとする。また、Ｓｗｌ−Ｓｗｒ＞０であると、演算回路５７は、眼球がＸ方向＋側を向いているとする。そして、Ｓｗｌ−Ｓｗｒ＜０であると、演算回路５７は、眼球がＸ方向−側を向いているとする。

図３および図５で説明したように、差ΔＸｅ＝０で、かつ差（Ｓｗｌ−Ｓｗｒ）＝０であると、演算回路５７は利用者αの視線方向がパターンＡであるとする。また、差ΔＸｅ＝０で、かつ差（Ｓｗｌ−Ｓｗｒ）≠０であると、演算回路５７は利用者αの視線方向がパターンＢであるとする。さらに、ΔＸｅ×（Ｓｗｌ−Ｓｗｒ）＜０であると、演算回路５７は、利用者αの視線方向がパターンＣであるとし、ΔＸｅ×（Ｓｗｌ−Ｓｗｒ）＞０であると、利用者αの視線方向がパターンＤであるとする。

次に、演算回路５７は、視線方向パラメータＥＣを設定する。ここでは、演算回路５７は、パターンＡ、Ｂ、およびＣのいずれかの場合には、利用者αが無意識的に視線を逸らすことはあっても、全体として意識的に利用者βに視線を合わせようとしているとする。そして、演算回路５７は視線方向パラメータＥＣ＝１とする。一方、パターンＤの場合には、演算回路５７は視線方向パラメータＥＣ＝０とする。

システム制御回路５０は、上述のようにして得られた視線方向パラメータＥＣを、利用者αに係る利用者情報として記憶回路５８に記憶する（ステップＳ２０４）。その後、システム制御回路５０は、図７に示すステップＳ１０８の処理に進む。

なお、画像において利用者（人物）の顔を認識する手法として、例えば、特開２０００−４８１８４号公報に記載の手法がある。

図８に示す第２の判定処理では、利用者βについて視線方向判定が行われる。第２の判定処理においては、利用者βについて図９で説明したステップＳ２０１〜Ｓ２０４の処理と同様の処理が行われることになる。

このように、本発明の実施の形態では、利用者の顔の向きと眼球の方向とに基づいて、利用者が無意識的に視線を逸らすことがあっても、全体として全体として意識的に利用者βに視線を合わせようとしているか否かを判定する。そして、当該判定結果に応じて表示ＬＥＤ３５を点灯制御する。この結果、会話中に無意識に視線を逸らした場合などにおいても利用者に違和感を与えることがない。

なお、上述の実施の形態では、視線の状態に応じて、ＬＥＤ３５を第１の表示状態、第２の表示状態、および消灯のいずれかとする例について説明し、第１の表示状態ではＬＥＤ３５を第１の色で点灯し、第２の表示状態ではＬＥＤ３５を第２の色で点灯するようにした。一方、第１の表示状態ではＬＥＤ３５を点灯し、第２の表示状態ではＬＥＤ３５を点滅させるようにしてもよい。

上述の説明から明らかなように、図２に示す例では、システム制御回路５０および演算回路５７が制御手段として機能し、システム制御回路５０が判定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を電子機器に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを電子機器が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 表示パネル
１０ 撮像素子
４０ 操作ＳＷ
５０ システム制御回路
５１ 撮像素子駆動回路
５２ 表示処理回路
５３ 音声処理回路
５６ 送受信回路
５７ 演算回路
５８ 記憶回路

Claims (19)

1. 少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置とを有する電子機器であって、
   前記表示パネルに設けられ、前記顔画像における視線の状態に応じて点灯制御される表示部と、
   前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記視線の状態を判定する判定手段と、
   前記判定手段による判定結果に応じて、前記表示部を点灯制御する制御手段と、
   を有することを特徴とする電子機器。
2. 前記制御手段は、前記判定手段によって前記顔の向きが前記表示パネルに対して正面を向き、かつ前記眼球が前記表示パネルに対して中央に向いている状態であると判定されると、前記表示部を所定の第１の表示状態に制御することを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記判定手段によって前記顔の向きが前記表示パネルに対して正面を向き、かつ前記眼球が前記表示パネルから逸れている状態であると判定されると、前記表示部を前記第１の表示状態に制御することを特徴とする請求項２に記載の電子機器。
4. 前記制御手段は、前記判定手段によって前記顔の向きが前記表示パネルに対して正面を除く第１の方向で、かつ前記眼球の方向が前記表示パネルに対して前記第１の方向と反対側の方向である状態であると判定されると、前記表示部を前記第１の表示状態に制御することを特徴とする請求項２又は３に記載の電子機器。
5. 前記制御手段は、前記判定手段によって前記顔の向きと前記眼球の方向とが互いに異なる方向である状態であると判定されると、前記表示部を消灯することを特徴とする請求項２乃至４のいずれか１項に記載の電子機器。
6. 前記電子機器は、前記撮像装置で得られた前記顔画像を相手側の電子機器に送って会話を行っており、
   前記電子機器は、前記相手側の電子機器から送られた顔画像を第１の顔画像として、前記判定手段によって前記第１の顔画像について前記視線の状態の判定を行うことを特徴とする請求項１に記載の電子機器。
7. 前記電子機器は、前記撮像装置で得られた顔画像を第２の顔画像として、前記判定手段によって前記第２の顔画像について前記視線の状態の判定を行うことを特徴とする請求項６に記載の電子機器。
8. 前記判定手段によって前記第１の画像における前記視線の状態および前記第２の画像における視線の状態のいずれか一方が所定の状態であると判定されると、前記制御手段は、前記表示部を所定の第１の表示状態に制御することを特徴とする請求項７に記載の電子機器。
9. 前記判定手段によって前記第１の画像における前記視線の状態と前記第２の画像における視線の状態が一致していると判定されると、前記制御手段は、前記表示部を前記第１の表示状態と異なる第２の表示状態に制御することを特徴とする請求項８に記載の電子機器。
10. 前記所定の状態は、前記顔の向きが前記表示パネルに対して正面を向きかつ前記眼球が前記表示パネルから逸れているか、又は前記顔の向きが前記表示パネルに対して正面を除く第１の方向で、かつ前記眼球の方向が前記表示パネルに対して前記第１の方向と反対側の方向である状態であることを特徴とする請求項８又は９に記載の電子機器。
11. 前記判定手段によって前記第１の画像における前記視線の状態と前記第２の画像における視線の状態とが互いに異なると判定されると、前記制御手段は、前記表示部を消灯することを特徴とする請求項７乃至１０のいずれか１項に記載の電子機器。
12. 前記制御手段は、前記第１の表示状態では前記表示部を所定の第１の色で点灯することを特徴とする請求項２乃至４、８、および９のいずれか１項に記載の電子機器。
13. 前記制御手段は、前記第１の表示状態においては前記表示部を点灯することを特徴とする請求項２乃至４、８、および９のいずれか１項に記載の電子機器。
14. 前記制御手段は、前記第２の表示状態では前記表示部を第２の色で点灯することを特徴とする請求項９に記載の電子機器。
15. 前記制御手段は、前記第２の表示状態においては前記表示部を点滅させることを特徴とする請求項９に記載の電子機器。
16. 前記表示パネルは光の透過が可能なパネルであり、前記撮像装置は前記表示パネルの背面側に配置されていることを特徴とする請求項１乃至１５のいずれか１項に記載の電子機器。
17. 前記表示部は、前記表示パネルの外周に沿って配置されていることを特徴とする請求項１乃至１６のいずれか１項に記載の電子機器。
18. 少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置と、前記表示パネルに設けられた表示部とを有する電子機器の制御方法であって、
    前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記顔画像における視線の状態を判定する判定ステップと、
    前記判定ステップによる判定結果に応じて、前記表示部を点灯制御する制御ステップと、
    を有することを特徴とする制御方法。
19. 少なくとも顔画像が表示される表示パネルと前記表示パネルに備えられた撮像装置と、前記表示パネルに設けられた表示部とを有する電子機器で用いられる制御プログラムであって、
    前記電子機器に備えられたコンピュータに、
    前記顔画像において顔の向きおよび眼球の方向を検出して、前記顔の向きおよび前記眼球の方向に基づいて前記顔画像における視線の状態を判定する判定ステップと、
    前記判定ステップによる判定結果に応じて、前記表示部を点灯制御する制御ステップと、
    を実行させることを特徴とする制御プログラム。

Images