JP2018137627A - 表示装置とその制御方法及びプログラム - Google Patents

Abstract

【課題】鏡に向かって自撮りを行う場合にフレーミングしやすく、簡単に視線合致動作を行うことが可能な撮像手段を備える表示装置を提供する。【解決手段】携帯通信端末１は、液晶ディスプレイ３と対向する被写体を撮影するインカメラ５により取得される画像を液晶ディスプレイ３に表示し、その際にインカメラ５による撮影範囲に鏡面があるか否かを検知し、鏡面が検知された場合には、インカメラ５により取得される画像の画像認識を行って背景領域と顔領域の少なくとも一方を検出し、検出された背景領域を他の領域と区別する画像処理又は検出された顔領域を他の領域と区別する画像処理を施して液晶ディスプレイ３に表示する。【選択図】図２

Description

本発明は、撮像手段を備える表示装置とその制御方法及びプログラムに関する。

撮像手段と表示手段を備えた携帯電話やスマートフォン等の携帯情報端末の普及により、利用者の音声のみでなく映像をリアルタイムに送受信することで、相手の顔や周囲の状況等を確認しながら会話を行うテレビ電話を容易に行うことが可能になっている。テレビ電話機能を携帯情報端末で実現する際に利用者の視線が合致するようにすることで違和感のない通話を実現するための技術が、例えば、特許文献１に提案されている。

このような視線合致機能を備えた携帯情報端末を用いて自撮りを行うと、撮影者の視線と撮影画像内の撮影者の視線とが合致する画像（写真）を撮影することができる。なお、自撮りとは、携帯情報端末等を利用者自身の掌に保持して腕を伸ばし或いは自撮り棒と呼ばれる保持具に固定し、カメラにより撮影されてディスプレイに表示されたモニタ画像を見ながらフレーミングして自身を撮影する撮影方法を指す。

ここで、腕を伸ばして自撮りを行う場合には、顔や上半身のみの撮影となりやすい。そこで、自撮りの方法の１つとして、鏡を利用して自身の全身や複数の人物を撮影する撮影方法がある。例えば、化粧室の姿見やスタジオ等の大きな鏡等を利用し、カメラを鏡に向けて鏡に映った像を撮影することで自身の全身や自身を含めた複数の人物を撮影することができる。その際、撮影される画像内の撮影者の視線と撮影者が鏡を見る視線とが合致することが望まれる。

特開２００５−１７６１５１号公報

しかしながら、鏡を利用して自撮りを行う際に上記特許文献１に記載されている視線合致機能を備えた装置を用いた場合には、以下の問題が生じる。すなわち、特許文献１に記載されている装置は、画像表示面の背面側に撮像レンズが配置され、画像表示面と対向する被写体を撮影する構成となっている。このようなインカメラを用いて鏡を利用した自撮りを行う場合、鏡に映った装置の画像表示面でフレーミングを行う。

図９は、視線合致機能を備えた従来の携帯情報端末９５で鏡を利用した自撮りを行う際の、携帯情報端末９５、利用者９０及び鏡面９３の関係を模式的に示す図である。利用者９０は、不図示の右手に携帯情報端末９５を保持して、鏡面９３に正対している。利用者９０は正面の鏡面９３に映っている利用者自身の画像を注視することが多いが、右手に保持した携帯情報端末９５は利用者９０の視線よりも右側にずれているため、携帯情報端末９５のカメラ９６の光軸Ｏｃと利用者９０の視線Ｏａとにずれが生じている。

この状態で撮影が行われると、撮影される画像内の利用者９０の視線は、撮影画像を観察している利用者９０の視線と合致せずに、横方向にずれた状態で撮影されてしまう。また、利用者９０は、自身の状況を確認した後であっても、携帯情報端末９５の画像表示面９７が小さいために利用者９０はカメラ９６の光軸を意識し難く、よって、利用者９０の視線Ｏａとカメラ９６の光軸Ｏｃを合致させるのは容易ではない。

本発明は、鏡に向かって自撮りを行う場合にフレーミングしやすく、簡単に視線合致動作を行うことが可能な撮像手段を備える表示装置を提供することを目的とする。

本発明に係る表示装置は、表示手段と、前記表示手段と対向する被写体を撮影する第１の撮像手段と、前記第１の撮像手段により取得される画像の前記表示手段での表示を制御する制御手段と、前記第１の撮像手段による撮影範囲に鏡面があるか否かを検知する鏡検知手段と、前記第１の撮像手段により取得される画像の画像認識を行う演算手段と、前記第１の撮像手段による撮影モードとして通常の撮影を行う第１の撮影モードまたは鏡面と対向して撮影を行う第２の撮影モードを設定する設定手段と、を備え、前記設定手段は、前記鏡検知手段が鏡面を検知した場合に前記第２の撮影モードを設定し、前記制御手段は、前記第２の撮影モードが設定されている場合には前記演算手段により、前記第１の撮像手段が取得した画像に対して前記画像認識により検出された背景領域を他の領域と区別するための画像処理および／または前記画像認識により検出された顔領域を他の領域と区別するための画像処理を行い、前記画像処理がなされた画像を前記表示手段に表示することを特徴とする。

本発明によれば、鏡に向かって自撮りを行う場合にフレーミングしやすく、簡単に視線合致動作を行うことができる。

本発明の第１実施形態に係る携帯通信端末の概略構成を説明する図である。 図１の携帯通信端末の概略構成を示すブロック図である。 図１の携帯通信端末での鏡を利用した自撮りを説明する図である。 図１の携帯通信端末の動作例を示すフローチャートである。 ステップＳ１０５の鏡検知処理のフローチャートである。 ステップＳ１０８の背景処理を説明する図である。 ステップＳ１０８の背景処理のフローチャートである。 本発明の第２実施形態に係る携帯通信端末の構成と鏡検知処理を説明する図である。 従来の携帯情報端末で鏡を利用した自撮りの状況を模式的に示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、本発明に係る撮像装置を備える表示装置を携帯通信端末として具現化した形態について説明する。

＜第１実施形態＞
図１（ａ）は、第１実施形態に係る携帯通信端末１の概略構成を示す正面図である。図１（ｂ）は、携帯通信端末１の概略構成を示す背面図である。図１（ｃ）は、携帯通信端末１の概略構成を示す断面図である。説明の便宜上、図１に示すように、互いに直交するｘ軸方向、ｙ軸方向及びｚ軸方向を定める。ｘ軸方向は携帯通信端末１の短手方向（短辺と平行な方向）であり、ｙ軸方向は携帯通信端末１の長手方向（長辺と平行な方向）であり、ｚ軸方向は携帯通信端末１の厚み方向であり、ｘ軸方向及びｙ軸方向と直交する方向である。

携帯通信端末１は、偏光ビームスプリッタ２、液晶ディスプレイ３、表示ＬＥＤ４、インカメラ５（第１の撮像手段）、マイク６、フレーム７、操作スイッチ８、基台９及びアウトカメラ１１（第２の撮像手段）を備える。液晶ディスプレイ３は、スペーサ３ａを介して基台９の前面に配置されている。液晶ディスプレイ３は、携帯通信端末１の各種の設定情報、基本ＯＳ及び各種アプリケーションの操作画面（ＵＩ）を表示する他、他の携帯通信端末とテレビ電話を行っているときには他の携帯通信端末から受信した顔映像等を表示する。また、液晶ディスプレイ３は、インカメラ５とアウトカメラ１１が取得する映像をモニタ画像として表示する。例えば、液晶ディスプレイ３には、携帯通信端末１で自撮りを行ったときに、その利用者自身の画像が映し出される。

偏光ビームスプリッタ２は、液晶ディスプレイ３と略同一サイズの光路分割手段であり、スペーサ２ｃを介して液晶ディスプレイ３の前面に配置されている。フレーム７は、液晶ディスプレイ３と偏光ビームスプリッタ２を保持した状態で基台９に取り付けられている。偏光ビームスプリッタ２は、アクリル等の透過率の高い透明な樹脂の成型品を組み合わせて構成されている。偏光ビームスプリッタ２の略中央には、表面に対して約３０度の角度で傾斜しているスプリット面２ａが設けられており、ｙ軸方向の正側（携帯通信端末１の上端側）には射出面２ｂが設けられている。スプリット面２ａには、誘電体の多層膜コートが形成されている。なお、図１（ａ）には、スプリット面２ａが配置される範囲が破線で示されている。

インカメラ５は、液晶ディスプレイ３と対向する被写体の光学像を偏光ビームスプリッタ２を介して取得し、画像データを生成する。インカメラ５による撮影の際には、被写体（ここでは利用者α）からの反射光はスプリット面２ａで反射し、その光束は偏光ビームスプリッタ２の内部で複数回の全反射を行う。こうして全反射した光束は射出面２ｂからインカメラ５へ射出し、インカメラ５の内部の光学系を透過して撮像素子５ａに結像する。撮像素子５ａは、ＣＭＯＳセンサ又はＣＣＤセンサ等である。よって、インカメラ５の光軸Ｏｃは、液晶ディスプレイ３の表示画面内にあり、図１（ａ）ではインカメラ５の光軸Ｏｃを破線で模式的に示している。また、図１（ｃ）では、利用者αの視線がスプリット面２ａに対して入射角θで入射しており、このとき、利用者αの視線が光軸Ｏｃと合致した状態となっていることを示している。

なお、利用者αは、液晶ディスプレイ３に表示される映像や画像を、その前面に配置された偏光ビームスプリッタ２及びそのスプリット面２ａを透過して観察することができる。つまり、スプリット面２ａは、被写体（利用者α）側から入射した光束を反射すると共に液晶ディスプレイ３側から入射した光束を透過させる性質を有する。

表示ＬＥＤ４は、携帯通信端末１の前面におけるｘ軸方向端の２カ所に光軸Ｏｃを挟んで配置されており、インカメラ５の撮影方向へ向けて発光する。表示ＬＥＤ４は、後述するように、鏡を利用した自撮りの際に点灯し、携帯通信端末１の位置を利用者に知らせる発光手段である。マイク６は、携帯通信端末１の利用者の音声等を集音する。なお、携帯通信端末１は、基本ＯＳ及び各種アプリケーションの動作時に音声データを再生する不図示のスピーカを有しており、他の携帯通信端末との通話時には他の携帯通信端末から受信した音声信号を再生する。操作スイッチ８は、テレビ電話機能の起動／終了やインカメラ５による撮影、アウトカメラ１１による撮影等の、操作スイッチ８に割り当てられた処理の切り替えを携帯通信端末１のシステム制御回路２５（図２参照）に指示する操作手段である。アウトカメラ１１は、携帯通信端末１の背面側（インカメラ５の撮影方向の反対方向）の被写体を所定の画角で撮影する。

図２は、携帯通信端末１の概略構成を示すブロック図である。携帯通信端末１は、携帯通信端末１の全体的な動作を制御するシステム制御回路２５と、インカメラ５の撮像素子５ａとアウトカメラ１１の撮像素子を駆動する撮像素子駆動回路２１と、液晶ディスプレイ３の表示制御を行う表示処理回路２２を備える。また、携帯通信端末１は、マイク６で集音した音声を電気信号に変換する音声処理回路２３と、表示ＬＥＤ４の点灯を制御するＬＥＤ駆動回路２４と、不図示のスピーカを駆動する不図示のスピーカ駆動回路を備える。システム制御回路２５は、操作スイッチ８からの信号を判断して、操作スイッチ８に割り当てられた処理を切り替える。

システム制御回路２５は、インカメラ５やアウトカメラ１１による撮影処理を行うことが操作スイッチ８から指示されると、液晶ディスプレイ３に撮影モードを選択するアイコン等を表示する。システム制御回路２５は、不図示の操作手段を通して所定のアイコンが選択されると、選択された撮影モードを起動する。本実施形態において静止画撮影の際に選択可能な撮影モードとしては、アウトカメラ１１による通常撮影モード、インカメラ５による自撮りモードが準備されているものとする。自撮りモードの場合には、システム制御回路２５は、撮影状況に基づいて、通常の自撮りモード（第１の撮影モード）に設定するか又は鏡を利用した自撮りモード（第２の撮影モード、以下「鏡モード」という）に設定するかを判定する。

携帯通信端末１は、送受信回路２６、演算回路２７、記憶回路２８及びタイマ回路２９を更に備える。システム制御回路２５は、撮像素子駆動回路２１、表示処理回路２２、音声処理回路２３、ＬＥＤ駆動回路２４、送受信回路２６、演算回路２７、記憶回路２８及びタイマ回路２９の動作を制御する。また、システム制御回路２５は、これらの各回路等から取得した信号に基づき、各種の検出処理や判定処理を行う。

演算回路２７は、主として画像処理や画像認識、各種の計算を行う。タイマ回路２９は、システム制御回路２５からの指示により時間経過を計測する。送受信回路２６は、携帯通信端末１と他の携帯通信端末との双方向通信を確立する。記憶回路２８は、携帯通信端末１の基本ＯＳや各種アプリケーションのプログラム等を格納する。

図３（ａ）は、空間Ａにおいて利用者αが携帯通信端末１を利用し、鏡１００に向かって自撮りを行っている状況を示す模式図である。図３（ｂ）は、図３（ａ）の状況を利用者αの上方から見た模式図である。インカメラ５は撮影画角Ｐａで撮影を行うことができ、アウトカメラ１１は撮影画角Ｐｏで撮影を行うことができ、利用者αの視線Ｏｐは液晶ディスプレイ３のインカメラ５に向けられている。なお、図３（ｂ）では、視線Ｏｐ、撮影画角Ｐａ，Ｐｏは、実際よりも傾けて（極端に）示している。

インカメラ５による撮影モードは、鏡モードに設定されているものとする。利用者αは、右手に携帯通信端末１を保持しており、鏡１００（の鏡面）に正対している。液晶ディスプレイ３には、インカメラ５により撮影されている鏡越しの利用者αがモニタ画像として表示されている。そこで、利用者αは、視線Ｏｐでモニタ画像を見ながら撮影（自撮り）のためのフレーミングを行う。図３（ｂ）の状態では、インカメラ５の光軸と視線Ｏｐとが合致しており、よって、視線が合致した画像（静止画）を撮影することができる。

ここで、図３（ａ），（ｂ）には、表示ＬＥＤ４が点灯している状態を光４ａで模式的に示している。利用者αは、視線Ｏｐをインカメラ５の光軸と合致しない方向にずらしても、光４ａの認識は容易であるため、インカメラ５の光軸周辺を簡単に認識することができ、したがって、再度、視線を簡単にインカメラ５の光軸と合致させることができる。

図４は、携帯通信端末１の動作例を示すフローチャートである。ここでは、利用者が鏡モードで鏡面に向かって自撮りを行う状況を中心に説明する。図４のフローチャートに示す各処理は、携帯通信端末１のシステム制御回路２５が記憶回路２８に格納されている所定のプログラムを実行して、携帯通信端末１の各回路（各部）の動作を制御することにより実現される。

携帯通信端末１の起動後、ステップＳ１０１においてシステム制御回路２５は、携帯通信端末１のシステム情報を確認し、初期設定を行う。なお、システム情報とは、インカメラ５及びアウトカメラ１１の焦点距離、撮影時のフレームレート等であり、必要に応じて記憶回路２８から呼び出される。初期設定後、ユーザが操作スイッチ８を通じてインカメラ５による撮影開始をシステム制御回路２５に指示したものとする。すると、ステップＳ１０２においてシステム制御回路２５は、インカメラ５による撮影を開始する。ステップＳ１０２の処理は、シャッタボタン（不図示）の押下による静止画の撮影に先立ち、フレーミングのために所定のフレーム周期でインカメラ５により連続的に取得される映像をモニタ画像として液晶ディスプレイ３に表示する処理である。

ステップＳ１０３においてシステム制御回路２５は、操作スイッチ８を通じたユーザからの指示が撮影モードであるか否かを判定する。ここでは、撮影モードが指示されていない場合には、テレビ電話モードが指示されたものとする。システム制御回路２５は、撮影モードが指示されたと判定した場合（Ｓ１０３でＹＥＳ）、処理をステップＳ１０４へ進め、撮影モードが指示されていないと判定した場合（Ｓ１０３でＮＯ）、処理をステップＳ１１８へ進める。

ステップＳ１０４においてシステム制御回路２５は、不図示の操作手段を通じたユーザからの指示がインカメラ５による自撮りモードか否かを判定する。ここでは、自撮りモードが指示されていない場合には、アウトカメラ１１のよる撮影モードが指示されたものとする。システム制御回路２５は、自撮りモードが指示されたと判定した場合（Ｓ１０４でＹＥＳ）、処理をステップＳ１０５へ進め、自撮りモードが指示されていないと判定した場合（Ｓ１０４でＮＯ）、処理をステップＳ１１５へ進める。

ステップＳ１０５においてシステム制御回路２５は、インカメラ５による撮影範囲に鏡面があるか否かを判定するための鏡検知処理を行う。ここで、鏡検知処理について説明する。システム制御回路２５は、所謂「合わせ鏡像」の画像認識により鏡面を検知する。撮影範囲内に鏡がある場合、被写体からの反射光は鏡での反射を介して撮像素子５ａに投影されて反射像として撮影される。こうして撮影される反射像の画像の中から画像認識により合わせ鏡像を検出する。合わせ鏡像とは、２枚の鏡（ここでは鏡Ａと鏡Ｂとする）を向い合せに配置することで生じる像のことであり、鏡Ａの中に鏡Ｂが映り、鏡Ｂの中には鏡Ａに映った画像が縮小された相似の像が映る。これを本実施形態に当て嵌めると、この相似の像は、携帯通信端末１と鏡１００の距離の二乗に反比例して縮小された画像となる。つまり、図３に示したように、鏡１００と撮像素子５ａが合わせ鏡の関係となっており、撮影された反射像の画像の中には合わせ鏡像が存在している。よって、撮影画像を画像認識処理した結果、撮影画像中に合わせ鏡像が検出されたか否かに基づいて、被写体が鏡面であるか否かの判定を行う。なお、このとき、携帯通信端末１と鏡１００との間の距離の二乗に反比例して縮小されたサイズの相似の画像を探して抽出することで、画像認識の処理速度を向上させることができる。

図５は、ステップＳ１０５の鏡検知処理のフローチャートである。インカメラ５は所定のフレームレートで画像を取得しているので、ステップＳ２０１においてシステム制御回路２５は、インカメラ５が所定のフレームレートで撮影している画像（フレーム）から参照画像を取得する。ステップＳ２０２においてシステム制御回路２５は、演算回路２７を制御して、参照画像の画像認識処理を行う。ステップＳ２０３においてシステム制御回路２５は、演算回路２７を制御して、参照画像をパターン化し、作成したパターンを縮小した縮小パターンを生成する。

ステップＳ２０４は、縮小パターンと相似の関係にあるパターンが参照画像内に存在するか否かを判定する。システム制御回路２５は、相似のパターンが参照画像内に存在すると判定した場合（Ｓ２０４でＹＥＳ）、処理をステップＳ２０５へ進め、相似のパターンが参照画像内に存在しないと判定した場合（Ｓ２０４でＮＯ）、処理をステップＳ２０６へ進める。ステップＳ２０５においてシステム制御回路２５は、鏡面の有無を示すためのパラメータｍに、鏡面があることを示す「１」を設定する。一方、ステップＳ２０６においてシステム制御回路２５は、鏡面はないことを示す「０」をパラメータｍに設定する。システム制御回路２５は、ステップＳ２０５又はステップＳ２０６で本処理を終了させ、ステップＳ１０６へ処理を進める。

ステップＳ１０６においてシステム制御回路２５は、ステップＳ１０５での鏡検知処理の結果に基づいて鏡面があるか否か（パラメータｍが１か否か）を判定する。システム制御回路２５は、鏡面がある（ｍ＝１）と判定した場合（Ｓ１０６でＹＥＳ）、処理をステップＳ１０７へ進め、鏡面はない（ｍ＝０）と判定した場合（Ｓ１０６でＮＯ）、処理をステップＳ１１６へ進める。ステップＳ１０７においてシステム制御回路２５は、撮影モードを鏡モードに設定し、表示ＬＥＤ４を点灯させる。なお、ステップＳ１０７では、表示ＬＥＤ４を点滅させてもよい。

ステップＳ１０８においてシステム制御回路２５は、背景処理を行う。図６は、ステップＳ１０８の背景処理を説明する図である。図６（ａ）は、背景処理前のモニタ画像を示しており、インカメラ５が所定のフレームレートで取得している画像がそのまま携帯通信端末１の液晶ディスプレイ３に表示されている状態を示しており、利用者αの背景にドア３０が写り込んでいる。図６（ｂ）は、背景処理後のモニタ画像を示しており、携帯通信端末１の液晶ディスプレイ３に表示される画像に対して、利用者αの背景が白色となるように背景処理が施された状態を示している。このように、背景処理とは、インカメラ５により取得されているフレーム（以下「スルー画像」という）に対して画像処理を施した後の画像を液晶ディスプレイ３に表示する処理であり、鏡モードに固有の処理である。例えば、背景を単一色とすると人物のみが浮き上がって表示されやすくなるため、鏡越しに視認される液晶ディスプレイ３のような小さな表示面であってもフレーミングを行いやすくなる。なお、通常の自撮りモードでは、スルー画像が液晶ディスプレイ３にそのまま表示される。

図７は、ステップＳ１０８の背景処理のフローチャートである。インカメラ５は所定のフレームレートで画像を取得しているので、ステップＳ３０１においてシステム制御回路２５は、インカメラ５が所定のフレームレートで撮影している画像（フレーム）から参照画像を取得する。ステップＳ３０２においてシステム制御回路２５は、演算回路２７を制御して、参照画像に対する画像認識処理を行う。ステップＳ３０３において、システム制御回路２５は、アウトカメラ１１による背景撮影（利用者の背後の撮影）を行う。

システム制御回路２５は、演算回路２７を制御して、ステップＳ３０４において背景画像の画像認識処理を行い、ステップＳ３０５において色情報等の背景画像情報を背景画像の特徴として抽出する。ステップＳ３０６においてシステム制御回路２５は、抽出した背景画像情報に基づいて参照画像を分析し、参照画像から主被写体（利用者）の領域を除いた背景領域を検出する。なお、画像内の人物領域と背景領域を区別する技術には種々の周知の方法を用いることができる。ステップＳ３０７においてシステム制御回路２５は、人物領域はそのままにして、背景領域のみを例えば白色に置換し、参照画像を自身と白色背景の画像に画像処理し、その後、処理をステップＳ１０９へ進める。

ステップＳ１０９においてシステム制御回路２５は、背景処理が施された画像をモニタ画像として液晶ディスプレイ３に表示する。こうして、利用者は、鏡に映る携帯通信端末１の液晶ディスプレイ３に映し出されているモニタ画像を注視しながらフレーミングを行う。このとき、モニタ画像は小さいため、自身と背景とが混ざり合って見えてしまうとフレーミングを行い難くなる。しかし、本実施形態では上記手順の通りに背景処理が施された画像をモニタ画像としているため、利用者は白色背景の中に浮き上がる自身を容易に視認することができ、よって、容易にフレーミングを行うことができる。また、ステップＳ１０７で表示ＬＥＤ４を点灯させているため、利用者は液晶ディスプレイ３の位置を容易に認識して、モニタ画像を注視することができる。

利用者は、フレーミングを終えて撮影準備が整うと、静止画を撮影するために不図示の撮影ボタンを押下し、これによりレリーズがオンとなる。そこで、ステップＳ１１０においてシステム制御回路２５は、レリーズがオンになったか否かを判定する。システム制御回路２５は、レリーズがオンになったと判定した場合（Ｓ１１０でＹＥＳ）、処理をステップＳ１１１へ進め、レリーズがオンになっていないと判定した場合（Ｓ１１０でＮＯ）、処理をステップＳ１０８へ戻す。システム制御回路２５は、ステップＳ１１１において液晶ディスプレイ３に表示していたモニタ画像を背景処理された画像からスルー画像に切り替え、ステップＳ１１２において表示ＬＥＤ４を消灯させる。

システム制御回路２５は、こうして鏡モードでの表示を停止した後、ステップＳ１１３において静止画撮影を行う。つまり、静止画撮影時には、鏡モードから通常の自撮りモードに切り替えられる。よって、注視していたモニタ画像は通常のスルー画像に切り替わり、表示ＬＥＤ４も消灯した状態で撮影が行われるので、違和感のない自然な静止画を撮影することができる。ステップＳ１１４においてシステム制御回路２５は、操作スイッチ８を通じて撮影終了が指示されたか否かを判定する。システム制御回路２５は、撮影終了が指示されたと判定した場合（Ｓ１１４でＹＥＳ）、本処理を終了させ、撮影終了が指示されていない判定した場合（Ｓ１１４でＮＯ）、処理をステップＳ１０５へ戻す。

さて、利用者がステップＳ１０４で自撮りモードではなく通常の撮影モードを選択した場合、システム制御回路２５は、ステップＳ１１５においてアウトカメラ１１による撮影を開始し、ステップＳ１１６においてスルー画像を液晶ディスプレイ３に表示する。ステップＳ１１７においてシステム制御回路２５は、レリーズがオンになったか否かを判定する。システム制御回路２５は、レリーズがオンになったと判定した場合（Ｓ１１７でＹＥＳ）、処理をステップＳ１１３へ進め、レリーズがオンになっていないと判定した場合（Ｓ１１７でＮＯ）、処理をステップＳ１１６へ戻す。

利用者が携帯通信端末１をテレビ電話として使用することを選択した場合のステップＳ１１８においてシステム制御回路２５は、送受信回路２６を通じて通話相手の携帯通信端末（以下「相手側端末」という）との間で通信を確立する。なお、ここでは、相手側端末は、携帯通信端末１と同等であるとする。続いて、ステップＳ１１９においてシステム制御回路２５は、携帯通信端末１と相手側端末のシステム情報をそれぞれ確認、設定する。このシステム情報とは、各端末のカメラの焦点距離、送信される画像信号のフレーム周期等である。ステップＳ１２０においてシステム制御回路２５は、相手側端末の利用者情報（通話相手の目の位置情報等）の初期設定を行う。

ステップＳ１２１においてシステム制御回路２５は、携帯通信端末１と相手側端末との間で画像データ及び音声データの送受信を行う。具体的には、システム制御回路２５は、インカメラ５で利用者を撮影すると共にマイク６が検出した音声信号を音声処理回路２３により相手側端末に送信可能な信号形態に変換し、生成した画像データ及び音声データを相手側端末へ送信する。また、システム制御回路２５は、相手側端末から送られてきた通話相手を写した画像データを表示用信号に変換して液晶ディスプレイ３に表示すると共に音声データを音声再生する。

ステップＳ１２２においてシステム制御回路２５は、演算回路２７を制御して、液晶ディスプレイ３に表示された通話相手の画像に対する視線合致処理を行う。視線合致処理には、例えば、特開２００５−１７６１５１号公報等に開示されている周知の技術を用いることができ、ここでの詳細な説明を省略する。視線合致処理により、利用者が通話相手の画像の目の付近に視線を合わせると、インカメラ５で撮影される利用者の画像の目の位置は相手側端末のカメラの光軸と略一致する位置に表示され、相手側端末でも同様の処理が行われる。こうして、利用者と通話相手との視線を合致させることができる。

ステップＳ１２３においてシステム制御回路２５は、相手側端末から視線合致処理が施されて送信されてきた画像データを表示用信号に変換して液晶ディスプレイ３に表示する。ステップＳ１２４においてシステム制御回路２５は、操作スイッチ８を通じてテレビ電話（通話）の終了が指示されたか否かを判定する。システム制御回路２５は、テレビ電話の終了が指示されたと判定した場合（Ｓ１２４でＹＥＳ）、処理をステップＳ１２５へ進め、テレビ電話の終了が指示されていない判定した場合（Ｓ１２４でＮＯ）、処理をステップＳ１２１へ戻す。ステップＳ１２５においてシステム制御回路２５は、相手側端末との通信を切断し、その後、処理をステップＳ１０３へ戻す。

上記説明の通り、第１実施形態では、鏡に映った自身を撮影する自撮りを行う際、携帯通信端末１のインカメラ５が取得する画像内に合わせ鏡像が検出された場合に、撮影範囲に鏡面があると判定する。こうして、鏡面の存在が検知されて鏡モードが設定されると、フレーミングの際には液晶ディスプレイ３に白色等に背景処理されたモニタ画像が表示されると共に表示ＬＥＤ４が点灯されるため、小さなモニタ画像であっても容易にフレーミングを行うことができる。また、利用者は、モニタ画像を注視しながらフレーミングを行っているので、そのまま撮影を実行すれば、容易に利用者の視線と撮影画像内の利用者の視線とが合致する画像を得ることができる。そして、実際の静止画撮影の直前には、液晶ディスプレイ３での表示は背景処理が施されていないスルー画像に戻され、表示ＬＥＤ４も消灯されるため、違和感のない自然な静止画像を得ることができる。

＜第２実施形態＞
図８（ａ）は、本発明の第２実施形態に係る携帯通信端末１Ａの正面図である。携帯通信端末１は、正面側上部に投光ＬＥＤ１２を更に備える点で、第１実施形態に係る携帯通信端末１と異なる。携帯通信端末１Ａのその他の構成要素は携帯通信端末１の構成要素に準ずるため、ここでの説明を省略する。投光ＬＥＤ１２の点灯／消灯は、システム制御回路２５の制御下でＬＥＤ駆動回路２４によって行われる。

投光ＬＥＤ１２の前面には、不図示の格子状のマスクが設けられている。よって、投光ＬＥＤ１２が発光すると、格子状のパターンが前方の被写体に投光される。被写体からの反射光と共に格子状のパターンの反射光が撮像素子５ａに投影され、撮影される。携帯通信端末１Ａは、鏡検知処理（図４のフローチャートのステップＳ１０５）を投光ＬＥＤ１２からの投光と撮像素子５ａによる撮影によって行い、その他の処理（ステップＳ１０１〜Ｓ１０４，Ｓ１０６〜Ｓ１２５）の処理に準じて行う。そこで、携帯通信端末１Ａで行われる鏡検知処理について以下に説明する。

図８（ｂ）は、携帯通信端末１Ａで実行される鏡検知処理のフローチャートである。図８（ｂ）のフローチャートに示す各処理は、携帯通信端末１Ａのシステム制御回路２５が記憶回路２８に格納されている所定のプログラムを実行して、携帯通信端末１Ａの各回路（各部）の動作を制御することにより実現される。

ステップＳ４０１においてシステム制御回路２５は、ＬＥＤ駆動回路２４を制御して、投光ＬＥＤ１２を点灯させる。これにより、格子状のパターンが被写体（撮影範囲）に向けて投光される。ステップＳ４０２においてシステム制御回路２５は、インカメラ５が所定のフレームレートで撮影している画像（フレーム）から参照画像を取得する。ステップＳ４０３においてシステム制御回路２５は、演算回路２７を制御して、参照画像に対する画像認識処理を行う。

ステップＳ４０４においてシステム制御回路２５は、演算回路２７を制御して、参照画像から格子状のパターンを抽出し、抽出した格子状のパターンを記憶回路２８に予め格納されている格子状パターンと比較する。ステップＳ４０５においてシステム制御回路２５は、ステップＳ４０４で比較した格子状のパターンが相似の関係にあるか否かを判定する。システム制御回路２５は、相似の関係があると判定した場合（Ｓ４０５でＹＥＳ）、処理をステップＳ４０６へ進め、相似の関係がないと判定した場合（Ｓ４０５でＮＯ）、処理をステップＳ４０９へ進める。

ステップＳ４０６においてシステム制御回路２５は、演算回路２７を制御して、参照画像から抽出した格子状のパターンのコントラストを演算し、記憶回路２８に予め格納されている閾値と比較する。ここで、一般的な鏡は、８０％乃至９０％の反射率を有しており、入射光を正反射する。よって、鏡面を撮影している場合には、正反射画像は、鏡面からの正反射により高いコントラストを有する。このことを利用して、算出したコントラストが閾値より大きければ鏡があると判定し、算出したコントラストが閾値以下であれば鏡はないと判定することができる。そこで、ステップＳ４０７においてシステム制御回路２５は、算出したコントラストが所定の閾値より大きいか否かを判定する。システム制御回路２５は、算出したコントラストが所定の閾値より大きいと判定した場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０８へ進め、算出したコントラストが所定の閾値以下であると判定した場合（Ｓ４０７でＮＯ）、処理をステップＳ４０９へ進める。

ステップＳ４０８においてシステム制御回路２５は、鏡面の有無を示すためのパラメータｍに、鏡面があることを示す「１」を設定する。一方、ステップＳ４０９においてシステム制御回路２５は、鏡面はないことを示す「０」をパラメータｍに設定する。ステップＳ４０８又はステップＳ４０９の後のステップＳ４１０においてシステム制御回路２５は、投光ＬＥＤ１２を消灯し、これにより本処理は終了する。

上記説明の通り、携帯通信端末１Ａは、投光ＬＥＤ１２を有し、撮像素子５ａが受光手段且つ鏡検知手段として機能することを特徴としており、被写体側に鏡面があるか否かを被写体側に投光されたパターンのコントラストに基づいて判定する。これにより、画像認識での演算負荷を軽減して、処理時間を短縮することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、第１実施形態では、携帯通信端末１の液晶ディスプレイ３に表示されたモニタ画像の位置を利用者に認識しやすくするための手段として表示ＬＥＤ４を備えた構成を示した。しかし、同目的を達成するための手段としては、例えば、インカメラ５が取得した画像から周知の技術を用いて顔を検出し、検出した顔を目立つマーク等に変更することでも目的を達成することができる。これに代えて、インカメラ５の光軸Ｏｃの近傍領域の画像を目立つマーク等に変更してもよい。このようなマークの表示は第１実施形態で説明した背景処理に準ずるものであり、スルー画像に戻された後に実際の撮影が行われるため、マークが撮影画像に映り込むことはない。

また、第１実施形態では、アウトカメラ１１による背景撮影の結果を用いて背景を検出したが、例えば、アウトカメラ１１による背景撮影を行わずに、周知の顔検出技術を用いて人物領域（顔領域）を検出し、検出された顔領域以外を背景領域としてもよい。更に、第１実施形態では、利用者αの背景を白色の単一色とする背景処理について説明したが、背景処理は人物領域と背景領域との区別が容易になればよいため、別の方法を用いてもよい。例えば、背景処理としては、背景領域の彩度又はコントラストを低下させる処理、背景領域を２値化させる処理又は背景領域にハッチングを施す処理等を用いてもよい。なお、背景領域を単一色とする場合の色は、白色に限られるものではなく、どのような色を用いても構わず、また、どの色を用いるかをユーザが設定可能な構成としてもよい。

本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１，１Ａ 携帯通信端末
３ 液晶ディスプレイ
４ 表示ＬＥＤ
５ インカメラ
１１ アウトカメラ
１２ 投光ＬＥＤ
２２ 表示処理回路
２５ システム制御回路
２７ 演算回路
１００ 鏡

Claims (12)

1. 表示手段と、
   前記表示手段と対向する被写体を撮影する第１の撮像手段と、
   前記第１の撮像手段により取得される画像の前記表示手段での表示を制御する制御手段と、
   前記第１の撮像手段による撮影範囲に鏡面があるか否かを検知する鏡検知手段と、
   前記第１の撮像手段により取得される画像の画像認識を行う演算手段と、
   前記第１の撮像手段による撮影モードとして通常の撮影を行う第１の撮影モードまたは鏡面と対向して撮影を行う第２の撮影モードを設定する設定手段と、を備え、
   前記設定手段は、前記鏡検知手段が鏡面を検知した場合に前記第２の撮影モードを設定し、
   前記制御手段は、前記第２の撮影モードが設定されている場合には前記演算手段により、前記第１の撮像手段が取得した画像に対して前記画像認識により検出された背景領域を他の領域と区別するための画像処理および／または前記画像認識により検出された顔領域を他の領域と区別するための画像処理を行い、前記画像処理がなされた画像を前記表示手段に表示することを特徴とする表示装置。
2. 前記画像処理は、前記背景領域を単一色にすること、前記背景領域の彩度またはコントラストを低下させること、前記背景領域を２値化すること、前記背景領域にハッチングを施すこと、前記顔領域をマークに変えること、の少なくとも１つであることを特徴とする請求項１に記載の表示装置。
3. 静止画の撮影を前記第１の撮像手段に指示する指示手段を備え、
   前記制御手段は、前記指示手段により静止画の撮影が指示されたときに、前記第２の撮影モードから前記第１の撮影モードに撮影モードを切り替え、
   前記第１の撮像手段は、前記第１の撮影モードに切り替えられた後に静止画を撮影することを特徴とする請求項１又は２に記載の表示装置。
4. 前記第１の撮像手段による撮影方向に向けて発光する発光手段を備え、
   前記発光手段は、前記第２の撮影モードが設定されているときに点灯または点滅することを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
5. 前記第１の撮像手段の撮影方向の反対方向を撮影する第２の撮像手段を備え、
   前記演算手段は、前記第２の撮像手段が撮影した画像に基づいて前記第１の撮像手段が取得した画像の背景を検出することを特徴とする請求項１乃至４のいずれか１項に記載の表示装置。
6. 表示手段と、
   前記表示手段と対向する被写体を撮影する第１の撮像手段と、
   前記第１の撮像手段による撮影方向に向けて発光する発光手段と、
   前記第１の撮像手段により取得される画像を前記表示手段に表示する制御手段と、
   前記第１の撮像手段による撮影範囲に鏡面があるか否かを検知する鏡検知手段と、
   前記第１の撮像手段による撮影モードとして通常の撮影を行う第１の撮影モードまたは鏡面と対向して撮影を行う第２の撮影モードを設定する設定手段と、を備え、
   前記設定手段は、前記鏡検知手段が鏡面を検知した場合に前記第２の撮影モードを設定し、前記発光手段は、前記第２の撮影モードが設定されているときに点灯または点滅することを特徴とする表示装置。
7. 前記鏡検知手段は、前記第１の撮像手段が取得した画像を画像認識することにより前記画像から合わせ鏡像を検出した場合に前記撮影範囲に鏡面があると判定することを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
8. 前記第２の撮影モードが設定されているときに所定のパターンを被写体に向けて投光する投光手段を備え、
   前記鏡検知手段は、前記第１の撮像手段が取得した画像を画像認識することにより前記所定のパターンと相似の関係にあるパターンを検出した場合に前記撮影範囲に鏡面があると判定することを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
9. 前記第１の撮像手段の光軸は、前記表示手段の表示画面内にあることを特徴とする請求項１乃至８のいずれか１項に記載の表示装置。
10. 表示手段と対向する被写体を撮影する撮像手段により取得される画像を前記表示手段に表示するステップと、
    前記撮像手段による撮影範囲に鏡面があるか否かを検知するステップと、
    前記鏡面が検知された場合に、前記撮像手段により取得される画像の画像認識を行って前記画像から背景領域と顔領域の少なくとも一方を検出するステップと、
    前記背景領域を他の領域と区別するための画像処理と前記顔領域を他の領域と区別するための画像処理の少なくとも一方を行うステップと、
    前記画像処理がなされた画像を前記表示手段に表示するステップと、を有することを特徴とする表示装置の制御方法。
11. 表示手段と対向する被写体を撮影する撮像手段により取得される画像を前記表示手段に表示するステップと、
    前記撮像手段による撮影範囲に鏡面があるか否かを検知するステップと、
    前記鏡面が検知された場合に、前記撮像手段による撮影方向に向けて発光する発光手段を発光させるステップと、を有することを特徴とする表示装置の制御方法。
12. 請求項９乃至１１のいずれか１項に記載の表示装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images