JP2017173455A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 ユーザが顔を電子鏡に近づいた際に、ユーザの顔に当たる照明光が少なくなり、撮像して表示した画像が暗くなってしまう問題がある。【解決手段】 情報処理装置は、撮像手段によって撮像された画像を表示手段に表示させる表示制御手段と、ユーザと前記表示手段との距離を取得する距離取得手段と、取得された前記距離に基づいて、撮像された前記画像に基づいて表示する前記表示手段の第１の表示領域と、前記撮像手段の照明用として所定値以上の輝度値で表示する前記表示手段の第２の表示領域と、を決定する領域決定手段と、前記距離取得手段によって取得された前記距離の変化に応じて、前記第２の表示領域の位置を変更する表示変更手段と、を備えることにより、ユーザが電子鏡に近づいても、電子鏡の撮像部に必要な照明を維持することができる。【選択図】 図４

Description

本発明は、撮像した画像を表示する情報処理装置、情報処理方法及びプログラムに関するものである。

近年、画像を表示する表示装置の様々な用途が考えられている。例えば、表示装置とカメラ等の撮像装置とで構成した電子鏡がある。カメラで取得したユーザの画像を表示装置（ディスプレイ）に表示することで、普通の鏡のよう使用するディスプレイである。この電子鏡は化粧等ができるようにユーザをアシストするために開発されている。電子鏡ではカメラで撮ったユーザの画像をディスプレイに表示することでディスプレイを鏡の代わりに用いている。

一方で、普通の鏡を利用する際に室内などの暗い場所だと光量が不足し、化粧の具合をよく確認することができない。そのため、鏡の周囲に照明を付けて光量を補うことで、暗い場所でも化粧をできるようにする製品がある。また、電子鏡に関する特許文献１では、ディスプレイの表示領域を、画像を表示する領域と、照明に用いる領域とに予め分けている。そして、撮像装置の照明に用いる電子鏡の一部の表示領域の輝度を高くする。即ち、ディスプレイの一部の表示領域を照明として用いることで撮像装置の光量を補う手法が述べられている。

特開２０１３−２４２５０４号公報 特開２０１３−４１５４５号公報

しかしながら、特許文献１に記載の電子鏡装置では画像を表示する領域と照明に用いる領域とが予め決められてしまうが、例えば、ユーザが化粧を確認するために電子鏡に近づく場合に、照明光が暗くなることが考慮されていない。ユーザが電子鏡に近づく場合は、照明領域からの照明光がユーザの顔の正面に当たる量が減ってしまい、照明光が暗くなるので、暗い撮像画像が表示されてしまうという問題がある。

かかる課題を解決するため情報処理装置は、以下の構成を備える。すなわち、撮像手段によって撮像された画像を表示手段に表示させる表示制御手段と、ユーザと前記表示手段との距離を取得する距離取得手段と、取得された前記距離に基づいて、撮像された前記画像に基づいて表示する前記表示手段の第１の表示領域と、前記撮像手段の照明用として所定値以上の輝度値で表示する前記表示手段の第２の表示領域と、を決定する領域決定手段と、前記距離取得手段によって取得された前記距離の変化に応じて、前記第２の表示領域の位置を変更する表示変更手段と、を備える。

本発明によれば、表示部とユーザとの距離の変化に応じて、撮像部の照明として使用する表示領域の位置を変更することで、ユーザが表示装置に近づいた際でも撮像部の撮像に必要な明るさを維持することができる。

実施形態１のシステムの構成図である。 実施形態１におけるユースケースの模式図である。 実施形態１におけるデータの構成図である。 実施形態１におけるフローチャートである。 実施形態２におけるユースケースの模式図である。 実施形態３におけるモジュールの構成図である。 実施形態３におけるデータの構成図である。 実施形態３におけるフローチャートである。 実施形態４におけるユースケースの模式図である。 実施形態４におけるフローチャートである。

以下、図を参照しながら本発明を実施する形態を説明する。

＜実施形態１＞
第１の実施形態である電子鏡として使用する情報処理装置及び情報処理方法について説明する。

図１（ａ）は本実施形態の情報処理装置の構成の説明図である。

本実施形態の情報処理装置は、撮像部のカメラ１０１、ネットワーク１０２、サーバ１０３及び表示部のディスプレイ１０４を備える。カメラ１０１は２台あり、ネットワーク１０２を介して撮像した映像をサーバ１０３に送信する機能を有する。ディスプレイ１０４は画像表示装置の一例であって、カメラ１０１で撮像した映像を表示する機能を有する。ここでは、説明を簡単にするためカメラの設置位置、撮像方向や焦点距離などは固定とし、それらはカメラ設置情報としてサーバで管理されているものとする。サーバ１０３は本システムの機能を統括するコンピュータであり、２台のカメラから受信した映像を元に、三角測量を行ってディスプレイからユーザ１０５までの距離を測定し、その距離に従ってディスプレイの表示を制御する機能を有する。なお、ネットワーク１０２を介さずに、カメラ１０１、サーバ１０３及びディスプレイ１０４が一体的に構成されてもよい。この場合は、例えばカメラ付きのタブレットＰＣのように構成してもよい。また、専用のカメラを別途用意してタブレットＰＣと接続して構成してもよい。

図１（ｂ）はサーバ１０３のハードウェア構成の例である。

演算部１１１は、情報処理のための演算、論理判断等を行う。演算部１１１はシステムバス１１７を介して、それらのバスに接続された各構成要素を制御する。表示制御部１１２は、表示部のディスプレイ１０４における画像情報の表示を制御するコントローラである。入力部１１３は、ボタン、キーボード、マウス等であり、ユーザからの指示が入力される。通信部１１４は、ＬＡＮ，３Ｇ，４Ｇ，Ｂｌｕｅｔｏｏｔｈ（登録商標）技術等に代表されるネットワークコントローラ等であり、他の装置との接続を制御する外部通信手段である。なお同様の目的を達成できる通信方式であれば前記具体例に限らない。ＲＡＭ１１５は、各構成要素からの各種データの一時記憶に用いられる。記憶部１１６は、フラッシュメモリ、ＨＤＤ、光学ディスクなどの物理媒体を用い、本実施形態で実行される処理プログラム等の制御プログラムコードのほか、各種設定データ、画像データ、距離データ等を記憶する。前記の各構成要素からなるサーバ１０３は、入力部１１３からの各種の入力及び通信部１１４から供給されるネットワーク経由の各種入力に応じて作動する。すなわち、入力部１１３からの入力及び通信部１１４からの入力が供給されると、まず、インタラプト信号が演算部１１１に送られる。そして、その演算部１１１が記憶部１１６に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御が行われる。また、本実施形態に係わるプログラムを格納した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置が、記憶媒体に格納されたプログラムコードを読み出し実行することによっても本実施形態は達成される。

図１（ｃ）はサーバ１０３で実現するためのモジュール構成図である。

データ取得部１２１は通信部１１４を通じて２台のカメラ１０１から２枚の画像を取得し、正対画像になるように幾何変換を行った後に、歪みが少なくなるように１枚の画像のデータに合成してデータ保存部１２７に保存する。

距離取得部１２２はディスプレイとユーザとの距離を取得する。距離の取得には公知の方法を用いる。例えば、２台のカメラ１０１を用いて三角測量を行い、ディスプレイからユーザの顔までの距離を計測し、計測した距離のデータをデータ保存部に保存する。本実施形態では、ディスプレイからユーザの顔までの距離の計測は、ディスプレイからユーザの両目の間の中心位置までの距離の計測である。

視野範囲取得部１２５はディスプレイからユーザの顔までの距離を用いて、人間の視野特性を利用して幾何学的に視野範囲を取得する。本実施形態で取得する視野範囲は、ユーザが表示装置のディスプレイを直視し、両目を動かさない状態でディスプレイ上に表示される画像に対して、色を視認できる範囲を意味する。このような視野範囲は楕円形により近いが、本実施形態では、視野範囲を矩形として近似する。そして、本実施形態では、ディスプレイからユーザの顔までの距離に対応して、予め算出された矩形の視野範囲の四隅の座標がデータ保存部に保存してあるとする。矩形の視野範囲の四隅の座標の算出方法は後述する。視野範囲取得部１２５はデータ保存部から矩形の視野範囲の四隅の座標を取得する。

表示領域決定部１２３はデータ保存部に保存されている視野範囲の座標より、データ保存部１２７に保存した画像を表示する第１の表示領域と照明用の第２の表示領域との位置座標を決定し、データ保存部に保存する。本実施形態では、第１の表示領域は、画像データに基づいて表示するディスプレイの表示領域であって、第２の表示領域は、所定値以上の輝度値で表示し、照明として使用する領域である。

表示変更部１２４はデータ保存部に保存されている表示領域の位置座標を使って、距離取得部１２２によって取得されたディスプレイ（表示部１０４）とユーザとの距離の変化に応じて、少なくとも第２の表示領域の位置を変更する。また、その距離の変化に応じて、第２の表示領域の大きさや画素の輝度値を変更してもよい。また、第１の表示領域と第２の表示領域との位置や大きさを同時に変更してもよい。

データ表示制御部１２６はディスプレイ１０４の第１の表示領域に保存した画像を表示させ、ディスプレイ１０４の第２の表示領域に所定値より高い輝度値で表示させる。本実施形態では、撮像部（カメラ１０１）の照明用として必要な明るさを維持することができるかという観点で輝度の所定値を決定する。第２の表示領域で表示する画像の各画素の輝度値の平均値が決定された所定値より小さい場合は、各画素の輝度値を高く変更するように制御し、又は予め決められた輝度値に設定する。例えば、第２の表示領域のすべての画素で白色画像を表示するように設定する。なお、カメラ１０１の照明用として必要な明るさを維持するための輝度の所定値は、カメラの設置環境にも依存する。暗い場所では、より高い所定値を決定する必要がある。所定値の決定は、カメラ１０１で撮像した画像から推定してもよい。

図２はユースケースの模式図である。図２（ａ）は特許文献１の電子鏡を示している。特許文献１では電子鏡のディスプレイからの一定距離内にユーザがいることを検知した場合、ディスプレイ中央の領域をユーザの撮像画像を表示する領域にして、ディスプレイ左右の領域を照明の領域として用いることが予め決められている。そのため、ユーザがディスプレイに近づいて、ユーザの顔とディスプレイとの距離が近くなった場合は、照明領域からの照明光が顔に当たる量が減ってしまい、カメラ撮像時の光量不足で撮像した画像が暗くなるので、ディスプレイで表示される画像が暗く映る。

図２（ｂ）は本実施形態の電子鏡を示している。本実施形態では、ディスプレイと顔までの距離からユーザの視野範囲を取得し、視野範囲と同じ大きさの表示領域を画像の表示領域とし、それ以外の表示領域を照明の領域に用いる。そのためユーザの顔とディスプレイとの距離が近くなった場合も、撮像部（カメラ）光量不足を補うことができ、ユーザの顔がはっきりと見える画像が撮像される。なお、光量が確保できる場合は、画像を表示する領域以外のディスプレイ表示領域の全部を照明の領域に用いる必要はなく、画像を表示する領域に近いディスプレイの表示領域だけを照明用の領域に用いる。この場合は、照明用の領域の大きさ（面積）を変更せずに、位置だけを変更する。照明用の領域の外側のディスプレイの表示領域の輝度値を下げるか、非表示にするかによって、省電力の効果が得られる。

図２（ｃ）は本実施形態での電子鏡の物理的な構成を表している。ディスプレイの上下にカメラを設置し、それぞれのカメラで取得される２枚の画像から歪みのない１枚の画像を取得してディスプレイに表示する。ディスプレイから顔までの距離は２つのカメラから三角測量により測定する。カメラで撮れる撮像範囲はユーザとディスプレイの距離によってきまり、そのディスプレイの大きさは横５０ｃｍ、縦５０ｃｍを想定しており、ユーザが電子鏡の正面に立って利用することを想定している。

また、カメラはセンササイズがＡＰＳ−Ｃで焦点距離が１４ｍｍの超広角レンズを用いるものとし、画角が垂直６２度で水平８０度であり、ディスプレイとカメラのなす角度が２２度になるように設置してある。ユーザが電子鏡に１０ｃｍまで近づいた場合は横５０ｃｍ、縦３２ｃｍの撮像範囲となり、女性の顔の平均である横１５ｃｍ、縦２２ｃｍの大きさを包含する。

図３はデータの構成図である。距離データ３０１は距離取得部が取得したディスプレイからユーザの顔までの距離を示すデータである。顔の距離はディスプレイからユーザの顔までの距離を表す。

表示領域データ３０２は第１の表示領域と第２の表示領域を決定した際の第１の表示領域の四隅の位置座標を表す。表示領域データ３０２は領域ＩＤ、四隅の座標のｘ座標、ｙ座標で構成される。領域ＩＤは領域と座標を紐付けるための識別子である。位置座標はディスプレイの左下を原点とした二次元の座標系で表し、正の値を取る。

視野範囲データは人が電子鏡に近づいた際に、視野に入るディスプレイの表示領域の四隅の座標を表す。視野範囲データ３０３は四隅の座標のｘ座標、ｙ座標で構成される。位置座標はディスプレイの左下を原点とした二次元の座標系で表し、正の値を取る。

上述の動作を、フローチャートに従って説明する。図４はディスプレイの表示を変更する際のフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

まず、ステップＳ４０１において、データ取得部１２１が２つのカメラ１０１から２枚の画像データを取得して、それぞれの画像を正対画像になるように幾何変換を行った後に１枚の画像データに結合してデータ保存部１２７に保存する。本実施形態では幾何変換にアフィン変換を用い、画像の合成に変換後の画像を上下半分で切り取り結合したものを用いる。

次に、ステップＳ４０２において、距離取得部１２２がディスプレイとユーザの顔との距離を取得する。ディスプレイとユーザの顔との距離は、２つのカメラによってディスプレイから、本実施形態ではユーザの目と目の間の中心までの距離を三角測量により測定して、距離データ３０１としてデータ保存部に保存する。本実施形態ではディスプレイの左下に実世界座標の原点が来るようにあらかじめキャリブレーションにより調整している。

次に、ステップＳ４０３において、視野範囲取得部１２５が距離データの距離に基づいて視野範囲を取得し、その四隅の座標を視野範囲データ３０３としてデータ保存部１２７に保存する。このステップで取得する視野範囲は、ユーザが表示装置のディスプレイを直視し、両目を動かさない状態で表示される画像の色を視認できるディスプレイ上の範囲である。本実施形態では、ユーザが表示装置のディスプレイを直視すると仮定し、ユーザの視線からの角度は左右、上下に６０度からディスプレイを見える範囲を視野範囲として取得する。これより、本実施形態では、視野範囲は次式でディスプレイとユーザの顔との距離に基づいて算出する。（視野範囲）＝２×（ディスプレイから顔までの距離）×（ｔａｎ３０°）。なお、顔までの距離は、ディスプレイとユーザの両目の間の中心位置までの距離である。顔までの距離が１０ｃｍだった場合は、視野範囲の大きさは、左右に１２ｃｍ、上下に１２ｃｍとなる。そして、ディスプレイ上での両目の間の中心位置の座標から視野範囲の中心座標を求める。ディスプレイの座標（２５ｃｍ、２５ｃｍ）に両目の間の中心位置の座標が一致する場合、ディスプレイの視野範囲の四隅の座標は（１９ｃｍ、１９ｃｍ）、（１９ｃｍ、３１ｃｍ）、（３１ｃｍ、１９ｃｍ）、（３１ｃｍ、３１ｃｍ）となる。

次に、ステップＳ４０４において、表示領域決定部１２３がデータ保存部１２７に保存された視野範囲データ３０３に基づいて第１の表示領域の座標と、第２の表示領域の座標とを決定し、表示領域データ３０２としてデータ保存部１２７に保存する。本実施形態では、ディスプレイの表示領域から第１の表示領域を除いた領域を第２の表示領域とする。第１の表示領域は視野範囲である（１９ｃｍ、１９ｃｍ）、（１９ｃｍ、３１ｃｍ）、（３１ｃｍ、１９ｃｍ）、（３１ｃｍ、３１ｃｍ）の矩形領域に定める。第２の表示領域は（０ｃｍ、０ｃｍ）、（５０ｃｍ、０ｃｍ）、（０ｃｍ、５０ｃｍ）、（５０ｃｍ、５０ｃｍ）から上記の第１の表示領域を除いた領域とする。なお、データ保存部に保存された視野範囲データ３０３は、ステップＳ４０３で説明した方法により、ディスプレイとユーザの顔との距離に基づいて算出することができる。従って、表示領域決定部がディスプレイとユーザの顔との距離に基づいて第１の表示領域の座標と、第２の表示領域の座標とを決定してもよい。即ち、ステップＳ４０３とステップＳ４０４とを合わせて一つのステップとして処理してもよいので、ステップＳ４０３の視野範囲を取得する処理は必須ではない。

次に、ステップＳ４０５において、表示変更部１２４がデータ保存部１２７に保存されている表示領域データ３０２を用いて、第２の表示領域の表示を変更する。本実施形態では、第１の表示領域に撮像された顔の部分の画像を表示し、第２の表示領域に表示する画像の各画素の輝度値の平均値を所定値以上の輝度値で表示する。第２の表示領域に白色の画像を表示する場合は輝度値が最大になる。第２の表示領域の輝度値はディスプレイから顔までの距離に従って変更してもよい。輝度の決定の仕方には、ディスプレイから顔までの距離に従って線形に変化するように設定してもよい。また、輝度の所定値は、撮像部（カメラ１０１）の照明用として必要な明るさを維持することができるかで決定してもよい。例えば、撮像部で撮像した画像の明るさから、照明領域で表示する画像の輝度の所定値を決定する。

そして、ステップＳ４０６において、データ表示制御部１２６が第１の表示領域に顔の部分を表示したまま、第２の表示領域に所定値以上の輝度値の画像、例えば白色の画像を表示する。以上ステップＳ４０１〜ステップＳ４０６の処理が終わったら、引き続きステップＳ４０１に戻って同様の処理を繰り返す。また、取得した視野範囲が広く、第１の表示領域のみになった場合は、データ表示部は第１の表示領域だけに画像を表示する。

以上の説明では、第２の表示領域に白色の画像を表示する場合についての説明を行ったが、昼光色、昼白色や電球色といった環境を考慮した色の表示を行ってよい。

本実施形態によれば、ディスプレイと顔までの距離に基づいて照明用の表示領域の位置や大きさを決定することによって、ユーザが電子鏡に顔を近づけても、撮像に必要な明るさを維持することができる。

＜実施形態２＞
本実施形態の情報処理装置のハードウェア構成は、実施形態１と同じである。

実施形態１では、両目でディスプレイを見ていることを仮定した場合の視野範囲を特定する方法について述べた。本実施形態では、ユーザが顔をディスプレイ（電子鏡）に近づけて、顔を傾けて片目で電子鏡を見て、例えば化粧をする場合を想定する。顔の傾斜測定をし、照明用の表示領域（第２の表示領域）を変更する方法について述べる。

図５は本実施形態のユースケースの模式図である。実施形態１ではステップＳ４０３で視野範囲取得部１２５が取得する視野範囲は、顔面がディスプレイと略並行していると仮定した場合の人の視野特性を考慮してディスプレイと顔との距離に基づいて視野範囲を算出している。本実施形態では、ユーザが顔を傾けて片目で電子鏡を見る場合を想定している。本実施形態では、ディスプレイからユーザの両目までの距離をそれぞれ取得し、そこから両目の間の中心位置を通る直線を求め、その直線がディスプレイ上の端部にあるかを判定することによりユーザが顔を傾けて片目で電子鏡を見るかを判定する。次に、本実施形態の詳細について述べる。

まず、距離取得部１２２によりディスプレイからユーザの左目、右目のそれぞれまでの距離を取得する。ただし、座標系はディスプレイの中心を原点とする。次に、左目と右目との間の中点位置と、左目の位置と右目の位置を結ぶ線の傾きを算出し、そこからユーザの両目の間（顔の中心）を通る直線を求める。例えば、左目の座標が（−５，２０）で右目の座標が（５，３０）だった場合、直線はｙ＝−ｘ＋２５となる。それから、直線がディスプレイ上のどの位置を通るかを求める。ここでは、ｘ＝２５となる。

これより、顔の中心を通る直線がディスプレイの端部に位置することが分かり、ディスプレイから右目の視野が外れるため、ステップＳ４０３において、視野範囲取得部１２５が取得する視野範囲がユーザの左目の視野範囲に絞られる。その際の視野範囲は次式で計算できる。（視野範囲）＝（顔の中心までの距離）×（ｔａｎ３０°）。これにより、視野範囲は横１４ｃｍ、縦１４ｃｍとなる。ディスプレイ上での顔の中心の位置座標が（２５ｃｍ、２５ｃｍ）であった場合、視野範囲の四隅の座標は（１８ｃｍ、１８ｃｍ）、（１８ｃｍ、３２ｃｍ）、（３２ｃｍ、１８ｃｍ）、（３２ｃｍ、３２ｃｍ）となる。

次に、ステップＳ４０４において、表示領域決定部１２３がユーザの左目の視野範囲に基づいて第１の表示領域の座標と、第２の表示領域の座標とを決定する。

本実施形態では、ユーザの顔の傾きから、ユーザがディスプレイを片目で見ているかどうかを判定することにより視野範囲をより正確に取得することができる。これにより、第１の表示領域と第２の表示領域とをより適切に決定することができる。

＜実施形態３＞
実施形態１では、取得した視野範囲を第１の表示領域とする方法について述べた。本実施形態では、ディスプレイの閲覧者（ユーザ）の視線位置を特定して、視線位置を含む表示領域を第１の表示領域にする方法について述べる。なお、本実施形態の電子鏡では、ユーザが撮像された自分の顔の部位を注視していると仮定し、ユーザが注視している顔の部位を第１の表示領域とする。顔の部位は、例えば、目、鼻や口などである。

図６はサーバ１０３で本実施形態を実現するためのモジュールの構成図である。

本実施形態の情報処理装置のハードウェア構成は実施形態１と同様である。モジュールの構成はデータ取得部１２１、距離取得部１２２、表示領域決定部１２３、表示変更部１２４、データ保存部１２７、データ表示制御部１２６は実施形態１と同様である。視線位置特定部６０１はデータ保存部の画像データから視線の位置を特定して、視線位置座標をデータ保存部に保存する。部位認識部６０２はデータ保存部にあらかじめ保存されている認識モデルを用いて、閲覧者の顔の部位を認識して、部位の領域の位置座標をデータ保存部に保存する。表示領域決定部１２３はデータ保存部に保存されている視線の位置座標と顔の各部位の位置座標を用いて、第１の表示領域と第２の表示領域を決定した際の第１の表示領域の位置座標をデータ保存部に保存する。ただし、位置座標はディスプレイの左下を原点とした座標系とし、正の値を取る。

図７はデータの構成図である。距離データ３０１、表示領域データ３０２は実施形態１と同様である。視線位置データ７０１はユーザがディスプレイのどの部分を見ているかの座標を表す。視線位置データは座標１のｘ座標とｙ座標で構成され、ディスプレイの左下を原点として二次元の座標系で表し、正の値を取る。部位データ７０２は顔の部位とその領域の座標を表し、表示領域を決定する際に用いる。本実施形態では顔の各部位の領域は矩形として四隅の座標を保持する。四隅以上のより細かい座標を保持してもよい。部位データは部位ＩＤ、四隅のｘ座標とｙ座標で構成される。部位ＩＤは顔の部位と座標を紐付けるための識別子である。

上述の動作を、フローチャートに従って説明する。図８はディスプレイの表示を変更する際のフローチャートである。

ステップＳ４０１、ステップＳ４０２は実施形態１と同様であり、画像データ、距離データ３０１をデータ保存部１２７に保存する。次に、ステップＳ８０１において、視線位置特定部６０１がデータ保存部に保存されている画像から視線の位置座標を視線位置データ７０１としてデータ保存部に保存する。本実施形態では先行文献、特許文献２で用いられている技術を用い画像から視線の位置座標を求める。

次に、ステップＳ８０２において、部位認識部６０２があらかじめデータ保存部に保存してある部位認識用モデルデータと画像データを用いて顔の部位を認識する。認識した顔の部位の表示領域のディスプレイ上の位置座標を特定し、部位データ７０２としてデータ保存部に保存する。本実施形態では、顔の部位の表示領域は矩形として近似し、矩形の四隅の座標を部位データとして保持する。

次に、ステップＳ８０３において、表示領域決定部１２３がデータ保存部に保存された視線位置データと部位データに基づいて、視線位置を包含する顔の部位表示領域を第１の表示領域に決定する。そして、第１の表示領域と第２の表示領域との座標を表示領域データ３０２としてデータ保存部に保存する。本実施形態では、部位データの包含関係を調べて第１の表示領域を決定し、第１の表示領域以外の領域を第２の表示領域とする。例えば、視線の位置座標が（２５ｃｍ，２５ｃｍ）であった場合、部位ＩＤが０００２の部位の領域の座標（１９ｃｍ、１９ｃｍ）、（１９ｃｍ、３１ｃｍ）、（３１ｃｍ、１９ｃｍ）、（３１ｃｍ、３１ｃｍ）が視線位置座標を包含する。この領域を第１の表示領域に定め、第２の表示領域は第１の表示領域を除いた領域とする。

次のステップＳ４０６、ステップＳ４０７は実施形態１と同様であり、表示領域データ３０２を用いて第１の表示領域と第２の表示領域の表示を変更し、表示を行う。ステップＳ４０７の処理が終わったら、引き続きステップＳ４０１に戻って同様の処理を繰り返す。

以上の説明では、ユーザの注視している顔の部位の領域を第１の表示領域としたが、あらかじめ矩形領域の大きさを定めておき、第１の表示領域に視線位置を中心とした矩形領域を用いてもよい。矩形領域の大きさには実施形態１で示した、視野範囲の面積などを用いてよい。

本実施形態では、視線位置に基づいて第１の表示領域を特定することにより、視線が移動して視野範囲が変化した場合でも第１の表示領域の適切な位置を定めることができ、ユーザが注目している箇所をより適切な明るさで表示することができる。

＜実施形態４＞
本実施形態の情報処理装置のハードウェア構成は、実施形態１と同じであるが、本実施形態の情報処理装置は、電子鏡ではなく、デジタルサイネージである。従って、本実施形態の情報処理装置の表示部は、電子鏡の表示部よりもサイズが大きい場合が多い。

実施形態１では、電子鏡を例にとって人が近づいた場合にディスプレイの一部の表示領域をカメラの照明領域として明るくする表示方法について述べた。本実施形態では、デジタルサイネージに人が近づいた場合に、距離に反比例して表示領域の一部の輝度を下げる表示方法について述べる。

図９は本実施形態のユースケースの模式図である。システム構成、ハードウェア構成およびモジュール構成は実施形態１と同様である。ただし、データ表示制御部１２６はデジタルサイネージにおいて広告を表示することを想定し、広告データはあらかじめデータ保存部に保存されているものとする。

ここでは、説明を簡単にするためにデジタルサイネージに近づいているユーザは１人の場合を仮定する。図９（ａ）はデジタルサイネージの使用例を表したものである。デジタルサイネージに複数の広告を表示しており、その広告に興味を持った１人がディスプレイに近づくことを想定している。

図９（ｂ）は本実施形態でのデジタルサイネージの物理的な構成を表している。ディスプレイを備え、その上下にカメラを設置している。ディスプレイは広告を表示するのに用いられる。また、カメラで取得される２枚の画像を用いてディスプレイから顔の中心までの距離を三角測量により測定する。ディスプレイの大きさは縦１７０ｃｍ、横１００ｃｍのものを想定している。カメラはセンササイズがＡＰＳ−Ｃで焦点距離が１４ｍｍの超広角レンズを用いているものとし、ディスプレイとカメラのなす角度が１９度になるように設置してある。

図９（ｃ）はデジタルサイネージの一つの表示方法である。ユーザとディスプレイの距離が遠い場合には輝度を高くし、近い場合には輝度を低くする。この場合、近づいた人は眩しさを感じにくくなり見やすくなるが、デジタルサイネージの遠くにいる人は輝度の低下により広告が見にくくなる。

図９（ｄ）はデジタルサイネージの望ましい表示方法である。本実施形態では、ユーザが近づいた場合にそのユーザの視野範囲を特定しその領域の輝度を低くし、周辺の領域の輝度を維持する。これにより、近づいたユーザは眩しさを感じることなく、一方で遠くの人が見にくくなるという問題が解決できる。

上述の動作を、フローチャートに従って説明する。図１０はディスプレイの表示を変更する際のフローチャートである。

データの構成は実施形態１と同様である。ステップＳ４０２からステップＳ４０４までは実施形態１と同様である。距離データ、視野範囲データ、表示領域データをデータ保存部１２７に保存する。

次に、ステップＳ１００１において、表示変更部がデータ保存部に保存されている表示領域データを用いて、第１の表示領域の表示を変更する。本実施形態では、第１の表示領域で表示される画像の各画素の輝度値を、デジタルサイネージに近づいているユーザとデジタルサイネージとの距離に反比例して小さくする。本実施形態では、第２の表示領域で表示する画像の輝度値は変更しない。輝度の最小値を０、最大値を２５５とすると第１の表示領域の輝度値は次式で計算する。（輝度値）＝ｍｉｎ（２５５，ｍａｘ（０，２５５／距離）））を用いる。距離の単位はｃｍである。ステップＳ４０７は実施形態１と同様で変更した表示の仕方で表示する。本実施形態では、領域ごとに輝度値を変更した広告を表示する。以上ステップＳ４０７の処理が終わったら、引き続きステップＳ４０２に戻って同様の処理を繰り返す。

以上の説明では、輝度値の変化の要因に距離を用いたが、デジタルサイネージを閲覧する閲覧者（ユーザ）の年齢や性別、身長、眼鏡をかけているかなどの属性を用いて第１表示領域の輝度の調整を行ってもよい。また以上の説明では、輝度の変更についてのみ言及したが、輝度の変更と同時に、或いは輝度の変更の替わりに文字フォントの大きさ、コントラスト、解像度等を変更してもよい。また、近づいたユーザ向けに視野範囲に広告全体を縮小したものを表示したり、詳細情報を表示したりしてもよい。また、第１の表示領域を視野に基づいて決定してもよい。

本実施形態によれば、デジタルサイネージの広告を見ている人が近づいてきた場合に、視野範囲に基づいて表示領域を決定する。決定された表示領域で表示される画像の各画素の輝度値を、距離に反比例して小さくすることで、近づいた人が眩しさを感じることなく、一方で遠く離れた周囲の人が広告を見づらくなることがない。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２１ データ取得部
１２２ 距離取得部
１２３ 表示領域決定部
１２４ 表示変更部
１２５ 視野範囲特定部
１２６ データ表示制御部
１２７ データ保存部

Claims (10)

1. 撮像手段によって撮像された画像を表示手段に表示させる表示制御手段と、
   ユーザと前記表示手段との距離を取得する距離取得手段と、
   取得された前記距離に基づいて、撮像された前記画像に基づいて表示する前記表示手段の第１の表示領域と、前記撮像手段の照明用として所定値以上の輝度値で表示する前記表示手段の第２の表示領域と、を決定する領域決定手段と、
   前記距離取得手段によって取得された前記距離の変化に応じて、前記第２の表示領域の位置を変更する表示変更手段と、
   を備えることを特徴とする情報処理装置。
2. 前記表示変更手段は、前記距離取得手段によって取得された前記距離の変化に応じて、前記第２の表示領域の大きさをさらに変更することを特徴とする請求項１に記載の情報処理装置。
3. 前記領域決定手段は、前記距離取得手段によって取得された前記距離に基づいて、前記第１の表示領域の位置と大きさとを決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記領域決定手段は、ユーザが色を識別できる視野範囲に基づいて、前記第１の表示領域の位置と大きさとを決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記距離取得手段は、前記ユーザの左目から前記表示手段までの距離と前記ユーザの右目から前記表示手段までの距離とを取得し、
   前記領域決定手段は、前記ユーザの左目から前記表示手段までの距離と前記ユーザの右目から前記表示手段までの距離とに基づいて、前記ユーザの顔の傾きを特定し、特定された前記ユーザの顔の傾きに基づいて、前記第１の表示領域と前記第２の表示領域とを決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記画像を表示する前記表示手段における前記ユーザの視線位置を特定する特定手段をさらに備え、前記領域決定手段は、前記特定手段によって特定された前記視線位置に基づいて、前記第１の表示領域と前記第２の表示領域とを決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記撮像画像に前記ユーザの顔の画像が含まれ、前記顔の画像から顔の部位を認識し、前記顔の部位を表示する部位表示領域を特定する部位認識手段をさらに備え、前記領域決定手段は、前記視線位置を包含する前記部位表示領域に基づいて、前記第１の表示領域を決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示制御手段は、前記第２の表示領域において白色画像を表示させることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 撮像手段によって撮像された画像を表示手段に表示させる表示制御工程と、
   ユーザと前記表示手段との距離を取得する距離取得工程と、
   取得された前記距離に基づいて、撮像された前記画像に基づいて表示する前記表示手段の第１の表示領域と、前記撮像手段の照明用として所定値以上の輝度値で表示する前記表示手段の第２の表示領域と、を決定する領域決定工程と、
   前記距離取得工程によって取得された前記距離の変化に応じて、前記第２の表示領域の位置を変更する表示変更工程と、
   を備えることを特徴とする情報処理方法。
10. 撮像手段によって撮像された画像を表示手段に表示させる表示制御ステップと、
    ユーザと前記表示手段との距離を取得する距離取得ステップと、
    取得された前記距離に基づいて、撮像された前記画像に基づいて表示する前記表示手段の第１の表示領域と、前記撮像手段の照明用として所定値以上の輝度値で表示する前記表示手段の第２の表示領域と、を決定する領域決定ステップと、
    前記距離取得工程によって取得された前記距離の変化に応じて、前記第２の表示領域の位置を変更する表示変更ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images