JP2015029168A - 電子ミラー装置 - Google Patents

Abstract

【課題】ユーザの使い勝手を向上させた電子ミラー装置を提供する。
【解決手段】実施形態に係る電子ミラー装置１００は、ユーザ５０の顔を撮像してユーザ５０の顔の鏡像の画像を表示する電子ミラー装置であって、第１の偏光フィルタ１１を介してユーザ５０の顔を撮像するカメラ１０と、第２の偏光フィルタ２１を介してユーザ５０の顔に偏光を照射する偏光照明装置２０と、カメラ１０で撮像したユーザの顔の鏡像の画像５１を表示するディスプレイ３０とを備え、カメラ１０とディスプレイ３０とが隣接して配置されている。
【選択図】図１

Description

本開示は、電子ミラー装置に関する。

カメラで撮像した画像をディスプレイに表示して鏡として使用する、いわゆる電子ミラー装置が提案されており、携帯端末のアプリケーションとして使用することが提案されている（例えば、特許文献１）。

電子ミラー装置では撮像した画像の鏡像をディスプレイに表示することにより、ユーザは、光を反射する普通の鏡と同様の感覚で使用することができる。

実用新案登録第３１５４５２９号公報

本開示は、ユーザの使い勝手を向上させた電子ミラー装置を提供する。

本開示の一態様に係る電子ミラー装置は、ユーザの顔を撮像してユーザの顔の鏡像の画像を表示する電子ミラー装置であって、第１の偏光フィルタを介してユーザの顔を撮像するカメラと、第２の偏光フィルタを介してユーザの顔に偏光を照射する偏光照明装置と、カメラで撮像したユーザの顔の鏡像の画像を表示するディスプレイとを備え、カメラとディスプレイとが隣接して配置されている。

本開示の一態様に係る電子ミラー装置によれば、ユーザの顔の肌計測に適した画像データを得ることができる。

実施形態に係る電子ミラー装置を示す図である。 （ａ）は実施形態に係る電子ミラー装置を示す図であり、（ｂ）は実施形態に係る制御装置の構成を示す図であり、（ｃ）は実施形態に係るクラウドサーバの構成を示す図である。 実施形態に係るディスプレイに表示される情報を示す図である。 実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置を示す図である。 実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置を示す図である。 （ａ）および（ｂ）は、実施形態に係る電子ミラー装置の顔の向きを補正する処理を示す図である。 実施形態に係る電子ミラー装置を示す図である。

本開示の一態様の概要は以下のとおりである。

本開示の一態様に係る電子ミラー装置は、ユーザの顔の鏡像の画像を表示する電子ミラー装置であって、第１の偏光フィルタを介して前記ユーザの顔を撮像する第１のカメラと、第２の偏光フィルタを介して前記ユーザの顔に偏光を照射する第１の偏光照明装置と、前記第１のカメラで撮像した前記ユーザの顔の鏡像の画像を表示するディスプレイとを備え、前記第１のカメラと前記ディスプレイとが隣接して配置されている。

本開示の一態様に係る電子ミラー装置は、ユーザの顔を撮像する電子ミラー装置であって、第１の偏光フィルタを介して前記ユーザの顔を撮像する第１のカメラと、第２の偏光フィルタを介して前記ユーザの顔に偏光を照射する第１の偏光照明装置と、ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記第１のカメラで撮像した前記ユーザの顔の画像データを外部へ出力するインターフェースとを備え、前記インターフェースは、前記ディスプレイを有する端末を、前記インターフェースを介して接続したときに、前記第１のカメラと前記ディスプレイとが隣接して配置されるよう構成されている。

例えば、前記第１のカメラと前記第１の偏光照明装置と前記ディスプレイとが略同一平面状に配置されていてもよい。

例えば、前記第１の偏光フィルタの透過偏光軸と前記第２の偏光フィルタの透過偏光軸とは互いに直交していてもよい。

例えば、前記第１の偏光照明装置は、第２の偏光軸の方向に振動する偏光を前記ユーザの顔に照射し、前記第１のカメラは、前記ユーザの顔で反射した光のうちの、前記第２の偏光軸の方向とは異なる第１の偏光軸の方向に振動する偏光を受光して、前記ユーザの顔を撮像してもよい。

例えば、前記第１のカメラで撮像した前記ユーザの顔の画像データを用いて前記ユーザの肌計測を行う肌計測部をさらに備えてもよい。

例えば、前記肌計測部は、前記ユーザの顔の画像データと、クラウドサーバ中のデータとを照合し、前記ユーザの肌計測を行ってもよい。

例えば、前記肌計測部は、顔の向きを補正した画像データを用いて前記ユーザの肌計測を行ってもよい。

例えば、前記電子ミラー装置と前記ユーザの顔との間の距離を測定する測距装置をさらに備え、前記ディスプレイは、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離になるように前記ユーザを誘導するガイドを表示してもよい。

例えば、第３の偏光フィルタを光路に備えた第２のカメラをさらに備え、前記第１の偏光フィルタの透過偏光軸と前記第３の偏光フィルタの透過偏光軸とは互いに直交していてもよい。

例えば、第３の偏光フィルタを光路に備えた第２のカメラをさらに備え、前記第１の偏光フィルタの透過偏光軸と前記第３の偏光フィルタの透過偏光軸とは互いに直交しており、前記第１のカメラで撮像した第１の画像と前記第２カメラで撮像した第２の画像から前記電子ミラー装置と前記ユーザの顔との間の距離を測定し、前記ディスプレイは、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離になるように前記ユーザを誘導するガイドを表示してもよい。

例えば、前記肌計測部は、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離のときに撮像して得た顔の画像データを用いて肌計測を行ってもよい。

例えば、第４の偏光フィルタを光路に備えた偏光照明装置をさらに備え、前記第２の偏光フィルタの透過偏光軸と前記第４の偏光フィルタの透過偏光軸とは互いに直交していてもよい。

例えば、無偏光照明装置をさらに備えてもよい。

例えば、前記偏光照明装置は青色光を出射してもよい。

例えば、前記偏光照明装置はシアン色光を出射してもよい。

例えば、前記偏光照明装置は白色光を出射してもよい。

例えば、前記偏光照明装置は、前記カメラの左右に配置されてもよい。

例えば、前記偏光照明装置は、前記ディスプレイの周囲に配置されてもよい。

例えば、前記偏光照明装置をオンの状態で撮像して得た第１の顔画像データと、前記偏光照明装置をオフの状態で撮像して得た第２の顔画像データとを生成し、前記第１の顔画像から前記第２の顔画像を減算処理して第３の顔画像データを生成してもよい。

例えば、前記電子ミラー装置は、カメラを内蔵した電子機器に接続されたとき、前記電子機器のカメラで撮像して得た顔画像データを用いて、前記ディスプレイに前記ユーザの顔の鏡像の画像を表示し、前記電子ミラー装置のカメラで撮像して得た顔画像データを用いて肌計測を行ってもよい。

本開示の一態様に係る制御方法は、ユーザの顔を撮像して前記ユーザの顔の鏡像の画像を表示する電子ミラー装置を制御する制御方法であって、第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、ディスプレイに前記カメラで撮像した前記ユーザの顔の鏡像の画像を表示させる。

本開示の一態様に係る制御方法は、ユーザの顔を撮像する電子ミラー装置を制御する制御方法であって、第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記カメラで撮像した前記ユーザの顔の画像データを外部へ出力させる。

本開示の一態様に係るコンピュータプログラムは、電子ミラー装置にユーザの顔を撮像させて前記ユーザの顔の鏡像の画像を表示させるコンピュータプログラムであって、前記電子ミラー装置のコンピュータに、第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、前記カメラで撮像した前記ユーザの顔の鏡像の画像をディスプレイに表示させる。

本開示の一態様に係るコンピュータプログラムは、電子機器にユーザの顔を撮像させるコンピュータプログラムであって、前記電子機器のコンピュータに、第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記カメラで撮像した前記ユーザの顔の画像データを外部へ出力させる。

以下、実施形態に係る電子ミラー装置を、図面を参照しながら説明する。

（実施形態１）
図１は、実施形態１に係る電子ミラー装置１００を示す図である。電子ミラー装置１００は、ユーザの顔を撮像してその鏡像の画像を表示する。また、電子ミラー装置１００は、得られたユーザの顔の肌画像に基づいて肌の状態を評価する。

電子ミラー装置１００は、第１の偏光フィルタ１１を介してユーザの顔を撮像するカメラ１０と、第２の偏光フィルタ２１を介してユーザの顔に偏光を照射する偏光照明装置２０と、カメラ１０で撮像したユーザの顔の鏡像の画像を表示するディスプレイ３０とを備える。鏡像の画像とは、カメラ１０で撮像した画像を左右反転させて得られる画像である。

カメラ１０とディスプレイ３０とは隣接して配置されている。隣接して配置とは、具体的には、カメラ１０で撮影されるユーザが、撮影時にその鏡像を目視で確認できる位置にディスプレイが存在していることを意味する。本実施形態においては、カメラ１０と偏光照明装置２０とディスプレイ３０とは、ｘｚ平面において略同一平面状に配置されている。ディスプレイ３０はユーザのタッチ操作を受け付けるタッチパネルを備えていてもよい。また、図１の例では、偏光照明装置２０はカメラ１０の左右に配置されている。

図２（ａ）は、ユーザ５０の顔の鏡像５１を表示する電子ミラー装置１００を示す図である。図２（ｂ）は、電子ミラー装置１００が備える制御装置４０の構成を示す図である。制御装置４０は、マイクロコンピュータ４０Ａと、メモリ４０Ｂと、通信部４０Ｃとを備える。マイクロコンピュータ４０Ａは、以下に説明する動作を含む電子ミラー装置１００全体の動作を制御する。また、マイクロコンピュータ４０Ａは、画像処理や肌計測処理等の以下に説明する各種処理を実行する。例えば、電子ミラー装置１００の各動作を制御するためのコンピュータプログラムがメモリ４０Ｂに記憶されており、マイクロコンピュータ４０Ａは、そのコンピュータプログラムに従って、電子ミラー装置１００の各構成要素の動作を制御したり、画像処理や肌計測処理等の各種処理を実行したりする。このように、マイクロコンピュータ４０Ａは、カメラ１０で撮像したユーザの顔の画像データを用いてユーザの肌計測を行う肌計測部としても機能する。

制御装置４０の通信部４０Ｃは、通信ネットワーク２１０を介して、肌の分析および評価に関するサービスを提供するサービス提供者のクラウドサーバ２００と接続されてもよい。この場合、通信部４０Ｃは、撮像された画像、画像の特徴指標、肌の評価値などをクラウドサーバ２００へ送信する。通信ネットワーク２１０は有線で図示しているが、無線であってもよい。図２（ａ）では、電子ミラー装置１００は１つしか示されていないが、クラウドサーバ２００は、複数の電子ミラー装置１００に接続され得る。なお、肌計測処理は電子ミラー装置１００が行ってもよいし、クラウドサーバ２００が行ってもよい。

図２（ｃ）は、クラウドサーバ２００の構成を示す図である。クラウドサーバ２００は、マイクロコンピュータ２００Ａと、メモリ２００Ｂと、通信部２００Ｃと、データベース２００Ｄとを備える。クラウドサーバ２００の通信部２００Ｃは、ユーザ情報、撮像された画像、画像の特徴指標、肌の評価値などを複数の電子ミラー装置１００から受け取る。クラウドサーバ２００は、複数の電子ミラー装置１００から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部２００Ｃを介して、それら統計データや相関関係を各電子ミラー装置１００に送信する。

次に、電子ミラー装置１００の動作をより詳細に説明する。

カメラ１０は、撮像レンズとイメージセンサを備えており、被写体像を撮像して画像データを生成する。この例では、ユーザ５０の顔を撮像して、ユーザ５０の顔の画像データを生成する。マイクロコンピュータ４０Ａは、撮像したユーザ５０の顔の画像データに基づいて、ユーザ５０の顔の鏡像の画像データを生成してディスプレイ３０へ出力する。ディスプレイ３０は、左右反転された鏡像の顔画像５１を表示する。ディスプレイ３０が表示する画像は動画であるが、静止画であってもよい。ディスプレイ３０に左右反転された鏡像が表示されることにより、ユーザは光を反射する普通の鏡と同様の感覚で電子ミラー装置１００を使用することができる。

図１に示す電子ミラー装置１００の例では、カメラ１０の第１の偏光フィルタの透過偏光軸と、偏光照明装置２０の第２の偏光フィルタ２１の透過偏光軸とは互いに直交している。偏光照明装置２０の光源には、例えば白色のＬＥＤが用いられる。肌状態の評価を行うとき、第２の偏光フィルタ２１を備えた偏光照明装置２０は、第２の偏光軸の方向に振動する偏光をユーザ５０の顔に照射する。ユーザ５０の顔で反射した光の一部は、第１の偏光フィルタ１１を備えたカメラ１０に入射し、カメラ１０は第１の偏光軸の方向に振動する偏光を主に受光し、ユーザの顔を撮像する。

マイクロコンピュータ２００Ａは、ユーザの顔の画像データから肌領域を抽出し、肌領域の特徴を示す１つ以上の特徴指標を算出する。特徴指標は、例えば、肌のシミや肌の色等である。

顔肌に到達した光には、反射される成分と吸収される成分があり、カメラ１０は反射される成分の光を撮像する。顔肌で反射される光には、顔肌の表面で反射する成分と、顔肌の内部に入り込んで散乱を繰り返した後、入射した位置とは異なる位置から出射する成分がある。

顔肌の表面で反射する光は、さらに鏡面反射する成分と拡散反射する成分に分けられる。顔肌で鏡面反射する成分は、偏光が維持された状態となる。また、顔肌で拡散反射する成分と、顔肌の内部に入り込んで異なる位置から出射する成分は、偏光状態が乱れた無偏光の状態となる。

カメラ１０の第１の偏光フィルタ１１は、偏光照明装置２０の第２の偏光フィルタ２１の偏光軸と直交する偏光軸を有しているため、顔肌で鏡面反射する光の成分の大部分をカットする。また、顔肌の表面で拡散反射した光と、顔肌の内部に入り込んで異なる位置から出射する光は無偏光であるが、カメラ１０の第１の偏光フィルタ１１は、これら無偏光の光の成分の中で、第１の偏光軸の方向に振動する光の成分を透過する。つまり、第１の偏光フィルタ１１を透過した光によって撮像した画像情報は、顔肌の表面で拡散反射した光の成分と、顔肌の内部に入り込んで異なる位置から出射する光の成分を有している。

前述した顔肌の内部とは、表皮領域であり、表皮領域の中でシミが発生している領域にはメラニンが生成されている。表皮に入り込んだ光は、メラニンによって減衰されるため、シミのある領域の画像の輝度は低下する。第１の偏光フィルタ１１を透過した光によって生成した画像は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミの状態や肌の色等が見やすくなる。

マイクロコンピュータ２００Ａは、上述した肌領域の特徴を示す１つ以上の特徴指標を算出し、その結果を示す画像データを生成してディスプレイ３０に出力する。図３は、肌計測結果の表示の一例を示す図である。図３に示す例では、ユーザの顔の鏡像５１とともに、シミの画像５２、特徴指標のレーダーチャート５３がディスプレイ３０に表示されている。ユーザ５０はこれらの表示情報から自分の肌状態を知ることができる。このように、ユーザ５０は、鏡として用いる電子ミラー装置１００から自分の肌状態を知ることができる。

なお、撮像して得られた顔画像データと、上述したクラウドサーバ２００のデータベース２００Ｄに格納された各データとを照合し、特徴指標を算出してもよい。

また、偏光照明装置２０の光源として、青色光またはシアン色光を出射する光源を用いてもよい。カメラ１０が撮像して得る画像は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミの状態が見やすくなる。表皮に入り込んだ光は、メラニンによって減衰されるため、シミのある領域の画像の輝度は低下する。また、メラニンの吸収は短波長側ほど大きくなるため、青やシアンの帯域の光を用いて撮像することにより、シミによるコントラストが大きくなるため、可視化しやすくなる。なお、カラー画像に含まれる青色の画像情報と緑色の画像情報とを用いてシアンの画像情報を生成してもよい。

また、偏光照明オンの状態で撮像して得た第１の顔画像と、偏光照明オフの状態で撮像して得た第２の顔画像とを順次生成し、第１の画像から第２の画像を減算処理して出力画像を取得してもよい。これにより、出力画像において室内照明等の環境光の影響を低減することができ、例えば出力画像から肌の状態を定量化する場合において、環境光が測定毎に変化してもそれに依存しない定量値を得ることができる。

次に、図４を参照して、実施形態に係る電子ミラー装置１００の別の例を説明する。図４に示す電子ミラー装置１００は、図１に示す電子ミラー装置１００と比較して、第３の偏光フィルタ１３を光路に備えたカメラ１２をさらに備える。

カメラ１０の第１の偏光フィルタの透過偏光軸とカメラ１２の第３の偏光フィルタ１３の透過偏光軸とは互いに直交している。カメラ１２の第３の偏光フィルタ１３の透過偏光軸と、偏光照明装置２０の第２の偏光フィルタ２１の透過偏光軸とは互いに平行である。

肌状態の評価を行うとき、第２の偏光フィルタ２１を備えた偏光照明装置２０は、第２の偏光軸の方向に振動する偏光をユーザ５０の顔に照射する。ユーザ５０の顔で反射した光の一部は、第１の偏光フィルタ１１を備えたカメラ１０および第３の偏光フィルタ１３を光路に備えたカメラ１２に入射する。カメラ１０は第１の偏光軸の方向に振動する偏光を主に受光し、ユーザの顔を撮像する。カメラ１２は第２の偏光軸の方向に振動する偏光を主に受光し、ユーザの顔を撮像する。

上述したように、カメラ１０の第１の偏光フィルタ１１は、偏光照明装置２０の第２の偏光フィルタ２１の偏光軸と直交する偏光軸を有しているため、顔肌で鏡面反射する光の成分の大部分をカットする。第１の偏光フィルタ１１を透過した光によって生成した画像は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミや肌の色等の状態が見やすくなる。

一方、カメラ１２の第３の偏光フィルタ１３は、第２の偏光軸の方向に振動する光を主に透過するので、第３の偏光フィルタ１３を透過した光によって撮像した画像データは、顔肌で鏡面反射する光の成分を多く有している。従って、第３の偏光フィルタ１３を透過した光によって生成した画像は、顔肌の凹凸による陰影がはっきりするため、肌の小ジワやキメ等が認識しやすい画像となる。

このように、図４に示す電子ミラー装置１００では、第１の偏光フィルタ１１を備えたカメラ１０によって、シミの状態を認識しやすい画像を取得することができ、第３の偏光フィルタ１３を備えたカメラ１２によって、肌の小ジワやキメ等が認識しやすい画像を取得することができる。これにより、ユーザはより多くの肌情報を得ることができる。

また、カメラ１０によって得た画像データとカメラ１２によって得た画像データとを合成することにより、無偏光光に対応した画像データも生成することができ、偏光を用いない場合に対応する顔画像をユーザに提示することもできる。

なお、図４ではカメラ２台によって、２つの偏光軸の画像を取得する構成としているが、偏光フィルタを手動もしくはアクチュエータによって、機械的に切り替え、時分割で撮影する構成にしてもよい。このような構成により、カメラ１台で２つの偏光軸の画像を取得することができる。

また、偏光フィルタを挿入しない状態を手動もしくはアクチュエータによって、機械的に切り替える構成にしてもよい。このような構成にすることにより、単に鏡の機能として使う場合、偏光フィルタによる光の減衰をなくすことができるため、ノイズの低い画像を得ることができる。

次に、図５を参照して、実施形態に係る電子ミラー装置１００の別の例を説明する。図５に示す電子ミラー装置１００は、図１に示す電子ミラー装置１００と比較して、第４の偏光フィルタ２３を光路に備えた偏光照明装置２２をさらに備える。

偏光照明装置２０の第２の偏光フィルタ２１の透過偏光軸と、偏光照明装置２２の第４の偏光フィルタ２３の透過偏光軸とは互いに直交している。偏光照明装置２２の第４の偏光フィルタ２３の透過偏光軸と、カメラ１０の第１の偏光フィルタ１１の透過偏光軸とは互いに平行である。

肌状態の評価を行うとき、第４の偏光フィルタ２３を備えた偏光照明装置２２は、第１の偏光軸の方向に振動する偏光をユーザ５０の顔に照射する。ユーザ５０の顔で反射した光の一部は、第１の偏光フィルタ１１を備えたカメラ１０に入射し、カメラ１０は第１の偏光軸の方向に振動する偏光を主に受光し、ユーザの顔を撮像する。

上述したように、カメラ１０の第１の偏光フィルタ１１は、偏光照明装置２０の第２の偏光フィルタ２１の偏光軸と直交する偏光軸を有している。偏光照明装置２２をオフにして偏光照明装置２０をオンにして撮像した場合、カメラ１０の第１の偏光フィルタ１１は、顔肌で鏡面反射する光の成分の大部分をカットする。第１の偏光フィルタ１１を透過した光によって生成した画像は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミや肌の色等の状態が見やすくなる。

一方、偏光照明装置２０をオフにして偏光照明装置２２をオンにして撮像した場合、カメラ１０の第１の偏光フィルタ１１は、第１の偏光軸の方向に振動する光を主に透過するので、第１の偏光フィルタ１１を透過した光によって撮像した画像データは、顔肌で鏡面反射する光の成分を多く有している。従って、顔肌の凹凸による陰影がはっきりするため、肌の小ジワやキメ等が認識しやすい画像となる。

このように、図５に示す電子ミラー装置１００では、第２の偏光フィルタ２１を備えた偏光照明装置２０をオンにすることによって、シミや肌の色等の状態を認識しやすい画像を取得することができ、第４の偏光フィルタ２３を備えた偏光照明装置２２をオンにすることによって、肌の小ジワやキメ等が認識しやすい画像を取得することができる。これにより、ユーザはより多くの肌情報を得ることができる。

また、偏光照明装置２０のみをオンにした状態で撮像して得た第１の画像と、偏光照明２０および２２の両方をオフにした状態で撮像して得た第２の画像と、偏光照明装置２２のみをオンにした状態で撮像して得た第３の画像を順次生成し、第１の画像から第２の画像を減算処理して第１の出力画像を取得し、第３の画像から第２の画像を減算して第２の出力画像を取得してもよい。これにより、第１の出力画像と第２の出力画像において室内照明等の環境光の影響を低減することができ、例えば第１の出力画像と第２の出力画像から肌の状態を定量化する場合において、環境光が測定毎に変化してもそれに依存しない定量値を得ることができる。

次に、図６を参照して、実施形態に係る電子ミラー装置１００の別の例を説明する。図６に示す電子ミラー装置１００は、図５に示す電子ミラー装置１００と比較して、電子ミラー装置１００の左右両端部にカメラ１４および１６をさらに備える。カメラ１４および１６が備える偏光フィルタ１５および１７の透過偏光軸と、カメラ１０の第１の偏光フィルタの透過偏光軸とは互いに平行である。カメラ１０、カメラ１４、および１６が備える偏光フィルタ１０、１５、および１７の透過偏光軸と、偏光照明装置２０の第２の偏光フィルタ２１の透過偏光軸とは互いに平行である。

顔の横側部分の特徴、例えば目尻のシワ等は、顔を真正面から撮像するよりも、斜め横方向から撮像した方が、よりはっきりとした画像を得ることができる。図６に示す電子ミラー装置１００では、左右両端部にカメラ１４および１６をさらに備える。カメラ１４および１６は図に矢印を示すように内側を向いており、カメラ１４および１６を用いて撮像することにより、顔の横側部分の特徴をよりはっきりと撮像することができる。

また、例えば目尻のシワ等の肌表面の特徴を撮像するときは、偏光照明装置２２をオンにして撮像する。カメラ１４および１６が備える偏光フィルタ１５および１７の透過偏光軸と、偏光照明装置２２の第２の偏光フィルタ２１の透過偏光軸とは互いに平行であるため、カメラ１４および１６によって撮像した画像データは、顔肌で鏡面反射する光の成分を多く有している。従って、顔肌の凹凸による陰影がはっきりするため、目尻のシワ等が認識しやすい画像を得ることができる。

また、図６においてカメラ１０には偏光フィルタが備えられていない構成であってもよい。このような構成により、鏡としてだけ用いるときは、カメラ１０では偏光フィルタによる光の減衰がなくなるので、感度の良い画像を取得することができる。また、肌計測を行うときはカメラ１４および１６を用いるという使い分けが可能となる。

次に、図７を参照して、実施形態に係る電子ミラー装置１００の別の例を説明する。図７に示す電子ミラー装置１００は、図１に示す電子ミラー装置１００と比較して、無偏光照明装置２４をさらに備える。電子ミラー装置１００において肌計測を行わずに、鏡としてだけ用いるときは、偏光照明装置２０をオフにして無偏光照明装置２４をオンにして用いることにより、肌の特定の特徴を強調しない自然な顔画像を得ることができる。

また、肌計測を行なうときは、無偏光照明装置２４をオフにして偏光照明装置２０をオンにして用いることにより、上述したように偏光を利用して肌の特定の特徴を強調した顔画像を得ることができ、肌計測を適切に行うことができる。

このように用途に応じて使用する照明装置を切り替えることにより、それぞれの用途に適した画像を得ることができる。

次に、図８を参照して、実施形態に係る電子ミラー装置１００の別の例を説明する。図８に示す電子ミラー装置１００は、図１に示す電子ミラー装置１００と比較して、ディスプレイ３０の周囲全体に亘って偏光照明装置２０が設けられている。ディスプレイ３０の周囲全体に亘って偏光照明装置２０を設けることにより、ユーザ５０の顔にムラなく光を照射することができ、陰影の少ない顔画像を得ることができる。これにより、肌計測をより適切に行うことができるとともに、鏡として用いる場合にも顔の状態を確認しやすい画像をユーザに提示することができる。

（実施形態２）
図９は、実施形態２に係る電子ミラー装置１１０を示す図である。図９（ａ）は、電子ミラー装置１１０の正面図であり、図９（ｂ）は、電子ミラー装置１１０の側面図である。

電子ミラー装置１１０は、例えば、ディスプレイ３０以外は実施形態１の電子ミラー装置１００と同様の構成要素を備えている。電子ミラー装置１１０は着脱式の電子ミラー装置であり、例えば、コネクタ１１１を介して、携帯端末やタブレット端末等のディスプレイを備えた電子機器と接続される。この例の電子ミラー装置１１０はクレイドル型であり、例えば携帯端末やタブレット端末等の電子機器を電子ミラー装置１１０に載置することにより、電子ミラー装置１１０とタブレット端末とが接続される。電子ミラー装置１１０は、携帯端末やタブレット端末等の電子機器を載置するための載置部１１２を有している。載置部１１２はコネクタ１１１を備えている。コネクタ１１１は、携帯端末やタブレット端末等の電子機器が備えるコネクタと直接接続可能な構造を有している。載置部１１２に携帯端末やタブレット端末等の電子機器を載置すると、電子ミラー装置１１０と載置した電子機器とがコネクタ１１１を介して接続される。

図１０（ａ）は、タブレット端末１２０に接続された電子ミラー装置１１０の正面図であり、図１０（ｂ）は、タブレット端末１２０に接続された電子ミラー装置１１０の側面図である。タブレット端末１２０を載置部１１２に載置すると、カメラ１０とタブレット端末１２０のディスプレイ３２とが隣接して配置される。隣接して配置とは、具体的には、カメラ１０で撮影されるユーザが、撮影時にその鏡像を目視で確認できる位置にディスプレイが存在していることを意味する。本実施形態においては、カメラ１０と偏光照明装置２０および２２と、タブレット端末１２０のディスプレイ３２とは、ｘｚ平面において略同一平面状に配置されている。

この例では、ディスプレイ３２にユーザの顔の鏡像の画像を表示するために、カメラ１０で撮像したユーザの顔の画像データを、コネクタ１１１（インターフェース）を介してタブレット端末１２０へ出力する。タブレット端末１２０が備えるマイクロコンピュータは、受け取った顔の画像データに基づいて、ディスプレイ３２にユーザの顔の鏡像の画像を表示させる。電子ミラー装置１１０は、図１から図８に示すカメラと照明装置の構成のいずれを有していてもよく、タブレット端末１２０に接続された電子ミラー装置１１０は、図１から図８を参照して説明した電子ミラー装置１００と同様の機能を果たすことができる。

なお、上述の画像処理や肌計測処理等は、電子ミラー装置１１０が備えるマイクロコンピュータ４０Ａが実行してもよいし、タブレット端末１２０が備えるマイクロコンピュータが実行してもよいし、処理を分担して行ってもよい。

また、電子ミラー装置１１０において肌計測を行わずに、鏡としてだけ用いるときは、タブレット端末１２０が備えるカメラ１８で撮像した画像を用いてもよい。この例ではカメラ１８は偏光フィルタを備えていないとする。カメラ１８を用いることにより、肌の特定の特徴を強調しない自然な顔画像を得ることができる。

また、肌計測を行なうときは、偏光照明装置をオンにして用いることにより、上述したように偏光を利用して肌の特定の特徴を強調した顔画像を得ることができ、肌計測を適切に行うことができる。

このように用途に応じて使用するカメラを切り替えることにより、それぞれの用途に適した画像を得ることができる。

図１１は、電子ミラー装置１１０の別の例を示す図である。図１１の電子ミラー装置１１０は、図９の電子ミラー装置１１０と同様に、着脱式の電子ミラー装置であるが、クレイドル型でない点が図９の電子ミラー装置１１０と異なる。図１１の電子ミラー装置１１０も、例えば、コネクタ１１１を介して、携帯端末やタブレット端末等のディスプレイを備えた電子機器と接続される。電子ミラー装置１１０のコネクタ１１１は、携帯端末やタブレット端末等の電子機器が備えるコネクタに直接接続可能な構造を有している。

図１２（ａ）は、タブレット端末１２０に接続された電子ミラー装置１１０の正面図であり、図１２（ｂ）は、タブレット端末１２０に接続された電子ミラー装置１１０の側面図である。コネクタ１１１を介してタブレット端末１２０を接続すると、カメラ１０とタブレット端末１２０のディスプレイ３２とが隣接して配置される。隣接して配置とは、具体的には、カメラ１０で撮影されるユーザが、撮影時にその鏡像を目視で確認できる位置にディスプレイが存在していることを意味する。本実施形態においては、カメラ１０と偏光照明装置２０および２２と、タブレット端末１２０のディスプレイ３２とは、ｘｚ平面において略同一平面状に配置される。図１１の電子ミラー装置１１０は、図９の電子ミラー装置１１０と同様の機能を果たすことができる。

なお、上述の実施形態１および２において、ユーザ５０の顔が傾いているときは、撮像して得た顔画像を補正して、傾いていない画像を取得してもよい。図１３（ａ）は、ユーザ５０の顔が傾いているときの顔画像５１を示し、図１３（ｂ）は、補正した顔画像５１を示している。

マイクロコンピュータ４０Ａは、例えば、撮像して得た顔画像から複数の特徴部分を抽出し、それら特徴部分を比較して顔の傾きを判断する。例えば、顔画像から両目の位置を抽出し、両目の位置を結んだ線がｘ方向（水平方向）に対して傾いているときは、ユーザ５０の顔が傾いていると判断する。その場合は、両目の位置を結んだ線がｘ方向（水平方向）と平行になるように画像を補正することにより、傾いていない画像を生成することができる。例えば、肌計測の領域５４を目などの特徴点を基点とした矩形領域で抽出する場合、顔の傾きによって肌計測の領域５４がずれる場合があるが、生成した傾きを補正した画像を用いて肌計測の領域５４がずれなくなるため、より適切に肌計測を行うことができる。

また、上述の電子ミラー装置１００および１１０は測距装置を備えていてもよい。図１４は、一例として測距装置６０を備えた電子ミラー装置１００を示している。電子ミラー装置１００とユーザ５０の顔との間の撮像距離が変わると肌計測の結果も変化するため、撮像距離を一定に保って肌計測を行うことが望ましい。

図１４に示す例では、測距装置６０での距離の測定結果がインジケータ７０としてディスプレイ３０に表示される。インジケータ７０は、ユーザ５０の顔を肌計測に適した位置に誘導するガイドの役割を果たす。インジケータ７０中の中心部７２が肌計測に適した撮像距離を示しており、マーカー７１が現在の距離を示している。図１４の例では、ユーザ５０の顔が電子ミラー装置１００から離れすぎているため、マーカー７１はインジケータ７０の下側に表示され、ユーザ５０に電子ミラー装置１００に近づくように誘導する。ユーザ５０の顔が電子ミラー装置１００に近づき過ぎた場合は、マーカー７１はインジケータ７０の上側に表示され、ユーザ５０に電子ミラー装置１００から遠ざかるように誘導する。ユーザ５０の顔が肌計測に適した位置にあるときは、マーカー７１はインジケータ７０中の中心部７２に位置し、そのタイミングで肌測定に用いるための画像が撮像される。これにより、肌計測に適した一定の撮像距離に保った状態で肌計測を行うことができる。

また、距離測定は、図４のカメラ１０で取得した画像とカメラ１２で取得した画像の視差から三角測量の方式で求める方式であってもよいし、図６のカメラ１４で取得した画像とカメラ１６で取得した画像の視差から三角測量の方式で求める方式であってもよい。

また、実施形態１および２に係る電子ミラー装置１００および１１０の動作は、ハードウエアによって実現されてもよいしソフトウエアによって実現されてもよいし、それらの組み合わせによって実現されてもよい。そのような動作を実行させるコンピュータプログラムは、例えば電子ミラー装置および／またはタブレット端末等の電子機器が備えるメモリに記憶され、それらの装置が備えるマイクロコンピュータによって動作が実行される。また、そのようなコンピュータプログラムは、それが記録された記録媒体（光ディスク、半導体メモリー等）から電子ミラー装置および／またはタブレット端末等の電子機器へインストールしてもよいし、インターネット等の電気通信回線を介してダウンロードしてもよい。また、肌計測処理を実行させるコンピュータプログラムは、クラウドサーバが備えるメモリに記憶されてもよく、この場合はクラウドサーバが備えるマイクロコンピュータによって肌計測処理が実行されてもよい。

本開示の技術は、電子ミラー分野において特に有用である。

１０、１２、１４、１６、１８ カメラ
１１、１３、１５、１７、２１、２３ 偏光フィルタ
２０、２２ 偏光照明装置
２４ 無偏光照明装置
３０、３２ ディスプレイ
４０ 制御装置
５０ ユーザ
５１ ユーザの顔の鏡像画像
６０ 測距装置
７０ インジケータ
１００、１１０ 電子ミラー装置
１１１ コネクタ
１２０ タブレット端末
２００ クラウドサーバ
２１０ 通信ネットワーク

Claims (25)

1. ユーザの顔の鏡像の画像を表示する電子ミラー装置であって、
   第１の偏光フィルタを介して前記ユーザの顔を撮像する第１のカメラと、
   第２の偏光フィルタを介して前記ユーザの顔に偏光を照射する第１の偏光照明装置と、
   前記第１のカメラで撮像した前記ユーザの顔の鏡像の画像を表示するディスプレイと
   を備え、
   前記第１のカメラと前記ディスプレイとが隣接して配置されている、電子ミラー装置。
2. ユーザの顔を撮像する電子ミラー装置であって、
   第１の偏光フィルタを介して前記ユーザの顔を撮像する第１のカメラと、
   第２の偏光フィルタを介して前記ユーザの顔に偏光を照射する第１の偏光照明装置と、
   ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記第１のカメラで撮像した前記ユーザの顔の画像データを外部へ出力するインターフェースと
   を備え、
   前記インターフェースは、前記ディスプレイを有する端末を、前記インターフェースを介して接続したときに、前記第１のカメラと前記ディスプレイとが隣接して配置されるよう構成されている、電子ミラー装置。
3. 前記第１のカメラと前記第１の偏光照明装置と前記ディスプレイとが略同一平面状に配置されている、請求項１に記載の電子ミラー装置。
4. 前記第１の偏光フィルタの透過偏光軸と前記第２の偏光フィルタの透過偏光軸とは互いに直交している、請求項１から３のいずれかに記載の電子ミラー装置。
5. 前記第１の偏光照明装置は、第２の偏光軸の方向に振動する偏光を前記ユーザの顔に照射し、
   前記第１のカメラは、前記ユーザの顔で反射した光のうちの、前記第２の偏光軸の方向とは異なる第１の偏光軸の方向に振動する偏光を受光して、前記ユーザの顔を撮像する、請求項１から４のいずれかに記載の電子ミラー装置。
6. 前記第１のカメラで撮像した前記ユーザの顔の画像データを用いて前記ユーザの肌計測を行う肌計測部をさらに備える、請求項１から５のいずれかに記載の電子ミラー装置。
7. 前記肌計測部は、前記ユーザの顔の画像データと、クラウドサーバ中のデータとを照合し、前記ユーザの肌計測を行う、請求項６に記載の電子ミラー装置。
8. 前記肌計測部は、顔の向きを補正した画像データを用いて前記ユーザの肌計測を行う、請求項６または７に記載の電子ミラー装置。
9. 前記電子ミラー装置と前記ユーザの顔との間の距離を測定する測距装置をさらに備え、
   前記ディスプレイは、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離になるように前記ユーザを誘導するガイドを表示する、請求項６から８のいずれかに記載の電子ミラー装置。
10. 第３の偏光フィルタを光路に備えた第２のカメラをさらに備え、
    前記第１の偏光フィルタの透過偏光軸と前記第３の偏光フィルタの透過偏光軸とは互いに直交している、請求項１から９のいずれかに記載の電子ミラー装置。
11. 第３の偏光フィルタを光路に備えた第２のカメラをさらに備え、
    前記第１の偏光フィルタの透過偏光軸と前記第３の偏光フィルタの透過偏光軸とは互いに直交しており、
    前記第１のカメラで撮像した第１の画像と前記第２カメラで撮像した第２の画像から前記電子ミラー装置と前記ユーザの顔との間の距離を測定し、
    前記ディスプレイは、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離になるように前記ユーザを誘導するガイドを表示する、請求項６から８のいずれかに記載の電子ミラー装置。
12. 前記肌計測部は、前記電子ミラー装置と前記ユーザの顔との間の距離が所定の距離のときに撮像して得た顔の画像データを用いて肌計測を行う、請求項９または１１に記載の電子ミラー装置。
13. 第４の偏光フィルタを光路に備えた偏光照明装置をさらに備え、
    前記第２の偏光フィルタの透過偏光軸と前記第４の偏光フィルタの透過偏光軸とは互いに直交している、請求項１から１２のいずれかに記載の電子ミラー装置。
14. 無偏光照明装置をさらに備える、請求項１から１３のいずれかに記載の電子ミラー装置。
15. 前記偏光照明装置は青色光を出射する、請求項１から１４のいずれかに記載の電子ミラー装置。
16. 前記偏光照明装置はシアン色光を出射する、請求項１から１４のいずれかに記載の電子ミラー装置。
17. 前記偏光照明装置は白色光を出射する、請求項１から１４のいずれかに記載の電子ミラー装置。
18. 前記偏光照明装置は、前記カメラの左右に配置される、請求項１から１７のいずれかに記載の電子ミラー装置。
19. 前記偏光照明装置は、前記ディスプレイの周囲に配置される、請求項１から１７のいずれかに記載の電子ミラー装置。
20. 前記偏光照明装置をオンの状態で撮像して得た第１の顔画像データと、前記偏光照明装置をオフの状態で撮像して得た第２の顔画像データとを生成し、前記第１の顔画像から前記第２の顔画像を減算処理して第３の顔画像データを生成する、請求項１から１９のいずれかに記載の電子ミラー装置。
21. 前記電子ミラー装置は、カメラを内蔵した電子機器に接続されたとき、
    前記電子機器のカメラで撮像して得た顔画像データを用いて、前記ディスプレイに前記ユーザの顔の鏡像の画像を表示し、
    前記電子ミラー装置のカメラで撮像して得た顔画像データを用いて肌計測を行う、請求項２に記載の電子ミラー装置。
22. ユーザの顔を撮像して前記ユーザの顔の鏡像の画像を表示する電子ミラー装置を制御する制御方法であって、
    第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、
    第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、
    ディスプレイに前記カメラで撮像した前記ユーザの顔の鏡像の画像を表示させる、電子ミラー装置の制御方法。
23. ユーザの顔を撮像する電子ミラー装置を制御する制御方法であって、
    第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、
    第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、
    ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記カメラで撮像した前記ユーザの顔の画像データを外部へ出力させる、電子ミラー装置の制御方法。
24. 電子ミラー装置にユーザの顔を撮像させて前記ユーザの顔の鏡像の画像を表示させるコンピュータプログラムであって、
    前記電子ミラー装置のコンピュータに、
    第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、
    第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、
    前記カメラで撮像した前記ユーザの顔の鏡像の画像をディスプレイに表示させる、コンピュータプログラム。
25. 電子機器にユーザの顔を撮像させるコンピュータプログラムであって、
    前記電子機器のコンピュータに、
    第１の偏光フィルタを介してカメラで前記ユーザの顔を撮像させ、
    第２の偏光フィルタを介して照明装置で前記ユーザの顔に偏光を照射させ、
    ディスプレイに前記ユーザの顔の鏡像の画像を表示するために、前記カメラで撮像した前記ユーザの顔の画像データを外部へ出力させる、コンピュータプログラム。

Images