JP2023003151A - 表示制御装置、その制御方法、プログラム - Google Patents

Abstract

【課題】 ハーフミラーに表示される表示内容を本来の色や明るさで見る事ができるようにする。
【解決手段】 表示制御装置であって、第１の面と前記第１の面とは反対側の第２の面とを有し、前記第１の面においてオブジェクトの像を反射するミラー手段と、前記ミラー手段の前記第２の面側であって、前記反射手段と少なくとも一部の領域が重畳する位置に配された表示手段と、前記表示手段における表示を制御する表示制御手段と、前記ミラー手段において反射する反射像の特性を推定する推定手段とを有し、前記ミラー手段は、前記第２の面側からの光の少なくとも一部を透過し、前記表示制御手段は、前記推定手段が推定した前記反射像の特性に基づいて、前記表示手段の表示を制御することを特徴とする。
【選択図】 図１

Description

本発明は、ミラーとともに用いられることを想定した表示制御装置に関する。

従来より、ハーフミラーの背面に画像や情報を表示するための表示装置を備えたものが知られている。このようなミラーを用いる場合、ユーザーは、ハーフミラーに反射して映る反射像に加えて、表示装置からハーフミラーを透過して表示される透過像も併せて見ることができるため、利便性が向上する（特許文献１）。

特開２０１９－２０９０６５号公報

ユーザーが上記例のようなミラーを透過して表示される画像や情報を見る際、ミラーに反射して映る反射像が重畳した合成像を見ることになる。このとき、重畳する反射像の影響によって、表示装置が表示する画像や情報表示の見かけの色や明るさが変化してしまう。

本発明に係る表示制御装置は、第１の面と前記第１の面とは反対側の第２の面とを有し、前記第１の面においてオブジェクトの像を反射するミラー手段と、前記ミラー手段の前記第２の面側であって、前記反射手段と少なくとも一部の領域が重畳する位置に配された表示手段と、前記表示手段における表示を制御する表示制御手段と、前記ミラー手段において反射する反射像の特性を推定する推定手段とを有し、前記ミラー手段は、前記第２の面側からの光の少なくとも一部を透過し、前記表示制御手段は、前記推定手段が推定した前記反射像の特性に基づいて、前記表示手段の表示を制御することを特徴とする。

本発明によれば、ミラーに表示される内容を本来の色や明るさで見る事ができるように制御することが可能となる。

本発明の実施例１における表示機能付きミラーの構成例を示す図 本発明の実施例１における表示機能付きミラーの構成例を示すブロック図 本発明の実施例１における表示制御処理フローを示す図 反射像の特性を推定する方法を説明する図

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

＜実施例１＞
図１は、本発明の実施例１におけるミラー装置の一例である、表示機能付きミラー１００の概要を示す図である。なお本実施例では、図１の下側（ハーフミラー面側）を前面側、その反対側となる図１の上側を背面側と呼ぶ。ユーザー、つまりミラーが反射像を映すオブジェクトは、表示機能付きミラー１００の前面に位置することで、自身の鏡像を確認する。

表示機能付きミラー１００は、ハーフミラー１０１、撮像装置１０２、表示装置１０３、システム制御部１０４、操作部１０７を含む。

ハーフミラー１０１は、ミラーを使用するユーザーの像を反射する鏡であり、所定の反射率で前面側（１０５）からの光を反射すると共に、所定の透過率によって背面側（１０６）からの光を透過する特性を持つ。

撮像装置１０２は、ハーフミラー１０１の前面側に位置するユーザーなどの環境を撮影する。撮像装置１０２は、ハーフミラーの前面側に位置するユーザーなどの環境が撮影できる位置であれば、ハーフミラー１０１に対して、どのような位置に配置されていても構わない。また、撮像装置１０２を複数台備える構成としても構わない。

表示装置１０３は、例えばＬＣＤ等の表示デバイスであり、ハーフミラー１０１を透過して、画像や情報などをユーザーに向けて表示する。

システム制御部１０４は、例えばＣＰＵであり、表示機能付きミラー１００の各部の動作を制御する。また、システム制御部１０４は、不図示の記録手段によって、表示装置１０３で表示するための画像や情報のデータ、各種動作プログラム等を予め記録したフラッシュメモリなどの記録媒体している。システム制御部１０４は、ユーザーによる指示に従って、記録媒体から所望の画像や情報のデータを読み出し、表示装置１０３へ出力する。

操作部１０７は、例えばボタンやタッチパネルであり、ユーザーは操作部１０７を操作することによって、表示機能付きミラー１００の動作モードを指示する事ができる。

以上が、表示装置付きミラー１００の概要である。上述した構成により、前面側に位置するユーザーの鏡像の表示、表示装置１０３が出力する情報の表示、ユーザーの撮影が並行して実現される。

図２は、図１に示した表示機能付きミラー１００の構成例を示すブロック図である。

まず、撮像装置１０２の構成を説明する。

レンズ２０１は、光学レンズ群で構成され、被写体像を後述の撮像部２０２の撮像面上に結像する。

撮像部２０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、レンズ２０１により撮像部２０２の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を不図示のＡ／Ｄ変換部によってデジタル画像データに変換した後、出力する。

画像処理部２０３は、撮像部２０２より出力された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部２０３は、撮影画像の中から、人物、及び、人物の目を検出する視点位置検出処理も行う。

測距部２０４は、例えばＴＭＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式による測距を行う測距センサであり、撮像装置１０２の撮影範囲に含まれる物体に対して、撮像装置からの距離を測定する。測距部２０４は、測距結果に基づいて、撮像装置１０２が撮影した物体のそれぞれについて、ハーフミラー１０１との相対的な位置関係、及び、ハーフミラー１０１からの距離を算出し、その結果を出力する。

次に、表示装置１０３の構成を説明する。

表示部２１１は、ＬＣＤ等の表示デバイスであり、入力された画像や情報を表示する。

表示処理部２１２は、システム制御部１０４から入力された画像や情報データに対して、表示部２１１での表示に適した形式の信号となるよう、信号補間やガンマ処理などの画像処理を適用した後、表示部２１１へ出力する。

以上、表示機能付きミラー１００の主なハードウェアについて説明したが、上記構成には限定されず、別の構成を採用することも可能である。例えばシステム制御部１０４は必ずしも１つのハードウェアに限定されず、複数のハードウェア（一部回路でもよい）が処理を分担してもよい。その他の各部も、複数のハードウェアを組み合わせてもよいし、１つのハードウェアが複数の手段として機能することも可能である。

次に、表示機能付きミラー１００の処理について図３のフローチャートを参照して説明する。なお、フローチャートにおける各処理は、システム制御部１０４がプログラムや入力信号に従って表示機能付きミラー１００の各部を制御することで実現する。

図３のステップＳ３０１において、ユーザーによる操作部１０７を介した所定の操作を受け付けると、表示機能付きミラー１００は動作モードを、表示装置１０３による画像や情報の表示を行う「スマートミラーモード」に設定する。モードの名称はこれに限定されない。本実施例では、スマートミラーモードにおける表示機能付きミラー１００の動作例として、ユーザーがミラーに向かってメイクをするケースを考える。この例における表示機能付きミラー１００は、予め設定されたメイクの仕上がりの目標とする色味を、画像として表示装置１０３の所定の位置に表示する。仕上がりの目標とする色味の情報は、予めシステム制御部１０４に記録されているものとする。ユーザーはハーフミラー１０１に反射して映る自身の姿と、表示装置１０３で表示される仕上がりの目標とする色味とを見比べながらメイクをすることが可能となり、利便性が高まる。

ステップＳ３０２において、撮像装置１０２は、ハーフミラー１０１の前面側、つまりユーザーを撮影する。また、撮像装置１０２の測距部２０４は、撮像装置１０２の撮影範囲に含まれる物体のそれぞれに対して測距を行う。

ステップＳ３０３において、システム制御部１０４が、ステップＳ３０２での撮影画像、及び、測距結果に基づいて、ユーザーの目の位置、および、ユーザーから見たハーフミラー１０１での反射像の位置、及び、反射像の色や明るさを推定する。ここでの推定処理の方法については、後で詳しく説明する。

ステップＳ３０４において、システム制御部１０４が、ステップＳ３０３において推定された反射像の位置、色、明るさの情報に基づいて、表示部１０３で表示するための画像データの色や明るさを補正する。ここでの補正処理の方法については、後で詳しく説明する。

ステップＳ３０５において、表示装置１０３が、ステップＳ３０４において補正された画像を表示する処理を行う。

以上、本実施例に関わる表示機能付きミラーの動作の概要を説明した。

次に、ステップＳ３０３における反射像の色や明るさを推定する処理、及び、ステップＳ３０４における画像データの補正方法について説明する。

図４は、表示機能付きミラー１００を上から俯瞰した模式図である。以下、説明を簡潔にするため、２次元の座標空間での処理方法で説明するが、３次元の座標空間での処理を行っても良いことは言うまでもない。

図４（ａ）は表示装置１０３を表している。図４（ｂ）はハーフミラー１０１を表している。図４（ｃ）は、撮像装置１０２の測距部２０４がユーザーを含むハーフミラー前面側を測距した結果を表しており、軸Ｙはハーフミラーからの距離を表している。４０１に示したハーフミラーまでの距離が近い領域は、ユーザーの位置に対応しており、４０２に示したハーフミラーまでの距離が遠い領域は、部屋の壁などのユーザーの背後の領域に対応しているものとする。

また、図４（ｃ）の点Ｐは、ユーザーの目の位置を表しており、撮像装置１０２の画像処理部２０３が検出した目の位置の情報と、測距部２０４が測距した距離情報に基づいて推定されたものである。

図４（ｄ）は、撮像装置１０２でハーフミラー前面側を撮影した撮影画像を表しており、画像中の各点は図４（ｂ）に示したハーフミラー上の位置と対応するよう座標変換した状態で図示している。

ここで、図４（ａ）に示した表示部２１１の点Ａ１、点Ａ２を例に取って、反射像の特性を推定し、その位置に表示する画像データを補正する方法について説明する。

反射像の特性を推定する処理は以下の方法で行う。

初めに、表示部２１１の点Ａ１、Ａ２に対応するハーフミラー上の点Ｂ１、Ｂ２の位置を算出する。表示部２１１とハーフミラー１０１とは互いにほぼ接するよう配置されているため、表示部２１１の点Ａ１、Ａ２に表示した画像は、ハーフミラー１０１の点Ｂ１、Ｂ２に透過して表示される。

次に、ユーザーの視点の位置である図４（ｃ）の点Ｐの位置から、ハーフミラー上の点Ｂ１、Ｂ２の位置を見た場合に反射して見える物体の位置を推定する。すなわち、ハーフミラー１０１では入射角と反射角が等しくなるよう光が反射するため、図４（ｃ）に示したハーフミラーまでの距離情報を用いる事で、点Ｂ１、Ｂ２に反射して映る物体の位置である点Ｃ１、点Ｃ２の位置を特定する事が可能である。

次に、点Ｃ１、点Ｃ２に対応した撮像装置１０２で撮影した撮影画像上の点の位置を推定する。撮影画像データは、距離情報に基づいて座標変換がなされているため、点Ｃ１、点Ｃ２に対応する点Ｄ１、点Ｄ２の位置を推定する事が可能である。

ここで、図４（ｄ）の点Ｄ１、点Ｄ２における画像データの表す色や明るさが、ハーフミラー上の点Ｂ１、点Ｂ２において、ユーザーが観察する反射像の色や明るさに対応する。

システム制御部１０４は、上述の処理を、表示部２１１において画像を表示する領域の各点に対して実行することにより、各領域での反射像の色や明るさの情報を推定する。

次に、推定した反射像の色や明るさに基づいて、表示する画像を補正する方法について説明する。

表示部２１１の着目領域に対して、画像を表示する際の色や明るさの目標値をＲＧＢ信号値で表したものを（Ｒｔ，Ｇｔ，Ｂｔ）と表す。また、表示装置１０３で表示する画像信号を（Ｒｄ、Ｇｄ、Ｂｄ）、推定した反射像の色や明るさをＲＧＢ信号値で表したものを（Ｒｅ、Ｇｅ、Ｂｅ）と表す。また、ハーフミラーの透過率、反射率をそれぞれＴＲＡ、ＲＥＦとする。

この時、下記の式を用いて表示装置１０３で表示する信号（Ｒｄ、Ｇｄ、Ｂｄ）を定めれば、表示装置１０３での表示とハーフミラー１０１での反射像とが重畳した合成像の見た目の色や明るさが、所定の目標値（Ｒｔ，Ｇｔ，Ｂｔ）となるよう補正する事ができる。
Ｒｔ ＝ Ｒｄ×ＴＲＡ＋Ｒｅ×ＲＥＦ
Ｇｔ ＝ Ｇｄ×ＴＲＡ＋Ｇｅ×ＲＥＦ
Ｂｔ ＝ Ｂｄ×ＴＲＡ＋Ｂｅ×ＲＥＦ

システム制御部１０４は、表示部２１１の各点に対して、上記の式を満たす（Ｒｄ、Ｇｄ、Ｂｄ）を算出し、表示制御部２１２へ出力する。

表示制御部２１２は、入力された（Ｒｄ、Ｇｄ、Ｂｄ）信号値に基づいて、表示部２１１での画像の表示を行う。

なお、上述の算出式で定めた表示用の信号値（Ｒｄ、Ｇｄ、Ｂｄ）が、負の値になるなど、表示装置で表現できない値となる場合が考えられる。この場合、目標とするＲＧＢ信号値に対して、１以上の値を持つ所定のゲインを乗算してから同様の算出を行う事で、表示用の信号値を算出し直すようにする。

以上、本実施例における、表示装置１０３での表示内容の制御方法について説明した。

なお、本実施例では、表示装置でメイクの目標となる色味を画像として表示し、その画像の色や明るさを補正する場合で説明したが、本発明は、表示内容の制御方法をこれに限定するものではない。例えば、メイクの目標となる顔画像を表示し、その顔画像の色や明るさを補正するようにしても良い。また、色や明るさに加えて、画像のコントラスト、階調特性、エッジの特性に着目し、表示画像と反射像の合成像の特性が所定の目標値に近づくよう、表示する画像のコントラスト、階調特性、エッジ強調の度合いを補正する処理を行うようにしても良い。すなわち、表示画像と反射像の合成像の特性を推定して、表示する画像を補正する方法であれば、どのようなものを用いても構わない。

また、本実施例では、表示する画像の目標値を定める場合に、色や明るさの目標値をＲＧＢ信号値で表現し、演算する場合で説明したが、本発明は、表示内容の補正方法をこれに限定するものではない。例えば、ＲＧＢ信号値ではなく、ＹＵＶ信号値に変換し、ユーザーが観察する像のＵＶ値が、目標とする値となるように補正するようにしても良い。この様にすることで、スマートミラーを用いる環境の明るさに依らず、本来の色味で画像を観察する事が可能となる。

また、本実施例では、表示する画像データを補正する場合で説明したが、本発明は、表示内容の制御方法をこれに限定するものではない。例えば、ハーフミラーでの反射像が高彩度の色を含む場合、その領域では、ユーザーが観察する合成像の色味を目標通りに補正することが困難となる。このため、反射像が高彩度の色を含む領域と、そうでない領域とがある場合、表示装置で画像や情報を表示する領域を、高彩度の色を含まない領域とするように表示する位置を変更してから、本実施例で説明した色や明るさの補正を行うようにしても良い。

また、本実施例では、ハーフミラーでの反射像の特性を推定する際に、ハーフミラーの近くに備えられた撮像装置で撮影した画像を用いる場合で説明したが、本発明は、反射像の特性を推定する方法をこれに限定するものではない。例えば、ユーザーの背後からハーフミラーを撮影できる位置に備えられた撮像装置で撮影した画像を用いても構わない。また、ハーフミラーの反射像となるユーザー背後の壁の色や明るさの情報を、予め記録させておき、その情報を用いて反射像の特性を推定するようにしても良い。

＜実施例２＞
以下、本発明の第二の実施例における表示装置について説明する。

第一の実施例では、表示装置が表示する画像や情報の見た目の色や明るさが、所定の目標値となるよう制御する場合で説明したが、第二の実施例では、ハーフミラーでの反射像の見た目の色や明るさが、所定の目標特性となるよう制御する場合で説明する。

具体的には、以下の補正処理を行う場合を例に取って説明する。

ハーフミラーは通常のミラーに比べて反射率が低い傾向にある。このため、ハーフミラーでの反射像を、通常のミラーでの反射像と比べると暗く感じる場合がある。本実施例では、表示装置１０３を用いて反射像の見た目の明るさを補正し、ユーザーにとって視認性の良い反射像が得られるよう制御する。

第二の実施例における表示機能付きミラー１００の構成や、図３に示した処理フローの概要は第一の実施例の場合と同様であるため、詳細な説明は省略する。

第二の実施例では、表示部１０３での表示に対する目標値の定め方が、第一の実施例の場合とは異なる。第一の実施例での目標色（Ｒｔ、Ｇｔ、Ｂｔ）は、予め設定された値を用いていたが、第二の実施例では目標色を、ハーフミラー１０１での反射像の色や明るさに基づいて設定する。

具体的には、ハーフミラー１０１の反射率、通常のミラーでの反射率をそれぞれ、ＲＥＦｈ，ＲＥＦｎとする。ここで、通常ＲＥＦｎは１に近い値となるのに対し、ＲＥＦｈはＲＥＦｎよりも低い値である。

この時、システム制御部１０４は、下記の式を満たすよう表示装置１０３で表示する信号を決める。
Ｒｅ×ＲＥＦｎ ＝ Ｒｄ×ＴＲＡ＋Ｒｅ×ＲＥＦｈ
Ｇｅ×ＲＥＦｎ ＝ Ｇｄ×ＴＲＡ＋Ｇｅ×ＲＥＦｈ
Ｂｅ×ＲＥＦｎ ＝ Ｂｄ×ＴＲＡ＋Ｂｅ×ＲＥＦｈ

このようにすることで、通常のミラーよりも反射率が低いハーフミラーを用いた場合でも、通常のミラーと同等の色や明るさで見る事ができ、視認性を高める事が出来る。

なお、本実施例では、ハーフミラーの反射率が低いことを補正する場合で説明したが、本発明は、表示内容の制御方法をこれに限定するものではない。例えば、ハーフミラーの反射像において、ユーザーの顔の一部、例えば、目元などが陰になって暗くなっている場合に、その陰になっている領域を明るく補正するように制御しても構わない。または、ユーザーの姿が太陽光の下で見た場合にどのような見かけになるかをシミュレーションし、その状態を再現できるよう、反射像の色や明るさ、コントラストなどを制御するようにしても良い。

また、反射像の色や明るさ、又は、反射像に含まれるエッジの特性に基づいて、表示内容を制御するようにしても良い。具体的には、反射像の色が高彩度である場合や明るい場合には、表示装置の表示に対する視認性が低下すると考えられるため、表示装置の表示をより高彩度、高輝度にするよう補正するようにしても良い。また、ハーフミラーにおける反射像が一様ではなく、エッジを多く含む場合に、視認性を向上するために補正するようにしても良い。

すなわち、ミラーにおける反射像の特性を推定して、表示する画像を補正する方法であれば、どのようなものを用いても構わない。

＜他の実施形態＞
図１に示す構成は、すべてが一体となった装置として取り扱われてもよいし、個別の装置を何らかのインタフェースで接続したものであってもよい。例えば提供者はシステム制御部１０４と表示処理部２０２だけを提供し、既存の撮像装置１０２やハーフミラー１０１に取り付けるような構成も考えられる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 表示制御装置であって、
   第１の面と前記第１の面とは反対側の第２の面とを有し、前記第１の面においてオブジェクトの像を反射するミラー手段と、
   前記ミラー手段の前記第２の面側であって、前記反射手段と少なくとも一部の領域が重畳する位置に配された表示手段と、
   前記表示手段における表示を制御する表示制御手段と、
   前記ミラー手段において反射する反射像の特性を推定する推定手段とを有し、
   前記ミラー手段は、前記第２の面側からの光の少なくとも一部を透過し、
   前記表示制御手段は、前記推定手段が推定した前記反射像の特性に基づいて、前記表示手段の表示を制御することを特徴とする表示制御装置。
2. 前記反射像の特性とは、前記反射像の色、明るさ、コントラスト、階調特性、エッジの特性の少なくとも一つを含むことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記反射像と前記表示手段によって表示された内容とが重畳した合成像の特性を推定し、推定した前記合成像の特性に基づいて、前記表示手段の表示を制御することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記表示制御手段は、前記合成像の特性が所定の目標特性に近づくように前記表示手段の表示を制御する事を特徴とする請求項３に記載の表示制御装置。
5. 前記表示制御手段は、前記表示手段の表示のうち、色、明るさ、コントラスト、階調特性、エッジ強調の度合いの少なくとも一つを補正する事を特徴とする、請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記目標特性は、前記推定手段により推定された前記反射像の特性に基づいて定められることを特徴とする請求項４に記載の表示制御装置。
7. 前記表示制御部は、前記表示手段における表示の位置、大きさの少なくとも一つを制御することを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記推定手段は、撮像部により撮像された前記オブジェクトの画像に基づき前記反射像の特性を推定することを特徴とする、請求項１乃至７の何れか１項に記載の表示制御装置。
9. 第１の面と前記第１の面とは反対側の第２の面とを有し、前記第１の面においてオブジェクトの像を反射し、前記第２の面側からの光の少なくとも一部を透過するミラー手段と、前記ミラー手段の前記第２の面側であって、前記反射手段と少なくとも一部の領域が重畳する位置に配された表示手段とを有する表示装置の制御方法であって、
   前記表示手段における表示を制御する表示制御工程と、
   前記ミラー手段において反射する反射像の特性を推定する推定工程とを有し、
   前記表示制御手段は、前記推定工程で推定した前記反射像の特性に基づいて、前記表示手段の表示を制御することを特徴とする表示装置の制御方法。
10. コンピュータに請求項１１に記載の制御方法の各工程を実行させる、コンピュータにより実行することが可能なプログラム。

Images