JP2019008041A - 電子機器 - Google Patents

Abstract

【課題】ユーザーが液晶パネルを眩しいと感じる状況が継続しないように、前記ユーザーの個人差に対応して前記液晶パネルのバックライトの輝度を制御すること。【解決手段】画像処理装置１ｄは、第１状況でのカメラ５の撮影画像から顔画像の目の大きさを特定する。前記第１状況は、液晶パネル４ａのバックライト４ｙが消灯している、または、標準輝度よりも低い試行輝度で点灯している状況である。さらに、画像処理装置１ｄは、前記バックライト４ｙが前記標準輝度で点灯した第２状況での前記カメラ５の撮影画像から、前記顔画像の前記目の大きさを特定する。前記輝度制御装置１ｂは、前記第１状況および前記第２状況に対応する前記目の大きさの変化に応じて、前記バックライト４ｙの輝度を調節する。【選択図】図１

Description

本発明は、液晶パネルのバックライトの輝度を制御可能な電子機器に関する。

一般に、画像形成装置などの電子機器は、液晶パネルを備える。また、前記電子機器において、制御装置が、前記液晶パネルにおけるバックライトの輝度を制御することが知られている。

例えば、前記画像形成装置において、記憶装置が、予め複数の表示データに対応する輝度データを記憶しておき、前記制御装置が、前記液晶パネルに表示させる前記表示データに対応する前記輝度データに基づいて、前記バックライトの輝度を制御することが知られている（例えば、特許文献１参照）。

特開２０１３−００３２８５号公報

ところで、ユーザーが前記液晶パネルを眩しいと感じる状況が継続しないように、前記バックライトの輝度が制御されることが望ましい。

前記ユーザーが、前記液晶パネルを眩しいと感じるか否かは、前記液晶パネルの周囲の明るさおよび前記液晶パネルに表示されている画像の内容の他、前記ユーザーごとの個人差によっても異なる。

本発明の目的は、ユーザーが液晶パネルを眩しいと感じる状況が継続しないように、前記ユーザーの個人差に対応して前記液晶パネルのバックライトの輝度を制御できる電子機器を提供することにある。

本発明の一の局面に係る電子機器は、液晶パネルと、輝度制御装置と、カメラと、画像処理装置と、を備える。前記液晶パネルはバックライトを含む。前記輝度制御装置は、前記バックライトの輝度を制御する。前記カメラは、前記液晶パネルの前方に向けられている。前記カメラ制御装置は、前記カメラを制御する。前記画像処理装置は、前記カメラにより撮影された画像に対する画像処理を実行する。前記バックライトが消灯している状況または前記バックライトが標準輝度よりも低い試行輝度で点灯している状況である第１状況において、前記カメラ制御装置が前記カメラを作動させる。さらに、前記画像処理装置が、前記第１状況で前記カメラにより撮影された画像から顔画像を抽出する処理および前記顔画像における目の大きさを特定する処理を含む顔認識処理を実行する。前記輝度制御装置は、前記第１状況で前記カメラが作動した後に前記バックライトを前記標準輝度で点灯させる。前記バックライトが前記標準輝度で点灯した第２状況において、前記カメラ制御装置が再び前記カメラを作動させる。さらに、前記画像処理装置が、前記第２状況で前記カメラにより撮影された画像について前記顔認識処理を実行する。さらに、前記輝度制御装置は、前記第１状況および前記第２状況の前記顔画像から特定された前記目の大きさの変化に応じて、前記標準輝度で点灯した後の前記バックライトの輝度を調節する。

本発明によれば、ユーザーが液晶パネルを眩しいと感じる状況が継続しないように、前記ユーザーの個人差に対応して前記液晶パネルのバックライトの輝度を制御できる電子機器を提供することが可能になる。

図１は、実施形態に係る電子機器の構成図である。 図２は、実施形態に係る電子機器における輝度補正処理の手順の一例を示すフローチャートである。 図３は、実施形態に係る電子機器における輝度低減アイコンが表示された画面の一例を示す図である。

以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。

［電子機器１０の構成］
実施形態に係る電子機器１０は、液晶パネル４ａを含むユーザーインターフェイスデバイス４を備える装置である。例えば、電子機器１０が、プリンター、複写機、ファクシミリ装置または複合機などの画像形成装置であることが考えられる。

図１に示されるように電子機器１０は、ユーザーインターフェイスデバイス４に加え、ＣＰＵ（Central Processing Unit）１、ＲＡＭ(Random Access Memory)２、二次記憶装置３およびカメラ５を備えている。カメラ５は、液晶パネル４ａの前方を向く状態で設けられている。

また、ユーザーインターフェイスデバイス４は、液晶パネル４ａおよび操作装置４ｂを備える。液晶パネル４ａは、液晶により画像を表示する表示部４ｘと、表示部４ｘを背面側から照明するバックライト４ｙとを含む。

操作装置４ｂは、ユーザーの操作を検出する装置であり、例えばタッチパネルおよびシートキーデバイスの一方または両方を含む。

ＣＰＵ１は、予め二次記憶装置３に記憶されたプログラムを実行することにより、表示部４ｘに各種の画像を表示させるとともに、バックライト４ｙの輝度を制御する。なお、ＣＰＵ１は、制御装置の一例である。

ＲＡＭ２は、ＣＰＵ１が実行する前記プログラムおよびＣＰＵ１が前記プログラムを実行する過程で出力および参照するデータを一次記憶する記憶装置である。

二次記憶装置３は、コンピューター読み取り可能な不揮発性の記憶装置である。二次記憶装置３は、前記プログラムおよび各種のデータを記憶可能である。例えば、ハードディスクドライブおよびＳＳＤ（Solid State Drive）の一方または両方が、二次記憶装置３として採用される。

例えば、ＣＰＵ１は、二次記憶装置３に記憶された表示制御プログラムＰｒ１を実行することにより、表示部４ｘを制御する表示制御装置１ａとして動作する。

例えば、複数の画面データＤｔ０が、二次記憶装置３に予め記憶されている。この場合、表示制御装置１ａは、複数の画面データＤｔ０から、操作装置４ｂにより検出される操作内容に応じた表示対象データを選択し、前記表示対象データに基づく画像を表示部４ｘに表示させる。

また、ＣＰＵ１は、二次記憶装置３に記憶された輝度制御プログラムＰｒ２を実行することにより、バックライト４ｙの輝度を制御する輝度制御装置１ｂとして動作する。

例えば、輝度制御装置１ｂは、前記表示対象データに基づく表示画像の平均画像濃度を算出する。さらに、輝度制御装置１ｂは、前記平均画像濃度に応じたバックライト４ｙの標準輝度を算出し、バックライト４ｙの輝度を前記標準輝度に設定する。この場合、輝度制御装置１ｂは、前記平均画像濃度が高い場合の方が低い場合よりも高い前記標準輝度を算出する。

また、輝度制御装置１ｂは、予め定められた休止条件が成立した場合に、バックライト４ｙを消灯させる。前記休止条件の一例は、操作装置４ｂによって何らの操作も検出されない状態が予め定められた時間以上継続したことである。

さらに、輝度制御装置１ｂは、バックライト４ｙが消灯している状態で予め定められた起動イベントが発生した場合に、バックライト４ｙを点灯させる。前記起動イベントの一例は、操作装置４ｂが予め定められた起動操作を検出したことである。この場合、操作装置４ｂは、前記起動イベントの発生を検出するイベント検出装置の一例である。

また、ＣＰＵ１は、二次記憶装置３に記憶されたカメラ制御プログラムＰｒ３を実行することにより、カメラ５を制御するカメラ制御装置１ｃとして動作する。カメラ制御装置１ｃは、ＣＰＵ１により実現される他の装置からの要求に応じてカメラ５を動作させる。

カメラ５が動作すると、カメラ５によって撮影された画像のデータが、ＣＰＵ１に取り込まれ、ＲＡＭ２または二次記憶装置３に一時記憶される。以下の説明において、カメラ５によって撮影された画像のことを撮影画像と称する。

また、ＣＰＵ１は、二次記憶装置３に記憶された画像処理プログラムＰｒ４を実行することにより、前記撮影画像に対する画像処理を実行する画像処理装置１ｄとして動作する。例えば、画像処理装置１ｄは、顔認識処理と、登録情報取得処理と、ユーザー認証処理とを含む顔認証処理を実行する。

前記顔認識処理は、前記撮影画像から顔画像を抽出する処理と、前記顔画像における予め定められた複数の顔要素である複数の認識顔要素を特定する処理とを含む。前記複数の顔要素は、例えば、目、鼻、口、顎および耳の相対的な位置および相対的な大きさなどを含む。

前記登録情報取得処理は、例えば二次記憶装置３などの不揮発性の記憶装置から、特定のユーザーごとの顔における前記複数の顔要素である複数の登録顔要素Ｄｔ１の情報を取得する処理である。

前記ユーザー認証処理は、前記撮影画像から抽出された前記顔画像における前記複数の顔要素である複数の認識顔要素Ｄｔ２を特定し、認識顔要素Ｄｔ２および登録顔要素Ｄｔ１を比較することによって電子機器１０の利用を許可するか否かを判定する処理である。

画像処理装置１ｄは、前記ユーザー認証処理によって電子機器１０の利用を許可するとの判定結果が得られない場合に、ＣＰＵ１が表示制御装置１ａまたは輝度制御装置１ｂとして実行可能な処理の一部または全部を制限する。

なお、前記顔認証処理は周知であるので、前記顔認証処理のより具体的な処理の説明は省略する。

本実施形態において、電子機器１０は、人感センサー６をさらに備える。人感センサー６は、非接触で液晶パネル４ａの前方に存在する人を検出するセンサーである。例えば、赤外線センサーが、人感センサー６として採用されることが考えられる。

本実施形態において、人感センサー６が人を検出することも、前記起動イベントの一つである。従って、人感センサー６も、前記起動イベントを検出する前記イベント検出装置の一例である。電子機器１０において、人感センサー６を有効にする設定が予め行われている場合に、人感センサー６は、前記イベント検出装置として動作する。

さらに、前記休止条件が、人感センサー６によって人が検出されない状態が予め定められた時間継続する、という条件を含むことも考えられる。

なお、表示制御装置１ａ、輝度制御装置１ｂ、カメラ制御装置１ｃおよび画像処理装置１ｄのうちの一部または全部が、ＤＳＰ（Digital Signal Processor）などの他のプロセッサーおよびＡＳＩＣ（Application Specific Integrated Circuit）などの集積回路の一方または両方によって実現されることも考えられる。

ところで、ユーザーが液晶パネル４ａを眩しいと感じる状況が継続しないように、バックライト４ｙの輝度が制御されることが望ましい。

前記ユーザーが、液晶パネル４ａを眩しいと感じるか否かは、液晶パネル４ａの周囲の明るさおよび液晶パネル４ａに表示されている画像の内容の他、前記ユーザーごとの個人差によっても異なる。

電子機器１０において、ＣＰＵ１は、後述する輝度補正処理を実行する。これにより、輝度制御装置１ｂは、前記ユーザーが液晶パネル４ａを眩しいと感じる状況が継続しないように、前記ユーザーの個人差に対応して液晶パネル４ａのバックライト４ｙの輝度を制御することが可能である。

［輝度補正処理］
図２に示されるフローチャートを参照しつつ、前記輝度補正処理の手順の一例について説明する。

輝度制御装置１ｂは、前記休止条件が成立した場合に、バックライト４ｙを消灯させた後、前記輝度補正処理を開始する。以下の説明において、Ｓ１，Ｓ２，…は、前記輝度補正処理における複数の工程の識別符号を表す。

＜工程Ｓ１＞
前記輝度補正処理において、輝度制御装置１ｂは、バックライト４ｙの輝度を前記標準輝度から下げる方向へ補正する補正係数の値である輝度低減率を無効化する。前記補正低減率は予め設定された値である。

輝度制御装置１ｂは、バックライト４ｙを点灯させた後、前記輝度低減率が有効に設定されていれば、前記輝度低減率に基づいて、バックライト４ｙの輝度を前記標準輝度から下げる方向へ補正する。一方、輝度制御装置１ｂは、バックライト４ｙを点灯させた後、前記輝度低減率が無効化されていれば、前記輝度低減率に基づくバックライト４ｙの輝度の補正を行わない。

＜工程Ｓ２＞
さらに、前記輝度補正処理において、輝度制御装置１ｂは、操作装置４ｂまたは人感センサー６が前記起動イベントの発生を検出するまで、操作装置４ｂおよび人感センサー６の状態を監視する。

＜工程Ｓ３＞
前記起動イベントの発生が検出された場合、輝度制御装置１ｂは、バックライト４ｙを前記標準輝度よりも低い試行輝度で点灯させる。前記試行輝度は、ユーザーの多くが液晶パネル４ａの明るさがやや不足していると感じる程度の輝度である。

例えば、前記試行輝度が、前記標準輝度を予め定められた初期低減率で補正した輝度であることが考えられる。この場合、前記初期低減率は、前記輝度低減率よりもさらに輝度を下げる補正率であることが考えられる。

以下の説明において、輝度制御装置１ｂがバックライト４ｙを前記試行輝度で点灯させた状況のことを第１状況と称する。

なお、工程Ｓ３の処理と並行して、表示制御装置１ａが、予め定められた初期メニュー画面ｇ０の画像を表示部４ｘに表示させる（図３参照）。図２において、その表示制御装置１ａの処理についての記載は省略されている。

＜工程Ｓ４＞
続いて、カメラ制御装置１ｃが、前記第１状況下でカメラ５を作動させる。これにより、前記第１状況の下での前記撮影画像が得られる。

＜工程Ｓ５＞
続いて、画像処理装置１ｄが、前記第１状況でカメラ５により撮影された前記撮影画像に対する前記顔認識処理を実行する。これにより、前記複数の認識顔要素が特定される。以下の説明において、この工程Ｓ５で特定される前記複数の認識顔要素のことを、複数の第１認識顔要素と称する。

なお、画像処理装置１ｄは、前記複数の第１認識顔要素を特定できなかった場合、予め定められたエラー処理を実行する。図２において、このエラー処理についての記載は省略されている。

＜工程Ｓ６＞
前記複数の第１認識顔要素が特定された場合、輝度制御装置１ｂがバックライト４ｙを前記標準輝度で点灯させる。なお、工程Ｓ６の処理は、前記第１状況でカメラ５が作動した後に実行される。

以下の説明において、輝度制御装置１ｂがバックライト４ｙを前記標準輝度で点灯させた状況のことを第２状況と称する。

＜工程Ｓ７＞
続いて、カメラ制御装置１ｃが、前記第２状況下でカメラ５を再び作動させる。これにより、前記第２状況の下での前記撮影画像が得られる。

＜工程Ｓ８＞
続いて、画像処理装置１ｄが、前記第２状況でカメラ５により撮影された前記撮影画像に対する前記顔認識処理を実行する。これにより、前記複数の認識顔要素が特定される。以下の説明において、この工程Ｓ８で特定される前記複数の認識顔要素のことを、複数の第２認識顔要素と称する。

なお、画像処理装置１ｄは、前記複数の第２認識顔要素を特定できなかった場合、予め定められたエラー処理を実行する。図２において、このエラー処理についての記載は省略されている。

＜工程Ｓ９＞
続いて、画像処理装置１ｄが、前記第１状況および前記第２状況の前記顔画像から特定された目の大きさの変化率を算出する。即ち、画像処理装置１ｄは、前記複数の第１認証顔要素の１つである第１の目の大きさから、前記複数の第２認証顔要素の１つである第２の目の大きさへの変化率を算出する。

本実施形態において、前記変化率は、前記第２状況で特定された目の大きさから前記第１状況で特定された目の大きさを減算した値を、前記第１状況で特定された目の大きさで除算することにより算出される。従って、前記ユーザーが、前記第２状況において前記第１状況よりも目を細めた場合、前記変化率は負の値となる。一方、前記ユーザーが、前記第２状況において前記第１状況よりも目を大きく開いた場合、前記変化率は正の値となる。

＜工程Ｓ１０＞
そして、画像処理装置１ｄは、前記変化率が予め定められたしきい値よりも小さくない場合、前記輝度補正処理を終了させる。これにより、前記輝度低減率が無効に設定された状態が維持される。

一方、画像処理装置１ｄは、前記変化率が前記しきい値よりも小さい場合、処理を工程Ｓ１１へ移行させる。前記変化率が前記しきい値よりも小さい状況は、液晶パネル４ａの前の前記ユーザーが、液晶パネル４ａを眩しく感じて目を細めた状況であると考えられる。

＜工程Ｓ１１＞
工程Ｓ１１において、輝度制御装置１ｂが、前記輝度低減率を有効化する。これ以降、輝度制御装置１ｂは、前記輝度低減率に基づいて、バックライト４ｙの輝度を前記標準輝度から下げる方向へ補正する。

＜工程Ｓ１２＞
さらに、前記変化率が前記しきい値よりも小さい場合、表示制御装置１ａが、予め定められた輝度低減アイコンｇ１を表示制御装置１ａに表示させる（図３参照）。その後、表示制御装置１ａは、前記輝度補正処理を終了させる。

輝度低減アイコンｇ１は、前記輝度低減率に基づいてバックライト４ｙの輝度が補正されていることを通知するマークである。さらに、輝度低減アイコンｇ１は、前記輝度低減率を手動で無効化する操作を受け付ける操作部でもある。

工程Ｓ１０において、前記ユーザーが液晶パネル４ａを眩しいと感じなかったにも関わらず、前記目の大きさの前記変化率が前記しきい値を下回ったことも考えられる。この場合、前記輝度低減率が有効化されると、前記ユーザーが液晶パネル４ａの明るさが不足していると感じる。

前記ユーザーは、液晶パネル４ａの明るさが不足していると感じた場合、輝度低減アイコンｇ１を操作することによって前記輝度低減率を強制的に無効化することができる。これにより、輝度制御装置１ｂは、バックライト４ｙを前記標準輝度で点灯する状態に制御する。

以上に示されるように、電子機器１０は、液晶パネル４ａを眩しいと感じるか否かに関する前記ユーザーの個人差を、バックライト４ｙの輝度を前記第１状況から前記第２状況へ変化させたときの前記目の大きさの前記変化率によって判定する（Ｓ１０）。

そして、輝度制御装置１ｂは、前記第１状況および前記第２状況の前記顔画像から特定された前記目の大きさの前記変化率に応じて、工程Ｓ６において前記標準輝度で点灯した後のバックライト４ｙの輝度を調節する。本実施形態において、輝度制御装置１ｂは、前記変化率に応じて、バックライト４ｙの輝度を前記標準輝度および前記標準輝度を前記輝度低減率に基づき補正した輝度の２段階で調節する。

従って、輝度制御装置１ｂは、前記ユーザーが液晶パネル４ａを眩しいと感じる状況が継続しないように、前記ユーザーの個人差に対応して液晶パネル４ａのバックライト４ｙの輝度を制御できる。

また、本実施形態において、画像処理装置１ｄは、本来は前記ユーザー認証処理を含む前記顔認証処理を実行する装置である。その画像処理装置１ｄが、前記目の大きさの前記変化率によって前記ユーザーの個人差を判定する装置を兼ねる。

また、輝度制御装置１ｂは、バックライト４ｙが消灯しているときに前記起動イベントが検出された場合に、バックライト４ｙを前記試行輝度で点灯させる（Ｓ３）。これにより、輝度制御装置１ｂは、前記ユーザーを液晶パネル４ａに注目するように誘導する。

[第１応用例]
図２に示される前記輝度補正処理において、工程Ｓ３の処理が省略されることも考えられる。この場合、バックライト４ｙが消灯している状況が前記第１状況である。

[第２応用例]
電子機器１０において、予め定められた輝度減算値が、前記輝度低減率の代わりに採用されることも考えられる。本応用例において、前記目の大きさの前記変化率が前記しきい値より小さい場合に、輝度制御装置１ｂは、バックライト４ｙの輝度を、前記標準輝度から前記輝度減算値を減算した輝度に調節する。

１ ：ＣＰＵ
１ａ ：表示制御装置
１ｂ ：輝度制御装置
１ｃ ：カメラ制御装置
１ｄ ：画像処理装置
２ ：ＲＡＭ
３ ：二次記憶装置
４ ：ユーザーインターフェイスデバイス
４ａ ：液晶パネル
４ｂ ：操作装置
４ｘ ：表示部
４ｙ ：バックライト
５ ：カメラ
６ ：人感センサー
１０ ：電子機器
Ｄｔ０ ：画面データ
Ｄｔ１ ：登録顔要素
Ｄｔ２ ：認識顔要素
Ｐｒ１ ：表示制御プログラム
Ｐｒ２ ：輝度制御プログラム
Ｐｒ３ ：カメラ制御プログラム
Ｐｒ４ ：画像処理プログラム
ｇ０ ：初期メニュー画面
ｇ１ ：輝度低減アイコン

Claims (4)

1. バックライトを含む液晶パネルと、
   前記バックライトの輝度を制御する輝度制御装置と、
   前記液晶パネルの前方に向けられたカメラと、
   前記カメラを制御するカメラ制御装置と、
   前記カメラにより撮影された画像に対する画像処理を実行する画像処理装置と、を備え、
   前記バックライトが消灯している状況または前記バックライトが標準輝度よりも低い試行輝度で点灯している状況である第１状況において、
   前記カメラ制御装置が前記カメラを作動させ、
   前記画像処理装置が、前記第１状況で前記カメラにより撮影された画像から顔画像を抽出する処理および前記顔画像における目の大きさを特定する処理を含む顔認識処理を実行し、
   前記輝度制御装置が、前記第１状況で前記カメラが作動した後に前記バックライトを前記標準輝度で点灯させ、
   前記バックライトが前記標準輝度で点灯した第２状況において、
   前記カメラ制御装置が再び前記カメラを作動させ、
   前記画像処理装置が、前記第２状況で前記カメラにより撮影された画像について前記顔認識処理を実行し、
   前記輝度制御装置は、前記第１状況および前記第２状況の前記顔画像から特定された前記目の大きさの変化に応じて、前記標準輝度で点灯した後の前記バックライトの輝度を調節する、電子機器。
2. 予め定められた起動イベントの発生を検出するイベント検出装置をさらに備え、
   前記バックライトが消灯しているときに前記起動イベントが検出された場合に、前記輝度制御装置は、前記バックライトを前記試行輝度で点灯させる、請求項１に記載の電子機器。
3. 前記イベント検出装置が、非接触で人を検出する人感センサーまたは人の操作を検出する操作装置である、請求項２に記載の電子機器。
4. 前記画像処理装置は、顔認証処理を実行し、
   前記顔認証処理は、
   前記カメラにより撮影された画像から前記顔画像を抽出し、前記顔画像における前記目の大きさを含む予め定められた複数の顔要素である複数の認識顔要素を特定する前記顔認識処理と、
   不揮発性の記憶装置から、特定のユーザーごとの顔における前記複数の顔要素である複数の登録顔要素の情報を取得する登録情報取得処理と、
   前記認識顔要素および前記登録顔要素を比較することによって前記電子機器の利用を許可するか否かを判定するユーザー認証処理と、を含む、請求項１から請求項３のいずれか１項に記載の電子機器。

Images