JP2017069625A - 電子機器、制御方法及び制御プログラム - Google Patents

Abstract

【課題】ディスプレイの輝度を自動調整する技術を改善すること。
【解決手段】１つの態様において、電子機器は、画面を有する表示部と、自機を所持する利用者の画像を取得する画像取得部と、表示部に対して照射される光の強度Ｌを測定する測定部と、画像取得部により取得された画像に基づいて、利用者の眼球から反射する光の強度Ｐを算出する制御部とを備える。制御部は、光の強度Ｌと光の強度Ｐとに基づいて、画面の輝度を調整する。制御部は、光の強度Ｌおよび光の強度Ｐがともに増加傾向にある場合、輝度を増加させ、光の強度Ｌおよび光の強度Ｐがともに減少傾向にある場合、輝度を減少させる。
【選択図】図１

Description

本出願は、電子機器、制御方法及び制御プログラムに関する。

従来、人間の状態を検出する状態検出装置がある。例えば、眼からの反射光から得られる眼球観察情報として、瞳孔径に関する情報を取得し、取得した情報に基づいて、人間の状態を判定することで、疲労の度合いについて人間に警告を発する装置が知られている（特許文献１参照）。

特開平７−２５５６６９号公報

ところで、電子機器が備えるディスプレイの輝度を自動調整する技術があるが、例えば、当該技術に瞳孔径の情報を利用する場合、処理速度、個人差の考慮などの改善の余地が残されている。

１つの態様に係る電子機器は、画面を有する表示部と、自機を所持する利用者の画像を取得する画像取得部と、前記表示部に対して照射される光の強度Ｌを測定する測定部と、前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出する制御部とを備える。前記制御部は、前記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整する。

１つの態様に係る制御方法は、画面を有する表示部と、自機を所持する利用者の画像を取得する画像取得部と、前記表示部に対して照射される光の強度Ｌを測定する測定部とを備える電子機器に実行させる制御方法である。当該制御方法は、前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出するステップと、記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整するステップとを含む。

１つの態様に係る制御プログラムは、画面を有する表示部と、自機を所持する利用者の画像を取得する画像取得部と、前記表示部に対して照射される光の強度Ｌを測定する測定部とを備える電子機器に、前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出するステップと、前記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整するステップとを実行させる。

図１は、実施形態に係るスマートフォンの機能構成を示すブロック図である。 図２は、画面輝度調整テーブルの構成の一例を示す図である。 図３は、１つの実施形態に係るスマートフォンによる処理の一例を示すフローチャートである。 図４は、他の実施形態に係るスマートフォンの機能構成を示すブロック図である。 図５は、画面輝度調整テーブルの構成の一例を示す図である。 図６は、光の強度Ｌ及び光の強度Ｐが異なる場合の利用者の眼の画像の一例を示す図である。 図７は、光の強度Ｌ及び光の強度Ｐが異なる場合の利用者の眼の画像の一例を示す図である。 図８は、光の強度Ｌ及び光の強度Ｐが異なる場合の利用者の眼の画像の一例を示す図である。 図９は、光の強度Ｌ及び光の強度Ｐが異なる場合の利用者の眼の画像の一例を示す図である。 図１０は、他の実施形態に係るスマートフォンによる処理の一例を示すフローチャートである。

本出願に係る電子機器、制御方法及び制御プログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。

以下では、本出願に係る電子機器の一例として、スマートフォンを取り上げて説明するが、携帯電子機器はスマートフォンに限定されない。携帯電子機器は、ユーザが携行可能であって、移動手段の判別を実行する電子機器であれば、スマートフォン以外の機器であってもよく、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、又はゲーム機等の機器であってよい。

図１は、スマートフォン１の機能構成を示すブロック図である。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。以下の説明において、スマートフォン１を「自機」と表記する場合がある。

図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、カメラ１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６と、赤外線照射部１７とを備える。

タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。

ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。ディスプレイ２Ａは、表示部の一例である。

タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に接触したときのタッチスクリーン２Ｂ上の位置（以下、接触位置と表記する）を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指の接触を、接触位置とともにコントローラ１０に通知する。タッチスクリーン２Ｂは、接触位置検出部の一例である。

タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。

コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。

ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。

照度センサ４は、照度を検出する。照度は、照度センサ４の測定面の単位面積に入射する光束の値である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。以下の説明において、照度センサ４が測定する照度を、ディスプレイ２Ａに対して照射される「光の強度Ｌ」と表記する。照度センサ４は、測定部の一例である。

近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２Ａが顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしてもよい。

レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の声等を音信号へ変換してコントローラ１０へ送信する。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラム（図示略）とが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２Ａに画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び基本プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、制御プログラム９Ａ、メールアプリケーション９Ｂ、電話アプリケーション９Ｃ、視線検出プログラム９Ｄ、画面輝度調整テーブル９Ｅ、及び設定データ９Ｚなどを記憶する。

制御プログラム９Ａは、視線検出プログラム９Ｄによる視線検出処理の結果、ディスプレイ２Ａ上に利用者の視線が検出された場合、カメラ１２により取得された画像に基づいて、利用者の眼球から反射する光の強度Ｐを算出する機能を提供できる。制御プログラム９Ａは、照度センサ４から光の強度Ｌを取得し、光の強度Ｌと光の強度Ｐとに基づいて、ディスプレイ２Ａの輝度を調整する機能を提供できる。例えば、制御プログラム９Ａは、光の強度Ｌおよび光の強度Ｐがともに増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、光の強度Ｌおよび光の強度Ｐがともに減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、制御プログラム９Ａは、光の強度Ｌが一定の状態にあって、かつ、光の強度Ｐが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、光の強度Ｌが一定の状態にあって、かつ、光の強度Ｐが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、制御プログラム９Ａは、光の強度Ｐが一定の状態にあって、かつ、光の強度Ｌが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、光の強度Ｐが一定の状態にあって、かつ、光の強度Ｌが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、制御プログラム９Ａは、光の強度Ｌが増加傾向であって、かつ、光の強度Ｐが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。あるいは、制御プログラム９Ａは、光の強度Ｌ及び光の強度Ｐが一定の状態である場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。あるいは、制御プログラム９Ａは、光の強度Ｌが減少傾向であって、かつ、光の強度Ｐが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。

メールアプリケーション９Ｂは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。電話アプリケーション９Ｃは、無線通信による通話のための通話機能を提供する。

視線検出プログラム９Ｄは、利用者の視線位置を検出する機能を提供できる。すなわち、視線検出プログラム９Ｄは、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置を検出する。具体的には、視線検出プログラム９Ｄは、カメラ１２により撮影される利用者の画像を取得する際に、赤外線照射部１７から赤外線を照射させる。視線検出プログラム９Ｄは、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線検出プログラム９Ｄは、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。視線検出プログラム９Ｄは、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。視線検出プログラム９Ｄは、例えば、虹彩の大きさに基づいて、利用者の眼球とタッチスクリーンディスプレイ２との距離を算出する。視線検出プログラム９Ｄは、利用者の視線の方向と、利用者の眼球とタッチスクリーンディスプレイ２との距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がタッチスクリーンディスプレイ２と交差するかを判定することにより、例えば、利用者の視線がディスプレイ２Ａ上にあるかを判定する。

画面輝度調整テーブル９Ｅは、制御プログラム９Ａによるディスプレイ２Ａの輝度を調整する処理に利用される。図２は、画面輝度調整テーブル９Ｅの構成の一例を示す図である。図２に示すように、画面輝度調整テーブル９Ｅは、ディスプレイ２Ａに対して照射される光の強度Ｌの増減傾向、及び利用者の眼球から反射する光の強度Ｐの増減傾向に対して、ディスプレイ２Ａの輝度の調整方法を対応付けて構成される。例えば、画面輝度調整テーブル９Ｅにおいて、光の強度Ｌ及び光の強度Ｐがともに増加傾向にある場合、ディスプレイ２Ａの輝度の調整方法として、輝度を増加させる「増加調整」が設定されている。あるいは、画面輝度調整テーブル９Ｅにおいて、光の強度Ｌ及び光の強度Ｐがともに減少傾向にある場合、ディスプレイ２Ａの輝度の調整方法として、輝度を減少させる「減少調整」が設定されている。

設定データ９Ｚは、スマートフォン１の動作に関する各種設定の情報を含む。各種設定の情報は、制御プログラム９Ａなどにより提供される機能に基づいて実行される処理に用いられる各種データ、メールアプリケーション９Ｂ等の各種アプリケーションなどにより提供される機能に基づいて実行される処理に用いられる各種データを含む。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。コントローラ１０は、制御部の一例である。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、スピーカ１１、及び赤外線照射部１７を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、カメラ１３、加速度センサ１５、及び方位センサ１６を含むが、これらに限定されない。

制御プログラム９Ａ及び視線検出プログラム９Ｄを実行することにより、次の処理を実行する。すなわち、コントローラ１０は、視線検出プログラム９Ｄによる視線検出処理の結果、ディスプレイ２Ａ上に利用者の視線が検出された場合、カメラ１２により取得された画像に基づいて、利用者の眼球から反射する光の強度Ｐを算出する。続いて、コントローラ１０は、照度センサ４から光の強度Ｌを取得し、光の強度Ｌと光の強度Ｐとに基づいて、ディスプレイ２Ａの輝度を調整する。例えば、コントローラ１０は、光の強度Ｌおよび光の強度Ｐがともに増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、一方、光の強度Ｌおよび光の強度Ｐがともに減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、コントローラ１０は、光の強度Ｌが一定の状態にあって、かつ、光の強度Ｐが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、一方、光の強度Ｌが一定の状態にあって、かつ、光の強度Ｐが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、コントローラ１０は、光の強度Ｐが一定の状態にあって、かつ、光の強度Ｌが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を増加させ、光の強度Ｐが一定の状態にあって、かつ、光の強度Ｌが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を減少させる。あるいは、コントローラ１０は、光の強度Ｌが増加傾向であって、かつ、光の強度Ｐが減少傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。あるいは、コントローラ１０は、光の強度Ｌ及び光の強度Ｐが一定の状態である場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。あるいは、コントローラ１０は、光の強度Ｌが減少傾向であって、かつ、光の強度Ｐが増加傾向にある場合、画面輝度調整テーブル９Ｅに従って輝度を現状維持にする。

コントローラ１０は、例えば、次のような方法で、光の強度Ｌ及び光の強度Ｐの増減傾向を算出する。すなわち、測定部にて１秒毎に光の強度Ｌや光の強度Ｐの値を測定してプロットしたとき、３ポイント連続で単調増加すると、コントローラ１０は、増加傾向であるとして判断し、３ポイント連続で単調減少すると、コントローラ１０は、減少傾向であるとして判断する。また、コントローラ１０は、ディスプレイ２Ａの輝度を増加させる場合、利用者の眼の画像を継続的に取得して、取得した画像を解析し、カメラ１２により撮影される利用者の眼球の瞳孔の面積が拡大傾向から縮小傾向に転じるまでディスプレイ２Ａの輝度を増加させる。一方、コントローラ１０は、ディスプレイ２Ａの輝度を減少させる場合、カメラ１２により撮影される利用者の眼の画像を継続的に取得して、取得した画像を解析し、利用者の眼球の瞳孔の面積が縮小傾向から拡大傾向に転じるまでディスプレイ２Ａの輝度を減少させる。コントローラ１０は、画像を升目状に分割することでピクセル化して、画像上の光の強度を所定の閾値に基づいて２値化する。例えば、コントローラ１０は、各ピクセルにおいて、虹彩及び角膜部分に相当する明るい部分の値を「０」とし、瞳孔部分に相当する暗い部分を「１」とする。これにより、値が「０」を示すピクセルの数が減少し、値が「１」を示すピクセルの数が増加していけば、コントローラ１０は、利用者の眼球の瞳孔の面積が増加傾向であるとして判断する。また、値が「０」を示すピクセルの数が増加し、値が「１」を示すピクセルの数が減少していけば、コントローラ１０は、利用者の眼球の瞳孔の面積が縮小傾向であるとして判断する。

スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。

カメラ１２及びカメラ１３は、撮影した画像を電気信号へ変換する。カメラ１２は、ディスプレイ２Ａに面している物体を撮影するインカメラである。カメラ１３は、ディスプレイ２Ａの反対側の面に面している物体を撮影するアウトカメラである。カメラ１２及びカメラ１３は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態でスマートフォン１に実装されてもよい。１つの実施形態において、カメラ１２は、利用者の眼の画像を撮影する。例えば、カメラ１２は画像取得部の一例である。

コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタ１４に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。

加速度センサ１５は、スマートフォン１に作用する加速度の方向及び大きさを検出する。方位センサ１６は、例えば、地磁気の向きを検出し、地磁気の向きに基づいて、スマートフォン１の向き（方位）を検出する。

スマートフォン１は、上記の各機能部の他、ＧＰＳ受信機、及びバイブレータを備えてもよい。ＧＰＳ受信機は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。バイブレータは、スマートフォン１の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。図１には示していないが、スマートフォン１は、バッテリなど、スマートフォン１の機能を維持するために当然に用いられる機能部を実装する。

図３を参照しつつ、１つの実施形態に係るスマートフォン１による処理の流れを説明する。図３は、１つの実施形態に係るスマートフォン１による処理の一例を示すフローチャートである。図３に示す処理は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａ及び視線検出プログラム９Ｄなどを実行することにより実現される。図３に示す処理は、スマートフォン１の動作中、繰り返し実行される。

図３に示すように、コントローラ１０は、ディスプレイ２Ａ上に利用者の視線を検出したかを判定する（ステップＳ１０１）。

コントローラ１０は、判定の結果、視線を検出した場合（ステップＳ１０１，Ｙｅｓ）、光の強度Ｌ及び光の強度Ｐの増減傾向を解析する（ステップＳ１０２）。

続いて、コントローラ１０は、光の強度Ｌ及び光の強度Ｐの増減傾向に基づいて、ディプレイ２Ａの輝度を調整する（ステップＳ１０３）。

上記ステップＳ１０１において、コントローラ１０は、判定の結果、視線を検出しない場合（ステップＳ１０１，Ｎｏ）、同判定を繰り返す。

上記の実施形態において、スマートフォン１は、光の強度Ｌ及び光の強度Ｐの増減傾向に基づいて、ディプレイ２Ａの輝度を調整する。このため、上記の実施形態によれば、利用者の眼球から反射する光の強度Ｐを考慮して、ディスプレイ２Ａの輝度を調整できるので、従来のようにディスプレイ２Ａに対して照射される光の強度Ｌだけに基づいてディスプレイ２Ａの輝度を調整する場合に比較して、より適切な輝度調整を実現できる。

図４は、他の実施形態に係るスマートフォン１の機能構成を示すブロック図である。他の実施形態に係るスマートフォン１は、上記の実施形態と基本的には同様の構成を有するが、以下に説明する点が異なる。

制御プログラム９Ａは、光の強度Ｐが第１の閾値を超え、かつ、光の強度Ｌが第２の閾値を超えている場合、輝度を第１の値に設定し、光の強度Ｐが第１の閾値を超え、かつ、光の強度Ｌが第２の閾値を超えていない場合、輝度を前記第１の値よりも小さな第２の値に設定する機能を提供する。あるいは、制御プログラム９Ａは、光の強度Ｐが第１の閾値を超えておらず、かつ、光の強度Ｌが第２の閾値を超えている場合、輝度を第３の値に設定し、光の強度Ｐが第１の閾値を超えておらず、かつ、光の強度Ｌが第２の閾値を超えていない場合、輝度を前記第３の値よりも小さな第４の値に設定する機能を提供する。

ストレージ９は、画面輝度調整テーブル９Ｆを記憶する。図５は、画面輝度調整テーブル９Ｆの構成の一例を示す図である。図５に示すように、画面輝度調整テーブル９Ｆは、ディスプレイに対して照射される光の強度Ｌと閾値Ｌｔとの関係、及び利用者の眼球から反射する光の強度Ｐと閾値Ｐｔとの関係に対して、ディスプレイ２Ａの輝度の設定値を対応付けて構成される。例えば、画面輝度調整テーブル９Ｆにおいて、光の強度Ｐが閾値Ｐｔを超え、かつ、光の強度Ｌが閾値Ｌｔを超えている場合、輝度の値として輝度Ｂ１が設定され、光の強度Ｐが閾値Ｐｔを超え、かつ、光の強度Ｌが閾値Ｌｔを超えていない場合、輝度の値として輝度Ｂ１よりも小さな輝度Ｂ２が設定されている。あるいは、画面輝度調整テーブル９Ｆにおいて、光の強度Ｐが閾値Ｐｔを超えておらず、かつ、光の強度Ｌが閾値Ｌｔを超えている場合、輝度の値として輝度Ｂ２が設定され、光の強度Ｐが閾値Ｐｔを超えておらず、かつ、光の強度Ｌが閾値Ｌｔを超えていない場合、輝度の値として輝度Ｂ２よりも小さな輝度Ｂ３が設定されている。輝度Ｂ１は、第１の値の一例であり、輝度Ｂ２は、第２の値及び第３の値の一例であり、輝度Ｂ３は、第４の値の一例である。

コントローラ１０は、制御プログラム９Ａを実行することにより、光の強度Ｌと光の強度Ｐとに基づいて、ディスプレイ２Ａの輝度を調整する。具体的には、コントローラ１０は、光の強度Ｐが閾値Ｐｔを超え、かつ、光の強度Ｌが閾値Ｌｔを超えている場合、画面輝度調整テーブル９Ｆに基づいて、輝度の値を輝度Ｂ１に変更し、光の強度Ｐが閾値Ｐｔを超え、かつ、光の強度Ｌが閾値Ｌｔを超えていない場合、画面輝度調整テーブル９Ｆに基づいて、輝度の値を輝度Ｂ１よりも小さな輝度Ｂ２に変更する。あるいは、コントローラ１０は、光の強度Ｐが閾値Ｐｔを超えておらず、かつ、光の強度Ｌが閾値Ｌｔを超えている場合、画面輝度調整テーブル９Ｆに基づいて、輝度の値を輝度Ｂ２に変更し、光の強度Ｐが閾値Ｐｔを超えておらず、かつ、光の強度Ｌが閾値Ｌｔを超えていない場合、画面輝度調整テーブル９Ｆに基づいて、輝度の値を輝度Ｂ２よりも小さな輝度Ｂ３に変更する。

図６から図９は、光の強度Ｌ及び光の強度Ｐが異なる場合の利用者の眼の画像の一例を示す図である。図６は光の強度Ｐ及び光の強度Ｌが共に閾値を超えている場合の眼の画像の例、図７は光の強度Ｌだけが閾値を超えている場合の眼の画像の例、図８は光の強度Ｐだけが閾値を超えている場合の眼の画像の例、図９は光の強度Ｐ及び光の強度Ｌが共に閾値以下である場合の眼の画像の例を示す。図６から図９に示す眼の画像５０には、赤外線照射部１７から照射される視線検出用の赤外線スポット５１、結膜部分５２、虹彩及び角膜部分５３、瞳孔部分５４、ディスプレイ２Ａから反射光スポット５５が含まれる。

図６を取り上げて、光の強度Ｐの算出について説明する。コントローラ１０は、カメラ１２により撮影される眼の画像５０を拡大する。続いて、コントローラ１０は、拡大した眼の画像５０に含まれる反射光スポット５５に中心線５６を引き、中心線５６上の明暗から光の強度Ｐを算出する。光の強度Ｐは、レーザーパワーの密度測定と同様に測定することができ、具体的に、コントローラ１０は、中心線５６上における光の強度Ｐの分布をコントローラ１０内で測定、計算してもよく、必ずしも撮影されている目の画像５０自体を、画面上に表示させる必要はない。

図１０は、他の実施形態に係るスマートフォン１による処理の一例を示すフローチャートである。図１０に示す処理は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａ及び視線検出プログラム９Ｄなどを実行することにより実現される。図１０に示す処理は、スマートフォン１の動作中、繰り返し実行される。

図１０に示すように、コントローラ１０は、ディスプレイ２Ａ上に利用者の視線を検出したかを判定する（ステップＳ２０１）。

コントローラ１０は、判定の結果、視線を検出した場合（ステップＳ２０１，Ｙｅｓ）、光の強度Ｌ及び光の強度Ｐを算出する（ステップＳ２０２）。

続いて、コントローラ１０は、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足するかを判定する（ステップＳ２０３）。

コントローラ１０は、判定の結果、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足する場合（ステップＳ２０３，Ｙｅｓ）、ディスプレイ２Ａの輝度をＢ１に変更し（ステップＳ２０４）、ステップＳ２０１の判定に戻る。

一方、コントローラ１０は、判定の結果、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足しない場合（ステップＳ２０３，Ｎｏ）、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ≦閾値Ｌｔという条件を満足するかを判定する（ステップＳ２０５）。

コントローラ１０は、判定の結果、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ≦閾値Ｌｔという条件を満足する場合（ステップＳ２０５，Ｙｅｓ）、ディスプレイ２Ａの輝度をＢ２に変更し（ステップＳ２０６）、ステップＳ２０１の判定に戻る。

一方、コントローラ１０は、判定の結果、光の強度Ｐ＞閾値Ｐｔ、かつ光の強度Ｌ≦閾値Ｌｔという条件を満足しない場合（ステップＳ２０５，Ｎｏ）、光の強度Ｐ≦閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足するかを判定する（ステップＳ２０７）。

コントローラ１０は、判定の結果、光の強度Ｐ≦閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足する場合（ステップＳ２０７，Ｙｅｓ）、上記ステップＳ２０６と同様に、ディスプレイ２Ａの輝度をＢ２に変更し、ステップＳ２０１の判定に戻る。

一方、コントローラ１０は、判定の結果、光の強度Ｐ≦閾値Ｐｔ、かつ光の強度Ｌ＞閾値Ｌｔという条件を満足しない場合（ステップＳ２０７，Ｎｏ）、ディスプレイ２Ａの輝度をＢ３に変更し（ステップＳ２０８）、ステップＳ２０１の判定に戻る。

上記ステップＳ２０１において、コントローラ１０は、判定の結果、視線を検出しない場合（ステップＳ２０１，Ｎｏ）、同判定を繰り返す。

上記の実施形態において、スマートフォン１は、光の強度Ｌ及び光の強度Ｐを閾値と比較し、その大小関係に基づいて、ディスプレイ２Ａの輝度を調整するので、より簡易かつ適切な輝度調整を実現できる。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ メールアプリケーション
９Ｃ 電話アプリケーション
９Ｄ 視線検出プログラム
９Ｅ，９Ｆ 画面輝度調整テーブル
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２ カメラ
１３ カメラ
１４ コネクタ
１５ 加速度センサ
１６ 方位センサ
１７ 赤外線照射部

Claims (7)

1. 画面を有する表示部と、
   自機を所持する利用者の画像を取得する画像取得部と、
   前記表示部に対して照射される光の強度Ｌを測定する測定部と、
   前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出する制御部と、
   を備え、
   前記制御部は、前記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整する電子機器。
2. 前記制御部は、
   前記光の強度Ｌおよび前記光の強度Ｐがともに増加傾向にある場合、前記輝度を増加させ、
   前記光の強度Ｌおよび前記光の強度Ｐがともに減少傾向にある場合、前記輝度を減少させる請求項１に記載の電子機器。
3. 前記制御部は、
   前記光の強度Ｌが一定の状態にあって、かつ、前記光の強度Ｐが増加傾向にある場合、前記輝度を増加させ、
   前記光の強度Ｌが一定の状態にあって、かつ、前記光の強度Ｐが減少傾向にある場合、前記輝度を減少させる請求項１に記載の電子機器。
4. 前記制御部は、
   前記光の強度Ｐが第１の閾値を超え、かつ、前記光の強度Ｌが第２の閾値を超えている場合、前記輝度を第１の値に設定し、
   前記光の強度Ｐが第１の閾値を超え、かつ、前記光の強度Ｌが第２の閾値を超えていない場合、前記輝度を前記第１の値よりも小さな第２の値に設定する請求項１に記載の電子機器。
5. 前記制御部は、
   前記光の強度Ｐが第１の閾値を超えておらず、かつ、前記光の強度Ｌが第２の閾値を超えている場合、前記輝度を第３の値に設定し、
   前記光の強度Ｐが第１の閾値を超えておらず、かつ、前記光の強度Ｌが第２の閾値を超えていない場合、前記輝度を前記第３の値よりも小さな第４の値に設定する請求項１に記載の電子機器。
6. 画面を有する表示部と、
   自機を所持する利用者の画像を取得する画像取得部と、
   前記表示部に対して照射される光の強度Ｌを測定する測定部と
   を備える電子機器に実行させる制御方法であって、
   前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出するステップと、
   前記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整するステップと
   を含む制御方法。
7. 画面を有する表示部と、
   自機を所持する利用者の画像を取得する画像取得部と、
   前記表示部に対して照射される光の強度Ｌを測定する測定部と
   を備える電子機器に、
   前記画像取得部により取得された画像に基づいて、前記利用者の眼球から反射する光の強度Ｐを算出するステップと、
   前記光の強度Ｌと前記光の強度Ｐとに基づいて、前記画面の輝度を調整するステップと
   を実行させる制御プログラム。

Images