JP2021174295A - 電子機器及びその制御方法 - Google Patents

Abstract

【課題】視線検出機能を適切なタイミングで有効にすることにより、例えば、省電力化を図ることができる。より少ない電力消費で、視線検出機能を有効にすることができる。【解決手段】ユーザーの視線による視線位置を検出する視線検出手段と、表示手段に第１のコンテンツが表示されている状態において、前記第１のコンテンツと共に表示される第２のコンテンツが前記表示手段に表示されたことに応じて、前記視線検出手段によるユーザーの視線位置の検出を行うように制御する制御手段とを有することを特徴とする。【選択図】図４

Description

本発明は、表示の有無によって、ユーザーの視線位置が検出可能な電子機器及び電子機器の制御方法に関するものである。

近年、スマートフォン等のモバイル端末において、広告や通知などの役割を持つバナーと呼ばれる画像がユーザーの意図にかかわらず、画面に表示されることが知られている。特許文献１には、ヘッドマウントディスプレイを見ているユーザーの視線位置を常時検出し、バナー広告の表示領域内にユーザーの視線がある状態で所定時間経過すると、バナー表示を非表示にすることが開示されている。

特開２０１９−３９９８８号公報

しかし、特許文献１では、ユーザーの視線位置を検出するために、常に視線位置を検出する機能がオン状態になっており、多くの電力を消費してしまう。バッテリーにより駆動をするモバイル端末等にとっては、視線位置の検出に多くの電力を消費してしまうと、モバイル端末のメイン機能（例えばスマートフォンにおいてはインターネットとの通信や通話の機能）を十分に活用できなくなってしまうことが生じる。

そこで本発明は、視線検出機能を適切なタイミングで有効にすることにより、例えば、省電力化を図ることができることを目的とする。

上記目的を達成するために、本発明は、ユーザーの視線による視線位置を検出する視線検出手段と、表示手段に第１のコンテンツが表示されている状態において、前記第１のコンテンツと共に表示される第２のコンテンツが前記表示手段に表示されたことに応じて、前記視線検出手段によるユーザーの視線位置の検出を行うように制御する制御手段とを有することを特徴とする。

本発明によれば、視線検出機能を適切なタイミングで有効にすることにより、例えば、省電力化を図ることができる。

本発明の実施形態である、スマートフォンの外観図である。 本発明の実施形態である、スマートフォンの構成を示すブロック図である。 本発明の実施形態における、バナー表示／非表示により視線検出機能のオン／オフを制御するフローチャートである。 本発明の実施形態における、スマートフォンのディスプレイに表示される表示例である。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）（ｂ）に本発明を適用可能な装置（電子機器）の一例としてのスマートフォン１００の外観図を示す。図１（ａ）はスマートフォン１００の前面図であり、図１（ｂ）はスマートフォン１００の背面図である。図１において、ディスプレイ１０４は画像や各種情報を表示する、スマートフォン前面に設けられた表示部である。タッチパネル１０６ａはタッチ操作部材であり、ディスプレイ１０４の表示面（操作面）に対するタッチ操作を検出することができる（タッチ検出可能である）。スマートフォン１００は、アウトカメラ１１４、もしくは、インカメラ１１５で撮影したライブビュー画像（ＬＶ画像）をディスプレイ１０４に表示することが可能である。電源ボタン１０６ｂは操作部１０６に含まれる操作部材であり、ディスプレイ１０４の点灯／消灯を切り替えることができる。ある程度の時間、例えば３秒間、電源ボタン１０６ｂの押下を継続（長押し）するとスマートフォン１００の電源のＯＮ／ＯＦＦを切り替えることができる。音量プラスボタン１０６ｃ、音量マイナスボタン１０６ｄは音声出力部１１２から出力する音量のボリュームをコントロールする音量ボタンである。音量プラスボタン１０６ｃを押下すると音量が大きくなり、音量マイナスボタン１０６ｄを押下すると音量が小さくなる。また、カメラ使用時の撮影待機状態においては、音量プラスボタン１０６ｃや音量マイナスボタン１０６ｄを押下することで撮影を指示するシャッターボタンとしても機能する。電源ボタン１０６ｂと音量マイナスボタン１０６ｄを同時に押下したり、音量マイナスボタン１０６ｄを素早く数回押下したりした場合に、特定の機能を実行するように、ユーザーが任意に設定することもできる。ホームボタン１０６ｅはディスプレイ１０４にスマートフォン１００の起動画面であるホーム画面を表示させるための操作ボタンである。スマートフォン１００において様々なアプリケーションを起動し、使用していた場合に、ホームボタン１０６ｅを押下することで、起動している様々なアプリケーションを一時的に閉じて、ホーム画面を表示することができる。なお、ホームボタン１０６ｅは物理的に押下可能なボタンを想定しているが、物理ボタンではなくディスプレイ１０４に表示された同様に機能を持った、タッチ可能なボタンでもよい。音声出力端子１１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する端子である。スピーカー１１２ｂは音声を出す本体内蔵のスピーカーである。音声出力端子１１２ａに音声を出力する端子、例えばイヤホンコードを装着していない場合に、スマートフォン１００において音声が出力されるような場合には、スピーカー１１２ｂから音声が出力される。

図２は、本実施形態によるスマートフォン１００の構成例を示すブロック図である。内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、ディスプレイ画像処理部１０５、ディスプレイ１０４、操作部１０６、記憶媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、及び、通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して音声出力部１１２、姿勢検出部１１３、アウトカメラ１１４、インカメラ１１５、赤外線カメラ１１６、カメラ画像処理部１１７が接続されている。さらには、注視判定部１７０、視線検出ブロック１６０を構成する、視線検知センサー１６４、視線検出回路１６５が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ１０１は、スマートフォン１００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、スマートフォン１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばフラッシュメモリやＲＯＭなどで構成される。

ディスプレイ１０４は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０４に表示するための映像信号を生成してディスプレイ１０４に出力するようにスマートフォン１００の各部を制御する。ディスプレイ１０４は出力された映像信号に基づいて映像を表示する。なお、スマートフォン１００自体が備える構成としてはディスプレイ１０４に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０４は外付けのモニタ（テレビなど）で構成してもよい。

ディスプレイ画像処理部１０５は、ディスプレイ１０４に表示された画像やＧＵＩを分析する。ディスプレイ１０４に表示される、バナー表示（後述）の検出についても、ディスプレイ画像処理部１０５で可能である。ディスプレイ１０４と同様に、ディスプレイ画像処理部１０５についても、外部のモニタ（テレビなど）に付随した構成としてもよい。

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ１０４に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。操作部１０６には、上述した、タッチパネル１０６ａ、電源ボタン１０６ｂ、音量プラスボタン１０６ｃ、音量マイナスボタン１０６ｄ、ホームボタン１０６ｅが含まれる。

記録媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、当該記録媒体１０８に対するデータの書き込みを行う。記録媒体１０８は、スマートフォン１００内に組み込まれた内蔵ストレージでもよい。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

音声出力部１１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部１１２には、イヤホンなどを接続する音声出力端子１１２ａ、スピーカー１１２ｂが含まれるものとするが、無線通信などで音声出力を行ってもよい。

姿勢検出部１１３は、重力方向に対するスマートフォン１００の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部１１３で検知された姿勢に基づいて、スマートフォン１００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部１１３としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。

アウトカメラ１１４はスマートフォン１００の筐体において、ディスプレイ１０４とは反対の側に配置されたカメラである。図１（ｂ）では、アウトカメラ１１４は１つのカメラのみを描いているが、これに限らない。すなわち、焦点距離の異なる複数のカメラを搭載してもよい。

インカメラ１１５は、スマートフォン１００の筐体においてディスプレイ１０４と同じ面に配置されたカメラである。

アウトカメラ１１４およびインカメラ１１５で撮影したライブビュー映像は、いずれもディスプレイ１０４上に表示することができる。アウトカメラ１１４とインカメラ１１５のどちらを利用するかによって、眼前の光景を撮影するか、撮影者自身を自分撮り撮影するかを選択することができる。

赤外線カメラ１１６は、スマートフォン１００の筐体においてディスプレイ１０４と同じ面に配置されたカメラであり、スピーカー１１２ｂを中心にして、インカメラ１１５と反対側に配置される。赤外線カメラ１１６を用いてユーザーの顔のデータを解析することで顔の深度マップや赤外線画像を作成する。これにより、スマートフォン１００のロック状態をアンロック状態に解除するのに用いることも可能である。

カメラ画像処理部１１７は、ＣＰＵ１０１の制御に基づいて、ディスプレイ１０４に表示された画面に対して、各種画像処理や、表示されているアイテムの認識を行う。画像処理部は、不揮発性メモリ１０３や記録媒体１０８に格納された画像や、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像などに対して各種画像処理を施すこともできる。各画像処理部が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。各画像処理部は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては各画像処理部を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことが可能である。

赤外発光ダイオード１６６は、ファインダー内の画面におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の画像または動きからユーザーの視線位置を検出し、検出情報をＣＰＵ１０１に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、視線検出回路１６５、赤外発光ダイオード１６６により視線検出ブロック１６０が構成される。

本発明では視線検出ブロック１６０を用いて、角膜反射法と呼ばれる方式で視線を検出する（視線入力を受け付ける）。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の、特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。本実施形態では、赤外発光ダイオード１６６を含む視線検出ブロック１６０が、ユーザーの視線を検出するための専用のブロックとして存在する形態を説明したが、インカメラ１１５と赤外線カメラ１１６で兼ねてもよい。具体的には、インカメラ１１５で撮影した画像からユーザーの顔の向きを、赤外線カメラ１１６でユーザーの目の向きを検出することで、ユーザーの視線位置を検出してもよい。インカメラ１１５と赤外線カメラ１１６を用いてユーザーの視線を検出できるのであれば、視線検出ブロック１６０を備えなくても本実施形態は実施可能である。

ＣＰＵ１０１は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・ディスプレイ１０４へユーザーの視線入力がある状態であること。
・ディスプレイ１０４へユーザーが注視している状態であること。
・ディスプレイ１０４へユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・ディスプレイ１０４へユーザーが何も視線入力していない状態。

ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。注視の判定は、注視判定部１７０において行う。

なお操作部１０６には、タッチパネル１０６ａが含まれる。ＣＰＵ１０１はタッチパネル１０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル１０６ａにタッチしていなかった指やペンが新たにタッチパネル１０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する。）
・タッチパネル１０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）
・指やペンがタッチパネル１０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）
・タッチパネル１０６ａへタッチしていた指やペンがタッチパネル１０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）
・タッチパネル１０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル１０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ１０１に通知される。ＣＰＵ１０１は通知された情報に基づいてタッチパネル１０６ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル１０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル１０６ａ上を指ではじくように素早くなぞる移動操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル１０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

バナーとは、主に広告、宣伝用に作られ、ウェブページ上で他のウェブサイトを紹介する役割を持つ画像のことを言う。この画像にはウェブページのリンクが紐づけてあり、画像をクリック操作やタッチ操作で選択することで、バナーが紹介するサイトが表示される。このような機能を有するバナーを、ウェブバナーと呼ぶ。近年では、ウェブサイトへ移動するためのリンク（ＵＲＬ）を有したバナーのみならず、他のアプリケーションで新規情報を受信した場合に、ユーザーへ通知を行うためのバナーも存在する。このような機能雄有するバナーを、通知バナーと呼ぶ。ユーザーが通知バナーを選択（タップ）すると、通知バナーが通知した新規情報を受信したアプリケーションを実行し、ユーザーが新規情報へすぐにアクセスできるようにする。バナーの形状は横長帯状のものが一般的だが、近年は縦長のものや正方形に近いものも存在する。バナーはその性質上、一時的にディスプレイ１０４に表示するものであり常時表示されていることは稀である。特定のタイミング（新規情報を受信したタイミング等）にバナーを表示してユーザーへ通知やおすすめをし、バナーに対するユーザーによる指示がなければ、バナーは非表示となる。すなわち、ある程度の時間バナーの表示を継続することで、バナーが示す情報をユーザーに十分に報知することができたと考え、ある程度の時間が経過するとバナーを非表示とする。

また、バナーが表示されてから時間経過を待たなくても、ユーザーによる特定のタッチ操作が行われると、バナーを非表示にする。例えば、バナー近くでの特定の方向へのフリック操作によって、非表示にすることができる。バナーが非表示となるフリック操作の方向は、バナーが表示される位置に従う。すなわち、ディスプレイ１０４上で左右対称の位置にバナーが表示されている場合は、上下方向のうち、ディスプレイ１０４の辺に近い方向へのフリック操作とする。左右対称の位置に表示されていない場合は、左右方向のうち、ディスプレイ１０４の辺に近い方向へのフリック操作とする。バナーを非表示にする方向のフリック操作とは、バナーが表示される際の動きの逆の方向へのフリック操作とする。例えば、スマートフォン１００を通常使用するように把持する（マイク１１２ｂが上で、ホームボタン１０６ｅが下）場合を考える。このとき、ディスプレイ１０４の上から下（マイク１１２ｂからホームボタン１０６ｅ）の方向へとバナーが表示されるような動きをする場合、その逆方向である、下から上（ホームボタン１０６ｅ側からマイク１１２ｂ側）へのフリック操作でバナーは非表示になる。スマートフォン１００を横向きにして両手で（マイク１１２ｂが配置されている側を左手で、ホームボタン１０６ｅが配置されている側を右手で）把持する場合を考える。このとき、右から左（ホームボタン１０６ｅ側からマイク１１２ｂ側）へバナーが表示されるような動きであると、その逆の方向である左から右（マイク１１２ｂからホームボタン１０６ｅ）へのフリック操作によってバナーを非表示にできる。

本実施形態では、スマートフォン１００における、バナー表示／非表示により視線検出機能のオン／オフを制御する制御処理について説明する。

図３は、本実施形態における、ユーザーがディスプレイ１０４を見ている際の、バナー表示／非表示により視線検出機能のオン／オフを制御する制御処理のフローチャートである。この制御処理は、スマートフォン１００において、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現する。図３のフローチャートは、スマートフォン１００を起動（電源オン）し、特定の状態であるときに開始される。特定の状態とは、ホーム画面をディスプレイ１０４に表示している状態、もしくは、スマートフォン１００にインストールされているアプリケーションのうち少なくとも１つを実行し、ディスプレイ１０４に表示している状態を指す。

Ｓ３０２では、ＣＰＵ１０１は、ディスプレイ画像処理部１０５より、ディスプレイ１０４にバナー表示が検出されたか否かを判定する。検出された場合は、Ｓ３０２に進み、検出されない場合は、Ｓ３２１へ進む。バナー表示が検出された、とは、具体的に図４（ａ）に示すような場合を指す。図４（ａ）はホーム画面５０５にバナー５０２ａが表示された場合の表示例と、ユーザーが動画閲覧アプリケーションを用いてインターネット１１１に公開されている動画５０６を見ている際にバナー５０２ｂが表示された場合の表示例である。ホーム画面５０５がディスプレイ１０４に表示されている状態において、スマートフォン１００にインストールされているメールアプリケーションが新着ｅメールを受信したことをユーザーに通知する通知バナーとして、バナー５０２ａが表示される。動画閲覧アプリケーションを用いて動画５０６を再生している状態において、動画５０６に関連するおすすめのコンテンツやサービスをユーザーに勧める（促進する）ためのウェブバナーとして、バナー５０２ｂが表示される。バナー５０２ａ、５０２ｂをユーザーがタップすると、メールアプリケーションを起動して新着ｅメールを閲覧するページや、おすすめの映像を閲覧するページへと遷移する。ユーザーが、バナー５０２ａが表示されている状態で上方向に、バナー５０２ｂが表示されている状態で右方向にフリック操作を行うと、表示されたバナーは非表示となる。バナー５０２ｂ内に表示されているアイコン５０３をタップすると、バナー５０２ｂが示すページに遷移せず、動画５０６を表示したまま、バナー５０２ｂの詳細情報を表示する。上述したバナー５０２ａ、５０２ｂは一例であり、新規情報の通知や広告やおすすめなど、ユーザー操作でなく表示されるものであれば、これに限らない。

Ｓ３０３では、ＣＰＵ１０１は、視線検出機能をオン（有効）にする。すなわち、視線検出ブロック１６０の駆動を開始する。

Ｓ３０４では、ＣＰＵ１０１は、Ｓ３０１において検出されたバナー表示タイマのカウントを開始する。ユーザーの視線がない場合は、バナー表示タイマが満了するとバナーは非表示となる。

Ｓ３０５では、ＣＰＵ１０１は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、Ｓ３０７へ進み、バナー表示外である場合は、Ｓ３１６へ進む。

Ｓ３０６では、ＣＰＵ１０１は、バナーを強調表示し、Ｓ３０３で開始したバナー表示タイマをリセットする。図４（ｂ）に、ユーザーの視線位置がバナー表示内にあるときの表示例を示す。図４（ａ）のバナー５０２ａの表示領域内にユーザーの目１６１による視線位置があった場合は、図４（ｂ）のバナー５０２ｃのように、バナーの外枠を太く表示し、強調表示を行う。また、バナーが示す内容に対してユーザーが対応できる選択肢、例えばバナー５０２ｃの選択肢５１１ａ、５１１ｂを示すようにする。選択肢５１１ａをタップすれば、ユーザーはバナー５０２ｃが示す新着ｅメールに対する返信を行うことができ、選択肢５１１ｂをタップすれば、メールアプリケーションが新着ｅメールを受信してもバナー５０２ｃのような通知をしないように設定することができる。対応できる選択肢がなければ、バナーの持つ情報の詳細を表示するようにしてもよい。これにより、バナー５０２ｃが視線によって選択されていることをユーザーが視認できる。なお、強調表示の方法は図４（ｂ）のバナー５０２ｃに示すものに限らない。選択肢や詳細情報を表示せず、単に太枠での表示やハイライト表示でもよいし、バナー全体の色が変わるような表示形態としてもよい。本実施形態では、後述する視線タイマによる所定の条件を満たしたことに応じてバナーを非表示とする（視線タイマを優先する）ため、Ｓ３０６においてバナー表示タイマをリセットする制御とした。これにより、ユーザーの視線位置がバナー表示内もしくは表示外を移動している間は、バナー表示タイマの満了によってバナーが非表示になることはない。

Ｓ３０７では、ＣＰＵ１０１は、視線タイマのカウントを開始する。視線タイマとは、ユーザーの視線位置がバナー表示領域内、もしくは、バナー表示領域外に留まった時間を計測するタイマである。具体的には、ユーザーの視線位置がバナー表示領域内から表示領域外に移動した場合は、視線タイマはリセットされ、表示領域外に移動したあとからカウントが開始される。視線位置がバナー表示領域外から内へと移動した場合も同様である。

Ｓ３０８では、ＣＰＵ１０１は、Ｓ３０７で開始した、視線タイマが所定時間経過したか否かを判定する。所定時間経過した場合は、Ｓ３１９へ進み、経過していない場合は、Ｓ３０９へ進む。視線タイマの所定時間は、Ｓ３１６において後述するバナータイマの満了時間よりも短い時間とする。具体的には、所定時間は、具体的には、１〜２秒程度の時間とする。バナータイマ満了時間よりも短い時間とすることで、ユーザーは、バナータイマが満了する時間を待つことなく、視線により、より素早くバナーを非表示にすることができる。

Ｓ３０９では、Ｓ３０６と同様に、ＣＰＵ１０１は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、Ｓ３０８へ戻り、バナー表示外である場合は、Ｓ３１０へ進む。

Ｓ３１０では、ＣＰＵ１０１は、バナーを非表示にする。Ｓ３０６とＳ３０９の判定から、ユーザーの視線位置がバナー表示内からバナー表示外へと移動したことがわかる。これにより、ユーザーはバナーが表示された際にバナーの内容を確認したが、興味がないもしくは今すぐに見る必要はない、と考えたことが想定できる。そのため、Ｓ３０１において検出されたバナー表示を非表示にする。このようにすることで、例えばユーザーがスマートフォン１００を右手で把持していた場合に、図４（ａ）に示すようにディスプレイ１０４の上部に表示されるバナーをタッチ操作で非表示にする必要がなくなる。近年では、スマートフォン１００の筐体が大きくなる傾向があり、ユーザーが片手でスマートフォン１００を把持している状態で、ディスプレイ１０４の上部をタッチ操作することが難しい場合がある。また、図４（ａ）において動画閲覧アプリケーションを用いて動画５０６を見ている場合に、バナー５０２ｂが重畳して表示されている部分の画をユーザーが見ることができない。非表示にするためにタッチ操作をしようとバナー５０２ｂ上へ指を伸ばすと、自身の指が動画５０６を遮ってしまい視認しづらくなる。バナー５０２ｂが表示されている部分の画をユーザーが特に見たい、と考えていた場合には、バナー５０２ｂの表示はユーザーにとって煩わしく感じる可能性が高い。そもそもバナーは、ユーザー操作に関わらず（ユーザーの意図ではなく）表示されるものであり、状況によっては、煩わしく感じることが多い。このような理由により、ユーザーの視線位置がバナー内から所定時間経過する前にバナー外へと移動するという条件を満たした場合には、バナー表示を非表示にする（図４（ｃ））。これにより、ユーザーはバナー表示を煩わしく感じることなく、視線によって直感的にバナーを非表示にすることができる。

Ｓ３１１では、ＣＰＵ１０１は、Ｓ３１０においてバナーを非表示にしてから所定時間経過したか否かを判定する。所定時間経過した場合は、Ｓ３２０へ進み、経過していない場合は、Ｓ３１２へ進む。

Ｓ３１２では、ＣＰＵ１０１は、ユーザーの視線位置がバナーが表示されていた領域内であるか否かを判定する。領域内である場合は、Ｓ３１３へ進み、領域外である場合は、Ｓ３１１へ戻る。図４（ａ）においてバナー５０２ａが表示されていた部分を、図４（ｃ）の領域５０４とする。図４（ｃ）では、ユーザーの目１６１による視線位置はバナー表示の領域外であることを示している。

Ｓ３１３では、ＣＰＵ１０１は、Ｓ３１０において非表示にしたバナーを再表示する。このとき再表示するバナーはＳ３０１において表示されていたバナーと同じ内容のものとする。Ｓ３１２においてＹｅｓと判定されたことから、ユーザーの視線位置が図４（ｃ）に示す状態から、領域５０４内に移動したことがわかる。ユーザーの視線位置の移動により、図４（ｄ）に示すように、非表示にしたバナー５０２ｃを再度表示する。Ｓ３１０においてバナーを非表示にしたあと、所定時間が経過する前にバナーが表示されていた領域を見た場合には、ユーザーは一度確認して視線を外したバナーの内容について、再度確認が必要だと考え直し、バナー表示領域に視線を戻した場合が考えられる。また、バナー以外の部分を一瞬だけ確認するため、もしくは、誤って視線位置を外した場合にも、バナーが非表示になってしまうと、ユーザーにとって操作性が悪い。そのため、バナーを非表示にしたあと、素早く再度バナーの表示されていた領域をユーザーが見た場合には、バナーを再表示する。これにより、ユーザーが誤って視線位置をバナーから外してしまった場合にも、再度バナーの内容を確認することができる。

Ｓ３１４では、Ｓ３０６と同様に、ＣＰＵ１０１は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示外である場合は、Ｓ３１５へ進み、バナー表示内である場合は、Ｓ３０８へ戻る。

Ｓ３１５では、Ｓ３１０と同様に、ＣＰＵ１０１は、バナーを非表示にする。Ｓ３１３においてバナーを再表示したあとに、ユーザーの視線位置がバナー表示外へと移動した場合には、ユーザーはバナー表示の内容を確認し終えたと想定でき、バナーを非表示にしてもユーザーの意図に反する可能性は低い。

Ｓ３１６では、ＣＰＵ１０１は、Ｓ３０３においてカウントを開始したバナー表示タイマが満了したか否かを判定する。満了した場合は、Ｓ３１７へ進み、そうでない場合は、Ｓ３１８へ進む。バナー表示タイマの満了時間は、Ｓ３０８での視線タイマの所定時間よりも長い時間（バナー表示タイマ満了時間＞視線タイマの所定時間）とし、具体的には５秒程度の時間とする。なお、バナー表示タイマの満了時間はユーザーが設定できるようにしてもよいし、予め決めておいても良い。

Ｓ３１７では、ＣＰＵ１０１は、バナーを非表示にする。バナー表示は、そもそもユーザーによるタッチ操作が行われなければ、バナー表示タイマ満了に伴って非表示となる。本実施形態では、ユーザーの視線位置がバナー表示外にある状態（Ｓ３０５）で、バナー表示タイマが満了したことに応じてバナーを非表示とするが、Ｓ３１７に限らず、本フローチャート実行中にバナー表示タイマが満了した場合には、バナーを非表示にする。

Ｓ３１８では、Ｓ３０６と同様に、ＣＰＵ１０１は、ユーザーの視線位置がバナー表示内にあるか、バナー表示外にあるか否かを判定する。バナー表示内である場合は、Ｓ３０６へ戻り、バナー表示外である場合は、Ｓ３１６へ戻る。

Ｓ３１９では、Ｓ３１０と同様に、ＣＰＵ１０１は、バナーを非表示にする（図４（ｅ））。Ｓ３０８でＹｅｓと判定されたことから、ユーザーはバナー（図４（ｂ）のバナー５０２ｃ）に表示されている内容を十分に確認できたものと想定する。バナーに表示されている内容について、より詳細に知りたいとユーザーが考えた場合には、バナーをタッチし、別の画面へ遷移するはずだからである。

Ｓ３２０では、ＣＰＵ１０１は、Ｓ３０３においてオンにした視線検出機能をオフ（無効）にする。すなわち、視線検出ブロック１６０の駆動を終了する。Ｓ３０１においてディスプレイ１０４にバナーが表示されたことに応じて、視線検出機能をオン（視線検出ブロック１６０の駆動を開始）し、バナーが非表示になったことに応じて、視線検出機能をオフ（視線検出ブロック１６０の駆動を終了）する。このように視線検出機能のオン／オフをバナーの表示／非表示に応じて切り替えることで、電力の消費を最低限に抑えつつ、バナーを非表示にする際のユーザーの操作性を向上させる。

Ｓ３２１では、ＣＰＵ１０１は、処理が終了したか否かを判定する。処理が終了した場合は、図３の制御フローチャートを終了し、そうでない場合は、Ｓ３０１へ戻る。処理の終了とは、例えば、図３の制御フローチャートを開始した際に実行していたアプリケーションから他のアプリケーションへの遷移や、現在実行しているアプリケーションの終了を指す。また、ホーム画面からアプリケーションの実行や、スマートフォン１００の電源をオフすることを指す。具体的には、ユーザーによるタッチ操作によって、図４（ｄ）においてユーザーがバナー５０２ｃをタッチすることにより、メールアプリケーションに遷移した場合があげられる。

なお、図３のフローチャートに示す制御を行っている際に、視線タイマやバナー表示タイマが満了しなくても、ユーザーによるバナーを非表示にする操作（バナーを画面外へ動かすようなフリック操作）があった場合は、バナーを非表示にする。図３の制御フローチャートと同様に、バナーを非表示にし、視線検出機能をオフにし、図３のフローチャートを終了する。バナーを画面外へ動かすようなフリック操作とは、バナーの表示位置が左右対称である位置である場合は、上下方向のうちディスプレイ１０４の辺に近い方向へのフリック操作を指す。左右対称でない位置の（ディスプレイ１０４でのバナーの左右の余白が、均一でない）場合は、左右方向のうちディスプレイ１０４の辺に近い方向へのフリック操作を指す。具体的には、図４（ａ）に示すバナー５０２ａは左右対称である位置に表示されているため、上下方向のうち、上方向（マイク１１２ｂが配置されている側）へのフリック操作を行うとバナーは非表示となる。また、バナー５０２ｂは左右対称である位置に表示されておらず、右方向（ホームボタン１０６ｅが配置されている側）へ寄っている。すなわち、バナー５０２ｂについては、右方向へのフリック操作によりバナーを非表示にできる。仮にバナー５０２ｂが左方向（マイク１１２ｂが配置されている側）へ寄っていた場合は、左方向へのフリック操作によりバナーを非表示にすることができる。スマートフォン１００の筐体の向きや実行しているアプリケーションの種類によって、バナーが表示される位置は異なるため、バナーの表示位置によって判定すべきフリック操作の向きは異なる。

また、バナー表示の表示領域内においてタップ操作があった場合は、バナーが有している情報に応じた処理を行い、バナーを非表示にし、視線検出機能をオフにし、図３のフローチャートを終了する。タップされたバナーがウェブバナーである場合は、タップ操作に応じてバナーが有するＵＲＬに基づいてブラウザアプリを用いてウェブサイトを開く。通知バナーがタップされた場合は、バナーの持つ情報に基づいてアプリケーションを開く。

バナー表示の表示領域外においてタッチ操作があった場合は、タッチ操作とタッチ位置に応じた処理を行い、バナーを非表示にする。バナーを非表示にしたことに応じて、視線検出機能をオフにし、図３のフローチャートを終了する。

図３の制御フローチャートと図４を用いて説明したように、ディスプレイにバナーが表示されたことに応じて視線検出機能がオンになり、バナーが非表示になったことに応じて視線検出機能をオフにする。これによりユーザーは、バナーが表示された際に、ユーザー自身の視線によって直感的にバナーを非表示にすることができ、バナーによってバナー表示前に見ていたメインのコンテンツが見づらくなるということを低減することができる。ユーザーの視線位置の移動状況によっては、非表示にしたバナーを再表示にする。また、ユーザーがバナーを非表示にするためにタッチ操作を行おうとした場合に、ユーザー自身の手でバナーが表示される前にディスプレイに表示していたコンテンツが遮られるということもなく、ユーザーが煩わしく感じることも低減できる。さらには、バナーの表示に応じてオンになった視線検出機能は、バナーが非表示になったことに応じてオフとなるため、視線検出機能が常時オンである場合と比較して電力の消費を抑えることができる。

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

本実施形態では、図３と図４を用いて上述したような制御に限らず、以下に説明するような制御としてもよい。

図３の制御フローチャートにおいて、条件を満たしたことに応じてバナーを非表示（Ｓ３１３、Ｓ３１７、Ｓ３１９）にしたが、バナーを突然非表示にするのでなく、バナーの透過度を徐々に上げてゆっくりと非表示になるようにする。すなわち、バナーが徐々に消えるように（フェードアウトするように）する。バナーが完全に非表示になったことに応じて、Ｓ３２０において視線検出機能をオフにする。

また、Ｓ３１０〜Ｓ３１５の制御については、バナーを非表示にするのではなく、Ｓ３１０においてバナーの透過度をあげる（視認度を下げる）ようにする。これにより、ユーザーがバナーを邪魔に感じることを低減できる、かつ、バナーの表示位置を視認することができるため、再度バナーを確認したければ、透過度のあがったバナーを見ればよい。Ｓ３１２においてＹｅｓと判定されると、Ｓ３１３においてＳ３０６で示したようなバナー表示（図４（ｂ）のバナー５０２ｃ）に戻す。そのあと、Ｓ３１４においてＹｅｓと判定された場合に、バナーを非表示にする。Ｓ３１２においてＮｏと判定された場合は、Ｓ３１１において視線タイマが所定時間経過したことに応じて、バナーを非表示にし、視線検出機能をオフにする。

上述したように、視線タイマの所定時間＜バナータイマ満了の時間であるため、Ｓ３０８においてＹｅｓと判定された場合に、Ｓ３１９ではバナーの透過度をあげる（視認度を下げる）ようにする。また、Ｓ３１９においてバナータイマのカウントを開始し、バナータイマの満了に応じて視認度を下げたバナーを非表示にする。

本実施形態では、視線検出機能をオンにするトリガーをバナー表示の検出としたが、バナー表示にかかわらず、ユーザーの意図に関係なく表示されるものであればバナー表示と呼ばれるもの以外でもよい。通知のポップアップ等に適用してもよい。

Ｓ３０６においてバナー表示タイマをリセットしたが、リセットしなくてもよい。ユーザーが視線を上下左右に絶え間なく動かしていると、視線タイマは上述した所定の条件を満たすことができない場合がある。バナー表示タイマをリセットしなければ、視線タイマが所定の条件を満たさなくてもバナー表示タイマ満了にともなってバナーを非表示にし、視線検出機能をオフにし、図３のフローチャートを終了するため、ユーザーがバナーを煩わしく感じることを低減できる。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。本発明をスマートフォンに適用した場合を例にして説明したが、これはこの例に限定されずユーザーの視線方向・位置を検出できる視線検出手段を有し、通知や広告をユーザーの意図に関わらず表示できる電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやタブレットＰＣ、ＰＤＡ、デジタルカメラや携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、ＶＲ−ＨＭＤなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (20)

1. ユーザーの視線による視線位置を検出する視線検出手段と、
   表示手段に第１のコンテンツが表示されている状態において、
   前記第１のコンテンツと共に表示される第２のコンテンツが前記表示手段に表示されたことに応じて、
   前記視線検出手段によるユーザーの視線位置の検出を行うように制御する制御手段と
   を有することを特徴とする電子機器。
2. 前記制御手段は、
   前記第２のコンテンツが前記表示手段に表示されたあと、所定の条件を満たしたことに応じて、前記第２のコンテンツを非表示にするように制御することを特徴とする請求項１に記載の電子機器。
3. 前記所定の条件は、ユーザーの視線位置が前記第２のコンテンツの表示領域内にある状態での所定時間の経過であることを特徴とする請求項２に記載の電子機器。
4. 前記制御手段は、
   前記第２のコンテンツが前記表示手段に表示されたあと、非表示になったことに応じて、前記視線検出手段によるユーザーの視線位置を検出しないように制御することを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記制御手段は、
   前記第２のコンテンツが前記表示手段に表示されたあと、ユーザーの視線位置が前記第２のコンテンツの表示領域内にある状態で所定時間経過したことに応じて、前記第２のコンテンツを非表示にし、
   ユーザーの視線位置が前記第２のコンテンツの表示領域外にある状態で前記所定時間よりも長い時間経過したことに応じて、前記第２のコンテンツを非表示にするように制御することを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記所定の条件は、ユーザーの視線位置が、前記第２のコンテンツの表示領域内にある状態で所定時間経過することなく前記第２のコンテンツの表示領域外へと移動したことであることを特徴とする請求項２に記載の電子機器。
7. 前記制御手段は、
   前記第２のコンテンツが前記表示手段に表示され、非表示になったあと、ユーザーの視線位置が前記第２のコンテンツの表示領域外にある状態で所定時間経過したことに応じて、前記視線検出手段によるユーザーの視線位置を検出しないように制御することを特徴とする請求項１、２または６のいずれか１項に記載の電子機器。
8. 前記制御手段は、
   前記第２のコンテンツが前記表示手段に表示されたあと、ユーザーの視線位置が前記第２のコンテンツの表示領域内にある状態で所定時間経過することなく前記第２のコンテンツの表示領域外へと移動したことに応じて、前記第２のコンテンツを非表示にし、
   ユーザーの視線位置が前記第２のコンテンツの表示領域外にある状態で前記所定時間よりも長い時間経過したことに応じて、前記第２のコンテンツを非表示にするように制御することを特徴とする請求項１、２、６または７のいずれか１項に記載の電子機器。
9. 操作面に対するタッチ操作を検出可能なタッチ検出手段を更に有し、
   前記制御手段は、前記第２のコンテンツが表示されている状態で、
   前記操作面に対する特定の方向へタッチして移動する移動操作が行われた場合は、前記第２のコンテンツを非表示にし、ユーザーの視線位置を検出しないようにし、
   前記第２のコンテンツの表示領域内の前記操作面に対して、タッチ操作が行われた場合は、前記第２のコンテンツが示す情報に応じた処理を実行するように制御することを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記特定の方向は、
    前記第２のコンテンツの表示位置が前記表示手段の表示面のうち、
    左右対称の位置に表示される場合は、上下方向のうち、前記第２のコンテンツの表示領域から近い方の前記表示手段の辺の方向とし、
    左右対称の位置に表示されない場合は、左右方向のうち、前記第２のコンテンツの表示領域から近いほうの前記表示手段の辺の方向であることを特徴とする請求項９に記載の電子機器。
11. 前記制御手段は、
    ユーザーによる視線位置が前記第２のコンテンツの表示領域内にある場合は、前記第２のコンテンツの表示形態を変化させるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の電子機器。
12. 前記制御手段は、
    前記視線検出手段によるユーザーの視線位置を検出するようにするとは、前記視線位置が有効に設定される状態であり、前記視線検出手段によるユーザーの視線位置を検出しないようにするとは、前記視線位置が無効に設定される状態とするように制御することを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記制御手段は、
    ユーザーの視線位置が前記第２のコンテンツが表示された後、前記第２のコンテンツの表示領域外から移動することなく、バナー表示タイマが満了した場合は、前記第２のコンテンツを非表示にするように制御することを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 表示手段を更に有し、
    前記制御手段は、前記第１のコンテンツと前記第２のコンテンツを前記表示手段に表示し、
    前記第１のコンテンツは前記表示手段に表示されるメインのコンテンツであり、前記第２のコンテンツは前記表示手段に一時的に表示されるコンテンツであることを特徴とする請求項１乃至１３のいずれか１項に記載の電子機器。
15. 前記第２のコンテンツを検出する検出手段を更に有し、
    前記制御手段は、前記検出手段によって前記第２のコンテンツを検出したことに応じてユーザーの視線位置を検出するように制御することを特徴とする請求項１乃至１４のいずれか１項に記載の電子機器。
16. 前記第１のコンテンツは、ホーム画面、もしくは、前記電子機器にインストールされているアプリケーションを実行している画面、のいずれかであることを特徴とする請求項１乃至１５いずれか１項に記載の電子機器。
17. 前記第２のコンテンツは、前記電子機器が新しく情報を受信したことを知らせる通知に関するバナー表示もしくはサービスを促進するためのバナー表示、であることを特徴とする請求項１乃至１６のいずれか１項に記載の電子機器。
18. ユーザーの視線による視線位置を検出する視線検出ステップと、
    表示手段に第１のコンテンツが表示されている状態において、
    前記第１のコンテンツと共に表示される第２のコンテンツが前記表示手段に表示されたことに応じて、
    前記視線検出ステップによるユーザーの視線位置の検出を行うように制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
19. コンピュータを請求項１乃至１７のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
20. コンピュータを請求項１乃至１７のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images