JP2021069008A - 電子機器、電子機器の制御方法、プログラム及び記憶媒体 - Google Patents

電子機器、電子機器の制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2021069008A
JP2021069008A JP2019192894A JP2019192894A JP2021069008A JP 2021069008 A JP2021069008 A JP 2021069008A JP 2019192894 A JP2019192894 A JP 2019192894A JP 2019192894 A JP2019192894 A JP 2019192894A JP 2021069008 A JP2021069008 A JP 2021069008A
Authority
JP
Japan
Prior art keywords
line
sight
brightness value
user
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019192894A
Other languages
English (en)
Other versions
JP7423248B2 (ja
Inventor
達哉 江平
Tatsuya Ehira
達哉 江平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019192894A priority Critical patent/JP7423248B2/ja
Priority to US17/073,081 priority patent/US11335029B2/en
Priority to CN202011141319.8A priority patent/CN112702507B/zh
Publication of JP2021069008A publication Critical patent/JP2021069008A/ja
Application granted granted Critical
Publication of JP7423248B2 publication Critical patent/JP7423248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

【課題】ユーザの視線位置を検出する際の検出精度を向上させる。【解決手段】ユーザの視線位置を検出する視線検出手段と、表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御手段であって、前記輝度値が第１の輝度値の際に、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第２の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第１の輝度値から第２の輝度値に変更するように制御する制御手段とを有し、前記視線検出手段は、前記輝度値が前記第２の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする。【選択図】図４

Description

本発明は、電子機器、電子機器の制御方法、プログラム及び記憶媒体に関し、特にユーザの視線による視線入力が可能な電子機器、電子機器の制御方法、プログラム及び記憶媒体に関するものである。
従来、ユーザである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域（位置）を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。
しかし、視線方向の検出は、ユーザの眼の瞳孔径やファインダーへの覗き方、周囲の明るさ等によって精度が左右される。そこで、視線位置をデータとして取得し、取得したデータから視線位置を補正するキャリブレーションが行われている。
特許文献１には、ファインダー画面に注視対象を表示し、注視対象の周囲の色（背景色）を単色表示することで、注視点と注視対象との偏差から、視線検出位置の補正を行う方法が開示されている。
特開平０５−０８８０７４号公報
しかしながら、特許文献１では、背景色が黒の１色のみでキャリブレーションが実行されている。一方で、眼の瞳孔径は周囲の明るさによって変化し、それにより視線の検出位置は変化する。そのため、明るさが変わった際に視線位置の検出の精度が向上しない可能性がある。
そこで本発明は、ユーザの視線位置を検出する際の検出精度を向上させることを目的とする。
上記目的を達成するために、本発明の電子機器は、ユーザの視線位置を検出する視線検出手段と、表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御手段であって、前記輝度値が第１の輝度値の際に、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第２の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第１の輝度値から第２の輝度値に変更するように制御する制御手段とを有し、前記視線検出手段は、前記輝度値が前記第２の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする。
本発明によれば、ユーザの視線位置を検出する際の検出精度を向上させることができる。
本実施形態に係るカメラの外観図である。 本実施形態に係るカメラの構成を示すブロック図である。 本第１の実施形態に係るキャリブレーション処理を示すフローチャートである。 本第１の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。 本第１の実施形態に係る視線位置データの登録処理を示すフローチャートである。 本第１の実施形態のキャリブレーション実行時の表示画面例を示す図である。 本第１の実施形態に係るメッセージ画面例を示す図である。 本第２の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。 本第２の実施形態のキャリブレーション実行時の表示画面例を示す図である。
以下、図面を参照して本発明の好適な実施形態を説明する。
＜第１の実施形態＞
図１（ａ）、（ｂ）に本発明を適用可能な電子機器の一例としてのカメラ１００の外観図を示す。図１（ａ）は、本実施形態に係るカメラ１００の前面斜視図であり、図１（ｂ）は、本実施形態に係るカメラ１００の背面斜視図である。
図１において、表示部２８は、カメラ背面に設けられており、画像や各種情報を表示する。表示部２８は、操作部７０としての機能を兼ね備えたタッチパネル７０ａを有している。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラ上面に設けられており、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。
モード切替スイッチ６０は、各種モードを切り替えるための操作部７０である。端子カバー４０は、外部機器との接続ケーブルとカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は、操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞り等の設定値の変更等が行える。
電源スイッチ７２は、カメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送り等を行える。十字キー７４は、操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材である。十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は、操作部７０に含まれ、押しボタンであり、主に選択項目の決定等に用いられる。
動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＥロックボタン７７は、操作部７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン７８は、操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて直感的に各種設定を行うことができる。通信端子１０はカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行うための通信端子である。
接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は記録媒体２００を格納したスロットの蓋である。グリップ部９０は、ユーザがカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。
図２は、本実施形態によるカメラ１００の構成例を示すブロック図である。なお、図１と同一の構成は、同一符号を付してその説明を適宜省略する。
カメラ１００は、レンズユニット１５０が装着される。
レンズ１０３は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０がカメラ１００と通信を行うための通信端子である。レンズシステム制御回路４は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。
シャッター１０１は、システム制御部５０の制御下で、撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。
また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいて、システム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データ等を格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。
表示部２８、ＥＶＦ２９は、システム制御部５０の制御下で、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８又はＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。
赤外発光ダイオード１６６は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、接眼部１６に接眼したユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスである。
視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、少なくとも１つのプロセッサーを含み、視線検知センサー１６４の出力信号に基づき、ユーザの眼球（目）１６１の画像又は動きからユーザの視線位置を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。
本実施形態では、視線検出ブロック１６０を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式等、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の方式を用いてもよい。
ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラ１００の様々な設定値が表示される。
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ−ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラムの他、各種のデータ等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。
システム制御部５０は、少なくとも１つのプロセッサー又は回路からなる演算処理装置（制御部）であり、カメラ１００の全体を制御する。システム制御部５０が、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、表示部２８、ＥＶＦ２９等を制御することにより表示制御も行う。更に、システム制御部５０は、表示部２８、ＥＶＦ２９を制御することにより表示部２８、ＥＶＦ２９に表示される画像の輝度値を変更可能である。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ６０、第１シャッタースイッチ６２、及び第２シャッタースイッチ６４等を含む操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）等がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザはこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第１シャッタースイッチ６２は、カメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。
操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、及びメニューボタン８１等が含まれる。
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部５４は、無線又は有線ケーブルによって外部機器に接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙを用いて外部機器と通信可能である。通信部５４は、撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部５５は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサー等を用いることができる。また、姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
接眼検知部５７は、ファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）及び離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。
より具体的には、少なくともカメラ１００が撮影待機状態であって、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。
接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、赤外線近接センサーの投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することが可能である。
以上のように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。そして、検知結果が、システム制御部５０へ出力される。なお、本実施形態では、接眼検知部５７の投光部及び受光部は、前述の赤外発光ダイオード１６６及び視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６が兼ねてもよい。また、受光部を視線検知センサー１６４が兼ねてもよい。接眼検知部５７は、非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたことを検出する。また、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたことを検出する。接眼を検出する閾値及び離眼を検出する閾値は、例えばヒステリシスを設ける等により異なっていてもよい。また、接眼を検出した後であって、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後であって、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは、接眼検知部５７の一例であって、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部５０は視線検出ブロック１６０からの出力に基づいて、接眼部１６に対する以下の操作、あるいは状態を検知できる。
・接眼部１６に接眼したユーザの視線が新たに入力（検出）されたこと。すなわち、視線入力の開始。
・接眼部１６に接眼したユーザの視線入力がある状態であること。
・接眼部１６に接眼したユーザが注視している状態であること。
・接眼部１６に接眼したユーザが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６に接眼したユーザが何も視線入力していない状態であること。
ここで述べた注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。
システム制御部５０は、視線入力がある状態や注視している状態を検知した場合、視線検出回路１６５からの検出情報に含まれる位置情報と、ＥＶＦ２９の表示座標との対応関係に基づいて、ＥＶＦ２９の表示画面上の視線位置を検出する。このように、システム制御部５０は、表示画面上の視線位置を検出する機能を有しており、視線検出手段に対応する。
タッチパネル７０ａと表示部２８とは、一体的に構成されている。
例えば、タッチパネル７０ａは、光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とが対応付けられる。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）が構成される。
システム制御部５０は、タッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態であること（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は、通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについては、システム制御部５０は、タッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合は、スライド操作が行われたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。
タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうち、いずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
接眼状態でタッチムーブ操作が行われると、ユーザはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば、位置指標がＡＦ枠とすると、絶対位置指定の場合、タッチパネル７０ａがタッチされると、タッチされた位置（座標入力された位置）に対応付けられたＡＦ位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部２８の位置座標とが対応付けられる。一方、相対位置指定の場合、タッチ操作が行われた位置座標と表示部２８の位置座標とは対応付けられない。相対位置指定では、タッチパネル７０ａに対するタッチダウン位置に関わらず、現在設定されているＡＦ位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、ＡＦ位置が移動される。
次に、本第１の実施形態のカメラ１００における視線入力操作によるキャリブレーション処理を行う方法について説明する。
図３は、本第１の実施形態における、視線検出のキャリブレーションの開始から終了までの制御処理の流れを示すフローチャートである。この制御処理、及び後述の図４、図５の制御処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。
図３のフローチャートは、カメラ１００が起動し、ＭＥＮＵ等の設定モードにおいてユーザが「キャリブレーションモード」を選択し、かつファインダーを覗いている場合、つまり接眼部１６へ接眼状態であるときに開始される。
Ｓ３０１では、システム制御部５０は、背景画像（ＬＶ画像）をＥＶＦ２９に表示する。なお、背景画像（ＬＶ画像）は、撮像部２２で撮像された画像に限られず、単色（例えば、白色、黒色、グレー）画像であってもよい。
Ｓ３０２では、システム制御部５０は、キャリブレーションを開始する旨のメッセージが表示されたダイアログ（図７（ａ））をＥＶＦ２９に表示する。このダイアログには、キャリブレーションモードの開始を指示するボタン（ＯＫボタン）やキャリブレーションモードの終了を指示するボタン（キャンセルボタン）が表示される。ユーザがカメラ１００上の任意のボタン、又はタッチパネル７０ａ等を操作することでこれらのボタンが選択される。
Ｓ３０３では、システム制御部５０は、ユーザによってキャリブレーションモードの終了を指示するボタン（キャンセルボタン）が押下されたか否かを判定する。システム制御部５０が、キャンセルボタンが押下されたと判定した場合、一連の処理が終了する。システム制御部５０が、キャンセルボタンが押下されていないと判定した場合、処理はＳ３０５に遷移する。
Ｓ３０４では、後述する図５のＳ５０８に進むと、図３における視線検出のキャリブレーションを終了するために進むステップである。Ｓ３０４に遷移するための条件は、図５にて後述する。
Ｓ３０５では、システム制御部５０は、ユーザ操作によってキャリブレーションモードの開始を指示するボタン（ＯＫボタン）が押下されたか否かを判定する。システム制御部５０がＯＫボタンが押下されたと判定した場合、処理はＳ４００（キャリブレーションメイン処理）へ遷移する。システム制御部５０がＯＫボタンが押下されていないと判定した場合、処理はＳ３０３に戻る。この場合、キャリブレーションを開始する旨のメッセージはＥＶＦ２９に表示されたままである。
Ｓ４００の処理（キャリブレーションメイン処理）が終了すると、一連の処理が終了する。
なお、キャリブレーションモードにおいて、キャリブレーション処理が正常に終了した場合、システム制御部５０は、キャリブレーションモード内の図５に記載の制御処理で不揮発性メモリ５６に保存された視線位置データを記録媒体２００に記憶する。
次に、本第１の実施形態における、キャリブレーション時に表示や輝度を変更するための制御処理であるキャリブレーションメイン処理（Ｓ４００）について、図４を参照して説明する。
図４は、本第１の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。図４の制御処理は、背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、背景画像の輝度値を変更する処理である。この制御処理は、図３のＳ３０５において、システム制御部５０がユーザ操作によってＯＫボタンが押下されたと判定した後に実行される。
Ｓ４００では、システム制御部５０が、キャリブレーションメイン処理を開始する。
Ｓ４０１では、システム制御部５０は、背景画像（ＬＶ画像）を輝度値Ｌ１に設定してＥＶＦ２９に表示する。輝度値Ｌ１の設定は、ＥＶＦ表示器に応じて制御方法を変えてよい。例えば、ＥＶＦ２９上にＬＶ画像を表示するためのバックライトの量や液晶に通す光量、カラーフィルターに通す光量（色輝度）を調整する方法があり、いずれの方法でもよい。
Ｓ４０２では、システム制御部５０は、ユーザに視線注視させるための枠である視線注視枠をＥＶＦ２９へ表示する。なお、本第１の実施形態において、視線注視枠の形状は、図６に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。なお、視線注視枠が、本発明でいうアイテムに相当する。その後、処理はＳ５００の視線位置データの登録処理へ遷移する。なお、Ｓ５００の処理の詳細については、図５にて後述する。
Ｓ５００の処理が実行された後、Ｓ４０３では、システム制御部５０は、輝度値Ｌ１に設定された状態で、かつ、視線位置データを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。すなわち、輝度値Ｌ１において、全ての視線注視枠の表示位置におけるユーザの視線情報を視線検出ブロック１６０が取得したか否かを判定する。システム制御部５０が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、処理はＳ４０５へ遷移する。システム制御部５０が視線位置データの登録が完了していないと判定した場合、処理はＳ４０４へ遷移する。
Ｓ４０４では、システム制御部５０は、視線注視枠の表示位置を別の位置へと変更する。その後、処理は再度Ｓ４０２の前まで遷移する。
Ｓ４０５では、システム制御部５０は、ＥＶＦ２９に表示する背景画像（ＬＶ画像）の輝度値をＬ２に設定して表示する。本第１の実施形態では、輝度値を変更することによる目の負担や順応速度を考慮し、明順応させるようにする。すなわち、輝度値Ｌ２は輝度値Ｌ１よりも大きく、明るい画像が表示される。なお、輝度の明るい背景画像を先に表示し、全ての位置における視線位置の取得が終了した後に、背景画像の輝度を下げてもよい。一般的には、明順応の方が暗順応よりも要する時間が短いので、本第１の実施形態にあるように、先に輝度の低い背景画像を表示すると、ユーザが輝度を変えた後の画像により素早く順応でき、キャリブレーションをより素早く行うことができる。
Ｓ４０６では、システム制御部５０は、ＥＶＦ２９に、輝度値Ｌ２での背景画像（ＬＶ画像）の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ（図７（ｂ））を表示する。
Ｓ４０７では、システム制御部５０は、ユーザ操作によってダイアログ内のキャリブレーションの開始を指示するボタン（ＯＫボタン）が押下されたか否かを判定する。システム制御部５０がＯＫボタンが押下されたと判定した場合、処理はＳ４０８へ遷移する。システム制御部５０がＯＫボタンが押下されていないと判定した場合、処理はＳ４０６の前まで遷移する。
Ｓ４０８では、システム制御部５０は、ＥＶＦ２９に表示する視線注視枠の表示位置を初期位置に戻す。
Ｓ４０９では、システム制御部５０は、視線注視枠をＥＶＦ２９へ表示する。その後、処理はＳ５００の視線位置データの登録処理へ遷移する。
Ｓ５００の処理が実行された後、Ｓ４１０では、システム制御部５０は、輝度値Ｌ２に設定された状態で、かつ、視線位置データを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。すなわち、輝度値Ｌ２において、全ての視線注視枠の表示位置におけるユーザの視線情報を視線検出ブロック１６０が取得したか否かを判定する。システム制御部５０が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、キャリブレーションメイン処理が終了する。システム制御部５０が視線位置データの登録が完了していないと判定した場合、処理はＳ４１１へ遷移する。
Ｓ４１１では、システム制御部５０は、視線注視枠の表示位置を別の位置へと変更する。その後、処理は再度Ｓ４０９の前まで遷移する。
図５は、キャリブレーション処理における、視線位置を座標としてデータ取得し、データを不揮発性メモリ５６に記録するまでの登録処理である視線位置データの登録処理のフローを示したものである。
Ｓ５００では、システム制御部５０が、視線位置データの登録処理を開始する。
Ｓ５０１では、システム制御部５０は、注視対象の表示中に視線検出ブロック１６０から視線位置を取得する。なお、本第１の実施形態では、視線検出ブロック１６０で注視状態の出力が検知された場合に視線の位置を取得しているが、注視せずとも視線位置が取得できる場合は、その位置でもよい。
Ｓ５０２では、システム制御部５０は、Ｓ５０１の取得結果に基づいて、目つむりや瞬き状態であるかを検出する。
Ｓ５０３では、システム制御部５０は、目つむりや瞬き状態であるか否かを判定する。システム制御部５０が目つむりや瞬き状態であると判定した場合、処理はＳ５０６へ遷移する。システム制御部５０が目つむりや瞬き状態でないと判定した場合、処理はＳ５０４へ遷移する。
Ｓ５０４では、システム制御部５０は、Ｓ５０１で取得した視線位置のデータを視線注視枠の表示位置と関連付けて不揮発性メモリ５６へ保存する。
Ｓ５０５では、システム制御部５０は、Ｓ５０４で保存した視線位置のデータ数が、所定の閾値以上であるか否かを判定する。システム制御部５０が視線位置のデータ数が所定の閾値以上であると判定した場合、視線位置データの登録処理が終了する。そして、処理はキャリブレーションメイン処理に戻る。システム制御部５０が視線位置のデータ数が所定の閾値未満であると判定した場合、処理はＳ５０１の前まで遷移する。そして、再度視線位置のデータが取得される。
Ｓ５０６では、システム制御部５０は、目つむりや瞬き状態を検出した時間が所定の時間以上であるか否か、又は目つむりや瞬き状態を検出した回数が所定の回数以上であるか否かを判定する。システム制御部５０が目つむりや瞬き状態を検出した時間が所定の時間以上である、又は目つむりや瞬き状態を検出した回数が所定の回数以上であると判定した場合、処理はＳ５０７へ遷移する。システム制御部５０が目つむりや瞬き状態を検出した時間が所定の時間未満、又は目つむりや瞬き状態を検出した回数が所定の回数未満であると判定した場合、処理はＳ５０１の前まで遷移する。すなわち、この場合には、視線位置データは保存されない。そして、視線位置のデータが再度取得される。
Ｓ５０７では、システム制御部５０は、ＥＶＦ２９にキャリブレーション処理ができなかった旨のエラーメッセージ（図７（ｃ））を表示する。
Ｓ５０８では、システム制御部５０は、キャリブレーションモード内で不揮発性メモリ５６に保存していた視線位置データを削除する。
なお、エラーとしてＳ５０７、Ｓ５０８の処理が実行されるのは、本第１の実施形態のように、目つむりや瞬き状態が検出された回数が所定の回数以上である場合や、目つむりや瞬き状態が検出されている時間が所定の時間以上である場合に限られない。接眼部１６からユーザの目が離れた場合や、カメラ１００の電源が切られた場合、キャリブレーション可能な人数やメモリサイズを超えていた場合等においても、エラーとしてＳ５０７、Ｓ５０８の処理が実行されてもよい。
Ｓ５０８の処理が実行されると、処理は、図３のＳ３０４へ遷移する。そして、一連のキャリブレーション処理が終了する。
続いて、図６を用いて、本第１の実施形態において、背景画像（ＬＶ画像）の輝度値を変更して視線位置のキャリブレーションさせるための画面遷移例について説明する。
図６（ａ）〜図６（ｅ）は、輝度値がＬ１（暗い）状態で背景画像を表示したものであり、図６（ｇ）〜図６（ｊ）は、輝度値がＬ２（明るい）状態で背景画像を表示したものである。図４、図５で説明した制御処理を実行することで画面が遷移する。
ユーザの目６０１は、はじめ図６（ａ）で示す位置にある視線注視枠６０２に対して所定時間見続ける、すなわち注視をする。所定時間、ＥＶＦ２９に表示されている視線注視枠を見続けると、システム制御部５０が図５による視線位置データの登録処理を実行する。所定時間とは例えば、１秒や１．５秒、２秒といった時間である。その後システム制御部５０は、Ｓ４０４の処理により、図６（ｂ）へと視線注視枠の表示位置を変更する。ユーザは図６（ｂ）で示す視線注視枠６０２の位置を見ることで、システム制御部５０は再度視線位置データの登録処理を行う。
本第１の実施形態では、視線注視枠の表示位置が、中央部（図６（ａ）、図６（ｆ））、上端部（図６（ｂ）、図６（ｇ））、下端部（図６（ｃ）、図６（ｈ））、左端部（図６（ｄ）、図６（ｉ））、右端部（図６（ｅ）、図６（ｊ））の５箇所である。なお、視線注視枠の表示位置や数、表示順序はこれに限定されない。
図６（ｅ）まで視線位置データの登録処理が完了すると、システム制御部５０はＳ４０５の処理により背景画像（ＬＶ画像）を輝度値Ｌ２にして、再度視線位置データの登録を開始する（図６（ｆ）〜図６（ｊ））。図６（ｊ）まで視線位置データの登録処理が完了すると、キャリブレーション処理が終了する。
なお、本第１の実施形態では、視線注視枠の表示順番を図６（ａ）〜図６（ｅ）（図６（ｆ）〜図６（ｊ））で示す順番としたが、視線注視枠の表示順番はこれに限定せず、視線注視枠はどの順番で表示されてもよい。
次に、図７を用いて、キャリブレーション処理の実行時にユーザに示すメッセージ画面例について説明する。
図７（ａ）は、Ｓ３０２で表示される、キャリブレーションを開始する旨のメッセージダイアログの表示例である。
ダイアログ７０１には、キャリブレーションを開始する旨のメッセージが表示される。また、ユーザにキャリブレーションを開始させるためのボタン（ＯＫボタン）７０２や、キャリブレーションを中止させるためのボタン（キャンセルボタン）７０３が配置されている。
キャリブレーション開始時にメッセージを表示して、かつ開始するか否かをユーザ操作によって決定させることで、意図せず制御処理が実行されユーザが混乱するリスクを低減させることができる。
図７（ｂ）は、Ｓ４０６で表示される、背景画像（ＬＶ画像）を輝度値Ｌ２にした状態でキャリブレーションを開始することをユーザに示すメッセージダイアログ表示例である。
本第１の実施形態では、輝度値がＬ１、Ｌ２のように異なる状態で、それぞれ視線位置データを取得・蓄積するキャリブレーション処理を行う。これにより、視線位置の精度向上や作業回数の低減を図ることができる。
また、本第１の実施形態では、輝度を明るくしたときに、Ｓ４０６、Ｓ４０７の処理を行って、輝度値を変えて再度キャリブレーションを行う必要があることをユーザに知らせている。これにより、明順応による視線位置のブレや目つむりによる検出精度の低下を抑制することができる。
なお、システム制御部５０は、メッセージを表示せずに、一定時間経過してからキャリブレーション処理を続行させてもよい。また、視線注視枠を表示してユーザが視線注視していることを検出できた後で、キャリブレーション処理を続行させてもよい。
図７（ｃ）は、Ｓ５０７で実行された、キャリブレーション処理に失敗したことをユーザに示すエラーダイアログの表示例である。エラーダイアログ７０６を表示することで、キャリブレーション処理に失敗したことをユーザが認識することができる。また、エラーダイアログ７０６に設けられたＯＫボタン７０７を押下することでキャリブレーション処理が終了する。
なお、エラーダイアログ７０６に表示されるメッセージ（ガイダンス、ガイド）は、キャリブレーション処理に失敗した旨のみに限定されない。例えば、キャリブレーション処理の失敗原因が、エラーダイアログ７０６内や、エラーダイアログ７０６とは異なる別のダイアログに表示されてもよい。
また、ボタン７０７はキャリブレーションモードを終了させるために配置されているが、これにおいても別のボタンが配置されてもよい。そして、ユーザ操作によって押下されることで、キャリブレーション処理を再度初めからやり直すように制御処理が実行されてもよい。
以上のような、本第１の実施形態のキャリブレーション処理によれば、背景画像の輝度値をＬ１にした状態で視線注視枠を各表示位置に表示することで、各表示位置での視線位置データが登録される。その後、視線注視枠の表示位置を初期位置に戻すとともに、背景画像の輝度値をＬ２に変更する。そして、同様にして、背景画像の輝度値をＬ２にした状態で視線注視枠の各表示位置に表示することで、各表示位置での視線位置データが登録される。これにより、視線位置のキャリブレーションにかかる作業負荷が低減される。また、登録された視線位置データを用いてキャリブレーションを行うことで、視線位置の検出精度を向上させることができる。
＜第２の実施形態＞
次に、図８及び図９を用いて、本第２の実施形態のカメラ１００にける視線入力操作によるキャリブレーション処理を行う方法について説明する。本第２の実施形態のキャリブレーション処理は、キャリブレーション時に表示や輝度を変更するための制御処理であるキャリブレーションメイン処理が第１の実施形態と異なる。
上述の第１の実施形態のキャリブレーションメイン処理は、背景画像を同じ輝度値に設定した状態で背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、輝度値を変更する処理であった。一方で、本第２の実施形態のキャリブレーションメイン処理は、背景画像上の同じ位置に視線注視枠を表示した状態で背景画像の輝度値を変更しつつ視線位置データの登録処理を行った後、視線注視枠の表示位置を変更する処理である。以下、第１の実施形態との相違点について詳細に説明する。本第２の実施形態のハードウェア構成は、図１、２を用いて説明をしたカメラ１００と同様である。また、図３及び図５の制御処理も同様に実行される。従って、第１の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
図８は、本第２の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。この制御処理は、図３のＳ３０５において、システム制御部５０がユーザ操作によってＯＫボタンが押下されたと判定した後に実行される。なお、図８の制御処理は、第１の実施形態と同様に、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。
Ｓ８０１では、システム制御部５０は、背景画像（ＬＶ画像）を輝度値Ｌ１に設定してＥＶＦ２９に表示する。輝度値Ｌ１の設定は、ＥＶＦ表示器に応じて制御方法を変えてよい。例えば、ＥＶＦ２９上にＬＶ画像を表示するためのバックライトの量や液晶に通す光量、カラーフィルターに通す光量（色輝度）を調整する方法があり、いずれの方法でもよい。
Ｓ８０２では、システム制御部５０は、ユーザに視線注視させるための枠である視線注視枠をＥＶＦ２９へ表示する。なお、本第２の実施形態において、視線注視枠の形状は、図９に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。その後、処理はＳ５００の視線位置データの登録処理（図５）へ遷移する。
Ｓ５００の処理が実行された後、Ｓ８０３では、システム制御部５０は、輝度値Ｌ２に設定された状態で、かつ、視線位置データを登録する処理が現在の視線注視枠の表示位置で完了したか否かを判定する。システム制御部５０が現在の視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、処理はＳ８０５へ遷移する。システム制御部５０が現在の視線注視枠の表示位置で視線位置データの登録が完了していないと判定した場合、処理はＳ８０４へ遷移する。
Ｓ８０４では、システム制御部５０は、ＥＶＦ２９に表示する背景画像（ＬＶ画像）の輝度値をＬ２にして表示する。本第２の実施形態では、輝度値を変えることによる目の負担や順応速度を考慮し、明順応させるようにする。すなわち、輝度値Ｌ２は輝度値Ｌ１よりも大きく、明るい画像が表示される。その後処理は、Ｓ５００の視線位置データの登録処理へ遷移する。
なお、システム制御部５０が、ＥＶＦ２９に、輝度値Ｌ２での背景画像（ＬＶ画像）の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ（図７（ｂ））を表示してもよい。
Ｓ８０５では、システム制御部５０は、視線位置のデータを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。システム制御部５０が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、キャリブレーションメイン処理が終了する。システム制御部５０が全ての視線注視枠の表示位置で視線位置データの登録が完了していないと判定した場合、処理はＳ８０６へ遷移する。
Ｓ８０６では、システム制御部５０は、視線注視枠の表示位置を別の位置へと変更する。その後、処理はＳ８１０へ遷移する。
Ｓ８１０で、処理はＳ８０１の前まで遷移し、再度Ｓ８０２からの処理へ移る。
図９を用いて、本第２の実施形態において、背景画像（ＬＶ画像）の輝度値を変更して視線位置のキャリブレーションさせるための画面遷移例について説明する。
図９（ａ）、図９（ｃ）、図９（ｅ）、図９（ｇ）、図９（ｉ）は、輝度値がＬ１（暗い）状態で背景画像を表示したもの、図９（ｂ）、図９（ｄ）、図９（ｆ）、図９（ｈ）、図９（ｊ）は、輝度値がＬ２（明るい）状態で背景画像を表示したものである。図５、図８で説明した制御処理を実行することで画面が遷移する。
ユーザの目９０１は、はじめ図９（ａ）で示す位置にある視線注視枠９０２に対して見続ける操作を行う。見続ける操作を行うと、システム制御部５０が図５による視線位置データの登録処理を実行する。その後システム制御部５０は、Ｓ８０４の処理により、図９（ｂ）へと視線注視枠は同じ位置で、背景画像を輝度値Ｌ２へ変更する。ユーザは図９（ｂ）で示す視線注視枠の位置を見ることで、システム制御部５０は再度視線位置データの登録処理を行う。
本第２の実施形態では、視線注視枠の表示位置が、中央部（図９（ａ）、図９（ｂ））、上端部（図９（ｃ）、図９（ｄ））、下端部（図９（ｅ）、図９（ｆ））、左端部（図９（ｇ）、図９（ｈ））、右端部（図９（ｉ）、図９（ｊ））の５箇所である。なお、視線注視枠の表示位置や数、表示順序はこれに限定されない。
以上のように、本第２の実施形態のキャリブレーション処理によれば、同じ位置に表示される視線注視枠に対して背景画像の輝度値をＬ１からＬ２に変更して、各輝度値での視線位置データが登録される。その後、視線注視枠の表示位置を変更するとともに、背景画像の輝度値をＬ１に変更する。そして、同様にして、同じ位置に表示される視線注視枠に対して背景画像の輝度値をＬ１からＬ２に変更して、各輝度値での視線位置データが登録される。これにより、第１の実施形態と同様に、視線位置のキャリブレーションにかかる作業負荷が低減される。また、登録された視線位置データを用いてキャリブレーションを行うことで、視線位置の検出精度を向上させることができる。
なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウエアが行ってもよいし、複数のハードウエア（例えば複数のプロセッサーや回路）が処理を分担することで装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル７０ａの例を説明したが、ボタンやダイヤル等これ以外の操作手段としてもよい。表示位置をＡＦ枠としたが、アイコン枠やパラメーター設定枠等としてもよいし、マウスポインタ等の視線注視枠とは異なるインジケーター表示としてもよい。注視の判定基準について、視線検出ブロック１６０への視線入力が開始したあとの蓄積時間としたが、この蓄積時間についてあらかじめ設定した時間でもよい。表示されている視線注視枠と視線位置との位置関係に応じて変化するようにしてもよいし、ユーザが任意に設定できるようにしてもよい。また、ユーザの意図した視線位置の判断基準として上述の各実施形態では注視を取り上げたが、注視を判断基準として用いなくてもよい。また、上述の各実施形態では、背景画像の輝度をＬ１（暗い）、Ｌ２（明るい）の２段階でキャリブレーションを行うようにしているが、輝度値の異なる段階数は２段階に限定されない。また、設定される輝度値の組み合わせに応じて、キャリブレーション精度の向上が期待できる。
また、上述した実施形態においては、本発明をカメラ１００に適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な受付手段を有する電子機器であれば適用可能である。また、各実施形態を適宜組み合わせることも可能である。上述の各実施形態ではＥＶＦ２９と視線検出を使用する構成としたが、表示装置と視線検出を使用する構成でも各実施形態は実施可能である。すなわち、本発明はパーソナルコンピューターやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器等に適用可能である。
また、撮像装置本体に限らず、有線又は無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣ等の装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線又は無線通信を介して受信して制御装置側で表示できるようにしてもよい。
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
１６：接眼部
２９：ファインダー内表示部（ＥＶＦ）
５０：システム制御部
５６：不揮発性メモリ
１００：カメラ
１６０：視線検出ブロック
１６５：視線検出回路
６０２，９０２：視線注視枠

Claims (19)

  1. ユーザの視線位置を検出する視線検出手段と、
    表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御手段であって、
    前記輝度値が第１の輝度値の際に、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第２の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第１の輝度値から第２の輝度値に変更するように制御する制御手段とを有し、
    前記視線検出手段は、前記輝度値が前記第２の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする電子機器。
  2. 前記輝度値が前記第２の輝度値に変更された後、前記表示部の前記第１の位置に前記アイテムが表示された場合のユーザの前記視線位置と、前記表示部の前記第２の位置にアイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出することを特徴とする請求項１に記載の電子機器。
  3. 前記制御手段は、前記表示部の前記第１の位置に前記アイテムが表示された場合のユーザの前記視線位置を検出したことに応じて、前記表示部の前記第２の位置に前記アイテムを表示するように制御することを特徴とする請求項１又は２に記載の電子機器。
  4. 前記表示部に前記アイテムが表示されている位置と、当該アイテムの表示中に前記視線検出手段が検出したユーザの前記視線位置とが関連付けて記録されることを特徴とする請求項１乃至３何れか１項に記載の電子機器。
  5. 前記アイテムが、前記表示部の中央部及び上下左右の各端部のうちの少なくともいずれか１箇所に表示されることを特徴とする請求項１乃至４何れか１項に記載の電子機器。
  6. 前記制御手段は、前記表示部の光量を調整することで前記輝度値を変更するように制御することを特徴とする請求項１乃至５何れか１項に記載の電子機器。
  7. 前記制御手段は、前記輝度値を前記第１の輝度値から前記第１の輝度値よりも高い前記第２の輝度値へ少なくとも２段階で変更するように制御することを特徴とする請求項１乃至６何れか１項に記載の電子機器。
  8. 前記背景画像が単色の画像であることを特徴とする請求項１乃至７何れか１項に記載の電子機器。
  9. 前記制御手段は、前記背景画像の色を黒色から白色へ少なくとも２段階で変更するように制御することを特徴とする請求項１乃至８何れか１項に記載の電子機器。
  10. 前記制御手段は、前記輝度値を変更する場合に、前記輝度値を変更した状態で前記視線位置を検出する旨の通知を行うように制御することを特徴とする請求項１乃至９何れか１項に記載の電子機器。
  11. 前記輝度値を変更した後で一定時間経過した場合、もしくは前記アイテムに対して注視されていることが検出された場合に、前記視線検出手段がユーザの前記視線位置を検出することを特徴とする請求項１乃至１０何れか１項に記載の電子機器。
  12. 前記制御手段は、前記視線検出手段の検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出手段が前記視線位置を再度検出するように制御することを特徴とする請求項１乃至１１何れか１項に記載の電子機器。
  13. ユーザの視線位置を検出する視線検出手段と、
    表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御手段であって、
    前記輝度値が第１の輝度値であって、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値が第２の輝度値であって、前記表示部の前記第１の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出するように制御する制御手段と
    を有することを特徴とする電子機器。
  14. ユーザの視線位置を検出する視線検出ステップと、
    表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御ステップであって、
    前記輝度値が第１の輝度値の際に、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第２の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値を前記第１の輝度値から第２の輝度値に変更するように制御する制御ステップとを含み、
    前記視線検出ステップは、前記輝度値が前記第２の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする電子機器の制御方法。
  15. ユーザの視線位置を検出する視線検出ステップと、
    表示部に表示される背景画像の輝度値を少なくとも２段階で変更可能な制御ステップであって、
    前記輝度値が第１の輝度値であって、前記表示部の第１の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値が第２の輝度値であって、前記表示部の前記第１の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出するように制御する制御ステップと
    を含むことを特徴とする電子機器の制御方法。
  16. コンピュータを、請求項１乃至１２何れか１項に記載された電子機器の各手段として機能させるためのプログラム。
  17. コンピュータを、請求項１３に記載された電子機器の各手段として機能させるためのプログラム。
  18. コンピュータを、請求項１乃至１２何れか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
  19. コンピュータを、請求項１３に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2019192894A 2019-10-23 2019-10-23 電子機器、電子機器の制御方法、プログラム及び記憶媒体 Active JP7423248B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019192894A JP7423248B2 (ja) 2019-10-23 2019-10-23 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US17/073,081 US11335029B2 (en) 2019-10-23 2020-10-16 Electronic device, method for controlling electronic device, and storage medium
CN202011141319.8A CN112702507B (zh) 2019-10-23 2020-10-22 电子装置、电子装置的控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192894A JP7423248B2 (ja) 2019-10-23 2019-10-23 電子機器、電子機器の制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2021069008A true JP2021069008A (ja) 2021-04-30
JP7423248B2 JP7423248B2 (ja) 2024-01-29

Family

ID=75505540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192894A Active JP7423248B2 (ja) 2019-10-23 2019-10-23 電子機器、電子機器の制御方法、プログラム及び記憶媒体

Country Status (3)

Country Link
US (1) US11335029B2 (ja)
JP (1) JP7423248B2 (ja)
CN (1) CN112702507B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053556A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423248B2 (ja) * 2019-10-23 2024-01-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3109870B2 (ja) 1991-09-27 2000-11-20 キヤノン株式会社 ビデオカメラ
JP2006301201A (ja) 2005-04-19 2006-11-02 Canon Inc 光学装置およびカメラシステム
JP2010160272A (ja) * 2009-01-07 2010-07-22 Canon Inc 表示制御装置およびその制御方法
JP6099948B2 (ja) * 2012-11-28 2017-03-22 京セラ株式会社 電子機器及び制御プログラム並びに表示制御方法
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP7005334B2 (ja) * 2017-12-22 2022-01-21 キヤノン株式会社 電子機器、その制御方法およびプログラム
JP7423248B2 (ja) * 2019-10-23 2024-01-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053556A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210125375A1 (en) 2021-04-29
JP7423248B2 (ja) 2024-01-29
CN112702507B (zh) 2024-01-09
CN112702507A (zh) 2021-04-23
US11335029B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
US11966155B2 (en) Imaging apparatus that, under certain conditions, displays one or both of an autofocus frame and a line-of-sight pointer, and method for controlling the same
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
WO2020255675A1 (ja) 電子機器およびその制御方法
JP7442331B2 (ja) 音声入力装置およびその制御方法ならびにプログラム
JP7301615B2 (ja) 電子機器およびその制御方法
CN112702507B (zh) 电子装置、电子装置的控制方法及存储介质
US11435648B2 (en) Image capture apparatus and control method
US20210281733A1 (en) Electronic device, control method, and non-transitory computer readable medium
JP2022018244A (ja) 電子機器およびその制御方法
JP2021114731A (ja) 撮像制御装置及びその制御方法
JP7446913B2 (ja) 電子機器、電子機器の制御方法、プログラム
US11526264B2 (en) Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
US11711606B2 (en) Display control apparatus, control method for controlling the same, and storage medium
WO2022131252A1 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP2018023068A (ja) 電子装置、その制御方法およびプログラム
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2021152744A (ja) 電子機器及びその制御方法
JP2021158502A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R151 Written notification of patent or utility model registration

Ref document number: 7423248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151