JP2021189211A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2021189211A
JP2021189211A JP2020091237A JP2020091237A JP2021189211A JP 2021189211 A JP2021189211 A JP 2021189211A JP 2020091237 A JP2020091237 A JP 2020091237A JP 2020091237 A JP2020091237 A JP 2020091237A JP 2021189211 A JP2021189211 A JP 2021189211A
Authority
JP
Japan
Prior art keywords
line
sight
touch
electronic device
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020091237A
Other languages
English (en)
Inventor
誠司 小川
Seiji Ogawa
新 村上
Arata Murakami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020091237A priority Critical patent/JP2021189211A/ja
Priority to US17/327,404 priority patent/US11538191B2/en
Priority to CN202110578591.0A priority patent/CN113726992A/zh
Publication of JP2021189211A publication Critical patent/JP2021189211A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

【課題】通常使用で視線入力の精度をより確実に向上させるようにキャリブレーションを実行可能な電子機器を提供する。【解決手段】本発明の電子機器は、視線入力を受け付ける視線入力手段と、視線入力とは異なるユーザ操作を受け付ける操作手段と、視線入力に基づく第1の位置にインジケーターを表示した後、第1の位置から操作手段に対する移動操作に応じてインジケーターを第2の位置まで移動させ、その後、(1)さらなる移動操作が無いことを含む特定の条件を満たした状態で、(2)特定の操作があれば、移動操作の前のインジケーターの位置と、特定の操作が行われた際のインジケーターの位置とに基づいて、視線に基づく入力位置のキャリブレーションを行い、特定の条件を満たさない状態となる、あるいは特定の操作がなければ、キャリブレーションを行わないように制御する制御手段と、を有する。【選択図】図10

Description

本発明は電子機器に関し、特に視線検知可能な電子機器に関するものである。
ユーザが自身の視線によって操作を行う(以下、視線入力)電子機器が知られている。特にデジタルカメラやゲーム機など、ユーザが即時的に電子機器に対して操作指示を行いたい場合に、視線入力は有効である。
精度よく視線入力を行うためには、キャリブレーション(以下、CAL)が必須である。CALを何度も行うと視線入力の精度が向上するが、一般的には一回当たりのCAL操作に手番がかかるため、何度も行うことは煩わしい。その解決のため、電子機器の通常使用中に随時CAL補正を行う技術(自動CAL補正)が提案されている。
例えば、特許文献1には、タッチ位置/カーソル位置によって視線位置からのズレを算出して、CAL補正データを生成する技術が開示されている。
特開2015−207290号公報
しかしながら、特許文献1に開示された技術では、タッチ位置/カーソル位置の移動がある度にCAL補正を行う構成となっている。そのため、微調整を目的としていないユーザの操作時にもCAL補正を行ってしまい、それによって視線入力の精度が悪化してしまう。
そこで本発明は、通常使用で視線入力の精度をより確実に向上させるようにキャリブレーションを実行可能な電子機器を提供することを目的とする。
本発明の電子機器は、ユーザの視線による位置入力である視線入力を受け付ける視線入力手段と、前記視線入力とは異なるユーザ操作を受け付ける操作手段と、前記視線入力に基づく第1の位置にインジケーターを表示した後、前記第1の位置から前記操作手段に対する移動操作に応じて前記インジケーターを第2の位置まで移動させ、その後、(1)さらなる移動操作が無いことを含む特定の条件を満たした状態で、(2)前記インジケーターの位置で決定するための特定の操作があれば、前記移動操作の前の前記インジケーターの位置と、前記特定の操作が行われた際の前記インジケーターの位置とに基づいて、視線に基づく入力位置のキャリブレーションを行い、前記特定の条件を満たさない状態となる、あるいは前記特定の操作がなければ、前記キャリブレーションを行わないように制御する制御手段と、を有することを特徴とする。
本発明によれば、通常使用で視線入力の精度をより確実に向上させるようにキャリブレーションを実行可能な電子機器を提供することができる。
デジタルカメラの外観図である。 デジタルカメラのブロック図である。 一点AFでの視線によるAF枠の設定を説明する図である。 顔+追尾優先AFでの視線によるAF枠の設定を説明する図である。 撮影モード処理のフローチャートである。 カメラ設定処理のフローチャートである。 タッチ操作応答処理のフローチャートである。 視線有効時相対位置指定処理のフローチャートである。 一点AF時タッチムーブ処理のフローチャートである。 顔+追尾優先AF時タッチムーブ処理のフローチャートである。 設定メニュー画面の表示例である。
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。図1(a),1(b)に、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面;タッチ操作部材)に対するタッチ操作を検出可能である。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示(撮像指示)を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。マルチコントローラー(以下、MC)65は、8方向への方向指示と、中央部分の押し込み操作とを受け付け可能である。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部2
8に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75、またはMC65とを用いて直感的に各種設定を行うことができる。視線確定ボタン82は、操作部70に含まれる操作部材であって、後述する視線ポインタの位置に基づく被写体の選択実行または解除を指示する押しボタンである。視線確定ボタン82は、ユーザがファインダーを覗いた状態(接眼部16に接眼した状態)でも操作しやすい位置に配置されており、グリップ部90を持つ右手の親指で操作可能な位置に配置されている。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザは、接眼部16を介して内部のEVF29(後述)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザ(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73、視線確定ボタン82が配置されている。
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御
部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
視線検出部160(受付部)は、接眼部16に接眼したユーザの目の、EVF29を見る視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。
赤外発光ダイオード166は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、ユーザの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づいて、ユーザの眼球(目)161の動きからユーザの視線位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。
注視判定部170は、視線検出回路165から受け取った検出情報に基づいて、ユーザの視線が或る領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域)であるといえる。なお、「視線が或る領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。なお、所定の閾値は、システム制御部50により任意に変更可能である。また、注視判定部170を独立したブロックとして設けず、システム制御部50が視線検出回路165から受け取った検出情報に基づいて注視判定部170と同じ機能を実行するようにしてもよい。
本実施形態では、視線検出部160は、角膜反射法と呼ばれる方式を用いて視線を検出する。角膜反射法とは、赤外発光ダイオード166から発せられた赤外光が眼球(目)161(特に角膜)で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。なお、視線(視線の向き・位置)を検出する方式は特に限定されず、上記以外の方式を用いてもよい。例えば、黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式を用いてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash−ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー(以後、単に「ファインダー」と記載する)の接
眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は、視線検出部160を制御することによって、EVF29への以下の視線の状態を検出できる。
・EVF29へ向けられていなかった視線が新たにEVF29へ向けられたこと。すなわち、視線入力の開始。
・EVF29に対する視線入力をしている状態であること。
・EVF29の或る位置へ注視している状態であること。
・EVF29へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・EVF29へ何も視線入力していない状態(EVF29を見ていない状態)。
これらの操作・状態や、EVF29に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいてどのような視線入力が行われているかを判定する。
操作部70は、ユーザからの操作(ユーザ操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、MC65等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧
画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)を提供できる。
システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch−On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチパネル70a上に指をタッチしたままある程
度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。さらに、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
なお、デジタルカメラ100には、内蔵されたマイクまたは音声入力端子を介して接続された音声入力装置から得られたシステム制御部50に送信する音声入力部(不図示)が設けられていてもよい。この場合、システム制御部50は、入力された音声信号を必要に応じて選択し、アナログデジタル変換を行い、レベルの適正化処理、特定周波数の低減処理等をして音声信号を生成する。
本実施形態では、ユーザは、接眼状態でタッチムーブが行われる場合の位置指標(例えば、AF枠)の位置を指定する方式を、絶対位置指定方式と相対位置指定方式とのいずれかに設定することができる。絶対位置指定方式とは、タッチパネル70aにおける入力座標と、EVF29の表示面上の表示座標とが対応付けられている方式である。絶対位置指定方式の場合、タッチパネル70aに対するタッチダウンがあると、タッチムーブが無くとも、タッチされた位置(座標入力された位置)に対応付けられた位置にAF枠が設定される(タッチダウン前の位置から移動する)。絶対位置指定方式で設定される位置は、タッチダウン前に設定されていた位置には関係なく、タッチダウンされた位置に基づいた位置となる。また、タッチダウン後にタッチムーブがあると、タッチムーブ後のタッチ位置に基づいてAF枠の位置も移動する。相対位置指定方式とは、タッチパネル70aにおける入力座標と、EVF29の表示面上の表示座標とが対応付けられていない方式である。相対位置指定方式の場合、タッチパネル70aに対するタッチダウンがあっただけでタッチムーブが無い状態では、AF枠の位置はタッチダウン前の位置から移動しない。その後タッチムーブがあると、タッチダウン位置に関わらず、現在設定されているAF枠の位置(タッチダウン前に設定されていた位置)から、タッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、AF枠の位置が移動する。
なお、AF方式(AF枠の設定方式)として、「一点AF」と「顔+追尾優先AF」を含む複数のAF方式のうちいずれかを設定可能である。「一点AF」とは、AFを行う位置として一点AF枠によって1箇所をユーザが指定する方式である。「顔+追尾優先AF」とは、ユーザによる追尾対象の指定が無い場合には、自動選択条件に基づいて自動的にAF位置が設定される方式である。自動的なAF位置の設定では、LV画像から人物の顔が検出されていれば顔を優先してAF対象被写体として選択する。人物の顔が複数検出されている場合には、顔のサイズが大きい、顔の位置がデジタルカメラ100に近い(至近側である)、顔の位置が画像内における中央に近い、予め登録された個人の顔である、等の優先度に従って1つの顔を選択してAF対象被写体に設定する。人物の顔が検出されていなければ、デジタルカメラ100に近い(至近側である)、コントラストが高い、動物や乗り物などの優先度の高い被写体である、動体である、などの優先度に従って顔以外の被写体を選択してAF対象被写体に設定する。ユーザによって追尾対象の被写体が指定された場合には、追尾対象の被写体をAF対象被写体とする。すなわち、自動選択条件は、以下に示す例のような要素条件のうち少なくとも1つの要素条件を用いて重みづけを行い
、得られるスコアが所定の閾値以上であることや得られるスコアが最も高いという条件である。
・検出された人物の顔である。
・顔のサイズが大きい。
・顔の位置がデジタルカメラ100に近い(至近側である)。
・顔の位置が画像内における中央に近い。
・予め登録された個人の顔である。
・デジタルカメラ100に近い(至近側である)。
・コントラストが高い。
・動物や乗り物などの優先度の高い被写体である。
・動体である。
<一点AFでの視線によるAF枠の設定>
図3(a)〜3(h)を用いて、デジタルカメラ100においてAF枠の選択方式(AF方式)を「一点AF」とした場合の、視線入力を利用したAF枠の移動制御について説明する。図3(a)〜3(h)はそれぞれ、AF枠の選択方式(AF方式)を「一点AF」とした場合にEVF29に表示される表示例である。
図3(a)は、視線機能(視線入力を用いたAF位置の指定機能)を有効とし、視線検出部160でユーザの視線を検出している状態の表示例である。ライブビュー(以下、LV)301は、撮像部22で撮像されているLV画像である。一点AF枠302は、AF枠の選択方式(AF方式)を「一点AF」とした場合のAF枠(AFの対象となる位置、すなわち焦点調節位置を示すインジケーター)である。1点AF枠は、初期状態では画面中央に設定される。視線ポインタ310は、視線検出部160で検出した視線入力の位置を示すポインタ(インジケーター、表示アイテム)である。視線検出部160は、視線入力がされている位置として或る1点の座標を取得可能であるが、視線ポインタ310は、視線入力されている位置を中心としたある程度大きい所定サイズの範囲を示すものとして表示される。このようにすることで、視線入力で検出されている位置が、ユーザが選択したいターゲット被写体の位置に厳密に一致していなくとも、視線ポインタが示す範囲内にターゲット被写体を収めることが可能となる。すなわち、視線入力によって大雑把な位置の指定が可能である。また、視線検出部160で検出された視線位置を、所定期間分(例えば30ミリ秒の期間)平均化した位置を中心として視線ポインタ310を表示する。このようにすることで、ユーザの視線入力の位置の微小時間内のバラつきによる視線ポインタの過度な移動を防ぐことができ、視線ポインタの視認性を向上させることができる。人間による視線には、固視微動と呼ばれる、ある一点を注視している際にも眼球が細かい運動を起こすという特性がある。従って視線入力だけを用いて厳密な位置の指定を行おうとしても、ユーザの意図通りの位置を指定することは難しく、ユーザにとって不快な操作感となってしまう。これに対し、視線ポインタ310を、ある程度大きい第1の大きさで、所定期間分平均化した位置に基づいて表示することで、このような不快感を軽減することができる。
図3(b)は、図3(a)の状態から、ユーザが視線を移動させて、EVF29のうち見ている場所を変えた場合のEVF29での表示例である。視線ポインタ310は、図3(a)では画面右上にあったが、図3(b)では画面左下に移動している。このように、ユーザの視線の移動に連動して視線ポインタ310の位置も移動する。なお、視線ポインタ310が移動しただけでは、一点AF枠302は移動しない。すなわち、図3(a)と図3(b)における一点AF枠302の位置は同じである。
図3(c)は、図3(b)の状態で視線確定ボタン82が押下された場合のEVF29における表示例である。視線ポインタ310が表示された状態で視線確定ボタン82が押
下されると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠302が設定される(移動する)。視線ポインタ310が画面端部に接していない場合には、視線入力位置を中心とした範囲に視線ポインタ310が表示されているため、一点AF枠は視線ポインタ310があった位置の中心に表示されることになる。また、視線による位置の指定が確定した状態となり、視線ポインタ310は非表示となる。このように、視線入力の位置に基づいてAFを行う位置を移動させることができる。アイコン303は、再び視線入力に基づいてAF枠を移動させる場合には、視線による位置の指定の確定状態を解除する必要があること、および、解除する操作方法を示すアイコンである。「Eye」の文字列が視線確定ボタン82を示しており、視線確定ボタン82の押下によって確定状態を解除できることを示している。図3(c)の状態から視線確定ボタン82が押下されると、確定状態が解除され、図3(a)や図3(b)の表示状態に戻る。
図3(d)は、図3(b)の状態からタッチパネル70aに対するタッチダウンを検知した場合の表示例である。視線ポインタ310が表示された状態でタッチダウンがあると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠302が設定される(移動する)。そして、タッチ&ドラッグAF機能によるAF枠の移動が可能な状態(タッチ&ドラッグAF機能によるAF枠の移動途中の状態)となる。タッチ&ドラッグAF機能とは、EVF29に表示されたAF枠を、EVF29とは異なる位置にあるタッチパネル70aに対するタッチムーブによって移動させる機能である。タッチ操作によってユーザが所望する位置を正確に指定できるため、タッチ位置を示すポインタ(この例では一点AF枠302自体)が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ310のような大きいなポインタは非表示とし、視線ポインタ310より小さい一点AF枠302によって位置の指定を行う状態とする。
図3(e)は、図3(d)の状態から、タッチパネル70aに対する左下向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じて一点AF枠302を左下に移動させた場合の表示例である。
図3(f)は、図3(e)の状態からタッチアップがあった場合の表示例である。タッチ&ドラッグによる一点AF枠302の移動が終了した状態となり、アイコン303が表示される。このように、視線入力とタッチ操作とを組み合わせたAF枠の位置(選択位置)の指定が可能である。なお、図3(f)、あるいは図3(c)の状態からさらにタッチパネル70aにタッチしてタッチムーブを行えば、一点AF枠302をタッチムーブに応じてさらに移動させることができる。
上述の例において、ユーザがピントを合わせたい位置が、LV画像301に含まれる自動車(被写体)のナンバープレートであるものとする。この場合、次のようにして一点AF枠302をナンバープレートの位置に設定することができる。まず、図3(b)のように、LV画像301のうち自動車のフロント部分を見ることで、自動車のフロント部分を視線ポインタ310で素早く大雑把に指定する。その後、視線ポインタ310に基づいて設定された一点AF枠302の位置(図3(d)における一点AF枠302の位置)をタッチ操作によって移動させて微調整することで、ナンバープレートの位置に正確に合わせることができる。この時のタッチムーブの移動量は、すでにナンバープレート付近に一点AF枠302が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザが所望する位置を指定することが可能である。
図3(g)は、図3(f)の状態から、第1シャッタースイッチ62の操作(シャッタ
ーボタン61の半押し)を検知して、一点AF枠302の位置でAFを実行した場合の表示例である。一点AF枠302が合焦一点AF枠304に切り替わって、合焦したことが表現される。
なお、ここまで、視線確定を行うと視線ポインタ310が非表示になる例を説明してきたが、その限りではない。図3(h)は、視線確定ボタン82の押下によって視線ポインタ310の位置に一点AF枠を移動させた後も、視線ポインタ310が表示されている例を示している。こうすることで、視線確定ボタン82の押下によって一点AF枠302が意図通りの位置に移動できなかった場合にも、再度視線ポインタ310を移動させ、視線確定ボタン82を押下することで、すぐに一点AF枠302の位置の再設定を行うことが可能となる。
<顔+追尾優先AFでの視線によるAF枠の設定>
図4(a)〜4(h)を用いて、デジタルカメラ100においてAF枠の選択方式(AF方式)を「顔+追尾優先」とした場合の、視線入力を利用したAF枠の移動制御について説明する。図4(a)〜4(h)はそれぞれ、AF枠の選択方式(AF方式)を「顔+追尾優先」とした場合にEVF29に表示される表示例である。
図4(a)は、視線機能を有効とし、視線検出部160でユーザの視線を検出している状態の表示例である。図3(a)で説明したものと同じものについては、同じ符号を付して説明を省略する。顔+追尾優先でも、一点AFの場合と同様に、視線ポインタ310は、ある程度大きい第1の大きさで、所定期間分平均化した位置に基づいて表示する。顔枠401〜405は、LV画像から検出されている人物の顔の位置を示すインジケーターである。図4(a)の状態ではどの顔も選択されていない。
図4(b)は、図4(a)の状態から、ユーザが視線を移動させて、EVF29のうち見ている場所を変えた場合のEVF29での表示例である。視線ポインタ310は、図4(a)では画面左側にあったが、図4(b)では画面右上に移動している。
図4(c)は、図4(b)の状態で視線確定ボタン82が押下された場合のEVF29における表示例である。視線ポインタ310が表示された状態で視線確定ボタン82が押下されると、その時点で視線ポインタ310が示す範囲内で、前述の自動選択条件に従って自動的に追尾対象(AF対象でもある)の被写体が選択される。図4(c)の例では、図4(b)に示す視線ポインタ310内において、全体が含まれる顔(顔枠402と顔枠403)のうち、最も至近側の顔である顔枠402によって示される顔が選択され、追尾対象として設定される。追尾対象となった被写体には追尾枠412が表示され、顔枠は非表示となる。そして、追尾が開始される。追尾中は、追尾対象の被写体が移動しても、追尾枠が追尾対象に追従して移動する。視線ポインタ310によって被写体を選択するゾーンを絞っているため、視線ポインタ310の外側の被写体が選択されることはなく、顔枠401や顔枠405によって示される顔や自動車が選択されることはない。すなわち、視線によって素早く大雑把にユーザが指定した範囲の中から追尾対象が設定される分、視線を用いない自動選択よりもユーザの意図にあった被写体を選択することが可能となる。また、図4(c)では、視線による位置の指定が確定した状態となり、視線ポインタ310は非表示となる。図4(c)の状態から視線確定ボタン82が押下されると、確定状態が解除され、図4(a)や図4(b)の表示状態に戻る。
図4(d)は、図4(b)の状態からタッチパネル70aに対するタッチダウンを検知した場合の表示例である。視線ポインタ310が表示された状態でタッチダウンがあると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)にタッチポインタ406が表示される。そして、タッチ&ドラッグAF機能による
位置の指定が可能な状態(タッチ&ドラッグAF機能によるタッチポインタ406の移動途中の状態)となる。タッチ操作によってユーザが所望する位置を正確に指定できるため、タッチ位置を示すポインタ(この例でタッチポインタ406)が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ310のような大きいなポインタは非表示とし、視線ポインタ310より小さいタッチポインタ406によって位置の指定を行う状態とする。これによって、図示のように顔が密集しているような場合でも、ユーザ所望の顔を選択しやすくなる。
図4(e)は、図4(d)の状態から、タッチパネル70aに対する右上向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じてタッチポインタ406を右上に移動させた場合の表示例である。タッチポインタ406が顔枠403の位置にほぼ一致する位置(より厳密には、顔枠403の範囲内にタッチポインタ406の中心が含まれる位置)となっている。この状態でタッチアップがなされると、タッチポインタ406の位置に基づいて、顔枠403が追尾対象として指定される。なお、図4(e)のような表示に変えて、タッチアップ前のタッチポインタ406の移動中に、タッチポインタ406で顔枠の指定が可能な位置関係となった場合に、その時点でタッチアップがあった場合に指定される顔を示す表示(吸着表示)を行ってもよい。
図4(f)は、吸着表示の表示例を示す。タッチポインタ406をタッチムーブに応じて移動させ、顔枠403を指定可能な位置となったことに応じて、タッチポインタ406を非表示とし、顔枠403を他の顔枠と異なる表示形態で表示する。このようにすることで、ユーザは、この時点でタッチアップを行えば顔枠403が指定されることを認識することができ、目的の位置までタッチムーブを行えたか否かを判断しやすくなる。
図4(g)は、図4(e)または図4(f)の状態からタッチアップがあった場合の表示例である。タッチアップ直前のタッチポインタ406の位置に基づいて顔枠403が追尾対象に設定され、追尾枠413が表示されて追尾が開始される。タッチ&ドラッグによるタッチポインタ406の移動が終了した状態となり、アイコン303が表示される。なお、図4(g)あるいは図4(c)の状態からさらにタッチパネル70aにタッチしてタッチムーブを行えば、追尾が解除されて追尾対象のあった位置にタッチポインタ406が表示され、タッチポインタ406をタッチムーブに応じて移動させることができる。
上述の例において、ユーザがピントを合わせたい位置が、LV画像301に含まれる顔枠403が示す顔であるものとする。この場合、次のようにして追尾対象(AF位置)を顔枠403の位置に設定することができる。まず、図4(b)のように、LV画像301のうち顔枠403の付近の部分を見ることで、素早く大雑把に範囲を指定する。その後、視線ポインタ310に基づいて設定された追尾対象である顔枠402の位置から、タッチ操作によってタッチポインタ406移動させて微調整することで、顔枠403に正確に合わせることができる。この時のタッチムーブの移動量は、すでに顔枠403付近の顔枠402が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザが所望する位置(被写体)を指定することが可能である。
図4(h)は、図4(e)〜4(g)の状態から、第1シャッタースイッチ62の操作(シャッターボタン61の半押し)を検知して、追尾枠の位置でAFを実行した場合の表示例である。追尾状態でなくとも、タッチポインタ406が被写体の位置にある場合には、その被写体を追尾した後、続けてAFを実行する。追尾枠や吸着表示の顔枠が合焦顔枠414に切り替わって、合焦したことが表現される。なお、視線ポインタ310が表示されている図4(a),4(b)の状態から同様の操作をした場合には、視線ポインタ310の中心付近の被写体を追尾した後、続けてAFを実行することが可能である。
なお、一点AFの場合と同様に、視線確定ボタン82の押下によって視線ポインタ310の位置の被写体を追尾したり、タッチムーブによってタッチポインタ406の表示を行った後も、視線ポインタ310が表示される構成としてもよい。
<撮影モード処理>
図5は、本実施形態におけるデジタルカメラ100における撮影モード処理のフローチャートである。図5の処理は、表示先がEVF29となっている場合の処理であるものとする。このため、詳細は後述するが、一点AF枠などのインジケーターがEVF29に表示されていることが、CAL補正を行うための特定の条件に含まれることになる。この図5を含む、図5〜10のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。デジタルカメラ100を撮影モードで起動すると、フラグや制御変数等を初期化し、図5の処理を開始する。
S500では、システム制御部50は、撮像部22でのライブビュー画像(LV画像)の撮像を開始し、撮像したLV画像をEVF29に表示する。
S501では、システム制御部50は、ユーザ操作に応じて撮像に関する各種設定を行うカメラ設定処理を行う。カメラ設定処理については図6を用いて後述する。
S502では、システム制御部50は、視線機能が有効であるか否か(後述する視線AFの設定が有効であるか否か)を判定する。有効である場合はS503に進み、そうでない場合(無効である場合)はS516に進む。
S503では、システム制御部50は、視線検出部160で視線が検出されているか否かを判定する。検出されている場合はS504に進み、そうでない場合(視線機能が有効であるが、視線が検知されていない場合)はS516に進む。
S504では、システム制御部50は、視線ポインタ表示が有効であるか否かを判定する。有効である場合はS505に進み、そうでない場合(無効である場合)はS507に進む。
S505では、システム制御部50は、システムメモリ52に保持された視線確定フラグが0であるか否かを判定する。初期値は0である。視線確定フラグ=0は前述の視線確定状態が解除されている状態を示しており、視線によって視線ポインタを移動させることが可能な状態である。視線によって大雑把な位置を指定可能な「粗調整モード」でもある。一方、視線確定フラグ=1は、前述の視線確定状態を示しており、一旦、視線によって大雑把な位置を指定した後の状態で、視線による位置の指定はできない状態である。タッチムーブによって細かく位置を指定可能な「微調整モード」でもある。視線フラグが0である場合にはS506に進み、そうでない場合(視線フラグ=1である場合)にはS507に進む。
S506では、システム制御部50は、EVF29に、視線検出部160で検出されている視線入力位置を基準として視線ポインタ310を表示する。前述の通り、視線ポインタ310はある程度大きい第1の大きさ(サイズ)で、視線入力位置を所定期間分平均化した位置に基づいて表示する。平均化された視線検出位置がEVF29の端部周辺でない場合には、視線ポインタ310は視線入力位置を中心とした第1の大きさの範囲に表示される。平均化された視線検出位置がEVF29の端部周辺である場合には、視線ポインタ310は視線入力位置に近い画面の端に接する第1の大きさの範囲に表示される。S50
6の処理によって、AF方式が一点AFに設定されていれば前述した図3(a)や図3(b)のような表示が行われ、顔+追尾優先に設定されていれば前述した図4(a)や図4(b)のような表示が行われる。
S507では、システム制御部50は、視線確定ボタン82が押下されたか否か(すなわち、視線による位置の指定/指定解除の実行を指示する操作があったか否か)を判定する。視線確定ボタン82が押下された場合はS508に進み、そうでない場合はS516に進む。
S508では、システム制御部50は、システムメモリ52に保持された視線確定フラグが0であるか否かを判定する。視線確定フラグ=0である場合にはS512に進み、そうでない場合(視線確定フラグ=1である場合)にはS509に進む。
S509では、システム制御部50は、視線確定フラグを0に設定する。また、表示されていたアイコン303を非表示とし、視線の確定が解除された状態の表示に復帰させる。
S510では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS511に進んで追尾を解除し、S504に進む。これによって、例えば前述の図4(c)や図4(g)の表示が行われていた場合に視線確定ボタン82が押下されたことに応じて、図4(a)や図4(b)の表示状態に遷移する。S510で、現在設定されているAF方式が顔+追尾優先AFではないと判定されると(すなわち一点AFであると判定されると)、S504に進む。これによって、例えば前述の図3(c)や図3(f)の表示が行われていた場合に視線確定ボタン82が押下されたことに応じて、図3(a)や図3(b)の表示状態に遷移する。
S512では、システム制御部50は、視線確定フラグを1に設定する。また、アイコン303をEVF29に表示し、視線の確定状態の表示とする。
S513では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS514に進み、そうでない場合(すなわち一点AFである場合)にはS515に進む。
S514では、視線ポインタ310によって示される第1の大きさの範囲内において(視線ポインタ310が表示されていない場合でも同様の範囲内において)、追尾対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体(追尾対象)に追尾枠を表示し、追尾を開始する。これによって、例えば前述の図4(b)から図4(c)のように表示が遷移する。
S515では、システム制御部50は、視線確定ボタン82が押下された時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に、一点AF枠302を設定する。これによって、例えば前述の図3(b)から図3(c)のように表示が遷移する。なお、本実施形態では一点AFの場合には視線検出部160で検出されていた視線入力位置に一点AF枠を設定する例を説明した。しかしこれに限るものではなく、一点AFの場合であっても、顔+追尾優先AFの場合と同様に、視線ポインタ310の範囲内で自動選択条件に基づく自動選択を行い、自動選択された被写体の位置に一点AF枠302を設定するようにしてもよい。
S532では、システム制御部50は、一点AF枠を設定した位置、つまり視線確定ボ
タン82が押下された時点での視線入力位置を記憶する。
S533では、システム制御部50は、視線反映フラグを1に設定する。視線反映フラグとは、図9,10を用いて後述する処理(タッチムーブに基づいてCALデータを補正する処理)を行うか否かの判定に用いるフラグである。CALデータは、視線入力(視線に基づく入力位置)のCAL(キャリブレーション;後述する詳細CALやCAL補正)によって得られるデータであり、視線に基づく入力位置を補正するデータである。
S516では、システム制御部50は、タッチパネル70aに対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はS517に進み、そうでない場合はS518に進む。
S517では、システム制御部50は、タッチパネル70aに対するタッチ操作に応じて、タッチ操作応答処理を行う。タッチ操作応答処理については図7を用いて後述する。
S518では、システム制御部50は、操作部70に対するその他の操作があったか否かを判定する。その他の操作があった場合にはS519に進み、そうでない場合にはS520に進む。
S519では、システム制御部50は、その他の操作に応じた処理を行う。例えば、シャッター速度や絞り値、露出補正値といった各種撮影パラメータを変更したり、記録画質やセルフタイマーの設定を行ったりすることができる。
S520では、システム制御部50は、第1シャッタースイッチ62がオンとなって信号SW1を出力したか否か、すなわち、シャッターボタン61が半押しされ、撮影準備指示が行われたか否かを判定する。SW1があった場合にはS521に進み、そうでない場合はS531に進む。
S521では、システム制御部50は、視線ポインタ310の表示中であるか否か、すなわち、視線機能が有効であり、視線検出がされており、視線ポインタの表示が有効であり、かつ、視線確定フラグ=0であるか否かを判定する。視線ポインタ310の表示中である場合にはS522に進み、そうでない場合にはS523に進む。なお、視線ポインタ310が表示中であるか否かの判定に変えて、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ=0であるか否かの判定としてもよい。この場合、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ=0であれば、視線ポインタの表示が無効(視線ポインタ310が非表示)であってもS522に進む。
S522では、システム制御部50は、視線ポインタ310によって示される第1の大きさの範囲内において(視線ポインタ310が表示されていない場合でも同様の範囲内において)、AF対象の被写体を前述の自動選択条件に基づいて選択する。これは、S514での追尾対象の選択と同様の処理である。そして、選択された被写体(AF対象、焦点調節対象)に基づいてAFを実行する。同様にして、選択された被写体を基準としてAE、AWBなどの処理を行ってもよい。なお、AF方式が一点AFである場合には、AF対象を自動選択条件に基づいて選択するのではなく、その時点の視線入力位置を中心とする一点AF枠の範囲をAF対象として選択してもよい。
S523では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS524に進み、そうでない場合(一点AFである場合)にはS527に進む。
S524では、システム制御部50は、被写体の追尾を行っている状態であるか否かを判定する。追尾中である場合にはS526に進み、そうでない場合にはS525に進む。
S525では、システム制御部50は、撮像されているLV画像の全範囲を対象として、AF対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体(AF対象、焦点調節対象)に基づいてAFを実行する。同様にして、選択された被写体を基準としてAE、AWBなどの処理を行ってもよい。なお、LV画像の全範囲を対象とするものに限るものではなく、LV画像のうち、視線ポインタ310のサイズである第1の大きさよりも大きい第2の大きさの範囲内を対象としてもよい。例えば、LV画像の中央から80%の範囲(>第1のサイズ)をS525での自動選択条件に基づく被写体の自動選択の対象の範囲としてもよい。この場合、それ以外の端の領域はAFを合わせるべき主要被写体が存在する可能性が低いと想定されるため、S525での自動選択条件に基づく被写体の自動選択の対象外となる。
S526では、システム制御部50は、追尾中の追尾枠で(すなわち、追尾対象に対して)AFを実行する。同様にして、追尾対象を基準としてAE、AWBなどの処理を行ってもよい。
S527では、システム制御部50は、設定されている1点AF枠においてAFを実行する。同様にして、一点AF枠を基準としてAE、AWBなどの処理を行ってもよい。
S528では、システム制御部50は、第2シャッタースイッチ64がオンとなって信号SW2を出力したか否か、すなわち、シャッターボタン61が全押しされて撮影指示が行われたか否かを判定する。SW2があった場合にはS530に進み、そうでない場合はS529に進む。
S529では、システム制御部50は、SW1のオンが保持されているか否かを判定する。保持されている場合にはS528に戻り、そうでない場合(SW1がオフとなった場合)はS531に進む。
S530では、システム制御部50は、撮像部22での露光から撮像された画像を画像ファイルとして記録媒体200に記録するまでの一連の撮影処理(前述の撮影処理)を行う。
S531では、撮影モードの終了イベント(電源オフ操作や、再生モードなどの他の動作モードに遷移させる指示など)があったか否かを判定する。終了イベントがない場合にはS500に戻って処理を繰り返し、終了イベントがあった場合には撮影モード処理を終了する。
<カメラ設定処理>
前述した図5のS501のカメラ設定処理について説明する。カメラ設定処理は、メニューボタン81が押下された場合に表示される撮影に関する設定メニュー画面における各設定項目についての設定を行う処理である。
図11(a)、図11(b)、図11(c)に、EVF29または表示部28に表示される撮影に関する設定メニュー画面の表示例を示す。図11(a)のメニュー画面に含まれる設定項目1101は、AF方式の設定を行うための項目である。設定項目1102は、タッチ&ドラッグAFの設定を行うための項目である。設定項目1103は、視線機能関連の設定を行うための項目である。設定項目1104は、MC65の中央部分の押し込み操作が行われた場合の動作を設定するための項目である。
図11(b)は、視線機能関連の設定を行うための視線AFの詳細設定メニュー画面の表示例である。この画面は、図11(a)の設定項目1103が選択された場合に表示される。図11(b)の視線AFの詳細設定メニュー画面には、設定項目1105〜1110が表示される。設定項目1105は、視線機能を有効または無効に設定するための項目である。設定項目1106は、視線ポインタの表示を有効(表示)または無効(非表示)に設定するための項目である。設定項目1107は、検出された視線情報に対する視線ポインタの表示の応答性(以下、敏感度)を設定するための項目である。設定項目1108は、SW1がオンとなった場合に視線検出位置にAF枠をジャンプさせる機能を有効または無効に設定するための項目である。設定項目1109は、後述のCAL番号を設定するための項目である。設定項目1109には、CAL番号1109a、ユーザ文字列1109b、CAL済みか否かを示す表示1109cも併記される。CAL済みか否かを示す表示1109cは、後述のCAL補正を行って所定回数以上、CALデータが蓄積(更新)された場合、つまりCAL補正が所定回数以上行われた場合に、CAL未実行の表示からCAL済みの表示に切り替わってもよい。設定項目1110は、図11(c)の画面へ遷移するための項目である。
図11(c)は、CAL関連の設定・実行を行うための視線AFの詳細設定メニュー画面の表示例である。設定項目1111は、CALを実行するための項目である。設定項目1112は、CALデータを削除するための項目である。設定項目1113は、SDカードなどへのCALデータの保存、またはSDカードなどからのCALデータの読み込みを実行するための項目である。設定項目1114は、後述のCAL補正を実行するか否かを設定するための項目である。
図6は、前述した図5のS501のカメラ設定処理の詳細を示すフローチャートである。
S601で、システム制御部50は、視線機能(視線AF)のON/OFF(有効/無効)を切り替える操作が操作部70に対して行われたか否かを判定する。視線機能のON/OFF(有効/無効)を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1105)を選択して設定を切り替える操作である。本実施形態では、視線AFをONにするとユーザの視線を入力する機能が有効になり、視線AFをOFFにすると当該機能が無効になる。視線機能のON/OFFを切り替える操作が行われた場合はS602に進み、そうでない場合はS603に進む。
S602で、システム制御部50は、視線機能のON/OFFを切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S603で、システム制御部50は、視線ポインタ表示のON/OFF(有効/無効)を切り替える操作が操作部70に対して行われたか否かを判定する。視線確定機能のON/OFF(有効/無効)を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1106)を選択して設定を切り替える操作である。本実施形態では、視線ポインタ表示をONにするとユーザの視線入力に応じてGUIとしての視線ポインタ310が表示され、視線ポインタ表示をOFFにすると視線ポインタが非表示になる。視線ポインタ表示のON/OFFを切り替える操作が行われた場合はS604に進み、そうでない場合はS605に進む。
S604で、システム制御部50は、視線ポインタ表示のON/OFF(有効/無効)を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S605で、システム制御部50は、タッチ&ドラッグAF機能の設定を切り替える操作が操作部70に対して行われたか否かを判定する。タッチ&ドラッグAF機能の設定を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1102)を選択して設定を切り替える操作である。本実施形態では、タッチ&ドラッグAFの設定として、「絶対(上述の絶対位置指定方式)」と「相対(上述の相対位置指定方式)」とのいずれかを選択可能である。タッチ&ドラッグAF機能を切り替える操作が行われた場合はS606に進み、そうでない場合はS607に進む。
S606で、システム制御部50は、タッチ&ドラッグAF機能の設定を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S607で、システム制御部50は、AF方式を切り替える操作が操作部70に対して行われたか否かを判定する。AF方式を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1101)を選択して設定を切り替える操作である。AF方式を切り替える操作が行われた場合はS608に進み、そうでない場合はカメラ設定処理を終了する。なお、本実施形態ではAF方式として顔+追尾優先AFと一点AFとのいずれかを選択できる例を説明したが、他のAF方式(ゾーンAF、多点AFなど)を設定可能としてもよい。
S608で、システム制御部50は、AF方式を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S609で、システム制御部50は、CAL番号を切り替える操作が操作部70に対して行われたか否かを判定する。CAL番号とは、CALデータを記憶する領域を複数確保した場合の、各記憶領域に対応する番号である。複数人のユーザが同じ電子機器を使用したり、一人のユーザが眼鏡をかけた状態、裸眼の状態など、複数の形態で使用したい場合に便利である。CAL番号を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1109)を選択して設定を切り替える操作である。CAL番号を切り替える操作が行われた場合はS610に進み、そうでない場合はS611に進む。
S610で、システム制御部50は、CAL番号の設定を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S611で、システム制御部50は、CAL補正を実行する否かの設定を切り替える操作が操作部70に対して行われたか否かを判定する。CAL補正とは、後述する、ユーザの操作に基づいてCALデータを補正する処理である。CAL補正の設定を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1114)を選択して設定を切り替える操作である。CAL補正の設定を切り替える操作が行われた場合はS612に進み、そうでない場合はS613に進む。
S612で、システム制御部50は、CAL補正の設定を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S613で、システム制御部50は、CALを実行する操作が操作部70に対して行われたか否かを判定する。ここでのCALとは、ユーザのCALデータを生成するためのモードで実行される処理(詳細CAL)であり、詳細なデータが生成できる反面、一般的には手番がかかる。詳細CALを実行する操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1111)を選択する操作である。詳細CALを実行する操作が行われた場合はS614に進み、そうでない場合はS615に進む。
S614で、システム制御部50は、CALを実行し、CALデータを生成する。システム制御部50は、生成されたCALデータを、現在のCAL番号と関連付けて、不揮発性メモリ56に記録する。
S615で、システム制御部50は、その他の操作が操作部70に対して行われたか否かを判定する。その他の操作が行われた場合にはS616に進み、そうでない場合にはカメラ設定処理を終了する。ここでのその他の操作には、例えば視線ポインタの敏感度の設定(設定項目1107の設定)を切り替える操作や、CAL番号を識別するためのユーザ文字列(ユーザ文字列1109b)の入力操作などが含まれる。
S616で、システム制御部50は、その他の処理を実行する。
<タッチ操作応答処理>
図7に、前述の図5のS517のタッチ操作応答処理の詳細フローチャートを示す。ここでは、タッチパネル70aに対する位置入力における位置指定方式が相対位置指定方式であるものとする。このため、詳細は後述するが、位置指定方式が相対位置指定方式であることが、CAL補正を行うための特定の条件に含まれることになる。
S701で、システム制御部50は、S502と同様に視線機能が有効であるか否かを判定する。有効である場合はS702に進み、そうでない場合(無効である場合)はS706に進む。
S702で、システム制御部50は、S503と同様に視線が検出されているか否かを判定する。検出されている場合はS703に進み、そうでない場合はS708に進む。
S703で、システム制御部50は、視線確定フラグを1に設定する。
S704で、システム制御部50は、視線ポインタを非表示にする。
S705で、システム制御部50は、視線機能が有効な場合における、相対位置指定処理を行う。この処理については図8を用いて後述する。
S706で、システム制御部50は、視線機能が無効な場合における、相対位置指定処理を行う。
<視線有効時相対位置指定処理>
図8に、前述した図7のS705の視線有効時相対位置指定処理の詳細フローチャートを示す。
S801で、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判定する。「顔+追尾優先AF」である場合はS805に進み、そうでない場合(本実施形態では「一点AF」の場合)はS802に進む。
S802で、システム制御部50は、タッチダウンがあった時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠を表示する。これによって、前述の図3(b)の表示から図3(d)の表示に遷移する。
S803で、システム制御部50は、現在の視線の位置を記憶する。なお、図5のS515、S532、S533の処理が行われている場合には、S802とS803の処理は
省略してよい。S802とS803の処理を行い、一点AF枠の位置や記憶する視線位置を、S515とS532の処理結果からS802とS803の処理結果に更新してもよい。
S804で、システム制御部50は、タッチパネル70aに対するタッチムーブに応じて、一点AF時タッチムーブ処理を行う。一点AF時タッチムーブ処理については図9を用いて後述する。
S805で、システム制御部50は、被写体を追尾中か否かを判定する。追尾中である場合はS810に進み、そうでない場合はS806に進む。
S806で、システム制御部50は、タッチダウンがあった時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に、タッチ位置を示すタッチポインタ406を表示する。これによって、例えば図4(b)の表示から図4(d)の表示に遷移する。
S807で、システム制御部50は、現在の視線の位置を記憶する。
S808で、システム制御部50は、タッチパネル70aに対するタッチムーブに応じて、顔+追尾優先AF時タッチムーブ処理を行う。顔+追尾優先AF時タッチムーブ処理については図10を用いて後述する。
S809で、システム制御部50は、タッチポインタの位置における被写体を選択し、当該被写体の追尾を開始する。この時の選択は、前述の自動選択条件には基づかない。また、アイコン303を表示する。これによって、例えば図4(e)から図4(g)のように表示が遷移する。
S810で、システム制御部50は、タッチダウンがあった時点での追尾対象の位置に、タッチ位置を示すタッチポインタ406を表示する。これによって、例えば図4(c)の表示から図4(d)の表示に遷移する。
S811で、システム制御部50は、タッチパネル70aに対するタッチムーブ(移動指示操作)に応じて、タッチ位置を示すタッチポインタ406を移動させる。この移動は、相対位置指定方式による移動である。これによって、例えば図4(d)から図4(e)へと表示が遷移する。システム制御部50は、タッチポインタ406が表示された後の視線入力に基づかずに、タッチムーブに応じてタッチポインタ406の表示位置を移動していると捉えることもできる。
S812では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS813へ進み、そうでない場合はS811に戻る。
S813は、S809と同様である。
なお、本実施形態では、視線有効時にタッチダウンがあった場合に追尾中であれば視線入力位置ではなく追尾位置にタッチポインタ406を表示する例を説明した。しかしこれに限るものではなく、視線が有効であれば、追尾中であるか否かにかかわらず、タッチダウンがあった場合には視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)にタッチポインタ406を表示するようにしてもよい。この場合は、S801でYesとなった場合に、S805の判定を行わずにS806へ進むこととなる。
また、相対位置指定方式でタッチアップによる被写体追尾を行う場合(S809、S813など)、タッチアップから一定時間経過後に被写体追尾を開始するようにしてもよい。これにより、相対位置指定方式の場合にタッチダウン、タッチムーブ、タッチアップの一連の操作を繰り返し行いながらタッチポインタを移動する場合に、被写体追尾処理が毎回発動しなくなるため、タッチポインタの移動がしやすくなる。
<一点AF時タッチムーブ処理>
図9に、前述した図8のS804の一点AF時タッチムーブ処理の詳細フローチャートを示す。
S901で、システム制御部50は、タッチパネル70aに対するタッチムーブ(移動指示操作)に応じて、一点AF枠を移動させる。
S902で、システム制御部50は、第1シャッタースイッチ62がオンとなって信号SW1を出力したか否かを判定する。SW1があった場合はS909へ進み、そうでない場合はS903へ進む。
S903で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS904へ進み、そうでない場合はS901へ進む。
S904で、システム制御部50は、視線反映フラグが1に設定されているか否かを判定する。視線反映フラグ=1の場合はS912へ進み、そうでない場合はS905へ進む。
S905で、システム制御部50は、記憶した視線位置から、S901で移動した一点AF枠の現在の位置までの最短距離(ΔP1)が、第1の閾値(Th1)よりも大きく、第2の閾値(Th2)よりも小さいか否かを判定する。Th1<ΔP1<Th2の場合はS906へ進み、そうでない場合はS912へ進む。Th1よりもΔP1が短い場合には、記憶した視線位置の精度が十分に高く、ユーザがタッチムーブによって一点AF枠の位置を補正する必要がほとんどなかったことになる。またTh2よりもΔP1が大きい場合には、記憶した視線位置の精度の良し悪しに関わらず、ユーザはタッチムーブによって大きく一点AF枠の位置を移動させたかった場合と考えられる。よってTh1<ΔP1<Th2を満たすΔP1の値でなければ、後述のCAL補正は行わないものとする。なお、ΔP1として、記憶した視線位置と、一点AF枠の中心位置との差分を算出することを想定しているが、その限りではない。一点AF枠内で検出された特定被写体の位置を基準点とするなど、自由に変更してよい。
S906で、システム制御部50は、コンティニュアスAF(AF枠の位置で常時AFを実行するモード)が有効であるか否かを判定する。このモードである場合はS912へ進み、そうでない場合はS907へ進む。
S907で、システム制御部50は、その他の条件を満たすか否かを判定する。その他の条件を満たす場合はS908へ進み、そうでない場合はS912へ進む。その他の条件は、例えば、下記の複数の条件の少なくともいずれかを含む。
・S901におけるタッチムーブの前に少なくとも1回のタッチムーブが行われている場合に、各タッチムーブが同じ方向を示している(このような場合は、一定方向へ視線の位置のズレを補正しようとしたとみなせるため)
・タッチパネル70aに対して複数の位置入力がされていない、つまりタッチ位置が2
点以上検出されていない(EVFを覗く際に、ユーザの鼻がタッチパネル70aに触れる可能性があり、鼻の位置を基準として誤ったΔP1が算出される可能性があるため)
・ΔP1の縦成分が所定値以上である(デジタルカメラのEVFは横長であり、通常のCAL(詳細CAL)を実行すると、CALデータとして、横方向の信頼度が比較的高いデータが得られるため)
タッチ位置が2点以上検出されていないことを条件から除き、タッチパネル70aに対して複数の位置入力がされている場合に、最新の位置入力をタッチムーブで指定された位置として扱ってもよい。つまり、タッチ位置が2点以上検出された時点での最新のタッチ位置を基準としてΔP1を算出してもよい。
S908で、システム制御部50は、S902〜S907における条件から、タッチムーブに基づくCALデータの補正を行うべきと判断できるため、視線反映フラグを1に設定する。
S909で、システム制御部50は、視線反映フラグが1に設定されているか否かを判定する。視線反映フラグ=1の場合はS910へ進み、そうでない場合はS527へ進む。
S910で、システム制御部50は、Th1<ΔP1<Th2を満たすか否かを判定する。満たす場合はS911へ進み、そうでない場合はS527へ進む。
S911で、システム制御部50は、ΔP1に基づくCAL補正を実施する。このCAL補正が繰り返されることで、視線入力の精度は徐々に向上する。上述したように、通常のCAL(詳細CAL)を実行すると、CALデータとして、横方向の信頼度が比較的高いデータが得られるため、CAL補正は、ΔP1の縦成分(縦方向の成分)のみに基づいて行ってもよい。
S912で、システム制御部50は、タッチパネル70aに対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はS923へ進み、そうでない場合はS913へ進む。
S913で、システム制御部50は、S903におけるタッチアップから所定時間が経過したか否かを判定する。経過した場合はS914へ進み、そうでない場合はS915へ進む。
S914で、システム制御部50は、S903におけるタッチアップから所定時間以内に、ユーザが現在の一点AF枠の位置で、枠移動操作を完了したと表明する完了操作を行わなかったとみなして、CAL補正を行わないよう、視線反映フラグを0に設定する。
S915で、システム制御部50は、視線確定ボタン82が押下されたか否かを判定する。視線確定ボタン82が押下された場合はS508へ進み、現在の視線の位置に一点AF枠を移動させる。そうでない場合はS916へ進む。
S916で、システム制御部50は、第1シャッタースイッチ62がオンとなって信号SW1を出力したか否かを判定する。SW1があった場合はS920へ進み、そうでない場合はS917へ進む。ここで、第1シャッタースイッチ62がオンとなったということは、ユーザが現在の一点AF枠の位置で枠移動操作を完了したとみなしてよいため、S920〜S922におけるΔP1に基づくCAL補正を含む処理に進むとしている。
S917で、システム制御部50は、その他の操作が操作部70に対して行われたか否かを判定する。その他の操作が行われた場合はS918へ進み、そうでない場合はS912へ進む。ここでのその他の操作には、例えばメニューボタン81の押下などの撮影ライブビュー状態を終了するような操作が含まれる。
S918で、システム制御部50は、視線反映フラグを0に設定し、CAL補正を行わない状態とする。
S919で、システム制御部50は、その他の操作に基づく対応処理を行う。
S920で、システム制御部50は、視線反映フラグが1に設定されているか否かを判定する。視線反映フラグ=1の場合はS921へ進み、そうでない場合はS922へ進む。
S921で、システム制御部50は、ΔP1に基づくCAL補正を実施する。
S922で、システム制御部50は、S916における第1シャッタースイッチ62の操作に基づいて、一点AF枠の位置でAFを実行する。これによって、例えば図3(f)から図3(g)のように表示が遷移する。
なお、ここまで第1シャッタースイッチ62の操作により、一点AF枠の移動操作が完了したとして、CAL補正を行う構成としたが、枠移動の完了を指示する完了操作ための操作部材は第1シャッタースイッチ62に限らない。例えば、感圧式のタッチパネルや、押し込み可能なボタンの表面にタッチ検出部材を持つ部材(スマートコントローラ)に対する、押し込み操作を、上記完了操作としてもよい。
また、ここまでCAL補正と一点AF枠の位置でのAFとを同時に行う例を示しているが、その限りではない。AF実行をしない動作でもよいし、一点AF枠(あるいはそれに類するポインター)の位置にあるオブジェクトの選択動作を行うようにしてもよい。ポインターの位置にオブジェクト(文字など)を挿入する挿入動作を行うようにしてもよい。
また、CAL補正を行う際に、システム制御部50は、CAL補正を行うか否かのガイドをEVF29に表示し、それに対するユーザからの応答に応じてCAL補正の実行/非実行を切り替えてもよい。撮影の邪魔にならないよう、撮影に関する操作が行われていないタイミングでガイドを表示するようにしてもよい。
S923で、システム制御部50は、タッチパネル70aに対するタッチムーブがあったか否かを判定する。タッチムーブがあった場合はS926へ進み、そうでない場合はS924へ進む。
S924で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS925へ進み、そうでない場合はS923へ進む。
S925で、システム制御部50は、S924のタッチアップまでの操作がダブルタップであったか否かを判定する。ダブルタップであった場合はS920へ進み、そうでな場合はS912へ進む。タッチパネル70aへのタッチが行われ、タッチムーブされることなくタッチが離される操作がタップであり、タップが行われ、所定時間以内に再度タップが行われる一連の操作がダブルタップである。
S926で、システム制御部50は、タッチムーブが複数回行われた場合は、ユーザの枠移動操作がまだ完了していないか、または視線位置から大きく一点AF枠を移動させたい場合であるとみなせるため、視線反映フラグを0に設定する。
S927で、システム制御部50は、タッチパネル70aに対するタッチムーブ(移動指示操作)に応じて、一点AF枠を移動させる。
S928で、システム制御部50は、第1シャッタースイッチ62がオンとなって信号SW1を出力したか否かを判定する。SW1があった場合はS527へ進み、現在の一点AF枠の位置でAFを実行する。そうでない場合はS929へ進む。
S929で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合は一点AF時タッチムーブ処理を終了し、そうでない場合はS926へ進む。
<顔+追尾優先AF時タッチムーブ処理>
図10に、前述した図8のS808の顔+追尾優先AF時タッチムーブ処理の詳細フローチャートを示す。
S1001で、システム制御部50は、タッチパネル70aに対するタッチムーブ(移動指示操作)に応じて、タッチポインタ406を移動させる。
S1002で、システム制御部50は、タッチポインタ406の移動操作が完了したことを示す操作がされたか否かを判定する。S1002の処理は、図9のS916の処理に相当する。移動操作の完了操作は、例えば、第1シャッタースイッチ62の押下により、移動完了とともにAFを実行する操作でもよいし、押し込み操作を検知可能なタッチ操作部材への押し込み操作などでもよい。完了操作がされた場合はS1009へ進み、そうでない場合はS1003へ進む。
S1003で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS1004へ進み、そうでない場合はS1001へ進む。
S1004で、システム制御部50は、記憶した視線位置から、S1001で移動したタッチポインタ406の現在の位置までの最短距離(ΔP2)が、第1の閾値(Th1)よりも大きく、第2の閾値(Th2)よりも小さいか否かを判定する。Th1<ΔP2<Th2の場合はS1005へ進み、そうでない場合はS1008へ進む。なお、一点AF枠に基づくΔP1と、タッチポインタに戻づくΔP2とで、算出方法を異ならせてもよい。例えば、ΔP1は一点AF枠の中心位置を基準に算出するのに対して、ΔP2は視線確定ボタン82の押下に応じて追尾された被写体の所定の位置(顔の中心や重心など)としてもよい。
S1005で、システム制御部50は、コンティニュアスAFが有効であるか否かを判定する。コンティニュアスAFが有効である場合はS1008へ進み、そうでない場合はS1006へ進む。常時AFを行うようなAF動作で撮影するシーンでは、被写体が動体であるケースが多い。その場合には、視線によって被写体付近にAF枠を移動させた後のタッチムーブ(AF枠の移動操作)は、視線の精度によるものではなく、単純にEVF(または表示部)上に表示される被写体の相対位置の変化に対してAF枠を追従させるための操作とみなせる。このため、S906およびS1005にて、コンティニュアスAFであれば視線反映フラグを1に設定しない、つまりCAL補正を行わないとしている。なお
、この限りではなく、一点AFの場合はコンティニュアスAFが有効であってもCAL補正を行うようにする、などとしてもよい。
S1006で、システム制御部50は、その他の条件を満たすか否かを判定する。その他の条件を満たす場合はS1007へ進み、そうでない場合はS1008へ進む。その他の条件は、例えば、下記の複数の条件の少なくともいずれかを含む。
・EVF(または表示部)上に表示される被写体の相対位置の変化量が、閾値以下である(ある程度静止している被写体であれば、ユーザがタッチポイン406の位置を微調整したとみなせるため)
・人物被写体の器官(瞳など)を検出している(人物の瞳を検出して撮影するシーンは、静止被写体が多いとみなせるため)
・人物以外の被写体を検出していない(人物被写体以外、つまり動物や乗物などは、動体であることが多いため)
S1007で、システム制御部50は、視線反映フラグを1に設定する。
S1008で、システム制御部50は、被写体確定タイマーのカウントをスタートする。被写体確定タイマーとは、ユーザがタッチアップを行った後、一定時間経過してから被写体追尾処理を実行するためのタイマーである。
S1009で、システム制御部50は、Th1<ΔP2<Th2を満たすか否かを判定する。満たす場合はS1026へ進み、そうでない場合はS1010へ進む。
S1010で、システム制御部50は、S1002での操作に応じた、移動完了処理を行う。例えばS1002での操作が第1シャッターボタン62への操作であった場合は、タッチポインタ406の付近の被写体を追尾するとともに、AFを実行する。これによって、例えば図4(e)から図4(h)のように表示が遷移する。
S1011で、システム制御部50は、タッチパネル70aに対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はS1014へ進み、そうでない場合はS1012へ進む。
S1012で、システム制御部50は、被写体確定タイマーのカウントが満了したか否かを判定する。満了していた場合はS1013へ進み、そうでない場合はS1021へ進む。
S1013で、システム制御部50は、視線反映フラグを0に設定する。
S1014で、システム制御部50は、タッチパネル70aに対するタッチムーブがあったか否かを判定する。タッチムーブがあった場合はS1017へ進み、そうでない場合はS1015へ進む。
S1015で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS1016へ進み、そうでない場合はS1014へ進む。
S1016で、システム制御部50は、S1015のタッチアップまでの操作がダブルタップであったか否かを判定する。ダブルタップであった場合はS1025へ進み、そうでな場合はS1021へ進む。
S1017で、システム制御部50は、視線反映フラグを0に設定する。
S1018は、S1001と同様である。
S1019は、S1002と同様である。タッチポインタ406の移動操作の完了操作がされた場合はS1010へ進み、そうでない場合はS1020へ進む。
S1020で、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS1008へ進み、そうでない場合はS1018へ進む。
S1021は、S1002と同様である。タッチポインタ406の移動操作の完了操作がされた場合はS1025へ進み、そうでない場合はS1022へ進む。
S1022は、S917と同様である。その他の操作が行われた場合はS1023へ進み、そうでない場合はS1011へ進む。
S1023で、システム制御部50は、視線反映フラグを0に設定する。
S1024は、S919と同様である。
S1025で、システム制御部50は、視線反映フラグが1に設定されているか否かを判定する。視線反映フラグ=1の場合はS1026へ進み、そうでない場合はS1010へ進む。
S1026で、システム制御部50は、ΔP2に基づくCAL補正を実施する。
なお、本発明の電子機器は、タッチパネルを搭載した電子機器に限るものではなく、操作体(指やペン)の移動を検知してインジケーター(選択位置)を移動させる装置であれば本発明を適用可能である。例えば、ノートPCのタッチパッドへタッチした指(操作体)によるスライド操作に応じて、ノートPCのディスプレイに表示されたポインティングカーソルや項目選択カーソルなどのインジケーターを相対的に移動させる場合にも本発明を適用可能である。タッチ操作に限るものではなく、部材を傾けて方向を指示するジョイスティックや、回転ダイヤルなどへの操作に応じてインジケーターを相対的に移動させる場合にも本発明を適用可能である。ウェアラブルデバイスなど少ない操作部材しか搭載できない機器にも本発明を適用可能である。さらに、空間ジェスチャーなどのユーザーの手(操作体)の動きなどを非接触で検知し、この動きに応じて例えばプロジェクタに表示されたインジケーターを移動させるものにも適用可能である。
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明を撮像装置(デジタルカメラ)に適用した場合を例にして説明したが、これはこの例に限定されず、視線入力や移動操作を受け付け
可能な電子機器であれば適用可能である。例えば、本発明は、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置(投影装置を含む)、タブレット端末、スマートフォン、AIスピーカー、家電装置や車載装置などに適用可能である。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ
160:視線検出部 70a:タッチパネル 50:システム制御部

Claims (23)

  1. ユーザの視線による位置入力である視線入力を受け付ける視線入力手段と、
    前記視線入力とは異なるユーザ操作を受け付ける操作手段と、
    前記視線入力に基づく第1の位置にインジケーターを表示した後、前記第1の位置から前記操作手段に対する移動操作に応じて前記インジケーターを第2の位置まで移動させ、
    その後、
    (1)さらなる移動操作が無いことを含む特定の条件を満たした状態で、(2)前記インジケーターの位置で決定するための特定の操作があれば、前記移動操作の前の前記インジケーターの位置と、前記特定の操作が行われた際の前記インジケーターの位置とに基づいて、視線に基づく入力位置のキャリブレーションを行い、
    前記特定の条件を満たさない状態となる、あるいは前記特定の操作がなければ、前記キャリブレーションを行わない
    ように制御する制御手段と、
    を有することを特徴とする電子機器。
  2. 前記特定の条件は、前記第1の位置と前記第2の位置の間の最短距離が第1の閾値よりも長いことを含む
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記特定の条件は、前記第1の位置と前記第2の位置の間の最短距離が第2の閾値よりも短いことを含む
    ことを特徴とする請求項1または2に記載の電子機器。
  4. 被写体を検出可能な検出手段をさらに有し、
    前記特定の条件は、前記検出手段により特定の被写体が検出されていることを含む
    ことを特徴とする請求項1〜3のいずれか1項に記載の電子機器。
  5. 前記特定の条件は、常時AFを行うモードが設定されていないことを含む
    ことを特徴とする請求項1〜4のいずれか1項に記載の電子機器。
  6. 前記特定の操作は特定のタッチ操作を含む
    ことを特徴とする請求項1〜5のいずれか1項に記載の電子機器。
  7. 前記特定のタッチ操作は、操作面へのタッチが行われ、タッチ位置を移動させずにタッチが離され、タッチが離されてから所定時間以内に再び前記操作面へのタッチが行われ、タッチ位置を移動させずにタッチが離される操作である
    ことを特徴とする請求項6に記載の電子機器。
  8. 前記特定の条件は、タッチ操作を検出可能な第1の表示部と、タッチ操作を検出しない第2の表示部とのうち、前記第2の表示部に前記インジケーターが表示されていることを含む
    ことを特徴とする請求項1〜7のいずれか1項に記載の電子機器。
  9. 前記特定の条件は、前記操作手段に対する位置入力における位置指定方式が相対位置指定方式であることを含む
    ことを特徴とする請求項1〜8のいずれか1項に記載の電子機器。
  10. 前記制御手段は、
    ユーザが指定した位置でAFを行うモードにおいては、前記移動操作の前の前記イン
    ジケーターの前記位置と、前記第2の位置とに基づいて、前記キャリブレーションを行い、
    ユーザが指定した位置に基づいて選択した被写体の位置でAFを行うモードにおいては、前記移動操作の前の前記インジケーターの前記位置と、前記第2の位置に基づいて選択した被写体の位置とに基づいて、前記キャリブレーションを行う
    ように制御する
    ことを特徴とする請求項1〜9のいずれか1項に記載の電子機器。
  11. 前記特定の条件は、前記操作手段に対して複数の位置入力がされていないことを含む
    ことを特徴とする請求項1〜10のいずれか1項に記載の電子機器。
  12. 前記制御手段は、前記操作手段に対して複数の位置入力がされている場合に、最新の位置入力を前記移動操作で指定された位置として扱う
    ことを特徴とする請求項1〜10のいずれか1項に記載の電子機器。
  13. 前記特定の操作は、前記操作手段への押し込み操作を含む
    ことを特徴とする請求項1〜12のいずれか1項に記載の電子機器。
  14. 前記特定の操作は、前記操作手段とは異なる部材への押し込み操作を含む
    ことを特徴とする請求項1〜13のいずれか1項に記載の電子機器。
  15. 前記制御手段は、前記移動操作による前記インジケーターの移動の縦方向の成分にのみ基づく前記キャリブレーションを行う
    ことを特徴とする請求項1〜14のいずれか1項に記載の電子機器。
  16. 前記制御手段は、さらに、前記キャリブレーションを行う際に、前記キャリブレーションを行うか否かのガイドを表示するように制御する
    ことを特徴とする請求項1〜15のいずれか1項に記載の電子機器。
  17. 前記制御手段は、撮影に関する操作が行われていないタイミングで前記ガイドを表示するように制御する
    ことを特徴とする請求項16に記載の電子機器。
  18. 前記キャリブレーションを実行するか否かをユーザ操作に応じて設定する設定をさらに有する
    ことを特徴とする請求項1〜17のいずれか1項に記載の電子機器。
  19. 前記制御手段は、さらに、前記キャリブレーションが所定回数以上行われていない場合に前記キャリブレーションが未実行であることの表示をメニュー画面で行い、前記キャリブレーションが所定回数以上行われている場合に当該表示を行わないように制御する
    ことを特徴とする請求項1〜18のいずれか1項に記載の電子機器。
  20. 前記移動操作は、操作体が操作面へタッチした状態で移動する操作である
    ことを特徴とする請求項1〜19のいずれか1項に記載の電子機器。
  21. ユーザの視線による位置入力である視線入力を受け付ける視線入力ステップと、
    前記視線入力とは異なるユーザ操作を受け付ける操作ステップと、
    前記視線入力に基づく第1の位置にインジケーターを表示した後、前記第1の位置から前記操作ステップで受け付けた移動操作に応じて前記インジケーターを第2の位置まで移動させ、
    その後、
    (1)さらなる移動操作が無いことを含む特定の条件を満たした状態で、(2)前記インジケーターの位置で決定するための特定の操作があれば、前記移動操作の前の前記インジケーターの位置と、前記特定の操作が行われた際の前記インジケーターの位置とに基づいて、視線に基づく入力位置のキャリブレーションを行い、
    前記特定の条件を満たさない状態となる、あるいは前記特定の操作がなければ、前記キャリブレーションを行わない
    ように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  22. コンピュータを、請求項1〜20のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
  23. コンピュータを、請求項1〜20のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2020091237A 2020-05-26 2020-05-26 電子機器 Pending JP2021189211A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020091237A JP2021189211A (ja) 2020-05-26 2020-05-26 電子機器
US17/327,404 US11538191B2 (en) 2020-05-26 2021-05-21 Electronic apparatus using calibration of a line of sight input, control method of electronic apparatus using calibration of a line of sight input, and non-transitory computer readable medium thereof
CN202110578591.0A CN113726992A (zh) 2020-05-26 2021-05-26 电子设备、电子设备的控制方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020091237A JP2021189211A (ja) 2020-05-26 2020-05-26 電子機器

Publications (1)

Publication Number Publication Date
JP2021189211A true JP2021189211A (ja) 2021-12-13

Family

ID=78672791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020091237A Pending JP2021189211A (ja) 2020-05-26 2020-05-26 電子機器

Country Status (3)

Country Link
US (1) US11538191B2 (ja)
JP (1) JP2021189211A (ja)
CN (1) CN113726992A (ja)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259785B2 (en) * 2003-04-28 2007-08-21 Hewlett-Packard Development Company, L.P. Digital imaging method and apparatus using eye-tracking control
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7529772B2 (en) * 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
US8497928B2 (en) * 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
JP5448198B2 (ja) * 2007-12-21 2014-03-19 サイファイ メドテック エッセ.エッレ.エッレ. 眼の3次元解析用デュアルシャインプルーフシステム
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011153358A2 (en) * 2010-06-02 2011-12-08 Futurity Ventures LLC Teleprompting system and method
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8917913B2 (en) * 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
US20130155309A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US9639987B2 (en) * 2013-06-27 2017-05-02 Canon Information And Imaging Solutions, Inc. Devices, systems, and methods for generating proxy models for an enhanced scene
US20150302585A1 (en) 2014-04-22 2015-10-22 Lenovo (Singapore) Pte. Ltd. Automatic gaze calibration
EP3140716B1 (en) * 2014-05-08 2020-04-01 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
US10911656B2 (en) * 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays

Also Published As

Publication number Publication date
US20210375002A1 (en) 2021-12-02
US11538191B2 (en) 2022-12-27
CN113726992A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
JP7410629B2 (ja) 撮像装置およびその制御方法
US11233941B2 (en) Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium
CN112104809B (zh) 电子装置、电子装置的控制方法及存储介质
WO2020255675A1 (ja) 電子機器およびその制御方法
US20220321770A1 (en) Electronic device, control method for electronic device, and non-transitory computer readable storage medium
JP7433860B2 (ja) 電子機器及び電子機器の制御方法
JP7433810B2 (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US11435648B2 (en) Image capture apparatus and control method
EP3876517A1 (en) Electronic device, control method, program, and computer readable medium
US20230018866A1 (en) Electronic device that displays a plurality of display items on a display and method for controlling electronic device
US11442244B2 (en) Imaging device
JP2021189211A (ja) 電子機器
JP2021022897A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021108447A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
WO2022131252A1 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP7451255B2 (ja) 電子機器及びその制御方法
JP7450408B2 (ja) 電子機器、その制御方法、プログラム及び記憶媒体
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2024064713A (ja) 電子機器およびその制御方法
JP2021018634A (ja) 電子機器およびその制御方法
JP2021082188A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240425