JP2020194103A - 電子機器、電子機器の制御方法、プログラム、記憶媒体 - Google Patents

電子機器、電子機器の制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2020194103A
JP2020194103A JP2019100195A JP2019100195A JP2020194103A JP 2020194103 A JP2020194103 A JP 2020194103A JP 2019100195 A JP2019100195 A JP 2019100195A JP 2019100195 A JP2019100195 A JP 2019100195A JP 2020194103 A JP2020194103 A JP 2020194103A
Authority
JP
Japan
Prior art keywords
gaze
line
display
period
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019100195A
Other languages
English (en)
Other versions
JP7341729B2 (ja
Inventor
昌悟 藤原
Shogo Fujiwara
昌悟 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019100195A priority Critical patent/JP7341729B2/ja
Priority to US16/882,708 priority patent/US11240419B2/en
Priority to CN202010469872.8A priority patent/CN112015266A/zh
Publication of JP2020194103A publication Critical patent/JP2020194103A/ja
Application granted granted Critical
Publication of JP7341729B2 publication Critical patent/JP7341729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable

Abstract

【課題】より適切なタイミングで、ユーザーの視線による機能を実行可能な電子機器を提供する。【解決手段】電子機器は、ユーザーの視線位置を検出する視線検出手段と、第1の動作モードにおいては、前記視線検出手段で、注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第1の機能を実行し、第2の動作モードにおいては、前記視線検出手段で、注視が前記第1の期間よりも長い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第2の機能を実行するように制御する制御手段とを有する。【選択図】図3

Description

本発明は、電子機器、電子機器の制御方法、プログラム、記憶媒体に関するものである。
従来、ユーザーの視線方向を検出することによって、ファインダー視野内におけるユーザーが観察している領域(位置)を検出して、自動焦点調節や自動露出等の各種の撮影機能を制御するようにするカメラなどの電子機器が提案されている。
特許文献1では、ユーザーの視線がある領域に固定されている期間が所定の閾値を超えた場合に、その領域を注視していると判断し、当該注視に応じた機能を行う表示装置の技術が開示されている。
特開2009−251658号公報
しかしながら、特許文献1に係る技術では、注視していると判定するまでの期間(以下、注視判定期間)が常に一定である。そのため、注視判定期間が長すぎると、視線入力から注視判定までのタイムラグにより、使用者が意図したタイミングで電子機器の機能が実行されない可能性がある。一方、注視判定期間が短すぎると、使用者が意図する前に、電子機器の機能が実行されてしまう可能性がある。
そこで、本発明は、より適切なタイミングで、ユーザーの視線による機能を実行可能な電子機器を提供することを目的とする。
本発明の1つの態様は、
ユーザーの視線位置を検出する視線検出手段と、
第1の動作モードにおいては、前記視線検出手段で、注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第1の機能を実行し、
第2の動作モードにおいては、前記視線検出手段で、注視が前記第1の期間よりも長い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第2の機能を実行するように制御する制御手段と
を有することを特徴とする電子機器である。
本発明によれば、より適切なタイミングで、ユーザーの視線による機能を実行可能な電子機器を提供することが可能である。
実施形態1に係るデジタルカメラの外観図である。 実施形態1に係るデジタルカメラのブロック図である。 実施形態1に係る視線による機能実行の処理を示すフローチャートである。 実施形態に係るMENUモードの表示を説明する図である。 実施形態2に係る視線による機能実行の処理を示すフローチャートである。 実施形態3に係る視線による機能実行の処理を示すフローチャートである。 実施形態3に係る識別表示を示す図である。 実施形態3に係る識別表示を示す図である。 実施形態3に係る識別表示を示す図である。
[実施形態1]
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。図1(a),1(b)に、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させるたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75とを用いて直感的に各種設定を行うことができる。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF29(後述
)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザー(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。サムレスト部91(親指待機位置)は、デジタルカメラ100の背面側の、どの操作部材も操作しない状態でグリップ部90を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部91は、保持力(グリップ感)を高めるためのラバー部材などで構成される。
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより,TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に
書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
視線検出部160は、接眼部16におけるユーザーの視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。なお、視線の検出に応じて、システム制御部50が所定の処理を実行することも可能であるため、視線検出部160は、操作部70の一部であるともいえる。
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の動きからユーザーの視線位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。
視線入力設定部167は、視線検出回路165(視線検出部160)による視線検出の有効または無効を設定する。または、視線入力設定部167は、システム制御部50の視線入力による処理の有効または無効を設定する。例えば、このような有効/無効の設定は、メニュー設定にて、操作部70に対する操作によってユーザーが任意に設定できる。
注視判定部170は、視線検出回路165から受け取った検出情報に基づいて、ユーザーの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域)であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。なお、所定の閾値は、システム制御部50により任意に変更可能である。また、注視判定部170を独立したブロックとして設けず、システム制御部50が視線検出回路165から受け取った検出情報に基づいて注視判定部170と同じ機能を実行するようにしてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash−ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー17(以後、単に「ファインダー」と記載する)の接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダー17の接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)か
ら投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は、注視判定部170または接眼検知部57を制御することによって、接眼部16への以下の操作、あるいは状態を検出できる。
・接眼部16へ向けられていなかった視線が新たに接眼部16へ向けられたこと。すなわち、視線入力の開始。
・接眼部16へ視線入力している状態であること。
・接眼部16へ注視している状態であること。
・接眼部16へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部16へ何も視線入力していない状態。
これらの操作・状態や、接眼部16に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいて接眼部16上にどのような操作(視線操作)が行なわれたかを判定する。
操作部70は、ユーザーからの操作(ユーザー操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラ
ッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch−On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対
する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
<視線による機能実行処理>
本実施形態に係るデジタルカメラ100は、ユーザーによるEVF29に対する注視(ユーザーの視線)に応じて、様々な機能を実行することが可能である。また、デジタルカメラ100は、EVF29の表示モードに応じて機能を実行するための注視の期間を変更することによって、ユーザーのとって好適なタイミングでの視線による機能の開始を実現する。以下では、デジタルカメラ100の視線による機能の実行までの処理について、図3が示すフローチャートを用いて説明する。
図3のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。図3のフローチャートは、デジタルカメラ100が起動し、システム制御部50が制御する視線検出回路165によって視線入力有りと判定されると開始される。なお、当該フローチャートの開始時点において、EVF29に表示されている一部の領域にユーザーの視線位置が継続して固定されている期間を示す注視期間Tは0である。システム制御部50は、本フローチャートの処理が行われている間には、注視期間Tを継続して計測(インクリメント)する。
また、本実施形態では、表示部28およびEVF29は複数の表示モード(動作モード)を有する。例えば、表示モードは、LV表示を行いながら撮像部22を用いて撮影を行うための撮影モード、記録された画像の再生を行うための再生モード、デジタルカメラ100の各種設定を行うためのMENUモード(設定モード)などである。なお、操作部70への操作により、いずれの表示モードへもユーザーが任意に切り替える指示(切替指示)を行うことが可能である。また、表示モードの切替指示は優先順位が高く、本フローチャートの中のいずれの処理を行っていても表示モードの切替指示を検知した場合は、システム制御部50は、一旦処理を中断し、表示モードを変更する。
S301では、システム制御部50は、EVF29の表示モードが撮影モードであるか否かを判定する。表示モードが撮影モードであれば、S302に遷移し、そうでない場合はS303に遷移する。
S302では、システム制御部50は、注視判定期間THを期間THaに設定する。ここで、注視判定期間THは、ユーザーの視線による機能の実行を行うか否かを判定するための閾値である。
S303では、システム制御部50は、期間THaよりも長い期間である期間THbに、注視判定期間THを設定する。
S304では、システム制御部50は、注視判定部170を制御して、視線検出回路165から受け取った検出情報に基づいて、ユーザーの視線位置に変化があるか否かを判定する。なお、視線位置の変化の判定は厳密である必要はなく、例えば、システム制御部50は、前回と今回とにおいて、ユーザーの視線位置に存在する選択肢(コンテンツ)が変化しなければ、視線位置は変化していないと判定してもよい。例えば、図4(a)が示す画面において、ユーザーの視線位置が選択肢501の内部の領域410から、領域411に変化していても、視線位置は変化していないと判定できる。また、この判定は、短い期間における視線位置の動きの分散(バラツキ)などに応じて行われてもよい。つまり、短い期間における視線位置の平均位置が所定の範囲内であり、かつ、その分散が閾値以内で
あれば、視線位置は変化していないと判定されてもよい。視線位置が変化していないと判定される場合には、S306に遷移して、そうでない場合にはS305に遷移する。
S305では、システム制御部50は、注視期間Tをリセット(0に)する。
S306では、システム制御部50は、注視判定部170を制御して、注視判定期間THよりも長く注視がされたか否か、つまり、注視があったことに対応する視線位置の条件が満たされた状態が継続されたか否かを判定する。より詳細には、システム制御部50は、注視判定期間THより注視期間Tが大きいという条件を満たしていれば、注視判定期間THより長く注視がされたと判定する。注視判定期間THよりも長く注視されている場合には、S305へ遷移し、そうでない場合はS304に遷移する。
従って、本実施形態では、S306において、表示モードが撮影モードであれば、期間THaよりも長い期間、注視されていたか否かが判定される。一方、表示モードが撮影モードでなければ、期間THbよりも長い期間、注視されていたか否かが判定される。
S307では、システム制御部50は、当該注視が行われた注視位置に表示されている情報に応じてデジタルカメラ100の機能の実行を行う。例えば、表示モードが撮影モードであった場合には、システム制御部50は、期間THaよりも長く注視が行われると、注視位置に対してAF動作の機能を行う。つまり、システム制御部50は、注視位置(注視位置に対応する焦点検出位置)でのオートフォーカスの実行を行う。なお、システム制御部50は、オートフォーカスの実行に限らず、例えば、視点位置の明るさに応じた絞り値やシャッタースピードの決定(自動露出の実行)や拡大・縮小の実行をしてもよい。また、システム制御部50は、必ずしも、視線位置に対する機能を実行する必要はなく、例えば、オートフォーカスや自動露出の有効/無効の決定をしてもよい。
一方、表示モードがMENUモードであった場合には、システム制御部50は、期間THbよりも長く注視が行われると、表示された複数の表示アイテム(選択肢)のうち注視位置(注視位置に対応する位置)に表示された表示アイテムに対応する機能を行う。より詳細には、システム制御部50は、例えば、表示された複数の表示アイテムのうち注視位置に表示された表示アイテムの下位階層を表示する機能を実行する。表示された複数の表示アイテムが最下位階層の表示アイテムであれば、注視位置に表示された最下位階層の表示アイテムが示す機能を実行する。例えば、注視位置に表示された最下位階層の表示アイテムが図4(b)の選択肢407であれば、カードなしレリーズを「する(Yes)」に設定して不揮発性メモリ56に記録する。なお、カードなしレリーズとは、記録媒体200が装着されていなくても、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像をレビュー画像として表示部28またはEVF29に表示するまでの処理である。注視位置に表示された最下位階層の表示アイテムが図4(b)の選択肢408であれば、カードなしレリーズを「しない(No)」に設定して不揮発性メモリ56に記録する。なお、システム制御部50は、このような機能に限らず、他の任意の機能を行ってもよい。なお、注視位置に表示された表示アイテムとは、注視位置の少なくとも一部を表示されている範囲に含む表示アイテムである。
従って、システム制御部50は、注視判定期間THより長く注視が行われなければ、視線(注視)の検出結果(視線検出結果)に応じた機能は実行しない。なお、注視判定期間THより長く注視が行われていない場合にも、視線以外による操作、例えば、押しボタン(例えばSETボタン75)のユーザーによる押下に応じて、システム制御部50は、同様の機能(その時点での視線位置にある表示アイテムに対応する機能)を実行してもよい。
なお、本実施形態において、撮影モードの場合には、他の表示モードよりも注視判定期間THを短くしているのは、撮影モードは主に測距点選択などに用いられるため、ユーザーは、所望しない位置が選択されても、再度選びなおせばよいからである。このため、ユーザーが所望する機能が確実に実行されることよりも、機能の実行のリアルタイム性を優先している。撮影モードにおいては、被写体の状況がリアルタイムに変化するため、機能の実行タイミングがユーザーの意思より遅れると、撮影機会(シャッターチャンス)の損失につながってしまう可能性がある。これを防止するために、即時性の高さを優先している。
一方、MENUモードなどでは、誤った選択肢が選択されると表示が下の階層に移動してしまい、ユーザーが意図しない動作に対してキャンセル操作が必要であるので、確実に入力させるために注視判定期間THを長くしている。また、LV画像を表示していない場面であるため、ユーザーが即時撮影を行おうと構えている状態ではなく、撮影モードほどの即時性は要求されない。つまり、MENUモードなどでは、ユーザーの意図しない動作をデジタルカメラ100がするリスクの軽減を優先している。
なお、表示モードは、撮影モードとMENUモードと再生モード以外のモードを有していてもよく、例えば、編集モードなどを有していてもよい。この編集モードでは、撮影済みの画像(記録媒体200に記録された画像)がEVF29に再生表示され、システム制御部50は、例えば、注視があった場合に、ユーザーの視線位置が中心に位置するように画像の位置を変更する。従って、編集モードの場合にも、ユーザーは、所望しない位置に中心が変更されても、再度注視しなおせばよい。このため、システム制御部50は、表示モードが編集モードであれば、撮影モードの場合と同様に、MENUモードまたは再生モードの場合よりも注視判定期間THを短くするとよい。
以上のように、実施形態1によれば、デジタルカメラ100は、機能が実行されるまでの注視期間を表示モードに応じて制御する。これにより、ユーザーが意図したタイミングでの、視線による機能の実行を可能にする。
[実施形態2]
以下、実施形態2では、実施形態1にて示した処理に加えて、EVF29に表示される選択可能な選択肢の数に応じて、注視判定期間を制御するデジタルカメラ100について説明する。なお、本実施形態に係るデジタルカメラ100は、実施形態1と同様に、図1、図2が示す構成を有する。
ここで、ユーザーが選択可能な選択肢について図4(a)、図4(b)を用いて説明する。図4(a)、図4(b)は、MENUモードにおけるEVF29の画面を示している。
図4(a)は、選択可能な選択肢の数が6個である場合を示しており、選択肢401〜406のいずれかを注視することによって、ユーザーは、注視した選択肢に対応する機能をデジタルカメラ100に実行させることができる。
図4(b)は、選択可能な選択肢の数が2個である場合を示しており、選択肢407,408のいずれかを注視することによって、ユーザーは、注視した選択肢に対応する機能をデジタルカメラ100に実行させることができる。
<視線による機能実行処理>
図5は、本実施形態に係るデジタルカメラ100が行う、視線による機能実行処理を示すフローチャートである。図5のフローチャートにおける各処理は、システム制御部50
が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。なお、S301〜S307は、図3のフローチャートと同一のステップであるため、同一の記号で示しており詳細な説明は省略する。図5のフローチャートは、デジタルカメラ100が起動し、システム制御部50が制御する視線検出回路165によって視線入力有りと判定されると開始される。
本実施形態では、S303の処理が行われると、S501に遷移する。
S501では、システム制御部50は、EVF29に表示される選択肢の数が所定値より大きいか否かを判定する。選択肢の数が所定値より大きい場合には、S304へ遷移し、そうでない場合には、S502へ遷移する。
例えば、所定値が4個であると仮定する。すると、システム制御部50は、図4(a)に示す場合には、選択肢の数が6個であるため、所定値より大きいと判定する。一方、図4(b)の場合には、システム制御部50は、選択肢の数が2個であるため、所定値以下であると判定する。
S502では、システム制御部50は、期間THbよりも短い期間THcに注視判定期間THを設定する。これは、画面に表示されている選択肢が少なければ、ユーザーの視線の判定によって誤った選択肢が選択される可能性が低いためである。なお、期間THaと期間THcとの期間の大小関係に限定はないが、例えば、システム制御部50は、期間THaを200ms、期間THbを1000ms、期間THcを500msに設定することが考えられる。つまり、THa<THc<THbの関係であることが考えられる。なお、期間THa,THb,THcの値はこの限りではなく、これ以外の値でもよい。
期間THaは、主に、被写体に対してAF制御の機能を行うまでの判定期間であり、実施形態1で説明した理由で、比較的短い期間に設定することが好ましい。
期間THb、期間THcは、主に、MENUモードなどにおけるアイコンの選択の機能を行うまでの期間である。ここで、当該選択においてユーザーが意図しない選択がされると、例えば、下位の階層に移動することが考えられるため、機能を実行し直す(上位の階層に戻る)には、キャンセル操作が必要である。また、LV画像を表示していない場面であるため、ユーザーが即時撮影を行おうと構えている状態ではなく、撮影モードほどの即時性は要求されない。そのため、ユーザーが意図しない選択がされるリスクをなるべく少なくするように、ユーザーが確実に選択できる期間に、注視判定期間が設定されることが好ましい。とはいえ、注視判定期間が長すぎると、ユーザーに操作応答性が悪いと感じさせてしまい、操作性の低下につながる。したがって、ユーザーが確実に選択できる範囲で、長すぎない注視判定期間が設定されることが好ましい。したがって本実施形態では、表示されている選択肢が少ない画面では視線による位置入力によって誤った選択肢が選択される可能性が低いことに鑑み、期間THbよりも短い期間THcに注視判定期間THを設定している。
なお、注視判定期間THが期間THbに設定される場合と、注視判定期間THが期間THcに設定される場合とでは、注視に対応した機能をシステム制御部50が実行するまでの期間が異なるため、異なる表示モード(動作モード)であるといえる。つまり、注視判定期間THが期間THcに設定される場合には、選択可能な選択肢をある数表示した表示モードであり、注視判定期間THが期間THbに設定される場合には、選択可能な選択肢を当該ある数よりも多い数表示した表示モードであるといえる。
なお、本実施形態では、システム制御部50は、選択可能な選択肢の数に応じて2種類の期間の注視判定期間THを設定したが、2種類に限らず3種類やそれ以上であってもよ
く、選択可能な選択肢の数が多いほど注視判定期間THが長ければよい。
なお、本実施形態では、システム制御部50は、選択可能な選択肢の数によって注視判定期間THを変更したが、例えば、表示された選択肢の間隔(同一画面上における複数の選択肢の互いの距離)によって注視判定期間THを変更してもよい。具体的には、システム制御部50は、選択肢の間隔が所定値より小さければ注視判定期間THを期間THbに設定し、それ以外の場合には、注視判定期間THを期間THcに設定する。これは、選択肢の間隔が小さければ、視線位置に対応する選択肢として誤った選択肢をシステム制御部50が検出してしまう可能性が高いからである。
さらには、システム制御部50は、選択肢1つあたりの文字数に応じて注視判定期間THを変更してもよい。例えば、システム制御部50は、選択肢1つあたりの文字数が所定値より多ければ注視判定期間THを期間THbに設定し、それ以外の場合には、注視判定期間THを期間THcに設定する。これは、選択肢1つあたりの文字数が多ければ、ユーザーが選択肢の内容の理解に時間を要してしまい、選択するためではなく理解のために選択肢を見る時間がかかると推測されるからである。
以上のように、実施形態2に係るデジタルカメラ100は、EVF29に表示されるユーザーが選択可能な選択肢の数に応じて注視判定期間を制御する。これにより、ユーザーが意図したタイミングでの視線に応じた機能の実行がしやすく、ユーザーが意図しない動作をするリスクを軽減することができる。
[実施形態3]
実施形態3として、実施形態2に係る注視に応じた処理を行う前に、注視している位置に対応する領域をユーザーに対して明示する処理を行うデジタルカメラ100について、図6に示すフローチャートを用いて説明する。なお、本実施形態に係るデジタルカメラ100は、実施形態1と同様に、図1、図2が示す構成を有する。
図6のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。なお、図5に示すフローチャートと同一のステップ(工程)に関しては、同一の記号で示し、その詳細な説明は省略する。図6のフローチャートは、デジタルカメラ100が起動し、システム制御部50が制御する視線検出回路165によって視線入力有りと判定されると開始される。
S301では、実施形態1と同様に、システム制御部50は、EVF29の表示モードが撮影モードであるか否かを判定する。表示モードが撮影モードであれば、S601へ遷移し、そうでない場合はS602へ遷移する。
S601では、システム制御部50は、注視判定期間THを期間THaに設定する。さらに、システム制御部50は、表示判定期間TH’を、期間THaよりも短い期間THa’に設定する。ここで、表示判定期間TH’は、ユーザーの視点位置が固定されている位置(注視位置)を示す識別表示を行うか否かを判定するための閾値である。
S602では、システム制御部50は、注視判定期間THを期間THbに設定する。さらに、システム制御部50は、表示判定期間TH’を、期間THbよりも短い期間THb’に設定する。
S501では、実施形態2と同様に、システム制御部50は、EVF29に表示される選択肢の数が所定値より大きいか否かを判定する。選択肢の数が所定値より大きい場合に
は、S304へ遷移し、そうでない場合には、S603へ遷移する。
S603では、システム制御部50は、注視判定期間THを、期間THcに設定する。さらに、システム制御部50は、表示判定期間TH’を、期間THcよりも短い期間THc’に設定する。
なお、例えば、期間THa,THb’,THc’の大小関係、期間THb,THa’,THc’の大小関係、および期間THa’,THb’,THc’の大小関係に特に限定はない。例えば、期間THa’,THb’,THc’をいずれも100msに設定することが考えられる。期間THa’,THb’,THc’はいずれも、ユーザーの注視位置を示す識別表示をEVF29に表示するまでの期間であり、視線に応じた機能の実行を決定するものではない。そのため、ユーザーが直感的に視線の動きを認識できるように比較的短い期間であり、かつ、撮影モードとそれ以外のモードで期間が変わらないことが好ましい。ただし、期間THa’,THb’,THc’の値はこの限りではなく、これ以外の値でもよい。
S304では、システム制御部50は、実施形態1と同様に、視線位置が変化したか否かを判定する。視線位置の変化があった場合には、S604に遷移して、そうでない場合には、S605に遷移する。
S604では、システム制御部50は、注視期間Tをリセットする。このとき、システム制御部50は、EVF29に注視位置を示す識別表示がされている場合には、当該識別表示を非表示に(終了)する。
S605では、システム制御部50は、注視期間Tが、表示判定期間TH’よりも大きいか否かを判定する。注視期間Tが表示判定期間TH’よりも大きい場合には、S606に遷移して、そうでない場合には、S304に遷移する。
S606では、システム制御部50は、EVF29に対して注視位置を示す識別表示を行う。なお、システム制御部50は、既に、EVF29に注視位置を示す識別表示がされている場合には、当該表示を継続する。また、注視位置を示す識別表示の詳細については、後述する。
S306では、実施形態1と同様に、システム制御部50は、注視期間Tが、注視判定期間THよりも大きいか否かを判定する。注視期間Tが、注視判定期間THよりも大きい場合には、S307に遷移して、そうでない場合には、S304に遷移する。
S307では、実施形態1と同様に、システム制御部50は、注視位置に応じて、デジタルカメラ100の機能の実行をする。
(注視位置を示す識別表示)
ここで、EVF29における注視位置を示す識別表示について、図7(a)〜図9(b)を用いて詳細に説明する。
図7(a)、図7(b)は、EVF29の表示モードが撮影モードの場合の表示例であり、図7(a)では、破線によって示された視線位置702aをユーザーは見ており、図7(b)では、破線によって示された視線位置702bをユーザーは見ている。
図7(a)は、人物の顔に対する注視期間Tが、期間THa’経過した場合を示している(S301YES、かつ、S605YES)。この場合には、S606にて、システム
制御部50は、EVF29に対して、太枠によって示された注視位置を示す識別表示である表示アイコン701を表示する。
一方、図7(b)は、図7(a)に示す表示の後であり、人物の顔に対する注視期間Tが、期間THa経過する前に別の人物に視線が動いた場合を示している(S304YES)。この場合には、S604にて、システム制御部50は、図7(a)における表示アイコン701を非表示にする。つまり、注視期間Tが、表示判定期間TH’より大きいことに応じて識別表示がされた場合であっても、注視期間Tが注視判定期間THを超える前に、視線位置が変化してしまうと、システム制御部50は、識別表示を非表示にする。
図8(a)、図8(b)は、EVF29の表示モードがMENUモードであり、EVF29に表示される選択可能な選択肢801〜806の数が、所定値よりも大きい場合(S301NO、かつ、S501YES)の表示例を示している。図8(a)では、破線によって示された視線位置807aをユーザーは見ており、図8(b)では、破線によって示された視線位置807bをユーザーは見ている。
図8(a)は、選択肢802に対する注視期間Tが、期間THb’経過した場合を示している(S605YES)。この場合には、S606にて、システム制御部50は、選択肢802を強調して表示することによって、注視位置を示す識別表示をする。
図8(b)は、図8(a)に示す表示の後であり、選択肢802に対する注視期間Tが、期間THb経過する前に、別の選択肢805に視線が動いた場合を示している(S304YES)。この場合には、S604にて、システム制御部50は、選択肢802の強調表示を解除することによって、注視位置を示す識別表示を非表示にする。
図9(a)、図9(b)は、EVF29の表示モードがMENUモードであり、EVF29に表示される選択可能な選択肢901,902の数が所定値以下の場合(S301NO、かつ、S501NO)の表示例を示している。図9(a)では、破線によって示された視線位置903aをユーザーは見ており、図9(b)では、破線によって示された視線位置903bをユーザーは見ている。
図9(a)は、選択肢901に対する注視期間Tが、期間THc’経過した場合を示している(S605YES)。この場合には、S606にて、システム制御部は、選択肢901を強調して表示することによって、注視位置を示す識別表示をする。
図9(b)は、図9(a)に示す表示の後であり、選択肢901に対する注視期間Tが、期間THc経過する前に、別の選択肢902に視線が動いた場合を示している(S304YES)。この場合には、S604にて、システム制御部50は、選択肢901の強調表示を解除することによって、注視位置を示す識別表示を非表示にする。
以上のように、実施形態3によれば、注視判定による視線に応じた機能の実行の決定を行う前に、注視位置を示す識別表示をする制御を行う。これにより、ユーザーは、視線位置をより直感的に認識できるため、ユーザーが意図した通りに視線に応じた機能の実行がしやすくなり、ユーザーが意図しない動作をするリスクをより軽減することができる。
なお、本実施形態に係る電子機器はデジタルカメラ100には限られない。例えば、電子機器は、PCモニターに対する視線位置を検出する視線検知手段を有するPCであってもよい。このようなPCであれば、例えば、PCは、モニタに表示している内容(表示モード;動作モード)に応じて、視線に応じた機能の実行までの期間を制御するとよい。なお、視線検出手段は、PCが内蔵していてもよいし、PCと外部から接続されるものであ
ってもよい。すなわち、ユーザーの視線による位置入力の対象は、ファインダー内の表示部に限られるものではない。
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、注視の位置に応じた機能を実行することができる電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
100:デジタルカメラ、50:システム制御部、160:視線検出部

Claims (19)

  1. ユーザーの視線位置を検出する視線検出手段と、
    第1の動作モードにおいては、前記視線検出手段で、注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第1の機能を実行し、
    第2の動作モードにおいては、前記視線検出手段で、注視が前記第1の期間よりも長い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第2の機能を実行するように制御する制御手段と
    を有することを特徴とする電子機器。
  2. 前記第1の動作モードは、撮像手段での撮影を行うための撮影モードである
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記第1の機能は、注視位置でのオートフォーカスの実行である
    ことを特徴とする請求項2に記載の電子機器。
  4. 前記第2の動作モードは、記録された画像の再生を行うための再生モード、当該電子機器の設定を行うための設定モードの少なくとも1つである
    ことを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。
  5. 前記第2の機能は、表示手段に表示された複数の表示アイテムのうち注視位置に表示された表示アイテムに対応する機能である
    ことを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  6. 前記第2の機能は、表示手段に表示された複数の表示アイテムのうち注視位置に表示された表示アイテムの下位階層を表示する機能である
    ことを特徴とする請求項5に記載の電子機器。
  7. 前記制御手段は更に、
    第3の動作モードにおいては、前記視線検出手段で、注視が前記第2の期間よりも長い第3の期間あったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第3の機能を実行するように制御する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
  8. 前記第2の動作モードは、選択可能な選択肢を第1の数、表示手段に表示した表示モードであり、
    前記第3の動作モードは、選択可能な選択肢を前記第1の数よりも多い第2の数、前記表示手段に表示した表示モードである
    ことを特徴とする請求項7に記載の電子機器。
  9. 前記第2の動作モードおよび前記第3の動作モードは、撮像手段による撮影を行うための撮影モードとは異なる動作モードであって、かつ、記録された画像の再生を行うための再生モード、当該電子機器の設定を行うための設定モードの少なくとも1つである
    ことを特徴とする請求項8に記載の電子機器。
  10. 前記第1の動作モードは、選択可能な選択肢を第1の数、表示手段に表示した表示モードであり、
    前記第2の動作モードは、選択可能な選択肢を前記第1の数よりも多い第2の数、前記表示手段に表示した表示モードである
    ことを特徴とする請求項1に記載の電子機器。
  11. 前記第1の機能及び前記第2の機能は、表示手段に表示された複数の表示アイテムのうち注視位置に表示された表示アイテムに対応する機能である
    ことを特徴とする請求項10に記載の電子機器。
  12. 前記第1の機能及び前記第2の機能は、表示手段に表示された複数の表示アイテムのうち注視位置に表示された表示アイテムの下位階層を表示する機能である
    ことを特徴とする請求項11に記載の電子機器。
  13. 前記第1の動作モードおよび前記第2の動作モードは、撮像手段による撮影を行うための撮影モードとは異なる動作モードであって、かつ、記録された画像の再生を行うための再生モード、当該電子機器の設定を行うための設定モードの少なくとも1つである
    ことを特徴とする請求項10乃至12のいずれか1項に記載の電子機器。
  14. 前記制御手段は、
    第1の動作モードにおいては、前記視線検出手段で、注視があったことに対応する視線位置の条件が満たされた状態の継続が前記第1の期間に達するまでは視線検出結果に応じた前記第1の機能の実行は行わず、
    第2の動作モードにおいては、前記視線検出手段で、注視があったことに対応する視線位置の条件が満たされた状態の継続が前記第2の期間に達するまでは視線検出結果に応じた前記第2の機能を実行しない、
    ように制御する
    ことを特徴とする請求項1乃至13のいずれか1項に記載の電子機器。
  15. 前記制御手段は、
    前記第1の動作モードにおいて、前記視線検出手段で、注視が前記第1の期間よりも短い第4の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、表示手段において注視位置に対応する領域を示す第1の識別表示を行い、前記第1の期間に達する前に当該条件を満たさなくなったことに応じて前記第1の識別表示を終了するように制御する
    ことを特徴とする請求項1乃至14のいずれか1項に記載の電子機器。
  16. 前記制御手段は、
    前記第2の動作モードにおいて、前記視線検出手段で、注視が前記第2の期間よりも短い第5の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、表示手段において注視位置に対応する領域を示す第2の識別表示を行い、前記第2の期間に達する前に当該条件を満たさなくなったことに応じて前記第2の識別表示を終了するように制御する
    ことを特徴とする請求項1乃至15のいずれか1項に記載の電子機器。
  17. ユーザーの視線位置を検出する視線検出手段を有する電子機器の制御方法であって、
    第1の動作モードにおいては、前記視線検出手段で、注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第1の機能を実行し、
    第2の動作モードにおいては、前記視線検出手段で、注視が前記第1の期間よりも長い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、注視があったことに対応する第2の機能を実行するように制御する制御工程
    を有することを特徴とする電子機器の制御方法。
  18. コンピュータを、請求項1乃至16のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  19. コンピュータを、請求項1乃至16のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2019100195A 2019-05-29 2019-05-29 電子機器、電子機器の制御方法、プログラム、記憶媒体 Active JP7341729B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019100195A JP7341729B2 (ja) 2019-05-29 2019-05-29 電子機器、電子機器の制御方法、プログラム、記憶媒体
US16/882,708 US11240419B2 (en) 2019-05-29 2020-05-25 Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
CN202010469872.8A CN112015266A (zh) 2019-05-29 2020-05-28 电子设备、电子设备的控制方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100195A JP7341729B2 (ja) 2019-05-29 2019-05-29 電子機器、電子機器の制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2020194103A true JP2020194103A (ja) 2020-12-03
JP7341729B2 JP7341729B2 (ja) 2023-09-11

Family

ID=73507109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100195A Active JP7341729B2 (ja) 2019-05-29 2019-05-29 電子機器、電子機器の制御方法、プログラム、記憶媒体

Country Status (3)

Country Link
US (1) US11240419B2 (ja)
JP (1) JP7341729B2 (ja)
CN (1) CN112015266A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362775A (zh) * 2021-06-24 2021-09-07 东莞市小精灵教育软件有限公司 一种显示屏控制方法、装置、电子设备及存储介质
WO2022209478A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06294925A (ja) * 1993-04-07 1994-10-21 Olympus Optical Co Ltd ズームレンズ付きカメラ
JPH07159861A (ja) * 1993-12-01 1995-06-23 Canon Inc 観察装置
JPH07218813A (ja) * 1994-01-31 1995-08-18 Nikon Corp 視線検出装置を有するカメラ
JPH0915483A (ja) * 1995-06-27 1997-01-17 Canon Inc 視線検出手段を有する機器
JP2014142882A (ja) * 2013-01-25 2014-08-07 Nikon Corp 視線入力装置
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
US20160227107A1 (en) * 2015-02-02 2016-08-04 Lenovo (Singapore) Pte. Ltd. Method and device for notification preview dismissal

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100450171C (zh) * 2004-11-08 2009-01-07 佳能株式会社 显示控制设备和显示控制方法
JP4884417B2 (ja) 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
CN104065880A (zh) * 2014-06-05 2014-09-24 惠州Tcl移动通信有限公司 一种基于眼球跟踪技术进行自动拍照的处理方法及系统
US10863079B2 (en) * 2017-07-13 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06294925A (ja) * 1993-04-07 1994-10-21 Olympus Optical Co Ltd ズームレンズ付きカメラ
JPH07159861A (ja) * 1993-12-01 1995-06-23 Canon Inc 観察装置
JPH07218813A (ja) * 1994-01-31 1995-08-18 Nikon Corp 視線検出装置を有するカメラ
JPH0915483A (ja) * 1995-06-27 1997-01-17 Canon Inc 視線検出手段を有する機器
JP2014142882A (ja) * 2013-01-25 2014-08-07 Nikon Corp 視線入力装置
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
US20160227107A1 (en) * 2015-02-02 2016-08-04 Lenovo (Singapore) Pte. Ltd. Method and device for notification preview dismissal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209478A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
CN113362775A (zh) * 2021-06-24 2021-09-07 东莞市小精灵教育软件有限公司 一种显示屏控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20200382693A1 (en) 2020-12-03
CN112015266A (zh) 2020-12-01
US11240419B2 (en) 2022-02-01
JP7341729B2 (ja) 2023-09-11

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
JP7467071B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7301615B2 (ja) 電子機器およびその制御方法
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP2021141573A (ja) 電子機器
US20230018866A1 (en) Electronic device that displays a plurality of display items on a display and method for controlling electronic device
JP2021069008A (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US11526208B2 (en) Electronic device and method for controlling electronic device
JP7336266B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021097356A (ja) 撮像制御装置
JP2021022897A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021156919A (ja) 撮像装置
JP2021071847A (ja) 電子機器およびその制御方法
US11418715B2 (en) Display control apparatus and control method therefor
JP7451255B2 (ja) 電子機器及びその制御方法
US20220357833A1 (en) Electronic apparatus, control method for electronic apparatus, and storage medium
JP7431567B2 (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
US20240080549A1 (en) Imaging device, control method of imaging device, and non-transitory computer readable medium
JP2021082188A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2021018634A (ja) 電子機器およびその制御方法
JP2022095264A (ja) 表示制御装置及びその制御方法
JP2023017312A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021026254A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R151 Written notification of patent or utility model registration

Ref document number: 7341729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151