JP2021022897A - 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 - Google Patents

電子機器、電子機器の制御方法、プログラムおよび記憶媒体 Download PDF

Info

Publication number
JP2021022897A
JP2021022897A JP2019140035A JP2019140035A JP2021022897A JP 2021022897 A JP2021022897 A JP 2021022897A JP 2019140035 A JP2019140035 A JP 2019140035A JP 2019140035 A JP2019140035 A JP 2019140035A JP 2021022897 A JP2021022897 A JP 2021022897A
Authority
JP
Japan
Prior art keywords
line
sight
gaze
electronic device
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019140035A
Other languages
English (en)
Other versions
JP7346135B2 (ja
JP2021022897A5 (ja
Inventor
萩原 伸一
Shinichi Hagiwara
伸一 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019140035A priority Critical patent/JP7346135B2/ja
Priority to US16/942,046 priority patent/US11175737B2/en
Publication of JP2021022897A publication Critical patent/JP2021022897A/ja
Publication of JP2021022897A5 publication Critical patent/JP2021022897A5/ja
Application granted granted Critical
Publication of JP7346135B2 publication Critical patent/JP7346135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】視線によるユーザーの意図しない選択対象の変更と、操作感の低下とを低減する。【解決手段】本発明の電子機器は、表示手段を見るユーザーの視線による視線入力を受け付ける受付手段と、前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御手段であって、前記選択位置から第1の距離にある第1の位置への注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第1の位置への注視に基づいて前記選択位置を変更し、前記選択位置から第1の距離より遠い第2の距離にある第2の位置への注視が、前記第1の期間よりも短い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第2の位置への注視に基づいて前記選択位置を変更するように制御する制御手段とを有する。【選択図】図4

Description

本発明は、電子機器、電子機器の制御方法、プログラムおよび記憶媒体に関する。
従来、ユーザーの視線方向を検出することによって、ファインダー視野内におけるユーザーが観察している領域(位置)を検出して、自動焦点調節や自動露出等の各種の撮影機能を制御するようにするカメラなどの電子機器が提案されている。
特許文献1では、ユーザーの視線がある領域に固定されている期間が所定の閾値を超えた場合に、その領域を注視していると判断し、当該注視位置に対応するメニュー項目に応じた機能を行う表示装置の技術が開示されている。
特開2009−251658号公報
人間は様々なものを観察しているため、頻繁に視線の検知位置が移動する。また、同じ個所を見続けているつもりでも、わずかに視線位置が動くことが人間の特性として知られている(固視微動)。したがって、ユーザーが視線により表示対象のうち1か所を選択し、その後に視線を移動するつもりがなくても、検出される視線の位置はわずかに変化する。したがって、視線によって表示対象のうち1か所を選択したのち、単純に最新の視線検出位置に基づいて選択対象を変更してしまうと、ユーザーの意図に反した選択変更となってしまう可能性がある。一方で、選択変更の応答性を下げてしまうと、ユーザーに操作感が悪いと感じさせてしまう。
そこで、本発明は、視線によるユーザーの意図しない選択対象の変更と、操作感の低下とを低減することのできる電子機器を提供することを目的とする。
本発明の一態様は、
表示手段を見るユーザーの視線による視線入力を受け付ける受付手段と、
前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御手段であって、
前記選択位置から第1の距離にある第1の位置への注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第1の位置への注視に基づいて前記選択位置を変更し、
前記選択位置から第1の距離より遠い第2の距離にある第2の位置への注視が、前記第1の期間よりも短い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第2の位置への注視に基づいて前記選択位置を変更するように制御する制御手段と、
を有することを特徴とする電子機器である。
本発明によれば、視線によるユーザーの意図しない選択対象の変更と、操作感の低下とを低減することができる。
本実施形態に係るデジタルカメラの外観図である。 本実施形態に係るデジタルカメラのブロック図である。 本実施形態に係る視線位置および焦点調節位置を示す図である。 本実施形態に係る焦点調節位置の処理を示すフローチャートである。
[実施形態]
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。図1(a),1(b)に、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させるたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75とを用いて直感的に各種設定を行うことができる。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF29(後述
)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザー(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。サムレスト部91(親指待機位置)は、デジタルカメラ100の背面側の、どの操作部材も操作しない状態でグリップ部90を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部91は、保持力(グリップ感)を高めるためのラバー部材などで構成される。
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより,TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に
書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
視線検出部160は、接眼部16におけるユーザーの視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。なお、視線の検出に応じて、システム制御部50が所定の処理を実行することも可能であるため、視線検出部160は、操作部70の一部であるともいえる。
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の動きからユーザーの視線位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。
視線入力設定部167は、視線検出回路165(視線検出部160)による視線検出の有効または無効を設定する。または、視線入力設定部167は、システム制御部50の視線入力による処理の有効または無効を設定する。例えば、このような有効/無効の設定は、メニュー設定にて、操作部70に対する操作によってユーザーが任意に設定できる。
注視判定部170は、視線検出回路165から受け取った検出情報に基づいて、ユーザーの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域)であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。なお、所定の閾値は、システム制御部50により任意に変更可能である。また、注視判定部170を独立したブロックとして設けず、システム制御部50が視線検出回路165から受け取った検出情報に基づいて注視判定部170と同じ機能を実行するようにしてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash−ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー17(以後、単に「ファインダー」と記載する)の接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダー17の接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)か
ら投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は、注視判定部170または接眼検知部57を制御することによって、接眼部16への以下の操作、あるいは状態を検出できる。
・接眼部16へ向けられていなかった視線が新たに接眼部16へ向けられたこと。すなわち、視線入力の開始。
・接眼部16へ視線入力している状態であること。
・接眼部16へ注視している状態であること。
・接眼部16へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部16へ何も視線入力していない状態。
これらの操作・状態や、接眼部16に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいて接眼部16上にどのような操作(視線操作)が行なわれたかを判定する。
操作部70は、ユーザーからの操作(ユーザー操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラ
ッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch−On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対
する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
なお、デジタルカメラ100には、内蔵されたマイクまたは音声入力端子を介して接続された音声入力装置から得られたシステム制御部50に送信する音声入力部(不図示)が設けられていてもよい。この場合、システム制御部50は、入力された音声信号を必要に応じて選択し、アナログデジタル変換を行い、レベルの適正化処理、特定周波数の低減処理等をして音声信号を生成する。
<焦点調節位置の制御>
図3(a),3(b)を用いて、本実施形態に係る焦点調節位置(選択位置)の制御について説明する。本実施形態では、焦点調節位置は、デジタルカメラ100によって行われる焦点調節に用いられる位置であって、例えば測距位置である。焦点調節位置は、後述する制御によって調節(更新)される。
図3(a)は、デジタルカメラ100の接眼部16に接眼した際にEVF29に表示される画像の一例を示す。図3(b)は、EVF29に表示される画像、ユーザーの眼球(目)161、焦点調節位置(焦点調節部位)を示す位置301、ユーザーの視線位置(入力位置)を示す位置302〜305、焦点調節位置からの距離を示す円310a〜310d等を示す。視線位置は、視線検出部160によって検出された位置である。図3(b)に示す例では、焦点調節位置は、画像内の右に位置する人物の左目の位置(位置301)にあるものとする。また、位置302〜304は、それぞれ画像内の右に位置する人物の右目、鼻、左頬の位置にあるものとする。位置305は、画像内の左に位置する人物の右目の位置にあるものとする。円310a〜310dは、いずれも焦点調節位置(位置301)を中心とする同心円であって、本実施形態では、円310a〜310dの半径は、それぞれLa〜Ldとする。
また、図3(b)は、画像における焦点調節位置からの距離Lと注視時間の閾値Tthとの関係を示すグラフ320を示す。上述のとおり、注視判定部170は、ユーザーの視線がある領域に固定されている時間が、注視時間の閾値Tthを越えた場合に、その領域を注視していると判定する。そして、システム制御部50は、ユーザーが注視時間の閾値Tth以上にわたって画像における所定の領域(位置)を注視している場合に、焦点調節位置を更新する。
本実施形態では、閾値Tthは、焦点調節位置からの距離に応じて決定される(グラフ320)。具体的には、グラフ320の線321に示すように、焦点調節位置(位置301)からユーザーの視線位置までの距離Lが大きくなるほど(離れるほど)、ユーザーが注視していると判断するための閾値Tthを小さくしている。
図3(b)の例において、ユーザーの視線位置が位置302に位置する場合、焦点調節位置(位置301)から位置302までの距離L1はLa(円310aの半径)以下であるため、閾値TthにはTaが設定される。ユーザーの視線位置が位置303または位置304に位置する場合も同様に、焦点調節位置との距離がLa以下であるため、閾値TthにはTaが設定される。つまり、焦点調節位置として位置301が選択されているときに、ユーザーの視線位置が位置302〜304など焦点調節位置の周辺部に移動しても、視線の留まる時間がTa以下の場合は視線位置の動きに応じた焦点調節位置の変更(切り替え)は行われない。
図3(b)の例において、ユーザーの視線位置が位置305である場合、焦点調節位置
(位置301)から位置305までの距離L2はLbより大きくLc以下であるため、閾値TthにはTc(<Ta)が設定される。よって、焦点調節位置として位置301が選択されているときに、ユーザーの視線位置が位置305に移動した場合、視線の留まる時間がTaに満たなくでもTcより大きければ焦点調整位置の変更が行われる。
このように、視線位置が焦点調節位置から近いときは、遠いときに比べて閾値Tthを相対的に大きくすることで、視線位置が焦点調節位置の近傍で変化した場合(固視微動等)でも、ユーザーの意思によらずに焦点調節位置が移動することを抑制している。また、視線位置が焦点調節位置から遠いときは、近いときに比べて閾値Tthを相対的に小さくすることで、視線位置が大きく変化した場合(例えば、別の被写体をみた場合)に、ユーザーの視線位置に応じて焦点調整位置を移動するようにしている。
<処理内容>
図4は、本実施形態に係る焦点調節位置の制御を示すフローチャートである。このフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能ブロックを制御することにより実現される。
S401では、システム制御部50は、接眼を検知したか否かを判定する。本実施形態では、デジタルカメラ100の焦点調節位置を視線位置に基づいて制御可能な設定になっている状態で、接眼検知部57がユーザーによる接眼部16への接眼を検知したか否かで上記の判定が行われる。接眼を検知した場合はS402に進み、そうでない場合はS433に進む。
S402では、システム制御部50は、視線検出部160(電気回路や発光素子等)への電源をオンにする。電源がONになると、視線検出動作(視線受付動作)は、視線検出部への電源がオフ(S432)になるまで所定の時間間隔で継続的に行われる。S403では、システム制御部50は、注視時間の判定に用いる閾値Tthを設定する。本実施形態では、閾値Tthの初期値としてTaを設定する。なお、Taは、本実施形態において閾値Tthに設定可能な値のうち最も大きい値である。S404では、システム制御部50は、視線位置の検出回数を示す数値nを初期化する。S405では、システム制御部50は、注視タイマーTnacをリセット(初期化)する。注視タイマーはユーザーの注視時間を計測するためのタイマーである。
S406では、システム制御部50は、再度、接眼を検知したか否かを判定する。接眼を検知した場合はS407に進み、そうでない場合はS432に進む。S407では、システム制御部50は、視線位置の検出回数を示す数値nをカウントアップする。S408では、システム制御部50は、現在のユーザーの視線位置P(n)を検出する。電源投入直後(n=1)の場合、ユーザーの視線位置はP(1)として検出される。
S409では、システム制御部50は、検出回数を示す数値nが2以上であるか否かを判定する。数値nが2以上である場合はS410に進み、そうでない場合はS406に進む。S410では、システム制御部50は、現在の視線位置P(n)と前回の視線位置P(n−1)との距離ΔP(移動量)を求める。
S411では、システム制御部50は、距離ΔPが所定の値L0以上か否かを判定する。距離ΔPが所定の値L0以上である場合はS412に進み、そうでない場合はS430に進む。ここで、距離ΔPが所定の値L0以上である場合とは、ユーザーが意図的に視線位置を変化させたと判定される場合であって、例えば、前回と異なる領域(例えば、集合写真撮影で前回の視線検出時と異なる人の顔)を見ている場合等が挙げられる。距離ΔP
が所定の値L0未満(所定の閾値未満)である場合とは、視線位置が多少変化しているものの、ユーザーが意図的に視線位置を変化させたとはいえない場合(例えば、固視微動など)である。
S412では、意図的に視線位置が変えられたため、システム制御部50は、注視タイマーTnacをリセット(初期化)する。S413では、システム制御部50は、選択されている焦点調節位置Pafと現在の
視線位置P(n)との距離Lを求める。ここで、EVF29の表示画面における焦点調節位置Pafの2次元座標値を(Xaf,Yaf)、EVF29の表示画面における現在の視線位置P(n)の2次元座標値を(Xpn,Ypn)とすると、距離Lは以下の式(1)を用いて求めることができる。
Figure 2021022897
S414〜S422では、システム制御部50は、上記で求めた距離Lに応じて、注視時間の判定に用いる閾値Tthを決定する。本実施形態では、システム制御部50は、距離Lと図3(B)に示すLa〜Ldとに基づいて、閾値TthをTa〜Teのいずれかに設定する(式(2))。例えば、Ta=1.0秒、Tb=0.8秒、Tc=0.5秒、Td=0.3秒、Te=0.1等の値を設定することができる。
Figure 2021022897
具体的には、S414では、システム制御部50は、距離LがLa以下であるか否かを判定する。距離LがLa以下である場合はS415に進み、そうでない場合はS416に進む。S415では、システム制御部50は、閾値TthをTaに設定する。
S416では、システム制御部50は、距離LがLb以下であるか否かを判定する。距離LがLb以下である場合はS417に進み、そうでない場合はS418に進む。S417では、システム制御部50は、閾値TthをTbに設定する。
S418では、システム制御部50は、距離LがLc以下であるか否かを判定する。距離LがLc以下である場合はS419に進み、そうでない場合はS420に進む。S419では、システム制御部50は、閾値TthをTcに設定する。
S420では、システム制御部50は、距離LがLd以下であるか否かを判定する。距離LがLd以下である場合はS421に進み、そうでない場合はS422に進む。S421では、システム制御部50は、閾値TthをTdに設定する。S422では、システム制御部50は、閾値TthをTeに設定する。
S423〜S429では、システム制御部50は、顔検出を行い、検出結果に応じて閾値Tthを調整する。なお、システム制御部50は、S423〜S429の処理は行わずに、S415,S417,S419,S421,S422のいずれかの処理の後にS430の処理を行ってもよい。これにより、顔の検出状況に関わらず、閾値Tthを制御することができる。
S423では、システム制御部50は、閾値Tthに乗じるための係数である係数Aの値を初期化する(A=1)。S424では、システム制御部50は、デジタルカメラ100が顔検出モードか否かを判定する。顔検出モードである場合はS425へ進み、そうでない場合はS429に進む。
S425では、システム制御部50は、EVF29に表示される画像を用いて顔検出を行う。顔検出において、システム制御部50は、既存の種々の方法を用いて、被写体の顔を示す領域や、顔の部位(目や鼻など)を示す領域を検出する。S426では、システム制御部50は、顔検出ができたか否か(顔が検出されたか否か)を判定する。顔検出ができた場合はS427に進み、そうでない場合はS429に進む。
S427では、システム制御部50は、検出した結果が前回と異なるか否かを判定する。検出した結果が前回と異なる場合として、例えば、前回の顔と異なる顔(例えば異なる人の顔)上に視線位置P(n)が位置している場合が挙げられる。また、検出した結果が前回と異なる場合として、例えば、前回と同じ顔上で前回と異なる部位(目、鼻、頬、口など)上に視線位置P(n)が位置している場合が挙げられる。なお、S427の処理では、前回の視線位置に関わらず、現在の視線位置P(n)が顔上であるか否かを判断し、顔上である場合はS428に進み、そうでない場合はS429に進んでもよい。
S428では、システム制御部50は、係数Aに所定の値αを設定する。所定の値αは1未満の値であって、例えばα=0.7とすることができる。S429では、システム制御部50は、閾値Tthに係数Aを乗じる。これにより、S427の条件を満たす場合、S414〜S422で設定した閾値Tthより小さい閾値(α=0.7の場合、0.7倍)で注視時間の判定が行われる。
S430では、システム制御部50は、注視タイマーTnacの値が閾値Tthより小さいか否かを判定する。注視タイマーTnacの値が閾値Tthより小さい場合はS406に進み、そうでない場合はS431に進む。なお、S429の直後にS430からS431に処理が進められることは想定されず、S406〜S411,S430の処理が繰り返された後、S431に処理が進められることになる。
S431では、システム制御部50は、焦点調節位置を変更する。本実施形態では、システム制御部50は、焦点調節位置を現在の視線位置P(n)に変更する。なお、焦点調節位置の変更先は視線位置P(n)に限定されず、視線位置P(n)に対応する位置であればよい。例えば、焦点調節位置の変更先は、注視タイマーTnacが閾値Tthに達するまでの視線位置P(1)〜P(n)の重心の位置等でもよい。
S432では、システム制御部50は、視線検出部160の電源をオフにする。S433では、システム制御部50は、視線入力以外の入力操作(十字キー74等)に応じて、焦点調節位置の選択操作がなされているか否かを判定する。選択操作がなされている場合はS434に進み、そうでない場合はS401に進む。S434では、システム制御部50は、上記の選択操作に応じて焦点調節位置を変更する。
<本実施形態の有利な効果>
上述のように、本実施形態では、視線位置が焦点調節位置から近いときは、注視判定に用いる時間を相対的に長くして、視線位置が焦点調節位置から遠いときは、注視判定に用いる時間を相対的に短くしている。これにより、焦点調節位置の近くにおいて少し視線位置が変化した場合に、ユーザーの意図せずに焦点調節位置が変更されることを防ぐことができる。一方、視線位置が焦点調節位置から遠い程感度が高いので、検出された視線位置に基づいて迅速に焦点調節位置を変更することで、ユーザーは違和感なく視線を用いて焦
点調節位置を選択することができスムーズな撮影が可能となる。
また、上述の実施形態では、視線入力に応じた焦点調節位置の選択以外にも、デジタルカメラの操作部に対する操作に応じた焦点調節位置の選択を併用できる。これにより、環境条件や個人の目による要因で視線入力により使用者の意図する動作に及ばないとき(例えば、隣接部へ焦点調節位置の切替など)への対応や、視線入力で大まかに焦点調節位置を切り替えて、微調整を操作部材操作で行うことなどが可能である。
また、上述の実施形態では、顔検出を行っている場合には、検出結果に応じて閾値Tthをより小さくしている。これにより、同じ被写体内で焦点調節位置を現在と異なる部位(例えば右目から左目)に変更したり、集合写真で別の被写体の顔に焦点調節位置を変更する場合のレスポンスを向上することができる。
[変形例]
上述の実施形態では、S413〜S422で、焦点調節位置と視線位置との距離に基づいて閾値Tthを決定する処理が行われる例について説明したが、当該処理は行われなくてもよい。例えば、閾値Tthを所定の値で初期化しておき、特定の被写体(例えば顔)が検出されている位置への注視が行われている場合に、システム制御部は、特定の被写体が検出されていない位置への注視が行われている場合と比べて閾値Tthを小さくする。あるいは、閾値Tthを所定の値で初期化しておき、視線位置が表示部に表示された異なる顔間で移動する場合に、システム制御部は、視線位置が表示部に表示された同じ顔内で移動する場合と比べて、閾値Tthを小さくする。あるいは、閾値Tthを所定の値で初期化しておき、視線位置が表示部に表示された顔の異なる部位間で移動する場合に、システム制御部は、視線位置が顔の同じ部位内で移動する場合と比べて、閾値Tthを小さくする。また、上記を組み合わせてもよい。例えば、システム制御部は、特定の被写体が検出されている位置への注視が行われている場合に閾値Tthを所定の値より小さいT1に設定し、さらに、視線位置が異なる顔間で移動する場合には、閾値TthをT1より小さいT2に設定してもよい。
また、システム制御部は、画像の画角に基づいて、閾値Tthを変更してもよい。画像の画角は、EVF29に表示される範囲を示す情報である。例えば、画角は、画像に対応する画像データのメタデータを参照して決定されたり、画像の拡大率に応じて決定される。具体的には、システム制御部は、画角が広い(表示範囲が広い)場合に、画角が狭い場合と比べて閾値Tthを小さくするとよい。
また、閾値TthとしてTa=1.0秒、Tb=0.8秒、Tc=0.5秒、Td=0.3秒、Te=0.1秒が設定されている例について説明したが、閾値Tthの値はこれらの値に限られるものではない。
また、3平方の定理を用いて、EVF29の表示上の2次元座標値(X,Y)に基づいて距離Lを演算する例について説明したが距離の算出方法は特に限定されない。例えば、X座標とY座標の一方の変化量(X軸とY軸の一方に沿った方向の移動量)が所定の値以内である場合に、X座標とY座標の他方の変化量だけで距離Lを求めるなど簡略化した方法を用いてもよい。
また、本実施形態では、接眼検知が行われていない場合に上記の選択操作を受け付ける例について説明しているが、接眼検知が行われている場合に上記の選択操作を受け付けてもよい。
本発明は、視線検出機能を使った情報入力機能を備えた種々の電子機器の入力操作に適
用可能であって、上述の実施形態の構成に限られるものではない。特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できるならば、構成によらず適用可能である。
本発明は、デジタルカメラに限るものではなく、例えばパーソナルコンピュータ(PC)の表示画面やテレビ、ヘッドマウントディスプレイ(HMD)などに対して視線入力が可能である場合にも適用可能である。また、上述の実施形態では視線入力による選択対象として測距位置(AF位置)の例を説明したが、これに限るものではない。ISO感度、シャッター速度、絞りの設定値(F値)、露出補正、撮影モード(選択肢はマニュアルモード、プログラムモード、絞り優先モード、シャッター速度優先モード、オートモードなど)などの複数の選択肢を視線入力で選択する場合にも適用可能である。また、撮影設定や、何かしらの設定項目に限らず、何らかの複数の選択肢の中からユーザーが選択を行うための表示画面であれば本発明を適用可能である。例えば、画像に適用するフィルター効果(画質調整)を選択する画面、文書・画像・音楽などを含む複数のファイルやフォルダを選択肢としていずれかを選択する画面、複数の連絡先・通信先を選択肢としていずれかを選択する画面などに適用可能である。また、マウスポインタのように、視線入力によって画面上の位置を指定(選択)する画面に適用可能である。実施形態にあるカメラへの利用のほかに、HMD(ヘッドマウントディスプレィ)やVR(バーチャルリアリティ)への利用も可能である。
なお、システム制御部50は、が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ 50:システム制御部 160:視線検出部

Claims (14)

  1. 表示手段を見るユーザーの視線による視線入力を受け付ける受付手段と、
    前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御手段であって、
    前記選択位置から第1の距離にある第1の位置への注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第1の位置への注視に基づいて前記選択位置を変更し、
    前記選択位置から第1の距離より遠い第2の距離にある第2の位置への注視が、前記第1の期間よりも短い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第2の位置への注視に基づいて前記選択位置を変更するように制御する制御手段と、
    を有することを特徴とする電子機器。
  2. 画像が表示された表示手段を見るユーザーの視線による視線入力を受け付ける受付手段と、
    前記画像から特定の被写体を検出する検出手段と、
    前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御手段であって、
    前記検出手段で前記特定の被写体が検出されていない第3の位置への注視が第3の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第3の位置への注視に基づいて前記選択位置を変更し、
    前記検出手段で前記特定の被写体が検出されている第4の位置への注視が、前記第3の期間よりも短い第4の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第4の位置への注視に基づいて前記選択位置を変更するように制御する制御手段と、
    を有することを特徴とする電子機器。
  3. 前記表示手段に表示された画像から特定の被写体を検出する検出手段をさらに有し、
    前記検出手段で前記特定の被写体が検出されている位置への注視が行われている場合に、前記制御手段は、前記検出手段で前記特定の被写体が検出されていない位置への注視が行われている場合と比べて、前記選択位置を変更するための条件における前記注視の期間を短くする、
    ことを特徴とする請求項1に記載の電子機器。
  4. 前記特定の被写体は顔である、
    ことを特徴とする請求項2または3に記載の電子機器。
  5. 前記注視の位置が前記表示手段に表示された顔の異なる部位間で移動する場合に、前記制御手段は、前記注視の位置が前記顔の同じ部位内で移動する場合と比べて、前記選択位置を変更するための条件における前記注視の期間を短くする、
    ことを特徴とする請求項1または4に記載の電子機器。
  6. 前記注視の位置が前記表示手段に表示された異なる顔間で移動する場合に、前記制御手段は、前記注視の位置が前記表示手段に表示された同じ顔内で移動する場合と比べて、前記選択位置を変更するための条件における前記注視の期間を短くする、
    ことを特徴とする請求項1、4または5のいずれか一項に記載の電子機器。
  7. 前記制御手段は、前記表示手段に表示された画像の画角に基づいて、前記選択位置を変更するための条件における前記注視の期間を変更する、
    ことを特徴とする請求項1から6のいずれか一項に記載の電子機器。
  8. 前記制御手段は、前記選択位置と前記注視の位置との距離が大きい程、前記選択位置を変更するための条件における前記注視の期間を短くする、
    ことを特徴とする請求項1から7のいずれか一項に記載の電子機器。
  9. ユーザーの操作を受け付ける操作手段をさらに有し、
    前記制御手段は、前記操作手段に対する操作に応じて前記選択位置を変更する、
    ことを特徴とする請求項1から8のいずれか一項に記載の電子機器。
  10. 前記注視があったことに対応する視線位置の条件は、前記入力位置の移動量が所定の閾値未満であるという条件を含む、
    ことを特徴とする請求項1から9のいずれか一項に記載の電子機器。
  11. 表示手段を見るユーザーの視線による視線入力を受け付ける受付ステップと、
    前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御ステップであって、
    前記選択位置から第1の距離にある第1の位置への注視が第1の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第1の位置への注視に基づいて前記選択位置を変更し、
    前記選択位置から第1の距離より遠い第2の距離にある第2の位置への注視が、前記第1の期間よりも短い第2の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第2の位置への注視に基づいて前記選択位置を変更するように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  12. 画像が表示された表示手段を見るユーザーの視線による視線入力を受け付ける受付ステップと、
    前記画像から特定の被写体を検出する検出ステップと、
    前記視線入力による入力位置に応じて前記表示手段における選択位置を変更するように制御する制御ステップであって、
    前記検出ステップにおいて前記特定の被写体が検出されていない第3の位置への注視が第3の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第3の位置への注視に基づいて前記選択位置を変更し、
    前記検出ステップにおいて前記特定の被写体が検出されている第4の位置への注視が、前記第3の期間よりも短い第4の期間にわたってあったことに対応する視線位置の条件が満たされたことに応じて、前記第4の位置への注視に基づいて前記選択位置を変更するように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  13. コンピュータを、請求項1から10のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  14. コンピュータを、請求項1から10のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2019140035A 2019-07-30 2019-07-30 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 Active JP7346135B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019140035A JP7346135B2 (ja) 2019-07-30 2019-07-30 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US16/942,046 US11175737B2 (en) 2019-07-30 2020-07-29 Electronic device for receiving line of sight input, method of controlling electronic device, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019140035A JP7346135B2 (ja) 2019-07-30 2019-07-30 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

Publications (3)

Publication Number Publication Date
JP2021022897A true JP2021022897A (ja) 2021-02-18
JP2021022897A5 JP2021022897A5 (ja) 2022-07-21
JP7346135B2 JP7346135B2 (ja) 2023-09-19

Family

ID=74258795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019140035A Active JP7346135B2 (ja) 2019-07-30 2019-07-30 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US11175737B2 (ja)
JP (1) JP7346135B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05164958A (ja) * 1991-12-19 1993-06-29 Nikon Corp 視線検出装置付きカメラ
JPH07199046A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付装置
JPH089237A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像信号処理装置
JP2005033768A (ja) * 2003-04-28 2005-02-03 Hewlett-Packard Development Co Lp デジタル撮像装置の制御方法および装置
JP2008124846A (ja) * 2006-11-14 2008-05-29 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2014179870A (ja) * 2013-03-15 2014-09-25 Canon Inc 画像再生装置、画像再生方法および撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4884417B2 (ja) 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP5408936B2 (ja) * 2008-09-13 2014-02-05 キヤノン株式会社 自動焦点調節装置、自動焦点調節装置の制御方法及び焦点調節制御プログラム
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
JP6425573B2 (ja) * 2015-02-04 2018-11-21 キヤノン株式会社 電子機器とその制御方法
JP6521715B2 (ja) * 2015-04-22 2019-05-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
EP3352052A4 (en) * 2015-09-16 2018-08-01 Fujifilm Corporation Line-of-sight-based control device and medical device
CN109828707B (zh) * 2015-10-06 2023-03-14 佳能株式会社 显示处理设备及其控制方法
CN108028887B (zh) * 2016-03-23 2020-06-02 华为技术有限公司 一种终端的拍照对焦方法、装置及设备
KR20190026651A (ko) * 2016-04-08 2019-03-13 비짜리오 인코포레이티드 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
JP6668942B2 (ja) * 2016-05-23 2020-03-18 富士通株式会社 撮影制御装置、プログラム及び方法
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10304209B2 (en) * 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
CN107239144B (zh) * 2017-06-09 2020-02-07 歌尔股份有限公司 一种设备的输入方法和装置
US11400862B2 (en) * 2017-06-16 2022-08-02 Boe Technology Group Co., Ltd. Vision-based interactive control apparatus and method of controlling rear-view mirror for vehicle
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10852816B2 (en) * 2018-04-20 2020-12-01 Microsoft Technology Licensing, Llc Gaze-informed zoom and pan with manual speed control
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
CN110547759A (zh) * 2018-05-31 2019-12-10 托比股份公司 鲁棒会聚信号
WO2020018502A1 (en) * 2018-07-16 2020-01-23 Envision Solutions LLC Virtual forced fixation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05164958A (ja) * 1991-12-19 1993-06-29 Nikon Corp 視線検出装置付きカメラ
JPH07199046A (ja) * 1993-12-28 1995-08-04 Canon Inc 視線検出機能付装置
JPH089237A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像信号処理装置
JP2005033768A (ja) * 2003-04-28 2005-02-03 Hewlett-Packard Development Co Lp デジタル撮像装置の制御方法および装置
JP2008124846A (ja) * 2006-11-14 2008-05-29 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2014179870A (ja) * 2013-03-15 2014-09-25 Canon Inc 画像再生装置、画像再生方法および撮像装置

Also Published As

Publication number Publication date
JP7346135B2 (ja) 2023-09-19
US11175737B2 (en) 2021-11-16
US20210034150A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
US11233941B2 (en) Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium
JP7301615B2 (ja) 電子機器およびその制御方法
EP3876517A1 (en) Electronic device, control method, program, and computer readable medium
CN114390167A (zh) 电子装置及其控制方法和记录介质
JP7346135B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP7387493B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7336266B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021156919A (ja) 撮像装置
JP2021140590A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2022018244A (ja) 電子機器およびその制御方法
JP2021097356A (ja) 撮像制御装置
JP2021184123A (ja) 電子機器、電子機器の制御方法、プログラム
JP2021124613A (ja) 音声入力装置およびその制御方法ならびにプログラム
JP2021071847A (ja) 電子機器およびその制御方法
JP7451255B2 (ja) 電子機器及びその制御方法
WO2023007904A1 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US20210375002A1 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2022095264A (ja) 表示制御装置及びその制御方法
JP2021018634A (ja) 電子機器およびその制御方法
JP2022129065A (ja) 表示制御装置及びその制御方法及びプログラム及び記録媒体
JP2021180437A (ja) 撮像装置
JP2021082188A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R151 Written notification of patent or utility model registration

Ref document number: 7346135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151