JP2021184123A - 電子機器、電子機器の制御方法、プログラム - Google Patents

電子機器、電子機器の制御方法、プログラム Download PDF

Info

Publication number
JP2021184123A
JP2021184123A JP2020088583A JP2020088583A JP2021184123A JP 2021184123 A JP2021184123 A JP 2021184123A JP 2020088583 A JP2020088583 A JP 2020088583A JP 2020088583 A JP2020088583 A JP 2020088583A JP 2021184123 A JP2021184123 A JP 2021184123A
Authority
JP
Japan
Prior art keywords
electronic device
user
distance
line
determination time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020088583A
Other languages
English (en)
Other versions
JP7446913B2 (ja
Inventor
敬大 永井
Keita Nagai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020088583A priority Critical patent/JP7446913B2/ja
Priority to US17/323,875 priority patent/US11412140B2/en
Priority to CN202110557471.2A priority patent/CN113726991A/zh
Publication of JP2021184123A publication Critical patent/JP2021184123A/ja
Application granted granted Critical
Publication of JP7446913B2 publication Critical patent/JP7446913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザーの目と電子機器との位置関係が変化する場合でも、ユーザーの意図したように視線入力による操作が可能な電子機器を提供する。【解決手段】電子機器は、ユーザーの視線入力を受け付けて、ユーザーの視点位置を検出する視線検出手段と、ユーザーの目との距離に対応する第1の距離情報を取得する取得手段と、1)前記第1の距離情報に基づいて判定時間を設定し、2)該判定時間より長く、視点位置が継続して変化していないと判定する場合に、注視があったと判定する制御手段と、を有する。【選択図】図3

Description

本発明は、電子機器、電子機器の制御方法、プログラムに関する。
従来、ユーザー(撮影者)の視線方向を検出し、ファインダー視野内の撮影者が観察している領域(位置)を検出して、自動焦点調節や自動露出等の各種の撮影機能を制御するようなカメラが種々提案されている。特許文献1には、ユーザーの視線検出をする表示装置において、ユーザーの視線が或る領域に固定されている時間が所定の閾値を超えた場合に、その領域を注視していると判定して、所定の制御を行う技術が開示されている。
特開2009−251658号公報
従来の視線検出に用いられる電子機器では、ユーザーの目と電子機器との位置関係が変化した場合に、視線の検出精度が悪化するという課題がある。この課題に対し、電子機器の使用前にキャリブレーションを実施することによって、使用時の目の位置で精度よく視線入力を可能にする方法がある。しかしながら、キャリブレーションの時点から、ユーザーの目の位置が移動した場合には、誤った視線を検出してしまい、注視位置の表示や視線入力による操作がユーザーの意図通りに行われない可能性がある。
そこで、本発明は、ユーザーの目と電子機器との位置関係が変化する場合でも、ユーザーの意図したように視線入力による操作が可能な電子機器を提供することを目的とする。
本発明の第1の態様は、
ユーザーの視線入力を受け付けて、ユーザーの視点位置を検出する視線検出手段と、
ユーザーの目との距離に対応する第1の距離情報を取得する取得手段と、
1)前記第1の距離情報に基づいて判定時間を設定し、2)該判定時間より長く、視点位置が継続して変化していないと判定する場合に、注視があったと判定する制御手段と、
を有することを特徴とする電子機器である。
本発明の第2の態様は、
ユーザーの視線入力を受け付けて、ユーザーの視点位置を検出する視線検出手段を有する電子機器の制御方法であって、
ユーザーの目との距離に対応する第1の距離情報を取得する取得工程と、
1)前記第1の距離情報に基づいて判定時間を設定し、2)該判定時間より長く、視点位置が継続して変化していないと判定する場合に、注視があったと判定する制御工程と、
を有することを特徴とする電子機器の制御方法である。
本発明によれば、ユーザーの目と電子機器との位置関係が変化する場合でも、ユーザーの意図したように視線入力による操作を可能にすることができる。
実施形態1に係るデジタルカメラの外観図である。 実施形態1に係るデジタルカメラの構成図である。 実施形態1に係る測距点の選択処理のフローチャートである。 実施形態1に係る注視判定時間を変更する理由を説明する図である。 実施形態2に係る測距点の選択処理のフローチャートである。
[実施形態1]
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。図1(a),1(b)に、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させるたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75とを用いて直感的に各種設定を行うことができる。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF29(後述)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザー
(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。サムレスト部91(親指待機位置)は、デジタルカメラ100の背面側の、どの操作部材も操作しない状態でグリップ部90を握った右手の親指を置きやすい箇所に設けられたグリップ部材である。サムレスト部91は、保持力(グリップ感)を高めるためのラバー部材などで構成される。
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより,TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29に
より表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
視線検出部160は、接眼部16におけるユーザーの視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。なお、視線の検出に応じて、システム制御部50が所定の処理を実行することも可能であるため、視線検出部160は、操作部70の一部であるともいえる。
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視点位置を検出するための発光素子であり、ユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の動きからユーザーの視点位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。
視線入力設定部167は、視線検出回路165(視線検出部160)による視線検出の有効または無効を設定する。または、視線入力設定部167は、システム制御部50の視線入力による処理の有効または無効を設定する。例えば、このような有効/無効の設定は、メニュー設定にて、操作部70に対する操作によってユーザーが任意に設定できる。
注視判定部170は、視線検出回路165から受け取った検出情報に基づいて、ユーザーの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域)であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。なお、所定の閾値は、システム制御部50により任意に変更可能である。また、注視判定部170を独立したブロックとして設けず、システム制御部50が視線検出回路165から受け取った検出情報に基づいて注視判定部170と同じ機能を実行するようにしてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash−ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサまたは回路からなる制御部であり
、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー17(以後、単に「ファインダー」と記載する)の接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダー17の接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光され
る。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は、注視判定部170または接眼検知部57を制御することによって、接眼部16への以下の操作、あるいは状態を検出できる。
・接眼部16へ向けられていなかった視線が新たに接眼部16へ向けられたこと。すなわち、視線入力の開始。
・接眼部16へ視線入力している状態であること。
・接眼部16へ注視している状態であること。
・接眼部16へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・接眼部16へ何も視線入力していない状態。
これらの操作・状態や、接眼部16に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいて接眼部16上にどのような操作(視線操作)が行なわれたかを判定する。
操作部70は、ユーザーからの操作(ユーザー操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部70は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シ
ャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch−On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペ
ンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
<測距点の選択処理>
以下、図3を参照して、本実施形態に係る、デジタルカメラ100における接眼距離に応じた注視判定時間を用いて、測距点を選択する処理について説明する。なお、本実施形態では、距離とは、2つの物体間の間隔(2つの物体に挟まれる空間)の長さであるとする。
図3は、本実施形態に係る測距点選択の処理を示すフローチャートである。本実施形態では、デジタルカメラ100は、注視が行われたか否か判定するための閾値(所定の閾値)である注視判定時間Tthを、ユーザーの目161と視線検出部160の距離に応じて切り替える。本実施形態に係るデジタルカメラ100を用いることによれば、ユーザーの目の位置が移動し得るような状況においても、ユーザーがEVF29を覗きながら、好適に測距点選択が可能である。図3のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能部を制御することにより実現される。なお、図3のフローチャートは、電源スイッチ72がオンにされて、デジタルカメラ100が起動されると開始される。
S301では、システム制御部50は、接眼検知部57を制御して、ユーザーの目161と視線検出部160との距離Leyeを測定(取得)する。なお、ユーザーの目161と視線検出部160との距離Leyeは、ユーザーの目161と視線検知センサー164との光学的な距離(距離情報)であり得る。また、本実施形態では、視線検出部160と接眼部16とは、隣接するように配置されているため、距離Leyeは、ユーザーの目161と接眼部16(接眼検知部57)との距離であると捉えることもできる。
S302では、システム制御部50は、S301にて測定した距離Leyeが第1の閾値Lth1より小さいか否かを判定する。なお、距離Leyeが第1の閾値Lth1より小さい場合には、システム制御部50は、ユーザーが接眼部16(ファインダー)に接眼したと判定できる。一方、距離Leyeが第1の閾値Lth1以上である場合は、システム制御部50は、非接眼状態であると判定できる。距離Leyeが第1の閾値Lth1より小さい場合にはS303に進み、そうでない場合にはS301に戻る。つまり、ユーザーが接眼部16に接眼した状態に遷移するまでS301,S302の処理が繰り返される。
S303では、システム制御部50は、視線検出部160を制御して、ユーザーの視点位置(EVF29において見ている位置)を検出する。このとき、視点位置は、EVF29の画素単位である必要はなく、EVF29の表示範囲を分割したブロックごとや、被写体ごとであってもよい。なお、システム制御部50は、検出した視点位置を、検出した時刻と紐づけてメモリ32に記憶する。
S304では、システム制御部50は、今回のS303にて検出した視点位置が、メモリ32が記憶する前回のS303にて検出した視点位置と異なるか否かを判定する。なお、今回のS303の処理が初回である場合には、前回の視点位置の情報をメモリ32が記憶していないため、システム制御部50は、前回と今回とで視点位置が異なると判定する。今回と前回とで視点位置が異なる場合にはS305に進み、そうでない場合にはS306に進む。ここで、システム制御部50は、メモリ302が記憶する複数の視点位置のうち、今回の視点位置に紐づけられた時刻に最も近い時刻と紐づけられた視点位置を、前回の視点位置と判定することができる。
なお、視点位置の分解能が高い場合(例えば、視点位置を画素単位で取得している場合)には、ユーザーが見ている視点位置が少しずれただけでも前回の視点位置から変わったと判定されてしまう。そこで、視点位置の分解能が高い場合には、前回の視点位置から一定の範囲内であれば同じ視点位置であると判定されてもよい。
S305では、システム制御部50は、視点位置が継続して変化していない時間を測定するための注視タイマーTeyeをリセットする(0に設定する)。
S306では、システム制御部50は、S301にて測定した距離Leyeが第2の閾値Lth2より大きいか否かを判定する。ここで、第2の閾値Lth2は、第1の閾値Lth1よりも小さな値である。距離Leyeが第2の閾値Lth2よりも大きい場合にはS307に進み、そうでない場合にはS308に進む。
S307では、システム制御部50は、注視判定時間Tthに第1の判定時間T1を設定する。
S308では、システム制御部50は、S301にて測定した距離Leyeが第3の閾値Lth3より大きいか否かを判定する。ここで、第3の閾値Lth3は、第2の閾値Lth2よりも小さな値である。つまり、Lth1>Lth2>Lth3が成立する。例えば、Lth1=10mm、Lth2=5mm、Lth3=3mmであり得る。距離Leyeが第3の閾値Lth3よりも大きい場合にはS309に進み、そうでない場合にはS310に進む。
S309では、システム制御部50は、注視判定時間Tthに第2の判定時間T2を設定する。S310では、システム制御部50は、注視判定時間Tthに第3の判定時間T3を設定する。ここで、第2の判定時間T2は、第1の判定時間T1よりも短い。第3の判定時間T3は、第2の判定時間T2よりも短い。つまり、T1>T2>T3が成立する。
S311では、システム制御部50は、注視判定部170を制御して、注視タイマーTeyeが注視判定時間Tthより大きいか否かを判定する。つまり、システム制御部50(注視判定部170)は、視点位置が継続して変化しない時間が注視判定時間Tthより長いか否かを判定しており、注視判定時間Tthより長い場合には視点位置に注視があったと判定することができる。注視タイマーTeyeが注視判定時間Tthより大きい場合にはS312に進み。そうでない場合にはS301の処理に戻る。
S312では、システム制御部50は、視点位置(注視位置)に応じた位置に測距点を確定(選択)する。なお、本実施形態では、S312においてシステム制御部50は、測距点の確定を行うが、例えば、視点位置(注視位置)に表示されたアイコンの選択や、視点位置を中心とした画像の拡大または縮小などが行われてもよい。また、システム制御部50は、注視位置を示す表示(注視位置を示す表示アイテムの表示)をするようにEVF29を制御するようにしてもよい。つまり、S312では、システム制御部50は、注視がされたことに応じた処理であれば任意の処理を行ってもよい。
[距離に応じて注視判定時間を変更している理由]
ここで、図4を用いて、距離Leyeの大きさに応じて注視判定時間Tthを変更している理由を説明する。図4は、ユーザーの目161と視線検出部160の距離Leyeの時間変化を示した図である。
ここで、距離Leyeが第2の閾値Lth2より大きい場合(距離Leyeが範囲Cに
位置する場合)には、手ブレなどが原因でユーザーの目がファインダーから大きく離れている状態であると考えられる。例えば、ユーザーの目161と視線検出部160との距離が長ければ、ユーザーの目161が少し動いただけで視線検出部160が検出する視点位置が大きく動いてしまう。具体的には、ユーザーが意図しない目の動きである固視微動などによって、検出される視点位置が大きく動いてしまう可能性がある。このため、距離Leyeが範囲Cに位置する場合には、視線検出部160による視点位置の検出精度が悪い。そこで、システム制御部50は、注視判定時間を長めに設定して、視線検出部160の視点位置の検出精度がよい状態になるまでの時間を確保する。例えば、手ブレが原因でユーザーの目がファインダーから離れている場合には、手ブレの周期は1〜10Hz程度と言われているため、第1の判定時間T1が100ms〜1s程度であれば、正確な視点位置を取得するまでの時間が確保できる。一方、手ブレなど周期的な変動が原因でなく定常的に視点位置の検出精度が悪い状態が続く場合には、すぐに注視位置を確定して誤入力にならないよう注視判定時間を長めに確保することにより、ユーザーの意図ではない動作を防止することができる。
なお、システム制御部50は、距離Leyeが第2の閾値Lth2より大きい場合(距離Leyeが範囲Cに位置する場合)には、S307において、さらに、ユーザーに対する警告表示をEVF29にするように制御してもよい。ここで、警告表示は、視線検出の精度が低い旨の警告や、ファインダーに目を近づけることを促す警告であり得る。また、距離Leyeが第2の閾値Lth2より大きい場合には、S307において、システム制御部50は、注視判定時間Tthを設定せずに、視線検出部160による視線入力の受け付けを無効にしてもよい。
距離Leyeが、第2の閾値Lth2以下であり第3の閾値Lth3より大きい場合(距離Leyeが範囲Bに位置する場合)には、手ブレなどが原因でユーザーの目がファインダーから少し離れていると考えられる。このように、距離Leyeが範囲Bに位置する場合には、手ブレなどによって視点位置の検出精度が低下しているが、範囲Cに位置する場合によりも視線検出部160による視点位置の検出精度がよい。従って、システム制御部50は、第1の判定時間T1よりも短い第2の判定時間T2を、注視判定時間Tthに設定する。
距離Leyeが、第3の閾値Lth3以下である場合(距離Leyeが範囲Aに位置する場合)には、ユーザーの目がファインダーにしっかり接眼されている状態であると考えられる。このとき、ユーザーの目161と視線検出部160との距離が短かければ、ユーザーの目161の動きがあっても、検出される視点位置は大きく変化しない。例えば、固視微動によって、視点位置が大きく変化することもない。このため、距離Leyeが範囲Aに位置する場合には、視線検出部160による視点位置の検出精度がよい。従って、システム制御部50は、第2の判定時間T2よりも短い第3の判定時間T3を、注視判定時間Tthに設定する。
このように、視線検出部160とユーザーの目161の距離に応じて視点位置の検出精度が異なるため、当該距離に応じた注視判定時間に設定することによって、ユーザーの意図した測距点選択などの処置を実現することができる。
本実施形態では、システム制御部50は、動作モードによらず注視判定時間を変更したが、動作モードに応じて、視線検出部160とユーザーの目161の距離に応じて注視判定時間の変更をするか否かを切り替えてもよい。例えば、静止画の撮影時(静止画撮影モード)では、素早く測距点選択を行うことが求められるため、システム制御部50は、視線検出部160とユーザーの目161との距離によらず、注視判定時間を短い値(例えば、第3の判定時間T3)に設定してもよい。一方、動画の撮影時(動画撮影モード)では
、システム制御部50は、視線検出部160とユーザーの目161の距離に応じて注視判定時間を変更するように制御する。なお、動画および静止画の撮影のいずれにおいても、視線検出部160とユーザーの目161の距離によらずに、注視判定時間が短く決定されてもよい。この場合には、撮影した画像の編集モードでは、リアルタイム性を求められないので、視線検出部160とユーザーの目161の距離に応じて注視判定時間が変更されてもよい。または、静止画撮影モードおよび動画撮影モードのいずれにおいても、システム制御部50は、視線検出部160とユーザーの目161の距離に応じて注視判定時間を設定してもよい。この場合には、システム制御部50は、2つのモードにおいて視線検出部160とユーザーの目161の距離が同一であれば、静止画撮影モードの方が動画撮影モードよりも注視判定時間を短く設定してもよい。
また、視線検出部160の注視位置(視点位置)の検出において、例えば、過去の検出結果などから視点位置の検出の信頼度(精度)に関わる情報が取得できた場合には、さらに、その結果に基づいて注視判定時間を設定してもよい。具体的には、過去の視点位置の検出の信頼度が高いほど注視判定時間が短く設定されてよく、信頼度が低いほど注視判定時間が長く設定されてもよい。
さらに、本実施形態では、視線検出部160とユーザーの目161との距離(数値;距離情報)に応じて、場合分けを行うことにより注視判定時間を変更したが、注視時間を視線検出部160とユーザーの目161の距離による演算式で注視判定時間を求めてもよい。例えば、視線検出部160とユーザーの目161との距離が長いほど、より長い注視判定時間が設定されてもよい。具体的には、視線検出部160とユーザーの目161との距離と、注視判定時間の長さとが比例するように、注視判定時間が設定されてもよい。また、実施形態1において、ユーザーの目161と視線検出部160の距離(数値;距離情報)の代わりに、単位時間当たりのユーザーの目161と視線検出部160の距離の変化量(図4に示すグラフの傾き)を用いてもよい。つまり、システム制御部50は、単位時間当たりのユーザーの目161と視線検出部160の距離の変化量を取得して、当該変化量が多いほど、注視判定時間を長く設定してもよい。これは、時間変化に対するユーザーの目161と視線検出部160の距離の変化量が多いほど、ユーザーの目161と視線検出部160との位置関係が大きく変化している状態であり、視点位置の取得精度が悪くなると考えられるためである。
また、視線検出部160による視線の検出精度は、ユーザーの目が接眼部16に接眼した直後において、それ以外の時点よりも、悪いことがある。そこで、システム制御部50は、接眼の継続時間に応じて、注視判定時間を変更してもよい。例えば、S302にて、システム制御部50は、ユーザーが接眼部16(ファインダー)に接眼したか否かを判定するとともに、接眼の継続時間を判定することができる。接眼の継続時間を用いる場合には、システム制御部50は、例えば、接眼の継続時間が短いほど、注視判定時間を長く設定する。または、システム制御部50は、接眼の継続時間が所定の時間よりも短ければ、目と視線検出部160との距離によらずに、第1の注視時間T1またはT1よりも長い時間を注視判定時間に設定してもよい。
[実施形態2]
以下、図5を参照して、実施形態2に係るデジタルカメラ100の測距点選択の処理について説明する。なお、本実施形態に係るデジタルカメラ100の構成は、実施形態1に係るデジタルカメラ100の構成と同様であるため、説明は省略する。
現在、視線検出部160として使用可能な電子機器(視線入力デバイス)の多くはキャリブレーション(視線検出部160が視線検出に用いるパラメータの補正;ユーザーの目の向きと視点位置との対応関係の補正)を必要とする。キャリブレーションを必要とする
理由は、視線入力デバイスと検出対象の目の距離が変わると、視点位置の検出結果に差異が出てしまうためなどである。このため、使用する状態においてキャリブレーションを実行しておき、視点位置(視線)の検出精度を担保している。しかし、デジタルカメラ100などでは、デジタルカメラ100とユーザーの位置関係が変化しやすいため、事前にキャリブレーションを実施していても、位置関係を保持するのが難しい場合もある。例えば、手ブレや撮影環境が揺れている環境で用いられるデジタルカメラ100などでは、ユーザーとデジタルカメラとの位置関係を維持するのは難しい。
そこで、本実施形態では、キャリブレーションの結果を用いつつも、ユーザーの目161と視線検出部160の距離の位置関係の変化を考慮できるデジタルカメラ100について説明する。本実施形態に係るデジタルカメラ100は、視線検出部160がキャリブレーションを実施した時点におけるユーザーの目161と視線検出部160の距離に基づき、注視判定時間Tthを切り替える。
図5は、本実施形態に係る測距点の選択の処理を示すフローチャートである。図5のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行し、各機能部を制御することにより実現される。なお、図3のフローチャートは、デジタルカメラ100が起動され、システム制御部50がキャリブレーションを実施すると開始される。なお、システム制御部50は、接眼検知部57を制御して、キャリブレーションを実施する際に予め、ユーザーの目161と視線検出部160との距離Lcalを測定(取得)する。そして、システム制御部50は、キャリブレーションを実施した際の、距離Lcalをメモリ32に保持しておく。また、図5におけるS301〜S305,S311,S312の処理は、実施形態1に係る図3のフローチャートの処理と同様であるため、説明は省略する。
S506では、システム制御部50は、S301にて測定した距離Leyeと距離Lcalとの差の絶対値(|Leye−Lcal|)である絶対差Labsが、第2の閾値Lth2より大きいか否かを判定する。絶対差Labsが第2の閾値Lth2より大きい場合にはS307に進み、そうでない場合にはS508に進む。
S508では、システム制御部50は、絶対差Labsが第3の閾値Lth3より大きいか否かを判定する。絶対差Labsが第3の閾値Lth3よりも大きい場合にはS309に進み、そうでない場合にはS310に進む。
ここで、絶対差Labsが第2の閾値Lth2より大きい場合には、キャリブレーション時からユーザーの目161と視線検出部160の位置関係が大きくずれている状態であるため、視線検出部160による視点位置の検出精度が悪いと考えられる。そこで、システム制御部50は、S307にて、注視判定時間Tthを大きな値である第1の判定時間T1に設定する。
一方、絶対差Labsが、第2の閾値Lth2以下であり、かつ、第3の閾値Lth3より大きい場合には、キャリブレーション時からユーザーの目161と視線検出部160の位置関係が少しずれている状態である。この場合には、視線検出部160の視点位置の検出精度が良い状態ではないと考えられる。そこで、システム制御部50は、S309にて、注視判定時間Tthを第1の判定時間T1よりも小さな値である第2の判定時間T2に設定する。
また、絶対差Labsが第3の閾値Lth3以下である場合には、キャリブレーションを行った際と同様に目とデジタルカメラ100との位置関係が維持できているので、精度よく視線検出部160による視点位置の検出が可能である。そこで、システム制御部50
は、S310にて、注視判定時間Tthを最も短い第3の判定時間T3に設定する。
このように、キャリブレーション時と使用時におけるユーザーの目161と視線検出部160の距離に応じて注視判定時間を変更する。このことにより、キャリブレーションを反映して、かつ、ユーザーの意図した視線入力を測距点選択に反映することができる。
本実施形態では、キャリブレーション時におけるユーザーの目161と視線検出部160の距離と、使用時における当該距離との差が、閾値より大きいか、もしくは閾値以下であるかの場合分けによって視判定時間を変更した。しかし、このような変更方法に限らず、注視時間を距離情報による演算式で求めてもよい。例えば、距離Leyeと距離Lcalとの差の絶対値が大きいほど、より長い注視判定時間Tthが設定されてもよい。
また、注視判定時間Tthの設定には、必ずしも距離Leyeと距離Lcalとの差の絶対値(数値)が用いられる必要はなく、例えば、距離Lcalに対する距離Leyeの割合(比率)、つまり、Leye/Lcalを当該絶対値の代わりに用いてもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、接眼検知部57による接眼検知は、赤外線近接センサーによるものではなく、レーザーなどの他の距離測定方法を用いるものであってもよい。また、視線検出部160とユーザーの目161の距離の取得を接眼検知部57が行ったが、2つの異なる位置から撮像した2つの撮像画像を比較することによって距離を取得する取得部が存在してもよい。さらに、本実施形態ではカメラを想定した内容で説明したが、デジタルカメラ100はカメラに限らず、任意の撮像機能を有する電子機器において実現可能である。例えば、ヘッドマウントディスプレイ(HMD)のように頭部固定で用いられるような電子機器でも、装着状態において決まる視線検出部と目との距離は、個人差あるいは装着環境(眼鏡装着状態、機種、個体差)によって異なるため、本発明が適用できる。
なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ、50:システム制御部、57:接眼検知部、
160:視線検出部

Claims (19)

  1. ユーザーの視線入力を受け付けて、ユーザーの視点位置を検出する視線検出手段と、
    ユーザーの目との距離に対応する第1の距離情報を取得する取得手段と、
    1)前記第1の距離情報に基づいて判定時間を設定し、2)該判定時間より長く、視点位置が継続して変化していないと判定する場合に、注視があったと判定する制御手段と、
    を有することを特徴とする電子機器。
  2. 前記制御手段は、単位時間あたりの前記第1の距離情報の変化量に基づいて前記判定時間を設定する、
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記制御手段は、前記制御手段が前記判定時間を設定する際の前記第1の距離情報と、予め取得されたユーザーの目との距離に対応する第2の距離情報とに基づいて前記判定時間を設定する、
    ことを特徴とする請求項1に記載の電子機器。
  4. 前記制御手段は、さらに、前記判定時間を設定する前に、前記視線検出手段のキャリブレーションを実施し、
    前記第2の距離情報は、前記制御手段が前記キャリブレーションを実施した際のユーザーの目との距離に対応する情報である、
    ことを特徴とする請求項3に記載の電子機器。
  5. 前記制御手段は、前記第1の距離情報に対応する距離と前記第2の距離情報に対応する距離との差の絶対値に基づいて前記判定時間を設定する、
    ことを特徴とする請求項3または4に記載の電子機器。
  6. 前記制御手段は、前記第1の距離情報に対応する距離と前記第2の距離情報に対応する距離との比に基づいて前記判定時間を設定する、
    ことを特徴とする請求項3または4に記載の電子機器。
  7. 前記制御手段は、さらに、前記視線検出手段による過去の視点位置の検出の信頼度に基づき、前記判定時間を設定する、
    ことを特徴とする請求項1から6のいずれか1項に記載の電子機器。
  8. ユーザーが接眼するファインダーをさらに有し
    前記制御手段は、さらに、ユーザーの目が前記ファインダーに継続して接眼している時間を取得し、当該時間に基づき前記判定時間を設定する、
    ことを特徴とする請求項1から7のいずれか1項に記載の電子機器。
  9. 前記制御手段は、前記第1の距離情報に基づく数値が所定の閾値よりも大きい場合には、ユーザーの視線入力を受け付けないように前記視線検出手段を制御する、
    ことを特徴とする請求項1から8のいずれか1項に記載の電子機器。
  10. 前記制御手段は、前記第1の距離情報に基づく数値が所定の閾値よりも大きい場合には、前記数値が前記所定の閾値以下の場合よりも前記判定時間を長く設定する、
    ことを特徴とする請求項1から8のいずれか1項に記載の電子機器。
  11. 前記制御手段は、前記数値が前記所定の閾値よりも大きい場合には、ユーザーに対する警告表示を行うように表示手段を制御する、
    ことを特徴とする請求項9または10に記載の電子機器。
  12. 前記制御手段は、前記注視があったと判定した場合には、さらに、前記注視があったと判定された際の視点位置である注視位置に応じた処理をする、
    ことを特徴とする請求項1から11のいずれか1項に記載の電子機器。
  13. 前記制御手段は、前記注視があったと判定した場合には、前記注視位置に応じた位置に測距点を設定する、
    ことを特徴とする請求項12に記載の電子機器。
  14. 前記制御手段は、前記注視があったと判定した場合には、前記注視位置を示す表示をするように表示手段を制御する、
    ことを特徴とする請求項12または13に記載の電子機器。
  15. 前記電子機器は、第1のモードと第2のモードとを含み、
    前記第1のモードでは、前記制御手段は、前記第1の距離情報に基づいて前記判定時間を設定し、
    前記第2のモードでは、前記制御手段は、前記第1の距離情報によらない判定時間を設定する、
    ことを特徴とする請求項1から14のいずれか1項に記載の電子機器。
  16. 前記第1のモードは、動画を撮影するモードであり、
    前記第2のモードは、静止画を撮影するモードである、
    ことを特徴とする請求項15に記載の電子機器。
  17. 前記ユーザーの目との距離とは、ユーザーの目と前記視線検出手段との距離、または、ユーザーの目とユーザーが接眼するファインダーとの距離である、
    ことを特徴とする請求項1から15のいずれか1項に記載の電子機器。
  18. ユーザーの視線入力を受け付けて、ユーザーの視点位置を検出する視線検出手段を有する電子機器の制御方法であって、
    ユーザーの目との距離に対応する第1の距離情報を取得する取得工程と、
    1)前記第1の距離情報に基づいて判定時間を設定し、2)該判定時間より長く、視点位置が継続して変化していないと判定する場合に、注視があったと判定する制御工程と、
    を有することを特徴とする電子機器の制御方法。
  19. コンピュータを、請求項1から17のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
JP2020088583A 2020-05-21 2020-05-21 電子機器、電子機器の制御方法、プログラム Active JP7446913B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020088583A JP7446913B2 (ja) 2020-05-21 2020-05-21 電子機器、電子機器の制御方法、プログラム
US17/323,875 US11412140B2 (en) 2020-05-21 2021-05-18 Electronic device, control method of electronic device, and non-transitory computer-readable storage medium
CN202110557471.2A CN113726991A (zh) 2020-05-21 2021-05-21 电子装置、电子装置的控制方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020088583A JP7446913B2 (ja) 2020-05-21 2020-05-21 電子機器、電子機器の制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021184123A true JP2021184123A (ja) 2021-12-02
JP7446913B2 JP7446913B2 (ja) 2024-03-11

Family

ID=78608570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020088583A Active JP7446913B2 (ja) 2020-05-21 2020-05-21 電子機器、電子機器の制御方法、プログラム

Country Status (3)

Country Link
US (1) US11412140B2 (ja)
JP (1) JP7446913B2 (ja)
CN (1) CN113726991A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706484A (zh) * 2022-04-18 2022-07-05 Oppo广东移动通信有限公司 视线坐标确定方法及装置、计算机可读介质和电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002062473A (ja) 2000-08-21 2002-02-28 Canon Inc 光学装置及びカメラ
JP2002345756A (ja) * 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
JP4884417B2 (ja) 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP2012128523A (ja) 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
US8941722B2 (en) * 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
WO2015030607A1 (en) * 2013-08-27 2015-03-05 Auckland Uniservices Limited Gaze-controlled interface method and system
US9645641B2 (en) * 2014-08-01 2017-05-09 Microsoft Technology Licensing, Llc Reflection-based control activation
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US9851791B2 (en) * 2014-11-14 2017-12-26 Facebook, Inc. Dynamic eye tracking calibration
KR102471370B1 (ko) * 2015-02-23 2022-11-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US10136124B2 (en) * 2015-04-27 2018-11-20 Microsoft Technology Licensing, Llc Stereoscopic display of objects
JP6676475B2 (ja) * 2016-06-01 2020-04-08 キヤノン株式会社 電子機器、その制御方法及びプログラム並びに記憶媒体
JP6862202B2 (ja) * 2017-02-08 2021-04-21 キヤノン株式会社 画像処理装置、撮像装置および制御方法
CN107219889A (zh) * 2017-05-25 2017-09-29 京东方科技集团股份有限公司 护眼显示装置和显示屏调整方法
US11079899B2 (en) 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
US20210368100A1 (en) 2021-11-25
JP7446913B2 (ja) 2024-03-11
CN113726991A (zh) 2021-11-30
US11412140B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
US11966155B2 (en) Imaging apparatus that, under certain conditions, displays one or both of an autofocus frame and a line-of-sight pointer, and method for controlling the same
JP7433860B2 (ja) 電子機器及び電子機器の制御方法
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
US11412140B2 (en) Electronic device, control method of electronic device, and non-transitory computer-readable storage medium
JP2020204915A (ja) 電子機器およびその制御方法
US11385711B2 (en) Image capturing control apparatus and control method therefor
EP3876517A1 (en) Electronic device, control method, program, and computer readable medium
JP7423248B2 (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
JP2022018244A (ja) 電子機器およびその制御方法
JP2021022897A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US11526208B2 (en) Electronic device and method for controlling electronic device
JP2021156919A (ja) 撮像装置
JP2021097356A (ja) 撮像制御装置
CN112040095A (zh) 电子装置、电子装置的控制方法及存储介质
JP6708516B2 (ja) 電子装置、その制御方法およびプログラム
US11538191B2 (en) Electronic apparatus using calibration of a line of sight input, control method of electronic apparatus using calibration of a line of sight input, and non-transitory computer readable medium thereof
WO2022131252A1 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
US20220272277A1 (en) Display control apparatus, control method for controlling the same, and storage medium
JP2021180437A (ja) 撮像装置
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2022095264A (ja) 表示制御装置及びその制御方法
JP2021152744A (ja) 電子機器及びその制御方法
JP2021158502A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2021018634A (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R151 Written notification of patent or utility model registration

Ref document number: 7446913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151