JP2020204710A - 電子機器およびその制御方法 - Google Patents

電子機器およびその制御方法 Download PDF

Info

Publication number
JP2020204710A
JP2020204710A JP2019112315A JP2019112315A JP2020204710A JP 2020204710 A JP2020204710 A JP 2020204710A JP 2019112315 A JP2019112315 A JP 2019112315A JP 2019112315 A JP2019112315 A JP 2019112315A JP 2020204710 A JP2020204710 A JP 2020204710A
Authority
JP
Japan
Prior art keywords
line
sight
touch
movement
sight input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019112315A
Other languages
English (en)
Other versions
JP7353811B2 (ja
JP2020204710A5 (ja
Inventor
智行 塩崎
Tomoyuki Shiozaki
智行 塩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019112315A priority Critical patent/JP7353811B2/ja
Priority to PCT/JP2020/021324 priority patent/WO2020255675A1/ja
Priority to CN202080044551.1A priority patent/CN113994659B/zh
Publication of JP2020204710A publication Critical patent/JP2020204710A/ja
Priority to US17/550,873 priority patent/US11910081B2/en
Publication of JP2020204710A5 publication Critical patent/JP2020204710A5/ja
Application granted granted Critical
Publication of JP7353811B2 publication Critical patent/JP7353811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Focusing (AREA)
  • Viewfinders (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】選択位置をユーザー所望の位置に、より素早く、かつ、より正確に移動させることができるようにする電子機器及びその制御方法を提供する。【解決手段】電子機器は、撮像手段と、ファインダーと、ファインダー内の表示手段と、ファインダーを覗くユーザーの視線による視線入力を受け付ける受付手段と、ファインダーの外にある操作面に対するタッチ操作を受け付けるタッチ操作手段を備える。視線入力に基づく選択位置の指定がされる状態である場合に、操作面にタッチして移動する移動操作が行われたことに応じて、表示手段に表示される選択位置を、操作面におけるタッチされた位置に対応した位置に移動することなく、視線入力に基づく位置から、移動操作の方向と移動量に応じて選択位置を移動するように制御する制御手段とを有する。【選択図】図3

Description

本発明は、視線によって操作可能な電子機器、および電子機器の制御方法に関するものである。
従来、ユーザーである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域(位置)を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。特許文献1には、ファインダーを覗きながらユーザーの視線位置を検出し、その視線位置にAF枠を表示することが開示されている。視線位置に応じたAF枠がユーザー所望の位置でなかった場合に、カメラ本体の8方向に操作可能な操作部材を操作することで、表示されたAF枠を移動することができる。
特開2015−22208号報
しかし特許文献1では、方向キーなどの操作部材を操作することで、視線位置に表示されたAF枠を移動しようとすると、測距点が多い場合にはAF枠の移動に多くの操作が必要となり、ユーザー所望の位置に移動するまでに時間がかかってしまう。
そこで本発明は、選択位置をユーザー所望の位置に、より素早く、かつ、より正確に移動させることができるようにすることを目的とする。
上記課題を解決するために、本発明の電子機器は、
撮像手段と、
ファインダーと、
ファインダー内の表示手段と、
前記ファインダーを覗くユーザーの視線による視線入力を受け付ける受付手段と、
前記ファインダーの外にある操作面に対するタッチ操作を受け付けるタッチ操作手段と、
前記視線入力に基づく選択位置の指定がされる状態である場合に、
前記操作面にタッチして移動する移動操作が行われたことに応じて、
前記表示手段に表示される前記選択位置を、前記操作面におけるタッチされた位置に対応した位置に移動することなく、
前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記選択位置を移動するように制御する制御手段と
を有することを特徴とする。
本発明によれば、選択位置をユーザー所望の位置に、より素早く、かつ、より正確に移動させることができる。
本実施形態である、デジタルカメラの外観図である。 本実施形態である、デジタルカメラの構成を示すブロック図である。 本実施形態における、カーソル表示・移動及び決定処理の制御フローチャートである。 本実施形態における、AFに関する設定画面の表示例である。 本実施形態における、設定メニュー画面でのカーソル表示例である。 本実施形態における、ファインダー内の測距点選択の表示例である。 本実施形態における、注視有無の判定フローチャートである。 本実施形態における、注視判定時間の閾値変更制御の説明図である。 本実施形態における、ファインダーを用いない場合の実施例を示す図である。
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)、(b)に本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。図1において、表示部28は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル70aは、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続するコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー74は操作部70に含まれ、4方向に押し込み可能な押しボタンを有する十字キーである。十字キー74の押した部分に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン77は操作部70に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン78は操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は、操作部70に含まれ、押下することにより各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、十字キー74やSETボタン75を用いて直感的に各種設定を行うことができる。
通信端子10はデジタルカメラ100が後述するレンズユニット150(着脱可能)と通信を行う為の通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部16を介して内部のEVF(Electric View Finder)29に表示された映像を視認することができる。接眼検知部57は接眼部16に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋202は記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100と通信を行う為の通信端子である。レンズユニット150は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御をし、AF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、または、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受を制御する。A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28、EVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28、EVF29により表示される。表示部28、EVF29は、LCDや有機EL等の表示器上に、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを、表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
赤外発光ダイオード166は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、接眼部16に接眼したユーザーの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから成る。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザーの眼球(目)161の画像または動きからユーザーの視線位置を検出し、検出情報をシステム制御部50に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により視線検出手段160が構成される。
本発明では視線検出ブロック160を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161の特に角膜で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。
ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash−ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、タッチパネル70a、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57はファインダーの接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくともデジタルカメラ100が撮影待機状態で、かつ、撮像部22を通して表示される画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57は、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が反射して赤外線近接センサーの受光部(図示せず)に受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部57の投光部および受光部は前述の赤外発光ダイオード166および視線検知センサー164とはべったいのデバイスであるものとする。ただし、接眼検知部57の投光部を赤外発光ダイオード166で兼ねてもよい。また、発光部を視線検知センサー164で兼ねてもよい。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は視線検出ブロック160からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部16に接眼したユーザーの視線が新たに入力(検出)されたこと。すなわち、視線入力の開始。
・接眼部16に接眼したユーザーの視線入力がある状態であること。
・接眼部16に接眼したユーザーが注視している状態であること。
・接眼部16に接眼したユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザーが何も視線入力していない状態。
ここで述べた注視とは、ユーザーの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。なお、所定時間はユーザーによって設定できる時間でもよいし、あらかじめ固定して決められた時間でもよいし、直前の視線位置と現在の視線位置との距離関係で変化するようにしてもよい。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を提供できる。システム制御部50はタッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態やタッチパネル70a上に指やペンがタッチしている位置座標は、内部バスを通じてシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
接眼状態でタッチムーブ操作が行われると、ユーザーはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば位置指標がAF枠とすると、絶対位置指定の場合、タッチパネル70aがタッチされると、タッチされた位置に対応付けられたAF位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部28の位置座標とが対応付けられる。一方、相対位置指定の場合は、タッチ操作が行われた位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、タッチパネル70aに対するタッチダウン位置に関わらず、現在設定されているAF位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、タッチ位置を移動させる。すなわち、タッチダウンした時点ではAF位置は移動しない。
本実施形態では、デジタルカメラ100における視線入力操作とタッチ入力操作による、カーソル表示・移動の制御処理について説明する。
図3は、設定メニュー画面におけるカーソル位置移動を、視線入力とタッチ操作により制御するフローチャートである。この制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。図3のフローチャートは、デジタルカメラ100を撮影モードで起動し、撮影待機状態においてユーザーがファインダーを覗いている場合、つまり接眼部16へ接眼状態である時に開始される。本実施形態は、ユーザーがファインダーを覗きながらタッチパネル70aを操作することで、設定メニュー項目を選択・変更するものである。
S302では、システム制御部50はデジタルカメラ100において、ユーザーが視線入力に関する設定を切り替えたか否かを判定する。切り替えた場合はS303へ進み、そうでない場合はS304へ進む。具体的には図4のようにデジタルカメラ100のメニュー画面を表示させる操作があり、かつ、視線入力に関する設定項目403の切替操作があったか否かを判定する。図4はEVF29または表示部28に表示される撮影に関する設定メニュー画面である。設定メニュー画面には設定項目401〜404が表示される。このうち、設定項目403が視線入力に関する設定項目である。視線入力とは、ユーザーがカーソル移動やAF枠の移動を視線によって行う機能を指す。視線入力は有効/無効のいずれかに設定することができる。視線入力を有効にすると、視線によるカーソル移動やAF枠の移動操作が可能になる。視線入力を無効に設定すると、視線によるカーソル移動やAF枠の移動操作が行えない。設定項目403aを選択すれば視線入力設定を有効にすることができ、設定項目403bを選択すれば視線入力設定を無効にすることができる。図4は、視線入力の設定が有効であることを表している。また、設定項目403は図5に示すカーソル500で表すカーソルで選択されていることを表している。
S303では、システム制御部50は、S302で変更があった設定内容を、不揮発性メモリ56に保存する。
S304では、システム制御部50は、不揮発性メモリ56を参照し、S303で保存した視線入力設定が有効であるか否かを判定する。視線入力設定が有効である場合はS305へ進み、無効である場合はS324へ進む。
S305では、システム制御部50は、視線入力の有無を判定する。視線入力がある、すなわち視線検出ブロック160においてユーザーによる視線が検出された場合には、S306へ進む。視線入力がない、すなわち視線検出ブロック160においてユーザーの視線が検出されない場合には、S308へ進む。視線入力があった場合、システム制御部50は、視線入力が始まった時点からの時間を計時する。視線検出ブロック160において検出された視線位置について、例えば30ミリ秒毎に視線位置を検出し、システム制御部50へ送る。システム制御部50は、視線位置と計時した時間から、ユーザーが視線を大きく動かしているか、あるいは、特定の位置を見つめているか(注視)を判定する。注視についてはS306で後述する。
S306では、システム制御部50は、ユーザーによる注視があるか否かを判定する。システム制御部50は、視線位置と計時した時間から、所定時間内における視線位置の移動量が既定の閾値以下であるときに、注視があったと判定する。例えば、120ミリ秒のうちに視線位置の移動量が既定の閾値以下であった場合は、注視があったと判定する。注視があった場合はS307へ進む。視線位置と計時した時間から、120ミリ秒のうちに視線位置の移動量が既定の閾値以上、すなわちユーザーが視線を大きく動かしている場合は、注視がなかったと判定し、S308へ進む。ここでは、視線入力によるカーソルの表示位置の移動についてユーザーの意図する視線位置と判定する条件として注視を取り上げたが、ユーザーのまばたきや音声による指示等を条件としてもよい。また、注視がなくとも視線の検出位置に応じてカーソルを移動するようにしてもよい(すなわち、S306〜S308、S311をなくしてもよい)。また、具体例として注視を判定する計時時間を120ミリ秒としたが、この計時時間はあらかじめ設定しておいてもいいし、ユーザーが自由に設定できるようにしてもよい。なお、現在ユーザーが注視をしている位置と、120ミリ秒前に検出された注視位置との位置関係に応じて変化するようにしてもよい。上述した注視位置の位置関係に応じて計時時間を変化させることについては、図8を用いて後述する。
S307では、システム制御部50は、システムメモリ52に注視フラグを1として格納する(注視フラグを立てる)。S306において注視があったと判定された場合、注視フラグを1とする。
S308では、システム制御部50は、システムメモリ52に注視フラグを0として格納する。S306において注視がなかったと判定された場合、注視フラグを0とする。
S309では、システム制御部50は、タッチパネル70aに対するタッチダウンの有無を判定する。タッチダウンがあった場合は、S310へ進み、そうでない場合はS305へ戻る。
S310では、システム制御部50は、視線入力によるカーソルの移動を一時的に禁止・制限する。これは、ユーザーによるタッチオン中は、ユーザーが視線入力によって移動したカーソルの微調整を行う(ユーザー所望の位置へ調整する)ためにタッチ操作を行うことが想定されるためである。そのため、タッチパネル70aへのタッチダウン操作開始後、タッチ操作が継続している間は、S306で述べた注視があったとしても、視線に基づくカーソルの移動は行わない。これにより、ユーザーがタッチ操作によって微調整を行いユーザー所望の位置へ移動させたカーソルが、視線によって別の位置へ移動してしまうことを避けることができる。
S311では、システム制御部50は、システムメモリ52に格納されている注視フラグが1であるか否かを判定する。注視フラグが1である、すなわちS306で注視があった場合はS312へ進む。注視フラグが1でない、すなわちS306で注視がなかった場合はS325へ進む。
S312では、システム制御部50は、タッチパネル70aへのタッチ操作開始前、あるいは、タッチ操作開始時点での、EVF29において検出されている視線(注視)位置へ、視線選択表示モードのカーソル(インジケーター)を表示する。視線選択表示モードのカーソル(以下、視線カーソル)とは、後述のタッチ選択表示モードのカーソル(以下、タッチカーソル)とは異なるカーソル(インジケーター)であることをユーザーが視認できるような表示とする。図5は設定メニュー画面の一例である。図5(a)の視線カーソル501はS306で注視があったと判定され、S308でタッチダウンがあった場合に表示される。視線カーソル501は図5(a)に示すように、被選択領域の全体の色を選択されていない領域の色と異なる色となるようにする。これは、ユーザーが視線カーソル501と後述するタッチカーソル502を混同するのを避けるためである。そのため、ユーザーが視線カーソル501とタッチカーソル502が異なるものであると識別可能な表示であれば、図5(a)とは異なる表示形態でもよい。例えば、視線位置にポインターを表示するような表示形態でもよい。S311において注視の有無を確認することで、注視があった場合はユーザーが視線によって特定のメニュー項目を選択する意図があると想定できる。そのため、ユーザーの視線位置へ視線カーソル501を表示したとしても、ユーザーが煩わしく感じることを低減できる。一方で注視がなかった場合は、ユーザーは特定の位置を見ているわけではなく、EVF29内全体を確認している可能性が高い。また、図3の制御フローではS309でのタッチダウンがあったことに応じて視線位置に視線カーソル501を表示するようにしている。しかし、本制御フローが開始して設定メニュー画面を開いた時点で図5のカーソル500に示すようなカーソルを表示してもよい。カーソル500は被選択領域の外周枠の色を、選択されていない領域の外周枠の色と異なる色となるようにした。カーソル500の表示形態は、視線カーソル501と混同しないような表示であれば図5(a)とは異なる表示形態でもよい。
S313では、システム制御部50は、システムメモリ52にスライドフラグを0として格納する。
S314では、システム制御部50は、タッチパネル70aにおけるタッチムーブの有無を判定する。タッチムーブがあった場合はS315へ進み、そうでない場合はS317へ進む。
S315では、システム制御部50は、システムメモリ52にスライドフラグを1として格納する(スライドフラグを立てる)。
S316では、システム制御部50は、S313でタッチパネル70aにおいてタッチムーブがあった場合に、S312において表示した視線カーソル501に代えて、タッチカーソル502を表示する。タッチパネル70aへのタッチムーブ操作量に第2の係数をかけた第2の量だけ、EVF29においてタッチカーソル502を相対位置移動する。タッチカーソル502とは、S312において表示した視線カーソル501とは異なった表示形態とし、ユーザーが、視線によって選択された位置とタッチによって選択された位置とを混同しないようにする。ここでは例として、図5(b)に示すタッチカーソル502にように被選択領域の外周枠の色を、選択されていない領域の外周枠の色と異なる色となるようにし、外周枠に囲まれた内側部分を網掛けとし、文字に重畳して表示をする。カーソルの表示形態はタッチカーソル502と視線カーソル501をユーザーが混同しないような表示形態であれば、前述した表示形態とは違うものでもよい。カーソル500とタッチカーソル502の表示形態を異なるものとしたが、視線カーソル501と異なるカーソルであると認識できるものであれば、カーソル500とタッチカーソル502とを同じような表示形態のカーソルとしてもよい。これにより、ユーザーはEVF29上に表示されているカーソルを混同することなく視認することができる。また、タッチムーブ操作に応じてカーソルを相対移動させる。絶対位置指定と異なり、タッチパネル70aのタッチ操作位置とEVF29内に表示するカーソル位置とは対応付けられない。第2の係数は後述する第1の係数より小さい。すなわち大きなタッチムーブ操作量でもカーソルは大きく動かず、同じタッチムーブ操作量であれば、後述のタッチムーブ量に第1の係数をかけた第1の量よりも、タッチムーブ量に第2の係数をかけた第2の量のほうがEVF29におけるカーソル移動量が小さい。つまり、カーソルをより細かく移動させることができる。
S317では、システム制御部50は、タッチパネル70aからのタッチアップの有無を判定する。タッチアップがあった場合は、S318へ進み、そうでない場合は、S313へ戻る。なお、S317時点でEVF29内に表示していたタッチカーソル502を、タッチアップ操作に応じてカーソル500の表示形態に変化させてもよい。
S318では、システム制御部50は、システムメモリ52を参照し、スライドフラグが0であるか否かを判定する。すなわち、S314においてタッチパネル70aに対するタッチムーブ操作がなかったかどうかを確認する。スライドフラグが0、すなわちS314でタッチムーブ操作がなければ、S319へ進み、スライドフラグが1、すなわちS314でタッチムーブ操作があれば、S321へ進む。S318においてスライドフラグが0であるということは、タッチパネル70aに対してタッチダウンのあとにタッチムーブ操作なしにタッチアップがあったということである。本実施形態では、視線によるメニュー項目選択があったあとのタップ操作(タッチダウンに続いてタッチアップを行う、一連の操作)は、ユーザーが視線カーソル501で選択したメニュー項目を決定したいと考えていると想定する。一方でスライドフラグが1であるということは、ユーザーは視線カーソル501で選択された項目ではなく、別のメニュー項目を選択したかったものと考えられる。また、S316で述べたように、視線カーソル501を表示したあとにタッチムーブ操作があった場合、タッチカーソル502はタッチムーブ操作量に第1の係数よりも小さい第2の係数かけた量だけ相対移動する。第2の係数かけた第2の量は、一回のタッチムーブ操作量ではタッチパネル70aの一端から他端へは移動しないだけの操作量であるため、タッチカーソル502は細かく移動する。これにより、ユーザーは視線カーソル501で選択されたメニュー項目から、ユーザー所望のメニュー項目へカーソルを微調整することができる。
S319では、システム制御部50は、表示されているカーソル位置の項目の決定処理を行う。具体的には図5において、視線カーソル501で選択されているピクチャースタイルに関する項目を決定処理する例を説明する。ピクチャースタイルに関する項目を選択すると、設定内容について、撮影画像に関する一般的な画質設定であるスタンダードモードから、オートやポートレートといった画質設定へ変更する。
S320では、システム制御部50は、S319において行われた選択項目の決定処理、すなわち設定項目の変更内容を不揮発性メモリ56に保存し、本制御フローを終了する。
S321では、システム制御部50は、S317でのタッチアップから所定時間T1が経過したか否かを判定する。所定時間T1が経過していた場合はS322へ進み、経過していない場合はS323へ進む。所定時間T1とは、300ミリ秒程度の時間を想定しているが、この時間はあらかじめ決められた時間でもよいし、ユーザーが任意に設定できるものでもよい。
S322では、システム制御部50は、S310において一時的に禁止・制限をした、視線入力による視線カーソル501の移動を許可し、S302へ戻る。
S323では、システム制御部50は、タッチパネル70aへのタッチダウンがあったか否かを判定する。タッチダウンがあった場合は、S314へ戻り、なかった場合は、S321へ戻る。S317のタッチアップから時間T1経過せず、再度タッチダウン操作があるということは、ユーザーはタッチパネル70aに対して繰り返しタッチムーブ操作を行おうとしていると考えられる。つまり、ユーザーがタッチカーソル502をさらに大きく移動させるために、タッチアップ、タッチダウン操作を繰り返している可能性が高い。そのため、S317のタッチアップからT1時間経過せずにタッチパネル70aへ再度タッチダウンがあった場合は、タッチアップがあったとしても視線入力の一時的な制限を継続する。視線入力の一時的な制限を継続し、S306における注視位置を維持したまま、S314におけるタッチムーブ操作の有無を判定する。これにより、注視位置を維持したままタッチムーブ操作を繰り返してタッチカーソル502の微調整を行おうと考えていたユーザーの意図に反した、視線によるカーソルの移動を低減することができる。
S324では、S309と同様に、システム制御部50はタッチパネル70aに対するタッチダウンの有無を判定する。タッチダウンがあった場合は、S325へ進み、そうでない場合はS302へ戻る。
S325では、システム制御部50は、タッチパネル70aに対するタッチダウンがあったことに応じて、設定メニュー画面の項目上にタッチカーソル502を表示する。S325では、S304における視線入力設定が無効であるため、視線カーソル501は表示されず、タッチダウンに応じてタッチカーソル502を表示する。図5(a)のカーソル500はユーザーが設定メニュー画面を表示した際に表示される、初期位置のカーソルである。カーソル500は視線とタッチ操作のいずれにも依らないものである。S325で表示されるタッチカーソル502は、図5(b)におけるタッチカーソル502を指す。タッチダウンに応じて表示されるタッチカーソル502の位置は、EVF29に表示されているタッチダウン操作前に表示されていたカーソル位置に表示される。すなわち、図5(a)のようにカーソル500が表示されている状態でタッチダウンを行うと、カーソル500の位置に、カーソル500に代えてタッチカーソル502を表示し、そこから相対移動するようにする。
S326では、システム制御部50は、S313と同様に、システムメモリ52にスライドフラグを0として格納する。
S327では、S314と同様に、システム制御部50は、タッチパネル70aへのタッチムーブの有無を判定する。タッチムーブがあった場合はS328へ進み、そうでない場合はS330へ進む。
S328では、システム制御部50は、S315と同様に、システムメモリ52にスライドフラグを1として格納する(スライドフラグを立てる)。
S329では、システム制御部50は、S325で表示したタッチカーソル502を、タッチムーブ操作量に第1の係数をかけた第1の量だけ、EVF29においてタッチカーソル502を相対位置移動させる。第1の係数とは、前述した第2の係数よりも大きな係数である。タッチムーブ操作量に第1の係数をかけた第1の量だけタッチカーソル502を移動させる。第1の係数がある程度大きな係数であれば、小さなタッチムーブ操作量でも指の反復操作回数を減らして、より素早くカーソルを所望位置に移動することができる。
S330では、S317と同様に、システム制御部50は、タッチパネル70aからのタッチアップの有無を判定する。タッチアップがあった場合は、S331へ進み、そうでない場合は、S326へ戻る。
S331では、システム制御部50は、システムメモリ52を参照し、スライドフラグが0であるか否かを判定する。すなわち、S326でタッチパネル70aに対するタッチムーブ操作がなかったかどうかを確認する。スライドフラグが0であれば、すなわちS327でタッチムーブがなければ、S319へ進み、スライドフラグが1であれば、すなわちS327でタッチムーブがあれば、S325へ戻る。
このように本実施形態では、視線入力がある場合には、視線カーソル501によって視線入力で選択されている設定メニュー項目を示す。タッチパネル70aへのタッチムーブ操作があった場合は、視線カーソル501からタッチカーソル502へと表示形態を変化させ、タッチムーブ操作に応じてタッチカーソル502を移動させる。視線カーソル501とタッチカーソル502の表示形態を異ならせることで、ユーザーがEVF29上に表示されているカーソルが視線によるものなのか、タッチ操作によるものなのかを混同することなく視認することができる。ユーザーは視線により所望位置へカーソルを大まかに移動させることができ、必要に応じてタッチムーブ操作によってカーソルの微調整をすることができる。視線入力がない場合には、視線入力がある場合のタッチムーブ操作量に対応した量よりも大きな量だけ相対移動するため、視線入力がなくともより素早くカーソルを所望位置に移動させることができる。つまり、ユーザーは混同することなく所望の位置に、カーソルをより素早くかつより正確に移動させることができる。
本実施形態で説明したファインダーを用いたデジタルカメラ100においては、タッチ操作の位置指定を相対位置指定とした。そのため、ユーザーのタッチパネル70aへのタッチ操作の位置座標と表示部28の位置座標とは1対1には対応付かない。つまり、タッチパネル70aへのタッチ位置にカーソルが移動するわけではないため、ユーザーはタッチ位置を目視で確認する必要がない。これにより、例えばユーザーがファインダーを覗いた状態で設定メニュー項目を選択しようとしても(設定メニューを変更しようとしても)、ファインダーから目を離して表示部28を確認する必要がない。ファインダーから目を離すという一手間を行うことなく操作を行うことができるので、ユーザーが煩わしく感じることやシャッターチャンスを逃す可能性を低減することができる。
また、視線入力で素早くカーソルを移動させたあと、例えば十字キー74などの操作ボタンを操作することでカーソル位置を微調整しようとすると、デジタルカメラ100に搭載の数多くの操作ボタンの中から、十字キー74を探し出す必要が生じる。近年ではデジタルカメラの小型化により、より狭い場所に様々な操作ボタンが搭載されている。これに対してタッチパネル70a(表示部28)はデジタルカメラ100の背面の大きな範囲を占めており、特定の操作ボタンよりも、よりアクセスしやすい。
図3〜図5の例では、設定メニュー画面におけるカーソル位置移動の例を説明したが、本願はこれに限るものではない。例えば、撮影モードの際に複数の測距点の中からAFに用いる測距点を選択する場合にも本願を適用可能である。ユーザーが任意に選択できる測距点(焦点検出領域)の増加により、十字キー74を用いて視線位置から微調整を行おうとすると、多くの操作回数が必要になる。図6はファインダー内の測距点選択の表示例であり、図6(a)はユーザーが任意に選択可能な測距点600が複数あることを示す図である。近年ではユーザーが選択できる測距点が、5000点程あるようなデジタルカメラが存在する。このような選択可能な測距点が多数あるデジタルカメラにおいて、図6(b)のように測距点601の位置に測距点があり、ユーザーの視線によって測距点602の位置まで移動したとする。ユーザーの視線位置に基づいて測距点が移動したが、ユーザー所望の測距点は測距点602ではなく測距点603であった場合に、十字キー74を用いた測距点の移動では、十字キー74の右方向の押下が2回必要であった。これに対してタッチ操作を用いた測距点の移動では、タッチパネル70aへの1回のタッチムーブ操作によって移動量610だけ測距点が移動し、所望の位置へ測距点を移動することができる。図6では十字キー74を2回押下するだけの例を示したが、ユーザーの所望する測距点位置が測距点602から見て斜め下方向であると、さらに十字キー74の操作回数が増加する。ユーザーのタッチムーブ操作量が大きければ移動量610は大きくなり、タッチムーブ操作量が小さければ移動量610は小さくなる。そのためユーザー所望の測距点603が測距点602から多少遠くても、タッチムーブ操作であれば1回の操作でより素早く、かつ、より正確に所望位置へ測距点を移動させることができる。
さらには、図3のS318〜S320で述べたように、タッチパネル70aへのタッチムーブ操作がなければ(タップ操作のみであれば)、表示されているカーソル位置の項目の決定処理を行う。ユーザーの視線入力によって選択した設定メニュー項目について、項目を実行するためには、ユーザーのなんらかの決定指示が必要となる。例えば、注視を項目決定の指示とした場合、注視の判定時間を長くすると決定指示を出すまでに時間がかかってしまい、シャッターチャンスを逃す可能性が生じる。一方で注視判定時間を短くすると、ユーザーの意図に反した決定指示が行われる可能性があり、ユーザーが煩わしく感じる可能性がある。そのため、ユーザーの意図をより明確に反映できる決定指示が必要となる。本実施形態で説明したようにタップ操作を決定指示とすると、タッチムーブがない場合は視線カーソルの位置での項目を実行するためのユーザーの決定指示となる。タッチムーブで視線カーソルの位置からより正確に微調整を行った後に、指をさらに移動させることなくその場でタップすることで、決定指示を行うことができる。前述したように、タッチ操作を行うタッチパネル70aは、デジタルカメラ100において操作ボタンよりも広い範囲を占めており、アクセスがしやすい。また、ユーザーの決定指示、微調整(修正)指示をタッチ操作のみで行うことができるため、指を様々な位置へ移動させる必要がなく、ユーザーにとっては操作がよりしやすい。これらのことから、タップ操作で決定指示とすることにより、ユーザーは視線とタッチ操作により、より素早くより正確にカーソルを移動させることができ、タッチ操作でより素早く決定指示を行うことができる。
なお、図3のフロー制御中に十字キー74や8方向に操作可能なマルチコントローラー(不図示)等の方向キーが操作された場合には、操作された時点で表示されているカーソル位置から方向キーへの操作に応じてカーソルを移動できるものとする。具体的には、視線入力による視線カーソル501が表示されている場合に、タッチムーブではなくキー操作が行われた場合は、視線カーソル501位置から移動する。視線入力が無効である場合は、図5(a)のカーソル500からキー操作に応じて移動する。この方向キーの操作に応じて移動されるカーソルは、視線選択表示モードの視線カーソル501とは別の表示モードのカーソルであればよく、タッチ操作表示モードのタッチカーソル502と同じ表示形態としてもよいし、別のカーソル表示でもよい。また、フロー制御中に第1シャッタースイッチ62がオンとなった場合は、設定メニュー画面から撮影待機状態に遷移し撮影準備動作を開始する。第2シャッタースイッチ64が押された場合は、設定メニュー画面から撮影待機状態に遷移し撮影処理を行う。モード切替スイッチ60が操作された場合は操作に応じてモードを切り替えた後、メニュー画面に戻ることなく撮影待機状態へ遷移する。
図3の制御フローでは、タッチパネル70aへのタップ操作で選択されたメニュー項目の決定処理を行うものとしたが、単なるタップ操作による決定処理でなくともよい。単なるタップ操作では決定処理が行われず、S317、S330でのタッチアップ操作のあと、SETボタン75などのデジタルカメラ100に搭載の操作ボタンの押下により決定処理を行ってもよい。
タッチパネル70aへの押圧を検知可能なように構成し、タッチパネル70aへの押圧に応じて決定処理を行うようにしてもよい。すなわち、表示部28の操作面(タッチパネル70aの操作面)に対する押圧力を検知する、タッチ操作の強度を検出するための圧力センサー(不図示)というものがある。圧力センサーは、表示部28に対するタッチ操作によって押圧された場合の押圧力の強度を連続的に検知することができる。圧力センサーとしては、表示部28の操作面に対する押圧力によって歪む部分に、1つまたは複数の歪みゲージセンサーを設置し、この歪みゲージセンサーからの出力値によってタッチパネル70aの操作面に対する押圧力を検知する構成とすることができる。あるいは、タッチパネル70aと平行に備えられた静電容量センサーにより、表示部28の操作面に対する押圧力によって操作面が歪んだことによる、操作面上の指と静電容量センサーとの距離を静電容量値から算出する。そして、この距離に基づいて圧力を算出、あるいは距離を圧力と同等に扱うものとしてもよい。また、圧力センサーは、タッチパネル70aの操作面に対する押圧力を検知可能なものであれば、他の方式のものでも良い。例えば、スタイラスを用いて操作面に対する操作を行うのであれば、スタイラス側に設けられたスタイラスの先端部にかかる圧力を検知するセンサーでもよく、そのセンサーからの出力に基づいてタッチ操作の強度(押圧力)を検知してもよい。また、操作面へのタッチの力またはタッチの圧力の代替物(例えば上述の操作面上の指と静電容量センサとの距離)を検知するものでもよい。また、様々な方法、及び様々なセンサー、または複数のセンサーの組合せ(例えば加重平均によって)を使用してタッチ操作の強度(圧力)を検知しても良い。圧力センサーは、タッチパネル70aと一体に構成されるものであっても良い。以下、表示部28の操作面に対する押圧操作をタッチプッシュと称する。この圧力センサーを備えたタッチパネル70aを搭載したデジタルカメラ100であれば、S317、S330のタッチアップ前にタッチプッシュがあったか否かに応じてS319の決定処理の可否を決めてもよい。つまり、S318、S331でのスライドフラグが0であるか否か(タッチムーブがあったか否か)によらず、S319の決定処理の可否を決めることができる。また、S321においてタッチアップからタッチダウンまで一定時間が経過したか否かについての条件についても、計測した時間を元にユーザーの項目決定の意思を判定するのではなく、タッチプッシュ操作で判定をするようにしてもよい。
図7は、図3のS306で行った、注視の有無を判定する制御フローチャートである。この制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。図7のフローチャートは、デジタルカメラを撮影モードで起動し、視線入力に関する設定が有効、かつ、視線入力がある(視線検出ブロック160がユーザーの視線を検出できている状態である)場合に開始される。
S701では、システム制御部50は、視線検出ブロック160で検出した視線検出位置P(K)と、視線がP(K)位置で検出される前に検出されていた視線検出位置P(K−1)との差分を算出する。この差分を、視線検出位置の移動量ΔP(以下、視線移動量ΔPとする)とする。視線移動量ΔPは以下のように表すことができる。
ΔP=P(K)−P(K−1)
例えば30ミリ秒毎に視線位置を検出していた場合は、P(K)を検出した30ミリ秒前の視線検出位置をP(K−1)とする。ここで、Kは図7の制御フローの処理回数を表すカウント値であり、システムメモリ52に格納される。
S702では、システム制御部50は、S701で算出した視線検出位置の移動量ΔPが、既定の移動量閾値Loより小さいか否かを判定する。すなわち、視線位置が特定の位置に留まっているか否かを判定する。ΔPがLoより小さい(ΔP<Lo)、すなわち視線位置が特定の位置範囲に留まっている場合は、S703へ進む。ΔPがLo以上(ΔP≧Lo)、すなわち視線位置が特定の位置範囲に留まることなく大きく動いている場合は、S704へ進む。既定の移動量閾値LoはEVF29における視線検出位置の移動量を示しており、視線検出位置移動量ΔPがLoより小さければ、ユーザーは特定の位置を注視していると考えられる。システム制御部50は、ΔPがLoより小さい(ΔP<Lo)と判定すると、システムタイマー53を用いてΔPがLoより小さい状態の継続時間を計時する。例えば30ミリ秒毎に視線位置を検出していた場合は、30ミリ秒毎にΔPがLoより小さいかどうかを検出することができる。既定の移動量閾値Loはあらかじめ決めた固定値でもよいし、ユーザーが任意に設定できる値でもよいし、なんらかの条件や状態によって可変するようにしてもよい。例えば、EVF29の外枠に視線位置が近くなればなるほど大きくするようにしてもよい。S702において視線移動量ΔPが移動量閾値Loより小さいか否かを判定することで、固視微動と呼ばれる、不随意的に生じる細かな眼の揺れがあったとしても、注視の有無を判定することができる。
S703では、システム制御部50は、システムタイマー53を使用し、S702で開始した計時の時間に対応したタイマーカウント値Tをインクリメントし、S705へ進む。タイマーカウント値Tは、システムメモリ52へ格納される。S701で述べたように、例えば30ミリ秒毎に視線位置を検出していた場合は、30ミリ秒経過毎にタイマーカウント値Tをインクリメントする。計時が始まってから30ミリ秒が経過するとT=1となり、さらに30ミリ秒経過(計60ミリ秒経過)すると、T=2となるようにする。
S704では、システム制御部50は、タイマーカウント値Tを0に(クリア)し、S607へ進む。タイマーカウント値Tは、システムメモリ52へ格納される。これはS702において、ΔPがLo以上(ΔP≧Lo)、すなわち視線が大きく動いていると判定された場合を示す。
S705では、システム制御部50は、タイマーカウント値Tが既定のタイマーカウント閾値Tthより大きいか否かを判定する。TがTthよりも大きければ(T>Tth)、S706へ進む。Tが既定のタイマーカウント閾値Tth以下であれば(T≦Tth)、S707へ進む。例えば、既定のタイマーカウント閾値TthをTth=1(例えばT=1が30ミリ秒)とすると、注視と判定される注視時間が短くて済むため、視線によるカーソルなどの位置指標がすぐ表示される。ただし人間の固視微動ではない無意識的な視線の移動に応じて位置指標が適宜移動してしまい、ユーザーが煩わしく感じる可能性がある。一方でTth=30(例えば900ミリ秒)とすると、注視と判定される注視時間が長くなり、その間ユーザーは同じ位置を見つめ続けなければならない。ただし、視線による位置指標が細かく移動しないため、ユーザーが煩わしく感じることを低減できる。なお、既定のタイマーカウント閾値Tthはあらかじめ決めた固定値でもよいし、ユーザーが任意に設定できる値でもよいし、ΔPの値が小さい場合には長く、ΔPが大きい場合には短くしてもよい。
S706では、システム制御部50は、S702で計時を開始した時間に対応したタイマーカウント値Tが閾値Tthより大きい(T>Tth)場合に、ユーザーによる注視があったと判定し、判定結果をシステムメモリ52に記録する。
S707では、システム制御部50は、図7の制御フローの処理回数を表すカウント値Kをインクリメントし、システムメモリ52に格納する。なお、カウント値TおよびKは、デジタルカメラ100の電源スイッチによる電源のオフ。また、オートパワーオフ機能(所定の長い時間、例えば1分程度無操作が継続すると、デジタルカメラ100の電源をオフする機能)により、電源がオフになったのちに起動されると、起動時に初期化される。
このように図7の制御フローで判定された結果から、図3のS306における注視の有無についての判定がされる。
本実施形態では前述したように、視線検出位置の移動量ΔPが既定の移動量閾値Loより小さいときに、ΔP<Lo状態の継続時間に対応するタイマーカウント値Tが、既定の時間閾値Tthを超えた場合、注視があったと判定する構成とした。この既定の時間閾値Tthの値は、現在選択されているカーソル表示位置Poと、現在の視線検出位置P(K)との差分が大きいほど、Tthを小さくするとしてもよい。具体的には図8に示すような構成としてもよい。
図7に示すように注視によって視線位置を決める(表示する)ことで、ユーザーの無意識的な視線の微動や、大きな視線の移動に応じてその都度視線位置が表示されることがないため、ユーザーが煩わしく感じることを低減することができる。
図8は本実施形態における、注視判定時間の閾値変更制御の説明図である。
図8(a)に示す、位置800はEVF29に表示している選択位置を示しており、この位置を選択位置Poとする。選択位置Poを原点とし、選択位置Poからの距離に応じて移動量Lとタイマーカウント値Tの関係性を示したグラフを、図8(b)に示す。
視線検出位置(視線の入力位置)が位置801であるとすると、位置801をP1(K)とする。このときのカーソル移動量L1は、
L1=|P1(K)−Po|
と表すことができる。このときの時間閾値TthをT1とする。
一方で、視線検出位置(視線の入力位置)が位置802であるとすると、位置802をP2(K)とする。この時のカーソル移動量L2は、
L2=|P2(K)−Po|
と表すことができる。このときの時間閾値TthをT2とする。
このときの移動量Lと時間閾値Tthについて、選択位置Poを基準として、移動量Lが大きくなれば、時間閾値Tthが小さくなるという比例関係となる構成とする。すなわち図8に示す、PoとP2(K)を結んだ直線の傾きをA2、PoとP1(K)を結んだ直線の傾きをA1とすると、
|A2|=|A1|
と表すことができる。したがって、L1<L2のとき、T1>T2となる。これにより、Lの値が小さいほどTthの値が大きくなるため、微小な視線のずれに応じて、その都度カーソルが移動することを防ぐことができる。つまり、ユーザーの無意識的な視線のずれに応じて、カーソルが細かく移動することを防ぐことができる。一方で、Lの値が大きいほどTthの値が小さくなるので、大きな視線の動きについてはユーザーが意図的に動かしたと想定できるため、短時間で大きなカーソル移動をすることが可能になる。
このように、選択位置の表示位置と視線位置との距離が離れている時は注視の判定時間を短く、距離が近いときは判定時間を長くする。これにより、視線を大きく動かす場合にはより素早く、視線を細かく動かす場合はより正確に、視線位置を指定することができる。
本実施形態では、「視線選択表示モード」及び「タッチ選択表示モード」による選択対象表示方法の例として、図5(a)及び(b)に示す表示方法を示した。しかしこれに限るものではなく、各種カーソルとして示したインジケーターの表示方法は、例えば矢印型のアイコンを使用した表示方法や、丸印型のアイコンを使用した表示方法等、どのような表示方法としても構わない。例えば、アイコンの色を表示モード毎に変更することで、ユーザーがいずれの表示モードを使用しているか視認できるため、図5に示す実施形態と同様に、誤操作になりにくい。なお、接眼状態でのタッチムーブ操作の位置指定の方法として、ユーザーが絶対位置指定と相対位置指定のいずれかに設定できることを上述したが、本実施形態ではユーザーの設定内容にかかわらず、タッチムーブ操作に応じた位置指定を、相対位置指定とする。タッチムーブ操作の位置指定の方法を絶対位置指定とすると、ユーザーがタッチパネル70a上でタッチ操作を行った位置に対応したEVF29の位置にカーソルが表示されることになる。EVF29を覗いているユーザーが正確にタッチ位置を確認してタッチするためには、EVF29から眼を離し、タッチパネル70aを目視しなければならない。仮にEVF29から眼を離すことなくタッチすると、ユーザーはタッチ操作をするまで自分のタッチ位置の正確な位置を把握することができない。また、設定メニュー画面においては、ユーザーが例えば右目でEVF29を覗いていた場合に、表示部28の中央より左寄りの場所はユーザーの指が届きにくい。ユーザーの指が届きにくい場所に設定項目やページ番号が表示されていることがあり、タッチムーブ操作に応じた位置指定が絶対位置指定であると、ユーザーが選択した位置を選択できない可能性がある。そのため本実施形態では、タッチムーブ操作に応じた位置指定を、ユーザーの設定内容にかかわらず、相対位置指定とする。
本実施形態の構成によれば、スライドフラグが1である(スライドフラグが立っている)時のみ、選択カーソルの決定処理を行う。スライドフラグはタッチムーブが検出されなかった時のみクリアされるため、タッチムーブを検出しながらタッチアップが検出された場合は、スライドフラグはクリアされない。タッチパネルを利用して順次カーソル枠位置を移動する操作に適した構成となる。
上述の実施形態では、ファインダーを覗くユーザーの視線を検出し、ファインダー外のタッチパネルによる位置指定操作と組み合わせて位置指定を行い、ファインダー内に表示される選択位置を移動する例を説明したが、これに限るものではない。図9に、本実施形態でのEVF29を用いない場合の実施形態を示す。
図9はノートパソコンのタッチパッドを用いたマウスポインタの移動を行う例である。図9において、本実施形態で述べたタッチパネル70aに対応するものとして、タッチパッド905を示す。ノートパソコンでの視線検出ブロック160として、独立した視線検出機器910をノートパソコンに接続し、視線検出機器910に搭載されているカメラ911や、ノートパソコンに内蔵されている内蔵カメラ912を用いて視線位置を判定する。ノートパソコンにおいても本実施形態と同様に、視線入力に応じてマウスポインタが視線位置に移動する。タッチパッド905へのタッチムーブ操作に応じて視線位置に表示されたマウスポインタがタッチムーブの操作量に第2の係数(<第1の係数)をかけた第2の量(同じタッチムーブ量であれば第1の量より小さい)だけ相対移動する。これによりタッチパッドにおいても、マウスポインタを微調整することができる。
なお、他の実施形態としてノートパソコンをあげたが、ノートパソコンのタッチパッドのみならず、マウスやポインティングデバイス、ジョイスティック等を使用しても本実施形態は実施可能である。なお、これらタッチパッドやマウス、ポインティングデバイス、ジョイスティック等はノートパソコン内蔵のものである必要はなく、外付けのものでもよい。
また、ポインター等のリモートコントローラーに搭載されているタッチパッドやジョイスティック等でも本実施形態と同様にタッチムーブ操作、あるいはタッチムーブに相当する位置の移動指示操作が可能である。この場合、視線検出ブロック160は、外部モニターやプロジェクターに搭載もしくは接続されていることとする。また、視線検出センサーは、外部モニターやプロジェクター、ポインター等とは独立して存在するものでもよい。
以上のように、視線入力がある場合には、視線カーソル501によって視線入力で選択されている設定メニュー項目を示す。タッチパネル70aへのタッチムーブ操作があった場合は、視線カーソル501からタッチカーソル502へと表示形態を変化させ、タッチムーブ操作に応じてタッチカーソル502を移動させる。視線カーソル501とタッチカーソル502の表示形態を異ならせることで、ユーザーがEVF29上に表示されているカーソルが視線によるものなのか、タッチ操作によるものなのかを混同することなく視認することができる。これにより、ユーザーは視線により所望位置へカーソルを大まかに移動させることができ、必要に応じてタッチムーブ操作によって視線によって指定した視線カーソルの微調整をすることができる。つまり、ユーザー所望の位置に、より素早くかつより正確に移動させることができる。なお、システム制御部50が行うものとして説明した上述の各種制御は、1つのハードウエアが行ってもよいし、複数のハードウエア(例えば複数のプロセッサーや回路)が処理を分担することで装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル70aの例を説明したが、ボタンやダイヤルなどこれ以外の操作手段としてもよい。表示位置をAF枠としたが、アイコン枠やパラメーター設定枠などとしてもよいし、マウスポインタなどのAF枠とは異なるインジケーター表示としてもよい。注視の判定基準について、視線検出ブロック160への視線入力が開始したあとの蓄積時間としたが、この蓄積時間についてあらかじめ設定した時間でもよい。表示されているAF枠と視線位置との位置関係に応じて変化するようにしてもよいし、ユーザーが任意に設定できるようにしてもよい。また、ユーザーの意図した視線位置の判断基準として本実施例では注視を取り上げたが、注視による判断基準ではなく視線入力設定(図4の設定項目403の視線AF)の有効/無効のみで判断してもよい。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な受付手段を有する電子機器であれば適用可能である。また、各実施形態を適宜組み合わせることも可能である。本実施形態ではEVF29と視線検出を使用する構成としたが、表示装置と視線検出を使用する構成でも本実施形態は実施可能である。すなわち、本発明はパーソナルコンピューターやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤーなどに適用可能である。また、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (19)

  1. 撮像手段と、
    ファインダーと、
    ファインダー内の表示手段と、
    前記ファインダーを覗くユーザーの視線による視線入力を受け付ける受付手段と、
    前記ファインダーの外にある操作面に対するタッチ操作を受け付けるタッチ操作手段と、
    前記視線入力に基づく選択位置の指定がされる状態である場合に、
    前記操作面にタッチして移動する移動操作が行われたことに応じて、
    前記表示手段に表示される前記選択位置を、前記操作面におけるタッチされた位置に対応した位置に移動することなく、
    前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記選択位置を移動するように制御する制御手段と
    を有することを特徴とする電子機器。
  2. 前記制御手段は、前記視線入力に基づく前記選択位置の指定がされる状態である場合に、
    前記タッチ操作手段に対する前記移動操作が行われることなく、前記タッチ操作手段に対する前記タッチ操作が終了した場合には、
    前記操作面におけるタッチされた位置に関わらず、前記視線入力に基づく前記選択位置に対応する機能を実行することを特徴とする請求項1に記載の電子機器。
  3. ユーザーの視線による視線入力を受け付ける受付手段と、
    操作面に対するタッチ操作を受け付けるタッチ操作手段と、
    前記視線入力に基づく選択位置の指定がされる状態である場合に、
    前記操作面にタッチして移動する移動操作が行われた場合には、
    前記移動操作に応じて、前記選択位置を前記操作面におけるタッチされた位置に対応した位置に移動することなく、前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記選択位置を移動し、
    前記タッチ操作手段に対する前記移動操作が行われることなく前記タッチ操作手段に対する前記タッチ操作が終了した場合には、
    前記操作面におけるタッチされた位置に関わらず、前記視線入力に基づく前記選択位置に対応する機能を実行するように制御する制御手段と
    を有することを特徴とする電子機器。
  4. 前記制御手段は、前記操作面に対する前記タッチ操作が行われたことに応じて前記視線入力に基づく前記選択位置を表示手段に第1の表示形態で表示し、
    前記視線入力に基づく前記選択位置を表示したあとに前記操作面に対する前記移動操作が行われた場合は、
    前記選択位置を前記第1の表示形態とは異なる第2の表示形態で表示するように制御することを特徴とする請求項1乃至3のいずれか1項に記載の電子機器。
  5. 前記制御手段は、タッチ操作開始前の前記視線入力、あるいは、タッチ操作開始時点の前記視線入力に基づく位置に前記選択位置を移動し、タッチ操作の開始後のタッチ操作が継続している間は、前記視線入力に応じた前記選択位置の移動をしないように制御することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  6. 前記制御手段は、前記視線入力に基づく位置から前記移動操作に応じて前記選択位置を移動した後、前記操作面に対するタッチ操作が終了してから、所定時間が経過するまでは、
    前記視線入力に基づく前記選択位置の指定がされないように制御することを特徴とする請求項1乃至5のいずれか1項に記載の電子機器。
  7. 表示手段における前記選択位置に、選択されている位置であることを示すインジケーターを表示する表示制御手段を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
  8. 前記インジケーターは、前記操作面に対する前記タッチ操作が行われたことに応じて表示し、タッチ操作の前には表示しないことを特徴とする請求項7に記載の電子機器。
  9. 前記視線入力に基づく前記選択位置の指定がされる状態は、所定時間内における前記視線入力を検出した位置の移動量が既定の閾値以下であるという条件を満たした状態であることを特徴とする請求項1乃至8のいずれか1項に記載の電子機器。
  10. 前記制御手段は、前記選択位置と前記視線入力に基づく入力位置との距離が長いほど前記所定時間を短くし、距離が短いほど前記所定時間を長くするように制御することを特徴とする請求項9に記載の電子機器。
  11. 前記視線入力に基づく前記選択位置の指定がされない状態である場合は、前記移動操作が行われたことに応じて、前記選択位置を、前記操作面におけるタッチされた位置に対応した位置に移動することなく、
    前記移動操作の方向と移動量に応じて、前記移動量に第1の係数をかけた第1の量だけ移動し、
    前記視線入力に基づく前記選択位置の指定がされる状態である場合は、
    前記移動操作の方向と移動量に応じて、前記移動量に第1の係数より小さな第2の係数をかけた量である第2の量だけ移動することを特徴とする、請求項1乃至9のいずれか1項に記載の電子装置。
  12. 前記選択位置は設定メニュー画面の項目を選択する選択位置であることを特徴とする請求項1乃至11のいずれか1項に記載の電子機器。
  13. 前記選択位置は焦点検出領域の選択位置であることを特徴とする請求項1乃至12のいずれか1項に記載の電子機器。
  14. 前記電子機器は、
    撮像手段と、
    ファインダーと、
    ファインダー内の表示手段とを更に有し、
    前記制御手段は、ファインダーの外にある前記操作面への前記移動操作に応じて、前記ファインダーの外にある前記操作面におけるタッチされた位置に対応した位置に移動することなく、前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記ファインダー内の表示手段に表示される前記選択位置を移動し、
    前記ファインダーの外にある前記操作面への前記移動操作が行われることなく前記タッチ操作手段に対する前記タッチ操作が終了した場合には、
    前記ファインダーの外の前記操作面におけるタッチした位置に関わらず、前記ファインダー内の表示手段に表示される、前記視線入力に基づく前記選択位置に対応する機能を実行するように制御することを特徴とする請求項3乃至13のいずれか1項に記載の電子機器。
  15. 前記電子機器は、
    表示手段を更に有し、
    前記制御手段は、前記タッチ操作に応じて、前記操作面におけるタッチされた位置に対応した位置に移動することなく、前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記表示手段に表示される前記選択位置を移動し、
    前記操作面への前記移動操作が行われることなく前記タッチ操作手段に対する前記タッチ操作が終了した場合には、
    前記操作面におけるタッチした位置に関わらず、前記表示手段に表示される、前記視線入力に基づく前記選択位置に対応する機能を実行するように制御することを特徴とする請求項1乃至14のいずれか1項に記載の電子機器。
  16. 撮像手段と、
    ファインダーと、
    ファインダー内の表示手段と、
    前記ファインダーを覗くユーザーの視線による視線入力を受け付ける受付ステップと、
    前記ファインダーの外にある操作面に対するタッチ操作を受け付けるタッチ操作手段と、
    前記視線入力に基づく選択位置の指定がされる状態である場合に、
    前記操作面にタッチして移動する移動操作が行われたことに応じて、
    前記表示手段に表示される前記選択位置を、前記操作面におけるタッチされた位置に対応した位置に移動することなく、
    前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記選択位置を移動するように制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
  17. ユーザーの視線による視線入力を受け付ける受付ステップと、
    操作面に対するタッチ操作を受け付けるタッチ操作手段と、
    前記視線入力に基づく選択位置の指定がされる状態である場合に、
    前記操作面にタッチして移動する移動操作が行われた場合には、
    前記移動操作に応じて、前記選択位置を前記操作面におけるタッチされた位置に対応した位置に移動することなく、前記視線入力に基づく位置から、前記移動操作の方向と移動量に応じて前記選択位置を移動し、
    前記タッチ操作手段に対する前記移動操作が行われることなく前記タッチ操作手段に対する前記タッチ操作が終了した場合には、
    前記操作面におけるタッチされた位置に関わらず、前記視線入力に基づく前記選択位置に対応する機能を実行するように制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
  18. コンピューターを、請求項1乃至15のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  19. コンピューターを、請求項1乃至15のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピューターが読み取り可能な記録媒体。
JP2019112315A 2019-06-17 2019-06-17 電子機器およびその制御方法 Active JP7353811B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019112315A JP7353811B2 (ja) 2019-06-17 2019-06-17 電子機器およびその制御方法
PCT/JP2020/021324 WO2020255675A1 (ja) 2019-06-17 2020-05-29 電子機器およびその制御方法
CN202080044551.1A CN113994659B (zh) 2019-06-17 2020-05-29 电子设备及其控制方法、程序和存储介质
US17/550,873 US11910081B2 (en) 2019-06-17 2021-12-14 Electronic apparatus, method for controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019112315A JP7353811B2 (ja) 2019-06-17 2019-06-17 電子機器およびその制御方法

Publications (3)

Publication Number Publication Date
JP2020204710A true JP2020204710A (ja) 2020-12-24
JP2020204710A5 JP2020204710A5 (ja) 2022-06-09
JP7353811B2 JP7353811B2 (ja) 2023-10-02

Family

ID=73837405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019112315A Active JP7353811B2 (ja) 2019-06-17 2019-06-17 電子機器およびその制御方法

Country Status (4)

Country Link
US (1) US11910081B2 (ja)
JP (1) JP7353811B2 (ja)
CN (1) CN113994659B (ja)
WO (1) WO2020255675A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145287A1 (ja) * 2022-01-26 2023-08-03 株式会社ワコム 位置入力装置
JP7476953B2 (ja) 2020-05-19 2024-05-01 ソニーグループ株式会社 撮像装置、撮像装置の制御方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD985655S1 (en) * 2021-01-19 2023-05-09 Blackmagic Design Pty Ltd Camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2015022208A (ja) * 2013-07-22 2015-02-02 キヤノン株式会社 光学機器、その制御方法、および制御プログラム
JP2017103566A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 撮像制御装置およびその制御方法
JP2018023068A (ja) * 2016-08-05 2018-02-08 キヤノン株式会社 電子装置、その制御方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445005B2 (en) * 2013-07-22 2016-09-13 Canon Kabushiki Kaisha Optical device capable of selecting focus detection point, method of controlling the same, and storage medium
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
US10093311B2 (en) * 2016-07-06 2018-10-09 Waymo Llc Testing predictions for autonomous vehicles
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
CN114902104B (zh) * 2019-12-27 2024-06-25 佳能株式会社 电子设备、电子设备的控制方法和计算机可读存储介质
JP2021140590A (ja) * 2020-03-06 2021-09-16 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2022129747A (ja) * 2021-02-25 2022-09-06 キヤノン株式会社 電子装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2015022208A (ja) * 2013-07-22 2015-02-02 キヤノン株式会社 光学機器、その制御方法、および制御プログラム
JP2017103566A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 撮像制御装置およびその制御方法
JP2018023068A (ja) * 2016-08-05 2018-02-08 キヤノン株式会社 電子装置、その制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7476953B2 (ja) 2020-05-19 2024-05-01 ソニーグループ株式会社 撮像装置、撮像装置の制御方法およびプログラム
WO2023145287A1 (ja) * 2022-01-26 2023-08-03 株式会社ワコム 位置入力装置

Also Published As

Publication number Publication date
JP7353811B2 (ja) 2023-10-02
US20220109797A1 (en) 2022-04-07
WO2020255675A1 (ja) 2020-12-24
CN113994659A (zh) 2022-01-28
CN113994659B (zh) 2023-09-26
US11910081B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
WO2018021165A4 (ja) 電子機器およびその制御方法
WO2020255675A1 (ja) 電子機器およびその制御方法
CN112104809B (zh) 电子装置、电子装置的控制方法及存储介质
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
JP7187190B2 (ja) 電子機器、および電子機器の制御方法、プログラム、記憶媒体
CN112702507B (zh) 电子装置、电子装置的控制方法及存储介质
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP7383552B2 (ja) 電子機器およびその制御方法
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
JP2022018244A (ja) 電子機器およびその制御方法
JP7387493B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112040095B (zh) 电子装置、电子装置的控制方法及存储介质
JP7451255B2 (ja) 電子機器及びその制御方法
CN112312008B (zh) 电子装置、电子装置的控制方法及存储介质
WO2024095888A1 (ja) 撮像装置、制御方法およびプログラム
US20230328354A1 (en) Electronic device, control method therefor, program, and storage medium
JP2023160103A (ja) 電子機器
JP2024066463A (ja) 撮像装置、制御方法およびプログラム
JP2022129065A (ja) 表示制御装置及びその制御方法及びプログラム及び記録媒体
JP2022172840A (ja) 電子機器、電子機器の制御方法、プログラム、及び記憶媒体
JP2021018634A (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230920

R151 Written notification of patent or utility model registration

Ref document number: 7353811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151