JP2021108447A - 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 - Google Patents

電子機器、電子機器の制御方法、プログラムおよび記憶媒体 Download PDF

Info

Publication number
JP2021108447A
JP2021108447A JP2020176006A JP2020176006A JP2021108447A JP 2021108447 A JP2021108447 A JP 2021108447A JP 2020176006 A JP2020176006 A JP 2020176006A JP 2020176006 A JP2020176006 A JP 2020176006A JP 2021108447 A JP2021108447 A JP 2021108447A
Authority
JP
Japan
Prior art keywords
line
sight
electronic device
touch
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020176006A
Other languages
English (en)
Other versions
JP2021108447A5 (ja
Inventor
誠司 小川
Seiji Ogawa
誠司 小川
村上 新
Arata Murakami
新 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2020/044911 priority Critical patent/WO2021131562A1/ja
Priority to CN202080090239.6A priority patent/CN114902104A/zh
Publication of JP2021108447A publication Critical patent/JP2021108447A/ja
Priority to US17/846,754 priority patent/US20220321770A1/en
Publication of JP2021108447A5 publication Critical patent/JP2021108447A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの視線入力を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定する。【解決手段】本発明の電子機器は、視線入力を受け付ける受付手段と、前記視線入力又は操作手段に対する第1の操作に応じて、前記表示手段における選択位置を移動する制御手段であって、前記制御手段は、前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、第1の大きさの範囲を示すアイテムを表示し、前記視線入力に基づいて前記選択位置が指定され、かつ前記操作手段に対する前記第1の操作が行われた第2の場合に、前記第1の大きさよりも小さい第2の大きさの範囲を示すアイテムを表示し、前記第1の場合に第2の操作に応じて、所定の条件に基づいてオブジェクトを選択し、前記第2の場合に前記第2の操作に応じて、前記所定の条件に基づかずにオブジェクトを選択する。【選択図】図4

Description

本発明は、電子機器、電子機器の制御方法、プログラムおよび記憶媒体に関する。
ユーザが自身の視線(視線入力)によって操作を行う電子機器が知られている。特にデジタルカメラやゲーム機など、ユーザが即時的に電子機器に対して操作指示を行いたい場合に、視線入力は有効である。
一般に、視線はブレが大きいため、視線の検出位置を示すポインタ(視線ポインタ;GUI)を画面上に表示する場合に、小さいポインタ(枠)を表示すると、ポインタにブレが大きく生じるため、ユーザに不快感を与える可能性がある。視線の検出位置を示すポインタ(GUI)を画面上に表示する場合に、大きいポインタ(枠)を表示すると、狙った被写体を枠の範囲内に収めやすくなるため、上述の不快感を軽減できる。しかし、大雑把な範囲指定となるため、その枠内での細かいオブジェクト(被写体)に対して、自動焦点調節(AF)や被写体追尾の指示を行いづらい。
ポインタの大きさを変える技術として、特許文献1には、検出された被写体の近傍にユーザのタッチ位置を示すポインタ(タッチポインタ)を重ねると、タッチポインタのサイズを変更する技術が開示されている。
特開2018−037893号公報
しかしながら、特許文献1に開示された技術では、被写体に応じてポインタの大きさを変えることになるため、ユーザの意図に反してポインタの大きさが変わってしまう可能性がある。
そこで、本発明は、ユーザの視線入力を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる技術を提供することを目的とする。
本発明の一態様は、
表示手段を見るユーザの視線による視線入力を受け付ける受付手段と、
前記視線入力または操作手段に対する第1の操作に応じて、前記表示手段における選択位置を移動するように制御する制御手段であって、
前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、前記視線入力に基づく前記選択位置に第1の大きさの範囲を示す第1のアイテムを表示し、
前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われた第2の場合に、前記選択位置に前記第1の大きさよりも小さい第2の大きさの範囲を示す第2のアイテムを表示し、
前記第1の場合に、前記第1の操作とは異なる第2の操作が行われたことに応じて、前記第1のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
前記第2の場合に、前記第2の操作が行われたことに応じて、前記第2のアイテムの位
置で、前記所定の条件に基づかずにオブジェクトを選択する、
ように制御する制御手段と、
を有することを特徴とする電子機器である。
本発明によれば、ユーザの視線入力を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる。
デジタルカメラ100の外観図である。 デジタルカメラ100のブロック図である。 一点AFでの視線によるAF枠の設定を説明する図である。 顔+追尾優先AFでの視線によるAF枠の設定を説明する図である。 撮影モード処理のフローチャートである。 撮影モード処理のフローチャートである。 カメラ設定処理のフローチャートである。 タッチ操作応答処理のフローチャートである。 視線有効時相対位置指定処理のフローチャートである。 視線無効時相対位置指定処理のフローチャートである。 絶対位置指定処理のフローチャートである。 設定メニュー画面の表示例である。 視線を用いた文字の挿入位置の選択に関する表示例である。 変形例2に係るヘッドセット1300および操作部材の外観図である。 変形例2に係る位置指定操作を説明する図である。
[実施形態]
<デジタルカメラ100の外観図>
以下、図面を参照して本発明の好適な実施形態を説明する。図1A,1Bに、本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1Aはデジタルカメラ100の前面斜視図であり、図1Bはデジタルカメラ100の背面斜視図である。
表示部28は、デジタルカメラ100の背面に設けられた表示部であり、画像や各種情報を表示する。タッチパネル70aは、表示部28の表示面(タッチ操作面;タッチ操作部材)に対するタッチ操作を検出することができる。ファインダー外表示部43は、デジタルカメラ100の上面に設けられた表示部であり、シャッター速度や絞りをはじめとするデジタルカメラ100の様々な設定値を表示する。シャッターボタン61は撮影指示(撮像指示)を行うための操作部材である。モード切替スイッチ60は、各種モードを切り替えるための操作部材である。端子カバー40は、デジタルカメラ100を外部機器に接続するコネクタ(不図示)を保護するカバーである。
メイン電子ダイヤル71は回転操作部材であり、メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。サブ電子ダイヤル73は回転操作部材であり、サブ電子ダイヤル73を回すことで、選択枠(カーソル)の移動や画像送りなどが行える。4方向キー74は、上、下、左、右部分をそれぞれ押し込み可能に構成され、4方向キー74の押した部分に応じた処理が可能である。SETボタン75は、押しボタンであり、主に選択項目の決定などに用いられる。マルチコントローラー(以下、MC)65は、8方向への方向指示と、中央部分の押し込み操作とを受け付け可能である。
動画ボタン76は、動画撮影(記録)の開始や停止の指示に用いられる。AEロックボタン77は押しボタンであり、撮影待機状態でAEロックボタン77を押下することにより、露出状態を固定することができる。拡大ボタン78は、撮影モードのライブビュー表示(LV表示)において拡大モードのONとOFFを切り替えるための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像(LV画像)の拡大や縮小を行える。再生モードにおいては、拡大ボタン78は、再生画像を拡大したり、その拡大率を増加させたりするための操作ボタンとして機能する。再生ボタン79は、撮影モードと再生モードとを切り替えるための操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに遷移し、記録媒体200(後述)に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81はメニュー画面を表示させる指示操作を行うために用いられる押しボタンであり、メニューボタン81が押されると各種の設定が可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向キー74やSETボタン75、またはMC65とを用いて直感的に各種設定を行うことができる。視線確定ボタン82は、操作部70に含まれる操作部材であって、後述する視線ポインタの位置に基づく被写体の選択実行または解除を指示する押しボタンである。視線確定ボタンは、ユーザーがファインダーを覗いた状態(接眼部16に接眼した状態)でも操作しやすい位置に配置されており、グリップ部90を持つ右手の親指で操作可能な位置に配置されている。
通信端子10は、デジタルカメラ100がレンズユニット150(後述;着脱可能)側と通信を行うための通信端子である。接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザは、接眼部16を介して内部のEVF29(後述)に表示された映像を視認することができる。接眼検知部57は、接眼部16にユーザ(撮影者)が接眼しているか否かを検知する接眼検知センサーである。蓋202は、記録媒体200(後述)を格納するスロットの蓋である。グリップ部90は、ユーザがデジタルカメラ100を構える際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61とメイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73、視線確定ボタン82が配置されている。
<デジタルカメラ100の構成ブロック図>
図2は、デジタルカメラ100の構成例を示すブロック図である。レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、図2では簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子であり、通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これら通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行う。また、レンズユニット150は、レンズシステム制御回路4によってAF駆動回路3を介してレンズ103を変位させることで焦点を合わせる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。撮像部22は、システム制御部50にデフォーカス量情報を出力する撮像面
位相差センサーを有していてもよい。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の処理(画素補間、縮小といったリサイズ処理、色変換処理、等)を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、システム制御部50は、画像処理部24により得られた演算結果に基づいて露光制御や測距制御を行う。これにより,TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理、等が行われる。画像処理部24は、さらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータの送受信を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に書き込まれる。あるいは、A/D変換器23からの出力データは、画像処理部24を介さずにメモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28やEVF29に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28やEVF29により表示される。表示部28とEVF29のそれぞれは、LCDや有機EL等の表示器上で、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを表示部28またはEVF29に逐次転送して表示することで、ライブビュー表示(LV)が行える。以下、ライブビュー表示で表示される画像をライブビュー画像(LV画像)と称する。
視線検出部160(受付部)は、接眼部16に接眼したユーザの目の、EVF29を見る視線を検出する。視線検出部160は、ダイクロイックミラー162、結像レンズ163、視線検知センサー164、視線検出回路165、赤外発光ダイオード166により構成される。
赤外発光ダイオード166は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、ユーザの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は、赤外光だけを反射して、可視光を透過させる。光路が変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は、視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスから構成される。
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、視線検知センサー164の出力信号に基づいて、ユーザの眼球(目)161の動きからユーザの視線位置を検出し、検出情報をシステム制御部50および注視判定部170に出力する。
注視判定部170は、視線検出回路165から受け取った検出情報に基づいて、ユーザの視線がある領域に固定されている期間が所定の閾値を越えた場合に、その領域を注視していると判定する。従って、当該領域は、注視が行われた位置である注視位置(注視領域
)であるといえる。なお、「視線がある領域に固定されている」とは、例えば、所定の期間経過するまでの間、視線の動きの平均位置が当該領域内にあり、かつ、ばらつき(分散)が所定値よりも少ないことである。なお、所定の閾値は、システム制御部50により任意に変更可能である。また、注視判定部170を独立したブロックとして設けず、システム制御部50が視線検出回路165から受け取った検出情報に基づいて注視判定部170と同じ機能を実行するようにしてもよい。
本実施形態では、視線検出部160は、角膜反射法と呼ばれる方式を用いて視線を検出する。角膜反射法とは、赤外発光ダイオード166から発せられた赤外光が眼球(目)161(特に角膜)で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。なお、視線(視線の向き・位置)を検出する方式は特に限定されず、上記以外の方式を用いてもよい。例えば、黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式を用いてもよい。
ファインダー外表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、FLash−ROM等である。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ100全体を制御する。システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52は例えばRAMであり、システム制御部50は、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等をシステムメモリ52に展開する。また、システム制御部50は、メモリ32、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出などを行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyでも外部機器と通信可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信
することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部55である加速度センサーやジャイロセンサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
接眼検知部57は、接眼ファインダー(以後、単に「ファインダー」と記載する)の接眼部16に対する目(物体)161の接近(接眼)および離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。接眼検知部57としては、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部57の投光部(図示せず)から投光した赤外線が物体で反射して赤外線近接センサーの受光部(図示せず)で受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することができる。このように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部57には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
システム制御部50は、視線検出部160を制御することによって、EVF29への以下の視線の状態を検出できる。
・EVF29へ向けられていなかった視線が新たにEVF29へ向けられたこと。すなわち、視線入力の開始。
・EVF29に対する視線入力をしている状態であること。
・EVF29のある位置へ注視している状態であること。
・EVF29へ向けられていた視線を外したこと。すなわち、視線入力の終了。
・EVF29へ何も視線入力していない状態(EVF29を見ていない状態)。
これらの操作・状態や、EVF29に視線が向いている位置(方向)は内部バスを通じてシステム制御部50に通知され、システム制御部50は、通知された情報に基づいてどのような視線入力が行われているかを判定する。
操作部70は、ユーザからの操作(ユーザ操作)を受け付ける入力部であり、システム制御部50に各種の動作指示を入力するために使用される。図2に示すように、操作部7
0は、モード切替スイッチ60、シャッターボタン61、電源スイッチ72、タッチパネル70a、等を含む。また、操作部70は、その他の操作部材70bとして、メイン電子ダイヤル71、サブ電子ダイヤル73、4方向キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、メニューボタン81、MC65等を含む。
モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ64を備える。第1シャッタースイッチ62は、シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから、撮像された画像を画像ファイルとして記録媒体200に書き込むまでの、一連の撮影処理の動作を開始する。
タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)を提供できる。システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと、すなわちタッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態(以下、タッチオン(Touch−On)と称する)。
・指やペンがタッチパネル70aをタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンがタッチパネル70aから離れた(リリースされた)こと、すなわちタッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タ
ッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。タッチパネル70a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。さらに、複数箇所(例えば2点)を共にタッチして(マルチタッチして)、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
なお、デジタルカメラ100には、内蔵されたマイクまたは音声入力端子を介して接続された音声入力装置から得られたシステム制御部50に送信する音声入力部(不図示)が設けられていてもよい。この場合、システム制御部50は、入力された音声信号を必要に応じて選択し、アナログデジタル変換を行い、レベルの適正化処理、特定周波数の低減処理等をして音声信号を生成する。
本実施形態では、ユーザは、接眼状態でタッチムーブ操作が行われる場合の位置指標(例えば、AF枠)の位置を指定する方式を、絶対位置指定方式と相対位置指定方式とのいずれかに設定することができる。絶対位置指定方式とは、タッチパネル70aにおける入力座標と、EVF29の表示面上の表示座標とが対応付けられている方式である。絶対位置指定方式の場合、タッチパネル70aに対するタッチダウンがあると、タッチムーブが無くとも、タッチされた位置(座標入力された位置)に対応付けられた位置にAF枠が設定される(タッチダウン前の位置から移動する)。絶対位置指定方式で設定される位置は、タッチダウン前に設定されていた位置には関係なく、タッチダウンされた位置に基づいた位置となる。また、タッチダウン後にタッチムーブがあると、タッチムーブ後のタッチ位置に基づいてAF枠の位置も移動する。相対位置指定方式とは、タッチパネル70aにおける入力座標と、EVF29の表示面上の表示座標とが対応付けられていない方式である。相対位置指定方式の場合、タッチパネル70aに対するタッチダウンがあっただけでタッチムーブが無い状態では、AF枠の位置はタッチダウン前の位置から移動しない。その後タッチムーブがあると、タッチダウン位置に関わらず、現在設定されているAF枠の位置(タッチダウン前に設定されていた位置)から、タッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、AF枠の位置が移動する。
なお、AF方式(AF枠の設定方式)として、「一点AF」と「顔+追尾優先AF」を含む複数のAF方式のうちいずれかを設定可能である。「一点AF」とは、AFを行う位
置として一点AF枠によって1箇所をユーザーが指定する方式である。「顔+追尾優先AF」とは、ユーザーによる追尾対象の指定が無い場合には、自動選択条件に基づいて自動的にAF位置が設定される方式である。自動的なAF位置の設定では、LV画像から人物の顔が検出されていれば顔を優先してAF対象被写体として選択する。人物の顔が複数検出されている場合には、顔のサイズが大きい、顔の位置がデジタルカメラ100に近い(至近側である)顔の位置が画像内における中央に近い、予め登録された個人の顔である、等の優先度に従って1つの顔を選択してAF対象被写体に設定する。人物の顔が検出されていなければ、デジタルカメラ100に近い(至近側である)、コントラストが高い、動物や乗り物などの優先度の高い被写体である、動体である、などの優先度に従って顔以外の被写体を選択してAF対象被写体に設定する。ユーザーによって追尾対象の被写体が指定された場合には、追尾対象の被写体をAF対象被写体とする。すなわち、自動選択条件は、以下に示す例のような要素条件のうち少なくとも1つの要素条件を用いて重みづけを行い、得られるスコアが所定の閾値以上であることや得られるスコアが最も高いという条件である。
・検出された人物の顔である。
・顔のサイズが大きい。
・顔の位置がデジタルカメラ100に近い(至近側である)。
・顔の位置が画像内における中央に近い。
・予め登録された個人の顔である。
・デジタルカメラ100に近い(至近側である)。
・コントラストが高い。
・動物や乗り物などの優先度の高い被写体である。
・動体である。
<一点AFでの視線によるAF枠の設定>
図3(a)〜図3(f)を用いて、デジタルカメラ100においてAF枠の選択方式(AF方式)を「一点AF」とした場合の、視線入力を利用したAF枠の移動制御について説明する。図3(a)〜図3(f)はそれぞれ、AF枠の選択方式(AF方式)を「一点AF」とした場合にEVF29に表示される表示例である。
図3(a)は、視線機能(視線入力を用いたAF位置の指定機能)を有効とし、視線検出部160でユーザーの視線を検出している状態の表示例である。ライブビュー(以下、LV)301は、撮像部22で撮像されているLV画像である。一点AF枠302は、AF枠の選択方式(AF方式)を「一点AF」とした場合のAF枠(AFの対象となる位置、すなわち焦点調節位置を示すインジケーター)である。1点AF枠は、初期状態では画面中央に設定される。視線ポインタ310は、視線検出部160で検出した視線入力の位置を示すポインタ(インジケーター、表示アイテム、第1のアイテム)である。視線検出部160は、視線入力がされている位置としてある1点の座標を取得可能であるが、視線ポインタ310は、視線入力されている位置を中心としたある程度大きい所定サイズの範囲を示すものとして表示される。このようにすることで、視線入力で検出されている位置が、ユーザーが選択したいターゲット被写体の位置に厳密に一致していなくとも、視線ポインタが示す範囲内にターゲット被写体を収めることが可能となる。すなわち、視線入力によって大雑把な位置の指定が可能である。また、視線検出部160で検出された視線位置を、所定期間分(例えば30ミリ秒の期間)平均化した位置を中心として視線ポインタ310を表示する。このようにすることで、ユーザーの視線入力の位置の微小時間内のバラつきによる視線ポインタの過度な移動を防ぐことができ、視線ポインタの視認性を向上させることができる。人間による視線には、固視微動と呼ばれる、ある一点を注視している際にも眼球が細かい運動を起こすという特性がある。従って視線入力だけを用いて厳密な位置の指定を行おうとしても、ユーザーの意図通りの位置を指定することは難しく、ユーザーにとって不快な操作感となってしまう。これに対し、視線ポインタ310を、ある
程度大きい第1の大きさで、所定期間分平均化した位置に基づいて表示することで、このような不快感を軽減することができる。
図3(b)は、図3(a)の状態から、ユーザーが視線を移動させて、EVF29のうち見ている場所を変えた場合のEVF29での表示例である。視線ポインタ310は、図3(a)では画面右上にあったが、図3(b)では画面左下に移動している。このように、ユーザーの視線の移動に連動して視線ポインタ310の位置も移動する。なお、視線ポインタ310が移動しただけでは、一点AF302は移動しない。すなわち、図3(a)と図3(b)における一点AF枠302の位置は同じである。
図3(c)は、図3(b)の状態で視線確定ボタン82が押下された場合のEVF29における表示例である。視線ポインタ310が表示された状態で視線確定ボタン82が押下されると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠302が設定される(移動する)。視線ポインタ310が画面端部に接していない場合には、視線入力位置を中心とした範囲に視線ポインタ310が表示されているため、一点AF枠は視線ポインタ310があった位置の中心に表示されることになる。また、視線による位置の指定が確定した状態となり、視線ポインタ310は非表示となる。このように、視線入力の位置に基づいてAFを行う位置を移動させることができる。アイコン303は、再び視線入力に基づいてAF枠を移動させる場合には、視線による位置の指定の確定状態を解除する必要があること、および、解除する操作方法を示すアイコンである。「Eye」の文字列が視線確定ボタン82を示しており、視線確定ボタン82の押下によって確定状態を解除できることを示している。図3(c)の状態から視線確定ボタン82が押下されると、確定状態が解除され、図3(a)や図3(b)の表示状態に戻る。
図3(d)は、図3(b)の状態からタッチパネル70aに対するタッチダウンを検知した場合の表示例である。視線ポインタ310が表示された状態でタッチダウンがあると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠302が設定される(移動する)。そして、タッチ&ドラッグAF機能によるAF枠の移動が可能な状態(タッチ&ドラッグAF機能によるAF枠の移動途中の状態)となる。タッチ&ドラッグAF機能とは、EVF29に表示されたAF枠を、EVF29とは異なる位置にあるタッチパネル70aに対するタッチムーブによって移動させる機能である。タッチ操作によってユーザーが所望する位置を正確に指定できるため、タッチ位置を示すポインタ(この例では一点AF枠302自体)が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ310のような大きいポインタは非表示とし、視線ポインタ310より小さい一点AF枠302によって位置の指定を行う状態とする。
図3(e)は、図3(d)の状態から、タッチパネル70aに対する左下向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じて一点AF枠302を左下に移動させた場合の表示例である。
図3(f)は、図3(e)の状態からタッチアップがあった場合の表示例である。タッチ&ドラッグによる一点AF枠302の移動が終了した状態となり、アイコン303が表示される。このように、視線入力とタッチ操作とを組み合わせたAF枠の位置(選択位置)の指定が可能である。なお、図3(f)、あるいは図3(c)の状態からさらにタッチパネル70aにタッチしてタッチムーブを行えば、一点AF枠302をタッチムーブに応じてさらに移動させることができる。
上述の例において、ユーザーがピントを合わせたい位置が、LV画像301に含まれる
自動車(被写体)のナンバープレートであるものとする。この場合、次のようにして一点AF枠302をナンバープレートの位置に設定することができる。まず、図3(b)のように、LV画像301のうち自動車のフロント部分を見ることで、自動車のフロント部分を視線ポインタ310で素早く大雑把に指定する。その後、視線ポインタ310に基づいて設定された一点AF枠302の位置(図3(d)における一点AF枠302の位置)をタッチ操作によって移動させて微調整することで、ナンバープレートの位置に正確に合わせることができる。この時のタッチムーブの移動量は、すでにナンバープレート付近に一点AF枠302が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザーが所望する位置を指定することが可能である。
<顔+追尾優先AFでの視線によるAF枠の設定>
図4(a)〜図4(g)を用いて、デジタルカメラ100においてAF枠の選択方式(AF方式)を「顔+追尾優先」とした場合の、視線入力を利用したAF枠の移動制御について説明する。図4(a)〜図4(g)はそれぞれ、AF枠の選択方式(AF方式)を「顔+追尾優先」とした場合にEVF29に表示される表示例である。
図4(a)は、視線機能を有効とし、視線検出部160でユーザーの視線を検出している状態の表示例である。図3(a)で説明したものと同じものについては、同じ符号を付して説明を省略する。顔+追尾優先でも、一点AFの場合と同様に、視線ポインタ310は、ある程度大きい第1の大きさで、所定期間分平均化した位置に基づいて表示する。顔枠401〜405は、LV画像から検出されている人物の顔の位置を示すインジケーターである。図4(a)の状態ではどの顔も選択されていない。
図4(b)は、図4(a)の状態から、ユーザーが視線を移動させて、EVF29のうち見ている場所を変えた場合のEVF29での表示例である。視線ポインタ310は、図4(a)では画面左側にあったが、図4(b)では画面右上に移動している。
図4(c)は、図4(b)の状態で視線確定ボタン82が押下された場合のEVF29における表示例である。視線ポインタ310が表示された状態で視線確定ボタン82が押下されると、その時点で視線ポインタ310が示す範囲内で、前述の自動選択条件に従って自動的に追尾対象(AF対象でもある)の被写体が選択される。図4(c)の例では、図4(b)に示す視線ポインタ310内において、全体が含まれる顔(顔枠402と顔枠403)のうち、最も至近側の顔である顔枠402によって示される顔が選択され、追尾対象として設定される。追尾対象となった被写体には追尾枠412が表示され、顔枠は非表示となる。そして、追尾が開始される。追尾中は、追尾対象の被写体が移動しても、追尾枠が追尾対象に追従して移動する。視線ポインタ310によって被写体を選択するゾーンを絞っているため、視線ポインタ310の外側の被写体が選択されることはなく、顔枠401や顔枠405によって示される顔や自動車が選択されることはない。すなわち、視線によって素早く大雑把にユーザーが指定した範囲の中から追尾対象が設定される分、視線を用いない自動選択よりもユーザーの意図にあった被写体を選択することが可能となる。また、図4(c)では、視線による位置の指定が確定した状態となり、視線ポインタ310は非表示となる。図4(c)の状態から視線確定ボタン82が押下されると、確定状態が解除され、図4(a)や図4(b)の表示状態に戻る。
図4(d)は、図4(b)の状態からタッチパネル70aに対するタッチダウンを検知した場合の表示例である。視線ポインタ310が表示された状態でタッチダウンがあると、その時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)にタッチポインタ406が表示される。そして、タッチ&ドラッグAF機能による位置の指定が可能な状態(タッチ&ドラッグAF機能によるタッチポインタ406の移動
途中の状態)となる。タッチ操作によってユーザーが所望する位置を正確に指定できるため、タッチ位置を示すポインタ(この例でタッチポインタ406)が大きいと細かい位置の指定ができず煩わしい。従って視線ポインタ310のような大きいなポインタは非表示とし、視線ポインタ310より小さいタッチポインタ406によって位置の指定を行う状態とする。これによって、図示のように顔が密集しているような場合でも、ユーザー所望の顔を選択しやすくなる。
図4(e)は、図4(d)の状態から、タッチパネル70aに対する右上向きのタッチムーブを検知し、相対位置指定によって、検知したタッチムーブに応じてタッチポインタ406を右上に移動させた場合の表示例である。タッチポインタ406が顔枠403の位置にほぼ一致する位置(より厳密には、顔枠403の範囲内にタッチポインタ406の中心が含まれる位置)となっている。この状態でタッチアップがなされると、タッチポインタ406の位置に基づいて、顔枠403が追尾対象として指定される。なお、図4(e)のような表示に変えて、タッチアップ前のタッチポインタ406の移動中に、タッチポインタ406で顔枠の指定が可能な位置関係となった場合に、その時点でタッチアップがあった場合に指定される顔を示す表示(吸着表示)を行ってもよい。
図4(f)は、吸着表示の表示例を示す。タッチポインタ406をタッチムーブに応じて移動させ、顔枠403を指定可能な位置となったことに応じて、タッチポインタ406を非表示とし、顔枠403を他の顔枠と異なる表示形態で表示する。このようにすることで、ユーザーは、この時点でタッチアップを行えば顔枠403が指定されることを認識することができ、目的の位置までタッチムーブを行えたか否かを判断しやすくなる。
図4(g)は、図4(e)または図4(f)の状態からタッチアップがあった場合の表示例である。タッチアップ直前のタッチポインタ406の位置に基づいて顔枠403が追尾対象に設定され、追尾枠413が表示されて追尾が開始される。タッチ&ドラッグによるタッチポインタ406の移動が終了した状態となり、アイコン303が表示される。なお、図4(g)あるいは図4(c)の状態からさらにタッチパネル70aにタッチしてタッチムーブを行えば、追尾が解除されて追尾対象のあった位置にタッチポインタ406が表示され、タッチポインタ406をタッチムーブに応じて移動させることができる。
上述の例において、ユーザーがピントを合わせたい位置が、LV画像301に含まれる顔枠403が示す顔であるものとする。この場合、次のようにして追尾対象(AF位置)を顔枠403の位置に設定することができる。まず、図4(b)のように、LV画像301のうち顔枠403の付近の部分を見ることで、素早く大雑把に範囲を指定する。その後、視線ポインタ310に基づいて設定された追尾対象である顔枠402の位置から、タッチ操作によってタッチポインタ406移動させて微調整することで、顔枠403に正確に合わせることができる。この時のタッチムーブの移動量は、すでに顔枠403付近の顔枠402が視線入力に基づいて設定されており、ここからの移動量となるため、少なくて済む。このように、本実施形態によれば、素早く正確に、ユーザーが所望する位置(被写体)を指定することが可能である。
次に、以上説明した動作・画面遷移を実現する処理を説明する。
<撮影モード処理>
図5A、図5Bは、本実施形態におけるデジタルカメラ100における撮影モード処理のフローチャートである。図5A、図5Bの処理は、表示先がEVF29となっている場合の処理であるものとする。この図5A、図5Bを含む、図5A〜図10のフローチャートにおける各処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。デジタルカメラ10
0を撮影モードで起動すると、フラグや制御変数等を初期化し、図5A、図5Bの処理を開始する。
S500では、システム制御部50は、撮像部22でのライブビュー画像(LV画像)の撮像を開始し、撮像したLV画像をEVF29に表示する。
S501では、システム制御部50は、ユーザー操作に応じて撮像に関する各種設定を行うカメラ設定処理を行う。カメラ設定処理については図6を用いて後述する。
定処理の詳細は、図6を用いて後述する。
S502では、システム制御部50は、視線機能が有効であるか否か(後述する視線AFの設定が有効であるか否か)を判断する。有効である場合はS503に進み、そうでない場合(無効である場合)はS516に進む。
S503では、システム制御部50は、視線検出部160で視線が検出されているか否かを判断する。検出されている場合はS504に進み、そうでない場合(視線機能が有効であるが、視線が検知されていない場合)はS516に進む。
S504では、システム制御部50は、視線ポインタ表示が有効であるか否かを判断する。有効である場合はS505に進み、そうでない場合(無効である場合)はS507に進む。
S505では、システム制御部50は、システムメモリに保持された視線確定フラグが0であるか否かを判定する。初期値は0である。視線確定フラグ=0は前述の視線確定状態が解除されている状態を示しており、視線によって視線ポインタを移動させることが可能な状態である。視線によって大雑把な位置を指定可能な「粗調整モード」でもある。一方、視線確定フラグ=1は、前述の視線確定状態を示しており、一旦、視線によって大雑把な位置を指定した後の状態で、視線による位置の指定はできない状態である。タッチムーブによって細かく位置を指定可能な「微調整モード」でもある。視線フラグが0である場合にはS506に進み、そうでない場合(視線フラグ=1である場合)にはS507に進む。
S506では、システム制御部50は、EVF29に、視線検出部160で検出されている視線入力位置を基準として視線ポインタ310を表示する。前述の通り、視線ポインタ310はある程度大きい第1の大きさ(サイズ)で、視線入力位置を所定期間分平均化した位置に基づいて表示する。平均化された視線検出位置がEVF29の端部周辺でない場合には、視線ポインタ310は視線入力位置を中心とした第1の大きさの範囲に表示される。平均化された視線検出位置がEVF29の端部周辺である場合には、視線ポインタ310は視線入力位置に近い画面の端に接する第1の大きさの範囲に表示される。S506の処理によって、AF方式が一点AFに設定されていれば前述した図3(a)、図3(b)のような表示となり、顔+追尾優先に設定されていれば前述した図4(a)、図4(b)のような表示が行われる。
S507では、システム制御部50は、視線確定ボタン82が押下されたか否か(すなわち、視線による位置の指定の実行を指示する操作があったか否か)を判定する。視線確定ボタン82が押下された場合はS508に進み、そうでない場合はS516に進む。
S508では、システム制御部50は、システムメモリ52に保持された視線確定フラグが0であるか否かを判定する。視線確定フラグ=0である場合にはS512に進み、そうでない場合(視線確定フラグ=1である場合)にはS509に進む。
S509では、システム制御部50は、視線確定フラグを0にセットする。また、表示されていたアイコン303を非表示とし、視線の確定が解除された状態の表示に復帰させる。
S510では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS511に進んで追尾を解除し、S504に進む。これによって、例えば前述の図4(c)や図4(g)の表示が行われていた場合に視線確定ボタン82が押下されたことに応じて、図4(a)や図4(b)の表示状態に遷移する。S510で、現在設定されているAF方式が顔+追尾優先AFではないと判定されると(すなわち一点AFであると判定されると)、S504に進む。これによって、例えば前述の図3(c)や図3(f)の表示が行われていた場合に視線確定ボタン82が押下されたことに応じて、図3(a)や図3(b)の表示状態に遷移する。
S512では、システム制御部50は、視線確定フラグを1にセットする。また、アイコン303をEVF29に表示し、視線の確定状態の表示とする。
S513では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS514に進み、そうでない場合(すなわち一点AFである場合)にはS515に進む。
S514では、視線ポインタ310によって示される第1の大きさの範囲内において(視線ポインタ310が表示されていない場合でも同様の範囲内において)、追尾対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体(追尾対象)に追尾枠を表示し、追尾を開始する。これによって、例えば前述の図4(b)から図4(c)のように表示が遷移する。
S515では、システム制御部50は、視線確定ボタン82が押下された時点での視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に、一点AF枠302を設定する。これによって、例えば前述の図3(b)から図3(c)のように表示が遷移する。なお、本実施形態では一点AFの場合には視線検出部160で検出されていた視線入力位置に一点AF枠を設定する例を説明した。しかしこれに限るものではなく、一点AFの場合であっても、顔+追尾優先AFの場合と同様に、視線ポインタ310の範囲内で自動選択条件に基づく自動選択を行い、自動選択された被写体の位置に一点AF枠302を設定するようにしてもよい。
S516では、システム制御部50は、タッチパネル70aに対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はS517に進み、そうでない場合はS518に進む。
S517では、システム制御部50は、タッチパネル70aに対するタッチ操作に応じて、タッチ操作応答処理を行う。タッチ操作応答処理については図7を用いて後述する。
S518では、システム制御部50は、操作部70に対するその他の操作があったか否かを判定する。その他の操作があった場合にはS519に進み、そうでない場合にはS520に進む。
S519では、システム制御部50は、その他の操作に応じた処理を行う。例えば、シャッター速度や絞り値、露出補正値といった各種撮影パラメータを変更したり、記録画質
やセルフタイマーの設定を行ったりすることができる。
S520では、システム制御部50は、第1シャッタースイッチ信号SW1がオンとなったか否か、すなわち、シャッターボタン61が半押しされ、撮影準備指示が行われたか否かを判定する。
S521では、システム制御部50は、視線ポインタ310の表示中であるか否か、すなわち、視線機能が有効であり、視線検出がされており、視線ポインタの表示が有効であり、かつ、視線確定フラグ=0であるか否かを判定する。視線ポインタ310の表示中である場合にはS522に進み、そうでない場合にはS523に進む。なお、視線ポインタ310が表示中であるか否かの判定に変えて、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ=0であるか否かの判定としてもよい。この場合、視線機能が有効であり、視線検出がされており、かつ、視線確定フラグ=0であれば、視線ポインタの表示が無効(視線ポインタ310が非表示)であってもS522に進む。
S522では、システム制御部50は、視線ポインタ310によって示される第1の大きさの範囲内において(視線ポインタ310が表示されていない場合でも同様の範囲内において)、AF対象の被写体を前述の自動選択条件に基づいて選択する。これは、S514での追尾対象の選択と同様の処理である。そして、選択された被写体(AF対象、焦点調節対象)に基づいてAFを実行する。同様にして、選択された被写体を基準としてAF,AWBなどの処理を行ってもよい。なお、AF方式が一点AFである場合には、AF対象を自動選択条件に基づいて選択するのではなく、その時点の視線入力位置を中心とする一点AF枠の範囲をAF対象として選択してもよい。
S523では、システム制御部50は、現在設定されているAF方式が顔+追尾優先AFであるか否かを判定する。顔+追尾優先AFである場合にはS524に進み、そうでない場合(一点AFである場合)にはS527に進む。
S524では、システム制御部50は、被写体の追尾を行っている状態であるか否かを判定する。追尾中である場合にはS526に進み、そうでない場合にはS525に進む。
S525では、システム制御部50は、撮像されているLV画像の全範囲を対象として、AF対象の被写体を前述の自動選択条件に基づいて選択する。そして、選択された被写体(AF対象、焦点調節対象)に基づいてAFを実行する。同様にして、選択された被写体を基準としてAF,AWBなどの処理を行ってもよい。なお、LV画像の全範囲を対象とするものに限るものではなく、LV画像のうち、視線ポインタ310のサイズである第1の大きさよりも大きい第2の大きさの範囲内を対象としてもよい。例えば、LV画像の中央から80%の範囲(>第1のサイズ)をS525での自動選択条件に基づく被写体の自動選択の対象の範囲としてもよい。この場合、それ以外の端の領域はAFを合わせるべき主要被写体が存在する可能性が低いと想定されるため、S525での自動選択条件に基づく被写体の自動選択の対象外となる。
S526では、システム制御部50は、追尾中の追尾枠で(すなわち、追尾対象に対して)AFを実行する。同様にして、追尾対象を基準としてAF,AWBなどの処理を行ってもよい。
S527では、システム制御部50は、設定されている1点AF枠においてAFを実行する。同様にして、一点AF枠を基準としてAF,AWBなどの処理を行ってもよい。
S528では、システム制御部50は、第2シャッタースイッチ信号SW2がオン、す
なわち、シャッターボタン61が全押しされて撮影指示が行われたか否かを判定する。SW2がオンとなった場合にはS530に進み、そうでない場合はS529に進む。
S529では、システム制御部50は、SW1のオンが保持されているか否かを判定する。保持されている場合にはS528に戻り、そうでない場合(SW1がオフとなった場合)はS531に進む。
S530では、システム制御部50は、撮像部22での露光から撮像された画像を画像ファイルとして記録媒体200に記録するまでの一連の撮影処理(前述の撮影処理)を行う。
S531では、撮影モードの終了イベント(電源オフ操作や、再生モードなどの他の動作モードに遷移させる指示など)があったか否かを判定する。終了イベントがない場合にはS500に戻って処理を繰り返し、終了イベントがあった場合には撮影モード処理を終了する。
<カメラ設定処理>
前述した図5AのS501のカメラ設定処理について説明する。カメラ設定処理は、メニューボタン81が押下された場合に表示される撮影に関する設定メニュー画面における各設定項目についての設定を行う処理である。
図11(a)、図11(b)に、EVF29または表示部28に表示される撮影に関する設定メニュー画面の表示例を示す。図11(a)のメニュー画面に含まれる設定項目1101は、AF方式の設定を行うための項目である。設定項目1102は、タッチ&ドラッグAFの設定を行うための項目である。設定項目1103は、視線機能関連の設定を行うための項目である。設定項目1104は、MC65の中央部分の押し込み操作が行われた場合の動作を設定するための項目である。
図11(b)は、視線機能関連の設定を行うための視線AFの詳細設定メニュー画面の表示例である。この画面は、図11(a)の設定項目1103が選択された場合に表示される。図11(b)の視線AFの詳細設定メニュー画面には、設定項目1105〜1107が表示される。設定項目1105は、視線機能を有効または無効に設定するための項目である。設定項目1106は、視線ポインタの表示を有効(表示)または無効(非表示)に設定するための項目である。設定項目1107は、SW1がオンとなった場合に視線検出位置にAF枠をジャンプさせる機能を有効または無効に設定するための項目である。
図6は、前述した図5AのS501のカメラ設定処理の詳細を示すフローチャートである。
S601で、システム制御部50は、視線機能(視線AF)のON/OFF(有効/無効)を切り替える操作が操作部70に対して行われたか否かを判断する。視線機能のON/OFF(有効/無効)を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1105)を選択して設定を切り替える操作である。本実施形態では、視線AFをONにするとユーザの視線を入力する機能が有効になり、視線AFをOFFにすると当該機能が無効になる。視線機能のON/OFFを切り替える操作が行われた場合はS602に進み、そうでない場合はS603に進む。
S602で、システム制御部50は、視線機能のON/OFFを切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S603で、システム制御部50は、視線ポインタ表示のON/OFF(有効/無効)を切り替える操作が操作部70に対して行われたか否かを判断する。視線確定機能のON/OFF(有効/無効)を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1106)を選択して設定を切り替える操作である。本実施形態では、視線ポインタ表示をONにするとユーザの視線入力に応じてGUIとしての視線ポインタ310が表示され、視線ポインタ表示をOFFにすると視線ポインタが非表示になる。視線ポインタ表示のON/OFFを切り替える操作が行われた場合はS604に進み、そうでない場合はS605に進む。
S604で、システム制御部50は、視線ポインタ表示のON/OFF(有効/無効)を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S605で、システム制御部50は、タッチ&ドラッグAF機能の設定を切り替える操作が操作部70に対して行われたか否かを判断する。タッチ&ドラッグAF機能の設定を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1102)を選択して設定を切り替える操作である。本実施形態では、タッチ&ドラッグAFの設定として、「絶対(上述の絶対位置指定方式)」と「相対(上述の相対位置指定方式)」とのいずれかを選択可能である。タッチ&ドラッグAF機能を切り替える操作が行われた場合はS606に進み、そうでない場合はS607に進む。
S606で、システム制御部50は、タッチ&ドラッグAF機能の設定を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
S607で、システム制御部50は、AF方式を切り替える操作が操作部70に対して行われたか否かを判断する。AF方式を切り替える操作とは、本実施形態では、メニュー画面を開き、該当する設定項目(設定項目1101)を選択して設定を切り替える操作である。AF方式を切り替える操作が行われた場合はS608に進み、そうでない場合はカメラ設定処理を終了する。なお、本実施形態ではAF方式として顔+追尾優先AFと一点AFとのいずれかを選択できる例を説明したが、他のAF方式(ゾーンAF、多点AFなど)を設定可能としてもよい。
S608で、システム制御部50は、AF方式を切り替え、変更された設定内容を不揮発性メモリ56に記録する。
<タッチ操作応答処理>
図7に、前述の図5AのS517のタッチ操作応答処理の詳細フローチャートを示す。
S701で、システム制御部50は、S502と同様に視線機能が有効であるか否かを判断する。有効である場合はS702に進み、そうでない場合(無効である場合)はS708に進む。
S702で、システム制御部50は、S503と同様に視線が検出されているか否かを判断する。検出されている場合はS703に進み、そうでない場合はS708に進む。
S703で、システム制御部50は、視線確定フラグを1に設定する。
S704で、システム制御部50は、視線ポインタを非表示にする。
S705で、システム制御部50は、前述の図11(a)の設定項目1102のタッチ&ドラッグAFの設定が相対位置指定方式であるか否かを判断する。相対位置指定方式で
ある場合はS706に進み、そうでない場合(絶対位置指定方式である場合)はS707に進む。
S706では、システム制御部50は、視線有効時相対位置指定処理を行う。この処理の詳細は図8を用いて後述する。
S707では、システム制御部50は、絶対値指定処理を行う。この処理の詳細は図10を用いて後述する。
S708で、システム制御部50は、S705と同様にタッチ&ドラッグAFの設定が相対位置指定方式であるか否かを判断する。相対位置指定方式である場合はS709に進み、そうでない場合(絶対位置指定方式である場合)はS710に進む。
S709では、システム制御部50は、視線無効時相対位置指定処理を行う。この処理の詳細は図9を用いて後述する。
S710では、システム制御部50は、絶対位置指定処理を行う。この処理はS709の処理と同様であり、図10を用いて後述する。
視線機能が有効で(S701−Yes)視線が検出されている場合(S702−Yes)にS705でタッチ&ドラッグAFの設定が相対位値指定方式であるか否かを判定し、絶対位置指定方式である場合にS707で絶対位置指定処理を行う例を説明した。しかし、これに限るものではない。視線機能が有効である場合(S701−Yes)、あるいは視線機能が有効でかつ視線が検出されている場合(701とS702の双方でYes)の場合は、タッチ&ドラッグAFの設定にかかわらず視線有効時相対位置指定処理を行うようにしてもよい。すなわち、S701がYesであれば、S702の判定をせずに、S703、S704の処理を行い、その後S705の判定をせずにS706の処理を行うようにしてもよい。あるいは、S701がYesで、S702もYesあれば、S703、S704の処理を行い、その後S705の判定をせずにS706の処理を行うようにしてもよい。このようにすることで、視線機能を利用できる状態の場合に、視線によって大雑把な位置を指定した後、視線で指定した位置からの続きの微調整をタッチ操作による相対位置指定によって行うことができる。
<視線有効時相対位置指定処理>
図8に、前述した図7のS706の視線有効時相対位置指定処理の詳細フローチャートを示す。
S801で、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判定する。「顔+追尾優先AF」である場合はS805に進み、そうでない場合(本実施形態では「一点AF」の場合)はS802に進む。
S802で、システム制御部50は、タッチダウンがあった時点で視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)に一点AF枠を表示する。これによって、前述の図3(b)の表示から図3(d)の表示に遷移する。
S803で、システム制御部50は、タッチパネル70aに対するタッチムーブに応じて一点AF枠を移動させる。この移動は、相対位置指定方式で行われる。
S804では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合は、アイコン303を表示し(これによ
って前述の図3(f)の表示となる)、図8の処理を終了する。タッチアップがない場合はS803に戻る。
S805で、システム制御部50は、被写体を追尾中か否かを判断する。追尾中である場合はS810に進み、そうでない場合はS806に進む。
S806で、システム制御部50は、タッチダウンがあった時点での視線入力位置に、タッチ位置(選択位置)を示すタッチポインタ406(第2の大きさの範囲を示す第2のアイテム;小さいポインタ)を表示する。これによって、例えば図4(b)から図4(d)の表示へと遷移する。ここで、視線入力位置は、例えば、視線検出部160で検出した位置を所定期間分平均化した位置である。
S807で、システム制御部50は、タッチパネル70aに対するタッチムーブ(移動指示操作)に応じて、タッチ位置を示すタッチポインタ406を移動させる。この移動は、相対位置指定方式による移動である。これによって、例えば図4(d)から図4(e)へと表示が遷移する。システム制御部50は、タッチポインタ406が表示された後の視線入力に基づかずに、タッチムーブに応じてタッチポインタ406の表示位置を移動していると捉えることもできる。
S808では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS809へ進み、そうでない場合はS807に戻る。
S809で、システム制御部50は、タッチポインタの位置における被写体を選択し、当該被写体の追尾を開始する。この時の選択は、前述の自動選択条件には基づかない。また、アイコン303を表示する。これによって、例えば図4(e)から図4(g)のように表示が遷移する。
S810で、システム制御部50は、タッチダウンがあった時点での追尾対象の位置に、タッチ位置(選択位置)を示すタッチポインタ406(第2の大きさの範囲を示す第2のアイテム;小さいポインタ)を表示する。
S811〜S813の処理は、前述のS806〜S809の処理とそれぞれ同様であるため、説明を省略する。
なお、本実施形態では、視線有効時にタッチダウンがあった場合に追尾中である場合には視線有力位置ではなく追尾位置にタッチポインタ406を表示する例を説明した。しかしこれに限るものではなく、視線が有効であれば、追尾中であるか否かにかかわらず、タッチダウンがあった場合には視線入力位置(視線検出部160で検出した位置を所定期間分平均化した位置)にタッチポインタ406を表示するようにしてもよい。この場合は、S801でYesとなった場合に、S805の判定を行わずにS806へ進むこととなる。
また、相対位置指定方式でタッチアップによる被写体追尾を行う場合(S809、S813、後述するS908、S912)、タッチアップから一定時間経過後に被写体追尾を開始するようにしてもよい。これにより、相対位置指定方式の場合にタッチダウン、タッチムーブ、タッチアップの一連の操作を繰り返し行いながらタッチポインタを移動する場合に、被写体追尾処理が毎回発動しなくなるため、タッチポインタの移動がしやすくなる。
<視線無効時相対位置指定処理>
図9は、前述した図7のS709の視線無効時相対位置指定処理の詳細フローチャートである。
S901で、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判断する。「顔+追尾優先AF」である場合はS902に進み、そうでない場合(本実施形態では「一点AF」の場合)はS904に進む。
S902で、システム制御部50は、タッチパネル70aに対するタッチムーブに応じて一点AF枠を移動させる。なお、視線入力を検出していなく、かつ相対位置指定方式であるため、タッチダウンに応じては一点AF枠の位置は移動せず、タッチダウン前に設定されていた一点AF枠の位置から、タッチムーブに応じた距離だけ、相対位置指定方式で移動する。
S903では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合は図9の処理を終了し、タッチアップがない場合はS902に戻る。
S904では、システム制御部50は、被写体を追尾中か否かを判断する。追尾中である場合はS909に進み、そうでない場合はS905に進む。
S905で、システム制御部50は、EVF29の中央に、タッチ位置(選択位置)を示すタッチポインタ406(第2の大きさの範囲を示す第2のアイテム;小さいポインタ)を表示する。
S906〜S912の処理は、前述した図7のS807〜S813の処理とそれぞれ同様であるため、説明を省略する。
<絶対位置指定処理>
図10は、前述した図7のS707、S710の絶対位置指定処理の詳細フローチャートである。
S1001で、システム制御部50は、AF方式が「顔+追尾優先AF」であるか否かを判断する。「顔+追尾優先AF」である場合はS1005に進み、そうでない場合(本実施形態では「一点AF」の場合)はS1002に進む。
S1002では、システム制御部50は、タッチダウンされた際のタッチ位置(タッチダウン位置)に対応するEVF29上の位置に、一点AF枠を表示する。
S1003では、システム制御部50は、タッチムーブに応じて、タッチムーブ後のタッチ位置に対応するEVF29上の位置に、一点AF枠を移動させる。この移動は絶対位置指定方式で行われ、移動後の一点AF枠の位置は、タッチムーブの距離や方向に基づくものではなく、最新のタッチ位置に対応する位置となる。
S1004では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定し、タッチアップがあった場合には図10の処理を終了し、そうでない場合にはS1003に戻る。
S1005では、システム制御部50は、タッチダウンされた際のタッチ位置(タッチダウン位置)に対応するEVF29上の位置に、タッチポインタ406を表示する。
S1006では、システム制御部50は、タッチムーブに応じて、タッチムーブ後のタッチ位置に対応するEVF29上の位置に、タッチポインタ1006を移動させる。この移動は絶対位置指定方式で行われ、移動後のタッチポインタ1006の位置は、タッチムーブの距離や方向に基づくものではなく、最新のタッチ位置に対応する位置となる。
S1007では、システム制御部50は、タッチパネル70aからのタッチアップがあったか否かを判定する。タッチアップがあった場合はS1008へ進み、そうでない場合はS1006に戻る。
S1008で、システム制御部50は、タッチポインタの位置における被写体を選択し、当該被写体の追尾を開始する。また、アイコン303を表示して、図10の処理を終了する。
以上説明した本実施形態によれば、ユーザが視線入力を行う場合に大きいポインタを表示して大まかに被写体を選択して、タッチ操作を行う場合に小さいポインタを表示して細かい位置の指定を行うことができる。これにより、ユーザの視線入力とタッチ操作を用いて位置を指定する場合に、ユーザの意図した位置を容易に指定することができる。
なお、上述の実施形態では、タッチ操作に応じて小さいポインタ(タッチポインタ)を表示する例を説明したが、これに限るものではない。MC65や4方向キー74といった操作部材への操作に応じても微調整するための位置の指定が可能である。従って、視線ポインタによって粗く位置指定を行った状態で、MC65や4方向キー74に対する操作があったことに応じて、視線ポインタに変えて、微調整用の位置指定ポインタ(第2の大きさのポインタ)を表示するようにしてもよい。そして、この微調整用の位置指定ポインタをMC65や4方向キー74に対する操作移動させることで、位置指定の微調整が行えるようにしてもよい。
なお、視線確定フラグの解除条件は、上記の例に限定されない。S530で撮影処理を一回行った後に、自動的に視線確定フラグを0にリセットするようにしてもよい。また、視線確定フラグを1にしたと同時に視線機能(視線AFの設定)を「無効」にして、ユーザの任意のタイミング(S602において視線機能を有効にしたタイミング)で視線フラグを0に戻してもよい。また第1シャッターボタン62をオフにした後(シャッターボタン61の半押しを解除した後)、一定時間経過後に、自動的に視線フラグを0に戻してもよい。
また、タッチ操作後にポインタを小さくする例を述べたが、どの程度小さくするかについても、カメラ設定やユースケースに応じて変更してもよい。例えば、サーボAFモード(第2のAFモード)の場合に、視線ポインタまたはタッチポインタの大きさをワンショットAFモード(第1のAFモード)時よりも大きくしてもよい。ここで、サーボAFモードは、AF枠の位置で継続してAFを実行し続けるコンティニュアスAFを行うモードである。動きのある被写体を撮影するときに利用すると好適である。ワンショットAFモードは、一度AFしたら、再度AFの指示が無い限りはAF処理を停止(フォーカスをロック;ピント位置を固定)するAF処理のモードである。具体的には、サーボAFモードであって、視線入力時にタッチ操作が行われていない場合には、視線入力に基づく位置に、上述の視線ポインタ310よりも大きいポインタ(第1の大きさよりも大きい第3の大きさの範囲を示す第3のアイテム)を表示する。このようにすれば、AFを合わせたい被写体が動体で、狭い範囲に留まっていない場合でも、より大きい視線ポインタに収めればよいので、視線によって所望の被写体を指定しやすくなる。また、視線ポインタを表示している状態でAF処理を実行する場合にサーボAFモードでAF処理を実行し、タッチポ
インタを表示している状態でAF処理を実行する場合にワンショットAFモードでAFを実行してもよい。
また、AF方式が顔+追尾優先AFではなく、ゾーンAFに設定されている場合に、視線ポインタをゾーンAF処理におけるゾーンの大きさ相当に大きくしてもよい。すなわち、ゾーンAFで表示される視線ポインタの大きさを、顔+追尾優先AFで表示される第1の大きさよりも大きい第4の大きさにしてもよい。ここで、ゾーンAFは、動体の撮影に適したAF方式であり、大きめのゾーンをユーザーが設定した位置に設定し、そのソーンの中で自動選択条件に合致する被写体をAF対象とする方式である。
上述の実施形態では、タッチ操作に応じて、AF処理を実行する範囲を変更する(小さくする)例を説明したが、被写体を検出する領域の大きさや、検出する被写体の種別をタッチ操作に応じて変更してもよい。例えば、視線ポインタを表示している状態でAF処理を実行する場合には検出した顔に対してAF処理を実行し、タッチポインタを表示している状態でAF処理を実行する場合に検出した瞳に対してAF処理を実行してもよい。
なお、視線ポインタからタッチポインタへの表示の切替があった場合に、タッチポインタを表示する位置については、上記に限定されない。例えば、視線ポインタ内で検出した被写体の位置にタッチポインタを表示してもよい。
<変形例1>
上述の実施形態では、デジタルカメラ100での被写体選択時に、視線入力時にタッチ操作が行われていない場合に視線ポインタ(大きいポインタ)を表示し、タッチ操作が行われている場合にタッチポインタ(小さいポインタ)を表示する例について説明した。しかし、被写体の選択に限るものではなく、他の目的の位置指定にも本願は適用可能である。すなわち、被写体選択とは異なる位置指定操作においても、次のような位置の選択が可能である。視線入力時に、操作部材(例えばタッチパネル)への操作が行われていない場合に、大きなポインタ(インジケーター)を表示し、大きなポインタを視線入力にしたがって移動することで粗く位置指定を行う。そして、視線入力で粗く位置指定した範囲内で、自動選択条件に基づき、細かい位置を指定する。そして、操作部材(例えばタッチパネル)への操作が行われている場合には、大きなポインタから小さなポインタへ表示を切り替え、小さいポインタ(インジケーター)を操作部材への操作にしたがって移動することで細かく位置指定を行う。
図12(a)〜図12(c)に、被写体選択とは異なる位置指定操作の例(変形例)として、文字列の中での文字の挿入位置の選択操作に本願を適用した場合の表示例を示す。
図12(a)に、「This is the piel.」という入力済みの文字列の中から、文字を挿入する位置を視線入力を用いて選択する場合の表示例を示す。視線入力位置を基準とする所定範囲に視線ポインタ1200(視線入力位置に追従する)が表示される。この状態で、視線確定操作(視線による位置の指定の実行を指示する操作)が行われると、視線ポインタ1200によって示される範囲内で、自動選択条件に基づいて、文字の挿入位置が決定される。本変形例では、自動選択条件は「単語と単語の間の文節のうち、視線入力位置に最も近い位置」という条件である。「This is the piel.」という文字列においては、図示のように、文節1201〜1203の文節が検出される。図12(a)の位置に視線ポインタ1200がある状態で視線確定操作が行われると、視線ポインタ1200に含まれる文節1203が選択され、その後の文字入力操作によってこの位置に文字を挿入することができる。視線ポインタ1200がある状態での視線確定操作に応じた位置指定では、単語内の位置は選択できない。例えば、図12(a)の状態で単語「piel」の内部の「i」と「e」の間の位置は選択できない。これは
、前述のように視線入力位置を用いた細かい位置の指定は人間の特性上困難であるため、文字挿入を行う可能性が高い文節に挿入位置を限定することで、意図しない位置を選択してしまうことを低減するためである。このように、文字を挿入したい位置を見るだけで、素早く簡単に文字挿入位置を選択することができる。また、図12(a)の状態でMC65や4方向キー74に対する操作などの、操作部材による位置指定操作が行われると、視線ポインタ1200が非表示となり、視線入力位置に挿入位置カーソル1210が表示される。そして、挿入位置カーソル1210が表示された位置から操作部材による操作に応じて挿入位置カーソル1210の位置を移動(微調整)可能である。
図12(b)に、図12(a)の状態でMC65や4方向キー74に対する操作などがあった場合の表示例を示す。視線ポインタ1200は非表示となり、単語「piel」の内部の「i」と「e」の間の位置に挿入位置カーソル1210が表示されている。挿入位置カーソル1210は挿入位置を示す第2の大きさのポインタ(インジケーター)であり、第1の大きさである視線ポインタ1200よりも小さい。挿入位置カーソル1210は図示のように単語内部の各文字の間の位置を指定可能であり、位置1211〜位置1215といった位置に、MC65や4方向キー74に対する操作に応じて任意に移動させることができる。例えば、図12(b)の位置に挿入位置カーソル1210が位置している状態で「x」という文字を挿入すると、図12(c)のように、「This is the
pixel.」といったように文字列を修正することができる。
<変形例2>
上述の実施形態で説明したような例だけでなく、さらに、被写体や指定対象を素早く正確に選択することが要求される状況下において、本願発明を適用することが可能である。例えば、ヘッドマウントディスプレイ(HMD)を含むヘッドセットを装着したユーザーが、VR(Virtual Reality)画像に表示される仮想のキャラクターなどの対象を選択する際にも適用可能である。視線入力時に操作部材(例えばタッチパネルやタッチ操作と押下可能な光学トラッキングポインター)への操作が行われていない場合に、大きなポインタ(インジケーター)を表示し、大きなポインタを視線入力にしたがって移動することで粗く位置指定を行う。そして、視線入力で粗く位置指定を行った範囲内で自動選択条件に基づき、細かい位置を指定する。そして、操作部材への操作が行われている場合には、大きなポインタから小さなポインタ(インジケーター)へ表示を切り替え、小さいポインタ(インジケーター)を操作部材への操作にしたがって移動することで細かく位置指定を行う。
図13(a)〜図13(c)にヘッドセット1300と、操作部材であるゲームコントローラー1320の外観図を示す。
図13(a)、図13(b)にヘッドセット1300の外願図を示す。ヘッドセット1300は主にHMD1310からなり、本変形例2ではHMD1310はパーソナルコンピューターなどと接続せず、単体で使用できるVR機器(スタンドアロン型のVR−HMD)である。HMD1310の中に、図2に示すシステム制御部50や視線検出部160などの本実施形態を適用するために必要なものが内蔵される。
図13(c)にゲームコントローラー1320を示す。ゲームコントローラー1320はHMD1310に表示されるゲーム画面1400(後述)の表示のための指示の受け付けなどを行う。ゲームコントローラー1320は、グリップ部1321、タッチ可能部分を備えた押下可能な操作部材であるマルチボタン1322、SETボタン75を備える。グリップ部1321は上述のデジタルカメラ100のグリップ部90と同様に、ユーザーがゲームコントローラー1320を把持しやすい構造・材質である。マルチボタン1322にはゲーム画面1400に表示されるポインタの移動を指示する機能など、様々な機能
を割り当てることができる。本変形例2では、マルチボタン1322はタッチ操作と押し込み操作の両方を受け付けることが可能な操作部材である。マルチボタン1322に搭載のタッチ操作部材は、上述したようなタッチ検出機構でもよいし、赤外線式センサーでもよい。マルチボタン1322の内部に赤外線式センサーを搭載し、マルチボタン1322の上部(ユーザーの指が触れる部分)に赤外線を照射する。ユーザーがマルチボタン1322の上部に触れると、赤外線がユーザーの指で反射し、この反射光を検出することでユーザーの指の動きを検出することができる。このような光学式の操作部材を、光学トラッキングポインター(OTP)と称するものとする。OTPはタッチパネル70aと同様、OTPに対するユーザーの指(操作体)の動きである移動操作を検出することができる。なお、マルチボタン1322はOTPに限らず、MC65や4方向機キー74、ジョイスティックのように方向指示部材でもよい。なお、HMD1310とゲームコントローラー1320とは、有線で接続してもよいしBluetooth等の無線通信で接続してもよい。
図14(a)〜図14(f)に、アクションゲームでの攻撃対象を指定する位置指定操作の例(変形例)において、HMD1310に表示されるゲーム画面の表示例を示す。
図14(a)は、ヘッドセット1300を装着してアクションゲームをプレイしているユーザーに対して、複数の攻撃対象1401〜1404が、仮想的に近づいてきている状態を表示するゲーム画面の表示例である。このとき、視線検出部160で検出したユーザーの視線に対応する位置に視線ポインタ1410が表示されている。そして、ユーザーの視線の移動にしたがって、視線ポインタ1410が、図14(a)で示された位置から図14(b)で示された位置に移動する。その後、操作部材を用いて視線確定操作(具体的にはマルチボタン1322の押し込みやSETボタン75の押下)が行われると、自動選択条件に基づいて、視線ポインタ1410によって示される範囲内で攻撃対象のキャラクターが決定される。本変形例2では、自動選択条件は「視線ポインタの範囲内のうち、ユーザーに最も近い対象」という条件とする。
図14(b)のように攻撃対象1401〜1404がゲーム画面に存在する状態で視線確定操作が行われると対象枠1411が表示される。具体的には、自動選択条件により、視線ポインタ1410の範囲内に存在する対象1401〜1403のうち、仮想的にユーザーに最も近づいている対象1401が選択され、対象枠1411が表示される(図14(c))。これにより、ユーザーはその視線を移動することによって対象枠1411が表示されている対象1401を選択して攻撃を行うことができる。しかし、ユーザーが実際に攻撃したいキャラクターは、自動選択された対象1401ではなく、視線ポインタ1410の範囲に含まれる他のキャラクター(例えば、対象1402)の場合がある。
図14(d)に、図14(b)の状態でMC65や4方向キー74、マルチボタン1322のOTPへのタッチ操作などがあった場合の表示例を示す。視線ポインタ1410は非表示となり、タッチポインタ1412が表示されている。タッチポインタ1412は図4のタッチポインタ406と同様のものとする。タッチポインタ1412は視線ポインタ1410よりも小さい。このような表示にすることにより、ユーザーは視線ポインタ1410で大まかな対象(位置)を指定したあとに、細かな対象の指定(微調整)が可能である。
図14(e)に、図14(d)の状態からユーザーがマルチボタン1322やMC65への操作によってタッチポインタ1412を対象1402の付近に移動させた場合の表示例を示す。ユーザーは視線によって大まかな位置の指定を行っているため、図14(d)に示す位置から図14(e)に示す位置までの距離は短く、タッチポインタ1412を移動させるために、多くの操作や時間を要しない。
図14(f)に、図14(e)の状態でマルチボタン1322の押し込みもしくはタッチアップを行った場合の表示例を示す。マルチボタン1322への押し込み直前のタッチポインタ1412の表示位置に基づいて対象枠1413が表示・設定され、対象1402が攻撃対象として選択されたことがわかる。
例えば、ユーザーの至近側にいる対象の優先度を上げて攻撃対象として選択することは、攻撃が成功する可能性が高くなるため合理的である。しかし、例えば図14(a)に表示する時点では、最も遠くにいる対象1402は、近くにいる対象1401に比べて、攻撃が成功する可能性は低いが、攻撃が成功した場合のポイントが高いことがある。このような状況においては、攻撃対象として選択したいキャラクターはユーザーの戦略に応じて異なる。そこで、ユーザーの視線にしたがって素早く大雑把に範囲を指定したあと、ユーザーによる移動/タッチ操作によって微調整を行うことで、ユーザー所望の対象を正確に選択することができる。ユーザーの視線により大雑把に範囲を指定できているため、微調整のための移動量/タッチ操作量が少なくて済み、素早く対象を選択することが可能である。このように、素早く正確に、ユーザーが所望する位置(対象)を指定することが可能である。
本変形例2では、攻撃対象として1つの対象を指定することを前提としていたが、一度に複数の対象を指定できてもよい。例えば、図14(b)の視線ポインタ1410が表示された時点で、確定機能を有する操作が行われた場合は、視線ポインタ1410の範囲内から個別に対象を選択するのではなく、視線ポインタ1410の範囲内の対象を全て選択するようにしてもよい。すなわち、対象1401のみではなく、対象1401〜対象1403の複数対象を選択するようにしてもよい。ここで、確定機能を有する操作は、視線確定操作ではなく決定ボタンなどの別の操作が挙げられる。なお、視線ポインタ1410は、表示部に表示される対象のうち、複数の対象を包含可能な範囲を示すアイテムであると捉えることもできる。
また、対象枠1411、タッチポインタ1412、対象枠1413の表示形態は図14(a)〜図14(f)に示すような表示に限らない。対象1401や対象1402が選択されていること、現在タッチ操作でポインタの操作が行えることが視認できる表示であればよい。例えば、対象1401や対象1402のシルエットに沿ってハイライト表示がされたり、枠表示が点滅したり、枠表示の表示色が視線ポインタ1410と異なるものにしてもよい。タッチポインタ1412は円枠表示に限らず円の内部を塗りつぶした表示でも良いし、円でなく視線ポインタ1410や対象枠1411のように四角枠で表示し、視線ポインタ1410や対象枠1411とは異なる表示色で表示するようにしてもよい。なお、タッチポインタ1412は、表示部に表示される対象のうち、1つを包含可能な範囲を示すアイテムであると捉えることもできる。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、視線入力および操作部材に対する操作によって位置を指定可能な電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ヘッドマウントディスプレイなどに適用可能である。また、本発明は、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。例えば、PCにおけるソフトキーボードにおいて、キー操作では一つ一つの文字を入力するが、視線で入力を行う場合は、複数の単語の候補から所望なものを選択する、という適用の形態としてもよい。
本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の
機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
なお、CPUが行うものとして説明した上述の各種制御は、1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:デジタルカメラ 50:システム制御部 160:視線検出部

Claims (18)

  1. 表示手段を見るユーザの視線による視線入力を受け付ける受付手段と、
    前記視線入力または操作手段に対する第1の操作に応じて、前記表示手段における選択位置を移動するように制御する制御手段であって、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、前記視線入力に基づく前記選択位置に第1の大きさの範囲を示す第1のアイテムを表示し、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われた第2の場合に、前記選択位置に前記第1の大きさよりも小さい第2の大きさの範囲を示す第2のアイテムを表示し、
    前記第1の場合に、前記第1の操作とは異なる第2の操作が行われたことに応じて、前記第1のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
    前記第2の場合に、前記第2の操作が行われたことに応じて、前記第2のアイテムの位置で、前記所定の条件に基づかずにオブジェクトを選択する、
    ように制御する制御手段と、
    を有することを特徴とする電子機器。
  2. 前記制御手段は、さらに前記選択されたオブジェクトに対してAF処理を実行する、
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記制御手段は、前記AF処理を実行した後にピント位置を固定する第1のAFモードと、AFを実行し続ける第2のAFモードとを切り替え可能であって、
    前記第2のAFモードであって、かつ前記第1の場合に、前記視線入力に基づく前記選択位置に第1の大きさよりも大きい第3の大きさの範囲を示す第3のアイテムを表示するように制御する
    ことを特徴とする請求項2に記載の電子機器。
  4. 前記制御手段は、前記第2の場合に、前記第1のアイテムを非表示にする、
    ことを特徴とする請求項1から3のいずれか一項に記載の電子機器。
  5. 前記第2の操作は、前記電子機器のグリップ部を保持した状態でシャッターボタンを操作可能で、かつ、前記グリップ部を保持する手の指で操作可能な位置に配置された、前記シャッターボタンとは異なる操作手段に対する操作である、
    ことを特徴とする請求項1から4のいずれか一項に記載の電子機器。
  6. 前記第2の操作は、撮像指示を行うための操作である、
    ことを特徴とする請求項1から4のいずれか一項に記載の電子機器。
  7. 表示手段を見るユーザの視線による視線入力を受け付ける受付手段と、
    前記視線入力または操作手段に対する第1の操作に応じて、前記表示手段における選択位置を移動するように制御する制御手段であって、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、
    前記視線入力に基づく前記選択位置に第1の大きさの範囲を示す第1のアイテムを表示し、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われた第2の場合に、
    前記選択位置に前記第1の大きさより小さい第2の大きさの範囲を示す第2のアイテムを表示し、
    前記第1のアイテムを非表示にする、
    ように制御する制御手段と、
    を有することを特徴とする電子機器。
  8. 前記制御手段は、前記第2のアイテムが表示された状態で、前記操作手段に対する移動指示操作があったことに応じて、前記第2のアイテムが表示された後の前記視線入力に基づかずに、前記移動指示操作に応じて前記第2のアイテムの表示位置を移動するように制御する、
    ことを特徴とする請求項1から7のいずれか一項に記載の電子機器。
  9. 前記操作手段はタッチ操作部材であり、前記第1の操作は、前記タッチ操作部材に対するタッチ操作である、
    ことを特徴とする請求項1から8のいずれか一項に記載の電子機器。
  10. 前記制御手段は、前記第2の場合に、前記タッチ操作に基づく前記選択位置に、前記第2のアイテムを表示するように制御する、
    ことを特徴とする請求項9に記載の電子機器。
  11. 前記制御手段は、前記第2の場合に、前記第1の操作がされた時点での前記視線入力に基づく前記選択位置に、前記第2のアイテムを表示するように制御する、
    ことを特徴とする請求項1から9のいずれか一項に記載の電子機器。
  12. 前記操作手段は操作体の移動を伴う移動操作を検知する検知手段であり、前記第1の操作は、前記検知手段に対する前記移動操作である、
    ことを特徴とする請求項1から11のいずれか一項に記載の電子機器。
  13. 前記第1のアイテムは、前記表示手段に表示される対象のうち、複数の対象を包含可能な範囲を示すアイテムである、
    ことを特徴とする請求項1から12のいずれか一項に記載の電子機器。
  14. 前記第2のアイテムは、前記表示手段に表示される対象のうち、1つを包含可能な範囲を示すアイテムである、
    ことを特徴とする請求項1から13のいずれか一項に記載の電子機器。
  15. 表示手段を見るユーザの視線による視線入力を受け付ける受付ステップと、
    前記視線入力または操作手段に対する第1の操作に応じて前記表示手段における選択位置を移動するように制御する制御ステップであって、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、前記視線入力に基づく前記選択位置に第1の大きさの範囲を示す第1のアイテムを表示し、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われた第2の場合に、前記選択位置に前記第1の大きさよりも小さい第2の大きさの範囲を示す第2のアイテムを表示し、
    前記第1の場合に、前記第1の操作とは異なる第2の操作が行われたことに応じて、前記第1のアイテムの位置で、所定の条件に基づいてオブジェクトを選択し、
    前記第2の場合に、前記第2の操作が行われたことに応じて、前記第2のアイテムの位置で、前記所定の条件に基づかずにオブジェクトを選択する、
    ように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  16. 表示手段を見るユーザの視線による視線入力を受け付ける受付ステップと、
    前記視線入力または操作手段に対する第1の操作に応じて前記表示手段における選択位置を移動するように制御する制御ステップであって、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われていない第1の場合に、
    前記視線入力に基づく前記選択位置に第1の大きさの範囲を示す第1のアイテムを表示し、
    前記視線入力に基づいて前記選択位置が指定され、かつ、前記操作手段に対する前記第1の操作が行われた第2の場合に、
    前記選択位置に前記第1の大きさよりも小さい第2の大きさの範囲を示す第2のアイテムを表示し、
    前記第1のアイテムを非表示にする、
    ように制御する制御ステップと、
    を有することを特徴とする電子機器の制御方法。
  17. コンピュータを、請求項1から11のいずれか一項に記載された電子機器の各手段として機能させるためのプログラム。
  18. コンピュータを、請求項1から11のいずれか一項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2020176006A 2019-12-27 2020-10-20 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 Pending JP2021108447A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/044911 WO2021131562A1 (ja) 2019-12-27 2020-12-02 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN202080090239.6A CN114902104A (zh) 2019-12-27 2020-12-02 电子设备、电子设备控制方法、程序和存储介质
US17/846,754 US20220321770A1 (en) 2019-12-27 2022-06-22 Electronic device, control method for electronic device, and non-transitory computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019238836 2019-12-27
JP2019238836 2019-12-27

Publications (2)

Publication Number Publication Date
JP2021108447A true JP2021108447A (ja) 2021-07-29
JP2021108447A5 JP2021108447A5 (ja) 2023-10-04

Family

ID=76967998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020176006A Pending JP2021108447A (ja) 2019-12-27 2020-10-20 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

Country Status (1)

Country Link
JP (1) JP2021108447A (ja)

Similar Documents

Publication Publication Date Title
JP7321786B2 (ja) 電子機器およびその制御方法
JP7433860B2 (ja) 電子機器及び電子機器の制御方法
US11233941B2 (en) Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium
CN112104809B (zh) 电子装置、电子装置的控制方法及存储介质
US20220321770A1 (en) Electronic device, control method for electronic device, and non-transitory computer readable storage medium
JP2021067853A (ja) 撮像装置およびその制御方法
JP7433810B2 (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
EP3876517A1 (en) Electronic device, control method, program, and computer readable medium
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP2020204710A (ja) 電子機器およびその制御方法
JP2021152597A (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP7387493B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7346135B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021156919A (ja) 撮像装置
JP2021108447A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2020197976A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US11538191B2 (en) Electronic apparatus using calibration of a line of sight input, control method of electronic apparatus using calibration of a line of sight input, and non-transitory computer readable medium thereof
JP7451255B2 (ja) 電子機器及びその制御方法
JP7450408B2 (ja) 電子機器、その制御方法、プログラム及び記憶媒体
WO2022131252A1 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
WO2023007904A1 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2022095306A (ja) 表示制御装置及びその制御方法
JP2023160103A (ja) 電子機器
JP2021018634A (ja) 電子機器およびその制御方法
JP2021082188A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230926