JP2019075699A - 電子機器及びその制御方法 - Google Patents

電子機器及びその制御方法 Download PDF

Info

Publication number
JP2019075699A
JP2019075699A JP2017200573A JP2017200573A JP2019075699A JP 2019075699 A JP2019075699 A JP 2019075699A JP 2017200573 A JP2017200573 A JP 2017200573A JP 2017200573 A JP2017200573 A JP 2017200573A JP 2019075699 A JP2019075699 A JP 2019075699A
Authority
JP
Japan
Prior art keywords
touch
face
image
organ
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017200573A
Other languages
English (en)
Other versions
JP6701145B2 (ja
Inventor
慶大 船津
Keita Funatsu
慶大 船津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017200573A priority Critical patent/JP6701145B2/ja
Priority to US16/156,753 priority patent/US10750081B2/en
Publication of JP2019075699A publication Critical patent/JP2019075699A/ja
Application granted granted Critical
Publication of JP6701145B2 publication Critical patent/JP6701145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Abstract

【課題】 ユーザーの所望する器官領域をより正確に選択できるようにする。【解決手段】 検出された第1の顔に対応する領域に対してタッチが開始され、その後、前記タッチのタッチ位置が第1の方向に移動した場合には前記第1の顔に含まれる第1の器官領域を選択し、前記タッチの前記タッチ位置が前記第1の方向ではなく第2の方向に移動した場合には前記第1の顔に含まれる第2の器官領域を選択するように制御する。【選択図】 図4

Description

本発明は電子機器及びその制御方法に関し、画像から検出された器官領域の選択に関するものである。
画像から顔、及び目(瞳)などの器官領域を検出し、検出された器官領域のうちいずれかをユーザー操作に応じて選択してAFの対象領域とする撮像装置が知られている。
特許文献1には、検出された瞳が、AF可能ではあるもののサイズが小さい場合に、正確に瞳の位置をタッチで指定できない場合を考慮し、瞳の大きさに上記オフセット量を加算した値を瞳の存在する領域として設定することが提案されている。
特開2013−70164号公報
特許文献1でも、ユーザーが所望する瞳(すなわち器官領域)を正確に選択できない場合がある。例えば、顔のサイズが小さい場合、瞳の大きさにオフセット量を加算したとしても、右目と左目の間の眉間の部分においてはそれぞれの瞳の領域の境界が存在するか、それぞれの領域が重なってしまう。そして、ユーザーが片方の目をタッチしようとしても、正確にタッチができず、眉間付近がタッチ位置となってしまった場合に、ユーザーが意図した瞳と逆の瞳が選択されてしまう可能性がある。
また、顔の器官をタッチで選択する場合、タッチした指で選択しようとしている器官が隠れてしまい、狙った器官を正確にタッチ出来ているかユーザーが判別しにくいことがある。この場合も、ユーザーが所望する器官領域を正確に選択できない場合がある。
本発明は上記課題に鑑み、ユーザーの所望する器官領域をより正確に選択できるようにした電子機器、電子機器の制御方法、プログラム及び記録媒体を提供することを目的とする。
上記目的を達成するために、本発明の一態様による電子機器は、
画像から顔及び該顔に含まれる器官領域を検出する検出手段と、
表示手段に対するタッチ操作を検知するタッチ検知手段と、
前記表示手段に表示された前記画像のうち、前記検出手段で検出された第1の顔に対応する領域に対してタッチが開始され、その後、前記タッチのタッチ位置が第1の方向に移動した場合には前記第1の顔に含まれる第1の器官領域を選択し、前記タッチの前記タッチ位置が前記第1の方向ではなく第2の方向に移動した場合には前記第1の顔に含まれる第2の器官領域を選択するように制御する制御手段と
を有することを特徴とする。
本発明によれば、ユーザーの所望する器官領域をより正確に選択できる。
デジタルカメラ100の外観図である。 デジタルカメラ100の構成ブロック図である。 顔と器官を検出した場合の枠表示の表示例である。 LV撮影モード処理のフローチャートである。 位置に基づく選択処理のフローチャートである。 タッチムーブガイドの表示例である。 設定されたAF枠の表示例である。
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)、(b)に本発明の電子機器の一例としてのデジタルカメラ(撮像装置)の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。図1において、表示部28は画像や各種情報を表示する、カメラ背面に設けられた表示部である。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続する接続ケーブル等のコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は操作部70に含まれ、操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー74は操作部70に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー74の押した部分に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。LVボタン76は操作部70に含まれ、メニューボタンにおいてライブビュー(以下、LV)のONとOFFを切り替えるボタンである。動画撮影モードにおいては、動画撮影(記録)の開始、停止の指示に用いられる。拡大ボタン77は操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFF、及び拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン78は操作部70に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。クイックリターンミラー12は、システム制御部50から指示されて、不図示のアクチュエータによりアップダウンされる。通信端子10はデジタルカメラ100がレンズ側(着脱可能)と通信を行う為の通信端子である。接眼ファインダー16はフォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。蓋202は記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子10はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、この通信端子6、10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行い、AF駆動回路3を介して、レンズ103の位置を変位させることで焦点を合わせる。
AEセンサー17は、レンズユニット150を通した被写体の輝度を測光する。
焦点検出部11は、システム制御部50にデフォーカス量情報を出力する。システム制御部50はそれに基づいてレンズユニット150を制御し、位相差AFを行う。
クイックリターンミラー12(以下、ミラー12)は、露光、ライブビュー撮影、動画撮影の際にシステム制御部50から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー12は、レンズ103から入射した光束をファインダー16側と撮像部22側とに切替えるためのミラーである。ミラー12は通常時はファインダー16へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部22へと光束を導くように上方に跳ね上がり光束中から待避する(ミラーアップ)。またミラー12はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部11に入射するように透過させる。
撮影者は、ペンタプリズム14とファインダー16を介して、フォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認が可能となる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダーとして機能し、スルー画像表示(ライブビュー表示)を行える。
ファインダー内液晶表示部41には、ファインダー内表示部駆動回路42を介して、現在オートフォーカスが行われている測距点を示す枠(AF枠)や、カメラの設定状態を表すアイコンなどが表示される。
ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する少なくとも1つのプロセッサーまたは回路である。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリにはRAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部はメモリ32、D/A変換器19、表示部28等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切り替えスイッチ60、シャッターボタン61、操作部70、電源スイッチ72はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の押下途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61を最後まで押下する操作、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像を画像ファイルとして書き込むまでの一連の撮影処理(本撮影)の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザーは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、LVボタン76、拡大ボタン77、縮小ボタン78、再生ボタン79。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
顔検出部24aは、画像処理部24で得られた画像から人の顔などの特定領域を検出する少なくとも1つのプロセッサまたは回路である。また器官検出部24bは、画像処理部24で得られた画像と顔検出部24aで検出した特定領域から器官領域を検出する少なくとも1つのプロセッサまたは回路である。ここでの器官とは、顔を構成する要素である瞳や鼻、口などである。本撮像装置では顔検出部24a、器官検出部24b(顔検出部24aで検出した特定領域の要素の検出部)のいずれも画像処理部24の一部である。すなわち、顔検出部24a、器官検出部24bは双方の機能を有する同一のプロセッサまたは回路又はモジュールであってもよく、それぞれ異なるプロセッサまたは回路またはモジュールであっても良い。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(LV画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加することや、画像を回転して記録することが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。
なお操作部70のひとつとして、表示部28に対する接触を検知可能(タッチ検知可能)なタッチパネル70aを有する。タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の上層に取り付ける。そして、タッチパネル70aにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、恰もユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を構成することができる。システム制御部50はタッチパネル70aへの以下の操作。あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作(ドラッグ)が行なわれたと判定するものとする。
タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライドに続いてフリックがあったものと判定できる)。
更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。
タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。
また、デジタルカメラ100では、撮影時のオートフォーカス(AF)の動作モードとして、複数のAFモードからユーザー操作に応じて1つのAFモードを設定することが可能である。AFモードの設定は、設定メニュー画面における、AFモードを設定するためのメニュー項目が選択されて表示されるAFモード設定画面でのユーザー操作に基づいて行われる。AFを行う位置の決定方式ごとに複数のAFモードが用意されている。本実施形態では、AFモードとして、一点AFモードと、追尾優先モードのいずれかが設定できるものとする。
一点AFモードは、撮影範囲の中央、あるいはユーザーが指定した一点に焦点調節位置を表すAF枠を設定するAFモードである。一点AFモードでは、AF枠は被写体に変化があっても移動せず、顔などの被写体が検出されているか否かに関わらず、AF枠の位置から得られた情報(コントラスト値や位相差AF用のデフォーカス量)に基づいてAFが行われる。
追尾優先モードでは、ユーザーからの追尾指定がない場合(追尾待機状態、追尾解除状態)は、デジタルカメラ100が自動的に主被写体と判定した被写体がAF対象(焦点調節位置)となる。人物の顔が検出された場合は、検出された人物の瞳または顔を優先して主被写体としてAF対象にする。人物の顔が検出されていない場合は、動体、コントラスト値の高い被写体、中央に近い被写体などの所定の条件に従って主被写体をデジタルカメラ100が自動的に決定してAF対象とする。また、ユーザーからの追尾指定がなされた後は、LV画像中で指定された被写体を追尾し続け、追尾している被写体をAF対象とする。例えばユーザーが人物Aの瞳または顔を追尾指定した場合(追尾中)は、LV画像上で人物Aが移動しても人物Aの瞳または顔を追い続け、AF対象とする。
また、人物以外を追尾対象とすることも可能であり(モノ追尾)、追尾指定された位置の色、コントラスト、形状などを条件として、同一の被写体がLV画像中で移動しても追い続け、AF対象とする。すなわち、追尾優先モードは追尾を行うことによるAF位置の決定が可能なAFモードである。なお、AFモードは一点AFモードと追尾モードに限るものではない。例えばユーザーが指定した限定領域内で追尾を行うAFモード(「ゾーンAF」)などがあってもよい。設定したAFモードは、不揮発性メモリ56に記憶され、撮影モード処理においてはシステムメモリ52に読み出される。
図3(a)、(b)を用いて顔検出・器官検出について説明する。
図3(a)は、撮像部22で撮像した画像、または記録媒体200に記録された画像を再生した画像から、顔検出部24aで顔の領域を検出し、画像に重畳して検出した顔の領域を示す顔枠301を表示した場合の表示部28における表示例である。顔検出部24aでは画像から人の顔を検出する。このとき顔の大きさ、顔の向きなども判断する事が可能である。これらの情報を基にタッチパネル70aへのタッチ操作でAFの対象となる主被写体や、色補正などの対象となる被写体として、顔の領域を指定(選択)することができる。
図3(b)は、撮像部22で撮像した画像、または記録媒体200に記録された画像を再生した画像から、顔検出部24aと器官検出部24bで顔と器官を検出し、画像に重畳して検出した顔の器官領域を示す器官枠302と303を表示した場合の表示例である。器官枠302は、画面に向かって左側の瞳の領域を示す指標である。器官枠303は、画面に向かって右側の瞳の領域を示す指標である。器官検出でも。器官の大きさと向きを判断することができ、タッチ操作で検出された器官領域を指定(選択)することができる。
顔検出部24aと器官検出部24bで顔とその器官、例えば左目と右目が検出された場合、タッチダウンまたはタッチアップにおけるタッチ位置が顔領域、左目領域、右目領域の何れであるかのみに基づいて領域指定を行うことが考えられる。なお、ここで顔領域とは、顔領域のうち左目領域でも右目領域でもない領域のことである。しかしこうすると、ユーザーの意図通りの領域がうまく指定できない場合がある。例えば、ユーザーが右目の領域を指定しようとして右目領域内をタッチしたつもりでも、実際には少しずれて右目領域の外側をタッチしてしまい、顔全体、または左目が指定されてしまう可能性がある。この問題は、検出されている顔や器官が小さい場合や、LVや動画のように画像全体における被写体の位置や大きさが変動する場合に、より顕著である。また、ユーザーの意図通りの領域がうまく指定できない要因としては、瞳や顔のように、小さい指定対象を指定する場合、タッチした指で指定対象が隠れてしまい、上手く意図通りの位置をタッチできているのか確認することが難しいことも挙げられる。これに対し本実施形態では、タッチダウンまたはタッチアップの際のタッチ位置だけではなく、タッチ位置の移動(タッチムーブ)も利用して、ユーザーの意図通りの領域を、より確実に指定できるようにする。
図4に、デジタルカメラ100におけるライブビュー(LV)撮影モードのフローチャートを示す。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することにより実現する。デジタルカメラ100をLV撮影モードで起動すると図6の処理が開始されるものとする。
S401では、システム制御部50は、撮像部22でのLVの撮像を開始し、撮像されたLV画像の表示部28への表示を開始する。またLV画像の撮像を開始すると、顔検出部24aでのLV画像からの顔検出、及び器官検出部24bでの器官検出を開始する。以下、LV撮影モードにおいては顔検出部24aでの顔検出と器官検出部24bでの器官検出を継続して行うものとする。
S402では、システム制御部50は、タッチパネル70a(表示部28の表示面)に対するタッチダウンがあったか否かを判定する。ダッチダウンが合った場合はS403へ進み、そうでない場合はS418に進む。
S403では、システム制御部50は、S402でタッチダウンが検出された際のタッチ位置(タッチダウン位置)が顔検出部24aによって検出された顔の領域に対応する領域内であるか否かを判定する。タッチダウン位置が検出された顔に対応する領域内である場合はS405へ進み、顔が検出されていない場合、及び、顔が検出されていてもタッチダウン位置が顔に対応する領域外である場合にはS404へ進む。
S404では、システム制御部50は、タッチダウン位置にAF枠を設定し、表示部28に表示されたLV画像に重畳して、設定されたAF枠を表示する。なお、この時、AFモード(AF対象指定モード)が追尾優先AFモードであった場合には、タッチダウン位置の被写体(顔以外の被写体)を追尾対象としての色や輝度情報などに基づいた追尾(モノ追尾)を行う。追尾モードでは、タッチダウン位置に基づいて追尾の開始位置(AF枠の初期位置)が定まるが、その後追尾対象が移動すれば、追尾対象に追従してAF枠も移動する。AFモードが1点AFモードであれば、タッチダウン位置にAF枠が設定される。なお、本実施形態では、1点AFモードの際にはタッチダウン位置に基づいてAF枠が設定され、その後のタッチムーブがあってもAF枠を移動しないものとするが、タッチムーブに追従してAF枠の位置を変更してもよい。
S405では、システム制御部50は、タッチダウン位置で検出されている顔の大きさが、閾値未満であるか否かを判定する。顔の大きさの閾値は、LV画像全体に対する顔の大きさの割合の閾値でもよいし、撮像部22または撮像された画像において顔領域が占める画素数の閾値でもよい。閾値以上の大きさであれば、タッチダウン操作でユーザーが所望の被写体(顔または器官)を選択することが容易であると想定できる。そのため、S406に進み、以降の処理ではタッチダウン位置のみに基づいて(タッチムーブには基づかずに)被写体を選択(指定))する。このようにすれば、タッチムーブをしなくても瞳を選択できるため、より素早い操作が可能となる。なお、S405の処理を省き、顔の大きさに関わらずにS407に進むようにしてもよい。このようにすればタッチムーブを行うことでより正確に所望の瞳を選択出来るようにしても良い。
S406では、タッチ位置(S406ではタッチダウン位置)に基づくAF枠の設定処理を行う。この処理は図5を用いて後述する。
S407では、システム制御部50は、表示部28にタッチムーブガイドを表示する。
図6(a)〜図6(f)に、S407で表示部28に表示されるタッチムーブガイドの表示例を示す。
図6(a)は、顔とその両目が、顔検出部24aと器官検出部24bで検知されている場合の第1の表示例である。検出された顔の領域に対応する領域を示す顔枠601がLV画像600に重畳して表示されている。また、撮影モードを示すアイコン602.シャッター速度、絞り値、ISO感度などの現在の撮影設定を示す撮影設定情報603が表示されている。瞳検出マーク611と操作方向ガイド612と613はタッチムーブガイドの一部であり、検出された顔の位置に応じて顔枠601の付近に表示される。瞳検出マーク611は、瞳が検出されていることを示す。操作方向ガイド612は、図示の例では矢印で方向を示しており、左にタッチムーブすれば向かって左側の瞳(被写体人物の右目)を選択できることを表している。操作方向ガイド613は、図示の例では矢印で方向を示しており、右にタッチムーブすれば向かって右側の瞳(被写体人物の左目)を選択できることを表している。このように、ユーザーが顔にタッチダウンした時点で、タッチ位置の移動方向別に選択可能な器官領域を示すガイドタッチムーブガイドが表示される。ユーザーは、タッチムーブガイドを見ることで、その後右か左かにタッチムーブすることで所望の瞳を選択できることが理解できる。
図6(b)は、顔とその両目が、顔検出部24aと器官検出部24bで検知されている場合の第2の表示例(タッチムーブガイドの別の例)である。タッチムーブガイドである左側瞳マーク622、右側瞳マーク623、上半身マーク624が、顔枠601のそれぞれ左側、右側、上側に表示される。左側瞳マーク622、右側瞳マーク623、上半身マーク624にはそれぞれ、右側矢印、左側矢印、上側矢印が付されて表示されている。すなわち、左側瞳マーク622、右側瞳マーク623、上半身マーク624はそれぞれ、右側にタッチムーブすれば右側の瞳が、左側にタッチムーブすれば左側の瞳が、上にタッチムーブすれば顔を含む上半身が選択できることを示している。なお、上半身は、顔に対応する領域よりも広い領域である。
図6(c)は、顔とその左側の目(被写体の右目)が顔検出部24aと器官検出部24bで検知され、右側の目(被写体の左目)は検出されていない場合のタッチムーブガイドの第1の表示例である。図6(a)と同様に瞳検出マーク611と操作方向ガイド612が表示されるが、操作方向ガイド613(右側へのタッチムーブガイド)は表示されない。これは、右側の目が何らかの理由(例えば完全に瞑っている、横を向いている、眼帯をしているなど)で検出されていないために選択できないことを示している。
図6(d)は、顔とその左側の目(被写体の右目)が顔検出部24aと器官検出部24bで検知され、右側の目(被写体の左目)は検出されていない場合のタッチムーブガイドの第2の表示例である。図6(b)と同様に左側瞳マーク622、上半身マーク624が表示される。また、右側瞳マーク623の代わりに、右側には瞳未検出マーク625が表示される。これによって、右側の目は検出されていないために選択できないことを示している。
図6(e)は、顔が顔検出部24aで検出されたが、器官検出部24bで瞳は両目とも検知できなかった場合のタッチムーブガイドの表示例である。図6(a)と同様に顔枠601が表示されるが、瞳検出マーク611、操作方向ガイド612、613は表示されない。代わりに、瞳未検出マーク614が表示される。これは、両側の目が何らかの理由(例えば完全に瞑っている、サングラスをしている、上を向いている)で検出されていないために、両目とも選択できないことを示している。
図6(f)は、顔が顔検出部24aで検出されたが、器官検出部24bで瞳は両目とも検知できなかった場合のタッチムーブガイドの第2の表示例である。図6(b)と同様に上半身マーク624が表示される。また、左側瞳マーク622、右側瞳マーク623の代わりに、顔の左側、右側には瞳未検出マーク626、625が表示される。これによって、両側の目が検出されていないために選択できないことを示している。
なお、本実施形態では顔領域へのタッチダウンを検知した場合に、図6(a)〜(f)に例示したタッチムーブガイドを表示する例を説明した。しかしこれに限るものではなく、タッチダウンがされる前に、顔が検知された時点でLV画像に重畳して、検知された各顔にタッチムーブガイドを表示しても良い。
S408では、システム制御部50は、S402で検知したタッチダウンによるタッチ位置が所定距離以上移動したか、すなわち、タッチムーブがあったか否か(所定距離以上のタッチムーブがあったか否か)を判定する。タッチムーブがあった場合はS409に進み、そうでない場合はS413に進む。なお、フリック操作が合った場合も、タッチアップする直前まではタッチしたままのタッチ位置の移動があるため、タッチムーブがあったものとして判定する。
S409では、S408で検知したタッチムーブの方向を判定する。左へ移動するタッチムーブであった場合にはS410へ進み、右へ移動するタッチムーブであった場合はS411へ進み、その他の方向へのタッチムーブで合った場合にはS412へ進む。タッチムーブの方向は、例えば次のようにして判定する。
タッチムーブの方向が右か左かの2方向のみの判定の場合、所定距離タッチムーブした時点のタッチ位置が、タッチダウン位置よりも左側である場合は左方向へのタッチムーブとして判定してS410へ進む。所定距離タッチムーブした時点のタッチ位置が、タッチダウン位置よりも右側である場合は右方向へのタッチムーブとして判定してS411へ進む。この判定は、タッチ位置のX軸方向(横方向)の成分の判定のみで行える。なお、このケースではS412に進むことはなく、図6(b)で説明したような上半身の選択は行わない。
タッチムーブの方向が右か左か上かの3方向の判定の場合は例えば次のように判定する。所定距離タッチムーブした時点のタッチ位置の座標と、タッチダウン位置の座標との、X軸(横方向)成分の差と、Y軸(縦方向)成分の差のどちらが大きいかを判定する。X軸成分の差の方が大きければ横移動とみなし、所定距離タッチムーブした時点のタッチX成分がタッチダウン位置より右であればタッチムーブの方向は右、そうでなければタッチムーブの方向は左と判定する。Y軸成分の差の方が大きければ縦移動とみなし、所定距離タッチムーブした時点のタッチY成分がタッチダウン位置より上であればタッチムーブの方向は上、そうでなければタッチムーブの方向は下と判定する。この判定は、タッチダウン位置から見て上下左右から45度の線を境界として分割した4領域のいずれに移動したか、と同義の判定である。なお、下方向のタッチムーブに何の機能も割り当てない場合は、下方向のタッチムーブと判定した後にさらにx成分に基づいて、右方向か左方向かのいずれかのタッチムーブと判定し、S410かS411に進むようにしてもよい。
S410では、システム制御部50は、S403で判定された顔領域の顔のうち、左側の瞳を選択し、左側の瞳の位置にAF枠を設定する。そして、図7(a)に示すように、LV画像600に重畳して左側の瞳を示すAF枠(追尾枠)701を表示する。AF枠は、選択された器官領域を示す指標、表示アイテムである。なお、瞳を選択して設定されたAF枠は、AFモードが追尾優先AFモードであっても1点AFモードであっても、その後の瞳の位置の変化に追従(追尾)する(追尾処理が行われる)。すなわち、瞳に設定したAF枠は追尾枠でもある。また、左側の瞳が検出されていない場合は、どの顔、器官も選択しないか、顔全体を選択してAF枠を設定する。
S411では、システム制御部50は、S403で判定された顔領域の顔のうち、右側の瞳を選択し、右側の瞳の位置にAF枠を設定する。そして、図7(b)に示すように、LV画像600に重畳して右側の瞳を示すAF枠(追尾枠)702を表示する。なお、瞳を選択して設定されたAF枠は、AFモードが追尾優先AFモードであっても1点AFモードであっても、その後の瞳の位置の変化に追従(追尾)する。すなわち、瞳に設定したAF枠は追尾枠でもある。また、右側の瞳が検出されていない場合は、どの顔、器官も選択しないか、顔全体を選択してAF枠を設定する。
S412では、システム制御部50は、目以外の顔の器官、あるいは顔に対応する領域よりも広い領域を選択する。例えば、図6(b)のようなタッチムーブガイドを表示した場合に上方向のタッチムーブがあったと判定した場合は、S403で判定された顔領域の顔を含む上半身を選択し、その上半身の位置にAF枠を設定する。そして、図7(d)に示すように、LV画像600に重畳して上半身を示すAF枠(追尾枠)704を表示する。また、例えば、下方向のタッチムーブがあったと判定した場合に、S403で判定された顔領域の顔のうち、口または鼻を選択し、口または鼻の位置にAF枠を設定してもよい。あるいは、下方向のタッチムーブがあったと判定した場合に、顔全体を選択してAF枠を設定してもよい。この場合、図7(c)に示すように、LV画像に重畳して顔を示すAF枠(追尾枠)703を表示する。なお、S412で設定されたAF枠も、AFモードに関わらずその後の被写体の位置の変化に追従(追尾)する。
なお、本実施形態では、S410、S411,S412における選択処理は、タッチムーブが所定距離行われた時点で実行される。すなわち、タッチアップが行われていなくとも実行され、その後タッチムーブが更に行われても、そのタッチムーブは影響しない。なお、これに限るものではなく、タッチアップが行われた時点でのタッチダウン位置からの移動方向を対象としてS309の判定を行ってS410〜S412の処理を行っても良い。また、タッチムーブが所定距離行われた時点でS410〜S412の処理を行い、その後タッチが離されずに更にタッチムーブが行われ、タッチムーブの方向が変わった場合に、S409〜S412の処理をやり直して選択を変更するようにしてもよい。
S413では、システム制御部50は、S402でタッチダウンされたタッチを離すタッチアップがあったか否かを判定する。タッチアップがあった場合にはS414に進み、そうでない場合はS408に進む。
S414では、システム制御部50は、タッチ位置(S414ではタッチダウン位置またはタッチアップ位置であるが、タッチムーブが検出されていないため、両者はほぼ同位置である)に基づくAF枠の設定処理を行う。この処理は図5を用いて後述する。
S415では、システム制御部50は、S402でタッチダウンされたタッチを離すタッチアップがあったか否かを判定する。タッチアップがあった場合にはS416に進み、そうでない場合はS417に進む。
S416では、システム制御部50は、シャッターボタン61が半押しされてSW1がオンとなったか否かを判定する。SW1がオンとなった場合(撮影準備指示操作が合った場合)はS417に進み、そうでない場合はS421に進む。
S416では、システム制御部50は、S404、S406,S410、S411,S412,S414のいずれかの処理によって設定されたAF枠の位置で、AF処理、AE処理を行う。オートホワイトバランス(AWB)処理を行っても良い。なお、SW1がオンとなったこのタイミングだけでなく、S404、S406,S410、S411,S412,S414のいずれかでAF枠が設定された時点でAF処理、AE処理、AWB処理の少なくとも1つを行うようにしてもよい。なお、S410、S411、後述のS502、S504でユーザーによる瞳の選択がされていた場合には、選択された瞳の領域にピントが合うようにAFが行われる。S412,S505で(他の器官ではなく)顔全体が選択されていた場合には、右目と左目のうち、自動的に選択した瞳にピントが合うようにAFを行う、あるいは、眉間などに対してピントが合う用意AFを行う。瞳の自動選択は、例えば片方の瞳しか検出されていない場合には検出されている瞳を選択し、両目が検出されている場合には、デジタルカメラ100に近い側の目を選択する、あるいは大きく写っている側の目を選択する、などである。
S418では、システム制御部50は、シャッターボタン61が全押しされてSW2がオンとなったか否かを判定する。SW2がオンとなった場合(撮影指示操作が合った場合)はS419へ進み、そうでない場合はS420へ進む。
S419では、システム制御部50は。撮像部22での本露光、信号読み出しから記録媒体200に撮像された画像を画像ファイルとして書き込むまでの一連の処理を含む本撮影を行う。
S420では、システム制御部50は、SW1のオン(シャッターボタン61の半押し)が維持されているか否かを判定し、維持されていればS418に進み、維持されていない場合(シャッターボタン61の押下状態が解除された場合)はS421へ進む。
S421では、システム制御部50は、電源オフ操作、電池残量不足による電源オフイベント、光学ファインダー撮影モードや再生モードなどの他の動作モードの遷移などによる、LV撮影モードの終了イベントがあったか否かを判定する。終了イベントがない場合はS402に戻って処理を繰り返し、終了イベントがあった場合はLV撮影モード処理を終了する。
次に、図5を用いて、前述のS406、S414の位置に基づく選択処理の詳細を説明する。この処理は、不揮発性メモリ56に記録されたプログラムを、システムメモリ52をワークメモリとしてシステム制御部50が実行することにより実現する。
S501では、システム制御部50は、S502で検出されたタッチダウンによるタッチ位置(タッチダウン位置)が、検出されている顔の左側の目の領域であるか否かを判定する。左側の目の領域であると判定した場合はS502に進み、そうでない場合(左側の目の領域の外側の場合、あるいは、左側の目が検出されていない場合)にはS503に進む。
S502では、システム制御部50は、S410と同様に、S403で判定された顔領域の顔のうち、左側の瞳を選択し、左側の瞳の位置にAF枠を設定する。そして、図7(a)に示すように、LV画像600に重畳して左側の瞳を示すAF枠(追尾枠)701を表示する。
S503では、システム制御部50は、S502で検出されたタッチダウンによるタッチ位置(タッチダウン位置)が、検出されている顔の右側の目の領域であるか否かを判定する。右側の目の領域であると判定した場合はS504に進み、そうでない場合(右側の目の領域の外側の場合、あるいは、右側の目が検出されていない場合)にはS505に進む。
S504では、システム制御部50は、S410と同様に、S403で判定された顔領域の顔のうち、右側の瞳を選択し、右側の瞳の位置にAF枠を設定する。そして、図7(b)に示すように、LV画像600に重畳して左側の瞳を示すAF枠(追尾枠)702を表示する。
S505では、システム制御部50は、タッチダウン位置に基づいて、顔に含まれるその他の器官、あるいは顔(顔全体)を選択し、選択した器官または顔全体に対してAF枠を設定する。顔にAF枠を設定した場合、図7(c)に示すように、LV画像600に重畳して顔の領域を示すAF枠(追尾枠)703を表示する。S505では、両目の領域に対するタッチダウンでは無かった場合なので、タッチダウン位置が他の器官の上であっても顔全体を選択してAF枠を設定するものとしてもよい。あるいは、タッチダウン位置にある検出されている器官(口は鼻、眉など)器官を選択してAF枠を設定してもよい。
以上説明した処理によれば、ユーザーが所望する顔の領域にタッチダウンした後に、右か左へタッチムーブ(フリック含む)を行えば、S410またはS411でユーザーが所望する瞳を選択してAF枠を設定できる(あるいは追尾対象として指定できる)。この操作により、LV画像上で小さい面積となりやすい瞳の領域を狙って精密にタッチダウンするよりも大まかな操作感で、かつ、正確にユーザーが所望する瞳を指定することができる。すなわち、より簡単、かつ正確に、ユーザーの所望する顔のユーザーの所望する瞳を選択することができる。
なお、図4のS413でタッチアップがあったと判定した場合、S414に進んで図5の位置に基づく選択処理を行うものとして説明したが、図5の位置に基づく選択処理を行わずに、かならず顔を選択してAF枠を設定するようにしてもよい。
また、図4の処理は、AFモードが追尾優先AFモードの場合に行い、1点AFモードの時には行わないようにしてもよい。すなわち、追尾対象を選択する際には顔にタッチダウンしてから右か左へのタッチムーブで、ユーザーが所望する瞳を容易に選択出来るようにする。一方、1点AFモードでは、タッチダウン後のタッチムーブには応じず、タッチダウン位置にのみ基づいてAF枠を設定するようにしてもよい。これは、図4の処理で、S403がYesである場合に、S405の処理を行わずにS406の処理へ進むことで実現できる。
また、上述した実施形態においては、ライブビュー撮影時にAFまたは追尾の対象の目を選択する際の操作について説明したが、これはこの例に限定されず、画像から検出された顔の器官を選択する際の操作方法として適用可能である。画像は、LV画像に限られるものではなく、再生画像であってもよい。例えば、記録媒体に記録済みの画像から、顔、または目を含む顔の器官のいずれかを選択し、選択した顔または器官に画像処理を施すような場合にも適用可能である。例えば、タブレットPCやスマートフォン、シール印刷システムなどで、記録済みの画像から顔、目、口、鼻を検出し、所望の目を選択して赤目補正を掛ける、モザイクまたはマスクをかける、瞳の強調処理(大きくするなど)を行う、などを行うことができる。目以外でも、鼻を選択して大きく強調する画像処理、美肌効果の画像処理、などを掛けることができる。さらに、口を選択して、赤みを強調する、光沢を付けるなどの画像処理を掛けることができる。このような場合の顔の器官の選択方法として、LV画像の変わりに、記録済み画像を対象として図4のS402〜S415の処理を適用し、タッチダウンした顔のうちタッチムーブの方向に応じた器官を選択する、という操作方法を提供できる。
なお、システム制御部50が行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラ100に適用した場合を例にして説明したが、これはこの例に限定されず、画像から検出された顔の器官を選択可能な電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、シール印刷システム、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
また、LV画像から顔の器官を選択する場合も、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する電子機器(制御装置)にも本発明を適用可能である。撮像装置を遠隔で制御する電子機器としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。この場合、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示でき、このLV画像から顔の器官を選択する場合の制御装置側の処理として、本発明を適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (19)

  1. 画像から顔及び該顔に含まれる器官領域を検出する検出手段と、
    表示手段に対するタッチ操作を検知するタッチ検知手段と、
    前記表示手段に表示された前記画像のうち、前記検出手段で検出された第1の顔に対応する領域に対してタッチが開始され、その後、前記タッチのタッチ位置が第1の方向に移動した場合には前記第1の顔に含まれる第1の器官領域を選択し、前記タッチの前記タッチ位置が前記第1の方向ではなく第2の方向に移動した場合には前記第1の顔に含まれる第2の器官領域を選択するように制御する制御手段と
    を有することを特徴とする電子機器。
  2. 前記制御手段は、前記画像に重畳して、選択された器官領域を示す指標を表示するように制御することを特徴とする請求項1に記載の電子機器。
  3. 前記第1の器官領域は前記第1の顔に含まる左側の目であり、前記第の器官領域は前記第の顔に含まれる右側の目であることを特徴とする請求項1または2に記載の電子機器。
  4. 前記第1の方向は前記表示手段に表示された前記第1の顔に対して左方向であり、前記第2の方向は前記表示手段に表示された前記第1の顔に対して右方向であることを特徴とする請求項3に記載の電子機器。
  5. 前記制御手段は、前記第1の顔に対応する領域に対してタッチが開始され、その後、タッチ位置が移動することなくタッチが離された場合は、前記第1の顔を選択するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  6. 前記制御手段は、前記第1の顔に対応する領域に対してタッチが開始され、その後、タッチ位置が移動することなくタッチが離された場合は、前記タッチのタッチ位置に基づいて前記第1の顔に含まれる複数の器官のいずれかを選択するように制御することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。
  7. 前記制御手段は、前記タッチのタッチ位置が所定距離以上移動すると、前記タッチが離されていなくとも、タッチ位置の移動方向に応じた顔または顔の器官の選択を行うように制御することを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
  8. 前記制御手段は、前記タッチのタッチ位置が第3の方向に移動した場合には前記第1の顔に含まれる第3の器官領域を選択するように制御することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
  9. 前記制御手段は、前記タッチのタッチ位置が第3の方向に移動した場合には前記第1の顔を含む、前記第1の顔に対応する領域よりも広い領域を選択するように制御することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
  10. 前記制御手段は、前記タッチのタッチ位置が第3の方向に移動した場合には前記第1の顔の器官ではなく前記第1の顔を選択するように制御することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
  11. 前記表示手段に表示された前記画像のうち、前記検出手段で検出された顔であって、前記画像において所定の大きさよりも小さい顔に対応する領域に対してタッチが開始された場合には、その後のタッチ位置の移動方向に関わらず、タッチされた位置に基づいて顔または顔の器官領域を選択するように制御することを特徴とする請求項1乃至10のいずれか1項に記載の電子機器。
  12. 前記制御手段はさらに、前記第1の顔に対応する領域に対してタッチが開始されたことに応じて、前記検出手段によって検出された前記第1の顔の器官領域を示す指標を前記表示手段に表示するように制御するように制御することを特徴とする請求項1乃至11のいずれか1項に記載の電子機器。
  13. 前記制御手段はさらに、前記第1の顔に対応する領域に対してタッチが開始されたことに応じて、タッチ位置の移動方向別に選択可能な器官領域を示すガイドを表示するように制御することを特徴とする請求項1乃至12のいずれか1項に記載の電子機器。
  14. 前記画像は撮像手段で撮像されたライブビュー画像であることを特徴とする請求項1乃至13のいずれか1項に記載の電子機器。
  15. 前記制御手段の制御によって選択された器官領域に基づいて、AF処理、追尾処理、AE処理、AWB処理の少なくともいずれかを行うように制御することを特徴とする請求項14に記載の電子機器。
  16. 前記画像は記録済みの画像であり、前記制御手段の制御によって選択された器官領域に基づいた画像処理を行うことを特徴とする請求項1乃至13のいずれか1項に記載の電子機器。
  17. 画像から顔及び該顔に含まれる器官領域を検出する検出ステップと、
    表示手段に対するタッチ操作を検知するタッチ検知ステップと、
    前記表示手段に表示された前記画像のうち、前記検出ステップで検出された第1の顔に対応する領域に対してタッチが開始され、その後、前記タッチのタッチ位置が第1の方向に移動した場合には前記第1の顔に含まれる第1の器官領域を選択し、前記タッチの前記タッチ位置が前記第1の方向ではなく第2の方向に移動した場合には前記第1の顔に含まれる第2の器官領域を選択するように制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
  18. コンピュータを、請求項1乃至16のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
  19. コンピュータを、請求項1乃至16のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2017200573A 2017-10-16 2017-10-16 電子機器及びその制御方法 Active JP6701145B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017200573A JP6701145B2 (ja) 2017-10-16 2017-10-16 電子機器及びその制御方法
US16/156,753 US10750081B2 (en) 2017-10-16 2018-10-10 Electronic apparatus and method for selecting an organ from an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200573A JP6701145B2 (ja) 2017-10-16 2017-10-16 電子機器及びその制御方法

Publications (2)

Publication Number Publication Date
JP2019075699A true JP2019075699A (ja) 2019-05-16
JP6701145B2 JP6701145B2 (ja) 2020-05-27

Family

ID=66096651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200573A Active JP6701145B2 (ja) 2017-10-16 2017-10-16 電子機器及びその制御方法

Country Status (2)

Country Link
US (1) US10750081B2 (ja)
JP (1) JP6701145B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010070A1 (ja) * 2019-07-12 2021-01-21 ソニー株式会社 撮像装置、撮像方法、プログラム
JP7433860B2 (ja) 2019-11-26 2024-02-20 キヤノン株式会社 電子機器及び電子機器の制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061869A (zh) * 2018-12-28 2023-11-14 株式会社尼康 电子设备、照相机以及程序
JP2022051280A (ja) * 2020-09-18 2022-03-31 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323258A (ja) * 2002-04-30 2003-11-14 Kenwood Corp 操作コマンド処理プログラムおよびナビゲーションシステム
JP2012123301A (ja) * 2010-12-10 2012-06-28 Olympus Imaging Corp 撮像装置
JP2016046710A (ja) * 2014-08-25 2016-04-04 キヤノン株式会社 電子機器、その制御方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP5459031B2 (ja) * 2010-04-13 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013070164A (ja) * 2011-09-21 2013-04-18 Olympus Imaging Corp 撮像装置及び撮像方法
US9111080B1 (en) * 2012-02-29 2015-08-18 Amazon Technologies, Inc. Reducing input processing latency for remotely executed applications
US8451246B1 (en) * 2012-05-11 2013-05-28 Google Inc. Swipe gesture classification
US20140164963A1 (en) * 2012-12-11 2014-06-12 Sap Ag User configurable subdivision of user interface elements and full-screen access to subdivided elements
JP2015172836A (ja) * 2014-03-11 2015-10-01 キヤノン株式会社 表示制御装置及び表示制御方法
JP6667294B2 (ja) * 2016-01-05 2020-03-18 キヤノン株式会社 電子機器およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323258A (ja) * 2002-04-30 2003-11-14 Kenwood Corp 操作コマンド処理プログラムおよびナビゲーションシステム
JP2012123301A (ja) * 2010-12-10 2012-06-28 Olympus Imaging Corp 撮像装置
JP2016046710A (ja) * 2014-08-25 2016-04-04 キヤノン株式会社 電子機器、その制御方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010070A1 (ja) * 2019-07-12 2021-01-21 ソニー株式会社 撮像装置、撮像方法、プログラム
US11849216B2 (en) 2019-07-12 2023-12-19 Sony Group Corporation Imaging apparatus detecting a pupil in moving and still images
JP7433860B2 (ja) 2019-11-26 2024-02-20 キヤノン株式会社 電子機器及び電子機器の制御方法

Also Published As

Publication number Publication date
US20190116312A1 (en) 2019-04-18
JP6701145B2 (ja) 2020-05-27
US10750081B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
JP6748582B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記録媒体
JP6602361B2 (ja) 電子機器及びその制御方法
JP2018107711A (ja) 撮像制御装置及びその制御方法
JP6833505B2 (ja) 撮像制御装置及びその制御方法
JP2018125612A (ja) 撮像装置及びその制御方法
JP6806572B2 (ja) 撮像制御装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP2018107710A (ja) 撮像装置及びその制御方法
JP6701145B2 (ja) 電子機器及びその制御方法
JP2018013745A (ja) 電子機器およびその制御方法
JP6833507B2 (ja) 撮像制御装置及びその制御方法
JP7129294B2 (ja) 電子機器および領域選択方法
JP2019114922A (ja) 電子機器、その制御方法およびプログラム
JP7049195B2 (ja) 電子機器及びその制御方法、プログラム、並びに記憶媒体
JP2022027841A (ja) 電子機器、プログラムおよび記憶媒体
JP6512961B2 (ja) 撮像制御装置およびその制御方法、プログラム、並びに記憶媒体
JP6833535B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6808480B2 (ja) 撮像制御装置及びその制御方法
JP2019200238A (ja) 撮像制御装置およびその制御方法、プログラム並びに記憶媒体
JP2021141573A (ja) 電子機器
JP2019120748A (ja) 電子機器及びその制御方法
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
JP6765901B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6765902B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP2019022116A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP6630337B2 (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6701145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151