JP2023140527A - 制御装置、撮像装置、制御方法、及びプログラム - Google Patents
制御装置、撮像装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2023140527A JP2023140527A JP2022046411A JP2022046411A JP2023140527A JP 2023140527 A JP2023140527 A JP 2023140527A JP 2022046411 A JP2022046411 A JP 2022046411A JP 2022046411 A JP2022046411 A JP 2022046411A JP 2023140527 A JP2023140527 A JP 2023140527A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- determined
- frame
- control circuit
- system control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 description 71
- 238000012545 processing Methods 0.000 description 64
- 241001465754 Metazoa Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【課題】ユーザーの意図する被写体に焦点を合わせることが可能な制御装置を提供すること。【解決手段】制御装置は、画像データを取得する撮像装置を制御する制御装置であって、画像データに設定される焦点検出に用いられる領域を取得する取得部と、領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象とする主被写体として決定する決定部とを有し、決定部は、第1の被写体と第2の被写体を異なる方法で決定する。【選択図】図4
Description
本発明は、焦点を合わせる主被写体を決定する制御装置に関する。
従来、焦点を合わせる対象として決定された主被写体に、リアルタイムで焦点を合わせ続ける構成が知られている。特許文献1には、評価値が一定レベル以上の人物の顔が見つかれば該人物を主被写体として決定し、評価値が一定レベル以上の人物の顔が見つからなければ不特定被写体を主被写体として決定する構成が提案されている。
しかしながら、特許文献1の構成では、ユーザーが設定したフォーカス枠に向かってくる動物や乗り物等の被写体を待ち構えている状況において、ユーザーの意図していない人物被写体を主被写体として決定してしまう場合がある。
本発明は、ユーザーの意図する被写体に焦点を合わせることが可能な制御装置を提供することを目的とする。
本発明の一側面としての制御装置は、画像データを取得する撮像装置を制御する制御装置であって、画像データに設定される焦点検出に用いられる領域を取得する取得部と、領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象とする主被写体として決定する決定部とを有し、決定部は、第1の被写体と第2の被写体を異なる方法で決定することを特徴とする。
本発明によれば、ユーザーの意図する被写体に焦点を合わせることが可能な制御装置を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
<カメラの構成>
図1(a)は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ100の構成図である。デジタルカメラ100は、デジタルカメラ100全体を制御する制御装置として機能するシステム制御回路50を有する。また、システム制御回路50は、図1(b)に示されるように、取得部50aと決定部50bとを備える。取得部50aは、デジタルカメラ100により取得される画像データ上に設定される焦点検出に用いられる領域(フォーカス枠)を取得する。決定部50bは、領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象(AF対象)とする主被写体として決定する。また、決定部50bは、第1の被写体と第2の被写体を異なる方法で決定する。なお、AF(オートフォーカス)とは、ユーザーが選択した被写体領域やデジタルカメラ100が自動的に設定した被写体領域を焦点検出領域として設定し、焦点位置を自動的に検出することである。
<カメラの構成>
図1(a)は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ100の構成図である。デジタルカメラ100は、デジタルカメラ100全体を制御する制御装置として機能するシステム制御回路50を有する。また、システム制御回路50は、図1(b)に示されるように、取得部50aと決定部50bとを備える。取得部50aは、デジタルカメラ100により取得される画像データ上に設定される焦点検出に用いられる領域(フォーカス枠)を取得する。決定部50bは、領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象(AF対象)とする主被写体として決定する。また、決定部50bは、第1の被写体と第2の被写体を異なる方法で決定する。なお、AF(オートフォーカス)とは、ユーザーが選択した被写体領域やデジタルカメラ100が自動的に設定した被写体領域を焦点検出領域として設定し、焦点位置を自動的に検出することである。
また、デジタルカメラ100は、撮影レンズ10、シャッター12、撮像素子14、A/D変換器16、及びタイミング発生回路18を有する。シャッター12は、絞り機能を備える。撮像素子14は、光学像を電気信号に変換する。A/D変換器16は、撮像素子14から出力されたアナログ信号をデジタル信号に変換する。タイミング発生回路18は、撮像素子14やA/D変換器16にクロック信号や制御信号を供給する。
撮像素子14は、C-MOSセンサとその周辺回路で構成される。撮像素子14では、複数の受光ピクセル上にそれぞれ1つの光電変換素子が配置される。撮像素子14は、全画素が独立して出力可能に構成される。また、全画素のうちの一部の画素が焦点検出用画素であり、撮像素子14は撮像面位相差検出方式のAF(撮像面位相差AF)を行うことが可能である。具体的には、撮像素子14は、図2に示されるように、撮影光学系の射出瞳の全域を通る光束を各々が受光して光学像を生成する複数の撮像用画素250を備える。また、撮像素子14は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素251を備える。複数の焦点検出用画素251は、全体として撮影光学系の射出瞳の全域を通る光束を受光することができる。例えば、撮像素子14は、2行×2列の画素のうち、対角に配置される一対のG画素は撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換えている。
システム制御回路50は、撮像素子14に埋め込まれた焦点検出用画素の撮像信号により位相差AF方式での焦点検出処理を行う。具体的には、システム制御回路50は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて焦点検出を行う。
なお、本実施形態では、撮像用画素の一部を焦点検出用画素に置き換えることによって撮像面位相差AFを実現するが、本発明は他の方法で焦点検出を実現してもよい。例えば、焦点検出専用センサを用いた位相差式焦点検出や、コントラスト式焦点検出を用いてもよい。
また、デジタルカメラ100は、画像処理回路20、メモリ制御回路22、画像表示部28、メモリ30、不揮発性メモリ31、及び圧縮・伸長回路32を有する。
画像処理回路20は、A/D変換器16からのデータ又はメモリ制御回路22からのデータに対して、画素補間処理、色変換処理、ノイズ除去処理、及びエッジ強調処理等を行う。
また、画像処理回路20は、画像内の特徴データ(顏の輪郭部分の形状)に合致する領域を特定するパターンマッチング処理を行うことで、人物の顔領域を検出する。画像処理回路20は、顔の検出機会を増やしたり検出精度を高めたりするために、複数の特徴データを用いてパターンマッチング処理を行ってもよいし、顔の形状の一部の特徴データを用いてパターンマッチング処理を行ってもよい。また、画像処理回路20は、顔の大きさによらず顔検出を行うために、特徴データの大きさを変化させてパターンマッチング処理を行ってもよい。また、画像処理回路20は、顔検出により検出された領域内の特徴データ(器官の形状データ)に合致する領域を特定するパターンマッチング処理を行うことで、顔の瞳、鼻、及び口等の器官領域を検出する。また、画像処理回路20は、顔検出や器官検出の結果においての確からしさを示す信頼度の算出処理等も行う。
また、画像処理回路20は、深層学習を用いて顔検出や器官検出を行ってもよい。画像処理回路20は、不揮発性メモリ31が記憶する複数の学習モデルのうちシステム制御回路50が選択した1つの学習モデルを用いて検出処理を行ってもよいし、複数の学習モデルを切り替えて複数の検出処理を行ってもよい。
また、画像処理回路20は、画像間の追尾処理を行う。画像処理回路20は、検出した被写体の特徴データを生成し、メモリ30に保存する。画像処理回路20は、メモリ30に保存した特徴データを基に、次のタイミングで生成された画像の中から特徴データと一致する領域を探索し、一致した領域を被写体領域として追尾処理を行う。画像処理回路20は、特徴データと一致する領域を探索する方法として、画像を領域ごとに切り出して特徴データとの差が少ない領域を被写体領域とする方法やヒストグラムや色データ等の一致度等を用いる方法を使用してもよい。
システム制御回路50は、被写体が複数検出された場合、ユーザーが選んだ被写体領域又は決定部50bにより決定された主被写体の領域を焦点検出領域として設定する。システム制御回路50は、被写体が検出されなくなると、画像処理回路20による追尾処理により検出された被写体領域を焦点検出領域として設定する。システム制御回路50は、一定時間内に同一被写体が検出されれば焦点検出処理に切り替え、追尾もできなくなれば別の被写体領域を焦点検出領域として設定する。
また、画像処理回路20は、オートホワイトバランス処理(AWB処理)を行うためのホワイトバランス(WB)評価値を算出するために、画像データを用いて所定の演算処理を行う。
更に、画像処理回路20は、自動露出制御(AE)処理、ストロボ露出制御(EF)処理を行うための、AE評価値やEF評価値を算出するために、画像データを用いて所定の演算処理を行う。システム制御回路50は、AE評価値やEF評価値を基に、アルゴリズムに従って露光制御部40に対する制御を行う。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、及び圧縮・伸長回路32を制御する。A/D変換器16のデータは、画像処理回路20及びメモリ制御回路22を介して、又はメモリ制御回路22を介して、メモリ30に書き込まれる。
画像表示部28は、TFTやLCD等により構成され、メモリ30に書き込まれた表示用の画像データを、メモリ制御回路22を介して取得し、表示する。画像表示部28に画像データを逐次表示することで、電子ファインダ機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合、デジタルカメラ100の電力消費を低減することができる。
メモリ30は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影を行う場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30は、認証用の特徴データを一時記憶する領域やシステム制御回路50の作業領域としても使用することが可能である。
不揮発性メモリ31は、FlashROM等により構成される。システム制御回路50は、不揮発性メモリ31に書き込まれたプログラムコードを逐次読み出しながら実行する。また、不揮発性メモリ31内には、認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、及びユーザー設定情報を記憶する領域が設けられている。
圧縮・伸長回路32は、適応離散コサイン変換(ADCT)等によりメモリ30に格納された画像を読み込んで圧縮処理又は伸長処理を行う。
また、デジタルカメラ100は、露光制御部40、フォーカス制御部42、ズーム制御部44、及びフラッシュ48を有する。露光制御部40は、シャッター12を制御すると共に、フラッシュ48と連動することによりフラッシュ調光機能も有する。フォーカス制御部42は、撮影レンズ10のフォーカシングを制御する。ズーム制御部44は、撮影レンズ10のズーミングを制御する。フラッシュ48は、フラッシュ調光機能を有する。システム制御回路50は、画像処理回路20が画像データに対して演算した結果に基づいて、露光制御部40及びフォーカス制御部42に対する制御を行う。
また、デジタルカメラ100は、モードダイアルスイッチ60、シャッタースイッチ62、表示切替スイッチ66、操作部70、及びズームスイッチ72を有する。モードダイアルスイッチ60は、デジタルカメラ100を電源オフモード、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、及びPC接続モード等に設定するために使用される。シャッタースイッチ62の操作途中で第1シャッタースイッチSW1がONになると、AF処理、AE処理、及びAWB処理等が開始される。また、シャッタースイッチ62の操作完了で第2シャッタースイッチSW2がONになると、一連の撮影処理が開始される。表示切替スイッチ66は、画像表示部28の表示を切り替える。操作部70は、各種ボタン、タッチパネル、及び回転式ダイアル等により構成される。ズームスイッチ72は、ユーザーが画像の倍率変更指示を行うために使用される。
また、デジタルカメラ100は、電源部86、インタフェース90、コネクタ92、光学ファインダ104、通信部110、接続部112、及びジャイロセンサ115を有する。電源部86は、アルカリ電池の一次電池、Liイオン電池等の二次電池、及びACアダプター等により構成される。インタフェース90は、メモリカードやハードディスク等の記録媒体と通信するために使用される。コネクタ92は、メモリカードやハードディスク等の記録媒体との接続を行うために使用される。通信部110は、USB、IEEE1394、LAN、及び無線通信等の各種通信機能を有する。接続部112は、デジタルカメラ100を他の機器と接続するために使用される。ジャイロセンサ115は、デジタルカメラ100のヨーイング方向の移動量やピッチング方向の移動量を検出する。
記録媒体200は、デジタルカメラ100に着脱可能に構成され、半導体メモリや磁気ディスク等により構成される記録部202、デジタルカメラ100とのインタフェース204、及びデジタルカメラ100との接続を行うコネクタ206を有する。
<静止画撮影動作>
図3は、デジタルカメラ100が静止画撮影モードに設定されている場合のシステム制御回路50による処理を示すフローチャートである
ステップS301では、システム制御回路50は、ライブビュー開始処理が完了したか否かを判定する。ライブビュー開始処理とは、タイミング発生回路18が撮像素子14やA/D変換器16にライブビュー用のクロック信号や制御信号を供給する処理である。ライブビュー開始処理が完了したと判定された場合、ステップS302に進み、そうでないと判定された場合、本ステップの処理を繰り返す。
<静止画撮影動作>
図3は、デジタルカメラ100が静止画撮影モードに設定されている場合のシステム制御回路50による処理を示すフローチャートである
ステップS301では、システム制御回路50は、ライブビュー開始処理が完了したか否かを判定する。ライブビュー開始処理とは、タイミング発生回路18が撮像素子14やA/D変換器16にライブビュー用のクロック信号や制御信号を供給する処理である。ライブビュー開始処理が完了したと判定された場合、ステップS302に進み、そうでないと判定された場合、本ステップの処理を繰り返す。
ステップS302では、システム制御回路50は、ライブビュー処理を開始する。ライブビュー処理とは、撮像素子14で撮像したデータを用いて画像処理回路20により生成されたライブビュー画像をメモリ30に一時記憶すると共に、画像表示部28に表示させる処理である。ライブビュー画像の生成と表示を連続的に実行することで、ユーザーは画像表示部28を用いてリアルタイムに撮像したライブビュー画像を確認することができる。
ステップS303では、システム制御回路50は、デジタルカメラ100が静止画撮影モードを継続するか否かを判定する。デジタルカメラ100が静止画撮影モードを継続すると判定された場合、ステップS304に進み、そうでないと判定された場合、本フローを終了する。
ステップS304では、システム制御回路50は、被写体追尾の設定がONであるかどうかを判定する。被写体追尾の設定がONであると判定された場合、ステップS306に進み、そうでないと判定された場合、ステップS305に進む。
ステップS305では、システム制御回路50は、AFに特定の被写体情報を使用しないように、主被写体はなしと決定する。
ステップS306では、システム制御回路50は、後述する主被写体決定処理を用いて焦点を合わせる対象とする主被写体を決定する。
ステップS307では、システム制御回路50は、第1シャッタースイッチSW1がONであるか否かを判定する。第1シャッタースイッチSW1がONであると判定された場合、ステップS308に進み、そうでないと判定された場合、ステップS304に戻る。
ステップS308では、システム制御回路50は、主被写体が決定されたか否かを判定する。被写体が決定されたと判定された場合、ステップS310に進み、そうでないと判定された場合、ステップS309に進む。
ステップS309では、システム制御回路50は、フォーカス枠(AF枠)の中心位置に対してAFを実行する。なお、AFを実行するAF位置は、本実施形態ではAF枠の中心位置であるが、AF枠内であればよい。例えば、AF枠内で奥行き方向において撮像素子14から最も近いと判定した領域をAF位置としてもよいし、AF枠内で色情報や輝度情報において顕著な領域をAF位置としてもよい。
ステップS310では、システム制御回路50は、主被写体に対してAFを実行する。
ステップS311では、システム制御回路50は、第2シャッタースイッチSW2がONであるか否かを判定する。第2シャッタースイッチSW2がONであると判定された場合、ステップS312に進み、そうでないと判定された場合、ステップS313に進む。
ステップS312では、システム制御回路50は、撮影処理を実行する。
ステップS313では、システム制御回路50は、AF設定がサーボAF設定であるか否かを判定する。サーボAF設定とは、AF対象とする主被写体に対して連続的にAFを実行し続ける設定である。AF設定がサーボAF設定であると判定された場合、ステップS314に進み、そうでないと判定された場合、ステップS311に戻る。
ステップS314では、システム制御回路50は、主被写体探索処理を実行する。主被写体探索処理は、ライブビュー画像間の追尾処理を行う又は最新のライブビュー画像の被写体検出結果と現在の主被写体情報との相関を取ることで、最新のライブビュー画像上での主被写体位置を探索する処理である。
<主被写体決定処理>
図4は、図3のステップS306で実行される、主被写体決定処理を示すフローチャートである。
<主被写体決定処理>
図4は、図3のステップS306で実行される、主被写体決定処理を示すフローチャートである。
ステップS401では、システム制御回路50は、ユーザーが設定したAF設定がスポットAF設定であるか否かを判定する。AF設定がスポットAF設定であると判定された場合、ステップS402に進み、そうでないと判定された場合、ステップS405に進む。
図5は、AF枠の説明図である。図5(a)のスポットAF設定では、AF枠501の位置はユーザーが任意に設定可能であり、AF位置でピンポイントにAFが実行される。図5(b)の1点AF設定では、AF枠502の位置はユーザーが任意に設定可能で、AF枠502の付近でAFが実行される。図5(c)のゾーン点AF設定では、AF枠503の位置や大きさはユーザーが任意に設定可能であり、AF枠内又はAF枠付近の主被写体位置でAFが実行される。図5(d)の全域AF設定では、AF枠504は画面全域であり、画面全域からAF位置が決定される。
ステップS402では、システム制御回路50は、画像処理回路20によりAF枠内で被写体が検出されたか否かを判定する。AF枠内で被写体が検出されたと判定された場合、ステップS403に進み、そうでないと判定された場合、ステップS404に進む。
ステップS403では、システム制御回路50は、AF枠内で検出された被写体を主被写体として決定する。
ステップS404では、システム制御回路50は、主被写体はなしと決定する。
ステップS405では、システム制御回路50は、AF枠設定が全域AF設定であるか否かを判定する。AF設定が全域AF設定であると判定された場合、ステップS406に進み、そうでないと判定された場合、ステップS407に進む。
ステップS406では、システム制御回路50は、後述するAF枠内の主被写体決定処理を実行する。
ステップS407では、システム制御回路50は、AF枠内の主被写体(第1の被写体)を主被写体として決定する。
ステップS408では、システム制御回路50は、AF枠内で被写体が検出されたか否かを判定する。AF枠内で被写体が検出されたと判定された場合、ステップS409に進み、そうでないと判定された場合、ステップS416に進む。
ステップS409では、システム制御回路50は、後述するAF枠内の主被写体決定処理を用いて主被写体を決定する。
ステップS410では、システム制御回路50は、AF枠外で被写体が検出されたか否かを判定する。AF枠外で被写体が検出されたと判定された場合、ステップS411に進み、そうでないと判定された場合、ステップS415に進む。
ステップS411では、システム制御回路50は、後述するAF枠外の主被写体決定処理を実行する。
ステップS412では、システム制御回路50は、ステップS411でAF枠外の主被写体(第2の被写体)が決定されたか否かを判定する。AF枠外の主被写体が決定されたと判定された場合、ステップS413に進み、そうでないと判定された場合、ステップS415に進む。
ステップS413では、システム制御回路50は、AF枠外の主被写体からデジタルカメラ100までの距離がAF枠内の主被写体からデジタルカメラ100までの距離よりも近いか否かを判定する。被写体からデジタルカメラ100までの距離は例えば、撮像素子14の焦点検出用画素に基づいて生成された画素ごとのデフォーカス量を示すデフォーカスマップを用いて算出されてもよいし、撮像素子14とは別の焦点検出専用センサを用いて算出されてもよい。また、AF枠外の主被写体とAF枠内の主被写体に対して、検出した被写体の大きさ、被写体の部位の大きさ、及び被写体の大きさを正規化した大きさ情報を用いて、デジタルカメラ100から近い被写体を推定してもよい。例えば、図6に示されるように、AF枠601内の主被写体である人物の顔602の大きさ情報とAF枠601外の主被写体である犬の顔603を正規化した情報とのうち大きい方の被写体をデジタルカメラ100から近い被写体と決定してもよい。AF枠外の主被写体からデジタルカメラ100までの距離がAF枠内の主被写体からデジタルカメラ100までの距離よりも近いと判定された場合、ステップS414に進み、そうでないと判定された場合、ステップS415に進む。
ステップS414では、システム制御回路50は、AF枠外の主被写体を主被写体として決定する。
ステップS415では、システム制御回路50は、AF枠内の主被写体を主被写体として決定する。
ステップS416では、システム制御回路50は、システム制御回路50は、AF枠外で被写体が検出されたか否かを判定する。AF枠外で被写体が検出されたと判定された場合、ステップS417に進み、そうでないと判定された場合、ステップS420に進む。
ステップS417では、システム制御回路50は、後述するAF枠外の主被写体決定処理を実行する。
ステップS418では、システム制御回路50は、ステップS417でAF枠外の主被写体が決定されたか否かを判定する。AF枠外の主被写体が決定されたと判定された場合、ステップS419に進み、そうでないと判定された場合、ステップS420に進む。
ステップS419では、システム制御回路50は、AF枠外の主被写体を主被写体として決定する。
ステップS420では、システム制御回路50は、主被写体はなしと決定する。
<AF枠内の主被写体決定処理>
図7は、図4のステップS406及びステップS409で実行される、所定の種類の被写体を優先してAF枠内の主被写体を決定するAF枠内の主被写体決定処理を示すフローチャートである。
<AF枠内の主被写体決定処理>
図7は、図4のステップS406及びステップS409で実行される、所定の種類の被写体を優先してAF枠内の主被写体を決定するAF枠内の主被写体決定処理を示すフローチャートである。
ステップS701では、システム制御回路50は、AF枠内で人物が検出されたか否かを判定する。人物が検出されたと判定された場合、ステップS702に進み、そうでないと判定された場合、ステップS705に進む。
ステップS702では、システム制御回路50は、ステップS701で検出された人物が複数であるか否かを判定する。人物が複数であると判定された場合、ステップS703に進み、そうでないと判定された場合、ステップS704に進む。
ステップS703では、システム制御回路50は、人物の顔の位置とサイズを用いて複数の人物からAF枠内の主被写体を決定する。具体的には、システム制御回路50は、位置重みとサイズ重みを乗算した情報が最も大きくなる人物をAF枠内の主被写体として決定する。位置重みは例えば、顔の中心位置がAF枠の中心に近いほど重みが大きくなるように設定すればよい。サイズ重みは例えば、顔のサイズが大きい被写体ほど重みが大きくなるように設定すればよい。なお、顔の向きが正面であるほど大きくなる重みを用いて、主被写体を決定してもい。
ステップS704では、システム制御回路50は、ステップS701で検出された人物をAF枠内の主被写体として決定する。
ステップS705では、システム制御回路50は、AF枠内で犬や猫等の動物が検出されたか否かを判定する。動物が検出されたと判定された場合、ステップS706に進み、そうでないと判定された場合、ステップS711に進む。
ステップS706では、システム制御回路50は、AF枠内で自動車等の乗り物が検出されたか否かを判定する。乗り物が検出されたと判定された場合、ステップS707に進み、そうでないと判定された場合、ステップS708に進む。
ステップS707では、システム制御回路50は、動物や乗り物等の被写体の位置と被写体種別ごとに正規化したサイズを用いてAF枠内の主被写体を決定する。サイズの正規化は例えば、動物や乗り物等の被写体の撮像素子14までの距離が等しい場合、被写体領域が同じ面積になるように行われる。具体的には、システム制御回路50は、位置重みとサイズ重みを乗算した情報が最も大きくなる被写体をAF枠内の主被写体として決定する。
ステップS708では、システム制御回路50は、ステップS705で検出された動物が複数であるか否かを判定する。動物が複数であると判定された場合、ステップS709に進み、そうでないと判定された場合、ステップS710に進む。
ステップS709では、システム制御回路50は、動物の位置とサイズを用いて複数の動物からAF枠内の主被写体を決定する。具体的には、システム制御回路50は、位置重みとサイズ重みを乗算した情報が最も大きくなる動物をAF枠内の主被写体として決定する。
ステップS710では、システム制御回路50は、ステップS705で検出された動物をAF枠内の主被写体として決定する。
ステップS711では、システム制御回路50は、AF枠内で自動車等の乗り物が検出されたか否かを判定する。乗り物が検出されたと判定された場合、ステップS712に進み、そうでないと判定された場合、ステップS715に進む。
ステップS712では、システム制御回路50は、ステップS711で検出された乗り物が複数であるか否かを判定する。乗り物が複数であると判定された場合、ステップS713に進み、そうでないと判定された場合、ステップS714に進む。
ステップS713では、システム制御回路50は、乗り物の位置とサイズを用いて複数の乗り物からAF枠内の主被写体を決定する。具体的には、システム制御回路50は、位置重みとサイズ重みを乗算した情報が最も大きくなる乗り物をAF枠内の主被写体として決定する。
ステップS714では、システム制御回路50は、ステップS711で検出された乗り物をAF枠内の主被写体として決定する。
ステップS715では、システム制御回路50は、AF枠内の主被写体はなしと決定する。
<AF枠外の主被写体決定処理>
図8は、図4のステップS410及びステップS416で実行される、被写体とAF枠との距離に基づいてAF枠外の主被写体を決定するAF枠外の主被写体決定処理を示すフローチャートである。
<AF枠外の主被写体決定処理>
図8は、図4のステップS410及びステップS416で実行される、被写体とAF枠との距離に基づいてAF枠外の主被写体を決定するAF枠外の主被写体決定処理を示すフローチャートである。
ステップS801では、システム制御回路50は、AF枠外の被写体のうち最もAF枠に近い被写体をAF枠外の主被写体の候補被写体(第1の候補被写体)に決定する。候補被写体は、人物、動物、及び乗り物等の被写体種別に関係なく決定される。図9は、候補被写体の決定方法の説明図である。AF枠901の境界と被写体領域902との距離912、及びAF枠901の境界と被写体領域903との距離913のうち近い方の被写体領域内の被写体が候補被写体に決定される。図9では、距離913の方が短いため、被写体領域903内の被写体が候補被写体として決定される。
ステップS802では、システム制御回路50は、候補被写体が移動しているか否かを判定する。システム制御回路50は例えば、候補被写体の領域の位置を定期的に監視し、過去の位置に対して現在の領域の位置が所定距離以上に変化している場合に候補被写体が移動していると判定する。候補被写体が移動していると判定された場合、ステップS803に進み、そうでないと判定された場合、ステップS806に進む。
ステップS803では、システム制御回路50は、候補被写体の移動方向がAF枠に向かう方向であるか否かを判定する。システム制御回路50は例えば、人物や動物の顔の向きや乗り物先端の方向等の被写体の方向を決定可能な深層学習の学習モデルを用いて候補被写体の移動方向がAF枠に向かう方向であるか否かを判定することができる。また、被写体領域の位置が過去に検出された被写体領域の位置よりもAF枠に近い場合、候補被写体の移動方向がAF枠に向かう方向であると判定されてもよい。候補被写体の移動方向がAF枠に向かう方向であると判定された場合、ステップS804に進み、そうでないと判定された場合、ステップS806に進む。
ステップS804では、システム制御回路50は、候補被写体とAF枠との距離が所定距離よりも近いか否かを判定する。所定距離は例えば、被写体領域の対角線距離に一定の比率を乗算した長さであってもよいし、候補被写体の単位時間当たりの移動量であってもよい。また、所定距離は、ジャイロセンサ115の角速度情報を用いてデジタルカメラ100のパンニング方向やパンニング量に応じて決定されてもよい。候補被写体とAF枠との距離が所定距離よりも近いと判定された場合、ステップS805に進み、そうでないと判定された場合、ステップS806に進む。
ステップS805では、システム制御回路50は、候補被写体をAF枠外の主被写体として決定する。
ステップS806では、システム制御回路50は、AF枠外で他の被写体が検出されたか否かを判定する。他の被写体が検出されたと判定された場合、ステップS808に進み、そうでないと判定された場合、ステップS807に進む。
ステップS807では、システム制御回路50は、AF枠外の主被写体はなしと決定する。
ステップS808では、システム制御回路50は、AF枠外の被写体のうち第1の候補被写体の次にAF枠に近い被写体を候補被写体(第2の候補被写体)に決定する。
以上説明したように、本実施形態の構成によれば、AF枠内とAF枠外でAF対象とする主被写体の決定方法を変更することで、シーンに応じてユーザーの意図する被写体に焦点を合わせることが可能である。
なお、本実施形態では、デジタルカメラ100の静止画撮影で主被写体決定処理を用いる例について説明したが、動画撮影待機中や動画撮影中において主被写体決定処理を用いてもよい。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
50 システム制御回路(制御装置)
50a 取得部
50b 決定部
100 撮像装置
50a 取得部
50b 決定部
100 撮像装置
Claims (9)
- 画像データを取得する撮像装置を制御する制御装置であって、
前記画像データに設定される焦点検出に用いられる領域を取得する取得部と、
前記領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び前記領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象とする主被写体として決定する決定部とを有し、
前記決定部は、前記第1の被写体と前記第2の被写体を異なる方法で決定することを特徴とする制御装置。 - 前記決定部は、所定の種類の被写体を優先して前記第1の被写体を決定することを特徴とする請求項1に記載の制御装置。
- 前記決定部は、前記所定の被写体が複数検出された場合、複数の前記所定の被写体のそれぞれの大きさと位置の少なくとも一方に基づいて、前記第1の被写体を決定することを特徴とする請求項2に記載の撮像装置。
- 前記決定部は、被写体と前記領域との距離に基づいて前記第2の被写体を決定することを特徴とする請求項1乃至3の何れか一項に記載の制御装置。
- 前記決定部は、前記被写体の移動方向に基づいて前記第2の被写体を決定することを特徴とする請求項4に記載の制御装置。
- 前記決定部は、前記第1の被写体及び前記第2の被写体のうち前記撮像装置との距離が近い一方を前記主被写体として決定することを特徴とする請求項1乃至5の何れか一項に記載の制御装置。
- 請求項1乃至6の何れか一項に記載の制御装置と、
撮像素子とを有することを特徴とする撮像装置。 - 画像データを取得する撮像装置を制御する制御方法であって、
前記画像データに設定される焦点検出に用いられる領域を取得するステップと、
前記領域の内部で検出される少なくとも一つの被写体から決定される第1の被写体及び前記領域の外部で検出される少なくとも一つの被写体から決定される第2の被写体の一方を、焦点を合わせる対象とする主被写体として決定するステップとを有し、
前記第1の被写体と前記第2の被写体は異なる方法で決定されることを特徴とする制御方法。 - 請求項8に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022046411A JP2023140527A (ja) | 2022-03-23 | 2022-03-23 | 制御装置、撮像装置、制御方法、及びプログラム |
US18/183,995 US20230308756A1 (en) | 2022-03-23 | 2023-03-15 | Control apparatus, image pickup apparatus, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022046411A JP2023140527A (ja) | 2022-03-23 | 2022-03-23 | 制御装置、撮像装置、制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023140527A true JP2023140527A (ja) | 2023-10-05 |
Family
ID=88096869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022046411A Pending JP2023140527A (ja) | 2022-03-23 | 2022-03-23 | 制御装置、撮像装置、制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230308756A1 (ja) |
JP (1) | JP2023140527A (ja) |
-
2022
- 2022-03-23 JP JP2022046411A patent/JP2023140527A/ja active Pending
-
2023
- 2023-03-15 US US18/183,995 patent/US20230308756A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230308756A1 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107087107B (zh) | 基于双摄像头的图像处理装置及方法 | |
CN101621625B (zh) | 摄像设备 | |
JP4350725B2 (ja) | 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム | |
EP1956831B1 (en) | Focus adjusting device, image pickup apparatus, and focus adjustment method | |
JP4732299B2 (ja) | 特定被写体像の検出方法およびデジタルカメラ | |
JP2007304280A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5171468B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2003344891A (ja) | 撮影モード自動設定カメラ | |
JP2007081682A (ja) | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム | |
JPH11190816A (ja) | 光学装置及び測距点選択方法 | |
US7391461B2 (en) | Apparatus, method and control computer program for imaging a plurality of objects at different distances | |
JP2009141475A (ja) | カメラ | |
JP6525809B2 (ja) | 焦点検出装置及びその制御方法 | |
JPH10142490A (ja) | 環境認識装置及びカメラ | |
JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
JP2019121860A (ja) | 画像処理装置及びその制御方法 | |
JP6602081B2 (ja) | 撮像装置およびその制御方法 | |
JP7214681B2 (ja) | 被写体追尾装置、被写体追尾方法、コンピュータプログラム及び記憶媒体 | |
JP4771536B2 (ja) | 撮像装置及び主被写体となる顔の選択方法 | |
JP7450371B2 (ja) | 被写体追尾装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2023140527A (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
JP7122916B2 (ja) | 撮像装置およびその制御方法、プログラムならびに記憶媒体 | |
US11394877B2 (en) | Control apparatus, image pickup apparatus, and control method | |
JP5780750B2 (ja) | 自動合焦装置、その制御方法及びプログラム | |
JP2024031627A (ja) | 画像処理装置、撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |