JP2021124671A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021124671A JP2021124671A JP2020019811A JP2020019811A JP2021124671A JP 2021124671 A JP2021124671 A JP 2021124671A JP 2020019811 A JP2020019811 A JP 2020019811A JP 2020019811 A JP2020019811 A JP 2020019811A JP 2021124671 A JP2021124671 A JP 2021124671A
- Authority
- JP
- Japan
- Prior art keywords
- defocus amount
- image processing
- image
- parts
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000003384 imaging method Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010034719 Personality change Diseases 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】合焦対象領域が検出されない場合でも、合焦対象領域のデフォーカス量を取得することを目的とする。【解決手段】画像処理装置は、画像から被写体の複数の部位を検出する検出手段と、検出された前記複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、前記合焦対象部位のデフォーカス量を推測する制御を行う制御手段と、を含む。【選択図】図2
Description
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
デジタルカメラ等の撮像装置は、動画像を構成する各フレームから被写体を検出し、検出した被写体を追尾して、オートフォーカス(以下、AF)等の撮影制御を行う。AF機能は、測距領域の選択を自動化する機能であり、該AF機能が用いられることにより、ユーザによる撮影をサポートすることができる。関連する技術として、特許文献1の自動合焦制御技術が提案されている。特許文献1の自動合焦制御技術は、測距エリアに被写体の顔が存在しないと判定された場合、胴体領域が存在すると判定された測距エリアから取得される位相差検出信号に基づいて追尾AF動作を実行させる。また、ニューラルネットワークに関する技術が非特許文献1に開示されている。
S.Haykin,"Neural Networks A Comprehensive Foundation 2nd Edition",Prentice Hall,pp.156−255,July 1998
特許文献1の自動合焦制御技術は、補助画像の中から顔検出を行い、予め設定された複数の測距エリアに追尾顔が測距エリアから外れたかの判定を行う。そして、追尾顔が測距エリアから外れ、且つ追尾顔の下に測距エリアが存在すると判定された場合に、該測距リアに胴体が存在すると推定して、AF動作が実行される。しかしながら、特許文献1の自動合焦制御技術では、顔領域が検出されなかった場合、或いは被写体の姿勢によっては、AF動作を実行できない場合がある。例えば、被写体が倒立姿勢になっている場合、追尾顔の下に測距エリアには、胴体が存在しないため、AF動作を実行することができない。また、追尾顔の下にある予め設定された測距エリアに被写体の部位が含まれていない場合、AF動作を実行することができない。
本発明は、合焦対象領域が検出されない場合でも、合焦対象領域のデフォーカス量を取得することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、画像から被写体の複数の部位を検出する検出手段と、検出された前記複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、前記合焦対象部位のデフォーカス量を推測する制御を行う制御手段と、を備えることを特徴とする。
本発明によれば、合焦対象領域が検出されない場合でも、合焦対象領域のデフォーカス量を取得することができる。
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
以下、図面を参照して、本実施形態について説明する。図1は、撮像装置100の構成を示すブロック図である。撮像装置100は、被写体を撮影して、動画像や静止画を生成し、生成したデータを、テープや固体メモリ、光ディスク、磁気ディスク、半導体メモリ等の各種メディアに記録可能である。撮像装置100は、例えば、デジタルスチルカメラやデジタルビデオカメラ等である。撮像装置100内の各ユニットは、バス160を介して接続されている。また各ユニットは、CPU151により制御される。
レンズユニット101は、固定1群レンズ102、ズームレンズ111、絞り103、固定3群レンズ121およびフォーカスレンズ131を有する。レンズユニット101は、他のレンズを有していてもよい。絞り制御部105は、CPU151からの指令に従い、絞りモータ104(AM)を介して絞り103を駆動することにより、絞り103の開口径を調整して撮影時の光量調節を行う。ズーム制御部113は、ズームモータ112(ZM)を介してズームレンズ111を駆動することにより、焦点距離を変更する。
フォーカス制御部133は、レンズユニット101のピント方向のずれ量(デフォーカス量)に基づいてフォーカスモータ132(FM)を駆動する駆動量を決定する。また、フォーカス制御部133は、フォーカスモータ132(FM)を介してフォーカスレンズ131を駆動することにより、焦点調節状態を制御する。フォーカス制御部133およびフォーカスモータ132によるフォーカスレンズ131の移動制御により、AF制御が実現される。フォーカスレンズ131は、焦点調節用レンズであり、図1には単レンズで簡略的に示されているが、通常は複数のレンズで構成される。
レンズユニット101を介して撮像素子141上に結像する被写体像は、撮像素子141により電気信号に変換される。撮像素子141は、被写体像(光学像)を電気信号に光電変換を行う光電変換素子である。撮像素子141は、横方向および縦方向にそれぞれ複数の受光素子(画素)が配置されている。撮像信号処理部142は、撮像素子141上に結像されて光電変換された画像を信号処理して画像信号(画像データ)を生成する。これにより、撮像面の画像を取得することができる。
撮像信号処理部142が出力する画像データは、撮像制御部143に送られ、一時的にRAM154に記憶される。画像圧縮解凍部153は、RAM154に記憶された画像データを圧縮する。なお、画像圧縮解凍部153は、圧縮された画像データの解凍を行うこともできる。圧縮された画像データは、画像記録媒体157に記録される。これと並行して、RAM154に蓄積された画像データは、画像処理部152に送られる。画像処理部152は、画像データに対して最適なサイズへの縮小処理または拡大処理等の画像処理を行う。また、画像処理部152は、画像データ同士の類似度算出等を行う。
画像処理部152により最適なサイズに処理された画像データは、適宜、モニタディスプレイ150に出力される。これにより、モニタディスプレイ150は、プレビュー画像表示やスルー画像表示を行うことができる。また、画像処理部152は、後述する物体検出部162の物体検出結果を画像データに重畳することで、モニタディスプレイ150は、物体検出結果が重畳された画像データを画面表示できる。
RAM154は、リングバッファとして用いることもできる。この場合、所定期間内に撮像された複数の画像データや、画像データごとに対応した物体検出部162の検出結果、後述する位置姿勢変化取得部161が取得した撮像装置の位置姿勢変化等を、RAM154にバッファリングできる。操作スイッチ156は、タッチパネルやボタン等を含む入力インターフェイスであり、モニタディスプレイ150に表示される種々の機能アイコンを選択操作すること等により、様々な操作を行うことができる。
CPU151は、操作スイッチ156に入力された操作者からの指示、或いは一時的にRAM154に蓄積された画像データの画素信号の大きさに基づき、撮像素子141の蓄積時間やゲインの設定値を決定する。撮像制御部143は、CPU151から蓄積時間やゲインの設定値の指示を受け取り、撮像素子141を制御する。CPU151は、本実施形態の各処理を主体的に実行する。CPU151は、フォーカス制御部113を制御することにより、焦点調節状態を制御する。CPU151は、制御手段に対応する。
物体検出部162は、画像データから物体が存在する領域を検出する。物体検出部162は、検出手段に対応する。本実施形態では、物体検出部162が行う物体検出処理は、CNN(畳み込みニューラルネットワーク)による特徴抽出処理により実現されるものとする。CNNは、機械学習により学習されたCNNであり、学習済みモデルに対応する。物体検出部162は、CNN以外の機械学習アルゴリズム(決定木やサポートベクターマシン等)により機械学習された学習済みモデルを用いて物体検出処理を行ってもよい。また、物体検出部162は、R−CNN(Regions with CNN features)等により機械学習された学習済みモデルを用いて物体検出処理を行ってもよい。
物体検出部162は、画像から、被写体としての人物についての人体における複数の部位を検出する。部位は、局所領域とも称されることがあり、例えば、生体的な特定な部位(頭部や肩等)には限定されず、人物の特徴的な領域であってもよい。
物体検出部162は、動物や車等を被写体として、複数の部位を検出してもよい。例えば、物体検出部162は、人物について顔を含む頭部や両肩、胴体、両膝等の代表点を推定することにより検出し、検出結果を一括して出力する。物体検出部162は、上記の各部位以外の部位を検出してもよい。物体検出部162は、人物の人体の部位を矩形領域や点で検出してもよい。部位が領域で検出される場合、その部位は、領域のうちの中心や重心等の1点で表されてもよい。また、物体検出部162は、画像の所定領域(興味領域)から各部位を検出してもよい。なお、物体検出部162は、機械学習された学習済みモデルではなく、被写体から部位を検出する所定の検出手法により、部位の検出を行ってもよい。
物体検出部162は、CNNを用いて、部位の座標を人物ごとにクラスタリングされた状態で出力してもよい。この場合、CNNから出力されたクラスタの数は、フレーム内に存在する人物の数とみなすことができる。物体検出部162は、被写体としての人物および人物の複数の部位を推定して、推定結果を出力してもよい。
フォーカス制御部133は、特定の被写体領域に対するAF制御を行う。絞り制御部105は、特定の被写体領域の輝度値を用いた露出制御を行う。画像処理部152は、被写体領域に基づいたガンマ補正やホワイトバランス処理等を行う。上述したように、モニタディスプレイ150は、画像データを含む所定の情報を表示する表示手段である。また、物体検出部162は、被写体として人物を検出することができる。
バッテリ159は、電源管理部158により適切に管理され、撮像装置100の全体に安定した電源供給を行う。フラッシュメモリ155は、撮像装置100の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置100が起動すると(電源OFF状態から電源ON状態へ移行すると)、フラッシュメモリ155に格納された制御プログラム及びパラメータがRAM154の一部に読み込まれる。CPU151は、RAM154にロードされた制御プログラムを実行することで、本実施形態の処理を実現することができる。
位置姿勢変化取得部161は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成される。位置姿勢変化取得部161は、撮像装置の撮影シーンに対する位置姿勢変化を計測する。位置姿勢変化取得部161が取得した位置姿勢変化は、RAM154に記憶される。距離算出部163は、画像データ中の任意の被写体に対して撮像装置100からの距離(深度)を算出する。算出された距離情報はRAM154に記憶される。画像処理部152は、RAM154に記憶された距離情報を参照して、各種の処理を行う。撮像装置100の構成は、図1の例には限定されない。
図1の撮像装置100のうち、CPU151、画像処理部152および物体検出部162により画像処理装置が構成されてもよい。この画像処理装置は、単体の装置により実現されてもよいし、撮像装置100に内蔵されてもよいし、スマートフォンやタブレット端末等に内蔵されてもよい。また、上記の画像処理装置は、CPU151、画像処理部152および物体検出部162以外の構成(例えば、モニタディスプレイ150や画像圧縮解凍部153等)を有していてもよい。
次に、本実施形態の処理について説明する。図2は、本実施形態の処理の流れの一例を示すフローチャートである。以下、被写体は、人物であるものとして説明する。ただし、上述したように、被写体は、動物や車等の人物以外の被写体であってもよい。上述したように、被写体としての人物には、頭部や肩部、腹部、足部等の部位がある。以下、撮像装置100による合焦の対象となる部位(合焦対象部位)は、顔を含む頭部であるものとする。ただし、合焦対象部位は、頭部には限定されない。例えば、合焦対象部位は、肩部や足部等であってもよい。また、本実施形態は、動画像やスルー画像等の連続した複数の画像のそれぞれに対しても適用できる。例えば、合焦対象部位である頭部は、動画像の撮影を行う際のAF制御における追尾対象の部位であってもよい。
撮像装置100が被写体である人物を撮影した際に、合焦対象部位である頭部が、例えば、他の人物や障害物、被写体である人物の頭部以外の部位により隠れてしまうことがある。この場合、画像から頭部が検出されなくなる。つまり、合焦対象部位である頭部の検出は失敗する。このため、頭部を合焦対象部位としたデフォーカス量を取得することができなくなる。そこで、本実施形態は、以下の処理を行う。
最初に、S200で、CPU151は、撮像制御部143から供給される画像を取得する。撮像制御部143から供給される画像は、CPU151以外にも供給され得る。CPU151は、取得した画像を、物体検出部162に入力する。S201で、物体検出部162は、CPU151からの画像をCNNに入力して、被写体としての人物の人体における複数の部位を推定する。物体検出部162は、人物の1以上の部位(関節部位)を推定結果として検出する。
ここで、S201で、物体検出部162は、取得された画像の興味領域から何れの部位も検出しないことがある。この場合、CPU151は、本実施形態の処理をS202以降の処理を行うことなく、本実施形態の処理を終了させてもよい。また、物体検出部162は、取得された画像から、複数の被写体(複数の人物)を検出することがある。この場合、複数の人物のうち何れの人物の頭部が合焦対象部位であるかは、例えば、操作者が操作スイッチ156を用いて指定されてもよい。また、CPU151は、物体検出部162が複数の人物を検出した場合には、S202以降の処理を行うことなく、本実施形態の処理を終了させてもよい。
上述したように、合焦対象部位である頭部は、他の人物や障害物、被写体である人物の頭部以外の部位により隠れてしまうことがある。そこで、S202で、CPU151は、物体検出部162が頭部を検出したかを判定する。CPU151は、S202でYESと判定した場合、処理をS203に進める。この場合、合焦対象部位である頭部が検出されている。従って、S203で、CPU151は、画像に含まれる頭部のデフォーカス量を算出することにより取得する。そして、取得されたデフォーカス量に基づいて、レンズユニット101の1以上のレンズが駆動される。
一方、CPU151は、S202でNOと判定した場合、つまり取得された画像から頭部が検出されなかった場合、処理をS204に進める。S204で、CPU151は、検出された各部位のデフォーカス量を算出し、算出された各デフォーカス量から深度差の度合いが所定値以上であるかを判定する。本実施形態では、各デフォーカス量の「最大値と最小値の差分」を深度差の度合いとし、CPU151は、深度差の度合いが大きいかを判定する。CPU151は、S204でNOと判定した場合(深度差の度合いが所定値未満である場合)、処理をS205に進める。つまり、深度差の度合いが小さい場合、S205が実行される。一方、CPU151は、S204でYESと判定した場合(深度差の度合いが所定値以上である場合)、処理をS206に進める。つまり、深度差の度合いが大きい場合、S206が実行される。
S205で、CPU151は、検出された複数の部位の何れかを選択し、選択された部位のデフォーカス量を頭部のデフォーカス量と推測(予測)して、合焦させる制御を行う。部位の選択は、例えば、操作スイッチ156に対する操作者の指示により行われてもよい。上述した深度差の度合いが小さければ、何れの部位が選択されても、選択された部位に合焦され、頭部も深度内に収まる可能性が高い。このため、CPU151は、検出された複数の部位の何れかの部位のデフォーカス量を算出して、合焦させる制御を行う。ここで、CPU151は、検出された複数の部位のうち、合焦対象部位に近い部位を優先的に選択する。CPU151は、合焦対象部位である頭部から近いと考えられる順に合焦できるかを判定し、最初に合焦できると判定された部位に合焦してもよい。
例えば、CPU151は、合焦対象部位である頭部から近い肩部、腹部、足部の順に合焦できるかを判定し、最初に合焦できると判定された部位に基づいて、デフォーカス量を推測してもよい。つまり、CPU151は、頭部から最も近い合焦可能な部位に基づいて、デフォーカス量を推測してもよい。取得されたデフォーカス量に基づいて、レンズユニット101の1以上のレンズが駆動される。また、CPU151は、検出された複数の部位のうち合焦可能な部位のデフォーカス量の平均値または中央値をデフォーカス量と推測してもよい。この場合も、取得されたデフォーカス量に基づいて、レンズユニット101の1以上のレンズが駆動される。
上述したように、CPU151は、S204でYESと判定した場合、つまり各部位のデフォーカス量の深度差の度合いが大きい場合、処理をS206に進める。この場合、S206で、CPU151は、被写体としての人物の両肩部が検出されているかを判定する。CPU151は、S206でYESと判定した場合、処理をS207に進める。つまり、物体検出部162により、被写体としての人物の左肩部および右肩部の両者が検出されている場合、CPU151は、S206でYESと判定する。
S208で、CPU151は、検出されている左肩部および右肩部のそれぞれのデフォーカス量の平均値を、頭部のデフォーカス量として取得する。この場合の頭部のデフォーカス量は、検出されている左肩部および右肩部のそれぞれのデフォーカス量の平均値に基づく推測値(予測値)である。図3は、障害物により頭部が隠れている画像の一例を示す図である。図3に示されるように、画像中で、被写体である人物の頭部は障害物により隠れている。この場合、物体検出部162から頭部は検出されない。一方、画像には、左肩部および右肩部が含まれており、物体検出部162は、図3の画像をCNNの入力として、左肩部および右肩部を推定する。これにより、推定結果として左肩部および右肩部が検出される。
CPU151は、検出された左肩部および右肩部のそれぞれのデフォーカス量の平均値を算出する。頭部は、左肩部と右肩部との中央に対応する領域の上部に位置するため、CPU151は、算出したデフォーカス量の平均値を頭部のデフォーカス量を推測値として取得する。これにより、頭部が障害物により隠れていたとしても、推測値に基づくデフォーカス量を取得できる。そして、取得されたデフォーカス量に基づいて、レンズユニット101が駆動される。
S207では、CPU151は、両肩部のデフォーカス量の平均値から頭部のデフォーカス量を取得しているが、頭部のデフォーカス量は任意の部位の平均値から取得されてもよい。例えば、物体検出部162が左右の肘部を検出している場合、CPU151は、検出されている左右の肘部のデフォーカス量の平均値を、頭部のデフォーカス量として取得してもよい。また、例えば、合焦対象部位が胴部であり、且つ物体検出部162が左右の膝部を検出している場合、CPU151は、検出されている左右の肘部のデフォーカス量の平均値を、頭部のデフォーカス量として取得してもよい。
CPU151は、S206でNOと判定した場合、処理をS208に進める。物体検出部162から、左肩部と右肩部とのうち何れか一方または両方が検出されなかった場合、CPU151は、S206でNOと判定する。この場合、S208で、CPU151は、頭部から足部までの3つの部位が直線的になっているかを判定する。例えば、CPU151は、物体検出部162により検出された頭部と胴部と足部とが直線的な姿勢になっているかに基づいて、S208の判定を行う。CPU151は、S208でYESと判定した場合、処理をS209に進める。一方、CPU151は、S208でNOと判定した場合、処理をS205に進める。
図4は、被写体が直線的な姿勢になっているか否かを説明するための図である。図4の例では、物体検出部162により右肩部と胴部と右足部とが検出されており、頭部は検出されていないものとする。CPU151は、検出された右肩部と胴部と右足部とのうち最も離れた2点である右肩部と右足部とを結ぶ線分を設定し、該直線と胴部との間の距離を算出する。図4(a)は、右肩部と右足部とを結ぶ直線と胴部との間の距離L1が所定距離未満である例を示す。この場合、距離L1が短いため、CPU151は、被写体が直線的な姿勢になっていると判定する。一方、図4(b)は、右肩部と右足部とを結ぶ直線と胴部との間の距離L2が所定距離以上である例を示す。この場合、距離L2が長いため、CPU151は、被写体が直線的な姿勢になっていないと判定する。
「数1」で表される式は、胴部のデフォーカス量が頭部と足部とのデフォーカス量の平均値によって近似できるという想定に基づく。以上により、CPU151は、頭部のデフォーカス量を推測する。
図2に示されるように、S210で、CPU151は、図2の各処理を終了するかを判定する。例えば、CPU151は、S200で取得された画像が、動画像を構成する複数の画像のうち最後の画像であるか否かに基づいて、S207の判定を行ってもよい。CPU151は、S210でYESと判定した場合、処理を終了させる。一方、CPU151は、S210でNOと判定した場合、処理をS200に戻す。
上述したように、物体検出部162は、CNNを用いて、被写体および複数の部位を検出する。CNNは、例えば、畳み込み層とプーリング層とが交互に積層された層構造に、全結合層および出力層が結合されたネットワークであってもよい。この場合、CNNの学習としては、例えば、誤差逆伝搬法等が適用され得る。また、CNNは、特徴検出層(S層)と特徴統合層(C層)とをセットとした、ネオコグニトロンのCNNであってもよい。この場合、CNNの学習としては、「Add−if Silent」と称される学習手法が適用され得る。
CNNの機械学習は、サーバ等の所定のコンピュータが行ってもよい。画像処理装置または撮像装置100は、学習されたCNNを、所定のコンピュータから取得してもよい。この場合、画像処理装置または撮像装置100は、外部装置と通信を行う通信手段(例えば、通信インタフェース)を有する。例えば、所定のコンピュータが、学習用の画像データを入力とし、学習用の画像データに対応する被写体および被写体の複数の部位を教師データとした教師あり学習を行うことで、CNNの学習が行われてもよい。以上により、学習済みのCNNが生成される。画像処理装置または撮像装置100は、所定のコンピュータから通信手段を介して、学習済みのCNNを取得してもよい。CNNの学習は、撮像装置100で行われてもよい。CNN以外の他の機械学習アルゴリズムにより生成される学習済みを用いる場合も同様である。
また、上述した画像処理装置または撮像装置100は、推定手段としての物体検出部162を有していなくてもよい。画像処理装置または撮像装置100は、通信手段を介して、物体検出部162の機能を有する推定装置(例えば、エッジコンピュータ)に画像を送信する。推定装置は、上述した物体検出部162と同様の処理を行い、推定結果を画像処理装置または撮像装置100に送信する。これにより、CPU151は、本実施形態の処理を行うことができる。
以上、説明したように、本実施形態では、物体検出部162は、学習済みのCNNに画像を入力して、画像中の被写体の複数の部位を推定し、推定された複数の部位を検出する。そして、CPU151は、検出された複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、合焦対象部位のデフォーカス量を推測する。これにより、合焦対象領域が検出されない場合でも、合焦対象領域のデフォーカス量を取得することができる。また、頭部の下に測距エリアが設定されているか否かにかかわらず、合焦対象領域のデフォーカス量を取得することができる。
以上において、CPU151は、物体検出部162が検出した被写体の複数の部位に基づいて推測した合焦対象部位を特定する枠が画像に重畳された画面を、表示手段としてのモニタディスプレイ150に表示させてもよい。例えば、モニタディスプレイ150は、合焦対象部位である頭部を特定する枠が重畳された画面を表示してもよい。このとき、モニタディスプレイ150には、頭部を囲うような矩形の枠が重畳された画面が表示されてもよい。また、CNN等の学習済みモデルにより推定された複数の部位から得られる合焦対象部位を特定する枠の表示態様は、通常の物体検出手法により検出された物体を特定する表示態様とは異なっていてもよい。これにより、モニタディスプレイ150に表示されている枠が、CNN等の学習済みモデルによる推定結果に基づいて特定された合焦対象部位を特定する枠であることが分かる。
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 撮像装置
150 モニタディスプレイ
151 CPU
152 画像処理部
162 物体検出部
150 モニタディスプレイ
151 CPU
152 画像処理部
162 物体検出部
Claims (18)
- 画像から被写体の複数の部位を検出する検出手段と、
検出された前記複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、前記合焦対象部位のデフォーカス量を推測する制御を行う制御手段と、
を備えることを特徴とする画像処理装置。 - 前記制御手段は、前記画像から前記合焦対象部位が検出されなかった場合に、前記合焦対象部位のデフォーカス量の推測を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段は、推測された前記デフォーカス量に応じて、1以上のレンズの駆動を行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記検出手段が、前記画像から複数の被写体を検出した場合、前記合焦対象部位のデフォーカス量の推測は行われないことを特徴とする請求項1乃至3のうち何れか1項に記載の画像処理装置。
- 前記制御手段は、前記合焦対象部位ではない1以上の部位のデフォーカス量のうち、前記合焦対象部位に最も近い合焦可能な部位のデフォーカス量を、前記合焦対象部位のデフォーカス量と推測することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
- 前記制御手段は、検出された前記複数の部位のそれぞれのデフォーカス量の最大値と最小値との差分が所定値未満である場合、検出された前記複数の部位のうち何れかの部位のデフォーカス量を前記合焦対象部位のデフォーカス量と推測することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
- 前記制御手段は、検出された前記複数の部位のそれぞれのデフォーカス量の平均値または中央値を前記合焦対象部位のデフォーカス量と推測することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
- 前記検出手段は、前記被写体としての人物の複数の部位を検出することを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。
- 前記合焦対象部位は前記人物の頭部であることを特徴とする請求項8に記載の画像処理装置。
- 前記制御手段は、検出された前記人物の左肩部および右肩部のそれぞれのデフォーカス量に基づいて、前記頭部のデフォーカス量を推測することを特徴とする請求項9に記載の画像処理装置。
- 前記制御手段は、検出された前記人物の胴部のデフォーカス量と足部のデフォーカス量とに基づいて、前記頭部のデフォーカス量を推測することを特徴とする請求項9に記載の画像処理装置。
- 前記制御手段は、前記頭部と前記胴部と前記足部とが直線的になっている場合にのみ、前記胴部のデフォーカス量と前記足部とデフォーカス量とに基づく前記頭部のデフォーカス量の検出を行うことを特徴とする請求項11に記載の画像処理装置。
- 前記画像に前記合焦対象部位を特定する枠が重畳された画面を表示する表示手段、をさらに備えることを特徴とする請求項1乃至12のうち何れか1項に画像処理装置。
- 前記検出手段は、機械学習により学習された学習済みモデルを用いて、前記被写体の複数の部位を推定することを特徴とする請求項1乃至13のうち何れか1項に記載の画像処理装置。
- 画像から被写体の複数の部位を推定する推定装置から推定結果を取得する通信手段と、
前記推定結果が示す、推定された前記複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、前記合焦対象部位のデフォーカス量を推測する制御を行う制御手段と、
を備えることを特徴とする画像処理装置。 - 撮像素子と、
請求項1乃至15のうち何れか1項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。 - 画像から被写体の複数の部位を検出する工程と、
検出された前記複数の部位のうち合焦対象部位ではない1以上の部位のデフォーカス量に基づいて、前記合焦対象部位のデフォーカス量を推測する制御を行う工程と、
を備えることを特徴とする画像処理方法。 - 請求項1乃至15のうち何れか1項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020019811A JP2021124671A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020019811A JP2021124671A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021124671A true JP2021124671A (ja) | 2021-08-30 |
Family
ID=77460068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020019811A Pending JP2021124671A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021124671A (ja) |
-
2020
- 2020-02-07 JP JP2020019811A patent/JP2021124671A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012614B2 (en) | Image processing device, image processing method, and program | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
TWI419552B (zh) | 攝影裝置、被攝體追蹤方法及記錄媒體 | |
JP5268433B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
KR101537948B1 (ko) | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 | |
JP6184189B2 (ja) | 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体 | |
US8988535B2 (en) | Photographing control method and apparatus according to motion of digital photographing apparatus | |
JP4780205B2 (ja) | 撮像装置、画角調節方法、及び、プログラム | |
US8648960B2 (en) | Digital photographing apparatus and control method thereof | |
US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
JP5703788B2 (ja) | 撮像装置、画像処理装置、画像処理プログラム | |
JP2018033013A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP2012053313A (ja) | 撮像装置、オートズーム方法、及び、プログラム | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
US12002279B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2015111226A (ja) | 被写体追跡装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体 | |
JP6210214B2 (ja) | 主要被写体推定装置及びプログラム並びに情報処理装置 | |
JP2021124671A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2019180017A (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
JP5111293B2 (ja) | 撮像装置及びその制御方法 | |
WO2020129620A1 (ja) | 撮像制御装置、撮像装置、撮像制御方法 | |
JP6851885B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2020188297A (ja) | 撮像装置、撮像システム、およびその制御方法 | |
JP2021125847A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2020126434A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240702 |