JP2022106638A - 画像処理装置、撮像装置、画像処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】検出対象以外の被写体や背景のテクスチャが被写体検出に与える影響を低減し、より精度の高い被写体検出が可能な画像処理装置を提供する。【解決手段】撮像装置は、レンズユニット１０１および撮像素子１４１により入力画像を取得し（Ｓ２００）、被写体検出を行う（Ｓ２０１）。撮像装置は被写体検出の信頼度を算出して閾値と比較する（Ｓ２０２）。被写体検出の信頼度が閾値未満である場合、撮像装置はデフォーカス算出処理（Ｓ２０３）、背景領域の決定処理（Ｓ２０４）を実行する。撮像装置は、決定された背景領域に対してローパスフィルタリング処理を施し（Ｓ２０５）、背景領域の高周波成分を低減させてから、再び被写体検出を行う（Ｓ２０６）。【選択図】 図２

Description

本発明は、画像処理装置における被写体検出の技術に関する。

撮像装置において撮像画像内の被写体を検出する場合、被写体の画像領域（被写体領域）を抽出する処理が行われる。被写体領域を抽出する際、検出対象以外の被写体や背景が、検出被写体と類似したテクスチャパターンや、複雑なテクスチャパターンを有する場合には被写体を検出できない可能性がある。特許文献１では、主被写体のボケ量や鮮明度に適した被写体検出の技術が開示されている。被写体のボケ量や鮮明度に応じて、検出手段のパラメータを選択して被写体検出を行うことにより、例えば被写体に焦点が合いきっていない状態でも精度良く検出が可能である。また、特許文献２では、距離マップを用いて、検出対象の被写体が存在する可能性が低い領域を除外して検出を行う技術が開示されている。このことで、検出対象とする領域内に別の被写体や背景が存在する可能性を低減することができる。

特開２０１９－１８６９１１号公報 特許第６３５８５５２号公報

特許文献１の技術では、検出対象とする被写体に焦点が合っていたとしても、背景の画像が複雑なパターンを有する場合には、被写体検出において所望の検出精度が得られない可能性がある。また、特許文献２の技術では、被写体領域を切り出すことによって、人為的なエッジが発生し、畳み込みニューラルネットワークを用いた被写体検出では、精度が低下する可能性がある。
本発明の目的は、検出対象以外の被写体や背景のテクスチャが被写体検出に与える影響を低減し、より精度の高い被写体検出が可能な画像処理装置を提供することである。

本発明の実施形態の画像処理装置は、撮像手段により撮像された画像を取得する取得手段と、取得された前記画像から被写体の検出を行う検出手段と、前記検出手段による被写体の検出結果を判定して前記画像の全体または部分領域の周波数成分もしくは、画素値を調整する制御を行う制御手段と、を備え、前記検出手段は、前記周波数成分もしくは、前記画素値が調整された画像に対して被写体の検出を行うことを特徴とする。

本発明によれば、検出対象以外の被写体や背景のテクスチャが被写体検出に与える影響を低減し、より精度の高い被写体検出が可能な画像処理装置を提供することができる。

実施形態における撮像装置の構成を示すブロック図である。 第１実施形態における処理を説明するフローチャートである。 第２および第３実施形態における待機中の処理を説明するフローチャートである。 実施形態における静止画連写中の処理を説明するフローチャートである。 画像処理部１５２の構成を示すブロック図である。 第４実施形態における処理を説明するフローチャートである。 第４実施形態の処理の概要を示す概念図である。 画素値調整部５０１の処理を説明するフローチャートである。 第５実施形態による効果を説明する概念図である。

以下に、本発明の実施形態について図面を参照して詳細に説明する。各実施形態では本発明に係る画像処理装置を適用した撮像装置の例を示す。
［第１実施形態］
図１を参照して、本実施形態における撮像装置の構成について説明する。図１は撮像装置１００の構成例を示すブロック図である。撮像装置１００は、被写体を撮影して動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスク等の各種メディアに記録可能なデジタルスチルカメラやビデオカメラ等である。本発明は撮像手段を有する各種電子機器に適用可能である。

撮像装置１００内の各ユニットはバス１６０を介して接続されている。各ユニットは、制御部を構成するＣＰＵ（中央演算処理装置）１５１により制御される。ＣＰＵ１５１はプログラムを実行することにより、以下に示す処理や制御を行う。

レンズユニット１０１は、撮像光学系を構成する固定レンズや可動レンズ等の光学部材を備える。図１では、固定１群レンズ１０２、ズームレンズ（変倍用レンズ）１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ（焦点調節用レンズ）１３１を備えた構成を示す。

絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ（ＡＭ）１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節の制御を行う。ズーム制御部１１３は、ズームモータ（ＺＭ）１１２を介してズームレンズ１１１を駆動することにより、撮像光学系の焦点距離を変更する。

フォーカス制御部１３３は、レンズユニット１０１の焦点調節における光軸上での焦点ずれ量（デフォーカス量）に基づいてフォーカスモータ（ＦＭ）１３２の駆動量を決定する。フォーカス制御部１３３は決定した駆動量に基づき、フォーカスモータ（ＦＭ）１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３およびフォーカスモータ（ＦＭ）１３２によりフォーカスレンズ１３１の移動制御が行われてオートフォーカス（ＡＦ）制御が実現される。図１にはフォーカスレンズ１３１を単レンズで簡略的に示しているが、通常複数のレンズで構成される。

被写体からの光は、レンズユニット１０１を介して撮像素子１４１上に結像する。撮像光学系により結像された被写体像（光学像）に対し、撮像素子１４１は光電変換を行って電気信号を出力する。撮像素子１４１は、横方向と縦方向に所定画素数の光電変換部が配置された構成を有しており、受光部で光電変換を行って光学像に対応する電気信号を撮像信号処理部１４２に出力する。撮像素子１４１は撮像制御部１４３により制御される。

撮像信号処理部１４２は、撮像素子１４１により取得された信号を画像信号として整えて、撮像面での画像データを取得する信号処理を行う。撮像信号処理部１４２から出力される画像データは撮像制御部１４３に送られ、一時的にＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積される。

画像圧縮解凍部１５３は、ＲＡＭ１５４に蓄積された画像データを読み出して圧縮した後、画像記録媒体１５７に記録する処理を行う。この処理と並行して、ＲＡＭ１５４に蓄積された画像データは画像処理部１５２に送られる。

画像処理部１５２は、所定の画像処理、例えば画像データに対して最適なサイズへの縮小処理や拡大処理、画像データ同士の類似度の算出処理、被写体領域に基づいたガンマ補正およびホワイトバランス処理等を行う。最適なサイズに処理された画像データは、適宜にモニタディスプレイ１５０へ送られて画像が表示され、プレビュー画像表示やスルー画像表示が行われる。また、物体検出部１６２が行った物体検出結果を画像データに重畳して表示することができる。物体検出部１６２は、画像信号を用いて撮像画像内で所定の物体が存在する領域を決定する処理を行う。

ＲＡＭ１５４をリングバッファとして用いることで、所定期間内に撮像された複数の画像のデータや、各種検出データのバッファリングが可能である。各種検出データとは、画像データごとに対応した物体検出部１６２の検出結果、撮像装置１００の位置姿勢変化のデータ等である。

位置姿勢変化取得部１６１は、例えばジャイロセンサや加速度センサ、電子コンパス等の位置姿勢センサを備え、撮像装置１００の撮影シーンに対する位置姿勢変化を計測する。取得された位置姿勢変化のデータはＲＡＭ１５４に保存される。

操作スイッチ部１５６は、タッチパネルや操作ボタン等を含む入力インターフェイス部である。ユーザは、モニタディスプレイ１５０に表示される種々の機能アイコンの選択や操作を行うことにより、様々な操作指示が可能である。ＣＰＵ１５１は、操作スイッチ部１５６から入力された操作指示信号、または、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像動作の制御を行う。例えばＣＰＵ１５１は、撮像素子１４１の蓄積時間や、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲイン設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲイン設定値の指示を受け取り、撮像素子１４１を制御する。

ＣＰＵ１５１はフォーカス制御部１３３に指令を送信して、特定の被写体領域に対するＡＦ制御を行い、また絞り制御部１０５に指令を送信して、特定の被写体領域の輝度値を用いた露出制御を行う。

モニタディスプレイ１５０は表示デバイスを有し、画像の表示や物体検出結果の矩形表示等を行う。電源管理部１５８はバッテリ１５９を管理し、撮像装置１００の全体に安定した電源供給を行う。

フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記憶されている。ユーザの操作により電源ＯＦＦ状態から電源ＯＮ状態へと移行して撮像装置１００が起動すると、フラッシュメモリ１５５に記憶された制御プログラムおよびパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムおよび定数に従って撮像装置１００の動作を制御する。

デフォーカス算出部１６３は、撮像画像内の任意の被写体に対してデフォーカス量を算出する。デフォーカス量の算出方法は公知であるため、その説明を割愛する。生成されたデフォーカス情報はＲＡＭ１５４に保存され、画像処理部１５２から参照される。本実施形態では撮像画像におけるデフォーカス量の分布情報を取得する例を示すが、その他の方法がある。例えば、被写体からの光を瞳分割して複数の視点画像（視差画像）を生成し、視差量を算出して被写体の深度分布情報を取得する方法がある。瞳分割型撮像素子は複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、各光電変換部から異なる視点画像の信号を出力可能である。被写体の深度分布情報は、撮像部から被写体までの距離（被写体距離）を絶対値として距離値で表わすデータや、画像データにおける相対的な距離関係（画像の深度）を示すデータ（視差量の分布データ等）を含む。深度の方向は撮像部を基準とした奥行き方向に相当する。複数の視点画像データについては複数の撮像手段を有する多眼式カメラによっても取得可能である。

本実施形態では、機械学習に基づく被写体検出手段として畳み込みニューラルネットワークを利用した例を示す。本明細書中では、畳み込みニューラルネットワーク（Convolutional Neural Network）をＣＮＮと略記する。ＣＮＮは畳み込み層やプーリング層を積み上げることで構成される。被写体検出手段は画像上の矩形領域のデータと、検出結果の信頼度のデータを出力する。一例として信頼度は０から２５５の整数値で出力され、信頼度の値が小さいほど誤検出の尤度が大きいものとする。ＣＰＵ１５１は、被写体検出用の学習済みモデルのデータおよびプログラムを用いて以下の処理を実現する。

ＣＮＮによる被写体検出処理においては、あらかじめ機械学習によって得られたフィルタによる畳み込み演算が複数回実行される。畳み込み演算、すなわち、ある着目画素とその周囲の領域の画素値とで積和演算が行われるので、その特性上、検出対象とする被写体の領域に対応する演算結果は、その周囲の背景領域の画素パターンにも影響される。被写体領域の検出に影響を与える背景領域の範囲は、フィルタのサイズやネットワークの層数に左右される。

背景領域の画素パターンが被写体検出に与える影響を低減するためにＣＰＵ１５１は、背景領域の高周波成分を低減する処理を実行する。この処理は、下記により実現可能である。
（１）デフォーカス情報、深度情報、距離情報等に基づいて、撮像装置１００から遠くの領域（背景領域）であると判断される領域の画素に対して、所定の画像処理を施して画像をぼかすこと。所定の処理には、画像処理部１５２が行うローパスフィルタリング処理やバンドパスフィルタリング処理がある。
（２）所望の被写体に対して、ある程度焦点が合っている場合、絞り制御部１０５がレンズユニット１０１の絞り１０３の開口径を大きくする方向に駆動する制御を行って背景領域のボケ量を増加させること。
（３）フォーカス制御部１３３がフォーカスレンズ１３１を駆動し、合焦位置を所定方向に変更することで、背景領域でのデフォーカス量を増加させること。

あるいは、複数の処理を組み合わせることによって、背景領域の高周波成分を低減する処理が可能である。なお、（１）から（３）に示した、背景領域の高周波成分を低減する処理は、画像の全体または部分領域の周波数成分を調整する処理の一例である。ＣＰＵ１５１は被写体の検出結果を判定して周波数成分の調整処理の方法を決定することにより、被写体検出の精度を高める制御を行う。

図２を参照して、本実施形態における処理の流れを説明する。図２は処理の一例を示すフローチャートであり、ＣＰＵ１５１がプログラムを実行して図２の各部を制御することで以下の処理が実現される。

Ｓ２００で撮像制御部１４３は、撮像素子１４１により取得された信号を処理して、各部へ入力画像データを供給する。次のＳ２０１では、入力画像に対して被写体検出が行われる。ＣＮＮを利用した被写体検出処理が実行され、撮像画像上の矩形領域と、検出結果の信頼度を出力する処理が行われる。

Ｓ２０２でＣＰＵ１５１は、高信頼度の検出結果が取得されたかどうかを判断する。何らかの被写体が検出され、かつ信頼度が所定の閾値以上であると判定された場合、処理を終了する。この場合には、検出された被写体に対するＡＦ制御や枠表示等の、任意の処理が実行されたうえで当該被写体の画像に対する処理を終了する。一方、高信頼度の検出結果が取得されなかったことが判断された場合、Ｓ２０３の処理に進む。

Ｓ２０３でデフォーカス算出部１６３は各画像領域のデフォーカス量を算出し、デフォーカス情報を出力する。次のＳ２０４でＣＰＵ１５１は、Ｓ２０３で算出されたデフォーカス情報を用いて背景領域の決定処理を行う。ここではデフォーカス量が閾値以上である領域が背景領域とみなされるものとする。

Ｓ２０５でＣＰＵ１５１および画像処理部１５２は、Ｓ２０４で背景領域とみなされた領域に対してのみローパスフィルタリング処理を施す。Ｓ２０６にてＣＰＵ１５１は再度、被写体検出処理を実行する。つまり、ローパスフィルタリング処理後の画像に対して被写体検出処理が行われる。その後、被写体検出の結果に応じてＡＦ制御や枠表示等の、任意の処理が行われたうえで、検出された被写体の画像に対する処理を終了する。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、絞り１０３の調整によって画像のぼかし方を変え、検出性能を向上させる例を示す。図３は、撮影者が構図の調整を行っている段階である待機中の処理例を示すフローチャートである。第１実施形態と同様の事項については既に使用した符号や記号等を流用することにより、それらの詳細な説明を省略して、主に相違点を説明する。このような説明の省略方法は後述の実施形態でも同じである。

図３を参照して、待機中のシーケンスについて説明する。Ｓ３００にて撮像制御部１４３はｎ番目の入力画像データを取得して各部へ供給する。ｎは自然数の変数であり、その初期値を１とする。Ｓ３０１では、ｎ番目の入力画像に対してＣＮＮに基づく被写体検出が行われる。Ｓ３０２でＣＰＵ１５１は、高信頼度の検出結果が取得されたかどうかを判断する。信頼度が閾値以上であった場合、検出された被写体に対するＡＦ制御や枠表示等の処理が行われたうえで被写体画像に対する処理を終了してからＳ３１０の処理に進む。またＳ３０２で信頼度が閾値未満であった場合、Ｓ３０３の処理に進む。

Ｓ３０３にてデフォーカス算出処理が行われ、デフォーカス算出部１６３は各部へデフォーカス情報を供給する。Ｓ３０４でＣＰＵ１５１は、画像全体のデフォーカス量の最大値と最小値との差分値を算出する。この差分値は、撮影シーンにおいて奥行き方向の距離差が存在するか否かの評価に用いられる。算出された差分値が閾値未満であった場合、Ｓ３１０の処理に進む。また差分値が閾値以上であった場合にはＳ３０５の処理に進む。いずれの場合にも、画像に対する処理は終了する。

Ｓ３０５にてＣＰＵ１５１は、絞り値を相対的に小さな値に設定する処理を行う。例えば現在の絞り値に対して１段階小さな絞り値の設定処理が行われる。あるいは、撮像装置１００で設定可能な、最小の絞り値を設定してもよい。

Ｓ３０６で撮像制御部１４３から次フレーム、つまりｎ＋１番目の入力画像が取得される。次のＳ３０７ではｎ＋１番目の入力画像に対してＣＮＮに基づく被写体検出が行われる。Ｓ３０８にてＣＰＵ１５１は、高信頼度の検出結果が取得されたかどうかを判断する。信頼度が閾値以上であった場合、検出された被写体に対するＡＦ制御や枠表示等の処理が行われたうえで被写体画像に対する処理を終了してからＳ３０９に進む。また信頼度が閾値未満であった場合、Ｓ３１０の処理に進む。

Ｓ３０９、Ｓ３１０でＣＰＵ１５１はフラグの設定処理を実行する。このフラグの値は、撮影シーンに関して背景領域をぼかすことが被写体検出にとって有利な入力画像となる旨を示す場合に真値（ｔｒｕｅ）であり、有利でない入力画像となる旨を示す場合に偽値（ｆａｌｓｅ）である。Ｓ３０９でフラグを有効にする設定、つまり真値の設定が行われる。またＳ３１０においてはフラグを無効にする設定、つまり偽値の設定が行われる。Ｓ３０９、Ｓ３１０の後、一連の処理を終える。

図４を参照して、静止画連写中の処理について説明する。図４は静止画連写中のシーケンス例を説明するフローチャートである。ここで静止画連写中には、実際に記録媒体に出力される画像（静止画像）データを取得するための第１のフレームと、撮像装置内部で画像処理に用いるための評価用画像データを取得するための第２のフレームとが交互に繰り返されるものとする。また、被写体検出や、その検出結果に対するＡＦ制御および枠表示等は評価用画像に対してのみ行われるものとする。

Ｓ４００にてＣＰＵ１５１は、対象とするフレームが第２のフレームであり、評価用画像データが取得されたかどうかを判断する。評価用画像データが取得されたことが判断された場合、Ｓ４０１の処理に進む。また第１のフレームにて記録用静止画像データが取得されたことが判断された場合、Ｓ４０５の処理に進む。

Ｓ４０１でＣＰＵ１５１は、Ｓ３０９、Ｓ３１０（図３）で設定されたフラグの判定処理を実行する。フラグが有効（真値）であると判定された場合、Ｓ４０２の処理に進む。またフラグが無効（偽値）であると判定された場合には、Ｓ４０５の処理に進む。

Ｓ４０２でＣＰＵ１５１は、図３のＳ３０５と同様に、小さな絞り値を設定する。その後、Ｓ４０３で入力画像データが取得されてから、Ｓ４０４でＣＮＮに基づく被写体検出が行われる。何らかの被写体が検出され、かつ信頼度が閾値以上であると判断された場合、その被写体に対するＡＦ制御や枠表示等の処理が行われた上で入力画像に対する処理を終了する。Ｓ４０５でＣＰＵ１５１は、撮影者の指定通りに絞り値を設定する。次のＳ４０６において入力画像データが取得されたうえで、入力画像に対する処理を終了する。

本実施形態では、図３のＳ３０４においてデフォーカス情報から奥行き方向の距離差が存在するか否かを判断し、判断結果に基づいて絞り値の調整が行われる。また図４のＳ４０１でフラグが有効であると判定された場合、例えば評価用画像と記録用静止画像とで異なる絞り値の設定が行われて入力画像が取得される。この際、ＣＰＵ１５１は絞りの開閉に要する時間を判断して連写速度の上限値を設定する。絞り１０３の調整によって画像のぼかし方を変えることで、検出性能を向上させることが可能である。

［第３実施形態］
図３および図４を参照して、本発明の第３実施形態を説明する。本実施形態では、毎フレームの被写体検出結果のばらつき度合いの情報を用いて、絞り値を下げるか否かを制御する構成を示す。例えば、連続する２つのフレームに対して被写体検出が行われた場合を想定する。いずれのフレームでも所定の閾値以上の信頼度を有する被写体検出結果が得られた場合、ＣＰＵ１５１は前記実施形態と同様の制御を行う。

ＣＰＵ１５１は、連続する２つのフレームに対する被写体検出結果の信頼度の差分値を算出して、所定の差分閾値と比較する。信頼度の差分値が差分閾値以上である場合、ＣＰＵ１５１は検出結果がばらついていると判定する。このときＣＰＵ１５１は、被写体が検出されなかったフレームに対しては信頼度の値をゼロとして差分値を算出する。

被写体検出結果がばらついていると判定した場合、ＣＰＵ１５１は絞り値を下げて背景画像をぼかすことにより、撮影シーンにおける背景パターンが被写体検出手段の性能に与える影響を低減させることができると判断する。この場合、図３のＳ３０９でＣＰＵ１５１はフラグを有効に設定したうえで図４のＳ４００～Ｓ４０６の連写シーケンスを実施する。

次に、ライトフィールドカメラの様に、領域ごとにフォーカス、デフォーカスの制御を行える撮像装置への適用例を説明する。ライトフィールドカメラは撮像素子に配置されるマイクロレンズアレイによって入射光を分割して光の強度情報と入射方向情報を取得することで、所望の領域や位置に対して焦点を合わせることが可能である。

一例として、検出対象とする被写体領域内に、ある程度の奥行きの差が存在する場合の撮影シーンを想定する。このような撮影シーンでは、被写体領域全体に焦点が合わないために被写体が検出されない場合がある。あるいは主被写体から焦点が外れており、主被写体全体の画像が弱くぼけているために主被写体が検出されない場合がある。このような場合、ＣＰＵ１５１は、デフォーカス量が所定範囲である領域だけにフォーカス（焦点合わせ）制御を行うことで、被写体が検出されやすくなると判断する。デフォーカス量が所定範囲の領域に限定される理由は、背景が複雑なパターンを有する場合に背景の領域までフォーカス制御が行われると、結果的に被写体が検出されないままとなる可能性があることに依る。ＣＰＵ１５１は、デフォーカス量が閾値以上の領域を背景領域とみなし、当該領域に対して何も処理をしないか、または、さらにデフォーカス量の大きい状態とする制御を行う。

本実施形態の処理については、評価用画像と記録用静止画像とを区別せずに行われるか、または、図４と同様に評価用画像に対して実施され、記録用静止画像に対しては実施されない。

次に、絞り値を自動で決定する撮影モードを有する撮像装置の例を説明する。この撮影モードにてＣＰＵ１５１は、既知の方法により絞り値（仮値）を決定する。このとき、図３のＳ３００からＳ３１０にて説明したように、ＣＰＵ１５１は絞り値（仮値）よりも値を小さくした場合に被写体検出性能が高くなるか否かを判断する。ＣＰＵ１５１は現在より被写体検出性能が高くなると判断した場合、さらに絞り値を下げる処理を実行し、それに伴いシャッター速度等の設定値についても調整する。またＣＰＵ１５１は図３のＳ３０４と同様に、撮像画像における奥行き方向の距離差を判定する。閾値以上の距離差が存在する場合（または画像全体のデフォーカス量の最大値と最小値との差分値が差分閾値以上である場合）、ＣＰＵ１５１は絞り値（仮値）をさらに一段階下げる処理を繰り返し行って、最終的な絞り値を決定する。

前記実施形態によれば、複雑な背景パターンが含まれるシーンにおいて、複雑な背景パターンが被写体検出に与える影響を低減し、より精度の高い被写体検出が可能な撮像装置を提供することができる。なお、前記実施形態に示した機械学習に基づく被写体検出処理は例示である。被写体検出用の学習モデルに限らず、デフォーカス量や複数の視点画像の像ずれ量等から被写体検出の信頼度（位相差検出における相関演算の信頼度等）を算出可能な各種の被写体検出処理を採用することができる。

［第４実施形態］
図５から図８を参照して、本発明の第４実施形態について説明する。本実施形態では、各画素にデフォーカス値（または距離値）が格納されたデフォーカスマップ（または距離マップ）を用いて、被写体が存在する領域の限定を行う。被写体と類似したテクスチャパターンや複雑なテクスチャパターンによる誤検出を大幅に低減し、被写体の輪郭形状も利用することで、検出精度を向上させることができる。その際、検出対象を含む領域を切り出したのちに、領域境界付近を平滑化する処理、あるいは検出対象以外の領域において、徐々に画素値を減衰させる処理が行われる。これにより、ＣＮＮの精度低下につながる人為的なエッジの発生を抑制することができる。

図５は画像処理部１５２の構成の一部を表したブロック図である。画像処理部１５２は領域分割部５００と画素値調整部５０１を備える。図６は処理の一例を示すフローチャートである。ＣＰＵ１５１がプログラムを実行して図５の各部を制御することで以下の処理が実現される。Ｓ２００、Ｓ２０３の処理については図２で説明済みであり、Ｓ３０１の処理については図３で説明済みである。Ｓ２０３の次にＳ６００に進む。

Ｓ６００において、領域分割部５００は、デフォーカスマップを用いて入力画像の領域分割を行う。ここでは、デフォーカス値の分布ヒストグラムに基づいて分割が行われるものとするが、ｋ－ｍｅａｎｓ法やｓｕｐｅｒｐｉｘｅｌ等の既存のクラスタリング、領域分割方法を用いてもよい。

Ｓ６０１において、画素値調整部５０１はエッジ抑制処理を行う。画素値調整部５０１はＳ６００における分割領域の情報に基づいて、入力画像に対して、ローパスフィルタリング処理、または、重みの乗算を行い、エッジの発生を抑制する。

領域分割部５００と画素値調整部５０１が行う処理の詳細について、図７の概念図および図８のフローチャートを用いて説明する。以下では、図６のＳ６０１において、ローパスフィルタリング処理を行う場合について説明する。図７には撮影画像７００と、各画素に対してデフォーカス値が格納されたデフォーカスマップ７０１を示す。撮影画像７００中に被写体７１０が写っている例を示す。なお、撮影画像７００の画素数とデフォーカスマップ７０１の画素数とは同一でなくてもよい。以下では、説明の都合上、デフォーカスマップ７０１は、適当な補間方法によって拡大（または縮小）されており、撮影画像７００と同一の画素数を有するものとする。また、デフォーカスマップ７０１に代えて、各画素に対して撮像装置から被写体までの距離値を格納した距離マップを用いてもよい。図７のデフォーカスマップ７０１において、画素値が０である領域はピントが合った領域を表し、画素値が大きくなるほど、ピント位置から離れた領域を表す。

領域分割部５００は、図６のＳ６００において、図７のデフォーカスマップ７０１を領域７１１と領域７１２に分割する。ここでは、検出対象とする領域（以下、検出領域という）として、ピントが合った領域７１１を想定する。図７の画像７０２は、撮影画像７００にて検出領域７１１に対応する領域のみを切り出した画像であるが、被写体７１０の付近に、本来の撮影画像７００には無いエッジが発生してしまう。そこで、本実施形態では、画像７０３に示すように、撮影画像７００に対して、検出領域７１１を包含する領域７１３を切り出す処理が実行される。その上で、領域７１３の境界付近に対し、ローパスフィルタリング処理を行うことでエッジの発生を抑制することができる。以下、図８を用いて処理の流れを説明する。

Ｓ８００において、領域分割部５００は検出領域を決定する。図７には検出領域７１１が１つの例を示したが、検出領域７１１は複数存在してもよい。その場合、各検出領域に対して図８の処理が実行される。例えば、デフォーカス値のクラスタリングを行い、各デフォーカス値に対応するクラスタを順次に検出領域とすることが可能である。

Ｓ８０１では、画像７００において、検出領域７１１を包含するように、領域７１３を切り出す処理が行われる。処理の結果として取得される画像を画像７０３（図７）とする。以下、切り出した領域７１３から検出領域７１１を除いた領域を、マージン領域と呼称する。マージン領域の大きさは、ＣＮＮの受容野や、別の被写体に対するオクルージョンの有無によって決定される。ＣＮＮの受容野は、検出器が画素値を畳み込む範囲を表している。被写体７１０の情報を畳み込む範囲には、切り出しによって発生したエッジが含まれないことが望ましい。そこで、マージン領域の幅を受容野の大きさに比例して設定する方法がある。また、検出領域７１１の手前に別の被写体が重なっている場合には、マージン領域を小さくとると、被写体に欠けが発生し、精度が低下する可能性がある。そこで、検出領域７１１にオクルージョンが発生している場合には、マージン領域の幅をより大きくとるように設定が行われる。

Ｓ８０２において画素値調整部５０１は、マージン領域内の着目画素に対し、ローパスフィルタを作用させる。これにより、検出領域７１１の画素値を維持しつつ、マージン領域をぼかし、人為的なエッジの発生を抑制することができる。なお、ローパスフィルタのタップ数は、検出領域７１１の境界からの画像上の距離に応じて変えてもよい。また、検出領域７１１の境界からの画像上の距離が、予め定めた閾値を超えるか否かにより、ローパスフィルタを適用するか否かを切り替える処理が行われてもよい。検出領域７１１の境界は、領域分割後のエッジを抽出することで算出することができる。検出領域７１１の境界からの距離でタップ数やフィルタリング処理の有無を変更する理由は、検出領域７１１の境界付近ではデフォーカス値の誤差によって、被写体を構成する画素が、マージン領域に誤って分類される可能性が高いからである。そのため、検出領域７１１の境界付近では、フィルタのタップ数を小さくするか、フィルタリング処理を行わないことが望ましい。以上のように、検出領域７１１の境界からの距離でタップ数やフィルタリング処理の有無を変更することにより、検出対象とする被写体の画素値を維持しつつ、それ以外の領域の画素値を平滑化することが可能になる。

さらに、検出領域７１１のデフォーカス値の平均値と、着目画素周辺のデフォーカス値の平均値との差に基づいてローパスフィルタのタップ数を決定してもよい。前述と同様の理由で、デフォーカス値の誤差によって、被写体を構成する画素が、マージン領域に誤って分類される可能性が存在するからである。ただし、切り出した領域７１３の境界付近では、エッジの発生を抑制するために、ある値以上のタップ数を持ったローパスフィルタを作用させるものとする。

Ｓ８０３において、画素値調整部５０１がマージン領域内の全ての画素値を処理したか否かの判定処理が実行される。画素値調整部５０１による処理が完了したと判定された場合、一連の処理を終了する。画素値調整部５０１による処理が完了していないと判定された場合には、Ｓ８０４の処理に進む。Ｓ８０４で着目画素を更新する処理（着目画素位置の変更処理）が行われたのち、Ｓ８０２に戻って処理を続行する。

以上、図６のＳ６０１にてローパスフィルタを作用させる例について説明した。この例に限定されることなく、検出領域７１１の境界からの距離に基づいた重みを画素値に乗算し、画素値を徐々に減少させる処理を行ってもよい。この場合、例えば被写体７１０の画像から検出領域７１１を除いた領域７１２をマージン領域とする。画像７００中のマージン領域（領域７１２）に対応する領域内の全画素に対して、下記式で規定される重み（ｗと記す）を乗算する処理が実行される。

（式１）において、（ｘ，ｙ）はマージン領域内の着目画素の座標を表す。（ｘ_b，ｙ_b）は、（ｘ，ｙ）に対し、検出領域７１１に含まれる最も近い画素の座標を表す。Ｍは定数であり、例えばＭ＝１０［ｐｉｘｅｌｓ］に設定することができる。ｅｘｐ()は指数関数を表す。

上記の方法は一例であり、検出対象とする領域の画素値を維持しつつ、領域を切り出したことによる人為的なエッジの発生を抑制可能な方法であれば、別の方法を用いても構わない。

本実施形態によれば、被写体が存在する領域の限定を行う際に、切り出しによって発生するエッジの影響を抑制できるので、検出対象以外の被写体や背景のテクスチャパターンの影響を低減し、検出性能を向上させることが可能である。

［第５実施形態］
図９を参照して、本発明の第５実施形態について説明する。第４実施形態では、推論時の動作について説明したが、本実施形態では、機械学習時の画像に対しても、第４実施形態と同様の処理を行う場合について説明する。学習時と推論時との画像の特性を一致させることができるので、さらに検出器の精度を向上させることができる。また、被写体の輪郭情報も同時に学習されるので、絵や写真に描かれた認識対象を実際の認識対象と区別することも可能となる。

具体的には、図７、図８で示した処理を実行することにより、学習用画像を取得する処理が行われる。本実施形態の方法を用いずに、推論時にデフォーカスマップを用いて被写体を切り出す場合でも、学習用画像の特性をそろえることはできるが、被写体にオクルージョンが発生すると精度が低下する可能性が高い。その理由について図９を用いて説明する。

図９は撮影画像９００、デフォーカスマップ９０１、切り出し画像９０２、機械学習用の画像９０３を示す模式図である。撮影画像９００中に写っている被写体９１０，９１１の画像を示す。被写体９１１が手前側（カメラ側）にあるため、被写体９１０の一部にオクルージョンが発生している状況である。各画素にデフォーカス値が格納されたデフォーカスマップ９０１において、領域９１２，９１３は被写体９１０、９１１の各画像に対応している。領域９１２，９１３は、デフォーカスマップ９０１を領域分割した結果を表す。

画像９０２は領域９１２を切り出した結果であり、被写体の輪郭の一部に欠損が発生している。画像９０２のように、被写体９１０に相当する箇所を単純に切り出した場合、検出対象である被写体の輪郭に欠損が発生した画像と、欠損がない画像とを混合して機械学習が行われることになる。そのため、検出精度の低下につながる可能性がある。一方、本実施形態では、画像９０３のように被写体９１０の画像を包含する領域９１４内で、被写体以外の領域にローパスフィルタを作用させる処理が実行される。そのため、被写体の輪郭に欠損が発生せず、通常の画像に近い状態で画像を取得して機械学習を行うことができる。
本実施形態によれば、学習時と推論時との画像の特性を合わせることにより、第４実施形態と比較して、さらに検出性能を向上させることができる。

［第６実施形態］
次に本発明の第６実施形態について説明する。本実施形態では、第１～３実施形態の処理と、第４実施形態の処理を同時に実施する場合について説明する。画像中に占める背景領域の面積に対する第１の閾値をＴｈ１と表記し、背景以外の領域の合計面積に対する第２の閾値をＴｈ２と表記する。背景以外の領域分割数に対する第３の閾値をＴｈ３と表記する。

図２、図６を参照して本実施形態における処理を説明する。画像中に占める背景領域の面積が閾値Ｔｈ１以上である場合、図２のＳ２０５のフィルタリング処理が実行され、閾値Ｔｈ１未満である場合にはＳ２０５の処理をスキップする。また、背景以外の領域の合計面積が閾値Ｔｈ２以上である場合、または背景以外の領域分割数が閾値Ｔｈ３以上である場合に図６のＳ６０１の処理が実行される。背景以外の領域の合計面積が閾値Ｔｈ２未満であって、かつ、背景以外の領域分割数が閾値Ｔｈ３未満である場合にはＳ６０１の処理をスキップする。このことで、処理の高速化と検出の高性能化とを両立させることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０５ 絞り制御部
１３３ フォーカス制御部
１４１ 撮像素子
１４２ 撮像信号処理部
１４３ 撮像制御部
１５１ ＣＰＵ
１５２ 画像処理部
１６２ 物体検出部
１６３ デフォーカス算出部

Claims (25)

1. 撮像手段により撮像された画像を取得する取得手段と、
   取得された前記画像から被写体の検出を行う検出手段と、
   前記検出手段による被写体の検出結果を判定して前記画像の全体または部分領域の周波数成分もしくは、画素値を調整する制御を行う制御手段と、を備え、
   前記検出手段は、前記周波数成分もしくは、前記画素値が調整された画像に対して被写体の検出を行う
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記周波数成分もしくは、前記画素値を調整する方法を決定して、前記検出手段による被写体の検出の精度を高める制御を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は前記被写体に対する背景領域を決定し、前記背景領域の高周波成分を低減させる制御を行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 画像処理を行う画像処理手段を備え、
   前記制御手段は、前記画像処理手段によりフィルタリング処理を行って前記周波数成分を調整するか、または画素値に重みを乗算する制御を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、撮像手段が備える絞りの値を調整することにより前記周波数成分を調整する制御を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、焦点調節用レンズの制御により、前記周波数成分を調整する制御を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記被写体の検出結果の信頼度が閾値未満である場合、前記撮像手段に係る絞り値を変更し、取得された画像から前記検出手段が被写体の検出を行う
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、撮像された画像における奥行き方向の距離差が閾値以上である場合、前記撮像手段に係る絞り値を変更し、取得された画像から前記検出手段が被写体の検出を行う
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、画像処理に用いる第１の画像と記録に用いる第２の画像を取得し、
   前記制御手段は、前記取得手段によって前記第１の画像が取得された場合、前記撮像手段に係る絞り値を第１の値に設定し、前記取得手段によって前記第２の画像が取得された場合、前記撮像手段に係る絞り値を第２の値に設定する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記撮像手段に係る絞り値が前記第１の値に設定された場合、前記取得手段により取得される前記第１の画像から前記検出手段が被写体の検出を行う
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記制御手段は、連続する複数のフレームに対する被写体の検出結果の信頼度の差分値を算出し、前記差分値が閾値以上であると判定した場合、前記撮像手段に係る絞り値を下げる制御を行う
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 撮像された画像内の被写体に関するデフォーカス量、深度、または距離の情報を算出する算出手段を備え、
    前記制御手段は、前記算出手段により算出された情報を用いて前記周波数成分もしくは、前記画素値を調整する制御を行う
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 撮像された画像内の被写体に関するデフォーカス量を算出する算出手段を備え、
    前記制御手段は、算出された前記デフォーカス量が予め定められた範囲である領域に対して撮像光学系の焦点を合わせる制御を行う
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
14. 前記制御手段は、撮像光学系の絞り値を自動で決定する撮影モードが選択されており、かつ、撮像画像における奥行き方向の距離差が閾値以上である場合、前記撮像光学系の絞り値を下げる制御を行う
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記デフォーカス量、深度、または距離の情報に基づき、前記被写体の領域を抽出する抽出手段をさらに有し、
    前記制御手段は、前記被写体の領域を包含する領域の一部に対し、前記周波数成分もしくは、前記画素値を調整する制御を行う
    ことを特徴とする請求項１２に記載の画像処理装置。
16. 前記検出手段は、畳み込みニューラルネットワークによって構成される
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記抽出手段は、前記被写体の領域を包含する領域の大きさを、前記検出手段の受容野、または別の被写体とのオクルージョンの有無によって決定する
    ことを特徴とする請求項１５に記載の画像処理装置。
18. 前記制御手段は、前記デフォーカス量、深度、または距離の情報のいずれか１つ以上に基づいて前記画素値を調整する制御を行う
    ことを特徴とする請求項１５または請求項１７に記載の画像処理装置。
19. 前記検出手段は、前記周波数成分もしくは、前記画素値が調整された画像に対して機械学習を行う
    ことを特徴とする請求項１６に記載の画像処理装置。
20. 前記制御手段は、画像中に占める背景領域の面積、または背景領域とは異なる領域の合計面積、または背景以外の領域分割数のいずれか１つ以上を閾値と比較することにより、前記画像に対する調整の処理を変更する
    ことを特徴とする請求項１５から１９のいずれか１項に記載の画像処理装置。
21. 前記制御手段は、前記被写体の領域を包含する領域の一部に対してエッジを抑制する制御を行う
    ことを特徴とする請求項１５から２０のいずれか１項に記載の画像処理装置。
22. 請求項１から２１のいずれか１項に記載の画像処理装置を備える
    ことを特徴とする撮像装置。
23. 被写体の検出が可能な画像処理装置にて実行される画像処理方法であって、
    撮像手段によって撮像された画像を取得する工程と、
    取得された前記画像から被写体の検出を検出手段が行う工程と、
    前記検出手段による被写体の検出結果を判定して前記画像の全体または部分領域の周波数成分もしくは、画素値を調整する制御を行う工程と、
    前記周波数成分もしくは、前記画素値が調整された画像から前記検出手段が被写体の検出を行う工程と、を有する
    ことを特徴とする画像処理方法。
24. 請求項２３に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。
25. 請求項２４に記載のプログラムが記録された、前記コンピュータによる読み出しが可能な記録媒体。
    
    

Images