JP2021196643A - 推論装置、撮像装置、学習装置、推論方法、学習方法、及びプログラム - Google Patents

Abstract

【課題】処理時間の増加を抑制しつつ、ブレ被写体の推論精度を向上させる技術を提供する。【解決手段】推論対象画像において動きベクトルを算出することによりブレ被写体を含むブレ領域を検出する検出手段と、各々が個別の動きベクトルに対応する複数の学習モデルを含む所定の学習モデルグループから、前記ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択する選択手段であって、前記所定の学習モデルグループの前記複数の学習モデルの各々は、対応する前記個別の動きベクトルに類似する動きベクトルを持つ所定の種類のブレ被写体を含む複数の学習対象画像を教師データとして用いる学習を行うことにより生成されたものである、選択手段と、前記選択された学習モデルに基づいて前記推論対象画像に対する推論を行うことにより、前記推論対象画像の前記ブレ被写体の種類が前記所定の種類であるか否かを判定する判定手段と、を備えることを特徴とする推論装置を提供する。【選択図】図４

Description

本発明は、推論装置、撮像装置、学習装置、推論方法、学習方法、及びプログラムに関する。

デジタルスチルカメラ及びデジタルカムコーダ等の撮像装置の中には、撮像画像から被写体を検出し、推論により被写体の種類（人間、動物、乗り物）等を判別し、判別した被写体に対してオートフォーカス（ＡＦ）を行う機能を持つものがある。ここで、被写体の検出及び推論には、機械学習により生成された学習モデルが使用されることが一般的である。機械学習には、教師データとして多くの静止画が使用される。これらの静止画は高速シャッタースピードで撮影されることが多いため、教師データに含まれる被写体にはブレが無いことが多い。

しかしながら、推論対象の撮像画像においては、撮像装置又は被写体の動きが原因で被写体ブレが発生する可能性がある。特に動画撮影の場合、６０ｆｐｓ等のフレームレートで撮影されることが多いため、被写体ブレが発生する可能性が高い。そのため、被写体ブレの無い被写体に基づく学習により生成された学習モデルと、被写体ブレの有る推論対象の撮像画像との間で特徴量に大きな差異が発生し、推論精度が低下する。

そこで、学習モデルのロバスト性を高めるため、機械学習に使用する教師データに幾何学的な移動、拡大縮小、ぼかし等の処理が適用される場合がある。また、複数の学習モデルを保持し、撮像画像に対して学習モデルを１つずつ適用し、最も評価値の高い学習モデルを決定して適用することで、推論精度を向上させる手法が提案されている（特許文献１参照）。

特開２０１９−８７２２９号公報

しかしながら、特許文献１の手法では、全ての学習モデルを１つずつ適用する処理が行われるため、被写体の種類を推論するために多くの時間を要してしまう問題がある。

本発明はこのような状況に鑑みてなされたものであり、処理時間の増加を抑制しつつ、ブレ被写体の推論精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、推論対象画像において動きベクトルを算出することによりブレ被写体を含むブレ領域を検出する検出手段と、各々が個別の動きベクトルに対応する複数の学習モデルを含む所定の学習モデルグループから、前記ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択する選択手段であって、前記所定の学習モデルグループの前記複数の学習モデルの各々は、対応する前記前記個別の動きベクトルに類似する動きベクトルを持つ所定の種類のブレ被写体を含む複数の学習対象画像を教師データとして用いる学習を行うことにより生成されたものである、選択手段と、前記選択された学習モデルに基づいて前記推論対象画像に対する推論を行うことにより、前記推論対象画像の前記ブレ被写体の種類が前記所定の種類であるか否かを判定する判定手段と、を備えることを特徴とする推論装置を提供する。

本発明によれば、処理時間の増加を抑制しつつ、ブレ被写体の推論精度を向上させることが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像装置１００の概略構成の一例を示すブロック図。 機械学習により生成される学習モデルの例を示す図。 学習モデルを生成する処理のフローチャート。 推論処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、撮像装置１００の概略構成の一例を示すブロック図である。図１に示すように、撮像装置１００は、デジタルスチルカメラやデジタルカムコーダ等に対応する構成を持つ。撮像装置１００は、レンズ１を透過した入射光を撮像処理部３に含まれる撮像素子で撮像することで撮像画像を生成し、画像処理部４により撮像画像の色及び輝度等を調整することで現像画像を生成する。その後、撮像装置１００は、外部記録部１１により現像画像を記録媒体に記録する。

減光部２は、撮像装置１００の外部から入射された入射光量を調整するための絞り羽根、ＮＤフィルター（ＮＤ：Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）などから構成される。

撮像処理部３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）方式の撮像素子、撮像素子を駆動するためのドライバ、タイミング生成回路、ＣＤＳ／ＡＧＣ回路、Ａ／Ｄ変換器等から構成される。ここで、撮像素子は光電変換による被写体の撮像を行い、ＣＤＳ／ＡＧＣ回路は撮像素子の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅する。なお、サンプリングでは相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）が、増幅では自動利得調整（ＡＧＣ：Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）が行われる。Ａ／Ｄ変換器は、ＣＤＳ／ＡＧＣ回路から出力された画像データ（アナログ信号）をデジタル信号に変換する。撮像素子を駆動するためのドライバ及びタイミング生成回路は、撮像素子を駆動するための駆動パルス等を撮像素子へ供給し、撮像素子で撮像した画像の読み出しや露出時間の調整を行う。

画像処理部４は、Ａ／Ｄ変換器から出力された画像情報（デジタル信号）に対して、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、ガンマ制御等の種々の信号処理を行うことにより、最終画像（現像画像）を生成する。

マイクロコンピュータ５は、例えばマイクロコントローラと称される回路であり、撮像装置１００の全体の制御を行う。

動きベクトル算出部６は、撮像処理部３により撮像された画像（推論対象画像）において動きベクトルを算出することにより、ブレ被写体を含むブレ領域を検出する。一般的に、画像において複数の動きベクトルが算出されるが、動きベクトル算出部６は、動きベクトルが存在するブレ領域の全ての動きベクトルを平均化したものを、最終的なブレ領域の動きベクトルとして算出する。

ここで、動きベクトルは、フレーム内の動きベクトル（即ち、被写体のブレの大きさ及び方向に相当する動きベクトル）であってもよいし、フレーム間の動きベクトルであってもよい。後述する複数の学習モデルの各々はフレーム内の動きベクトルに関連付けられているため、動きベクトル算出部６がフレーム内の動きベクトルを算出する場合、後述する推論の精度が向上する。しかしながら、フレーム内の動きベクトルの算出は、フレーム間の動きベクトルの算出に比べて演算負荷が大きいと考えられる。また、被写体ブレは被写体又は撮像装置１００の動きが原因で発生するため、フレーム間の動きベクトルは、フレーム内の動きベクトルと似た傾向を持つと考えられる。従って、動きベクトル算出部６は、演算負荷を低減するために、フレーム内の動きベクトルに代えてフレーム間の動きベクトルを算出してもよい。以下の説明においては、特に区別が必要な場合を除き、フレーム内の動きベクトル及びフレーム間の動きベクトルを総称して単に「動きベクトル」と呼ぶ。

学習モデル記録部７は、教師データ中のブレ被写体について種類別かつ動きベクトル別に事前に機械学習を行うことにより生成された複数の学習モデルを保持する。事前の機械学習は、一般的には高い処理能力を持つ外部装置（パーソナルコンピュータなど）により行われるが、撮像装置１００により行ってもよい。

図２は、機械学習により生成される学習モデルの例を示す図である。学習モデルを生成する際に、教師データ中のブレ被写体は、種類別（図２の例では、「人間」、「動物（犬）」及び「乗り物」）に分類される。各種類のブレ被写体は、類似する動きベクトルの単位（図２の例では、各種類のブレ被写体に対応する各枠内に示す各ベクトルの単位）で分類される。各種類のブレ被写体について、動きベクトル別の機械学習を行うことにより、各種類のブレ被写体の動きベクトル別の学習モデルが生成される。図２の例では、各種類のブレ被写体について６つの動きベクトルに対応する６つの学習モデル（全体として１８個の学習モデル）が生成される。

図１に戻り、学習モデル選択部８は、学習モデル記録部７に保持された複数の学習モデルの中から、ブレ被写体の種類判別の推論に使用する学習モデルとして、動きベクトル算出部６が検出したブレ領域の動きベクトルに対応する学習モデルを選択する。ここで選択される学習モデルの数は、検出対象の被写体種類の数に対応する。例えば、「人間」、「動物（犬）」及び「乗り物」の３種類が検出対象である場合、学習モデル選択部８は、各種類について複数の学習モデルの中から１つの学習モデルを選択することにより、合計で３つの学習モデルを選択する（図２参照）。

なお、ブレ領域の動きベクトルと選択される学習モデルの動きベクトルとが完全に一致している必要はない。即ち、ここでいう「ブレ領域の動きベクトルに対応する学習モデル」とは、複数の学習モデルのうち、ブレ領域の動きベクトルに類似する動きベクトルを持つ学習モデルを指す。

推論部９は、学習モデル選択部８で選択された学習モデルの特徴量を用いて撮像画像に対する推論を行うことにより、ブレ被写体の検出及び種類の判別を行う。

表示部１０は、液晶パネル等のディスプレイを含み、画像処理部４で現像処理された現像画像を表示する。また、推論部９でブレ被写体の検出及び種類判別が行われた場合、表示部１０は、検出されたブレ被写体の位置及び種類等を示す枠又は文字等の特別な表示を行う。

外部記録部１１は、画像処理部４により現像処理した現像画像を記録媒体（ＳＤカード又はＣＦカード等のメモリカード、外部レコーダ等の外部記憶装置など）に記録する。

なお、上で説明した各ブロックの機能は、独立した回路により実装されてもよいが、各ブロックの機能の一部又は全部は、マイクロコンピュータ５の機能として実装されてもよい。

図３は、学習モデルを生成する処理のフローチャートである。ここでは、撮像装置１００が学習装置として図３の処理を実行するものとして説明を行うが、他の装置（例えば、パーソナルコンピュータなど）を学習装置として用いてもよい。

Ｓ１０１で、動きベクトル算出部６は、各教師データのブレ被写体の動きベクトルを算出する。ここでは、教師データとして静止画（学習対象画像）を使用するため、静止画中のブレ被写体のブレの方向及び大きさが動きベクトルとして算出される。また、被写体ブレのない被写体については動きベクトルは０となる。

なお、算出された特定の動きベクトルの大きさが閾値未満の場合に追加の処理を行ってもよい。この場合、画像処理部４は、この特定の動きベクトルに対応する学習対象画像に含まれるブレ被写体を、この学習対象画像におけるブレ被写体の位置からこの特定の動きベクトルの方向にシフトした位置に合成する。これにより、この学習対象画像におけるブレ被写体の動きベクトルを大きくすることができる。

Ｓ１０２で、マイクロコンピュータ５は、教師データ中のブレ被写体を種類別かつ動きベクトル別に分類することにより、複数のブレ被写体グループ（被写体クラスタ）を生成する。分類方法の詳細は図２を参照して上述した通りである。例えば、ブレ被写体の種類として「人間」に着目すると、「人間」（所定の種類のブレ被写体）を含む複数の学習対象画像が複数の被写体クラスタに分類される。この分類は、複数の被写体クラスタの個別のクラスタが個別の動きベクトルに類似する動きベクトルを持つ２以上の学習対象画像を含むように行われる。従って、各被写体クラスタは、種類が同一で動きベクトルが類似するブレ被写体から構成される。その結果、「人間」の各被写体クラスタから生成される各学習モデルが、図２に示す「人間」の学習モデルグループに含まれる各学習モデルに対応する。

Ｓ１０３で、マイクロコンピュータ５は、Ｓ１０２において生成された複数の被写体クラスタの全てについて機械学習（学習モデルの生成）が完了したか否かを判定する。機械学習が完了していない被写体クラスタが残っている場合、処理ステップはＳ１０４に進み、全ての被写体クラスタについて機械学習が完了した場合、本フローチャートの処理は終了する。

Ｓ１０４で、マイクロコンピュータ５は、処理対象の被写体クラスタに含まれる教師データに基づいて機械学習を行うことにより、学習モデルを生成する。この処理の繰り返しにより、各々が個別の種類のブレ被写体に対応する複数の学習モデルグループ（図２の例では３つの学習モデルグループ）が生成される。例えば、ブレ被写体の種類として「人間」に着目すると、Ｓ１０４の処理の繰り返しにより、「人間」の複数の被写体クラスタそれぞれについて個別のクラスタに含まれる２以上の学習対象画像を教師データとして用いる学習が行われる。これにより、「人間」の複数の被写体クラスタに対応する複数の学習モデルが生成される。換言すると、「人間」（所定の種類のブレ被写体）に対応する学習モデルグループは、各々が個別の動きベクトルに対応する複数の学習モデル（図２の例では６つの学習モデル）を含む。この学習モデルグループの複数の学習モデルの各々は、Ｓ１０４において個別の動きベクトルに類似する動きベクトルを持つ「人間」のブレ被写体を含む複数の学習対象画像を教師データとして用いる学習を行うことにより生成されたものである。

次に、図４を参照して、図３の処理により生成された学習モデルを使用する推論処理について説明する。図４の処理は、推論装置を含む撮像装置１００により実行される。推論対象の撮像画像が取得されると、本フローチャートの処理が開始する。

Ｓ２０１で、動きベクトル算出部６は、撮像画像（推論対象画像）において動きベクトルを算出してブレ領域を検出する。Ｓ２０１における動きベクトル算出部６の処理の詳細は、図１を参照して説明した通りである。

Ｓ２０３で、学習モデル選択部８は、学習モデル記録部７に保持された複数の学習モデルの中から、Ｓ２０１において検出されたブレ領域の動きベクトルに対応する学習モデルを選択する。Ｓ２０３における学習モデル選択部８の処理の詳細は、図１を参照して説明した通りである。例えば、検出対象の被写体種類が「人間」、「動物（犬）」及び「乗り物」の３種類であり、ブレ領域の動きベクトルの方向が左で大きさが比較的大きい場合、図２において破線で囲まれた３つの学習モデルが選択される。

Ｓ２０４で、推論部９は、Ｓ２０３において選択された学習モデルを用いて撮像画像に対する推論を行うことにより、ブレ被写体の検出及び種類の判定を行う。推論によるブレ被写体の種類の判定は、学習モデルに基づいて撮像画像に対する推論を行うことにより、ブレ被写体の種類が使用した学習モデルに対応する所定の種類であるか否かを判定することにより行われる。例えば、「人間」に対応する学習モデルを用いて推論を行った場合、撮像画像中のブレ被写体の種類が「人間」であるか否かを判定することができる。

Ｓ２０５で、表示部１０は、画像処理部４で現像処理された現像画像を液晶パネル等のディスプレイに表示し、Ｓ２０４における推論結果（例えば、ブレ被写体の検出位置及び種類を示す情報）を現像画像に重畳表示する。

以上説明したように、第１の実施形態によれば、撮像装置１００（学習装置）は、図３に示す学習処理により、図２に示すような学習モデルグループを生成する。また、撮像装置１００（推論装置）は、推論対象画像において動きベクトルを算出することによりブレ被写体を含むブレ領域を検出する。そして、撮像装置１００は、所定の種類（例えば、「人間」）のブレ被写体に対応する学習モデルグループから、ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択する。その後、撮像装置１００は、選択された学習モデルに基づいて推論対象画像に対する推論を行うことにより、推論対象画像のブレ被写体の種類が所定の種類であるか否かを判定する。これにより、処理時間の増加を抑制しつつ、ブレ被写体の推論精度を向上させることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１…レンズ、２…減光部、３…撮像処理部、４…画像処理部、５…マイクロコンピュータ、６…動きベクトル算出部、７…学習モデル記録部、８…学習モデル選択部、９…推論部、１０…表示部、１１…外部記録部、１００…撮像装置

Claims (9)

1. 推論対象画像において動きベクトルを算出することによりブレ被写体を含むブレ領域を検出する検出手段と、
   各々が個別の動きベクトルに対応する複数の学習モデルを含む所定の学習モデルグループから、前記ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択する選択手段であって、前記所定の学習モデルグループの前記複数の学習モデルの各々は、対応する前記個別の動きベクトルに類似する動きベクトルを持つ所定の種類のブレ被写体を含む複数の学習対象画像を教師データとして用いる学習を行うことにより生成されたものである、選択手段と、
   前記選択された学習モデルに基づいて前記推論対象画像に対する推論を行うことにより、前記推論対象画像の前記ブレ被写体の種類が前記所定の種類であるか否かを判定する判定手段と、
   を備えることを特徴とする推論装置。
2. 前記選択手段は、各々が個別の種類のブレ被写体に対応する複数の学習モデルグループそれぞれから、前記ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択し、
   前記判定手段は、前記複数の学習モデルグループそれぞれについて、前記選択された学習モデルに基づいて前記推論対象画像に対する推論を行うことにより、前記推論対象画像の前記ブレ被写体の種類を判定する
   ことを特徴とする請求項１に記載の推論装置。
3. 請求項１又は２に記載の推論装置と、
   前記推論対象画像を生成する撮像手段と、
   を備えることを特徴とする撮像装置。
4. 所定の種類のブレ被写体を含む複数の学習対象画像それぞれにおいて前記ブレ被写体の動きベクトルを算出する算出手段と、
   複数のクラスタの個別のクラスタが個別の動きベクトルに類似する動きベクトルを持つ２以上の学習対象画像を含むように、前記複数の学習対象画像を前記複数のクラスタに分類する分類手段と、
   前記複数のクラスタそれぞれについて前記個別のクラスタに含まれる前記２以上の学習対象画像を教師データとして用いる学習を行うことにより、前記複数のクラスタに対応する複数の学習モデルを生成する生成手段と、
   を備えることを特徴とする学習装置。
5. 前記算出手段により算出された特定の動きベクトルの大きさが閾値未満の場合に、当該特定のベクトルを持つ学習対象画像に含まれる前記ブレ被写体を、当該学習対象画像における当該ブレ被写体の位置から当該特定の動きベクトルの方向にシフトした位置に合成することにより、特定の動きベクトルを大きくする合成手段を更に備える
   ことを特徴とする請求項４に記載の学習装置。
6. 推論装置が実行する推論方法であって、
   推論対象画像において動きベクトルを算出することによりブレ被写体を含むブレ領域を検出する検出工程と、
   各々が個別の動きベクトルに対応する複数の学習モデルを含む所定の学習モデルグループから、前記ブレ領域の動きベクトルに類似する動きベクトルに対応する学習モデルを選択する選択工程であって、前記所定の学習モデルグループの前記複数の学習モデルの各々は、対応する前記個別の動きベクトルに類似する動きベクトルを持つ所定の種類のブレ被写体を含む複数の学習対象画像を教師データとして用いる学習を行うことにより生成されたものである、選択工程と、
   前記選択された学習モデルに基づいて前記推論対象画像に対する推論を行うことにより、前記推論対象画像の前記ブレ被写体の種類が前記所定の種類であるか否かを判定する判定工程と、
   を備えることを特徴とする推論方法。
7. 学習装置が実行する学習方法であって、
   所定の種類のブレ被写体を含む複数の学習対象画像それぞれにおいて前記ブレ被写体の動きベクトルを算出する算出工程と、
   複数のクラスタの個別のクラスタが個別の動きベクトルに類似する動きベクトルを持つ２以上の学習対象画像を含むように、前記複数の学習対象画像を前記複数のクラスタに分類する分類工程と、
   前記複数のクラスタそれぞれについて前記個別のクラスタに含まれる前記２以上の学習対象画像を教師データとして用いる学習を行うことにより、前記複数のクラスタに対応する複数の学習モデルを生成する生成工程と、
   を備えることを特徴とする学習方法。
8. コンピュータを、請求項１又は２に記載の推論装置の各手段として機能させるためのプログラム。
9. コンピュータを、請求項４又は５に記載の学習装置の各手段として機能させるためのプログラム。

Images