JP2023155650A - 撮像装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】撮像素子部での認識対象を、撮像素子部からの画像を処理する信号処理部において高精度に認識させることができる撮像装置、制御方法、並びにプログラムを提供する。【解決手段】デジタルカメラ１００は、撮像部２０及びセンサー認識部３２を備える撮像素子部１１と、撮像素子部１１から信号線を介して入力された画像を処理する信号処理部１２と、信号処理部１２を認識モード及び学習モードの一方に切り替える制御演算部１６とを備える。信号処理部１２は、認識モードにおいて、撮像部２０からの画像を学習モデルに入力することで認識処理を行う認識部２５と、学習モードにおいて、センサー認識部３２における認識結果及び撮像部２０から入力された画像に基づいて、学習モデルの機械学習を行う学習部４３とを備える。【選択図】図５

Description

本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に、撮像素子部と信号処理部を内部に配置する撮像装置及びその制御方法並びにプログラムに関する。

近年のデジタルカメラに代表される撮像装置では、画像処理の多様化・高速化などのニーズから、信号処理部において、ＤＮＮ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ）等の機械学習に基づくニューラルネットワークによる高度な認識処理が行われる場合がある。また、かかる撮像装置では、単一の撮像素子部において撮像部と認識部を配置し、その単一の撮像素子部において画像の生成と画像の認識を実施する場合もある。

例えば、特許文献１には、撮像部とディープラーニングを用いた認識部とが基板上に積層される撮像素子部が提案されている。

また、特許文献２には、かかる撮像素子部における認識部の認識精度を評価し、その認識精度に応じて認識部で用いる学習モデルを変更する技術が開示されている。特許文献２における学習モデルは予め記憶部に記憶されており、評価された認識精度に応じて検出対象とする物体検知の種類の数や、クラス分類の種類の数が変更される。

特許６９３７４４３号公報 特許６６９７０４２号公報

ところで、冒頭に述べた通り、近年のデジタルカメラに代表される撮像装置では、後段の信号処理部だけでなく、前段の撮像素子部においても高度な認識処理を行う認識部が搭載されている場合がある。つまり、撮像装置は、前段の撮像素子部と後段の信号処理部とに１つずつ、２つの認識部を有することになる。２つの認識部があれば、条件に応じて使い分けることが可能である。しかし、撮像素子部と信号処理部は別の回路であり、２つの認識部が同じ認識対象に対応しているとは限らない。

そこで本発明は、撮像素子部での認識対象を、撮像素子部からの画像を処理する信号処理部において高精度に認識させることができる撮像装置及びその制御方法並びにプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る撮像装置は、撮像素子部と、前記撮像素子部から信号線を介して入力された画像を処理する信号処理部とを有する撮像装置において、前記信号処理部を、認識モード及び学習モードの一方に切り替える切替手段を更に備え、前記撮像素子部は、前記画像を生成する撮像手段と、前記画像に基づいて認識処理を行う第１の認識手段とを備え、前記信号処理部は、前記認識モードにおいて、前記撮像素子部から入力された前記画像を学習モデルに入力することで認識処理を行う第２の認識手段と、前記学習モードにおいて、前記第１の認識手段における認識結果及び前記撮像素子部から入力された前記画像に基づいて、前記学習モデルの機械学習を行う学習手段とを備えることを特徴とする。

本発明によれば、撮像素子部での認識対象を、撮像素子部からの画像を処理する信号処理部において高精度に認識させることができる。

本発明の第１の実施形態に係る撮像装置としてのデジタルカメラの概略構成を示す図である。 従来の撮像素子部と信号処理部の内部のデータの流れを示す図である。 本発明の第１の実施形態での認識モードにおける撮像素子部と信号処理部内部のデータの流れを示す図である。 撮像素子部で認識処理を行うセンサー認識部と信号処理部で認識処理を行う認識部を比較した図である。 本発明の第１の実施形態での学習モードにおける撮像素子部と信号処理部の内部のデータの流れを示す図である。 本発明の第１の実施形態に係るモード切替処理のフローチャートである。 本発明の第１の実施形態における学習モードへの移行を促すＵＩの例を表す図である。 本発明の第１の実施形態に係るセンサー認識部及び認識部の認識性能を比較する例を示す表である。 本発明の第１の実施形態に係るセンサー認識部及び認識部の認識性能を比較する例を示す表である。 本発明の第２の実施形態での学習モードにおける撮像素子部と信号処理部の内部のデータの流れを示す図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。

図１は、本実施形態に係る撮像装置としてのデジタルカメラ１００の概略構成を示す図である。

図１において、デジタルカメラ１００は、レンズ群１０、撮像素子部１１、信号処理部１２、記録処理部１３、記録媒体１４、操作部１５、及び制御演算部１６を備える。

レンズ群１０は、デジタルカメラ１００で画像が撮影される際に、好ましい画質を実現するために制御可能なレンズ群を表している。ズームレンズ、フォーカスレンズ、防振レンズ、絞り、ＮＤ（ＮｅｕｔｒａｌＤｅｓｉｔｙ）フィルターなどを含んでいる。

撮像素子部１１は、レンズ群１０を通過した光線を受光し、その撮像面上の各画素部で光を電気信号に変換する光電変換が行う。さらに撮像素子部１１は、光電変換により得られた電気信号をアナログ信号からデジタル信号に変換し、デジタル画像を生成する。

信号処理部１２は、撮像素子部１１で生成されたデジタル画像に対して様々な画像処理を施す。ここでの画像処理とは、高画質化のために様々な補正処理である。例えば、固定パターンノイズの除去や、デモザイキング処理、現像処理、明るさ補正処理、色補正処理、幾何変形処理、輪郭強調処理、ガンマ補正処理、コントラスト補正処理、収差補正処理、ノイズリダクション処理などが挙げられる。また、信号処理部１２は、かかる画像処理だけでなく、フォーカスや絞り制御などのレンズ制御のために主被写体領域を画像から検出する認識処理も実施される。撮像素子部１１及び信号処理部１２の夫々の内部での具体的な処理内容については後で詳細に述べる。信号処理部１２で画像処理がされた画像は、記録処理部１３に伝達される。

記録処理部１３は、信号処理部１２から受け取った画像に対して符号化処理を行い、符号化された画像を記録媒体１４に伝達する。

記録媒体１４は、デジタルカメラ１００の持つ汎用的なＩＦ（不図示）に装着／取り外し可能な汎用記録メディアでも構わないし、デジタルカメラ１００内部に備え付けられ取り外し不可能な固定記憶容量を持つ記憶装置でも構わない。記録媒体１４は、伝達された符号化された画像を不揮発な記憶領域に書き込み、画像データを記憶する。

操作部１５は、ユーザからのデジタルカメラ１００への操作を受け付ける受付手段、及び受け付けた操作の内容を示す操作信号を制御演算部１６に送信する送信手段を有する。受付手段は、機械的なボタンでも構わないし、液晶などの表示部材と一体化された静電受付方式のタッチパネルであってもかまわない。また、受付手段は、汎用端子に接続された外部のリモートコントローラーでもよいし、デジタルカメラ１００に無線接続されたスマートフォンなどの外部端末からの通信機器であってもかまわない。

制御演算部１６は、操作部１５の送信手段から送信された操作信号を受け付け、各ブロックへの制御情報を生成して、レンズ群１０、撮像素子部１１、信号処理部１２、記録処理部１３、記録媒体１４に伝達する。操作部１５の受付手段が上記表示部材と一体化されたタッチパネルの場合、制御演算部１６は、操作部１５に対する、表示部材への画像表示の制御情報の伝達も行う。

例えば、デジタルカメラ１００で静止画撮影をする場合に、前段階としてＳＷ１でオートフォーカスを合わせる動作について、デジタルカメラ１００のシステム全体の信号の流れを説明する。尚、以下の例では、操作部１５の受付手段にレリーズボタンが含まれる。

操作部１５は、レリーズボタンの半押しを検知すると、半押し情報を制御演算部１６へ送信する。制御演算部１６は、操作部１５から半押し情報が送信されると、デジタルカメラ１００がＳＷ１状態（Ｓｗｉｔｃｈ １状態）であると判断する。ＳＷ１状態では、被写体に最速で合焦動作を行うため、合焦動作に適した明るさにする必要がある。このため制御演算部１６は、合焦動作に適した明るさになるように、絞りの制御位置・露光時間・明るさ補正の補正値を算出し、対応する補正値をレンズ群１０、撮像素子部１１、信号処理部１２に伝達する。

信号処理部１２は、順次撮影されている画像の中から主被写体の位置を検出し、被写体座標とその周辺座標のコントラスト情報（以下「被写体付近のコントラスト情報」という）を算出し、制御演算部１６に送信する。

制御演算部１６は、信号処理部１２から送信された被写体付近のコントラスト情報から被写体座標の合焦度合いを判断し、その合焦度合いに応じたフォーカス制御情報を生成し、レンズ群１０に複数回にわたって送信する。制御演算部１６は、このフォーカス制御情報の送信によりレンズ群１０に含まれるフォーカスレンズを駆動させる毎に撮影を行い、撮影された画像毎に信号処理部１２で被写体付近のコントラスト情報を算出させる。制御演算部１６は、信号処理部１２で算出された被写体付近のコントラスト情報に基づき、合焦に達したかどうかを判断する。合焦に達したと判断した場合、制御演算部１６は、レンズ群１０にフォーカスレンズの停止命令を発行し、ＳＷ１状態からＳＷ２への動作への遷移に備える。さらに、制御演算部１６は、合焦動作用の明るさから、静止画撮影用の明るさになるようにレンズ群１０、撮像素子部１１、信号処理部１２に制御情報を生成する。

以上、デジタルカメラ１００の概略構成及びその動作について説明した。ここからは、撮像素子部１１と信号処理部１２の内部動作について説明する。

まず、図１の撮像素子部１１と信号処理部１２と同様の位置に配置される、従来の撮像素子部１１ａと信号処理部１２ａについて、図２を用いて説明する。図２には、従来の撮像素子部１１ａと信号処理部１２ａの内部のデータの流れが示されている。

撮像素子部１１ａは、撮像部２０及びＩＦ（Ｉｎｔｅｒｆａｃｅ）部２１を備える。また、信号処理部１２ａは、ＩＦ部２２，本線画像処理部２３、認識用画像処理部２４、認識部２５を備える。

撮像素子部１１ａにおける撮像部２０（撮像手段）は、受光した光を光電変換し、さらにデジタル変換してデジタル画像を生成する。撮像部２０から出力されたデジタル画像は、ＩＦ部２１を通じて、信号処理部１２ａ内のＩＦ部２２に伝達される。ここで、ＩＦ部２１，２２はＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌ）やｓｕｂＬＶＤＳなどの一般的な通信形式でもよいし、その他構成要素に特化した特別な通信形式でも構わない。また、図２ではＩＦ部２１，２２間の通信は、１本の信号線を通して行われる例を示しているが、複数の信号線を通して画像信号を並列に高速で通信してもかまわない。

信号処理部１２ａにおける本線画像処理部２３は、記録処理部１３に出力する画像を生成するため、撮像素子部１１ａから出力された画像に画像処理を施す。ここで画像処理とは、Ｂａｙｅｒ配列の画像を一般的に記録・視聴可能な画像へと変換するための様々な画像処理が含まれる。例えば、固定パターンノイズを除去する処理や、デモザイキング処理、ＲＧＢのバランスを調整する色補正処理や、表示機器のガンマ特性に合わせたガンマ補正処理が含まれる。また、レンズ群１０を通して撮影された被写体はそのレンズ部の特性により画質の劣化が発生する場合がある。一般的には、周辺部が歪曲する歪曲収差や、放射軸方向に色ずれが発生する色収差、レンズの口径食の影響を受けた周辺部光量落ちなどがある。ここでの画像処理には、撮影時のレンズ状態に応じてこれらの画質劣化を補正する処理も含まれる。歪曲収差については幾何変形をかけることで、色収差についてはズレ量分だけ各画素の戻すことで、周辺部光量落ちについては同心円方向に画像信号を増幅することで補正が可能である。また、ここでの画像処理には、画像としての品位を向上するため、被写体の輪郭部を強調する補正処理や、ランダムノイズを低減するノイズリダクション処理なども含まれうる。こうして処理された画像は、後段の記録処理部１３へと画像が出力される。

一方、本線画像処理部２３とは並列に配置された認識用画像処理部２４（画像加工手段）は、認識処理を行う認識部２５に出力する画像を生成するため、本線画像処理部２３と同様の画像処理を撮像素子部１１ａから出力された画像に施し、画像を加工する。ただし、認識処理において認識される被写体やシーンには、認識しやすい明るさや階調が存在する場合がある。例えば、黒い動物などはある程度明るさ補正をした方が認識精度が向上する傾向がある一方、人間の顔などでは明暗のコントラストが小さいと認識率が落ちる傾向がある。そのため、認識用画像処理部２４では、認識対象に応じて本線画像処理部２３とは異なる画像処理を施すことが好ましい。認識用画像処理部２４で処理された画像は、認識部２５に入力される。

認識部２５（第２の認識手段）では、様々な認識処理が行われる。認識部２５での認識処理は、ルールベースの認識機能を用いてもよいし、弱識別機を直列につないで順次認識するカスケード型の認識機能を用いてもよいし、特徴空間における識別境界を機械学習により訓練した認識機能を用いてもよい。また、認識部２５での認識処理は、機械学習によりプーリング層の係数を深層学習により獲得したニューラルネットワークによる識別機能を用いてもよい。認識部２５が被写体認識を行う場合、その認識対象としては、人や動物、人工物、空、道路、信号などの特定被写体や、手足や骨格、頭部、瞳など被写体の一部の器官が例示される。また、認識部２５により画像内のシーンがどのようなシーンかを判断するシーン認識がされる場合もある。例えば、シーン認識により認識されるシーンとしては、昼夜、屋内・屋外、夕焼け、スポーツ、ポートレートなど、使用頻度の高い特定のシーンが挙げられる。さらに、被写体が人か動物か、被写体が男性か女性か、被写体は子供か大人か、などの被写体の性質を分類するクラス分類を認識部２５の認識処理として行うケースも近年増えている。このクラス分類には、画像内の主被写体が、人物、動物、風景、道路、空、車両など、どの種類に分類されるかを判断する画像分類も含まれる。これらの認識結果として、認識部２５は、被写体の位置（画像の内の座標）や被写体の有無、判定されたシーンのＩＤ、被写体のクラスのＩＤ、画像の種類のＩＤなどを制御演算部１６に出力する。

以下、認識モードと学習モードを切り替え可能である、本実施形態に係るデジタルカメラ１００について説明する。つまり、認識モードでは認識機能を利用して認識結果を得ることができ、学習モードでは信号処理部の認識機能の更新を行うことができる。

まずは、認識モードについて、図３に示す撮像素子部１１と信号処理部１２の内部のデータの流れに触れながら説明する。尚、図２の従来の撮像素子部１１ａと信号処理部１２ａと同様の内部構成については、同様の付番を付し、重複した説明は省略する。すなわち、図３に示す構成のうち、図２と付番が共通する撮像部２０、ＩＦ部２１、ＩＦ部２２、本線画像処理部２３、認識用画像処理部２４、認識部２５の説明は省略する。

図３で示す通り、撮像素子部１１は、さらにセンサー画像処理部３１及びセンサー認識部３２が設けられている。また、信号処理部１２は、認識部２５と接続する学習モデル３３がさらに設けられている。つまり、本実施形態では、撮像素子部１１内のセンサー認識部３２と、信号処理部１２内の認識部２５とで、２つの認識部を有することになる。

センサー認識部３２と、認識部２５の差について、図４を用いて説明する。撮像素子部１１に設置された認識部であるセンサー認識部３２（第１の認識手段）は、信号処理部１２に設置された認識部である認識部２５と比べ、その処理の直前の認識用の画像処理は簡易的であり、また認識用の回路規模も小さい。このため、センサー認識部３２は、認識部２５より認識性能は低い。一方、撮像素子部１１では、認識に必要なラインだけ先に読出して認識を行ったり、画像の途中で認識結果を出力することができるため、センサー認識部３２は、間引き画像や部分画像での認識を行ったり、全画像を使用せずに認識を行える。このため、センサー認識部３２での認識結果を得るまでの時間は、認識部２５より早い。また、撮像素子部１１から外部に出力される全画像に対して、センサー認識部３２による認識結果が遅延せず、同時に出力することができる。また、センサー認識部３２では、認識部２５と異なり全画像でなく部分画像での認識を行うことができ、且つ認識部２５より小さな回路規模で認識処理を行うため、認識部２５より消費電力を抑えることができる。さらに、認識部２５とセンサー認識部３２とでは、回路の設置されている場所が、撮像素子部１１上と信号処理部１２上という差があるため、認識処理を動作させた場合に発熱が発生する箇所が異なるのも特徴的な差である。このように撮像素子部１１と信号処理部１２が個別に認識部を有する時、これらの特徴を生かして夫々の認識部を使い分けることが可能である。例えば、センサー認識部３２と認識部２５を、認識対象を別のものに設定して、同時に並行して使用する並行認識モードを設けることもできる。また、認識性能を重視する場合は認識部２５を使用し、認識結果の遅延を重要視する場合はセンサー認識部３２を使用してもよい。撮像素子部１１の発熱を抑えたいときは信号処理部１２の認識部を使用し、デジタルカメラ１００全体としての消費電力を抑えたい場合はセンサー認識部３２を使用してもよい。このように、認識部２５とセンサー認識部３２の使い分けは様々な方法が考えられるが、本実施形態において特に限定はされない。

図３の説明に戻る。撮像部２０から出力された画像信号が、センサー画像処理部３１に入力されると、センサー画像処理部３１では、センサー認識部３２で認識機能を動作できる形式の画像へと画像処理を行う。具体的には、撮像部２０から出力される画像はＲＡＷ画像であるため、それをＹＵＶ画像に変換したり、ガンマ変換を行ったりする。センサー画像処理部３１で行われる画像処理は、基本的には信号処理部１２内の認識用画像処理部２４と同様であるが、撮像素子部１１内に配置できる回路規模には制限があるため、認識用画像処理部２４よりもより簡易的な画像処理に制限される。そして、センサー画像処理部３１から出力された画像がセンサー認識部３２に入力される。センサー認識部３２では認識処理を行う。認識処理に関しては信号処理部１２の認識部２５と同様で何ら制限はない。センサー認識部３２で認識処理を行い、認識結果をＩＦ部２１，２２を通じて制御演算部１６に出力する。図３では、認識結果は、信号処理部１２を介して制御演算部１６に出力されているが、ＩＦ部２１を介して制御演算部１６に直接出力されるようにしても問題はない。

図２との差として、信号処理部１２の内部に学習モデル３３が用意されている。認識部２５は、信号処理部１２内部のメモリ（不図示）に置かれた学習モデル３３に基づいて認識処理を行う。学習モデル３３を保持するメモリは、不揮発性のメモリであってもよいし、信号処理部１２の通電開始時に、不揮発性のメモリから展開され通電時間中は揮発性のメモリに保持されるデータであってもかまわない。

続いて、学習モードについて、図５に示す撮像素子部１１と信号処理部１２の内部のデータに触れながら説明する。

学習モードにおいても撮像素子部１１は、図３に示す認識モードにおける構成と同様の構成を有する。一方、信号処理部１２は、学習モードでは、図３に示す認識モードと同様にＩＦ部２２、本線画像処理部２３、及び学習モデル３３を有する。但し、図５に示すように、信号処理部１２は、学習モードでは、認識用画像処理部２４の代わりに学習用画像処理部４２、認識部２５の代わりに学習部４３を有し、また、認識結果補正部４０、及び認識結果バッファ４１を有する。

センサー認識部３２の認識結果は、ＩＦ部２１，２２を通じて信号処理部１２に入力され、認識結果補正部４０を経由し、認識結果バッファ４１に入る。一方、撮像部２０から出力された画像は、ＩＦ部２１，２２を通じて信号処理部１２に入力され、学習用画像処理部４２での画像処理を経て、学習部４３に入力される。センサー画像処理部３１では、上述の通り歪曲補正が施されないため、撮像素子部１１内では歪曲した画像を使用することになる。一方、信号処理部１２内の学習用画像処理部４２では複雑な画像処理が可能であり歪曲収差に対応した幾何変形処理が可能である。つまり、学習用画像処理部４２からの画像を入力した場合の認識部２５の認識結果と、センサー認識部３２の認識結果の間には、幾何変形の分だけ差が生じることになる。そこで、認識結果補正部４０（補正手段）では、センサー認識部３２で得られた認識結果のうち、幾何変形により変わりうる画像内の位置に関する認識結果を、幾何変形後の状態に変更する補正を行う。つまり、認識結果補正部４０は、学習用画像処理部４２における処理に相当する補正として、所定の座標のみ幾何変形を行う。これにより、幾何変形される前の画像からの認識結果を、幾何変形された後の画像に当てはめて認識結果を得ることができる。

つづいて、信号処理部１２における学習用画像処理部４２について述べる。一般的に、認識工学の分野では、認識精度を向上させる手法の一つとして、生成型学習が利用されてきた。これは、教師有り学習において、学習用の画像にわざとノイズ付与などの認識精度が低下する画像処理（画像劣化処理）を施した画像を用いることで、劣化した画像を考慮した識別機が構築され、認識精度の高い学習結果を得るという学習法である。本実施形態でも学習用画像処理部４２では、わざと劣化した画像処理を施す。例えば、学習用画像処理部４２は、ＷＢ（ＷｈｉｔｅＢａｌａｎｃｅ）をわざと適正からシフトさせて、視認性を落とした色画像を生成する色変更処理をしてもよい。学習用画像処理部４２は、適正な明るさからアンダーまたはオーバーな明るさにシフトさせた画像を生成する画像処理（明るさ変更処理）をしてもよい。また、学習用画像処理部４２は、画像にブラー処理を施して解像感を落とす画像処理や、画像の階調の割り当てを変更しコントラストを低下させる画像処理（コントラスト低下処理）をしてもよい。また、レンズ収差が目立つ方向に画像処理を施す、つまり、周辺部をより歪ませる幾何変形処理、輪郭部の色収差が目立つように各画素の色を変える収差付与処理、口径食が目立つように画像周辺部の光量を低下させる画像処理（光量低下処理）等をしてもよい。もちろんランダムノイズを想定して画像全体にノイズ成分を付与する画像処理（ノイズ付与処理）をしてもよい。これらの画像処理により認識精度が低下した画像が学習用画像処理部４２から出力され学習部４３に入力される。

次に、認識結果バッファ４１について述べる。認識結果バッファ４１（同期手段）は、学習用画像処理部４２から出力される画像が、センサー認識部３２がその認識結果を得るために用いた画像と相関のある画像となるよう、同期をとって学習部４３に入力するために用いられる。すなわち、学習用画像処理部４２では、幾何変形を含む複雑な画像処理が施されるため、画像入力と画像出力の間に実行される画像処理の時間がかかり、遅延が発生する。そのため、認識結果補正部４０で補正された、センサー認識部３２からの認識結果をそのまま学習部４３に入力すると、その入力タイミングが学習用画像処理部４２による画像処理後の画像の学習部４３への入力タイミングに対して先行してしまう。そこで、認識結果バッファ４１は、認識結果補正部４０から順次入力される複数フレームの画像の認識結果をＦＩＦＯで保持する。これにより、認識結果バッファ４１は、現フレームの画像から学習用画像処理部４２で発生する上記遅延分だけ前のフレームの画像の認識結果を、学習用画像処理部４２から入力される画像と同期して学習部４３に入力する。尚、ここでは、現フレームとは、前記撮像素子部１１より信号処理部１２に現在入力されているフレームを指す。そして、学習部４３（学習手段）では、認識結果バッファ４１からの認識結果を教師データとして、学習用画像処理部４２からの画像と同期をとって紐づけて機械学習を行い、学習の結果取得された識別機を学習モデル３３に記憶する。ここで、学習用画像処理部４２（画像加工手段）は、認識モードにおける認識用画像処理部２４と兼用でもよいし、認識用画像処理部２４の一部として構成されていてもよいし、全く別の画像処理回路として構成されていてもよい。また、学習部４３についても、認識モードにおける認識部２５と兼用の回路でもよいし、認識部２５の一部として構成されていてもよいし、全く別の回路として構成されていてもよい。

また、学習方法に関しても、認識部２５で利用可能な学習モデル３３を更新できる手法であればどんな手法であってもよい。例えば、最尤推定法、ｋ－ｍｅａｎｓクラスタリング法、評価関数等を利用したニューラルネットワークのプーリング層の重みの更新であってもよい。このようにして学習モードを使用することで、デジタルカメラ１００を通常使用しつつ、撮像素子部１１で撮像された画像の認識性能を向上させることができる。

次に、認識モードと学習モードの切り替え方法について、図６のフローチャートを参照しながら説明する。

図６は、本実施形態に係るモード切替処理のフローチャートである。本処理は、制御演算部１６（切替手段）が、デジタルカメラ１００内のＲＯＭ（不図示）に保持されるプログラムを、同じくデジタルカメラ１００内にあるＲＡＭ（不図示）に展開することより実行される。本処理は、デジタルカメラ１００が起動すると開始する。

まずカメラ起動時は、認識モードで動作を開始する（ステップＳ６００）。認識モードとしてデジタルカメラ１００を動作させながら、順次撮影される画像の中に、センサー認識部３２で認識可能であるが、認識部２５で認識可能でない被写体があるかどうかを判定する（ステップＳ６０１）。認識部２５で認識可能でない被写体がない場合（ステップＳ６０１でＹＥＳ）、ステップＳ６００に戻る。一方、認識部２５で認識可能でない被写体がある場合（ステップＳ６０１でＮＯ）、その被写体を認識部２５で認識可能な対象として追加するために、信号処理部１２を学習モードに切り替え、学習モードでの動作を開始する（ステップＳ６０２）。その後、その被写体に対して一定の認識精度を獲得するまで、学習モードで学習を繰り返し（ステップＳ６０３でＮＯ）、一定の認識精度を獲得したときに（ステップＳ６０３でＹＥＳ）、ステップＳ６００に戻り、認識モードでの動作を再開する。認識精度への到達の判断は後ほど述べる。

図６のフローチャートでは、デジタルカメラ１００が自動で認識モードと学習モードを切り替える処理について説明したがかかる構成に限定されない。例えば、図７に示す学習モードへの移行を促すＵＩを操作部１５と一体化した表示部に表示し、ユーザが操作部１５で図７のＵＩ上の「はい」を選択した時に、認識モードと学習モードの切り替えてもよい。

ステップＳ６０３における、信号処理部１２の認識部２５が一定の認識精度を獲得したかどうかの判断について詳細に述べる。この判断の方法は特に限定されないが、例えば、学習部４３が、対象とする被写体が含まれる画像を一定数以上含む入力画像について学習した際、一定の認識精を獲得したと判断してもよい。また別の方法として、認識モードに移行し、認識モードでのセンサー認識部３２の認識結果と、認識部２５での認識結果を比較して、その比較結果に基づき、一定の認識精度を獲得したかどうかを判断してもよい。図８と図９には、それぞれ、認識部２５とセンサー認識部３２の認識性能を比較した表が示されている。ここで、通常画質と書かれた列には、撮像部２０で撮影された画像をそのままそれぞれの認識部に入力した場合の認識結果を示している。明るさアンダーと書かれた列は、撮像部２０で撮影された画像を、センサー画像処理部３１で明るさをアンダーに画像処理し、認識用画像処理部２４で同じ量だけ明るさをアンダーに画像処理した場合の、それぞれの認識部の認識結果を示している。明るさオーバーと書かれた列は、撮像部２０で撮影された画像を、センサー画像処理部３１で明るさをオーバーに画像処理し、認識用画像処理部２４で同じ量だけ明るさをオーバーに画像処理した場合の、それぞれの認識部の認識結果を示している。図８では明るさアンダーの画像は、センサー認識部３２では正しく（一定の認識精度で）認識できているが、認識部２５では正しく認識できなかったことが比較でわかる。つまり、センサー認識部３２の認識精度の方が認識部２５の認識精度よりも高い、すなわち学習部４３での学習がまだ進んでおらず、認識部２５の認識精度が一定の水準に達していないことが分かる。図９では、明るさアンダーの画像だけでなく、センサー認識部３２でも正しく認識できていない、明るさオーバーの画像も、認識部２５では正しく認識できたことが比較でわかる。つまり、認識部２５の認識精度が、センサー認識部３２の認識精度を超え、一定の水準に達していると判断することができる。このようにして、認識部２５の認識精度の到達度を判定して、学習モードから認識モードへの移行を判断してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。学習部４３での学習が進み、認識部２５の認識精度がセンサー認識部３２の認識精度を超え、この２つの認識部に性能差が出ると、認識部２５とセンサー認識部３２を使い分けようとした際に使い分けにくい場合が発生する。そこで、本実施形態では、図１０に示すように、性能向上を果たした認識部２５で使用している学習モデル３３を、センサー認識部３２でも用いることを可能としている。

尚、以下の説明において、図５に示す第１の実施形態と同様の内部構成については、同様の付番を付し、重複した説明は省略する。

図１０に示すように、撮像素子部１１’は、その内部のメモリ領域に学習モデルをもつセンサー学習モデル６０を備え、センサー認識部３２はセンサー学習モデル６０に基づいて認識を行う。そして、センサー学習モデル６０は、ＩＦ部２１，２２を通して信号処理部１２内の学習モデル３３と接続されており、学習モデル３３に構築された一定の認識精度に達した識別パラメータをセンサー学習モデル６０にインポート可能な構成を持つ。ここで、認識部２５及びセンサー認識部３２は、ルールベースの認識機能を用いてもよいし、弱識別機を直列につないで順次認識するカスケード型の認識機能を用いてもよいし、特徴空間における識別境界を機械学習により訓練した認識機能を用いてもよい。ただし、学習モデル３３をセンサー学習モデル６０にインポート可能な、互換性のある構成である必要がある。例えば、センサー認識部３２と認識部２５が同じ構成の持つ識別機とする。このような場合、学習モデル３３をセンサー学習モデル６０にインポートすることで、センサー認識部３２の性能を認識部２５に近い水準まで向上させることが可能である。

以上、第１及び第２の実施形態では、本発明に係る撮像装置として、レンズ群１０と一体的に構成されるデジタルカメラ１００を例として説明したが、かかる構成に限定されない。例えば、レンズ群１０はデジタルカメラ１００の本体に対して着脱式の別装置であっても問題ない。また、デジタルカメラ１００は、カメラ以外の機能を有するスマートフォンなどの形態でも構わない。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法は、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ デジタルカメラ
１１ 撮像素子部
１２ 信号処理部
１６ 制御演算部
２０ 撮像部
２４ 認識用画像処理部
２５ 認識部
３２ センサー認識部
４１ 認識結果バッファ
４３ 学習部

Claims (17)

1. 撮像素子部と、前記撮像素子部から信号線を介して入力された画像を処理する信号処理部とを有する撮像装置において、
   前記信号処理部を、認識モード及び学習モードの一方に切り替える切替手段を更に備え、
   前記撮像素子部は、
   前記画像を生成する撮像手段と、
   前記画像に基づいて認識処理を行う第１の認識手段とを備え、
   前記信号処理部は、
   前記認識モードにおいて、前記撮像素子部から入力された前記画像を学習モデルに入力することで認識処理を行う第２の認識手段と、
   前記学習モードにおいて、前記第１の認識手段における認識結果及び前記撮像素子部から入力された前記画像に基づいて、前記学習モデルの機械学習を行う学習手段とを備えることを特徴とする撮像装置。
2. 前記切替手段は、
   前記撮像装置の起動時に、前記信号処理部を前記認識モードで動作させ、その際、前記撮像素子部から入力された前記画像が前記第２の認識手段により認識可能な被写体を含まない場合、前記第２の認識手段が前記被写体に対して一定の認識精度を獲得するまで、前記信号処理部を前記学習モードとして動作させることを特徴とする請求項１記載の撮像装置。
3. 前記信号処理部は、前記撮像素子部から入力された前記画像を加工する画像加工手段を更に備え、前記認識モードの際、前記画像加工手段で加工された画像を前記第２の認識手段に入力することを特徴とする請求項２記載の撮像装置。
4. 前記信号処理部は、前記学習モードの際、前記画像加工手段で加工された画像を前記学習手段に入力することを特徴とする請求項３記載の撮像装置。
5. 前記学習モードでは、前記信号処理部において、前記画像加工手段で加工された画像と、前記第１の認識手段が前記認識結果を得るために用いた画像とを、相関のある画像となるよう、同期をとって紐づけて前記学習手段に入力することを可能とする同期手段を有することを特徴とする請求項４記載の撮像装置。
6. 前記同期手段は、前記撮像素子部より順次入力される複数フレームの画像の前記認識結果をＦＩＦＯで保持し、前記撮像素子部より前記信号処理部に現在入力されているフレームの画像より前記画像加工手段による画像処理により生じる遅延分だけ前のフレームの画像の前記認識結果を、前記画像加工手段から入力される画像と同期して、前記学習手段に入力することを特徴とする請求項５記載の撮像装置。
7. 前記画像加工手段は、前記撮像素子部から入力された前記画像に対して、デモザイキング処理、現像処理、明るさ補正処理、色補正処理、輪郭強調処理、コントラスト補正処理、幾何変形処理、収差補正処理、口径食による周辺部の明るさ補正処理、ガンマ補正処理、のうち少なくとも一つの画像処理を施すことを特徴とする請求項３記載の撮像装置。
8. 前記画像加工手段は、前記学習モードの際、前記撮像素子部から入力された前記画像に対して、ＷＢを適正からシフトさせる色変更処理、明るさを適正からシフトさせる明るさ変更処理、ブラー処理、コントラスト低下処理、幾何変形処理、収差付与処理、画像周辺部の光量低下処理、ノイズ付与処理、のうち少なくとも一つの画像劣化処理を更に施すことを特徴とする請求項４記載の撮像装置。
9. 前記信号処理部は、前記第１の認識手段の認識結果を補正する補正手段を更に備え、前記学習モードの際、前記第１の認識手段における認識結果は、前記補正手段により補正された後に前記学習手段へ入力されることを特徴とする請求項４記載の撮像装置。
10. 前記補正手段は、前記画像加工手段における少なくとも一つの画像処理に相当することを特徴とする請求項９記載の撮像装置。
11. 前記補正手段は、前記画像加工手段における幾何変形処理に相当する変換であることを特徴とする請求項９記載の撮像装置。
12. 回路規模、及び消費電力の少なくとも一つについて、前記第１の認識手段は前記第２の認識手段よりも小さいことを特徴とする請求項１記載の撮像装置。
13. 前記切替手段は、前記撮像素子部の前記第１の認識手段により認識結果を出力させるのと並行して、前記信号処理部を認識モードとして動作させ前記第２の認識手段により認識結果を出力させる、並行認識モードをさらに有することを特徴とする請求項１記載の撮像装置。
14. 前記第１の認識手段、及び前記第２の認識手段における認識処理とは、被写体認識、シーン認識、被写体のクラス分類、画像分類のうち少なくとも一つを含むことを特徴とする請求項１記載の撮像装置。
15. 前記撮像素子部は、前記第２の認識手段の学習モデルで、前記第１の認識手段の学習モデルを更新することを特徴とする請求項１記載の撮像装置。
16. 撮像素子部と、前記撮像素子部から信号線を介して入力された画像を処理する信号処理部とを有する撮像装置の制御方法において、
    前記信号処理部を、認識モード及び学習モードの一方に切り替える切替ステップと、
    前記撮像素子部にて、前記画像を生成する撮像ステップと、
    前記撮像素子部にて、前記画像に基づいて認識処理を行う第１の認識ステップと、
    前記信号処理部にて、前記認識モードにおいて、前記撮像素子部から入力された前記画像を学習モデルに入力することで認識処理を行う第２の認識ステップと、
    前記信号処理部にて、前記学習モードにおいて、前記第１の認識ステップでの認識結果及び前記撮像素子部から入力された前記画像に基づいて、前記学習モデルの機械学習を行う学習ステップとを有することを特徴とする制御方法。
17. コンピュータを、請求項１記載の撮像装置の各ステップとして機能させる、コンピュータにより実行可能なプログラム。

Images