JP2021043722A - 映像処理装置、および、映像処理方法 - Google Patents

Abstract

【課題】被写体をカラー撮影する映像処理において、撮影環境の影響を抑制して高精度な機械学習の推論処理および機械学習の学習処理を実現すること。【解決手段】映像処理装置１は、推論対象被写体１１を撮影した評価映像と、評価映像の撮影に使用された撮影環境についての特性である撮影環境特性とを推論モデル３ｍに入力することで、推論対象被写体１１の機械学習における推論処理を行う推論部３を有する。推論部３は、評価映像をカラー映像データに光電変換したときに用いられる色分解フィルタ２２の特性を、撮影環境特性として用いる。または、推論部３は、評価映像を撮影したときの光源を用いて、複数の有色領域を有する撮影環境特性評価チャート１３を撮影した特性映像を、撮影環境特性として用いる。【選択図】 図３

Description

本発明は、映像処理装置、および、映像処理方法に関わる。

特許文献１には、以下のように記載されている。
「撮像装置のセンサ値による入力画像を取得する取得手段と、変換部を有する識別器を用いて、取得されたセンサ値による入力画像を識別する識別手段と、を有し、識別器のうち少なくとも変換部は、撮像装置のセンサ値による学習画像とその学習画像に付与された正解データとに基づいて学習されていることを特徴とする画像識別装置。」

特開２０１９−２８６５０号広報

光源からの入射光が被写体に当てられ、その反射光を撮像装置のイメージセンサが受光することにより、被写体を映す映像が生成される。よって、被写体の映像信号は、被写体本来の色を示す反射係数に、光源の特性を乗じた結果になる。
そのため、映像信号として記録されている色情報は、光源の特性の影響を受けて、被写体本来の色情報とは異なることもある。そのときには、被写体本来の色を特定できないので、被写体の判断ができない場合もある。例えば、赤色の映像信号として記録されている被写体は、赤色の光源を当てた白色の被写体である可能性もあるし、白色の光源を当てた赤色の被写体である可能性もある。

このような光源などの撮影環境に依存する特性の影響により、ＤＬ（Deep Learning）などの機械学習に用いられる識別器（推論モデル）の学習精度または推論精度が低下してしまう。よって、撮影環境の影響を抑制し、被写体本来の色情報をもとに識別器の推論および学習を行うことが重要である。しかし、特許文献１では、センサ値による入力画像の識別を行うことが記載されているだけであり、撮影環境の影響についての検討はなされていない。

そこで、本発明は、被写体をカラー撮影する映像処理において、撮影環境の影響を抑制して高精度な機械学習の推論処理および機械学習の学習処理を実現することを、主な課題とする。

前記課題を解決するために、本発明の映像処理装置は、以下の特徴を有する。
本発明は、推論対象被写体をカラー撮影した評価映像と、前記評価映像の撮影に使用された撮影環境についての特性である撮影環境特性とを推論モデルに入力することで、前記推論対象被写体の機械学習における推論処理を行う推論部を有することを特徴とする。
その他の手段は、後記する。

本発明によれば、被写体をカラー撮影する映像処理において、撮影環境の影響を抑制して高精度な機械学習の推論処理および機械学習の学習処理を実現することができる。

本発明の一実施形態に関する撮影環境特性のうちの光源特性の説明図である。 本発明の一実施形態に関する撮影環境特性のうちの光電変換特性の説明図である。 本発明の一実施形態に関する第１推論例の概要図である。 本発明の一実施形態に関する第２推論例の概要図である。 本発明の一実施形態に関する第３推論例の概要図である。 本発明の一実施形態に関する第１学習例の概要図である。 本発明の一実施形態に関する第２学習例の概要図である。 本発明の一実施形態に関する第３学習例の概要図である。 本発明の一実施形態に関する第１，第２推論例で共通する構成図である。 本発明の一実施形態に関する第３推論例の構成図である。 本発明の一実施形態に関する第１，第２学習例で共通する構成図である。 本発明の一実施形態に関する第３学習例の構成図である。 本発明の一実施形態に関する第１推論例のフローチャートである。 本発明の一実施形態に関する第２推論例のフローチャートである。 本発明の一実施形態に関する第３推論例のフローチャートである。 本発明の一実施形態に関する第１学習例のフローチャートである。 本発明の一実施形態に関する第２学習例のフローチャートである。 本発明の一実施形態に関する第３学習例のフローチャートである。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。
映像処理装置１（図３）は、ＤＬ（Deep Learning）などの機械学習に用いられる識別器（図３の推論モデル３ｍ）を用いた、機械学習における推論処理を行う。映像処理装置１（図６）は、その推論モデル３ｍを生成するための機械学習における学習処理を行う。
ここで、本実施形態の映像処理装置１の主な特徴は、推論モデル３ｍに対する入力データとして、評価対象（推論対象、学習対象）の被写体映像に加えて、その被写体映像を撮影したときの撮影環境特性を用いる点である。以下、図１，図２を参照して、撮影環境特性の詳細を説明する。

図１は、撮影環境特性のうちの光源特性の説明図である。
評価対象の被写体に当てられる光源からの入射光の特性（以下、光源特性）は、撮影環境特性の一例である。そこで、光源特性を測定するための撮影環境特性評価チャート１３を、評価対象の被写体とは別に用意する。撮影環境特性評価チャート１３は、例えば、有色領域として、青色領域１３Ｂ、緑色領域１３Ｇ、赤色領域１３Ｒを含む物体として構成される。

撮影環境特性評価チャート１３の波長別反射係数のグラフ１４には、３色の有色領域に対応して、３つのピーク１４Ｂ，１４Ｇ，１４Ｒが形成される。この３つのピーク１４Ｂ，１４Ｇ，１４Ｒは撮影環境特性評価チャート１３本来の色とも言える。
光源特性のグラフ１５は、波長別反射係数のグラフ１４と同様に、横軸を波長とする。光源特性のグラフ１５の縦軸は入射光の波長別の強度である。図１の例では、右上がりのグラフなので、赤色成分が強めの（赤みがかった）入射光が光源から出力されている。

映像信号のグラフ１６は、光源特性のグラフ１５で示す入射光を撮影環境特性評価チャート１３に当てて撮影した結果である。波長別反射係数のグラフ１４と比較すると、赤色成分が強めの入射光の影響により、青色ピーク１６Ｂが本来の色より弱い信号となり、赤色ピーク１６Ｒが本来の色より強い信号となって撮影されている。
このように、波長別反射係数のグラフ１４と、映像信号のグラフ１６とをもとに、光源特性のグラフ１５を撮影環境特性として取得することができる。また、撮影環境特性評価チャート１３には、３色の有色領域を設ける代わりに、１つの無彩色領域（グレー色または白色）を設けることで、全ての波長で同じ反射係数になるようにしてもよい。

図２は、撮影環境特性のうちの光電変換特性の説明図である。
評価対象の被写体からの反射光をセンシングしたアナログの光信号を、デジタルの映像データに変換するときの光電変換特性も、撮影環境特性の一例である。
光電変換特性は、例えば、色分解フィルタ２２の分光特性として定義される。色分解フィルタ２２は、レンズ２１（図９）で結像した被写体像を複数の波長帯に分解する。色分解フィルタ２２は、分光プリズムであってもよい。このように被写体像を複数の波長帯に分解することで、単一波長フィルタでは識別できなかった色の違いを認識できるため、推論処理の精度が向上する。
色分解フィルタ２２は、ピクセルごとのフィルタを縦方向および横方向に配置したベイヤー配列型で構成される。
フィルタの構成要素は、以下の通りである。
・赤色の波長を通すＲフィルタ（図示では「Ｒ」）
・緑色の波長を通すＧフィルタ（図示では「Ｇ」）
・青色の波長を通すＢフィルタ（図示では「Ｂ」）
・フィルタなしの部分（図示では「Ｃ」）
・近赤外領域の波長を通すＮＩＲフィルタ（図示では「Ｎ」）

色分解フィルタ２２ａは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタから構成される。
色分解フィルタ２２ｂは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、フィルタなしの部分から構成される。
色分解フィルタ２２ｃは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、ＮＩＲフィルタから構成される。
同じ被写体をカラー撮影した場合でも、光源特性が異なる場合や、使用する色分解フィルタ２２ａ〜２２ｃが異なる場合には、波長ごとに異なる強度の光信号が出力される。

以下、図３〜図８を参照して、撮影環境特性を用いた３つの推論例（第１〜第３推論例）と、３つの学習例（第１〜第３学習例）を順に説明する。これらの例を区別して説明するために、まずは制御用情報として「シーン情報」および「モード情報」を定義する。
シーン情報は、撮像部２から出力された映像（または映像の一部である領域）に何が写っているかを指定する情報である。本明細書では、以下の３つのシーン情報を用いる。
・「推論シーン」とは、入力映像から推論対象被写体１１（図３〜図５）を記録するためのシーンである。
・「学習シーン」とは、入力映像から学習対象被写体１２（図６〜図８）を記録するためのシーンである。
・「環境シーン」とは、入力映像から撮影環境特性評価チャート１３（図３〜図８）を記録するためのシーンである。

モード情報は、シーン情報をどのように取得するかを指定する情報である。本明細書では、以下の２つのモード情報を用いる。
・「手動モード」とは、ユーザにより手動で入力されたシーン情報をそのまま採用するモードである。
・「自動モード」とは、ユーザによるシーン情報の入力を省略するモードであり、入力映像からシーン情報が自動判定される。

図３は、第１推論例の概要図である。第１推論例は、手動モードで予め撮影環境特性を取得しておき（符号１１１）、その撮影環境特性を活用して被写体の推論を行う（符号１１２）例である。
映像処理装置１は、撮像部２と、推論部３を有する。
なお、映像処理装置１は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。

撮像部２は、手動モードで環境シーンが指定されると、撮影環境特性評価チャート１３を撮影する（符号１１１）。その後、撮像部２は、手動モードで推論シーンが指定されると、推論対象被写体１１を撮影する（符号１１２）。そして、推論部３は、環境シーンの映像と推論シーンの映像とを推論モデル３ｍに入力することで、推論対象被写体１１を推論する。
なお、図２で説明したように、推論モデル３ｍに入力される撮影環境特性を示すデータは、撮影環境特性評価チャート１３の映像データに限定されず、光源特性を示すデータ、光電変換特性を示すデータでもよい。撮影環境特性を示すデータのデータフォーマットも映像データ以外のデータフォーマットとしてもよく、例えば、図１の映像信号のグラフ１６、図２の色分解フィルタ２２ａ〜ｃのいずれかを特定するフィルタ識別子などを用いることができる。

図４は、第２推論例の概要図である。第２推論例は、自動モードで推論実行時の映像から撮影環境特性を取得し、その撮影環境特性を活用して被写体の推論を行う例である。
撮像部２は、自動モードにより、環境シーン（例えば映像内の左側範囲に映る撮影環境特性評価チャート１３）の撮影と、推論シーン（例えば映像内の右側範囲に映る推論対象被写体１１）の撮影とを自動で切り替える。そして、推論部３は、環境シーンの映像と推論シーンの映像とを推論モデル３ｍに入力することで、推論対象被写体１１を推論する。

図５は、第３推論例の概要図である。第３推論例は、撮影環境特性を取得するための第１撮像部２Ａと、推論対象被写体１１を撮影するための第２撮像部２Ｂとを別々に用意して被写体の推論を行う例である。
第１撮像部２Ａは、撮影環境特性評価チャート１３を撮影し続ける。第２撮像部２Ｂは、推論対象被写体１１を撮影し続ける。そして、推論部３は、第１撮像部２Ａの映像と第２撮像部２Ｂの映像とを推論モデル３ｍに入力することで、推論対象被写体１１を推論する。

図６は、第１学習例の概要図である。推論対象被写体１１が学習対象被写体１２に変更されることで、図３の第１推論例における推論部３が、図６の第１学習例では学習部４に置き換わる。
図７は、第２学習例の概要図である。推論対象被写体１１が学習対象被写体１２に変更されることで、図４の第２推論例における推論部３が、図７の第２学習例では学習部４に置き換わる。
図８は、第３学習例の概要図である。推論対象被写体１１が学習対象被写体１２に変更されることで、図５の第３推論例における推論部３が、図８の第３学習例では学習部４に置き換わる。

図９は、第１，第２推論例で共通する構成図である。
撮像部２は、絞り２１ａ付きのレンズ２１と、色分解フィルタ２２と、光電変換部２３と、増幅部２４と、ＡＤ変換部２５と、ＩＦ２６と、ドライバ２７と、ＩＦ２８とを有する。
レンズ２１は、被写体を結像させる。絞り２１ａは、被写体からの光の量を調節する。色分解フィルタ２２は、レンズ２１で結像した被写体像を複数の波長帯に分解する。光電変換部２３は、色分解フィルタ２２から得られた光信号を電気信号に変換する。
増幅部２４は、光電変換部２３から得た電気信号を増幅する。ＡＤ変換部２５は、増幅部２４から得たアナログ信号をデジタル化する。

ＩＦ２６は、ＡＤ変換部２５から得たデジタル信号を外部出力する。ドライバ２７は、レンズ２１や絞り２１ａを制御する。ＩＦ２８は、増幅部２４とドライバ２７の制御を行う外部からの信号を受け取る。
なお、ＩＦ２６は、推論部３に外部出力する映像データについて、現像処理を行わないＲＡＷデータを出力することが望ましい。このように従来のカメラにある現像処理を取り除くことで、被写体像の情報量の損失を防止し、高精度の推論処理ができる。

推論部３は、シーン判定部３１と、モード入力部３２と、格納先指定部３３と、格納先選択部３４と、特性映像格納部３５と、評価映像格納部３６と、推論実行部３７と、ＣＰＵ３８と有する。
シーン判定部３１は、撮像部２から出力された映像（出力映像）を受け付け、そのシーン情報を判定する。この判定処理とは、手動モードならモード入力部３２に入力されたシーン情報をそのまま採用し、自動モードなら撮像部２から出力された映像を画像解析するなどして、シーン情報を自動的に判定する。
モード入力部３２は、管理者などからモード情報と、手動モードにおけるシーン情報の入力を受け取る。

格納先指定部３３は、シーン情報に従った出力映像の格納先として、特性映像格納部３５または評価映像格納部３６のいずれかを指定する。
格納先選択部３４は、格納先指定部３３から出力された格納先指定の情報をもとに、出力映像を格納先に書き出す。特性映像格納部３５は、環境シーンの出力映像（撮影環境特性評価チャート１３の映像）を格納する。評価映像格納部３６は、推論シーンの出力映像（推論対象被写体１１）を格納する。
推論実行部３７は、特性映像格納部３５の映像と、評価映像格納部３６の映像とを推論モデル３ｍに入力することで、推論対象被写体１１を推論する。
ＣＰＵ３８は、推論実行部３７を制御する信号と、ＩＦ２８を介して増幅部２４とドライバ２７とを制御する信号をそれぞれ通知する。

図１０は、第３推論例の構成図である。
第１撮像部２Ａおよび第２撮像部２Ｂは、それぞれ図９の撮像部２と同じ構成を有する。なお、図１０では撮像部２の構成の一部（色分解フィルタ２２、光電変換部２３、増幅部２４、ＡＤ変換部２５、ドライバ２７）を図示省略するが、省略された構成も撮像部２に備えられている。
また、第３推論例では、図５で説明したように、第１撮像部２Ａが撮影環境特性評価チャート１３の撮影に用いられ、第２撮像部２Ｂが推論対象被写体１１の撮影に用いられるように、１：１に（固定的に）対応づけられる。よって、シーン情報やモード情報を元にした制御が不要となるので、推論部３の構成の一部（図９のシーン判定部３１、モード入力部３２、格納先指定部３３、格納先選択部３４）は省略可能である。
さらに、推論部３は、第１撮像部２Ａからの入力映像を特性映像格納部３５に格納するとともに、第２撮像部２Ｂからの入力映像を評価映像格納部３６に格納するように構成されている。そのため、ＣＰＵ３８からの制御信号の出力先も２系統のＩＦ２８になるように拡張される。

図１１は、第１，第２学習例で共通する構成図である。
図９の推論部３と図１１の学習部４とは、ほぼ同じ構成であり、推論部３の推論実行部３７が学習部４の学習実行部４７に置き換わる。
学習実行部４７は、特性映像格納部３５の映像（撮影環境特性評価チャート１３の映像）と、評価映像格納部３６の映像（学習対象被写体１２の映像）と、管理者などが入力した学習対象被写体１２の教師ラベル（正解の推論結果、例えば学習対象被写体１２が誰であるか）とをもとに、推論モデル３ｍを学習する。

図１２は、第３学習例の構成図である。
図１２の第３学習例と、図１０の第３推論例とを比較すると、推論部３の推論実行部３７が学習部４の学習実行部４７に置き換わる。その他の図１２の構成は、図１０と同じである。

以上、図９〜図１２を参照して、各構成図を説明した。以下、図１３〜図１８を参照して、各処理の詳細をフローチャートで説明する。
図１３は、第１推論例のフローチャートである。
Ｓ１０１として、撮像部２は、撮影環境特性評価チャート１３を撮像する。具体的には、撮像部２は、撮影環境特性評価チャート１３からの光をレンズ２１を介して、色分解フィルタ２２で複数の色信号に波長帯域毎に分解し、光電変換部２３で電気信号に変換する。そして、撮像部２は、増幅部２４で電気信号の増幅を行い、ＡＤ変換部２５で信号のＡＤ変換を行い、ＩＦ２６を介して撮影環境特性評価チャート１３の映像を推論部３に入力する。
そして、モード入力部３２は、Ｓ１０１の撮像映像に対して、手動モードとして環境シーンの指定を受け付ける。
Ｓ１０２として、格納先指定部３３は、環境シーンの指定に従い、Ｓ１０１の撮像映像の格納先を特性映像格納部３５に指定する。
Ｓ１０３として、格納先選択部３４は、Ｓ１０２で指定された特性映像格納部３５に、Ｓ１０１の撮像映像を格納する。

Ｓ１１１として、撮像部２は、推論対象被写体１１を撮像する。具体的には、撮像部２は、推論対象被写体１１からの光をレンズ２１を介して、色分解フィルタ２２で複数の色信号に波長帯域毎に分解し、光電変換部２３で電気信号に変換する。そして、撮像部２は、増幅部２４で電気信号の増幅を行い、ＡＤ変換部２５で信号のＡＤ変換を行い、ＩＦ２６を介して推論対象被写体１１の映像を推論部３に入力する。
そして、モード入力部３２は、Ｓ１１１の撮像映像に対して、手動モードとして推論シーンの指定を管理者などから受け付ける。
Ｓ１１２として、シーン判定部３１によりＳ１１１の撮像映像が推論シーンとして判定されたので、格納先指定部３３は、Ｓ１１１の撮像映像の格納先を評価映像格納部３６に指定する。
Ｓ１１３として、格納先選択部３４は、Ｓ１１２で指定された評価映像格納部３６に、Ｓ１１１の撮像映像を格納する。

Ｓ１２１として、推論実行部３７は、Ｓ１０３で格納されたＳ１０１の撮像映像と、Ｓ１１３で格納されたＳ１１１の撮像映像との両映像を組み合わせて推論モデル３ｍに入力することで、推論モデル３ｍに入力映像に対応する推論結果を出力させる旨の推論処理を実行する。推論部３は、推論実行結果を外部出力する。

図１４は、第２推論例のフローチャートである。
Ｓ１３１として、撮像部２は、撮影環境特性評価チャート１３と推論対象被写体１１との両方が映っている映像を撮像し、その撮像結果を推論部３に入力する（Ｓ１０１、Ｓ１１１と同様）。
Ｓ１３２として、モード入力部３２は、Ｓ１３１の撮像映像の扱いを自動モードとする旨の入力を管理者などから受け付ける。
Ｓ１３３として、シーン判定部３１は、Ｓ１３２の自動モードに従いＳ１３１の撮像映像を自動でシーン判定する。このシーン判定により、推論シーンに該当する撮像映像と、環境シーンに該当する撮像映像とがそれぞれＳ１３１の撮像映像から抽出される。
格納先選択部３４は、抽出された環境シーンの映像を特性映像格納部３５に格納し（Ｓ１０３）、抽出された推論シーンの映像を評価映像格納部３６に格納する（Ｓ１１３）。この映像格納処理は、撮像が完了するまで（Ｓ１３４，Ｙｅｓ）継続される。
Ｓ１２１として、推論実行部３７は、図１３で説明したように、格納された両映像に対して推論処理を実行する。

図１５は、第３推論例のフローチャートである。
Ｓ１０１Ｂとして、第１撮像部２Ａは、撮影環境特性評価チャート１３を撮像する。図１３でのＳ１０２の処理は、図１５では省略される。
Ｓ１０３として、推論部３は、Ｓ１０１Ｂの撮像映像を特性映像格納部３５に格納する。
Ｓ１１１Ｂとして、第２撮像部２Ｂは、推論対象被写体１１を撮像する。図１３でのＳ１１２の処理は、図１５では省略される。
Ｓ１１３として、推論部３は、Ｓ１１１Ｂの撮像映像を評価映像格納部３６に格納する。
なお、特性映像格納部３５への映像格納処理（Ｓ１０１Ｂ、Ｓ１０３）と、評価映像格納部３６への映像格納処理（Ｓ１１１Ｂ、Ｓ１１３）とは、互いに独立に（たとえば並列で）処理される。
Ｓ１２１の推論実行部３７による推論処理は、図１３で示したとおりである。

図１６は、第１学習例のフローチャートである。
図１３の第１推論例と比較すると、推論シーン（Ｓ１１１〜Ｓ１２１）が学習シーン（Ｓ１１１Ｌ〜Ｓ１２１Ｌ）に置き換わる。
つまり、モード入力部３２は、Ｓ１１１Ｌの撮像映像に対して、手動モードとして学習シーンの指定を受け付ける。これにより、評価映像格納部３６に格納される映像が、推論対象被写体１１の映像から学習対象被写体１２の映像に置き換わる。
そして、図１３では推論実行部３７が推論モデル３ｍを用いて推論処理を実行していたが（Ｓ１２１）、図１６では学習実行部４７がＳ１０３の映像とＳ１１３Ｌの映像との両映像をもとに、推論モデル３ｍを学習させる学習処理に置き換わる（Ｓ１２１Ｌ）。

図１７は、第２学習例のフローチャートである。
図１４の第２推論例と比較すると、Ｓ１３１の代わりのＳ１３１Ｌで、撮像部２が撮影環境特性評価チャート１３と学習対象被写体１２との両映像を同時に撮像する。
そして、Ｓ１３３の代わりのＳ１３３Ｌで、Ｓ１３２の自動モードにより環境シーンか学習シーンかを判定する。そして、学習シーンのときには、Ｓ１１３の代わりのＳ１１３Ｌで、格納先選択部３４は、抽出された学習シーンの映像（学習対象被写体１２の映像）を評価映像格納部３６に格納する（Ｓ１１３）。

図１８は、第３学習例のフローチャートである。
図１５の第３推論例と比較すると、評価映像格納部３６への映像格納処理（図１５のＳ１１１Ｂ、Ｓ１１３）の処理対象が推論対象被写体１１から学習対象被写体１２に変更される（図１８のＳ１１１ＢＬ、Ｓ１１３Ｌ）。
Ｓ１２１Ｌの学習処理は、図１６で説明した通りである。

以上説明した本実施形態によれば、以下の各効果が得られる。
（１）推論対象被写体１１の映像に加えて、光源の特性、光電変換の特性などの撮影環境特性を示すデータを推論モデル３ｍの推論処理に用いることで、撮影環境特性に依存しない推論対象被写体１１本来の色を判断でき、高精度の推論処理を実現できる。
（２）学習対象被写体１２の映像に加えて、撮影環境特性を示すデータを推論モデル３ｍの学習処理に用いることで、（１）の高精度の推論処理を実現するための推論モデル３ｍを作成できる。

（３）撮影環境特性を示すデータとして、撮影環境特性評価チャート１３の映像を（１）の推論処理や（２）の学習処理に用いることで、推論モデル３ｍに入力する２つの映像データが同じフォーマットになる。よって、映像データ以外のフォーマットと比べて、推論モデル３ｍに関するソフトウェアおよびハードウェアの規模を削減できる。
（４）第１撮像部２Ａおよび第２撮像部２Ｂを別々に用意する構成（第３推論例、第３学習例）では、撮像元から格納部への映像データの流れが１：１に対応づけられる。よって、シーン情報やモード情報を元にした制御が不要となり、推論部３や学習部４を実装するためのソフトウェアの規模を削減できる。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。

１ 映像処理装置
２ 撮像部
２Ａ 第１撮像部
２Ｂ 第２撮像部
３ 推論部
３ｍ 推論モデル
４ 学習部
１１ 推論対象被写体
１２ 学習対象被写体
１３ 撮影環境特性評価チャート
２１ レンズ
２１ａ 絞り
２２ 色分解フィルタ
２３ 光電変換部
２４ 増幅部
２５ ＡＤ変換部
２６ ＩＦ
２７ ドライバ
２８ ＩＦ
３１ シーン判定部
３２ モード入力部
３３ 格納先指定部
３４ 格納先選択部
３５ 特性映像格納部
３６ 評価映像格納部
３７ 推論実行部
３８ ＣＰＵ
４７ 学習実行部

Claims (14)

1. 推論対象被写体をカラー撮影した評価映像と、前記評価映像の撮影に使用された撮影環境についての特性である撮影環境特性とを推論モデルに入力することで、前記推論対象被写体の機械学習における推論処理を行う推論部を有することを特徴とする
   映像処理装置。
2. 前記推論部は、前記評価映像をカラー映像データに光電変換したときに用いられる色分解フィルタの特性を、前記撮影環境特性として用いることを特徴とする
   請求項１に記載の映像処理装置。
3. 前記推論部は、前記評価映像を撮影したときの光源を用いて、複数の有色領域を有する評価チャートを撮影した特性映像を、前記撮影環境特性として用いることを特徴とする
   請求項１に記載の映像処理装置。
4. 前記推論部は、前記特性映像を撮影する撮像部から映像の入力を受け付けた後、前記評価映像を撮影する前記撮像部から映像の入力を受け付けることを特徴とする
   請求項３に記載の映像処理装置。
5. 前記推論部は、撮像部から入力された映像から、事前に設定された前記評価映像の範囲と、事前に設定された前記特性映像の範囲とをもとに、前記評価映像および前記特性映像を取得することを特徴とする
   請求項３に記載の映像処理装置。
6. 前記推論部は、前記特性映像を撮影する第１撮像部と、前記評価映像を撮影する第２撮像部とから、それぞれ映像の入力を受け付けることを特徴とする
   請求項３に記載の映像処理装置。
7. 学習対象被写体をカラー撮影した評価映像と、前記評価映像の撮影に使用された撮影環境についての特性である撮影環境特性と、学習対象被写体の教師ラベルとをもとに、機械学習における推論モデルの学習処理を行う学習部を有することを特徴とする
   映像処理装置。
8. 前記学習部は、前記評価映像をカラー映像データに光電変換したときに用いられる色分解フィルタの特性を、前記撮影環境特性として用いることを特徴とする
   請求項７に記載の映像処理装置。
9. 前記学習部は、前記評価映像を撮影したときの光源を用いて、複数の有色領域を有する評価チャートを撮影した特性映像を、前記撮影環境特性として用いることを特徴とする
   請求項７に記載の映像処理装置。
10. 前記学習部は、前記特性映像を撮影する撮像部から映像の入力を受け付けた後、前記評価映像を撮影する前記撮像部から映像の入力を受け付けることを特徴とする
    請求項９に記載の映像処理装置。
11. 前記学習部は、撮像部から入力された映像から、事前に設定された前記評価映像の範囲と、事前に設定された前記特性映像の範囲とをもとに、前記評価映像および前記特性映像を取得することを特徴とする
    請求項９に記載の映像処理装置。
12. 前記学習部は、前記特性映像を撮影する第１撮像部と、前記評価映像を撮影する第２撮像部とから、それぞれ映像の入力を受け付けることを特徴とする
    請求項９に記載の映像処理装置。
13. 映像処理装置は、推論部を有しており、
    前記推論部は、推論対象被写体をカラー撮影した評価映像と、前記評価映像の撮影に使用された撮影環境についての特性である撮影環境特性とを推論モデルに入力することで、前記推論対象被写体の機械学習における推論処理を行うことを特徴とする
    映像処理方法。
14. 映像処理装置は、学習部を有しており、
    前記学習部は、学習対象被写体をカラー撮影した評価映像と、前記評価映像の撮影に使用された撮影環境についての特性である撮影環境特性と、学習対象被写体の教師ラベルとをもとに、機械学習における推論モデルの学習処理を行うことを特徴とする
    映像処理方法。

Images