JP2020047170A

JP2020047170A - 画像認識装置、ニューラルネットワークモデル、撮像装置及び画像認識方法

Info

Publication number: JP2020047170A
Application number: JP2018177007A
Authority: JP
Inventors: 剛志森谷; Tsuyoshi Moriya
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2018-09-21
Filing date: 2018-09-21
Publication date: 2020-03-26

Abstract

【課題】認識精度を向上させる画像認識装置などを提供する。【解決手段】画像認識装置は、第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識装置であって、第１のニューラルネットワークモデルの入力値として、認識対象画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、第１のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。このような構成により、ニューラルネットワークモデルを用いて画像を認識するときに、ニューラルネットワークモデルの入力値としてＲＧＢ値と明るさの情報であるＢｖ値とを用いて、認識対象画像の各画素に適切にラベル付けをして認識精度を向上させることができる。【選択図】図１

Description

本発明は画像認識装置、ニューラルネットワークモデル、撮像装置及び画像認識方法に関する。

画像認識の一手法として、対象画像の各画素にラベル付けを行うセマンティック・セグメンテーションが開発されている。
例えば、特許文献１には、ニューラルネットワークモデルを用いる認識装置において、認識対象画像の各画素に「道路」、「障害物」、「空」などの、いわゆる被写体種別（クラス）、意味などのラベルを付与し、更に、認識対象画像が属するシーンを「高速道路」、「トンネル」などと識別することが記載されている。

特開２０１８−０７３３０８号公報

特許文献１に係る認識装置では、ニューラルネットワークモデルの入力データ（入力値）として、ＲＧＢ値（赤、緑、青）、ＨＳ値（色相、彩度）、距離などを用いている。
しかしながら、ニューラルネットワークモデルを用いる認識装置において、このような入力値を用いた場合に、各画素のラベル付けを間違えて、シーン識別も間違えることがあった。例えば、認識対象画像中の屋内の絵画の青色画素に対して「空」とラベル付けをして、認識対象画像が属するシーンを屋外の「公園」などと判定することがあった。

本発明は、このような問題を解決するためになされたもので、認識精度を向上させることができる画像認識装置、ニューラルネットワークモデル、撮像装置及び画像認識方法を提供することを目的とする。

本発明に係る画像認識装置は、第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識装置であって、第１のニューラルネットワークモデルの入力値として、認識対象画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、第１のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

また、本発明に係るニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

また、本発明に係る撮像装置は、画像を撮像する撮像部と、ニューラルネットワークモデルを用いて当該画像の各画素にラベル付けをして、当該画像が属する撮像シーンを判別する画像認識部と、当該撮像シーンに基づいて、当該画像に画像処理を行う画像処理部とを備える撮像装置であって、画像認識部は、ニューラルネットワークモデルの入力値として当該画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

また、本発明に係る画像認識方法は、ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識方法であって、ニューラルネットワークモデルの入力値として、認識対象画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

本発明により、認識精度を向上させる画像認識装置、ニューラルネットワークモデル、撮像装置及び画像認識方法を提供することができる。

実施の形態１に係る画像認識装置を備えた撮像装置１の概略構成を示すブロック図である。実施の形態１に係る画像認識方法の処理手順を示すフローチャートである。実施の形態１に係る画像認識方法のラベル付け結果を示す図である。実施の形態２に係る画像認識装置を備えたパソコン１０１の概略構成を示すブロック図である。

（実施の形態１）
本実施の形態１に係る画像認識装置及び画像認識方法は、ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをするもので、このニューラルネットワークモデルの入力値として、認識対象画像の各画素のＲＧＢ値及び被写体輝度値（Ｂｖ）を用いて、認識精度を向上させるものである。このとき、各画素のＢｖ値は、認識対象画像を撮像したときの露出制御情報、具体的には、シャッター速度、絞り値及び撮影感度（ＩＳＯ感度）を用いて算出する。

以下、図面を参照して本実施の形態１に係る画像認識装置及び画像認識方法について説明する。
なお、本明細書において、「画像」には静止画像及び動画像が含まれるものとする。

また、本実施の形態１に係る画像認識装置及び画像認識方法において、ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする手法、すなわち、セマンティック・セグメンテーションの手法は、認識対象画像の各画素のＲＧＢ値及びＢｖ値をニューラルネットワークモデルの入力値とする点を除いて、特に限定されるものではなく、公知の手法を用いることができる。

また、ニューラルネットワークモデルを用いて認識対象画像が属するシーンを識別する手法も、特に限定されるものではなく、公知の手法を用いることができる。

まず、本実施の形態１に係る画像認識装置の構成について説明する。
本実施の形態１に係る画像認識装置は、撮像装置内に組み込まれて、入力データ生成部及び認識部として機能し、認識対象画像（撮像画像）の各画素にラベル付けをし、更に、撮像画像が属するシーンを識別するものである。

図１は、本実施の形態１に係る画像認識装置（入力データ生成部１４及び画像認識部１５）を備えた撮像装置１の概略構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラ、スマートフォンなどであって、レンズ光学系１１、撮像素子（撮像部）１２、アナログフロントエンド（ＡＦＥ）回路１３、入力データ生成部１４、認識部１５、画像信号処理回路（画像処理部）１６、画像表示部１７、画像記録部１８、ドライバ（Ｄｒｉｖｅｒ）１９、タイミングジェネレータ（ＴＧ）２０、システム制御部２１などを備えている。

レンズ光学系１１は、レンズ（Ｌｅｎｓ）、絞り、シャッター（Ｓｈｕｔｔｅｒ）などを有し、被写体像を撮像素子１２の撮像面に結像する。
撮像素子１２は、ＣＣＤ、ＣＭＯＳなどのイメージセンサであり、被写体像を光電変換して撮像画像の画像信号（ＲＧＢ色信号）を生成して出力する。

ＡＦＥ回路１３は、撮像素子１２が出力し、ＣＤＳ回路（図示せず）が信号処理を施したアナログの画像信号をＡ／Ｄ変換してデジタルの画像信号とし、入力データ生成部１４に出力する。

入力データ生成部１４は、画像信号及び露光制御情報を用いて各画素のＲＧＢ値及びＢｖ値を生成し、認識部１５に出力する。露光制御情報から各画素のＢｖ値を算出する方法については後述する。

認識部１５は、ニューラルネットワークモデルを用いて撮像画像の各画素にラベル付けを行い、更に、撮像画像が属するシーン（撮像シーン）を識別する。このとき、認識部１５は、ニューラルネットワークモデルの入力値として、撮像画像の各画素のＲＧＢ値及びＢｖ値を用いる。

なお、ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値及びＢｖ値を入力値として、当該教師画像の各画素にラベル付けをするように機械学習させたものであって、例えば、パーソナルコンピュータ（パソコン）などにおいて予め生成して、認識部１５に記憶させることができる。
また、このニューラルネットワークモデルは、１つのニューラルネットワークで構成されても良いし、複数のニューラルネットワークが結合されて構成されても良い。

画像信号処理回路１６は、認識部１５が識別した撮像シーンに応じて、ＡＦＥ回路１３が出力した画像信号にエッジ強調処理、ガンマ補正処理、ホワイトバランス（ＷＢ）補正処理、色再現マトリックス（ＣＣマトリックス）処理などの画像処理を施す。

画像表示部１７は画像処理した撮像画像、ラベル付けした撮像画像などを表示し、画像記録部１８は画像処理した撮像画像、ラベル付けした撮像画像などを記録する。
ドライバ１９は、レンズ光学系１１のレンズ、絞り、シャッターを駆動する。
タイミングジェネレータ２０は、撮像素子１２を駆動するためのタイミングを生成する。

システム制御部２１は、撮像装置１を構成する各要素を直接的に又は間接的に制御する。また、システム制御部２１は、各撮像画像の露光制御情報を算出して入力データ生成部１４に出力する。また、システム制御部２１は、認識部１５が識別した撮像シーンに合わせてＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ）条件を設定する。

なお、本実施の形態１に係る撮像装置１では、認識部１５は、例えば、ＧＰＵ（Graphics Processing Unit）である認識部１５が備える演算装置（図示せず）の制御によって、認識部１５にニューラルネットワークモデルを用いて各画素にラベル付けをする画像認識方法を実行させるためのプログラムを実行させることにより実現することができる。

より具体的には、認識部１５は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
上述したプログラムは、様々なタイプの記録メディア、すなわち、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、認識部１５に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって認識部１５に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを認識部１５に供給できる。

次に、本実施の形態１に係る画像認識装置（入力データ生成部１４及び認識部１５）の動作、すなわち、画像認識方法について、撮像装置１の動作と関連付けて説明する。
図２は、本実施の形態１に係る画像認識方法の処理手順を示すフローチャートである。

まず、画像認識方法を実施するための準備として、前述したように、パソコンなど、教師画像の各画素のＲＧＢ値及びＢｖ値を入力値とし、教師画像の各画素にラベル付けをし、更に、教師画像が属するシーンを識別するように学習させたニューラルネットワークモデルを生成し、そのプログラムを記録媒体などを介して認識部１５に記憶させる。

そして、撮像装置１のシャッターが押されて、撮像素子１２が画像を撮像する（ステップＳ１０）と、入力データ生成部１４は、撮像画像のＲＧＢ値と、露光制御情報とを取得する（ステップＳ２０）。

次に、入力データ生成部１４は、撮像画像のＲＧＢ値及び露光制御情報から各画素のＢｖ値を算出する（ステップＳ３０）。
具体的には、入力データ生成部１４は露光制御情報、すなわち、シャッター速度（Ｔｖ）、絞り値（Ａｖ）及び撮影感度（Ｓｖ）をＡＰＥＸ関係式（式１）に入力して、撮像画像全体の被写体輝度値（Ｂｖｆ）を求める。

Ｂｖｆ＝Ａｖ＋Ｔｖ−Ｓｖ・・・（１）

そして、システム制御部２１の目標輝度となる信号レベルＡＥターゲット（ＡＥＴ）と、各画素のＧ値（ｒａｗＧ）とから各画素の輝度差分値（ΔＢｖ）を求める（式２）。

そして、撮像画像全体の被写体輝度値（Ｂｖｆ）に各画素の輝度差分値（ΔＢｖ）を加算して、各画素のＢｖ値を求める（式３）。

Ｂｖ＝Ｂｖｆ＋ΔＢｖ・・・（３）

次に、認識部１５は、各画素のＲＧＢ値及びＢｖ値をニューラルネットワークモデルの入力値とし（ステップＳ４０）、ニューラルネットワークモデルを用いて撮像画像の各画素にラベル付けをし（ステップＳ５０）、撮像画像が属するシーンを識別して出力する（ステップＳ６０）。

図３は、本実施の形態１に係る画像認識方法のラベル付け結果を示す図である。参考のために、比較例の画像認識方法のラベル付け結果も一緒に示している。
図３（ａ）は撮像画像Ａを示し、図３（ｂ）は撮像画像Ａを教師画像としたときのラベル付け内容を示す。

これらの画像では、画像上部に樹木の枝が「空（ｓｋｙ）」を背景として広がり、画像下部に「水面（ｗａｔｅｒ）」が広がっている。また、画像中央部の左右では、皿の形をした「噴水（Ｏｔｈｅｒ）」から「水（Ｇｒａｙ）」が噴き上がり、この２つの噴水の間には、樹木の更に奥に「森林（Ｐｌａｎｔ）」が広がり、森林の上には「建物（Ｂｕｉｌｄｉｎｇ）」の上部が突き出ている。

そして、撮像画像Ａを教師画像の１つとして用いて、比較例では各教師画像の各画素のＲＧＢ値をニューラルネットワークモデルγの入力値として学習させ、本実施の形態１に係る画像認識方法では各教師画像の各画素のＲＧＢ値及びＢｖ値をニューラルネットワークモデルαの入力値として学習させた。

図３（ｃ）は撮像画像Ａの各画素のＲＧＢ値を比較例の学習済みのニューラルネットワークモデルγの入力値としたときのラベル付け結果であり、図３（ｄ）は撮像画像Ａの各画素のＲＧＢ値及びＢｖ値を本実施の形態１に係る学習済みのニューラルネットワークモデルαの入力値としたときのラベル付け結果である。

これらのラベル付け結果を比べると、本実施の形態１に係るラベル付け結果の方が「水面」、「空」について、より適切にラベル付けをしており、撮像画像Ａに対して、より適切に撮像シーンを識別できることがわかる。

次に、画像信号処理回路１６が、識別した撮像シーンに応じて、撮像画像にエッジ強調処理、ガンマ補正処理、ホワイトバランス補正処理、ＣＣマトリックス処理などの画像処理を施す（ステップＳ７０）。また、システム制御部２１が識別した撮像シーンに応じてＡＥの明るさを調整して、より適切に被写体を撮像できるようにする。

最後に、各種画像処理をした撮像画像、ラベル付けした撮像画像などを画像表示部１７に表示し、画像記録部１８に記憶して（ステップＳ８０）、処理を終了する。
なお、本実施の形態１に係る画像認識装置又は画像認識方法では、さまざまな変形、応用などが可能である。

例えば、ニューラルネットワークモデルの入力値として、ＲＧＢ値に代えて、ＨＳ値を用いても良いし、入力チャネル数を各画素のＲＧＢ値及びＢｖ値の４チャネルに各画素の被写体距離値を加えて５チャネルとしても良い。

また、本実施の形態１に係る入力データ生成部１４及び認識部１５は、例えば、カメラとともに自動車に搭載されて、当該自動車の自動運転のためのデータを生成するようにしても良い。

以上、説明したように、本実施の形態１に係る画像認識装置１４、１５は、第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識装置であって、第１のニューラルネットワークモデルの入力値として、認識対象画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、第１のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

このような構成により、ニューラルネットワークモデルを用いて画像を認識するときに、ニューラルネットワークモデルの入力値としてＲＧＢ値と被写体の明るさの情報であるＢｖ値とを用いて、認識対象画像の各画素に適切にラベル付けをして認識精度を向上させることができる。

例えば、ニューラルネットワークモデルの入力値として明るさの情報であるＢｖ値を加えることで、同じ青色の画素であっても、「空」と青色の「看板」とを適切に推定することができる。

また、本実施の形態１に係る画像認識装置１４、１５は、認識対象画像の各画素のＢｖ値が、認識対象画像を撮像したときのシャッター速度、絞り値及び撮影感度に基づいて算出したものであることが好ましい。
このような構成により、認識対象画像である撮像画像の各画素に適切にラベル付けをすることができる。

また、本実施の形態１に係るニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。
このような構成により、認識対象画像の各画素に適切にラベル付けをして認識精度を向上させることができる。

また、本実施の形態１に係る撮像装置１は、画像を撮像する撮像部１２と、ニューラルネットワークモデルを用いて撮像画像の各画素にラベル付けをして、撮像画像が属する撮像シーンを判別する画像認識部１４、１５と、撮像シーンに基づいて、撮像画像に画像処理を行う画像処理部１６とを備える撮像装置であって、画像認識部１４、１５は、ニューラルネットワークモデルの入力値として撮像画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。
このような構成により、撮像画像の各画素に適切にラベル付けをし、撮像画像が属するシーンを適切に識別して、認識精度を向上させることができる。

また、本実施の形態１に係る画像認識方法は、ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識方法であって、ニューラルネットワークモデルの入力値として、各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、教師画像の各画素にラベル付けをするように学習させたものである。

このような構成により、ニューラルネットワークモデルを用いて画像を認識するときに、ニューラルネットワークモデルの入力値としてＲＧＢ値と明るさの情報であるＢｖ値とを用いて、認識対象画像の各画素に適切にラベル付けをして認識精度を向上させることができる。

（実施の形態２）
実施の形態１に係る画像認識装置及び画像認識方法は、ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをするときに、認識対象画像の各画素のＲＧＢ値と、露出制御情報に基づいて算出した各画素のＢｖ値とをニューラルネットワークモデルの入力値とするものであった。

これに対して、本実施の形態２に係る画像認識装置及び画像認識方法は、認識対象画像の各画素のＲＧＢ値及びＢｖ値を入力値とする第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをするときに、各画素のＢｖ値として、認識対象画像の各画素のＲＧＢ値を入力値とする第２のニューラルネットワークモデルを用いて算出した各画素のＢｖ値を用いるものである。

すなわち、本実施の形態２に係る画像認識装置及び画像認識方法は、インターネット上の画像などのように露出制御情報が不明な認識対象画像について、認識対象画像の各画素のＲＧＢ値を入力値とする第２のニューラルネットワークモデルを用いて各画素のＢｖ値を算出し、認識対象画像の各画素のＲＧＢ値と算出した各画素のＢｖ値とを入力値とする第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをするものである。

なお、本実施の形態２に係る第１のニューラルネットワークモデルは実施の形態１に係るニューラルネットワークモデルと同様のもので良く、ここでは、詳細な説明を省略する。

また、第２のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値を入力値とし、当該教師画像の各画素にラベル付けをし、当該教師画像が属するシーンを識別し、当該教師画像全体の被写体輝度値（Ｂｖｆ）を推定するように学習させたものであって、例えば、パソコンなどにおいて予め生成しておくことができる。第２のニューラルネットワークモデルの学習などの方法も、特に限定されるものではなく、公知の手法を用いることができ、詳細な説明を省略する。

本実施の形態２に係る画像認識装置は、例えば、パソコン内に組み込まれて、入力データ生成部及び認識部として機能し、認識対象画像の各画素にラベル付けをし、必要に応じて、認識対象画像が属するシーンも識別するものである。

以下、本実施の形態２に係る画像認識装置の構成及び動作について説明する。
図４は、本実施の形態２に係る画像認識装置（入力データ生成部１１２及び認識部１１３）を備えたパソコン１０１の概略構成を示すブロック図である。

パソコン１０１は、画像入力部１１１、入力データ生成部１１２、認識部１１３、画像表示部１１４、画像記録部１１５などを備えている。
画像入力部１１１は、インターネット上の画像、過去にスキャナなどで取り込んだ画像などを入力する。

入力データ生成部１１２は、入力画像から各画素のＲＧＢ値を取得するとともに、当該各画素のＲＧＢ値を入力値とする第２のニューラルネットワークモデルを用いて、入力画像の各画素にラベル付けをし、入力画像が属するシーンを識別し、入力画像全体の被写体輝度値（Ｂｖｆ）を推定する。

また、入力データ生成部１１２は、入力画像を逆ガンマ補正したときの各画素のＧ値の大きさに応じてＢｖｆ値を増減させた値を各画素のＢｖ値として算出し、出力する。

認識部１１３は、入力画像の各画素のＲＧＢ値と、算出した入力画像の各画素のＢｖ値とを入力値とする第１のニューラルネットワークモデルを用いて、入力画像の各画素にラベル付けをし、必要に応じて入力画像が属するシーンを識別して出力する。前述したように、第１のニューラルネットワークモデルは実施の形態１に係るニューラルネットワークモデルと同様のもので良い。
画像表示部１７はラベル付けした入力画像を表示し、画像記録部１８はラベル付けした入力画像を記録する。

なお、本実施の形態２に係る画像認識装置又は画像認識方法でも、さまざまな変形、応用などが可能である。
例えば、第１のニューラルネットワークモデル及び第２のニューラルネットワークモデルの入力値として、ＲＧＢ値に代えて、ＨＳ値を用いても良いし、各画素のＲＧＢ値（又は、ＨＳ値）、Ｂｖ値に更に各画素の被写体距離値を加えても良い。

以上、説明したように、本実施の形態２に係る画像認識装置は、認識対象画像の各画素のＢｖ値が、認識対象画像の各画素のＲＧＢ値又はＨＳ値を入力値とする第２のニューラルネットワークモデルを用いて推定した認識対象画像全体のＢｖ値から算出したものであり、第２のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値を入力値とし、教師画像全体のＢｖ値を推定するように学習させたものであることが好ましい。

このような構成により、インターネット上の画像、過去にスキャナなどで取り込んだ画像などのような露出制御情報が不明な認識対象画像についても、各画素に適切にラベル付けをして認識精度を向上させることができる。

また、本実施の形態２に係る画像認識装置は、第２のニューラルネットワークモデルが、認識対象画像の各画素にラベル付けをし、認識対象画像のシーンを識別して認識対象画像全体のＢｖ値を推定することが好ましい。

このような構成により、認識対象画像の各画素のＲＧＢ値又はＨＳ値を入力値として認識対象画像の各画素のＢｖ値を直接推定するニューラルネットワークモデルに比べて、より適切に認識対象画像の各画素のＢｖ値を算出することができる。

１撮像装置
１１レンズ光学系
１２撮像素子（撮像部）
１３アナログフロントエンド回路
１４、１１２入力データ生成部
１５、１１３認識部
１６画像信号処理回路（画像処理部）
１７、１１４画像表示部
１８、１１５画像記録部
１９ドライバ
２０タイミングジェネレータ
２１システム制御部
１０１パーソナルコンピュータ（パソコン）
１１１画像入力部

Claims

第１のニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識装置であって、
前記第１のニューラルネットワークモデルの入力値として、前記各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、
前記第１のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、前記教師画像の各画素にラベル付けをするように学習させたものである、
画像認識装置。
前記各画素のＢｖ値は、前記認識対象画像を撮像したときのシャッター速度、絞り値及び撮影感度に基づいて算出したものである
請求項１記載の画像認識装置。
前記各画素のＢｖ値は、前記認識対象画像の各画素のＲＧＢ値又はＨＳ値を入力値とする第２のニューラルネットワークモデルを用いて推定した前記認識対象画像全体のＢｖ値から算出したものであり、
前記第２のニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値を入力値とし、前記教師画像全体のＢｖ値を推定するように学習させたものである、
請求項１記載の画像認識装置。
前記第２のニューラルネットワークモデルは、前記認識対象画像の各画素にラベル付けをし、前記認識対象画像のシーンを識別して前記認識対象画像全体のＢｖ値を推定する
請求項３記載の画像認識装置。
教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、前記教師画像の各画素にラベル付けをするように学習させた、
ニューラルネットワークモデル。
画像を撮像する撮像部と、
ニューラルネットワークモデルを用いて前記画像の各画素にラベル付けをして、前記画像が属する撮像シーンを判別する画像認識部と、
前記撮像シーンに基づいて、前記画像に画像処理を行う画像処理部と
を備える撮像装置であって、
前記画像認識部は、
前記ニューラルネットワークモデルの入力値として前記各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、
前記ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、前記教師画像の各画素にラベル付けをするように学習させたものである、
撮像装置。
ニューラルネットワークモデルを用いて認識対象画像の各画素にラベル付けをする画像認識方法であって、
前記ニューラルネットワークモデルの入力値として、前記各画素のＲＧＢ値又はＨＳ値とＢｖ値とを用い、
前記ニューラルネットワークモデルは、教師画像の各画素のＲＧＢ値又はＨＳ値とＢｖ値とを入力値とし、前記教師画像の各画素にラベル付けをするように学習させたものである、
画像認識方法。