JP2018124814A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】通常の撮影画像を用いて簡易かつ客観的な色評価が可能な画像処理装置を提供する。【解決手段】画像処理装置（１０）は、画像を取得する取得手段（１１）と、画像の画素を、複数のグループの中から、可視光および近赤外光に関する画素の色情報に基づいて決定される一つのグループに分類する分類手段（１２）と、分類手段による分類結果を出力する出力手段（１３）とを有する。【選択図】図１

Description

本発明は、色情報に基づいて撮影画像の画素を分類する画像処理装置に関する。

農業従事者は、水稲生育診断やその施肥管理を行う際に、稲の色（葉色）を観察して育成度合いを判定する必要がある。例えば、農業従事者は、植物の葉色と色見本とを比較して稲の色を判定する。このような色見本は、葉色カラースケールと呼ばれ、一般的には７色であり、明るい緑から暗い緑へ順にそれぞれ色番号１〜７が割り振られている。このように農業従事者は、水田などで稲の色と葉色カラースケールの色とを見比べることにより稲の生育状況を判定し、施肥の方法を決定する。しかし、この方法では、稲の生育状況を判定する際の個人差が大きく、客観的な評価が難しい。

そこで特許文献１には、マルチスペクトルカメラを用いて撮影した画像に基づいてスペクトルを解析し、水稲の生育診断を行う方法が開示されている。

特開２００５−２０１６９３号公報

しかしながら、特許文献１の方法では、マルチスペクトルカメラや様々な照明を用いるため、装置が大規模になる。また特許文献１の方法では、照明を用いるために撮影範囲が限定され、広範囲な圃場などの分析には適さない。

そこで本発明は、通常の撮影画像を用いて簡易かつ客観的な色評価が可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、画像を取得する取得手段と、前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類する分類手段と、前記分類手段による分類結果を出力する出力手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、画像を取得するステップと、前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類するステップと、分類結果を出力するステップとを有する。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、一般的なデジタルカメラで取得した画像から、自動的かつ客観的に植物の生育情報に関する情報を取得することが可能となる。

各実施例における画像処理装置のブロック図である。 各実施例における画像処理方法のフローチャートである。 実施例１におけるニューラルネットワークの説明図である。 実施例１におけるニューラルネットワークを学習する際に用いられる葉色スケールの説明図である。 実施例２、３におけるニューラルネットワークの説明図である。 実施例２、３におけるニューラルネットワークを学習する際に用いられる葉色スケールの説明図である。 実施例３におけるＮＤＶＩを用いた特定色領域の抽出結果および画素ごとの分類結果の一例を示す図である。 実施例４における画像処理システムの構成図である。 実施例５における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、本発明の実施例１における画像処理装置および画像処理方法について説明する。図１は、本実施例における画像処理装置１０のブロック図である。図２は、本実施例における画像処理方法のフローチャートである。図２の各ステップは、画像処理装置１０の各部により実行される。

図１に示されるように、画像処理装置１０は、画像取得部（取得手段）１１、画素分類処理部（分類手段）１２、および、分類結果出力部（出力手段）１３を備えて構成される。図２に示されるように、まずステップＳ１において、画像取得部１１は、評価対象の画像（撮影画像）を取得（入力）する。本実施例において、画像取得部１１は、可視光に関する色情報（Ｒ、Ｇ、Ｂ）および近赤外光に関する色情報（ＩＲ）を有する画素（画素データ）を含む画像を取得する。このような画像は、可視光に関する色情報（Ｒ、Ｇ、Ｂ）および近赤外光に関する色情報（ＩＲ）を有する画素データを取得可能な撮像素子を備えたデジタルカメラ（撮像装置）を用いて取得することができる。または、可視光に関する色情報（Ｒ、Ｇ、Ｂ）を有する画素データを取得可能な撮像素子を備えたデジタルカメラと、近赤外光に関する色情報（ＩＲ）を有する画素データを取得可能な赤外線カメラとを用いて取得してもよい。

続いてステップＳ２において、画素分類処理部１２は、画像取得部１１により取得された画素を、複数のグループ（色パターン）の中から、可視光（Ｒ、Ｇ、Ｂ）および近赤外光（ＩＲ）に関する画素の色情報に基づいて決定される一つのグループに分類する。

画素分類処理部１２は、ステップＳ２の画素分類処理の際に、葉色スケール（色見本）と学習済みのニューラルネットワークＮＮとを用いる。本実施例において、画素分類処理部１２は、複数の学習済みのニューラルネットワークＮＮに関するデータの中から、撮影時刻などの撮影条件に対応するニューラルネットワークＮＮに関するデータを選択して用いることができる。

ここで、図３を参照して、本実施例におけるニューラルネットワークＮＮの一例について説明する。図３は、本実施例におけるニューラルネットワークＮＮの説明図である。ニューラルネットワークＮＮを学習する際において、入力は、画像中における任意の画素データの色情報である。本実施例において、画素データは、可視光に関する色情報（Ｒ、Ｇ、Ｂ）および近赤外光に関する色情報（ＩＲ）を含む。このため図３において、最も左側に示される入力層の値「４」は、Ｒ、Ｇ、Ｂ、ＩＲのそれぞれの色に関する値を示している。また、図３の最も右側に示される出力層の値「７」は、色見本である葉色スケールの葉色番号１〜７のそれぞれに対応する。

ここで、図４を参照して、本実施例におけるニューラルネットワークＮＮを学習する際に用いられる葉色スケール（色見本）について説明する。図４は、葉色スケールの一例である。一般的な葉色スケールの概形は、図４に示されるように、葉色番号１〜７と各番号に対応する色見本とが配置されている。この葉色スケールは、植物の葉に関するＲ、Ｇ、Ｂ、および、ＩＲのそれぞれの反射特性に基づいて作成される。

図３に示されるように、本実施例のニューラルネットワークＮＮは、入力層、３つの中間層、および、出力層を備えて構成されている。各層のユニット数はそれぞれ４、１００、５０、２０、７である。以下、ニューラルネットワークＮＮを用いて画素を分類する方法について説明する。まず、Ｒ、Ｇ、Ｂ、ＩＲの４つの値と、４つの値の係数（重み係数、係数データ）α１_Ｎ１、α２_Ｎ１、α３_Ｎ１、α４_Ｎ１（Ｎ１＝１〜１００）とを用いて、Ａ_Ｎ１＝α１_Ｎ１Ｒ＋α２_Ｎ１Ｇ＋α３_Ｎ１Ｂ＋α４_Ｎ１ＩＲを演算する。このとき、係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１、α４_Ｎ１のそれぞれを変化させながら同様の演算を繰り返す。本実施例において、係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１、α４_Ｎ１（Ｎ１＝１〜１００）の組を１００種類用意し、１００種類の係数の組のそれぞれに関して値Ａ_Ｎ１を算出する。入力層の右隣に示される第１の中間層の値「１００」は、前述のように係数の組を変更しながら入力値（Ｒ、Ｇ、Ｂ、ＩＲ）と各係数とを用いて演算を行うことにより、１００種類の値を算出することを示している。

第１の中間層の右隣に示される第２の中間層の値「５０」は、第１の中間層の１００種類の値Ａ_Ｎ１を用いて、５０種類の値Ｂ_Ｎ２を算出することを示している。第１の中間層の１００種類の値Ａ_Ｎ１（Ｎ１＝１〜１００）と、値Ａ_Ｎ１の係数（重み係数、係数データ）β１_Ｎ２、β２_Ｎ２、…、β１００_Ｎ２（Ｎ２＝１〜５０）とを用いて、Ｂ_Ｎ２＝β１_Ｎ２Ａ_１＋β２_Ｎ２Ａ_２＋、…、＋β１００_Ｎ２Ａ_１００を演算する。

第２の中間層の右隣に示される第３の中間層の値「２０」は、第２の中間層の５０種類の値Ｂ_Ｎ２を用いて、２０種類の値Ｃ_Ｎ３を算出することを示している。第２の中間層の５０種類の値Ｂ_Ｎ２（Ｎ２＝１〜５０）と、値Ｂ_Ｎ２の係数（重み係数、係数データ）γ１_Ｎ３、γ２_Ｎ３、…、γ５０_Ｎ３（Ｎ３＝１〜２０）とを用いて、Ｃ_Ｎ３＝γ１_Ｎ３Ｂ_１＋γ２_Ｎ３Ｂ_２＋、…、＋γ５０_Ｎ３Ｂ_５０を演算する。

図３において、最も右側に示される出力層の値「７」は、第３の中間層の２０種類の値Ｃ_Ｎ３を用いて、７種類の値Ｄ_Ｎ４を算出することを示している。第３の中間層の２０種類の値Ｃ_Ｎ３（Ｎ３＝１〜２０）と、値Ｃ_Ｎ３の係数（重み係数、係数データ）δ１_Ｎ４、δ２_Ｎ４、…、δ２０_Ｎ４（Ｎ４＝１〜７）とを用いて、Ｄ_Ｎ４＝δ１_Ｎ３Ｃ_１＋δ２_Ｎ４Ｃ_２＋、…、＋δ２０_Ｎ４Ｃ_７を演算する。このようなニューラルネットワーク処理の結果、７種類の値Ｄ_１〜Ｄ_７が得られる。値Ｄ_１〜Ｄ_７は、それぞれ、図３を参照して説明した葉色スケールの葉色番号１〜７に対応する。

本実施例において、ニューラルネットワークＮＮの学習は、前述の各係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１、α４_Ｎ１、β１_Ｎ２、β２_Ｎ２、…、β１００_Ｎ２、γ１_Ｎ３、γ２_Ｎ３、…、γ５０_Ｎ３、δ１_Ｎ４、δ２_Ｎ４、…、δ２０_Ｎ４の値を決定することである。具体的には、任意のＲ、Ｇ、Ｂ、ＩＲの値の組で表される画素信号（画素データ）を入力して、色見本である葉色スケールの葉色番号１〜７のうち、入力した画素信号と合致する色に対応する葉色番号が出力されるように、各係数を学習（決定）する。

本実施例において、ニューラルネットワークＮＮの活性化関数としてＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：正規化線形関数）が用いられるが、これに限定されるものではない。活性化関数として、例えば、Ｓｉｇｍｏｉｄやｔａｎｈなどの関数を用いてもよい。ニューラルネットワークＮＮの学習の際には、Ｒ、Ｇ、Ｂ、ＩＲの色情報を有する画素データを取得可能なデジタルカメラ（撮像装置）で撮影した葉色スケールの画像を用いることができる。または、学習に用いる葉色スケール画像を、市販のデジタルカメラ（Ｒ、Ｇ、Ｂの色情報を有する画素データを取得可能なデジタルカメラ）で撮影した画像と、赤外線カメラで取得したＩＲの色情報を含む画像とを用いて取得してもよい。このように、ニューラルネットワークＮＮは、単一のデジタルカメラを用いて取得された葉色スケール画像のみに基づいて、または、複数種類のデジタルカメラを用いて撮影された葉色スケール画像に基づいて学習することが可能である。

屋外環境で使用する場合、時刻によって太陽の高度変化に伴い照明条件が大きく変化する。このため、自動判定を行う時間帯ごとにニューラルネットワークＮＮの学習を行うことが好ましい。自動分類実行の際には時刻情報に基づいて、複数の学習済みのニューラルネットワークＮＮから所定の時刻に学習されたニューラルネットワークＮＮを選択して使用することで、より高精度の自動分類が可能となる。撮影時刻の特定は、リアルタイムで行うことができ、または、記憶されたＥｘｉｆ情報を用いてもよい。また、画素数が非常に多いデジタルカメラを用いると、画素分類処理に時間がかかる場合がある。このような場合には、画像の縮小処理を施してから画素分類処理を行ってもよい。

続いて、図２のステップＳ３において、分類結果出力部１３は、画素分類処理部１２による分類結果を出力する。分類結果は、様々な方法で出力することが可能である。葉色番号１〜７に割り当てられた画素の数をヒストグラムとして詳細に出力すること、全体に占める割合が最大の葉色番号を出力すること、または、平均値を出力するように構成してもよい。出力結果（分類結果）は画像のヘッダ領域などに付加することや、ファイルに出力してもよい。

本実施例において、分類手段（画素分類処理部１２）は、取得手段（画像取得部１１）により取得した画像の画素を、複数のグループ（葉色番号１〜７）の中から、可視光および近赤外光に関する画素の色情報に基づいて決定される一つのグループに分類する。好ましくは、分類手段は、複数のグループに対応する色見本（葉色スケール）に基づいて学習されたニューラルネットワークを用いて、画素を分類する。ただし本実施例において、ニューラルネットワーク以外の機械学習を用いて画素を分類してもよい。本実施例において、分類手段（記憶手段）は、学習により決定された係数データを記憶しておき、その係数データを読み出して、撮影画像の各画素に関してニューラルネットワークに基づく演算を行うことにより、分類結果が出力される。

ただし、本実施例はこれに限定されるものではなく、画像処理装置１０（記憶手段）は、学習により決定された係数データを用いたニューラルネットワークに基づく演算を全ての画素データに対して行った結果を記憶しておいてもよい。すなわち記憶手段は、全ての画素の色情報（Ｒ、Ｇ、Ｂ、ＩＲ）の組み合わせと、各画素に対応する一つのグループとの関係を示すテーブルを記憶してもよい。このとき分類手段は、記憶手段に記憶されたテーブルを参照して、各画素に対応する一つのグループを決定する。

好ましくは、画像処理装置１０は、色見本に基づいて学習されたニューラルネットワークのデータを記憶する記憶手段（不図示）を有する。このとき分類手段は、記憶手段に記憶されたデータを用いて画素を分類する。より好ましくは、記憶手段は、データとして、ニューラルネットワークの演算の際に用いられる係数データ（重み係数）を記憶している。また好ましくは、分類手段は、取得手段により取得された複数の画素の一部のみを分類する。

好ましくは、分類手段は、ＪＰＥＧなどの現像処理後（デモザイク処理後）の画像における画素（画素データ）を分類する。ただし本実施例は、これに限定されるものではなく、デモザイク処理前のＲＡＷデータ（画像データ）における画素（画素データ）を分類してもよい。また好ましくは、分類手段は、取得手段により取得された画素ごとに分類を行う。また好ましくは、出力手段（分類結果出力部１３）は、分類結果として、画像中の画素に関するヒストグラムを出力する。

次に、本発明の実施例２における画像処理方法について説明する。本実施例は、実施例１と同様に水稲の生育に関する画素分類方法を例として説明する。本実施例は、図２のステップＳ２（画素分類ステップ）において、葉色スケールの葉色番号に対応する色だけでなく、背景に対応する色を加えて画素の分類を行う点で、実施例１とは異なる。その他の構成や方法は実施例１と同様であるため、それらの説明は省略する。

本実施例における背景とは、植物の緑色以外の色を有する領域である。本実施例では、撮影時に画像中に含まれることが多い地面と空の２つを背景とし、葉色番号１〜７に加えて地面の背景番号８および空の背景番号９の合計９つの色パターンに基づく分類を行う（各画素を９つのグループのうち１つのグループに分類する）。

ここで、図５を参照して、本実施例におけるニューラルネットワークＮＮの一例について説明する。図５は、本実施例におけるニューラルネットワークＮＮの説明図である。図５に示されるように、本実施例のニューラルネットワークＮＮは、入力層、３つの中間層、および、出力層を備えて構成されている。各層のユニット数はそれぞれ４、１００、５０、２０、９である。ニューラルネットワークＮＮを学習する際において、入力は、画像中における任意の画素データの色情報である。本実施例において、画素データは、可視光に関する色情報（Ｒ、Ｇ、Ｂ）および近赤外光に関する色情報（ＩＲ）を含む。このため図５において、最も左側に示される入力層の値「４」は、Ｒ、Ｇ、Ｂ、ＩＲのそれぞれの色に関する値を示している。これらの点は、図３を参照して説明した実施例１と同様である。

本実施例において、図５の最も右側に示される出力層の値「９」は、色見本である葉色スケールの葉色番号１〜９のそれぞれに対応する。すなわち、本実施例のニューラルネットワーク処理により、葉色スケールの葉色番号１〜７および背景番号８、９に対応する値のいずれかが出力される。

ここで、図６を参照して、本実施例におけるニューラルネットワークＮＮを学習する際に用いられる葉色スケール（色見本）について説明する。図６は、葉色スケールの一例である。一般的な葉色スケールの概形は、図６に示されるように、葉色番号１〜７、地面の背景番号８、および、空の背景番号９と、各番号に対応する色見本とが配置されている。

このように本実施例において、分類手段（画素分類処理部１２）は、特定色領域（画素）を、植物の葉に対応する色情報と非植物に対応する色情報とを含む複数のグループ（葉色番号１〜９）のうち一つのグループ（葉色番号１〜９の一つ）に分類する。本実施例によれば、複数種類の背景領域を追加してニューラルネットワークＮＮで学習しておくことにより、図２のステップＳ２にて背景を取り除いて葉色に対応する領域（画素）のみを正確に分類することが可能となる。

次に、本発明の実施例３における画像処理方法について説明する。本実施例は、実施例１と同様に水稲の生育に関する画素分類方法を例として説明する。本実施例は、図２のステップＳ２（画素分類ステップ）において、予め植物が存在する領域を特定色領域（所定の色情報を有する画素）として抽出てから、抽出した領域（画素）に対してニューラルネットワークＮＮを用いた処理を行う。このように特定色領域の抽出処理を行った後に画素分類処理を行うことにより、画像処理（画素分類処理）の高速化を図ることができる。本実施例では、特定色領域を抽出するため、近赤外光に関する色情報（ＩＲ）を有する画像を用いる。その他の構成や方法は実施例１と同様であるため、それらの説明は省略する。

ＩＲ画素からＩＲ画像を取得することが可能である場合、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ：正規化植生指数）と呼ばれる指標を用いることができる。一般的に、ＮＤＶＩは、植物の活性が大きい領域ほど高い値を示すことが知られている。ＮＤＶＩは、以下の式（１）のように定義される。

ＮＤＶＩ＝（ＩＲ−Ｒ）／（ＩＲ＋Ｒ） … （１）
式（１）において、ＩＲ、Ｒは画像中の任意の位置におけるＩＲ、Ｒチャンネルの反射率である。ただし、実際には反射率の取得が困難な場合も多いため、反射率に代えて画素値そのものを用いてもよい。

式（１）を画素ごとに適用することにより、ＮＤＶＩマップを作成することができる。図７は、ＮＤＶＩマップ（ＮＤＶＩを用いた特定色領域の抽出結果）の一例を示す図である。本実施例では、図２のステップＳ２において、ＮＤＶＩ≧０の画素を特定色領域として抽出する。

本実施例では、図２のステップＳ２において、図５および図６を参照して説明した実施例２と同様に、葉色スケールの葉色番号１〜７に対応する色だけでなく背景番号８、９に対応する色を加えて分類を行う。本実施例における背景とは、ＮＤＶＩ＜０の領域であるが、これに限定されるものではない。

ここで、図７を参照して、本実施例における特定色領域の抽出結果および画素分類結果について説明する。図７は、特定色領域の抽出結果および画素ごとの分類結果の一例を示す図である。図７（ａ）は、各画素位置において、ＮＤＶＩ≧０である領域（特定色領域）を示している。図７（ｂ）は、図７（ａ）に示される特定色領域をより詳細に分類した結果である。図７の「−１」は非特定色領域を示し、特定色領域は「１」〜「９」で分類されている。なお、図７において「０」は使用されていない。

本実施例は、実施例２と同様に、撮影時に画像中に含まれることが多い地面と空の２つを背景とし、葉色番号１〜７に加えて地面の背景番号８および空の背景番号９の合計９つの色パターンに基づく分類を行う。このため本実施例では、図６の葉色スケールに基づいて学習された図５のニューラルネットワークＮＮを用いて、画素分類処理を行う。本実施例において、好ましくは、分類手段は、所定の色情報を有する画素（特定色領域）として、ＮＤＶＩが撮影条件（撮影時刻など）に基づいて決定される所定の閾値よりも大きい画素を抽出する。

次に、図８を参照して、本発明の実施例４における画像処理システム（画像処理装置）について説明する。図８は、本実施例における画像処理システム８０の構成図である。画像処理システム８０は、画像処理装置８１（情報処理装置としてのハードウエア）、表示装置８２（モニタ）、および、入力装置８３（キーボードなどの入力手段）を備えて構成される。本実施例は、実施例１〜３のいずれかの画像処理方法を画像処理システム８０（パソコンのソフトウエア）上で動作させる場合について説明する。本実施例の画像処理装置８１は、図１を参照して説明した画像処理装置１０の画像取得部１１、画素分類処理部１２、および、分類結果出力部１３の各機能を有する。

まず、実施例１〜３のいずれかの画像処理方法を画像処理装置８１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置８１（パソコン）にインストールし、画像処理装置８１の記憶部（不図示）に格納する。また、ニューラルネットワークＮＮに関するデータを、画像処理装置８１に設けられた記憶部の所定のフォルダに格納する。ニューラルネットワークＮＮに関するデータとは、ニューラルネットワークＮＮの構造に関するデータ（構造データ）や重み係数に関するデータ（係数データ）を含む。ソフトウエアおよびニューラルネットワークＮＮに関するデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア８４（記憶媒体）からインストールすることができる。または、ソフトウエアおよびニューラルネットワークＮＮに関するデータを、ネットワーク（インターネット）を介してダウンロードしてインストールしてもよい。

次に、画像処理装置８１は、インストールが完了したソフトウエアを起動し、撮影画像に対して画像処理を行う。画像処理装置８１は、様々な撮影時の条件（撮影条件）に関する情報をＥｘｉｆ情報などから自動的に取得して、画像処理を行う。ソフトウエア上において、画像の所定の対象領域のみに画像処理を行うなどの領域選択や、特定色領域の抽出方法、ニューラルネットワークＮＮの選択などの種々な設定を行うことができるように構成してもよい。ユーザは、表示装置８２上で画像処理後の画像を確認しつつ、種々の設定の変更ができることが好ましい。画像処理の具体的説明については、実施例１〜３にて詳述したため省略する。

次に、図９を参照して、本発明の実施例５における撮像装置の概略構成について説明する。図９は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、実施例１〜３のいずれかの画像処理方法を実行可能な画像処理部１０４（画像処理装置）を備えている。

撮像装置１００において、被写体（不図示）は、絞り１０１ａ（または遮光部材）およびフォーカスレンズ１０１ｂを含む撮像光学系１０１（光学系）を介して撮像素子１０２に結像する。本実施例において、撮像光学系１０１は、撮像素子１０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置にも適用可能である。

絞り値（Ｆ値）は、絞り１０１ａまたは遮光部材により決定される。撮像素子１０２は、撮像光学系１０１を介して形成された被写体像（光学像）を光電変換して画像データを出力する。撮像素子１０２から出力された画像データ（電気信号）は、Ａ／Ｄ変換器１０３に出力される。Ａ／Ｄ変換器１０３は、撮像素子１０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部１０４に出力する。なお、撮像素子１０２およびＡ／Ｄ変換器１０３により、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。

画像処理部１０４は、Ａ／Ｄ変換器１０３から出力されたデジタル信号（撮像素子１０２から出力された画像データに基づいて生成された画像）に対して、状態検知部１０７および記憶部１０８の各情報を用いて所定の画像処理を行う。画像処理部１０４は、画像取得部（取得手段）１０４ａ、画素分類処理部（分類手段）１０４ｂ、および、分類結果出力部（出力手段）１０４ｃを有する。

画像取得部１０４ａは、画像（撮像光学系１０１を介して形成された画像データに基づく画像、すなわち撮影画像）を取得する。画素分類処理部１０４ｃは、画像取得部１０４ａにより取得した画素を、複数のグループ（色パターン）の中から画素の色情報に応じて決定される一つのグループ（色パターン）に分類する。分類結果出力部１０４ｃは、画素分類処理部１０４ｂによる分類結果を出力する。

記憶部１０８（記憶手段）は、画像処理部１０４が画像処理（画素分類処理）を行う際に用いるニューラルネットワークＮＮに関するデータを記憶している。ニューラルネットワークＮＮに関するデータとは、ニューラルネットワークＮＮの構造に関するデータ（構造データ）や重み係数に関するデータ（係数データ）を含む。ただし本実施例において、ニューラルネットワークＮＮに関するデータを、画像処理部１０４の外部に設けられた記憶部１０８に代えて、画像処理部１０４の内部メモリに記憶させてもよい。記憶部１０８は、ニューラルネットワークに関するデータとして、撮影条件に応じて適用される複数のデータを記憶してもよい。例えば、第１の撮影条件で取得された画像に関して、第１の構造データと第１の係数データとを含む第１のデータを用い、第２の撮影条件で取得された画像に関して、第２の構造データと第２の係数データと含む第２のデータを用いて、画素分類処理を行う。

状態検知部１０７は、撮影時の撮影条件（撮影時刻、焦点距離、Ｆ値、撮影距離、および、像高など）に関する情報を取得する。システムコントローラ１１０は、撮影条件に関する情報を画像（撮影画像）に付加し、記憶部１０８または画像記録媒体１０９に記憶させる。システムコントローラ１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、および、画像記録媒体１０９を制御する。撮像光学系制御部１０６は、撮像光学系１０１の動作を制御する。状態検知部１０７は、撮像光学系制御部１０６により得られた情報から撮像光学系１０１の状態を検知する。撮影後に画像記録媒体１０９から所望の画像が選択されると、画像処理部１０４はその画像に対して画像処理（画素分類処理）を行うことができる。

画像処理部１０４は、状態検知部１０７により取得した撮影時刻などの撮影条件に対応するニューラルネットワークＮＮに関するデータを取得する。そして画像処理部１０４は、記憶部１０８から画像データおよびニューラルネットワークＮＮに関するデータを読み出し、実施例１〜３のいずれかの画素分類処理を実行する。画像処理部１０４から出力される分類結果は、表示部１０５に表示される。なお、画像処理部１０４は、撮影画像のうち一部の画素にのみ画素分類処理を行うなど、種々の設定を行うことが可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、通常の撮影画像を用いて簡易かつ客観的な色評価が可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。特に各実施例では、可視光に関する色情報（Ｒ、Ｇ、Ｂ）に加えて近赤外光に関する色情報（ＩＲ）を含む色見本を用いて学習したニューラルネットワークを用いて画素を分類することにより、高精度な分類が可能となる。より具体的には、各実施例によれば、植物の緑をより正確に特定することができる（例えば、植物の緑とプラスチックの緑とを区別することができる）。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、複数の実施例のそれぞれの少なくとも一部を組み合わせもよい。

１０ 画像処理装置
１１ 画像取得部（取得手段）
１２ 画素分類処理部（分類手段）
１３ 分類結果出力部（出力手段）

Claims (14)

1. 画像を取得する取得手段と、
   前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類する分類手段と、
   前記分類手段による分類結果を出力する出力手段と、を有することを特徴とする画像処理装置。
2. 前記分類手段は、前記複数のグループに対応する色見本に基づいて学習されたニューラルネットワークを用いて、前記画素を分類することを特徴とする請求項１に記載の画像処理装置。
3. 前記色見本は、植物の葉に関するＲ、Ｇ、Ｂ、および、ＩＲのそれぞれの反射特性に基づいて作成されることを特徴とする請求項２に記載の画像処理装置。
4. 前記色見本に基づいて学習された前記ニューラルネットワークのデータを記憶する記憶手段を更に有し、
   前記分類手段は、前記記憶手段に記憶された前記データを用いて前記画素を分類することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記記憶手段は、前記データとして、前記ニューラルネットワークの演算の際に用いられる係数データを記憶していることを特徴とする請求項４に記載の画像処理装置。
6. 前記分類手段は、前記画像における複数の画素の一部のみを分類することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、前記画像として、Ｒ、Ｇ、Ｂ、および、ＩＲに関する色情報を含む画像を取得し、
   前記分類手段は、
   ＮＤＶＩが撮影条件に基づいて決定される所定の閾値よりも大きい画素を抽出し、
   抽出した前記画素を、前記複数のグループの中から該画素の色情報に応じて決定される一つのグループに分類することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記分類手段は、前記画素を、植物の葉に対応する色情報と非植物に対応する色情報とを含む前記複数のグループのうち前記一つのグループに分類することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記分類手段は、前記画像の前記画素ごとに分類を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記出力手段は、前記分類結果として、前記画像の前記画素に関するヒストグラムを出力することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
    前記画像データに基づく画像を取得する取得手段と、
    前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類する分類手段と、
    前記分類手段による分類結果を出力する出力手段と、を有することを特徴とする撮像装置。
12. 画像を取得するステップと、
    前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類するステップと、
    分類結果を出力するステップと、を有することを特徴とする画像処理方法。
13. 画像を取得するステップと、
    前記画像の画素を、複数のグループの中から、可視光および近赤外光に関する該画素の色情報に基づいて決定される一つのグループに分類するステップと、
    分類結果を出力するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
14. 請求項１３に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。