JP2018004645A - 熟度判定装置および熟度判定方法 - Google Patents

Abstract

【課題】農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置を提供する。【解決手段】熟度判定装置１００は、１次元または２次元に配列された複数の画素を有し、青果物Ｆの少なくとも一部を撮像して画像を取得する撮像装置２００であって、複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素を含み、第１波長帯域は、青果物からの反射光の強度が熟度に応じて変化する波長帯域である、撮像装置と、複数の第１画素から得られる画素値に基づいて、予め決められた基準値を基準として第１波長帯域の光の強度分布の面積率を求め、面積率に応じて熟度判定情報を生成するように構成された信号処理回路３００と、を備える。【選択図】図２１

Description

本発明は、熟度判定装置および熟度判定方法に関する。

青果物の収穫対象の経済的価値は、収穫対象に含まれる特定の成分の含有量によって左右される。例えば、パームヤシの房（パーム果実）は、多数（例えば１０００〜３０００個）の果実を有し、それぞれの果実は、果皮（果肉とも呼ばれる。）と、中果皮と、種子（「パーム核」とも呼ばれる。）とを含む。収穫対象がパームヤシの房である場合、果実の中果皮やパーム核に含まれる油の含有量が重要視される。中果皮に含まれる油は一般的に、「パーム油」と呼ばれ、パーム核に含まれる油は一般的に、「パーム核油」と呼ばれる。パームヤシの果実に含まれる油の含有量は、パームヤシの房（具体的には、果実）の完熟度に応じて異なることが知られている。具体的に説明すると、完熟した果実の油の含有率は、未完熟（未熟）、やや未完熟（やや未熟）または過熟の果実の油の含有率よりも高いことが知られている。例えば、完熟時の油の含有率は、未完熟時のそれよりも３倍程度高い。

例えばマレーシアでは、マレーシアパームオイル委員会（ＭＰＯＢ）が果実の完熟度に関するガイドラインを策定している。パームヤシの農場で働く農作業者は現在、そのガイドラインに従って果実の採取の可否を主観的に判断している。上述したように、パームヤシの房の熟度は、油の収穫量に大きく影響する。そのため、農作業者の主観による採取の誤判断が、その収穫量に大きく影響を及ぼし得る。実際に、農作業者が完熟とやや未完熟とを正確に区別して判定することは難しく、これが油の収穫量を低下させる一因となっている。

そこで、被検体（収穫対象）であるパームヤシの房を破壊せずに、つまり非破壊で、近赤外光を利用して様々な特性を測定する測定装置が開発されている。そのような測定装置は、被検体に所定の波長の近赤外光を照射し、被検体からの光の反射率から測定すべき特性を測定する。

特許文献１は、ハイパースペクトルイメージング技術を用いてパームヤシの果実の完熟度を判別するシステムを開示している。また、特許文献１は、近赤外光の波長帯域において、果実の完熟度に応じて反射率が変化する特性を開示している。このシステムでは、収穫されたパームヤシの房をスペクトルカメラで撮像してサンプル画像が取得され、果実の完熟度に応じて反射率が変化する特性に基づいてサンプル画像を解析することでパームヤシの果実の完熟度が判別される。

特許文献２は、近赤外光波長フィルタを通過した光に基づく光電変換素子からの出力を用いて糖度推定式により青果物の糖度を算出する非破壊糖度計を開示している。特許文献３は、近赤外光の二つの特定波長成分の強度比に基づいて青果物の熟度を判定する非破壊測定装置を開示している。

国際公開第２０１２／０７４３７２号 特開２０００−３５６５９１号公報 特開平８−１２２２５０号公報

上述したように、収穫対象の経済的価値は、収穫対象に含まれる特定の成分の含有量によって左右される。このため、収穫対象に含まれる特定の成分の含有量が多いタイミングで収穫対象を収穫することが望ましい。例えば、収穫対象がパームヤシの房である場合、パーム油やパーム核油の含有量が多いタイミングで収穫対象を収穫することが望まれる。

しかし、特許文献１に開示されたシステムは屋内用として開発され、屋外で利用されることについて十分に考慮されていない。そのため、システムの規模は大きく、特に、ハイパースペクトルカメラは高価であるので、システムのコストも必然と増大する。また、高温多湿の環境下ではハイパースペクトルカメラの耐久性は決して高いとは言えない。そのため、例えば、パームヤシの房の適した収穫タイミングを判定するために、パームヤシ農園においてハイパースペクトルカメラを用いて木に成るパームヤシの房を撮影し、その場で熟度を判定することは非常に困難であると言える。仮に、ハイパースペクトルカメラを用いてその場で収穫タイミングを判定し、経済的価値の高いパームヤシの房を収穫することができたとする。しかしながら、大規模なシステムによって農作業者の負担が増えて収穫作業全体の効率が低下してしまう。その結果、生産者は、収穫対象物の経済的価値が向上するという恩恵を十分に享受することができなくなる。

本発明は、上記課題を解決するためになされたものであって、農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置および熟度判定方法を提供する。

本発明の実施形態による熟度判定装置は、青果物の熟度を判定する熟度判定装置であって、１次元または２次元に配列された複数の画素を有し、前記青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、前記複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域である、撮像装置と、前記複数の第１画素から得られる画素値に基づいて、予め決められた基準値を基準として前記第１波長帯域の光の強度分布の面積率を求め、前記面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、を備える。

ある実施形態において、前記第１波長帯域は、近赤外光の波長帯域であってもよい。

ある実施形態において、前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域であってもよい。

ある実施形態において、前記信号処理回路は、前記複数の第１画素の中から第１閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１の比率を求め、前記第１の比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記複数の画素は、各々が第２波長帯域の光を選択的に透過させる第２光透過フィルタを有する複数の第２画素をさらに含み、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、前記信号処理回路は、前記複数の第１および第２画素から得られる画素値に基づいて前記熟度判定情報を生成してもよい。

ある実施形態において、前記第２波長帯域は、赤色の光の波長帯域であってもよい。

ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値に、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値を画素毎に加算し、加算対象の画素の中から第３閾値以上または以下の加算値を有する画素の数を算出して、前記加算対象の画素の数に対する算出された前記画素の数の第２の比率を求め、前記第２の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記信号処理回路は、前記複数の第１画素から得られる画素値から、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値を画素毎に減算し、減算対象の画素の中から第３閾値以上または以下の減算値を有する画素の数を算出して、前記減算対象の画素の数に対する算出された前記画素の数の第３の比率を求め、前記第３の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記信号処理回路は、前記複数の第２画素の中から第５閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第２画素の数に対する算出された前記画素の数の第４の比率を求め、前記第１の比率と前記第２閾値との比較結果、および、前記４の比率と第６閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記複数の画素は、各々が青色の光を選択的に透過させる第３光透過フィルタを有する複数の第３画像、および、各々が緑色の光を選択的に透過させる第４光透過フィルタを有する複数の第４画像をさらに含み、前記信号処理回路は、前記第２、第３および第４画素から得られる画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成してもよい。

ある実施形態において、前記熟度判定情報は、前記熟度判定情報を外部に出力する出力インタフェースをさらに備えていてもよい。

ある実施形態において、前記熟度判定情報は、前記熟度判定装置と接続することが可能であり、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路をさらに備えていてもよい。

ある実施形態において、前記熟度判定情報は、前記熟度を報知する報知装置と、前記報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、をさらに備えていてもよい。

ある実施形態において、前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備えていてもよい。

ある実施形態において、前記熟度判定装置は、表示装置と、前記表示装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、をさらに備え、前記表示装置は、前記駆動信号に応じて前記カラー画像に前記熟度画像を重畳して表示してもよい。

ある実施形態において、前記信号処理回路は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定してもよい。

ある実施形態において、前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる反射率特性を有していてもよい。

ある実施形態において、前記青果物は、多数の果実を有する房であってもよい。

本発明の実施形態による方法は、青果物の熟度を判定する方法であって、前記青果物の少なくとも一部を含む画像を受け取る工程であって、前記画像は、少なくとも第１波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域である、工程と、前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、前記面積率に応じて熟度判定情報を生成する工程と、を包含する。

ある実施形態において、前記第１波長帯域は、近赤外光の波長帯域であってもよい。

ある実施形態において、前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域であってもよい。

ある実施形態において、前記面積率を求める工程において、前記第１波長帯域の光の強度分布を示す情報を有し、前記画像に含まれる複数の第１画素の中から第１閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１の比率を求め、前記熟度判定情報を生成する工程において、前記第１の比率と第２閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記画像を受け取る工程において、第２波長帯域の光の強度分布をさらに含む画像を受け取り、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、前記熟度判定情報を生成する工程において、前記第１および第２波長帯域の光の強度分布に基づいて前記熟度判定情報を生成してもよい。

ある実施形態において、前記第２波長帯域は、赤色の光の波長帯域であってもよい。

ある実施形態において、前記面積率を求める工程において、前記第１波長帯域の光の強度分布を示す情報を有し、前記画像に含まれる複数の第１画素の画素値に、前記複数の第１画素と関連付けられた、前記画像に含まれる複数の第２画素であって、前記第２波長帯域の光の強度分布を示す情報を有する複数の第２画素の画素値を画素毎に加算し、加算対象の画素の中から第３閾値以上または以下の加算値を有する画素の数を算出して、前記加算対象の画素の数に対する算出された前記画素の数の第２の比率を求め、前記熟度判定情報を生成する工程において、前記第２の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記面積率を求める工程において、前記第１波長帯域の光の強度分布を示す情報を有し、前記画像に含まれる複数の第１画素の画素値から、前記複数の第１画素と関連付けられた、前記画像に含まれる複数の第２画素であって、前記第２波長帯域の光の強度分布を示す情報を有する複数の第２画素の画素値を画素毎に減算し、減算対象の画素の中から第３閾値以上または以下の減算値を有する画素の数を算出して、前記減算対象の画素の数に対する算出された前記画素の数の第３の比率を求め、前記熟度判定情報を生成する工程において、前記第３の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記面積率を求める工程において、前記第２波長帯域の光の強度分布を示す情報を有し、前記画像に含まれる複数の第２画素の中から第５閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第２画素の数に対する算出された前記画素の数の第４の比率を求め、前記第１の比率と前記第２閾値との比較結果、および、前記第４の比率と第６閾値との比較結果に応じて前記熟度判定情報を生成してもよい。

ある実施形態において、前記方法は、前記画像を受け取る工程において、青色および緑の光の強度分布をさらに含む画像を受け取り、前記赤色、青色および緑色の光の強度分布を示す情報を有する複数の画素の画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成する工程をさらに包含してもよい。

ある実施形態において、前記方法は、前記熟度判定情報を外部に出力する工程をさらに包含してもよい。

ある実施形態において、前記方法は、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する工程をさらに包含してもよい。

ある実施形態において、前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備えていてもよい。

ある実施形態において、前記方法は、前記カラー画像に前記熟度画像を重畳して表示装置に表示する工程をさらに包含してもよい。

ある実施形態において、前記方法は、前記青果物の少なくとも一部を撮像して前記画像を取得する工程をさらに包含してもよい。

ある実施形態において、前記画像を取得する工程において、前記青果物の中央付近を撮像して画像を取得してもよい。

ある実施形態において、前記画像を取得する工程において、前記画像を複数回取得してもよい。

ある実施形態において、前記方法は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定する工程をさらに備えていてもよい。

ある実施形態において、前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる反射率特性を有していてもよい。

ある実施形態において、前記青果物は、多数の果実を有する房であってもよい。

本発明の実施形態によるコンピュータプログラムは、青果物の熟度を判定する熟度判定装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、前記青果物の少なくとも一部を含む画像を受け取るステップであって、前記画像は、少なくとも第１波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域である、ステップと、前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求めるステップと、前記面積率に応じて熟度判定情報を生成するステップと、を実行させる。

本発明の一実施形態によると、農作業者の負担を低減し、かつ、収穫作業の効率を落とすことなく、収穫対象の収穫すべきタイミングを精度よく判定する熟度判定装置および方法が提供される。

本実施形態による判定方法を利用できるシステム１０００の一構成例を示すシステム構成図である。 画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの４行４列の画素に着目して、その配列の様子を示す模式図である。 マイクロレンズ２２２の光軸に平行な、画素２２１の断面を示す模式図である。 光透過フィルタ２２３の光の透過率特性を示すグラフである。 画素アレイ２２０Ａにおける他の単位画素の構成を示す模式図である。 本実施形態による判定方法の例示的な処理手順を示すフローチャートである。 房Ｆの収穫時において、完熟度に応じて反射光の強度（反射率）が変化する様子を模式的に示すグラフである。 ３種類の完熟度（未熟、やや未熟および完熟）の房Ｆ全体を撮像して得られた画像Ｉ、および、画像Ｉに含まれる画素値ＮＩＲＳを有する画素の中で基準値以上の画素値を有する画素の分布を完熟度毎に示す図である。 未熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。 やや未熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。 完熟の房Ｆの画像Ｉおよび画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示す図である。 未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。 未熟、やや未熟および完熟の房Ｆから反射された近赤外光の信号強度（つまり、画素値ＮＩＲＳ）を正規確率プロットしたグラフである。 ステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。 ステップＳ３００における具体的な処理手順を詳細に示すフローチャートである。 ステップＳ３００における具体的な他の処理手順を詳細に示すフローチャートである。 未熟、やや未熟および完熟の房Ｆから反射された赤色の光の信号強度（つまり、画素値ＲＥＤＳ）を正規確率プロットしたグラフである。 画素値ＮＩＲＳに画素値ＲＥＤＳを加算した画素値を正規確率プロットしたグラフである。 未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。 ステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。 画素値ＮＩＲＳから画素値ＲＥＤＳを減算した画素値を正規確率プロットしたグラフである。 未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示す図である。 ステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。 ステップＳ２００における具体的な処理手順を詳細に示すフローチャートである。 熟度判定装置１００のブロック構成を模式的に示すブロック構成図である。 信号処理回路３００の機能ブロックを模式的に示すブロック構成図である。 本実施形態のバリエーションによる熟度判定装置１００Ａのブロック構成を模式的に示すブロック構成図である。 本実施形態の他のバリエーションによる熟度判定装置１００Ｂのブロック構成を模式的に示すブロック構成図である。 青林檎の反射率の波長依存性を例示するグラフである。 マンゴーの反射率の波長依存性を例示するグラフである。

本願発明者は検討を重ねた結果、下記に示される問題点を見出した。

収穫対象の収穫すべきタイミングを精度よく判定するためには解決すべきさらなる問題点がある。パームヤシは多数の果実を有する房の単位で採取される。１つの房に含まれる果実の熟度には分布があり、これが熟度判定を難しくする１つの要因である。パームヤシのように、採取の単位である房に熟度の異なる多数の果実が含まれていると、房の画像を構成する複数の画素の画素値を単純に平均し、その平均値に基づいて熟度を判定することはできない。また、１つの房は、果実以外に枯れた萼や葉も含み得るので、これも熟度判定を難しくする１つの要因である。房の画像には、果実とは関係のない枯れた萼や葉の情報も含まれ得るので、果実の情報のみに基づいて熟度を判定することは困難である。

本願発明者は、上記の知見に基づいて、パームヤシのように房に、熟度の異なる多数の果実が含まれ、かつ、枯れた萼や葉が含まれる場合であっても、熟度を精度よく判定できる方法を見出し、本発明に至った。

本発明の実施形態による熟度判定装置は、青果物の熟度を判定し、例えば、多数の果実を有するパームヤシの房の熟度を判定する装置として好適に利用される。熟度判定装置は、１次元または２次元に配列された複数の画素を有し、多数の果実の少なくとも一部を撮像して画像を取得する撮像装置であって、複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素を含み、第１波長帯域は、房からの反射光の強度が熟度に応じて変化する波長帯域である、撮像装置と、複数の第１画素から得られる画素値に基づいて、予め決められた基準値を基準として第１波長帯域の光の強度分布の面積率を求め、面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、を備える。第１波長帯域の光は、典型的に近赤外光である。この構成によると、青果物の熟度を精度よく判定することができる。

本発明の実施形態による方法は、青果物の熟度を判定する方法であり、例えば、多数の果実を有するパームヤシの房の熟度を判定する方法として好適に利用される。その方法は、多数の果実の少なくとも一部を含む画像を受け取る工程であって、画像は、少なくとも第１波長帯域の光の強度分布を含み、第１波長帯域は、房からの反射光の強度が熟度に応じて変化する波長帯域である、工程と、第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、面積率に応じて熟度判定情報を生成する工程と、を包含する。第１波長帯域の光は、典型的に近赤外光である。この方法によると、青果物の熟度を精度よく判定することができる。

本明細書において、青果物としてパームヤシの房を例にその熟度を判定する熟度判定装置および方法を説明する。なお、後述するように、特定の波長帯域において光の反射率が完熟度に応じて変化する青果物、例えば、コーヒーの果実、リンゴおよびマンゴーの熟度を判定することも本願発明の範疇である。

以下、添付の図面を参照しながら、本発明の実施形態による熟度判定装置および熟度の判定方法を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態は、以下で例示する熟度判定装置および熟度の判定方法に限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。

（実施形態１）
図１から図１３Ｂを参照して、本実施形態による、パームヤシの房Ｆの熟度を判定する方法（以下、「判定方法」と表記する。）を説明する。

〔判定方法が用いられるシステム１０００の構造〕
本実施形態による判定方法が用いられるシステム１０００の一構成例を説明する。なお、本実施形態による判定方法は、システム１０００とは異なる他の装置（またはシステム）にも好適に利用され得る。他の装置（本明細書では「熟度判定装置」と呼ぶ。）の具体例は、後で詳細に説明する。

図１は、本実施形態による判定方法を利用できるシステム１０００の一構成例を示している。システム１０００は典型的に、撮像装置２００、計算装置Ｐおよび報知装置５００を備える。システム１０００において、撮像装置２００はパームヤシの房（以下、単に「房」と表記する）Ｆにおける多数の果実の少なくとも一部を撮像して果実の画像を取得する。このとき、最低３つの果実が画像に含まれていることが好ましい。計算装置Ｐは、画像を解析して房Ｆの熟度を示す熟度判定情報を生成する。例えば、報知装置５００は熟度判定情報に応じて房Ｆが熟している否かを農作業者に報知する。

撮像装置２００は、レンズ２１０およびイメージセンサ２２０を備える。撮像装置２００は、例えばカメラモジュールとして実現され得る。

レンズ（またはレンズ群）２１０は、房Ｆからの光をイメージセンサ２２０の撮像面に集光する。レンズ２１０は単一のレンズであってもよいし、複数のレンズから構成されていてもよい。レンズ２１０は、オートフォーカス（ＡＦ）用のレンズおよび／または光学ズーム用のレンズを含んでいてもよい。ＡＦ用レンズおよび光学ズーム用レンズは専用のドライバ（不図示）によって駆動される。撮像装置２００は、これらのドライバを制御する制御回路（不図示）を備えていてもよい。

イメージセンサ２２０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。イメージセンサ２２０は、１次元または２次元に配列された複数の画素（図２に示される画素アレイ２２０Ａ）を有する。１次元の配列の場合、イメージセンサ２２０は、ラインセンサであり得る。

図２は、画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの４行４列の画素に着目して、その配列の様子を示している。図３は、マイクロレンズ２２２の光軸に平行な、画素２２１の断面を模式的に示している。図４は、光透過フィルタ２２３の光の透過率特性を示している。図４のグラフにおいて横軸は光の波長（ｎｍ）を示し、縦軸は光透過フィルタの透過率を示している。

イメージセンサ２２０は、２次元に配列された複数の画素２２１（画素アレイ２２０Ａ）を備える。画素２２１は、マイクロレンズ２２２、光透過フィルタ２２３および光電変換素子２２４を有する。

マイクロレンズ２２２は、光透過フィルタ２２３上に配置され、房Ｆからの光を集光して画素感度を向上させる。光透過フィルタ２２３は、特定の波長帯域の光を選択的に透過させる。例えば、光透過フィルタ２２３は、ＩＲフィルタおよびＲＧＢのカラーフィルタのいずれかである。図４に示されるように、ＩＲフィルタは、近赤外光の波長帯域（例えば８００ｎｍ〜２５００ｎｍ）の光を選択的に透過させ、好ましくは８００ｎｍから９００ｎｍまでの波長帯域の光を選択的に透過させる。Ｒフィルタは、赤色の光の波長帯域（例えば、６２０ｎｍ〜７５０ｎｍ）の光を選択的に透過させる。Ｇフィルタは、緑色の光の波長帯域（例えば、５００ｎｍ〜５７０ｎｍ）の光を選択的に透過させる。Ｂフィルタは、青色の光の波長帯域（例えば、４５０ｎｍ〜５００ｎｍ）の光を選択的に透過させる。

光電変換素子２２４は、典型的にはフォトダイオード（ＰＤ）であり、受光した光を電気信号に変換する。ＰＤは、例えばシリコンの半導体基板（不図示）に埋め込まれている。

図２に示されるように、画素アレイ２２０Ａは、２行２列の画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄで構成される単位画素を有する。画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄは、Ｒフィルタ、Ｇフィルタ、ＩＲフィルタおよびＢフィルタをそれぞれ有する。このような配列は、ベイヤー配列に対して奇数または偶数行のＧフィルタをＩＲフィルタで置き換えた配列に対応する。本明細書において、１つの単位画素に含まれる画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄは互いに関連付けられている。後述するように、互いに関連付けられた画素同士（例えば画素２２１Ａ、２２１Ｃ）の画素値を加算または減算することがある。

図５は、画素アレイ２２０Ａにおける他の単位画素の構成を示している。画素アレイ２２０Ａにおいて２次元に配列された複数の画素２２１のうちの８行８列の画素に着目して、その配列の様子が示されている。画素アレイ２２０Ａは、４行４列の画素２２１で構成される単位画素を有していてもよい。この例では、単位画素において、Ｇフィルタの数が最も少なく、ＩＲフィルタの数が最も多い。その理由は、本実施形態による判定方法において、ＩＲフィルタを含む画素２２１Ｃから得られる画素値が最も重視され、Ｇフィルタを含む画素２１１Ｂから得られる画素値は特に利用されないためである。

上述した画素アレイ２２０Ａの単位画素のパターン以外に、種々のパターンを選択することができる。例えば、単位画素は、Ｂフィルタを含んでいなくてもよいし、ＩＲフィルタおよびＲフィルタだけを含んでいてもよい。また、単位画素に含まれる各フィルタの数も任意であり得る。

後で詳細に説明するが、例えば房Ｆからの第１波長帯域の光の反射率（反射光の強度）は完熟度に応じて変化する。第１波長帯域は例えば近赤外光の波長帯域である。そのような特性を示す青果物の完熟度を求める場合、単位画素は少なくともＩＲフィルタを含んでいればよい。例えば図２に示される単位画素の４つのフィルタは全てＩＲフィルタであってもよく、その場合においても本実施形態による判定方法は実施可能である。ただし、後述するようにカラー画像を生成する観点において、単位画素はＲＧＢフィルタを含んでいることが好ましい。

本明細書における「画素値」は、例えば８ビットの階調値であり、主としてＲＡＷデータを意味する。撮像装置２００はＲＡＷデータを少なくとも出力する。ただし、撮像装置２００は、輝度／色差信号をＲＡＷデータに基づいて生成し、それらを出力する機能を備えていてもよい。

計算装置Ｐは、撮像装置２００から出力される画素値を処理して熟度判定情報を生成する信号処理回路（不図示）を備える。例えば計算装置Ｐは、ラップトップなどのパーソナルコンピュータ（ＰＣ）である。例えば、計算装置Ｐと撮像装置２００との間のデータの送受信は無線通信によって行うことができる。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信を行うことができる。当然、計算装置Ｐと撮像装置２００とは、例えばＵＳＢケーブルなどを用いて有線によって接続されていてもよい。計算装置Ｐは、報知装置５００を駆動するための駆動信号を熟度判定情報に応じて生成する駆動回路（不図示）をさらに備えていてもよい。また、このような機能の全てまたは一部は、撮像装置２００に実装されていてもよい。

計算装置Ｐは、画像処理で一般に用いられる、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスなどの処理を行う機能を有していてもよい。

報知装置５００は、房Ｆの熟度または採取の可否を農作業者に報知する。報知装置５００は、計算装置Ｐと有線または無線によって接続される。報知装置５００は、駆動信号に応じて光を発光する光学機器、駆動信号に応じて音を出力する音出力器、駆動信号に応じて振動する振動機器、および、駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備える。光学機器は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ランプである。音出力器は、例えばスピーカである。振動機器は、例えばバイブレータである。表示装置は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。

〔判定方法の処理手順〕
図６は、本実施形態による判定方法の例示的な処理手順を示している。以下、システム１０００を用いて、図６に示される処理手順に従って房Ｆの熟度を判定する方法を説明する。なお、各ステップを実行する動作主体は主に計算装置Ｐであり、具体的には、計算装置Ｐの信号処理回路または駆動回路である。

（ステップＳ１００）
撮像装置２００は、房Ｆの多数の実の全部または一部（好ましくは３つ以上）を撮像して画像Ｉを取得する。なお、撮像装置２００は後述するように、パームヤシ全体を撮像しても構わない。撮像装置２００は、房Ｆの中央付近を撮像して画像Ｉを取得してもよい。また、撮像装置２００は、日当たりの良好な部分、例えば房Ｆの先端部を撮像して画像Ｉを取得することが好ましい。日光に当たり易い部分の果実から成熟し始めると考えられるためである。また、撮像装置２００は、複数回の撮像によって画像を複数回取得してもよい。取得した画像データを積算することでＳＮ比を向上させることができる。取得された画像Ｉは、房Ｆから反射された近赤外光の強度分布を少なくとも含む。本実施形態においては、画像Ｉは、房Ｆから反射された、近赤外光、赤色の光、緑色の光、および、青色の光の強度分布を含む。換言すると、画像Ｉは、４つの画素２２１Ａ、２２１Ｂ、２２１Ｃおよび２２１Ｄから得られる画素値（画像データ）ＲＥＤＳ、ＧＬＮＳ、ＮＩＲＳおよびＢＬＵＳを含む。なお、本願発明の実施形態において、画像Ｉは、近赤外光の強度分布を少なくとも含んでいればよい。

ステップＳ１００において計算装置Ｐは、撮像装置２００から画像Ｉを受け取る。「画像を受け取る」動作は、撮像装置２００による撮像によって画像Ｉをリアルタイムで取得することを含む。これに限られず、例えば計算装置Ｐは、外部接続されるハードディスクＨＤなどの記録媒体に一旦保存された画像Ｉを読み出すことにより画像Ｉを事後的に取得することもできる。このような動作も「画像を受け取る」動作に含まれ得る。

図７は、房Ｆの収穫時において、完熟度に応じて反射光の強度（反射率）が変化する様子を模式的に示している。横軸は光の波長（ｎｍ）を示し、縦軸は反射率を示している。一般に、イメージセンサ２２０（例えばシリコンを用いたイメージセンサ）は、光の波長に依存する感度特性を有する。この感度特性を考慮した反射率の測定において、標準白色板を用いてイメージセンサ２２０から出力される画素値を規格化することが一般に行われる。標準白色板は、角度に依存しない拡散反射光を生成する、反射率の高い拡散反射板である。図７の縦軸の反射率は、標準白色板を用いて測定したときの反射率に対する、房Ｆからの反射率の比率を示している。

完熟度を、例えば「完熟」、「やや未熟」および「未熟」の３種類に分類することができる。当然に、より詳細に完熟度を分類してもよい。例えば、「過熟」という種類を追加してもよいし、「完熟」と「やや未熟」との間に新たな完熟の程度（例えば「やや完熟」）をさらに設けてもよい。パームヤシの房Ｆの収穫時において房Ｆからの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる反射率特性を有する。特に、可視光である赤色の光の波長帯域において、房Ｆが完熟するほど反射率は高くなる反射率特性が示され、かつ、イメージセンサ２２０の感度特性に応じて受光され得る反射光の極大波長が存在する近赤外光の波長帯域においても、房Ｆが完熟するほど反射率は高くなる反射率特性が示される。このように、特に赤色の光から近赤外光までの波長帯域では、完熟度に応じて固有の曲線が描かれる。後で詳細に説明するように、この曲線に基づいて反射率に対する適切な閾値をそれぞれの波長帯域で設定し、反射率と閾値とを比較することで完熟度を判定することが可能となる。

本発明の実施形態によると、少なくとも近赤外光の強度分布を含む画像Ｉを解析することにより、完熟度を判定することが可能となる。本実施形態では、画素値ＮＩＲＳに基づいて完熟度を判定する。そのため、例えば図２に示される２行２列の単位画素は、ＩＲフィルタを含む画素２２１Ｃを最も多く含んでいることが好ましい。後で詳細に説明するように、画素値ＮＩＲＳおよび画素値ＲＥＤＳの両方を用いて画像Ｉを解析することも可能である。これにより、完熟度をより精度よく判定することができる。その場合、画像Ｉは、少なくとも近赤外光および赤色の光の強度分布を含んでいる。

（ステップＳ２００）
計算装置Ｐは、受け取った画像Ｉにおける近赤外光の強度分布の面積率を算出する。画像Ｉは、近赤外光の強度分布を示す情報を有する複数の第１画素（または画素データ）、赤色の光の強度分布を示す情報を有する複数の第２画素、緑色の光の強度分布を示す情報を有する複数の第３画素、青色の光の強度分布を示す情報を有する複数の第４画素を含む。なお、上述したとおり、画像Ｉは、複数の第１画素を少なくとも含んでいればよい。

図８は、３種類の完熟度（未熟、やや未熟および完熟）の房Ｆ全体を撮像して得られた画像Ｉ、および、画像Ｉに含まれる画素値ＮＩＲＳを有する画素の中で基準値以上の画素値を有する画素の分布を完熟度毎に示している。本実施形態において、画素値は例えば８ビット（０から２５５までの値）で表される。基準値は、例えば「８０」とすることができる。本明細書において、画素値は「階調値」とも称される。

房Ｆ全体を含む画像Ｉ中の画素値の全部を単純に平均すると、その平均値は、画像Ｉに含まれ得る、背景や果実の間の影などの影響を受けて変動し得る。本実施形態による判別方法では、近赤外光の強度分布の面積率を予め決められた基準値を基準として求める。図８には、画像Ｉに含まれる、画素値ＮＩＲＳを有する画素の中で例えば８０以上の画素値を有する画素が画像Ｉの中でどのように分布しているかを完熟度毎に示している。房Ｆが完熟するに従って、その画素分布の密度は変化し高くなる。これは、基準値を基準とした画素分布に基づいて熟度判定情報を取得できることを示している。ただし、画素分布は背景の情報などを依然として含んでいる。

図９Ａ（ａ）は、未熟の房Ｆ全体を含む画像を示し、図９Ａ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像を示し、図９Ａ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける複数の第１画素の画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。図９Ｂ（ａ）は、やや未熟の房Ｆ全体を含む画像を示し、図９Ｂ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像Ｉを示し、図９Ｂ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。図９Ｃ（ａ）は、完熟の房Ｆ全体を含む画像を示し、図９Ｃ（ｂ）は、（ａ）に示される破線の矩形領域の部分を拡大した画像Ｉを示し、図９Ｃ（ｃ）は、所定レベルの画素値の範囲内にある画素分布を、（ｂ）の画像Ｉにおける画素値ＮＩＲＳに基づいてマッピングしたマッピング画像を示している。

例えば、遠方から房Ｆ全体を撮像装置２００によって撮像して、図９Ａ（ａ）に示される画像を取得することを考える。その場合、上述したように画像Ｉには背景や影などの房Ｆとは異なる複雑な情報が含まれる。複雑な情報は、熟度判定に悪影響を及ぼす可能性がある。この影響を抑制するために、例えば、図９Ａ（ａ）に示される破線の矩形領域の部分を拡大してその部分を撮像することが好ましい。その結果、図９Ａ（ｂ）に示される画像Ｉが得られる。その場合、撮像装置２００は、焦点距離が比較的長い挟角レンズを備えていてもよいし、光学ズーム用レンズを備えていてもよい。また、撮像装置２００は当然に電子ズーム機能を備えていてもよい。矩形領域の部分は、最低３つの果実を含んでいることが好ましい。

１つ若しくは複数の房Ｆ、または、パームヤシ全体を含む画像を撮像装置２００によって取得した後で、計算装置Ｐは、トリミングによって房Ｆ全体の画像から破線の矩形領域の部分を切り出してもよい。換言すると、計算装置Ｐは、トリミング機能を用いて、図９Ａ（ｂ）に示される画像Ｉを取得してもよい。例えば、遠方からパームヤシ全体を撮像する場合、上記の複雑な情報を排除しつつ、熟度判定に必要な果実の情報を好適に取得することができる。トリミング対象の画像Ｉも、最低３つの果実を含んでいることが好ましい。

房Ｆまたはパームヤシ全体を撮像するときに、例えば３つの果実を含む房Ｆの部分を画像認識によって自動で特定（識別）することができる。トリミングのときもこれと同様である。画像認識の一例として公知のパターン認識技術を広く用いることができる。予め用意された種別（果実、枝、葉など）に対応するパターンのどれかに被検体がマッチングするかを解析してその種別を判別することができる。パターン認識は、例えば、数学的、幾何学的およびハーモニック形状ディスクリプタを用いる訓練可能なパターン認識システムを用いて行われる。そのシステムにおいて、予め用意された種別の多数のサンプルに接することで習得したナレッジベースを用いて、可能性のある種別を選別するように教育される。訓練セットは、各種別に対して、何千もの基本的種類の画像を含む。成功裏のパターンマッチングは、訓練していない対象物についてのディスクリプタが、訓練済みの対象物のディスクリプタと一致するときに生じる。上述したパターン認識システムは、例えば特開２０１５−０４６１６２号公報に詳しく説明されている。

図９Ａ（ｃ）に示されるマッピング画像は、３つの階層Ｉ、ＩＩおよびＩＩＩのマッピング画像を含む。例えば、階層Ｉは、０から２５５の階調値の中の、６０以上７０未満の階調値を有する画素の分布を含み、階層ＩＩは、７０以上８０未満の階調値を有する画素の分布を含み、階層ＩＩＩは、８０以上の階調値を有する画素の分布を含む。例えば、計算装置Ｐは、画素分布を青色でマッピングして階層Ｉの青色マッピング画像を生成し、画素分布を緑色でマッピングして階層ＩＩの緑色マッピング画像を生成し、画素分布を赤色でマッピングして階層ＩＩＩの赤色マッピング画像を生成することができる。計算装置Ｐは、３つの階層Ｉ、ＩＩおよびＩＩＩを重畳することによりマッピング画像を生成する。ただし、計算装置Ｐは、３つの階層Ｉ、ＩＩおよびＩＩＩの色マッピング画像を生成しなくてもよく、１つの閾値（例えば「８０」）に基づいて階層ＩＩＩの色マッピング画像を少なくとも生成すればよい。例えば完熟度の種類の数に応じて階層の枚数は決定され得る。

計算装置Ｐは、未熟の房Ｆと同様に、やや未熟および完熟の房Ｆに対しても、図９Ｂ（ｃ）および図９Ｃ（ｃ）に示されるマッピング画像を生成する。図９Ｂ（ｃ）に示されるマッピング画像は、図９Ｂ（ｂ）に示される画像Ｉにおける画素値ＮＩＲＳに基づいて生成され、３つの階層Ｉ、ＩＩおよびＩＩＩの各色マッピング画像を含む。図９Ｃ（ｃ）に示されるマッピング画像は、図９Ｃ（ｂ）に示される画像Ｉにおける画素値ＮＩＲＳに基づいて生成され、３つの階層Ｉ、ＩＩおよびＩＩＩの各色マッピング画像を含む。

房Ｆが熟すにつれて、近赤外光の反射光の強度、つまり、画素値ＮＩＲＳの値が大きくなり、その結果、階層ＩＩＩの画素分布の密度が高くなる。これは、階調値の閾値を適切に設定することで房Ｆの熟度を容易に判定できることを示している。

図１０は、未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。

画素分布は、予め決められた基準値を基準とした近赤外光の強度分布の面積率ＡＲに対応する。具体的には、面積率ＡＲは、画像Ｉにおける複数の第１画素の数Ｍ１に対する、複数の第１画素の中で基準値の条件を満たす画素の数Ｎ１の比である。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、６０であり、上限（上限の閾値）は７０である。階層ＩＩに対して用いられる、基準値の下限は、７０であり、上限は８０である。階層ＩＩＩに対して用いられる、基準値の下限は８０であり、上限は特に設定されていない。適切な基準値を設けることにより、画素分布の密度、つまり、面積率ＡＲに基づいて房Ｆの完熟度を判定することができる。

図１１は、未熟、やや未熟および完熟の房Ｆから反射された近赤外光の信号強度（つまり、画素値ＮＩＲＳ）を正規確率プロットしたグラフである。正規確率プロットは、標本のデータが正規分布にどの程度近いかを視覚的に表現する。正規確率プロットにおいて、正規分布に従うデータであれば直線的に並び、平均値、標準偏差および代表値などのパラメータを推定することができる。本実施形態における標本のデータは、画像Ｉに含まれる複数の第１画素の画素値ＮＩＲＳである。グラフの横軸は、画素値（０から２５５までの値）を示し、縦軸は、累積度数パーセント（％）を対数で示している。

累積度数パーセント（％）は、式（１）から得られる。
累積度数パーセント（％）＝（１００×累積度数）／（ｎ＋１） 式（１）
ここで、累積度数は、度数の値が小さい方から、つまり、ヒストグラムの左側から度数を累積した値に相当する。ｎは標本の数であり、複数の第１画素の数Ｍ１と等しい。

図１１に示されるように、独立した正規確率プロットが完熟度に応じて得られる。房Ｆが完熟するに従い、正規確率プロットは右側にシフトし、その結果、累積度数パーセント５０％に対する画素値ＮＩＲＳは大きくなることが分かる。累積度数パーセント５０％に対する画素値は、画素値ＮＩＲＳの代表値である。正規分布において平均値と代表値とは等しい。正規確率プロットは、上述した上限および下限の閾値を決定するときに有効である。例えば、それらの閾値は、正規確率プロットを参照することにより代表値に基づいて決定することができる。

図１２は、ステップＳ２００における具体的な処理手順を詳細に示している。計算装置Ｐは、近赤外光の強度分布の面積率ＡＲを予め決められた基準値を基準として求める。具体的には、ステップＳ２１０において計算装置Ｐは、画像Ｉに含まれる複数の第１画素の中から閾値Ｌ１以上の画素値を有する画素の数Ｎ１を算出する。例えば、図１０に示される階層ＩＩＩに対し、閾値Ｌ１として「８０」を設定することができる。演算の結果、画素値「８０」以上の画素値を有する画素の数がＮ１であったとする。なお、ステップＳ２１０において計算装置Ｐは、画像Ｉに含まれる複数の第１画素の中から閾値Ｌ１以下の画素値を有する画素の数Ｎ１を算出してもよい。

次に、ステップＳ２２０において計算装置Ｐは、複数の第１画素の数Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。画像Ｉが複数の第１画素だけで構成されているとする。その場合、画角が狭いと果実の間の影が熟度判定に影響する可能性がある。そのため、さらに閾値を設けて、その閾値（例えば「１０」）以上の画素値を有する複数の第１画素の数をＭ１として、比率Ｎ１／Ｍ１を求めることが好ましい。

再び図６を参照する。

（ステップＳ３００）
計算装置Ｐは、面積率ＡＲに応じて熟度判定情報を生成する。具体的に説明すると、計算装置Ｐは、比率Ｎ１／Ｍ１と閾値Ｒ１との比較結果に応じて熟度判定情報を生成する。

図１３Ａは、ステップＳ３００における具体的な処理手順を詳細に示している。先ず、房Ｆの完熟度が「完熟」であるか否かを判定するための手順を説明する。ステップＳ３１０において計算装置Ｐは、階層ＩＩＩを用いて算出された比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きいか否かを判定する。閾値Ｒ１は、設計仕様等により適宜決定され、例えば計算装置Ｐの内部ＲＯＭ（不図示）に予め格納されている。閾値Ｒ１に限らず、本明細書に登場するあらゆる閾値は内部ＲＯＭに格納されているとする。ステップＳ３２０において、比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きい場合、計算装置Ｐは、「完熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ１以下である場合、計算装置Ｐは、例えば「未完熟」を表す熟度判定情報を生成する。例えば、熟度判定情報を１ビットの信号で表し、「０」を「未完熟」に、「１」を「完熟」に割り当てることができる。以上の手順に従うと、房Ｆの完熟度が「完熟」であるか否かを判定した熟度判定情報が得られる。

例えば、完熟度が「やや未熟」または「未熟」であるか否かをさらに判定することもできる。図１３Ａに示されるように、ステップＳ３１０において比率Ｎ１／Ｍ１が閾値Ｒ１以下であると判定された場合、完熟度は少なくとも「完熟」ではないことが分かる。ステップＳ３３０において計算装置Ｐは、階層ＩＩを用いて比率Ｎ１／Ｍ１を求め、その比率と閾値Ｒ２とを比較する。

具体的に説明すると、計算装置Ｐは階層ＩＩにおいて、複数の第１画素の中から閾値Ｌ２の下限値以上閾値Ｌ２の上限値未満の範囲にある画素値を有する画素の数Ｎ１を算出する。上述したように、例えば閾値Ｌ２の下限値を「７０」に、閾値Ｌ２の上限値を「８０」に設定することができる。計算装置ＰはステップＳ２２０と同様に、階層ＩＩに対し、複数の第１画素の数Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。

ステップＳ３３０において計算装置Ｐは、階層ＩＩに対して算出された比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きいか否かを判定する。比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きい場合、ステップＳ３４０において計算装置Ｐは、「やや未熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ２以下である場合、処理はステップＳ３５０に移行する。

ステップＳ３５０において計算装置Ｐは、階層Ｉに対して比率Ｎ１／Ｍ１を求め、その比率と閾値Ｒ３とを比較する。具体的に説明すると、計算装置Ｐは、階層Ｉに対し、複数の第１画素の中から閾値Ｌ３の下限値以上閾値Ｌ３の上限値未満の範囲にある画素値を有する画素の数Ｎ１を算出する。上述したように、例えば閾値Ｌ３の下限値を「６０」に、閾値Ｌ３の上限値を「７０」に設定することができる。計算装置ＰはステップＳ２２０と同様に、複数の第１画素の数Ｍ１に対する算出された画素の数Ｎ１の比率Ｎ１／Ｍ１を求める。

ステップＳ３５０において計算装置Ｐは、階層Ｉに対して算出された比率Ｎ１／Ｍ１が閾値Ｒ３よりも大きいか否かを判定する。比率Ｎ１／Ｍ１が閾値Ｒ３よりも大きい場合、ステップＳ３６０において計算装置Ｐは、「未熟」を表す熟度判定情報を生成する。比率Ｎ１／Ｍ１が閾値Ｒ３以下である場合、ステップＳ３７０において計算装置Ｐは、例えば「その他」を表す熟度判定情報を生成する。例えば、熟度判定情報を２ビットの信号で表し、「１１」を「完熟」に、「１０」を「やや未熟」に、「０１」を「未熟」に、「００」を「その他」に割り当てることができる。このように、「完熟」だけでなく「やや未熟」や「未熟」などを示す熟度判定情報も生成することができる。

図１３Ｂは、ステップＳ３００における具体的な他の処理手順を詳細に示している。図１３Ｂに示されるように、階層ＩＩＩにおいて比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きく、且つ、階層ＩＩにおいて比率Ｎ１／Ｍ１が閾値Ｒ２よりも大きい場合、計算装置Ｐは、「完熟」を表す熟度判定情報を生成してもよい。このように複数の階層を用いて熟度判定情報は生成され得る。

再び、図６を参照する。

（ステップＳ４００）
計算装置Ｐは、房Ｆの熟度を例えば農作業者に報知する報知装置５００を駆動するための駆動信号を熟度判定情報に応じて生成する。例えば、報知装置５００はＬＥＤを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、ＬＥＤを発光させる駆動信号（ＬＥＤをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、ＬＥＤを発光させる駆動信号を生成しない。また、報知装置５００は、発光色が異なる複数のＬＥＤを備えていてもよい。熟度判定情報が種々の完熟度（例えば「完熟」、「やや未熟」および「未熟」）を含むとき、例えば、計算装置Ｐは、完熟度に応じて複数のＬＥＤのいずれかを発光させる駆動信号を生成すればよい。これにより、農作業者はＬＥＤの発光色に従って房Ｆの熟度を認識することができる。

例えば、報知装置５００はスピーカを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、スピーカに音を発生させる駆動信号（スピーカをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、スピーカに音を発生させる駆動信号を生成しない。また、熟度判定情報が種々の完熟度を含むとき、例えば、計算装置Ｐは完熟度に応じて音の強弱を変更させるようにスピーカを駆動してもよい。

例えば、報知装置５００はバイブレータを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、バイブレータを振動させる駆動信号（バイブレータをオンにする信号）を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、バイブレータを振動させる駆動信号を生成しない。また、熟度判定情報が種々の完熟度を含むとき、例えば、計算装置Ｐは完熟度に応じて振動の強弱やパターンを変更させるようにバイブレータを駆動してもよい。

例えば、報知装置５００は液晶ディスプレイを備えているとする。その場合、熟度判定情報が「完熟」を示すとき、計算装置Ｐは、液晶ディスプレイに「完熟」という文字情報を表示させる駆動信号を生成し、熟度判定情報が「未完熟」を示すとき、計算装置Ｐは、液晶ディスプレイに「未完熟」という文字情報を表示させる駆動信号を生成する。例えば、液晶ディスプレイは文字情報の代わりに「○」や「×」といった記号を表示してもよいし、完熟度に応じて表示色を変更してもよい。

計算装置Ｐは、イメージセンサ２２０のＲＧＢ画素から得られる画素値ＲＥＤＳ、ＧＬＮＳおよびＢＬＵＳに基づいて房Ｆのカラー画像を生成してもよい。また、計算装置Ｐは、基準値の情報を含み、かつ、完熟度を表す熟度画像を熟度判定情報に基づいて生成してもよい。熟度画像は、例えば図９Ａ（ｃ）に示されるマッピング画像である。計算装置Ｐは、カラー画像に熟度画像を重畳して液晶ディスプレイに表示することができる。このとき、計算装置Ｐは、演算で用いる閾値の情報も液晶ディスプレイに表示してもよい。農作業者は、カラー画像およびマッピング画像の間で実際の場所と位置関係とを照合し易くなり、収穫効率が向上する。

計算装置Ｐはさらに、熟度判定情報に基づいて房Ｆの採取の可否を判定してもよい。例えば、４つの種類「完熟」、「やや完熟」、「やや未熟」および「未熟」の完熟度があるとする。例えば、計算装置Ｐは、熟度判定情報が「完熟」、「やや完熟」を示す場合、採取は「可」であると判定し、熟度判定情報が「やや未熟」、「未熟」を示す場合、採取は「不可」であると判定する。例えば、液晶ディスプレイは、採取が「可」であるか「不可」であるかを示す文字情報を判定情報に従って表示してもよい。このような表示によれば、採取の可否の情報を農作業者に直接伝えることができるので、農作業者をより支援することができる。

計算装置Ｐは、ステップＳ４００の代わりに、例えば出力ＩＦ（不図示）を介して熟度判定情報を外部に出力してもよい。例えば、報知装置５００が自身を駆動する信号を生成する機能を備えている場合、計算装置Ｐから熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成することも可能である。

本実施形態によれば、完熟度を目視で判断して収穫していた従来と比べて、農作業者の経験の有無に関わらず、パームヤシの収穫時に完熟度の判断のばらつきを小さくすることが可能となる。また、収穫作業の効率を落とすことなく、パームヤシの収穫すべきタイミングを精度よく判断することができる。そのため、パームヤシに含まれる油成分の生産量が増大することが期待される。

（実施形態２）
本実施形態による判定方法において、計算装置Ｐは、ステップＳ１００で第１および第２波長帯域の光の強度分布を含む画像Ｉを受け取り、ステップＳ３００で第１および第２波長帯域の光の強度分布に基づいて熟度判定情報を生成する。第２波長帯域は、房Ｆからの反射光の強度が熟度に応じて変化する、第１波長帯域（つまり、近赤外光の波長帯域）とは異なる波長帯域である。第２波長帯域は、例えば可視光である赤色の光の波長帯域である。

図１４Ａは、未熟、やや未熟および完熟の房Ｆから反射された赤色の光の信号強度（つまり、画素値ＲＥＤＳ）を正規確率プロットしたグラフである。図１４Ｂは、画素値ＮＩＲＳに画素値ＲＥＤＳを加算した画素値を正規確率プロットしたグラフである。図１１と同様に、グラフの横軸は、画素値（０から２５５までの値）を示し、縦軸は、累積度数パーセント（％）を対数で示している。

画素加算とは、単位画素内の互いに関連付けられた画素同士の画素値を加算することを意味する。本実施形態では、計算装置Ｐは、ＩＲフィルタを有する画素２２１Ｃの画素値に、画素２２１Ｃと関連付けられたＲフィルタを有する画素２２１Ａの画素値を加算する。換言すると、計算装置Ｐは、画素値ＮＩＲＳに画素値ＲＥＤＳを加算する。

図１４Ｂに示されるように、図１１と同様に、独立した正規確率プロットが完熟度に応じて得られる。図１１に示される画素値ＮＩＲＳに基づく正規確率プロットと比べ、図１４Ｂに示される、画素値ＮＩＲＳと画素値ＲＥＤＳとの加算値に基づく正規確率プロットにおいて、累積度数パーセント５０％に対する画素値（つまり、代表値）は各完熟度において、より大きな値となる。

図１５は、図１０と同様に、未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。熟度判定に用いられる、未熟、やや未熟および完熟の房Ｆの部分は、図９Ａ（ａ）、９Ｂ（ａ）および９Ｃ（ａ）に示される矩形領域の部分である。図示されるマッピング画像は、画像Ｉにおける画素値ＮＩＲＳと画素値ＲＥＤＳとの加算値に基づいて生成される。

図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。特筆すべき点は、図１０と比較すると、階層ＩＩＩの、やや未熟と完熟との間の色マッピング画像における画素分布（密度）の差がより大きいことである。これは、やや未熟と完熟との間に適切な閾値を設定することで、完熟度の判定の精度がより向上し得ることを示している。

図１６は、ステップＳ２００における具体的な処理手順を詳細に示している。ステップＳ２３０において計算装置Ｐは、複数の第１画素の画素値ＮＩＲＳに、複数の第１画素と関連付けられた複数の第２画素の画素値ＲＥＤＳを画素毎に加算する。つまり、計算装置Ｐは、画素値ＮＩＲＳに画素値ＲＥＤＳを単位画素毎に加算する。ステップＳ２４０において計算装置Ｐは、加算対象の画素の中から閾値Ｌ４以上の加算値を有する画素の数Ｎ２を算出する。ステップＳ２５０において計算装置Ｐは、加算対象の画素の数Ｍ２に対する算出された画素の数の比率Ｎ２／Ｍ２を求める。加算対象の画素の数Ｍ２は典型的には、複数の第１画素の数と一致する。例えば、単位画素において、ＩＲフィルタを有する画素２２１Ｃの数が３であり、Ｒフィルタを有する画素２２１Ａの数が１である場合、３つの画素２２１Ｃの各々の画素値ＮＩＲＳに画素２２１Ａの画素値ＲＥＤＳが加算され得る。なお、ステップＳ２４０において計算装置Ｐは、加算対象の画素の中から閾値Ｌ４以下の加算値を有する画素の数Ｎ２を算出してもよい。

本実施形態による画素分布は比率Ｎ２／Ｍ２で表され、予め決められた基準値を基準とした、近赤外光および赤色の光の強度分布の和の面積率ＡＲに対応する。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、９０であり、上限（上限の閾値）は１００である。階層ＩＩに対して用いられる、基準値の下限は、１００であり、上限は１１０である。階層ＩＩＩに対して用いられる、基準値の下限は１１０であり、上限は特に設定されていない。

次に、計算装置は、例えば図１３に示される処理手順に従い、比率Ｎ２／Ｍ２と閾値Ｒ４との比較結果に応じて熟度判定情報を生成する。具体的に説明すると、ステップＳ３１０と同様に、計算装置Ｐは階層ＩＩＩを用いて、比率Ｎ２／Ｍ２と閾値Ｒ４との大小関係を比較する。比率Ｎ２／Ｍ２が閾値Ｒ４よりも大きい場合、ステップＳ３２０と同様に、計算装置Ｐは、「完熟」を示す熟度判定情報を生成する。

本実施形態によると、画素値ＮＩＲＳに加えて画素値ＲＥＤＳの情報を用いることにより、完熟度の判定の精度をより向上させることができる判定方法が適用される。

（実施形態３）
本実施形態による判定方法は実施形態２とは異なり、画素値ＮＩＲＳと画素値ＲＥＤＳとの差分に基づいて熟度判定情報を生成する。

例えば、房Ｆからの反射光は、果実で反射された反射光に加えて、果実を覆う枯れた萼および葉で反射された反射光を含んでいる。枯れた萼および葉には葉緑素の主成分クロロフィルが少ないので、それらに対して、赤色の光から近赤外光までの波長帯域にわたって概ね一様な反射率特性が得られる。一方、図７に示されるように、房Ｆの果実からの反射光は、赤色の光から近赤外光までの波長帯域の間で反射率が特に高くなる反射率特性を有する。撮像装置２００で撮像して得られた画像Ｉは、枯れた萼および葉を含み得る。そのため、実施形態１および２による判定方法に用いられる画像Ｉは枯れた萼および葉に起因した複雑な情報を含み得る。そこで、本実施形態では、枯れた萼や葉と房Ｆの果実との、上述した反射率特性の違いに着眼し、画素値ＮＩＲＳにより構成される像Ａと、画素値ＲＥＤＳにより構成される像Ｂとの差分をとる。像Ａは、枯れた萼や葉および果実を含み、像Ｂは主に、枯れた萼および葉を含む。像ＡとＢとの差分を取ることによって、主として果実に起因した情報を選択的に取得することが可能となる。

図１７は、画素値ＮＩＲＳから画素値ＲＥＤＳを減算した画素値を正規確率プロットしたグラフである。図１１と同様に、グラフの横軸は、画素値（０から２５５までの値）を表示し、縦軸は、累積度数パーセント（％）を対数で表示している。

画素減算とは、単位画素内の互いに関連付けられた画素同士の画素値を減算することを意味する。本実施形態では、計算装置Ｐは、ＩＲフィルタを有する画素２２１Ｃの画素値から、画素２２１Ｃと関連付けられたＲフィルタを有する画素２２１Ａの画素値を減算する。換言すると、計算装置Ｐは、画素値ＮＩＲＳから画素値ＲＥＤＳを減算する。

図１７に示されるように、図１１と同様に、独立した正規確率プロットが完熟度に応じて得られる。図１４Ｂに示される加算画素値に基づく正規確率プロットと比べ、図１７に示される、減算画素値に基づく正規確率プロットはより直線的に描かれており、正規分布により近い特性を示すことが分かる。

図１８は、図１０と同様に、未熟、やや未熟および完熟の房Ｆに対する３つのマッピング画像のそれぞれを３つの階層Ｉ、ＩＩおよびＩＩＩに分解して各階層の色マッピング画像を示している。熟度判定に用いられる、未熟、やや未熟および完熟の房Ｆの部分は、図９Ａ（ａ）、９Ｂ（ａ）および９Ｃ（ａ）に示される矩形領域の部分である。図示されるマッピング画像は、画素値ＮＩＲＳと画素値ＲＥＤＳとの減算画素値に基づいて生成される。

図示されるように、階層Ｉの色マッピング画像に着目すると、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩの色マッピング画像に着目すると、やや未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。階層ＩＩＩの色マッピング画像に着目すると、完熟の房Ｆに対する色マッピング画像における画素分布の密度が最も高く、未熟の房Ｆに対する色マッピング画像における画素分布の密度が最も低い。

図１９は、ステップＳ２００における具体的な処理手順を詳細に示している。ステップＳ２６０において計算装置Ｐは、複数の第１画素の画素値ＮＩＲＳから、複数の第１画素と関連付けられた複数の第２画素の画素値ＲＥＤＳを画素毎に減算する。つまり、計算装置Ｐは、画素値ＮＩＲＳから画素値ＲＥＤＳを単位画素毎に減算する。ステップＳ２７０において計算装置Ｐは、減算対象の画素の中から閾値Ｌ５以上の減算値を有する画素の数Ｎ３を算出する。ステップＳ２８０において計算装置Ｐは、減算対象の画素の数Ｍ３に対する算出された画素の数の比率Ｎ３／Ｍ３を求める。減算対象の画素の数Ｍ３は典型的には、複数の第１画素の数と一致する。例えば、単位画素において、ＩＲフィルタを有する画素２２１Ｃの数が３であり、Ｒフィルタを有する画素２２１Ａの数が１である場合、３つの画素２２１Ｃの各々の画素値ＮＩＲＳから画素２２１Ａの画素値ＲＥＤＳが減算され得る。なお、ステップＳ２７０において計算装置Ｐは、減算対象の画素の中から閾値Ｌ５以下の減算値を有する画素の数Ｎ３を算出してもよい。

本実施形態による画素分布は比率Ｎ３／Ｍ３で表され、予め決められた基準値を基準とした、近赤外光および赤色の光の強度分布の差分の面積率ＡＲに対応する。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、４０であり、上限（上限の閾値）は５０である。階層ＩＩに対して用いられる、基準値の下限は、５０であり、上限は６０である。階層ＩＩＩに対して用いられる、基準値の下限は６０であり、上限は特に設定されていない。

次に、計算装置は、例えば図１３に示される処理手順に従い、比率Ｎ３／Ｍ３と閾値Ｒ５との比較結果に応じて熟度判定情報を生成する。具体的に説明すると、計算装置Ｐは、ステップＳ３１０と同様に、階層ＩＩＩを用いて比率Ｎ３／Ｍ３と閾値Ｒ５との大小関係を比較する。比率Ｎ３／Ｍ３が閾値Ｒ５よりも大きい場合、ステップＳ３２０と同様に計算装置Ｐは、「完熟」を示す熟度判定情報を生成する。

本実施形態によると、画素値ＮＩＲＳから画素値ＲＥＤＳを差し引いた情報を用いることにより、画像Ｉに含まれ得る複雑な情報を抑制しつつ、より精度よく完熟度を判定できる判定方法が提供される。

（実施形態４）
本実施形態による計算装置Ｐは、複数の第２画素の中から閾値Ｌ６以上または以下の画素値を有する画素の数Ｎ４を算出して、複数の第２画素の数Ｍ４に対する算出された画素の数Ｎ４の比率Ｎ４／Ｍ４を求め、比率Ｎ１／Ｍ１と閾値Ｒ１との比較結果、および、比率Ｎ４／Ｍ４と閾値Ｒ６との比較結果に応じて熟度判定情報を生成する。

図２０は、ステップＳ２００における具体的な処理手順を詳細に示している。

先ず、計算装置Ｐは、画像Ｉに含まれる複数の第１画素を用いて階層ＩＩＩの色マッピング画像を生成する。具体的には、計算装置Ｐは、ステップＳ２１０において、階層ＩＩＩの色マッピング画像を用いて画素の数Ｎ１を算出し、ステップＳ２２０において比率Ｎ１／Ｍ１を求める。次に、計算装置Ｐは、画像Ｉに含まれる複数の第２画素を用いて階層ＩＩＩの色マッピング画像を生成する。具体的に説明すると、ステップＳ２１１において計算装置Ｐは、画像Ｉに含まれる複数の第２画素の中から閾値Ｌ６以上の画素値を有する画素の数Ｎ４を算出する。例えば、図１０に示される階層ＩＩＩに対し、閾値Ｌ６として画素値「８０」を設定することができる。演算の結果、「８０」以上の画素値を有する画素の数がＮ４であったとする。なお、ステップＳ２１１において計算装置Ｐは、画像Ｉに含まれる複数の第２画素の中から閾値Ｌ６以下の画素値を有する画素の数Ｎ４を算出してもよい。

次に、ステップＳ２２１において計算装置Ｐは、複数の第２画素の数Ｍ４に対する算出された画素の数Ｎ４の比率Ｎ４／Ｍ４を求める。画像Ｉが複数の第１画素だけで構成されているとする。その場合、画角が狭いと果実の間の影が熟度判定に影響する可能性がある。そのため、複数の第２画素に対してもさらに閾値を設けて、その閾値（例えば「１０」）以上の画素値を有する複数の第２画素の数をＭ４として、比率Ｎ４／Ｍ４を求めることが好ましい。

次にステップＳ３１０において、計算装置Ｐは、複数の第１画像に基づく階層ＩＩＩに対し、比率Ｎ１／Ｍ１と閾値Ｒ１との大小関係を比較する。計算装置Ｐはさらに、複数の第２画像に基づく階層ＩＩＩに対し、比率Ｎ４／Ｍ４と閾値Ｒ６との大小関係を比較する。比率Ｎ１／Ｍ１が閾値Ｒ１よりも大きく、且つ、比率Ｎ４／Ｍ４が閾値Ｒ６よりも大きい場合、計算装置Ｐは、ステップＳ３２０と同様に「完熟」を示す熟度判定情報を生成する。

本実施形態によれば、房Ｆとその他の物体を選択できない場合、画素値ＮＩＲＳおよび画素値ＲＥＤＳのセンサ条件を個別に設定し、対象物の選択性を高めることができる。

（実施形態５）
図２１から図２４を参照しながら、本実施形態による熟度判定装置１００の構成を主として説明する。熟度判定装置１００は、例えば実施形態１から４で説明した判定方法の処理手順に従って動作することができる。

図２１は、熟度判定装置１００のブロック構成を模式的に示している。熟度判定装置１００は典型的に、コントローラＣ、撮像装置２００、信号処理回路３００および駆動回路４００を備える。熟度判定装置１００は、報知装置５００と有線または無線で接続することが可能である。例えば、熟度判定装置１００は、ＵＳＢインタフェース（不図示）を備えていてもよく、ＵＳＢケーブルを介して報知装置５００に接続され得る。

コントローラＣは、半導体集積回路（ＬＳＩ）であり、例えば汎用プロセッサであり得る。コントローラＣは、撮像装置２００、信号処理回路３００および駆動回路４００のそれぞれに電気的に接続され、熟度判定装置１００全体を制御する。

撮像装置２００の構造は上述したとおりである。図２に示されるように、撮像装置２００は、１次元または２次元に配列された複数の画素２２１を有し、房Ｆの少なくとも一部を撮像して画像Ｉを取得する。なお、画素アレイ２２０Ａは、図２に示される形状に限られず、例えば図５に示されるような形状であっても当然構わない。

図２２は、信号処理回路３００の機能ブロックを模式的に示している。信号処理回路３００の各構成要素は、ハードウェア単位ではなく機能ブロック単位で示されている。

信号処理回路３００は、半導体集積回路であり、例えばイメージシグナルプロセッサ（ＩＳＰ）である。実施形態１で説明した計算装置Ｐの信号処理回路は、信号処理回路３００に対応する構成要素である。信号処理回路３００は、面積率演算部３１０、熟度判定情報生成部３２０、駆動信号生成部３３０、記録媒体３４０および中央演算処理装置（ＣＰＵ）３５０を備える。例えば、記録媒体３４０は、読み出し専用または書き込み可能なＲＯＭ、ＲＡＭおよびハードディスクである。面積率演算部３１０、熟度判定情報生成部３２０および駆動信号生成部３３０は、例えば、ＣＰＵ３５０、ＲＡＭ（不図示）、ＲＡＭにロードされたコンピュータプログラム、そのコンピュータプログラムを格納するＲＯＭ（記録媒体３４０に相当）、および、ネットワーク接続用のインタフェースを用いてハードウェアとソフトウェアとの任意の組合せによって実現され得る。

信号処理回路３００は、ハードウェアおよび／またはソフトウェアによって構成され、実施形態１から４において説明した判定方法の処理手順に従って動作するように構成される。例えば、図６、図１２および図１３に示される処理手順の動作主体を、計算装置Ｐ（具体的には信号処理回路）から信号処理回路３００に置き換えることによって信号処理回路３００の具体的な動作が実現される。そのような処理手順を含む命令群から構成されるコンピュータプログラムは、例えばＲＯＭ３４０に格納されている。本実施形態において、信号処理回路３００の動作の説明は省略することとする。

信号処理回路３００は、計算装置Ｐと同様に、イメージセンサ２２０のＲＧＢ画素から得られる画素値ＲＥＤＳ、ＧＬＮＳおよびＢＬＵＳに基づいて房Ｆのカラー画像Ｉを生成してもよい。また、信号処理回路３００は、基準値の情報を含み、かつ、完熟度を表す熟度画像を熟度判定情報に基づいて生成してもよい。信号処理回路３００は、カラー画像に熟度画像を重畳して報知装置５００（例えば液晶ディスプレイ）に表示するための重畳画像を生成してもよい。信号処理回路３００はさらに、熟度判定情報に基づいて房Ｆの採取の可否を判定してもよい。

駆動回路４００は、ハードウェアおよび／またはソフトウェアによって構成され得る。駆動回路４００は、例えば半導体集積回路である。駆動回路４００は、図６に示される処理手順のステップＳ４００において、熟度判定情報または採取の可否の判定情報に応じて駆動信号を生成する。駆動信号の生成例は、実施形態１で詳細に説明したとおりである。

熟度判定装置１００の一部は、ＬＳＩとして１チップで実現され得る。信号処理回路３００の各機能ブロックは個別にチップ化してもよいし、その一部または全部を集積してチップ化してもよい。また、半導体集積回路は、例えば特定用途向け集積回路（ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路の技術が出現した場合、当該技術による集積回路を用いることも可能である。

図２３は、本実施形態のバリエーションによる熟度判定装置１００Ａのブロック構成を模式的に示している。図２４は、本実施形態の他のバリエーションによる熟度判定装置１００Ｂのブロック構成を模式的に示している。

熟度判定装置１００Ａは、コントローラＣ、撮像装置２００、信号処理回路３００および出力インタフェース（ＩＦ）６００を備える。熟度判定装置１００Ａは、駆動回路４００の代わりに、出力ＩＦ６００を備え、出力ＩＦ６００を介して熟度判定情報を外部に出力してもよい。出力ＩＦ６００は、例えばＵＳＢインタフェースまたはＢｌｕｅｔｏｏｔｈ規格に準拠した無線通信を行うように構成されたインタフェースである。このバリエーションによれば、例えば、報知装置５００が自身を駆動する信号を生成する機能を備えている場合、信号処理回路３００から熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成することも可能である。また、熟度判定装置１００Ａに駆動回路を外付けすることも可能である。駆動回路が熟度判定情報を受け取り、熟度判定情報に応じて駆動信号を生成してもよい。

熟度判定装置１００Ｂは、コントローラＣ、撮像装置２００、信号処理回路３００、駆動回路４００を備え、さらに報知装置５００を備える。このバリエーションによれば、報知装置５００が一体となった熟度判定装置を提供することができる。小型化することで、農作業者に利用し易い装置が提供され得る。

信号処理回路３００は、実施形態１から４のそれぞれの判定方法に従って動作する複数の動作モードを備えていてもよい。例えば、信号処理回路３００は、イメージセンサ２２０のセンサ感度を切替えるときに、または、センシング結果を絞り込むときに、複数の動作モードの中から最適な動作モードを選択することができる。

上述した実施形態１から５において、収穫対象物である青果物としてパームヤシの房を例に判定方法を説明した。本願発明による実施形態が対象とする青果物はこれに限られず、近赤外光の反射率が完熟度に応じて異なる反射率特性を有する果実であり得る。そのような果実として、例えば青林檎およびマンゴーが挙げられる。

図２５Ａは、青林檎の反射率の波長依存性を例示する。図２５Ｂは、マンゴーの反射率の波長依存性を例示する。横軸は光の波長（ｎｍ）を示し、縦軸は反射率（％）を示す。パームヤシの房Ｆと同様に、特に、赤色の光の波長帯域において、果実が完熟するにつれて、反射率は高くなる傾向にあり、かつ、近赤外光の波長帯域においても、果実が完熟するにつれて、反射率は高くなる傾向にあることが理解される。そのため、青林檎やマンゴーに対しても、本発明の実施形態を好適に適用することができ、パームヤシの房Ｆと同様の効果が得られる。本願発明の実施形態による判定対象は、熟度に限られず、収穫時期を知り得る他の指標（例えば、生育度、鮮度、収穫レベルなど）であり得る。

熟度判定情報は、正規化差植生指数（ＮＤＶＩ）に基づいて生成され得る。ＮＤＶＩは、画素値ＮＩＲＳと画素値ＲＥＤＳとに基づいて生成され、式（２）から得られる。
ＮＤＶＩ＝（ＮＩＲＳ−ＲＥＤＳ）／（ＮＩＲＳ＋ＲＥＤＳ） 式（２）

未熟の房Ｆは、完熟の房Ｆよりもクロロフィルをより多く含む。クロロフィルは、赤色の光をよく吸収し、近赤外光をよく反射する。そのため、房Ｆの熟度はＮＤＶＩを用いて決定することができる。

計算装置Ｐは、複数の第１画素の画素値ＮＩＲＳおよび複数の第２画素の画素値ＲＥＤＳを用いて画素毎にＮＤＶＩを演算する。ここで、複数の第２画素は複数の第１画素に関連付けられている。計算装置Ｐは、画素値ＮＩＲＳと画素値ＲＥＤＳとを用いて単位画素毎にＮＤＶＩを演算する。計算装置Ｐは、演算対象である複数の画素の中から、閾値Ｌ１００以上のＮＤＶＩ値を有する画素の数Ｎ１００を演算する。計算装置Ｐは、比率Ｎ１００／Ｍ１００、つまり、演算対象である画素の数Ｍ１００に対する算出された画素の数Ｎ１００の比率を求める。演算対象である画素の数Ｍ１００は典型的に、複数の第１画素の数に一致する。

画素分布は、比率Ｎ１００／Ｍ１００で表され、予め決められた基準値を基準とした、ＮＤＶＩ値の面積率ＡＲに対応する。例えば、階層Ｉに対して用いられる、基準値の下限（下限の閾値）は、９０であり、上限（上限の閾値）は１００である。階層ＩＩに対して用いられる、基準値の下限は、１００であり、上限は１１０である。階層ＩＩＩに対して用いられる、基準値の下限は１１０であり、上限は特に設定されていない。

熟度判定情報は、比率Ｎ１００／Ｍ１００と閾値Ｒ１００との比較結果に応じて生成される。具体的には、計算装置Ｐは、階層ＩＩＩに対する比率Ｎ１００／Ｍ１００と閾値Ｒ１００との大小関係を比較する。比率Ｎ１００／Ｍ１００が閾値Ｒ１００よりも大きいとき、計算装置Ｐは、「完熟」を示す熟度判定情報を生成する。

上述した判定方法によると、ＮＤＶＩ情報を用いることで、熟度判定の精度をさらに向上させることができる。

本発明の一実施形態による装置は、青果物の熟度を判定する熟度判定装置であって、１次元または２次元に配列された複数の画素を有し、前記青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、前記複数の画素は、各々が近赤外光を選択的に透過させる近赤外光透過フィルタを有する複数の第１画素、および各々が赤色の光を選択的に透過させる赤色光フィルタを有する複数の第２画素を含む、撮像装置と、前記複数の第１画素から得られる画素値、および前記複数の第２画素から得られる画素値に基づいて、予め決められた基準値を基準としてＮＤＶＩの強度分布の面積率を求め、前記面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、を備える。

本発明の一実施形態による方法は、青果物の熟度を判定する方法であって、前記青果物の少なくとも一部を含む画像を受け取る工程であって、前記画像は、近赤外光の強度分布および赤色の光の強度分布を含む、工程と、ＮＤＶＩの強度分布の面積率を予め決められた基準値を基準として求める工程と、前記面積率に応じて熟度判定情報を生成する工程と、を包含する。

本願発明の実施形態による判定方法はコンピュータプログラムによって実現され得る。コンピュータプログラムは、上記の実施形態１から５において説明した各種機能を実現するように構成され、例えば計算装置Ｐおよび熟度判定装置１００のＣＰＵ等を制御する。そして、これらの装置により取り扱われる情報は、その処理時に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納される。ＣＰＵはその情報を必要に応じて読み出し、修正・書き込みを行う。コンピュータプログラムを格納する記録媒体は、例えば、半導体記録媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等であり得る。また、ＣＰＵがコンピュータプログラムをロードして実行することにより、上記の実施形態１から５において説明した各種機能が実現されるだけでなく、そのコンピュータプログラムの指示に従い、オペレーティングシステムまたは他のアプリケーションプログラム等との協働によって、各種の機能が実現されてもよい。

可搬型の記録媒体にコンピュータプログラムを格納してその内容を市場に流通させることができる。また、インターネット等のネットワークを介して接続されたサーバコンピュータに転送することにより市場に流通させることもできる。この場合、サーバコンピュータが備える記憶装置も本願発明の範疇である。上記の実施形態１から５において説明した各種機能は、コンピュータが読み取り可能な媒体上の一つ以上の命令群またはコードとして格納され、または伝達され得る。コンピュータが読み取り可能な記録媒体は、ある場所から別の場所への、コンピュータプログラムの持ち運びを助ける媒体を含むコミュニケーションメディアやコンピュータ記録メディアの両方を含む。記録媒体は、汎用または特殊用途のコンピュータによってアクセスされることが可能な市販のいずれの媒体であって良い。

本明細書において、ハードウェアとソフトウェアとの同義性を明瞭に示すために、種々の例示的な要素、ブロック、モジュール、回路、およびステップは、概してその機能性に関して述べられてきた。そのような機能性がハードウェアとして実装されるかソフトウェアとして実装されるかは、個々のアプリケーション、およびシステム全体に課された設計の制約に依存する。当業者は、具体的なアプリケーションに対して、種々の方法で機能を実装し得るが、そのような実装の決定は、この開示の範囲から逸脱するものとして解釈されるべきではない。

本明細書の開示に関連して述べられた種々の例示的な論理ブロックおよび処理部は、本明細書で述べられた機能を実行するように設計された汎用用途プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、その他のプログラマブル論理デバイス、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェア部品、またはこれらを組み合わせることによって、実装または実行され得る。汎用用途プロセッサは、マイクロプロセッサであっても良いが、その代わりにプロセッサは従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであっても良い。プロセッサはまた、コンピューティングデバイスを組み合わせて実装されても良い。例えば、プロセッサは、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと接続された一つ以上のマイクロプロセッサ、またはその他のそのような構成を組み合わせることにより実現され得る。

本明細書の開示に関連して述べられた判定方法またはアルゴリズムのステップは、ハードウェア（特にプロセッサ）によって実行されるソフトウェアモジュール、またはこれら２つを組み合わせることによって直接的に具体化され得る。ソフトウェアモジュールは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または本分野で既知のあらゆる形態の記録媒体内に存在し得る。典型的な記録媒体は、プロセッサが記録媒体から情報を読み出し可能で、且つ、記録媒体に情報を書き込み可能なように、プロセッサに結合され得る。別の方法では、記録媒体はプロセッサに一体化されても良い。プロセッサおよび記録媒体は、ＡＳＩＣの中にあっても良い。ＡＳＩＣは、熟度判定装置に実施され得る。または、プロセッサおよび記録媒体は、ディスクリート要素として熟度判定装置内にあっても良い。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

本発明の実施形態による熟度判定法方法および熟度判定装置は、青果物の熟度、特に多数の果実を有する房の熟度を判定する方法および装置に好適に利用される。

１００、１００Ａ、１００Ｂ ：熟度判定装置
２００ ：撮像装置
２１０ ：レンズ
２１１ ：画素
２２０ ：イメージセンサ
２２０Ａ ：画素アレイ
２２１ ：画素
２２２ ：マイクロレンズ
２２３ ：光透過フィルタ
２２４ ：光電変換素子
３００ ：信号処理回路
３４０ ：ＲＯＭ
３４０ ：記録媒体
３５０ ：ＣＰＵ
４００ ：駆動回路
５００ ：報知装置
６００ ：出力ＩＦ
１０００ ：システム
Ｐ ：計算装置
Ｃ ：コントローラ
Ｆ ：房

Claims (19)

1. 青果物の熟度を判定する熟度判定装置であって、
   １次元または２次元に配列された複数の画素を有し、前記青果物の少なくとも一部を撮像して画像を取得する撮像装置であって、前記複数の画素は、各々が第１波長帯域の光を選択的に透過させる第１光透過フィルタを有する複数の第１画素を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域である、撮像装置と、
   前記複数の第１画素から得られる画素値に基づいて、予め決められた基準値を基準として前記第１波長帯域の光の強度分布の面積率を求め、前記面積率に応じて熟度判定情報を生成するように構成された信号処理回路と、
   を備える熟度判定装置。
2. 前記第１波長帯域は、近赤外光の波長帯域である、請求項１に記載の熟度判定装置。
3. 前記第１波長帯域は、８００ｎｍから９００ｎｍまでの近赤外光の波長帯域である、請求項２に記載の熟度判定装置。
4. 前記信号処理回路は、前記複数の第１画素の中から第１閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第１画素の数に対する算出された前記画素の数の第１の比率を求め、前記第１の比率と第２閾値との比較結果に応じて前記熟度判定情報を生成する、請求項１から３のいずれかに記載の熟度判定装置。
5. 前記複数の画素は、各々が第２波長帯域の光を選択的に透過させる第２光透過フィルタを有する複数の第２画素をさらに含み、前記第２波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する、前記第１波長帯域とは異なる波長帯域であり、
   前記信号処理回路は、前記複数の第１および第２画素から得られる画素値に基づいて前記熟度判定情報を生成する、請求項１から４のいずれかに記載の熟度判定装置。
6. 前記第２波長帯域は、赤色の光の波長帯域である、請求項５に記載の熟度判定装置。
7. 前記信号処理回路は、前記複数の第１画素から得られる画素値に、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値を画素毎に加算し、加算対象の画素の中から第３閾値以上または以下の加算値を有する画素の数を算出して、前記加算対象の画素の数に対する算出された前記画素の数の第２の比率を求め、前記第２の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成する、請求項５または６に記載の熟度判定装置。
8. 前記信号処理回路は、前記複数の第１画素から得られる画素値から、前記複数の第１画素と関連付けられた前記複数の第２画素から得られる画素値を画素毎に減算し、減算対象の画素の中から第３閾値以上または以下の減算値を有する画素の数を算出して、前記減算対象の画素の数に対する算出された前記画素の数の第３の比率を求め、前記第３の比率と第４閾値との比較結果に応じて前記熟度判定情報を生成する、請求項５または６に記載の熟度判定装置。
9. 前記信号処理回路は、前記複数の第２画素の中から第５閾値以上または以下の画素値を有する画素の数を算出して、前記複数の第２画素の数に対する算出された前記画素の数の第４の比率を求め、前記第１の比率と前記第２閾値との比較結果、および、前記第４の比率と第６閾値との比較結果に応じて前記熟度判定情報を生成する、請求項５または６に記載の熟度判定装置。
10. 前記複数の画素は、各々が青色の光を選択的に透過させる第３光透過フィルタを有する複数の第３画像、および、各々が緑色の光を選択的に透過させる第４光透過フィルタを有する複数の第４画像をさらに含み、
    前記信号処理回路は、前記第２、第３および第４画素から得られる画素値に基づいてカラー画像を生成し、かつ、前記基準値の情報を含み、前記熟度を表す熟度画像を前記熟度判定情報に基づいて生成する、請求項５から９のいずれかに記載の熟度判定装置。
11. 前記熟度判定情報を外部に出力する出力インタフェースをさらに備える、請求項１から１０のいずれかに記載の熟度判定装置。
12. 前記熟度判定装置と接続することが可能であり、前記熟度を報知する報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路をさらに備える、請求項１から１０のいずれかに記載の熟度判定装置。
13. 前記熟度を報知する報知装置と、
    前記報知装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、
    をさらに備える、請求項１から１０のいずれかに記載の熟度判定装置。
14. 前記報知装置は、前記駆動信号に応じて光を発光する光学機器、前記駆動信号に応じて音を出力する音出力器、前記駆動信号に応じて振動する振動機器、および、前記駆動信号に応じて熟度情報を表示する表示装置の少なくとも１つを備える、請求項１２または１３に記載の熟度判定装置。
15. 表示装置と、
    前記表示装置を駆動するための駆動信号を前記熟度判定情報に応じて生成する駆動回路と、
    をさらに備え、
    前記表示装置は、前記駆動信号に応じて前記カラー画像に前記熟度画像を重畳して表示する、請求項１０に記載の熟度判定装置。
16. 前記信号処理回路は、前記熟度判定情報に基づいて前記青果物の採取の可否を判定する、請求項１から１５のいずれかに記載の熟度判定装置。
17. 前記青果物の収穫時において前記青果物からの反射光は、青色の光から近赤外光までの波長帯域の間で、光の波長が長くなるほど強度が大きくなる反射率特性を有する、請求項１から１６のいずれかに記載の熟度判定装置。
18. 前記青果物は、多数の果実を有する房である、請求項１から１７のいずれかに記載の熟度判定装置。
19. 青果物の熟度を判定する方法であって、
    前記青果物の少なくとも一部を含む画像を受け取る工程であって、前記画像は、少なくとも第１波長帯域の光の強度分布を含み、前記第１波長帯域は、前記青果物からの反射光の強度が前記熟度に応じて変化する波長帯域である、工程と、
    前記第１波長帯域の光の強度分布の面積率を予め決められた基準値を基準として求める工程と、
    前記面積率に応じて熟度判定情報を生成する工程と、
    を包含する方法。

Images