JP2014183788A5 - - Google Patents

Description

人工衛星に搭載したセンサにより植物からの反射光（近赤外光）をセンシングすることにより、作物の生育状況、収穫期推定を行う衛星リモートセンシングは、夜間や雲の下のデータは取得できない上、衛星からデータが手元に届くまでに数日を要し、リアルタイムな情報となりにくい。また、衛星が周回しているため同一地点での情報は衛星の周期に依存することになるため、広い範囲のおおまかな情報は得られるが、狭い領域の正確な情報は得るのが難しかった

前記生育指標画像は、NDVI（Normalized Difference Vegetation Index）画像、SR（Simple Ratio）画像、GEMI（Global Environment Monitoring Index）画像、SAVI（Soil Adjusted Vegetation Index）画像、EVI（Enhanced Vegetation Index）画像、PVI（Perpendicular Vegetation Index）画像、PRI（Photochemical Reflectance Index）画像、SIPI（Structure Insensitive Pigment Index）画像、PSRI（Plant Sensing Reflectance Index）画像、CI（Chlorophyll Index）画像、mSR（Modified Simple Ratio）画像、mND（Modified Normalized Difference）画像、CCI（Canopy Chlorophyll Index）画像、WI（Water Index）画像、NDWI（Normalized Difference Water Index）画像、CAI（Cellulose Absorption Index）画像、RVI（Ratio Vegetation Index）画像、KVI（Kind of Vegetation Index）画像、およびDVI（Difference Vegetation Index）画像のいずれか、または、それらの組み合わせの画像とすることができる。

前記生育指標画像算出部には、前記特定部により特定された前記画像における前記作物である被写体が撮像された領域の赤色画像、およびNIR画像に基づいて、求められる前記近赤外線反射率から前記生育指標画像を算出し、前記生育指標画像の平均、分散、または高次分散に基づいて、前記作物の生育指標を算出させるようにすることができる。

消費者、小売業者、物流業者、および農家のそれぞれにより管理される端末装置１２は、制御部６１、問合部６２、操作部６３、通信部６４、IPアドレス記憶部６５、および表示部６６を備えている。制御部６１は、マイクロプロセッサおよびメモリなどからなり、メモリに記憶されたデータ、およびプログラムをマイクロプロセッサが実行することにより、端末装置１２の動作の全体を制御する。問合部６２は、キーボードやマウスなどからなる操作部６３が操作されることにより、センサカメラ１１により撮像されている画像、生育指標、および予想適正収穫時期の全て、または、そのいずれかを問い合せる指示がなされると、イーサネット（登録商標）ボードなどからなる通信部６４を制御して、IPアドレス記憶部６５に記憶されている、自らが管理する（または問い合わせたい）センサカメラ１１を特定するIPアドレスの情報と共にサーバ１４に対して、センサカメラ１１により撮像されている画像、生育指標、および予想適正収穫時期を問い合せる問合情報を生成させる。そして、問合部６２は、生成した問合情報を通信部６４よりサーバ１４に送信させる。また、通信部６４は、この問合情報に対応して、サーバ１４より送信されてくる応答情報を受信して、制御部６１に供給する。制御部６１は、この応答情報をLCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示部６６に表示する。

配送計画生成部９４は、生育状況情報、および予想適正収穫時期の情報に基づいて、収穫時期の情報から配送計画の情報を生成して、通信部９２より物流業者により管理運営される端末装置１２に送信する。

販売計画生成部９５は、生育状況情報、および予想適正収穫時期の情報に基づいて、収穫時期の情報から販売計画の情報を生成して、通信部９２より小売業者により管理運営される端末装置１２に送信する。

すなわち、例えば、図８で示されるように、センサカメラ１１が設置された位置が、ノードＮ１乃至Ｎ１０で示されており、基地局Ｋ、およびゲートウェイＧＷを介してインターネット（internet）に出力されるような場合、ノードＮ５に対応するセンサカメラ１１の生育状況情報は、近傍に存在するノードＮ４で示されるセンサカメラ１１、およびノードＮ３で示されるセンサカメラ１１を介して基地局Ｋに転送される。この間、ノードＮ４に対応するセンサカメラ１１は、ノードＮ５の生育状況情報と、自らの生育状況情報とをノードＮ３に転送する。さらに、ノードＮ１，Ｎ２がそれぞれの生育状況情報をノードＮ３に転送する。そして、ノードＮ３が、ノードＮ１乃至Ｎ５の生育状況情報をまとめて基地局Ｋに転送する。また、ノードＮ７で示されるセンサカメラ１１が、生育状況情報をノードＮ６で示されるセンサカメラ１１に転送し、ノードＮ６で示されるセンサカメラ１１が、ノードＮ６，Ｎ７の生育状況情報をまとめて基地局Ｋ、およびゲートウェイＧＷを介してインターネットに出力する。さらに、ノードＮ９，Ｎ１０で示されるセンサカメラ１１がそれぞれ生育状況情報をノードＮ８で示されるセンサカメラ１１に転送し、ノードＮ８で示されるセンサカメラ１１が、ノードＮ８乃至Ｎ１０の生育状況情報をまとめて、基地局Ｋ、およびゲートウェイＧＷを介してインターネットに出力する。

ステップＳ７１において、制御部８１は、センサカメラ動作状況監視部９１を制御して、RGB画像に基づいて、生育状況情報を送信してきているセンサカメラ１１に異常が発生しているか否かを判定する。より詳細には、センサカメラ動作状況監視部９１は、生育状況情報蓄積部８２に蓄積されている生育状況情報のうち、送信してきた生育状況情報に含まれるIPアドレスと同一であって、直前のタイミングで撮像されたRGB画像と現在撮像されたRGB画像とを比較し、その変化の大きさが所定値よりも大きいか否かに基づいて、センサカメラ１１に異常が発生しているか否かを判定する。すなわち、センサカメラ１１は、基本的に定点カメラであり、撮像間隔である所定の時間が、例えば、１日程度であったとしても、RGB画像に大きな変化は存在しないはずである。従って、ここで、大きな変化があったとすれば、センサカメラ１１に何らかの事故が発生しているものと考えられる。そこで、センサカメラ動作状況監視部９１は、直前のRGB画像と、今現在送信されてきたRGB画像との比較から、その変化が大きく、異常が発生しているとみなした場合、処理は、ステップＳ７２に進む。尚、センサカメラ１１に異常が発生しているか否かについては、NIR画像同士、NDVI画像同士、NDVI平均値、分散、高次分散同士、および生育指標同士を比較することでも判定することができる。

ステップＳ７６（図１１）において、制御部８１は、配送計画生成部９４を制御して、配送計画を作成する。より詳細には、配送計画生成部９４は、IPアドレスにより管理されている管理情報のうち、予想適正収穫時期が重なる範囲から作物の収穫量を推定し、契約物流業者が予め登録している、配送に必要な配送車輌の運搬能力などに基づいて、収穫開始日からどのような日程で配送処理を進めるのかを計画する。

＜４．第３の変形例＞
さらに、RGBからなる成分信号を検出するセンサ３１については、例えば、図１７の右部で示されるように、RGBのカラーフィルタＦＲ，ＦＧ，ＦＢの下に、図１７の左部で示されるような、例えば、SiO/SiNからなる積層膜等の誘電体積層膜により構成されるIRカットフィルタＦを設けるようにして、RGB信号成分を検出するセンサにはNIRが検出されないようにし、NIR用のセンサのブラック（可視光カット）フィルタＦＡの下に、IRカットフィルタＦを設けない構成としてもよい。尚、図１７は、図中右部がセンサ３１の２画素×２画素分の外観斜視図であり、図中左部がIRカットフィルタＦの拡大断面図であり、左部においては、赤外光IRがIRカットフィルタにより遮断され、赤外光IR以外の光Ｔのみがセンサに透過することが示されている。尚、ブラックフィルタＦＡについては、カラーフィルタなしの構成とするようにしてもよい。

Claims (20)

1. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像部と、
   前記画像における前記作物である被写体が撮像された領域を特定する特定部と、
   前記特定部により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出部と
   を含む情報処理システム。
2. 前記生育指標画像は、NDVI（Normalized Difference Vegetation Index）画像、SR（Simple Ratio）画像、GEMI（Global Environment Monitoring Index）画像、SAVI（Soil Adjusted Vegetation Index）画像、EVI（Enhanced Vegetation Index）画像、PVI（Perpendicular Vegetation Index）画像、PRI（Photochemical Reflectance Index）画像、SIPI（Structure Insensitive Pigment Index）画像、PSRI（Plant Sensing Reflectance Index）画像、CI（Chlorophyll Index）画像、mSR（Modified Simple Ratio）画像、mND（Modified Normalized Difference）画像、CCI（Canopy Chlorophyll Index）画像、WI（Water Index）画像、NDWI（Normalized Difference Water Index）画像、CAI（Cellulose Absorption Index）画像、RVI（Ratio Vegetation Index）画像、KVI（Kind of Vegetation Index）画像、およびDVI（Difference Vegetation Index）画像のいずれか、または、それらの組み合わせの画像である
   請求項１に記載の情報処理システム。
3. 前記撮像部は、RGB画像の各色彩のイメージセンサ、および、NIRのイメージセンサより構成される
   請求項１または２に記載の情報処理システム。
4. 前記撮像部は、RGB画像、およびNIRの各色彩の画素配列は、平面に配列されている
   請求項３に記載の情報処理システム。
5. 前記撮像部は、RGB画像、およびNIRの各色彩の画素は、光の進行方向に積層されて配列されている
   請求項３に記載の情報処理システム。
6. 前記特定部により特定された前記画像における前記作物である被写体が撮像された領域の赤色画像、およびNIR画像に基づいて、前記作物の前記生育指標画像を算出する生育指標画像算出部をさらに含み、
   前記生育指標算出部は、前記生育指標画像算出部により算出された前記生育指標画像に基づいて、前記作物の生育指標を算出する
   請求項１乃至５のいずれかに記載の情報処理システム。
7. 前記生育指標画像算出部は、前記特定部により特定された前記画像における前記作物である被写体が撮像された領域の赤色画像、およびNIR画像に基づいて、求められる前記近赤外線反射率から前記生育指標画像を算出し、前記生育指標画像の平均、分散、または高次分散に基づいて、前記作物の生育指標を算出する
   請求項６に記載の情報処理システム。
8. 前記特定部により特定された前記画像における前記作物である被写体が撮像された領域のRGB画像に基づいて、前記作物のRGB画像生育指標を算出するRGB画像生育指標算出部をさらに含み、
   前記生育指標算出部は、前記RGB画像生育指標算出部により算出された前記RGB画像生育指標に基づいて、前記作物の生育指標を算出する
   請求項１乃至７のいずれかに記載の情報処理システム。
9. 前記RGB画像生育指標算出部は、前記特定部により特定された前記画像における前記作物である被写体が撮像された領域のRGB画像における所定の色の割合からRGB画像生育指標を算出する
   請求項８に記載の情報処理システム。
10. 前記特定部により特定された前記画像における前記作物である被写体が撮像された領域のRGB画像であって、異なる角度から同一の前記作物である被写体を撮像した少なくとも２枚以上の画像より求められる視差画像に基づいた視差画像生育指標を算出する視差画像生育指標算出部をさらに含み、
    前記生育指標算出部は、前記視差画像生育指標算出部により算出された前記視差画像生育指標に基づいて、前記作物の生育指標を算出する
    請求項１乃至９のいずれかに記載の情報処理システム。
11. 前記視差画像生育指標算出部は、前記特定部により特定された前記画像における前記作物である被写体が撮像された領域のRGB画像であって、異なる角度から同一の前記作物である被写体を撮像した少なくとも２枚以上の画像より求められる視差画像に基づいて算出される、前記作物の撮像方向の距離により推定される作物の大きさから、前記視差画像生育指標を算出する
    請求項１０に記載の情報処理システム。
12. 前記撮像部を識別する情報に対応付けて、前記撮像部の位置、前記撮像部により撮像された画像、前記撮像部により撮像された画像の撮像日時、および前記撮像部により撮像された作物毎の生育指標を、管理情報として記憶する記憶部と、
    前記記憶部に記憶されている作物毎の生育指標、並びに、過去の作物毎の生育指標と収穫時期との関係に基づいて、前記作物の予想適正収穫時期を算出する収穫時期算出部とを含み、
    前記記憶部は、前記収穫時期算出部により算出された予想適正収穫時期の情報も併せて、前記撮像部を識別する情報に対応付けて記憶する
    請求項１乃至１１のいずれかに記載の情報処理システム。
13. 前記情報処理システムは、前記撮像部を備えたセンサ、前記管理情報を記憶する記憶部を管理するサーバ、および、前記サーバに収穫時期を問い合わせる端末装置からなり、
    前記サーバは、前記端末装置より前記予想適正収穫時期の問い合わせを受けると、前記記憶部に記憶されている管理情報に基づいて、前記予想適正収穫時期の問い合わせに対するものであって、前記記憶部に記憶されている管理情報に基づいた予想適正収穫時期を含む応答情報を生成し、前記端末装置に送信する
    請求項１２に記載の情報処理システム。
14. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像処理をし、
    前記画像における前記作物である被写体が撮像された領域を特定する特定処理をし、
    前記特定処理により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出処理をする
    ステップを含む情報処理システムの情報処理方法。
15. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像ステップと、
    前記画像における前記作物である被写体が撮像された領域を特定する特定ステップと、
    前記特定ステップの処理により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出ステップと
    を含む処理を情報処理システムを制御するコンピュータに実行させるプログラム。
16. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像部と、
    前記画像における前記作物である被写体が撮像された領域を特定する特定部と、
    前記特定部により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出部と
    を含む撮像装置。
17. 前記生育指標画像は、NDVI（Normalized Difference Vegetation Index）画像、SR（Simple Ratio）画像、GEMI（Global Environment Monitoring Index）画像、SAVI（Soil Adjusted Vegetation Index）画像、EVI（Enhanced Vegetation Index）画像、PVI（Perpendicular Vegetation Index）画像、PRI（Photochemical Reflectance Index）画像、SIPI（Structure Insensitive Pigment Index）画像、PSRI（Plant Sensing Reflectance Index）画像、CI（Chlorophyll Index）画像、mSR（Modified Simple Ratio）画像、mND（Modified Normalized Difference）画像、CCI（Canopy Chlorophyll Index）画像、WI（Water Index）画像、NDWI（Normalized Difference Water Index）画像、CAI（Cellulose Absorption Index）画像、RVI（Ratio Vegetation Index）画像、KVI（Kind of Vegetation Index）画像、およびDVI（Difference Vegetation Index）画像のいずれか、または、それらの組み合わせの画像である
    請求項１６に記載の撮像装置。
18. 前記撮像部は、RGB画像の各色彩のイメージセンサ、および、近赤外線のイメージセンサより構成される
    請求項１６に記載の撮像装置。
19. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像処理をし、
    前記画像における前記作物である被写体が撮像された領域を特定する特定処理をし、
    前記特定処理により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出処理をする
    ステップを含む撮像方法。
20. 作物の画像をRGB画像、およびNIR（近赤外線）画像として撮像する撮像ステップと、
    前記画像における前記作物である被写体が撮像された領域を特定する特定ステップと、
    前記特定ステップの処理により特定された前記画像における被写体が撮像された領域の、前記RGB画像、並びに前記NIR画像および前記RGB画像のうちの赤色画像から得られる生育指標画像に基づいて、前記作物の生育指標を算出する生育指標算出ステップと
    を含む処理を撮像装置を制御するコンピュータに実行させるプログラム。