JP2021012432A - 情報処理装置、情報処理方法、プログラム、センシングシステム - Google Patents
情報処理装置、情報処理方法、プログラム、センシングシステム Download PDFInfo
- Publication number
- JP2021012432A JP2021012432A JP2019124763A JP2019124763A JP2021012432A JP 2021012432 A JP2021012432 A JP 2021012432A JP 2019124763 A JP2019124763 A JP 2019124763A JP 2019124763 A JP2019124763 A JP 2019124763A JP 2021012432 A JP2021012432 A JP 2021012432A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- unit
- micro
- macro
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 115
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000005259 measurement Methods 0.000 claims abstract description 559
- 238000004458 analytical method Methods 0.000 claims abstract description 314
- 238000004364 calculation method Methods 0.000 claims abstract description 271
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000000295 complement effect Effects 0.000 claims description 125
- 238000012545 processing Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 26
- 230000000704 physical effect Effects 0.000 claims description 25
- 230000029553 photosynthesis Effects 0.000 claims description 24
- 238000010672 photosynthesis Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 claims description 12
- 230000010287 polarization Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 17
- 239000000872 buffer Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 239000002689 soil Substances 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 229930002875 chlorophyll Natural products 0.000 description 5
- 235000019804 chlorophyll Nutrition 0.000 description 5
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000243 photosynthetic effect Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001932 seasonal effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000005068 transpiration Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
特許文献1には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。
これはハイパースペクトラムカメラの場合であるが、他にもサイズ的、重量的、或いは動作の性質などにより小型の飛行体への搭載に向かないセンシングデバイスはあり、このような小型飛行体に搭載可能なセンシングデバイスの制限により、より高度な分析を行う運用が難しい場合がある。
そこで本開示では、例えば小型の飛行体を用いるリモートセンシングにおいて例えば高度な分析などにも運用できるシステム及びそのための情報処理装置を提供することを目的とする。
例えば空間分解能の高いセンシングのみではなく、空間分解能は低いが高機能なセンシングが可能なマクロ計測を合わせて行い、両者の検出情報に基づいた分析結果を生成する。
例えばマクロ分析の演算結果の分解能をミクロ計測分析演算部による演算結果を使って上げることなどにより、検出精度を向上させる。
また上記した本技術に係る情報処理装置においては、前記ミクロ計測分析演算部による演算結果の分解能は、前記マクロ計測分析演算部による演算結果の分解能より高いことが考えられる。
ミクロ計測分析演算部による演算結果の分解能が高いことで、マクロ計測分析演算部による演算結果では表れない情報を補完することができる。
また上記した本技術に係る情報処理装置においては、前記補完分析演算部は、前記第2の計測範囲について前記ミクロ計測分析演算部が分析結果として弁別した特定の対象についての物性値を、前記マクロ計測分析演算部の分析結果である前記第1の空間分解能の単位での物性値として求めた補完分析情報を生成することが考えられる。
例えば空間分解能の高いセンシングで計測対象の弁別を行う。高機能なセンシングが可能なマクロ計測によって、弁別された計測対象の物性値を求める。
光合成に関する情報としては、例えばSIF(solar-induced chlorophyll fluorescence)や、SIFから計算される各種情報がある。
例えばRGB画像やNDVI(Normalized Difference Vegetation Index)画像を用い、所定の閾値と比較するなどの手法で弁別を行う。
マクロ計測部はミクロ計測部よりも計測対象から遠い位置から、広い計測範囲の計測を行う。一方、ミクロ計測部はマクロ計測部よりも計測対象から近い位置から、比較的狭い計測範囲の計測を行う。
人工衛星にマクロ計測部を搭載し、上空の離れた位置から圃場などの計測対象の計測を行う。
無線操縦や自動操縦が可能な飛行体としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
なおレーザ画像検出及び測距のセンサはいわゆるLidar(light detection and ranging)として知られている。
即ち補完分析演算部の演算アルゴリズムを規定するプログラムを外部装置から取得できるようにする。
即ち補完分析演算部による補完分析結果の情報を画像化してユーザに提示できるようにする。
補完分析結果が複数の領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
各領域に色当てした画像と他の画像を、例えばオーバーレイや上書きなどの形で合成する。
他の画像として、ミクロ計測に基づく画像を用い、これを領域毎のマクロ計測に基づくカラーマッピング画像と合成する。
第2の計測範囲は第1の計測範囲に含まれるため、マクロ計測とミクロ計測が行われている範囲となる。この第2の計測範囲の全部又は一部を表す画像において、第1の空間分解能の単位毎に分析結果が視認できるようにする。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これにより高度な分析結果を生成するコンピュータ装置の実現が容易となる。
本技術に係るセンシングシステム、計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、上述の情報処理装置を備える。
これによりマクロ計測とミクロ計測を行い、更にそれらの計測結果を用いた分析結果を生成するシステムを構築できる。
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.処理例>
<4.各種例>
<5.まとめ及び変形例>
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成するマクロ計測部2とミクロ計測部3を示している。
飛行体200は、例えば操作者の無線操縦、或いは自動操縦等により、圃場300の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行う。
このような飛行体200に装着された撮像装置250が図1のミクロ計測部3となる。そして撮像装置250による撮像画像がミクロ計測としての検出データとなる。撮像装置250の撮像範囲がミクロ計測範囲RZ3となる。
この撮像装置220により、圃場300のセンシング(撮像)を行うことができる。即ち撮像装置220がマクロ計測部2となる。そして撮像装置220による撮像画像がマクロ計測としての検出データとなる。撮像装置220による撮像範囲がマクロ計測範囲RZ2となる。
またミクロ計測センサとして、デバイスサイズとして飛行体200に搭載させて運用が可能なものであれば、複数の波長帯の画像撮像を行うマルチスペクトラムカメラとして、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
これらは、例えば計測対象の形質、環境応答、環境状態(範囲、分布等)などの分析に適したセンサとすることが望ましい。なお形質とは計測対象の静的な形や特性である。環境応答とは計測対象の動的な形や特性である。環境状態とは計測対象の存在する環境の状態であり、計測対象の存在する範囲や分布、或いは環境の特性などである。
またこれらのセンサは、飛行体200に搭載し易い比較的小型軽量のセンサであることが望ましい。
そしてこれらのマクロ計測センサは、例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらはデバイスサイズや重量などの事情により、小型の飛行体200に搭載しにくいセンサであるが、本例のセンシングシステムでは、そのようなセンサを人工衛星210に搭載するものとする。
なお位置情報や撮像日時情報は撮像装置220の画像(検出データ)と撮像装置250の画像(検出データ)を対応づける情報ともなる。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、例えば撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
ミクロ計測部3は、計測範囲RZ3において個体毎の計測を行うことができる。例えば個体OB1,OB2,OB3,OB4・・・を示しているが、ミクロ計測部3によればこれらの形質、環境応答、環境状態や、それらに基づく領域の識別、などを計測又は判定できる。それらの情報は測定対象の振り分け(弁別)のために活用できる。
検出した情報は、ミクロ計測部3の検出によって弁別される状態に応じて振り分けて適用することができる。
大きいマス目がマクロ計測分解能、小さいマス目がミクロ計測分解能を表す。これらの分解能で得られる情報とは、例えば撮像画像の1画素(1ピクセル)の情報に相当する。
例えば図4Bに破線で示すように計測対象があった場合、細線で示す小さいマス目の分解能で計測対象の形質、環境応答、領域等が判別でき、太線で示す大きいマス目の分解能で物性値等が計測できる。
具体的には例えば、計測対象が「葉」であるとすると、大きいマス目のマクロ計測分解能で得られる葉の物性値は、その大きいマス目内で小さいマス目の単位(ミクロ計測分解能)で得られる葉の形状、面積比率等に応じて調整して得ることができる。
先述したように、昨今、ドローン等の飛行体200を用いたセンシングが多く行われ、可視光(RGB)の計測による形質の計測に加え、色々な光学波長や手法を用いることで対象の物性、生理状態などを計測することができる。しかし小型の飛行体200に搭載可能なセンシングデバイスは大きさや重量などの制限を受けることが多い。
また、スキャンには一定の時間を要しホバリングする必要があり、測定時間が長く、飛行体200のバッテリーの容量では広い土地を測定できない場合も多い。
また、スキャン中に飛行体200の振動が影響し、測定精度が低下してしまうこともある。
また、より分光分解能が高いFTIR方式は、原理的に機器サイズが長く、飛行体200への搭載が難しい。
高精度のセンシングではセンサの温度を低温に保つことで熱雑音を低下させることができる。分光光度計など室内で使われるセンサについてはペルチェ素子などで低温に保つことで精度を保つものが存在するが、ペルチェ素子は消費電力が大きいため、電力が限られる飛行体200への搭載には適さない。
エアコンディショナーに見られるようなコンプレッサーを用いたヒートポンプ式の温度調整デバイスは電力効率はよいが、飛行体200に搭載できるサイズ・重量ではない。
上記したハイパースペクトラムカメラ、FTIR、大判イメージャの搭載や、低温制御などについては、人工衛星210においてはさほど困難ではない。
ところが、測定対象がモデルの形状と齟齬なく広がっている場合はよいものの(植生では熱帯雨林など)、例えば圃場300の計測(スカウティング)では、形状そのものがこれから計測すべきもので特定できないから(作物が育ってゆく過程で形が変わったり、なんかの問題で成長が悪かったり枯れかかっているなど)正しく測定することができない。
例えば人間の体重を知りたい場合、人間1人の体重がわかればよく、1cm3あたりの重量は必要ではない。しかし計測に必要な分解能を考えた場合、人間がプールの中にいる状態で体重を測定をしようとした場合は、人間と水の境界を識別して人と水の容積と重量を弁別して計測することが求められる。
即ち、計測範囲について個体単位の識別・抽出・分析ができる空間分解能を持つミクロ計測部3と、空間分解能は低いもののミクロ計測部3に存在しない形質や環境応答を計測することができるマクロ計測部2の2つの計測部を有するものとする。
そしてこれら2つの計測部で取得した情報が有線あるいは無線・メディアデバイスを通し入力される情報処理装置1において、補完分析演算を行うことで、ミクロ計測部3で識別・抽出した特定の計測対象についてマクロ計測部2の計測に基づく形質や環境応答を分析することができるようにする。
この時、飛行体200はRGB+NDVI2眼カメラ、衛星はハイパースペクトラムカメラと言う組み合わせが考えられる。
RGB画像,NDVI画像をミクロ計測部3により得、また例えば光合成に関する情報としてSIF(Solar-Induced chlorophyll Fluorescence)を人工衛星210側のマクロ計測部2で捉え、光合成速度に関する情報を得る。
つまり飛行体200にハイパースペクトラムカメラを搭載しなくても、人工衛星210側からの物性計測を用いて飛行体200によるセンシングの高度化を図る。
以上のセンシングシステムにおいてマクロ計測部2及びミクロ計測部3からの検出情報を取得して分析等の処理を行う情報処理装置1について説明する。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
表示部56では、CPU51の指示に基づいて表示画面上に各種の分析結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
この通信部60は例えばミクロ計測部3(撮像装置250)やマクロ計測部2(撮像装置220)との通信を行う通信デバイスとされる場合もある。
例えばストレージデバイス6から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス6の一態様である。
またこの図5の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス6(例えばリムーバブル記憶媒体)から読み出されたりして図5の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各種バッファ等の記憶機能は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
そこで、まず植生の光合成に関する情報の分析に関する背景を述べておく。
しかしここで使う太陽暗線O2Aは、波長幅が1nm程度と細いため、一般的にはハイパースペクトラムカメラやFTIRといったセンサによるセンシングが適する。こういった機材は人工衛星210には搭載が容易なものの、飛行体200にとってはその大きさや重さから搭載が難しい。
また、光学系の設計においても、斜入射特性を考えると、センシング画像の中心部だけ切り出して使わざるをえず十分な測定範囲を測定できない。
フィルタの透過波長は、フィルタに入射する光軸の角度により影響を受け、斜めに入るほど長波長側へずれてしまう。つまり、画像の中心から周囲へ行けば行くほど透過波長がずれてしまう。例えば一例として、760nmを透過させるフィルタにおいて、わずか9度傾いただけで2nmもずれることがある。
波長幅が1nmという狭帯域フィルタでは、所望の特性を得ることができない。また、画像の中心においても、レンズの中心(光軸中心)を通りフィルタに入射する光はフィルタに直角に入射するが、レンズの周辺部を通り結像する光は傾きをもってフィルタに入射するため、半値幅が広がってしまう。
改善のために大きなレンズを用いると飛行体200への搭載性が悪化し、絞りを強くすると暗くなるから露光時間がさらに増加し、飛行体200への搭載が著しく困難となる。
例えば図7Aは、植物を撮像したときに、その撮像した測定範囲RZ3のうち、太陽光に面している葉(陽葉)のみを抽出している。例えばNDVI画像について、NDVI>0.5として植物のみ取り出し(例えば土の画像の部分を除外する)、さらに一定のNIR反射強度以上を取り出すことで、陽葉のみを抽出できる。
光合成量は陽葉が寄与する比率が多いと考えられるため、陽葉のみを抽出することは、光合成に関する情報の分析にとって意味がある。
なお図7Aではミクロ計測センサ3Sの分解能に相当するラインを画像の上部及び左部に付記している。
図7Bにマクロ計測センサ2Sで得られた物性値(例えばSIF)のイメージを示している。各マス目の単位でSIFの値が得られている。
この各マス目の単位のSIF値は、単に計測されたそのままではなく、例えば図7Aのように抽出された陽葉の比率などにより調整することで、より有意な情報となる。
なお、分析結果の物性値をRGB画像と合成して表示出力を行うことは一例で、RGB画像ではなく、例えばNDVI画像や、図7Aの陽葉抽出画像と合成して出力してもよい。
マクロ計測部2は上述したように例えば人工衛星210に搭載される。マクロ計測用センサ2SはハイパースペクトラムカメラやFTIRといった大型のセンサで、人工衛星210に搭載できるが飛行体200には搭載しづらいセンサである。これらは一般的には可視光外のセンサで、主に物性を計測するために用いられる。
ストレージデバイス6は上述のようにメモリカード、ディスク状記録媒体など、主にリムーバブル記録媒体が想定される。
或いはマクロ計測センサ2Sによる検出データは、ネットワーク5を介して通信部60により受信される場合がある。
さらにマクロ計測センサ2Sによる検出データはストレージデバイス6を介して取得される場合もある。
なおセンサ入力部11,12では、光源分光補正などの前段処理を行うようにしてもよい。
例えばマクロ計測分析演算部21は、ハイパースペクトラムカメラやFTIRによる多波長のデータから、植生指数や、NIRS(近赤外分光法)、FLD法によるSIF算出などを行う。
例えばマクロ計測分析値バッファ22は、マクロ計測分析演算部21で算出されたSIFや、マクロ計測部2から通知された位置情報等を保持する。
例えばミクロ計測分析演算部23は画像認識処理を行って弁別等を行う。或いはミクロ計測分析演算部23は、色や輝度値などを用いて対象ごとに分けてもよいし、物質成分の量を求めた上で弁別に利用してもよい。
これらの処理によりミクロ計測分析演算部23は、例えば陽葉の部分を弁別する。
例えばミクロ計測分析値バッファ24は、ミクロ計測分析演算部23で求められた陽葉部分を弁別する情報や、ミクロ計測部3から通知された位置情報、さらにはRGB画像やNDVI画像等を保持する。
例えばミクロ計測の測定範囲RZ3について、ミクロ計測部3が弁別した特定の対象についての形質や環境応答を、マクロ計測部2の情報を用い、マクロ計測解像度単位で求める演算を行う。
この補完分析演算部27による補完分析演算は、マクロ計測分析演算部21による演算結果を、ミクロ計測分析演算部23による演算結果を使って補完する演算処理とすることが考えられる。これにより、マクロ分析の演算結果の分解能をミクロ計測分析演算部による演算結果を使って上げることができ、検出精度を向上させることができる。
また、ミクロ計測分解能とマクロ計測分解能の違いにより、ミクロ計測分析演算部23による演算結果の分解能は、マクロ計測分析演算部21による演算結果の分解能より高くすることが可能である。このため補完分析演算は、マクロ計測分析演算部21による演算結果を、ミクロ計測分析演算部23による演算結果を使って補完する演算処理とすることで、マクロ計測分析演算部による演算結果では表れない情報を補完するような補完結果を得ることが可能となる。
補完分析演算部27が陽葉のみのSIF量を求めたのであれば、解析データバッファ31はその情報を保持する。またRGB画像やNDVI画像を保持する場合もある。
以上の機能を有する情報処理装置1の処理例を説明していく。
図8に情報処理装置1の処理例を示す。
ステップS102で情報処理装置1はマクロ計測分析演算部21の機能により、マクロ計測分析演算を行う。例えば光合成に関する情報としてSIF演算を行う。SIF演算については太陽光スペクトル中の暗線によるFLD法が知られている。
ステップS104で情報処理装置1はミクロ計測分析演算部23の機能により、ミクロ計測分析演算を行う。例えば陽葉抽出を行う。
なおミクロ計測分析演算部23は、図10に示すRGB画像、NIR画像、R画像を取得しているものとする。
NDVI=(NIR−R)/(NIR+R)
で求められる。ここで「R」は可視域赤の反射率、「NIR」は近赤外域の反射率である。
NDVIの値は「−1」から「1」の間に正規化した数値であり、正の大きい数字になるほど植生が濃いことを表している。
図11Aには、このNDVIの値によるNDVI画像を模式的に示している。
このNIR値が所定の閾値以上となっている画素を抽出した画像NDVIpは、陽の当たっている部分を抽出したフィルタリング画像といえる。
この画像NDVIp−prは、陽葉を抽出した情報(画像)となる。
即ちマクロ計測分析演算で行った、マクロ計測分解能の領域(領域毎のSIF量)と、図11Dのミクロ計測分析演算結果の画像NDVIp−prの位置合わせを行う。
なお図13Aには、マクロ計測に基づくSIFを模式的に示している。SIFはマクロ計測分解能として図示するマス目の単位(マクロ分解能単位W1からWn)で求められている。図では濃さによりSIF量の違いを表しているものとする。
図13Bはミクロ計測分解能を細線の枠で示し、太線でマクロ計測分解能による1つのマクロ分解能単位W1を示している。図13Cは上述した陽葉を抽出した画像NDVIp−pr上に、太線で1つのマクロ分解能単位W1を示している。
例えば最初に、マクロ分解能単位W1のSIFを変数aとする。
算出した陽葉のSIF量cは、現在対象のマクロ分解能単位におけるSIF量の値として保存する。
これによりユーザは表示部56等で、分析結果を確認することができる。
図15は上述のように得られたマクロ分解能単位毎の補完分析結果に対して色当て(カラーマッピング)した画像を生成する例である。ここでいう「色当て」とは、予め数値範囲毎に対応する色を設定しておき、対象の値に応じて色を選択し、該当画素に割り当てることをいう。
図15Aは補完分析結果として得られたマクロ分解能単位毎のSIF(上記cの値)を示している。このようなSIFの値について色当てを行って、図15Bのようなカラーマッピング画像を生成する。これは各領域についてSIF(c値)に該当する色が割り当てられた画像となる。
なお、図面では、斜線の種類や点描等により色の違いを示している。また有効なSIF値が存在しないマクロ分解能単位(例えば陽葉が存在しない部分など)は「NO DATA」として示している。「NO DATA」で示す領域については例えば背景色(白)が割り当てられる。
そしてそれぞれのマクロ分解能単位で陽葉部分に色当てを行って図16Cのようなカラーマッピング画像を生成する。陽葉の部分のみが、そのSIFに応じた色となる画像である。そのため、ユーザが領域毎の陽葉の分布と、その光合成状況を把握し易い画像となる。
図17Aは補完分析結果として得られたマクロ分解能単位毎のSIF(上記cの値)を示している。図17Bは、RGB画像である。
そして図17Cに示すように、RGB画像において、各マクロ分解能単位にSIF値に応じて割り当てられた色がオーバーレイされるようにする。図では該当画素部分に色が付けられている状態を示している。
つまり、RGB画像上で、分析結果を示す色が表現される画像となる。そのため、ユーザが通常視認する画像上で例えば光合成状況を示す画像となり、ユーザが植生状況を把握し易い画像となる。
なお、オーバーレイでなく、該当の画素を割り当てた色で上書きするようにしてもよい。
ところで、以上の処理例では、陽葉部分を考慮したSIFの分析結果を出力する例としたが、その場合の変形例や、他のセンシングや出力情報の例が各種考えられる。以下では、マクロ計測、ミクロ計測と出力の組み合わせの例を挙げていく。
・ミクロ計測:RGB、NDVI、NIR反射率(陽葉弁別用)
・出力:光合成状態に関する情報
これは上記処理例に相当する組み合わせである。
上述した処理例では、ミクロ計測に基づいては陽葉を抽出しているだけだが、陽葉と陰葉(陽の当たっていない葉)を重みづけして使ってもよい。
・ミクロ計測:RGB、NDVI、NIR反射率(陽葉弁別用)、偏光センサ(またはステレオカメラまたはToFセンサ)(葉の角度測定用)
・出力:光合成状態に関する情報
葉の角度を測定することで、葉の角度情報を抽出条件に使ったり、重みづけして使うことで精度を上げることができる。
・ミクロ計測:RGB(土と植物の弁別用)
・出力:葉のクロロフィル濃度等の葉や個体に関する情報
このような例では、一般的なRGBカメラを搭載したドローン等の飛行体200と衛星センシングを結合したNDVI等の植生指数提供サービスを構築しやすいものとなる。
・ミクロ計測:RGB(土と植物の弁別用)、偏光センサ(またはステレオカメラまたはToFセンサ)(葉の角度測定用)
・出力:葉のクロロフィル濃度等の葉や個体に関する情報
葉の角度を測定することで、BRDF(Bidirectional Reflectance Distribution Function)補正(光学的補正)が可能になり精度を上げることができる。
・ミクロ計測:RGB、NDVI、NIR反射率(陽葉弁別用)、偏光センサ(またはステレオカメラまたはToFセンサ)(葉の角度測定用)
・出力:葉の蒸散量に関する情報
赤外線で葉温を計測でき、ここから蒸散量を知ることができる。一般的に葉が太陽に照らされているかどうかで葉温は大きく変動するが、陽葉の抽出及び葉の角度を測定し、同一条件の値のみ抽出することで、蒸散に伴う葉温の低下を個体間で比較することができる。
例えばオフィスビル等の建物で中央熱源を用いている場合には、建物全体のエネルギー使用量が把握できる。ところが建物の一部(例えば或るフロアに入居している事業所のエネルギー使用量が不明確な場合がある。
こうした場合に、建物の場所毎(フロア毎)に照明、コンセントなど用途別のエネルギー使用量の計測値があれば、それを用いて、事業所等のエネルギー使用量を推計することができる。
このような場合に、建物全体のエネルギー使用量をマクロ計測として計測する。
また建物の場所毎の照明、コンセントなど用途別のエネルギー使用量をミクロ計測として計測する。
すると出力として、建物の一部(例えば或る事業所)で使用するエネルギーの量の推計値を得ることができる。
そして失業率の推移の情報を、季節指数により調整してものを出力とする。これにより例えば季節要因を除いた失業率の推移を観測できるような情報を得ることができる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、計測対象のマクロ計測範囲RZ2(第1の計測範囲)についてマクロ計測分解能(第1の空間分解能)でセンシングを行うマクロ計測部2からの検出データについて演算を行うマクロ計測分析演算部21を備える。また情報処理装置1はマクロ計測範囲RZ2に含まれるミクロ計測範囲RZ3(第2の計測範囲)に対してマクロ計測分解能前より高い分解能であるミクロ計測分解能(第2の空間分解能)でセンシングを行うミクロ計測部3からの検出データについて演算を行うミクロ計測分析演算部23を備える。さらに情報処理装置1は、マクロ計測分析演算部21による演算結果とミクロ計測分析演算部23による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算部27を備える。
この場合、空間分解能の高いセンシングが可能なミクロ計測部3の検出データと、空間分解能は低いもののより高機能なセンシングが可能なマクロ計測部2の検出データを合わせた演算を行うことで、ミクロ計測部3だけ、あるいはマクロ計測部2だけではできなかった、計測対象の形質や環境応答が計測できるようになる。
これによりマクロ分析の演算結果の分解能をミクロ計測分析演算部による演算結果を使って上げることなどにより、検出精度を向上させることができる。
空間分解能の高いセンシングが可能なミクロ計測部3の検出データによれば、計測範囲における対象物の弁別に有利である。例えば陽の当たっている葉(陽葉)の部分の弁別や、土と葉の弁別などは、ミクロ計測部3の検出データによることが適している。
一方で、高機能なセンシングが可能なマクロ計測部2の検出データによれば、物性値を精密に算出できる。従ってミクロ計測部3とマクロ計測部2の利点を生かした補完分析情報を得ることができる。
例えば弁別された計測対象の形質、環境応答、分布などとともに、上述したSIF等の光合成に関する情報などの環境応答を示した分析結果を得ることができる。
光合成に関する情報としては、例えばSIFや、SIFから計算される各種情報がある。
この場合、光合成に関する情報を、ミクロ計測による形質、環境応答、範囲、分布等に応じて出力することができるようになる。
例えばRGB画像やNDVI画像を用い、所定の閾値と比較するなどの手法で弁別を行う。
この場合、例えば陽葉の部分の弁別、土と植物の部分の弁別などを適切に行うことができる。特にマクロ計測部2により光合成に関する情報を得る場合、陽葉部分や植物部分の弁別結果と合わせて、光合成に関する情報(例えばSIF)を表示できるようにしたり、値を調整したりすることで、より有意な情報を出力できる。
マクロ計測部2が、計測対象4から比較的離れている状況とすれば、比較的大規模な装置、デバイスをマクロ計測部2或いはマクロ計測部2を搭載した装置として実現しやすくなる。
なおミクロ計測部3は飛行体200に搭載され、マクロ計測部2は人工衛星210に搭載される例を挙げたが、マクロ計測部2もドローン等の飛行体200に搭載されてもよい。例えばより上空を飛行する飛行体200にマクロ計測部2を搭載してマクロ計測範囲RZ2のセンシングを行うことも考えられる。
人工衛星210の場合、比較的高機能であったり規模の大きいセンサを搭載し易いため、高度なセンシングを行うマクロ計測部2の搭載に適している。
例えば人工衛星210のマクロ計測部2を多数の農業主、センシング実施組織などで共用することで、運用コストの低減やマクロ計測センサ2Sの有効利用を図ることもできる。
なお人工衛星210を用いずに、飛行体200又は比較的大型の飛行体にマクロ計測部2を搭載し、ミクロ計測部3より高い位置からセンシングを行う例も考えられる。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
小型の飛行体200の場合、圃場300などの計測対象から比較的低い高度でセンシングを行う。そしてこの場合、空間解像度の高いセンシングに適している。
また飛行体200にはマクロ計測部2を搭載しないことで、小型の飛行体200の運用が容易になったり、センシングを行うためのコストを低減できる。
これらは例えば形状分析など、計測対象の形質、環境応答、範囲、分布などの分析に適したセンサである。
またこれらは比較的、飛行体200に搭載し易いセンサであり、ドローン等の小型無人飛行体としての飛行体200の運用に適している。
これらは例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらは比較的、飛行体200に搭載しにくいセンサである。そこで例えば人工衛星210に搭載するものとすれば、ドローン等の小型無人飛行体としての飛行体200の運用を容易化できる。
即ち補完分析演算部の演算アルゴリズムを規定するプログラムを外部装置から取得できるようにしている。
例えばネットワーク5やストレージデバイス6などの外部装置から補完分析演算のためのプログラムを取得し、補完分析演算プログラム・データ保持部26に保存するようにし、このプログラムに基づいて補完分析演算部27の演算を行う。これにより情報処理装置1は多様な補完分析演算が可能となる。
補完分析結果は、そのままでは人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこでデータ保存・出力部30では、補完分析結果を人への提示に適した状態に画像化して表示部56やネットワーク5、或はストレージデバイス6に出力する。これにより、補完分析結果を理解しやすい画像でユーザに提供できる。
即ち補完分析結果がマクロ分解能単位である領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
これにより、色別で分析結果を認識できる画像をユーザに提供できる。
データ保存・出力部30は、他の画像とカラーマッピングした画像を例えばオーバーレイや上書きなどの形で合成することで、他の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
これにより、マクロ計測で得られた情報をミクロ計測範囲RZ3内での弁別結果を表現する画像上で視認することができるようにな画像をユーザに提供できる。
これにより、マクロ計測で得られた情報をミクロ計測範囲RZ3内での計測対象に合わせて視認することができるような画像をユーザに提供できる。
なお、出力画像は、ミクロ計測範囲RZ3の全部ではなく、ミクロ計測範囲RZ3の一部を表す画像についてマクロ計測分解能の単位で補完分析結果を示した画像としてもよい。
即ち図8、図9、図12の処理を情報処理装置に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部による演算結果と前記ミクロ計測分析演算部による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算部と、を備えた
情報処理装置。
(2)
前記補完分析演算は、
前記マクロ計測分析演算部による演算結果を、前記ミクロ計測分析演算部による演算結果を使って補完する演算処理である
上記(1)に記載の情報処理装置。
(3)
前記ミクロ計測分析演算部による演算結果の分解能は、前記マクロ計測分析演算部による演算結果の分解能より高い
上記(1)又は(2)に記載の情報処理装置。
(4)
前記補完分析演算部は、
前記第2の計測範囲について前記ミクロ計測分析演算部が分析結果として弁別した特定の対象についての物性値を、前記マクロ計測分析演算部の分析結果である前記第1の空間分解能の単位での物性値として求めた補完分析情報を生成する
上記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記物性値は植物の光合成に関する情報である
上記(4)に記載の情報処理装置。
(6)
前記ミクロ計測分析演算部は、RGB画像又は植生指数に関する情報に基づいて測定対象の弁別を行う
上記(4)又は(5)に記載の情報処理装置。
(7)
前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
上記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記マクロ計測部は、人工衛星に搭載されている
上記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
上記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
上記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
外部装置から入力される前記補完分析演算部の補完分析演算プログラムを保持する保持部を有する
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記補完分析情報に基づく出力画像データを生成して出力する出力部を有する
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
前記出力部は、補完分析結果をカラーマッピングした出力画像データを生成する
上記(13)に記載の情報処理装置。
(15)
前記出力部は、補完分析結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
上記(13)に記載の情報処理装置。
(16)
前記他の画像は、前記ミクロ計測分析演算部の演算結果に基づく画像である
上記(15)に記載の情報処理装置。
(17)
前記出力画像データは、前記第2の計測範囲の全部又は一部を表す画像について前記第1の空間分解能の単位で補完分析結果を示した画像データである
上記(13)から(15)のいずれかに記載の情報処理装置。
(18)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算処理と、
前記マクロ計測分析演算処理による演算結果と前記ミクロ計測分析演算処理による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算処理と、
を情報処理装置が実行する情報処理方法。
(19)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算処理と、
前記マクロ計測分析演算処理による演算結果と前記ミクロ計測分析演算処理による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算処理と、
を情報処理装置に実行させるプログラム。
(20)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部による演算結果と前記ミクロ計測分析演算部による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算部と、を備えた
センシングシステム。
Claims (20)
- 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部による演算結果と前記ミクロ計測分析演算部による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算部と、を備えた
情報処理装置。 - 前記補完分析演算は、
前記マクロ計測分析演算部による演算結果を、前記ミクロ計測分析演算部による演算結果を使って補完する演算処理である
請求項1に記載の情報処理装置。 - 前記ミクロ計測分析演算部による演算結果の分解能は、前記マクロ計測分析演算部による演算結果の分解能より高い
請求項1に記載の情報処理装置。 - 前記補完分析演算部は、
前記第2の計測範囲について前記ミクロ計測分析演算部が分析結果として弁別した特定の対象についての物性値を、前記マクロ計測分析演算部の分析結果である前記第1の空間分解能の単位での物性値として求めた補完分析情報を生成する
請求項1に記載の情報処理装置。 - 前記物性値は植物の光合成に関する情報である
請求項4に記載の情報処理装置。 - 前記ミクロ計測分析演算部は、RGB画像又は植生指数に関する情報に基づいて測定対象の弁別を行う
請求項4に記載の情報処理装置。 - 前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
請求項1に記載の情報処理装置。 - 前記マクロ計測部は、人工衛星に搭載されている
請求項1に記載の情報処理装置。 - 前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
請求項1に記載の情報処理装置。 - 前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
請求項1に記載の情報処理装置。 - 前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
請求項1に記載の情報処理装置。 - 外部装置から入力される前記補完分析演算部の補完分析演算プログラムを保持する保持部を有する
請求項1に記載の情報処理装置。 - 前記補完分析情報に基づく出力画像データを生成して出力する出力部を有する
請求項1に記載の情報処理装置。 - 前記出力部は、補完分析結果をカラーマッピングした出力画像データを生成する
請求項13に記載の情報処理装置。 - 前記出力部は、補完分析結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
請求項13に記載の情報処理装置。 - 前記他の画像は、前記ミクロ計測分析演算部の演算結果に基づく画像である
請求項15に記載の情報処理装置。 - 前記出力画像データは、前記第2の計測範囲の全部又は一部を表す画像について前記第1の空間分解能の単位で補完分析結果を示した画像データである
請求項13に記載の情報処理装置。 - 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算処理と、
前記マクロ計測分析演算処理による演算結果と前記ミクロ計測分析演算処理による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算処理と、
を情報処理装置が実行する情報処理方法。 - 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算処理と、
前記マクロ計測分析演算処理による演算結果と前記ミクロ計測分析演算処理による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算処理と、
を情報処理装置に実行させるプログラム。 - 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部による演算結果と前記ミクロ計測分析演算部による演算結果とを用いた補完分析演算を行い、補完分析情報を生成する補完分析演算部と、を備えた
センシングシステム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124763A JP7415347B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
CN202080046947.XA CN114072843A (zh) | 2019-07-03 | 2020-06-25 | 用于生成植被状态的多空间分辨率测量 |
EP20739476.8A EP3994609A1 (en) | 2019-07-03 | 2020-06-25 | Multi-spatial resolution measurements for generation of vegetation states |
US17/597,073 US20220254014A1 (en) | 2019-07-03 | 2020-06-25 | Information processing apparatus, information processing method, program, and sensing system |
PCT/JP2020/025082 WO2021002279A1 (en) | 2019-07-03 | 2020-06-25 | Multi-spatial resolution measurements for generation of vegetation states |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124763A JP7415347B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012432A true JP2021012432A (ja) | 2021-02-04 |
JP7415347B2 JP7415347B2 (ja) | 2024-01-17 |
Family
ID=71575715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124763A Active JP7415347B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220254014A1 (ja) |
EP (1) | EP3994609A1 (ja) |
JP (1) | JP7415347B2 (ja) |
CN (1) | CN114072843A (ja) |
WO (1) | WO2021002279A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021108650A (ja) * | 2020-01-15 | 2021-08-02 | 国立研究開発法人農業・食品産業技術総合研究機構 | 農作物関連値導出装置および農作物関連値導出方法 |
JP6970946B1 (ja) * | 2021-03-07 | 2021-11-24 | 西日本技術開発株式会社 | 分布図作成装置、分布図作成方法、及び、プログラム |
JP7189585B1 (ja) | 2022-02-07 | 2022-12-14 | 国立大学法人北海道大学 | 情報処理システムおよび分光計測器 |
WO2023053752A1 (ja) * | 2021-10-01 | 2023-04-06 | ソニーセミコンダクタソリューションズ株式会社 | スタイラス |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021200400A1 (de) | 2021-01-18 | 2022-07-21 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Erfassung von Pflanzen oder Pflanzenbestandteilen, Computerprogrammprodukt, Erfassungseinrichtung und landwirtschaftliches Fahrzeug |
CN113989652B (zh) * | 2021-12-27 | 2022-04-26 | 中国测绘科学研究院 | 分层多重判定规则下的耕地变化检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088876A (ja) * | 2010-10-19 | 2012-05-10 | Hitachi Ltd | スペクトル情報抽出装置 |
WO2015145764A1 (ja) * | 2014-03-28 | 2015-10-01 | 株式会社日立製作所 | 画像生成システム及び画像生成方法 |
JP2017035055A (ja) * | 2015-08-12 | 2017-02-16 | コニカミノルタ株式会社 | 植物生育指標測定装置、該方法および該プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
US9824276B2 (en) * | 2014-04-15 | 2017-11-21 | Open Range Consulting | System and method for assessing rangeland |
US10664750B2 (en) * | 2016-08-10 | 2020-05-26 | Google Llc | Deep machine learning to predict and prevent adverse conditions at structural assets |
CN108346143A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 一种基于无人机多源图像融合的作物病害监测方法和系统 |
-
2019
- 2019-07-03 JP JP2019124763A patent/JP7415347B2/ja active Active
-
2020
- 2020-06-25 CN CN202080046947.XA patent/CN114072843A/zh not_active Withdrawn
- 2020-06-25 EP EP20739476.8A patent/EP3994609A1/en active Pending
- 2020-06-25 US US17/597,073 patent/US20220254014A1/en active Pending
- 2020-06-25 WO PCT/JP2020/025082 patent/WO2021002279A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088876A (ja) * | 2010-10-19 | 2012-05-10 | Hitachi Ltd | スペクトル情報抽出装置 |
WO2015145764A1 (ja) * | 2014-03-28 | 2015-10-01 | 株式会社日立製作所 | 画像生成システム及び画像生成方法 |
JP2017035055A (ja) * | 2015-08-12 | 2017-02-16 | コニカミノルタ株式会社 | 植物生育指標測定装置、該方法および該プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021108650A (ja) * | 2020-01-15 | 2021-08-02 | 国立研究開発法人農業・食品産業技術総合研究機構 | 農作物関連値導出装置および農作物関連値導出方法 |
JP6970946B1 (ja) * | 2021-03-07 | 2021-11-24 | 西日本技術開発株式会社 | 分布図作成装置、分布図作成方法、及び、プログラム |
JP2022136348A (ja) * | 2021-03-07 | 2022-09-20 | 西日本技術開発株式会社 | 分布図作成装置、分布図作成方法、及び、プログラム |
WO2023053752A1 (ja) * | 2021-10-01 | 2023-04-06 | ソニーセミコンダクタソリューションズ株式会社 | スタイラス |
JP7189585B1 (ja) | 2022-02-07 | 2022-12-14 | 国立大学法人北海道大学 | 情報処理システムおよび分光計測器 |
JP2023114709A (ja) * | 2022-02-07 | 2023-08-18 | 国立大学法人北海道大学 | 情報処理システムおよび分光計測器 |
Also Published As
Publication number | Publication date |
---|---|
WO2021002279A1 (en) | 2021-01-07 |
EP3994609A1 (en) | 2022-05-11 |
CN114072843A (zh) | 2022-02-18 |
JP7415347B2 (ja) | 2024-01-17 |
US20220254014A1 (en) | 2022-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7415347B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
JP7415348B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
Chianucci | An overview of in situ digital canopy photography in forestry | |
US9753460B1 (en) | Incident light sensor on autonomous vehicle | |
JP7156282B2 (ja) | 情報処理装置、情報処理方法、プログラム、情報処理システム | |
Mafanya et al. | Radiometric calibration framework for ultra-high-resolution UAV-derived orthomosaics for large-scale mapping of invasive alien plants in semi-arid woodlands: Harrisia pomanensis as a case study | |
US11823447B2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
US11769225B2 (en) | Image processing apparatus, image processing method, and program | |
Deng et al. | The effect of spatial resolution on radiometric and geometric performances of a UAV-mounted hyperspectral 2D imager | |
Crusiol et al. | Semi professional digital camera calibration techniques for Vis/NIR spectral data acquisition from an unmanned aerial vehicle | |
Yang et al. | Low-cost single-camera imaging system for aerial applicators | |
Svensgaard et al. | Can reproducible comparisons of cereal genotypes be generated in field experiments based on UAV imagery using RGB cameras? | |
Kurihara et al. | Unmanned Aerial Vehicle (UAV)-based hyperspectral imaging system for precision agriculture and forest management | |
Crusiol et al. | Reflectance calibration of UAV-based visible and near-infrared digital images acquired under variant altitude and illumination conditions | |
Panigada et al. | Chlorophyll concentration mapping with MIVIS data to assess crown discoloration in the Ticino Park oak forest | |
US11398060B2 (en) | Information processing device, information processing method, and program | |
US12026915B2 (en) | Enhanced measurement of photosynthetically active radiation (PAR) and image conversion therefor | |
EP1763807A2 (en) | Simulating a sensing system | |
Ribas Costa et al. | Uncrewed aircraft system spherical photography for the vertical characterization of canopy structural traits | |
CN113474635A (zh) | 图像处理设备、图像处理方法和程序 | |
Haest et al. | Radiometric calibration of digital photogrammetric camera image data | |
JP7514559B2 (ja) | 作物の生育管理装置及び生育管理方法 | |
Sorenson | Evaluation of unmanned aerial vehicles and analytical software for creation of a crop consulting business | |
Paris | Applications of remote sensing to agribusiness | |
Raeva | Využití RPAS Při Monitorování a Analýze Vegetace |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7415347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |