JP2020008446A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2020008446A
JP2020008446A JP2018130474A JP2018130474A JP2020008446A JP 2020008446 A JP2020008446 A JP 2020008446A JP 2018130474 A JP2018130474 A JP 2018130474A JP 2018130474 A JP2018130474 A JP 2018130474A JP 2020008446 A JP2020008446 A JP 2020008446A
Authority
JP
Japan
Prior art keywords
evaluation index
evaluation
information processing
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018130474A
Other languages
English (en)
Other versions
JP7155681B2 (ja
Inventor
高嶋 昌利
Masatoshi Takashima
昌利 高嶋
秀樹 伊達
Hideki Date
秀樹 伊達
悠 喜多村
Yu Kitamura
悠 喜多村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018130474A priority Critical patent/JP7155681B2/ja
Priority to PCT/JP2019/026237 priority patent/WO2020013024A1/en
Priority to EP19746194.0A priority patent/EP3821368A1/en
Priority to US17/257,702 priority patent/US11631242B2/en
Priority to CN201980044373.XA priority patent/CN112368706B/zh
Publication of JP2020008446A publication Critical patent/JP2020008446A/ja
Application granted granted Critical
Publication of JP7155681B2 publication Critical patent/JP7155681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098Plants or trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Botany (AREA)
  • Medicinal Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】適切な評価指標を被写体の分析に用いる。【解決手段】情報処理装置は、被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出する評価指標算出部と、前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出する評価値算出部と、前記評価値に基づいて前記評価指標の選択を行う選択部とを備える。本技術は、例えば、農地のリモートセンシングを行うシステムに適用できる。【選択図】図8

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、評価指標を用いて画像内の被写体の分析を行う場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
撮影した画像内の被写体の分析、例えば、農業用途として農地の植生や土壌等の分析に、NDVI(Normalized Difference Vegetation Index)等の多波長成分に基づく評価指標が用いられている(例えば、特許文献1参照)。
国際公開第2017/10258号
同一の被写体であってもその状態などに応じて、必ずしも同一の評価指標が適切とは限らない。例えば、画像内の赤色光と近赤外光の2つの波長成分に基づいて算出される評価指標であるNDVIに関して、農作物の成長がある一定以上になると、画像内のこの2つの波長成分の変化が小さくなるため、NDVIでは農地の状態の変化を十分に捉え切れなくなり、分析精度が低下するおそれがある。
本技術は、このような状況に鑑みてなされたものであり、適切な評価指標を被写体の分析に用いることができるようにするものである。
本技術の一側面の情報処理装置は、被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出する評価指標算出部と、前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出する評価値算出部と、前記評価値に基づいて前記評価指標の選択を行う選択部とを備える。
本技術の一側面の情報処理方法は、情報処理装置が、被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、前記評価値に基づいて前記評価指標の選択を行う。
本技術の一側面のプログラムは、被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、前記評価値に基づいて前記評価指標の選択を行う処理をコンピュータに実行させる。
本技術の一側面においては、被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標が算出され、前記評価指標毎の統計値に基づく評価値が前記評価指標毎に算出され、前記評価値に基づいて前記評価指標の選択が行われる。
本技術の一側面によれば、適切な評価指標を被写体の分析に用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した情報処理システムの第1の実施の形態を示すブロック図である。 図1の情報処理システムの具体的な構成例を示すブロック図である。 リモートセンシングHWの構成例を示すブロック図である。 撮影部の構成例を示すブロック図である。 リモートセンシングHWの設置例を示す図である。 情報処理端末の構成例を示すブロック図である。 情報処理部の第1の実施の形態を示すブロック図である。 演算部の構成例を示すブロック図である。 評価指標演算処理の第1の実施の形態を説明するためのフローチャートである。 被写体の反射率の分光特性の検出方法の例を示す図である。 評価指標選択処理の詳細を説明するためのフローチャートである。 評価値演算処理の第1の実施の形態の詳細を説明するためのフローチャートである。 評価指標の正規化処理を説明するための図である。 評価指標の選択方法の例を説明するための図である。 評価値演算処理の第2の実施の形態の詳細を説明するためのフローチャートである。 評価指標の平均値を算出するブロックの設定例を示す図である。 評価値Aの算出方法を説明するための図である。 評価指標の平均値の正規化処理を説明するための図である。 評価指標演算処理の第2の実施の形態を説明するためのフローチャートである。 評価指標演算処理の第3の実施の形態を説明するためのフローチャートである。 評価指標演算処理の第4の実施の形態を説明するためのフローチャートである。 選択条件に基づく評価指標演算処理の詳細を説明するためのフローチャートである。 本技術を適用した情報処理システムの第2の実施の形態を示すブロック図である。 図23の情報処理システムの具体的な構成例を示すブロック図である。 情報処理部の第2の実施の形態を示すブロック図である。 評価指標演算処理の第5の実施の形態を説明するためのフローチャートである。 評価指標と観測データの相関性の例を示す図である。 情報処理システムの構成の変形例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
4.その他
<<1.第1の実施の形態>>
まず、図1乃至図22を参照して、本技術の第1の実施の形態について説明する。
<情報処理システム11の構成例>
図1は、本技術を適用した情報処理システム11の機能の構成例を示している。
情報処理システム11は、例えば、農地等の分析対象となる領域(以下、センシングエリアと称する)のセンシングを行い、センシング結果の分析を行い、分析結果に基づいて各種のアクションを行うシステムである。情報処理システム11は、センシング部21、後処理部22、記憶部23、分析部24、及び、実行部25を備える。
センシング部21は、センシングエリアのセンシングを行う。例えば、センシング部21は、センシングエリアの撮影等を行い、得られた撮影画像(以下、センシング画像と称する)のデータを含むセンシングデータを後処理部22に供給する。
なお、以下、センシング画像のデータを単にセンシング画像とも称する。
後処理部22は、センシング画像に基づいて、センシング画像内の被写体(例えば、センシングエリア)の分析に用いる評価指標の演算を行う。後処理部22は、評価指標の演算結果を示すデータ(以下、評価指標データと称する)を記憶部23に記憶させる。
分析部24は、記憶部23に記憶されている評価指標データに基づいて、センシングエリアに関する各種の分析を行い、分析結果を示すデータ(以下、分析データと称する)を実行部25に供給する。
実行部25は、分析データに基づいて、各種のアクションを実行する。
図2は、図1の情報処理システム11を実現するための具体的な構成例を示している。なお、図中、図1と対応する部分には同じ符号を付している。
図2の情報処理システム11は、リモートセンシングHW101、情報処理端末102、基地局103、クラウドコンピューティング(以下、単にクラウドと称する)104、及び、農業システム105を備える。
リモートセンシングHW101は、図1のセンシング部21の機能を備える。リモートセンシングHW101は、センシングエリアのセンシングを行い、得られたセンシングデータを情報処理端末102に供給する。
情報処理端末102は、例えば、パーソナルコンピュータ(PC)、又は、スマートフォン等のモバイル機器により構成され、図1の後処理部22の機能を備える。情報処理端末102は、センシングデータに基づいて、センシングエリアの分析に用いる評価指標の演算を行う。また、情報処理端末102は、所定の通信方式により基地局103と有線通信又は無線通信を行い、評価指標の演算結果を示す評価指標データ等を基地局103に送信する。
基地局103は、情報処理端末102をネットワーク111に接続し、情報処理端末102とネットワーク111との間のデータの中継等を行う。
クラウド104は、ネットワーク111、ストレージ112、及び、サーバ113を備え、図1の記憶部23及び分析部24を実現する。基地局103、ストレージ112、及び、サーバ113は、ネットワーク111を介して相互に接続されている。
ネットワーク111は、例えばインターネット等から構成される通信ネットワークである。なお、ネットワーク111は、複数の通信ネットワークにより構成されてもよい。
ストレージ112は、図1の記憶部23の機能を備える。ストレージ112は、情報処理端末102から送信される評価指標データ、及び、サーバ113から送信される分析データ等を記憶する。
サーバ113は、図1の分析部24の機能を備える。サーバ113は、ストレージ112に記憶されている評価指標データに基づいて、センシングエリアの分析を行う。サーバ113は、必要に応じて、ネットワーク111を介して、分析結果を示す分析データをストレージ112に記憶させたり、農業システム105に送信したりする。また、例えば、サーバ113は、分析結果に基づいて、農業システム105の動作を制御する制御データを生成し、ネットワーク111を介して、農業システム105に送信する。
農業システム105は、トラクタ、散水機等の各種の農業機器を備え、図1の実行部25の機能を備える。例えば、農業システム105は、分析データ又は制御データに基づいて、センシングエリア内の農作物等に対して、施肥、散水等の各種のアクションを行う。例えば、農業システム105は、センシングエリア内の農作物の発育状況等に応じて、施肥量や散水量を調整する。
なお、情報処理システム11を構成する各構成要素(リモートセンシングHW101等)の数は、それぞれ2以上とすることも可能である。
<リモートセンシングHW101の構成例>
次に、図3乃至図5を参照して、リモートセンシングHW101の構成例について説明する。
図3は、リモートセンシングHW101の構成例を示すブロック図である。リモートセンシングHW101は、センサボックス201及びカメラ202を備える。
センサボックス201は、照度センサ211及び制御部212を備える。
照度センサ211は、例えば、制御部212の制御の下に、太陽光等の環境光の所定の複数の波長帯域(例えば、赤、青、緑、赤外光等)の照度を検出する。これにより、環境光の光源(例えば、太陽)の大まかな分光特性が検出される。照度センサ211は、検出結果を示すデータ(以下、光源データと称する)を制御部212に供給する。
制御部212は、カメラ202の制御部225と連携を取りながら、照度センサ211の検出タイミング等を制御する。また、制御部212は、光源データをカメラ202の制御部225に供給する。
カメラ202は、光学系221、撮影部222、信号処理部223、ドライブ224、及び、制御部225を備える。
光学系221は、レンズ等を備え、被写体の像を撮影部222のイメージセンサ242(図4)の受光面に結像させる。
撮影部222は、制御部225の制御の下に、被写体(センシングエリア)の撮影を行い、得られたセンシング画像を信号処理部223に供給する。
信号処理部223は、制御部225の制御の下に、センシング画像に対して各種の信号処理を行い、信号処理後のセンシング画像を制御部225に供給する。
ドライブ224は、制御部225の制御の下に、リムーバブルメディア203を駆動する。例えば、ドライブ224は、センシング画像及び光源データを含むセンシングデータをリムーバブルメディア203に記憶させる。
リムーバブルメディア203は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のドライブ224に着脱可能な記憶媒体により構成される。
制御部225は、カメラ202の各部の制御(例えば、撮影部222の露光制御等)を行う。また、制御部225は、センサボックス201との間の同期制御等を行う。
<撮影部222の構成例>
図4は、カメラ202の撮影部222の構成例を示している。撮影部222は、フィルタ241及びイメージセンサ242を備える。
フィルタ241は、例えば、2以上の所定の狭い波長帯域(狭帯域)の波長を透過することが可能なマルチスペクトルフィルタ又はハイパースペクトルフィルタにより構成される。この場合、カメラ202は、マルチスペクトルカメラ又はハイパースペクトルカメラとなる。また、そのようなフィルタの具体例として、プラズモンフィルタ、ファブリペロー干渉計等が挙げられる。
なお、フィルタ241が透過する波長帯域(以下、透過帯域と称する)の数は、2以上の任意の数に設定することが可能である。また、フィルタ241の各透過帯域の範囲も任意に設定することが可能である。
なお、フィルタ241は、RGB(赤、緑、青)、CMYG(シアン、マゼンタ、黄、緑)等の従来のカラーフィルタにより構成することも可能である。
イメージセンサ242は、例えば、CMOSイメージセンサ、CCDイメージセンサ等により構成される。イメージセンサ242は、フィルタ241の透過帯域の成分を含むセンシング画像を撮影し、信号処理部223に供給する。
信号処理部223は、センシング画像に対して各種の信号処理を行う。例えば、信号処理部223は、センシング画像に対してデモザイク処理を行い、センシング画像の各画素について、フィルタ241の各透過帯域の成分の補間処理を行う。これにより、センシング画像の各画素が、フィルタ241の各透過帯域の成分を含むようになり、センシング画像は、フィルタ241の透過帯域毎の複数の画像を重畳した画像となる。信号処理部223は、信号処理後のセンシング画像を制御部225に供給する。
<リモートセンシングHW101の設置例>
図5は、リモートセンシングHW101の設置例を示している。
リモートセンシングHW101は、例えば、ドローン261の本体部の下面に設置される。そして、リモートセンシングHW101は、上空からセンシングエリアを見下ろしながら、センシングエリアのリモート撮影(リモートセンシング)を行う。
<情報処理端末102の構成例>
図6は、情報処理端末102がPCからなる場合の構成例を示している。
情報処理端末102において、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、及び、ドライブ310が接続されている。
入力部306は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。
出力部307は、ディスプレイ、スピーカなどよりなる。
記憶部308は、ハードディスクや不揮発性のメモリなどよりなる。
通信部309は、ネットワークインタフェース、通信装置などよりなる。
ドライブ310は、リムーバブルメディア203を駆動する。例えば、ドライブ310は、リモートセンシングHW101により書き込まれたセンシングデータをリムーバブルメディア203から読み出す。
なお、以下、情報処理端末102の説明を行う場合に、バス304及び入出力インタフェース305の記載を省略する。例えば、CPU301が、バス304及び入出力インタフェース305を介して、通信部309とデータの授受を行う場合、単に、CPU301が通信部309とデータの授受を行うと記載する。
<情報処理部331の構成例>
図7は、情報処理端末102のCPU301が所定の制御プログラムを実行することにより実現される情報処理部331の構成例を示している。
情報処理部331は、画像処理部341、演算部342、出力制御部343、及び、学習部344を備える。
画像処理部341は、センシング画像、及び、評価指標データに対して各種の画像処理を行う。例えば、画像処理部341は、センシング画像及び評価指標データのスティッチ処理等を行う。
演算部342は、センシングデータに基づいて、評価指標の演算を行い、評価指標の演算結果を示す評価指標データを生成する。
出力制御部343は、出力部307による画像、音声等の出力を制御する。
学習部344は、評価指標を選択するための選択条件の学習を行う。
<演算部342の構成例>
図8は、図7の情報処理部331の演算部342の構成例を示している。
演算部342は、波長分析部361、評価指標算出部362、評価値算出部363、及び、選択部364を備える。
波長分析部361は、センシングデータに基づいて、センシング画像の分光特性を検出する。より具体的には、波長分析部361は、センシング画像内の被写体(例えば、センシングエリア)の反射率の分光特性(以下、単に被写体の分光特性と称する)を検出する。これにより、センシング画像から複数の波長成分が抽出される。
評価指標算出部362は、センシング画像の分光特性、より具体的には、被写体の分光特性に基づいて、同じセンシング画像に対して複数の種類の評価指標を算出する。また、評価指標算出部362は、各評価指標に基づく評価指標データを生成する。
評価値算出部363は、複数の種類の評価指標毎の統計値に基づいて、各評価指標に対する評価値をそれぞれ算出する。
選択部364は、各評価指標に対する評価値、又は、与えられた選択条件に基づいて、センシングエリアの分析に用いる評価指標の選択を行う。
<評価指標演算処理の第1の実施の形態>
次に、図9のフローチャートを参照して、情報処理端末102により実行される評価指標演算処理の第1の実施の形態について説明する。
ステップS1において、情報処理端末102は、センシングデータを取得する。例えば、センシングデータが記憶されているリムーバブルメディア203が情報処理端末102のドライブ310に装着される。センシングデータは、リモートセンシングHW101がセンシングエリアを撮影したセンシング画像、及び、撮影時に検出した光源データを含む。ドライブ310は、センシングデータをリムーバブルメディア203から読み出し、CPU301に供給する。
ステップS2において、波長分析部361は、波長分析を行う。すなわち、波長分析部361は、センシング画像内の被写体(センシングエリア)の分光特性の検出を行い、被写体の所定の波長毎の反射率を検出する。
ここで、図10を参照して、被写体の分光特性の検出方法の例について説明する。
図10は、太陽光等の環境光の光源の分光特性L(λ)、被写体の分光特性P(λ)、撮像系(図4の撮影部222)の分光特性S(λ)、及び、センシング画像の分光特性O(λ)の例を示している。そのうち、図10のAは、図4のフィルタ241がファブリペロー干渉計により構成される場合の分光特性の例を示している。図10のBは、図4のフィルタ241がプラズモンフィルタにより構成される場合の分光特性の例を示している。
センシング画像の分光特性O(λ)は、光源の分光特性L(λ)、被写体の分光特性P(λ)、及び、撮像系の分光特性S(λ)を掛け合わせることにより得られる。すなわち、センシング画像の分光特性O(λ)は、次式(1)により表される。
O(λ)=L(λ)×P(λ)×S(λ) ・・・(1)
ここで、光源の分光特性L(λ)は、センシングデータに含まれる光源データに基づいて算出することができる。撮像系の分光特性S(λ)は、撮影部222のフィルタ241及びイメージセンサ242の設計値等により既知である。従って、波長分析部361は、光源の分光特性L(λ)、撮像系の分光特性S(λ)、及び、センシング画像の分光特性O(λ)に基づいて、所定の演算を行い、被写体の分光特性P(λ)を算出する。
例えば、波長分析部361は、所定の波長の範囲内で、所定の間隔毎(例えば、1mm毎)に波長をシフトしながら、センシング画像の各画素の設定された波長の成分を検出する。これにより、センシング画像の分光特性が検出される。そして、波長分析部361は、検出したセンシング画像の分光特性に対して、光源の分光特性及び撮像系の分光特性の逆マトリクス演算を行うことにより、被写体の分光特性を算出する。これにより、被写体の各波長の光に対する反射率が、センシング画像の画素毎に検出される。
波長分析部361は、被写体の分光特性の検出結果を示すデータを評価指標算出部362に供給する。
ステップS3において、情報処理端末102は、評価指標選択処理を実行し、その後、処理はステップS4に進む。
ここで、図11のフローチャートを参照して、評価指標選択処理の詳細について説明する。
ステップS31において、評価指標算出部362は、波長の組合せを選択する。具体的には、評価指標算出部362は、被写体の反射率が検出された波長(以下、検出対象波長と称する)のうちの異なる2つの波長からなる組合せのうち、まだ評価指標を算出していない組合せを1つ選択する。
ステップS32において、評価指標算出部362は、選択した波長に基づく評価指標を算出する。例えば、評価指標算出部362は、次式(2)により、センシング画像の画素毎にNDSI(Normalized Difference Spectral Index)を評価指標として算出する。
NDSI(Ri,Rj)=(Rj-Ri)/(Rj+Ri)=(1-Ri/Rj)/(1+Ri/Rj) ・・・(2)
なお、Riは被写体の波長λiの光に対する反射率を示し、Rjは被写体の波長λjの光に対する反射率を示している。波長λi及び波長λjは、ステップS3の処理で選択された波長を示す。
このように、評価指標(NDSI)は、センシング画像の波長λi及び波長λjの成分(より具体的には、センシング画像内の被写体の波長λi及び波長λjの光に対する反射率)に基づいて算出される。
また、評価指標算出部362は、センシング画像の各画素の評価指標を画素の配列順に並べた評価指標データを生成する。従って、評価指標データは、各画素の評価指標を画素値とする画像のデータとなる。評価指標算出部362は、生成した評価指標データを評価値算出部363に供給するとともに、記憶部308に記憶させる。
ステップS33において、評価値算出部363は、評価値演算処理を実行し、その後、処理はステップS34に進む。
ここで、図12のフローチャートを参照して、評価値演算処理の詳細について説明する。
ステップS61において、評価値算出部363は、対象エリアを設定する。対象エリアとは、評価値の算出対象となるセンシング画像内の領域である。例えば、対象エリアは、ユーザが設定するようにしてもよいし、評価値算出部363が自動的に設定するようにしてもよい。また、例えば、センシング画像の全ての領域を対象エリアに設定することも可能である。
ステップS62において、評価値算出部363は、対象エリア内の評価指標の平均値を算出する。例えば、評価値算出部363は、対象エリア内の各画素の評価指標を積算し、積算値を対象エリア内の画素数で割ることにより、対象エリア内の評価指標の平均値を算出する。
ステップS63において、評価値算出部363は、評価指標を正規化する。例えば、評価値算出部363は、以下のステップ1乃至ステップ4の処理を繰り返すことにより、対象エリア内の評価指標の平均値NDSI(Ri,Rj)aveが0(評価指標の動作点が0)になるように、評価指標の正規化を行う。
(ステップ1)
評価値算出部363は、次式(3)により、(Ri/Rj)aveを算出する。
(Ri/Rj)ave=(1-NDSI(Ri,Rj)ave)/(1+NDSI(Ri,Rj)ave) ・・・(3)
(ステップ2)
評価値算出部363は、次式(4)及び(5)により、対象エリア内の各画素の評価指標を再計算する。
K=X0/(Ri/Rj)ave ・・・(4)
NDSI(Ri,Rj)=(1-K*(Ri/Rj))/(1+K*(Ri/Rj)) ・・・(5)
なお、X0は、評価指標が0になるときのRi/Rjの値であり、1となる。
(ステップ3)
評価値算出部363は、対象エリア内の各画素の再計算後の評価指標NDSI(Ri,Rj)に基づいて、評価指標の平均値NDSI(Ri,Rj)aveを再計算する。
(ステップ4)
評価値算出部363は、評価指標の平均値NDSI(Ri,Rj)aveが0からずれている場合、ステップ1に戻り、ステップ1以降の処理を行う。一方、評価値算出部363は、平均値NDSI(Ri,Rj)aveが0と等しい場合、正規化処理を終了する。
図13は、正規化前と正規化後の対象エリア内の評価指標のヒストグラム、すなわち、正規化前と正規化後の対象エリア内の各画素の評価指標の値の分布の例を示している。図13のA及びBの横軸は評価指標を示している。図13のA及びBの縦軸は、度数、すなわち、対象エリア内において横軸の評価指標の値を持つ画素の数を示している。なお、図13のA及びBでは、ヒストグラムの度数が最大となる評価指標が、対象エリア内の評価指標の平均値NDSI(Ri,Rj)aveと一致する場合の例を示している。
図13のAは、正規化前の評価指標のヒストグラムの例を示している。この例では、評価指標の平均値NDSI(Ri,Rj)aveが0からずれた値になっている。
図13のBは、正規化後の評価指標のヒストグラムの例を示している。上述したステップ1乃至ステップ4の処理が繰り返されることにより、評価指標の平均値NDSI(Ri,Rj)aveが0に正規化されている。
ステップS64において、評価値算出部363は、評価指標の標準偏差に基づいて、評価値を算出する。具体的には、評価値算出部363は、正規化後の評価指標に基づいて、次式(6)により、対象エリア内の評価指標の標準偏差σを算出する。
Figure 2020008446
なお、式(6)のNDSIiは、対象エリア内のi番目の画素の正規化後の評価指標を示し、nは対象エリア内の画素数を示している。
図13のBの横軸のαは、この処理により算出される評価指標の標準偏差の例を示している。
そして、評価値算出部363は、算出した標準偏差σを現在の波長の組合せによる評価指標に対する評価値に設定する。
この評価値は、対象エリア内の評価指標の散らばり具合を表す。従って、評価値が大きい評価指標ほど、例えば、センシングエリア(より厳密には、センシング画像内の対象エリアに対応するセンシングエリア内の領域)に関する情報を表現できる幅が広がる。例えば、評価値が大きい評価指標ほど、センシングエリア内の状態の違いや変化をより詳細に表すことができる。
その後、評価値演算処理は終了する。
図11に戻り、ステップS34において、評価指標算出部362は、全ての波長の組合せについて演算を行ったか否かを判定する。評価指標算出部362は、検出対象波長のうちの異なる2つの波長からなる組合せの中に、まだ評価指標を算出していない組合せが残っている場合、まだ全ての波長の組合せについて演算を行っていないと判定し、処理はステップS31に戻る。
その後、ステップS34において、全ての波長の組合せについて演算を行ったと判定されるまで、ステップS31乃至ステップS34の処理が繰り返し実行される。
これにより、検出対象波長のうちの2つの波長からなる全て組合せについて、波長の組合せ毎に、評価指標、及び、評価指標に対する評価値が算出される。すなわち、センシング画像の2つの波長成分からなる組合せ毎に、評価指標が算出され、算出された複数の種類の評価指標に対する評価値がそれぞれ算出される。
一方、ステップS34において、評価指標算出部362は、検出対象波長のうちの2つの波長からなる組合せの中に、評価指標を算出していない組合せが残っていない場合、全ての波長の組合せについて演算を行ったと判定し、処理はステップS35に進む。
ステップS35において、評価指標算出部362は、使用する評価指標を選択する。具体的には、評価値算出部363は、各評価指標の評価値の算出結果を示すデータを選択部364に供給する。
選択部364は、評価値(すなわち、評価指標の標準偏差σ)が最大となる評価指標を、センシングエリアの分析に使用する評価指標に選択する。その結果、センシングエリアの分析に使用する評価指標に用いられる波長の組合せが選択される。選択部364は、評価指標の選択結果を示すデータを評価指標算出部362に供給するとともに、記憶部308に記憶させる。
なお、選択する評価指標の種類は、複数でもよい。また、例えば、選択した複数の種類の評価指標の候補をユーザに提示して、選択させるようにしてもよい。
その後、評価指標選択処理は終了する。
図9に戻り、ステップS4において、情報処理端末102は、選択された評価指標に基づく評価指標データを出力する。具体的には、評価指標算出部362は、波長の組合せが異なる各評価指標に基づく評価指標データのうち、選択部364により選択された評価指標に基づく評価指標データを記憶部308から読み出す。そして、例えば、評価指標算出部362は、通信部309、基地局103、及び、ネットワーク111を介して、読み出した評価指標データをストレージ112に送信し、記憶させる。また、例えば、評価指標算出部362は、必要に応じて、全ての評価指標データを記憶部308から消去する。
その後、評価指標演算処理は終了する。
以上のようにして、センシングエリアの分析により適した評価指標、換言すれば、より有効性の高い評価指標が選択される。例えば、センシングエリアの状態や変化等をより適切に表す評価指標が選択される。その結果、センシングエリアの状態や変化等の分析精度が向上する。
図14は、植生ステージ毎の大豆の成長による変化の様子、及び、評価指標の分布の例を示している。
図14のAは、各植生ステージにおける大豆の状態を模式的に示している。
図14のB1乃至B3は、評価指標にNDSIを用いた場合に、波長Riと波長Rjの組合せを変化させたときの評価指標の標準偏差σの分布を、上方のバーに示される色の濃さで示した分布図である。図14のB1乃至B3の横軸は波長Rjを示し、縦軸は波長Riを示している。
図14のB1乃至B3では、波長Ri=550nm(緑)及び波長Rj=800nm(赤外光)の組合せ付近、及び、波長Ri=650nm(赤)及び波長Rj=800nm(赤外光)の組合せ付近において、標準偏差σが極大となることが示されている。
図14のC1乃至C3は、評価指標にNDSIを用いたときの正規化後の評価指標のヒストグラムを示している。図14のC1乃至C3の横軸は評価指標の値を示し、縦軸は度数を示している。図14のC1乃至C3の実線のグラフは、波長Ri=550nm及び波長Rj=800nmの場合の評価指標のヒストグラムを示し、点線のグラフは、波長Ri=650nm及び波長Rj=800nmの場合の評価指標のヒストグラムを示している。
なお、波長Ri=550nm及び波長Rj=800nmの場合の評価指標は、GNDVI(Green Normalized Difference Vegetation Index)と呼ばれる。また、波長Ri=650nm及び波長Rj=800nmの場合の評価指標は、NDVI(Normalized Difference Vegetation Index)と呼ばれる。
植生ステージVEから植生ステージV3までの期間は、大豆が大きくなる期間である。初期のステージでは、上方から畝間の土が良く見えるが、大豆が成長するにつれて、上方から畝間の土が見える面積が減少する。この期間では、波長Ri=650nm及び波長Rj=800nmの評価指標の標準偏差の方が、波長Ri=550nm及び波長Rj=800nmの評価指標の標準偏差より大きくなる。従って、この期間では、波長Ri=650nm及び波長Rj=800nmの評価指標が、大豆の状態や変化を検出するのに最適な評価指標となる。
植生ステージR1から植生ステージR6までの期間は、大豆が一定以上成長した後の期間であり、上方から畝間がほとんど見えない状態で大豆がさらに成長する期間である。この期間では、波長Ri=550nm及び波長Rj=800nmの評価指標の標準偏差の方が、波長Ri=650nm及び波長Rj=800nmの評価指標の標準偏差より大きくなる。従って、この期間では、波長Ri=550nm及び波長Rj=800nmの評価指標が、大豆の状態や変化を検出するのに最適な評価指標となる。
植生ステージR7から植生ステージR8までの期間は、大豆の収穫が近づき、大豆の色が緑から茶色に変化する期間である。この期間では、波長Ri=650nm及び波長Rj=800nmの評価指標の標準偏差の方が、波長Ri=550nm及び波長Rj=800nmの評価指標の標準偏差より再び大きくなる。従って、この期間では、波長Ri=650nm及び波長Rj=800nmの評価指標が、大豆の状態や変化を検出するのに最適な評価指標となる。
従って、上述した処理を行うことにより、大豆の植生ステージによって、最適な評価指標(最適な波長の組合せ)が選択されるようになり、その結果、大豆の状態や変化がより高精度に検出されるようになる。
また、上述した処理では、例えば、新たな波長の組合せによる評価指標が選択される可能性がある。そして、新たな波長の組合せによる評価指標が選択されることにより、従来の評価指標では検出が困難だった現象を精度よく検出することが可能になる。また、例えば、未知の現象(例えば、植物の新たな病気の発生等)が発生した場合、その現象を精度よく検出することが可能になる。
<評価値の変形例>
次に、図15乃至図18を参照して、評価指標の選択に用いる評価値の変形例について説明する。
<評価値演算処理の第2の実施の形態>
ここで、図15のフローチャートを参照して、図11のステップS33の評価値演算処理の第2の実施の形態について説明する。
ステップS101において、図12のステップS61と同様の処理により、対象エリアが設定される。
ステップS102において、評価値算出部363は、ブロックサイズ及びブロック数を設定する。
ブロックとは、複数の画素を含み、評価指標の平均値を算出する単位となる領域である。例えば、図16に示されるように、縦m画素×横n画素からなる対象エリア401に対して、対象エリア401より小さいブロック402が設定される。また、対象エリア401内において水平方向及び垂直方向に所定の画素ずつブロック402をシフトしながら、各位置においてブロック402内の画素の評価指標の平均値が算出される。
そして、評価値算出部363は、ブロック402の縦方向及び横方向の画素数a×bを設定する。また、評価値算出部363は、評価指標の平均値を算出するブロック402の数(ブロック402を設定する位置の数)を設定する。なお、ブロック数が設定されることにより、水平方向及び垂直方向のブロック402のシフト量(隣接するブロック402の間隔)が決まる。
例えば、ブロックサイズ及びブロック数は、ユーザが設定するようにしてもよいし、評価値算出部363が自動的に設定するようにしてもよい。
また、例えば、ブロック数の代わりに、ブロック402の水平方向及び垂直方向のシフト量(水平方向及び垂直方向にシフトする画素数)を設定するようにしてもよい。
さらに、例えば、シフト量の代わりに、隣接するブロック402間のオーバーラップ率を設定するようにしてもよい。例えば、オーバーラップ率が80%の場合、ブロック402のシフト量は、垂直方向にb/5画素、及び、水平方向にa/5画素となる。
ステップS103において、評価値算出部363は、ブロックを対象エリア内の初期位置に設定する。例えば、評価値算出部363は、対象エリアの左隅にブロックを設定する。
ステップS104において、評価値算出部363は、ブロック内の評価指標の平均値を算出する。すなわち、評価値算出部363は、ブロック内の各画素の評価指標を積算し、積算値をブロック内の画素数で割ることにより、評価指標の平均値を算出する。
ステップS105において、評価値算出部363は、全てのブロックについて処理したか否かを判定する。評価値算出部363は、まだ評価指標の平均値を算出していないブロックが残っている場合、まだ全てのブロックについて処理していないと判定し、処理はステップS106に進む。
ステップS106において、評価値算出部363は、ブロックの位置をシフトする。例えば、評価値算出部363は、現在のブロックの位置が対象エリアの右端でない場合、ブロックの位置を所定のシフト量だけ右方向にシフトする。一方、例えば、評価値算出部363は、現在のブロックの位置が対象エリアの右端である場合、ブロックの位置を対象エリアの左端にシフトするとともに、所定のシフト量だけ下方向にシフトする。
その後、処理はステップS104に戻り、ステップS105において、全てのブロックについて処理したと判定されるまで、ステップS104乃至ステップS106の処理が繰り返し実行される。これにより、対象エリア内のブロック毎の評価指標の平均値が算出される。
一方、ステップS105において、評価値算出部363は、評価指標の平均値を算出していないブロックが残っていない場合、全てのブロックについて処理したと判定し、処理はステップS107に進む。
ステップS107において、評価値算出部363は、ブロック毎の評価指標の平均値の最大値と最小値との差に基づいて、評価値Aを設定する。
図17は、各ブロックの評価指標の平均値の例を示している。図17の横軸は各ブロックの番号(ブロックNo.)を示し、縦軸は、横軸のブロックNo.のブロックにおける評価指標の平均値を示している。
例えば、評価値算出部363は、評価指標の平均値の最大値と最小値との差分を算出する。そして、評価値算出部363は、算出した差分値を、現在の波長の組合せによる評価指標に対する評価値Aに設定する。
評価値Aは、対象エリア内の評価指標の変動量を表す。従って、評価値Aが大きい評価指標ほど、例えば、センシングエリア(より厳密には、センシング画像内の対象エリアに対応するセンシングエリア内の領域)に関する情報に対する感度が高くなる。例えば、評価値Aが大きい評価指標ほど、センシングエリア内の状態の違いや変化をより詳細かつ迅速に表すことができる。
ステップS108において、評価値算出部363は、ブロック毎の評価指標の平均値を正規化する。例えば、評価値算出部363は、ブロック毎の評価指標の平均値のヒストグラムにおいて、図12のステップS63と同様の処理により、ブロック毎の評価指標の平均値のさらにその平均値が0になるように正規化する。
ステップS109において、評価値算出部363は、ブロック毎の評価指標の平均値の標準偏差に基づいて、評価値Bを設定する。例えば、評価値算出部363は、正規化後のブロック毎の評価指標の平均値に基づいて、ブロック毎の評価指標の平均値の標準偏差を算出する。そして、評価値算出部363は、算出した標準偏差を、現在の波長の組合せによる評価指標に対する評価値Bに設定する。
図18は、正規化後のブロック毎の評価指標の平均値のヒストグラムの例を示している。横軸はブロック毎の評価指標の平均値を示し、縦軸は度数を示している。このステップS109の処理により、正規化後のブロック毎の評価指標の平均値のヒストグラムにおける標準偏差σが算出され、評価値Bに設定される。
評価値Bは、対象エリア内の評価指標の散らばり具合を表す。従って、評価値Bが大きい評価指標ほど、例えば、センシングエリア(より厳密には、センシング画像内の対象エリアに対応するセンシングエリア内の領域)に関する情報を表現できる幅が広がる。例えば、評価値Bが大きい評価指標ほど、センシングエリア内の状態の違いや変化をより詳細に表すことができる。
その後、評価値演算処理は終了する。
この評価値演算処理が、各波長の組合せによる複数の種類の評価指標毎に実行されることにより、各評価指標に対して評価値A及び評価値Bが算出される。
そして、例えば、上述した図11のステップS35において、選択部364は、評価値A及び評価値Bの両方又は一方に基づいて、使用する評価指標を選択する。
このように、複数の種類の評価値に基づいて評価指標を選択することにより、より適切な評価指標が選択される可能性が高くなる。
<センシングエリアが広域である場合の処理>
次に、図19及び図20を参照して、センシングエリアが広域である場合の処理について説明する。この場合、センシングエリアが複数の領域に分けて撮影される。
<評価指標演算処理の第2の実施の形態>
まず、図19のフローチャートを参照して、情報処理システム11により実行される評価指標演算処理の第2の実施の形態について説明する。
ステップS201において、リモートセンシングHW101は、広域センシングデータを取得する。例えば、広域センシングデータが記憶されているリムーバブルメディア203が情報処理端末102のドライブ310に装着される。広域センシングデータは、例えば、リモートセンシングHW101が、センシングエリアを複数の領域に分けて撮影した複数のセンシング画像、及び、各センシング画像の撮影時に検出した複数の光源データを含む。ドライブ310は、広域センシングデータをリムーバブルメディア203から読み出し、CPU301に供給する。
ステップS202において、画像処理部341は、センシング画像のスティッチ処理を行う。すなわち、画像処理部341は、広域センシングデータに含まれる複数のセンシング画像を繋ぎ合わせることにより、センシングエリア全体を含む1つのセンシング画像(以下、スティッチ画像と称する)を生成する。
その後、ステップS203乃至ステップS205において、図9のステップS2乃至ステップS4と同様の処理が実行され、評価指標演算処理は終了する。
これにより、スティッチ画像に適した評価指標(波長の組合せ)が選択され、選択された評価指標に基づく評価指標データが出力される。その結果、広大なセンシングエリアの状態や変化等の分析精度が向上する。
<評価指標演算処理の第3の実施の形態>
次に、図20のフローチャートを参照して、情報処理システム11により実行される評価指標演算処理の第3の実施の形態について説明する。
ステップS231において、図19のステップS201の処理と同様に、広域センシングデータが取得される。
ステップS232において、波長分析部361は、処理対象とするセンシング画像を選択する。すなわち、波長分析部361は、広域センシングデータに含まれる複数のセンシング画像のうち、まだ評価指標の選択が行われていないセンシング画像を1つ選択する。
その後、ステップS233及びステップS234において、選択されたセンシング画像に対して、図9のステップS2及びステップS3と同様の処理が行われる。これにより、選択されたセンシング画像に適した評価指標が選択される。
ステップS235において、波長分析部361は、全てのセンシング画像について処理したか否かを判定する。波長分析部361は、広域センシングデータの中に評価指標が選択されていないセンシング画像が残っている場合、まだ全てのセンシング画像について処理していないと判定し、処理はステップS232に戻る。
その後、ステップS235において、全てのセンシング画像について処理したと判定されるまで、ステップS232乃至ステップS235の処理が繰り返し実行される。これにより、広域センシングデータに含まれる各センシング画像に適した評価指標が個別に選択される。
一方、ステップS235において、波長分析部361は、広域センシングデータの中に評価指標の選択が行われていないセンシング画像が残っていない場合、全てのセンシング画像について処理したと判定し、処理はステップS236に進む。
ステップS236において、画像処理部341は、評価指標データのスティッチ処理を行う。具体的には、画像処理部341は、各センシング画像について、選択部364により選択された評価指標に基づく評価指標データを記憶部308から読み出す。これにより、各センシング画像に適した評価指標に基づく評価指標データがそれぞれ読み出される。そして、画像処理部341は、読み出した評価指標データを繋ぎ合わせることにより、センシングエリア全体を含む評価指標データを生成する。
ステップS237において、画像処理部341は、スティッチ処理した評価指標データを出力する。例えば、画像処理部341は、通信部309、基地局103、及び、ネットワーク111を介して、スティッチ処理した評価指標データをストレージ112に送信し、記憶させる。また、例えば、画像処理部341は、必要に応じて、全ての評価指標データを記憶部308から消去する。
その後、評価指標演算処理は終了する。
これにより、センシングエリア内の小領域毎に適切な評価指標が選択され、センシングエリア全体を含む評価指標データが生成される。その結果、センシングエリアの状態や変化等の分析精度がさらに向上する。
<過去の評価指標の選択条件に基づいて評価指標を選択する場合の処理>
次に、評価値を用いずに、過去に評価指標が選択されたときの条件に基づいて評価指標を選択する場合の処理について説明する。
例えば、現在の条件が、過去に評価指標が選択されたときの条件と同様である場合、評価値を用いずに、その過去に選択された評価指標と同じ種類の評価指標を選択することにより、適切な評価指標を容易に選択することが可能になる。
<評価指標演算処理の第4の実施の形態>
ここで、図21のフローチャートを参照して、情報処理端末102により実行される評価指標演算処理の第4の実施の形態について説明する。
ステップS301において、図9のステップS1の処理と同様に、センシングデータが取得される。
ステップS302において、選択部364は、評価指標の選択条件が与えられたか否かを判定する。評価指標の選択条件が与えられていないと判定された場合、処理はステップS303に進む。
ステップS303乃至ステップS305において、上述した図9のステップS2乃至ステップS4と同様の処理が実行される。これにより、上述した処理と同様に、センシング画像に適した評価指標が、評価値に基づいて選択され、選択された評価指標に基づく評価指標データが出力される。
ステップS306において、学習部344は、評価指標の選択条件を学習する。例えば、学習部344は、ステップS304の処理において、評価指標が選択されたときの条件を示すデータを取得する。
ここで取得する条件は、評価指標の選択に関わる条件であれば、特に限定されない。例えば、季節、日時、時間帯等の時間的条件、天気、気温、湿度、高度等の環境的条件、国名、地方名、エリアの種類(例えば、農地、市街地、工場、砂漠等)のセンシングエリアに関する条件、植物の種類、植生ステージ等の分析対象に関する条件、植生の活性度の検出、病気の検出、害虫被害の検出等の分析内容に関する条件等のうちの1つ以上が取得される。
また、これらの条件は、例えば、ユーザが入力部306を介して入力してもよいし、学習部344が自ら取得するようにしてもよい。
次に、学習部344は、選択した評価指標の種類と、取得したデータとに基づいて、今回選択した評価指標の選択条件の学習を行う。そして、学習部344は、学習結果に基づいて、記憶部308に記憶されている評価指標データベースを更新する。
評価指標データベースは、例えば、評価指標の種類と選択条件とが関連付けられたデータベースである。例えば、選択部364は、評価指標データベースの中から、与えられた選択条件と一致する評価指標を検索することにより、選択条件に基づいて評価指標を選択することができる。
その後、評価指標演算処理は終了する。
一方、例えば、ユーザが、入力部306を介して、評価指標の選択条件を入力するための操作を行った場合、出力部307は、出力制御部343の制御の下に、評価指標の選択条件の入力画面を表示する。これに対して、ユーザは、入力部306を介して、評価指標の選択条件を入力する。
そして、選択部364は、入力された選択条件を示すデータが入力部306から供給された場合、ステップS302において、評価指標の選択条件が与えられたと判定し、処理はステップS307に進む。
ステップS307において、情報処理端末102は、選択条件に基づく評価指標演算処理を実行し、その後、評価指標演算処理は終了する。
ここで、図22のフローチャートを参照して、選択条件に基づく評価指標演算処理の詳細について説明する。
ステップS331において、選択部364は、与えられた選択条件に基づいて評価指標を選択する。例えば、選択部364は、記憶部308に記憶されている評価指標データベースに登録されている評価指標の中から、与えられた選択条件と一致する、或いは、類似度が最も高い選択条件に対応する評価指標を選択する。
例えば、上述した図14の例のように大豆の生育過程を観察する場合、植物の種類としての大豆と、植生ステージが選択条件として与えられる。これにより、選択条件として与えられた植生ステージが、植生ステージVE乃至植生ステージV3、植生ステージR7、及び、植生ステージR8のいずれかである場合、波長Ri=650nm及び波長Rj=800nmの評価指標が選択される。選択条件として与えられた植生ステージが、植生ステージR1乃至植生ステージR6のいずれかである場合、波長Ri=550nm及び波長Rj=800nmの評価指標が選択される。
さらに、例えば、植生の活性度の検出、病気の検出、害虫被害の検出等の分析内容を選択条件として与えることにより、より適切な評価指標の選択が可能になる。
なお、選択する評価指標の種類は、複数でもよい。また、例えば、選択した複数の種類の評価指標の候補をユーザに提示して、選択させるようにしてもよい。
ステップS332において、波長分析部361は、波長分析を行う。すなわち、波長分析部361は、図9のステップS2と同様の処理により、被写体の反射率の波長分析を行い、選択された評価指標に必要な波長の光に対する被写体の反射率をセンシング画像の画素毎に検出する。波長分析部361は、検出結果を示すデータを評価指標算出部362に供給する。
ステップS333において、評価指標算出部362は、評価指標を算出する。すなわち、評価指標算出部362は、波長分析部361により検出された被写体の反射率に基づいて、選択部364により選択された評価指標をセンシング画像の画素毎に算出する。また、評価指標算出部362は、センシング画像の各画素の評価指標を画素の配列順に並べた評価指標データを生成する。
ステップS334において、図9のステップS4と同様の処理により、評価指標データが出力される。
その後、選択条件に基づく評価指標演算処理は終了する。
以上のようにして、選択条件が与えられた場合に、評価値を用いずに、与えられた選択条件に基づいて評価指標が選択され、選択された評価指標に基づく評価指標データが生成される。これにより、評価指標の演算処理の負荷が軽減されるとともに、処理時間が短縮される。
また、学習結果に基づいて評価指標データベースを更新することにより、与えられた選択条件に対して、より適切な評価指標が選択されるようになる。例えば、センシングエリアの分析を毎年行う場合、選択された評価指標と選択条件に基づいて、毎年評価指標データベースが更新される。これにより、時間が経つにつれて、より適切な評価指標がセンシングエリアの分析に選択される可能性が高くなる。
<<2.第2の実施の形態>>
次に、図23乃至図27を参照して、本技術の第2の実施の形態について説明する。
<情報処理システム501の構成例>
図23は、本技術を適用した情報処理システムの第2の実施の形態を示している。なお、図中、図1の情報処理システム11と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
図23の情報処理システム501は、情報処理システム11と比較して、観測部511が追加され、後処理部22の代わりに後処理部512が追加されている点が異なる。
観測部511は、センシングデータ(センシング画像及び光源データ)以外のセンシングエリアに関する各種の観測データを取得する。観測部511は、取得した観測データを後処理部512に供給する。
後処理部512は、情報処理システム11の後処理部22の機能に加えて、評価指標と観測データとの相関関係の学習機能を備えている。
図24は、図23の情報処理システム501のより具体的な構成例を示している。なお、図中、図2の情報処理システム11と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
図24の情報処理システム501は、図2の情報処理システム11と比較して、観測システム531が追加されている点が異なる。
観測システム531は、センシングデータ以外のセンシングエリアに関する各種の観測データを取得する装置等を備え、図23の観測部511の機能を備える。例えば、観測部511は、気孔コンダクタンス測定機、ガス交換方式光合成測定機等の植物の状態を示すデータを検出する植生検査機を備える。観測システム531は、取得した観測データを情報処理端末102に供給する。
情報処理端末102は、図23の後処理部512の機能を備える。
<情報処理部561の構成例>
図25は、情報処理端末102のCPU301が所定の制御プログラムを実行することにより実現される情報処理部561の構成例を示している。
なお、図中、図7の情報処理部331と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
情報処理部561は、情報処理部331と比較して、学習部344の代わりに学習部571を備える点が異なる。
学習部571は、学習部344の機能に加えて、評価指標と観測データとの相関関係の学習機能を備えている。
<評価指標演算処理>
次に、図26のフローチャートを参照して、情報処理端末102により実行される評価指標演算処理の第5の実施の形態について説明する。
ステップS401において、図9のステップS1の処理と同様に、センシングデータが取得される。
ステップS402において、情報処理端末102は、観測データを取得する。
例えば、観測システム531は、評価指標データの特徴が顕著に現れる領域(以下、特徴領域と称する)及びその周辺の領域に対応するセンシングエリア内の領域において、観測データを取得する。特徴領域は、例えば、他の領域と評価指標の傾向が顕著に異なる領域等とされる。
観測データの種類は、センシングエリア及び分析内容等に応じて設定される。例えば、センシングエリアが農地であり、農地内の植物の生態の分析が行われる場合、植物の生態に関するデータが、観測データに含まれる。例えば、気孔コンダクタンス、ガス交換量等が観測データに含まれる。
ステップS403乃至ステップS405において、図9のステップS2乃至ステップS4と同様の処理が実行される。これにより、センシング画像に適した評価指標が選択され、選択された評価指標に基づく評価指標データが出力される。
ステップS406において、学習部571は、評価指標と観測データとの相関関係を学習する。例えば、学習部571は、複数の種類の観測データのそれぞれについて、評価指標との相関係数を算出する。なお、相関係数の算出方法には、任意の方法を用いることが可能である。
次に、学習部571は、算出した相関係数に基づいて、評価指標と相関性が高い観測データを抽出する。
そして、例えば、抽出した観測データに基づいて、特徴領域内において発生している現象が特定される。これにより、評価指数と、評価指数と相関性が高い観測データにより表される現象との相関関係がさらに学習される。この現象の特定は、例えば、学習部571が行ってもよいし、ユーザが行ってもよい。
この特定された現象は、評価指標との相関性が高い現象である。すなわち、評価指標に基づいて、高い精度で検出可能な現象である。
図27は、評価指標と観測データとの相関性の例を示すグラフである。横軸は評価指標に用いる波長Rjを示し、縦軸は評価指標に用いる波長Riを示している。また、グラフ内の三角形の領域において、波長Riと波長Rjの組合せに基づく評価指標と観測データとの相関係数が、グラフの右側のバーの色の濃さに基づいて示されている。
この例においては、波長Riが枠A1で示される範囲、及び、波長Rjが枠A2で示される範囲内の場合に、評価指標と観測データとの間の相関が強くなることが示されている。従って、枠A1と枠A2が交わる範囲B内の波長Riと波長Rjの組合せに基づく評価指標を用いることにより、観測データにより表される現象を精度高く検出することが可能になる。
以上のようにして、例えば、新たな評価指標の開発が可能になる。例えば、従来にない波長の組合せに基づく評価指標が選択された場合、その新たな評価指標が持つ意味合いを特定することができる。すなわち、新たな評価指標により検出可能な現象を特定することができ、その現象の検出に新たな評価指標を活用することが可能になる。
<<3.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
<評価指標に関する変形例>
本技術に適用可能な評価指標は、上述したNDSIに限定されるものではなく、他の評価指標を用いることも可能である。
例えば、センシング画像の1つの波長成分に基づく評価指標を採用し、波長成分が互いに異なる複数の種類の評価指標の中から使用する評価指標を選択するようにしてもよい。
例えば、センシング画像の3以上の波長成分の組合せに基づく評価指標を採用し、波長成分の組合せが互いに異なる複数の種類の評価指標の中から使用する評価指標を選択するようにしてもよい。
例えば、算出に用いる波長成分の数が互いに異なる複数の種類の評価指標の中から使用する評価指標を選択するようにしてもよい。
例えば、センシング画像の同じ波長成分に基づくが、計算方法等が異なる複数の種類の評価指標の中から使用する評価指標を選択するようにしてもよい。
例えば、波長成分及び計算方法等が異なる複数の種類の評価指標の中から使用する評価指標を選択するようにしてもよい。
また、評価指標の選択に用いる評価値は、上述した例に限定されるものではなく、評価指標の他の統計値を用いるようにしてもよい。
例えば、評価指標の標準偏差の代わりに、分散を用いてもよい。
例えば、上述した評価指標の標準偏差や変動量以外の評価指標の変化の大きさを示す統計値を用いるようにしてもよい。
また、空間方向(センシング画像内)の評価指標の変化の大きさを示す統計値だけでなく、時間方向の評価指標の変化の大きさを示す統計値を用いることも可能である。例えば、評価指標の時系列の分布における分散、標準偏差、又は、変動量等に基づいて、評価値を算出するようにしてもよい。さらに、例えば、空間方向及び時間方向の両方の評価指標の変化の大きさを示す統計値に基づいて、評価値を算出するようにしてもよい。
さらに、統計値をそのまま評価値として使用するのではなく、例えば、所定の計算式により統計値を評価値に変化するようにしてもよい。
さらに、本技術は、例えば、評価指標をセンシング画像の画素毎でなく、複数の画素を含むブロック毎に算出する場合にも適用することができる。
<システム構成に関する変形例>
上述した情報処理システム11及び情報処理システム501の構成例は、その一例であり、必要に応じて変更することが可能である。
例えば、情報処理システム11及び情報処理システム501の各部の機能の分担を変更することが可能である。
例えば、図28に示されるように、情報処理システム11のセンシング部21、後処理部22、及び、記憶部23の分担を変更するようにしてもよい。
図28のAは、上述したように、リモートセンシングHW101がセンシング部21の機能を備え、情報処理端末102が後処理部22の機能を備え、クラウド104が記憶部23の機能を備える場合の例を示している。
これに対して、例えば、図28のBに示されるように、リモートセンシングHW101がセンシング部21及び後処理部22の機能を備え、情報処理端末102が記憶部23の機能を備えるようにしてもよい。
また、例えば、図28のCに示されるように、リモートセンシングHW101がセンシング部21の機能を備え、情報処理端末102が後処理部22及び記憶部23の機能を備えるようにしてもよい。
さらに、例えば、図28のDに示されるように、リモートセンシングHW101がセンシング部21の機能を備え、クラウド104が後処理部22及び記憶部23の機能を備えるようにしてもよい。
また、例えば、情報処理システム11又は情報処理システム501の分析部24の全部又は一部の機能を情報処理端末102が備えるようにしてもよい。さらに、例えば、情報処理システム11又は情報処理システム501の実行部25の全部又は一部の機能を情報処理端末102が備えるようにしてもよい。また、例えば、情報処理システム501の観測部511の全部又は一部の機能をセンシング部21が備えるようにしてもよい。
さらに、例えば、リモートセンシングHW101のセンサボックス201の制御部212とカメラ202の制御部225とを共通化するようにしてもよい。
また、例えば、環境光の光源の分光特性をより高精度に検出可能なセンサをリモートセンシングHW101に設けるようにしてもよい。
<その他の変形例>
以上の説明では、センシング画像の分光特性に基づいて被写体の分光特性を検出し、被写体の分光特性に基づいて評価指標を算出する例を示したが、例えば、被写体の分光特性を用いずに、センシング画像の分光特性に基づいて評価指標を算出するようにしてもよい。この場合、例えば、リモートセンシングHW101のセンサボックス201を省略することが可能である。
また、以上の説明では、被写体(センシングエリア)を撮影することにより得られた撮影データを画像化したセンシング画像に基づいて評価指標を算出する例を示したが、画像化する前の撮影データ(例えばスペクトルデータ)に基づいて評価指標を算出するようにしてもよい。すなわち、本技術では、画像化前及び画像化後のいずれの撮影データに基づいて評価指標を算出するようにしてもよい。ここで、画像化とは、例えば、撮影データを画像として表示できるように、各画素のデータを配列したり、各種の画像処理を行ったりする処理である。
<<4.その他>>
<プログラムの提供方法等>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータ(例えば、情報処理端末102のCPU301)にインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
例えば、情報処理端末102では、CPU301が、例えば、記憶部308に記録されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、一連の処理が行われる。
なお、情報処理端末102(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア203に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
情報処理端末102では、プログラムは、リムーバブルメディア203をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出する評価指標算出部と、
前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出する評価値算出部と、
前記評価値に基づいて前記評価指標の選択を行う選択部と
を備える情報処理装置。
(2)
前記評価指標算出部は、前記撮影データの異なる波長成分毎に、各前記評価指標を算出する
前記(1)に記載の情報処理装置。
(3)
前記評価指標算出部は、前記撮影データの2以上の波長成分からなる組合せ毎に、各前記評価指標を算出する
前記(2)に記載の情報処理装置。
(4)
前記評価指標は、NDSI(Normalized Difference Spectral Index)である
前記(3)に記載の情報処理装置。
(5)
前記評価指標算出部は、前記撮影データの画素毎又は複数の画素からなるブロック毎に各前記評価指標を算出する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記統計値は、前記撮影データの全部又は一部における前記評価指標の変化の大きさを示す
前記(5)に記載の情報処理装置。
(7)
前記統計値は、前記撮影データの全部又は一部における前記評価指標の分散又は標準偏差である
前記(6)に記載の情報処理装置。
(8)
前記統計値は、前記撮影データの全部又は一部における前記評価指標の変動量である
前記(6)又は(7)に記載の情報処理装置。
(9)
前記撮影データから複数の波長成分を抽出する波長分析部を
さらに備える前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
複数の第1の撮影データに対応する複数の第1の画像を繋ぎ合わせて第2の画像を生成する画像処理部を
さらに備え、
前記評価指標算出部は、前記第2の画像に基づいて複数の種類の前記評価指標を算出する
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記評価指標算出部は、複数の第1の撮影データに対応する複数の第1の画像に対してそれぞれ複数の種類の前記評価指標を算出し、
前記選択部は、前記第1の画像毎に前記評価指標を個別に選択し、
前記第1の画像毎に選択された前記評価指標に基づく複数の第2の画像を繋ぎ合わせる画像処理部を
さらに備える前記(1)乃至(9)のいずれかに記載の情報処理装置。
(12)
選択された前記評価指標に基づいて、前記被写体の分析を行う分析部を
さらに備える前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記選択部は、過去に前記評価指標が選択されたときの条件に基づいて、新たな撮影データに対する前記評価指標の選択を行い、
前記評価指標算出部は、前記新たな撮影データに基づいて、選択された前記評価指標を算出する
前記(1)乃至(12)のいずれかに記載の情報処理装置。
(14)
過去に前記評価指標が選択されたときの条件に基づいて、前記評価指標の選択に用いる選択条件の学習を行う学習部を
さらに備え、
前記選択部は、前記選択条件に基づいて、前記新たな撮影データに対する前記評価指標の選択を行う
前記(13)に記載の情報処理装置。
(15)
前記評価指標と、前記撮影データとは異なる観測データとの相関関係を学習する学習部を
さらに備える前記(1)乃至(12)のいずれかに記載の情報処理装置。
(16)
前記学習部は、前記評価指標と、前記観測データにより表される現象との相関関係をさらに学習する
前記(15)に記載の情報処理装置。
(17)
情報処理装置が、
被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、
前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、
前記評価値に基づいて前記評価指標の選択を行う
情報処理方法。
(18)
被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、
前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、
前記評価値に基づいて前記評価指標の選択を行う
処理をコンピュータに実行させるためのプログラム。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
11 情報処理システム, 21 センシング部, 22 後処理部, 23 記憶部, 24 分析部, 25 実行部, 101 リモートセンシングHW, 102 情報処理端末, 104 クラウドコンピューティング, 105 農業システム, 112 ストレージ, 113 サーバ, 201 センサボックス, 202 カメラ, 203 リムーバブルメディア, 211 照度センサ, 212 制御部, 222 撮影部, 223 信号処理部, 225 制御部, 241 フィルタ, 242 イメージセンサ, 261 ドローン, 301 CPU, 331 情報処理部, 341 画像処理部, 342 演算部, 343 出力制御部, 344 学習部, 361 波長分析部, 362 評価指標算出部, 363 評価値算出部, 364 選択部, 401 選択エリア, 402 ブロック, 501 情報処理システム, 511 観測部, 512 後処理部, 531 観測システム, 561 情報処理部, 571 学習部

Claims (18)

  1. 被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出する評価指標算出部と、
    前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出する評価値算出部と、
    前記評価値に基づいて前記評価指標の選択を行う選択部と
    を備える情報処理装置。
  2. 前記評価指標算出部は、前記撮影データの異なる波長成分毎に、各前記評価指標を算出する
    請求項1に記載の情報処理装置。
  3. 前記評価指標算出部は、前記撮影データの2以上の波長成分からなる組合せ毎に、各前記評価指標を算出する
    請求項2に記載の情報処理装置。
  4. 前記評価指標は、NDSI(Normalized Difference Spectral Index)である
    請求項3に記載の情報処理装置。
  5. 前記評価指標算出部は、前記撮影データの画素毎又は複数の画素からなるブロック毎に各前記評価指標を算出する
    請求項1に記載の情報処理装置。
  6. 前記統計値は、前記撮影データの全部又は一部における前記評価指標の変化の大きさを示す
    請求項5に記載の情報処理装置。
  7. 前記統計値は、前記撮影データの全部又は一部における前記評価指標の分散又は標準偏差である
    請求項6に記載の情報処理装置。
  8. 前記統計値は、前記撮影データの全部又は一部における前記評価指標の変動量である
    請求項6に記載の情報処理装置。
  9. 前記撮影データから複数の波長成分を抽出する波長分析部を
    さらに備える請求項1に記載の情報処理装置。
  10. 複数の第1の撮影データに対応する複数の第1の画像を繋ぎ合わせて第2の画像を生成する画像処理部を
    さらに備え、
    前記評価指標算出部は、前記第2の画像に基づいて複数の種類の前記評価指標を算出する
    請求項1に記載の情報処理装置。
  11. 前記評価指標算出部は、複数の第1の撮影データに対応する複数の第1の画像に対してそれぞれ複数の種類の前記評価指標を算出し、
    前記選択部は、前記第1の画像毎に前記評価指標を個別に選択し、
    前記第1の画像毎に選択された前記評価指標に基づく複数の第2の画像を繋ぎ合わせる画像処理部を
    さらに備える請求項1に記載の情報処理装置。
  12. 選択された前記評価指標に基づいて、前記被写体の分析を行う分析部を
    さらに備える請求項1に記載の情報処理装置。
  13. 前記選択部は、過去に前記評価指標が選択されたときの条件に基づいて、新たな撮影データに対する前記評価指標の選択を行い、
    前記評価指標算出部は、前記新たな撮影データに基づいて、選択された前記評価指標を算出する
    請求項1に記載の情報処理装置。
  14. 過去に前記評価指標が選択されたときの条件に基づいて、前記評価指標の選択に用いる選択条件の学習を行う学習部を
    さらに備え、
    前記選択部は、前記選択条件に基づいて、前記新たな撮影データに対する前記評価指標の選択を行う
    請求項13に記載の情報処理装置。
  15. 前記評価指標と、前記撮影データとは異なる観測データとの相関関係を学習する学習部を
    さらに備える請求項1に記載の情報処理装置。
  16. 前記学習部は、前記評価指標と、前記観測データにより表される現象との相関関係をさらに学習する
    請求項15に記載の情報処理装置。
  17. 情報処理装置が、
    被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、
    前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、
    前記評価値に基づいて前記評価指標の選択を行う
    情報処理方法。
  18. 被写体を撮影することにより得られた撮影データに基づいて複数の種類の評価指標を算出し、
    前記評価指標毎の統計値に基づく評価値を前記評価指標毎に算出し、
    前記評価値に基づいて前記評価指標の選択を行う
    処理をコンピュータに実行させるためのプログラム。
JP2018130474A 2018-07-10 2018-07-10 情報処理装置、情報処理方法、及び、プログラム Active JP7155681B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018130474A JP7155681B2 (ja) 2018-07-10 2018-07-10 情報処理装置、情報処理方法、及び、プログラム
PCT/JP2019/026237 WO2020013024A1 (en) 2018-07-10 2019-07-02 Information processing apparatus, information processing method, and program
EP19746194.0A EP3821368A1 (en) 2018-07-10 2019-07-02 Information processing apparatus, information processing method, and program
US17/257,702 US11631242B2 (en) 2018-07-10 2019-07-02 Information processing apparatus, information processing method, and program
CN201980044373.XA CN112368706B (zh) 2018-07-10 2019-07-02 信息处理装置、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130474A JP7155681B2 (ja) 2018-07-10 2018-07-10 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2020008446A true JP2020008446A (ja) 2020-01-16
JP7155681B2 JP7155681B2 (ja) 2022-10-19

Family

ID=67480264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130474A Active JP7155681B2 (ja) 2018-07-10 2018-07-10 情報処理装置、情報処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11631242B2 (ja)
EP (1) EP3821368A1 (ja)
JP (1) JP7155681B2 (ja)
CN (1) CN112368706B (ja)
WO (1) WO2020013024A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122523A (ko) * 2020-04-01 2021-10-12 전북대학교산학협력단 영상 분석을 위한 인덱스 발굴 장치 및 방법
WO2021241223A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297407B (zh) * 2021-05-21 2021-11-26 生态环境部卫星环境应用中心 遥感影像优选方法和装置
CN116248983A (zh) * 2023-03-07 2023-06-09 长光禹辰信息技术与装备(青岛)有限公司 一种差分成像的系统、方法、装置及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2005025503A (ja) * 2003-07-02 2005-01-27 Sharp Corp フィルタの設計方法、フィルタ、欠陥検査方法および欠陥検査装置
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
JP2006314215A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 移動体搭載用の生育度測定装置
CN103528965A (zh) * 2013-08-28 2014-01-22 南京农业大学 一种小麦叶片等效水厚度高光谱监测方法
US20170339340A1 (en) * 2016-05-20 2017-11-23 International Business Machines Corporation Device, system and method for cognitive image capture
CN107578412A (zh) * 2017-09-28 2018-01-12 微梦创科网络科技(中国)有限公司 图像质量综合评价方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JPWO2004099874A1 (ja) * 2003-04-16 2006-07-13 株式会社ニコン パターン決定方法及びシステム、マスクの製造方法、結像性能調整方法、露光方法及び装置、並びにプログラム及び情報記録媒体
JP4146310B2 (ja) * 2003-07-17 2008-09-10 浜松ホトニクス株式会社 組成の均一度の評価方法及び組成の均一度の評価装置
JP6193712B2 (ja) * 2013-09-12 2017-09-06 祐一 鎌田 多波長画像計測における雑音処理型画像表示装置及び画像表示方法
JP6307410B2 (ja) * 2014-10-15 2018-04-04 富士フイルム株式会社 導電性フィルム、これを備える表示装置及び導電性フィルムの評価方法
JP6275618B2 (ja) * 2014-10-15 2018-02-07 富士フイルム株式会社 導電性フィルム、それを備える表示装置及び導電性フィルムの配線パターンの評価方法
WO2016162231A1 (en) * 2015-04-10 2016-10-13 Asml Netherlands B.V. Method and apparatus for inspection and metrology
JP6863279B2 (ja) 2015-07-10 2021-04-21 ソニーグループ株式会社 検査装置、検査方法、及び、プログラム
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6875224B2 (ja) * 2017-08-08 2021-05-19 株式会社日立ハイテク プラズマ処理装置及び半導体装置製造システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339238A (ja) * 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2005025503A (ja) * 2003-07-02 2005-01-27 Sharp Corp フィルタの設計方法、フィルタ、欠陥検査方法および欠陥検査装置
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
JP2006314215A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 移動体搭載用の生育度測定装置
CN103528965A (zh) * 2013-08-28 2014-01-22 南京农业大学 一种小麦叶片等效水厚度高光谱监测方法
US20170339340A1 (en) * 2016-05-20 2017-11-23 International Business Machines Corporation Device, system and method for cognitive image capture
CN107578412A (zh) * 2017-09-28 2018-01-12 微梦创科网络科技(中国)有限公司 图像质量综合评价方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GENEVIEVE RONDEAUX: "Optimization of Soil-Adjusted Vegetation Indices", REMOTE SENSING OF ENVIRONMENT, vol. VOLUME 55, NUMBER 2, JPN6022037352, 2 February 1996 (1996-02-02), pages 95 - 107, ISSN: 0004866631 *
YVES M. GOVAERTS: "Desinging optimal spectral indices:a feasibility and proof of concept study", INTERNATIONAL JOURNAL OF REMOTE SENSING, vol. Volume 20 Number 9, JPN6022037350, 15 June 1999 (1999-06-15), pages 1853 - 1873, ISSN: 0004866632 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122523A (ko) * 2020-04-01 2021-10-12 전북대학교산학협력단 영상 분석을 위한 인덱스 발굴 장치 및 방법
KR102333149B1 (ko) * 2020-04-01 2021-11-30 전북대학교산학협력단 영상 분석을 위한 인덱스 발굴 장치 및 방법
WO2021241223A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
WO2020013024A1 (en) 2020-01-16
US11631242B2 (en) 2023-04-18
CN112368706B (zh) 2024-08-13
EP3821368A1 (en) 2021-05-19
JP7155681B2 (ja) 2022-10-19
CN112368706A (zh) 2021-02-12
US20210295042A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN112368706B (zh) 信息处理装置、信息处理方法和程序
Shi et al. Rice nitrogen nutrition estimation with RGB images and machine learning methods
CN106954385B (zh) 植物信息取得系统、植物信息取得装置和植物信息取得方法
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
RU2018143340A (ru) Распознавание сорняка в естественной среде
US20210365683A1 (en) Image processing based advisory system and a method thereof
Concepcion et al. Estimation of photosynthetic growth signature at the canopy scale using new genetic algorithm-modified visible band triangular greenness index
Sakamoto et al. Application of day and night digital photographs for estimating maize biophysical characteristics
JP2020024103A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN113223040B (zh) 基于遥感的香蕉估产方法、装置、电子设备和存储介质
US20220307971A1 (en) Systems and methods for phenotyping
KR101844678B1 (ko) 식물 군락의 구조와 기능을 실시간으로 모니터링 하기 위한 시스템
Kefauver et al. RGB picture vegetation indexes for high-throughput phenotyping platforms (HTPPs)
JP2017125705A (ja) 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
Sunoj et al. Digital image analysis estimates of biomass, carbon, and nitrogen uptake of winter cereal cover crops
CN111767943A (zh) 地膜识别方法、装置、电子设备及存储介质
Li et al. Estimation of nitrogen content in wheat using indices derived from RGB and thermal infrared imaging
Sangha et al. Impact of camera focal length and sUAS flying altitude on spatial crop canopy temperature evaluation
CN110476412B (zh) 信息处理装置、信息处理方法和存储介质
Yıldız et al. Estimation of canopy area of fruit trees using light unmanned aerial vehicle (UAV) and image processing methods
US20240080576A1 (en) Method of deriving color response characteristics of image acquisition device and image acquisition device therefor
JP7189585B1 (ja) 情報処理システムおよび分光計測器
WO2022091697A1 (ja) 情報処理装置、情報処理方法、プログラム
Tian et al. A novel approach to mapping corn chlorophyll content using a spectral-based airborne sensor
JP2023053829A (ja) 農作物管理支援装置及びIoT非接触センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7155681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151