JP2020515809A - マルチセンサ放射照度推定に係る機器及び方法 - Google Patents

マルチセンサ放射照度推定に係る機器及び方法 Download PDF

Info

Publication number
JP2020515809A
JP2020515809A JP2019529189A JP2019529189A JP2020515809A JP 2020515809 A JP2020515809 A JP 2020515809A JP 2019529189 A JP2019529189 A JP 2019529189A JP 2019529189 A JP2019529189 A JP 2019529189A JP 2020515809 A JP2020515809 A JP 2020515809A
Authority
JP
Japan
Prior art keywords
irradiance
aircraft
processor
photosensors
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019529189A
Other languages
English (en)
Other versions
JP7321093B2 (ja
Inventor
ダーヴァス、フェリックス
Original Assignee
マイカセンス インコーポレイテッド
マイカセンス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイカセンス インコーポレイテッド, マイカセンス インコーポレイテッド filed Critical マイカセンス インコーポレイテッド
Publication of JP2020515809A publication Critical patent/JP2020515809A/ja
Application granted granted Critical
Publication of JP7321093B2 publication Critical patent/JP7321093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/783Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
    • G01S3/784Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0266Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0425Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using optical fibers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本開示は、異なる配向を有する複数の光センサを用いて放射照度を同時に検出し、かつ放射照度の直接成分および散乱成分を決定するための機器および方法を対象とする。1つのそのような機器は、航空機および放射照度検出機器を含む。放射照度検出機器は、航空機に搭載される基部構造物を含み、基部構造物は、複数の表面を含む。複数の光センサは、基部構造物のそれぞれの表面上に配列され、各光センサは、異なる配向を有する。【選択図】図2

Description

本開示は、異なる配向を有する複数の光センサを有する放射照度検出機器を使用して、放射照度を推定または決定することを対象とする。
放射計によるリモートセンシングでの一般的問題は、太陽光の散乱成分および直接成分から、任意の表面上で太陽からの入射放射照度を推定することである。
従来、太陽光のこれらの成分は、散乱成分のために日陰の全天日射計を、および直接成分のために日射計を使用して、地上で測定される。これらの機器は両方とも、測定中に太陽の位置を追跡する。日射計は、直接光だけが中に入ることができるようにする長い管を有し、全天日射計が陰を追跡することにより、直接光は遮断され、その結果、これらの器具は、それぞれ直接光および散乱光を測定する。両方の器具は、かなり費用がかかり、ドローンなどの、小型で迅速に動くプラットフォームに搭載するのに適していない。
センサの姿勢が満足のいくように決定され、かつ姿勢が経時的に変わる場合、単一の従来型光センサを使用して、太陽光の両方の成分を測定することができる。しかしながら、そのようなセンサはドローンに搭載することができる一方で、動くプラットフォームに関する正確な姿勢推定値は、得るのが困難であるか、または費用がかかるセンサを必要とし、たとえば、部分的雲量のために、特に、変化する光の条件下で、重大な間違いを起こしやすい。
以上より、植生の健康状態を決定するためのマルチスペクトル画像化の用途などの、従来のリモートセンシングの用途で、対象のマルチスペクトル画像上で可変光源(たとえば、太陽)の影響を正規化するために、典型的には地上較正システムが採用される。
そのような較正システムは一般に、対象の較正を使用すること、またはマルチスペクトル画像化機器の視界内に置かれ、かつ取得した対象物の画像を較正するために使用することができる既知のスペクトル反射率を有する反射率パネルを使用することに依存する。そのような技法では、較正または反射率パネルが、費用がかかり扱いにくく、取得した画像を用いて同時に放射照度レベルを正確に測定するわけではないことを含むいくつかの欠点がある。
本開示は、異なる配向で配列された複数の光センサを含む放射照度検出機器により、太陽などの光源からの放射照度を検出するための機器および方法を対象とする。異なる配向を有する複数の光センサを用いて放射照度を同時に検出することにより、直接成分および散乱成分、ならびに入射角などの、放射照度の特定の成分を決定してもよい。これらの決定された放射照度成分を使用して、画像化機器により同時に取得された対象の画像を補償または正規化してもよい。放射照度検出機器および画像化機器は、ドローンなどの航空機で運ばれてもよい。
一実施形態では、本開示は、航空機および放射照度検出機器を含む機器を提供する。放射照度検出機器は、航空機に搭載される基部構造物を含み、基部構造物は、複数の表面を含む。放射照度検出機器は、複数の光センサをさらに含み、光センサの各々は、基部構造物のそれぞれの表面上に配列され、異なる配向を有する。
別の実施形態では、本開示は、異なる検出配向をそれぞれ有する複数の光センサにより放射照度を同時に検出するステップと、対象物に関連する画像情報を取得するステップと、検出した放射照度の直接成分および散乱成分をプロセッサにより決定するステップと、決定した直接成分および散乱成分、ならびに取得した画像情報に基づき、対象物の反射率を決定するステップとを含む方法を提供する。
さらに別の実施形態では、本開示は、異なる検出配向をそれぞれ有する、航空機上に位置決めされた複数の光センサにより、放射照度を同時に検出するステップと、検出した放射照度を示す情報を複数の光センサからプロセッサへ伝送するステップと、放射照度の直接成分および散乱成分をプロセッサにより決定するステップとを含む方法を提供する。
図面では、同一参照番号は、類似する要素を識別する。図面内の要素のサイズおよび相対位置は、必ずしも縮尺どおりではない。
本開示の1つまたは複数の実施形態による、放射照度を検出し、対象の画像を同時に得るための航空機の説明図である。 図1の航空機の詳細をさらに示す説明図である。 本開示の1つまたは複数の実施形態による放射照度検出機器の説明図である。 本開示の1つまたは複数の実施形態による、複数の光センサから検出した放射照度に基づき放射照度を推定または決定するための、ならびに画像化した物体の反射率を決定するためのシステムを示す構成図である。 本開示の1つまたは複数の実施形態による、検出した放射照度の直接成分および散乱成分を決定し、かつ決定した直接成分および散乱成分に基づき、画像化した対象の反射率を決定する方法を示す流れ図である。
本開示は、放射計によるリモートセンシングの用途で太陽放射照度を測定するためのシステムおよび方法を対象にする。太陽などの光源からの放射照度は、放射照度検出機器上に異なる配向で配列された複数の光センサにより同時に検出されてもよい。したがって、直接成分および散乱成分、ならびに入射角などの、放射照度の成分が決定され、画像化機器により同時に取得された対象の画像を補償または正規化するために利用されてもよい。
図1は、1つまたは複数の実施形態による、放射照度を検出し、かつたとえば地上の対象の画像を同時に得るための航空機100を示し、図2は、航空機100の詳細をさらに示す。
図1および図2を参照する。航空機100は、放射照度検出機器110と、物理的領域または風景(すなわち、対象)を画像化するための画像化機器120とを含む。放射照度検出機器110および画像化機器120は、得た放射照度および画像の情報を収集する、記憶する、および/または出力してもよい。
航空機100は、任意の回転翼または固定翼の航空機を含む、任意のタイプの航空機であってもよく、(図1に示すような)無人航空機、または飛行機もしくはドローンなどの有人航空機であってもよい。さらに、航空機100は、自律飛行(および放射照度および画像の情報の自律取得)できる自律航空機であってもよい、または(たとえば、有人航空機内の操縦士により、または無人航空機の遠隔操縦士により飛ばされた)操縦された航空機であってもよい。
画像化される対象(たとえば、木102、農産物104、106、草原、水域など)は、太陽108などの光源から放射照度を受ける。対象は、1つまたは複数の別個の物体(たとえば、ただ1本の木、建築物、池など)、領域または風景(たとえば、森の一部分、作物畑の一部分、湖の一部分など)、または画像取得が望まれる場合がある任意の他の対象であってもよい。
画像化機器120は、対象のスペクトル画像を取得することができるマルチスペクトル画像化機器であってもよく、複数の画像を含んでもよく、そのような画像はそれぞれ、対象により反射された特定の光の波長を取得するように調整される。画像化機器120は、電磁スペクトルの紫外の、可視の、近赤外の、および/または赤外の領域のうち1つまたは複数で反射光を取り込むように構成されてもよい。
そのようなマルチスペクトル画像化機器により取得した画像を利用して、植物の葉緑素含有量、単位土地面積当たりの葉面積の量、水域内の藻類の量またはタイプなどのような対象の、異なる特性を測定または決定してもよい。1つまたは複数の実施形態では、画像化機器120を使用して、画像化した対象の反射率を決定してもよい。
画像化機器120を、望みどおりに任意の手法で航空機100に搭載し、配向してもよい。たとえば、画像化機器120を、航空機100の下面に搭載して、地上の対象の画像を得てもよいように位置決めしてもよい。
放射照度検出機器110は、航空機100の上面に搭載されてもよく、光源に対してさまざまな異なる配向で、太陽108などの光源からの放射照度を同時に検出するように構成された複数の光センサを含む。
異なる配向を有する複数の光センサにより放射照度を同時に検出することにより、太陽放射照度の直接成分および散乱成分、ならびに太陽放射照度の入射角などの、光源の特定の特性を決定することが可能である。さらに、放射照度検出機器110は、画像化機器120により画像が取得されるのと同時に放射照度を検出してもよく、それにより、取得した画像の正規化または補償が、画像化した対象による受信放射照度の変動を考慮することが可能になる。たとえば、曇りの日に画像化機器120により取得した対象の画像を雲のない日に取得した同じ対象の画像と、各画像を取得したときに放射照度検出機器110により検出された放射照度の差を考慮することにより、相関させることができる。
図3は、本開示の1つまたは複数の実施形態による放射照度検出機器110をさらに詳細に示す。放射照度検出機器110は、基部115の、異なる表面上に配列された複数の光センサ112を含む。基部115は、たとえば、航空機100の上面に搭載されてもよい下面114を含む。下面114から、光センサ112が搭載されてもよい複数の傾斜した表面116が伸長している。
図3に示すように、1つまたは複数の実施形態では、基部115は、切頭正四角錐の形状を有してもよく、4つの傾斜した表面116が、下面114と平坦な上面118の間で伸長する。1つまたは複数の光センサ112は、傾斜した表面116および上面118の各々に搭載されてもよい。このように、光センサ112は、太陽108などの光源から、変わる量または成分(たとえば、直接成分および散乱成分)の放射照度を受け取り、検出するように配向されてもよい。
基部115は、光センサ112が搭載され、かつ異なる配向から放射照度を検出するように構成されてもよい、複数の表面を含む任意の形状または形態を有してもよい。放射照度検出機器110は、光センサ112を、好ましくは少なくとも4つ含んでもよく、1つまたは複数の実施形態では5つ含んでもよい。それに応じて、基部115は、光センサ112を搭載するための、異なる配向を有する表面を、好ましくは少なくとも4つ含んでもよく、1つまたは複数の実施形態では5つ含んでもよい。
各光センサ112は、受信した信号(たとえば、検出した放射照度を示す信号)を処理および/または記憶するための(1つまたは複数の特定用途向け集積回路、コンピュータ可読メモリなどの)電子回路を収容する筐体111またはいくつかの外部容器と、放射照度を検出するための光センサ表面113とを含む。
光センサ112の各々は、光センサ112との間で信号(たとえば、検出した放射照度を示す1つまたは複数の信号)を伝達するための1つまたは複数のポート117を含んでもよい。1つまたは複数の実施形態では、光センサ112は、航空機100の機上に含まれるプロセッサに(たとえば、ポート117に連結された1つもしくは複数の電線またはケーブルにより)連結されてもよい。同様に、プロセッサは、画像化機器120に通信可能に連結されてもよい。それに応じて、プロセッサは、画像化機器120により対象の画像が獲得されるのと当時に、光センサ112により検出された放射照度を獲得してもよい。したがって、放射照度検出機器110により検出された放射照度は、画像化機器120により同時に獲得された画像と相関させられてもよい。
追加でまたは代わりに、光センサ112は、放射照度情報が航空機100の飛行中に取得されたとき、検出した放射照度情報を記憶してもよい。同様に、画像化機器120は、飛行中に取得した画像を記憶してもよい。画像および放射照度の情報は、後でコンピュータシステムにアップロードされてもよく、コンピュータシステムは、タイムスタンプ、または放射照度および画像の情報と共に含まれてもよい類似の情報を通して提供されてもよい、そのような情報を取得した時間に基づき、記憶した放射照度および画像の情報を相関させてもよい。
基部115は、少なくとも部分的に中空であってもよい、またはそうではない場合、放射照度検出機器110の重量を低減する内部空洞を含んでもよい。さらに、任意の電気部品または電子部品などの、航空機100の追加部品を、基部115の内部空洞の中に収容してもよい。たとえば、プロセッサおよび/または任意の他の回路は、基部115の内部に含まれてもよく、光センサ112および/または画像化機器120に通信可能に連結されてもよい。
航空機による放射照度検出のために、放射照度検出機器は、センサの姿勢推定値(たとえば、不正確なIMUから提供されてもよい)および航空機自体の大きな動きとは無関係に、直接成分と散乱成分の両方の瞬間推定値を提供すべきである。単一のセンサは、そのような推定値を提供することができないが、本明細書で提供される放射照度検出機器110などのマルチセンサアレイは、そのような推定値を提供することができる。
以下で例証されるように、任意の特定の時間での、太陽放射照度の直接成分および散乱成分は、異なる配向を有する複数の光センサ112により同時に取得される、検出された放射照度に基づき決定されてもよい。
一般性を失うことなく簡潔にするために、Z軸を現在の太陽の位置に向けて配向した、センサ本体の座標系を仮定してもよい。そのような座標系では、放射照度は、Z軸を中心とする回転の下で不変であるので、太陽とセンサの間の入射角αは、2つの角度(方位角および天頂角)だけに依存する。
これらの角度を直接測定しようと試みるのではなく、方位角および天頂角を、直接太陽放射照度および散乱太陽放射照度と共に、推定すべき未知数として取り扱ってもよい。したがって全体で、5つの(またはそれよりも多くの)非線形方程式を与える1組の5つの(またはそれよりも多くの)独立した放射照度測定から、4つの未知数を決定することを目指す。そのようなシステムは、ニュートンの方法または最小2乗法などの標準的手段により容易に解くことができる。
以下の構成を有する(たとえば、図3に示すような)5つのセンサのシステムは、シミュレーションで良好な結果を提供し、すべての未知数を安定的に決定できるようにする。
この方法での入力は、既知の固定した光センサの配向および測定した放射照度だけであることに留意されたい。直接放射照度および散乱放射照度の時間経過に関する仮定はまったく必要なく、姿勢を測定する必要はまったくない。放射照度の成分の推定値は、瞬時のものであり、追加の利点として、光センサの姿勢は、特殊な太陽座標系で提供される。
この方法が放射照度の成分を適切に決定しない場合がある特殊な状況がいくつかあることに留意されたい。1つのそのような状況は、直接光がまったく存在しない場合である。この状況では、いくつかの独立方程式は、ただ1つにまとめられる。しかしながら、この場合、すべての光センサ読取り値が同じであり、散乱放射照度に等しくなるはずであるので、容易に識別することができる特殊な場合である。
また、任意の光センサに関して入射角が90°よりも大きくなるとき、すなわち、IMUを使用することにより決定することができる場合、意味のある結果をまったく期待することができない。この場合、この特殊なしきい値だけを決定する必要があるので、IMUから特に高い精度はまったく必要とされないことに留意されたい。
上記を考慮すると、放射照度検出機器110は、既知の座標系を有してもよく、変換が存在し、任意の所与の時間で太陽の位置は既知であるので、機器の座標系と大域座標系の間で変換が決定されてもよい。
それに応じて、放射照度検出機器110の光センサ112の各々により同時に検出された放射照度を利用して、画像化機器120により画像化されてもよい対象の上に特定の時間に入射する太陽放射照度の直接成分および散乱成分(ならびに、入射角α、方位角φ、および天頂角θ)を(たとえば、プロセッサにより)決定してもよい。
図4は、(たとえば、放射照度検出機器110により検出されたような)複数の光センサから検出した放射照度に基づき放射照度を推定または決定するための、ならび画像化された対象または物体の反射率を決定するためのシステム200を示す構成図である。システム200は、画像化機器120および(光センサ1〜Nを含む)放射照度検出機器110に通信可能に連結されたプロセッサ230を含んでもよい。
本明細書ですでに指摘したように、プロセッサ230は、航空機100の機上に(たとえば、基部115内の空洞の中に、または航空機100上の任意の他の場所に収容されて)含まれてもよい。他の実施形態では、プロセッサ230は、放射照度検出機器110および/または画像化機器120が、航空機100による画像化セッション後に連結されてもよい後処理コンピュータの一部として含まれてもよい。したがって、後処理コンピュータは、放射照度検出機器110により収集され、記憶されたデータに基づき、検出した放射照度の成分を決定してもよい。同様に、画像化機器120は、後でプロセッサ230に提供され、プロセッサ230により処理されてもよいデータを取り込み、記憶してもよい。
追加で、プロセッサ230および/またはプロセッサ230により遂行される(たとえば、放射照度成分、反射率値などを決定するための)命令は、クラウド内、すなわち、収集したデータを画像化機器120および放射照度検出機器110から無線で受信するか、または画像化セッション後に画像化機器120および放射照度検出機器110がコンピュータに連結されると、有線ネットワークを通してデータを受信する、遠隔分散コンピューティングネットワーク内に配置されてもよい。
プロセッサ230は、検出された放射照度情報を放射照度検出機器110から、必要な画像情報を画像化機器120から受信する。プロセッサ230は、本明細書で説明するように、複数の光センサ112からの、同時に検出された放射照度情報に基づき、太陽放射照度の直接成分および散乱成分を決定する(そして入射角α、方位角φ、および天頂角θをさらに決定してもよい)ためのコンピュータ可読命令を包含する放射照度決定モジュール234にアクセスしてもよい。
プロセッサ230は、放射照度情報を得たのと同時に、画像化機器120により取得された対象の画像情報と共に、決定された太陽放射照度の直接成分および散乱成分を、反射率決定モジュール232に提供してもよい。
反射率決定モジュール232は、画像情報を取得したときの、対象の画像情報(たとえば、対象により反射された光量を示してもよい)および決定された放射照度の成分に基づき対象の反射率を決定するためのコンピュータ可読命令を含んでもよい。それに応じて、画像化された対象の、決定された反射率は、対象を画像化したときに存在してもよい、異なる放射照度レベルを考慮するために、正規化または補償されてもよい。たとえば、曇りの日に取得した対象の画像に基づき対象に関して決定された反射率は、雲のない日に取得した対象の画像に基づき決定された、同じ対象に関する反射率と同じ、または実質的に同じになる。
したがって、補償係数は、(決定された放射照度の成分に基づき)プロセッサ230により決定されてもよく、画像を取得したときの照明条件と無関係に、画像化された対象の反射率を正確に決定するために、画像化機器120により取得されたあらゆる画像について反射率決定モジュール232により適用されてもよい。
図5は、本開示の方法を示す流れ図300である。302で、方法は、光源に対して異なる配向を有する複数の光センサ112を含む放射照度検出機器110により、光源からの放射照度を同時に検出するステップを含む。光センサ112は、たとえば、図3の放射照度検出機器110に示すように配列されてもよい。光センサ112は、航空機100の機上に含まれてもよく、したがって、放射照度は、航空機100が飛行中の間、検出されてもよい。
304で、方法は、画像化機器120により対象物の画像を取得するステップを含む。画像は、放射照度検出機器110が放射照度を検出すると同時に取得されてもよく、その結果、画像および放射照度の情報は、相関させられてもよい。
306で、方法は、検出された放射照度の直接成分および散乱成分を決定するステップを含む。308で、方法は、検出された放射照度の、決定された直接成分および散乱成分、ならびに取得された対象物の画像に基づき、対象物の反射率を決定するステップを含む。したがって、この方法は本来、可変光源(たとえば、太陽)からの放射照度の変化と無関係な、植生などの対象の、補償または正規化された反射率測定値を提供し、IMU、または画像化機器の較正を必要としない。本方法を、画像化機器120により取得された画像ごとに遂行してもよい。
周知のように、異なる物質は、異なる波長で放射照度を別様に反射および吸収する。したがって、遠隔で検出された画像内の、対象のスペクトル反射率の固有の特徴に基づき、対象を区別することができる。反射率は、物質の特性であり、一般に対象により反射される入射放射照度の一部分として規定される。物質の反射率特性は、特定の物質、ならびにその物理的および化学的状態(たとえば、水分)だけではなく、表面テクスチャなどの他の特性、および関連分野で公知であってもよい他の特性に依存する。
したがって、本明細書で提供するさまざまな実施形態は、1つまたは複数の画像化された対象の反射率を決定することが望ましい場合がある、さまざまな用途で利用されてもよい。たとえば、異なる波長で植物の反射率を測定または決定することにより、農産物内のストレスの区域を識別してもよい。さらに、植生、土壌、水などのような表面特徴の、決定された反射率の変化を利用して、農産物内の病気の進展、水域内の藻類の生長、地面または土壌の化学特性の変化などを決定することができる。
本開示により、さまざまな他の用途が企図される。たとえば、放射照度検出機器110の配向は、対象の位置に対して決定されるので、本明細書で提供する実施形態は、航行の用途で利用されてもよい。すなわち、放射照度検出機器110の配向は、上記で説明したように、大域座標系または地平座標系にマッピングされてもよく、その結果、これらの座標系は、放射照度検出機器110を含む任意の航空機により航行の目的で使用されてもよい。追加で、ピッチ、機首方位、および横転を含む、航空機100の飛行パラメータが、放射照度検出機器110の光センサ112により検出された放射照度、および決定された放射照度の成分に基づき決定されてもよいことが認識されよう。
本明細書で上記に指摘したように、放射照度の成分の推定値は、瞬時のものであり、光センサの姿勢は、特殊な太陽座標系で提供される。さらに、放射照度検出機器110の配向は、本明細書で説明したように、大域座標系または地平座標系にマッピングされてもよい。それに応じて、特殊な太陽座標系で提供される、決定された光センサの姿勢は(ピッチ、機首方位、および横転の情報を含む)、地球に対する航空機100の姿勢を示すために、大域座標系または地平座標系にマッピングされてもよい。追加で、飛行中の、決定された光センサのピッチ、機首方位、および横転の変化は、航行の目的で利用されてもよい。
本説明では、本開示のさまざまな実施形態を完全に理解することができるように、ある種の特有の詳細が示されている。しかしながら、当業者は、これらの特有の詳細なしに本開示を実施してもよいことが理解されよう。他の場合では、本開示の実施形態の説明を不必要に不明瞭にすることを避けるために、周知の構造について詳細に説明していない。
文脈上違ったふうに要求されない限り、以下の本明細書および特許請求の範囲の全体を通して、用語「comprise(備える)」ならびに、「comprises」および「comprising」などのその変形形態は、非限定的で包括的な意味で、すなわち、「含むが限定されない」として解釈されるべきである。
本明細書全体を通して「one embodiment(一実施形態)」または「an embodiment(ある実施形態)」に対する言及は、その実施形態に関連して説明する特定の特徴、構造、または特性が、少なくとも1つの実施形態または様態に含まれることを意味する。したがって、本明細書全体にわたりさまざまな場所で「in one embodiment(一実施形態では)」または「in an embodiment(ある実施形態では)」という語句の出現は、同じ実施形態をすべて参照しているわけでは必ずしもない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態で任意の適切な手法で組み合わせられてもよい。
本明細書および添付の特許請求の範囲で使用するとき、単数形「a」、「an」、および「the」は、内容が違ったふうに明確に示さない限り、複数の参照を含む。また、用語「or(または)」は一般に、内容が違ったふうに明確に示さない限り、「and/or(および/または)」を含む意味で採用されることにも留意されたい。
上記で説明するさまざまな実施形態を、別の実施形態を提供するために組み合わせることができる。上記の詳細な説明を考慮して、実施形態にこれらおよび他の変更を行うことができる。一般に以下の特許請求の範囲では、使用する用語は、特許請求の範囲を明細書および特許請求の範囲で開示される特有の実施形態に限定していると解釈されるべきではなく、そのような特許請求の範囲を享受する均等物の完全な範囲と共に、すべての可能な実施形態を含むと解釈されるべきである。それに応じて、特許請求の範囲は、本開示により限定されない。

Claims (20)

  1. 機器であって、
    航空機と、
    放射照度検出機器であって、前記航空機に搭載され、複数の表面を含む基部構造物、および、前記基部構造物の前記表面上にそれぞれ配列され、互いに対して異なる配向を有する複数の光センサ、を含む放射照度検出機器と、を備える、
    機器。
  2. 前記複数の光センサは、光源からの放射照度を同時に検出し、かつ前記検出した放射照度を示す信号を出力するように構成される、請求項1に記載の機器。
  3. 前記複数の光センサに連結され、前記出力信号を受信するように、かつ前記検出した放射照度の直接成分および散乱成分を決定するように構成されたプロセッサをさらに備える、請求項2に記載の機器。
  4. 前記基部構造物の前記複数の表面は、下面、上面、および前記下面と前記上面の間に伸長する複数の傾斜した表面を含む、請求項1に記載の機器。
  5. 前記複数の光センサは、前記基部構造物の前記上面および前記傾斜した表面上に配列される、請求項4に記載の機器。
  6. 前記基部構造物の前記傾斜した表面は、4つの傾斜した表面を含み、前記複数の光センサは、前記4つの傾斜した表面および前記上面の上に配列される、請求項5に記載の機器。
  7. 前記航空機に搭載された画像化機器をさらに備える、請求項1に記載の機器。
  8. 前記画像化機器は、マルチスペクトル画像化機器である、請求項7に記載の機器。
  9. 前記放射照度検出機器および前記画像機器に連結されたプロセッサをさらに備え、前記プロセッサは、前記複数の光センサにより検出された放射照度情報を前記画像化機器により取得された画像情報と、前記画像情報が取得されたときに相関させるように構成される、請求項7に記載の機器。
  10. 前記プロセッサは、前記検出された放射照度の直接成分および散乱成分を決定するようにさらに構成される、請求項9に記載の機器。
  11. 前記航空機は無人航空機である、請求項1に記載の機器。
  12. 前記基部構造物は、前記機器の1つまたは複数の電気部品を収容する内部空洞を含む、請求項1に記載の機器。
  13. 方法であって、
    異なる検出配向をそれぞれ有する複数の光センサにより放射照度を同時に検出するステップと、
    対象物に関連する画像情報を取得するステップと、
    プロセッサにより、前記検出された放射照度の直接成分および散乱成分を決定するステップと、
    前記決定された直接成分および散乱成分、ならびに前記取得された画像情報に基づき、前記対象物の反射率を決定するステップと、を備える、
    方法。
  14. 前記画像情報が取得されたとき、前記検出された放射照度を前記画像情報と相関させるステップをさらに備える、請求項13に記載の方法。
  15. 前記プロセッサにより、前記放射照度の入射角を決定するステップをさらに備える、請求項13に記載の方法。
  16. 前記対象物は、植物を含み、前記方法は、前記植物の前記決定された反射率に基づき、前記植物の健康状態を決定するステップ、をさらに備える、請求項13に記載の方法。
  17. 前記プロセッサにより、異なる検出配向を有する前記複数の光センサにより前記同時に検出された放射照度に基づき、前記航空機のピッチ、機首方位、および横転のうち少なくとも1つを決定するステップ
    をさらに備える、請求項13に記載の方法。
  18. 方法であって、
    異なる検出配向をそれぞれ有する、航空機上に位置決めされた複数の光センサにより放射照度を同時に検出するステップと、
    前記検出された放射照度を示す情報を前記複数の光センサからプロセッサへ伝送するステップと、
    前記プロセッサにより、前記放射照度の直接成分および散乱成分を決定するステップと、を備える、
    方法。
  19. 前記プロセッサにより、異なる検出配向を有する前記複数の光センサにより前記同時に検出された放射照度に基づき、前記航空機の前記ピッチ、前記機首方位、および前記横転のうち少なくとも1つを決定するステップ、をさらに備える、請求項17に記載の方法。
  20. 前記ピッチ、前記機首方位、および前記横転のうち前記決定された少なくとも1つに基づき、前記航空機の飛行を誘導するステップ、をさらに備える、請求項19に記載の方法。
JP2019529189A 2017-01-17 2017-12-14 マルチセンサ放射照度推定に係る機器及び方法 Active JP7321093B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762447273P 2017-01-17 2017-01-17
US62/447,273 2017-01-17
PCT/US2017/066524 WO2018136175A1 (en) 2017-01-17 2017-12-14 Multi-sensor irradiance estimation

Publications (2)

Publication Number Publication Date
JP2020515809A true JP2020515809A (ja) 2020-05-28
JP7321093B2 JP7321093B2 (ja) 2023-08-04

Family

ID=62908696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529189A Active JP7321093B2 (ja) 2017-01-17 2017-12-14 マルチセンサ放射照度推定に係る機器及び方法

Country Status (5)

Country Link
US (1) US11290623B2 (ja)
EP (1) EP3571480A4 (ja)
JP (1) JP7321093B2 (ja)
CN (1) CN110291368A (ja)
WO (1) WO2018136175A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258955B2 (en) 2019-03-18 2022-02-22 The Climate Corporation System and method for automatic control of exposure time in an imaging instrument
JP6798073B2 (ja) * 2019-06-04 2020-12-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体、及びセンサユニット
US11650103B2 (en) 2019-06-25 2023-05-16 Michael Gostein Measuring direct, diffuse, or global solar irradiance using multiple irradiance sensors
US20220099483A1 (en) * 2019-06-25 2022-03-31 Michael Gostein Measuring Direct, Diffuse, Global, and/or Ground-Reflected Solar Irradiance Using an Array of Irradiance Sensors
CN112577595B (zh) * 2020-09-18 2023-01-20 临沂大学 立体光强传感系统、立体传感方法及无人机光强传感器
JP7069503B2 (ja) * 2020-10-05 2022-05-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行体、及びセンサユニット
US20220333979A1 (en) * 2021-04-14 2022-10-20 Micasense, Inc. Diffuser for irradiance sensor
WO2024083729A1 (en) 2022-10-17 2024-04-25 ams Sensors Germany GmbH Arial device for moisture measurements of soil, system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5138137A (ja) * 1974-09-27 1976-03-30 Eiko Seiki Sangyo Kk
JP2005030791A (ja) * 2003-07-08 2005-02-03 Univ Nagoya 移動式光環境測定装置
JP2006314215A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 移動体搭載用の生育度測定装置
JP2009210280A (ja) * 2008-02-29 2009-09-17 Toyama Univ 方位センサ装置
CN101750068A (zh) * 2009-12-31 2010-06-23 苏州大学 一种太阳敏感器及其测量方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5910806A (ja) * 1982-07-09 1984-01-20 Akita Netsuken:Kk 太陽日射方向と日射量観測システム
JPS6273108A (ja) * 1985-09-27 1987-04-03 Nissan Motor Co Ltd 車両用日射状態検出装置
SE459529B (sv) * 1987-11-27 1989-07-10 Foersvarets Forskningsanstalt Saett att detektera straalning och maeta dess infallsvinkel och ett detektorarrangemang foer genomfoerande av saettet
JPH0352208U (ja) * 1989-09-29 1991-05-21
GB9719614D0 (en) 1997-09-10 1997-11-19 Wood John Solar radiation sensor
DE102005046878A1 (de) * 2005-09-29 2007-04-12 Katz, Elisabeth Vorrichtung und Verfahren zur Schnell- oder Online-Bestimmung der Komponenten eines Zwei- oder Mehrstoffsystems
US20140118526A1 (en) * 2012-10-30 2014-05-01 Gary Edwin Sutton Curvilinear sensor system
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US9686122B2 (en) * 2010-05-10 2017-06-20 Locus Energy, Inc. Methods for orientation and tilt identification of photovoltaic systems and solar irradiance sensors
TWI408346B (zh) * 2010-05-10 2013-09-11 Univ Nat Formosa 太陽光功率判斷方法,裝置及其應用
WO2012086658A1 (ja) 2010-12-24 2012-06-28 日本電気株式会社 画像処理方法、画像処理システムおよび画像処理プログラム
US8796604B2 (en) * 2011-11-21 2014-08-05 General Electric Company Apparatus having a controllable filter matrix to selectively acquire different components of solar irradiance
US20140022381A1 (en) 2012-07-17 2014-01-23 Tetracam, Inc. Radiometric multi-spectral or hyperspectral camera array using matched area sensors and a calibrated ambient light collection device
US9413930B2 (en) * 2013-03-14 2016-08-09 Joergen Geerds Camera system
WO2015088618A2 (en) 2013-09-26 2015-06-18 Konica Minolta Laboratory U.S.A., Inc. Method and system of calibrating a multispectral camera on an aerial vehicle
WO2015049626A1 (en) 2013-10-03 2015-04-09 Koninklijke Philips N.V. A window shading control system and method thereof based on decomposed direct and diffuse solar radiations
CN104006879B (zh) * 2014-06-11 2016-01-20 河海大学常州校区 便携式太阳辐射测试仪及测试方法
US20150367957A1 (en) * 2014-06-18 2015-12-24 Aai Corporation Providing visibility to a vehicle's environment via a set of cameras which is conformal to the vehicle
CN204037916U (zh) * 2014-06-30 2014-12-24 中国航天空气动力技术研究院 一种低雷达散射截面光电吊舱
US9470579B2 (en) * 2014-09-08 2016-10-18 SlantRange, Inc. System and method for calibrating imaging measurements taken from aerial vehicles
TW202130977A (zh) * 2014-09-29 2021-08-16 美商唯景公司 組合式感測器系統
US10209181B2 (en) * 2015-05-21 2019-02-19 C-Dax Limited Plant matter sensor to determine health and/or nutritional content based on reflected signals at vertically displaced points on the plant matter
US9415870B1 (en) * 2015-09-02 2016-08-16 Amazon Technologies, Inc. Unmanned aerial vehicle motor driving randomization and feedback for noise abatement
CN105890748A (zh) * 2016-04-07 2016-08-24 河海大学常州校区 基于智能手机app的便携式辐照测试装置及测试方法
EP3255397B1 (en) * 2016-06-06 2023-02-22 ams International AG Optical sensor device
US10979607B2 (en) * 2016-07-20 2021-04-13 Apple Inc. Camera apparatus and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5138137A (ja) * 1974-09-27 1976-03-30 Eiko Seiki Sangyo Kk
JP2005030791A (ja) * 2003-07-08 2005-02-03 Univ Nagoya 移動式光環境測定装置
JP2006314215A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 移動体搭載用の生育度測定装置
JP2009210280A (ja) * 2008-02-29 2009-09-17 Toyama Univ 方位センサ装置
CN101750068A (zh) * 2009-12-31 2010-06-23 苏州大学 一种太阳敏感器及其测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
農業食料工学会誌, vol. 第78巻 第2号, JPN7021004673, 31 March 2016 (2016-03-31), pages 110 - 115, ISSN: 0004867303 *

Also Published As

Publication number Publication date
US11290623B2 (en) 2022-03-29
EP3571480A1 (en) 2019-11-27
EP3571480A4 (en) 2021-02-24
JP7321093B2 (ja) 2023-08-04
CN110291368A (zh) 2019-09-27
WO2018136175A1 (en) 2018-07-26
US20180343367A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
JP7321093B2 (ja) マルチセンサ放射照度推定に係る機器及び方法
US11029211B2 (en) Unmanned aerial system based thermal imaging systems and methods
Sakamoto et al. An alternative method using digital cameras for continuous monitoring of crop status
US10339639B2 (en) Method and system of calibrating a multispectral camera on an aerial vehicle
Agüera et al. Measuring sunflower nitrogen status from an unmanned aerial vehicle-based system and an on the ground device
Bendig et al. Very high resolution crop surface models (CSMs) from UAV-based stereo images for rice growth monitoring in Northeast China
Vasudevan et al. Precision farming using unmanned aerial and ground vehicles
CN107532997B (zh) 植物生长指标测定装置及其方法以及植物生长指标测定系统
Hilker et al. An assessment of photosynthetic light use efficiency from space: Modeling the atmospheric and directional impacts on PRI reflectance
US12028588B2 (en) Image sensor and thermal camera device, system and method
Liang et al. Close-Range Remote Sensing of Forests: The state of the art, challenges, and opportunities for systems and data acquisitions
US20180081022A1 (en) Sensor arrangement and method for operating a sensor arrangement
CN108680509A (zh) 一种滨海盐渍区土壤盐分含量估算方法
Jafarbiglu et al. Impact of sun-view geometry on canopy spectral reflectance variability
Honkavaara et al. Geometric and reflectance signature characterization of complex canopies using hyperspectral stereoscopic images from uav and terrestrial platforms
JP2022167442A (ja) 特徴領域判定システムおよび特徴領域判定方法。
Sadenova et al. Study of unmanned aerial vehicle sensors for practical remote application of earth sensing in agriculture
Krapez et al. Combined airborne thermography and visible-to-near infrared reflectance measurement for soil moisture mapping
Jan et al. Potentials of the VNIR airborne hyperspectral system AISA Eagle
Izere Plant Height Estimation Using RTK-GNSS Enabled Unmanned Aerial Vehicle (UAV) Photogrammetry
Tripathi et al. Retrieval of Leaf Area Index using IRS-P6, LISS-III data and validation of MODIS LAI product (MOD15 V5) over trans Gangetic Plains of India
Fischer et al. Bidirectional reflectance distribution function modeling considerations in small unmanned multispectral systems
Lu et al. UAV-Based Multispectral Images for Investigating Grassland Biophysical and Biochemical Properties
HAMA et al. Estimation of sunlight conditions through a drone-mounted solar irradiation sensor
Izere et al. Estimation of plant height using UAS with RTK GNSS technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7321093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150