JP2022089140A - 田畑植物の表現型情報収集システム及び方法 - Google Patents

田畑植物の表現型情報収集システム及び方法 Download PDF

Info

Publication number
JP2022089140A
JP2022089140A JP2021126758A JP2021126758A JP2022089140A JP 2022089140 A JP2022089140 A JP 2022089140A JP 2021126758 A JP2021126758 A JP 2021126758A JP 2021126758 A JP2021126758 A JP 2021126758A JP 2022089140 A JP2022089140 A JP 2022089140A
Authority
JP
Japan
Prior art keywords
information
collection
sensor group
field
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021126758A
Other languages
English (en)
Other versions
JP7179382B2 (ja
Inventor
勇 何
Yong He
海燕 岑
Haiyan Cen
政 唐
Masa Tou
羽飛 劉
Yufei Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Publication of JP2022089140A publication Critical patent/JP2022089140A/ja
Application granted granted Critical
Publication of JP7179382B2 publication Critical patent/JP7179382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/43Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】田畑植物の表現型情報収集システム及び方法を提供する。【解決手段】田畑植物の表現型情報収集システム及び方法を開示する。表現型情報収集システムは自走式田畑運搬器具に設置される。表現型情報収集システムには、コントローラーおよびコントローラーに接続されたセンサーグループ、GPSモジュールおよび無線通信モジュールが含まれる。センサーグループは、田畑植物の表現型情報を収集する。表現型情報には、RGB画像情報、植物形態の3次元点群データとハイパースペクトルデータが含まれる。GPSモジュールは、自走式田畑運搬器具のリアルタイムの地理情報を取得する。コントローラーは、地上管制センターのユーザーが入力した情報収集位置データ及びリアルタイムの地理情報に従って、センサーグループの開閉を制御し、表現型情報のプレビュー画像を生成し、無線通信モジュールを介してプレビュー画像を地上管制センターに送信する。【選択図】図1

Description

本発明は、農業用検出装置の分野、特に、田畑植物の表現型情報収集システム及び方法に関する。
プラントキャノピーのスペクトルデータは、キャノピー全体の組成分布、成長状態、キャノピー構造などの総合的な情報を反映でき、スペクトル技術によるキャノピースペクトル情報の取得と分析には、シンプル、高速、直感的、高精度、非破壊的な測定という利点があり、アブラナ、トウモロコシ、モロコシなどの植物スペクトル画像を取得するための重要な手段になって、植物の生育状況のモニタリング、栄養診断、正確な施肥管理、収量の推定、および病気のモニタリング等においてすべて、優れた応用の見通しがある。現在では、キャリアとしてドローンを使用したスペクトル情報収集システムは、田畑植物のスペクトルデータ取得の分野で広く使用されているが、取得されたスペクトルデータには、詳細と地表近くのキャノピーに関する情報が不足し、このため、当業者は、大規模な実験用スペクトロメータおよび手動の携帯型スペクトロメータを使用して、単一の植物または少数の植物の詳細情報を取得するが、情報取得率は非常に低い。
これに基づき、高解像度かつより多い詳細な情報を有する田畑植物の表現型情報を効率的に取得する田畑植物の表現型情報収集システム及び方法を提供する必要がある。
上記の目的を達成するために、本発明は以下の解決手段を提供する。
自走式田畑運搬器具に設置された田畑植物の表現型情報収集システム。
前記田畑植物の表現型情報収集システムには、コントローラーおよび前記コントローラーに接続されたセンサーグループ、GPSモジュールおよび無線通信モジュールが含まれる。前記センサーグループは、田畑植物の表現型情報を収集するために使用される。前記表現型情報には、RGB画像情報、植物形態の3次元点群データとハイパースペクトルデータが含まれる。前記GPSモジュールは、自走式田畑運搬器具のリアルタイムの地理情報を取得するために使用される。前記コントローラーは、地上管制センターのユーザーが入力した情報収集位置データ及びリアルタイムの地理情報に従って、センサーグループの開閉を制御し、前記表現型情報のプレビュー画像を生成し、前記無線通信モジュールを介して前記プレビュー画像を前記地上管制センターに送信するために使用される。
任意選択的に、前記センサーグループには、RGBカメラ、Kinectカメラ、ハイパースペクトルイメージャーが含まれる。前記RGBカメラは前記RGB画像情報を収集するために使用され、前記Kinectカメラは、前記植物形態の3次元点群データを収集するために使用され、前記ハイパースペクトルイメージャーは、前記ハイパースペクトルデータを収集するために使用される。
任意選択的に、前記コントローラーには、主制御モジュール、情報収集位置設定インターフェース、リアルタイム画面監視ウィンドウ、および手動制御インターフェースが含まれる。前記主制御モジュールには、情報取得システムソフトウェアが内蔵され、
前記情報収集位置設定インターフェースは、自動収集モードで前記地上管制センターのユーザーが事前に情報収集位置マークデータを入力するために使用され、前記情報収集位置マークデータは、プリセットルート上にマークされた収集ポイントまたはプリセットルート上にマークされた収集範囲である。
前記手動制御インターフェースは、手動収集モードで前記地上管制センターのユーザーが手動収集信号をリモート入力するために使用され、
前記主制御モジュールは、前記情報収集位置マークデータを前記リアルタイムの地理情報と比較し、比較結果に応じて前記センサーグループの開閉を制御したり、前記手動収集信号に応じて前記センサーグループの開閉を制御したりするために使用され、
前記リアルタイムの画面監視ウィンドウは、前記表現型情報のプレビュー画像を生成し、前記無線通信モジュールを介して前記プレビュー画像を前記地上管制センターに送信するために使用される。
任意選択的に、前記センサーグループには、位置調整構造の3つのグループも含まれ、前記位置調整構造には、3軸ジンバルとリニアモーターが含まれ、前記3軸ジンバルは、前記RGBカメラ、前記Kinectカメラ、または前記ハイパースペクトルイメージャーを固定するために使用される。前記リニアモーターは対応する3軸ジンバルに接続され、前記リニアモーターは3軸ジンバルの動きを制御することにより前記RGBカメラ、前記Kinectカメラまたは前記ハイパースペクトルイメージャーの撮影角度と地上高さを調整するために使用される。
任意選択的に、前記田畑植物の表現型情報収集システムには、前記コントローラーに接続された電源モジュールも含まれ、前記電源モジュールには、ソーラーパネルと220Vモバイル電源が含まれる。
任意選択的に、前記コントローラーはワークステーションノートパソコンである。
任意選択的に、前記GPSモジュールはRTK-GPSである。
任意選択的に、前記無線通信モジュールはAP基地局である。
本発明はまた、上記の田畑植物の表現型情報収集システムで使用される田畑植物の表現型情報収集方法を提供する。前記方法は、
自走式田畑運搬器具のリアルタイムの地理情報を取得することと、
現在の収集モードと現在の収集状態を判断することと、
前記現在の収集モードが自動収集モードであり、かつ前記現在の収集状態が運搬器具移動収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集範囲内にあるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集範囲内にある場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信することと、前記表現型情報は、RGB画像情報、植物形態の3次元点群データおよびハイパースペクトルデータを含むことと、
前記現在の収集モードが自動収集モードであり、かつ前記現在の収集状態が運搬器具静的収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集ポイントであるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集ポイントである場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信することと、
前記現在の収集モードが手動収集モードである場合、ユーザーは手動収集信号をコントローラーにリモートで送信することによりセンサーグループをトリガーさせ、前記コントローラーは、前記センサーグループが収集した表現型情報からプレビュー画像を生成し、前記無線通信モジュールを介して前記地上管制センターにプレビュー画像を送信することと、を含む。
任意選択的に、現在の収集モードと現在の収集状態の前記判断を行う前に、
ユーザーがインポートした運搬器具のプリセットルートを取得することと、
ユーザーは、前記運搬器具のプリセットルートに緯度と経度をマークし、プリセットルートにマークされた収集範囲とプリセットルートにマークされた収集ポイントを取得することと、をさらに含む。
従来技術に比べて、本発明の有益な効果は以下のとおりである。
本発明は、田畑植物の表現型情報収集システム及び方法を提供する。該田畑植物の表現型情報収集システムは自走式田畑運搬器具に設置される。田畑植物の表現型情報収集システムには、コントローラーおよびコントローラーに接続されたセンサーグループ、GPSモジュールおよび無線通信モジュールが含まれる。センサーグループは、田畑植物のRGB画像情報、植物形態の3次元点群データ、ハイパースペクトルデータなどの表現型情報を収集するために使用され、コントローラーは、地上管制センターのユーザーが入力した情報収集位置データ及びリアルタイムの地理情報に従ってセンサーグループの開閉を制御し、表現型情報のプレビュー画像を生成し、無線通信モジュールを介して地上管制センターにプレビュー画像を送信するために使用される。従来のドローン空中ハイパースペクトルカメラやRGBカメラ機器と比較して、取得された田畑植物の表現型情報の画像データは、より高い解像度と詳細な情報を持っている。従来の手動収集方法と比較して、植物形態の3次元点群データを自動収集システムに追加すると、収集効率が向上し、機械的労働の労働投入量を減らすことができる。事前にソフトウェアシステムで収集する必要のある領域をマークすることにより、GPSモジュールを使用してより高い測位精度を取得し、地上植物の表現型情報の自動取得の精度を向上させることができる。
本発明の実施例または従来技術の技術的解決手段をより明確に説明するために、以下に、実施例に必要な図面を簡単に紹介する。明らかに、以下の説明の図面は、本発明の一部の実施例にすぎない。当業者にとって、創造的な努力なしで、これらの図面に基づいて他の図面を得ることができる。
図1は、本発明の実施例により提供される田畑植物の表現型情報の収集システムの構造模式図である。
図2は、本発明の実施例により提供される田畑植物の表現型情報収集方法の具体的なフローチャートである。
以下は、本発明の実施例における添付の図面を参照して、本発明の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明する実施例は、本発明の実施例の一部に過ぎず、すべての実施例ではない。本発明の実施例に基づいて、創造的な作業なしに当業者によって得られる他のすべての実施例は、本発明の保護範囲に含まれるものとする。
本発明は、より詳細な田畑植物キャノピースペクトル情報取得および植物形態学的パラメータ取得を達成することができる田畑情報収集システムを提供することを目的とする。
本発明の上記目的、特徴及び利点をより顕著で分かりやすくするために、以下に図面及び発明を実施するための形態を参照しながら本発明をさらに詳しく説明する。
図1は、本発明の実施例により提供される田畑植物の表現型情報収集システムの構造模式図である。
図1を参照すると、本実施例の田畑植物の表現型情報収集システムは、自走式田畑運搬器具上に構築されたソフトウェアとハードウェアの組み合わせた情報収集システムであり、ハードウェア部分とソフトウェア部分を含む。
前記田畑植物の表現型情報収集システムには、コントローラーおよび前記コントローラーに接続されたセンサーグループ、GPSモジュールおよび無線通信モジュールが含まれる。前記センサーグループは、田畑植物の表現型情報を収集するために使用され、前記表現型情報には、RGB画像情報、植物形態の3次元点群データとハイパースペクトルデータが含まれる。前記GPSモジュールは、自走式田畑運搬器具のリアルタイムの地理情報を取得するために使用され、前記コントローラーは、地上管制センターのユーザーが入力した情報収集位置データ及びリアルタイムの地理情報に従って、センサーグループの開閉を制御し、表現型情報をプレビュー画像に生成し、無線通信モジュールを介してプレビュー画像を地上管制センターに送信するために使用される。前記地上管制センターは前記プレビュー画像をリアルタイムで表示する。ここで、情報収集位置データには、自動収集モードで事前にユーザーが入力した情報収集位置マークデータと、手動収集モードでユーザーが入力した手動収集信号が含まれる。前記情報収集位置マークデータは、プリセットルート上にマークされた収集ポイントまたはプリセットルート上にマークされた収集範囲である。前記自走式田畑運搬器具のリアルタイムの地理情報は、自走式田畑運搬器具の緯度と経度の情報である。
本実施例において、前記センサーグループには、RGBカメラ、Kinectカメラ、ハイパースペクトルイメージャーが含まれ、前記RGBカメラは前記RGB画像情報を収集するために使用され、前記Kinectカメラは、前記植物形態の3次元点群データを収集するために使用され、前記ハイパースペクトルイメージャーは、前記ハイパースペクトルデータを収集するために使用される。
本実施例において、前記コントローラーのオペレーティングソフトウェアはC++言語でプログラムされ、ユーザーは、地上管制センター内のコンピューターを使用して、リモートコントロールソフトウェアを使用して、それをリモートコントロールする。前記コントローラー内のソフトウェアの主な機能は、田畑植物の表現型情報収集システムのタスクを割り当て、情報収集画面を監視し、センサーをトリガーさせることである。前記コントローラーには、主制御モジュール、情報収集位置設定インターフェース、リアルタイム画面監視ウィンドウ、および手動制御インターフェースが含まれ、前記主制御モジュールには、情報取得システムソフトウェアが内蔵され、前記情報収集位置設定インターフェースは、自動収集モードで前記地上管制センターのユーザーが事前に情報収集位置マークデータを入力することにより、各センサーの田畑情報収集位置のマーキングを実現するために使用される。前記情報収集位置マークデータは、プリセットルート上にマークされた収集ポイントまたはプリセットルート上にマークされた収集範囲であり、前記手動制御インターフェースは手動収集モード(情報収集位置がマークされていないか、マークが不十分な場合)で、前記地上管制センターのユーザーは手動収集信号をリモート入力して、各センサーの田畑情報収集をリモート制御するために使用され、前記主制御モジュールは、前記情報収集位置マークデータを前記リアルタイムの地理情報と比較するために使用され(プリセットルートにマークされた収集ポイントまたはプリセットルートにマークされた収集範囲を電子地図ルートの経度と緯度情報に変換した後、自走式田畑運搬器具の経度・緯度情報と比較する)、比較結果に応じて前記センサーグループの開閉を制御したり、前記手動収集信号に応じて前記センサーグループの開閉を制御したりするために使用され、前記リアルタイムの画面監視ウィンドウは、リアルタイムに収集された表現型情報のプレビュー画像を生成し、前記無線通信モジュールを介して前記プレビュー画像を前記地上管制センターに送信するために使用される。
本実施例において、前記センサーグループには、位置調整構造の3つのグループも含まれ、前記位置調整構造には、3軸ジンバルとリニアモーターが含まれ、前記3軸ジンバルは、前記RGBカメラ、前記Kinectカメラ、または前記ハイパースペクトルイメージャーを固定するために使用される。前記リニアモーターは対応する3軸ジンバルに接続され、前記リニアモーターは3軸ジンバルの動きを制御することにより前記RGBカメラ、前記Kinectカメラまたは前記ハイパースペクトルイメージャーの撮影角度と地上高さを調整するために使用される。センサーグループの配置は、主に植物の成長期間と情報取得の場所によって決まる。対応するセンサーのカメラアングルと地面からのセンサーの高さは、それぞれ3軸ジンバルとリニアモーターを介して調整でき、すべての3軸ジンバルは、主な材料としてアルミニウムプロファイルブラケットで作られている。前記KinectカメラはKinect深度カメラであってもよい。
本実施例における田畑植物の表現型情報収集システムはまた、前記コントローラーに接続された電源モジュールを含む。前記電源モジュールは、220Vの大容量モバイル電源から電力を供給してもよく、ソーラーパネルと220Vのモバイル電源の組み合わせから電力を供給してもよい。組み合わせた電力供給方式は、該田畑情報収集システムの一回待機時間を向上させることができる。
任意の実施形態として、前記田畑植物の表現型情報収集システムには、前記コントローラーに接続されたメモリも含まれ、前記メモリは、自走式田畑運搬器具のリアルタイムの地理情報と田畑植物の表現型情報を保存するために使用される。
任意の実施形態として、前記コントローラーはワークステーションノートパソコン、前記GPSモジュールはRTK-GPS、前記無線通信モジュールは、無線アクセスポイント(Access Point、AP)基地局であってもよく、AP基地局は、無線通信用のローカルエリアネットワークを確立するために使用される。AP基地局は、全方向性アンテナを使用して信号を送受信し、地上管制センターと田畑植物の表現型情報収集システムとの間の信号伝送を担当する。前記無線通信モジュールは、4G SIMカードを採用して、地上側のコンピューターと田畑運搬器具コンピューターとの間の長距離無線通信を実現することもできる。
本実施例における田畑植物の表現型情報収集システムの動作原理は以下の通りである。
前記コントローラーはワークステーションノートパソコンを採用し、ワークステーションノートパソコンは、RTK-GPSを介して自走式田畑運搬器具の正確な経度と緯度の情報をリアルタイムで取得し、制御回路を介してRGBカメラ、Kinect深度カメラ、ハイパースペクトルイメージャーに接続して、それぞれ3つのセンサーの情報収集とデータ保存を制御する。データ収集モードは、自動収集モードと手動収集モードに分けられる。
自動収集モード:ユーザーは、事前にソフトウェアシステムを介して情報収集ポイントの経度と緯度を設定し、ソフトウェア設定プロセス:Baiduマップアプリケーションプログラムインターフェース(Application Programming Interface、API)を使用し、地図の高精度の緯度と経度のマーキング機能を応用し、Baidu地図とさまざまな地域の小規模衛星地図をベースマップとして使用し、運搬器具プリセットルートをインポートすると、ユーザーは運搬器具プリセットルート上において、情報収集ポイントの緯度と経度をマークする。ワークステーションノートパソコンは、現在のRTK-GPSによって提供される緯度と経度の情報を、プリセットルートにマークされた収集ポイントまたはプリセットルートにマークされた収集範囲と比較し、自走式田畑運搬器具(トロリー)がユーザーによって設定された収集ポイントの特定の範囲内に運転するかどうかを判断し、そうである場合、トロリーを制御して、対応するセンサーから田畑植物情報を収集し、同時に収集した画像、点群、スペクトル等の情報、およびその他の地理的位置情報をワークステーションノートパソコンに保存する。収集が完了した後、トロリーは次の情報収集ポイントまで運転し続ける。
手動収集モード:ユーザーは、地上管制センターのコンピューター上のリモートコントロールソフトウェアを使用して、自走式田畑運搬器具に取り付けられたワークステーションノートパソコンのシステムソフトウェアインターフェースを操作しリモートリアルタイム情報の収集を行う。ここで、リアルタイムの情報収集プロセスは以下のとおりである。ユーザーはソフトウェアインターフェースを開き、自動収集モードまたは手動収集モードを選択し、自動収集モードでは、ユーザーは各センサーの情報収集ポイント/範囲を設定し、ソフトウェアは、場所の緯度と経度の座標を記録する。田畑自走式運搬器具が起動した後、ソフトウェアは、田畑自走式運搬器具のリアルタイムの緯度と経度の情報、つまり、情報収集システムのリアルタイムの緯度と経度の情報を取得する。ソフトウェアは、ユーザーのマークされたポイントの経度と緯度の情報をリアルタイムの経度と緯度の情報と比較し、収集範囲に入った後、各センサーが情報を収集して保存するようにトリガーさせる。手動収集モードでは、ユーザーは各センサーの情報収集時間を自分で制御できる。ここで、自動収集モードと手動収集モードを互いに切り替えることができる。手動モードでは、ワークステーションノートパソコンはセンサー情報を自動的に収集せず、RTK-GPSは現在収集されている画像の地理的位置情報のみを記録する。センサーグループの3種のセンサー、つまりRGBカメラ、Kinect深度カメラ、ハイパースペクトルイメージャーは、それぞれ田畑植物のRGB画像情報、植物形態の3次元点群データ、ハイパースペクトル画像とスペクトル情報を収集する。AP基地局を介して、田畑運搬器具のワークステーションノートパソコンと地上管制センターとの間にローカルエリアネットワーク接続を確立することにより、データ伝送を実現する。
本実施例の田畑植物の表現型情報収集システムは、以下の利点を有する。
1)該田畑植物の表現型情報収集システムは、従来のドローン空中ハイパースペクトルカメラおよびRGBカメラ機器によって取得された田畑植物の表現型情報の画像データよりも高い解像度と詳細な情報を備えた、地上の田畑車載式情報取得システムである。
2)ハードウェア設計のセンサーグループでは、植物の3次元形態情報を手動で取得するKinectカメラが自動収集システムに追加されている。現在の従来の手動収集と比較して、収集効率が高く、機械的労働の人的投入を減らすことができる。
3)ソフトウェア設計の自動収集部分では、事前にソフトウェアシステムで収集する必要のある領域をマークすることにより、RTK-GPSを使用してより高い測位精度を取得し、地上植物の表現型情報の自動取得の精度をさらに向上させる。
4)該田畑植物の表現型情報収集システムは、ハードウェア設計のセンサーグループなどの他の田畑自動航法操作運搬器具と組み合わせて使用でき、そのハードウェア構造は柔軟であるため、田畑情報自動収集システムのコストを効果的に削減し、収集システムの保守性を改善することができる。
5)ソフトウェア設計の情報収集モードは、手動収集モードと自動収集モードの2つのモードに分けられる。これにより、田畑情報の収集方法がより柔軟になり、同時に、ユーザーは田畑情報収集プロセスに対するより優れた監視および管理権限を取得できる。
本発明はまた、上記の田畑植物の表現型情報収集システムで使用される田畑植物の表現型情報収集方法を提供する。前記方法は、
ユーザーは、前記運搬器具のプリセットルートに緯度と経度をマークし、プリセットルートにマークされた収集範囲とプリセットルートにマークされた収集ポイントを取得する、ユーザーがインポートした運搬器具のプリセットルートを取得するステップ1)と、
自走式田畑運搬器具のリアルタイムの地理情報を取得するステップ2)と、
前記現在の収集モードが自動収集モードであり、前記現在の収集状態が運搬器具移動収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集範囲内にあるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集範囲内にある場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信し、前記表現型情報は、RGB画像情報、植物形態の3次元点群データおよびハイパースペクトルデータを含み、
前記現在の収集モードが自動収集モードであり、前記現在の収集状態が運搬器具静的収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集ポイントであるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集ポイントである場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信し、
前記現在の収集モードが手動収集モードである場合、ユーザーは手動収集信号をコントローラーにリモートで送信することによりセンサーグループをトリガーさせ、前記コントローラーは、前記センサーグループが収集した表現型情報からプレビュー画像を生成し、前記無線通信モジュールを介して前記地上管制センターにプレビュー画像を送信する、現在の収集モードと現在の収集状態を判断するステップ3)と、を含む。
実際の応用では、具体的な収集プロセスは次のとおりである。
ワークステーションノートパソコンは、RTK-GPSから自走式田畑運搬器具のリアルタイムの地理情報(リアルタイムの緯度と経度の情報)を取得し、ユーザーによって設定された情報収集ポイント(収集範囲)の緯度と経度の情報と比較して、それを長さの単位に変換し、プリセット範囲内に達すると、自走式田畑運搬器具と田畑植物の表現型情報収集システムが収集ポイント(収集範囲)に入っていると判断され、対応するセンサーをトリガーして情報を収集し、対応するデータを保存する。具体的な実現プロセスを図2に示す。
本明細書における各実施例は段階的に説明されており、各実施例は、他の実施例との違いを主に説明しており、様々な実施例間の同じまたは類似の部分を互いに参照すればよい。
本明細書では、具体的な例を使用して、本発明の原理と実施形態を説明する。上記の実施例の説明は、本発明の方法とコアアイデアを理解するのを助けるためにのみ使用される。同時に、当業者にとって、本発明のアイデアによれば、発明を実施するための形態および応用の範囲に変更が生じるであろう。当業者にとって,要約すると、本明細書の内容は、本発明の限定として解釈されるべきではない。
図1は、本発明の実施例により提供される田畑植物の表現型情報の収集システムの構造模式図である。
図2は、本発明の実施例により提供される田畑植物の表現型情報収集方法の具体的なフローチャートである。

Claims (10)

  1. 自走式田畑運搬器具に設置され、
    コントローラーおよび前記コントローラーに接続されたセンサーグループ、GPSモジュールおよび無線通信モジュールが含まれ、前記センサーグループは、田畑植物の表現型情報を収集するために使用され、前記表現型情報には、RGB画像情報、植物形態の3次元点群データとハイパースペクトルデータが含まれ、前記GPSモジュールは、前記自走式田畑運搬器具のリアルタイムの地理情報を取得するために使用され、前記コントローラーは、地上管制センターのユーザーが入力した情報収集位置データ及び前記リアルタイムの地理情報に従って、センサーグループの開閉を制御し、前記表現型情報のプレビュー画像を生成し、無線通信モジュールを介して前記プレビュー画像を地上管制センターに送信するために使用されることを特徴とする田畑植物の表現型情報収集システム。
  2. 前記センサーグループには、RGBカメラ、Kinectカメラ、ハイパースペクトルイメージャーが含まれ、前記RGBカメラは前記RGB画像情報を収集するために使用され、前記Kinectカメラは、前記植物形態の3次元点群データを収集するために使用され、前記ハイパースペクトルイメージャーは、前記ハイパースペクトルデータを収集するために使用されることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  3. 前記コントローラーには、主制御モジュール、情報収集位置設定インターフェース、リアルタイム画面監視ウィンドウ、および手動制御インターフェースが含まれ、前記主制御モジュールには、情報取得システムソフトウェアが内蔵され、
    前記情報収集位置設定インターフェースは、自動収集モードで前記地上管制センターのユーザーが事前に情報収集位置マークデータを入力するために使用され、前記情報収集位置マークデータは、プリセットルート上にマークされた収集ポイントまたはプリセットルート上にマークされた収集範囲であり、
    前記手動制御インターフェースは、手動収集モードで前記地上管制センターのユーザーが手動収集信号をリモート入力するために使用され、
    前記主制御モジュールは、前記情報収集位置マークデータを前記リアルタイムの地理情報と比較し、比較結果に応じて前記センサーグループの開閉を制御したり、前記手動収集信号に応じて前記センサーグループの開閉を制御したりするために使用され、
    前記リアルタイムの画面監視ウィンドウは、前記表現型情報のプレビュー画像を生成し、前記無線通信モジュールを介して前記プレビュー画像を前記地上管制センターに送信するために使用されることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  4. 前記センサーグループには、位置調整構造の3つのグループも含まれ、前記位置調整構造には、3軸ジンバルとリニアモーターが含まれ、前記3軸ジンバルは、前記RGBカメラ、前記Kinectカメラ、または前記ハイパースペクトルイメージャーを固定するために使用され、前記リニアモーターは対応する3軸ジンバルに接続され、前記リニアモーターは3軸ジンバルの動きを制御することにより前記RGBカメラ、前記Kinectカメラまたは前記ハイパースペクトルイメージャーの撮影角度と地上高さを調整するために使用されることを特徴とする請求項2に記載の田畑植物の表現型情報収集システム。
  5. 前記コントローラーに接続された電源モジュールも含まれ、前記電源モジュールにはソーラーパネルと220Vモバイルパワーが含まれることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  6. 前記コントローラーはワークステーションノートパソコンであることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  7. 前記GPSモジュールはRTK-GPSであることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  8. 前記無線通信モジュールはAP基地局であることを特徴とする請求項1に記載の田畑植物の表現型情報収集システム。
  9. 自走式田畑運搬器具のリアルタイムの地理情報を取得することと、
    現在の収集モードと現在の収集状態を判断することと、
    前記現在の収集モードが自動収集モードであり、かつ前記現在の収集状態が運搬器具移動収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集範囲内にあるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集範囲内にある場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信することと、前記表現型情報は、RGB画像情報、植物形態の3次元点群データおよびハイパースペクトルデータを含むことと、
    前記現在の収集モードが自動収集モードであり、かつ前記現在の収集状態が運搬器具静的収集である場合、前記リアルタイムの地理情報が情報収集位置データのプリセットルートにマークされた収集ポイントであるかどうかを判断し、前記リアルタイムの地理情報がプリセットルートにマークされた収集ポイントである場合、センサーグループをトリガーさせ、前記センサーグループによって収集された表現型情報をプレビュー画像に生成し、無線通信モジュールを介して前記地上管制センターに前記プレビュー画像を送信することと、
    前記現在の収集モードが手動収集モードである場合、ユーザーは手動収集信号をコントローラーにリモートで送信することによりセンサーグループをトリガーさせ、前記コントローラーは、前記センサーグループが収集した表現型情報からプレビュー画像を生成し、前記無線通信モジュールを介して前記地上管制センターにプレビュー画像を送信することと、を含む請求項1~8のいずれか一項に記載の田畑植物の表現型情報収集システムにおいて使用されることを特徴とする田畑植物の表現型情報収集方法。
  10. 現在の収集モードと現在の収集状態の前記判断を行う前に、
    ユーザーがインポートした運搬器具のプリセットルートを取得することと、
    ユーザーは、前記運搬器具のプリセットルートに緯度と経度をマークし、プリセットルートにマークされた収集範囲とプリセットルートにマークされた収集ポイントを取得することと、をさらに含むことを特徴とする請求項9に記載の田畑植物の表現型情報収集方法。
JP2021126758A 2020-12-03 2021-08-02 田畑植物の表現型情報収集システム Active JP7179382B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011406220.6 2020-12-03
CN202011406220.6A CN112702565A (zh) 2020-12-03 2020-12-03 一种田间植物表型信息采集系统及方法

Publications (2)

Publication Number Publication Date
JP2022089140A true JP2022089140A (ja) 2022-06-15
JP7179382B2 JP7179382B2 (ja) 2022-11-29

Family

ID=75506720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126758A Active JP7179382B2 (ja) 2020-12-03 2021-08-02 田畑植物の表現型情報収集システム

Country Status (2)

Country Link
JP (1) JP7179382B2 (ja)
CN (1) CN112702565A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL296946A (en) * 2022-09-29 2024-04-01 C Crop Ltd Phenotype characterization for plants

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421301B (zh) * 2021-07-08 2022-08-05 浙江大学 一种田间作物中心区域定位方法及系统
CN113848208B (zh) * 2021-10-08 2023-12-19 浙江大学 一种植物表型平台及其控制系统
CN114051810A (zh) * 2021-11-10 2022-02-18 上海联适导航技术股份有限公司 一种无人驾驶高精度农机施肥控制方法、系统及智慧农机
CN114166546A (zh) * 2021-12-13 2022-03-11 中国环境科学研究院 一种无人机定深土壤重金属监测系统
CN116772731A (zh) * 2023-06-21 2023-09-19 华中农业大学 一种香菇子实体高通量表型与品质检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068869A (ja) * 2016-12-27 2017-04-06 三菱電機株式会社 農業用管理システム及び農業用管理システム用管理センタ
JP2017144811A (ja) * 2016-02-16 2017-08-24 株式会社ナイルワークス 無人飛行体による薬剤散布方法、および、プログラム
JP2017195895A (ja) * 2017-06-27 2017-11-02 井関農機株式会社 栽培施設用の移動車
CN110006424A (zh) * 2019-04-10 2019-07-12 山东农业大学 一种基于田间的高通量作物表型机器人及其控制系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046909A (zh) * 2015-06-17 2015-11-11 中国计量学院 一种基于小型无人机的农业辅助定损方法
WO2018013162A1 (en) * 2016-07-14 2018-01-18 Mjnn Llc Vertical growth tower and module for an environmentally controlled vertical farming system movement
CN108414454A (zh) * 2018-01-25 2018-08-17 北京农业信息技术研究中心 一种植物三维结构及光谱信息的同步测量系统及测量方法
CN110260789B (zh) * 2019-07-12 2020-09-29 南京农业大学 一种田间高通量作物表型监测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144811A (ja) * 2016-02-16 2017-08-24 株式会社ナイルワークス 無人飛行体による薬剤散布方法、および、プログラム
JP2017068869A (ja) * 2016-12-27 2017-04-06 三菱電機株式会社 農業用管理システム及び農業用管理システム用管理センタ
JP2017195895A (ja) * 2017-06-27 2017-11-02 井関農機株式会社 栽培施設用の移動車
CN110006424A (zh) * 2019-04-10 2019-07-12 山东农业大学 一种基于田间的高通量作物表型机器人及其控制系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL296946A (en) * 2022-09-29 2024-04-01 C Crop Ltd Phenotype characterization for plants
WO2024069631A1 (en) * 2022-09-29 2024-04-04 C-Crop LTD. Plant phenotyping
IL296946B1 (en) * 2022-09-29 2024-05-01 C Crop Ltd Phenotype characterization for plants

Also Published As

Publication number Publication date
JP7179382B2 (ja) 2022-11-29
CN112702565A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
JP7179382B2 (ja) 田畑植物の表現型情報収集システム
CA3120725C (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
US20210223040A1 (en) Method and apparatus for planning sample points for surveying and mapping, control terminal, and storage medium
CN108496138B (zh) 一种跟踪方法及装置
US11341608B2 (en) Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
CN112469967B (zh) 测绘系统、测绘方法、装置、设备及存储介质
CN103888738A (zh) 一种多源多面阵无人车gis数据采集平台
CN105516584A (zh) 全景影像采集系统、基于其的测量天际线的装置和方法
CN103763470A (zh) 一种便携式场景拍照装置
CN204258162U (zh) 直升机电力巡检系统
CN209877958U (zh) 一种倾斜摄影系统
CN106394918A (zh) 一种无人机搭载的全景相机系统及其操作方法
CN108108396B (zh) 一种飞行器航拍图片拼接管理系统
CN212969647U (zh) 一种自动对星卫星平板便携站集成系统
CN112362053A (zh) 一种带姿态监控的卫星物联网终端及姿态调整方法
AU2018450271B2 (en) Operation control system, and operation control method and device
CN204046707U (zh) 一种便携式场景拍照装置
CN203385417U (zh) 一种大尺度植被覆盖度航空动态获取系统
CN205945963U (zh) 一种车载全景相机系统
CN206060685U (zh) 一种光伏板热斑效应检测系统
CN206351785U (zh) 一种无人机搭载的全景相机系统
CN106108209A (zh) 一种可视定位安全帽系统及其操作方法
CN113687398A (zh) 一种基于北斗差分定位的无人机跟瞄通信系统及方法
CN106101517A (zh) 一种车载全景相机系统及其操作方法
CN208834350U (zh) 一种基于无人机的航拍三维建模系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7179382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150