JP2018100930A - 位置特定装置、位置特定方法およびプログラム - Google Patents

位置特定装置、位置特定方法およびプログラム Download PDF

Info

Publication number
JP2018100930A
JP2018100930A JP2016247915A JP2016247915A JP2018100930A JP 2018100930 A JP2018100930 A JP 2018100930A JP 2016247915 A JP2016247915 A JP 2016247915A JP 2016247915 A JP2016247915 A JP 2016247915A JP 2018100930 A JP2018100930 A JP 2018100930A
Authority
JP
Japan
Prior art keywords
field
data
correspondence
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016247915A
Other languages
English (en)
Other versions
JP6836385B2 (ja
Inventor
吉田 剛
Takeshi Yoshida
剛 吉田
紀子 齋藤
Noriko Saito
紀子 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2016247915A priority Critical patent/JP6836385B2/ja
Priority to US15/844,906 priority patent/US10417753B2/en
Publication of JP2018100930A publication Critical patent/JP2018100930A/ja
Application granted granted Critical
Publication of JP6836385B2 publication Critical patent/JP6836385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Abstract

【課題】画像計測における位置の特定をより簡便な方法で行う。
【解決手段】圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部101と、前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付部102と、前記画像データから前記特定の経路の形状を検出する形状データ1検出部103と、前記形状データ検出部103が検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定部105と、前記対応関係特定部105が特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定部106を備える。
【選択図】図3

Description

本発明は、画像計測の技術に関する。
農地の画像計測を行う技術が知られている(例えば、特許文献1を参照)。この技術では、航空機を用いて上空からの農地を写真撮影する。航空写真を用いた画像計測では、オルソ補正が必要である。オルソ補正を行うには、航空写真から認識し易い部分(例えば、道路の縁石や白線、マンホール等)やターゲットの位置のデータが必要である。
特開2014−089160号公報
上述した航空写真の撮影に先立ち行われる測量は、手間がかかり、実用的でない。このような背景において、本発明は、航空画像計測における位置の特定をより簡便な方法で行う技術の提供を目的とする。
請求項1に記載の発明は、圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付部と、前記画像データから前記特定の経路の形状を検出する経路検出部と、前記経路検出部が検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定部と、前記対応関係特定部が特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定部とを備えることを特徴とする位置特定装置である。
請求項2に記載の発明は、請求項1に記載の発明において、前記位置データは、航法衛星からの航法信号に基づく位置の測定を行う位置測定装置を備えた移動体を移動させることで得たものであり、前記経路検出部は、前記移動体が地上に残した移動の痕跡を検出すること特徴とする。
請求項3に記載の発明は請求項1または2に記載の発明において、前記対応関係が、画像から検出した圃場の状態と予め取得しておいた圃場の状態との対応関係に基づき特定されることを特徴とする。請求項4に記載の発明は、請求項3に記載の発明において、前記圃場の状態が、場所毎に異なる農産物の育成状態の違いの情報を含むことを特徴とする。
請求項5に記載の発明は、圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、予め取得された前記圃場の土壌および植生の状態の少なくとも一方および前記圃場の位置データを関連付けさせたデータを記憶した圃場状態データ記憶部と、前記撮影画像の表面特徴データから前記圃場の土壌あるいは植生の状態を検出する圃場状態検出部と、前記圃場状態データ記憶部に記憶されたデータと、前記圃場状態検出部が検出した前記圃場の土壌および植生の状態の少なくとも一方のデータとの対応関係を求める対応関係特定部と、前記対応関係特定部が特定した前記対応関係に基づき、上空から撮影された前記圃場の位置を特定する圃場位置特定部とを備える位置特定装置である。
請求項6に記載の発明は、請求項5に記載の発明において、前記表面特徴データとして、波長スペクトルデータ、色、質感、模様のデータの一または複数が含まれることを特徴とする。
請求項7に記載の発明は、請求項5または6に記載の発明において、前記圃場は、場所により異なる状態を有する複数の部分を有し、前記圃場状態データ記憶部は、前記複数の部分の組み合わせを記憶し、前記圃場状態検出部は、前記画像データに基づき、前記複数の部分の組み合わせを検出し、前記対応関係特定部は、前記圃場状態データ記憶部に記憶された前記組み合わせと、前記圃場状態検出部が検出した前記組み合わせとの対応関係の特定を行うことを特徴とする。
請求項8に記載の発明は、請求項5〜7のいずれか一項に記載の発明において、前記複数の部分には、異なる複数の植生の部分が含まれ、前記圃場状態検出部は、前記撮影画像における前記異なる複数の植生の部分の前記表面特徴データに基づき、前記異なる複数の植生に対応した当該圃場の識別情報を検出することを特徴とする。
請求項9に記載の発明は、圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付ステップと、前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付ステップと、前記画像データから前記特定の経路の形状を検出する経路検出ステップと、前記経路検出ステップで検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定ステップと、前記対応関係特定ステップで特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定ステップとを備えることを特徴とする位置特定方法である。
請求項10に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付部と、前記画像データから前記特定の経路の形状を検出する経路検出部と、前記経路検出部が検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定部と、前記対応関係特定部が特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定部として機能させるプログラムである。
本発明によれば、航空画像計測における位置の特定をより簡便に行うことが可能となる。
実施形態の概念図である。 実施形態の概念図である。 位置特定装置のブロック図である。 処理の一例を示すフローチャートである。 位置特定装置のブロック図である。 処理の一例を示すフローチャートである。 圃場の状態の一例を示す概念図である。
(はじめに)
本実施形態では、農地の航空写真と当該農地の区画された部分(以下圃場と記載)の座標データ(経緯度および標高のデータ)との対応関係を取得する技術について説明する。ここでいう農地(圃場)には、農作物を植える前および後(農産物を育成中)の段階のものが含まれる。航空写真を撮影する航空機としては、空中から写真撮影を行える性能を有するものであれば特に限定されない。
航空機としては、例えば無人航空機(UAV:(Unmanned aerial vehicle))が挙げられる。無人航空機としては、無線操縦および/または自律飛行する形態のものが挙げられる。ここで用いるUAVは、GNSS(「全地球航法衛星システム」または「汎地球航法衛星システム」(Global Navigation Satellite System))を用いた位置特定装置(所謂GPS受信機)、IMU(慣性航法装置)、高度計、カメラを搭載し、予め定めた経路に沿って飛行しつつの地上の撮影を行う。また、このUAVは、無線操縦による飛行および撮影も行える。カメラは、静止画像の撮影を行う。撮影は、特定の時間間隔、予め決められた時刻、遠隔から指示されたタイミング、GNSSやIMUから得た情報を契機としたタイミング等で行われる。また、動画の撮影を行い、動画を構成するフレーム画像から静止画像を切り出すことで、空撮画像を得ることも可能である。
UAVが備えたカメラは、撮影した画像の画像データを記憶する記憶装置を備え、飛行終了後にこの記憶装置から画像データが取り出される。UAVが画像データの通信装置を備え、画像データを無線通信で出力する形態も可能である。
圃場の座標データの取得は、GNSSを利用した位置測定装置を搭載した移動体を用いて行う。移動体としては、トラクターが一般的であるが、トラクター以外の自走する機械を用いることもできる。トラクターは、農業に用いる形態のものであれば特に限定されない。GNSS装置は、極力精度の高いものを用いるのが好ましい。
(概要)
図1には、複数の圃場が区画された農場を上空からUAVによって空撮する様子、およびトラクターで計測の対象となる圃場の縁を移動し、その際にGNSSを利用して当該圃場の位置データを取得する様子が概念的に示されている。図1には、ロータで飛行する態様のUAVが示されているが、ロータの数や飛行原理の形態は特に限定されない。
図2には、トラクターの移動経路に係る形状データ(第1の形状データ)と、航空写真から得られた圃場(この場合は、圃場A、圃場B、圃場C)の形状データとの対応関係を探索する様子を示すイメージ図が示されている。この例では、圃場の縁をトラクターで移動することで、圃場の形状がトラクターの移動経路でトレースされる。よって、この例の場合、(トラクターの移動経路)=(圃場の外縁の形状)=(第1の形状データ)となる。
この例では、GNSSを利用した位置測定装置を搭載したトラクター(その他、適当な自走式農耕機械)を対象となる圃場の外縁を走行させ、その際の位置データを取得する。例えば、当該圃場が矩形であれば、矩形の位置を走行した経路のデータが得られる。このトラクターの経路のデータに基づき、当該圃場の形状データ(以下、第1の形状データ)を得る。
上記のトラクターによる圃場の位置データの取得とは別に、UAVを用いた当該圃場の空撮を行い当該圃場の航空写真を得る。この際、対象となる圃場に狙いを定めて撮影範囲の設定を行ってもよいし、対象となる圃場を含めた隣接する複数の圃場が写るように撮影範囲の設定を行ってもよい。航空写真を得たら、それを画像解析し、写真に写った圃場の縁を検出し、その形状データ(第2の形状データ)を得る。
次に、図形のマッチング技術を用い、第1の形状データ(トラクターで計測した圃場の形状データ)と第2の形状データ(航空写真から得た圃場の形状データ)との対応関係を特定する。この結果、航空写真に写った圃場と、この圃場の位置データの関連付けが行われる。
1.第1の実施形態
(構成)
図3には、発明を利用した位置特定装置100が示されている。位置特定装置100は、画像データ受付部101、位置データ受付部102、形状データ1検出部103、経路検出部104、対応関係特定部105、圃場の位置特定部106を備えている。位置特定装置100は、CPU、記憶部、各種のインターフェースを備えたコンピュータであり、専用のハードウェアあるいはPC(パーソナルコンピュータ)によって構成されている。PCを用いる場合、上述した機能部の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、PCにより位置特定装置100がソフトウェア的に実現される。
PCを利用した場合、図3に図示する各機能部は、ソフトウェア的に構成される。なお、図1に示す各機能部の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などのPLD(Programmable Logic Device)などの電子回路により構成される。また、一部の機能を専用のハードウェアで構成し、PCに接続することで図3に示す装置を構成することも可能である。
各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、特定の機能を実現するという観点からは、等価である。以上の説明は、図5の位置特定装置200に関しても同じである。
画像データ受付部101は、圃場を上空から撮影した撮影画像の画像データを受け付ける。すなわち、カメラを搭載したUAVから撮影した対象となる圃場が写った空撮画像のデータが画像データ受付部101によって受け付けられる。位置特定装置100とUAV搭載のカメラとは、USB接続や無線LAN回線等の適当な通信回線(通常、これらの回線はPCに常備されている)で接続可能であり、それらの通信回線を用いて上記空撮画像のカメラから位置特定装置100へのデータの移動が行われる。なお、通常は、UAVの飛行後に上記のデータの移動が行われるが、飛行中における無線通信による位置特定装置100への画像データの送信を排除するものではない。また、USBメモリ等の記憶媒体を介したデータの移送も可能である。画像データ受付部101は、後述する図4のステップS103の処理を実行する。
位置データ受付部102は、GNSSを利用した位置測定装置を搭載したトラクター等が対象となる圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける。例えば、GNSSを利用した位置測定装置を搭載したトラクターを用意し、このトラクターを対象となる圃場の縁にそって一周走行させる。この走行の際に、走行しながらGNSSの航法衛星からの航法信号を受信し、位置の測定を行う。この際、当該圃場の縁にそって位置(経度・緯度・標高)の測定が行われ、地図座標系における移動経路の位置情報が得られる。この移動経路の位置情報のデータが位置データ受付部102で受け付けられる。なお、データをトラクター側から位置特定装置100に送る方法は、UAVからの空撮画像の場合と同じである。位置データ受付部102は、後述する図4のステップS101の処理を実行する。
形状データ1検出部103は、対象となる圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データに基づき、上記移動経路の形状のデータを形状データ1として取得する。例えば、矩形の経路を移動したのであれば、矩形形状のデータが取得される。この経路としては、圃場の縁に沿ってトラクター等で移動した場合の経路が挙げられるが、必ずしもそれに限定されない。例えば、圃場中を円形、多角形、十字形状等に移動した経路も採用可能である。移動は、GNSSを用いた位置測定装置を手に持った人が徒歩で移動する形態も可能である。形状データ1検出部103は、後述する図4のステップS102の処理を実行する。
経路検出部(形状データ2検出部)104は、UAVが撮影した画像データからトラクターの移動経路の形状である形状データ2を検出する。例えば、トラクターで圃場の縁を移動した場合、当該圃場の縁を空撮画像の中から検出することで、前記トラクターの移動経路の形状を形状データ2として取得する。この際、UAVの傾き(搭載したIMUのデータから得られる)のデータに基づく、形状データの変形(修正)も可能である。経路検出部104は、後述する図4のステップS104の処理を実行する。
画像として検出できる経路としては、耕作地境目、畔、農道、トラクター等が走行することで生じた走行の跡や道、人が通ることで形成された道や踏み跡等が挙げられる。トラクターの移動跡としては、車輪や履帯の轍、トラクターが備えた(あるいはトラクターに接続された)農耕機材が地上に残した痕跡が挙げられる。例えば、土を耕す機械で走行しながら圃場を耕した場合、その部分の土が掘り返されるので、色が変わり、航空写真でその部分を識別できる。また、トラクターにラインひき(運動場等で白線を石灰の白線を引く機械)を装備し、移動しながら石灰によるラインを形成し、それを移動の痕跡として用いることもできる。
対応関係特定部105は、形状データ1検出部103が検出した形状データ1と経路検出部(形状データ2検出部)104が検出した形状データ2との対応関係を特定する。対応関係の特定は、公知のマッチング手法を用いて行われる。ここで用いられるマッチング手法としては、テンプレートマッチングが挙げられる。このマッチング手法には、画像認識に用いられる各種のアルゴリズムを利用することができる。対応関係特定部105は、後述する図4のステップS105の処理を実行する。
圃場の位置特定部106は、対応関係特定部105が特定した形状データ1と形状データ2の対応関係に基づき、UAVから得た空撮画像に写った対象となる圃場の位置を特定する。例えば、空撮画像に矩形の圃場が写っているとする。そして、この圃場の縁の位置をGNSSによる位置の測定が可能なトラクターで測定したとする。この場合、トラクターを用いた圃場の縁の位置の計測から形状データ1が得られ、UAVを用いた空撮画像から形状データ2が得られる。そして、トラクターの移動経路由来の形状データ1と空撮画像由来の形状データ2の対応関係の特定が位置特定部106によって行われ、この対応関係の特定内容から、形状データ1と形状データ2とが関連付けされる。
圃場の位置特定部106は、形状データ1と形状データ2の対応関係に基づき、空撮画像中の圃場の画像と当該圃場の位置データの関係を得、空撮画像中の圃場の位置(地図座標系における位置、例えば経度、緯度、標高)の特定を行う。空撮画像中の圃場の位置が特定されることで、座標データ付きの圃場の画像が得られる。
(処理の一例)
以下、位置特定装置100で行われる処理の一例を説明する。まず、位置特定装置100での処理に先立ち、GNSS装置を搭載したトラクターで対象となる圃場の内周縁の部分を走行し、航法衛星を利用した当該圃場の周囲の縁部分の位置データを取得する(図1参照)。ここで得られる位置データは、地図座標系(GNSSシステムで得られる座標系)における緯度・経度・標高の座標データである。
上記トラクターによる位置データの検出において、トラクター上におけるGNSSを用いた位置測定装置の位置と実際のトラクターの車輪(あるいは履帯)の外側の位置との関係は予め求められており、圃場内側の縁に沿って運転をすることで、当該圃場の縁の位置データが取得できる。また、トラクターにカメラを配置し、画像を用いて正確に圃場の縁を走行できるように制御する技術も利用可能である。
また、上記のトラクターを用いた位置計測とは別に、UAVを用いた当該圃場の撮影を行う(図1参照)。ここでは、対象となる圃場の上空にUAVを飛行させ、対象となる圃場を含む領域を撮影した空撮データを得る。
トラクターを用いた対象となる圃場の位置データ(圃場の縁の位置データ)と、当該圃場の空撮のデータを得たら、位置特定装置100を用いた図4の処理を行う。図4には、位置特定装置100で行われる処理の手順の一例が示されている。図4の処理を実行するためのプログラムは、位置特定装置100の記憶部や適当な記憶媒体、あるいはネットワーク上のサーバ等に記憶され、そこから提供される。これは、図6のフローチャートの場合も同じである。
図4の処理が開始されると、対象となる圃場の縁を走行しつつGNSSを用いて計測した位置データ(当該圃場の縁の位置データ)を取得する(ステップS101)。トラクターに装備した位置特定装置(GNSSを利用した位置測定装置)のデータは、適当な記憶媒体や通信回線を介して位置測定装置100に送られる。
次に、ステップS101で得た位置データに基づき、対象となる圃場の形状データを形状データ1として取得する(ステップS102)。例えばこの処理では、対象となる圃場の縁(輪郭)部分の経度緯度データから、当該圃場の形状(輪郭の形状)を抽出する。具体的には、当該圃場輪郭の位置データから、当該圃場の中心(重心位置)に鉛直な方向から見た当該圃場の形状のデータを作成する。例えば、当該圃場が正方形であれば、正方形の形状データ1が得られる。なお、トラクターの移動経路の位置データを直接用いる場合は、トラクターの移動経路の位置データに基づき、形状データ1を求める。
次に、UAVから撮影した空撮データを取得する(ステップS103)。UAVのカメラユニットは、電子データの記憶装置(例えば半導体メモリ)を備えており、ここに空撮データが記憶される。UAVは飛行後に回収され、その後に上記の記憶装置内の空撮データは、適当な記憶媒体や通信回線を介して位置測定装置100に送られる。
空撮データを得たら、この空撮データから空撮画像に写った圃場の輪郭を検出し、画像に写った範囲における圃場の形状データを形状データ2として得る(ステップS104)。この処理では、濃淡の差を検出する等の画像中からの特徴点抽出技術を用いて、圃場の縁の部分を抽出し、この縁の部分のデータに基づいて形状データ2を得る。例えば、当該圃場が正方形であれば、正方形の形状データ2が得られる。ここで、空撮画像中に圃場が複数写っている場合、各圃場に対応した複数の形状データ2が得られる。
また、当該写真画像の撮影時におけるUAVの傾き(このデータはUAV搭載のIMUのデータから得られる)に対応させて上記の形状データ2を鉛直上方から見た形状に変形(修正)してもよい。この処理は、射影変換を利用して行われる。
ステップS104の後、ステップS105を実行する。ステップS105では、形状データ1と形状データ2の対応関係の特定(形状データ1と形状データ2のマッチング)を行う。例えば、形状データ2が一つしかない場合、形状データ2の大きさ変化させ、形状データ2と形状データ1が一致する条件を探索する。この際、予め定めた許容範囲内での形状の一致を探索する。形状の一致が得られない場合、形状データ2を変形し、再度の一致を探索する。許容範囲内での一致が探索できない場合、処理エラーとなる。
形状データ2が複数ある場合(空撮画像中に複数の圃場が写っている場合)、各形状データ2に関して、上述した形状データ1との一致性を探索する。そして、最も一致性の高い形状データ2を形状データ1と対応するものとして選択する。
形状データ1と形状データ2の対応関係を特定したら、空撮データ中の形状データ2に対応する圃場の画像部分のデータ(例えば、画面座標データ)と、形状データ1の地図座標系における座標値を対応させる処理を行う(ステップS106)。すなわち、当該圃場の空撮画像のデータと当該圃場の外縁部分の地図座標系における位置データ(経度・緯度・標高)の情報を関連付けしたものを得る。
ステップS106の処理の結果、空撮画像中に写っているここで対象としている圃場の画像データと、その地図座標系における位置データとの対応関係が得られる。つまり、座標情報付きの圃場の空撮画像のデータが得られる。例えば、この画像データでは、画像中の特定の部分の位置情報(経度・緯度・標高)を知ることができる。例えば、このデータを用いることで、当該圃場の空撮画像のオルソ処理を行うことができる。このオルソ処理された空撮画像は、画像中の各画素の座標が特定されており、圃場における農産物の育成状況を調べた育成マップの作成等に利用できる。
(変形例)
トラクターを圃場の縁に沿って走行させない方法も可能である。この場合、例えば、圃場内をトラクターで特定の経路でGNSSを利用した位置測定を行いながら走行させる。特定の経路としては、直線形状、曲線形状、多角形状、円形状、ジグザグ状、三角波形状、矩形波形状、サイン波形状、渦巻き形状、これらの形状を組み合わせた形状等が挙げられる。この際、トラクターの移動経路の痕跡が圃場に残るようにする。このトラクターの移動経路をGNSSで測定したものが形状データ1となる。
他方で、UAVからの空撮画像から、画像認識技術を利用して上記のトラクターの移動経路(轍等の移動した痕跡)を検出する。この画像から検出したトラクターの移動経路の形状が形状データ2となる。後の処理は、図4の処理と同じである。
2.第2の実施形態
図5には、発明を利用した位置特定装置200が示されている。位置特定装置200は、画像データ受付部201、圃場状態データ記憶部202、圃場状態検出部203、対応関係特定部204、圃場位置特定部205を備えている。装置をどう構成するかの考え方は、第1の実施形態の場合と同じである。本実施形態でもカメラを搭載したUAVを用いる。UAVに関しては、第1の実施形態の場合と同じである。この例では、UAVに搭載するカメラとして撮影画像の波長スペクトルの情報を取得できるマルチスペクトルカメラやハイパースペクトルカメラを用いる。
画像データ受付部201は、図3の画像データ受付部101と同じである。圃場状態記憶部202は、予め取得された圃場の土壌および植生の状態の少なくとも一方と、それに圃場の位置データを関連付けさせたデータが記憶されている。
圃場状態データ記憶部202に記憶されるデータには、圃場の土壌の状態のデータおよび圃場に植えられた農産物の状態データの一方または両方が含まれる。土壌の状態としては、耕しの有無や程度、肥料や水の散布の状態、畝の有無や状態(例えば、畝の間隔)等が挙げられる。農産物の状態としては、農産物の種類、成長状態、色情報、密度等が挙げられる。圃場の状態は、日々の農作業の中で取得され、その情報が圃場状態記憶部202に記憶されている。
また、圃場状態データ記憶部202は、上記の土壌の状態や農産物の状態と圃場内の位置の関係が記憶されている。例えば、収穫時期を段階的にずらす目的や気候の変動による影響を平均化する目的で、圃場をストライプ状に区切り、成長の度合いをずらして農産物の栽培をする場合がある。この場合、土壌や農産物の状態がバーコードのように、ストライプ状に分布したものとなる。この分布データが圃場状態データ記憶部202に記憶される。
図7には、状態の異なる第1の圃場と第2の圃場の例が示されている。農産物が植えられているか否か、更にその育成状態の違いは、見た目で判別出来る。これは、農産物の大きさや葉の色の違い、実の有無や大きさの違いに起因する。この見た目の違いは、第1の圃場と第2の圃場が写った画像の波長スペクトルの違いに現れる。さらに、図7に示すように圃場の植生パターンに違いがあれば、その違いも同様に検出される。さらに、農産物が異なれば、その違いも波長スペクトルの違いから判別できる。
ここでは、波長スペクトルに着目する場合を説明したが、色、質感、模様、粒子の粗さ、模様の密度、模様を構成する色の組み合わせ等のデータに着目することもできる。これらのパラメータは、光学的に取得される圃場の状態を特徴づける表面特徴データである。これらのデータは単独で用いる場合に限定されず、複数を組み合わせて圃場の状態を特徴づけることもできる。
圃場状態データ記憶部202に記憶される圃場の状態に係るデータとしては、図7に示すストライプ状に土壌や植生の状態が分布したデータを挙げることができる。この場合、第1の圃場は、状態A,B,C,Dの組み合わせのデータとして記憶される。また、第2の圃場は、状態D,A,B,Cの組み合わせのデータとして記憶される。そして、この組み合わせが圃場の固有情報として取り扱われ、画像から圃場を識別する情報として利用できる。また、上記の固有情報として、図7のストライプの幅や間隔の関係を利用することもできる。
圃場状態検出部203は、空撮画像の波長スペクトルデータから対象となる圃場の土壌あるいは植生の状態を検出する。例えば、なにもしていない土壌、肥料を施した土壌、耕した土壌等は、見た目の色や画像の粒子感が異なる。この違いは、画像の波長スペクトルの違いとして検出される。また、植えられている農産物の種類や育成の状態が異なれば、その違いは当該農産物の撮影画像の波長スペクトルに現れる。このことを利用し、対象となる圃場における土壌や農産物の種類や育成の状態を検出する。
ここで予め、土壌、各農産物における育成段階ごとの波長スペクトルのデータを取得し、それをリファレンスデータとして適当な記憶部に記憶しておけば、画像解析から得た波長スペクトルデータに基づき、植生の状態を判別できる。なお、波長スペクトルに基づく植生の状態を判別する技術として、NDVIデータがある。
対応関係特定部204は、圃場状態データ記憶部202に記憶された予め取得された圃場の土壌および植生の状態の少なくとも一方のデータと、圃場状態検出部203が検出した圃場の土壌および植生の状態の少なくとも一方のデータとの対応関係を求める。
以下、対応関係特定部204で行われる処理の一例を説明する。例えば、隣接して図7の第1の圃場と第2の圃場があり、この2つの圃場が空撮画像中に写っている場合を想定する。ここで、実際に圃場の状態およびその位置は、最近のもの(なるべく空撮を行う時点に近い日時のものが好ましい)が調べられており、その情報は図5の圃場状態データ記憶部202に記憶されているとする。
UAVを用いた空撮の時点では、画像に写った圃場の位置情報は不明である。なお、UAVの飛行ログデータから撮影対象の位置の特定はある程度可能であるが、飛行ログの位置データには誤差が含まれ、また複数の圃場が写っている場合、それぞれの圃場の位置データを飛行ログから特定するのは困難である。
この例では、圃場状態検出部203において、空撮画像を解析し、画像中の圃場の状態を検出する。他方で、圃場状態データ記憶部202には、各保場の状態が記憶されている。そこで、空撮データから得た圃場の状態と、圃場状態データ記憶部202に記憶された保場の状態とを比較して、空撮データ由来の圃場状態のデータと、圃場状態データ記憶部202に予め記憶されている圃場状態のデータとの対応関係を求める。この処理が対応関係特定部204において行われる。
圃場位置特定部205は、圃場状態データ記憶部202に記憶された予め取得された圃場の土壌および植生の状態の少なくとも一方のデータおよび圃場状態検出部203が検出した圃場の土壌および植生の状態の少なくとも一方のデータとの対応関係から、上空から撮影された圃場の位置を特定する。
すなわち、対応関係特定部204での処理により、空撮データ由来の圃場状態のデータと、圃場状態データ記憶部202に予め記憶されている圃場状態のデータとの対応関係が求められる。他方で、圃場状態データ記憶部202には、予め取得された圃場の状態と圃場の位置情報とが関連付けされて記憶されている。よって、上記の対応関係が求まることで、空撮画像中から画像として検出された圃場の位置(経度・緯度・標高)の情報が得られる。この処理が圃場位置特定部205で行われる。画像中の圃場の位置情報が得られることで、座標情報付きの圃場の空撮画像のデータが得られる。
(処理の一例)
図6に位置特定装置200で行われる処理の手順の一例を示す。処理が開始されると、まず予め取得しておいた圃場の状態と位置情報が、圃場状態データ記憶部202から取得される(ステップS201)。この処理は、画像データ受付部201で行われる。次に、UAVから空撮で得られた画像データが取得される(ステップS202)。この処理は、圃場状態データ記憶部202で行われる。
次に、空撮で得られた画像データから圃場の状態を検出する(ステップS203)。この処理は、圃場状態検出部203で行われる。次に、圃場状態データ記憶部202から読み出した圃場の状態と、空撮データから得られた圃場の状態との対応関係を特定する(ステップS204)。この処理は、対応関係特定部204で行われる。そして、対応関係特定部204が特定した特定内容に基づき、対象となる圃場の位置を取得する(ステップS205)。この処理は、圃場位置特定部205で行われる。こうして、座標情報付きの圃場の空撮画像のデータが得られる。
3.第3の実施形態
第1の実施形態と第2の実施形態を組みわせた態様も可能である。例えば、第1の実施形態において、同じ形状で同じ寸法の圃場が複数ある場合、形状マッチングでは、候補が複数検出され、一つに絞り込めない場合が有り得る。この場合、第2の実施形態における土壌の情報や植生情報を利用して、画像中の圃場とデータベース上の圃場との対応関係を特定する。
また、第2の実施形態において、予め取得した圃場の状態のデータが古く、空撮画像から得た圃場の状態とのマッチングが上手くいかない場合が有り得る。この場合、第1の実施形態の形状マッチングを併用することで、データ上の圃場と空撮画像から得た圃場の対応関係を求めることができる。
第1の実施形態と第2の実施形態を組みわせた場合、図3と図4のハードウェアの中から必要な機能部を適宜選択し、それらの機能部を備えた位置特定装置を用いる。
4.その他
図3や図5の位置特定装置を対象となる農地から離れた遠隔地に置き、インターネット回線等を用いて必要なデータをそこに送り、そこで図4や図6の処理を行う形態も可能である。

Claims (10)

  1. 圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、
    前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付部と、
    前記画像データから前記特定の経路の形状を検出する経路検出部と、
    前記経路検出部が検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定部と、
    前記対応関係特定部が特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定部と
    を備える位置特定装置。
  2. 前記位置データは、航法衛星からの航法信号に基づく位置の測定を行う位置測定装置を備えた移動体を移動させることで得たものであり、
    前記経路検出部は、前記移動体が地上に残した移動の痕跡を検出する請求項1に記載の位置特定装置。
  3. 前記対応関係が、画像から検出した圃場の状態と予め取得しておいた圃場の状態との対応関係に基づき特定される請求項1または2に記載の位置特定装置。
  4. 前記圃場の状態が、場所毎に異なる農産物の育成状態の違いの情報を含む請求項3に記載の位置特定装置。
  5. 圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、
    予め取得された前記圃場の土壌および植生の状態の少なくとも一方および前記圃場の位置データを関連付けさせたデータを記憶した圃場状態データ記憶部と、
    前記撮影画像の表面特徴データから前記圃場の土壌あるいは植生の状態を検出する圃場状態検出部と、
    前記圃場状態データ記憶部に記憶されたデータと、前記圃場状態検出部が検出した前記圃場の土壌および植生の状態の少なくとも一方のデータとの対応関係を求める対応関係特定部と、
    前記対応関係特定部が特定した前記対応関係に基づき、上空から撮影された前記圃場の位置を特定する圃場位置特定部と
    を備える位置特定装置。
  6. 前記表面特徴データとして、波長スペクトルデータ、色、質感、模様のデータの一または複数が含まれる請求項5に記載の位置特定装置。
  7. 前記圃場は、場所により異なる状態を有する複数の部分を有し、
    前記圃場状態データ記憶部は、前記複数の部分の組み合わせを記憶し、
    前記圃場状態検出部は、前記画像データに基づき、前記複数の部分の組み合わせを検出し、
    前記対応関係特定部は、前記圃場状態データ記憶部に記憶された前記組み合わせと、前記圃場状態検出部が検出した前記組み合わせとの対応関係の特定を行う請求項5または6に記載の位置特定装置。
  8. 前記複数の部分には、異なる複数の植生の部分が含まれ、
    前記圃場状態検出部は、前記撮影画像における前記異なる複数の植生の部分の前記表面特徴データに基づき、前記異なる複数の植生に対応した当該圃場の識別情報を検出する請求項5〜7のいずれか一項に記載の位置特定装置。
  9. 圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付ステップと、
    前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付ステップと、
    前記画像データから前記特定の経路の形状を検出する経路検出ステップと、
    前記経路検出ステップで検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定ステップと、
    前記対応関係特定ステップで特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定ステップと
    を備えることを特徴とする位置特定方法。
  10. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    圃場を上空から撮影した撮影画像の画像データを受け付ける画像データ受付部と、
    前記圃場における特定の経路に沿って移動しつつ受信した航法衛星からの航法信号に基づき測定した位置データを受け付ける位置データ受付部と、
    前記画像データから前記特定の経路の形状を検出する経路検出部と、
    前記経路検出部が検出した前記経路の形状と前記位置データとの対応関係を特定する対応関係特定部と、
    前記対応関係特定部が特定した対応関係に基づき、前記撮影画像に写った前記圃場の位置を特定する圃場の位置特定部と
    として機能させるプログラム。
JP2016247915A 2016-12-21 2016-12-21 位置特定装置、位置特定方法およびプログラム Active JP6836385B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016247915A JP6836385B2 (ja) 2016-12-21 2016-12-21 位置特定装置、位置特定方法およびプログラム
US15/844,906 US10417753B2 (en) 2016-12-21 2017-12-18 Location identifying device, location identifying method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016247915A JP6836385B2 (ja) 2016-12-21 2016-12-21 位置特定装置、位置特定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018100930A true JP2018100930A (ja) 2018-06-28
JP6836385B2 JP6836385B2 (ja) 2021-03-03

Family

ID=62561757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016247915A Active JP6836385B2 (ja) 2016-12-21 2016-12-21 位置特定装置、位置特定方法およびプログラム

Country Status (2)

Country Link
US (1) US10417753B2 (ja)
JP (1) JP6836385B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009726A (ko) * 2018-07-20 2020-01-30 한국건설기술연구원 무인비행체에 탑재된 초분광 센서를 활용한 포장상태지수 측정 시스템 및 그 방법
WO2020240982A1 (ja) * 2019-05-31 2020-12-03 ヤンマー株式会社 自律走行システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219675A1 (de) * 2017-11-06 2019-05-09 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
US10621434B2 (en) * 2018-01-25 2020-04-14 International Business Machines Corporation Identification and localization of anomalous crop health patterns
US11059582B2 (en) 2019-02-11 2021-07-13 Cnh Industrial Canada, Ltd. Systems for acquiring field condition data
US11001380B2 (en) * 2019-02-11 2021-05-11 Cnh Industrial Canada, Ltd. Methods for acquiring field condition data
AU2020377496A1 (en) * 2019-11-08 2022-05-05 Kubota Corporation System for measuring and interpreting a force
EP3905109A1 (en) * 2020-04-30 2021-11-03 Kverneland Group Operations Norway AS System for controlling agricultural operations by optical means
CN115631421B (zh) * 2022-12-23 2023-05-12 北京瞭望神州科技有限公司 耕地智慧保护方法及保护系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254711A (ja) * 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
JP6055274B2 (ja) 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
EP2980669B1 (en) * 2014-08-01 2017-09-20 AGCO Corporation Determining field characterisitics using optical recognition
AU2017363489B2 (en) * 2016-11-22 2023-09-14 The Toro Company Autonomous path treatment systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
JP2011254711A (ja) * 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009726A (ko) * 2018-07-20 2020-01-30 한국건설기술연구원 무인비행체에 탑재된 초분광 센서를 활용한 포장상태지수 측정 시스템 및 그 방법
KR102119242B1 (ko) 2018-07-20 2020-06-04 한국건설기술연구원 무인비행체에 탑재된 초분광 센서를 활용한 포장상태지수 측정 시스템
WO2020240982A1 (ja) * 2019-05-31 2020-12-03 ヤンマー株式会社 自律走行システム
JP2020197792A (ja) * 2019-05-31 2020-12-10 ヤンマーパワーテクノロジー株式会社 自律走行システム

Also Published As

Publication number Publication date
US20180174290A1 (en) 2018-06-21
US10417753B2 (en) 2019-09-17
JP6836385B2 (ja) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6836385B2 (ja) 位置特定装置、位置特定方法およびプログラム
Matese et al. Assessment of a canopy height model (CHM) in a vineyard using UAV-based multispectral imaging
Torres-Sánchez et al. Assessing UAV-collected image overlap influence on computation time and digital surface model accuracy in olive orchards
Torres-Sánchez et al. High-throughput 3-D monitoring of agricultural-tree plantations with unmanned aerial vehicle (UAV) technology
KR102618797B1 (ko) 콤바인, 포장 영농 맵 생성 방법, 포장 영농 맵 생성 프로그램 및 포장 영농 맵 생성 프로그램이 기록된 기록 매체
US8712144B2 (en) System and method for detecting crop rows in an agricultural field
US8737720B2 (en) System and method for detecting and analyzing features in an agricultural field
Rokhmana The potential of UAV-based remote sensing for supporting precision agriculture in Indonesia
Sona et al. Experimental analysis of different software packages for orientation and digital surface modelling from UAV images
Küng et al. The accuracy of automatic photogrammetric techniques on ultra-light UAV imagery
WO2017099570A1 (es) Sistema y método para agricultura de precisión por análisis multiespectral e hiperespectral de imágenes aéreas utilizando vehículos aéreos no tripulados
CN108873888A (zh) 农用系统
EP1473673A2 (en) System and method for detecting and analyzing features in an agricultural field for vehicle guidance
WO2017011595A1 (en) Modular systems and methods for determining crop yields with high resolution geo-referenced sensors
JP6895680B2 (ja) 作物の倒伏度評価装置及び作物の倒伏度評価方法
US20190258859A1 (en) Systems and methods for mapping emerged plants
WO2022239006A1 (en) Accurate geolocation in remote-sensing imaging
Azim et al. Manual geo-rectification to improve the spatial accuracy of ortho-mosaics based on images from consumer-grade unmanned aerial vehicles (UAVs)
Fasiolo et al. Towards autonomous mapping in agriculture: A review of supportive technologies for ground robotics
Pritt Fast orthorectified mosaics of thousands of aerial photographs from small UAVs
Hasheminasab et al. Linear feature-based triangulation for large-scale orthophoto generation over mechanized agricultural fields
Saveliev et al. Automated terrain mapping based on mask R-CNN neural network
Christensen et al. Sensing for weed detection
Jiménez López et al. Crops diagnosis using digital image processing and precision agriculture technologies
Bellia et al. A preliminary assessment of the efficiency of using drones in land cover mapping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210205

R150 Certificate of patent or registration of utility model

Ref document number: 6836385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250