JP2019152924A - 自己位置同定システム、車両、及び処理装置 - Google Patents

自己位置同定システム、車両、及び処理装置 Download PDF

Info

Publication number
JP2019152924A
JP2019152924A JP2018035721A JP2018035721A JP2019152924A JP 2019152924 A JP2019152924 A JP 2019152924A JP 2018035721 A JP2018035721 A JP 2018035721A JP 2018035721 A JP2018035721 A JP 2018035721A JP 2019152924 A JP2019152924 A JP 2019152924A
Authority
JP
Japan
Prior art keywords
image
distance
self
vehicle
reference objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018035721A
Other languages
English (en)
Inventor
隆則 深尾
Takanori Fukao
隆則 深尾
寛樹 栗田
Hiroki Kurita
寛樹 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Priority to JP2018035721A priority Critical patent/JP2019152924A/ja
Publication of JP2019152924A publication Critical patent/JP2019152924A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】レーザ光により高精度に測距しつつ、より簡易に自己位置を同定できる。【解決手段】開示の自己位置同定システム100は、測距される領域にレーザ光を照射し、前記領域内を測距するレーザセンサ15と、前記レーザセンサ15により測距される領域の画像を撮影するカメラ16と、前記画像に対する画像認識処理によって、前記画像中における複数の基準物を認識する画像認識器41と、前記画像中における複数の前記基準物の位置から、前記領域における複数の前記基準物それぞれの方向を検出する方向検出器42と、前記レーザセンサにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記基準物それぞれまでの距離として求める距離検出器43と、複数の前記基準物それぞれまでの距離に基づいて、前記システムの自己位置を同定する位置同定器44と、を備える。【選択図】図1

Description

本開示は、自己位置同定システム、車両、及び処理装置に関する。
自動運転技術等においては、Light Detection and Ranging(LiDAR)によって距離が測定され、Simultaneous Localization and Mapping(SLAM)技術により自己位置同定がなされる。ここでは、このような自己位置同定技術をLiDAR SLAMという。
また、特許文献1は、CCDカメラとレーザポインタとを備える自己位置認識装置を開示している。
特開平7−71978号公報
LiDAR SLAMでは、レーザ光により測距されるため高精度である。しかし、測距される環境によっては、測距の対象を識別することが困難なことがある。この結果、自己位置同定が困難になる。したがって、レーザ光により高精度に測距しつつ、より簡易に自己位置を同定できることが望まれる。なお、特許文献1は、CCDカメラにより撮影された画像に対する画像認識処理を開示していないし、レーザポインタ自体は測距のためのレーザセンサでもない。
本開示に係る自己位置同定システムは、測距される領域にレーザ光を照射し、前記領域内を測距するレーザセンサと、前記レーザセンサにより測距される領域の画像を撮影するカメラと、前記画像に対する画像認識処理によって、前記画像中における複数の基準物を認識する画像認識器と、前記画像中における複数の前記基準物の位置から、前記領域における複数の前記基準物それぞれの方向を検出する方向検出器と、前記レーザセンサにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記基準物それぞれまでの距離として求める距離検出器と、
複数の前記基準物それぞれまでの距離に基づいて、前記システムの自己位置を同定する位置同定器と、を備える。
本開示に係る車両は、複数の樹木の列に沿って自律走行する車両であって、光検出と測距(Light Detection and Ranging(LiDAR))デバイスと、前記LiDARデバイスにより測距される領域の画像を撮影するカメラと、前記画像に対する画像認識処理によって、前記画像中における複数の樹木の幹を認識する画像認識器と、前記画像中における複数の前記幹の位置から、前記領域における複数の前記幹それぞれの方向を検出する方向検出器と、前記LiDARデバイスにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記幹それぞれまでの距離として求める距離検出器と、複数の前記幹それぞれまでの距離に基づいて、前記車両の自己位置を同定する位置同定器と、前記自己位置に基づいて、複数の前記樹木の列に沿って前記車両を自律走行させるコントローラと、を備える。
本開示に係る処理装置は、レーザセンサにより測距される領域をカメラで撮影した画像中における1又は複数の基準物を画像認識する処理と、前記画像中における1又は複数の前記基準物の前記画像中における位置から、前記領域における1又は複数の前記基準物の方向を検出する処理と、前記レーザセンサにより測距された前記領域中の距離データ群から、前記検出器によって検出された方向における距離を前記基準物までの距離として求める処理と、を実行するよう構成されている。この処理装置によれば、基準物までの距離をレーザ光による高精度な測距結果に基づいて、基準物までの距離を簡易に求めることができる。
更なる詳細は、後述の実施形態として説明される。
図1は、自己位置同定システムを備える車両のブロック図である。 図2は、果樹園の樹列に沿って走行する車両を示す平面図である。 図3は、自己位置同定に関する処理のフローチャートである。 図4は、カメラによって撮影された画像である。 図5は、幹の方向を計算するための幾何学的関係を示す図である。 図6は、点群の表示イメージである。 図7は、自己位置を計算するための幾何学的関係を示す図である。 図8は、カメラによって撮影された画像である。 図9は、点群の表示イメージである。
<1.自己位置同定システム、車両、及び処理装置の概要>
(1)実施形態に係る自己位置同定システム(以下、単に「システム」ともいう)は、レーザセンサを備える。レーザセンサは、測距される領域にレーザ光を照射し、前記領域内を測距する。測距される領域は、点ではなく、2次元的又は3次元的に広がりのある範囲を持つ。レーザセンサは、例えば、LiDARデバイスである。LiDARデバイスは、3次元LiDARデバイスであるのが好ましい。レーザセンサは、例えば、複数のレーザレンジファインダによって、2次元的又は3次元的に広がりのある領域における距離の分布を取得するよう構成されていてもよい。
システムは、カメラを備えることができる。カメラは、前記レーザセンサにより測距される領域の画像を撮影する。カメラが撮影する領域は、レーザセンサにより測距される領域と完全に一致していてもよいし、一部重複しているだけでもよい。カメラが撮影する領域は、レーザセンサにより測距される領域よりも広くてもよいし、狭くてもよい。
システムは、画像認識器を備えることができる。画像認識器は、前記画像に対する画像認識処理によって、前記画像中における複数の基準物を認識する。基準物は、人工物であってもよいし、自然物であってもよい。画像認識処理は、例えば、ディープラーニングによる画像認識処理である。ディープラーニングによる画像認識処理では、自然物のような不定形物であっても精度よく認識することができるため有利である。
システムは、方向検出器を備えることができる。方向検出器は、前記画像中における複数の前記基準物の位置から、前記領域における複数の前記基準物それぞれの方向を検出する。方向検出器は、画像認識結果から基準物の方向を検出するため、基準物の方向を確実に検出することができる。
システムは、距離検出器を備えることができる。距離検出器は、前記レーザセンサにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記基準物それぞれまでの距離として求める。ここで、距離データ群とは、レーザセンサにより測距された前記領域中の各位置の距離データの集合である。距離データ群は、前記領域中の各位置までの距離を示す。例えば、LiDARデバイスにより測距された距離データ群は、点群とよばれる。
システムは、位置同定器を備えることができる。位置同定器は、複数の前記基準物それぞれまでの距離に基づいて、前記システムの自己位置を同定する。位置同定に用いられる基準物の数は2でよいが、3以上であってもよい。
画像認識であれば、例えば不定形物が多く存在する環境でも、基準物となる特定の不定形物を認識することができ、基準物の方向を精度よく特定することができる。しかし、画像から基準物の距離を精度よく求めるのは容易ではない。一方、レーザセンサは、測距対象の領域中の各位置までの距離を精度よく求めることができるが、レーザセンサの測距結果から特定の基準物を識別するのは容易ではない。特に、レーザセンサの測距結果から不定形物を基準物として認識するのは困難である。
そこで、画像認識結果から基準物の方向を検出し、検出された方向におけるレーザセンサの高精度な測距結果を用いることで、容易に、基準物までの距離を精度よく求めることができる。複数の基準物までの距離が得られると、自己位置同定を行える。
(2)前記方向検出器は、前記画像中における複数の前記基準物の位置の変化に応じて、前記領域における複数の前記基準物それぞれの方向を更新するのが好ましい。この場合、システムの移動に伴って、画像中における基準物の位置が変化しても、基準物の方向を確実に検出できる。この結果、精度よく自己位置を同定することができる。
(3)前記基準物は、不定形物であってもよい。
(4)前記基準物は、樹木の幹であってもよい。
(5)実施形態に係る車両は、上述の自己位置同定システムを備えることができる。車両は、前記自己位置に基づいて自律走行のための制御をするコントローラを備えることができる。
(6)他の観点において、実施形態に係る車両は、複数の樹木の列に沿って自律走行する車両である。車両は、光検出と測距(Light Detection and Ranging(LiDAR))デバイスを備えることができる。車両は、前記LiDARデバイスにより測距される領域の画像を撮影するカメラを備えることができる。車両は、前記画像に対する画像認識処理によって、前記画像中における複数の樹木の幹を認識する画像認識器を備えることができる。車両は、前記画像中における複数の前記幹の位置から、前記領域における複数の前記幹それぞれの方向を検出する方向検出器を備えることができる。車両は、前記LiDARデバイスにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記幹それぞれまでの距離として求める距離検出器を備えることができる。車両は、複数の前記幹それぞれまでの距離に基づいて、前記車両の自己位置を同定する位置同定器を備えることができる。車両は、前記自己位置に基づいて、複数の前記樹木の列に沿って前記車両を自律走行させるコントローラを備えることができる。
(7)前記車両は、前記幹が他の物体によって隠され得る場所を走行するものであってもよい。そのような場所は、例えば、樹木が植えられた農場である。樹木は、例えば、果樹である。他の物体は、例えば、樹木の枝葉又は雑草である。前記画像認識処理は、ディープラーニングによる画像認識処理であってもよい。
(8)実施形態に係る処理装置は、レーザセンサにより測距される領域をカメラで撮影した画像中における1又は複数の基準物を画像認識する処理を実行するように構成されていてもよい。処理装置は、前記画像中における1又は複数の前記基準物の前記画像中における位置から、前記領域における1又は複数の前記基準物の方向を検出する処理を実行するように構成されていてもよい。処理装置は、前記レーザセンサにより測距された前記領域中の距離データ群から、前記検出器によって検出された方向における距離を前記基準物までの距離として求める処理を実行するように構成されていてもよい。
<2.自己位置同定システムを備える車両の例>
図1及び図2は、自己位置同定システム100を備えた車両10を示している。図2に示す車両10は、自律走行する無人地上車両(Unmanned Ground Vehicle)である。車両10は、例えば、果樹園などの農場を走行する。図2に示すように、果樹園では、樹木(果樹)20が列になって植えられていることが多い。車両10は、樹木20の列の間を走行することができる。
図2に示す車両10は、草刈機11を牽引する。車両10は、樹木20にできるだけ近づきつつも、樹木20に接触しないように、樹木20の列に沿って自律走行する。車両10が、樹木20の近傍を走行することで、草刈機11は、樹木20の近傍に生えている草の刈り取りをすることができる。
実施形態の車両10は、樹木20を基準物として自己位置同定をし、樹木20の列にそって自律走行する。ここで、果樹園等の農場のように自然物の多い環境において、基準物を検出する場合には、オクルージョンが問題となる。オクルージョンは、対象物が他の物体によって隠された状況をいう。ここで、図2の画像Cにおいては、樹木20,20の幹は比較的明瞭に表れている。しかし、例えば、樹木20の枝葉21の成長及び樹木20,20付近における雑草の成長により、基準物となる幹が隠されることがある。後述のように、実施形態の車両10は、オクルージョンが生じる環境下においても、自律走行をすることができる。
図1に示すように、自己位置同定システム100は、測距のためのレーザセンサ15として、3次元LiDARデバイスを備える。LiDARデバイス15の視野17は、車両10の前方(図2では、走行方向に対してやや左方)に設定されている。視野17は、上下左右に広がりのある領域である。実施形態のLiDARデバイス15は、車両10の斜め前方の領域にレーザ光を照射し、その領域内の各位置の測距をする。図2には、LiDARデバイス15によって得られた点群Pの表示イメージデータを示した。
システム100は、カメラ16を備える。図2に示すように、カメラ16は、LiDARデバイス15により測距される領域を撮影できるように、LiDARデバイスとほぼ同じ位置に設けられている。カメラ16の視野も、車両10の前方(図2では、走行方向に対してやや左方)に設定されている。実施形態のカメラ16は、車両10の斜め前方を撮影する。図2には、カメラ16によって撮影された画像Cを示した。
実施形態において、LiDARデバイス15及びカメラ16は、車両10の斜め前方にある同じ樹木20,20の列が視野17,18に含まれるように設置されている。車両10は、視野17,18に含まれる樹木20,20の幹を基準物として自己位置同定をし、樹木20,20の列に沿って自律走行する。
図1に示すように、システム100は、処理装置30を備える。処理装置30は、プロセッサ31と記憶装置32とを備えるコンピュータによって構成されている。プロセッサ31は、記憶装置32に記憶されたコンピュータプログラム50を実行することにより、自己位置同定に関連する処理を実行する(図3参照)。また、プロセッサ31は、コンピュータプログラム50を実行することにより、車両10の自律走行のための処理を実行する。自律走行のための処理は、車両10の操舵システム60の制御を含む。
図1には、プロセッサ31によって実行される処理41,42,43,44が示されている。これらは、自己位置同定に関連する処理である。
処理41は、画像認識処理である。画像認識処理41は、カメラ16によって撮影された画像Cに含まれる特定の物体を認識する処理である。画像認識処理41を実行するプロセッサ31は、画像認識器として機能する。
実施形態においては、画像認識としては、ディープラーニングによる画像認識処理が用いられる。ディープラーニングによる画像認識処理は、樹木の幹のように、形態が一定でないが同じ種類のものを高精度で認識するのに適している。実施形態においては、画像Cに含まれる特定の果樹20(例えばリンゴの木)の幹が、画像認識される。ディープラーニングによる画像認識処理では、幹が、枝葉21や雑草で多少隠されているようなオクルージョンの環境でも、幹を検出できるため有利である。
処理42は、方向検出処理である。実施形態の方向検出処理42は、画像C中における幹の位置から、その幹の方向を検出する。幹の方向は、例えば、画像Cにおける幹の位置座標から計算することができる。方向検出処理42を実行するプロセッサ31は、方向検出器として機能する。
処理43は、距離検出処理である。実施形態の距離検出処理43は、方向検出処理42により特定した幹の方向を使って、LiDARデバイス15により測距された点群から、幹までの距離を検出する処理である。距離検出処理43を実行するプロセッサ31は、距離検出器として機能する。
処理44は、位置同定処理である。実施形態の位置同定処理44は、複数の幹それぞれまでの距離に基づいて、システム100(車両10)の自己位置を同定する処理である。位置同定処理44を実行するプロセッサ31は、位置同定器として機能する。
プロセッサ31は、車両10の自律走行のための処理を実行することにより、車両10の自律走行を制御するコントローラ45として機能する。コントローラ45は、経路生成処理46を実行する。経路生成処理46では、自己位置と幹(樹木20)までの距離とに基づいて、樹木20にできるだけ近づきつつも樹木20に接触しない経路が生成される。
コントローラ45は、生成された経路に沿って、車両10を自律走行させる。自律走行のため、コントローラ45は、車両10の操舵システム60に舵角などの自律走行用パラメータを与える。経路に沿った自律走行のための制御手法として、実施形態においては、Path Following制御47が用いられる。
<3.LIDARと画像とを融合した自己位置同定>
図3は、LIDARと画像とを融合した自己位置同定の手順を示している。自己位置同定は、車両10の走行中に行われる。車両10の走行中においては、カメラ16及びLiDARデバイス15は常時動作する。カメラ16により撮影された画像(動画)は、記憶装置32に保存され、LiDARデバイス15により測距された点群のデータも、記憶装置32に保存される。
自己位置同定においては、まず、ステップS11において、カメラ16で撮影された画像Cに対して、基準物となる幹を認識する画像認識が行われる。
図4は、画像C1,C2,C3,C4を示す。画像C1は、カメラ16で撮影された画像であり、樹木の幹の根元付近が写っている。画像C1,C3,C4はすべて同じ画像であり、画像C2は、画像C1における幹の根元付近の拡大画像である。画像C2に示すように、根接ぎが行われている果樹の場合、幹の根元付近に根接ぎにより幹が肥大化したコブ23が存在する。画像認識による検出対象を幹の根元付近とすることで、ディープラーニングなどの機械学習の際に、コブ23が特徴量として効率的に認識され、検出精度を容易に高めることができる。また、幹の根元付近は、枝葉21が少ないため、枝葉21によるオクルージョンを回避する上でも有利である。
画像C3は、幹の根元付近の認識結果を示している。画像C3において、白枠の領域S0,S1,S2は、画像認識により幹の根元付近であると認識された範囲を示す。画像C3においては、3つの幹が認識されていることがわかる。画像C3においては、車両10側(画像C3の左側)からみて最も近い幹に対応するのが、領域S0である。領域S1、領域S2は、車両10からみて順次遠い位置にある。
続いて、ステップS12において、認識された3つの幹(基準物)のうち、車両10からみて最も近い2つの幹(領域S0,S1)が選択される。選択された二つの幹が、自己位置同定に用いられる。
ステップS13において、選択された2つの幹(基準物)の画像座標から、2つの幹(基準物)それぞれの方向が計算される。幹23の方向は、例えば、図4の画像C4における幹(領域S0,S1)の画像座標S0(X,Y),S1(X,Y)から、カメラ16のパラメータ(焦点距離fなど)を用いて、計算される。幹23の方向は、例えば、図5に示すx方向の角度θ、及び、y方向の角度φ(図示省略)として計算される。なお、図5のx方向は、図4の画像C4のX方向に対応し、図5のy方向は、図4の画像C4のY方向に対応する。図5のz方向は、カメラ16から画像C1,C2,C3,C4の画像平面に向かう方向である。なお、x方向の角度θとは、図5のxz平面において、z軸に対してなす角度であり、y方向の角度φとは、図5のyz平面において、z軸に対してなす角度である。
ステップS14において、LiDAR測距領域全体の点群のデータから、幹(基準物)それぞれの方向における小領域s,sの点群が取得される。図6は、画像C1,C3,C4と同じタイミングにおいて、LiDARデバイスにより測距された点群P1,P2の表示イメージを示している。図6の点群P1,P2はいずれも同じものである。点群P2の表示イメージにおいては、幹の方向にある小領域s,sが示されている。小領域sは、画像C4において画像座標S0(X,Y)で示される幹の方向に対応する小領域であり、小領域sは、画像C4において画像座標S1(X,Y)で示される幹の方向に対応する小領域である。
ステップS15において、小領域s内の点群(距離データ群)から、画像座標S0(X,Y)で示される幹までの距離が計算され、小領域s内の点群(距離データ群)から、画像座標S1(X,Y)で示される幹までの距離d,dが計算される。幹までの距離d,dは、例えば、小領域内の点群で示される各距離の平均距離として算出される。小領域s,sは、幹の方向に存在する領域であるから、小領域s,s内の点群で示される距離は、幹までの距離d,dであることが期待される。
ステップS16において、2つの幹までの距離d,dに基づいて、車両10の自己位置が同定される。実施形態においては、図7に示す幾何学的関係に基づいて、車両10の自己位置が同定される。なお、以下では、s,sを、幹の位置を示す記号として用いる。
図7においては、2つの幹の位置s,sを結ぶ直線L1の方向をx方向とし、x方向に直交する方向をy方向とする。実施形態の自己位置推定においては、最も手前にある幹の位置sを原点に設定する。図7に示す幾何学的関係から、車両10の自己位置θ,yは、次の式で計算することができる。
車両10の走行中において、カメラ16による撮影とLiDARデバイス15による測距は継続して行われるため、位置同定も、走行中において繰り返し行われる。車両10が走行することで、カメラ16で撮影した画像C中の幹(基準物)の位置が変化する。画像認識処理41では、画像中の幹(基準物)の位置が変化した場合には、同一の幹の位置の変化に追従して、幹の領域S0,S1,S2を移動させる。
方向検出処理42では、幹の位置の変化に応じて、幹の方向を更新する。距離検出処理43では、その時点での点群Pのデータから、更新された方向における小領域s,sを特定し、2つの幹までの距離を再算出する。自己位置同定処理44では、2つの幹までの距離から同定される自己位置を更新する。
車両10の走行により、最も手前に見えていた幹(位置s)を見失った場合、一つ先の幹の位置sに原点を移動させ、原点となる幹を含む2つの幹の位置s,sから、自己位置を同定する。これにより、車両10の走行中において、常に自己位置を同定することができる。
図8は、図4とは別の果樹園で撮影された画像C5,6を示す。画像C5,C6は同じものである。図9は、画像C5,6と同じタイミングにおいて、LiDARデバイス15により測距された点群P3,P4の表示イメージを示している。点群P3,P4も同じものである。
画像認識処理41では、画像C5,C6中の2つ幹が、画像C6に示す2つの領域S0,S1内に存在していることが認識される。つまり、画像認識処理41では、問題なく幹が認識された。
一方、図9の点群P3の表示イメージをみても、2つの幹の位置は判然としない。したがって、点群P3が計測された環境においては、LiDAR SLAMで自己位置同定をするのは困難であることがわかる。
これに対して、実施形態の手法では、画像認識により幹の方向が特定できているため、その幹の方向に対応する領域s,sの点群を用いることにより、容易に幹までの距離を計測することができる。
<4.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
10 車両
11 草刈機
15 レーザセンサ(LiDARデバイス)
16 カメラ
17 レーザセンサ視野
18 カメラ視野
20 果樹(樹木)
21 枝葉
23 コブ(幹)
30 処理装置
31 プロセッサ
32 記憶装置
41 画像認識処理
42 方向検出処理
43 距離検出処理
44 位置同定処理
45 コントローラ
46 経路生成
47 Path Following制御
50 コンピュータプログラム
60 操舵システム
100 自己位置同定システム
C 画像
C1,C2,C3,C4,C5,C6 画像
P 点群(距離データ群)
P1,P2,P3,P4 点群(距離データ群)
S0,S1,S2 画像における基準物領域
S0(X,Y),S1(X,Y) 幹(基準物)の画像座標
,s 基準物の方向における小領域
(x,y),s(x,y)

Claims (8)

  1. 測距される領域にレーザ光を照射し、前記領域内を測距するレーザセンサと、
    前記レーザセンサにより測距される領域の画像を撮影するカメラと、
    前記画像に対する画像認識処理によって、前記画像中における複数の基準物を認識する画像認識器と、
    前記画像中における複数の前記基準物の位置から、前記領域における複数の前記基準物それぞれの方向を検出する方向検出器と、
    前記レーザセンサにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記基準物それぞれまでの距離として求める距離検出器と、
    複数の前記基準物それぞれまでの距離に基づいて、システムの自己位置を同定する位置同定器と、
    を備える自己位置同定システム。
  2. 前記方向検出器は、前記画像中における複数の前記基準物の位置の変化に応じて、前記領域における複数の前記基準物それぞれの方向を更新する
    請求項1に記載の自己位置同定システム。
  3. 前記基準物は、不定形物である
    請求項1又は2に記載の自己位置同定システム。
  4. 前記基準物は、樹木の幹である
    請求項3に記載の自己位置同定システム。
  5. 請求項1〜4のいずれか1項に記載の自己位置同定システムと、
    前記自己位置に基づいて自律走行のための制御をするコントローラと、
    を備える車両。
  6. 複数の樹木の列に沿って自律走行する車両であって、
    光検出と測距(Light Detection and Ranging(LiDAR))デバイスと、
    前記LiDARデバイスにより測距される領域の画像を撮影するカメラと、
    前記画像に対する画像認識処理によって、前記画像中における複数の樹木の幹を認識する画像認識器と、
    前記画像中における複数の前記幹の位置から、前記領域における複数の前記幹それぞれの方向を検出する方向検出器と、
    前記LiDARデバイスにより測距された前記領域中の距離データ群から、前記方向検出器によって検出された方向それぞれにおける距離を、複数の前記幹それぞれまでの距離として求める距離検出器と、
    複数の前記幹それぞれまでの距離に基づいて、前記車両の自己位置を同定する位置同定器と、
    前記自己位置に基づいて、複数の前記樹木の列に沿って前記車両を自律走行させるコントローラと、
    を備える車両。
  7. 前記車両は、前記幹が他の物体によって隠され得る場所を走行するものであり、
    前記画像認識処理は、ディープラーニングによる画像認識処理である
    請求項6に記載の車両。
  8. レーザセンサにより測距される領域をカメラで撮影した画像中における1又は複数の基準物を画像認識する処理と、
    前記画像中における1又は複数の前記基準物の前記画像中における位置から、前記領域における1又は複数の前記基準物の方向を検出する処理と、
    前記レーザセンサにより測距された前記領域中の距離データ群から、検出された方向における距離を前記基準物までの距離として求める処理と、
    を実行するよう構成された処理装置。
JP2018035721A 2018-02-28 2018-02-28 自己位置同定システム、車両、及び処理装置 Pending JP2019152924A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018035721A JP2019152924A (ja) 2018-02-28 2018-02-28 自己位置同定システム、車両、及び処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018035721A JP2019152924A (ja) 2018-02-28 2018-02-28 自己位置同定システム、車両、及び処理装置

Publications (1)

Publication Number Publication Date
JP2019152924A true JP2019152924A (ja) 2019-09-12

Family

ID=67948927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018035721A Pending JP2019152924A (ja) 2018-02-28 2018-02-28 自己位置同定システム、車両、及び処理装置

Country Status (1)

Country Link
JP (1) JP2019152924A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504728A (ja) * 2019-09-26 2022-01-13 上▲海▼商▲湯▼智能科技有限公司 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
WO2022107588A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、制御ユニット、データ生成ユニット、移動体の動作を制御する方法、およびデータを生成する方法
WO2022107587A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、データ生成ユニット、およびデータを生成する方法
WO2022107586A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、制御ユニット、および移動体の動作を制御する方法
WO2023119996A1 (ja) * 2021-12-24 2023-06-29 株式会社クボタ 障害物検出システム、農業機械および障害物検出方法
WO2023119970A1 (ja) * 2021-12-20 2023-06-29 株式会社日立製作所 位置推定システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031642A (ja) * 2004-07-22 2006-02-02 Ihi Aerospace Co Ltd 移動体の自己位置特定方法
JP2010096752A (ja) * 2008-09-16 2010-04-30 Adoin Kenkyusho:Kk 樹木情報計測方法、樹木情報計測装置、プログラム
JP2011048706A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
JP2017004228A (ja) * 2015-06-09 2017-01-05 株式会社パスコ 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム
JP2017181870A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置及び情報処理サーバ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031642A (ja) * 2004-07-22 2006-02-02 Ihi Aerospace Co Ltd 移動体の自己位置特定方法
JP2010096752A (ja) * 2008-09-16 2010-04-30 Adoin Kenkyusho:Kk 樹木情報計測方法、樹木情報計測装置、プログラム
JP2011048706A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
JP2017004228A (ja) * 2015-06-09 2017-01-05 株式会社パスコ 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム
JP2017181870A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置及び情報処理サーバ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504728A (ja) * 2019-09-26 2022-01-13 上▲海▼商▲湯▼智能科技有限公司 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
WO2022107588A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、制御ユニット、データ生成ユニット、移動体の動作を制御する方法、およびデータを生成する方法
WO2022107587A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、データ生成ユニット、およびデータを生成する方法
WO2022107586A1 (ja) * 2020-11-18 2022-05-27 株式会社クボタ 移動体、制御ユニット、および移動体の動作を制御する方法
WO2023119970A1 (ja) * 2021-12-20 2023-06-29 株式会社日立製作所 位置推定システム
WO2023119996A1 (ja) * 2021-12-24 2023-06-29 株式会社クボタ 障害物検出システム、農業機械および障害物検出方法

Similar Documents

Publication Publication Date Title
JP2019152924A (ja) 自己位置同定システム、車両、及び処理装置
US20230189787A1 (en) Method for autonomously weeding crops in an agricultural field
US10292321B2 (en) Agricultural work machine for avoiding anomalies
Wang et al. Automated crop yield estimation for apple orchards
US8340402B2 (en) Device and method for detecting a plant
Guerrero et al. Crop rows and weeds detection in maize fields applying a computer vision system based on geometry
Bac et al. Stem localization of sweet-pepper plants using the support wire as a visual cue
US8712144B2 (en) System and method for detecting crop rows in an agricultural field
US8855405B2 (en) System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US11935289B2 (en) Agricultural analysis robotic systems and methods thereof
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
CN109143167B (zh) 一种障碍信息获取装置及方法
Yun et al. Stereovision-based guidance line detection method for auto-guidance system on furrow irrigated fields
AU2021466764A1 (en) Vehicle row follow system
Paturkar et al. Overview of image-based 3D vision systems for agricultural applications
Bulanon et al. Feedback control of manipulator using machine vision for robotic apple harvesting
JP2020195335A (ja) 果菜収穫装置及び果菜収穫方法
US11981336B2 (en) Vehicle row follow system
WO2022188292A1 (zh) 目标检测及控制方法、系统、设备及存储介质
US11931890B2 (en) Human-robot guiding system for agricultural objects detection in unstructured and noisy environment by integrated laser and vision
Pal et al. Algorithm design for teat detection system methodology using TOF, RGBD and thermal imaging in next generation milking robot system
Rahman et al. 3-D image reconstruction techniques for plant and animal morphological analysis-a review
US10728523B1 (en) System and method for use of 3D visual sensors on mechanized irrigation machinery
Yu et al. Distance estimation method with snapshot landmark images in the robotic homing navigation
US20230403964A1 (en) Method for Estimating a Course of Plant Rows

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220823