JP2017211893A - 移動車両の走行制御装置 - Google Patents

移動車両の走行制御装置 Download PDF

Info

Publication number
JP2017211893A
JP2017211893A JP2016105835A JP2016105835A JP2017211893A JP 2017211893 A JP2017211893 A JP 2017211893A JP 2016105835 A JP2016105835 A JP 2016105835A JP 2016105835 A JP2016105835 A JP 2016105835A JP 2017211893 A JP2017211893 A JP 2017211893A
Authority
JP
Japan
Prior art keywords
image
yaw angle
template
template image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016105835A
Other languages
English (en)
Other versions
JP6709559B2 (ja
Inventor
塙 圭二
Keiji Hanawa
圭二 塙
淳一 林田
Junichi Hayashida
淳一 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Agriculture and Food Research Organization
Mitsubishi Mahindra Agricultural Machinery Co Ltd
Original Assignee
National Agriculture and Food Research Organization
Mitsubishi Mahindra Agricultural Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Agriculture and Food Research Organization, Mitsubishi Mahindra Agricultural Machinery Co Ltd filed Critical National Agriculture and Food Research Organization
Priority to JP2016105835A priority Critical patent/JP6709559B2/ja
Priority to PCT/JP2017/018146 priority patent/WO2017204009A1/ja
Publication of JP2017211893A publication Critical patent/JP2017211893A/ja
Application granted granted Critical
Publication of JP6709559B2 publication Critical patent/JP6709559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

【課題】車両前方にターゲットランプを設置することなく、車両を精度よく直進走行させることができるようにする。
【解決手段】車両前方の撮像画像内に目標領域を設定する目標領域設定部22と、目標領域の画像から異なる倍率の複数のテンプレート画像を生成するテンプレート画像生成部23と、最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と、移動車両の正面方向の位置との差異から車両のヨー角を検出するヨー角検出部25と、当該検出したヨー角に基づいて車両の操舵を制御する操舵制御部26とを備え、車両前方に設定した目標領域の画像を利用して走行制御し、このとき車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像との間で高いマッチング精度を維持し、車両を精度よく直進走行させることができるようにする。
【選択図】図2

Description

本発明は、移動車両の走行制御装置に関し、特に、移動車両を遠方の目標地点に向かって自動直進走行させるための制御を行う走行制御装置に用いて好適なものである。
農用車両による播種、畝立てなどの作業では、作業行程を直線的かつ平行に行うことが重要である。このようなニーズに対し、本出願人は、遠方に設置した目標物に向かって農用車両が自動的に直進走行するように制御する技術について特許出願をした(例えば、特許文献1,2参照)。
特許文献1に記載の直進誘導システムは、移動車両が直進走行すべき走路前方の延長線上に設置されるターゲットランプと、移動車両に搭載したカメラと、カメラからの画像を処理し走行情報を出力する画像処理部と、走行情報に基づき移動車両を制御する車両制御部および操向制御機構とを備える。画像処理部は、現フレームと前フレームおよび現フレームと前々フレームにおいて第1および第2の遠方目標部候補画素を抽出し、これらを統合した遠方目標部候補画素に対し遠方目標部の位置検出を行い、その検出結果に基づき走行情報を生成する。
特許文献2に記載の走行制御装置は、車両走行の目標となる方向に位置するターゲットランプを撮像するカメラと、撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する走行制御部と、撮像画像に基づき目標部に対する車両のヨー角を検出するヨー角検出部と、撮像画像に基づき目標走行ラインからの横偏差を算出する横偏差算出部とを備え、走行制御部は、ヨー角および横偏差に基づいて車両の走行を制御する。
しかしながら、上記特許文献1,2に記載の技術では、直進走行を行う作業行程毎に圃場の目標地点にターゲットランプを設置することが必要であり、手間がかかるという問題があった。これに対し、遠景用カメラで撮影した前方の風景画像から遠くの山や建物などの特徴点を抽出して追跡し、その特徴点の位置の変化から農用車両のヨー角の変化を算出して、直進走行を制御する技術が知られている(例えば、特許文献3参照)。
また、農用車両の前方に正面を向けたカメラを搭載し、所定距離(0.86m)を走行毎に前回の画像(基準画像)と今回の画像(比較画像)とを比較してヨー方向の変化を検出し、農用車両を直進走行させる技術も知られている(例えば、非特許文献1参照)。この非特許文献1に記載の技術では、カメラ画像中で比較処理に供する範囲は、カメラ画像の中央付近の広い範囲(面積比で18%)であることが特徴である。
特開2009−153432号公報 特開2010−200674号公報 特開平2−57109号公報
農業機械学会第62回年次大会予稿集「農業機械の自律直進走行のための画像解析(第2報)−トラクタの自律直進走行実験」 北海道大学大学院農学研究科 山崎哲、端俊一 他(2003年4月)
しかしながら、上記特許文献3に記載の技術では、目標方向の近くに都合よく特徴的な山の頂上や家屋が存在し、それらと農用車両との距離が十分に遠いなどの条件を満たす必要がある。そのため、実際に使用可能な状況が限定的になってしまうという問題があった。
また、上記非特許文献1に記載の技術では、広い範囲の画像を比較しているため、計算処理において輝度変化の大きい部分の一致が優先され、輝度変化の大きい部分に一致点が片寄る傾向を生じる。ここで、農用車両が前方に走行していく場合に、撮像画像の中央付近の領域と比べて、左右外側の領域では単位距離の走行に対して画像の位置の変化量が大きくなる。そのため、画像中の比較範囲の中で外側に近い領域に輝度変化の大きい部分が存在すると、その外側に近い領域の画像変化に引きずられてヨー方向の変化量が誤って算出される傾向となり、当初の目標とする方向に直進走行させることができないという問題があった。また、非特許文献1に記載の技術では、短い周期(0.86m走行毎)で基準画像を更新するため、更新処理に際して混入する誤差が蓄積し、大きな誤差を生じる危険があるという問題もあった。
本発明は、このような問題を解決するために成されたものであり、ターゲットランプを設置するといった面倒な作業を行うことなく、移動車両を精度よく直進走行させることができるようにすることを目的とする。
上記した課題を解決するために、本発明では、移動車両の走行方向前方の撮像画像内に、目標地点に関連付けて目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の撮像画像上の位置と、移動車両の正面方向の位置との差異から、目標地点に対する移動車両のヨー角を検出して、当該検出したヨー角に基づいて移動車両の操舵を制御するようにしている。
上記のように構成した本発明によれば、移動車両の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、移動車両の走行に伴い変化する撮像画像との比較により合致領域を検出し、合致領域の位置と、移動車両の正面方向の位置との差異から、移動車両の目標地点に対するヨー角を検出して移動車両の操舵を制御し、直進走行させることができる。
ここで、本発明では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、移動車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、移動車両のヨー角を正確に検出して、移動車両を精度よく直進走行させることができる。
本実施形態による走行制御装置を実施した農用車両の側面図である。 第1の実施形態による走行制御装置の機能構成例を示すブロック図である。 農用車両の正面方向の位置を説明するための図である。 第1の実施形態による目標領域の設定例を示す図である。 テンプレート画像生成部により生成される5枚のテンプレート画像の例を示す図である。 複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。 第1の実施形態による走行制御装置の動作例を示すフローチャートである。 目標領域に歩行者が入り込んだ状況を説明するための図である。 第2の実施形態による目標領域および周辺領域の設定例を示す図である。 第2の実施形態による走行制御装置の機能構成例を示すブロック図である。 第2の実施形態による走行制御装置の動作例を示すフローチャートである。 第2の実施形態による走行制御装置の動作例を示すフローチャートである。
(第1の実施形態)
以下、本発明の第1の実施形態を図面に基づいて説明する。図1は、第1の実施形態による走行制御装置を実施した移動車両の一形態である農用車両の側面図である。図1に示すように、農用車両1は、車両客室2、前輪3、後輪4、ステアリングホイール9およびステアリングシャフト10を含むステアリング機構、操舵駆動機構6およびブレーキ機構7を備え、農用車両1の後方には作業機8が取り付けられる。作業機8は、例えば、圃場100において播種や畝立て、耕うんなどの作業をするためのものである。
また、農用車両1は、本実施形態の走行制御装置を搭載している。本実施形態の走行制御装置は、カメラ(撮像部に相当)11、画像処理装置12およびECU(Electronic control unit)13を備えて構成される。カメラ11は、車両客室2の上部に配置され、 農用車両1の走行方向前方を撮像する。カメラ11は、撮像した画像を画像処理装置12に出力する。
画像処理部12は、カメラ11から取得した撮像画像を処理することにより、農用車両1のヨー角を検出し、ECU13に供給する。ECU13は、画像処理装置12から供給されるヨー角に基づいて、操舵駆動機構6を介して前輪3の操舵を制御する。これにより、ECU13は、前方に向かってまっすぐ直進走行するように農用車両1の走行を制御する。
ステアリング機構は、ステアリングホイール9と、ステアリングシャフト10と、当該ステアリングシャフト10の動きを前輪3の動きに変換するギヤ装置(不図示)とを有する。ステアリング機構は、ハンドルとしてのステアリングホイール9の回動を前輪3の転舵運動に変換する。ステアリングホイール9は、車両客室2内に設けられ、運転者によって回動操作される。ステアリングシャフト10は、ステアリングホイール9とともに回転するように一端がステアリングホイール9に連結されており、ステアリングホイール9の回転をギヤ装置に伝達する回転軸として機能する。
操舵駆動機構6は、舵角センサ(不図示)およびモータ(不図示)を備える。操舵駆動機構6は、モータを駆動し、ステアリング機構に転舵力を与える。舵角センサは、ステアリング機構のステアリングシャフト10やギヤ装置に設けられ、ステアリングホイール9による操舵角および操舵方向を検出する。操舵駆動機構6はECU13に接続されており、舵角センサの検出値はECU13に出力される。
ブレーキ機構7は、運転者のブレーキペダル(不図示)の操作量に応じて後輪4に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルとを有する。運転者が各ブレーキペダルを操作することで、左後輪と右後輪に対して個別に制動力を与えることができる。例えば、農用車両1を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪に制動力を与えることで、右後輪を軸として農用車両1を旋回させることができる。ブレーキ機構7はECU13に接続され、ECU13により後輪4に与える制動力が制御される。なお、農用車両1の前輪3にブレーキ機構は無くてよい。
図2は、カメラ11、画像処理装置12およびECU13を備えて構成される第1の実施形態による走行制御装置の機能構成例を示すブロック図である。図2に示すように、画像処理装置12は、その機能構成として、正面方向設定部20、画像取得部21、目標領域設定部22、テンプレート画像生成部23、記憶部24およびヨー角検出部25を備えている。また、ECU13は、その機能構成として、操舵制御部26を備えている。
画像処理装置12が備える各機能ブロック20〜25は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック20〜25は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
また、ECU13が備える操舵制御部26の機能も、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。なお、ここでは画像処理装置12とECU13とを別構成とする例を示しているが、本発明はこれに限定されない。例えば、ECU13が画像処理装置12の各機能を備える構成としてもよい。
画像取得部21は、カメラ11により撮像された画像を取得する。本実施形態では、画像取得部21は、カメラ11から撮像画像を所定の時間間隔(例えば、0.1秒毎)で取得する。
正面方向設定部20は、カメラ11により取得された撮像画像上における農用車両1の正面方向の位置を設定する。図3は、農用車両1の正面方向の位置を説明するための図である。農用車両1の正面方向の画像上の位置は、カメラ11が農用車両1の左右中心の位置で、車体に対してロール方向の傾き誤差がなく正確に取り付けられている状態では、図3に示した縦線上に存在する。その左右方向の位置、すなわちI座標ivはあらかじめ計測されて、記憶部24に記憶しておく。なお、画像上の座標は、図3のように、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする(例えば、図3の画像のサイズは横752画素、縦480画素)。
農用車両1の正面方向の位置を表すI座標ivは、例えば次のような手順で計測する。まず、農用車両1を水平で平坦な床面上に置き、前輪3と後輪4のそれぞれの左右中心の垂直下方の床面上に目印を付し、前輪下と後輪下の目印を結んだ直線を、農用車両1の中心線と見なす。この中心線を農用車両1の前方に延長し、カメラ11の視野に入る床面上に目印を付す。続いて、カメラ11の画像上で、床面上の目印の位置を計測し、このI座標をivとする。
目標領域設定部22は、画像取得部21によりカメラ11から取得された撮像画像内に目標領域を設定する。目標領域設定部22により設定された目標領域の位置情報は、記憶部24に記憶される。図4は、目標領域設定部22による目標領域の設定例を示す図である。図4に示すように、目標領域31は、複数の画素値から構成される所定サイズの矩形領域であり、運転者が撮像画像上の任意の位置に設定する。
例えば、カメラ11または画像処理装置12にモニタを設け、撮像画像上に重ねて目標領域31の表示枠を表示させ、農用車両1の直進方向前方(正面)の位置に目標領域31を自動的に設定する。続いて、運転者がカメラ11または画像処理装置12に設けた操作部により、この表示枠を任意の位置に移動、または微修正させて確定することにより、目標領域31の設定を行う。本実施形態では、圃場の目標地点を通る仮想の垂直線が、画像上の目標領域31の左右中心となるように目標領域31を設定する。すなわち、目標領域31の左右中心のI座標が、目標地点の画像上のI座標と等しくなるように、目標領域31を設定する。
目標地点とは、農用車両1が圃場で直線的な作業を行う場合において、作業行程の圃場の遠方側の終端の位置をいう。この目標地点に関連付けて目標領域31を設定する具体的な操作手順は、次の通りである。まず、農用車両1を圃場の手前側のスタート地点に進入させ、続いて、目標地点の方向に農用車両1の方向を概ね調整する。例えば、長さ100mの圃場で、農用車両1の方向を目標地点に対して左右5cm以内の精度で調整しようとすると、許容される誤差は約0.03度以内となり、農用車両1の方向の調整は手間を要す作業となる。そこで、運転者は農用車両1の方向を、目標地点に対して凡その調整を行った後、目標領域設定部22の処理を開始する。
目標領域設定部22は、まず、農用車両1の正面方向に目標領域31を自動設定する。続いて、運転者が、カメラ11または画像処理装置12に設けた操作部を操作することにより、目標領域31の左右中心のI座標が、目標地点の画像上のI座標と等しくなり、また、目標領域31の上下中心のJ座標が、地平線のJ座標と凡そ等しくなるように、目標領域31の位置を微調整し、目標領域31を設定する。自動設定の後に運転者が目標領域31を調整可能とすることで、目標領域31の設定の際に運転者は農用車両1を目標地点に対して完全に正対させる必要がなくなるので、作業負担が軽減される。
なお、目標領域31の設定を画像処理装置12が自動または半自動的に行うようにしてもよい。例えば、目標領域設定部22は、撮像画像上の地平線を検出する。具体的には、目標領域設定部22は、撮像画像の下辺から上方に数えて所定画素付近の領域で横方向に伸びる線分要素を周囲との輝度差に基づいて検出し、これを地平線として検出する。そして、検出した地平線の一部を含み、撮像画像の幅方向については記憶部24にあらかじめ記憶させた農用車両1の正面方向の画像上の位置に、所定サイズの目標領域31を自動的に設定する。この後、運転者が、カメラ11または画像処理装置12に設けた操作部を操作することにより、目標領域31の位置を微調整できるようにしてもよい。
目標領域31の設定は、農用車両1の走行制御の開始時に行う。本実施形態では、1つの作業行程を開始する際に、運転者がECU13に接続された自動走行スイッチ(不図示)をオンしたとき、走行制御装置による走行制御を開始する。運転者は1つの作業行程を終えた後、自動走行スイッチをオフし、農用車両1を操舵して方向転換し、次の作業行程を走行するための位置に農用車両1を移動させる。そして、再び自動走行スイッチをオンし、走行制御装置による走行制御を開始する。このように運転者が自動走行スイッチをオンして走行制御を開始する都度、目標領域31の設定を行う。
テンプレート画像生成部23は、目標領域設定部22により設定された目標領域の画像を等倍のテンプレート画像とするとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成し、記憶部24に記憶させる。本実施形態では、目標領域の画像(1.0倍のテンプレート画像)から1.1倍、1.2倍、1.3倍および1.4倍のテンプレート画像を生成し、合計5枚のテンプレート画像を記憶部24に記憶させる。図5は、この5枚のテンプレート画像の例を示す図である。
画像の拡大は、目標領域の画像の中心点を基準として、上下方向と左右方向に所定の倍率で拡大する。この際、拡大したテンプレート画像は、元の目標領域の画像と同じサイズとなるように、外周部分を除去してもよい。こうすることにより、計算負荷の増加を抑制することができる。
テンプレート画像は、カメラ11による撮像画像とのパターンマッチングに使われる画像である。すなわち、カメラ11より新たな撮像画像が取得されるたびに、後述するヨー角検出部25により、テンプレート画像と類似する画素値分布を持つ領域が撮像画像内から探索される。倍率の異なる5枚のテンプレート画像を生成しているのは、農用車両1が前進すると、正面方向の風景画像が次第に大きく写るようになり、目標領域と実空間上で同じ領域が、新たに撮像される撮像画像上では、拡大された状態となるからである。
すなわち、最初に設定した目標領域の画像だけをテンプレート画像として用いた場合、カメラ11により新たに撮像される撮像画像とテンプレート画像との合致度は、農用車両1が前進するに伴い、徐々に低下する。そこで、本実施形態では、図5のように、目標領域のテンプレート画像(1.0倍のテンプレート画像)に加え、1.1倍、1.2倍、1.3倍、1.4倍に拡大したテンプレート画像を生成する。そして、これら5枚のテンプレート画像と撮像画像との一致探索を並行して行うようにしている。
ヨー角検出部25は、画像取得部21によりカメラ11からの撮像画像が所定時間毎(0.1秒毎)に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出する。そして、合致領域の位置と、移動車両の正面方向の位置との差異から、農用車両1の目標地点に対するヨー角を検出する。このヨー角検出部25により検出されるヨー角は、目標地点の方向(撮像画像上の合致領域のI座標)に対して、農用車両1の正面(I座標iv)がどちらにどの程度向いているかを示す定量的な値である。
なお、テンプレート画像と類似する画素値分布を持つ合致領域の探索処理は、前回の処理時に検出された画像上の位置周辺を優先的に行うようにしてよい。前回の探索処理時から大きく位置が動くことは想定されないからである。こうすることにより、処理作業の負荷が低減され、また、処理時間を短縮することができる。
また、テンプレート画像の生成元となる目標領域のサイズは、カメラ11による撮像画像のおよそ1%前後の小さい面積に設定するのが好ましい。このように目標領域を小さくすることで、目標領域内で輝度変化の大きい部分に一致点が片寄る現象の影響が低減される。また、探索処理の計算負荷が低減される効果がある。
図6は、複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。図6において、縦軸は、テンプレート画像と撮像画像との画素値の差の絶対値の和(以下、SAD値という)を示し、横軸は走行開始後の経過時間を示している。SAD値が小さいほど、テンプレート画像と撮影画像との合致度が高いということである。
図6に示すように、走行開始直後は、1.0倍のテンプレート画像のSAD値が最も小さくなる。農用車両1が走行を開始した後は、撮像画像に写る被写体が次第に大きくなり、1.0倍のテンプレート画像と撮像画像との差異によりSAD値は増加していく。一方、1.1倍のテンプレート画像のSAD値は減少して最小となる。さらに農用車両1が走行を続けると、1.2倍や1.3倍のテンプレート画像のSAD値が、1.1倍に入れ替わって順に最小となる。
ヨー角検出部25は、自動走行スイッチをオンした後の各時刻において、5枚のテンプレート画像で探索された合致領域のうち、SAD値が最も小さいテンプレート画像により探索された合致領域を、その時刻における合致領域として採用する。
このように、刻々と拡大変化する撮像画像に対し、拡大率の異なる複数のテンプレート画像を用意することにより、良好な一致性(SAD値が小さい状態)を維持することができ、一致探索の精度が向上する。例えば、画像領域内に輝度変化が大きい部分と小さい部分とが存在する場合、一致探索の計算処理では輝度変化の大きい部分の一致が優先される。そのため、もし1.0倍のテンプレート画像だけが使われた場合に、農用車両1の前進に伴って撮像画像が拡大し、その差が大きくなってくると、撮像画像内から検出される合致領域の位置は、輝度変化が大きい部分の方向に誤差を生じる傾向となる。これに対し、本実施形態によれば、複数の拡大率のテンプレート画像が用意されているので、撮像画像の拡大率との差は限定的となり、誤差の発生を抑制することができる。
ヨー角検出部25は、以上のようにして検出した合致領域の画像上の左右位置と、農用車両1の正面方向の画像上の左右位置との差異から、農用車両1の目標地点の方向に対するヨー角を検出する。ここで、合致領域の中心点の画像上のI座標をigとすると、ヨー角Yは、図3に示した農用車両1の正面方向の画像上の位置のI座標ivと、1画素の横方向の視野角のtan値PWHとを用いて、次の式(1)のように近似的に計算される。
Y = (iv -ig)・PWH ・・・(1)
操舵制御部26は、ヨー角検出部25により検出されたヨー角に基づいて、農用車両1の操舵を制御する。すなわち、操舵制御部26は、ヨー角検出部25により検出されたヨー角に基づいて、操舵駆動機構6を介して前輪3の操舵を制御することにより、農用車両1が前方に向かってまっすぐ直進走行するように制御する。
ところで、農用車両1が前進を続けていると、最大倍率である1.4倍のテンプレート画像と撮像画像との合致度も低下してくる。図6の例では、農用車両1が走行開始から20〜25秒前進すると、1.4倍のテンプレート画像と撮像画像との合致度はピークを迎え、それ以降は合致度が低下していく。したがって、1行程の距離が長い場合、すなわち図6の場合では走行時間が25秒以上となる圃場を直進走行する場合には、1.5倍以上に拡大したテンプレート画像が必要となる。
しかしながら、テンプレート画像の拡大率を大きくすると、テンプレート画像は次第にぼやけた状態となり、撮像画像上での合致領域の位置の探索精度が低下する傾向となる。そこで、本実施形態では、テンプレート画像の拡大は1.4倍を上限とし、農用車両1が走行を開始してから一定の条件を満たしたときに、テンプレート画像生成部23がテンプレート画像の更新を行うようにする。
すなわち、テンプレート画像生成部23は、複数のテンプレート画像のSAD値をヨー角検出部25から取得する。そして、所定倍率で拡大したテンプレート画像と撮像画像内の合致領域の画像との合致度が、所定倍率未満で拡大した他のテンプレート画像と合致領域の画像との合致度より高くなった場合(SAD値が小さくなった場合)に、テンプレート画像の更新を行う。テンプレート画像の更新は、合致領域の画像を新たに1.0倍のテンプレート画像(目標領域の画像)とし、当該新たな等倍のテンプレート画像を1.1倍〜1.4倍の倍率で拡大して複数のテンプレート画像を再生成することによって行う。テンプレート画像生成部23は、再生成した5枚のテンプレート画像を記憶部24に更新記憶させる。
例えば、図6に示す例において、所定倍率を1.3倍として考えると、1.3倍に拡大したテンプレート画像と撮像画像内の合致領域の画像との差の大きさを示すSAD値は、農用車両1の走行開始から約17秒を経過すると、1.2倍のテンプレート画像のSAD値より小さくなる。つまり、その時点では、複数のテンプレート画像の中で1.3倍のテンプレート画像のSADが最小となり、合致領域の画像との合致度が最も高くなっている。
テンプレート画像生成部23は、複数のテンプレート画像の中で1.3倍のテンプレート画像のSAD値が最も小さくなっているときに、当該1.3倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像として採用し、当該新たな等倍のテンプレート画像を1.1倍〜1.4倍の倍率で拡大して複数のテンプレート画像を再生成する。このように、複数の倍率のテンプレート画像の中で合致度が最大となっているテンプレート画像を用いて更新を行うことにより、更新時における誤差(最初に設定した目標領域からの位置ずれ)の混入を抑制することができる。
なお、テンプレート画像の更新を行う倍率は任意に設定することが可能であるが、1.1倍や1.2倍では更新が頻発し、更新時に混入する誤差が累積して拡大化する恐れがあるため、好ましくない。したがって、テンプレート画像の更新を行う倍率は、1.3倍または1.4倍とするのが好ましい。このようにすれば、農用車両1の前進に伴って目標領域の撮像画像が1.3倍または1.4倍に拡大するまではテンプレート画像の更新は発生せず、更新の回数を必要最小限に留めることができるので、誤差の蓄積を抑制することができる。
ここで、テンプレート画像を更新する倍率を1.3倍とする場合、1.3倍のテンプレート画像のSAD値が他の倍率のテンプレート画像のSAD値よりも小さくなっている期間中であれば、任意のタイミングでテンプレート画像の更新を行ってよい。ただし、混入する誤差を最小化するためには、1.3倍のテンプレート画像のSAD値が極小となるタイミングでテンプレート画像の更新を行うのが最も好ましい。しかし、1.3倍のテンプレート画像のSAD値を監視していても、それがいつ極小化するかは分からない(極小化したタイミングを過ぎた後でなければ分からない)。
そこで、本実施形態では、次のような処理を行うことによって、SAD値が極小化したタイミングであると判断して、テンプレート画像の更新を行う。すなわち、テンプレート画像生成部23は、所定倍率(例えば、1.3倍)より1段低い倍率(1.2倍)のテンプレート画像に関する合致度(SAD値)と、所定倍率より1段高い倍率(1.4倍)のテンプレート画像に関する合致度(SAD値)とがほぼ等しくなるタイミングで、テンプレート画像の更新を行う。ほぼ等しくなるタイミングとは、例えばふたつのSAD値の差異が3%以内となる状態である。
図6に示される通り、所定倍率が1.1倍〜1.3倍の何れであっても、所定倍率より1段低い倍率のテンプレート画像のSAD値と、所定倍率より1段高い倍率のテンプレート画像のSAD値とがほぼ等しくなるタイミングにおいて、所定倍率のテンプレート画像のSAD値が極小化する特性を有することがわかる。したがって、例えば1.3倍のテンプレート画像のSAD値が極小化するタイミングは、1.2倍のテンプレート画像のSAD値と1.4倍のテンプレート画像のSAD値とを監視することによって、判断することが可能である。
テンプレート画像生成部23は、この「1.2倍のテンプレート画像に関するSAD値と、1.4倍のテンプレート画像に関するSAD値とがほぼ等しくなる」タイミングで、テンプレート画像の更新を行う。「ほぼ等しくなる」タイミングというのは、1.3倍のテンプレート画像のSAD値が極小化するタイミングであると見なす状態である。
このようにすれば、テンプレート画像の更新時における誤差の混入を最小化することができる。すなわち、SAD値が極小化する状態というのは、テンプレート画像の拡大率と、農用車両1の走行開始時点から走行に伴って徐々に拡大して写る撮像画像の拡大率とが略等しくなる状態と言える。上述のように、テンプレート画像の拡大率と撮像画像の拡大率とに差があると、合致領域の位置が撮像画像内の輝度変化が大きい部分に引き寄せられて、検出される合致領域の位置に誤差を生じる可能性がある。これに対し、本実施形態では、テンプレート画像の拡大率と撮像画像の拡大率とが等しい状態を判別し、そのタイミングでテンプレート画像の更新をすることで、誤差の混入を抑制することができる。
図7は、上記のように構成した第1の実施形態による走行制御装置の動作例を示すフローチャートである。図7に示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両1の正面方向の位置が正面方向設定部20により既に設定され、記憶部24に記憶されているものとする。
まず、画像処理装置12の画像取得部21は、運転者により自動走行スイッチがオンとされたか否かを判定し(ステップS1)、オンとされた場合、カメラ11から撮像画像を取得する(ステップS2)。次に、目標領域設定部22は、画像取得部21により取得された撮像画像内に目標領域を自動的に設定する(ステップS3)。続いて、目標領域設定部22は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し(ステップS4)、指示された場合には運転者の操作に従って目標領域の位置を修正する(ステップS5)。
次いで、テンプレート画像生成部23は、目標領域の画像を1.0倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率(1.1倍〜1.4倍の倍率)で拡大して複数のテンプレート画像を生成し、記憶部24に記憶させる(ステップS6)。その後、画像取得部21は、カメラ11から新たな撮像画像を取得する(ステップS7)。
画像取得部21により撮像画像が取得されると、ヨー角検出部25は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、SAD値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する(ステップS8)。そして、ヨー角検出部25は、検出した合致領域の位置と農用車両1の正面方向の位置との差異から、農用車両1の目標地点の方向に対するヨー角を検出する(ステップS9)。
さらに、操舵制御部26は、ヨー角検出部25により検出されたヨー角に基づいて、操舵駆動機構6を介して前輪3の操舵を制御する(ステップS10)。これにより、農用車両1は、ステップS3またはステップS5で設定した目標領域の方向に向かって直進走行するように制御される。
その後、テンプレート画像生成部23は、テンプレート画像の更新条件を満たすか否かを判定する(ステップS11)。テンプレート画像の更新条件とは、一例として、1.3倍のテンプレート画像のSAD値が最も小さくなる、すなわち、1.2倍のテンプレート画像のSAD値と、1.4倍のテンプレート画像のSAD値とがほぼ等しくなるという条件である。この更新条件を満たさない場合、処理はステップS14に遷移する。
一方、テンプレート画像の更新条件を満たした場合、テンプレート画像生成部23は、1.3倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像(目標領域の画像)として採用し、記憶部24に更新記憶させる(ステップS12)。
また、テンプレート画像生成部23は、記憶部24に更新記憶した新たな目標領域の画像を1.1倍〜1.4倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部24に更新記憶させる(ステップS13)。その後、画像取得部21は、運転者により自動走行スイッチがオフとされたか否かを判定し(ステップS14)、オフとされていない場合、処理はステップS7に戻り、画像取得部21が次の撮像画像をカメラ11から取得する。一方、自動走行スイッチがオフとされた場合、図7に示すフローチャートの処理は終了する。
以上詳しく説明したように、第1の実施形態では、農用車両1の走行方向前方の撮像画像内に目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、カメラ11から撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と農用車両1の正面方向の位置との差異から農用車両1のヨー角を検出して、当該検出したヨー角に基づいて農用車両1の操舵を制御するようにしている。
このように構成した第1の実施形態によれば、農用車両1の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、農用車両1の走行に伴い変化する撮像画像とのパターンマッチングにより合致領域を追跡し、合致領域の位置と農用車両1の正面方向の位置との差異から農用車両1のヨー角を検出して農用車両1の操舵を制御し、直進走行させることができる。
ここで、第1の実施形態では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、農用車両1が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、農用車両1のヨー角を正確に検出して、農用車両1を精度よく直進走行させることができる。
また、第1の実施形態では、拡大するテンプレート画像がぼやけた状態となって撮像画像との合致度が低下しないように、テンプレート画像の拡大率を一定限度までに抑え、テンプレート画像のSAD値が一定の条件を満たしたときに、テンプレート画像の更新を行うようにしている。これにより、農用車両1が前進することで撮像画像に写る被写体が徐々に大きくなるなどの変化をしても、高いマッチング精度を維持することができる。
さらに、第1の実施形態では、撮像画像とテンプレート画像との合致度が高いタイミングでテンプレート画像の更新を行うので、更新に伴う誤差の混入を抑制することができる。しかも、所定倍率以上のテンプレート画像が更新条件を満たすときに限定してテンプレート画像の更新を行うので、更新の頻度を少なくすることができ、更新時に混入する誤差が累積して拡大化することも抑制することができる。これにより、目標領域の位置に向かって農用車両1が長い距離を走行する場合でも、一貫してより正確なヨー角を検出して、農用車両1を精度よく直進走行させることができる。
(第2の実施形態)
次に、本発明の第2の実施形態を図面に基づいて説明する。第2の実施形態は、目標領域設定部22により設定した目標領域の実空間上の位置と農用車両1との間に歩行者や他車両などの障害物が入り込んだ状態でも、農用車両1の直進走行制御を継続して行うことができるようにするものである。
図8は、農用車両1の走行中に目標領域31に歩行者が入り込んだ状況の説明図である。このように、目標領域31に障害物が入り込むと、記憶部24に記憶された目標領域の画像および各拡大率のテンプレート画像と、撮像画像内の目標領域に対応する部分の画像との間に大きな差異が生じる。そのため、撮像画像内から検出される合致領域は、本来の目標領域の位置から大きな誤差を生じる、あるいは、合致領域の検出が困難となる。また、SAD値も通常時より大きな値となる。
これに対し、第2の実施形態では、図9に示すように、目標領域31の周辺に複数の周辺領域81を設定し、当該周辺領域81の画像も用いてパターンマッチングを行う。これにより、目標領域31に障害物が入って、合致領域の検出位置に大きな誤差が生じる場合には、周辺領域81を用いたパターンマッチングの結果を用いることにより、誤差が小さくなるようにしている。
図10は、第2の実施形態による走行制御装置の機能構成例を示すブロック図である。なお、この図10において、図2に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
図10に示すように、第2の実施形態における画像処理装置12は、その機能構成として、周辺領域設定部91、第2のテンプレート画像生成部92および第2のヨー角検出部93を更に備えている。また、第2の実施形態におけるECU13は、操舵制御部26に代えて操舵制御部26’を備えている。
周辺領域設定部91は、目標領域設定部22により設定された目標領域31の位置情報を用い、その周辺に周辺領域81を設定する。周辺領域設定部91により設定された周辺領域81の位置情報は、記憶部24に記憶される。設定する周辺領域81は1つでもよいが、複数設定するのが好ましい。図9に示す例では、目標領域31の左右方向で、水平線の高さの付近に14個の周辺領域81を設定している。
周辺領域81も目標領域31と同様、複数の画素値から構成される所定サイズの矩形領域である。周辺領域81のサイズは、目標領域31と同じであってもよいし、異なっていてもよい。周辺領域81の設定は、目標領域31と同様、運転者が操作部を操作することによって手動で行うようにしてもよいし、周辺領域設定部91が自動または半自動的に行うようにしてもよい。
周辺領域81の設定を周辺領域設定部91が自動的に行う場合、例えば、目標領域設定部22により設定された目標領域31に対して、あらかじめ決められた相対位置に複数の周辺領域81を設定するようにすることが可能である。あるいは、目標領域31の位置とは無関係に、あらかじめ決められた固定位置に複数の周辺領域81を設定するようにしてもよい。
第2のテンプレート画像生成部92は、周辺領域設定部91により設定された周辺領域の画像を第2のテンプレート画像として生成し、記憶部24に記憶させる。周辺領域に関しては、目標領域と異なり、拡大したテンプレート画像は生成しない。周辺領域は、撮像画像の幅方向の中心から離れた領域にも設定されるが、そういった領域では、農用車両1の前進に伴う画像の大きさや被写体の相互の位置関係の変化が大きくなる傾向となる。そこで、周辺領域に関しては、拡大したテンプレート画像をあらかじめ生成することはせずに、1秒程度の短い周期で第2のテンプレート画像を更新していくものとする。
すなわち、第2のテンプレート画像生成部92は、一定の時間間隔毎に、画像取得部21により取得される撮像画像から、周辺領域設定部91により設定された周辺領域の画像を抽出して第2のテンプレート画像として生成し、記憶部24に更新記憶させる。ここで、第2のテンプレート画像を更新する時間間隔は、目標領域から左右方向に離れた周辺領域ほど短くなるように設定するのが好ましい。例えば、目標領域に近い6個の周辺領域は1秒間隔で、目標領域から離れた8個の周辺領域は0.5秒間隔で第2のテンプレート画像を更新するといった具合である。
第2のヨー角検出部93は、画像取得部21により撮像画像が所定時間毎(例えば、0.1秒毎)に取得される都度、当該撮像画像と第2のテンプレート画像とを比較することにより、第2のテンプレート画像と合致する第2の合致領域を撮像画像内から検出し、周辺領域の設定位置と第2の合致領域の位置との変化量、あるいは、前回の処理で検出された第2の合致領域の位置と、今回の処理で検出された第2の合致領域の位置との変化量から、処理毎(0.1秒間隔)の農用車両1のヨー角の変化量を検出する。なお、図9のように複数の周辺領域を設定する場合、第2の合致領域は複数存在し、位置の変化量も複数算出される。
ここで、図9に示すように、障害物が入り込んだ目標領域31や幾つかの周辺領域81では、一致探索される合致領域の位置に大きな誤差を生じ、位置の変化量も大きくなる。これに対し、他の周辺領域81では正常な合致領域の位置が検出され、それらの位置の周辺領域81に対する変化量は概ね似た値となる。図9に記した矢印は、目標領域31および複数の周辺領域81のそれぞれについて、今回の処理で探索された合致領域および第2の合致領域の、前回の処理時に探索された位置からの左右方向と上下方向の変化量を統合し、強調して表示したものである。障害物が入り込んでいない周辺領域81では概ね右下向きの方向を示すが、障害物が入り込んだ目標領域31と周辺領域81では、他より大きな位置の変化と異なる方向を示す。
第2のヨー角検出部93は、14個の周辺領域81に関する左右方向と上下方向の位置の変化量を統計的に処理し、これらの変化量が他と大きく異なる特異的な値を除外した上で、障害物が入り込んでいない周辺領域に関する正常な変化量の平均値を算出する。そして、第2のヨー角検出部93は、この位置の変化量の平均値からヨー角の変化量を算出し、前回の処理時に検出したヨー角に加算することで、現在の農用車両1のヨー角を検出する。
操舵制御部26’は、ヨー角検出部25により検出されたヨー角または第2のヨー角検出部93により検出されたヨー角に基づいて、農用車両1の操舵を制御する。具体的には、操舵制御部26’は、ヨー角検出部25により検出されたヨー角と、第2のヨー角検出部93により検出されたヨー角との差分が閾値未満か否かを判定し、差分が閾値未満の場合は、ヨー角検出部25により検出されたヨー角に基づいて農用車両1の操舵を制御する。農用車両1の進行方向正面に近い目標領域を用いて算出されたヨー角の方が、精度が高いためである。一方、差分が閾値以上である場合は、第2のヨー角検出部93により検出されたヨー角に基づいて農用車両1の操舵を制御する。ヨー角の差分が大きいということは、目標領域に障害物が入り込んでいる可能性が高いからである。
なお、ここでは、ヨー角検出部25により検出されたヨー角と、第2のヨー角検出部93により検出されたヨー角とを比較する例について説明しているが、本発明はこれに限定されない。例えば、ヨー角を検出する前の、目標領域と合致領域との位置の変化量および周辺領域と第2の合致領域との位置の変化量(平均値)とを比較して、変化量の差分が閾値未満か否かを判定するようにしてもよい。
図11Aおよび図11Bは、上記のように構成した第2の実施形態による走行制御装置の動作例を示すフローチャートである。図11Aに示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両1の正面方向の位置が正面方向設定部20により既に設定され、記憶部24に記憶されているものとする。
まず、画像処理装置12の画像取得部21は、運転者により自動走行スイッチがオンとされたか否かを判定し(ステップS21)、オンとされた場合、カメラ11から撮像画像を取得する(ステップS22)。次に、目標領域設定部22は、画像取得部21により取得された撮像画像内に目標領域を自動的に設定する(ステップS23)。続いて、目標領域設定部22は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し(ステップS24)、指示された場合には運転者の操作に従って目標領域の位置を修正する(ステップS25)。
次いで、テンプレート画像生成部23は、目標領域の画像を1.0倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率(1.1倍〜1.4倍の倍率)で拡大して複数のテンプレート画像を生成し、記憶部24に記憶させる(ステップS26)。
また、周辺領域設定部91は、目標領域設定部22により設定された目標領域の周辺に複数の周辺領域を設定し(ステップS27)、その位置情報を記憶部24に記憶させる(ステップS28)。次いで、第2のテンプレート画像生成部92は、周辺領域設定部91により設定された周辺領域の画像を第2のテンプレート画像として生成し、記憶部24に記憶させる(ステップS29)。
その後、画像取得部21は、カメラ11から新たな撮像画像を取得する(ステップS30)。画像取得部21により撮像画像が取得されると、ヨー角検出部25は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、SAD値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する(ステップS31)。そして、ヨー角検出部25は、検出した合致領域の位置と農用車両1の正面方向の位置との差異から、農用車両1の目標地点に対するヨー角を検出する(ステップS32)。
また、第2のヨー角検出部93は、撮像画像と複数の周辺領域に関する第2のテンプレート画像とをそれぞれ比較することにより、複数の周辺領域のそれぞれについて、第2のテンプレート画像と合致する第2の合致領域を撮像画像内から検出する(ステップS33)。そして、第2のヨー角検出部93は、複数の周辺領域のそれぞれについて、周辺領域の設定位置と第2の合致領域の位置との変化量、あるいは、前回の処理で検出された第2の合致領域の位置と、今回の処理で検出された第2の合致領域の位置との変化量の平均値を算出し(ステップS34)、この変化量の平均値から、処理毎(0.1秒間隔)の農用車両1のヨー角の変化量を検出し、これを前回の処理時に検出されたヨー角に加算することで、農用車両1の現在のヨー角を検出する(ステップS35)。
次に、操舵制御部26’は、ステップS32でヨー角検出部25により検出されたヨー角と、ステップS35で第2のヨー角検出部93により検出されたヨー角との差分が閾値未満か否かを判定する(ステップS36)。ここで、差分が閾値未満の場合は、ヨー角検出部25により目標領域から検出されたヨー角を採用する(ステップS37)。一方、差分が閾値以上である場合は、第2のヨー角検出部93により周辺領域から検出されたヨー角を採用する(ステップS38)。
そして、操舵制御部26’は、ステップS37またはステップS38で採用したヨー角に基づいて、操舵駆動機構6を介して前輪3の操舵を制御する(ステップS39)。これにより、農用車両1は、ステップS23またはステップS25で設定した目標領域の方向に向かって直進走行するように制御される。
その後、テンプレート画像生成部23は、目標領域に関するテンプレート画像の更新条件を満たすか否かを判定する(ステップS40)。目標領域に関するテンプレート画像の更新条件とは、一例として、1.3倍のテンプレート画像のSAD値が最も小さくなる、すなわち、1.2倍のテンプレート画像のSAD値と、1.4倍のテンプレート画像のSAD値とがほぼ等しくなるという条件である。
ここで、目標領域に関するテンプレート画像の更新条件を満たさない場合、処理はステップS43に遷移する。一方、目標領域に関するテンプレート画像の更新条件を満たした場合、テンプレート画像生成部23は、1.3倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像(目標領域の画像)として採用し、記憶部24に更新記憶させる(ステップS41)。
また、テンプレート画像生成部23は、記憶部24に更新記憶した新たな目標領域の画像を1.1倍〜1.4倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部24に更新記憶させる(ステップS42)。その後、処理はステップS45に遷移する。
ステップS43において、第2のテンプレート画像生成部92は、周辺領域に関する第2のテンプレート画像の更新条件を満たすか否かを判定する。周辺領域に関する第2のテンプレート画像の更新条件とは、前回の更新時から所定時間が経過したという条件であり、それぞれの周辺領域ごとに判断される。この更新条件を満たさない場合、処理はステップS45に遷移する。
一方、周辺領域に関する第2のテンプレート画像の更新条件を満たした場合、第2のテンプレート画像生成部92は、ステップS27で周辺領域設定部91により設定された周辺領域の画像を撮像画像から改めて抽出して第2のテンプレート画像として生成し、記憶部24に更新記憶させる(ステップS44)。また、記憶部24に記憶した周辺領域の位置情報も更新する。
次に、ステップS45において、画像取得部21は、運転者により自動走行スイッチがオフとされたか否かを判定する。ここで、自動走行スイッチがオフとされていない場合、処理はステップS30に戻り、画像取得部21が次の撮像画像をカメラ11から取得する。一方、自動走行スイッチがオフとされた場合、図11Aおよび図11Bに示すフローチャートの処理は終了する。
なお、図11Aおよび図11Bに示したフローチャートでは、ステップS23〜S26で目標領域に関する処理を行った後にステップS27〜S29で周辺領域に関する処理を行っているが、処理手順はこれに限定されない。少なくとも目標領域の設定は周辺領域の設定に先行する必要があるが、それ以降は、周辺領域に関する処理を目標領域に関する処理に先行して行ってもよいし、同時に行うようにしてもよい。同様に、ステップS31〜S32における目標領域に関する処理と、ステップS33〜S35における周辺領域に関する処理は、どちらを先行して行ってもよし、同時に行ってもよい。
以上詳しく説明したように、第2の実施形態では、目標領域の他に周辺領域も設定し、それぞれの領域においてパターンマッチングにより農用車両1のヨー角を検出し、目標領域または周辺領域の何れかを利用して検出したヨー角に基づいて農用車両1の操舵を制御するようにしている。これにより、目標領域の位置に障害物が入り込んだ状態でも、農用車両1の直進走行制御を継続して行うことができる。
なお、上記第1および第2の実施形態では、1.0倍、1.1倍、1.2倍、1.3倍、1.4倍の5枚のテンプレート画像を生成する例について説明したが、拡大率も枚数もこれに限定されるものではない。例えば、圃場の広さや農用車両1の走行速度等に応じて、テンプレート画像の拡大率や枚数を任意に設定できるようにしてもよい。
また、上記第1および第2の実施形態では、1.2倍のテンプレート画像に関するSAD値と、1.4倍のテンプレート画像に関するSAD値とを監視し、両者のSAD値がほぼ等しくなるタイミングで、テンプレート画像の更新を行う例について説明したが、本発明はこれに限定されない。例えば、1.3倍のテンプレート画像に関するSAD値を監視し、当該SAD値が極小化したことを検出した直後のタイミングで、テンプレート画像の更新を行うようにしてもよい。
また、上記第1および第2の実施形態では、各作業行程を開始する際に運転者が自動走行スイッチをオンする都度、目標領域を設定して直進走行制御を行う例について説明したが、本発明はこれに限定されない。例えば、1行程目については上記実施形態の直進走行制御を行い、次行程以降は他の手段を用いて、前行程の作業跡などに追従走行を行い、作業を継続して実施するようにしてもよい。
また、上記第1および第2の実施形態では、本発明を農用車両1の走行制御に適用する例について説明したが、適用例はこれに限定されない。例えば、農業分野だけでなく、土木・建設分野での作業車両の走行制御に適用することも可能である。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
1 農用車両(移動車両)
11 カメラ(撮像部)
12 画像処理装置
13 ECU
20 正面方向設定部
21 画像取得部
22 目標領域設定部
23 テンプレート画像生成部
24 記憶部
25 ヨー角検出部
26,26’ 操舵制御部
91 周辺領域設定部
92 第2のテンプレート画像生成部
93 第2のヨー角検出部

Claims (7)

  1. 移動車両の走行方向前方を撮像する撮像部と、
    上記撮像部により取得された撮像画像上における上記移動車両の正面方向の位置を設定する正面方向設定部と、
    上記撮像部により取得された撮像画像内に、目標地点に関連付けて目標領域を設定する目標領域設定部と、
    上記目標領域設定部により設定された上記目標領域の画像を等倍のテンプレート画像として生成するとともに、上記目標領域の画像を異なる倍率で拡大して複数のテンプレート画像を生成して記憶するテンプレート画像生成部と、
    上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記複数のテンプレート画像とを比較することにより、上記複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を上記撮像画像内から検出し、上記合致領域の撮像画像上の位置と上記移動車両の正面方向の撮像画像上の位置との差異から、上記目標地点に対する上記移動車両のヨー角を検出するヨー角検出部と、
    上記ヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御する操舵制御部とを備えたことを特徴とする移動車両の走行制御装置。
  2. 上記テンプレート画像生成部は、上記複数のテンプレート画像のうち所定倍率で拡大したテンプレート画像と上記撮像画像内の上記合致領域の画像との合致度が、上記所定倍率未満で拡大した他のテンプレート画像と上記合致領域の画像との合致度より高くなった場合、上記合致領域の画像を新たに等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項1に記載の移動車両の走行制御装置。
  3. 上記テンプレート画像生成部は、上記所定倍率より1段低い倍率のテンプレート画像に関する合致度と、上記所定倍率より1段高い倍率のテンプレート画像に関する合致度とがほぼ等しくなるタイミングで、上記所定倍率のテンプレート画像と合致する上記合致領域の画像を上記新たな等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項2に記載の移動車両の走行制御装置。
  4. 上記目標領域設定部により設定された上記目標領域の周辺に周辺領域を設定する周辺領域設定部と、
    上記周辺領域設定部により設定された上記周辺領域の画像を第2のテンプレート画像として生成し記憶する第2のテンプレート画像生成部と、
    上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記第2のテンプレート画像とを比較することにより、上記第2のテンプレート画像と合致する第2の合致領域を上記撮像画像内から検出し、上記周辺領域と上記第2の合致領域との位置の変化量、あるいは、前回の処理で検出された上記第2の合致領域の位置と、今回の処理で検出された上記第2の合致領域の位置との変化量から上記移動車両のヨー角の変化量を検出し、これに前回の処理時に検出されたヨー角に加算することで、現在のヨー角を検出する第2のヨー角検出部と、
    上記操舵制御部は、上記ヨー角検出部により検出されたヨー角または上記第2のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項1〜3の何れか1項に記載の移動車両の走行制御装置。
  5. 上記操舵制御部は、上記ヨー角検出部により検出されたヨー角と上記第2のヨー角検出部により検出されたヨー角との差分が閾値未満か否かを判定し、上記差分が閾値未満の場合は上記ヨー角検出部により検出されたヨー角に基づいて、上記差分が閾値以上の場合は上記第2のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項4に記載の移動車両の走行制御装置。
  6. 上記第2のテンプレート画像生成部は、一定の時間間隔毎に、上記撮像部により取得される上記撮像画像から、上記周辺領域設定部により設定された上記周辺領域の画像を上記第2のテンプレート画像として生成し更新記憶することを特徴とする請求項4または5に記載の移動車両の走行制御装置。
  7. 上記周辺領域設定部は、上記目標領域の周辺に複数の周辺領域を設定し、
    上記第2のテンプレート画像生成部が上記第2のテンプレート画像を生成して更新記憶する時間間隔は、上記目標領域から離れた周辺領域ほど短くなるように設定されていることを特徴とする請求項6に記載の移動車両の走行制御装置。
JP2016105835A 2016-05-27 2016-05-27 移動車両の走行制御装置 Active JP6709559B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016105835A JP6709559B2 (ja) 2016-05-27 2016-05-27 移動車両の走行制御装置
PCT/JP2017/018146 WO2017204009A1 (ja) 2016-05-27 2017-05-15 移動車両の走行制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016105835A JP6709559B2 (ja) 2016-05-27 2016-05-27 移動車両の走行制御装置

Publications (2)

Publication Number Publication Date
JP2017211893A true JP2017211893A (ja) 2017-11-30
JP6709559B2 JP6709559B2 (ja) 2020-06-17

Family

ID=60412776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105835A Active JP6709559B2 (ja) 2016-05-27 2016-05-27 移動車両の走行制御装置

Country Status (2)

Country Link
JP (1) JP6709559B2 (ja)
WO (1) WO2017204009A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186472A (zh) * 2019-05-23 2019-08-30 中电工业互联网有限公司 车辆偏航检测方法、计算机设备、存储介质及车辆系统
KR20210157043A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
JP2022027569A (ja) * 2020-07-29 2022-02-10 ネイバーラボス コーポレーション ロボット遠隔制御方法及びシステム
US12001205B2 (en) 2020-07-29 2024-06-04 Naver Labs Corporation Remote control method and system for robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4769700A (en) * 1981-11-20 1988-09-06 Diffracto Ltd. Robot tractors
JPH0257109A (ja) * 1988-08-19 1990-02-26 Yanmar Agricult Equip Co Ltd 農作業機における自動燥舵制御装置
JP2002296010A (ja) * 2001-03-29 2002-10-09 Fujitsu Ltd 画像を用いた自己位置同定方法
JP2009153432A (ja) * 2007-12-26 2009-07-16 National Agriculture & Food Research Organization 移動車両の直進誘導システム
JP2010200674A (ja) * 2009-03-03 2010-09-16 National Agriculture & Food Research Organization 走行制御装置
JP2013201958A (ja) * 2012-03-28 2013-10-07 National Agriculture & Food Research Organization 走行制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4769700A (en) * 1981-11-20 1988-09-06 Diffracto Ltd. Robot tractors
JPH0257109A (ja) * 1988-08-19 1990-02-26 Yanmar Agricult Equip Co Ltd 農作業機における自動燥舵制御装置
JP2002296010A (ja) * 2001-03-29 2002-10-09 Fujitsu Ltd 画像を用いた自己位置同定方法
JP2009153432A (ja) * 2007-12-26 2009-07-16 National Agriculture & Food Research Organization 移動車両の直進誘導システム
JP2010200674A (ja) * 2009-03-03 2010-09-16 National Agriculture & Food Research Organization 走行制御装置
JP2013201958A (ja) * 2012-03-28 2013-10-07 National Agriculture & Food Research Organization 走行制御装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186472A (zh) * 2019-05-23 2019-08-30 中电工业互联网有限公司 车辆偏航检测方法、计算机设备、存储介质及车辆系统
CN110186472B (zh) * 2019-05-23 2021-03-23 中电工业互联网有限公司 车辆偏航检测方法、计算机设备、存储介质及车辆系统
KR20210157043A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
KR102445673B1 (ko) * 2020-06-19 2022-09-22 대한민국 자율 주행 경로의 인식율을 높이기 위한 자율 주행 농기계 장치 및 그 동작 방법
JP2022027569A (ja) * 2020-07-29 2022-02-10 ネイバーラボス コーポレーション ロボット遠隔制御方法及びシステム
JP7213924B2 (ja) 2020-07-29 2023-01-27 ネイバーラボス コーポレーション ロボット遠隔制御方法及びシステム
US12001205B2 (en) 2020-07-29 2024-06-04 Naver Labs Corporation Remote control method and system for robot

Also Published As

Publication number Publication date
JP6709559B2 (ja) 2020-06-17
WO2017204009A1 (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6587172B2 (ja) 操舵制御装置および旋回状態推定方法
JP5952611B2 (ja) 走行制御装置
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
WO2014199929A1 (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
AU2015234395A1 (en) Real-time range map generation
CN104854640A (zh) 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
US10753052B2 (en) Self-propelled milling machine, as well as method for controlling a self-propelled milling machine
JP2016115305A (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP2008021161A (ja) 走行状態判定装置
JP5328427B2 (ja) 走行制御装置
WO2017204009A1 (ja) 移動車両の走行制御装置
JP2010208358A (ja) 駐車支援装置
KR20140144905A (ko) 주차지원시스템
WO2015111417A1 (ja) 運転支援装置、および運転支援方法
EP3547677B1 (en) Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
US10266114B2 (en) Image generating device and image generating method
JP6782895B2 (ja) 車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法
JP2013052754A (ja) 駐車支援装置
JP2009071659A (ja) 駐車支援装置
JP5974718B2 (ja) 車両走行支援装置及び車両走行支援方法
JP3956817B2 (ja) 変位データ抽出方法及び物体検出装置
JP2005286577A (ja) 撮像装置、表示方法、および車両
KR20210069816A (ko) 부착형 농작업 경로 인식 장치
JP5083137B2 (ja) 運転支援装置
KR101598193B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200514

R150 Certificate of patent or registration of utility model

Ref document number: 6709559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250