JP2017211893A - 移動車両の走行制御装置 - Google Patents

Abstract

【課題】車両前方にターゲットランプを設置することなく、車両を精度よく直進走行させることができるようにする。
【解決手段】車両前方の撮像画像内に目標領域を設定する目標領域設定部２２と、目標領域の画像から異なる倍率の複数のテンプレート画像を生成するテンプレート画像生成部２３と、最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と、移動車両の正面方向の位置との差異から車両のヨー角を検出するヨー角検出部２５と、当該検出したヨー角に基づいて車両の操舵を制御する操舵制御部２６とを備え、車両前方に設定した目標領域の画像を利用して走行制御し、このとき車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像との間で高いマッチング精度を維持し、車両を精度よく直進走行させることができるようにする。
【選択図】図２

Description

本発明は、移動車両の走行制御装置に関し、特に、移動車両を遠方の目標地点に向かって自動直進走行させるための制御を行う走行制御装置に用いて好適なものである。

農用車両による播種、畝立てなどの作業では、作業行程を直線的かつ平行に行うことが重要である。このようなニーズに対し、本出願人は、遠方に設置した目標物に向かって農用車両が自動的に直進走行するように制御する技術について特許出願をした（例えば、特許文献１，２参照）。

特許文献１に記載の直進誘導システムは、移動車両が直進走行すべき走路前方の延長線上に設置されるターゲットランプと、移動車両に搭載したカメラと、カメラからの画像を処理し走行情報を出力する画像処理部と、走行情報に基づき移動車両を制御する車両制御部および操向制御機構とを備える。画像処理部は、現フレームと前フレームおよび現フレームと前々フレームにおいて第１および第２の遠方目標部候補画素を抽出し、これらを統合した遠方目標部候補画素に対し遠方目標部の位置検出を行い、その検出結果に基づき走行情報を生成する。

特許文献２に記載の走行制御装置は、車両走行の目標となる方向に位置するターゲットランプを撮像するカメラと、撮像画像に含まれる目標部画像の位置と車両の初期位置との関係で定まる目標走行ラインを走行するように車両の走行を制御する走行制御部と、撮像画像に基づき目標部に対する車両のヨー角を検出するヨー角検出部と、撮像画像に基づき目標走行ラインからの横偏差を算出する横偏差算出部とを備え、走行制御部は、ヨー角および横偏差に基づいて車両の走行を制御する。

しかしながら、上記特許文献１，２に記載の技術では、直進走行を行う作業行程毎に圃場の目標地点にターゲットランプを設置することが必要であり、手間がかかるという問題があった。これに対し、遠景用カメラで撮影した前方の風景画像から遠くの山や建物などの特徴点を抽出して追跡し、その特徴点の位置の変化から農用車両のヨー角の変化を算出して、直進走行を制御する技術が知られている（例えば、特許文献３参照）。

また、農用車両の前方に正面を向けたカメラを搭載し、所定距離（０．８６ｍ）を走行毎に前回の画像（基準画像）と今回の画像（比較画像）とを比較してヨー方向の変化を検出し、農用車両を直進走行させる技術も知られている（例えば、非特許文献１参照）。この非特許文献１に記載の技術では、カメラ画像中で比較処理に供する範囲は、カメラ画像の中央付近の広い範囲（面積比で１８％)であることが特徴である。

特開２００９−１５３４３２号公報 特開２０１０−２００６７４号公報 特開平２−５７１０９号公報

農業機械学会第６２回年次大会予稿集「農業機械の自律直進走行のための画像解析（第２報）−トラクタの自律直進走行実験」 北海道大学大学院農学研究科 山崎哲、端俊一 他（２００３年４月）

しかしながら、上記特許文献３に記載の技術では、目標方向の近くに都合よく特徴的な山の頂上や家屋が存在し、それらと農用車両との距離が十分に遠いなどの条件を満たす必要がある。そのため、実際に使用可能な状況が限定的になってしまうという問題があった。

また、上記非特許文献１に記載の技術では、広い範囲の画像を比較しているため、計算処理において輝度変化の大きい部分の一致が優先され、輝度変化の大きい部分に一致点が片寄る傾向を生じる。ここで、農用車両が前方に走行していく場合に、撮像画像の中央付近の領域と比べて、左右外側の領域では単位距離の走行に対して画像の位置の変化量が大きくなる。そのため、画像中の比較範囲の中で外側に近い領域に輝度変化の大きい部分が存在すると、その外側に近い領域の画像変化に引きずられてヨー方向の変化量が誤って算出される傾向となり、当初の目標とする方向に直進走行させることができないという問題があった。また、非特許文献１に記載の技術では、短い周期（０．８６ｍ走行毎）で基準画像を更新するため、更新処理に際して混入する誤差が蓄積し、大きな誤差を生じる危険があるという問題もあった。

本発明は、このような問題を解決するために成されたものであり、ターゲットランプを設置するといった面倒な作業を行うことなく、移動車両を精度よく直進走行させることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、移動車両の走行方向前方の撮像画像内に、目標地点に関連付けて目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の撮像画像上の位置と、移動車両の正面方向の位置との差異から、目標地点に対する移動車両のヨー角を検出して、当該検出したヨー角に基づいて移動車両の操舵を制御するようにしている。

上記のように構成した本発明によれば、移動車両の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、移動車両の走行に伴い変化する撮像画像との比較により合致領域を検出し、合致領域の位置と、移動車両の正面方向の位置との差異から、移動車両の目標地点に対するヨー角を検出して移動車両の操舵を制御し、直進走行させることができる。

ここで、本発明では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、移動車両が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、移動車両のヨー角を正確に検出して、移動車両を精度よく直進走行させることができる。

本実施形態による走行制御装置を実施した農用車両の側面図である。 第１の実施形態による走行制御装置の機能構成例を示すブロック図である。 農用車両の正面方向の位置を説明するための図である。 第１の実施形態による目標領域の設定例を示す図である。 テンプレート画像生成部により生成される５枚のテンプレート画像の例を示す図である。 複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。 第１の実施形態による走行制御装置の動作例を示すフローチャートである。 目標領域に歩行者が入り込んだ状況を説明するための図である。 第２の実施形態による目標領域および周辺領域の設定例を示す図である。 第２の実施形態による走行制御装置の機能構成例を示すブロック図である。 第２の実施形態による走行制御装置の動作例を示すフローチャートである。 第２の実施形態による走行制御装置の動作例を示すフローチャートである。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による走行制御装置を実施した移動車両の一形態である農用車両の側面図である。図１に示すように、農用車両１は、車両客室２、前輪３、後輪４、ステアリングホイール９およびステアリングシャフト１０を含むステアリング機構、操舵駆動機構６およびブレーキ機構７を備え、農用車両１の後方には作業機８が取り付けられる。作業機８は、例えば、圃場１００において播種や畝立て、耕うんなどの作業をするためのものである。

また、農用車両１は、本実施形態の走行制御装置を搭載している。本実施形態の走行制御装置は、カメラ（撮像部に相当）１１、画像処理装置１２およびＥＣＵ（Electronic control unit）１３を備えて構成される。カメラ１１は、車両客室２の上部に配置され、 農用車両１の走行方向前方を撮像する。カメラ１１は、撮像した画像を画像処理装置１２に出力する。

画像処理部１２は、カメラ１１から取得した撮像画像を処理することにより、農用車両１のヨー角を検出し、ＥＣＵ１３に供給する。ＥＣＵ１３は、画像処理装置１２から供給されるヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する。これにより、ＥＣＵ１３は、前方に向かってまっすぐ直進走行するように農用車両１の走行を制御する。

ステアリング機構は、ステアリングホイール９と、ステアリングシャフト１０と、当該ステアリングシャフト１０の動きを前輪３の動きに変換するギヤ装置（不図示）とを有する。ステアリング機構は、ハンドルとしてのステアリングホイール９の回動を前輪３の転舵運動に変換する。ステアリングホイール９は、車両客室２内に設けられ、運転者によって回動操作される。ステアリングシャフト１０は、ステアリングホイール９とともに回転するように一端がステアリングホイール９に連結されており、ステアリングホイール９の回転をギヤ装置に伝達する回転軸として機能する。

操舵駆動機構６は、舵角センサ（不図示）およびモータ（不図示）を備える。操舵駆動機構６は、モータを駆動し、ステアリング機構に転舵力を与える。舵角センサは、ステアリング機構のステアリングシャフト１０やギヤ装置に設けられ、ステアリングホイール９による操舵角および操舵方向を検出する。操舵駆動機構６はＥＣＵ１３に接続されており、舵角センサの検出値はＥＣＵ１３に出力される。

ブレーキ機構７は、運転者のブレーキペダル（不図示）の操作量に応じて後輪４に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルとを有する。運転者が各ブレーキペダルを操作することで、左後輪と右後輪に対して個別に制動力を与えることができる。例えば、農用車両１を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪に制動力を与えることで、右後輪を軸として農用車両１を旋回させることができる。ブレーキ機構７はＥＣＵ１３に接続され、ＥＣＵ１３により後輪４に与える制動力が制御される。なお、農用車両１の前輪３にブレーキ機構は無くてよい。

図２は、カメラ１１、画像処理装置１２およびＥＣＵ１３を備えて構成される第１の実施形態による走行制御装置の機能構成例を示すブロック図である。図２に示すように、画像処理装置１２は、その機能構成として、正面方向設定部２０、画像取得部２１、目標領域設定部２２、テンプレート画像生成部２３、記憶部２４およびヨー角検出部２５を備えている。また、ＥＣＵ１３は、その機能構成として、操舵制御部２６を備えている。

画像処理装置１２が備える各機能ブロック２０〜２５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２０〜２５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

また、ＥＣＵ１３が備える操舵制御部２６の機能も、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。なお、ここでは画像処理装置１２とＥＣＵ１３とを別構成とする例を示しているが、本発明はこれに限定されない。例えば、ＥＣＵ１３が画像処理装置１２の各機能を備える構成としてもよい。

画像取得部２１は、カメラ１１により撮像された画像を取得する。本実施形態では、画像取得部２１は、カメラ１１から撮像画像を所定の時間間隔（例えば、０．１秒毎）で取得する。

正面方向設定部２０は、カメラ１１により取得された撮像画像上における農用車両１の正面方向の位置を設定する。図３は、農用車両１の正面方向の位置を説明するための図である。農用車両１の正面方向の画像上の位置は、カメラ１１が農用車両１の左右中心の位置で、車体に対してロール方向の傾き誤差がなく正確に取り付けられている状態では、図３に示した縦線上に存在する。その左右方向の位置、すなわちI座標ivはあらかじめ計測されて、記憶部２４に記憶しておく。なお、画像上の座標は、図３のように、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする（例えば、図３の画像のサイズは横７５２画素、縦４８０画素）。

農用車両１の正面方向の位置を表すＩ座標ivは、例えば次のような手順で計測する。まず、農用車両１を水平で平坦な床面上に置き、前輪３と後輪４のそれぞれの左右中心の垂直下方の床面上に目印を付し、前輪下と後輪下の目印を結んだ直線を、農用車両１の中心線と見なす。この中心線を農用車両１の前方に延長し、カメラ１１の視野に入る床面上に目印を付す。続いて、カメラ１１の画像上で、床面上の目印の位置を計測し、このI座標をivとする。

目標領域設定部２２は、画像取得部２１によりカメラ１１から取得された撮像画像内に目標領域を設定する。目標領域設定部２２により設定された目標領域の位置情報は、記憶部２４に記憶される。図４は、目標領域設定部２２による目標領域の設定例を示す図である。図４に示すように、目標領域３１は、複数の画素値から構成される所定サイズの矩形領域であり、運転者が撮像画像上の任意の位置に設定する。

例えば、カメラ１１または画像処理装置１２にモニタを設け、撮像画像上に重ねて目標領域３１の表示枠を表示させ、農用車両１の直進方向前方（正面）の位置に目標領域３１を自動的に設定する。続いて、運転者がカメラ１１または画像処理装置１２に設けた操作部により、この表示枠を任意の位置に移動、または微修正させて確定することにより、目標領域３１の設定を行う。本実施形態では、圃場の目標地点を通る仮想の垂直線が、画像上の目標領域３１の左右中心となるように目標領域３１を設定する。すなわち、目標領域３１の左右中心のＩ座標が、目標地点の画像上のI座標と等しくなるように、目標領域３１を設定する。

目標地点とは、農用車両１が圃場で直線的な作業を行う場合において、作業行程の圃場の遠方側の終端の位置をいう。この目標地点に関連付けて目標領域３１を設定する具体的な操作手順は、次の通りである。まず、農用車両１を圃場の手前側のスタート地点に進入させ、続いて、目標地点の方向に農用車両１の方向を概ね調整する。例えば、長さ１００ｍの圃場で、農用車両１の方向を目標地点に対して左右５ｃｍ以内の精度で調整しようとすると、許容される誤差は約０．０３度以内となり、農用車両１の方向の調整は手間を要す作業となる。そこで、運転者は農用車両１の方向を、目標地点に対して凡その調整を行った後、目標領域設定部２２の処理を開始する。

目標領域設定部２２は、まず、農用車両１の正面方向に目標領域３１を自動設定する。続いて、運転者が、カメラ１１または画像処理装置１２に設けた操作部を操作することにより、目標領域３１の左右中心のＩ座標が、目標地点の画像上のＩ座標と等しくなり、また、目標領域３１の上下中心のＪ座標が、地平線のＪ座標と凡そ等しくなるように、目標領域３１の位置を微調整し、目標領域３１を設定する。自動設定の後に運転者が目標領域３１を調整可能とすることで、目標領域３１の設定の際に運転者は農用車両１を目標地点に対して完全に正対させる必要がなくなるので、作業負担が軽減される。

なお、目標領域３１の設定を画像処理装置１２が自動または半自動的に行うようにしてもよい。例えば、目標領域設定部２２は、撮像画像上の地平線を検出する。具体的には、目標領域設定部２２は、撮像画像の下辺から上方に数えて所定画素付近の領域で横方向に伸びる線分要素を周囲との輝度差に基づいて検出し、これを地平線として検出する。そして、検出した地平線の一部を含み、撮像画像の幅方向については記憶部２４にあらかじめ記憶させた農用車両１の正面方向の画像上の位置に、所定サイズの目標領域３１を自動的に設定する。この後、運転者が、カメラ１１または画像処理装置１２に設けた操作部を操作することにより、目標領域３１の位置を微調整できるようにしてもよい。

目標領域３１の設定は、農用車両１の走行制御の開始時に行う。本実施形態では、１つの作業行程を開始する際に、運転者がＥＣＵ１３に接続された自動走行スイッチ（不図示）をオンしたとき、走行制御装置による走行制御を開始する。運転者は１つの作業行程を終えた後、自動走行スイッチをオフし、農用車両１を操舵して方向転換し、次の作業行程を走行するための位置に農用車両１を移動させる。そして、再び自動走行スイッチをオンし、走行制御装置による走行制御を開始する。このように運転者が自動走行スイッチをオンして走行制御を開始する都度、目標領域３１の設定を行う。

テンプレート画像生成部２３は、目標領域設定部２２により設定された目標領域の画像を等倍のテンプレート画像とするとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる。本実施形態では、目標領域の画像（１．０倍のテンプレート画像）から１．１倍、１．２倍、１．３倍および１．４倍のテンプレート画像を生成し、合計５枚のテンプレート画像を記憶部２４に記憶させる。図５は、この５枚のテンプレート画像の例を示す図である。

画像の拡大は、目標領域の画像の中心点を基準として、上下方向と左右方向に所定の倍率で拡大する。この際、拡大したテンプレート画像は、元の目標領域の画像と同じサイズとなるように、外周部分を除去してもよい。こうすることにより、計算負荷の増加を抑制することができる。

テンプレート画像は、カメラ１１による撮像画像とのパターンマッチングに使われる画像である。すなわち、カメラ１１より新たな撮像画像が取得されるたびに、後述するヨー角検出部２５により、テンプレート画像と類似する画素値分布を持つ領域が撮像画像内から探索される。倍率の異なる５枚のテンプレート画像を生成しているのは、農用車両１が前進すると、正面方向の風景画像が次第に大きく写るようになり、目標領域と実空間上で同じ領域が、新たに撮像される撮像画像上では、拡大された状態となるからである。

すなわち、最初に設定した目標領域の画像だけをテンプレート画像として用いた場合、カメラ１１により新たに撮像される撮像画像とテンプレート画像との合致度は、農用車両１が前進するに伴い、徐々に低下する。そこで、本実施形態では、図５のように、目標領域のテンプレート画像（１．０倍のテンプレート画像）に加え、１．１倍、１．２倍、１．３倍、１．４倍に拡大したテンプレート画像を生成する。そして、これら５枚のテンプレート画像と撮像画像との一致探索を並行して行うようにしている。

ヨー角検出部２５は、画像取得部２１によりカメラ１１からの撮像画像が所定時間毎（０．１秒毎）に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出する。そして、合致領域の位置と、移動車両の正面方向の位置との差異から、農用車両１の目標地点に対するヨー角を検出する。このヨー角検出部２５により検出されるヨー角は、目標地点の方向（撮像画像上の合致領域のI座標）に対して、農用車両１の正面（I座標iv）がどちらにどの程度向いているかを示す定量的な値である。

なお、テンプレート画像と類似する画素値分布を持つ合致領域の探索処理は、前回の処理時に検出された画像上の位置周辺を優先的に行うようにしてよい。前回の探索処理時から大きく位置が動くことは想定されないからである。こうすることにより、処理作業の負荷が低減され、また、処理時間を短縮することができる。

また、テンプレート画像の生成元となる目標領域のサイズは、カメラ１１による撮像画像のおよそ１％前後の小さい面積に設定するのが好ましい。このように目標領域を小さくすることで、目標領域内で輝度変化の大きい部分に一致点が片寄る現象の影響が低減される。また、探索処理の計算負荷が低減される効果がある。

図６は、複数のテンプレート画像と撮像画像との合致度の計算結果の例を示す図である。図６において、縦軸は、テンプレート画像と撮像画像との画素値の差の絶対値の和（以下、ＳＡＤ値という）を示し、横軸は走行開始後の経過時間を示している。ＳＡＤ値が小さいほど、テンプレート画像と撮影画像との合致度が高いということである。

図６に示すように、走行開始直後は、１．０倍のテンプレート画像のＳＡＤ値が最も小さくなる。農用車両１が走行を開始した後は、撮像画像に写る被写体が次第に大きくなり、１．０倍のテンプレート画像と撮像画像との差異によりＳＡＤ値は増加していく。一方、１．１倍のテンプレート画像のＳＡＤ値は減少して最小となる。さらに農用車両１が走行を続けると、１．２倍や１．３倍のテンプレート画像のＳＡＤ値が、１．１倍に入れ替わって順に最小となる。

ヨー角検出部２５は、自動走行スイッチをオンした後の各時刻において、５枚のテンプレート画像で探索された合致領域のうち、ＳＡＤ値が最も小さいテンプレート画像により探索された合致領域を、その時刻における合致領域として採用する。

このように、刻々と拡大変化する撮像画像に対し、拡大率の異なる複数のテンプレート画像を用意することにより、良好な一致性（ＳＡＤ値が小さい状態）を維持することができ、一致探索の精度が向上する。例えば、画像領域内に輝度変化が大きい部分と小さい部分とが存在する場合、一致探索の計算処理では輝度変化の大きい部分の一致が優先される。そのため、もし１．０倍のテンプレート画像だけが使われた場合に、農用車両１の前進に伴って撮像画像が拡大し、その差が大きくなってくると、撮像画像内から検出される合致領域の位置は、輝度変化が大きい部分の方向に誤差を生じる傾向となる。これに対し、本実施形態によれば、複数の拡大率のテンプレート画像が用意されているので、撮像画像の拡大率との差は限定的となり、誤差の発生を抑制することができる。

ヨー角検出部２５は、以上のようにして検出した合致領域の画像上の左右位置と、農用車両１の正面方向の画像上の左右位置との差異から、農用車両１の目標地点の方向に対するヨー角を検出する。ここで、合致領域の中心点の画像上のI座標をigとすると、ヨー角Ｙは、図３に示した農用車両１の正面方向の画像上の位置のI座標ivと、１画素の横方向の視野角のtan値ＰＷＨとを用いて、次の式（１）のように近似的に計算される。
Ｙ = (iv -ig)・ＰＷＨ ・・・（１）

操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、農用車両１の操舵を制御する。すなわち、操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御することにより、農用車両１が前方に向かってまっすぐ直進走行するように制御する。

ところで、農用車両１が前進を続けていると、最大倍率である１．４倍のテンプレート画像と撮像画像との合致度も低下してくる。図６の例では、農用車両１が走行開始から２０〜２５秒前進すると、１．４倍のテンプレート画像と撮像画像との合致度はピークを迎え、それ以降は合致度が低下していく。したがって、１行程の距離が長い場合、すなわち図６の場合では走行時間が２５秒以上となる圃場を直進走行する場合には、１．５倍以上に拡大したテンプレート画像が必要となる。

しかしながら、テンプレート画像の拡大率を大きくすると、テンプレート画像は次第にぼやけた状態となり、撮像画像上での合致領域の位置の探索精度が低下する傾向となる。そこで、本実施形態では、テンプレート画像の拡大は１．４倍を上限とし、農用車両１が走行を開始してから一定の条件を満たしたときに、テンプレート画像生成部２３がテンプレート画像の更新を行うようにする。

すなわち、テンプレート画像生成部２３は、複数のテンプレート画像のＳＡＤ値をヨー角検出部２５から取得する。そして、所定倍率で拡大したテンプレート画像と撮像画像内の合致領域の画像との合致度が、所定倍率未満で拡大した他のテンプレート画像と合致領域の画像との合致度より高くなった場合（ＳＡＤ値が小さくなった場合）に、テンプレート画像の更新を行う。テンプレート画像の更新は、合致領域の画像を新たに１．０倍のテンプレート画像（目標領域の画像）とし、当該新たな等倍のテンプレート画像を１．１倍〜１．４倍の倍率で拡大して複数のテンプレート画像を再生成することによって行う。テンプレート画像生成部２３は、再生成した５枚のテンプレート画像を記憶部２４に更新記憶させる。

例えば、図６に示す例において、所定倍率を１．３倍として考えると、１．３倍に拡大したテンプレート画像と撮像画像内の合致領域の画像との差の大きさを示すＳＡＤ値は、農用車両１の走行開始から約１７秒を経過すると、１．２倍のテンプレート画像のＳＡＤ値より小さくなる。つまり、その時点では、複数のテンプレート画像の中で１．３倍のテンプレート画像のＳＡＤが最小となり、合致領域の画像との合致度が最も高くなっている。

テンプレート画像生成部２３は、複数のテンプレート画像の中で１．３倍のテンプレート画像のＳＡＤ値が最も小さくなっているときに、当該１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像として採用し、当該新たな等倍のテンプレート画像を１．１倍〜１．４倍の倍率で拡大して複数のテンプレート画像を再生成する。このように、複数の倍率のテンプレート画像の中で合致度が最大となっているテンプレート画像を用いて更新を行うことにより、更新時における誤差（最初に設定した目標領域からの位置ずれ）の混入を抑制することができる。

なお、テンプレート画像の更新を行う倍率は任意に設定することが可能であるが、１．１倍や１．２倍では更新が頻発し、更新時に混入する誤差が累積して拡大化する恐れがあるため、好ましくない。したがって、テンプレート画像の更新を行う倍率は、１．３倍または１．４倍とするのが好ましい。このようにすれば、農用車両１の前進に伴って目標領域の撮像画像が１．３倍または１．４倍に拡大するまではテンプレート画像の更新は発生せず、更新の回数を必要最小限に留めることができるので、誤差の蓄積を抑制することができる。

ここで、テンプレート画像を更新する倍率を１．３倍とする場合、１．３倍のテンプレート画像のＳＡＤ値が他の倍率のテンプレート画像のＳＡＤ値よりも小さくなっている期間中であれば、任意のタイミングでテンプレート画像の更新を行ってよい。ただし、混入する誤差を最小化するためには、１．３倍のテンプレート画像のＳＡＤ値が極小となるタイミングでテンプレート画像の更新を行うのが最も好ましい。しかし、１．３倍のテンプレート画像のＳＡＤ値を監視していても、それがいつ極小化するかは分からない（極小化したタイミングを過ぎた後でなければ分からない）。

そこで、本実施形態では、次のような処理を行うことによって、ＳＡＤ値が極小化したタイミングであると判断して、テンプレート画像の更新を行う。すなわち、テンプレート画像生成部２３は、所定倍率（例えば、１．３倍）より１段低い倍率（１．２倍）のテンプレート画像に関する合致度（ＳＡＤ値）と、所定倍率より１段高い倍率（１．４倍）のテンプレート画像に関する合致度（ＳＡＤ値）とがほぼ等しくなるタイミングで、テンプレート画像の更新を行う。ほぼ等しくなるタイミングとは、例えばふたつのＳＡＤ値の差異が３％以内となる状態である。

図６に示される通り、所定倍率が１．１倍〜１．３倍の何れであっても、所定倍率より１段低い倍率のテンプレート画像のＳＡＤ値と、所定倍率より１段高い倍率のテンプレート画像のＳＡＤ値とがほぼ等しくなるタイミングにおいて、所定倍率のテンプレート画像のＳＡＤ値が極小化する特性を有することがわかる。したがって、例えば１．３倍のテンプレート画像のＳＡＤ値が極小化するタイミングは、１．２倍のテンプレート画像のＳＡＤ値と１．４倍のテンプレート画像のＳＡＤ値とを監視することによって、判断することが可能である。

テンプレート画像生成部２３は、この「１．２倍のテンプレート画像に関するＳＡＤ値と、１．４倍のテンプレート画像に関するＳＡＤ値とがほぼ等しくなる」タイミングで、テンプレート画像の更新を行う。「ほぼ等しくなる」タイミングというのは、１．３倍のテンプレート画像のＳＡＤ値が極小化するタイミングであると見なす状態である。

このようにすれば、テンプレート画像の更新時における誤差の混入を最小化することができる。すなわち、ＳＡＤ値が極小化する状態というのは、テンプレート画像の拡大率と、農用車両１の走行開始時点から走行に伴って徐々に拡大して写る撮像画像の拡大率とが略等しくなる状態と言える。上述のように、テンプレート画像の拡大率と撮像画像の拡大率とに差があると、合致領域の位置が撮像画像内の輝度変化が大きい部分に引き寄せられて、検出される合致領域の位置に誤差を生じる可能性がある。これに対し、本実施形態では、テンプレート画像の拡大率と撮像画像の拡大率とが等しい状態を判別し、そのタイミングでテンプレート画像の更新をすることで、誤差の混入を抑制することができる。

図７は、上記のように構成した第１の実施形態による走行制御装置の動作例を示すフローチャートである。図７に示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両１の正面方向の位置が正面方向設定部２０により既に設定され、記憶部２４に記憶されているものとする。

まず、画像処理装置１２の画像取得部２１は、運転者により自動走行スイッチがオンとされたか否かを判定し（ステップＳ１）、オンとされた場合、カメラ１１から撮像画像を取得する（ステップＳ２）。次に、目標領域設定部２２は、画像取得部２１により取得された撮像画像内に目標領域を自動的に設定する（ステップＳ３）。続いて、目標領域設定部２２は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し（ステップＳ４）、指示された場合には運転者の操作に従って目標領域の位置を修正する（ステップＳ５）。

次いで、テンプレート画像生成部２３は、目標領域の画像を１．０倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率（１．１倍〜１．４倍の倍率）で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる（ステップＳ６）。その後、画像取得部２１は、カメラ１１から新たな撮像画像を取得する（ステップＳ７）。

画像取得部２１により撮像画像が取得されると、ヨー角検出部２５は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、ＳＡＤ値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する（ステップＳ８）。そして、ヨー角検出部２５は、検出した合致領域の位置と農用車両１の正面方向の位置との差異から、農用車両１の目標地点の方向に対するヨー角を検出する（ステップＳ９）。

さらに、操舵制御部２６は、ヨー角検出部２５により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する（ステップＳ１０）。これにより、農用車両１は、ステップＳ３またはステップＳ５で設定した目標領域の方向に向かって直進走行するように制御される。

その後、テンプレート画像生成部２３は、テンプレート画像の更新条件を満たすか否かを判定する（ステップＳ１１）。テンプレート画像の更新条件とは、一例として、１．３倍のテンプレート画像のＳＡＤ値が最も小さくなる、すなわち、１．２倍のテンプレート画像のＳＡＤ値と、１．４倍のテンプレート画像のＳＡＤ値とがほぼ等しくなるという条件である。この更新条件を満たさない場合、処理はステップＳ１４に遷移する。

一方、テンプレート画像の更新条件を満たした場合、テンプレート画像生成部２３は、１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像（目標領域の画像）として採用し、記憶部２４に更新記憶させる（ステップＳ１２）。

また、テンプレート画像生成部２３は、記憶部２４に更新記憶した新たな目標領域の画像を１．１倍〜１．４倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部２４に更新記憶させる（ステップＳ１３）。その後、画像取得部２１は、運転者により自動走行スイッチがオフとされたか否かを判定し（ステップＳ１４）、オフとされていない場合、処理はステップＳ７に戻り、画像取得部２１が次の撮像画像をカメラ１１から取得する。一方、自動走行スイッチがオフとされた場合、図７に示すフローチャートの処理は終了する。

以上詳しく説明したように、第１の実施形態では、農用車両１の走行方向前方の撮像画像内に目標領域を設定し、当該目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成して記憶する。そして、カメラ１１から撮像画像が所定時間毎に取得される都度、当該撮像画像と複数のテンプレート画像とを比較することにより、複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を撮像画像内から検出し、合致領域の位置と農用車両１の正面方向の位置との差異から農用車両１のヨー角を検出して、当該検出したヨー角に基づいて農用車両１の操舵を制御するようにしている。

このように構成した第１の実施形態によれば、農用車両１の走行方向に向かってまっすぐ前方の位置にターゲットランプや目立った特徴物がなくても、撮像画像上で走行方向前方に設定した目標領域から生成したテンプレート画像と、農用車両１の走行に伴い変化する撮像画像とのパターンマッチングにより合致領域を追跡し、合致領域の位置と農用車両１の正面方向の位置との差異から農用車両１のヨー角を検出して農用車両１の操舵を制御し、直進走行させることができる。

ここで、第１の実施形態では、目標領域の画像を等倍のテンプレート画像として生成するとともに、これを異なる倍率で拡大して複数のテンプレート画像を生成している。そのため、テンプレート画像を頻繁に更新する必要がなく、また、農用車両１が前進することで撮像画像に写る被写体が徐々に大きくなっても、何れかの倍率のテンプレート画像と高い合致度で合致するため、高いマッチング精度を維持することができる。これにより、ターゲットランプを走行方向前方に設置するといった面倒な作業を行うことなく、農用車両１のヨー角を正確に検出して、農用車両１を精度よく直進走行させることができる。

また、第１の実施形態では、拡大するテンプレート画像がぼやけた状態となって撮像画像との合致度が低下しないように、テンプレート画像の拡大率を一定限度までに抑え、テンプレート画像のＳＡＤ値が一定の条件を満たしたときに、テンプレート画像の更新を行うようにしている。これにより、農用車両１が前進することで撮像画像に写る被写体が徐々に大きくなるなどの変化をしても、高いマッチング精度を維持することができる。

さらに、第１の実施形態では、撮像画像とテンプレート画像との合致度が高いタイミングでテンプレート画像の更新を行うので、更新に伴う誤差の混入を抑制することができる。しかも、所定倍率以上のテンプレート画像が更新条件を満たすときに限定してテンプレート画像の更新を行うので、更新の頻度を少なくすることができ、更新時に混入する誤差が累積して拡大化することも抑制することができる。これにより、目標領域の位置に向かって農用車両１が長い距離を走行する場合でも、一貫してより正確なヨー角を検出して、農用車両１を精度よく直進走行させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。第２の実施形態は、目標領域設定部２２により設定した目標領域の実空間上の位置と農用車両１との間に歩行者や他車両などの障害物が入り込んだ状態でも、農用車両１の直進走行制御を継続して行うことができるようにするものである。

図８は、農用車両１の走行中に目標領域３１に歩行者が入り込んだ状況の説明図である。このように、目標領域３１に障害物が入り込むと、記憶部２４に記憶された目標領域の画像および各拡大率のテンプレート画像と、撮像画像内の目標領域に対応する部分の画像との間に大きな差異が生じる。そのため、撮像画像内から検出される合致領域は、本来の目標領域の位置から大きな誤差を生じる、あるいは、合致領域の検出が困難となる。また、ＳＡＤ値も通常時より大きな値となる。

これに対し、第２の実施形態では、図９に示すように、目標領域３１の周辺に複数の周辺領域８１を設定し、当該周辺領域８１の画像も用いてパターンマッチングを行う。これにより、目標領域３１に障害物が入って、合致領域の検出位置に大きな誤差が生じる場合には、周辺領域８１を用いたパターンマッチングの結果を用いることにより、誤差が小さくなるようにしている。

図１０は、第２の実施形態による走行制御装置の機能構成例を示すブロック図である。なお、この図１０において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図１０に示すように、第２の実施形態における画像処理装置１２は、その機能構成として、周辺領域設定部９１、第２のテンプレート画像生成部９２および第２のヨー角検出部９３を更に備えている。また、第２の実施形態におけるＥＣＵ１３は、操舵制御部２６に代えて操舵制御部２６’を備えている。

周辺領域設定部９１は、目標領域設定部２２により設定された目標領域３１の位置情報を用い、その周辺に周辺領域８１を設定する。周辺領域設定部９１により設定された周辺領域８１の位置情報は、記憶部２４に記憶される。設定する周辺領域８１は１つでもよいが、複数設定するのが好ましい。図９に示す例では、目標領域３１の左右方向で、水平線の高さの付近に１４個の周辺領域８１を設定している。

周辺領域８１も目標領域３１と同様、複数の画素値から構成される所定サイズの矩形領域である。周辺領域８１のサイズは、目標領域３１と同じであってもよいし、異なっていてもよい。周辺領域８１の設定は、目標領域３１と同様、運転者が操作部を操作することによって手動で行うようにしてもよいし、周辺領域設定部９１が自動または半自動的に行うようにしてもよい。

周辺領域８１の設定を周辺領域設定部９１が自動的に行う場合、例えば、目標領域設定部２２により設定された目標領域３１に対して、あらかじめ決められた相対位置に複数の周辺領域８１を設定するようにすることが可能である。あるいは、目標領域３１の位置とは無関係に、あらかじめ決められた固定位置に複数の周辺領域８１を設定するようにしてもよい。

第２のテンプレート画像生成部９２は、周辺領域設定部９１により設定された周辺領域の画像を第２のテンプレート画像として生成し、記憶部２４に記憶させる。周辺領域に関しては、目標領域と異なり、拡大したテンプレート画像は生成しない。周辺領域は、撮像画像の幅方向の中心から離れた領域にも設定されるが、そういった領域では、農用車両１の前進に伴う画像の大きさや被写体の相互の位置関係の変化が大きくなる傾向となる。そこで、周辺領域に関しては、拡大したテンプレート画像をあらかじめ生成することはせずに、１秒程度の短い周期で第２のテンプレート画像を更新していくものとする。

すなわち、第２のテンプレート画像生成部９２は、一定の時間間隔毎に、画像取得部２１により取得される撮像画像から、周辺領域設定部９１により設定された周辺領域の画像を抽出して第２のテンプレート画像として生成し、記憶部２４に更新記憶させる。ここで、第２のテンプレート画像を更新する時間間隔は、目標領域から左右方向に離れた周辺領域ほど短くなるように設定するのが好ましい。例えば、目標領域に近い６個の周辺領域は１秒間隔で、目標領域から離れた８個の周辺領域は０．５秒間隔で第２のテンプレート画像を更新するといった具合である。

第２のヨー角検出部９３は、画像取得部２１により撮像画像が所定時間毎（例えば、０．１秒毎）に取得される都度、当該撮像画像と第２のテンプレート画像とを比較することにより、第２のテンプレート画像と合致する第２の合致領域を撮像画像内から検出し、周辺領域の設定位置と第２の合致領域の位置との変化量、あるいは、前回の処理で検出された第２の合致領域の位置と、今回の処理で検出された第２の合致領域の位置との変化量から、処理毎（０．１秒間隔）の農用車両１のヨー角の変化量を検出する。なお、図９のように複数の周辺領域を設定する場合、第２の合致領域は複数存在し、位置の変化量も複数算出される。

ここで、図９に示すように、障害物が入り込んだ目標領域３１や幾つかの周辺領域８１では、一致探索される合致領域の位置に大きな誤差を生じ、位置の変化量も大きくなる。これに対し、他の周辺領域８１では正常な合致領域の位置が検出され、それらの位置の周辺領域８１に対する変化量は概ね似た値となる。図９に記した矢印は、目標領域３１および複数の周辺領域８１のそれぞれについて、今回の処理で探索された合致領域および第２の合致領域の、前回の処理時に探索された位置からの左右方向と上下方向の変化量を統合し、強調して表示したものである。障害物が入り込んでいない周辺領域８１では概ね右下向きの方向を示すが、障害物が入り込んだ目標領域３１と周辺領域８１では、他より大きな位置の変化と異なる方向を示す。

第２のヨー角検出部９３は、１４個の周辺領域８１に関する左右方向と上下方向の位置の変化量を統計的に処理し、これらの変化量が他と大きく異なる特異的な値を除外した上で、障害物が入り込んでいない周辺領域に関する正常な変化量の平均値を算出する。そして、第２のヨー角検出部９３は、この位置の変化量の平均値からヨー角の変化量を算出し、前回の処理時に検出したヨー角に加算することで、現在の農用車両１のヨー角を検出する。

操舵制御部２６’は、ヨー角検出部２５により検出されたヨー角または第２のヨー角検出部９３により検出されたヨー角に基づいて、農用車両１の操舵を制御する。具体的には、操舵制御部２６’は、ヨー角検出部２５により検出されたヨー角と、第２のヨー角検出部９３により検出されたヨー角との差分が閾値未満か否かを判定し、差分が閾値未満の場合は、ヨー角検出部２５により検出されたヨー角に基づいて農用車両１の操舵を制御する。農用車両１の進行方向正面に近い目標領域を用いて算出されたヨー角の方が、精度が高いためである。一方、差分が閾値以上である場合は、第２のヨー角検出部９３により検出されたヨー角に基づいて農用車両１の操舵を制御する。ヨー角の差分が大きいということは、目標領域に障害物が入り込んでいる可能性が高いからである。

なお、ここでは、ヨー角検出部２５により検出されたヨー角と、第２のヨー角検出部９３により検出されたヨー角とを比較する例について説明しているが、本発明はこれに限定されない。例えば、ヨー角を検出する前の、目標領域と合致領域との位置の変化量および周辺領域と第２の合致領域との位置の変化量（平均値）とを比較して、変化量の差分が閾値未満か否かを判定するようにしてもよい。

図１１Ａおよび図１１Ｂは、上記のように構成した第２の実施形態による走行制御装置の動作例を示すフローチャートである。図１１Ａに示すフローチャートは、運転者が走行制御装置の電源をオンしたときに開始する。なお、このフローチャートに示す処理の開始前に、撮像画像上における農用車両１の正面方向の位置が正面方向設定部２０により既に設定され、記憶部２４に記憶されているものとする。

まず、画像処理装置１２の画像取得部２１は、運転者により自動走行スイッチがオンとされたか否かを判定し（ステップＳ２１）、オンとされた場合、カメラ１１から撮像画像を取得する（ステップＳ２２）。次に、目標領域設定部２２は、画像取得部２１により取得された撮像画像内に目標領域を自動的に設定する（ステップＳ２３）。続いて、目標領域設定部２２は、設定した目標領域の位置の修正が運転者の操作により指示されたか否かを確認し（ステップＳ２４）、指示された場合には運転者の操作に従って目標領域の位置を修正する（ステップＳ２５）。

次いで、テンプレート画像生成部２３は、目標領域の画像を１．０倍のテンプレート画像として生成するとともに、当該目標領域の画像を異なる倍率（１．１倍〜１．４倍の倍率）で拡大して複数のテンプレート画像を生成し、記憶部２４に記憶させる（ステップＳ２６）。

また、周辺領域設定部９１は、目標領域設定部２２により設定された目標領域の周辺に複数の周辺領域を設定し（ステップＳ２７）、その位置情報を記憶部２４に記憶させる（ステップＳ２８）。次いで、第２のテンプレート画像生成部９２は、周辺領域設定部９１により設定された周辺領域の画像を第２のテンプレート画像として生成し、記憶部２４に記憶させる（ステップＳ２９）。

その後、画像取得部２１は、カメラ１１から新たな撮像画像を取得する（ステップＳ３０）。画像取得部２１により撮像画像が取得されると、ヨー角検出部２５は、当該撮像画像と複数のテンプレート画像とを比較することにより、拡大率の異なる複数のテンプレート画像のうち、ＳＡＤ値が最も小さいテンプレート画像と合致する合致領域を撮像画像内から検出する（ステップＳ３１）。そして、ヨー角検出部２５は、検出した合致領域の位置と農用車両１の正面方向の位置との差異から、農用車両１の目標地点に対するヨー角を検出する（ステップＳ３２）。

また、第２のヨー角検出部９３は、撮像画像と複数の周辺領域に関する第２のテンプレート画像とをそれぞれ比較することにより、複数の周辺領域のそれぞれについて、第２のテンプレート画像と合致する第２の合致領域を撮像画像内から検出する（ステップＳ３３）。そして、第２のヨー角検出部９３は、複数の周辺領域のそれぞれについて、周辺領域の設定位置と第２の合致領域の位置との変化量、あるいは、前回の処理で検出された第２の合致領域の位置と、今回の処理で検出された第２の合致領域の位置との変化量の平均値を算出し（ステップＳ３４）、この変化量の平均値から、処理毎（０．１秒間隔）の農用車両１のヨー角の変化量を検出し、これを前回の処理時に検出されたヨー角に加算することで、農用車両１の現在のヨー角を検出する（ステップＳ３５）。

次に、操舵制御部２６’は、ステップＳ３２でヨー角検出部２５により検出されたヨー角と、ステップＳ３５で第２のヨー角検出部９３により検出されたヨー角との差分が閾値未満か否かを判定する（ステップＳ３６）。ここで、差分が閾値未満の場合は、ヨー角検出部２５により目標領域から検出されたヨー角を採用する（ステップＳ３７）。一方、差分が閾値以上である場合は、第２のヨー角検出部９３により周辺領域から検出されたヨー角を採用する（ステップＳ３８）。

そして、操舵制御部２６’は、ステップＳ３７またはステップＳ３８で採用したヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する（ステップＳ３９）。これにより、農用車両１は、ステップＳ２３またはステップＳ２５で設定した目標領域の方向に向かって直進走行するように制御される。

その後、テンプレート画像生成部２３は、目標領域に関するテンプレート画像の更新条件を満たすか否かを判定する（ステップＳ４０）。目標領域に関するテンプレート画像の更新条件とは、一例として、１．３倍のテンプレート画像のＳＡＤ値が最も小さくなる、すなわち、１．２倍のテンプレート画像のＳＡＤ値と、１．４倍のテンプレート画像のＳＡＤ値とがほぼ等しくなるという条件である。

ここで、目標領域に関するテンプレート画像の更新条件を満たさない場合、処理はステップＳ４３に遷移する。一方、目標領域に関するテンプレート画像の更新条件を満たした場合、テンプレート画像生成部２３は、１．３倍のテンプレート画像と合致する合致領域の画像を新たに等倍のテンプレート画像（目標領域の画像）として採用し、記憶部２４に更新記憶させる（ステップＳ４１）。

また、テンプレート画像生成部２３は、記憶部２４に更新記憶した新たな目標領域の画像を１．１倍〜１．４倍の倍率で拡大して複数のテンプレート画像を再生成し、記憶部２４に更新記憶させる（ステップＳ４２）。その後、処理はステップＳ４５に遷移する。

ステップＳ４３において、第２のテンプレート画像生成部９２は、周辺領域に関する第２のテンプレート画像の更新条件を満たすか否かを判定する。周辺領域に関する第２のテンプレート画像の更新条件とは、前回の更新時から所定時間が経過したという条件であり、それぞれの周辺領域ごとに判断される。この更新条件を満たさない場合、処理はステップＳ４５に遷移する。

一方、周辺領域に関する第２のテンプレート画像の更新条件を満たした場合、第２のテンプレート画像生成部９２は、ステップＳ２７で周辺領域設定部９１により設定された周辺領域の画像を撮像画像から改めて抽出して第２のテンプレート画像として生成し、記憶部２４に更新記憶させる（ステップＳ４４）。また、記憶部２４に記憶した周辺領域の位置情報も更新する。

次に、ステップＳ４５において、画像取得部２１は、運転者により自動走行スイッチがオフとされたか否かを判定する。ここで、自動走行スイッチがオフとされていない場合、処理はステップＳ３０に戻り、画像取得部２１が次の撮像画像をカメラ１１から取得する。一方、自動走行スイッチがオフとされた場合、図１１Ａおよび図１１Ｂに示すフローチャートの処理は終了する。

なお、図１１Ａおよび図１１Ｂに示したフローチャートでは、ステップＳ２３〜Ｓ２６で目標領域に関する処理を行った後にステップＳ２７〜Ｓ２９で周辺領域に関する処理を行っているが、処理手順はこれに限定されない。少なくとも目標領域の設定は周辺領域の設定に先行する必要があるが、それ以降は、周辺領域に関する処理を目標領域に関する処理に先行して行ってもよいし、同時に行うようにしてもよい。同様に、ステップＳ３１〜Ｓ３２における目標領域に関する処理と、ステップＳ３３〜Ｓ３５における周辺領域に関する処理は、どちらを先行して行ってもよし、同時に行ってもよい。

以上詳しく説明したように、第２の実施形態では、目標領域の他に周辺領域も設定し、それぞれの領域においてパターンマッチングにより農用車両１のヨー角を検出し、目標領域または周辺領域の何れかを利用して検出したヨー角に基づいて農用車両１の操舵を制御するようにしている。これにより、目標領域の位置に障害物が入り込んだ状態でも、農用車両１の直進走行制御を継続して行うことができる。

なお、上記第１および第２の実施形態では、１．０倍、１．１倍、１．２倍、１．３倍、１．４倍の５枚のテンプレート画像を生成する例について説明したが、拡大率も枚数もこれに限定されるものではない。例えば、圃場の広さや農用車両１の走行速度等に応じて、テンプレート画像の拡大率や枚数を任意に設定できるようにしてもよい。

また、上記第１および第２の実施形態では、１．２倍のテンプレート画像に関するＳＡＤ値と、１．４倍のテンプレート画像に関するＳＡＤ値とを監視し、両者のＳＡＤ値がほぼ等しくなるタイミングで、テンプレート画像の更新を行う例について説明したが、本発明はこれに限定されない。例えば、１．３倍のテンプレート画像に関するＳＡＤ値を監視し、当該ＳＡＤ値が極小化したことを検出した直後のタイミングで、テンプレート画像の更新を行うようにしてもよい。

また、上記第１および第２の実施形態では、各作業行程を開始する際に運転者が自動走行スイッチをオンする都度、目標領域を設定して直進走行制御を行う例について説明したが、本発明はこれに限定されない。例えば、１行程目については上記実施形態の直進走行制御を行い、次行程以降は他の手段を用いて、前行程の作業跡などに追従走行を行い、作業を継続して実施するようにしてもよい。

また、上記第１および第２の実施形態では、本発明を農用車両１の走行制御に適用する例について説明したが、適用例はこれに限定されない。例えば、農業分野だけでなく、土木・建設分野での作業車両の走行制御に適用することも可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 農用車両（移動車両）
１１ カメラ（撮像部）
１２ 画像処理装置
１３ ＥＣＵ
２０ 正面方向設定部
２１ 画像取得部
２２ 目標領域設定部
２３ テンプレート画像生成部
２４ 記憶部
２５ ヨー角検出部
２６，２６’ 操舵制御部
９１ 周辺領域設定部
９２ 第２のテンプレート画像生成部
９３ 第２のヨー角検出部

Claims (7)

1. 移動車両の走行方向前方を撮像する撮像部と、
   上記撮像部により取得された撮像画像上における上記移動車両の正面方向の位置を設定する正面方向設定部と、
   上記撮像部により取得された撮像画像内に、目標地点に関連付けて目標領域を設定する目標領域設定部と、
   上記目標領域設定部により設定された上記目標領域の画像を等倍のテンプレート画像として生成するとともに、上記目標領域の画像を異なる倍率で拡大して複数のテンプレート画像を生成して記憶するテンプレート画像生成部と、
   上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記複数のテンプレート画像とを比較することにより、上記複数のテンプレート画像のうち最も合致度の高いテンプレート画像と合致する合致領域を上記撮像画像内から検出し、上記合致領域の撮像画像上の位置と上記移動車両の正面方向の撮像画像上の位置との差異から、上記目標地点に対する上記移動車両のヨー角を検出するヨー角検出部と、
   上記ヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御する操舵制御部とを備えたことを特徴とする移動車両の走行制御装置。
2. 上記テンプレート画像生成部は、上記複数のテンプレート画像のうち所定倍率で拡大したテンプレート画像と上記撮像画像内の上記合致領域の画像との合致度が、上記所定倍率未満で拡大した他のテンプレート画像と上記合致領域の画像との合致度より高くなった場合、上記合致領域の画像を新たに等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項１に記載の移動車両の走行制御装置。
3. 上記テンプレート画像生成部は、上記所定倍率より１段低い倍率のテンプレート画像に関する合致度と、上記所定倍率より１段高い倍率のテンプレート画像に関する合致度とがほぼ等しくなるタイミングで、上記所定倍率のテンプレート画像と合致する上記合致領域の画像を上記新たな等倍のテンプレート画像とし、当該新たな等倍のテンプレート画像を異なる倍率で拡大して複数のテンプレート画像を再生成して更新記憶することを特徴とする請求項２に記載の移動車両の走行制御装置。
4. 上記目標領域設定部により設定された上記目標領域の周辺に周辺領域を設定する周辺領域設定部と、
   上記周辺領域設定部により設定された上記周辺領域の画像を第２のテンプレート画像として生成し記憶する第２のテンプレート画像生成部と、
   上記撮像部により上記撮像画像が所定時間毎に取得される都度、当該撮像画像と上記第２のテンプレート画像とを比較することにより、上記第２のテンプレート画像と合致する第２の合致領域を上記撮像画像内から検出し、上記周辺領域と上記第２の合致領域との位置の変化量、あるいは、前回の処理で検出された上記第２の合致領域の位置と、今回の処理で検出された上記第２の合致領域の位置との変化量から上記移動車両のヨー角の変化量を検出し、これに前回の処理時に検出されたヨー角に加算することで、現在のヨー角を検出する第２のヨー角検出部と、
   上記操舵制御部は、上記ヨー角検出部により検出されたヨー角または上記第２のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項１〜３の何れか１項に記載の移動車両の走行制御装置。
5. 上記操舵制御部は、上記ヨー角検出部により検出されたヨー角と上記第２のヨー角検出部により検出されたヨー角との差分が閾値未満か否かを判定し、上記差分が閾値未満の場合は上記ヨー角検出部により検出されたヨー角に基づいて、上記差分が閾値以上の場合は上記第２のヨー角検出部により検出されたヨー角に基づいて、上記移動車両の操舵を制御することを特徴とする請求項４に記載の移動車両の走行制御装置。
6. 上記第２のテンプレート画像生成部は、一定の時間間隔毎に、上記撮像部により取得される上記撮像画像から、上記周辺領域設定部により設定された上記周辺領域の画像を上記第２のテンプレート画像として生成し更新記憶することを特徴とする請求項４または５に記載の移動車両の走行制御装置。
7. 上記周辺領域設定部は、上記目標領域の周辺に複数の周辺領域を設定し、
   上記第２のテンプレート画像生成部が上記第２のテンプレート画像を生成して更新記憶する時間間隔は、上記目標領域から離れた周辺領域ほど短くなるように設定されていることを特徴とする請求項６に記載の移動車両の走行制御装置。