JP2019061510A

JP2019061510A - 車載カメラの取付高さパラメータ算出装置および取付高さパラメータ算出方法

Info

Publication number: JP2019061510A
Application number: JP2017185822A
Authority: JP
Inventors: 塙　圭二; Keiji Hanawa; 圭二塙; 淳一林田; Junichi Hayashida
Original assignee: National Agriculture and Food Research Organization; Mitsubishi Mahindra Agricultural Machinery Co Ltd
Current assignee: National Agriculture and Food Research Organization; Mitsubishi Mahindra Agricultural Machinery Co Ltd
Priority date: 2017-09-27
Filing date: 2017-09-27
Publication date: 2019-04-18

Abstract

【課題】車載カメラの取付高さを示す取付パラメータを自動的に算出することができるようにする。【解決手段】撮像画像内の地面上に追跡領域を設定する追跡領域設定部２３と、農用車両１の移動に伴い変化する撮像画像内において、追跡領域内の画像を追跡することにより、追跡領域の移動後の位置を検出する画像追跡部２４と、農用車両１が所定距離を走行したときに、追跡領域の移動量から農用車両１の走行距離を算出する走行距離算出部２５と、当該算出された農用車両１の走行距離と、農用車両１が実際に走行した所定距離と、初期設定されたカメラ１１の高さとに基づいて、カメラ１１の実際の高さを算出する取付パラメータ算出部２６とを備え、農用車両１を所定距離走行させるだけで、撮像画像内に設定された追跡領域の移動量から、カメラ１１の実際の高さを自動的に算出することができるようにする。【選択図】図２

Description

本発明は、車載カメラの取付高さパラメータ算出装置および取付高さパラメータ算出方法に関し、特に、運転支援用として移動車両に搭載したカメラの取付高さを示すパラメータを算出する装置および方法に用いて好適なものである。

トラクタや田植機などの移動型の農用車両による播種、移植、畝立て、畦塗りおよび資材散布などの作業では、その作業の精度や能率向上のため、また、それ以降の管理や収穫などの作業のために、各行程を直進かつ平行に行うことが重要である。従来、カメラ、画像処理装置、操舵制御装置などを農用車両に搭載し、直進走行などの自動操舵を行う装置（以下、自動操舵装置という）が提供されている（例えば、特許文献１参照）。

特許文献１に記載の自動操舵装置では、撮像画像上の地平線と車両の正面方向との交点を消失点（無限遠点）として設定し、撮像画像中の地面上に設定される複数の基準領域の位置の変化を消失点の位置と比較することにより、車両の前後、左右の移動量を算出する。ここで、算出された車両の左右方向の位置ずれ量に基づいて第１補正量を算出する。また、算出された車両の移動量に基づいて、撮像画像の視野外に出た過去の目標位置と現在の車両位置を推定し、過去の目標位置と車両位置との位置ずれ量に基づいて第２補正量を算出する。さらに、目標位置を撮像画像の輝度分布情報を用いて遠方に向かって追跡した位置情報と、過去の目標位置の位置情報とを組み合せて目標追従ラインを特定し、目標追従ラインの曲率に基づいて第３補正量を算出する。そして、目標位置と第１補正量と第２補正量と第３補正量とに基づいて、目標舵角を算出する。

この種の自動操舵装置において、高い走行制御精度を得るためには、農用車両に対するカメラの取り付け状態を示す取付パラメータとして精確な値を自動操舵装置に入力しておくことが重要である。従来は、この取付パラメータの入力を、次のように行っていた。すなわち、平坦な場所に農用車両を置き、農用車両が直進走行すべき走路前方の延長線上に設置されるターゲットランプ等の物体を、農用車両に搭載したカメラで撮像する。そして、作業者が、農用車両の正面に位置する物体がモニタ上で映っている位置を確認しながら、カメラの方向を調整する。また、正面の物体がモニタ上で映っている位置をもとに、カメラの取付方向を示すパラメータを算出し、算出された取付パラメータを、作業者がパーソナルコンピュータ等を使って自動操舵装置に入力している。また、カメラの取り付け高さについては、作業者が巻尺などを使って計測し、上記と同様にパーソナルコンピュータ等を使って自動操舵装置に入力している。

このように、農用車両にカメラを取り付ける際に、カメラの取付状態（方向および高さ）を調整し、取り付けられたカメラの状態を示す取付パラメータを自動操舵装置側に入力する作業は、現状では専門知識と熟練を有する作業者が行うことを要している。そのため、自動操舵装置を広く普及させるにあたり、一般の作業者でもこれらの作業を容易に行うことができるようにすることが求められている。

これに対し、カメラの設置パラメータを自動的に算出する方法も提案されている（例えば、特許文献２参照）。この特許文献２に記載のキャリブレーション装置では、車両の移動前と移動後にカメラによって撮像されたカメラ画像を取得し、移動前のカメラ画像と移動後のカメラ画像からそれぞれ２つの特徴点を抽出する。そして、移動前のカメラ画像の２つの特徴点の座標と、移動後のカメラ画像における上記特徴点に対応する２つの特徴点の座標との位置関係に基づいて、カメラのロール角（カメラの光軸を軸とする回転角）、ピッチ角（移動平面に平行でカメラの光軸に対して直角となる方向を軸とする回転角）およびヨー角（移動平面に垂直な方向を軸とする回転角）を算出する。

特開２０１６−１４６０６１号公報特開２０１５−１２２５４７号公報

しかしながら、上記特許文献２に記載の技術では、カメラの取付方向を表す取付パラメータ（ロール角、ピッチ角、ヨー角）を自動的に算出することはできるが、カメラの取付高さを自動的に算出することはできない。

本発明は、このような問題を解決するために成されたものであり、移動車両に搭載したカメラの取付高さを示す取付パラメータを自動的に算出することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、車載カメラにより撮像された撮像画像内の地面上に追跡領域を設定し、移動車両の移動に伴い変化する撮像画像内において、追跡領域内の画像を追跡することにより、追跡領域の移動後の位置を検出する。そして、移動車両が所定距離を走行したときに、追跡領域の移動量から移動車両の走行距離を算出し、当該算出された移動車両の走行距離と、移動車両が実際に走行した所定距離と、初期設定されたカメラ高さとに基づいて、カメラの実際の高さを算出するようにしている。

上記のように構成した本発明によれば、カメラによる撮像画像内に追跡領域を設定した上で、移動車両を所定距離走行させると、撮像画像内に設定された追跡領域の移動量から、実際のカメラの高さが自動的に算出される。このように、本発明によれば、移動車両に搭載したカメラの取付高さを示す取付パラメータを自動的に算出することができる。

本実施形態による車載カメラの取付高さパラメータ算出装置を実施した移動車両の一形態である農用車両の側面図である。本実施形態による画像処理装置の機能構成例を示すブロック図である。本実施形態の目標領域設定部により設定される目標領域の一例を示す図である。本実施形態の追跡領域設定部により設定される複数の追跡領域の一例を示す図である。追跡領域の移動前後の位置の一例を示す図である。撮像画像から農用車両の走行距離を算出する方法を説明するための図である。撮像画像から農用車両の走行距離を算出する方法を説明するための図である。本実施形態による画像処理装置の動作例を示すフローチャートである。本実施形態による画像追跡部および走行距離算出部の他の動作例を説明するための図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車載カメラの取付高さパラメータ算出装置（以下、単に取付高さパラメータ算出装置という）を実施した移動車両の一形態である農用車両の側面図である。

図１に示すように、農用車両１は、車両客室２、前輪３、後輪４、ステアリングホイール９とステアリングシャフト１０とを含むステアリング機構、操舵駆動機構６およびブレーキ機構７を備え、農用車両１の後方には作業機８が取り付けられている。作業機８は、例えば、圃場１００において播種や畝立て、耕うんなどの作業をするためのものである。

また、農用車両１は、直進走行などの自動操舵を行う自動操舵装置を搭載している。自動操舵装置は、カメラ１１、画像処理装置１２およびＥＣＵ（Electronic control unit）１３を備えて構成される。カメラ１１は、車両客室２の上部に配置され、農用車両１の走行方向前方を撮像する。カメラ１１は、撮像した画像を画像処理装置１２に出力する。

画像処理部１２は、カメラ１１から取得した撮像画像を処理することにより、農用車両１のヨー角を検出し、ＥＣＵ１３に供給する。ＥＣＵ１３は、画像処理装置１２から供給されるヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する。これにより、ＥＣＵ１３は、前方に向かってまっすぐ直進走行するように農用車両１の走行を制御する。

ステアリング機構は、ステアリングホイール９と、ステアリングシャフト１０と、当該ステアリングシャフト１０の動きを前輪３の動きに変換するギヤ装置（不図示）とを有する。ステアリング機構は、ハンドルとしてのステアリングホイール９の回動を前輪３の転舵運動に変換する。ステアリングホイール９は、車両客室２内に設けられ、運転者によって回動操作される。ステアリングシャフト１０は、ステアリングホイール９とともに回転するように一端がステアリングホイール９に連結されており、ステアリングホイール９の回転をギヤ装置に伝達する回転軸として機能する。

操舵駆動機構６は、舵角センサ（不図示）およびモータ（不図示）を備える。操舵駆動機構６は、モータを駆動し、ステアリング機構に転舵力を与える。舵角センサは、ステアリング機構のステアリングシャフト１０やギヤ装置に設けられ、ステアリングホイール９による操舵角および操舵方向を検出する。操舵駆動機構６はＥＣＵ１３に接続されており、舵角センサの検出値はＥＣＵ１３に出力される。

ブレーキ機構７は、運転者のブレーキペダル（不図示）の操作量に応じて後輪４に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルとを有する。運転者が各ブレーキペダルを操作することで、左後輪と右後輪に対して個別に制動力を与えることができる。例えば、農用車両１を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪に制動力を与えることで、右後輪を軸として農用車両１を旋回させることができる。ブレーキ機構７はＥＣＵ１３に接続され、ＥＣＵ１３により後輪４に与える制動力が制御される。なお、農用車両１の前輪３にブレーキ機構は無くてよい。

また、農用車両１は、本実施形態の取付高さパラメータ算出装置も搭載している。本実施形態の取付高さパラメータ算出装置は、画像処理装置１２により構成される。図２は、本実施形態による画像処理装置１２の機能構成例を示すブロック図である。

図２に示すように、本実施形態の画像処理装置１２は、その機能構成として、画像取得部２００、自動操舵部２０１、取付高さパラメータ算出部２０２および記憶部２０３を備えて構成されている。自動操舵部２０１は、目標領域設定部２１およびヨー角検出部２２を備えている。また、取付高さパラメータ算出部２０２は、追跡領域設定部２３、画像追跡部２４、走行距離算出部２５、取付パラメータ算出部２６および取付パラメータ設定部２７を備えている。

画像処理装置１２が備える各機能ブロック２００〜２０２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２００〜２０２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を取得する。本実施形態では、画像取得部２００は、カメラ１１から撮像画像を所定の時間間隔（例えば、０．１秒毎）で取得する。

自動操舵部２０１の目標領域設定部２１は、画像取得部２００により取得された撮像画像上の走行方向前方の遠点位置に目標領域を設定する。この目標領域は、自動操舵装置が直進走行のための自動操舵制御を行う際に用いるものである。目標領域設定部２１は、例えば、あらかじめ設定したカメラ１１のヨー角およびピッチ角に基づいて、農用車両１の正面方向および地平線の位置を算出し、その算出した位置に目標領域を設定する。

図３は、目標領域設定部２１により設定される目標領域３００の一例を示す図である。図３において、目標領域３００の中に示されている縦線は、事前に入力したカメラ１１のヨー角の値に基づいて算出した農用車両１の正面方向の位置である。また、目標領域３００の中に示されている横線は、事前に入力したカメラ１１のピッチ角の値に基づいて算出した地平線の位置である。以下では、この縦横の十字線の交点を無限遠点と呼ぶ。

目標領域設定部２１は、このような無限遠点の位置に目標領域３００を設定し、その目標領域３００内の遠方風景の画像（以下、目標画像という）を記憶部２０３に記憶させる。目標領域３００は、図３に示されるように、無限遠点を中心とし、複数の画素値から構成される所定サイズの矩形領域である。

ここでは、あらかじめ設定したヨー角およびピッチ角を用いて目標領域３００の位置を算出しているが、カメラ１１の実際のヨー角およびピッチ角を算出し、算出した値で取付パラメータを設定し直すことにより、目標領域３００を正しい位置に設定し直すことが可能となる。すなわち、カメラ１１の取付パラメータとして高さを算出する前に、カメラ１１のヨー角およびピッチ角を算出して取付パラメータとして設定することにより、目標領域３００を正しい位置に設定することが可能である。なお、ヨー角およびピッチ角の算出方法は本発明の主眼ではないので、詳細な説明は割愛する。

なお、目標領域３００の設定は、事前に入力されたヨー角およびピッチ角から算出される無限遠点の位置に設定する方法に限らない。例えば、作業者が撮像画像上の無限遠点と思われる位置に目標領域３００を手動で設定するようにしてもよい。すなわち、カメラ１１または画像処理装置１２にモニタを設け、撮像画像上に重ねて目標領域３００の表示枠を表示させる。そして、作業者がカメラ１１または画像処理装置１２に設けた操作部により、この表示枠を移動させて確定することにより、目標領域３００の設定を行うようにすることも可能である。

自動操舵部２０１のヨー角検出部２２は、農用車両１の移動に伴い変化する撮像画像内において、目標領域設定部２１により設定された目標領域３００内の目標画像を追跡し、追跡した目標領域３００の位置に基づいて、目標領域３００内の無限遠点に対する農用車両１のヨー角を検出する。このヨー角検出部２２により検出されるヨー角は、無限遠点の方向に対して、農用車両１の正面がどちらにどの程度向いているかを示す値である。

すなわち、ヨー角検出部２２は、画像取得部２００によりカメラ１１からの撮像画像が所定時間毎（０．１秒毎）に取得される都度、当該撮像画像と記憶部２０３に記憶しておいた目標画像とを比較することにより、目標画像と合致する合致領域を撮像画像内から検出する。そして、合致領域の位置と農用車両１の正面方向（無限遠点の方向）の位置との差異から、目標領域３００内の無限遠点に対する農用車両１のヨー角を検出する。

ＥＣＵ１３は、ヨー角検出部２２により検出されたヨー角に基づいて、農用車両１の操舵を制御する。すなわち、ＥＣＵ１３は、ヨー角検出部２２により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御することにより、農用車両１が前方に向かってまっすぐ直進走行するように制御する。

取付高さパラメータ算出部２０２の追跡領域設定部２３は、カメラ１１により撮像された走行方向前方の撮像画像内の地面上に複数の追跡領域を設定する。例えば、追跡領域設定部２３は、目標領域設定部２１により算出された無限遠点の下方で、あらかじめ設定した画像上の同じ高さ（例えば、撮像画像の下端から無限遠点までの高さの２／７）の位置に、複数の追跡領域を横一列に設定し、各追跡領域内の画像（以下、追跡用画像という）を記憶部２０３に記憶させる。

図４は、追跡領域設定部２３により設定される複数の追跡領域４０１〜４０４の一例を示す図である。図４に示すように、本実施形態では一例として、撮像画像内の同じ高さの位置で左右方向に４個の追跡領域４０１〜４０４を設定している。４個の追跡領域４０１〜４０４は、撮像画像の左右方向で無限遠点がある位置を境界として、左右対称の位置に設定する。なお、追跡領域の設定数は４個に限らず、２個、３個または５個以上であってもよい。また、追跡領域の設定数は複数に限らず、１個であってもよい。

画像追跡部２４は、農用車両１の移動に伴い変化する撮像画像内において、追跡領域設定部２３により設定された複数の追跡領域４０１〜４０４内の追跡用画像をそれぞれ追跡することにより、複数の追跡領域４０１〜４０４の移動後の位置をそれぞれ検出する。

例えば、画像追跡部２４は、最初に追跡領域４０１〜４０４を設定した後、あらかじめ定めた所定距離を農用車両１が走行したときに、画像取得部２００によりカメラ１１から取得された撮像画像と記憶部２０３に記憶しておいた各追跡領域４０１〜４０４の追跡用画像とを比較することにより、各追跡用画像と合致する合致領域を撮像画像内からそれぞれ検出する。そして、それぞれの合致領域を、４個の追跡領域４０１〜４０４の移動後の位置として検出する。

ここで、農用車両１が実際に走行する所定距離は、予め記憶部２０３に記憶させておく。一方、走行路上には、例えば、メジャー等を用いて測定した当該所定距離の地点に目印を設定し、その目印の地点まで農用車両１を走行させて停止させる。あるいは、農用車両１にＧＰＳ受信機等の現在位置測定装置を搭載し、ＧＰＳ受信機で測定される走行距離が所定距離となった時点で、農用車両１を自動的に停車させるようにしてもよい。なお、農用車両１を目印の地点で停車させることに代えて、作業者が目印の地点で所定のスイッチを操作することにより、画像追跡の実行指令を画像追跡部２４に出力するようにしてもよい。同様に、走行距離が所定距離となった時点で農用車両１を自動的に停車させることに代えて、画像追跡の実行指令を自動的に画像追跡部２４に出力するようにしてもよい。画像追跡部２４は、農用車両１の停止あるいは画像追跡の実行指令の出力の検出を通じて、農用車両１が自動走行の開始から所定距離を走行したか否かを判定する機能を有している。

図５は、追跡領域４０１〜４０４の移動前後の位置の一例を示す図である。図５において、４個の追跡領域４０１〜４０４は、農用車両１の走行開始前に追跡領域設定部２３により当初の位置に初期設定されたものである。一方、４個の追跡領域４０１’〜４０４’は、農用車両１が所定距離を走行した後に画像追跡部２４により検出された４個の移動後の追跡領域である。図５に示すように、追跡領域設定部２３により初期設定された４個の追跡領域４０１〜４０４は、農用車両１の移動に伴って、当初の設定位置から、４個の追跡領域４０１’〜４０４’で示される撮像画像の下方の位置へと移動する。

なお、追跡領域４０１〜４０４内の画像は、農用車両１の走行に伴うカメラ１１と追跡領域４０１〜４０４との距離の接近により、その大きさが拡大する。ここでは、推定される距離に応じて、追跡領域４０１〜４０４の内部の画像を拡大した後、追跡領域４０１〜４０４の周囲にはみ出した部分はカットして、元の追跡領域４０１〜４０４の大きさを保持する手法を採用するので、各図における追跡領域４０１〜４０４，４０１’〜４０４’の大きさは一定として表記する。

なお、農用車両１の移動に関しては、作業者がステアリングホイール９をマニュアルで操作しながら走行するようにしてもよいが、自動操舵装置による自動操舵制御を用いて農用車両１を自動走行させるのが好ましい。すなわち、画像追跡部２４は、目標領域設定部２１により設定された目標領域３００の撮像画像内での左右位置が維持されるように、自動操舵装置により農用車両１の操舵が自動制御された状態で、農用車両１の移動に伴い変化する撮像画像内において複数の追跡領域４０１〜４０４内の画像をそれぞれ追跡する。

走行距離算出部２５は、農用車両１が所定距離を走行したときに、追跡領域設定部２３により設定された複数の追跡領域４０１〜４０４の位置と、画像追跡部２４により検出された移動後の複数の追跡領域４０１’〜４０４’の位置とに基づいて、追跡領域４０１〜４０４の移動量から農用車両１の走行距離を算出する。

ここで、図６および図７を用いて、撮像画像から農用車両１の走行距離を算出する方法を説明する。なお、撮像画像上の座標は、図６のように、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする（例えば、図６の画像のサイズは横７５２画素、縦４８０画素である）。また、実空間上の座標は、図７のように、カメラ１１の直下の地面上の位置を原点として、左右方向にＸ軸、高さ方向にＹ軸、農用車両１の直進走行方向にＺ軸を設定するものとする。

図６において、Gは画面上の左右方向の中心座標Icの位置に設定した地面点であり、J座標はJg0である。この地面点Gは、各追跡領域４０１〜４０４の各中心点に相当するものであり、説明の簡素化のため、各追跡領域４０１〜４０４の各中心点を地面点Gとして説明する。この地面点Gは、農用車両１の前方への移動に伴って、撮像画像の下方の位置へと移動する。移動後の地面点G’のJ座標はJg1である。

図７（ａ）に示す走行前の状態で、地面上の点Gの位置に追跡領域を設定したとすると、カメラ１１の位置（点A）の直下の地面上の位置から地面点Gまでの距離Zg0は、カメラ１１の正面位置での地面点Gからカメラ１１までの高さの初期設定値をCAH0とすると、以下の式(1)で計算される。
Zg0 ＝ CAH0／tan(θvc＋θcg0) ・・・(1)

ここで、θvcはカメラ１１から見て地平線方向（地面に対して平行な方向）と画面中心方向（カメラ１１の光軸方向）とが成す角度（カメラ１１のピッチ角に相当）、θcg0はカメラ１１から見て画面中心方向と地面点Gの方向とが成す角度である。撮像画像上では、Jvは地平線方向のＪ座標値、Jcは画面中心のJ座標であり、θvc，θcg0はそれぞれ次の式(2)、(3)で計算される。
tan(θvc) ＝ PWH×(Jv−Jc) ・・・(2)
tan(θcg0) ＝ PWH×(Jc−Jg0) ・・・(3)
なお、PWHは１画素当たりの視野角のtan値である。

また、tan(θvc＋θcg0) ＝ tan(θvc)＋tan(θcg0) と近似すると、式(1)は式(2),(3)を用いて次の式(4)のように表せる。
Zg0 ＝ CAH0／(PWH×(Jv−Jc)＋PWH×(Jc−Jg0)) ・・・(4)
さらに、式(4)を整理すると、カメラ１１の位置（点A）の直下の地面上の位置から地面点Gまでの距離Zg0は、次の式(5)のように表される。
Zg0 ＝ CAH0／(PWH×(Jv−Jg0)) ・・・(5)

次に、図７（ｂ）に示すように、農用車両１が所定距離だけ前進することにより、カメラ１１の位置が点Aから点Bまで移動し、撮像画像上でＪ座標Jg1の位置に地面点G’が移動したとする。この場合、農用車両１のカメラ１１の位置（点B）の直下の地面上の位置から地面点G’までの距離Zg1は、上記と同様に次の式(6)となる。
Zg1 ＝ CAH0／(PWH×(Jv−Jg1)) ・・・(6)

したがって、農用車両１の移動距離Zdgは、上記の式(5)および式(6)から、次の式(7)に示すように計算される。
Zdg ＝ Zg0−Zg1
＝ (CAH0／PWH)×((Jv−Jg0)^-1−(Jv−Jg1)^-1 ) ・・・(7)

なお、ここでは、撮像画像上に設定した１つの地面点Gが農用車両１の走行に伴って下方の位置G’へ移動したときの移動量から、農用車両１の移動距離Zdgを１つ算出する方法について説明したが、本実施形態では、複数の追跡領域４０１〜４０４を設定している。この場合、走行距離算出部２５は、複数の追跡領域４０１〜４０４ごとに、当該複数の追跡領域４０１〜４０４の移動量から農用車両１の領域別走行距離Zdg1〜Zdg4をそれぞれ算出し、算出された複数の領域別走行距離Zdg1〜Zdg4を統計処理することにより、移動車両の走行距離Zdgを算出する。統計処理は任意に設定可能であるが、例えば平均化処理とすることが可能である。

取付パラメータ算出部２６は、農用車両１が実際に走行した所定距離Zdg0、走行距離算出部２５により算出された農用車両１の走行距離Zdg、および初期設定されたカメラ高さCAH0に基づいて、実際のカメラ１１の高さCAH1を次のように算出する。

まず、式(8)のようにKを定義すると、式(7)は式(9)のように書き換えられる。また、農用車両１が実際に走行した所定距離Zdg0と、実際のカメラ高さCAH1との関係は、式(9)と同様に、式(10)となる。
K ＝ (1／PWH)×((Jv−Jg0)^-1−(Jv−Jg1)^-1 ) ・・・(8)
Zdg ＝ CAH0×K ・・・(9)
Zdg0 ＝ CAH1×K ・・・(10)
式(9)と式(10)から、Kを消去して変形すると式(11)となり、実際のカメラ高さCAH1が算出される。
CAH1 ＝ CAH0×(Zdg0／Zdg) ・・・(11)

取付パラメータ設定部２７は、以上のようにして取付パラメータ算出部２６により算出されたカメラ１１の取付パラメータ（カメラ１１の高さCAH1）を画像処理装置１２に設定する。画像処理装置１２に設定された取付パラメータは、以後の各種の画像処理に反映される。

図８は、以上のように構成した本実施形態による画像処理装置１２の動作例を示すフローチャートである。

まず、画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を取得する（ステップＳ１）。次に、目標領域設定部２１は、取付パラメータとして設定されたカメラ１１のヨー角およびピッチ角に基づいて、農用車両１の正面方向と地平線とが交わる無限遠点を算出し（ステップＳ２）、その算出した無限遠点を中心点とする矩形形状の目標領域を設定する（ステップＳ３）。次いで、追跡領域設定部２３は、目標領域設定部２１により算出された無限遠点の下方で、あらかじめ設定した画像上の同じ高さの位置に、複数の追跡領域を横一列に設定する（ステップＳ４）。これで、初期の準備が完了する。

準備が完了したら、作業者が自動操舵による走行開始ボタンを押下することにより、農用車両１の自動走行を開始する（ステップＳ５）。自動走行の開始後に、画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を再び取得する（ステップＳ６）。そして、画像追跡部２４は、農用車両１が自動走行の開始から所定距離Zdg0を走行したか否かを判定する（ステップＳ７）。所定距離Zdg0をまだ走行していない場合、処理はステップＳ６に戻る。

図８のフローチャート上には図示していないが、ステップＳ６，Ｓ７のループ処理が繰り返されている間、ヨー角検出部２２は、画像取得部２００によりカメラ１１からの撮像画像が所定時間毎に取得される都度、農用車両１の移動に伴い変化する撮像画像内において目標画像との比較により目標領域を追跡し、追跡した目標領域の位置に基づいて、無限遠点に対する農用車両１のヨー角を検出する。そして、検出したヨー角に基づいてＥＣＵ１３が農用車両１の直進走行を制御する。

そして、農用車両１が自動走行の開始から所定距離Zdg0を走行したと判定された場合、画像追跡部２４は、そのとき画像取得部２００により取得された撮像画像と、ステップＳ４で追跡領域設定部２３により設定された追跡領域内の追跡用画像とを比較することにより、撮像画像内において各追跡用画像と合致する合致領域を、移動後の複数の追跡領域として検出する（ステップＳ８）。

次に、走行距離算出部２５は、追跡領域設定部２３により設定された複数の追跡領域の位置と、画像追跡部２４により検出された複数の追跡領域の移動後の位置とに基づいて、各追跡領域の移動量から農用車両１の走行距離Zdgを算出する（ステップＳ９）。

次いで、取付パラメータ算出部２６は、農用車両１が実際に走行した所定距離Zdg0、走行距離算出部２５により算出された農用車両１の走行距離Zdg、および初期設定されたカメラ高さCAH0に基づいて、上述した式 (11)により実際のカメラ１１の高さCAH1を算出する（ステップＳ１０）。

そして、取付パラメータ設定部２７は、以上のようにして取付パラメータ算出部２６により算出されたカメラ１１の取付パラメータ（カメラ１１の高さCAH1）を画像処理装置１２に設定する（ステップＳ１１）。これにより、図８に示すフローチャートの処理を終了する。

以上詳しく説明したように、本実施形態では、カメラ１１により撮像された撮像画像内の地面上に追跡領域を設定し、農用車両１の移動に伴い変化する撮像画像内において、追跡領域内の画像を追跡することにより、追跡領域の移動後の位置を検出する。そして、農用車両１が所定距離を走行したときに、追跡領域の移動量から農用車両１の走行距離を算出し、当該算出された農用車両１の走行距離と、農用車両１が実際に走行した所定距離と、初期設定されたカメラ１１の高さとに基づいて、カメラ１１の実際の高さを算出するようにしている。

このように構成した本実施形態によれば、農用車両１を所定距離走行させるだけで、農用車両１に搭載したカメラ１１の取付高さを自動的に算出し、取付パラメータとして自動的に設定することができる。これにより、専門知識と熟練を有していない一般の作業者でも、カメラ１１の取付高さを示す取付パラメータを簡単に設定することができる。

なお、上記実施形態では、初期設定した追跡領域４０１〜４０４と、移動後の追跡領域４０１’〜４０４’との２組から農用車両１の走行距離Zdgを算出する例について説明したが、本発明はこれに限定されない。例えば、図９に示すように、画像取得部２００によりカメラ１１からの撮像画像が所定単位時間毎（例えば、０．１秒毎）に取得される都度、画像追跡部２４が移動後の追跡領域を検出する。そして、走行距離算出部２５が所定単位時間毎に、追跡領域の移動量から農用車両１の単位時間別走行距離を算出し、農用車両１が所定距離Zdg0を走行する間に算出された複数の単位時間別走行距離を合計することにより、農用車両１の走行距離Zdgを算出するようにしてもよい。なお、図９では、複数組の追跡領域がそれぞれ離間して配置される例について示しているが、互いに重複するように配置してもよい。図５に示した例では、農用車両１の走行距離は２ｍ程度であるが、単位時間別走行距離を合計することにより、走行距離を１０ｍ程度に拡大することが可能となり、これにより、カメラ高さCAH1の算出精度を高める効果が得られる。

また、上記実施形態では、移動車両の一例として農用車両１を挙げて説明したが、本発明はこれに限定されない。例えば、建設機械の車両や一般の自動車にも適用可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１カメラ
１２画像処理装置
２１目標領域設定部
２２ヨー角検出部
２３追跡領域設定部
２４画像追跡部
２５走行距離算出部
２６取付パラメータ算出部
２７取付パラメータ設定部
２００画像取得部
２０１自動操舵部
２０２取付高さパラメータ算出部

Claims

移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上に追跡領域を設定する追跡領域設定部と、
上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記追跡領域内の画像を追跡することにより、上記追跡領域の移動後の位置を検出する画像追跡部と、
上記移動車両が所定距離を走行したときに、上記追跡領域設定部により設定された上記追跡領域の位置および上記画像追跡部により検出された上記追跡領域の移動後の位置に基づいて、上記追跡領域の移動量から上記移動車両の走行距離を算出する走行距離算出部と、
上記移動車両が実際に走行した上記所定距離、上記走行距離算出部により算出された上記移動車両の走行距離、および初期設定されたカメラ高さに基づいて、上記カメラの実際の高さを算出する取付パラメータ算出部とを備えたことを特徴とする車載カメラの取付高さパラメータ算出装置。
上記追跡領域設定部は、上記撮像画像内の同じ高さの位置で左右方向に複数の追跡領域を設定し、
上記画像追跡部は、上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出し、
上記走行距離算出部は、上記追跡領域設定部により設定された上記複数の追跡領域ごとに、当該複数の追跡領域の移動量から上記移動車両の領域別走行距離をそれぞれ算出し、算出された複数の領域別走行距離を統計処理することにより、上記移動車両の走行距離を算出することを特徴とする請求項１に記載の車載カメラの取付高さパラメータ算出装置。
上記走行距離算出部は、所定単位時間ごとに、上記追跡領域の移動量から上記移動車両の単位時間別走行距離を算出し、上記移動車両が上記所定距離を走行する間に算出された複数の単位時間別走行距離を合計することにより、上記移動車両の走行距離を算出することを特徴とする請求項１または２に記載の車載カメラの取付高さパラメータ算出装置。
上記画像追跡部は、上記カメラにより撮像された上記撮像画像上の走行方向前方の遠点位置に設定された目標領域の上記撮像画像内での左右位置が維持されるように、上記移動車両に搭載された自動操舵装置により上記移動車両の操舵が自動制御された状態で、上記移動車両の移動に伴い変化する撮像画像内において上記追跡領域内の画像を追跡することを特徴とする請求項１〜３の何れか１項に記載の車載カメラの取付高さパラメータ算出装置。
画像処理装置の追跡領域設定部が、移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上に追跡領域を設定する第１のステップと、
上記画像処理装置の画像追跡部が、上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記追跡領域内の画像を追跡することにより、上記追跡領域の移動後の位置を検出する第２のステップと、
上記画像処理装置の走行距離算出部が、上記移動車両が所定距離を走行したときに、上記追跡領域設定部により設定された上記追跡領域の位置および上記画像追跡部により検出された上記追跡領域の移動後の位置に基づいて、上記追跡領域の移動量から上記移動車両の走行距離を算出する第３のステップと、
上記画像処理装置の取付パラメータ算出部が、上記移動車両が実際に走行した上記所定距離、上記走行距離算出部により算出された上記移動車両の走行距離、および初期設定されたカメラ高さに基づいて、上記カメラの実際の高さを算出する第４のステップとを有することを特徴とする車載カメラの取付高さパラメータ算出方法。