JP2015044498A - 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム - Google Patents

Abstract

【課題】操作の煩雑さを低減して舵角を補正する。【解決手段】舵角補正方法は、操舵輪を撮像した測定画像と測定画像の撮像時における移動体のステアリング舵角とを対応付けて取得するステップと、測定画像上の操舵輪と基準舵角において操舵輪を撮像した基準画像上の操舵輪との一致度を算出するステップと、一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む。【選択図】図７

Description

本発明は、移動体のステアリングの舵角を補正する舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムに関する。

従来、自動車等の移動体に車載カメラを設置して、撮像した移動体の周辺画像に運転を支援するための指標となる画像を重畳して表示する技術が知られている。このような指標を周辺画像に重畳するために、舵角センサ等により検出されるステアリング舵角が用いられる。検出されるステアリング舵角は、経年使用やステアリング交換等により実際の舵角とずれが生じる場合があるため、ステアリング舵角の中立点補正が行われる（例えば、特許文献１）。

特許第４３２３４０２号明細書

しかしながら、従来技術では、ステアリング舵角を補正するためにステアリングを最大舵角又は最小舵角に正確に操作する必要がある。このように、ステアリング舵角の中立点補正には特別な工程が必要であり、操作が煩雑となっていた。

かかる事情に鑑みてなされた本発明の目的は、操作の煩雑さを低減して舵角を補正可能な舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムを提供することにある。

上記課題を解決するために本発明に係る舵角補正方法は、
操舵輪を撮像した測定画像と、前記測定画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度を算出するステップと、
前記一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含むことを特徴とする。

また、本発明に係る舵角補正方法は、
異なるステアリング舵角において複数の前記測定画像を取得するステップを含み、
前記補正値を算出するステップでは、ステアリング舵角に対する前記一致度の分布に基づいて前記補正値を算出することが好ましい。

また、本発明に係る舵角補正方法は、
少なくとも前記測定画像上の前記操舵輪を楕円検出により抽出するステップを含み、
前記一致度を算出するステップでは、検出する楕円のパラメータを用いて前記一致度を算出することが好ましい。

また、本発明に係る舵角補正方法は、
前記一致度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記一致度を算出することが好ましい。

また、本発明に係る舵角補正方法は、
前記一致度を算出するステップでは、前記測定画像および前記基準画像に基づく画像マッチングによる相関度を前記一致度として算出することが好ましい。

また、本発明に係る舵角補正装置は、
操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備えることを特徴とする。

また、本発明に係る撮像装置は、
操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備える舵角補正装置と、
前記測定画像を撮像する第１の撮像部と、
前記移動体の周辺画像を撮像する第２の撮像部と、
前記周辺画像上に、前記補正値に基づいて運転を支援するための指標を重畳する画像重畳部とを備えることを特徴とする。

また、本発明に係る舵角補正システムは、
操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備える舵角補正装置と、前記測定画像を撮像する第１の撮像部と、前記移動体の周辺画像を撮像する第２の撮像部と、前記周辺画像上に、前記補正値に基づいて運転を支援するための指標を重畳する画像重畳部とを備える撮像装置と、
前記指標を重畳した画像を表示する表示部とを備えることを特徴とする。

本発明に係る舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムによれば、操作の煩雑さを低減して舵角を補正可能となる。

本発明の第１の実施形態に係る舵角補正システムの構成要素の配置を示す概略図である。 本発明の第１の実施形態に係る舵角補正システムの概略構成を示す機能ブロック図である。 図１のサイドカメラの撮像画像の例を示す図である。 図３のサイドカメラの撮像画像に対し楕円検出を施した例を示す図である。 本発明の第１の実施形態に係る一致度の確率分布を示す図である。 図１の表示部に表示される画像の例を示す図である。 本発明の第１の実施形態に係る舵角補正システムの動作を説明するフローチャートである。 本発明の第２の実施形態に係る一致度の確率分布を示す図である。 本発明の変形例による舵角補正システムの動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
はじめに、本発明の第１の実施形態に係る舵角補正システムについて説明する。図１は、第１の実施形態に係る舵角補正システムＡの構成要素の移動体１０における配置を示す概略図である。移動体１０は、例えば車両である。

図１に示すように、舵角補正システムＡは、サイドカメラ１１およびリアカメラ１２を含む撮像装置と、表示部１３と、を備える。サイドカメラ１１は、移動体１０の左右両側にそれぞれ対称に配置される。以下においては、特に言及しない限り移動体１０の右側に備えられるサイドカメラ１１について説明する。サイドカメラ１１は、例えばドアミラー１５に、移動体１０の操舵輪１４を含む移動体１０の周辺を撮像可能となるように配置される。また、リアカメラ１２は、移動体１０の後方周辺を撮像可能となるように配置される。表示部１３は、運転席から視認可能な位置に配置され、サイドカメラ１１およびリアカメラ１２が出力する画像を表示する。

次に、サイドカメラ１１の構成について説明する。図２に示すように、サイドカメラ１１は、光学系１６と、サイドカメラ撮像部（第１の撮像部）１７と、舵角判断部１８と、サイドカメラ制御部１９と、舵角補正装置２０と、を備える。

光学系１６は、複数のレンズを有する。光学系１６は、被写体像を結像させる。

サイドカメラ撮像部１７は、例えばＣＭＯＳ撮像素子であって、光学系によって結像する被写体像を撮像し、測定画像として生成する。前述のように、サイドカメラ１１は、操舵輪１４を含む移動体１０の周辺を撮像可能となるように配置され、測定画像は、多様な操舵輪舵角θ_Ｒである操舵輪１４の画像を含み得る。ここで、操舵輪舵角θ_Ｒとは、操舵輪１４の操舵可能範囲における舵角中立点を０°とする操舵輪１４の切れ角である。本実施形態では、ステアリングの右方向回転により操舵輪舵角θ_Ｒが増加する。

ここで、測定画像について説明する。測定画像上の操舵輪１４は、操舵輪舵角θ_Ｒによって形状が異なる。図３は、異なる操舵輪舵角θ_Ｒにおける測定画像の例を示し、図３（ａ）はθ_Ｒ＝０°、図３（ｂ）はθ_Ｒ＝１０°、図３（ｃ）はθ_Ｒ＝２０°、図３（ｄ）はθ_Ｒ＝３０°、図３（ｅ）はθ_Ｒ＝−３０°である。測定画像上の操舵輪１４の側面は、操舵輪１４の舵角中立点（θ_Ｒ＝０°）において楕円形状である（図３（ａ）参照）。操舵輪舵角θ_Ｒが増加すると、操舵輪１４の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図３（ｂ）−（ｄ）参照）。一方、操舵輪舵角θ_Ｒが減少すると、ある舵角以下で操舵輪１４の側面は画像上に写らなくなる（図３（ｅ）参照）。

舵角判断部１８は（図２参照）、例えばＣＡＮ等の車載ネットワーク１００を介して、測定画像の撮像時に舵角センサが検出するステアリング舵角θ_ｍを取得する。ステアリング舵角θ_ｍは、ステアリングの操舵可能範囲における舵角中立点を０°とするステアリングの切れ角である。本実施形態では、ステアリングの右方向回転により舵角センサが検出するステアリング舵角θ_ｍが増加する。一般に、舵角センサが検出するステアリング舵角θ_ｍおよび操舵輪舵角θ_Ｒは、一対一の対応関係を有する。

サイドカメラ制御部１９は、サイドカメラ１１の各部位の動作を制御する。例えば、サイドカメラ制御部１９は、サイドカメラ撮像部１７に周期的に測定画像を生成させる。また、サイドカメラ制御部１９は、車載ネットワーク１００を介して情報の送受信を行う。

舵角補正装置２０は、舵角センサが検出するステアリング舵角θ_ｍをステアリングの実際の舵角θ_ｔと一致させるように補正するための補正値を算出する。補正値の算出の詳細については後述する。舵角補正装置２０は、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。

取得部２１は、サイドカメラ撮像部１７および舵角判断部１８から、測定画像および測定画像撮像時に舵角センサが検出したステアリング舵角θ_ｍを対応付けて取得する。

補正装置記憶部２２は、ステアリングの実際の舵角θ_ｔが基準舵角θ_０である状態における操舵輪１４をサイドカメラ撮像部１７により撮像した画像（以下、基準画像という）を予め記憶する。以下において、基準舵角θ_０は０°として説明するが、任意の舵角であってもよい。また、補正装置記憶部２２は、演算部２４が算出する測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を、測定画像撮像時に舵角センサが検出したステアリング舵角θ_ｍと対応付けて蓄積する。また、補正装置記憶部２２は、演算部２４が算出する補正値θ_ａを記憶する。一致度および補正値θ_ａの詳細については後述する。

抽出部２３は、測定画像上の操舵輪１４および基準画像上の操舵輪１４をそれぞれ抽出する。例えば、抽出部２３は、エッジ検出および楕円検出（近似）により画像上の操舵輪１４を抽出する。エッジ検出には、例えばｃａｎｎｙフィルタを用いて、画像上のエッジ部分を検出する。楕円検出には、例えばＨｏｕｇｈ変換を用いて、操舵輪１４を近似した楕円形状およびその楕円パラメータを算出する。楕円パラメータは、楕円の中心座標（ｘ，ｙ）、長辺の長さａ、短辺の長さｂ、および画像上の水平軸と楕円の長軸とがなす傾きφである。好適には、抽出部２３は、操舵輪１４が含まれ得る画像上の所定領域において、画像上の操舵輪１４を抽出する。操舵輪１４が含まれ得る画像上の所定領域は、例えばサイドカメラ１１の取付け角度のばらつきを考慮して予め決定してもよく、抽出部２３が任意の方法により自動的に決定してもよい。

ここで、楕円検出により検出される楕円について説明する。図４は、異なる操舵輪舵角θ_Ｒにおける測定画像について検出する楕円（図４太線）の例を示し、図４（ａ）はθ_Ｒ＝０°、図４（ｂ）はθ_Ｒ＝１０°、図４（ｃ）はθ_Ｒ＝２０°、図４（ｄ）はθ_Ｒ＝３０°である。また、図４は、操舵輪１４のホイール部分について楕円検出を施す例を示すが、例えば操舵輪１４のタイヤ部分について楕円検出を施してもよい。θ_Ｒが１０°以上の例では、操舵輪１４のホイール部分は楕円の一部が欠けた形状であったが（図３（ｂ−（ｄ）参照）、楕円検出により操舵輪１４のホイール部分に適合する楕円が検出される（図４（ｂ）−（ｄ）参照）。検出される楕円は、撮像時の操舵輪舵角θ_Ｒによって形状が異なる。詳細には、検出される楕円は、操舵輪舵角θ_Ｒが増加すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。一方、操舵輪舵角θ_Ｒが増加しても、他の楕円パラメータ、すなわち中心座標（ｘ，ｙ）および長辺の長さａの変化が比較的小さい（図４参照）。

演算部２４（図２参照）は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。一致度は、両画像上の操舵輪１４の形状の一致性の度合いを示す指標である。本実施形態において、演算部２４は、抽出部２３により操舵輪１４を抽出した測定画像および基準画像を用いて画像マッチングを行ない、画像マッチングの相関度を一致度として算出する。また、演算部２４は、算出した一致度（相関度）と、一致度の算出に用いた測定画像の撮像時に舵角センサが検出したステアリング舵角θ_ｍとを対応づけたデータを、補正装置記憶部２２に記憶させる。

また、演算部２４は、補正装置記憶部２２に記憶させた複数のデータに基づいて、舵角センサが検出したステアリング舵角θ_ｍに対する一致度（相関度）の確率分布を算出する（図５参照）。確率分布には、任意の確率分布モデルを用いることができる。また、演算部２４は、算出した確率分布のピーク位置におけるステアリング舵角θ_ｐを算出する。好適には、演算部２４は、確率分布を算出するのに十分なデータが蓄積されたときに、ステアリング舵角θ_ｐを算出する。例えば、演算部２４は、蓄積したデータの数が所定の閾値ｔｈ_１以上であって、且つ、算出した確率分布の分散σ^２が所定の閾値ｔｈ_２未満であるときに、ステアリング舵角θ_ｐを算出するようにしてもよい。

ここで、演算部２４が算出する確率分布のピーク位置におけるステアリング舵角θ_ｐは、ステアリングの実際の舵角θ_ｔが基準舵角θ_０（＝０°）であるときに舵角センサが検出するステアリング舵角θ_ｍの推定値である。舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間にずれ（以下、検出ずれという）が存在する場合には、ステアリングの実際の舵角θ_ｔが０°であるときに舵角センサが検出するステアリング舵角θ_ｍは、舵角センサの検出ずれに等しい。演算部２４は、以下の式により、舵角センサの検出ずれΔθを算出する。
Δθ＝θ_ｐ−θ_０ （１）
演算部２４は、算出した検出ずれΔθの絶対値が所定の閾値ｔｈ_３以上であるとき、すなわち、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとのずれが大きいとき、検出ずれΔθを補正値θ_ａとして補正装置記憶部２２に記憶する。あるいは、演算部２４は、補正装置記憶部２２が既に補正値θ_ａを記憶している場合には、検出ずれΔθから補正値θ_ａを減算した値の絶対値が所定の閾値ｔｈ_３以上であるとき、検出ずれΔθを新たな補正値θ_ａとして更新し、補正装置記憶部２２に記憶する。そして、演算部２４は、車載ネットワーク１００を介して他の構成要素に補正値θ_ａを送信する。

次に、リアカメラ１２の構成について説明する。図２に示すように、リアカメラ１２は、光学系２５と、リアカメラ撮像部（第２の撮像部）２６と、リアカメラ記憶部２７と、画像重畳部２８と、リアカメラ制御部２９と、を備える。

光学系２５は、サイドカメラ１１の光学系１６と同様に、複数のレンズを有し、被写体像を結像させる。

リアカメラ撮像部２６は、サイドカメラ撮像部１７と同様に、光学系２５によって結像する周辺画像を撮像する。

リアカメラ記憶部２７は、サイドカメラ１１から車載ネットワーク１００を介して取得する補正値θ_ａを記憶する。

画像重畳部２８は、車載ネットワーク１００を介して、舵角センサが検出するステアリング舵角θ_ｍを取得する。また、画像重畳部２８は、補正値θ_ａを用いて舵角センサが検出するステアリング舵角θ_ｍを補正した値、すなわちステアリング舵角θ_ｍから補正値θ_ａを減算した値を用いて、リアカメラ撮像部２６が撮像した周辺画像上の所定位置に運転支援のための指標を重畳する。

運転支援のための指標３０とは、例えば図６に示すように、車幅延長線３１および距離目安線３２である。車幅延長線３１は、後進時の移動体１０の両端の通過する軌跡であり、ステアリングの舵角に応じて形状および表示位置が異なる。距離目安線３２は、現在の移動体１０から所定の距離、例えば１ｍおよび３ｍの距離を示す。運転者は、指標３０によって移動体１０の後進時の予測進行方向を認識可能となる。

リアカメラ制御部２９（図２参照）は、リアカメラ１２の各部位の動作を制御する。また、リアカメラ制御部２９は、車載ネットワーク１００を介して情報の送受信を行う。

次に、第１の実施形態に係る舵角補正システムＡが実行する補正値算出処理について、図７のフローチャートを用いて説明する。本処理は、例えば、移動体１０が走行を開始したときに実行される。

はじめに、サイドカメラ撮像部１７は、操舵輪１４を含む移動体１０の周辺画像（測定画像）を撮像する（ステップＳ１００）。

舵角判断部１８は、車載ネットワーク１００を介して、ステップＳ１００の測定画像の撮像と同時に舵角センサが検出したステアリング舵角θ_ｍを取得する（ステップＳ１０１）。

次に、取得部２１は、ステップＳ１００の測定画像およびステップＳ１０１のステアリング舵角θ_ｍを対応付けて取得する（ステップＳ１０２）。

次に、抽出部２３は、ステップＳ１０２の測定画像、および補正装置記憶部２２が予め記憶している基準画像に対してエッジ検出を施す（ステップＳ１０３）。また、抽出部２３は、測定画像上に操舵輪１４の側面が含まれないとき、移動体１０の左右反対側のサイドカメラ１１が撮像した測定画像を用いる。

続いて、抽出部２３は、ステップＳ１０３においてエッジ検出を施した測定画像および基準画像に対して楕円検出を行う（ステップＳ１０４）。

次に、演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する（ステップＳ１０５）。例えば、演算部２４は、画像マッチングの相関度を一致度として算出する。

続いて、演算部２４は、ステップＳ１０５で算出した一致度と、測定画像撮像時に舵角センサが検出したステアリング舵角θ_ｍとを対応づけたデータを、補正装置記憶部２２に記憶させる（ステップＳ１０６）。

続いて、演算部２４は、ステップＳ１０６で補正装置記憶部２２に記憶させたデータに基づいて、舵角センサが検出するステアリング舵角θ_ｍに対する一致度（相関度）の確率分布を算出する（ステップＳ１０７）。

続いて、演算部２４は、確率分布を算出するのに十分なデータが蓄積されたか否かを判定する（ステップＳ１０８）。例えば、演算部２４は、補正装置記憶部２２に記憶させたデータの数が所定の閾値ｔｈ_１以上であって、且つ、算出した確率分布の分散σ^２が所定の閾値ｔｈ_２未満であるときに、十分なデータが蓄積されたと判定する。十分なデータが蓄積されたとき（ステップＳ１０８−Ｙｅｓ）、ステップＳ１０９に進む。一方、十分なデータが蓄積されていないとき（ステップＳ１０８−Ｎｏ）、ステップＳ１００に戻って処理を反復し、データを蓄積する。

ステップＳ１０８において、十分なデータが蓄積されたとき（ステップＳ１０８−Ｙｅｓ）、演算部２４は、ステップＳ１０７で算出した確率分布のピーク位置におけるステアリング舵角θ_ｐを算出する（ステップＳ１０９）。

続いて、演算部２４は、ステップＳ１０９において算出した確率分布のピーク位置におけるステアリング舵角θ_ｐから基準舵角θ_０を減算して算出する検出ずれΔθの絶対値が、所定の閾値ｔｈ_３以上であるか否かを判定する（ステップＳ１１０）。検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ１１０−Ｙｅｓ）、ステップＳ１１１に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ_３未満であるとき（ステップＳ１１０−Ｎｏ）、処理を終了する。

ステップＳ１１０において、検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ１１０−Ｙｅｓ）、演算部２４は、検出ずれΔθを補正値θ_ａとして補正装置記憶部２２に記憶する（ステップＳ１１１）。

このように、第１の実施形態の舵角補正システムによれば、測定画像および基準画像の一致度に基づいて、補正値θ_ａを算出する。このため、例えば移動体１０の走行中に舵角センサが検出するステアリング舵角θ_ｍの補正を自動的に行うことができ、操作者による操作の煩雑さを低減できる。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍに対する一致度の確率分布に基づいて補正値θ_ａを算出するため、ステアリングの実際の舵角θ_ｔが基準舵角θ_０（＝０°）であるときに舵角センサが検出するステアリング舵角θ_ｍを精度良く推定でき、補正値θ_ａの算出精度を向上できる。また、舵角センサが検出するステアリング舵角θ_ｍの測定誤差の影響を低減し、補正値θ_ａの算出精度を向上できる。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍに対する一致度の確率分布を算出するのに十分なデータが蓄積されているとき、確率分布のピーク位置におけるステアリング舵角θ_ｐを算出し、θ_ｐを用いて補正値θ_ａを算出する。このため、例えばデータ数が少ない場合や分散が大きい場合等、ピークを正しく検出できていない場合に補正値θ_ａの算出・更新を抑制し、補正値θ_ａの安定性を向上できる。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間のずれΔθの絶対値が閾値ｔｈ_３以上であるときに、Δθを補正値θ_ａとして記憶する。このため、舵角センサが検出するステアリング舵角θ_ｍの測定誤差等の影響で生じる微小なずれによる補正値θ_ａの算出・更新を抑制し、補正値θ_ａの算出精度を向上できる。

また、第１の実施形態の舵角補正システムによれば、測定画像および基準画像に対してエッジ検出を施すため、移動体１０の走行中において、例えば天気や外の明るさ等の環境の変化による測定画像への影響を低減し、画像マッチングによる相関度の算出精度を向上できる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、舵角補正装置２０が行う処理が異なる。

第２の実施形態に係る舵角補正装置２０は、第１の実施形態と同様に、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。取得部２１、補正装置記憶部２２、および抽出部２３については、第１の実施形態と同様であるため、説明は省略する。

演算部２４は、第１の実施形態と同様に、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。ここで、第２の実施形態に係る演算部２４は、抽出部２３が楕円検出により算出した楕円パラメータを用いて、一致度を算出する。詳細には、演算部２４は、測定画像から検出した操舵輪１４の楕円パラメータにより定まる５次元パラメータ空間上の点ｔを算出する。同様に、演算部２４は、基準画像から検出した操舵輪１４の楕円パラメータにより定まる５次元パラメータ空間上の点ａを算出する。パラメータ空間上の２点間の距離ｄは、ｄ＝|ｔ−ａ|により算出される。ここで、測定画像から検出した楕円形状と基準画像から検出した楕円形状との相関が高いとき、各楕円パラメータは互いに近い値をとるため、距離ｄは小さな値となる。一方、２つの楕円形状の相関が小さいとき、各楕円パラメータは互いに異なる値をとるため、距離ｄは大きな値となる。したがって、演算部２４は、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを一致度として算出する。このとき、一般に、距離ｄの値が小さいほど一致性が高くなる。

好適には、演算部２４は、複数の楕円パラメータに対して重付けを行った値を用いて一致度を算出する。前述のように、検出される楕円は、操舵輪舵角θ_Ｒによって異なる形状となる（図４参照）。ここで、操舵輪舵角θ_Ｒの変化に対し、楕円の傾きφおよび短辺の長さｂの変化量が大きく、他の楕円パラメータ、すなわち中心座標と長辺の長さは変化量が小さい。すなわち、楕円の傾きφおよび短辺の長さｂは、操舵輪舵角θ_Ｒの変化に対し感度が高い。例えば、楕円パラメータのうち傾きφおよび短辺の長さｂの少なくとも一方に、他のパラメータ、すなわち座標（ｘ，ｙ）および長辺の長さａより大きな重付けを行ってパラメータ空間上の点ｔおよび点ａを決定し、２点間の距離ｄを一致度として算出する。

また、演算部２４は、第１の実施形態と同様に、一致度（距離ｄ）の確率分布を算出し、算出した確率分布のピーク位置におけるステアリング舵角θ_ｐに基づいて補正値θ_ａを算出する。本実施形態において、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを一致度として用いるため、確率分布のピークは下向きにあらわれる（図８参照）。

このように、第２の実施形態の舵角補正システムによれば、測定画像および基準画像から検出した楕円のパラメータに基づいて算出するパラメータ空間上の距離ｄを、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度として算出する。このため、画像マッチングにより一致度を算出する第１の実施形態と比較して処理負担を低減できる。また、複数の楕円パラメータのうち、操舵輪舵角θ_Ｒの変化に対し感度が高い楕円パラメータに大きな重付けをして一致度を算出することにより、一致度の算出精度を向上し、補正値θ_ａの算出精度を向上できる。

（変形例）
次に、本発明の実施形態の変形例に係る舵角補正システムについて説明する。変形例に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、一致度の確率分布を算出せず、測定画像と基準画像が一致するときに補正値θ_ａを算出する点が異なる。

変形例に係る舵角補正装置２０は、第１の実施形態と同様に、取得部２１と、補正装置記憶部２２と、抽出部２３と、演算部２４と、を備える。取得部２１および抽出部２３については、第１の実施形態と同様であるため、説明は省略する。

補正装置記憶部２２は、基準画像を予め記憶する。また、補正装置記憶部２２は、演算部２４が算出する補正値θ_ａを記憶する。

演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する。変形例において、画像マッチングによる相関度又は楕円パラメータ空間上の２点間距離ｄの何れを一致度として採用してもよい。以下においては、測定画像および基準画像を用いた画像マッチングによる相関度を算出する例について説明する。

演算部２４は、算出した一致度（相関度）に基づいて、測定画像上の操舵輪１４および基準画像上の操舵輪１４の形状が一致しているか否かを判定する。形状が一致しているか否かの判定は、例えば、一致度である相関度が所定の閾値ｔｈ_４以上であるとき、形状が一致していると判定する。演算部２４は、操舵輪１４の形状が一致すると判定するとき、以下の式により、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間のずれ（検出ずれ）Δθを算出する。
Δθ＝θ_ｍ−θ_０ （２）
ここで、θ_ｍは一致度の算出に用いた測定画像撮像時に舵角センサが検出したステアリング舵角、θ_０は基準舵角である。また、演算部２４は、第１の実施形態と同様に、算出した検出ずれΔθの絶対値が所定の閾値ｔｈ_３以上であるとき、検出ずれΔθを補正値θ_ａとして補正装置記憶部２２に記憶する。

次に、変形例に係る舵角補正システムＡが実行する補正値算出処理について、図９のフローチャートを用いて説明する。

はじめに、サイドカメラ撮像部１７は、操舵輪１４を含む移動体１０の周辺画像（測定画像）を撮像する（ステップＳ２００）。

舵角判断部１８は、車載ネットワーク１００を介して、ステップＳ２００の測定画像の撮像と同時に舵角センサが検出したステアリング舵角θ_ｍを取得する（ステップＳ２０１）。

次に、取得部２１は、ステップＳ２００の測定画像およびステップＳ２０１のステアリング舵角θ_ｍを対応付けて取得する（ステップＳ２０２）。

次に、抽出部２３は、ステップＳ２０２の測定画像、および補正装置記憶部２２が予め記憶している基準画像に対してエッジ検出を施す（ステップＳ２０３）。また、抽出部２３は、測定画像上に操舵輪１４の側面が含まれないとき、移動体１０の左右反対側のサイドカメラ１１が撮像した測定画像を用いる。

続いて、抽出部２３は、ステップＳ２０３においてエッジ検出を施した測定画像および基準画像に対して楕円検出を施す（ステップＳ２０４）。

次に、演算部２４は、測定画像上の操舵輪１４と基準画像上の操舵輪１４との一致度を算出する（ステップＳ２０５）。例えば、演算部２４は、画像マッチングの相関度を一致度として算出する。

続いて、演算部２４は、測定画像上の操舵輪１４および基準画像上の操舵輪１４の形状が一致しているか否かを判定する（ステップＳ２０６）。例えば、演算部２４は、一致度である相関度が所定の閾値ｔｈ_４以上であるとき、形状が一致していると判定する。形状が一致していると判定するとき（ステップＳ２０６−Ｙｅｓ）、ステップＳ２０７に進む。一方、形状が一致していないと判定するとき（ステップＳ２０６−Ｎｏ）、ステップＳ２００に戻る。

ステップＳ２０６において、形状が一致していると判定するとき（ステップＳ２０６−Ｙｅｓ）、演算部２４は、ステップＳ２０２のステアリング舵角θ_ｍから基準舵角θ_０を減算して算出する検出ずれΔθの絶対値が、所定の閾値ｔｈ_３以上であるか否かを判定する（ステップＳ２０７）。検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ２０７−Ｙｅｓ）、ステップＳ２０８に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ_３未満であるとき（ステップＳ２０７−Ｎｏ）、処理を終了する。

ステップＳ２０７において、検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ２０７−Ｙｅｓ）、演算部２４は、検出ずれΔθを補正値θ_ａとして補正装置記憶部２２に記憶する（ステップＳ２０８）。

このように、変形例の舵角補正システムによれば、測定画像と舵角センサが検出するステアリング舵角θ_ｍとを対応付けて取得するたび、算出する一致度に基づいて両画像上の操舵輪１４の形状が一致しているか否かを判定する。そして、形状が一致していると判定するとき、補正値θ_ａを算出する。このため、第１の実施形態と異なり、舵角センサが検出するステアリング舵角θ_ｍと一致度とを対応付けたデータを補正装置記憶部２２に蓄積する必要がなく、記憶するデータ容量を低減できる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、舵角補正システムにおける各構成要素は、分割および再配置が可能である。例えば、舵角補正システムは、運転者を支援するナビゲーション装置を更に備え、ナビゲーション装置が舵角補正装置２０の演算部２５や、リアカメラ１２の画像重畳部２８を備える構成であってもよい。

また、抽出部２３が検出した楕円が正しく操舵輪１４を抽出しているか否かを判別する構成を備えてもよい。例えば、測定画像上の楕円内において、エッジ検出を施す前の測定画像の色情報を用いて操舵輪１４を抽出しているか否か判断することが考えられる。このようにして、測定画像上の操舵輪１４の抽出精度を向上して一致度の算出精度を向上することにより、補正値θ_ａの算出精度を向上できる。

また、上述の実施形態において、補正装置記憶部２２は基準画像を予め記憶するが、基準画像に対してエッジ検出および楕円検出を施した基準画像を予め記憶するようにしてもよい。この場合、抽出部２３は、基準画像に対してエッジ検出および楕円検出を施す必要がなく、処理負担を軽減できる。

また、上述の実施形態において、舵角補正装置２０は、算出した補正値θ_ａを補正装置記憶部２２に記憶させるが、ステアリング舵角センサに補正値θ_ａを送信し、ステアリング舵角センサの出力値を補正するようにしてもよい。この場合、画像重畳部２８は、車載ネットワーク１００を介して取得するステアリング舵角を補正する必要がないため、処理負担を軽減できる。

また、上述の実施形態において、画像重畳部２８はリアカメラ１２の撮像画像に指標３０を重畳するが、例えば、移動体１０の前方の周辺画像を撮像するフロントカメラの撮像画像に重畳するようにしてもよい。

また、上述の実施形態において、画像マッチングによる相関度又は楕円パラメータに基づくパラメータ空間上の２点間距離を一致度として用いたが、測定画像上の操舵輪１４と基準画像上の操舵輪１４との形状の一致性の度合いを示す指標であれば任意の指標を採用可能である。

また、第１の実施形態において、サイドカメラ制御部１９は、サイドカメラ撮像部１７に周期的に測定画像を生成させるようにしたが、周期的な撮像に加え又は替えて、所定の条件で測定画像を生成してもよい。例えば、舵角センサが検出するステアリング舵角θ_ｍが所定の舵角となったときに測定画像を生成することが考えられる。このようにして、一致度の確率分布を算出するのに広域な舵角におけるデータを用いることができ、一致度の確率分布の算出精度を向上することにより、補正値θ_ａの算出精度を向上できる。

また、第２の実施形態において、補正装置記憶部２２は、基準画像から検出した楕円のパラメータを予め記憶してもよい。この場合、補正装置記憶部２２は、基準画像を記憶する必要がなく、記憶するデータ容量を低減できる。

１０ 移動体
１１ サイドカメラ
１２ リアカメラ
１３ 表示部
１４ 操舵輪
１５ ドアミラー
１６ 光学系
１７ サイドカメラ撮像部
１８ 舵角判断部
１９ サイドカメラ制御部
２０ 舵角補正装置
２１ 取得部
２２ 補正装置記憶部
２３ 抽出部
２４ 演算部
２５ 光学系
２６ リアカメラ撮像部
２７ リアカメラ記憶部
２８ 画像重畳部
２９ リアカメラ制御部
３０ 指標
３１ 車幅延長線
３２ 距離目安線
１００ 車載ネットワーク

Claims (8)

1. 操舵輪を撮像した測定画像と、前記測定画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
   前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度を算出するステップと、
   前記一致度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
   ことを特徴とする舵角補正方法。
2. 請求項１に記載の舵角補正方法であって、
   異なるステアリング舵角において複数の前記測定画像を取得するステップを含み、
   前記補正値を算出するステップでは、ステアリング舵角に対する前記一致度の分布に基づいて前記補正値を算出する
   ことを特徴とする舵角補正方法。
3. 請求項１又は２に記載の舵角補正方法であって、
   少なくとも前記測定画像上の前記操舵輪を楕円検出により抽出するステップを含み、
   前記一致度を算出するステップでは、検出する楕円のパラメータを用いて前記一致度を算出する
   ことを特徴とする舵角補正方法。
4. 請求項３に記載の舵角補正方法であって、
   前記一致度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記一致度を算出する
   ことを特徴とする舵角補正方法。
5. 請求項１又は２に記載の舵角補正方法であって、
   前記一致度を算出するステップでは、前記測定画像および前記基準画像に基づく画像マッチングによる相関度を前記一致度として算出する
   ことを特徴とする舵角補正方法。
6. 操舵輪を撮像した測定画像と撮像時における移動体のステアリング舵角とを対応付けて取得する取得部と、
   前記測定画像上の前記操舵輪と、基準舵角において前記操舵輪を撮像した基準画像上の前記操舵輪と、の一致度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
   ことを特徴とする舵角補正装置。
7. 請求項６に記載の舵角補正装置と、
   前記測定画像を撮像する第１の撮像部と、
   前記移動体の周辺画像を撮像する第２の撮像部と、
   前記周辺画像上に、前記補正値に基づいて運転を支援するための指標を重畳する画像重畳部とを備える
   ことを特徴とする撮像装置。
8. 請求項７に記載の撮像装置と、
   前記指標を重畳した画像を表示する表示部とを備える
   ことを特徴とする舵角補正システム。
   

Images