JP2002068032A - トレーラ連結角検出装置 - Google Patents
トレーラ連結角検出装置Info
- Publication number
- JP2002068032A JP2002068032A JP2000253908A JP2000253908A JP2002068032A JP 2002068032 A JP2002068032 A JP 2002068032A JP 2000253908 A JP2000253908 A JP 2000253908A JP 2000253908 A JP2000253908 A JP 2000253908A JP 2002068032 A JP2002068032 A JP 2002068032A
- Authority
- JP
- Japan
- Prior art keywords
- trailer
- connection angle
- marker
- image
- television camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】構造が簡単で角度誤差が小さくトレーラに大掛
かりな改造を必要としないトレーラ連結角検出装置を実
現する。 【解決手段】トラクタに設置されたテレビカメラによっ
て撮影されたトレーラ2の前面パネル2aの良好なコーナ
ーエッジ2R,2L又はコーナーエッジに設けた前面垂直マ
ーカー5aR,5aL及び側面垂直マーカー5bR,5bLの画像位置
を検出して、カメラに接近して来るコーナーエッジ又は
垂直マーカーの画像位置からトレーラの連結角と屈曲方
向を求める。
かりな改造を必要としないトレーラ連結角検出装置を実
現する。 【解決手段】トラクタに設置されたテレビカメラによっ
て撮影されたトレーラ2の前面パネル2aの良好なコーナ
ーエッジ2R,2L又はコーナーエッジに設けた前面垂直マ
ーカー5aR,5aL及び側面垂直マーカー5bR,5bLの画像位置
を検出して、カメラに接近して来るコーナーエッジ又は
垂直マーカーの画像位置からトレーラの連結角と屈曲方
向を求める。
Description
【０００１】
【発明の属する技術分野】本発明はトレーラ連結角検出
装置に関し、特に連結車両を形成するトラクタとトレー
ラの連結角（屈曲角）を検出する装置に関するものであ
る。
装置に関し、特に連結車両を形成するトラクタとトレー
ラの連結角（屈曲角）を検出する装置に関するものであ
る。
【０００２】
【従来の技術】トラクタとトレーラの連結角を検出する
装置としては以下に示す従来技術が既に提案されてい
る。 特開平6-87462号，同6-255529号，同6-278640号 実
開平3-52285号 これらは何れもトラクタとトレーラの連結角を機械的に
取り出す装置を開示したものであり、具体的にはキング
ピンを中心部に固設したターンテーブルをトレーラに回
転可能に取り付け、トラクタの旋回に応じターンテーブ
ルとキングピンが一体になって回動し、連結角の変化が
該キングピンに固着したレバーの回動によって取出され
る構成を有するものである。
装置としては以下に示す従来技術が既に提案されてい
る。 特開平6-87462号，同6-255529号，同6-278640号 実
開平3-52285号 これらは何れもトラクタとトレーラの連結角を機械的に
取り出す装置を開示したものであり、具体的にはキング
ピンを中心部に固設したターンテーブルをトレーラに回
転可能に取り付け、トラクタの旋回に応じターンテーブ
ルとキングピンが一体になって回動し、連結角の変化が
該キングピンに固着したレバーの回動によって取出され
る構成を有するものである。
【０００３】このような機械的に連結角を取り出す方式
は現実に実用化されているが、キングピンを回動可能に
取り付ける構成や該キングピンがカプラの相対角変化に
連動して回動するようにする構成等に対する部品が非常
に多く、構造が複雑でかなり高価となり、かつキングピ
ンにアーム取り付け等の加工が必要で、最重要部品であ
るキングピンにとって保安上、好ましくない。
は現実に実用化されているが、キングピンを回動可能に
取り付ける構成や該キングピンがカプラの相対角変化に
連動して回動するようにする構成等に対する部品が非常
に多く、構造が複雑でかなり高価となり、かつキングピ
ンにアーム取り付け等の加工が必要で、最重要部品であ
るキングピンにとって保安上、好ましくない。
【０００４】特開平8-332973号 トレーラの前部下面にキングピンを中心とする円弧状の
磁気スケールを埋設すると共に、トラクタ側に磁気セン
サを取り付け、磁気センサの出力パルス数をカウントす
ることにより連結角を演算している。この装置はトレー
ラの前部下面に磁気スケールを埋設しているため、トレ
ーラ側に大がかりな改修が必要となり、トレーラを交換
した場合に対応し難い問題がある。
磁気スケールを埋設すると共に、トラクタ側に磁気セン
サを取り付け、磁気センサの出力パルス数をカウントす
ることにより連結角を演算している。この装置はトレー
ラの前部下面に磁気スケールを埋設しているため、トレ
ーラ側に大がかりな改修が必要となり、トレーラを交換
した場合に対応し難い問題がある。
【０００５】特開平4-254268号 この公報の図8にはトラクタのキャブ後部の中央から少
し横にずれた箇所から超音波を発射し、トラクタの前面
からの反射波を受信し、その経過時間で距離を演算し、
その距離から連結角を演算する装置について提案してい
る。
し横にずれた箇所から超音波を発射し、トラクタの前面
からの反射波を受信し、その経過時間で距離を演算し、
その距離から連結角を演算する装置について提案してい
る。
【０００６】この装置は超音波による測距が基本である
ため、分解能が低いと言う問題があり、かつトラクタと
トレーラ間の距離で連結角を演算しようとしているた
め、測定した距離の誤差が小さくとも、角度としては非
常に大きな誤差になってしまうと言う欠点がある。
ため、分解能が低いと言う問題があり、かつトラクタと
トレーラ間の距離で連結角を演算しようとしているた
め、測定した距離の誤差が小さくとも、角度としては非
常に大きな誤差になってしまうと言う欠点がある。
【０００７】
【発明が解決しようとする課題】このように従来のトレ
ーラ連結角検出装置は、構造が複雑で高価な機械式のも
のであるか、装置が大掛かりになったり大きな角度誤差
を含む演算方式を採用したものであった。
ーラ連結角検出装置は、構造が複雑で高価な機械式のも
のであるか、装置が大掛かりになったり大きな角度誤差
を含む演算方式を採用したものであった。
【０００８】従って本発明は、構造が簡単で角度誤差が
小さくトレーラに大掛かりな改造を必要としないトレー
ラ連結角検出装置を実現することを目的とする。
小さくトレーラに大掛かりな改造を必要としないトレー
ラ連結角検出装置を実現することを目的とする。
【０００９】
【課題を解決するための手段】上記の目的を達成するた
め、本発明(1)に係るトレーラ連結角検出装置は、トレ
ーラと共に連結車両を形成するトラクタの所定位置に設
置されたテレビカメラと、該テレビカメラによって撮影
された該トレーラの前面パネルの画像内の該前面パネル
の両コーナーエッジの画像位置を検出して比較し、該カ
メラに接近して来るコーナーエッジの画像位置に基づい
て該トレーラの連結角と屈曲方向を求める演算処理装置
と、を備えたことを特徴としている。
め、本発明(1)に係るトレーラ連結角検出装置は、トレ
ーラと共に連結車両を形成するトラクタの所定位置に設
置されたテレビカメラと、該テレビカメラによって撮影
された該トレーラの前面パネルの画像内の該前面パネル
の両コーナーエッジの画像位置を検出して比較し、該カ
メラに接近して来るコーナーエッジの画像位置に基づい
て該トレーラの連結角と屈曲方向を求める演算処理装置
と、を備えたことを特徴としている。
【００１０】すなわち本発明(1)では、図1に原理的に示
すように、トラクタに設置したテレビカメラ（共に図示
せず）でトレーラ2の前面パネル2aを画像認識エリアIA
において撮影し、撮影した画像を処理して前面パネル2a
の両端のコーナーエッジ2R,2Lを検出する。
すように、トラクタに設置したテレビカメラ（共に図示
せず）でトレーラ2の前面パネル2aを画像認識エリアIA
において撮影し、撮影した画像を処理して前面パネル2a
の両端のコーナーエッジ2R,2Lを検出する。
【００１１】そして、トレーラ2が屈曲することにより
コーナーエッジ2R, 2Lの位置が右又は左側へ移動する。
この時、トレーラ2が屈曲することによるコーナーエッ
ジ2R, 2Lの移動量は、テレビカメラから離れて行くコー
ナーエッジより、接近して来る側のコーナーエッジの方
が大きいので、演算処理装置は、このようにテレビカメ
ラに接近して来るコーナーエッジの画像位置からトレー
ラ2の連結角と屈曲方向を求める。
コーナーエッジ2R, 2Lの位置が右又は左側へ移動する。
この時、トレーラ2が屈曲することによるコーナーエッ
ジ2R, 2Lの移動量は、テレビカメラから離れて行くコー
ナーエッジより、接近して来る側のコーナーエッジの方
が大きいので、演算処理装置は、このようにテレビカメ
ラに接近して来るコーナーエッジの画像位置からトレー
ラ2の連結角と屈曲方向を求める。
【００１２】このようにして、屈曲角が非常に大きくな
って、接近して来る側のコーナーエッジしか検出できな
くなった時でも連結角を求めることができるのでトレー
ラの最大屈曲角まで連結角を求めることが可能となる。
上記の本発明(1)をより確実にトレーラの前面両端を検
出するため、本発明(2)に係るトレーラ連結角検出装置
は、トレーラと共に連結車両を形成するトラクタの所定
位置に設置されたテレビカメラと、該トレーラの前面パ
ネルの両端に設置した前面垂直マーカー及び該トレーラ
の各側面パネルの前端に設置した側面垂直マーカーと、
該テレビカメラによって撮影された該トレーラの前面パ
ネルの画像内の両前面垂直マーカーの画像位置を検出し
て比較し、該テレビカメラに接近して来る前面垂直マー
カーの画像位置から該連結角と屈曲方向を求め、該連結
角が所定値より大きくなったときには、該カメラに接近
して来る側面垂直マーカーを検出し、この側面垂直マー
カーの画像位置に基づいて該トレーラの連結角と屈曲方
向を求める演算処理装置と、を備えたことを特徴として
いる。
って、接近して来る側のコーナーエッジしか検出できな
くなった時でも連結角を求めることができるのでトレー
ラの最大屈曲角まで連結角を求めることが可能となる。
上記の本発明(1)をより確実にトレーラの前面両端を検
出するため、本発明(2)に係るトレーラ連結角検出装置
は、トレーラと共に連結車両を形成するトラクタの所定
位置に設置されたテレビカメラと、該トレーラの前面パ
ネルの両端に設置した前面垂直マーカー及び該トレーラ
の各側面パネルの前端に設置した側面垂直マーカーと、
該テレビカメラによって撮影された該トレーラの前面パ
ネルの画像内の両前面垂直マーカーの画像位置を検出し
て比較し、該テレビカメラに接近して来る前面垂直マー
カーの画像位置から該連結角と屈曲方向を求め、該連結
角が所定値より大きくなったときには、該カメラに接近
して来る側面垂直マーカーを検出し、この側面垂直マー
カーの画像位置に基づいて該トレーラの連結角と屈曲方
向を求める演算処理装置と、を備えたことを特徴として
いる。
【００１３】この本発明(2)を図2(1)により原理的に説
明すると、トレーラ2の前面パネル2aの両端に前面垂直
マーカー5aR, 5aLを設置すると共に、トレーラ2の左右
側面パネル2bの各前端に側面垂直マーカー5bR, 5bLを設
置する。そして、トラクタに設置したテレビカメラでト
レーラ前面パネル2aを撮影し、この撮影した画像を処理
して前面垂直マーカー5aR, 5aLを抽出し、上記の本発明
(1)におけるコーナーエッジの場合と同様に連結角と屈
曲方向を求めることができる。これにより、コーナーエ
ッジを検出する場合より一層確実にトレーラ前面の両端
を検出することが可能となる。
明すると、トレーラ2の前面パネル2aの両端に前面垂直
マーカー5aR, 5aLを設置すると共に、トレーラ2の左右
側面パネル2bの各前端に側面垂直マーカー5bR, 5bLを設
置する。そして、トラクタに設置したテレビカメラでト
レーラ前面パネル2aを撮影し、この撮影した画像を処理
して前面垂直マーカー5aR, 5aLを抽出し、上記の本発明
(1)におけるコーナーエッジの場合と同様に連結角と屈
曲方向を求めることができる。これにより、コーナーエ
ッジを検出する場合より一層確実にトレーラ前面の両端
を検出することが可能となる。
【００１４】ただし、連結角が所定値より大きくなった
屈曲時には前面垂直マーカー5aR, 5aL をカメラで認識
できなくなる場合があるので、このような場合には、側
面垂直マーカーを検出し、この側面垂直マーカーの画像
位置に基づいて本発明(1)と同様にトレーラ2の連結角と
屈曲方向を求めることができる。
屈曲時には前面垂直マーカー5aR, 5aL をカメラで認識
できなくなる場合があるので、このような場合には、側
面垂直マーカーを検出し、この側面垂直マーカーの画像
位置に基づいて本発明(1)と同様にトレーラ2の連結角と
屈曲方向を求めることができる。
【００１５】上記の本発明(1)及び(2)においては、トレ
ーラが大きく屈曲したまま駐車していた後でシステムが
作動した場合などは、検出したコーナーエッジ又は垂直
マーカーが右側のものなのか左側のものなのかが判別で
きない。そこで、本発明(1)において、本発明(3)に係る
トレーラ連結角検出装置では、該トレーラの各側面パネ
ルの前端に、互いに形状が異なる識別マーカーを付加
し、該演算処理装置は、一方のコーナーエッジしか検出
できないとき、該検出したコーナーエッジ側の該識別マ
ーカーの形状を認識することにより、左右いずれのコー
ナーエッジであるかを認識して該連結角と該屈曲方向を
求めることができる。
ーラが大きく屈曲したまま駐車していた後でシステムが
作動した場合などは、検出したコーナーエッジ又は垂直
マーカーが右側のものなのか左側のものなのかが判別で
きない。そこで、本発明(1)において、本発明(3)に係る
トレーラ連結角検出装置では、該トレーラの各側面パネ
ルの前端に、互いに形状が異なる識別マーカーを付加
し、該演算処理装置は、一方のコーナーエッジしか検出
できないとき、該検出したコーナーエッジ側の該識別マ
ーカーの形状を認識することにより、左右いずれのコー
ナーエッジであるかを認識して該連結角と該屈曲方向を
求めることができる。
【００１６】すなわち、図3に原理的に示すように、ト
レーラ2の左右両側面パネル2bの前端に右と左で形状の
異なる識別マーカー50R, 50L(例えば図示のように左側
は○印、右側は□印など)を設置し、検出したマーカー
の形状を認識することにより、検出したコーナーエッジ
が左右どちら側であるかを判別することが可能となる。
レーラ2の左右両側面パネル2bの前端に右と左で形状の
異なる識別マーカー50R, 50L(例えば図示のように左側
は○印、右側は□印など)を設置し、検出したマーカー
の形状を認識することにより、検出したコーナーエッジ
が左右どちら側であるかを判別することが可能となる。
【００１７】同様にして、本発明(2)においても、本発
明(4)に係るトレーラ連結角検出装置は、該トレーラの
各側面パネルの前端に、互いに形状が異なる識別マーカ
ーを付加し、該演算処理装置は、両方の前面垂直マーカ
ーが検出できないとき、検出した側面垂直マーカーの該
識別マーカーの形状を認識することにより、左右いずれ
の側面垂直マーカーであるかを認識して該連結角と該屈
曲方向を求めることができる。
明(4)に係るトレーラ連結角検出装置は、該トレーラの
各側面パネルの前端に、互いに形状が異なる識別マーカ
ーを付加し、該演算処理装置は、両方の前面垂直マーカ
ーが検出できないとき、検出した側面垂直マーカーの該
識別マーカーの形状を認識することにより、左右いずれ
の側面垂直マーカーであるかを認識して該連結角と該屈
曲方向を求めることができる。
【００１８】すなわち、図4に原理的に示すように、本
発明(2)に示すような側面垂直マーカー5bR, 5bLに対し
て、互いに形状が異なる識別マーカー50R, 50Lを付加す
ることにより、検出した側面垂直マーカーが左右どちら
側であるかを判別することが可能となる。
発明(2)に示すような側面垂直マーカー5bR, 5bLに対し
て、互いに形状が異なる識別マーカー50R, 50Lを付加す
ることにより、検出した側面垂直マーカーが左右どちら
側であるかを判別することが可能となる。
【００１９】また、本発明(5)に係るトレーラ連結角検
出装置は、上記の本発明(1)において、該トレーラの各
側面パネルの前方に、同一形状の識別マーカーを付加
し、該演算処理装置は、一方のコーナーエッジしか検出
できないとき、検出したコーナーエッジの左右いずれの
側に該識別マーカーが検出されたかを判定して該連結角
と該屈曲方向を求めることができる。
出装置は、上記の本発明(1)において、該トレーラの各
側面パネルの前方に、同一形状の識別マーカーを付加
し、該演算処理装置は、一方のコーナーエッジしか検出
できないとき、検出したコーナーエッジの左右いずれの
側に該識別マーカーが検出されたかを判定して該連結角
と該屈曲方向を求めることができる。
【００２０】すなわち、本発明(5)は、図5に原理的に示
すように、トレーラ2の側面パネル2bに設けた識別マー
カー50R, 50L の形状を同一としており、一方のコーナ
ーエッジしか検出できない時に(この時には、検出され
たコーナーエッジに対応する識別マーカーは必ず検出さ
れる)、この検出されたコーナーエッジの左右いずれの
側に識別マーカーが検出されたかを判定すればトレーラ
の連結角と屈曲方向を求めることができる。この場合
は、識別マーカーの形状を1つだけ記憶しておけば済む
ことになる。
すように、トレーラ2の側面パネル2bに設けた識別マー
カー50R, 50L の形状を同一としており、一方のコーナ
ーエッジしか検出できない時に(この時には、検出され
たコーナーエッジに対応する識別マーカーは必ず検出さ
れる)、この検出されたコーナーエッジの左右いずれの
側に識別マーカーが検出されたかを判定すればトレーラ
の連結角と屈曲方向を求めることができる。この場合
は、識別マーカーの形状を1つだけ記憶しておけば済む
ことになる。
【００２１】これは、図2に示した本発明(2)に対して図
5の本発明(5)と同様に同一形状の識別マーカー50R, 50L
を設けた本発明(6)の場合も同様にして、識別マーカー
の記憶する形状を1つで済むことになる。また、本発明
(7)に係るトレーラ連結角検出装置では、上記の本発明
(2)において、テレビカメラをカラーテレビカメラと
し、図７に示すように、前面垂直マーカー5aR，5Al、及
び側面垂直マーカー5aR，5bLを同一色（例えば赤色）の
ものとすることにより、車外のノイズ物体を誤認識する
ことが防止できる。
5の本発明(5)と同様に同一形状の識別マーカー50R, 50L
を設けた本発明(6)の場合も同様にして、識別マーカー
の記憶する形状を1つで済むことになる。また、本発明
(7)に係るトレーラ連結角検出装置では、上記の本発明
(2)において、テレビカメラをカラーテレビカメラと
し、図７に示すように、前面垂直マーカー5aR，5Al、及
び側面垂直マーカー5aR，5bLを同一色（例えば赤色）の
ものとすることにより、車外のノイズ物体を誤認識する
ことが防止できる。
【００２２】また、本発明(8)に係るトレーラ連結角検
出装置においては、上記の本発明(2)において、テレビ
カメラをカラーテレビカメラとし、図8に原理的に示す
ように、少なくとも側面垂直マーカーを左右で異なる
色、例えば側面垂直マーカー5bRを緑色とし、側面垂直
マーカー5bL を青色としてもよい。
出装置においては、上記の本発明(2)において、テレビ
カメラをカラーテレビカメラとし、図8に原理的に示す
ように、少なくとも側面垂直マーカーを左右で異なる
色、例えば側面垂直マーカー5bRを緑色とし、側面垂直
マーカー5bL を青色としてもよい。
【００２３】このようにすることで、一方の側面垂直マ
ーカーしか認識されないときでも、その色により、その
側面垂直マーカーが左右どちらのものであるかを認識す
ることが可能となる。さらに本発明(9)に係るトレーラ
連結角検出装置は、上記の本発明(1)において、テレビ
カメラの画像に前面パネルの上端部が映るように該テレ
ビカメラを上向きに設置し、演算処理装置は、下開きコ
の字型のコーナーエッジ画像を認識することにより該コ
ーナーエッジを検出することができる。
ーカーしか認識されないときでも、その色により、その
側面垂直マーカーが左右どちらのものであるかを認識す
ることが可能となる。さらに本発明(9)に係るトレーラ
連結角検出装置は、上記の本発明(1)において、テレビ
カメラの画像に前面パネルの上端部が映るように該テレ
ビカメラを上向きに設置し、演算処理装置は、下開きコ
の字型のコーナーエッジ画像を認識することにより該コ
ーナーエッジを検出することができる。
【００２４】すなわち、図9に原理的に示すように、テ
レビカメラによって認識される画像認識エリアIAにおけ
るコーナーエッジ2R, 2L 及び2Uで形成される下開きコ
の字型画像を認識すれば、左右のコーナーエッジを誤り
無く判別することが可能となる。
レビカメラによって認識される画像認識エリアIAにおけ
るコーナーエッジ2R, 2L 及び2Uで形成される下開きコ
の字型画像を認識すれば、左右のコーナーエッジを誤り
無く判別することが可能となる。
【００２５】さらに本発明(10)に係るトレーラ連結角検
出装置は、図10に原理的に示すように、図9の本発明(9)
と同様に、下開きコの字型画像を認識する場合におい
て、前面パネル2aの上端部に上端水平線検出マーカー5a
Uを設置し、これを、上記の本発明(2)と同様にして下開
きコの字型の前面垂直マーカー画像を認識すれば、図9
に示すコーナーエッジの場合より一層確実に前面パネル
の移動、すなわちトレーラの連結角及び屈曲方向を検出
することが可能となる。
出装置は、図10に原理的に示すように、図9の本発明(9)
と同様に、下開きコの字型画像を認識する場合におい
て、前面パネル2aの上端部に上端水平線検出マーカー5a
Uを設置し、これを、上記の本発明(2)と同様にして下開
きコの字型の前面垂直マーカー画像を認識すれば、図9
に示すコーナーエッジの場合より一層確実に前面パネル
の移動、すなわちトレーラの連結角及び屈曲方向を検出
することが可能となる。
【００２６】なお、該演算処理装置は、コーナーエッジ
又は前面垂直マーカーの左右両方の画像位置から連結角
を求め、その平均値を出力するようにしてもよい。ま
た、該テレビカメラの位置を座標の原点としたとき、該
演算処理装置は、直進状態時を基準として該マーカーの
画像位置を該原点からの水平角度として求めると共に該
水平角度から車両諸定数を用いて該連結角を演算するこ
とができ、この演算結果を、該水平角度と該連結角との
関係として予めマップに記憶しておいてもよい。
又は前面垂直マーカーの左右両方の画像位置から連結角
を求め、その平均値を出力するようにしてもよい。ま
た、該テレビカメラの位置を座標の原点としたとき、該
演算処理装置は、直進状態時を基準として該マーカーの
画像位置を該原点からの水平角度として求めると共に該
水平角度から車両諸定数を用いて該連結角を演算するこ
とができ、この演算結果を、該水平角度と該連結角との
関係として予めマップに記憶しておいてもよい。
【００２７】さらに、該演算処理装置は、該マーカーの
種々のパターンを予め記憶しておき、該テレビカメラの
出力画像と比較することにより該マーカーの画像位置を
検出することができる。
種々のパターンを予め記憶しておき、該テレビカメラの
出力画像と比較することにより該マーカーの画像位置を
検出することができる。
【００２８】
【発明の実施の形態】上記の本発明(1)〜(10)の実施例
を図面を参照して以下に説明する。本発明(1)の実施例： 図11は、図1に原理的に示した本発
明(1)に係るトレーラ連結角検出装置の実施例を車両に
搭載した場合の概略平面図を示している。
を図面を参照して以下に説明する。本発明(1)の実施例： 図11は、図1に原理的に示した本発
明(1)に係るトレーラ連結角検出装置の実施例を車両に
搭載した場合の概略平面図を示している。
【００２９】図中、トラクタ1とトレーラ2とで連結車両
を形成し、回動連結部3を中心に回動するようになって
いる。テレビカメラ4は、トラクタ1のルーフ1aの所定位
置、例えば左右方向の中央部に設置されており、カメラ
視野角±δ0を有している。このカメラ視野角±δ0には
トレーラ2の前面パネル2aの両端のコーナーエッジ2R, 2
Lを含んでいる。
を形成し、回動連結部3を中心に回動するようになって
いる。テレビカメラ4は、トラクタ1のルーフ1aの所定位
置、例えば左右方向の中央部に設置されており、カメラ
視野角±δ0を有している。このカメラ視野角±δ0には
トレーラ2の前面パネル2aの両端のコーナーエッジ2R, 2
Lを含んでいる。
【００３０】このようなトレーラ連結角検出装置を搭載
した車両の側面概略図が図12(1)に示されている。この
側面図は、図11に示したトレーラ2における左側面パネ
ル2bを見た図であり、図示の如く、テレビカメラ4は前
面パネル2aの上半分が撮影可能な高さに設置されてい
る。また、テレビカメラ4は、トラクタ1内の例えばダッ
シュボード内に設けた演算処理装置6に接続されてい
る。
した車両の側面概略図が図12(1)に示されている。この
側面図は、図11に示したトレーラ2における左側面パネ
ル2bを見た図であり、図示の如く、テレビカメラ4は前
面パネル2aの上半分が撮影可能な高さに設置されてい
る。また、テレビカメラ4は、トラクタ1内の例えばダッ
シュボード内に設けた演算処理装置6に接続されてい
る。
【００３１】図13には、本発明(1)に係るトレーラ連結
角検出装置の実施例（及び後述する全ての実施例）の電
気的な回路構成例が示されており、特に、図12に示した
演算処理装置6の構成例が示されている。すなわち、テ
レビカメラ（白黒又はカラー）4の出力画像を画像メモ
リ6aに記憶し、この画像メモリ6aに記憶したデータに基
づいて画像処理部6bが微分処理、エッジ処理、2値化処
理を行ってこの処理結果を演算部6cに与えている。な
お、テレビカメラ4にカラーテレビカメラを用いた場合
には、画像処理部6bでは色抽出処理も行う。
角検出装置の実施例（及び後述する全ての実施例）の電
気的な回路構成例が示されており、特に、図12に示した
演算処理装置6の構成例が示されている。すなわち、テ
レビカメラ（白黒又はカラー）4の出力画像を画像メモ
リ6aに記憶し、この画像メモリ6aに記憶したデータに基
づいて画像処理部6bが微分処理、エッジ処理、2値化処
理を行ってこの処理結果を演算部6cに与えている。な
お、テレビカメラ4にカラーテレビカメラを用いた場合
には、画像処理部6bでは色抽出処理も行う。
【００３２】なお、このような画像認識技術について
は、例えば特公平6-52554号公報に記載されている公知
の技術を用いることができる。また、演算部6cは、後述
する各種のマーカーのパターン(形状／色彩)を予め記憶
している。図14は、上記のような演算処理装置6に格納
され且つ実行される処理プログラムのフローチャートを
示したものであり、特に上記の本発明(1)による連結角
θと屈曲方向を求める処理手順を示しており、以下、こ
の図14を参照して図11〜13に示した本発明(1)の動作実
施例を説明する。
は、例えば特公平6-52554号公報に記載されている公知
の技術を用いることができる。また、演算部6cは、後述
する各種のマーカーのパターン(形状／色彩)を予め記憶
している。図14は、上記のような演算処理装置6に格納
され且つ実行される処理プログラムのフローチャートを
示したものであり、特に上記の本発明(1)による連結角
θと屈曲方向を求める処理手順を示しており、以下、こ
の図14を参照して図11〜13に示した本発明(1)の動作実
施例を説明する。
【００３３】ステップS1：まず、演算処理装置6におけ
る画像メモリ6aはテレビカメラ4の出力画像を取り込ん
で、画像処理部6bに与えると、この画像処理部6bでは撮
影した画像の画像処理及び画像認識を実行する。
る画像メモリ6aはテレビカメラ4の出力画像を取り込ん
で、画像処理部6bに与えると、この画像処理部6bでは撮
影した画像の画像処理及び画像認識を実行する。
【００３４】ステップS2：左右のコーナーエッジ2R, 2L
を両方とも検出し認識しているか否かを判定する。認識
していればステップS3へ進み、認識していなければステ
ップS4へ進む。 ステップS3：画像内でのコーナーエッジ2R, 2Lの位置
(角度)δR, δLを検出してステップS5へ進む。
を両方とも検出し認識しているか否かを判定する。認識
していればステップS3へ進み、認識していなければステ
ップS4へ進む。 ステップS3：画像内でのコーナーエッジ2R, 2Lの位置
(角度)δR, δLを検出してステップS5へ進む。
【００３５】このコーナーエッジ2R, 2Lの画像内での位
置δR, δLの例が図15に示されており、同図(1)に示す
直進状態においては、画像内において最も広がった位置
に在ることが分かる。そして、例えば左方向に屈曲する
場合、その屈曲角度が大きくなるにしたがって、同図
(2)及び(3)に示すように、位置δR, δLが中心線0に近
づいて行き、さらに屈曲角が大きくなると、同図(4)に
示すように、左側のコーナーエッジ2Lが中心線0を越え
て右コーナーエッジ2Rに近づいてしまうことが分かる。
置δR, δLの例が図15に示されており、同図(1)に示す
直進状態においては、画像内において最も広がった位置
に在ることが分かる。そして、例えば左方向に屈曲する
場合、その屈曲角度が大きくなるにしたがって、同図
(2)及び(3)に示すように、位置δR, δLが中心線0に近
づいて行き、さらに屈曲角が大きくなると、同図(4)に
示すように、左側のコーナーエッジ2Lが中心線0を越え
て右コーナーエッジ2Rに近づいてしまうことが分かる。
【００３６】ステップS4：連結角検出不能であることを
運転者や被制御システムのコンピュータに通知する。こ
れには装置故障の他にトレーラの屈曲角が大きくなり過
ぎて一方のコーナーエッジしか検出できない場合が含ま
れる。
運転者や被制御システムのコンピュータに通知する。こ
れには装置故障の他にトレーラの屈曲角が大きくなり過
ぎて一方のコーナーエッジしか検出できない場合が含ま
れる。
【００３７】ステップS5：画像位置δR, δLの値を基に
予め記憶したマップから屈曲情報を読み取り、ステップ
S6へ進む。これは、例えば、図15に示したように、屈曲
状態及び屈曲方向によって画像位置δRとδLの値に差が
出るのでこの関係を予めマップに記憶しておき、検出さ
れた画像位置δRと δLの値をマップと比較することに
より屈曲情報を読み取ることができる。
予め記憶したマップから屈曲情報を読み取り、ステップ
S6へ進む。これは、例えば、図15に示したように、屈曲
状態及び屈曲方向によって画像位置δRとδLの値に差が
出るのでこの関係を予めマップに記憶しておき、検出さ
れた画像位置δRと δLの値をマップと比較することに
より屈曲情報を読み取ることができる。
【００３８】このようなメモリマップが、縦軸のカメラ
画像内角度δ(δR, δL)とトレーラ連結角θとの関係と
して図16に例示されており、以下に、このような図16に
示すマップを求める場合の計算例を示す。まず、図17に
示すように、テレビカメラ位置を座標の原点とし、トラ
クタの直進方向をX座標(後方向がプラス側)、左右方向
をY座標（右方向がプラス側）として、車両諸定数を以
下のとおりとする。
画像内角度δ(δR, δL)とトレーラ連結角θとの関係と
して図16に例示されており、以下に、このような図16に
示すマップを求める場合の計算例を示す。まず、図17に
示すように、テレビカメラ位置を座標の原点とし、トラ
クタの直進方向をX座標(後方向がプラス側)、左右方向
をY座標（右方向がプラス側）として、車両諸定数を以
下のとおりとする。
【００３９】・θ=トレーラ連結角 ・d=テレビカメラと回動連結部の間の距離 ・a=トレーラ前面パネルと回動連結部の間の距離 ・W： トレーラ幅の1/2 ・A： √(W2+a2) ・φ： 回動中心点とトレーラ前面パネル両端のコーナ
ーエッジ(2R, 2L)を結ぶ線とトレーラ中央線とのなす
角。φ=arctan(W/a) ・δ0：テレビカメラの最大視野角(片側) ・XR,YR：コーナーエッジ2Rのトレーラ回動中心からの
距離 ・XL,YL：コーナーエッジ2Lのトレーラ回動中心からの
距離 ・δR：テレビカメラとコーナーエッジ2Rを結ぶ線分とX
軸がなす角度 ・δL：テレビカメラとコーナーエッジ2Lを結ぶ線分とX
軸がなす角度 まず、左側については次式が成り立つ。
ーエッジ(2R, 2L)を結ぶ線とトレーラ中央線とのなす
角。φ=arctan(W/a) ・δ0：テレビカメラの最大視野角(片側) ・XR,YR：コーナーエッジ2Rのトレーラ回動中心からの
距離 ・XL,YL：コーナーエッジ2Lのトレーラ回動中心からの
距離 ・δR：テレビカメラとコーナーエッジ2Rを結ぶ線分とX
軸がなす角度 ・δL：テレビカメラとコーナーエッジ2Lを結ぶ線分とX
軸がなす角度 まず、左側については次式が成り立つ。
【００４０】 XL=A・cos(φ-θ) …式(1) XL=A・sin(φ-θ) …式(2) コーナーエッジ2Lの座標は[(d-XL),YL]であるから次式
が得られる。 δL=arctan(YL/(d-XL)) …式(3) 次に右側については次式が成り立つ。
が得られる。 δL=arctan(YL/(d-XL)) …式(3) 次に右側については次式が成り立つ。
【００４１】 XR=A・cos(φ+θ) …式(4) XR=A・sin(φ+θ) …式(5) コーナーエッジ2Rの座標は[(d-XR),YR] であるから次式
が得られる。 δR=arctan(YR/(d-XR)) …式(6) この様にして、連結角θと画像位置δL，δRの関係を求
めることができる。
が得られる。 δR=arctan(YR/(d-XR)) …式(6) この様にして、連結角θと画像位置δL，δRの関係を求
めることができる。
【００４２】従って、画像位置δLとδRの値と連結角θ
を予め演算してメモリマップとして記憶しておけば、図
16に示す各特性曲線が得られ、画像位置δLとδRからト
レーラ連結角θを求めることができる。 ステップＳ6：トレーラ2が屈曲しているか否かを、例え
ばδR=δLであるか否かにより判定する。屈曲していれ
ばステップＳ7へ進み、屈曲していなければステップＳ1
1へ進む。
を予め演算してメモリマップとして記憶しておけば、図
16に示す各特性曲線が得られ、画像位置δLとδRからト
レーラ連結角θを求めることができる。 ステップＳ6：トレーラ2が屈曲しているか否かを、例え
ばδR=δLであるか否かにより判定する。屈曲していれ
ばステップＳ7へ進み、屈曲していなければステップＳ1
1へ進む。
【００４３】ステップＳ7：屈曲している時は屈曲方向
を、例えばδR>δLであるか否かにより判定する。左折
方向に屈曲しているならステップＳ7に進み、右折方向
に屈曲しているのならステップＳ8へ進む。
を、例えばδR>δLであるか否かにより判定する。左折
方向に屈曲しているならステップＳ7に進み、右折方向
に屈曲しているのならステップＳ8へ進む。
【００４４】ステップＳ8：画像位置δLのみデータとし
て採用する。 ステップＳ9：画像位置δRのみデータとして採用する。
て採用する。 ステップＳ9：画像位置δRのみデータとして採用する。
【００４５】ステップＳ10：採用された画像位置δR 又
はδＬに基づいて図16に示したマップから連結角θを読
み出し、ステップＳ12へ進む。 ステップＳ11：連結角θを“0”と置き、ステップＳ12
へ進む。
はδＬに基づいて図16に示したマップから連結角θを読
み出し、ステップＳ12へ進む。 ステップＳ11：連結角θを“0”と置き、ステップＳ12
へ進む。
【００４６】ステップＳ12：屈曲方向と連結角θを決定
してこのルーチンを抜ける。なお、このフローにおいて
は、ステップＳ7〜Ｓ9で屈曲方向に基づいて演算に使用
するコーナーエッジを選別しているが、画像位置δRと
δLのそれぞれを用いて連結角θを求め、その平均値を
とってもよい。
してこのルーチンを抜ける。なお、このフローにおいて
は、ステップＳ7〜Ｓ9で屈曲方向に基づいて演算に使用
するコーナーエッジを選別しているが、画像位置δRと
δLのそれぞれを用いて連結角θを求め、その平均値を
とってもよい。
【００４７】また、このフローでは画像内の各コーナー
エッジの位置から角度を演算して連結角を求めている
が、画像内の左右コーナーエッジの幅とその中心位置を
演算に用いてもよい。本発明(2)の実施例： 図18は、図2に原理的に示した本発
明(2)に係るトレーラ連結角検出装置の実施例を平面図
で示したものであり、この実施例においては、図11に示
した本発明(1)の実施例に対して、図12(2)にも示すよう
にトレーラ2の前面パネル2ａの両端に前面垂直マーカー
5aR, 5aLを設置すると共に、側面パネル2bのそれぞれに
おいて、前端に側面垂直マーカー5bR, 5 bLを設けてい
る点が異なっている。
エッジの位置から角度を演算して連結角を求めている
が、画像内の左右コーナーエッジの幅とその中心位置を
演算に用いてもよい。本発明(2)の実施例： 図18は、図2に原理的に示した本発
明(2)に係るトレーラ連結角検出装置の実施例を平面図
で示したものであり、この実施例においては、図11に示
した本発明(1)の実施例に対して、図12(2)にも示すよう
にトレーラ2の前面パネル2ａの両端に前面垂直マーカー
5aR, 5aLを設置すると共に、側面パネル2bのそれぞれに
おいて、前端に側面垂直マーカー5bR, 5 bLを設けてい
る点が異なっている。
【００４８】図19は、このような本発明(2)の動作実施
例を示したものであり、以下、図19を参照して本発明
(2)の実施例を説明する。 ステップS21：図14のステップS1と同様にテレビカメラ4
でトレーラ2の前面パネル2aを撮影し、画像処理と画像
認識を実行する。
例を示したものであり、以下、図19を参照して本発明
(2)の実施例を説明する。 ステップS21：図14のステップS1と同様にテレビカメラ4
でトレーラ2の前面パネル2aを撮影し、画像処理と画像
認識を実行する。
【００４９】ステップS22：前面垂直マーカー5aR, 5aL
が共に検出され認識されているか否かを判定する。認識
されていればステップS23へ進み、認識されていなけれ
ばステップS24へ進む。
が共に検出され認識されているか否かを判定する。認識
されていればステップS23へ進み、認識されていなけれ
ばステップS24へ進む。
【００５０】ステップS23：画像内での両前面垂直マー
カー5aR, 5aLの位置δaR, δaL を検出してステップS25
へ進む。 ステップS24：図14のステップS4と同様に連結角検出不
能であることを運転者や被制御システムのコンピュータ
に通知する。
カー5aR, 5aLの位置δaR, δaL を検出してステップS25
へ進む。 ステップS24：図14のステップS4と同様に連結角検出不
能であることを運転者や被制御システムのコンピュータ
に通知する。
【００５１】ステップS25：画像位置δaR, δaLの値を
基に図16に示したメモリマップから屈曲情報を読み取
る。 ステップS26：屈曲しているか否かを判定する。屈曲し
ている時はステップS27へ進み、屈曲していない時はス
テップS28へ進む。
基に図16に示したメモリマップから屈曲情報を読み取
る。 ステップS26：屈曲しているか否かを判定する。屈曲し
ている時はステップS27へ進み、屈曲していない時はス
テップS28へ進む。
【００５２】ステップS27：メモリマップから読み取っ
た情報から屈曲方向を判定する。左屈曲の場合はステッ
プS29へ、右屈曲の場合はステップS30へ進む。 ステップS28：連結角θを“0”と置いてステップS37へ
進む。
た情報から屈曲方向を判定する。左屈曲の場合はステッ
プS29へ、右屈曲の場合はステップS30へ進む。 ステップS28：連結角θを“0”と置いてステップS37へ
進む。
【００５３】ステップS29：左屈曲と認定し、画像位置
δaLだけをデータとして採用し、ステップS31へ進む。 ステップS30：右屈曲と認定し、画像位置δaRだけをデ
ータとして採用し、ステップS31へ進む。
δaLだけをデータとして採用し、ステップS31へ進む。 ステップS30：右屈曲と認定し、画像位置δaRだけをデ
ータとして採用し、ステップS31へ進む。
【００５４】ステップS31：検出した画像位置δaL又は
δaRに基づきメモリマップから連結角θを読み出してス
テップS32へ進む。 ステップS32：メモリマップから読み出した連結角θが
所定位置より大きいか否かを判定する。所定値より大き
ければステップS33へ進み、大きくなければステップS37
へ進む。
δaRに基づきメモリマップから連結角θを読み出してス
テップS32へ進む。 ステップS32：メモリマップから読み出した連結角θが
所定位置より大きいか否かを判定する。所定値より大き
ければステップS33へ進み、大きくなければステップS37
へ進む。
【００５５】なお、この所定値はカメラ4が側面垂直マ
ーカー5bR, 5bLを検出できる程度の値に設定することが
望ましい。 ステップS33：側面垂直マーカー5bR, 5bLを検出してい
るか否かを判定する。検出している時はステップS34に
進み、検出していなければステップS35へ進む。
ーカー5bR, 5bLを検出できる程度の値に設定することが
望ましい。 ステップS33：側面垂直マーカー5bR, 5bLを検出してい
るか否かを判定する。検出している時はステップS34に
進み、検出していなければステップS35へ進む。
【００５６】ステップS34：検出している側面垂直マー
カー5bR又は5bLの画像位置δbR又はδbLの画像内の位置
を検出してステップS36へ進む。 ステップS35：連結角θが所定値より大きいにも関わら
ず、側面垂直マーカー5bR, 5bLが検出できないというこ
とは故障であると判断されるので、故障ウォーニングを
発生して制御を終了する。
カー5bR又は5bLの画像位置δbR又はδbLの画像内の位置
を検出してステップS36へ進む。 ステップS35：連結角θが所定値より大きいにも関わら
ず、側面垂直マーカー5bR, 5bLが検出できないというこ
とは故障であると判断されるので、故障ウォーニングを
発生して制御を終了する。
【００５７】ステップS36：検出した画像位置δbR又は
δbLの値を基に側面マップ(δbとθとのマップ)から連
結角を読み出してステップS37へ進む。 ステップS37：屈曲方向と連結角θを決定してこのルー
チンを抜ける。
δbLの値を基に側面マップ(δbとθとのマップ)から連
結角を読み出してステップS37へ進む。 ステップS37：屈曲方向と連結角θを決定してこのルー
チンを抜ける。
【００５８】ここで、側面垂直マーカー5bL,5bRから連
結角θを求める原理について説明する。図20は、1台の
テレビカメラ4を用いた場合において、左側面垂直マー
カー5bLを検出してトレーラ連結角θを求める場合の説
明図であり、まず、以下のようにして左側面垂直マーカ
ー5bLの角度位置δLを求める。
結角θを求める原理について説明する。図20は、1台の
テレビカメラ4を用いた場合において、左側面垂直マー
カー5bLを検出してトレーラ連結角θを求める場合の説
明図であり、まず、以下のようにして左側面垂直マーカ
ー5bLの角度位置δLを求める。
【００５９】まず、車両諸定数d, w, a, φ, Aは上記と
同様である。さらに、 ＸL：左側面垂直マーカー5bLの水平基準線からの距離 ＹL：左側面垂直マーカー5bLのトレーラ回動中心3から
の距離 とすると、ＸL,ＹLは上記の式(1)及び(2)で表される。
同様である。さらに、 ＸL：左側面垂直マーカー5bLの水平基準線からの距離 ＹL：左側面垂直マーカー5bLのトレーラ回動中心3から
の距離 とすると、ＸL,ＹLは上記の式(1)及び(2)で表される。
【００６０】また、カメラ4を座標の原点Oとすると左側
面垂直マーカー5bLの座標は、[d-XL,YL]であり、従って
角度δLは式(3)で表されることになる。従って、これら
の式からコーナーエッジや前面垂直マーカーの場合と同
様に連結角θが求められる。この場合も実施例(1)と同
様に側面用マップとして連結角θと角度δLとの関係を
予め記憶しておけばよい。
面垂直マーカー5bLの座標は、[d-XL,YL]であり、従って
角度δLは式(3)で表されることになる。従って、これら
の式からコーナーエッジや前面垂直マーカーの場合と同
様に連結角θが求められる。この場合も実施例(1)と同
様に側面用マップとして連結角θと角度δLとの関係を
予め記憶しておけばよい。
【００６１】次に、図3〜図10に示した本発明(3)〜(10)
の動作実施例を図21〜図23のフローチャートを参照して
以下に順次説明する。本発明(3)の動作実施例(図21参照)： 本発明(3)は本発明
(1)を改良したものであり（図1及び3参照）、図21にお
けるステップS1〜S12は図14に示した本発明(1)の動作実
施例と同様であり、これらのステップに、ステップS41
〜S50が加えられている点が異なっている。
の動作実施例を図21〜図23のフローチャートを参照して
以下に順次説明する。本発明(3)の動作実施例(図21参照)： 本発明(3)は本発明
(1)を改良したものであり（図1及び3参照）、図21にお
けるステップS1〜S12は図14に示した本発明(1)の動作実
施例と同様であり、これらのステップに、ステップS41
〜S50が加えられている点が異なっている。
【００６２】ステップS41：検出したコーナーエッジの
数を判定する。2本とも検出しているならステップS3へ
進み、1本しか検出していないならステップS42へ進む。 ステップS42：ステップS41でコーナーエッジの検出数が
1本と判定された場合は、そのコーナーエッジの画像内
の位置δxを検出してステップS43へ進む。
数を判定する。2本とも検出しているならステップS3へ
進み、1本しか検出していないならステップS42へ進む。 ステップS42：ステップS41でコーナーエッジの検出数が
1本と判定された場合は、そのコーナーエッジの画像内
の位置δxを検出してステップS43へ進む。
【００６３】ステップS43：識別マーカー50R, 50Lを検
出しているか否かを判定する。検出しているときはステ
ップS44へ進み、検出していなければステップS45へ進
む。 ステップS44：検出した識別マーカーが左右どちら側の
ものかをマーカーの形状により判定する。検出したマー
カーが右側のマーカー50RならステップS46へ進み、左側
のマーカー50Lならステップ S47へ進む。
出しているか否かを判定する。検出しているときはステ
ップS44へ進み、検出していなければステップS45へ進
む。 ステップS44：検出した識別マーカーが左右どちら側の
ものかをマーカーの形状により判定する。検出したマー
カーが右側のマーカー50RならステップS46へ進み、左側
のマーカー50Lならステップ S47へ進む。
【００６４】ステップS45：コーナーエッジを1本も検出
していないとき、及びコーナーエッジ検出数が1本と判
定されたときで識別マーカーを検出していないときは故
障と判定され、故障ウォーニングを発生して処理を終了
する。
していないとき、及びコーナーエッジ検出数が1本と判
定されたときで識別マーカーを検出していないときは故
障と判定され、故障ウォーニングを発生して処理を終了
する。
【００６５】ステップS46：右屈曲と認定してステップS
48へ進む。 ステップS47：左屈曲と認定してステップS49へ進む。
48へ進む。 ステップS47：左屈曲と認定してステップS49へ進む。
【００６６】ステップS48：ステップS42で検出した画像
位置δx=δRと置き換えてステップS50へ進む。 ステップS49：ステップS42で検出した画像位置δx=δL
と置き換えてステップS50へ進む。
位置δx=δRと置き換えてステップS50へ進む。 ステップS49：ステップS42で検出した画像位置δx=δL
と置き換えてステップS50へ進む。
【００６７】ステップS50：検出した画像位置δR又はδ
Lの値を基に、上記のメモリマップから連結角θを読み
出してステップS12へ進む。本発明(4)の動作実施例(図22参照)： 本発明(4)は本発明
(2)を改良したものであるので（図2及び4参照）、ステ
ップS21〜S37が共通になっているが、ただし、ステップ
S34の代わりにステップS38が挿入され、またステップS5
1〜S56が以下の通り追加されている。
Lの値を基に、上記のメモリマップから連結角θを読み
出してステップS12へ進む。本発明(4)の動作実施例(図22参照)： 本発明(4)は本発明
(2)を改良したものであるので（図2及び4参照）、ステ
ップS21〜S37が共通になっているが、ただし、ステップ
S34の代わりにステップS38が挿入され、またステップS5
1〜S56が以下の通り追加されている。
【００６８】ステップS38：ステップS33で側面垂直マー
カーを認識しているとき、さらに識別マーカーを認識し
ているか否かを判定し、認識しているときはステップS5
1へ進み、認識していないときはステップS35へ進む。
カーを認識しているとき、さらに識別マーカーを認識し
ているか否かを判定し、認識しているときはステップS5
1へ進み、認識していないときはステップS35へ進む。
【００６９】ステップS51：ステップS38で認識された識
別マーカーが左右どちら側のものかをマーカーの形状に
より判定する。検出したマーカーが右側の識別マーカー
50RならステップS52へ進み、左側の識別マーカー50Lな
らステップS53へ進む。
別マーカーが左右どちら側のものかをマーカーの形状に
より判定する。検出したマーカーが右側の識別マーカー
50RならステップS52へ進み、左側の識別マーカー50Lな
らステップS53へ進む。
【００７０】ステップS52：右屈曲と認定してステップS
54へ進む。 ステップS53：左屈曲と認定してステップS55へ進む。
54へ進む。 ステップS53：左屈曲と認定してステップS55へ進む。
【００７１】ステップS54：画像内の右側側面垂直マー
カー5bRの画像位置δbRを検出してステップS56へ進む。 ステップS55：画像内の左側側面垂直マーカー5bLの位置
δbLを検出してステップS56へ進む。
カー5bRの画像位置δbRを検出してステップS56へ進む。 ステップS55：画像内の左側側面垂直マーカー5bLの位置
δbLを検出してステップS56へ進む。
【００７２】ステップS56：検出した画像位置δbR又は
δbLの値を基に、上記のマップから連結角θを読み出し
てステップS37へ進む。本発明(5)の動作実施例(図21参照)： この本発明(5)は本
発明(1)を改良したものであるので（図1及び5参照）、
図21に示す本発明(3)と同様であるが、ステップS44のみ
が異なっている。
δbLの値を基に、上記のマップから連結角θを読み出し
てステップS37へ進む。本発明(5)の動作実施例(図21参照)： この本発明(5)は本
発明(1)を改良したものであるので（図1及び5参照）、
図21に示す本発明(3)と同様であるが、ステップS44のみ
が異なっている。
【００７３】ステップS44：図5に示すように、識別マー
カー50Rと50Lが同一形状であるので、「検出された識別
マーカーは、検出されたコーナーエッジの左右どちら側
に在るか」を判定している。
カー50Rと50Lが同一形状であるので、「検出された識別
マーカーは、検出されたコーナーエッジの左右どちら側
に在るか」を判定している。
【００７４】本発明(6)の動作実施例(図22参照)：この
本発明(6)は本発明(2)を改良したものであるので（図2
及び6参照）、図22に示す動作実施例と同様であるが、
ただしステップS51においては、本発明(5)の場合と同様
に「検出された識別マーカーは、検出された側面垂直マ
ーカーの左右どちら側に在るか」を判定することにな
る。
本発明(6)は本発明(2)を改良したものであるので（図2
及び6参照）、図22に示す動作実施例と同様であるが、
ただしステップS51においては、本発明(5)の場合と同様
に「検出された識別マーカーは、検出された側面垂直マ
ーカーの左右どちら側に在るか」を判定することにな
る。
【００７５】本発明(7)の動作実施例(図19参照)：この
本発明(7)は図7に示したように、すべてのマーカーを同
一色に設定しているので、図19に示した本発明(2)の動
作実施例において、ステップS21において「色抽出」を同
時に実行する点が異なっている。
本発明(7)は図7に示したように、すべてのマーカーを同
一色に設定しているので、図19に示した本発明(2)の動
作実施例において、ステップS21において「色抽出」を同
時に実行する点が異なっている。
【００７６】本発明(8)の動作実施例(図22参照)：この
本発明(8)は本発明(2)を改良したものであり（図2及び8
参照）、且つ図8に示したように側面垂直マーカーと前
面垂直マーカーとを異なる色に設定したので、ステップ
S51においては、マーカー色は左右どちらであるかを判
定している点が異なっている。
本発明(8)は本発明(2)を改良したものであり（図2及び8
参照）、且つ図8に示したように側面垂直マーカーと前
面垂直マーカーとを異なる色に設定したので、ステップ
S51においては、マーカー色は左右どちらであるかを判
定している点が異なっている。
【００７７】本発明(9)の動作実施例(図23参照)：この
本発明(9)は図14に示した本発明(1)の動作実施例を流用
したものであり（図1及び9参照）、従って図23のフロー
チャートにおいてはステップS61 のみが、図14におけ
るステップS2に置き換わっている。
本発明(9)は図14に示した本発明(1)の動作実施例を流用
したものであり（図1及び9参照）、従って図23のフロー
チャートにおいてはステップS61 のみが、図14におけ
るステップS2に置き換わっている。
【００７８】すなわち、このステップS61においては、
下開きコの字型のコーナーエッジ画像が認識されている
か否かを判定し、認識されているときには各コーナーエ
ッジの画像位置を検出してステップS3以下を実行するこ
とになる。図23には本発明(9)の画像例が示されてお
り、同図(1)に示す直進時は下開きのコの字型の画像に
なっているが、屈曲角度が大きくなるに従って、同図
(2)〜(4)に示すような画像に変形していることが分か
る。
下開きコの字型のコーナーエッジ画像が認識されている
か否かを判定し、認識されているときには各コーナーエ
ッジの画像位置を検出してステップS3以下を実行するこ
とになる。図23には本発明(9)の画像例が示されてお
り、同図(1)に示す直進時は下開きのコの字型の画像に
なっているが、屈曲角度が大きくなるに従って、同図
(2)〜(4)に示すような画像に変形していることが分か
る。
【００７９】本発明(10)の動作実施例(図24参照)：この
本発明(10)は上記の本発明(9)において本発明(2)の側面
垂直マーカーを用いた点が異なっているので（図10及び
12(3)参照）、図24においては、コーナーエッジの代わ
りに前面垂直マーカーを用い、画像位置δRの代わりに
δaRを用い、δLの代わりにδaLを用いている。
本発明(10)は上記の本発明(9)において本発明(2)の側面
垂直マーカーを用いた点が異なっているので（図10及び
12(3)参照）、図24においては、コーナーエッジの代わ
りに前面垂直マーカーを用い、画像位置δRの代わりに
δaRを用い、δLの代わりにδaLを用いている。
【００８０】なお、上記の各実施例において、各垂直マ
ーカーは、図2(2)に示したように、例えば白―黒で構成
し、明度の急変する中央部を検出することが望ましく、
ペイントの塗布でもシート状のものを張り付けても構わ
ない。また、各マーカーの幅は、画像処理したときに
「線分」として認識される程度のやや狭い幅を持たせるこ
とが好ましいが、幅が広くて画像処理の結果、「幅」が検
出されるときは幅の両端の中央部をマーカー位置として
も内側のエッジを外側のエッジをマーカー位置と設定し
ても構わない。
ーカーは、図2(2)に示したように、例えば白―黒で構成
し、明度の急変する中央部を検出することが望ましく、
ペイントの塗布でもシート状のものを張り付けても構わ
ない。また、各マーカーの幅は、画像処理したときに
「線分」として認識される程度のやや狭い幅を持たせるこ
とが好ましいが、幅が広くて画像処理の結果、「幅」が検
出されるときは幅の両端の中央部をマーカー位置として
も内側のエッジを外側のエッジをマーカー位置と設定し
ても構わない。
【００８１】
【発明の効果】以上説明したように、本発明に係るトレ
ーラ連結角検出装置によれば、トラクタに設置されたテ
レビカメラによって撮影されたトレーラの前面パネルの
良好なコーナーエッジ又はコーナーエッジに設けた前面
垂直マーカー及び側面垂直マーカーの画像位置を検出し
て、カメラに接近して来るコーナーエッジ又は垂直マー
カーの画像位置からトレーラの連結角と屈曲方向を求め
るように構成したので、トラクタとトレーラの連結角を
正確で保安上の問題がなく、構造が簡単であり、非接触
式で検出することが可能となる。
ーラ連結角検出装置によれば、トラクタに設置されたテ
レビカメラによって撮影されたトレーラの前面パネルの
良好なコーナーエッジ又はコーナーエッジに設けた前面
垂直マーカー及び側面垂直マーカーの画像位置を検出し
て、カメラに接近して来るコーナーエッジ又は垂直マー
カーの画像位置からトレーラの連結角と屈曲方向を求め
るように構成したので、トラクタとトレーラの連結角を
正確で保安上の問題がなく、構造が簡単であり、非接触
式で検出することが可能となる。
【図1】本発明(1)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図2】本発明(2)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図3】本発明(3)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図4】本発明(4)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図5】本発明(5)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図6】本発明(6)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図7】本発明(7)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図8】本発明(8)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図9】本発明(9)に係るトレーラ連結角検出装置の原理
説明ブロック図である。
説明ブロック図である。
【図10】本発明(10)に係るトレーラ連結角検出装置の原
理説明ブロック図である。
理説明ブロック図である。
【図11】本発明(1)に係るトレーラ連結角検出装置の実
施例平面図である。
施例平面図である。
【図12】本発明に係るトレーラ連結角検出装置の実施例
側面図である。
側面図である。
【図13】本発明に係るトレーラ連結角検出装置の各実施
例に用いる回路構成例を示したブロック図である。
例に用いる回路構成例を示したブロック図である。
【図14】本発明(1)の動作実施例を示したフローチャー
ト図である。
ト図である。
【図15】本発明(1)の画像例を示した図である。
【図16】本発明に係るトレーラ連結角検出装置において
左折時の連結角とカメラ画像内角度との関係を示したメ
モリマップ図である。
左折時の連結角とカメラ画像内角度との関係を示したメ
モリマップ図である。
【図17】本発明に係るトレーラ連結角検出装置において
前面コーナーエッジの検出例を示した平面図である。
前面コーナーエッジの検出例を示した平面図である。
【図18】本発明(2)に係るトレーラ連結角検出装置の実
施例平面図である。
施例平面図である。
【図19】本発明(2)及び(7)の動作実施例を示したフロー
チャート図である。
チャート図である。
【図20】本発明に係るトレーラ連結角検出装置の側面垂
直マーカー検出例を示した平面図である。
直マーカー検出例を示した平面図である。
【図21】本発明(3)及び(5) に係るトレーラ連結角検出
装置の動作実施例を示したフローチャート図である。
装置の動作実施例を示したフローチャート図である。
【図22】本発明(4)、(6)、及び(8)に係るトレーラ連結
角検出装置の動作実施例のフローチャート図である。
角検出装置の動作実施例のフローチャート図である。
【図23】本発明(9)に係るトレーラ連結角検出装置の画
像例を示した図である。
像例を示した図である。
【図24】本発明(9)及び(10)に係るトレーラ連結角検出
装置の動作実施例を示したフローチャート図である。
装置の動作実施例を示したフローチャート図である。
1 トラクタ 1a トラクタのルーフ 2 トレーラ 2a トレーラ前面パネル 2b トレーラ側面パネル 2R, 2L コーナーエッジ 3 回動連結部 4 テレビカメラ 5aR, 5aL 前面垂直マーカー 5bR, 5bL 側面垂直マーカー 50R, 50L 識別マーカー 6a 画像メモリ 6b 画像処理部 6c 演算部 θ 連結角 ±δ0 カメラ視野角 δR ,δL 画像位置 図中、同一符号は同一又は相当部分を示す。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 １５０ Ｇ０６Ｔ 7/60 １５０Ｐ
Claims (14)
- 【請求項１】トレーラと共に連結車両を形成するトラク
タの所定位置に設置されたテレビカメラと、 該テレビカメラによって撮影された該トレーラの前面パ
ネルの画像内の両コーナーエッジの画像位置を検出して
比較し、該テレビカメラに接近して来るコーナーエッジ
の画像位置に基づいて該トレーラの連結角と屈曲方向を
求める演算処理装置と、 を備えたことを特徴とするトレーラ連結角検出装置。 - 【請求項２】トレーラと共に連結車両を形成するトラク
タの所定位置に設置されたテレビカメラと、 該トレーラの前面パネルの両端に設置した前面垂直マー
カー及び該トレーラの各側面パネルの前端に設置した側
面垂直マーカーと、 該テレビカメラによって撮影された該トレーラの前面パ
ネルの画像内の両前面垂直マーカーの画像位置を検出し
て比較し、該テレビカメラに接近して来る前面垂直マー
カーの画像位置から該連結角と屈曲方向を求め、該連結
角が所定値より大きくなったときには、該カメラに接近
して来る側面垂直マーカーを検出し、この側面垂直マー
カーの画像位置に基づいて該トレーラの連結角と屈曲方
向を求める演算処理装置と、 を備えたことを特徴としたトレーラ連結角検出装置。 - 【請求項３】請求項１において、 該トレーラの各側面パネルの前端に、互いに形状が異な
る識別マーカーを付加し、該演算処理装置は、一方のコ
ーナーエッジしか検出できないとき、該検出したコーナ
ーエッジ側の該識別マーカーの形状を認識することによ
り、左右いずれのコーナーエッジであるかを認識して該
連結角と該屈曲方向を求めることを特徴としたトレーラ
連結角検出装置。 - 【請求項４】請求項２において、 該トレーラの各側面パネルの前端に、互いに形状が異な
る識別マーカーを付加し、該演算処理装置は、両方の前
面垂直マーカーが検出できないとき、該検出した側面垂
直マーカーの該識別マーカーの形状を認識することによ
り、左右いずれの側面垂直マーカーであるかを認識して
該連結角と該屈曲方向を求めることを特徴としたトレー
ラ連結角検出装置。 - 【請求項５】請求項１において、 該トレーラの各側面パネルの前端に、同一形状の識別マ
ーカーを付加し、該演算処理装置は、一方のコーナーエ
ッジしか検出できないとき、検出したコーナーエッジの
左右いずれの側に該識別マーカーが検出されたかを判定
して該連結角と該屈曲方向を求めることを特徴としたト
レーラ連結角検出装置。 - 【請求項６】請求項２において、 該トレーラの各側面パネルの前端に、同一形状の識別マ
ーカーを付加し、該演算処理装置は、両方の前面垂直マ
ーカーが検出できないとき、検出した側面垂直マーカの
左右いずれの側に該識別マーカーが検出されたかを判定
して該連結角と該屈曲方向を求めることを特徴としたト
レーラ連結角検出装置。 - 【請求項７】請求項２において、 該テレビカメラがカラーテレビカメラであり、各マーカ
ーが同一色のものであることを特徴としたトレーラ連結
角検出装置。 - 【請求項８】請求項２において、 該テレビカメラがカラーテレビカメラであり、少なくと
も該側面垂直マーカーが、該トレーラの左右で異なる色
のものであることを特徴としたトレーラ連結角検出装
置。 - 【請求項９】請求項１において、 該テレビカメラの画像に該前面パネルの上端部が写るよ
うに該テレビカメラを上向きに設置し、該演算処理装置
は、下開きコの字型のコーナーエッジ画像を認識するこ
とにより該コーナーエッジを検出することを特徴とした
トレーラ連結角検出装置。 - 【請求項１０】請求項２において、 該テレビカメラの画像に該前面パネルの上端部が写るよ
うに該テレビカメラを上向きに設置すると共に該前面パ
ネルの上端部に上端水平線検出マーカーを設置し、該演
算処理装置は、下開きコの字型のマーカー画像を認識す
ることにより該コーナーエッジを検出することを特徴と
したトレーラ連結角検出装置。 - 【請求項１１】請求項１乃至１０のいずれかにおいて、 該演算処理装置は、コーナーエッジ又は前面垂直マーカ
ーの左右両方の画像位置から連結角を求め、その平均値
を出力することを特徴としたトレーラ連結角検出装置。 - 【請求項１２】請求項１乃至１１のいずれかにおいて、 該テレビカメラの位置を座標の原点としたとき、該演算
処理装置は、直進状態時を基準として該マーカーの画像
位置を該原点からの水平角度として求めると共に該水平
角度から車両諸定数を用いて該連結角を求めることを特
徴としたトレーラ連結角検出装置。 - 【請求項１３】請求項１２において、 該水平角度と該連結角との関係が予めマップに記憶され
ていることを特徴としたトレーラ連結角検出装置。 - 【請求項１４】請求項１乃至１３のいずれかにおいて、 該演算処理装置が該マーカーの種々のパターンを予め記
憶しておき、該テレビカメラの出力画像と比較すること
により該マーカーの画像位置を検出することを特徴とし
たトレーラ連結角検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000253908A JP3716722B2 (ja) | 2000-08-24 | 2000-08-24 | トレーラ連結角検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000253908A JP3716722B2 (ja) | 2000-08-24 | 2000-08-24 | トレーラ連結角検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002068032A true JP2002068032A (ja) | 2002-03-08 |
| JP3716722B2 JP3716722B2 (ja) | 2005-11-16 |
Family
ID=18742937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000253908A Expired - Fee Related JP3716722B2 (ja) | 2000-08-24 | 2000-08-24 | トレーラ連結角検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3716722B2 (ja) |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004050149A1 (de) * | 2004-10-15 | 2006-04-20 | Daimlerchrysler Ag | Verfahren zur Bestimmung von Deichsel- und Trailerwinkel |
| DE102006007805A1 (de) * | 2006-02-17 | 2007-08-30 | Daimlerchrysler Ag | Verfahren zur Bestimmung des Anhängerwinkels zwischen einem Zugfahrzeug und einem dazugehörigen Anhänger |
| GB2447672A (en) * | 2007-03-21 | 2008-09-24 | Ford Global Tech Llc | Vehicle manoeuvring aids |
| DE102009012253A1 (de) | 2009-03-07 | 2010-09-09 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespanns aus Zugfahrzeug mit Anhänger |
| KR101131129B1 (ko) * | 2011-07-05 | 2012-03-26 | 한국항공우주연구원 | 식별자 및 영상감지시스템을 이용한 연결식 차량의 사고예방장치 |
| US9102272B2 (en) | 2011-04-19 | 2015-08-11 | Ford Global Technologies, Llc | Trailer target monitoring system and method |
| US9102271B2 (en) | 2011-04-19 | 2015-08-11 | Ford Global Technologies, Llc | Trailer monitoring system and method |
| US9248858B2 (en) | 2011-04-19 | 2016-02-02 | Ford Global Technologies | Trailer backup assist system |
| US9283892B2 (en) | 2011-04-19 | 2016-03-15 | Ford Global Technologies, Llc | Method and system for monitoring placement of a target on a trailer |
| US9290202B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
| US9290203B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9296422B2 (en) | 2011-04-19 | 2016-03-29 | Ford Global Technologies, Llc | Trailer angle detection target plausibility |
| US9296421B2 (en) | 2014-03-06 | 2016-03-29 | Ford Global Technologies, Llc | Vehicle target identification using human gesture recognition |
| US9315212B1 (en) | 2014-10-13 | 2016-04-19 | Ford Global Technologies, Llc | Trailer sensor module and associated method of wireless trailer identification and motion estimation |
| US9335163B2 (en) | 2011-04-19 | 2016-05-10 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9340228B2 (en) | 2014-10-13 | 2016-05-17 | Ford Global Technologies, Llc | Trailer motion and parameter estimation system |
| US9346396B2 (en) | 2011-04-19 | 2016-05-24 | Ford Global Technologies, Llc | Supplemental vehicle lighting system for vision based target detection |
| CN105644433A (zh) * | 2014-10-07 | 2016-06-08 | 现代摩比斯株式会社 | 基于影像识别的拖车轨迹推定系统及其方法 |
| US9374562B2 (en) | 2011-04-19 | 2016-06-21 | Ford Global Technologies, Llc | System and method for calculating a horizontal camera to target distance |
| US9434414B2 (en) | 2011-04-19 | 2016-09-06 | Ford Global Technologies, Llc | System and method for determining a hitch angle offset |
| US9464886B2 (en) | 2013-11-21 | 2016-10-11 | Ford Global Technologies, Llc | Luminescent hitch angle detection component |
| US9464887B2 (en) | 2013-11-21 | 2016-10-11 | Ford Global Technologies, Llc | Illuminated hitch angle detection component |
| US9513103B2 (en) | 2011-04-19 | 2016-12-06 | Ford Global Technologies, Llc | Hitch angle sensor assembly |
| US9517668B2 (en) | 2014-07-28 | 2016-12-13 | Ford Global Technologies, Llc | Hitch angle warning system and method |
| US9522699B2 (en) | 2015-02-05 | 2016-12-20 | Ford Global Technologies, Llc | Trailer backup assist system with adaptive steering angle limits |
| US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
| US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
| US9610975B1 (en) | 2015-12-17 | 2017-04-04 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US9616923B2 (en) | 2015-03-03 | 2017-04-11 | Ford Global Technologies, Llc | Topographical integration for trailer backup assist system |
| US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
| US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
| US9798953B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Template matching solution for locating trailer hitch point |
| US9796228B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US9804022B2 (en) | 2015-03-24 | 2017-10-31 | Ford Global Technologies, Llc | System and method for hitch angle detection |
| US9827818B2 (en) | 2015-12-17 | 2017-11-28 | Ford Global Technologies, Llc | Multi-stage solution for trailer hitch angle initialization |
| US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
| US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US20180056868A1 (en) * | 2016-09-01 | 2018-03-01 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
| EP3291137A1 (en) * | 2016-09-06 | 2018-03-07 | Delphi Technologies, Inc. | Camera based trailer detection and tracking |
| US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
| US9934572B2 (en) | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
| US9937953B2 (en) | 2011-04-19 | 2018-04-10 | Ford Global Technologies, Llc | Trailer backup offset determination |
| DE102016219390A1 (de) * | 2016-10-06 | 2018-04-12 | Zf Friedrichshafen Ag | Verfahren zur Stabilisierung eines Kraftfahrzeuggespanns, Zugmaschine sowie Kraftfahrzeuggespann |
| US9963004B2 (en) | 2014-07-28 | 2018-05-08 | Ford Global Technologies, Llc | Trailer sway warning system and method |
| US10005492B2 (en) | 2016-02-18 | 2018-06-26 | Ford Global Technologies, Llc | Trailer length and hitch angle bias estimation |
| US10011228B2 (en) | 2015-12-17 | 2018-07-03 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system using multiple imaging devices |
| US10017115B2 (en) | 2015-11-11 | 2018-07-10 | Ford Global Technologies, Llc | Trailer monitoring system and method |
| US10046800B2 (en) | 2016-08-10 | 2018-08-14 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
| US10106193B2 (en) | 2016-07-01 | 2018-10-23 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
| US10112537B2 (en) | 2014-09-03 | 2018-10-30 | Ford Global Technologies, Llc | Trailer angle detection target fade warning |
| US10155478B2 (en) | 2015-12-17 | 2018-12-18 | Ford Global Technologies, Llc | Centerline method for trailer hitch angle detection |
| US10196088B2 (en) | 2011-04-19 | 2019-02-05 | Ford Global Technologies, Llc | Target monitoring system and method |
| US10222804B2 (en) | 2016-10-21 | 2019-03-05 | Ford Global Technologies, Llc | Inertial reference for TBA speed limiting |
| JP2019509204A (ja) * | 2016-01-14 | 2019-04-04 | コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． | 標的物を必要としないヒッチ角度検出およびトレーラ形状学習を有する車両−トレーラ後退システム |
| US10384607B2 (en) | 2015-10-19 | 2019-08-20 | Ford Global Technologies, Llc | Trailer backup assist system with hitch angle offset estimation |
| US10611407B2 (en) | 2015-10-19 | 2020-04-07 | Ford Global Technologies, Llc | Speed control for motor vehicles |
| US10710585B2 (en) | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
| US10829046B2 (en) | 2019-03-06 | 2020-11-10 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| US10955540B2 (en) | 2017-12-01 | 2021-03-23 | Aptiv Technologies Limited | Detection system |
| US11077795B2 (en) | 2018-11-26 | 2021-08-03 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| US11092668B2 (en) | 2019-02-07 | 2021-08-17 | Aptiv Technologies Limited | Trailer detection system and method |
| CN114872790A (zh) * | 2022-04-29 | 2022-08-09 | 盛视科技股份有限公司 | 基于视觉的拖挂车的转向夹角的检测方法及检测系统 |
| US11408995B2 (en) | 2020-02-24 | 2022-08-09 | Aptiv Technologies Limited | Lateral-bin monitoring for radar target detection |
| US11435466B2 (en) | 2018-10-08 | 2022-09-06 | Aptiv Technologies Limited | Detection system and method |
| JP2022553912A (ja) * | 2019-10-11 | 2022-12-27 | コノート、エレクトロニクス、リミテッド | トレーラの向きの決定 |
| WO2023090122A1 (ja) * | 2021-11-17 | 2023-05-25 | 株式会社Ihi | 連結車両の連結角検出装置、連結車両、および連結車両の連結角検出方法 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9500497B2 (en) | 2011-04-19 | 2016-11-22 | Ford Global Technologies, Llc | System and method of inputting an intended backing path |
| US9290204B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Hitch angle monitoring system and method |
| US9969428B2 (en) | 2011-04-19 | 2018-05-15 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
| US9506774B2 (en) | 2011-04-19 | 2016-11-29 | Ford Global Technologies, Llc | Method of inputting a path for a vehicle and trailer |
| US9373044B2 (en) | 2011-07-25 | 2016-06-21 | Ford Global Technologies, Llc | Trailer lane departure warning system |
| US9511799B2 (en) | 2013-02-04 | 2016-12-06 | Ford Global Technologies, Llc | Object avoidance for a trailer backup assist system |
| US9592851B2 (en) | 2013-02-04 | 2017-03-14 | Ford Global Technologies, Llc | Control modes for a trailer backup assist system |
| US9522677B2 (en) | 2014-12-05 | 2016-12-20 | Ford Global Technologies, Llc | Mitigation of input device failure and mode management |
| US9896130B2 (en) | 2015-09-11 | 2018-02-20 | Ford Global Technologies, Llc | Guidance system for a vehicle reversing a trailer along an intended backing path |
| US10112646B2 (en) | 2016-05-05 | 2018-10-30 | Ford Global Technologies, Llc | Turn recovery human machine interface for trailer backup assist |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06147862A (ja) * | 1992-11-12 | 1994-05-27 | Ishikawajima Harima Heavy Ind Co Ltd | ２物体間の相対角度の検出方法及び装置と相対角度検出用マーカー |
| JPH0713588U (ja) * | 1993-08-12 | 1995-03-07 | 日産ディーゼル工業株式会社 | 後方確認装置 |
| JPH10229554A (ja) * | 1997-02-14 | 1998-08-25 | Meidensha Corp | 監視システム |
| JPH10332373A (ja) * | 1997-05-29 | 1998-12-18 | Taisei Corp | 距離計測用の反射ターゲット |
-
2000
- 2000-08-24 JP JP2000253908A patent/JP3716722B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06147862A (ja) * | 1992-11-12 | 1994-05-27 | Ishikawajima Harima Heavy Ind Co Ltd | ２物体間の相対角度の検出方法及び装置と相対角度検出用マーカー |
| JPH0713588U (ja) * | 1993-08-12 | 1995-03-07 | 日産ディーゼル工業株式会社 | 後方確認装置 |
| JPH10229554A (ja) * | 1997-02-14 | 1998-08-25 | Meidensha Corp | 監視システム |
| JPH10332373A (ja) * | 1997-05-29 | 1998-12-18 | Taisei Corp | 距離計測用の反射ターゲット |
Cited By (87)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004050149A1 (de) * | 2004-10-15 | 2006-04-20 | Daimlerchrysler Ag | Verfahren zur Bestimmung von Deichsel- und Trailerwinkel |
| DE102006007805A1 (de) * | 2006-02-17 | 2007-08-30 | Daimlerchrysler Ag | Verfahren zur Bestimmung des Anhängerwinkels zwischen einem Zugfahrzeug und einem dazugehörigen Anhänger |
| DE102006007805B4 (de) * | 2006-02-17 | 2008-01-03 | Daimlerchrysler Ag | Verfahren zur Bestimmung des Anhängerwinkels zwischen einem Zugfahrzeug und einem dazugehörigen Anhänger |
| US9156496B2 (en) | 2007-03-21 | 2015-10-13 | Ford Global Technologies, Llc | Vehicle maneuvering aids |
| GB2447672A (en) * | 2007-03-21 | 2008-09-24 | Ford Global Tech Llc | Vehicle manoeuvring aids |
| GB2447672B (en) * | 2007-03-21 | 2011-12-14 | Ford Global Tech Llc | Vehicle manoeuvring aids |
| US9971943B2 (en) | 2007-03-21 | 2018-05-15 | Ford Global Technologies, Llc | Vehicle trailer angle detection system and method |
| US9566911B2 (en) | 2007-03-21 | 2017-02-14 | Ford Global Technologies, Llc | Vehicle trailer angle detection system and method |
| DE102009012253A1 (de) | 2009-03-07 | 2010-09-09 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Unterstützung beim Rückwärtsfahren eines Gespanns aus Zugfahrzeug mit Anhänger |
| US11267508B2 (en) | 2011-04-19 | 2022-03-08 | Ford Global Technologies, Llc | Trailer backup offset determination |
| US9513103B2 (en) | 2011-04-19 | 2016-12-06 | Ford Global Technologies, Llc | Hitch angle sensor assembly |
| US9283892B2 (en) | 2011-04-19 | 2016-03-15 | Ford Global Technologies, Llc | Method and system for monitoring placement of a target on a trailer |
| US9290202B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
| US9290203B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9296422B2 (en) | 2011-04-19 | 2016-03-29 | Ford Global Technologies, Llc | Trailer angle detection target plausibility |
| US9102272B2 (en) | 2011-04-19 | 2015-08-11 | Ford Global Technologies, Llc | Trailer target monitoring system and method |
| US11760414B2 (en) | 2011-04-19 | 2023-09-19 | Ford Global Technologies, Llp | Trailer backup offset determination |
| US9335163B2 (en) | 2011-04-19 | 2016-05-10 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
| US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9346396B2 (en) | 2011-04-19 | 2016-05-24 | Ford Global Technologies, Llc | Supplemental vehicle lighting system for vision based target detection |
| US10609340B2 (en) | 2011-04-19 | 2020-03-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9374562B2 (en) | 2011-04-19 | 2016-06-21 | Ford Global Technologies, Llc | System and method for calculating a horizontal camera to target distance |
| US9434414B2 (en) | 2011-04-19 | 2016-09-06 | Ford Global Technologies, Llc | System and method for determining a hitch angle offset |
| US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
| US9248858B2 (en) | 2011-04-19 | 2016-02-02 | Ford Global Technologies | Trailer backup assist system |
| US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
| US9937953B2 (en) | 2011-04-19 | 2018-04-10 | Ford Global Technologies, Llc | Trailer backup offset determination |
| US10471989B2 (en) | 2011-04-19 | 2019-11-12 | Ford Global Technologies, Llc | Trailer backup offset determination |
| US10196088B2 (en) | 2011-04-19 | 2019-02-05 | Ford Global Technologies, Llc | Target monitoring system and method |
| US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
| US9102271B2 (en) | 2011-04-19 | 2015-08-11 | Ford Global Technologies, Llc | Trailer monitoring system and method |
| US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
| KR101131129B1 (ko) * | 2011-07-05 | 2012-03-26 | 한국항공우주연구원 | 식별자 및 영상감지시스템을 이용한 연결식 차량의 사고예방장치 |
| US9464887B2 (en) | 2013-11-21 | 2016-10-11 | Ford Global Technologies, Llc | Illuminated hitch angle detection component |
| US9464886B2 (en) | 2013-11-21 | 2016-10-11 | Ford Global Technologies, Llc | Luminescent hitch angle detection component |
| US9296421B2 (en) | 2014-03-06 | 2016-03-29 | Ford Global Technologies, Llc | Vehicle target identification using human gesture recognition |
| US9963004B2 (en) | 2014-07-28 | 2018-05-08 | Ford Global Technologies, Llc | Trailer sway warning system and method |
| US9517668B2 (en) | 2014-07-28 | 2016-12-13 | Ford Global Technologies, Llc | Hitch angle warning system and method |
| US10112537B2 (en) | 2014-09-03 | 2018-10-30 | Ford Global Technologies, Llc | Trailer angle detection target fade warning |
| US9852346B2 (en) | 2014-10-07 | 2017-12-26 | Hyundai Mobis Co., Ltd. | Trailer track estimation system and method by image recognition |
| CN105644433A (zh) * | 2014-10-07 | 2016-06-08 | 现代摩比斯株式会社 | 基于影像识别的拖车轨迹推定系统及其方法 |
| US9315212B1 (en) | 2014-10-13 | 2016-04-19 | Ford Global Technologies, Llc | Trailer sensor module and associated method of wireless trailer identification and motion estimation |
| US9340228B2 (en) | 2014-10-13 | 2016-05-17 | Ford Global Technologies, Llc | Trailer motion and parameter estimation system |
| US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
| US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
| US9522699B2 (en) | 2015-02-05 | 2016-12-20 | Ford Global Technologies, Llc | Trailer backup assist system with adaptive steering angle limits |
| US9616923B2 (en) | 2015-03-03 | 2017-04-11 | Ford Global Technologies, Llc | Topographical integration for trailer backup assist system |
| US9804022B2 (en) | 2015-03-24 | 2017-10-31 | Ford Global Technologies, Llc | System and method for hitch angle detection |
| US11440585B2 (en) | 2015-10-19 | 2022-09-13 | Ford Global Technologies, Llc | Speed control for motor vehicles |
| US10384607B2 (en) | 2015-10-19 | 2019-08-20 | Ford Global Technologies, Llc | Trailer backup assist system with hitch angle offset estimation |
| US10611407B2 (en) | 2015-10-19 | 2020-04-07 | Ford Global Technologies, Llc | Speed control for motor vehicles |
| US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
| US10496101B2 (en) | 2015-10-28 | 2019-12-03 | Ford Global Technologies, Llc | Trailer backup assist system with multi-purpose camera in a side mirror assembly of a vehicle |
| US10017115B2 (en) | 2015-11-11 | 2018-07-10 | Ford Global Technologies, Llc | Trailer monitoring system and method |
| US9796228B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US10011228B2 (en) | 2015-12-17 | 2018-07-03 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system using multiple imaging devices |
| US9610975B1 (en) | 2015-12-17 | 2017-04-04 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
| US9934572B2 (en) | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
| US10155478B2 (en) | 2015-12-17 | 2018-12-18 | Ford Global Technologies, Llc | Centerline method for trailer hitch angle detection |
| US9827818B2 (en) | 2015-12-17 | 2017-11-28 | Ford Global Technologies, Llc | Multi-stage solution for trailer hitch angle initialization |
| US9798953B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Template matching solution for locating trailer hitch point |
| JP2019509204A (ja) * | 2016-01-14 | 2019-04-04 | コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． | 標的物を必要としないヒッチ角度検出およびトレーラ形状学習を有する車両−トレーラ後退システム |
| US10005492B2 (en) | 2016-02-18 | 2018-06-26 | Ford Global Technologies, Llc | Trailer length and hitch angle bias estimation |
| US10106193B2 (en) | 2016-07-01 | 2018-10-23 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
| US10046800B2 (en) | 2016-08-10 | 2018-08-14 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
| US10807639B2 (en) | 2016-08-10 | 2020-10-20 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
| US10391939B2 (en) * | 2016-09-01 | 2019-08-27 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
| US20180056868A1 (en) * | 2016-09-01 | 2018-03-01 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
| CN107797107A (zh) * | 2016-09-06 | 2018-03-13 | 德尔福技术有限公司 | 基于摄像头的挂车检测和跟踪 |
| US10207643B2 (en) | 2016-09-06 | 2019-02-19 | Aptiv Technologies Limited | Camera based trailer detection and tracking |
| EP3291137A1 (en) * | 2016-09-06 | 2018-03-07 | Delphi Technologies, Inc. | Camera based trailer detection and tracking |
| DE102016219390A1 (de) * | 2016-10-06 | 2018-04-12 | Zf Friedrichshafen Ag | Verfahren zur Stabilisierung eines Kraftfahrzeuggespanns, Zugmaschine sowie Kraftfahrzeuggespann |
| US10222804B2 (en) | 2016-10-21 | 2019-03-05 | Ford Global Technologies, Llc | Inertial reference for TBA speed limiting |
| US10710585B2 (en) | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
| US11474224B2 (en) | 2017-12-01 | 2022-10-18 | Aptiv Technologies Limited | Detection system |
| US10955540B2 (en) | 2017-12-01 | 2021-03-23 | Aptiv Technologies Limited | Detection system |
| US11435466B2 (en) | 2018-10-08 | 2022-09-06 | Aptiv Technologies Limited | Detection system and method |
| US11768284B2 (en) | 2018-10-08 | 2023-09-26 | Aptiv Technologies Limited | Detection system and method |
| US11077795B2 (en) | 2018-11-26 | 2021-08-03 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| US11092668B2 (en) | 2019-02-07 | 2021-08-17 | Aptiv Technologies Limited | Trailer detection system and method |
| US10829046B2 (en) | 2019-03-06 | 2020-11-10 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
| JP2022553912A (ja) * | 2019-10-11 | 2022-12-27 | コノート、エレクトロニクス、リミテッド | トレーラの向きの決定 |
| JP7430783B2 (ja) | 2019-10-11 | 2024-02-13 | コノート、エレクトロニクス、リミテッド | トレーラの向きの決定 |
| US11408995B2 (en) | 2020-02-24 | 2022-08-09 | Aptiv Technologies Limited | Lateral-bin monitoring for radar target detection |
| US11802961B2 (en) | 2020-02-24 | 2023-10-31 | Aptiv Technologies Limited | Lateral-bin monitoring for radar target detection |
| WO2023090122A1 (ja) * | 2021-11-17 | 2023-05-25 | 株式会社Ihi | 連結車両の連結角検出装置、連結車両、および連結車両の連結角検出方法 |
| CN114872790A (zh) * | 2022-04-29 | 2022-08-09 | 盛视科技股份有限公司 | 基于视觉的拖挂车的转向夹角的检测方法及检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3716722B2 (ja) | 2005-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002068032A (ja) | トレーラ連結角検出装置 | |
| JP2002012172A (ja) | トレーラ連結角検出装置 | |
| US20050074143A1 (en) | Vehicle backing assist apparatus and vehicle backing assist method | |
| US8300889B2 (en) | Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same | |
| JP4203512B2 (ja) | 車両周辺監視装置 | |
| JP2002197469A (ja) | 車線検出装置 | |
| US20080140286A1 (en) | Parking Trace Recognition Apparatus and Automatic Parking System | |
| US20050002558A1 (en) | Camera based position recognition for a road vehicle | |
| JP2003072495A (ja) | 駐車支援装置および駐車支援方法 | |
| JP2004198159A (ja) | 車載センサの軸ずれ計測装置 | |
| CN111231942B (zh) | 停车辅助装置 | |
| JP2002240661A (ja) | 駐車支援装置 | |
| Yamaguchi et al. | Road region estimation using a sequence of monocular images | |
| JP3521859B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2003335196A (ja) | 駐車支援装置 | |
| JP3911983B2 (ja) | 後方監視装置 | |
| JP6314655B2 (ja) | 標示線検出装置、標示線検出方法 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JPH07250268A (ja) | 車両周辺監視装置 | |
| JP2007299045A (ja) | 車線認識装置 | |
| JP2002150302A (ja) | 路面認識装置 | |
| JP2010019752A (ja) | 車両の車幅を推定するための装置 | |
| JPH0335108A (ja) | リード位置認識装置 | |
| JP2002029350A (ja) | 駐車支援装置 | |
| JP3820874B2 (ja) | 車両用画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050822 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080909 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130909 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |