JP2018063708A - 大型車両の移動オブジェクト衝突警告装置および方法 - Google Patents

Abstract

【課題】大型車両と移動オブジェクトの間に発生する衝突事故を事前に防止できるようにした大型車両の移動オブジェクト衝突警告装置および方法を提供する。
【解決手段】大型車両の移動オブジェクト衝突警告装置は、大型車両の少なくとも一側面後方に装着され、大型車両の前方を指向して被撮像物を撮像する後方カメラモジュール５００と、前記後方カメラモジュールで撮像された映像を受信する映像受信部５１０と、前記映像受信部で受信された映像を認識して、映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者を含む移動オブジェクトであるかを決定する移動オブジェクト決定部５２０と、前記移動オブジェクト決定部で決定された前記移動オブジェクトが予め設定された危険区域内に位置するかを判断して、衝突危険信号を出力する移動オブジェクト衝突可能性決定部５３０と、を含む。
【選択図】図４

Description

本発明は、大型車両の回転時に、回転半径内側に位置した自転車、二輪車、歩行者などの移動オブジェクトを識別し、運転者に警告したり非常制動を行うことで、人命事故を防止できるようにした大型車両の移動オブジェクト衝突警告装置および方法に関する。

一般的に、アラウンドビューモニタリングシステム（ＡＶＭＳ：Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）は、車両周辺に複数のカメラを設け、カメラで撮像された映像を認識して車両周辺の障害物を認識することにより、運転者の死角地帯に位置した障害物との衝突の危険を予測し警報するシステムである。最近、高い価格の高級車両にＡＶＭＳが装着される傾向にある。

ところが、貨物トラック、トレーラ、バスなどのような大型車両の場合には、全長が長く、ＡＶＭＳを適用するために一般乗用車に比べてより多いカメラを必要とし、各カメラで撮像された映像を認識するためにより複雑な映像認識技術が要求される。このような制約は、大型車両にＡＶＭＳを適用することを困難にする。そこで、多くの大型車両は、一般乗用車が２つのサイドミラーを装着しているのとは異なり、６つのサイドミラーを装着するなどして側後方の死角地帯に対する運転者の監視領域を広げている。

図１は、大型車両が交差点で回転する場合を例示する平面図である。図示のように、大型車両１００が右折を試みる場合、右側後方に自転車２００が並んで走っていれば、運転者の視野に自転車２００が入りにくいことがある。大型車両１００の全長が長いため、その前輪では自転車２００と衝突しなくても側面フレームに自転車２００が接触して中心を失った自転車２００が倒れてしまい、大型車両１００の回転経路でその後輪が倒れた自転車搭乗者を踏み越えることで搭乗者が死亡したり重傷を負う場合がたまに発生する。

この種の事故は希であるものの、大型車両の特性から誘発される低速での人命被害の高い事故の類型である。大型車両が歩行通路側に回転する場合、車両の進行速度は遅いものの、相対的に大きさが小さくてより遅く動く自転車、二輪車、歩行者などを識別できずに発生する事故であって、危険区域３００が、図１のように、車両の前方側部では広く形成され、後方側部では狭く形成される長い三角形状に形成される特徴があり、事故発生時に死亡頻度が高い非常に危険な事故である点で必ず予防する必要がある。

従来の大型車両では、図２のように、車両の前方側面にＳＲＲ１１０を装着して、側後方の自転車２００のような移動オブジェクトを監視する装置を提示した。図２を参照すれば、ＳＲＲ（Ｓｈｏｒｔ Ｒａｎｇｅ Ｒａｄａｒ）は、測定距離が短いが、測定角度は広い監視区域１２０を有するため、補助席（または運転席）の側後方を監視する領域を広げることができる。しかし、図１で説明したような危険区域３００全体をカバーできず、自転車２００などの移動オブジェクトが監視区域１２０を外れて位置する場合、依然として移動オブジェクトを監視できない問題がある。また、トレーラのような大型車両は、後方の荷台がすべて金属材質であるので、レーダを車両の側後方に設ける場合、電波干渉などによって大きさの小さい自転車を検出しにくい問題がある。

一方、大韓民国公開特許第２０１６−００４５８５７号は、３Ｄカメラとレーダを用いて物体を検出する技術を開示しているが、同先行文献に開示された３Ｄカメラおよびレーダの設置位置、物体の検出方法などによっても大型車両の回転半径内に位置した自転車、二輪車、歩行者を検出することが困難であるため、上述した問題点が依然として存在する。

本発明は、大型車両が歩行通路側に回転する時、回転半径内に位置した自転車、二輪車、歩行者などの移動オブジェクトを正確に識別し、運転者に警告したり非常制動を行うことで、大型車両と移動オブジェクトの間に発生する低速での死亡頻度の高い衝突事故を事前に防止できるようにした大型車両の移動オブジェクト衝突警告装置および方法を提供することを目的とする。

本発明の一実施形態に係る大型車両の移動オブジェクト衝突警告装置は、大型車両の少なくとも一側面後方に装着され、前記大型車両の前方を指向して被撮像物を撮像する後方カメラモジュールと、前記後方カメラモジュールで撮像された映像を受信する映像受信部と、前記映像受信部で受信された映像を認識して、映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者の少なくともいずれか１つ以上を含む移動オブジェクトであるかを決定する移動オブジェクト決定部と、前記移動オブジェクト決定部で決定された前記移動オブジェクトが予め設定された危険区域内に位置するかを判断して、衝突危険信号を出力する移動オブジェクト衝突可能性決定部と、前記大型車両の運転者に視覚的または聴覚的警告信号を出力する警告部と、前記移動オブジェクト衝突可能性決定部から衝突危険信号が出力されると、前記警告部を動作させるように制御する制御部とを含む。

本発明の他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト衝突可能性決定部は、前記移動オブジェクトが前記危険区域内に位置する場合、第１衝突危険信号を出力し、前記第１衝突危険信号が出力される状況で、前記大型車両のステアリングホイールの操舵角の変化が検知される場合、第２衝突危険信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記制御部は、前記第１衝突危険信号に対応して前記警告部の視覚的警告手段を動作させ、前記第２衝突危険信号に対応して前記警告部の聴覚的警告手段を動作させる。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置は、前記大型車両を非常制動させる非常制動部をさらに含み、前記制御部は、前記第２衝突危険信号に対応して前記非常制動部を動作させる。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト決定部は、前記映像受信部で受信された映像から少なくとも１つのオブジェクトを抽出するオブジェクト抽出モジュールと、前記オブジェクト抽出モジュールで抽出したオブジェクトのエッジ（ｅｄｇｅ）を検出し、エッジによって区分される所定大きさ以上の領域を有するオブジェクトを移動オブジェクト候補として検出する移動オブジェクト候補検出モジュールと、前記後方カメラモジュールで撮像された映像の現フレームと、前記現フレームの前の時点の前フレームとを比較して、前記移動オブジェクト候補の動きを検出し、動きが発生すると、前記移動オブジェクト候補を移動中の状態と判断する移動性決定モジュールと、前記移動性決定モジュールで前記移動オブジェクト候補が移動中の状態と判断されると、前記移動オブジェクト候補に対してＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）演算を行い、前記ＨＯＧ演算結果にＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）重み付け演算を行って算出された値が予め設定された閾値以上であれば、前記移動オブジェクト候補を移動オブジェクトとして決定する移動オブジェクト可能性決定モジュールとを含む。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト候補検出モジュールは、前記オブジェクトのエッジの垂直成分を検出し、前記垂直成分と予め定義された前記移動オブジェクトのパターンの間の類似度を判断して、前記移動オブジェクト候補を検出する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動性決定モジュールは、前記現フレームと前記前フレームをそれぞれ所定大きさのブロックに分割し、前記現フレームにおける前記移動オブジェクト候補の含まれたブロックと、前記前フレームにおける前記移動オブジェクト候補の含まれたブロックとの間のピクセル値の差の合計を下記の（数１）に基づいて算出し、前記ピクセル値の差の合計が最も小さいブロックを前記前フレームの対応ブロックとして決定し、前記対応ブロックの位置が変更されると、前記移動オブジェクト候補を移動中の状態と判断する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト衝突可能性決定部は、前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置する場合、衝突危険信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト衝突可能性決定部は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告装置において、前記移動オブジェクト衝突可能性決定部は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置し、かつ、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する。

本発明の一実施形態に係る大型車両の移動オブジェクト衝突警告方法は、（ａ）大型車両の少なくとも一側面後方に装着され、前記大型車両の前方を指向して被撮像物を撮像する後方カメラモジュールから映像受信部が映像を受信するステップと、（ｂ）移動オブジェクト決定部が、受信された映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者の少なくともいずれか１つ以上を含む移動オブジェクトであるかを決定するステップと、（ｃ）前記ステップ（ｂ）で決定された前記移動オブジェクトが予め設定された危険区域内に位置する場合、移動オブジェクト衝突可能性決定部が衝突危険信号を出力するステップと、（ｄ）警告部が前記衝突危険信号に対応して視覚的または聴覚的警告信号を出力するステップとを含む。

本発明の他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｃ）は、（ｃ−１）前記移動オブジェクトが前記危険区域内に位置する場合、第１衝突危険信号を出力するステップと、（ｃ−２）前記ステップ（ｃ−１）の条件が満たされる状況で、前記大型車両のステアリングホイールの操舵角の変化が検知されると、第２衝突危険信号を出力するステップとを含む。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｄ）は、前記第１衝突危険信号に対応して視覚的警告信号を出力し、前記第２衝突危険信号に対応して聴覚的警告信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法は、前記ステップ（ｄ）の後に、前記第２衝突危険信号に対応して前記大型車両を非常制動させるステップをさらに含む。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｂ）は、（ｂ−１）受信された映像から少なくとも１つのオブジェクトを抽出するステップと、（ｂ−２）抽出したオブジェクトのエッジ（ｅｄｇｅ）を検出し、エッジによって区分される所定大きさ以上の領域を有するオブジェクトを移動オブジェクト候補として検出するステップと、（ｂ−３）前記後方カメラモジュールで撮像された映像の現フレームと、前記現フレームの前の時点の前フレームとを比較して、前記移動オブジェクト候補の動きを検出し、動きが発生すると、前記移動オブジェクト候補を移動中の状態と判断するステップと、（ｂ−４）前記ステップ（ｂ−３）で移動オブジェクト候補が移動中の状態と判断されると、前記移動オブジェクト候補に対してＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）演算を行い、前記ＨＯＧ演算結果にＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）重み付け演算を行って算出された値が予め設定された閾値以上の時、前記移動オブジェクト候補を移動オブジェクトとして決定するステップとを含む。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｂ−２）は、前記オブジェクトのエッジの垂直成分を検出し、前記垂直成分と予め定義された前記移動オブジェクトのパターンの間の類似度を判断して、前記移動オブジェクト候補を検出する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｂ−３）は、前記現フレームと前記前フレームをそれぞれ所定大きさのブロックに分割し、前記現フレームにおける前記移動オブジェクト候補の含まれたブロックと、前記前フレームにおける前記移動オブジェクト候補の含まれたブロックとの間のピクセル値の差の合計を下記の（数１）に基づいて算出し、前記ピクセル値の差の合計が最も小さいブロックを前記前フレームの対応ブロックとして決定し、前記対応ブロックの位置が変更されると、前記移動オブジェクト候補を移動中の状態と判断する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｃ）は、前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置する場合、衝突危険信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｃ）は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する。

本発明のさらに他の実施形態に係る大型車両の移動オブジェクト衝突警告方法において、前記ステップ（ｃ）は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置し、かつ、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する。

（

本発明の大型車両の移動オブジェクト衝突警告装置および方法によれば、大型車両の回転時に、回転半径内に位置した自転車、二輪車、歩行者などの移動オブジェクトを正確に識別して、運転者にこれを警告したり非常制動を行うことができ、これによって、大型車両の側後方の死角地帯で発生する低速での人命被害事故を予防できる効果がある。

大型車両の回転の例を示す平面図である。 大型車両にＳＲＲが装着された例を示す平面図である。 本発明により後方カメラモジュールが装着された例を示す図である。 本発明に係る移動オブジェクト衝突警告装置を例示するブロック図である。 本発明における移動オブジェクト決定部の構成を例示するブロック図である。 本発明に係る移動オブジェクト衝突警告方法を例示するフローチャートである。 本発明における後方カメラモジュールによって撮像された映像を例示する図である。 実座標系とカメラのビューポート座標系との相関関係を例示する図である。 図７の映像を基準として自転車の衝突の可能性を判断する過程を例示する図である。

以下、添付した図面を参照して、本発明に係る具体的な実施形態が説明される。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるあらゆる変更、均等物、代替物を含むことが理解されなければならない。
明細書全体にわたって類似の構成および動作を有する部分に対しては同一の図面符号を付した。そして、本発明に添付された図面は説明の便宜のためのものであって、その形状と相対的な尺度は誇張または省略されることがある。

実施形態を具体的に説明するにあたって、重複する説明や当該分野で自明な技術に関する説明は省略された。さらに、以下の説明において、ある部分が他の構成要素を「含む」とする時、これは、特に反対の記載がない限り、記載された構成要素の他に構成要素をさらに包含できることを意味する。

また、明細書に記載の「〜部」、「〜器」、「〜モジュール」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア、またはハードウェアおよびソフトウェアの結合で実現可能である。さらに、ある部分が他の部分と電気的に連結されているとする時、これは、直接的に連結されている場合のみならず、その中間に他の構成を挟んで連結されている場合も含む。

本発明は、大型車両の移動オブジェクト衝突警告装置および方法に関し、大型車両が回転する時、回転半径内に位置した移動オブジェクトを正確に識別して、運転者に警告したり非常制動を行うための装置および方法を例示する。以下、「大型車両」とは、貨物トラック、トレーラ、バス、重装備などのような大型車両を意味し、「移動オブジェクト」とは、自転車、二輪車、歩行者などの移動するオブジェクトを意味する。本発明は、大型車両の側面後方に装着される後方カメラモジュールで危険区域を撮像し、撮像された映像から自転車、二輪車、歩行者などの移動オブジェクトを識別する構成に特徴がある発明であって、以下では、移動オブジェクトとして自転車を例として説明し、自転車を識別する技術思想は、モーターサイクルのような二輪車または歩行者などの移動オブジェクトに対しても同様に適用可能である。

図３は、本発明により後方カメラモジュールが装着された例を示す図である。図３を参照すれば、大型車両１００の少なくとも一側面後方には後方カメラモジュール５００が装着される。後方カメラモジュール５００は、韓国国内の交通環境では少なくとも補助席側の側面後方に装着され、大型車両１００が歩行通路側に右折する場合、監視区域５０５内の自転車２００を監視し、図示しないが、両側面後方に装着され、裏面道路などで両側方の回転共に対して自転車２００のような移動オブジェクトを監視することもできる。

図３の上部に示されているように、後方カメラモジュール５００は、大型車両１００の側後方で地面４００に近く設けられ、大型車両１００と並んで位置する自転車２００を監視できるようにする。また、図３の下部に示されているように、後方カメラモジュール５００は、大型車両１００の側面と自転車２００が共に撮像されるように前方を指向する監視区域５０５を有し、このように、大型車両１００の側面を共に撮像させるために、後方カメラモジュール５００の指向角のうち左側一部は諦めてもよい。

図４は、本発明に係る移動オブジェクト衝突警告装置を例示するブロック図である。図４を参照すれば、本発明の大型車両の移動オブジェクト衝突警告装置は、後方カメラモジュール５００と、映像受信部５１０と、移動オブジェクト決定部５２０と、移動オブジェクト衝突可能性決定部５３０と、警告部５４０と、非常制動部５５０と、制御部６００とを含んで構成される。このような移動オブジェクト衝突警告装置は、先端運転者補助システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）に含まれたり、独立に移動オブジェクトを識別して警告する装置から構成されてもよい。

映像受信部５１０は、後方カメラモジュール５００で撮像された映像を受信する。映像受信部５１０は、後方カメラモジュール５００で撮像された映像を後段部の映像認識手段で利用可能に適切に処理してフレーム単位に区分し、各映像フレームを図示しないメモリに格納することができる。

移動オブジェクト決定部５２０は、映像受信部５１０で受信された映像を認識して、映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者などの移動オブジェクトであるかを決定する。

移動オブジェクト衝突可能性決定部５３０は、移動オブジェクト決定部５２０で決定された移動オブジェクトが予め設定された危険区域内に位置するかを判断し、判断結果に応じて衝突危険信号を出力する。移動オブジェクト決定部５２０で移動オブジェクトを決定する過程、および移動オブジェクト衝突可能性決定部５３０で移動オブジェクトに対する衝突の可能性を判断する過程に関する具体的な説明は、図４以下の図面を参照して後述する。

警告部５４０は、大型車両１００の運転者に視覚的または聴覚的警告信号を出力する。例えば、警告部５４０は、運転者に表示されるディスプレイ上で移動オブジェクトの存在の有無をグラフィックまたは点滅表示で画面出力することができる。他の例として、警告装置に設けられたスピーカを介して移動オブジェクトの存在の有無を音声メッセージとして出力してもよい。さらに他の例として、警光灯を点灯させたりブザーを鳴らして、運転者に警告状態を知らせてもよい。

好ましくは、移動オブジェクト衝突可能性決定部５３０は、移動オブジェクトが危険区域内に位置する場合、第１衝突危険信号を出力し、第１衝突危険信号が出力される状況で、大型車両１００のステアリングホイールの操舵角の変化を検知する場合、第２衝突危険信号を出力することができる。

制御部６００は、第１衝突危険信号が発生する場合、警告部５４０の視覚的警告手段を動作させて、車両周辺に自転車２００などの移動オブジェクトが存在する状態であることを知らせることができる。例えば、ディスプレイ画面上に自転車をグラフィックで示したり危険表示を点滅表示して、運転者の注意を喚起させることができる。

制御部６００は、第２衝突危険信号が発生する場合、警告部５４０の聴覚的警告手段を動作させて、衝突の危険をさらに積極的に知らせることができる。例えば、スピーカを介して回転半径内に自転車２００が位置しているとの音声メッセージ、または『自転車衝突危険』などの音声メッセージを出力したりブザーを鳴らして、緊急な危険状態を知らせることができる。

さらに、制御部６００は、第２衝突危険信号が発生する場合、非常制動部５５０を動作させて、車両を非常制動させることができる。ここで、非常制動部５５０は、運転者のブレーキ操作がなくても車両を自主的に非常制動させる手段である。制御部６００は、第２衝突危険信号に対応して直ちに車両を非常制動させたり、第２衝突危険信号の後にも運転者のブレーキ操作がない状態であることを検出して、非常制動部５５０を動作させることができる。

図５は、本発明における移動オブジェクト決定部の構成を例示するブロック図である。図５を参照すれば、図４に示された移動オブジェクト決定部５２０は、オブジェクト抽出モジュール５２２と、移動オブジェクト候補検出モジュール５２４と、移動性決定モジュール５２６と、移動オブジェクト可能性決定モジュール５２８とから構成される。

オブジェクト抽出モジュール５２２は、映像受信部５１０で受信された映像から少なくとも１つのオブジェクトを抽出する。ここで、「オブジェクト」は、映像フレーム内に存在する動的オブジェクト（例えば、自転車、二輪車、歩行者などのような）と静的オブジェクト（例えば、木、進入防止用ボラード、信号灯などのような）をすべて含む。オブジェクト抽出モジュール５２２は、映像フレーム内でエッジを検出したり、背景とオブジェクトの間の色相差に基づいてオブジェクトを抽出することができる。例えば、映像フレーム内の各ピクセルの値を計算し、類似のピクセル値を有するピクセルをグループ化して１つのオブジェクトとして抽出することができる。

オブジェクト抽出モジュール５２２でオブジェクトを抽出する過程で、キャニー（Ｃａｎｎｙ）エッジ検出アルゴリズム、ライン（Ｌｉｎｅ）エッジ検出アルゴリズム、ラプラシアン（Ｌａｐｌａｃｉａｎ）エッジ検出アルゴリズムなどが用いられず、このようなアルゴリズムを用いて境界線を検出し、検出された境界線に基づいて背景と区分される領域をグループ化してオブジェクトを抽出することができる。

移動オブジェクト候補検出モジュール５２４は、オブジェクト抽出モジュール５２２で抽出したオブジェクトのエッジ（ｅｄｇｅ）を検出し、エッジによって区分される所定大きさ以上の領域を有するオブジェクトを移動オブジェクト候補として検出する。ここで、移動オブジェクトの特定特徴に対応する特徴をオブジェクトから抽出し、抽出されたオブジェクトを予め格納された移動オブジェクトのパターンと比較して、移動オブジェクトと無関係なオブジェクト（例えば、静的オブジェクト）を予め除去することができる。

例えば、自転車の下輪の形状と上部の搭乗者の形態をパターンとして格納し、オブジェクト抽出モジュール５２２で抽出されたオブジェクトと自転車のパターンの間の類似度を判断して、移動オブジェクト候補を検出することができる。他の例として、抽出されたオブジェクトが予め格納された歩行者のパターン（垂直成分のうち２つに分かれ始める地点の水平線を基準として、水平線より上方を上部、下方を下部と定義し、上部の長さが下部の長さの６０％〜１４０％に含まれ、下部が水平線から２つに分かれた類型のパターン）と類似の場合、移動オブジェクト候補として検出してもよい。

移動性決定モジュール５２６は、後方カメラモジュール５００で撮像された映像の現フレームと、現フレームの前の時点の前フレームとを比較して、移動オブジェクト候補の動きを検出し、動きが発生すると、前記移動オブジェクト候補を移動中の状態と判断する。

具体的に、移動性決定モジュール５２６は、現フレームと前フレームをそれぞれ所定大きさのブロックに分割し、現フレームにおける移動オブジェクト候補の含まれたブロックと、前フレームにおける移動オブジェクト候補の含まれたブロックとの間のピクセル値の差の合計を下記の（数１）に基づいて算出する。ピクセル値の差の合計が最も小さいブロックを前フレームの対応ブロックとして決定し、対応ブロックの位置が変更されると、移動オブジェクト候補を移動中の状態と判断する。

移動性決定モジュール５２６は、最初に対応する位置のブロック間のＳＡＤ値を算出した後、ｋ番目の映像フレームの特定ブロック（移動オブジェクト候補が含まれているブロックまたはブロックら）と、ｋ−１番目の映像フレームの特定ブロックの位置を変えながらＳＡＤ値を算出する。そして、ｋ−１番目の映像フレームで最も小さいＳＡＤ値を有するブロック（またはブロックら）をｋ番目の映像フレームの特定ブロックに対応する対応ブロックとして決定することができる。

ｋ−１番目の映像フレームの対応ブロックが決定されると、ｋ番目の映像フレームの特定ブロックの位置に対してｋ−１番目の映像フレームの対応ブロックの位置が変更されたか否かに基づいて移動オブジェクト候補の移動を判断する。ここで、前の時点の映像フレームは、ｋ−１番目に限るのではなく、１０フレームの前のｋ−１０番目の映像フレームが前の時点の映像フレームとして用いられてもよい。

移動オブジェクト可能性決定モジュール５２８は、移動性決定モジュール５２６で移動オブジェクト候補が移動中の状態と判断されると、移動オブジェクト候補に対してＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）演算を行い、ＨＯＧ演算結果にＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）重み付け演算を行って算出された値が予め設定された閾値以上の場合、移動オブジェクト候補を移動オブジェクトとして決定する。
ＨＯＧ演算は、エッジの方向をヒストグラムで表したものであって、オブジェクトの形態の変化が激しくなく、内部パターンが単純であり、オブジェクトの輪郭線でオブジェクトを識別可能な場合に用いられる。

例えば、移動オブジェクト可能性決定モジュール５２８は、８ピクセル×８ピクセルの単位の大きさを有するセル単位でＨＯＧ演算を行って、エッジの方向を算出する。セル内でエッジの方向を８つの角度で標準化し、各方向に対するヒストグラムで表現する。複数のセルが組み合わされたブロックに対して正規化（各セルに対するエッジの方向の値をブロックに対する平均値で数値化する過程）を行い、正規化値を並べて記述子ベクトル（Ｄｅｓｃｒｉｐｔｏｒ Ｖｅｃｔｏｒ）を算出する。そして、算出された記述子ベクトルにＳＶＭ重み付け演算を行い、ＳＶＭ重み付け演算から算出された値が予め設定された閾値以上の場合、移動オブジェクト候補を移動オブジェクトとして決定する。ＳＶＭ重み付け演算を行う過程は、当該分野における通常の知識を有する者に自明であるので、具体的な説明は省略する。

図６は、本発明に係る移動オブジェクト衝突警告方法を例示するフローチャートである。図６を参照すれば、映像受信部５１０で後方カメラモジュール５００から映像を受信することからステップが始まる（ＳＴ６１０）。説明したように、受信された各映像フレームからオブジェクトを抽出し、移動オブジェクト候補検出モジュール５２４が抽出されたオブジェクトから移動オブジェクト候補を検出する（ＳＴ６２０）。

移動オブジェクト候補が検出されると、移動性決定モジュール５２６が、上述のように、移動オブジェクト候補と予め定義された自転車、二輪車、および歩行者それぞれに対するパターンの間の類似度を判断して、移動オブジェクト候補に対する移動性を決定する（ＳＴ６３０）。移動オブジェクト可能性決定モジュール５２８は、移動中と判断された移動オブジェクト候補に対してＨＯＧ演算およびＳＶＭ重み付け演算により最終的に移動オブジェクトを決定する（ＳＴ６４０）。

次に、移動オブジェクト衝突可能性決定部５３０は、移動オブジェクトに対する衝突の可能性を決定する（ＳＴ６５０）。移動オブジェクト衝突の可能性を決定し、警告部５４０を動作させたり非常制動部５５０を動作させる過程は、図７〜９を参照して後述する。

図７は、本発明における後方カメラモジュールによって撮像された映像を例示する図である。前記図３に示しているように、後方カメラモジュール５００が大型車両１００の側面後方に装着され、前方を指向して撮像している状態であるので、図７のように、ビューポート上の左側には常に大型車両１００の側面の様子が撮像される。遠近感によって車両の前方へいくほど形状が小さく結像されるはずである。万一、大型車両１００の右側に近接して自転車２００が位置すれば、図７のように、大型車両１００の右側に自転車２００のイメージが表示されるはずである。

図８は、実座標系とカメラのビューポート座標系との相関関係を例示する図で、図８のように、道路上の実座標地点（Ｘ，Ｚ）は、レンズ５０４で屈折してカメラのセンサによって検出されるカメラのビューポート５０２上で（ｘ，ｙ）で投影されて表されるはずである。

万一、前方に認識された座標地点（Ｘ，Ｚ）が移動オブジェクトの輪郭点の下端部を示すと、道路上で後方カメラモジュール５００と前方に認識された座標地点（Ｘ，Ｚ）の間の距離は、下記の（数２）によって決定される。

座標地点（Ｘ，Ｚ）のＸ軸の距離は、下記の（数３）によって決定される。

図９は、図７の映像を基準として自転車の衝突の可能性を判断する過程を例示する図である。図９を参照すれば、図７のような前方映像から大型車両の輪郭ライン１０２と自転車の輪郭ライン２０２を得ることができる。ここで、撮像画面上において、原点（ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）は消失点を意味し、消失点を基準として自転車の輪郭点の下端部は（ｘ１，ｙ１）の座標を有し、自転車の輪郭点の下端部から水平方向に延びた大型トラックの輪郭点は（ｘ２，ｙ１）の座標を有するようになる。

すなわち、大型車両１００と自転車２００の間の距離を認識することができる。万一、道路上で大型車両１００と自転車２００の間の実距離を「Ｗ」とすれば、この値は下記の（数４）から得ることができる。

好ましくは、前記２つの条件がすべて満たされる場合、第１衝突危険信号を出力する。そして、第１衝突危険信号が発生する条件が満たされる状況で、大型車両のステアリングホイールの操舵角の変化を検知する場合、第２衝突危険信号を出力することができる。

上述のように、制御部６００は、第１衝突危険信号が発生する場合、警告部５４０の視覚的警告手段を動作させて、車両周辺に自転車２００などの移動オブジェクトが存在する状態であることをディスプレイ画面上で知らせることができ、第２衝突危険信号が発生する場合、警光灯のような視覚的に積極的な警告信号を出力したり、スピーカやブザーを介して聴覚的な警告信号を発生させることができる。また、第２衝突危険信号が発生する状況では、低速での衝突事故によっても死亡といった致命的な危険状況が生じ得るため、制御部６００で非常制動部５５０を動作させて、運転者のブレーキ操作がない場合でも車両を非常制動させることにより、人命被害事故を事前に防止することができる。

Claims (20)

1. 大型車両の少なくとも一側面後方に装着され、前記大型車両の前方を指向して被撮像物を撮像する後方カメラモジュールと、
   前記後方カメラモジュールで撮像された映像を受信する映像受信部と、
   前記映像受信部で受信された映像を認識して、映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者の少なくともいずれか１つ以上を含む移動オブジェクトであるかを決定する移動オブジェクト決定部と、
   前記移動オブジェクト決定部で決定された前記移動オブジェクトが予め設定された危険区域内に位置するかを判断して、衝突危険信号を出力する移動オブジェクト衝突可能性決定部と、
   前記大型車両の運転者に視覚的または聴覚的警告信号を出力する警告部と、
   前記移動オブジェクト衝突可能性決定部から衝突危険信号が出力されると、前記警告部を動作させるように制御する制御部とを含む大型車両の移動オブジェクト衝突警告装置。
2. 前記移動オブジェクト衝突可能性決定部は、前記移動オブジェクトが前記危険区域内に位置する場合、第１衝突危険信号を出力し、前記第１衝突危険信号が出力される状況で、前記大型車両のステアリングホイールの操舵角の変化が検知される場合、第２衝突危険信号を出力する、請求項１に記載の大型車両の移動オブジェクト衝突警告装置。
3. 前記制御部は、前記第１衝突危険信号に対応して前記警告部の視覚的警告手段を動作させ、前記第２衝突危険信号に対応して前記警告部の聴覚的警告手段を動作させる、請求項２に記載の大型車両の移動オブジェクト衝突警告装置。
4. 前記大型車両を非常制動させる非常制動部をさらに含み、
   前記制御部は、前記第２衝突危険信号に対応して前記非常制動部を動作させる、請求項２に記載の大型車両の移動オブジェクト衝突警告装置。
5. 前記移動オブジェクト決定部は、
   前記映像受信部で受信された映像から少なくとも１つのオブジェクトを抽出するオブジェクト抽出モジュールと、
   前記オブジェクト抽出モジュールで抽出したオブジェクトのエッジ（ｅｄｇｅ）を検出し、エッジによって区分される所定大きさ以上の領域を有するオブジェクトを移動オブジェクト候補として検出する移動オブジェクト候補検出モジュールと、
   前記後方カメラモジュールで撮像された映像の現フレームと、前記現フレームの前の時点の前フレームとを比較して、前記移動オブジェクト候補の動きを検出し、動きが発生すると、前記移動オブジェクト候補を移動中の状態と判断する移動性決定モジュールと、
   前記移動性決定モジュールで前記移動オブジェクト候補が移動中の状態と判断されると、前記移動オブジェクト候補に対してＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）演算を行い、前記ＨＯＧ演算結果にＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）重み付け演算を行って算出された値が予め設定された閾値以上であれば、前記移動オブジェクト候補を移動オブジェクトとして決定する移動オブジェクト可能性決定モジュールとを含む、請求項１に記載の大型車両の移動オブジェクト衝突警告装置。
6. 前記移動オブジェクト候補検出モジュールは、前記オブジェクトのエッジの垂直成分を検出し、前記垂直成分と予め定義された前記移動オブジェクトのパターンの間の類似度を判断して、前記移動オブジェクト候補を検出する、請求項５に記載の大型車両の移動オブジェクト衝突警告装置。
7. 前記移動性決定モジュールは、前記現フレームと前記前フレームをそれぞれ所定大きさのブロックに分割し、前記現フレームにおける前記移動オブジェクト候補の含まれたブロックと、前記前フレームにおける前記移動オブジェクト候補の含まれたブロックとの間のピクセル値の差の合計を下記の（数１）に基づいて算出し、前記ピクセル値の差の合計が最も小さいブロックを前記前フレームの対応ブロックとして決定し、前記対応ブロックの位置が変更されると、前記移動オブジェクト候補を移動中の状態と判断する、請求項５に記載の大型車両の移動オブジェクト衝突警告装置。
   

   
8. 前記移動オブジェクト衝突可能性決定部は、前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置する場合、衝突危険信号を出力する、請求項１に記載の大型車両の移動オブジェクト衝突警告装置。
   

   
9. 前記移動オブジェクト衝突可能性決定部は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する、請求項１に記載の大型車両の移動オブジェクト衝突警告装置。
   

   
10. 前記移動オブジェクト衝突可能性決定部は、前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置し、かつ、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する、請求項１に記載の大型車両の移動オブジェクト衝突警告装置。
    

    
11. （ａ）大型車両の少なくとも一側面後方に装着され、前記大型車両の前方を指向して被撮像物を撮像する後方カメラモジュールから映像受信部が映像を受信するステップと、
    （ｂ）移動オブジェクト決定部が、受信された映像内に含まれたオブジェクトを抽出し、抽出されたオブジェクトが自転車、二輪車、および歩行者の少なくともいずれか１つ以上を含む移動オブジェクトであるかを決定するステップと、
    （ｃ）前記ステップ（ｂ）で決定された前記移動オブジェクトが予め設定された危険区域内に位置する場合、移動オブジェクト衝突可能性決定部が衝突危険信号を出力するステップと、
    （ｄ）警告部が前記衝突危険信号に対応して視覚的または聴覚的警告信号を出力するステップとを含む、大型車両の移動オブジェクト衝突警告方法。
12. 前記ステップ（ｃ）は、
    （ｃ−１）前記移動オブジェクトが前記危険区域内に位置する場合、第１衝突危険信号を出力するステップと、
    （ｃ−２）前記ステップ（ｃ−１）の条件が満たされる状況で、前記大型車両のステアリングホイールの操舵角の変化が検知されると、第２衝突危険信号を出力するステップとを含む、請求項１１に記載の大型車両の移動オブジェクト衝突警告方法。
13. 前記ステップ（ｄ）は、
    前記第１衝突危険信号に対応して視覚的警告信号を出力し、前記第２衝突危険信号に対応して聴覚的警告信号を出力する、請求項１２に記載の大型車両の移動オブジェクト衝突警告方法。
14. 前記ステップ（ｄ）の後に、
    非常制動部が前記第２衝突危険信号に対応して前記大型車両を非常制動させるステップをさらに含む、請求項１２に記載の大型車両の移動オブジェクト衝突警告方法。
15. 前記ステップ（ｂ）は、
    （ｂ−１）受信された映像から少なくとも１つのオブジェクトを抽出するステップと、
    （ｂ−２）抽出したオブジェクトのエッジ（ｅｄｇｅ）を検出し、エッジによって区分される所定大きさ以上の領域を有するオブジェクトを移動オブジェクト候補として検出するステップと、
    （ｂ−３）前記後方カメラモジュールで撮像された映像の現フレームと、前記現フレームの前の時点の前フレームとを比較して、前記移動オブジェクト候補の動きを検出し、動きが発生すると、前記移動オブジェクト候補を移動中の状態と判断するステップと、
    （ｂ−４）前記ステップ（ｂ−３）で移動オブジェクト候補が移動中の状態と判断されると、前記移動オブジェクト候補に対してＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）演算を行い、前記ＨＯＧ演算結果にＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）重み付け演算を行って算出された値が予め設定された閾値以上の時、前記移動オブジェクト候補を移動オブジェクトとして決定するステップとを含む、請求項１１に記載の大型車両の移動オブジェクト衝突警告方法。
16. 前記ステップ（ｂ−２）は、
    前記オブジェクトのエッジの垂直成分を検出し、前記垂直成分と予め定義された前記移動オブジェクトのパターンの間の類似度を判断して、前記移動オブジェクト候補を検出する、請求項１５に記載の大型車両の移動オブジェクト衝突警告方法。
17. 前記ステップ（ｂ−３）は、
    前記現フレームと前記前フレームをそれぞれ所定大きさのブロックに分割し、前記現フレームにおける前記移動オブジェクト候補の含まれたブロックと、前記前フレームにおける前記移動オブジェクト候補の含まれたブロックとの間のピクセル値の差の合計を下記の（数１）に基づいて算出し、前記ピクセル値の差の合計が最も小さいブロックを前記前フレームの対応ブロックとして決定し、前記対応ブロックの位置が変更されると、前記移動オブジェクト候補を移動中の状態と判断する、請求項１５に記載の大型車両の移動オブジェクト衝突警告方法。
    

    
18. 前記ステップ（ｃ）は、
    前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置する場合、衝突危険信号を出力する、請求項１１に記載の大型車両の移動オブジェクト衝突警告方法。
    

    
19. 前記ステップ（ｃ）は、
    前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する、請求項１１に記載の大型車両の移動オブジェクト衝突警告方法。
    

    
20. 前記ステップ（ｃ）は、
    前記大型車両の輪郭点および前記移動オブジェクトの輪郭点の下端部を認識し、下記の（数２）に基づいて前記後方カメラモジュールと前記移動オブジェクトの間の道路上の縦方向距離を演算し、下記の（数４）に基づいて前記大型車両と前記移動オブジェクトの間の道路上の横方向距離を演算し、前記縦方向距離が予め定義された縦方向の最短危険距離と最長危険距離の間に位置し、かつ、前記横方向距離が予め定義された横方向の危険距離未満の場合、衝突危険信号を出力する、請求項１１に記載の大型車両の移動オブジェクト衝突警告方法。
    

    

Images