JP2012527681A - 車両周辺映像を用いた車線離脱感知方法および装置 - Google Patents

Abstract

【課題】走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。
【解決手段】本発明による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像をカメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、複数の補正映像を合成して車両の周辺映像を生成する段階、車両の周辺映像から車線を抽出し、車両と抽出された車線との距離情報、または車両の進行方向と抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および車線離脱と判断される場合には警報を発生する段階を含む。
【選択図】 図２

Description

本発明は、周辺映像生成方法および装置に関し、より詳しくは、車両の前方、後方、左側および右側に設置されたカメラを通じて撮像された映像を合成して車両の離脱有無を判断する車線離脱感知方法および装置に関する。

最近、自動車産業の発達に伴って１世帯に１台保有の時代という程度に自動車の普及は商用化されており、高速道路および道路運送網の拡充に伴って長距離を運転する運転者が大きく増加した。これによって、長距離運送が多いトラック運転者と長距離通勤者などは長時間運転による疲労、不注意、居眠り運転による車線離脱事故の危険に露出されている。

一般に先端安全車両（Ａｄｖａｎｃｅｄ Ｓａｆｅｔｙ Ｖｅｈｉｃｌｅ、以下、「ＡＳＶ」という）は、車両の安全度の向上のために先端電子技術と制御技術を適用した先端車両として、交通事故を減少させて交通量を増加させ、エネルギーを節約し、運転者の便宜を図るようになる。

ＡＳＶは、車間距離を自動的に制御する定速走行装置（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ、以下、「ＡＣＣ」という）、車線離脱をモニターして警告する車線離脱警報システム（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ、以下、「ＬＤＷＳ」という）などを含む。

特に、ＬＤＷＳは、車両に付着されたカメラから前方道路の映像を感知して現在走行している車線を把握した後、運転者が不注意や居眠り運転などにより車線を離脱しようとすると警報音が鳴るようにする安全システムである。ＬＤＷＳは、カメラを通じて撮像されたイメージに基づいて側面位置と側面速度、ステアリングアングル、車線幅、道路の屈曲などを総合的に分析し、分析結果、車線離脱が感知されると運転者に知らせるようにする。

従来技術によれば、車両の両側サイドミラーに装着されたカメラにより撮像される後側方の左右映像から車線を抽出し、抽出された左右車線と車体の方向線とがなす角度などを計算して車線離脱の有無を検出した。他の従来技術によれば、車両の前方に装着されたカメラにより撮像される前方の映像と道路の映像から車線を認識し、認識された車線の傾け変化を抽出して車線離脱の有無を判断した。

しかし、従来技術によれば、車両の左右側映像を単に組み合わせて表示することによって、映像間のオーバレイ処理が自然に行われず、現在車両の進行位置や経路離脱程度を正確に判断することができないという問題点があり、特に、車両の前方映像のみでは現在車両の離脱程度を正確に判断し難く、運転者が便利に走行状況を確認し難いという問題点がある。

したがって、本発明が解決しようとする技術的課題は、車両に付着されたカメラから撮像された映像を最大限自然な映像に合成することによって、車線離脱を正確に感知し、運転者が便利に車線離脱の有無を認識することができるようにする車両周辺映像を用いた車線離脱感知方法および装置を提供することにある。

このような技術的課題を解決するための本発明の一実施例による車両周辺映像を用いた車線離脱感知方法は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および前記車線離脱と判断される場合には警報を発生する段階を含む。

前記車両の周辺映像を生成する段階は、前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することができる。

前記カメラは、前記車両の左側および右側方向にそれぞれ１台ずつ設置されるか、または前記車両の前方および後方にそれぞれ１台ずつ設置されてもよい。

前記カメラは、前記車両の前方、左側および右側方向にそれぞれ１台ずつ設置されてもよい。

前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ１台ずつ設置されてもよい。

前記車線離脱を判断する段階は、前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含む。

本発明の他の実施例による車両周辺映像を用いた車線離脱感知装置は、走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含む。

本発明の他の実施例による車両周辺映像を用いた車線離脱感知システムは、走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および前記周辺映像または警報画面をディスプレイする表示装置を含む。

以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。

本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両に設置されたカメラを説明するための図面である。 本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。 本発明の実施例による周辺映像生成方法を示したフローチャートである。 本発明の実施例によるマスク映像を説明するための図面である。 本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。 本発明の実施例による車線離脱感知方法を示したフローチャートである。 本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。 本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。 本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。

以下、添付図面を参照して本発明の実施例について本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳しく説明する。

本発明の実施例による車両周辺映像を用いた車線感知システムについて説明するに先立ち、車両に設置されるカメラについて説明する。

図１乃至図４は、本発明の実施例による車両に設置されたカメラを説明するための図面である。本発明の実施例によれば、車両に設置された３次元空間上の４台のカメラ１１０、１２０、１３０、１４０を通じて撮像された映像を補正処理することによって、車両の３６０°周辺を運転者が確認することができるようにする。図１に示したように、車両の前方、後方、左側、右側にはそれぞれカメラ１１０、１２０、１３０、１４０が設置されており、車両の死角地帯を最小化するためにカメラは少なくとも１８０°以上の広角が必要である。また、車両周辺映像の品質を向上するためには、２台のカメラの重複する視野角の領域が少なくとも１０００×１０００ｍｍ^２を維持するようにカメラの設置高さを設定するようにする。カメラの設置高さが高いほど良好な映像品質を確保することができる。このように各カメラが車両の死角地帯を解消することができる位置の選定と合成された周辺映像の画質低下を最小化することができる設置位置と視野角の設定が重要である。

図２乃至図４を通じて車両（図１乃至図４ではセダン型自動車を例に挙げる）に４台のカメラが設置される位置をより詳しく説明する。図２に示したように、前方カメラ１１０は車両のボンネット中心に設置され、左側カメラ１３０と右側カメラ１４０はそれぞれ車両の両サイドミラーの外側または下側に位置するように設置される。また、図３に示したように、後方カメラ１２０は後方バンパーの上側の中央に設置される。ここで、前方カメラ１１０と後方カメラ１２０は地面方向の垂直線を基準に１７０°以上が撮像され得るように設置する。

そして、図４に示したように、前方カメラ１１０の高さと後方カメラ１２０の高さは同一に維持するのが好ましく、同様に左側カメラ１３０と右側カメラ１４０の高さも同一に維持するのが好ましい。なぜなら、カメラの高さと角度（ＰＡＮ／ＴＩＬＴ）に応じて出力される映像のスケールおよび画質が異なるため、周辺映像合成時に重複領域で車線幅の広さが同一に表現されず、周辺事物の大きさが異質的に示される現象を最小化させるためである。また、左側カメラ１３０と右側カメラ１４０は地面方向の垂直線を基準に１７０°以上が撮像され得るように設置する。ここで、各カメラの設置位置は車種に応じて異なり、車両のデザインに応じて制約が発生することもある。

一般に広角カメラはレンズ周辺部の光量が不足して画質の低下が発生し、レンズの中心部よりも周辺部に歪曲が多く発生する。また、カメラを通じて撮像された映像を視点変換する時、周辺部の映像は画質が大きく低下する。したがって、カメラレンズの中心部領域に形成された映像を使うために前方カメラ１１０と後方カメラ１２０の光軸が地平線と平行であり、左側カメラ１３０と右側カメラ１４０は地面と垂直になるように設置する。

また、図２および図４に示したように、車両の前後方および左右側面から約１．５ｍ離れた範囲まで撮像され得るようにカメラ１１０、１２０、１３０、１４０の高さを調節し、この時、カメラは地面に対する垂直軸から約３０°〜６０°程度まで撮像することができるようにする。

一方、図１では、説明の便宜上、車両の前方、後方、左側および右側にそれぞれカメラを設置するものと示したが、本発明の実施例では２台以上のカメラを通じても実現が可能である。

つまり、カメラは車両の左側および右側方向にそれぞれ１台ずつ設置されるか、または車両の前方および後方にそれぞれ１台ずつ設置されてもよい。また、カメラは車両の前方、左側および右側方向にそれぞれ１台ずつ設置されてもよい。

図５は、本発明の実施例による車両周辺映像を用いた車線感知システムの構成を示した図面である。

図５に示したように、車線感知システムは、複数のカメラ１１０、１２０、１３０、１４０、映像生成装置２００、車線離脱感知装置３００および表示装置４００を含むことができる。

複数のカメラ１１０、１２０、１３０、１４０は、それぞれ車両の前後方、左右側に設置され、広角レンズまたは魚眼レンズのように画角が大きいレンズを具備することができ、ピンホールカメラを含む。カメラ１１０、１２０、１３０、１４０は、１７０°以上の広い画角を有するレンズを通じて３次元の被写体を２次元の映像Ｄ１、Ｄ２、Ｄ３、Ｄ４で撮像し、撮像された映像はそれぞれ４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じて映像生成装置２００に伝達される。

映像生成装置２００は、映像入力部２１０、映像処理部２３０、映像合成部２５０および制御部２７０を含む。

映像入力部２１０は、複数のカメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をそれぞれのチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じて受信する。

映像処理部２３０は、映像入力部２１０から受信された撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をルックアップテーブル（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）を通じて映像処理し、それぞれの撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４から補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を生成出力するようにする。ここで、ルックアップテーブルは、歪曲補正アルゴリズム、アフィン（Ａｆｆｉｎｅ）変換アルゴリズム、視点変換アルゴリズムを適用して生成され得る。

映像合成部２５０は、映像処理部２３０を通じて補正された補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を受信し、受信された補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を重ねるようにするオーバレイ（ｏｖｅｒｌａｙ）方式で合成処理する。ここで、映像合成部２５０は、マスク映像を用いてオーバレイ合成処理を行うが、マスク映像は、各チャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別領域情報と補正映像を構成するピクセルに対する加重値（ｗｅｉｇｈｔ）情報を有する。

制御部２７０は、補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４の間に重複する領域に含まれるピクセルの加重値を調節して重複領域が自然に表示されるようにする。

このように映像合成部２５０は、４個の補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４をオーバレイ方式で合成処理して車両の周辺３６０°を一目で見ることができる周辺映像を生成する。

車線離脱感知装置３００は、映像受信部３１０、車線認識部３３０、離脱判断部３５０および警報発生部３７０を含む。

まず、映像受信部３１０は、映像生成装置２００から生成された車両周辺の合成映像を受信する。受信される映像には走行中の車両のみならず、車両周辺の車線および障害物が表示される。

車線認識部３３０は、車両周辺映像から車両の両側に位置する車線を認識し、車両の左右車線に対応する仮想車線を抽出する。

離脱判断部３５０は、車両進行を示す仮想線と車線との間の距離および角度などを算出することによって、現在走行中の車両の車線離脱情報を生成する。

警報発生部３７０は、車両が車線を離脱したと感知される場合、表示装置４００に車線離脱情報を伝達したり、警告音またはハンドル振動を発生する機能を担当する。

表示装置４００は、映像生成装置２００から生成された周辺映像をディスプレイすることができる装置であって、車線離脱感知装置３００から車線離脱情報を受信する場合には、画面を警報モード画面に転換させるようにする。例えば、ディスプレイされる画面が点滅するようにしたり警報を表示する赤色に画面が転換されるようにする。表示装置４００は、自動車内に設置された別途のディスプレイやナビゲーションを通じて具現されてもよく、映像生成装置２００または車線離脱感知装置３００内に含まれてもよい。

図５では、説明の便宜上、映像生成装置２００と車線離脱感知装置３００をそれぞれの機能を担当する装置に分けて示したが、映像生成装置２００に含まれる各構成要素は車線離脱感知装置３００に含まれて車両周辺映像を用いた車線離脱感知装置に一体化して具現されてもよい。

以下、図６乃至図８を通じて映像生成装置２００が自動車の周辺映像を生成する方法について説明する。図６は、本発明の実施例による周辺映像生成方法を示したフローチャートである。

まず、映像生成装置２００は、カメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じてそれぞれ受信する（Ｓ３１０）。図１乃至図４を通じて説明したように、カメラ１１０、１２０、１３０、１４０の設置位置および高さに応じて撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４の構図は変動するようになる。

次に、映像生成装置２００は、受信された撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をルックアップテーブルを通じて補正処理し（Ｓ３２０）、オーバレイ処理に適した補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を生成する。ルックアップテーブルは、歪曲補正アルゴリズム、アフィン（Ａｆｆｉｎｅ）変換アルゴリズム、視点変換アルゴリズムを適用したものであって、以下でそれぞれのアルゴリズムについて説明する。

まず、歪曲補正アルゴリズムは、カメラレンズにより発生する幾何学的歪曲を補正するためのアルゴリズムである。実際広角レンズまたは魚眼レンズは完全な球形ではなく焦点距離が短いため、レンズの幾何学的歪曲、例えば、放射状歪曲や接線方向歪曲が発生することがある。このようなレンズの歪曲によって、撮影された映像中で直線は曲線に変形して現れることがある。つまり、レンズの歪曲を示す歪曲定数（ｋ）が０よりも小さいピンクッション歪曲（ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）が発生したりレンズ歪曲定数（ｋ）が０よりも大きいバレル歪曲（ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）が発生することがある。

したがって、歪曲補正アルゴリズムを通じてレンズの幾何学的歪曲映像を補正することができる。ここで、歪曲補正アルゴリズムは、補正パラメターと歪曲定数に関する関数で示すことができる。補正パラメターはカメラに装着されたレンズの焦点距離と光学中心座標を含むことができ、歪曲定数は放射状歪曲定数と接線方向歪曲定数を含むことができる。

本発明の実施例によれば、下記の数１の式のような歪曲補正アルゴリズムを適用することができる。

ここで、ｘ’、ｙ’は、映像平面上の補正指標イメージの座標を意味し、ｕ、ｖは、３次元空間座標が投影されたレンズ平面上の座標を意味し、ｆ_ｘとｆ_ｙは、レンズの焦点距離を意味し、ｃ_ｘとｃ_ｙは、レンズの光学中心点座標を意味する。ｋ_１とｋ_２は、放射状歪曲定数を意味し、ｐ_１とｐ_２は、接線方向歪曲定数を意味し、ｒ^２＝ｘ^’２＋ｙ^’２を意味する。ここで、補正指標イメージは格子形に構成することもでき、レンズの幾何学的歪曲を補正するために使用されるイメージである。

アフィン変換は２次元空間が１次式で示される点対応を意味し、回転（Ｒ）、移動（Ｔ）、スケール（Ｓ）変換を経る。一般にアフィン変換は次の数２の式のように表され得る。

ここで、Ｗは、アフィン演算されて出力される２次元カラー映像データ、Ａは、２次元カラー映像データの線形拡大および縮小、回転などを具現するための第１変換係数、Ｄは、入力されるフレーム単位の２次元カラー映像データ、Ｂは、入力される２次元カラー映像データ（Ｄ）の線形移動を具現するための第２変換係数をそれぞれ表す。

視点変換アルゴリズムは、４個のチャンネルを通じて入力される撮像映像Ｄ１、Ｄ２、Ｄ３、Ｄ４をトップビュー視点に変換するようにする。つまり、入力映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を上方から見下ろす映像に視点変換するようにする。

そして、映像生成装置２００は、マスク映像に貯蔵されたチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別領域情報とピクセルに対する加重値（ｗｅｉｇｈｔ）情報を用いて補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４に対してオーバレイ処理を行う（Ｓ３３０）。ここで、映像生成装置２００は、複数の補正映像の間に重複する領域に対してもマスク映像を用いてオーバレイ処理を行って最終的な車両の周辺映像を生成する（Ｓ３４０）。

図７は、本発明の実施例によるマスク映像を説明するための図面である。

本発明の実施例によれば、４個の補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４を一つの映像としてオーバレイ合成するためにマスク映像を用いる。

マスク映像は、各チャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４別の領域情報とそれぞれの領域に対応するピクセル値の情報を有し、図７に示したように９個の領域に区分される。図７に示したように、マスク映像は、チャンネルｃｈ１を通じて入力される前方カメラ１１０で撮像された映像は１、２、３領域にオーバレイされるように設定し、チャンネルｃｈ２を通じて入力される後方カメラ１２０で撮像された映像は７、８、９領域にオーバレイされるように設定する。また、マスク映像は、チャンネルｃｈ３を通じて入力される左側カメラ１３０で撮像された映像は１、４、７領域にオーバレイされるように設定し、チャンネルｃｈ４を通じて入力される右側カメラ１４０で撮像された映像は３、６、９領域にオーバレイされるように設定する。ここで、第１、３、７、９領域は複数のカメラにより重複撮影された重複領域である。つまり、第１領域は前方カメラ１１０と左側カメラ１３０により重複して撮影された重複領域であり、第３領域は前方カメラ１１０と右側カメラ１４０により重複して撮影された重複領域である。また、第７領域は後方カメラ１２０と左側カメラ１３０により重複して撮影された重複領域であり、第９領域は後方カメラ１２０と右側カメラ１４０により重複して撮影された重複領域である。

制御部２７０は、重複撮影されない領域である第２、４、６、８領域に対応する映像をデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）映像に該当する周辺映像の同一の領域に移動させる。そして、制御部２７０は、複数のカメラで重複撮影された重複領域である第１、３、７、９領域に対してマスク映像を用いたオーバレイ処理を行う。

マスク映像は、色相の区分のために第２、４、６、８領域のそれぞれに対して色相の変化がない単色で表示されるようにする。また、車両の区別のために車両に該当する第５領域はＲ、Ｇ、Ｂピクセル値が調節可能であるように設定する。

そして、マスク映像は、第１、３、７、９領域に含まれるそれぞれのピクセルが１から２５４の間の範囲のＲピクセル値を有するように設定する。特にマスク映像は自然な色マッチングのために、図７に示したように第１、３、７、９領域に含まれる各ピクセルのＲピクセル値を１から２５４の間でグラディエント加重値（Ｇｒａｄｉｅｎｔ ｗｅｉｇｈｔ）値に設定されるようにする。第１領域を例に挙げれば、第２領域に接する部分のピクセルのＲピクセル値を１に設定し、第４領域に近いところに位置したピクセルであるほどＲピクセル値を増加させ、第４領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。

同様に、図７に示したように第３領域では、第２領域に接する部分のピクセルのＲピクセル値を１に設定し、第６領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。また、第７領域では、第８領域に接する部分のピクセルのＲピクセル値を１に設定し、第４領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。そして、第９領域では、第８領域に接する部分のピクセルのＲピクセル値を１に設定し、第６領域に接する部分のピクセルのＲピクセル値は２５４になるように設定する。

ここで、隣接したチャンネル間映像の重複する領域である第１、３、７、９領域は、各カメラの明るさまたは明度差により異質的に区分されて見えるため、制御部２７０は第１、３、７、９領域に含まれる各ピクセルに対して次の数３の式を適用してオーバレイ（ｏｖｅｒａｙ）演算を行うことができる。

数３の式中、Ｉ_１（ｔ）とＩ_２（ｔ）は、それぞれ二つのチャンネルを通じて入力される重複領域に対する映像情報を表し、αは、重複領域に含まれるピクセルに対する加重値を表し、Ｉ’（ｔ＋１）は、オーバレイ処理された映像情報を表す。

特に、Ｉ_１（ｔ）は、前方に設置されたカメラ１１０または後方に設置されたカメラ１２０で撮像されてｃｈ１チャンネルまたはｃｈ２チャンネルを通じて入力される重複領域に対する映像情報を表し、Ｉ_２（ｔ）は、左側に設置されたカメラ１３０または右側に設置されたカメラ１４０で撮像されてｃｈ３チャンネルまたはｃｈ４チャンネルを通じて入力される重複領域に対する映像情報を表す。

また、αは、重複領域に含まれるＲピクセルに対する加重値であって、例えば、第１領域と第２領域が接する部分の場合には、αは０に近い値（１／２５５）になり、第１領域と第４領域が接する部分の場合には、αは１に近い値（２５４／２５５）になる。

このように映像生成装置２００は、補正映像Ｅ１、Ｅ２、Ｅ３、Ｅ４の間に発生した重複領域に対してマスク映像を通じてオーバレイ処理することによって、重複領域が自然に表示された周辺映像を生成することができる。

図８は、本発明の実施例による重複領域がオーバレイ処理された周辺映像を示した例示図である。

図８に示されているように、映像生成装置２００は、カメラ１１０、１２０、１３０、１４０を通じて撮影された映像Ｄ１、Ｄ２、Ｄ３、Ｄ４を４個のチャンネルｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４を通じてそれぞれ受信した後、マスク映像を用いて重複領域に対してオーバレイ処理を行うことによって、重複領域が自然に表示されて合成された周辺映像Ｅを生成することができる。

このような方式で映像生成装置２００が生成した自動車の周辺映像を用いて車線離脱感知装置３００は、走行中の車両が車線を離脱しているかを判断することができるところ、以下で図９乃至図１２を通じて車線離脱感知装置３００が自動車の周辺映像を生成する方法について説明する。図９は、本発明の実施例による車線離脱感知方法を示したフローチャートであり、図１０乃至図１２は、本発明の実施例による車線離脱感知方法を説明するための車両周辺映像である。

まず、車線離脱感知装置３００が映像生成装置２００から合成された車両周辺の映像を受信する（Ｓ６１０）。ここで走行中の車両の走行映像は、図１０および図１１に示したようにトップビュー形態に表示される。図１０に示したように、車両７１０が道路上を走行している映像が現れ、走行中の車両７１０の両側には左右車線７２０、７３０がそれぞれ表示される。

車線離脱感知装置３００は、映像生成装置２００から受信された車両周辺の合成映像から車線を抽出する（Ｓ６２０）。ここで、合成映像から車線を抽出する方法は、ハフ変換（ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）を用いることができる。ハフ変換は、２次元映像座標で特定の点などを用いて直線を検出するアルゴリズムである。したがって、車線離脱感知装置３００は、図１０に示した車線と画面の上端との交差点（ａ）と車線と画面の下端との交差点（ｂ）の仮想座標を用いて左側車線を抽出する。同様に、車線と画面の上端との交差点（ｃ）と車線と画面の下端との交差点（ｄ）の仮想座標を用いて左側車線を抽出する。

したがって、車線離脱感知装置３００は、図１０に示したように車両７１０が走行している道路の左右車線７２０、７３０に対応する左側仮想車線７２５および右側仮想車線７３５を抽出して合成映像に表示する。また、車線離脱感知装置３００は、車両７１０の進行方向を示す仮想の進行方向線を車両の左右側にそれぞれ表示する（図面符号７４５、７５５）。つまり、車両の左側前輪と後輪を連結して仮想的な延長線である左側進行方向線７４５を生成して表示し、車両７１０の右側前輪と後輪を連結して仮想的な延長線である右側進行方向線７５５を生成して表示する。

車線離脱感知装置３００は、左右側仮想車線７２５、７３５と車両の左右側との間の距離ｅ１、ｅ２を測定し、左右側仮想車線７２５、７３５と左右側進行方向線７４５、７５５とがなす交差角度を測定する（Ｓ６３０）。つまり、車線離脱感知装置３００は、車両の左側進行方向線７４５と左側仮想車線７２５との間の距離ｅ１を測定し、左側進行方向線７４５と左側仮想車線７２５とが交差する地点での交差角度を測定する。同様に、車線離脱感知装置３００は、車両の右側進行方向線７５５と右側仮想車線７３５との間の距離ｅ２を測定し、右側進行方向線７５５と右側仮想車線７３５とが交差する地点での交差角度を測定する。

そして、左右側仮想車線７２５、７３５と車両の左右側との間の距離ｅ１、ｅ２または左右側仮想車線７２５、７３５と左右側進行方向線７４５、７５５とがなす角度が基準範囲に含まれるか判断する（Ｓ６４０）。ここで、基準範囲は、運転者が発生した警報を認知して車線離脱方向に進行中である車両を正常方向に変更するのに所要される十分な時間を考慮して設定するようにする。

図１１および図１２は、車線を離脱した車両の周辺映像を示した例示図である。図１１に示したように、算出された左側仮想車線７２５と左側進行方向線７４５とがなす角度（θ）が基準角度よりも大きい場合には、車線離脱感知装置３００は走行中の車両が車線を離脱したと判断する。

一方、車両が車線に平行に走行する場合には、左右側仮想車線７２５、７３５と左右側進行方向線７４５、７５５とが交差する点が生じない。しかし、図１２に示したように、左側進行方向線７４５と車両の左側仮想車線７２５との間の距離ｅ１が基準距離よりも広かったり、右側進行方向線７５５と車両の右側仮想車線７３５との間の距離ｅ２が基準距離よりも狭い場合には、車線離脱感知装置３００は走行中の車両が車線を離脱していると判断する。また、左右側仮想車線７２５、７３５と左右側進行方向線７４５、７５５との間の距離ｅ１、ｅ２が漸次に減少していたり、漸次に増加する場合にも、車線離脱感知装置３００は走行中の車両が車線を離脱していると判断する。

車線離脱感知装置３００は、走行中の車両が車線を離脱したと判断すると車線離脱警報信号を発生する（Ｓ６５０）。車両が車線を離脱したと感知される場合、車線離脱感知装置３００は、表示装置４００に車線離脱情報を伝達したり警告音またはハンドル振動を発生する機能を行う。車線離脱情報を受信した表示装置４００は、ディスプレイされる画面が点滅するように設定したり警報を表示する赤色に画面が転換されるようにする。

また、車線離脱感知装置３００は、車両が車線を離脱すると直ちに警報信号を発生することもできるが、車両が車線を離脱する時間が一定期間以上である場合にのみ警報信号を発生するようにすることもできる。

一方、本発明の実施例による車線離脱感知装置３００は、単なる車両の車線離脱感知のみ行うのではなく、車両の前方にある物体、例えば、車両前方の車両、歩行者、各種障害物も感知することができる。つまり、トップビュー形態の車両周辺映像から前方物体の座標を抽出し、現在走行中の車両との距離の変化を感知する。したがって、車両と前方物体との距離が持続的に減る場合にも警報音を発生する。

以上で本発明の好ましい実施例について詳しくは説明したが、本発明の権利範囲はこれに限定されるのではなく、特許請求の範囲で定義している本発明の基本概念を用いる当業者の多様な変形および改良形態も本発明の権利範囲に属する。

以上のように本発明によれば、走行中の車両周辺の死角地帯をなくし、複数のカメラにより撮像される重複領域を自然に表示されるように補正処理することによって、車線離脱の有無をより正確に感知することができる。また、走行中の運転者は走行中にサイドミラーやバックミラーに大きく依存することもなく車両周辺の状況と車線離脱情報を正確且つ迅速に認識することができ、飲酒運転や居眠り運転による事故を未然に防止することができる。

１１０、１２０、１３０、１４０…カメラ
２００…映像生成装置
２１０…映像入力部
２３０…映像処理部
２５０…映像合成部
２７０…制御部
３００…車線離脱感知装置
３１０…映像受信部
３３０…車線認識部
３５０…離脱判断部
３７０…警報発生部
４００…表示装置
ｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４…チャンネル
Ｄ１、Ｄ２、Ｄ３、Ｄ４…撮像映像
Ｅ１、Ｅ２、Ｅ３、Ｅ４…補正映像

Claims (14)

1. 走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける段階、
   前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する段階、
   前記複数の補正映像を合成して前記車両の周辺映像を生成する段階、
   前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して車線離脱を判断する段階、および
   前記車線離脱と判断される場合には警報を発生する段階を含むことを特徴とする、車両周辺映像を用いた車線離脱感知方法。
2. 前記車両の周辺映像を生成する段階は、
   前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項１に記載の車両周辺映像を用いた車線離脱感知方法。
3. 前記カメラは、前記車両の左側および右側方向にそれぞれ１台ずつ設置されるか、または前記車両の前方および後方にそれぞれ１台ずつ設置されることを特徴とする、請求項１に記載の車両周辺映像を用いた車線離脱感知方法。
4. 前記カメラは、前記車両の前方、左側および右側方向にそれぞれ１台ずつ設置されることを特徴とする、請求項１に記載の車両周辺映像を用いた車線離脱感知方法。
5. 前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ１台ずつ設置されることを特徴とする、請求項１に記載の車両周辺映像を用いた車線離脱感知方法。
6. 前記車線離脱を判断する段階は、
   前記車両の進行方向を示す進行方向線を前記車両の周辺に表示する段階、
   前記進行方向線と前記抽出された車線との距離を測定し、前記進行方向線と前記抽出された車線との交差角度を測定して前記距離情報または前記角度情報を生成する段階、および
   前記距離情報または前記角度情報が基準範囲を逸脱する場合には車線を離脱したと判断する段階を含むことを特徴とする、請求項１に記載の車両周辺映像を用いた車線離脱感知方法。
7. 走行中の車両に設置された複数のカメラを通じて撮像された映像を前記カメラに連結されるそれぞれのチャンネルを通じて入力を受ける映像入力部、
   前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成する映像処理部、
   前記複数の補正映像を合成して前記車両の周辺映像を生成する映像合成部、および
   前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出し、算出された前記距離情報または前記角度情報から車線離脱を判断する車線離脱感知部を含むことを特徴とする、車両周辺映像を用いた車線離脱感知装置。
8. 前記映像合成部は、
   前記各チャンネル格別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項７に記載の車両周辺映像を用いた車線離脱感知装置。
9. 前記カメラは、前記車両の左側および右側方向にそれぞれ１台ずつ設置されるか、または前記車両の前方および後方にそれぞれ１台ずつ設置されることを特徴とする、請求項７に記載の車両周辺映像を用いた車線離脱感知装置。
10. 前記カメラは、前記車両の前方、左側および右側方向にそれぞれ１台ずつ設置されることを特徴とする、請求項７に記載の車両周辺映像を用いた車線離脱感知装置。
11. 前記カメラは、前記車両の前方、後方、左側および右側方向にそれぞれ１台ずつ設置されることを特徴とする、請求項７に記載の車両周辺映像を用いた車線離脱感知装置。
12. 前記車線離脱と判断される場合には警報を発生する警報発生部をさらに含むことを特徴とする、請求項７に記載の車両周辺映像を用いた車線離脱感知装置。
13. 走行中の車両に設置されて撮像された映像をそれぞれのチャンネルを通じて出力する複数のカメラ、
    入力された前記撮像映像をトップビュー形態に補正処理して複数の補正映像を生成し、前記複数の補正映像を合成して前記車両の周辺映像を生成する映像生成装置、
    前記車両の周辺映像から車線を抽出し、前記車両と前記抽出された車線との距離情報、または前記車両の進行方向と前記抽出された車線とがなす角度情報を算出して前記距離情報または前記角度情報から車線離脱を判断し、前記車線離脱と判断される場合には警報を発生する車線離脱感知装置、および
    前記周辺映像または警報画面をディスプレイする表示装置を含むことを特徴とする、車両周辺映像を用いた車線離脱感知システム。
14. 前記映像生成装置は、
    前記各チャンネル別領域情報と各領域を構成するピクセルに対する加重値情報を含むマスク映像を用いて前記複数の補正映像をオーバレイ処理して前記車両の周辺映像を生成することを特徴とする、請求項１３に記載の車両周辺映像を用いた車線離脱感知システム。