JP2007200005A - 運転支援装置 - Google Patents

Abstract

【課題】文字列の標識を簡便且つ低廉な構成の装置により、高速且つ確実に認識して運転者に対して必要な情報を報知する。
【解決手段】運転支援装置１０は、カメラ４０により前方を撮像し画像１００を得る。撮像された画像１００から文字列７０を含む領域画像７２を抽出し、該領域画像７２から車両に最も近い１文字７６を認識する。予め登録された文字を示すテンプレート８０ａと認識された１文字７６の画像データ１０２が一致するかテンプレートマッチングによって比較し、比較結果が肯定的であり、さらに車速、ブレーキ操作及びアクセル操作に基づく条件が成立している場合には運転者に注意喚起をする。
【選択図】図５

Description

本発明は、車両の運転者に対して運転に必要な情報を提供して支援する運転支援装置に関する。

近時、電子技術の発達及び低廉化に伴って、車両の運転者に対して様々な形で運転を支援するための装置の開発が進められている。例えば、特許文献１に記載された運転支援装置では、ラインセンサによって走行路面上の「止まれ」等の道路標識を画像認識し、車内の表示手段に表示している。この運転支援装置によれば、車両が交差点、Ｔ字路及び横断歩道等（以下、交差点という。）に差し掛かっていることを運転者が確実に認識することができる。

特開２００２−２１９９９８号公報

ところで、前記の運転認識装置では、ラインセンサを用いていることから１回の撮像で得られる画像は極めて狭幅であり、路面上の文字を認識するためには、被写位置を少しずつずらしながら多数回の撮像を行わなければならず、処理手順が複雑で処理時間が長い。

また、仮に２次元画像によって路面上の文字を撮像する場合であっても、複数の文字を認識するのには文字数に応じて処理時間が増大するため、走行速度に応じて文字を迅速に認識するためにはハードウェア、ソフトウェアの負担が大きく、十分に高速な処理を実現するためにはコストの高騰を招く。

さらに、例えば、路面上の文字列が縦書きで表示されている場合には、下桁の文字は車両に近いことから比較的大きく撮像されるため認識が可能であっても、上桁の文字は小さく撮像されるため、認識するための十分な分解能、解像度が得られず、結果として遠方の文字列の認識が困難となる。

本発明はこのような課題を考慮してなされたものであり、文字列の標識を簡便且つ低廉な構成の装置により、高速且つ確実に認識して運転者に対して必要な情報を報知することができる運転支援装置を提供することを目的とする。

本発明は、車両の運転支援装置であって、以下の特徴を有する。

第１の特徴：前方を撮像するカメラと、前記カメラにより撮像された画像から文字の存在が想定される領域内の領域画像を抽出する画像抽出部と、予め登録された文字の形状情報を記録した情報記憶部と、前記情報記憶部から前記形状情報を読み込み、前記画像抽出部から前記領域画像を読み込み、前記形状情報に基づいて、前記領域画像内に前記予め登録された文字が存在するか調査をする文字認識部と、前記文字認識部による比較結果が肯定的である場合に運転者に対して所定の注意喚起をする報知部とを有し、前記予め登録された文字は、規定の文字標識に含まれる文字で、前記車両に最も近い１文字であることを特徴とする。

このように、画像抽出部で抽出された文字の存在が想定される領域画像の中から、車両に最も近い１文字を予め記憶された予め登録された文字が存在するか調べることにより、ハードウェア及びソフトウェアの負担が軽減し、簡便且つ低廉な構成により処理を実現することができる。予め登録された文字が存在するか否かは、例えば、テンプレートマッチングにより調べることができる。

第２の特徴：前記報知部は、前記車両の車速、ブレーキ操作及び（又は）アクセル操作を検出し、前記文字認識部による調査結果が肯定的であって、さらに、前記車速、前記ブレーキ操作及び（又は）前記アクセル操作に基づく条件が成立しているときに運転者に所定の注意喚起をすることを特徴とする。これにより、運転状況に応じて適切に注意喚起をすることができる。

第３の特徴：前記条件は、ブレーキ操作がなされて無いか又はアクセル操作がなされているときであって、且つ、前記車速が所定値以上であることを特徴とする。これにより、一層適切に注意喚起をすることができる。

第４の特徴：画像抽出部は、画像における走行路面上から前記領域画像を抽出することを特徴とする。走行路面上の文字標識は大きく表示されており、しかも輝度差が大きいことから、文字の認識が容易である。

第５の特徴：前記車両は、二輪車又は三輪車であることを特徴とする。

本発明に係る運転支援装置によれば、画像抽出部で抽出された文字の存在が想定される領域画像の中から、車両に最も近い１文字を予め記憶された予め登録された文字が存在するか調べることにより、ハードウェア及びソフトウェアの負担が軽減し、簡便且つ低廉な構成により処理を実現することができる。予め登録された文字が存在するか否かは、例えば、テンプレートマッチングにより調べることができる。

また、文字列が縦書きで表示されている場合は、車両に最も近い１文字は比較的大きい文字画像として撮像されるため、認識するための十分な分解能、解像度が得られ、良好な文字標識認識処理が行われる。

以下、本発明に係る運転支援装置について実施の形態を挙げ、添付の図１〜図１０を参照しながら説明する。本実施の形態に係る運転支援装置１０は、車両１２に搭載されている。

図１に示すように、車両１２はスクータ式の自動二輪車であって、車体前方に前輪ＷＦを軸支するフロントフォーク１４を有し、該フロントフォーク１４はフロントガード部１６を介してハンドル１８の操作によって操舵される。ハンドル１８における右グリップ部は回動可能なアクセル２０となっている。また、左右のハンドル１８にはフロントブレーキ２２及びリアブレーキ２４がレバーとして設けられている。左右のハンドル１８の間にはスピードメータ等を含むインストルメントパネル２６及び透明なウィンドシールド２８が設けられている。ウィンドシールド２８はフロントガード部１６の前面と一体的で空気抵抗の少ない滑らかな形状であり、前端部がインストルメントパネル２６の上面を覆うとともに、斜め後方に向かって張り出している。

フロントガード部１６の下端にはフロアステップ３０を含む中間フレーム体３２が略水平に延設されている。中間フレーム体３２の後端には後部フレーム体３４が設けられている。

後部フレーム体３４にはエンジン、減速機及び駆動輪である後輪ＷＲ等を含むスイングユニット３６が揺動自在に接続されている。スイングユニット３６は、図示しないリヤサスペンションにより懸架されている。後部フレーム体３４の上部には搭乗者が着座するシート３８が固定されている。

また、車両１２には運転支援装置１０が搭載されている。該運転支援装置１０は、前方を撮像するカメラ４０と、該カメラ４０から画像を取得して文字標識認識処理等を行うコントロールユニット４２と、コントロールユニット４２の処理結果によって所定の表示を行うモニタ（報知部）４４と、車速センサ４６と、フロントブレーキセンサ４８と、リアブレーキセンサ５０と、アクセルセンサ５２とを有する。

カメラ４０及びモニタ４４は、インストルメントパネル２６の上部に設けられおり、ウィンドシールド２８により雨や粉塵から保護されている。カメラ４０は、例えば、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを用いることができる。カメラ４０によれば、透明なウィンドシールド２８を通して車両１２の前方の情景を撮像することができ、例えば、図２のような画像１００を所定の微小時間毎にコントロールユニット４２に供給する。

コントロールユニット４２はシート３８の下やフロントカウル内に設けられている。車速センサ４６はエンジンの回転数等に基づいて検出した車速をコントロールユニット４２に供給する。フロントブレーキセンサ４８及びリアブレーキセンサ５０は、フロントブレーキ２２及びリアブレーキ２４に連動して操作されるスイッチであり、これらのブレーキが操作されているときにオン信号をコントロールユニット４２に供給する。アクセルセンサ５２は、アクセル２０に連動して操作されるスイッチであって、アクセルを開いているときにオン信号をコントロールユニット４２に供給する。又は、アクセル開度を検出するようにしてもよい。

図３に示すように、コントロールユニット４２は、画像処理部６０と、予め登録された文字の形状情報を記録した情報記憶部６２と、報知部６６とを有する。

画像処理部６０は、カメラ４０により撮像された画像１００（図２参照）から文字列７０が含まれていると想定される領域画像７２を抽出する画像抽出部７４と、領域画像７２内に予め登録された文字が存在するか調べる文字認識部７８とを有する。

情報記憶部６２は複数のテンプレート群８０を有する。ここで、テンプレート群８０は、予め登録された文字の形状情報を画像データとして記録したものである。本実施例では、予め登録された文字「れ」、「レ」、「！」及び「行」に対応したテンプレート８０ａ、８０ｂ、８０ｃ及び８０ｄが設けられている。これらの予め登録された文字は、順に「止まれ」、「止マレ」、「注意！」及び「徐行」の交通上の規定の文字標識に含まれる文字で、車両１２から見て最も近い側に配置される１文字を示している。これらの文字標識は、例えば、交通法規等に基づいて文字列や大きさ等が規定されており、行政官庁、自治体等が走行路面に付するものである。

テンプレート８０ａは、図４に示すように、概略形状を示しており、文字を示す部分が「１」となっているデータ構成であれば適用可能である。他のテンプレート８０ｂ〜８０ｄ等についても同様である。もちろん、より詳細なデータ構成に設定してもよい。

文字認識部７８は、情報記憶部６２から形状情報としてのテンプレート群８０を読み込むとともに、画像抽出部７４から領域画像７２を読み込み、文字の形状情報に基づいてパターンマッチングを行い、領域画像７２内に予め登録された文字が存在するか否かをテンプレートマッチングにより調査する。

報知部６６は、車速センサ４６、フロントブレーキセンサ４８、リアブレーキセンサ５０及びアクセルセンサ５２に接続されており、文字認識部７８による調査結果が肯定的であった場合で、車速、ブレーキ操作（フロントブレーキ２２又はリアブレーキ２４の操作）及びアクセル操作（アクセル２０の操作）に基づく条件が成立しているときにモニタ４４を介して運転者に警報を報知する。この条件は、具体的には、例えば、車速が所定値以上で、ブレーキ操作がなされて無く、且つ、アクセル操作がなされていないという条件として設定される。この場合のブレーキ操作がなされていないという要件は、フロントブレーキ２２又はリアブレーキ２４のいずれも操作されていないことを示す。

また、警報は、モニタ４４又はインストルメントパネル２６に設けられたランプを点灯させ、又は、所定の音響・音声により報知することができる。

なお、コントロールユニット４２は、主たる処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶部とを有しており、図３に示す各機能部は、ＣＰＵが記憶部から所定のソフトウェアを読み込み実行することにより実現される。

次に、このように構成される運転支援装置１０により文字標識を認識する処理の手順について図５を参照しながら説明する。図５に示す処理は、主にコントロールユニット４２の作用下に自動的且つ微小時間毎に連続的に行われる。

先ず、ステップＳ１において、画像処理部６０はカメラ４０から画像１００（図２参照）を取得し、所定手段により二値化する。二値化処理は、閾値以上の輝度のピクセルを１、閾値未満の輝度のピクセルを０とすることにより行われる。

ステップＳ２において、画像抽出部７４は、二値化された画像１００から１文字以上の文字列７０を含むと想定される領域画像７２を抽出する。この抽出処理は、例えば、走行方向の走行路面８４上の文字標識について抽出するように、画像１００の中の固定の領域として領域画像７２を抽出する。すなわち、図２に示すように、遠近を考慮しながら走行路面を含むように、手前側が広く、消失点（地平線を示す線上で、カメラの真正面の点）２００を頂点とするような三角形２０２とすればよい。また、交差点に差し掛かっていると認識できる場合には、消失点は交差点の先に存在することになり、三角形の頂部を省略した台形としてもよい。さらに、左側走行の国である場合には右側走行路は考慮する必要がないため、図２に示すように、やや左寄りの形状としてもよい。さらにまた、遠方の文字列が認識できない場合に備えて、領域画像７２は、画像１００の最も下側までカバーするように設定するとよい。

ステップＳ３において、文字認識部７８は、画像抽出部７４で抽出された領域画像７２を読み込むとともに、情報記憶部６２からテンプレート群８０を読み込む。この場合、必ずしもテンプレート群８０の全てのテンプレート８０ａ〜８０ｄを読み込む必要はなく、走行状況に応じて適宜選択的に読み込むようにしてもよい。例えば、何らかの手段により交差点に差し掛かっていることが認識できている場合では、「止まれ」又は「止マレ」の文字標識を優先的に認識することが好ましいから、「れ」及び「レ」を示すテンプレート８０ａ及び８０ｂのみを読み込めばよい。

さらに、複数の領域についてテンプレートマッチングを行う場合（例えば、後述する領域画像７３（図９参照）のような他の領域についてもテンプレートマッチングを行う場合）には、各領域画像に対応したテンプレートをそれぞれ選択的に読み込むようにしてもよい。

ステップＳ４において、文字認識部７８は、領域画像７２において、テンプレート８０ａ〜８０ｄのいずれか一つを順番に用いたテンプレートマッチングを行い、該テンプレートが示す文字が領域画像７２内に存在するか否かを調査する。

例えば、図６に示すように、「れ」を示すテンプレート８０ａを用いる場合に、該テンプレート８０ａを領域画像７２の左端から右端に向かって微小距離（例えば、１ピクセル）毎に移動させ、さらに、矢印Ａ１、Ａ２、Ａ３、Ａ４、Ａ５…で示すように、上端から下端に向かって微小距離毎に移動させながら輝度の相関をとることにより調査を行う。このようなテンプレートマッチングを行い、相関値が所定値以上である場合に、予め登録された文字「れ」が領域画像７２内に存在すると判断を行う。

なお、テンプレート８０ａ〜８０ｄ及び領域画像７２が大きくなると、処理に時間がかかるため、４（又は９等）ピクセル毎に平均をとり、テンプレート８０ａ〜８０ｄ及び領域画像７２のサイズを変更して、マッチングが成立しそうな位置を推定する方法等で検査領域を減縮することによりテンプレートマッチングの処理時間を短縮するようにしてもよい。また、テンプレートマッチングには、処理時間を短縮する方法が多数提案されており、それらの手段を用いてもよいことはもちろんである。

文字標識から車両１２までの距離によって撮像される文字標識の大きさは異なるため、対応するテンプレート８０ａ〜８０ｄの大きさも適度に拡大又は縮小して用いるとより。また、予め大きさの異なる複数のテンプレートを用意しておいてもよい。

この場合、他の文字「止」や「ま」については必ずしも認識する必要はなく、処理の高速化が図られる。また、文字列７０は「止まれ」であって、調査対象の「れ」以外の文字「止」及び「ま」については調査対象とならないが、文字標識の種類は限定、且つ規定されており、車両１２に最も近い１文字７６により全体の文字列「止まれ」を特定し、交差点に差し掛かっていることが判断可能である。同様に、１文字７６が「レ」である場合には、全体の文字列７０は「止マレ」であって、１文字７６が「行」である場合には、全体の文字列７０は「徐行」であると判断できる。

ただし、１文字７６が「！」である場合には、全体の文字列７０は「注意！」や「危険！」等の複数が該当して１つに特定することはできないが、いずれの場合であっても運転者に対する注意喚起である点で共通しており、同様の警報を報知して差し支えない。

なお、遠近を考慮してマッチングを一層正確に行うため、図７に示すテンプレート８０ａのように、手前側が拡大された画像データを設けておいてもよい。

この後、文字認識部７８の調査結果に基づく分岐処理を行い、該調査結果が肯定的である場合（つまり、領域画像７２内に予め登録された文字が存在すると判断された場合）には、報知部６６にその旨を示す信号を供給してステップＳ５に移る。テンプレート８０ａ〜８０ｄで示される予め登録された文字が領域画像７２に存在しないと判断された場合には図５に示す今回の処理を終了する。

ステップＳ５において、報知部６６は車速センサ４６、フロントブレーキセンサ４８、リアブレーキセンサ５０及びアクセルセンサ５２の信号を読み込み、ブレーキ操作がなされて無いか又はアクセル操作がなされているときであって、且つ、車速が所定値以上であるという条件が成立しているか調べる。この条件が成立している場合には、ステップＳ６へ移り、不成立である場合には図５に示す今回の処理を終了する。

このように、車速、ブレーキ操作及び（又は）アクセル操作に基づく条件を考慮することにより運転状況に応じて適切に注意喚起をすることができる。つまり、交差点に差し掛かっている場合でも、車速が十分低速であって、ブレーキ操作がなされ又はアクセル操作がなされていない場合には、運転者がすでに交差点に差し掛かっていることを認識していると判断できることから冗長的に警報を報知する必要はない。

なお、確認的にこの条件を論理式で表すと、以下のようになる。
条件＝（（ブレーキ操作がなされて無い）ｏｒ（アクセル操作がなされている））ａｎｄ（車速が所定値以上）

また、車速を微分することにより得られる加速度を条件判断に考慮してもよく、例えば、加速度が正値である場合には、他の条件に関わらずにステップＳ６に移るようにしてもよい。該加速度の絶対値が十分に大きい負値である場合には、他の条件に関わらずに図５の処理を終了してもよい。

ステップＳ６において、報知部６６はモニタ４４に設けられたランプを点灯させて運転者に注意喚起をする。この報知により運転者は、車両１２が交差点に差し掛かっていることを認識することができ、徐行又は停止を一層確実に行うことができる。また、報知部６６は、文字認識部７８が認識した１文字７６が予め登録された複数の文字のうち、一致したものの種類に応じて異なる警報（ランプの色や点滅パターンの相違等による。）を報知することにより、運転者は一層詳細な情報が得られる。

上述したように、本実施の形態に係る運転支援装置１０によれば、画像抽出部７４で抽出された領域画像７２の文字列７０のうち、車両１２に最も近い１文字７６を予め記憶された予め登録された文字「れ」、「レ」、「！」及び「行」とテンプレートマッチング手法によって比較する。したがって、文字列７０が２文字以上である場合にも、処理に供されるのは車両に最も近い１文字７６のみであり、コントロールユニット４２及びソフトウェアの負担が軽減し、簡便且つ低廉な構成により標識認識処理を高速に行うことができる。

また、図２に示すように、文字列７０が縦書きで表示されている場合には、上桁の文字「止」は小さく撮像されるため認識するための十分な分解能、解像度が得られず、正確な認識が困難となることがあるが、運転支援装置１０では、比較的大きく撮像される最下桁の１文字７６である「れ」に基づく処理を行うことから、十分な分解能、解像度が得られ、確実な文字標識認識処理が行われる。

さらに、図８に示すように、前方を走行する他の車両１０４が文字列７０の上位桁を覆っている場合であっても、最下桁の１文字７６が撮像可能であれば文字標識認識処理が正常に行われる。

上記の例では、文字列７０が走行路面８４上に表示されている場合について説明したが文字列７０の位置はこれに限らず、例えば、図９に示すように、側方の側壁８６に表示されている場合であっても運転支援装置１０による認識が可能である。つまり、画像１００から文字列７０を含む領域画像７３を抽出して、車両１２に最も近い１文字７６を認識し、文字認識部７８により予め登録された文字列との比較を行えばよい。また、側壁８６に表示される文字標識が限定されている場合には、それに対応したテンプレートのみを用いてテンプレートマッチングを行うようにして、処理の高速化を図るとよい。側壁８６の文字標識に対応させる場合には、前記の領域画像７２とは異なる専用の領域画像７３を設定するとよい。

なお、図９から明らかなように、文字列７０は必ずしも縦書きである必要はなく、横書きであっても車両１２から見て実質的に縦方向に配列されている文字列であれば、車両１２に最も近い１文字７６に基づいて文字標識認識処理を行うことができる。この場合、図１０に示すように、予め登録された文字「止」を示すテンプレート８０ｅを情報記憶部６２に記録しておき、１文字７６と比較をするとよい。また、文字列「止まれ」が側壁８６に横書き表示されていることを前提とする場合には、テンプレート８０ｅが示す「止」の像も同様に側壁に表示された状態で表すとよい。

運転支援装置１０で認識対象とする文字標識は、走行路面８４、側壁８６に表示されているものに限らず、標識板等に表示されているものにも適用可能である。

また、文字列７０は日本語に限らず、英語圏での使用を考慮して、「ＳＴＯＰ」を示す「Ｓ」、「Ｔ」、「Ｏ」及び「Ｐ」が縦に表記されている文字列に適用可能なように「Ｐ」を示すテンプレートを設けておいてもよい。英語圏で使用する場合、この他には「ＣＡＵＴＩＯＮ」に対応して「Ｎ」を示すテンプレートを設けておいてもよい。なお、文字「！」に対応したテンプレート８０ｃは日本及び英語圏で共用可能である。

上記の例では、文字認識部７８において車両１２に最も近い１文字７６を領域画像７２として認識し、その後テンプレートマッチングにより予め登録された文字との比較を行っているが、認識及び比較の方法はこれに限らず、例えば、１文字７６の認識はいわゆるテキストデータとして認識し、文字コードの比較により予め登録された文字との一致、不一致を確認してもよい。

上記の例では、車両１２は自動二輪車としたが、運転支援装置１０は三輪車、四輪車や自転車等にも適用可能であることはもちろんである。

本発明に係る運転支援装置は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

運転支援装置が搭載された車両の斜視図である。 文字標識がある交差点に差し掛かったときにカメラにより撮像された画像である。 本実施の形態に係る運転支援装置のブロック構成図である。 テンプレートのデータ構成を示す図である。 運転支援装置による文字標識認識処理の手順を示すフローチャートである。 テンプレートと領域画像とのテンプレートマッチング処理を示す模式図である。 遠近を考慮して手前側が拡大されたテンプレートを示す図である。 文字標識の一部が車両により覆われている状態で交差点に差し掛かったときにカメラにより撮像された画像である。 側壁に文字標識が表示されている交差点に差し掛かったときにカメラにより撮像された画像である。 側壁に表示された文字列に対応して設定されたテンプレートを示す図である。

符号の説明

１０…運転支援装置 １２…車両
２０…アクセル ２２…フロントブレーキ
２４…リアブレーキ ４０…カメラ
４２…コントロールユニット ４４…モニタ
４６…車速センサ ４８…フロントブレーキセンサ
５０…リアブレーキセンサ ５２…アクセルセンサ
６０…画像処理部 ６２…情報記憶部
６６…報知部 ７０…文字列
７２、７３…領域画像 ７４…画像抽出部
７６…車両に最も近い１文字 ７８…文字認識部
８０ａ〜８０ｅ…テンプレート ８４…走行路面
１００…画像

Claims (5)

1. 車両の運転支援装置であって、
   前方を撮像するカメラと、
   前記カメラにより撮像された画像から文字の存在が想定される領域内の領域画像を抽出する画像抽出部と、
   予め登録された文字の形状情報を記録した情報記憶部と、
   前記情報記憶部から前記形状情報を読み込み、前記画像抽出部から前記領域画像を読み込み、前記形状情報に基づいて、前記領域画像内に前記予め登録された文字が存在するか調査をする文字認識部と、
   前記文字認識部による比較結果が肯定的である場合に運転者に対して所定の注意喚起をする報知部と、
   を有し、
   前記予め登録された文字は、規定の文字標識に含まれる文字で、前記車両に最も近い１文字であることを特徴とする運転支援装置。
2. 請求項１記載の運転支援装置において、
   前記報知部は、前記車両の車速、ブレーキ操作及び（又は）アクセル操作を検出し、前記文字認識部による調査結果が肯定的であって、さらに、前記車速、前記ブレーキ操作及び（又は）前記アクセル操作に基づく条件が成立しているときに運転者に所定の注意喚起をすることを特徴とする運転支援装置。
3. 請求項２記載の運転支援装置において、
   前記条件は、ブレーキ操作がなされて無いか又はアクセル操作がなされているときであって、且つ、前記車速が所定値以上であることを特徴とする運転支援装置。
4. 請求項１〜３のいずれか１項に記載の運転支援装置において、
   前記画像抽出部は、前記画像における走行路面上から前記領域画像を抽出することを特徴とする運転支援装置。
5. 請求項１〜４のいずれか１項に記載の運転支援装置において、
   前記車両は、二輪車又は三輪車であることを特徴とする運転支援装置。

Images