JP2005254949A - シートベルト装着状態検知システム - Google Patents

Abstract

【課題】車室内を撮像した画像を画像処理して複数のシートの乗員のシートベルトの装着状態を精度よく検知する。
【解決手段】車室内の運転席１２及び助手席１３を撮像する撮像装置１４が、単一の撮像素子２１と、一の面に運転席１２の像が入射され、他の面に助手席１３の像が入射され、両方の像が内部で反射されて撮像素子２１側に集光されるプリズム２３とを備え、撮像装置１４で撮像された撮像映像について所定の画像処理を行い、シートベルト１７のバックル１８に取り付けられたマーク１９を画像認識して、各搭乗位置のそれぞれの乗員がシートベルトを装着しているか否かを判断する。
【選択図】図２

Description

本発明は、シートベルト装着状態検知システム及びそれに関連する技術に関するものである。

自動車の運転席に座している乗員（運転者）がシートベルトを装着しているか否かを検知する方法として、シートベルトを座席横の位置に連結するためのバックルの内部にスイッチを設け、このスイッチのオン／オフによりシートベルトの装着状態検知を行うシステムがあった。

ただし、この例では、シートベルトのバックルの内部にスイッチを内蔵し、このバックル内のスイッチと例えばインストゥルメント・パネルとの間を、ハーネス等の所定の電線を引き回して電気回路を構成しなければならなかったため、自動車内部の配線が煩雑となっていた。

そこで、例えばインストルメントパネルにＣＣＤセンサ等の撮像装置を設置し、車室内を撮像して、この撮像映像の輪郭抽出、特徴抽出及びパターン認識等の種々の画像処理を行うことで、乗員の姿勢を自動的に検出する方法が開示されており（例えば、特許文献１参照）、この画像処理を応用して、乗員がシートベルトを装着しているか否かを判断する方法も考えられる（提案例）。この場合は、バックルとインストゥルメント・パネルとの間に電線を引き回す必要がなくなり、自動車のボディ部の配線が簡素化して製造工程が簡単になる。

特開２００１−３０７０７７号公報

しかしながら、上記した提案例のように、通常の撮像画角を有する撮像装置を使用すると、コストの低減を目的としてＣＣＤセンサを１個だけしか使用しない場合は、例えば助手席の乗員のみしか検知できないといった不便さが生じ、運転席と助手席の両方の乗員についてシートベルトの装着状態検知を行いたい場合は、少なくとも２個のＣＣＤセンサを設置しなければならず非効率である。

一方、例えば図８のように、単一のＣＣＤセンサ１で、その撮像画角が比較的大きいものを使用した場合は、例えばその撮像方向の中心２を運転席３と助手席４の中間に設定することで、運転席３と助手席４の両方を撮像できる。この場合は、単一のＣＣＤセンサ１で撮像された画像について、輪郭抽出、特徴抽出及びパターン認識等の種々の画像処理を行うだけで、運転席３と助手席４の両方の乗員５，６のシートベルトの装着状態を検知できる。

しかしながら、この図８のＣＣＤセンサ１に結像される像は、図９中の符号７のようになり、運転席３と助手席４との間の空間８がそのまま現れることから、輪郭抽出、特徴抽出及びパターン認識等の種々の画像処理を行って乗員５，６のシートベルトの装着状態検知を行う場合、画像７の全領域中に占める画像処理対象領域９が、運転席３と助手席４との間の空間８の分だけ狭まってしまい、その分、画像処理精度が低下してしまう。

そこで、本発明の課題は、車室内を撮像した画像を画像処理して複数のシートの乗員のシートベルトの装着状態検知を行う場合に、画像処理精度を向上することを最も主要な特徴とする。

上記課題を解決すべく、請求項１に記載の発明は、自動車の車室内の所定の搭乗位置に座した乗員がシートベルトを装着しているか否かを検出するシートベルト装着状態検知システムであって、車室内の前記両搭乗位置を撮像する撮像装置と、前記撮像装置で撮像された撮像映像について所定の画像処理を行って、この画像処理の結果に基づいて前記搭乗位置の乗員がシートベルトを装着しているか否かを判断するシートベルト判断手段と
を備えるものである。

請求項２に記載の発明のシートベルト装着状態検知システムは、請求項１に記載のシートベルト装着状態検知システムであって、前記撮像装置が、自動車の車室内の所定の二箇所の搭乗位置に座したそれぞれの乗員を撮像するものであって、単一の撮像素子と、一の面に一方の前記搭乗位置の像が入射され、他の面に他方の前記搭乗位置の像が入射され、両方の前記像が内部で反射されて前記撮像素子側に集光されるプリズムとを備え、前記シートベルト判断手段が、前記各搭乗位置におけるそれぞれの乗員がシートベルトを装着しているか否かを判断するものである。

請求項３に記載の発明は、請求項１または請求項２に記載のシートベルト装着状態検知システムであって、前記シートベルトに取り付けられたマークをさらに備え、前記シートベルト判断手段が、前記マークを画像認識してシートベルトを装着しているか否かを判断するものである。

請求項４に記載の発明は、請求項２に記載のシートベルト装着状態検知システムであって、前記プリズムの先端の頂角は、前記撮像素子の撮像有効領域に入射される像が、前記各搭乗位置の像に限定されるよう、前記プリズムの前記各面に入射される像の範囲を限定する角度に設定されたものである。

請求項５に記載の発明は、請求項１から請求項４のいずれかに記載のシートベルト装着状態検知システムであって、前記一方の前記搭乗位置が運転席であり、前記他方の前記搭乗位置が助手席であり、前記撮像装置が車室内のインストゥルメント・パネルに設置されるものである。

請求項６に記載の発明は、請求項５に記載のシートベルト装着状態検知システムであって、前記撮像素子が、インストゥルメント・パネル内の各電気部品を実装する実装基板に実装されるものである。

請求項１に記載の発明のシートベルト装着状態検知システムは、搭乗している乗員がシートベルトを装着しているか否かを容易に検知できる。

請求項２に記載の発明のシートベルト装着状態検知システムは、車室内の搭乗位置を撮像する撮像装置が、単一の撮像素子と、一の面に一方の搭乗位置の像が入射され、他の面に他方の搭乗位置の像が入射され、両方の像が内部で反射されて撮像素子側に集光されるプリズムとを備え、撮像装置で撮像された撮像映像について所定の画像処理を行って、この画像処理の結果に基づいて各搭乗位置のそれぞれの乗員がシートベルトを装着しているか否かを判断するようにしているので、単一の撮像素子で２箇所の乗員について同時にシートベルト装着状態を検知できる。

そして、請求項１に記載の発明のシートベルト装着状態検知システムは、例えば請求項４に記載されるように、プリズムの先端の頂角を、撮像素子の撮像有効領域に入射される像が、各搭乗位置の像に限定されるよう、プリズムの各面に入射される像の範囲を限定する角度に設定するなどして、撮像対象である両搭乗位置の像をプリズムにより有効に撮像素子に集光しているので、撮像素子の撮像有効領域全体に亘って両搭乗位置の像を結像させることができる。したがって、両搭乗位置だけでなく当該両搭乗位置の間の空間を併せて撮像して搭乗位置のみを対象に乗員のシートベルトが装着されているか否かを検知する場合に比べて、撮像素子の撮像有効領域につき広い像レンジで撮像した高解像度の撮像映像で種々の画像処理を行うことができる。したがって、乗員のシートベルト装着状態検知の判断精度が向上する利点がある。

請求項３に記載の発明のシートベルト装着状態検知システムは、シートベルト判断手段が、シートベルトに取り付けられたマークを画像認識してシートベルトを装着しているか否かを判断するので、シートベルトの装着状態検知を正確に行うことができる。

請求項５に記載の発明のシートベルト装着状態検知システムは、一方の搭乗位置が運転席であり、他方の搭乗位置が助手席である場合においては、撮像装置が車室内のインストゥルメント・パネルに設置して、撮像対象である運転席及び助手席を有効に同時に撮像できる。

請求項６に記載の発明のシートベルト装着状態検知システムは、撮像素子を実装する基板として、インストゥルメント・パネル内の各電気部品を実装する実装基板を兼用しているので、別個に撮像素子専用の実装基板のみを使用する場合に比べて、部品点数を低減できるとともに、この実装基板を通じて、シートベルト判断手段に対する接続を容易に行うことができる。

図１は本発明の一実施形態に係るシートベルト装着状態検知システム１０が搭載された自動車の車室内を示す図、図２はそのシートベルト装着状態検知システム１０を示すブロック図である。

このシートベルト装着状態検知システム１０は、図１の如く、自動車内の所定の搭乗位置の各乗員がシートベルト１７を装着しているか否かを判断するものであって、自動車のインストゥルメント・パネル１１において運転席１２と助手席１３との中間位置に対向する位置に配置されて、車室内の運転席１２及び助手席１３を前方（インストゥルメント・パネル１１側）から撮像する撮像装置１４と、この撮像装置１４で撮像された撮像映像について輪郭抽出、特徴抽出及びパターン認識等の種々の画像処理を行う画像処理部１５と、この画像処理部１５での画像処理結果に基づいて運転席１２及び助手席１３のそれぞれの乗員がシートベルト１７を装着しているか否かを判断する判断部１６と、シートベルト１７のバックル１８に取り付けられた画像識別用のマーク１９（図６）とを備える。

撮像装置１４は、ＣＣＤ等の撮像素子２１と、この撮像素子２１に対して集光するためのレンズ系２２と、左右斜めから取り込んだ光３０ａ，３０ｂを内部で１回反射させてレンズ系２２側に集光するプリズム（光学素子）２３とを備え、これらが、図３及び図４の如く、透明プラスチック等で形成された透明窓２６ａ，２６ｂを有するカバー（アクリル板）２４の内面側に配されて、インストゥルメント・パネル１１の内部に設置される。このカバー２４は、インストゥルメント・パネル１１の例えば中央部分等にあって、撮像素子２１、レンズ系２２及びプリズム２３を覆って外部から目立たなくするために、インストゥルメント・パネル１１の開口部１１ａに固定して設置されるものである。

レンズ系２２は、図２の如く、撮像素子２１の撮像有効領域に対してプリズム２３からの光を集光するもので、具体的には７４°の凸レンズが使用される。そして、このレンズ系２２の光軸Ｌ１が撮像素子２１の中心軸に一致するように配置される。

プリズム２３は、図２の如く、例えばガラス等の透明体が使用されて平面視二等辺三角形の三角柱状に形成されており、レンズ系２２の前面側で、このレンズ系２２の光軸Ｌ１を軸として平面視線対称に設置されている。このプリズム２３は、カバー２４の透明窓２６ａ，２６ｂ（図３及び図４）に対向する視野側面３６ａ，３６ｂとレンズ系２２に対向する背面３６ｃとが光透過面となっている。

これにより、車室内の運転席１２及び助手席１３の像は、光３０ａ，３０ｂとしてカバー２４の透明窓２６ａ，２６ｂ（図３及び図４）を通過してプリズム２３の各視野側面３６ａ，３６ｂから内部に進入し、その反対側の側面３６ｂ，３６ａで全反射して、背面３６ｃからレンズ系２２に向けて出射される。尚、プリズム２３の左右の視野側面３６ａ，３６ｂに斜め方向から入射された車室内の運転席１２及び助手席１３の映像は、プリズム２３の内部で１回反射を行うことから、この撮像装置１４から見て左側に位置する運転席１２の像は、プリズム２３の背面３６ｃから出射してレンズ系２２を通過した後、撮像素子２１の図２中左側の領域３７に入射され、逆に撮像装置１４から見て右側に位置する助手席１３の像は、プリズム２３の背面３６ｃから出射してレンズ系２２を通過した後、撮像素子２１の図２中右側の領域３８に入射される。したがって、運転席１２と助手席１３との相対的な左右関係は、図５の如く、実際の左右関係と同等となる。ただし、プリズム２３の各視野側面３６ａ，３６ｂから内部に進入したそれぞれの像は、プリズム２３内での１回反射により各映像が鏡像反転して撮像されるため、撮像素子２１の左右それぞれの領域３７，３８で撮像された撮像映像４１は、実際の車室内の運転席１２及び助手席１３のそれぞれの像に対して左右関係が逆向きになる。

ここで、プリズム２３に入射されてレンズ系２２を通じて撮像素子２１に結像する像の中には、シートベルト１７のバックル１８の像が含まれるように設定される。このように、運転席１２と助手席１３の両方の乗員についてシートベルト１７のバックル１８の像が含まれるように撮像素子２１で撮像を行うためには、プリズム２３への像の入射を水平から４５°〜８２°程度が望ましいことが分かっている。このことから、上記のように、レンズ系２２として７４°の凸レンズを使用し、材質がＢＫ４のプリズム２３を使用した場合には、スネルの法則のガラス屈折率と入射角度の関係より、プリズム２３の頂角を３２°に設定している。これによって、運転席１２及び助手席１３のそれぞれのシートベルト１７のバックル１８の像が含まれた像をレンズ系２２を通じて撮像素子２１に結像させるために必要且つ充分な視野範囲を得ることができる。

画像処理部１５は、撮像装置１４の撮像素子２１で撮像された撮像映像４１について輪郭抽出を行い、抽出された輪郭に対して特徴抽出及びパターン認識等を行って、予め設定されている所定の像、即ち、乗員の像と、その乗員（運転席１２及び助手席１３）が規定の装着状態としたシートベルト１７の像、特にシートベルト１７がバックル１８に係合している状態の像に対する一致度を演算するものである。特に、バックル１８の形状や、このバックル１８に取り付けられたマーク１９についてパターン認識等の画像認識を行い、上記の一致度を演算するようになっている。

判断部１６は、画像処理部１５から与えられた一致度に基づいて、運転席１２及び助手席１３のそれぞれについて乗員が居るか否か、乗員が居る場合には、その乗員についてシートベルト１７を装着しているか否かを判断する。ここでの判断結果は、図示しない車内ＬＡＮ等の所定のネットワークを通じて他の車載電装ユニットに伝達され、例えばインストゥルメント・パネル１１でのウォーニング表示の可否判断等に利用される。

尚、画像処理部１５及び判断部１６は、撮像装置１４で撮像された撮像映像について画像処理を行い、この画像処理の結果に基づいて運転席１２及び助手席１３のそれぞれの乗員がシートベルト１７を装着しているか否かを判断するシートベルト判断手段として機能するもので、ＲＡＭ及びＲＯＭが接続されたＣＰＵが、ＲＯＭ内に予め格納された所定のソフトウェアプログラムに規定された手順に従って動作する機能要素である。尚、このシートベルト判断手段は、タイマーが内蔵されており、エンジンが始動した後に、タイマーでの計時に基づいて、所定の時間が経過したときから、シートベルトの装着状態検知が開始されるようになっている。

マーク１９は、図６の如く、シートベルト１７のバックル１８の表面に貼付されるなどして取り付けられたシートであり、例えばストライプ状に形成された所定の模様により、画像処理部１５での画像認識によって車室内の他の部品との識別が可能となっている。

尚、図４中の符号４２は、インストゥルメント・パネル１１内の種々の電気部品を実装する実装基板を示しており、このシートベルト装着状態検知システム１０の撮像素子２１、画像処理部１５及び判断部１６等が実装される。

上記構成の車両周辺視認装置の使用方法を、図７に示したフローチャートに沿って説明する。

まず、図７中のステップＳ１において、エンジンが始動した時点で処理が開始され、ステップＳ２のように、シートベルト判断手段（画像処理部１５及び判断部１６）に内蔵されたタイマーでの計時に基づいて、所定の時間が経過（タイマーイベント）するまで待機する。

そして、所定の時間が経過した時点で、ステップＳ３の如く、タイマーでの計時に基づいて、シートベルト判断手段（画像処理部１５及び判断部１６）が、撮像素子２１に結像された像（カメラ映像）の取り込みを行う。

この際、図１に示した車室内の運転席１２及び助手席１３の像は、光３０ａ，３０ｂとして、カバー２４の透明窓２６ａ，２６ｂ（図３及び図４）を通過して、図２の如く、プリズム２３の視野側面３６ａ，３６ｂから内部に進入し、その反対側の側面３６ａ，３６ｂで１回反射した後に、背面３６ｃからレンズ系２２を通じて撮像素子２１に入射される。このときの撮像素子２１に結像した像は図５のようになる。

この図５に示したように、単一の撮像素子２１を使用するだけで、運転席１２と助手席１３の両方を同時に監視できる。

ここで、図２の如く、プリズム２３の前部先端の頂角（材質がＢＫ４のプリズム２３を使用した場合は３２°）の設定により、プリズム２３内での１回反射及びレンズ系２２を経て撮像素子２１の撮像有効領域に結像するのに有効なプリズム２３の各視野側面３６ａ，３６ｂに対する入射角度が、プリズム２３から見て運転席１２及び助手席１３に対応した角度範囲として設定されているので、この撮像素子２１の左右それぞれの領域３７，３８には、運転席１２と助手席１３とが可及的に広い像レンジを以て入射される。特に、プリズム２３に入射される像には、運転席１２及び助手席１３のそれぞれのシートベルト１７のバックル１８の像が含まれた像が含まれる。

次に、ステップＳ４において、この撮像素子２１で撮像された撮像映像を、画像処理部１５で輪郭抽出し、抽出された輪郭に対して特徴抽出及びパターン認識等を行う。

この際、図８に示したシートベルト装着状態検知システムでの撮像映像（図９）に比べて、プリズム２３に入射する光の角度を運転席１２及び助手席１３の像（バックル１８部分が含まれる）の範囲に限定し、その像を撮像素子２１の撮像有効領域に対して入射するようにしているので、撮像視野範囲を有効に活用でき、運転席１２及び助手席１３の像を広い像レンジで撮像した高解像度の撮像映像（バックル１８部分の像が含まれる）４１で、上記の種々の画像処理を行うことができる。この際、画像処理部１５は、運転席１２及び助手席１３のそれぞれについて乗員の有無について判断するための画像処理を行うとともに、その運転席１２及び助手席１３のシートベルト１７の装着状態について判断するための画像処理をも行い、特に、シートベルト１７のバックル１８に取り付けられたマーク１９について画像認識を行う。これらの画像処理の結果は、一致度のデータとして判断部１６に伝達される。

そして、ステップＳ５において、画像処理部１５から与えられた一致度のデータに基づいて、運転席１２及び助手席１３のそれぞれについて乗員が居るか否かを判断部１６で判断する。

ここで、運転席１２または助手席１３に乗員が居る、と判断部１６が判断した場合は、次のステップＳ６において、その乗員についてシートベルト１７を装着しているか否かを、画像処理部１５から与えられた一致度のデータに基づいて判断部１６が判断する。

そして、例えば、運転席１２または助手席１３に乗員が居るにも拘わらず、その乗員がシートベルト１７を装着していないと判断した場合には、続くステップＳ７において、インストゥルメント・パネル１１に設置された所定のＬＥＤを発光させたり、あるいは影響表示パネルに所定の形象を表示するなどして、シートベルト１７を装着していない旨のウォーニング表示（シートベルトウォーニング表示）を行う。

このように、運転席１２及び助手席１３の像を広い像レンジで撮像した高解像度の撮像映像（バックル１８部分の像が含まれる）４１で、上記の種々の画像処理を行うことができるので、判断部１６における乗員のシートベルト１７の装着に係る検知精度が向上する利点がある。

また、撮像素子２１を実装する基板として、インストゥルメント・パネル１１内の種々の電気部品を実装する実装基板４２を兼用しているので、別個に撮像素子２１専用の実装基板のみを使用する場合に比べて、部品点数を低減できるとともに、この実装基板４２を通じて、シートベルト判断手段である画像処理部１５及び判断部１６に対する接続を容易に行うことができる。

さらに、カバー２４により、撮像素子２１及びプリズム２３を外部から目立たなくすることができ、美観を向上できる利点がある。

さらにまた、バックル１８に取り付けられたマーク１９を画像認識して当該マーク１９を他の部分から識別し、シートベルト１７の装着状態の検知を行っているので、シートベルト１７の装着状態検知を正確に行うことができるという利点がある。

尚、上記実施形態では、運転席１２及び助手席１３の乗員がシートベルト１７を装着しているか否かを判断するシートベルト装着状態検知システムについて説明したが、例えばリアシートに座している乗員がシートベルト１７を装着しているか否かについて検知するようにしても差し支えない。この場合は、例えば車室の天井部に撮像装置１４を設置して、リアシートの左右の２つの座席領域における乗員を斜め下向きに撮像し、こうして得られた撮像画像に基づいてシートベルト１７の装着状態検知を行っても良い。

また、上述のような乗員のシートベルト１７の装着状態検知だけでなく、運転者の居眠り運転の検出等を、画像認識等の画像処理で併せて実行しても良い。

本発明の一実施形態に係るシートベルト装着状態検知システムが搭載された自動車の車室を示す図である。 本発明の一実施形態に係るシートベルト装着状態検知システムを示す模式ブロック図である。 本発明の一実施形態に係るシートベルト装着状態検知システムが設置されたインストゥルメント・パネルを示す正面図である。 本発明の一実施形態に係るシートベルト装着状態検知システムの撮像装置が搭載されたインストゥルメント・パネルを示す断面図である。 本発明の一実施形態に係るシートベルト装着状態検知システムの撮像素子に結像される像を示す図である。 本発明の一実施形態に係るシートベルトのバックルに取り付けられたシートベルト装着状態検知システムのマークを示す模式図である。 本発明の一実施形態に係るシートベルト装着状態検知システムの動作を示すフローチャート図である。 提案例のシートベルト装着状態検知システムが搭載された自動車の車室を示す図である。 提案例のシートベルト装着状態検知システムの撮像素子に結像される像を示す図である。

符号の説明

１０ シートベルト装着状態検知システム
１１ インストゥルメント・パネル
１１ａ 開口部
１２ 運転席
１３ 助手席
１４ 撮像装置
１５ 画像処理部
１６ 判断部
１７ シートベルト
１８ バックル
１９ マーク
２１ 撮像素子
２２ レンズ系
２３ プリズム
２４ カバー
２６ａ，２６ｂ 透明窓
３０ａ，３０ｂ 光
３６ａ，３６ｂ 視野側面
３６ｃ 背面
４１ 撮像映像
４２ 実装基板

Claims (6)

1. 自動車の車室内の所定の搭乗位置に座した乗員がシートベルトを装着しているか否かを検出するシートベルト装着状態検知システムであって、
   車室内の前記両搭乗位置を撮像する撮像装置と、
   前記撮像装置で撮像された撮像映像について所定の画像処理を行って、この画像処理の結果に基づいて前記搭乗位置の乗員がシートベルトを装着しているか否かを判断するシートベルト判断手段と
   を備えるシートベルト装着状態検知システム。
2. 請求項１に記載のシートベルト装着状態検知システムであって、
   前記撮像装置が、自動車の車室内の所定の二箇所の搭乗位置に座したそれぞれの乗員を撮像するものであって、
   単一の撮像素子と、
   一の面に一方の前記搭乗位置の像が入射され、他の面に他方の前記搭乗位置の像が入射され、両方の前記像が内部で反射されて前記撮像素子側に集光されるプリズムと
   を備え、
   前記シートベルト判断手段が、前記各搭乗位置におけるそれぞれの乗員がシートベルトを装着しているか否かを判断する、シートベルト装着状態検知システム。
3. 請求項１または請求項２に記載のシートベルト装着状態検知システムであって、
   前記シートベルトに取り付けられたマークをさらに備え、
   前記シートベルト判断手段が、前記マークを画像認識してシートベルトを装着しているか否かを判断する、シートベルト装着状態検知システム。
4. 請求項２に記載のシートベルト装着状態検知システムであって、
   前記プリズムの先端の頂角は、前記撮像素子の撮像有効領域に入射される像が、前記各搭乗位置の像に限定されるよう、前記プリズムの前記各面に入射される像の範囲を限定する角度に設定されたシートベルト装着状態検知システム。
5. 請求項１から請求項４のいずれかに記載のシートベルト装着状態検知システムであって、
   前記一方の前記搭乗位置が運転席であり、
   前記他方の前記搭乗位置が助手席であり、
   前記撮像装置が車室内のインストゥルメント・パネルに設置されるシートベルト装着状態検知システム。
6. 請求項５に記載のシートベルト装着状態検知システムであって、
   前記撮像素子が、インストゥルメント・パネル内の各電気部品を実装する実装基板に実装されるシートベルト装着状態検知システム。
   

Images