JP2012111274A - 画像処理装置 - Google Patents

Abstract

【課題】車両の車室内の画像を撮影して解析する画像処理装置において、高精度な画像での処理が可能で、回路基板実装の作業効率が良く撮影部の固定が安定し、車両への組み付けの作業効率もよい画像処理装置を提供する。
【解決手段】ＥＣＵ１（画像処理装置）は、筐体１０内に回路基板４を備え、その基板４上にカメラ５の受光素子４１と画像処理回路４０とが形成され、カメラ５で撮影して形成されたデジタル画像が画像処理回路４０にそのまま送られて高精度な画像処理が行われる。カメラ５は基板４上で安定的に固定される。ＥＣＵ１は、筐体１０ごと例えば車両のステアリングコラムに組み付けられるので組み付け性が高い。
【選択図】図２

Description

本発明は、画像処理装置に関する。

自動車の運転者の居眠り運転や脇見運転を防止するために、ドライバの状態をカメラで撮影してモニタし、居眠り運転や脇見運転が検出されたら警報を発するシステムが提案されている。例えば下記特許文献１では、顔の認識処理において、人が顔画像を撮影する画像入力装置に対して移動したり向きを変えなくても精度よく認識が実行できる装置が提案されている。

特開２００１−２４３４６６号公報

従来技術におけるドライバモニタシステムの例が図８に示されている。図８の例では、ステアリングコラムに固定されたカメラで運転者を撮影して画像データを形成し、その画像データをハーネスで接続されたドライバモニタＥＣＵに送って、同ＥＣＵで画像処理して運転者の眠気や脇見などを検出している。

この、ハーネスにおける情報伝達はコストの観点からアナログ通信とする（つまりカメラで形成されたデジタル画像をアナログ情報に変換（Ｄ／Ａ変換）する）場合が多いが、その場合ＥＣＵにおける画像処理の精度が低減する可能性がある。さらにカメラとＥＣＵを別々に車両に組み付けるために組み付けの作業効率が低い問題もある。また、ステアリングコラムに固定されるカメラは、垂直方向に配置された基板に対してカメラが水平方向に固定されており、カメラのレンズ等の重量によりカメラの固定部分にストレスがかかっていた。こうした問題を解決するドライバモニタシステムの開発が望まれる。

そこで本発明が解決しようとする課題は、上記問題点に鑑み、車両の車室内の画像を撮影して処理する画像処理装置において、高精度な画像での処理が可能で、回路基板実装の作業効率が良く撮影部の固定が安定し、車両への組み付けの作業効率もよい画像処理装置を提供することにある。

課題を解決するための手段及び発明の効果

上記課題を達成するために、本発明に係る画像処理装置は、集光するレンズと、そのレンズを固定するレンズ固定部と、そのレンズで集光された光を受光する受光素子と、を備えて、車両の車室内の撮影対象を撮影してデジタル画像を形成する撮影部と、その撮影部で形成された画像を処理する画像処理回路と、前記レンズ固定部と前記受光素子と前記画像処理回路とを単一の基板面上に固定し、前記受光素子と前記画像処理回路とをその基板面上に形成された配線パターンによって電気的に接続し、その配線パターン上を前記撮影部で撮影された画像情報がデジタル信号として前記画像処理回路まで伝達される回路基板と、を備えたことを特徴とする。

これにより本発明に係る画像処理装置では、車両の車室内を撮影する撮影部と、その撮影部で撮影された画像を処理する画像処理回路と、が同一の基板上に固定されているので、従来のように撮影部と画像処理回路とを別々に車両に組み付ける必要がなく、車両への組み付け効率が向上する。さらに撮影部の受光素子と画像処理回路とが配線パターンで電気的に接続されて、画像情報がデジタル信号として画像処理回路まで伝達されるので、従来のようにデジタル画像をアナログ情報に変換して送信して画像処理する必要がなく、デジタル画像のままで高精度な画像処理が実行できる。

また前記回路基板は、前記基板面と仮想的な水平面との間の角度が４５度以内となるように配置されて、前記撮影対象からの光を反射して、その反射光が前記レンズに入射するように配置されたミラーを備えたとしてもよい。

これにより、基板面は水平に近い状態で配置されて、ミラーを装備して撮影対象からの光を撮影部に入射させるので、水平に近い状態の基板面の上に撮影部を固定することができて、従来のように撮影部の基板面の固定にストレスがかかり不安定であるといった懸念が解消されて、撮影部の基板上の固定が安定となる。よって長期的な使用のもとでも信頼性の高い画像処理装置が実現できる。

また前記撮影部と前記画像処理回路と前記回路基板とを収容して、前記撮影部により車室内の撮影対象が撮影されて画像が形成されるように、車両に固定される筐体を備えたとしてもよい。

これにより、筐体を備えて、筐体の中に撮影部と画像処理回路と回路基板とを収容するので、筐体ごと車両に組み付ければよく、組み付け性が高い。

また前記撮影対象には車両の運転者が含まれ、前記筐体は、前記撮影部が運転者を撮影するように前記車両のステアリングコラムに固定されたとしてもよい。

これにより、筐体を備えて、筐体の中に撮影部と画像処理回路と回路基板とを収容し、その筐体を車両のステアリングコラムに固定して運転者を撮影するので、運転者を撮影するのに好適な場所に容易に組み付けることができる。よって組み付け性の高さと、好条件での撮影とが実現できる画像処理装置が得られる。

また前記撮影対象には車両の運転者が含まれ、前記回路基板は、前記撮影部が運転者を撮影するように前記車両のステアリングコラムに取り付けられたとしてもよい。

これにより、撮影部が運転者を撮影するように、回路基板を車両のステアリングコラムに取り付けるので、例えば撮影部や回路基板をステアリングコラムに内蔵する形態によって運転者を撮影して画像処理を行うことができる。よって例えば筐体を省略した形態で、組み付け性の高さと、好条件での撮影とが実現できる画像処理装置が得られる。

また前記撮影対象には前記車両の運転者が含まれ、前記画像処理回路は、前記撮影部で撮影された運転者の画像を処理して、運転者の眠気の程度又は脇見の程度を算出するとしてもよい。

これにより、上記のとおり組み付け性が高く、デジタル画像のままで画像処理が行える画像処理装置により、運転者の画像を処理して運転者の眠気の程度又は脇見の程度を算出するので、組み付け性が高い画像処理装置によって、高精度で運転者の眠気や脇見の程度を検出でき、眠気運転や脇見運転の抑制のために好適な画像処理装置が実現できる。

本発明の実施例１におけるカメラ一体型画像処理装置の構成図。 カメラ一体型画像処理装置のＡ−Ａ断面図。 カメラ一体型画像処理装置のＢ−Ｂ断面図。 カメラ一体型画像処理装置の配置例を示す図。 カメラ一体型画像処理装置による撮影を示す図。 カメラ一体型画像処理装置の別の配置例を示す図。 実施例２におけるカメラ一体型画像処理装置の構成図。 従来のカメラおよび画像処理装置の構成例を示す図。

以下、本発明の実施形態を図面を参照しつつ説明する。まず図１は、本発明の実施例１に係るカメラ一体型の車両用電子制御装置１（ＥＣＵ：Ｅｌｅｃｔｏｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、画像処理装置）の装置構成の斜視図である。図２はＥＣＵ１のＡ−Ａ断面図、図３はＢ−Ｂ断面図である。これらの図に示されているとおり、ＥＣＵ１は、フィルタ２、ミラー３、電気（電子）回路基板４、カメラ５を備え、これらが筐体１０に収容されている。

フィルタ２は、後述するように近赤外線により撮影対象を撮影するカメラ５のために可視光をカットするフィルタである。フィルタ２は、筐体１０の底面と垂直な正面の一部に形成された貫通孔部に固定されて、撮影対象からの光のうち可視光を遮断して、近赤外領域の光を透過する。フィルタ２を透過した近赤外光は筐体１０の内部に入る。ＥＣＵ１の撮影対象は車両の運転者（あるいは運転者を含む車室内）であり、後述するようにフィルタ（筐体１０の正面）が運転者に対向する位置と姿勢になるように筐体１０が車両に固定される。

ミラー３はフィルタ２を透過した光（近赤外線）を反射して方向を変えて、カメラ５に入射させるために装備される。図２に示されているように、ミラー３は筐体１０に形成された傾斜部分（底面からも正面からも傾斜した部分）に固定される。ＥＣＵ１では傾斜部分は、底面、正面から４５度傾いた角度で形成されている。したがって筐体１０の底面と平行にミラー３に入射した近赤外光は、ミラー３で反射されて底面と垂直方向に方向が変換されて、カメラ５に入射する。なおミラー３の傾斜角度は撮影対象との位置関係を考慮して適切に設定すればよい。

電気（電子）回路基板４（回路基板、基板）は、筐体１０内に筐体１０の底面と平行に固定（例えばねじ等で）されている。基板４上には、画像処理回路４０、受光素子４１、入出力回路４２、配線パターン４４が形成されている。

画像処理回路４０は、カメラ５で撮影して形成された運転者の画像情報を処理して、運転者の眠気の程度、脇見の程度（ここで程度とは有無を含む）を算出する回路（集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））である。受光素子４１は、カメラ５の内部の位置に配置された例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子やＣＭＯＳ素子であり、後述するレンズ５０で集光された光が受光素子４１で受光されることによって撮影処理が実行される。

入出力回路４２は、ＥＣＵ１と車両に装備された他の装置（ＥＣＵなど）との間で情報を、ハーネス４３（ケーブル）を通して例えばＣＡＮ通信によって送受信するための回路である。ＥＣＵ１と他の装置との間で授受される情報としては以下の例がある。例えば画像処理回路４０によって算出された運転者の眠気の程度、脇見の程度の情報を、ハーネス４３を通して車両の他の装置に送信して、警報出力などを行う。あるいは他の装置で運転者の生体情報（脈波、心拍数、血圧）を検出して、その情報をハーネス４３を通して受け取り、画像処理回路による処理と組み合わせて、眠気の程度、脇見の程度を算出する。

配線パターン４４は、基板４上に例えばプリントにより形成されて、画像処理回路４０、受光素子４１、入出力回路４２、カメラ５（、および後述のＬＥＤ５１）などを電気的に接続する。カメラ５で撮影して形成されたデジタル画像は、デジタル情報のまま（アナログ信号には変換されずに）配線パターン４４上を画像処理回路４０へ伝達（送信）される。なお図３は簡略化された図であり、実際の配線パターン４４の一部のみが示されている。画像処理回路４０には、画像処理用のメモリ等も含まれるとする。また基板４上には図３に示された以外の各種素子や回路なども配置されているとする。

カメラ５（撮影部）は、レンズ５０、近赤外ＬＥＤ５１（ＬＥＤ）、レンズ鏡筒５２（レンズ固定部）を備える。レンズ５０は、上述のとおりミラー３で反射されてカメラ５に入射した光（近赤外光）を集光する。図２の例の場合、ＥＣＵ１のカメラ５のレンズ５０は複数枚備えられて画像の周辺部分の歪みを補正する。ＬＥＤ５１は、図３に示されているように、カメラ５の側方に配置（例えば２個）されて、近赤外光（近赤外領域の波長の光（電磁波））を発光する。

レンズ鏡筒５２は、円筒形状を有して、その内部に複数枚のレンズ５０を軸方向に並べて固定する。レンズ鏡筒５２はその端部を基板４に例えばねじ止めによって固定すればよい。レンズ鏡筒５２によって位置を固定された複数枚のレンズ５０は、それぞれの中心軸が重なった状態で、基板４とは垂直方向に縦列する。

ＬＥＤ５１から発光された近赤外光がミラー３で反射されてフィルタ２を通って撮影対象である運転者まで到達し、それによって形成された運転者の画像を構成する近赤外光が、逆の方向を辿って、フィルタ２を通って筐体１０内に入射し、ミラー３で反射されてカメラ５に入射する。

そしてカメラ５に入射した近赤外光はレンズ５０によって集光されて基板４上の受光素子４１に受光される。受光素子４１では受光した光がデジタル情報に変換される。こうして受光素子４１で、運転者のデジタル画像情報が得られる。近赤外線カメラを用いているので、夜間でも運転者の画像が取得できる。

以上で説明したＥＣＵ１は、例えば図４、図５のように車両に固定される。図４、図５の例では、ＥＣＵ１は車両（自動車車両）のステアリングコラム６の上面に固定される。図５に示されているように、筐体１０の底面に孔部１１を形成し、ステアリングコラム６にも孔部を形成して、ねじ６０によってＥＣＵ１をステアリングコラム６に固定すればよい。

その際、フィルタ２（ＥＣＵ１の正面）が運転者に対向するように、そしてステアリングコラム６の左右方向の中心に固定する。これによりカメラ５で正面方向から運転者の顔が撮影されて、顔画像が形成される。図４、図５の例では、ステアリングコラム６の上面が水平方向に近いので、基板面４がほぼ水平方向となってカメラ５（のレンズ鏡筒５２）が基板４に安定して固定される。

図４、５に示されたＥＣＵ１の固定方法は一例に過ぎず、図６に示されたように、ステアリングコラム６内に組み込む（内蔵する）形態でもよい。この場合、この目的のためのスペースをステアリングコラム６内に形成する。またこの形態の場合、筐体１０は省略してもよい。そしてフィルタ２用の開口部やミラー３用の斜面部はステアリングコラム６に形成すればよい。

ＥＣＵ１は車両の別の場所（車室天井部、サンバイザーの上、ダッシュボード上、メータに内蔵など）に固定してもよいが、その際、基板面を水平に近く（基板面と仮想的な水平面との間の角度を例えば３０度以内、４５度以内にする）すればカメラ５の基板上の固定を安定させる観点で好適である。図２では基板４を筐体１０の底面と平行としたが、ＥＣＵ１を車両に組み付けた状態で水平に（あるいは水平に近く）なるようにすればよく、基板４を筐体１０の底面と平行としなくともよい。

以上のとおりＥＣＵ１では、カメラ５（受光素子４１）と画像処理回路４０とを同一の基板４上に配置して、カメラ５で撮影して形成されたデジタル画像をデジタル情報のまま画像処理回路４０に送って画像処理するので、高精度なデジタルの画像処理が実行できる。したがって運転者の眠気や脇見の検出も高精度となる。

またカメラ５とドライバモニタＥＣＵ１とが一体型なので、車両への組み付けも容易である。さらに、基板４が水平の（あるいは水平に近い）状態で配置され、カメラ５がその上に固定されるので、基板上のカメラ５の固定が安定である。

画像処理回路４０における画像処理は、例えば以下のように実行される。まずカメラ５で撮影して形成された運転者の顔画像において画像認識処理を実行して顔画像における各部位（目、鼻、口など）の位置を特定する。そして予め指定された顔の特徴点（目の両端）などの位置を算出する。次に各特徴点の間の距離などを算出して、運転者の眠気度の数値を算出する。同様に各特徴点の位置などから運転者の脇見の程度の数値を算出する。以上の各処理の詳細は例えば特開２００９−４５４１８号公報などに記載されている。

上述のとおりＥＣＵ１で検出された運転者の眠気や脇見の情報は、ＥＣＵ１からハーネス４３を通じて車両の他の装置に送られるが、他の装置は例えば警報装置（あるいは警報装置を制御するＥＣＵ）としてもよい。警報装置は、ＥＣＵによって運転者が眠気を有する（眠気の程度が高い）ことが検知された場合に、車室内、あるいは運転者に向けて警報を発する。

警報装置としては、多様な方式で運転者（や乗員）に眠気程度が高いことを報知する装置を用いればよい。例えば、眠気程度が高いことを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネル等に設置された表示装置に、眠気程度が高いことを報知する内容の文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングやシートベルトなどに振動装置を備えて、振動によって運転者に報知する方式でもよい。

同様に警報装置は、ＥＣＵによって運転者が脇見運転をしている（脇見の程度が高い）ことが検知された場合に、車室内、あるいは運転者に向けて警報を発する。警報装置としては、多様な方式で運転者（や乗員）に脇見程度が高いことを報知する装置を用いればよい。例えば、脇見程度が高いことを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネル等に設置された表示装置に、脇見程度が高いことを報知する内容の文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングやシートベルトなどに振動装置を備えて、振動によって運転者に報知する方式でもよい。

またＥＣＵ１からハーネス４３を通じて運転者の眠気や脇見の情報が送られる車両の他の装置は、プリクラッシュシステムとしてもよい。プリクラッシュシステムでは、例えば車両の衝突の可能性を検出したらブレーキの油圧を高めて、運転者が軽くブレーキペダルを踏んだのみで高い制動効果が生じる。本システムをプリクラッシュシステムと組み合わせることで、例えば運転者が眠気を有している（眠気の程度が高い）、脇見をしている（脇見の程度が高い）との情報をＥＣＵ１からプリクラッシュシステムに送って、それによりブレーキの油圧を高める。

あるいはハーネス４３を通じて、他の装置によって検出された運転者の生体情報による眠気情報を取得してもよい。具体的には車両のステアリングに脈波センサを装備（、あるいはシートやシートベルトに心拍センサや呼吸センサを装備）して、運転者の脈波を検出し、脈波から心拍数や血圧を算出する。そして心拍数や血圧から運転者の眠気程度を推定する。ＥＣＵ１で、こうして得られた生体情報から推定された眠気程度の情報をハーネス４３を通じて取得して、画像情報によって算出された眠気程度と組み合わせれば、総合的に眠気程度が算出できる。

次に実施例２を説明する。実施例２のＥＣＵ１’は図７に示されている。図７において図４などと同一符号の部位の機能は実施例１と同じであるので、説明を省略する。

ＥＣＵ１’では、基板４が筐体１０の底面と垂直で、筐体１０の正面と平行に配置されているところが実施例１と異なる。基板４上には、カメラ５、ＬＥＤ５１、画像処理回路４０、入出力回路４２、配線パターン４４が配置されているが、カメラ５の両側にＬＥＤ５１が、それ以外の領域に画像処理回路４０、入出力回路４２が配置され、それらが配線パターン４４で電気的に接続されている。また入出力回路４２から他の装置に向けてハーネス４３が延設される。なおカメラ５は基板４上の（図７のＣ−Ｃ断面図における図示左右方向の）中央に配置する形態としてもよい。

カメラ５は、複数のレンズ５０がレンズ鏡筒５２内に固定されて、レンズ鏡筒５２が基板４に例えばねじ構造により固定されている。基板４においてレンズ鏡筒５２内の領域に受光素子４１が配置されている。レンズ鏡筒５２の軸方向は基板４と垂直方向となる。また複数のレンズ５０の中心軸は重なって基板４と垂直方向となる。こうしてＥＣＵ１’では実施例１と異なりミラー３が省略されて、フィルタ２を通った近赤外光がカメラ５のレンズ鏡筒５２に直接入射される。

このＥＣＵ１’は図４と同様に、ステアリングコラム６の車両の左右方向の中央位置において、フィルタ２が運転者と対向するように固定すればよい。これにより、ＥＣＵ１’においてはカメラ５が基板４の中央に配置されているので、カメラ５によって撮影対象である運転者の正面画像が撮影できる。あるいはＥＣＵ１’は、図６のようにステアリングコラム６に内蔵する形態でもよい。

上記実施例は特許請求の範囲に記載された趣旨を逸脱しない範囲で適宜変更してよい。例えば上記では運転者の顔を撮影して眠気程度や脇見程度を検出したが、顔のみでなく運転者の身体（腕、手など）を撮影して、運転者の所望の操作などをモニタして運転支援に役立ててもよい。また撮影対象を運転者に限らず他の乗員や車室内も含めて、乗員や車室内の状況をモニタしてもよい。

１ 電子制御装置（画像処理装置）
２ フィルタ
３ ミラー
４ 電気（電子）回路基板
５ カメラ

Claims (6)

1. 集光するレンズと、そのレンズを固定するレンズ固定部と、そのレンズで集光された光を受光する受光素子と、を備えて、車両の車室内の撮影対象を撮影してデジタル画像を形成する撮影部と、
   その撮影部で形成された画像を処理する画像処理回路と、
   前記レンズ固定部と前記受光素子と前記画像処理回路とを単一の基板面上に固定し、前記受光素子と前記画像処理回路とをその基板面上に形成された配線パターンによって電気的に接続し、その配線パターン上を前記撮影部で形成された画像情報がデジタル信号として前記画像処理回路まで伝達される回路基板と、
   を備えたことを特徴とする画像処理装置。
2. 前記回路基板は、前記基板面と仮想的な水平面との間の角度が４５度以内となるように配置されて、
   前記撮影対象からの光を反射して、その反射光が前記レンズに入射するように配置されたミラーを備えた請求項１に記載の画像処理装置。
3. 前記撮影部と前記画像処理回路と前記回路基板とを収容して、前記撮影部により車室内の撮影対象が撮影されて画像が形成されるように、車両に固定される筐体を備えた請求項１又は２に記載の画像処理装置。
4. 前記撮影対象には車両の運転者が含まれ、
   前記筐体は、前記撮影部が運転者を撮影するように前記車両のステアリングコラムに固定された請求項３に記載の画像処理装置。
5. 前記撮影対象には車両の運転者が含まれ、
   前記回路基板は、前記撮影部が運転者を撮影するように前記車両のステアリングコラムに取り付けられた請求項１又は２に記載の画像処理装置。
6. 前記撮影対象には前記車両の運転者が含まれ、
   前記画像処理回路は、前記撮影部で形成された運転者の画像を処理して、運転者の眠気の程度又は脇見の程度を算出する請求項１乃至５のいずれか１項に記載の画像処理装置。

Images