JP2020157938A - 車載監視制御装置 - Google Patents

Abstract

【課題】従来の車載カメラ装置は運転者の脇見や居眠りの監視と車室内全域の撮影の２つの機能を行っているがナビの操作者判定までは出来ないという課題があった。【解決手段】本発明の車載監視制御装置は、車両の内部に設けられたミラー部と、ミラー部を駆動する駆動部と、駆動部を制御する駆動制御部と、車両の撮像装置が撮像した車両の内部及びミラー部に映る画像を取得する撮像取得部と、撮像取得部が取得する撮像映像に基づいて、車両の乗員の視線、顔向き、または手を検知する検知部と、撮像取得部が取得する撮像映像及び検知部が検知する視線、顔向き、または手に基づいて、車両の内部の操作機器を操作する乗員を特定する操作者特定部と、を備えたことを特徴とする。【選択図】 図４

Description

本発明は、車室内のオーバーヘッドコンソール（Ｏｖｅｒ Ｈｅａｄ Ｃｏｎｓｏｌｅ；以下ＯＨＣと称す）付近に設置した広角撮像装置で、前席（運転席、助手席）、後席の車室内を１台の撮像装置で撮影する車載監視制御装置に関する。

車載監視制御装置に関して、車室内の映像から車室内のどの席に乗員が座っているかを判別し、乗員がシートベルトを装着していない時にその旨を運転者に知らせるシートベルトリマインダーの機能を始めとする車室内の全席乗員検知機能、あるいは運転者の顔向き、視線、開眼度を計測し、運転者に対する脇見や居眠りの判定を実施するドライバーモニター機能を有する。

さらに一般的に走行中のカーナビ操作は制限されているが、走行中でも助手席の乗員がカーナビ操作を実施したいとの要望が出ており、助手席、運転席のどちらがカーナビを操作しているかを判別する機能が求められている。すなわちダッシュボードセンターに設置された操作機器（カーナビ装置等）に目的地を設定する場合に、助手席、運転席のどちらがカーナビを操作しているのかを判定する機能が求められている。

車両走行時に撮像装置により運転者の顔を撮影し顔向きや視線向きから脇見判定を行い、眼を閉じていることを検知することにより居眠り判定し運転者に警告する技術が近年普及しつつある。

例えば特許文献1は撮影手段、平面ミラー、凸面ミラー及び駆動手段によって構成され、撮影手段は各々のミラーに映し出された車室内を撮影することが記載されている。平面ミラーは運転席を映し出し、運転者の視線の方向を検出し脇見運転を判定する。また凸面ミラーは車室内すべてを映し出す。駆動装置によりこれらの平面ミラーと凸面ミラーを切り替え、１台の撮像装置によりドライバーモニター（運転者の脇見や居眠りの監視）と車室内全域の撮影の２つを、２種類のミラーを駆動させて交互に監視を行っている。

特開２００５−２０６０２５

しかしながら、従来の車載カメラ装置は運転者の脇見や居眠りの監視と車室内全域の撮影の２つの機能を行っているがナビの操作者判定までは出来ないという課題があった。

本発明の車載監視制御装置は撮像装置のレンズの前面にミラー部を配置した構成とすることで、車室内の全席乗員検知、ドライバーモニター（運転者の脇見や居眠りの監視）、ナビの操作者判定の３機能を同時に行える装置を提供する。

本発明の車載監視制御装置は、車両の内部に設けられたミラー部と、ミラー部を駆動する駆動部と、駆動部を制御する駆動制御部と、車両の撮像装置が撮像した車両の内部及びミラー部に映る画像を取得する撮像取得部と、撮像取得部が取得する撮像映像に基づいて、車両の乗員の視線、顔向き、または手を検知する検知部と、撮像取得部が取得する撮像映像及び検知部が検知する視線、顔向き、または手に基づいて、車両の内部の操作機器を操作する乗員を特定する操作者特定部と、を備えたことを特徴とする。

本発明によれば、撮像装置（カメラ）のレンズの前面にミラーを配置した構成とすることで、車室内の全席乗員検知、ドライバーモニター、ナビの操作者判定の機能を同時に行える装置を提供する。

撮像装置（カメラ）設置位置と車室内撮影範囲を示した図 本発明の撮像装置設置位置とミラー配置図と撮影範囲を示す図 本発明の車室内撮影イメージ 本発明のブロック図 本発明のハードウエアブロック図 本発明の操作者特定及び操作制限のフローチャート

実施の形態１

図１に撮像装置（カメラ）設置位置と車室内撮影範囲を示す。撮像装置１０１を車室内のＯＨＣに設置し、前席・後席の車室内すべてを撮影可能な位置に設置する。前席と後席乗員の顔を検知することで、どの座席に乗員が座っているかを検知する。車室内の乗員検知は顔の有無で検知するため、前席・後席乗員の顔が見える設置位置としてＯＨＣへの設置としている。撮像装置の設置位置はＯＨＣ、もしくはＯＨＣ近くに配置されているインナーミラー自体に設置してもよい。インナーミラーに設置した場合はミラー角度調整により、撮像装置の角度は変化しない配慮が必要となる。

図１に示す撮像装置１０１を用いて、前席のセンターコンソールに設置された操作機器（タッチパネル）の操作者を検知するためには、ＯＨＣに設置した撮像装置１０１の画角を広げ、全席乗員の検知と操作機器操作者判定までを同時に撮影する場合、画角をかなり大きく（１８０°近くまで）広げる必要がある。このように撮像装置１０１の画角を極端に広げた場合は像の歪みが発生するため、歪みを補正する機能を追加する必要があり、また乗員が小さく映り検知精度が低下することから、解像度が高い撮影素子を採用する必要がある。

上述のようにＯＨＣに設置した撮像装置１０１で車室内の全席乗員検知、ドライバーモニター、ナビの操作者判定の３機能を同時に実施しょうとした場合、撮像装置の画角を大きくすることが必要となり、歪み補正あるいは高解像度化が必要となる。そこで車室内の全席乗員検知、ドライバーモニター、ナビの操作者判定を容易に実施するために、図２に示すように撮像装置２０１のレンズ手前にミラー部２０２を設置し、車室内２方向（前席・後席の車室内すべて及び操作機器周辺）を撮影する装置を提供する。

図２に本発明の撮像装置設置位置とミラー配置図と撮影範囲を示す。撮像装置２０１のレンズ手前にミラー部２０２を設定した構成である（撮像装置２０１は車両の後方を向いており、ミラー部２０２は撮像装置２０１の車両後方側にある）。より詳細にはミラー部２０２はレンズ手前の上側に配置する構成としている。操作機器の操作者を判定するため、ＯＨＣ撮像装置のほぼ真下を撮影することで操作機器を操作する手（腕を含む）を撮影する構成としている。

図３に本発明の車載監視制御装置による車室内撮影イメージを示す。撮影範囲の上側はミラー部２０２に映った操作機器周辺を撮影した映像３０１である。下側は撮像装置２０１で前席・後席乗員を撮影した映像３０２である。

図４に本発明の車載監視制御装置のブロック図を示す。撮像装置４０８で撮影された映像は撮像取得部４０４に送られ、車室内全席の乗員検知、運転者モニターによる脇見居眠り判定、操作機器の操作者判定を行う構成としている。

また操作機器が操作された場合、操作されたことを検知部４０５に送り操作機器の操作者判定フローで使用する。

さらに車両側の車速が検知部４０５に入力され、ドライバーモニター機能のために使用する。同じく車両側からシートベルトのバックルスイット信号も検知部４０５に入力され、撮像装置による乗員検知結果と組わせてシートベルトリマインダー機能に使用する。

検知部４０５は、撮像取得部４０４が取得した映像の中の顔の有無を検知する。検知された顔の位置と顔の大きさから、車内のどの座席に乗員が乗車しているかを検知する。また同時に各座席のシートベルトバックルスイッチの情報と組合せ、各座席に座った乗員がシートベルトを着用しているかどうかを検知し、シートベルトを装着していない座席を検知した場合は警報を出しシートベルトの着用を促す。

検知部４０５は、撮像取得部４０４が取得した映像の中の運転手の顔の顔向き角度を算出する。顔向きが上下方向または左右方向で予め定められた角度を超えた状態が一定時間継続した場合は脇見として警報を出す。予め定められた車速以上場合に警報は出され停車中は警報を出さない。

検知部４０５は、撮像取得部４０４が取得した映像の中の運転者の眼の開眼度に基づいて居眠りを検知する。例えば目尻と目頭を結ぶ直線と上瞼の頂点との距離を求め運転手の開眼度を算出する。予め定められた開眼度以下の閉眼状態が一定時間継続した場合は居眠りと判定し警報を出す。居眠り警報は予め定められた車速以上場合に出され、停車中は警報を出さない。

図５にハードウエア構成図を示す。図５に示すＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１、メモリ５０２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅｒ）５０３及びＣＰＵ４０１上で実行されるソフトウエアによって、図４に示す駆動制御部４０３、撮像取得部４０４、検知部４０５、操作者特定部４０６の各機能は実現される。またミラー部４０１、駆動部４０２は不図示の専用のハードウエアで実現される。

図６に操作機器の操作者判定フローチャートを示す。ミラー部に映った操作機器周辺の撮影映像（図３に示す３０１）に基づいて、ＳＴ６０１で操作機器に操作がされているかどうかを検知する。ＳＴ６０２に示すように車両が予め定められた速度以上となった場合に操作機器は操作制限された状態となる（ＳＴ６０３）。操作制限された状態で操作機器の操作を検出した場合、撮像取得部４０４の取得した映像に基づいて検知部４０５は助手席乗員の視線、顔向き方向を検知し（ＳＴ６０４）、助手席乗員が操作機器を見ているかどうかを検知する（ＳＴ６０５）。助手席乗員が操作機器方向を見ている場合は、検知部４０５は操作機器への手（腕）の到来方向を検知し、操作者特定部４０６は助手席乗員が操作機器を操作しているかどうかを判定する（ＳＴ６０７）。

手（腕）の到来方向だけでも操作機器の操作者判定は可能であるが、顔向き、視線と組合せて判定することでより精度良く操作機器の操作者が判定可能である。図６に示すフローチャートで助手席の乗員が操作機器を操作していることを検知した場合（ＳＴ６０７；Ｙｅｓ）は、操作機器に対して操作制限解除（ＳＴ６０８）の信号を送り、助手席乗員が操作機器操作によるカーナビの行先設定等の操作が可能となる。運転者に対しても同様に顔向き・視線の検知及び手（腕）の到来方向を検知し、運転者による操作と判定した場合は操作機器の操作制限を解除しないフローチャートとしてもよい。なお、停車中は従来通り操作機器の操作制限は解除された状態である。

なお後席乗員に対しても同様に、顔向き・視線の検知と手（腕）の到来方向を検知し、後席乗員による操作と判定した場合は操作機器の操作の制限を解除しないフローとしてもよい。後席乗員に対しても操作機器の操作を制限する理由は、後席乗員が操作機器を操作する場合はシートベルトを外し座席から立ち上がる動作となるためである。

さらに本装置を用いてハンドル保持状態の管理も可能である。ミラー部に映った映像（図３に示す３０１）で運転者がハンドルを保持しているかどうかを検知することが可能である。運転手が予め定められた時間ハンドルを保持していない状態を検知した場合は運転者に対して警告を出す。また運転者の顔向き、視線向き、開眼度に加えてハンドル保持状態の検知結果を組み合わせることで、運転者が正しく運転出来ない状態（急病等による意識喪失）を判定し車速を遅くし緊急通報する．

また本装置を用いて車室内の車両中央や後方の天井に設置された室内灯のＯＮ／ＯＦＦを検知することも可能である。車両がエンジンＯＦＦで駐車された状態で撮像装置を起動し、車内が無人状態で室内灯が点いていた場合は室内灯消し忘れと判定し、車両の持ち主の携帯電話等へ通報するか、また室内灯をＯＦＦする。

また本装置を用いて幼児置き去り検知の監視も可能である。車両がエンジンＯＦＦで駐車された状態で撮像装置を起動し、車内に乗員が１名のみ残っている場合、幼児等の置き去りである可能性があるため、スピーカーから例えば「大丈夫ですか。大丈夫であれば、スイッチを押して下さい」等の通知を行う。もしも予め定められた時間以内にスイッチのＯＮ操作がなければ、自力で降車できない幼児や要介護者が車内に置き去りにされている可能性があるため、車両の持ち主の携帯電話等へ通報する。

上記以外にも、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

１０１ 撮像装置、
２０１ 撮像装置、２０２ ミラー部、
３０１ 操作機器周辺を撮影した映像、３０２ 前席・後席乗員を撮影した映像
４０１ ミラー部、４０２ 駆動部、４０３ 駆動制御部、４０４ 撮像取得部
４０５ 検知部、４０６ 操作者特定部、４０７ 車載監視制御装置 ４０８ 撮像装置
５０１ ＣＰＵ、５０２ メモリ、５０３ ＨＤＤ

Claims (4)

1. 車両の内部に設けられたミラー部と、
   前記ミラー部を駆動する駆動部と、
   前記駆動部を制御する駆動制御部と、
   前記車両の撮像装置が撮像した前記車両の内部及び前記ミラー部に映る画像を撮像映像として取得する撮像取得部と、
   前記撮像取得部が取得する撮像映像に基づいて、前記車両の乗員の視線、顔向き、または手を検知する検知部と、
   前記撮像取得部が取得する撮像映像及び前記検知部が検知する視線、顔向き、または手に基づいて、前記車両の内部の操作機器を操作する乗員を特定する操作者特定部と、
   を備えた車載監視制御装置。
2. 前記ミラー部は前記撮像装置のレンズの手前に配置されることを特徴とする請求項１に記載の車載監視制御装置。
3. 前記操作者特定部は、前記撮像取得部が取得した前記ミラー部に映る前記操作機器の撮像映像に基づいて、前記操作機器を操作する乗員を特定することを特徴とする請求項１または２に記載の車載監視制御装置。
4. 前記検知部は、前記車両の乗員の手の到来方向を検知し、
   前記操作者特定部は、前記手の到来方向に基づいて前記操作機器を操作する乗員を特定することを特徴とする請求項１から３のいずれか１つに記載の車載監視制御装置。

Images