JP2020104680A - 室内監視装置 - Google Patents

Abstract

【課題】撮像部を用いて、車室内に存在する乗員の体格を高精度に推定可能とする室内監視装置を提供する。【解決手段】実施形態の室内監視装置は、一例として、撮像部によって車両の車室内を撮像して得られる撮像画像を取得する画像取得部と、撮像画像に基づいて、車室内に存在する乗員の姿勢を推定する姿勢推定部と、姿勢推定部により推定される乗員の姿勢、および撮像画像に基づいて、乗員の体格を推定する体格推定部と、を備える。【選択図】図４

Description

本発明の実施形態は、室内監視装置に関する。

複数の対物レンズおよび当該複数の対物レンズに入射した光の方向を変更する光学機構を有するカメラを用いて、ダッシュボードから乗員までの距離を算出し、当該距離の算出結果に基づいて、車両内の乗員の体格を検出する技術が開発されている。また、ステレオカメラを用いて、車両内の乗員の体格を検知して、その検知結果に基づいてエアバックの展開を制御する技術が開発されている。さらに、車両のステアリングコラムに設けられる撮像部の撮像により得られる画像に含まれる乗員の顔の幅および上下方向の頭部の位置に基づいて、乗員の体格を推定する技術が開発されている。

特開２００６−１９５５７１号公報 特開２００７−１９８９２９号公報 特開２００６−２０５８４４号公報

しかしながら、複数の対物レンズおよび光学機構を用いて車両の乗員の体格を検出する技術は、複数の対物レンズおよび光学機構が必要となるため、カメラのサイズが大型化しかつコストも増加する。

また、ステレオカメラを用いて車両内の乗員の体格を検知する技術は、乗員の頭部の重心や肩幅を用いて、乗員の体格を検知しているため、座席の状態の変化（例えば、スライド、リクライニング）や、乗員の姿勢の変化（例えば、前後方向への傾き、左右方向への傾き）が発生すると、乗員の体格の検知精度を低くなる。

さらに、車両のステアリングコラムに設けられる撮像部の撮像により得られる撮像画像を用いて乗員の体格を推定する技術は、正規着座している乗員の体格を推定することは可能であるが、正規着座していない乗員の体格の推定精度が低くなる。

そこで、実施形態の課題の一つは、撮像部を用いて、車室内に存在する乗員の体格を高精度に推定可能とする室内監視装置を提供することである。

実施形態の室内監視装置は、一例として、撮像部によって車両の車室内を撮像して得られる撮像画像を取得する画像取得部と、撮像画像に基づいて、車室内に存在する乗員の姿勢を推定する姿勢推定部と、姿勢推定部により推定される乗員の姿勢、および撮像画像に基づいて、乗員の体格を推定する体格推定部と、を備える。よって、一例として、撮像部を用いて、車室内に存在する乗員の体格を高精度に推定可能となる。

また、実施形態の室内監視装置は、一例として、姿勢推定部は、撮像画像内の乗員の複数の特徴点の座標に基づいて、乗員の姿勢を推定する。よって、一例として、撮像部を用いて、車室内に存在する乗員の体格を高精度に推定可能となる。

また、実施形態の室内監視装置は、一例として、姿勢推定部は、複数の特徴点の座標、および複数の特徴点間の長さに基づいて、乗員の姿勢を推定する。よって、一例として、撮像部を用いた乗員の体格の推定精度を向上させることができる。

また、実施形態の室内監視装置は、一例として、複数の特徴点間の長さは、撮像画像内の乗員の肩幅であり、姿勢推定部は、肩幅が短くなるに従い、乗員の姿勢が後方に倒れた状態と推定する。よって、一例として、撮像部を用いた乗員の体格の推定精度を向上させることができる。

また、実施形態の室内監視装置は、一例として、姿勢推定部は、複数の特徴点の座標、および複数の特徴点を結ぶ線と予め設定された基準線とがなす角度に基づいて、乗員の姿勢を推定する。よって、一例として、撮像部を用いた乗員の体格の推定精度を向上させることができる。

また、実施形態の室内監視装置は、一例として、複数の特徴点を結ぶ線は、乗員の左右の肩間を結ぶ肩幅線であり、基準線は、水平線であり、姿勢推定部は、肩幅線と基準線とがなす肩幅線角度が第１閾値角度未満である場合、乗員の姿勢が左右方向のいずれかに倒れた状態と推定し、肩幅線角度が第１閾値角度以上である場合、乗員の姿勢が左右方向に倒れていない状態と推定する。よって、一例として、撮像部を用いた乗員の体格の推定精度を向上させることができる。

また、実施形態の室内監視装置は、一例として、複数の特徴点を結ぶ線は、乗員の左右の腰間の中点と、乗員の首と、を結ぶ座高線であり、基準線は、水平線であり、姿勢推定部は、座高線と基準線とがなす座高線角度が第２閾値角度未満である場合、乗員の姿勢が後方に倒れた状態と推定し、座高線角度が第２閾値角度以上である場合、乗員の姿勢が後方に倒れていない状態と推定する。よって、一例として、撮像部を用いた乗員の体格の推定精度を向上させることができる。

図１は、本実施形態にかかる室内監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、本実施形態にかかる車両の一例の平面図である。 図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、本実施形態にかかる車両が有するＥＣＵによる座高線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。 図６は、本実施形態にかかる車両が有するＥＣＵによる座高線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。 図７は、本実施形態にかかる車両が有するＥＣＵによる肩幅線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。 図８は、本実施形態にかかる車両が有するＥＣＵによる肩幅線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。 図９は、本実施形態にかかる車両が有するＥＣＵによる特徴点の座標を用いた乗員の姿勢の推定処理の一例を説明するための図である。 図１０は、本実施形態にかかる車両が有するＥＣＵによって撮像画像から抽出した特徴点の座標の一例を示す図である。 図１１は、本実施形態にかかる車両が有するＥＣＵによる乗員の体格の推定処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる室内監視装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図１は、本実施形態にかかる室内監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。

車室２ａ内には、当該車室２ａ内に存在する乗員が着座する座席２ｂ，２ｈ，２ｉ，２ｊが設けられている。座席２ｂは、乗員として運転手が着座する座席である。座席２ｈは、運転席である座席２ｂの隣に設けられる助手席である。座席２ｉ，２ｊは、座席２ｂ，２ｈの後方に設けられる後部座席である。

また、車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、本実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ〜１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°〜２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｋのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

また、車室２ａ内には、図１および図２に示すように、車内カメラ１６（撮像部）が設けられている。車内カメラ１６は、車室２ａ内を撮像可能に設けられる。本実施形態では、車内カメラ１６は、座席２ｂ，２ｈ，２ｉ，２ｊよりも前方から、車室２ａ内全体（少なくとも、座席２ｂ，２ｈ，２ｉ，２ｊに存在する物体）を撮像可能に設けられている。例えば、車内カメラ１６は、車室２ａ内に設けられるＯＨＣ（Over Head Console）に搭載される。また、本実施形態では、車内カメラ１６は、赤外線カメラであり、所定のフレームレートで車室２ａ内を撮像可能である。そして、車内カメラ１６は、車室２ａ内を撮像して得られるＩＲ画像（以下、撮像画像と言う）を出力する。本実施形態では、車内カメラ１６には、ＩＲカメラを用いているが、車室２ａ内全体を撮像可能な撮像部であれば、これに限定するものではなく、例えば、可視光カメラであっても良い。

図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、車内カメラ１６により得られる撮像画像に基づく乗員の体格の推定処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

ところで、複数の対物レンズおよび当該複数の対物レンズに入射した光の方向を変更する光学機構を有するカメラを用いて、ダッシュボードから乗員までの距離を算出し、当該距離の算出結果に基づいて、車両１内の乗員の体格や姿勢等を検出する技術が開発されている。しかしながら、当該技術は、複数の対物レンズおよび光学機構が必要となるため、カメラのサイズが大型化しかつコストも増加する。

また、ステレオカメラを用いて、車両１内の乗員の体格を検知する技術が開発されている。しかしながら、当該技術は、乗員の頭部の重心や肩幅を用いて、乗員の体格を検知しているため、座席の状態の変化（例えば、スライド、リクライニング）や、乗員の姿勢の変化（例えば、前後方向への傾き、左右方向への傾き）が発生すると、乗員の体格の検知精度が低くなる。

さらに、車両１のステアリングコラムに設けられる撮像部の撮像により得られる画像に含まれる乗員の顔の幅および上下方向の頭部の位置に基づいて、乗員の体格を推定する技術が開発されている。しかしながら、当該技術は、正規着座している乗員の体格を推定することは可能であるが、正規着座していない乗員の体格の推定精度が低くなる。

そこで、本実施形態では、車両１に以下のような機能を持たせることで、車内カメラ１６を用いて、車室２ａ内に存在する乗員の体格を高精度に推定可能とすることを実現する。

図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、画像取得部４００、姿勢推定部４０１、体格推定部４０２、および制御部４０３と、を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された室内監視プログラムを実行することにより、ＥＣＵ１４は、画像取得部４００、姿勢推定部４０１、体格推定部４０２、および制御部４０３の機能を実現する。画像取得部４００、姿勢推定部４０１、体格推定部４０２、および制御部４０３の一部または全部を回路等のハードウェアによって構成しても良い。本実施形態では、ＥＣＵ１４が、室内監視装置の一例として機能する。

画像取得部４００は、車内カメラ１６によって車室２ａ内を撮像して得られる撮像画像を取得する。

姿勢推定部４０１は、画像取得部４００により取得される撮像画像に基づいて、車室２ａ内に存在する乗員の姿勢を推定する。本実施形態では、姿勢推定部４０１は、撮像画像内の乗員の複数の特徴点の座標を含む体格推定指標に基づいて、乗員の姿勢を推定する。これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の姿勢および撮像画像に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

ここで、複数の特徴点は、撮像画像内の乗員の予め設定された点（キーポイント）であり、例えば、撮像画像内の乗員の関節である。例えば、姿勢推定部４０１は、ディープラーニング等によって、画像取得部４００により取得される撮像画像に含まれる乗員の複数の特徴点を抽出し、当該抽出した特徴点の座標を含む体格推定指標に基づいて、乗員の姿勢を推定するものとする。

本実施形態では、複数の特徴点は、撮像画像内の乗員の複数の関節を含む。関節は、首（例えば、首の付け根）、肩（例えば、左右の肩関節）、および腰（例えば、左右の股関節）を含む。本実施形態では、複数の特徴点は、撮像画像内の乗員の複数の関節を含むものとするが、これに限定するものではなく、撮像画像内の乗員の他の特徴点（例えば、目、鼻、耳、手首、肘）が含まれていても良い。

例えば、姿勢推定部４０１は、撮像画像内の乗員の肩のｙ軸の座標が、予め設定されたｙ軸の座標より上方向に位置する場合には、乗員の身体が起きた状態（例えば、座席２ｂの背もたれが倒れていない状態、または、座席２ｂに深く座りかつ背もたれにもたれている正規着座状態）にあると推定する。ここでは、撮像画像の横方向をｘ軸（水平方向）とし、撮像画像の縦方向をｙ軸とする。

一方、姿勢推定部４０１は、撮像画像内の乗員の肩のｙ軸の座標が、予め設定されたｙ軸の座標より下方向に位置する場合には、乗員の身体が寝た状態（例えば、座席２ｂの背もたれが倒れている状態、または、座席２ｂに浅く座りかつ背もたれにもたれている状態）と判定する。

また、本実施形態では、姿勢推定部４０１は、複数の特徴点の座標に加えて、複数の特徴点間の長さに基づいて、乗員の姿勢を推定する。具体的には、複数の特徴点間の長さは、撮像画像内の乗員の肩幅（撮像画像内の乗員の左右の肩間の長さ）である。そして、姿勢推定部４０１は、肩幅が短くなるに従い、乗員の姿勢が後方に倒れた状態と推定する。

例えば、姿勢推定部４０１は、肩幅が、予め設定された長さ以上である場合、乗員の身体が起きた状態（乗員の姿勢が後方に倒れていない状態）と判定する。一方、姿勢推定部４０１は、肩幅が、予め設定された長さ未満である場合、乗員の身体が寝た状態（乗員の姿勢が後方に倒れた状態）と判定する。これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の身体が起きた状態にあるか否かと、撮像画像と、に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

また、本実施形態では、姿勢推定部４０１は、複数の特徴点の座標に加えて、複数の特徴点を結ぶ線と、基準線と、がなす角度に基づいて、乗員の姿勢を推定する。ここで、基準線は、予め設定された線であり、例えば、撮像画像の横方向（ｘ軸、水平方向）と平行な水平線である。

具体的には、複数の特徴点を結ぶ線は、撮像画像内の乗員の左右の肩間を結ぶ線（以下、肩幅線と言う）である。姿勢推定部４０１は、肩幅線と基準線とがなす角度（以下、肩幅線角度と言う）が、予め設定された閾値角度（例えば、−１１度）以上である場合には、乗員の身体が車室２ａ内のセンターコンソール側にもたれていない状態と推定する。言い換えると、姿勢推定部４０１は、乗員の姿勢が左右方向に倒れていない状態と推定する。

一方、姿勢推定部４０１は、肩幅線角度が、予め設定された閾値角度（例えば、−１１度）未満である場合には、乗員の身体が車室２ａ内のセンターコンソール側にもたれている状態と推定する。言い換えると、姿勢推定部４０１は、乗員の姿勢が左右方向に倒れている状態と推定する。

これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の姿勢が左右方向に倒れているか否かと、撮像画像と、に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

本実施形態では、肩幅線角度を用いて、乗員の身体が車室２ａ内のセンターコンソール側にもたれている状態か否かを推定する例について説明するが、姿勢推定部４０１は、肩幅線角度に基づいて、乗員の身体が車室２ａのセンターコンソール側とは反対側（例えば、ドア側）にもたれている状態か否かを推定することも可能である。ただし、乗員の身体がドア側にもたれているか状態か否かを推定する場合には、ドアの存在によって乗員の身体の傾きが抑えられることが想定されるため、閾値角度を小さくすることも可能である。

また、複数の特徴点を結ぶ線は、撮像画像内の乗員の左右の腰間の中点と、撮像画像内の乗員の首（例えば、首の付け根）を結ぶ線（以下、座高線と言う）である。姿勢推定部４０１は、座高線と基準線とがなす角度（以下、座高線角度と言う）が、予め設定された閾値角度（例えば、８８度）以上である場合には、乗員が起きた状態（言い換えると、乗員の姿勢が後方に倒れていない状態）と推定する。一方、姿勢推定部４０１は、座高線角度が、予め設定された閾値角度（例えば、８８度）未満である場合には、乗員が寝た状態（言い換えると、乗員の姿勢が後方に倒れた状態）と推定する。

これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の身体が起きた状態にあるか否かと、撮像画像と、に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

体格推定部４０２は、姿勢推定部４０１により推定される乗員の姿勢、および画像取得部４００により取得される撮像画像（言い換えると、乗員の姿勢の推定に用いた撮像画像）に基づいて、乗員の体格を推定する。これにより、乗員の姿勢を検出するための専用の機構を用いることなく、乗員の姿勢、および車内カメラ１６の撮像により得られる撮像画像を用いて、乗員の体格が推定可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

制御部４０３は、体格推定部４０２により推定される乗員の体格に基づいて、車両１が備えるエアバックの展開制御（例えば、エアバックの展開する際の圧力の制御）、座席２ｂ，２ｈ，２ｉ，２ｊのシート制御（例えば、座席２ｂ，２ｈ，２ｉ，２ｊの前後方向へのスライド、座席２ｂ，２ｈ，２ｉ，２ｊのリクライニング）等を実行する。

次に、図５および図６を用いて、本実施形態にかかる車両１が有するＥＣＵ１４において座高線角度を用いて乗員（左側の座席に着座した乗員）の姿勢を推定する処理の一例について説明する。図５および図６は、本実施形態にかかる車両が有するＥＣＵによる座高線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。本実施形態では、図５および図６に示すように、撮像画像Ｇの左上の角を原点Ｏとし、撮像画像Ｇの横方向をｘ軸とし、撮像画像Ｇの縦方向をｙ軸とする。ここでは、左側の座席に着座した乗員の姿勢を推定する処理について説明するが、右側の座席に着座した乗員も同様にして乗員の姿勢を推定可能である。

姿勢推定部４０１は、図５および図６に示すように、まず、画像取得部４００により取得された撮像画像Ｇに含まれる乗員の首の付け根Ｐ１、左の肩Ｐ２、右の肩Ｐ３、左の腰Ｐ４、右の腰Ｐ５、および左の腰Ｐ４と右の腰Ｐ５との間の中点Ｐ６を、特徴点として抽出する。次いで、姿勢推定部４０１は、中点Ｐ６の座標および首の付け根Ｐ１の座標に基づいて、中点Ｐ６と首の付け根Ｐ１とを結んだ座高線Ｌ１と、ｘ軸に並行な基準線Ｌ０とがなす角度（センターコンソール側の角度）である座高線角度θ１を求める。

そして、姿勢推定部４０１は、図５に示すように、座高線角度θ１が、予め設定された閾値角度（例えば、８８度）以上である場合には、乗員の身体が起きた状態であると推定する。一方、姿勢推定部４０１は、図６に示すように、座高線角度θ１が、予め設定された閾値角度（例えば、８８度）未満である場合には、乗員の身体が寝た状態であると推定する。

これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の身体が起きた状態にあるか否かと、撮像画像と、に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

次に、図７および図８を用いて、本実施形態にかかる車両１が有するＥＣＵ１４において肩幅線角度を用いて乗員（左側の座席に着座した乗員）の姿勢を推定する処理の一例について説明する。図７および図８は、本実施形態にかかる車両が有するＥＣＵによる肩幅線角度を用いた乗員の姿勢の推定処理の一例を説明するための図である。本実施形態では、図７および図８に示すように、撮像画像Ｇの左上を原点Ｏとし、撮像画像Ｇの横方向をｘ軸とし、撮像画像Ｇの縦方向をｙ軸とする。ここでは、左側の座席に着座した乗員の姿勢を推定する処理について説明するが、右側の座席に着座した乗員も同様にして乗員の姿勢を推定可能である。

姿勢推定部４０１は、図７および図８に示すように、まず、画像取得部４００により取得された撮像画像Ｇに含まれる乗員の首の付け根Ｐ１、左の肩Ｐ２、右の肩Ｐ３、左の腰Ｐ４、右の腰Ｐ５、および中点Ｐ６を、特徴点として抽出する。次いで、姿勢推定部４０１は、左の肩Ｐ２の座標および右の肩Ｐ３の座標に基づいて、左の肩Ｐ２と右の肩Ｐ３とを結んだ肩幅線Ｌ２と、ｘ軸に並行な基準線Ｌ０とがなす角度である肩幅線角度θ２を求める。

そして、姿勢推定部４０１は、図７に示すように、肩幅線角度θ２が、予め設定された閾値角度（例えば、−１１度）以上である場合には、乗員の身体が車室２ａ内のセンターコンソール側にもたれていない状態であると推定する。一方、姿勢推定部４０１は、図８に示すように、肩幅線角度θ２が、予め設定された閾値角度（例えば、−１１度）未満である場合には、乗員の身体が車室２ａ内のセンターコンソール側にもたれた状態であると推定する。

これにより、乗員の姿勢を検知するための専用の検知機構を設けることなく、車内カメラ１６だけを用いて、乗員の身体が車室２ａ内のセンターコンソール側にもたれた状態であるか否かと、撮像画像と、に基づく乗員の体格推定が可能となる。その結果、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

次に、図９および図１０を用いて、本実施形態にかかる車両１が有するＥＣＵ１４において特徴点の座標を用いて乗員の姿勢を推定する処理の一例について説明する。図９は、本実施形態にかかる車両が有するＥＣＵによる特徴点の座標を用いた乗員の姿勢の推定処理の一例を説明するための図である。図１０は、本実施形態にかかる車両が有するＥＣＵによって撮像画像から抽出した特徴点Ｐ１〜Ｐ６の座標の一例を示す図である。本実施形態では、図９および図１０に示すように、撮像画像Ｇの左上の角を原点Ｏとし、撮像画像Ｇの横方向をｘ軸とし、撮像画像Ｇの縦方向をｙ軸とする。

図９において、撮像画像Ｇ１は、小柄な女性が、前後方向の位置が最も後ろに調整された状態（ＲＭ）の座席２ｂに、身体が起きた状態（以下、正規着座と言う）で座っている場合の撮像画像である。図９に示す撮像画像Ｇ２は、小柄な女性が、前後方向の位置が最も後ろ調整された状態（ＲＭ）の座席２ｂに、正規着座から、臀部を前にずらして座っている場合の撮像画像である。

図９の撮像画像Ｇ１，Ｇ２および図１０に示すように、乗員である小柄な女性が、正規着座から、臀部を前方にずらすに従い、特徴点Ｐ１〜Ｐ６の座標がやや左下に移動していることが分かる。

また、図９において、撮像画像Ｇ３は、男性が、前後方向の位置が最も後ろに調整された状態（ＲＭ）の座席２ｂに、正規着座で座っている場合の撮像画像である。図９に示す撮像画像Ｇ４は、男性が、前後方向の位置が最も後ろ調整された状態（ＲＭ）の座席２ｂに、正規着座から、臀部を前にずらして座っている場合の撮像画像である。

図９の撮像画像Ｇ３，Ｇ４および図１０に示すように、乗員である男性が、正規着座から、臀部を前方にずらすに従い、特徴点Ｐ１〜Ｐ６の座標がやや左下に移動していることが分かる。

このように、座席２ｂに着座している乗員の性別に関わらず、乗員が正規着座の状態から臀部を前方にずらすに従って（言い換えると、乗員の身体が寝た状態に近づく従って）、撮像画像Ｇに含まれる特徴点Ｐ１〜Ｐ６の座標が左下に移動する傾向がある。そのため、姿勢推定部４０１は、正規着座の状態の基準として、撮像画像Ｇに含まれる特徴点Ｐ１〜Ｐ６の座標が左下に移動するに従い、乗員の身体が寝た状態に近づいていると推定することが可能となる。

次に、図１１を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による乗員の体格の推定処理の流れの一例について説明する。図１１は、本実施形態にかかる車両が有するＥＣＵによる乗員の体格の推定処理の流れの一例を示すフローチャートである。

まず、画像取得部４００が、車内カメラ１６から、撮像画像を取得する（ステップＳ１１０１）。

次いで、姿勢推定部４０１は、画像取得部４００により取得される撮像画像に基づいて、車室２ａ内に存在する乗員の姿勢を推定する（ステップＳ１１０２）。

次いで、体格推定部４０２は、姿勢推定部４０１により推定される乗員の姿勢、および画像取得部４００により取得される撮像画像に基づいて、車室２ａ内に存在する乗員の体格を推定する（ステップＳ１１０３）。

このように、本実施形態にかかる車両１によれば、乗員の姿勢を検出するための専用の機構を用いることなく、乗員の姿勢、および車内カメラ１６の撮像により得られる撮像画像を用いて、乗員の体格が推定可能となるので、車内カメラ１６を用いた乗員の体格の推定精度を向上させることができる。

１ 車両
１４ ＥＣＵ
１４ａ ＣＰＵ
１４ｂ ＲＯＭ
１４ｃ ＲＡＭ
１４ｆ ＳＳＤ
１６ 車内カメラ
４００ 画像取得部
４０１ 姿勢推定部
４０２ 体格推定部
４０３ 制御部

Claims (7)

1. 撮像部によって車両の車室内を撮像して得られる撮像画像を取得する画像取得部と、
   前記撮像画像に基づいて、前記車室内に存在する乗員の姿勢を推定する姿勢推定部と、
   前記姿勢推定部により推定される前記乗員の姿勢、および前記撮像画像に基づいて、前記乗員の体格を推定する体格推定部と、
   を備える室内監視装置。
2. 前記姿勢推定部は、前記撮像画像内の前記乗員の複数の特徴点の座標に基づいて、前記乗員の姿勢を推定する請求項１に記載の室内監視装置。
3. 前記姿勢推定部は、前記複数の特徴点の座標、および前記複数の特徴点間の長さに基づいて、前記乗員の姿勢を推定する請求項２に記載の室内監視装置。
4. 前記複数の特徴点間の長さは、前記撮像画像内の前記乗員の肩幅であり、
   前記姿勢推定部は、前記肩幅が短くなるに従い、前記乗員の姿勢が後方に倒れた状態と推定する請求項３に記載の室内監視装置。
5. 前記姿勢推定部は、前記複数の特徴点の座標、および前記複数の特徴点を結ぶ線と予め設定された基準線とがなす角度に基づいて、前記乗員の姿勢を推定する請求項２から４のいずれか一に記載の室内監視装置。
6. 前記複数の特徴点を結ぶ線は、前記乗員の左右の肩間を結ぶ肩幅線であり、
   前記基準線は、水平線であり、
   前記姿勢推定部は、前記肩幅線と前記基準線とがなす肩幅線角度が第１閾値角度未満である場合、前記乗員の姿勢が左右方向のいずれかに倒れた状態と推定し、前記肩幅線角度が前記第１閾値角度以上である場合、前記乗員の姿勢が左右方向に倒れていない状態と推定する請求項５に記載の室内監視装置。
7. 前記複数の特徴点を結ぶ線は、前記乗員の左右の腰間の中点と、前記乗員の首と、を結ぶ座高線であり、
   前記基準線は、水平線であり、
   前記姿勢推定部は、前記座高線と前記基準線とがなす座高線角度が第２閾値角度未満である場合、前記乗員の姿勢が後方に倒れた状態と推定し、前記座高線角度が前記第２閾値角度以上である場合、前記乗員の姿勢が後方に倒れていない状態と推定する請求項５または６に記載の室内監視装置。

Images