JP2015128915A - 後席乗員モニタシステム及び後席乗員モニタ方法 - Google Patents

Abstract

【課題】コストアップを生じることなく、また、画像表示を中止すべき規制条件が成立した場合であっても、後席乗員の様子を確認することが可能な後席乗員モニタシステムを提供する。
【解決手段】携帯端末１０が、内蔵のカメラ１２によって後席乗員を撮影し、その撮影した画像に対して、画像認識処理を実行して、後席乗員の状態を推定する。携帯端末１０は、推定した後席乗員の状態を示す情報、及び画像を、車載器２０に送信する。車載器２０は、車両の運転者が周囲に注意を向けるべき表示規制条件が成立している間は、車載器２０のディスプレイ２３への後席乗員の画像の表示を中止する。しかし、車載器２０は、スピーカ２７を用いて、音声により後席の乗員の状態を前席乗員に報知する。従って、前席乗員は、後席乗員の様子を確認することができる。
【選択図】図１

Description

本発明は、前席の乗員が、後方を振り返らずとも、車両の後席の乗員の様子を確認することが可能な後席乗員モニタシステム及び後席乗員モニタ方法に関する。

例えば、特許文献１や特許文献２に、車両運転中であっても、前席乗員である運転者が後席乗員である子供の状態を容易に確認することができる装置が開示されている。これら特許文献１や特許文献２の装置は、いずれも、後席乗員を撮影する後席用カメラ、後席用カメラにて撮影された画像を表示する前席用ディスプレイ、前席乗員を撮影する前席用カメラ、前席用カメラで撮影された画像を表示する後席用ディスプレイ、及び、画像表示を制御する制御装置を備えている。このような構成により、前席乗員は、前席用ディスプレイに表示された画像から後席乗員の状態を確認でき、後席乗員は、前席乗員の顔を画像を通じて見ることができる。

特開２００３−２５９１１号公報 特開２０１０−２４５９５０号公報

しかしながら、上述した従来装置は、車両に搭載された単一の制御装置により、前席用ディスプレイ及び後席用ディスプレイにおける画像表示を制御するように構成されている。そのため、例えば加工した画像を表示したり、画像を解析して乗員の特定の状態を検出したりしようとすると、制御装置として処理能力が高いものを使用する必要が生じて、コストアップの要因となる。

また、車両の走行中や、車両が信号待ちのため交差点付近で一時的に停車している場合など、車両の運転者が前席用ディスプレイを注視することは、安全運転上、避けるべきである。そこで、そのような規制条件が成立した場合、後席乗員を撮影した画像の前席用ディスプレイへの表示を中止することが考えられる。しかし、この場合、前席乗員は、後席乗員の様子を確認することができなくなってしまう。

本発明は、上述した点に鑑みてなされたものであり、コストアップを抑制しつつ、画像表示を中止すべき規制条件が成立した場合であっても、後席乗員の様子を確認することが可能な後席乗員モニタシステムを提供することを目的とする。

上記目的を達成するために、本発明による後席乗員モニタシステムは、
車両の前席の乗員によって視認される位置に設定されたディスプレイ（２３）と、音声を出力するスピーカ（２７）とを有する車載器（２０）と、
カメラ（１２）を内蔵し、当該カメラが後席の乗員を撮影可能な位置に設置される携帯端末（１０）と、を備え、
車載器と携帯端末とは、相互に通信を行う通信装置（１４、２１）をそれぞれ有しており、
携帯端末は、カメラによって撮影された画像に対して認識処理を施すことにより、後席の乗員の状態を推定し、その推定した後席の乗員の状態を示す情報と、カメラによって撮影された画像とを車載器に送信し、
車載器は、後席の乗員の状態を示す情報に基づき、スピーカを用いて、音声にて後席の乗員の状態を報知すること、及び画像をディスプレイに表示することが可能なものであって、車両の運転者が当該車両の周囲に注意を向けるべき所定の規制条件が成立している間は、画像の表示を中止するとともに、音声により後席の乗員の状態を前席の乗員に報知することを特徴とする。

このように、本発明による後席乗員モニタシステムにおいても、車両の運転者が周囲に注意を向けるべき所定の規制条件が成立している間は、画像の表示を中止する。しかし、この場合、単に画像の表示を中止するのではなく、車載器が、スピーカを用いて、音声により後席の乗員の状態を前席の乗員に報知するように構成されている。従って、規制条件が成立して、後席乗員を撮影した画像の表示を中止した場合であっても、前席乗員は、後席乗員の様子を確認することができる。

また、乗員の様子を音声にて表示するには、撮影した画像に映し出された後席乗員の表情などを認識するための認識処理を行う必要があるが、本発明では、この認識処理を、携帯端末において実行することとした。近年は、携帯電話、スマートフォン、タブレットなど、高性能なマイクロコンピュータを搭載した携帯端末の普及が著しい。本発明では、このような携帯端末を利用して、高負荷の画像認識処理を実行するため、車載器としては、高性能かつ高価な制御装置を用いる必要がなくなる。従って、後席乗員モニタシステムのコストアップを抑制することができる。さらに、携帯端末に、画像認識処理を担わせることで、車載器にそのような処理を担わせる場合に比較して、その認識処理を行うソフトのバージョンアップなども容易に行うことが可能となる。

なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。

また、上述した特徴以外の、特許請求の範囲の各請求項に記載した技術的特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。

実施形態に係る後席乗員モニタシステムの全体構成を示した構成図である。 携帯端末の設置の一例を示す説明図である。 メータパネル内に設けられた車載器のディスプレイに、後席乗員の状態を示す画像が表示される例を示した図である。 後席乗員をモニタするために、車載器のＥＣＵにより実行される処理を示すフローチャートである。 後席乗員をモニタするために、携帯端末の制御装置により実行される処理を示すフローチャートである。 変形例におけるチャイルドロック機能を実現するための制御処理を示すフローチャートである。 図６のフローチャートにおける、操作制限条件の成立、不成立を決定するための制御処理の一例を示すフローチャートである。 近距離無線通信により携帯端末がホルダーに固定されていることが検出されているとき、誤って後席乗員モニタアプリケーションが停止されても、自動的に再起動するための処理を示すフローチャートである。 後席乗員の状態を推定する画像認識結果に応じて、エンターテイメントアプリケーションの起動、停止や、音声の出力の停止もしくは再開を制御する処理の一例を示すフローチャートである。 画像認識における認識精度が保てない場合に、画像認識処理を一時的に停止したり、認識精度が低下している旨を前席乗員に報知したりする処理を示すフローチャートである。 画像認識における認識精度が保てない条件が成立したか否かを判定するための処理を示すフローチャートである。

以下、本発明の実施形態による後席乗員モニタシステムについて、図面を参照しつつ説明する。図１は、本実施形態に係る後席乗員モニタシステムの全体構成を示した構成図である。まず、図１を参照して、後席乗員モニタシステムの構成について説明する。

図１に示すように、本実施形態に係る後席乗員モニタシステムは、普段は車両の運転者などの乗員によって携帯され、その乗員が車両に乗車する際に車室内に持ち込まれる携帯端末１０と、車載器２０とから構成される。

携帯端末１０は、携帯電話、スマートフォン、タブレットなどである。この携帯端末１０は、ディスプレイ１１、カメラ１２、スピーカ１３、通信装置１４、制御装置１５、及び各種のコンテンツを記憶する記憶装置１６などを有する。

本実施携帯による後席乗員モニタシステムは、子供（幼児）が後席に着座し、母親や父親が運転席や助手席に着座した場合に、後方を振り返らずとも、後席の子供の様子を確認できるようにするものである。そのため、携帯端末１０は、内蔵したカメラ１２が後席の子供を撮影できる位置に設置される。例えば、携帯端末１０は、図２に示すように、前席のヘッドレストの支柱に固定されるホルダーに係止されることで、後席の前方に設置される。これにより、携帯端末１０に内蔵されたカメラ１２により、後席に着座している子供を撮影することが可能となる。ただし、携帯端末１０の設置位置は、このような例に限られず、例えば後席乗員のチャイルドシートに設置するようにしても良い。

この際、携帯端末１０は、後席の子供が携帯端末１０のディスプレイ１１を視聴できる向きでホルダーに固定される。

この携帯端末１０は、通信装置１４を有しており、通信装置２１を有する車載器２０との間で、画像や信号などの各種の情報を相互に通信することが可能である。携帯端末１０の通信装置１４と、車載器２０の通信装置２１とは、有線通信を行うものであっても良いし、無線通信を行うものであっても良い。無線通信を行う場合、例えばBluetooth（登録商標）通信技術を用いることができる。

携帯端末１０の記憶装置１６は、映像や音声、音楽を含む各種のコンテンツを記憶している。携帯端末１０の制御装置１５は、携帯端末１０の図示しない操作部に対する操作により、記憶装置１６に記憶された各種のコンテンツの中から、任意のコンテンツを選択し、その選択したコンテンツの再生処理を実行する。また、携帯端末１０の操作部に対する操作に加え、車載器２０から送信される指令信号によっても、制御装置１５は、コンテンツの選択、再生処理を実行可能である。コンテンツの再生時には、ディスプレイ１１に、そのコンテンツの映像が表示されるとともに、スピーカ１３から、コンテンツに含まれる音声や音楽が出力される。

また、制御装置１５は、車載器２０から画像表示指令信号とともに、画像が送信された場合、その画像を、携帯端末１０のディスプレイ１１に表示することもできる。車載器２０は、後述するように、運転者を撮影するドライバカメラ２５や車両の前方を撮影するドライブレコーダカメラ２６を備えている。そして、車載器２０は、運転者の操作により、カメラ２５、２６によって撮影された画像を、画像表示指令信号とともに、携帯端末１０に送信することができる。制御装置１５は、車載器２０から送信されてきた画像を携帯端末１０のディスプレイ１１に表示する。

さらに、制御装置１５は、携帯端末１０に予めインストールされている後席乗員モニタアプリケーションが起動された場合に、携帯端末１０に内蔵されたカメラ１２によって撮影された画像に対して、画像認識処理を実行する。この画像認識処理では、例えば、まず、撮影された画像において、後席乗員の顔が映し出されている領域を特定する。さらに、特定された顔が映し出されている領域において、顔の各部位（目、口など）を検出する。そして、検出した顔の各部位の形状から、後席乗員の状態を推定する。例えば、口が一定時間以上大きく開かれているときには、あくびをしていると推定することができる。また、目が一定時間以上閉じているときには、眠っていると推定することができる。さらに、目を開いて一定の方向を向いているときには、見ている方向に応じて、表示コンテンツを見ている、あるいは外を見ていると推定することができる。なお、顔がいずれの方向を向いているかは、顔の各部位（左右目、口など）の位置関係から求めることが可能である。

そして、制御装置１５は、推定された後席乗員の状態を示す情報と、カメラ１２によって撮影された画像とを、通信装置１４を通じて、車載器２０に送信する。この際、制御装置１５は、後席乗員の状態を示す情報として、その後席乗員の状態を音声にて報知するための合成音声データを送信しても良い。あるいは、後席乗員の状態に応じたテキストデータを送信しても良い。但し、テキストデータを送信する場合には、車載器２０において、そのテキストデータから、合成音声データを作成する必要が生じる。そのため、車載器２０の処理負荷軽減のためには、制御装置１５において合成音声データを作成して送信することが好ましい。

車載器２０は、携帯端末１０から送信された、後席乗員の状態を示す情報と、後席乗員を撮影した画像とを受信する。そして、受信した情報及び画像に基づき、後席乗員の様子を前席乗員に報知する。この報知の手法については、後に詳細に説明する。

車載器２０は、通信装置２１、ＥＣＵ２２、ディスプレイ２３、ステアリングスイッチ２４、ドライバカメラ２５、ドライブレコーダカメラ２６、スピーカ２７、及びＣＡＮ（Controller Area Network）通信インターフェース２８などを備えている。

通信装置２１は、上述したように、携帯端末１０の通信装置１４と相互通信を行うことが可能なものである。ディスプレイ２３は、図３に示されるように、例えばメータパネル内に設置され、携帯端末１０から送信されてきた後席乗員を撮影した画像を表示する。なお、ディスプレイ２３に関しては、車両がナビゲーション装置を備えている場合、そのナビ画面を表示するためのディスプレイと共用するようにしても良い。

ステアリングスイッチ２４は、ステアリングホイールに設けられ、上述したコンテンツの選択、再生処理や、車載器２０から送信する画像の選択、あるいは後席乗員モニタアプリケーションの起動の携帯端末１０への指示などを行うことが可能なものである。このような指示操作は、ステアリングスイッチ２４以外に、例えばナビ画面のタッチスイッチを用いて行うようにすることも可能である。

ドライバカメラ２５は、例えば、運転者正面のステアリング装置の静止部分に取り付けられ、運転者の顔を含む一定の範囲を撮影する。ドライブレコーダカメラは、例えばフロントガラスの車室内側の上方に取り付けられ、車両の前方を撮影する。ドライバカメラ２５やドライブレコーダカメラ２６によって撮影された画像は、ＥＣＵ２２に出力される。そして、ステアリングスイッチ２４の操作などにより、運転者が、いずれかの画像を携帯端末１０に送信することを指示したとき、ＥＣＵ２２は、該当する映像を携帯端末１０に送信する。

スピーカ２７は、例えばフロントドアの内面に取り付けられ、後席乗員の状態を、前席乗員に報知するための音声を出力する。つまり、ＥＣＵ２２は、携帯端末１０から後席乗員の状態を示す情報として、音声合成データを受信すると、その音声合成データに基づく音声出力信号をスピーカ２７に出力する。また、後席乗員の状態を示す情報として、テキストデータを受信した場合には、そのテキストデータに応じた音声合成データを生成し、その音声合成データに基づく音声出力信号をスピーカ２７に出力する。そして、音声出力信号によりスピーカ２７が駆動され、後席乗員の状態を報知する音声が出力される。

ＣＡＮ通信インターフェース２８は、他の制御装置やセンサとの間で、各種のデータを通信するためのものである。ＥＣＵ２２は、このＣＡＮ通信インターフェース２８による通信により、車両の走行速度を取得したり、車両の現在位置を取得したりすることが可能である。そして、ＥＣＵ２２は、取得した車両走行速度や、車両の現在位置に基づいて、ディスプレイ２３における画像表示を中止（規制）すべき規制条件が成立したか否かを判定する。規制条件が成立したと判定すると、ＥＣＵ２２は、ディスプレイ２３における画像表示を中止する。

以上のような構成を備える後席乗員モニタシステムにおいて、後席乗員をモニタするために、車載器２０のＥＣＵ２２により実行される処理について、図４のフローチャートを参照しつつ、説明する。図４のフローチャートに示す処理は、イグニッションスイッチがオンされたときに開始される。

まず、ステップＳ１００では、車室内に、通信可能な携帯端末１０があるか否かを判定する。そして、通信可能な携帯端末１０がある場合には、ステップＳ１１０において、その携帯端末１０との通信リンクを確立する。これにより、携帯端末１０と車載器２０とが、相互に通信可能となる。

続くステップＳ１２０では、携帯端末１０において、後席乗員モニタアプリケーションが起動中であるか否かを判定する。この判定処理において、未起動であると判定された場合には、ステップＳ１３０の処理に進む。一方、起動中であると判定されると、ステップＳ１６０の処理に進む。

ステップＳ１３０では、運転者などによる、後席乗員モニタアプリケーションの起動操作を受け付ける。ただし、ナビゲーション装置のタッチスイッチを用いて、後席乗員アプリケーションの起動操作を行う場合には、操作画面の表示や画像の表示を規制すべき表示規制条件が未成立であるときのみ、操作画面を表示して、起動操作を受け付けることが望ましい。例えば、車両が走行中であったり、車両が信号待ちのため交差点付近で一時的に停車していたりする場合など、車両の運転者が操作画面を注視することは、安全運転上、避けるべきである。そのため、表示規制条件が成立した場合には、操作画面の表示を行わずに、例えば、後席乗員モニタアプリケーションを起動するための操作画面を表示できない旨、音声により案内することが好ましい。一方、表示規制条件が成立していない場合には、後席乗員モニタアプリケーションを起動するための操作画面を表示する。

続くステップＳ１４０では、運転者などにより、後席乗員モニタアプリケーションの起動操作が行われたか否かを判定する。起動操作が行われたと判定された場合、ステップＳ１５０の処理に進み、行われていないと判定された場合、ステップＳ１２０の処理に戻る。

ステップＳ１５０では、携帯端末１０に対して、後席乗員モニタアプリケーションの起動を指示する。これにより、携帯端末１０は、カメラ１２による後席乗員の撮影、及び撮影した画像に対する画像認識処理を開始する。この画像認識処理によって後席乗員の状態が推定されると、その推定された後席乗員の状態を示す情報、及び後席乗員を映し出した画像が、携帯端末１０から車載器２０に送信される。なお、この送信は、所定の周期毎に定期的に行われても良いし、後席乗員の状態が変化したときに行われても良い。

ステップＳ１６０では、携帯端末１０から送信された、後席乗員の状態を示す情報、及び後席乗員の画像を受信する。そして、ステップＳ１７０において、上述したと同様に、画像の表示を規制すべき表示規制条件が成立しているか否かを判定する。この際、表示規制条件が成立していないと判定されると、ステップＳ１８０に進んで、後席乗員の画像を、ディスプレイ２３に表示する。これにより、前席の乗員は、後方を振り返らずとも、後席乗員の様子を画像により確認することができる。この際、同時に、音声により、後席乗員の状態を報知するようにしても良い。

一方、ステップＳ１７０において、表示規制条件が成立していると判定されると、ステップＳ１９０に進む。ステップＳ１９０では、ディスプレイ２３への画像表示は行わず、後席乗員の状態を報知する音声を出力する。これにより、画像を表示できない場合であっても、前席乗員は、音声により、後席乗員の状態を確認することが可能となる。

次に、後席乗員をモニタするために、携帯端末１０の制御装置１５により実行される処理について、図５のフローチャートを参照しつつ、説明する。図５のフローチャートに示す処理は、後席乗員モニタアプリケーションが起動されたときに開始される。

まず、ステップＳ２００では、カメラ１２により後席乗員を撮影する。続くステップＳ２１０では、撮影された画像に対して、画像認識処理を実行する。すなわち、撮影された画像において、後席乗員の顔が映し出されている領域を特定し、さらに、特定された領域において、顔の各部位（目、口など）を検出する。そして、ステップＳ２２０では、検出した顔の各部位の形状から、後席乗員の状態を推定する。

ステップＳ２３０では、後席乗員の状態に変化が有ったか否かを判定する。この判定は、図５に示す乗員状態データベースを参照することによって行われる。つまり、後述するように、乗員状態データベースには、後席乗員の状態が変化するごとに、記憶されている後席乗員の状態が更新され、常に最新の状態が記憶される。そのため、乗員状態データベースに記憶された最新の後席乗員の状態を参照することにより、後席乗員の状態に変化が有ったか否かを判定することができる。なお、後席乗員の状態を示す情報、及び後席乗員の画像を、定期的に送信する場合には、ステップＳ２３０において、送信周期が経過したか否かを判定し、送信周期が経過するまで送信を待機するようにすれば良い。

ステップＳ２３０にて、後席乗員の状態が変化したと判定された場合、ステップＳ２４０の処理に進み、車載器２０に対して、後席乗員の状態を示す情報と、後席乗員の画像とを送信する。そして、ステップＳ２５０において、乗員状態データベースにおいて、後席乗員の状態を更新する。

以上、説明したように、本実施形態の後席乗員モニタシステムによれば、車両の運転者が周囲に注意を向けるべき所定の表示規制条件が成立している間は、後席乗員の画像の表示を中止する。しかし、この場合、単に画像の表示を中止するのではなく、車載器２０は、スピーカ２７を用いて、音声により後席の乗員の状態を前席乗員に報知する。従って、表示規制条件が成立して、後席乗員を撮影した画像の表示を中止した場合であっても、前席乗員は、後席乗員の様子を確認することができる。

また、本実施形態の後席乗員モニタシステムでは、処理負荷の高い画像認識処理を、携帯端末１０において実行している。近年は、携帯電話、スマートフォン、タブレットなど、高性能なマイクロコンピュータを搭載した携帯端末１０の普及が著しい。本実施形態では、このような携帯端末１０を利用して、高負荷の画像認識処理を実行するため、車載器２０としては、高性能かつ高価なＥＣＵ２２を用いる必要がなくなる。従って、後席乗員モニタシステムのコストアップを抑制することができる。さらに、携帯端末１０に、画像認識処理を担わせることで、車載器２０にそのような処理を担わせる場合に比較して、その認識処理を行うソフトのバージョンアップなども容易に行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

例えば、車載器２０のディスプレイ２３に表示する画像は、静止画であっても、動画であっても良い。

また、起動中の後席乗員モニタアプリケーションに対して、いわゆるチャイルドロック機能を設けて、携帯端末１０に対する操作では後席乗員モニタアプリケーションを停止できないようにしても良い。すなわち、図６に示すように、ステップＳ３００において、後席乗員モニタアプリケーションが起動中で、操作制限条件が成立したと判定した場合、ステップＳ３１０において、携帯端末１０において操作制限をかけるようにしても良い。この操作制限として、例えば、携帯端末１０に対する操作そのものができないように設定しても良いし、後席乗員モニタアプリケーションの停止操作だけを無効としても良い。一方、ステップＳ３００において、操作制限条件が成立していないと判定された場合には、ステップＳ３２０において、携帯端末１０に対するすべての操作を受け付けるようにする。このようにすれば、後席乗員が、誤って後席乗員モニタアプリケーションを停止させてしまうことを防止することができる。

ただし、携帯端末１０に対する操作そのものができないように設定した場合であっても、車載器２０からの操作信号に応じて、他のアプリケーション（例えば、各種のコンテンツの再生アプリケーションなど）を起動可能にすることが好ましい。さらに、車載器２０からの操作信号により、チャイルドロック機能を解除できるようにしても良い。

また、例えば、携帯端末１０がホルダーに固定されていることを近距離無線通信（ＮＦＣ）やメカニカルなスイッチを利用して検出し、携帯端末１０がホルダー固定状態であることも条件として、上述したチャイルドロック機能を有効にするようにしても良い。すなわち、図７に示すように、ステップＳ３３０において、後席乗員モニタアプリケーションが起動中であると判定され、かつステップＳ３４０において、携帯端末１０がホルダーに固定されていると判定された場合、ステップＳ３５０において、操作制限条件が成立したと決定しても良い。この場合、ステップＳ３３０及びＳ３４０のいずれかの処理において否定的な判定がなされると、ステップＳ３６０において、操作制限条件が不成立であると決定される。従って、携帯端末１０がホルダーから取り外されると、チャイルドロック機能が停止され、携帯端末１０に対する操作制限が解除される。

さらに、携帯端末１０にＨＯＭＥボタンなどが設けられ、強制的に後席乗員モニタアプリケーションを停止させることが可能な場合には、例えば上記ＮＦＣを利用して、携帯端末１０に対しアプリケーション起動メッセージを送信するようにしても良い。すなわち、図８に示すように、ステップＳ３７０にて、携帯端末１０がＮＦＣにより検出されている最中であるか否かを判定する。つまり、ＮＦＣを通じて携帯端末１０と通信を行いうる状況であるか否かを判定する。この判定処理において、携帯端末１０を検出中であると判定した場合、ステップＳ３８０において、携帯端末１０に対して後席乗員モニタアプリケーションの起動要求メッセージを送信する。これにより、後席乗員が、誤って後席乗員モニタアプリケーションを強制的に停止してしまったとしても、自動的に再起動することが可能になる。

また、後席乗員の状態を推定するための画像認識結果に応じて、例えば動画再生アプリケーションなどのエンターテイメントアプリケーションを起動、停止や、音声の出力を停止（消音）もしくは再開を制御しても良い。例えば、動画再生中に、後席乗員が眠ってしまったことを認識した場合、動画再生を停止したり、消音したりする。あるいは、後席乗員がぐずったり、泣いたりしていることを認識した場合、エンターテイメントアプリケーションを自動起動したり、音声出力を再開したりする。このような制御を行うための制御処理の一例が、図９のフローチャートに示されている。

図９に示す例では、まず、ステップＳ４００において、エンターテイメントアプリケーションとしての動画再生アプリケーションによって、動画が再生されている最中であるか否かを判定する。この判定処理により、動画再生中であると判定されると、ステップＳ４１０において、画像認識結果に基づき、後席乗員が眠っている状態であり、その状態が一定時間以上継続しているか否かを判定する。この判定処理において、後席乗員が一定時間以上眠っていると判定されると、ステップＳ４２０において、動作再生の停止もしくは音声出力の停止（消音）のいずれかを実行する。

一方、ステップＳ４３０において、動画再生中でないと判定されると、ステップＳ４３０において、画像認識結果に基づき、後席乗員が泣いている状態であるか否かを判定する。この判定処理において、後席乗員が泣いている状態であると判定されると、ステップＳ４４０において、動画再生の開始もしくは音声出力の再開（消音解除）のいずれかを実行する。

なお、後席乗員が泣いている状態と判定された場合、エンターテイメントアプリケーションを自動起動することに代えて、後席乗員（子供）をあやすための画像や動画の表示を前席乗員に提案し、前席乗員が同意する操作を行ったことに応じて、提案した画像や動画の表示を行うようにしても良い。また、子供をあやすためのエンターテイメントアプリケーションとして、ドライブレコーダカメラ２６によって撮影された車両前方の映像を携帯端末１０に表示し、その表示映像を用いてシューティングゲームを行うアプリケーションを利用しても良い。

また、後席乗員の状態を推定する画像認識処理の精度を向上するために、認識精度が保てない状態である場合には、画像認識処理を一時的に停止したり、認識精度が低下している旨を前席乗員に報知したりしても良い。すなわち、図１０のフローチャートに示すように、まず、ステップＳ５００において、画像認識処理の精度が低下する条件が成立しているか否かを判定する。この低下条件の一例について、図１１のフローチャートを参照して説明する。

図１１のフローチャートのステップＳ５２０では、カメラ１２の受光量に基づき、夜間など、周囲の光量が所定の下限閾値よりも少ない状態であるか否かを判定する。光量が下限閾値よりも少ない場合には、画像から後席乗員の状態を正しく推定することが困難になるので、ステップＳ５６０において、認識精度低下条件の成立とする。光量が下限閾値以上である場合には、ステップＳ５３０に進む。ステップＳ５３０では、ステップＳ５２０とは逆に、日差しが強く、周囲光量が所定の上限閾値よりも多い状態であるか否かを判定する。周囲光量が多すぎる場合も、画像から後席乗員の状態を正しく推定することが困難になるためである。従って、周囲光量が上限閾値よりも多い状態と判定された場合には、ステップＳ５６０に進み、認識精度低下条件の成立とする。一方、光量が上限閾値以下である場合には、ステップＳ５４０に進む。

ステップＳ５４０では、例えばナビゲーション装置から与えられる情報に基づき、車両が、トンネル内を走行しているか否かを判定する。トンネル内を走行していると判定された場合も、光量不足になる可能性が高いので、ステップＳ５６０に進み、認識精度低下条件の成立とする。一方、車両はトンネル内を走行していないと判定されると、ステップＳ５５０に進み、携帯端末１０もしくは車両に設けられた加速度センサや操舵角センサの検出信号に基づき、前後、左右、上下方向の少なくとも一方向における力や振動の大きさが所定の閾値以上であるか否かを判定する。この判定処理において、力や振動の大きさが所定の閾値以上であると判定された場合、後席乗員を写した画像がボケたりする可能性があるので、ステップＳ５６０に進み、認識精度低下条件の成立とする。

そして、図１０のステップＳ５００において、認識精度低下条件の成立と判定された場合には、ステップＳ５１０に進み、後席状態の状態を推定するための画像認識処理を停止したり、その認識結果に基づいて何らかの制御を行うことを中止したり、あるいは、認識処理の精度が低下している可能性がある旨、運転者に報知したりする。

また、上述した実施形態において、例えばステアリングスイッチの１つに後席乗員モニタアプリケーションのショートカットボタンを設定し、そのショートカットボタンを押すと、前席用ディスプレイ２３に後席乗員の映像を即座に表示するようにしても良い。この場合、操作が簡単であるため、車両が走行中であっても、極短時間のみ、後席乗員の映像を表示するようにしても良い。さらに、画像表示を中止すべき規制条件の成立、不成立に係わらず、ショートカットボタンにより、後席乗員の映像を表示した場合には、一定時間後に、その以前に表示していた画面に自動復帰するようにしても良い。

また、車両の前席用ディスプレイ２３の大きさや解像度は、車両によって様々である。そのため、携帯端末１０が、前席用ディスプレイ２３の大きさや解像度に関する情報を取得し、そのディスプレイ２３にとって適切な画像となるように、カメラ１２で撮影した画像を拡大、縮小することが好ましい。

携帯端末１０が、車室内に固定される際に、携帯端末１０のカメラ１２が後席乗員を適切に撮影可能な位置に固定されることを容易とするための表示モードを備えるようにしても良い。この表示モードにおいては、例えば、携帯端末１０のディスプレイ１１に、後席乗員を撮影した画像を表示しつつ、後席乗員の顔の位置が収まるべき領域を示すガイド線を重畳表示する。従って、ディスプレイ１１を見ながら、後席乗員の顔がガイド線の領域内に収まるように調整するだけで、携帯端末１０を適切な位置、角度にて固定することができる。

１０ 携帯端末
１１ ディスプレイ
１２ カメラ
１４ 通信装置
１５ 制御装置
１６ 記憶装置
２０ 車載器
２１ 通信装置
２２ ＥＣＵ
２３ ディスプレイ
２５ ドライバカメラ
２７ スピーカ

Claims (10)

1. 車両の前席の乗員によって視認される位置に設定されたディスプレイ（２３）と、音声を出力するスピーカ（２７）とを有する車載器（２０）と、
   カメラ（１２）を内蔵し、当該カメラが後席の乗員を撮影可能な位置に設置される携帯端末（１０）と、を備え、
   前記車載器と前記携帯端末とは、相互に通信を行う通信装置（１４、２１）をそれぞれ有しており、
   前記携帯端末は、前記カメラによって撮影された画像に対して認識処理を施すことにより、前記後席の乗員の状態を推定し、その推定した後席の乗員の状態を示す情報と、前記カメラによって撮影された画像とを前記車載器に送信し、
   前記車載器は、前記後席の乗員の状態を示す情報に基づき、前記スピーカを用いて、音声にて前記後席の乗員の状態を報知すること、及び前記画像を前記ディスプレイに表示することが可能なものであって、前記車両の運転者が当該車両の周囲に注意を向けるべき所定の表示規制条件が成立している間は、前記画像の表示を中止するとともに、前記音声により前記後席の乗員の状態を前記前席の乗員に報知することを特徴とする後席乗員モニタシステム。
2. 前記携帯端末は、前記後席の乗員の状態が変化したとき、前記後席の乗員の状態を示す情報と、前記カメラによって撮影された画像とを前記車載器に送信することを特徴とする請求項１に記載の後席乗員モニタシステム。
3. 前記携帯端末は、前記後席の乗員の状態を示す情報と、前記カメラによって撮影された画像とを、定期的に前記車載器に送信することを特徴とする請求項１又は２に記載の後席乗員モニタシステム。
4. 前記前席の乗員を撮影する前席用カメラ（２５）を備え、
   前記車載器は、前記前席用カメラによって撮影された画像を、前記携帯端末に送信し、
   前記携帯端末は、ディスプレイ（１１）を有し、当該ディスプレイに、前記前席の乗員を撮影した画像を表示することを特徴とする請求項１乃至３のいずれか１項に記載の後席乗員モニタシステム。
5. 前記携帯端末は、
   ディスプレイ（１１）と、
   コンテンツを記憶するコンテンツ記憶部（１６）と、
   前記コンテンツ記憶部に記憶されたコンテンツに基づき、前記ディスプレイへの表示を行うコンテンツ再生部（１５）と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の後席乗員モニタシステム。
6. 前記車載器は、前記携帯端末に対して、前記コンテンツ記憶部に記憶されたコンテンツを再生するよう指示し、
   前記コンテンツ再生部は、前記車載器から指示を受けると、該当するコンテンツを再生することを特徴とする請求項５に記載の後席乗員モニタシステム。
7. 前記携帯端末は、推定した後席の乗員の状態に基づき、前記コンテンツの再生、停止を制御することを特徴とする請求項５又は６に記載の後席乗員モニタシステム。
8. 前記携帯端末は、後席乗員モニタアプリケーションがインストールされ、当該後席乗員モニタアプリケーションが起動されたときに、前記後席の乗員の状態を示す情報と、前記カメラによって撮影された画像とを前記車載器に送信するものであって、前記後席乗員モニタアプリケーションが起動されている間は、携帯端末に対する操作では、前記後席乗員モニタアプリケーションを停止できないように操作制限がかけられることを特徴とする請求項１乃至７のいずれか１項に記載の後席乗員モニタシステム。
9. 前記携帯端末は、画像認識の精度が低下する条件が成立したか否かを判定し、当該条件が成立したと判定したときに、画像認識処理の停止、その認識結果に基づく制御の中止、及び、画像認識の精度が低下している可能性がある旨の運転者への報知の少なくとも１つを実行することを特徴とする請求項１乃至８のいずれか１項に記載の後席乗員モニタシステム。
10. 車両の前席の乗員によって視認される位置に設けられたディスプレイ（２３）に、前記車両の後席乗員を撮影可能な位置に設置された携帯端末（１０）で撮影された画像を映して、前記後席乗員をモニタする後席乗員モニタ方法であって、
    前記携帯端末によって前記後席乗員の画像を撮影し、
    前記携帯端末に搭載された演算装置（１５）が、撮影された前記後席乗員の画像に対して画像認識処理を行って前記後席乗員の状態を推定し、
    前記後席乗員の画像と、推定した前記後席乗員の状態とを、通信により前記ディスプレイの制御装置（２２）に送信し、
    前記制御装置は、前記車両の運転者が当該車両の周囲に注意を向けるべき所定の表示規制条件が成立している間は、前記ディスプレイにおける前記画像の表示を中止するとともに、前記後席乗員の状態を音声により前記前席の乗員に報知することを特徴とする後席乗員モニタ方法。

Images