JP2019217830A - 乗員認識装置 - Google Patents

Abstract

【課題】乗員の有無の判定精度を向上させることのできる乗員認識装置を提供すること。【解決手段】実施形態にかかる乗員認識装置は、第１取得部と、第１判定部と、第２取得部と、第２判定部とを備える。第１取得部は、撮像装置によって撮像された車室内の画像を取得する。第１判定部は、第１取得部によって取得された画像に基づき、乗員が隠れている可能性がある物体が存在するか否かを判定する。第２取得部は、車室内における座席上の物体を検出するセンサの検出値を取得する。第２判定部は、第１判定部によって乗員が隠れている可能性がある物体が存在すると判定された場合に、第２取得部によって取得された検出値の経時変化に基づき、乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する。【選択図】図３

Description

本発明の実施形態は、乗員認識装置に関する。

従来、車室内を撮像し、得られた画像に基づいて乗員の有無を判定してエアバッグやシートベルトといった車載機器の制御等に利用する技術が知られている。

特開２０１２−１２７８１１号公報

上述した従来技術には、一例として、乗員の有無の判定精度を向上させるという点で更なる改善の余地がある。

たとえば、上述した従来技術では、乗員が毛布を頭から被っていたり、後ろ向きに設置されたチャイルドシートに子供が乗せられていたりする場合、実際には乗員がいるにも関わらず、車室内を撮像した画像に乗員が写り込まないおそれがある。このような場合、上述した従来技術では、その乗員の有無を精度よく判定することが困難である。

本発明の実施形態にかかる乗員認識装置は、一例として、撮像装置によって撮像された車室内の画像を取得する第１取得部と、前記第１取得部によって取得された前記画像に基づき、乗員が隠れている可能性がある物体が存在するか否かを判定する第１判定部と、前記車室内における座席上の物体を検出するセンサの検出値を取得する第２取得部と、前記第１判定部によって前記乗員が隠れている可能性がある物体が存在すると判定された場合に、前記第２取得部によって取得された前記検出値の経時変化に基づき、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する第２判定部とを備える。よって、一例としては、たとえば乗員が毛布を頭から被っている場合や、後ろ向きに設置されたチャイルドシートに子供が座っている場合のように、乗員が存在するか否かを画像で判別することが困難な場合であっても、その乗員の有無を判定することができる。

上記乗員認識装置では、一例として、前記座席に乗員が着座している場合における前記センサの検出値の経時変化をモデリングした人特徴モデルを記憶する記憶部を備え、前記第２判定部は、前記第２取得部によって取得された前記検出値の経時変化を前記人特徴モデルと比較することにより、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する。よって、一例としては、物体に隠れている乗員の存在を精度良く判定することができる。

上記乗員認識装置では、一例として、前記人特徴モデルは、心拍に起因する前記検出値の揺らぎおよび呼吸に起因する前記検出値の揺らぎの少なくとも一方を含む。よって、一例としては、生物と無生物とを切り分けることができることから、物体に隠れている乗員の存在を精度良く判定することができる。

上記乗員認識装置では、一例として、前記第２判定部は、前記検出値の大きさを閾値と比較する第１比較処理および前記第２取得部によって取得された前記検出値の経時変化を前記人特徴モデルと比較する第２比較処理の結果に基づき、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する。よって、一例としては、乗員の有無の判定精度をさらに向上させることができる。

上記乗員認識装置では、一例として、前記センサは、荷重センサである。よって、一例としては、検出値の経時変化を精度良く捉えることができる。

図１は、実施形態に係る乗員認識装置が搭載される車両の車室内を上方から見た平面図である。 図２は、実施形態に係る制御システムの構成を示すブロック図である。 図３は、ＥＣＵの機能的構成を示すブロック図である。 図４は、撮像装置によって撮像される画像の一例を示す図である。 図５は、ＥＣＵが実行する乗員認識処理の手順を示すフローチャートである。 図６は、変形例に係る判定結果の一例を示す図である。 図７は、変形例においてＥＣＵが実行する第３判定処理の手順を示すフローチャートである。

以下に、本願に係る乗員認識装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る乗員認識装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．車両１の構成〕
図１は、実施形態に係る乗員認識装置が搭載される車両１の車室内を上方から見た平面図である。

図１に示すように、車両１の車室内には、複数の座席２が設けられている。たとえば、車室内の前方側には運転席２ａおよび助手席２ｂが設けられ、後方側には複数の後部座席２ｃ〜２ｅが設けられる。複数の後部座席２ｃ〜２ｅのうち、後部座席２ｃは、運転席２ａの後方に設けられ、後部座席２ｄは、助手席２ｂの後方に設けられ、後部座席２ｅは、後部座席２ｃと後部座席２ｄとの間に設けられる。

各座席２には、座席２上の物体を検出するセンサとして荷重センサ３が設けられている。具体的には、運転席２ａには荷重センサ３ａが設けられ、助手席２ｂには荷重センサ３ｂが設けられ、後部座席２ｃ〜２ｅにはそれぞれ荷重センサ３ｃ〜３ｅが設けられる。

荷重センサ３は、たとえば、座席２における座部、あるいは、座席２を支持する左右一対のレールと座部との間に設けられ、座部に加わる荷重を検出する。荷重センサ３の検出値は、後述するＥＣＵ（Electronic Control Unit）１０（図２参照）に出力される。

なお、１つの座席２に対して複数の荷重センサ３が設けられてもよい。たとえば、各座席２における座部の四隅に荷重センサ３が１つずつ設けられてもよい。このように、１つの座席２に対して複数の荷重センサ３を設けることで、各荷重センサ３の検出値から座席２に着座した乗員の姿勢変化をより精度良く捉えることができる。なお、１つの座席２に対して１つの荷重センサ３が設けられる場合であっても、座席２に着座した乗員の姿勢変化を捉えることは可能である。

荷重センサ３としては、受ける力を検出して出力するものであればよく、任意の種類のセンサが採用可能である。たとえば、荷重センサ３としては、圧電式やひずみゲージ式を始めとする各種のロードセルを用いることができる。

車室内の前方側には、撮像装置４が設けられる。撮像装置４は、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵し、撮像素子によって撮像された画像を後述するＥＣＵ１０（図２参照）に出力する。

撮像装置４は、車室内を撮像する。本実施形態において、撮像装置４は、車室内の全ての座席２を撮像可能なように、すなわち、車室内の全ての座席２に着座した乗員全員を撮像可能なように、向き、画角および設置位置等が決められる。たとえば、撮像装置４は、ダッシュボード、ルームミラー、天井等に設置され得る。なお、車室内には、複数の撮像装置４が設置されてもよい。この場合、複数の撮像装置４によって車室内の全ての座席２に着座した乗員全員が撮像されればよい。

撮像装置４としては、任意の種類のカメラが採用可能である。たとえば、単眼カメラ、ステレオカメラ、可視光カメラ、赤外線カメラ、またはＴＯＦ距離画像カメラ等が撮像装置４として採用可能である。これらのうち、赤外線カメラは、車外が明るい状況でも白飛びしにくく、また、車室内が暗い状況でも乗員をある程度捉えることができるという点で有効である。

〔２．制御システム１００の構成〕
車両１には、乗員認識装置を含む制御システム１００が設けられる。かかる制御システム１００の構成について図２を参照して説明する。図２は、実施形態に係る制御システム１００の構成を示すブロック図である。

図２に示すように、制御システム１００は、複数の荷重センサ３と、撮像装置４と、複数のエアバッグ装置７と、警報装置８と、ＥＣＵ１０と、車内ネットワーク２０とを備える。ＥＣＵ１０は、乗員認識装置の一例である。乗員認識装置は、ＥＣＵ１０の他、複数の荷重センサ３および撮像装置４を含んで構成されてもよい。

複数のエアバッグ装置７は、複数の座席２の各々に対応して設けられる。エアバッグ装置７は、車両１の衝突時などにエアバッグを展開することによって、座席２に着座した乗員を衝撃から保護する。警報装置８は、たとえば警告灯やスピーカなどを含んで構成され、光や音によって乗員に警報を発する。なお、警報装置８は、通信部を備え、乗員が所持するスマートフォン等の携帯端末に対して所定の警報情報を送信してもよい。

荷重センサ３、エアバッグ装置７および警報装置８は、車内ネットワーク２０を介してＥＣＵ１０に電気的に接続されている。車内ネットワーク２０は、たとえばＣＡＮ（Controller Area Network）として構成される。また、撮像装置４は、たとえばＮＴＳＣ（National Television System Committee）ケーブル等の出力線を介してＥＣＵ１０に接続される。

ＥＣＵ１０は、車内ネットワーク２０を介して荷重センサ３の検出値を取得することができる。また、ＥＣＵ１０は、出力線を介して撮像装置４から車室内の画像を取得することができる。

ＥＣＵ１０は、乗員認識装置としての機能の他にも車両１の種々の制御機能を実現することができる。たとえば、ＥＣＵ１０は、車内ネットワーク２０を介して制御信号を送ることにより、エアバッグ装置７および警報装置８を制御することができる。その他、ＥＣＵ１０は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。

ＥＣＵ１０は、たとえば、ＣＰＵ（Central Processing Unit）１１と、ＳＳＤ（Solid State Drive）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４とを備える。ＣＰＵ１１は、ＲＯＭ１３等の不揮発性の記憶装置にインストールされ記憶されたプログラムを実行することによって、乗員認識装置としての機能を実現する。ＲＡＭ１４は、ＣＰＵ１１での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２は、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ１０の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１１、ＲＯＭ１３、およびＲＡＭ１４等は、同一パッケージ内に集積され得る。ＥＣＵ１０は、ＣＰＵ１１に替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。ＳＳＤ１２に替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１２またはＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。

〔３．ＥＣＵ１０の機能的構成〕
次に、ＥＣＵ１０の機能的構成について図３を参照して説明する。図３は、ＥＣＵ１０の機能的構成を示すブロック図である。

図３に示すように、ＥＣＵ１０は、第１取得部３１と、第１判定部３２と、第２取得部３３と、記憶部３４と、第２判定部３５と、車載機器制御部３６とを備える。第１取得部３１、第１判定部３２、第２取得部３３、第２判定部３５および車載機器制御部３６は、ＣＰＵ１１が、ＲＯＭ１３に格納されたプログラムを実行することによって実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。記憶部３４は、たとえばＳＳＤ１２により構成される。

第１取得部３１は、撮像装置４によって撮像された車室内の画像を出力線を介して取得する。また、第１取得部３１は、取得した画像を第１判定部３２へ渡す。

第１判定部３２は、撮像装置４によって撮像された画像に基づき、乗員が車室内に存在するか否か、および、乗員が隠れている可能性がある物体が車室内に存在するか否かを判定する第１判定処理を行う。

第１判定部３２は、第１判定処理を座席２ごとに行う。図４は、撮像装置４によって撮像される画像の一例を示す図である。

図４に示すように、撮像装置４により撮像された画像には、複数の探索領域Ｒａ〜Ｒｅが設定される。複数の探索領域Ｒａ〜Ｒｅは、各座席２ａ〜２ｅにそれぞれ対応しており、たとえば、対応する座席２ａ〜２ｅに着座した乗員の頭部および両肩部を含む上半身を含む位置および大きさに設定される。探索領域Ｒａ〜Ｒｅの位置および大きさは、予め設定されていてもよいし、第１判定部３２が画像認識によって設定してもよい。

第１判定部３２は、探索領域Ｒａ〜Ｒｅごとに第１判定処理を行う。第１判定処理は、記憶部３４に記憶された多数の画像モデル３４１を用いて行われる。画像モデル３４１は、探索対象の形状をモデリングした画像であり、探索対象ごとに複数の画像モデル３４１が予め用意される。

第１判定部３２は、第１判定処理において、探索対象である乗員の形状をモデリングした画像モデル３４１を用いた画像認識により探索領域Ｒａ〜Ｒｅ内の乗員を探索する第１探索処理を行う。乗員の形状には、たとえば、撮像装置４に正対した状態で設置されたチャイルドシートに座った子供の形状も含まれ得る。すなわち、第１判定部３２は、座席２に着座している乗員だけでなく、チャイルドシートに座った子供も検出可能である。

また、第１判定部３２は、第１判定処理において、「乗員が隠れている可能性がある物体」を探索する第２探索処理を行う。「乗員が隠れている可能性がある物体」は、たとえば、「人間と同等のサイズの何かに被せられた布」、「撮像装置４に背を向けた状態で設置されたチャイルドシート」、「着ぐるみの衣装」などである。

「人間と同等のサイズの何かに被せられた布」が画像に写り込んでいる場合、その布の中に乗員が隠れている可能性がある。たとえば、乗員が毛布を頭から被って寝ているような場合、実際には乗員がいるにも関わらず、画像に乗員は写り込まない。また、「撮像装置４に背を向けた状態で設置されたチャイルドシート」が画像に写り込んでいる場合、そのチャイルドシートに子供が座っていても、チャイルドシートが死角となって子供が画像に写り込まない可能性がある。また、「着ぐるみの衣装」が画像に写り込んでいる場合、着ぐるみを着た乗員は画像に写り込まない。また、画像からでは、着ぐるみの衣装の中に乗員が存在するのか、着ぐるみの衣装だけが座席２に置かれているのかの判別が困難である。さらに、着ぐるみの衣装なのか、人間と同等のサイズのぬいぐるみなのかを画像から判別することも困難である。

第１判定部３２は、第２探索処理において、乗員が隠れている可能性がある物体をモデリングした画像モデル３４１を用いた画像認識により、乗員が隠れている可能性がある物体を探索領域Ｒａ〜Ｒｅごとに探索する。たとえば、第１判定部３２は、「人間と同等のサイズの何かに被せられた布」をモデリングした画像モデル３４１を用いて、「人間と同等のサイズの何かに被せられた布」を探索する。同様に、第１判定部３２は、「撮像装置４に背を向けた状態で設置されたチャイルドシート」をモデリングした画像モデル３４１を用いて、「撮像装置４に背を向けた状態で設置されたチャイルドシート」を探索する。また、第１判定部３２は、「着ぐるみの衣装」をモデリングした画像モデル３４１を用いて、「着ぐるみの衣装」を探索する。

第１探索処理の結果、探索領域Ｒａ〜Ｒｅから乗員が検出された場合、第１判定部３２は、乗員が検出された探索領域Ｒａ〜Ｒｅに対応する座席２に乗員が存在すると判定する。また、第１探索処理の結果、探索領域Ｒａ〜Ｒｅから乗員が検出されず、且つ、第２探索処理の結果、乗員が隠れている可能性がある物体も検出されなかった場合、第１判定部３２は、これらが検出されなかった探索領域Ｒａ〜Ｒｅに対応する座席２に乗員が存在しないと判定する。乗員が存在すること、および、乗員が存在しないことの判定結果は、車載機器制御部３６に出力される。

一方、第２探索処理の結果、探索領域Ｒａ〜Ｒｅから、乗員が隠れている可能性がある物体が検出された場合、第１判定部３２は、乗員が隠れている可能性がある物体が検出された探索領域Ｒａ〜Ｒｅに対応する座席２に、乗員が隠れている可能性がある物体が存在すると判定する。乗員が隠れている可能性がある物体が存在することの判定結果は、第２判定部３５に出力される。

第２取得部３３は、荷重センサ３の検出値を車内ネットワーク２０を介して取得する。第２取得部３３は、荷重センサ３から検出値を取得するごとに、取得した検出値を検出値履歴３４２として記憶部３４に記憶させる。検出値履歴３４２は、荷重センサ３の検出値の経時変化を示す情報であり、荷重センサ３ごとに、言い換えれば、座席２ごとに記憶される。

第２判定部３５は、「乗員が隠れている可能性がある物体」に乗員が隠れているか否かを判定する第２判定処理を行う。まず、第２判定部３５は、荷重センサ３の検出値の大きさを閾値と比較する第１比較処理を行う。

第１比較処理は、乗員が隠れている可能性がある物体が存在すると判定された座席２ごとに行われる。たとえば、第２判定部３５は、探索領域Ｒｂについて、乗員が隠れている可能性がある物体が存在すると判定された場合、探索領域Ｒｂに対応する助手席２ｂに設けられた荷重センサ３ｂの検出値の大きさを閾値と比較する。

第１比較処理において、第２判定部３５は、記憶部３４に記憶された検出値履歴３４２の中から最新の検出値を取得する。なお、第２判定部３５は、記憶部３４に記憶された検出値履歴３４２から検出値の平均値を算出し、算出した検出値の平均値を第１比較処理に用いてもよい。

つづいて、第２判定部３５は、検出値が第１閾値よりも大きいか否かを判定する。この判定において、検出値が第１閾値よりも大きい場合、第２判定部３５は、「乗員が隠れている可能性がある物体」に乗員が隠れている、すなわち、座席２に乗員が存在すると判定し、判定結果を車載機器制御部３６に出力する。第１閾値は、たとえば、成人男性の平均体重よりも大きい値（たとえば、７０〜８０Ｋｇ程度）である。

また、第２判定部３５は、検出値が第２閾値よりも小さい場合には、「乗員が隠れている可能性がある物体」に乗員が隠れていない、すなわち、座席２に乗員が存在しないと判定し、判定結果を車載機器制御部３６に出力する。第２閾値は、たとえば、０歳児の平均体重よりも小さい値（たとえば、２〜３Ｋｇ程度）である。

一方、検出値の大きさが第２閾値以上第１閾値以下である場合、第２判定部３５は、荷重センサ３の検出値の経時変化を記憶部３４に記憶された人特徴モデル３４３と比較する第２比較処理を行う。

人特徴モデル３４３は、座席２に着座した乗員から荷重センサ３が受ける荷重の経時的な変化をモデリングした情報である。荷重センサ３の検出値には、たとえば、乗員の呼吸、心拍による揺らぎが生じ得る。また、荷重センサ３の検出値には、乗員の姿勢変化による揺らぎも生じ得る。呼吸、心拍による荷重の揺らぎは周期的であり、姿勢変化による荷重の揺らぎは非周期的である。人特徴モデル３４３は、これらの荷重変動をモデリングした情報である。人特徴モデル３４３は、たとえば、サポートベクターマシンやディープラーニング等の任意のアルゴリズムを用いた機械学習によって生成される。

第２判定部３５は、記憶部３４から検出値履歴３４２と人特徴モデル３４３とを取得し、検出値履歴３４２と人特徴モデル３４３との一致度を算出する。そして、第２判定部３５は、検出値履歴３４２と人特徴モデル３４３との一致度が閾値を超えた場合、「乗員が隠れている可能性がある物体」に乗員が隠れている、すなわち、座席２に乗員が存在すると判定し、判定結果を車載機器制御部３６に出力する。一方、第２判定部３５は、検出値履歴３４２と人特徴モデル３４３との一致度が閾値以下である場合、「乗員が隠れている可能性がある物体」に乗員が隠れていない、すなわち、座席２に乗員が存在しないと判定し、判定結果を車載機器制御部３６に出力する。

なお、ここでは、「乗員が隠れている可能性がある物体」に乗員が隠れているか否かを、人特徴モデル３４３を用いて判定することとしたが、第２判定部３５は、必ずしも人特徴モデル３４３を用いることを要しない。たとえば、第２判定部３５は、一定周期の変動が検出値履歴３４２に含まれるか否かを判定し、一定周期の変動が含まれる場合に、乗員であると判定してもよい。

車載機器制御部３６は、車両１に搭載される各種機器の制御を行う。一例として、車載機器制御部３６は、第１判定部３２および第２判定部３５の判定結果に基づき、複数のエアバッグ装置７の展開を個別に制御する。

たとえば、車載機器制御部３６は、複数のエアバッグ装置７のうち、第１判定部３２または第２判定部３５によって乗員が存在することが判定された座席２に対応するエアバッグ装置７について、衝撃を受けた際にエアバッグを展開させるエアバッグ展開機能をオンにする。一方、車載機器制御部３６は、第１判定部３２または第２判定部３５によって乗員が存在しないことが判定された座席２に対応するエアバッグ装置７については、エアバッグ展開機能をオフにする。

さらに、車載機器制御部３６は、エアバッグ展開機能がオン状態である座席２について、第１判定部３２または第２判定部３５の判定結果に基づき、エアバッグ装置７の展開モードの切り替えを行ってもよい。たとえば、第１判定部３２によって「撮像装置４に背を向けた状態で設置されたチャイルドシート」が検出され、且つ、第２判定部３５によって当該チャイルドシートに乗員が隠れていると判定された場合、すなわち、子供が座っている場合、車載機器制御部３６は、エアバッグ装置７の展開モードを、通常よりも弱く展開するエアバッグ弱展開モードに切り替えてもよい。撮像装置４に正対した状態で設置されたチャイルドシートに座った子供が第１判定部３２によって検出された場合も同様である。このように、乗員の体格に応じた強度でエアバッグを展開させることで、エアバッグの安全性を高めることができる。

また、車載機器制御部３６は、警報装置８を制御して子供の置き去りを警報する警報制御処理を行ってもよい。たとえば、車載機器制御部３６は、第１判定部３２または第２判定部３５によってチャイルドシートに子供が座っていることが判定されている状態で、車両１のエンジンが停止し、他の乗員の存在が判定されなくなり、且つ、車両１のドアが施錠された場合に、警報制御処理を行ってもよい。警報制御処理により、警報装置８は、たとえば、警告灯やスピーカを用いて光や音によって乗員に警報を発する。また、警報装置８は、乗員が所持するスマートフォン等の携帯端末に対して所定の警報情報を送信してもよい。

〔４．ＥＣＵ１０の具体的動作〕
次に、ＥＣＵ１０の具体的動作について図５を参照して説明する。図５は、ＥＣＵ１０が実行する乗員認識処理の手順を示すフローチャートである。なお、図５に示す処理は、座席２ａ〜２ｅごとに実行される。

図５に示すように、第１判定部３２は、撮像装置４によって撮像された画像に乗員が写っているか否かを判定する（ステップＳ１０１）。この処理において、乗員が写っていない場合（ステップＳ１０１，Ｎｏ）、第１判定部３２は、乗員が隠れている可能性がある物体が画像に写っているか否かを判定する（ステップＳ１０２）。

ステップＳ１０２において、乗員が隠れている可能性がある物体が画像に写っていると判定された場合（ステップＳ１０２，Ｙｅｓ）、第２判定部３５は、荷重センサ３の検出値が第１閾値を超えているか否かを判定する（ステップＳ１０３）。

ステップＳ１０３において、荷重センサ３の検出値が第１閾値を超えていない場合（ステップＳ１０３，Ｎｏ）、第２判定部３５は、荷重センサ３の検出値が第２閾値未満であるか否かを判定する（ステップＳ１０４）。

ステップＳ１０４において、荷重センサ３の検出値が第２閾値未満でない場合（ステップＳ１０４，Ｎｏ）、第２判定部３５は、人特徴モデル３４３と、荷重センサ３の検出値の経時変化との一致度が閾値を超えているか否かを判定する（ステップＳ１０５）。

ステップＳ１０１において、画像に乗員が写っていると判定された場合（ステップＳ１０１，Ｙｅｓ）、ステップＳ１０３において、荷重センサ３の検出値が第１閾値を超えていると判定された場合（ステップＳ１０３，Ｙｅｓ）およびステップＳ１０５において、人特徴モデル３４３と、荷重センサ３の検出値の経時変化との一致度が閾値を超えていると判定された場合（ステップＳ１０５，Ｙｅｓ）、ＥＣＵ１０は、座席２に乗員が存在すると判定する（ステップＳ１０６）。一方、ステップＳ１０２において、乗員が隠れている可能性がある物体が画像に写っていない場合（ステップＳ１０２，Ｎｏ）、ステップＳ１０４において、荷重センサ３の検出値が第２閾値未満である場合（ステップＳ１０４，Ｙｅｓ）およびステップＳ１０５において、人特徴モデル３４３と、荷重センサ３の検出値の経時変化との一致度が閾値を超えていない場合（ステップＳ１０５，Ｎｏ）、ＥＣＵ１０は、座席２に乗員が存在しないと判定する（ステップＳ１０７）。

ステップＳ１０６またはステップＳ１０７の判定を行うと、ＥＣＵ１０は、処理をステップＳ１０１に戻し、ステップＳ１０１〜Ｓ１０７の処理を繰り返す。

〔５．変形例〕
次に、第２判定部３５により実行される第２判定処理および第３判定処理の変形例について図６および図７を参照して説明する。図６は、変形例に係る第２判定部３５の判定結果の一例を示す図である。また、図７は、変形例においてＥＣＵ１０が実行する第３判定処理の手順を示すフローチャートである。

上述した実施形態では、先ず、荷重センサ３の検出値の大きさを閾値と比較する第１比較処理を行い、その結果、検出値が第２閾値以上第１閾値以下である場合に、検出値の経時変化を人特徴モデル３４３と比較する第２比較処理を行うこととした。これに限らず、第２判定部３５は、第１比較処理および第２比較処理を行い、これらの判定結果の組合せに応じて、座席２に乗員が存在するか否かを判定してもよい。

たとえば、図６に示すように、検出値の大きさをＸ、検出値の経時変化と人特徴モデル３４３との一致度をＹとしたとき、第２判定部３５は、「第１閾値＜Ｘ」且つ「第３閾値＜Ｙ」である場合、「第１閾値＜Ｘ」且つ「第４閾値≦Ｙ≦第３閾値」である場合、および、「第２閾値≦Ｘ≦第１閾値」且つ「第３閾値＜Ｙ」である場合に、座席２に乗員が存在すると判定してもよい。また、第２判定部３５は、「Ｘ＜第２閾値」且つ「Ｙ＜第４閾値」である場合、「Ｘ＜第２閾値」且つ「第４閾値≦Ｙ≦第３閾値」である場合、および、「第２閾値≦Ｘ≦第１閾値」且つ「Ｙ＜第４閾値」である場合に、座席２に乗員が存在しないと判定してもよい。なお、第４閾値は、第３閾値よりも小さい。一例として、第４閾値は３０％であり、第３閾値は７０％である。

一方、第２判定部３５は、「第１閾値＜Ｘ」且つ「Ｙ＜第４閾値」である場合、「第２閾値≦Ｘ≦第１閾値」且つ「第４閾値≦Ｙ≦第３閾値」である場合、「Ｘ＜第２閾値」且つ「第３閾値＜Ｙ」である場合、第１比較処理および第２比較処理では判定不能であると判定してもよい。

第２判定部３５は、判定不能であると判定した場合、判定不能であると判定された座席２に乗員が存在するか否かを、乗員との対話によって判定する第３判定処理を行ってもよい。

図７に示すように、第３判定処理において、第２判定部３５は、車室内に設けられた図示しないスピーカから、判定不能であると判定された座席２の名称を含む質問音声、たとえば「助手席に乗員は乗っていますか？」等の音声を出力する（ステップＳ２０１）。第２判定部３５は、質問音声を出力した後の一定期間において、乗員の音声を認識する。

つづいて、第２判定部３５は、音声認識の結果に基づき、乗員がいる旨の回答があったか否かを判定する（ステップＳ２０２）。この処理において、乗員がいる旨の回答があったと判定した場合（ステップＳ２０２，Ｙｅｓ）、第２判定部３５は、判定不能であると判定された座席２に乗員が存在すると判定する（ステップＳ２０３）。

一方、ステップＳ２０２において、乗員がいる旨の回答がなかった場合（ステップＳ２０２，Ｎｏ）、第２判定部３５は、判定不能であると判定された座席２に乗員が存在しないと判定する（ステップＳ２０４）。

このように、第２判定部３５は、第１比較処理および第２比較処理では判定不能である場合に、判定不能であると判定された座席２に乗員が存在するか否かを、乗員との対話によって判定してもよい。

なお、第２判定部３５は、第１比較処理および第２比較処理では判定不能である場合、安全性の観点から、乗員が存在すると判定してもよい。

〔６．その他の変形例〕
第２判定部３５は、荷重センサ３の検出値の経時変化に基づく第３判定処理を行い、その結果、たとえば、「第４閾値≦Ｙ≦第３閾値」であった場合に、荷重センサ３の検出値の大きさに基づく第２判定処理を行ってもよい。

また、ＥＣＵ１０は、必ずしも第１比較処理を行うことを要さず、第１判定部３２による第１判定処理および第２判定部３５による第２比較処理のみを行ってもよい。また、ＥＣＵ１０は、第１判定処理を行うことなく第１比較処理および第２比較処理を行ってもよいし、第１判定処理および第１比較処理を行うことなく第２比較処理を行ってもよい。ＥＣＵ１０は、第１判定処理、第１比較処理および第２比較処理のうち、乗員認識処理に用いる処理を乗員の操作等に応じて切り替えるモード切替部を備えていてもよい。

上述してきた実施形態および変形例では、座席２上の物体を検出するセンサとして、荷重センサ３を例に挙げて説明したが、座席２上の物体を検出するセンサは、荷重センサ３に限定されない。たとえば、座席２上の物体を検出するセンサは、静電容量式の着座センサであってもよい。着座センサは、静電容量の変化から生体を検知する非接触式のセンサであり、荷重センサ３と同様、座席２に設けられる。着座センサは、着座センサの電極と生体との間に生じる静電容量の変化を電気信号に変換して出力する。

座席２上の物体を検出するセンサとして上記着座センサを用いる場合、第２判定部３５は、第２判定処理において、着座センサの検出値を第１閾値および第２閾値と比較する。また、第２判定部３５は、第３判定処理において、着座センサの検出値の経時変化を人特徴モデル３４３と比較する。この場合の人特徴モデル３４３は、座席２に着座した乗員と着座センサの電極との間に生じる静電容量の変化の経時的な変化をモデリングした情報である。

その他、座席２上の物体を検出するセンサとしては、たとえば、遠赤外線センサやドップラセンサ等を用いることもできる。遠赤外線センサは、生体が発する遠赤外線を検知するセンサであり、ドップラセンサは、電波を物体に照射し、反射してきた電波の周波数と照射した電波の周波数とを比較することにより物体の動きを検知するセンサである。

車室内に設けられる座席２の個数、配置、形状等は、上述した例に限定されない。たとえば、上述した実施形態では、車両１がいわゆる２列シート車である場合を例に挙げて説明したが、車両１は３列シート車であってもよい。

また、上述した実施形態では、車両１がベンチシートタイプの後部座席２ｃ〜２ｅを有する場合を例に挙げて説明したが、後部座席２ｃ〜２ｅは、運転席２ａや助手席２ｂと同じように、それぞれ独立した座面を有するタイプの座席であってもよい。

また、車両１は、たとえば、エンジン等の内燃機関を駆動源とする自動車であってもよいし、モータ等の電動機を駆動源とする電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよい。車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置を搭載することができる。車両１における車輪の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

また、上述した実施形態では、車室内に設けられた全ての座席２ａ〜２ｅに対して荷重センサ３ａ〜３ｅが設けられることとしたが、荷重センサ３は、必ずしも全ての座席２に設けられることを要しない。たとえば、荷重センサ３は、後部座席２ｃ〜２ｅにのみ設けられてもよいし、運転席２ａにのみ設けられてもよい。

上述してきたように、実施形態にかかる乗員認識装置（一例として、ＥＣＵ１０）は、第１取得部３１と、第１判定部３２と、第２取得部３３と、第２判定部３５とを備える。第１取得部３１は、撮像装置４によって撮像された車室内の画像を取得する。第１判定部３２は、第１取得部３１によって取得された画像に基づき、乗員が隠れている可能性がある物体が存在するか否かを判定する。第２取得部３３は、車室内における座席上の物体を検出するセンサの検出値を取得する。第２判定部３５は、第１判定部３２によって乗員が隠れている可能性がある物体が存在すると判定された場合に、第２取得部３３によって取得された検出値の経時変化に基づき、乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する。

このため、実施形態にかかる乗員認識装置によれば、たとえば、乗員が毛布を頭から被っている場合や、後ろ向きに設置されたチャイルドシートに子供が座っている場合のように、乗員が存在するか否かを画像で判別することが困難な場合であっても、その乗員の有無を判定することができる。

実施形態に係る乗員認識装置は、座席に乗員が着座している場合におけるセンサ（一例として、荷重センサ３）の検出値の経時変化をモデリングした人特徴モデル３４３を記憶する記憶部３４を備えていてもよい。この場合、第２判定部３５は、第２取得部３３によって取得された検出値の経時変化を人特徴モデル３４３と比較することにより、乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定してもよい。これにより、物体に隠れている乗員の存在を精度良く判定することができる。

人特徴モデル３４３は、心拍に起因する検出値の揺らぎおよび呼吸に起因する検出値の揺らぎの少なくとも一方を含んでいてもよい。このように、生物特有の揺らぎを含む人特徴モデル３４３を用いることで、生物と無生物とを切り分けることができることから、物体に隠れている乗員の存在を精度良く判定することができる。

第２判定部３５は、検出値の大きさを閾値と比較する第１比較処理および第２取得部３３によって取得された検出値の経時変化を人特徴モデル３４３と比較する第２比較処理の結果に基づき、乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定してもよい。これにより、乗員の有無の判定精度をさらに向上させることができる。

車室内における座席上の物体を検出するセンサは、荷重センサであってもよい。荷重センサを用いることで、検出値の経時変化を精度良く捉えることができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…座席、３…荷重センサ、４…撮像装置、７…エアバッグ装置、８…警報装置、１０…ＥＣＵ、２０…車内ネットワーク、３１…第１取得部、３２…第１判定部、３３…第２取得部、３４…記憶部、３５…第２判定部、３６…車載機器制御部、１００…制御システム。

Claims (5)

1. 撮像装置によって撮像された車室内の画像を取得する第１取得部と、
   前記第１取得部によって取得された前記画像に基づき、乗員が隠れている可能性がある物体が存在するか否かを判定する第１判定部と、
   前記車室内における座席上の物体を検出するセンサの検出値を取得する第２取得部と、
   前記第１判定部によって前記乗員が隠れている可能性がある物体が存在すると判定された場合に、前記第２取得部によって取得された前記検出値の経時変化に基づき、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する第２判定部と
   を備える、乗員認識装置。
2. 前記座席に乗員が着座している場合における前記センサの検出値の経時変化をモデリングした人特徴モデルを記憶する記憶部
   を備え、
   前記第２判定部は、
   前記第２取得部によって取得された前記検出値の経時変化を前記人特徴モデルと比較することにより、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する、請求項１に記載の乗員認識装置。
3. 前記人特徴モデルは、
   心拍に起因する前記検出値の揺らぎおよび呼吸に起因する前記検出値の揺らぎの少なくとも一方を含む、請求項２に記載の乗員認識装置。
4. 前記第２判定部は、
   前記検出値の大きさを閾値と比較する第１比較処理および前記第２取得部によって取得された前記検出値の経時変化を前記人特徴モデルと比較する第２比較処理の結果に基づき、前記乗員が隠れている可能性がある物体に乗員が隠れているか否かを判定する、請求項２または３に記載の乗員認識装置。
5. 前記センサは、荷重センサである、請求項１〜４のいずれか一つに記載の乗員認識装置。

Images