JP2022143854A

JP2022143854A - 乗員状態判定装置および乗員状態判定方法

Info

Publication number: JP2022143854A
Application number: JP2021044596A
Authority: JP
Inventors: 圭祐青柳; Keisuke Aoyanagi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2022-10-03

Abstract

【課題】コストの増加なく運転席および後部座席の乗員の状態を判定することができる・【解決手段】車両の前方に設けられ、運転席の乗員を撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、後部座席の乗員およびルームミラーを介して運転席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、第１の画像および第２の画像の少なくとも一方に基づいて運転席の乗員の状態を判定する運転席乗員状態判定部と、第２の画像に基づいて後部座席の乗員の状態を判定する後席乗員状態判定部と、を備える。【選択図】図２

Description

本開示は車両の乗員の状態を判定する技術に関するものである。

車両運転中の運転席の乗員の状態を撮像装置で検出する場合、撮像装置の故障や外光の影響によって正確な顔の検出ができない可能性がある。したがって複数台の撮像装置で運転席の乗員を撮像する装置の開発が進められている。
特許文献１では、運転席の前方に設けられた複数のカメラによって運転席の乗員を撮像することが開示されている。
そのほか後部座席の乗員の有無等、後部座席の乗員の状態を検出、判定する装置の開発が進められている。

ＷＯ２０１９／０９７６７７号公報

上記特許文献１においては、運転席の乗員専用の撮像装置が少なくとも２台必要になり、後部座席の乗員を撮像する場合には後部座席を撮像するための別の撮像装置を設ける必要がありコストが増加してしまう。

本開示は上記した課題を解決するためになされたものであり、コストの増加なく運転席および後部座席の乗員の状態を判定することを目的とする。

本開示に係る乗員状態判定装置は、車両の前方に設けられ、運転席の乗員を撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、後部座席の乗員およびルームミラーを介して運転席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、第１の画像および第２の画像の少なくとも一方に基づいて運転席の乗員の状態を判定する運転席乗員状態判定部と、第２の画像に基づいて後部座席の乗員の状態を判定する後席乗員状態判定部と、を備える。

本開示の乗員状態判定装置は、コストの増加なく運転席および後部座席の乗員の状態を判定することができる。

本開示の実施の形態１に係る車室内配置を示す車室内横断面図である。本開示の実施の形態１に係る乗員状態判定装置の構成を示すブロック図である。本開示の実施形態１における乗員状態判定処理の動作を示すフローチャートである。図４Ａおよび図４Ｂは、本開示の実施の形態１に係る、乗員状態判定装置のハードウェア構成例を示す図である。

以下、本開示を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。

実施の形態1
本開示の実施の形態１に係る車室内配置を示す車室内横断面図を図１に示す。
車室内１００には前席シート１０１、後席シート１０２、前席シート１０１の前方の天井から吊り下げられたルームミラー１０３．前席シート１０１の前方に設けられた第１の撮像装置１０４、後席シート１０２の上方の天井に設けられた第２の撮像装置１０５が配置される。第１の撮像装置１０４の画角には少なくとも運転席の乗員（以下、運転者とも表現）が含まれるように設定されている。また、第２の撮像装置の画角には少なくとも後席シート１０２およびルームミラー１０３が含まれるように設定されている。第１の撮像装置１０４および第２の撮像１０５はカメラであり、赤外線に感度を持つ赤外線カメラや可視光に感度をもつ可視光カメラが考えられる。また、第２の撮像装置１０５は車両の進行方向を撮像していることから、車の進行方向を撮像するドライブレコーダーの役割を兼ねていてもよい。
なお、第１の撮像装置１０４を広角の画像が撮像可能な広角カメラとし、運転席の乗員と助手席の乗員の両方を同時に撮像するような構成としてもよい。
また、実施の形態１では第２の撮像装置１０５を後席シート１０２上方の天井に吊り下げる構成としたが、これは一例であり、第２の撮像装置１０５は後部座席の乗員とルームミラーが撮像範囲に入る位置であればよい。図１には車室内１００の配置の理解を容易とするためにハンドル１０６を併せて図示している。

本開示の実施の形態１に係る乗員状態判定装置１の構成を示すブロック図を図２に示す。
図２に示すとおり、乗員状態判定装置１は第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０、後部座席乗員状態判定部４０によって構成される。また、乗員状態判定装置１は第１の撮像装置１０４および第２の撮像装置１０５および制御装置５０に接続されている。乗員状態判定装置１は、車両に常設されるものに限られず、例えば、携帯電話やスマートフォン、ポーダブルナビゲーション装置など、車両に持ち込み可能な携帯型のデバイスに構築されていてもよい。また、乗員状態判定装置１の一部または全部が、車両との通信が可能なサーバー上に構築されていてもよい。

第１の画像取得部１０は第１の撮像装置１０４が所定周期で撮像した画像（第１画像）を取得し、運転席乗員状態判定部３０に出力する。
第２の画像取得部２０は第２の撮像装置１０５が所定周期で撮像した画像（第２画像）を取得し、運転席乗員状態判定部３０および後部座席乗員状態判定部４０に出力する。
なお、本実施の形態１では、第１の画像取得部１０と第２の画像取得部２０に分けて記載しているが、１つの画像取得部が第１画像および第２画像を取得するようにしてもよい。また、運転席乗員状態判定部３０および後部座席乗員判定部４０の行う処理を一つの判定部で行うようにしてもよい。

運転席乗員状態判定部３０は、第１画像および第２画像から顔情報を検出し、顔情報に基づいて運転者の状態を判定する。顔情報とは、例えば、顔の位置や顔の向き、目の開眼度など顔を構成する特徴点（目、鼻、口等）の情報である。また、運転者の状態とは、例えば、居眠り状態、脇見状態またはデッドマン（運転不能状態）である。
なお、第１の撮像装置１０４を広角カメラとし、運転席の乗員と助手席の乗員を同時に撮像する場合は、運転席乗員状態判定部３０は、運転席の乗員だけでなく助手席の乗員の状態も判定する。

運転席乗員状態判定部３０について詳細に説明する。
運転席乗員状態判定部３０は、信頼度算出部３１、ミラー領域検出部３２、顔情報検出部３３および状態判定部３４によって構成される。
信頼度算出部３１は第１の画像取得部１０および第２の画像取得部２０から出力された第１画像および第２画像から信頼度を算出する。信頼度とは、運転者の状態の判定に適した画像であるかを示す値であり、例えば、画像における黒飛びまたは白飛びしている画素数の割合によって算出され、黒飛びまたは白飛びしている画素数が少ないほど信頼度は高く算出される。つまり、強い日差しが車内に差し込んで画像の大半が白飛びしてしまうような状況や車内が暗く画像の大半が黒飛びしているような状況では信頼度が低く算出される。

信頼度算出部３１は第１画像および第１画像から算出した信頼度を併せて顔情報検出部３３に出力し、第２画像および第２画像から算出した信頼度を併せてミラー領域検出部３２に出力する。第２画像はルームミラーを介して運転席の乗員を撮像した画像であるためミラー領域検出部３２での前処理を経て顔情報検出部３３に出力される

ミラー領域検出部３２は、第２画像が入力されると第２画像からルームミラーを検出し、第２画像におけるルームミラーの領域を切り出す。そして切り出したルームミラーの領域の画像を顔情報検出部３３に出力する。上述した前処理を行うことで、例えば後部座席の乗員がカメラの方向を振り向いたときに、後部座席の乗員の顔を運転席の乗員の顔と誤認することを抑制することができる。

顔情報検出部３３は、第１の画像およびミラー領域検出部３２から出力されたルームミラーの画像から顔情報を検出し、検出した顔情報を状態判定部３４に出力する。
状態判定部３４は、顔情報検出部３３から出力された顔情報および信頼度算出部３１が算出した信頼度に基づいて運転者の状態を判定し、判定結果を制御装置５０に出力する。状態判定部３４の具体的な処理について図３のフローチャートに基づいて説明する。

状態判定部３４は顔情報検出部３３から出力された顔情報および信頼度算出部３１が算出した信頼度を取得し（ステップＳＴ１）、第１画像の信頼度が予め定められた閾値以上か否かを判定する（ステップＳＴ２）。そして、第１画像の信頼度が予め定められた閾値以上の場合（ステップＳＴ２：YES）、第１画像から検出された顔情報に基づいて運転者の状態を判定し（ステップＳＴ３）、処理を終了する。一方、第１画像の信頼度が予め定められた閾値よりも低い場合（ステップＳＴ２：NO）、第２画像の信頼度が予め定められた閾値以上であるかを判定し（ステップＳ４）、第２画像の信頼度が予め定められた閾値以上の場合（ステップＳＴ４：YES）、第２画像から検出された顔情報に基づいて運転者の状態を判定し（ステップＳＴ５）、処理を終了する。一方、第２画像の信頼度が予め定められた閾値よりも低い場合（ステップＳＴ５：NO）、運転者の状態を判定せずに処理を終了する。

なお、第１画像の信頼度の閾値と第２画像の信頼度の閾値は同じに設定されていてもよいし、異なってもよい。また、第１画像および第２画像の信頼度が閾値よりも低い状況が一定時間継続した場合は、乗員に警告を行うようにしてもよい。このようにすることで、車両の乗員が撮像装置の故障に気づくことが可能となる。

次に後部座席乗員状態判定部４０について説明する。
第２の撮像装置１０５は後部座席の乗員とルームミラーを同時に撮像することから第２画像は後部座席の乗員の頭部を上方または後方から撮像することになる。従って、後部座席乗員状態判定部４０は第２の画像取得部２０から出力された第２画像から、後席の乗員の頭部を検出し、後部座席の乗員が存在するか否かを判定する。この後部座席に乗員が存在するか否かの情報はシートベルトリマインダー等の機能に用いられる。なお、後席乗員の頭部の高さ位置を検出し、後部座席の乗員の体格を判定してもよい。後部座席の乗員の体格を判定することで後部座席の乗員が幼児か否かを判定することが可能となり、例えば幼児の置き去りを検知することも可能となる。

次に制御装置５０について説明する。
制御装置５０は、運転席乗員状態判定部３０および後部座席乗員状態判定部４０から出力された乗員の状態に応じて、制御する機器を選択し、制御を行う。例えば、運転席乗員状態判定部３０から出力された状態が居眠り状態である場合は、制御装置５０は警報装置（不図示）を制御し、運転者に覚醒を促すように警報を行わせる。また、後部座席乗員状態判定部４０から、後部座席の乗員が存在すると出力されたにも関わらず後部座席のシートベルトが着用されていない場合に、後席の乗員に対してシートベルトの着用を促す警告を行ってもよい。
［変形例］
実施の形態１の乗員状態判定装置１では、基本的に運転者を前方から撮像している第１の撮像装置１０４の画像である第１画像のほうが運転者の状態を精度よく判定できるため第１画像の信頼度が予め定められた閾値よりも低い場合に、第２画像の信頼度が予め定められた閾値以上であるかを判定し、予め定められた閾値以上であれば第２画像に基づいて運転者の状態を判定するようにしていたが、第１画像と第２画像のうち、信頼度の高いほうの画像に基づいて運転席の乗員の状態を判定するようにしてもよい。

乗員状態判定装置１のハードウェア構成例を説明する。
図４Ａおよび図４Ｂは、乗員状態判定装置１のハードウェア構成例を示す図である。
乗員状態判定装置１における第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０の各機能は、処理回路によって実現される。即ち、乗員状態判定装置１は上記各機能を実現するための処理回路を備える。当該処理回路は、図４Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図４Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。

図４Ａに示すように、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはこれらを組み合わせたものが該当する。第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０の各部の機能それぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図４Ｂに示すように、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０の各機能を実現する。即ち、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０は、プロセッサ２００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ２００ｂとは、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などのことである。メモリ２００ｃは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよい。

なお、第１の画像取得部１０、第２の画像取得部２０、運転席乗員状態判定部３０および後部座席乗員状態判定部４０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、乗員状態判定装置１における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって、上述の各機能を実現することができる。

以上のように、車両の前方に設けられ、運転席の乗員を撮像する第１の撮像装置１０４が撮像した第１の画像を取得する第１画像取得部１０と、後部座席の乗員およびルームミラー１０３を介して運転席の乗員を撮像する第２の撮像装置１０５が撮像した第２の画像を取得する第２画像取得部２０と、第１の画像または第２の画像の少なくとも一方に基づいて運転席の乗員の状態を判定する運転席乗員状態判定部３０と、第２の画像に基づいて後部座席の乗員の状態を判定する後部座席乗員状態判定部４０と、を備える構成としたため、第１の撮像装置１０４が故障等で運転者の状態を精度よく判定できない場合においても第２の撮像装置１０５の画像から運転者の状態を判定することが可能となる。

また、第２の撮像装置１０５は後席シート１０２の上方に設けられており、ルームミラーを介して運転者を撮像するため、第２の撮像装置１０５の１台で運転者および後席の乗員の両方の状態を判定することが可能となり、コストを増加させることなく、運転者および後席の乗員の状態を判定することができる。

また、前席シート１０２の前方は、メーターやカーナビ等多くの電子機器が配置されており、スペース的に複数の撮像装置を配置することは困難である。したがって、本実施の形態１のように後席シート上方に設置した撮像装置でルームミラーを介して運転者を撮像することで撮像装置の配置が容易となる。

１乗員状態判定装置、１０第１の画像取得部、２０第１の画像取得部、３０運転席乗員状態判定部、３１信頼度算出部、３２ミラー領域検出部、３３顔情報検出部、３４状態判定部、４０後部座席乗員状態判定部、５０制御装置、１００車室内、１０１前席シート、１０２後席シート、１０３ルームミラー、１０４第１の撮像装置、１０５第２の撮像装置、１０６ハンドル、２００ａ処理回路、２００ｂプロセッサ、２００ｃメモリ

Claims

車両の前方に設けられ、運転席の乗員を撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、
後部座席の乗員およびルームミラーを介して前記運転席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、
前記第１の画像または前記第２の画像の少なくとも一方に基づいて前記運転席の乗員の状態を判定する運転席乗員状態判定部と、
前記第２の画像に基づいて前記後部座席の乗員の状態を判定する後部座席乗員状態判定部と
を備える乗員状態判定装置。
前記運転席乗員状態判定部は、前記第１の画像の信頼度を算出し、前記信頼度が予め定められた閾値以下の場合に前記第２の画像に基づいて前記運転席の乗員の状態を判定する請求項１記載の乗員状態判定装置。
前記運転席乗員状態判定部は、前記第１の画像および第２の画像の信頼度を算出し、前記信頼度が高いほうの画像に基づいて前記運転席の乗員の状態を判定する請求項１記載の乗員状態判定装置。
車両の前方に設けられ、運転席の乗員を撮像する第１の撮像装置が撮像した第１の画像を取得し、
後部座席の乗員およびルームミラーを介して前記運転席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得し、
前記第１の画像または前記第２の画像またはその両方に基づいて前記運転席の乗員の状態を判定し、
前記第２の画像に基づいて前記後部座席の乗員の状態を判定する、
乗員状態判定方法。