JP2022099726A

JP2022099726A - 状態監視装置及び状態監視プログラム

Info

Publication number: JP2022099726A
Application number: JP2020213695A
Authority: JP
Inventors: 洋介酒井; Yosuke Sakai
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2022-07-05
Anticipated expiration: 2040-12-23
Also published as: DE112021006607T5; US20230334878A1; CN116686004A; JP7363758B2; WO2022137955A1

Abstract

【課題】車載カメラの画角内に複数の乗員が映り込むことで画像処理後の画像内で複数の顔が検知された場合でも、複数の乗員の中から特定の乗員を適切に検知する。【解決手段】状態監視装置１は、車内の乗員を撮影する車載カメラにより撮影された画像を画像処理する画像処理部５と、車両又は特定の乗員に特化した認識条件情報を取得する認識条件情報取得部６と、認識条件情報を用いて画像認識条件を設定し、画像処理部により画像処理された画像処理後の画像を画像認識条件にしたがって認識し、特定の乗員を検知する乗員検知部１０と、を備える。【選択図】図１

Description

本発明は、状態監視装置及び状態監視プログラムに関する。

従来より、車内を撮影する車載カメラが設けられ、車載カメラにより撮影されたドア開閉前の画像とドア開閉後の画像との差分に基づいて乗員を認識し、ドライバーを検知する構成が供されている（例えば特許文献１参照）。

特開２０１２－４４４０４号公報

しかしながら、車載カメラの設置位置や車両環境によっては車載カメラの画角内にドライバー以外の乗員が映り込むことがある。例えば乗用車ではドライバー以外に助手席や後部座席の乗員が映り込むことがあり、バスではドライバー以外に客席の乗客が映り込むことがある。その場合、車載カメラにより撮影された画像が画像処理されると、その画像処理後の画像内で複数の顔が検知されることになるので、複数の乗員の中からドライバーを検知することができない場合がある。このように車載カメラの画角内に複数の乗員が映り込むことで画像処理後の画像内で複数の顔が検知されると、複数の乗員の中から特定の乗員を適切に検知することができないという課題がある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、車載カメラの画角内に複数の乗員が映り込むことで画像処理後の画像内で複数の顔が検知された場合でも、複数の乗員の中から特定の乗員を適切に検知することができる状態監視装置及び状態監視プログラムを提供することにある。

請求項１に記載した発明によれば、画像処理部（５）は、車内の乗員を撮影する車載カメラにより撮影された画像を画像処理する。認識条件情報取得部（６）は、車両又は特定の乗員に特化した認識条件情報を取得する。乗員検知部（１０）は、認識条件情報を用いて画像認識条件を設定し、画像処理部により画像処理された画像処理後の画像を画像認識条件にしたがって認識し、特定の乗員を検知する。

認識条件情報を用いて画像認識条件を設定し、画像処理後の画像を画像認識条件にしたがって認識し、特定の乗員を検知するようにした。車両又は特定の乗員に特徴的な情報を認識条件情報として設定しておくことで、画像処理後の画像を、その車両又は特定の乗員に特徴的な情報にしたがって認識することができ、特定の乗員を適切に検知することができる。これにより、車載カメラの画角内に複数の乗員が映り込むことで画像処理後の画像内で複数の顔が検知された場合でも、複数の乗員の中から特定の乗員を適切に検知することができる。

一実施形態を示す機能ブロック図フローチャート（その１）特定の乗員がドライバーである場合の特徴的な情報を示す図（その１）特定の乗員がドライバーである場合の特徴的な情報を示す図（その２）特定の乗員がドライバーである場合の特徴的な情報を示す図（その３）フローチャート（その２）

以下、一実施形態について図面を参照して説明する。図１に示すように、状態監視装置１は、乗用車やバス等の車両において特定の乗員を検知し、その検知した特定の乗員の状態を監視する装置である。例えば特定の乗員としてドライバーの状態を監視し、ドライバーの開眼度や表情等を判定することで、運転操作が正常に行える状態であるか否かを判定したり必要に応じて注意喚起を発動したりする装置である。

状態監視装置１は、車載カメラ２から画像を入力する画像入力部３と、制御部４とを備える。車載カメラ２は、車内全体を撮影可能な部位に設置され、その撮影した画像を状態監視装置１に出力する。車載カメラ２が車内全体を撮影可能な部位に設置されていることで、車載カメラ２により撮影される画像には複数の乗員の顔が含まれる場合がある。尚、車載カメラ２は、必ずしも車内全体を撮影可能な部位に設置されてなくても良く、車内全体を撮影可能でなくても、車載カメラ２により撮影される画像には複数の乗員の顔が含まれる場合がある。

画像入力部３は、車載カメラ２から出力された画像を入力すると、その入力した画像を制御部４に出力する。制御部４は、マイクロコンピュータを主体とし、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えて構成され、ＲＯＭに記憶されているプログラムに基づいて各種処理動作を行う。制御部４は、各種処理を行う構成として、画像処理部５と、認識条件情報取得部６と、乗員検知部１０とを備える。尚、制御部４が提供する機能は、実体的なメモリ装置であるＲＯＭに記憶されているソフトウェア及びそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、又はそれらの組み合わせにより提供することができる。制御部４が実行するプログラムには状態監視プログラムが含まれる。

画像処理部５は、画像入力部３から出力された画像を入力すると、その入力した画像を画像処理し、画像処理後の画像を個人認証部９及び乗員検知部１０に出力する。

認識条件情報取得部６は、車両又は特定の乗員に特化した認識条件情報を取得する。認識条件情報取得部６は、車両運用情報取得部７と、車両センサ情報取得部８と、個人認証部９とを備える。

車両運用情報取得部７は、車両運用情報を取得し、その取得した車両運用情報を乗員検知部１０に出力する。車両運用情報は、車載カメラ２の設置位置を示す情報、例えばステアリングやシフトレバー等の運転操作に係る機器の設置位置を示す情報、着用物に関する情報及び動作を示す情報等である。車両運用情報を取得する態様は、どのような態様であっても良く、例えば車両運用情報が記憶されている記憶媒体から読出すことで取得しても良いし、ユーザが手動で操作入力することで取得しても良い。

車両センサ情報取得部８は、車両に搭載されている車両センサや電子制御装置等から車両センサ情報を取得し、その取得した車両運用情報を乗員検知部１０に出力する。車両センサ情報は、車速を示す情報、シフト位置を示す情報、着座位置を示す情報、スタートボタンの操作状態及びシートベルトの装着状態を示す情報等である。

個人認証部９は、画像処理部５から画像処理後の画像を入力すると、その入力した画像処理後の画像を用いて個人認証を行い、その個人認証を行った結果を示す個人認証結果を乗員検知部１０に出力する。

乗員検知部１０は、車両運用情報取得部７から出力された車両運用情報を入力し、車両センサ情報取得部８から出力された車両センサ情報を入力し、個人認証部９から出力された個人認証結果を入力すると、その入力した車両運用情報、車両センサ情報及び個人認証結果を用いて画像認識条件を設定する。この場合、乗員検知部１０は、車両運用情報、車両センサ情報及び個人認証結果の全てを用いて画像認識条件を設定しても良いし、何れか一つのみを用いて画像認識条件を設定しても良い。即ち、乗員検知部１０は、例えば車両運用情報のみを用いて画像認識条件を設定しても良いし、個人認証結果のみを用いて画像認識条件を設定しても良い。又、乗員検知部１０は、例えば車両運用情報と個人認証結果とを用いて画像認識条件を設定しても良い。

乗員検知部１０は、画像認識条件を設定した状態で画像処理部５から画像処理後の画像を入力すると、その入力した画像処理後の画像を、その設定した画像認識条件にしたがって認識し、特定の乗員を検知する。即ち、乗員検知部１０は、特定の乗員としてバスのドライバーを検知する場合であれば、バスやドライバーに特徴的な情報を用いて画像認識条件を設定することで、バスのドライバーを検知することが可能である。

次に、上記した構成の作用について図２から図６を参照して説明する。
制御部４は、状態監視処理の開始イベントの成立を待機しており、状態監視処理の開始イベントが成立すると、状態監視処理を開始する。尚、状態監視処理を行うタイミングは任意である。特定の乗員としてドライバーを検知する場合に、車両走行中にドライバーを常時監視する必要な態様であれば、状態監視処理の開始イベントが車両走行中において所定周期で成立する態様とすれば良い。

制御部４は、状態監視処理を開始すると、車載カメラ２から画像入力部３を介して入力した画像を画像処理する（Ｓ１）。Ｓ１は画像処理手順に相当する。制御部４は、車両運用情報を取得し（Ｓ２）、車両センサ情報を取得し（Ｓ３）、個人認証結果を取得する（Ｓ４）。Ｓ２～Ｓ４は認識条件情報取得手順に相当する。制御部４は、車両運用情報、車両センサ情報及び個人認証結果のうち少なくとも何れかを用いて画像認識条件を設定する（Ｓ５）。尚、制御部４は、車両運用情報、車両センサ情報及び個人認証結果のうち少なくとも何れかを取得し、その取得した何れかを用いて画像認識条件を設定すれば良い。又、制御部４は、画像を画像処理することと、車両運用情報を取得すること、車両センサ情報を取得すること、個人認証結果を取得すること、画像認識条件を設定することとを並行しても良い。

制御部４は、画像処理部５から画像処理後の画像を入力すると、その入力した画像処理後の画像を、車両運用情報、車両センサ情報及び個人認証結果を用いて設定した画像認識条件にしたがって認識し（Ｓ６）、特定の乗員を検知し（Ｓ７、乗員検知手順に相当する）、状態監視処理を終了する。

ここで、画像認識条件について説明する。一般的に、車内では座席の位置関係が確定されている。即ち、乗用車では、ドライバー席、助手席及び後部座席の位置関係が確定されており、ドライバー席と助手席とは車幅方向に並んでおり、後部座席はドライバー席と助手席の後方である。バスでは、ドライバー席及び客席の位置関係が確定されており、客席はドライバー席の後方である。又、車両ではステアリングやシフトレバー等の運転操作に係る機器の設置位置が確定されている。即ち、運転操作に係る機器の設置位置はドライバー席の周辺である。又、バスやトラック等の商用を目的とする車両ではドライバーの着用物が規定されている場合が多い。又、ドライバーが運転前や運転中に行う動作は共通している。例えばドライバーは運転前ではルームミラーやシート位置を調整したり目的地を設定するためにナビゲーション機器を操作したりすることが多く、運転中ではステアリングやシフトレバーを把持している。このような特徴的に着目した車両運用情報を用いて画像認識条件を設定する。

検知対象の乗員をドライバーとし、特定の乗員としてドライバーを検知する場合の対応技術について図３から図５を参照して説明する。尚、図３から図５に示す内容は、検知する対象であるドライバーの特徴の一例を示すものであり、例示した内容に限らない。制御部４は、大分類としてドライバーを検知するタイミングを分類する。ドライバーを検知するタイミングとしては、瞬時の情報に基づいて検知する場合と、累積した情報に基づいて検知する場合とがある。

制御部４は、瞬時の情報に基づいて検知する場合には、中分類として車両運用情報、車両センサ情報及び個人認証結果を用いて画像認識条件を設定する。この場合、制御部４は、車両運用情報として車載カメラ２や運転操作に係る機器の設置位置及び着用物に関する情報を設定する。例えば車載カメラ２の設置位置がＡピラーであれば、ドライバーは車載カメラ２から最も近くに存在する特徴があるので、制御部４は、車載カメラ２から最も近い人物をドライバーとして検知するように画像認識条件を設定する。又、例えばバスやトラック等の商用を目的とする車両ではドライバーは制帽や制服等の規定の着用物を装着している特徴があるので、制御部４は、規定の着用物を装着している人物をドライバーとして検知するように画像認識条件を設定する。他の特徴についても、その特徴に合致する人物をドライバーとして検知するように画像認識条件を設定する。

制御部４は、累積した情報に基づいて検知する場合には、中分類として車両運用情報及び車両センサ情報を用いて画像認識条件を設定する。この場合、制御部４は、車両運用情報として動作に関する情報を設定する。例えばドライバーはドライバー席のドアから乗車するので、制御部４は、右ハンドル車であれば、ドライバー席のドア開後に画像外の左側から進入した人物をドライバーとして検知するように画像認識条件を設定する。例えばドライバーはスタートボタンやシフトレバーやシートベルトの操作を行うので、制御部４は、スタートボタンやシフトレバーやシートベルトの操作が行われたときに、スタートボタンやシフトレバーやシートベルトの操作を行った人物をドライバーとして検知するように画像認識条件を設定する。他の特徴についても、その特徴に合致する人物をドライバーとして検知するように画像認識条件を設定する。

具体的に、画像処理後の画像を画像認識条件にしたがって認識し、ドライバーを検知する場合の処理について図６を参照して説明する。尚、ここでは、画像認識条件として、ステアリングの設置位置、車両状態及び個人認証状態を設定した場合について説明する。

制御部４は、画像処理後の画像内で複数又は単一の顔を認識したか否かを判定する（Ｓ１１，Ｓ１２）。制御部４は、画像処理後の画像内で複数の顔を認識したと判定すると（Ｓ１１：ＹＥＳ）、右ハンドル車であるか左ハンドル車であるかを判定する（Ｓ１３，Ｓ１４）。制御部４は、右ハンドル車であると判定すると（Ｓ１３：ＹＥＳ）、画像内の左側の顔を認識し（Ｓ１５）、左ハンドル車であると判定すると（Ｓ１４：ＹＥＳ）、画像内の右側の顔を認識する（Ｓ１６）。制御部４は、車両走行中であるか否かを判定し（Ｓ１７）、車両走行中であると判定すると（Ｓ１７：ＹＥＳ）、個人認証登録済みであるか否かを判定し（Ｓ１８）、登録された人物や過去に認証された人物であり、個人認証登録済みであると判定すると（Ｓ１８：ＹＥＳ）、ドライバーを検知する（Ｓ１９）。

以上は、画像認識条件として、ステアリングの設置位置、車両状態及び個人認証状態を設定した場合について説明したが、前述した図３から図５に示した通り、ドライバーの特徴は様々であるので、ドライバーを検知するために採用する特徴は任意である。採用する特徴の数が増大すると、信頼性を高めることができるが、処理時間を要することが懸念されるので、ドライバーを検知するために採用する特徴の項目や数を、要求される信頼性や処理時間に応じて決定すれば良い。

又、以上は、瞬時の情報に基づいて検知する場合に、車両運用情報、車両センサ情報及び個人認証結果を用いて画像認識条件を設定する場合を例示したが、車両運用情報、車両センサ情報及び個人認証結果のうち少なくとも何れかを用いて画像認識条件を設定しても良い。累積した情報に基づいて検知する場合には、車両運用情報及び車両センサ情報を用いて画像認識条件を設定する場合を例示したが、車両運用情報及び車両センサ情報のうち少なくとも何れかを用いて画像認識条件を設定しても良い。

又、以上は、特定の乗員としてドライバーを検知する場合を例示したが、特定の乗員として助手席、後部座席及び客席の乗員を検知する場合にも適用することができる。例えば特定の乗員として助手席の乗員を検知する場合であれば、右ハンドル車であれば、助手席の乗員は画像内の右側に存在する特徴があるので、制御部４は、画像内の右側の人物を助手席の乗員として検知するように画像認識条件を設定しても良い。例えば特定の乗員として助手席の乗員を検知する場合であれば、ドライバーと会話する場合に顔が横を向く傾向があるので、顔が横を向く傾向がある人物を助手席の乗員として検知するように画像認識条件を設定しても良い。即ち、検知対象の乗員の特徴にしたがって画像認識条件を設定することで、任意の乗員を検知することができる。

以上に説明したように、本実施形態によれば、以下に示す作用効果を得ることができる。状態監視装置１において、認識条件情報を用いて画像認識条件を設定し、画像処理後の画像を画像認識条件にしたがって認識し、特定の乗員を検知するようにした。車両又は特定の乗員に特徴的な情報を認識条件情報として設定しておくことで、画像処理後の画像を、その車両又は特定の乗員に特徴的な情報にしたがって認識することができ、特定の乗員を適切に検知することができる。これにより、車載カメラ２の画角内に複数の乗員が映り込むことで画像処理後の画像内で複数の顔が検知された場合でも、複数の乗員の中から特定の乗員を適切に検知することができる。

又、状態監視装置１において、車両運用情報を用いて画像認識条件を設定するようにした。車両運用情報に基づいて特定の乗員を検知することができ、車両運用情報として、車載カメラ２の設置位置を示す情報、ステアリングやシフトレバーの設置位置を示す情報、着用物に関する情報及び動作を示す情報を用いて画像認識条件を設定することで、車載カメラ２の設置位置を示す情報、ステアリングやシフトレバーの設置位置を示す情報、着用物に関する情報及び動作を示す情報を、特定の乗員に特徴的な情報として活用することができる。

又、状態監視装置１において、車両センサ情報を用いて画像認識条件を設定するようにした。車両センサ情報に基づいて特定の乗員を検知することができる。車両センサ情報として、車速を示す情報、シフト位置を示す情報、着座位置を示す情報、スタートボタンの操作状態を示す情報及びシートベルトの装着状態を示す情報を設定することで、車速を示す情報、シフト位置を示す情報、着座位置を示す情報、スタートボタンの操作状態を示す情報及びシートベルトの装着状態を示す情報を、特定の乗員に特徴的な情報として活用することができる。

又、状態監視装置１において、個人認証結果を用いて画像認識条件を設定するようにした。個人認証結果に基づいて特定の乗員を検知することができる。

又、状態監視装置１において、瞬時の情報に基づいて画像認識条件を設定することで、特定の乗員を速やかに検知することができる。一方、累積した情報に基づいて画像認識条件を設定することで、特定の乗員を検知するための情報量を多くすることができ、その検知精度を高めることができる。

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

図面中、１は状態監視装置、２は車載カメラ、５は画像処理部、６は認識条件情報取得部、７は車両運用情報取得部、８は車両センサ情報取得部、９は個人認証部、１０は乗員検知部である。

Claims

車内の乗員を撮影する車載カメラにより撮影された画像を画像処理する画像処理部（５）と、
車両又は特定の乗員に特化した認識条件情報を取得する認識条件情報取得部（６）と、
前記認識条件情報を用いて画像認識条件を設定し、前記画像処理部により画像処理された画像処理後の画像を前記画像認識条件にしたがって認識し、特定の乗員を検知する乗員検知部（１０）と、を備える状態監視装置。
前記認識条件情報取得部は、車両運用情報を取得する車両運用情報取得部（７）を含み、
前記乗員検知部は、前記車両運用情報を用いて画像認識条件を設定する請求項１に記載した状態監視装置。
前記乗員検知部は、前記車両運用情報として、前記車載カメラの設置位置を示す情報、運転操作に係る機器の設置位置を示す情報、着用物に関する情報及び動作を示す情報のうち少なくとも何れかを用いて画像認識条件を設定する請求項２に記載した状態監視装置。
前記認識条件情報取得部は、車両センサ情報を取得する車両センサ情報取得部（８）を含み、
前記乗員検知部は、前記車両センサ情報を用いて画像認識条件を設定する請求項１から３の何れか一項に記載した状態監視装置。
前記乗員検知部は、前記車両センサ情報として、車速を示す情報、シフト位置を示す情報、着座位置を示す情報、スタートボタンの操作状態及びシートベルトの装着状態を示す情報のうち少なくとも何れかを用いて画像認識条件を設定する請求項４に記載した状態監視装置。
前記認識条件情報取得部は、前記画像処理部により画像処理された画像処理後の画像を用いて個人認証を行う個人認証部（９）を含み、
前記乗員検知部は、前記個人認証部の個人認証結果を用いて前記画像認識条件を設定する請求項１から５の何れか一項に記載した状態監視装置。
前記乗員検知部は、瞬時の情報に基づいて前記画像認識条件を設定する請求項１から６の何れか一項に記載した状態監視装置。
前記乗員検知部は、累積した情報に基づいて前記画像認識条件を設定する請求項１から６の何れか一項に記載した状態監視装置。
状態監視装置の制御部（４）に、
車内の乗員を撮影する車載カメラにより撮影された画像を画像処理する画像処理手順と、
車両又は特定の乗員に特化した認識条件情報を取得する認識条件情報取得手順と、
前記認識条件情報を用いて画像認識条件を設定し、前記画像処理手順により画像処理した画像処理後の画像を前記画像認識条件にしたがって認識し、特定の乗員を検知する乗員検知手順と、を実行させる状態監視プログラム。