JP2019074963A - 所定部位検出装置及び所定部位検出システム - Google Patents

Abstract

【課題】カメラで得られた撮影画像から所定部位を低処理量で高精度に検出する画像処理技術を提供する。【解決手段】所定部位検出装置は、第１の取得部と、第２の取得部と、設定部と、検出部と、を備える。前記第１の取得部は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する。前記第２の取得部は、前記自車両の座席のシートポジションを示すシートポジション情報を取得する。前記設定部は、前記撮影画像上に前記シートポジション情報に基づく検出領域を設定する。前記検出部は、前記検出領域内で乗員の所定部位を検出する。【選択図】図１

Description

本発明は、カメラで得られた撮影画像から所定部位を検出する画像処理技術に関する。

近年、ドライバの健康状態が急変し、運転の継続が困難な状況に陥ってしまう事故が複数発生している。このような事故を防止するために、ドライバが運転不能となった状態を自動検知する装置の開発が進められている。

例えば特許文献１で提案されているドライバの運転不能状態検出装置は、ドライバカメラにより撮像された運転席の画像に基づいて、ドライバの頭部を検出し、ドライバの胴体に対する頭部の傾きが相対傾き閾値より大きい場合に、ドライバが運転不能状態であることを検出する。

特開２０１６−９２５５号公報（要約、段落００２４）

特許文献１で提案されているドライバの運転不能状態検出装置では、ドライバの頭部を検出する検出領域が限定されていないため、ドライバカメラにより撮像された運転席の画像の全範囲がドライバの頭部を検出する検出領域になる。

ドライバの頭部を検出する検出領域が最も広く設定されているため、運転席のシートポジションがどのように変わった場合でもドライバの頭部が検出可能である反面、ドライバの頭部を検出する検出領域に不要な領域が不可避的に含まれる。上記不要な領域の存在により、ドライバの頭部を検出する処理の処理量が多くなるという問題が生じる。また、上記不要な領域において、ドライバの頭部が誤検出されるおそれもある。

本発明は、上記課題に鑑みて、カメラで得られた撮影画像から所定部位を低処理量で高精度に検出する画像処理技術を提供することを目的とする。

本発明の所定部位検出装置は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する第１の取得部と、前記自車両の座席のシートポジションを示すシートポジション情報を取得する第２の取得部と、前記撮影画像上に前記シートポジション情報に基づく検出領域を設定する設定部と、前記検出領域内で乗員の所定部位を検出する検出部と、を備える構成（第１の構成）である。

上記第１の構成の所定部位検出装置において、前記所定部位は頭部である構成（第２の構成）であってもよい。

上記第１又は第２の構成の所定部位検出装置において、前記設定部は、前記座席が前方であるほど前記検出領域を大きくする構成（第３の構成）であってもよい。

上記第１〜第３いずれかの構成の所定部位検出装置において、前記設定部は、前記座席の背もたれ部が倒れているほど前記検出領域を小さくする構成（第４の構成）であってもよい。

上記第１〜第４いずれかの構成の所定部位検出装置において、前記設定部は、前記座席の座部が上昇しているほど前記検出領域を前記車室内の天井側に配置する構成（第５の構成）であってもよい。

上記第１〜第５いずれかの構成の所定部位検出装置において、前記乗員の体格を推定する推定部をさらに備え、前記設定部は、前記推定部によって推定される前記乗員の体格と前記シートポジション情報とに基づいて前記検出領域を設定する構成（第６の構成）であってもよい。

上記第６の構成の所定部位検出装置において、前記設定部は、前記推定部によって推定される前記乗員の体格が大きいほど前記検出領域を大きくする構成（第７の構成）であってもよい。

本発明の所定部位検出システムは、自車両の車室内を撮影するカメラと、上記第１〜第７いずれかの構成の所定部位検出装置と、を備える構成（第８の構成）である。

本発明によると、カメラで得られた撮影画像から所定部位を低処理量で高精度に検出することができる。

第１実施形態に係る所定部位検出装置の構成を示すブロック図 車室内撮影カメラで撮影される画像の一例を示す図 第１実施形態に係る所定部位検出装置の動作例を示すフローチャート 第１実施形態に係る所定部位検出装置の他の動作例を示すフローチャート 車室内撮影カメラで撮影される画像の一例を示す図 車室内撮影カメラで撮影される画像の一例を示す図 背景差分処理の結果を示す画像の一例を示す図 頭部検出処理の結果を示す画像の一例を示す図 第２実施形態に係る所定部位検出装置の構成を示すブロック図 第２実施形態に係る所定部位検出装置の動作例を示すフローチャート 第２実施形態に係る所定部位検出装置の他の動作例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．第１実施形態＞
図１は、本実施形態に係る所定部位検出装置の構成を示すブロック図である。所定部位検出装置１０は、車室内撮影カメラ１で得られた撮影画像からドライバの所定部位を検出する。また、所定部位検出装置１０は、パワーシートＥＣＵ（Electronic Control Unit）２から運転席のシートポジションを示すシートポジション情報を取得する。車室内撮影カメラ１、パワーシートＥＣＵ２、及び所定部位検出装置１０は、車両に搭載される。本実施形態に係る所定部位検出システムは車室内撮影カメラ１及び所定部位検出装置１０によって構成される。以下、所定部位検出装置１０又は後述する他の実施形態に係る所定部位検出装置が搭載される車両を「自車両」という。

車室内撮影カメラ１は、車両の車室内を一方向から撮影する単眼カメラである。車室内撮影カメラ１は、例えば運転席や助手席に座っている乗員のみならず後部座席に座っている乗員も俯瞰して撮影できるように車両の天井の前方中央部に設置するとよい。車室内撮影カメラ１を自車両の天井の前方中央部に設置した場合に車室内撮影カメラ１で撮影される画像は、例えば図２に示すようになる。

なお、夜間でも所定部位検出装置１０がドライバの所定部位を検出することができるように、車室内撮影カメラ１として近赤外対応カメラを採用し、車室内撮影カメラ１の撮影領域に近赤外光を照射する近赤外照明装置を車両の室内に設置することが好ましい。

パワーシートＥＣＵ２は、自車両の運転席のシートポジションを制御し、シートポジション情報を不揮発的に記憶する。すなわち、自車両の運転席は、前後方向の位置、背もたれの傾き具合、座部の上下方向の位置等を電動で調整できるパワーシートである。

所定部位検出装置１０は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて所定部位検出装置１０を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。

所定部位検出装置１０は、第１の取得部１１と、第２の取得部１２と、設定部１３と、検出部１４と、を備える。

第１の取得部１１は、車室内撮影カメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、第１の取得部１１によって取得される撮影画像の集合体が車室内撮影カメラ１で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、第１の取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。第１の取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を検出部１４に出力する。第１の取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

第２の取得部１２は、パワーシートＥＣＵ２からシートポジション情報を取得する。第２の取得部１２は、取得したシートポジション情報を設定部１３に出力する。

設定部１３は、第１の取得部１１によって取得された撮影画像上にシートポジション情報に基づく検出領域を設定する。

検出部１４は、設定部１３によって設定された検出領域内でドライバの所定部位を検出する。ドライバの所定部位は車室内撮影カメラ１によって撮影可能な部位であれば特に限定されないが、本実施形態ではドライバの頭部としている。ドライバの頭部は、頭部自体が目や鼻などの多数の特徴点を有しており、高精度に検出し易いため、検出対象として好適である。

図３Ａは、所定部位検出装置１０の動作例を示すフローチャートである。所定部位検出装置１０は、電源が供給されている状態で図３Ａに示すフローチャートの動作を開始する。

まず、所定部位検出装置１０はエンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを判定する（ステップＳ１０）。したがって、所定部位検出装置１０は、車両のドアが施錠状態か解錠状態かを通知する信号及びエンジンがオンであるかオフであるかを通知する信号を所定部位検出装置１０の外部から受け取る。なお、自車両が電気自動車である場合は、駆動輪を回転させるモータに電力を供給するモータ駆動装置に電源が供給されていない状態がエンジンオフに相当する。

エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、第１の取得部１１が図４に示す背景画像を取得する（ステップＳ２０）。第１の取得部１１は背景画像を取得した後、所定の周期でフレーム画像を取得し続ける。

次に、第２の取得部１２がパワーシートＥＣＵ２からシートポジション情報を取得する（ステップＳ３０）。

次に、設定部１３が第１の取得部１１によって取得された撮影画像上にシートポジション情報に基づく検出領域を設定する（ステップＳ４０）。これにより、運転席のシートポジションがどのように変わった場合でもドライバの頭部が検出可能であるように検出領域に余裕を持たせる必要がなくなる。すなわち、検出領域を狭くすることができるので、ドライバの頭部を低処理量で高精度に検出することができる。

図５は、図４に示す背景画像上に検出領域の外枠Ｆ１を設定した画像である。なお、本実施形態では検出領域の外枠Ｆ１は矩形状であるが、他の形状であっても構わない。

例えば、設定部１３は、シートポジション情報に基づき、運転席が前方であるほど検出領域の外枠Ｆ１を大きくすればよい。これにより、運転席が前後方向に調整された場合でも検出領域の外枠Ｆ１を適切な大きさにすることができる。運転席が前方であるほど、車室内撮影カメラ１とドライバの頭部との距離が短くなり、ドライバの頭部が大きく写るからである。なお、検出領域の外枠Ｆ１の大きさは、運転席の前後方向位置に応じて連続的に変化させてもよく、運転席の前後方向位置を複数の範囲に分割して各範囲に応じて離散的に変化させてもよい。

また例えば、設定部１３は、シートポジション情報に基づき、運転席の背もたれ部が倒れているほど検出領域の外枠Ｆ１を小さくすればよい。これにより、運転席の背もたれ部の傾きが調整された場合でも検出領域の外枠Ｆ１を適切な大きさにすることができる。運転席の背もたれ部が倒れているほど、車室内撮影カメラ１とドライバの頭部との距離が長くなり、ドライバの頭部が小さく写るからである。なお、検出領域の外枠Ｆ１の大きさは、運転席の背もたれ部の傾きに応じて連続的に変化させてもよく、運転席の背もたれ部の傾きを複数の範囲に分割して各範囲に応じて離散的に変化させてもよい。

また例えば、設定部１３は、シートポジション情報に基づき、運転席の座部が上昇しているほど検出領域の外枠Ｆ１を車室内の天井側に配置すればよい。これにより、運転席の座部の上下方向位置が調整された場合でも検出領域の外枠Ｆ１を適切な位置に配置することができる。運転席の座部が上昇しているほど、ドライバの頭部は車室内の天井側に位置することになるからである。なお、検出領域の外枠Ｆ１の位置は、運転席の座部の上下方向位置に応じて連続的に変化させてもよく、運転席の座部の上下方向位置を複数の範囲に分割して各範囲に応じて離散的に変化させてもよい。

ステップＳ４０に続くステップＳ５０において、検出部１４が処理対象画像となるフレーム画像を決定する。そして、検出部１４が処理対象画像の検出領域内において背景差分処理を実行してドライバの抽出を試みる（ステップＳ６０）。具体的には、検出部１４は、フレーム画像である背景画像と、フレーム画像であって背景画像より後に第１の取得部１１によって取得される処理対象画像とを比較し、閾値に基づいて処理対象画像の検出領域内を前景領域と背景領域とに区別し、前景領域を用いてドライバの抽出を試みる。これにより、背景差分処理の負担が軽くなる。また、検出領域からハンドル、シートベルトリトラクター、シフトノブ等の車両可動部品を外すことで、これらの車両可動部品が動くことで前景領域であると誤って区別されることを防止できる。

なお、検出部１４が、例えば前景領域と背景領域との境界線を強調した画像を背景差分処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図６は、抽出されたドライバと背景領域との境界線Ｂ１を強調した画像を背景差分処理の結果として生成した画像の一例である。

また、本実施形態とは異なり、検出部１４が処理対象画像の全領域に対して背景差分処理を実行してもよい。これにより、漏れなく処理対象画像に背景差分処理を実行できる。

ステップＳ６０に続くステップＳ７０において、検出部１４はドライバを抽出できたか否かを判定する。ドライバを抽出できていなければ、ステップＳ５０に戻る。

一方、ドライバを抽出できていれば、検出部１４が処理対象画像の検出領域（外枠Ｆ１で囲まれた領域）に対して頭部検出処理を実行する（ステップＳ８０）。頭部検出処理の具体的な手法は特に限定されないが、例えば頭部のＨＯＧ（Histograms of Oriented Gradients)特徴量を用いたAdaBoostアルゴリズムによる機械学習を実行する手法を挙げることができる。

なお、検出部１４が、例えば頭部の検出箇所を強調した画像を頭部検出処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図７は、頭部の検出箇所を示す枠Ｆ２を含む画像を頭部検出処理の結果として生成した画像の一例である。

ステップＳ８０に続くステップＳ９０において、所定部位検出装置１０はエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かを判定する。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ５０に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、所定部位検出装置１０は図３Ａに示すフローチャートの動作を終了する。なお、所定部位検出装置１０が図３Ａに示すフローチャートの動作を終了した後に所定部位検出装置１０に電源が供給されると、所定部位検出装置１０は再び図３Ａに示すフローチャートの動作を開始する。

本実施形態によると、上述した通り、設定部１３が第１の取得部１１によって取得された撮影画像上にシートポジション情報に基づく検出領域を設定するので、ドライバの頭部を検出する検出領域を狭くすることができる。これにより、ドライバの頭部を低処理量で高精度に検出することができる。

所定部位検出装置１０は、図３Ａに示すフローチャートの動作を行う代わりに図３Ｂに示すフローチャートの動作を行ってもよい。図３Ｂに示すフローチャートは、ステップＳ７０の判定においてドライバを抽出できていなければ、ステップＳ２０に戻る点、及びステップＳ９０の判定においてエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ２０に戻る点が図３Ａに示すフローチャートと異なっており、それ以外は図３Ａに示すフローチャートと同一である。図３Ｂに示すフローチャートでは、フローチャート内のループによって背景画像が更新されるので、シートポジションやシートベルトリトラクターの位置が変更された場合にその変更が反映された背景画像を第１の取得部１１が取得できる。

＜２．第２実施形態＞
本実施形態に係る所定部位検出装置は、上述した第１実施形態に係る所定部位検出装置に対して、推定部１５を追加した構成である。したがって、本実施形態に係る所定部位検出装置は図８に示す構成となる。

推定部１５は、ドライバの体格を推定する。本実施形態では、推定部１５は、運転席の座部にかかる荷重に基づいてドライバの体格を推定する。したがって、所定部位検出装置１０は、運転席の座部にかかる荷重に関する情報を例えば運転席の座部に設置された荷重センサから受け取る。

設定部１３は、第１の取得部１１によって取得された撮影画像上に、推定部１５によって推定されるドライバの体格とシートポジション情報とに基づく検出領域を設定する。これにより、ドライバの頭部を検出する検出領域をより一層的確に設定することができる。これにより、ドライバの頭部をより一層高い精度で検出することができる。

例えば、設定部１３は、運転席が同一のシートポジションであっても、ドライバの体格が大きいほど検出領域の外枠Ｆ１を大きくすればよい。これにより、検出領域の外枠Ｆ１をより一層適切な大きさにすることができる。ドライバの体格が大きいほど、ドライバの頭部が大きく写るからである。

図９Ａは、所定部位検出装置１０の本実施形態における動作例を示すフローチャートである。図９Ａに示すフローチャートは、図３Ａに示すフローチャートにステップＳ２５を追加したものである。ステップＳ２５は、ステップＳ２５とステップＳ３０との間に設けられる。ステップＳ２５において、推定部１５がドライバの体格を推定する。なお、推定部１５がドライバの体格を推定できなかった場合には、ドライバが自車両に搭乗していないとみなし、ステップＳ３０において設定部１３がシートポジション情報のみに基づいて検出領域を設定するようにすればよい。

本実施形態によると、上述した通り、設定部１３が第１の取得部１１によって取得された撮影画像上に、推定部１５によって推定されるドライバの体格とシートポジション情報とに基づく検出領域を設定するので、ドライバの頭部を検出する検出領域をより一層適切に設定することができる。これにより、ドライバの頭部をより一層高い精度で検出することができる。

所定部位検出装置１０は、図９Ａに示すフローチャートの動作を行う代わりに図９Ｂに示すフローチャートの動作を行ってもよい。図９Ｂに示すフローチャートは、ステップＳ７０の判定においてドライバを抽出できていなければ、ステップＳ２０に戻る点、及びステップＳ９０の判定においてエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ２０に戻る点が図９Ａに示すフローチャートと異なっており、それ以外は図９Ａに示すフローチャートと同一である。図９Ｂに示すフローチャートでは、フローチャート内のループによって背景画像が更新されるので、シートポジションやシートベルトリトラクターの位置が変更された場合にその変更が反映された背景画像を第１の取得部１１が取得できる。

＜３．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

例えば、上述した実施形態では、第２の取得部１２がパワーシートＥＣＵ２からシートポジション情報を取得したが、自車両の運転席はパワーシートに限定されず手動でシートポジションを調整するシートであってもよい。運転席が手動でシートポジションを調整するシートである場合、運転席のシートポジションを検出するセンサを設け、当該センサの出力を第２の取得部１２が取得するようにすればよい。

上述した第２実施形態では、推定部１５が運転席の座部にかかる荷重に基づいてドライバの体格を推定したが、例えばシートポジション情報及びドライバ抽出処理での前景領域の大きさを用いてドライバの体格を推定してもよい。シートポジション情報及びドライバ抽出処理での前景領域の大きさを用いてドライバの体格を推定する場合、ステップＳ６０の後に推定処理を実行し、その推定処理に応じて頭部を検出する検出領域の設定を補正した後、ステップＳ７０を実行するようにすればよい。

上述した実施形態におけるドライバの頭部検出結果の用途は特に限定されないが、例えば検出されるドライバの頭部の位置推移を監視することで、ドライバの運転不能状態を検出することができる。なお、ドライバの運転不能状態が検出された場合に自車両がどのようなサービスを実行するかについても特に限定されないが、ドライバの運転不能状態が検出された場合に実行されるサービスの例としては、自車両の自動停止やドライバ、同乗者、車外の少なくとも一つに対する異常報知などを挙げることができる。

上述した実施形態では、運転席に着座するドライバの所定部位を検出したが、運転席以外の座席に着座するドライバ以外の乗員の所定部位を検出するようにしてもよい。例えば、助手席に着座する乗員の所定部位を検出してもよい。また例えば、後部座席に着座する乗員の所定部位を検出してもよい。

１ 車室内撮影カメラ
２ パワーシートＥＣＵ
１０ 所定部位検出装置
１１ 第１の取得部
１２ 第２の取得部
１３ 設定部
１４ 検出部
１５ 推定部

Claims (8)

1. 自車両の車室内を撮影するカメラで得られた撮影画像を取得する第１の取得部と、
   前記自車両の座席のシートポジションを示すシートポジション情報を取得する第２の取得部と、
   前記撮影画像上に前記シートポジション情報に基づく検出領域を設定する設定部と、
   前記検出領域内で乗員の所定部位を検出する検出部と、
   を備える、所定部位検出装置。
2. 前記所定部位は頭部である、請求項１に記載の所定部位検出装置。
3. 前記設定部は、前記座席が前方であるほど前記検出領域を大きくする、請求項１又は請求項２に記載の所定部位検出装置。
4. 前記設定部は、前記座席の背もたれ部が倒れているほど前記検出領域を小さくする、請求項１〜３のいずれか一項に記載の所定部位検出装置。
5. 前記設定部は、前記座席の座部が上昇しているほど前記検出領域を前記車室内の天井側に配置する、請求項１〜４のいずれか一項に記載の所定部位検出装置。
6. 前記乗員の体格を推定する推定部をさらに備え、
   前記設定部は、前記推定部によって推定される前記乗員の体格と前記シートポジション情報とに基づいて前記検出領域を設定する、請求項１〜５のいずれか一項に記載の所定部位検出装置。
7. 前記設定部は、前記推定部によって推定される前記乗員の体格が大きいほど前記検出領域を大きくする、請求項６に記載の所定部位検出装置。
8. 自車両の車室内を撮影するカメラと、
   請求項１〜７のいずれか一項に記載の所定部位検出装置と、を備える、所定部位検出システム。