JP2019148865A - 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 - Google Patents

Abstract

【課題】移動体の乗員の姿勢を精度良く識別すること。【解決手段】移動体の乗員の姿勢を識別する識別装置１００であって、撮像装置２００によって得られた赤外画像または距離画像に基づいて前記乗員の特徴点を決定し、光飛行時間測距法により前記特徴点までの距離を導出する測距部１２０と、複数の前記特徴点までの距離に基づいて、前記乗員の姿勢を識別する識別部１３０と、を備える識別装置１００。【選択図】図３

Description

本開示は、識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体に関する。

従来、カメラで撮像した撮像画像から移動体の乗員の手、肘および肩の特徴点の位置を検出し、予め作成された関節モデルと比較することで、乗員の姿勢を識別する技術が知られている（特許文献１）。

特開２０１０−２１１７０５号公報

しかしながら、特許文献１では、単眼カメラによる２次元画像に基づいて乗員の姿勢を識別しているため、識別精度の向上が求められる。

本開示の目的は、移動体の乗員の姿勢を精度良く識別することである。

本開示の一形態は、移動体の乗員の姿勢を識別する識別装置であって、撮像装置によって得られた赤外画像または距離画像に基づいて前記乗員の特徴点を決定し、光飛行時間測距法により前記特徴点までの距離を導出する測距部と、複数の前記特徴点までの距離に基づいて、前記乗員の姿勢を識別する識別部と、を備える識別装置である。

なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。

本開示によれば、移動体の乗員の姿勢を精度良く識別することができる。

本開示の一実施形態に係る識別装置が搭載されたドライバーモニタリングシステムの構成を示すブロック図 出射光および戻り光の状態を示す模式図 測距処理および識別処理の第一実施例を示すフローチャート 測距処理の一例を示すフローチャート 光飛行時間測距法の概要を示す模式図 測距処理の他の一例を示すフローチャート 撮像装置で撮影された車内空間の距離画像を示す模式図 ドライバーに対して部位分割が施された状態を示す図 特徴点が付与された状態を示す図 特徴点までの距離の導出について説明する模式図 特徴点までの距離の導出について説明する模式図 特徴点までの距離の導出について説明する模式図 特徴点の３次元座標を示す模式図 基本姿勢における特徴点の３次元座標を示す模式図 測距処理および識別処理の第一実施例を示すフローチャート 撮像装置で撮影された車内空間の距離画像を示す模式図 画像の切り出しが行われた状態を示す図 特徴点が付与された状態を示す図

以下、本開示の一実施形態に係る識別装置１００が搭載されたドライバーモニタリングシステム（以下、「ＤＭＳ」）１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。

ＤＭＳ１は例えば車両に搭載される。以下、ＤＭＳ１は、車両のドライバーを監視するものとして説明を続けるが、ドライバー以外（例えば、助手席や後席等に着座している乗員）を監視してもよい。

ＤＭＳ１は、図１に示すように、光源２１０および画像センサ２２０を一体化した撮像装置２００と、識別装置１００とを備える。

撮像装置２００は、車室内の画像を取得する１台の小型カメラであり、車室の天井部分に車室内を撮影可能に、特に、車室内のドライバーの体の前面を撮影可能に取り付けられている。

光源２１０は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられている。

画像センサ２２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、光源２１０と概ね同じ場所に取り付けられる。

識別装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車室内のドライバーの姿勢や動作を識別するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。

プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源２１０および画像センサ２２０に各種制御信号を出力する。

識別装置１００は、プロセッサがプログラムを実行することで、図１に示すように、撮像制御部１１０、測距部１２０、識別部１３０、記憶部１４０等として機能する。

撮像制御部１１０は、光源２１０からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等）を制御すべく、光源２１０に対して制御信号を出力する。

また、撮像制御部１１０は、画像センサ２２０における戻り光の受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ２２０に含まれる周辺回路に対して制御信号を出力する。

上記露光制御等により、画像センサ２２０は、所定周期（所定フレームレート）で、撮像範囲に関する赤外画像信号および距離画像信号を識別装置１００に出力することになる。なお、画像センサ２２０から可視画像信号を出力するようにしてもよい。

また、本実施形態では、画像センサ２２０は、隣接する複数の画素の情報を加算して画像情報を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像情報を生成することは必須ではない。

測距部１２０は、画像センサ２２０から出力された画像から、ドライバーの特徴点を推定し、ＴＯＦ方式により、特徴点までの距離を導出する。なお、図２は、ターゲットＴまでの距離ｄｔを導出する際の出射光および戻り光の状態を示す模式図である。

識別部１３０は、測距部１２０で導出された特徴点までの距離に基づいて、特徴点の座標を算出し、算出された特徴点の座標に基づいて、ドライバーの姿勢を識別する。なお、特徴点の座標の算出は、測距部１２０で行うようにしてもよい。

記憶部１４０は、測距処理や識別処理で用いられる各種情報を記憶する。

ＤＭＳ１からは、ドライバーの姿勢や動作に関する情報が出力される。このような情報は、例えばＡＤＡＳ（Advanced Driver Assistance System） ＥＣＵに送信される。ＡＤＡＳ ＥＣＵは、これらの情報を用いて、車両の自動運転の実行や自動運転の解除を行う。

（第一実施例）
識別装置１００の測距部１２０および識別部１３０において行われる測距処理および識別処理の第一実施例について、図３のフローチャートを参照して詳細に説明する。

ステップＳ１で、測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像を用いて、ドライバーに対応する領域を抽出し、クラスタ化する。ドライバーに対応する領域の抽出は、例えば、撮像部からの距離が略一定の領域を抽出することで行うことができる。

続くステップＳ２で、測距部１２０は、ステップＳ１でクラスタ化した画像を用いて、ドライバーの各部位（頭部、胴体部、腕部、下半身部）の部位検知を行い、各部位ごとに、予め設定されたルールにしたがって、骨格位置等の特徴点を推定する。なお、本ステップでは、部位検知を行うことなく、特徴点を推定することも可能である。

続くステップＳ３で、測距部１２０は、ＴＯＦ方式により、各特徴点までの距離を導出する。ステップＳ３で行われる、特徴点までの距離の導出処理（測距処理）の一例について、図４のフローチャートを参照して詳細に説明する。

まず、ステップＳ１１で、測距部１２０は、特徴点に対応する画素における物標までの距離を、ＴＯＦ方式で導出する。

ここで、ＴＯＦ方式による測距の一例について説明する。光源２１０からの出射光は、図５に示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（すなわち、第一パルスＰａの立ち下がりエッジから第二パルスＰｂの立ち上がりエッジまでの時間）は、Ｇａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。

画像センサ２２０は、撮像制御部１１０により、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ２２０は、図５に例示するように、光源２１０からの出射光が撮像範囲の物標Ｔで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。

第一露光は、第一パルスＰａの立ち上がりと同時に始まり、光源２１０からの出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光成分を受光することを目的としている。

第一露光による画像センサ２２０の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｓ_０と、ドットのハッチングを付した背景成分ＢＧとを含む。戻り光成分Ｓ_０の振幅は、第一パルスＰａの振幅よりも小さい。

ここで、第一パルスＰａおよびその戻り光成分Ｓ_０の各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置２００から物標Ｔまでの距離ｄｔを、不可視光が往復するのに要する時間である。

第二露光は、第二パルスＰｂの立ち下がりと同時に始まり、露光時間Ｔｘ後に終了する。このような第二露光は、第二パルスＰｂに対する戻り光成分を受光することを目的としている。

第二露光による画像センサ２２０の出力Ｏｂは、全ての戻り光成分ではなく部分的な戻り光成分Ｓ_１（斜格子状のハッチング部分を参照）と、ドットのハッチングを付した背景成分ＢＧとを含む。

なお、上記成分Ｓ_１は、次の式（１）で表せる。
Ｓ_１＝Ｓ_０×（Δｔ／Ｗａ） …（１）

第三露光は、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、露光時間Ｔｘ後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分ＢＧのみを受光することを目的としている。

第三露光による画像センサ２２０の出力Ｏｃは、ドットのハッチングを付した背景成分ＢＧのみを含む。

上記のような出射光と戻り光との関係から、撮像装置２００から路面までの距離ｄｔは、次の式（２）〜（４）により導出することができる。
Ｓ_０＝Ｏａ−ＢＧ …（２）
Ｓ_１＝Ｏｂ−ＢＧ …（３）
ｄｔ＝ｃ×（Δｔ／２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）＝｛（ｃ×Ｗａ）／２｝×（Ｓ_１／Ｓ_０） …（４）
ここで、ｃは光速である。

図４の説明に戻って、ステップＳ１１に続くステップＳ１２で、測距部１２０は、特徴点に対応する画素の周辺に位置し、かつ、クラスタ化された領域に含まれる画素における物標までの距離を、ＴＯＦ方式で導出する。なお、本実施形態で説明したＴＯＦ方式はあくまでも一例であり、直接時間領域で計測する直接ＴＯＦ方式や、位相差等の物理量の変化とそれを時間的変化に換算するための時間基準を用いて計測する間接ＴＯＦ方式のいずれを用いても距離情報を導出することが可能であることは言うまでもない。

ステップＳ１２に続くステップＳ１３で、測距部１２０は、ステップＳ１１で導出した距離と、ステップＳ１２で導出した距離とを加算平均して、特徴点までの距離として出力する。

このように、特徴点までの距離を導出する際に、特徴点に対応する画素および特徴点に対応する画素の周辺に位置する画素の情報を用いることで、特徴点までの測距精度を向上させることができる。

また、特徴点に対応する画素の周辺に位置する画素のうち、クラスタ化された領域に含まれる画素の情報のみを加算平均に用いることで、特徴点の周囲であっても人体の部位ではない領域の情報を排除することができ、特徴点までの測距精度を向上させることができる。例えば、特徴点におけるＳ_１に対して所定の範囲を超える部分的な戻り光成分は、シートや内装等、クラスタ化された領域に含まれない物標からの戻り光として排除することで、特徴点までの測距精度を向上することが期待できる。また、特徴点の２次元座標（Ｘ、Ｙ）の過去のフレームに対する変化量が小さい場合には、過去のフレームにおける特徴点のＳ_１に対して所定の範囲を超える部分を排除することで同様の効果が期待できることはもちろんのことである。なお、所定の範囲は、好ましくは特徴点におけるＳ_１の標準偏差を設定することが望ましいが、物標までの距離や物標の反射率によって変化させてもよく、予め記憶部１４０に記憶しておき、物標までの距離や反射率に応じて最適な所定の範囲とすることで、特徴点までの測距精度を向上することが期待できる。

ステップＳ３において行われる測距処理の他の一例について、図６のフローチャートを参照して詳細に説明する。上述の例では、特徴点に対応する画素における物標までの距離および特徴点に対応する画素の周辺に位置する画素における物標までの距離を導出した後に加算平均して、特徴点までの距離を導出した。これに対して、以下に説明する例では、特徴点に対応する画素および特徴点に対応する画素の周辺の画素における戻り光成分を積算し、積算した戻り光成分を用いて、特徴点までの距離を導出する。

ステップＳ２１で、測距部１２０は、距離画像信号を用いて、特徴点に対応する画素および特徴点に対応する画素の周辺に位置する画素における戻り光成分Ｓ_０およびＳ_１を上述の式（２）および（３）を用いて算出する。この際、クラスタ化された領域に含まれる画素の情報のみを採用する点は、上述の例と同様である。

続くステップＳ２２で、測距部１２０は、特徴点に対応する画素および特徴点に対応する画素の周辺に位置する画素における戻り光成分Ｓ_０およびＳ_１を積算して、戻り光成分の積算値ΣＳ_０およびΣＳ_１を得る。

続くステップＳ２３で、測距部１２０は、次式（５）を用いて、特徴点までの距離ｄｔを導出する。
ｄｔ＝｛ｃ×Ｗａ｝／２｝×（ΣＳ_１／ΣＳ_０） …（５）

図３の説明に戻って、ステップＳ３に続くステップＳ４で、識別部１３０は、ステップＳ３で導出した各特徴点までの距離を用いて、各特徴点の３次元座標を算出する。なお、上述したとおり、ステップＳ４の処理は、測距部１２０が行うようにしてもよい。

ステップＳ４に続くステップＳ５で、識別部１３０は、各特徴点の３次元座標により、ドライバーの姿勢や動作を識別する。例えば、両手でステアリングホイールを把持する姿勢を予め基本姿勢として設定しておき、当該基本姿勢からの変化に基づいて、ドライバーの姿勢を識別するようにしてもよい。基本姿勢については、例えば、両手でステアリングホイールを把持する姿勢を検知した場合に、その姿勢を基本姿勢として設定するようにしてもよい。

また、例えば、前回の姿勢からの変化に基づいて、ドライバーの姿勢や動作を識別するようにしてもよい。さらに、例えば、予めドライバーが様々な動作を行った場合の特徴点の座標を記憶部１４０に記憶しておき、記憶されている座標と、算出された座標とを比較することで、ドライバーの姿勢や動作を識別するようにしてもよい。

次に、第一実施例による移動体の乗員の姿勢識別の具体例について、図７Ａないし図７Ｈを参照して説明する。

図７Ａには、撮像装置で撮影された車内空間の距離画像が模式的に示されている。距離画像では、運転席に着座しているドライバー３００に対応する領域（ハッチングを付していない領域）は「撮像部からの距離が略一定の領域」となる。そこで、測距部１２０は、このような撮像部からの距離が略一定の領域を抽出して、クラスタ化する。本例では、図７Ａに示す距離画像におけるドライバー３００に対応する領域がクラスタ化される。

ドライバー３００に対応する領域をクラスタ化した後、測距部１２０は、クラスタ化された領域を頭部３０１、胴体部３０２、右腕部３０３、左腕部３０４および下半身部３０５の各部位に分割する（部位分割）。

図７Ｂには、ドライバー３００に対して部位分割が施されたものが示されている。このような部位分割は、例えば、予め記憶部１４０に記憶されている人体モデルとクラスタ化された領域とを比較することで行うことができる。

クラスタ化された領域を各部位に分割した後、測距部１２０は、頭部３０１、胴体部３０２、右腕部３０３、左腕部３０４および下半身部３０５の各部位に対して、予め定められたルールにしたがって特徴点を付与する（特徴点付与）。このような特徴点は、骨格位置等に対して付与されてもよい。

図７Ｃには、特徴点が付与されたものが示されている。図７Ｃに示す例では、頭部３０１に特徴点３０１ａが付与されている。また、右腕部３０３の右肩に相当する部位に特徴点３０３ａが付与され、右肘に相当する部位に特徴点３０３ｂが付与され、右手首に相当する部位に特徴点３０３ｃが付与されている。また、左腕部３０４の左肩に相当する部位に特徴点３０４ａが付与され、左肘に相当する部位に特徴点３０４ｂが付与され、左手首に相当する部位に特徴点３０４ｃが付与されている。

また、胴体部３０２には、特徴点３０２ａおよび３０２ｂが付与されている。本例では、特徴点３０２ａは、右肩に相当する部位に付与された特徴点３０３ａと、左肩に相当する部位に付与された特徴点３０４ａとを結んだ直線の中点である。

特徴点３０２ｂは、特徴点３０２ａから特徴点３０１ａとは反対の方向に所定距離だけ離れた部分に付与されている。なお、特徴点をどのように付与するかについては、上述の例には限定されない。なお、特徴点は、関節などの動きを考慮して骨格を基準にして決めた関節部付近の骨格特徴点だけでなく、着衣の表面など、骨格を基準にしていない特徴点であってもよいことは当然のことである。

続いて、測距部１２０は、各特徴点までの距離を導出する。本例では、頭部３０１の特徴点３０１ａまでの距離と、左腕部３０４の特徴点３０４ａまでの距離の導出について詳細に説明し、他の特徴点までの距離の導出については詳細な説明を省略する。

図７Ｄを参照して、特徴点３０１ａまでの距離の導出について説明する。測距部１２０は、頭部３０１の特徴点３０１ａに対応する画素Ｇ１から所定範囲内に存在する画素群Ｇ２を決定する。

画素群Ｇ２は、すべて頭部３０１の領域内に存在する。そこで、測距部１２０は、画素Ｇ１における物標までの距離と、画素群Ｇ２に含まれる各画素における物標までの距離を導出し、それらを加算平均することで、特徴点３０１ａまでの距離を導出する。

次に、図７Ｅおよび図７Ｆを参照して、特徴点３０４ａまでの距離の導出について説明する。測距部１２０は、左腕部３０４の特徴点３０４ａに対応する画素Ｇ３から所定範囲内に存在する画素群Ｇ４を決定する（図７Ｅ）。

画素群Ｇ４には、左腕部３０４の領域内に存在する画素に加え、左腕部３０４の領域外の画素が含まれる。そこで、測距部１２０は、画素群Ｇ４から、ドライバー３００に対応する領域に存在する画素のみを抽出し、画素群Ｇ５とする（図７Ｆ）。

そして、画素Ｇ３における物標までの距離と、画素群Ｇ５に含まれる各画素における物標までの距離を導出し、それらを加算平均することで、特徴点３０４ａまでの距離を導出する。なお、物標の反射率が高い場合や、特徴点までの距離が近い場合など、戻り光の強度が高く、十分な距離精度が得られる場合には、特徴点に対応する画素の周辺における画素の加算処理をしなくてもよいことはもちろんのことである。

続いて、識別部１３０は、測距部１２０によって導出された各特徴点までの距離に基づいて、各特徴点の３次元座標を算出する（図７Ｇ）。

図７Ｇに示す例では、特徴点３０１ａの３次元座標は（Ｘ１，Ｙ１，Ｚ１）である。また、特徴点３０２ａの３次元座標は（Ｘ２，Ｙ２，Ｚ２）である。また、特徴点３０２ｂの３次元座標は（Ｘ３，Ｙ３，Ｚ３）である。

また、特徴点３０３ａの３次元座標は（Ｘ４，Ｙ４，Ｚ４）である。また、特徴点３０３ｂの３次元座標は（Ｘ５，Ｙ５，Ｚ５）である。また、特徴点３０３ｃの３次元座標は（Ｘ６，Ｙ６，Ｚ６）である。

また、特徴点３０４ａの３次元座標は（Ｘ７，Ｙ７，Ｚ７）である。また、特徴点３０４ｂの３次元座標は（Ｘ８，Ｙ８，Ｚ８）である。また、特徴点３０４ｃの３次元座標は（Ｘ９，Ｘ９，Ｚ９）である。

一方、記憶部１４０には、両手でステアリングホイールを把持した姿勢（図７Ｈ参照）についての各特徴点の３次元座標（（Ｘ１ｂ，Ｙ１ｂ，Ｚ１ｂ）、（Ｘ２ｂ，Ｙ２ｂ，Ｚ２ｂ）・・・（Ｘ９ｂ，Ｙ９ｂ，Ｚ９ｂ））が記憶されている。

識別部１３０は、算出された各特徴点の３次元座標と、記憶部１４０に記憶されている基本姿勢における各特徴点の３次元座標とを比較することで、ドライバーの姿勢や動作を識別する。

図７Ｇに示す例では、特徴点３０４ｃの３次元座標（Ｘ９，Ｙ９，Ｚ９）が、基本姿勢における特徴点３０４ｃの３次元座標（Ｘｂ９，Ｙｂ９，Ｚｂ９）と大きく異なっている。そのため、識別部１３０は、ドライバーが左腕をステアリングホイールから離してオーディオ機器を操作していると識別する。

以上説明したように、本実施形態によれば、撮像装置によって撮影された車内空間におけるドライバーの特徴点までの距離をＴＯＦ方式で導出する。そして、導出された特徴点までの距離に基づいて、ドライバーの姿勢を識別する。

これにより、ドライバーの姿勢を精度良く識別することができる。

また、本実施形態によれば、特徴点およびその周辺の各画素における情報を用いて、特徴点までの距離を導出しているため、測距精度が向上する。そのため、ドライバーの姿勢を精度良く推定することができる。

さらに、本実施形態によれば、特徴点およびその周辺かつクラスタ化された領域に含まれる各画素における情報を用いて、特徴点までの距離を導出しているため、測距精度が向上する。そのため、ドライバーの姿勢を精度良く推定することができる。

（第二実施例）
上述の第一実施例では、赤外画像または距離画像から、ドライバーに対応する領域を抽出して、予め定められたルールにしたがって特徴点を付与した。

これに対して、以下に示す第二実施例では、予め、特徴点が付与されたドライバーの画像を用いて特徴点に関する機械学習を行っておき、この学習結果を用いて特徴点が付与される。

識別装置１００の測距部１２０および識別部１３０において行われる測距処理および識別処理の第二実施例について、図８のフローチャートを参照して詳細に説明する。

ステップＳ３１で、測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像から、ドライバーを含む所定の領域を切り出す。

続くステップＳ３２で、測距部１２０は、ステップＳ３１で切り出した画像のリサイズ（縮小）を行う。

続くステップＳ３３で、測距部１２０は、ステップＳ３２でリサイズされた画像と、機械学習によって得られた学習結果とを比較し、リサイズされた画像に対して特徴点を付与する。なお、この時点で、特徴点に関する信頼度（詳細については後述する）も付与される。

なお、機械学習に用いられるドライバーの画像のサイズも、ステップＳ３２でリサイズされる画像のサイズと同じである。そのため、機械学習の演算負荷を低減することができるとともに、ステップＳ３３での演算負荷も低減することができる。

続くステップＳ３４で、測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像を用いて、ドライバーに対応する領域を抽出し、クラスタ化する。

続くステップＳ３５で、測距部１２０は、ステップＳ３３で付与された特徴点に関する信頼度が予め定められた所定の閾値以上であるか否かを判断する。

ステップＳ３５で、信頼度が閾値以上であると判断された場合（ステップＳ３５：ＹＥＳ）、処理はステップＳ３６に進む。

ステップＳ３６で、測距部１２０は、ＴＯＦ方式により、各特徴点までの距離を導出する。特徴点までの距離の導出には、リサイズされた画像（特徴点付与に用いられた画像）ではなく、画像センサ２２０から受け取った画像（クラスタ化に用いられた画像）がそのまま用いられる。ステップＳ３６の処理内容は、第一実施例のステップＳ３の処理内容と同様であるため、詳細な説明を省略する。

一方、ステップＳ３５で、信頼度が閾値以上でないと判断された場合（ステップＳ３５：ＮＯ）、処理はステップＳ３７に進む。

ステップＳ３７で、測距部１２０は、ステップＳ３４でクラスタ化された画像を用いて、第一実施例のステップＳ２と同様に、骨格位置等の特徴点を推定し、ステップＳ３６に進む。

特徴点に関する信頼度が低い場合、実際には特徴点ではない位置に特徴点が付与されているおそれがある。そのため、このように信頼度の低い特徴点に基づいてその後の処理を行うと、識別処理においてドライバーの姿勢や動作を誤って識別してしまうおそれがある。

これに対して、本実施例では、特徴点に関する信頼度が低い場合、クラスタ化された画像を用いて予め設定されたルールにしたがって特徴点を付与し直すようになっている。そのため、ドライバーの姿勢や動作を誤って識別してしまうことを防止することができる。

ステップＳ３６に続くステップＳ３８で、識別部１３０は、ステップＳ３６で導出した各特徴点までの距離を用いて、各特徴点の３次元座標を算出する。なお、３次元座標の算出は、上述の第一実施例と同様、測距部１２０で行うようにしてもよい。

ステップＳ３８に続くステップＳ３９で、識別部１３０は、各特徴点の３次元座標により、ドライバーの姿勢や動作を識別する。ステップＳ３８およびＳ３９の処理内容は、第一実施例のステップＳ４およびＳ５の処理内容と同様であるため、詳細な説明を省略する。

次に、第二実施例による特徴点の付与の具体例について、図９Ａないし図９Ｃを参照して説明する。

図９Ａには、撮像装置で撮影された車内空間の距離画像が模式的に示されている。

測距部１２０は、撮像範囲の距離画像から、ドライバー４００を含む所定の領域を切り出す（図９Ｂ）。さらに、測距部１２０は、切り出した領域をリサイズする。本例では、一例として、撮像範囲の画素数が６４０ピクセル×４８０ピクセル、切り出し領域の画素数が３８４ピクセル×４８０ピクセル、リサイズ後の画素数が９６ピクセル×１２０ピクセルであるとする。すなわち、画像が１／４にリサイズされるため、画素数は１６分の１となる。

一方、この時点で、予め、撮像範囲に対して切り出しおよびリサイズが施されたサイズの画像を用いた機械学習が行われており、記憶部１４０にはその学習結果が記憶されている。

測距部１２０は、リサイズされた画像と、記憶部１４０に記憶されている学習結果とを比較し、リサイズされた画像に対して特徴点を付与する。この際、リサイズされた画像を用いることで、リサイズしない画像を用いるのに比べ、演算負荷を大幅に低減することが可能となる。図９Ｃには、このようにしてドライバーの骨格関節（頭、首、腰、右肩、右肘、右手首、左肩、左肘、左手首）が特徴点として付与された状態が示されている。

以上説明したように、第二実施例によれば、縮小された画像を用いて機械学習を行うため、機械学習での演算負荷を削減することができる。また、特徴点までの距離を導出する際には、切り出しおよびリサイズが行われていない画像を用いるため、測距精度の低下を抑制することができる。さらに、特徴点までの距離を導出する際には、特徴点に相当する画素およびその周辺の画素の情報を用いるため、測距精度を向上することができる。さらにまた、機械学習によって付与された特徴点の信頼度が低い場合には、機械学習によって付与された特徴点を用いず、撮像画像を用いて特徴点を付与し直すため、測距精度が低下することを好適に防止できる。

本開示に係る識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体によれば、移動体の乗員の姿勢を精度良く識別することができ、車載用途に好適である。

１ ドライバーモニタリングシステム（ＤＭＳ）
１００ 識別装置
１１０ 撮像制御部
１２０ 測距部
１３０ 識別部
１４０ 記憶部
２００ 撮像装置
２１０ 光源
２２０ 画像センサ

Claims (12)

1. 移動体の乗員の姿勢を識別する識別装置であって、
   撮像装置によって得られた赤外画像または距離画像に基づいて前記乗員の特徴点を決定し、光飛行時間測距法により前記特徴点までの距離を導出する測距部と、
   複数の前記特徴点までの距離に基づいて、前記乗員の姿勢を識別する識別部と、を備える
   識別装置。
2. 前記測距部は、前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素の情報に基づいて、前記特徴点までの距離を導出する、
   請求項１に記載の識別装置。
3. 前記測距部は、
   前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素における前記乗員までの距離を光飛行時間測距法によってそれぞれ導出し、導出された前記各画素に対応する前記乗員までの距離を加算平均して前記特徴点までの距離を算出する、
   請求項２に記載の識別装置。
4. 前記測距部は、
   前記特徴点に対応する画素および前記特徴点の周辺領域に対応する各画素における戻り光成分を積算し、前記戻り光成分の積算値に基づいて光飛行時間測距法によって前記特徴点までの距離を導出する、
   請求項２に記載の識別装置。
5. 前記測距部は、前記乗員が含まれる領域をクラスタ化し、前記周辺領域に対応する各画素のうち、クラスタ化された前記領域に含まれる画素を用いて、前記特徴点までの距離を導出する、
   請求項２ないし４のいずれか一項に記載の識別装置。
6. 前記測距部は、前記乗員が含まれる領域をクラスタ化するとともに、クラスタ化された前記領域の情報に基づいて、前記特徴点を決定する、
   請求項１ないし５のいずれか一項に記載の識別装置。
7. 前記測距部は、機械学習により得られた前記特徴点に関する情報を用いて、前記特徴点を決定する、
   請求項１ないし５のいずれか一項に記載の識別装置。
8. 前記測距部は、前記赤外画像または前記距離画像に対して切り出しおよび縮小の少なくとも一方が行われた画像を用いて、前記特徴点を決定する、
   請求項７に記載の識別装置。
9. 前記測距部は、前記乗員が含まれる領域をクラスタ化するとともに、前記決定された特徴点の信頼度が低い場合には、クラスタ化された前記領域の情報に基づいて、新たな特徴点を決定する、
   請求項７または８に記載の識別装置。
10. 移動体の乗員の姿勢を識別する識別方法であって、
    撮像装置によって得られた赤外画像または距離画像に基づいて前記乗員の特徴点を決定し、光飛行時間測距法により前記特徴点までの距離を導出するステップと、
    複数の前記特徴点までの距離に基づいて、前記乗員の姿勢を識別するステップと、を備える、
    識別方法。
11. コンピュータに、
    撮像装置によって得られた移動体の乗員の赤外画像または距離画像に基づいて前記乗員の特徴点を決定し、光飛行時間測距法により前記特徴点までの距離を導出する処理と、
    複数の前記特徴点までの距離に基づいて、前記乗員の姿勢を識別する処理と、を実行させる、
    識別プログラム。
12. 請求項１１に記載の識別プログラムを記録した一時的でない有形の記録媒体。

Images