JP2019179289A - 処理装置、及びプログラム - Google Patents

Abstract

【課題】人体の特徴点を特定する技術において、その特徴点の特定精度を向上させる処理装置、及びプログラムを提供する。【解決手段】車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員５の特徴点を少なくとも１つ検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御部２０と、を有して処理装置１を構成する。【選択図】図１０

Description

本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。

従来、２次元平面における座標情報を有する乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、乗員の特徴点（例えば、関節点）を特定する技術がある（例えば、特許文献１参照）。

特許文献１の処理装置は、複数の操作対象，および，該操作対象を操作可能な位置に存在する操作者を含む画像を繰り返し取得する画像取得手段と、該画像取得手段により繰り返し取得される画像毎に、該画像に含まれる操作者における所定の人体特徴点を特定する人体特徴点特定手段と、該人体特徴点特定手段により特定された画像毎の人体特徴点それぞれに基づいて、操作者が実施しようとしている操作内容を推定する操作推定手段と、を備えており、該操作推定手段は、操作対象を操作する操作者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、前記人体特徴点特定手段により特定された画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡（実姿勢軌跡）とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡につき、該推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定するように処理装置が構成されている。

特開２００８−１４０２６８号公報

しかし、特許文献１の技術では、乗員の特徴点を、２次元平面での座標情報を有した画像から特定しているため、その特徴点の特定精度を向上させることが要求されている。

したがって、本発明の目的は、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させる処理装置、及びプログラムを提供することにある。

［１］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部と、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、前記乗員の特徴点を少なくとも１つ検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御部と、を有する処理装置を提供する。
［２］前記関節モデルは、前記関節間の距離、及び関節を結ぶ線分の為す角の少なくとも一方である、上記［１］に記載の処理装置であってもよい。
［３］また、前記補正された特徴点の位置を、正規な特徴点の位置とする、上記［１］又は［２］に記載の処理装置であってもよい。
［４］また、前記制御部は、前記補正処理にて補正された前記特徴点の妥当性を検証する検証処理を実行する、上記［１］から［３］のいずれか１に記載の処理装置であってもよい。
［５］また、前記制御部は、未検出である特徴点を補完する補完処理を実行し、更に、当該補完処理にて補完した特徴点について前記検証処理を実行する、上記［４］に記載の処理装置であってもよい。
［６］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、前記乗員の特徴点を少なくとも１つ検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムを提供する。
［７］前記制御ステップにおいて、前記関節モデルは、前記関節間の距離、及び関節を結ぶ線分の為す角の少なくとも一方である、上記［６］に記載のプログラムであってもよい。
［８］前記制御ステップにおいて、前記補正された特徴点の位置を、正規な特徴点の位置とする、上記［６］又は［７］に記載のプログラムであってもよい。
［９］前記制御ステップは、前記補正処理にて補正された前記特徴点の妥当性を検証する検証処理を実行する、上記［６］から［８］のいずれか１に記載のプログラムであってもよい。
［１０］前記制御ステップは、前未検出である特徴点を補完する補完処理を実行し、更に、当該補完処理にて補完した特徴点について前記検証処理を実行する、上記［９］に記載のプログラムであってもよい。

本発明の処理装置、及びプログラムによれば、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。

図１（ａ）は、人体の各骨格のサイズ、関節の可動範囲を定義したスケルトンモデルの図であり、図１（ｂ）は、人体の各骨格のサイズ、関節の可動範囲の定義例を示す図表であり、図１（ｃ）は、各部位（肩、肘、手首、手）の可動範囲（スケルトンモデル定義の中で規定しているなす角）の一例として、前腕部を示した図である。 図２は、本発明の実施の形態に係る処理装置が車両に搭載された状態の座標系の関係を３次元的に示す座標図である。 図３は、３次元画素群の例を示す図である。 図４（ａ）は、車室内空間の広さを考慮したボクセル作成の一例を示す図であり、図４（ｂ）は、ボクセル作成パラメータ設定例を示す図表である。 図５（ａ）は、スケルトンモデルで定義した長さおよび可動範囲に含まれるボクセルの探索範囲を示す図であり、図５（ｂ）は、探索範囲絞り込みパラメータの例を示す図表である。 図６は、周囲１ボクセルを含めた３×３×３のボクセルの例を示す図である。 図７は、起点Ｐとの間をＸ［ｍｍ］間隔で、３×３×３のボクセルが並べられた例を示す図である。 図８は、各部位検出におけるパラメータ設定の例を示す図表である。 図９は、肘、手首の補正処理を、補正前、補正後で対比して図示した補正イメージ図である。 図１０は、本発明の実施の形態に係る処理装置の動作を示すフローチャートである。 図１１は、検出した肩、肘、手首、手の位置を画像上に表示した図である。 図１２（ａ）は、補正前の各部位（各特徴点）の位置を示す図であり、図１２（ｂ）は、補正後の各部位（各特徴点）の位置を示す図である。 図１３（ａ）は、補完処理の妥当性検証前の各部位（各特徴点）の位置を示す図であり、図１３（ｂ）は、補完処理の妥当性検証後の各部位（各特徴点）の位置を示す図である。

（本発明の実施の形態）
本発明の実施の形態に係る処理装置１は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員５の特徴点を少なくとも１つ検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御部２０と、を有して構成されている。

本実施の形態に係る処理装置１は、ＴＯＦカメラ１０を用いて、車室内乗員の肩、肘、手首、手といった部位を特徴点として検出する特徴点検出処理を行なうものである。ＴＯＦカメラ１０から得られる距離画像の各画素を３次元空間上に変換した画素群（３次元画素群）を作成し、頭部を起点として、スケルトンモデル（人体の骨格サイズ、可動範囲の定義）をもとに肩、肘、手首、手といった部位を特徴点として検出する。

なお、画素群とは、ＴＯＦカメラ１０により撮像された画素に対応する点の集合であって、車両８の車室内空間における座標系、ＴＯＦカメラ１０における座標系等により位置が表示される３次元空間の点の集合である。

（スケルトンモデル）
スケルトンモデルは、図１（ａ）に示すように、人体の各骨格のサイズ、関節の可動範囲を定義したものであって、一例を図１（ｂ）に示す。この定義は例えば、産業技術総合研究所が公開している人体寸法データベースや、独立行政法人製品評価技術基盤機構が公開している人間特性データベース等の情報をもとに決めることができる。各部位（肩、肘、手首、手）の可動範囲（スケルトンモデル定義の中で規定しているなす角）は、前腕部を例として図１（ｃ）のように定義する。

（ＴＯＦカメラ１０）
取得部としては撮像対象の３次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてＴＯＦ（Time Of Flight）カメラ１０を使用する。ＴＯＦカメラ１０は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。ＴＯＦカメラ１０は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。

取得部としてのＴＯＦカメラ１０は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの１フレームとして取得することができる。取得された距離画像は、以下の処理における入力（３次元画素群）として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、検出エリアに含まれる３次元画素群を抽出できる。

ＴＯＦカメラ１０は、例えば、図２に示すように、ルームミラー付近に取り付け、車両８の乗員５を含む撮像領域を撮像対象とする。ＴＯＦカメラ１０による撮像画像は、座標（ｕ，ｖ）と、この座標（ｕ，ｖ）における奥行情報としての画素値ｄ（ｕ，ｖ）を含む。取得された画素値ｄ（ｕ，ｖ）（ｕ＝０、１、…Ｕ−１，ｖ＝０、１、…Ｖ−１）は、撮像対象としての物体（ここで言う物体は、運転者や車載機器など）までの距離を意味する。なお、実施形態における符号Ｕは、撮像画像における横幅［ｐｉｘｅｌ］を意味し、符号Ｖは、撮像画像における縦幅［ｐｉｘｅｌ］を意味する。つまり、ＴＯＦカメラ１０で撮像された画像における各画素に、３次元空間における距離情報を割り当てることで距離画像が生成される。

（距離画像から得られるカメラ座標系）
距離画像における座標値ｕ，ｖと、座標（ｕ，ｖ）における画素値ｄ（ｕ，ｖ）は、以下の式を用いて３次元空間上の点（ｘ，ｙ，ｚ）に変換することで、図１に示すカメラ座標系（ｘ，ｙ，ｚ）における３次元画素群を作成することができる。
なお、（ｃ_ｘ、ｃ_ｙ）は、画像中心座標、ｆは、レンズ焦点距離である。

（車両座標系）
カメラ座標系（ｘ，ｙ，ｚ）は、検出対象であるドライバ（例えば腰骨の位置）を原点とする車両座標系（ｗ，ｌ，ｈ）に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をｗ軸、前方をｌ軸（エル軸）、上方をｈ軸とし、原点はドライバの腰骨位置２０３とする。図３に３次元画素群の例を示す。

（ボクセル作成）
図４（ａ）に示すように、車室内空間の広さを考慮し、図４（ｂ）に一例として示すボクセル作成パラメータ設定例のサイズでボクセル（３次元空間を一定サイズで格子状に分割し、離散的にエリアを表現する方法）を作成する。各ボクセルは、ボクセル値を持ち、３次元画素群の密度情報（ここでは、各ボクセルに含まれる３次元画素群の数×３、とする）をボクセル値とする。

（制御部２０）
制御部２０は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部２０は、図２に示すように、ＴＯＦカメラ１０と接続されている。制御部２０は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）２１、半導体メモリであるＲＡＭ（Random Access Memory）２２及びＲＯＭ（Read Only Memory）２３などを備えている。

（頭部の検出、特定）
頭部は、規定された１つの特徴点であり、本実施の形態では、予め規定された特徴点探索モデルを順次照合して残りの特徴点（左右の肩部、肘部、手首、手）を検出するための基準となるものである。頭部の検出、特定の手法は任意であり、公知の方法により頭部の検出、特定を行なうことができる。また、制御部２０による検出、特定でなく、頭部の３次元データ（ｗ，ｌ，ｈ）を制御部２０に入力してもよい。

（探索範囲絞り込み）
制御部２０は、図５（ａ）に示すように、スケルトンモデルで定義した長さおよび可動範囲に含まれるボクセルを探索し、抽出する。可動範囲は、前部位起点から現在部位起点Ｐの方向を基準とし、図５（ａ）に示す母線２５０で規定される円錐形状として定義する。探索は、図５（ｂ）に示すような、探索範囲絞り込みパラメータに基づいて行なう。

（特徴点としての部位候補抽出）
（１）閾値処理
制御部２０は、探索範囲を絞り込んだ各ボクセルについて、周囲のボクセルを含めたボクセルの集合を考える。ここでは、図６に示すように、周囲１ボクセルを含めた３×３×３のボクセルとする。ここで、当該ボクセルのボクセル値の合計が閾値未満の場合、候補から除外する。

（２）連続性チェック
制御部２０は、（１）の閾値処理で抽出した各ボクセルについて、図７に示すように、起点Ｐとの間をＸ［ｍｍ］間隔で、（１）と同じ領域（３×３×３のボクセル）を考え、全ての位置でボクセル値の合計が閾値以上の場合、当該ボクセルを部位候補とする。ただし、腕時計等、ＴＯＦカメラで情報が取得できない可能性がある装着物を考慮して、起点Ｐとの間でボクセル値の閾値を満たさない点が存在しても許容できるよう、許容ギャップ数を定義する。例えば、許容ギャップ数が１の場合、閾値を満たさない点が１つまでなら連続性があると判定する。

図８は、各部位検出におけるパラメータ設定の例であり、以下に示す各部位の検出は、これらのパラメータに基づいて実行される。上記示した（１）閾値処理、（２）連続性チェックは、部位検出共通ロジックとして各部位の検出に使用される。なお、単位立方体サイズは、密度計算に利用するボクセルの立方体サイズである。また、密度閾値は、終端候補の棄却、連続性の確認に利用する密度の閾値である。また、連続性ステップ長は、連続性確認時に単位立方体をずらしていく際の中心ボクセル間の幅である。また、許容ギャップ数は、連続性確認時に許容する、密度が閾値以下だったステップの数である。

（肩検出）
制御部２０は、検出あるいは特定した頭部位置から首位置を算出する。ここでは、頭部位置の座標から真下にオフセットした点を首位置とする。オフセット値は例えば１００ｍｍとする。前部位起点を頭部位置、起点Ｐを首位置として、部位検出共通ロジックを用いて肩候補を抽出する。ただし、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしない。首位置より左側（−ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置、右肩位置とする。

（肘検出）
制御部２０は、前部位起点を首位置、起点を肩位置として、部位検出共通ロジックを用いて肘候補を抽出する。制御部２０は、連続性チェックを行なう。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。抽出した肘候補の重心を肘位置とする。左肩を起点とした位置を左肘、右肩を起点とした位置を右肘とする。

（手首検出）
制御部２０は、前部位起点を肩位置、起点を肘位置として、部位検出共通ロジックを用いて手首候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。抽出した手首候補の重心を手首位置とする。左肘を起点とした位置を左手首、右肘を起点とした位置を右手首とする。

（手検出）
制御部２０は、前部位起点を肘位置、起点を手首位置として、部位検出共通ロジックを用いて手候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。抽出した手候補の重心を手位置とする。左手首を起点とした位置を左手、右手首を起点とした位置を右手とする。

（補完処理、未検出時の対応）
制御部２０は、各部位が特徴点として未検出の場合（肩が隠れた時、手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。

（補正処理）
上記説明した、肩検出、肘検出、手首検出、手検出の後に、次に示すような補正処理を実行する。この補正処理は、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正するものである。この関節モデルは、関節間の距離、及び関節を結ぶ線分の為す角の少なくとも一方である。すなわち、肩、肘、手首、手の検出結果を、図９に示すように、スケルトンモデル定義で規定される各部の比率で算出し直して検出位置のずれを補正するものである。

各部位の長さの比率を、図１（ｂ）で示したスケルトンモデル定義から算出しておく。上腕、前腕、手の比を次のようにする。
上腕：前腕：手＝（上腕最大長さ−上腕最小長さ）／２
：（前腕最大長さ−前腕最小長さ）／２
：（手最大長さ−手最小長さ）／４
なお、手のモデル長さは指先までのため、半分の長さとする。腕全体の長さを、検出した肩から手の長さから算出しておく（肩〜肘、肘〜手首、手首〜手の長さの和）。
上記算出後に、図１１に示すように、以下の（Ａ）〜（Ｃ）の手順で肘位置、手首位置を補正する。
（Ａ）検出した腕全体の長さとモデルから算出した部位の長さの比率から肘位置を補正する。長さは「腕全体の長さ×上腕の比率」で求め、方向は肩から補正前の肘に向かう方向とする。
（Ｂ）同様に、手首位置を補正する。長さは、（腕全体の長さ−補正後の前腕の長さ）×前腕の比率／（前腕の比率＋手の比率）で求め、方向は補正後の肘から補正前の手首に向かう方向とする。
（Ｃ）補正後の手首位置から補正前の手の位置に向かう方向を手の方向とする。

（検証処理）
検証処理は、補正処理にて補正された特徴点、又は、補完処理にて補完された特徴点の妥当性を検証する処理である。図１（ｂ）で示したスケルトンモデルを適合して、本来存在すべき位置に、各特徴点が存在するかを検証することができる。検証処理の対象となる特徴点は、補正処理にて補正された特徴点、補完処理にて補完された特徴点であるが、補完処理は省略されていてもよい。

（処理装置１の動作）
図１０で示す本発明の実施の形態に係る処理装置１の動作を示すフローチャートに基づいて、説明する。制御部２０は、フローチャートに従って以下の演算、処理を実行する。

（前処理、Ｓｔｅｐ１）
制御部２０には、ＴＯＦカメラ１０からのカメラ画像が入力される。このカメラ画像は、連続するフレーム画像の１フレームとして入力される。制御部２０は、特徴点検出処理の前処理として、カメラ画像を車両座標系へ変換して、図３に示すような３次元画素群を抽出する。また、ボクセル作成パラメータ設定例に基づいてボクセルを作成する。また、特徴点探索の基準となる頭部の検出、特定を行なう。

（肩の検出、Ｓｔｅｐ２）
制御部２０は、図１１に示すように、基準となる規定された１つの特徴点である、頭部位置３００から、所定の距離だけオフセットした点を首位置３０５として算出する。起点を首位置３０５として、部位検出共通ロジックを用いて肩候補を抽出する。図１１に示すように、首位置より左側（−ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置３１１、右肩位置３１０とする。

（Ｓｔｅｐ３）
制御部２０は、肩の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肩の検出に成功したかどうかを判断することができる。ただし、肩の検出に限って、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしないものとする。肩の検出に成功した場合は、Ｓｔｅｐ５へ進み（Ｓｔｅｐ３：Ｙｅｓ）、肩の検出に成功しない場合は、Ｓｔｅｐ４へ進む（Ｓｔｅｐ３：Ｎｏ）。

（補完処理、Ｓｔｅｐ４）
制御部２０は、肩の部位が未検出の場合（肩が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。

（肘の検出、Ｓｔｅｐ５）
制御部２０は、前部位起点を首位置３０５、起点を肩位置３１０、３１１として、部位検出共通ロジックを用いて肘候補を抽出する。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。抽出した肘候補の重心を肘位置とする。図１１に示すように、左肩を起点とした位置を左肘３２１、右肩を起点とした位置を右肘３２０とする。

（Ｓｔｅｐ６）
制御部２０は、肘の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肘の検出に成功したかどうかを判断することができる。肘の検出に成功した場合は、Ｓｔｅｐ８へ進み（Ｓｔｅｐ６：Ｙｅｓ）、肘の検出に成功しない場合は、Ｓｔｅｐ７へ進む（Ｓｔｅｐ６：Ｎｏ）。

（補完処理、Ｓｔｅｐ７）
制御部２０は、肘の部位が未検出の場合（肘が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。

（手首の検出、Ｓｔｅｐ８）
制御部２０は、前部位起点を肩位置３１０、３１１、起点を肘位置３２０、３２１として、部位検出共通ロジックを用いて手首候補を抽出する。抽出した手首候補の重心を手首位置とする。図１１に示すように、左肘を起点とした位置を左手首３３１、右肘を起点とした位置を右手首３３０とする。

（Ｓｔｅｐ９）
制御部２０は、手首の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手首の検出に成功したかどうかを判断することができる。手首の検出に成功した場合は、Ｓｔｅｐ１１へ進み（Ｓｔｅｐ９：Ｙｅｓ）、手首の検出に成功しない場合は、Ｓｔｅｐ１０へ進む（Ｓｔｅｐ９：Ｎｏ）。

（補完処理、Ｓｔｅｐ１０）
制御部２０は、手首の部位が未検出の場合（手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。

（手の検出、Ｓｔｅｐ１１）
制御部２０は、前部位起点を肘位置３２０、３２１、起点を手首位置３３０、３３１として、部位検出共通ロジックを用いて手候補を抽出する。抽出した手候補の重心を手位置とする。図１１に示すように、左手首を起点とした位置を左手３４１、右手首を起点とした位置を右手３４０とする。

（Ｓｔｅｐ１２）
制御部２０は、手の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手の検出に成功したかどうかを判断することができる。手の検出に成功した場合は、Ｓｔｅｐ１４へ進み（Ｓｔｅｐ１２：Ｙｅｓ）、手の検出に成功しない場合は、Ｓｔｅｐ１３へ進む（Ｓｔｅｐ１２：Ｎｏ）。

（補完処理、Ｓｔｅｐ１３）
制御部２０は、手の部位が未検出の場合（手が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。

（Ｓｔｅｐ１４）
制御部２０は、部位検出結果として、図１１に示すように、左右の肩、肘、手首、手の位置を出力することができる。なお、それぞれの位置は、車両座標系（ｗ，ｌ，ｈ）で出力されるが、座標変換により、カメラ座標系（ｘ，ｙ，ｚ）等の他の座標系での値としても出力可能である。

（補正処理、Ｓｔｅｐ１５）
上記説明した、肩検出、肘検出、手首検出、手検出の後に、補正処理を実行する。この補正処理は、肩、肘、手首、手の検出結果を、図９に示すように、スケルトンモデル定義で規定される各部の比率で算出し直して検出位置のずれを補正するものである。具体的には、上記説明した（Ａ）〜（Ｃ）の手順で補正処理を実行する。

補正処理を実行することにより、図１２（ａ）に示すような補正前の各部位（各特徴点）の位置における肘、手首の位置ずれが、図１２（ｂ）に示すように、補正後の各部位（各特徴点）の位置ずれが改善される。

（検証処理、Ｓｔｅｐ１６）
制御部２０は、補正処理にて補正された特徴点、又は、補完処理にて補完された特徴点の妥当性を検証する。図１（ｂ）で示したスケルトンモデルを適合して、本来存在すべき位置に、各特徴点が存在するかを検証する。検証処理の対象となる特徴点は、補正処理にて補正された特徴点、補完処理にて補完された特徴点である。

検証処理を行なうことにより、図１３（ａ）に示すような左手首を補完した結果、考えにくい姿勢として検出された検出結果が、図１３（ｂ）に示すように、左手首を棄却し、正しい姿勢として検出されたことがわかる。

（プログラムとしての実施形態）
コンピュータに、処理装置１で示した、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員５の特徴点を少なくとも１つ検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。

処理装置１の動作で説明したＳｔｅｐ１が距離画像を取得する取得ステップの一例であり、Ｓｔｅｐ２からＳｔｅｐ１６が特定処理を実行する制御ステップの一例であり、図１０で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。

また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る処理装置は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員５の特徴点を少なくとも１つ検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御部２０と、を有して構成されている。これにより、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。
（２）スケルトンモデル情報を活用して検出結果を検証、補正することで、より精度の良い姿勢検出が可能となる。
（３）検出された部位の検出位置を補正することで、より精度の良い部位検出が可能となる。
（４）部位未検出時の補完処理を検証することで、検出結果の妥当性が判定可能となる。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。

例えば、カメラ設置位置、角度は上記説明で示した例に限らない。また、カメラはＴＯＦカメラに限らない。また、ステレオカメラ等、他の距離センサでもよい。また、スケルトンモデルの定義で示したパラメータはそれに限らない。また、補完処理はここで示した例に限らない。また、検出する部位は肩、肘、手首、手に限らない。例えば、肩、肘、手としてもよい。また、首位置の算出は上記した方法に限らない。例えば、頭部の傾きを考慮した算出方法としてもよい。

また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…処理装置、５…乗員、８…車両、１０…ＴＯＦカメラ、２０…制御部、２０３…腰骨位置、２５０…母線、３００…頭部位置、３０５…首位置、３１０、３１１…肩位置、３２０、３２１…肘位置、３３０、３３１…手首位置、３４０、３４１…手位置、Ｐ…起点

Claims (10)

1. 車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部と、
   前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、前記乗員の特徴点を少なくとも１つ検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御部と
   を有する処理装置。
2. 前記関節モデルは、前記関節間の距離、及び関節を結ぶ線分の為す角の少なくとも一方である、請求項１に記載の処理装置。
3. 前記補正された特徴点の位置を、正規な特徴点の位置とする、請求項１又は２に記載の処理装置。
4. 前記制御部は、前記補正処理にて補正された前記特徴点の妥当性を検証する検証処理を実行する、請求項１から請求項３までのいずれか１項に記載の処理装置。
5. 前記制御部は、未検出である特徴点を補完する補完処理を実行し、更に、当該補完処理にて補完した特徴点について前記検証処理を実行する、請求項４に記載の処理装置。
6. 車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、
   前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、前記乗員の特徴点を少なくとも１つ検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造に基づく各関節の位置関係を示す関節モデルに従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラム。
7. 前記制御ステップにおいて、前記関節モデルは、前記関節間の距離、及び関節を結ぶ線分の為す角の少なくとも一方である、請求項６に記載のプログラム。
8. 前記制御ステップにおいて、前記補正された特徴点の位置を、正規な特徴点の位置とする、請求項６又は７に記載のプログラム。
9. 前記制御ステップは、前記補正処理にて補正された前記特徴点の妥当性を検証する検証処理を実行する、請求項６から８までのいずれか１項に記載のプログラム。
10. 前記制御ステップは、前未検出である特徴点を補完する補完処理を実行し、更に、当該補完処理にて補完した特徴点について前記検証処理を実行する、請求項９に記載のプログラム。