JP2010211705A - 乗員姿勢推定装置 - Google Patents

Abstract

【課題】簡易な構成で車室内の乗員の姿勢推定精度を向上させることができる乗員姿勢推定装置を提供する。
【解決手段】乗員姿勢推定装置において、乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルを作成（Ｓ１０５）し、車室カメラ１０で取得した画像から車室内の乗員を抽出し、抽出した画像から乗員の手の特徴点を検出し、検出した手の特徴点の位置から関節モデルの手の特徴点位置を設定する（Ｓ１１０）。同様に、関節モデルの肘及び肩の特徴点の位置を設定する（Ｓ１１５，Ｓ１２０）。また、車室カメラ１０で取得した画像から乗員に重なるシートベルト領域を検出（Ｓ１２５）し、検出した領域の画素値変化を検出し、検出した画素値変化に基づいて乗員の腕がシートベルト領域に重なった際のシートベルト領域における腕の位置を検出し、その腕の位置に、手、肘及び肩の特徴点位置が適合するように手、肘及び肩の特徴点位置を補正する。
【選択図】図２

Description

本発明は、車両の乗員の姿勢を推定するための装置に関する。

従来、人体を撮影した画像から肩、肘、手といった人体特徴点を検出することで、人体の姿勢を推定する方法が知られている。このような方法を利用して、車室内の乗員の人体特徴点を検出し操作行動を推定する方法も存在する。

ここで、車室内の乗員の動作空間は三次元であるため、二次元で撮影した単眼画像から車室内の乗員の人体特徴点の検出を行うと、腕が自身の上半身前面にある場合や頭の背後にある場合には、腕の部分が頭や胴の部分に隠れてしまう、いわゆる自己遮蔽が発生する。自己遮蔽が発生した場合には、画像から腕領域の識別ができなくなり、検出に失敗する場合がある。

このような問題に対し、車室内に複数のカメラを設置し、車室内の乗員の三次元の映像を取得し、取得した三次元画像から腕部分の検出を行う方法（例えば、特許文献１参照）や、車室内に３Ｄカメラを設置し車室内の乗員の三次元画像から腕部分の検出を行う方法（例えば、特許文献２参照）で対策が可能である。

特開２００８−８４１４１号公報 特開２００８−２８３８号公報

ところが、上記検出方法では車室内の乗員の姿勢を推定する際に自己遮蔽が生じた場合でも姿勢推定を可能とするために、車室内に複数のカメラを配置したり、従来車両に装着されていない特殊な３Ｄカメラが必要となったりする。また、三次元映像から乗員の腕部分を検出するため画像処理が複雑となる。つまり、上記検出方法では、乗員に姿勢推定装置の構成が複雑で、コストが増加するという問題があった。

本発明は、こうした問題に鑑みなされたもので、簡易な構成で車室内の乗員の姿勢推定精度を向上させることができる乗員姿勢推定装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の乗員姿勢推定装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、モデル作成手段（Ｓ１０５）、手検出手段（Ｓ１１０）、肘検出手段（Ｓ１１５）、肩検出手段（Ｓ１２０）、シートベルト検出手段（Ｓ１２５）及び補正手段（Ｓ１３５）を備えている。

画像取得手段（１０）は、車室内の画像を取得し、モデル作成手段（Ｓ１０５）は、車室内の乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルを作成し、手検出手段（Ｓ１１０）は、画像取得手段（１０）で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の手の特徴点を検出し、検出した手の特徴点の位置からモデル作成手段（Ｓ１０５）で作成した関節モデルの手の特徴点位置を設定する。

肘検出手段（Ｓ１１５）は、画像取得手段（１０）で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の肘の特徴点を検出し、検出した肘の特徴点の位置からモデル作成手段（Ｓ１０５）で作成した関節モデルの肘の特徴点位置を設定する。

肩検出手段（Ｓ１２０）は、画像取得手段（１０）で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の肩の特徴点を検出し、検出した肩の特徴点の位置からモデル作成手段（Ｓ１０５）で作成した関節モデルの肩の特徴点位置を設定する。

シートベルト検出手段（Ｓ１２５）は、画像取得手段（１０）で取得した画像から乗員に重なるシートベルト領域を検出する。
補正手段（Ｓ１３５）は、シートベルト検出手段（Ｓ１２５）で検出したシートベルト領域の画素値変化を検出し、検出した画素値変化に基づいて乗員の腕がシートベルト領域に重なっている部分の位置を検出し、検出した腕の位置に、手検出手段（Ｓ１１０）、肘検出手段（Ｓ１１５）及び肩検出手段（Ｓ１２０）で設定した関節モデルの手、肘及び肩の特徴点位置が適合するように、関節モデルの手、肘及び肩の特徴点位置を補正する。

このような乗員姿勢推定装置（１）では、上半身部分と手、肘及び肩の特徴点により形成される関節モデルが作成され、画像取得手段（１０）で取得された画像から抽出された乗員の手、肘及び肩の特徴点が検出され、検出された各特徴点の位置から関節モデルの手、肘及び肩の特徴点の位置が設定される。また、車室内の画像から乗員に重なるシートベルト領域が検出される。

そして、シートベルト領域の画素値変化に基づいて、乗員の腕がシートベルト領域に重なる部分が検出され、検出された乗員の腕がシートベルト領域に重なる領域に、関節モデルの手、肘及び肩の特徴点位置が適合するように、関節モデルの手、肘及び肩の特徴点位置が補正される。

つまり、車室内の乗員には、シートベルト（６０）の着用が義務付けられているので、乗員の腕が自身の上半身前面にある場合の自己遮蔽が生じた場合には、腕がシートベルト領域に重なることになる。

腕がシートベルト領域に重なると、シートベルト領域の画素値が変化するので、シートベルト領域の画素値変化を検出すれば、腕がシートベルト領域に重なっている部分の位置を検出できる。

そして、車室内画像から抽出した画像から作成された関節モデルの腕の位置が、自己遮蔽により本来あるべき位置からずれていても、シートベルト領域における腕の位置に対応するように関節モデルの手、肘及び肩の特徴点の位置を補正すれば、自己遮蔽が生じている際の手特徴点検出、肘特徴点検出と肩特徴点検出の精度を向上させることができる。

つまり、１つの画像取得手段（１０）を用いるだけの簡易な構成で車室内の乗員の姿勢推定精度を向上させることができる乗員姿勢推定装置（１）とすることができる。
ところで、シートベルト検出手段（Ｓ１２５）で検出したシートベルト領域の画素値変化を検出するには、オプティカルフローを利用する方法がある。オプティカルフローを利用する方法として、関節モデルの身体部位を一つの領域とみなしてオプティカルフローを算出するといった、関節モデルを中心に算出を行う方法と、処理対象画像を小領域に分けて各領域すべてに対してオプティカルフローを算出するという方法（空間的局所最適化法）に大別される。

関節モデルを中心にオプティカルフローを算出した場合、手が上半身前面に移動し自己遮蔽が発生した場合に、正確にオプティカルフローを算出できない。また、画像全体を小領域に分けてオプティカルフローを算出した場合、乗員の動作とは関係ない無駄な計算処理が増加しかつ、手が上半身前面に移動し自己遮蔽が発生した場合、画素値の差が現れず、正確にオプティカルフローを算出できない。

そこで、請求項２に記載のように、シートベルト検出手段（Ｓ１２５）で検出したシートベルト領域を小領域に分割し、分割した小領域ごとのオプティカルフローを算出することにより、小領域の速度ベクトルの算出を行う速度算出手段（Ｓ１３０）を備え、補正手段（Ｓ１３５）は、さらに、関節モデルの腕がシートベルト領域内を通過する際に、速度算出手段（Ｓ１３０）により算出した速度ベクトルに基づき、関節モデルの特徴点位置を補正するようにするとよい。

このようにすると、オプティカルフローの算出をシートベルト領域に限定し、シートベルト領域を小領域に分割してオプティカルフローを算出することで、無駄な計算処理を排除することができる。また、腕がシートベルト（６０）上を通過した際には明瞭な画素値変化があらわれることを利用して、腕の正確なオプティカルフローを算出し、算出した値で腕の動作(腕の関節モデルの動作)の補正を行うことができる。

また、乗員がシートベルト（６０）を着用しているときに腕が乗員の胴体部分に隠れるという自己遮蔽が発生する場合には、乗員の腕がシートベルト領域に重なって、腕がシートベルト領域を切断することになる。

そこで、請求項３に記載のように、シートベルト検出手段（Ｓ１２５）で検出したシートベルト領域を腕が切断する領域を検出するシートベルト切断領域検出手段（Ｓ２２０）を備え、補正手段（Ｓ１３５）は、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト領域における腕の位置に、関節モデルの手、肘及び肩の特徴点が適合するように、関節モデルの特徴点位置を補正するようにしてもよい。

このようにすると、例えば、シートベルト領域を二値化処理して得られるエッジ量や画素値の変化、あるいは、シートベルト領域の前画像との比較などによりシートベルト領域を腕が切断する領域を容易に検出することができる。したがって、検出した腕の位置に、関節モデルの手、肘及び肩の特徴点が適合するように、関節モデルの特徴点位置を補正することにより、特徴点位置の補正精度を向上させることができる。

また、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト切断領域における腕の位置に、関節モデルの手、肘及び肩の特徴点が適合するように、関節モデルの特徴点位置を補正する方法としては、請求項４に記載のように、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト切断領域と関節モデルの腕領域との被覆領域を算出し、算出した被覆領域が最大となるように、関節モデルの特徴点位置を補正するとよい。

このようにすると、腕がシートベルトを切断する際に、腕がシートベルト（６０）を覆う被覆領域が最大となるように、関節モデルの特徴点が補正されるので、関節モデルにおける手、肘及び肩の特徴点の位置精度が向上する。なお、シートベルト切断領域と関節モデルの腕の被覆領域は、両領域の画素の論理積をとれば算出することができる。

また、関節モデルの特徴点位置の補正においてシートベルト被覆領域が最大となった場合であっても、シートベルト（６０）の方向に腕が少しずれたり、腕の傾きが多少異なっていたりしている場合がある。

そこで、より正確な補正を可能とするため、請求項５に記載のように、補正手段（Ｓ１３５）は、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト切断領域の、シートベルト（６０）を横断する方向の両端部、換言すれば、腕の長さ方向の両側端部が形成する２本の線分の位置と傾きを算出し、算出した２本の線分の位置を傾きとに適合するように、関節モデルの特徴点位置をさらに補正する。

このようにすると、さらに正確な関節モデルの特徴点の補正が可能となる。つまり、腕がシートベルト（６０）に重なると、腕の両端部分によって、シートベルト（６０）を横切るように２本の線分が形成される。

したがって、その２本の線分の位置と傾きを算出し、関節モデルの腕の位置と傾きとが、算出した２本の線分の位置と傾きとに適合するように関節モデルの特徴点位置を補正すれば、関節モデルの特徴点をより正確に補正できる。

なお、２本の線分の位置と傾きとは、入力画像のエッジの解析、画素値の解析や算出済みのシートベルト領域との比較等により算出すればよい。
ところで、シートベルト（６０）が乗員の腕以外、例えばネクタイなどにより切断される場合や腕の前回推定位置が本来の腕の位置から大きくずれている場合がある。そのような場合には、シートベルト切断領域の重心と関節モデルの腕の重心位置との間の距離が大きくなる。

そこで、請求項６に記載のように、重心距離判定手段（Ｓ２３５，Ｓ２４０）、被覆領域算出手段（Ｓ２３０）、上半身矩形算出手段（Ｓ２６０）及び補正手段（Ｓ１３５）を備えるようにするとよい。

ここで、重心距離判定手段（Ｓ２３５，Ｓ２４０）は、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト切断領域の重心と関節モデルの腕領域の重心間距離を算出し、算出した重心間距離が所定の閾値以上か否かを判定する。

被覆領域算出手段（Ｓ２３０）は、画像取得手段（１０）で取得した画像から乗員の領域のみを抽出し、抽出した乗員の領域と関節モデルの腕との被覆領域を算出し、上半身矩形算出手段（Ｓ２６０）は、シートベルト領域を一つの対角線として乗員の上半身を囲む矩形である上半身矩形を算出する。

また、補正手段（Ｓ１３５）は、重心距離判定手段（Ｓ２３５，Ｓ２４０）により重心距離が所定の閾値以上と判定された場合には、被覆領域算出手段（Ｓ２３０）で算出された被覆領域が最大となるように、関節モデルの特徴点位置を補正し、さらに、関節モデルの腕の位置と傾きとが、切断線分算出手段（Ｓ２２５）で算出した２本の線分の位置と傾きとに適合するように、関節モデルの特徴点位置を補正する。

一方、所定の閾値より低いと判定された場合には、被覆領域算出手段（Ｓ２３０）で算出された被覆領域が最大となるように、関節モデルの特徴点位置を補正する。
さらに、被覆領域が最大となるように補正された特徴点のうち手の特徴点位置が上半身矩形算出手段（Ｓ２６０）で算出された上半身矩形内となった場合には、シートベルト切断領域検出手段（Ｓ２２０）で検出したシートベルト切断領域と関節モデルの腕領域との被覆領域（シートベルト被覆領域）を算出し、算出した被覆領域が最大となるように、関節モデルの特徴点位置を補正し、さらに、関節モデルの腕の位置と傾きとが、切断線分算出手段（Ｓ２２５）で算出した２本の線分の位置と傾きとに適合するように、関節モデルの特徴点位置を補正する。

このようにすれば、重心間距離が所定の閾値以上の場合、つまり、シートベルト切断領域が乗員の腕以外により発生したり、腕の前回推定位置が大幅にずれたりして、シートベルト切断領域の重心と関節モデルの腕の重心間距離が長くなった場合には、乗員の領域と関節モデルの腕との被覆領域が最大となるように各特徴点位置が補正され、補正された手の特徴点位置が上半身矩形内にあれば、補正は終了され、上半身矩形内になければ、シートベルト被覆領域が最大となるように補正された後、さらに、腕の位置と傾きが補正される。

一方、重心間距離が短い場合には、シートベルト被覆領域が最大となるように補正された後、さらに、腕の位置と傾きが補正される。
つまり、関節モデルの腕の位置が乗員のシートベルトから大きく外れていたり、他の物体がシートベルトに重なっていたりする場合と関節モデルの腕の位置がシートベルトに近い位置にある場合と特徴点の補正方法を変えているので、何れの場合でも、正確に特徴点の位置を補正することができる。したがって、乗員の姿勢を正確に推定することができる。

ところで、画像取得手段（１０）で取得した画像の画像処理を行う場合、取得する画像のコントラストが高い方が正確な画像処理結果が得られる。そこで、請求項７に記載のように、画像取得手段（１０）で車室内の画像を取得する際に車室内を照らす照明手段（５０）を備えようにするとよい。

このようにすると、車室内の画像を取得する際に車室内が照明で照らされるので、乗員やシートベルト（６０）のコントラストが高くなる。したがって、画像処理結果がより正確になる。

さらに、請求項８に記載のように、照明手段（５０）を、赤外線を照射する赤外線照明とし、照明手段（５０）が照射する波長領域の赤外線の吸収率が所定の値以上の素材を用いたシートベルト（６０）を備えるようにすると、夜間やトンネル内など車室内の照度が低い場合であっても所定のコントラストを有する画像が得られるので、正確な画像処理結果が得られる。

乗員姿勢推定装置１の概略の構成を示すブロック図である。 第１実施形態における制御処理の流れを示すフローチャートである。 車室カメラ１０で取得される乗員の前面画像と関節モデルの例である。 関節モデルの例及び手の特徴点を検出する方法を示す図である。 特徴点を検出する方法を示す図である。 乗員の上半身前面部分にシートベルトが重なっている画像とエッジ抽出によりシートベルト領域を検出した例を示す図である。 シートベルト領域を小領域に分割した例と分割した小領域部分のオプティカルフローを算出して得られた速度ベクトルの例を示す図である。 第２実施形態における制御処理の流れを示すフローチャートである。 第２実施形態における制御処理の流れを示すフローチャートである。 シートベルト切断領域検出処理（Ｓ２２０）における処理の例を示す図である。 切断線分算出処理（Ｓ２２５）における処理の例を示す図である。 被覆領域算出処理（Ｓ２３０）における処理の例を示す図である。 重心距離判定処理（Ｓ２３５，Ｓ２４０）における処理の例を示す図である。 重心距離判定処理（Ｓ２３５，Ｓ２４０）における処理の例を示す図である。 被覆領域算出処理（Ｓ２３０）で算出された被覆領域が最大となるように、関節モデルの特徴点位置を補正する補正処理の例を示す図である。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、本発明が適用された乗員姿勢推定装置１の概略の構成を示すブロック図である。乗員姿勢推定装置１は、図１に示すように、車室カメラ１０、照明装置５０及び制御装置２０を備えている。

車室カメラ１０は、車室内の画像を取得する１台の小型ＣＣＤカメラであり、車室の天井部分に車室内を撮影可能に、特に、車室内の乗員の体の前面を撮影可能に取り付けられている。なお、車室カメラ１０は、ＣＣＤカメラ以外にもＣＯＭＳなどの他の撮像素子を用いたものや撮像管を用いたカメラであってもよい。

照明装置５０は、車室カメラ１０で車室内の画像を取得する際に車室内を赤外線で照らす赤外線照明である。また、乗員が着座する車室内のシートに取り付けられたシートベルト６０（図６参照）は、照明装置５０が照射する波長領域の赤外線の吸収率が所定の値以上の素材を用いて作られている。

制御装置２０は、ＣＰＵ、ＧＰＵ（Graphic Processing Unitの略）、ＲＯＭ、ＲＡＭ及びＩ／Ｏを備えており、ＲＯＭに内蔵されたプログラムにより以下の（ア）〜（キ）に示す処理を実行する。

（ア）車室内の乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルを作成する（以下、この処理をモデル作成処理と呼ぶ）。
（イ）車室カメラ１０で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の手の特徴点を検出し、検出した手の特徴点の位置からモデル作成処理で作成した関節モデルの手の特徴点位置を設定する（以下、この処理を手検出処理と呼ぶ）。

（ウ）車室カメラ１０で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の肘の特徴点を検出し、検出した肘の特徴点の位置からモデル作成処理で作成した関節モデルの肘の特徴点位置を設定する（以下、この処理を肘検出処理と呼ぶ）。

（エ）車室カメラ１０で取得した画像から車室内の乗員を抽出し、抽出した乗員の画像から乗員の肩の特徴点を検出し、検出した肩の特徴点の位置からモデル作成処理で作成した関節モデルの肩の特徴点位置を設定する（以下、この処理を肩検出処理と呼ぶ）。

（オ）車室カメラ１０で取得した画像から乗員に重なるシートベルト領域を検出する（以下、この処理をシートベルト検出処理と呼ぶ）。
（カ）シートベルト検出処理で検出したシートベルト領域を小領域に分割し、分割した小領域ごとのオプティカルフローを算出することにより、小領域の速度ベクトルの算出を行う（以下、この処理を速度算出処理と呼ぶ）。

（キ）シートベルト検出処理で検出したシートベルト領域の画素値変化を検出し、検出した画素値変化に基づいて乗員の腕がシートベルト領域に重なった際のシートベルト領域における腕の位置を検出し、検出した腕の位置に、手検出処理、肘検出処理及び肩検出処理で設定した手、肘及び肩の特徴点位置が適合するように、手、肘及び肩の特徴点位置を補正する。

さらに、補正した特徴点の位置を、関節モデルの腕がシートベルト領域内を通過する際に、速度算出処理により算出した速度ベクトルに基づき補正する（以下、この処理を補正処理と呼ぶ）。

（制御処理）
次に、図２に基づき、制御装置２０で実行される制御処理について説明する。図２は、制御処理の流れを示すフローチャートである。

制御処理では、図２に示すように、Ｓ１００において車室カメラ１０から車室内の画像が取得される。このとき、車室カメラ１０は、車室内の乗員の体の前面を撮影可能に取り付けられているので、車室カメラ１０からは、乗員の前面画像が取得される。取得された画像の例を図３（ａ）に示す。

続くＳ１０５では、乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルが作成される。作成される関節モデルの例を図３（ｂ）及び図４（ａ）に示す。
続くＳ１１０では、Ｓ１００において取得された車室内の画像から車室内の乗員が抽出され、抽出された乗員の画像から乗員の手の特徴点が検出され、さらに、検出された手の特徴点の位置から、Ｓ１０５において作成された関節モデルの手の特徴点位置が設定される。

手の特徴点を検出する方法としては、図４（ｂ）に示すように、画像からエッジを抽出しその曲率を解析し特徴点位置を検出する方法 、図４（ｃ）に示すように、人物のシルエットを領域分割し特徴点位置を検出する方法 、図５（ａ）に示すように、ＨＯＧやｓｈａｐｅ ｃｏｎｔｅｘｔ といった局所特徴量を算出し特徴点位置を検出する方法、図５（ｂ）に示すように、現フレームと前フレーム間の特徴点位置の移動量の逐次推定・追跡を行い、特徴点位置を検出する方法（関節モデルの腕領域のオプティカルフローを算出し特徴点位置を検出する方法）や図５（ｃ）に示すようにパーティクルフィルタにより特徴点位置を検出する方法など複数の方法がある。

続くＳ１１５では、Ｓ１００において取得された車室内の画像から車室内の乗員が抽出され、抽出された乗員の画像から乗員の肘の特徴点が検出され、さらに、検出された肘の特徴点の位置から、Ｓ１０５において作成された関節モデルの肘の特徴点位置が設定される。肘の特徴点位置の検出方法は、手の検出方法と同じであるので説明は省略する。

続くＳ１２０では、Ｓ１００において取得された車室内の画像から車室内の乗員が抽出され、抽出された乗員の画像から乗員の肩の特徴点が検出され、さらに、検出された肩の特徴点の位置から、Ｓ１０５において作成された関節モデルの肩の特徴点位置が設定される。肩の特徴点位置の検出方法は、肩の検出方法と同じであるので説明は省略する。

続くＳ１２５では、車室カメラ１０で取得した画像から乗員に重なるシートベルト領域が検出される。図６にシートベルト領域検出の例を示す。
図６（ａ）に示すような乗員の上半身前面部分にシートベルトが重なっている画像のエッジを抽出することによりシートベルト領域（図６（ａ）中「Ａ」で示す部分）が検出される。エッジ抽出によりシートベルト領域を検出した例を図６（ｂ）に示す。

エッジ抽出以外にも、画素値の解析やシートベルト未装着時の画像との差分を算出するなどの方法でもシートベルト領域を検出することができる。
続くＳ１３０では、Ｓ１２５において検出したシートベルト領域を小領域に分割し、分割した小領域ごとのオプティカルフローを算出することにより、小領域の速度ベクトルの算出を行う。

図７にオプティカルフローの例を示す。図７（ａ）にシートベルト領域を小領域に分割した例を示す。図７（ａ）に示すように分割した小領域部分（図７（ａ）中「Ｂ」に示す部分）のオプティカルフローを算出すると、乗員の腕がシートベルト領域を通過した場合には、図７（ｂ）に示すように小領域には、速度ベクトル（図７（ｂ）中矢印で示す）が現れる。

続くＳ１３５では、Ｓ１２５において検出したシートベルト領域の画素値変化を検出し、検出した画素値変化に基づいて乗員の腕がシートベルト領域に重なった際のシートベルト領域における腕の位置を検出する。

そして、検出した腕の位置に、Ｓ１１０、Ｓ１１５、Ｓ１２０において設定された関節モデルの手、肘及び肩の特徴点位置が適合するように、手、肘及び肩の特徴点位置を補正する。

さらに、補正した関節モデルの手、肘及び肩の特徴点位置を、腕がシートベルト領域内を通過する際に、Ｓ１３０において算出された速度ベクトルに基づき、補正する。このように補正した関節モデル（図７（ｂ）中「Ｃ」で示す）結果を図７（ｂ）に示す。

（乗員姿勢推定装置１の特徴）
このような乗員姿勢推定装置１では、上半身部分と手、肘及び肩の特徴点により形成される関節モデルが作成され、車室カメラ１０で取得された画像から抽出された乗員の手、肘及び肩の特徴点が検出され、検出された各特徴点の位置から関節モデルの手、肘及び肩の特徴点の位置が設定される。また、車室内の画像から乗員に重なるシートベルト領域が検出される。

そして、シートベルト領域の画素値変化に基づいて、乗員の腕がシートベルト領域に重なる領域が検出され、検出された乗員の腕がシートベルト領域に重なる領域に、関節モデルの手、肘及び肩の特徴点位置が適合するように、関節モデルの手、肘及び肩の特徴点位置が補正される。

つまり、車室内の乗員には、シートベルト６０の着用が義務付けられているので、乗員の腕が自身の上半身前面にある場合の自己遮蔽が生じた場合には、腕がシートベルト領域に重なることになる。

腕がシートベルト領域に重なると、シートベルト領域の画素値が変化するので、シートベルト領域の画素値変化を検出すれば、腕がシートベルト領域に重なった際のシートベルト領域における腕の位置を検出できる。

そして、車室内画像から抽出した画像から作成された関節モデルの腕の位置が、自己遮蔽により本来あるべき位置からずれていても、シートベルト領域における腕の位置に対応するように関節モデルの手、肘及び肩の特徴点の位置を補正すれば、自己遮蔽が生じている際の手特徴点検出、肘特徴点検出と肩特徴点検出の精度を向上させることができる。

つまり、１台の車室カメラ１０を用いるだけの簡易な構成で車室内の乗員の姿勢推定精度を向上させることができる乗員姿勢推定装置１とすることができる。
また、シートベルト領域を小領域に分割し、分割した小領域ごとのオプティカルフローを算出することにより、小領域の速度ベクトルの算出し、関節モデルの腕がシートベルト領域内を通過する際に、速度ベクトルに基づき、関節モデルの特徴点位置を補正している。

このように、オプティカルフローの算出をシートベルト領域に限定し、シートベルト領域を小領域に分割してオプティカルフローを算出することで、無駄な計算処理を排除し、腕がシートベルト６０上を通過した際には明瞭な画素値変化があらわれることを利用して、腕の正確なオプティカルフローを算出し、その値で腕の動作(腕の関節モデルの動作)の補正を行うことができる。

車室カメラ１０で車室内の画像を取得する際に照明装置５０で車室内を照らしているので、乗員やシートベルト６０のコントラストが高くなる。したがって、画像処理結果がより正確になる。

さらに、照明装置５０が、赤外線を照射する赤外線照明であり、かつ、照明装置５０が照射する波長領域の赤外線の吸収率が所定の値以上の素材を用いたシートベルト６０を備えているので、夜間やトンネル内など車室内の照度が低い場合であっても所定のコントラストを有する画像が得られる。したがって、正確な画像処理結果が得られる。
［第２実施形態］
次に、第１実施形態における関節モデルの補正方法を変更した第２実施形態について説明する。なお、第２実施形態の乗員姿勢推定装置１の構成は第１実施形態のものと同じであるので、構成の説明は省略し、制御装置２０で実行される制御処理の内容が異なるのみであるので、制御処理について説明する。

第２実施形態の制御処理では、以下の（ク）〜（チ）の処理が実行される。
（ク）シートベルト検出処理が検出したシートベルト領域を腕が切断する領域を検出する（以下、この処理をシートベルト切断領域検出処理と呼ぶ）。

（ケ）シートベルト切断領域検出処理が検出したシートベルト切断領域の、シートベルト６０を横断する方向の両端部が形成する２本の線分の位置と傾きを算出する（以下、この処理を切断線分算出処理と呼ぶ）。

（コ）シートベルト切断領域検出処理で検出したシートベルト切断領域の重心と関節モデルの腕領域の重心間距離を算出し、算出した重心間距離が所定の閾値以上か否かを判定する（以下、この処理を重心距離判定処理と呼ぶ）。

（サ）車室カメラ１０で取得した画像から乗員の領域のみを抽出し、抽出した乗員の領域と関節モデルの腕との被覆領域を算出する（以下、この処理を被覆領域算出処理と呼ぶ）。

（シ）シートベルト領域を一つの対角線として乗員の上半身を囲む矩形である上半身矩形を算出する（以下、この処理を上半身矩形算出処理と呼ぶ）。
（ス）重心距離判定処理により重心距離が所定の閾値以上と判定された場合には、シートベルト切断領域検出処理で検出されたシートベルト切断領域と関節モデルの腕領域との被覆領域を算出し、算出した被覆領域が最大となるように、関節モデルの特徴点位置を補正する。

（セ）さらに、関節モデルの腕の位置と傾きとが、切断線分算出処理で算出した２本の線分の位置と傾きとに適合するように、関節モデルの特徴点位置を補正する。
（ソ）重心距離が所定の閾値より低いと判定された場合には、被覆領域算出処理で算出された被覆領域が最大となるように、関節モデルの特徴点位置を補正する。

（タ）さらに、被覆領域が最大となるように補正された特徴点のうち手の特徴点位置が上半身矩形算出処理で算出された上半身矩形内となった場合には、シートベルト切断領域検出処理で検出したシートベルト切断領域と関節モデルの腕領域との被覆領域を算出し、算出した被覆領域が最大となるように、関節モデルの特徴点位置を補正する。

（チ）さらに、関節モデルの腕の位置と傾きとが、切断線分算出処理で算出した２本の線分の位置と傾きとに適合するように、関節モデルの特徴点位置を補正する。
（制御処理）
次に、図８に基づき第２実施形態における制御装置２０で実行される制御処理について説明する。図８は、第２実施形態における制御処理の流れを示すフローチャートである。

第２実施形態における制御処理では、図８に示すようにＳ２００において、Ｓ１００と同様にして車室カメラ１０から車室内の画像が取得され、続くＳ２０５では、Ｓ１０５と同様にして乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルが作成される。

続くＳ２１０では、Ｓ１１０〜１２０と同様にして、Ｓ２００において取得された車室内の画像から車室内の乗員が抽出され、抽出された乗員の画像から乗員の手、肘及び肩の特徴点が検出される。

さらに、検出された手、肘及び肩の特徴点の位置から、Ｓ２０５において作成された関節モデルの手、肘及び肩の特徴点位置が設定される。手、肘及び肩の特徴点を検出する方法は、Ｓ１１０〜１２０に記載の方法と同じであるので説明は省略する。

続くＳ２１５では、Ｓ１２５と同様に、車室カメラ１０から取得された画像から乗員に重なるシートベルト領域が検出され、続くＳ２２０では、Ｓ２１５において検出されたシートベルト領域を腕が切断する領域が検出される。

Ｓ２２０における処理の例を図１０に示す。Ｓ２００において取得された車室内画像の例を図１０（ａ）に示す。この図１０（ａ）において四角で囲んだ部分（図１０（ａ）中「Ｄ］で示す部分）がシートベルト切断領域である。

図１０（ａ）の画像を二値化したものを図１０（ｂ）に示す。図１０（ｂ）において四角で囲んだ部分（図１０（ｂ）中「Ｄ」で示す部分）がシートベルト切断領域である。図１０（ｂ）に示す二値化画像からエッジ解析により腕がシートベルトを切断する領域を検出する。

シートベルト切断領域の処理結果の例を図１０（ｃ）に示す。図１０（ｃ）において四角で囲んだ部分（図１０（ｃ）中「Ｄ」で示す部分）がシートベルト切断領域となる。
なお、シートベルト切断領域は、エッジ解析以外にも、画素値の解析や検出済みのシートベルト領域の前画像と現画像との比較によってもよい。

続くＳ２２５では、Ｓ２２０において検出されたシートベルト切断領域の、シートベルト６０を横断する方向の両端部が形成する２本の線分の位置と傾きが算出される。
Ｓ２２５における処理の例を図１１に示す。Ｓ２００において取得された車室内画像を二値化した例を図１１（ａ）に示す。この図１１（ａ）の画像のエッジ解析によりシートベルト領域を切断する２本の線分（図１１（ａ）中「Ｅ」で示す部分）が算出される。そして、図１１（ｂ）に示すように、２本の線分（図１１（ｂ）中「Ｆ」で示す部分）の画像中の位置と傾きが算出される。

なお、「傾き」は、画像中の基準線に対する傾きであればよく、例えば、仮想の水平線に対する傾きであってもよいし、シートベルト領域のシートベルトの長さ方向に対する傾きであってもよい。

続くＳ２３０では、車室カメラ１０で取得した画像から乗員の領域のみが抽出され、抽出された乗員の領域と関節モデルの腕との被覆領域が算出される。
Ｓ２３０における処理の例を図１２に示す。Ｓ２００において取得された車室内画像から乗員の領域のみの背景差分により抽出した例を図１２（ａ）に示す。この抽出画像と関節モデルの腕との被覆領域、換言すれば、抽出した乗員の画像と関節モデルの腕とが重なった部分（図１２（ｂ）中「Ｇ」で示す部分）を算出した例を図１２（ｂ）に示す。

続くＳ２３５では、Ｓ２２０において検出されたシートベルト切断領域の重心と関節モデルの腕領域の重心間距離が算出される。
Ｓ２３５における処理の例を図１３に示す。図１３（ａ）及び図１３（ｂ）に、Ｓ２２０において検出されたシートベルト切断領域の例を示す。図１３（ａ）では、シートベルト６０を切断しているのは、乗員の腕ではなくネクタイ６２となっている。また、図１３（ｂ）では、前回の画像に基づき作成された関節モデルの腕の位置（図中「Ｈ］で示す位置）が、今回の腕の位置と大きくずれている場合を示している。

図１３（ａ）の場合には、ネクタイ６２がシートベルト６０を切断している領域の重心位置α、肩と肘の特徴点間の重心位置β及び肘と手の重心位置γが算出され、重心位置αと重心位置βの重心間距離及び重心位置αと重心位置γの重心間距離が算出される。

図１３（ｂ）の場合には、現在の腕がシートベルト６０を切断している領域の重心位置ｐ、肩と肘の特徴点間の重心位置ｑ及び肘と手の重心位置ｒが算出され、重心位置ｐと重心位置ｑの重心間距離及び重心位置ｐと重心位置ｒの重心間距離が算出される。

続くＳ２４０では、Ｓ２３５において算出された重心間距離が所定の閾値以上か否かが判定される。
Ｓ２４０における処理の例を図１４に示す。図１４（ａ）に示すように、腕以外のネクタイ６２などがシートベルト６０を切断している場合、図１４（ｃ）に示すように、前回の画像に基づき作成された関節モデルの腕の位置（図中「Ｄ］で示される位置）が、今回の腕の位置と大きくずれている場合、或いは、図１４（ｂ）に示すように、腕以外のものによるシートベルトの切断及び関節モデルと今回の腕の位置が大きくずれている状態が同時に発生している場合には、重心間距離が所定の閾値以上となる。

そして、重心距離が閾値以上と判定された場合（Ｓ２４０：Ｙｅｓ）、処理がＳ２５５へ移行され、閾値より低いと判定された場合（Ｓ２４０：Ｎｏ）、処理がＳ２４５へ移行される。

Ｓ２４５では、Ｓ２２０において算出されたシートベルト切断領域と関節モデルの腕領域との被覆領域（シートベルト被覆領域）、つまり、シートベルト切断領域と関節モデルの腕領域とが重なる部分が最大となるように、Ｓ２０５において作成した関節モデルの手、肘及び肩の特徴点の位置が移動されて補正される。

図１５にその例を示す。図１５（ａ）では、図中「Ｊ」で示す部分がシートベルト切断領域であり、図中「Ｋ」で示す部分が関節モデルの腕を示し、図中「Ｌ」で示す部分がシートベルト切断領域と関節モデルが重なる部分であるシートベルト被覆領域を示している。

図１５（ａ）中で「Ｌ」で示されるシートベルト被覆領域が最大となるように、図１５（ｂ）に矢印で示すように、関節モデルの肩、肘及び手の特徴点位置を移動させて特徴点の位置を補正する。

なお、シートベルト切断領域と関節モデルの腕の被覆領域は、両領域の画素の論理積をとれば算出することができる。
Ｓ２５０では、Ｓ２４５で補正した手、肘及び肩の特徴点の位置をさらに、Ｓ２２５において算出された切断線分の位置と傾きとに関節モデルの腕の両端が一致するように腕の位置と傾きとが移動され、補正される（図１１（ｂ）参照）。補正後、処理が終了される。

Ｓ２５５では、Ｓ２３０において算出された被覆領域が最大となるように、Ｓ２０５において作成した関節モデルの手、肘及び肩の特徴点の位置が移動されて補正される。図１４に補正の例を示す。

前述のように、図１４（ａ）に示した腕以外のネクタイ６２などがシートベルト６０を切断している場合に被覆領域が最大となるように、関節モデルの各特徴点の位置を移動させ補正した結果を図１４（ｄ）に示す。

また、図１４（ｃ）に示した前回の画像に基づき作成された関節モデルの腕の位置が、今回の腕の位置と大きくずれている場合に被覆領域が最大となるように、関節モデルの各特徴点の位置を移動させ補正した結果を図１４（ｆ）に示す。

さらに、図１４（ｂ）に示した腕以外のものによるシートベルトの切断及び関節モデルと今回の腕の位置が大きくずれている状態が同時に発生している場合に被覆領域が最大となるように、関節モデルの各特徴点の位置を移動させ補正した結果を図１４（ｅ）に示す。

続くＳ２６０では、シートベルト領域を一つの対角線として乗員の上半身を囲む矩形である上半身矩形が算出される。算出した上半身矩形の例を図１４（ｆ）に示す。図１４（ｆ）中「Ｍ］で示した矩形が、図１４（ｃ）に示す画像に対して上半身矩形を算出した例を示している。この例の場合、上半身矩形内に手の特徴点が存在する。

続くＳ２６５では、Ｓ２５５において補正された手の特徴点の位置がＳ２６０において算出された上半身矩形の内側にあるか否かが判定される。そして、手の特徴点の位置が上半身矩形の内側にあると判定された場合（Ｓ２６５：Ｙｅｓ）、処理がＳ２７０へ移行され。内側にないと判定された場合（Ｓ２６５：Ｎｏ）、処理が終了される。

Ｓ２７０では、Ｓ２４５と同様に、Ｓ２２０において算出されたシートベルト切断領域と関節モデルの腕領域との被覆領域（シートベルト被覆領域）、つまり、シートベルト切断領域と関節モデルの腕領域とが重なる部分が最大となるように、関節モデルの手、肘及び肩の特徴点の位置が移動されて補正される。

Ｓ２７５では、Ｓ２５０と同様に、Ｓ２７０で補正した手、肘及び肩の特徴点の位置をさらに、Ｓ２２５において算出された切断線分の位置と傾きとに関節モデルの腕の両端が一致するように腕の位置と傾きとが移動され、補正される（図１１（ｂ）参照）。補正後、処理が終了される。

このような、第２実施形態における乗員姿勢推定装置１では、シートベルト領域を二値化処理して得られるエッジ量や画素値の変化、あるいは、シートベルト領域の前画像との比較などによりシートベルト領域を腕が切断する領域を検出することができる。したがって、検出した腕の位置に基づいて、関節モデルの特徴点位置を補正することができる。

また、腕がシートベルト６０を覆う被覆領域が最大となるように、関節モデルの特徴点が補正されるので、関節モデルにおける手、肘及び肩の特徴点の位置精度が向上する。
さらに、腕がシートベルト６０に重なったときに腕の両端部分によって、シートベルト６０を横切るように形成される２本の線分の位置と傾きを算出し、関節モデルの腕の位置と傾きとが、算出した２本の線分の位置と傾きとに適合するように関節モデルの特徴点位置を補正しているので、関節モデルの特徴点をより正確に補正できる。

また、重心間距離が所定の閾値以上の場合、つまり、シートベルト切断領域が乗員の腕以外により発生したり、腕の前回推定位置が大幅にずれたりして、シートベルト切断領域の重心と関節モデルの腕の重心間距離が長くなった場合には、乗員の領域と関節モデルの腕との被覆領域が最大となるように各特徴点位置が補正され、補正された手の特徴点位置が上半身矩形内にあれば、補正は終了され、上半身矩形内になければ、シートベルト被覆領域が最大となるように補正された後、さらに、腕の位置と傾きが補正される。

一方、重心間距離が短い場合には、シートベルト被覆領域が最大となるように補正された後、さらに、腕の位置と傾きが補正される。
つまり、関節モデルの腕の位置が乗員のシートベルトから大きく外れていたり、他の物体がシートベルトに重なっていたりする場合と関節モデルの腕の位置がシートベルトに近い位置にある場合と特徴点の補正方法を変えているので、何れの場合でも、正確に特徴点の位置を補正することができる。したがって、乗員の姿勢を正確に推定することができる。
［その他の実施形態］
上記実施形態では、乗員の左腕のみを示しているが、右手でも同様である。また、上記実施形態では、ＲＯＭに格納したプログラムを１つのＣＰＵによって実行させることにより各処理を行っていたが、ＣＰＵの代わりに複数のＤＳＰを用い、各処理の内容を各のＤＳＰに割り当てて実行するようにしてもよい。

１…乗員姿勢推定装置、１０…車室カメラ、２０…制御装置、５０…照明装置、６０…シートベルト、６２…ネクタイ。

Claims (8)

1. 車室内の画像を取得する１つの画像取得手段と、
   前記車室内の乗員の上半身部分と手、肘及び肩の特徴点により形成される関節モデルを作成するモデル作成手段と、
   前記画像取得手段で取得した画像から車室内の乗員を抽出し、該抽出した乗員の画像から乗員の手の特徴点を検出し、該検出した手の特徴点の位置から前記モデル作成手段で作成した前記関節モデルの手の特徴点位置を設定する手検出手段と、
   前記画像取得手段で取得した画像から車室内の乗員を抽出し、該抽出した乗員の画像から乗員の肘の特徴点を検出し、該検出した肘の特徴点の位置から前記モデル作成手段で作成した前記関節モデルの肘の特徴点位置を設定する肘検出手段と、
   前記画像取得手段で取得した画像から車室内の乗員を抽出し、該抽出した乗員の画像から乗員の肩の特徴点を検出し、検出した肩の特徴点の位置から前記モデル作成手段で作成した前記関節モデルの肩の特徴点位置を設定する肩検出手段と、
   前記画像取得手段で取得した画像から前記乗員に重なるシートベルト領域を検出するシートベルト検出手段と、
   前記シートベルト検出手段で検出したシートベルト領域の画素値変化を検出し、該検出した画素値変化に基づいて前記乗員の腕が前記シートベルト領域に重なった際の前記シートベルト領域における腕の位置を検出し、該検出した腕の位置に、前記手検出手段、前記肘検出手段及び前記肩検出手段で設定した前記関節モデルの手、肘及び肩の特徴点位置が適合するように、前記関節モデルの手、肘及び肩の特徴点位置を補正する補正手段と、
   を備えたことを特徴とする乗員姿勢推定装置。
2. 請求項１に記載の乗員姿勢推定装置において、
   前記シートベルト検出手段で検出したシートベルト領域を小領域に分割し、該分割した小領域ごとのオプティカルフローを算出することにより、前記小領域の速度ベクトルの算出を行う速度算出手段を備え、
   前記補正手段は、
   さらに、前記関節モデルの腕がシートベルト領域内を通過する際に、前記速度算出手段により算出した速度ベクトルに基づき、前記関節モデルの特徴点位置を補正することを特徴とする乗員姿勢推定装置。
3. 請求項１に記載の乗員姿勢推定装置において、
   前記シートベルト検出手段で検出したシートベルト領域を腕が切断する領域を検出するシートベルト切断領域検出手段を備え、
   補正手段は、
   前記シートベルト切断領域検出手段で検出したシートベルト領域における腕の位置に、前記関節モデルの手、肘及び肩の特徴点が適合するように、前記関節モデルの特徴点位置を補正することを特徴とする乗員姿勢推定装置。
4. 請求項３に記載の乗員姿勢推定装置において、
   前記補正手段は、
   前記シートベルト切断領域検出手段で検出したシートベルト切断領域と前記関節モデルの腕との被覆領域を算出し、該算出した被覆領域が最大となるように、前記関節モデルの特徴点位置を補正することを特徴とする乗員姿勢推定装置。
5. 請求項４に記載の乗員姿勢推定装置において、
   前記シートベルト切断領域検出手段で検出したシートベルト切断領域の、前記シートベルトを横断する方向の両端部が形成する２本の線分の位置と傾きを算出する切断線分算出手段を備え、
   前記補正手段は、
   前記関節モデルの腕の位置と傾きとが、前記切断線分算出手段で算出した２本の線分の位置と傾きとに適合するように、前記関節モデルの特徴点位置をさらに補正することを特徴とする乗員姿勢推定装置。
6. 請求項５に記載の乗員姿勢推定装置において、
   前記シートベルト切断領域検出手段で検出したシートベルト切断領域の重心と関節モデルの腕領域の重心間距離を算出し、該算出した重心間距離が所定の閾値以上か否かを判定する重心距離判定手段と、
   前記画像取得手段で取得した画像から乗員の領域のみを抽出し、該抽出した乗員の領域と前記関節モデルの腕との被覆領域を算出する被覆領域算出手段と、
   前記シートベルト領域を一つの対角線として前記乗員の上半身を囲む矩形である上半身矩形を算出する上半身矩形算出手段と、
   を備え、
   前記補正手段は、
   前記重心距離判定手段により前記重心距離が前記所定の閾値以上と判定された場合には、前記被覆領域算出手段で算出された被覆領域が最大となるように、前記関節モデルの特徴点位置を補正し、
   さらに、前記関節モデルの腕の位置と傾きとが、前記切断線分算出手段で算出した２本の線分の位置と傾きとに適合するように、前記関節モデルの特徴点位置を補正し、
   前記所定の閾値より低いと判定された場合には、前記被覆領域算出手段で算出された被覆領域が最大となるように、前記関節モデルの特徴点位置を補正し、
   さらに、前記被覆領域が最大となるように補正された特徴点のうち手の特徴点位置が前記上半身矩形算出手段で算出された上半身矩形内となった場合には、
   前記シートベルト切断領域検出手段で検出したシートベルト切断領域と前記関節モデルの腕領域との被覆領域を算出し、該算出した被覆領域が最大となるように、前記関節モデルの特徴点位置を補正し、
   さらに、前記関節モデルの腕の位置と傾きとが、前記切断線分算出手段で算出した２本の線分の位置と傾きとに適合するように、前記関節モデルの特徴点位置を補正することを特徴とする乗員姿勢推定装置。
7. 請求項１〜請求項６の何れかに記載の乗員姿勢推定装置において、
   前記画像取得手段で車室内の画像を取得する際に前記車室内を照らす照明手段を備えていることを特徴とする乗員姿勢推定装置。
8. 請求項７に記載の乗員姿勢推定装置において、
   前記照明手段は、赤外線を照射する赤外線照明であり、
   前記照明手段が照射する波長領域の赤外線の吸収率が所定の値以上の素材を用いたシートベルトを備えていることを特徴とする乗員姿勢推定装置。