JP2021149441A - 画像処理装置、コンピュータプログラム、および異常推定システム - Google Patents

Abstract

【課題】撮像装置により取得された画像に基づいてなされる移動体の運転者の姿勢異常の推定の確からしさを高める。【解決手段】受付部１２１は、移動体の運転者が写り込んだ画像に対応する画像情報Ｉを繰り返し受け付ける。処理部１２２は、画像情報Ｉに基づいて運転者の姿勢が異常であるかを推定する。処理部１２２は、画像情報Ｉを受け付ける度に、画像に写り込んだ運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断し、当該可能性に対応するスコアを複数の異常姿勢の各々に付与する。処理部１２２は、複数の異常姿勢の少なくとも一つに付与されたスコアの代表値が閾値を上回る場合、運転者が当該少なくとも一つの異常姿勢をとっていると推定する。【選択図】図１

Description

本発明は、移動体の運転者が写り込んだ画像を処理する画像処理装置に関連する。本発明は、当該画像処理装置の処理部により実行可能なコンピュータプログラムにも関連する。本発明は、前記画像に基づいて前記運転者の姿勢が異常であるかを推定する異常推定システムにも関連する。

特許文献１は、移動体の一例としての車両の運転者の姿勢の異常を検知する技術を開示している。姿勢の異常は、当該車両に搭載された撮像装置により取得された当該運転者が写り込んだ画像に基づいて推定される。

特開２０１９−１０５８７２号公報

本発明の目的は、撮像装置により取得された画像に基づいてなされる移動体の運転者の姿勢異常の推定の確からしさを高めることである。

上記の目的を達成するための一態様は、画像処理装置であって、
移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し受け付ける受付部と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、前記画像情報を受け付ける度に、
前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断し、
前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与し、
前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定する。

上記の目的を達成するための一態様は、画像処理装置の処理部により実行可能なコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し受け付けさせ、
前記画像情報を受け付ける度に、
前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断させ、
前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与させ、
前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定させる。

上記の目的を達成するための一態様は、異常推定システムであって、
移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し出力する撮像装置と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、前記画像情報を受け付ける度に、
前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断し、
前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与し、
前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定する。

運転者の正常な姿勢から異常な姿勢への移行は、上記の様々な異常姿勢の要素を含みつつ複合的に進行することが一般的である。ある画像情報の取得時点において優勢であった特定の異常姿勢が、次の画像情報の取得時点においては優勢でなくなり、別の異常姿勢が優勢になることもある。

上記の各態様に係る構成によれば、規定された複数の異常姿勢の各々を運転者がとっている可能性が画像情報を受け付ける度に判断され、可能性に基づくスコアが付与される。当該スコアが閾値を上回っているかに基づいて異常姿勢の推定がなされるので、運転者が複数の異常姿勢をとっている可能性を把握しつつ、最終的には運転者がとっている少なくとも一つの異常姿勢を推定できる。したがって、撮像装置により取得された画像に基づいてなされる運転者の姿勢異常の推定の確からしさを高めることができる。

一実施形態に係る異常推定システムの機能構成を例示している。 図１の異常推定システムが搭載されうる車両を例示している。 図１の画像処理装置により実行される処理の流れを例示している。 図１の撮像装置により取得されうる画像を例示している。 図４の画像に骨格モデルが適用された状態を例示している。 図３の異常推定処理の流れの一例を示している。 図３の姿勢推定処理の流れの一例を示している。 図４の画像に骨格モデルが適用された状態を例示している。 車両のヨー方向への頭部の回転角を特定する手法を例示している。 図３の姿勢推定処理の流れの別例を示している。 「えび反り姿勢」を説明するための図である。 「うつむき姿勢」を説明するための図である。 車両のピッチ方向への頭部の回転角を特定する手法を例示している。 図３の姿勢推定処理の流れの別例を示している。 左方への「首のみ横倒れ姿勢」を説明するための図である。 右方への「首のみ横倒れ姿勢」を説明するための図である。 車両のロール方向への頭部の回転角を特定する手法を例示している。 図３の姿勢推定処理の流れの一例を示している。 図１８の姿勢推定処理の詳細を説明するための図である。 図１８の姿勢推定処理の詳細を説明するための図である。 左方への「横もたれ姿勢」を説明するための図である。 右方への「横もたれ姿勢」を説明するための図である。 左方への「横倒れ姿勢」を説明するための図である。 右方への「横倒れ姿勢」を説明するための図である。 図３の姿勢推定処理の流れの別例を示している。 「突っ伏し姿勢」を説明するための図である。 図３の姿勢推定処理の流れの一例を示している。 図２７の姿勢推定処理の詳細を説明するための図である。 図２７の姿勢推定処理の詳細を説明するための図である。 「仰け反り姿勢」を説明するための図である。

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係る異常推定システム１０の機能構成を例示している。異常推定システム１０は、図２に例示される車両２０の運転者３０が写り込んだ画像に基づいて、運転者３０の姿勢が異常であるかを推定するシステムである。車両２０は、移動体の一例である。

姿勢の異常は、運転者３０の異常を検知するために推定される。本明細書において用いられる「運転者の異常」という語は、予め予測することが困難な体調の急変を意味する。

添付の図面において、矢印Ｆは、運転者３０から見た前方向を表している。矢印Ｂは、運転者３０から見た後方向を表している。矢印Ｌは、運転者３０から見た左方向を表している。矢印Ｒは、運転者３０から見た右方向を表している。矢印Ｕは、運転者３０から見た上方向を表している。矢印Ｄは、運転者３０から見た下方向を表している。

図１に例示されるように、異常推定システム１０は、撮像装置１１を含んでいる。撮像装置１１は、車両２０における適宜の箇所に配置される。図２に例示される車両２０の車室２１内に配置されたシート２２に着座した運転者３０が、撮像装置１１による撮像に供される。

図１に例示されるように、撮像装置１１は、取得された画像に対応する画像情報Ｉを出力するように構成されている。画像情報Ｉは、アナログデータの形態でもよいし、デジタルデータの形態でもよい。

異常推定システム１０は、画像処理装置１２を含んでいる。画像処理装置１２は、受付部１２１と処理部１２２を備えている。受付部１２１は、撮像装置１１から画像情報Ｉを受け付けるように構成されている。画像情報Ｉがアナログデータの形態である場合、受付部１２１は、Ａ／Ｄコンバータを含む適宜の変換回路を含みうる。処理部１２２は、デジタルデータの形態である画像情報Ｉを処理の対象とする。

処理部１２２は、画像情報Ｉに基づいて運転者３０の姿勢が異常であるかを推定する処理を実行するように構成されている。当該処理の詳細については後述する。

画像処理装置１２は、出力部１２３を備えている。処理部１２２は、運転者３０の姿勢が異常であると推定された場合、出力部１２３を通じて制御情報Ｃを出力するように構成されている。制御情報Ｃは、デジタルデータの形態でもよいし、アナログデータの形態でもよい。制御情報Ｃがアナログデータの形態である場合、出力部１２３は、Ｄ／Ａコンバータを含む適宜の変換回路を含みうる。

異常推定システム１０は、制御装置１３を含んでいる。制御装置１３は、車両２０に搭載されている。制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０に搭載された被制御装置４０の動作を制御するように構成されている。

具体的には、制御装置１３は、運転者３０の姿勢が異常であると推定された場合に、車両２０の運転支援を有効にするように構成されている。本明細書において用いられる「運転支援」という語は、運転操作（ハンドル操作、加速、減速など）、走行環境の監視、および運転操作のバックアップの少なくとも一つを少なくとも部分的に行なう制御処理を意味する。すなわち、衝突被害軽減ブレーキ機能やレーンキープアシスト機能のような部分的な運転支援から完全自動運転動作までを含む意味である。

例えば、制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０を減速させ、路肩に停車させるために必要な動作を、被制御装置４０に行なわせる。被制御装置４０の例としては、車両２０の駆動系を構成する装置、灯具、運転支援動作が有効であることを車両２０や他車両の乗員や歩行者に報知する装置などが挙げられる。

次に、図３から図５を参照しつつ、画像処理装置１２の処理部１２２により実行される運転者３０の姿勢を推定する処理について詳細に説明する。図３は、当該処理の流れを例示している。

処理部１２２は、受付部１２１を通じて撮像装置１１から画像情報Ｉを受け付ける（ＳＴＥＰ１）。図４は、撮像装置１１により取得された運転者３０が写り込んだ画像ＩＭを例示している。画像情報Ｉは、画像ＩＭに対応している。

続いて、処理部１２２は、骨格モデルを適用する処理を行なう（図３のＳＴＥＰ２）。本明細書で用いられる「骨格モデルを適用する処理」という語は、撮像装置により取得された画像に写り込んだ運転者において当該骨格モデルにおいて規定された複数の特徴点を検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格線で接続することを意味する。

図５は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０に骨格モデルＭが適用された例を示している。本例においては、骨格モデルＭは、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳを含んでいる。

頭特徴点Ｈは、モデル人体の頭の中心に対応する点である。首特徴点ＮＫは、モデル人体の首に対応する点である。左肩特徴点ＬＳは、モデル人体の左肩に対応する点である。右肩特徴点ＲＳは、モデル人体の右肩に対応する点である。頭特徴点Ｈと首特徴点ＮＫは、骨格線により接続されている。首特徴点ＮＫは、左肩特徴点ＬＳおよび右肩特徴点ＲＳの各々と骨格線により接続されている。

処理部１２２は、画像ＩＭに写り込んだ運転者３０において、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳの各々に対応する点を検出し、検出された複数の点同士を、上記の各骨格線で接続する。この処理を遂行するためのアルゴリズムは周知であるので、詳細な説明は省略する。

図１に例示されるように、画像処理装置１２は、記憶部１２４を備えている。処理部１２２は、各特徴点の画像ＩＭにおける位置を、正常時における運転者３０の姿勢を表すものとして記憶部１２４に記憶する。具体的には、各特徴点に対応する画像ＩＭ中の画素の位置が、記憶部１２４に保存される。

続いて、処理部１２２は、運転者３０の姿勢が正常であるかを判断する（ＳＴＥＰ３）。例えば、当該判断は、骨格モデルＭが適用されることにより画像ＩＭ内に検出された各特徴点が規定された範囲内に位置しているかに基づいてなされうる。

運転者３０の姿勢が正常でないと判断されると（ＳＴＥＰ３においてＮＯ）、処理部１２２は、姿勢推定処理を実行する（ＳＴＥＰ４）。姿勢推定処理は、予め規定された複数の異常姿勢の各々を運転者３０がとっているかを推定する処理である。姿勢推定処理の詳細については、後述する。

続いて、処理部１２２は、姿勢推定処理の結果として運転者３０がとっていると推定された複数の異常姿勢の少なくとも一つについてスコアを加算する処理を行なう（ＳＴＥＰ５）。スコアは、運転者３０の姿勢が複数の異常姿勢の各々に該当する可能性に対応する数値である。

続いて、処理部１２２は、異常推定処理を実行する（ＳＴＥＰ７）。図６は、異常推定処理において実行される処理の流れを例示している。

処理部１２２は、スコア加算処理の結果として、複数の異常姿勢のうちスコアが閾値を上回っている姿勢があるかを判断する（ＳＴＥＰ７１）。

スコアが閾値を上回っている異常姿勢がないと判断されると（ＳＴＥＰ７１においてＮＯ）、処理部１２２は、異常推定処理を終了する。処理は図３のＳＴＥＰ１に戻り、次の画像情報Ｉが受け付けられる。画像情報Ｉの受け付けが繰り返される周期は、撮像装置１１のフレームレートに対応しうる。

また、運転者３０の姿勢が正常であると判断されると（ＳＴＥＰ３においてＹＥＳ）、処理部１２２は、各異常姿勢について付与されているスコアを減算する処理を行なう（ＳＴＥＰ６）。スコアは、０に戻されてもよいし、所定の値だけ差し引かれてもよい。その後、処理は図３のＳＴＥＰ１に戻り、次の画像情報Ｉが受け付けられる。

異常推定処理において、スコア加算処理の結果として、複数の異常姿勢の少なくとも一つについてスコアが閾値を上回っていると判断されると（図６のＳＴＥＰ７１においてＹＥＳ）、処理部１２２は、運転者３０が当該少なくとも一つの異常姿勢をとっていると推定する（ＳＴＥＰ７２）。

続いて、処理部１２２は、出力部１２３から制御情報Ｃを出力する（ＳＴＥＰ７３）。制御情報Ｃは、制御装置１３へ送信される。制御情報Ｃは、同じ動作を被制御装置４０に行なわせるものであってもよいし、推定された異常姿勢の種別に応じて異なる動作を被制御装置４０に行なわせるものであってもよい。

次に、図７から図９を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の一例について説明する。図７は、処理の流れの一例を示している。

本例においては、運転者３０が「よそ見姿勢」をとっているかが推定される。本明細書で用いられる「よそ見姿勢」という語は、運転者３０が車両２０の進行方向を見ていない姿勢が継続している状態を意味する。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のヨー方向への回転角が閾値を上回る場合に、運転者３０が「よそ見姿勢」をとっている可能性があると判断する。

本明細書で用いられる「ヨー方向」という語は、車両２０の上下方向に延びる軸を中心とする回転方向を意味する。「ヨー方向」に関しては、運転者３０の頭上から見て反時計回り方向を「左ヨー方向」と定義し、運転者３０の頭上から見て時計回り方向を「右ヨー方向」と定義する。

車両２０のヨー方向への頭部３１の回転角を検出するために、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の中心座標を仮定する処理を行なう（ＳＴＥＰ１１）。図８と図９を参照しつつ、当該処理の詳細について説明する。

図８は、図４および図５に例示された画像ＩＭのうち、運転者３０の頭部３１が写り込んでいる部分を拡大して示している。本例においては、骨格モデルＭを適用する処理により、頭特徴点Ｈに加えて、左目特徴点ＬＹもまた検出されうる。左目特徴点ＬＹは、モデル人体の左目に対応する点である。また、骨格モデルＭを適用する処理により、画像ＩＭにおいて運転者３０の頭部３１が位置する領域を推定する矩形の枠ＦＭが設定される。

図９は、設定された枠ＦＭを用いて頭部３１の中心座標ＣＴを仮定する手法を説明するための図である。同図においては、頭部３１を上方から見た状態が模式的に示されている。本例においては、車両２０の左右方向における頭部３１の幅、および車両２０の前後方向における頭部３１の幅は、図８に示される画像ＩＭ中に設定された枠ＦＭの幅Ｗと同一であるとみなされる。この前提下において、頭部３１の中心座標ＣＴは、頭特徴点Ｈから車両２０の後方へ（Ｗ／２）だけ離れた点として仮定される。処理部１２２は、距離（Ｗ／２）に対応する画素数を、記憶部１２４に保存する。

このとき、中心座標ＣＴと左目特徴点ＬＹを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線に対してなす角度θＹ０は、車両２０の左右方向における頭特徴点Ｈと左目特徴点ＬＹの間の距離ｄＨＬと上記の（Ｗ／２）のアークタンジェントを求めることにより特定されうる。この角度θＹ０は、運転者３０が正常姿勢をとっている場合（車両２０の進行方向を見ている場合）の初期角度として、記憶部１２４に保存される。

運転者３０が「よそ見姿勢」をとると、頭部３１は、車両２０のヨー方向へ回転する。このとき、中心座標ＣＴと左目特徴点ＬＹを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線（車両２０の前後方向）に対してなす角度θＹ１は、初期角度θＹ０から変化する。その変化量（θＹ１−θＹ０）は、車両２０のヨー方向への頭部３１の回転角θＹとみなされうる。したがって、その変化量（θＹ１−θＹ０）の絶対値が閾値を上回る場合に、運転者３０が「よそ見姿勢」をとっていると推定されうる。閾値は、一般的な運転者３０が「よそ見姿勢」をとる場合に生じうる回転角θＹとして、統計的に定められうる。

上記の原理に基づき、処理部１２２は、ＳＴＥＰ１１で特定された中心座標ＣＴを用いて、車両２０のヨー方向への頭部３１の回転角θＹを特定する処理を行なう（図７のＳＴＥＰ１２）。具体的には、図８に例示されるように、車両２０の左右方向における取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈと左目特徴点ＬＹの間の距離ｄＨＬを特定する。距離ｄＨＬは、画素数として特定される。続いて、処理部１２２は、記憶部１２４に保存されている距離（Ｗ／２）と距離ｄＨＬのアークタンジェントを求めることにより、上記の角度θＹ１を特定する。

さらに、処理部１２２は、特定された角度θＹ１と初期角度θＹ０の差分値をとることにより、車両２０のヨー方向への頭部３１の回転角θＹを特定する。差分値が正の値ととる場合、頭部３１は左ヨー方向に回転していると判断されうる。差分値が負の値をとる場合、頭部３１は右ヨー方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ１２で特定された回転角θＹの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ１３）。

回転角θＹの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ１３においてＹＥＳ）、処理部１２２は、運転者３０が「よそ見姿勢」をとっている可能性があると判断する（ＳＴＥＰ１４）。この場合、処理部１２２は、「よそ見姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

他方、回転角θＹの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ１３においてＮＯ）、処理部１２２は、運転者３０が「よそ見姿勢」をとっている可能性がないと判断する（ＳＴＥＰ１５）。この場合、処理部１２２は、「よそ見姿勢」にスコアを加算しない。

車両２０のヨー方向への頭部３１の回転角θＹを特定可能であれば、左目特徴点ＬＹに代えて、頭部３１に含まれる適宜の特徴点が用いられうる。そのような特徴点の例としては、車両２０の左右方向における顔の中央部から離れた位置において検出されうる右目特徴点、左耳特徴点、右耳特徴点などが挙げられる。

次に、図８、および図１０から１３を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の別例について説明する。図１０は、処理の流れの一例を示している。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のピッチ方向への回転角が閾値を上回る場合に、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると可能性があると判断する。

本明細書で用いられる「ピッチ方向」という語は、車両２０の左右方向に延びる軸を中心とする回転方向を意味する。「ピッチ方向」に関しては、運転者３０の左方から見て反時計回り方向を「下ピッチ方向」と定義し、運転者３０の左方から見て時計回り方向を「上ピッチ方向」と定義する。

「えび反り姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「えび反り姿勢」は、運転者の上半身が反り上がり、顔が上を向いている姿勢が継続している状態として定義されている。

図１１は、「えび反り姿勢」を例示している。「えび反り姿勢」は、運転者の顔の上ピッチ方向への回転角θＰＵが閾値を上回った状態として定義される。回転角θＰＵの閾値は、例えば２５°である。

「うつむき姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「うつむき姿勢」は、運転者の顔が下を向いている姿勢が継続している状態として定義されている。

図１２は、「うつむき姿勢」を例示している。「うつむき姿勢」は、運転者の顔の下ピッチ方向への回転角θＰＤが閾値を上回った状態として定義される。回転角θＰＤの閾値は、例えば２０°である。

車両２０のピッチ方向への頭部３１の回転角を検出するために、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の中心座標を仮定する処理を行なう（図１０のＳＴＥＰ２１）。図８と図１３を参照しつつ、当該処理の詳細について説明する。

図８に例示されるように、本例においては、骨格モデルＭを適用する処理により、頭特徴点Ｈに加えて、鼻特徴点ＮＳもまた検出されうる。鼻特徴点ＮＳは、モデル人体の鼻に対応する点である。また、骨格モデルＭを適用する処理により、画像ＩＭにおいて運転者３０の頭部３１が位置する領域を推定する矩形の枠ＦＭが設定される。

図１３は、設定された枠ＦＭを用いて頭部３１の中心座標ＣＴを仮定する手法を説明するための図である。同図においては、頭部３１を左方から見た状態が模式的に示されている。本例においては、車両２０の上下方向における頭部３１の幅、および車両２０の前後方向における頭部３１の幅は、図８に示される画像ＩＭ中に設定された枠ＦＭの幅Ｗと同一であるとみなされる。この前提下において、頭部３１の中心座標ＣＴは、頭特徴点Ｈから車両２０の後方へ（Ｗ／２）だけ離れた点として仮定される。処理部１２２は、距離（Ｗ／２）に対応する画素数を、記憶部１２４に保存する。

このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線に対してなす角度θＰ０は、車両２０の左右方向における頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮと上記の（Ｗ／２）のアークタンジェントを求めることにより特定されうる。この角度θＰ０は、運転者３０が正常姿勢をとっている場合の初期角度として、記憶部１２４に保存される。

運転者３０が「えび反り姿勢」または「うつむき姿勢」をとると、頭部３１は、車両２０のピッチ方向へ回転する。このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線（車両２０の前後方向）に対してなす角度θＰ１は、初期角度θＰ０から変化する。その変化量（θＰ１−θＰ０）は、車両２０のピッチ方向への頭部３１の回転角θＰとみなされうる。したがって、その変化量（θＰ１−θＰ０）の絶対値が閾値を上回る場合に、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると推定されうる。閾値は、国土交通省による定義に基づいて、適宜に定められうる。

上記の原理に基づき、処理部１２２は、ＳＴＥＰ２１で特定された中心座標ＣＴを用いて、車両２０のピッチ方向への頭部３１の回転角θＰを特定する処理を行なう（図１０のＳＴＥＰ２２）。具体的には、図８に例示されるように、車両２０の上下方向における取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮを特定する。距離ｄＨＮは、画素数として特定される。続いて、処理部１２２は、記憶部１２４に保存されている距離（Ｗ／２）と距離ｄＨＮのアークタンジェントを求めることにより、上記の角度θＰ１を特定する。

さらに、処理部１２２は、特定された角度θＰ１と初期角度θＰ０の差分値をとることにより、車両２０のピッチ方向への頭部３１の回転角θＰを特定する。差分値が正の値ととる場合、頭部３１は下ピッチ方向に回転していると判断されうる。差分値が負の値をとる場合、頭部３１は上ピッチ方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ２２で特定された回転角θＰの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ２３）。

回転角θＰの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ２３においてＹＥＳ）、処理部１２２は、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっていると可能性があると判断する（ＳＴＥＰ２４）。

具体的には、回転角θＰが正の値をとる場合に運転者３０が「うつむき姿勢」をとっている可能性があると判断され、回転角θＰが負の値をとる場合に運転者３０が「えび反り姿勢」をとっている可能性があると判断される。運転者３０が「えび反り姿勢」をとっている可能性があると判断された場合、処理部１２２は、「えび反り姿勢」にスコアを加算する（図３のＳＴＥＰ５）。運転者３０が「うつむき姿勢」をとっている可能性があると判断された場合、処理部１２２は、「うつむき姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

他方、回転角θＰの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ２３においてＮＯ）、処理部１２２は、運転者３０が「えび反り姿勢」または「うつむき姿勢」をとっている可能性がないと判断する（ＳＴＥＰ２５）。この場合、処理部１２２は、「えび反り姿勢」および「うつむき姿勢」にスコアを加算しない。

車両２０のピッチ方向への頭部３１の回転角θＰを特定可能であれば、鼻特徴点ＮＳに代えて、頭部３１に含まれる適宜の特徴点が用いられうる。そのような特徴点の例としては、顔の表面において検出されうる左目特徴点、右目特徴点、口特徴点、顔特徴点などが挙げられる。

次に、図１４から１７を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の別例について説明する。図１４は、処理の流れの一例を示している。

本例においては、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のロール方向への回転角が閾値を上回る場合に、運転者３０が「首のみ横倒れ姿勢」をとっている可能性があると推定する。

本明細書で用いられる「ロール方向」という語は、車両２０の前後方向に延びる軸を中心とする回転方向を意味する。「ロール方向」に関しては、運転者３０から見て反時計回り方向を「左ロール方向」と定義し、運転者３０から見て時計回り方向を「右ロール方向」と定義する。

「首のみ横倒れ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「首のみ横倒れ姿勢」は、運転者の頭が左方または右方へ傾いている姿勢が継続している状態として定義されている。

図１５は、左方への「首のみ横倒れ姿勢」を例示している。左方への「首のみ横倒れ姿勢」は、運転者の顔の左ロール方向への回転角θＲＬが閾値を上回った状態として定義される。回転角θＲＬの閾値は、例えば３０°である。

図１６は、右方への「首のみ横倒れ姿勢」を例示している。右方への「首のみ横倒れ姿勢」は、運転者の顔の右ロール方向への回転角θＲＲが閾値を上回った状態として定義される。回転角θＲＲの閾値は、例えば３０°である。

図１７は、車両２０のロール方向への回転角θＲを特定する手法の一例を示している。本例においては、骨格モデルＭの適用により検出された左目特徴点ＬＹと右目特徴点ＲＹが利用される。左目特徴点ＬＹと右目特徴点ＲＹを結ぶ直線の車両２０の左右方向に対応する方向からの傾き角は、上記の回転角θＲとみなされうる。したがって、車両２０の左右方向における左目特徴点ＬＹと右目特徴点ＲＹの間の距離ｄＬＲと、車両２０の上下方向における左目特徴点ＬＹと右目特徴点ＲＹの間の距離ｄＵＤを取得し、距離ｄＬＲと距離ｄＵＤのアークタンジェントを求めることにより、回転角θＲが特定されうる。

運転者３０が「首のみ横倒れ姿勢」をとると、回転角θＲの絶対値が増大する。したがって、回転角θＲの絶対値が閾値を上回る場合に、運転者３０が「首のみ横倒れ姿勢」をとっていると推定されうる。閾値は、国土交通省による定義に基づいて、適宜に定められうる。

上記の原理に基づき、処理部１２２は、車両２０のロール方向への頭部３１の回転角θＲを特定する処理を行なう（図１４のＳＴＥＰ３１）。具体的には、車両２０の上下方向における取得された画像ＩＭに写り込んだ運転者３０の左目特徴点ＬＹと右目特徴点ＲＹについて、上記の距離ｄＬＲと距離ｄＵＤを特定する。続いて、処理部１２２は、距離ｄＬＲと距離ｄＵＤのアークタンジェントを求めることにより、回転角θＲを特定する。

回転角θＲが正の値ととる場合、頭部３１は左ロール方向に回転していると判断されうる。回転角θＲが負の値をとる場合、頭部３１は右ロール方向に回転していると判断されうる。

続いて、処理部１２２は、ＳＴＥＰ３１で特定された回転角θＰの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する（ＳＴＥＰ３２）。

回転角θＲの絶対値が閾値を上回っていると判断された場合（ＳＴＥＰ３２においてＹＥＳ）、処理部１２２は、運転者３０が「首のみ横倒れ姿勢」をとっている可能性があると判断する（ＳＴＥＰ３３）。

具体的には、回転角θＲが正の値をとる場合に運転者３０が左方への「首のみ横倒れ姿勢」をとっている可能性があると判断され、回転角θＲが負の値をとる場合に運転者３０が右方への「首のみ横倒れ姿勢」をとっている可能性があると判断される。この場合、処理部１２２は、「首のみ横倒れ姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

他方、回転角θＲの絶対値が閾値を上回っていないと判断された場合（ＳＴＥＰ３２においてＮＯ）、処理部１２２は、運転者３０が「首のみ横倒れ姿勢」をとっている可能性がないと判断する（ＳＴＥＰ３４）。この場合、処理部１２２は、「首のみ横倒れ姿勢」にスコアを加算しない。

車両２０のロール方向への頭部３１の回転角θＲを特定可能であれば、左目特徴点ＬＹと右目特徴点ＲＹの組合せに代えて、頭部３１に含まれる適宜の特徴点の組合せが用いられうる。そのような組合せの例としては、左耳特徴点と右耳特徴点、左目特徴点と右耳特徴点、左目特徴点と左耳特徴点、左目特徴点と鼻特徴点などが挙げられる。

次に、図１８から図２２を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の別例について説明する。図１８は、処理の流れの一例を示している。

まず、処理部１２２は、前述した複数の特徴点の特定に用いられた画像ＩＭにおいて、当該複数の特徴点に対応する複数の画素間の規定された方向における距離を特定する（ＳＴＥＰ４１）。本例においては、規定された方向は、車両２０の左右方向である。

図１９は、図４および図５に例示された画像ＩＭのうち、運転者３０の頭部３１が写り込んでいる部分を拡大して示している。本例においては、骨格モデルＭを適用する処理により、左耳特徴点ＬＥと右耳特徴点ＲＥもまた検出されうる。左耳特徴点ＬＥは、モデル人体の左耳に対応する点である。右耳特徴点ＲＥは、モデル人体の右耳に対応する点である。図１９において左耳特徴点ＬＥと右耳特徴点ＲＥを結ぶ直線が延びる方向は、車両２０の左右方向に対応している。

本例においては、処理部１２２は、車両２０の左右方向における左耳特徴点ＬＥに対応する画素ＰＬと右耳特徴点ＲＥに対応する画素ＰＲの間の距離である画素間距離ＤＰを特定する。画素間距離ＤＰは、画素数により特定される。

続いて、図１８に例示されるように、処理部１２２は、画像ＩＭ中の二点間距離と実空間における二点間距離との対応関係を特定する処理を行なう（ＳＴＥＰ４２）。

画像ＩＭ中の二点間距離は、ＳＴＥＰ４１を参照して説明した画素間距離ＤＰとして特定されている。本例においては、この画素間距離ＤＰを、画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０の左右方向における幅とみなしている。

人体の各部位における平均的な寸法は、統計的に調査されてデータベースとして提供されている。そのようなデータベースの例としては、国立研究開発法人産業技術総合研究所により提供されている「ＡＩＳＴ人体寸法データベース1997-98」が挙げられる。図２０は、そのようなデータベースより得られる人体の左右方向における頭部幅ＷＨを例示している。頭部幅ＷＨは、平均的な人間の左耳と右耳の間の実空間距離ＤＲに対応していると言える。

幅ＷＨに対応する実空間距離ＤＲの値は、記憶部１２４に格納されている。処理部１２２は、実空間距離ＤＲの値を記憶部１２４から読み出し、ＳＴＥＰ４１で特定された画素間距離ＤＰとの比Ｐ（＝ＤＲ／ＤＰ）を算出する。これにより、画像ＩＭ中の画素間距離ＤＰが特定されれば、比Ｐに基づいて車両２０の車室２１内における実空間距離ＤＲを算出できる（ＤＲ＝ＤＰ×Ｐ）。

本例においては、ＳＴＥＰ４２で特定された画素間距離ＤＰと実空間距離ＤＲの対応関係に基づいて、運転者３０が「横もたれ姿勢」をとっているかが推定される。

「横もたれ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「横もたれ姿勢」は、運転者の上半身が左方または右方へ傾いている姿勢が継続している状態として定義されている。

図２１は、左方への「横もたれ姿勢」を例示している。左方への「横もたれ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の左方向への移動量ΔＤＬが閾値を上回った状態として定義される。閾値は、例えば２００ｍｍである。

図２２は、右方への「横もたれ姿勢」を例示している。右方への「横もたれ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の右方向への移動量ΔＤＲが閾値を上回った状態として定義される。閾値は、例えば２００ｍｍである。

運転者３０が「横もたれ姿勢」をとっているかを推定するために、処理部１２２は、取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈに対応する画素の位置を特定し、記憶部１２４に格納されている正常時における頭特徴点Ｈに対応する画素の位置と比較する。なお、適用される骨格モデルの仕様に応じて、鼻、目、顔などの特徴点が推定に用いられてもよい。

比較の結果、取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈに対応する画素の位置と、正常時における頭特徴点Ｈに対応する画素の位置との間の車両２０の左右方向における画素間距離が特定されうる。この画素間距離が、ＳＴＥＰ４２で特定された比に基づいて、車両２０内における実空間距離に換算される。この実空間距離は、取得された画像ＩＭに写り込んだ運転者３０の頭部３１の正常時からの車両２０の左右方向への移動量に対応している。すなわち、処理部１２２は、運転者３０の頭部３１の車両２０の左右方向への移動量を特定する（図１８のＳＴＥＰ４３）。

続いて、処理部１２２は、換算された実空間距離が閾値を上回っているかを判断する（ＳＴＥＰ４４）。すなわち、運転者３０の頭部３１の車両２０の左方への移動量ΔＤＬが閾値を上回っているかを判断する。同様に、運転者３０の頭部３１の車両２０の右方への移動量ΔＤＲが閾値を上回っているかを判断する。

換算された実空間距離が閾値を上回っていないと判断された場合（ＳＴＥＰ４４においてＮＯ）、処理部１２２は、運転者３０が「横もたれ姿勢」をとっている可能性がないと判断する（ＳＴＥＰ４５）。この場合、処理部１２２は、「横もたれ姿勢」にスコアを加算しない。

換算された実空間距離が閾値を上回っていると判断された場合（図１８のＳＴＥＰ４４においてＹＥＳ）、処理部１２２は、運転者３０が「横もたれ姿勢」をとっている可能性があると判断する（ＳＴＥＰ４６）。

具体的には、運転者３０の頭部３１の車両２０の左方への移動量ΔＤＬが閾値を上回っていると判断された場合、運転者３０が左方への「横もたれ姿勢」をとっていると可能性があると判断される。運転者３０の頭部３１の車両２０の右方への移動量ΔＤＲが閾値を上回っていると判断された場合、運転者３０が右方への「横もたれ姿勢」をとっている可能性があると判断される。この場合、処理部１２２は、「横もたれ姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

頭部３１に含まれる複数の特徴点であれば、適用される骨格モデルＭの仕様に応じて、左耳特徴点ＬＥおよび右耳特徴点ＲＥとは異なる組合せが採用されうる。例えば、左目特徴点と右目特徴点の組合せ、鼻特徴点と左耳特徴点の組合せ、頭特徴点と右耳特徴点の組合せ、左目特徴点と左耳特徴点の組合せなどが挙げられる。

「横もたれ姿勢」は、車両２０の左右方向への頭部３１の移動量を基準に推定されるので、車両２０の左右方向における距離の基準を与えうるのであれば、複数の特徴点の組合せは、頭部３１に含まれるものに限られない。例えば、左肩特徴点と右肩特徴点の組合せ、左耳特徴点と左肩特徴点の組合せ、首特徴点と右肩特徴点の組合せなどが挙げられる。

図１８に例示されるように、画像処理装置１２の処理部１２２は、運転者３０が「横倒れ姿勢」をとっているかを推定しうる。

「横倒れ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「横倒れ姿勢」は、運転者の上半身が左方または右方へ傾き、かつ運転者の顔も同方向に傾いている姿勢が継続している状態として定義されている。

図２３は、左方への「横倒れ姿勢」を例示している。左方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の左方向への移動量ΔＤＬが閾値を上回り、かつ運転者の顔の左方へのロール角θＲＬが閾値を上回った状態として定義される。ΔＤＬの閾値は、例えば２００ｍｍである。θＲＬの閾値は、例えば１５°である。

図２４は、右方への「横倒れ姿勢」を例示している。右方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の右方向への移動量ΔＤＲが閾値を上回り、かつ運転者の顔の右方へのロール角θＲＲが閾値を上回った状態として定義される。ΔＤＲの閾値は、例えば２００ｍｍである。θＲＲの閾値は、例えば１５°である。

具体的には、処理部１２２は、画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０の左右方向への移動量が閾値を上回ると判断された場合に（図１８のＳＴＥＰ４４においてＹＥＳ）、頭部３１の車両２０のロール方向への回転角θＲを特定する（ＳＴＥＰ４７）。回転角θＲの特定にあたっては、図１７を参照して説明した方法が用いられうる。

続いて、処理部１２２は、特定された回転角θＲが閾値を上回っているかを判断する（図１８のＳＴＥＰ４８）。すなわち、運転者３０の頭部３１の左ロール方向への回転角θＲが閾値を上回っているかを判断する。同様に、運転者３０の頭部３１の右ロール方向への回転角θＲが閾値を上回っているかを判断する。

回転角θＲが閾値を上回っていないと判断された場合（ＳＴＥＰ４８においてＮＯ）、処理部１２２は、運転者３０が「横もたれ姿勢」をとっている可能性があると判断する（ＳＴＥＰ４６）。この場合、処理部１２２は、「横もたれ姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

回転角θＲが閾値を上回っていると判断された場合（図１８のＳＴＥＰ４８においてＹＥＳ）、処理部１２２は、運転者３０が「横倒れ姿勢」をとっている可能性があると判断する（ＳＴＥＰ４９）。

具体的には、運転者３０の頭部３１の車両２０の左ロール方向への回転角θＲＬが閾値を上回っていると判断された場合、運転者３０が左方への「横倒れ姿勢」をとっている可能性があると判断される。運転者３０の頭部３１の車両２０の右ロール方向への回転角θＲＲが閾値を上回っていると判断された場合、運転者３０が右方への「横倒れ姿勢」をとっている可能性があると判断される。この場合、処理部１２２は、「横倒れ姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

図２５は、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の流れの別例を示している。図１８に例示された処理の流れと共通する要素については、同一の参照符号を付与し、繰り返しとなる説明を省略する。

本例においては、ＳＴＥＰ４２で特定された画素間距離ＤＰと実空間距離ＤＲの対応関係に基づいて、運転者３０が「突っ伏し姿勢」をとっているかが推定される。

「突っ伏し姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「突っ伏し姿勢」は、運転者が前方に倒れ、ハンドルの付近に顔が位置している姿勢が継続している状態として定義されている。

図２６は、「突っ伏し姿勢」を例示している。「突っ伏し姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の前方向への移動量ΔＤＦが閾値を上回るとともに車両２０の下方向への移動量ΔＤＤが閾値を上回り、かつ運転者の顔の下方へのピッチ角θＰＤが閾値を上回った状態として定義される。ΔＤＦの閾値は、例えば２００ｍｍである。ΔＤＤの閾値は、例えば１８０ｍｍである。θＰＤの閾値は、例えば３０°である。

本例においては、運転者３０が「突っ伏し姿勢」をとっているかを推定するために、処理部１２２は、取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈに対応する画素の位置を特定し、記憶部１２４に格納されている正常時における頭特徴点Ｈに対応する画素の位置と比較する。なお、適用される骨格モデルの仕様に応じて、鼻、目、顔などの特徴点が推定に用いられてもよい。

比較の結果、取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈに対応する画素の位置と、正常時における頭特徴点Ｈに対応する画素の位置との間の車両２０の前後方向における画素間距離が特定されうる。この画素間距離が、ＳＴＥＰ４２で特定された比に基づいて、車両２０内における実空間距離に換算される。この実空間距離は、取得された画像ＩＭに写り込んだ運転者３０の頭部３１の正常時からの車両２０の前方向への移動量に対応している。すなわち、処理部１２２は、運転者３０の頭部３１の車両２０の前方向への移動量を特定する（図２５のＳＴＥＰ５３）。

続いて、処理部１２２は、換算された実空間距離が閾値を上回っているかを判断する（ＳＴＥＰ５４）。すなわち、運転者３０の頭部３１の車両２０の前方への移動量ΔＤＦが閾値を上回っているかを判断する。

換算された実空間距離が閾値を上回っていないと判断された場合（ＳＴＥＰ５４においてＮＯ）、処理部１２２は、運転者３０が「突っ伏し姿勢」とっている可能性がないと判断する（ＳＴＥＰ５５）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算しない。

換算された実空間距離が閾値を上回っていると判断された場合（図２５のＳＴＥＰ５４においてＹＥＳ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっている可能性があると判断する（ＳＴＥＰ２６）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

すなわち、本例においては、「突っ伏し姿勢」の定義に含まれている移動量ΔＤＦ、移動量ΔＤＤ、およびピッチ角θＰＤのうち、移動量ΔＤＦのみに着目して処理を行なっている。しかしながら、このような構成によっても「突っ伏し姿勢」の推定は可能である。

次に、図２７から図２９を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ４）の別例について説明する。図２７は、処理の流れの一例を示している。本例においては、運転者３０が「突っ伏し姿勢」をとっているかが推定される。

図２８は、図４および図５に例示された画像ＩＭのうち、運転者３０の上半身が写り込んでいる部分を拡大して示している。本例においては、骨格モデルＭを適用する処理により、鼻特徴点ＮＳもまた検出されうる。鼻特徴点ＮＳは、モデル人体の鼻に対応する点である。

まず、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向に対応する方向における距離ｄを特定する（図２７のＳＴＥＰ６１）。鼻特徴点ＮＳと左肩特徴点ＬＳは、上半身における複数の特徴点の一例である。距離ｄは、画素数により特定される。特定された距離ｄの値は、記憶部１２４に記憶される。

続いて、処理部１２２は、ＳＴＥＰ１１において特定された距離ｄの値と記憶部１２４に記憶されている距離ｄの値を比較し、減少量が閾値ｄｔｈを上回っているかを判断する（ＳＴＥＰ６２）。

図２９は、運転者３０が「突っ伏し姿勢」をとった場合における鼻特徴点ＮＳと左肩特徴点ＬＳの間の距離ｄの経時変化を例示している。運転者３０が前方に倒れるに連れて、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄは、急速に減少する。図示の例においては、時点ｔ１において距離ｄの減少が始まり、時点ｔ２において減少量が閾値ｄｔｈを上回っている。

したがって、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っていると判断された場合（ＳＴＥＰ６２においてＹＥＳ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっている可能性があると判断する（ＳＴＥＰ６３）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算する（図３のＳＴＥＰ５）。閾値ｄｔｈは、一般的な運転者３０が「突っ伏し姿勢」をとる場合に生じうる距離ｄの減少量として、統計的に定められうる。

他方、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っていないと判断された場合（ＳＴＥＰ６２においてＮＯ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっている可能性がないと判断する（ＳＴＥＰ６４）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算しない。

運転者３０の顔の向きや位置によっては、鼻特徴点ＮＳの特定が困難である場合がある。よって、図２７に例示されるように、処理部１２２は、鼻特徴点ＮＳの特定が不能であるかを判断しうる（ＳＴＥＰ６５）。

鼻特徴点ＮＳが特定できた場合（ＳＴＥＰ６５においてＮＯ）、処理はＳＴＥＰ６２に進み、前述の通り鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っているかが判断される。

鼻特徴点ＮＳが特定できない場合（ＳＴＥＰ６５においてＹＥＳ）、図２８に例示されるように、処理部１２２は、頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’を特定する（ＳＴＥＰ６６）。頭特徴点Ｈと左肩特徴点ＬＳは、上半身における複数の特徴点の一例である。距離ｄ’は、画素数により特定される。特定された距離ｄ’の値は、記憶部１２４に記憶される。

この場合、処理部１２２は、ＳＴＥＰ６６において特定された距離ｄ’の値と記憶部１２４に記憶されている距離ｄ’の値を比較し、減少量が閾値ｄｔｈ’を上回っているかを判断する（ＳＴＥＰ６２）。閾値ｄｔｈは、一般的な運転者３０が「突っ伏し姿勢」をとる場合に生じうる距離ｄ’の減少量として、統計的に定められうる。

頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’の減少量が閾値ｄｔｈ’を上回っていると判断された場合（ＳＴＥＰ６２においてＹＥＳ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっている可能性があると判断する（ＳＴＥＰ６３）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算する（図３のＳＴＥＰ５）。

他方、頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’の減少量が閾値ｄｔｈ’を上回っていないと判断された場合（ＳＴＥＰ６２においてＮＯ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっている可能性がないと判断する（ＳＴＥＰ６４）。この場合、処理部１２２は、「突っ伏し姿勢」にスコアを加算しない。

このような構成によれば、顔の向きや位置が「突っ伏し姿勢」の推定に及ぼす影響をさらに抑制できる。

本例においては、運転者３０が「突っ伏し姿勢」をとっているかを推定するために、鼻特徴点ＮＳまたは頭特徴点Ｈと左肩特徴点ＬＳが用いられている。しかしながら、正常姿勢からの逸脱に伴って車両２０の上下方向における距離が減少する特徴点同士であれば、運転者３０の上半身に含まれるものから適宜の組合せを選択可能である。そのような組合せの例としては、鼻特徴点と首特徴点、左耳特徴点と左肩特徴点などが挙げられる。

正常姿勢からの逸脱に伴って車両２０の上下方向における距離が減少する複数の特徴点が運転者３０の上半身から適宜に選ばれることにより、画像処理装置１２の処理部１２２は、図２３と図２４を参照して説明した「横倒れ姿勢」を運転者３０がとっているかも推定しうる。

図３に例示される姿勢推定処理（ＳＴＥＰ４）においては、図７から図２９を参照して説明した様々な異常姿勢のうち二つ以上の異常姿勢について、運転者３０が当該姿勢をとっているかの推定がなされうる。したがって、図６に例示される異常推定処理においては、当該二つ以上の異常姿勢についてスコアが閾値を上回っているかの判断がなされる。

少なくとも一つの異常姿勢についてスコアが付与されており、かつ当該スコアが閾値を上回っていない状況は（ＳＴＥＰ７１においてＮＯ）、運転者３０が当該異常姿勢をとっている可能性があるものの、当該異常姿勢をとっているとの推定には至っていないことを意味する。

少なくとも一つの異常姿勢についてスコアが付与されており、かつ当該スコアが閾値を上回っている状況は（ＳＴＥＰ７１においてＹＥＳ）、運転者３０が当該異常姿勢をとっているとの推定に至っていることを意味する。

運転者３０の正常な姿勢から異常な姿勢への移行は、上記の様々な異常姿勢の要素を含みつつ複合的に進行することが一般的である。ある画像情報Ｉの取得時点において優勢であった特定の異常姿勢が、次の画像情報Ｉの取得時点においては優勢でなくなり、別の異常姿勢が優勢になることもある。

上記のような構成によれば、規定された複数の異常姿勢の各々を運転者３０がとっている可能性が画像情報Ｉを受け付ける度に判断され、可能性に基づくスコアが付与される。当該スコアが閾値を上回っているかに基づいて異常姿勢の推定がなされるので、運転者３０が複数の異常姿勢をとっている可能性を把握しつつ、最終的には運転者３０がとっている少なくとも一つの異常姿勢を推定できる。したがって、撮像装置１１により取得された画像ＩＭに基づいてなされる運転者３０の姿勢異常の推定の確からしさを高めることができる。

付与されたスコアが閾値を上回っているかの判断（図６のＳＴＥＰ７１）の結果として、複数の異常姿勢が同時に閾値を上回る場合がありうる。したがって、処理部１２２は、複数の異常姿勢が同時に閾値を上回っているかを判断しうる（ＳＴＥＰ７１においてＹＥＳ、ＳＴＥＰ７４）。

付与されたスコアが閾値を上回っている異常姿勢が一つだけである場合（ＳＴＥＰ７４においてＮＯ）、処理はＳＴＥＰ７２に進む。すなわち、運転者３０が当該異常姿勢をとっていると推定される。

付与されたスコアが閾値を上回っている異常姿勢が複数ある場合（ＳＴＥＰ７４においてＹＥＳ）、処理部１２２は、スコアの値が最大である異常姿勢を特定する（ＳＴＥＰ７５）。その後、処理はＳＴＥＰ７２に進む。すなわち、スコアの値が最大である異常姿勢を運転者３０がとっていると推定される。

このような構成によれば、運転者３０の動きが複数の異常姿勢の要素を含んでいる場合において、最も優勢である異常姿勢を推定できる。これにより、例えば、当該最も優勢である異常姿勢に対応しうる制御情報Ｃの出力を行なうことができる。

図７から図２９を参照して説明した様々な異常姿勢に対する推定処理が行なわれた結果として、運転者３０がいずれの異常姿勢もとっている可能性がないと判断される場合がありうる。しかしながら、姿勢推定処理（図３のＳＴＥＰ４）は、運転者３０の姿勢が正常でないと判断された状況下で実行されている（ＳＴＥＰ３においてＮＯ）。したがって、運転者３０が未定義の異常姿勢をとっている可能性がある。

処理部１２２は、姿勢推定処理の終了時において、運転者３０の姿勢が全ての異常姿勢に該当しなかったかを判断しうる。運転者３０の姿勢が全ての異常姿勢に該当しなかったと判断された場合、処理部１２２は、ＳＴＥＰ５のスコア加算処理において「未定義の異常姿勢」にスコアを加算しうる。

このような構成によれば、画像ＩＭに写り込んだ運転者３０の姿勢が規定された複数の異常姿勢のいずれにも該当しないと判断された場合においても、運転者３０の姿勢に何らの異常もないという結論を回避し、何らかの異常姿勢をとっているとの取扱いを行なうことができる。したがって、未定義の異常姿勢に対する異常推定システム１０の柔軟性を高めることができる。

これまで説明した各機能を有する処理部１２２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサは、ＲＯＭ上に記憶されたコンピュータプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。

処理部１２２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部１２２は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。

記憶部１２４は、半導体メモリやハードディスク装置により実現されうる。記憶部１２４は、上記の汎用メモリや記憶素子により実現されてもよい。

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

上記の実施形態においては、姿勢推定処理（図３のＳＴＥＰ４）の結果として規定された複数の異常姿勢の少なくとも一つをとっている可能性があると判断された場合、スコア加算処理（図３のＳＴＥＰ５）において付与されるスコアの値が一定とされている。しかしながら、運転者３０が各異常姿勢をとっている可能性に応じて複数種のスコアが付与されてもよい。具体的には、各異常姿勢についてなされる姿勢推定処理において複数個の閾値範囲が設定され、各閾値範囲に応じて異なるスコアが対応付けられうる。

例えば、運転者３０が「うつむき姿勢」と「横倒れ姿勢」を同時にとっている可能性があると判断されている状況において、「うつむき姿勢」がとられている可能性がより高いことが閾値範囲に基づいて判断されている場合、「うつむき姿勢」に付与されるスコアは、「横倒れ姿勢」に付与されるスコアよりも高くなる。このような構成によれば、運転者３０の動きが複数の異常姿勢の要素を含んでいる場合において、より優勢な異常姿勢が最終的に推定される可能性を高めることができる。すなわち、より精密な異常姿勢の推定が可能となる。

上記の実施形態においては、規定された複数の異常姿勢の各々に付与されるスコアが閾値を上回るかの判断（図６のＳＴＥＰ７１）は、スコアの累積値に基づいてなされている。累積値は、代表値の一例である。しかしながら、平均値、中央値、最頻値などの代表値が用いられ、当該代表値に対応する閾値が設定されてもよい。

上記の実施形態においては、運転者３０がとりうる異常姿勢として「よそ見姿勢」、「えび反り姿勢」、「うつむき姿勢」、「首のみ横倒れ姿勢」、「横もたれ姿勢」、「横倒れ姿勢」、および「突っ伏し姿勢」を例示した。しかしながら、骨格モデルＭを適用することにより得られる特徴点に基づいて画像ＩＭに写り込んだ運転者３０の頭部３１を特定可能であり、当該特徴点の位置や移動方向と車両２０における規定された方向への頭部３１の回転角の関係を見出すことができれば、当該関係に基づいて、適宜の異常姿勢を推定できる。

図３０は、そのような異常姿勢の一例として「仰け反り姿勢」を示している。「仰け反り姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「仰け反り姿勢」は、運転者の上半身が車両の後方へ傾き、顔が上を向いている姿勢が継続している状態として定義されている。

具体的には、「仰け反り姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の後方向への移動量ΔＤＢが閾値を上回り、かつ運転者の顔の上ピッチ方向への回転角θＰＵが閾値を上回った状態として定義される。ΔＤＢの閾値は、例えば１００ｍｍである。θＰＵの閾値は、例えば２０°である。

画像処理装置１２は、車両２０に搭載されてもよいし、車両２０と周知の無線通信ネットワークを介して通信可能な外部装置として提供されてもよい。この場合、撮像装置１１から出力された画像情報Ｉが、無線通信ネットワークを介して画像処理装置１２に送信される。処理部１２２による姿勢推定処理の結果として出力されうる制御情報Ｃは、周知の無線通信ネットワークを介して制御装置１３へ送信される。

異常推定システム１０は、車両２０以外の移動体にも適用されうる。他の移動体の例としては、鉄道、航空機、船舶などが挙げられる。

１０：異常推定システム、１１：撮像装置、１２：画像処理装置、１２１：受付部、１２２：処理部、１３：制御装置、２０：車両、３０：運転者、４０：被制御装置、Ｉ：画像情報、ＩＭ：画像

Claims (8)

1. 移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し受け付ける受付部と、
   前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
   を備えており、
   前記処理部は、前記画像情報を受け付ける度に、
   前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断し、
   前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与し、
   前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定する、
   画像処理装置。
2. 前記処理部は、複数の異常姿勢について前記代表値が前記閾値を上回る場合、前記代表値が最大であるスコアが付与された一つの異常姿勢を特定し、前記運転者が当該一つの異常姿勢をとっていると推定する、
   請求項１に記載の画像処理装置。
3. 前記画像情報を受け付ける度に付与される前記スコアは、前記可能性に応じて複数の値から選ばれる、
   請求項１または２に記載の画像処理装置。
4. 前記処理部は、前記画像に写り込んだ前記運転者の姿勢が前記複数の異常姿勢のいずれにも該当しないと判断されても、当該姿勢が正常でないと判断されている場合、前記運転者の姿勢が異常であると推定する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記複数の異常姿勢は、突っ伏し姿勢、うつむき姿勢、仰け反り姿勢、えび反り姿勢、首のみ横倒れ姿勢、横倒れ姿勢、横もたれ姿勢、およびよそ見姿勢を含んでいる、
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記移動体に搭載されるように構成されている、
   請求項１から５のいずれか一項に記載の画像処理装置。
7. 画像処理装置の処理部により実行可能なコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し受け付けさせ、
   前記画像情報を受け付ける度に、
   前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断させ、
   前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与させ、
   前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定させる、
   コンピュータプログラム。
8. 移動体の運転者が写り込んだ画像に対応する画像情報を繰り返し出力する撮像装置と、
   前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
   前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
   を備えており、
   前記画像処理装置は、前記画像情報を受け付ける度に、
   前記画像に写り込んだ前記運転者の姿勢が複数の異常姿勢の各々に該当する可能性を判断し、
   前記可能性に対応するスコアを前記複数の異常姿勢の各々に付与し、
   前記複数の異常姿勢の少なくとも一つに付与された前記スコアの代表値が閾値を上回る場合、前記運転者が当該少なくとも一つの異常姿勢をとっていると推定する、
   異常推定システム。

Images