JP2018073385A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】人体が撮像された画像上で特定部位の領域を特定する処理精度を向上すること。
【解決手段】画像処理装置は、人体を撮像した画像内の特定部位に関する領域の位置を特定する。全体的判断処理部２０は、画像上の人体の体勢クラス、画像上で特定部位が存在する位置クラス、及び画像上での人体の回転クラスを判断する。切出処理部３０は、位置クラスに従って画像から部分画像を切り出す。回転処理部４０は、回転クラスに基づいて部分画像を回転する。部分的判断処理部５０は、回転された部分画像の部分範囲における特定部位の部分位置クラスを体勢クラスを参照して判断する。位置決定処理部６０は、回転クラスと部分位置クラスとに基づいて画像の全体範囲における特定部位の詳細位置を決定する
【選択図】 図２

Description

本発明の実施形態は、人体が撮像された画像上で特定部位の領域を特定する画像処理装置及びプログラムに関する。

リハビリテーション、スポーツ医学等の様々な分野で、映像（画像）に映る人体の膝等の特定部位を特定する要望は高い。しかし人体は非常に複雑な体勢を取る事ができるため特定部位領域を画像から自動的に特定する処理の精度は高いとはいえない。そのため作業者が画像上の特定部位を指定する作業を手動で行っているのが現状であるが、その作業負担は大きく、また動画像であればその作業時間は膨大である。

目的は、人体が撮像された画像上で特定部位の領域を特定する処理精度を向上することのできる画像処理装置及びプログラムを提供することにある。

本実施形態に係る画像処理装置は、人体を撮像した画像内の特定部位に関する領域の位置を特定する。全体的判断処理部は、画像上の人体の体勢クラス、画像上で特定部位が存在する位置クラス、及び画像上での人体の回転クラスを判断する。切出処理部は、位置クラスに従って画像から部分画像を切り出す。回転処理部は、回転クラスに基づいて部分画像を回転する。部分的判断処理部は、回転された部分画像の部分範囲における特定部位の部分位置クラスを体勢クラスを参照して判断する。位置決定処理部は、回転クラスと部分位置クラスとに基づいて画像の全体範囲における特定部位の詳細位置を決定する

図１は、本実施形態に係る画像処理装置の構成図である。 図２は、図１の画像処理装置の機能ブロック図である。 図３は、本実施形態における部位特定処理の動作を示すフローチャートである。 図４は、図３の工程Ｓ２における重複クラスの説明補足図である。 図５は、図３の工程Ｓ２における体向クラスの説明補足図である。 図６は、図３の工程Ｓ２における体勢クラスの説明補足図である。 図７は、図３の工程Ｓ２における全体位置クラスの説明補足図である。 図８は、図３の工程Ｓ２における回転クラスの説明補足図である。 図９は、図３の工程Ｓ２における大きさクラスの説明補足図である。 図１０は、図３の工程Ｓ３−Ｓ６の処理手順の説明補足図である。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態における画像処理装置２００の構成を示すブロック図である。図１に示す画像処理装置２００は、例えばコンピュータにより実現されるもので、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、通信コントローラ２０７、入力デバイス２１０、ディスプレイ２１１及び記憶装置２１２を有する。なお、画像処理装置２００は、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、及び通信コントローラ２０７を含む、コンピュータを構成するする制御ユニット３００として実現しても良い。

プロセッサ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）により構成することができる。プロセッサ２０１は、ＲＡＭ２０２に記憶されたプログラムを実行して各種の機能を実現する。プロセッサ２０１は、本実施形態に係る画像処理プログラムを実行することで、画像に映る人体の膝等の特定部位の位置を特定するための処理を実行する。

ＲＡＭ２０２は、プロセッサ２０１の主メモリ、ワークエリア等として機能する。プロセッサ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは記憶装置２１２からＲＡＭ２０２にロードして、ロードしたプログラムを実行することで各種動作を実現する。ＲＯＭ２０３あるいは記憶装置２１２は、プロセッサ２０１により実行されるＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）、画像処理プログラムを含む各種アプリケーションプログラムなどの各種機能を実現するために必要な各種プログラム、各種プログラムで処理される各種ファイル、各種データ等が記憶される。

入力コントローラ２０４で、キーボード（ＫＢ）、マウスやタッチパネル等のポインティングデバイス等の入力デバイス２１０からの入力を制御する。ビデオコントローラ２０５は、プロセッサ２０１の制御のもとで、ＬＣＤ（Liquid Crystal Display）などのディスプレイの表示を制御する。Ｉ／Ｏコントローラ２０６は、記憶装置２１２へのアクセスを制御する。記憶装置２１２には、例えば画像処理プログラムによる部位特定処理の対象とする画像ファイル（静止画像、動画像）が記憶される。部位特定処理の対象とする人体が撮像された画像ファイルは、例えば通信コントローラ２０７を通じて、外部の電子機器４００から入力される。

通信コントローラ２０７は、ネットワーク５００を介して外部の電子機器４００との通信を制御する。電子機器４００は、人体が撮像された画像（静止画像、動画像）を処理する機能を有するもので、例えばパーソナルコンピュータ、スマートフォン、デジタルカメラ、電子メールビデオカメラ、ビデオゲーム装置等である。

図２は本実施形態に係る画像処理装置の機能構成を示している。図３は本実施形態における部位特定処理の動作手順を示している。本実施形態に係る画像処理装置は、前処理部１０、全体判断処理部２０、部分画像切り出し部３０、回転正規化部４０、部分判断処理部５０、位置決定部６０、部位判定処理部７０を有する。前処理部１０は、部位特定処理の精度を安定化させるためにまず処理対象の画像のコントラストを正規化する（工程Ｓ１）。コントラスト正規化処理としては任意に手法が適用され得る。また対象画像のノイズ成分を抑制又は除去するために、移動平均フィルタリング、メディアンフィルタリング等のスムーシング処理を画像に対して適用する。さらに前処理部１０は、特に対象が動画像であるとき、それを構成する一連の画像各々に対して人体が含まれるか否かを判定する。動画像を構成する一連の画像全てに人体が含まれるとはいえず、人体が含まれていない画像を処理対象から除外することが処理効率上有効である。画像に人体領域が含まれるかどうかの判定は、例えば画像をセグメント化し、各セグメント内の特徴色を抽出し、特徴色が人間の肌色又は近似色であるか判断するとともに特徴色が人間の肌色又は近似色と判断したセグメント数の全体数に対する割合により判定する。なお特徴色が人間の肌色又は近似色であるか判断する基準、特徴色が人間の肌色又は近似色と判断したセグメント数の全体数に対する割合に対する基準は、画像種別等に応じて任意に設定される。

全体判断処理部２０は、体勢分類セクション２１、全体位置分類セクション２３、回転分類セクション２５、大きさ分類セクション２７を有し、画像をクラス分類する（工程Ｓ２）。体勢分類セクション２１、全体位置分類セクション２３、回転分類セクション２５、大きさ分類セクション２７は畳み込み層とプーリング層とを多階層で全結合層とともに装備してなる畳み込みニューラルネットワークにより実装される。周知の通り、畳み込みニューラルネットワークでは局所フィルタ（畳み込み行列）とプーリングを通して検出していくので物体の位置ズレに対しては頑健性を有しているが、回転や拡大縮小に対する頑健性は比較的高いとはいえない。本実施形態では、画像の縦横（水平・垂直）に対する人体の体幹の回転角を判断し、その回転角に従って画像を回転し、画像上で人体を正立するようその体幹の向きを正規化し、詳細な特定部位の位置を判断するものである。

畳み込みニューラルネットワークを作成する際の機械学習には、膨大な実際の教師画像を用意し学習を繰り返してもよいし、該当するクラスに分類されるよう計算された３Ｄ人体モデルからレンダリングによって生成された画像を教師画像として使用してもよい。周知の通り、畳み込みニューラルネットワークは、２次元画像に対してフィルタによる畳み込みを行うことで、画像から特徴量を抽出する。畳み込みニューラルネットワークは、上述したように、畳み込みとプーリングとを繰り返す多層ネットワークからなる。畳み込みニューラルネットワークにおいて畳み込み層を構成する識別に有効なフィルタの係数（重み）を、大量の学習用画像などの大量のデータを用いて学習させるものである。当該係数（重み）は、大量のデータを用いて、フィルタによる畳み込みと、一定領域の反応をまとめるプーリングとを繰り返すことで多様な変形に対する不変性を獲得する学習を行うことにより得られる。なお、畳み込みニューラルネットワークの識別性能は、畳み込み層を構成するフィルタに依存する。フィルタは、体勢分類セクション２１、全体位置分類セクション２３、回転分類セクション２５、大きさ分類セクション２７ごとに用意される。

体勢分類セクション２１は、画像上の人体の体勢に従って画像が属する体勢クラスを判断する。具体的には体勢クラスは、図４に例示するように人体が他の人体と重なるか否かを選別する重複クラス（例えば２クラス）、図５に例示するように前向きの人体を撮像した正面画像なのかあるいは背面などの正面以外の後ろ向きの人体を撮像した後ろ向き画像なのかを選別する体向サブクラス（例えば2クラス）、さらに図６に例示するように人体の特定部位を含む下肢又は上肢の姿勢、例えば特定部位として膝であれば膝を伸ばしているか曲げているか、さらに膝を上半身側に上げているか下げているかを選別する姿勢サブクラス（例えば４クラス）の組み合わせであり、画像を全体でここでは１６の体勢クラスに分類する。

全体位置分類セクション２３は、図７に例示するように画像を例えば縦横に１５分割した複数の区画（位置クラス）のうち、特定部位が存在する可能性が高い区分（位置クラス）を特定する、換言すると画像がどの位置クラスに属するかを分類する。回転分類セクション２５は、図８に例示するように画像のフレームの水平軸又は垂直軸に対する人体の体幹軸の回転角を例えば４５度の範囲で８クラス（８の回転クラス）を規定し、それら８の回転クラスから当該画像がどの回転クラスに属するかを判断する。大きさ分類セクション２７は、図９に例示するように画像の全体範囲に対する人体領域が占める割合を例えば４つの大きさクラスを規定し、対象画像の大きさクラスを特定する、換言すると画像がどの大きさクラスに属するかを分類する。

体勢分類セクション２１、全体位置分類セクション２３、回転分類セクション２５、大きさ分類セクション２７それぞれの実装には複数の方法を利用できるが、典型的には上述の通り学習画像を用意し、その特徴量を抽出し分類することで、予めモデルとなる特徴量のセットを作成しておき、入力されるコンテンツの特徴量との相関分析を行うことで、実際の体勢クラス、位置クラス、回転クラス、大きさクラスをそれぞれ事後確率から判断する。特徴量の抽出と分類には典型的には畳み込みニューラルネットワークが適用される。

体勢分類セクション２１にとって、画像上の人体が他の人体と重なっているか否かを分類する重複クラスの判断が重要である。なぜならば、人体が他の人体と重なっている場合、双方の人体を一つの領域として判断するおそれがあるためである。そのため体勢分類セクション２１の実装には、複数の人体が重なっている重複クラスであると判断した場合に、画像から人体領域を各別に分割してから体向サブクラス、姿勢サブクラスを判断する処理を含んでもよい。

部分画像切り出し部３０は、全体判断処理部２０の全体位置分類セクション２３が分類した位置クラスに従ってその区分又はそれより少し大きい部分の部分画像（局所画像）、つまり特定部位を含む確率の最も高い部分画像を全体画像から切り出す（工程Ｓ３）。回転正規化部４０は、部分画像切り出し部３０で切り出された部分画像を、回転分類セクション２５で判断された回転クラスに従って部分画像を回転する（工程Ｓ４）。回転された部分画像では、人体の体幹が典型的には画像フレームの垂直軸に平行つまり正立する向きに正規化される。

部分判断処理部５０は、図１０に例示するように、回転正規化された部分画像を例えば縦横に９分割した複数の区画（部分位置クラス）のうち、特定部位が存在する可能性が高い区分（部分位置クラス）を回転正規化された部分画像とともに重複クラス、体向クラス及び姿勢クラスを用いて特定する（工程Ｓ５）。部分判断処理部５０は畳み込みニューラルネットワークにより実装され、部分画像の画素値列とともに体勢分類セクション２１から出力される重複クラスに対応するラベル（クラス識別値）、体向クラスに対応するラベル、姿勢クラスに対応するラベルが入力層に入力される。

このように部分判断処理部５０は典型的には畳み込みニューラルネットワークにより実装され、回転正規化部４０による回転正規化処理により、畳み込みニューラルネットワークの弱点とされる回転を克服する事が可能となる。部分判断処理部５０は、体勢分類セクション２１が判断した人体の重複クラス、体向クラス及び姿勢クラスに基づいて部分画像上の特定部位が存在するはずの位置（部分位置）を特定する。典型的には部分判断処理部５０は人体が他の人体と重なっているか否か、正面を向いているか否か、膝が曲がっているか、膝が上がっているか否かにしたがって部分画像内で膝等の特定部位があるはずの位置を特定する。他の人体と重なっていたり、ボール等何らかの物体によって遮られ膝等の特定部位が映っていない場合であっても、それがあるはずの位置を推定することができる。

位置決定部６０は、部分判断処理部５０で判断された部分位置クラス、つまり回転正規化された部分画像内での特定部位の位置を、回転クラスに従って元の画像上の位置に変換する（工程Ｓ６）。以上処理により画像の全範囲における特定部位の詳細位置が決定される。

最終段として、部位判定処理部７０は、位置決定部６０で決定した画像の全体範囲における特定部位の位置と、大きさ分類セクション２７により判断した画像全体に対する人体領域の大きさを識別する大きさクラスとに従って元の画像から局所領域を抽出し、局所領域をパターニング等により当該特定部位であるか否かその妥当性を判定する（工程Ｓ７）。部位判定処理部７０に入力される画像の解像度は、元の入力画像の解像度およびそれを撮像したカメラと対象との距離によってはかなり小さなものになり得る。そのため全体判断処理部２０のここでは大きさ分類セクション２７が出力した大きさクラスを利用することで、その位置が特定部位の位置であることの妥当性を判定する精度を高めている。典型的には、カメラからの距離と角度により変動する大きさクラスを畳み込みニューラルネットワークにより推定し、位置決定部６０で決定した特定部位の位置と合致するか判定することが有効である。

本実施形態で特徴的なのは、画像から判断した人体の傾斜（回転角）に従って回転正規化してから特定部位の位置を判断することにあり、それにより畳み込みニューラルネットワークの弱点とされる回転を克服して位置特定精度を向上させることに成功している点にある。また画像に映る人体の特定部位の大まかな位置（区分）を判断し、その区分の部分画像を切り出してからその部分画像内での特定部位の位置（詳細位置）を判断し、そのように段階的に特定部位の位置を判断することによりその判断精度の向上とともに学習効率を高めていることも特徴的である。さらに部分画像内での特定部位の位置判断に際して、画像から判断した人体の体勢（重なり、向き、姿勢）をその画像と共に適用することにより、その判断精度をさらに向上させている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…前処理部、２０…全体判断処理部、２１…体勢分類セクション、２３…全体位置分類セクション、２５…回転分類セクション、２７…大きさ分類セクション、３０…部分画像切り出し部、４０…回転正規化部、５０…部分判断処理部、６０…位置決定部、７０…部位判定処理部。

Claims (10)

1. 人体を撮像した画像内の特定部位に関する領域の位置を特定する画像処理装置であって、
   前記画像上の前記人体の体勢クラス、前記画像上で前記特定部位が存在する位置クラス、及び前記画像上での前記人体の回転クラスを判断する全体的判断処理部と、
   前記位置クラスに従って前記画像から部分画像を切り出す切出処理部と、
   前記回転クラスに基づいて前記部分画像を回転する回転処理部と、
   前記回転された部分画像の部分範囲における前記特定部位の部分位置クラスを前記体勢クラスを参照して判断する部分的判断処理部と、
   前記回転クラスと前記部分位置クラスとに基づいて前記画像の全体範囲における前記特定部位の詳細位置を決定する位置決定処理部とを具備する画像処理装置。
2. 前記全体的判断処理部は、前記画像の全体範囲に対する前記人体の領域の相対的な大きさを示す大きさクラスを判断し、
   前記位置決定処理部で決定した位置が前記特定部位に対応することの妥当性を前記大きさクラスに基づいて判定する判定処理部をさらに備える請求項１記載の画像処理装置。
3. 前記体勢クラスは、前記人体と他の人体との重複の有無を選別する重複クラス、前記人体が正面と正面以外とを選別する体向サブクラス、前記人体の前記特定部位を含む下肢又は上肢の姿勢が属するサブクラスの組み合わせである請求項１記載の画像処理装置。
4. 前記全体的判断処理部は畳み込みニューラルネットワークを有する請求項１記載の画像処理装置。
5. 前記畳み込みニューラルネットワークは、複数の姿勢、複数の位置、複数の向きに係る３D人体モデルの複数のレンダリング画像により学習される請求項４記載の画像処理装置。
6. 前記部分的判断処理部は畳み込みニューラルネットワークを有する請求項４記載の画像処理装置。
7. 前記画像は動画を構成する請求項１記載の画像処理装置。
8. 人体を撮像した画像内の特定部位に関する領域の位置を特定する画像処理装置であって、
   前記画像上での前記人体の回転クラスを判断する回転判断処理部と、
   前記回転クラスに基づいて前記画像を回転する回転処理部と、
   前記回転された画像の範囲における前記特定部位の位置クラスを判断する位置判断処理部と、
   前記回転クラスと前記位置クラスとに基づいて前記特定部位の位置を決定する位置決定処理部とを具備し、
   前記位置判断処理部は畳み込みニューラルネットワークを有する画像処理装置。
9. コンピュータを、
   画像上の人体の体勢クラス、前記画像上で特定部位が存在する位置クラス、及び前記画像上での前記人体の回転クラスを判断する手段と、
   前記位置クラスに従って前記画像から部分画像を切り出す手段と、
   前記回転クラスに基づいて前記部分画像を回転する手段と、
   前記回転された部分画像の部分範囲における前記特定部位の部分位置クラスを前記体勢クラスを参照して判断する手段と、
   前記回転クラスと前記部分位置クラスとに基づいて前記画像の全体範囲における前記特定部位の詳細位置を決定する手段として機能させるための画像処理プログラム。
10. コンピュータを、
    画像上での人体の回転クラスを判断する手段と、
    前記回転クラスに基づいて前記画像を回転する手段と、
    前記回転された画像の範囲における特定部位の位置クラスを判断する手段と、
    前記回転クラスと前記位置クラスとに基づいて前記特定部位の位置を決定する手段として機能させるための画像処理プログラム。

Images