JP2023132223A - 情報処理装置、プログラム及び歩行動作解析方法 - Google Patents

Abstract

【課題】歩行者の歩行動作が撮像された歩行画像に基づいて歩行動作解析を行う。【解決手段】情報処理装置１は、歩行者４の歩行画像３１のデータを受け付ける歩行画像受付手段１０１と、歩行画像３１における歩行者の歩行ラインを示す基準線３５を受け付ける基準線受付手段１０２と、歩行画像３１上の距離と実距離との対応関係を算出する距離対応算出手段１０３と、歩行画像３１中の歩行者４の着目点３４を抽出する着目点抽出手段１０４と、着目点３４と基準線３５との歩行画像３１上の距離に基づいて、着目点３４と基準線３５との実距離を算出する着目点距離算出手段１０５と、算出された着目点３４と基準線３５との実距離に基づいて歩行者４の歩行動作解析を行う歩行動作解析手段１０７と、を有する。【選択図】図１

Description

本発明は、情報処理装置、プログラム、歩行動作解析方法等に関する。

従来より、歩行者の予め定めた複数の身体特徴点の３次元座標が歩行者の歩行に伴って逐次測定され、特徴点の位置と予め記憶された対応関数とを用いて歩行者の歩行が解析されている。
例えば、この種の技術が記載されているものとして特許文献１がある。

特開２０１８－６９０３５号公報

取得した特徴点の３次元座標から歩行リズム、歩行速度が求められている。しかしながら、３次元座標の取得には複数の専用カメラ、或いは、特殊な３次元測定装置が必要である。

本発明は、上述の課題を解決するためになされたものであり、その目的は、歩行者の歩行動作が撮像された歩行画像に基づいて歩行動作解析を行う技術を提供することにある。

本発明の一態様である情報処理装置は、歩行者の歩行画像のデータを受け付ける歩行画像受付手段と、歩行画像における歩行者の歩行ラインを示す基準線を受け付ける基準線受付手段と、歩行画像上の距離と実距離との対応関係を算出する距離対応算出手段と、歩行画像中の着目点を抽出する着目点抽出手段と、着目点と基準線との歩行画像上の距離に基づいて、着目点と基準線との実距離を算出する着目点距離算出手段と、算出された着目点と基準線との実距離に基づいて歩行者の歩行動作解析を行う歩行動作解析手段と、を有する。

本発明の一態様である歩行動作解析方法は、歩行者の歩行画像のデータを受け付ける歩行画像受付ステップと、歩行画像における歩行者の歩行ラインを示す基準線を受け付ける基準線受付ステップと、歩行画像上の距離と実距離との対応関係を算出する距離対応算出ステップと、歩行画像中の歩行者外観の着目点を抽出する着目点抽出ステップと、着目点と基準線との歩行画像上の距離に基づいて、着目点と基準線との実距離を算出する着目点距離算出ステップと、算出された着目点と基準線との実距離に基づいて歩行者の歩行動作解析を行う歩行動作解析ステップと、を含む。

本発明の他の態様として、コンピュータに上述の歩行動作解析方法を実行させるコンピュータプログラムがある。

本発明によれば、歩行者の歩行動作が撮像された歩行画像に基づいて歩行動作解析を行う技術が提供される。

本発明の一実施形態に係る歩行動作解析システムの全体構成を示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の一実施形態に係る情報処理装置の機能的構成を示す図である。 本発明の一実施形態に係る歩行画像の一例を示す図である。 本発明の一実施形態に係る情報処理装置に表示される歩行の１周期の例を示す図である。 本発明の一実施形態に係る情報処理装置に表示される歩行の１周期の例を示す図であり、歩行者の外見が分かりやすいように歩行者の画面内の位置をずらした図である。 本発明の一実施形態に係る歩行者の歩行動作の解析項目として遊脚の引き上げ距離を示す図である。 本発明の一実施形態に係る歩行者の歩行動作の解析項目として歩幅、立脚期の膝屈曲等を示す図である。 本発明の一実施形態に係る歩行動作解析方法を示すフローチャートである。 本発明の一実施形態に係る歩行者の歩行動作の解析結果例を示すレーダーチャートである。 本発明の一実施形態に係る歩行者の歩行動作の解析結果例を示す棒グラフである。 本発明の一実施形態に係る歩行者の歩行動作の解析結果例を示す円グラフである。

以下、本発明の実施形態に係る情報処理装置１、プログラム、歩行動作解析方法、及び、歩行動作解析システムについて図面を参照しながら説明する。なお、各図において、同一構成要素には同一符号を付す。本明細書において、歩行画像３１は、動画と、動画を構成する各静止画との何れか、或いは、双方を意味する。動画は、複数の静止画を時系列に有する。特に動画と静止画とを区別する場合、歩行動画像３１Ｍ、歩行静止画像３１Ｓと表記する。

図１は、本発明の一実施形態に係る歩行動作解析システムの全体構成を示す図である。歩行動作解析システムは、情報処理装置１及び撮像装置２を有しており、歩行者４の歩行動作を解析する。撮像装置２は、歩行者４の歩行を撮像可能な位置に配置される。例えば、撮像装置２は、デジタルビデオカメラである。撮像装置２は、経時的に連続する歩行動画像３１Ｍを撮像する。図１に示す例においては、歩行画像３１はスクリーン３に表示されている。撮像装置２は、例えば、ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の画素数（Ｘ方向１９２０ピクセル（ｐｉｘ）、Ｙ方向１０８０ピクセル（ｐｉｘ））を有する。
撮像装置２は、歩行者４の歩行を撮像すると、撮像された歩行動画像３１Ｍの電子データは情報処理装置１に出力される。

図２は、情報処理装置１のハードウェア構成を示すブロック図である。図２に示すように、情報処理装置１は、制御部１０と、入出力部１６と、通信手段１７と、記憶部１８と、を備える。制御部１０は、プロセッサ１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インタフェース１５とを有する。情報処理装置１は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータであってもよいし、専用のハードウェアに組み込まれているコンピュータであってもよい。

プロセッサ１１は、各種演算及び処理を行う。プロセッサ１１は、例えば、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）又はＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等である。或いは、プロセッサ１１は、これらのうちの複数を組み合わせたものである。また、プロセッサ１１は、これらにハードウェアアクセラレーター等を組み合わせたものあってもよい。

プロセッサ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。プロセッサ１１は、ＲＯＭ１２に記録されているプログラム又はＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。プログラムの一部又は全部は、プロセッサ１１の回路内に組み込まれていてもよい。

バス１４は入出力インタフェース１５にも接続される。入出力インタフェース１５には、入出力部１６と、通信手段１７と、が接続されている。

入出力部１６は、有線又は無線により電気的に入出力インタフェース１５に接続される。入出力部１６は例えばキーボード及びマウス等の入力部と歩行画像３１を表示するディスプレイ及び音声を拡声するスピーカ等の出力部とによって構成される。なお、入出力部１６はタッチパネルのように表示機能と入力機能が一体的な構成であってもよい。

通信手段１７は、プロセッサ１１が、例えば図示されないインターネット等のネットワークを介して他の装置との間で通信を行うための装置である。記憶部１８は、解析手順、解析結果等を記憶する例えばハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）等の記憶装置である。

図２に関して示したハードウェア構成は、あくまで一例であり、特にこの構成に限定されるわけではない。シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを、プロセッサとしての機能的構成を実現するものとして採用してもよい。情報処理装置１が記憶部１８を有するのではなく、記憶部１８が別途設けられる構成が採用されてもよい。情報処理装置１は通信手段１７を有さず、例えば、スタンドアロンの形で機能する構成が採用されてもよい。

また、図１の例では、情報処理装置１と撮像装置２とが別体とされているが、両装置が一体型として形成されていてもよい。例えば、歩行動作解析システムは、撮像装置２を内蔵するスマートフォンやタブレット端末のような携帯型コンピュータとして実現されてもよい。

図３は、本実施形態に係る情報処理装置１の機能的構成を示すブロック図である。
図３に示すように、情報処理装置１は、歩行画像受付部（手段）１０１、基準線受付部（手段）１０２、距離対応算出部（手段）１０３、着目点抽出部（手段）１０４、着目点距離算出部（手段）１０５、歩行画像選択部（手段）１０６、歩行動作解析部（手段）１０７、基準線導出部（手段）１０８、画像出力部（手段）１０９、周期取得部（手段）１１０を機能的構成として備える。これら各機能的構成は、例えば、プロセッサ１１によりメモリ（ＲＯＭ１２又はＲＡＭ１３）に格納されるコンピュータプログラムが実行されることにより実現される。このコンピュータプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信手段１７を介してインストールされ、メモリに格納されてもよい。
以降、図１、図２、図４から図８を参照しつつ、図３の各機能部の機能について説明する。

歩行画像受付部１０１は、歩行者４の歩行画像３１のデータを受け付ける。本実施形態において歩行画像受付部１０１は、入出力部１６を通して、図１の撮像装置２が撮影した歩行動画像３１Ｍの電子データを受け付ける。歩行画像受付部１０１により受け付けられる電子データの形式は、ＭＰＥＧ４等の既存の形式であればよく、何ら制限されない。また、歩行画像受付部１０１は、撮像装置２から入出力部１６を介して受信された映像信号を取得し、その映像信号を動画像フォーマットデータに変換することで、歩行動画像３１Ｍの電子データを受け付けるようにしてもよい。

以降の説明では、歩行画像受付部１０１により受け付けられる歩行動画像３１Ｍから切り取った画像を歩行者静止画像３１Ｓとし、歩行動画像３１Ｍと区別する。歩行動画像３１Ｍは、例えばフレーム毎（例えば１／６０秒）に撮影された歩行静止画像３１Ｓが連なる動画像である。動画と静止画とを特に区別しない場合、歩行画像３１と称する。

図４は本発明の一実施形態に係る歩行静止画像３１Ｓの一例を示す図である。距離対応算出部１０３は、歩行画像上の距離と実距離との対応関係を算出する。例えば、距離対応算出部１０３は、歩行静止画像３１Ｓ中に写っているマーカ５を認識し、マーカ５の歩行静止画像３１Ｓ中における長さ（歩行画像上の距離）を取得する。歩行静止画像３１Ｓ中における長さは例えばピクセル数で見積もることができる。更に、距離対応算出部１０３は、マーカ５の現実の長さ（実距離）を取得する。マーカ５の現実の長さは、予め記憶部１８に記憶されていてもよいし、情報処理装置１を操作するオペレータにより入力されてもよい。

例えば、歩行静止画像３１Ｓ中におけるマーカ５の長さが１８２ピクセルと見積もられ、そのマーカ５の現実の長さが３００ｍｍであったと仮定する。この場合、距離対応算出部１０３は、歩行画像３１上の距離と実距離との対応関係として、歩行画像３１中の１ピクセルあたりの現実の長さ１．６４ｍｍ（＝３００ｍｍ／１８２）を算出することができる。
但し、距離対応算出部１０３により算出される歩行画像上の距離と実距離との対応関係は、１ピクセルあたりの現実の長さに限定されず、単位実距離（例えば、１ｃｍ）あたりのピクセル数であってもよいし、他の形式であってもよい。

マーカ５は、歩行画像受付部１０１により受け付けられた歩行画像自体に写るもの或いはその歩行画像３１に対して画像処理等により付加されたものであり、実距離（現実の長さ）を把握可能なものであればよい。例えば、マーカ５は、歩行画像３１に写る物体（生物でもよい）の形状や模様の一部若しくは全部であり、床の模様や床に張られたシール、床と壁との境界線、箱、机、椅子、歩行者４が身に着けている靴や杖、帽子等である。図１及び図３の例では、撮像装置２により撮影される範囲に実距離が既知のマーカ５が床に置かれている。

また、マーカ５は、後述する画像出力部１０９により、歩行画像３１に重畳されており且つオペレータによる操作に応じてその歩行画像内で移動可能及び長さ変更可能な状態で出力されてもよい。この場合、距離対応算出部１０３は、歩行画像３１に重畳して配置されたマーカ５の長さをその歩行画像上の距離とし、そのマーカ５が重なる歩行画像内の線分の現実の長さを実距離として、歩行画像上の距離と実距離との対応関係を算出する。
例えば、オペレータの操作により、歩行画像上においてマーカ５が歩行者４の足底のラインに沿って足底の長さに合うように配置されることで、マーカ５の画像上の長さが歩行画像上の距離として取得され、歩行者４の足底の長さ（靴のサイズ）がそのマーカ５の実距離として取得され得る。結果、距離対応算出部１０３は、歩行画像上の距離と実距離との対応関係を算出することができる。
このようにすれば、実距離が既知のマーカ５をわざわざ置いて撮影するといった手間を省きつつ、歩行者４の靴のサイズを利用することで、歩行画像上の距離と実距離との対応関係を容易に且つ正確に算出することができる。
但し、マーカ５の利用方法はこのような例に限定されず、歩行者４の膝下の長さが利用されてもよいし、歩行画像３１に写る模様や物体の長さが利用されてもよい。

基準線受付部１０２は、歩行画像受付部１０１により受け付けられた歩行画像上における歩行者４の歩行ラインを示す基準線３５を受け付ける。歩行ラインとは、歩行画像上で示される歩行者４の歩行進行方向又は片足若しくは両足の接地面を示す線である。
基準線３５は、一本以上の線であればよく、直線であってもよいし、一以上の角を有する折れ線であってもよいし、曲線であってもよいし、直線と曲線との組み合わせであってもよい。
但し、この基準線３５と歩行者４の身体の部位である着目点３４との関係から歩行動作解析が行われるため、基準線３５は、歩行動作解析の被解析者となる各歩行者（歩行画像３１）に関して共通の観点で決められることが好ましい。例えば、基準線３５は、歩行者４が歩く平面（足の接地面）（床面、地面等）に沿うよう設定される。
基準線受付部１０２は、歩行動画像３１Ｍに対して一以上の基準線３５を受け付けてもよいし、歩行動画像３１Ｍを構成する各歩行静止画像３１Ｓに対してそれぞれ一以上の基準線３５を受け付けてもよい。

基準線受付部１０２は、オペレータによる情報処理装置１の入力操作に応じて当該基準線３５を受け付けることができる。この場合、後述する画像出力部１０９が基準線３５を歩行画像３１に重畳させて入出力部１６に出力させ、オペレータは歩行画像３１に重畳表示された基準線３５の両端点の一方又は両方を移動させることができる。そして、基準線受付部１０２は、オペレータによる操作で当該両端点の一方又は両方が移動された基準線３５の情報を受け付ける。
これにより、オペレータは歩行画像３１を見ながら手動で容易にその歩行画像３１に適した基準線３５を設定することができ、そのように設定された基準線３５を用いて歩行動作解析を行うことができるため、容易な操作で適切な歩行動作解析が可能となる。
また、基準線受付部１０２は、後述する基準線導出部１０８が自動的に導出した基準線３５を受け付けることもできる。

着目点抽出部１０４は、歩行画像受付部１０１により受け付けられた歩行画像中の着目点３４を抽出する。例えば、図４に示すように、着目点抽出部１０４は、歩行画像３１から骨格線３３を導出し、導出された骨格線３３上から着目点３４を抽出することができる。骨格線３３の導出は、画像の極大点を見出す手法等のように人物画像から骨格線３３を導出する既存技術を利用することができる。

ここで、着目点３４は、歩行画像中の人体像における任意の部位に設定される。着目点３４は、予め決められた部位に設定されてもよいし、オペレータによる情報処理装置１の入力操作に応じて受け付けられてもよい。図４の例では、着目点３４として踵４１が抽出されている。着目点３４は、踵４１以外でもつま先、膝、股関節、骨盤、首付け根、頭頂等、解析目的等に応じて一以上が設定されればよい。また、脚の部位や腕の部位のように左右それぞれに存在する部位が着目点３４とされる場合には、着目点３４は、右又は左の何れか一方の部位のみとされてもよいし、右及び左の両方の部位とされてもよい。
着目点３４は、歩行動画像３１Ｍを構成する歩行静止画像３１Ｓごとに抽出され得る。

着目点距離算出部１０５は、距離対応算出部１０３により算出された上述の対応関係、及び着目点抽出部１０４により抽出された着目点３４と基準線受付部１０２により受け付けられた基準線３５との歩行画像上の距離に基づいて、着目点３４と基準線３５との実距離を算出する。着目点３４は歩行静止画像３１Ｓごとに抽出可能であるため、着目点３４と基準線３５との実距離も同様に歩行静止画像３１Ｓごとに算出可能である。

また、歩行画像３１が歩行者４の歩行動作をその進行方向に直交する方向から撮像して得られたものであり、基準線受付部１０２がその歩行画像３１において手前に写る歩行者４の一方の足の第１接地面に対応する基準線３５を抽出し、着目点抽出部１０４がその歩行画像３１に写る歩行者４の左右の足の同一部位を着目点３４としてそれぞれ抽出している場合には、着目点距離算出部１０５は、次のように上述の対応関係を算出してもよい。
歩行画像３１が上述のように歩行者４の進行方向に直交する方向から撮像されている場合には、撮像角度に伴う画像歪みにより、歩行者４の手前の足の接地面（足の最下点）及び奥側の足の接地面（足の最下点）の歩行画像内における位置が一致しないこととなる。このため、手前の脚と奥側の脚とを共通の基準線３５からの距離で解析すると解析精度が低下する可能性がある。

そこで、着目点距離算出部１０５は、歩行画像３１における歩行者４の手前の足の着目点３４と基準線３５との歩行画像３１上の距離に基づいて、その手前の足の接地面である第１接地面に対する、着目点３４の現実の高さを算出する一方で、その歩行画像３１において歩行者４の奥側の足の接地面である第２接地面と第１接地面との歩行画像３１上での位置ズレを解消するように、当該奥側の足の着目点３４の第２接地面からの現実の高さを算出する。具体的には、基準線受付部１０２が、歩行画像３１における歩行者４の手前の足の第１接地面に対応する第１基準線３５と共に、奥側の足の第２接地面に対応する第２基準線３５を更に抽出するようにして、着目点距離算出部１０５は、歩行画像３１における手前の足の着目点３４と第１基準線３５との歩行画像３１上の距離に基づいて、当該手前の足の着目点３４の第１接地面からの現実の高さを算出し、歩行画像３１における奥側の足の着目点３４と第２基準線３５との歩行画像３１上の距離に基づいて、当該奥側の足の着目点３４の第２接地面からの現実の高さを算出する。他の方法として、着目点距離算出部１０５は、第１基準線３５と第２基準線３５との距離（基準線間距離）を算出し、第２基準線３５が第１基準線３５に一致するように歩行画像３１における奥側の足の着目点３４の位置をその基準線間距離で補正したうえで、歩行画像３１における奥側の足の補正された着目点３４と第１基準線３５との歩行画像３１上の距離に基づいて、当該奥側の足の着目点３４の第２接地面からの現実の高さを算出するようにしてもよい。

このようにすれば、撮像角度に伴う画像歪みを補正したうえで歩行者４の手前の足の接地面（足の最下点）及び奥側の足の接地面（足の最下点）を基準線３５とする着目点距離を算出することで、撮像角度に伴う画像歪みによる解析精度の低下を防止することができる。

歩行画像選択部１０６は、歩行画像受付部１０１により受け付けられる歩行動画像３１Ｍから１歩行周期を示す歩行画像群を選択する。例えば、歩行画像選択部１０６は、歩行動画像３１Ｍにおける動作の繰り返しの一周期を構成する、最初の歩行静止画像３１Ｓと最後の歩行静止画像３１Ｓとを特定し、それらの間の歩行静止画像３１Ｓも合わせて１歩行周期を示す歩行画像群を選択することができる。このとき、歩行画像選択部１０６は、歩行動画像３１Ｍを構成する歩行静止画像３１Ｓ群の中から、歩行周期ごとに、その１歩行周期を示す歩行画像群をそれぞれ選択してもよい。歩行画像選択部１０６は、１歩行周期分の歩行画像群を選択してもよいし、２以上の歩行周期分の歩行画像群を選択してもよい。

図５は、動作の繰り返しの一周期を構成する歩行静止画像３１Ｓを重ねてスクリーン３に表示した例である。図６は、歩行者４の外見が分かりやすいように、各歩行静止画像３１Ｓの位置をずらして重ねて表示した例である。
図５及び図６に例示される歩行画像３１は、歩行者４の歩行動作をその進行方向に直交する方向から撮像して得られたものであり、図６においては、一歩行周期を示す歩行者４の歩行静止画像３１Ｓ群として、３１Ｓａから３１Ｓｊまでの１０枚の歩行静止画像３１Ｓが同時に表示されている。
例えば、歩行画像選択部１０６は、着目点距離算出部１０５により算出された着目点３４と基準線３５との実距離に基づいて、右脚の踵４１が最下点にある歩行静止画像３１Ｓを第１の歩行静止画像３１Ｓａとして選択し、その後の歩行静止画像３１Ｓの中で、同じく右脚の踵４１が最下点に達する歩行静止画像３１Ｓを第２の歩行静止画像３１Ｓｊとして選択する。これにより、歩行画像選択部１０６は、第１の歩行静止画像３１Ｓａから第２の歩行静止画像３１Ｓｊまでの歩行静止画像３１Ｓ群を一歩行周期を示す歩行画像群として抽出することができる。
また、歩行画像選択部１０６は、オペレータによる情報処理装置１の入力操作に応じて、一歩行周期における第１の歩行静止画像３１Ｓａ及び第２の歩行静止画像３１Ｓｊを選択することもできる。

歩行動作解析部１０７は、着目点距離算出部１０５により算出された着目点３４と基準線３５との実距離を用いて、歩行者４の歩行動作解析を行う。例えば、着目点３４として踵４１が抽出されている場合には、踵４１と基準線３５との間の実距離を用いて、踵接地状態が解析可能である。また、着目点３４としてつま先又は股関節部が抽出されている場合には、つま先又は股関節部と基準線３５との間の実距離を用いて、つま先の上げ状態（ｔｏｅクリアランス）又は骨盤の引き上げ状態が解析可能である。
更に、歩行動作解析部１０７は、歩行画像選択部１０６による１歩行周期ごとの歩行画像群の選択情報を更に用いることで、１歩行周期を示す歩行画像群において立脚期の歩行画像群及び遊脚期の歩行画像群を区別して特定することができる。例えば、１歩行周期の開始時点（踵４１の最下点）からつま先が最下点から上方に変位する直前までが立脚期と特定され、その立脚期の最後から次に踵４１の最下点となる時点までが遊脚期と特定され得る。また、立脚期及び遊脚期に関してそれぞれ初期、中期及び後期に区別して特定することもできる。このため、歩行動作解析部１０７は、歩行画像選択部１０６により選択された１歩行周期を示す歩行画像群に関して着目点距離算出部１０５により算出された着目点３４と基準線３５との実距離を用いて歩行者４の歩行動作解析を行うと表記することもできる。このように遊脚期及び立脚期を特定することで、歩行動作解析部１０７は、立脚期又は遊脚期の膝屈曲状態、体幹の前屈状態等、並びに左歩幅及び右歩幅を解析することができる。

ここで歩行動作解析部１０７により行われる歩行動作解析として歩行者４が脚を上げる高さの解析例について図７を用いて具体的に説明する。図７は、情報処理装置１が出力する歩行静止画像３１Ｓの一例であり、歩行者４の歩行動作の解析項目として遊脚の引き上げ距離ｄ２を示す図である。
図７の例において着目点３４は歩行者４の左脚の踵４１である。着目点抽出部１０４が左脚の踵４１の位置を着目点３４として抽出する。着目点距離算出部１０５は、抽出された左脚の踵４１の歩行画像３１中の位置と基準線３５との間のピクセル数を導出する。更に、着目点距離算出部１０５は、１ピクセルが１．６４ｍｍであることに基づいて実際の踵４１の上がっている距離を算出する。例えば、３４ピクセルの場合、実際の踵４１と地面との距離は、５５．８ｍｍ（＝１．６４ｍｍ×３４）であると計算される。

また、歩行動作解析部１０７は、歩行動作解析として、図８に示すように、歩幅ｄ３、体幹の前屈角度θ１、及び立脚期の膝屈曲角度θ２を取得することもできる。着目点抽出部１０４が右踵４１ａと左踵４１ｂとを抽出し、着目点距離算出部１０５が歩行画像中のそれらの間の距離を、基準線３５と平行な方向におけるピクセル数として特定し、距離対応算出部１０３により算出された対応関係（例えば１ピクセルあたりの実距離）及びその画像上の距離を用いて、実際の歩幅ｄ３を計算することができる。歩幅ｄ３としては、右脚が前に出ている時と、左脚が前に出ている時との双方について歩幅ｄ３を計算することができる。また、歩行動作解析部１０７は、基準線３５に対する垂線Ｌ１に基づいて立脚期における体幹の前屈角度θ１を算出することもできるし、立脚期の膝屈曲角度θ２を算出することもできる。

基準線導出部１０８は、基準線受付部１０２に取得させるために当該基準線３５を導出する。例えば、基準線導出部１０８は、歩行画像３１における歩行者４の片足の所定部位の最下点を結ぶ直線を基準線３５として導出してもよい。具体的には、例えば、基準線導出部１０８は、歩行画像選択部１０６により選択された一歩行周期における第１の歩行静止画像３１Ｓａ及び第２の歩行静止画像３１Ｓｊを用いて、第１の歩行静止画像３１Ｓａにおける着目点３４ａと、第２の歩行静止画像３１Ｓｊにおける着目点３４ｂとを結ぶ一本の直線を当該基準線３５として導出することができる。図５及び図６の例では、着目点３４ａ及び３４ｂが歩行者４の踵４１に設定されているため、基準線３５は、接地している踵４１の位置を結んだ直線となり、歩行者４が歩く平面に沿うよう設定することができる。これは、歩行画像３１が歩行者４の歩行動作をその進行方向に直交する方向から撮像して得られたものである場合には、基準線導出部１０８（基準線受付部１０２）は、歩行画像３１において手前に写る歩行者４の一方の足（図５及び図６では右足）の第１接地面に対応する基準線３５を導出する（抽出する）と換言することができる。

但し、基準線３５の導出手法はこのような例に限定されない。例えば、２歩行周期以上の歩行画像群を対象にして各歩行周期の区切りの着目点３４を直線又は曲線で結んだ線が当該基準線３５として導出されてもよいし、各歩行周期の区切りとなる複数の着目点３４の近傍を通過する直線を最小二乗法等の数学的手法に基づいて導出し、これを当該基準線３５とすることもできる。このように複数の歩行周期の着目点３４を対象とすることで、基準線３５の精度を向上させることができる。
更に言えば、基準線導出部１０８は、着目点抽出部１０４により抽出される着目点３４とは別に、基準線３５の導出のための着目点３４を独自に設定してもよい。
また、被解析者となる歩行者４が予め歩行面に貼られた或いは描かれた直線状のマーク（シール）上を歩く様子を撮像した歩行画像３１を用いることし、基準線導出部１０８は、歩行画像３１からその直線状のマークを既存の画像認識技術により認識し、その認識情報から当該基準線３５を導出することもできる。

画像出力部１０９は、歩行画像受付部１０１により受け付けられた歩行動画像３１Ｍ又はそれから切り取られた歩行者静止画像３２Ｓ群を入出力部１６に出力（表示）させる。このとき、画像出力部１０９は、基準線３５が当該歩行画像３１上に重畳されており、且つ基準線３５の両端点の一方又は両方がオペレータによる操作に応じて選択及び移動可能とされた状態で歩行画像３１及び基準線３５を出力させることができる。但し、基準線３５の両端以外の位置の点も選択及び移動可能とされていてもよい。

更に、画像出力部１０９は、マーカ５を、歩行画像３１に重畳されており且つオペレータによる操作に応じてその歩行画像３１内で移動可能及び長さ変更可能な状態で入出力部１６に出力（表示）させてもよい。

また、画像出力部１０９は、歩行動作解析部１０７による解析結果を入出力部１６に出力（表示）させることもできる。このような解析結果の出力形態については後述する。
更に、画像出力部１０９は、歩行動画像３１Ｍ又は歩行者静止画像３１Ｓ群に対して１歩行周期の開始時点及び終了時点をオペレータによる操作に応じて特定可能となるように歩行画像３１を出力させてもよい。これにより、上述した通り、歩行画像選択部１０６は、オペレータによる情報処理装置１の入力操作に応じて、１歩行周期における第１の歩行静止画像３１Ｓａ及び第２の歩行静止画像３１Ｓｊを選択することができる。

周期取得部１１０は、１歩行周期の時間を取得する。周期取得部１１０は、１歩行周期を構成する一対の歩行静止画像３１Ｓの間のフレーム数を数える。この一対の歩行静止画像３１Ｓの間に経過する時間は、フレーム周波数とフレーム数とから求められる。フレーム周波数が１２０Ｈｚの場合、１秒間に１２０フレームが歩行静止画像３１Ｓとして取得されている。例えば、一対の歩行静止画像３１Ｓの間に２８２の歩行静止画像３１Ｓが存在する場合、経過時間は、２．３５秒（＝２８２／１２０）と周期取得部１１０により計算される。
但し、１歩行周期の時間の取得手法はこのような例に限定されない。周期取得部１１０は、１歩行周期の開始時と終了時との一対の歩行静止画像３１Ｓのタイムスタンプの差を求めることで１歩行周期の時間を取得することもできる。

図９は、本発明の一実施形態に係る歩行動作解析方法（以降、本方法と表記する場合がある）を示すフローチャートである。
本方法は、上述した情報処理装置１のようなコンピュータにより実行される。図９に示される各ステップは、情報処理装置１が備える各機能的構成により実行され、各ステップの実行内容は、それら機能的構成の上述した処理内容と同様であるため、各ステップの詳細内容は、適宜省略される。

まず、撮像装置２により歩行者４の歩行を撮影する撮影処理（ステップＳ１１）が行われる。次に情報処理装置１の歩行画像受付部１０１が、撮影された歩行画像３１を受け付ける歩行画像受付処理を行う（ステップＳ１２）。次に、基準線受付部１０２が、歩行画像３１上における歩行者４の歩行ラインを示す基準線３５を受け付ける基準線受付処理を行う（ステップＳ１３）。次に、距離対応算出部１０３が、歩行画像３１上の距離と実距離との対応関係を算出する距離対応算出処理を行う（ステップＳ１４）。次に、着目点抽出部１０４は、歩行画像３１中の歩行者４の着目点３４を抽出する着目点抽出処理を行う（ステップＳ１５）。

着目点３４が全て抽出されていない場合（ステップＳ１６：Ｎｏ）、処理は着目点抽出処理に戻る。着目点３４が全て抽出されている場合（ステップＳ１６：Ｙｅｓ）、処理は次に進む。着目点距離算出部１０５は、着目点３４と基準線３５との歩行画像３１上の距離に基づいて、着目点３４と基準線３５との実距離を算出する着目点距離算出処理を行う（ステップＳ１７）。次に、歩行画像選択部１０６は、ステップＳ１２で受け付けられた歩行動画像３１Ｍから１歩行周期を示す歩行画像群を選択する（ステップＳ１８）。ステップＳ１８では、例えば、着目点３４として抽出された右脚の踵４１が最下点に位置する一対の歩行静止画像３１Ｓが、１歩行周期の開始時点及び終了時点を示す一対の歩行静止画像３１Ｓとして選択される。歩行動作解析部１０７は、１歩行周期を示す歩行画像群に関して算出された着目点３４と基準線３５との間の実距離を用いて、歩行者４の歩行動作解析を行う、歩行動作解析処理を行う（ステップＳ１９）。歩行動作解析処理の終了と共に処理が終了する（ステップＥＮＤ）。

図９に例示されるフローチャートでは、複数の工程（処理）が順番に記載されているが、本方法で実行される工程の実行順序は、その記載の順番に制限されない。本方法では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
また、図９に例示される工程の一部が省かれてもよい。例えば、本方法においてステップＳ１８の歩行画像選択処理は省かれてもよく、その場合には、歩行周期に関わらず、ステップＳ１７の着目点距離算出処理で算出された着目点３４と基準線３５との間の実距離を用いて、歩行動作解析処理が実行されればよい（ステップＳ１９）。

情報処理装置１は、歩行動作解析部１０７による解析結果として図１０、図１１及び図１２に例示される表示や印刷物をモニタ或いはプリンタに出力することができる。また、本方法は、図１０、図１１及び図１２に例示される表示や印刷物を出力するステップを含んでもよい。但し、情報処理装置１及び本方法の出力形態は、図１０、図１１及び図１２に示される例に限定されない。

図１０は、歩行者４の歩行動作の解析結果例を示すレーダーチャートである。
図１０の例では、歩行動作解析部１０７による解析結果として、踵４１から接地されているか、立脚時の膝屈曲角度θ２、股関節の伸展角度、立脚中期以降の脚部での蹴りだし状態（プッシュオフ）、遊脚期におけるつま先の上げ状態（Ｔｏｅクリアランス）、遊脚期の膝屈曲角度θ２、体幹の前屈角度θ１、骨盤引き上げ状態が挙げられており、これらのレーダーチャートが出力されている。

図１１は、歩行者４の歩行動作の解析結果例を示す棒グラフである。
図１１の例では、歩行動作解析部１０７による解析結果として、歩行速度、左歩幅、右歩幅、１分間当たりの歩数（ケイデンス）が上げられており、これらの棒グラフが出力されている。

図１２は、歩行者４の歩行動作の解析結果例を示す円グラフである。
図１２の例では、歩行動作解析部１０７による解析結果として、一歩行周期における両足支持の時間、右足支持の時間、左足支持の時間及び遊脚期の時間の各割合がそれぞれ取得されており、これらが右脚と左脚とで分けられそれぞれの円グラフで出力されている。

本開示は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

〈変形例〉
例えば、上述の実施形態は次のように変形することができる。
歩行画像受付部１０１は、歩行者４の歩行動作をその進行方向に直交する方向から撮像して得られた第１歩行画像のデータとその歩行者４の歩行動作をその歩行者４の正面前方から撮像して得られた第２歩行画像のデータとを受け付けるようにしてもよい。このとき、第１歩行画像及び第２歩行画像は、二台の撮像装置２により同時に撮像されたものであってもよいし、別々に撮像されたものであってもよい。後者の場合、各々の歩行動作が同様の歩速で行われることが好ましい。

歩行動作解析部１０７は、第１歩行画像に関して着目点距離算出部１０５により算出された着目点３４と基準線３５との実距離を用いて１歩行周期内の任意のタイミングを特定する。例えば、着目点３４として膝の位置が抽出されている場合、着目点３４と基準線３５との実距離が一番大きくなるタイミングは、遊脚期における脚が最も上がったタイミングと言える。１歩行周期は、歩行画像選択部１０６により選択された１歩行周期を示す歩行静止画像群を用いて特定されてもよいし、周期取得部１１０により取得された１歩行周期の時間を用いて特定されてもよい。

歩行動作解析部１０７は、第１歩行画像を用いて取得され得る１歩行周期の開始時から上記特定されたタイミングまでの時間に基づいて、当該特定されたタイミングの第２歩行画像における着目点３４の位置に基づいて、歩行者４の歩行動作解析を行うことができる。例えば、遊脚期における脚が最も上がったタイミングでの歩行者４の正面前方から視た歩行者４の膝の位置により、膝の開き具合等が解析可能となる。

第１歩行画像及び第２歩行画像における１歩行周期の同期は、各歩行画像に関して歩行画像選択部１０６によりそれぞれ選択された１歩行周期を示す歩行静止画像群を用いて行われてもよいし、第１歩行画像及び第２歩行画像の撮像タイミングを合わせることで行われてもよい。

このように相互に異なる方向から撮像された二つの歩行画像３１のうち、一方の歩行画像３１により１歩行周期内の任意のタイミング（解析対象となるタイミング）が特定され、他方の歩行画像３１におけるその特定されたタイミングでの着目点３４の位置を用いて、歩行動作解析が行われる。これにより、一方の歩行画像３１のみでは特定できない歩行動作を他方の歩行画像３１を用いて特定することができる等、より詳細な歩行動作解析が可能となる。

１ 情報処理装置
２ 撮像装置
３ スクリーン
４ 歩行者
５ 実距離が既知の物体
１０ 制御部
１１ プロセッサ
１２ ＲＯＭ
１３ ＲＡＭ
１４ バス
１５ 入出力インタフェース
１６ 入出力部
１７ 通信部（手段）
１８ 記憶部
３１ 歩行画像
３１Ｍ 歩行動画像
３１Ｓ 歩行静止画像
３３ 骨格線
３４ 着目点
３５ 基準線
４１ 踵
１０１ 歩行画像受付部（手段）
１０２ 基準線受付部（手段）
１０３ 距離対応算出部（手段）
１０４ 着目点抽出部（手段）
１０５ 着目点距離算出部（手段）
１０６ 歩行画像選択部（手段）
１０７ 歩行動作解析部（手段）
１０８ 基準線導出部（手段）
１０９ 画像出力部（手段）
１１０ 周期取得部（手段）
ｄ１ 歩行画像中基準長さ
ｄ２ 遊脚の引き上げ距離
ｄ３ 歩幅
Ｌ１ 基準線に対する垂線

Claims (8)

1. 歩行者の歩行画像のデータを受け付ける歩行画像受付手段と、
   前記歩行画像における前記歩行者の歩行ラインを示す基準線を受け付ける基準線受付手段と、
   前記歩行画像上の距離と実距離との対応関係を算出する距離対応算出手段と、
   前記歩行画像中の着目点を抽出する着目点抽出手段と、
   前記着目点と前記基準線との前記歩行画像上の距離に基づいて、前記着目点と前記基準線との実距離を算出する着目点距離算出手段と、
   前記算出された前記着目点と前記基準線との前記実距離を用いて前記歩行者の歩行動作解析を行う歩行動作解析手段と、
   を有する情報処理装置。
2. 前記基準線を前記歩行画像に重畳された状態で出力部に出力させる画像出力手段、
   を更に備え、
   前記画像出力手段は、前記基準線の両端点の一方又は両方がオペレータによる操作に応じて移動可能に出力させ、
   前記基準線受付手段は、オペレータによる操作で前記両端点の一方又は両方が移動された前記基準線の情報を受け付ける、
   請求項１に記載の情報処理装置。
3. 前記画像出力手段は、前記歩行画像に重畳されており且つオペレータによる操作に応じて前記歩行画像内で移動可能及び長さ変更可能な状態でマーカを出力部に出力させ、
   前記距離対応算出手段は、前記歩行画像に重畳して配置された前記マーカの長さを前記歩行画像上の前記距離とし、前記マーカが重なる前記歩行画像内の線分の現実の長さを前記実距離として、前記対応関係を算出する、
   請求項２に記載の情報処理装置。
4. 前記歩行画像は、前記歩行者の歩行動作を該歩行動作の進行方向に直交する方向から撮像して得られたものであり、
   前記基準線受付手段は、前記歩行画像において手前に写る前記歩行者の一方の足の接地面である第１接地面に対応する前記基準線を抽出し、
   前記着目点抽出手段は、前記歩行画像に写る前記歩行者の左右の足の同一部位を前記着目点としてそれぞれ抽出しており、
   前記着目点距離算出手段は、前記一方の足の前記着目点と前記基準線との歩行画像上の距離に基づいて、前記一方の足の前記着目点の前記第１接地面からの現実の高さを算出する一方で、前記歩行画像において奥側に写る前記歩行者の他方の足の接地面である第２接地面と前記第１接地面との前記歩行画像上での位置ズレを解消するように、該他方の足の前記着目点の前記第２接地面からの現実の高さを算出する、
   請求項１から３の何れか一項に記載の情報処理装置。
5. 前記歩行画像における前記歩行者の片足の所定部位の最下点を結ぶ直線を前記基準線として導出する基準線導出手段と、
   を更に備える請求項１から４の何れか一項に記載の情報処理装置。
6. 前記歩行画像の中から１歩行周期を示す歩行静止画像群を選択する歩行画像選択手段、
   を更に備え、
   前記歩行画像受付手段は、前記歩行者の歩行動作を該歩行動作の進行方向に直交する方向から撮像して得られた第１歩行画像のデータと前記歩行者の歩行動作を前記歩行者の正面前方から撮像して得られた第２歩行画像のデータとを受け付け、
   前記歩行動作解析手段は、前記第１歩行画像に関して算出された前記着目点と前記基準線との前記実距離を用いて前記１歩行周期内の任意のタイミングを特定し、該特定されたタイミングの前記第２歩行画像における前記着目点の位置に基づいて、前記歩行者の歩行動作解析を行う、
   請求項１から５の何れか一項に記載の情報処理装置。
7. 歩行者の歩行画像のデータを受け付ける歩行画像受付ステップと、
   前記歩行画像における前記歩行者の歩行ラインを示す基準線を受け付ける基準線受付ステップと、
   前記歩行画像上の距離と実距離との対応関係を算出する距離対応算出ステップと、
   歩行画像中の着目点を抽出する着目点抽出ステップと、
   前記着目点と前記基準線との歩行画像上の距離に基づいて、前記着目点と前記基準線との実距離を算出する着目点距離算出ステップと、
   前記算出された前記着目点と前記基準線との前記実距離に基づいて前記歩行者の歩行動作解析を行う歩行動作解析ステップと、
   を含む歩行動作解析方法。
8. 請求項７に記載の歩行動作解析方法をコンピュータに実行させるコンピュータプログラム。
   

Images