JP2022149435A - 情報処理方法、情報処理装置およびプログラム - Google Patents

Abstract

【課題】モーションキャプチャで使用するマーカを対象の理想的な位置に容易に取付けること。【解決手段】対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し(Ｓ１０１、Ｓ１０３)、作業者によりマーカが取り付けられた対象をマーカと共に撮影した画像データを取得し(Ｓ１０２)、導出された理想取付位置データと取得された画像データとに基づいて、マーカの取付位置に関する前記作業者へのフィードバック情報を生成する(Ｓ１０４、Ｓ１０５)。【選択図】 図２

Description

本発明は、情報処理方法、情報処理装置およびプログラムに関する。

３次元グラフィクスやアニメーションにおいて、実物体の運動を取込み、それをコンピュータで生成された物体上にマッピングする技術として、モーションキャプチャと称される技術が実用化されている。例えば、顔動作と身体動作を共に取込むことを可能にするモーションキャプチャシステムに関する技術などが提案されている。（特許文献１）

特表２００８－５２２３２４号公報

特許文献１に記載された技術では、所望のマーカ位置に対応する位置に孔が空けられた顔のマスクを形成し、顔の上に当該マスクを配置した状態で、マスクの孔の位置を所望のマーカ位置としてユーザにペンで顔に直接マークさせる。次いで、ユーザは、マスクを外した状態で、顔にマークした所望のマーカ位置に、顔用のマーカを貼り付ける。

従来の技術では、上記のように手作業で、顔の上にマスクを配置し、かつ、顔に所望のマーカ位置をマークしなければならないため、マーカの貼付に係る作業が煩雑である。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、モーションキャプチャで使用するマーカを対象の理想的な位置に容易に取付けることが可能な情報処理方法、情報処理装置およびプログラムを提供することにある。

本発明の一態様は、対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する。

本発明によれば、モーションキャプチャで使用するマーカを対象の理想的な位置に容易に取付けることが可能となる。

本発明の一実施例に係るシステムの構成の概要を説明する図である。 同実施形態に係る図１に示すＰＣ及びビデオカメラの機能構成を示すブロック図である。 同実施形態に係るマーカの正しい貼付位置との一致度をチェックする処理の内容を示すフローチャートである。 同実施形態に係るＰＣのディスプレイで表示される画面の例を示す図である。

以下、図面を参照して本発明の一実施形態について説明する。
［構成］
図１は、パーソナルコンピュータ（ＰＣ）１０とビデオカメラ２０とを用いて、モーションキャプチャで使用するマーカを取付けた（貼付した）対象としての人物に対し、マーカの取付作業をサポートするシステムの概要を説明する図である。なお、本明細書及び特許請求の範囲において、取付けは、粘着性両面テープなどによる貼付けに限らず、ベルトやクリップ、マグネットなどを用いて装着する場合なども含む。

ＰＣ１０とビデオカメラ２０とは、例えばビデオケーブル３０により有線接続され、ビデオカメラ２０で撮影された画像の画像データは、ＰＣ１０に送信される。ＰＣ１０には、マーカの取付作業をサポートするためのアプリケーションソフトが、予めインストールされている。ＰＣ１０では、当該アプリケーションソフトを実行する過程で、ＰＣ１０のディスプレイに、ビデオカメラ２０で撮影した画像が適時表示される。

この場合、ＰＣ１０での指示操作に基づき、ＰＣ１０のディスプレイには、ビデオカメラ２０により撮影された対象の動画像をリアルタイムに表示できる一方で、任意のタイミングでの指示操作により対象の動画像を停止して、対象の静止画像としても表示させることができる。

図２は、ＰＣ１０及びビデオカメラ２０の機能構成を示している。図２に示すように、ＰＣ１０は、互いにバスラインで接続された処理部１０ａと、記憶部１０ｂと、通信部１０ｃと、表示部１０ｄを備えている。処理部１０ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や画像処理を実行するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含めた各種プロセッサなどで構成されており、後述する処理を実行する。なお、処理部１０ａを単一のプロセッサで構成してもよい。

記憶部１０ｂは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、ＲＯＭには、処理部１０ａのＣＰＵなどが実行するプログラムや、データベース化された取付位置導出用データが、予め記憶されている。

この取付位置導出用データには、特定距離データや、特定骨長データが含まれる。特定距離データは、モーションキャプチャのマーカの取付対象がモデルとなる特定の人間である場合において、この特定の人間の骨格を構成する複数の骨格要素の各々から、特定の人間における、対応するマーカの理想的な取付位置までの距離を示すデータであって、取り付けられるマーカの数の分、存在する。

この骨格要素には、例えば、頭蓋骨、胸椎、寛骨（腸骨、恥骨、坐骨）、肩の関節部分（上腕骨と肩甲骨との接続部分）、肘の関節部分（上腕骨と橈骨及び尺骨との接続部分）、手首の関節部分（橈骨及び尺骨と手根骨との接続部分）、膝の関節部分（大腿骨と脛骨及び腓骨との接続部分）、足首の関節部分（脛骨及び腓骨と距骨及び踵骨との接続部分）などといった、特定の人物のモーション（動き）に関係する要素が含まれる。

この場合におけるマーカの理想的な取付位置は、特定の人間の体の表面（身に着けている服）におけるこの理想的な取付位置にマーカを貼り付けた場合に、この特定の人間のモーションをモーションキャプチャによって適切に記録できるように、予め設定されている。

前記の取付位置導出用データの設定は、例えば、次のようにして予め行われる。まず、後述する所定のポーズをとらせた特定の人間の理想的な取付位置にマーカを取り付け、その状態で、特定の人間を、取り付けられたマーカと共に、特定の人間の正面から撮影する。次いで、これにより撮影された画像データ（以下「特定人物画像データ」という）に基づいて、特定の人間の骨格を構成する複数の骨格要素のうちの複数の特定の骨格要素の各々の位置を表す特定骨格要素位置データを推定する。この場合、特定の骨格要素として、マーカに対応する骨格要素が設定される。また、特定骨格要素位置データで表される特定の人間の骨格要素の位置は、特定人物画像データにおける、後述するローカル座標系での位置データである。この場合の推定手法は、後述する図３のステップＳ１０１の場合の推定手法と同様である。

次いで、特定人物画像データに基づいて、特定の人間の理想的な取付位置に取り付けられたマーカの取付位置（以下「理想マーカ取付位置」という）を抽出する。この場合の抽出手法は、後述する図３のステップＳ１０１の場合の抽出手法と同様である。次いで、抽出された特定骨格要素位置データと、抽出された理想マーカ取付位置に基づいて、特定距離データを設定（導出）する。この場合、特定距離データは、特定骨格要素位置データの座標値と、抽出された理想マーカ取付位置（座標値）との差の絶対値に設定される。

また、特定骨長データは、特定の人物における上記の関節部分に接続された骨の長さを示すデータであり、例えば、肘の関節部分であれば上腕骨の長さを、膝の関節部分であれば大腿骨の長さを、それぞれ示すデータである。また、特定骨長データは、後述する対象骨長データの場合と同様の手法で設定（導出）される。以上により、特定距離データ及び特定骨長データはいずれも、後述するローカル骨格座標系におけるデータとして、予め設定されている。

また、ＲＡＭは、処理部１０ａに作業用のメモリ空間を提供し、一時的なデータを記憶する。

通信部１０ｃは、外部機器と有線または無線で通信可能な回路を含み、ビデオケーブル３０を介して、ビデオカメラ２０の後述する通信部２０ｄに接続されている。また、通信部１０ｃは、処理部１０ａによる制御によって、ビデオカメラ２０の通信部２０ｄとの間でデータの通信を、予め定められた通信規格に従って行う。この通信規格は任意である。

表示部１０ｄは、ディスプレイ１１であって、例えば、液晶表示画面または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｔ）画面などを含む。また、表示部１０ｄとしてのディスプレイ１１は、処理部１０ａによる制御によって、種々の画像を表示するとともに、手指やスタイラスペンでのタッチ操作に応じたタッチパネルとしての入力機能を備えていても良い。

ビデオカメラ２０は、三脚４０上に固定設置されて、モーションキャプチャで使用するマーカを取り付けた対象としての人物（図示せず）の全体がビデオカメラ２０の画角内に入るように、設置されている。また、図２に示すように、ビデオカメラ２０は、互いにバスラインで接続された処理部２０ａと、撮像部２０ｂと、記憶部２０ｃと、通信部２０ｄを備えている。

処理部２０ａは、ＣＰＵや画像処理を実行するＤＳＰ、ＧＰＵ等を含めた各種プロセッサなどで構成されており、後述する処理を実行する。なお、処理部２０ａを単一のプロセッサで構成してもよい。

撮像部２０ｂは、レンズ光学系と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子とを含み、撮影した動画像を電子データ化して出力する
記憶部２０ｃは、ＲＯＭやＲＡＭを含み、ＲＯＭには、処理部２０ａのＣＰＵなどが実行する撮影動作のためのプログラムなどが予め記憶されている。また記憶部２０ｃは、撮像部２０ｂでの撮像により得られた動画像データを記憶する記憶媒体として、例えばフラッシュメモリによるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やメモリカードを備えている。

通信部２０ｄは、外部機器と有線または無線で通信可能な回路を含み、ビデオケーブル３０を介して、ＰＣ１０の通信部１０ｃに接続されている。また、通信部２０ｄは、処理部２０ａによる制御によって、ＰＣ１０の通信部１０ｃとの間でデータの通信を、予め定められた通信規格に従って行う。この通信規格は任意である。

なお、対象としての人物の体表面に取付けられるマーカは、例えばビデオカメラ２０として赤外線カメラを用いる場合には、熱放射性の低い素材で表面が構成されたものを用い、通常の可視光カメラを用いる場合には、予め指定された色（例えば、肌色と補色関係に近い青や緑など）の素材で表面が構成されたものを用い、例えば、その裏面に粘着性のシールが設けられている。

［動作］
以下、本実施形態の動作について説明する。

なお、本実施形態では、後述する処理を実行するに当たって、ビデオカメラ２０で撮影された動画像を取得し、取得された動画像を各画像フレーム単位、あるいは複数フレーム毎に間引いたものを連続的に処理しながら、人物に取り付けられたマーカの位置を順次チェックするものとする。なお、各画像フレームでの処理により得た結果は、次の画像フレームで同様の処理を行う際に差分を検出する基準値として使用することで、各処理を簡略化できる。

図３は、マーカが取り付けられた対象としての人物をマーカと共にビデオカメラ２０で撮影した画像データを取得し、取得された画像データに対してＰＣ１０の処理部１０ａが実行する、人物におけるマーカの理想的な取付位置に対する、取付けられたマーカの位置の一致度を照合する処理を示すフローチャートである。

ＰＣ１０では、取得された画像データに基づいて、この画像データにおける人物の骨格を構成する複数の骨格要素の各々の位置を表す対象骨格要素位置データを推定する（ステップＳ１０１）とともに、推定された対象骨格要素位置データに基づいて、対象骨長データを導出する。
この場合の推定に関しては、例えば、ＯｐｅｎＰｏｓｅ（登録商標）（URL:https://www.rakudo.io/blog/index.php/2020/08/06/openpose/(令和３年３月１５日閲覧）)やＶｉｓｉｏｎＰｏｓｅ（登録商標）（URL:https://www.next-system.com/visionpose/(令和３年３月１５日閲覧）)といった既存のアプリケーションソフトを併用しても良い。

対象骨格要素位置データには、ローカル骨格座標系における、人物の骨格を構成する複数の骨格要素の位置を表すデータである。この場合における人物の骨格要素には、人物のモーション（動き）に関係する骨格要素が含まれ、前述した特定の人物の骨格要素と同様、例えば、人物の頭蓋骨、胸椎、寛骨（腸骨、恥骨、坐骨）、肩の関節部分（上腕骨と肩甲骨との接続部分）、肘の関節部分（上腕骨と橈骨及び尺骨との接続部分）、手首の関節部分（橈骨及び尺骨と手根骨との接続部分）、膝の関節部分（大腿骨と脛骨及び腓骨との接続部分）、足首の関節部分（脛骨及び腓骨と距骨及び踵骨との接続部分）などが含まれる。また、ローカル骨格座標系とは、対象となる骨格要素ごとに、原点と軸が定義されるローカル座標系であって、画像データの二次元座標系から変換される。

また、上記の対象骨長データは、人物における上記の関節部分に接続された骨の長さを示すデータであり、前述した特定骨長データと同様、例えば、人物の肘の関節部分であれば上腕骨の長さを示すデータであり、膝の関節部分であれば大腿骨の長さを示すデータである。上記のローカル座標系において、対象骨長データは、対応する骨が接続された一方の関節部分の位置（座標値）と他方の関節部分の位置（座標値）との差の絶対値に導出（算出）される。

この骨格推定を、人物の身長、体重、年齢層、人種、性別などにさらに応じて行ってもよい。

次にＰＣ１０では、画像データに基づいて、人物の体表面に取り付けられているマーカの位置を抽出する（ステップＳ１０２）。抽出処理に際しては、ビデオカメラ２０が赤外線カメラであれば、所定の大きさの範囲内で輪郭がマーカの形状パターン、例えば円形として認識される画像部分の位置を、マーカの位置として抽出する。また、ビデオカメラ２０が可視光カメラであれば、予め指定された色で輪郭がマーカの形状パターンである画像部分の位置を、マーカの位置として抽出する。抽出されたマーカの位置は、画像データにおける二次元座標上の位置で表現される。

さらにマーカの位置に関し、事前に設定した複数の取付パターンから１つを選定しておくことにより、マーカの数やおおよその位置を事前に把握可能としても良い。

ＰＣ１０は、ステップＳ１０１で推定された対象骨格要素位置データと、導出された対象骨長データと、前述した特定距離データと、特定骨長データとに基づいて、画像データにおける人物に対するマーカの理想的な取付位置を表す理想取付位置データを導出する（ステップＳ１０３）。

この場合、理想取付位置データは、対象骨格要素位置データに基づいて人物の骨格における左右の高さのバランスなども考慮して導出される。前述したように、理想取付位置データの導出に用いられる特定距離データは、特定の人間の骨格要素の位置から特定の人間におけるマーカの理想的な取付位置までの距離に設定されている。一方、骨格には個人差があるため、前述した特定の人間の骨格要素に、画像データにおける人物の骨格要素が必ずしも一致せずに、ずれている場合がある。

ステップＳ１０３では、特定の人間の骨格要素に対する、対象としての人物の骨格要素のずれを補償するように、理想取付位置データが、人物に適合した理想取付位置を表すように導出される。

以下、理想取付位置データの導出手法について説明する。
撮像により得た画像データからの推定結果は骨格の位置情報のみ、という前提で、対象骨格要素位置データを得るために、対象としての人物に所定のポーズをとってもらった状態で、人物を正面から撮影することによって画像データを取得する。

ローカル骨格座標系でのマーカの理想的な取付位置は、マーカ毎に、対象骨格要素位置データで表されるローカル骨格座標系での骨格要素の位置（以下「基準骨格要素位置」という）と、ローカル骨格座標系での基準骨格要素位置からマーカの理想的な取付位置までの距離（以下「取付位置シフト量」という）を決めるための情報とに基づいて導出される。また、この取付位置シフト量を決めるための情報は、特定距離データ、特定骨長データ及び対象骨長データに基づいて導出される。

なお、基準骨格要素位置として、どの骨格要素の位置を用いるのかは、記憶部１０ｂのＲＯＭに予め記憶されている。

なお、基準骨格要素位置として、どの骨格要素の位置を用いるのかは、記憶部１０ｂのＲＯＭに予め記憶されている。

但し、Ｍｘ、Ｍｙ：画像データの二次元座標上での理想マーカ取付位置データ（二次元座標データ）、
Ｍｘｌ、Ｍｙｌ：ローカル骨格座標系での理想マーカ取付位置データ（ローカル骨格座標データ）、
Ｂｘｌ、Ｂｙｌ：対象骨格要素位置データ（基準骨格位置を示すローカル骨格座標データ）、
Ｓｘｌ、Ｓｙｌ：距離データ（取付位置シフト量、すなわち、ローカル骨格座標系において基準骨格位置からマーカの理想的な取付位置までの距離を表すデータ、対応する骨格要素によって異なる）、
Ｓｘｄｂ、Ｓｙｄｂ：特定距離データ、
Ｌ＿ＤＢ：特定骨長データ、
Ｌ＿ＵＳＥＲ：対象骨長データ、
Ｒ：ローカル骨格座標系から画像データの二次元座標系への２×２変換行列（ローカル座標系に合わせてマーカ毎に導出される）、
数１中でも示しているが、特定距離データＳｘｄｂ、Ｓｙｄｂ、特定骨長データＬ＿ＤＢ、及び対象骨長データＬ＿ＵＳＥＲが、距離データＳｘｌ、Ｓｙｌを導出するための情報となっている。

さらに具体的な導出例として、例えば、人物の肘の外側に取り付けられるマーカの理想的な取付位置の場合、人物に、前記所定のポーズとして、直立して両腕を水平に左右に延ばした、所謂［Ｔポーズ］をとってもらった状態で、画像データ上の横方向がＸ軸、縦方向がＹ軸、ローカル骨格系座標のＸ軸が上腕骨が延びる方向（水平方向）、ローカル骨格系座標のＹ軸が上腕骨と直交する方向（鉛直方向）、上腕骨の長さがＡＬ、肘の関節部分の幅がＥＬ（ＥＬ＿ＤＢ）、対象骨格要素位置データＢｘｌ、Ｂｙｌで表される基準骨格要素位置が肘の関節部分の位置（中心座標）であるとすると、数１は次に示す数２で表される。

但し、Ｍｘ、Ｍｙ：画像データの二次元座標上での肘の関節部分に対応するマーカ（以下「肘マーカ」という）の理想取付位置データ、
Ｍｘｌ、Ｍｙｌ：ローカル骨格座標系での肘の関節部分に対応する理想マーカ取付位置データ、
Ｓｘｌ、Ｓｙｌ：距離データ（取付位置シフト量、すなわち、ローカル骨格座標系での基準骨格位置からの肘マーカの理想的な取付位置までの距離を表すデータ）、
Ｓｘｄｂ、Ｓｙｄｂ：特定距離データ（特定の人間の肘の部分の幅ＥＬ＿ＤＢの１／２の長さで、（Ｓｘｄｂ＝０、Ｓｙｄｂ＝ＥＬ＿ＤＢ／２））、
Ｌ＿ＤＢ：仮想骨長データ（特定の人間の上腕骨の長さ（ＡＬ＿ＤＢ））、
Ｌ＿ＵＳＥＲ：対象骨長データ（人物の上腕骨の長さ（ＡＬ＿ＵＳＥＲ）、
数１中でも示しているが、特定距離データＳｘｄｂ、Ｓｙｄｂ、特定骨長データＬ＿ＤＢ、対象骨長データＬ＿ＵＳＥＲから導出される距離データＳｘｌ、Ｓｙｌが、人物の上腕骨の長さでスケール調整するための情報となっている。

さらに他の具体的な導出例として、例えば、人物の膝の外側に取り付けられるマーカの理想的な取付位置の場合、人物に、前記所定のポーズとして、直立して両足を肩幅程度に開き、両腕を水平に左右に延ばした、所謂［Ｔポーズ］をとってもらった状態で、画像データ上の横方向がＸ軸、縦方向がＹ軸、ローカル骨格系座標のＸ軸が大腿骨が延びる方向と直交する面（水平方向）、ローカル骨格系座標のＹ軸が大腿骨が伸びる方向（鉛直方向）、大腿骨の長さがＴＬ、膝の関節部分の幅がＫＬ（ＫＬ＿ＤＢ）、対象骨格要素位置データＢｘｌ、Ｂｙｌで表される基準骨格要素位置が膝の関節部分の位置（中心座標）であるとすると、数１は次に示す数３で表される。

但し、Ｍｘ、Ｍｙ：画像データの二次元座標上での膝の関節部分に対応するマーカ（以下「膝マーカ」という）の理想取付位置データ、
Ｍｘｌ、Ｍｙｌ：ローカル骨格座標系での膝関節部分に対応する理想マーカ取付位置データ、
Ｓｘｌ、Ｓｙｌ：距離データ（取付位置シフト量、すなわち、ローカル骨格座標系での基準骨格位置からの膝マーカの理想的な取付位置までの距離を表すデータ）、
Ｓｘｄｂ、Ｓｙｄｂ：特定距離データ（仮想の人間の膝の部分の幅ＫＬ＿ＤＢの１／２の長さで、（Ｓｘｄｂ＝ＫＬ＿ＤＢ／２、Ｓｙｄｂ＝０）、
Ｌ＿ＤＢ：特定骨長データ（仮想の人間の大腿骨の長さ（ＴＬ＿ＤＢ））、
Ｌ＿ＵＳＥＲ：対象骨長データ（人物の大腿骨の長さ（ＴＬ＿ＵＳＥＲ）、
数１中でも示しているが、特定距離データＳｘｄｂ、Ｓｙｄｂ、特定骨長データＬ＿ＤＢ、対象骨長データＬ＿ＵＳＥＲから導出される距離データＳｘｌ、Ｓｙｌが、人物の大腿骨の長さでスケール調整するための情報となっている。

ＰＣ１０は、ステップＳ１０２で抽出された人物の体表面に取り付けられている複数のマーカの位置と、ステップＳ１０３で導出された理想取付位置データで表される複数の理想的な取付位置とを比較して、各理想的な取付位置に対する、対応する各マーカの位置の一致度を導出することで、どのマーカが理想的な取付位置に対してどのくらい正しく取り付けられているかの照合を行う（ステップＳ１０４）。

この照合に際しては、例えば、マーカの中心点位置と、導出された理想取付位置データで表されるマーカの理想的な取付位置の中心点位置との実距離に相当する、画像データの二次元座標における距離により容易に導出できる。なお、中心点位置以外の他の適当な位置を用いてもよいことは、もちろんである。

また、事前に人物の身長等のデータを入力しておき、画像データの画像フレーム中の外枠ＯＦ（図４参照）に収まる人物の大きさと勘案して、マーカの中心点位置と、理想的な取付位置の中心点位置との実距離を導出しても良い。

ＰＣ１０は、照合の結果を表す画像をディスプレイ１１に表示させるための表示データを、フィードバック情報として生成し、生成した表示データに基づいて、照合の結果を表す画像をディスプレイ１１上に表示させる（ステップＳ１０５）。

さらにＰＣ１０は、所定のキー操作、例えばこのアプリケーションソフトの終了が指示されたか否かを判断する（ステップＳ１０６）。終了が指示されていないと判断した場合（ステップＳ１０６のＮＯ）、ＰＣ１０では、ステップＳ１０１からの処理を繰り返し実行する。

図４は、ディスプレイ１１に表示される、上述したマーカの照合結果を表示する画像を例示する図である。同図では、ディスプレイ１１の画面の中央および左側の多くのエリアで、照合結果が重畳された撮影画像ＦＩを表示している。この撮影画像ＦＩは、取得された画像データに基づく表示画像である。

ディスプレイ１１では、人物ＡＴの範囲を示す外枠ＯＦ内において、人物ＡＴの身体および四肢の中心軸に沿うようにして、抽出された骨格を示す骨格画像ＳＫが、撮影画像ＦＩに重畳して表示されている。

また、ディスプレイ１１では、骨格の左右の高さバランスが視覚的に理解し易いように、人物ＡＴの左右の肩関節部、左右の股関節部および左右の膝関節部を通るような破線によるバランス線が、撮影画像ＦＩに重畳して表示されている。

さらに、ディスプレイ１１では、人物ＡＴの体表面に取り付けられたマーカＭＰ０１～ＭＰ１６（ＭＰ１２を除く）に対応するようにして、撮影画像ＦＩにおける、理想取付位置データで表されるマーカの理想的な複数の取付位置の各々に、複数の理想マーカＲＭＰ０２、ＲＭＰ０４、ＲＭＰ０６、ＲＭＰ０９、ＲＭＰ１２、ＲＭＰ１４の各々が重畳して表示されている。

これらの理想マーカＲＭＰ０２、ＲＭＰ０４、ＲＭＰ０６、ＲＭＰ０９、ＲＭＰ１２、ＲＭＰ１４には、ディスプレイ１１の右上部で［正解位置］としての説明表示がなされている。このように、理想マーカは、対応するマーカの理想的な取付位置を示している。

また、撮影画像ＦＩ中のマーカＭＰ１～ＭＰ１６（ＭＰ１２を除く）の表示態様は、それらの位置の理想的な取付位置に対する一致度に応じて、変更される。図４に示す例では、ディスプレイ１１の右部のスケールＳＣで示すように、この一致度がきわめて低い場合［ＮＧ］には濃いハッチングで、一致度がきわめて高い場合［ＯＫ］には淡いハッチングで、一致度が高いほど、ハッチングがより段階的に薄くなるように、マーカの表示態様が変更される。これとは逆に、一致度が高いほど、ハッチングがより濃くなるように、マーカの表示態様を変更してもよく、あるいは、一致度に応じてハッチングの濃さが無段階（連続的）に変化するように、マーカの表示態様を変更してもよい。

上記の例に代えて、例えば［ＮＧ］の場合を濃い赤色、［ＯＫ］の場合を濃い藍色として、それらの間をほぼ無段階に変化する色で表示するように、マーカの表示態様を変更してもよい。上述したような一致度に応じたマーカの表示態様の変更を、マーカに代えて、またはマーカと共に、理想マーカに対して行ってもよい。

また、人物ＡＴの右足首の位置のＭＰ１２に関しては、当該マーカを取付け忘れたことにより、理想マーカＲＰＭ１２のみが表示されている状態を示している。そのため、ディスプレイ１１の右下部では、抽出できたマーカの総数を［１５／１６］と表示することによって、１つのマーカの取付けが確認できなかったことを表示している。

また、それぞれ薄いハッチング（色では濃い藍色に相当）で示した［ＯＫ］の場合のマーカＭＰ０１、ＭＰ０３、ＭＰ０５、ＭＰ０７、ＭＰ０８、ＭＰ１０、ＭＰ１１、ＭＰ１３、ＭＰ１５、ＭＰ１６に関しては、それぞれ対応する理想マーカとの一致度がきわめて高く、取付けし直す必要がないものとして、対応する理想マーカＲＭＰ０１、ＲＭＰ０３、ＲＭＰ０５、ＲＭＰ０７、ＲＭＰ０８、ＲＭＰ１０、ＲＭＰ１１、ＲＭＰ１３、ＲＭＰ１５、ＲＭＰ１６を撮影画像ＦＩに重畳して表示することを省略している。

ＰＣ１０のユーザ、あるいは同ユーザと同席する、人物ＡＴへのマーカの取付を行う作業者は、前述したようにディスプレイ１１で表示される照合結果と撮影画像ＦＩを見た上で、必要なマーカに関して、対応する理想マーカの位置と一致するようにマーカを１つずつ取付し直す作業を順次繰り返し実行すれば良い。

ディスプレイ１１の撮影画像ＦＩ中で表示されるすべてのマーカＭＰ０１～ＭＰ１６に対応する理想マーカの表示が省略された状態となった時点で、すべてのマーカに関する理想的な位置への取付作業が完了したことになる。

その時点でＰＣ１０のユーザが、このアプリケーションソフトの終了を指示した場合、図３の処理では、ステップＳ１０６において当該終了時を判断し（ステップＳ１０６のＹＥＳ）、ＰＣ１０は図３の処理を終了する。

なお、ステップＳ１０４で照合結果をフィードバック情報として撮影画像ＦＩとともに図４で示した如く表示した状態で、実際の人物ＡＴの骨格に、ステップＳ１０１での骨格推定の処理精度では認識できない大きさで歪みが存在しており、画面上では理想的な取付位置ではなくとも、実際には対応するマーカが理想的な取付位置である場合がある。

そのような場合には、ＰＣ１０のマウスなどのポインティングデバイスを用いたユーザによる操作、あるいはディスプレイ１１がタッチパネル式であれば、画面へのユーザによるタッチ操作を受付けて、ユーザが理想的な取付位置を意図的に修正可能にすることが望ましい。

また、マーカの位置と理想的な取付位置との一致度に対応して色などを識別可能に可変表示する条件に関しては、実際にモーションキャプチャで使用するマーカの測定精度などの仕様に合わせて、適宜設定が変更可能であるものとする。

なお、前記実施形態では、ＰＣ１０の画面上にビデオカメラ２０で撮影した画像に基づいた画像表示を行う場合について説明したが、これに限らず、例えばビデオカメラ２０の撮影範囲をカバーする投影範囲となるように別体の投影装置を設置してＰＣ１０と連動させ、プロジェクションマッピング技術により、撮影されている人物の体表面に、フィードバック情報としての照合結果を表す画像を投影することも考えられる。

この場合、理想的な取付位置が人物の体表面に投影されるため、図４に示す場合と異なり、ディスプレイ１１の画面を確認しながらマーカを取付し直す必要がなく、マーカをより効率的に取付けることができる。

また、これとは別に、ディスプレイ１１において、人物ＡＴをマーカとともに撮影した撮影画像ＦＩに、複数の理想的な取付位置を重畳して表示させ、これらの複数の理想的な取付位置のうちの特定の理想的な取付位置と、撮影画像ＦＩにおけるこの特定の理想的な取付位置の周囲の領域の画像とを一時的に拡大して表示するものとすれば、理想的な取付位置を視認し易くなり、作業効率を向上させることができる。

具体的な一時的な拡大表示に関しては、例えば以下の３通りの態様が考えられる。
第１の態様は、表示画面上で、複数の理想的な取付位置のうちから、ユーザ操作により拡大したい理想的な取付位置を指定させ、ユーザにより指定された取付位置を含む部分画像を拡大して表示させるものである。このような処理を行うことにより、ユーザの意思を反映して作業効率を向上させることができる。

第２の態様は、首の部分など、表示画面上で理想的な取付位置に対するマーカの取付位置のずれをユーザが確認し難い部位を、予め特定しておき、この部位に対応する特定の理想的な取付位置に対して、マーカの取付位置との一致度が所定のしきい値以下の場合に、特定の理想的な取付位置を含む部分画像を拡大して表示させるものである。このような処理を行うことにより、予め正確に取付けることが難しいと予想される部位へのマーカの取付けをより円滑に行うことができる。

第３の態様は、図３のステップＳ１０５で所定の回数、例えば２回以上、照合結果をフィードバック表示しても、理想的な取付位置に対するマーカの取付位置の一致度が所定のしきい値以下である場合に、その特定の理想的な取付位置を含む部分画像を拡大して表示させるものである。このような処理を行うことにより、作業の進展状況を考慮して、困難と思われる部位へのマーカの取付け作業に効率的に移行できる。

［実施形態の効果］
以上詳記した如く本実施形態によれば、ビデオカメラ２０で撮像した対象の画像に基づいて対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し（図２のＰＣ１０の記憶部１０ｂ）、作業者によりマーカが取り付けられた対象をマーカと共に撮影した画像データを取得し（図３のステップＳ１０２）、取得された理想取付位置データと、取得された画像データとに基づいて、マーカの取付位置に関する前記作業者へのフィードバック情報を生成する（ステップＳ１０４、Ｓ１０５）。以上により、モーションキャプチャで使用するマーカを対象の理想的な位置に容易に取付けることが可能となる。

また、本実施形態では、対象は骨格を内在した生物である人物であり、画像データに基づいて対象の骨格を構成する骨格要素の位置を表す対象骨格要素位置データ（Ｂｘｌ、Ｂｙｌ）を推定し、（ステップＳ１０１）、対象の骨格要素の位置からマーカの理想的な取付位置までの距離を表す距離データ（Ｓｘｌ、Ｓｙｌ）を導出し（ステップＳ１０３）、理想取付位置データを、推定された対象骨格要素位置データと、導出された距離データとに基づいて導出することにより取得する（ステップＳ１０３）。以上により、骨格を内在する生物を対象として、マーカの理想的な取付位置を適切に導出することができる。

さらに本実施形態では、対象骨格要素位置データとしての複数の対象骨格要素位置データの各々は、前記対象の互いに異なる複数の骨格要素の位置の各々を表し、距離データとしての複数の距離データ（数１～数３のＳｘｌ，Ｓｙｌ）の各々は、複数の対象骨格要素位置データの各々に対応して、互いに異なる値に導出される。以上により、骨格要素毎に、骨格要素から理想的な取付位置までの距離が異なる点を考慮して、理想的な取付位置をより適切に導出することができる。

この点で、特に本実施形態では、生物と同種の特定の生物の骨格を構成する骨格要素の位置から前記特定の生物におけるマーカの理想的な取付位置までの距離を表す特定距離データ（数１～数３のＳｘｄｂ，Ｓｙｄｂ）を取得し、距離データ（数１～数３のＳｘｌ，Ｓｙｌ）は、取得された特定距離データに基づいて導出される（ステップＳ１０３）。以上により、特定距離データを基準として、マーカの理想的な取付位置をさらに適切に導出することができる。

さらに本実施形態では、距離データ（数１～数３のＳｘｌ，Ｓｙｌ）を、生物と同種の特定の生物の骨格の長さ（数１～数３のＬ＿ＤＢ）と、取得された画像データから推定される骨格の長さ（数１～数３のＬ＿ＵＳＥＲ）との比に基づいて補正する。以上により、対象の骨格の個体差をも考慮して、理想的な取付位置をさらに適切に導出できる。

また本実施形態では、画像データに基づいて対象及びマーカを表示する表示画像に、取得された理想取付位置データで表される理想的な取付位置を示す理想マーカを重畳して表示するための表示データを、フィードバック情報として生成する（ステップＳ１０５）。以上により、マーカの理想的な取付位置を視覚的に理解し易い態様で提示できる。

さらに本実施形態では、画像データに基づいて、対象に取り付けられた前記マーカの位置を抽出し(ステップＳ１０１、Ｓ１０２)、理想取付位置データで表される理想的な取付位置と抽出されたマーカの位置との一致度を導出し（ステップＳ１０４）、導出された一致度に応じて前記表示画像におけるマーカ及び前記理想マーカの少なくとも一方の表示態様が変更されるように、表示データを生成する（ステップＳ１０５、図４）。以上により、理想的なマーカの取付位置と現状のマーカの取付位置との一致度がきわめて視覚的に理解し易くなり、作業効率を向上させることができる。

また本実施形態では、一致度が予め設定されたしきい値より高い場合に、一致度に対応する理想マーカ（図４の理想マーカＲＭＰ０１、ＲＭＰ０３、ＲＭＰ０５、ＲＭＰ０７、ＲＭＰ０８、ＲＭＰ１０、ＲＭＰ１１、ＲＭＰ１３、ＲＭＰ１５、ＲＭＰ１６）の表示を省略するように、表示データを生成する。以上により、表示される画像中で不要な情報が表示されるのを回避して、より見易い画像が提示できる。

なお、本実施形態では、主要な処理を専用のアプリケーションソフトをインストールしたＰＣ１０で実行するものとしたが、本発明はこれに限らず、インターネットを含むネットワークで接続されたサーバや、複数のクラウドコンピューティング技術により実現しても良い。

なお、本実施形態では、理想的なマーカの取付位置と、実際のマーカの取付位置との一致度に応じて、理想的なマーカの表示態様をあえて変更しないものとしても良い。その場合、図３のステップＳ１０２における実際のマーカの取付位置の抽出処理は不要となる。

また、特に人物において特徴部分が存在する部分、例えば顔にマーカを取付ける場合には、理想取付位置データを、例えば次のようにして導出してもよい。
まず、特定の人間の顔の表面における理想的な取付位置にマーカを取り付け、その状態で、特定の人間の顔を、取り付けられたマーカと共に、特定の人間の顔の正面から撮影し、これにより撮影された画像データを、特定顔マーカ画像データとして予めＲＯＭに記憶させておく。

そして、対象としての人物の理想取付位置データを導出するにあたっては、特定顔マーカ画像データにおける特定の顔の特徴部分（目や、鼻、口）を、周知の画像処理（例えばＳＩＦＴなど）により抽出する。

また、作業者によりマーカが顔に取り付けられた対象としての人物の顔をマーカと共に撮影した画像データ（以下「顔マーカ画像データ」という）を取得し、取得した顔マーカ画像データにおける人物の顔の特徴部分（目や、鼻、口）を、周知の画像処理により抽出する。

そして、抽出された特定の顔の特徴部分を人物の顔の特徴部分に合わせるようにして、周知の画像処理（例えばｉｍａｇｅ ｗａｒｐｉｎｇなど）により、特定顔マーカ画像データを顔マーカ画像データにマッチングさせて変換し、変換された特定顔マーカ画像データにおけるマーカの位置を、人物用のマーカの理想取付位置データとして導出する。

また、この場合のフィードバック情報の生成方法に関しては、実施形態で説明した内容と同様でもよく、あるいは、次のようにして行ってもよい。

すなわち、前述したようにして変換された特定顔マーカ画像データ（以下「変換後特定顔マーカ画像データ」という）におけるマーカ以外の部分の画素にアルファ値を設定することによって、変換後特定顔マーカ画像データにおけるマーカ（上述した理想マーカに相当）のみが表示される画像データを生成する。そして、生成されたこの画像データによる画像を、マーカが取り付けられた人物の画像に重畳表示するための表示データを、フィードバック情報として生成する。

なお、前述したような理想取付位置データの導出手法において、抽出した顔の特徴部分に代えて、推定した骨格を適用してもよい。

さらにフィードバックする情報としては、図４で示した画像中での表示に代えて、音声情報であってもよい。例えば、どの位置のマーカがどの方向にどの程度ずれているのかを、音声によるガイドメッセージとして案内してもよい。

また、本実施形態ではマーカを取付ける対象が人物である場合について説明したが、対象は人物に限らず、他の動物やロボット、自動車などの移動体であってもよい。

さらに、本実施形態では、撮像により得た２次元の画像データに対する処理に適用した場合について説明したが、本発明はこれに限らず、三次元の画像データに対する処理にも適用可能となる。

さらに、本実施形態では、距離データ（数１～数３のＳｘｌ，Ｓｙｌ）を、生物と同種の特定の生物の骨格の長さ（数１～数３のＬ＿ＤＢ）と、取得された画像データから推定される骨格の長さ（数１～数３のＬ＿ＵＳＥＲ）との、２つの長さの比に基づいて補正するものとしたが、本発明はこれに限らない。例えば、２つの長さに応じたテーブル検索で補正項を導出して、導出した補正項で仮想距離データを補正することによって距離データを導出してもよい。

この場合、特定の生物の骨格の長さ（数１～数３のＬ＿ＤＢ）を考慮して、画像データから推定される骨格の長さ（数１～数３のＬ＿ＵＳＥＲ）に基づいて補正項を導出するテーブルを予め設定しても実現できる。

また、本実施形態では、距離データは、対象とする骨の長さについて求めるものとしたが、本発明はこれに限らず、例えば関節部の大きさなど、予め定められた特定の生物の骨格要素の大きさを表すパラメータとして用いてもよい。

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
情報処理装置による情報処理方法。
［請求項２］
前記対象は骨格を内在した生物であり、
前記画像データに基づいて前記対象の骨格を構成する骨格要素の位置を表す対象骨格要素位置データを推定し、
前記対象の骨格要素の位置から前記マーカの理想的な取付位置までの距離を表す距離データを導出し、
前記理想取付位置データを、前記推定された対象骨格要素位置データと、前記導出された距離データとに基づいて導出する、
請求項１に記載の情報処理方法。
［請求項３］
前記対象骨格要素位置データとしての複数の対象骨格要素位置データの各々は、前記対象の互いに異なる複数の骨格要素の位置の各々を表し、
前記距離データとしての複数の距離データの各々は、前記複数の対象骨格要素位置データの各々に対応して、互いに異なる値に導出される、
請求項２に記載の情報処理方法。
［請求項４］
前記生物と同種の特定の生物の骨格を構成する骨格要素の位置から前記特定の生物における前記マーカの理想的な取付位置までの距離を表す仮想距離データを取得し、
前記距離データは、前記取得された特定距離データに基づいて導出される、
請求項２または３に記載の情報処理方法。
［請求項５］
前記距離データは、予め定められた前記特定の生物の骨格要素の大きさを表すパラメータと、前記取得された画像データから推定された骨格要素の大きさを表すパラメータとに基づいて前記特定距離データを補正することによって導出される、
請求項４に記載の情報処理方法。
［請求項６］
前記画像データに基づいて前記対象及び前記マーカを表示する表示画像に、前記取得された理想取付位置データで表される理想的な取付位置を示す理想マーカを重畳して表示するための表示データを、前記フィードバック情報として生成する、
請求項１乃至５のいずれかに記載の情報処理方法。
［請求項７］
前記画像データに基づいて、前記対象に取り付けられた前記マーカの位置を抽出し、
前記理想取付位置データで表される理想的な取付位置と前記抽出されたマーカの位置との一致度を導出し、
前記導出された一致度に応じて前記表示画像における前記マーカ及び前記理想マーカの少なくとも一方の表示態様が変更されるように、前記表示データを生成する、
請求項６記載の情報処理方法。
［請求項８］
前記一致度が予め設定されたしきい値より高い場合に、前記一致度に対応する前記理想マーカの表示を省略するように、前記表示データを生成する、
請求項７に記載の情報処理方法。
［請求項９］
対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
処理部を備えた情報処理装置。
［請求項１０］
装置が内蔵したコンピュータが実行するプログラムであって、前記コンピュータを、
対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
処理部として機能させるプログラム。

１０…パーソナルコンピュータ（ＰＣ）
１０ａ…処理部
１０ｂ…記憶部
１０ｃ…表示部
１０ｄ…通信部
１１…ディスプレイ
２０…ビデオカメラ
２０ａ…処理部
２０ｂ…撮像部
２０ｃ…記憶部
２０ｄ…通信部
３０…ビデオケーブル
４０…三脚
ＡＴ…人物
ＦＩ…撮影画像
ＭＰ０１～ＭＰ１１、ＭＰ１３～ＭＰ１６…（貼付された）マーカ
ＯＦ…外枠
ＲＭＰ０２、ＲＭＰ０４、ＲＭＰ０６、ＲＭＰ０９、ＲＭＰ１２、ＲＭＰ１４…理想マーカ
ＳＣ…スケール
ＳＫ…骨格

Claims (10)

1. 対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
   作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
   前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
   情報処理装置による情報処理方法。
2. 前記対象は骨格を内在した生物であり、
   前記画像データに基づいて前記対象の骨格を構成する骨格要素の位置を表す対象骨格要素位置データを推定し、
   前記対象の骨格要素の位置から前記マーカの理想的な取付位置までの距離を表す距離データを導出し、
   前記理想取付位置データを、前記推定された対象骨格要素位置データと、前記導出された距離データとに基づいて導出する、
   請求項１に記載の情報処理方法。
3. 前記対象骨格要素位置データとしての複数の対象骨格要素位置データの各々は、前記対象の互いに異なる複数の骨格要素の位置の各々を表し、
   前記距離データとしての複数の距離データの各々は、前記複数の対象骨格要素位置データの各々に対応して、互いに異なる値に導出される、
   請求項２に記載の情報処理方法。
4. 前記生物と同種の特定の生物の骨格を構成する骨格要素の位置から前記特定の生物における前記マーカの理想的な取付位置までの距離を表す特定距離データを取得し、
   前記距離データは、前記取得された特定距離データに基づいて導出される、
   請求項２または３に記載の情報処理方法。
5. 前記距離データは、予め定められた前記特定の生物の骨格要素の大きさを表すパラメータと、前記取得された画像データから推定された骨格要素の大きさを表すパラメータとに基づいて前記特定距離データを補正することによって導出される、
   請求項４に記載の情報処理方法。
6. 前記画像データに基づいて前記対象及び前記マーカを表示する表示画像に、前記取得された理想取付位置データで表される理想的な取付位置を示す理想マーカを重畳して表示するための表示データを、前記フィードバック情報として生成する、
   請求項１乃至５のいずれかに記載の情報処理方法。
7. 前記画像データに基づいて、前記対象に取り付けられた前記マーカの位置を抽出し、
   前記理想取付位置データで表される理想的な取付位置と前記抽出されたマーカの位置との一致度を導出し、
   前記導出された一致度に応じて前記表示画像における前記マーカ及び前記理想マーカの少なくとも一方の表示態様が変更されるように、前記表示データを生成する、
   請求項６記載の情報処理方法。
8. 前記一致度が予め設定されたしきい値より高い場合に、前記一致度に対応する前記理想マーカの表示を省略するように、前記表示データを生成する、
   請求項７に記載の情報処理方法。
9. 対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
   作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
   前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
   処理部を備えた情報処理装置。
10. 装置が内蔵したコンピュータが実行するプログラムであって、前記コンピュータを、
    対象へのモーションキャプチャ用のマーカの理想的な取付位置を表す理想取付位置データを導出し、
    作業者により前記マーカが取り付けられた前記対象を前記マーカと共に撮影した画像データを取得し、
    前記導出された理想取付位置データと、前記取得された画像データとに基づいて、前記マーカの取付位置に関する前記作業者へのフィードバック情報を生成する、
    処理部として機能させるプログラム。

Images