JP2004186824A - 時空間多重画像装置および方法 - Google Patents

Abstract

【課題】常に全方位からの被写体の映像を取得して、人体動作などの定量的な時空間的解析を可能にすること。
【解決手段】多数のカメラを円状（あるいはリング状）に一定間隔で配置して、それぞれのカメラにより円の中心方向の被写体を撮像し、各カメラから出力される画像情報をカメラ位置、つまり視点ごとにフレーム単位で時系列的に蓄積したマトリックスファイルを作成し、このマトリックスファイルを基にして再生すべき視点および時系列上の位置を指示し、指示された視点および時系列上の位置に対応するフレームを選択的に読み出して、画像を再生するように構成した。
【選択図】 図１

Description

【０００１】
【産業上の利用分野】
本発明は，被写体の全方位からの映像を取得して指定された視点と時点で再生できる時空間多重画像装置および方法に関するものであり、スポーツ医学や、医用生体工学、生体材料学などの分野に広く適用可能なものである。
【０００２】
【従来の技術】
被験者の運動時の身体各部の観察や人体動作の時空間的計測は、医学領域において、大きな有用性を期待されている。例えば整形外科領域における人工関節設置後の術後評価への応用を考えた場合、患者の体表モデルより患者体内の骨格の動きを推定し、人工関節の動作状況の評価や患者への脱臼肢位指導等が考えられる。またスポーツ医学への応用では、スポーツ選手のフォームの指導だけでなく、動作計測を行って選手の骨格および骨格筋の動作状況を推定し、どの部位をトレーニングすべきか、故障しやすい部位はどこかといった指導を行うことが考えられる。他にもリハビリテーション医学等様々な分野において、これまでは医師が経験や勘に頼らざるを得なかった治療法の決定や予後の推定、患者への指導等を定量性を持って行うことが可能になると考えられる。
【０００３】
近年、複数のカメラを利用したＶｉｅｗ−ｉｎｄｅｐｅｎｄｅｎｔ Ｓｃｅｎｅ Ａｃｑｕｉｓｉｔｉｏｎ法などにより、範囲は観察中の任意な視点の移動を可能とする新しい撮影手法が開発されるようになってきた。しかしながら、これらの大部分の研究はｔｅｌｅ−ｐｒｅｓｅｎｃｅ などの通信手法としての画像情報取得を目的としており、被写体の定量性を問わないのが現状であり、また被験者の運動時の全身動作を対象とする時空間的計測、動作の定量的な時空間的解析を可能にするシステムは、これまで存在していなかった。
【０００４】
【発明が解決しようとする課題】
従来の静止画カメラあるいはビデオカメラを用いた撮影では、常にカメラのある撮影地点から見た被写体の映像しか得ることができず、反対側から見た被写体の裏側の映像を同時的に得ることはできないという制約がある。
【０００５】
本発明の課題は、このような制約を受けずに常に全方位からの被写体の映像を取得して、人体動作などの定量的な時空間的解析を可能にするシステムを実現することにある。
【０００６】
【課題を解決するための手段】
本発明は、上記の課題を解決するための時空間多重画像装置および方法を実現するもので、多数のカメラを円状（あるいはリング状）に一定間隔で配置して、それぞれのカメラにより円の中心方向の被写体を撮像し、各カメラから出力される画像情報をカメラ位置、つまり視点ごとにフレーム単位で時系列的に蓄積したマトリックスファイルを作成し、このマトリックスファイルを基にして再生すべき視点および時系列上の位置を指示し、指示された視点および時系列上の位置に対応するフレームを選択的に読み出して、画像を再生するように構成した。
【０００７】
また立体画像として再生できるようにするため、円状に配置された複数のカメラの間隔は、隣接あるいは近接する任意の一対のカメラによる立体視を可能とする間隔であることとした。
【０００８】
また被写体の移動に追従しての撮像を可能にするため、円状に配置された複数のカメラ全体を、二次元空間内あるいは三次元空間内で移動制御できることとした。
【０００９】
また被写体の人物の運動時における筋肉や骨格などの内部構造の状態や変化を調べられるようにするため、マトリックスファイルから取り出したフレームの画像と、別に生成した内部構造の画像とを重畳合成して再生できることとした。
【００１０】
図１の（ａ），（ｂ）により、本発明による時空間多重画像装置の基本構成を説明する。図１の（ａ）は、撮像装置１の外観を示している。リング状の撮像装置１にはｎ個のセル（小室）２が設けられており、各セル２にはｎ個のカメラ３が１台ずつ収納されている。ｎ個のカメラ３の各レンズは、いずれも被写体４があるリングの中心点に向けられ、同期して撮像動作を行なう。
【００１１】
図１の（ｂ）は、ｎ個のカメラからそれぞれ出力されるビデオ信号のフレームをファイルに蓄積する処理を示す。ｎ個のカメラを３−１， ３−２， ３−３，・・・，３−ｎで表わすと、それぞれのカメラから出力されるビデオ信号は、フレーム単位に、５−１，５−２，５−３、・・・、５−ｎで表わされているカメラ対応のローカルメモリにそれぞれ一旦格納され、そこからマトリックスファイル６に集められる。マトリックスファイル６は、横方向（列）にカメラＮｏ．をとり、縦方向（行）にフレームＮｏ．をとったマトリックス構造のファイルである。このマトリックスファイル６からは、フレーム単位で画像データを取り出すことができ、任意の視点と時点における画像の再生を可能にすることができる。
【００１２】
図２は、マトリックスファイル６からの画像データ読出しの例である。図２の（ａ）は、視点をカメラＮｏ．２の位置に固定してフレームデータを時系列的に読出し、画像再生を行なう場合のものである。図２の（ｂ）は、時点をフレームＮｏ．４の位置に固定して、視点を順次のカメラＮｏ．の位置に移動、つまり、視点を被写体の周りで３６０度回転して画像再生を行なう場合のものである。図２の（ｃ）は、視点を被写体の周りで３６０度回転しながら時系列的にフレームデータを読出し、リアルタイム的な画像再生を行なう場合のものである。図２の（ｄ）は、立体視可能な画像再生を行なう場合のもので、隣り合ったＮｏ．２とＮｏ．３の２台のカメラのフレームデータを時系列的に並行して読出し、再生している。
【００１３】
【発明の実施の形態】
図３に、本発明による時空間多重画像装置を適用した実施例システムを示す。このシステムでは、被験者１２の人体動作を３６０度の各方向から、同期された６０台のデジタルビデオカメラで撮影した。６０台のデジタルビデオカメラは、中央に被験者１２がランニングマシン１４上で自由に動作できるスペースを設けた直径４ｍ（外径）の金属製のリング１１に、６ 度の間隔で円状に固定され、すべてのレンズが正確に中央に向くように調整されている。このリング１１は、移動式クレーン１３により吊り下げられて、被験者１２の動きに追従して移動し、カメラが常に適正な位置で撮影することを可能にしている。また本装置を置く部屋、金属製リング、移動式クレーンともに一定の彩度の青色に塗装し、クロマキー手法により被験者以外の映像を消去できるようにした。
【００１４】
図４はリング１１の詳細を示す。リング１１は、上下のリング状枠板の間を、仕切り板で６０個のセル１５に区切った構造を持ち、各セル１５の中には、図示されていないが、それぞれデジタルビデオカメラが取り付けられている。図５は、リング上のデジタルビデオカメラの配置を示したもので、６０台のデジタルビデオカメラが、３６０度を６０分割した角度、すなわち６度の間隔で配置されている。この６度の角度は、隣接する一対のカメラ間で立体視を実現できるほぼ最小の角度である。もしも隣接カメラ間の角度が６度以下であった場合には、６度以上の角度が得られる近接カメラ間で立体画像データを生成すればよい。
【００１５】
本発明の他の実施例では、動作計測を行うだけでなく、被験者の色彩情報を合わせ持つ表面形状を時系列で生成すると同時に、別途ＭＲＩ やＣＴ等で計測した被験者の骨格や骨格筋といった内部構造との画像統合（Ｄａｔａ ｆｕｓｉｏｎ ）を行うことで、運動を行う被験者の内部構造をまるで透視するかのように四次元的に観察・解析することを可能にする。図６にそのための処理フローを示す。
【００１６】
図６の処理フローを以下に説明する。あらかじめ被験者のＭＲＩデータを入力し（Ｓ１）、セグメンテーション処理により、ＭＲＩデータから骨格や筋肉などの必要情報の領域を抽出する（Ｓ２）。ここでは、骨格領域を抽出するものとする。そして、抽出した骨格領域に基いて全身骨格モデルを生成する（Ｓ３）。ここまでが前処理であり、次に被験者に体表面マーカーを付けるなどして、運動などの全身動作を行なわせ、時空間多重画像装置（ＤＳＶＣ）で撮像して解析し、全身の動作データを得る（Ｓ４）。得られた被験者の動作データと先に生成しておいた全身骨格モデルとにより、被験者の全身動作に基く内部構造の駆動状況を解析し、変化した内部構造の画像、つまり動作に対応する全身骨格状態の画像を生成する（Ｓ５）。この変化した内部構造の画像と時空間多重画像装置（ＤＳＶＣ）で撮像した画像（Ｓ６）を、カメラキャリブレーションによって得られた全カメラのカメラ位置および焦点距離データ（Ｓ７）にしたがって統合し、時空間多重画像装置（ＤＳＶＣ）の画像と内部構造の画像とを重畳表示する（Ｓ８）。図７の▲１▼、▲２▼、▲３▼は、被験者の歩行動作における重畳画像の例である。
【００１７】
【発明の効果】
本発明によれば、被験者を全く拘束することなく自由な運動を行なわせて、その人体動作を計測してその表面形状だけでなく内部構造までを高精度で動的に解析することが可能になる。
【図面の簡単な説明】
【図１】本発明による時空間多重画像装置の基本構成の説明図である。
【図２】本発明におけるマトリックスファイルからの画像データ読出し例の説明図である。
【図３】本発明による時空間多重画像装置を適用した実施例システムの概要図である。
【図４】本発明実施例のリングの詳細を示す外観図である。
【図５】本発明実施例におけるリング上のデジタルビデオカメラの配置を示す説明図である。
【図６】本発明の時空間多重画像装置の画像と内部構造の画像とを重畳表示する処理のフロー図である。
【図７】時空間多重画像装置の画像と内部構造の画像とを重畳した画像の例を示す図である。
【符号の説明】
１： 撮像装置
２： セル
３： カメラ
４： 被写体
５−１，５−２，・・・、５−ｎ： ローカルメモリ
６： マトリックスファイル

Claims (12)

1. 複数のカメラを円状に一定間隔で配置して、それぞれのカメラにより円の中心方向の被写体を撮像し、各カメラから出力される画像情報をカメラごとにフレーム単位で時系列的に蓄積してマトリックスファイルを作成し、再生画像の視点および時系列上の位置を指示して、マトリックスファイルに蓄積されている画像情報の対応するフレームを選択的に読み出し、画像を再生することを特徴とする時空間多重画像の撮像および再生方法。
2. 円状に配置された複数のカメラの間隔は、隣接あるいは近接する任意の一対のカメラによる立体視を可能とする間隔であることを特徴とする請求項１に記載の時空間多重画像の撮像および再生方法。
3. 円状に配置された複数のカメラを、二次元空間内あるいは三次元空間内で一体に移動制御することを特徴とする請求項２に記載の時空間多重画像の撮像および再生方法。
4. マトリックスファイルに蓄積されている画像情報を、再生すべき視点および時系列上の位置を指示して読み出し、同時に他のソースの画像情報を入力して合成し、出力することを特徴とする請求項１に記載の時空間多重画像の撮像および再生方法。
5. 他のソースの画像情報は、カメラにより撮像された被写体の内部構造に係わる画像情報であることを特徴とする請求項４に記載の時空間多重画像の撮像および再生方法。
6. 被写体の内部構造に係わる画像情報は、被写体の動作に応じて変形されることを特徴とする請求項５に記載の時空間多重画像の撮像および再生方法。
7. 複数のカメラをリング状の支持体に一定間隔でそれぞれ中心に向けて配設した撮像装置と、撮像装置の各カメラから出力される画像情報をカメラごとにフレーム単位で時系列的に蓄積してマトリックスファイルを作成する画像蓄積装置と、指示された視点および時系列上の位置にしたがって、画像蓄積装置のマトリックスファイルに蓄積されている画像情報の対応するフレームを選択的に読み出し、画像を再生する画像再生処理装置と、からなることを特徴とする時空間多重画像装置。
8. 撮像装置におけるリング状の支持体に一定間隔で配設される複数のカメラの間隔は、隣接あるいは近接する任意の一対のカメラにより立体視が可能となる間隔であることを特徴とする請求項７に記載の時空間多重画像装置。
9. 撮像装置を、二次元空間内あるいは三次元空間内で移動させる移動制御装置を備えていることを特徴とする請求項６に記載の時空間多重画像装置。
10. 画像再生処理装置は、画像蓄積装置のマトリックスファイルから読み出した画像情報と他のソースの画像情報とを合成する画像合成手段を有することを特徴とする請求項７に記載の時空間多重画像装置。
11. 他のソースの画像情報は、撮像装置により撮像された被写体の内部構造に係わるものであることを特徴とする請求項１０に記載の時空間多重画像装置。
12. 被写体の内部構造に係わる画像情報は、被写体の動作に応じて変形されることを特徴とする請求項１１に記載の時空間多重画像装置。

Images