JP2023094692A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】空間内の複数のオブジェクトについて経時的に収集された形状データに対する時系列処理の負荷を低減する。【解決手段】時系列形状データを構成するフレーム群の中から設定されたフレーム範囲を対象として所定の時系列処理を行う場合において、設定されたフレーム範囲の各フレームに属する形状データのうち一部の形状データを除外する。【選択図】図４

Description

本開示は、オブジェクトの三次元形状を表す形状データの時系列処理に関する。

仮想視点映像や３Ｄプリンティングなどの分野において利用されるオブジェクトの形状データは、オブジェクトが存在する空間にオブジェクトの数だけ配置されることになる。このとき、オブジェクトが存在する空間が広大であるほど、形状データの基礎的な単位要素（例えば形状データがボリュームデータの場合のボクセル）をその空間内全てに配置するだけのメモリを確保することが困難となる。そこで、空間内のオブジェクトが存在している領域のみ単位要素を割り当て、オブジェクトが存在していない領域については単位要素を割り当てない、スパースなデータ管理が行われている。特許文献１には、空間に存在する複数のオブジェクトそれぞれについて低解像度のボクセルモデルを生成し、それらのバウンディングボックス内をより小さなボクセルで３Ｄモデル化することで高解像度のボリュームデータを得る手法が開示されている。

特開２０２１－７１７４９号公報

上記特許文献１の技術では、ボリュームデータをスパースに管理し、各オブジェクトのボクセルモデルを生成する過程における空間的な解像度を調整することで処理全体の高速化を図っている。しかしながら、上記特許文献１で扱うボリュームデータは時間方向に不連続であるところ、経時的に収集されたボリュームデータに対して時系列処理を行う際には高速化が困難であった。時系列処理を行う際に、あるフレームに含まれるあるボクセルモデルを構成するあるボクセルが、別のフレームではどのボクセルモデルに属するのかを逐一判定する必要が生じるためである。そして、空間内に存在するオブジェクトの数が多くなるほど、各ボクセルが属するボクセルモデルをフレーム間で探索する処理の回数が増大することになり、その処理に多くの時間を要することになる。

本開示に係る情報処理装置は、各フレームにオブジェクトの三次元形状を示す形状データを含んだ時間的に連続するフレーム群で構成される時系列形状データを取得する取得手段と、取得された前記時系列形状データを構成するフレーム群の中から設定されたフレーム範囲を対象として、所定の時系列処理を行う処理手段と、を有し、前記処理手段は、設定された前記フレーム範囲の各フレームに属する形状データのうち一部の形状データを除外して前記時系列処理を行う、ことを特徴とする。

本開示の技術によれば、空間内の複数のオブジェクトについて経時的に収集された形状データに対する時系列処理の負荷を減らすことができる。

情報処理装置のハードウェア構成の一例を示す図。 情報処理装置のソフトウェア構成（機能構成）を示すブロック図。 （ａ）は時系列ボリュームデータの概念図、（ｂ）はバウンディングボックスが持つ位置情報を説明する図。 実施形態１に係る、時系列処理の流れを示すフローチャート。 実施形態１の時系列処理を時系列ボリュームデータに適用した場合の模式図。 平滑化処理の結果に対する修正の説明図。 実施形態２に係る、時系列処理の流れを示すフローチャート。 （ａ）及び（ｂ）は、衝突判定の結果の再利用を説明する図。 （ａ）及び（ｂ）は、判定結果リストの一例を示す図。 実施形態３に係る、時系列処理の流れを示すフローチャート。 実施形態３の時系列処理を時系列ボリュームデータに適用した場合の模式図。

以下、本開示を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は本開示を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

各実施形態の説明に入る前に、オブジェクト（被写体）の形状データの概念について確認しておく。本実施形態では、形状を表す基礎的な単位要素としてボクセルを用いるボリュームデータを例に説明を行うものとする。ボリュームデータの場合、３次元空間に設定されたオブジェクトの外接矩形（一般に「バウンディングボックス」と呼ばれる。）の内部をグリッド状に区切った複数の単位要素（ボクセル）によってオブジェクトの形状を表現する。各ボクセルは、３次元空間におけるオブジェクトの物理的な実体の内部に存在するか否かを示す情報（以下「ボクセル値」という。）を持つ。本実施形態では、ボクセル値が“０”又は“１”の２値の情報を持つものとして説明する。ボクセル値が“１”であるボクセルは、その一部又は全部がオブジェクトの内部に存在するものとして「ＯＮボクセル」と表記する。また、ボクセル値が“０”であるボクセルは、その全部がオブジェクトの内部に存在してない（すなわち、その全部がオブジェクトの外部に存在している）ものとして、「ＯＦＦボクセル」と表記する。

各実施形態の説明において、フレーム毎に１又は複数のバウンディングボックスが設定された時間方向に連続する複数フレームから成る時系列形状データであって、単位要素にボクセルを用いたものを、「時系列ボリュームデータ」と表記することとする。なお、一部のフレームに形状データが含まれていなくともよい。なお、本実施形態を適用可能なデータ形式はボリュームデータに限定されるものではない。すなわち、オブジェクトの三次元形状を点の集合で表現した点群データやポリゴンの集合で表現したメッシュデータなどにも同様に適用可能である。

［実施形態１］
＜ハードウェア構成＞
図１は、本実施形態に係る、時系列ボリュームデータに対し時系列処理を行う情報処理装置１００のハードウェア構成の一例を示す図である。図１において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各ブロックの動作を制御する。ＨＤＤＩ／Ｆ１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）などのインタフェースである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し及びＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開することができ、逆に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することもできる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインタフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、情報処理装置１００と、出力デバイスであるディスプレイとを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力インタフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介してディスプレイにデータを送り、ディスプレイに所定の映像を表示させることができる。ネットワークＩ／Ｆ１１０は、インターネットやＬＡＮといったネットワークと接続するインタフェースである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して、ＬＡＮ或いはインターネットに繋がる外部サーバ等との間で各種データをやり取りすることができる。

＜ソフトウェア構成＞
図２は、情報処理装置１００のソフトウェア構成、より詳細には、入力された時系列ボリュームデータに対し所定の時系列処理を実行するための機能構成を示すブロック図である。図２に示す各種機能はＣＰＵ１０１が専用のプログラムを実行することにより実現される。

本実施形態の情報処理装置１００は、データ取得部２０１、フレーム範囲設定部２０２、参照モデル決定部２０３、及び時系列処理部２０４を備える。

データ取得部２０１は、経時的に収集された複数フレームから成る時系列ボリュームデータを、例えばＬＡＮ上の他の情報処理装置（不図示）からネットワークＩ／Ｆ１１０を介して取得する。図３（ａ）は、時系列ボリュームデータの概念図である。ある時刻Ｔにおけるフレームには、オブジェクト毎のバウンディングボックスが、当該時刻Ｔにおいて対象空間に存在しているオブジェクトの数だけ含まれる。ここで、図３（ｂ）に示すように各バウンディングボックス３０１は、共通の空間における原点座標に対する相対座標３０２によってそれぞれの三次元位置が表現される。なお、複数のオブジェクトが接触等していると、１つのバウンディングボックスが複数のオブジェクトに対応することになる。

フレーム範囲設定部２０２は、データ取得部２０１により取得された時系列ボリュームデータに対して時系列処理を行う上で処理対象となる２以上の連続するフレームから成るフレーム範囲を、時系列処理の内容と意図に合わせて設定する。ここで、時系列処理とは、時系列ボリュームデータの各フレームに含まれるオブジェクト毎のボクセル集合（以下「ボクセルモデル」と表記。）を複数フレーム間で比較等して、特定フレーム内のボクセルモデルを修正したりフレーム数を変更したりすることを意味する。そして、ボクセルモデルの修正には、当該ボクセルモデルの形状、位置、ボクセル値、付与ラベルの変更等が含まれ、フレーム数の変更には、フレームの追加（補間）や削除が含まれる。

参照モデル決定部２０３は、フレーム範囲設定部２０２によって設定されたフレーム範囲に基づき、時間方向の平滑化処理の対象となるボクセルモデル（注目ボクセルモデル）を変更する際に参照される他フレームのボクセルモデルを決定する。その具体的な決定方法については後述する。
時系列処理部２０４は、設定されたフレーム範囲における注目フレーム内の注目ボクセルモデルに対して、参照モデル決定部２０３によって決定された他フレームのボクセルモデルを用いて、所定の時系列処理を行う。本実施形態では、所定の時系列処理として時間方向の平滑化処理を行う場合を例に説明を行うこととする。

＜時系列処理の詳細＞
図４は、本実施形態に係る、入力された時系列ボリュームデータに対して時間方向の平滑化処理を実行する際の流れを示すフローチャートである。なお、以下の説明において記号「Ｓ」はステップを意味する。
まず、Ｓ４０１では、データ取得部２０１が、時系列ボリュームデータを取得する。この際、不図示の他の情報処理装置から受信して取得してもよいし、予め受信して保存しておいたものをＨＤＤ１０５から読み込んで取得してもよい。ここでは、図５に示すような、３つの動的オブジェクトが存在する空間を撮像して得られた映像に基づき作成された、複数フレームから成る時系列ボリュームデータ５００が取得されたものとする。図５において、白四角５０１はオフボクセルを表し、黒四角５０２はオンボクセルを表す。なお、図５では模式的に二次元グリッドでボクセルを表現しているが、実体としては三次元のボリュームを取り扱う。

Ｓ４０２では、フレーム範囲設定部２０２が、Ｓ４０１で取得された時系列ボリュームデータに対し、時間方向の平滑化処理の対象となるフレーム範囲を設定する。時間方向の平滑化処理では、平滑化の対象となるボクセルモデルが属するフレームを注目フレームとして、その隣接フレーム（前フレームと後フレーム）に属するボクセルモデルを参照する。よって本実施形態の場合、図５に示すような連続する３つのフレーム５０３が、処理対象のフレーム範囲として設定されることになる。ただし、処理開始直後には注目フレームの前フレームは存在せず、処理終了直前には注目フレームの後フレームは存在しないことから、連続する２フレームがフレーム範囲として設定される。なお、設定すべきフレーム範囲については、処理内容と対応付けて予めＨＤＤ１０５等に予めその情報を保持しておけばよい。

Ｓ４０３では、参照モデル決定部２０３が、Ｓ４０２にて設定されたフレーム範囲の中から、平滑化の対象となるボクセルモデルが属するフレームを注目フレームに設定する。図５の例では、３つのフレーム５０３のうち２番目（ｔ＝ｎ）のフレームが注目フレームとして設定される。

Ｓ４０４では、参照モデル決定部２０３が、注目フレームに含まれる１又は複数のボクセルモデルの中から、平滑化対象とする注目ボクセルモデルを設定する。ここでは、図５の例において、注目フレームとしてのｔ＝ｎのフレームに含まれる３つのボクセルモデル５０４ａ～５０４ｃの中から、ボクセルモデル５０４ａが注目ボクセルモデルに設定されたものとして説明を続ける。

Ｓ４０５では、参照モデル決定部２０３が、設定されたフレーム範囲のうち注目するフレーム以外の他フレームに含まれるボクセルモデルと注目ボクセルモデルとの間で参照するかの参照判定を行う。ここでの参照判定には、例えばバウンディングボックス法による衝突判定を用いる。バウンディングボックス法では、２つのボクセルモデルｖ１とｖ２について以下の式（１）を満たすとき、２つのボクセルモデルｖ１とｖ２は衝突すると判定する。

（ｖ１ｘ＿ｍａｘ＞ｖ２ｘ＿ｍｉｎ）∧（ｖ２ｘ＿ｍａｘ＞ｖ１ｘ＿ｍｉｎ）∧（ｖ１ｙ＿ｍａｘ＞ｖ２ｙ＿ｍｉｎ）∧（ｖ２ｙ＿ｍａｘ＞ｖ１ｙ＿ｍｉｎ）∧（ｖ１ｚ＿ｍａｘ＞ｖ２ｚ＿ｍｉｎ）∧（ｖ２ｚ＿ｍａｘ＞ｖ１ｚ＿ｍｉｎ）
・・・式（１）
上記式（１）において、ｖ１ｘ＿ｍａｘ、ｖ１ｘ＿ｍｉｎ、ｖ１ｙ＿ｍａｘ、ｖ１ｙ＿ｍｉｎ、ｖ１ｚ＿ｍａｘ、ｖ１ｚ＿ｍｉｎは、ボクセルモデルｖ１についてのｘｙｚ各軸の最大値と最小値を表す。また、ｖ２ｘ＿ｍａｘ、ｖ２ｘ＿ｍｉｎ、ｖ２ｙ＿ｍａｘ、ｖ２ｙ＿ｍｉｎ、ｖ２ｚ＿ｍａｘ、ｖ２ｚ＿ｍｉｎは、ボクセルモデルｖ２についてのｘｙｚ各軸の最大値と最小値を表す。いま、図５の例において、ボクセルモデル５０４が注目ボクセルモデルであるとする。この場合、例えばボクセルモデル５０４をボクセルモデルＶ１、ｔ＝ｎ－１のフレームに含まれるボクセルモデル５０５ａ～５０５ｃ、ｔ＝ｎ＋１のフレームに含まれるボクセルモデル５０６ａ～５０６ｃをそれぞれボクセルモデルｖ２として、順次判定を行えばよい。なお、２つのボクセルモデルの半径を用いて衝突判定を行うバウンディングスフィア法など、他の手法を用いて衝突判定を行ってもよい。この衝突判定によって、衝突しないと判定されたボクセルモデルについては、後述のＳ４０７における処理の対象から除外される。ボクセルモデル５０４を注目ボクセルモデルとした場合の例では、ｔ＝ｎ－１のフレームではボクセルモデル５０５ａが、ｔ＝ｎ－１のフレームでボクセルモデル５０６ａと５０６ｂが、ボクセルモデル５０４と衝突すると判定される。その結果、ボクセルモデル５０５ｂ、５０５ｃ及び５０６ｃは、Ｓ４０７における処理対象から除外されることになる。

Ｓ４０６では、設定されたフレーム範囲における注目フレーム以外の他フレームに含まれる各ボクセルモデルと注目ボクセルモデルとの衝突判定が完了したか否かが判定される。他フレームに含まれるすべてのボクセルモデルとの衝突判定が完了していればＳ４０７に進み、完了していなければＳ４０５に戻って残りのボクセルモデルとの衝突判定を続行する。

Ｓ４０７では、時系列処理部２０４が、Ｓ４０５の衝突判定にて衝突すると判定されたボクセルモデルを用いて、注目ボクセルモデルに対して時間方向の平滑化処理を実行する。具体的には、他フレームにおける衝突すると判定されたボクセルモデルを参照し、オンボクセルが２フレーム以上あればオンボクセルに、なければオフボクセルにする処理を、多数決フィルタを用いて行う。これにより図５の例では、ｔ＝ｎのフレーム内のボクセルモデル５０４がボクセルモデル５０７のように変更される。

Ｓ４０８では、注目フレームに含まれるすべてのボクセルモデルに対する平滑化処理が完了したか否かが判定される。すべてのボクセルモデルに対する平滑化処理が完了していればＳ４０９に進み、完了していなければＳ４０４に戻って次の注目ボクセルモデルを決定して処理を続行する。

Ｓ４０９では、入力された時系列ボリュームデータへの平滑化処理が完了したか否かが判定される。完了していれば本処理を終了する。完了していなければＳ４０２に戻って次のフレーム範囲を決定して処理を続行する。

以上が、本実施形態に係る、時系列ボリュームデータに対する、時間方向の平滑化処理の流れである。こうして本実施形態の場合、時系列ボリュームデータに対する時間方向の平滑化処理を効率的に行うことができる。

＜変形例＞
あるフレームにおいて図６（ａ）に示すように別々のボクセルモデル６０１と６０２として表現された複数のオブジェクトが、別のフレームでは近接していたため図６（ｂ）に示すように１つのボクセルモデル６０３で表現される場合がある。このようなフレームを含んだ時系列ボリュームデータに対して上述の時間方向の平滑化処理を行った結果、例えば図６（ｃ）に示すように、ボクセルモデル６０１に対する平滑化処理後のボクセルモデル６０１’に別のオブジェクトの一部に対応するオンボクセル群６０４が混入してしまう場合がある。このように、平滑化処理の結果において、１つのバウンディングボックス内に不連続なオンボクセル群が２つ以上含まれる場合は余分なオンボクセル群を削除する修正処理を追加的に行い、ボクセルモデルが表す形状を修正してもよい。具体的には上述の図６（ｃ）の場合、平滑化処理を行う前の図６（ａ）に示すボクセルモデル６０１におけるオンボクセル群との形状の類似度が高いオンボクセル群を残し、形状の類似度が低いオンボクセル群６０４をすべてオフボクセルに置き換えればよい。なお、ボクセルモデル同士の類似度については、例えば三次元的な相互相関関数の最大値や重心間距離などを用いて判断すればよい。

また、本実施形態では、ボクセル値が２値情報の場合を例に説明したが、ボクセル値は多値又は連続値であってもよい。ボクセル値が多値又は連続値である場合、時系列処理部２０４は、多数決フィルタの代わりに平均値フィルタやガウシアンフィルタなどを用い、ボクセルモデルを構成する各ボクセルのボクセル値の中間調情報を利用した時系列処理を行うことができる。

以上のとおり本実施形態によれば、時間方向の平滑化において参照対象となるボクセルモデルを事前に絞り込んでおく。これにより時系列ボリュームデータに対する時間方向の平滑化処理を効率良く実行でき、処理の高速化を実現できる。

［実施形態２］
次に、衝突判定（Ｓ４０５）の結果を保存しておき、次回以降の衝突判定の実行回数を削減してより効率的に時間方向の平滑化処理を行う態様を、実施形態２として説明する。なお、情報処理装置１００のハードウェア構成など実施形態１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うこととする。

＜時系列処理の詳細＞
図７は、本実施形態に係る、入力された時系列ボリュームデータに対して時間方向の平滑化処理を実行する際の流れを示すフローチャートである。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ７０１では、実施形態１のＳ４０１と同様、データ取得部２０１が、時系列ボリュームデータを取得する。続くＳ７０２では、参照モデル決定部２０３が、衝突判定の結果を保存するリスト（以下、「判定結果リスト」と表記）を初期化する。ここで、判定結果リストは、衝突判定の結果を、次回（新たに設定されたフレーム範囲を対象とした平滑化ステップ）に再利用するための配列情報である。

Ｓ７０３～Ｓ７０５は実施形態１のＳ４０２～Ｓ４０４にそれぞれ対応する。すなわち、フレーム範囲設定部２０２によって時系列ボリュームデータに対し処理対象となるフレーム範囲がまず設定される（Ｓ７０３）。そして、設定されたフレーム範囲から注目フレームが設定され（Ｓ７０４）、続いて注目フレーム内の注目ボクセルモデルが設定される（Ｓ７０５）。

Ｓ７０６では、参照モデル決定部２０３が判定結果リストを参照し、設定されたフレーム範囲における未判定の他フレームに含まれる各ボクセルモデルと注目ボクセルモデルとの参照判定（ここでは衝突判定）を実行する。いま、前述の実施形態１で説明した図５に示す時系列ボリュームデータ５００に対し、Ｓ７０３にて図８に示すフレーム範囲８０１が設定されているものとする。この時点ではその１つ前の処理における衝突判定の結果（図５のフレーム範囲５０３を対象に処理を行ったときの衝突判定の結果）を示す情報として、図９（ａ）に示すような判定結果リストが得られていることになる。ここで、図９（ａ）の判定結果リストにおける“Ｖｏｌ１”、“Ｖｏｌ２”、“Ｖｏｌ３”は、フレーム内の各ボクセルモデルに付与されたラベルである。なお、フレーム間で同一のボクセルモデルに同一のラベルがついている必要はない。また、図９（ａ）の判定結果リストにおいて、“１”は衝突すると判定されたことを表し、“０”は衝突しないと判定されたことを表している。いま、処理対象がフレーム範囲８０１であるので、注目フレームはｔ＝ｎ＋１のフレームである。この場合、ｔ＝ｎ＋１内の注目ボクセルモデルと、前フレームであるｔ＝ｎのフレームに含まれる各ボクセルモデル及び後フレームであるｔ＝ｎ＋２のフレームに含まれる各ボクセルモデルとの衝突判定が必要となる。この際、本実施形態では、図９（ａ）に示す判定結果リストを参照し、判定処理が済んでいるｔ＝ｎのフレームに含まれる各ボクセルモデルとの衝突判定は行わない。すなわち、判定処理が済んでいないｔ＝ｎ＋２のフレームに含まれる各ボクセルモデルとの衝突判定だけを行う。

Ｓ７０７では、設定されたフレーム範囲における注目フレーム以外の他フレームに含まれる各ボクセルモデルと注目ボクセルモデルとの衝突判定が完了したか否かが判定される。他フレームに含まれるすべてのボクセルモデルとの衝突判定が完了していればＳ７０８に進み、完了していなければＳ７０６に戻って残りのボクセルモデルとの衝突判定を続行する。

Ｓ７０８では、参照モデル決定部２０３が、Ｓ７０６での衝突判定の結果を判定結果リストに新たに書き込んで、判定結果リストを更新する。前述のフレーム範囲８０１を対象とした処理が実行された場合、図９（ｂ）に示すような、ｔ＝ｎ＋１を注目フレームとしたときの衝突判定の結果を示す判定結果リストが新たに作成されることになる。図９（ｂ）の判定結果リストにおいて網掛けされている部分は、ｔ＝ｎのフレームについて既に衝突判定が済んでいたことを示している。

Ｓ７０９では、時系列処理部２０４が、Ｓ７０８で更新された判定結果リストを参照し、衝突すると判定されているボクセルモデルを用いて、注目ボクセルモデルに対する平滑化を実行する。

Ｓ７１０では、注目フレームに含まれるすべてのボクセルモデルに対する平滑化処理が完了したか否かが判定される。すべてのボクセルモデルに対する平滑化処理が完了していればＳ７１０に進み、完了していなければＳ７０５に戻って次の注目ボクセルモデルを決定して処理を続行する。

Ｓ７１１では、時系列ボリュームデータへの時間方向の平滑化処理が完了したか否かが判定される。完了していれば本処理を終了する。完了していなければＳ７０３に戻って次のフレーム範囲を決定して処理を続行する。

以上が、本実施形態に係る、時系列ボリュームデータに対する時間方向の平滑化処理の流れである。

以上のとおり本実施形態によれば、直近の衝突判定結果を保存しておきそれを再利用するので衝突判定の実行回数が減り、より高速な処理を実現することができる。

［実施形態３］
次に、時系列処理として、フレーム群の中の隣り合う２つのフレームの間に別のフレームを挿入するフレーム補間処理を行う態様を、実施形態３として説明する。なお、情報処理装置１００のハードウェア構成など実施形態１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うこととする。

＜時系列処理の詳細＞
図１０は、本実施形態に係る、入力された時系列ボリュームデータに対してフレーム補間処理を実行する際の流れを示すフローチャートである。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ１００１～Ｓ１００４は実施形態１のＳ４０１～Ｓ４０４にそれぞれ対応する。まず、Ｓ１００１ではデータ取得部が、処理対象となる時系列ボリュームデータを取得する。

次のＳ１００２ではフレーム範囲設定部２０２が、入力された時系列ボリュームデータに対し処理対象となるフレーム範囲を設定する。フレーム補間処理を行う本実施形態の場合、図１１に示すような、フレーム群中の隣り合う２つのフレーム（ｔ＝ｎ－２のフレームとｔ＝ｎ－１のフレーム）１１０１が設定される。なお、設定すべきフレーム範囲（すなわち、フレームを補完する位置）については、処理内容と対応付けて予めＨＤＤ１０５等に予めその情報を保持しておけばよい。

Ｓ１００３では、参照モデル決定部２０３が、Ｓ１００２にて設定されたフレーム範囲を構成する２つのフレームのうちいずれか一方のフレームを注目フレームに設定する。ここでは、時間的に早い方のフレームを注目フレームに設定する。図１１の例では、２つのフレーム１１０１のうちｔ＝ｎ－２のフレームが注目フレームとして設定されることになる。

Ｓ１００４では、参照モデル決定部２０３が、注目フレームに含まれる１又は複数のボクセルモデルの中から、次の判定処理の対象となる注目ボクセルモデルを設定する。ここでは、図１１の例において、注目フレームとしてのｔ＝ｎ－２のフレームに含まれる３つのボクセルモデルの中から、ボクセルモデル１１０２が注目ボクセルモデルに設定されたものとして説明を続ける。

Ｓ１００５では、参照モデル決定部２０３が、設定されたフレーム範囲における非注目フレーム（時間的に遅い方のフレーム）に含まれる各ボクセルモデルと注目ボクセルモデルとの間で参照判定を行う。本実施形態の場合、注目フレーム内の注目ボクセルモデルと次フレーム内の各ボクセルモデルとの間で、空間的な距離の判定及び形状の一致度の判定を参照判定として行う。そして、非注目フレームに含まれるボクセルモデルのうち、空間的な距離が近く、かつ、形状の一致度が高いボクセルモデルだけが後述の補間ボクセルモデルの作成に使用（それ以外のボクセルモデルは作成処理の対象から除外）されることになる。ここで、距離判定では、例えば両ボクセルモデルについて重心間距離を算出してその結果が閾値以下になることを条件に空間的な距離が近いと判定すればよい。また、形状一致度判定では、例えば両ボクセルモデルについて三次元相互相関を算出してその最大値が閾値以上になることを条件に形状の一致度が高いと判定すればよい。図１１の例では、ボクセルモデル１１０２（注目ボクセルモデル）と、ｔ＝ｎ－１のフレーム内の３つのボクセルモデル１１０３～１１０５との間で上記２つの判定処理が行われ、ボクセルモデル１１０３が双方の条件を満たすと判定されることになる。

Ｓ１００６では、設定されたフレーム範囲において、既に補完フレームが挿入されているか否かが判定される。補完フレームが挿入されていない場合はＳ１００８に進み、挿入済みである場合はＳ１００９に進む。そして、Ｓ１００８では、時系列処理部２０４が、新たなフレームを作成し、設定されたフレーム範囲を構成する２フレームの間に補間フレームとして挿入する。図１１の例では、ｔ＝ｎ－２のフレームとｔ＝ｎ－１のフレームとの間に、ｔ＝ｎ－１．５に対応する補完フレームが挿入されることになる。

Ｓ１００９では、時系列処理部２０４が、前フレーム内の注目ボクセルモデルとＳ１００５にて距離判定と形状一致度の双方の条件を満たすと判定された後フレーム内のボクセルモデルとの間を補間するボクセルモデルを作成する。具体的には、２つのボクセルモデルｖ１及びｖ２について、以下の式（２）及び式（３）を用いた演算処理を行う。

ここで、ボクセルモデルｖ１が属するフレームのタイムスタンプをｔ１、ボクセルモデルｖ２が属するフレームのタイプスタンプをｔ２、補間ボクセルモデルが属するフレームのタイムスタンプをｔ_ｉｎｔとする。このとき、補間ボクセルモデルにおける注目ボクセルモデルからの並進移動量ｓｈｉｆｔ_ｉｎｔは、以下の式（２）で求めることができる。

shift_int ＝（x_shift*r，y_shift*r，z_shift*r） ・・・（式２）
上記式（２）において、ｘ_ｓｈｉｆｔ、ｙ_ｓｈｉｆｔ、ｚ_ｓｈｉｆｔは、２つのボクセルモデルｖ１からｖ２への並進移動量を表し、ボクセルモデルｖ１とボクセルモデルｖ２との三次元相互相関の最大値を取る座標から算出する。そして、補間ボクセルモデルを構成する各ボクセルのボクセル値ｖ_ｉｎｔは、以下の式（３）で求めることができる。

v_int (x, y, z) ＝ v1(x, y, z) * r + v2(x + x_shift, y + y_shift, z + z_shift) * (1 - r)
・・・（式３）
上記式（３）において、ｖ1（x, y, z）、ｖ2（x, y, z）は、それぞれボクセルモデルｖ１とｖ２の座標（x, y, z）におけるボクセル値を表す。なお、上記式（２）及び（３）におけるｒは、以下の式（４）で表される変数である。

r ＝ (t2 - t_int) / (t2 - t1) ・・・式（４）
図１１の例では、ｔ＝ｎ－２のフレームにおけるボクセルモデル１１０２とｔ＝ｎ－１のフレームにおけるボクセルモデル１１０３との間を埋める補間ボクセルモデルとしてボクセルモデル１１０６が得られることになる。そして、挿入されたｔ＝ｎ－１．５の補間フレームに配置される。

Ｓ１０１０では、注目フレームに含まれるすべてのボクセルモデルが処理されたか否かが判定される。すべてのボクセルモデルが処理されていればＳ１０１１に進み、未処理のボクセルモデルがあればＳ１００４に戻って次の注目ボクセルモデルを決定して処理を続行する。

Ｓ１０１１では、時系列ボリュームデータへのフレーム補間処理が完了したか否かが判定される。完了していれば本処理を終了する。完了していなければＳ１００２に戻って次のフレーム範囲を決定して処理を続行する。

以上が、本実施形態に係る、時系列ボリュームデータに対するフレーム補間処理の流れである。

本実施形態によれば、フレーム補間において参照対象となるボクセルモデルを事前に絞り込んでおく。これにより時系列ボリュームデータに対するフレーム補間処理を効率良く実行でき、処理の高速化を実現できる。

［その他の実施形態］
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２０１ データ取得部
２０２ フレーム範囲設定部
２０３ 参照モデル決定部
２０４ 時系列処理部

Claims (14)

1. 各フレームにオブジェクトの三次元形状を示す形状データを含んだ時間的に連続するフレーム群で構成される時系列形状データを取得する取得手段と、
   取得された前記時系列形状データを構成するフレーム群の中から設定されたフレーム範囲を対象として、所定の時系列処理を行う処理手段と、
   を有し、
   前記処理手段は、設定された前記フレーム範囲の各フレームに属する形状データのうち一部の形状データを除外して前記時系列処理を行う、
   ことを特徴とする情報処理装置。
2. 前記フレーム範囲を前記所定の時系列処理の内容に応じて設定する設定手段をさらに有し、
   前記処理手段は、設定された前記フレーム範囲において注目するフレーム以外の他フレームに属する形状データのうち、前記注目するフレームに属する注目する形状データとの間で所定の条件を満たさない形状データを除外して前記時系列処理を行う、
   することを特徴とする請求項１に記載の情報処理装置。
3. 前記他フレームに属する形状データが前記注目する形状データとの間で、前記所定の時系列処理の内容に応じた前記所定の条件を満たすか否かを判定する判定手段をさらに有する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の時系列処理は、時間方向の平滑化処理であり、
   前記設定手段は、前記時系列形状データを構成するフレーム群の中から前記注目するフレームを含む２以上の連続するフレームを前記フレーム範囲として設定し、
   前記判定手段は、設定された前記フレーム範囲のうち前記注目するフレーム以外の前記他フレームに含まれる形状データと前記注目する形状データとの間で参照するかの参照判定を行い
   前記処理手段は、前記判定手段によって参照しないと判定された前記他フレームに含まれる形状データを除外して前記時間方向の平滑化処理を行う、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記参照判定の結果の情報を保存する保存手段をさらに有し、
   前記判定手段は、設定された前記フレーム範囲のうち、前記保存手段が保存する前記情報に前記参照判定の結果が存在しないフレームを対象として、前記参照判定を行う、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記判定手段は、前記参照判定として、バウンディングボックス法またはバウンディングスフィア法による衝突判定を行うことを特徴とする請求項４に記載の情報処理装置。
7. 前記時間方向の平滑化処理の結果において、１つのバウンディングボックス内に不連続な形状データを２つ以上含んでいる場合は、平滑化を行う前の形状データとの形状の類似度が高い１つの形状データだけを残す修正手段をさらに有することを特徴とする請求項６に記載の情報処理装置。
8. 前記所定の時系列処理は、フレーム補間処理であり、
   前記設定手段は、前記フレーム群の中から前記注目するフレームを含む２つの連続するフレームを前記フレーム範囲として設定し、
   前記判定手段は、設定された前記フレーム範囲のうち前記注目するフレーム以外の前記他フレームに含まれる形状データと前記注目する形状データとの間で距離判定及び形状一致度判定を行い、
   前記処理手段は、前記判定手段によって距離及び形状一致度に関する条件を満たさないと判定された前記他フレームに含まれる形状データを除外して前記フレーム補間処理を行う、
   ことを特徴とする請求項３に記載の情報処理装置。
9. 前記判定手段は、
   前記距離判定では、重心間距離が閾値以下の場合に条件を満たすと判定し、
   前記形状一致度判定では、三次元相互相関の最大値が閾値以上の場合に条件を満たすと判定する、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記形状データは、形状を表す単位要素としてボクセルを用いるボリュームデータであることを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
11. 前記形状データは、形状を表す単位要素として点を用いる点群データであることを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
12. 前記形状データは、形状を表す単位要素としてポリゴンを用いるメッシュデータであることを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
13. 各フレームにオブジェクトの三次元形状を示す形状データを含んだ時間的に連続するフレーム群で構成される時系列形状データを取得する取得ステップと、
    取得された前記時系列形状データを構成するフレーム群の中から設定されたフレーム範囲を対象として、所定の時系列処理を行う処理ステップと、
    を有し、
    前記処理ステップでは、設定された前記フレーム範囲の各フレームに属する形状データのうち一部の形状データを除外して前記時系列処理を行う、
    ことを特徴とする情報処理方法。
14. コンピュータを、請求項１乃至１２の何れか一項に記載の情報処理装置として機能させるためのプログラム。

Images