JP2006172170A - 座標系分離記録再生装置 - Google Patents

Abstract

【課題】 動画映像として取得される現実空間を静止座標系と移動体毎に固有の座標系とに分解し、複数の座標系に分類して座標系毎に分割して記録し、再生時にそれぞれの座標系を合成して配置することでバーチャル空間を構成して動画映像を生成することにより、効率よく、精度よく、現実世界をバーチャル空間に記録再生し、動画データを極限まで圧縮可能とする。
【解決手段】 座標系分離記録再生装置１は、現実世界を撮影した動画映像に含まれる複数の座標系を検出し、座標系毎に対象物を記録する座標系分解記録構成部１０と、座標系分解記録構成部１０で記録された信号を再生し、各座標系毎に対象物を構築し、複数の座標系を合成して動画映像を再生し、現実世界をバーチャル世界に再構築する座標系合成再生構成部２０と、を備えている。
【選択図】 図８

Description

本発明は、ビデオカメラ等で撮影・取得される動画映像を記録・圧縮して送信し、送信先で圧縮画像を解凍・再構成する動画像の記録再生装置に関する。
特に、本発明は、動画映像として取得される現実空間を静止座標系と移動体毎に固有の座標系とに分解し、複数の座標系に分類して座標系毎に分割して記録し、再生時にそれぞれの座標系を合成して配置することでバーチャル空間を構成して動画映像を生成することで、効率よく、精度よく、現実世界をバーチャル空間に記録再生でき、かつ、動画データを極限まで圧縮することができる座標系分離記録再生装置に関する。

一般に、動画映像の圧縮技術としてはMPEG2（Moving Picture Experts Group phase 2）が知られている。
MPEGは動画を圧縮するための技術で、MPEG1，MPEG2，MPEG4があり、動画像の圧縮の代表はMPEG2である。MPEG2は、動きの部分を分離し、動きを予測して信号の冗長をなくすことを主とした圧縮方法で、オリジナルデータの約４０分の１のデータ圧縮が可能となり、データ転送速度４Ｍｂｐｓ以上の記録・再生に対応し、S-VHSのビデオ並みの高画質が得られことから、DVD-VideoやATSC等の次世代デジタルテレビ用に広く利用されている（特許文献１−３参照。）。

特開平０９−３１２８４２号 特開２００３−１７９８５２号 特開２００４−２７４６１９号

しかしながら、MPEG2は、画像中の動き成分のある部分のみを処理して画像全体の情報量を低減しているため、画像の部分的な動きに関しては圧縮効果を発揮するが、画像全体が動き成分を持つような場合には、圧縮効果が著しく低下するという問題があった。
例えば、動く背景上に移動する物体がある画像のような場合や、カメラ自体が移動するような画像の場合には、画像全体が動き成分を持ち、しかも画像の各部分で移動速度が同一でないために、画像のすべての部分が周囲に関係なく常に独立に移動しなければならなくなり、圧縮効果は激減することになる。このため、画像全体に動き成分のある画像について、より圧縮効果の高い画像圧縮技術の開発が望まれるようになったが、現在まで有効な手段は実現されていない。

本願の出願人は、国際公開第PCT/JP01/05387号において、動画映像で撮影された現実世界をバーチャル空間に置換して記録する方法及び装置を提案している（PRM装置）。この方法によれば、対象物をCG化して現実世界の映像と置き換えることができ、個別対象物のCG置換と周囲の配置変換が可能となるが、広範囲に亘る座標系全体での処理ではなく、対象物単位のCG置換処理となっているために、狭い範囲では有効であっても、広範囲の置換処理においては誤差が蓄積する可能性があった。
ここで、動画像から三次元画像を生成するには、動画を構成する各フレーム画像のカメラベクトルを取得することで、三次元化することが可能となるが、すべての点について三次元演算を行うには演算にかなりの時間がかかり、また、明度や色の変化部分が少ないような、複数の画像に亘って対応が取れない部分においては三次元化が行えない。

そこで、本願発明者は、鋭意研究の結果、例えば移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができ、そのカメラ位置情報により、画像中の各移動体が属する座標系を抽出し、現実の三次元空間における静止座標系と移動座標系を区別し、これによって動画像のデータ量を極限まで圧縮し得ることに想到した。

すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、動画映像として取得される現実空間を静止座標系と移動体毎に固有の座標系とに分解し、複数の座標系に分類して座標系毎に分割して記録し、再生時にそれぞれの座標系を合成して配置することでバーチャル空間を構成して動画映像を生成することで、効率よく、精度よく、現実世界をバーチャル空間に記録再生でき、かつ、動画データを極限まで圧縮することができる座標系分離記録再生装置の提供を目的とする。
特に、本発明は、ビデオ映像による現実世界の撮影データから、現実世界を記録するものであるが、対象となるビデオ映像は、カメラが移動し、背景が動き、その中に移動物体も存在するような一般化された動画像を対象としており、画像の各部分が動き成分を持ち、かつ異なる速度成分を持つ画像に関しても十分な圧縮効果を持たせることを可能としている。

上記目的を達成するため、本発明の座標系分離記録再生装置は、請求項１に記載するように、現実世界を構成する複数の座標系を検出し、座標系毎に対象物を記録する座標系分解記録構成部と、座標系分解記録構成部で記録された信号を再生し、各座標系毎に対象物を構築し、複数の座標系を合成して、現実世界をバーチャル世界に再構築する座標系合成再生構成部と、を備える構成としてある。

より具体的には、請求項２に記載するように、本発明の座標系分離記録再生装置は、座標系分解記録構成部が、複数のフレーム画像から構成される動画像を取得する動画像取得部と、動画像取得部で取得された動画像を構成する複数のフレーム画像から基準フレーム画像を選択し、当該基準フレーム画像をフレーム間で変化しない固まりと見なせるほど十分小さい画像に分割し、分割された各領域が属する複数の座標系を検出し、動画像の全体に渡って画像を構成する複数の座標系を検出する座標系検出部と、動画の進行とともに基準フレーム画像を適宜変更しながら選択し、選択された基準フレームを順次各領域に分割して分割画像信号を生成し、分割画像の各領域が複数の座標系のうちのいずれかの座標系に属するように特定して分類し、分割画像の各領域が属する座標系を特定する座標系特定信号を生成し、複数の座標系の間の関係と、各座標系に於ける三次元のカメラ位置と三次元の回転姿勢関係を示す座標系別カメラベクトル信号を生成し、基準フレーム画像に関する分割画像の各領域が動画像中を移動する量を検出して移動ベクトル信号を生成し、生成された各信号を画像圧縮信号として記録する座標系分離信号記録部とを備え、座標系合成再生構成部が、座標系分離信号記録部で記録された信号を座標系別に読み取り、画像圧縮信号を再生する座標系別信号再生部と、再生された各信号を座標系別に組み立てて各座標系画像を合成し、視点を決定して各フレーム画像を再構築する座標系分離信号再構築部と、再構築された画像を指定された再生動画像として出力する再生解凍画像出力部と、を備える構成としてある。

また、本発明の座標系分離記録再生装置は、請求項３に記載するように、座標系分解記録構成部が、座標系合成再生構成部と同様の前記座標系分離信号再構築部を備え、当該座標系分離信号再構築部が、各信号を一旦再生解凍をして各フレーム画像を再構築し、元画像である動画像を構成しているフレーム画像と比較して差分を取り、所定の差分信号を生成する差分信号付加部を構成するようにしてある。
特に、請求項４に記載するように、差分信号付加部は、複数座標系において、静止座標系のみを採用し、全分割画像を静止座標系で表現し、移動体等の本来他の座標系に分類されるべき分割画像によって生じる誤差を前記差分信号として扱う構成とすることが好ましい。

また、本発明の座標系分離記録再生装置は、請求項５に記載するように、座標系合成再生構成部が、各座標系における各領域の、実質的には一次元ベクトルと見なせるベクトルと、各座標系におけるカメラベクトル（ＣＶ値）とから、各領域の三次元座標を演算で求め、その作業を連続して行い、三次元動画像を生成する三次元画像生成部を備える構成とすることができる。
ここで、CV値とは、カメラベクトルの意味であり、カメラの三次元回転と三次元位置を示す値である。
さらに、本発明の座標系分離記録再生装置は、請求項６に記載するように、座標系分解記録構成部が、複数のカメラによる画像に基づいて、カメラ間の視差により各座標系における位置関係とスケール関係を規定する構成とすることができる。

以上のような構成からなる本発明の座標系分離記録再生装置では、任意の動画像について、動画像を解析して単数又は複数の三次元座標系から構成される画像として取り扱う。画像の一般的性質として、画像空間は対象物の動きに固有の複数の座標系によって構成されているという前提に基づき、それぞれの動きに固有の座標系を分離して抽出し、記録し、再生し、その後にそれら固有の座標系を再構成することで画像を再構築することで大幅な画像圧縮を実現している。
各座標系は三次元的に定義されるので、再構成された座標系は最終的に同一の三次元空間内に配置されることになる。
従って、最終画像は三次元画像となるが、二次元画像のまま各画素又は各分割画像のブロック単位を一次元の動きに分解して扱うことで、情報を整理することが可能となる。

このようにして、本発明では、任意の動画像を対象物毎の、あるいは複数の対象物の集まり毎の、固有の座標系に分離し、かつ三次元に移動する対象物を一次元的に扱って解析するため、結果として動画像から短時間で三次元画像を抽出することができ、元の動画像から大幅に圧縮された圧縮画像を再生することができる。
また、明度や色の変化のない平坦な画像でも、平坦部分をひと固まりとすることで、画像を領域に分割することで、それぞれの三次元座標を取得することができ、再生画像として生成することができる。

ここで、カメラが自由に移動する場合の映像においては、カメラベクトル（CV値）としてカメラと座標系の位置関係を各画像フレーム毎に固有に求められる。
また、カメラが静止座標系に対して静止している場合はCV値はゼロであり、運動する場合は静止画像から生成した複数のブロック画像の動きを一次ベクトルで表現することが可能である。さらに、各フレーム画像に座標系の数だけのカメラベクトルを定義すれば、すべての座標系が二次元画面上を移動する一次ベクトルとして単純に記述され、しかもカメラ移動の情報のみで、静止画像から移動中の或る範囲の全フレーム画像を表現できることになる。これによって情報を大幅に省略することができる。
このようにすることで、画像は圧縮され、再生側又は受信側では各座標系をフレーム単位のカメラベクトルから、カメラとの回転を含む相対速度による移動として、元の動画像を再現できる。

カメラを静止して得られた動画像に関しては、動く部分の対象物を抽出し、それぞれの固有の座標系に分解して、対象物を定義すればよいことになる。
また、座標系分解処理時にエラーが生じることを前提として、前もって誤差補正のための差分信号を生成して、信号の一つとして追加し、画像の再構築をより完全にすることが可能となる。
なお、以上は二次元動画の圧縮解凍による動画再生であるが、各分割画像を複数の座標に分解することと、三次元量を三次元のカメラ位置と一次元の移動ベクトルとして記述しているため、最終画像を三次元動画に変換することも可能である。

本発明の座標系分離記録再生装置は、大きな枠組みとしては、現実世界を座標系毎に切り出して、バーチャル世界に投影する装置であり、具体的には、現実世界を映し出したビデオ映像から、バーチャル世界を生成する装置である。
ビデオ映像から現実世界を複数の座標系に分割し、座標系毎に処理をすることで、効率の良い画像圧縮が実現できる。或いはCGによる三次元地図を効率よく構築することができる。
画像を座標系毎に分解することで、カメラが移動してもしなくても、同じ情報量として記録又は伝送できるという従来にはない画期的効果を実現することができる。

画像が動かなければ静止画であるが、カメラが移動することで映像中の対象物はそれぞれ画枠の中で位置関係を変えていく。従来のＭＰＥＧ方式では、このような動画映像は、全フレームに近い情報を記録し、また送信しなければならなかった。
画像は、複数の座標系に分解すれば、一つの座標系について一つのカメラベクトルと、初めの静止画と、追加部分画像を送ることで、それ以降に連続するフレーム画像を初めの静止画から再構築できることが可能となる。座標系が共通であれば、静止画も動画も基本データは同一であり、情報量は追加部分画像の分だけの増加となる。つまり、画像を構成する複数の座標系に分離してしまえば、後は数学的演算のみで画像を再構成できることになる。

そこで、本発明では、初めの静止画を基本画像として、その後のカメラ移動による映像の中の対象物の位置関係の変化は簡単なカメラベクトルデータと、新しく現れる部分画像を追加して送ることで、元の動画像の大幅な圧縮と、高精度な再現・再生を実現している。
また、本発明は、従来の画像圧縮技術と重複しないことから、従来の画像圧縮技術をも同時に併用することができ、更に大幅な画像圧縮が期待できる。

さらに、画像は三次元情報を含むことになるので、三次元的に表現することも可能となる。なお、元の画像にない部分の情報は再現画像においても表示できないことになるが、視点の多少の移動は可能となり、撮影時のカメラ地点以外の視点からの表示が可能となる。本発明では、動画像をこれまでのような複数のフレームに分解して送信、記録する方式ではなく、座標系毎の移動方向に分解して送信、記録するので、元画像には存在しない中間フレーム位置であっても再生できることになり、連続的に表示できる新しい動画形式を提供することができる。
応用例として、座標移動量と方向からいつでも三次元に変換できることから、ビデオ画像から現実世界を直接三次元画像として取得することも可能となる。

以下、本発明に係る座標系分離記録再生装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の座標系分離記録再生装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、基準となるフレーム画像の抽出や基準フレーム画像の分割，動画像に含まれる複数の座標系の検出，カメラベクトルの演算，再生画像の生成等を行わせる。このように、本発明の座標系分離記録再生装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［第一実施形態］
まず、図１〜図２１を参照して、本発明に係る座標系分離記録再生装置の第一実施形態について説明する。
［基本構成］
図１は、本発明の第一実施形態に係る座標系分離記録再生装置の概略構成を示すブロック図である。
同図に示すように、本実施形態に係る座標系分離記録再生装置１は、座標系分解記録構成部１０と、座標系合成再生構成部２０とを備えている。

座標系分解記録構成部１０は、現実世界を構成する複数の座標系を検出し、座標系毎に対象物を効率よく記録する画像記録手段である。
座標系合成再生構成部２０は、座標系分解記録構成部１０で記録された信号を再生し、各座標系毎に対象物を構築し、複数の座標系を合成して、現実世界を効率よくバーチャル世界に再構築する画像再生手段となっている。
この座標系分解記録構成部１０と座標系合成再生構成部２０が、本発明の座標系分離記録再生装置の基本部分をなしている。

現実世界は、一般に、静止座標系（世界座標系）と、移動する物体固有の座標系（局所座標系）とから構成されると捉えることができる。そして、座標系は、通常、一つの静止座標系と、複数の移動座標系とから構成されると表記することができる。但し、静止座標系は、複数の座標系で表現することが有利である場合もあるので、一つの座標系とは限らないが、通常は静止座標系は一つと捉えることで十分である。
そして、このように現実世界を構成している複数の座標系を検出することが、本発明の基本であり、この座標系の検出を座標系分解記録構成部１０で行っている。

現実世界は、例えば、ビデオ画像から検出することができる。但し、必ずしもビデオ画像である必要はなく、他の装置で座標系を検出する場合もあるし、初めから複数の座標系が既知である場合もあり得る。
座標系分解記録構成部１０では、検出された複数の座標系毎に、その座標系に属する対象物を記録する。対象物を座標系毎に記録することで、座標系に分解することなく記録した場合よりも、効率の良い記録が可能となる。
ここで、記録する対象物は、映像そのものである場合もあるし、CGに置き換えられる場合もある。さらには、音声等の映像以外の情報であることもある。

そして、このように座標系分解記録構成部１０で記録された信号が座標系合成再生構成部２０で再生される。
座標系合成再生構成部２０は、座標系分解記録構成部１０で分解・記録された各座標系毎に対象物を構築し、複数の座標系を合成することで現実世界を効率よくバーチャル世界に再構築する。
なお、座標系分解記録構成部１０と座標系合成再生構成部２０は、単一の装置として一体的に備えることもできるが、画像記録側の座標系分解記録構成部１０と画像再生側の座標系合成再生構成部２０をそれぞれ別々に構成し、離間して配設することもできる。離間して備えられた座標系分解記録構成部１０と座標系合成再生構成部２０は、例えばインターネットやLAN等の有線又は無線の通信回線を介して接続されることで、取得・生成された画像データを装置間で送受信することができる。

［基本動作］
以下、図２〜図７を参照して、座標系分離記録再生装置１における処理・動作の基本的な考え方を説明する。なお、動画像は、例えばビデオ映像や映画のように、一般に連続する静止画から成り立っており、以下ではそのような静止画の連続である動画像を前提として説明する。

［画像分割］
まず、動画像を構成する各フレーム画像のいずれかを、その後の処理の基準となる画像（基準画像）として選択・決定する。そして、選択された基準フレーム画像は所定領域に分割する。
基準画像を所定領域に分割するには、基準フレーム画像をフレーム間で変化しない固まりと見なせるほど十分小さい画像に分割する。例えば、１０ｐ×１０ｐのブロック単位に強制的に分割することができる。このように基準画像を分割してブロック化された１０×１０等の画像の集合の信号が後述する分割画像信号となり、この１０×１０単位でその移動方向と移動量が検出されることになる。例えば、自動車のような移動体であれば、１０×１０の単位分割画像が１００〜２００個程度集まって構成される。
なお、このようにブロック画像に分割することが最も単純な方法であるが、これ以外にも、例えば対象物の同じ色や同じ明るさの領域で分割したり、対象物の面で分割したり、という画像の固有の性質に合わせて分割する方法もある。このような画像固有の分割方法につていは後述する。

［カメラベクトル・湧きだし点］
画像をブロックに分割し、それぞれの単位ブロック画像の隣接するフレーム画像に渡って対応位置を追跡して、その移動ベクトルを検出すれば、それが座標系に固有の運動となる。すなわち、同一座標系に所属する分割画像は、座標系とカメラ位置の関係で決まる湧きだし点から放射状に外向きに向かう一次元ベクトルで表現できることになる。
湧きだし点とは、図２に示すように、現実の三次元空間において、カメラ位置を中心として投影された球面上の一点として定義される点であり、カメラ移動方向に湧きだし点が、その背面に吸い込み点が、それぞれ一対の点として定義される。

例えば、カメラが進行する前方の画像は次第に大きくなるように画像が変化するのであるから、前方から画像が湧きだしてくることになる。従って、この場合には進行方向の前方が湧きだし点となる。
一方、画像は、カメラに一番近い点で最大の大きさになり、後方に移動して行くにつれて小さくなり、最終的に後方の一点に吸い込まれていくように見える。すなわち、画像は、ある点に吸い込まれるように消えていくことになり、その点が吸い込み点となる。

従って、カメラの回転成分がなく、カメラの移動方向が常に固定されていれば、湧きだし点から吸い込み点までブロック画像が移動することになるが、現実にはカメラは回転成分を持ち、移動方向は随時変更されることになるので、湧きだし点及び吸い込み点とは、ある時間内での移動を示す微分的なものとなる。
なお、湧きだし点はその点から分割画像が湧きだす点であり、吸い込み点は分割画像がそこに向かって吸い込まれていく点で、湧きだし点が決まれば自ずと吸い込み点も決まることになるので、以下、湧きだし点のみについて説明する。

湧きだし点は、パースペクティブに投影された平面画像上であっても同様に、座標系とカメラ移動によって生ずる画像の動きによって定義される点であり、カメラが自由運動する場合には各フレーム間で一義的に決定される。さらに、カメラ位置と座標の関係が単純であれば、複数のフレームに渡って同一となる。
カメラベクトル（ＣＶ値）とは、カメラの三次元位置座標及び３軸回転座標を示すものであり、運動する物体の湧きだし点は、カメラベクトルから一義的に求められることになる。

例えば、カメラの回転を止めて位置の移動のみとすると、図３に示すように、すべてのブロック画像は、そのブロック画像が所属する固有の座標系毎に、湧きだし点と一次元ベクトルでその移動を表現できることになる。なお、カメラの回転を止めることは、撮影時に止める方法もあるが、撮影後に画像処理で止めることも可能である。
また、湧きだし点は画枠内にあることもあれば、画枠外にあることもある。カメラ移動が回転無しの直線運動であれば、湧きだし点は、移動しないで球面上の固定点となり、全周画像であれば、その中の一点として決められる。一方前記平面画像上では、画枠に対して固定点となる。

［座標系分解］
以上のような湧きだし点に基づいて、すべての分割画像について、隣接するフレーム画像に渡って、同一座標系の中の移動として捉えることができる。
図４に示すように、基準フレーム画像を、静止座標系となる座標系１と、２つの移動体が属するそれぞれの座標系２，座標系３に分割することでき、分割された座標系を統合することで、動画像を再構成することができる。同図中、点線で示すのは、各座標系におけるカメラベクトルをカメラの移動軌跡として表したものである。
そして、全分割画像について、隣接するフレーム画像に渡って同一座標系の中の移動として捉えると、原理的には最初のフレーム画像だけからそれ以降のフレームを生成して、動画を生成できることになり、これによって、元の動画像を大幅に圧縮することができる。

図５〜図７に、基準フレーム画像から複数の座標系１〜３が分解され、分解された座標系が統合されて再構築された動画像の一例を示す。
なお、同一座標系であっても、基準画像にはない新しい部分画像が出現すれば、それは追加する必要があり、その場合には、カメラ移動による新しい情報を付加してやることで、より完全な動画像を生成することができる。
また、最初の基準フレーム画像はＪＰＥＧ等の従来の方法で圧縮して記録すればさらに圧縮率が上がることになるので、従来の圧縮技術と組み合わせて用いることができる。

ここで、カメラベクトルデータを持つ画像（ＣＶ映像）は、各フレーム画像がＣＶ値を持つので、ＣＶ値から湧きだし点を取得することが可能である。
すなわち、湧きだし点を信号として付加しなくても、ＣＶ値だけを付加すれば湧きだし点の座標は何時でも求められることになる。従って、生成信号にＣＶ値を持たせることで、湧きだし点の座標を持たせる必要はなくなる。
カメラベクトルを求める具体的な演算処理については、図１０〜図２１を参照して後に詳述する。

以上のように、移動するカメラから取得した動画像は、移動方向の一点から決められた軌跡を描いて画像が湧き出すように（又は吸い込まれるように）移動する一次元ベクトルから構成することができる。ベクトルの移動軌跡は球面表示では大円となり、パースペクティブ表示では直線となる。
一般に、動画像は複数のフレームから成り、動画を構成する複数フレーム画像を一枚の基準画像と各分割単位画像の一次元ベクトルとして表現することができる。そして、これは基準画像に隣接するフレーム画像の省略という意味を持ち、動画像の持つ重複する情報を整理して、動画像を組み立てることで画像圧縮を実現することが可能となる。

実際には１０フレーム〜１００フレーム程度を１フレーム画像から再現することで、画像圧縮することが可能となる。また、カメラ回転と移動を平滑化すれば、湧きだし点の移動が無くなり、さらにフレームを省略できることになる。このとき、最終画像に対して、回転と移動方向を戻すことで、原画は再現できる。
一次元ベクトルを持つ各画像ブロックは共通の湧き出し点を持ち、それは座標系に固有であり、座標系の数だけ存在することになる。
もし、静止座標系で静止している対象物の映像であれば、各フレーム画像は一つの座標系として表現でき、カメラが動いていても一次元ベクトルは一つの湧き出し点又は吸い込み点を持つことになる。

すなわち、カメラが動いていても、静止座標系の中のすべての静止物体の全ブロック画像は一次元ベクトルと湧きだし点（又は吸い込み点）の関係を失うことはなく、すべて共通の湧き出し点を持ち、分割画像の一次元ベクトルで表現することができる。
また、カメラベクトル（CV値）から画像安定化の為に回転を止める補正信号を生成するので、カメラの回転については、回転量を記録して、最終的に復元して、復元画像に元画像と同じ回転を与えることができる。
従って、カメラが回転しながら移動し、結果として静止座標系が回転・移動して観察されても、全ブロック画像はすべて共通の湧き出し点を持ち、一次元ベクトルで表現することができる。

また、静止座標系の中を移動する物体の映像は静止座標系以外のもう一つの座標系で表現でき、さらに複数の移動体がそれぞれ固有の運動をすれば、移動する物体の数だけの座標系が存在することになる。また、それぞれにカメラとの位置関係による湧きだし点が存在することになる。
これにより、画像の各ブロックの移動は、湧きだし点と何れかの座標系の一次元ベクトルで表現できることになる。すなわち、一般の動画像は複数の座標系と座標系毎に固有の湧き出し点に向かう一次元ベクトルで表現できることになり、カメラ移動に関係なく画像を複数の座標系に分解できることになる。

このことは、動画像を一枚の静止画と湧き出し点の位置情報と、各領域の一次元ベクトルで表現できることになり、画像情報の冗長部分が単純化され整理されて、大幅な画像圧縮が可能となる。
なお、上述したように、湧きだし点の位置は静止座標系の中のカメラ位置を示すカメラベクトル（ＣＶ値）で一義的に決定されるので、カメラベクトルで表現しても良い。
湧きだし点は二次元情報であり、カメラベクトルは三次元情報であるので、画像圧縮の目的だけからは二次元情報の方が有利になるが、画像安定化や追跡処理等の他の画像処理を行うにはカメラベクトルの三次元情報が有利となる場合もある。

［差分処理］
画像処理の過程で、各座標系に分解する段階で色のエラーや位置エラーやレンズの歪みによるエラーや座標系を間違うエラーや、同一画像ブロックが時間で変化することで生じるエラーもある。
そこで、このような場合には、記録前に生成した圧縮信号から前もって再生解凍し、再生画像を生成し、それを元画像と比較して、その差分を差分信号として、エラーを修正することが可能である。
このことで処理の途中にエラーが発生しても、圧縮率は落ちるが、画像のエラーは補正できることになる。

また、動画のフレームが進むにつれて誤差が蓄積したり、新しい情報が付加されたりすることで、差分信号が画像信号より情報量が多くなることもある。
そのような場合には、差分信号に制限を設けて、差分信号の情報量がある閾値に達したときには、当該基準フレーム画像についての処理をリセットし、新規フレーム画像を新たに基準画像として処理を始めることができる。
このようにすれば、新規フレームからの各ブロック画像の移動として、動画像の圧縮を連続的に継続することができる。

ここで、図５〜７に示したように、自動車等の移動する物体が画像中に存在する場合は、複数の座標系で表現でき、差分信号で更に補正できるが、画像中の移動体の少ない画像では、座標系を静止座標系のみとして処理すれば、移動体はすべて誤差と評価され、差分信号に含まれることになる。
すなわち、差分信号により移動体が表現されることになり、唯一の座標系として処理した場合でも画像圧縮は十分可能となる。

なお、以上のような本実施形態の圧縮解凍技術は、動画像の記録のみならず、通信における送信受信においても有用となる。すなわち、圧縮した画像を送信し、受信側で解凍することで狭い帯域で動画像の送受信が可能となる。
また、画像を三次元化することなく、二次元画像のまま複数の座標系に分離することで、座標系分類に誤差が生じても、差分信号を付加することで、最終の再生された画像は、画像二次元画像として見る限り正しい画像が生成されることになる。

本実施形態では、現実空間の映像を複数の座標系に分解することで、三次元情報をカメラ情報と一次元ベクトルとして扱うことにより、情報の圧縮が可能となった。従って、カメラ情報と画像内の各点の一次元ベクトルから、二次元動画を三次元化することも当然に可能である。
また、座標系を統合することで再構成された動画像は当然に元画像の二次元映像を再現するが、座標系の統合はカメラ位置を変えた任意位置での統合が可能となるので、元画像とは異なる視点からの映像を生成することも可能となる。
また、異なる視点からの映像により、動画像から複数の視点映像を上述した方法で生成し、立体視をすることも可能である。ここで、立体視とは、複数の視点映像を生成し、又は視差相当の画像をめがね等で左右の目に与えることで、立体感を生じさせるものである（後述する第三実施形態参照）。
さらに、静止画であっても、仮想のカメラベクトルと座標系を仮に指定することで、仮の動画像化と三次元化が可能となる。

［画像自動領域分割］
次に、基準フレーム画像の自動分割について説明する。
上述した実施形態では、基準フレーム画像を例えば、１０ｐ×１０ｐのブロック単位に強制的に分割することを説明したが、以下の方法により、基準画像を画像の持つ固有の性質等に合わせて自動分割することも可能である。
画像処理において、画像を効率よく部分領域の集合となるように分割することが重要となるが、上述した実施形態では単純にブロックに分割して、それぞれを単位領域として処理するようになっている。
これを、さらに画像の持つ固有の性質に合わせて、効率よく画像を自動領域分割することも可能である。

以下に、色や明るさ等、画像のもつそれぞれの固有の特性を活かして、適切な大きさの領域に自動分割する方法を示す。
画像を分割する際、単純にブロックに分解する方法が一般的であるが、ここでは演算に有利となるように分割前にずらし演算をする。上述した基準フレーム画像から分割画像を生成する場合に、基準フレーム画像をそのままブロック分割せずに、基準画像のまま適切に定められたピクセル数だけ縦及び横に微量ずらして行く。そして、ずらした回数のずらしフレーム画像を生成する。
例えば、基準フレーム画像について、１１＊１１の領域を決め、１２１回のずらし演算を行う。次に、基準フレーム画像を微少領域に分割する。
そして、基準フレーム画像と複数のずらしフレーム画像との相関関係を微少量領域周辺で求めるために、微少領域面及びその周囲で差分値を必要とされる画像全域で演算で求める。又は相関値を演算で求めてもよい。

ここで、差分値又は相関値の演算としては、例えば、以下の式１に示すような関数により行うことができる。
式１において、ｎは分割したブロック画像の番号を、ｍはずらしたフレームの全枚数を、ｓはずらしたフレームｍ枚のうちの何枚目かを、それぞれ表す。
ｉｎｆs は、ずらしたｍ枚のフレームのｓ番目のフレームのn番目のブロック画像の明るさであり、ｉｎｆ0は、ずらさないフレームｆ0のｎ番目のブロック画像の明るさである。
従って、ｎ番目のブロックの差分値又は相関値Ｃｎは、ｆ0と同じｎの位置のｆsなる位置の明るさの差（絶対値）の合計を意味する。Ｃｎが大きいときは、画像のきめがこまいことを意味し、特徴点となり得ることを意味し、Ｃｎが小さいときは、ずらしても差が生じないことであり、相関値が低く、同一領域となり得ることになる。

［式１］

以上のような差分値又は相関値から判断して、隣接するフレーム間に渡る追跡の指標となり得る特徴点領域と、特徴点になり得ない非特徴点領域とに分離し、特徴点領域については、そのまま単位処理領域とする。
そして、非特徴点領域については、隣り合う非特徴点領域を結合し、より大きな領域を生成して、特徴点領域に接するまで領域を拡大し、あるいは特徴点領域とはなり得ないが、境界領域とはなり得る微少領域に接するまで結合領域を拡大して、単位処理領域とする。これにより、基準フレーム画像を画像状況に合わせた大きさと形を持つ多数の単位処理領域からなる画像に分解・整理して生成することが可能となる。

［具体的構成］
以下、より具体的に、本実施形態の座標系分離記録再生装置１を構成する座標系分解記録構成部１０と座標系合成再生構成部２０について説明する。
図８は、本実施形態に係る座標系分離記録再生装置１を構成する座標系分解記録構成部１０と座標系合成再生構成部２０の詳細構成を示すブロック図である。
また、図９は、図８に示す座標系分離記録再生装置１の変形実施形態を示すブロック図であり、座標系分解記録構成部１０に差分信号付加部１４を追加し、また、座標系合成再生構成部２０に三次元画像生成部２４を追加した場合を示している。

［座標系分解記録構成部］
図８に示すように、本実施形態の座標系分解記録構成部１０は、動画像取得部１１と、座標系検出部１２と、座標系分離信号記録部１３とを備えている。
さらに、図９に示すように、座標系分解記録構成部１０は、差分信号付加部１４を備えることができる。

動画像取得部１１は、複数のフレーム画像から構成される動画像を取得する。例えば、ビデオカメラ装置等からなる。
座標系検出部１２は、動画像取得部１１で取得された動画像の一部分を構成する複数のフレーム画像を代表する単一の基準フレーム画像を選択し、それを適切に分割し、分割された各領域が属する複数の座標系を検出し、動画像の全体に渡って、画像を構成する複数の座標系を検出する。
座標系分離信号記録部１３は、分割画像信号，座標系特定信号，座標系別カメラベクトル信号及び移動ベクトル信号の各信号を生成する。

分割画像信号は、動画の進行とともに、基準フレーム画像が適宜変更されながら選択されて、基準フレームが次々と各領域に分割されて生成される画像信号であり、例えば、ブロック化された１０×１０等の画像の集合の信号である。この分割画像信号単位でその移動方向と移動量が検出されることになり、自動車のような移動体であれば、１０×１０の単位分割画像が１００〜２００個程度集まって構成される。
座標系特定信号は、分割画像の各領域が複数の座標系のうちの何れかの座標系に属するように特定して分類し、分割画像の各領域が属する座標系を特定する信号であり、例えば、複数の座標系を識別するために各分割画像に与えられる識別信号である。

座標系別カメラベクトル信号は、複数の座標系の間の関係と、各座標系における三次元のカメラ位置と三次元の回転姿勢関係を示すカメラベクトル信号である。このカメラベクトル信号は、各座標系毎に異なるカメラベクトルを示す。
移動ベクトル信号は、動画像を代表する基準フレーム画像に関する分割画像の各領域が動画像中を移動する量を検出して生成される信号である。例えば、１０×１０のブロック画像の移動方向と移動量を示す信号である。
そして、座標系分解記録構成部１０では、これら各信号を画像圧縮信号として記録する。

差分信号付加部１４は、図９に示すように、選択的に座標系分解記録構成部１０に付加できるものであり、座標系合成再生構成部２０に備えられる座標系分離信号再構築部２２と同等の機能を持つものである。そして、この差分信号付加部１４で、生成された各信号に基づいて動画像を一旦再生解凍して各フレーム画像を再構築し、元画像である動画像を構成しているフレーム画像と比較し、差分を取り、その差分を差分信号として生成する。
座標系の分離は常に成功するとは限らず、誤差や間違いが生じることもあり得る。そこで、そのような誤差や間違いを差分として検出し、それを差分信号とする。そして、その差分信号を座標系分離信号記録部１３の圧縮信号に付加することで、再生側（座標系合成再生構成部２０）で正しい動画像を生成することが可能となる。

ここで、差分信号付加部１４では、座標系検出部１２で検出される複数の座標系において、静止座標系のみを唯一の座標系として採用し、全分割画像を静止座標系で表現し、移動体等の本来他の座標系に分類されるべき分割画像によって生じる誤差を差分信号として処理することができる。
動画映像においても、静止座標系が代表的座標系となるものである。そこで、動画像から検出される複数の座標系のうち、静止座標系を唯一の座標系として選択し、全ての分割された領域を静止座標系で表現することで、移動体等の本来は他の座標系に分類されるべき領域がすべて誤差となり、その誤差分を差分信号として扱うことで、より正確な再生画像を生成できるようになる。

［座標系合成再生構成部］
図８に示すように、本実施形態の座標系合成再生構成部２０は、座標系別信号再生部２１と、座標系分離信号再構築部２２と、再生解凍動画像出力部２３とを備えている。
さらに、図９に示すように、座標系合成再生構成部２０は、三次元画像生成部２４を備えることができる。

座標系別信号再生部２１は、座標系分離信号記録部１３で記録された各信号を座標系別に読み取り、画像圧縮信号を再生する。なお、座標系分離信号記録部１３からの各信号は、例えば、通信回線を介して座標系別信号再生部２１に伝送され、あるいは、所定の記録媒体（例えば、ＣＤやＤＶＤ，ＭＯ等）に記録された信号を直接に座標系別信号再生部２１に読み込ませることができる。
座標系分離信号再構築部２２は、再生された各信号、すなわち、分割画像信号，座標系特定信号，座標系別カメラベクトル信号，移動ベクトル信号を座標系別に組み立て、各座標系画像を合成して、視点を決定して各フレーム画像を再構築する。
再生解凍画像出力部２３は、再構築された画像を指定された再生動画像として出力する。例えば、液晶ディスプレイ等で構成される。

三次元画像生成部２４は、図９に示すように、選択的に座標系合成再生構成部２０に付加できるものであり、各座標系における各領域の一次元ベクトルと、各座標系におけるＣＶ値とから、三次元動画像を生成する手段である。
三次元動画像の生成は、上述した画像圧縮技術と同一原理であり、各座標系における各領域画像の一次元ベクトルと、各座標系におけるＣＶ値とから、各領域画像の三次元座標を演算で求めることができ、その作業を連続して行うことで、三次元動画像を生成することが可能となる。

［動作］
以上のような構成からなる本実施形態の座標系分解記録構成部１０及び座標系合成再生構成部２０は、次のように動作する。
まず、座標系分解記録構成部１０の動画像取得部１１で任意のビデオ映像が取得される。ビデオ映像は、通常画像や３６０度画像からなる動画像であり、複数の連続する静止画フレーム画像から構成されている。
取得された動画像は座標系検出部１２で処理され、動画像の一部分を構成する複数のフレーム画像を代表する単一の基準フレーム画像が選択される。選択された基準フレーム画像は、所定のブロック単位等に適切に分割され、分割された各領域が属する複数の座標系が検出されて、基準フレーム画像に含まれる各部分が属する座標系が検出される。
そして、同様の処理が動画像の全体に渡って行われ、複数の座標系が検出される。この処理によって動画像中の対象物の各部分が属する座標系が検出されたことになる。

次いで、座標系検出部１２では、各座標系に分類された分割画像から、分割画像信号を生成する。
また、座標系検出部１２は、分割画像の各領域が複数の座標系の何れかの座標系に属するように特定して分類し、分割画像の各領域が属する座標系を特定する座標系特定信号を生成する。
また、座標系検出部１２は、複数の座標系の間の関係と、各座標系に於けるカメラ位置姿勢関係を示す座標系別カメラベクトル信号を生成する。
さらに、座標系検出部１２は、動画映像を代表する基準フレーム画像に関する分割画像の各領域を隣接する複数画像に渡って追跡し、各領域が動画像中を移動する量を検出して移動ベクトル信号を生成する。
そして、これら各信号が画像圧縮信号として座標系分離信号記録部１３で記録される。

生成・記録された画像圧縮信号は、再生側となる座標系合成再生構成部２０に伝送・入力される。
座標系合成再生構成部２０の再生処理においては、まず、座標系別信号再生部２１で、座標系分離信号記録部１３で記録された信号を座標系別に読み取り、画像圧縮信号を再生する。
再生された各信号、すなわち、分割画像信号，座標系特定信号，移動ベクトル信号及び座標系別カメラベクトル信号は、座標系分離信号再構築部２２で、座標系別に組み立てられ、各座標系画像が合成され、視点が決定されて各フレーム画像として再構築される。
そして、再構築された画像は、再生解凍動画像出力部２３で、指定された再生動画像として出力されることになる。

［カメラベクトル演算処理］
次に、上述した本実施形態の座標系分離記録再生装置１における座標系検出の基礎となるカメラベクトルの演算処理について、図１０〜図２１を参照しつつ具体的に説明する。
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルと特徴点の三次元情報を求めるにはいくつかの方法があるが、本実施形態では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルと特徴点の三次元座標を求めるようにしてある。特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルと特徴点の三次元座標を求めることができる。

まず、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。原理的には６点乃至７点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、１００点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。
このようにして求められたカメラの三次元位置とカメラの３軸回転から、それを各フレーム画像にデータとして付加し、複数のフレーム画像から得られる複数の視差、即ち多重視差と、既に取得しているカメラの三次元位置から、対象物の特徴点の三次元座標を演算で求めることができる。
なお、以上の処理は、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求めることができる。

［カメラベクトル］
カメラベクトル（ＣＶ）とは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態の座標系分離記録再生装置１におけるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、座標系分離記録再生装置１における、より具体的なカメラベクトルと特徴点の三次元座標の検出方法について、図１０以下を参照しつつ説明する。
図１０に示すように、カメラベクトル演算処理では、まず、画像取得処理１０１を経て得られた動画映像について、特徴点抽出処理１０２において、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理１０３で、複数のフレーム画像間で特徴点の対応関係を自動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１１〜図１３に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１３に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１４に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１４の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算処理１０４で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算処理１０４では、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、カメラ映像として原則的に３６０度全周映像を使用し、３６０度全周映像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

３６０度全周映像は、例えば広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像であり、通常のカメラで撮影される映像より広い範囲が示されるため、高精度なカメラベクトル演算をより簡易，迅速に算出することができ好ましい。なお、３６０度全周映像といっても、必ずしも４π全空間を含む映像のみでなく、３６０度全周の一部分をカメラベクトル演算用の映像として扱うこともできる。その意味では、通常のカメラで撮影される映像も、３６０度全周映像の一部と捉えることができ、本実施形態におけるような優れた効果は少ないものの、本質的に差異はなく、本発明の３６０度全周映像（４π映像）と同様に扱うことができる。

図１３に示す画像１，２は、３６０度全周映像をメルカトール展開した画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
なお、図１３は、カメラベクトル演算処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際の座標系分離記録再生装置１における処理では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化処理１０５では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。
例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図１５〜図１７に、カメラベクトル演算処理１０４で得られる特徴点の三次元座標とカメラベクトルの例を示す。図１５〜図１７は、本実施形態におけるカメラベクトルの演算方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１５では、図１３の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図１６及び図１７は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

［簡易演算処理］
ここで、座標系分離記録再生装置１におけるカメラベクトル演算では、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１９に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うことができる。
具体的には、カメラベクトル演算処理において、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

［高精度カメラベクトル］
さらに、より高精度のカメラベクトルを求めるために、三次元情報の追跡を行うことが好ましい。具体的には、まず、三次元情報追跡処理１０６で、カメラベクトル演算処理１０４，誤差最小化処理１０５を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡処理１０６で得られた三次元情報の追跡結果から、高精度カメラベクトル演算処理１０７が行われて、より高精度なカメラベクトルが求められる。

上述した特徴点抽出処理１０２及び特徴点対応処理１０３では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報を各フレーム画像上に追跡して、その軌跡から、高精度カメラベクトル演算処理１０７においてより高精度カメラベクトルを求めることができる。このような三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算処理１０４により概略のカメラベクトルが既知であり、三次元形状が既に分かっているために可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

［揺れ成分検出］
そして、以上のようにして求められたカメラベクトルは、揺れ成分検出処理１０８において、あらかじめ予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成分が抽出される。
揺れ成分検出処理１０８では、例えば、車載カメラを搭載した車両位置（すなわちカメラ位置）Ｘ，Ｙ，Ｚと、車両回転姿勢（すなわちカメラ姿勢）Φｘ，Φｙ，Φｚによる揺れ成分であるδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚのすべてが評価の対象となる。ここで、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとは、必ずしも微分値や差分値ではなく、予定の位置及び予定の姿勢からのズレを意味する。多くの場合は微分値で代用することで揺れ成分は検出できるが、予定の位置と予定の姿勢が前もって決まっていれば、それとの差分がδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとなる。

具体的には、軌道上を走行する電車等においては、予定カメラベクトルは走行時に計測される平均値に近いものであるが、航空機のように三次元空間を航行する場合は、予定カメラベクトルは走行時のものと平均で一致することはない。
揺れ成分出力としては、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚの計１２個のパラメータを出力することができる。
但し、いずれの揺れ評価を目的とするかによって、パラメータの数はこの中から選択的に組み合わせることができ、評価対象物に対応することができる。

すなわち、特徴点・カメラベクトル演算部１１５と揺れ成分検出部１１７からの出力を総合すると、Ｘ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺと、δΦｘ，δΦｙ，δΦｚの１２のパラメータがあるが、通常の画像安定化処理にはδΦｘ,δΦｙ,δΦｚの３つのパラメータのみでよい。一方、カメラを同時に複数用いているような場合には、画像の三次元位置の補正も可能となるので、δＸ，δＹ，δＺのパラメータを用意しておく必要がある。また、通常、姿勢制御には、回転制御の場合にはδΦｘ,δΦｙ,δΦｚ、位置の制御を含むのであればこれに加えてδＸ，δＹ，δＺの計六個のパラメータが必要となる。さらに、状況判断を含めれば特徴点三次元地図生成装置１１０からの出力であるＸ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚ
も含めて必要となる場合もあるので、得られる１２個のパラメータの中から選択的に組み合わせて画像処理や姿勢制御に用いることができる。
なお、この１２個の変数以外に、画像安定化や姿勢安定化に用いられる撮影条件による他の係数としては、カメラの基準姿勢として画像の画枠での揺れ幅制限などがある。

図１９に揺れ成分検出処理１０８における揺れ成分検出の具体例を示す。同図に示す例は、車両にカメラを取り付けて走行し、その時に撮影した動画像から揺れ成分検出処理１０８を行い、揺れを検出する場合となっている。
同図において、太線矢印はカメラを取り付けた車両の進行方向を示しており、カメラの光軸を原点とするカメラの位置と姿勢をカメラ座標系（Ｘc，Ｙc，Ｚc）とし（同図に示す破線）、カメラが半固定状態で取り付けられた車両は車両座標系（Ｘt，Ｙt，Ｚt）とし（同図に示す実線）、常に車両進行方向に座標軸を変える座標系を回転世界座標系（Ｘｗr，Ｙｗr，Ｚｗr）とし（同図に示す２点鎖線）、さらに、外界の静止系を表す座標系を世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）とする（同図に示す１点鎖線）。そして、この四つの座標系の関係を求めて、評価に必要な座標系に変換して車両の揺れが表現されるようになっている。

カメラベクトル演算処理１０４で得られるカメラベクトルは、カメラ座標系（Ｘc，Ｙc，Ｚc）そのものである。カメラ座標系は、一般に任意の方向で設定されるから、車両の揺れを検出するには、カメラ座標系を一旦車両座標系（Ｘt，Ｙt，Ｚt）に変換する。この変換は単なる回転変換であり、一般には半固定であり、一旦設定すれば、その後は計測を終了するまで変更はない。
車両進行方向を車両座標系（Ｘt，Ｙt，Ｚt）の３軸の一つに選択することで揺れを評価するのにふさわしい座標系とすることができる。

また、車両の移動の軌跡は静止座標系である世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのが適切である。速度を表現するには回転世界座標系（Ｘｗr，Ｙｗr，Ｚｗr）で単純に表現することができるが、ベクトルとして表現するには世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのがふさわしい。
揺れ評価にあたっては、揺れ評価に適した座標系で評価を行う。
揺れ信号は予定進路からのズレとして検出されるが、図１９に示す例では、車両の平均進路を予定進路として揺れを評価している。そこで、世界座標系上でカメラの移動軌跡を求め、その平均進路を求め、これを予定進路とする。

本実施形態の揺れ成分検出処理１０８では、姿勢の基準となるジャイロ等を用いることなく、画像データを取得するカメラのみで揺れ成分の検出が可能となっているが、カメラ１台の場合、得られるカメラベクトルは相対値となり、ジャイロ等の世界座標系との校正装置を持たないことから、誤差の蓄積が生じることになる。このため、常に車両に対する揺れを評価するために、平均鉛直水平方向を与える必要がある。そこで、カメラ設置時点において、カメラ座標系の１軸を車両に対する水平軸に合致させて設置すれば、それが基準となって、後にも水平姿勢の校正が容易にできることになる。これにより、カメラ座標系（Ｘc，Ｙc，Ｚc）は、車両座標系（Ｘt，Ｙt，Ｚt）に変換して揺れを計測して評価すればよい。
評価される揺れとしては、位置ズレ成分Ｘt，Ｙt，Ｚtと、回転成分Φxt，Φｙt，Φｚt、及び位置ズレ差分δＸt，δＹt，δＺt等である（但し、ＺtとδＺtは、進行方向速度及びその加速度成分となるので、揺れの意味が他の成分とは異なる）。

以上のような揺れ成分の評価において、評価すべき変数と表示は次のようなものが挙げられる。
・世界座標系における車両位置表示：
（Ｘｗ，Ｙｗ，Ｚｗ）
・車両進行方向に回転した回転世界座標系における速度及び加速度表示：
（δＸｗr,δＹｗr,δＺｗr） （ΔδＸｗr,ΔδＹｗr,ΔδＺｗr）
・車両座標系における揺れ表示：
（△Ｘt，△Ｙt,(△Ｚt)） （△Φxt，△Φyt，△Φzt）
・車両座標系とカメラ座標系の回転表示（半固定）：
（Ｘc，Ｙc，Ｚc）＝F（Ｘt，Ｙt，Ｚt）
・世界座標系における進行方向表示：
（Ｘｗ，Ｙｗ，Ｚｗ）＝G（Ｘt，Ｙt，Ｚt）
・カメラ座標系における進行方向表示：
（Ｘc，Ｙc，Ｚc）＝H（Ｘt，Ｙt，Ｚt）
・世界座標系に対する車両座標系の原点移動、回転姿勢表示：
（Ｘｗ，Ｙｗ，Ｚｗ） （δＸｗ,δＹｗ,δＺｗ）

以上のような本実施形態の揺れ成分検出処理１０８においては、例えば、電車に取り付けたカメラの場合には、電車の揺れを解析・分析し、車両や線路の異常を発見することが可能となる。通常は水銀加速時計等の高額な装置を使って揺れを計測するのに対して、本実施形態の揺れ成分検出処理１０８を行うことにより、簡単に揺れ成分が検出でき、それを表示することができる。
そして、このような揺れ成分検出処理１０８を行うことにより、画像の安定化処理やカメラの位置姿勢安定化処理、さらには目的対象物のロックオン処理が実現できるようになる。

図２０は、揺れ成分検出処理１０８で検出された揺れ成分に基づく補正信号により安定化画像に変換処理される画像の一例を示しており、例えば、同図（ａ），（ｂ）に示すように揺らぎのある画像が、同図（ｃ），（ｄ）に示すように補正された安定化画像として出力，表示されるようになる。また、図２１は、補正されたカメラベクトルの軌跡を示すグラフであり、同図中、グラフ中央に直線櫛状に並ぶのがカメラ移動の軌跡であり、移動するカメラの位置と高さを示している。

なお、以上の説明では、特徴点，カメラ座標と回転（カメラベクトル）をカメラベクトル演算処理１０４により同時に求めるように説明したが、一度カメラベクトルが求められれば、新たな特徴点，特徴点中の任意の指定点については、カメラベクトルとともに再演算することなく、すでに得られたカメラベクトルから、二つの画像、すなわち、二つのカメラ位置を底辺とする頂点の一点として簡単に演算することができる。カメラベクトルの精度が変わらないため、新たな特徴点や任意の指定点の精度も変わらない。但し、再度カメラベクトルを求めて再演算すれば、精度は一般に向上することになる。

以上説明したように本実施形態の座標系分離記録再生装置１によれば、任意の動画像を解析し、画像空間を移動する対象物に固有の座標系を分離して抽出し、記録し、再生し、その後にそれら固有の座標系を再構成することで画像を再構築することができる。
そして、分離・抽出された各座標系は三次元的に定義されるので、再構成された座標系は最終的に同一の三次元空間内に配置されることになる。
従って、最終画像は三次元画像となるが、二次元画像のまま各画素又は各画像ブロック単位を一次元の動きに分解して扱うことで、情報を整理することが可能となる。

これにより、本実施形態の座標系分離記録再生装置１では、任意の動画像を対象物の座標系に分離し、かつ三次元に移動する対象物を一次元的に扱って解析することができ、動画像から短時間で三次元画像を抽出することが可能となり、元の動画像から大幅に圧縮された圧縮画像を再生することができる。
また、明度や色の変化のない平坦な画像でも、画像を領域に分割することで、それぞれの三次元座標を取得することができ、再生画像として生成することができる。

［第二実施形態］
次に、本発明の座標系分離記録再生装置の第二実施形態について、図２２を参照して説明する。
図２２は、本発明の第二実施形態に係る座標系分離記録再生装置１の概略構成を示すブロック図である。
同図に示す座標系分離記録再生装置１は、上述した第一実施形態にかかる座標系分離記録再生装置１（図１，図８及び図９参照）をより具体的に示すものであり、基本的な構成は同様である。
従って、同様の構成部分については同一の符号を付し、重複説明は省略する。

図２２に示すように、本実施形態の座標系分離記録再生装置１は、上述した第一実施形態の場合と同様、動画像の記録・圧縮側となる座標系分解記録構成部１０と、圧縮画像の再生側となる座標系合成再生構成部２０とからなる。
［座標系分解記録構成部１０］
座標系分解記録構成部１０は、動画像取得部１１と、座標系検出部１２と、座標系分離信号記録部１３と、差分信号付加部１４を備えている。

［動画像取得部１１］
動画像取得部１１では、画像取得装置１１ａにより、連続する複数のフレーム画像から構成されるビデオ映像等の動画像を取得する。取得するビデオ映像としては３６０度全周ビデオ画像や通常のビデオ画像等がある。
画像記憶装置１１ｂでは、画像取得装置１１ａで取得された動画像をハードディスク等に一時的に記録する。

［座標系検出部１２］
座標系検出部１２では、画像対応装置１２ａにより、動画像取得部１１で取得されたフレーム画像をブロック画像に分割し、各ブロック画像を隣接するフレームに追跡して対応点を求め、各ブロック画像の各フレームにおける対応関係を取得する。
座標系分解装置１２ｂでは、各ブロック画像の対応関係から、各ブロック画像をそれらが所属する固有の座標系に分類して分解し、同時に画像内の各点又は各画像ブロックを、互いに関係づけられた複数の座標系の何れかに属するように分類し、各座標系に分解された座標系別分解画像信号を生成する。
座標系別カメラベクトル検出装置１２ｃでは、カメラベクトルをフレーム単位で生成し、各ブロック画像の移動ベクトルを示す画像ブロック別一次元ベクトル信号を生成する。さらに、分解された座標系別にカメラ位置と姿勢の三次元的関係を示す座標系別カメラベクトル信号を生成する。

［座標系分離信号記録部１３］
座標系分離信号記録部１３では、記録装置１３ａに、生成された各信号、すなわち、座標系別分解画像信号，画像ブロック別ベクトル信号，座標系別カメラベクトル信号、更に後述する差分信号が画像圧縮信号として記録される（差分信号については後述）。
なお、ブロック画像単位の一次元ベクトルは、その大きさのみを信号とし、方向については後の処理でカメラベクトルから求められるので信号としては必要がない。

［差分信号付加部１４］
差分信号付加部１４では、座標系合成再生構成部２０の座標系分離信号再構築部２２と同じ性能と機能を持つ画像再構築装置１４ａを前もって記録装置１３ａ以前に用意する。そして、この画像再構成装置１４ａにおいて、フレーム画像の再構築を行う。
差分信号生成部１４ｂでは、画像再構成装置１４ａで再構築された画像と元フレーム画像との差分を取り、その差分を差分信号として生成する。この差分信号をも記録すべき信号として記録装置１３ａに送り出し、記録する。

［座標系合成再生構成部２０］
座標系合成再生構成部２０は、座標系別信号再生部２１と、座標系分離信号再構築部２２と、再生解凍動画像出力部２３を備えている。
［座標系別信号再生部２１］
座標系別信号再生部２１では、再生装置２１ａにおいて、座標系別分解画像信号と、画像ブロック別ベクトル信号と、座標系別カメラベクトル信号と、差分信号を再生する。
［座標系分離信号再構築部２２］
座標系分離信号再構築部２２では、画像再構成装置２２ａで、再生された座標系分解画像信号を指定された座標系に変換して画像を再構築する。そして、最後に差分信号で画像を補正することで、再構築画像が完成する。
このように、座標系分離信号再構築部２２では、再生信号に加え差分信号をも再生して、画像再構成装置２２ａに差分信号を付加することで、より誤差の少ない画像を生成するようになっている。
［再生解凍動画像出力部２３］
再生解凍動画像出力部２３では、表示装置２３ａで、再構築画像を指定されたカメラ位置から見た各座標系に再構成し、再構成されたフレーム画像を連続的に並べて動画として連続表示することで、動画像を表示する。

以上説明したように、本実施形態の座標系分離記録再生装置１によっても、上述した第一実施形態の場合と同様、任意の動画像を解析し、画像空間を移動する対象物に固有の座標系を分離して抽出し、記録し、再生し、その後にそれら固有の座標系を再構成することで画像を再構築することができる。
これによって、本実施形態の座標系分離記録再生装置１でも、任意の動画像を対象物の座標系に分離し、かつ三次元に移動する対象物を一次元的に扱って解析することができ、動画像から短時間で三次元画像を抽出することが可能となり、元の動画像から大幅に圧縮された圧縮画像を再生することができる。

［第三実施形態］
次に、本発明の座標系分離記録再生装置の第三実施形態について、図２３及び図２４を参照して説明する。
図２３は、本発明の第三実施形態に係る座標系分離記録再生装置の座標系分解記録構成部１０の概略構成を示すブロック図であり、図２４は、同じく、本発明の第三実施形態に係る座標系分離記録再生装置の座標系合成再生構成部２０の概略構成を示すブロック図である。
これらの図に示す座標系分離記録再生装置１は、上述した第一及び第二実施形態の変更実施形態であり、より正確なＣＶ値（カメラベクトル）を求めるために、ＣＶ値の概略値を求めて画像処理を行い、画像を安定化させて再度精度の高いＣＶ値を演算で求める二段構えとした座標系分離記録再生装置１の具体例である。

［座標系分解記録構成部１０］
［画像取得装置２１０］
図２３に示すように、座標系分解記録構成部１０では、まず、画像取得装置２１０の画像取得部２１１でビデオ映像を取得する。
［画像記憶装置２２０］
取得された動画映像は、画像記憶装置２２０の画像記憶部２２１で、画像データとして記録・保存する。
［画像対応装置２３０］
記録された画像データは、画像対応装置２３０の画像分割部２３１で、微少領域に分割する。そして、分割された画像は、特徴点抽出・追跡部２３２で、領域の中から特徴点となり得る領域を選択して、隣接する複数のフレームに渡って追跡する。

［前処理装置２４０］
次に、前処理装置２４０では、より正確なＣＶ値を求めるための前処理が行われる。
まず、ＣＶ演算部２４１で、映像を取得したカメラ位置と姿勢を三次元的に取得する。次に、回転補正信号生成部２４２で、ＣＶ値からカメラの三次元姿勢の値（ＣＶ値）を取得し、回転補正信号を生成し、各フレームに対応させる。この回転補正信号は画像圧縮信号の一つとなる。

次に、画像安定部２４３で、各画像フレームに対応するＣＶ値により、カメラ回転を補正することでカメラ方向を固定して画像を安定化する。この画像を安定させるために使用したカメラ回転補正信号は、最終的に画像を再構成する際にも使用される。次いで、任意平面展開部２４４で、安定化した画像を任意の平面に展開表示し、これによって、後の処理を行い易くする。
さらに、安定化画像のＣＶ値取得部２４５で、安定化され、湧きだし点が固定された画像において、微少領域に分割した画像、あるいは、新たに任意面に展開又は球面に展開して分割した画像を、隣接するフレームに渡って特徴点を追跡して、まず、基本座標系（一般には静止座標系）におけるＣＶ値を演算により取得する（ＣＶ演算は上述した図１０〜図２１及び該当説明を参照）。

［画像対応装置２３０］
再び、画像対応装置２３０に戻り、静止座標系ベクトル抽出部２３３で、任意平面に展開された画像を分割して、各画素もしくは、画像の微少領域の特徴点を抽出し、隣接するフレームに渡って追跡し、ＣＶ値から求められる静止座標系の湧きだし点に属するブロック画像を選択的に求める。
ベクトル内挿部２３４では、特徴点以外の分割画像を内挿により結合することで、静止座標系における既知のベクトルから未知のベクトルを求める。この段階で静止座標系については静止座標系に属する分割画像をすべて共通の湧きだし点から放射状に湧き出る一次元ベクトルで表現したことになる。また、静止座標系以外の座標系に属するブロック画像についても内挿し、座標系毎に一次元ベクトルで表現する。ただし、後の処理で差分信号により、精度を上げることができる。

付加座標系抽出部２３５では、静止座標系以外の湧きだし点に所属するブロック画像を分類して、各ブロック画像の一次元ベクトルと複数の座標系に対応する複数の湧きだし点を求める。
全座標系信号生成部２３６では、各座標系毎に記録すべき信号を生成する。
フレーム間ベクトル近似部２３７では、連続するフレーム移動を直線と見なせる範囲内で直線近似する。このことで、各ブロックは同一方向のベクトルで表記できることになる。同一方向のベクトルは連続する一次元ベクトルと見なせるので、これによって画像の圧縮に貢献する。

［差分信号生成部２５０］
次に、差分信号生成部２５０においては、画像再構築部２５１で、一旦ここまで得られた圧縮信号から画像を再構築する。
差分信号検出部２５２では、再画像再構築部２５１による構築画像と、元となる全フレーム画像と比較し、その差分を誤差とし、差分信号を得る。

［座標系分解装置２６０］
次に、座標系分解装置２６０では、移動体検出部２６１で、差分信号生成部２５０で得られた差分信号の分布から、移動体の分布を予想し、移動体ベクトル分布から、移動体の位置を予想し、その予想ブロック画像群を上述した付加座標系抽出部２３５に送る。
また、移動体検出部２６１では、必要に応じて、移動体座標系に属する特徴点を抽出し、追跡し、移動座標系毎に一次元ベクトルで表現し、前記一次元ベクトルにより、隣接するフレーム画像を予想する。
フレームリセット信号生成部２６２では、一枚の基準画像で何枚のフレーム画像を再構築できるかを、差分信号の閾値により決定する。そして、差分信号が予め設定した閾値に達したときに画像若しくは画像の一部をリセットして、新たな基準画像を設定する。具体的には、フレームリセット信号生成部２６２は、誤差の蓄積、カメラ移動方向の変化等から基準フレーム画像信号を変更し、新しい基準フレーム画像信号に切り替えるタイミングを示す信号を生成・出力する。この信号を記録側再生側、若しくは送信側受信側で共有することで、正しい基準フレーム画像信号の切り替えを行うことができる。

［記録装置２７０］
記録装置２７０においては、生成された各信号が記録され、画像圧縮信号出力部２７１から、画像圧縮信号として出力され、画像再生側となる座標系合成再生構成部２０に送信される。
なお、以上のような画像圧縮信号には、長期フレーム単位で記録するものと、単一フレーム単位で記録するものと、ブロック単位で記録するものとがある。
ブロック画像に係わる信号はブロック単位で記録しなければならないが、その他の信号については、圧縮率を可能な限り長期フレーム単位として記録することで、画像圧縮率を向上させることができるようになる。

［座標系合成再生構成部２０］
［座標系別信号再生装置３１０］
図２４に示すように、座標系合成再生構成部２０では、まず、座標系別信号再生装置３１０の受信再生信号部３１１で、上述した画像圧縮信号出力部２７１から伝送される画像圧縮信号が受信され再生される。
受信再生信号部３１１で受信・再生される画像圧縮信号は、図２４に示すように、以下のような信号が含まれる。
［静止座標系信号］
・静止座標系回転補正信号３２１ａ
・静止座標系ブロック画像信号３２１ｂ
・静止座標系ブロックベクトル値信号３２１ｃ
・静止座標系ＣＶ値信号３２１ｄ
・静止座標系その他属性信号３２１ｅ
・静止座標系差分信号３２１ｆ
［移動体座標系信号］
・移動体座標系回転補正信号３２２ａ
・移動体座標系ブロック画像信号３２２ｂ
・移動体座標系ブロックベクトル値信号３２２ｃ
・移動体座標系ＣＶ値信号３２２ｄ
・移動体座標系その他属性信号３２２ｅ
・移動体座標系差分信号３２２ｆ

［座標系別信号再生装置３２０］
座標系別信号再生装置３２０では、まず、静止座標系再構成画像信号部３２１で、上述した画像圧縮信号のうちの静止座標系の信号を、ブロック単位，単一フレーム単位又は長期フレーム単位で再構築して、静止座標系のフレーム画像を再構成する。
また、移動体再構成画像画像信号部３２２では、上記画像圧縮信号のうちの移動体座標系の信号を再構築して、移動系フレーム画像を再構築する。
そして、総合再構成画像生成部３２３で、静止座標系と移動体座標系の信号を合成して、動画画像を生成する。

［再生解凍動画像出力装置３３０］
再生解凍動画像出力装置３３０では、まず、総合再構成画像生成部３２３で生成された動画像が、記録部３３１で通常方式の動画像として記録される。
また、表示部３３２では、総合再構成画像生成部３２３で生成された動画像が表示される。
ここまでの処理を繰り返すことで、動画の画像圧縮を行い、それを再生する画像圧縮装置が構成されることになる。

また、再生解凍動画像出力装置３３０の三次元変換部３３３では、各画像ブロックの三次元変換が行われる。ＣＶ値は、各座標系におけるカメラの三次元位置と姿勢を示し、一方、各座標系に属するブロック画像のもつ一次元ベクトルはカメラからの距離を意味しているので、各画像ブロックは、三次元変換部３３３において直ちに三次元化され、その三次元座標が取得される。
三次元画像合成部３３４では、三次元変換部３３３で三次元化された各画像ブロックを三次元的に合成して三次元画像を取得し、それを表示装置３３２に出力・表示し、また、必要に応じて記録部３３１に記録することができる。
以上の三次元変換処理を連続的に繰り返すことで、ビデオ映像を連続的に三次元化することが可能となる。このように動画像を三次元化できることにより、動画は自由視点で観察できることになる。なお、この場合、視点を余りに大きく変更すると情報に抜けが出ることになるので、視点の移動は一定の範囲に限られたものとなる。

さらに、図２４に示すように、再生解凍動画像出力装置３３０には、視差画像生成部３３５（及び立体視装置３３６）を備えることができる。
図２５（ａ）は、再生解凍動画像出力装置３３０に備えられる視差画像生成部３３５及び立体視装置３３６の概略構成を示すブロック図である。
同図に示す視差画像生成部３３５及び立体視装置３３６は、立体視として画像を観察する場合に設けられる。
視差画像生成部３３５は、総合再構成画像生成部３２３で生成された動画像を、連続する複数の視差を持つ画像に分解する複数視点分解処理３３５ａを行い、カメラ方向のみならず、任意の方向に対応する複数視差信号を生成する。
立体視装置３３６は、視差画像生成部３３５で生成された複数視差信号を処理し、複数視差信号の内の左右の両眼に対応する画像をそれぞれ両眼に与えることで、立体視ができる。
図２５（ｂ）に、立体視画像の概念を模式的に示す。

このように、視差画像生成部３３５及び立体視装置３３６を設けることにより、複数のカメラによる画像を用いて、カメラ間の視差により、各座標系における位置関係とスケール関係を規定して立体視画像を生成することが可能となる。
上述した本発明の各実施形態においては、カメラの設置台数を特に規定してはいないが、本発明の座標系分離記録再生装置は、原理的にはカメラは一台で実現することができる。
一台のカメラの場合は座標系がそれぞれ相対値となり、異なる座標間のスケールも相対値となり、各座標系の関係は未だ規定されていないことになるが、それであっても上述した動画像の圧縮・再生処理は有効に機能する。

但し、複数のカメラを設置して視差情報を付加することにより、より正しく座標系の分離処理が可能となり、本実施形態における視差画像生成部３３５及び立体視装置３３６を備えることも効果的となる。
例えば、風景にヘリコプターが飛んでいるような場合（図６〜７参照）、ヘリコプターの座標系は独立して決まるが、風景の静止座標系とのスケール関係は規定されないまま座標系が分離されて処理されるが、これは人間の日常の体験から言えることであって、例えば上空を飛ぶ飛行機は、近くを飛ぶ模型飛行機かそれとも遠くを飛ぶ本物の飛行機かの区別は、実際には人間にはできていない。これは、単に経験から判断する以外にない。

このような場合には、座標系の分離はできているが、それぞれの座標系間のスケールは何ら保証されていないことになる。ただ、それであっても座標系は分離されることだけで、画像圧縮は十分に実現できる。
座標系を分離し、かつ、座標系間のスケールキャリブレーションを行うには、二台の同期したカメラによる映像を用いればよく、視差による情報を付加すれば、カメラからヘリコプターの距離が、静止座標系と同じスケールで計測されるので、正しく座標系を分離することができる。このようにすると、座標系分離だけで処理するよりも、スケールキャリブレーションをすることにより、精度を向上させることが可能となる。
なお、このように分離された座標系間のスケールキャリブレーションは、本発明にかかる画像圧縮を実施するためには必ずしも必須の条件ではないが、上述した動画像の三次元化処理をする場合には必須の条件となる。

以上、本発明の座標系分離記録再生装置について、好ましい実施形態を示して説明したが、本発明に係る座標系分離記録再生装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

以上のように本発明の座標系分離記録再生装置は、例えば、カーナビゲーション装置や三次元地図生成装置における画像記録・画像圧縮及び解凍・通信・CG化・CGデータベースの構築などに好適な画像圧縮装置として利用することができる。

本発明の第一実施形態に係る座標系分離記録再生装置の概略構成を示すブロック図である。 本発明の座標系分離記録再生装置におけるカメラベクトルの湧きだし点及び吸い込み点の概念を模式的に示す説明図である。 本発明の座標系分離記録再生装置における複数の各座標系毎の湧きだし点の概念を模式的に示す説明図である。 本発明の座標系分離記録再生装置における基準フレーム画像から複数の座標系を分解・抽出する場合の概念を模式的に示す説明図である。 本発明の第一実施形態に係る座標系分離記録再生装置において分解・圧縮及び解凍・再構成される、基準フレーム画像とそこに含まれる静止座標系及び移動体の座標系の具体例を模式的に示す説明図である。 本発明の第一実施形態に係る座標系分離記録再生装置において分解・圧縮及び解凍・再構成される、基準フレーム画像とそこに含まれる静止座標系及び移動体の座標系の具体例を模式的に示す説明図である。 本発明の第一実施形態に係る座標系分離記録再生装置において分解・圧縮及び解凍・再構成される、基準フレーム画像とそこに含まれる静止座標系及び移動体の座標系の具体例を模式的に示す説明図である。 本発明の第一実施形態に係る座標系分離記録再生装置を構成する座標系分解記録構成部と座標系合成再生構成部の詳細構成を示すブロック図である。 図８に示す座標系分離記録再生装置の変形例の座標系分解記録構成部と座標系合成再生構成部の詳細構成を示すブロック図である。 本発明に係る座標系分離記録再生装置におけるカメラベクトル演算処理のステップを示すフロー図である。 本発明に係る座標系分離記録再生装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明に係る座標系分離記録再生装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明に係る座標系分離記録再生装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明に係る座標系分離記録再生装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明に係る座標系分離記録再生装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明に係る座標系分離記録再生装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明に係る座標系分離記録再生装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明に係る座標系分離記録再生装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明に係る座標系分離記録再生装置に備えられる揺れ成分検出処理における揺れ成分検出の具体例を示す説明図である。 本発明に係る揺れ成分検出処理で検出される揺れ成分に基づいて補正される安定化画像の一例を示す説明図である。 本発明に係る揺れ成分検出処理で検出される揺れ成分に基づいて補正されるカメラベクトルの軌跡を示すグラフである。 本発明の第二実施形態に係る座標系分離記録再生装置を構成する座標系分解記録構成部と座標系合成再生構成部の詳細構成を示すブロック図である。 本発明の第三実施形態に係る座標系分離記録再生装置を構成する座標系分解記録構成部の詳細構成を示すブロック図である。 本発明の第三実施形態に係る座標系分離記録再生装置を構成する座標系合成再生構成部の詳細構成を示すブロック図である。 （ａ）は、本発明の第三実施形態に係る座標系分離記録再生装置に備えられる立体視装置の概略構成を示すブロック図であり、（ｂ）は、（ａ）に示す立体視装置で得られる合成視差による任意方向の視点移動表示と多視点視差表示を模式的に示す説明図である。

符号の説明

１ 座標系分離記録再生装置
１０ 座標系分解記録構成部
１１ 動画像取得部
１２ 座標系検出部
１３ 座標系分離信号記録部
１４ 差分信号付加部
２０ 座標系合成再生構成部
２１ 座標系別信号再生部
２２ 座標系分離信号再構築部
２３ 再生解凍動画像出力部
２４ 三次元画像生成部

Claims (6)

1. 現実世界を構成する複数の座標系を検出し、座標系毎に対象物を記録する座標系分解記録構成部と、
   前記記録された信号を再生し、各座標系毎に対象物を構築し、前記複数の座標系を合成して、現実世界をバーチャル世界に再構築する座標系合成再生構成部と、
   を備えることを特徴とする座標系分離記録再生装置。
2. 前記座標系分解記録構成部が、
   複数のフレーム画像から構成される動画像を取得する動画像取得部と、
   前記動画像取得部で取得された動画像を構成する複数のフレーム画像から基準フレーム画像を選択し、当該基準フレーム画像を分割し、分割された各領域が属する複数の座標系を検出し、前記動画像の全体に渡って画像を構成する複数の座標系を検出する座標系検出部と、
   動画の進行とともに前記基準フレーム画像を適宜変更しながら選択し、選択された基準フレームを順次各領域に分割して分割画像信号を生成し、前記分割画像の各領域が前記複数の座標系のうちのいずれかの座標系に属するように特定して分類し、前記分割画像の各領域が属する座標系を特定する座標系特定信号を生成し、前記複数の座標系の間の関係と、各座標系に於ける三次元のカメラ位置と三次元のカメラ回転姿勢関係を示す座標系別カメラベクトル信号を生成し、前記基準フレーム画像に関する前記分割画像の各領域が動画像中を移動する量を検出して移動ベクトル信号を生成し、生成された前記各信号を画像圧縮信号として記録する座標系分離信号記録部と、を備え、
   前記座標系合成再生構成部が、
   前記座標系分離信号記録部で記録された信号を座標系別に読み取り、前記画像圧縮信号を再生する座標系別信号再生部と、
   再生された前記各信号を座標系別に組み立てて各座標系画像を合成し、視点を決定して各フレーム画像を再構築する座標系分離信号再構築部と、
   再構築された画像を指定された再生動画像として出力する再生解凍画像出力部と、を備える請求項１記載の座標系分離記録再生装置。
3. 前記座標系分解記録構成部が、
   前記座標系合成再生構成部と同様の前記座標系分離信号再構築部を備え、
   当該座標系分離信号再構築部が、
   前記各信号を一旦再生解凍をして各フレーム画像を再構築し、元画像である前記動画像を構成しているフレーム画像と比較して差分を取り、所定の差分信号を生成する差分信号付加部を構成する請求項２記載の座標系分離記録再生装置。
4. 前記差分信号付加部が、
   前記複数座標系において、静止座標系のみを採用し、全分割画像を静止座標系で表現し、移動体等の本来他の座標系に分類されるべき分割画像によって生じる誤差を前記差分信号として扱う請求項３記載の座標系分離記録再生装置。
5. 前記座標系合成再生構成部が、
   各座標系における各領域の一次元ベクトルと、前記各座標系におけるカメラベクトルとから、各領域の三次元座標を演算で求め、その作業を連続して行い、三次元動画像を生成する三次元画像生成部を備える請求項１乃至４のいずれかに記載の座標系分離記録再生装置。
6. 前記座標系分解記録構成部が、
   複数のカメラによる画像に基づいて、カメラ間の視差により各座標系における位置関係とスケール関係を規定する請求項１乃至５のいずれかに記載の座標系分離記録再生装置。