JP2001008231A - ３次元空間における物体の多視点画像伝送方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 高圧縮率の多視点画像の伝送方式を提供する
ことを課題としている。また、画像生成、再生のための
処理が簡単な伝送方式を提供することをも課題としてい
る。 【解決手段】 複数の視点から撮影した画像と該撮影画
像に関する所定のデータを送信し、受信側で前記送信画
像及び送信データに基づいて新視点から見た画像を生成
可能にしたことを特徴とし、送信データは、撮影画像へ
の射影変換行列及び参照点データ並びに３角形領域デー
タを含み、新視点画像の生成は、新視点の視点角度を入
力する工程、射影変換行列を求める工程、参照点に対応
する新視点画像上の参照点を求める工程、対象物体の画
像をカバーする３角形領域を求める工程、３角形領域を
ソーテングする工程、３角形領域にテクスチャをワーピ
ングする工程を含んでいる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、３次元空間にお
ける物体の多視点からの画像の伝送システムの技術分野
に属する。更に具体的には、３次元空間における対象物
体の異なる視点からの一連の画像を圧縮して伝送する画
像の伝送方式の技術分野に属する。

【０００２】

【従来の技術】近年デジタル画像の伝送技術に関する工
夫、考案が盛んに行われている。これは、膨大な容量を
持つメモリの開発、計算速度の高速化、通信速度の高速
化などの技術進歩による理由が大きい。しかし、画像は
多くの情報を内包しており、画像データ、特にカラー画
像のデータをそのまま圧縮せずに伝送する場合には膨大
な通信容量と記録メモリを必要とする。また、画像デー
タを生データのまま直接伝送すると、通信時間に長時間
を要し実用的ではない。そこで、画像データを圧縮し
て、記録及び通信する技術が開発、研究されている。

【０００３】画像データの圧縮方法は、静止画像と動画
像とでは異なることは勿論、画像データの種類（２値画
像、濃淡画像、カラー画像等）、伝送の目的（ファクシ
ミリ伝送、ＴＶ電話又はＴＶ会議の画像伝送、医療の診
断画像の伝送、監視画像の伝送等）によっても異なる。
画像データの圧縮率を高めるためには、個々の伝送目
的、画像データの内容等に合わせた圧縮方法が望ましい
が、一方で、あまり細部の事情にこだわると汎用性がな
くなる。そこで、画像データの圧縮方法の標準化と各ケ
ースにおける圧縮方法の開発が同時に進行している。

【０００４】ところで、通信によるカタログ販売等にお
いても、商品を表示するために画像伝送が行われてい
る。従来の通信販売では、商品を表示するための画像は
１枚の静止画像であった。カタログ販売において商品を
表示する画像は複数の視点から見た画像を撮影して、伝
送すること（多視点画像の伝送）が望ましい。これは単
なる静止画像の伝送でもなく、動画像の伝送でもない。
これは新しい分野の画像伝送と考えられる。即ち、多視
点画像は、一連の関連した複数画像から構成され、対象
物体自体の形状、模様等は時間と共に変化せず、視点及
び視線方向が変化する点で、静止画像や動画像と異な
る。従来の多視点画像の圧縮技術として、例えば、公開
特許公報第平１０−１１１９５１号に開示されている。
以下、この多視点画像の圧縮技術にについて説明する。

【０００５】図２１は、上記公報に開示されている多視
点画像の圧縮及び再生の全体のフローチャートを示す。
図２１中の枠Ａの部分は多視点画像を作成するまでの部
分で、オフラインで処理される。枠Ｂの部分は光線空間
から任意の視点位置における画像を生成・表示するまで
の部分で、オンラインで処理される。ステップＳ１０１
は多視点画像入力装置を用いて複数の視点位置から多視
点画像を入力する。ステップＳ１０２では、得られた多
視点画像を光線空間上の直線に対応させ、光線空間対応
表を作成する（詳細は省略）。ステップＳ１０３では、
多視点画像の内の数枚をリファレンス画像とし、残りの
画像はリファレンス画像の画素を示すポインタで表現す
ることにより多視点画像の圧縮を行う。

【０００６】図２２、図２３は圧縮方法を示す。図２２
において、ステップＳ１１１はＮ枚の多視点画像からｍ
枚のリファレンス画像を選択する。ステップＳ１１２で
は、リファレンス画像ではない最初の画像を取り出し、
その画像番号をｎ＝１に設定する。ステップＳ１１３で
は画像ｎを挟む位置にある前後２枚のリファレンス画像
（リファレンス画像Ｌ、リファレンス画像Ｒ）を決定
し、ポインタで参照する対象画像とする。ステップＳ１
１４では、画像ｎの全ての画素（Ｘｎ、Ｙｎ）をリファ
レンス画像Ｌ、リファレンス画像Ｒへのポインタで表現
する。ステップＳ１１５では、全てのリファレンス画像
ではない画像について上記処理が終了したか否かを判断
する。

【０００７】ポインタ表現を図２３に基づいて説明す
る。画像ｎとリファレンス画像Ｌ、リファレンス画像Ｒ
との間には強い相関関係があると考えられる。そこで、
画像ｎの各画素についてリファレンス画像Ｌ、Ｒの内の
どちらか一方の中から色の似た画素を探し出す。そのと
きの座標値の移動量に対して、予め作成しておくポイン
タテーブルを表引きする形でポインタデータを求め、そ
の値を画像ｎの画素値とする。例えば、画像ｎの画素
（Ｘ１、Ｙ１）の似た色の画素がリファレンス画像Ｌの
画素（Ｘ１＋ｉ、Ｙ１＋ｊ）とすれば、Ｌ（ｉ、ｊ）を
ポインタテーブルから表引きして「ｓ」を求める。な
お、ｉ，ｊは対応する画素からの移動量を示す。ポイン
タ番号ｓを画像ｎの画素（Ｘ１、Ｙ１）の画素値とす
る。ポインタ番号ｓを１バイトで表現すれば、画像ｎの
画素（Ｘ１、Ｙ１）の画素値は１バイトで表現される。

【０００８】従来の画像データは物体と背景を分離する
ための１バイトと、ＲＧＢのデータを表現するための３
バイトで合計４バイトを使用しており、これを１バイト
で表現することにより、リファレンス画像を除いた画像
（以下、非リファレンス画像という）についてデータ量
を１／４に圧縮することができる。

【０００９】図２１に戻り、ステップＳ１０４では、光
線空間データ（光線空間対応表と圧縮された多視点画
像）を記憶装置に保存する。ステップＳ１０５では視点
・視線検出装置を用いて観察者の視点位置、視線方向を
検出する。ステップＳ１０６では検出された視点位置、
視線方向で観察されるべき画像を、記憶装置に記録され
ている圧縮された光線空間データを用いて、ポインタを
辿ることによってリファレンス画像から対応する画素値
を読み込み、画像を再生する。ステップＳ１０７では生
成された画像を画像出力装置に表示する。

【００１０】

【発明が解決しようとする課題】以上に説明したよう
に、上記従来の圧縮技術においては、多視点画像の本質
的な特質を利用していない。従って、非リファレンス画
像の各画素については画素数と同じバイト数のデータが
必要であり、十分な圧縮率が得られていない。従って、
上記従来技術においても長い通信時間と膨大なメモリを
必要とするという課題が十分に解決されていない。ま
た、ポインタを決定するために多数回の計算が必要であ
り、画像圧縮のためのポインタデータの決定に長時間が
必要であるという課題があった。

【００１１】この発明は、上述のような背景の下になさ
れたもので、多視点画像の特質を最大限に利用し、高圧
縮率の多視点画像の生成及び再生並びに伝送方式及びシ
ステムを提供することを課題としている。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、３次元空間における対象物体の多数の視
点から見た画像を伝送する方法又はシステムにおいて、
送信側システムでは複数の視点から該対象物体を撮影
し、該撮影画像に基づいて該撮影画像の構造データを作
成し、該撮影画像データと構造データを送信し、受信側
システムでは新視点を指定し、該視点から見た画像を該
撮影画像データ及び該構造データから生成可能にしたこ
とを特徴としている。本発明は受信した撮影画像の画像
データ及び構造データに基づき、受信側で新視点から見
た対象物体の画像を生成可能にしていることを主な特徴
としている。

【００１３】請求項２記載の発明は、請求項１に記載の
発明において、前記構造データは、前記撮影画像への射
影変換行列及び該撮影画像の参照点データ並びに３角形
領域データを含むことを特徴としている。

【００１４】請求項３記載の発明は、請求項１に記載の
発明において、前記構造データの作成は、前記対象物体
の座標系と前記撮影画像の座標系との関係から該撮影画
像の射影変換行列を求める工程と、該対象物体上の点に
対応する撮影画像上の対応する参照点を求める工程と、
前記参照点を頂点とする３角形を形成し、該３角形領域
により該撮影画像上の対象物体をカバーする工程とを含
むことを特徴としている。本発明は送信側で実行する行
う構造データの作成方法の工程を限定して、具体化した
ことを主な特徴としている。

【００１５】請求項４記載の発明は、請求項３に記載の
発明において、前記参照点を求める工程はエピ曲線を利
用して求めることを特徴としている。

【００１６】請求項５記載の発明は、請求項１〜請求項
４に記載の発明において、前記参照点が誤って指定され
ている場合には、正しい点を指定して、該撮影画像の射
影変換行列を修正する手段を含むことを特徴としてい
る。本発明は構造データ生成において、参照点の指定の
誤りを訂正する手段を設けて、正しいデータの送信がで
きるようにしたことを主な特徴としている。

【００１７】請求項６記載の発明は、請求項１〜請求項
５に記載の発明において、前記新視点画像の生成は、指
定された新視点データから新視点画像への射影変換行列
を求める工程と、前記撮影画像の参照点に対応する新視
点画像上の参照点を求める工程と、前記対象物体の画像
を３角形領域でカバーする工程と、前記３角形領域をソ
ーテングする工程と、前記３角形領域にテクスチャをワ
ーピングする工程を含むことを特徴としている。

【００１８】請求項７記載の発明は、請求項１〜請求項
６に記載の発明において、前記新視点の指定は、視点角
度又は視点位置をマウスによって指定することを特徴と
している。

【００１９】請求項８記載の発明は、請求項１〜請求項
７に記載の発明において、前記画像データの伝送は、Ｊ
ＰＥＧ方式による圧縮データを送信することを特徴とし
ている。

【００２０】請求項９記載の発明は、請求項１〜請求項
７に記載の発明において、前記画像データの伝送は、Ｎ
ｕＶｅｑ方式による圧縮データを送信することを特徴と
している。

【００２１】請求項１０記載の発明は、３次元空間にお
ける対象物体を多数の視点から撮影した画像を伝送する
方法又はシステムにおいて、送信側システムでは複数の
視点から該対象物体を撮影し、該撮影画像に基づいて構
造データを作成し、前記撮影画像を画像データを送信す
る送信画像と画像データを送信しない非送信画像に分類
し、該送信画像の画像データと該構造データとを送信
し、受信側システムでは該送信画像の画像データと該構
造データとから該非送信画像を再生可能にしたことを特
徴としている。本発明は全ての画像を送信側で撮影し、
画像データの一部と構造データを送信することにより、
受信側で非送信画像を再生可能にして、伝送データの容
量を圧縮したことを主な特徴としている。

【００２２】請求項１１記載の発明は、請求項１０に記
載の発明において、前記送信側システムが送信する構造
データは、参照点データと３角形領域データと逆ワーピ
ングするための変換行列とを含むことを特徴としてい
る。

【００２３】請求項１２記載の発明は、請求項１０又は
請求項１１に記載の発明において、前記非送信画像の再
生は、再生する画像を選択する選択手段を設けたことを
特徴としている。

【００２４】請求項１３記載の発明は、請求項１〜請求
項１２に記載の発明において、前記画像データ及び構造
データの伝送はインターネット経由で送信することを特
徴としている。本発明は既設のインターネット回線を使
用して送信することを主な特徴としている。即ち、請求
項１〜請求項１２の発明はインターネット回線によって
もオンラインで実施可能である。

【００２５】

【発明の実施形態】＜実施形態 １＞図１は本発明の実
施形態１のシステムのブロック図を示す。実施形態１は
送信側システムが複数の撮影画像及びデータを送信し、
受信側システムがこれらの撮影画像をディスプレイ上に
表示可能にすると共に、新しい視点から見た画像を生成
し、表示可能にする場合についての実施形態である。な
お、新視点画像の生成は新視点の角度、位置等のデータ
を指定することにより行う。以下、図１〜図１０を参照
して実施形態１について説明する。

【００２６】図１において、１は送信側システムを示
し、２は受信側システムを示す。送信側システム１はバ
スライン１０に主処理装置１１（ＭＰＵ）の他、種々の
メモリ装置、例えばＲＯＭメモリ１２、ＲＡＭメモリ１
３及びディスクメモリ１４が接続されている。なお、デ
ィスクメモリ１４は大容量記録メモリで、光ディスク、
磁気光学ディスク、磁気ディスク、メモリカード等で構
成されている。バスライン１０には撮影画像を取込むた
めのカメラ１５がインタフェース（図示省略）を介して
接続されている。また、新視点画像を生成するための構
造データ演算回路１６、送信画像データを圧縮するため
の符号化器１７がバスライン１０に接続されている。更
に、ディスプレイ装置１８、データを入力したり、選択
指定するためのキーボード１９、マウス２０並びに通信
回線２３に接続するためのターミナルアダプタ（ＴＡ）
２１が接続されている。なお、ターミナルアダプタ２１
と通信回線２３の間には回線接続装置（ＤＳＵ）２２が
挿入されている。

【００２７】受信側システム２では通信回線２３はＤＳ
Ｕ２４、ＴＡ４０を介してバスライン３０に接続されて
いる。バスライン３０には、主処理装置３１（ＭＰＵ）
の他、種々のメモリ装置、例えばＲＯＭメモリ３２、Ｒ
ＡＭメモリ３３及びディスクメモリ３４が接続されてい
る。また、圧縮画像データを伸長するための復号器３
５、新視点画像を生成するための生成回路３６がバス３
０に接続されている。更に、ディスプレイ装置３７、デ
ータを入力したり、選択指定するためのキーボード３
８、マウス３９並びに回線２３に接続するためのターミ
ナルアダプタ４０が接続されている。

【００２８】主処理装置１１はＲＯＭメモリ１２に記録
されているプログラムに従って、処理手続きを実行す
る。まず、カメラ１５からのデジタル画像データを取り
込み、メモリ１４に記録する。カメラ１５はデジタルカ
メラ又はデジタルビデオカメラ等からなり、図２に示す
ように、対象物体４１の回りに配置された複数台のカメ
ラ１５ａ、１５ｂ、・・・（又は１台のカメラ１５ａを
対象物体４１の回りに回転可能にしたもの、或いは、カ
メラ配置を固定し、対象物体４１を回転可能にしたも
の）で構成されている。また、対象物体４１は図示省略
のキャリブレーションボックス上に配置され、このキャ
リブレーションボックスには３次元座標（ｘ，ｙ，ｚ）
を校正するための目印（ｘ、ｙ、ｚ座標が既知の「Δ」
等の目印）が描かれている。従って、撮影画像４２ａ，
４２ｂ、・・・（以下、撮影画像４２と記す）は対象物
体４１と共に校正目印Δが撮影される。

【００２９】次に、構造データ演算回路１６により構造
データの作成処理を行う。なお、演算回路１６はハード
ウエアで構成してもよいし、ソフトウエアで構成しても
よい。以下に述べる回路についても同様である。構造デ
ータの作成処理は図３に示す手順によって行う。まず、
ステップＳ１では、撮影画像４２に撮影されている校正
目印の座標（ｘ’、ｙ’）と３次元空間の構成目印の座
標（ｘ、ｙ、ｚ）との関係から撮影画像４２への射影変
換行列を求める。この射影変換行列は（３ｘ４）行列で
１２個の要素で定義され、１１個の未知パラメータを含
んでいる。従って、この射影変換行列を求めるに３次元
空間のｘーｙ平面、ｙーｚ平面、ｚーｘ平面に配置され
た６個以上の校正目印の座標の関係から演算により算出
する。

【００３０】ステップＳ２では対象物体４１の点に対し
て、対応する点を全ての撮影画像４２上に指定する。以
下、指定した点を参照点という。参照点の指定方法は、
まず、任意の撮影画像を１枚選び出し、これを例えば第
１撮影画像とする。第１撮影画像の対象物体４１の形状
等の特徴を示す点、例えば凸点又は曲面を示す点等を複
数指定する。次に第２撮影画像を選び出し、前記参照点
に対応する点を指定する。この参照点は３次元空間の対
象物体４１上の同一点の像を示す。第２撮影画像の参照
点の指定はエピ極線４３を利用すると便利である。エピ
極線４３は以下の特徴を有する。即ち、図４に示すよう
に、第１撮影画像の参照点４４と第２撮影画像の参照点
４４’が３次元空間の対象物体４１の同じ点を示してい
る場合には、エピ曲線４３は参照点４４’を通過する直
線となる。第３番目以降の撮影画像の参照点は、２個の
撮影画像の参照点及び射影変換行列を使用して計算によ
り求めることができる。この計算方法については、例え
ば本出願人による特許出願（平成１０年第２２７０６９
号）に開示されている方法を利用してもよい。或いは、
エピ曲線の交点として求めてもよい。

【００３１】ステップＳ３では、参照点が正しく指定さ
れているか否かのチェックを行う。即ち、参照点の指定
をしたら、撮影画像４２に付されている参照点の番号及
び位置が誤って指定されていないかどうかを撮影画像又
は参照点データのリスト等から判断する。誤って指定さ
れている場合はキーボード１９又はマウス２０等の入力
手段から正しい番号、位置（又は座標等）を指定する。
同時に、訂正した参照点データに基づいて関連する撮影
画像の変換行列を修正する。

【００３２】ステップＳ４では全ての撮影画像４２に対
して対応する参照点を頂点とする３角形を指定する。撮
影画像４２の対応する３角形は３次元空間の対象物体４
１に仮想的に貼られる同じ３角形を示すように指定す
る。ステップＳ５ではステップＳ４で指定した３角形の
領域により、撮影画像４２上の物体の像が覆い尽くされ
るまで３角形を指定する。必要ならば新たな参照点を撮
影画像４２に追加して指定してもよい。図５は３角形領
域で撮影画像上の物体の像を覆い尽くした例を示してい
る。ステップＳ６では各撮影画像の参照点、３角形に符
号（又は番号）を付して、符号等の対応表を作成する。
参照点の座標、符号等及び３角形の符号等並びに対応表
を撮影画像４２の構造データとしてメモり１４に記録す
る。

【００３３】次に、主処理装置１１は符号化器１７によ
り撮影画像の画像データの圧縮を行う。画像圧縮方式と
しては、例えば、広く使用されているＪＰＥＧによる圧
縮技術を利用する。図６を参照して以下にＪＰＥＧにつ
いて簡単に説明する。ＪＰＥＧはカラー画像又はグレイ
スケールの画像の画像データを圧縮する技術として使用
されている。まず、前準備として画像のフレームから圧
縮する画像範囲を決定する。圧縮画像範囲は、画像の背
景をカットしてもよい場合は、背景を削除した圧縮画像
範囲を定める（１７ａ）。例えば、個々の撮影画像につ
いて、参照点のｘ座標の最小値及び最大値並びにｙ座標
の最小値及び最大値を求め、これらの座標の組み合わせ
た４個の点：Ａ（Ｘmin、Ｙmin）；Ｂ（Ｘmin、Ｙma
x）；Ｃ（Ｘmin、Ｙmax）；Ｄ（Ｘmax、Ｙmax）を頂点
とする４角形ＡＢＣＤに囲まれた範囲を圧縮画像範囲と
する。或いは、各撮影画像の物体の輪郭を求めて、その
内側を圧縮画像範囲としてもよい。

【００３４】圧縮画像範囲に対して回路１７ｂは順離散
コサイン変換（ＦＤＣＴ）を行う。即ち、画像信号の輝
度信号Ｙおよび色差信号Ｐb、Ｐrをそれぞれ水平、垂直
方向に８ｘ８画素のブロックに分割し、２次元ＤＣＴ変
換を行い、その直流成分及び交流成分のＤＣＴ係数を量
子化回路１７ｃに出力する。量子化回路１７ｃはＤＣＴ
係数を量子化して、符号化器１７ｄに出力する。符号化
器１７ｄはＤＣ係数とＡＣ係数を符号化する。例えば、
ＤＣ係数を直前ブロックのＤＣ成分との差分をハフマン
符号により符号化し、ＡＣ係数はジグザグスキャン順に
０係数の連続数と非０係数のレベルを符号化する。

【００３５】符号化された圧縮画像データは、デスクメ
モリ１４に作成されたファイル４５に記録される。例え
ば図７に示すように、ファイル４５にはファイル名、ア
ドレスポインタＡＰ１、ＡＰ２、ＡＰ３等が先頭に記録
される。アドレスポインタＡＰ１の示すメモリには画像
数、スキャン方式、信号コード等のデータと共に圧縮画
像データが記録される。また、アドレスポインタＡＰ２
の示すメモリには参照点、３角形のデータが記録され、
アドレスポインタＡＰ３の示すメモリには対応テーブル
が記録される。対応テーブルは１つの画像の３角形（又
は参照点）が他の画像のどの３角形（又は参照点）に対
応しているかを示すテーブルである。なお、記録方式は
これに限られるものではなく伝送並びに復号に便利な方
式ならばどんな方式でもよい。

【００３６】主処理装置１１はデスクメモリ１４に記録
されている画像データのファイル４５に制御コード、誤
り検査コード等を付して画像通信データのフレームを作
成し、通信端末装置２１より回線接続装置２２を介して
通信回線２３に通信データを送信する。通信回線２３は
電話回線、ＩＳＤＮ回線等からなる。

【００３７】受信側システム２のターミナルアダプタ４
０は回線接続装置２４を介して画像通信データを通信回
線２３から受信する。受信側システムの主処理装置３１
は受信した画像通信データをデスクメモリ３４に記録す
ると共に圧縮された画像データを復号器３５に入力す
る。復号器３５の機能的構成を図８に示す。復号器３５
は、圧縮画像範囲が指定されている場合は、まず画面中
に物体の画像を配置する範囲を定める（３５ａ）。次に
復号回路３５ｂは圧縮画像コードをハフマン符号化則に
より伸長して再生画像コードＳ１を逆量子化器３５ｃに
出力する。逆量子化器３５ｃは再生画像コードＳ１の量
子化を解き、信号Ｓ２を逆離散コサイン変換器（ＩＤＣ
Ｔ）３５ｄに出力する。逆離散コサイン変換器３５ｄは
コード変換した再生画像信号Ｓ３をバスライン３０に出
力する。主処理装置３１は再生画像信号Ｓ３をディスク
メモリ３４に記録する。

【００３８】受信側で再生された撮影画像はディスプレ
イ３７に表示される。撮影画像の表示は、キーボード３
８から信号を入力したときに次の撮影画像に切り換わる
ようにする。キーボード３８からの信号が入力されたと
きは、主処理装置３１はディスクメモリ３４からデータ
を読み出し、ディスプレイ３７に表示する。また、新視
点画像を表示させたいときはマウス３９を移動させて新
視点角度又は新視点位置を指定する。主処理装置３１は
新視点画像生成回路３６に作動開始信号を送出し、該回
路３６は図９に示す機能を実行する。

【００３９】図９において、ステップＳ１１では、キー
ボード３８又はマウス３９から入力されたデータに基づ
き、新視点のカメラ位置、角度等を演算により算出す
る。即ち、基準のカメラアングル、例えば１番目の撮影
画像のカメラアングル又は現在表示されている撮影画像
のカメラアングル等を基準として回転角度、位置の移動
量を求める。ステップＳ１２では、ステップＳ１１で基
準とした撮影画像の射影変換行列に求めた回転角度、移
動量を表す行列を演算して、新視点画像の射影変換行列
を求める。

【００４０】ステップＳ１３では、新視点画像における
参照点を決定するために２個の撮影画像を選択する。こ
れは、各撮影画像の視点とカメラ光軸の距離を計算し、
距離の最も小さい２個の撮影画像を選択してもよいし、
新視点画像を挟む両側の撮影画像を選択してもよい。ス
テップＳ１４では、選択した２個の撮影画像のデータか
ら対応する新視点画像の参照点の座標を求める。参照点
を求める方法としては、特許出願（平成１０年、第３１
２１３９号）に記載されているように、２個の撮影画像
に対する射影変換行列と対応する参照点を利用する方
法、２つの撮影画像のデータからエピ曲線の交点を利用
する方法等がある。ステップＳ１５では、対応テーブル
を利用して対応する３角形及びその頂点を決定する。ス
テップＳ１６では形成された３角形についてソーテング
を行う。これは新視点のカメラ位置から見て後方にある
３角形領域の画像を先に描き、前方にある３角形領域の
画像を後から（その上から）描くことにより隠面部分の
画像を消去するための処理である。

【００４１】ステップＳ１７ではソーテングされた順番
に従って全３角形の領域についてワーピングを行う。ワ
ーピングはステップＳ１３で選択した２個の撮影画像の
一方又は双方からの画素データを新視点画像の画素デー
タとして画像を構成する処理である。このワーピングは
逆方向ワーピングで詳細を図１０を参照して以下に説明
する。ステップＳ１７ａでは画素データを利用する撮影
画像を決定する（上で選択した撮影画像から一方を決定
する）。ステップＳ１７ｂでは、新視点画像の各３角形
領域からステップＳ１７ａで決定した撮影画像の対応す
る各３角形領域への変換行列を求める。変換行列を求め
る方法としては、アフィン変換を利用する方法、ホモグ
ラフィ変換を利用する方法等がある。ステップＳ１７ｃ
では３角形領域内の画素データを求める点を定める。例
えば一様に分布する格子点を定めてもよい。

【００４２】ステップＳ１７ｄでは変換行列を利用し
て、ステップＳ１７ａで決定した撮影画像の対応する３
角形領域内から前記格子点に対応する点を求め、その画
素データを各格子点に割り当てる。求めた画素データは
ＲＡＭメモリ３３（及びディスクメモリ３４）に記録す
し、ディスプレイ３７に表示させる。なお、逆ワーピン
グは２個の撮影画像を利用して求めてもよい。例えば、
２個の画像の距離に反比例させて各画素データの値を加
算してもよい。

【００４３】実施形態１は以上述べた構成及び機能によ
り、以下の効果を有する。即ち、本実施形態において
は、受信した撮影画像の画像データ及びそれらの構造デ
ータから新視点画像が容易に生成できるため、送信する
撮影画像の枚数を減らすことができ、全体として送信す
るデータ量を減少させることができるという効果が得ら
れる。更に、新視点画像の位置、方向を受信側で決定す
るだけでよいため、見たい角度からの物体の画像が簡単
な操作で容易に得られるという効果がある。また、撮影
画像についても画像データの圧縮を行っているため、送
信するデータ量が更に少なくなる。また、新視点の画像
を生成するための時間が短くオンラインでの多視点画像
の伝送が可能であるという効果も有する。

【００４４】＜実施形態 ２＞図１１は本発明の実施形
態２のシステムのブロック図を示す。実施形態２は受信
側の処理を簡単にしするために、送信側システムで多数
の撮影画像及び構造データを求め、撮影画像の中から代
表的な撮影画像を選択し、選択された撮影画像のデータ
と構造データを送信することにより送信するデータ量を
減らし（構造データは画像データに比べてデータ量が著
しく少ない）、受信側では送信されなかった画像を構造
データを利用して、例えばワーピング処理だけを受信側
で行うようにして、画像の再生を容易かつ迅速に処理す
る。

【００４５】図１１において、実施形態１（図１）にお
いて述べたものと同じ構成要素については同一の番号を
付して詳細な説明は省略する。送信側システム１’のバ
スライン１０には撮影画像の選択回路５１が接続されて
おり、受信側システム２’のバスライン３０には省略画
像再生回路５２が、新視点画像生成回路３６の代わり
に、接続されている。

【００４６】送信側システム１’においては、カメラ１
５により、より詳細な視点角度からの撮影画像が取り込
まれる。取り込まれた画像データはディスクメモリ１４
に記録され、同時に構造データ演算回路により撮影画像
４２の構造データが作成される。次に、全撮影画像４２
の中から適宜に画像を選択し、画像データを送信する画
像（送信画像）と構造データのみを送信する画像（非送
信画像）に分類する。例えば、送信画像は、一定カメラ
アングル毎に撮影画像を選択する。或いは、３次元空間
の対象物体４１の特徴等をよく表している画像を選択す
る。残りの撮影画像を非送信画像とする。

【００４７】選択された送信画像は符号化器１７により
画像データが圧縮され、メモリ１４に記録される。画像
圧縮方式としてはＪＰＥＧ又は後述するＮｕＶｅｑ方式
等を利用する。圧縮された画像データは全ての画像の参
照点データ、３角形データ、対応テーブル等の構造デー
タと共にターミナルアダプタ２１から回線２３に出力さ
れる。

【００４８】受信側システム２’はターミナルアダプタ
４０からの受信データをディスク３４に記録すると共に
選択された画像データを復号器３５に出力し、画像デー
タを伸長する。伸長された画像データはディスクメモリ
３４に記録する。次に、主処理装置３１は画像再生回路
５２に起動信号を送信し、画像再生回路５２を起動させ
る。画像再生回路５２は、選択されなかった画像（非送
信画像）について以下の手順で画像を再生する。なお、
非送信画像の再生は、全ての非送信画像を自動的に再生
するようにしてもよいし、選択手段を設け、選択された
非送信画像のみを再生するようにしてもよい。

【００４９】非送信画像への射影変換行列、参照点デー
タ、３角形領域データ及び対応表が送信されている場合
は、図１２に示す処理を行う。ステップＳ２１では、選
択された画像、即ち、送信された画像の中から画素デー
タをワーピングする画像を決定する。これは図９のステ
ップＳ１３と同じ基準を採用してもよい。ステップＳ２
２は再生画像の各３角形領域についてソーテングを行
う。ステップＳ２３は送信画像から再生画像への逆ワー
ピング処理である。この逆ワーピング処理は図１０で説
明した手続きと同様である。

【００５０】ステップＳ２４では画素データをソーテン
グされた３角形の順にディスプレイに表示して再生画像
を表示する。なお、受信側の処理すべき負担を更に軽減
するために、ステップＳ２１、２２及びステップＳ２３
の一部（図１０のステップＳ１７ａ、１７ｂに相当する
処理）は送信側で行い、逆ワーピングの処理（図１０の
ステップＳ１７ｃ、１７ｄに相当する処理）のみを受信
側で行うようにすれば、受信側の処理速度は著しく速く
なり、かつ簡単になる。

【００５１】以上に説明したように、実施形態２では実
施形態１の受信側システムで行っている処理の一部又は
大部分を送信側で処理し、画像データのような膨大なデ
ータを伝送する代わりに受信側で再生させるようにして
いる。従って、伝送すべきデータ量は従来の方法に比べ
て著しく少なくなり、受信側の処理を軽減できるという
効果が得られる。

【００５２】なお、上記実施形態１においては、画像圧
縮方式としてＪＰＥＧ方式を説明したが、この代わりに
ＮｕＶｅｑ方式を採用してもよい。ＮｕＶｅｑ方式は公
開特許公報平成９年第７００４８号に開示されている方
式であり、ＪＰＥＧ方式に比べて解凍速度が速い。従っ
て、ＮｕＶｅｑ方式を利用すれば受信側の処理速度を速
めることができる。図１３にその手順の概略を示す。図
１３において、ステップＳ３１は画像フレームを小ブロ
ックに分割する。即ち、図１４に示すように、６４０ｘ
４８０画素のフレームを４ｘ４画素の小ブロック（Ｂi
j）に分割する。ステップＳ３２は小ブロックを縦、横
８個ずつを合わせて大ブロック化する。ステップＳ３３
は大ブロック内の全ての画素データを比較して最大値
（MAX）と最小値（MIN）を算出する。なお、画素データ
はＲＧＢ信号又はＹＵＶ信号等の３信号からなり、各信
号毎にコード化を行う。ステップＳ３４は大ブロック中
の画素データ（Ｘij）を正規化する。正規化された画素
データをＹijとすると、正規化された画素データＹijは
Ｙij＝（Ｘij−MIN）／（MAX−MIN） となる。

【００５３】ステップＳ３５は、正規化された小ブロッ
クの画像パターンベクトルＹ’を図１５に示すように画
素データＹijをジグザグ走査することにより１６次元ベ
クトルを構成する。この画像パターンベクトルをコード
ブックのベクトルＲ（図１６参照）と比較し、代表ベク
トルを決定し、代表ベクトルの番号ｓで符号化する。な
お、コードブックはコホーネンの神経回路網モデルを使
用して学習により作成する。代表ベクトルの決定は、図
１７に示すように画素パターンベクトルＹ’と各ベクト
ルＲとの距離を求め、距離が最小のベクトル（Ｒs）を
代表ベクトルとする。

【００５４】上記操作を全ての小ブロック並びに全ての
大ブロックについて行う。これにより１６個の画素デー
タ（１６ｘ８ビットデータ）は１バイト（８ビット）の
データに圧縮される。なお、圧縮された画像パターンベ
クトルはコードブックを使用して、逆の手順により解凍
される。なお、ＮｕＶｅｑ方式はＪＰＥＧ方式に比べて
広く使用されていないが、特定の受信者に対して多視点
画像を伝送する場合には処理速度が速くなるので有利で
ある。

【００５５】＜実施形態 ３＞図１８は本発明の実施形
態３の構成概略を示すもので、多視点画像をインタネッ
トを経由して伝送する場合について示している。図１８
において、インターネット５５はホストコンピュータ
（又はプロバイダー）５６ａ、５６ｂ、５６ｃ、・・・
を接続する水平分散型のネットワークで、各ホストコン
ピュータには複数のパソコン等の端末コンピュータが接
続されている。インターネット５５には伝送速度６４ｋ
ｂｐｓ又は１．５Ｍｂｐｓ程度の低速度回線が使用さ
れ、パケット交換による通信形式でデータが伝送され
る。また、インターネット５５で画像情報を送る際には
電子メール等も利用されるが、不特定多数の相手に画像
情報への伝送はホームページ（ＷＷＷサーバ）が利用さ
れる。以下、ホームページを利用して多視点画像を伝送
するケースについて説明する。

【００５６】送信側はパソコン５７でホームページ５８
を作成し、プロバイダー５６ａに登録しておく。一方、
受信側は、ホームページ５８のアドレス（ＵＲＬ）を指
定してプロバイダー５６ｃ、パソコン５９を介してホー
ムページ５８の文章、画像等の情報を取り込む。これら
の情報はワールドワイドウエップ（ＷＷＷ）等のブラウ
ザによってディスプレイ６１に表示される。

【００５７】図１９はホームページの１例を示す。ホー
ムページ５８は表紙ページ（ホームページ）とそれに続
くページの複数ページから構成されている。ホームペー
ジの文章はＨＴＭＬ言語によるハイパーテキスト形式で
書かれ、画像等はＪＩＦ又はＪＰＥＧ等の形式で圧縮さ
れ別のページに記録されている。ブラウザでディスプレ
イするときにＨＴＭＬ文書内のマークを解釈し、マルチ
メデア文書として画像が表示される。また、ＨＴＭＬは
マークアップ言語とも云われ、リンクが容易にできると
いう特徴を持っている。

【００５８】図１９において、表紙ページ又は２ページ
目以降のページ６３において、代表的な撮影画像６３ａ
とその説明文６３ｂとを記載し、下方に他の多視点画像
６４へジャンプするためのタグ６５を付しておく。多視
点画像６４は少数枚の多視点撮影画像から構成されてい
る。また、前記実施形態１、２で説明した新視点画像生
成又は非送信画像の再生のためのプログラム及びデータ
６６にジャンプするためのタグ６７もページ６３に記載
しておく。

【００５９】本実施形態によるホームページは以上の様
な構成であり、受信者が代表画像及び説明文６３を見
て、多視点画像を見たいときはマーク６５をマウス等で
指定すれば、多視点撮影画像６４が比較的短時間で取り
込まれ（画像の枚数が少ない）、ディスプレイ６１に表
示される。また、更に、別の視点からの画像を見たいと
きはマーク６７を指定して、プログラム及びデータ６６
を取り込んで、実施形態１又は２で述べた方法により別
の視点の画像をディスプレイ６１に表示させる。なお、
本実施形態はホームページで伝送する場合について述べ
ているが、電子メールに添付して使用する場合等を本発
明の範囲から除外するものではない。

【００６０】以上に述べたように、本発明による多視点
画像伝送方式によれば、伝送すべき画像の枚数を少なく
することができるので、伝送容量の少ないインターネッ
トにおいても多視点画像を実用的な時間範囲で伝送でき
るという効果が得られる。また、画像枚数が少ないこと
から、受信側のメモリの記憶容量が少なくてもよいとい
う効果も得られる。更に、インターネット回線を使用す
るので、専用回線を設ける必要がなく、不特定多数のユ
ーザに伝送することが容易であるいう効果も得られる。

【００６１】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるがものではなく、この発明の要旨を逸脱しない範
囲の設計の変更等があってもこの発明に含まれる。例え
ば、以下の様な変更は本発明の範囲に含まれる。

【００６２】（１）前記した実施形態においては、送信
側主処理装置１１は、カメラ１５から取り込んだデジタ
ル画像データを直接ディスクメモリ１４に記録したが、
該画像データを符号化器１７によって圧縮し、圧縮デー
タをディスクメモリ１４に記録し、ディスプレイ１８に
表示する度毎に図示されていない復号器によって圧縮デ
ータを伸長して表示するように構成してもよい。なお、
この場合には、ディスプレイ１８に表示する処理時間は
長くなるが、ディスクメモリ１４の容量は少なくて済
む。

【００６３】（２）また、受信側でも同様に、通信回線
２３からの圧縮された画像データをディスクメモリ３４
に記録し、ディスプレイ３７に表示する度毎に復号器３
５によって伸長して、表示するようにしてもよい。 （３）前記した実施形態においては画像の圧縮及び伸長
はＪＰＥＧ方式、ＮｕＶｅｑ方式による場合について説
明したが、画像圧縮方式はこれに限られるものではなく
他の方式による画像圧縮してもよい。なお、上記実施形
態等では画像データの圧縮についてのみ述べているが他
のデータの圧縮を行う場合を除外するものではない。

【００６４】（４）本発明の多視点画像伝送システムは
カタログ販売の分野に限られるものではなく、医療デー
タの伝送や他の分野の多視点画像の伝送にも適用され
る。更に、多視点画像は、図２０（Ａ）に示す対象物体
７１の回りにカメラ７２を公転させた場合又はカメラ７
２を固定して対象物体７１を自転させた場合に限定され
るものではない。例えば、図（Ｂ）に示すように、対象
物体７３の内部又は内側でカメラ７４を回転させた場合
や図（Ｃ）に示すように、対象物体７５に対してカメラ
７６を前後に移動させた場合、或いは前記した場合の任
意の組み合わせ等も含まれる。

【００６５】

【発明の効果】以上説明したように、この発明の構成に
よれば以下の効果を有する。即ち、請求項１〜請求項３
に記載の発明は、受信した撮影画像データ及びそれらの
構造データから新視点からの画像を生成し、送信する撮
影画像の枚数を減らしているため、全体として送信する
データ量を減少させることができるという効果が得られ
る。また、多視点画像の伝送がオンラインで可能になる
という効果が得られる。請求項４に記載の発明は、エピ
曲線を利用して参照点を定めているので操作が容易で、
かつ参照点を正確に求めることができるという効果が得
られる。請求項５記載の発明は、参照点のチェック手段
を設けたことにより、誤操作を容易に防止、訂正できる
という効果が得られる。

【００６６】請求項６に記載の発明によれば、新視点か
ら見た画像の生成過程は複雑な工程を必要としないた
め、新視点画像の生成が容易であるという効果が得ら
れ、更に、請求項７記載の発明は、新視点画像の位置、
方向をマウスで決定することができるため、更に、新視
点画像生成ための操作が容易になるという効果が得られ
る。また、請求項８、９に記載の発明は、撮影画像の画
像データの圧縮を行っているため、送信するデータ量が
少なくなり、伝送容量、伝送時間が短縮されるという効
果が得られる。さらに、請求項９の発明では圧縮された
画像データの解凍速度が速いため、受信側での処理速度
を向上させるという効果が得られる。

【００６７】請求項１０〜請求項１２記載の発明は、受
信側システムで行っている処理の一部又は大部分を送信
側で処理し、画像データのような膨大なデータを伝送す
る処理を省略し、受信側で再生させるようにしている。
従って、伝送すべきデータ量は従来の方法に比べて少な
くなり、受信側の処理を軽減できるという効果が得られ
る。請求項１３に記載の発明は既存のインタネットを利
用して伝送するので実施のコストが安価になり、かつ不
特定多数の受信者にも多視点画像の伝送が可能になると
いう効果が得られる。

【図面の簡単な説明】

【図１】 本発明の実施形態１のシステムの構成概略を
示す図である。

【図２】 本発明の実施形態１の対象物体とカメラとの
配置関係例を示す図である。

【図３】 実施形態１の構造データを求める手順を示す
フローチャートである。

【図４】 参照点とエピ極線との関係を示す図である。

【図５】 撮影画像中の対象物体を３角形領域でカバー
した例を示す。

【図６】 実施形態１の符号化器の構成例を示す。

【図７】 データの記録方法の例を示す。

【図８】 実施形態１の復号器の構成例を示す。

【図９】 実施形態１の新視点画像生成の手順を示すフ
ローチャートである。

【図１０】 逆ワーピングの手順を示す。

【図１１】 本発明の実施形態２のシステムの構成概略
を示す図である。

【図１２】 実施形態２の省略画像の再生手順のフロー
チャートを示す。

【図１３】 NuVeq 方式による画像圧縮のフローチャ
ートを示す。

【図１４】 NuVeq 方式による画像のブロック分割を
示す。

【図１５】 NuVeq 方式のベクトル要素の順番を示
す。

【図１６】 NuVeq 方式のコードブックの例を示す。

【図１７】 NuVeq 方式による代表ベクトルを求める
手順を示す。

【図１８】 本発明の実施形態３のインターネットを利
用する通信の構成概略を示す図である。

【図１９】 実施形態３のホームページの構成例を示
す。

【図２０】 多視点画像の対象物体とカメラの位置関係
を示す。

【図２１】 従来技術の多視点画像の圧縮方法のフロー
チャートを示す。

【図２２】 従来技術の画像データの圧縮方法を示す。

【図２３】 従来技術のポインタ表現を示す。

【符号の説明】

１、１’ 送信側システム ２、２’ 受信側システム １５ａ、１５ｂ、ｅｔｃ カメラ位置 １６ 構造データ演算回路 １７ 符号化器 ２３ 通信回路 ２０、３９ マウス ３５ 復号器 ４２ａ、４２ｂ、ｅｔｃ 多視点画像 ４３ エピ曲線 ４４、４４’ 参照点 ５１ 撮影画像選択回路（ 撮影画像選択回
路） ５２ 省略画像再生回路（非送信画像再生回
路） ５５ インタネット ５６ａ、５６ｂ、ｅｔｃ ホストコンピュータ ５８ ホームページ ７１、７３、７５ 対象物体 ７２、７４、７６ カメラ位置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 潘 天倫 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 (72)発明者 フィリップ ボロミエ 東京都渋谷区広尾５−19−９広尾ＯＮビル 株式会社ゲン・テック内 Ｆターム(参考） 5B057 CA01 CA13 CA16 CB01 CB13 CB18 CD20 CG02 CG07 CG09 CH14 5C061 AA21 AB04 AB08 AB12 AB14 5C078 AA09 BA44 BA57 CA01 9A001 CC04 DD11 EE04 HH27 HH29 JJ12 JJ25

Claims (13)

【特許請求の範囲】
1. 【請求項１】 ３次元空間における対象物体の多数の視
   点から見た画像を伝送する方法又はシステムにおいて、
   送信側システムでは複数の視点から該対象物体を撮影
   し、該撮影画像に基づいて該撮影画像の構造データを作
   成し、該撮影画像データと構造データを送信し、受信側
   システムでは新視点を指定し、該視点から見た画像を該
   撮影画像データ及び該構造データから生成可能にしたこ
   とを特徴とする多視点画像伝送方法又はシステム。
2. 【請求項２】 前記構造データは、前記撮影画像への射
   影変換行列及び該撮影画像の参照点データ並びに３角形
   領域データを含むことを特徴とする請求項１に記載の多
   視点画像伝送方法又はシステム。
3. 【請求項３】 前記構造データの作成は、前記対象物体
   の座標系と前記撮影画像の座標系との関係から該撮影画
   像の射影変換行列を求める工程と、該対象物体上の点に
   対応する撮影画像上の対応する参照点を求める工程と、
   前記参照点を頂点とする３角形を形成し、該３角形領域
   により該撮影画像上の対象物体をカバーする工程とを含
   むことを特徴とする請求項１に記載の多視点画像伝送方
   法又はシステム。
4. 【請求項４】 前記参照点を求める工程はエピ曲線を利
   用して求めることを特徴とする請求項３に記載の多視点
   画像伝送方法又はシステム。
5. 【請求項５】 前記参照点が誤って指定されている場合
   には、正しい点を指定して、該撮影画像の射影変換行列
   を修正する手段を含むことを特徴とする請求項１〜請求
   項４の何れか１に記載の多視点画像伝送方法又はシステ
   ム。
6. 【請求項６】 前記新視点画像の生成は、指定された新
   視点データから新視点画像への射影変換行列を求める工
   程と、前記撮影画像の参照点に対応する新視点画像上の
   参照点を求める工程と、前記対象物体の画像を３角形領
   域でカバーする工程と、前記３角形領域をソーテングす
   る工程と、前記３角形領域にテクスチャをワーピングす
   る工程を含むことを特徴とする請求項１〜請求項５の何
   れか１に記載の多視点画像伝送方法又はシステム。
7. 【請求項７】 前記新視点の指定は、視点角度又は視点
   位置をマウスによって指定することを特徴とする請求項
   １〜請求項６の何れか１に記載の多視点画像伝送方法又
   はシステム。
8. 【請求項８】 前記画像データの伝送は、ＪＰＥＧ方式
   による圧縮データを送信することを特徴とする請求項１
   〜請求項７の何れか１に記載の多視点画像伝送方法又は
   システム。
9. 【請求項９】 前記画像データの伝送は、ＮｕＶｅｑ方
   式による圧縮データを送信することを特徴とする請求項
   １〜請求項７の何れか１に記載の多視点画像伝送方法又
   はシステム。
10. 【請求項１０】 ３次元空間における対象物体を多数の
    視点から撮影した画像を伝送する方法又はシステムにお
    いて、送信側システムでは複数の視点から該対象物体を
    撮影し、該撮影画像に基づいて構造データを作成し、前
    記撮影画像を画像データを送信する送信画像と画像デー
    タを送信しない非送信画像に分類し、該送信画像の画像
    データと該構造データとを送信し、受信側システムでは
    該送信画像の画像データと該構造データとから該非送信
    画像を再生可能にしたことを特徴とする多視点画像伝送
    方法又はシステム。
11. 【請求項１１】 前記送信側システムが送信する構造デ
    ータは、参照点データと３角形領域データと逆ワーピン
    グするための変換行列とを含むことを特徴とする請求項
    １０に記載の多視点画像伝送方法又はシステム。
12. 【請求項１２】 前記非送信画像の再生は、再生する画
    像を選択する選択手段を設けたことを特徴とする請求項
    １０又は請求項１１の何れか１に記載の多視点画像伝送
    方法又はシステム。
13. 【請求項１３】 前記画像データ及び構造データの伝送
    はインターネット経由で送信することを特徴とする請求
    項１〜請求項１２の何れか１に記載の多視点画像伝送方
    法又はシステム。