JP2004157999A

JP2004157999A - 空間画像の画像変換方法及びリアルタイム送信方法

Info

Publication number: JP2004157999A
Application number: JP2003351692A
Authority: JP
Inventors: Riyousuke Eguchi; 良丞江口; Yoshihito Arai; 芳仁荒井; Mutsuko Muramoto; 睦子村本
Original assignee: D Link Corp
Current assignee: D Link Corp
Priority date: 2002-10-18
Filing date: 2003-10-10
Publication date: 2004-06-03

Abstract

【課題】凸面鏡や魚眼レンズで撮影した円形ないし環状又は中凸矩形状の空間画像を矩形画像に変換する方法に関し、比較的小さいメモリ容量のコンピュータで変換テーブルを利用した画像の高速変換処理を実現し、空間画像を矩形画像に変換してリアルタイムで送信することが可能な、より安価なシステムを提供する。
【解決手段】空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、空間画像の極座標表示における３６０度の空間画像の総ての部分における矩形画像への変換を可能にする。好ましい変換テーブルは、円形ないし環状の空間画像の極座標系における４５度、９０度又は１８０度分のものである。
【選択図】図７

Description

この発明は、凸面鏡や魚眼レンズの光軸を垂直方向にして撮影して得られる全方位画像や、水平方向にして得られる全正面画像などの空間画像をコンピュータ処理により矩形画像に変換する方法に関するもので、コンピュータを介在させた送信システムにより、カメラの設置場所における撮影画像を遠隔地にある表示端末にリアルタイムで、即ち可及的に小さい遅れ時間で送信する画像送信システムに特に有効な画像変換方法に関するものである。

遠隔地の景観や状況を観察ないし監視するために、現地に設置されたカメラの撮影画像を観察者が操作している表示端末に送信するシステムは公知である。カメラとして一般的な矩形領域を撮影するカメラを用いたときには、観察者が望む方向を見るために、カメラの方向を遠隔制御する必要が生ずる。この方法は、カメラの方向を変えるための機械的な仕組みと、その遠隔制御装置を必要とするため、全体システムが複雑になり、高価になる。この問題を解決する手段として、現地に凸面鏡、双曲面レンズ、魚眼レンズなどを装着したカメラを設置して、当該カメラで全方位の画像を取り込む方法が利用されている。このような方法で取り込まれた全方位画像は、カメラの光軸の前方又は後方を中心とした円形ないし環状の二次元画像となるので、当該全方位画像を人間にとってなじみやすい矩形画像に変換して表示させる必要がある。

下記特許文献１には、環状の全方位画像の中の観察者が指定する部分画像を矩形画像に変換して送信することについての記載がある。このようなシステムを実現する際に必要となる画像のクリッピング(部分画像の切取り)や全方位画像から矩形画像への変換などの画像処理は、コンピュータを利用したディジタル処理により行われるのが一般的である。ディジタル処理による全方位画像から矩形画像への変換は、全方位画像の各画素(ピクセル)の画像中心からの距離と基準方法からの角度とを直交座標系における縦横の位置に換算するという単純な演算操作であるが、動画の送信では１フレームの処理を１／３０秒程度の速度で行わなければならないため、特に解像度の高い画像の処理に時間がかかることとなり、一般的には動きの滑らかさか画像の解像度かのいずれかを犠牲にしなければならなくなる。この問題に対処する一つの提案として、下記特許文献２には、全方位画像から矩形画像への画像変換をハードロジックと変換テーブルとを利用して行うことが記載されている。
特表２０００−５１５９８４号公報特開２０００−３３３３０３号公報

この発明の課題は、比較的小さいＣＰＵパワーと比較的小さいメインメモリ量とによって、全方位画像から矩形画像への画像変換の高速処理を実現し、それによって比較的安価なシステムにより、遠隔地に設置したカメラで撮影された全方位動画像を観察者が望む領域の矩形動画像に変換して観察者の表示端末にリアルタイムで表示できるようにすることである。

変換テーブルを用いる全方位画像から矩形画像への変換処理は、三角関数を含む演算式を個々のピクセルに適用してゆく演算プログラムによる処理に比べて、より高速な画像変換を実現することができる。しかしそのためには、変換テーブルがメインメモリに読み込まれていることが必要であり、テーブルが大きければそれだけ多くのメインメモリを必要とする。全方位画像は、その一部となる矩形画像よりデータ量が数倍多く、従って全方位画像を矩形画像に変換する際に参照されるテーブルの容量は、大きくならざるを得ず、大きなメインメモリ容量を必要とする。

全方位画像は、凸面鏡や魚眼レンズの光軸を垂直方向にして撮影した円形ないし円環状の画像であるが、同様な問題は、凸面鏡や魚眼レンズの光軸を水平方向や斜め上下方向にして撮影した円形ないし中凸矩形状の画像（この明細書では全正面画像といい、全方位画像と合わせて空間画像と総称する。）から矩形画像を切り出すときにも生ずる。凸面鏡や魚眼レンズで撮影した画像は円形となるが、上下方向の視野角を制限した全方位画像は円環状となり、上下方向及び左右方向の視野角を制限した全正面画像は中凸矩形状となる。

この発明の課題は、上記問題を解決して、比較的小さいメモリ容量のコンピュータで変換テーブルを利用した画像の高速変換処理を実現することにより、全方位画像や全正面画像などの空間画像を矩形画像に変換してリアルタイムで送信することが可能な、より安価なシステムを提供することである。

この発明は、凸面鏡や魚眼レンズの光軸を垂直方向ないし水平方向にして撮影した空間画像の一部領域を直角座標系の矩形画像に変換する際に、空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、空間画像の極座標表示における３６０度の総ての領域における矩形画像への変換を可能にすることにより、上記課題を解決したものである。

即ち、本願の請求項１の発明に係る空間画像の画像変換方法は、円形ないし環状又は中凸矩形状の空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、空間画像の極座標系における３６０度の総ての領域の矩形画像への変換処理を行うことを特徴とする。

本願の請求項２の発明に係る空間画像の画像変換方法は、空間画像のピクセル位置から矩形画像のピクセル位置を換算する変換テーブルを用いて空間画像から全領域ないし所定領域の矩形画像を生成する画像変換方法において、空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、空間画像上のピクセル位置を矩形画像上のピクセル位置に変換することを特徴とするものである。

また、本願の請求項４の発明は、上記請求項１又は２記載の画像変換方法において、変換テーブルを空間画像の極座標系における４５度、９０度又は１８０度分のテーブルとしたものである。この請求項４の方法によれば、変換テーブルを参照する際の座標値の換算をきわめて簡単な、従って高速処理可能な演算により行うことができる。

本願請求項３の発明は、上記画像変換方法を採用することにより画像データの高速送信を実現したもので、空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを処理コンピュータのメインメモリに読み込み、カメラから処理コンピュータに逐次送信されてくる空間動画像の各フレームを上記変換テーブルを用いて全方向の矩形画像又は観察者が指定する領域の矩形画像に変換して表示端末へ送信する、空間画像のリアルタイム送信方法である。

本願請求項５の発明は、上記空間画像のリアルタイム送信方法において、変換テーブルを円形ないし環状又は中凸矩形状の空間画像の極座標系における４５度、９０度又は１８０度分のテーブルとしたものであり、請求項４の発明で説明した理由により、送信の際の画像変換をより高速に行うことが可能になる。

この発明の方法によれば、メインメモリに読み込まれるテーブルの大きさは、空間画像の総ての位置情報を備えたテーブルの少なくとも８分の１ないし２分の１の大きさで済む。

この発明の画像変換方法を用いた空間画像のリアルタイム送信では、カメラから処理コンピュータに逐次送信されてくる動画像の各フレームをメインメモリ上に置いたまま、既にメインメモリに読み込まれている変換テーブルを用いて、画面全体を表示する矩形画像（パノラマ画像ないし全体画像）又は観察者が指定する領域を表示する矩形画像（部分画像）に変換して表示端末へと送信する。メインメモリ上の空間画像は、カメラから順次送られてくる後続の空間画像を受信する毎に先入れ先出し式に古いものから順に消去されてゆき、メインメモリ上にも補助記憶装置のメモリ領域にも痕跡を残さない。変換後の矩形画像についても同様に、表示端末に送信された後の画像は、圧縮処理に必要なフレームを残して順次消去されてゆく。

このような処理により、遠隔地のカメラが撮影した空間画像をリアルタイムに矩形画像に変換して表示端末に送信することが可能になる。

この発明の画像変換方法を利用すれば、空間画像からパノラマ画像ないし部分領域の矩形画像に少ないメモリ量で高速に変換することができ、全方位カメラや全正面カメラが捉えたライブ映像を時間遅れなく遠隔地のユーザー端末に送信ないし配信して表示するシステムをより安価に構築できるという効果がある。

以下、この発明の画像変換方法を利用したリアルタイム画像送信方法の例を示す添付図面を参照して、この発明の実施形態を説明する。

図１はハードウェア構成図である。図１において、１はビデオカメラ(アナログ又はディジタルビデオカメラ)、２は画像変換用コンピュータ、３は配信サーバー、４はユーザー端末(表示端末)、５は凸面鏡ないし魚眼レンズ、６はルータである。

凸面鏡ないし魚眼レンズ５を装着したビデオカメラ１は、光軸を中心とする全方位又は全正面の空間を撮影する。撮影された画像は、カメラの結像面に円形ないし円環状又は中凸矩形状の空間画像を生成する。

画像変換用コンピュータ２は、一般的なコンピュータシステムと同じ構成であり、ＣＰＵ１０、メインメモリ１１、ビデオキャプチャインターフェイス１２、ネットワークインターフェイス１３などで構成される。メインメモリ１１には、第１バッファ領域１４、第２バッファ領域１５、変換テーブル領域１６が確保されている。ビデオキャプチャインターフェイス１２は、ビデオカメラ１に接続されており、ビデオカメラ１が撮影した空間画像は、ビデオキャプチャインターフェイス１２を通して画像変換用コンピュータに送られる。

配信サーバー３は、ストリーミング動画を配信するサーバーであり、ルータ６を通して画像変換用コンピュータ２やインターネット７と接続されている。サーバー３から送信された動画像データ(矩形画像データ)は、ルータ６やインターネット７を通じてユーザー端末４に送られ、動画像が表示される。

図２は本発明の画像処理方法を利用した画像配信の手順の一例を示すフローチャートである。

ユーザー端末がサーバーにアクセスすると、ディスプレイにビデオカメラ１が現時点で撮影した空間画像が表示され、その空間画像からユーザーが見たい領域を選択する。この情報は画像変換用コンピュータ２に送られ、その情報からどの方向を見るかなどの初期パラメータが作成され、画像変換用の変換テーブル領域１６、第１バッファ領域１４、第２バッファ領域１５が作成される。

次に、ビデオキャプチャインターフェイス１２が初期化され、ビデオ画像(空間画像)のキャプチャーを始める。同時に配信サーバー３で、ユーザー端末４の処理能力と当該端末が利用するビデオ圧縮形式を調べる。

次に、ビデオ画像を取り込み、メインメモリ上の変換テーブルを用いて空間画像を矩形画像に変換し、配信サーバー３で、画像をビデオ圧縮形式にして、ユーザー端末４にビデオファイルを送信する。

ユーザーがビデオファイルの閲覧を終了したら、配信サーバー３と画像変換用コンピュータ２は、終了処理を行う。

次に画像変換処理を中心に、図示実施形態における処理の詳細を説明する。
(1) ライブ動画の撮影
撮影現場に設置されたビデオカメラ１で撮影した空間画像の各フレームは、当該カメラにビデオライン入力、ＵＳＢ、ＩＥＥＥ１３９４などの接続手段で接続された画像変換用コンピュータ２に転送する。

(2) 撮影データの取り込み
画像変換用コンピュータ２は、ビデオキャプチャインターフェイス１２からの割り込み信号があると、第１バッファメモリに空間画像のデータを書き込む。なお、この処理は、通常ビデオキャプチャデバイスがＡ／Ｄ変換器とＤＭＡ転送を利用して行う。ビデオカメラ１がデジタルビデオカメラの場合は、ＩＥＥＥ１３９４インターフェイスやＵＳＢインタフェースを通して画像データを取得する。

(3) 画像変換
変換用コンピュータ２は、ビデオキャプチャデバイスが第１バッファメモリ１４にアクセスしていない時間(垂直復帰信号時)に、第１バッファメモリ１４から第２バッファメモリ１５に画像データをコピーする(または、第１バッファメモリと第２バッファメモリをフリッピングする)。その後、変換用コンピュータのメインメモリ上にある変換テーブルを利用して、第２バッファメモリの空間画像データを矩形画像データに変換する。

空間画像は、周囲３６０度の全方位の景観又は正面視野全体を表示する一枚の大きな矩形画像(全体画像。全方位を表示するものはパノラマ画像ともいう。)に変換してもよいし、テレビ画像などに合わせて４：３や１６：９のサイズの矩形画像にクリッピング(切り抜き)してもよい。この場合、接続ユーザーごとに違う画像を提供する場合は、全体画像にして配信時にクリッピングする方法が望ましく、全てのユーザーに同じ画像を提供する場合は、空間画像の必要な部分だけを変換する方法が望ましい。また、ユーザー端末側で全体画像を処理する場合は、サーバー側でクリッピング作業を行う必要はない。

(4) 画像変換に用いる変換テーブル
変換テーブルは、図３、４に示すように、縦方向に提供する画像のピクセル以上の配列を持ち、横方向に少なくとも９０度の視野角分の配列を持つ二次元の配列Ｔ（Ｘ，Ｙ)である。ここでＸ、Ｙにオフセット値を加えた値が横方向及び縦方向の画素の位置に対応する。テーブルの大きさは前述したサイズ以上のものであればどのようなサイズでも良いが、Ｘ、Ｙの最大値、Ｘmax、Ｙmaxの値が大きければ、画像の横方向および縦方向の解像度がより細かくなる。本実施例では、ユーザがカメラの視野角の範囲内で視線を上下することも許容するとして、レンズ５の縦方向の画角をθcam、横方向の画角をθxcam（図３の全方位画像では３６０度）とし、ユーザーに提供する縦方向の画角をθview、ユーザーに送信する縦方向の画素サイズをＶviewとしたときに、
縦方向テーブルサイズは、
Ｙmax ＝Ｖview／θview×θcam
通常、ピクセル密度は縦横同じであるから、横方向テーブルサイズは、図３の全方位画像では
Ｘmax ＝Ｖview／θview×９０
図４の全正面画像では、
Ｘmax ＝Ｖview／θview×θxcam
となるようにする。なお、本実施例では角度の単位は度で示してある。

変換テーブルの１つの配列Ｔ（Ｘ，Ｙ)にはそれぞれ、ｘ、ｙ、ｐ、ｑのパラメータがある。配列をＴ（Ｘ，Ｙ)で表し、その配列のｘの値をＴ（Ｘ，Ｙ).ｘ、ｙの値をＴ（Ｘ，Ｙ).ｙのように表すと、変換テーブルの水平方向の角度が９０度、垂直方向の角度がθcamであるとき、視角θｘ、θｙの時の変換テーブルの座標Ｘ、Ｙの値は、
Ｘ＝ (Ｘmax／９０×θｘ)
Ｙ＝縦方向視角(Ｙview-(Ｙmax／θcam×θｙ))+(θcam／２)
となり、ｘ、ｙ、ｐ、ｑのそれぞれの値は
Ｔ(Ｘ，Ｙ).ｘ：視角θｘ、θｙのときの極座標のＸ座標値整数部
Ｔ(Ｘ，Ｙ).ｙ：視角θｘ、θｙのときの極座標のＹ座標値整数部
Ｔ(Ｘ，Ｙ).ｐ：視角θｘ、θｙのときの極座標のＸ座標値小数部
Ｔ(Ｘ，Ｙ).ｑ：視角θｘ、θｙのときの極座標のＹ座標値小数部
である（図５、６参照）。実際のプログラムでは、ビデオ画像の基準座標は画像の中心位置ではないので、それぞれオフセット値を加えることになるが、本実施例ではオフセット値を省略して、ビデオ画像の基準座標を画像の中心位置としている。

なお、環状の全方位画像で、ドーナツ形の画像の外径の半径がＲa、内径の半径がＲbのとき、
Ｔ(Ｘ，Ｙ).ｘ＋Ｔ(Ｘ，Ｙ).ｐは((Ｒa-Ｒb)×(θcam／Ｙmax×Ｙ)+Ｒb)×ｃｏｓ(９０／Ｘmax×Ｘ)であり
Ｔ(Ｘ，Ｙ).ｙ＋Ｔ(Ｘ，Ｙ).ｑは((Ｒa-Ｒb)×(θcam／Ｙmax×Ｙ)+Ｒb)×ｓｉｎ(９０／Ｘmax×Ｘ)である。

(5) 画像の変換
このテーブルで角度θｘ.θｙの極座標位置を求める場合、θｘをθxcam（この例では９０度）で割った剰余(θｘｘとする)、θｙの時の角度で、１象限分での差分の角度θｘｘのときのテーブル座標Ｘｐ、Ｙｐをそれぞれ求める。
これは、１象限分での変換座標があれば、容易にそれぞれの象限での座標を求めることができるためで、これによって、変換テーブルの大きさを１／４にできるからである。
Ｘｐ＝ (Ｘmax／９０×θｘ)
Ｙｐ＝ (Ｙmax／θcam×θｙ)+(θcam／２)
そして、
Ｔ(Ｘｐ，Ｙｐ)のテーブル値を参照して、角度θｘがどの象限にあるかで結果のテーブル値を変換する。
なお、Ｘｓ，Ｙｓ，Ｐｓ，Ｑｓはテーブル参照のための一時変数である。
第１象限のときは、
Ｘｓ＝Ｔ(Ｘｐ，Ｙｐ).ｘ
Ｙｓ＝Ｔ(Ｘｐ，Ｙｐ).ｙ
Ｐｓ＝Ｔ(Ｘｐ，Ｙｐ).ｐ
Ｑｓ＝Ｔ(Ｘｐ，Ｙｐ).ｑ
第２象限のときは、
Ｘｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｙ
Ｙｓ＝Ｔ(Ｘｐ，Ｙｐ).ｘ
Ｐｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｑ
Ｑｓ＝Ｔ(Ｘｐ，Ｙｐ).ｐ
第３象限のときは、
Ｘｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｘ
Ｙｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｙ
Ｐｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｐ
Ｑｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｑ
第４象限のときは、
Ｘｓ＝Ｔ(Ｘｐ，Ｙｐ).ｙ
Ｙｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｘ
Ｐｓ＝Ｔ(Ｘｐ，Ｙｐ).ｑ
Ｑｓ＝ −Ｔ(Ｘｐ，Ｙｐ).ｐ
である（図７参照）。

(6) 他の角度分の変換テーブルを用いるときの参照座標
上記は、第１象限９０度分の変換テーブルを用いるときの空間画像の座標から変換テーブルの座標を参照するときの変換式であるが、１８０度又は４５度分の変換テーブルを用いるときは、以下のように変換して参照すればよい、

第１、２象限１８０度分の変換テーブルのときは、
第１、２象限なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｑ
第３、４象限なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｑ
とする（図８参照）。

また、第１象限Ｙ軸側４５度分の変換テーブルのときは、
第１象限Ｙ軸側４５度範囲なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｑ
第１象限Ｘ軸側４５度範囲なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｙｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｑ
Ｑｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
第２象限Ｘ軸側４５度範囲なら、
Ｘｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｙｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｐｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｑ
Ｑｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
第２象限Ｙ軸側４５度範囲なら、
Ｘｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｑ
第３象限Ｙ軸側４５度範囲なら、
Ｘｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｑ
第３象限Ｘ軸側４５度範囲なら、
Ｘｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｙｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｐｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｑ
Ｑｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｐ
第４象限Ｘ軸側４５度範囲なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｙｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｑ
Ｑｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｐ
第４象限Ｙ軸側４５度範囲なら、
Ｘｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｘ
Ｙｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｙ
Ｐｓ＝Ｔ（Ｘｐ，Ｘｐ）．ｐ
Ｑｓ＝ −Ｔ（Ｘｐ，Ｘｐ）．ｑ
となる（図９参照）。

(7) 矩形画像のＲＧＢ値の取得
次に、それぞれの象限で、第２バッファメモリ上の空間画像のＸｓ＋Ｐｓ，Ｙｓ＋Ｑｓの座標の近傍４点のＲＧＢ値(Ｃ１，Ｃ２，Ｃ３，Ｃ４)を読み込む。
Ｃ１＝ (Ｘｓ，Ｙｓ)，Ｃ２＝ (Ｘｓ＋１，Ｙｓ)，Ｃ３＝ (Ｘｓ，Ｙｓ＋１)，Ｃ４＝ (Ｘｓ＋１，Ｙｓ＋１)
このＣ１，Ｃ２，Ｃ３，Ｃ４，Ｐ，Ｑの値を利用して、Ｃ１ないしＣ４のそれぞれのＲＧＢ値(Ｃｎｒ、Ｃｎｇ、Ｃｎｂ)をそれぞれ次式で線形補間をする。
Ｃｒ＝ (Ｃ１ｒ×Ｐ＋Ｃ２ｒ×(１−Ｐ))×Ｑ＋(Ｃ３ｒ×Ｐ＋Ｃ４ｒ×(１−Ｐ))×(１−Ｑ)
Ｃｇ＝ (Ｃ１ｇ×Ｐ＋Ｃ２ｇ×(１−Ｐ))×Ｑ＋(Ｃ３ｒ×Ｐ＋Ｃ４ｇ×(１−Ｐ))×(１−Ｑ)
Ｃｂ＝ (Ｃ１ｂ×Ｐ＋Ｃ２ｂ×(１−Ｐ))×Ｑ＋(Ｃ３ｂ×Ｐ＋Ｃ４ｂ×(１−Ｐ))×(１−Ｑ)

このＣｒ，Ｃｇ，Ｃｂ値が視角θｘ、θｙの矩形画像のピクセル値として矩形画像保持バッファメモリ保存され、この計算を矩形画像の全てのピクセルに対して行った矩形画像データが社内ネットワークで配信サーバー３に送られる。

(8) 配信サーバへの矩形画像の転送
変換用コンピュータ２から配信サーバー３への転送方法は特に限定されないが、３２０ｘ２４０ピクセル、３２ｂｐｐ(ｂｉｔ／ｐｉｘｅｌ)、秒間３０フレームのデータの場合、データ転送に必要な速度は約７３Ｍｂｐｓになるために、１０００ＢＡＳＥ−ＳＸや１００ＢＡＳＥ−ＴＸなどの高速なデータ転送のできるインターフェイスが望ましい。

(9) 配信サーバ
配信サーバー３は、矩形画像データを受け取ると、動画変換用の画像バッファにデータを保持する。動画変換用の画像バッファは複数のフレームの画像データを保持しているリングバッファである。これは、通常動画は過去の複数フレームのデータを利用してデータを圧縮するためであり、モーションＪＰＥＧ方式などの現在の画像のみで圧縮を行う方式の場合は配信サーバー３は現在のフレームのデータのみを保持していれば良い。これは、動画のデータ形式によって変わるため、最低１画面分以上を保持できるバッファが必要である。

ユーザー別に違う角度の画像を提供する場合は、配信サーバー３は動画のエンコード時にパノラマ画像データを各ユーザーが選択した方向の所定の大きさの矩形でクリッピングする。この場合は配信サーバー３での処理が多くなるが、そのような場合は配信サーバー３を複数設置して変換用コンピュータ２が複数の配信サーバー３に対してパノラマ画像データを送信をすることにより解決できる。

実用的には例えば、処理能力が十分なユーザー端末４には全体画像を送信してユーザー側でクリッピングし、処理能力が不足するユーザー端末には配信サーバーでユーザが選択した領域の部分画像を全体画像から切り取ってユーザー端末に送信する。

(10) 表示端末への画像データの配信
配信サーバー３は矩形画像データを圧縮(エンコード)し、直ちにそのデータをユーザー端末４へ送信する。これにより、よりリアルタイム性の高い動画データをユーザーに提供することが可能である。

なお上述した処理による画像の配信において、図１ではカメラ１、画像変換用コンピュータ２及び配信サーバー３を設けてこれらをネットワークで接続した例を示したが、ハードウェア構成として、カメラと画像処理コンピュータを一体化する構成や、更にカメラと画像処理コンピュータと配信サーバーを総て一体化する構成としても、この発明の方法による画像配信が可能であることは勿論であり、特に携帯電話や小型機器を利用して機動的に画像配信を行いたいときに、ハードウェアを一体化する構成が便利である。このような携帯ないし小型機器のときは、補助記憶装置として、ＨＤＤの代わりにメモリカードなどの記憶メディアを使用することも好ましいことである。

この発明の方法を使用した画像配信システムの一例を示すハードウェア構成図図１のシステムにおける動画配信時の全体の処理の流れを示すフローチャートレンズ光軸が垂直方向のときの画像変換の説明図レンズ光軸が水平方向のときの画像変換の説明図レンズ光軸が垂直方向のときの変換テーブルの説明図レンズ光軸が水平方向のときの変換テーブルの説明図９０度の変換テーブルを用いるときのテーブル参照の説明図１８０度の変換テーブルを用いるときのテーブル参照の説明図４５度の変換テーブルを用いるときのテーブル参照の説明図

符号の説明

１ビデオカメラ
２画像変換用サーバ
３配信サーバ
４ユーザー端末
５凸面鏡ないし魚眼レンズ
６ルータ
７インターネット
10 ＣＰＵ
11 メインメモリ
12 ビデオキャプチャインターフェイス
13 ネットワークインターフェイス
14 一次バッファ領域
15 二次バッファ領域
16 変換テーブル領域

Claims

空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、当該空間画像の極座標系における３６０度の総ての領域の矩形画像への変換処理を行うことを特徴とする、空間画像変換方法。
空間画像のピクセル位置から矩形画像のピクセル位置を換算する変換テーブルを用いて当該空間画像から全領域ないし所定領域の矩形画像を生成する画像変換方法において、空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを用いて、空間画像上のピクセル位置を矩形画像上のピクセル位置に変換することを特徴とする、空間画像の画像変換方法。
空間画像の直角座標系における縦横値の交換、符号変換又はその組み合わせ演算により得られる縦横値で参照される変換テーブルを処理コンピュータのメインメモリに読み込み、カメラから処理コンピュータに逐次送信されてくる空間動画像の各フレームを上記変換テーブルを用いて全領域の矩形画像又は観察者が指定する領域の矩形画像に変換して表示端末へ送信する、空間画像のリアルタイム送信方法。
変換テーブルが円形ないし環状又は中凸矩形状の空間画像の極座標系における４５度、９０度又は１８０度分のテーブルである、請求項１又は２記載の画像変換方法。
変換テーブルが円形ないし環状又は中凸矩形状の空間画像の極座標系における４５度、９０度又は１８０度分のテーブルである、請求項３記載の空間画像のリアルタイム送信方法。