JP2019144792A - 画像幾何変換装置、画像幾何逆変換装置及びプログラム - Google Patents

Abstract

【課題】全天周画像の面積歪みに起因する画像劣化を軽減する。【解決手段】全天周画像を矩形画像に変換する画像幾何変換装置は、矩形画像における直線Ｑ’Ｓ’に並行する位置の矩形画素値が、菱形平面写像における直線ＱＳに並行する位置の画素値に対応し、菱形平面写像における前記画素値が、球面写像における所定緯度の画素値に対応し、球面写像における前記画素値が、全天周画像における所定緯度の全天周画素値に対応するように、矩形座標と全天周座標とが対となって格納されたテーブルにより、または演算により、矩形座標を全天周座標に変換する座標変換部を備える。【選択図】図１

Description

本発明は、全天周画像を矩形画像に幾何変換する装置、矩形画像を全天周画像に幾何逆変換する装置及びプログラムに関する。

従来、全天周画像を矩形型で表現するための方法として、円筒図法、とりわけ正距円筒図法に基づくエクイレクタングラー形式が用いられている。エクイレクタングラー形式による映像の非可逆符号化においては、極付近における量子化パラメータを赤道付近よりも大きく（すなわち、量子化を粗く）とる工夫がなされている。

また、エクイレクタングラー形式の他、立方体の各面に対し心射図法により射影し、当該立方体を展開して表現するキューブマップ形式もある。

さらに、球面上の画像を保存し易い長方形の画像に変換する方法として、測地ドーム法による測地ドームの各頂点を、中間配列構造を介して変換する仕組みが開示されている（例えば特許文献１を参照）。

特許第５６６４８５９号公報

しかしながら、エクイレクタングラー形式による全天周画像においては、緯度方向の角度は画像内で一定距離に保たれるものの、経度方向の角度は極に近づくほど拡大され、両極では無限大に拡大される。

このため、エクイレクタングラー形式による全天周画像では、画像上において、経度方向（典型的には横方向）の歪みが大きくなってしまう。この形式で保存された画像を全天周表示デバイスまたはゴーグル上に表示したり、平面画像に射影して表示したりすると、解像感に非等方性を生じ、画質劣化として知覚される。さらに、エクイレクタングラー形式による全天周画像を非可逆符号化した場合には、これを復号して表示すると、極付近と赤道付近との間で画質差を生じる。

エクイレクタングラー形式による全天周画像の非可逆符号化においては、緯度に応じて量子化パラメータを変化させることにより、極付近の画像及び赤道付近の画像を平均的な画質に均等化することができる。例えば、ピーク信号対雑音比（ＰＳＮＲ：Peak signal to Noise Ratio）を均等化することができる。しかし、極付近においては、緯度方向に比して経度方向には空間高周波成分が少ないという非等方的な性質があるにも拘らず、等方的な量子化テーブルが用いられるため、非等方的な量子化歪みが発生する。

一方、キューブマップ形式による全天周画像においては、立方体の各面に射影される画像にはエクイレクタングラー形式ほどの大きな歪みは生じない。しかし、立方体を平面に展開した形状は、長方形ではない。

このため、キューブマップ形式による全天周画像を、長方形の画像を前提とした画像フォーマットまたは画像符号化方式で取り扱う場合には、画素値の記録されない無駄な領域が生じてしまう。また、画像の一部（立方体の面のいくつか）を切り離して別の場所に配置することによる画像の不連続が生じてしまう。その結果、キューブマップ形式による全天周画像では、データ量としての無駄を生じたり、非可逆符号化時に不連続部分近傍に画質劣化を生じたりするという不利益がある。

さらに、前述の特許文献１の方法によれば、球面上の画像を長方形の画像に変換するため、データ保存上の無駄な領域が生じない。しかし、測地ドームの形状が複雑であり、演算が煩雑化するという不利益がある。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、全天周画像の面積歪みに起因する画像劣化を軽減可能な画像幾何変換装置、画像幾何逆変換装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の画像幾何変換装置は、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、前記画像入力部により出力された前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、前記矩形座標を前記全天周座標に変換する座標変換部と、前記座標変換部により変換された前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、当該全天周画素値を前記矩形画素値として、前記矩形画像を出力する画像出力部と、を備え、前記座標変換部が、前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、前記矩形座標を前記全天周座標に変換する、ことを特徴とする。

これにより、全天周画像よりも均等に標本化した矩形画像を得ることができ、表示デバイスへの表示時、または非可逆符号化及び復号時の歪みまたは画像劣化を抑えることができる。

また、請求項２の画像幾何変換装置は、請求項１に記載の画像幾何変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、前記テーブルには、前記菱形平面写像の座標をｐ，ｑとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとして、所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標ｐ，ｑに変換され、以下の数式を用いて、

前記菱形平面写像の座標ｐ，ｑが前記球面写像の座標λ，φに変換され、所定の関数を用いて、前記球面写像の座標λ，φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする。

これにより、全天周画像よりも均等に標本化した矩形画像を得る際に、矩形座標から全天周座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。

また、請求項３の画像幾何変換装置は、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、前記画像入力部により出力された前記全天周座標を前記矩形座標に変換する座標変換部と、前記画像入力部により出力された前記全天周座標を、前記座標変換部により変換された前記矩形座標の前記矩形画素値とし、前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、前記矩形画像を出力する画像出力部と、を備え、前記座標変換部が、前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、前記球面写像における前記所定緯度の画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値に対応するように、前記全天周座標を前記矩形座標に変換する、ことを特徴とする。

これにより、全天周画像よりも均等に標本化した矩形画像を得ることができ、表示デバイスへの表示時、または非可逆符号化及び復号時の歪みまたは画像劣化を抑えることができる。

また、請求項４の画像幾何変換装置は、請求項３に記載の画像幾何変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、前記テーブルには、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとし、前記菱形平面写像の座標をｐ，ｑとして、所定の関数を用いて、前記全天周座標が前記球面写像の座標λ，φに変換され、以下の数式を用いて、

前記球面写像の座標λ，φが前記菱形平面写像の座標ｐ，ｑに変換され、所定の関数を用いて、前記菱形平面写像の座標ｐ，ｑが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする。

これにより、全天周画像よりも均等に標本化した矩形画像を得る際に、全天周座標から矩形座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。

また、請求項５の画像幾何変換装置は、請求項２または４に記載の画像幾何変換装置において、前記所定の関数を、アフィン写像、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする。

さらに、請求項６の画像幾何逆変換装置は、矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置であって、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、前記画像入力部により出力された前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、前記全天周座標を前記矩形座標に変換する座標変換部と、前記座標変換部により変換された前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、当該矩形画素値を前記全天周画素値として、前記全天周画像を出力する画像出力部と、を備え、前記座標変換部が、前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、前記球面写像における前記所定緯度の画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値に対応するように、前記全天周座標を前記矩形座標に変換する、ことを特徴とする。

これにより、画像幾何変換装置により出力された矩形画像を、画像幾何変換装置により入力される全天周画像に変換することができ、画像表現形式の互換を持たせることが可能となる。また、例えば、全天周画像が矩形画像に変換され、矩形画像が非可逆符号化方式によりある圧縮率において符号化（画像圧縮）され復号（伸張）され、そして、当該画像幾何逆変換装置が矩形画像を全天周画像に変換した場合、全天周画像を同符号化方式の同圧縮率により直接符号化及び復号するよりも、非等方的な歪みの小さい復号画像を得ることができる。

また、請求項７の画像幾何逆変換装置は、請求項６に記載の画像幾何逆変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、前記テーブルには、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとし、前記菱形平面写像の座標をｐ，ｑとして、所定の関数を用いて、前記全天周座標が前記球面写像の座標λ，φに変換され、以下の数式を用いて、

前記球面写像の座標λ，φが前記菱形平面写像の座標ｐ，ｑに変換され、所定の関数を用いて、前記菱形平面写像の座標ｐ，ｑが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする。

これにより、矩形画像から全天周画像を得る際に、全天周座標から矩形座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。

また、請求項８の画像幾何逆変換装置は、任意の形式による矩形画像を全天周画像に変換する画像幾何逆変換装置であって、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、前記画像入力部により出力された前記矩形座標を前記全天周座標に変換する座標変換部と、前記画像入力部により出力された前記矩形座標を、前記座標変換部により変換された前記全天周座標の前記全天周画素値とし、前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、前記全天周画像を出力する画像出力部と、を備え、前記座標変換部が、前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、前記矩形座標を前記全天周座標に変換する、ことを特徴とする。

これにより、画像幾何変換装置により出力された矩形画像を、画像幾何変換装置により入力される全天周画像に変換することができ、画像表現形式の互換を持たせることが可能となる。また、例えば、全天周画像が矩形画像に変換され、矩形画像が非可逆符号化方式によりある圧縮率において符号化（画像圧縮）され復号（伸張）され、そして、当該画像幾何逆変換装置が矩形画像を全天周画像に変換した場合、全天周画像を同符号化方式の同圧縮率により直接符号化及び復号するよりも、非等方的な歪みの小さい復号画像を得ることができる。

また、請求項９の画像幾何逆変換装置は、請求項８に記載の画像幾何逆変換装置において、前記座標変換部が、予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、前記テーブルには、前記菱形平面写像の座標をｐ，ｑとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとして、所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標ｐ，ｑに変換され、以下の数式を用いて、

前記菱形平面写像の座標ｐ，ｑが前記球面写像の座標λ，φに変換され、所定の関数を用いて、前記球面写像の座標λ，φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする。

これにより、矩形画像から全天周画像を得る際に、矩形座標から全天周座標への変換を、複雑な演算によることなく短時間に行うことができ、変換処理の負荷を低減することができる。

また、請求項１０の画像幾何逆変換装置は、請求項７または９に記載の画像幾何逆変換装置において、前記所定の関数を、アフィン写像を行う関数、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする。

さらに、請求項１１のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の画像幾何変換装置として機能させることを特徴とする。

また、請求項１２のプログラムは、コンピュータを、請求項６から１０までのいずれか一項に記載の画像幾何逆変換装置として機能させることを特徴とする。

以上のように、本発明によれば、全天周画像の面積歪みに起因する画像劣化を軽減することができる。

（ａ）は、全天周画像の座標を示す図である。（ｂ）は、球面写像の座標を示す図である。（ｃ）は、菱形平面写像の座標を示す図である。（ｄ）は、矩形画像の座標を示す図である。 球面写像の点Ｆ（λ，φ）と菱形平面写像の点Ｖ（ｐ，ｑ）との間の対応関係の例を示す図である。 実施例１の画像幾何変換装置の構成例を示すブロック図である。 実施例１における第１の座標変換部の構成例を示すブロック図である。 実施例１における第１の座標変換部の処理例を示すフローチャートである。 実施例１におけるテーブルのデータ構成例を示す図である。 実施例１における第２の座標変換部の構成例を示すブロック図である。 実施例１における第２の座標変換部の処理例を示すフローチャートである。 実施例２の画像幾何変換装置の構成例を示すブロック図である。 実施例２における第１の座標変換部の構成例を示すブロック図である。 実施例２における第１の座標変換部の処理例を示すフローチャートである。 実施例２におけるテーブルのデータ構成例を示す図である。 実施例２における第２の座標変換部の構成例を示すブロック図である。 実施例２における第２の座標変換部の処理例を示すフローチャートである。 実施例３の画像幾何逆変換装置の構成例を示すブロック図である。 実施例４の画像幾何逆変換装置の構成例を示すブロック図である。 （１）は、エクイレクタングラー形式による全天周画像の例を示す概略図である。（２）は、矩形画像の例を示す概略図である。 （１）は、全天周画像に対して符号化及び復号を行う従来技術の構成例を示す図である。（２）は、矩形画像に対して符号化及び復号を行う本発明の実施例１〜４の構成例を示す図である。 （１）は、全天周画像に対してフィルタ処理を行う従来技術の構成例を示す図である。（２）は、矩形画像に対してフィルタ処理を行う本発明の実施例１〜４の構成例を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔全天周画像から矩形画像への変換処理及びその逆変換処理の概要〕
まず、全天周画像から矩形画像への変換処理、及び矩形画像から全天周画像への変換処理の概要について説明する。

図１は、本発明の実施形態の画像幾何変換装置または画像幾何逆変換装置により変換される画像上の座標点、及び変換に用いる関数の概要を説明する図である。（ａ）は全天周画像の座標を示し、（ｂ）は球面写像の座標を示し、（ｃ）は菱形平面写像の座標を示し、（ｄ）は矩形画像の座標を示す図である。

本発明の実施形態の画像幾何変換装置は、（ａ）に示す全天周画像を入力し、全天周画像を球面に投影して（ｂ）に示す球面写像を生成し、球面写像を菱形平面に投影して（ｃ）に示す菱形平面写像を生成する。そして、画像幾何変換装置は、菱形平面写像を矩形平面に投影して（ｄ）に示す矩形画像を生成し、矩形画像を出力する。これにより、赤道から極までの間で大きな面積歪みを有する全天周画像が、小さな面積歪みを有する矩形画像に変換される。

また、本発明の実施形態の画像幾何逆変換装置は、前述の画像幾何変換装置の逆の処理を行う。画像幾何逆変換装置は、（ｄ）に示す矩形画像を入力し、矩形画像を菱形平面に投影して（ｃ）に示す菱形平面写像を生成し、菱形平面写像を球面に投影して（ｂ）に示す球面写像を生成する。そして、画像幾何逆変換装置は、球面写像を全天周面に投影して（ａ）に示す全天周画像を生成し、全天周画像を出力する。これにより、矩形画像が全天周画像に変換される。

また、画像幾何変換装置及び画像幾何逆変換装置を用いることにより、全天周画像を直接符号化して復号する場合、または全天周画像に直接フィルタ処理を施す場合よりも、全天周画像を一旦矩形画像に変換した後に処理した方が、歪みの小さい画像を得ることができる。つまり、全天周画像を矩形画像に変換し、矩形画像を符号化して復号し、全天周画像に戻す場合、または矩形画像にフィルタ処理を施して全天周画像に戻す場合の方が、歪みの小さい画像を得ることができる。

（ａ）に示す全天周画像は、ｘｙ軸上の点Ｉ（ｘ，ｙ）で表される画像であり、北極点Ａ（点Ａ１から点Ａ２までの間の点の集合）、南極点Ｃ（点Ｃ１から点Ｃ２までの間の点の集合）、ｙ軸を本初子午線とした基準線に対して経度λ＝−πラジアンの子午線（点Ａ１，Ｃ１を結んだ線）におけるｘ軸上の点Ｂ、及び経度λ＝πラジアンの子午線（点Ａ２，Ｃ２を結んだ線）におけるｘ軸上の点Ｄで囲まれた長方形の領域からなる。ｘ軸を赤道とする。全天周画像の点Ｂ，Ｄは、全天周画像の端の経線と赤道とが交わる点である。また、この全天周画像は、（ｂ）に示す球面写像が全天周面に投影された画像でもある。

（ｂ）に示す球面写像は、（ａ）に示す全天周画像が球面に投影された像であり、経度λ及び緯度φとしたときの点Ｆ（λ，φ）で表される。

全天周画像におけるｘ軸に並行する点線の直線上の各点と、球面写像における緯度φ上の各点とが対応している。つまり、全天周画像の点Ｉ（ｘ，ｙ）と、球面写像の点Ｆ（λ，φ）とが対応している。また、この球面写像は、（ｃ）に示す菱形平面写像が球面に投影された像でもある。

（ｃ）に示す菱形平面写像は、（ｂ）に示す球面写像が菱形平面に投影された像であり、ｐｑ軸上の点Ｖ（ｐ，ｑ）で表される。この菱形平面写像は、頂点である各点Ｐ，Ｑ，Ｒ，Ｓに囲まれた正方形を含む菱形の像である。菱形とは、向かい合った二つの辺が平行で、全ての辺の長さが等しい四角形をいう。

球面写像における緯度φ上の各点と、菱形平面写像における点Ｑ，Ｓを結んだ直線ＱＳに並行する点線の直線上の各点とが対応している。つまり、球面写像の点Ｆ（λ，φ）と、菱形平面写像の点Ｖ（ｐ，ｑ）とが対応している。球面写像の北極点Ａと菱形平面写像の点Ｐとが対応し、南極点Ｃと点Ｒとが対応し、点Ｂ，Ｄと点Ｑ，Ｓとがそれぞれ対応する。球面写像の赤道と、菱形平面写像の直線ＱＳとが対応する。また、この菱形平面写像は、（ｄ）に示す矩形画像が菱形平面に投影された像でもある。

（ｄ）に示す矩形画像は、（ｃ）に示す菱形平面写像が矩形平面に投影された画像であり、ｉｊ軸上の点Ｋ（ｉ，ｊ）で表される。この矩形画像は、頂点である各点Ｐ（Ｐ’），Ｑ（Ｑ’），Ｒ（Ｒ’），Ｓ（Ｓ’）に囲まれた長方形の領域からなる。

菱形平面写像における直線ＱＳに並行する点線の直線上の各点と、矩形画像における点Ｑ，Ｓを結んだ直線ＱＳに並行する点線の直線上の各点とが対応している。つまり、菱形平面写像の点Ｖ（ｐ，ｑ）と、矩形画像の点Ｋ（ｉ，ｊ）とが対応している。また、菱形平面写像の各頂点である点Ｐ，Ｑ，Ｒ，Ｓと、矩形画像の各頂点である点Ｐ，Ｑ，Ｒ，Ｓとが対応する。

ここで、（ａ）の全天周画像から（ｂ）の球面写像への投影処理において、座標ｘから経度λへの変換は、座標ｘをパラメータとする関数ｈ（ｘ）が用いられ、座標ｙから緯度φへの変換は、座標ｙをパラメータとする関数ｋ（ｙ）が用いられる。これにより、全天周画像におけるｘ軸に並行する点線の直線上の点Ｉ（ｘ，ｙ）は、球面写像における点線の緯度φ上の点Ｆ（λ，φ）に変換される。

（ｂ）の球面写像から（ｃ）の菱形平面写像への投影処理において、経度λ及び緯度φから座標ｐへの変換は、経度λ及び緯度φをパラメータとする関数ｐ（λ，φ）が用いられる。また、経度λ及び緯度φから座標ｑへの変換は、経度λ及び緯度φをパラメータとする関数ｑ（λ，φ）が用いられる。これにより、球面写像における点線の緯度φ上の点Ｆ（λ，φ）は、菱形平面写像における直線ＱＳに並行する点線の直線上の点Ｖ（ｐ，ｑ）に変換される。

（ｃ）の菱形平面写像から（ｄ）の矩形画像への投影処理において、座標ｐから座標ｉへの変換は、座標ｐをパラメータとする関数Ｐ（ｐ）が用いられ、座標ｑから座標ｊへの変換は、座標ｑをパラメータとする関数Ｑ（ｑ）が用いられる。これにより、菱形平面写像における点線の直線上の点Ｖ（ｐ，ｑ）は、矩形画像における直線ＱＳに並行する点線の直線上の点Ｋ（ｉ，ｊ）に変換される。

このように、画像幾何変換装置は、これらの関数を用いることで、（ａ）の全天周画像を（ｄ）の矩形画像に変換することができる。

一方、（ｄ）の矩形画像から（ｃ）の菱形平面写像への投影処理において、座標ｉから座標ｐへの変換は、座標ｉをパラメータとする関数ｆ（ｉ）が用いられ、座標ｊから座標ｑへの変換は、座標ｊをパラメータとする関数ｇ（ｊ）が用いられる。これにより、矩形画像における点線の直線上の点Ｋ（ｉ，ｊ）は、菱形平面写像における点線の直線上の点Ｖ（ｐ，ｑ）に変換される。

（ｃ）の菱形平面写像から（ｂ）の球面写像への投影処理において、座標ｐ，ｑから経度λへの変換は、座標ｐ，ｑをパラメータとする関数λ（ｐ，ｑ）が用いられる。また、座標ｐ，ｑから緯度φへの変換は、座標ｐ，ｑをパラメータとする関数φ（ｐ，ｑ）が用いられる。これにより、菱形平面写像における点線の直線上の点Ｖ（ｐ，ｑ）は、球面写像における点線の緯度φ上の点Ｆ（λ，φ）に変換される。

（ｂ）の球面写像から（ａ）の全天周画像への投影処理において、経度λから座標ｘへの変換は、経度λをパラメータとする関数Λ（λ）が用いられ、緯度φから座標ｙへの変換は、緯度φをパラメータとする関数Φ（φ）が用いられる。これにより、球面写像における点線の緯度φ上の点Ｆ（λ，φ）は、全天周画像におけるｘ軸に並行する点線の直線上の点Ｉ（ｘ，ｙ）に変換される。

このように、画像幾何逆変換装置は、これらの関数を用いることで、（ｄ）の矩形画像を（ａ）の全天周画像に変換することができる。

図２は、図１（ｂ）の球面写像の点Ｆ（λ，φ）と、図１（ｃ）の菱形平面写像の点Ｖ（ｐ，ｑ）との間の対応関係の例を示す図である。図２において、図示しない全天周画像の点Ｉ（ｘ，ｙ）に対応する天球上の球面写像の座標点を、経度λ（−π≦λ≦＋π）及び緯度φ（−π／２≦φ≦＋π／２）にて表し、図１（ｂ）と同様に点Ｆ（λ，φ）とする。本初子午線の経度λを０として、緯度φ＝＋π／２の極を北極点Ａ、緯度φ＝−π／２の極を南極点Ｃとし、緯度φ＝０の円周を赤道とする。また、本初子午線と赤道との交点を点Ｈ（０，０）とする。

図１（ａ）に示した全天周画像を球面に投影して球面写像を生成した場合に、両極の２頂点がそれぞれ北極点Ａ及び南極点Ｃであり、球面写像に定義した本初子午線（経度λ＝０の子午線）と赤道との交点が点Ｈ（０，０）である。また、本初子午線に対して、経度λ＝πラジアンの子午線によって球面写像を割いた場合に、当該子午線で割いた両側の各半円弧上にあり、かつ赤道上にある２点（いずれも赤道上の１点と同じ位置）をそれぞれ点Ｂ（−π，０）（経度λ＝−πラジアンの子午線と赤道との交点）、及び点Ｄ（＋π，０）（経度λ＝＋πラジアンの子午線と赤道との交点）とする。

球面写像における各点Ａ，Ｂ，Ｃ，Ｄは、菱形平面写像における頂点である各点Ｐ，Ｑ，Ｒ，Ｓにそれぞれ対応する。

画像幾何変換装置は、球面写像における点線の緯度φ上の各点を、菱形平面写像における直線ＱＳに並行かつ菱形平面写像の内部または境界上の点線の直線ＴＵに、順序を保って変換する。つまり、画像幾何変換装置は、球面写像の点Ｆ（λ，φ）を、菱形平面写像の点Ｖ（ｐ，ｑ）に変換する。この場合、球面写像の点Ｆ（λ＝−π，φ）＝Ｅ（−π，φ）が菱形平面写像の点Ｔに変換され、球面写像の点Ｆ（λ＝＋π，φ）＝Ｅ（＋π，φ）が菱形平面写像の点Ｕに変換される。

画像幾何変換装置は、菱形平面写像における直線ＰＱ及び直線ＰＳに平行な２軸の斜交座標系（または直交座標系）を定義して、斜交座標系の座標において、菱形ＰＱＲＳの内部または境界上の画素値を標本化して矩形画像を生成し、出力する。

一方、画像幾何逆変換装置は、菱形平面写像における直線ＱＳと並行かつ菱形平面写像の内部または境界上の点線の直線ＴＵの各点を、球面写像における点線の緯度φ上の各点に変換する。つまり、画像幾何逆変換装置は、菱形平面写像の点Ｖ（ｐ，ｑ）を、球面写像の点Ｆ（λ，φ）に変換する。

画像幾何逆変換装置は、球面写像の画素値を標本化して全天周画像を生成し、出力する。

（全天周画像と球面写像との間の対応付け）
全天周画像が幅Ｗ_in画素及び高さＨ_in画素のエクイレクタングラー形式による場合には、全天周画像の座標ｘ，ｙ及び球面写像の経度λ及び緯度φは、例えば以下の式で表される。

座標ｘ，ｙと経度λ及び緯度φとは、１次関数により対応付けることができる。前記数式（１）は、図１（ａ）の全天周画像を図１（ｂ）（図２（ｂ））の球面写像に変換するための式であり、前述の関数ｈ（ｘ），ｋ（ｙ）に相当する。また、前記数式（１）は、図１（ｂ）（図２（ｂ））の球面写像を図１（ａ）の全天周画像に変換するための式でもあり、前述の関数Λ（λ），Φ（φ）にも相当する。

（矩形画像と菱形平面写像との間の対応付け）
また、矩形画像の座標ｉ，ｊを、菱形平面写像における−１／２≦ｐ≦＋１／２かつ−１／２≦ｑ≦＋１／２を満たす正方形及びその内部の領域の点の座標ｐ，ｑに対応付けるものとする。この場合、矩形画像が幅Ｗ_out画素及び高さＨ_out画素である場合には、矩形画像の座標ｉ，ｊと菱形平面写像の座標ｐ，ｑとは、例えば以下の式で表される。

座標ｉ，ｊと座標ｐ，ｑとは、１次関数により対応付けることができる。前記数式（２）は、図１（ｄ）の矩形画像を図１（ｃ）（図２（ｃ））の菱形平面写像に変換するための式であり、前述の関数ｆ（ｉ），ｇ（ｊ）に相当する。また、前記数式（２）は、図１（ｃ）（図２（ｃ））の菱形平面写像を図１（ｄ）の矩形画像に変換するための式でもあり、前述の関数Ｐ（ｐ），Ｑ（ｑ）にも相当する。

（球面ＡＢＣＤと菱形ＰＱＲＳとの間の対応付け）
前記数式（１）（２）において、座標ｘ，ｙと経度λ及び緯度φとの間の対応付け、及び座標ｉ，ｊと座標ｐ，ｑとの間の対応付けについて例示した。さらに、経度λ及び緯度φと座標ｐ，ｑとの間の関係を対応付けることにより、画像幾何変換装置及び画像幾何逆変換装置の動作を規定することができる。以下、球面写像の経度λ及び緯度φと菱形平面写像の座標ｐ，ｑとの間の対応付けについて説明する。

まず、図２（ｂ）の球面写像において、天球上における緯度φの円周は、円周ｅである。この球面写像の円周ｅと、図２（ｃ）の菱形平面写像における菱形ＰＱＲＳの内部（外周を含む）の直線ＴＵとを対応付ける。また、球面写像の北極点Ａ（φ＝＋π／２）を菱形平面写像の点Ｐに、赤道を直線ＱＳ（φ＝０）に、南極点Ｃ（φ＝−π／２）を点Ｒにそれぞれ対応付ける。

このとき、例えば、直線ＴＵを以下の数式にて定義する。

そうすると、直線ＴＵと原点Ｏとの間の距離を緯度の絶対値｜φ｜に比例させつつ、かつ、北極点Ａ、赤道及び南極点Ｃの対応付けの整合をとることができる。

円周ｅと経度λ＝πの子午線との交点をＥとする。北極側から見て、点Ｅから円周ｅを反時計回りにたどり、点Ｆ（λ，φ）に至る円弧を円弧ＥＦとし、点Ｆ（λ，φ）から反時計回りにたどって点Ｅに至る円弧を円弧ＦＥと定義する。円弧ＥＦの長さと円弧ＦＥの長さとの間の比は、以下の数式にて表される。

そこで、直線ＴＵにも、以下の数式を満たす点Ｖ（ｐ，ｑ）をとることにより、球面写像の天球上のあらゆる点Ｆ（λ，φ）を、菱形平面写像の菱形ＰＱＲＳの内部（境界を含む）の点Ｖ（ｐ，ｑ）に対応付けることができる。

このとき、経度λ及び緯度φを座標ｐ，ｑの関数として表すと、以下の数式となる。

λ_NP，λ_SPは、それぞれ北極点Ａ及び南極点Ｃの経度であるが、極においては経度λの値をいかようにとろうとも球面写像の天球上における位置は不変である。このため、λ_NP，λ_SPはいずれも任意の実数として構わないが、例えばλ_NP，λ_SPを−π≦λ_NP＜π，−π≦λ_SP＜πを満たす任意の実数に制限しても一般性を失わない。

（矩形画像から全天周画像への変換処理に用いる関数ｆ（ｉ），ｇ（ｊ），λ（ｐ，ｑ），φ（ｐ，ｑ），Λ（λ），Φ（φ））
次に、画像幾何逆変換装置が矩形画像を全天周画像に変換する際に用いる関数ｆ（ｉ），ｇ（ｊ），λ（ｐ，ｑ），φ（ｐ，ｑ），Λ（λ），Φ（φ）について具体的に説明する。関数ｆ（ｉ），ｇ（ｊ），Λ（λ），Φ（φ）は、一次関数として定義することができる。

矩形画像の座標ｉ，ｊを全天周画像の座標ｘ，ｙに変換する関数をそれぞれｘ（ｉ，ｊ），ｙ（ｉ，ｊ）とすると、関数ｘ（ｉ，ｊ），ｙ（ｉ，ｊ）は、以下の数式にて表される。

前記数式（７）は、矩形画像の座標ｉ，ｊと全天周画像の座標ｘ，ｙとを対応付ける数式である。

画像幾何逆変換装置は、前記数式（７）を用いることで、矩形画像の座標ｉ，ｊを全天周画像の座標ｘ，ｙに変換することができる。

ここで、関数ｆ（ｉ），ｇ（ｊ）は、前記数式（２）に相当し、以下の数式にて表される。

また、関数λ（ｐ，ｑ），φ（ｐ，ｑ）は、前記数式（６）に示したとおりである。また、関数Λ（λ），関数Φ（φ）は、前記数式（１）から導出することができ、以下の数式にて表される。

尚、全天周画像の座標ｘ，ｙが０≦ｘ＜Ｗ_inかつ０≦ｙ＜Ｈ_inを満たす整数値に制約される場合には、前記数式（９）の代わりに、以下の数式を用いることができる。

ここで、

は、ｚより大きくない最大の整数を表す（床関数）。また、演算子％は剰余を表し、ｚ％ｗは、ｚをｗで割ったときの剰余を表す。

より一般的には、関数ｆ（ｉ），ｇ（ｊ），Λ（λ），Φ（φ）を、アフィン変換を行う関数、またはアフィン変換を行った後に量子化を行う関数としてもよい。アフィン変換後に量子化を行う関数を用いることにより、アフィン変換後の座標値が小数点を有する場合に、小数点を処理して実際の座標値（小数点の無い座標値）に対応させることができる。

（全天周画像から矩形画像への変換処理に用いる関数ｈ（ｘ），ｋ（ｙ），ｐ（λ，φ），ｑ（λ，φ），Ｐ（ｐ），Ｑ（ｑ））
次に、画像幾何変換装置が全天周画像を矩形画像に変換する際に用いる関数ｈ（ｘ），ｋ（ｙ），ｐ（λ，φ），ｑ（λ，φ），Ｐ（ｐ），Ｑ（ｑ）について具体的に説明する。関数ｈ（ｘ），ｋ（ｙ），Ｐ（ｐ），Ｑ（ｑ）は、一次関数として定義することができる。

全天周画像の座標ｘ，ｙを矩形画像の座標ｉ，ｊに変換する関数をそれぞれｉ（ｘ，ｙ），ｊ（ｘ，ｙ）とすると、関数ｉ（ｘ，ｙ），ｊ（ｘ，ｙ）は、以下の数式にて表される。

前記数式（１１）は、全天周画像の座標ｘ，ｙと矩形画像の座標ｉ，ｊとを対応付ける数式である。

画像幾何変換装置は、前記数式（１１）を用いることで、全天周画像の座標ｘ，ｙを矩形画像の座標ｉ，ｊに変換することができる。

ここで、全天周画像をエクイレクタングラー形式によるものとする。関数ｈ（ｘ），ｋ（ｙ）は、前記数式（１）に相当し、以下の数式にて表される。

また、関数ｐ（λ，φ），ｑ（λ，φ）は、前記数式（６）から導出することができ、以下の数式にて表される。

また、関数Ｐ（ｐ），Ｑ（ｑ）は、前記数式（２）から導出することができ、以下の数式にて表される。

尚、関数Ｐ（ｐ），Ｑ（ｑ）は、前記数式（１４）の代わりに、前記数式（１４）を量子化した以下の数式を用いることができる。

より一般的には、関数ｈ（ｘ），ｋ（ｙ），Ｐ（ｐ），Ｑ（ｑ）を、アフィン変換を行う関数、またはアフィン変換を行った後に量子化を行う関数としてもよい。

〔画像幾何変換装置／実施例１〕
次に、任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置の構成及び処理について説明する。以下の実施例１〜４において、任意の形式による全天周画像は、エクイレクタングラー形式による全天周画像とする。尚、エクイレクタングラー形式は一例であり、本発明は、キューブマップ形式等の他の形式にも適用がある。

まず、実施例１の画像幾何変換装置について説明する。図３は、実施例１の画像幾何変換装置の構成例を示すブロック図である。この画像幾何変換装置１−１は、画像入力部１１、フレームメモリ１２、画像出力部１３及び座標変換部１４を備えている。

画像入力部１１は、入力画像信号であるエクイレクタングラー形式による全天周画像（画素値（全天周画素値）Ｉ（ｘ，ｙ））を入力する。そして、画像入力部１１は、全天周画像を所定の順序によって走査した座標（全天周座標）ｘ，ｙを書込画像座標ｘ，ｙとし、書込画像座標ｘ，ｙ、及び当該書込画像座標ｘ，ｙにおける画素値Ｉ（ｘ，ｙ）をフレームメモリ１２に出力する。例えば、走査はラスタ走査とする。

尚、画像入力部１１は、書込画像座標ｘ，ｙをフレームメモリ１２の書込アドレスに変換し、書込画像座標ｘ，ｙの代わりに書込アドレスをフレームメモリ１２に出力するようにしてもよい。

フレームメモリ１２は、画像入力部１１から書込画像座標ｘ，ｙ及び画素値Ｉ（ｘ，ｙ）を入力する。そして、フレームメモリ１２は、書込画像座標ｘ，ｙに基づいて、当該書込画像座標ｘ，ｙの画素値Ｉ（ｘ，ｙ）を保持すべきメモリ領域に対し、画素値Ｉ（ｘ，ｙ）を書き込む。

尚、フレームメモリ１２は、画像入力部１１から書込アドレス及び画素値Ｉ（ｘ，ｙ）を入力した場合、書込アドレスのメモリ領域に対し、画素値Ｉ（ｘ，ｙ）を書き込む。

フレームメモリ１２は、座標変換部１４から読出画像座標ｘ_r，ｙ_rを入力する。そして、フレームメモリ１２は、読出画像座標ｘ_r，ｙ_rに基づいて、当該読出画像座標ｘ_r，ｙ_rの画素値Ｉ（ｘ_r，ｙ_r）を保持しているメモリ領域から画素値Ｉ（ｘ_r，ｙ_r）を読み出し、画素値Ｉ（ｘ_r，ｙ_r）を画像出力部１３に出力する。

尚、フレームメモリ１２は、座標変換部１４から、読出画像座標ｘ_r，ｙ_rが当該フレームメモリ１２のアドレスに変換された読出アドレスを入力した場合、読出アドレスのメモリ領域から画素値Ｉ（ｘ_r，ｙ_r）を読み出して画像出力部１３に出力する。

また、フレームメモリ１２において、前述の読み出し操作は、読み出そうとするメモリ領域に既に全天周画像の画素値情報（動画像においては、読み出そうとしているものと同一のフレームの画素値情報）が書き込まれている場合に行うことができる。フレームメモリ１２は、読み出し操作の際に、全天周画像の画素値情報が未だ書き込まれていない場合には、例えば、当該画素値情報が書き込まれるまで待機する。簡便には、フレームメモリ１２は、読み出し操作を、全天周画像の画素値情報の書き込み操作が全て完了した後に実行する。

フレームメモリ１２としては、例えば、シングルポートメモリまたはデュアルポートメモリを用いることができる。フレームメモリ１２としてシングルポートメモリを用いる場合には、例えば、書き込みのタイミングと読み出しのタイミングとを時分割する。すなわち、フレームメモリ１２は、書き込みのタイミングで全天周画像の全ての画素値情報を書き込み、その直後の読み出しのタイミングで画素値情報の読み出しを実行する。

画像出力部１３は、所定の順序により出力画像信号である矩形画像の座標を走査した画像座標（矩形座標）ｉ，ｊを生成し、当該画像座標ｉ，ｊを座標変換部１４に出力する。また、画像出力部１３は、座標変換部１４に出力した画像座標ｉ，ｊが変換された読出画像座標ｘ_r，ｙ_rの画素値Ｉ（ｘ_r，ｙ_r）を、フレームメモリ１２から入力する。

画像出力部１３は、フレームメモリ１２から入力した画素値Ｉ（ｘ_r，ｙ_r）を矩形画像の画像座標ｉ，ｊにおける画素値（矩形画素値）Ｊ（ｉ，ｊ）として、出力画像信号である矩形画像を出力する。

画素値Ｉ（ｘ_r，ｙ_r）と画素値Ｊ（ｉ，ｊ）との間の関係は、以下の数式にて表される。

座標変換部１４は、画像出力部１３から矩形画像の画像座標ｉ，ｊを入力し、矩形画像の画像座標ｉ，ｊを全天周画像の読出画像座標ｘ_r，ｙ_rに変換し、読出画像座標ｘ_r，ｙ_rをフレームメモリ１２に出力する。

すなわち、座標変換部１４は、図１を参照して、矩形画像における直線ＱＳに並行する位置の矩形画素値が、菱形平面写像における直線ＱＳに並行する位置の画素値に対応し、菱形平面写像における直線ＱＳに並行する位置の画素値が、球面写像における所定緯度の画素値に対応し、球面写像における所定緯度の画素値が、全天周画像における所定緯度の全天周画素値に対応するように、矩形画像の画像座標ｉ，ｊを全天周画像の読出画像座標ｘ_r，ｙ_rに変換する。後述する図１６の座標変換部４２も同様の対応となるように、矩形画像の画像座標ｉ，ｊを全天周画像の書込画像座標ｘ_w，ｙ_wに変換する。

尚、座標変換部１４は、読出画像座標ｘ_r，ｙ_rをフレームメモリ１２の読出アドレスに変換し、読出画像座標ｘ_r，ｙ_rの代わりに読出アドレスをフレームメモリ１２に出力するようにしてもよい。

座標変換部１４による矩形画像の画像座標ｉ，ｊから全天周画像の読出画像座標ｘ_r，ｙ_rへの変換手法として、ルックアップテーブルを用いた手法、及び演算による手法がある。

（座標変換部１４／テーブルを用いた手法）
まず、テーブルを用いた手法について説明する。図４は、実施例１における第１の座標変換部１４の構成例を示すブロック図であり、図５は、実施例１における第１の座標変換部１４の処理例を示すフローチャートである。この座標変換部１４−１は、矩形／全天周座標変換部１５及びテーブル１６を備えている。

矩形／全天周座標変換部１５は、画像出力部１３から出力画像信号の画像座標である矩形画像の座標ｉ，ｊを入力する（ステップＳ５０１）。そして、矩形／全天周座標変換部１５は、入力した矩形画像の座標ｉ，ｊに対応する全天周画像の座標ｘ，ｙをテーブル１６から読み出す（ステップＳ５０２）。

矩形／全天周座標変換部１５は、読み出した座標ｘ，ｙを座標ｘ_ｒ，ｙ_ｒとし、全天周画像の座標ｘ_ｒ，ｙ_ｒをフレームメモリ１２に出力する（ステップＳ５０３）。

図６は、実施例１におけるテーブル１６のデータ構成例を示す図である。このテーブル１６は、矩形画像の座標ｉ，ｊと全天周画像の座標ｘ，ｙとの間の関係が定義されており、座標ｉ，ｊと座標ｘ，ｙとが対となって格納されている。

全天周画像の座標ｘ，ｙは、前記数式（７）において、座標ｘ（ｉ，ｊ），ｙ（ｉ，ｊ）をそれぞれ座標ｘ_ｒ，ｙ_ｒとした以下の数式にて予め算出され、テーブル１６に格納されれる。

このように、矩形画像の座標ｉ，ｊから全天周画像の座標ｘ_ｒ，ｙ_ｒへの変換を、テーブル１６を用いて行うことにより、当該変換処理を、複雑な演算を行うことなく短時間に実現することができる。

（座標変換部１４／演算による手法）
次に、座標変換部１４の演算による手法について説明する。図７は、実施例１における第２の座標変換部１４の構成例を示すブロック図であり、図８は、実施例１における第２の座標変換部１４の処理例を示すフローチャートである。この座標変換部１４−２は、矩形／菱形平面座標変換部１７、菱形平面／球面座標変換部１８及び球面／全天周座標変換部１９を備えている。

座標変換部１４−２は、前記数式（１７）により関数ｆ，ｇ，λ，φ，Λ，Φを用いて、矩形画像の座標ｉ，ｊを全天周画像の座標ｘ_ｒ，ｙ_ｒに変換する。

具体的には、矩形／菱形平面座標変換部１７は、画像出力部１３から出力画像信号の画像座標である矩形画像の座標ｉ，ｊを入力する（ステップＳ８０１）。そして、矩形／菱形平面座標変換部１７は、前記数式（２）（８）により関数ｆ，ｇを用いて、入力した矩形画像の座標ｉ，ｊを菱形平面写像の座標ｐ，ｑに変換する（ステップＳ８０２）。矩形／菱形平面座標変換部１７は、菱形平面写像の座標ｐ，ｑを菱形平面／球面座標変換部１８に出力する。

菱形平面／球面座標変換部１８は、矩形／菱形平面座標変換部１７から菱形平面写像の座標ｐ，ｑを入力し、前記数式（６）により関数λ，φを用いて、菱形平面写像の座標ｐ，ｑを球面写像の座標λ，φに変換する（ステップＳ８０３）。そして、菱形平面／球面座標変換部１８は、球面写像の座標λ，φを球面／全天周座標変換部１９に出力する。

球面／全天周座標変換部１９は、菱形平面／球面座標変換部１８から球面写像の座標λ，φを入力し、前記数式（９）により関数Λ，Φを用いて、球面写像の座標λ，φを全天周画像の座標ｘ_ｒ，ｙ_ｒに変換する（ステップＳ８０４）。そして、球面／全天周座標変換部１９は、全天周画像の座標ｘ_ｒ，ｙ_ｒをフレームメモリ１２に出力する（ステップＳ８０５）。

このように、矩形画像の座標ｉ，ｊから全天周画像の座標ｘ_ｒ，ｙ_ｒへの変換を、前記数式（１７）により関数ｆ，ｇ，λ，φ，Λ，Φを用いて行うことにより、正確な変換結果を得ることができる。例えば、入力画像信号の解像度が時間の経過と共に変化する場合に有効である。

〔画像幾何変換装置／実施例２〕
次に、任意の形式による全天周画像を矩形画像に変換する実施例２の画像幾何変換装置について説明する。図９は、実施例２の画像幾何変換装置の構成例を示すブロック図である。この画像幾何変換装置１−２は、画像入力部２１、座標変換部２２、フレームメモリ２３及び画像出力部２４を備えている。

画像入力部２１は、図３に示した画像入力部１１と同様に、入力画像信号であるエクイレクタングラー形式による全天周画像（画素値Ｉ（ｘ，ｙ））を入力する。そして、画像入力部２１は、全天周画像を所定の順序によって走査した画像座標ｘ，ｙを座標変換部２２に出力し、当該画像座標ｘ，ｙにおける画素値Ｉ（ｘ，ｙ）をフレームメモリ２３に出力する。例えば、走査はラスタ走査とする。

座標変換部２２は、画像入力部２１から画像座標ｘ，ｙを入力し、全天周画像の画像座標ｘ，ｙを矩形画像の書込画像座標ｉ_w，ｊ_wに変換し、書込画像座標ｉ_w，ｊ_wをフレームメモリ２３に出力する。

すなわち、座標変換部２２は、図１を参照して、全天周画像における所定緯度の全天周画素値が、球面写像における所定緯度の画素値に対応し、球面写像における所定緯度の画素値が、菱形平面写像における直線ＱＳに並行する位置の画素値に対応し、菱形平面写像における直線ＱＳに並行する位置の画素値が、矩形画像における直線ＱＳに並行する位置の矩形画素値に対応するように、全天周画像の画像座標ｘ，ｙを矩形画像の書込画像座標ｉ_w，ｊ_wに変換する。後述する図１５の座標変換部３４も同様の対応となるように、全天周画像の画像座標ｘ，ｙを矩形画像の読出画像座標ｉ_r，ｊ_rに変換する。

尚、座標変換部２２は、書込画像座標ｉ_w，ｊ_wをフレームメモリ２３の書込アドレスに変換し、書込画像座標ｉ_w，ｊ_wの代わりに書込アドレスをフレームメモリ２３に出力するようにしてもよい。

座標変換部２２による全天周画像の画像座標ｘ，ｙから矩形画像の書込画像座標ｉ_w，ｊ_wへの変換手法として、図３に示した座標変換部１４と同様に、ルックアップテーブルを用いた手法、及び演算による手法がある。詳細については後述する。

フレームメモリ２３は、座標変換部２２から書込画像座標ｉ_w，ｊ_wを入力すると共に、画像入力部２１から書込画像座標ｉ_w，ｊ_wにおける画素値Ｉ（ｘ，ｙ）を入力する。そして、フレームメモリ２３は、書込画像座標ｉ_w，ｊ_wに基づいて、当該書込画像座標ｉ_w，ｊ_wの画素値Ｉ（ｘ，ｙ）を保持すべきメモリ領域に対し、画素値Ｉ（ｘ，ｙ）を書き込む。

画素値Ｉ（ｘ，ｙ）と画素値Ｊ（ｉ_w，ｊ_w）との間の関係は、以下の数式にて表される。

尚、フレームメモリ２３は、座標変換部２２から書込アドレスを入力した場合、書込アドレスのメモリ領域に対し、画素値Ｉ（ｘ，ｙ）を書き込む。

フレームメモリ２３は、画像出力部２４から読出画像座標ｉ，ｊを入力する。そして、フレームメモリ２３は、読出画像座標ｉ，ｊに基づいて、当該読出画像座標ｉ，ｊの画素値Ｊ（ｉ，ｊ）を保持しているメモリ領域から画素値Ｊ（ｉ，ｊ）を読み出し、画素値Ｊ（ｉ，ｊ）を画像出力部２４に出力する。

尚、フレームメモリ２３は、画像出力部２４から、読出画像座標ｉ，ｊが当該フレームメモリ２３アドレスに変換された後述する読出アドレスを入力した場合、読出アドレスのメモリ領域から画素値Ｊ（ｉ，ｊ）を読み出して画像出力部２４に出力する。

また、フレームメモリ２３において、前述の読み出し操作は、読み出そうとするメモリ領域に既に全天周画像の画素値情報（動画像においては、読み出そうとしているものと同一のフレームの画素値情報）が書き込まれている場合に行うことができる。フレームメモリ２３は、読み出し操作の際に、全天周画像の画素値情報が未だ書き込まれていない場合には、例えば、当該画素値情報が書き込まれるまで待機する。簡便には、フレームメモリ２３は、読み出し操作を、全天周画像の画素値情報の書き込み操作が全て完了した後に実行する。

フレームメモリ２３としては、例えば、シングルポートメモリまたはデュアルポートメモリを用いることができる。フレームメモリ２３としてシングルポートメモリを用いる場合には、例えば、書き込みのタイミングと読み出しのタイミングとを時分割する。すなわち、フレームメモリ２３は、書き込みのタイミングで全天周画像の全ての画素値情報を書き込み、その直後の読み出しのタイミングで画素値情報の読み出しを実行する。

画像出力部２４は、所定の順序により出力画像信号である矩形画像の座標を走査した読出画像座標ｉ，ｊを生成し、当該読出画像座標ｉ，ｊをフレームメモリ２３に出力する。また、画像出力部２４は、フレームメモリ２３に出力した読出画像座標ｉ，ｊの画素値Ｊ（ｉ，ｊ）を、フレームメモリ２３から入力する。そして、画像出力部２４は、画素値Ｊ（ｉ，ｊ）からなる出力画像信号である矩形画像を出力する。

尚、画像出力部２４は、読出画像座標ｉ，ｊをフレームメモリ２３読出アドレスに変換し、読出画像座標ｉ，ｊの代わりに読出アドレスをフレームメモリ２３に出力するようにしてもよい。

（座標変換部２２／テーブルを用いた手法）
次に、座標変換部２２によるテーブルを用いた手法について説明する。図１０は、実施例２における第１の座標変換部２２の構成例を示すブロック図であり、図１１は、実施例２における第１の座標変換部２２の処理例を示すフローチャートである。この座標変換部２２−１は、全天周／矩形座標変換部２５及びテーブル２６を備えている。

全天周／矩形座標変換部２５は、画像入力部２１から入力画像信号の画像座標である全天周画像の座標ｘ，ｙを入力する（ステップＳ１１０１）。そして、全天周／矩形座標変換部２５は、入力した全天周画像の座標ｘ，ｙに対応する矩形画像の座標ｉ，ｊをテーブル２６から読み出す（ステップＳ１１０２）。

全天周／矩形座標変換部２５は、読み出した座標ｉ，ｊを座標ｉ_w，ｊ_wとし、矩形画像の座標ｉ_w，ｊ_wをフレームメモリ２３に出力する（ステップＳ１１０３）。

図１２は、実施例２におけるテーブル２６のデータ構成例を示す図である。このテーブル２６は、全天周画像の座標ｘ，ｙと矩形画像の座標ｉ，ｊとの間の関係が定義されており、座標ｘ，ｙと座標ｉ，ｊとが対となって格納されている。

矩形画像の座標ｉ，ｊは、前記数式（１１）において、ｉ（ｘ，ｙ），ｊ（ｘ，ｙ）をそれぞれｉ_w，ｊ_wとした以下の数式にて予め算出され、テーブル２６に格納される。

このように、全天周画像の座標ｘ，ｙから矩形画像の座標ｉ_w，ｊ_wへの変換を、テーブル２６を用いて行うことにより、当該変換処理を、複雑な演算を行うことなく短時間に実現することができる。

（座標変換部２２／演算による手法）
次に、座標変換部２２の演算による手法について説明する。図１３は、実施例２における第２の座標変換部２２の構成例を示すブロック図であり、図１４は、実施例２における第２の座標変換部２２の処理例を示すフローチャートである。この座標変換部２２−２は、全天周／球面座標変換部２７、球面／菱形平面座標変換部２８及び菱形平面／矩形座標変換部２９を備えている。

座標変換部２２−２は、前記数式（１９）により関数ｈ，ｋ，ｐ，ｑ，Ｐ，Ｑを用いて、全天周画像の座標ｘ，ｙを矩形画像の座標ｉ_w，ｊ_wに変換する。

具体的には、全天周／球面座標変換部２７は、画像入力部２１から入力画像信号の画像座標である全天周画像の座標ｘ，ｙを入力する（ステップＳ１４０１）。そして、全天周／球面座標変換部２７は、前記数式（１）（１２）により関数ｈ，ｋを用いて、入力した全天周画像の座標ｘ，ｙを球面写像の座標λ，φに変換する（ステップＳ１４０２）。全天周／球面座標変換部２７は、球面写像の座標λ，φを球面／菱形平面座標変換部２８に出力する。

球面／菱形平面座標変換部２８は、全天周／球面座標変換部２７から球面写像の座標λ，φを入力し、前記数式（１３）により関数ｐ，ｑを用いて、球面写像の座標λ，φを菱形平面写像の座標ｐ，ｑに変換する（ステップＳ１４０３）。そして、球面／菱形平面座標変換部２８は、菱形平面写像の座標ｐ，ｑを菱形平面／矩形座標変換部２９に出力する。

菱形平面／矩形座標変換部２９は、球面／菱形平面座標変換部２８から菱形平面写像の座標ｐ，ｑを入力し、前記数式（１４）により関数Ｐ，Ｑを用いて、菱形平面写像の座標ｐ，ｑを矩形画像の座標ｉ_w，ｊ_wに変換する（ステップＳ１４０４）。そして、菱形平面／矩形座標変換部２９は、矩形画像の座標ｉ_w，ｊ_wをフレームメモリ２３に出力する（ステップＳ１４０５）。

このように、全天周画像の座標ｘ，ｙから矩形画像の座標ｉ_w，ｊ_wへの変換を、前記数式（１９）により関数ｈ，ｋ，ｐ，ｑ，Ｐ，Ｑを用いて行うことにより、正確な変換結果を得ることができる。

〔画像幾何逆変換装置／実施例３〕
次に、矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置について説明する。この画像幾何逆変換装置は、実施例１，２の画像幾何変換装置１−１，１−２に対して逆の処理を行う。

まず、実施例３の画像幾何逆変換装置について説明する。実施例３の画像幾何逆変換装置は、図３に示した実施例１の画像幾何変換装置１−１の構成例において、入力画像信号である「任意の形式による全天周画像」の代わりに「矩形画像」を入力し、出力画像信号である「矩形画像」の代わりに「任意の形式による全天周画像」を出力する。

実施例３の画像幾何逆変換装置は、図３に示した実施例１の画像幾何変換装置１−１の座標変換部１４において、前記数式（７）の代わりに以下の数式を用い、

前記数式（１７）の代わりに以下の数式を用いて、全天周画像の座標ｉ，ｊを矩形画像の座標ｘ，ｙに変換する。

前記数式（２０）（２１）は、前記数式（７）（１７）の全天周画像の座標ｘ，ｙを全天周画像の座標ｉ，ｊに、矩形画像の座標ｉ，ｊを矩形画像の座標ｘ，ｙに、関数ｆ，ｇ，λ，φ，Λ，Φを関数ｈ，ｋ，ｐ，ｑ，Ｐ，Ｑにそれぞれ置き換えて表したものである。

このように、実施例３の画像幾何逆変換装置は、図３に示した実施例１の画像幾何変換装置１−１において、逆変換を実行することができる。

図１５は、実施例３の画像幾何逆変換装置の構成例を示すブロック図である。この画像幾何逆変換装置２−１は、画像入力部３１、フレームメモリ３２、画像出力部３３及び座標変換部３４を備えている。図１５は、図３に示した実施例１の画像幾何変換装置１−１の表記と同様に、矩形画像の座標ｉ，ｊ及びその画素値Ｊ（ｉ，ｊ）、全天周画像の座標ｘ，ｙ及びその画素値Ｉ（ｘ，ｙ）で示しており、前記数式（２０）（２１）の表記と異なる。

画像入力部３１、フレームメモリ３２、画像出力部３３及び座標変換部３４は、図３に示した画像入力部１１、フレームメモリ１２、画像出力部１３及び座標変換部１４にそれぞれ対応する。

画像入力部３１は、図３の画像入力部１１が入力する全天周画像の代わりに矩形画像（画素値Ｊ（ｉ，ｊ））を入力し、画像入力部１１と同様の処理を行う。そして、画像入力部３１は、画像入力部１１が出力する書込画像座標ｘ，ｙ（または書込アドレス）及びその画素値Ｉ（ｘ，ｙ）の代わりに、書込画像座標ｉ，ｊ及びその画素値Ｊ（ｉ，ｊ）をフレームメモリ３２に出力する。

フレームメモリ３２は、図３のフレームメモリ１２が入力する書込画像座標ｘ，ｙ（または書込アドレス）及びその画素値Ｉ（ｘ，ｙ）並びに読出画像座標ｘ_r，ｙ_r（または読出アドレス）の代わりに、書込画像座標ｉ，ｊ（または書込アドレス）及びその画素値Ｊ（ｉ，ｊ）並びに読出画像座標ｉ_r，ｊ_r（読出アドレス）を入力する。そして、フレームメモリ３２は、フレームメモリ１２と同様の処理を行い、フレームメモリ１２が出力する画素値Ｉ（ｘ_r，ｙ_r）の代わりに画素値Ｊ（ｉ_r，ｊ_r）を画像出力部３３に出力する。

画像出力部３３は、図３の画像出力部１３が出力する画像座標ｉ，ｊの代わりに画像座標ｘ，ｙを座標変換部３４に出力し、画像出力部１３と同様の処理を行う。画像出力部３３は、画像出力部１３が入力する画素値Ｉ（ｘ_r，ｙ_r）の代わりに画素値Ｊ（ｉ_r，ｊ_r）を入力し、画像出力部１３が出力する矩形画像の代わりに全天周画像を出力する。

座標変換部３４は、画像出力部３３から画像座標ｘ，ｙを入力し、図３における座標変換部１４の逆の処理、すなわち図９の座標変換部２２と同様の処理を行う。つまり、座標変換部３４は、全天周画像の画像座標ｘ，ｙを矩形画像の読出画像座標ｉ_r，ｊ_rに変換する。そして、座標変換部３４は、読出画像座標ｉ_r，ｊ_r（または読出アドレス）をフレームメモリ３２に出力する。

座標変換部３４による全天周画像の画像座標ｘ，ｙから矩形画像の読出画像座標ｉ_r，ｊ_rへの変換手法として、例えば図１０〜図１２に示したルックアップテーブルを用いた手法、図１３，１４に示した演算による手法がある。

〔画像幾何逆変換装置／実施例４〕
次に、矩形画像を任意の形式による全天周画像に変換する実施例４の画像幾何逆変換装置について説明する。実施例４の画像幾何逆変換装置は、図９に示した実施例２の画像幾何変換装置１−２の構成例において、入力画像信号である「任意の形式による全天周画像」の代わりに「矩形画像」を入力し、出力画像信号である「矩形画像」の代わりに「任意の形式による全天周画像」を出力する。

実施例４の画像幾何逆変換装置は、図９に示した実施例２の画像幾何変換装置１−２の座標変換部２２において、前記数式（１１）の代わりに以下の数式を用い、

前記数式（１９）の代わりに以下の数式を用いて、矩形画像の座標ｘ，ｙを全天周画像の座標ｉ，ｊに変換する。

前記数式（２２）（２３）は、前記数式（１１）（１９）の矩形画像の座標ｉ，ｊを矩形画像の座標ｘ，ｙに、全天周画像の座標ｘ，ｙを全天周画像の座標ｉ，ｊに、関数ｈ，ｋ，ｐ，ｑ，Ｐ，Ｑを関数ｆ，ｇ，λ，φ，Λ，Φにそれぞれ置き換えて表したものである。

このように、実施例４の画像幾何逆変換装置は、図９に示した実施例２の画像幾何変換装置１−２の構成において、逆変換を実行することができる。

図１６は、実施例４の画像幾何逆変換装置の構成例を示すブロック図である。この画像幾何逆変換装置２−２は、画像入力部４１、座標変換部４２、フレームメモリ４３及び画像出力部４４を備えている。図１６は、図９に示した実施例２の画像幾何変換装置１−２の表記と同様に、矩形画像の座標ｉ，ｊ及びその画素値Ｊ（ｉ，ｊ）、全天周画像の座標ｘ，ｙ及びその画素値Ｉ（ｘ，ｙ）で示しており、前記数式（２２）（２３）の表記と異なる。

画像入力部４１、座標変換部４２、フレームメモリ４３及び画像出力部４４は、図９に示した画像入力部２１、座標変換部２２、フレームメモリ２３及び画像出力部２４にそれぞれ対応する。

画像入力部４１は、図９の画像入力部２１が入力する全天周画像の代わりに矩形画像（画素値Ｊ（ｉ，ｊ））を入力し、画像入力部２１と同様の処理を行う。そして、画像入力部４１は、画像入力部２１が出力する画像座標ｘ，ｙ及びその画素値Ｉ（ｘ，ｙ）の代わりに、画像座標ｉ，ｊを座標変換部４２に出力すると共に、その画素値Ｊ（ｉ，ｊ）をフレームメモリ４３に出力する。

座標変換部４２は、画像入力部４１から画像座標ｉ，ｊを入力し、図９における座標変換部２２の逆の処理、すなわち図３の座標変換部１４と同様の処理を行う。つまり、座標変換部４２は、矩形画像の画像座標ｉ，ｊを全天周画像の書込画像座標ｘ_w，ｙ_wに変換する。そして、座標変換部４２は、書込画像座標ｘ_w，ｙ_w（または書込アドレス）をフレームメモリ４３に出力する。

座標変換部４２による矩形画像の画像座標ｉ，ｊから全天周画像の書込画像座標ｘ_w，ｙ_wへの変換手法として、例えば図４〜図６に示したルックアップテーブルを用いた手法、図７，８に示した演算による手法がある。

フレームメモリ４３は、図９のフレームメモリ２３が入力する書込画像座標ｉ_w，ｊ_w（書込アドレス）及びその画素値Ｉ（ｘ，ｙ）並びに読出画像座標ｉ，ｊ（または読出アドレス）の代わりに、書込画像座標ｘ_w，ｙ_w（書込アドレス）及びその画素値Ｊ（ｉ，ｊ）並びに読出画像座標ｘ，ｙ（または読出アドレス）を入力する。そして、フレームメモリ４３は、フレームメモリ２３と同様の処理を行い、フレームメモリ２３が出力する画素値Ｊ（ｉ，ｊ）の代わりに画素値Ｉ（ｘ，ｙ）を画像出力部４４に出力する。

画像出力部４４は、図９の画像出力部２４が出力する読出画像座標ｉ，ｊ（または読出アドレス）の代わりに読出画像座標ｘ，ｙ（または読出アドレス）を出力し、画像出力部２４と同様の処理を行う。画像出力部４４は、画像出力部２４が入力する画素値Ｊ（ｉ，ｊ）の代わりに画素値Ｉ（ｘ，ｙ）を入力し、画像出力部２４が出力する矩形画像の代わりに全天周画像を出力する。

〔実施例１，２の効果〕
以上のように、実施例１の画像幾何変換装置１−１及び実施例２の画像幾何変換装置１−２は、エクイレクタングラー形式による全天周画像を矩形画像に変換するようにした。

これにより、大きな面積歪み（赤道：極＝１：∞）を有するエクイレクタングラー形式による全天周画像を、より小さな面積歪み（赤道：極＝１：（２／π）≒１：０．６３６６）を有する矩形画像に変換することができる。

図１７（１）は、エクイレクタングラー形式による全天周画像の例を示す概略図であり、図１７（２）は、矩形画像の例を示す概略図である。図１７（１）の全天周画像の北極点Ａが、図１７（２）の矩形画像の点Ｐに対応し、全天周画像の南極点Ｃ、赤道上の左端の点Ｂ及び右端の点Ｄが、矩形画像の点Ｒ、点Ｑ及び点Ｓにそれぞれ対応する。

これらの概略図から、赤道から極までの間で大きな面積歪みを有する全天周画像が、小さな面積歪みを有する矩形画像に変換されることがわかる。

そして、例えば、矩形画像を非可逆符号化方式により画像圧縮した場合、または矩形画像に対して所定の画像処理を施した場合には、それによって生じ得る画質の緯度依存性を抑制することが可能となる。つまり、画像圧縮または画像処理を行った場合、全天周画像よりも矩形画像の方が、緯度の違いに伴う画質の変化が少なくなり、画質のバランスがよくなる。

また、エクイレクタングラー形式による全天周画像では、極に近づくほど形状が経度方向に引き伸ばされるが、矩形画像では経度方向の伸縮が少ない。

これにより、例えば、矩形画像を非可逆符号化方式により画像圧縮した場合、または矩形画像に対して所定の画像処理を施した場合に生じ得る画質の非等方性を抑制することが可能となる。つまり、画像圧縮または画像処理を行った場合、全天周画像よりも矩形画像の方が、画質の等方性を実現することができる。したがって、全天周画像の面積歪みに起因する画像劣化を軽減することができる。

〔実施例３，４の効果〕
以上のように、実施例３の画像幾何逆変換装置２−１及び実施例４の画像幾何逆変換装置２−２は、実施例１の画像幾何変換装置１−１及び実施例２の画像幾何変換装置１−２の逆変換をそれぞれ行うようにした。すなわち、実施例３の画像幾何逆変換装置２−１及び実施例４の画像幾何逆変換装置２−２は、矩形画像をエクイレクタングラー形式による全天周画像に変換するようにした。

これにより、全天周画像を直接符号化（圧縮）して復号（伸張）する場合、または全天周画像に直接フィルタ処理を施す場合よりも、画像幾何変換装置１−１，１−２及び画像幾何逆変換装置２−１，２−２を用いて、一旦矩形画像に変換した後に処理した方が、緯度依存性及び非等方性を抑制し、歪みの小さい画像を得ることができる。

図１８（１）は、全天周画像に対して符号化及び復号を行う従来技術の構成例を示す図であり、図１８（２）は、矩形画像に対して符号化及び復号を行う本発明の実施例１〜４の構成例を示す図である。

図１８（１）において、符号化器１００は、全天周画像を入力して符号化を行い、符号データを復号器１０１へ出力する。復号器１０１は、符号化器１００から符号データを入力して復号を行い、元の全天周画像に復元し、全天周画像を出力する。

図１８（２）において、符号化側は、画像幾何変換装置１及び符号化器１００を備えており、復号側は、復号器１０１及び画像幾何逆変換装置２を備えている。画像幾何変換装置１は、全天周画像を入力して矩形画像に変換し、矩形画像を符号化器１００に出力する。符号化器１００は、画像幾何変換装置１から矩形画像を入力して符号化を行い、符号データを復号器１０１へ出力する。

復号器１０１は、符号化器１００から符号データを入力して復号を行い、矩形画像を生成して画像幾何逆変換装置２に出力する。画像幾何逆変換装置２は、復号器１０１から矩形画像を入力して元の全天周画像に変換し、全天周画像を出力する。

図１８（１）の従来技術では、面積歪みの大きい全天周画像に対して符号化及び復号が行われるから、復元した全天周画像の面積歪みはさらに大きくなる。これに対し、図１８（２）の実施例１〜４では、面積歪みの小さい全天周画像に対して符号化及び復号が行われるから、復元した全天周画像の面積歪みは、図１８（１）の場合に比べ小さくなる。

例えば、全天周画像を符号化側から復号側へ伝送し、ヘッドマウントディスプレイに画像を表示する場合、図１８（２）の実施例１〜４の方が図１８（１）の従来技術よりも、面積歪みの小さい画像を表示することができる。画像幾何逆変換装置２が出力する全天周画像を表示する場合のみならず、復号器１０１が出力する矩形画像を表示する場合も同様に、面積歪みを小さくすることができる。

図１９（１）は、全天周画像に対してフィルタ処理を行う従来技術の構成例を示す図であり、図１９（２）は、矩形画像に対してフィルタ処理を行う本発明の実施例１〜４の構成例を示す図である。

図１９（１）において、フィルタ１０２は、全天周画像を入力し、ぼかし、モザイク等の所定のフィルタ処理を行い、フィルタ後の全天周画像を出力する。

図１９（２）において、画像幾何変換装置１は、全天周画像を入力して矩形画像に変換し、矩形画像をフィルタ１０２に出力する。フィルタ１０２は、画像幾何変換装置１から矩形画像を入力して所定のフィルタ処理を行い、フィルタ後の矩形画像を画像幾何逆変換装置２に出力する。画像幾何逆変換装置２は、フィルタ１０２からフィルタ後の矩形画像を入力して全天周画像に変換し、全天周画像を出力する。

図１９（１）の従来技術では、面積歪みの大きい全天周画像に対してフィルタ処理が行われるから、フィルタ後の全天周画像は、面積歪みの影響を大きく受けることとなる。これに対し、図１９（２）の実施例１〜４では、面積歪みの小さい矩形画像に対してフィルタ処理が行われるから、フィルタ後の矩形画像が変換された全天周画像は、図１９（１）の場合に比べ、面積歪みの影響が小さくなる。これは、フィルタ処理後の矩形画像についても同様である。つまり、図１９（２）の実施例１〜４において、フィルタ処理後の矩形画像または全天周画像を用いることにより、所望のフィルタ処理が反映された自然な画像を得ることができる。

このように、画像幾何変換装置１−１，１−２及び画像幾何逆変換装置２−１，２−２を用いることで、緯度依存性及び非等方性を抑制し、画質劣化の少ない全天周画像を得ることができる。

以上、実施例１〜４を挙げて本発明を説明したが、本発明は前記実施例１〜４に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

尚、本発明の実施例１の画像幾何変換装置１−１、実施例２の画像幾何変換装置１−２、実施例３の画像幾何逆変換装置２−１及び実施例４の画像幾何逆変換装置２−２のハードウェア構成としては、通常のコンピュータを使用することができる。画像幾何変換装置１−１，１−２及び画像幾何逆変換装置２−１，２−２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

画像幾何変換装置１−１に備えた画像入力部１１、フレームメモリ１２、画像出力部１３及び座標変換部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、画像幾何変換装置１−２に備えた画像入力部２１、座標変換部２２、フレームメモリ２３及び画像出力部２４の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、画像幾何逆変換装置２−１に備えた画像入力部３１、フレームメモリ３２、画像出力部３３及び座標変換部３４の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、画像幾何逆変換装置２−２に備えた画像入力部４１、座標変換部４２、フレームメモリ４３及び画像出力部４４の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 画像幾何変換装置
２ 画像幾何逆変換装置
１１，２１，３１，４１ 画像入力部
１２，２３，３２，４３ フレームメモリ
１３，２４，３３，４４ 画像出力部
１４，２２，３４，４２ 座標変換部
１５ 矩形／全天周座標変換部
１６，２６ テーブル
１７ 矩形／菱形平面座標変換部
１８ 菱形平面／球面座標変換部
１９ 球面／全天周座標変換部
２５ 全天周／矩形座標変換部
２７ 全天周／球面座標変換部
２８ 球面／菱形平面座標変換部
２９ 菱形平面／矩形座標変換部
１００ 符号化器
１０１ 復号器
１０２ フィルタ

Claims (12)

1. 任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、
   前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、
   前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、
   前記画像入力部により出力された前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、
   前記矩形座標を前記全天周座標に変換する座標変換部と、
   前記座標変換部により変換された前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、当該全天周画素値を前記矩形画素値として、前記矩形画像を出力する画像出力部と、を備え、
   前記座標変換部は、
   前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、
   前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、
   前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、
   前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、
   前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、
   前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、
   前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、
   前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、
   前記矩形座標を前記全天周座標に変換する、ことを特徴とする画像幾何変換装置。
2. 請求項１に記載の画像幾何変換装置において、
   前記座標変換部は、
   予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、
   前記テーブルには、
   前記菱形平面写像の座標をｐ，ｑとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとして、
   所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標ｐ，ｑに変換され、
   以下の数式を用いて、
   

   

   前記菱形平面写像の座標ｐ，ｑが前記球面写像の座標λ，φに変換され、
   所定の関数を用いて、前記球面写像の座標λ，φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする画像幾何変換装置。
3. 任意の形式による全天周画像を矩形画像に変換する画像幾何変換装置であって、
   前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値とし、前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値として、
   前記全天周画像を入力し、当該全天周画像を走査して前記全天周座標及び前記全天周画素値を出力する画像入力部と、
   前記画像入力部により出力された前記全天周座標を前記矩形座標に変換する座標変換部と、
   前記画像入力部により出力された前記全天周座標を、前記座標変換部により変換された前記矩形座標の前記矩形画素値とし、前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、
   前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、前記矩形画像を出力する画像出力部と、を備え、
   前記座標変換部は、
   前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、
   前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、
   前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、
   前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、
   前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、
   前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、
   前記球面写像における前記所定緯度の画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、
   前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値に対応するように、
   前記全天周座標を前記矩形座標に変換する、ことを特徴とする画像幾何変換装置。
4. 請求項３に記載の画像幾何変換装置において、
   前記座標変換部は、
   予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、
   前記テーブルには、
   前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとし、前記菱形平面写像の座標をｐ，ｑとして、
   所定の関数を用いて、前記全天周座標が前記球面写像の座標λ，φに変換され、
   以下の数式を用いて、
   

   

   前記球面写像の座標λ，φが前記菱形平面写像の座標ｐ，ｑに変換され、
   所定の関数を用いて、前記菱形平面写像の座標ｐ，ｑが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする画像幾何変換装置。
5. 請求項２または４に記載の画像幾何変換装置において、
   前記所定の関数を、アフィン写像、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする画像幾何変換装置。
6. 矩形画像を任意の形式による全天周画像に変換する画像幾何逆変換装置であって、
   前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、
   前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、
   前記画像入力部により出力された前記矩形座標、及び当該矩形座標の前記矩形画素値を格納するフレームメモリと、
   前記全天周座標を前記矩形座標に変換する座標変換部と、
   前記座標変換部により変換された前記矩形座標の前記矩形画素値を前記フレームメモリから読み出し、当該矩形画素値を前記全天周画素値として、前記全天周画像を出力する画像出力部と、を備え、
   前記座標変換部は、
   前記全天周画像を球面写像に投影し、当該球面写像を菱形平面写像に投影し、当該菱形平面写像を前記矩形画像に投影するときの、
   前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、
   前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、
   前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、
   前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、
   前記全天周画像における所定緯度の前記全天周画素値が、前記球面写像における前記所定緯度の画素値に対応し、
   前記球面写像における前記所定緯度の画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、
   前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値に対応するように、
   前記全天周座標を前記矩形座標に変換する、ことを特徴とする画像幾何逆変換装置。
7. 請求項６に記載の画像幾何逆変換装置において、
   前記座標変換部は、
   予め設定されたテーブルを用いて、前記全天周座標を前記矩形座標に変換し、
   前記テーブルには、
   前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとし、前記菱形平面写像の座標をｐ，ｑとして、
   所定の関数を用いて、前記全天周座標が前記球面写像の座標λ，φに変換され、
   以下の数式を用いて、
   

   

   前記球面写像の座標λ，φが前記菱形平面写像の座標ｐ，ｑに変換され、
   所定の関数を用いて、前記菱形平面写像の座標ｐ，ｑが前記矩形座標に変換される場合の、前記全天周座標と前記矩形座標との間の関係が定義されている、ことを特徴とする画像幾何逆変換装置。
8. 任意の形式による矩形画像を全天周画像に変換する画像幾何逆変換装置であって、
   前記矩形画像の座標を矩形座標とし、前記矩形画像の画素値を矩形画素値とし、前記全天周画像の座標を全天周座標とし、前記全天周画像の画素値を全天周画素値として、
   前記矩形画像を入力し、当該矩形画像を走査して前記矩形座標及び前記矩形画素値を出力する画像入力部と、
   前記画像入力部により出力された前記矩形座標を前記全天周座標に変換する座標変換部と、
   前記画像入力部により出力された前記矩形座標を、前記座標変換部により変換された前記全天周座標の前記全天周画素値とし、前記全天周座標、及び当該全天周座標の前記全天周画素値を格納するフレームメモリと、
   前記全天周座標の前記全天周画素値を前記フレームメモリから読み出し、前記全天周画像を出力する画像出力部と、を備え、
   前記座標変換部は、
   前記矩形画像を菱形平面写像に投影し、当該菱形平面写像を球面写像に投影し、当該球面写像を前記全天周画像に投影するときの、
   前記球面写像の両極の２頂点を点Ａ及び点Ｃとし、前記球面写像に定義した本初子午線に対して経度πラジアンの子午線で前記球面写像の球面を割いたときの各半円弧上にあり、かつ赤道上にある２点をそれぞれ点Ｂ及び点Ｄとして、
   前記全天周画像の両極と、前記球面写像の前記点Ａ及び前記点Ｃとがそれぞれ対応し、前記全天周画像の端の経線と赤道とが交わる両点と、前記球面写像の前記点Ｂ及び前記点Ｄとがそれぞれ対応し、
   前記球面写像の前記点Ａ、前記点Ｂ、前記点Ｃ及び前記点Ｄと、前記菱形平面写像の各頂点である点Ｐ、点Ｑ、点Ｒ及び点Ｓとがそれぞれ対応し、
   前記菱形平面写像の前記点Ｐ、前記点Ｑ、前記点Ｒ及び前記点Ｓと、前記矩形画像の各頂点である点Ｐ’、点Ｑ’、点Ｒ’及び点Ｓ’とがそれぞれ対応する場合に、
   前記矩形画像における前記点Ｑ’及び前記点Ｓ’を結ぶ直線Ｑ’Ｓ’に並行する位置の前記矩形画素値が、前記点Ｑ及び前記点Ｓを結ぶ直線ＱＳに並行する位置の前記菱形平面写像の画素値に対応し、
   前記菱形平面写像における前記直線ＱＳに並行する位置の前記画素値が、前記球面写像における所定緯度の画素値に対応し、
   前記球面写像における前記所定緯度の前記画素値が、前記全天周画像における前記所定緯度の前記全天周画素値に対応するように、
   前記矩形座標を前記全天周座標に変換する、ことを特徴とする画像幾何逆変換装置。
9. 請求項８に記載の画像幾何逆変換装置において、
   前記座標変換部は、
   予め設定されたテーブルを用いて、前記矩形座標を前記全天周座標に変換し、
   前記テーブルには、
   前記菱形平面写像の座標をｐ，ｑとし、前記球面写像の経度及び緯度をそれぞれλ及びφとしたときの座標をλ，φとして、
   所定の関数を用いて、前記矩形座標が前記菱形平面写像の座標ｐ，ｑに変換され、
   以下の数式を用いて、
   

   

   前記菱形平面写像の座標ｐ，ｑが前記球面写像の座標λ，φに変換され、
   所定の関数を用いて、前記球面写像の座標λ，φが前記全天周座標に変換される場合の、前記矩形座標と前記全天周座標との間の関係が定義されている、ことを特徴とする画像幾何逆変換装置。
10. 請求項７または９に記載の画像幾何逆変換装置において、
    前記所定の関数を、アフィン写像を行う関数、またはアフィン写像の後に量子化を行う関数とする、ことを特徴とする画像幾何逆変換装置。
11. コンピュータを、請求項１から５までのいずれか一項に記載の画像幾何変換装置として機能させるためのプログラム。
12. コンピュータを、請求項６から１０までのいずれか一項に記載の画像幾何逆変換装置として機能させるためのプログラム。

Images