JP2005063141A - 画像変換システム及び画像変換方法 - Google Patents

Abstract

【課題】 第１の座標から第２の座標への画像変換を従来と比較して高速に処理することが可能であり、さらには種々のレンズやミラーに対応可能にする。
【解決手段】 マッピング手段１２が又はマッピングステップにおいて、第１の座標系と第２の座標系とを対応付ける対応テーブルＴを参照して、第２の座標系上に、対応テーブルＴにおいて対応付けられた第１の座標系上の画素をマッピングする。対応テーブルＴを参照してマッピングを行うため、従来のように座標ごとに画素のマッピング位置を座標変換式を用いて演算する場合と比較して、変換処理の高速化が図られる。
【選択図】 図５

Description

本発明は、第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換システム及び画像変換方法に関するものである。

近年、携帯電話やパーソナルコンピュータ等の端末の高機能化やインフラの整備に伴い、周囲最大３６０度を撮像して得られる画像を、端末の表示画面に表示するサービスが広く展開されている。たとえば、魚眼レンズ等を取り付けたカメラで撮像して得られる周囲最大３６０度の円形の動画像や静止画像を、長方形状のパノラマ画像に変換して端末に表示し、防犯用の監視や不動産情報等として利用している。

周囲最大３６０度の画像は、全方位や広角の曲面レンズや曲面ミラーを使用してデジタルカメラ等の撮像手段で撮像して得られ、この画像は一般に射影画像と呼ばれている。たとえば、広角レンズの一種である魚眼レンズの場合は、魚眼レンズの置かれた位置から魚眼レンズの曲面を通して見える像を、そのまま曲面に貼り付けたと仮定すると、その曲面に貼り付けた３次元空間の像を、２次元空間の平面上に、該平面に垂直に押し潰して貼り付けるように射影した像が、正射影方式の魚眼レンズの円形の射影画像となり、全方位ミラーを使用した場合はミラーの曲面に映る３次元空間の像を２次元空間の平面上に押しつぶして貼り付けるように射影した像が射影画像となる。全方位や広角の曲面レンズや曲面ミラーを使用して得られる射影画像は歪みのある円形であるため、端末に表示する際には、コンピュータシステムにより歪みを補正して、あたかも撮像手段を水平に回しながら全景を撮像したかのような四角形状のパノラマ画像に変換する処理を行ってから端末に表示することが多い。円形射影画像をパノラマ画像に変換する方法としては、第１の座標系（極座標系）上の円形射影画像の画素を、第２の座標系（直交座標系）にマッピングする方法が用いられる。

特開２００１−３３１７８９号公報

特許文献１には、第１の座標系（極座標系）上の円形射影画像を第２の座標系（直交座標系）上のパノラマ画像に変換する変換原理が開示されている。この変換原理では、第２の座標系上の座標（ｘ，ｙ）に対応する第１の座標系（入力円形画像）上の座標（Ｘ，Ｙ）を所定の座標変換式を用いて演算することにより求め、算出された第１の座標系上の座標（Ｘ，Ｙ）にある円形射影画像の画素を第２の座標系上の座標（ｘ，ｙ）にマッピングすることにより、円形射影画像をパノラマ画像に画像変換している。

ところで、近年はコンピュータ処理において画面表示に対する高速化の要望が高まっており、パノラマ画像の表示においても、いかに速く円形射影画像を歪みのないパノラマ画像に変換して表示するかが重要となっている。しかしながら、特許文献１の変換原理では、座標ごとに座標変換式を用いて演算する必要があるため、変換処理に時間がかかり、ユーザによるパノラマ画像の表示指令から表示までの待ち状態の時間は無視できるものではなかった。とくに、第２の座標系上の総ての座標について座標変換式を用いて演算を行う場合はさらに処理時間がかかり、デジタルカメラ等の撮像手段の高解像度化と相俟って、表示までの待ち時間は大きな問題となっていた。

また、射影画像は、曲面レンズや曲面ミラーの曲面を平面に射影して得られるため画像が歪んだ状態であり、この画像の歪みは曲面レンズや曲面ミラーの曲面の曲率に依存する。このため、円形射影画像をパノラマ画像に変換する場合には、曲率に応じた歪み補正を行う必要がある。しかしながら、従来の画像変換は、特定の曲率にのみ対応して画像変換するものであるため、その特定の曲率以外の曲面レンズや曲面ミラーを使用して撮像した射影画像については、適正な歪み補正を行うことができなかった。

この問題は、円形射影画像からパノラマ画像への変換だけでなく、例えば、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元座標系上の画像を二次元座標系上の画像に変換する場合など、ある座標系上の射影画像を、他の座標系上にマッピングする画像変換処理において共通して生じていた。

そこで、本発明の目的は、第１の座標から第２の座標への画像変換を従来と比較して高速に処理することが可能であり、さらには種々のレンズやミラーに対応可能な画像変換システム及び画像変換方法を提供することにある。

上述の目的を達成するために、本発明の請求項１記載の画像変換システムは、第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換システムにおいて、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピング手段を備えることを特徴とする。また、本発明の請求項９記載の画像変換方法は、第１の座標系上の射影画像の画素を、第２の座標系にマッピングして画像変換する画像変換方法において、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピングステップを備えることを特徴とする。

請求項１記載の発明によればマッピング手段が、請求項９記載の発明によればマッピングステップにおいて、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照して、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングする。対応テーブルを参照してマッピングを行うため、従来のように座標ごとに画素のマッピング位置を座標変換式を用いて演算する場合と比較して、変換処理の高速化が図られる。

本発明の請求項２記載の画像変換システムは、請求項１記載の発明を前提として、前記第１の座標系は極座標系であり、前記第２の座標系は直交座標系であることを特徴とする。本発明の請求項１０記載の画像変換方法は、請求項９記載の発明を前提として、前記第１の座標系は極座標系であり、前記第２の座標系は直交座標系であることを特徴とする。

全方位又は広角の曲面レンズや曲面ミラーを使用して得られる射影画像は円形であり、この円形射影画像はパノラマ画像に変換されて表示されることが多い。請求項２又は請求項１０記載の発明によれば、第１の座標系は極座標系であり、第２の座標系は直交座標系であるため、全方位や広角の曲面ミラーや曲面レンズを使用して得られる円形射影画像をパノラマ画像に変換するに際しても、対応テーブルを参照して変換処理の高速化が図られる。

本発明の請求項３記載の画像変換システムは、請求項２記載の発明を前提として、前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における水平方向の角度を角θ、円形平面の中心からの仰角を角φ、円形平面の中心からの距離を距離ｒとすると、第１の座標系は、角θ及び距離ｒで表される極座標系であり、第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、前記対応テーブルは、第１の座標系の距離ｒと、第２の座標系の角φとを対応付ける対応テーブルであり、前記マッピング手段は、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする。本発明の請求項１１記載の画像変換方法は、請求項１０記載の発明を前提として、前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における水平方向の角度を角θ、円形平面の中心からの仰角を角φ、円形平面の中心からの距離を距離ｒとすると、第１の座標系は、角θ及び距離ｒで表される極座標系であり、第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、前記対応テーブルは、第１の座標系の距離ｒと、第２の座標系の角φとを対応付ける対応テーブルであり、前記マッピングステップにおいては、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする。

全方位や広角の曲面レンズや曲面ミラーの曲面を平面に射影すると円形射影画像が得られ、曲面上の点が円形平面に映される位置は、曲面レンズや曲面ミラーの曲面の曲率に依存する。すなわち、曲面上の座標（θ，φ）と、その座標（θ，φ）の像が射影される円形平面上の座標（θ，ｒ）について、角φと距離ｒとの対応は曲面レンズや曲面ミラーの曲率に依存する。請求項３記載の発明によればマッピング手段が、請求項１１記載の発明によればマッピングステップにおいて、角φと距離ｒとを対応付ける対応テーブルを参照し、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われる。対応テーブルは、第２の座標系上のスキャンされる座標（θ，φ）の順に、角φに対応する距離ｒが配列する距離ｒの配列であることが好ましい。

本発明の請求項４記載の画像変換システムは、請求項１乃至請求項３のいずれか１項に記載の発明を前提として、前記マッピング手段は、第１の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。本発明の請求項１２記載の画像変換方法は、請求項９乃至請求項１１のいずれか１項に記載の発明を前提として、前記マッピングステップにおいて、第１の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。

請求項４記載の発明によればマッピング手段が、請求項１２記載の発明によればマッピングステップにおいて、第１の座標系上の総ての画素のうち一部の画素のみを第２の座標系にマッピングするため、総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。なお、一部の画素のみをマッピングすることにより得られる第２の座標系上の画像は不明瞭であるため、第２の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段又はフィルタリングステップを備えることが、画像の鮮明化の観点から好ましい。フィルタリング手段は、画像変換システムが備えても良いし、例えば画像変換システムで変換された画像をインターネットを介してダウンロードして表示する端末が備えても良く、また、フィルタリングステップは画像変換システムの処理で行われても良いし、上記画像を表示する端末で行われても良い。

本発明の請求項５記載の画像変換システムは、請求項１乃至請求項４のいずれか１項に記載の発明を前提として、前記マッピング手段は、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。本発明の請求項１３記載の画像変換方法は、請求項９乃至請求項１２のいずれか１項に記載の発明を前提として、前記マッピングステップにおいて、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。

視野角が全方位や広角の曲面レンズや曲面ミラーは、レンズやミラーごとに曲面の曲率が異なる。請求項５又は請求項１３記載の発明によれば、曲面レンズや曲面ミラーの曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用された曲面レンズや曲面ミラーの曲面の曲率に応じた画像変換が行われる。

本発明の請求項６記載の画像変換システムは、請求項１乃至請求項５のいずれか１項に記載の発明を前提として、第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成手段を備えることを特徴とする。本発明の請求項１４記載の画像変換方法は、請求項９乃至請求項１３のいずれか１項に記載の発明を前提として、第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成ステップを備えることを特徴とする。

請求項６記載の発明によれば対応テーブル生成手段が、請求項１４記載の発明によれば対応テーブル生成ステップにおいて、ユーザにより入力された第１の座標系と第２の座標系とを対応付ける対応情報に基づいて対応テーブルを生成するため、ユーザの要望に応じた画像変換を行うことが可能である。

本発明の請求項７記載の画像変換システムは、請求項６記載の発明を前提として、前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする。本発明の請求項１５記載の画像変換方法は、請求項１４記載の発明を前提として、前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする。

請求項７記載の発明によれば対応テーブル生成手段が、請求項１５に記載の発明によれば対応テーブル生成ステップにおいて、ユーザにより入力された角φと距離ｒとを対応付ける対応情報に基づいて対応テーブルを生成するため、種々の曲面レンズや曲面ミラーごとに、その曲率に応じた変換処理を行うことが可能である。

本発明の請求項８記載の画像変換システムは、前記請求項７記載の発明を前提として、前記対応テーブル生成手段は、角φと距離ｒと対応付ける対応線を備える第２の座標系 を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。本発明の請求項１６記載の画像変換方法は、前記請求項１５記載の発明を前提として、前記対応テーブル生成ステップにおいて、角φと距離ｒと対応付ける対応線を備える第２の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。

請求項８又は請求項１６記載の発明によれば、ユーザは第２の座標系上の対応線を移動させるだけで、角φと距離ｒとを対応付ける対応情報を簡単に入力することができる。

本発明の画像変換システム及び画像変換方法によれば、対応テーブルを参照してマッピングを行うため、座標ごとに座標変換式を用いて演算する従来と比較して変換処理の高速化が図られ、とくに円形射影画像をパノラマ画像に変換する場合に、対応テーブルを参照して円形射影画像を極座標系から直交座標系にマッピングを行うことにより変換処理の高速化が図られる。第２の座標上の総ての画素のうち、一部の画素のみについてマッピングを行うことにより、一層の高速化が図られる。

さらに、全方位レンズ等の曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用されたレンズやミラーの曲率に応じた画像変換が行われ、種々のレンズやミラーの曲率に対応することが可能である。

以下、本発明の画像変換システム及び画像変換方法について、図面を参照しながら説明する。本実施の形態は、曲面レンズや曲面ミラーを利用して得られる全方位の円形射影画像をパノラマ画像に変換する場合を例に説明する。

本実施形態の画像変換システム１は、例えばパーソナルコンピュータなどのコンピュータシステムによって実現される。図１は、本実施形態の画像変換システム１とその周辺装置の模式図である。画像変換システム１は、全方位カメラや広角カメラ等の撮像装置２と液晶ディスプレイなどの表示装置３と接続される。

（撮像装置）
撮像装置２は、周囲最大３６０度の画像を撮像可能なものであり、例えば図２に示すように、全方位レンズや広角レンズなどの曲面レンズ２１及び撮像手段２３を備える撮像装置２Ａや、全方位ミラーや広角ミラーなどの曲面ミラー２２及び撮像手段２３を備える撮像装置２Ｂである。視野角１８０度の魚眼レンズも広角レンズに含まれる。

図３は、曲面レンズ２１又は曲面ミラー２２（以下、曲面レンズ／ミラーという）と、その曲面レンズ／ミラーを使用してデジタルカメラ等の撮像手段２３により撮像された画像との関係を示す概念図である。撮像手段２３に曲面レンズ／ミラーを取り付けて、ｘ軸，ｙ軸，ｚ軸の三次元空間の上方に（ｚ軸方向に）向けて置いたとすると、曲面レンズ／ミラーの内側や外側に貼り付けられた像を撮像手段２３により撮影する状態を想定して考えることができ、撮像手段２３により撮像された画像は、曲面レンズ／ミラーの外周円形の曲面を平面に射影して得られる円形射影画像ＣＰとなると想定できる。全方位の曲面レンズ／ミラーを使用して撮像した画像は中央空白のドーナツ状の円形平面画像ＣＰとなり、魚眼レンズなどの広角の曲面レンズ／ミラーを使用して撮像した画像は中央空白のない円形平面画像ＣＰとなる。曲面レンズ／ミラーの曲面の周縁を円周とする円形平面Ｃにおける水平方向の角度を角θ、円形平面Ｃの中心からの仰角（円形平面Ｃとその中心からの放射線との成す角）を角φ、円形平面画像ＣＰにおいて中心からの距離を距離ｒとすると、円形平面画像ＣＰの大きさが一定であることを前提として、曲面上の点（θ，φ）が平面に射影されたときの円形平面画像ＣＰの中心からの距離ｒは曲面の曲率に依存する。

（画像変換システム）
図４は画像変換システム１を実現するコンピュータシステムのハード構成を模式的に示した図である。画像変換システム１は、ＣＰＵ、メモリ、入力装置インターフェイス、表示装置インターフェイス、外部機器インターフェイス、ネットワークインターフェイス、ＡＶインターフェイスを備え、それぞれ内部バスを介して接続されている。画像変換システム１には、ＡＶインターフェイスを介して上記撮像装置２が接続され、さらに、表示装置インターフェイスを介して液晶ディスプレイなどの表示装置３が、入力インターフェイスを介してキーボードやマウスなどの入力装置４が、外部機器インターフェイスを介してハードディスクやメディアドライブなどの記憶手段５が、ネットワークインターフェイスを介してインターネットなどのネットワークが接続される。

図５は、画像変換システム１の機能構成を模式的に示した図である。画像変換システム１は、第１の座標設定手段１１、直交座標へのマッピング手段１２、対応テーブル生成手段１３を備える。ハードディスクなどの記録装置５には、対応テーブルが記憶されている。図６は、記憶手段５に記憶されている曲面ミラー／レンズの情報を説明する概念図である。記憶手段５には、曲面ミラーや曲面レンズごとにその特性情報が蓄積されており、特性情報には、曲面ミラー／レンズの識別標識（固有名や製品番号）、ミラー／レンズ型（全方位レンズ／ミラー、魚眼レンズ／ミラーの区別、仰角、俯角、鏡面による上下反転の有無、後述する対応テーブルＴなどが含まれている。

（第１の座標設定手段）
第１の座標設定手段１１は、撮像手段２から入力された円形射影画像ＣＰを第１の座標系にマッピングして、円形射影画像ＣＰに第１の座標を設定する機能を有する。曲面レンズ／ミラーを利用して得られる射影画像は円形であるため、第１の座標系としては極座標系が好適である（図７（ａ）参照）。円形射影画像ＣＰの中心が極座標系である第１の座標系の極と重なり、且つ、円形射影画像ＣＰ上の方向（例えば北方向）を特定する情報を参照し、円形射影画像ＣＰの所定方向（例えば北方向）が極軸と重なるように、円形射影画像ＣＰを第１の座標系にマッピングすることにより第１の座標系の設定を行う。

（マッピング手段）
マッピング手段１２は、極座標系である第１の座標系と直交座標系である第２の座標系とを対応付ける対応テーブルＴを参照し、第２の座標系上に、対応テーブルＴにおいて対応付けられた第１の座標系上の画素をマッピングする機能を有する。図７は、マッピング手段１２の機能を示す概念図である。

図７（ａ）は極座標である第１の座標系にマッピングされた円形射影画像ＣＰの概念図であり、（ｃ）は第１の座標系上の画素を直交座標系である第２の座標系にマッピングして得られるパノラマ画像ＰＰの概念図である。第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系である。横軸には角θが０度から３６０度まで等間隔に割り当てられおり、縦軸には角φが０度から９０度まで所定間隔で割り当てられている。

図７（ｃ）は、対応テーブルＴの概念図である。対応テーブルＴは、ハードディスク等の記憶手段５に各曲面レンズ／ミラーごとに蓄積されており、第１の座標系上の距離ｒと、第２の座標系上の角φとを対応付けている。概念的には、 横軸を角φ、縦軸を距離ｒとするグラフ上において、各曲面レンズ／ミラーの曲面の曲率に応じたφ−ｒ曲線となり、実際には角φと距離ｒとが対応した数値配列のテーブルとして記憶されている。本実施の形態では、対応テーブルＴは距離ｒの配列である。図８に対応テーブルＴの具体例を示す。対応テーブルＴは、角φの配列と距離ｒの配列とが対応付けられた表形式（図８（ａ）参照）であるか、又は定められた所定間隔の角φごとに距離ｒが配列する形式（図８（ｂ）参照）である。なお、各テーブルＴの角φの値は、水平から垂直のとり得る範囲を０から１の範囲に換算した値であり、距離ｒは後述する実施例に示すようにユーザにより円形射影画像中に指定された領域での距離ｒを０から１の範囲に換算した値である。

図９は、マッピング手段１２による処理の一例を説明するフローチャートである。第２の座標系をラスタスキャンしながら、座標（θ，φ）ごとに、対応テーブルＴを参照して角φと距離ｒとを対応付け、座標（θ，φ）の角φを対応する距離ｒに置き換えて座標（θ，ｒ）に変換し、第１の座標系を円形射影画像ＣＰの外周又は内周から順にθ方向でスキャンして座標（θ，ｒ）にある画素を検出し、その座標（θ，ｒ）上にある画素を第２の座標系の座標（θ，φ）にマッピングする。第２の座標系のスキャンが完了するまで上記処理を繰り返し、円形射影画像ＣＰをパノラマ画像ＰＰに変換する。従来のように第１の座標（θ，φ）や第２の座標（θ，ｒ）ごとに画素のマッピング位置の計算を行うことなく、対応テーブルＴを参照してマッピングを行うため、変換処理の高速化が図られる。

本実施の形態では、対応テーブルＴは、第２の座標系上のスキャンされる座標（θ，φ）の順に、角φに対応する距離ｒが配列する距離ｒの配列表（図８（ｂ）参照）である。マッピング手段１２は、所定間隔で第２の座標系をスキャンしながら対応テーブルＴの配列順に角φを距離ｒに変換して画素をマッピングする。

マッピング手段１２により参照される対応テーブルＴは、曲面レンズ／ミラーごとに記憶手段に蓄積記憶されている対応テーブルＴから選択された一の対応テーブルＴである。たとえば、ユーザに対して曲面レンズ／ミラーを指定する情報（識別標識やレンズ／ミラー型）の入力を促し、入力された情報を検索キーとして記憶手段５を検索することにより、その情報を含む一の特性情報を選択し、その中に含まれる対応テーブルＴを参照する。

つぎに、マッピング手段１２は、第２の座標系である直交座標系上の座標（θ，φ）に、対応テーブルＴにおいて対応付けられた第１の座標系上の座標（θ，ｒ）の画素をマッピングする。第２の座標系の（θ，φ）に、検出された対応テーブルＴにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われ、従来のように各座標ごとに座標変換の演算を行う場合と比較して変換処理の高速化が図られる。

なお、本実施の形態によれば、略半球状の曲面レンズ／ミラーの曲面を平面に射影して得られる円形射影画像ＣＰをパノラマ画像ＰＰに変換するため、例えば天井や地上（半球状の曲面レンズ／ミラーの極付近）の部分に相当する部分の歪みが少なく、また、広く利用されている略球状の三次元コンピュータグラフィックとの合成モデルと連携することも容易である。

上記マッピング手段１２は、第２の座標系の座標（θ，φ）を基準として対応テーブルＴにより第１の座標系の座標（θ，ｒ）を求める機能を有するが、第１の座標系の座標（θ，ｒ）を基準として第２の座標系の座標（θ，φ）を求めるものでも良い。すなわち、第１の座標系をスキャンしながら、座標（θ，ｒ）ごとに、テーブルＴで距離ｒと角φとを対応付け、座標（θ，ｒ）の距離ｒを角φに置き換えて座標（θ，φ）とし、第２の座標系をラスタスキャンして座標（θ，φ）を検出し、極座標系上の座標（θ，ｒ）にある画素を第２の座標系の座標（θ，φ）にマッピングするものでも良い。

ここで、前記マッピング手段１２は、第２の座標系上の総ての座標（θ，φ）に画素をマッピングするのではなく、一部の座標のみにマッピングする機能を備えることが好ましい。たとえば、マッピング手段１２は、第２の座標系をラスタスキャンし、所定間隔をおいた座標（θ，φ）のみについて、対応テーブルＴを参照して第１の座標系の座標（θ，ｒ）を求め、第２の座標系上の所定間隔をおいた座標（θ，φ）のみに画素をマッピングする。これにより、第２の座標系上の総ての座標（θ，φ）のうち、その間隔に合わせて一部の座標のみに画素がマッピングされる。総ての座標に画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。第１の座標系の座標を基準として対応付けを行うときは、第１の座標系上にある画素の総てを第１の座標系上にマッピングするのではなく、一部の画素のみを抽出してマッピングを行う機能を備えることが好ましい。これにより、第１の座標系上の総ての画素のうち、その間隔に合わせて一部抽出された画素のみがマッピングされる。総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。所定間隔は、第１の座標系上において一定となるようにしても良いが、円形射影画像ＣＰの内周に向かうほど情報量が減少するため、その情報量の減少をカバーするために、所定間隔は円形射影画像ＣＰの外周から内周に向かって除々に短くなるように変動させる方が好ましい。

画像変換システム１は、マッピング手段１２によって画素がマッピングされない座標に対して画素を補間する画素補間手段を備えても良い。画素補間手段は、一般的な画像の線形補間の手法を用いれば良い。

第１の座標系上において所定間隔の間に位置する座標には、対応テーブルＴにより対応付けられた画素がマッピングされず、画素が欠落した状態となるため不鮮明となる。そこで、画像変換システム１又は画像変換システム１に接続してパノラマ画像ＰＰを表示する端末は、マッピング手段１２により得られた第２の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段を備えることが、画像の鮮明化の観点から好ましい。シャープネスフィルタリング処理には、一般的に使用されている鮮明化フィルタなどを利用すれば良く、例えば、隣接する画素の濃度値の差を大きくするように数値が配列したフィルタ行列などが挙げられる。フィルタリング手段は、画像変換システムＳにより生成されるパノラマ画像ＰＰを表示する端末がパーソナルコンピュータ等である場合は端末が備え、画像変換システムＳから受信したフィルタリング未処理のパノラマ画像ＰＰを端末側でフィルタリング処理しても良い。また、端末が携帯電話等である場合は、フィルタリング手段は画像変換システム１が備え、画像変換システム１においてフィルタリング処理済みのパノラマ画像ＰＰを端末に送信等して表示しても良い。なお、フィルタリング手段は、第１の座標系上の総ての画素をマッピングする場合にも同様に第２の座標系上の画像に対してフィルタリング処理することが好ましい。

また、マッピング手段１２は、上記のように円形射影画像ＣＰのすべての領域を画像変換しても良いが、処理の負荷軽減の観点から、ユーザに対して円形射影画像ＣＰの一部又は全部の領域の指定を促す領域指定機能を備え、マッピング手段１２は領域指定機能において指定された範囲のみをマッピングして画像変換しても良い。

（対応テーブル生成手段）
さらに、本実施の形態の画像変換システム１は、対応テーブル生成手段１３を備える。対応テーブル生成手段１３は、ユーザに対して角φと距離ｒとを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、対応テーブルＴを生成する機能を有する。

図１０は、対応テーブル生成手段１３の機能を説明する説明図である。図１０（ａ）は初期状態の対応テーブルＴと第２の座標系と曲面レンズ／ミラーとの関係を説明する説明図である。初期状態の対応テーブルＴは、曲面が所定の曲率に想定された曲面レンズ／ミラーを使用した場合に設定されている。初期状態の対応テーブルＴは所定の曲率に対応したφ−ｒ曲線（実際には数値配列）となっている。対応テーブル生成手段１３は、初期状態の対応テーブルＴを参照して上記マッピング手段１２により円形射影画像ＣＰをパノラマ画像ＰＰに変換し、第２の座標系上のパノラマ画像ＰＰを表示装置３に表示するとともに、縦軸である角φと距離ｒとの対応関係を示す対応線Ｌを表示する。初期状態において対応線Ｌは第２の座標系上に横軸に平行であり且つ縦軸方向に等間隔で複数本表示され、円形射影画像ＣＰにおいて中心から等間隔に引かれた同心円に対応する。対応線Ｌはユーザの操作により縦軸方向に移動可能となっており（図１０（ｂ）参照）、対応線Ｌの移動に合わせて第２の座標系の縦軸のメモリ幅が広狭し、各対応線Ｌが示す縦軸の角φの値は対応線Ｌの移動によっても変動することがなく一定となるようになっている。対応線Ｌ上の角φに対する距離ｒは、角φの最大値φ(max)からその対応線Ｌまでの間隔の距離に相当する。第２の座標系上において対応線Ｌを下方向に移動させるにしたがい、角φに対する距離ｒは短くなり、上方向に移動させるにしたがい、角φに対する距離ｒは長くなるようになっている。

対応テーブル生成手段１３は、対応線Ｌが設けられた第２の座標系上に、初期状態の対応テーブルＴを参照して変換したパノラマ画像ＰＰを表示することにより、ユーザに対して、第２の座標系上の対応線Ｌを移動させて望ましいパノラマ画像ＰＰとするように促す。対応線が移動された状態を図１０（ｂ）に示す。対応テーブル生成機能１３は、対応線Ｌの移動に合わせて、縦軸の角φのメモリ幅を広狭させ、対応線Ｌと対応線Ｌとの間にある画素の配置を縦軸方向に分散又は集約させて表示するとともに、対応テーブルＴの曲線（実際には配列する距離ｒの値）を変化させる。対応テーブルの曲線（実際には配列する数値）は、曲面レンズ／ミラーの曲面の曲率を反映した曲線（数値）となる（図１０（ｂ）中の太線参照）。生成された対応テーブルＴは、識別情報や他の特性情報とともに記憶媒体５に蓄積され、次回の画像変換からは、マッピング手段１２が、ユーザによって指定された対応テーブルＴを参照してマッピングを行うことにより、その曲面レンズ／ミラーの曲率に応じた画像変換が行われる。

（画像変換方法）
つぎに、上記実施の形態の画像変換システム１を用いて画像変換方法について説明する。なお、下記の各ステップにおいて行われる処理は、上記画像変換システム１の各手段が行う処理に相当するため、詳細は省略する。

画像変換システム１は、第１の座標系設定手段１１により、円形射影画像ＣＰを第１の座標系にマッピングして第１の座標を設定する（第１の座標系設定ステップ）。つぎに、画像変換システム１は、マッピング手段により第１の座標から第２の座標への画素のマッピングを行う（マッピングステップ）。その後に、マッピングステップにおいて生成されたパノラマ画像ＰＰを表示装置３に表示する（表示ステップ）。

また、対応テーブル生成手段１３は、マッピング手段１１により初期状態の対応テーブルＴを参照して変換したパノラマ画像ＰＰを、対応線Ｌが設けられた第２の座標系にマッピングし、表示装置３に表示することによりユーザに対して対応情報（対応線Ｌの移動）の入力を促し、ユーザによって移動された対応線Ｌに合わせて第２の座標上の画素を分散／集約させて表示するとともに、対応テーブルＴの曲線を変化させ、識別情報とともに記憶手段５に蓄積記憶する（対応テーブル生成ステップ）。対応テーブル生成ステップは、記憶手段５に望ましい対応テーブルＴが蓄積記憶されていない場合に行われ、その後に行われるマッピングステップにおいては、対応テーブル生成ステップにおいて生成された対応テーブルＴを選択及び参照してマッピングを行うことが可能となる。

図１１は画像変換システム１及び画像変換方法の実施例を示す概念図であり、図１２は画像変換システム１の処理のフローチャートである。本実施例では、画像変換システム１とクライアント６とサーバ７とがインターネットを介して接続されており、制作ユーザが上記画像変換システム１を使用して上記画像変換方法によりパノラマ画像を制作した後に、パノラマ画像をサーバ７にアップロードし、一般ユーザがクライアント６を使用して、サーバ７にアップロードされたパノラマ画像を閲覧する場合を例に説明する。

クライアント６としては、表示画面を備える携帯電話やパーソナルコンピュータなどのコンピュータ端末である。パーソナルコンピュータには、ＯＳやＷＷＷブラウザが搭載され、さらに、パノラマ画像を閲覧するための機能（以下、プレーヤー機能という）を有する。プレーヤー機能は、ＷＷＷブラウザのプラグインなどにより実現され、パノラマ画像を指定したり、所定の領域（ウインドウ）に表示する機能など、パノラマ画像の閲覧に必要な機能を備える。携帯電話には、液晶表示部に画像を表示する表示機能を備える。

制作ユーザは、撮像手段２を使用して撮像した円形射影画像を指定すると、画像変換システム１は指定された円形射影画像を読み込んで表示装置３に表示する。図１３は画像変換システム１により表示装置３に表示される表示画面である。画像変換システム１は、表示画面の指定情報入力カラムに、曲面レンズ／ミラーを指定するための指定情報（レンズ種別や固有名や製品番号やレンズ／ミラー型など）が入力されるか、または、表示画面に表示された円形射影画像に画像変換の対象となる領域が指定されるまで待機する。

制作ユーザが指定情報入力カラムに指定情報（レンズ種別や固有名や製品番号やレンズ／ミラー型など）を入力すると、画像変換システム１は、その指定情報を検索キーとして記憶手段５を検索し、その指定情報と一致する情報を含む一の特性情報を読み込む。

また、制作ユーザが表示画面の円形射影画像に画像変換の対象となる領域を指定すると、画像変換システム１は、第１の座標系設定手段１３により、指定された領域を第１の座標系にマッピングして、円形射影画像に第１の座標系を設定する。領域指定は、表示画面に表示された円形射影画像の一部又は全部を制作ユーザがマウスにより指定することで行われる。領域指定に際しては、画像変換システム１は、変換領域とともに所定方向（北方向）の入力を促し、制作ユーザはマウスにより所定方向（北方向）をクリックして所定方向を入力（北方向）する。画像変換システム１は、円形射影画像の中心からクリックポイント方向を所定方向（北方向）として認識し、指定された領域の画素を、円形射影画像の中心が極と重なり、所定方向が極軸と重なるように、第１の座標にマッピングする。

領域指定及び曲面レンズ／ミラー指定が完了すると、画像変換システム１は、マッピング手段１２により、図９のフローチャートの処理に従い、第１の座標から第２の座標への画素のマッピングを行う。本実施例ではユーザにより指定された一部の領域のみについてマッピングを行い画像変換するため、上記実施の形態のように円形射影画像の総ての領域についてマッピングを行い画像変換する場合と比較して、処理量が少なく、さらなる高速化が図られる。

つぎに、画像変換システム１を使用して、対応テーブルＴを生成する場合について説明する。対応テーブルＴの生成は、適当な対応テーブルＴが記憶手段５に存在しない場合、すなわち、円形射影画像の撮像に使用した曲面レンズ／ミラーに相当する対応テーブルＴが存在しない場合に、制作ユーザによって行われる。画像変換システム１は、マッピング手段１２により初期状態の対応テーブルＴを参照して変換したパノラマ画像を、対応線Ｌが設けられた第２の座標系に表示して、制作ユーザに対して対応情報の入力を促す。制作ユーザは、パノラマ画像が所望の状態となるよう、対応線Ｌを縦軸方向に移動させる。対応テーブル生成手段１３は、制作ユーザにより移動された対応線Ｌに合わせて第２の座標系上の画素を分散又は集約させてパノラマ画像を再表示するとともに、対応テーブルＴの曲線（実際には配列する数値）を変化させる。制作ユーザは、パノラマ画像が所望の状態となると、表示画面の識別標識入力カラムに識別標識を入力する。対応テーブル生成手段１３は、対応テーブルＴを識別標識と関連付けて記憶手段５に蓄積記憶する。制作ユーザは、その後に、その曲面レンズ／ミラーを使用して撮像した円形射影画像の画像変換については、識別標識を検索キーとして記憶手段５を検索し、記憶手段５のからその対応テーブルＴを選択することにより、円形射影画像をパノラマ画像に変換することができる。

制作ユーザが画像変換システム１からインターネットなどのネットワークを介してサーバ７にパノラマ画像をアップロードすると、サーバ７はパノラマ画像を記憶する。一般ユーザは、クライアント６からインターネットを介してサーバ７にアクセスすることで、サーバに記憶されているパノラマ画像をクライアント６の表示画面に表示させることが可能となる。クライアント６は、パノラマ画像のうち一般ユーザにより指定された一部の領域のみを表示することによりパンやチルトを行う機能を備える。クライアント６がパーソナルコンピュータなどである場合は、サーバ７からパノラマ画像のデータ総てを受信してクライアント６の側に記憶した後に、一般ユーザからマウス等により入力されたパンやチルトの指示に応じて、パノラマ画像の一部を液晶表示装置などに表示する。クライアント６が携帯電話などである場合は、クライアント６からサーバ７にパンやチルトの指示が送信され、サーバ７によりパンやチルトの処理が行われ、クライアント６はパンやチルト処理が行われて得られたパノラマ画像の一部をサーバ７から受信して液晶表示部などに表示する。一般ユーザは、パンやチルト機能により、あたかも自己の視線を移動させているかのような状態で、所望する画像を表示させることができる。

上記実施の形態の画像変換システムは、パーソナルコンピュータ等のコンピュータシステムにより実現する場合を例に説明したが、例えばデジタルカメラや携帯電話などの携帯端末により実現されても良い。また、上記実施の形態では、画像変換システムにより生成されるパノラマ画像が携帯電話等の端末にダウンロードされて表示される例を説明したが、画像変換システムの表示装置に表示されても良い。また、上記各手段や方法は、プログラムにより実現されても良いし、ＩＣチップ等の回路により実現されても良い。

上記実施の形態及び実施例では、極座標系上の円形射影画像を直交座標系上の四角形のパノラマ画像に画像変換を行う場合を例に説明したが、請求項１記載の発明や請求項９記載の発明は、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元直交座標系上の画像を二次元直交座標系に画像変換する場合などのように極座標系から直行座標系以外の組み合わせの変換についても適用可能である。また、静止画像を例に説明したが、ＣＣＤカメラなどの動画像撮像手段により撮像された動画像について、動画像を構成する各フレームに対して同様の処理を行うことで、動画像にも適用可能である。

本実施形態の画像変換システムとその周辺装置の模式図 （ａ）は曲面レンズを備える撮像装置の概略図、（ｂ）は曲面ミラーを備える撮像装置の概略図 曲面レンズ／ミラーと、それを使用してデジタルカメラにより撮像された射影画像との関係を示す概念図 画像変換システムを実現するコンピュータシステムのハード構成を模式的に示した図 画像変換システムの機能構成を模式的に示した図 記憶手段に記憶されているデータの概念図 マッピング手段の機能を示す概念図であり、（ａ）は極座標である第１の座標系にマッピングされた円形射影画像の概念図、（ｂ）は対応テーブルの概念図、（ｃ）は第１の座標系上の画素を直交座標系である第２の座標系にマッピングされて得られるパノラマ画像の概念図 対応テーブルの例を示す図 マッピング手段による処理の一例を説明するフローチャート 対応テーブル生成手段の機能を説明する説明図であり、（ａ）は初期状態の対応テーブルと第２の座標系と曲面レンズ／ミラーとの関係を説明する説明図、（ｂ）は初期状態から曲率を変化させた対応テーブルと第２の座標系と曲面レンズ／ミラーとの関係を説明する説明図 画像変換システム及び画像変換方法の実施例を示す概念図 本実施例における画像変換システムの処理のフローチャート 画像変換システムにより表示装置に表示される表示画面の例

符号の説明

１ 画像変換システム
１１ 第１の座標設定手段
１２ マッピング手段
１３ 対応テーブル生成手段
２ 撮像装置
２１ 曲面ミラー
２２ 曲面レンズ
２３ デジタルカメラ
３ 表示装置
４ 入力装置
５ 記憶手段
６ クライアント
７ サーバ
ＣＰ 円形射影画像
ＰＰ パノラマ画像
Ｃ 円形平面
Ｔ 対応テーブル
Ｌ 対応線

Claims (16)

1. 第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換システムにおいて、
   第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピング手段を備えることを特徴とする画像変換システム。
2. 前記第１の座標系は極座標系であり、前記第２の座標系は直交座標系であることを特徴とする請求項１記載の画像変換システム。
3. 前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、
   その曲面の外周を円周とする円形平面における水平方向の角度を角θ、円形平面の中心からの仰角を角φ、円形平面の中心からの距離を距離ｒとすると、
   第１の座標系は、角θ及び距離ｒで表される極座標系であり、
   第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、
   前記対応テーブルは、第１の座標系の距離ｒと第２の座標系の角φとを対応付ける対応テーブルであり、
   前記マッピング手段は、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする請求項１又は請求項２記載の画像変換システム。
4. 前記マッピング手段は、第２の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像変換システム。
5. 前記マッピング手段は、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像変換システム。
6. 第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成手段を備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像変換システム。
7. 前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする請求項６記載の画像変換システム。
8. 前記対応テーブル生成手段は、角φと距離ｒと対応付ける対応線を備える第２の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする請求項７記載の画像変換システム。
9. 第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換方法において、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピングステップを備えることを特徴とする画像変換方法。
10. 前記第１の座標系は極座標系であり、前記第２の座標系は直交座標系であることを特徴とする請求項９記載の画像変換方法。
11. 前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、
    その曲面の外周を円周とする円形平面における水平方向の角度を角θ、円形平面の中心からの仰角を角φ、円形平面の中心からの距離を距離ｒとすると、
    第１の座標系は、角θ及び距離ｒで表される極座標系であり、
    第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、
    前記対応テーブルは、第１の座標系の距離ｒと、第２の座標系の角φとを対応付ける対応テーブルであり、
    前記マッピングステップにおいては、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする請求項１０記載の画像変換方法。
12. 前記マッピングステップにおいて、第２の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする請求項９乃至請求項１１のいずれか１項に記載の画像変換方法。
13. 前記マッピングステップにおいて、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする請求項９乃至請求項１２のいずれか１項に記載の画像変換方法。
14. 第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成ステップを備えることを特徴とする請求項９乃至請求項１３のいずれか１項に記載の画像変換方法。
15. 前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする請求項１４に記載の画像変換方法。
16. 前記対応テーブル生成ステップにおいて、角φと距離ｒと対応付ける対応線を備える第２の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする請求項１５に記載の画像変換方法。

Images