JP2003178298A - 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents

画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム

Info

Publication number
JP2003178298A
JP2003178298A JP2001375035A JP2001375035A JP2003178298A JP 2003178298 A JP2003178298 A JP 2003178298A JP 2001375035 A JP2001375035 A JP 2001375035A JP 2001375035 A JP2001375035 A JP 2001375035A JP 2003178298 A JP2003178298 A JP 2003178298A
Authority
JP
Japan
Prior art keywords
camera
ray vector
image
image processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001375035A
Other languages
English (en)
Other versions
JP3975736B2 (ja
Inventor
Frank Nielsen
フランク ニールセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001375035A priority Critical patent/JP3975736B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to KR1020037010356A priority patent/KR100924411B1/ko
Priority to EP02804352A priority patent/EP1453001B1/en
Priority to US10/467,143 priority patent/US7426317B2/en
Priority to CNB028062981A priority patent/CN100437639C/zh
Priority to DE60239560T priority patent/DE60239560D1/de
Priority to PCT/JP2002/012150 priority patent/WO2003049030A1/ja
Publication of JP2003178298A publication Critical patent/JP2003178298A/ja
Application granted granted Critical
Publication of JP3975736B2 publication Critical patent/JP3975736B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

(57)【要約】 【課題】 レンズ歪みやカメラ・モデルが異なるさまざ
まなカメラの撮影画像を好適に貼り合わせ処理する。 【解決手段】 対応点での画素値の比較ではなく、投影
平面上に投影された光線ベクトルの誤差を基に対応点を
探索する。同じカメラ・レンズや歪みパラメータを持つ
カメラを用いる必要がなく、異なるカメラ・モデルの撮
影画像同士を接続することができる。撮影画像をピンホ
ール画像に一旦変換することなく、光線ベクトルの誤差
を基に元の撮影画像から出力フレームに直接貼り合せて
いくので、画素の劣化を抑制できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数の撮影画像を
貼り合わせる画像処理装置及び画像処理方法、記憶媒
体、並びにコンピュータ・プログラムに係り、特に、複
数のカメラを用いて空間上の隣接する領域を撮影した画
像同士を貼り合わせる画像処理装置及び画像処理方法、
記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】さらに詳しくは、本発明は、レンズ歪みや
カメラ・モデルが異なるさまざまなカメラの撮影画像を
貼り合わせ処理する画像処理装置及び画像処理方法、記
憶媒体、並びにコンピュータ・プログラムに係り、特
に、画像の劣化を抑えて複数の撮影画像を貼り合わせ処
理する画像処理装置及び画像処理方法、記憶媒体、並び
にコンピュータ・プログラムに関する。
【０００３】
【従来の技術】ユーザの周囲の風景画像を提供する装置
として全方位カメラが知られている。この種の全方位映
像システムは、例えば、空間中のある１つの点が視点と
して周囲の画像を撮影するように複数台のカメラが設置
して構成される。複数のカメラからなる全方位映像シス
テムは、隣り合うカメラの撮像画像の境界同士をうまく
貼り合わせることによって、個々のカメラの視野よりも
はるかに広い領域の画像を、あたかも単一の広角度カメ
ラで撮像したかのような画像を生成する画像処理を行
う。
【０００４】視野角の広いレンズを用いればカメラは広
範囲を撮像することができるが、その分だけ解像度が低
下して細部が見えづらくなる。これに対し、全方位映像
システムによれば、広範囲の撮像画像を高解像度のまま
提供することができる。
【０００５】このような全方位型の映像を用いることに
より、視点自由形の映像を視聴することができる。例え
ば、キャラクタ（登場人物）が空間を自由に動き回るよ
うなテレビ・ゲームにおいて、任意の視点からの背景画
面を表示させることができるので、より現実的な映像を
介してゲームを楽しむことができ、エンターティンメン
ト性が高まる。
【０００６】また、全方位映像は、通常の映像に比し大
容量であるが、インタラクティブ性に優れていることか
ら、ブロードバンド・ネットワーク時代の新しいコンテ
ンツとして有望である。
【０００７】ところで、実在するカメラの多くは、ピン
ホールカメラ・モデルによる中心投影を理想とする。中
心投影とは、投影中心と３次元物体表面の点とを結ぶ直
線（「視線」とも言う）とカメラの投影スクリーンとの
交点に物体表面の点の色濃度値を配置していくことで、
投影画像を形成する。中心投影では、同じ大きさの物体
であっても、カメラの投影中心に近づくにつれて大きな
像として投影され、逆に、投影中心から遠ざかるにつれ
て小さく投影される性質を持つ。
【０００８】また、理想的なピンホールカメラ・モデル
では、同じ視線上の点は、カメラの投影中心からの距離
の遠近に拘らず、投影スクリーン（すなわち撮像面）上
の同じ位置に投影される性質を持つ。したがって、隣り
合うカメラの撮像画像を、互いのカメラの投影中心が一
致するように配設することによって、各カメラ間で視線
を共有することになる。この結果、異なるカメラを用い
ながら、事実上、単一のカメラで同じ場所から眺めてい
ることに等しくなる。すなわち、隣り合うカメラにおい
て重なり合う撮像領域において、任意の場所を画像間の
境界として指定しても、撮像画像同士は滑らかに貼り合
わされる。
【０００９】例えば、Yalin Xiong，Ken Turowski共著
の論文"Registration, Calibrationand Blending in Cr
eating High Quality panoramas"（Fourth IEEE Worksh
op on Applications of Computer Vision, pp.69-74,19
98）や、Heung-Yeung Shum及びRichard Szeliski共著の
論文"Construction of Panoramic mosaics with global
and local alignment"（International Journal of Co
mputer Vision, 36(2):101-130, 2000）、並びに、米国
特許第６，１５７，７４７号明細書などには、理想的な
ピンホール・カメラを用いて撮影した隣接画像をつなぎ
合わせる技術について提案されている。また、Satyan C
oorg及びSeth Teller共著の論文"Spherical Mosaics wi
th Quaternions and Dense Correlation"（Internation
al Journal of Computer Vision, 37(3):259-273，200
0）には、レンズ歪みを無視して多数の撮像画像を貼り
合わせる技術について提案されている。
【００１０】しかしながら、現実には、理想的なピンホ
ール・カメラはあまり存在せず、レンズは通常無視し難
い歪みを持っている。また、カメラは一般に容積を持つ
ので、撮像中心がただ１つの点に集中するように複数の
カメラを配設することはそもそも物理的に不可能であ
る。また、３以上のカメラの撮像中心が３次元空間上で
一致するように組み立てることも、極めて困難な作業を
必要とする。
【００１１】例えばR. Swaminathan及びS. Nayar共著の
論文" Non-Metric Calibration ofWide Angle Lenses a
nd Polycameras"（IEEE Journal on Pattern Analysis
andMachine Intelligence, pp.1171-1178,2000）には、
直径方向並びに接線方向にレンズ歪みを持つカメラ・モ
デルにおける、上述した画像貼り合わせの問題を解くた
めに、各カメラの撮影画像を一旦ピンホール画像に変換
してから貼り合わせることを提案している。しかしなが
ら、この場合、複数の画像フレームをつなぎ合わせた全
方位映像を完成させるために、ピンホール画像への変換
時及び画像貼り合わせ時、すなわち合計２回も画素補間
を行わなければならず、画像の劣化が激しくなる。
【００１２】なお、Y.Xiong及びK.Turkowski共著の論
文"Creating image-based VR using aself-calibrating
fisheye lens"（IEEE Computer Society Conference o
n Computer Vision and Pattern Recognition, pp.237-
243, 1997）には、ピンホール・レンズ以外のレンズと
して魚眼レンズによる撮影画像の貼り合わせ技術につい
て提案されている。
【００１３】また、R. Y. Tsai著の論文"A versatile C
amera Calibration Technique forHigh Accuracy 3D Ma
chine Vision Metrology Using Off-the-Shelf TV Came
rasand Lenses"（IEEE Journal of Robotics and Autom
ation, Vol. RA-3, No. 4,pp.323-344, 1987）には、さ
まざまなカメラ・モデル画持つレンズの歪みパラメータ
を高速で且つ高精度に計算する技術について提案されて
いる。
【００１４】
【発明が解決しようとする課題】複数のカメラからの撮
影画像を貼り合せて全方位画像を構築するためには、各
カメラは理想的なピンホール・カメラであることが好ま
しい。このため、各カメラからの入力画像に対して、レ
ンズ歪み除去並びにピンホール画像への変換を行った後
に貼り合わせる必要があるが、画素補間を２回以上繰り
返すことになり画質の劣化が激しくなる。また、ピンホ
ール・カメラの視野角はせいぜい１８０゜でしかない。
【００１５】また、内部パラメータや歪みパラメータの
異なるカメラ画像同士はうまく貼り合わせることができ
ないので、貼り合わせる元画像を同じレンズ・モデルの
カメラからの撮影画像のみで統一させる必要がある。言
い換えれば撮影システムのデザイン構成上の融通性が効
かない。
【００１６】カメラ画像の貼り合せ易さを考慮して、全
方位映像を１つのカメラで数ヶ所を撮影した複数の映像
のみで構成することも可能である。例えば、S.E.Chen著
の論文"QuickTime VR - an image- based approach to
virtual environment navigation"（Computer Graphics
(SIGGRAPH '95), pp.29-38, Aug. 1995）には、１つの
カメラで数ヶ所を撮影した複数の映像のみで全方位映像
を構成する技法について記載されている。しかしなが
ら、これではリアルタイムで各撮影方向の映像を同時に
撮影し供給するような場合には対応できない。
【００１７】本発明は上述したような技術的課題を勘案
したものであり、その主な目的は、複数のカメラを用い
て空間上の隣接する領域を撮影した画像同士を好適に貼
り合わせることができる、優れた画像処理装置及び画像
処理方法、記憶媒体、並びにコンピュータ・プログラム
を提供することにある。
【００１８】本発明の更なる目的は、レンズ歪みやカメ
ラ・モデルが異なるさまざまなカメラの撮影画像を好適
に貼り合わせ処理することができる、優れた画像処理装
置及び画像処理方法、記憶媒体、並びにコンピュータ・
プログラムを提供することにある。
【００１９】本発明の更なる目的は、レンズ歪みやカメ
ラ・モデルが異なるさまざまなカメラの撮影画像を、ピ
ンホール・カメラなど他のカメラモデルの撮影画像に変
換したりして画像を劣化させることなく貼り合わせ処理
することができる、優れた画像処理装置及び画像処理方
法、記憶媒体、並びにコンピュータ・プログラムを提供
することにある。
【００２０】
【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、カメラにより撮影された複数の画像フレームを貼り
合わせる画像処理装置又は画像処理方法であって、撮影
に使用したカメラにより投影平面上の各点に投影される
光線ベクトルをカメラ・モデルを基に求める光線ベクト
ル算出手段又はステップと、隣接する画像フレーム間で
対応する特徴点における光線ベクトルに基づく情報の誤
差が最小となるように画像の貼り合わせを最適化する最
適化手段又はステップと、を具備することを特徴とする
画像処理装置又は画像処理方法である。
【００２１】本発明の第１の側面に係る画像処理装置又
は画像処理方法によれば、２枚の画像間で画素値が一致
しているかではなく、投影平面上の対応点に対する光線
ベクトルに基づく情報の誤差が最小となるように画像の
貼り合わせを行う。したがって、カメラ・モデル及びカ
メラの歪みパラメータをも考慮して光線ベクトルを生成
することにより、同じカメラ・レンズや歪みパラメータ
を持つカメラを用いる必要がなく、異なるカメラ・モデ
ルの撮影画像同士を貼り合わせるすることができる。
【００２２】なお、ここで言う光線ベクトルに基づく情
報の誤差とは、例えば、２つの光線ベクトルのなす角を
表したり、あるいは、各光線ベクトルが指し示す画素の
輝度又は画素値の相違などのことを意味する。
【００２３】また、本発明の第１の側面に係る画像処理
装置又は画像処理方法によれば、画素値の比較ではなく
対応画素間での光線ベクトルに基づく情報の誤差が最小
となるように画像を貼り合わせるので、撮影画像をピン
ホール画像などに一旦変換する必要はない。また、元の
撮影画像から直接貼り合せていくことができるので、画
素の劣化を抑制することができる。
【００２４】ここで、前記光線ベクトル算出手段又はス
テップは、カメラの投影平面を無数のポリゴンに分割す
るとともに、ポリゴンの各頂点の投影平面上の座標とこ
れに対応する光線ベクトルの対応関係を記述した「メッ
シュ・カメラ」をあらかじめ生成しておくようにしても
よい。
【００２５】このような場合、前記最適化手段又はステ
ップは、ポリゴンの頂点における光線ベクトルを基にポ
リゴン内の各点についての投影平面上の座標値を光線ベ
クトルへ変換する変換関数を求めて、該変換関数を用い
て特徴点における光線ベクトルを算出することができ
る。
【００２６】また、前記最適化手段又はステップは、最
適化の第１段階として、特徴点から光線ベクトルへの変
換関数をポリゴン単位で計算して、該変換関数を固定し
たまま各特徴点における光線ベクトルに基づく情報の誤
差が最小となるように画像フレーム単位を回転させて、
撮影画像の投影平面上ではなく光線座標系で最適化処理
を行うようにしてもよい。
【００２７】また、前記最適化手段又はステップは、最
適化の第２段階として、特徴点から光線ベクトルへの変
換関数をポリゴン単位で計算するとともに、該変換関数
を可変にして各特徴点における光線ベクトルに基づく情
報の誤差が最小となるようにポリゴン単位で最適化処理
を行うようにしてもよい。
【００２８】また、前記最適化手段又はステップは、最
適化の第３段階として、各画素が持つ光強度と、各画素
が持つ信頼性と、出力フォーマット面上で各画素が持つ
立体角とを考慮して、各画素における光線ベクトルに基
づく情報の誤差が最小となるように画素単位で最適化処
理を行うようにしてもよい。
【００２９】また、本発明の第２の側面は、カメラによ
って撮影された画像フレームにおいて画素値が既知の複
数の頂点で囲まれた点についての画素値を補間する画像
処理装置又は画像処理方法であって、撮影に使用したカ
メラによる投影平面上の補間対象点及びこれを囲む各頂
点に投影される光線ベクトルを算出する光線ベクトル算
出手段又はステップと、各頂点の光線ベクトルを使って
補間対象点の画素値を補間する画素値補間補間手段又は
ステップと、を具備することを特徴とする画像処理装置
又は画像処理方法である。
【００３０】一般に、整数以外の点における画素値など
は、線形補間などにより画素値が既知の複数の画素を利
用して補間処理が行われる。このとき、撮影画像の投影
平面上で補間を行うと、使用したカメラ・モデルＣやそ
の歪みパラメータの影響を受けることになる。これに対
し、本発明の第２の側面に係る画像処理装置又は画像処
理方法のように光線ベクトルを用いて補間を行うことに
より、これらからの影響を排除することができる。
【００３１】また、本発明の第３の側面は、カメラによ
り撮影された複数の画像フレームを貼り合わせる処理を
コンピュータ・システム上で実行するように記述された
コンピュータ・ソフトウェアをコンピュータ可読形式で
物理的に格納した記憶媒体であって、前記コンピュータ
・ソフトウェアは、撮影に使用したカメラにより投影平
面上の各点に投影される光線ベクトルをカメラ・モデル
を基に求める光線ベクトル算出ステップと、隣接する画
像フレーム間で対応する特徴点における光線ベクトルに
基づく情報の誤差が最小となるように画像の貼り合わせ
を最適化する最適化ステップと、を具備することを特徴
とする記憶媒体である。
【００３２】また、本発明の第４の側面は、カメラによ
って撮影された画像フレームにおいて画素値が既知の複
数の頂点で囲まれた点についての画素値を補間する処理
をコンピュータ・システム上で実行するように記述され
たコンピュータ・ソフトウェアをコンピュータ可読形式
で物理的に格納した記憶媒体であって、前記コンピュー
タ・ソフトウェアは、撮影に使用したカメラによる投影
平面上の補間対象点及びこれを囲む各頂点に投影される
光線ベクトルを算出する光線ベクトル算出ステップと、
各頂点の光線ベクトルを使って補間対象点の画素値を補
間する画素値補間補間ステップと、を具備することを特
徴とする記憶媒体である。
【００３３】本発明の第３及び第４の各側面に係る記憶
媒体は、例えば、さまざまなプログラム・コードを実行
可能な汎用コンピュータ・システムに対して、コンピュ
ータ・ソフトウェアをコンピュータ可読な形式で提供す
る媒体である。このような媒体は、例えば、ＤＶＤ（Di
gital Versatile Disc）、ＣＤ（Compact Disc）やＦＤ
（Flexible Disk）、ＭＯ（Magneto-Optical disc）な
どの着脱自在で可搬性の記憶媒体である。あるいは、ネ
ットワーク（ネットワークは無線、有線の区別を問わな
い）などの伝送媒体などを経由してコンピュータ・ソフ
トウェアを特定のコンピュータ・システムに提供するこ
とも技術的に可能である。
【００３４】本発明の第３及び第４の各側面に係る記憶
媒体は、コンピュータ・システム上で所定のコンピュー
タ・ソフトウェアの機能を実現するための、コンピュー
タ・ソフトウェアと記憶媒体との構造上又は機能上の協
働的関係を定義したものである。換言すれば、本発明の
第３及び第４の各側面に係る記憶媒体を介して所定のコ
ンピュータ・ソフトウェアをコンピュータ・システムに
インストールすることによって、コンピュータ・システ
ム上では協働的作用が発揮され、本発明の第１及び第２
の各側面に係る画像処理装置又は画像処理方法と同様の
作用効果を得ることができる。
【００３５】また、本発明の第５の側面は、カメラによ
り撮影された複数の画像フレームを貼り合わせる処理を
コンピュータ・システム上で実行するように記述された
コンピュータ・プログラムであって、撮影に使用したカ
メラにより投影平面上の各点に投影される光線ベクトル
をカメラ・モデルを基に求める光線ベクトル算出ステッ
プと、隣接する画像フレーム間で対応する特徴点におけ
る光線ベクトルに基づく情報の誤差が最小となるように
画像の貼り合わせを最適化する最適化ステップと、を具
備することを特徴とするコンピュータ・プログラムであ
る。
【００３６】また、本発明の第６の側面は、カメラによ
って撮影された画像フレームにおいて画素値が既知の複
数の頂点で囲まれた点についての画素値を補間する処理
をコンピュータ・システム上で実行するように記述され
たコンピュータ・プログラムであって、撮影に使用した
カメラによる投影平面上の補間対象点及びこれを囲む各
頂点に投影される光線ベクトルを算出する光線ベクトル
算出ステップと、各頂点の光線ベクトルを使って補間対
象点の画素値を補間する画素値補間補間ステップと、を
具備することを特徴とするコンピュータ・プログラムで
ある。
【００３７】本発明の第５及び第６の各側面に係るコン
ピュータ・プログラムは、コンピュータ・システム上で
所定の処理を実現するようにコンピュータ可読形式で記
述されたコンピュータ・プログラムを定義したものであ
る。換言すれば、本発明の第３の側面に係るコンピュー
タ・プログラムをコンピュータ・システムにインストー
ルすることによって、コンピュータ・システム上では協
働的作用が発揮され、本発明の第１及び第２の各側面に
係る画像処理装置又は画像処理方法と同様の作用効果を
得ることができる。
【００３８】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施形態や添付する図面に基づくより
詳細な説明によって明らかになるであろう。
【００３９】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳解する。
【００４０】本発明は、複数のカメラを用いて撮影され
た空間上の隣接する領域の撮影画像同士を貼り合せてい
くものであり、例えば、空間中のある１つの点が視点と
して周囲の画像を撮影するように複数台のカメラが設置
して構成される全方位カメラ・システムにおいて各カメ
ラの撮影画像を貼り合せていくような処理に適用するこ
とができる。
【００４１】本発明では、２枚の画像間で画素値が一致
しているかではなく、投影平面上の対応点に対する光線
ベクトルに基づく情報の誤差を用いて画像の貼り合わせ
を行う。カメラ・モデル及びカメラの歪みパラメータを
も考慮して光線ベクトルを生成することにより、同じカ
メラ・レンズや歪みパラメータを持つカメラを用いる必
要がなく、異なるカメラ・モデルの撮影画像同士を貼り
合わせるすることができる。勿論、画素値の比較ではな
く対応画素間での光線ベクトルに基づく情報の誤差が最
小となるように画像を貼り合わせるので、撮影画像をピ
ンホール画像などに一旦変換する必要はなく、元の撮影
画像から直接貼り合せていくことができるので、画素の
劣化を抑制することができる。ここで言う光線ベクトル
に基づく情報の誤差とは、例えば、２つの光線ベクトル
のなす角を表したり、あるいは、各光線ベクトルが指し
示す画素の輝度又は画素値の相違などのことを意味す
る。
【００４２】図１には、本発明に係る画像処理の処理手
順全体を概略的に示している。同図に示すように、この
処理手順は、複数のカメラによる画像入力と、撮影画像
の加工と、メッシュ・カメラ（後述）の作成と、画像の
貼り合わせ、並びに画像保存で構成される。画像保存に
際しては、画像の貼り合わせ時に使用したパラメータも
合わせて保存しておく。
【００４３】図２には、空間上の複数の領域を並行して
撮影するカメラ・システムの一例としての全方位撮影装
置の外観構成を示している。この全方位撮影装置は、所
定の円周方向に略等間隔に配列された８台のカメラと、
各カメラ毎にその視線方向に配設された８枚の平面鏡が
８角錐上に配設された反射部とで構成される。ここで、
各カメラの投影中心が全方位撮影装置の中央付近でほぼ
一致するように、且つ、各カメラの視線方向が１つの水
平面上で所定角度間隔を置くように、各カメラが配設さ
れている。各平面鏡で反射された周囲の情景を、反射方
向に向けられたカメラで撮影することにより、全方位撮
影装置全体としては、水平方向３６０度の映像の鏡像を
撮影することができる。各カメラの映像を反転、貼り合
わせなどの処理を行うことにより、水平方向の全方位画
像が得られる。本実施形態では、各カメラが同じカメラ
・モデルであることや同じパラメータを共有することは
必須ではない。
【００４４】また、図２２には、他の実施形態に係る全
方位撮影装置の外観構成を示している。この全方位撮影
装置は、１２個の略正５角形の構成面からなる略正十二
面体（Dodecahedron）形状のフレームと、該フレームの
各面上に１台ずつ配備された１１台のカメラ…で構成さ
れる。各カメラは、周囲の風景のうち、それぞれが担当
する領域を撮像して周囲画像の一部として供給すること
ができる。台座の一側面からは、各カメラによる撮像画
像データを外部出力するためのケーブル類が接続されて
いる。各カメラの映像を貼り合わせることにより、全天
球型の全方位画像が得られる。各カメラは、投影中心を
持つピンホール・タイプのカメラであることが好ましい
が、本実施形態では、カメラのモデルや歪みパラメータ
は任意でよい。勿論、正十二面体の各構成面上に配設さ
れたカメラがすべて同じカメラ・モデルを持つ必要はな
い。
【００４５】また、図３には、図２又は図２２に示した
ような全方位撮影装置から同時・並行して出力される複
数の画像フレームを処理する全方位画像処理装置の構成
を模式的に示している。同図に示すように、各カメラに
それぞれＶＴＲを接続することにより、合計８本の映像
（及び音声）ストリームを記録することができる。これ
ら記録された映像ストリームを、切換器を介してビデオ
・キャプチャリングして、コンピュータ・データ（ビッ
トマップ・ファイル）として、全方位画像処理装置に取
り込むことができる。
【００４６】この全方位画像処理装置内では、撮影画像
の加工と、メッシュ・カメラの構築と、画像の貼り合わ
せ、画像保存などの画像処理が行われる。
【００４７】撮影画像の加工とは、それぞれの撮影画像
を、後続の画像処理工程で扱い易くするような加工・前
処理を行う。例えば、図２に示したような撮影装置の場
合、各カメラは反射ミラーによる反転画像を捕捉するよ
うになっているので、それをさらに反転処理して元の画
像に再現する。また、カラー、露出、コントラストなど
の特性を量子化する。また、焦点、詳細部、端縁部の向
上を図るとともに、高周波成分やその他の人工的な成分
の除去、ガンマ色補正などを行う。
【００４８】メッシュ・カメラは、画素値の比較ではな
く、画素に投影される光線ベクトルの一致度で画像の貼
り合わせ処理を行うために、本発明者によって新しく導
入された概念である。メッシュ・カメラは、カメラの投
影平面を無数のポリゴンに分割するとともに、ポリゴン
の各頂点（ｘ，ｙ）とこれに対応する光線ベクトル（θ
φ極座標系で表すことにする）の対応関係で構成され
る。メッシュ・カメラはカメラ・モデル毎に構成が異な
る（この場合のカメラ・モデルには、カメラの歪みパラ
メータを含んで扱うようにしてもよい）。メッシュ・カ
メラの具体的な構築方法については後述に譲る。
【００４９】なお、メッシュ・カメラにおいては、ポリ
ゴンの頂点以外の点については、投影平面上の位置
（ｘ，ｙ）と対応する光線ベクトル（θ，φ）との関係
は定義されない。頂点以外の点については、その点が含
まれているポリゴンの各頂点を用いて補間処理される
（後述）。
【００５０】隣接する画像同士の貼り合せは、例えば、
手動又は自動で各画像フレーム中から複数の特徴点を抽
出して、特徴点の対応がとれているか否かに応じて処理
がなされる。例えば、本出願人に既に譲渡されている特
開２０００−２１５３１７号公報には、オーバーラップ
する２枚の画像フレームから対応する特徴点を自動的に
抽出する画像処理方法及び画像処理装置について開示さ
れている。すなわち、画像処理装置１０は、２以上の画
像のそれぞれについての特徴点を抽出し、２以上の画像
のうち、一の画像と他の画像との特徴点を比較してマッ
チングを行い、このマッチングの結果に基づいて、一の
画像と他の画像との位置関係を変化させるように演算を
行い、２以上の画像を合成する。
【００５１】従来、画像フレーム間での特徴点の比較
は、画素値を基に行うのが一般的であった。これに対
し、本発明では、メッシュ・カメラを用いて特徴点の光
線ベクトルを求め、対応点間で光線ベクトルに基づく情
報の誤差が最小となるように貼り合せていくことを特徴
とする。ここで言う光線ベクトルに基づく情報の誤差と
は、例えば、２つの光線ベクトルのなす角を表したり、
あるいは、各光線ベクトルが指し示す画素の輝度又は画
素値の相違などのことを意味する。
【００５２】撮影画像の投影平面上の画素値で特徴点を
比較する場合には、カメラの歪みパラメータの影響を除
去していなければ意味がなく、また、カメラ・モデルが
相違する場合には画像同士を比較することさえ困難であ
る。これに対し、本発明によれば、特徴点同士を光線ベ
クトルで比較しているので、画像の３次元的な位置関係
を取り戻すことができ、カメラ・モデルの相違に影響さ
れない。また、歪みパラメータの影響を考慮してメッシ
ュ・カメラを構築することによって、歪みパラメータの
影響を除去することができる。
【００５３】図２１には、全方位画像処理装置として適
用されるコンピュータ・システム１００の構成を模式的
に示している。以下、この図を参照しながら、コンピュ
ータ・システム１００について説明する。
【００５４】システム１００のメイン・コントローラで
あるＣＰＵ（Central Processing Unit）１０１は、オ
ペレーティング・システム（ＯＳ）の制御下で、各種の
アプリケーションを実行する。ＣＰＵ１０１は、例え
ば、複数のカメラによる撮像画像の貼り合わせを行うた
めの、各カメラのカメラ・モデルやレンズ歪みに基づく
メッシュ・カメラの生成や、メッシュ・カメラを用いた
画像貼り合わせの最適化処理などの画像処理を行うアプ
リケーション・プログラムを実行することができる。図
示の通り、ＣＰＵ１０１は、バス１０８によって他の機
器類（後述）と相互接続されている。
【００５５】メモリ１０２は、ＣＰＵ１０１において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性
メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むも
のと理解されたい。
【００５６】ディスプレイ・コントローラ１０３は、Ｃ
ＰＵ１０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
１０３において処理された描画データは、例えばフレー
ム・バッファ（図示しない）に一旦書き込まれた後、デ
ィスプレイ１１１によって画面出力される。
【００５７】入力機器インターフェース１０４は、キー
ボード１１２やマウス１１３などのユーザ入力機器をコ
ンピュータ・システム１００に接続するための装置であ
る。
【００５８】ネットワーク・インターフェース１０５
は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従
って、システム１００をＬＡＮ（Local Area Network）
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。
【００５９】ネットワーク上では、複数のホスト端末
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信サービスを行うことができる。
例えば、複数のカメラによる撮像画像の貼り合わせを行
うための、各カメラのカメラ・モデルやレンズ歪みに基
づくメッシュ・カメラの生成や、メッシュ・カメラを用
いた画像貼り合わせの最適化処理などの画像処理を行う
アプリケーションを、ネットワーク経由でダウンロード
することができる。また、このような画像処理アプリケ
ーションによって生成された全方位画像などの画像デー
タや、最適化処理に用いるメッシュ・カメラに関するデ
ータやその他のライブラリをネットワーク経由で配信す
ることもできる。
【００６０】外部機器インターフェース１０７は、ハー
ド・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ド
ライブ１１５などの外部装置をシステム１００に接続す
るための装置である。
【００６１】ＨＤＤ１１４は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ１１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ１１４には、ＣＰＵ１０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。
【００６２】例えば、複数のカメラによる撮像画像の貼
り合わせを行うための、各カメラのカメラ・モデルやレ
ンズ歪みに基づくメッシュ・カメラの生成や、メッシュ
・カメラを用いた画像貼り合わせの最適化処理などの画
像処理を行うアプリケーション・プログラムを、ＨＤＤ
１１４上にインストールすることができる。また、この
ような画像処理アプリケーションの処理対象となる撮影
画像や、所定の出力フォーマットに貼り合わせられた画
像、最適化処理に用いるメッシュ・カメラに関するデー
タやその他のライブラリをＨＤＤ１１４上に保存するこ
ともできる。
【００６３】メディア・ドライブ１１５は、ＣＤ（Compa
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。
【００６４】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、複数のカメラによる撮
像画像の貼り合わせを行うための、各カメラのカメラ・
モデルやレンズ歪みに基づくメッシュ・カメラの生成
や、メッシュ・カメラを用いた画像貼り合わせの最適化
処理などの画像処理を行うアプリケーションを、これら
可搬型メディアを利用して複数の機器間で物理的に流通
・配布することができる。また、このような画像処理ア
プリケーションの処理対象となる撮影画像や、所定の出
力フォーマットに貼り合わせられた画像、最適化処理に
用いるメッシュ・カメラに関するデータやその他のライ
ブラリを、これら可搬型メディアを利用して複数の機器
間で物理的に流通・配布することができる。
【００６５】ビデオ・キャプチャ・カード１０９は、全
方位撮影装置１１からの入力信号、すなわち切り換え器
を介して接続される各ＶＴＲから再生されるビデオ信号
をコンピュータ・データ（ビットマップ・ファイル）と
してコンピュータ内に取り込むための装置である。
【００６６】なお、図２１に示すようなコンピュータ１
００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"
ＰＣ／ＡＴ（Personal Computer/Advanced Technolog
y）"の互換機又は後継機である。勿論、他のアーキテク
チャを備えたコンピュータを、本実施形態に係るコンピ
ュータ１００として適用することも可能である。
【００６７】メッシュ・カメラの構築 メッシュ・カメラは、画像の３次元的な位置関係を基に
画素に投影される光線ベクトルの一致度により画像貼り
合わせの最適化処理を行うために新しく導入された概念
である。メッシュ・カメラは、カメラの投影平面を無数
のポリゴンに分割するとともに、ポリゴンの各頂点
（ｘ，ｙ）とこれに対応する光線ベクトル（θφ極座標
系で表すことにする）の対応関係で構成される。
【００６８】図４には、メッシュ・カメラを生成するた
めの処理手順をフローチャートの形式で示している。
【００６９】まず、ステップＳ１において、カメラ・モ
デルＣを取得する。カメラ・モデルＤの定義とは、投影
平面上の点（ｘ，ｙ）に投影される光線ベクトル（θφ
極座標系で表すことにする）を求めるＩｍａｇｅＴｏＲ
ａｙ関数と、光線ベクトルθφから投影平面に投影され
る位置（ｘ，ｙ）を求めるＲａｙＴｏＩｍａｇｅ関数を
定義することである。
【００７０】次いで、ステップＳ２では、カメラの投影
平面上にｋ１×ｋ２個の格子点からなるポリゴンを生成
する。この結果、２（ｋ１−１）×（ｋ２−１）個の三
角形とｋ１×ｋ２個の頂点が生成されたことになる。
【００７１】次いで、ステップＳ３では、各頂点（ｉ，
ｊ）について、ＩｍａｇｅＴｏＲａｙ関数を用いて対応
する光線ベクトル（θ，φ）を逐次算出していく。
【００７２】そして、ステップＳ４では、カメラの投影
平面上の個々の頂点（ｘ，ｙ）とそのθφ極座標系で記
述された光線ベクトル（φ，θ）との対応関係を記述し
たデータ（ｘ，ｙ，θ，φ）を生成する。このようにし
てできた（ｘ，ｙ）⇔（θ，φ）対応表がメッシュ・カ
メラとなる。
【００７３】メッシュ・カメラを用いることにより、カ
メラの投影平面上の任意の点における光線ベクトルを比
較的高速に求めることができる。すなわち、メッシュ・
カメラを用いることにより、２つの画像フレーム間で対
応する点を光線ベクトルに基づく情報の誤差から求める
ことができるようになる。ここで言う光線ベクトルに基
づく情報の誤差とは、例えば、２つの光線ベクトルのな
す角を表したり、あるいは、各光線ベクトルが指し示す
画素の輝度又は画素値の相違などのことを意味する。
【００７４】メッシュ・カメラはカメラ・モデル毎に構
成が異なる。メッシュ・カメラを定義することにより、
多数の異なるカメラ・システム間で撮影画像の貼り合わ
せが可能となる。
【００７５】メッシュ・カメラは、カメラ・モデルＣの
定義であるＩｍａｇｅＴｏＲａｙ及びＲａｙＴｏＩｍａ
ｇｅ関数を用いて計算することができる。以下では、幾
つかのカメラ・モデルについてのＩｍａｇｅＴｏＲａｙ
関数及びＲａｙＴｏＩｍａｇｅ関数について説明する。
【００７６】ピンホール・カメラ ピンホール・カメラは中心投影を基本とするので、焦平
面（但し、焦点距離をｆとする）上の点（ｘ，ｙ，ｆ）
と任意の投影平面上の対応点（Ｘ，Ｙ，Ｚ）との間に
は、下式が成立する。但し、投影中心を原点Ｏとする
（図５を参照のこと）。
【００７７】
【数１】
【００７８】また、投影中心から点（ｘ，ｙ，ｆ）へ向
かう光線ベクトルをθφ極座標表示したとき、θ及びφ
は下式のように書くことができる（図６を参照のこ
と）。
【００７９】
【数２】
【００８０】したがって、ピンホール・カメラにおいて
は、投影平面上の点（ｘ，ｙ）に投影される光線ベクト
ルを求めるＩｍａｇｅＴｏＲａｙ関数と、光線ベクトル
θφから投影平面に投影される位置（ｘ，ｙ）を求める
ＲａｙＴｏＩｍａｇｅ関数は、それぞれ下式のように書
き表される。
【００８１】
【数３】
【００８２】魚眼レンズ 魚眼レンズの場合、レンズ中心を（Ｃx，Ｃy）とし、投
影平面上の点（ｘ，ｙ）とレンズ中心の間の距離をｒと
して（図７を参照のこと）、ｒの関数Ｆ（ｒ）を定義す
ると、投影平面上の点（ｘ，ｙ）に投影される光線ベク
トルを求めるＩｍａｇｅＴｏＲａｙ関数と、光線ベクト
ルθφから投影平面に投影される位置（ｘ，ｙ）を求め
るＲａｙＴｏＩｍａｇｅ関数は、それぞれ下式のように
書き表される。
【００８３】
【数４】
【００８４】関数Ｆは下式のように定義される。
【００８５】
【数５】
【００８６】Ｔｓａｉのカメラ・モデル Ｔｓａｉのカメラ・モデルは、レンズ歪みを考慮したレ
ンズであり、すべてのカメラ・パラメータ、すなわち内
部パラメータ、外部パラメータ、歪みパラメータを同時
に算出することを可能とするものである（例えば、Roge
r Y. Tsai著の論文"An Efficient and Accurate Camera
Calibration Technique for 3D Machine Vision"（198
6,IEEE）を参照のこと）。
【００８７】Ｔｓａｉのカメラ・モデルは、レンズの中
心位置（Ｃx，Ｃy）と、投影平面のアスペクト比ａ
yと、半径方向の歪み係数κで定義される。これに対
し、歪みのない理想的なピンホール・カメラのカメラ・
モデルは、主点（ｐx，ｐy）と、ＸＹ各軸方向の焦点位
置（ｆx，ｆy）で定義される。
【００８８】図８には、Ｔｓａｉのカメラ・モデルにお
けるＩｍａｇｅＴｏＲａｙ関数を求めるための処理手順
をフローチャートの形式で示している。
【００８９】まず、投影平面上において理想的なピンホ
ールによって投影された点とＴｓａｉレンズによって投
影された点（ｘ，ｙ）との関係を求める（ステップＳ１
１）。なお、このステップでは、Ｔｓａｉモデルの投影
平面上の点からピンホール画像上の対応座標を計算する
が、ピンホール画像への画像変換を行う訳ではないの
で、画質劣化を生じない。
【００９０】
【数６】
【００９１】次いで、３次元上の単位球において光線ベ
クトルＰθ,φを設定する（ステップＳ１２）。３次元
θφ極座標系の光線ベクトルＰθ,φをＸＹＺ直交座標
系と同次座標で表現すると下式のようになる。
【００９２】
【数７】
【００９３】そして、点Ｐφ,θを基に、Ｔｓａｉのカ
メラ・モデルによる投影平面上の点（ｘ，ｙ）に対する
光線ベクトルをθφ極座標系で表すことができる（ステ
ップＳ１３）。
【００９４】
【数８】
【００９５】また、図９には、Ｔｓａｉのカメラ・モデ
ルにおけるＲａｙＴｏＩｍａｇｅ関数を求めるための処
理手順をフローチャートの形式で示している。
【００９６】まず、光線ベクトルの単位球面上の極座標
値（θ，φ）を３次元直交座標系上の位置Ｐθ,φに変
換する（ステップＳ２１）。
【００９７】
【数９】
【００９８】次いで、この光線ベクトルＰθ,φを、以
下の式に示すような理想的なピンホール座標値に変換す
る（ステップＳ２２）。
【００９９】
【数１０】
【０１００】そして、所定の多次元方程式を解くことに
よって、理想的なピンホール画像上の点からＴｓａｉモ
デルの原画像の座標（ｘ，ｙ）を計算する（ステップＳ
２３）。なお、このステップでは、ピンホール画像上の
座標位置Ｔｓａｉモデルの投影平面上の対応点を計算す
るが、ピンホール画像からの画像変換を行う訳ではない
ので、画質劣化を生じない。
【０１０１】
【数１１】
【０１０２】これは、以下の多次元方程式を解くことに
相当する。
【０１０３】
【数１２】
【０１０４】多次元方程式の解が複数ある場合には、理
想的な半径により近いものを選択する。次式には、選択
された解を示している。
【０１０５】なお、上記の式［数１２］では、歪みパラ
メータをκ１つで表しているが、使用したカメラが複数
の歪みを持つ場合には、歪みパラメータの個数を増やす
とともに、さらに高次の方程式を立てるようにしてもよ
い。
【０１０６】
【数１３】
【０１０７】変換関数（Transfer Function）ＷT 上述したメッシュ・カメラは、カメラ・モデルＣの投影
平面上に設定された無数のポリゴンの各頂点位置（ｘ，
ｙ）においては、其処へ投影する光線のベクトル（θ，
φ）を求めたり、カメラ・モデルＣの光線ベクトルθφ
を与えると投影平面上の投影位置（ｘ，ｙ）を求めるこ
とができる。すなわち、メッシュ・カメラは、投影位置
（ｘ，ｙ）と光線ベクトル（θ，φ）との対応表であ
る。
【０１０８】但し、メッシュ・カメラは、ポリゴンの頂
点以外のデータを持たないので、頂点以外で特徴点が抽
出される多くの場合にはメッシュ・カメラからその光線
ベクトルを直接求めることはできない。このような場合
には、特徴点を含むポリゴンの各頂点が持つ光線ベクト
ルを用いて、その内部の点についての光線ベクトルの幾
何学的な補間処理を行う。
【０１０９】例えば、図１０に示すように３つの頂点Ｖ
1（ｘ1，ｙ1），Ｖ2（ｘ2，ｙ2），及びＶ3（ｘ3，
ｙ3）からなるポリゴンＴの中に特徴点（ｘ，ｙ）が含
まれているとする（すなわち、（ｘ，ｙ）∈Ｔ）。
【０１１０】ここで、各頂点Ｖ1，Ｖ2，及びＶ3におい
てメッシュ・カメラにより定義されている光線ベクトル
を３次元ＸＹＺ直交座標系でそれぞれＰ1（Ｘ1，Ｙ1，
Ｚ1），Ｐ2（Ｘ2，Ｙ2，Ｚ2），Ｐ3（Ｘ3，Ｙ3，Ｚ3）
とおく。但し、Ｐ1，Ｐ2，Ｐ3は、正規化された単位ベ
クトルであるとする。ここで、各光線ベクトルＰ1，
Ｐ2，及びＰ3から各頂点Ｖ1，Ｖ2，及びＶ3のＸＹ座標
をに変換することができる変換関数ＷTが近似的に成立
すると仮定する。すなわち、
【０１１１】
【数１４】
【０１１２】このような場合、各式を足し合わせること
により、次式が導き出される。
【０１１３】
【数１５】
【０１１４】ここで、ＷTは、このポリゴンＴに属する
すべての点（ｘ，ｙ）（∈Ｔ）を光線ベクトルＰθ,φ
から近似的に変換する変換関数である。変換関数Ｗ
Tは、例えば下式により求まる。
【０１１５】
【数１６】
【０１１６】また、ポリゴンＴ内の点（ｘ，ｙ）の光線
ベクトルＰθ,φは、下式により求められる。
【０１１７】
【数１７】
【０１１８】画像の貼り合わせ（Ｒｅｇｉｓｔｒａｔｉ
ｏｎ） 上述のようにして求められたメッシュ・カメラを用いて
画像の貼り合わせを行う。
【０１１９】画像の貼り合わせは、貼り合わせる２枚の
画像フレームの各々から複数の特徴点を抽出するととも
に、それぞれ対応する特徴点が持つ光線ベクトルに基づ
く情報の誤差が最小となるように最適化処理（Ｏｐｔｉ
ｍｉｚａｔｉｏｎ）を行う。ここで言う光線ベクトルに
基づく情報の誤差とは、例えば、２つの光線ベクトルの
なす角を表したり、あるいは、各光線ベクトルが指し示
す画素の輝度又は画素値の相違などのことを意味する。
【０１２０】また、最適化処理は、特徴点から得られ
る光線ベクトルを固定して、画像フレーム単位で行う第
１の最適化と、光線ベクトルすなわち変換関数ＷTも
可変として、ポリゴン単位で行う第２の最適化と、画
像貼り合わせ後の出力フォーマットを考慮した画素単位
で行う第３の最適化という、３段階の最適化を行う。
【０１２１】まず、最初に最適化の原理について簡単に
説明する。
【０１２２】例えば図１１に示すように、所定の撮影空
間上で隣接する画像フレームＩA及びＩBがあり、且つ、
各画像フレームＩA及びＩBの各々から、複数の特徴点ａ
1，ａ2，…及びｂ1，ｂ2，…が抽出されているとする。
ここでは、説明の便宜上、特徴点ａ1，ａ2，…及び
ｂ1，ｂ2，…は、画像フレーム上のｘｙ２次元直交座標
ではなく、特徴点における光線ベクトルであるとする。
また、光線同じ添え字を持つ特徴点ａj及びｂjが対応し
ているとする。
【０１２３】光線ベクトルａj及びｂjのなす角をαjと
おくと、αjは光線ベクトルａj及びｂjの誤差に応じた
大きさとなる（図１２を参照のこと）。例えば、特徴点
ａjとｂjが正確に一致する場合には、αjはゼロにな
る。
【０１２４】αjは下式により計算することができる。
【０１２５】
【数１８】
【０１２６】したがって、上式を評価関数とし、このα
jが最小となるように画像をすり合わせることが最適化
処理となる。
【０１２７】また、隣接する画像フレームＩA及びＩB間
で設定又は入力された特徴点がｆj個ある場合には、各
特徴点毎に求められたαjの総和が最小となるように画
像フレームＩA及びＩBをすり合わせることが最適化処理
となる。下式では、正負の符号の影響をなくすために、
２乗平均をとったものを評価関数としている。
【０１２８】
【数１９】
【０１２９】また、実際の全方位画像の撮影装置におい
ては、３台以上のカメラすなわち画像フレームがあり、
各画像フレームは、それぞれの辺毎に隣接画像フレーム
を持つ。図１３には、１０台のカメラＣ1，Ｃ2，…，Ｃ
10からなる全方位画像の撮影装置において、各カメラの
撮影画像フレームＩ1，Ｉ2，…，Ｉ10間での隣接関係を
示している。
【０１３０】同図において、実線で結ばれている画像フ
レーム同士が隣接関係にある。例えば、カメラＣ1の撮
影画像フレームＩ1は、カメラＣ2の撮影画像フレームＩ
2、カメラＣ3の撮影画像フレームＩ3、カメラＣ4の撮影
画像フレームＩ4、及び、カメラＣ5の撮影画像フレーム
Ｉ5と隣接している。したがって、全方位画像を生成す
るためには、画像フレームＩ1は、隣接する他の４枚の
画像フレームＩ2，Ｉ3，Ｉ4，Ｉ5の各々との間で画像す
り合わせの最適化処理を行う必要がある。勿論、他のカ
メラＣ2…の撮影画像フレームＩ2…に関しても同様に、
すべての隣接画像フレームとの間で最適化処理を行う必
要がある。
【０１３１】ここで、画像Ｉがｎ枚の画像フレーム｛Ｉ
1，…，Ｉn｝からなり、画像Ｉはｍ個の境界Ｅ＝
｛Ｅ1，…，Ｅm｝においてすり合わせを行う必要があ
り、また、各境界iＥにおいてｆj個の特徴点ですり合わ
せを行う場合には（iＥ＝｛iａj，iｂ j｝ｆi）、上記の
［数１９］で示した評価式ｃは、以下のように一般化さ
れる。
【０１３２】
【数２０】
【０１３３】上記の評価式ｃの最小値を求めるには、例
えば、Ｌｅｖｅｍｂｅｒｇ−Ｍａｒｑｕａｄｔ最小化法
を適用することができる（Levemberg-Marquadt最小化法
に関しては、例えば、J. More著"The levemberg-marqua
dt algorithm, implementation and theory"（In G. A.
Watson, editor, Numerical Analysis, Lecture Notes
in Mathematics 630. Springer-Verlag, 1977）を参照
されたい）。
【０１３４】図１４には、隣接画像を貼り合わせるため
の画像貼り合わせの最適化処理手順をフローチャートの
形式で示している。この最適化処理手順は、特徴点か
ら得られる光線ベクトルを固定して、画像フレーム単位
で行う第１の最適化と、光線ベクトルすなわち変換関
数ＷTも可変として、ポリゴン単位で行う第２の最適化
と、画像貼り合わせ後の出力フォーマットを考慮した
画素単位で行う第３の最適化という３段階の最適化に区
分される。
【０１３５】メッシュ・カメラを作成した後（前述）、
まず、画像貼り合わせのための特徴点の入力を行う（ス
テップＳ３１）。特徴点の入力は自動又は手動のいずれ
でもよい。特徴点は、例えば、画素比較を行い易い高域
成分の領域から選び出される。
【０１３６】次いで、抽出された各特徴点についての光
線ベクトルを算出する（ステップＳ３２）。この段階で
は、メッシュ・カメラの頂点以外の特徴点に関しては、
特徴点を囲う複数の頂点においてメッシュ・カメラで定
義されている光線ベクトルを基に算出された変換関数Ｗ
Tを用いて、特徴点の投影平面上のｘｙ座標値から直接
求める。変換関数ＷTに関しては図１０及び［数１４］
〜［数１７］を参照されたい。
【０１３７】次いで、ステップＳ３３では、第１段階の
最適化処理を行う。すなわち、隣接する各画像フレーム
間で、対応する特徴点毎の光線ベクトルの誤差すなわち
光線ベクトルのなす角αjを算出するとともに、それら
の２乗平均を求めて、［数２０］に示したような評価式
を形成する。そして、Levemberg-Marquadt最小化法など
を用いて、評価式が最小となるように最適化を行う。
【０１３８】但し、この第１段階の最適化処理では、ポ
リゴンの各頂点の光線ベクトルを固定して扱う。この結
果、特徴点における光線ベクトルを求める変換関数ＷT
を固定して、最適化が行われる。このことは、画像フレ
ームが剛体として取り扱われることを意味し、画像フレ
ーム単位で最適化処理を行うことに等しい。
【０１３９】図２３には、水平方向の全方位撮影装置
（図２を参照のこと）で撮影した複数の画像フレームを
メッシュ・カメラを用いて画像フレーム単位で最適化処
理して貼り合わせてできた３６０度の全方位画像を示し
ている。但し、同図に示す例では、全方位画像を外側か
ら眺望している。また、図２４には、図２３に示した全
方位画像のうち所定の視野角で内側から眺望した様子を
示している。また、図２５には、全天球型の全方位撮影
装置（図２２を参照のこと）で撮影した複数の画像フレ
ームをメッシュ・カメラを用いて画像フレーム単位で最
適化処理して貼り合せてできた全天球型の画像を示して
いる。
【０１４０】次いで、ステップＳ３４では、第２段階の
最適化処理を行う。この第２段階の最適化では、ポリゴ
ンの各頂点の光線ベクトルを可変として取り扱い、ポリ
ゴン単位で変換関数ＷTを変更することを許容する。こ
のことは、ポリゴン単位で回転する成分を考慮すること
を意味し、ポリゴン単位で最適化処理を行うことに等し
い。
【０１４１】ステップＳ３４では、ステップＳ３３と同
様に［数２０］を評価式に用いる。但し、ステップＳ３
４では、画像フレーム全体の回転Ｒに加えて、ポリゴン
の各頂点に定義されたパラメータθ及びφを変化させ
て、ポリゴン単位で各変換関数ＷTを変更するため、未
知数が増大するので、Levemberg-Marquadt最小化法に代
えて、Bundle Adjustment法を適用することが好ましい
と思料する。なお、Bundle Adjustment法に関しては、
例えばB. Triggs, P. McLauchlan, R. Hartley, A.Fits
gibbon共著の"Bundle Adjustment -- A Modern Synthes
is"（Vision Algorithms: Theory and Practice, Sprin
ger Verlag, LNCS, pp.298-375, 2000）を参照された
い。
【０１４２】次いで、ステップＳ３５では、第３段階の
最適化処理を行う。この第３段階の最適化では、画素単
位で最適化を行うことと、画像貼り合わせ後の出力フォ
ーマットを考慮して最適化処理することを特徴とする。
【０１４３】画素単位では画素値などのデータを持たな
いので、頂点データを基に補間を行う必要がある。一般
には、投影平面上で画素補間を行うが、本実施形態で
は、投影平面ではなく光線ベクトルを用いて補間処理を
行う。この補間処理のために"Ｉｎｔｅｒｐｏｌａｔｅ"
という関数を用意する。Ｉｎｔｅｒｐｏｌａｔｅ関数
は、投影平面上の座標値（ｘ，ｙ）及び使用するカメラ
・モデルＣを引数とし、θφ極座標空間上で補間処理を
行って、結果をθφ極座標値で返す。
【０１４４】図１５には、Ｉｎｔｅｒｐｏｌａｔｅ関数
の処理手順を簡潔にフローチャートの形式でまとめてい
る。まず、カメラ・モデルＣを用いて画素位置（ｘ，
ｙ）並びにその隣接画素の位置をθφ極座標空間に変換
する（ステップＳ４１）。そして、θφ回転空間（単位
球面）上でθ及びφの補間を行う（ステップＳ４２）。
【０１４５】投影平面上で補間を行うと、使用したカメ
ラ・モデルＣやその歪みパラメータの影響を受けるが、
これに対し光線ベクトルを用いて補間を行うことによ
り、これらからの影響を排除することができる。
【０１４６】図１６には、ピンホール・カメラの場合を
例にとって光線ベクトルの補間を行う様子を示してい
る。同図において、投影平面上において補間の対象とな
る位置（ｘ，ｙ）をＰx,yとし、これに隣接する各頂点
をそれぞれＰX,Y、ＰX+1,Y、ＰX ,Y+1、ＰX+1,Y+1とお
く。このような場合、内分比αx及びαyは、下式のよう
に表される。但し、主点を（ｐｘ，ｐｙ）とし、焦点距
離を（ｆｘ，ｆｙ）とする。
【０１４７】
【数２１】
【０１４８】ここで、ＰX,Y及びＰX+1,Yを用いて補間し
た光線ベクトルＰYは、αxを用いて下式のように表され
る。
【０１４９】
【数２２】
【０１５０】また、ＰX,Y+1及びＰX+1,Y+1を用いて補間
した光線ベクトルＰY+1は、αxを用いて下式のように表
される。
【０１５１】
【数２３】
【０１５２】そして、これらＰY及びＰY+1、並びに内分
比αyを用いて、光線ベクトルＰx,yを下式のように表す
ことができる。
【０１５３】
【数２４】
【０１５４】Ｐx,yをＲａｙＴｏＩｍａｇｅ関数を用い
て投影平面上の画素位置（ｘ，ｙ）に変換することがで
きる。
【０１５５】出力フォーマットとは、複数の画像フレー
ムを貼り合せてなる画像データをマッピングするフォー
マットのことを意味する。例えば、全方位型の撮影装置
が例えば図２に示したような１８０度の全周囲画像を撮
影するタイプである場合には、円筒の表面を出力フォー
マットにしてもよい。あるいは全点球型の画像を撮影す
るタイプである場合には、球面を出力フォーマットとす
ることができる。勿論、出力フォーマットが撮影装置の
入力フォーマットと同じである必要は必ずしもない。
【０１５６】図１７〜図２０には、同様の全方位画像の
出力フォーマットを、それぞれ正四面体の表面、正２０
面体の表面、正１２面体の表面、並びに球の表面とした
場合のテクスチャ・マッピング例を示している。
【０１５７】図１７〜図２０からも判るように、出力フ
ォーマットは任意の非平面であり、原画像の画素位置に
応じてマッピング後の立体角Ωは相違する。また、原画
像の時点でも各画素が持つ信頼性ｗは区々である。
【０１５８】そこで、本実施形態では、第３段階の最適
化処理過程において、画素単位で最適化を行うに際し
て、ＩｍａｇｅＴｏＲａｙ関数を用いて画素位置（ｘ，
ｙ）を光線ベクトルｒに変換して取り扱う。また、各画
素ｒが持つ光強度を関数ｌ（ｒ）とし、各画素が持つ信
頼性をｗ（ｒ）とする。この場合の評価式は、下式のよ
うに表すことができる。但し、出力フォーマットは、ｗ
×ｈ画素サイズであり、原画像（カメラの台数）はｎと
する。
【０１５９】
【数２５】
【０１６０】この評価式は、隣接画像フレーム間での対
応する光ベクトルが持つ光強度の誤差の２乗を求めるも
のであり、計算に際して、各画素が持つ信頼性と、出力
フォーマットに依存する出力フォーマットの原点と各画
素で構成される立体角Ωi,jを考慮している。この評価
式の最小値を求めることにより、画像のすり合わせの最
適化を画素単位で行うことができる。
【０１６１】なお、上記の評価式の最適化処理には、Le
vemberg-Marquadt最小化法（前述）を適用することがで
きる。
【０１６２】［追補］以上、特定の実施形態を参照しな
がら、本発明について詳解してきた。しかしながら、本
発明の要旨を逸脱しない範囲で当業者が該実施形態の修
正や代用を成し得ることは自明である。すなわち、例示
という形態で本発明を開示してきたのであり、本明細書
の記載内容を限定的に解釈するべきではない。本発明の
要旨を判断するためには、冒頭に記載した特許請求の範
囲の欄を参酌すべきである。
【０１６３】
【発明の効果】以上詳記したように、本発明によれば、
複数のカメラを用いて空間上の隣接する領域を撮影した
画像同士を好適に貼り合わせることができる、優れた画
像処理装置及び画像処理方法、記憶媒体、並びにコンピ
ュータ・プログラムを提供することができる。
【０１６４】また、本発明によれば、レンズ歪みやカメ
ラ・モデルが異なるさまざまなカメラの撮影画像を好適
に貼り合わせ処理することができる、優れた画像処理装
置及び画像処理方法、記憶媒体、並びにコンピュータ・
プログラムを提供することができる。
【０１６５】また、本発明によれば、レンズ歪みやカメ
ラ・モデルが異なるさまざまなカメラの撮影画像を、ピ
ンホール・カメラなど他のカメラモデルの撮影画像に変
換したりして画像を劣化させることなく貼り合わせ処理
することができる、優れた画像処理装置及び画像処理方
法、記憶媒体、並びにコンピュータ・プログラムを提供
することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理の処理手順全体を概略的
に示した図である。
【図２】水平方向の全方位映像を得る全方位撮影装置の
外観構成を示した図である。
【図３】全方位撮影装置から同時・並行して出力される
複数の画像フレームを処理する全方位画像処理装置の構
成を模式的に示した図である。
【図４】メッシュ・カメラを生成するための処理手順を
示したフローチャートである。
【図５】ピンホール・カメラのカメラ・モデルの定義を
説明するための図である。
【図６】ピンホール・カメラのカメラ・モデルの定義を
説明するための図である。
【図７】魚眼レンズのカメラ・モデルの定義を説明する
ための図である。
【図８】Ｔｓａｉのカメラ・モデルにおけるＩｍａｇｅ
ＴｏＲａｙ関数を求めるための処理手順を示したフロー
チャートである。
【図９】Ｔｓａｉのカメラ・モデルにおけるＲａｙＴｏ
Ｉｍａｇｅ関数を求めるための処理手順を示したフロー
チャートである。
【図１０】変換関数ＷTの算出方法を説明するための図
である。
【図１１】画像貼り合わせの最適化処理の原理を説明す
るための図である。
【図１２】画像貼り合わせの最適化処理の原理を説明す
るための図である。
【図１３】全方位画像の撮影装置における各撮影画像フ
レーム間での隣接関係を表した図である。
【図１４】画像貼り合わせの最適化処理手順を示したフ
ローチャートである。
【図１５】Ｉｎｔｅｒｐｏｌａｔｅ関数の処理手順を簡
潔にまとめたフローチャートである。
【図１６】光線ベクトルの補間を行う様子を示した図で
ある。
【図１７】正四面体の表面を全方位画像の出力フォーマ
ットにした場合のマッピング例を示した図である。
【図１８】正２０面体の表面を全方位画像の出力フォー
マットにした場合のマッピング例を示した図である。
【図１９】正１２面体の表面を全方位画像の出力フォー
マットにした場合のマッピング例を示した図である。
【図２０】球の表面を全方位画像の出力フォーマットに
した場合のマッピング例を示した図である。
【図２１】全方位画像処理装置として適用されるコンピ
ュータ・システム１００の構成を模式的に示した図であ
る。
【図２２】全天球型の全方位映像を得る全方位撮影装置
の外観構成を示した図である。
【図２３】水平方向の全方位撮影装置で撮影した複数の
画像フレームをメッシュ・カメラを用いて画像フレーム
単位で最適化処理して貼り合わせてできた３６０度の全
方位画像画像を示した図である。
【図２４】水平方向の全方位撮影装置で撮影した複数の
画像フレームをメッシュ・カメラを用いて画像フレーム
単位で最適化処理して貼り合わせてできた画像を示した
図である。
【図２５】全天球型の全方位撮影装置で撮影した複数の
画像フレームをメッシュ・カメラを用いて画像フレーム
単位で最適化処理して貼り合わせてできた全天球型の全
方位画像画像を示した図である。
【符号の説明】
１００…コンピュータ １０１…ＣＰＵ，１０２…メモリ １０３…ディスプレイ・コントローラ １０４…入力機器インターフェース １０５…ネットワーク・インターフェース １０７…外部機器インターフェース，１０８…バス １０９…ビデオ・キャプチャ・カード １１１…ディスプレイ，１１２…キーボード，１１３…
マウス １１４…ハード・ディスク装置 １１５…メディア・ドライブ
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 101:00 Ｆターム(参考） 5B047 AA05 BC04 CA12 DC09 5B057 AA20 BA02 BA15 CA08 CA12 CA16 CB08 CB12 CB13 CB16 CD11 CD14 CD18 CE10 DA07 DA17 DB02 DB09 DC08 DC32 DC36 5C022 AA13 5L096 AA06 BA08 CA05 DA01 EA28 FA67 FA69 FA76 GA19

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】カメラにより撮影された複数の画像フレー
    ムを貼り合わせる画像処理装置であって、 撮影に使用したカメラにより投影平面上の各点に投影さ
    れる光線ベクトルをカメラ・モデルを基に求める光線ベ
    クトル算出手段と、 隣接する画像フレーム間で対応する特徴点における光線
    ベクトルに基づく情報の誤差が最小となるように画像の
    貼り合わせを最適化する最適化手段と、を具備すること
    を特徴とする画像処理装置。
  2. 【請求項２】前記光線ベクトル算出手段は、カメラの投
    影平面を無数のポリゴンに分割するとともに、ポリゴン
    の各頂点の投影平面上の座標とこれに対応する光線ベク
    トルの対応関係を記述したメッシュ・カメラをあらかじ
    め生成しておき、 前記最適化手段は、ポリゴンの頂点における光線ベクト
    ルを基にポリゴン内の各点についての投影平面上の座標
    値を光線ベクトルへ変換する変換関数を求めて、該変換
    関数を用いて特徴点における光線ベクトルを算出する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 【請求項３】前記最適化手段は、特徴点から光線ベクト
    ルへの変換関数をポリゴン単位で計算して、該変換関数
    を固定したまま各特徴点における光線ベクトルに基づく
    情報の誤差が最小となるように画像フレーム単位での最
    適化処理を行う、ことを特徴とする請求項２に記載の画
    像処理装置。
  4. 【請求項４】前記最適化手段は、特徴点から光線ベクト
    ルへの変換関数をポリゴン単位で計算するとともに、該
    変換関数を可変にして各特徴点における光線ベクトルに
    基づく情報の誤差が最小となるようにポリゴン単位で最
    適化処理を行う、ことを特徴とする請求項２に記載の画
    像処理装置。
  5. 【請求項５】前記最適化手段は、各画素が持つ光強度
    と、各画素が持つ信頼性と、出力フォーマット面上で各
    画素が持つ立体角とを考慮して、各画素における光線ベ
    クトルに基づく情報の誤差が最小となるように画素単位
    で最適化処理を行う、ことを特徴とする請求項２に記載
    の画像処理装置。
  6. 【請求項６】カメラにより撮影された複数の画像フレー
    ムを貼り合わせる画像処理装置であって、 撮影に使用したカメラにより投影平面上の各点に投影さ
    れる光線ベクトルをカメラ・モデルを基に求める光線ベ
    クトル算出ステップと、 隣接する画像フレーム間で対応する特徴点における光線
    ベクトルに基づく情報の誤差が最小となるように画像の
    貼り合わせを最適化する最適化ステップと、を具備する
    ことを特徴とする画像処理方法。
  7. 【請求項７】前記光線ベクトル算出ステップでは、カメ
    ラの投影平面を無数のポリゴンに分割するとともに、ポ
    リゴンの各頂点の投影平面上の座標とこれに対応する光
    線ベクトルの対応関係を記述したメッシュ・カメラをあ
    らかじめ生成しておき、 前記最適化ステップでは、ポリゴンの頂点における光線
    ベクトルを基にポリゴン内の各点についての投影平面上
    の座標値を光線ベクトルへ変換する変換関数を求めて、
    該変換関数を用いて特徴点における光線ベクトルを算出
    する、ことを特徴とする請求項６に記載の画像処理方
    法。
  8. 【請求項８】前記最適化ステップでは、特徴点から光線
    ベクトルへの変換関数をポリゴン単位で計算して、該変
    換関数を固定したまま各特徴点における光線ベクトルに
    基づく情報の誤差が最小となるように画像フレーム単位
    での最適化処理を行う、ことを特徴とする請求項７に記
    載の画像処理方法。
  9. 【請求項９】前記最適化ステップでは、特徴点から光線
    ベクトルへの変換関数をポリゴン単位で計算するととも
    に、該変換関数を可変にして各特徴点における光線ベク
    トルに基づく情報の誤差が最小となるようにポリゴン単
    位で最適化処理を行う、ことを特徴とする請求項７に記
    載の画像処理方法。
  10. 【請求項１０】前記最適化ステップでは、各画素が持つ
    光強度と、各画素が持つ信頼性と、出力フォーマット面
    上で各画素が持つ立体角とを考慮して、各画素における
    光線ベクトルに基づく情報の誤差が最小となるように画
    素単位で最適化処理を行う、ことを特徴とする請求項７
    に記載の画像処理方法。
  11. 【請求項１１】カメラにより撮影された複数の画像フレ
    ームを貼り合わせる処理をコンピュータ・システム上で
    実行するように記述されたコンピュータ・ソフトウェア
    をコンピュータ可読形式で物理的に格納した記憶媒体で
    あって、前記コンピュータ・ソフトウェアは、 撮影に使用したカメラにより投影平面上の各点に投影さ
    れる光線ベクトルをカメラ・モデルを基に求める光線ベ
    クトル算出ステップと、 隣接する画像フレーム間で対応する特徴点における光線
    ベクトルに基づく情報の誤差が最小となるように画像の
    貼り合わせを最適化する最適化ステップと、を具備する
    ことを特徴とする記憶媒体。
  12. 【請求項１２】カメラにより撮影された複数の画像フレ
    ームを貼り合わせる処理をコンピュータ・システム上で
    実行するように記述されたコンピュータ・プログラムで
    あって、 撮影に使用したカメラにより投影平面上の各点に投影さ
    れる光線ベクトルをカメラ・モデルを基に求める光線ベ
    クトル算出ステップと、 隣接する画像フレーム間で対応する特徴点における光線
    ベクトルに基づく情報の誤差が最小となるように画像の
    貼り合わせを最適化する最適化ステップと、を具備する
    ことを特徴とするコンピュータ・プログラム。
  13. 【請求項１３】カメラによって撮影された画像フレーム
    において画素値が既知の複数の頂点で囲まれた点につい
    ての画素値を補間する画像処理装置であって、 撮影に使用したカメラによる投影平面上の補間対象点及
    びこれを囲む各頂点に投影される光線ベクトルを算出す
    る光線ベクトル算出手段と、 各頂点の光線ベクトルを使って補間対象点の画素値を補
    間する画素値補間補間手段と、を具備することを特徴と
    する画像処理装置。
  14. 【請求項１４】カメラによって撮影された画像フレーム
    において画素値が既知の複数の頂点で囲まれた点につい
    ての画素値を補間する画像処理方法であって、 撮影に使用したカメラによる投影平面上の補間対象点及
    びこれを囲む各頂点に投影される光線ベクトルを算出す
    る光線ベクトル算出ステップと、 各頂点の光線ベクトルを使って補間対象点の画素値を補
    間する画素値補間補間ステップと、を具備することを特
    徴とする画像処理方法。
  15. 【請求項１５】カメラによって撮影された画像フレーム
    において画素値が既知の複数の頂点で囲まれた点につい
    ての画素値を補間する処理をコンピュータ・システム上
    で実行するように記述されたコンピュータ・ソフトウェ
    アをコンピュータ可読形式で物理的に格納した記憶媒体
    であって、前記コンピュータ・ソフトウェアは、 撮影に使用したカメラによる投影平面上の補間対象点及
    びこれを囲む各頂点に投影される光線ベクトルを算出す
    る光線ベクトル算出ステップと、 各頂点の光線ベクトルを使って補間対象点の画素値を補
    間する画素値補間補間ステップと、を具備することを特
    徴とする記憶媒体。
  16. 【請求項１６】カメラによって撮影された画像フレーム
    において画素値が既知の複数の頂点で囲まれた点につい
    ての画素値を補間する処理をコンピュータ・システム上
    で実行するように記述されたコンピュータ・プログラム
    であって、 撮影に使用したカメラによる投影平面上の補間対象点及
    びこれを囲む各頂点に投影される光線ベクトルを算出す
    る光線ベクトル算出ステップと、 各頂点の光線ベクトルを使って補間対象点の画素値を補
    間する画素値補間補間ステップと、を具備することを特
    徴とするコンピュータ・プログラム。
JP2001375035A 2001-12-07 2001-12-07 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム Expired - Fee Related JP3975736B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001375035A JP3975736B2 (ja) 2001-12-07 2001-12-07 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
EP02804352A EP1453001B1 (en) 2001-12-07 2002-11-21 Image processing apparatus, image processing method, storage medium and computer program
US10/467,143 US7426317B2 (en) 2001-12-07 2002-11-21 Image processing apparatus and image processing method, storage medium and computer program
CNB028062981A CN100437639C (zh) 2001-12-07 2002-11-21 图像处理装置和图像处理方法
KR1020037010356A KR100924411B1 (ko) 2001-12-07 2002-11-21 화상 처리 장치 및 화상 처리 방법, 및 기억 매체
DE60239560T DE60239560D1 (de) 2001-12-07 2002-11-21 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, speichermedium und computerprogramm
PCT/JP2002/012150 WO2003049030A1 (fr) 2001-12-07 2002-11-21 Dispositif de traitement d'image, procede de traitement d'image, procede de stockage et programme informatique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001375035A JP3975736B2 (ja) 2001-12-07 2001-12-07 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2003178298A true JP2003178298A (ja) 2003-06-27
JP3975736B2 JP3975736B2 (ja) 2007-09-12

Family

ID=19183488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001375035A Expired - Fee Related JP3975736B2 (ja) 2001-12-07 2001-12-07 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム

Country Status (7)

Country Link
US (1) US7426317B2 (ja)
EP (1) EP1453001B1 (ja)
JP (1) JP3975736B2 (ja)
KR (1) KR100924411B1 (ja)
CN (1) CN100437639C (ja)
DE (1) DE60239560D1 (ja)
WO (1) WO2003049030A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
JP2006309656A (ja) * 2005-05-02 2006-11-09 Sony Corp 認証装置、登録方法、照合方法及びプログラム
US8665273B2 (en) 2007-01-04 2014-03-04 Hajime Narukawa Method of mapping image information from one face onto another continuous face of different geometry
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
JP4250620B2 (ja) * 2005-07-29 2009-04-08 キヤノン株式会社 情報処理方法および装置
US20070031063A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a composite image from a set of images
JP4783620B2 (ja) * 2005-11-24 2011-09-28 株式会社トプコン ３次元データ作成方法及び３次元データ作成装置
JP4966542B2 (ja) * 2005-12-22 2012-07-04 株式会社トプコン 位置データ補間方法及び位置測定装置
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US20070248277A1 (en) * 2006-04-24 2007-10-25 Scrofano Michael A Method And System For Processing Image Data
WO2008133237A1 (ja) * 2007-04-23 2008-11-06 Sharp Kabushiki Kaisha 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体、ならびに制御方法
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
AT508563B1 (de) * 2009-10-07 2011-02-15 Ait Austrian Inst Technology Verfahren zur aufnahme dreidimensionaler abbilder
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP5770486B2 (ja) 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
CN102694968B (zh) * 2011-03-25 2016-03-30 中山市云创知识产权服务有限公司 摄像装置及其环景监控方法
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
US8711186B2 (en) * 2011-05-02 2014-04-29 Microvision, Inc. Scanning projection apparatus with tangential compensation
EP2541356B1 (en) * 2011-06-30 2013-08-28 Axis AB Processing monitoring data in a monitoring system
CN102340633B (zh) * 2011-10-18 2013-07-03 深圳市远望淦拓科技有限公司 一种利用多台摄像机生成鱼眼效果图片的方法
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US20160366393A1 (en) * 2015-06-11 2016-12-15 Intel IP Corporation Three-dimensional advanced imaging
US10512395B2 (en) * 2016-04-29 2019-12-24 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images
EP3523784A1 (en) * 2016-10-07 2019-08-14 VID SCALE, Inc. Geometry conversion and frame packing associated with 360-degree videos
WO2018102990A1 (en) * 2016-12-06 2018-06-14 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
KR20200075190A (ko) 2018-12-17 2020-06-26 서강대학교산학협력단 Gpu를 기반으로 한 결정 트리를 이용한 대응점 탐색 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110926A (ja) * 1991-10-18 1993-04-30 Matsushita Electric Ind Co Ltd 歪曲収差補正装置および画像合成装置
JPH076227A (ja) * 1992-12-29 1995-01-10 Philips Electron Nv 隣接する複数画像より画像を形成する画像処理方法及び装置
JPH07135605A (ja) * 1993-11-11 1995-05-23 Mitsubishi Electric Corp 画像合成装置
JPH07220057A (ja) * 1993-12-29 1995-08-18 Philips Electron Nv 斜視的変換により源画像から目標画像を構成する画像処理方法および装置
JPH10247234A (ja) * 1997-03-05 1998-09-14 Mitsubishi Electric Corp 画像合成装置
JPH11136575A (ja) * 1997-08-20 1999-05-21 Ricoh Co Ltd 撮像装置及び撮像画像合成方法
JP2000067227A (ja) * 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP2000115639A (ja) * 1998-10-06 2000-04-21 Ricoh Co Ltd 画像入力装置及びその方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110926A (ja) * 1991-10-18 1993-04-30 Matsushita Electric Ind Co Ltd 歪曲収差補正装置および画像合成装置
JPH076227A (ja) * 1992-12-29 1995-01-10 Philips Electron Nv 隣接する複数画像より画像を形成する画像処理方法及び装置
JPH07135605A (ja) * 1993-11-11 1995-05-23 Mitsubishi Electric Corp 画像合成装置
JPH07220057A (ja) * 1993-12-29 1995-08-18 Philips Electron Nv 斜視的変換により源画像から目標画像を構成する画像処理方法および装置
JPH10247234A (ja) * 1997-03-05 1998-09-14 Mitsubishi Electric Corp 画像合成装置
JPH11136575A (ja) * 1997-08-20 1999-05-21 Ricoh Co Ltd 撮像装置及び撮像画像合成方法
JP2000067227A (ja) * 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP2000115639A (ja) * 1998-10-06 2000-04-21 Ricoh Co Ltd 画像入力装置及びその方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
JP2006309656A (ja) * 2005-05-02 2006-11-09 Sony Corp 認証装置、登録方法、照合方法及びプログラム
WO2006118354A1 (ja) * 2005-05-02 2006-11-09 Sony Corporation 認証装置、登録方法、照合方法及びプログラム
JP4671027B2 (ja) * 2005-05-02 2011-04-13 ソニー株式会社 認証装置、認証方法及びプログラム
US8280123B2 (en) 2005-05-02 2012-10-02 Sony Corporation Authentication apparatus, registration method, collation method, and program
US8665273B2 (en) 2007-01-04 2014-03-04 Hajime Narukawa Method of mapping image information from one face onto another continuous face of different geometry
US9519995B2 (en) 2007-01-04 2016-12-13 Hajime Narukawa Method of mapping image information from one face onto another continuous face of different geometry
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿

Also Published As

Publication number Publication date
EP1453001B1 (en) 2011-03-23
EP1453001A4 (en) 2007-09-19
JP3975736B2 (ja) 2007-09-12
US20040076340A1 (en) 2004-04-22
KR20040065525A (ko) 2004-07-22
US7426317B2 (en) 2008-09-16
WO2003049030A1 (fr) 2003-06-12
KR100924411B1 (ko) 2009-10-29
EP1453001A1 (en) 2004-09-01
CN1496535A (zh) 2004-05-12
DE60239560D1 (de) 2011-05-05
CN100437639C (zh) 2008-11-26

Similar Documents

Publication Publication Date Title
JP3975736B2 (ja) 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP6819801B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム。
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
KR20040050888A (ko) 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램
JPWO2014178234A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108805807B (zh) 环景图像的拼接方法及其系统
Nielsen Surround video: a multihead camera approach
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP2002203254A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
JPH10208074A (ja) 画像生成方法
JP3387900B2 (ja) 画像処理方法及び装置
JP2004046573A (ja) チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP2001256492A (ja) 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003337953A (ja) 画像処理装置および画像処理方法、並びにコンピュータ・プログラム
Yuan et al. A novel method for geometric correction of multi-cameras in panoramic video system
Nielsen High resolution full spherical videos
JPH09190550A (ja) 全方位画像表示用データの生成方法及びその生成装置
JP2002216163A (ja) 任意視点によるパノラマ画像の生成方法、コンピュータプログラム及び記録媒体
JP4325108B2 (ja) 撮像画像合成装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees