JP2002163647A - レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JP2002163647A
JP2002163647A JP2000358823A JP2000358823A JP2002163647A JP 2002163647 A JP2002163647 A JP 2002163647A JP 2000358823 A JP2000358823 A JP 2000358823A JP 2000358823 A JP2000358823 A JP 2000358823A JP 2002163647 A JP2002163647 A JP 2002163647A
Authority
JP
Japan
Prior art keywords
image
images
lens distortion
coordinates
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000358823A
Other languages
English (en)
Other versions
JP3557168B2 (ja
Inventor
Naoki Chiba
直樹 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000358823A priority Critical patent/JP3557168B2/ja
Priority to US09/988,630 priority patent/US20020109833A1/en
Publication of JP2002163647A publication Critical patent/JP2002163647A/ja
Application granted granted Critical
Publication of JP3557168B2 publication Critical patent/JP3557168B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【目的】 この発明は、校正用パターンを用いることな
くレンズ歪みを校正できる、レンズ歪み係数算出装置を
提供することを目的とする。 【構成】 レンズを有する撮像手段で撮像された画像に
対してレンズ歪み補正を行なうためのレンズ歪み係数算
出装置において、撮像手段によって撮像された２枚の画
像に基づいて、これらの画像間で対応する複数の対応点
の座標を求める第１手段、第１手段で求められた対応点
の座標に基づいて、上記２枚の画像間の幾何変換係数を
算出する第２手段、および第１手段で求められた対応点
の座標と、第２手段で求められた幾何変換係数とに基づ
いて、レンズ歪み係数を算出する第３手段を備えてい
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、レンズ歪み係数
算出装置および算出方法、レンズ歪み係数算出プログラ
ムを記録したコンピュータ読み取り可能な記録媒体、画
像合成装置および方法、ならびに画像合成プログラムを
記録した記録媒体に関する。
【０００２】
【従来の技術】〔１〕従来のオプティカルフローの算出
方法についての説明
【０００３】２枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
【０００４】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００５】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００６】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
【０００７】
【数１】
【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１２】
【数３】
【００１３】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】故にオプティカルフローｖは次式５で求め
られる。
【００１７】
【数５】
【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１９】
【数６】
【００２０】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【００２１】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２２】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２３】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２４】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２５】〔２〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。
【００２６】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
【００２７】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
【００２８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【００２９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００３０】
【数７】
【００３１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００３２】
【数８】
【００３３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００３４】図５にフローベクトルの膨張処理の様子を
示す。
【００３５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００３６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００３７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００３８】
【数９】
【００３９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００４０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００４１】〔３〕従来のパノラマ画像の生成方法の説
明 本特許出願人らは、複数枚の画像間の幾何学パラメータ
を算出し、算出した幾何学パラメータに基づいてこれら
の画像を合成することにより、パノラマ画像を生成する
方法を既に開発している（特開平１１−３３９０２１号
公報参照）。
【００４２】今回、本特許出願人は、より精度の高いパ
ノラマ画像を得るために、レンズ歪み校正方法を提案す
る。従来のレンズ歪み校正方法では、特別な校正用パタ
ーンを用意し、校正用パターンの画像を複数毎撮像し、
得られた画像に基づいてレンズ歪み係数を算出していた
（文献：Z.Zhang,"Flexible camara calibration byvie
wing a plane from unknown orientations,"Proc.ICCV9
9,pp.666-673,1999)。
【００４３】しかしながら、ユーザが校正用パターンを
用いてレンズ歪みを校正することは、困難である。
【００４４】
【発明が解決しようとする課題】この発明は、校正用パ
ターンを用いることなくレンズ歪みを校正できる、レン
ズ歪み係数算出装置、レンズ歪み係数算出方法およびレ
ンズ歪み係数算出プログラムを記録したコンピュータ読
み取り可能な記録媒体を提供することを目的とする。
【００４５】また、この発明は、精度の高いパノラマ画
像が得られる画像合成装置、画像合成方法、画像合成プ
ログラムを記録した記録媒体を提供することを目的とす
る。
【００４６】
【課題を解決するための手段】この発明によるレンズ歪
み係数算出装置は、レンズを有する撮像手段で撮像され
た画像に対してレンズ歪み補正を行なうためのレンズ歪
み係数算出装置において、撮像手段によって撮像された
２枚の画像に基づいて、これらの画像間で対応する複数
の対応点の座標を求める第１手段、第１手段で求められ
た対応点の座標に基づいて、上記２枚の画像間の幾何変
換係数を算出する第２手段、および第１手段で求められ
た対応点の座標と、第２手段で求められた幾何変換係数
とに基づいて、レンズ歪み係数を算出する第３手段を備
えていることを特徴とする。
【００４７】第１手段は、たとえば、撮像手段によって
撮像された２枚の画像の重なり部を抽出する手段、一方
の画像における他方の画像との重なり部分から、両画像
間のオプティカルフローによる追跡に有効な複数の部分
画像を特徴点として抽出する手段、および上記一方の画
像上の各特徴点に対応する上記他方の画像上の点を、両
画像間のオプティカルフローに基づいて追跡する手段を
備えている。
【００４８】この発明によるレンズ歪み係数算出方法
は、レンズを有する撮像手段で撮像された画像に対して
レンズ歪み補正を行なうためのレンズ歪み係数算出方法
において、撮像手段によって撮像された２枚の画像に基
づいて、これらの画像間で対応する複数の対応点の座標
を求める第１ステップ、第１ステップで求められた対応
点の座標に基づいて、上記２枚の画像間の幾何変換係数
を算出する第２ステップ、および第１ステップで求めら
れた対応点の座標と、第２ステップで求められた幾何変
換係数とに基づいて、レンズ歪み係数を算出する第３ス
テップを備えていることを特徴とする。
【００４９】第１ステップは、たとえば、撮像手段によ
って撮像された２枚の画像の重なり部を抽出するステッ
プ、一方の画像における他方の画像との重なり部分か
ら、両画像間のオプティカルフローによる追跡に有効な
複数の部分画像を特徴点として抽出するステップ、およ
び上記一方の画像上の各特徴点に対応する上記他方の画
像上の点を、両画像間のオプティカルフローに基づいて
追跡するステップを備えている。
【００５０】この発明によるレンズ歪み係数算出プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、レンズを有する撮像手段で撮像された画像に対して
レンズ歪み補正を行なうためのレンズ歪み係数算出プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、撮像手段によって撮像された２枚の画像に基
づいて、これらの画像間で対応する複数の対応点の座標
を求める第１ステップ、第１ステップで求められた対応
点の座標に基づいて、上記２枚の画像間の幾何変換係数
を算出する第２ステップ、および第１ステップで求めら
れた対応点の座標と、第２ステップで求められた幾何変
換係数とに基づいて、レンズ歪み係数を算出する第３ス
テップをコンピュータに実行させめるためのレンズ歪み
係数算出プログラムを記録していることを特徴とする。
【００５１】第１ステップは、たとえば、撮像手段によ
って撮像された２枚の画像の重なり部を抽出するステッ
プ、一方の画像における他方の画像との重なり部分か
ら、両画像間のオプティカルフローによる追跡に有効な
複数の部分画像を特徴点として抽出するステップ、およ
び上記一方の画像上の各特徴点に対応する上記他方の画
像上の点を、両画像間のオプティカルフローに基づいて
追跡するステップを備えている。
【００５２】この発明による画像合成装置は、レンズを
有する撮像手段によって撮像された第１画像と第２画像
とを合成する画像合成装置において、第１画像および第
２画像に基づいて、これらの画像間で対応する複数の対
応点の座標を求める第１手段、第１手段で求められた対
応点の座標に基づいて、第１画像と第２画像との間の幾
何変換係数を算出する第２手段、第１手段で求められた
対応点の座標と、第２手段で求められた幾何変換係数と
に基づいて、レンズ歪み係数を算出する第３手段、第３
手段で算出されたレンズ歪み係数に基づいて、第１画像
および第２画像に対してレンズ歪み補正を行なう第４手
段、ならびに第４手段で得られたレンズ歪み補正後の第
１画像および第２画像を、レンズ歪み補正後の第１画像
および第２画像との間の幾何変換係数を用いて合成する
第５手段を備えていることを特徴とする。
【００５３】第１手段は、たとえば、第１画像と第２画
像との重なり部を抽出する手段、一方の画像における他
方の画像との重なり部分から、両画像間のオプティカル
フローによる追跡に有効な複数の部分画像を特徴点とし
て抽出する手段、および上記一方の画像上の各特徴点に
対応する上記他方の画像上の点を、両画像間のオプティ
カルフローに基づいて追跡する手段を備えている。
【００５４】この発明による画像合成方法は、レンズを
有する撮像手段によって撮像された第１画像と第２画像
とを合成する画像合成方法において、第１画像および第
２画像に基づいて、これらの画像間で対応する複数の対
応点の座標を求める第１ステップ、第１ステップで求め
られた対応点の座標に基づいて、第１画像と第２画像と
の間の幾何変換係数を算出する第２ステップ、第１ステ
ップで求められた対応点の座標と、第２ステップで求め
られた幾何変換係数とに基づいて、レンズ歪み係数を算
出する第３ステップ、第３ステップで算出されたレンズ
歪み係数に基づいて、第１画像および第２画像に対して
レンズ歪み補正を行なう第４ステップ、ならびに第４ス
テップで得られたレンズ歪み補正後の第１画像および第
２画像を、レンズ歪み補正後の第１画像および第２画像
との間の幾何変換係数を用いて合成する第５ステップを
備えていることを特徴とする。
【００５５】第１ステップは、たとえば、第１画像と第
２画像との重なり部を抽出するステップ、一方の画像に
おける他方の画像との重なり部分から、両画像間のオプ
ティカルフローによる追跡に有効な複数の部分画像を特
徴点として抽出するステップ、および上記一方の画像上
の各特徴点に対応する上記他方の画像上の点を、両画像
間のオプティカルフローに基づいて追跡するステップを
備えている。
【００５６】この発明による画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体は、レンズを
有する撮像手段によって撮像された第１画像と第２画像
とを合成する画像合成プログラムを記録したコンピュー
タ読み取り可能な記録媒体であって、第１画像および第
２画像に基づいて、これらの画像間で対応する複数の対
応点の座標を求める第１ステップ、第１ステップで求め
られた対応点の座標に基づいて、第１画像と第２画像と
の間の幾何変換係数を算出する第２ステップ、第１ステ
ップで求められた対応点の座標と、第２ステップで求め
られた幾何変換係数とに基づいて、レンズ歪み係数を算
出する第３ステップ、第３ステップで算出されたレンズ
歪み係数に基づいて、第１画像および第２画像に対して
レンズ歪み補正を行なう第４ステップ、ならびに第４ス
テップで得られたレンズ歪み補正後の第１画像および第
２画像を、レンズ歪み補正後の第１画像および第２画像
との間の幾何変換係数を用いて合成する第５ステップを
コンピュータに実行させめるための画像合成プログラム
を記録していることを特徴とする。
【００５７】第１ステップは、たとえば、第１画像と第
２画像との重なり部を抽出するステップ、一方の画像に
おける他方の画像との重なり部分から、両画像間のオプ
ティカルフローによる追跡に有効な複数の部分画像を特
徴点として抽出するステップ、および上記一方の画像上
の各特徴点に対応する上記他方の画像上の点を、両画像
間のオプティカルフローに基づいて追跡するステップを
備えている。
【００５８】
【発明の実施の形態】以下、この発明をパノラマ画像合
成装置に適用した場合の実施の形態について説明する。
【００５９】〔２〕パノラマ画像合成装置の説明
【００６０】図７は、パノラマ画像合成装置の構成を示
している。
【００６１】パノラマ画像合成装置は、パーソナルコン
ピュータによって実現される。パーソナルコンピュータ
１０には、ディスプレイ２１、マウス２２およびキーボ
ード２３が接続されている。パーソナルコンピュータ１
０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、
ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ
（ディスクドライブ）１４を備えている。
【００６２】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、パノラマ画像合成処理プロ
グラムが格納されている。パノラマ画像合成処理プログ
ラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、
ハードディスク１３にインストールされる。また、ハー
ドディスク１３には、デジタルカメラによって撮像され
た複数の画像が予め格納されているものとする。
【００６３】〔２〕パノラマ画像合成プログラムが起動
せしめられた場合にＣＰＵ１１によって行われるパノラ
マ画像合成処理の説明
【００６４】図８は、ＣＰＵ１１によって行われる全体
的な処理手順を示している。
【００６５】ここでは、説明の便宜上の２枚の画像を合
成して、パノラマ画像を生成する場合について説明す
る。
【００６６】まず、合成されるべき２枚の画像をメモリ
１２に読み込む（ステップ１）。
【００６７】読み込まれた２枚の画像間の幾何変換係数
を算出する（ステップ２）。
【００６８】次に、レンズ歪み係数を算出する（ステッ
プ３）。この際、幾何変換パラメータは、レンズ歪み係
数に基づいて補正される。
【００６９】算出されたレンズ歪み係数に基づいて、上
記２枚の画像に対してレンズ歪み補正処理を行なう（ス
テップ４）。
【００７０】レンズ歪み補正処理後の２枚の画像と、レ
ンズ歪み係数に基づいて補正された幾何変換パラメータ
に基づいて、２枚の画像が合成される（ステップ５）。
【００７１】以下、各ステップ２〜５について、さらに
詳細に説明する。
【００７２】〔３〕図８のステップ２の処理の説明
【００７３】図９は、図８のステップ２の処理の詳細な
手順を示している。
【００７４】説明の便宜上、ここでは、重なり部を有す
る２枚の画像（第１画像Ａ１及び第２画像Ａ２）を接合
する場合について説明する。
【００７５】まず、第１画像Ａ１と第２画像Ａ２との重
なり部の抽出処理が行われる（ステップ１１）。この重
なり部の抽出処理は、たとえば、ＳＳＤ法（Sum of Squ
aredDifference)、正規化相互相関法に基づいて行われ
る。
【００７６】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１０に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
【００７７】
【数１０】
【００７８】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１１に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
【００７９】
【数１１】
【００８０】式１１において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【００８１】次に、特徴点抽出処理が行われる（ステッ
プ１２）。つまり、第１画像Ａ１における第２画像Ａ２
との重なり部分から、追跡に有効な複数の部分画像（矩
形領域）が特徴点として抽出される。ただし、各特徴点
は互いに重ならないように抽出される。具体的には、上
述した固有値λmin （式８参照）の高い部分が特徴点と
して抽出される。
【００８２】次に、特徴点追跡処理が行われる（ステッ
プ１３）。つまり、抽出された第１画像Ａ１上の特徴点
に対する第２画像Ａ２上の位置が追跡される。
【００８３】具体的には、まず、本出願人が開発したオ
プティカルフロー推定方法（従来技術の説明の欄の
〔２〕参照）によって、適当なサイズ（例えば、１３×
１３）のパッチ毎のオプティカルフローベクトルが求め
られる。第１画像Ａ１上の特徴点に対応する第２画像Ａ
２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。
【００８４】次に、幾何変換行列（幾何変換係数）が算
出される（ステップ１４）。
【００８５】幾何変換係数としては、ここでは、平面射
影変換行列が用いられる。なお、撮像条件によっては、
幾何変換として、アフィン変換、２次元剛体変換、２次
元並進運動等を用いてもよい。
【００８６】対象としているシーンが遠方にある場合
や、近くても建物や壁、黒板などの場合には、それらを
単一平面と仮定することができる。図１０に示すように
３次元空間中の単一平面の点Ｍを２つの異なる視点
Ｃ1 、Ｃ2 から観察した時、これらの各画像面での座標
ｍ1 、ｍ2 の間の変換は、線形であることが射影幾何学
において知られており、homography と呼ばれている
(O.Faugeras,"Three-DimentionComputer Viaion: a Geo
metric Viewpoint",MIT press, 1993.)。
【００８７】すなわち、画像座標を斉次座標で表した第
２画像上の点ｍ2 ＝（ｘ2,ｙ2,１） t は、第１画像上で
対応する点ｍ1 ＝（ｘ1,ｙ1,１）t を持ち、それらの関
係は次式１２で定義される。
【００８８】
【数１２】
【００８９】ここで〜は射影的に等しいことを示し、ス
ケール因子を残す。ここでは、そして、この変換行列Ｈ
は、次式１３のように書き換えることができる。
【００９０】
【数１３】
【００９１】〔４〕図８のステップ３の処理（レンズ歪
み係数の算出処理）の説明
【００９２】レンズ歪みとは、レンズ歪み中心からの距
離に応じて幾何学的に歪む現象をいう。画像平面上の座
標を画像座標ということにする。（ｕt ，ｖt ）をレン
ズ歪みのない真の画像座標とすると、一般にレンズ歪み
を含んだ実際に観察された画像座標（ｕa ，ｖa ）は、
次式１４で表すことができる。
【００９３】
【数１４】
【００９４】上記式１４において、ｋは歪み係数、（ｕ
o ，ｖo ）はレンズ歪みの中心座標である。
【００９５】第１画像Ａ１の各特徴点の座標をＰi 、そ
れらに対応する第２画像Ａ２上の座標をＰ’i 、両画像
間の幾何変換行列をＨとすると、誤差関数Ｅを次式１５
ように定義することができる。
【００９６】
【数１５】
【００９７】ここで、レンズ歪みの中心座標（ｕo ，ｖ
o ）が画像中心に一致すると仮定すると、誤差関数Ｅ
は、上記式１４の歪み係数ｋを用いて、次式１６のよう
に書き直すことができる。
【００９８】
【数１６】
【００９９】この誤差Ｅを最小化するレンズ歪み係数ｋ
を、ニュートンラフソン法を用いて算出する。すなわ
ち、係数ｋの変化分ｄｋが非常に小さい場合、テーラー
展開することで、二次以降の項を無視すると次式１７を
得る。
【０１００】
【数１７】
【０１０１】ただし、Ｅ’は、誤差関数Ｅの一次微分で
ある。Ｅの最小値を求めたいので、次式１８を得る。
【０１０２】
【数１８】
【０１０３】上記式１８を上記式１７に代入すると、次
式１９によってｄｋを算出することができる。
【０１０４】
【数１９】
【０１０５】また、次式２０に示すように、反復的に計
算することにより、より精度よくｄｋを算出することが
できる。
【０１０６】
【数２０】
【０１０７】つまり、起点をｋ＝０として、ｄｋ0 、ｄ
ｋ1 、ｄｋ2 、…ｄｋn を順番に求めていく。ｄｋ0 を
算出する際には、上記式１６における幾何変換行列Ｈと
しては、ステップ２で算出された行列（Ｈ0 とする）が
用いられる。そして、ｄｋ0が求められると、ｄｋ0 ＝
ｋとして、上記式１４に基づいて、幾何変換行列Ｈを算
出するために用いられる第１画像Ａ１と第２画像Ａ２と
の対応点（特徴点）に対してレンズ歪み補正が行なわ
れ、レンズ歪み補正後の対応点から幾何変換行列Ｈ1 が
新たに算出される。
【０１０８】ｄｋ1 を算出する際には、上記式１６にお
ける幾何変換行列Ｈとして、新たに算出されたら幾何変
換行列Ｈ1 が用いられる。ｄｋ2 以降を算出する場合も
同様である。そして、最終的に求められたｄｋn （＝
ｋ）に基づいて、幾何変換行列Ｈn を新たに算出する。
【０１０９】なお、ｄｋ0 、ｄｋ1 、ｄｋ2 、…ｄｋn
を求める際に、上記式１６における幾何変換行列Ｈとし
て、ステップ２で算出された行列Ｈを常に用いてもよ
い。この場合にも、最終的に求められたｄｋn （＝ｋ）
に基づいて、幾何変換行列Ｈnを新たに算出する。
【０１１０】〔５〕図８のステップ４の処理（レンズ歪
み補正処理）の説明
【０１１１】ステップ４のレンズ歪み補正処理では、ス
テップ３で最終的に求められたレンズ歪み係数ｄｋ（＝
ｋ）と、上記式１４とに基づいて、第１画像Ａ１および
第２画像Ａ２から、レンズ歪みが補正された画像Ａ
１’、Ａ２’を生成する。
【０１１２】つまり、真の画像座標の所定位置を
（ｕt ，ｖt ）とし、この所定位置（ｕt，ｖt ）に対
応するレンズ歪みを含んだ画像座標を、上記数式１４か
ら求める。所定位置（ｕt ，ｖt ）に対応するレンズ歪
みを含んだ画像座標の画像データを、上記所定位置（ｕ
t ，ｖt ）の画像データとする。
【０１１３】〔６〕図８のステップ５の処理（画像合成
処理）の説明
【０１１４】ステップ５の画像合成処理では、ステップ
４で得られたレンズ歪みが補正された第１および第２画
像Ａ１’、Ａ２’と、ステップ３で最終的に求められた
ｄｋ n （＝ｋ）に基づいて算出された幾何変換行列Ｈn
とに基づいて、第１画像Ａ１’と第２画像Ａ２’とが合
成される。
【０１１５】
【発明の効果】この発明によれば、校正用パターンを用
いることなく、レンズ歪みを校正できるようになる。ま
た、この発明によれば、精度の高いパノラマ画像が得ら
れるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
【図７】図７は、パノラマ画像合成装置の構成を示すブ
ロック図である。
【図８】図８は、パノラマ画像合成処理手順を示すフロ
ーチャートである。
【図９】図９は、図８のステップ２の処理の詳細な手順
を示すフローチャートである。
【図１０】図１０は、平面射影行列を説明するための説
明図である。
【符号の説明】
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ リムーバブルディスクのドライブ ２１ ディスプレイ ２２ マウス ２３ キーボード

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 レンズを有する撮像手段で撮像された画
    像に対してレンズ歪み補正を行なうためのレンズ歪み係
    数算出装置において、 撮像手段によって撮像された２枚の画像に基づいて、こ
    れらの画像間で対応する複数の対応点の座標を求める第
    １手段、 第１手段で求められた対応点の座標に基づいて、上記２
    枚の画像間の幾何変換係数を算出する第２手段、および
    第１手段で求められた対応点の座標と、第２手段で求め
    られた幾何変換係数とに基づいて、レンズ歪み係数を算
    出する第３手段、 を備えていることを特徴とするレンズ歪み係数算出装
    置。
  2. 【請求項２】 第１手段は、 撮像手段によって撮像された２枚の画像の重なり部を抽
    出する手段、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出する手段、および上記一方
    の画像上の各特徴点に対応する上記他方の画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    手段、 を備えていることを特徴とする請求項１に記載のレンズ
    歪み係数算出装置。
  3. 【請求項３】 レンズを有する撮像手段で撮像された画
    像に対してレンズ歪み補正を行なうためのレンズ歪み係
    数算出方法において、 撮像手段によって撮像された２枚の画像に基づいて、こ
    れらの画像間で対応する複数の対応点の座標を求める第
    １ステップ、 第１ステップで求められた対応点の座標に基づいて、上
    記２枚の画像間の幾何変換係数を算出する第２ステッ
    プ、および第１ステップで求められた対応点の座標と、
    第２ステップで求められた幾何変換係数とに基づいて、
    レンズ歪み係数を算出する第３ステップ、 を備えていることを特徴とするレンズ歪み係数算出方
    法。
  4. 【請求項４】 第１ステップは、 撮像手段によって撮像された２枚の画像の重なり部を抽
    出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、および上記
    一方の画像上の各特徴点に対応する上記他方の画像上の
    点を、両画像間のオプティカルフローに基づいて追跡す
    るステップ、 を備えていることを特徴とする請求項３に記載のレンズ
    歪み係数算出方法。
  5. 【請求項５】 レンズを有する撮像手段で撮像された画
    像に対してレンズ歪み補正を行なうためのレンズ歪み係
    数算出プログラムを記録したコンピュータ読み取り可能
    な記録媒体であって、 撮像手段によって撮像された２枚の画像に基づいて、こ
    れらの画像間で対応する複数の対応点の座標を求める第
    １ステップ、 第１ステップで求められた対応点の座標に基づいて、上
    記２枚の画像間の幾何変換係数を算出する第２ステッ
    プ、および第１ステップで求められた対応点の座標と、
    第２ステップで求められた幾何変換係数とに基づいて、
    レンズ歪み係数を算出する第３ステップ、 をコンピュータに実行させめるためのレンズ歪み係数算
    出プログラムを記録したコンピュータ読み取り可能な記
    録媒体。
  6. 【請求項６】 第１ステップは、 撮像手段によって撮像された２枚の画像の重なり部を抽
    出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、および上記
    一方の画像上の各特徴点に対応する上記他方の画像上の
    点を、両画像間のオプティカルフローに基づいて追跡す
    るステップ、 を備えていることを特徴とする請求項５に記載のレンズ
    歪み係数算出プログラムを記録したコンピュータ読み取
    り可能な記録媒体。
  7. 【請求項７】 レンズを有する撮像手段によって撮像さ
    れた第１画像と第２画像とを合成する画像合成装置にお
    いて、 第１画像および第２画像に基づいて、これらの画像間で
    対応する複数の対応点の座標を求める第１手段、 第１手段で求められた対応点の座標に基づいて、第１画
    像と第２画像との間の幾何変換係数を算出する第２手
    段、 第１手段で求められた対応点の座標と、第２手段で求め
    られた幾何変換係数とに基づいて、レンズ歪み係数を算
    出する第３手段、 第３手段で算出されたレンズ歪み係数に基づいて、第１
    画像および第２画像に対してレンズ歪み補正を行なう第
    ４手段、ならびに第４手段で得られたレンズ歪み補正後
    の第１画像および第２画像を、レンズ歪み補正後の第１
    画像および第２画像との間の幾何変換係数を用いて合成
    する第５手段、 を備えていることを特徴とする画像合成装置。
  8. 【請求項８】 第１手段は、 第１画像と第２画像との重なり部を抽出する手段、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出する手段、および上記一方
    の画像上の各特徴点に対応する上記他方の画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    手段、 を備えていることを特徴とする請求項７に記載の画像合
    成装置。
  9. 【請求項９】 レンズを有する撮像手段によって撮像さ
    れた第１画像と第２画像とを合成する画像合成方法にお
    いて、 第１画像および第２画像に基づいて、これらの画像間で
    対応する複数の対応点の座標を求める第１ステップ、 第１ステップで求められた対応点の座標に基づいて、第
    １画像と第２画像との間の幾何変換係数を算出する第２
    ステップ、 第１ステップで求められた対応点の座標と、第２ステッ
    プで求められた幾何変換係数とに基づいて、レンズ歪み
    係数を算出する第３ステップ、 第３ステップで算出されたレンズ歪み係数に基づいて、
    第１画像および第２画像に対してレンズ歪み補正を行な
    う第４ステップ、ならびに第４ステップで得られたレン
    ズ歪み補正後の第１画像および第２画像を、レンズ歪み
    補正後の第１画像および第２画像との間の幾何変換係数
    を用いて合成する第５ステップ、 を備えていることを特徴とする画像合成方法。
  10. 【請求項１０】 第１ステップは、 第１画像と第２画像との重なり部を抽出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、および上記
    一方の画像上の各特徴点に対応する上記他方の画像上の
    点を、両画像間のオプティカルフローに基づいて追跡す
    るステップ、 を備えていることを特徴とする請求項９に記載の画像合
    成方法。
  11. 【請求項１１】 レンズを有する撮像手段によって撮像
    された第１画像と第２画像とを合成する画像合成プログ
    ラムを記録したコンピュータ読み取り可能な記録媒体で
    あって、 第１画像および第２画像に基づいて、これらの画像間で
    対応する複数の対応点の座標を求める第１ステップ、 第１ステップで求められた対応点の座標に基づいて、第
    １画像と第２画像との間の幾何変換係数を算出する第２
    ステップ、 第１ステップで求められた対応点の座標と、第２ステッ
    プで求められた幾何変換係数とに基づいて、レンズ歪み
    係数を算出する第３ステップ、 第３ステップで算出されたレンズ歪み係数に基づいて、
    第１画像および第２画像に対してレンズ歪み補正を行な
    う第４ステップ、ならびに第４ステップで得られたレン
    ズ歪み補正後の第１画像および第２画像を、レンズ歪み
    補正後の第１画像および第２画像との間の幾何変換係数
    を用いて合成する第５ステップ、 をコンピュータに実行させめるための画像合成プログラ
    ムを記録したコンピュータ読み取り可能な記録媒体。
  12. 【請求項１２】 第１ステップは、 第１画像と第２画像との重なり部を抽出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、および上記
    一方の画像上の各特徴点に対応する上記他方の画像上の
    点を、両画像間のオプティカルフローに基づいて追跡す
    るステップ、 を備えていることを特徴とする請求項１１に記載の画像
    合成プログラムを記録したコンピュータ読み取り可能な
    記録媒体。
JP2000358823A 2000-11-27 2000-11-27 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3557168B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000358823A JP3557168B2 (ja) 2000-11-27 2000-11-27 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
US09/988,630 US20020109833A1 (en) 2000-11-27 2001-11-20 Apparatus for and method of calculating lens distortion factor, and computer readable storage medium having lens distortion factor calculation program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000358823A JP3557168B2 (ja) 2000-11-27 2000-11-27 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002163647A true JP2002163647A (ja) 2002-06-07
JP3557168B2 JP3557168B2 (ja) 2004-08-25

Family

ID=18830662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000358823A Expired - Fee Related JP3557168B2 (ja) 2000-11-27 2000-11-27 レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
US (1) US20020109833A1 (ja)
JP (1) JP3557168B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100456632B1 (ko) * 2002-09-05 2004-11-10 한국전자통신연구원 영상 기반 렌즈 왜곡 보정 장치 및 방법
JP2006330772A (ja) * 2005-05-23 2006-12-07 Hitachi Zosen Corp 撮影画像における歪曲収差補正方法
JP2007036359A (ja) * 2005-07-22 2007-02-08 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
KR20190032788A (ko) * 2017-09-20 2019-03-28 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062103A (ja) * 2002-07-31 2004-02-26 Sony Corp 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP4899803B2 (ja) 2006-11-06 2012-03-21 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US20080181534A1 (en) * 2006-12-18 2008-07-31 Masanori Toyoda Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium
WO2011148975A1 (ja) * 2010-05-27 2011-12-01 株式会社日立ハイテクノロジーズ 画像処理装置、荷電粒子線装置、荷電粒子線装置調整用試料、およびその製造方法
EP2648157A1 (en) * 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
EP3304897A1 (en) * 2015-05-27 2018-04-11 Google LLC Capture and render of panoramic virtual reality content
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6788802B2 (en) * 1998-05-21 2004-09-07 Sanyo Electric Co., Ltd. Optical flow estimation method and image synthesis method
US6597816B1 (en) * 1998-10-30 2003-07-22 Hewlett-Packard Development Company, L.P. Correcting distortion in an imaging system using parametric motion estimation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100456632B1 (ko) * 2002-09-05 2004-11-10 한국전자통신연구원 영상 기반 렌즈 왜곡 보정 장치 및 방법
JP2006330772A (ja) * 2005-05-23 2006-12-07 Hitachi Zosen Corp 撮影画像における歪曲収差補正方法
JP2007036359A (ja) * 2005-07-22 2007-02-08 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
KR20190032788A (ko) * 2017-09-20 2019-03-28 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기
KR101976843B1 (ko) 2017-09-20 2019-05-15 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기

Also Published As

Publication number Publication date
US20020109833A1 (en) 2002-08-15
JP3557168B2 (ja) 2004-08-25

Similar Documents

Publication Publication Date Title
JP3435084B2 (ja) オプティカルフロー推定方法および画像合成方法
CN107845134B (zh) 一种基于彩色深度相机的单个物体的三维重建方法
US10176554B2 (en) Camera calibration using synthetic images
KR101195942B1 (ko) 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
CN109242873B (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US9635251B2 (en) Visual tracking using panoramas on mobile devices
US8417062B2 (en) System and method for stabilization of fisheye video imagery
JP2015060595A (ja) 物体の自己運動推定方法
EP0842498A2 (en) Method and system for image combination using a parallax-based technique
JP2007257287A (ja) 画像レジストレーション方法
JP5499261B2 (ja) 画像処理装置
JP3557168B2 (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
JP2001274973A (ja) 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000155831A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
JP3540696B2 (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
WO2017154045A1 (en) 3d motion estimation device, 3d motion estimation method, and program
JP3548071B2 (ja) 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
JP2002094849A (ja) 広視野画像撮像装置
JP2004046573A (ja) チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002170111A (ja) 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体
JP2001256492A (ja) 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3384764B2 (ja) 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100897834B1 (ko) 전방향 카메라의 교정방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees