JP2002150264A - モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 - Google Patents
モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体Info
- Publication number
- JP2002150264A JP2002150264A JP2000338628A JP2000338628A JP2002150264A JP 2002150264 A JP2002150264 A JP 2002150264A JP 2000338628 A JP2000338628 A JP 2000338628A JP 2000338628 A JP2000338628 A JP 2000338628A JP 2002150264 A JP2002150264 A JP 2002150264A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- mosaic image
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 撮影対象が、平面近似し得ない程の奥行きの
変化がある複数枚の画像から歪みの少ないモザイク画像
を簡易に生成できるようにする。 【解決手段】 カメラの位置・姿勢情報に基づいて、動
きベクトルを求め（１０１）、入力される画像の対から
画像解析によって動きベクトルを求め（１０４）、両工
程で求めた動きベクトルを利用してはずれ値を除外し
（１０５）、はずれ値の除外で残った動きベクトルに基
づいて、カメラパラメータを算出し（１０６）、算出し
たカメラパラメータに従って画像をつなぎ合わせ（１０
７）、モザイク画像を出力する（１０８）。
変化がある複数枚の画像から歪みの少ないモザイク画像
を簡易に生成できるようにする。 【解決手段】 カメラの位置・姿勢情報に基づいて、動
きベクトルを求め（１０１）、入力される画像の対から
画像解析によって動きベクトルを求め（１０４）、両工
程で求めた動きベクトルを利用してはずれ値を除外し
（１０５）、はずれ値の除外で残った動きベクトルに基
づいて、カメラパラメータを算出し（１０６）、算出し
たカメラパラメータに従って画像をつなぎ合わせ（１０
７）、モザイク画像を出力する（１０８）。
Description
【０００１】
【発明の属する技術分野】本発明は、空中から地上を撮
影したビデオ映像から広域写真地図を作成するなど、視
野の狭い複数枚の画像から視野の広い一枚の画像（モザ
イク画像）を合成するためのモザイク画像合成方法、及
び装置、並びにそのプログラムを記録した記録媒体に関
するものである。
影したビデオ映像から広域写真地図を作成するなど、視
野の狭い複数枚の画像から視野の広い一枚の画像（モザ
イク画像）を合成するためのモザイク画像合成方法、及
び装置、並びにそのプログラムを記録した記録媒体に関
するものである。
【０００２】
【従来の技術】特開平９−２９８６８６号公報に開示さ
れている「航空写真作成装置」は、飛行して得た撮影録
画画像を地上で再生するのに、動画像のフレーム一枚ず
つ切り出し、各静止画を光学的に補正し、この補正され
た各静止画を位置検出器および姿勢検出器でそれぞれ検
出した位置情報と姿勢情報に従ってつなぎ合わせること
で一枚の大きな静止画を作成するようにしている。この
従来装置によれば、位置検出装置、及び姿勢検出装置か
ら得られた位置情報、及び姿勢情報を用いて、ＴＶカメ
ラでの低空飛行撮影によるビデオ映像から航空写真作成
（モザイク画像合成）を行うことができる。
れている「航空写真作成装置」は、飛行して得た撮影録
画画像を地上で再生するのに、動画像のフレーム一枚ず
つ切り出し、各静止画を光学的に補正し、この補正され
た各静止画を位置検出器および姿勢検出器でそれぞれ検
出した位置情報と姿勢情報に従ってつなぎ合わせること
で一枚の大きな静止画を作成するようにしている。この
従来装置によれば、位置検出装置、及び姿勢検出装置か
ら得られた位置情報、及び姿勢情報を用いて、ＴＶカメ
ラでの低空飛行撮影によるビデオ映像から航空写真作成
（モザイク画像合成）を行うことができる。
【０００３】一方、画像解析によりモザイク画像合成を
行う方法がある（例えば、「画像特徴に基づくイメージ
モザイキング」電子情報通信学会論文誌D-II Vol.J82-D
-IINo.10 pp.1581-1589）。これらの方法では、画像解
析によって得られる画像の動きベクトルを用いて、上述
の画像合成を行う。具体的には、画像の対に対して、輝
度値の分布が類似する部分（対応点）を求め、それらが
すべて重ね合わさるようなカメラパラメータを算出す
る。そして、そのカメラパラメータに従って画像を変換
し、合成を行う。カメラパラメータには、その簡単さか
ら、撮影対象を平面と仮定した、以下のモデルが多く用
いられる。ここで、（ｕ1，ｖ1，１）、（ｕ2，ｖ2，
１）はそれぞれ対応点の同次座標、ａ1，ｂ1，ｃ1，
ｄ1，ｅ1，ｆ1，ｇ1，ｈ1はカメラパラメータ、Ｓ1は任
意の定数である。
行う方法がある（例えば、「画像特徴に基づくイメージ
モザイキング」電子情報通信学会論文誌D-II Vol.J82-D
-IINo.10 pp.1581-1589）。これらの方法では、画像解
析によって得られる画像の動きベクトルを用いて、上述
の画像合成を行う。具体的には、画像の対に対して、輝
度値の分布が類似する部分（対応点）を求め、それらが
すべて重ね合わさるようなカメラパラメータを算出す
る。そして、そのカメラパラメータに従って画像を変換
し、合成を行う。カメラパラメータには、その簡単さか
ら、撮影対象を平面と仮定した、以下のモデルが多く用
いられる。ここで、（ｕ1，ｖ1，１）、（ｕ2，ｖ2，
１）はそれぞれ対応点の同次座標、ａ1，ｂ1，ｃ1，
ｄ1，ｅ1，ｆ1，ｇ1，ｈ1はカメラパラメータ、Ｓ1は任
意の定数である。
【０００４】
【数１】
【０００５】もしくは、より簡易的に、
【０００６】
【数２】
【０００７】等の制約条件を与える。
【０００８】
【発明が解決しようとする課題】特開平９−２９８６８
６号公報による方法では、位置検出装置、及び姿勢検出
装置の精度が十分でないため、画像間のつなぎ合わせが
うまくいかないという問題がある。
６号公報による方法では、位置検出装置、及び姿勢検出
装置の精度が十分でないため、画像間のつなぎ合わせが
うまくいかないという問題がある。
【０００９】この点、画像解析による方法では、画素単
位で得られる動きベクトルを用いて、カメラパラメータ
を算出するため、位置検出装置、及び姿勢検出装置を用
いた方法に比較して画像間のつなぎ合わせが改善され
る。
位で得られる動きベクトルを用いて、カメラパラメータ
を算出するため、位置検出装置、及び姿勢検出装置を用
いた方法に比較して画像間のつなぎ合わせが改善され
る。
【００１０】しかし、撮影対象を平面と仮定しているた
め、撮影対象が平面近似し得ない程の奥行きの変化のあ
る領域を持つ場合において、誤差が大きくなり、合成さ
れるモザイク画像全体が大きく歪むという問題がある。
め、撮影対象が平面近似し得ない程の奥行きの変化のあ
る領域を持つ場合において、誤差が大きくなり、合成さ
れるモザイク画像全体が大きく歪むという問題がある。
【００１１】例えば、空中から地上を撮影したビデオ映
像から広域写真地図を作成する時、撮影対象が平面（地
表面）であると仮定しているのに対し、図４に示すよう
に、高層建築物Ｂが撮影された場合等である。
像から広域写真地図を作成する時、撮影対象が平面（地
表面）であると仮定しているのに対し、図４に示すよう
に、高層建築物Ｂが撮影された場合等である。
【００１２】本発明の目的は、撮影対象が、平面近似し
得ない程の奥行きの変化のある領域を持つ場合において
も、歪みの少ないモザイク画像を簡易に生成できるモザ
イク画像合成方法及び装置並びにモザイク画像合成プロ
グラムを記録した記録媒体を提供することにある。
得ない程の奥行きの変化のある領域を持つ場合において
も、歪みの少ないモザイク画像を簡易に生成できるモザ
イク画像合成方法及び装置並びにモザイク画像合成プロ
グラムを記録した記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】本発明は、カメラの位置
・姿勢情報に基づいた画像の動きベクトルを用いて、画
像解析によって求められた対応点の動きベクトルにおけ
る、はずれ値の除外を行う。ここでの、はずれ値の物理
的な意味は、仮定平面から奥行き方向に対して大きなず
れがある、ということである。このはずれ値の除外を行
うことで、撮影対象が、平面近似し得ない程の奥行きの
変化のある領域を持つ場合においても、歪みの少ないモ
ザイク画像を簡易に生成できるようにしたもので、以下
の方法、装置ならびに記録媒体を特徴とする。
・姿勢情報に基づいた画像の動きベクトルを用いて、画
像解析によって求められた対応点の動きベクトルにおけ
る、はずれ値の除外を行う。ここでの、はずれ値の物理
的な意味は、仮定平面から奥行き方向に対して大きなず
れがある、ということである。このはずれ値の除外を行
うことで、撮影対象が、平面近似し得ない程の奥行きの
変化のある領域を持つ場合においても、歪みの少ないモ
ザイク画像を簡易に生成できるようにしたもので、以下
の方法、装置ならびに記録媒体を特徴とする。
【００１４】複数枚の画像からモザイク画像を合成する
方法であって、画像の対から、画像解析によって、動き
ベクトルを求める工程と、前記工程で求めた動きベクト
ルと、カメラの位置・姿勢情報に基づいて予め計算して
おいた動きベクトルとを利用してはずれ値を除外する工
程と、前記はずれ値の除外で残った動きベクトルに基づ
いて、カメラパラメータを算出する工程と、前記算出し
たカメラパラメータに従って画像をつなぎ合わせ、モザ
イク画像を出力する工程とを具備することを特徴とす
る。
方法であって、画像の対から、画像解析によって、動き
ベクトルを求める工程と、前記工程で求めた動きベクト
ルと、カメラの位置・姿勢情報に基づいて予め計算して
おいた動きベクトルとを利用してはずれ値を除外する工
程と、前記はずれ値の除外で残った動きベクトルに基づ
いて、カメラパラメータを算出する工程と、前記算出し
たカメラパラメータに従って画像をつなぎ合わせ、モザ
イク画像を出力する工程とを具備することを特徴とす
る。
【００１５】また、複数枚の画像からモザイク画像を合
成する装置であって、画像の対から、画像解析によっ
て、動きベクトルを求める手段と、前記手段で求めた動
きベクトルと、カメラの位置・姿勢情報に基づいて予め
計算しておいた動きベクトルを利用してはずれ値を除外
する手段と、前記はずれ値の除外で残った動きベクトル
に基づいて、カメラパラメータを算出する手段と、前記
算出したカメラパラメータに従って画像をつなぎ合わ
せ、モザイク画像を出力する手段とを具備することを特
徴とする。
成する装置であって、画像の対から、画像解析によっ
て、動きベクトルを求める手段と、前記手段で求めた動
きベクトルと、カメラの位置・姿勢情報に基づいて予め
計算しておいた動きベクトルを利用してはずれ値を除外
する手段と、前記はずれ値の除外で残った動きベクトル
に基づいて、カメラパラメータを算出する手段と、前記
算出したカメラパラメータに従って画像をつなぎ合わ
せ、モザイク画像を出力する手段とを具備することを特
徴とする。
【００１６】また、複数枚の画像からモザイク画像を合
成するためのモザイク画像合成プログラムを格納したコ
ンピュータ読み取り可能な記録媒体であって、画像の対
から、画像解析によって、動きベクトルを求める処理プ
ロセスと、前記処理プロセスで求めた動きベクトルと、
カメラの位置・姿勢情報に基づいて予め計算しておいた
動きベクトルを利用してはずれ値を除外する処理プロセ
スと、前記はずれ値の除外で残った動きベクトルに基づ
いて、カメラパラメータを算出する処理プロセスと、前
記算出したカメラパラメータに従って、画像をつなぎ合
わせ、モザイク画像を出力する処理プロセスとを含むこ
とを特徴とする。
成するためのモザイク画像合成プログラムを格納したコ
ンピュータ読み取り可能な記録媒体であって、画像の対
から、画像解析によって、動きベクトルを求める処理プ
ロセスと、前記処理プロセスで求めた動きベクトルと、
カメラの位置・姿勢情報に基づいて予め計算しておいた
動きベクトルを利用してはずれ値を除外する処理プロセ
スと、前記はずれ値の除外で残った動きベクトルに基づ
いて、カメラパラメータを算出する処理プロセスと、前
記算出したカメラパラメータに従って、画像をつなぎ合
わせ、モザイク画像を出力する処理プロセスとを含むこ
とを特徴とする。
【００１７】
【発明の実施の形態】図１は、本発明の方法の実施形態
を示す処理フロー図である。図２は、本発明の装置での
実施形態を示す構成図である。なお、図２における、モ
ザイク画像合成装置は、図１の各ステップに対応する手
段１１〜１８でソフトウェア構成され、ハードディス
ク、バッファメモリ、表示装置等を予め定められた手順
に基づいて制御するコンピュータやそれに準ずる装置に
より、実現することができる。
を示す処理フロー図である。図２は、本発明の装置での
実施形態を示す構成図である。なお、図２における、モ
ザイク画像合成装置は、図１の各ステップに対応する手
段１１〜１８でソフトウェア構成され、ハードディス
ク、バッファメモリ、表示装置等を予め定められた手順
に基づいて制御するコンピュータやそれに準ずる装置に
より、実現することができる。
【００１８】図１において、カメラの位置・姿勢情報を
入力し（ステップ１０１）、カメラの位置・姿勢情報に
基づいた画像の動きベクトルを計算する（ステップ１０
２）。なお、カメラの位置・姿勢情報に基づいた画像の
動きベクトルは予め計算して求めておくことができる。
入力し（ステップ１０１）、カメラの位置・姿勢情報に
基づいた画像の動きベクトルを計算する（ステップ１０
２）。なお、カメラの位置・姿勢情報に基づいた画像の
動きベクトルは予め計算して求めておくことができる。
【００１９】カメラの位置・姿勢情報は、後に説明する
（Ｘ，Ｙ，Ｚ、κ、φ、ω）の６つのパラメータで一意
に表すことができる。画像の動きベクトルは、画像Ｉ1
上の任意の点（ｕ1，ｖ1）に対応する画像Ｉ2上の対応
点（ｕ2，ｖ2）を求める（ｕ1，ｖ1）の関数として表す
ことができる。
（Ｘ，Ｙ，Ｚ、κ、φ、ω）の６つのパラメータで一意
に表すことができる。画像の動きベクトルは、画像Ｉ1
上の任意の点（ｕ1，ｖ1）に対応する画像Ｉ2上の対応
点（ｕ2，ｖ2）を求める（ｕ1，ｖ1）の関数として表す
ことができる。
【００２０】カメラの位置・姿勢情報はＧＰＳ、ジャイ
ロスコープ等の位置検出装置、及び姿勢検出装置から取
得してもよいし、もしくは、あらかじめ計画された撮影
プランから計算してもよい。あらかじめ計画された撮影
ブランとは、例えば、始点（Ｘ，Ｙ，Ｚ）からカメラを
鉛直下向きに東の方向へ時速１０ｋｍ／ｈの等速直線運
動に従って動かす、等である。また、画像の動きベクト
ルは、カメラの位置・姿勢情報より、カメラのモデルを
仮定して計算することができる。カメラのモデルとして
は、ピンホールカメラモデル、薄凸レンズカメラモデ
ル、厚凸レンズカメラモデル等がある。実際にはこれら
のモデルに対して解析的に求められた補正パラメータに
よる補正を行う場合がある。
ロスコープ等の位置検出装置、及び姿勢検出装置から取
得してもよいし、もしくは、あらかじめ計画された撮影
プランから計算してもよい。あらかじめ計画された撮影
ブランとは、例えば、始点（Ｘ，Ｙ，Ｚ）からカメラを
鉛直下向きに東の方向へ時速１０ｋｍ／ｈの等速直線運
動に従って動かす、等である。また、画像の動きベクト
ルは、カメラの位置・姿勢情報より、カメラのモデルを
仮定して計算することができる。カメラのモデルとして
は、ピンホールカメラモデル、薄凸レンズカメラモデ
ル、厚凸レンズカメラモデル等がある。実際にはこれら
のモデルに対して解析的に求められた補正パラメータに
よる補正を行う場合がある。
【００２１】以下に、理想的なピンホールカメラを用い
た場合について、カメラの位置・姿勢情報に基づいた画
像の動きベクトルを計算する詳細を図３を用いて説明す
る。
た場合について、カメラの位置・姿勢情報に基づいた画
像の動きベクトルを計算する詳細を図３を用いて説明す
る。
【００２２】画像Ｉ1の撮影時におけるカメラ座標系を
ｘ1ｙ1ｚ1で表す。ｘ1ｙ1ｚ1はワールド座標系ＸＹＺを
（Ｘ1、Ｙ1、Ｚ1）だけ平行移動し、ｚ1軸、ｙ1軸、ｘ1
軸の正方向に対して左回りに、順にκ1、φ1、ω1だけ
回転させたものである。カメラの光軸はｚ1軸角の方向
を向き、カメラの右手にｘ1軸正、カメラの上にｙ1軸正
が向くものとする。
ｘ1ｙ1ｚ1で表す。ｘ1ｙ1ｚ1はワールド座標系ＸＹＺを
（Ｘ1、Ｙ1、Ｚ1）だけ平行移動し、ｚ1軸、ｙ1軸、ｘ1
軸の正方向に対して左回りに、順にκ1、φ1、ω1だけ
回転させたものである。カメラの光軸はｚ1軸角の方向
を向き、カメラの右手にｘ1軸正、カメラの上にｙ1軸正
が向くものとする。
【００２３】この時、空間中の任意の点をワールド座標
系ＸＹＺ、及びカメラ座標系ｘ1ｙ1ｚ1で表した座標を
それぞれ（Ｘ，Ｙ，Ｚ）、及び（ｘ1，ｙ1，ｚ1）とす
ると、次式が成り立つ。
系ＸＹＺ、及びカメラ座標系ｘ1ｙ1ｚ1で表した座標を
それぞれ（Ｘ，Ｙ，Ｚ）、及び（ｘ1，ｙ1，ｚ1）とす
ると、次式が成り立つ。
【００２４】
【数３】
【００２５】ただし、
【００２６】
【数４】
【００２７】である。カメラを焦点距離ｆ1のピンホー
ルカメラとすると、（ｘ1，ｙ1，ｚ1）を画像平面Ｉ1上
に投影した点（ｕ1，ｖ1）は次式で表される。
ルカメラとすると、（ｘ1，ｙ1，ｚ1）を画像平面Ｉ1上
に投影した点（ｕ1，ｖ1）は次式で表される。
【００２８】
【数５】
【００２９】逆に、画像平面Ｉ1上の点（ｕ1，ｖ1）が
与えられた場合、（ｕ1，ｖ1）に対応する空間上の点
（Ｘ，Ｙ，Ｚ）は上記の（３）（５）式より、次式の関
係となる。ただし、ｚ1は未知数である。
与えられた場合、（ｕ1，ｖ1）に対応する空間上の点
（Ｘ，Ｙ，Ｚ）は上記の（３）（５）式より、次式の関
係となる。ただし、ｚ1は未知数である。
【００３０】
【数６】
【００３１】ここで、Ｚが（Ｘ，Ｙ）の関数
【００３２】
【数７】Ｚ＝Ｚ（Ｘ，Ｙ）…（７） で表されるとすると、（６）（７）式より、ｚ1、
（Ｘ，Ｙ，Ｚ）を求めることができる。例えば、
（Ｘ，Ｙ，Ｚ）を求めることができる。例えば、
【００３３】
【数８】Ｚ＝ＡＸ＋ＢＹ＋Ｃ…（８） の時、
【００３４】
【数９】
【００３５】とすると、（６）式より、Ｘ，Ｙ，Ｚはそ
れぞれ以下のようになる。
れぞれ以下のようになる。
【００３６】
【数１０】
【００３７】これら（１０）（１１）（１２）式を
（８）式に代入すると、
（８）式に代入すると、
【００３８】
【数１１】
【００３９】となり、この（１３）式を解いて、
【００４０】
【数１２】
【００４１】となり、この（１４）式を（１０）（１
１）（１２）式に代入すると（Ｘ，Ｙ，Ｚ）が得られ
る。
１）（１２）式に代入すると（Ｘ，Ｙ，Ｚ）が得られ
る。
【００４２】上記をまとめると、画像Ｉ1、Ｉ2の撮影時
におけるカメラの位置・姿勢情報（Ｘ1，Ｙ1，Ｚ1，
κ1，φ1，ω1）、（Ｘ2，Ｙ2，Ｚ2，κ2，φ2，ω2）
が与えられた時、カメラのピンホールモデルと撮影対象
（Ｘ，Ｙ，Ｚ）がＺ＝ＡＸ＋ＢＹ＋Ｃを満たすと仮定す
ると、画像Ｉ1上の任意の点（ｕ1，ｖ1）に対応する画
像Ｉ2上の対応点（ｕ2，ｖ2）は、上記の（３）（５）
（６）（１４）式より、次式で計算することができる。
におけるカメラの位置・姿勢情報（Ｘ1，Ｙ1，Ｚ1，
κ1，φ1，ω1）、（Ｘ2，Ｙ2，Ｚ2，κ2，φ2，ω2）
が与えられた時、カメラのピンホールモデルと撮影対象
（Ｘ，Ｙ，Ｚ）がＺ＝ＡＸ＋ＢＹ＋Ｃを満たすと仮定す
ると、画像Ｉ1上の任意の点（ｕ1，ｖ1）に対応する画
像Ｉ2上の対応点（ｕ2，ｖ2）は、上記の（３）（５）
（６）（１４）式より、次式で計算することができる。
【００４３】
【数１３】
【００４４】ただし、
【００４５】
【数１４】
【００４６】である。
【００４７】次に、画像を入力し（ステップ１０３）、
時間的に連続する画像の対に対して、画像解析により対
応点の動きベクトルを計算する（ステップ１０４）。こ
こでは一つの方法として文献「Detection and Tracking
of Point Features」(Carnegie Mellon University Te
cnical Report CMU-CS-91-132、1991）」に述べられて
いるＦｅａｔｕｒｅＴｒａｃｋｅｒを用いる。
時間的に連続する画像の対に対して、画像解析により対
応点の動きベクトルを計算する（ステップ１０４）。こ
こでは一つの方法として文献「Detection and Tracking
of Point Features」(Carnegie Mellon University Te
cnical Report CMU-CS-91-132、1991）」に述べられて
いるＦｅａｔｕｒｅＴｒａｃｋｅｒを用いる。
【００４８】簡単に説明すると、ＦｅａｔｕｒｅＴｒａ
ｃｋｅｒでは、画像の対のうち、一方の画像中において
輝度勾配がｘ軸方向、ｙ軸方向ともに大きな点を特徴点
として抽出し、時空間微分方程式と呼ばれる拘束条件を
用いて、その対応点を他方の画像から求める。カメラの
位置・姿勢情報に基づいた画像の動きベクトルが、画像
Ｉ1上の任意の点（ｕ1，ｖ1）に対応する画像Ｉ2上の対
応点（ｕ2，ｖ2）を求める（ｕ1，ｖ1）の関数として表
すことができたのに対し、ＦｅａｔｕｒｅＴｒａｃｋｅ
ｒでは、対応点の動きベクトルを、画像Ｉ1上の特徴点
として選択されたいくつかの点（ｕ1，ｖ1）と、画像Ｉ
2上のその対応点（ｕ2，ｖ2）の座標値の対として出力
する。ＦｅａｔｕｒｅＴｒａｃｋｅｒを用いて適当な個
数Ｎ、例えばＮ＝１００の対応点の対を求める。
ｃｋｅｒでは、画像の対のうち、一方の画像中において
輝度勾配がｘ軸方向、ｙ軸方向ともに大きな点を特徴点
として抽出し、時空間微分方程式と呼ばれる拘束条件を
用いて、その対応点を他方の画像から求める。カメラの
位置・姿勢情報に基づいた画像の動きベクトルが、画像
Ｉ1上の任意の点（ｕ1，ｖ1）に対応する画像Ｉ2上の対
応点（ｕ2，ｖ2）を求める（ｕ1，ｖ1）の関数として表
すことができたのに対し、ＦｅａｔｕｒｅＴｒａｃｋｅ
ｒでは、対応点の動きベクトルを、画像Ｉ1上の特徴点
として選択されたいくつかの点（ｕ1，ｖ1）と、画像Ｉ
2上のその対応点（ｕ2，ｖ2）の座標値の対として出力
する。ＦｅａｔｕｒｅＴｒａｃｋｅｒを用いて適当な個
数Ｎ、例えばＮ＝１００の対応点の対を求める。
【００４９】次に、画像解析によって求められたすべて
の対応点の対に対して、対応点の動きベクトルを、カメ
ラの位置・姿勢情報に基づく画像の動きベクトルと比較
する。両者に大きな違いがある場合は、その対応点の動
きベクトルを、はずれ値として除外する（ステップ１０
５）。具体的な手続きは例えば以下の通りである。
の対応点の対に対して、対応点の動きベクトルを、カメ
ラの位置・姿勢情報に基づく画像の動きベクトルと比較
する。両者に大きな違いがある場合は、その対応点の動
きベクトルを、はずれ値として除外する（ステップ１０
５）。具体的な手続きは例えば以下の通りである。
【００５０】画像解析によって求められた画像Ｉ1上の
特徴点の座標を（ｕ1，ｖ1）、画像Ｉ2上のその対応点
の座標を（ｕ2，ｖ2）とする。また、カメラの位置・姿
勢情報に基づいた画像の動きベクトルから求められる画
像Ｉ1上の座標（ｕ1，ｖ1）の、画像Ｉ2上の対応点の座
標を（ｕ2’，ｖ2’）とする。この時、
特徴点の座標を（ｕ1，ｖ1）、画像Ｉ2上のその対応点
の座標を（ｕ2，ｖ2）とする。また、カメラの位置・姿
勢情報に基づいた画像の動きベクトルから求められる画
像Ｉ1上の座標（ｕ1，ｖ1）の、画像Ｉ2上の対応点の座
標を（ｕ2’，ｖ2’）とする。この時、
【００５１】
【数１５】 Ｌ＝（ｕ2−ｕ2’）2＋（ｖ2−ｖ2’）2 …（１９） を用いてはずれ値の除外を行う。第１の方法は、Ｌに関
する適当なしきい値Ｌｔｈ用いてＬ＞Ｌｔｈなる対応点
の動きベクトルをはずれ値とする。第２の方法は、対応
点の対の個数Ｎに関する適当なしきい値Ｎｔｈ（＜Ｎ）
を用いて、Ｌの値が大きい方からＮｔｈ個をはずれ値と
して除外する。
する適当なしきい値Ｌｔｈ用いてＬ＞Ｌｔｈなる対応点
の動きベクトルをはずれ値とする。第２の方法は、対応
点の対の個数Ｎに関する適当なしきい値Ｎｔｈ（＜Ｎ）
を用いて、Ｌの値が大きい方からＮｔｈ個をはずれ値と
して除外する。
【００５２】これらはずれ値の除外について、図４、図
５を用いて、より具体的な例を示す。画像Ｉ1，Ｉ2は地
表の建造物Ａ，Ｂを撮影したものである（図４）。建造
物Ａの高さはカメラと地表との距離に対して比較的小さ
く、ほぼ地表面と同等と考えてよい、一方で建造物Ｂの
高さはカメラと地表との距離に対して十分大きく、無視
し得ない。
５を用いて、より具体的な例を示す。画像Ｉ1，Ｉ2は地
表の建造物Ａ，Ｂを撮影したものである（図４）。建造
物Ａの高さはカメラと地表との距離に対して比較的小さ
く、ほぼ地表面と同等と考えてよい、一方で建造物Ｂの
高さはカメラと地表との距離に対して十分大きく、無視
し得ない。
【００５３】図５に、画像Ｉ1，Ｉ2上に建造物Ａ，Ｂが
どのように映っているかを示す。図中、実線で建造物の
屋上面、破線で地表と接する床面を表す。（ｕ1、ｖ1）
及び（ｐ1，ｑ1）は画像解析によって求められた画像Ｉ
1上の特徴点、（ｕ2，ｖ2）及び（ｐ2，ｑ2）は同じく
画像解析によって求められた画像Ｉ2上の対応点であ
る。この時、それぞれの動きベクトルをａ，ｂとする。
また、（ｕ2’，ｖ2’）、及び（ｐ2’，ｑ2’）はカメ
ラの位置・姿勢情報に基づいて求められた画像Ｉ 2上の
対応点である。この時の動きベクトルをそれぞれａ’、
ｂ’とする。ただし、ここで撮影対象は地表面に等しい
一枚の平面と仮定しているものとする。
どのように映っているかを示す。図中、実線で建造物の
屋上面、破線で地表と接する床面を表す。（ｕ1、ｖ1）
及び（ｐ1，ｑ1）は画像解析によって求められた画像Ｉ
1上の特徴点、（ｕ2，ｖ2）及び（ｐ2，ｑ2）は同じく
画像解析によって求められた画像Ｉ2上の対応点であ
る。この時、それぞれの動きベクトルをａ，ｂとする。
また、（ｕ2’，ｖ2’）、及び（ｐ2’，ｑ2’）はカメ
ラの位置・姿勢情報に基づいて求められた画像Ｉ 2上の
対応点である。この時の動きベクトルをそれぞれａ’、
ｂ’とする。ただし、ここで撮影対象は地表面に等しい
一枚の平面と仮定しているものとする。
【００５４】ここで、ａとａ’、ｂとｂ’とを比較して
みると、明らかにｂとｂ’の方が、その違いが大きい。
これは、特徴点（ｐ1，ｑ1）が仮定平面から大きくずれ
ているためである。よって、適当なしきい値ＬｔｈやＮ
ｔｈを設定することで、前記の（１９）式より（ｐ1，
ｑ1）における動きベクトルｂを除外し、平面モデルに
矛盾しない動きベクトルａのみを用いて、次のカメラパ
ラメータの計算を行うことができる。
みると、明らかにｂとｂ’の方が、その違いが大きい。
これは、特徴点（ｐ1，ｑ1）が仮定平面から大きくずれ
ているためである。よって、適当なしきい値ＬｔｈやＮ
ｔｈを設定することで、前記の（１９）式より（ｐ1，
ｑ1）における動きベクトルｂを除外し、平面モデルに
矛盾しない動きベクトルａのみを用いて、次のカメラパ
ラメータの計算を行うことができる。
【００５５】次に、はずれ値を除外した、残りの対応点
の動きベクトルに基づいて、カメラパラメータを計算す
る（ステップ１０６）。ここでは、（１）式のモデルを
用い、最小自乗法を基本に、
の動きベクトルに基づいて、カメラパラメータを計算す
る（ステップ１０６）。ここでは、（１）式のモデルを
用い、最小自乗法を基本に、
【００５６】
【数１６】
【００５７】を最小とするようなａ1，ｂ1，ｃ1，ｄ1，
ｅ1，ｆ1，ｇ1，ｈ1を求める。Σは残りの対応点の対に
関する和である。上記の（２０）式中の、
ｅ1，ｆ1，ｇ1，ｈ1を求める。Σは残りの対応点の対に
関する和である。上記の（２０）式中の、
【００５８】
【数１７】
【００５９】をそれぞれ。ａ1，ｂ1，ｃ1，ｄ1，ｅ1，
ｆ1，ｇ1，ｈ1の適当な初期値の周りに一次の項までテ
ーラー展開する。
ｆ1，ｇ1，ｈ1の適当な初期値の周りに一次の項までテ
ーラー展開する。
【００６０】
【数１８】
【００６１】そして、Ｍが最小となるような変化分Δａ
1，Δｂ1，Δｃ1，Δｄ1，Δｅ1，Δｆ1，Δｇ1，Δｈ1
は、
1，Δｂ1，Δｃ1，Δｄ1，Δｅ1，Δｆ1，Δｇ1，Δｈ1
は、
【００６２】
【数１９】
【００６３】を解いて求められる。
【００６４】
【数２０】ａ1＝ａ1＋Δａ1，ｂ1＝ｂ1＋Δｂ1，ｃ1＝
ｃ1＋Δｃ1，ｄ1＝ｄ1＋Δｄ1，ｅ1＝ｅ1＋Δｅ1，ｆ1
＝ｆ1＋Δｆ1，ｇ1＝ｇ1＋Δｇ1，ｈ1＝ｈ1＋Δｈ1 とし、収束値に達するまで漸化的に求める。
ｃ1＋Δｃ1，ｄ1＝ｄ1＋Δｄ1，ｅ1＝ｅ1＋Δｅ1，ｆ1
＝ｆ1＋Δｆ1，ｇ1＝ｇ1＋Δｇ1，ｈ1＝ｈ1＋Δｈ1 とし、収束値に達するまで漸化的に求める。
【００６５】先に行った、はずれ値の除外の方法では完
全には、はずれ値が除外されないため、よりロバストな
推定を行うためには、最小自乗法を拡張したＭ推定法等
を用いることが望ましい。
全には、はずれ値が除外されないため、よりロバストな
推定を行うためには、最小自乗法を拡張したＭ推定法等
を用いることが望ましい。
【００６６】最後に、計算されたカメラパラメータによ
り画像をつなぎ合わせ（ステップ１０７）、モザイク画
像を出力する（ステップ１０８）。画像のつなぎ合わせ
方法としては、従来と同様に、カメラパラメータに従っ
て画像を変換し、その合成を行う。図６は、多数の１フ
レーム分の画像Ｍ１からモザイク合成画像Ｍ２が得られ
る例を示し、矢印Ａ，Ｂ，Ｃの方向と順で入力される各
画像のうち、１枚目の画像Ｍ１の座標系を基準の座標系
とし、すべての画像を（１）式を用いて基準の座標系へ
と変換することで、それぞれの画像がつなぎ合わさった
モザイク合成画像Ｍ２が得られる。
り画像をつなぎ合わせ（ステップ１０７）、モザイク画
像を出力する（ステップ１０８）。画像のつなぎ合わせ
方法としては、従来と同様に、カメラパラメータに従っ
て画像を変換し、その合成を行う。図６は、多数の１フ
レーム分の画像Ｍ１からモザイク合成画像Ｍ２が得られ
る例を示し、矢印Ａ，Ｂ，Ｃの方向と順で入力される各
画像のうち、１枚目の画像Ｍ１の座標系を基準の座標系
とし、すべての画像を（１）式を用いて基準の座標系へ
と変換することで、それぞれの画像がつなぎ合わさった
モザイク合成画像Ｍ２が得られる。
【００６７】また、以上までのステップ１０１から１０
８を繰り返すことで複数枚の画像よりモザイク画像を合
成することができる。
８を繰り返すことで複数枚の画像よりモザイク画像を合
成することができる。
【００６８】また、本発明は、図１に示した手順又は図
２に示した装置の一部又は全部をコンピュータプログラ
ムで記載してそれを実行できるようにし、それをコンピ
ュータが読み取り可能な記録媒体、例えば、フロッピー
ディスク（登録商標）や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て提供し、配布することが可能である。
２に示した装置の一部又は全部をコンピュータプログラ
ムで記載してそれを実行できるようにし、それをコンピ
ュータが読み取り可能な記録媒体、例えば、フロッピー
ディスク（登録商標）や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て提供し、配布することが可能である。
【００６９】
【発明の効果】以上のとおり、本発明によれば、カメラ
の位置・姿勢情報に基づいた画像の動きベクトルを用い
て、画像解析によって求められた対応点の動きベクトル
におけるはずれ値の除外を行うため、撮影対象が、平面
近似し得ない程の奥行きの変化のある領域を持つ場合に
おいても、歪みの少ないモザイク画像を簡易に生成する
ことができる。
の位置・姿勢情報に基づいた画像の動きベクトルを用い
て、画像解析によって求められた対応点の動きベクトル
におけるはずれ値の除外を行うため、撮影対象が、平面
近似し得ない程の奥行きの変化のある領域を持つ場合に
おいても、歪みの少ないモザイク画像を簡易に生成する
ことができる。
【図１】本発明の方法での実施形態を示す処理フロー
図。
図。
【図２】本発明の装置での実施形態を示す構成図。
【図３】理想的なピンホールカメラを用いた場合の、カ
メラの位置・姿勢情報に基づいた画像の動きベクトルの
計算を説明する図。
メラの位置・姿勢情報に基づいた画像の動きベクトルの
計算を説明する図。
【図４】動きベクトルのはずれ値を説明する図。
【図５】動きベクトルのはずれ値を説明する図。
【図６】各フレーム画像とこれらから合成されるモザイ
ク画像の関係図。
ク画像の関係図。
１１…位置・姿勢情報入力手段 １２…位置・姿勢情報に基づく動きベクトル計算手段 １３…画像入力手段 １４…画像解析による対応点の動きベクトル計算手段 １５…はずれ値除外手段 １６…動きベクトルに基づくカメラパラメータ計算手段 １７…画像のつなぎ合わせ手段 １８…モザイク画像出力手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B057 AA13 AA14 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD11 CE10 DA07 DB02 DB09 DC02 DC08 DC22 5C023 AA09 AA14 AA31 AA37 AA38 BA11 BA16 CA03 CA08 DA01 EA03 5C076 AA11 AA19 5L096 AA06 BA08 CA04 DA01 FA29 FA69 HA04
Claims (3)
- 【請求項１】 複数枚の画像からモザイク画像を合成す
る方法であって、 画像の対から、画像解析によって、動きベクトルを求め
る工程と、 前記工程で求めた動きベクトルと、カメラの位置・姿勢
情報に基づいて予め計算しておいた動きベクトルとを利
用してはずれ値を除外する工程と、 前記はずれ値の除外で残った動きベクトルに基づいて、
カメラパラメータを算出する工程と、 前記算出したカメラパラメータに従って画像をつなぎ合
わせ、モザイク画像を出力する工程と、を具備すること
を特徴とするモザイク画像合成方法。 - 【請求項２】 複数枚の画像からモザイク画像を合成す
る装置であって、 画像の対から、画像解析によって、動きベクトルを求め
る手段と、 前記手段で求めた動きベクトルと、カメラの位置・姿勢
情報に基づいて予め計算しておいた動きベクトルを利用
してはずれ値を除外する手段と、 前記はずれ値の除外で残った動きベクトルに基づいて、
カメラパラメータを算出する手段と、 前記算出したカメラパラメータに従って画像をつなぎ合
わせ、モザイク画像を出力する手段と、を具備すること
を特徴とするモザイク画像合成装置。 - 【請求項３】 複数枚の画像からモザイク画像を合成す
るためのモザイク画像合成プログラムを格納したコンピ
ュータ読み取り可能な記録媒体であって、 画像の対から、画像解析によって、動きベクトルを求め
る処理プロセスと、 前記処理プロセスで求めた動きベクトルと、カメラの位
置・姿勢情報に基づいて予め計算しておいた動きベクト
ルを利用してはずれ値を除外する処理プロセスと、 前記はずれ値の除外で残った動きベクトルに基づいて、
カメラパラメータを算出する処理プロセスと、 前記算出したカメラパラメータに従って、画像をつなぎ
合わせ、モザイク画像を出力する処理プロセスと、を含
むことを特徴とするモザイク画像合成プログラムを記録
した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000338628A JP2002150264A (ja) | 2000-11-07 | 2000-11-07 | モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000338628A JP2002150264A (ja) | 2000-11-07 | 2000-11-07 | モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002150264A true JP2002150264A (ja) | 2002-05-24 |
Family
ID=18813809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000338628A Pending JP2002150264A (ja) | 2000-11-07 | 2000-11-07 | モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002150264A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006195540A (ja) * | 2005-01-11 | 2006-07-27 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
| CN100403768C (zh) * | 2005-03-02 | 2008-07-16 | 松下电器产业株式会社 | 图像生成法、物体检测法、物体检测装置及图像生成程序 |
| US7535499B2 (en) | 2004-07-28 | 2009-05-19 | Panasonic Corporation | Panorama image synthesis method, object detection method, panorama image synthesis system, image shooting apparatus, and panorama image synthesis program |
| JP2011193062A (ja) * | 2010-03-11 | 2011-09-29 | Fujifilm Corp | パノラマ画像撮像装置及びパノラマ画像合成方法 |
| JP2014057228A (ja) * | 2012-09-13 | 2014-03-27 | Hitachi Ltd | 画像伝送システムおよび画像伝送方法 |
| JP2014228881A (ja) * | 2013-05-17 | 2014-12-08 | 株式会社日立製作所 | モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム |
-
2000
- 2000-11-07 JP JP2000338628A patent/JP2002150264A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7535499B2 (en) | 2004-07-28 | 2009-05-19 | Panasonic Corporation | Panorama image synthesis method, object detection method, panorama image synthesis system, image shooting apparatus, and panorama image synthesis program |
| JP2006195540A (ja) * | 2005-01-11 | 2006-07-27 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
| JP4536524B2 (ja) * | 2005-01-11 | 2010-09-01 | 株式会社エヌ・ティ・ティ・データ | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム |
| CN100403768C (zh) * | 2005-03-02 | 2008-07-16 | 松下电器产业株式会社 | 图像生成法、物体检测法、物体检测装置及图像生成程序 |
| US7747104B2 (en) | 2005-03-02 | 2010-06-29 | Panasonic Corporation | Image generating method, object detecting method, object detecting equipment, and image generating program |
| JP2011193062A (ja) * | 2010-03-11 | 2011-09-29 | Fujifilm Corp | パノラマ画像撮像装置及びパノラマ画像合成方法 |
| JP2014057228A (ja) * | 2012-09-13 | 2014-03-27 | Hitachi Ltd | 画像伝送システムおよび画像伝送方法 |
| JP2014228881A (ja) * | 2013-05-17 | 2014-12-08 | 株式会社日立製作所 | モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6743191B2 (ja) | マルチセンサ画像手ぶれ補正技術 | |
| US8213706B2 (en) | Method and system for real-time visual odometry | |
| CN106873619B (zh) | 一种无人机飞行路径的处理方法 | |
| JP4958610B2 (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| US10438412B2 (en) | Techniques to facilitate accurate real and virtual object positioning in displayed scenes | |
| JPH0554128A (ja) | 写真測定を使用する自動ビデオ映像データベースの生成 | |
| WO2004106856A1 (ja) | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム | |
| CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
| WO2019205087A1 (zh) | 图像增稳方法和装置 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP4536524B2 (ja) | モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム | |
| JP2002150264A (ja) | モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体 | |
| CN113345032A (zh) | 一种基于广角相机大畸变图的初始化建图方法及系统 | |
| JP2002163647A (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4463099B2 (ja) | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 | |
| KR20220069541A (ko) | 지도제작플랫폼장치 및 이를 이용한 지도제작방법 | |
| CN111581322B (zh) | 视频中兴趣区域在地图窗口内显示的方法和装置及设备 | |
| WO2021217444A1 (zh) | 深度图生成方法、电子设备、计算处理设备及存储介质 | |
| JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
| Meuel et al. | In-loop radial distortion compensation for long-term mosaicing of aerial videos | |
| JP2021089487A (ja) | 画像処理装置、プログラム及び画像処理システム | |
| Zheng et al. | A new flying range sensor: Aerial scan in omni-directions | |
| JP2002342754A (ja) | モザイク画像合成方法、モザイク画像合成装置、モザイク画像合成プログラム及びこのプログラムを記録した記録媒体 | |
| CN111307119B (zh) | 一种针对倾斜摄影的像素级空间信息记录方法 |