JP2000099740A - 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 - Google Patents
画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体Info
- Publication number
- JP2000099740A JP2000099740A JP10287384A JP28738498A JP2000099740A JP 2000099740 A JP2000099740 A JP 2000099740A JP 10287384 A JP10287384 A JP 10287384A JP 28738498 A JP28738498 A JP 28738498A JP 2000099740 A JP2000099740 A JP 2000099740A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo
- plane
- pair
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000006243 chemical reaction Methods 0.000 claims abstract description 79
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000010354 integration Effects 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000010191 image analysis Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 abstract description 4
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 33
- 230000002194 synthesizing effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000001444 catalytic combustion detection Methods 0.000 description 4
- 238000003703 image analysis method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 対象画像の入力作業が簡易で、累積誤差によ
る画像の統合時の歪みを抑え、質の高い画像を生成する
ことができる画像入力装置を提供する。 【解決手段】 本発明の画像入力装置は、静止画２２を
撮影するステレオ画像入力部１１と、ステレオ画像対を
蓄積する画像蓄積部１２と、ステレオ画像対の対応点の
探索を行う対応点探索部１３と、ステレオ画像対に応じ
た画像平面の距離計測を行う距離計測部１４と、距離情
報から当該画像平面の平面方程式を求める平面抽出部１
５と、画像平面の傾きを推定する傾き推定部１６と、画
像平面を回転変換する回転変換部１７と、画像のサイズ
を統一する拡大率変換部１８と、画像の位置合わせを行
う位置合わせ部１９と、画像を貼り合わせて統合画像を
生成する画像統合部２０と、統合画像を蓄積する統合画
像蓄積部２１と、を備えることを特徴とする。これによ
り、入力操作が簡易になり、累積誤差を減らすことがで
きる。
る画像の統合時の歪みを抑え、質の高い画像を生成する
ことができる画像入力装置を提供する。 【解決手段】 本発明の画像入力装置は、静止画２２を
撮影するステレオ画像入力部１１と、ステレオ画像対を
蓄積する画像蓄積部１２と、ステレオ画像対の対応点の
探索を行う対応点探索部１３と、ステレオ画像対に応じ
た画像平面の距離計測を行う距離計測部１４と、距離情
報から当該画像平面の平面方程式を求める平面抽出部１
５と、画像平面の傾きを推定する傾き推定部１６と、画
像平面を回転変換する回転変換部１７と、画像のサイズ
を統一する拡大率変換部１８と、画像の位置合わせを行
う位置合わせ部１９と、画像を貼り合わせて統合画像を
生成する画像統合部２０と、統合画像を蓄積する統合画
像蓄積部２１と、を備えることを特徴とする。これによ
り、入力操作が簡易になり、累積誤差を減らすことがで
きる。
Description
【０００１】
【発明の属する技術分野】本発明は、複数枚の部分画像
を入力し、それらを貼り合わせて一枚の画像に統合する
画像合成方法、画像入力装置、及び画像合成プログラム
を記録した記録媒体画に関する。特には、複数枚のステ
レオ画像を入力し、それらを貼り合わせて歪みの少ない
一枚の画像に統合する画像合成方法、画像入力装置、及
び画像合成プログラムを記録した記録媒体画に関する。
を入力し、それらを貼り合わせて一枚の画像に統合する
画像合成方法、画像入力装置、及び画像合成プログラム
を記録した記録媒体画に関する。特には、複数枚のステ
レオ画像を入力し、それらを貼り合わせて歪みの少ない
一枚の画像に統合する画像合成方法、画像入力装置、及
び画像合成プログラムを記録した記録媒体画に関する。
【０００２】
【従来の技術】近年、スキャナからでなくＣＣＤ（Char
ge Coupled Device ）カメラのようなカメラで撮影した
複数枚の画像を貼り合わせて一枚の画像を高精細画像と
して生成する画像合成方法に関する研究開発が盛んに行
われている。
ge Coupled Device ）カメラのようなカメラで撮影した
複数枚の画像を貼り合わせて一枚の画像を高精細画像と
して生成する画像合成方法に関する研究開発が盛んに行
われている。
【０００３】図１１は、従来の高精細静止画入力装置に
おける画像合成方法を示す。この画像合成方法では、複
数の画像１１１〜１１４を、それぞれの画像の重複部
（図中斜線で示した部分）に基づいて、一枚の画像を生
成している。すなわち、図１１に示した従来の高精細静
止画入力装置における画像合成方法では、重複部のある
画像間の射影変換パラメータ（ｈ１〜ｈ８）を推定し、
図１１に示すように、画像１１１、画像１１２、画像１
１３、画像１１４の順で、順次重ね合わせて行くことに
より入力画像１１１〜１１４を合成する。
おける画像合成方法を示す。この画像合成方法では、複
数の画像１１１〜１１４を、それぞれの画像の重複部
（図中斜線で示した部分）に基づいて、一枚の画像を生
成している。すなわち、図１１に示した従来の高精細静
止画入力装置における画像合成方法では、重複部のある
画像間の射影変換パラメータ（ｈ１〜ｈ８）を推定し、
図１１に示すように、画像１１１、画像１１２、画像１
１３、画像１１４の順で、順次重ね合わせて行くことに
より入力画像１１１〜１１４を合成する。
【０００４】この画像間の射影変換パラメータ（ｈ１〜
ｈ８）の推定は、
ｈ８）の推定は、
【数１】 |x"| | h1 h2 h3 | |x| |y"| = | h4 h5 h6 | * |y| |w | | h7 h8 1 | |1| （ここで、記号 | | は行列を示す）で示される行列式
の３行３列の行列の各パラメータ（ｈ１〜ｈ８）を推定
して行う。
の３行３列の行列の各パラメータ（ｈ１〜ｈ８）を推定
して行う。
【０００５】すなわち、画像ｎ上の座標（ｘ，ｙ）の点
が、
が、
【数２】ｘ’＝ｘ’’／ｗ ｙ’＝ｙ’’／ｗ で示される画像ｎ＋１乗の（ｘ’，ｙ’) に変換される
時、［数１］に示した行列式が成り立つように、射影変
換パラメータ（ｈ１〜ｈ８）を推定して決定する。この
ようにして、従来の画像合成方法においては、上述の
［数１］及び［数２］に基づいて、射影変換行列( パラ
メータ) を推定することによって、画像１１１〜１１４
の位置合わせを行い、複数の画像１１１〜１１４を貼り
合わせて１つの画像に統合している。
時、［数１］に示した行列式が成り立つように、射影変
換パラメータ（ｈ１〜ｈ８）を推定して決定する。この
ようにして、従来の画像合成方法においては、上述の
［数１］及び［数２］に基づいて、射影変換行列( パラ
メータ) を推定することによって、画像１１１〜１１４
の位置合わせを行い、複数の画像１１１〜１１４を貼り
合わせて１つの画像に統合している。
【０００６】図１２は、従来の画像入力装置を示す。こ
の画像入力装置は、ＣＣＤカメラ、ディジタルスチルカ
メラ等のカメラを用いた静止画の画像入力装置である。
図１２において、この画像入力装置は、静止画１２７を
複数枚の部分画像として撮影するＣＣＤカメラ等のカメ
ラ部１２１と、カメラ部１２１によって撮影された複数
の画像を蓄積する画像蓄積部１２２と、生成された統合
画像と画像蓄積部１２２に蓄積されている次に統合され
る画像との間で対応点を探索する対応点探索部１２３
と、対応点探索部１２３で探索された対応点から射影変
換行列（［数１］）のパラメータを推定する射影変換行
列推定部１２４と、射影変換行列に基づいて画像の貼り
合わせ統合を行う画像統合部１２５と、画像統合部１２
５で生成された統合画像を蓄積する統合画像蓄積部１２
６とを備えている。
の画像入力装置は、ＣＣＤカメラ、ディジタルスチルカ
メラ等のカメラを用いた静止画の画像入力装置である。
図１２において、この画像入力装置は、静止画１２７を
複数枚の部分画像として撮影するＣＣＤカメラ等のカメ
ラ部１２１と、カメラ部１２１によって撮影された複数
の画像を蓄積する画像蓄積部１２２と、生成された統合
画像と画像蓄積部１２２に蓄積されている次に統合され
る画像との間で対応点を探索する対応点探索部１２３
と、対応点探索部１２３で探索された対応点から射影変
換行列（［数１］）のパラメータを推定する射影変換行
列推定部１２４と、射影変換行列に基づいて画像の貼り
合わせ統合を行う画像統合部１２５と、画像統合部１２
５で生成された統合画像を蓄積する統合画像蓄積部１２
６とを備えている。
【０００７】上述のように構成された画像入力装置にお
いて、入力対象画像の部分画像をカメラ部１２１で複数
の画像に別けて取り込み、その複数の画像を貼り合わせ
て合成し、高精細な静止画の入力を実現している。
いて、入力対象画像の部分画像をカメラ部１２１で複数
の画像に別けて取り込み、その複数の画像を貼り合わせ
て合成し、高精細な静止画の入力を実現している。
【０００８】以下、図１２で示した画像入力装置の動作
について説明する。まずカメラ部１２１により入力対象
の静止画１２７を複数枚の部分画像として撮影する。こ
こで、最初の１枚目の画像を貼り合わせの基準画像とす
る。全ての画像は基準画像に対する累積射影変換パラメ
ータにより貼り合わせが行われる。ここで、累積射影変
換パラメータとは、各画像を貼り合わせる毎に累積され
る射影変換パラメータをいう。
について説明する。まずカメラ部１２１により入力対象
の静止画１２７を複数枚の部分画像として撮影する。こ
こで、最初の１枚目の画像を貼り合わせの基準画像とす
る。全ての画像は基準画像に対する累積射影変換パラメ
ータにより貼り合わせが行われる。ここで、累積射影変
換パラメータとは、各画像を貼り合わせる毎に累積され
る射影変換パラメータをいう。
【０００９】この画像の貼り合わせで統合画像を傾きな
く生成するためには、基準画像の撮影において、カメラ
撮像面と入力対象静止画１２７の画平面が平行になるよ
うに撮影する必要がある。また全ての画像は、他の１枚
の画像と必ず重複部分を持つように撮影する必要があ
る。以下の説明では、１枚目の画像を基準画像（画像フ
レーム番号１）とし、それに続いて連続的に撮影された
画像（画像フレーム番号２、３、・・・、ｎ、ｎ＋１、
・・・、Ｎ) においては、隣接する画像番号間では、必
ず重複部を持つように撮影するものとする。
く生成するためには、基準画像の撮影において、カメラ
撮像面と入力対象静止画１２７の画平面が平行になるよ
うに撮影する必要がある。また全ての画像は、他の１枚
の画像と必ず重複部分を持つように撮影する必要があ
る。以下の説明では、１枚目の画像を基準画像（画像フ
レーム番号１）とし、それに続いて連続的に撮影された
画像（画像フレーム番号２、３、・・・、ｎ、ｎ＋１、
・・・、Ｎ) においては、隣接する画像番号間では、必
ず重複部を持つように撮影するものとする。
【００１０】次に、このように撮影した画像を順次画像
蓄積部１２２に画像フレーム番号（１〜Ｎ）を付加して
蓄積する。次に画像フレーム１を基準画像として貼り合
わせを行うため、画像統合部１２５を介して統合画像蓄
積部１２６に画像フレーム１を転送し、全ての画像フレ
ーム１〜Ｎの貼り合わせが終了するまで画像フレーム番
号（１〜Ｎ）にしたがって、以下の統合処理を繰り返
す。
蓄積部１２２に画像フレーム番号（１〜Ｎ）を付加して
蓄積する。次に画像フレーム１を基準画像として貼り合
わせを行うため、画像統合部１２５を介して統合画像蓄
積部１２６に画像フレーム１を転送し、全ての画像フレ
ーム１〜Ｎの貼り合わせが終了するまで画像フレーム番
号（１〜Ｎ）にしたがって、以下の統合処理を繰り返
す。
【００１１】まず、対応点探索部１２３は、統合画像蓄
積部１２６に蓄積された統合画像ｎ（画像フレーム１〜
ｎまでの統合画像）と画像フレームｎ＋１との対応点の
探索を行う。この対応点の探索は、ブロックマッチング
等の手法で行われる。また、対応点は、
積部１２６に蓄積された統合画像ｎ（画像フレーム１〜
ｎまでの統合画像）と画像フレームｎ＋１との対応点の
探索を行う。この対応点の探索は、ブロックマッチング
等の手法で行われる。また、対応点は、
【数１】行列式の射影変換パラメータ（ｈ１〜ｈ８）を
求めるために４組以上必要となるため、最低４組の対応
点の探索を行う。
求めるために４組以上必要となるため、最低４組の対応
点の探索を行う。
【００１２】次に、射影変換行列推定部１２４は、対応
点探索部１２３で探索された４組以上の対応点に基づい
て、射影変換パラメータ（ｈ１〜ｈ８）を推定する。対
応点が５組以上得られる場合には、最小２乗法により推
定を行うようにする。
点探索部１２３で探索された４組以上の対応点に基づい
て、射影変換パラメータ（ｈ１〜ｈ８）を推定する。対
応点が５組以上得られる場合には、最小２乗法により推
定を行うようにする。
【００１３】次に、画像統合部１２５は、射影変換行列
推定部１２４で得られた射影変換パラメータに基づいて
画像フレームｎ＋１を変換し、統合画像ｎに貼り合わせ
て統合画像ｎ＋１を生成する。
推定部１２４で得られた射影変換パラメータに基づいて
画像フレームｎ＋１を変換し、統合画像ｎに貼り合わせ
て統合画像ｎ＋１を生成する。
【００１４】この画像統合部１２５で生成された統合画
像ｎ＋１は、統合画像蓄積部１２６に蓄積される。
像ｎ＋１は、統合画像蓄積部１２６に蓄積される。
【００１５】このようにして、上述した画像フレーム１
〜Ｎの貼り合わせ処理を行い、最終的に統合画像蓄積部
１２６には、統合画像Ｎが蓄積される。この統合画像蓄
積部１２６に蓄積された統合画像Ｎが、入力画像として
任意の画像処理装置に出力される。
〜Ｎの貼り合わせ処理を行い、最終的に統合画像蓄積部
１２６には、統合画像Ｎが蓄積される。この統合画像蓄
積部１２６に蓄積された統合画像Ｎが、入力画像として
任意の画像処理装置に出力される。
【００１６】
【発明が解決しようとする課題】しかしながら、図１２
に示す従来の画像入力装置においては、貼り合わせの基
準となる基準画像を撮影する際に、カメラ撮像平面と入
力対象静止画の画平面を平行にしなければならないとい
う入力作業上の制限があるため、この入力作業が困難で
あるという問題があった。
に示す従来の画像入力装置においては、貼り合わせの基
準となる基準画像を撮影する際に、カメラ撮像平面と入
力対象静止画の画平面を平行にしなければならないとい
う入力作業上の制限があるため、この入力作業が困難で
あるという問題があった。
【００１７】また図１２に示す従来の画像入力装置にお
いては、図１１に示すように、各画像の貼り合わせを順
次求められた射影変換パラメータの累積で行うため、貼
り合わせを繰り返す毎に誤差が累積し、歪んだ統合画像
が生成されてしまうという問題があった。
いては、図１１に示すように、各画像の貼り合わせを順
次求められた射影変換パラメータの累積で行うため、貼
り合わせを繰り返す毎に誤差が累積し、歪んだ統合画像
が生成されてしまうという問題があった。
【００１８】したがって、本発明の目的は、対象画像の
入力作業が簡易で、累積誤差による画像の統合時の歪み
を抑え、質の高い画像を生成することができる画像合成
方法、画像入力装置、及び画像合成プログラムを記録し
た記録媒体を提供することである。
入力作業が簡易で、累積誤差による画像の統合時の歪み
を抑え、質の高い画像を生成することができる画像合成
方法、画像入力装置、及び画像合成プログラムを記録し
た記録媒体を提供することである。
【００１９】
【課題を解決するための手段】上記課題を解決するため
に、本発明の第１の態様の画像合成方法は、 複数の画
像を結合して１つの画像を生成する画像結合方法であっ
て、（ａ）１つの静止画を分割してステレオ撮影し、複
数のステレオ画像対を生成し、（ｂ）複数のステレオ画
像対を蓄積し、（ｃ）蓄積されている複数のステレオ画
像対から１つのステレオ画像対を取り出し、（ｄ）取り
出したステレオ画像対の対応点を探索し、（ｅ）探索し
た対応点に基づいて、ステレオ画像対に対応する画像平
面の距離情報を計測し、（ｆ）計測した距離情報に基づ
いて、画像平面の平面方程式を算出し、（ｇ）算出した
平面方程式に基づいて、画像平面の回転方向の歪みと画
像平面のサイズを調整して、調整画像を生成し、（ｈ
１）ステップ（ｃ）で取り出されたステレオ画像対が最
初のステレオ画像対の場合には、所定の値に応じて調整
画像から統合画像を生成して蓄積し、（ｈ２）ステップ
（ｃ）で取り出されたステレオ画像対が最初のステレオ
画像対でない場合には、調整画像と蓄積されている統合
画像とを結合して新たな統合画像として蓄積する、こと
を特徴とする。
に、本発明の第１の態様の画像合成方法は、 複数の画
像を結合して１つの画像を生成する画像結合方法であっ
て、（ａ）１つの静止画を分割してステレオ撮影し、複
数のステレオ画像対を生成し、（ｂ）複数のステレオ画
像対を蓄積し、（ｃ）蓄積されている複数のステレオ画
像対から１つのステレオ画像対を取り出し、（ｄ）取り
出したステレオ画像対の対応点を探索し、（ｅ）探索し
た対応点に基づいて、ステレオ画像対に対応する画像平
面の距離情報を計測し、（ｆ）計測した距離情報に基づ
いて、画像平面の平面方程式を算出し、（ｇ）算出した
平面方程式に基づいて、画像平面の回転方向の歪みと画
像平面のサイズを調整して、調整画像を生成し、（ｈ
１）ステップ（ｃ）で取り出されたステレオ画像対が最
初のステレオ画像対の場合には、所定の値に応じて調整
画像から統合画像を生成して蓄積し、（ｈ２）ステップ
（ｃ）で取り出されたステレオ画像対が最初のステレオ
画像対でない場合には、調整画像と蓄積されている統合
画像とを結合して新たな統合画像として蓄積する、こと
を特徴とする。
【００２０】また、上記課題を解決するために、本発明
の第１の態様の画像入力装置は、複数の画像を結合して
１つの入力用の画像を生成する画像入力装置であって、
静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 ステレオ画像入力手段によって撮影
されたステレオ画像対を蓄積する画像蓄積手段と、 画
像蓄積手段に蓄積されたステレオ画像対の対応点の探索
を行う対応点探索手段と、 対応点探索手段によって探
索された対応点に基づいて、ステレオ画像対に応じた画
像平面の距離計測を行う距離計測手段と、 距離計測手
段で計測して得られた画像平面上の点の距離情報から当
該画像平面の平面方程式を求める平面抽出手段と、 平
面抽出手段で求められた平面方程式から画像平面の傾き
を推定する傾き推定手段と、 傾き推定手段の推定結果
に基づいて、画像平面に回転変換を行って回転変換画像
を作成する回転変換手段と、 距離計測手段で計測され
た距離情報に基づいて、回転変換画像のサイズを統一す
るように変換して部分画像を生成する拡大率変換手段
と、 拡大率変換手段で生成された部分画像の位置合わ
せを行う位置合わせ手段と、 位置合わせ手段で位置を
合わされた部分画像を貼り合わせて統合画像を生成する
画像統合手段と、 画像統合手段で生成された統合画像
を蓄積する統合画像蓄積手段と、を備え、 位置合わせ
手段は、統合画像蓄積手段に蓄積されている統合画像に
対する部分画像の位置関係を推定して、部分画像の位置
合わせを行い、 画像統合手段は、部分画像を統合画像
蓄積手段に蓄積されている統合画像へ貼り合わせて新た
な統合画像を生成する、 ことを特徴とする。
の第１の態様の画像入力装置は、複数の画像を結合して
１つの入力用の画像を生成する画像入力装置であって、
静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 ステレオ画像入力手段によって撮影
されたステレオ画像対を蓄積する画像蓄積手段と、 画
像蓄積手段に蓄積されたステレオ画像対の対応点の探索
を行う対応点探索手段と、 対応点探索手段によって探
索された対応点に基づいて、ステレオ画像対に応じた画
像平面の距離計測を行う距離計測手段と、 距離計測手
段で計測して得られた画像平面上の点の距離情報から当
該画像平面の平面方程式を求める平面抽出手段と、 平
面抽出手段で求められた平面方程式から画像平面の傾き
を推定する傾き推定手段と、 傾き推定手段の推定結果
に基づいて、画像平面に回転変換を行って回転変換画像
を作成する回転変換手段と、 距離計測手段で計測され
た距離情報に基づいて、回転変換画像のサイズを統一す
るように変換して部分画像を生成する拡大率変換手段
と、 拡大率変換手段で生成された部分画像の位置合わ
せを行う位置合わせ手段と、 位置合わせ手段で位置を
合わされた部分画像を貼り合わせて統合画像を生成する
画像統合手段と、 画像統合手段で生成された統合画像
を蓄積する統合画像蓄積手段と、を備え、 位置合わせ
手段は、統合画像蓄積手段に蓄積されている統合画像に
対する部分画像の位置関係を推定して、部分画像の位置
合わせを行い、 画像統合手段は、部分画像を統合画像
蓄積手段に蓄積されている統合画像へ貼り合わせて新た
な統合画像を生成する、 ことを特徴とする。
【００２１】上述した本発明の第１の態様の画像合成方
法及び画像入力装置によれば、相対的位置と互いの光軸
方向を固定した複数の視点から入力対象の部分画像のス
テレオ撮影を行い、そのステレオ画像より入力対象の画
像平面の平面方程式を求め、その距離情報を用いて画像
の貼り合わせを行うため、自由な位置で撮影した画像の
貼り合わせが実現でき、入力操作が簡易になる。また、
複数の画像の貼り合わせで生じる累積誤差を減らすこと
ができるため、最終的に生成される統合画像の歪みを低
減化することができる。
法及び画像入力装置によれば、相対的位置と互いの光軸
方向を固定した複数の視点から入力対象の部分画像のス
テレオ撮影を行い、そのステレオ画像より入力対象の画
像平面の平面方程式を求め、その距離情報を用いて画像
の貼り合わせを行うため、自由な位置で撮影した画像の
貼り合わせが実現でき、入力操作が簡易になる。また、
複数の画像の貼り合わせで生じる累積誤差を減らすこと
ができるため、最終的に生成される統合画像の歪みを低
減化することができる。
【００２２】また、上記課題を解決するために、本発明
の第２の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ１）取り出したス
テレオ画像対のうち一方の画像を所定の数の領域に分割
し、（ｄ２）分割した領域に基づいて、ステレオ画像対
のうち分割されてない他方の画像に対して対応点を探索
し、（ｅ）探索した対応点に基づいて、ステレオ画像対
に対応する画像平面の距離情報を計測し、（ｆ）計測し
た距離情報に基づいて、画像平面の平面方程式を算出
し、（ｇ）算出した平面方程式に基づいて、画像平面の
回転方向の歪みと画像平面のサイズを調整して、調整画
像を生成し、（ｈ１）ステップ（ｃ）で取り出されたス
テレオ画像対が最初のステレオ画像対の場合には、所定
の値に応じて調整画像から統合画像を生成して蓄積し、
（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対
が最初のステレオ画像対でない場合には、調整画像と蓄
積されている統合画像とを結合して新たな統合画像とし
て蓄積する、ことを特徴とする。
の第２の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ１）取り出したス
テレオ画像対のうち一方の画像を所定の数の領域に分割
し、（ｄ２）分割した領域に基づいて、ステレオ画像対
のうち分割されてない他方の画像に対して対応点を探索
し、（ｅ）探索した対応点に基づいて、ステレオ画像対
に対応する画像平面の距離情報を計測し、（ｆ）計測し
た距離情報に基づいて、画像平面の平面方程式を算出
し、（ｇ）算出した平面方程式に基づいて、画像平面の
回転方向の歪みと画像平面のサイズを調整して、調整画
像を生成し、（ｈ１）ステップ（ｃ）で取り出されたス
テレオ画像対が最初のステレオ画像対の場合には、所定
の値に応じて調整画像から統合画像を生成して蓄積し、
（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対
が最初のステレオ画像対でない場合には、調整画像と蓄
積されている統合画像とを結合して新たな統合画像とし
て蓄積する、ことを特徴とする。
【００２３】また、上記課題を解決するために、本発明
の第２の態様の画像入力装置は、複数の画像を結合して
１つの入力用の画像を生成する画像入力装置であって、
静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 ステレオ画像入力手段によって撮影
されたステレオ画像対を蓄積する画像蓄積手段と、 画
像蓄積手段に蓄積されたステレオ画像対のうち一方の画
像を所定の数の領域に分割する小領域分割手段と、 小
領域分割手段で分割された領域に基づいて、ステレオ画
像対のうち分割されてない他方の画像に対して対応点を
探索する小領域対応点探索手段と、 小領域対応点探索
手段によって探索された対応点に基づいて、ステレオ画
像対に応じた画像平面の距離計測を行う距離計測手段
と、距離計測手段で計測して得られた画像平面上の点の
距離情報から当該画像平面の平面方程式を求める平面抽
出手段と、 平面抽出手段で求められた平面方程式から
画像平面の傾きを推定する傾き推定手段と、 傾き推定
手段の推定結果に基づいて、画像平面に回転変換を行っ
て回転変換画像を作成する回転変換手段と、距離計測手
段で計測された距離情報に基づいて、回転変換画像のサ
イズを統一するように変換して部分画像を生成する拡大
率変換手段と、 拡大率変換手段で生成された部分画像
の位置合わせを行う位置合わせ手段と、 位置合わせ手
段で位置を合わされた部分画像を貼り合わせて統合画像
を生成する画像統合手段と、画像統合手段で生成された
統合画像を蓄積する統合画像蓄積手段と、を備え、位置
合わせ手段は、統合画像蓄積手段に蓄積されている統合
画像に対する部分画像の位置関係を推定して、部分画像
の位置合わせを行い、 画像統合手段は、部分画像を統
合画像蓄積手段に蓄積されている統合画像へ貼り合わせ
て新たな統合画像を生成する、ことを特徴とする。
の第２の態様の画像入力装置は、複数の画像を結合して
１つの入力用の画像を生成する画像入力装置であって、
静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 ステレオ画像入力手段によって撮影
されたステレオ画像対を蓄積する画像蓄積手段と、 画
像蓄積手段に蓄積されたステレオ画像対のうち一方の画
像を所定の数の領域に分割する小領域分割手段と、 小
領域分割手段で分割された領域に基づいて、ステレオ画
像対のうち分割されてない他方の画像に対して対応点を
探索する小領域対応点探索手段と、 小領域対応点探索
手段によって探索された対応点に基づいて、ステレオ画
像対に応じた画像平面の距離計測を行う距離計測手段
と、距離計測手段で計測して得られた画像平面上の点の
距離情報から当該画像平面の平面方程式を求める平面抽
出手段と、 平面抽出手段で求められた平面方程式から
画像平面の傾きを推定する傾き推定手段と、 傾き推定
手段の推定結果に基づいて、画像平面に回転変換を行っ
て回転変換画像を作成する回転変換手段と、距離計測手
段で計測された距離情報に基づいて、回転変換画像のサ
イズを統一するように変換して部分画像を生成する拡大
率変換手段と、 拡大率変換手段で生成された部分画像
の位置合わせを行う位置合わせ手段と、 位置合わせ手
段で位置を合わされた部分画像を貼り合わせて統合画像
を生成する画像統合手段と、画像統合手段で生成された
統合画像を蓄積する統合画像蓄積手段と、を備え、位置
合わせ手段は、統合画像蓄積手段に蓄積されている統合
画像に対する部分画像の位置関係を推定して、部分画像
の位置合わせを行い、 画像統合手段は、部分画像を統
合画像蓄積手段に蓄積されている統合画像へ貼り合わせ
て新たな統合画像を生成する、ことを特徴とする。
【００２４】また、上記課題を解決するために、本発明
の第３の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ１）取り出したス
テレオ画像対の複数のブロックから対応点を探索し、
（ｄ２）探索した対応点の信頼度に基づいて対応点を決
定し、（ｅ）決定した対応点に基づいて、ステレオ画像
対に対応する画像平面の距離情報を計測し、（ｆ）計測
した距離情報に基づいて、画像平面の平面方程式を算出
し、（ｇ）算出した平面方程式に基づいて、画像平面の
回転方向の歪みと画像平面のサイズを調整して、調整画
像を生成し、（ｈ１）ステップ（ｃ）で取り出されたス
テレオ画像対が最初のステレオ画像対の場合には、所定
の値に応じて調整画像から統合画像を生成して蓄積し、
（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対
が最初のステレオ画像対でない場合には、調整画像と蓄
積されている統合画像とを結合して新たな統合画像とし
て蓄積する、ことを特徴とする。
の第３の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ１）取り出したス
テレオ画像対の複数のブロックから対応点を探索し、
（ｄ２）探索した対応点の信頼度に基づいて対応点を決
定し、（ｅ）決定した対応点に基づいて、ステレオ画像
対に対応する画像平面の距離情報を計測し、（ｆ）計測
した距離情報に基づいて、画像平面の平面方程式を算出
し、（ｇ）算出した平面方程式に基づいて、画像平面の
回転方向の歪みと画像平面のサイズを調整して、調整画
像を生成し、（ｈ１）ステップ（ｃ）で取り出されたス
テレオ画像対が最初のステレオ画像対の場合には、所定
の値に応じて調整画像から統合画像を生成して蓄積し、
（ｈ２）ステップ（ｃ）で取り出されたステレオ画像対
が最初のステレオ画像対でない場合には、調整画像と蓄
積されている統合画像とを結合して新たな統合画像とし
て蓄積する、ことを特徴とする。
【００２５】上述した本発明の第２の態様の画像合成方
法及び画像入力装置によれば、対応点を探索する際に、
画像を小領域に分割し、画像間の対応する小領域毎に対
応点の探索を行うため、入力操作を簡易にし、統合画像
の歪みを低減させると共に、計算量の低減を図る、すな
わち、処理効率を向上させることができる。
法及び画像入力装置によれば、対応点を探索する際に、
画像を小領域に分割し、画像間の対応する小領域毎に対
応点の探索を行うため、入力操作を簡易にし、統合画像
の歪みを低減させると共に、計算量の低減を図る、すな
わち、処理効率を向上させることができる。
【００２６】また、上述の本発明の第３の態様の画像合
成方法においては、ステップ（ｄ２）を、探索した対応
点の信頼度を所定の評価関数で算出される値で評価し、
該値が所定の条件を満たすブロックの対応点のみを有効
な対応点として決定する、ステップとしてもよい。この
とき、ステップ（ｄ２）を、複数のブロックの全てに対
して、評価関数の値Ｅを、ステレオ画像対のうち一方の
画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，
Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を
（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅ
ave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅ
min を除く全ての値Ｅとする）という条件を満たすブロ
ックの対応点のみを有効な対応点として決定する、ステ
ップとすることができる。
成方法においては、ステップ（ｄ２）を、探索した対応
点の信頼度を所定の評価関数で算出される値で評価し、
該値が所定の条件を満たすブロックの対応点のみを有効
な対応点として決定する、ステップとしてもよい。この
とき、ステップ（ｄ２）を、複数のブロックの全てに対
して、評価関数の値Ｅを、ステレオ画像対のうち一方の
画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，
Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を
（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅ
ave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅ
min を除く全ての値Ｅとする）という条件を満たすブロ
ックの対応点のみを有効な対応点として決定する、ステ
ップとすることができる。
【００２７】また、上記課題を解決するために、本発明
の第３の態様の画像入力装置は、上述の本発明の第１の
態様の画像入力装置の対応点探索手段を、画像蓄積手段
に蓄積されたステレオ画像対の複数のブロックから対応
点を探索し、探索した対応点の信頼度に基づいて対応点
を決定する、ように構成することを特徴とする。
の第３の態様の画像入力装置は、上述の本発明の第１の
態様の画像入力装置の対応点探索手段を、画像蓄積手段
に蓄積されたステレオ画像対の複数のブロックから対応
点を探索し、探索した対応点の信頼度に基づいて対応点
を決定する、ように構成することを特徴とする。
【００２８】このとき、対応点探索手段を、探索した対
応点の信頼度を所定の評価関数で算出される値で評価
し、該値が所定の条件を満たすブロックの対応点のみを
有効な対応点として決定する、構成としてもよい。ま
た、この対応点探索手段を、複数のブロックの全てに対
して、評価関数の値Ｅを、ステレオ画像対のうち一方の
画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，
Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を
（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅ
ave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅ
min を除く全ての値Ｅとする）という条件を満たすブロ
ックの対応点のみを有効な対応点として決定する、よう
に構成してもよい。
応点の信頼度を所定の評価関数で算出される値で評価
し、該値が所定の条件を満たすブロックの対応点のみを
有効な対応点として決定する、構成としてもよい。ま
た、この対応点探索手段を、複数のブロックの全てに対
して、評価関数の値Ｅを、ステレオ画像対のうち一方の
画像のブロックの画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，
Ｂｌ）、他方の画像のブロックの画素値のＲＧＢ成分を
（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、Ｅmin ＜ａ＊Ｅave 及びＥ’＞ｂ＊Ｅ
ave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅ
min を除く全ての値Ｅとする）という条件を満たすブロ
ックの対応点のみを有効な対応点として決定する、よう
に構成してもよい。
【００２９】上述した本発明の第３の態様の画像合成方
法及び画像入力装置によれば、対応点の探索を行う際
に、その信頼度を判断して対応点を決定するため、入力
操作を簡易にし、複数の画像の貼り合わせで生じる累積
誤差を大幅に減らすことができ、最終的に生成される統
合画像の歪みを大幅に低減化することができる。
法及び画像入力装置によれば、対応点の探索を行う際
に、その信頼度を判断して対応点を決定するため、入力
操作を簡易にし、複数の画像の貼り合わせで生じる累積
誤差を大幅に減らすことができ、最終的に生成される統
合画像の歪みを大幅に低減化することができる。
【００３０】また、上記課題を解決するために、本発明
の第４の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ）取り出したステ
レオ画像対の対応点を探索し、（ｅ）探索した対応点に
基づいて、ステレオ画像対に対応する画像平面の距離情
報を計測し、（ｆ）計測した距離情報に基づいて、対応
点のうち誤対応点を例外値として扱って、画像平面の平
面方程式を算出し、（ｇ）算出した平面方程式に基づい
て、画像平面の回転方向の歪みと画像平面のサイズを調
整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で
取り出されたステレオ画像対が最初のステレオ画像対の
場合には、所定の値に応じて調整画像から統合画像を生
成して蓄積し、（ｈ２）ステップ（ｃ）で取り出された
ステレオ画像対が最初のステレオ画像対でない場合に
は、調整画像と蓄積されている統合画像とを結合して新
たな統合画像として蓄積する、ことを特徴とする。
の第４の態様の画像合成方法は、複数の画像を結合して
１つの画像を生成する画像結合方法であって、（ａ）１
つの静止画を分割してステレオ撮影し、複数のステレオ
画像対を生成し、（ｂ）複数のステレオ画像対を蓄積
し、（ｃ）蓄積されている複数のステレオ画像対から１
つのステレオ画像対を取り出し、（ｄ）取り出したステ
レオ画像対の対応点を探索し、（ｅ）探索した対応点に
基づいて、ステレオ画像対に対応する画像平面の距離情
報を計測し、（ｆ）計測した距離情報に基づいて、対応
点のうち誤対応点を例外値として扱って、画像平面の平
面方程式を算出し、（ｇ）算出した平面方程式に基づい
て、画像平面の回転方向の歪みと画像平面のサイズを調
整して、調整画像を生成し、（ｈ１）ステップ（ｃ）で
取り出されたステレオ画像対が最初のステレオ画像対の
場合には、所定の値に応じて調整画像から統合画像を生
成して蓄積し、（ｈ２）ステップ（ｃ）で取り出された
ステレオ画像対が最初のステレオ画像対でない場合に
は、調整画像と蓄積されている統合画像とを結合して新
たな統合画像として蓄積する、ことを特徴とする。
【００３１】このとき、ステップ（ｆ）は、ロバスト統
計に基づく画像解析によって誤対応点を例外値として扱
うようにするとよい。また、このロバスト統計に基づく
画像解析を、ＬＭｅｄＳ（Least Median of Squares ）
としてもよい。
計に基づく画像解析によって誤対応点を例外値として扱
うようにするとよい。また、このロバスト統計に基づく
画像解析を、ＬＭｅｄＳ（Least Median of Squares ）
としてもよい。
【００３２】また、上記課題を解決するために、本発明
の第４の態様の画像入力装置は、上述した本発明の第１
の態様の画像入力装置において、 平面抽出手段を、対
応点のうち誤対応点を例外値として扱って、画像平面の
平面方程式を算出する、構成にすることを特徴とする。
の第４の態様の画像入力装置は、上述した本発明の第１
の態様の画像入力装置において、 平面抽出手段を、対
応点のうち誤対応点を例外値として扱って、画像平面の
平面方程式を算出する、構成にすることを特徴とする。
【００３３】ここで、平面抽出手段で、ロバスト統計に
基づく画像解析によって対応点のうち誤対応点を例外値
として扱うようにするとよい。また、このロバスト統計
に基づく画像解析を、ＬＭｅｄＳ（Least Median of Sq
uares ）にしてもよい。
基づく画像解析によって対応点のうち誤対応点を例外値
として扱うようにするとよい。また、このロバスト統計
に基づく画像解析を、ＬＭｅｄＳ（Least Median of Sq
uares ）にしてもよい。
【００３４】さらに、上述した本発明の第１乃至第４の
態様の画像入力装置において、 位置合わせ手段で、部
分画像が最初の画像の場合には、所定の値で位置合わせ
を行い、 画像統合手段が、所定の値の位置合わせに基
づいて、部分画像から統合画像を生成する、ようにする
とよい。また、ステレオ画像入力手段が、互いの光軸方
向が平行で各々の基線方向が光軸に対して垂直になるよ
うに所定の間隔で固定配置された２以上の撮像手段を有
する、ようにするとよい。
態様の画像入力装置において、 位置合わせ手段で、部
分画像が最初の画像の場合には、所定の値で位置合わせ
を行い、 画像統合手段が、所定の値の位置合わせに基
づいて、部分画像から統合画像を生成する、ようにする
とよい。また、ステレオ画像入力手段が、互いの光軸方
向が平行で各々の基線方向が光軸に対して垂直になるよ
うに所定の間隔で固定配置された２以上の撮像手段を有
する、ようにするとよい。
【００３５】上述した本発明の第４の態様の画像合成方
法及び画像入力装置によれば、対応点の探索の結果から
誤対応点を例外値として扱って、画像平面の平面方程式
を求めるため、入力操作を簡易にし、複数の画像の貼り
合わせで生じる累積誤差を大幅に減らすことができ、最
終的に生成される統合画像の歪みを大幅に低減化するこ
とができる。
法及び画像入力装置によれば、対応点の探索の結果から
誤対応点を例外値として扱って、画像平面の平面方程式
を求めるため、入力操作を簡易にし、複数の画像の貼り
合わせで生じる累積誤差を大幅に減らすことができ、最
終的に生成される統合画像の歪みを大幅に低減化するこ
とができる。
【００３６】また、上述した本発明の第１乃至第４の態
様の画像合成方法をコンピュータで実行可能な画像合成
プログラムとして、コンピュータで読み取り可能な記録
媒体に記録することができる。
様の画像合成方法をコンピュータで実行可能な画像合成
プログラムとして、コンピュータで読み取り可能な記録
媒体に記録することができる。
【００３７】
【発明実施の形態】以下、本発明の画像合成方法、画像
入力装置、及び画像合成プログラムを記録した記録媒体
について、図１〜図１０を参照して説明する。
入力装置、及び画像合成プログラムを記録した記録媒体
について、図１〜図１０を参照して説明する。
【００３８】＜実施の形態１＞図１は、本発明の画像入
力装置の実施の形態の一例を示す図である。この画像入
力装置は、静止画（以下「入力画像」ともいう）２２を
複数のステレオ画像として撮影するステレオ画像入力部
１１と、ステレオ画像入力部１１によって撮影された画
像を画像フレームとして蓄積する画像蓄積部１２と、画
像蓄積部１２に蓄積された一対のステレオ画像（以下、
「ステレオ画像対」ともいう）における対応点の探索を
行う対応点探索部１３と、既知のステレオ法により距離
計測を行う距離計測部１４と、距離計測部１４で計測し
て得られた入力対像の平面上の点の距離情報から当該入
力対像平面の平面方程式（ｚ＝Ａｘ＋Ｂｙ＋Ｃ）を求め
る平面抽出部１５と、平面抽出部１５で求められた入力
対象平面の平面方程式から撮像平面に対する入力対象画
像の画平面の傾きを推定する傾き推定部１６と、傾き推
定部１６の推定結果に基づいて、入力対象画像が撮像平
面に平行に撮影された画像になるように、当該入力対象
画像に回転変換を行って回転変換画像を作成する回転変
換部１７と、距離計測部１４で測定された距離情報を用
いて、全ての回転変換画像のサイズを同一距離で撮影し
た画像と同一の画像になるように変換する拡大率変換部
１８と、統合画像蓄積部２１に蓄積されている統合画像
に対する回転変換部１７及び拡大率変換部１８で回転変
換及び拡大変換されて生成された回転拡大変換画像の位
置関係を推定する位置合わせ部１９と、回転拡大変換画
像を統合画像蓄積部２１に蓄積されている統合画像へ貼
り合わせて新たな統合画像を生成する画像統合部２０
と、画像統合部２０で生成された統合画像を蓄積する統
合画像蓄積部２１とを備えている。
力装置の実施の形態の一例を示す図である。この画像入
力装置は、静止画（以下「入力画像」ともいう）２２を
複数のステレオ画像として撮影するステレオ画像入力部
１１と、ステレオ画像入力部１１によって撮影された画
像を画像フレームとして蓄積する画像蓄積部１２と、画
像蓄積部１２に蓄積された一対のステレオ画像（以下、
「ステレオ画像対」ともいう）における対応点の探索を
行う対応点探索部１３と、既知のステレオ法により距離
計測を行う距離計測部１４と、距離計測部１４で計測し
て得られた入力対像の平面上の点の距離情報から当該入
力対像平面の平面方程式（ｚ＝Ａｘ＋Ｂｙ＋Ｃ）を求め
る平面抽出部１５と、平面抽出部１５で求められた入力
対象平面の平面方程式から撮像平面に対する入力対象画
像の画平面の傾きを推定する傾き推定部１６と、傾き推
定部１６の推定結果に基づいて、入力対象画像が撮像平
面に平行に撮影された画像になるように、当該入力対象
画像に回転変換を行って回転変換画像を作成する回転変
換部１７と、距離計測部１４で測定された距離情報を用
いて、全ての回転変換画像のサイズを同一距離で撮影し
た画像と同一の画像になるように変換する拡大率変換部
１８と、統合画像蓄積部２１に蓄積されている統合画像
に対する回転変換部１７及び拡大率変換部１８で回転変
換及び拡大変換されて生成された回転拡大変換画像の位
置関係を推定する位置合わせ部１９と、回転拡大変換画
像を統合画像蓄積部２１に蓄積されている統合画像へ貼
り合わせて新たな統合画像を生成する画像統合部２０
と、画像統合部２０で生成された統合画像を蓄積する統
合画像蓄積部２１とを備えている。
【００３９】また、ステレオ画像入力部１１は、互いの
光軸方向が平行で各々の基線方向が光軸に対して垂直に
なるように所定の間隔で固定配置された相対位置が既知
の２台のＣＣＤカメラ等の撮像部１１ａ、１１ｂから成
る。
光軸方向が平行で各々の基線方向が光軸に対して垂直に
なるように所定の間隔で固定配置された相対位置が既知
の２台のＣＣＤカメラ等の撮像部１１ａ、１１ｂから成
る。
【００４０】以下、上記のように構成された画像入力装
置の動作について説明する。
置の動作について説明する。
【００４１】図２は、図１で示した画像入力装置の動作
を示すフローチャートである。図２において、まず、入
力対象となる静止画２２の一部分を部分画像として、ス
テレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで
ステレオ撮影する。このステレオ撮影においては、入力
対象である静止画２２の画像全体を入力するため、複数
枚の部分画像（ステレオ画像対）の撮影を行う。ここ
で、複数枚の部分画像のうち隣接するステレオ画像対の
間では必ず重複部を持つように撮影する。このときの撮
影は、例えば、撮影者がステレオ画像入力部１１を手な
どで保持し、入力画像２２全体の部分画像が撮影できる
よう移動して撮影を行うとよい。このようにしてステレ
オ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影
されたステレオ画像は、ステレオ画像入力部１１から画
像蓄積部１２にステレオ画像対として入力されて蓄積さ
れる（ステップ２０１）。
を示すフローチャートである。図２において、まず、入
力対象となる静止画２２の一部分を部分画像として、ス
テレオ画像入力部１１の２つの撮像部１１ａ、１１ｂで
ステレオ撮影する。このステレオ撮影においては、入力
対象である静止画２２の画像全体を入力するため、複数
枚の部分画像（ステレオ画像対）の撮影を行う。ここ
で、複数枚の部分画像のうち隣接するステレオ画像対の
間では必ず重複部を持つように撮影する。このときの撮
影は、例えば、撮影者がステレオ画像入力部１１を手な
どで保持し、入力画像２２全体の部分画像が撮影できる
よう移動して撮影を行うとよい。このようにしてステレ
オ画像入力部１１の２つの撮像部１１ａ、１１ｂで撮影
されたステレオ画像は、ステレオ画像入力部１１から画
像蓄積部１２にステレオ画像対として入力されて蓄積さ
れる（ステップ２０１）。
【００４２】次に、対応点探索部１３は、画像蓄積部１
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う（ステップ２０２）。３次
元空間上における平面は３つの点で決定することができ
るため、少なくとも３点の対応点対が必要となる。
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う（ステップ２０２）。３次
元空間上における平面は３つの点で決定することができ
るため、少なくとも３点の対応点対が必要となる。
【００４３】次に、距離計測部１４は対応点対の画像フ
レームからステレオ法により距離計測を行う（ステップ
２０３）。これにより画像平面の３次元的な位置が算出
できる。
レームからステレオ法により距離計測を行う（ステップ
２０３）。これにより画像平面の３次元的な位置が算出
できる。
【００４４】次に、平面抽出部１５は、入力対象の画像
平面の平面方程式を算出する（ステップ２０４）。この
ときの座標は、例えば、撮像部１１ａ、１１ｂの基線を
ｘ軸とし、基線に垂直で両撮像部１１ａ、１１ｂの光軸
になるべく近い方向を−ｚ軸方向とし、両撮像部１１
ａ、１１ｂの光軸を−ｚ軸に一致させた時にできる画像
平面上のｘ軸に直交する軸をｙ軸とすることで定義する
とよい。このとき、画像平面はｘ−ｙ平面となり両撮像
部１１ａ、１１ｂの正規化平面と呼ばれる。
平面の平面方程式を算出する（ステップ２０４）。この
ときの座標は、例えば、撮像部１１ａ、１１ｂの基線を
ｘ軸とし、基線に垂直で両撮像部１１ａ、１１ｂの光軸
になるべく近い方向を−ｚ軸方向とし、両撮像部１１
ａ、１１ｂの光軸を−ｚ軸に一致させた時にできる画像
平面上のｘ軸に直交する軸をｙ軸とすることで定義する
とよい。このとき、画像平面はｘ−ｙ平面となり両撮像
部１１ａ、１１ｂの正規化平面と呼ばれる。
【００４５】次に、傾き推定部１６は、平面抽出部１５
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
【００４６】次に、拡大率変換部１８は、回転変換部１
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
【００４７】次に、上述のステップ２０６で処理された
画像が最初の画像の場合には（ステップ２０７）、統合
画像蓄積部２１には統合画像が存在しない。したがっ
て、位置合わせ部１９では、移動ベクトルおよび回転角
度とも最初の入力画像の位置と傾きに応じた所定の初期
設定値を出力する。画像統合部２０ではこの所定の初期
設定値に基づいて統合画像を作成し、統合画像蓄積部２
１に蓄積する（ステップ２０８）。
画像が最初の画像の場合には（ステップ２０７）、統合
画像蓄積部２１には統合画像が存在しない。したがっ
て、位置合わせ部１９では、移動ベクトルおよび回転角
度とも最初の入力画像の位置と傾きに応じた所定の初期
設定値を出力する。画像統合部２０ではこの所定の初期
設定値に基づいて統合画像を作成し、統合画像蓄積部２
１に蓄積する（ステップ２０８）。
【００４８】一方、ステップ２０６で処理された画像が
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
【００４９】そして、画像統合部２０は、位置合わせ部
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
【００５０】以上のステップ２０２〜ステップ２１０の
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
【００５１】以上の処理を行うことによって、静止画２
２が高精細静止画の統合画像として生成される。
２が高精細静止画の統合画像として生成される。
【００５２】以上、上述した本発明の画像入力装置及び
画像合成方法において、３次元画像入力部であるステレ
オ画像入力部１１を２つの撮像部１１ａ、１１ｂによっ
て構成されることとしたが、このＣＣＤカメラなどの撮
像部は、２つ以上であればよく、その数が多ければ多い
ほど３次元計測の精度を向上させることができ、より正
確で誤差の少ない高精細画像を生成することができる。
また、互いの光軸方向が輻輳した状態で撮像部１１ａ、
１１ｂが配置されていても、その輻輳角の角度が既知で
あれば、その輻輳角の角度を補正角として上述した本発
明の画像入力装置及び画像合成方法に適用することによ
り、同様に高精細画像を生成することができる。
画像合成方法において、３次元画像入力部であるステレ
オ画像入力部１１を２つの撮像部１１ａ、１１ｂによっ
て構成されることとしたが、このＣＣＤカメラなどの撮
像部は、２つ以上であればよく、その数が多ければ多い
ほど３次元計測の精度を向上させることができ、より正
確で誤差の少ない高精細画像を生成することができる。
また、互いの光軸方向が輻輳した状態で撮像部１１ａ、
１１ｂが配置されていても、その輻輳角の角度が既知で
あれば、その輻輳角の角度を補正角として上述した本発
明の画像入力装置及び画像合成方法に適用することによ
り、同様に高精細画像を生成することができる。
【００５３】以上のように、上述した本発明の画像入力
装置及び画像合成方法によれば、ステレオ画像入力部１
１の撮像部１１ａ、１１ｂで撮影した静止画２２の部分
画像から、入力対象の画像平面の平面方程式（平面方程
式）を求め、その結果を用いて部分画像を順次貼り合わ
せるので、自由な撮影位置で撮影した部分画像でも、そ
れを貼り合わせて統合画像を作成することができる。こ
のため、静止画の撮影や入力作業が容易になる。また、
部分画像間の位置ずれや歪みなどの誤差が貼り合わせ処
理毎に累積して発生する累積誤差を抑えることができる
ため、統合画像の歪みを大幅に低減することができる。
すなわち、従来の画像入力装置で累積する誤差は、３次
元空間上のｘ軸、ｙ軸、及びｚ軸全ての方向に対する誤
差であったのに対し、本発明の画像入力装置及び画像合
成方法で累積する誤差は、位置合わせ部１９で発生する
ｘ軸及びｙ軸方向のみの誤差であり、ｚ軸方向の誤差が
累積しないためである。
装置及び画像合成方法によれば、ステレオ画像入力部１
１の撮像部１１ａ、１１ｂで撮影した静止画２２の部分
画像から、入力対象の画像平面の平面方程式（平面方程
式）を求め、その結果を用いて部分画像を順次貼り合わ
せるので、自由な撮影位置で撮影した部分画像でも、そ
れを貼り合わせて統合画像を作成することができる。こ
のため、静止画の撮影や入力作業が容易になる。また、
部分画像間の位置ずれや歪みなどの誤差が貼り合わせ処
理毎に累積して発生する累積誤差を抑えることができる
ため、統合画像の歪みを大幅に低減することができる。
すなわち、従来の画像入力装置で累積する誤差は、３次
元空間上のｘ軸、ｙ軸、及びｚ軸全ての方向に対する誤
差であったのに対し、本発明の画像入力装置及び画像合
成方法で累積する誤差は、位置合わせ部１９で発生する
ｘ軸及びｙ軸方向のみの誤差であり、ｚ軸方向の誤差が
累積しないためである。
【００５４】＜実施の形態２＞以下、本発明の第２の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【００５５】図３は、本発明の画像入力装置の実施の形
態の一例を示す図である。この画像入力装置は、静止画
２２を複数のステレオ画像として撮影する撮像部１１
ａ、１１ｂを有するステレオ画像入力部１１と、ステレ
オ画像入力部１１によって撮影された画像を画像フレー
ムとして蓄積する画像蓄積部１２と、画像蓄積部１２に
蓄積されたステレオ画像対を小領域に分割する画像分割
部３１と、画像分割部３１で分割された小領域毎に対応
する画像における対応点の探索を行う小領域対応点探索
部３３と、既知のステレオ法により距離計測を行う距離
計測部１４と、距離計測部１４で計測して得られた入力
対像の平面上の点の距離情報から当該入力対像平面の平
面方程式を求める平面抽出部１５と、平面抽出部１５で
求められた入力対象平面の平面方程式から撮像平面に対
する入力対象画像の画平面の傾きを推定する傾き推定部
１６と、傾き推定部１６の推定結果に基づいて、入力対
象画像が撮像平面に平行に撮影された画像になるよう
に、当該入力対象画像に回転変換を行って回転変換画像
を作成する回転変換部１７と、距離計測部１４で測定さ
れた距離情報を用いて、全ての回転変換画像のサイズを
同一距離で撮影した画像と同一の画像になるように変換
する拡大率変換部１８と、統合画像蓄積部２１に蓄積さ
れている統合画像に対する回転変換部１７及び拡大率変
換部１８で回転変換及び拡大変換されて生成された回転
拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
態の一例を示す図である。この画像入力装置は、静止画
２２を複数のステレオ画像として撮影する撮像部１１
ａ、１１ｂを有するステレオ画像入力部１１と、ステレ
オ画像入力部１１によって撮影された画像を画像フレー
ムとして蓄積する画像蓄積部１２と、画像蓄積部１２に
蓄積されたステレオ画像対を小領域に分割する画像分割
部３１と、画像分割部３１で分割された小領域毎に対応
する画像における対応点の探索を行う小領域対応点探索
部３３と、既知のステレオ法により距離計測を行う距離
計測部１４と、距離計測部１４で計測して得られた入力
対像の平面上の点の距離情報から当該入力対像平面の平
面方程式を求める平面抽出部１５と、平面抽出部１５で
求められた入力対象平面の平面方程式から撮像平面に対
する入力対象画像の画平面の傾きを推定する傾き推定部
１６と、傾き推定部１６の推定結果に基づいて、入力対
象画像が撮像平面に平行に撮影された画像になるよう
に、当該入力対象画像に回転変換を行って回転変換画像
を作成する回転変換部１７と、距離計測部１４で測定さ
れた距離情報を用いて、全ての回転変換画像のサイズを
同一距離で撮影した画像と同一の画像になるように変換
する拡大率変換部１８と、統合画像蓄積部２１に蓄積さ
れている統合画像に対する回転変換部１７及び拡大率変
換部１８で回転変換及び拡大変換されて生成された回転
拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
【００５６】図３における画像入力装置と、図１の画像
入力装置との相違点は、図３における画像入力装置が、
図１の画像入力装置の対応点探索部１３に換えて、画像
を小領域に分割する画像分割部３１と、画像間の対応す
る小領域毎に対応点の探索を行う小領域対応点探索部３
３とを備える点である。なお、図３においては、図１と
同一の構成には同一の符号を付している。
入力装置との相違点は、図３における画像入力装置が、
図１の画像入力装置の対応点探索部１３に換えて、画像
を小領域に分割する画像分割部３１と、画像間の対応す
る小領域毎に対応点の探索を行う小領域対応点探索部３
３とを備える点である。なお、図３においては、図１と
同一の構成には同一の符号を付している。
【００５７】本発明の画像入力装置において、画像平面
の平面方程式をできるだけ精度良く求めるためには、画
像中の正しい対応点をできるだけ多く検出して、最小２
乗法により平面方程式を求めるとよい。この対応点をで
きるだけ多く検出するためには、画像中の全ての画素に
おいて対応点の探索を行えば良い。ところが、画像中の
全ての画素において対応点の探索を行うと、処理量が非
常に大きくなる。そこで、できるだけ精度を落さずに計
算量を低減するために、図３における画像入力装置は、
図１の画像入力装置の対応点探索部１３に換えて、画像
を小領域に分割する画像分割部３１と、画像間の対応す
る小領域毎に対応点の探索を行う小領域対応点探索部３
３とを備える。
の平面方程式をできるだけ精度良く求めるためには、画
像中の正しい対応点をできるだけ多く検出して、最小２
乗法により平面方程式を求めるとよい。この対応点をで
きるだけ多く検出するためには、画像中の全ての画素に
おいて対応点の探索を行えば良い。ところが、画像中の
全ての画素において対応点の探索を行うと、処理量が非
常に大きくなる。そこで、できるだけ精度を落さずに計
算量を低減するために、図３における画像入力装置は、
図１の画像入力装置の対応点探索部１３に換えて、画像
を小領域に分割する画像分割部３１と、画像間の対応す
る小領域毎に対応点の探索を行う小領域対応点探索部３
３とを備える。
【００５８】以下、図３のように構成された画像入力装
置の動作について説明する。
置の動作について説明する。
【００５９】図４は、図３で示した画像入力装置の動作
を示すフローチャートである。図４において、図２と同
様の処理には同一のステップ番号を付している。図５
は、小領域での対応点の探索の処理を示す概念図であ
る。図４において、図２と同様にして、まず、入力対象
となる静止画２２の一部分を部分画像として、ステレオ
画像入力部１１の２つの撮像部１１ａ、１１ｂでステレ
オ撮影する。ステレオ画像入力部１１の２つの撮像部１
１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画
像入力部１１から画像蓄積部１２にステレオ画像対とし
て入力されて蓄積される（ステップ２０１）。
を示すフローチャートである。図４において、図２と同
様の処理には同一のステップ番号を付している。図５
は、小領域での対応点の探索の処理を示す概念図であ
る。図４において、図２と同様にして、まず、入力対象
となる静止画２２の一部分を部分画像として、ステレオ
画像入力部１１の２つの撮像部１１ａ、１１ｂでステレ
オ撮影する。ステレオ画像入力部１１の２つの撮像部１
１ａ、１１ｂで撮影されたステレオ画像は、ステレオ画
像入力部１１から画像蓄積部１２にステレオ画像対とし
て入力されて蓄積される（ステップ２０１）。
【００６０】次に、画像分割部３１は、画像蓄積部１２
に蓄積されているステレオ画像対のうち一方の画像、例
えば、撮像部１１ａで撮影した画像を小領域、例えば、
５０［ｐｉｘ］×５０［ｐｉｘ］に分割する（ステップ
４０１）。
に蓄積されているステレオ画像対のうち一方の画像、例
えば、撮像部１１ａで撮影した画像を小領域、例えば、
５０［ｐｉｘ］×５０［ｐｉｘ］に分割する（ステップ
４０１）。
【００６１】次に、小領域対応点探索部３３は、図５に
示すように、画像分割部３１で分割された画像の小領域
に基づいて、ステレオ画像対のうち他方の画像、上述の
場合、撮像部１１ｂで撮影した画像に対して順次対応点
を探索する（ステップ４０２）。すなわち、図５に示す
ように、１つの小領域内で対応点を探索して決定するこ
とができたならば、次の小領域における対応点の探索に
移る。このようにして、画像の一部に集中して多くの対
応点を検出することを避けて計算量を減少させつつ、画
像全体で、できるだけ均等に対応点を検出する。
示すように、画像分割部３１で分割された画像の小領域
に基づいて、ステレオ画像対のうち他方の画像、上述の
場合、撮像部１１ｂで撮影した画像に対して順次対応点
を探索する（ステップ４０２）。すなわち、図５に示す
ように、１つの小領域内で対応点を探索して決定するこ
とができたならば、次の小領域における対応点の探索に
移る。このようにして、画像の一部に集中して多くの対
応点を検出することを避けて計算量を減少させつつ、画
像全体で、できるだけ均等に対応点を検出する。
【００６２】なお、上述のステップ４０１とステップ４
０２の処理においては、撮像部１１ａで撮影した画像を
分割した場合、撮像部１１ｂで撮影した画像上で対応点
の探索を行う。また、撮像部１１ｂの画像を分割した場
合は、撮像部１１ａの画像上で対応点を探索する。
０２の処理においては、撮像部１１ａで撮影した画像を
分割した場合、撮像部１１ｂで撮影した画像上で対応点
の探索を行う。また、撮像部１１ｂの画像を分割した場
合は、撮像部１１ａの画像上で対応点を探索する。
【００６３】以下の処理は図２の処理と同様になる。す
なわち、距離計測部１４は、小領域対応点探索部３２で
探索された対応点対の画像フレームからステレオ法によ
り距離計測を行う（ステップ２０３）。次に、平面抽出
部１５は、入力対象の画像平面の平面方程式を算出する
（ステップ２０４）。
なわち、距離計測部１４は、小領域対応点探索部３２で
探索された対応点対の画像フレームからステレオ法によ
り距離計測を行う（ステップ２０３）。次に、平面抽出
部１５は、入力対象の画像平面の平面方程式を算出する
（ステップ２０４）。
【００６４】次に、傾き推定部１６は、平面抽出部１５
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
【００６５】次に、拡大率変換部１８は、回転変換部１
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
【００６６】ここで、上述のステップ２０６で処理され
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９は、移動ベクトルおよび回転角度とも最
初の入力画像の位置と傾きに応じた所定の初期設定値を
出力する。画像統合部２０ではこの所定の初期設定値に
基づいて統合画像を作成し、統合画像蓄積部２１に蓄積
する（ステップ２０８）。
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９は、移動ベクトルおよび回転角度とも最
初の入力画像の位置と傾きに応じた所定の初期設定値を
出力する。画像統合部２０ではこの所定の初期設定値に
基づいて統合画像を作成し、統合画像蓄積部２１に蓄積
する（ステップ２０８）。
【００６７】一方、ステップ２０６で処理された画像が
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
【００６８】そして、画像統合部２０は、位置合わせ部
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
【００６９】以上のステップ４０１〜ステップ２１０の
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
【００７０】以上の処理を行うことによって、静止画２
２が高精細静止画の統合画像として生成される。
２が高精細静止画の統合画像として生成される。
【００７１】以上のように、図３に示したような本発明
の画像入力装置によれば、対応点を求める際に、画像の
領域を分割して行うため、入力作業を容易にし、且つ、
統合画像の歪みを低減しながら、計算量の低減を図るこ
とができる。
の画像入力装置によれば、対応点を求める際に、画像の
領域を分割して行うため、入力作業を容易にし、且つ、
統合画像の歪みを低減しながら、計算量の低減を図るこ
とができる。
【００７２】＜実施の形態３＞以下、本発明の第３の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【００７３】図６は、本発明の画像入力装置の実施の形
態の一例を示す図である。なお、図６の画像入力装置に
おいては、図１における画像入力装置の構成と同一のも
のには同一の符号を付している。
態の一例を示す図である。なお、図６の画像入力装置に
おいては、図１における画像入力装置の構成と同一のも
のには同一の符号を付している。
【００７４】図６に示した画像入力装置は、静止画２２
を複数のステレオ画像として撮影する撮像部１１ａ、１
１ｂを有するステレオ画像入力部１１と、ステレオ画像
入力部１１によって撮影された画像を画像フレームとし
て蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積さ
れたステレオ画像対における対応点の探索を行う対応点
探索部６３と、既知のステレオ法により距離計測を行う
距離計測部１４と、距離計測部１４で計測して得られた
入力対像の平面上の点の距離情報から当該入力対像平面
の平面方程式を求める平面抽出部１５と、平面抽出部１
５で求められた入力対象平面の平面方程式から撮像平面
に対する入力対象画像の画平面の傾きを推定する傾き推
定部１６と、傾き推定部１６の推定結果に基づいて、入
力対象画像が撮像平面に平行に撮影された画像になるよ
うに、当該入力対象画像に回転変換を行って回転変換画
像を作成する回転変換部１７と、距離計測部１４で測定
された距離情報を用いて、全ての回転変換画像のサイズ
を同一距離で撮影した画像と同一の画像になるように変
換する拡大率変換部１８と、統合画像蓄積部２１に蓄積
されている統合画像に対する回転変換部１７及び拡大率
変換部１８で回転変換及び拡大変換されて生成された回
転拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
を複数のステレオ画像として撮影する撮像部１１ａ、１
１ｂを有するステレオ画像入力部１１と、ステレオ画像
入力部１１によって撮影された画像を画像フレームとし
て蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積さ
れたステレオ画像対における対応点の探索を行う対応点
探索部６３と、既知のステレオ法により距離計測を行う
距離計測部１４と、距離計測部１４で計測して得られた
入力対像の平面上の点の距離情報から当該入力対像平面
の平面方程式を求める平面抽出部１５と、平面抽出部１
５で求められた入力対象平面の平面方程式から撮像平面
に対する入力対象画像の画平面の傾きを推定する傾き推
定部１６と、傾き推定部１６の推定結果に基づいて、入
力対象画像が撮像平面に平行に撮影された画像になるよ
うに、当該入力対象画像に回転変換を行って回転変換画
像を作成する回転変換部１７と、距離計測部１４で測定
された距離情報を用いて、全ての回転変換画像のサイズ
を同一距離で撮影した画像と同一の画像になるように変
換する拡大率変換部１８と、統合画像蓄積部２１に蓄積
されている統合画像に対する回転変換部１７及び拡大率
変換部１８で回転変換及び拡大変換されて生成された回
転拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
【００７５】ここで、図６における画像入力装置と、図
１における画像入力装置の相違点は、対応点探索部６３
にある。すなわち、上述の実施の形態２で示したよう
に、画像平面の平面方程式をできるだけ精度良く求める
ためには、多数の正しい対応点を検出する必要がある。
ここで、間違った対応点( 誤対応) を含んだ状態で最小
２乗法により平面方程式を推定すると、その精度は低下
する。そこで、図６に示した対応点探索部６３では、探
索した対応点の信頼度を判断して誤対応を避け、正しい
対応点のみ検出するようにしている。
１における画像入力装置の相違点は、対応点探索部６３
にある。すなわち、上述の実施の形態２で示したよう
に、画像平面の平面方程式をできるだけ精度良く求める
ためには、多数の正しい対応点を検出する必要がある。
ここで、間違った対応点( 誤対応) を含んだ状態で最小
２乗法により平面方程式を推定すると、その精度は低下
する。そこで、図６に示した対応点探索部６３では、探
索した対応点の信頼度を判断して誤対応を避け、正しい
対応点のみ検出するようにしている。
【００７６】以下、この対応点探索部６３において、対
応点探索の評価関数として２乗誤差和を用いた場合の図
６の画像入力装置の動作について説明する。
応点探索の評価関数として２乗誤差和を用いた場合の図
６の画像入力装置の動作について説明する。
【００７７】図７は、図６で示した画像入力装置の動作
を示すフローチャートである。図７において、図２と同
様の処理には同一のステップ番号を付している。
を示すフローチャートである。図７において、図２と同
様の処理には同一のステップ番号を付している。
【００７８】図７において、図２と同様にして、まず、
入力対象となる静止画２２の一部分を部分画像として、
ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂ
でステレオ撮影する。ステレオ画像入力部１１の２つの
撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ス
テレオ画像入力部１１から画像蓄積部１２にステレオ画
像対として入力されて蓄積される（ステップ２０１）。
入力対象となる静止画２２の一部分を部分画像として、
ステレオ画像入力部１１の２つの撮像部１１ａ、１１ｂ
でステレオ撮影する。ステレオ画像入力部１１の２つの
撮像部１１ａ、１１ｂで撮影されたステレオ画像は、ス
テレオ画像入力部１１から画像蓄積部１２にステレオ画
像対として入力されて蓄積される（ステップ２０１）。
【００７９】次に、対応点探索部１３は、画像蓄積部１
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う。また、以下のようにし
て、評価関数値Ｅを求める（ステップ７０１）。
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う。また、以下のようにし
て、評価関数値Ｅを求める（ステップ７０１）。
【００８０】すなわち、ステレオ画像対のうち左画像の
画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、右画像の
画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場
合、評価関数の値Ｅは、
画素値のＲＧＢ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、右画像の
画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場
合、評価関数の値Ｅは、
【数３】Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2
＋（Ｂｌ−Ｂｒ）2 ｝ で表され、このＥの値が小さい程そのブロック同士が、
類似していることになる。
＋（Ｂｌ−Ｂｒ）2 ｝ で表され、このＥの値が小さい程そのブロック同士が、
類似していることになる。
【００８１】実際の探索では、探索範囲内の全てのブロ
ックに対して上に示したＥの値を計算し、その平均値Ｅ
ave 、最小値Ｅmin を算出する（ステップ７０２）。
ックに対して上に示したＥの値を計算し、その平均値Ｅ
ave 、最小値Ｅmin を算出する（ステップ７０２）。
【００８２】このとき、Ｅが最小になったブロックが対
応するブロックの候補となる。ここで、この探索の信頼
度を示す条件として２つの条件を設定する。まず第１の
条件は、候補となったブロックが有効である条件とし
て、
応するブロックの候補となる。ここで、この探索の信頼
度を示す条件として２つの条件を設定する。まず第１の
条件は、候補となったブロックが有効である条件とし
て、
【数４】 Ｅmin ＜ａ＊Ｅave （但し、０＜ａ＜１） とする（ステップ７０３）。
【００８３】次に、第２の条件は、候補となったブロッ
ク以外に有力な候補が存在していないという条件とし
て、候補となったブロックから２画素以上離れたブロッ
クに対して、
ク以外に有力な候補が存在していないという条件とし
て、候補となったブロックから２画素以上離れたブロッ
クに対して、
【数５】Ｅ’＞ｂ＊Ｅave （但し、Ｅ’はＥmin を
除くＥ、０＜ｂ＜１） とする（ステップ７０４）。
除くＥ、０＜ｂ＜１） とする（ステップ７０４）。
【００８４】ここで２画素以上離れたブロックとしてい
るのは、撮影によって取得したディジタル画像では隣接
する画素の類似度は高い傾向があり、候補となったブロ
ック以外の全てにこの条件を適用してしまうと条件が厳
しくなりすぎてしまうためである。またa, bの関係は、
るのは、撮影によって取得したディジタル画像では隣接
する画素の類似度は高い傾向があり、候補となったブロ
ック以外の全てにこの条件を適用してしまうと条件が厳
しくなりすぎてしまうためである。またa, bの関係は、
【数６】０＜ａ＜ｂ＜１ であり、ａは小さくする程、ｂは大きくする程、条件を
満たす対応点の信頼度が高くなる。
満たす対応点の信頼度が高くなる。
【００８５】この２つの条件を満たした時に、この探索
の結果が十分信頼できるものとし、対応点としてＥmin
の位置を決定する。そうでなければ、この探索結果は出
力しない（ステップ７０５）。
の結果が十分信頼できるものとし、対応点としてＥmin
の位置を決定する。そうでなければ、この探索結果は出
力しない（ステップ７０５）。
【００８６】図８は、対応点探索の評価関数の分布の一
例を示す図であり、図８（ａ）は、対応点探索の評価関
数が条件を満たしている場合の分布の一例を示し、図８
（ｂ）は、対応点探索の評価関数が条件を満たしていな
い場合の分布の一例を示す。
例を示す図であり、図８（ａ）は、対応点探索の評価関
数が条件を満たしている場合の分布の一例を示し、図８
（ｂ）は、対応点探索の評価関数が条件を満たしていな
い場合の分布の一例を示す。
【００８７】次に、距離計測部１４は対応点対の画像フ
レームからステレオ法により距離計測を行う（ステップ
２０３）。続いて、平面抽出部１５は、入力対象の画像
平面の平面方程式を算出する（ステップ２０４）。
レームからステレオ法により距離計測を行う（ステップ
２０３）。続いて、平面抽出部１５は、入力対象の画像
平面の平面方程式を算出する（ステップ２０４）。
【００８８】次に、傾き推定部１６は、平面抽出部１５
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
【００８９】次に、拡大率変換部１８は、回転変換部１
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
【００９０】ここで、上述のステップ２０６で処理され
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９では、移動ベクトルおよび回転角度とも
最初の入力画像の位置と傾きに応じた所定の初期設定値
を出力する。画像統合部２０ではこの所定の初期設定値
に基づいて統合画像を作成し、統合画像蓄積部２１に蓄
積する（ステップ２０８）。
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９では、移動ベクトルおよび回転角度とも
最初の入力画像の位置と傾きに応じた所定の初期設定値
を出力する。画像統合部２０ではこの所定の初期設定値
に基づいて統合画像を作成し、統合画像蓄積部２１に蓄
積する（ステップ２０８）。
【００９１】一方、ステップ２０６で処理された画像が
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
【００９２】そして、画像統合部２０は、位置合わせ部
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
【００９３】以上のステップ７０１〜ステップ２１０の
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
【００９４】以上の処理を行うことによって、静止画２
２が高精細静止画の統合画像として生成される。
２が高精細静止画の統合画像として生成される。
【００９５】以上のように、図６に示したような本発明
の画像入力装置によれば、対応点を求める際に、対応点
探索の評価関数として２乗誤差和を適用することによっ
て、入力作業を容易にし、且つ、統合画像の歪みを大幅
に低減することができる。
の画像入力装置によれば、対応点を求める際に、対応点
探索の評価関数として２乗誤差和を適用することによっ
て、入力作業を容易にし、且つ、統合画像の歪みを大幅
に低減することができる。
【００９６】＜実施の形態４＞以下、本発明の第４の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【００９７】図９は、本発明の画像入力装置の実施の形
態の一例を示す図である。なお、図９の画像入力装置に
おいては、図１における画像入力装置の構成と同一のも
のには同一の符号を付している。
態の一例を示す図である。なお、図９の画像入力装置に
おいては、図１における画像入力装置の構成と同一のも
のには同一の符号を付している。
【００９８】図９に示した画像入力装置は、静止画２２
を複数のステレオ画像として撮影する撮像部１１ａ、１
１ｂを有するステレオ画像入力部１１と、ステレオ画像
入力部１１によって撮影された画像を画像フレームとし
て蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積さ
れたステレオ画像対における対応点の探索を行う対応点
探索部１３と、既知のステレオ法により距離計測を行う
距離計測部１４と、距離計測部１４で計測して得られた
入力対像の平面上の点の距離情報から当該入力対像平面
の平面方程式を求める平面抽出部９５と、平面抽出部９
５で求められた入力対象平面の平面方程式から撮像平面
に対する入力対象画像の画平面の傾きを推定する傾き推
定部１６と、傾き推定部１６の推定結果に基づいて、入
力対象画像が撮像平面に平行に撮影された画像になるよ
うに、当該入力対象画像に回転変換を行って回転変換画
像を作成する回転変換部１７と、距離計測部１４で測定
された距離情報を用いて、全ての回転変換画像のサイズ
を同一距離で撮影した画像と同一の画像になるように変
換する拡大率変換部１８と、統合画像蓄積部２１に蓄積
されている統合画像に対する回転変換部１７及び拡大率
変換部１８で回転変換及び拡大変換されて生成された回
転拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
を複数のステレオ画像として撮影する撮像部１１ａ、１
１ｂを有するステレオ画像入力部１１と、ステレオ画像
入力部１１によって撮影された画像を画像フレームとし
て蓄積する画像蓄積部１２と、画像蓄積部１２に蓄積さ
れたステレオ画像対における対応点の探索を行う対応点
探索部１３と、既知のステレオ法により距離計測を行う
距離計測部１４と、距離計測部１４で計測して得られた
入力対像の平面上の点の距離情報から当該入力対像平面
の平面方程式を求める平面抽出部９５と、平面抽出部９
５で求められた入力対象平面の平面方程式から撮像平面
に対する入力対象画像の画平面の傾きを推定する傾き推
定部１６と、傾き推定部１６の推定結果に基づいて、入
力対象画像が撮像平面に平行に撮影された画像になるよ
うに、当該入力対象画像に回転変換を行って回転変換画
像を作成する回転変換部１７と、距離計測部１４で測定
された距離情報を用いて、全ての回転変換画像のサイズ
を同一距離で撮影した画像と同一の画像になるように変
換する拡大率変換部１８と、統合画像蓄積部２１に蓄積
されている統合画像に対する回転変換部１７及び拡大率
変換部１８で回転変換及び拡大変換されて生成された回
転拡大変換画像の位置関係を推定する位置合わせ部１９
と、回転拡大変換画像を統合画像蓄積部２１に蓄積され
ている統合画像へ貼り合わせて新たな統合画像を生成す
る画像統合部２０と、画像統合部２０で生成された統合
画像を蓄積する統合画像蓄積部２１とを備えている。
【００９９】ここで、図９における画像入力装置と、図
１における画像入力装置の相違点は、平面抽出部９５に
ある。すなわち、上述の実施の形態２で示したように、
画像平面の平面方程式をできるだけ精度良く求めるため
には、多数の正しい対応点を検出する必要がある。ここ
で、間違った対応点( 誤対応) を含んだ状態で最小２乗
法により平面方程式を推定すると、その精度は低下す
る。そこで、図９に示した平面抽出部９５では、このよ
うな例外値となる誤対応を含むようなデータに対しても
安定してパラメータの推定ができるロバスト統計に基づ
く画像解析法（ＬＭｅｄＳ：Least Median of Squares
等) を用いて平面方程式を推定する。なお、このロバス
ト統計に基づく画像解析法については、「ロバスト統計
に基づく画像解析（電子情報通信学会ｖｏｌ．７６ Ｎ
ｏ．１２ ｐｐ．１２９３−１２９７）」等に記載され
ている。
１における画像入力装置の相違点は、平面抽出部９５に
ある。すなわち、上述の実施の形態２で示したように、
画像平面の平面方程式をできるだけ精度良く求めるため
には、多数の正しい対応点を検出する必要がある。ここ
で、間違った対応点( 誤対応) を含んだ状態で最小２乗
法により平面方程式を推定すると、その精度は低下す
る。そこで、図９に示した平面抽出部９５では、このよ
うな例外値となる誤対応を含むようなデータに対しても
安定してパラメータの推定ができるロバスト統計に基づ
く画像解析法（ＬＭｅｄＳ：Least Median of Squares
等) を用いて平面方程式を推定する。なお、このロバス
ト統計に基づく画像解析法については、「ロバスト統計
に基づく画像解析（電子情報通信学会ｖｏｌ．７６ Ｎ
ｏ．１２ ｐｐ．１２９３−１２９７）」等に記載され
ている。
【０１００】以下、この平面抽出部９５において、ロバ
スト統計に基づく手法を用いた場合の図９の画像入力装
置の動作について説明する。
スト統計に基づく手法を用いた場合の図９の画像入力装
置の動作について説明する。
【０１０１】図１０は、図９で示した画像入力装置の動
作を示すフローチャートである。図１０において、図２
と同様の処理には同一のステップ番号を付している。
作を示すフローチャートである。図１０において、図２
と同様の処理には同一のステップ番号を付している。
【０１０２】図１０において、図２と同様にして、ま
ず、入力対象となる静止画２２の一部分を部分画像とし
て、ステレオ画像入力部１１の２つの撮像部１１ａ、１
１ｂでステレオ撮影する。ステレオ画像入力部１１の２
つの撮像部１１ａ、１１ｂで撮影されたステレオ画像
は、ステレオ画像入力部１１から画像蓄積部１２にステ
レオ画像対として入力されて蓄積される（ステップ２０
１）。
ず、入力対象となる静止画２２の一部分を部分画像とし
て、ステレオ画像入力部１１の２つの撮像部１１ａ、１
１ｂでステレオ撮影する。ステレオ画像入力部１１の２
つの撮像部１１ａ、１１ｂで撮影されたステレオ画像
は、ステレオ画像入力部１１から画像蓄積部１２にステ
レオ画像対として入力されて蓄積される（ステップ２０
１）。
【０１０３】次に、対応点探索部１３は、画像蓄積部１
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う（ステップ２０２）。次
に、距離計測部１４は対応点対の画像フレームからステ
レオ法により距離計測を行う（ステップ２０３）。
２に蓄積されたステレオ画像対に対して少なくとも３点
以上の対応点対の探索を行う（ステップ２０２）。次
に、距離計測部１４は対応点対の画像フレームからステ
レオ法により距離計測を行う（ステップ２０３）。
【０１０４】次に、平面抽出部９５は、入力対象の画像
平面の平面方程式を算出する。このとき、例外値となる
誤対応を含むようなデータに対しても安定してパラメー
タの推定ができるロバスト統計に基づく画像解析法（Ｌ
ＭｅｄＳ等) を用いて平面方程式を推定する（ステップ
１００１）。また、このときの座標は、例えば、撮像部
１１ａ、１１ｂの基線をｘ軸とし、基線に垂直で両撮像
部１１ａ、１１ｂの光軸になるべく近い方向を−ｚ軸方
向とし、両撮像部１１ａ、１１ｂの光軸を−ｚ軸に一致
させた時にできる画像平面上のｘ軸に直交する軸をｙ軸
とすることで定義するとよい。このとき、画像平面はｘ
−ｙ平面となり両撮像部１１ａ、１１ｂの正規化平面と
呼ばれる。
平面の平面方程式を算出する。このとき、例外値となる
誤対応を含むようなデータに対しても安定してパラメー
タの推定ができるロバスト統計に基づく画像解析法（Ｌ
ＭｅｄＳ等) を用いて平面方程式を推定する（ステップ
１００１）。また、このときの座標は、例えば、撮像部
１１ａ、１１ｂの基線をｘ軸とし、基線に垂直で両撮像
部１１ａ、１１ｂの光軸になるべく近い方向を−ｚ軸方
向とし、両撮像部１１ａ、１１ｂの光軸を−ｚ軸に一致
させた時にできる画像平面上のｘ軸に直交する軸をｙ軸
とすることで定義するとよい。このとき、画像平面はｘ
−ｙ平面となり両撮像部１１ａ、１１ｂの正規化平面と
呼ばれる。
【０１０５】次に、傾き推定部１６は、平面抽出部１５
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
で算出された平面方程式に基づいて、画像平面を上述の
座標系におけるｘ−ｙ平面に平行にするための傾き角度
（ｘ軸及びｙ軸を中心とする回転角度）を推定する。そ
して、回転変換部１７は、傾き推定部１６の結果に基づ
いて、上記座標のｘ−ｙ平面に平行となるように画像平
面を回転させて回転変換画像を作成する（ステップ２０
５）。
【０１０６】次に、拡大率変換部１８は、回転変換部１
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
７で作成される全ての回転変換画像のサイズを同一にす
るために、画像平面の存在するｚ座標を用いて当該回転
変換画像の拡大縮小変換を行い貼り合わせ画像を作成す
る（ステップ２０６）。
【０１０７】ここで、上述のステップ２０６で処理され
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９は、移動ベクトルおよび回転角度とも最
初の入力画像の位置と傾きに応じた所定の初期設定値を
出力する。画像統合部２０はこの所定の初期設定値に基
づいて統合画像を作成し、統合画像蓄積部２１に蓄積す
る（ステップ２０８）。
た画像が最初の画像の場合には（ステップ２０７）、位
置合わせ部１９は、移動ベクトルおよび回転角度とも最
初の入力画像の位置と傾きに応じた所定の初期設定値を
出力する。画像統合部２０はこの所定の初期設定値に基
づいて統合画像を作成し、統合画像蓄積部２１に蓄積す
る（ステップ２０８）。
【０１０８】一方、ステップ２０６で処理された画像が
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
最初の画像でない場合には（ステップ２０７）、位置合
わせ部１９は、統合画像蓄積部２１に蓄積されている統
合画像と拡大率変換部１８で生成された貼り合わせ画像
との間の位置合わせを行うため、ｘ軸及びｙ軸方向の移
動ベクトルとｚ軸を中心とした回転角度を推定する（ス
テップ２０９）。
【０１０９】そして、画像統合部２０は、位置合わせ部
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
１９の推定結果に基づいて、統合画像蓄積部２１に蓄積
されている統合画像と貼り合わせ画像を処理して新たな
統合画像を作成し、統合画像蓄積部２１に統合画像を蓄
積する（ステップ２１０）。
【０１１０】以上のステップ２０２〜ステップ２１０の
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
処理を、ステレオ画像入力部１１から入力された全ての
ステレオ画像対、すなわち、画像蓄積部１２に蓄積され
ている全てのステレオ画像対に対して行う。（ステップ
２１１）。
【０１１１】以上の処理を行うことによって、静止画２
２が高精細静止画の統合画像として生成される。
２が高精細静止画の統合画像として生成される。
【０１１２】以上のように、図９に示したような本発明
の画像入力装置によれば、ロバスト統計に基づく画像解
析法（ＬＭｅｄＳ等) を用いて平面方程式を推定するた
め、入力作業を容易にし、且つ、統合画像の歪みを大幅
に低減することができる。
の画像入力装置によれば、ロバスト統計に基づく画像解
析法（ＬＭｅｄＳ等) を用いて平面方程式を推定するた
め、入力作業を容易にし、且つ、統合画像の歪みを大幅
に低減することができる。
【０１１３】以上、本発明の画像入力装置及び画像合成
方法について説明したが、上述した画像合成方法をコン
ピュータなどで実行可能な画像合成プログラムとして、
コンピュータなどで読み取り可能な記録媒体に記録する
ようにしてもよい。
方法について説明したが、上述した画像合成方法をコン
ピュータなどで実行可能な画像合成プログラムとして、
コンピュータなどで読み取り可能な記録媒体に記録する
ようにしてもよい。
【０１１４】
【発明の効果】以上のように、本発明の画像合成方法、
画像入力装置、及び画像合成プログラムを記録した記録
媒体によれば、相対的位置と互いの光軸方向を固定した
複数の視点から入力対象の部分画像のステレオ撮影を行
い、そのステレオ画像より入力対象の画像平面の平面方
程式を求め、その距離情報を用いて画像の貼り合わせを
行うため、自由な位置で撮影した画像の貼り合わせが実
現でき、入力操作が簡易になる。また、複数の画像の貼
り合わせで生じる累積誤差を減らすことができるため、
最終的に生成される統合画像の歪みを低減化することが
できる。
画像入力装置、及び画像合成プログラムを記録した記録
媒体によれば、相対的位置と互いの光軸方向を固定した
複数の視点から入力対象の部分画像のステレオ撮影を行
い、そのステレオ画像より入力対象の画像平面の平面方
程式を求め、その距離情報を用いて画像の貼り合わせを
行うため、自由な位置で撮影した画像の貼り合わせが実
現でき、入力操作が簡易になる。また、複数の画像の貼
り合わせで生じる累積誤差を減らすことができるため、
最終的に生成される統合画像の歪みを低減化することが
できる。
【０１１５】また、対応点を探索する際に、画像を小領
域に分割し、画像間の対応する小領域毎に対応点の探索
を行うため、入力操作を簡易にし、統合画像の歪みを低
減させると共に、計算量の低減を図る、すなわち、処理
効率を向上させることができる。
域に分割し、画像間の対応する小領域毎に対応点の探索
を行うため、入力操作を簡易にし、統合画像の歪みを低
減させると共に、計算量の低減を図る、すなわち、処理
効率を向上させることができる。
【０１１６】また、対応点の探索を行う際に、その信頼
度を判断して対応点を決定するため、入力操作を簡易に
し、複数の画像の貼り合わせで生じる累積誤差を大幅に
減らすことができ、最終的に生成される統合画像の歪み
を大幅に低減化することができる。
度を判断して対応点を決定するため、入力操作を簡易に
し、複数の画像の貼り合わせで生じる累積誤差を大幅に
減らすことができ、最終的に生成される統合画像の歪み
を大幅に低減化することができる。
【０１１７】また、対応点の探索の結果から誤対応点を
例外値として扱って、画像平面の平面方程式を求めるた
め、入力操作を簡易にし、複数の画像の貼り合わせで生
じる累積誤差を大幅に減らすことができ、最終的に生成
される統合画像の歪みを大幅に低減化することができ
る。
例外値として扱って、画像平面の平面方程式を求めるた
め、入力操作を簡易にし、複数の画像の貼り合わせで生
じる累積誤差を大幅に減らすことができ、最終的に生成
される統合画像の歪みを大幅に低減化することができ
る。
【図１】本発明の画像入力装置を示すブロック図であ
る。
る。
【図２】本発明の画像入力装置の動作を示すフローチャ
ートである。
ートである。
【図３】本発明の画像入力装置を示すブロック図であ
る。
る。
【図４】本発明の画像入力装置の動作を示すフローチャ
ートである。
ートである。
【図５】本発明におけるの対応点の探索に関する概念図
である。
である。
【図６】本発明の画像入力装置を示すブロック図であ
る。
る。
【図７】本発明の画像入力装置の動作を示すフローチャ
ートである。
ートである。
【図８】対応点の探索に関する２乗誤差和の分布を示す
図である。
図である。
【図９】本発明の画像入力装置を示すブロック図であ
る。
る。
【図１０】本発明の画像入力装置の動作を示すフローチ
ャートである。
ャートである。
【図１１】画像の貼り合わせ処理を示す概念図である。
【図１２】従来の画像入力装置を示すブロック図であ
る。
る。
１１ ステレオ画像入力部 １１ａ、１１ｂ 撮像部 １２、１２２ 画像蓄積部 １３、６３、１２３ 対応点探索部 １４ 距離計測部 １５、９５ 平面抽出部 １６ 傾き推定部 １７ 回転変換部 １８ 拡大率変換部 １９ 位置合わせ部 ２０、１２５ 画像統合部 ２１、１２６ 統合画像蓄積部 ２２、１２７ 静止画 ３１ 画像分割部 ３３ 小領域対応点探索部 １１１、１１２、１１３、１１４ 画像 １２１ カメラ部 １２４ 射影変換行列推定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/265 Ｇ０６Ｆ 15/66 ３６０ 13/00 ４５０ (72)発明者 竹内 俊一 東京都新宿区西早稲田１丁目21番１号 通 信・放送機構 早稲田リサーチセンター内 (72)発明者 田中 伸幸 東京都新宿区大久保３丁目４番１号 早稲 田大学内 (72)発明者 富永 英義 東京都新宿区大久保３丁目４番１号 早稲 田大学内
Claims (26)
- 【請求項１】複数の画像を結合して１つの画像を生成す
る画像結合方法であって、（ａ）１つの静止画を分割し
てステレオ撮影し、複数のステレオ画像対を生成し、
（ｂ）前記複数のステレオ画像対を蓄積し、（ｃ）蓄積
されている前記複数のステレオ画像対から１つのステレ
オ画像対を取り出し、（ｄ）取り出した前記ステレオ画
像対の対応点を探索し、（ｅ）探索した前記対応点に基
づいて、ステレオ画像対に対応する画像平面の距離情報
を計測し、（ｆ）計測した前記距離情報に基づいて、前
記画像平面の平面方程式を算出し、（ｇ）算出した前記
平面方程式に基づいて、前記画像平面の回転方向の歪み
と画像平面のサイズを調整して、調整画像を生成し、
（ｈ１）前記ステップ（ｃ）で取り出された前記ステレ
オ画像対が最初のステレオ画像対の場合には、所定の値
に応じて前記調整画像から統合画像を生成して蓄積し、
（ｈ２）前記ステップ（ｃ）で取り出された前記ステレ
オ画像対が最初のステレオ画像対でない場合には、前記
調整画像と蓄積されている統合画像とを結合して新たな
統合画像として蓄積する、 ことを特徴とする画像結合方法。 - 【請求項２】複数の画像を結合して１つの画像を生成す
る画像結合方法であって、（ａ）１つの静止画を分割し
てステレオ撮影し、複数のステレオ画像対を生成し、
（ｂ）前記複数のステレオ画像対を蓄積し、（ｃ）蓄積
されている前記複数のステレオ画像対から１つのステレ
オ画像対を取り出し、（ｄ１）取り出した前記ステレオ
画像対のうち一方の画像を所定の数の領域に分割し、
（ｄ２）分割した前記領域に基づいて、前記ステレオ画
像対のうち分割されてない他方の画像に対して対応点を
探索し、（ｅ）探索した前記対応点に基づいて、ステレ
オ画像対に対応する画像平面の距離情報を計測し、
（ｆ）計測した前記距離情報に基づいて、前記画像平面
の平面方程式を算出し、（ｇ）算出した前記平面方程式
に基づいて、前記画像平面の回転方向の歪みと画像平面
のサイズを調整して、調整画像を生成し、（ｈ１）前記
ステップ（ｃ）で取り出された前記ステレオ画像対が最
初のステレオ画像対の場合には、所定の値に応じて前記
調整画像から統合画像を生成して蓄積し、（ｈ２）前記
ステップ（ｃ）で取り出された前記ステレオ画像対が最
初のステレオ画像対でない場合には、前記調整画像と蓄
積されている統合画像とを結合して新たな統合画像とし
て蓄積する、 ことを特徴とする画像結合方法。 - 【請求項３】複数の画像を結合して１つの画像を生成す
る画像結合方法であって、（ａ）１つの静止画を分割し
てステレオ撮影し、複数のステレオ画像対を生成し、
（ｂ）前記複数のステレオ画像対を蓄積し、（ｃ）蓄積
されている前記複数のステレオ画像対から１つのステレ
オ画像対を取り出し、（ｄ１）取り出した前記ステレオ
画像対の複数のブロックから対応点を探索し、（ｄ２）
探索した前記対応点の信頼度に基づいて対応点を決定
し、（ｅ）決定した前記対応点に基づいて、ステレオ画
像対に対応する画像平面の距離情報を計測し、（ｆ）計
測した前記距離情報に基づいて、前記画像平面の平面方
程式を算出し、（ｇ）算出した前記平面方程式に基づい
て、前記画像平面の回転方向の歪みと画像平面のサイズ
を調整して、調整画像を生成し、（ｈ１）前記ステップ
（ｃ）で取り出された前記ステレオ画像対が最初のステ
レオ画像対の場合には、所定の値に応じて前記調整画像
から統合画像を生成して蓄積し、（ｈ２）前記ステップ
（ｃ）で取り出された前記ステレオ画像対が最初のステ
レオ画像対でない場合には、前記調整画像と蓄積されて
いる統合画像とを結合して新たな統合画像として蓄積す
る、 ことを特徴とする画像結合方法。 - 【請求項４】前記ステップ（ｄ２）は、探索した前記対
応点の前記信頼度を所定の評価関数で算出される値で評
価し、該値が所定の条件を満たすブロックの対応点のみ
を有効な対応点として決定する、ステップであることを
特徴とする請求項３記載の画像結合方法。 - 【請求項５】前記ステップ（ｄ２）は、前記複数のブロ
ックの全てに対して、評価関数の値Ｅを、前記ステレオ
画像対のうち一方の画像のブロックの画素値のＲＧＢ成
分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの画
素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、 Ｅmin ＜ａ＊Ｅave 及び Ｅ’＞ｂ＊Ｅave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin
を除く全ての値Ｅとする）という条件を満たすブロック
の対応点のみを有効な対応点として決定する、ステップ
である、 ことを特徴とする請求項４記載の画像結合方法。 - 【請求項６】複数の画像を結合して１つの画像を生成す
る画像結合方法であって、（ａ）１つの静止画を分割し
てステレオ撮影し、複数のステレオ画像対を生成し、
（ｂ）前記複数のステレオ画像対を蓄積し、（ｃ）蓄積
されている前記複数のステレオ画像対から１つのステレ
オ画像対を取り出し、（ｄ）取り出した前記ステレオ画
像対の対応点を探索し、（ｅ）探索した前記対応点に基
づいて、ステレオ画像対に対応する画像平面の距離情報
を計測し、（ｆ）計測した前記距離情報に基づいて、前
記対応点のうち誤対応点を例外値として扱って、前記画
像平面の平面方程式を算出し、（ｇ）算出した前記平面
方程式に基づいて、前記画像平面の回転方向の歪みと画
像平面のサイズを調整して、調整画像を生成し、（ｈ
１）前記ステップ（ｃ）で取り出された前記ステレオ画
像対が最初のステレオ画像対の場合には、所定の値に応
じて前記調整画像から統合画像を生成して蓄積し、（ｈ
２）前記ステップ（ｃ）で取り出された前記ステレオ画
像対が最初のステレオ画像対でない場合には、前記調整
画像と蓄積されている統合画像とを結合して新たな統合
画像として蓄積する、 ことを特徴とする画像結合方法。 - 【請求項７】前記ステップ（ｆ）は、ロバスト統計に基
づく画像解析によって前記誤対応点を例外値として扱う
ことを特徴とする請求項６記載の画像結合方法。 - 【請求項８】前記ステップ（ｆ）のロバスト統計に基づ
く画像解析は、ＬＭｅｄＳ（LeastMedian of Squares
）であることを特徴とする請求項７記載の画像結合方
法。 - 【請求項９】複数の画像を結合して１つの入力用の画像
を生成する画像入力装置であって、 静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 前記ステレオ画像入力手段によって撮影された前記ステ
レオ画像対を蓄積する画像蓄積手段と、 前記画像蓄積手段に蓄積された前記ステレオ画像対の対
応点の探索を行う対応点探索手段と、 前記対応点探索手段によって探索された対応点に基づい
て、前記ステレオ画像対に応じた画像平面の距離計測を
行う距離計測手段と、 前記距離計測手段で計測して得られた画像平面上の点の
距離情報から当該画像平面の平面方程式を求める平面抽
出手段と、 前記平面抽出手段で求められた前記平面方程式から画像
平面の傾きを推定する傾き推定手段と、 前記傾き推定手段の推定結果に基づいて、前記画像平面
に回転変換を行って回転変換画像を作成する回転変換手
段と、 前記距離計測手段で計測された前記距離情報に基づい
て、前記回転変換画像のサイズを統一するように変換し
て部分画像を生成する拡大率変換手段と、 拡大率変換手段で生成された前記部分画像の位置合わせ
を行う位置合わせ手段と、 前記位置合わせ手段で位置を合わされた部分画像を貼り
合わせて統合画像を生成する画像統合手段と、 前記画像統合手段で生成された統合画像を蓄積する統合
画像蓄積手段と、を備え、 前記位置合わせ手段は、前記統合画像蓄積手段に蓄積さ
れている前記統合画像に対する前記部分画像の位置関係
を推定して、前記部分画像の位置合わせを行い、 前記画像統合手段は、前記部分画像を前記統合画像蓄積
手段に蓄積されている統合画像へ貼り合わせて新たな統
合画像を生成する、 ことを特徴とする画像入力装置。 - 【請求項１０】前記対応点探索手段は、前記画像蓄積手
段に蓄積された前記ステレオ画像対の複数のブロックか
ら対応点を探索し、探索した前記対応点の信頼度に基づ
いて対応点を決定する、ことを特徴とする請求項９記載
の画像入力装置。 - 【請求項１１】前記対応点探索手段は、探索した前記対
応点の前記信頼度を所定の評価関数で算出される値で評
価し、該値が所定の条件を満たすブロックの対応点のみ
を有効な対応点として決定する、ことを特徴とする請求
項１０記載の画像入力装置。 - 【請求項１２】前記対応点探索手段は、前記複数のブロ
ックの全てに対して、前記評価関数の値Ｅを、前記ステ
レオ画像対のうち一方の画像のブロックの画素値のＲＧ
Ｂ成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロック
の画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場
合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、 Ｅmin ＜ａ＊Ｅave 及び Ｅ’＞ｂ＊Ｅave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin
を除く全ての値Ｅとする）という条件を満たすブロック
の対応点のみを有効な対応点として決定する、 ことを特徴とする請求項１１記載の画像入力装置。 - 【請求項１３】前記平面抽出手段は、前記対応点のうち
誤対応点を例外値として扱って、前記画像平面の平面方
程式を算出する、ことを特徴とする請求項９記載の画像
入力装置。 - 【請求項１４】前記平面抽出手段は、ロバスト統計に基
づく画像解析によって前記対応点のうち誤対応点を例外
値として扱う、ことを特徴とする請求項１３記載の画像
入力装置。 - 【請求項１５】前記ロバスト統計に基づく画像解析は、
ＬＭｅｄＳ（Least Median of Squares ）であることを
特徴とする請求項１４記載の画像入力装置。 - 【請求項１６】複数の画像を結合して１つの入力用の画
像を生成する画像入力装置であって、 静止画を複数のステレオ画像対として撮影するステレオ
画像入力手段と、 前記ステレオ画像入力手段によって撮影された前記ステ
レオ画像対を蓄積する画像蓄積手段と、 前記画像蓄積手段に蓄積された前記ステレオ画像対のう
ち一方の画像を所定の数の領域に分割する小領域分割手
段と、 前記小領域分割手段で分割された前記領域に基づいて、
前記ステレオ画像対のうち分割されてない他方の画像に
対して対応点を探索する小領域対応点探索手段と、 前記小領域対応点探索手段によって探索された対応点に
基づいて、前記ステレオ画像対に応じた画像平面の距離
計測を行う距離計測手段と、 前記距離計測手段で計測して得られた画像平面上の点の
距離情報から当該画像平面の平面方程式を求める平面抽
出手段と、 前記平面抽出手段で求められた前記平面方程式から画像
平面の傾きを推定する傾き推定手段と、 前記傾き推定手段の推定結果に基づいて、前記画像平面
に回転変換を行って回転変換画像を作成する回転変換手
段と、 前記距離計測手段で計測された前記距離情報に基づい
て、前記回転変換画像のサイズを統一するように変換し
て部分画像を生成する拡大率変換手段と、 拡大率変換手段で生成された前記部分画像の位置合わせ
を行う位置合わせ手段と、 前記位置合わせ手段で位置を合わされた部分画像を貼り
合わせて統合画像を生成する画像統合手段と、 前記画像統合手段で生成された統合画像を蓄積する統合
画像蓄積手段と、を備え、 前記位置合わせ手段は、前記統合画像蓄積手段に蓄積さ
れている前記統合画像に対する前記部分画像の位置関係
を推定して、前記部分画像の位置合わせを行い、 前記画像統合手段は、前記部分画像を前記統合画像蓄積
手段に蓄積されている統合画像へ貼り合わせて新たな統
合画像を生成する、 ことを特徴とする画像入力装置。 - 【請求項１７】前記位置合わせ手段は、前記部分画像が
最初の画像の場合には、所定の値で位置合わせを行い、 前記画像統合手段は、前記所定の値の位置合わせに基づ
いて、前記部分画像から統合画像を生成する、 ことを特徴とする請求項９乃至１６記載の画像入力装
置。 - 【請求項１８】前記ステレオ画像入力手段は、互いの光
軸方向が平行で各々の基線方向が光軸に対して垂直にな
るように所定の間隔で固定配置された２以上の撮像手段
を有する、ことを特徴とする請求項９乃至１７記載の画
像入力装置。 - 【請求項１９】（ａ）１つの静止画を分割してステレオ
撮影した複数のステレオ画像対から１つのステレオ画像
対を取り出すステップと、（ｂ）取り出した前記ステレ
オ画像対の対応点を探索するステップと、（ｃ）探索し
た前記対応点に基づいて、ステレオ画像対に対応する画
像平面の距離情報を計測するステップと、（ｄ）計測し
た前記距離情報に基づいて、前記画像平面の平面方程式
を算出するステップと、（ｅ）算出した前記平面方程式
に基づいて、前記画像平面の回転方向の歪みと画像平面
のサイズを調整して、調整画像を生成するステップと、
（ｆ１）前記ステップ（ａ）で取り出された前記ステレ
オ画像対が最初のステレオ画像対の場合には、所定の値
に応じて前記調整画像から統合画像を生成して蓄積する
ステップと、（ｆ２）前記ステップ（ａ）で取り出され
た前記ステレオ画像対が最初のステレオ画像対でない場
合には、前記調整画像と蓄積されている統合画像とを結
合して新たな統合画像として蓄積するステップと、を有
する画像結合方法をコンピュータで実行するための画像
結合プログラムを記録したコンピュータ読み取り可能な
記録媒体。 - 【請求項２０】（ａ）１つの静止画を分割してステレオ
撮影した複数のステレオ画像対から１つのステレオ画像
対を取り出すステップと、（ｂ１）取り出した前記ステ
レオ画像対のうち一方の画像を所定の数の領域に分割す
るステップと、（ｂ２）分割した前記領域に基づいて、
前記ステレオ画像対のうち分割されてない他方の画像に
対して対応点を探索するステップと、（ｃ）探索した前
記対応点に基づいて、ステレオ画像対に対応する画像平
面の距離情報を計測するステップと、（ｄ）計測した前
記距離情報に基づいて、前記画像平面の平面方程式を算
出するステップと、（ｅ）算出した前記平面方程式に基
づいて、前記画像平面の回転方向の歪みと画像平面のサ
イズを調整して、調整画像を生成するステップと、（ｆ
１）前記ステップ（ａ）で取り出された前記ステレオ画
像対が最初のステレオ画像対の場合には、所定の値に応
じて前記調整画像から統合画像を生成して蓄積するステ
ップと、（ｆ２）前記ステップ（ａ）で取り出された前
記ステレオ画像対が最初のステレオ画像対でない場合に
は、前記調整画像と蓄積されている統合画像とを結合し
て新たな統合画像として蓄積するステップと、 を有する画像結合方法をコンピュータで実行するための
画像結合プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項２１】（ａ）１つの静止画を分割してステレオ
撮影した複数のステレオ画像対から１つのステレオ画像
対を取り出すステップと、（ｂ１）取り出した前記ステ
レオ画像対の複数のブロックから対応点を探索するステ
ップと、（ｂ２）探索した前記対応点の信頼度に基づい
て対応点を決定するステップと、（ｃ）決定した前記対
応点に基づいて、ステレオ画像対に対応する画像平面の
距離情報を計測するステップと、（ｄ）計測した前記距
離情報に基づいて、前記画像平面の平面方程式を算出す
るステップと、（ｅ）算出した前記平面方程式に基づい
て、前記画像平面の回転方向の歪みと画像平面のサイズ
を調整して、調整画像を生成するステップと、（ｆ１）
前記ステップ（ｃ）で取り出された前記ステレオ画像対
が最初のステレオ画像対の場合には、所定の値に応じて
前記調整画像から統合画像を生成して蓄積するステップ
と、（ｆ２）前記ステップ（ｃ）で取り出された前記ス
テレオ画像対が最初のステレオ画像対でない場合には、
前記調整画像と蓄積されている統合画像とを結合して新
たな統合画像として蓄積するステップと、 を有する画像結合方法をコンピュータで実行するための
画像結合プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項２２】前記ステップ（ｂ２）は、探索した前記
対応点の前記信頼度を所定の評価関数で算出される値で
評価し、該値が所定の条件を満たすブロックの対応点の
みを有効な対応点として決定する、ステップであること
を特徴とする請求項２１記載の記録媒体。 - 【請求項２３】前記ステップ（ｂ２）は、前記複数のブ
ロックの全てに対して、評価関数の値Ｅを、前記ステレ
オ画像対のうち一方の画像のブロックの画素値のＲＧＢ
成分を（Ｒｌ，Ｇｌ，Ｂｌ）、他方の画像のブロックの
画素値のＲＧＢ成分を（Ｒｒ，Ｇｒ，Ｂｒ）とした場
合、 Ｅ＝Σ｛（Ｒｌ−Ｒｒ）2 ＋（Ｇｌ−Ｇｒ）2 ＋（Ｂｌ
−Ｂｒ）2 ｝ で表される式で求めて、各ブロック毎に値Ｅの平均値Ｅ
ave 及び最小値Ｅmin を算出し、当該平均値Ｅave 及び
最小値Ｅmin が、 Ｅmin ＜ａ＊Ｅave 及び Ｅ’＞ｂ＊Ｅave （ここで、０＜ａ＜ｂ＜１、且つ、値Ｅ’は、値Ｅmin
を除く全ての値Ｅとする）という条件を満たすブロック
の対応点のみを有効な対応点として決定する、ステップ
である、ことを特徴とする請求項２２記載の記録媒体。 - 【請求項２４】（ａ）１つの静止画を分割してステレオ
撮影した複数のステレオ画像対から１つのステレオ画像
対を取り出すステップと、（ｂ）取り出した前記ステレ
オ画像対の対応点を探索するステップと、（ｃ）探索し
た前記対応点に基づいて、ステレオ画像対に対応する画
像平面の距離情報を計測するステップと、（ｄ）計測し
た前記距離情報に基づいて、前記対応点のうち誤対応点
を例外値として扱って、前記画像平面の平面方程式を算
出するステップと、（ｅ）算出した前記平面方程式に基
づいて、前記画像平面の回転方向の歪みと画像平面のサ
イズを調整して、調整画像を生成するステップと、（ｆ
１）前記ステップ（ａ）で取り出された前記ステレオ画
像対が最初のステレオ画像対の場合には、所定の値に応
じて前記調整画像から統合画像を生成して蓄積するステ
ップと、（ｆ２）前記ステップ（ａ）で取り出された前
記ステレオ画像対が最初のステレオ画像対でない場合に
は、前記調整画像と蓄積されている統合画像とを結合し
て新たな統合画像として蓄積するステップと、 を有する画像結合方法をコンピュータで実行するための
画像結合プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項２５】前記ステップ（ｄ）は、ロバスト統計に
基づく画像解析によって前記誤対応点を例外値として扱
うことを特徴とする請求項２４記載の記録媒体。 - 【請求項２６】前記ステップ（ｄ）のロバスト統計に基
づく画像解析は、ＬＭｅｄＳ（LeastMedian of Squares
）であることを特徴とする請求項２５記載の記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28738498A JP4340722B2 (ja) | 1998-09-25 | 1998-09-25 | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28738498A JP4340722B2 (ja) | 1998-09-25 | 1998-09-25 | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000099740A true JP2000099740A (ja) | 2000-04-07 |
| JP4340722B2 JP4340722B2 (ja) | 2009-10-07 |
Family
ID=17716661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28738498A Expired - Lifetime JP4340722B2 (ja) | 1998-09-25 | 1998-09-25 | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4340722B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003536134A (ja) * | 2000-06-02 | 2003-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像を合成画像に合併する方法及び装置 |
| WO2004107762A1 (ja) * | 2003-05-30 | 2004-12-09 | Seijiro Tomita | 撮影方法及び撮影装置 |
| JP2007004823A (ja) * | 2006-08-18 | 2007-01-11 | Fujitsu Ltd | 生体情報取得装置および生体情報による認証装置 |
| US7627150B2 (en) | 2002-09-17 | 2009-12-01 | Fujitsu Limited | Biometric information obtaining apparatus and biometric information verification apparatus |
| JP2010198554A (ja) * | 2009-02-27 | 2010-09-09 | Acutelogic Corp | 画像補正装置及び画像補正方法 |
| JP2010225092A (ja) * | 2009-03-25 | 2010-10-07 | Fujitsu Ltd | 画像処理装置、及び画像処理システム |
| JP2014238714A (ja) * | 2013-06-07 | 2014-12-18 | Ｎｅｃソリューションイノベータ株式会社 | 三次元データ生成装置、三次元データ生成方法、及びプログラム |
| CN105136123A (zh) * | 2015-09-18 | 2015-12-09 | 北京林业大学 | 一种基于普通定焦数码相机像内一点为摄站的地面像对摄影测量方法 |
| CN105241423A (zh) * | 2015-09-18 | 2016-01-13 | 北京林业大学 | 一种基于无人机摄影像对高郁闭度林分蓄积量的估算方法 |
| WO2017002511A1 (ja) * | 2015-06-29 | 2017-01-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| US10591299B2 (en) | 2016-02-29 | 2020-03-17 | Fujifilm Corporation | Information processing device, information processing method, and program |
| US10627224B2 (en) | 2016-02-29 | 2020-04-21 | Fujifilm Corporation | Information processing device, information processing method, and program |
-
1998
- 1998-09-25 JP JP28738498A patent/JP4340722B2/ja not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003536134A (ja) * | 2000-06-02 | 2003-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像を合成画像に合併する方法及び装置 |
| US7627150B2 (en) | 2002-09-17 | 2009-12-01 | Fujitsu Limited | Biometric information obtaining apparatus and biometric information verification apparatus |
| WO2004107762A1 (ja) * | 2003-05-30 | 2004-12-09 | Seijiro Tomita | 撮影方法及び撮影装置 |
| JP2007004823A (ja) * | 2006-08-18 | 2007-01-11 | Fujitsu Ltd | 生体情報取得装置および生体情報による認証装置 |
| JP2010198554A (ja) * | 2009-02-27 | 2010-09-09 | Acutelogic Corp | 画像補正装置及び画像補正方法 |
| JP2010225092A (ja) * | 2009-03-25 | 2010-10-07 | Fujitsu Ltd | 画像処理装置、及び画像処理システム |
| JP2014238714A (ja) * | 2013-06-07 | 2014-12-18 | Ｎｅｃソリューションイノベータ株式会社 | 三次元データ生成装置、三次元データ生成方法、及びプログラム |
| JPWO2017002511A1 (ja) * | 2015-06-29 | 2018-05-24 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| WO2017002511A1 (ja) * | 2015-06-29 | 2017-01-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| CN107735643A (zh) * | 2015-06-29 | 2018-02-23 | 富士胶片株式会社 | 摄像装置及摄像方法 |
| JP6284688B2 (ja) * | 2015-06-29 | 2018-02-28 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP2018107811A (ja) * | 2015-06-29 | 2018-07-05 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| US10365090B2 (en) | 2015-06-29 | 2019-07-30 | Fujifilm Corporation | Imaging device and imaging method |
| CN107735643B (zh) * | 2015-06-29 | 2020-01-21 | 富士胶片株式会社 | 摄像装置及摄像方法 |
| CN105241423A (zh) * | 2015-09-18 | 2016-01-13 | 北京林业大学 | 一种基于无人机摄影像对高郁闭度林分蓄积量的估算方法 |
| CN105136123A (zh) * | 2015-09-18 | 2015-12-09 | 北京林业大学 | 一种基于普通定焦数码相机像内一点为摄站的地面像对摄影测量方法 |
| US10591299B2 (en) | 2016-02-29 | 2020-03-17 | Fujifilm Corporation | Information processing device, information processing method, and program |
| US10627224B2 (en) | 2016-02-29 | 2020-04-21 | Fujifilm Corporation | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4340722B2 (ja) | 2009-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP4887374B2 (ja) | ステレオビジョンにおいて散乱視差場を求める方法 | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4172554B2 (ja) | ステレオカメラの調整装置 | |
| US9300946B2 (en) | System and method for generating a depth map and fusing images from a camera array | |
| US8447140B1 (en) | Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching | |
| JP3803950B2 (ja) | 画像合成処理方法、画像合成処理装置及び記録媒体 | |
| JP3107929B2 (ja) | 複眼撮像装置 | |
| US20060120712A1 (en) | Method and apparatus for processing image | |
| US20150124059A1 (en) | Multi-frame image calibrator | |
| JP5313127B2 (ja) | 映像合成方法、映像合成システム | |
| US20030169918A1 (en) | Stereoscopic image characteristics examination system | |
| US8144974B2 (en) | Image processing apparatus, method, and program | |
| JPH08116490A (ja) | 画像処理装置 | |
| JP2001092968A (ja) | ステレオマッチング装置、ステレオマッチング方法および無限遠対応点の特定方法 | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| JPWO2004062270A1 (ja) | 画像処理装置 | |
| JP4887376B2 (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| CN102595146B (zh) | 全景影像产生方法及装置 | |
| JPH06217184A (ja) | 複眼撮像装置 | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| JP2000099740A (ja) | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 | |
| CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| US20160105590A1 (en) | Method and device for determining movement between successive video images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040827 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090601 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |