JP3889650B2 - 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 - Google Patents
画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP3889650B2 JP3889650B2 JP2002091279A JP2002091279A JP3889650B2 JP 3889650 B2 JP3889650 B2 JP 3889650B2 JP 2002091279 A JP2002091279 A JP 2002091279A JP 2002091279 A JP2002091279 A JP 2002091279A JP 3889650 B2 JP3889650 B2 JP 3889650B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- computer
- overlap
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 52
- 238000004590 computer program Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 21
- 230000009466 transformation Effects 0.000 claims description 93
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 20
- 238000010606 normalization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を貼り合わせた合成画像を作成する画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
文化遺産、美術・工芸品を後生へ残すべく、カメラで撮像した画像をデジタル化する作業が進められている。また、デジタル化した画像を単に２次元画像として記録するだけでなく、例えば、仏像、彫刻等の３次元形状を有する工芸品にあっては、複数の方向から撮像した画像をデジタル化し、得られた複数の２次元画像から画像処理を施して３次元画像を作成することも行われている。
【０００３】
また、日本絵巻のように幅方向に長い撮像対象物にあっては、２次元のデジタル画像として記録に残す場合、複数のカメラにより分割して撮像することが行われている。そこで、分割して撮像された画像をデジタル化し、画像処理によりそれらを継ぎ目なく貼り合わせることが望まれている。
【０００４】
一方、デジタルカメラの普及に伴い、複数の画像（２次元デジタル画像）を貼り合わせて視野が広く、解像度が高い画像を作成する技術（画像モザイク）が活発に研究されている。例えば、２次元剛体変換、アフィン変換のような幾何変換を２枚の画像間について算出し、算出した幾何変換を利用して２枚の画像を貼り合わせることにより合成画像を作成する。３枚以上の画像がある場合も同様であり、まず、２枚の画像間について幾何変換を求めて合成画像を作成し、その後、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。そして順次、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、絵巻画像の貼り合わせにあっては、前述の剛体変換、アフィン変換を単純に用いた場合では、精度良く合成することができない。その原因は、撮像環境にある。絵巻の幅は非常に広いため、それをすべて広げて撮像することは困難であり、少しずつ分割して撮像される。この際、撮像対象物がカメラから十分に遠い場合、又は非常に焦点距離が長い望遠レンズで撮像した場合、撮像して得られた画像は平行投影と仮定することができるため、問題を簡略化することができるが、実際には有限の距離から撮像したものであって、一般には透視投影歪を含んだ画像となる。
【０００６】
また、絵巻は、１６世紀頃に作成された古いものであるため、取り扱いに注意が必要であり、撮像し直すことが困難である。そのため、既に撮像された画像のみを用いる必要がある。
【０００７】
以上のような撮像条件で撮像された画像は、一般に平行投影を仮定することが出来ず、透視投影歪を含んだものであって、透視投影歪が厳密に考慮されていない剛体変換、アフィン変換等の幾何変換を用いた場合には、良好に貼り合わせた画像を得ることができない。
【０００８】
そこで、透視投影歪を考慮した手法として平面射影変換が利用されている。図９は、平面射影変換により合成した画像を模式的に示した図である。平面射影変換により画像変換して画像合成を行う場合も前述と同様に、まず、２枚の画像間（画像１及び画像２）について平面射影変換を求めて画像合成を施す。次いで、合成された画像（画像１と画像２との合成画像）と次に貼り合わせるべき画像（画像３）との間の平面射影変換を求めて、合成画像を作成する。そして、合成された画像と該画像に貼り合わせるべき画像との間の平面射影変換を求めて、順次合成画像の作成を行う。
【０００９】
平面射影変換では、剛体変換、アフィン変換等の幾何変換で除去されない透視投影歪を除去することができるものの、合成した画像はある視点から広角レンズで撮像したような画像となる。すなわち、図９に示した如く、注視点にある画像１の歪みは少ないが、画像１から距離が離れるに従い、画像の歪みが大きくなるという問題点を有していた。
【００１０】
また、撮像された各画像は一般に縮尺が異なっているが、そのような画像を用いた場合であっても、合成された画像は、絵柄の高さが一定であり、絵柄の上下の境界線は一端側から他端側まで略平行であることが望ましい。このような絵巻の貼り合わせは、従来の手法では困難であり、精度良く、かつ絵柄の高さが一定になるように合成画像を作成することができる画像処理方法の開発が望まれていた。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づいて算出した平面射影変換行列を利用して第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することにより、画像間の縮尺の整合をとり、精度良く画像を貼り合わせることができる画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体を提供することを目的とする。
【００１２】
本発明の他の目的は、３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分が平行になるように、２つの線分の端点の座標に基づいて平面射影変換行列を算出する構成とすることにより、容易に画像の高さを正規化することができる画像処理方法及び画像処理装置を提供することにある。
【００１３】
本発明の更に他の目的は、夫々の画像が重なり合う領域の画素に対し、画像間で対応する画素の位置関係を前記領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことにより、画像の大局的な幾何変換に加えて局所的な位置合わせをすることができる画像処理方法及び画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
第１発明に係る画像処理方法は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成する画像処理方法において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求め、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することを特徴とする。
【００１５】
第２発明に係る画像処理方法は、第１発明に係る画像処理方法において、前記３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記画像を平面射影変換することを特徴とする。
【００１６】
第３発明に係る画像処理方法は、第１発明又は第２発明に係る画像処理方法において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことを特徴とする。
【００１８】
第４発明に係る画像処理装置は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成すべくなしてある画像処理装置において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付ける受付手段と、該受付手段から入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去する正規化手段と、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求める第１対応点抽出手段と、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求める第２対応点抽出手段と、前記第１及び第２対応点抽出手段から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出する算出手段と、算出した平面射影変換行列に基づき前記第２画像の平面射影変換を行う画像変換手段と、該画像変換手段により平面射影変換された第２画像を前記第１及び第３画像に合成する画像合成手段とを備えることを特徴とする。
【００１９】
第５発明に係る画像処理装置は、第４発明に係る画像処理装置において、前記正規化手段は、各画像上にて互いに平行となるべき異なる２つの線分の指定を受付ける手段と、該手段により指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出する手段と、算出した平面射影変換行列に基づき前記画像の平面射影変換を行う手段とを備えることを特徴とする。
【００２０】
第６発明に係る画像処理装置は、第４発明又は第５発明に係る画像処理装置において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成をすべくなしてあることを特徴とする。
【００２２】
第７発明に係るコンピュータプログラムは、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムにおいて、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とする。
【００２３】
第８発明に係るコンピュータでの読取りが可能な記録媒体は、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体において、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラムが記録されていることを特徴とする。
【００２４】
第１発明、第４発明、第７発明、及び第８発明にあっては、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００２５】
第２発明及び第５発明にあっては、３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００２６】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる。
【００２８】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の画像処理装置を説明する模式図である。図中１０は、本発明の画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等のコンピュータである。本発明では、例えば、日本絵巻のように幅方向に長い撮像対象物１をカメラ、デジタルカメラ等の撮像装置２を利用し、撮像した画像が互いに重なる領域を有するように少しずつ撮像領域をずらして撮像する。そして、撮像した画像を画像データとして画像処理装置１０に読込み、読込んだ画像データを貼り合わせて、合成画像を作成する。
【００２９】
図２は本発明の画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０はＣＰＵ１１を備えている。ＣＰＵ１１にはバス１２を介して、ＲＯＭ１３、ＲＡＭ１４、表示部１５、操作部１６、画像入力部１７、内部記憶装置１８、外部記憶装置１９等のハードウェア各部に接続されており、ＲＯＭ１３に格納された制御プログラムに従って、それらの動作を制御する。
【００３０】
ＲＡＭ１４は、ＳＲＡＭ又はフラッシュメモリ等で構成されており、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ、画像処理を施すべき画像データ等を一時的に記憶する。
【００３１】
表示部１５は、ＣＲＴ表示装置又は液晶表示装置を備えており、画像処理を施す前の画像、画像処理を施して作成した合成画像、本発明のコンピュータプログラムからの指示等が表示される。
【００３２】
操作部１６は、キーボード、マウス等の入力装置からなり、前述のコンピュータプログラムの指示に従って所要の情報の入力、選択操作等を行う。
【００３３】
画像入力部１７は、光学式の画像読取り装置であるスキャナ装置、フィルムスキャナ等であって、撮像装置２によって得られた銀塩写真、写真フィルム等による画像を入力してデジタルデータに変換する。画像入力部７を用いて画像データを入力する代わりに、デジタルカメラで撮像された画像データが記録されている可搬型のメモリを利用し、該メモリの読取り装置を用いて画像データを入力する形態であっても良い。入力された画像データは、内部記憶装置１８に記憶される。
【００３４】
内部記憶装置１８は、ハードディスクのような記憶装置であり、前述の画像データが記憶されている他、本発明のコンピュータプログラムがインストールされていて、該コンピュータプログラムが起動された場合、所定のコンピュータプログラム部分がＲＡＭ１４上に展開され、処理が実行されることにより、画像処理装置１０として動作する。
【００３５】
外部記憶装置１９は、本発明のコンピュータプログラム及びデータを記録したＣＤ−ＲＯＭ等の記録媒体２０からコンピュータプログラム及びデータを読取るＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、内部記憶装置１８に記憶される。
【００３６】
本発明の画像処理装置１０では、画像入力部１７から画像データを入力し、前述のコンピュータプログラムを実行させてパノラマ画像を合成し、その結果を表示部１５に表示すると共に、内部記憶装置１８に記憶される。
【００３７】
図３は、本発明の画像処理方法の処理手順を説明する模式図である。本発明では、分割して撮像した各画像のスケールを一致させるために各画像の絵柄の高さを事前に正規化する（図３（ａ））。日本絵巻のような撮像対象物１を撮像する際、撮像装置２は撮像対象物１の正面を向くように設置されているが、実際には完全に正面を向いているとは限らないため、撮像した画像には透視投影歪みが生じている。したがって、本来的に平行となるべき絵柄の上下の境界線は平行になっていない。また、分割して撮像した画像間では、スケールが異なっている。
【００３８】
そこで、絵柄の上下の境界線は、ほぼ平行で一定であるということを利用して、各画像の上下の境界線が平行になり、全画像の絵柄の高さが一定になるように事前に正規化を行う。
【００３９】
次いで、絵柄の高さを正規化した後、画像の貼り合わせを行う（図３（ｂ））。２画像間で平面射影変換を行った場合、その重なり領域では良好に貼り合わせが行われるが、これを順次繰り返すことによって歪みが少しずつ蓄積され、最後に貼り合わせた画像の端部では極端に画像が歪むことがある。そこで、本発明では３画像間にて平面射影変換を行う。また、このとき前述の高さの正規化処理にて除去されていない透視投影歪みを除去する。
【００４０】
そして、最後に大域的な幾何変換に加えて、局所的な位置合わせを行う（図３（ｃ））。絵巻は平面上に描かれているが、長年の紙の伸縮、紙のたわみ等により３次元的に変形していることがあり、これに対応するために、局所的な位置合わせを行う。
【００４１】
図４は、画像処理装置１０の処理手順を示したフローチャートである。まず、画像処理を施す画像データを読込む（ステップＳ１）。読込む画像データは、画像入力部１７から読込む形態であってもよく、また、内部記憶装置１８に予め記憶してある画像データを読込む形態であってもよい。読込まれた画像データは、ＲＡＭ１４に一時的に記憶される。
【００４２】
そして、読込んだ画像データに対し、後述する高さの正規化処理を行う（ステップＳ２）。そして、読込むべき画像データを全て読込んだか否かを判断する（ステップＳ３）。読込むべき画像データが残っている場合（Ｓ３：ＮＯ）、処理をステップＳ１へ戻して画像データの読込みを行う。
【００４３】
全ての画像データを読込んだ場合（Ｓ３：ＹＥＳ）、後述する貼り合わせ係数の算出処理を行う（ステップＳ４）。ここで、貼り合わせ係数とは、３枚の画像を貼り合わせるために必要となる平面射影変換行列の行列要素、及び画素毎の移動量のことである。
貼り合わせ係数を算出した後、算出した貼り合わせ係数を用いて貼り合わせ処理を行う（ステップＳ５）。
【００４４】
なお、前述の高さ正規化処理、及び貼り合わせ係数算出処理は、必ずしも１つのアプリケーション・ソフトウェア（コンピュータプログラム）により実現される必要はなく、高さ正規化処理、及び貼り合わせ係数算出処理が夫々個別のアプリケーション・ソフトウェアにより実現される形態であっても良い。
【００４５】
図５は、高さ正規化処理の処理手順を示したフローチャートである。前述したように、高さの正規化処理を行う際には、各画像において本来平行となるべき２本の線分の指定を受付ける（ステップＳ１１）。確実かつ正確に処理を行うために、ＧＵＩ（グラフィカル・ユーザ・インタフェース）を用意し、線分を人の手により指定する。例えば、マウス、タブレット等のポインティングデバイスを用いて線分の両端の点を指定することによって線分を指定することが可能である。
【００４６】
次いで、回転後の線分の端点の座標値を算出する（ステップＳ１２）。回転後の端点の座標値を算出する場合、まず、光軸まわりの回転角を線分から算出し、算出した回転角を用いた回転行列Ｒを利用して、
ｐ’＝Ｒｐ
により求めることができる。ここで、ｐは回転前の座標であり、ｐ’は回転後の座標である。また、光軸まわりの回転角は、例えば、上側の線分の傾きから算出することが可能である。
【００４７】
次いで、平行化後の線分の端点の座標値を算出する（ステップＳ１３）。両線分を平行にするために、各線分の両端の座標の垂直座標値を同一にする変換を考える。変換後の端点の垂直座標値を、変換前の垂直座標値の平均値に設定することで実現することができる。すなわち、変換後の端点の座標（ｕ，ｖ）は、変換前の垂直座標値ｖ1 ，ｖ2 を用いて、次式で表すことができる。
（ｕ，ｖ）＝（ｕ，（ｖ1 ＋ｖ2 ）／２）
【００４８】
そして、上下の線分の距離を指定する。下側の線分の垂直座標値をｖL とした場合、上側の線分の座標は線分間の距離ｄを用いて以下の式で表すことができる。
（ｕ，ｖ）＝（ｕ，ｖL ＋ｄ）
線分間の距離ｄを指定することにより、実物大の印刷が可能となる。
【００４９】
ステップＳ１２及びステップＳ１３により算出された２線分の端点の変換前の座標と変換後の座標の４組を用いて、平面射影変換行列を算出する（ステップＳ１４）。そして、算出した平面射影変換行列を用いて各画像を幾何変換する（ステップＳ１５）。
以上のように幾何変換された画像は、回転が除去され、指定された絵柄高さをもつ画像となる。
【００５０】
図６は、図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
まず、回転が除去され、指定された絵柄高さをもつ画像を用いて、３画像間の平面射影変換行列を算出する（ステップＳ２１）。各画像は、正規化されているが、平行移動等の単純な幾何変換では、重なり領域において絵柄が２重になり、精度が十分でない。また、平面射影変換を２画像毎に繰り返した場合、変換の自由度が高いために絵柄の高さにずれが生じてくる。
【００５１】
そこで、本発明では３画像間の平面射影変換を提案している。この場合、図３に示した如く、連続する３画像において真中の画像（画像２）を幾何変換する。このとき、画像の上下方向の透視投影歪みは、既に高さの正規化により取り除かれているが、画像の左右方向の透視投影歪みが残っていため、単純な平行移動によって真中の画像（画像２）を左右の２画像（画像１，画像３）にうまく貼り合わせることができない。よって、真中の画像を変形するための平面射影変換行列を算出する。
【００５２】
次いで、画素毎の移動量算出処理を行う（ステップＳ２２）。撮像対象物１としている絵巻は、例えば、数百年前に作成されたものであり、経年劣化により紙が伸縮する。また、絵巻はもろいため、撮像時に完全に平面にすることができない。このため、前述した幾何変換のみでは、良好に貼り合わせを行うことができない。そこで、大局的な幾何変換に加えて、局所的な位置合わせを行っている。
【００５３】
次いで、ステップＳ２１で求めた平面射影変換行列の行列要素、及びステップＳ２２で求めた画素毎の移動量を貼り合わせ係数として出力する（ステップＳ２３）。
【００５４】
図７は、図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
まず、連続する２画像毎の平行移動量を算出し（ステップＳ３１）、隣合う画像間の重なり領域にて特徴点を抽出して対応付けを行う（ステップＳ３２）。
【００５５】
３画像間の平面射影変換行列を算出する際、最低限４組の対応点を３画像間で求める。このため、隣合う画像間で２組ずつ合計４組の対応点の座標を求める。画像間の特徴点の対応は、例えば、フロー推定を用いて自動的に算出することができる。また、画像の特徴点を自動的に算出することが出来ない場合は、ＧＵＩにより手動で追加することを行う。
なお、対応点が４組以上求まった場合には、最小二乗法等により平面射影変換行列の行列要素を求めることが可能である。
【００５６】
次いで、カウンタをｉ＝１にセットし（ステップＳ３３）、１番目の画像及び２番目の画像間で平面射影変換行列を算出する（ステップＳ３４）。
【００５７】
そして、カウンタの値を１だけ増加させ（ステップＳ３５）、ｉ＝Ｎであるか否かを判断する（ステップＳ３６）。ここで、Ｎは貼り合わせる全画像の数である。
【００５８】
ｉ＝Ｎでない場合（Ｓ３６：ＮＯ）、ｉ−１番目、ｉ番目、ｉ＋１番目の画像間で平面射影変換行列を算出する（ステップＳ３７）。また、ステップＳ３６にて、ｉ＝Ｎである場合（Ｓ３６：ＹＥＳ）、Ｎ−１番目、Ｎ番目の画像間で平面射影変換行列を算出する（ステップＳ３８）
【００５９】
図８は、図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
まず、カウンタをｉ＝１にセットし（ステップＳ４１）、ｉ番目及びｉ＋１番目の画像間の重なり領域を算出する（ステップＳ４２）。そして、重なり領域で夫々の画像を幾何変換する（ステップＳ４３）。
【００６０】
次いで、幾何変換されたｉ番目の画像の重なり領域にて小画像領域を設定する（ステップＳ４４）。ここで、小画像領域として、例えば１３×１３画像程度の矩形領域を設定する。そして、設定した小画像領域に対応するｉ＋１番目の画像領域にてオプティカルフローを算出する（ステップＳ４５）。この際、小画像領域毎に移動量を算出するのではなく、各画素毎にフロー推定を行う。フロー推定には、例えば、処理が高速なLucas-Kanade法を用いることができる。
【００６１】
次いで、重なり領域における全ての画素を処理したか否かを判断する（ステップＳ４６）。処理していない画素が残っている場合（Ｓ４６：ＮＯ）、小画像領域を１画素分移動させ（ステップＳ４７）、処理をステップＳ４５へ戻す。
【００６２】
ステップＳ４６にて重なり領域における全ての画素を処理した場合（Ｓ４６：ＹＥＳ）、カウンタの値を１だけ増加させ（ステップＳ４８）、ｉ＝Ｎであるか否か、すなわち全ての画像間について画素毎の移動量を算出したか否かを判断する（ステップＳ４９）。
【００６３】
ｉ＝Ｎである場合（Ｓ４９：ＹＥＳ）、処理を終了し、ｉ＝Ｎ−１でない場合（Ｓ４９：ＮＯ）、処理をステップＳ４２へ戻し、全ての画像間の重なり領域にて移動量を算出する。
【００６４】
以下、本発明の画像処理方法の有効性について発明者らの検討結果を示す。用意された画像は、撮像されたポジフィルムをフィルムスキャナによりデジタル化したものであり、各画像のサイズは、１０６３０×６３７８画素であり、１３枚に分割されて撮像されている。
【００６５】
本発明の画像処理方法による場合、貼り合わせた画像の全域に渡って精度良く貼り合わせが行われており、印刷したものを詳細に見ても、継ぎ目を確認することはできず、また、絵柄の高さは一定に保たれていた。
【００６６】
また、貼り合わせの精度を定量的に考察するため、重なり領域ｗにおける画素値の差の絶対値を平均することにより、誤差Ｅを算出した。誤差Ｅは、Ｅ＝（Σｗ｜Ｉ’−Ｉ｜／Ｗ）により求めることができる。ここで、Ｗは、重なり領域ｗの総画素数である。また、画素値はカラーである場合、ＲＧＢの各チャンネルの差の絶対値の平均をとる。局所位置合わせを行わない従来法による場合、誤差Ｅは２０．２となるのに対し、本発明による場合、誤差Ｅは５．４、すなわち従来法のおよそ１／４になり、良好な貼り合わせ処理が行われたことが分かった。
【００６７】
本実施の形態では、撮像対象物１の例として絵巻をとりあげたが、絵巻以外にも、屏風絵、ふすま絵、壁画等に適用することが可能である。
【００６８】
また、本実施の形態では、絵巻のように幅方向に長い撮像対象物を少しずつ撮像し、得られた複数の画像を左右方向に貼り合わせる形態であったが、貼り合わせる方向は左右方向に限定されず、上下方向に貼り合わせることも出来ることは勿論のことである。
【００６９】
【発明の効果】
以上、詳述したように、第１発明、第４発明、第７発明、及び第８発明による場合は、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００７０】
第２発明及び第５発明による場合は、前記３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００７１】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置を説明する模式図である。
【図２】本発明の画像処理装置の内部構成を示すブロック図である。
【図３】本発明の画像処理方法の処理手順を説明する模式図である。
【図４】画像処理装置の処理手順を示したフローチャートである。
【図５】高さ正規化処理の処理手順を示したフローチャートである。
【図６】図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
【図７】図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
【図８】図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
【図９】平面射影変換により合成した画像を模式的に示した図である。
【符号の説明】
１ 撮像対象物
２ 撮像装置
１０ 画像処理装置
１１ ＣＰＵ
１２ バス
１３ ＲＯＭ
１４ ＲＡＭ
１５ 表示部
１６ 操作部
１７ 画像入力部
１８ 内部記憶装置
１９ 外部記憶装置
２０ 記録媒体
【発明の属する技術分野】
本発明は、複数の画像を貼り合わせた合成画像を作成する画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
文化遺産、美術・工芸品を後生へ残すべく、カメラで撮像した画像をデジタル化する作業が進められている。また、デジタル化した画像を単に２次元画像として記録するだけでなく、例えば、仏像、彫刻等の３次元形状を有する工芸品にあっては、複数の方向から撮像した画像をデジタル化し、得られた複数の２次元画像から画像処理を施して３次元画像を作成することも行われている。
【０００３】
また、日本絵巻のように幅方向に長い撮像対象物にあっては、２次元のデジタル画像として記録に残す場合、複数のカメラにより分割して撮像することが行われている。そこで、分割して撮像された画像をデジタル化し、画像処理によりそれらを継ぎ目なく貼り合わせることが望まれている。
【０００４】
一方、デジタルカメラの普及に伴い、複数の画像（２次元デジタル画像）を貼り合わせて視野が広く、解像度が高い画像を作成する技術（画像モザイク）が活発に研究されている。例えば、２次元剛体変換、アフィン変換のような幾何変換を２枚の画像間について算出し、算出した幾何変換を利用して２枚の画像を貼り合わせることにより合成画像を作成する。３枚以上の画像がある場合も同様であり、まず、２枚の画像間について幾何変換を求めて合成画像を作成し、その後、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。そして順次、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、絵巻画像の貼り合わせにあっては、前述の剛体変換、アフィン変換を単純に用いた場合では、精度良く合成することができない。その原因は、撮像環境にある。絵巻の幅は非常に広いため、それをすべて広げて撮像することは困難であり、少しずつ分割して撮像される。この際、撮像対象物がカメラから十分に遠い場合、又は非常に焦点距離が長い望遠レンズで撮像した場合、撮像して得られた画像は平行投影と仮定することができるため、問題を簡略化することができるが、実際には有限の距離から撮像したものであって、一般には透視投影歪を含んだ画像となる。
【０００６】
また、絵巻は、１６世紀頃に作成された古いものであるため、取り扱いに注意が必要であり、撮像し直すことが困難である。そのため、既に撮像された画像のみを用いる必要がある。
【０００７】
以上のような撮像条件で撮像された画像は、一般に平行投影を仮定することが出来ず、透視投影歪を含んだものであって、透視投影歪が厳密に考慮されていない剛体変換、アフィン変換等の幾何変換を用いた場合には、良好に貼り合わせた画像を得ることができない。
【０００８】
そこで、透視投影歪を考慮した手法として平面射影変換が利用されている。図９は、平面射影変換により合成した画像を模式的に示した図である。平面射影変換により画像変換して画像合成を行う場合も前述と同様に、まず、２枚の画像間（画像１及び画像２）について平面射影変換を求めて画像合成を施す。次いで、合成された画像（画像１と画像２との合成画像）と次に貼り合わせるべき画像（画像３）との間の平面射影変換を求めて、合成画像を作成する。そして、合成された画像と該画像に貼り合わせるべき画像との間の平面射影変換を求めて、順次合成画像の作成を行う。
【０００９】
平面射影変換では、剛体変換、アフィン変換等の幾何変換で除去されない透視投影歪を除去することができるものの、合成した画像はある視点から広角レンズで撮像したような画像となる。すなわち、図９に示した如く、注視点にある画像１の歪みは少ないが、画像１から距離が離れるに従い、画像の歪みが大きくなるという問題点を有していた。
【００１０】
また、撮像された各画像は一般に縮尺が異なっているが、そのような画像を用いた場合であっても、合成された画像は、絵柄の高さが一定であり、絵柄の上下の境界線は一端側から他端側まで略平行であることが望ましい。このような絵巻の貼り合わせは、従来の手法では困難であり、精度良く、かつ絵柄の高さが一定になるように合成画像を作成することができる画像処理方法の開発が望まれていた。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づいて算出した平面射影変換行列を利用して第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することにより、画像間の縮尺の整合をとり、精度良く画像を貼り合わせることができる画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体を提供することを目的とする。
【００１２】
本発明の他の目的は、３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分が平行になるように、２つの線分の端点の座標に基づいて平面射影変換行列を算出する構成とすることにより、容易に画像の高さを正規化することができる画像処理方法及び画像処理装置を提供することにある。
【００１３】
本発明の更に他の目的は、夫々の画像が重なり合う領域の画素に対し、画像間で対応する画素の位置関係を前記領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことにより、画像の大局的な幾何変換に加えて局所的な位置合わせをすることができる画像処理方法及び画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
第１発明に係る画像処理方法は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成する画像処理方法において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求め、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することを特徴とする。
【００１５】
第２発明に係る画像処理方法は、第１発明に係る画像処理方法において、前記３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記画像を平面射影変換することを特徴とする。
【００１６】
第３発明に係る画像処理方法は、第１発明又は第２発明に係る画像処理方法において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことを特徴とする。
【００１８】
第４発明に係る画像処理装置は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成すべくなしてある画像処理装置において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付ける受付手段と、該受付手段から入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去する正規化手段と、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求める第１対応点抽出手段と、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求める第２対応点抽出手段と、前記第１及び第２対応点抽出手段から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出する算出手段と、算出した平面射影変換行列に基づき前記第２画像の平面射影変換を行う画像変換手段と、該画像変換手段により平面射影変換された第２画像を前記第１及び第３画像に合成する画像合成手段とを備えることを特徴とする。
【００１９】
第５発明に係る画像処理装置は、第４発明に係る画像処理装置において、前記正規化手段は、各画像上にて互いに平行となるべき異なる２つの線分の指定を受付ける手段と、該手段により指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出する手段と、算出した平面射影変換行列に基づき前記画像の平面射影変換を行う手段とを備えることを特徴とする。
【００２０】
第６発明に係る画像処理装置は、第４発明又は第５発明に係る画像処理装置において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成をすべくなしてあることを特徴とする。
【００２２】
第７発明に係るコンピュータプログラムは、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムにおいて、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とする。
【００２３】
第８発明に係るコンピュータでの読取りが可能な記録媒体は、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体において、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラムが記録されていることを特徴とする。
【００２４】
第１発明、第４発明、第７発明、及び第８発明にあっては、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００２５】
第２発明及び第５発明にあっては、３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００２６】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる。
【００２８】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の画像処理装置を説明する模式図である。図中１０は、本発明の画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等のコンピュータである。本発明では、例えば、日本絵巻のように幅方向に長い撮像対象物１をカメラ、デジタルカメラ等の撮像装置２を利用し、撮像した画像が互いに重なる領域を有するように少しずつ撮像領域をずらして撮像する。そして、撮像した画像を画像データとして画像処理装置１０に読込み、読込んだ画像データを貼り合わせて、合成画像を作成する。
【００２９】
図２は本発明の画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０はＣＰＵ１１を備えている。ＣＰＵ１１にはバス１２を介して、ＲＯＭ１３、ＲＡＭ１４、表示部１５、操作部１６、画像入力部１７、内部記憶装置１８、外部記憶装置１９等のハードウェア各部に接続されており、ＲＯＭ１３に格納された制御プログラムに従って、それらの動作を制御する。
【００３０】
ＲＡＭ１４は、ＳＲＡＭ又はフラッシュメモリ等で構成されており、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ、画像処理を施すべき画像データ等を一時的に記憶する。
【００３１】
表示部１５は、ＣＲＴ表示装置又は液晶表示装置を備えており、画像処理を施す前の画像、画像処理を施して作成した合成画像、本発明のコンピュータプログラムからの指示等が表示される。
【００３２】
操作部１６は、キーボード、マウス等の入力装置からなり、前述のコンピュータプログラムの指示に従って所要の情報の入力、選択操作等を行う。
【００３３】
画像入力部１７は、光学式の画像読取り装置であるスキャナ装置、フィルムスキャナ等であって、撮像装置２によって得られた銀塩写真、写真フィルム等による画像を入力してデジタルデータに変換する。画像入力部７を用いて画像データを入力する代わりに、デジタルカメラで撮像された画像データが記録されている可搬型のメモリを利用し、該メモリの読取り装置を用いて画像データを入力する形態であっても良い。入力された画像データは、内部記憶装置１８に記憶される。
【００３４】
内部記憶装置１８は、ハードディスクのような記憶装置であり、前述の画像データが記憶されている他、本発明のコンピュータプログラムがインストールされていて、該コンピュータプログラムが起動された場合、所定のコンピュータプログラム部分がＲＡＭ１４上に展開され、処理が実行されることにより、画像処理装置１０として動作する。
【００３５】
外部記憶装置１９は、本発明のコンピュータプログラム及びデータを記録したＣＤ−ＲＯＭ等の記録媒体２０からコンピュータプログラム及びデータを読取るＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、内部記憶装置１８に記憶される。
【００３６】
本発明の画像処理装置１０では、画像入力部１７から画像データを入力し、前述のコンピュータプログラムを実行させてパノラマ画像を合成し、その結果を表示部１５に表示すると共に、内部記憶装置１８に記憶される。
【００３７】
図３は、本発明の画像処理方法の処理手順を説明する模式図である。本発明では、分割して撮像した各画像のスケールを一致させるために各画像の絵柄の高さを事前に正規化する（図３（ａ））。日本絵巻のような撮像対象物１を撮像する際、撮像装置２は撮像対象物１の正面を向くように設置されているが、実際には完全に正面を向いているとは限らないため、撮像した画像には透視投影歪みが生じている。したがって、本来的に平行となるべき絵柄の上下の境界線は平行になっていない。また、分割して撮像した画像間では、スケールが異なっている。
【００３８】
そこで、絵柄の上下の境界線は、ほぼ平行で一定であるということを利用して、各画像の上下の境界線が平行になり、全画像の絵柄の高さが一定になるように事前に正規化を行う。
【００３９】
次いで、絵柄の高さを正規化した後、画像の貼り合わせを行う（図３（ｂ））。２画像間で平面射影変換を行った場合、その重なり領域では良好に貼り合わせが行われるが、これを順次繰り返すことによって歪みが少しずつ蓄積され、最後に貼り合わせた画像の端部では極端に画像が歪むことがある。そこで、本発明では３画像間にて平面射影変換を行う。また、このとき前述の高さの正規化処理にて除去されていない透視投影歪みを除去する。
【００４０】
そして、最後に大域的な幾何変換に加えて、局所的な位置合わせを行う（図３（ｃ））。絵巻は平面上に描かれているが、長年の紙の伸縮、紙のたわみ等により３次元的に変形していることがあり、これに対応するために、局所的な位置合わせを行う。
【００４１】
図４は、画像処理装置１０の処理手順を示したフローチャートである。まず、画像処理を施す画像データを読込む（ステップＳ１）。読込む画像データは、画像入力部１７から読込む形態であってもよく、また、内部記憶装置１８に予め記憶してある画像データを読込む形態であってもよい。読込まれた画像データは、ＲＡＭ１４に一時的に記憶される。
【００４２】
そして、読込んだ画像データに対し、後述する高さの正規化処理を行う（ステップＳ２）。そして、読込むべき画像データを全て読込んだか否かを判断する（ステップＳ３）。読込むべき画像データが残っている場合（Ｓ３：ＮＯ）、処理をステップＳ１へ戻して画像データの読込みを行う。
【００４３】
全ての画像データを読込んだ場合（Ｓ３：ＹＥＳ）、後述する貼り合わせ係数の算出処理を行う（ステップＳ４）。ここで、貼り合わせ係数とは、３枚の画像を貼り合わせるために必要となる平面射影変換行列の行列要素、及び画素毎の移動量のことである。
貼り合わせ係数を算出した後、算出した貼り合わせ係数を用いて貼り合わせ処理を行う（ステップＳ５）。
【００４４】
なお、前述の高さ正規化処理、及び貼り合わせ係数算出処理は、必ずしも１つのアプリケーション・ソフトウェア（コンピュータプログラム）により実現される必要はなく、高さ正規化処理、及び貼り合わせ係数算出処理が夫々個別のアプリケーション・ソフトウェアにより実現される形態であっても良い。
【００４５】
図５は、高さ正規化処理の処理手順を示したフローチャートである。前述したように、高さの正規化処理を行う際には、各画像において本来平行となるべき２本の線分の指定を受付ける（ステップＳ１１）。確実かつ正確に処理を行うために、ＧＵＩ（グラフィカル・ユーザ・インタフェース）を用意し、線分を人の手により指定する。例えば、マウス、タブレット等のポインティングデバイスを用いて線分の両端の点を指定することによって線分を指定することが可能である。
【００４６】
次いで、回転後の線分の端点の座標値を算出する（ステップＳ１２）。回転後の端点の座標値を算出する場合、まず、光軸まわりの回転角を線分から算出し、算出した回転角を用いた回転行列Ｒを利用して、
ｐ’＝Ｒｐ
により求めることができる。ここで、ｐは回転前の座標であり、ｐ’は回転後の座標である。また、光軸まわりの回転角は、例えば、上側の線分の傾きから算出することが可能である。
【００４７】
次いで、平行化後の線分の端点の座標値を算出する（ステップＳ１３）。両線分を平行にするために、各線分の両端の座標の垂直座標値を同一にする変換を考える。変換後の端点の垂直座標値を、変換前の垂直座標値の平均値に設定することで実現することができる。すなわち、変換後の端点の座標（ｕ，ｖ）は、変換前の垂直座標値ｖ1 ，ｖ2 を用いて、次式で表すことができる。
（ｕ，ｖ）＝（ｕ，（ｖ1 ＋ｖ2 ）／２）
【００４８】
そして、上下の線分の距離を指定する。下側の線分の垂直座標値をｖL とした場合、上側の線分の座標は線分間の距離ｄを用いて以下の式で表すことができる。
（ｕ，ｖ）＝（ｕ，ｖL ＋ｄ）
線分間の距離ｄを指定することにより、実物大の印刷が可能となる。
【００４９】
ステップＳ１２及びステップＳ１３により算出された２線分の端点の変換前の座標と変換後の座標の４組を用いて、平面射影変換行列を算出する（ステップＳ１４）。そして、算出した平面射影変換行列を用いて各画像を幾何変換する（ステップＳ１５）。
以上のように幾何変換された画像は、回転が除去され、指定された絵柄高さをもつ画像となる。
【００５０】
図６は、図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
まず、回転が除去され、指定された絵柄高さをもつ画像を用いて、３画像間の平面射影変換行列を算出する（ステップＳ２１）。各画像は、正規化されているが、平行移動等の単純な幾何変換では、重なり領域において絵柄が２重になり、精度が十分でない。また、平面射影変換を２画像毎に繰り返した場合、変換の自由度が高いために絵柄の高さにずれが生じてくる。
【００５１】
そこで、本発明では３画像間の平面射影変換を提案している。この場合、図３に示した如く、連続する３画像において真中の画像（画像２）を幾何変換する。このとき、画像の上下方向の透視投影歪みは、既に高さの正規化により取り除かれているが、画像の左右方向の透視投影歪みが残っていため、単純な平行移動によって真中の画像（画像２）を左右の２画像（画像１，画像３）にうまく貼り合わせることができない。よって、真中の画像を変形するための平面射影変換行列を算出する。
【００５２】
次いで、画素毎の移動量算出処理を行う（ステップＳ２２）。撮像対象物１としている絵巻は、例えば、数百年前に作成されたものであり、経年劣化により紙が伸縮する。また、絵巻はもろいため、撮像時に完全に平面にすることができない。このため、前述した幾何変換のみでは、良好に貼り合わせを行うことができない。そこで、大局的な幾何変換に加えて、局所的な位置合わせを行っている。
【００５３】
次いで、ステップＳ２１で求めた平面射影変換行列の行列要素、及びステップＳ２２で求めた画素毎の移動量を貼り合わせ係数として出力する（ステップＳ２３）。
【００５４】
図７は、図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
まず、連続する２画像毎の平行移動量を算出し（ステップＳ３１）、隣合う画像間の重なり領域にて特徴点を抽出して対応付けを行う（ステップＳ３２）。
【００５５】
３画像間の平面射影変換行列を算出する際、最低限４組の対応点を３画像間で求める。このため、隣合う画像間で２組ずつ合計４組の対応点の座標を求める。画像間の特徴点の対応は、例えば、フロー推定を用いて自動的に算出することができる。また、画像の特徴点を自動的に算出することが出来ない場合は、ＧＵＩにより手動で追加することを行う。
なお、対応点が４組以上求まった場合には、最小二乗法等により平面射影変換行列の行列要素を求めることが可能である。
【００５６】
次いで、カウンタをｉ＝１にセットし（ステップＳ３３）、１番目の画像及び２番目の画像間で平面射影変換行列を算出する（ステップＳ３４）。
【００５７】
そして、カウンタの値を１だけ増加させ（ステップＳ３５）、ｉ＝Ｎであるか否かを判断する（ステップＳ３６）。ここで、Ｎは貼り合わせる全画像の数である。
【００５８】
ｉ＝Ｎでない場合（Ｓ３６：ＮＯ）、ｉ−１番目、ｉ番目、ｉ＋１番目の画像間で平面射影変換行列を算出する（ステップＳ３７）。また、ステップＳ３６にて、ｉ＝Ｎである場合（Ｓ３６：ＹＥＳ）、Ｎ−１番目、Ｎ番目の画像間で平面射影変換行列を算出する（ステップＳ３８）
【００５９】
図８は、図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
まず、カウンタをｉ＝１にセットし（ステップＳ４１）、ｉ番目及びｉ＋１番目の画像間の重なり領域を算出する（ステップＳ４２）。そして、重なり領域で夫々の画像を幾何変換する（ステップＳ４３）。
【００６０】
次いで、幾何変換されたｉ番目の画像の重なり領域にて小画像領域を設定する（ステップＳ４４）。ここで、小画像領域として、例えば１３×１３画像程度の矩形領域を設定する。そして、設定した小画像領域に対応するｉ＋１番目の画像領域にてオプティカルフローを算出する（ステップＳ４５）。この際、小画像領域毎に移動量を算出するのではなく、各画素毎にフロー推定を行う。フロー推定には、例えば、処理が高速なLucas-Kanade法を用いることができる。
【００６１】
次いで、重なり領域における全ての画素を処理したか否かを判断する（ステップＳ４６）。処理していない画素が残っている場合（Ｓ４６：ＮＯ）、小画像領域を１画素分移動させ（ステップＳ４７）、処理をステップＳ４５へ戻す。
【００６２】
ステップＳ４６にて重なり領域における全ての画素を処理した場合（Ｓ４６：ＹＥＳ）、カウンタの値を１だけ増加させ（ステップＳ４８）、ｉ＝Ｎであるか否か、すなわち全ての画像間について画素毎の移動量を算出したか否かを判断する（ステップＳ４９）。
【００６３】
ｉ＝Ｎである場合（Ｓ４９：ＹＥＳ）、処理を終了し、ｉ＝Ｎ−１でない場合（Ｓ４９：ＮＯ）、処理をステップＳ４２へ戻し、全ての画像間の重なり領域にて移動量を算出する。
【００６４】
以下、本発明の画像処理方法の有効性について発明者らの検討結果を示す。用意された画像は、撮像されたポジフィルムをフィルムスキャナによりデジタル化したものであり、各画像のサイズは、１０６３０×６３７８画素であり、１３枚に分割されて撮像されている。
【００６５】
本発明の画像処理方法による場合、貼り合わせた画像の全域に渡って精度良く貼り合わせが行われており、印刷したものを詳細に見ても、継ぎ目を確認することはできず、また、絵柄の高さは一定に保たれていた。
【００６６】
また、貼り合わせの精度を定量的に考察するため、重なり領域ｗにおける画素値の差の絶対値を平均することにより、誤差Ｅを算出した。誤差Ｅは、Ｅ＝（Σｗ｜Ｉ’−Ｉ｜／Ｗ）により求めることができる。ここで、Ｗは、重なり領域ｗの総画素数である。また、画素値はカラーである場合、ＲＧＢの各チャンネルの差の絶対値の平均をとる。局所位置合わせを行わない従来法による場合、誤差Ｅは２０．２となるのに対し、本発明による場合、誤差Ｅは５．４、すなわち従来法のおよそ１／４になり、良好な貼り合わせ処理が行われたことが分かった。
【００６７】
本実施の形態では、撮像対象物１の例として絵巻をとりあげたが、絵巻以外にも、屏風絵、ふすま絵、壁画等に適用することが可能である。
【００６８】
また、本実施の形態では、絵巻のように幅方向に長い撮像対象物を少しずつ撮像し、得られた複数の画像を左右方向に貼り合わせる形態であったが、貼り合わせる方向は左右方向に限定されず、上下方向に貼り合わせることも出来ることは勿論のことである。
【００６９】
【発明の効果】
以上、詳述したように、第１発明、第４発明、第７発明、及び第８発明による場合は、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００７０】
第２発明及び第５発明による場合は、前記３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００７１】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置を説明する模式図である。
【図２】本発明の画像処理装置の内部構成を示すブロック図である。
【図３】本発明の画像処理方法の処理手順を説明する模式図である。
【図４】画像処理装置の処理手順を示したフローチャートである。
【図５】高さ正規化処理の処理手順を示したフローチャートである。
【図６】図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
【図７】図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
【図８】図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
【図９】平面射影変換により合成した画像を模式的に示した図である。
【符号の説明】
１ 撮像対象物
２ 撮像装置
１０ 画像処理装置
１１ ＣＰＵ
１２ バス
１３ ＲＯＭ
１４ ＲＡＭ
１５ 表示部
１６ 操作部
１７ 画像入力部
１８ 内部記憶装置
１９ 外部記憶装置
２０ 記録媒体
Claims (8)
- 互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成する画像処理方法において、
第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求め、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することを特徴とする画像処理方法。 - 前記３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記画像を平面射影変換することを特徴とする請求項１に記載の画像処理方法。
- 前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことを特徴とする請求項１又は請求項２に記載の画像処理方法。
- 互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成すべくなしてある画像処理装置において、
第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付ける受付手段と、該受付手段から入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去する正規化手段と、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求める第１対応点抽出手段と、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求める第２対応点抽出手段と、前記第１及び第２対応点抽出手段から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出する算出手段と、算出した平面射影変換行列に基づき前記第２画像の平面射影変換を行う画像変換手段と、該画像変換手段により平面射影変換された第２画像を前記第１及び第３画像に合成する画像合成手段とを備えることを特徴とする画像処理装置。 - 前記正規化手段は、各画像上にて互いに平行となるべき異なる２つの線分の指定を受付ける手段と、該手段により指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出する手段と、算出した平面射影変換行列に基づき前記画像の平面射影変換を行う手段とを備えることを特徴とする請求項４に記載の画像処理装置。
- 前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成をすべくなしてあることを特徴とする請求項４又は請求項５に記載の画像処理装置。
- コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムにおいて、
コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラム。 - コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体において、
コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラムが記録されていることを特徴とするコンピュータでの読取りが可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091279A JP3889650B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
| US10/402,676 US7317558B2 (en) | 2002-03-28 | 2003-03-28 | System and method for image processing of multiple images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091279A JP3889650B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003288589A JP2003288589A (ja) | 2003-10-10 |
| JP3889650B2 true JP3889650B2 (ja) | 2007-03-07 |
Family
ID=28449587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002091279A Expired - Fee Related JP3889650B2 (ja) | 2002-03-28 | 2002-03-28 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7317558B2 (ja) |
| JP (1) | JP3889650B2 (ja) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7389181B2 (en) * | 2004-08-31 | 2008-06-17 | Visre, Inc. | Apparatus and method for producing video drive-by data corresponding to a geographic location |
| JP4196216B2 (ja) * | 2003-09-08 | 2008-12-17 | 日本電気株式会社 | 画像合成システム、画像合成方法及びプログラム |
| US8078396B2 (en) * | 2004-08-31 | 2011-12-13 | Meadow William D | Methods for and apparatus for generating a continuum of three dimensional image data |
| US8207964B1 (en) | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
| US7929800B2 (en) | 2007-02-06 | 2011-04-19 | Meadow William D | Methods and apparatus for generating a continuum of image data |
| KR101019482B1 (ko) * | 2004-09-17 | 2011-03-07 | 엘지전자 주식회사 | 디지털 ｔｖ의 채널 전환 장치 및 방법 |
| US7920152B2 (en) | 2004-11-04 | 2011-04-05 | Dr Systems, Inc. | Systems and methods for viewing medical 3D imaging volumes |
| US7660488B2 (en) | 2004-11-04 | 2010-02-09 | Dr Systems, Inc. | Systems and methods for viewing medical images |
| US7885440B2 (en) | 2004-11-04 | 2011-02-08 | Dr Systems, Inc. | Systems and methods for interleaving series of medical images |
| US7970625B2 (en) | 2004-11-04 | 2011-06-28 | Dr Systems, Inc. | Systems and methods for retrieval of medical data |
| US7787672B2 (en) | 2004-11-04 | 2010-08-31 | Dr Systems, Inc. | Systems and methods for matching, naming, and displaying medical images |
| US7646400B2 (en) * | 2005-02-11 | 2010-01-12 | Creative Technology Ltd | Method and apparatus for forming a panoramic image |
| US7953614B1 (en) | 2006-11-22 | 2011-05-31 | Dr Systems, Inc. | Smart placement rules |
| CN101197044B (zh) * | 2006-12-06 | 2011-02-02 | 鸿富锦精密工业（深圳）有限公司 | 图像合成系统及方法 |
| US7995861B2 (en) | 2006-12-13 | 2011-08-09 | Adobe Systems Incorporated | Selecting a reference image for images to be joined |
| US8593506B2 (en) * | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| WO2008111080A1 (en) * | 2007-03-15 | 2008-09-18 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| US8200039B2 (en) * | 2007-04-05 | 2012-06-12 | Adobe Systems Incorporated | Laying out multiple images |
| JP4678603B2 (ja) | 2007-04-20 | 2011-04-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP4952363B2 (ja) * | 2007-05-01 | 2012-06-13 | カシオ計算機株式会社 | 画像処理装置、画像変換方法及びプログラム |
| US8072504B2 (en) * | 2008-08-27 | 2011-12-06 | Micron Technology, Inc. | Method and system for aiding user alignment for capturing partially overlapping digital images |
| US8380533B2 (en) | 2008-11-19 | 2013-02-19 | DR Systems Inc. | System and method of providing dynamic and customizable medical examination forms |
| US20100142814A1 (en) * | 2008-12-04 | 2010-06-10 | Harris Corporation | Image processing device for tonal balancing of mosaic images and related methods |
| US20100142842A1 (en) * | 2008-12-04 | 2010-06-10 | Harris Corporation | Image processing device for determining cut lines and related methods |
| US8712120B1 (en) | 2009-09-28 | 2014-04-29 | Dr Systems, Inc. | Rules-based approach to transferring and/or viewing medical images |
| JP2012105145A (ja) * | 2010-11-11 | 2012-05-31 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
| EP2643730A4 (en) | 2010-11-25 | 2014-10-08 | Resolution Art Inc | IMAGING ROBOT |
| JP2012222674A (ja) * | 2011-04-12 | 2012-11-12 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| US9075899B1 (en) | 2011-08-11 | 2015-07-07 | D.R. Systems, Inc. | Automated display settings for categories of items |
| US8686114B2 (en) | 2012-03-05 | 2014-04-01 | E I Du Pont De Nemours And Company | Variant sucrose transporter polypeptides |
| US9835564B2 (en) | 2012-06-08 | 2017-12-05 | SeeScan, Inc. | Multi-camera pipe inspection apparatus, systems and methods |
| US8817339B2 (en) * | 2012-08-22 | 2014-08-26 | Top Image Systems Ltd. | Handheld device document imaging |
| US9495604B1 (en) | 2013-01-09 | 2016-11-15 | D.R. Systems, Inc. | Intelligent management of computerized advanced processing |
| US9600703B2 (en) * | 2013-03-15 | 2017-03-21 | Cognex Corporation | Systems and methods for sorting image acquisition settings for pattern stitching and decoding using multiple captured images |
| US9491360B2 (en) | 2013-06-06 | 2016-11-08 | Apple Inc. | Reference frame selection for still image stabilization |
| US9384552B2 (en) * | 2013-06-06 | 2016-07-05 | Apple Inc. | Image registration methods for still image stabilization |
| CN104346788B (zh) * | 2013-07-29 | 2017-05-24 | 展讯通信（上海）有限公司 | 一种拼接图像的方法和装置 |
| US20150071547A1 (en) | 2013-09-09 | 2015-03-12 | Apple Inc. | Automated Selection Of Keeper Images From A Burst Photo Captured Set |
| JP2016066842A (ja) * | 2014-09-24 | 2016-04-28 | ソニー株式会社 | 信号処理回路および撮像装置 |
| US11962908B2 (en) | 2015-03-17 | 2024-04-16 | Microsoft Technology Licensing, Llc. | Automatic image frame processing possibility detection |
| KR102328020B1 (ko) * | 2015-04-03 | 2021-11-17 | 한국전자통신연구원 | 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 |
| US10929508B2 (en) | 2015-04-30 | 2021-02-23 | Merge Healthcare Solutions Inc. | Database systems and interactive user interfaces for dynamic interaction with, and indications of, digital medical image data |
| CN106683043B (zh) * | 2015-11-10 | 2020-03-06 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
| CN105643265B (zh) * | 2016-01-12 | 2018-05-22 | 济南大学 | 一种用于大型工件装配面配合的检测方法 |
| WO2017179136A1 (ja) * | 2016-04-12 | 2017-10-19 | 株式会社オプティム | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム |
| US10102668B2 (en) * | 2016-05-05 | 2018-10-16 | Nvidia Corporation | System, method, and computer program product for rendering at variable sampling rates using projective geometric distortion |
| CN106331527B (zh) * | 2016-10-12 | 2019-05-17 | 腾讯科技（北京）有限公司 | 一种图像拼接方法及装置 |
| US10373360B2 (en) | 2017-03-02 | 2019-08-06 | Qualcomm Incorporated | Systems and methods for content-adaptive image stitching |
| EP3605447A4 (en) | 2017-03-28 | 2020-02-05 | Fujifilm Corporation | IMAGE CORRECTION DEVICE AND METHOD AS WELL AS PROGRAM |
| CN107330849B (zh) * | 2017-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种全景图像拼接的方法、装置、设备及存储介质 |
| CN108470323B (zh) * | 2018-03-13 | 2020-07-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
| ES2967607T3 (es) * | 2020-05-22 | 2024-05-03 | Kapsch Trafficcom Ag | Cámara de visión lateral para la detección de ruedas |
| CN111553870B (zh) * | 2020-07-13 | 2020-10-16 | 成都中轨轨道设备有限公司 | 一种基于分布式系统的图像处理方法 |
| CN112991178B (zh) * | 2021-03-24 | 2022-08-02 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US5706416A (en) | 1995-11-13 | 1998-01-06 | Massachusetts Institute Of Technology | Method and apparatus for relating and combining multiple images of the same scene or object(s) |
| US6249616B1 (en) * | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
| US6097854A (en) | 1997-08-01 | 2000-08-01 | Microsoft Corporation | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping |
| US6788802B2 (en) | 1998-05-21 | 2004-09-07 | Sanyo Electric Co., Ltd. | Optical flow estimation method and image synthesis method |
| US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
| JP3867883B2 (ja) * | 1999-06-01 | 2007-01-17 | 株式会社リコー | 画像合成処理方法、画像合成処理装置及び記録媒体 |
| US6606404B1 (en) * | 1999-06-19 | 2003-08-12 | Microsoft Corporation | System and method for computing rectifying homographies for stereo vision processing of three dimensional objects |
| US6608923B1 (en) * | 1999-06-19 | 2003-08-19 | Microsoft Corporation | System and method for rectifying images of three dimensional objects |
| JP3730450B2 (ja) | 1999-08-18 | 2006-01-05 | 株式会社リコー | 画像入力装置および画像入力方法 |
| JP4169462B2 (ja) | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
| JP2001177716A (ja) | 1999-12-17 | 2001-06-29 | Ricoh Co Ltd | 画像処理方法と画像処理装置 |
| JP2003536134A (ja) * | 2000-06-02 | 2003-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像を合成画像に合併する方法及び装置 |
| US7095905B1 (en) * | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
-
2002
- 2002-03-28 JP JP2002091279A patent/JP3889650B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-28 US US10/402,676 patent/US7317558B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030184778A1 (en) | 2003-10-02 |
| JP2003288589A (ja) | 2003-10-10 |
| US7317558B2 (en) | 2008-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3889650B2 (ja) | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 | |
| JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
| JP4372382B2 (ja) | 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法 | |
| US7006124B2 (en) | Generalized panoramic mosaic | |
| TWI336200B (ja) | ||
| US20050008254A1 (en) | Image generation from plurality of images | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| US20120213452A1 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
| JP4871820B2 (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
| JP2009206800A (ja) | 画像処理装置、プロジェクタ、画像処理方法 | |
| JPH0357081A (ja) | 画像処理装置 | |
| JP2004342067A (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム | |
| JP2000125190A (ja) | カメラシステム及び記録媒体 | |
| JP4346742B2 (ja) | 画像合成方法、画像合成装置及び記憶媒体 | |
| JPH1115951A (ja) | ずれ検出装置および画像合成装置 | |
| JP4007524B2 (ja) | 画像合成方法及び装置並びに情報記録媒体 | |
| JP2008003683A (ja) | 画像生成装置及びその方法並びに記録媒体 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP4148817B2 (ja) | パノラマ画像撮影装置及びパノラマ画像撮影方法 | |
| JP2006119730A (ja) | 画像のつなぎ合わせ | |
| JP6716019B2 (ja) | 画像修正装置、画像修正方法及びプログラム | |
| JP2011055084A (ja) | 撮像装置及び電子機器 | |
| JP3545297B2 (ja) | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061130 |
|
| LAPS | Cancellation because of no payment of annual fees |