JP2002305647A - 画像結合装置 - Google Patents

画像結合装置

Info

Publication number
JP2002305647A
JP2002305647A JP2001107532A JP2001107532A JP2002305647A JP 2002305647 A JP2002305647 A JP 2002305647A JP 2001107532 A JP2001107532 A JP 2001107532A JP 2001107532 A JP2001107532 A JP 2001107532A JP 2002305647 A JP2002305647 A JP 2002305647A
Authority
JP
Japan
Prior art keywords
image
combining
images
input
rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001107532A
Other languages
English (en)
Other versions
JP4551018B2 (ja
Inventor
裕幸 ▲高▼倉
Hiroyuki Takakura
Kenichiro Sakai
憲一郎 酒井
Nobuyasu Yamaguchi
伸康 山口
Tsuguo Noda
嗣男 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2001107532A priority Critical patent/JP4551018B2/ja
Priority to US09/962,306 priority patent/US6885776B2/en
Publication of JP2002305647A publication Critical patent/JP2002305647A/ja
Application granted granted Critical
Publication of JP4551018B2 publication Critical patent/JP4551018B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/1903—Arrangements for enabling electronic abutment of lines or areas independently scanned by different elements of an array or by different arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0414—Scanning an image in a series of overlapping zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Color Image Communication Systems (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 一方の画像に対し他方の画像が相対的に鏡像
反転かつ／または回転する場合であっても、スキャナの
移動量や進行方向を検出するハードウェアを利用せず
に、高速かつ自動的に２つの画像を結合できるようにす
る。 【解決手段】 第一段階で、縮小画像を用いて、２つの
画像の結合位置関係（回転角度、及び／または、鏡像反
転有無）を特定し、おおまかな重なり領域を検出する。
第二段階で、正確な重なり位置、傾き等を検出する。第
三段階で、第１段階、第２段階の処理結果を用いて、２
つの画像を結合する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数回に分けて取
りこんだ画像を結合する装置に関する。
【０００２】
【従来の技術、及び発明が解決しようとする課題】近
年、据え置き型のフラットベッドスキャナに加え、持ち
運びが容易な手動操作型の小型ハンドヘルドスキャナが
開発・製品化されている。ハンドヘルドスキャナは本体
が小型であるため一度にスキャンできる幅が狭い。スキ
ャナ幅を超える大きな画像を取り込むためには、画像を
複数回に分けて取り込み合成する必要がある。または、
スキャナ幅を超えない場合でも、ユーザが、複数回に分
けてスキャンするような操作を行う場合が考えられる
（スキャンの仕方はユーザの自由であるので、この様な
事態も起こり得る）。
【０００３】従来より、複数回に分けて取り込んだ画像
を結合する技術はいくつか存在する。しかし、フルカラ
ーの画像を結合するには、処理に必要なメモリ容量、処
理時間が大きいといった問題がある。ＰＣ（パソコン；
特にノート型パソコン、またはＰＤＡ／ハンドヘルドＰ
Ｃ等の携帯型情報処理装置）の処理能力は向上している
が、より画質を向上するため、画像のデータ量も増加し
ており、メモリ容量、処理時間の削減は必須である。
【０００４】パノラマ写真等に関する公知の結合技術
は、正立した画像に対して結合面が左右に限定すること
により、処理時間をある程度短縮している。しかしハン
ドヘルドスキャナでは、ユーザは紙面に対してどちらの
方向からも読み取りが可能であるため（図２３、図２
４）、画像の取り込み方向によっては入力画像が鏡像反
転したり（図２５）、かつ／または、回転する場合があ
る為、２つの画像の重なり位置を検出するのに、非常に
時間が掛かっていた。
【０００５】例えば、図２６（ａ）に示すように、ハン
ドヘルドスキャナを用いてユーザが、１回目のスキャン
を図の上から下方向（図の1)で示す）に行ない、２回目
のスキャンを図の右から左方向（図の2)で示す）に行な
ったとすると、このハンドヘルドスキャナに接続されて
いる情報処理端末（上記パソコン（特にノート型パソコ
ン）、またはＰＤＡ／ハンドヘルドＰＣ等の携帯型情報
処理装置）側に入力される２つの画像データ（第１の画
像、第２の画像）は、図２６（ｂ）に示すようになる。
【０００６】このような例では、まず、図２７（ａ）に
示すように、第１の画像に対して第２の画像を上下左右
に移動させて（勿論、その逆に、第２の画像を固定し
て、第１の画像を第２の画像の上下左右の位置に移動さ
せてもよい）、重なり位置の検出を試みるが、当然、こ
こでは失敗する。
【０００７】よって、次に、図２７（ｂ）に示すよう
に、第２の画像を回転させて（ここでは、９０°回転さ
せる）、再度、上記と同様に、第１の画像に対して第２
の画像を上下左右に移動させて重なり位置の検出を試み
ると、今度は、第１の画像の右側に第２の画像を移動さ
せたときに、重なり位置の検出できる（同図（ｃ））。
【０００８】この例では、９０°回転させたときに重な
り位置を検出できたが、更に回転させなければ（１８０
°、２７０°）重なり位置を検出できない場合もある。
更に、全ての回転角度（０°、９０°、１８０°、２７
０°）で試してみても重なり位置を検出できない場合
（すなわち、鏡像反転している場合）には、更に、第２
の画像を鏡像反転させた上で、再度、０°、９０°、１
８０°、２７０°の回転角度で重なり位置の検出を試み
る必要がある。
【０００９】上述したように、２つの画像の重なり位置
の検出に多くのメモリ容量及び処理時間を要していた。
すなわち、入力画像の回転角度（０°／９０°／１８０
°／２７０°）の４通り、及び／または、鏡像反転有無
（２通り）を判定する必要がある為に、回転角度（４通
り）×鏡像反転有無で計８通り（更に、図２７（ａ）に
示すような上下左右の検出を含めれば３２通り）の中の
どれに当たるのかが分かるまでに多くのメモリ容量及び
処理時間を要していた）。
【００１０】このような問題に対して、従来より、ハー
ドウェアによってスキャナの移動量や進行方向を検出し
て、結合に利用する方法がある。しかしながら、この方
法では、このような検出を行うハードウェアが加わる
分、コストが高くなる／スキャナのサイズや重量が増え
るといった問題がある。
【００１１】また、パノラマ写真等の結合技術において
も、正立した画像に対して結合面を左右に限定するとい
う前提がなければ、同じことが言える（よって、この場
合、厳密に言えば、パノラマ写真とは言わないのかもし
れないが、とにかく、本発明の対象は、ハンドヘルドス
キャナで読取った画像データに限るものではなく、例え
ばディジタルカメラ／ディジタルＡＶなどで、ユーザ
が、左右に限定されることなく自由に撮影した画像デー
タも対象とする。）本発明の課題は、１つ目の画像に対
し２つ目の画像が相対的に鏡像反転かつ/または回転す
る場合であっても、スキャナの移動量や進行方向を検出
するハードウェアを利用せずに、処理に必要なメモリ容
量を削減し、高速かつ自動的に２つの画像を結合できる
画像結合装置を提供することである。
【００１２】
【課題を解決するための手段】本発明による請求項１記
載の画像結合装置は、入力機器より複数回に分けて読み
込んだ入力画像を結合する装置であって、前記読み込ん
だ複数の入力画像データよりデータ量を少なくした画像
データを作成し、該作成した画像データを用いて前記複
数の入力画像の結合位置関係とおおまかな重なり領域を
検出する第一の重なり位置検出手段と、該第一の重なり
位置検出手段により検出された結合位置関係とおおまか
な重なり領域とに基づいて、前記複数の入力画像を結合
する画像結合手段とを有するように構成する。
【００１３】ユーザが、例えばハンドヘルドスキャナ等
を用いて自由な操作で複数回に分けて画像を取込んだ場
合、この複数の画像の結合位置関係（鏡像反転有無、回
転角度）（更に上下左右の位置関係）がどのようになっ
ているか分からない。
【００１４】上記画像結合装置では、これを、第一の重
なり位置検出手段によって例えば入力画像の縮小画像等
のようなデータ量を少なくした画像データを用いて検出
している（上下左右の位置関係は、おおまかな重なり領
域より分かる）ので、画像結合手段は、この検出結果を
用いて入力画像を必要に応じて鏡像反転／回転等させる
等して入力画像を結合すれば済むので、処理が高速化で
き、また処理に必要なメモリ容量も少なくて済む。
【００１５】本発明による請求項２記載の画像結合装置
は、入力機器より複数回に分けて読み込んだ入力画像を
結合する装置であって、前記読み込んだ複数の入力画像
データのおおまかな重なり領域を検出する第一の重なり
位置検出手段と、該第一の重なり位置検出手段により検
出されたおおまかな重なり領域を複数の矩形領域に分割
し、該分割した短形領域の中から、正確な重なり位置検
出に用いる短形領域と、結合面として用いる矩形領域と
を抽出する第二の重なり位置検出手段と、該第二の重な
り位置検出手段により検出された前記正確な重なり位置
検出に用いる短形領域を用いて、前記複数の入力画像の
正確な重なり位置を決定すると共に、前記結合面として
用いる矩形領域において前記複数の入力画像を合成処理
し、該複数の画像を結合する画像結合手段とを有するよ
うに構成する。
【００１６】上記画像結合装置によれば、正確な重なり
位置検出に用いる短形領域をそのまま結合面としても用
いるのではなく、例えば色差の小さい濃度成分を多く含
む矩形領域の中から選択された矩形領域を結合面として
用いるようにすることで、例えば結合面が完全に一致し
ない場合でも、つなぎ目が目立たないように処理でき
る。
【００１７】本発明による請求項３記載の画像結合装置
は、入力機器より複数回に分けて読み込んだ入力画像を
結合する装置であって、前記読み込んだ複数の入力画像
データを一時的に記憶すると共に、該入力画像データの
データ量を少なくした画像データを作成し、該作成した
画像データを用いて前記複数の入力画像の結合位置関係
とおおまかな重なり領域を検出する第一の重なり位置検
出手段と、前記読み込んだ各入力画像データを単一の色
成分を持つ階調画像に変換した階調画像データを用い、
該階調画像データにおいて前記第一の重なり位置検出手
段により検出されたおおまかな重なり領域に対応する領
域を、複数の矩形領域に分割し、該複数の短形領域の中
から、正確な重なり位置検出に用いる短形領域と、画像
の結合面に用いる矩形領域とを抽出する第二の重なり位
置検出手段と、前記読み込んだ各入力画像データを用
い、該第二の重なり位置検出手段により検出された前記
正確な重なり位置検出に用いる短形領域を用いて、前記
複数の入力画像の正確な重なり位置を決定すると共に、
前記画像の結合面に用いる矩形領域において前記複数の
入力画像を合成処理し、該複数の画像を結合する画像結
合手段とを有するように構成する。
【００１８】上記画像結合装置によれば、まず、第一の
重なり位置検出手段において例えば入力画像のグレース
ケールの縮小画像等のようなデータ量を少なくした画像
データを用いて結合位置関係（鏡像反転有無、回転角
度）とおおまかな重なり領域を検出し、次に第二の重な
り位置検出手段において、入力画像データを単一の色成
分を持つ階調画像に変換した階調画像データを用いて、
正確な重なり位置検出に用いる短形領域と、画像の結合
面に用いる矩形領域とを抽出しており、画像結合手段が
データ量の多い入力画像を用いた処理を行う際には、こ
れら第一の重なり位置検出手段、第二の重なり位置検出
手段の処理結果を用いて処理を行なえば良いので、処理
が高速化でき、また処理に必要なメモリ容量も少なくて
済む。更に、たとえ結合面が完全に一致しない場合で
も、つなぎ目が目立たないように処理できる。これは、
特に入力画像がフルカラー画像である場合に顕著な効果
を奏するものである。
【００１９】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。尚、以下に述べる実施の
形態の説明では、２つの画像を結合する場合について説
明するが、本発明は２つの画像に限らず、３つ以上の画
像を結合する場合にも適用可能である。
【００２０】図１は、本発明の原理ブロック図である。
本発明は大きく分けて３つのステップ（処理段階）から
構成される。上述してある通り、ハンドヘルドスキャナ
は、手操作により走査するものであるため、ユーザは紙
面に対してどちらの方向からも読み取りが可能であり、
画像の取り込み方向によっては入力画像が鏡像反転かつ
/または回転（９０°／１８０°／２７０°）する場合
があり（更に、一方の画像に対して他方の画像を上下左
右にずらして重なり位置を捜す必要がある）、重なり位
置を検出するまでに多くの処理時間を要する。
【００２１】本例では、この様な問題に対応する為に、
画像の結合処理を３つの段階に分けている。まず、第一
段階の“おおまかな重なり位置検出”１においては、例
えばハンドヘルドスキャナ等の入力機器４より入力され
る画像データのデータ量を非常に少なくした画像データ
（例えば単一の階調画像の縮小画像）を用いて、２つの
画像の結合位置関係（上記回転角度、及び／または、鏡
像反転有無）を検出する。また、この検出した結合位置
関係における２つの画像の“おおまかな重なり領域”を
検出する（例えば後述する図６に示す領域／その座標デ
ータ）。尚、上記第一段階で行う全ての事を含む概念を
“おおまかな重なり位置検出”と呼ぶ場合もある。尚、
図２７（ａ）に示す上下左右の位置関係は、“おおまか
な重なり領域”の座標データを見れば分かる。
【００２２】このように、本例では、第一段階におい
て、データ量が非常に少ない縮小画像を用いて（尚、ス
キャン画像がカラー画像である場合には、これを単一の
階調画像（グレースケール）に変換して、その縮小画像
（グレースケール縮小画像）を用いるものとする）、２
つの画像の結合位置関係（回転角度、及び／または、鏡
像反転有無）を特定し“おおまかな重なり領域”の検出
するようにしたことを第１の特徴としている。
【００２３】スキャンした画像データのままではデータ
量が多い（特に、フルカラー画像の場合、非常にデータ
量が多い）ので、これを用いて処理を行うと、多くの処
理時間／メモリ容量が必要であったが、本例では、処理
を複数の段階に分けて、第一段階では、データ量の少な
い縮小画像を用いて、２つの画像の結合位置関係の特定
と“おおまかな重なり領域”の検出に絞った処理を行っ
ているので、全体としての処理の高速化も図ることがで
き、また、処理に必要なメモリ容量が少なくて済む。
【００２４】次に、第二段階において、２つの画像の
“正確な重なり位置検出”２の処理を行う。ここでは、
スキャン画像がフルカラー画像である場合には、これを
単一の階調画像（グレースケール）に変換した画像デー
タを用いる。そして、第一段階で検出した“おおまかな
重なり領域”に基づいて、２つの画像の正確な重なり位
置と結合面として用いる（つなぎ目；合成処理に用い
る）領域を検出する。これは、“おおまかな重なり領
域”を複数の矩形領域に分割し、色差の大きい濃度成分
を多く含む矩形領域の中から正確な重なり位置検出に用
いる領域を決定し、色差の小さい濃度成分を多く含む矩
形領域の中から２つの画像の結合面として用いる矩形領
域を決定する。
【００２５】本例では、このように正確な重なり位置検
出に用いる領域とは別に、色差の小さい濃度成分を多く
含む矩形領域の中から結合面に用いる矩形領域を選択す
るようにしたことで、つなぎ目を目立たなくできるよう
にしたことを第２の特徴としている。
【００２６】また、上記の様に分割した矩形領域を用い
て、スキャンした１つ目の画像（以下、第１の画像とい
う）に対するスキャンした２つ目の画像（以下、第２の
画像という）の相対的な傾きを検出するようにしてい
る。
【００２７】そして、第三段階において初めて、データ
量が多いスキャン画像（フルカラー画像等）を用いた処
理を行う。上記第一段階、第二段階の処理結果により、
２つの画像の結合位置関係（回転角度、及び／または、
鏡像反転有無）、傾き、正確な重なり位置、及び結合面
に用いる矩形領域が分かっているので、これらを用いて
２つの画像を結合する。そして、この結合した画像を、
出力画像５として、例えば表示出力、または印刷出力、
あるいは記憶装置に記憶する等の出力処理を行う。
【００２８】尚、ハンドヘルドスキャナの走査方向をユ
ーザが入力／設定できる構成とした場合には、画像の結
合面を特定できるため、処理時間を短縮することができ
る。処理速度を優先する場合は、ユーザが走査方向を入
力／指定する構成としてもよい。しかし、この場合、ユ
ーザ負担が増すことになる。
【００２９】本例では、このようなユーザ負担が増すこ
となく、またユーザは所望の方向から好きなように走査
を行なってよく、装置側で高速に（更に比較的少ないメ
モリ容量で）自動的に補正を行なって２つの画像を結合
する装置を提供するものである。
【００３０】図２は、本実施の形態による画像結合装置
における処理全体を概略的に示すフローチャート図であ
る。同図において、入力機器（本例では、手動操作型の
小型ハンドヘルドスキャナとするが、これに限らず、デ
ィジタルカメラ／ディジタルビデオカメラ等であっても
よい）より取り込んだ１枚目の画像データ（第１の画像
データ１０）を一旦メモリに格納する（ステップＳ１
１）。次に、このメモリに格納した第１の画像データ１
０を読み出し、それがＲＧＢ色成分を持つカラー画像
（特に、フルカラーの画像）である場合には（ステップ
Ｓ１３，ＹＥＳ）、これを単一の色成分を持つ階調画像
（グレースケール）に変換する（ステップＳ１３）。こ
の階調画像の作成は、本例ではYCbCr変換を使用する。
例えば、YCbCr変換のＹ成分に着目して階調画像を作成
する。入力画像が単一の色成分を持つ画像であれば（ス
テップＳ１３，ＮＯ）、変換する必要はない。この第１
の画像データ１０の階調画像データは、以下、ImgGray1
(x,y)１１と記す。単一の色成分を持つ階調画像を利用
することで、複数の色成分を持つ画像を用いるよりも、
使用するメモリ容量を削減し、高速に処理することが可
能である。
【００３１】尚、階調画像の作成は、上述した方法以外
にも、例えば、差分フィルタを用いて微分値を画素成分
とする画像を作成する方法や、RGB 色成分のうち１つの
色成分を階調画像とする方法や、それ以外の変換方法を
利用しても構わない。
【００３２】次にステップＳ１５において、ImgGray1
（x,y）１１を幾何学的に縮小変換する。ここでは複数
個の画素成分の平均値を取ることで縮小画像を作成す
る。例えば縮小率を１／ｎとした場合、「ｎ（ｘ方向）
×ｎ（ｙ方向）」の領域の平均値を画素成分とする。
尚、この第１の画像データのグレースケールの縮小画像
データを、以下、ImgGray1´(x,y)１２と記す。縮小画
像を利用することで、使用するメモリ容量を削減し、高
速に処理することが可能となる。
【００３３】次に、２枚目の画像データ（第２の画像デ
ータ２０）を入力機器より取り込み（ステップＳ１
６）、上述した第１の画像データに対する処理と同様の
処理を行う。
【００３４】すなわち、第２の画像データ２０を一旦メ
モリに格納すると共に（ステップＳ１７）、このメモリ
に格納した第２の画像データ２０を読み出し、これがカ
ラー画像であれば（ステップＳ１８，ＹＥＳ）、単一の
色成分を持つ階調画像に変換する（ステップＳ１９）。
【００３５】尚、この第２の画像データ２０の階調画像
を、以下、ImgGray2（x,y）２１と記す。そして、第２
の画像の場合と同様にして、ImgGray2（x,y） を幾何学
的に縮小し、縮小画像（以下、ImgGray2´（x,y）２２
と記す）を作成する。
【００３６】図３に、上記縮小画像作成のイメージを示
す。次に、これら２つの縮小画像（ImgGray1´（x,y）
１２とImgGray2´（x,y）２２）を、ステップＳ２１に
引数として渡し、ステップＳ２１において、１つ目の画
像に対する２つ目の画像の結合位置関係（相対的な回転
角度、及び／または、鏡像反転有無）を検出する。ま
た、この結合位置関係における２つの画像のおおまかな
重なり領域を検出する。
【００３７】次に、上記単一の色成分を持つ階調画像
（ImgGray1（x,y）１１、ImgGray2（x,y）２１）と、上
記ステップＳ２１による検出結果を用いて、上記おおま
かな重なり領域を複数の矩形領域に分割し、正確な重な
り位置検出に用いる矩形領域と、結合面に用いる矩形領
域を抽出する。また、必要に応じて、１つ目の画像に対
する２つ目の画像の相対的な傾き角度を算出する（ステ
ップＳ２２）。
【００３８】そして、上記メモリに格納してある第１の
画像、第２の画像の２つの入力画像（フルカラー等）を
読み出し、上記ステップＳ２１、Ｓ２２の処理で得られ
ている回転角度、鏡像反転有無、正確な重なり位置検出
に用いる矩形領域、結合面に用いる矩形領域、傾き角度
等の各種データを用いて、鏡像反転、回転、傾きを補正
しながら、２つの入力画像を正確に、且つ、つなぎ目が
目立たないようにして結合することができる（ステップ
Ｓ２３）。この結合画像を出力し、処理を終了する。
【００３９】以下、上記ステップＳ２１、Ｓ２２、Ｓ２
３の各々の処理の詳細について説明していく。尚、これ
らの説明においては、図２３で示したような縦方向に走
査して取り込んだ２つの画像を例にとって説明する。
【００４０】まず、図４は、ステップＳ２１の処理の詳
細フローチャート図である。引数には、上記の通り、単
一の色成分を持つ階調画像を縮小して成る縮小画像ImgG
ray1´（x,y）１２、ImgGray2´（x,y）２２を受け取
る。
【００４１】まず、変数ｎを初期化（ｎ＝１）する（ス
テップＳ３１）。ハンドヘルドスキャナは手走査である
ため、読み取り方向によって、画像が鏡像反転、回転す
る場合がある。第１の画像に対する第２の画像の相対的
な回転角度（４通り）×鏡像反転有無で計８通り考えら
れる。
【００４２】ここでは、ｎ＝１〜４が正立した画像に対
する上記４通りの回転角度、ｎ＝５〜８が鏡像反転後の
上記４通りの回転角度を意味するものとする。よって、
まず、正立した画像に対する上記４通りの回転角度の中
の１つ（ｎ＝１）において、上記縮小画像ImgGray1´
（x,y）１２、ImgGray2´（x,y）２２を用いて、２つの
画像のマッチングを取り（ステップＳ３２）、重なり位
置を検出できたか否かを判定する（ステップＳ３３）。
【００４３】具体的には、最初は、ImgGray2´（x,y）
２２の回転角度をｎ＝１で示される回転角度（例えば０
°）とし、ImgGray1´（x,y）１２に対してImgGray2´
（x,y）２２を上下左右の各位置の移動させ、各々の位
置でImgGray2´（x,y）を上下左右にずらしていき画素
と画素のマッチングを取る。
【００４４】ここで、“上下左右にずらす”ことと“上
下左右の各位置の移動させる”ことは異なる意味であ
る。例えば、図５に示す一例は、ImgGray1´（x,y）１
２の“右”にImgGray2´（x,y）２２を移動させた状態
で、ImgGray2´（x,y）２２を上下左右にずらしながら
画素と画素のマッチングを取る様子を示してある。
【００４５】その際、１画素単位でずらしていくのでは
なく、数画素単位でずらしていっても構わない。ここで
は正確な重なり位置を検出する必要はないため、１画素
単位よりも数画素単位で画像をずらした方が高速化に処
理することができる。マッチングの手法は、ハミング距
離、ユークリッド距離等を使用し、距離が最小となる位
置を重なり領域とする。但し、今回処理対象となってい
る回転角度において求めた最小距離Ｄmin が、ある閾値
（Ｄthresh）未満とならない場合には（ステップＳ３
３，ＮＯ）、この回転角度においては重なり領域は検出
されないものと見做し、他の回転角度（または鏡像反
転）についての処理に移る。（尚、マッチングの手法
は、上記の例に限らず、他の手法（例えば、ＤＰマッチ
ング等）を用いてもよい。また、尚、閾値（Ｄthresh）
の値は、正しい回転角度（及び鏡像反転有無）でマッチ
ング処理を行なった場合にのみその最小距離Ｄmin が閾
値（Ｄthresh）未満となるような値を、設定してお
く）。
【００４６】図示の処理例では、重なり領域が検出され
なかった場合には（ステップＳ３３，ＮＯ）、どちらか
一方の縮小画像を回転させる（本例ではImgGray2´（x,
y）２２を時計回り方向に90°回転させるものとする）
（ステップＳ３７）と共にｎの値をインクリメントし、
再び上記ステップＳ３２、Ｓ３３の処理により重なり領
域を捜す。
【００４７】但し、その前に、ｎのカウント数がｎ＝４
のときには（ステップＳ３４，ＹＥＳ）、ImgGray2´
（x,y）２２ を鏡像反転する。また、ｎ＝８（ステップ
Ｓ３６，ＮＯ）の場合には本処理を終了する（この場合
は、処理失敗である）。
【００４８】つまり、上述してある通り、鏡像反転有無
を含めた画像の回転角度は８通りであり、ｎ＝１〜４ま
での各回転角度（0°、90°、180°、270° ）について
の処理で重なり領域が検出されなかったら、ｎ＝４の処
理後に鏡像反転し、ｎ＝５〜８で鏡像反転＋回転角度
（0°、90°、180°、270° ）のケースについても調べ
る（重なり領域が存在しないか捜す）。
【００４９】そして、重なり領域が見つかった場合には
（ステップＳ３３，ＹＥＳ）、そのときの回転角度（0
°、90°、180°、270° のどれか）と鏡像反転有無の
データを出力すると共に、このおおまかに検出した重な
り領域の座標データを出力する。これは、ImgGray1´
（x,y）２１とImgGray2´（x,y）２２でそれぞれ求め
る。例えば、図６に示すような重なり領域が検出された
とすると、例えばImgGray2´（x,y）２２の重なり領域
の座標点は図示の通り（A2'（x1,y1）, B2'（x2, y1）,
C2'（x2, y1）, D2'（x2, y2））が、出力される。
【００５０】このように、入力画像（フルカラー等）を
単一の階調画像データに変換し、更にこれを縮小し、こ
の縮小画像において数画素単位でマッチングを取るよう
にすることで、低メモリ／高速に画像のおおまかな重な
り位置を検出することが可能となる。
【００５１】次に、以下、第二段階の処理（ステップＳ
２２の処理）について詳細に説明する。図７は、ステッ
プＳ２２の処理の詳細フローチャート図である。
【００５２】ステップＳ２２の処理は、引数には、単一
の階調画像データ（ImgGray1（x,y）１１、ImgGray2
（x,y）２１）と、ステップＳ２１より出力される鏡像
反転有無、回転角度、及び重なり領域の座標データを受
け取る。
【００５３】このように、第二段階の処理では、単一の
階調画像データを用いて処理を行う。まず最初に、上記
鏡像反転有無、回転角度、及び重なり領域の座標に基づ
いて、ステップＳ２１で検出した「縮小画像」の重なり
領域を、「単一の階調画像」の重なり領域に対応させ
る。
【００５４】すなわち、まず、鏡像反転させる必要があ
れば（ステップＳ４１，ＹＥＳ）、ImgGray2（x,y）２
１を鏡像反転する（ステップＳ４２）。次に、回転させ
る必要があれば（ステップＳ４３、ＹＥＳ）、ImgGray2
（x,y）２１を上記ステップＳ２１で検出された角度分
だけ回転させる（ステップＳ４４）。
【００５５】そして、ステップＳ４５において、まず、
ステップＳ２１で検出した縮小画像における重なり領域
の座標を、縮小前の画像ImgGray1（x,y）１１、ImgGray
2（x,y）２１における座標に対応させる。これは、仮に
縮小率が“１／ＮＤ”であれば、検出した座標をＮＤ倍
すればよい。図６において、ImgGray2´（x,y）２２の
重なり領域の座標をA2'（x1,y1）, B2'（x2, y1）, C2'
（x2, y1）, D2'（x2,y2）とすると、縮小前の座標はそ
れぞれA2（ND×x1, ND×y1）, B2（ND×x2, ND×y1）,
C2（ND×x2, ND×y1）, D2（ND×x2, ND×y2） となる
（図８（ａ）に示すような、ImgGray2（x,y）２１に対
応させた重なり領域３０が求められる）。
【００５６】次に、 ImgGray2（x,y）２１における座標
に対応させた上記重なり領域３０を、複数の矩形領域に
分割する。ここでは、例えば図８（ｂ）に示す例のよう
に、Ｍ行×Ｎ列の領域（正方形）に分割するものとする
が、矩形領域は長方形、円形などそれ以外の形でも構わ
ない。よって、以下、図示の例では各分割領域の形は正
方形となっているが、正方形領域とは呼ばずに、矩形領
域と呼ぶものとする。
【００５７】次に、分割した矩形領域の中から色差の大
きい濃度成分を多く含む矩形領域（以下、第１の矩形領
域と呼ぶ）を抽出する（ステップＳ４６）。これは、例
えば、各矩形領域を“１／ＮＳ”に縮小し、縮小画像を
差分フィルタにかけ、画像中の線や縁を強調する。次に
輪郭線追跡を行い、線や縁がある一定以上含まれており
且つこれらがある一定以上の長さを持っていれば、この
矩形領域を第１の矩形領域として抽出する。尚、“ある
一定以上”の値は、予め適切と思われる値が設定されて
いるものとする。
【００５８】例えば、図８（ｂ）（図９（ａ））に示す
例では、背景色と図（四角形、三角形、円形）の境界部
分で色差が大きい。よって、このような境界部分を多く
含む矩形領域を抽出していくと、例えば図９（ｂ）で斜
線で示す矩形領域が、第１の矩形領域として抽出され
る。
【００５９】実際の写真画像等では、背景や人物、山、
木、川等それぞれの境界部分で色差が大きいため、この
ような色成分を含む矩形領域が、第１の矩形領域として
抽出されることになる。
【００６０】尚、上記色差の大きさに基づいて抽出する
方法に限るわけではなく、例えば輝度成分を利用した画
像を使用する場合には、輝度差が大きい矩形領域を抽出
する。
【００６１】色差の大きい矩形領域を使用して画像のマ
ッチングを取ると、正確な重なり位置とそうではない位
置とで大きな差がでる。例えば、ハミング距離やユーク
リッド距離等を利用したマッチング方法では、正確な重
なり位置では値が小さくなり、そうでない位置では値が
大きくなる。
【００６２】よって、ステップＳ４６で抽出した第１の
矩形領域は、正確な重なり位置検出の為に用いるのに適
しているが、全て用いる必要はなく、例えばステップＳ
４７で説明するように、その中から幾つかを選択して用
いる。
【００６３】ステップＳ４７においては、ステップＳ４
６にて抽出した第１の矩形領域の中から、正確な重なり
位置検出の為に用いる矩形領域を、上記重なり領域３０
の長手方向（特に、図８における座標A2と座標C2とを結
ぶライン）と平行な方向に選択していく。
【００６４】これを、図９（ｂ）に示す例に対して行な
った場合、図１０（ａ）に示すように、１列目〜３列目
までの各列が抽出されることになり、このような場合に
は第１の矩形領域を最も多く含む列を選択する。
【００６５】但し、図１０（ａ）の例では、向かって右
側の列と左側の列が、同数（６個）の第１の矩形領域を
含むので、このように第１の矩形領域を最も多く含む列
が複数個ある場合には、図８における座標A2と座標C2と
を結ぶラインに最も近い列を選択する。よって、ここで
は図１０（ｂ）に示す様に、向かって左側の列を選択す
ることになる。
【００６６】但し、選択した列に含まれる第１の矩形領
域の数が少ない場合（例えば、予め６個以上必要等と設
定しておく）、他の列からも抽出する。但し、このよう
に複数の列から抽出すると、逆に、正確な重なり位置検
出に使用する矩形領域の数が多くなり過ぎることも考え
られ、この場合、マッチングに要する処理時間が増加す
るため、１つの行から２つ以上の矩形領域を抽出しない
ようにする。このように複数の列から抽出する様子の一
例を、図１１に示す。
【００６７】図１１（ａ）に示す例では、２列目及び３
列目が、抽出された第１の矩形領域（斜線で示す）を最
も多く含む列であるが、とちらもその数は４個と少ない
ので、複数の列から抽出することになる。上記の通り、
１つの行からは２つ以上の第１の矩形領域は抽出しない
ので、１つの行に複数の第１の矩形領域が存在する場合
には、どれか１つを選択する。そして、どの行／列から
抽出したのかを記録する。
【００６８】図示の例では、図１１（ｂ）に示すよう
に、１行１列、２行１列、３行３列、４行３列、８行２
列、９行２列の６個の第１の矩形領域が選択される。一
方、上記の場合とは逆に、選択した列に含まれる第１の
矩形領域の数が多過ぎる場合や、あるいは更に処理時間
を短縮したい場合には、その列に含まれる第１の矩形領
域の数を減らすようにしてもよい。但し、減らした結
果、その列に含まれる第１の矩形領域が、列の上半分や
下半分にかたまらないようにして、削減する第１の矩形
領域を選択する（上下に幅広く選択する）。
【００６９】次に、上記第１の矩形領域の中から選択さ
れた矩形領域毎に、ImgGray1（x,y）１１ とのずれを検
出する（ステップＳ４８）。これは、上記第一段階の処
理（ ステップＳ２１）で検出した“おおまかな重なり
位置”から前後左右に１画素ずつずらしながらマッチン
グを取り、正確な重なり位置を検出する。マッチング手
法自体は、ステップＳ２１と同様の方法を用いる。
【００７０】ここで、もし傾きが存在するならば、上記
矩形領域毎に検出した正確な重なり位置は、“おおまか
な重なり位置”から左右（上下）方向にズレることにな
る。例えば、図１２に示すように、元々スキャンした際
に、第１の画像に対して第２の画像がθ°傾いていた場
合、その縮小画像を用いたステップＳ２１の処理では、
傾きを考慮せずに全体として“距離が最小となる”位置
を求めている為、例えば図１３に示すように、傾きに応
じたズレが生じることになる。
【００７１】図１３の例では、傾きによって、円→四角
→三角の順にズレが大きくなっていっている。一方、上
記矩形領域毎にマッチングする場合には、このような傾
きによるズレは生じないので、各矩形領域毎にほぼ正確
な重なり位置を検出できる。
【００７２】以上のことから、もし第２の画像が傾いて
いる場合には、矩形領域毎に検出した正確な重なり位置
は、“おおまかな重なり位置”から左右（上下）方向に
ずれる。図１４に示す例のように、第２の画像が第１の
画像に対して時計回りの方向に傾いている場合、図１０
の１行目近くから抽出した矩形領域（三角の図形の部
分）は大きく右にずれるが、Ｍ行目近くから抽出した矩
形領域（円の図形の部分）のずれは少ない。図１４に示
すように、ブロック（矩形領域）の左右（上下）方向へ
のずれが比例して変化すれば、ImgGray2（x,y）２１が
θ°傾いていることが分かる。
【００７３】以上のことより、まず、ステップＳ４８に
おいて、各矩形領域毎にズレを検出し、この検出したず
れの大きさをＸ,Ｙ軸上にプロットする。そして、ステ
ップＳ４８の処理結果を用いて、ステップＳ４９におい
て、直線の傾きを回帰分析等の手法を利用して算出する
ことで、ImgGray1（x,y）１１に対するImgGray2（x,y）
２１の相対的な傾きを求めることができる。
【００７４】このように矩形領域を上記重なり領域３０
の長手方向（特に、図８における座標A2と座標C2とを結
ぶライン）と平行な方向に選択し、矩形領域毎に第１の
画像とのずれの量を計算することで、第２の画像の相対
的な傾きの大きさを計算することができる。
【００７５】例えば、回帰分析を利用した画像の傾きの
算出方法の一例を、以下に説明する。図１４には、第一
の重なり位置検出で求めた重なり領域の元座標（黒四角
で示す）、正確な重なり位置検出で求めた矩形領域の座
標（バツで示す）を示してある。ここで、求める直線の
式を、 ｙ（ｘ）＝ａｘ＋ｂとする（ａ；直線の傾き、ｂ；切
片）。
【００７６】次に、正確な重なり位置検出で求めた座標
と元座標とのズレをそれぞれ（ｘｉ，ｆｉ）（ｉ＝１、
２、・・・、ｎ）とする。ｎは、矩形領域の数を表し、
ここではｎ＝３となる。
【００７７】各点におけるｆｉとｙ（ｘｉ）との残差を
ｅ（ｘｉ）＝ｙ（ｘｉ）−ｆｉ＝（ａｘｉ＋ｂ）−ｆｉ （ｉ＝１、２、・・・、ｎ）とすると、残差の二乗和Ｊ
は、
【００７８】
【数１】
【００７９】となる。Ｊを評価関数とし、Ｊが最小にな
るようにａ，ｂの値を定めれば良い。つまり、Ｊをａ，
ｂに関してそれぞれ以下のように偏微分する。
【００８０】
【数２】
【００８１】上記２つの式からａを計算すれば、直線の
傾きを求めることができる。更に、傾き角度をθとする
と、アークタンジェントを用いて、直線の傾きａからθ
を求めることができる。
【００８２】次に、ステップＳ５０において、２つの画
像の正確な重なり位置を検出する。ImgGray1（x,y）１
１に対するImgGray2（x,y）２１の相対的な傾きがなけ
れば、矩形領域毎に検出したずれから、正確な重なり位
置を検出する（ステップＳ５０）。ImgGray1（x,y）１
１と矩形領域とのマッチングを取った結果、距離が最小
となる矩形領域を重なり位置とする。
【００８３】ステップＳ４８、Ｓ４９の処理を行なわな
い場合には、図１２が示すように、ステップＳ４７で抽
出した矩形領域毎に、正確な重なり位置を検出する（ス
テップＳ５０）。これは、各矩形領域を、ステップ２１
で検出した重なり位置から前後左右に１画素ずつずらし
ながら、ImgGrya1（x,y）１１と画素のマッチングを取
る。マッチング手法自体は、ステップ２１と同様の方法
を用いるが、矩形領域毎に正確な重なり位置が算出され
る。例えばハミング距離やユークリッド距離等を用いる
場合、最小の計算結果がでた位置を“正確な重なり位
置”とする。また、あるしきい値を設け、それ以下であ
る矩形領域から算出した重なり位置の平均を取っても良
い。
【００８４】以上の処理により、第１の画像に対して第
２の画像が相対的に傾いていたとしても、２つの画像の
正確な重なり位置を検出することができ、この検出結果
を第三段階の処理（ステップＳ２３）に対して出力す
る。
【００８５】次に、ステップＳ５１〜Ｓ５３の処理によ
り、２つの画像の結合面（つなぎ目となる領域；合成処
理を行う領域）を求める。従来では、上記ステップＳ４
６等で抽出した色差の大きい領域をマッチング処理に用
いると共に結合面として用いていたが、そのようにする
と、以下に述べる問題があった。
【００８６】すなわち、例えば画像の傾きを完全に補正
できなかった場合等には、色差の大きい領域を結合面に
用いて２つの画像を結合すると、画像のつなぎ目が目立
つといった問題がある。
【００８７】これに対し、本例では、以下に説明するよ
うに、色差の小さい領域を結合面として用いるようにす
ることで、結合面が完全に一致しなくても、画像のつな
ぎ目を目立たなくすることができる。
【００８８】まず、色差の小さい濃度成分を多く含む矩
形領域（以下、第２の矩形領域と呼ぶ）を抽出する（ス
テップＳ５１）。これは、各矩形領域を“１／ＮＳ”に
縮小し、縮小画像を差分フィルタにかけ、画像中の線や
縁を強調する。そして、線や縁をある一定値以下しか持
っておらず且つそれがある一定値以下の長さである領域
を、合成処理領域の候補となる矩形領域として抽出す
る。すなわち、分割した矩形領域の中から色差の小さい
濃度成分を多く含む矩形領域を、結合面に用いる領域の
候補（第２の矩形領域）として抽出する。尚、上記“一
定値”は、予め、適宜設定しておくものとする。
【００８９】図１６、図１７に示す例では、背景色と図
（四角形、三角形、円形）の境界部分では色差が大きい
ため、基本的には、このような境界部分を含む矩形領域
以外の矩形領域（図１６、図１７で斜線で示す部分）
が、第２の矩形領域として抽出されることになる。実際
の写真画像等では、背景色など色差の小さい部分が抽出
されることになる場合が多い。尚、図１６、図１７に
は、結合面に用いる矩形領域抽出の様子を分かり易くす
るために、重なり領域３０とは別の例の重なり領域４０
を示してある。
【００９０】次にステップＳ５２において、ステップＳ
５１にて抽出した第２の矩形領域の中から、さらに上記
重なり領域３０の長手方向（特に、図８における座標A2
と座標C2とを結ぶライン）と平行な方向に領域を選択し
ていく。
【００９１】これは、図１６に示す例では、色差の小さ
い濃度成分を多く含む矩形領域（第２の矩形領域）を最
も多く含む列（３列目）が、結合面に用いる領域として
抽出される（図示の網かけで示す領域）。
【００９２】但し、図１６に示す例のように、３列目に
おける全ての“行”に「色差の小さい濃度成分を多く含
む矩形領域」が存在する場合は良いが、そうでない場
合、例えば、図１７に示す例のようにメインとなる列
（４列目）のように上記第２の矩形領域が存在しない
“行”が存在する場合、この“行”については左右隣の
列から抽出する（これより、図１７で網かけで示す領域
が、結合面に用いる領域として抽出される）。
【００９３】すなわち、上記ステップＳ５１で抽出しス
テップＳ５２で選択する矩形領域は、結合面として使用
するため、すべての行から抽出する必要があり、さらに
上下方向に連続する必要があるため、列の中に色差の小
さい濃度成分を多く含む矩形領域が含まれていない
“行”があるならば、その“行”については左右隣の列
から抽出する。例えば図１７に示す例では、色差の小さ
い濃度成分を多く含む矩形領域を最も多く含む列は、４
列目ということになるが、４列目における３、４、７、
８行目には「色差の小さい濃度成分を多く含む矩形領
域」が含まれていないので、その左右隣の列（すなわ
ち、３列目と５列目）から抽出する。その結果、ステッ
プＳ５２で選択される矩形領域は、図１７では図示の網
かけで示す領域ということになる。その際、何行／何列
の矩形領域を抽出したのかを記憶しておく。
【００９４】更に、左右隣の列にも「色差の小さい濃度
成分を多く含む矩形領域」がなければ、色差の大きい濃
度成分をある一定値以上含む矩形領域を選択してもよ
い。上記のようにする理由は、結合面として用いる矩形
領域が不連続になると、不連続部分で合成処理がかけら
れないため、つなぎ目が目立ってしまうからである。
【００９５】最後にステップＳ５３において、ステップ
Ｓ５２にて抽出した連続領域を、２つの画像の結合面
（つなぎ目）として決定する。そして、第三段階の処理
（ステップＳ２３）では、上記メモリに格納しておいた
スキャン画像（第１の画像、第２の画像；例えばフルカ
ラー）を読み出して、上記ステップＳ２１、Ｓ２２の処
理により検出した 1）鏡像反転有無、2）回転角度、3）
傾きを用いて第１の画像、第２の画像の結合位置を補正
する。
【００９６】そして、上記ステップＳ５０とステップＳ
５３とでそれぞれ求めた「正確な重なり位置」と「結合
面として用いる矩形領域」とを用いて（例えば図１９に
示すように求められている）、２つの画像を結合する。
【００９７】特に「色差の小さい濃度成分を多く含む矩
形領域」を結合面として用いて合成処理を行うことで
（例えば図２０に示すように）、つなぎ目を目立たせず
に２つの画像を結合することができる。
【００９８】第三段階の処理（ステップＳ２３）では、
引数に、上記メモリに格納した入力画像データ（第１の
画像データ、第２の画像データ；例えばフルカラー）、
図２のステップＳ２１において検出した鏡像反転有無・
回転角度、ステップＳ２２において検出した２つの画像
の正確な重なり位置、傾き角度、の各データを受け取
る。
【００９９】そして、詳しくは以下にステップＳ６１〜
Ｓ７１の処理として述べるが、概略的には、上記鏡像反
転有無、回転角度、傾き角度により補正しながら、２つ
の入力画像を、上記検出した正確な重なり位置で結合す
る。鏡像反転する場合は、画素の左右の座標を変換しな
がら結合する。回転と傾きを補正する場合は、回転式
（行列式）を用いて、画素の座標を変換しながら結合す
る。
【０１００】その際、上記結合面として用いられる矩形
領域各々の領域の中で、合成処理を行う。合成処理は、
上記各矩形領域毎に第１の画像１０と第２の画像２０の
画素の平均を取る。また、平均ではなく、第１の画像１
０と第２の画像２０に重み付けをとってもよい。そし
て、結合した画像を出力する。
【０１０１】図１８は、第三段階（図２のステップＳ２
３）の処理の詳細フローチャート図である。まず、上記
ステップＳ２１、Ｓ２２で検出した回転角度（ここで
は、回転角度（０°／９０°／１８０°／２７０°）の
データを用いる）をrotate、傾き角度をskewとし、２つ
の角度の和を取る（θ＝rotate＋skew とする）（ ステ
ップＳ６１）。
【０１０２】ここで、θは、第２の画像の補正角度であ
る。尚、rotate、skewは‘０’でも構わない。次に、鏡
像反転有りか否かを判定し（ステップＳ６２）、鏡像補
正する必要があれば（ステップＳ６２，ＹＥＳ）、mirr
or_flag ＝‘１’とし（ステップＳ６３）、そうでなけ
れば（ステップＳ６２，ＮＯ）、mirror_flag ＝‘０’
とする（ステップＳ６４）。
【０１０３】そして、以下のステップＳ６５〜Ｓ７１の
処理により、２つの画像の結合画像を作成する。以下の
処理の前に、予め、結合画像のメモリ領域を確保してお
き、第１の画像１０と第２の画像２０の値をコピーして
いく。結合画像のサイズは、検出した重なり位置でそれ
ぞれ２つの画像を分割し、結合面に使用する矩形領域を
重ね合わせることで求めることができる。図１９に示す
ように、向かって結合面の左側が第１の画像１０の領
域、右側が第２の画像２０の領域となる。
【０１０４】ｉは、結合画像の画素のアドレスを表し、
ｎは総画素数を表す。ｉが総画素数total_num を超えれ
ば（ステップＳ６５，ＮＯ）、本処理を終了し、超えな
ければ（ステップＳ６５，ＹＥＳ）データのコピーを続
ける。
【０１０５】ｉが第１の画像１０の領域であれば（ステ
ップＳ６６，ＹＥＳ）、第１の画像データからその画素
値をコピーする（ステップＳ６７）。ここで、θ！＝０
であれば、回転した座標の画素値、さらに画像が鏡像反
転していれば鏡像補正した座標の画素値を求める必要が
ある。回転座標の検出には、以下の式を使用する。
【０１０６】 ｘ１＝Ｘ１×cosθ−Ｙ１×sinθ ｙ１＝Ｘ１×sinθ＋Ｙ１×cosθ （Ｘ１，Ｙ１）は結合画像の中における第１の画像の座
標値を表し、（ｘ１，ｙ１）は第１の画像の座標値とす
る。鏡像反転している場合には （Ｘ１，Ｙ１）＝（−Ｘ１，Ｙ１） とすれば良い。
【０１０７】θ＝０であれば、 ｘ１＝Ｘ１ ｙ１＝Ｙ１ とする。
【０１０８】一方、ｉが第２の画像２０の領域であれば
（ステップＳ６８，ＹＥＳ）、上記ステップＳ６７の処
理内容と同様の処理により、第２の画像データからその
画素値をコピーする（ステップＳ６９）。
【０１０９】ｉが第２の画像２０の領域でもない場合
（ステップＳ６８，ＮＯ）とは、すなわち、ｉが上記ス
テップＳ５２にて抽出した「結合面として用いる矩形領
域」内にある画素ということであり、この場合には、以
下に説明するように、第１の画像の画素値と第２の画像
の画素値とから、合成画像の画素値を決定する（合成処
理を行う）。
【０１１０】第１の画像の画素値をvalue1、第２の画像
の画素値をvalue2、各々の係数を、va1、va2とすると、
合成画像の画素値Ｍは以下の式により算出する。 Ｍ＝va1×value1＋va2×value2 （但し、係数va1、va2は、va1＋va2＝１を満たす値とす
る） そして、ステップＳ７１においてｉの値をインクリメン
トし、次の画素について上述した処理を繰り返し行なっ
ていく。
【０１１１】以上述べたように、本例の画像結合装置に
よれば、スキャナ幅を超える写真や紙面、図柄等を複数
回に分けて画像を入力する場合であって、ユーザがハン
ドヘルドスキャナ等を用いて上下左右どちらの方向から
画像を読み込むか分からない場合であっても、特別のハ
ードウェアを追加する必要なく、高速に（且つ処理に必
要なメモリ容量を削減し）自動的に２つの画像を結合す
ることができる。また、つなぎ目が目立たないようにで
きる。
【０１１２】図２１は、本実施の形態による画像結合装
置を実現する情報処理装置のハードウェア構成の一例を
示す図である。本実施の形態による画像結合装置を実現
する情報処理装置は、上記の通り、パソコン（特にノー
ト型パソコン）、ＰＤＡ／ハンドヘルドＰＣ等の携帯型
情報処理装置等である。
【０１１３】同図に示す情報処理装置５０は、ＣＰＵ５
１、メモリ５２、入力装置５３、出力装置５４、外部記
憶装置５５、媒体駆動装置５６、ネットワーク接続装置
５７、画像入力装置６０等を有し、これらがバス５８に
接続された構成となっている。同図に示す構成は一例で
あり、これに限るものではない。
【０１１４】ＣＰＵ５１は、当該情報処理装置５０全体
を制御する中央処理装置である。メモリ５２は、プログ
ラム実行、データ更新等の際に、外部記憶装置５５（あ
るいは可搬記憶媒体５９）に記憶されているプログラム
あるいはデータを一時的に格納するＲＡＭ等のメモリで
ある。ＣＰＵ５１は、メモリ５２に読み出したプログラ
ム／データを用いて、上述してある各種処理を実行す
る。
【０１１５】入力装置５３は、例えば、キーボード、マ
ウス、あるいは「タッチパネル＋ペン」や音声入力／識
別装置等である。出力装置５４は、ディスプレイ等であ
る。
【０１１６】外部記憶装置５５は、例えば磁気ディスク
装置、光ディスク装置、光磁気ディスク装置等であり、
上述してきた画像結合装置としての各種機能を実現させ
る為のプログラム／データ等が格納されている。
【０１１７】媒体駆動装置５６は、可搬記憶媒体５９に
記憶されているプログラム／データ等を読み出す。可搬
記憶媒体５９は、例えば、ＦＤ（フロッピー（登録商
標）ディスク）、ＣＤ−ＲＯＭ、その他、ＤＶＤ、光磁
気ディスク等である。
【０１１８】ネットワーク接続装置５７は、ネットワー
クに接続して、外部の情報処理装置とプログラム／デー
タ等の送受信を可能にする構成である。画像入力装置６
０は、例えば上記ハンドヘルドスキャナ等である。
【０１１９】図２２は、記録媒体の一例を示す図であ
る。図示のように、上記プログラム／データは、可搬記
憶媒体５９に記憶されているプログラム／データ等を、
情報処理装置側にロードして、メモリ５２に格納し実行
するものであってもよいし、また、上記プログラム／デ
ータは、ネットワーク接続装置５７により接続している
ネットワーク（インターネット等）を介して、外部の情
報提供者側の装置６１の記憶装置６２に記憶されている
プログラム／データをダウンロードするものであっても
よい。
【０１２０】本発明は、上記プログラム／データを格納
した記憶媒体（可搬記憶媒体５９等）自体として構成す
ることもできるし、上記プログラム／データを伝送させ
るネットワーク（伝送媒体）自体として構成することも
できるし、ダウンロードする際にこの伝送媒体を介して
伝送される伝送信号自体として構成することもできる。
【０１２１】（付記１） 入力機器より複数回に分けて
読み込んだ入力画像を結合する装置であって、前記読み
込んだ複数の入力画像データよりデータ量を少なくした
画像データを作成し、該作成した画像データを用いて前
記複数の入力画像の結合位置関係とおおまかな重なり領
域を検出する第一の重なり位置検出手段と、該第一の重
なり位置検出手段により検出された結合位置関係とおお
まかな重なり領域とに基づいて、前記複数の入力画像を
結合する画像結合手段と、を有することを特徴とする画
像結合装置。 （付記２） 入力機器より複数回に分けて読み込んだ入
力画像を結合する装置であって、前記読み込んだ複数の
入力画像データのおおまかな重なり領域を検出する第一
の重なり位置検出手段と、該第一の重なり位置検出手段
により検出されたおおまかな重なり領域を複数の矩形領
域に分割し、該分割した短形領域の中から、正確な重な
り位置検出に用いる短形領域と、結合面として用いる矩
形領域とを抽出する第二の重なり位置検出手段と、該第
二の重なり位置検出手段により検出された前記正確な重
なり位置検出に用いる短形領域を用いて、前記複数の入
力画像の正確な重なり位置を決定すると共に、前記結合
面として用いる矩形領域において前記複数の入力画像を
合成処理し、該複数の画像を結合する画像結合手段と、
を有することを特徴とする画像結合装置。 （付記３） 入力機器より複数回に分けて読み込んだ入
力画像を結合する装置であって、前記読み込んだ複数の
入力画像データを一時的に記憶すると共に、該入力画像
データのデータ量を少なくした画像データを作成し、該
作成した画像データを用いて前記複数の入力画像の結合
位置関係とおおまかな重なり領域を検出する第一の重な
り位置検出手段と、前記読み込んだ各入力画像データを
単一の色成分を持つ階調画像に変換した階調画像データ
を用い、該階調画像データにおいて前記第一の重なり位
置検出手段により検出されたおおまかな重なり領域に対
応する領域を、複数の矩形領域に分割し、該複数の短形
領域の中から、正確な重なり位置検出に用いる短形領域
と、画像の結合面に用いる矩形領域とを抽出する第二の
重なり位置検出手段と、前記読み込んだ各入力画像デー
タを用い、該第二の重なり位置検出手段により検出され
た前記正確な重なり位置検出に用いる短形領域を用い
て、前記複数の入力画像の正確な重なり位置を決定する
と共に、前記画像の結合面に用いる矩形領域において前
記複数の入力画像を合成処理し、該複数の画像を結合す
る画像結合手段と、を有することを特徴とする画像結合
装置。 （付記４） 前記データ量を少なくした画像データは、
前記入力画像データを、単一の色成分を持つ階調画像に
変換した後、該単一の色成分を持つ階調画像を幾何学的
に縮小して成る縮小画像であることを特徴とする付記１
〜３の何れかに記載の画像結合装置。 （付記５） 前記結合位置関係は、前記複数の入力画像
の一方の入力画像に対する他方の入力画像の鏡像反転有
無及び／または回転角度であることを特徴とする付記１
〜４の何れかに記載の画像結合装置。 （付記６） 前記正確な重なり位置検出に用いる短形領
域は、色差の大きい濃度成分を多く含む矩形領域の中か
ら選択された矩形領域であり、前記画像の結合面に用い
る矩形領域は、色差の小さい濃度成分を多く含む矩形領
域の中から選択された矩形領域であることを特徴とする
付記２または３記載の画像結合装置。 （付記７） 前記第二の重なり位置検出手段は、更に、
前記おおまかな重なり位置と、前記正確な重なり位置検
出に用いる矩形領域を用いた正確な重なり位置とのずれ
に基づいて、回帰分析手法を利用して、前記複数の入力
画像の相対的な傾きを算出することを特徴とする付記２
または３記載の画像結合装置。 （付記８） 入力機器より複数回に分けて読み込んだ入
力画像を結合する方法であって、前記読み込んだ複数の
入力画像データよりデータ量を少なくした画像データを
作成し、該作成した画像データを用いて前記複数の入力
画像の結合位置関係とおおまかな重なり領域を検出し、
該検出された結合位置関係とおおまかな重なり領域とに
基づいて、前記複数の入力画像を結合することを特徴と
する画像結合方法。 （付記９） 入力機器より複数回に分けて読み込んだ入
力画像を結合する方法であって、前記読み込んだ複数の
入力画像データのおおまかな重なり領域を検出し、該検
出されたおおまかな重なり領域を複数の矩形領域に分割
し、該分割した短形領域の中から、正確な重なり位置検
出に用いる短形領域と、結合面として用いる矩形領域と
を抽出し、該検出された正確な重なり位置検出に用いる
短形領域を用いて、前記複数の入力画像の正確な重なり
位置を決定すると共に、前記結合面として用いる矩形領
域において前記複数の入力画像を合成処理し、該複数の
画像を結合することを特徴とする画像結合方法。 （付記１０） 入力機器より複数回に分けて読み込んだ
入力画像を結合する方法であって、前記読み込んだ複数
の入力画像データを一時的に記憶すると共に、該入力画
像データのデータ量を少なくした画像データを作成し、
該作成した画像データを用いて前記複数の入力画像の結
合位置関係とおおまかな重なり領域を検出し、前記読み
込んだ各入力画像データを単一の色成分を持つ階調画像
に変換した階調画像データを用い、該階調画像において
前記検出されたおおまかな重なり領域に対応する領域
を、複数の矩形領域に分割し、該複数の短形領域の中か
ら、正確な重なり位置検出に用いる短形領域と、画像の
結合面に用いる矩形領域とを抽出し、前記読み込んだ各
入力画像データを用い、前記抽出された正確な重なり位
置検出に用いる短形領域を用いて、該複数の入力画像の
正確な重なり位置を決定すると共に、前記画像の結合面
に用いる矩形領域において該複数の入力画像を合成処理
し、該複数の画像を結合することを特徴とする画像結合
方法。 （付記１１） コンピュータにおいて用いられたとき、
入力機器により複数回に分けて読み込んだ画像を入力す
る機能と、該複数の入力画像データよりデータ量を少な
くした画像データを作成し、該作成した画像データを用
いて前記複数の入力画像の結合位置関係とおおまかな重
なり領域を検出する機能と、該検出された結合位置関係
とおおまかな重なり領域とに基づいて、前記複数の入力
画像を結合する機能と、を実現させるプログラムを記録
した前記コンピュータ読取り可能な記録媒体。 （付記１２） コンピュータにおいて用いられたとき、
入力機器により複数回に分けて読み込んだ画像を入力す
る機能と、該複数の入力画像データのおおまかな重なり
領域を検出する機能と、該検出されたおおまかな重なり
領域を複数の矩形領域に分割し、該分割した短形領域の
中から、正確な重なり位置検出に用いる短形領域と、結
合面として用いる矩形領域とを抽出する機能と、該検出
された正確な重なり位置検出に用いる短形領域を用い
て、前記複数の入力画像の正確な重なり位置を決定する
と共に、前記結合面として用いる矩形領域において前記
複数の入力画像を合成処理し、該複数の画像を結合する
機能と、を実現させるプログラムを記録した前記コンピ
ュータ読取り可能な記録媒体。 （付記１３） コンピュータにおいて用いられたとき、
入力機器により複数回に分けて読み込んだ画像を入力す
る機能と、前記読み込んだ複数の入力画像データを一時
的に記憶すると共に、該入力画像データのデータ量を少
なくした画像データを作成し、該作成した画像データを
用いて前記複数の入力画像の結合位置関係とおおまかな
重なり領域を検出する機能と、前記読み込んだ各入力画
像データを単一の色成分を持つ階調画像に変換した階調
画像データを用い、該階調画像において前記検出された
おおまかな重なり領域に対応する領域を、複数の矩形領
域に分割し、該複数の短形領域の中から、正確な重なり
位置検出に用いる短形領域と、画像の結合面に用いる矩
形領域とを抽出する機能と、前記読み込んだ各入力画像
データを用い、前記抽出された正確な重なり位置検出に
用いる短形領域を用いて、該複数の入力画像の正確な重
なり位置を決定すると共に、前記画像の結合面に用いる
矩形領域において該複数の入力画像を合成処理し、該複
数の画像を結合する機能と、を実現させるプログラムを
記録した前記コンピュータ読取り可能な記録媒体。 （付記１４） コンピュータに、入力機器により複数回
に分けて読み込んだ画像を入力する機能と、該複数の入
力画像データよりデータ量を少なくした画像データを作
成し、該作成した画像データを用いて前記複数の入力画
像の結合位置関係とおおまかな重なり領域を検出する機
能と、該検出された結合位置関係とおおまかな重なり領
域とに基づいて、前記複数の入力画像を結合する機能
と、を実現させるためのプログラム。 （付記１５） コンピュータに、入力機器により複数回
に分けて読み込んだ画像を入力する機能と、該複数の入
力画像データのおおまかな重なり領域を検出する機能
と、該検出されたおおまかな重なり領域を複数の矩形領
域に分割し、該分割した短形領域の中から、正確な重な
り位置検出に用いる短形領域と、結合面として用いる矩
形領域とを抽出する機能と、該検出された正確な重なり
位置検出に用いる短形領域を用いて、前記複数の入力画
像の正確な重なり位置を決定すると共に、前記結合面と
して用いる矩形領域において前記複数の入力画像を合成
処理し、該複数の画像を結合する機能と、を実現させる
ためのプログラム。 （付記１６） コンピュータに、入力機器により複数回
に分けて読み込んだ画像を入力する機能と、前記読み込
んだ複数の入力画像データを一時的に記憶すると共に、
該入力画像データのデータ量を少なくした画像データを
作成し、該作成した画像データを用いて前記複数の入力
画像の結合位置関係とおおまかな重なり領域を検出する
機能と、前記読み込んだ各入力画像データを単一の色成
分を持つ階調画像に変換した階調画像データを用い、該
階調画像において前記検出されたおおまかな重なり領域
に対応する領域を、複数の矩形領域に分割し、該複数の
短形領域の中から、正確な重なり位置検出に用いる短形
領域と、画像の結合面に用いる矩形領域とを抽出する機
能と、前記読み込んだ各入力画像データを用い、前記抽
出された正確な重なり位置検出に用いる短形領域を用い
て、該複数の入力画像の正確な重なり位置を決定すると
共に、前記画像の結合面に用いる矩形領域において該複
数の入力画像を合成処理し、該複数の画像を結合する機
能と、を実現させるためのプログラム。
【０１２２】
【発明の効果】以上、詳細に説明したように、本発明の
画像結合装置、その方法等によれば、一方の画像に対し
他方の画像が相対的に鏡像反転かつ/または回転する場
合であっても、画像入力機器の移動量や進行方向を検出
するハードウェアを利用せずに、高速に自動的に２つの
画像を結合することができる。且つ、処理に必要なメモ
リ容量を削減できる。これは、特に、入力画像がフルカ
ラー画像である場合に顕著な効果を奏する。
【０１２３】また、本発明の画像結合装置、その方法等
によれば、２つの画像のつなぎ目が目立たないようにで
きる。以上のことから、本発明はハンドヘルドヘルドス
キャナ等による画像入力の操作性およびユーザインタフ
ェースの改善に寄与するところが大きい。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】本実施の形態による画像結合装置における処理
全体を概略的に示すフローチャート図である。
【図３】縮小画像作成のイメージを示す図である。
【図４】図２のステップＳ２１の処理の詳細フローチャ
ート図である。
【図５】縮小画像を用いて、おおまかな重なり領域を検
出する様子を示す図である。
【図６】縮小画像を用いて検出したおおまかな重なり領
域の座標データの一例を示す図である。
【図７】図２のステップＳ２２の処理の詳細フローチャ
ート図である。
【図８】（ａ）はImgGray2（x,y） に対応させた重なり
領域、（ｂ）はそれを複数の矩形領域に分割した状態を
示す図である。
【図９】（ａ）は複数の矩形領域に分割した重なり領
域、（ｂ）はそれから色差の大きな濃度成分を含む矩形
領域を抽出した例を示す図である。
【図１０】抽出した矩形領域の中から、正確な重なり位
置検出の為に用いる矩形領域を、重なり領域の長手方向
と平行な方向に選択する様子を示す図である。
【図１１】正確な重なり位置検出の為に用いる矩形領域
を、複数の列から選択する様子を示す図である。
【図１２】第１の画像に対して第２の画像が傾いている
場合の様子を示す図である。
【図１３】傾きがある場合において、縮小画像を用い
て、おおまかな重なり領域を検出した場合にずれが生じ
る様子を示す図である。
【図１４】回帰分析を利用した傾き角度の検出方法を説
明する為の図である。
【図１５】正確な重なり位置検出の為に用いる矩形領域
を用いて、この矩形領域毎に正確な重なり位置を検出す
る様子を示した図である。
【図１６】結合面に用いる矩形領域を抽出する様子を示
す図である。
【図１７】結合面に用いる矩形領域を、隣接する列から
も抽出する様子を示す図である。
【図１８】図２のステップＳ２３の処理の詳細フローチ
ャート図である。
【図１９】正確な重なり位置検出に使用した領域／結合
面に用いる領域を示す図である。
【図２０】結合面においてつなぎ目が目立たないように
合成処理が行なわれて２つの画像が結合された様子を示
す図である。
【図２１】本実施の形態による画像結合装置を実現する
情報処理装置のハードウェア構成の一例を示す図であ
る。
【図２２】記録媒体の一例を示す図である。
【図２３】ユーザの操作に応じて２つの画像の結合位置
関係が変わる様子を示す図（その１）である。
【図２４】ユーザの操作に応じて２つの画像の結合位置
関係が変わる様子を示す図（その２）である。
【図２５】画像が鏡像反転する例を示す図である。
【図２６】ユーザの操作に応じて、一方の画像に対して
他方の画像が回転する場合を説明する為の図である。
【図２７】図２６の場合に対して、２つの画像の重なり
位置を検出する様子を示す図である。
【符号の説明】
１ 第一段階（おおまかな重なり位置検出） ２ 第二段階（正確な重なり位置検出） ３ 第三段階（結合処理） ４ 入力機器 ５ 出力画像 １０ 第１の画像 １１ ImgGray1（x,y） １２ ImgGray1'（x,y） ２０ 第２の画像 ２１ ImgGray2（x,y） ２２ ImgGray2'（x,y） ３０ 重なり領域 ４０ 重なり領域 ５０ 情報処理装置 ５１ ＣＰＵ ５２ メモリ ５３ 入力装置 ５４ 出力装置 ５５ 外部記憶装置 ５６ 媒体駆動装置 ５７ ネットワーク接続装置 ５８ バス ５９ 可搬記録媒体 ６０ 画像入力装置 ６１ 外部の情報提供者側の装置 ６２ 記憶装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山口 伸康 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 野田 嗣男 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5B047 AA01 AB04 BA03 BC23 CB09 CB23 DC09 5B057 AA11 BA02 BA11 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD04 CD05 CE10 CE16 CH20 DA07 DB02 DB06 DB09 DC32 DC36 5C072 AA01 BA03 BA10 PA04 UA11 UA18 UA20 5C076 AA19 AA22 AA24 AA26 BA06 BB07 5C079 HB01 HB11 JA01 LA37 LB11 MA02 NA10 NA11 PA00

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 入力機器より複数回に分けて読み込んだ
    入力画像を結合する装置であって、 前記読み込んだ複数の入力画像データよりデータ量を少
    なくした画像データを作成し、該作成した画像データを
    用いて前記複数の入力画像の結合位置関係とおおまかな
    重なり領域を検出する第一の重なり位置検出手段と、 該第一の重なり位置検出手段により検出された結合位置
    関係とおおまかな重なり領域とに基づいて、前記複数の
    入力画像を結合する画像結合手段と、 を有することを特徴とする画像結合装置。
  2. 【請求項２】 入力機器より複数回に分けて読み込んだ
    入力画像を結合する装置であって、 前記読み込んだ複数の入力画像データのおおまかな重な
    り領域を検出する第一の重なり位置検出手段と、 該第一の重なり位置検出手段により検出されたおおまか
    な重なり領域を複数の矩形領域に分割し、該分割した短
    形領域の中から、正確な重なり位置検出に用いる短形領
    域と、結合面として用いる矩形領域とを抽出する第二の
    重なり位置検出手段と、 該第二の重なり位置検出手段により検出された前記正確
    な重なり位置検出に用いる短形領域を用いて、前記複数
    の入力画像の正確な重なり位置を決定すると共に、前記
    結合面として用いる矩形領域において前記複数の入力画
    像を合成処理し、該複数の画像を結合する画像結合手段
    と、 を有することを特徴とする画像結合装置。
  3. 【請求項３】 入力機器より複数回に分けて読み込んだ
    入力画像を結合する装置であって、 前記読み込んだ複数の入力画像データを一時的に記憶す
    ると共に、該入力画像データのデータ量を少なくした画
    像データを作成し、該作成した画像データを用いて前記
    複数の入力画像の結合位置関係とおおまかな重なり領域
    を検出する第一の重なり位置検出手段と、前記読み込ん
    だ各入力画像データを単一の色成分を持つ階調画像に変
    換した階 調画像データを用い、該階調画像データにおいて前記第
    一の重なり位置検出手段により検出されたおおまかな重
    なり領域に対応する領域を、複数の矩形領域に分割し、
    該複数の短形領域の中から、正確な重なり位置検出に用
    いる短形領域と、画像の結合面に用いる矩形領域とを抽
    出する第二の重なり位置検出手段と、 前記読み込んだ各入力画像データを用い、該第二の重な
    り位置検出手段により検出された前記正確な重なり位置
    検出に用いる短形領域を用いて、前記複数の入力画像の
    正確な重なり位置を決定すると共に、前記画像の結合面
    に用いる矩形領域において前記複数の入力画像を合成処
    理し、該複数の画像を結合する画像結合手段と、 を有することを特徴とする画像結合装置。
  4. 【請求項４】 前記結合位置関係は、前記複数の入力画
    像の一方の入力画像に対する他方の入力画像の鏡像反転
    有無及び／または回転角度であることを特徴とする請求
    項１〜３の何れかに記載の画像結合装置。
  5. 【請求項５】 前記正確な重なり位置検出に用いる短形
    領域は、色差の大きい濃度成分を多く含む矩形領域の中
    から選択された矩形領域であり、前記画像の結合面に用
    いる矩形領域は、色差の小さい濃度成分を多く含む矩形
    領域の中から選択された矩形領域であることを特徴とす
    る請求項２〜４のいずれかに記載の画像結合装置。
JP2001107532A 2001-04-05 2001-04-05 画像結合装置 Expired - Fee Related JP4551018B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001107532A JP4551018B2 (ja) 2001-04-05 2001-04-05 画像結合装置
US09/962,306 US6885776B2 (en) 2001-04-05 2001-09-26 Image merging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001107532A JP4551018B2 (ja) 2001-04-05 2001-04-05 画像結合装置

Publications (2)

Publication Number Publication Date
JP2002305647A true JP2002305647A (ja) 2002-10-18
JP4551018B2 JP4551018B2 (ja) 2010-09-22

Family

ID=18959841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001107532A Expired - Fee Related JP4551018B2 (ja) 2001-04-05 2001-04-05 画像結合装置

Country Status (2)

Country Link
US (1) US6885776B2 (ja)
JP (1) JP4551018B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216944A (ja) * 2002-01-23 2003-07-31 Fujitsu Ltd 画像結合装置
WO2004077356A1 (ja) * 2003-02-28 2004-09-10 Fujitsu Limited 画像結合装置、画像結合方法
JP2008086017A (ja) * 2006-09-27 2008-04-10 Samsung Electronics Co Ltd パノラマ映像生成装置及び方法
JP2011002892A (ja) * 2009-06-16 2011-01-06 Asahi Koyo Kk モザイク画像生成方法、装置及びプログラム
JP2011150432A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
KR20140074469A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 입력 기기 및 그의 이미지 처리 방법
KR101456496B1 (ko) 2008-11-03 2014-11-03 삼성전자주식회사 스캔 데이터 보정 방법 및 이를 수행하는 화상형성장치
JP2016053978A (ja) * 2015-11-20 2016-04-14 株式会社リコー 画像処理装置

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
ATE453147T1 (de) 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
US6980221B2 (en) * 2001-07-06 2005-12-27 Eastman Kodak Company Method for representing a digital color image using a set of palette colors
US6859210B2 (en) * 2001-07-06 2005-02-22 Eastman Kodak Company Method for representing a digital color image using a set of palette colors based on detected important colors
US6952601B2 (en) * 2002-02-21 2005-10-04 Mobicom Corporation Display for a portable terminal
US7492354B2 (en) * 2002-02-21 2009-02-17 Mochis Investment Llc Input device for a portable terminal
US7343049B2 (en) * 2002-03-07 2008-03-11 Marvell International Technology Ltd. Method and apparatus for performing optical character recognition (OCR) and text stitching
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
JP2004046632A (ja) * 2002-07-12 2004-02-12 Minolta Co Ltd 画像処理装置
JP4310993B2 (ja) * 2002-10-28 2009-08-12 富士ゼロックス株式会社 画像処理装置
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US20050196070A1 (en) * 2003-02-28 2005-09-08 Fujitsu Limited Image combine apparatus and image combining method
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7778493B2 (en) * 2003-10-09 2010-08-17 The Henry M. Jackson Foundation For The Advancement Of Military Medicine Inc. Pixelation reconstruction for image resolution and image data transmission
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
JP3971783B2 (ja) * 2004-07-28 2007-09-05 松下電器産業株式会社 パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
EP1718058A1 (de) * 2005-04-19 2006-11-02 BenQ Corporation Verfahren zum Scannen von Dokumenten
US8487910B2 (en) * 2005-05-02 2013-07-16 Smart Technologies Ulc Large scale touch system and methods for interacting with same
US7551802B2 (en) * 2005-09-22 2009-06-23 Konica Minolta Systems Laboratory, Inc. Map image matching method and apparatus
US7930627B2 (en) * 2005-09-22 2011-04-19 Konica Minolta Systems Laboratory, Inc. Office document matching method and apparatus
TW200719689A (en) * 2005-11-10 2007-05-16 Benq Corp Image processing apparatuses and image merging and output methods thereof
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
CN101197044B (zh) * 2006-12-06 2011-02-02 鸿富锦精密工业（深圳）有限公司 图像合成系统及方法
WO2008128096A2 (en) 2007-04-11 2008-10-23 Next Holdings, Inc. Touch screen system with hover and click input methods
CN101082488B (zh) * 2007-06-30 2011-11-09 徐春云 异地遥测之图像拼接方法
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
KR20100075460A (ko) 2007-08-30 2010-07-02 넥스트 홀딩스 인코포레이티드 저 프로파일 터치 패널 시스템
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8923648B2 (en) * 2008-01-21 2014-12-30 Denso International America, Inc. Weighted average image blending based on relative pixel position
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
JP2010250612A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置及び画像処理方法
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP5573349B2 (ja) * 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
KR20120057692A (ko) * 2010-08-12 2012-06-07 삼성전자주식회사 디스플레이장치 및 영상표시방법
JP5696419B2 (ja) * 2010-09-30 2015-04-08 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US9235925B2 (en) * 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US20130342567A1 (en) * 2012-06-21 2013-12-26 Nokia Corporation Method, apparatus and computer program product for processing of multimedia content
US8837862B2 (en) * 2013-01-14 2014-09-16 Altek Corporation Image stitching method and camera system
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
JP2016066842A (ja) * 2014-09-24 2016-04-28 ソニー株式会社 信号処理回路および撮像装置
US10614321B2 (en) * 2016-03-24 2020-04-07 Nissan Motor Co., Ltd. Travel lane detection method and travel lane detection device
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム
JP6720820B2 (ja) * 2016-10-12 2020-07-08 コニカミノルタ株式会社 情報処理装置及びプログラム
JP6952456B2 (ja) * 2016-11-28 2021-10-20 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
CN111654680A (zh) * 2019-03-04 2020-09-11 安世亚太科技股份有限公司 一种数字光处理光机的投影拼接方法及装置
US20240086495A1 (en) * 2022-09-12 2024-03-14 Thoughtspot, Inc. Auto-Triage Failures In A/B Testing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348159A (ja) * 1999-06-01 2000-12-15 Ricoh Co Ltd 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0567208A (ja) 1991-07-10 1993-03-19 Topcon Corp 画像合成方法と画像撮像装置
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
US6148118A (en) * 1995-07-05 2000-11-14 Minolta Co., Ltd. Image processing apparatus capable of reproducing large-sized document
JPH1069536A (ja) 1996-08-28 1998-03-10 Sharp Corp 画像合成装置
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
JP3773011B2 (ja) 1997-06-20 2006-05-10 シャープ株式会社 画像合成処理方法
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
JP3432736B2 (ja) * 1997-10-29 2003-08-04 シャープ株式会社 画像処理装置
US6516087B1 (en) * 2000-01-10 2003-02-04 Sensar, Inc. Method for real time correlation of stereo images
JP3849385B2 (ja) * 2000-02-03 2006-11-22 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348159A (ja) * 1999-06-01 2000-12-15 Ricoh Co Ltd 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216944A (ja) * 2002-01-23 2003-07-31 Fujitsu Ltd 画像結合装置
WO2004077356A1 (ja) * 2003-02-28 2004-09-10 Fujitsu Limited 画像結合装置、画像結合方法
JP2008086017A (ja) * 2006-09-27 2008-04-10 Samsung Electronics Co Ltd パノラマ映像生成装置及び方法
US8768098B2 (en) 2006-09-27 2014-07-01 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions
KR101456496B1 (ko) 2008-11-03 2014-11-03 삼성전자주식회사 스캔 데이터 보정 방법 및 이를 수행하는 화상형성장치
JP2011002892A (ja) * 2009-06-16 2011-01-06 Asahi Koyo Kk モザイク画像生成方法、装置及びプログラム
JP2011150432A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
US8625928B2 (en) 2010-01-19 2014-01-07 Sony Corporation Information processing apparatus, information processing method, and program therefor
KR20140074469A (ko) * 2012-12-10 2014-06-18 엘지전자 주식회사 입력 기기 및 그의 이미지 처리 방법
KR102001148B1 (ko) * 2012-12-10 2019-10-01 엘지전자 주식회사 입력 기기 및 그의 이미지 처리 방법
JP2016053978A (ja) * 2015-11-20 2016-04-14 株式会社リコー 画像処理装置

Also Published As

Publication number Publication date
JP4551018B2 (ja) 2010-09-22
US6885776B2 (en) 2005-04-26
US20020163530A1 (en) 2002-11-07

Similar Documents

Publication Publication Date Title
JP4551018B2 (ja) 画像結合装置
US6714689B1 (en) Image synthesizing method
JP2005100407A (ja) 複数のソース画像からパノラマ画像を作成するシステム及び方法
JP4799104B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
US20030184778A1 (en) Image processing method, image processing apparatus, computer program product and computer memory product
RU2631765C1 (ru) Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
US20100296140A1 (en) Handheld scanner with high image quality
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2005122320A (ja) 撮影装置、その画像処理方法及びプログラム
JP2007041752A (ja) 画像処理装置
JP2007087346A (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP2006074512A (ja) 撮影装置、撮影装置の画像処理方法及びプログラム
JP3696952B2 (ja) 画像合成装置および方法
JP5541679B2 (ja) 画像処理装置及び方法、並びに、プログラム
JP4269059B2 (ja) 帳票処理プログラム、方法及び装置
JP2001177716A (ja) 画像処理方法と画像処理装置
JP4346742B2 (ja) 画像合成方法、画像合成装置及び記憶媒体
JP4970385B2 (ja) ２次元コード読取装置とそのプログラム
JP4145014B2 (ja) 画像処理装置
JP4696239B2 (ja) 文字列の傾斜補正方法及び装置
JPH1083442A (ja) 画像合成方法
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
JP4591343B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP3437087B2 (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
JP3598039B2 (ja) 図形抽出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100709

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees