JP2011061688A - 画像合成方法及び画像合成装置 - Google Patents

Abstract

【課題】原稿から分割して得られた複数の画像を容易に合成する。
【解決手段】画像合成装置は、原稿の一部に対応した第１の画像領域と前記原稿の一部の前記原稿上での位置を表す位置判別用文字を含む第２の画像領域と有する複数の分割画像を取得する画像取得部２２と、画像取得部２２により取得された分割画像毎に位置判別用文字の文字認識を行う文字認識部２４と、文字認識部２４による認識結果に基づいて、複数の分割画像を配列させた合成画像を生成する画像合成部２５と、を備えている。
【選択図】図２

Description

本発明は、複数の画像を合成するための画像合成方法及び画像合成装置に関する。

互いに異なる視点からそれぞれ撮像された複数の画像を、それらを撮像した地点や撮像した角度などを基に合成することによって、任意の視点からみたパノラマ画像を生成する技術が提案されている（例えば特許文献１参照）。

また、例えばスキャナ装置の読み取り領域より大きな原稿画像を複数回に分割して読み込み、その分割して読み込んだデータを合成して印刷できるようにした印刷装置なども知られている（例えば特許文献２参照）。

さらに、分割したデータの取り込みに対応する他の装置としては、例えば帳票サイズの１／２程度の大きさの小型タブレットにて、帳票の全領域の筆記データを取り込んで処理できる筆記データ入力装置なども知られている（例えば特許文献３参照）。つまり、この装置は、タブレットに置かれた帳票上の部位が、前半部分であるか後半部分であるかをクリップ兼用位置検出器で判別し、この判別結果に基づき帳票の前半部分用又は後半部分用のフォーマットデータを選択的に読み出して文字認識を行う。

特開２００２−２１３９８４号公報 特開２００１−９６７０８号公報 特開平１０−２８３０９８号公報

ところで、上記した特許文献２のように、原稿から分割して読み取られた複数の分割画像を合成する場合には、個々の分割画像が原稿上のどの位置の画像であるかをシステム側に認識させる必要がある。ここで、特許文献３のように、クリップ型の位置検出器などを適用して、分割画像が原稿上のどの位置のものであるかを、人為的に指定することも可能である。しかしながら、この場合、位置の指定に人的な労力が必要であることに加え、分割画像の数が多数である場合の位置の指定ミスなども懸念される。

本発明は、このような課題を解決するためになされたものであり、原稿から分割して得られた複数の画像を容易に合成することができる画像合成方法及び画像合成装置の提供を目的とする。

上記目的を達成するために、本発明の一態様に係る画像合成方法は、原稿の一部に対応した第１の画像領域と前記原稿の一部の前記原稿上での位置を表す位置判別画像を含む第２の画像領域とを有する複数の分割画像を取得する画像取得ステップと、前記取得された分割画像毎に前記位置判別画像のパターン認識を行う認識ステップと、前記パターン認識による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する合成ステップと、を有することを特徴とする。

本発明によれば、原稿から分割して得られた複数の画像を容易に合成することができる画像合成方法及び画像合成装置を提供することが可能である。

本発明の第１の実施形態に係る画像合成装置を備えた画像合成処理システムを示す構成図。 図１の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 図１の画像合成処理システムで用いるスキャンクリアシート及び原稿の各々を表面側からみた図。 裏面を上にして図３の原稿が挿入された状態のスキャンクリアシート及びスキャナを表面側からみた図。 図３のスキャンクリアシートに挿入された原稿を６回に分割して読み取る際のセッティングの状態を示す図。 図３のスキャンクリアシートと構造の異なる他のスキャンクリアシートを表面側からみた図。 原稿が挿入された状態のスキャンクリアシートをスキャナ上にセットした状態を表面側からみた図。 図７のセット状態で読み取られた分割画像を示す図。 順次読み取られる分割画像のうちで、位置判別用文字の文字認識が完了した分割画像を表示部に表示させた状態を示す図。 読み取られた分割画像どうしを合成する場合の処理を説明するための図。 図１の画像合成装置による画像合成方法を示すフローチャート。 図３、図６のスキャンクリアシートと構成の異なる他のスキャンクリアシートを表面側からみた図。 図３、図６、図１２のスキャンクリアシートと構成の異なる他のスキャンクリアシートを表面側からみた図。 図３、図６、図１２、図１３のスキャンクリアシートと構成の異なる他のスキャンクリアシートを主に表面側からみた図。 図１４のスキャンクリアシートを主に裏面側からみた図。 第２の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 スキャナに対しスキャンクリアシートが正しい向きでセットされた場合と誤った向きでセットされた場合とのそれぞれで得られた分割画像を示す図。 図１６の画像合成プログラムにより実現される画像合成方法を示すフローチャート。 第３の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 第３の実施形態で適用されるスキャンクリアシートを表面側からみた図。 図２０のスキャンクリアシート越しに原稿から分割して読み取られた分割画像を示す図。 第４の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 第４の実施形態で適用されるスキャンクリアシートを表面側からみた図。 第５の実施形態で適用するスキャンクリアシート及び原稿の各々を表面側からみた図。 表面を上にして原稿が挿入された図２４のスキャンクリアシートを表面側からみた図。 第５の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 第６の実施形態の画像合成装置上で動作する画像合成プログラムを示す機能ブロック図。 第６の実施形態で適用するスキャンクリアシートを表面側からみた図。 表面を上にして原稿が挿入された図２８のスキャンクリアシートを表面側からみた図。 デジタルビデオカメラによって撮影されたスキャンクリアシートの画像の形状的な歪みを説明するための図。 第６の実施形態の画像合成プログラムにより実現される画像合成方法を示すフローチャート。

以下、本発明を実施するための形態を図面に基づき説明する。
［第１の実施の形態］
図１に示すように、この実施形態の画像合成処理システム１は、ＰＣなどのコンピュータ装置で実現される画像合成装置１０と、スキャナ２と、帳票などの原稿３をセットする画像取得補助部材としてのスキャンクリアシート７（又は１７）と、を備えている。

画像合成装置１０は、図１に示すように、ＣＰＵ５、入力操作部１２、表示部１４、画像合成プログラム８の実行領域となるメインメモリ９、外部（補助）記憶装置１６、ビデオメモリ１５、インタフェース６を備えている。入力操作部１２は、マウスやキーボードなどによって構成されており、画像合成装置１０本体に対し各種の指示を与えるための入力装置である。表示部１４は、ＣＲＴモニタや液晶ディスプレイなどにより構成されており、ユーザに対し各種情報を可視的に表示する表示装置である。

外部記憶装置１６は、ＨＤＤなどによって実現されており、オペレーティングシステムや画像合成プログラム本体があらかじめインストールされている。インタフェース６は、ＵＳＢ接続やＩＥＥ１３９４接続などによってスキャナ２を画像合成装置１０本体と接続する。ビデオメモリ（フレームメモリ）１５は、ＶＲＡＭなどで構成されており、画像を一時的に記憶するフレームバッファである。ここで、このビデオメモリ１５を設けずに、メインメモリ９の記憶領域の一部を画像の一時的な記憶領域として割り当てるようにしてもよい。

図１及び図４に示すように、スキャナ２は、フラットベットタイプの装置であり、読み取り可能な最大原稿サイズが例えばＡ６サイズとなる可搬型のイメージスキャナである。スキャナ２には、画像の読み取り面として構成された矩形（長方形）のコンタクトガラス２ａが配置されている。コンタクトガラス２ａの一つのコーナ部分の外縁には、読み取り対象物の位置合わせの基準位置を示す位置合わせ基準マーク２ｂが設けられている。

また、スキャナ２には、コンタクトガラス２ａの上面を塞ぐ蓋部が、例えばヒンジ構造などを介して取り付けられている。スキャナ２の蓋部の内側面（原稿３を挟んでコンタクトガラス２ａと対向する面）には、コンタクトガラス２ａ越しに読み取った画像イメージの背景を黒色で形成する背景形成部が設けられている。ここで、原稿３は、白色の紙面上に例えば黒色の画像（文書など）が配置（印刷又は記入）されている。なお、本実施形態の図面に示される原稿３上の画像を文字「Ｆ」を拡大した図で表しているが、これは単に、原稿３を、表面、裏面、縦、横などのからみた時の視点を容易に把握できるようにするために、文字「Ｆ」を図示している。

次に、スキャンクリアシート７について図３、図４に基づき詳述する。ここで、図３は、スキャンクリアシート７及び原稿３の各々を表面（スキャナ２の蓋部内側と対向する面）側からみた図である。図４は、裏面を上にして原稿３が挿入された状態のスキャンクリアシート７、及びスキャナ２を表（おもて）面側からみた図である。

図３、図４に示すように、スキャンクリアシート７は、例えば塩化ビニル製の透明又は半透明な矩形（長方形）のシートを二枚重ね合わせて構成されるクリアフォルダ状のシートである。本実施形態では、読み取り対象の原稿３としてＡ４サイズのものを適用することを想定しており、スキャンクリアシート７は、Ａ４サイズより、ひとまわり大きいサイズで構成されている。

すなわち、スキャンクリアシート７は、図３、図４に示すように、原稿３を保持する原稿保持部７ａと、画像配置部としてのクリアエリア７ｂとを備える。具体的には、スキャンクリアシート７の一方の長辺部分は、開口部７ｆとして構成されており、他方の長辺部分のやや内側及び両短辺部分のやや内側は、袋閉じ部７ｃ、７ｄ、７ｅとして構成されている。

原稿保持部７ａは、開口部７ｆの開口端よりもやや内側の部位と袋閉じ部７ｃ、７ｄ、７ｅとで囲われた矩形状の領域部分であり、図４に示すように、開口部７ｆより挿入された原稿３を保持する。ここで、図４に示すように、表（おもて）面を上にしたスキャンクリアシート７に対し、原稿３は、その裏面を上にした状態で挿入される。つまり、原稿３の表面は、スキャナ２によって、スキャンクリアシート７越しに読み取られる。

ここで、本実施形態の画像合成処理システム１は、読み取り可能な最大原稿サイズがＡ６サイズのスキャナ２により、Ａ４サイズの原稿３を６回に分割して読み取り、分割して読み取った６つの画像を一つの画像に合成するように構成されている。図５は、スキャンクリアシート７に挿入された原稿３を６回に分割して読み取る際のセッティングの状態を示す図である。

すなわち、クリアエリア７ｂは、図３、図４に示すように、原稿保持部７ａの外枠の領域部分で構成される。クリアエリア７ｂには、矢印で表された複数（６つの）の位置決め基準マーク７ｇと、位置判別画像として機能する数字［（１）〜（６）の数字］で表された複数の位置判別用文字７ｈとが、スキャンクリアシート７本体における長辺部分の内側に配置されている。また、本実施形態では、黒色の位置決め基準マーク７ｇと、白色の位置判別用文字７ｈと、がそれぞれ適用されている。

クリアエリア７ｂ上の位置決め基準マーク７ｇ及び位置判別用文字７ｈは、図３、図４に示すように、スキャンクリアシート７本体の一方の長辺部分と他方の長辺部分に３つずつ配置されている。上記した矢印及び数字の向きは、長辺部分の一方と他方とでは、１８０°逆向きに配置されている。また、互いに６つずつある基準マーク７ｇと位置判別用文字７ｈとは、一つずつが互いの近傍に配置されている。

さらに、個々の位置判別用文字７ｈは、原稿保持部７ａに挿入された原稿３の位置に対応させて各々配置されている。詳述すると、位置判別用文字７ｈは、原稿３上から６回に分割して読み取った６つの画像が、原稿３上のどの位置の画像であるかを特定するための情報として用いられる。

一方、個々の位置決め基準マーク７ｇは、それらの矢印の先端を、図４、図５に示すように、スキャナ２上の位置合わせ基準マーク（三角マークの先端）２ｂと、それぞれ位置合わせするために設けられている。つまり、図５に示すように、スキャナ２上の位置合わせ基準マーク２ｂに対し、６つの位置決め基準マーク７ｇを、１回ずつ（計６回）位置合わせした状態で、スキャンクリアシート７のクリアエリア７ｂ上の画像（位置判別用文字７ｈ）と原稿３上の画像とが、６回に分割されて読み取られる。

さらに、図５に示すように、スキャナ２上の位置合わせ基準マーク２ｂに対し、スキャンクリアシート７の位置決め基準マーク７ｇを位置合わせした状態で、読み取った隣接する画像どうしには、重複部分が必ず生成される。この重複部分は、後述する画像どうしの合成の際に利用される。また、ここで、本実施形態では、背景色が黒色となる仕様のスキャナ２を適用していることから、クリアエリア７ｂから読み取った画像は、黒色の位置決め基準マーク７ｇを含み基本的には黒色となるが、位置判別用文字７ｈは、白色であらわれる。

また、図５に示すように、スキャンクアリシート７は、自身の長辺が、コンタクトガラスの長辺と９０°の角度をなす向きにそれぞれセットされる。なお、本実施形態では、位置決め基準マーク７ｇの近傍の位置判別用文字７ｈが（１）〜（６）の数字で表されているが、図５に示すように、必ずしも（１）〜（６）の数字順にセットする必要はなく、後述する理由から、ランダムな数字順であっても、異なるセット状態で６回の読み取りを行えばよい。

図６は、上述したスキャンクリアシート１７と一部構成の異なるスキャンクリアシート１７を、表（おもて）面側からみた図である。なお、図６では、図３のスキャンクリアシート７と同一の構成部分には、同一の符号を付与している。つまり、本実施形態の画像合成処理システム１では、図３に示すスキャンクリアシート７に代えて、図６に示すスキャンクリアシート１７を用いることも可能である。スキャンクリアシート１７は、汎用のクリアフォルダを加工することで、容易に作成することができる。このスキャンクリアシート１７は、スキャンクリアシート７の袋閉じ部７ｅを開口部１７ａに代えたかたちで構成されている。

なお、このようなスキャンクリアシート１７及び上述したスキャンクリアシート７では、クリアエリア７ｂ上に配置される位置決め基準マーク７ｇ及び位置判別用文字７ｈは、クリアエリア７ｂ上に、印刷されたものでもよいし、例えば手書きで記入されたものであってもよい。さらに、位置判別用文字７ｈは、カッコなしの数字であってもよいし、また、文字認識可能な互いに異なるキャラクタであれば、どのような画像であってもよい。

次に、図１、図２に示すように、画像合成装置１０上で動作する画像合成プログラム８について説明する。ＣＰＵ５によって外部記憶装置１６内からメインメモリ９上にロードされる画像合成プログラム８は、画像取得部２２、エッジ検出部２３、パターン認識部として機能する文字認識部２４、画像合成部２５、画像出力部２６、及び各部を統括的に制御する画像処理制御部２１をソフトウェアで実現する。

ここで、図７は、原稿３が挿入された状態のスキャンクリアシート１７をスキャナ２上にセットした状態（数字１の近傍の矢印を位置合わせした状態）を表面側からみた図である。また、図８は、図７のセット状態で読み取られた分割画像を示す図である。さらに、図９は、順次読み取られる分割画像のうちで、位置判別用文字７ｈの文字認識が完了した分割画像を表示部１４に表示させた状態を示す図である。また、図１０は、読み取られた分割画像どうしを合成する場合の処理を説明するための図である。

図２、図７、図８に示すように、画像取得部２２は、スキャンクリアシート１７を介してスキャナ２により読み取られて例えば２値化された複数（本実施形態では６つ）の分割画像３１ａ…３１ｆを、ビデオメモリ１５の記憶領域を利用しつつ個別に取得する。個々の分割画像３１ａ…３１ｆは、図８に示すように、原稿３の一部に対応した第１の画像領域３２ａ…３２ｆと、当該一部の原稿３上での位置を表す位置判別用文字７ｈの画像３３ａ…３３ｆを含む第２の画像領域３４ａ…３４ｆと、を有している。

図２、図８に示すように、エッジ検出部２３は、２値化された分割画像３１ａ…３１ｆ中の白の領域部分と黒の領域部分との境界をみつけることで、原稿３の周縁のエッジを検出する。

文字認識部２４は、図８に示すように、分割画像３１ａ…３１ｆ毎に位置判別用文字７ｈの画像３３ａの文字認識（パターン認識）を行う。ここで、クリアエリア７ｂの位置に対応する黒色の画像中において、位置判別用文字７ｈは白色であらわれる。つまり、文字認識部２４は、エッジ検出部２３により検出されたエッジの近傍に位置する位置判別用文字７ｈの画像３３ａ…３３ｆを切り出して左右反転し、この左右反転した文字の文字認識を行う。図８の例では、文字認識部２４は、文字認識結果として、数字（１）、数字（２）を得ることになる。

この場合、画像処理制御部２１は、図８に示した分割画像３１ａが、図７に示すコンタクトガラス２ａの破線で囲われた領域の画像であることを認識する。つまり、画像処理制御部２１は、図５、図７、図８に示すように、数字（１）、（２）が文字認識された場合、数字（２）、（３）が文字認識された場合、数字（３）のみが文字認識された場合…を含む６種類の認識結果のパターンと、原稿３上の分割対象となる６個所の領域部分のレイアウトと、を例えばテーブルの形式で記憶している。

画像出力部２６は、ビデオメモリ１５の記憶領域を利用し、画像取得部２２により順次取得される分割画像３１ａ…３１ｆのうちで、（スキャニングが完了しかつ）位置判別用文字７ｈの文字認識が完了した分割画像を、図９に示すように、表示部１４に可視表示させる表示制御を行う。この画像出力部２６は、上記した原稿３上の６個所の領域部分のレイアウトどおりに、文字認識の完了した分割画像を表示する。

また、画像出力部２６は、分割画像３１ａ…３１ｆのうちで、スキャニングが完了していない（及び位置判別用文字７ｈの文字認識が完了していない）分割画像については、図９に示すように、対応する上記レイアウトの位置に「未スキャン」の文字を表示させる。これにより、原稿３上で主にスキャニングの完了した部分がどの部分であるかを、容易に判別できるので、原稿３上の各部を、任意の順序でスキャンできる分かりやすいユーザインタフェースが実現される。また、例えば、スキャニングや文字認識に失敗した原稿３上の部位をユーザが容易に把握することができる。

画像合成部２５は、ビデオメモリ１５の記憶領域を確保し、文字認識部２４（パターン認識）による認識結果に基づいて、複数の分割画像３１ａ…３１ｆを、原稿３のレイアウトどおりに配列させた合成画像を生成する。また、画像合成部２５は、隣接する分割画像どうしの上述した重複部分が重なり合うように合成画像を生成する。

ここで、画像合成部２５は、個々の分割画像３１ａ…３１ｆ中に各々含まれる位置判別用文字７ｈ（位置判別画像）どうしの物理的な位置関係に基づいて、複数の分割画像３１ａ…３１ｆの配列に補正を加える。つまり、画像合成部２５は、図１０に示すように、分割画像３１ａ中及び分割画像３１ｂ中の位置判別用文字７ｈである数字（２）どうしが互いに重なり合うように、分割画像３１ａと分割画像３１ｂとの互いの位置及び傾きを補正しつつ合成画像を生成する。

また、画像合成部２５は、図１０に示すように、エッジ検出された例えば分割画像３１ａ、３１ｂどうしの白の領域部分と黒の領域部分との境界が、直線になるように合成画像の生成に補正を加える。画像合成部２５がこれらの機能を有することで、原稿３が、例えば白色の領域の多い原稿（分割画像どうしの重複部分を得にくい原稿）であっても、安定した画像の合成処理を実現できる。

次に、このように構成された画像合成装置１０による画像合成方法を図１１に示すフローチャートに基づき説明する。まず、画像取得部２２は、図８、図１１に示すように、スキャンクリアシート１７を介してスキャナ２により読み取られた例えば分割画像３１ａを取得する（Ｓ１）。続いて、エッジ検出部２３は、分割画像３１ａ中の白領域と黒領域との境界をみつけることで原稿３の周縁のエッジを検出する（Ｓ２）。

次いで、文字認識部２４は、図８、図１１に示すように、検出されたエッジ近傍に位置する位置判別用文字７ｈの画像３３ａを切り出して左右反転して文字認識（番号の認識）を行う（Ｓ３）。次に、画像出力部２６は、（スキャニングが完了しかつ）位置判別用文字７ｈの文字認識が完了した分割画像３１ａを表示部１４に表示させる（Ｓ４）。続いて、画像処理制御部２１は、全ての分割画像３１ａ…３１ｆを表示部１４に表示させたか否かを判断する（Ｓ５）。

画像処理制御部２１が、全ての分割画像３１ａ…３１ｆを表示部１４に表示させたと判断した場合（Ｓ５のＹＥＳ）、画像合成部２５は、文字認識部２４による認識結果に基づいて、原稿３のレイアウトどおりに複数の分割画像３１ａ…３１ｆを配列させた合成画像を生成する。

既述したように、本実施形態の画像合成装置１０を備えた画像合成処理システム１によれば、原稿３から複数回に分割して得られた複数の分割画像３１ａ…３１ｆを容易に合成することができる。

また、本実施形態の画像合成処理システム１では、スキャンクリアシート１７に代えて、図１２、図１３に示すように、スキャンクリアシート１７のクリアエリア７ｂに原稿サイズ識別画像２７ａ、３７ａを配置したスキャンクリアシート２７、３７を適用するようにしてもよい。原稿サイズ識別画像２７ａ、３７ａは、スキャンクリアシートの保持対象の原稿サイズを特定するために、例えば文字認識可能な識別記号（星形マーク）や文字列（Ａ４、Ｂ４、Ａ３）などを用いる。

つまり、上述した例では、Ａ４サイズ用のスキャンクリアシート７、１７を適用した場合を示したが、画像合成処理システム１では、Ｂ４サイズなど他のサイズの原稿の画像を分割して取り込むことも想定している。したがって、上述した画像合成処理システムでは、複数の位置決め基準マーク７ｇの数や位置（矢印の個数やそれらの配置）と、位置判別用文字７ｈの数や位置（数字の個数やそれらの配置）と、を原稿サイズ毎に相違させた複数の種類のスキャンクリアシートを用意する必要がある。

そこで、図１２、図１３に示した原稿サイズ識別画像２７ａ、３７ａを有するスキャンクリアシート２７、３７が有用となる。ここで、画像合成装置は、原稿サイズ識別画像２７ａ、３７ｂの文字認識結果から、スキャンクリアシート２７、３７がどの原稿サイズに対応するものかを認識できるように、個々の原稿サイズ識別画像と原稿サイズとを対応付けたテーブルなどを画像処理制御部２１に記憶保持させておく態様などが例示される。

このような構成により、原稿サイズに対応するスキャンクリアシートをユーザが容易に選び出すことができると共に、画像合成装置側では、原稿をスキャンニングさせるべき回数などを表示部１４に表示させ、これをユーザに報知することなどが可能となる。

また、本実施形態の画像合成処理システム１では、さらに構造の異なるスキャンクリアシートを適用することも可能である。ここで、図１４（ａ）は、スキャンクリアシート４７を表面（スキャナ２の蓋部内側と対向する面）側からみた図であり、図１４（ｂ）は、その図示方向に対応する断面図である。また、図１５（ａ）は、スキャンクリアシート４７を裏面（スキャナ２のコンタクトガラス２ａと対向する面）側からみた図であり、図１５（ｂ）は、その図示方向に対応する断面図である。

すなわち、スキャンクリアシート４７は、その表（おもて）面側を黒色のシート４７ａで構成し、裏面側を透明（又は半透明）なシート４７ｂで構成している。表面の黒色のシート４７ａ上には、それぞれ白色の位置決め基準マーク７ｇ及び位置判別用文字７ｈが配置（印刷又は記入）されている。一方、裏面側の（透明又は半透明の）シート４７ｂ上にも白色の位置判別用文字７ｈが印刷又は記入されている。

このような構造のスキャンクリアシート４７では、読み取った画像イメージの背景を黒色で形成する仕様の上記スキャナ２を適用した場合と、画像イメージの背景を白色で形成する仕様のスキャナを適用した場合と、のいずれにおいても、図８、図１０の例示と同様に、分割画像３１ａ、３１ｂ…上にエッジ部や位置判別用文字７ｈがあらわれる。つまり、スキャンクリアシート４７では、背景を白色で形成する仕様のスキャナを用いる場合であっても、分割画像どうしを合成する際の位置合わせを、エッジ部や位置判別用文字７ｈを基準として好適に行うことができる。

［第２の実施の形態］
次に、本発明の第２の実施形態を、上述した図５に加え、図１６、図１７（ａ）〜図１７（ｄ）及び図１８に基づき説明する。なお、図１６〜図１８において、第の１実施形態の図２〜図１０に示した構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図１６は、本実施形態の画像合成装置上で動作する画像合成プログラム８ａを示す機能ブロック図である。

また、図１７（ａ）及び図１７（ｃ）は、スキャンクリアシート１７が正しい向きで、スキャナ２にセットされた場合に得られた分割画像３１ａ、３１ｂを示す図である。図１７（ｂ）及び図１７（ｄ）は、スキャンクリアシート１７が間違った向きで、スキャナ２にセットされた場合に得られた分割画像４１ａ、４１ｂを示す図である。図１８は、本実施形態の画像合成装置（画像合成プログラム８ａ）により実現される画像合成方法を示すフローチャートである。

この実施形態に係る画像合成処理システムでは、第１の実施形態に係る画像合成処理システム１の画像合成プログラム８に代えて、図１６に示すように、画像合成プログラム８ａを有している。図５に示したように、第１の実施形態では、スキャンクリアシート１７（７）は、自身の長辺が、コンタクトガラスの長辺と９０°の角度をなす向きにそれぞれセットされる必要があった。このセット状態では、原稿３の各部における向きのそろった複数の画像を合成することを前提として、図１７（ａ）、図１７（ｃ）に示すように、正しい向きの分割画像３１ａ、３１ｂが画像取得部２２によって取得される。

一方、スキャンクリアシート１７（７）が、自身の長辺を、コンタクトガラスの長辺と同じ方向に向けてセットされて、図１７（ｂ）、図１７（ｄ）に示す分割画像４１ａ、４１ｂが得られた場合でも、この実施形態の画像合成装置（画像合成プログラム８ａ）は、このような誤ったセッティングを修正して分割画像を合成することが可能となる。

すなわち、図１６に示すように、画像合成プログラム８ａは、画像合成プログラム８の構成に加え、さらに、辺部色判別部２８及び文字方向判別部２９を備えていると共に、画像合成プログラム８の画像合成部２５に代えて、画像合成部２５ａを備える。辺部色判別部２８は、画像取得部２２によって取得された分割画像の４つの辺部の周辺の色が概ね白色であるか黒色であるかを判別する。辺部色判別部２８は、図１７（ａ）〜図１７（ｄ）に示すように、画像取得部２２が取得する分割画像中から、白色の辺部を２辺又は３辺検出し、一方、黒色の辺部を１辺又は２辺検出する。

文字認識部２４は、黒色の辺部周辺に含まれる白色の位置判別用文字７ｈ（数字）を文字認識する。文字方向判別部２９は、文字認識部２４による認識結果に基づいて、位置判別用文字７ｈの向きを判断する。画像合成部２５ａは、辺部色判別部２８及び文字方向判別部２９による判別結果から、図１７（ｂ）、図１７（ｄ）に示すように、９０°誤った向きの分割画像４１ａ、４１ｂが得られたと判断した場合には、これら分割画像４１ａ、４１ｂの合成時に図１７（ａ）、図１７（ｃ）に示す向きに修正したうえで、分割画像４１ａ、４１ｂどうしを合成する。

次に、このように構成された画像合成プログラム８ａによる画像合成方法を図１８に示すフローチャートに基づき説明する。まず、画像取得部２２は、スキャンクリアシート１７を介してスキャナ２により読み取られた分割画像を取得する（Ｓ１１）。次いで、辺部色判別部２８は、取得された分割画像の４つの辺部の周辺の色が白色であるか黒色であるかを判別する（Ｓ１２）。文字認識部２４は、黒色の辺部周辺の位置判別用文字７ｈを文字認識し（Ｓ１３）、さらに、文字方向判別部２９は、文字認識部２４による認識された位置判別用文字７ｈの向きを判別する（Ｓ１４）。

次に、全ての分割画像中の位置判別用文字７ｈの文字方向の判別が完了したことを画像処理制御部２１が認識した場合（Ｓ１５のＹＥＳ）、画像合成部２５ａは、必要に応じて分割画像の向きを修正したうえで、原稿３のレイアウトどおりに複数の分割画像３１ａ…３１ｆを配列させた合成画像を生成する（Ｓ１６）。

したがって、本実施形態の画像合成装置では、分割画像中の黒色の辺部の配置関係と、位置判別用文字７ｈの向きとを検出することで、取得した分割画像の向きを判別することができる。これにより、スキャナ２上に、９０°誤った向きで、スキャンクリアシート１７がセットされた場合でも、分割画像を正しい向きに修正したうえで、合成画像を生成することができる。

［第３の実施の形態］
次に、本発明の第３の実施形態を図１９〜図２１に基づき説明する。なお、図１９〜図２１において、図２〜図８に示した第１の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図１９は、本実施形態の画像合成装置上で動作する画像合成プログラム８ｂを示す機能ブロック図である。また、図２０は、スキャンクリアシート５７を表面側からみた図である。さらに、図２１は、スキャンクリアシート５７越しに原稿から分割して読み取られた分割画像５１ａを示す図である。

この実施形態に係る画像合成処理システムでは、第１の実施形態の画像合成処理システム１が備えた、背景を黒色で形成する仕様のスキャナ２に代えて、読み取った画像イメージの背景を白色で形成する背景形成部を蓋部の内側面に備えたスキャナが適用されている。また、第１の実施形態のスキャンクリアシート１７に代えて、図２０に示すように、スキャンクリアシート５７が用いられる。

すなわち、スキャンクリアシート５７には、図２０に示すように、その表面に黒色の位置決め基準マーク５７ｇが配置（印刷又は記入）されている。さらに、スキャンクリアシート５７には、分割画像毎に異なる黒色の位置判別用文字５７ｈと、個々の位置判別用文字５７ｈの近傍に配置される黒色で塗り潰された正方形のタイミングマーク５７ｋと、がそれぞれ位置判別画像として印刷又は記入されている。

また、画像合成装置上では、第１の実施形態の画像合成プログラム８に代えて、画像合成プログラム８ｂが動作する。すなわち、画像合成プログラム８ｂは、画像合成プログラム８のエッジ検出部２３、文字認識部２４及び画像合成部２５に代えて、図１９に示すように、タイミングマーク検出部２３ｂ、文字認識部２４ｂ及び画像合成部２５ｂを備えている。

つまり、タイミングマーク検出部２３ｂは、クリアエリア７ｂに対応する領域内の黒色で塗り潰された正方形の部位をタイミングマーク５７ｋとして検出する。文字認識部２４ｂは、タイミングマーク５７ｋの近傍に位置する黒色の位置判別用文字５７ｈを文字認識する。画像合成部２５ｂは、隣り合う分割画像どうしを重ね合わせて合成する場合に、各分割画像中に含まれるタイミングマーク５７ｋ（及び位置判別用文字５７ｈ）どうしの向き及び位置が重なるように、分割画像どうしの互いの位置及び傾きを補正しつつ合成画像を生成する。

ここで、本実施形態のように、背景が白色となるスキャナを適用している場合、分割画像５１ａ上に原稿３のエッジが見えないという欠点がある。しかしながら、本実施形態の画像合成装置によれば、比較的検出しやすい長方形を塗り潰したかたちのタイミングマーク５７ｋを基準として、位置判別用文字５７ｈを容易に検出して文字認識を行うことができる。さらに、本実施形態の画像合成装置によれば、タイミングマーク５７ｋを位置合わせの基準として分割画像どうしの合成に補正を加えることが可能となる。

［第４の実施の形態］
次に、本発明の第４の実施形態を上述した図５に加え、図２２、図２３に基づき説明する。なお、図２２、図２３において、図２〜図８に示した第の１実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図２２は、本実施形態の画像合成装置上で動作する画像合成プログラム８ｃを示す機能ブロック図である。また、図２３は、スキャンクリアシート６７を表面側からみた図である。

この実施形態に係る画像合成処理システムでは、第１の実施形態の画像合成処理システム１が備えていた、背景を黒色で形成する仕様のスキャナ２に代えて、第３の実施形態と同様、読み取った画像イメージの背景を白色で形成する仕様のスキャナが適用されている。また、第１の実施形態のスキャンクリアシート１７に代えて、図２３に示すように、スキャンクリアシート６７が用いられる。スキャンクリアシート６７は、第３の実施形態のスキャンクリアシート５７からタイミングマーク５７ｋを削除したかたちで構成されている。

また、画像合成装置上では、第１の実施形態の画像合成プログラム８に代えて、画像合成プログラム８ｃが動作する。すなわち、画像合成プログラム８ｃは、図２２に示すように、画像合成プログラム８のエッジ検出部２３が削除されていると共に、画像合成プログラム８の画像処理制御部２１及び文字認識部２４に代えて、画像処理制御部２１ｃ及び画像取得順序検出部２４ｃを備えている。

画像取得順序検出部２４ｃは、図５に示したように、スキャナによる読み取り後に、画像取得部２２によって取得された個々の分割画像と、それらの取得順序とを互いに対応付けて記憶する。一方、画像処理制御部２１は、原稿３上の分割対象となる６個所の領域部分のレイアウトと上記した分割画像の取得順序とをテーブルの形式で予め記憶している。つまり、画像処理制御部２１は、画像取得順序検出部２４ｃの検出結果を参照し、１番目に取得された分割画像を、例えば図９に示した（原稿３の）左上の部分画像として自動的に割り当て、また、６番目に取得された分割画像を、図９に示す右下の部分画像として自動的に割り当てる。

したがって、この実施形態の画像合成処理システムでは、図２３に示すスキャンクリアシート６７上の位置判別用文字５７ｈが表す（１）〜（６）までの数字の番号は、分割画像の読み取りの順番として適用される。つまり、本実施形態の画像合成処理システムでは、図５に示したように、スキャナ上の位置合わせ基準マーク２ｂに対し、（１）〜（６）の数字近傍の各位置決め基準マーク５７ｇ（矢印）を、必ず数字順に６回セットする必要がある。

しかしながら、本実施形態の画像合成装置（画像合成プログラム８ｃ）では、位置判別用文字５７ｈを文字認識する必要がないから、文字認識部や、文字認識処理時に利用され得るエッジ検出部などを削除することができる。また、本実施形態の画像合成装置では、上記したように、文字認識処理が不要なので、例えば、画像イメージの背景を黒色で形成する仕様のスキャナを適用する場合において、分割画像中に位置判別用文字５７ｈを配置させるといった制約などが必然的に回避される。これにより、背景が黒色になるスキャナと背景が白色になるスキャナとの双方に、位置判別用文字５７ｈが黒色の図２３に示すスキャンクリアシート６７を問題なく適用することができる。

［第５の実施の形態］
次に、本発明の第５の実施形態を図２４〜図２６に基づき説明する。なお、図２４〜図２６において、図１９〜図２１に示した第３の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図２４は、この実施形態で適用するスキャンクリアシート５７及び原稿３の各々を表面側からみた図である。また、図２５は、表（おもて）面を上にして原稿３が挿入された状態のスキャンクリアシート５７を表面側からみた図である。さらに、図２６は、本実施形態の画像合成装置上で動作する画像合成プログラム８ｄを示す機能ブロック図である。

この実施形態に係る画像合成処理システムでは、第１の実施形態の画像合成処理システム１が備えたスキャナ２に代えて、図２５に示すように、動画を撮像するためのＷｅｂカメラなどのデジタルビデオカメラ２ｄが適用されている。また、第１の実施形態のスキャンクリアシート１７に代えて、図２４、図２５に示すように、第３の実施形態と同様にスキャンクリアシート５７が用いられる。

また、実施形態では、スキャナに代えて、例えばカラーの映像を撮影可能なデジタルビデオカメラ２ｄで原稿３から分割画像が撮像される。このため、原稿３がその表面を上にして挿入された状態のスキャンクリアシート５７が、表面側からデジタルビデオカメラ２ｄによって撮像される。

ここで、通常、デジタルビデオカメラ２ｄは、原稿３全体を一度に撮影しようとすると、解像度が落ちてしまうという課題がある。そこで、本実施形態では、上述した各実施形態でスキャナにより６回にわけてスキャニングされていた原稿３を含むスキャンクリアシート５７上の６つの領域を、デジタルビデオカメラ２ｄによる６つの撮影領域として割り当てる。つまり、図２５に示すように、デジタルビデオカメラ２ｄの撮影領域２ｅを、原稿３を含むスキャンクリアシート５７上の６個所に移動させながら動画を撮影する。

また、画像合成装置上では、第３の実施形態の画像合成プログラム８ｂに代えて、図２６に示すように、画像合成プログラム８ｄが動作する。すなわち、画像合成プログラム８ｄには、画像合成プログラム８ｂの画像取得部２２に代えて、静止画抽出部２２ｅを有する画像取得部２２ｄが設けられている。

画像取得部２２ｄは、デジタルビデオカメラ２ｄによって原稿３を６分割するようにして撮像された動画を取得する。静止画抽出部２２ｅは、取得した動画の構成単位である複数の画像フレームから、スナップショットとなる静止画を分割画像として抽出する。詳細には、静止画抽出部２２ｅは、原稿３上の６個所分の分割画像（静止画）を抽出する。ここで、静止画抽出部２２ｅは、例えば文字認識部２４ｂと協働して動作するものであってもよい。つまり、静止画抽出部２２ｅは、複数の画像フレームのうちで、文字認識部２４ｂにより位置判別用文字５７ｈの文字認識結果が最初に得られた画像フレームを、選択的に抽出するものであってもよい。

このように本実施形態の画像合成処理システムは、スキャナよりも小型の装置として構成しやすいＷｅｂカメラなどを適用できるので、可搬性に優れている。また、カメラ付きのモバイルＰＣやノートＰＣなどを画像合成処理システムに適用することで、カメラと一体となった画像合成装置を構成することが可能となる。これにより、携帯性のさらなる向上を図ることができる。

［第６の実施の形態］
次に、本発明の第６の実施形態を図２７〜図３１に基づき説明する。なお、図２７〜図３１において、図２４〜図２６に示した第５の実施形態の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。ここで、図２７は、本実施形態の画像合成装置上で動作する画像合成プログラム８ｅを示す機能ブロック図である。また、図２８は、スキャンクリアシート７７を表（おもて）面からみた図である。さらに、図２９は、表面を上にして原稿３が挿入された状態のスキャンクリアシート７７を表面側からみた図である。

さらに、図２９は、本実施形態の画像合成装置上で動作する画像合成プログラム８ｅを示す機能ブロック図である。また、図３０は、デジタルビデオカメラ２ｄによって撮影されたスキャンクリアシート７７の画像の形状的な歪みを説明するための図である。さらに、図３１は、本実施形態の画像合成装置（画像合成プログラム８ａ）により実現される画像合成方法を示すフローチャートである。

この実施形態のスキャンクリアシート７７は、図２８、図２９に示すように、第３、第５の実施形態のスキャンクリアシート５７上の主に原稿保持部７ａの表（おもて）面に複数の罫線７７ａ（複数の線分の画像）が格子状に配置されている。複数の罫線７７ａは、スキャンクリアシート７７内に挿入された原稿３上の画像を透過させる濃さで引かれている。具体的には、これらの罫線７７ａは、黄色の蛍光色の線として構成されている。

また、この実施形態の画像合成処理システムでは、第５の実施形態の画像合成処理システムで適用されていた画像合成プログラム８ｄに代えて、図２７に示すように、画像合成プログラム８ｅが適用されている。すなわち、この画像合成プログラム８ｅは、画像合成プログラム８ｄの構成に加え、図２７に示すように、蛍光成分抽出部２８ｅ及び罫線検出部２９ｅを備えると共に、画像合成部２５ｄに代えて画像合成部２５ｅを備えている。

ここで、画像取得部２２ｄは、デジタルビデオカメラ２ｄによって撮影された、格子状に配置される線分画像（罫線７７ａの画像）を含む複数のカラーの分割画像を取得する。蛍光成分抽出部２８ｅは、画像取得部２２ｄが取得したカラーの分割画像から、スキャンクリアシート７７上における罫線７７ａの蛍光黄色の成分を抽出する。具体的には、蛍光黄色の成分は、赤色光及び緑色光の反射率が高く、一方、青色光の反射率が低いという特性を持つ。そこで、蛍光成分抽出部２８ｅは、原稿３の白色の背景とコントラストが得られるように、青色光の反射成分を強調させた画像処理を行い、罫線７７ａの蛍光黄色の成分を抽出する。なお、この場合の２値化の画像処理では、罫線７７ａと原稿３上の画像（例えば黒色の画像）とが、重なっている領域部分だけは、罫線７７ａを判別できないことになる。

そこで、罫線検出部２９ｅは、このような原稿３の画像上で途切れた罫線７７ａを直線状につなげる処理により罫線７７ａの全体を検出する。また、画像合成部２５ｅは、図３０に示すように、デジタルビデオカメラ２ｄによる撮影時の傾きなどによって生じた分割画像６１ａの形状的な歪みを矯正するように、各分割画像中の罫線７７ａの配置関係に基づき、分割画像どうしを合成する際の補正を行う。つまり、画像合成部２５ｅは、隣り合う分割画像どうしの各罫線７７ａが直接的につながり、かつ、互いに交差する罫線７７ａが９０°の角度をなすように、分割画像どうしの合成を補正する。

次に、このように構成された画像合成プログラム８ｅによる画像合成方法を図３１に示すフローチャートに基づき説明する。まず、画像取得部２２ｄがカラーの分割画像を取得すると（Ｓ２１）、蛍光成分抽出部２８ｅは、取得された分割画像中の蛍光黄色の成分を抽出する。（Ｓ２２）。罫線検出部２９ｅは、原稿３の画像上で途切れた蛍光黄色の成分を直線状につなげる処理により罫線７７ａを検出する（Ｓ２３）。この後、文字認識部２４は、カラーに戻した分割画像中から位置判別用文字５７ｈを文字認識する（Ｓ２４）。全ての分割画像の文字認識が終わった場合（Ｓ２５のＹＥＳ）、原稿３のレイアウトどおりに複数の分割画像を配列させると共に、罫線７７ａの歪みを直すように補正を加えつつ分割画像どうしを合成する（Ｓ２６）。

したがって、本実施形態の画像合成装置によれば、撮影時のデジタルビデオカメラ２ｄの傾きなどによって分割画像６１ａに形状的な歪みが生じた場合でも、スキャンクリアシート７７上の罫線７７ａを利用することで、各分割画像６１ａの歪みを修正しながら合成画像を生成することができる。

以上、本発明を第１〜第６の実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、第１〜第６の実施形態に例示された構成要素の一部を適宜組み合わせて、他の画像合成処理システムや画像合成装置を構成してもよい。また、第５、第６の実施形態の動画を撮影するデジタルビデオカメラに代えて、静止画を直接撮影するデジタルスチルカメラを適用してもよい。デジタルスチルカメラを適用した場合は、複数の対象の中から画像フレームを抽出する処理が不要となるため画像取得部の構成を簡略化できる。また、第１〜第４の実施形態は、スキャナ２に代えて、このようなデジタルスチルカメラやデジタルビデオカメラ２ｄを用いて分割画像を得るものであってもよい。また、第６の実施形態の罫線７７ａを格子状に配置したスキャンクリアシート７７を第１〜第５の実施形態でも適用し、これを適用した第１〜第５の実施形態が、分割画像の形状的な歪みを補正する合成処理を実現するものであってもよい。

１…画像合成処理システム、２…スキャナ、８，８ａ，８ｂ，８ｃ，８ｄ，８ｅ…画像合成プログラム、２ａ…コンタクトガラス、２ｄ…デジタルビデオカメラ、７，１７，２７，３７，４７，５７，６７，７７…スキャンクリアシート、７ａ…原稿保持部、７ｂ…クリアエリア、７ｈ，５７ｈ…位置判別用文字、１０…画像合成装置、１４…表示部、２２，２２ｄ…画像取得部、２２ｅ…静止画抽出部、２３…エッジ検出部、２３ｂ…タイミングマーク検出部、２４，２４ｂ…文字認識部、２４ｃ…画像取得順序検出部、２５，２５ａ，２５ｂ，２５ｄ，２５ｅ…画像合成部、３１ａ，３１ｂ，３１ｆ，４１ａ，５１ａ，６１ａ…分割画像、３２ａ…第１の画像領域、３３ａ…位置判別用文字の画像、３４ａ…第２の画像領域、５７ｋ…タイミングマーク、７７ａ…罫線。

Claims (8)

1. 原稿の一部に対応した第１の画像領域と前記原稿の一部の前記原稿上での位置を表す位置判別画像を含む第２の画像領域とを有する複数の分割画像を取得する画像取得ステップと、
   前記取得された分割画像毎に前記位置判別画像のパターン認識を行う認識ステップと、
   前記パターン認識による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する合成ステップと、
   を有することを特徴とする画像合成方法。
2. 前記画像取得ステップでは、
   前記原稿を保持する原稿保持部とこの原稿保持部上での前記原稿の位置に対応させて複数の前記位置判別画像が各々配置された画像配置部とを備える画像取得補助部材を用いて、前記複数の分割画像を個別に取得する、
   ことを特徴とする請求項１記載の画像合成方法。
3. 前記認識ステップにより前記位置判別画像のパターン認識の完了した分割画像を表示装置に表示させる表示ステップ、
   をさらに有することを特徴とする請求項１又は２記載の画像合成方法。
4. 前記合成ステップでは、
   前記画像取得ステップにて取得された個々の分割画像中に各々含まれる位置判別画像どうしの物理的な位置関係に基づいて、前記複数の分割画像の合成に補正を加える、
   ことを特徴とする請求項１ないし３のいずれか１項に記載の画像合成方法。
5. 前記位置判別画像は、分割画像毎に異なる文字画像及びこの文字画像の近傍に配置されるマークを含む、
   ことを特徴とする請求項１ないし４のいずれか１項に記載の画像合成方法。
6. 前記認識ステップに代えて、前記画像取得ステップによる分割画像毎の画像取得順序を検出する順序検出ステップを有し、
   前記合成ステップでは、前記検出された画像取得順序に基づいて、前記複数の分割画像を配列させた合成画像を生成する、
   ことを特徴とする請求項１ないし５のいずれか１項に記載の画像合成方法。
7. 前記画像取得ステップは、格子状に配置される線分画像を含む複数の分割画像をカメラで取得し、
   前記合成ステップでは、各分割画像中に各々含まれる前記複数の線分画像の配置関係に基づいて、前記複数の分割画像の合成に補正を加える、
   ことを特徴とする請求項１ないし６のいずれか１項に記載の画像合成方法。
8. 原稿の一部に対応した第１の画像領域と前記原稿の一部の前記原稿上での位置を表す位置判別画像を含む第２の画像領域とを有する複数の分割画像を取得する画像取得部と、
   前記画像取得部により取得された分割画像毎に前記位置判別画像のパターン認識を行うパターン認識部と、
   前記パターン認識部による認識結果に基づいて、前記複数の分割画像を配列させた合成画像を生成する画像合成部と、
   を具備することを特徴とする画像合成装置。

Images