JP2006140849A - 画像処理装置 - Google Patents

Abstract

【課題】 パソコンを使用することなく、複数の画像入力手段を活用し、これらの画像入力手段からの画像データについて自動的に合成処理を行い、その合成画像データを出力できるようにする。
【解決手段】 スキャナ部１で読み取った画像を第１の画像として入力し、その所定のエリアを自動抽出する。一方、メモリカードスロット部３から読み取った画像データを第２の画像データとし、且つその第２の画像を第１の画像中のエリアＢにはめ込み、外部Ｉ／Ｆを介して読み取ったPictBridge規格対応のディジタルカメラ等からの画像データをもう一つの第２の画像データとし、且つその第２の画像を第１の画像中のエリアＣにはめ込む。
【選択図】 図１

Description

この発明は、複数の画像入力装置より入力した複数の画像データについて画像合成処理を行なう画像処理装置に関するものである。

近年のスキャナ、プリンタ、ファクシミリ等の複数の機能を併せ持つディジタル複合機はオフィスに広く普及している。また、これらの複合機の画像入力においては、スキャナからの入力だけでなく、カードスロットに挿入されたメモリカードからの入力、あるいはUSB接続によるストレージからの入力など、多様化が進んでいる。

このような複数の機能を持つディジタル複合機は、テキストやグラフ、写真等の混在する文書ファイルを作成・出力する場合に、各々のディジタル画像データを複合機の画像入力装置を用いてパソコンに取り込んだり、パソコン上で文書データ等を作成したりして、パソコンのアプリケーション上でそれらのデータを合成したのち、ディジタル複合機の出力を用いて出力するという使い方が一般的であった。

また、コピー機能の１つとして、画像合成機能なるものが従来提供されている。（例えば特許文献１参照。）これはあらかじめ読み取ったデータを合成画像用データとして格納し、通常のコピー動作時にその合成画像用データをコピー出力の各データに合成して出力するものである。
特開２００１−０９４７５６公報

しかしながら、上記特許文献１の構成では、各々の画像データを所有していてもパソコンがなければ文書ファイルの作成は不可能であった。また、パソコンが利用可能であったとしても、パソコンを用いて画像合成等の処理を行なわなければならず、手間がかかった。

また、コピーの画像合成機能を用いた場合でも、あらかじめ合成画像用データを格納しなければならず、その場合にも手間を要していた。

この発明は、これらの課題を解決するためになされたものであり、パソコンを使用することなく、複数の画像入力手段を活用し、これらの画像入力手段からの画像データについて自動的に合成処理を行い、その合成画像データを出力できるようにした画像処理装置を提供することにある。

上述の課題を解決するために、
（１）この発明の画像処理装置は、それぞれ画像を入力する複数の画像入力手段と、前記複数の画像入力手段のうち第１の画像入力手段により入力された第１の画像から、画像部分の特徴量に基づいて複数の画像領域を抽出する画像領域抽出手段と、前記複数の画像入力手段のうち第２の画像入力手段により入力された第２の画像を第１の画像の前記抽出された画像領域にはめ込むために編集するとともに、当該編集した第２の画像を前記第１の画像に合成する画像合成手段と、前記画像合成手段によって合成された画像を出力する画像出力手段と、を備えたことを特徴としている。

（２）前記画像領域抽出手段は、例えば前記特徴量を画素の色情報とし、２次元方向に一様に連続する特定色の画像領域を抽出するものとする。

（３）また、前記画像領域抽出手段により抽出された複数の画像領域のうち、どの画像領域に第２の画像をはめ込んで合成するかの指定を読み取り、記憶する手段を備える。

（４）前記画像合成手段は、例えば前記第１の画像の特定の複数の画像領域に対して、前記複数の画像入力手段より入力された複数の画像を画像入力装置毎に関連づけて合成するものとする。

この発明によれば、以下の効果を奏する。
（１）複数の画像入力手段によりそれぞれ画像が入力され、画像領域抽出手段により第１の画像入力手段で入力された第１の画像から画像部分の特徴量に基づいて複数の画像領域が抽出され、画像編集手段により第２の画像入力手段で入力された第２の画像を第１の画像から抽出された画像領域にはめ込まれるように編集され、さらに、画像合成手段により第２の画像が第１の画像に合成されて、画像出力手段により合成画像が出力されるので、パソコンを使用することなく、複数の画像入力手段からの画像について自動的に合成処理を行ってその合成画像を出力できるようになる。

（２）前記画像領域抽出手段が、画素の色情報を特徴量とし、２次元方向に一様に連続する特定色の画像領域（連結成分）を抽出することによって前記画像領域の抽出を行うことによって、第２の画像を第１の画像にはめ込む領域を容易且つ確実に抽出できるようになる。

（３）前記画像領域抽出手段により抽出された複数の画像領域のうち、どの画像領域に第２の画像をはめ込んで合成するかの指定内容を一旦記憶すれば、次回からその指定内容を用いることによって、例えば第１の画像をテンプレートとしておいて、その第１の画像に任意の第２の画像を所定画像領域にはめ込んで合成画像を自動生成することができる。

（４）前記画像合成手段が、第１の画像データの特定の複数の画像領域に対して、複数の画像入力手段より入力された複数の画像データをそれぞれ関連づけて合成することによって、合成対象の画像に対して複数の画像を自動的にはめ込むことができ、複数の画像入力手段を用いて画像データを入力するだけで、より高度な合成画像データが容易に得られるようになる。

この発明に係る画像処理装置について、各図を参照して説明する。
図１は、本実施形態における画像入出力装置の構成を示すブロック図である。図１において、１はスキャナ部であり、原稿の画像を読み取り、読み取った画像データを後述するMFP（多機能周辺機器）コントローラ４へ出力する。２はプリンタ部であり、MFPコントローラ部４からの画像データに応じた画像を記録紙上に記録する。３はメモリカードスロット部であり、メモリカード（記録媒体）に記録された画像データを含む電子データを読み出してMFPコントローラ部４に出力するとともに、MFPコントローラ部４からの画像データを含む電子データをこのメモリカードに記録する。

MFPコントローラ部４には、スキャナ部１、プリンタ部２およびメモリカードスロット部３をそれぞれ接続している。また、MFPコントローラ部４は、ネットワークまたはUSBインターフェース等の外部インターフェース５を通じて、外部機器との間で画像データ等の入出力を行なう。この外部機器としては、例えば、プリンタ部２で出力するための印刷データを送信するPC（パソコン）やプリントサーバ、ファクシミリ装置、画像データの入出力が可能なUSBストレージあるいは、USBで接続されPictBridge規格に従って画像データを転送するディジタルカメラ等が挙げられる。

また、MFPコントローラ部４には、後述する外部記憶装置部６をも接続している。外部記憶装置部６は、HDD（ハードディスクドライブ）等により構成されており、システム制御部４１に接続している。この外部記憶装置６は、合成を行なうための画像データや、システムが動作するためのプログラム、設定情報等を記憶できる。

システム制御部４１は、内部にCPUを含み、装置全体の制御を行なう。RAM４２はシステム制御部４１内のCPUが動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ROM４３はブートROMであり、システムのブートプログラムを格納している。操作部４４は、表示部４５とともにユーザ・インターフェースを提供するものであり、システム制御部４１に接続している。

画像処理部４６には、スキャナ部１、プリンタ部２及びシステム制御部４１を接続している。エリア判別部４６１は、スキャナ部１またはシステム制御部４１を通して読み取られた第１の画像データについて画像のエリア判別を行う。画像編集部４６２は画像の拡大・縮小、解像度変換、回転等の画像処理を行なう。画像合成部４６３は画像の合成を行う。それらの画像処理は画像メモリ４７を用いて行なう。この画像処理部４６は、システム制御部４１内に構成してもよい。画像メモリ４７は、画像処理部４６からの要求に従い、画像データの書き込み、読み出し等を行なう。

次に、上記画像処理部４６内の各部について詳細に説明する。
先ず、画像データのエリア判別を行なってエリア情報を作成するエリア判別部４６１における主要な処理手順をフローチャートとして図２に示す。

最初のステップS１では、エリアの輪郭線を取り出すための境界部の追跡を行なう。境界部の追跡は、まず画像上の各画素の値をラスタースキャン方式で順次走査していき、隣り合う画素値の差が或る閾値を超えた画素について、それらの画素を境界点として抽出する。特に、白領域の検出の場合は、この輪郭線の抽出の前処理として２値化を行うと、その後の処理が簡素化できる。

次に、それらの抽出した複数の境界点について、画素が隣接して連続する境界点を追跡し、その連続する境界点を輪郭線として取り出していく。境界点の追跡は、注目している境界点を中心に例えば反時計回りに次の境界点を探すことによって行う。見つかった場合は同様にその境界点を中心に、次の境界点を追跡していく。次の境界点が追跡を開始した点となったら、エリアを一周したものと見なして追跡を終了する。もし或る境界点の近傍に他の境界点がない場合は、その境界点は孤立点であるものと見なして追跡を終了する。この処理を繰り返すことにより、エリアの輪郭線を抽出する。

次にステップＳ２において、エリアの輪郭線内の画素の連結性を調査するラベリング処理を行なう。このラベリング処理は、つながっている全ての画素（連結成分）に同じラベル（番号）をつけ、異なった成分には異なった番号を付ける処理である。この処理により個々の連結成分に分離することができる。分離する際、個々の連結成分をすべて最小の矩形で切り出す。上記連結成分とは、連結性に基づく図形のひとまとまりを指し、画素が上下左右または更に斜めに隣接していて、且つ画素の値（色や濃度）が等しいか近似している場合に、その２つの画素は連結成分の関係にあるものとして扱う。

次にステップＳ３において、ラベル付けされた各連結成分の特徴パラメータを求め、この特徴パラメータを基に、各エリアについてのエリア情報を取得する。この特徴パラメータとは、連結成分の大きさ（エリアの大きさ）や、エリアの形状を示す面積、周囲長等のパラメータである。後に示すように、抽出したエリア以外の余白部分についても、矩形のエリアとして抽出し、そのエリア情報を取得する。

これらの処理により、第１の画像データのエリア情報を作成する。この「エリア」がこの発明に係る画像領域抽出手段が抽出する「画像領域」に相当する。
画像編集部４６２は、エリア判別部４６１により導出されたエリア情報に基づき、エリア判別部で解析された画像データとは別の画像データを特定のエリアにはめ込む場合に必要な画像の拡大・縮小、回転等の画像処理を行なう。

画像合成部４６３は、エリア判別部４６１で解析された画像データと画像編集部４６２によって編集された画像データを、指定されたエリアに合成する処理を行なう。
上記画像編集部と画像合成部がこの発明に係る画像合成手段に相当する。

次に、システム制御部４１の処理内容について、図３・図４を基に説明する。
先ず、画像処理部４６から第１の画像データと、そのエリア情報を読み取る（Ｓ１１→Ｓ１２）。

そして、第１の画像を表示部４５に表示するとともに、その第１の画像の各エリアがどの範囲であるかをインデックスとともに表示する（Ｓ１３）。図４はその表示例である。この例では、エリアＡ〜Ｆまで抽出されていて、各エリアの左上隅にはインデックスとして記号“Ａ”〜“Ｆ”を表示している。この例では、エリアＡ，エリアＢ，エリアＦはそれぞれ文字（文章）が記載された領域、エリアＤは図形が描かれた領域である。残る余白領域である矩形のエリアＣ，エリアＥが通常第２の画像をはめ込む対象となるエリアである。

このように第１の画像と共に自動抽出したエリアを表示した後、利用者による関連づけ操作の内容を操作部４４から読み取る（Ｓ１４）。具体的には、利用者は図４に示した複数のエリアのうち、どのエリアに第２の画像をはめ込むかを、例えばマウスなどのポインティングデバイスで所望のエリア内をクリックすることにより指定するので、それを読み取る。

その後、合成画像をプリント出力するのか、記憶装置に保存するのか、その出力先の操作内容を読み取る。

次に全体の動作について図５に基づいて説明する。
ここでは、ベースとなる第1の画像がスキャナ部１により読み取られ、ベースとなる画像データ内にはめ込まれる第２の画像データがメモリカードスロット部３により読み込まれるものとする。

図５の（Ａ）に示すように、スキャナ部１により第１の画像を読み込むと、この第１の画像のデータをエリア判別部４６１に供給する。このエリア判別部４６１では、読み込まれた第１の画像データについて、上述したようにして連結成分等の解析を行い、エリア情報を作成する。これらのエリア情報は、画像編集部４６２へ送る。

画像編集部４６２では、エリア判別部４６１から送られてきたエリア情報に基づいて、メモリカードスロット部３より読み込まれシステム制御部４１から送られてきた第２の画像に対して画像処理を行う。すなわち、第２の画像を第１の画像の指定エリアにはめ込むように、第２の画像を拡大・縮小、回転等の処理によって編集し、編集後の画像データを画像合成部４６３へ送る。この際の拡大・縮小処理では、はめ込む画像の全体が指定エリアに収まるように、画像の高さ・幅の拡大・縮小率を選択する。図６はその例を示している。ここで、第２の画像データをエリアＣまたはＥにはめ込む場合に、はめ込む先のエリアの大きさに応じて、第２の画像の拡大・縮小処理を行う。

なお、第１の画像のどのエリアに第２の画像をはめ込むかは、前述したとおりシステム制御部４１の処理によって設定され、画像処理部４６はその設定内容をシステム制御部４１から読み取る。

画像合成部４６３は、スキャナ部から取り込んだ第１の画像とそのエリア情報に基づき、画像編集部４６２から送られてきた編集された第２の画像を指定のエリアに合成し、第３の画像データ（合成画像データ）を作成する。そして、この第３の画像をどのように出力するかの指定をシステム制御部４１から読み取って、その設定内容に応じて出力制御を行う。例えば第３の画像をプリント出力する場合には、第３の画像データをプリンタ部２に送る。これにより合成画像をプリント出力する。また、第３の画像を保存する場合には、記憶すべき装置を指定し、保存処理を行なう。ここで、指定できる記憶装置とは、外部記憶装置６、メモリカードスロット部３内のメモリカード、あるいは外部Ｉ／Ｆに接続されているUSBストレージ等である。

以上に示した一連の処理によって、複数の入力装置から読み込まれた画像データを所定のエリア情報を基に画像処理することにより、図５の（Ｂ）に示すような１つの合成画像を出力できる。
第１の画像内の複数のエリアのうち、どのエリアに第２の画像をはめ込んで合成するかの指定は、第１の画像を読み取った際に行えばよいが、その指定内容はシステム制御部４１が記憶するので、第１の画像内の複数のエリアのうち、どのエリアに第２の画像をはめ込んで合成するかの指定を一旦行った後、次回からその指定内容を用いるようにしてもよい。この場合、例えば第１の画像をテンプレートとしておける。すなわち、第１の画像とエリアの指定情報はそのまま利用し、任意の第２の画像を画像入力装置から入力するだけで、その第２の画像が第１の画像の所定エリアにはめ込まれた合成画像が自動生成できる。

なお、第２の画像データは単一である必要はなく、例えば図７に示すように、複数の画像データからなる画像データ群であってもよい。この場合、画像データ群から所定の画像を第２の画像データとして選択するように構成すればよい。

また、同じく図７に示すように、第１の画像から抽出したエリアが複数あって、そのうちいくつかのエリアにそれぞれどの画像をはめ込むかを指定するように構成してもよい。

また、上述した例では、スキャナ部で読み取った画像データを第１の画像（所定エリアに他の画像がはめ込まれる画像）データとし、その他の画像入力装置で読み取った画像データを第２の画像（はめ込む画像）データとしたが、スキャナ部を読み取った画像を第２の画像としてもよいことは言うまでもない。

また、第２の画像を第１の画像の所定のエリアにはめ込む際、どの画像入力装置から入力した第２の画像を第１の画像のどのエリアにはめ込むかを予め設定しておいてもよい。
これについて図８を参照して説明する。ここでは、スキャナ部１で読み取った画像を第１の画像とし、メモリカードスロット部３から読み取った画像データを第２の画像データとし、且つその第２の画像を第１の画像中のエリアＢにはめ込み、外部Ｉ／Ｆを介して読み取ったPictBridge規格対応のディジタルカメラ等からの画像データをもう一つの第２の画像データとし、且つその第２の画像を第１の画像中のエリアＣにはめ込む。

このようにして、図８の（Ｂ）に示すように第１の画像に２つの第２の画像が所定エリアにはめ込まれた合成画像が得られる。

上記構成によれば、第１の画像の複数のエリアのうちどのエリアにどの画像入力装置から入力した第２の画像をはめ込むかを予め利用者が一度設定しておけば、後は第２の画像データを入力する画像入力装置から所定の画像データを入力するだけで、第２の画像のみを変更した合成画像が自動的に得られる、という効果を奏する。

実施形態に係る画像処理装置の構成を示すブロック図である。 エリア判別部における処理内容を示すチャートである。 システム制御部における処理内容を示すチャートである。 第１の画像から抽出したエリアと、その表示例を示す図である。 第１の画像に対する第２の画像のはめ込みに関する処理内容と、合成画像の例を示す図である。 第１の画像に対する第２の画像のはめ込みに関する処理内容を示す図である。 第１の画像に対する第２の画像のはめ込みに関する処理内容を示すブロック図である。 第１の画像に対する第２の画像のはめ込みに関する処理内容と、合成画像の例を示す図である。

符号の説明

１ スキャナ部
２ プリンタ部
３ メモリカードスロット部
４ MFPコントローラ部
５ 外部Ｉ／Ｆ
６ 外部記憶装置
４１ システム制御部
４２ ＲＡＭ
４３ ＲＯＭ
４４ 操作部
４５ 表示部
４６ 画像処理部
４７ 画像メモリ
４６１ エリア判別部
４６２ 画像編集部
４６３ 画像合成部

Claims (4)

1. それぞれ画像を入力する複数の画像入力手段と、
   前記複数の画像入力手段のうち第１の画像入力手段により入力された第１の画像から、画像部分の特徴量に基づいて複数の画像領域を抽出する画像領域抽出手段と、
   前記複数の画像入力手段のうち第２の画像入力手段により入力された第２の画像を第１の画像の前記抽出された画像領域にはめ込むために編集するとともに、当該編集した第２の画像を前記第１の画像に合成する画像合成手段と、
   前記画像合成手段によって合成された画像を出力する画像出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像領域抽出手段は、前記特徴量を画素の色情報とし、２次元方向に一様に連続する特定色の画像領域を抽出するものである請求項１に記載の画像処理装置。
3. 前記画像領域抽出手段により抽出された複数の画像領域のうち、どの画像領域に第２の画像をはめ込んで合成するかの指定を読み取り、記憶する手段を備えた請求項１または２に記載の画像処理装置。
4. 前記画像合成手段は、前記第１の画像の特定の複数の画像領域に対して、前記複数の画像入力手段より入力された複数の画像を画像入力手段毎に関連づけて合成するものである請求項１，２または３に記載の画像処理装置。

Images