JP2021141497A - 画像処理システム - Google Patents

Abstract

【課題】入力文書データに入力画像データが合成された合成文書データにおいて、合成文書データにおける画像レイアウト領域の情報が修正される画像処理装置を提供する。【解決手段】文書データ比較部２１８は、入力文書データＸと教師文書データＸ´とを比較する。文書データ抽出部２２０は、入力文書データＸと類似する教師文書データＸ´を抽出する。解析部２２４は、入力文書データＸ中の画像レイアウト領域１０を解析する。合成部２２６は、文書データラベルを付与された入力文書データＸの画像レイアウト領域１０に、入力画像データＡを合成して合成文書データ２０を生成する。レイアウト修正部２２８は、ユーザーの指示により、画像レイアウト領域１０を修正する。情報修正部２３０は、合成文書データ２０における画像レイアウト領域１０の情報を修正する。【選択図】図２

Description

本発明は、画像処理システムに関する。

特許文献１は、背景となる写真画像と前景となる文字原稿（人物写真）をソフトウェア上に読み込み、写真画像と文字原稿（人物写真）の合成を実行し、合成具合を調整し、合成結果をプリントアウトする、自動画像合成装置、自動画像合成方法、およびそのプログラムを開示する。

特開２００３−２７１９４７号公報

しかしながら、特許文献１に記載された自動画像合成装置は、前景となる文字原稿（人物写真）に、その文字原稿の種類や属性の情報が付与されていない。そのため、自動画像合成装置は、背景となる写真画像のどの位置に、前景となる文字原稿を合成すればよいかの情報を有さない。従って、ユーザーは、写真画像に文字原稿が合成された結果を見ながら、文字原稿の位置を調整しなければならないという課題がある。

本発明は、上記課題に鑑みてなされたものであり、入力画像データが入力文書データの好適な位置に合成されて、合成文書データが生成されることにより、ユーザーの労力を軽減できる画像処理システムを提供することを目的とする。

本発明の一局面によれば、画像処理システムは、取得部と、比較部と、画像データラベル付与部と、合成部とを備える。前記取得部は、入力画像データを取得し、および、入力文書データを取得する。前記画像データ比較部は、前記入力画像データと教師画像データとを比較する。前記画像データラベル付与部は、前記入力画像データと類似する前記教師画像データに付随していた画像データラベルを、前記入力画像データに付与する。前記合成部は、前記画像データラベルに基づいて、前記入力画像データを前記入力文書データに合成して、合成文書データを生成する。

本発明によれば、入力画像データが入力文書データの好適な位置に合成されて、合成文書データ生成されることにより、ユーザーの労力を軽減できる画像処理システムを提供することができる。

本発明の実施形態に係る画像処理システムを示す図である。 本実施形態に係る画像処理システム、および、画像処理システムに含まれる複合機の機能ブロック図である。 実施形態１に係る画像処理システムの画像処理を示す図である。 実施形態１に係る画像処理システムの画像処理を示す図である。 実施形態２に係る画像処理システムの画像処理を示す図である。 実施形態２に係る画像処理システムの画像処理を示す図である。 実施形態３に係る画像処理システムの画像処理を示す図である。 実施形態３に係る画像処理システムの画像処理を示す図である。 本実施形態に係る画像処理システムの処理を示すフローチャートである。 本実施形態に係る画像処理システムの処理を示すフローチャートである。

（実施形態１）
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付して説明を繰り返さない。

図１を参照して、本発明の実施形態に係る画像処理システム１について説明する。図１は、本実施形態に係る画像処理システム１を示す図である。なお、図１で説明される本実施形態は、本発明のすべての実施形態に適用され得る。

図１に示すように、画像処理システム１は、画像処理装置１００と、複合機３００と、サーバー３１０と、クラウド３２０とを備える。

画像処理装置１００は、一例として、デスクトップパソコン、携帯電話、スマートフォン、タブレットである。

複合機３００は、一例として、画像形成装置、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）、ファクシミリ、または、スキャナーである。

サーバー３１０は、ユーザーからの要求に対して情報や処理結果を提供する機能を果たすコンピューターである。

クラウド３２０は、インターネットを介して、ユーザーにコンピューター資源を提供するサービスである。クラウド３２０の一例は、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、ＰａａＳ（Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）、ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）である。

画像処理装置１００と、複合機３００と、サーバー３１０と、クラウド３２０とは、回線Ｌで互いに接続されている。回線Ｌは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。回線Ｌは、無線回線または有線回線のいずれかに限定されない。

次に、引き続き、図１に加え、図２を参照して、画像処理システム１に含まれる画像処理装置１００、および、複合機３００における画像処理を説明する。図２は、本実施形態に係る画像処理装置１００、および、画像処理装置１００に接続される複合機３００の機能ブロック図である。なお、図２で説明される本実施形態は、本発明のすべての実施形態に適用され得る。

以下、これらの構成要素を、情報が処理される順に説明する。

図２に示すように、画像処理システム１は、画像処理装置１００と、複合機３００とを備える。

複合機３００は、読取部３０２を含む。読取部３０２は、図示しない原稿搬送装置によって搬送される原稿から画像を読み取る。読取部３０２は、読み取った画像から画像データを生成する。読取部３０２は、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）方式またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）方式のスキャナーである。読取部３０２の動作は後述する。

画像処理装置１００は、制御部２００と、画像データ記憶部１１０と、文書データ記憶部１２０と、表示部１３０と、受信部１４０とを備える。

画像処理装置１００の制御部２００と、画像データ記憶部１１０と、文書データ記憶部１２０とは、それぞれ、サーバー３１０、または、クラウド３２０に配置されてもよい。その場合、「画像処理装置１００」は、サーバー３１０、または、クラウド３２０に置換され得る。当該事項は、本願のすべての実施形態に適用され得る。

制御部２００は、画像処理装置１００の各部の動作を制御する。具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含む。そして、制御部２００のプロセッサーは、図示しない記憶装置に記憶されたコンピュータープログラムを実行することによって、画像処理装置１００の各部の動作を制御する。記憶装置は、サーバー３１０、または、クラウド３２０に配置されてもよい。当該事項は、本願のすべての実施形態に適用され得る。

画像データ記憶部１１０は、教師画像データＡ´（図３）を記憶する。教師画像データＡ´は、例えば、過去に取得した画像データの集合である。

例えば、教師画像データＡ´が、ハワイの画像である場合、「海」、「ハワイ」などを示す画像データラベルと紐付けられる。画像データ記憶部１１０は、教師画像データＡ´を画像データラベルと紐付けて記憶してもよい。

画像データ記憶部１１０は、半導体メモリーのような主記憶装置と、半導体メモリーおよび／またはハードディスクドライブのような補助記憶装置とを含む。画像データ記憶部１１０は、リムーバブルメディアを含んでいてもよい。

文書データ記憶部１２０は、教師文書データＸ´を記憶する。教師文書データＸ´は、例えば、過去に取得した文書データの集合である。教師文書データＸ´は、入力画像データＡが合成される画像レイアウト領域１０、その他の文書情報を示す文書データラベルが付随してもよい。例えば、教師文書データＸ´が、ハワイ旅行のパンフレットである場合、「海」、「ハワイ」などのキーワードの他、画像レイアウト領域１０のデータを示す文書データラベルと紐付けられる。

文書データ記憶部１２０は、教師文書データＸ´を文書データラベルと紐付けて記憶してもよい。文書データ記憶部１２０の構成は、画像データ記憶部１１０の構成と同様であってもよい。

表示部１３０は、ユーザーに情報を表示し、または、ユーザーが入力した情報を制御部２００に出力する。表示部１３０は、ディスプレーを含む。表示部１３０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）のようなディスプレーであり、種々の画像を表示する。

また、ディスプレーは、タッチパネル機能を有しており、タッチセンサーを含む。タッチパネル機能を有するディスプレーは、入力部の一部を構成する。入力部は、情報を入力可能な複数のハードウェアボタンを含む。

受信部１４０は、画像データの入力指示を受信する。具体的には、ユーザーが、画像処理装置１００から入力指示を出してもよい。受信部１４０の一例は、コーデック（ＣＯＤＥＣ：ＣＯＤＥＲ／ＤＥＣＯＤＥＲ）である。

受信部１４０は、サーバー３１０、または、クラウド３２０から画像データの入力指示を受けてもよい。当該事項は、本願のすべての実施形態において適用され得る。なお、受信部１４０は、必須の構成要素ではない。

制御部２００は、判別部２０４と、取得部２０６と、画像データ比較部２０８と、画像データ抽出部２１０と、画像データラベル付与部２１２と、画像データ更新部２１４と、変形部２１６と、文書データ比較部２１８と、文書データ抽出部２２０と、文書データラベル付与部２２２と、解析部２２４と、合成部２２６と、レイアウト修正部２２８と、情報修正部２３０と、文書データ更新部２３２とを含む。

制御部２００の上記各構成要素は、具体的には、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などで実現される。

（画像入力）
制御部２００の判別部２０４は、受信部１４０が受信した入力指示が、画像入力か、文書入力かを判別する。画像入力は、例えば、写真などの画像を入力することである。ここでは、判別部２０４は、画像入力の入力指示を受信部１４０が受信したことを判別する。判別部２０４は、必須の構成要素ではない。画像入力と、文書入力とは、判別されずに独立して行うことが可能である。

複合機３００（図１）の読取部３０２は、画像入力と判別された場合に、入力画像を読み取り、文書入力と判別された場合に、入力文書を読み取る。すなわち、読取部３０２は、受信部１４０が受信した入力指示が、画像入力と判別された場合に、入力画像を読み取る。読取部３０２は、受信部１４０が受信した入力指示が、文書入力と判別された場合に、入力文書を読み取る。ここでは、読取部３０２は、入力画像を読み取って、入力画像データＡを生成する。

制御部２００の取得部２０６は、入力画像データＡを取得し、および、入力文書データＸを取得する。受信部２０２が、サーバー３１０、または、クラウド３２０から画像データの入力指示を受信した場合、取得部２０６は、サーバー３１０、または、クラウド３２０から入力画像データＡを取得し、および、入力文書データＸを取得する。

制御部２００の取得部２０６は、判別部２０４において画像入力と判別された場合に、入力画像データＡを取得してもよい。取得部２０６は、判別部２０４において文書入力と判別された場合に、入力文書データＸを取得してもよい。

本実施形態によれば、取得部２０６は、画像入力と判別された場合に、写真などを読み取って、入力画像データＡを取得できる。

制御部２００の画像データ比較部２０８は、入力画像データＡと教師画像データＡ´とを比較する。すなわち、画像データ比較部２０８は、読取部３０２または取得部２０６が取得した入力画像データＡと、画像データ記憶部１１０に記憶されている教師画像データＡ´とを比較する。

画像データ比較部２０８は、例えば、入力画像データＡの画素配列と、教師画像データＡ´の画素配列とを比較する。画像データ比較部２０８は、例えば、入力画像データＡの画素配列に基づく構図と、教師画像データＡ´の画素配列に基づく構図とを比較してもよい。

画像データ比較部２０８は、例えば、入力画像データＡの画素配列に基づく構図から、入力画像データＡは、「ハワイ」であると判定する。画像データ比較部２０８は、「ハワイ」のグループ、または、「ハワイ」の画像データラベルが付随した教師画像データＡ´と、入力画像データＡとを比較してもよい。

画像データ比較部２０８は、入力画像データＡと、教師画像データＡ´とを比較した結果、入力画像データＡと類似する、一つまたは複数の教師画像データＡ´を選定する。

画像データ比較部２０８は、入力画像データＡと教師画像データＡ´とが類似しているか否かを示す画像類似情報を出力する。

制御部２００の画像データ抽出部２１０は、入力画像データＡと類似する教師画像データＡ´を、画像データ記憶部１１０から抽出する。画像データ抽出部２１０は、画像データ比較部２０８の比較結果に基づいて、入力画像データＡと類似する教師画像データＡ´を、画像データ記憶部１１０から少なくとも１つ抽出する。

画像データ抽出部２１０は、必須構成要素ではない。入力画像データＡと類似する教師画像データＡ´は、画像データ記憶部１１０から抽出されなくてもよい。

制御部２００の画像データラベル付与部２１２は、入力画像データＡと類似する教師画像データＡ´に付随していた画像データラベルを、入力画像データＡに付与する。

具体的には、画像データ抽出部２１０が抽出した教師画像データＡ´に付随する画像データラベルに、「ハワイ」と記載されていた場合、画像データラベル付与部２１２は、入力画像データＡに、「ハワイ」と記載した画像データラベルを付与する。

また、画像データラベルに、画像レイアウト領域１０の情報が記載されていた場合、画像データラベル付与部２１２は、入力画像データＡに、画像レイアウト領域１０が記載された画像データラベルを付与する。

制御部２００の画像データ更新部２１４は、画像データ記憶部１１０に、画像データラベルを付与された入力画像データＡを追加する。入力画像データＡは、画像データ記憶部１１０に教師画像データＡ´として記憶される。入力画像データＡは、画像データラベルに基づいて分類されて、画像データ記憶部１１０に記憶されてもよい。

制御部２００の変形部２１６は、入力画像データＡのサイズを変形する。変形部２１６については、後述する。

（文書入力）
次に、受信部１４０は、文書データの入力指示を受信する。

制御部２００の判別部２０４は、文書入力の入力指示を受信部１４０が受信したことを判別する。文書入力は、例えば、文字が記載された文書の画像を入力することである。入力文書は、少なくとも文字が記載されていればよく、写真などの画像が記載されている必要はない。

また、入力文書は、画像レイアウト領域１０を有している必要はない。判別部２０４は、必須の構成要素ではない。画像入力と、文書入力とは、判別されずに独立して行うことが可能である。

複合機３００（図１）の読取部３０２は、文書入力と判別された場合に、入力文書を読み取り、入力文書データＸを生成する。すなわち、読取部３０２は、受信部１４０が受信した入力指示が、文書入力と判別された場合に、入力文書を読み取る。

制御部２００の取得部２０６は、入力文書データＸを取得する。受信部２０２が、サーバー３１０、または、クラウド３２０から文書データの入力指示を受信した場合、取得部２０６は、サーバー３１０、または、クラウド３２０から入力文書データＸを取得する。

制御部２００の取得部２０６は、判別部２０４において文書入力と判別された場合に、入力文書データＸを取得してもよい。

本実施形態によれば、取得部２０６は、文書入力と判別された場合に、文章を読み取って、入力文書データＸを取得できる。

制御部２００の文書データ比較部２１８は、入力文書データＸと教師文書データＸ´とを比較する。すなわち、文書データ比較部２１８は、読取部３０２または取得部２０６が取得した入力文書データＸと、文書データ記憶部１２０に記憶されている教師文書データＸ´とを比較する。

文書データ比較部２１８は、例えば、入力文書データＸの画素配列と、教師文書データＸ´の画素配列とを比較する。文書データ比較部２１８は、例えば、入力文書データＸの画素配列に基づく構図と、教師文書データＸ´の画素配列に基づく構図とを比較してもよい。

文書データ比較部２１８は、例えば、入力文書データＸの画素配列に基づく構図から、入力文書データＸは、「ハワイ旅行のパンフレット」であると判定する。文書データ比較部２１８は、「ハワイ旅行のパンフレット」のグループ、または、「ハワイ旅行のパンフレット」の文書データラベルが付随した教師文書データＸ´と、入力文書データＸとを比較してもよい。

文書データ比較部２１８は、例えば、入力文書データＸの文字データから、入力文書データＸは、「ハワイ旅行のパンフレット」であると判定してもよい。

制御部２００の文書データ抽出部２２０は、入力文書データＸと類似する教師文書データＸ´を文書データ記憶部１２０から抽出する。文書データ抽出部２２０は、文書データ比較部２１８の比較結果に基づいて、入力文書データＸと類似する教師文書データＸ´を、少なくとも１つ抽出する。文書データ抽出部２２０は、画像データ比較部２０８の比較結果に基づいて、入力文書データＸと最も似ている教師文書データＸ´を、少なくとも１つ抽出してもよい。

文書データ抽出部２２０は、必須構成要素ではない。入力文書データＸと類似する教師文書データＸ´は、文書データ記憶部１２０から抽出されなくてもよい。

制御部２００の文書データラベル付与部２２２は、入力文書データＸと類似する教師文書データＸ´に付随していた文書データラベルを、入力文書データＸに付与する。

具体的には、文書データ抽出部２２０が抽出した教師文書データＸ´に付随する文書データラベルに、「ハワイ」と記載されていた場合、文書データラベル付与部２２２は、入力文書データＸに、「ハワイ」と記載した文書データラベルを付与する。

また、文書データラベルに、画像レイアウト領域１０の情報が記載されていた場合、文書データラベル付与部２２２は、入力文書データＸに、画像レイアウト領域１０が記載された文書データラベルを付与する。

先述した、表示部１３０は、入力文書データＸを表示する。例えば、入力文書データＸが「ハワイ旅行のパンフレット」である場合、表示部１３０は、「ハワイ旅行のパンフレット」を、図示しないディスプレーに表示する。

制御部２００の解析部２２４は、入力文書データＸ中の画像レイアウト領域１０を解析する。具体的には、解析部２２４は、教師文書データＸ´に付与されていた文書データラベルの内容に基づいて、入力文書データＸに配置する画像レイアウト領域１０の位置（座標）、大きさ、形状を解析する。

例えば、文書データラベルが「ハワイ」である場合、解析部２２４は、入力文書データＸにおいて、「ハワイ」の文字が多く集まった位置、旅行日程が記載された位置、パンフレットの表題の位置などに画像レイアウト領域１０を配置する。

また、解析部２２４は、教師文書データＸ´に配置されていた画像レイアウト領域１０の位置（座標）、大きさ、形状に基づいて、入力文書データＸに配置する画像レイアウト領域１０の位置（座標）、大きさ、形状を解析してもよい。

解析部２２４は、教師文書データＸ´に配置されていた画像レイアウト領域１０の位置に基づいて、入力文書データＸに配置する画像レイアウト領域１０の位置を解析してもよい。

先述した、制御部２００の変形部２１６は、入力画像データＡのサイズを変形する。具体的には、ユーザーは、表示部１３０のディスプレーに表示された「ハワイのパンフレット」の画像を目視して、「ハワイのパンフレット」における画像レイアウト領域１０の位置、大きさ、形状を観察しながら、入力画像データＡの形状を修正する。

本実施形態によれば、ユーザーは、画像処理装置１００のマウスなどを操作し、表示部１３０のディスプレーに表示された、教師文書データＸ´である、「ハワイのパンフレット」における画像レイアウト領域１０と、入力画像データＡを見比べながら、入力画像を「ハワイのパンフレット」の画像レイアウト領域１０に合成できるように、入力画像データＡの形状を修正することができる。

制御部２００の合成部２２６は、画像データラベルに基づいて、画像レイアウト領域１０に、入力画像データＡを合成して合成文書データ２０（図６）を生成する。すなわち、合成部２２６は、ユーザーにより形状等が修正された入力画像データＡを、「ハワイのパンフレット」における画像レイアウト領域１０に合成し、合成文書データ２０を生成する。

合成部２２６は、文書データラベルを付与された入力文書データＸの画像レイアウト領域１０に、入力画像データＡを合成して合成文書データ２０を生成してもよい。すなわち、入力文書データＸに文書データラベルが付与されていた場合、文書データラベルに記載された画像レイアウト領域１０の情報に基づいて、入力画像データＡを合成して合成文書データ２０を生成してもよい。

表示部１３０は、合成文書データ２０を表示する。

制御部２００のレイアウト修正部２２８は、ユーザーの指示により、画像レイアウト領域１０を修正する。例えば、ユーザーは、画像処理装置１００のマウスなどのインターフェースを用いて、表示部１３０に表示された合成文書データ２０における画像レイアウト領域１０の位置を修正することができる。

制御部２００の情報修正部２３０は、画像レイアウト領域１０の修正情報を文書データラベルに追加し、または、文書データラベルの修正情報をさらに修正する。情報修正部２３０は、例えば、合成文書データ２０に付随する文書データラベルを修正する。具体的には、情報修正部２３０は、合成文書データ２０に付随する文書データラベル「ハワイ」に加えて、修正情報の文書データラベルを付随させる。

つまり、合成文書データ２０には、文字「ハワイ」の文書データラベル、および、修正情報の文書データラベルが付随する。

情報修正部２３０は、画像レイアウト領域１０の修正前の座標情報と、修正後の座標情報とを、修正情報の文書データラベルとし、合成文書データ２０に付随させてもよい。

制御部２００の文書データ更新部２３２は、文書データ記憶部１２０に、文書データラベルを付与し、または、文書データラベルが修正された合成文書データ２０を追加する。つまり、レイアウト修正部２２８により画像レイアウト領域１０が修正された合成文書データ２０が、文書データ記憶部１２０に多数記憶される。

制御部２００の文書データ比較部２１８は、文書データ記憶部１２０に記憶される合成文書データ２０の数が増えるに従って、入力文書データＸに設定される画像レイアウト領域１０の位置を学習する。

本実施形態によれば、文書データ比較部２１８は、入力文書データＸに設定する画像レイアウト領域１０の位置を学習する。そのため、ユーザーは、合成文書データ２０の画像レイアウト領域１０の位置を修正する負担が減少する。

（実施形態１）
次に、図１および図２に加え、図３および図４を参照して、実施形態１に係る画像処理システム１の具体的な画像処理を説明する。図３および図４は、実施形態１に係る画像処理システム１の画像処理を示す図である。

実施形態１では、画像処理システム１は、入力画像データＡを取得し、および、入力文書データＸを取得する取得部２０６と、入力画像データＡと教師画像データＡ´とを比較する画像データ比較部２０８と、入力画像データＡと類似する教師画像データＡ´に付随していた画像データラベルを、入力画像データＡに付与する画像データラベル付与部２１２と、画像データラベルに基づいて、入力画像データＡを入力文書データＸに合成して、合成文書データ２０を生成する合成部２２６とを備える。

実施形態１では、画像処理システム１は、さらに、入力画像を読み取って入力画像データＡを出力し、入力文書を読み取って入力文書データＸを出力する読取部３０２と、教師画像データＡ´を記憶する画像データ記憶部１１０とを備える。

図１に示すように、例えば、ユーザーは、画像処理装置１００を用いて、複合機３００に写真を読み取る指示を入力する。受信部１４０は、ユーザーの入力指示を受信する。図１に示すように、ユーザーが画像処理装置１００を用いて写真を読み取る指示を入力すると、サーバー３１０、または、クラウド３２０に配置された受信部１４０が、複合機３００に写真を読み取る指示を受信してもよい。

制御部２００の判別部２０４は、受信部１４０が受信した入力指示が、画像入力か、文書入力かを判別する。ここでは、判別部２０４は、画像入力の入力指示を受信部１４０が受信したことを判別する。複合機３００（図１）の読取部３０２は、入力画像を読み取って、画像データを生成する。判別部２０４は、必須の構成要素ではない。画像入力と、文書入力とは、判別されずに独立して行うことが可能である。

取得部２０６は、画像データに基づいて、入力画像データＡを取得する。取得部２０６は、読取部３０２、および、判別部２０４を介さず、サーバー３１０、または、クラウド３２０、その他の外部から入力画像データＡを取得してもよい。

画像データ記憶部１１０は、教師画像データＡ´を記憶する。図３に示すように、画像データ記憶部１１０は、例えば、教師画像データＡ´、教師画像データＢ、および教師画像データＣを記憶している。以降、教師画像データＡ´、教師画像データＢ、および教師画像データＣを区別して記載する必要がある場合を除き、教師画像データＡ´と記載する。

実施形態１において、画像データ記憶部１１０は、必須の構成要素ではない。教師画像データＡ´、教師画像データＢ、および教師画像データＣは、外部の装置から取得されてもよく、画像データ記憶部１１０に記憶されることに限定されない。

教師画像データＡ´には、「ハワイ」を示す画像データラベルが付随している（紐付けられている）。教師画像データＢ、教師画像データＣにも、それぞれ、画像データラベルが付随していてもよい。

教師画像データＡ´には、「ハワイ」を示す画像データラベルに加えて、後述する画像レイアウト領域１０の修正情報を示す画像データラベルが付随してもよい。

図３に示すように、制御部２００の画像データ比較部２０８は、入力画像データＡと、教師画像データＡ´、教師画像データＢ、および教師画像データＣとを比較する。具体的には、画像データ比較部２０８は、入力画像データＡと、教師画像データＡ´、教師画像データＢ、および教師画像データＣとの画素配列、構図等を比較する。

画像データ比較部２０８は、入力画像データＡと、教師画像データＡ´、教師画像データＢ、および教師画像データＣとが類似しているか否かを判定する。例えば、画像データ比較部２０８は、画素配列、構図、過去の比較実績などに基づいて、教師画像データＡ´が入力画像データＡに類似していることを示す画像類似情報を出力する。

図３に示すように、制御部２００の画像データ抽出部２１０は、画像類似情報に基づいて、画像データ記憶部１１０から教師画像データＡ´を抽出する。ただし、画像データ抽出部２１０による、画像データ記憶部１１０からの教師画像データＡ´の抽出は、省略され得る。

制御部２００の画像データラベル付与部２１２は、入力画像データＡに、入力画像データＡと類似する教師画像データＡ´に付随していた画像データラベルと同じ画像データラベル「ハワイ」を付与する。

次に、図１に示すように、例えば、ユーザーは、画像処理装置１００を用いて、複合機３００に文書を読み取る指示を入力する。受信部１４０は、ユーザーの入力指示を受信する。図１に示すように、ユーザーが画像処理装置１００を用いて文書を読み取る指示を入力すると、サーバー３１０、または、クラウド３２０に配置された受信部１４０が、複合機３００に文書を読み取る指示を受信してもよい。

本実施形態によれば、ハワイ旅行などを説明する文章が記載されたパンフレットなどの入力文書と、入力文書に合成したいハワイなどの写真を入力画像として読み取ることで、入力画像データＡと、入力文書データＸとを取得することができる。

制御部２００の判別部２０４は、受信部１４０が受信した入力指示が、画像入力か、文書入力かを判別する。ここでは、判別部２０４は、文書入力の入力指示を受信部１４０が受信したことを判別する。複合機３００（図１）の読取部３０２は、入力文書を読み取って、画像データを生成する。

取得部２０６は、画像データに基づいて、入力文書データＸを取得する。取得部２０６は、読取部３０２、および、判別部２０４を介さず、サーバー３１０、または、クラウド３２０、その他の外部から入力文書データＸを取得してもよい。

制御部２００の変形部２１６は、入力画像データＡのサイズを変形する。具体的には、ユーザーは、入力文書データＸにおいて、ユーザーの意図する位置に入力画像データＡが合成されるよう、入力画像データＡの形状を変形することを指示できる。変形部２１６は、ユーザーの指示に基づいて、入力画像データＡの形状を変形させる。

また、入力文書データＸが画像レイアウト領域１０を有している場合、ユーザーは、画像処理装置１００の表示部１３０に表示された入力画像データＡと、入力文書データＸの画像レイアウト領域１０とに基づいて、入力画像データＡが、入力文書データＸの画像レイアウト領域１０に合成されやすいよう、入力画像データＡの形状を変形することを指示できる。

図４に示すように、制御部２００の合成部２２６は、入力画像データＡに付与された画像データラベル「ハワイ」に基づいて、入力文書データＸの所定位置に、入力画像データＡを合成して、合成文書データ２０を生成する。

具体的には、合成部２２６は、入力画像データＡに画像データラベル「ハワイ」が付与されていることから、入力文書データＸにおいて、「ハワイ」の文字が集まっている位置に、入力画像データＡを合成して、合成文書データ２０を生成する。

本実施形態によれば、入力画像データＡが入力文書データＸの好適な位置に合成されて、合成文書データ２０が生成されることにより、ユーザーの労力を軽減できる。

また、本実施形態によれば、画像データラベル付与部２１２が、入力画像データＡと類似する教師画像データＡ´の画像データラベルと同じ画像データラベル「ハワイ」を、入力画像データＡに付与するため、合成部２２６は、入力文書データＸにおける「ハワイ」と関連する文字が多い位置に、入力画像データＡを好適に合成することができる。

（実施形態２）
次に、図１〜図３に加え、図５および図６を参照して、実施形態２に係る画像処理システム１の具体的な画像処理を説明する。図５および図６は、実施形態２に係る画像処理システム１の画像処理を示す図である。

実施形態２では、実施形態１で説明した構成要素に加え、教師文書データＸ´を記憶する文書データ記憶部１２０と、入力文書データＸと教師文書データＸ´とを比較する文書データ比較部２１８と、入力文書データＸと類似する教師文書データＸ´に付随していた文書データラベルを、入力文書データＸに付与する文書データラベル付与部２２２と、入力文書データＸ中の画像レイアウト領域１０を解析する解析部２２４とを、さらに備え、合成部２２６は、文書データラベルを付与された入力文書データＸの画像レイアウト領域１０に、入力画像データＡを合成して合成文書データ２０を生成する。

実施形態２において、図１〜図３を参照して説明した、写真などの画像データの生成、および、処理に関わる、受信部１４０、判別部２０４、読取部３０２、取得部２０６、画像データ記憶部１１０、画像データ比較部２０８、画像データ抽出部２１０、画像データラベル付与部２１２、画像データ更新部２１４、および変形部２１６の構成、および動作は、実施形態１と同様であるので、重複する説明を省略する。

ユーザーは、画像処理装置１００を用いて、複合機３００に文書を読み取る指示を入力する。受信部１４０は、ユーザーの入力指示を受信する。

制御部２００の判別部２０４は、文書入力の入力指示を受信部１４０が受信したことを判別する。複合機３００（図１）の読取部３０２は、入力文書を読み取って、画像データを生成する。判別部２０４は、必須の構成要素ではない。画像入力は、判別されずに独立して行うことが可能である。

図５に示すように、取得部２０６は、画像データに基づいて、入力文書データＸを取得する。取得部２０６は、読取部３０２、および、判別部２０４を介さず、サーバー３１０、または、クラウド３２０、その他の外部から入力文書データＸを取得してもよい。

文書データ記憶部１２０は、教師文書データＸ´を記憶する。文書データ記憶部１２０は、例えば、教師文書データＸ´、教師文書データＹ、および教師文書データＺを記憶している。以降、教師文書データＸ´、教師文書データＹ、および教師文書データＺを区別して記載する必要がある場合を除き、教師文書データＸ´と記載する。

教師文書データＸ´には、「ハワイ」を示す文書データラベルが付随している（紐付けられている）。教師文書データＹ、教師文書データＺにも、それぞれ、文書データラベルが付随していてもよい。

教師文書データＸ´には、「ハワイ」を示す文書データラベルに加えて、後述する画像レイアウト領域１０の修正情報を示す文書データラベルが付随してもよい。

制御部２００の文書データ比較部２１８は、入力文書データＸと、教師文書データＸ´、教師文書データＹ、および教師文書データＺとを比較する。文書データ比較部２１８は、入力文書データＸと、教師文書データＸ´、教師文書データＹ、および教師文書データＺとの画素配列、構図等を比較する。

文書データ比較部２１８は、入力文書データＸと、教師文書データＸ´、教師文書データＹ、および教師文書データＺとが類似しているか否かを判定する。文書データ比較部２１８は、画素配列、構図、過去の比較実績などに基づいて、教師文書データＸ´が入力文書データＸに類似していることを示す文書類似情報を出力する。

制御部２００の文書データ抽出部２２０は、文書類似情報に基づいて、文書データ記憶部１２０から教師文書データＸ´を抽出する。ただし、文書データ抽出部２２０による、文書データ記憶部１２０からの教師文書データＸ´の抽出は、省略され得る。

制御部２００の文書データラベル付与部２２２は、入力文書データＸに、教師文書データＸ´に付随していた文書データラベルと同じ、文書データラベル「ハワイ」を付与する。

図６に示すように、制御部２００の解析部２２４は、入力文書データＸ中の画像レイアウト領域１０を解析する。入力文書データＸが画像レイアウト領域１０を有している場合、解析部２２４は、教師文書データＸ´に付与されていた文書データラベルの内容に基づいて、入力文書データＸに配置する画像レイアウト領域１０の位置（座標）、大きさ、形状を解析する。

また、例えば、入力文書データＸが画像レイアウト領域１０を有しておらず、文書データラベルが「ハワイ」である場合、解析部２２４は、入力文書データＸにおいて、「ハワイ」の文字が多く集まった位置、旅行日程が記載された位置、パンフレットの表題の位置など、画像レイアウト領域１０を配置する。

制御部２００の変形部２１６は、入力画像データＡのサイズを変形する。具体的には、ユーザーは、画像処理装置１００の表示部１３０に表示された入力画像データＡと、入力文書データＸの画像レイアウト領域１０とに基づいて、入力画像データＡが、入力文書データＸの画像レイアウト領域１０に合成されやすいよう、入力画像データＡの形状を変形することを指示できる。変形部２１６は、ユーザーの指示に基づいて、入力画像データＡの形状を変形させる。

図６に示すように、制御部２００の合成部２２６は、文書データラベル「ハワイ」を付与された入力文書データＸの画像レイアウト領域１０に、入力画像データＡを合成して、合成文書データ２０を生成する。

本実施形態によれば、文書データラベル付与部２２２が、教師文書データＸ´に付随していた文書データラベルと同じ文書データラベル「ハワイ」を、入力文書データＸに付与するため、合成部２２６は、入力文書データＸにおける「ハワイ」と関連する文字が多い位置に、入力画像データＡを好適に合成することができる。

また、本実施形態によれば、合成部２２６は、入力文書データＸにおいて、文書データラベル「ハワイ」に関連して、旅行日程が記載された位置、パンフレットの表題の位置などに画像レイアウト領域１０を配置でき、入力画像データＡを好適に合成することができる。

（実施形態３）
次に、図１〜図６に加え、さらに、図７および図８を参照して、実施形態３に係る画像処理システム１の画像処理を説明する。

実施形態３では、実施形態１および実施形態２で説明した構成要素に加え、合成文書データ２０を表示する表示部１３０と、ユーザーの指示により、画像レイアウト領域１０を修正し、修正情報を出力するレイアウト修正部２２８と、修正情報を文書データラベルに追加し、または、文書データラベルの修正情報をさらに修正する情報修正部２３０と、文書データ記憶部１２０に、文書データラベルを付与し、または、文書データラベルが修正された合成文書データ２０を追加する文書データ更新部２３２とをさらに備える。

実施形態３は、入力文書データＸに入力画像データＡを合成して生成された合成文書データ２０の文書データラベルに、入力文書データＸの画像レイアウト領域１０の修正情報を追加して、文書データ記憶部１２０に合成文書データ２０を追加する実施形態である。

また、すでに合成文書データ２０に文書データラベルが付随している場合、文書データラベルの修正情報をさらに修正して、文書データ記憶部１２０に合成文書データ２０を追加する実施形態である。

実施形態３において、実施形態１および実施形態２で説明した、写真および文書の読み取り、画像データの取得、および画像処理は、引き続き、実施形態３で適用されるので、重複する説明を省略する。

図２に示す表示部１３０は、合成文書データ２０を表示する。ユーザーは、表示部１３０に表示された合成文書データ２０を見ながら、合成文書データ２０の画像レイアウト領域１０が、ユーザーの意図に合った位置に配置されているか否かを確認することができる。

画像レイアウト領域１０が、ユーザーの意図に合った位置に配置されていないと、ユーザーが判断した場合、ユーザーは、画像処理装置１００のマウスなどのインターフェースを用いて、表示部１３０に表示された合成文書データ２０における画像レイアウト領域１０の位置を、ユーザーの意図に合った位置に修正できる。

具体的には、制御部２００のレイアウト修正部２２８は、ユーザーの指示に従って、画像レイアウト領域１０を修正する。

例えば、図７に示すように、ユーザーは、入力画像データＡを、入力文書データＸの最上段の表題「格安ハワイ旅行」の文字の次段に挿入したいという意図があったとする。

ユーザーは、表示部１３０に表示された合成文書データ２０を見ながら、マウスなどのポインターで、入力画像データＡを、合成文書データ２０の表題「格安ハワイ旅行」の次段に移動させることができる。

レイアウト修正部２２８は、入力画像データＡの位置を修正する。レイアウト修正部２２８は、入力画像データＡの位置とともに、画像レイアウト領域１０の位置も修正できる。

制御部２００の合成部２２６は、改めて、入力画像データＡを、合成文書データ２０のユーザーが新しく指示した画像レイアウト領域１０に合成する。加えて、合成部２２６は、合成文書データ２０の画像レイアウト領域１０の位置が修正されたことに基づいて、文書の文字列を修正することができる。

制御部２００の情報修正部２３０は、合成文書データ２０における画像レイアウト領域１０の情報を修正する。具体的には、情報修正部２３０は、合成文書データ２０が文書データラベルを有しない場合、合成文書データ２０に修正情報の文書データラベルを付随させる。

合成文書データ２０が、文書データラベル「ハワイ」を付随させている場合、情報修正部２３０は、合成文書データ２０に付随する文書データラベル「ハワイ」に加えて、修正情報の文書データラベルを付随させる。

さらに、合成文書データ２０が、文書データラベル「ハワイ」と、修正情報の文書データラベルとを付随させている場合、情報修正部２３０は、修正情報の文書データラベルをさらに追加するか、または、修正情報の文書ラベルを修正する。

文書データ更新部２３２は、文書データ記憶部１２０に、文書データラベル「ハワイ」と、修正情報の文書データラベルとを付与された合成文書データ２０を追加して更新する。

図８に示すように、文書データ記憶部１２０には、教師文書データＸ´、教師文書データＹ、教師文書データＺに加えて、文書データラベル「ハワイ」と、修正情報の文書データラベルとを付与された合成文書データ２０が記憶される。

文書データ記憶部１２０は、画素配列や構図などからハワイの写真である入力画像データＡが入力された場合、教師文書データＸ´よりも、さらに画像レイアウト領域１０がユーザーの意図に沿った位置に配置された合成文書データ２０を学習したことになる。

文書データ記憶部１２０は、文書データラベル「ハワイ」を付与された入力文書データＸが入力された場合、教師文書データＸ´よりも、さらに画像レイアウト領域１０がユーザーの意図に沿った位置に配置された合成文書データ２０を学習したことになる。

制御部２００の文書データ比較部２１８は、画素配列や構図などからハワイの写真である入力画像データＡが入力された場合、教師文書データＸ´よりも、さらに画像レイアウト領域１０がユーザーの意図に沿った位置に配置された合成文書データ２０と、入力文書データＸとを比較することを学習したことになる。

制御部２００の文書データ比較部２１８は、文書データラベル「ハワイ」を付与された入力文書データＸが入力された場合、教師文書データＸ´よりも、さらに画像レイアウト領域１０がユーザーの意図に沿った位置に配置された合成文書データ２０と、入力文書データＸとを比較することを学習したことになる。

本発明によれば、入力文書データＸの画像レイアウト領域１０に、入力画像データＡを好適に合成して、合成文書データ２０を生成する画像処理システム１を提供することができる。

本実施形態によれば、入力文書データＸに入力画像データＡが合成された合成文書データ２０において、合成文書データ２０における画像レイアウト領域１０の情報が修正される画像処理システム１を提供することができる。

本実施形態によれば、入力文書データＸにおけるユーザーの意図に沿った位置に、入力画像データＡを好適に合成することを学習できる画像処理システム１を提供することができる。

次に、図９および図１０を参照して、本実施形態に係る画像処理システム１の制御を説明する。図９および図１０は、本実施形態に係る画像処理システム１の処理を示すフローチャートである。図９および図１０に示すように、処理は、ステップＳ１０からステップＳ４４を含む。具体的には次の通りである。

図９に示すステップＳ１０において、受信部１４０は、画像データの入力指示を受信する。処理は、ステップＳ１２に進む。

ステップＳ１２において、判別部２０４は、受信部１４０が受信した入力指示が、画像入力か、文書入力かを判別する。画像入力であると判別された場合（ステップＳ１２において、Ｎｏ）、処理は、ステップＳ１４に進む。文書入力であると判別された場合（ステップＳ１２において、Ｙｅｓ）、処理は、ステップＳ２４に進む。

ステップＳ１２において、Ｎｏの場合、ステップＳ１４において、読取部３０２は、入力画像を読み取り、入力画像データＡを生成する。取得部２０６は、入力画像データＡを取得し、および、入力文書データＸを取得する。処理は、ステップＳ１６に進む。

ステップＳ１６において、画像データ比較部２０８は、入力画像データＡと教師画像データＡ´とを比較する。処理は、ステップＳ１８に進む。

ステップＳ１８において、画像データ抽出部２１０は、入力画像データＡと類似する教師画像データＡ´を抽出する。処理は、ステップＳ２０に進む。

ステップＳ２０において、画像データラベル付与部２１２は、教師画像データＡ´に付随していた画像データラベルを入力画像データＡに付与する。処理は、ステップＳ２２に進む。

ステップＳ２２において、画像データ更新部２１４は、画像データ記憶部１１０に、画像データラベルを付与された入力画像データＡを追加する。

ステップＳ１２において、Ｙｅｓの場合、ステップＳ２４において、読取部３０２は、入力文書を読み取って、入力文書データＸを生成する。取得部２０６は、入力文書データＸを取得する。処理は、ステップＳ２６に進む。

ステップＳ２６において、文書データ比較部２１８は、入力文書データＸと教師文書データＸ´とを比較する。処理は、ステップＳ２８に進む。

ステップＳ２８において、文書データ抽出部２２０は、入力文書データＸと類似する教師文書データＸ´を抽出する。処理は、ステップＳ３０に進む。

ステップＳ３０において、文書データラベル付与部２２２は、入力文書データＸに、教師文書データＸ´に付随していた文書データラベルを付与する。処理は、ステップＳ３２に進む。

ステップＳ３２において、解析部２２４は、入力文書データＸ中の画像レイアウト領域１０を解析する。処理は、図１０に示すステップＳ３６に進む。

ステップＳ３４において、変形部２１６は、入力画像データＡのサイズを修正する。処理は、図１０に示すステップＳ３６に進む。

図１０に示すステップＳ３６において、合成部２２６は、文書データラベルを付与された入力文書データＸの画像レイアウト領域１０に、入力画像データＡを合成して、合成文書データ２０を生成する。処理は、ステップＳ３８に進む。

ステップＳ３８において、表示部１３０は、合成文書データ２０を表示する。処理は、ステップＳ４０に進む。

ステップＳ４０において、レイアウト修正部２２８は、合成文書データ２０における画像レイアウト領域１０の位置を修正する。処理は、ステップＳ４２に進む。

ステップＳ４２において、情報修正部２３０は、合成文書データ２０における画像レイアウト領域１０の情報を修正する。処理は、ステップＳ４４に進む。

ステップＳ４４において、文書データ更新部２３２は、文書データ記憶部１２０に、文書データラベルを付与された合成文書データ２０を追加する。そして、処理は、終了する。

以上、図面（図１〜図１０）を参照しながら、本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で、種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図面作成の都合上から実際とは異なる場合がある。また、上記の実施形態で示す各構成要素は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。

本発明は、画像処理システムの分野に利用可能である。

１ 画像処理システム
１００ 画像処理装置
１１０ 画像データ記憶部
１２０ 文書データ記憶部
１３０ 表示部
１４０ 受信部
２００ 制御部
２０４ 判別部
２０６ 取得部
２０８ 画像データ比較部
２１０ 画像データ抽出部
２１２ 画像データラベル付与部
２１４ 画像データ更新部
２１６ 変形部
２１８ 文書データ比較部
２２０ 文書データ抽出部
２２２ 文書データラベル付与部
２２４ 解析部
２２６ 合成部
２２８ レイアウト修正部
２３０ 情報修正部
２３２ 文書データ更新部
３００ 複合機
３１０ サーバー
３２０ クラウド

Claims (4)

1. 入力画像データを取得し、および、入力文書データを取得する取得部と、
   前記入力画像データと教師画像データとを比較する画像データ比較部と、
   前記入力画像データと類似する前記教師画像データに付随していた画像データラベルを、前記入力画像データに付与する画像データラベル付与部と、
   前記画像データラベルに基づいて、前記入力画像データを前記入力文書データに合成して、合成文書データを生成する合成部と
   を備えた、画像処理システム。
2. 入力画像を読み取って前記入力画像データを出力し、入力文書を読み取って前記入力文書データを出力する読取部と、
   前記教師画像データを記憶する画像データ記憶部と
   を、さらに備える、請求項１に記載の画像処理システム。
3. 教師文書データを記憶する文書データ記憶部と、
   前記入力文書データと前記教師文書データとを比較する文書データ比較部と、
   前記入力文書データと類似する前記教師文書データに付随していた文書データラベルを、前記入力文書データに付与する文書データラベル付与部と、
   前記入力文書データ中の画像レイアウト領域を解析する解析部と
   を、さらに備え、
   前記合成部は、前記文書データラベルを付与された前記入力文書データの前記画像レイアウト領域に、前記入力画像データを合成して前記合成文書データを生成する、請求項１または請求項２に記載の画像処理システム。
4. 前記合成文書データを表示する表示部と、
   ユーザーの指示により、前記画像レイアウト領域を修正し、修正情報を出力するレイアウト修正部と、
   前記修正情報を前記文書データラベルに追加し、または、前記文書データラベルの前記修正情報をさらに修正する情報修正部と、
   前記文書データ記憶部に、前記文書データラベルを付与し、または、前記文書データラベルが修正された前記合成文書データを追加する文書データ更新部と
   をさらに備える、請求項３に記載の画像処理システム。

Images