JP2015159427A - 画像読取装置、画像読取装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】付箋等の添付体が付された原稿の読取画像において、添付体が付されたことにより欠損した画像を復元すること。【解決手段】撮像部により原稿を撮像して画像を読み取る画像読取装置であって、添付体が付された原稿が撮像部により撮像されて読み取られた読取画像の情報である読取画像情報に基づいて、添付体が付されたことにより原稿の画像情報が欠損している領域である欠損領域を特定する領域特定部と、特定された欠損領域以外の領域の読取画像情報に基づいて、欠損している画像情報である欠損画像情報の種類を特定する情報種類特定部と、読取画像情報に基づいて、欠損画像情報を、特定された種類の画像情報として復元する情報復元部とを含むことを特徴とする。【選択図】図３

Description

本発明は、画像読取装置、画像読取装置の制御方法及び制御プログラムに関し、特に、付箋等の添付体が付された原稿の画像読取処理に関する。

近年、情報の電子化が推進される傾向にあり、電子化された情報の出力に用いられるプリンタやファクシミリ及び書類の電子化に用いるスキャナ等の画像処理装置は欠かせない機器となっている。このような画像処理装置は、撮像機能、画像形成機能及び通信機能等を備えることにより、プリンタ、ファクシミリ、スキャナ、複写機として利用可能なＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：複合機）として構成されることが多い。

このような画像処理装置に含まれるスキャナにより読み取られる原稿には、所望のページを検索しやすくするための目印やメモ書き等のために用いられる紙片やプラスチック片等の添付体（以降、「付箋」とする）が貼り付けられていることがある。付箋が貼り付けられた原稿が画像処理装置によりスキャンされると、付箋の画像情報を含む読取画像が生成されてしまい、読取画像に汚れやゴミ等のノイズが発生しているように見える場合がある。

上述のような問題を解決するために、読取画像における付箋の画像領域を特定し、特定された付箋の画像領域を画像処理して、付箋の画像情報を除去する方法が提案されている（例えば、特許文献１を参照）。

また、付箋が貼り付けられたことにより、原稿に含まれる文字や画像の一部が隠れてしまうことがあり、このような原稿が画像処理装置によりスキャンされると、原稿に含まれる文字情報や画像情報の一部が欠損した読取画像が生成されてしまう。しかしながら、特許文献１に開示された技術では、読取画像から付箋の画像情報を除去するものの、付箋により原稿に含まれる文字情報や画像情報の一部が欠損した場合の処理については考慮されていない。

本発明は、このような課題を解決するためになされたものであり、付箋等の添付体が付された原稿の読取画像において、添付体が付されたことにより欠損した画像を復元することを目的とする。

上記課題を解決するために、本発明の一態様は、撮像部により原稿を撮像して画像を読み取る画像読取装置であって、添付体が付された原稿が前記撮像部により撮像されて読み取られた読取画像の情報である読取画像情報に基づいて、前記添付体が付されたことにより前記原稿の画像情報が欠損している領域である欠損領域を特定する領域特定部と、特定された前記欠損領域以外の領域の前記読取画像情報に基づいて、前記欠損している画像情報である欠損画像情報の種類を特定する情報種類特定部と、前記読取画像情報に基づいて、前記欠損画像情報を、特定された種類の画像情報として復元する情報復元部とを含むことを特徴とする。

本発明によれば、付箋等の添付体が付された原稿の読取画像において、添付体が付されたことにより欠損した画像を復元することができる。

本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の本実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像処理部の機能構成を示すブロック図である。 本発明の実施形態に係る付箋が貼付された原稿の例を示す図である。 本発明の実施形態に係る画像情報解析部による付箋領域の特定処理を示すフローチャートである。 本発明の実施形態に係る付箋が貼付された原稿の例及び原稿のラインデータの濃度値を示す図である。 本発明の実施形態に係る画像情報解析部による欠損画像情報の種類特定処理を示すフローチャートである。 本発明の実施形態に係る付箋が貼付された原稿及び原稿のラインデータの濃度値を示す図である。 本発明の実施形態に係る画像情報復元部による文字画像以外の画像情報の復元処理を示すフローチャートである。 本発明の実施形態に係る文字情報復元部による文字画像の情報の復元処理を示すフローチャートである。 本発明の実施形態に係る画素値パターンの態様を例示する図である。 本発明の実施形態に係るパターンテーブルに含まれる画素値パターンを例示する図である。 本発明の実施形態に係る文字情報復元部による文字画像の情報の復元処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、スキャナ機能を含む複合機（ＭＦＰ；Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）としての画像処理装置を例として説明する。

図１は、本実施形態に係る画像処理装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等と同様の構成を含む。

すなわち、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。この他、画像処理装置１の場合、画像形成出力やスキャンを実行するエンジンが含まれる。

ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。なお、ＨＤＤの他、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体記憶装置を用いても良い。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像処理装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボード、マウス、各種のハードボタン、タッチパネル等、ユーザが画像処理装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がそれらのプログラムに従って演算を行うことによりソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像処理装置１の機能について説明する。図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。図２に示すように、本実施形態に係る画像処理装置１は、コントローラ１００、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｎｔ Ｆｅｅｄｅｒ：原稿自動搬送装置）１１０、スキャナユニット１１１、排紙トレイ１１２、ディスプレイパネル１１３、給紙テーブル１１４、プリントエンジン１１５、排紙トレイ１１６、ネットワークＩ／Ｆ１１７を有する。

また、コントローラ１００は、主制御部１０１、エンジン制御部１０２、入出力制御部１０３、画像処理部１３０及び操作表示制御部１０４を有する。図２に示すように、本実施形態に係る画像処理装置１は、スキャナユニット１１１、プリントエンジン１１５を有する複合機として構成されている。なお、図２においては、電気的接続を実線の矢印で示しており、用紙の流れを破線の矢印で示している。

ディスプレイパネル１１３は、画像処理装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像処理装置１を直接操作し若しくは画像処理装置１に対して情報を入力する際の入力インタフェース（操作部）でもある。ネットワークＩ／Ｆ１１７は、画像処理装置１がネットワークを介して管理者用端末等の他の機器と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等のインタフェースが用いられる。

コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０やＨＤＤ４０等の不揮発性記憶媒体に格納されたファームウェア等の制御プログラムが、ＲＡＭ２０にロードされ、それらのプログラムに従ってＣＰＵ１０が演算を行うことにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、画像処理装置１全体を制御する制御部として機能する。

主制御部１０１は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。エンジン制御部１０２は、プリントエンジン１１５やスキャナユニット１１１等を制御若しくは駆動する駆動手段としての役割を担う。入出力制御部１０３は、ネットワークＩ／Ｆ１１７を介して画像処理装置１に接続された情報処理装置等から入力される信号や命令を主制御部１０１に入力する。また、主制御部１０１は、入出力制御部１０３を制御し、ネットワークＩ／Ｆ１１７を介して他の装置にアクセスする。

画像処理部１３０は、主制御部１０１の制御に従い、印刷出力すべき画像情報に基づいて描画情報を生成する。この描画情報とは、画像形成出力部であるプリントエンジン１１５が画像形成動作において形成すべき画像を描画するための情報である。また、画像処理部１３０は、スキャナユニット１１１から入力される撮像データを処理し、画像データを生成する。この画像データとは、スキャナ動作の結果物として画像処理装置１に格納され若しくはネットワークＩ／Ｆ１１７を介して他の機器に送信される情報である。操作表示制御部１０４は、ディスプレイパネル１１３に情報表示を行い若しくはディスプレイパネル１１３を介して入力された情報を主制御部１０１に通知する。

なお、スキャナ機能のみを有する画像処理装置の場合、図２に示す給紙テーブル１１４、プリントエンジン１１５及び排紙トレイ１１６が省略されると共に、エンジン制御部１０２の機能から、給紙テーブル１１４、プリントエンジン１１５及び排紙トレイ１１６を制御するための機能が省略される。

画像処理装置１がプリンタとして動作する場合は、まず、入出力制御部１０３が、ネットワークＩ／Ｆ１１７を介して印刷ジョブを受信する。入出力制御部１０３は、受信した印刷ジョブを主制御部１０１に転送する。主制御部１０１は、印刷ジョブを受信すると、画像処理部１３０を制御して印刷ジョブに含まれる文書情報若しくは画像情報に基づいて描画情報を生成する。画像処理部１３０によって描画情報が生成されると、エンジン制御部１０２は、生成された描画情報に基づき、給紙テーブル１１４から搬送される用紙に対して画像形成を実行する。プリントエンジン１１５の具体的態様としては、インクジェット方式による画像形成機構や電子写真方式による画像形成機構等を用いることが可能である。プリントエンジン１１５によって画像形成が施された文書は排紙トレイ１１６に排紙される。

画像処理装置１がスキャナ、すなわち画像読取装置として動作する場合は、ユーザによるディスプレイパネル１１３の操作若しくはネットワークＩ／Ｆ１１７を介して外部の機器から入力されるスキャン実行指示に応じて、操作表示制御部１０４若しくは入出力制御部１０３が主制御部１０１にスキャン実行信号を転送する。主制御部１０１は、受信したスキャン実行信号に基づき、エンジン制御部１０２を制御する。エンジン制御部１０２は、ＡＤＦ１１０を駆動し、ＡＤＦ１１０にセットされた撮像対象原稿をスキャナユニット１１１に搬送する。また、エンジン制御部１０２は、スキャナユニット１１１を駆動し、ＡＤＦ１１０から搬送される原稿を撮像する。また、ＡＤＦ１１０に原稿がセットされておらず、スキャナユニット１１１に直接原稿がセットされた場合、スキャナユニット１１１は、エンジン制御部１０２の制御に従い、セットされた原稿を撮像する。即ち、スキャナユニット１１１が撮像部として動作する。

撮像動作においては、スキャナユニット１１１に含まれるＣＣＤ等の撮像素子が原稿を光学的に走査し、光学情報に基づいた撮像情報が生成される。エンジン制御部１０２は、スキャナユニット１１１が生成した撮像情報を画像処理部１３０に転送する。画像処理部１３０は、主制御部１０１の制御に従い、エンジン制御部１０２から受信した撮像情報に基づき画像情報を生成する。画像処理部１３０が生成した画像情報はＨＤＤ４０等の画像処理装置１に装着された記憶媒体に保存される。画像処理部１３０によって生成された画像情報は、ユーザの指示に応じてそのままＨＤＤ４０等に格納され若しくはネットワークＩ／Ｆ１１７を介して、入出力制御部１０３により外部の装置に送信される。

また、画像処理装置１が複写機として動作する場合は、エンジン制御部１０２がスキャナユニット１１１から受信した撮像情報若しくは画像処理部１３０が生成した画像情報に基づき、画像処理部１３０が描画情報を生成する。その描画情報に基づいてプリンタ動作の場合と同様に、エンジン制御部１０２がプリントエンジン１１５を駆動する。

このような画像処理装置１において、本発明に係る要旨は、所望のページを検索しやすくするための目印やメモ書き等のために用いられる紙片やプラスチック片等の添付体（以降、「付箋」とする）が貼り付けられた原稿が撮像部であるスキャナユニット１１１により撮像されて読み取られた読取画像において、付箋が貼り付けられたことにより欠損した画像を復元することにある。以下、本実施形態に係る構成として、本実施形態に係る画像処理部１３０の機能構成のうち欠損した画像情報を復元する処理に係る機能構成を説明する。

図３は、本実施形態に係る画像処理部１３０の機能構成のうち欠損した画像情報を復元する処理に係る機能構成を例示するブロック図である。図３に示すように、本実施形態に係る画像処理部１３０は、画像情報生成部１３１、付箋情報記憶部１３２、画像情報解析部１３３、情報復元部１４０を含む。また、情報復元部１４０は、画像情報復元部１４１、文字情報復元部１４２及びパターンテーブル１４３を含む。

画像情報生成部１３１は、スキャナユニット１１１が生成した撮像情報に基づいて画像情報を生成する。画像情報は、スキャナユニット１１１により撮像されて読み取られた読取画像の主走査方向の各ラインのデータ（以降、「ラインデータ」とする）を含む。また、画像情報生成部１３１は、後述する画像情報復元部１４１及び文字情報復元部１４２により復元された情報を含むラインデータを受け取り、元の画像情報のラインのうち受け取ったラインデータの位置に対応するラインデータを、受け取ったラインデータに更新する。そして、画像情報生成部１３１は、画像情報解析部１３３から画像情報解析処理が終了した通知を受けると、更新された画像情報を、付箋により欠損した情報が復元された画像情報として、ＨＤＤ４０等に格納する、又はネットワークＩ／Ｆ１１７を介して、入出力制御部１０３により外部の装置に送信する。

付箋情報記憶部１３２は、付箋の幅及び長さそれぞれの閾値を記憶する記憶媒体である。図４は、付箋が貼付された原稿を例示する図である。図４に示すように、付箋（図４においては斜線でハッチングされた長方形）は原稿の用紙に目印等のために貼られるものであり、長さ及び幅のそれぞれの最大値は概ね決まっている。

また、付箋は、図４に示すように原稿の端から少しはみ出したように貼られるので、原稿の端から原稿に貼り付けられている側の付箋の端までの長さも概ね決まっている。そこで、長さの閾値（以降、「長さ閾値」とする）は、付箋の長さの最大値から、原稿の端からはみ出す長さを引いた長さ（例えば、付箋の長さの最大値が８ｃｍ、はみ出した長さを１ｃｍとすると７ｃｍ）とすることができる。また、幅の閾値（以降、「幅閾値」とする）は、付箋の幅の最大値（例えば、３ｃｍ）とすることができる。

付箋情報記憶部１３２は、このような長さの閾値及び幅の閾値を付箋情報として記憶する。なお、特殊サイズの付箋を用いる等により各閾値を変更したい場合、ディスプレイパネル１１３等を介して閾値の変更操作を受け付けて、変更された閾値を付箋情報記憶部１３２に記憶させる構成とすることもできる。

画像情報解析部１３３は、画像情報生成部１３１から入力された画像情報及び付箋情報記憶部１３２に記憶されている付箋情報に基づいて、入力された画像情報の読取画像に付箋の画像が含まれているか判定し、含まれている場合は読取画像における付箋の画像の領域（以降、「付箋領域」とする）を特定する（詳細は図５を参照して後述）。すなわち、画像情報解析部１３３は、付箋領域、換言すれば、付箋が付されたことにより読取画像情報が欠損している領域である欠損領域を特定する領域特定部として機能する。

また、画像情報解析部１３３は、画像情報生成部１３１から入力された画像情報に基づいて、特定された付箋領域において欠損している画像情報（以降、「欠損画像情報」とする）の種類を、ラインごとに特定する（詳細は図７を参照して後述）。すなわち、画像情報解析部１３３は、情報種類特定部として機能する。欠損画像情報の種類とは、文字画像の情報や文字画像以外の画像の情報等である。

画像情報解析部１３３は、解析したラインの欠損画像情報の種類が文字画像以外の画像情報であると特定した場合、画像情報復元部１４１に解析したラインデータを送信する。また、画像情報解析部１３３は、解析したラインの欠損画像情報の種類が文字画像の情報であると特定した場合、文字情報復元部１４２に解析したラインデータを送信する。そして、画像情報解析部１３３は、上述のような画像情報解析処理が終了すると、画像情報生成部１３１に対して、画像情報解析処理が終了した旨を通知する。

画像情報復元部１４１は、画像情報解析部１３３から入力されたラインデータに基づいて、そのラインの欠損領域（付箋領域）の欠損画像情報を、文字画像以外の画像情報として復元する。文字情報復元部１４２は、画像情報解析部１３３から入力されたラインデータ及び画像情報生成部１３１から入力された画像情報に基づいて、そのラインの欠損領域（付箋領域）の欠陥画像情報を、文字画像の情報として復元する。そして、画像情報復元部１４１及び文字情報復元部１４２は、復元した情報を画像情報生成部１３１に対して出力する。画像情報復元部１４１及び文字情報復元部１４２による復元処理の詳細は後述する。

パターンテーブル１４３は、文字情報復元部１４２が文字画像の情報の復元処理を行う際に参照するテーブルである。詳細は、文字情報復元部１４２による文字画像の情報の復元処理の説明とともに後述する。

次に、画像情報解析部１３３による付箋領域の特定処理を、図５及び図６を参照して説明する。図５は、画像情報解析部１３３による付箋領域の特定処理を例示するフローチャートである。図６（ａ）は、付箋が貼り付けられた原稿を示す図である。図６（ａ）に示すように、斜線でハッチングされた長方形が付箋を表し、原稿の縦方向をＸ方向、横方向をＹ方向とし、原稿の左下の角の座標を０とする。

本説明においては、図６（ａ）に示した原稿が画像処理装置１により読み取られて生成された読取画像の画像情報が用いられるものとする。読取画像のＹ方向の座標値（以降、「Ｙ座標値」とする）がＸ方向と平行な各ラインデータの位置を示す。図６（ｂ）は、図６（ａ）に示した原稿の画像情報のＡ１−Ａ２のラインデータの濃度値を示す図であり、その詳細は後述する。

図５に示すように、画像情報解析部１３３は、まず読取画像のＹ座標値を初期化（ｙ＝０）する（Ｓ５００）。そして、画像情報解析部１３３は、Ｙ座標値の位置のラインデータを取得する（Ｓ５０１）。すなわち、ｙ＝０の場合、画像情報解析部１３３は、原稿の左端のラインデータを取得することになる。

ラインデータを取得した画像情報解析部１３３は、取得したラインデータからＸ方向の各座標における濃度値を取得する（Ｓ５０２）。例えば、図６（ｂ）は、図６（ａ）に示した位置のＡ１−Ａ２のラインデータの濃度値を示す。図６（ｂ）に示すように、横軸はＸ方向の各座標を示し、左側がＡ１、右側がＡ２を示し、縦軸は濃度値を示す。図６（ｂ）に示すように、Ａ１−Ａ２のラインデータの濃度値は、Ｘ方向の座標値（以降、「Ｘ座標値」とする）ｐ１からｐ２が付箋の濃度値ｄ２であり、それ以外の範囲では用紙の余白である無地の濃度値ｄ１である。

濃度値を取得した画像情報解析部１３３は、Ｙ座標値を１増加させる（Ｓ５０３）。すなわち、図６（ａ）に示した原稿においてラインデータの取得位置を１ライン右へずらす。１ライン右へずらしたＹ方向の位置が原稿の余白幅内である場合（Ｓ５０４／ＹＥＳ）、画像情報解析部１３３は、１ライン右へずらした位置のラインデータを取得し、以降の処理を１ライン右へずらしたＹ方向の位置が原稿の余白幅を超えるまで（Ｓ５０４／ＮＯ）繰り返す。原稿の余白幅は、原稿の上下左右それぞれの印刷がされない余白の予め定められた幅（例えば、各３ｍｍ）である。例えば図６（ａ）に示した原稿の余白は、原稿内の点線で囲まれた領域の外側の部分を示す。

一方、Ｙ方向の位置が余白幅を超えた場合（Ｓ５０４／ＮＯ）、画像情報解析部１３３は、これまでに取得した余白内の各ラインデータにおいて、Ｘ方向における同じ範囲内で一定の濃度値を示しているか否かを判定する（Ｓ５０５）。例えば、余白内の各ラインデータにおいて、図６（ｂ）に示したＸ座標値ｐ１からｐ２の範囲で濃度値がｑ２である場合、Ｘ方向における同じ範囲内で一定の濃度値を示していると判定される。

余白内の各ラインデータにおいてＸ方向における同じ範囲内で一定の濃度値を示している場合であって（Ｓ５０５／ＹＥＳ）、その一定の濃度値を示すＸ方向における範囲の幅が、付箋情報記憶部１３２に記憶されている付箋の幅閾値以下であるとき（Ｓ５０６／ＹＥＳ）、画像情報解析部１３３は、この範囲を示す座標（図６（ｂ）に示した場合においては、ｐ１−ｐ２）を付箋の位置情報として取得するとともに、この範囲の濃度値（図６（ｂ）に示した場合においてはｑ２）を取得して、付箋情報記憶部１３２に記憶させる（Ｓ５０７）。

一方、余白内の各ラインデータにおいてＸ方向における同じ範囲内で一定の濃度値を示している部分がない場合（Ｓ５０５／ＮＯ）、又はそのような部分がある場合であっても（Ｓ５０５／ＹＥＳ）同じ濃度値であるＸ方向における範囲の幅が付箋の幅閾値よりも大きいときは（Ｓ５０６／ＮＯ）、画像情報解析部１３３は、付箋が貼付されていないと判定して処理を終了する。

このように、原稿に付箋が貼付されている場合、印刷されない余白内のラインデータでは、付箋が貼られている領域だけに濃度変化が生じ、その領域の濃度値は一定である。また、付箋は余白内を横断するように貼られるので、余白内の各ラインデータにおいては、同じ範囲で一定の濃度値を示すことになる。また、その範囲は付箋の幅に相当するので付箋の幅閾値以下であれば、ラインデータに付箋の画像情報が含まれていることにより濃度変化が生じていると判定される。そのため、画像情報解析部１３３は、上述のように余白内の各ラインデータにおいて同じ範囲内で一定の濃度値を示し、その範囲が付箋の幅閾値以下であれば、原稿に付箋が貼付されていると判定し、その位置及び濃度を取得して、付箋領域として特定する。

次に、画像情報解析部１３３による欠損画像情報の種類特定処理を、図７を参照して説明する。図７は、画像情報解析部１３３による欠損画像情報の種類特定処理を例示するフローチャートである。欠損画像情報の種類特定処理は、上述した付箋領域の特定処理に続いて行われる。したがって、欠損画像情報の種類特定処理開始時のＹ座標値ｙは、位置が余白幅内でなくなったとき（Ｓ５０４／ＮＯ）の位置、すなわち、原稿の印刷領域内（図６（ａ）に示した原稿内の点線で囲まれた領域内）の左端の位置を示す。

図７に示すように、画像情報解析部１３３は、Ｙ座標値の位置のラインデータを取得する（Ｓ７００）。ラインデータを取得した画像情報解析部１３３は、取得したラインデータからＸ方向の各座標における濃度値を取得する（Ｓ７０１）。濃度値を取得した画像情報解析部１３３は、濃度値に基づいて、取得したラインデータに付箋の画像情報が含まれているか否かを判定する（Ｓ７０２）。

具体的には、画像情報解析部１３３は、付箋情報記憶部１３２に記憶されている付箋の位置情報及び濃度値を取得し、Ｓ７０１において取得した濃度値のうち、付箋の位置を示す座標の範囲の濃度値が、付箋の濃度値と同じである場合、取得したラインデータに付箋の画像情報が含まれていると判定する。取得したラインデータに付箋の画像情報が含まれていない場合（Ｓ７０２／ＮＯ）、画像情報解析部１３３は、付箋により隠されている部分がなく情報を復元する必要がないので、処理を終了する。

一方、取得したラインデータに付箋の画像情報が含まれている場合（Ｓ７０２／ＹＥＳ）、画像情報解析部１３３は、ラインデータの付箋の領域の前後予め定められた範囲において濃度変化があるか否かを判定する（Ｓ７０３）。以下、図８を参照して具体的に説明する。図８（ａ）は、図６（ａ）に示した原稿と同様な原稿を示す図である。図８（ｂ）及び図８（ｃ）は、図８（ａ）に示した原稿の印刷領域内に位置するＢ１−Ｂ２のラインデータの２パターンの例を示す図である。

ラインデータの付箋の前後予め定められた範囲とは、図８（ａ）に示すように付箋の位置を示すＸ座標値ｐ１及びｐ２それぞれから付箋領域の外側（すなわち欠損領域以外の領域）の予め定められた幅（例えば、付箋の幅の４分の１）、例えば、図８（ａ）のＢ３からｐ１及びｐ２からＢ４を示す。そして、これらの範囲の濃度値は、図８（ｂ）及び図８（ｃ）のＢ３から（ｐ１−１）及び（ｐ２＋１）からＢ４の範囲の濃度値を示す。

例えば、図８（ｂ）及び図（ｃ）に示したラインデータの場合、付箋領域の前後では濃度変化があると判定される。この場合、原稿上の付箋が貼付された領域の周辺には文字や画像等の何らかの情報が印刷されていることを示すので、付箋が貼付された領域においても、原稿上に何らかの情報が印刷されている（すなわち、付箋が貼付されたことにより原稿に形成されている画像の一部が欠損している）と考えられる。一方、付箋の領域前後で濃度値が一定の場合、濃度変化がないと判定される。この場合、原稿上の付箋が貼付された領域の周辺には何も印刷されていないことを示すので、付箋が貼付された領域にも何も印刷されていないと考えられる。

付箋領域前後で濃度変化がない場合（Ｓ７０３／ＮＯ）、画像情報解析部１３３は、付箋が貼付されたことにより原稿に形成されている画像が欠損していることはないので、情報の復元を行うことなくラインデータを画像情報生成部１３１に出力し、Ｙ座標値を１増加させる（Ｓ７０８）。

付箋領域前後で濃度変化がある場合（Ｓ７０３／ＹＥＳ）、画像情報解析部１３３は、付箋領域前後の濃度値が連続的か否かを判定する（Ｓ７０５）。以下、図８（ｂ）及び図８（ｃ）を参照して具体的に説明する。図８（ｂ）は、図８（ａ）に示したＢ１−Ｂ２のラインデータの位置における付箋の領域前後の原稿に文字以外の画像が印刷されている場合の濃度値を示す。図８（ｃ）は、Ｂ１−Ｂ２のラインデータの位置における付箋の領域前後の原稿に文字が印刷されている場合の濃度値を示す。

一般に、原稿のある領域に文字が印刷されている場合、その領域は印刷されている部分とされていない部分がはっきりとしているが、原稿のある領域に文字以外の画像が印刷されている場合、その領域は全体的に印刷されていることが多くグラデーション等が含まれることが多い。つまり、一般に、文字以外の画像は文字よりも濃度変化が緩やかであるので、図８（ｂ）に示すように、原稿のある領域に文字以外の画像が印刷されている場合は、その領域内で濃度変化が少ない連続的な濃度値となる。一方、図８（ｃ）に示すように、原稿のある領域に文字が印刷されている場合は、その領域内で濃度の高い部分が離散的に分布した不連続的な濃度値となる。

上述のことから、画像情報解析部１３３は、例えば、付箋領域前後の領域において、予め定められた濃度閾値（例えば、濃度値が０〜２５５で表現される場合において濃度閾値１２７）以上の濃度値が離散的に分布している場合、濃度値が不連続であると判定する。濃度値が不連続である場合（Ｓ７０５／ＹＥＳ）、画像情報解析部１３３は、文字情報復元部１４２に対してＳ７００において取得したラインデータを送信する（Ｓ７０６）。すなわち、画像情報解析部１３３は、Ｓ７００において取得したラインデータにおける欠損画像情報は文字画像の情報であると特定する。

一方、濃度値が連続的である場合（Ｓ７０５／ＮＯ）、画像情報解析部１３３は、画像情報復元部１４１に対してＳ７００において取得したラインデータを送信する（Ｓ７０７）。すなわち、画像情報解析部１３３は、Ｓ７００において取得したラインデータにおける欠損画像情報は文字画像以外の画像情報であると特定する。

欠損画像情報の種類を特定した画像情報解析部１３３は、Ｙ座標値を１増加させる（Ｓ７０８）。そして、画像情報解析部１３３は、Ｙ座標値が付箋情報記憶部１３２に記憶されている長さ閾値よりも大きい場合（Ｓ７０９／ＹＥＳ）、Ｙ方向においてこれ以上先（本実施形態においては右側）に付箋が貼られていることはないと判定し、処理を終了する。一方、Ｙ座標値が長さ閾値以下の場合（Ｓ７０９／ＮＯ）、Ｙ座標値の位置のラインデータを取得して（Ｓ７００）、上述の処理を繰り返す。

次に、画像情報復元部１４１による画像情報の復元処理について、図９を参照して説明する。図９は、画像情報復元部１４１による画像情報の復元処理を例示するフローチャートである。図９に示すように、画像情報復元部１４１は、付箋情報記憶部１３２に記憶されている付箋の位置情報を取得する（Ｓ９００）。

付箋の位置情報を取得した画像情報復元部１４１は、画像情報解析部１３３から入力されたラインデータの付箋領域周辺の濃度データを取得する（Ｓ９０１）。入力されたラインデータの付箋領域周辺の濃度データとは、例えば、図８（ａ）に示す原稿の場合、取得した付箋の位置情報が示すＸ座標値ｐ１及びｐ２それぞれから付箋の外側の予め定められた幅（例えば、付箋の幅の４分の１）、例えば、図８（ｂ）のＢ３から（ｐ１−１）及び（ｐ２＋１）からＢ２の範囲の各画素の濃度値である。

ラインデータの付箋領域周辺の濃度データを取得した画像情報復元部１４１は、取得した濃度データを、付箋領域内にマッピングする（Ｓ９０２）。具体的には、例えば、画像情報復元部１４１は、図８（ｂ）に示したＸ座標値Ｂ３から（ｐ１−１）までの各濃度値を付箋領域内のｐ１側から順にマッピングして補間し、Ｘ座標値（ｐ２＋１）からＢ４までの各濃度値を付箋領域内のｐ２側から順にマッピングして補間し、付箋領域内のすべての濃度値が補間されるまでこの処理を繰り返す。

付箋領域内に濃度データをマッピングした画像情報復元部１４１は、濃度データをマッピングした付箋領域内の画像データに対して後処理を行う（Ｓ９０３）。具体的には、例えば、画像情報復元部１４１は、濃度データをマッピングした付箋領域内の画像データに対して、誤差拡散法等を適用して、マッピングされた濃度データの不連続な部分を滑らかにする。

次に、文字情報復元部１４２による文字画像の情報の復元処理を、図１０を参照して説明する。図１０は、文字情報復元部１４２による文字画像の情報の復元処理を例示するフローチャートである。文字情報復元部１４２は、画像情報解析部１３３から入力されたすべてのラインデータに基づいて復元処理を行う。図１０に示すように、文字情報復元部１４２は、付箋情報記憶部１３２に記憶されている付箋の位置情報を取得する（Ｓ１０００）。

付箋の位置情報を取得した文字情報復元部１４２は、補間対象画素の位置情報を取得する（Ｓ１００１）。補間対象画素とは、取得した付箋の位置情報が示す付箋領域内の画素であり、例えば、図８（ａ）に示す原稿の場合、まず、入力されたラインデータのうちＹ座標値が最も小さいラインデータ（Ｙ座標値をｑ１とする）のＸ座標値ｐ２に位置する画素が最初の補間対象画素とされ、その補間対象画素の位置情報は（Ｘｔ、Ｙｔ）＝（ｐ２、ｑ１）である。

補間対象画素の位置情報を取得した文字情報復元部１４２は、補間対象画素の周囲の付箋領域外の画素値パターンを取得する（Ｓ１００２）。具体的には、例えば、文字情報復元部１４２は、図１１に示すように、補間対象画素（図１１においては太線で囲まれた画素）を中心として補間対象画素の上側に隣接する付箋領域外の予め定められた数の画素（例えば６画素）の画素値の組み合せである画素値パターンを取得する。

図１１に示すように、６画素の左上から順に画素１〜画素６とすると、図１１に示した画素値パターンにおいては、画素５の画素値は黒に近い画素として斜線でハッチングされており（以下、この画素を「斜線画素」とする）、それ以外の画素の画素値は白に近い画素として白抜き（以下、この画素を「白抜き画素」とする）されている。

なお、例えば、文字情報復元部１４２は、補間対象画素のラインデータの位置を示すＹ座標値が入力されたラインデータのうちで最も小さい場合等、隣接する画素値を入力されたラインデータから取得することができない場合、画像情報生成部１３１から入力された画像情報から、必要な画素値を取得する。

画素値パターンを取得した文字情報復元部１４２は、取得した画素値パターン及びパターンテーブル１４３に基づいて、補間対象画素の画素値を補間する（Ｓ１００３）。図１２は、パターンテーブル１４３に含まれる画素値パターンと、そのパターンに対する補間対象画素の画素値との組み合わせを例示する図である。

例えば、図１２（ａ）に示すように、画素５のみが斜線画素である場合、太線で囲まれた補間対象画素は斜線画素で補間するよう定められ、図１２（ｂ）に示すように、画素３及び画素５が斜線画素である場合、補間対象画素は白抜き画素で補間するよう定められ、図１２（ｃ）に示すように、画素６のみが斜線画素である場合、補間対象画素は斜線画素で補間するよう定められている。

なお、図１２においては明確化のため画素値パターンを図で示しているが、実際のパターンテーブル１４３は、各画素１〜６の画素値及び補間対象画素の画素値が関連付けられたテーブル構成を有する。また、パターンテーブル１４３において設定されている画素値パターンは図１２に示したパターンに限らない。

文字情報復元部１４２は、図１２に示した上述のパターンテーブル１４３において設定されている画素値パターンから、取得した画素値パターンと一致する画素値パターンを取得する。そして、文字情報復元部１４２は、その画素値パターンにおける補間対象画素の画素値を、Ｓ１００１で取得した位置の補間対象画素の画素値として補間する。

Ｓ１００１で取得した位置の補間対象画素の画素値を補間した文字情報復元部１４２は、Ｓ１００１で取得したＸ座標値の位置において未処理のラインデータがある場合（Ｓ１００４／ＹＥＳ）、次の補間対象画素の位置情報として、例えば、（Ｘｔ、Ｙｔ）＝（ｐ２、ｑ１＋１）を取得し、同様にこの補間対象画素の画素値の補間処理を行う。

一方、Ｓ１００１で取得したＸ座標値の位置において、入力されたすべてのラインデータの画素の画素値の補間処理が行われた場合（Ｓ１００４／ＮＯ）、文字情報復元部１４２は、次の補間対象画素のＸ方向の位置をＳ１００１で取得した位置から１画素内側の位置（例えば、ｐ２＋１）に変更する（Ｓ１００５）。

変更した位置が付箋領域内である場合（Ｓ１００６／ＹＥＳ）、文字情報復元部１４２は、入力されたラインデータのうちＹ座標値が最も小さいラインデータ（Ｙ座標値をｑ１とする）の変更した位置のＸ座標値（例えば、ｐ２＋１）に位置する画素を次の補間対象画素とし、その補間対象画素の位置情報（Ｘｔ、Ｙｔ）＝（ｐ２＋１、ｑ１）を取得する（Ｓ１００１）。そして、文字情報復元部１４２は、以降の処理を繰り返す。

なお、補間対象画素に隣接する画素の画素値は、付箋領域内の画素の画素値を含む場合（例えば、補間対象画素のＸ座標値がｐ＋２である場合）があるが、その画素値はすでに補間処理された画素の画素値なので、文字情報復元部１４２は、補間処理された画素値を含む画素値パターンを取得する。

一方、変更した位置が付箋領域外である場合（Ｓ１００６／ＮＯ）、文字情報復元部１４２は、文字画像の情報の復元処理を終了する。すなわち、付箋領域内の画素の画素値がすべて補間処理され、付箋領域内の文字画像の情報が復元される。

以上説明したように、本実施形態に係る画像処理装置１は、付箋が貼付された原稿がスキャンされた場合に、読取画像から付箋の領域を特定し、その領域において欠損している画像情報の種類を特定し、特定した種類に応じて付箋領域内の画素の画素値を補間処理する。これにより、付箋等の添付体が付された原稿の読取画像において、添付体が付されたことにより欠損した画像を復元することが可能になる。

なお、上記実施形態において、文字情報復元部１４２は、補間対象画素の周囲の画素値パターン及びパターンテーブル１４３に基づいて、付箋領域内の画素の画素値を補間して復元する場合を例として説明した。その他、文字情報復元部１４２は、文字や文字列のデータベースに基づいて文字画像の情報の復元処理を行ってもよい。このような文字画像の情報の復元処理を、図１３を参照して説明する。

図１３は、文字情報復元部１４２による文字や文字列のデータベースに基づく文字画像の情報の復元処理を例示するフローチャートである。図１３に示すように、文字情報復元部１４２は、画像情報生成部１３１から入力された画像情報を取得する（Ｓ１３００）。

画像情報を取得した文字情報復元部１４２は、付箋領域から予め定められた範囲内の画像情報から、予め定められた濃度値よりも高い濃度値を有する画素を文字データとして抽出する（Ｓ１３０１）。このように抽出された文字データは、付箋が貼付されたことにより欠損した文字データの一部である可能性が高い。

文字データを抽出した文字情報復元部１４２は、図示しない文字データベースに格納されている各種文字の画像データ（文字画像の情報）と抽出した文字データとのマッチング処理を行う（Ｓ１３０２）。マッチング処理の結果、抽出した文字データが文字データベースに格納されている文字の画像データとマッチした場合（Ｓ１３０４／ＹＥＳ）、文字情報復元部１４２は、マッチした文字の画像データで付箋領域内の情報を補間する（Ｓ１３０４）。

一方、抽出した文字データが文字データベースに格納されている文字の画像データとマッチしなかった場合（Ｓ１３０４／ＮＯ）、文字情報復元部１４２は、Ｓ１３０１において抽出した文字データをグループ化して文字列データとして抽出する（Ｓ１３０５）。文字列データを抽出した文字情報復元部１４２は、図示しない文字列データベースに格納されている各種文字列の画像データ（文字列画像の情報）と抽出した文字列データとのマッチング処理を行う（Ｓ１３０６）。

マッチング処理の結果、抽出した文字列データが文字列データベースに格納されている文字列の画像データとマッチした場合（Ｓ１３０７／ＹＥＳ）、文字情報復元部１４２は、マッチした文字列の画像データで付箋領域内の情報を補間する（Ｓ１３０８）。一方、抽出した文字列データが文字列データベースに格納されている文字列の画像データとマッチしなかった場合（Ｓ１３０７／ＮＯ）、文字情報復元部１４２は、付箋領域内の情報を空白で補間する（Ｓ１３０９）。

なお、図１３に示した処理においては、抽出された文字データのマッチング処理に失敗した場合に、文字列データによるマッチング処理が行われる場合を例として説明したが、文字データによるマッチング処理を行うことなく、文字列データによるマッチング処理が行われてもよい。

このような構成により、付箋が貼付されたことにより文字の一部が欠損している場合、付箋からはみ出している文字データ（すなわち、付箋領域外の文字データ）と文字データベースに格納された文字データとのマッチング処理を行い、欠損している文字画像の情報を復元することが可能になる。また、文字データでのマッチング処理に失敗した場合は、これらの文字データをグループ化した文字列単位のデータで文字列データベースとのマッチング処理を行うことで、欠損している文字を付箋領域外の前後の文字から判定することができるので、欠損している文字画像の情報をより精度よく復元することが可能になる。また、このような構成により、文字や文字列のデータベースから文字そのものを復元することができるので、付箋が貼付されることにより欠損している文字が複数の場合であっても、欠損している文字を精度よく復元することが可能になる。

また、上記実施形態において、画像情報解析部１３３は、図５に示した処理により付箋領域を特定する際に、余白内の各ラインデータのＸ方向における同じ範囲内で一定の濃度値であるか否かを判定する場合を例として説明した。しかしながら、Ｘ方向における範囲や濃度値が全く同じであることは必ずしも必要なく、例えば、濃度値が一定であるか否かを判定するＸ方向における範囲に予め定められた範囲のずれ量を示す許容誤差を設け、許容誤差を含む範囲内で一定の濃度値であるか否かを判定してもよい。

これにより、付箋が原稿に対して多少斜めに貼付されている場合であっても、付箋領域を特定することができる。なお、この場合、画像情報解析部１３３は、ラインデータごとにそのラインデータにおける付箋の位置情報を付箋情報記憶部１３２に記憶させてもよい。また、濃度値に対しても予め定められた濃度誤差を設け、各ラインデータのＸ方向における範囲内の濃度値が濃度誤差を含む濃度値の範囲内であるか否かを判定してもよい。

また、上記実施形態において、画像情報解析部１３３は、図５に示した処理において、原稿の端から余白幅までのすべてのラインデータの濃度値に基づいて、付箋領域を特定する場合を例として説明した。その他、画像情報解析部１３３は、付箋が原稿の端に貼付されている場合は、原稿の余白領域のいずれか１つのラインデータの濃度値に基づいて、付箋領域を特定するようにしてもよい。この場合、原稿の余白領域のいずれか１つのラインデータの濃度値のうち異なる濃度値である範囲を特定し、その範囲を付箋領域として特定する。付箋は多くの場合原稿の端からはみ出すように貼付されることが多いので、このような構成であっても付箋領域を特定することが可能である場合が多い。

また、付箋が原稿の端からはみ出していない場合であっても、画像情報解析部１３３は、例えば、付箋情報記憶部１３２に格納されている予め定められた付箋画像の濃度値（濃度値の範囲）、付箋の幅閾値、付箋の長さ閾値等に基づいて、付箋領域を推定することが可能である。

また、上記実施形態において、画像情報解析部１３３は、図５に示した処理において、原稿の左端からはみ出して貼付されている付箋の領域を特定する場合を例として説明した。しかしながら、これは一例であり、付箋が原稿の右端、上端、下端からはみ出して貼付されている場合であっても、同様の処理により付箋領域を特定することができる。

また、上記実施形態において、画像情報復元部１４１は、図９に示した処理において、画像情報解析部１３３から入力されたラインデータごとに付箋領域に濃度データをマッピングする場合を例として説明した。その他、画像情報解析部１３３から入力されたすべてのラインデータの濃度値に基づいて、付箋領域内に濃度データをマッピングするようにしてもよい。また、画像情報復元部１４１は、付箋領域周辺の濃度データの代わりに、付箋領域周辺の画像の特徴量に基づいて、付箋領域の画像を補間してもよい。

１ 画像処理装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ コントローラ
１０１ 主制御部
１０２ エンジン制御部
１０３ 入出力制御部
１０４ 操作表示制御部
１１０ ＡＤＦ
１１１ スキャナユニット
１１２ 排紙トレイ
１１３ ディスプレイパネル
１１４ 給紙テーブル
１１５ プリントエンジン
１１６ 排紙トレイ
１１７ ネットワークＩ／Ｆ
１３０ 画像処理部
１３１ 画像情報生成部
１３２ 付箋情報記憶部
１３３ 画像情報解析部
１４０ 情報復元部
１４１ 画像情報復元部
１４２ 文字情報復元部
１４３ パターンテーブル

特開２００７−１５９０６５号公報

Claims (8)

1. 撮像部により原稿を撮像して画像を読み取る画像読取装置であって、
   添付体が付された原稿が前記撮像部により撮像されて読み取られた読取画像の情報である読取画像情報に基づいて、前記添付体が付されたことにより前記原稿の画像情報が欠損している領域である欠損領域を特定する領域特定部と、
   特定された前記欠損領域以外の領域の前記読取画像情報に基づいて、前記欠損している画像情報である欠損画像情報の種類を特定する情報種類特定部と、
   前記読取画像情報に基づいて、前記欠損画像情報を、特定された種類の画像情報として復元する情報復元部と
   を含むことを特徴とする画像読取装置。
2. 前記情報復元部は、前記欠損画像情報の種類が文字画像の情報である場合、前記欠損領域を構成する各画素の位置から予め定められた範囲に位置する画素の画素値の組み合せである画素値パターンに基づいて、前記欠損領域を構成する各画素の画素値を取得する
   ことを特徴とする請求項１に記載の画像読取装置。
3. 前記情報復元部は、前記欠損画像情報の種類が文字画像の情報である場合、記憶媒体に記憶されている各種の文字画像の情報に基づいて、前記欠損領域から予め定められた範囲内の前記読取画像情報に含まれる文字画像を特定し、特定された前記文字画像に基づいて前記欠損画像情報を復元する
   ことを特徴とする請求項１に記載の画像読取装置。
4. 前記情報復元部は、前記欠損画像情報の種類が文字画像の情報である場合、記憶媒体に記憶されている各種の文字列画像の情報に基づいて、前記欠損領域から予め定められた範囲内の前記読取画像情報に含まれる文字列画像を特定し、特定された前記文字列画像に基づいて前記欠損画像情報を復元する
   ことを特徴とする請求項１に記載の画像読取装置。
5. 前記情報復元部は、前記欠損画像情報の種類が文字画像以外の画像情報である場合、前記欠損領域から予め定められた範囲内の前記読取画像情報に基づいて、前記欠損領域における画像を補間する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像読取装置。
6. 前記領域特定部は、前記欠損領域から予め定められた範囲内の前記読取画像の濃度変化に基づいて、前記欠損画像情報の種類を特定する
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像読取装置。
7. 撮像部により原稿を撮像して画像を読み取る画像読取装置の制御方法であって、
   添付体が付された原稿が前記撮像部により撮像されて読み取られた読取画像の情報である読取画像情報に基づいて、前記添付体が付されたことにより前記原稿の画像情報が欠損している領域である欠損領域を特定し、
   特定された前記欠損領域以外の領域の前記読取画像情報に基づいて、前記欠損している画像情報である欠損画像情報の種類を特定し、
   前記読取画像情報に基づいて、前記欠損画像情報を、特定された種類の画像情報として復元する
   を含むことを特徴とする画像読取装置の制御方法。
8. 撮像部により原稿を撮像して画像を読み取る画像読取装置を制御する制御プログラムであって、
   添付体が付された原稿が前記撮像部により撮像されて読み取られた読取画像の情報である読取画像情報に基づいて、前記添付体が付されたことにより前記原稿の画像情報が欠損している領域である欠損領域を特定するステップと、
   特定された前記欠損領域以外の領域の前記読取画像情報に基づいて、前記欠損している画像情報である欠損画像情報の種類を特定するステップと、
   前記読取画像情報に基づいて、前記欠損画像情報を、特定された種類の画像情報として復元するステップと
   を情報処理装置に実行させることを特徴とする制御プログラム。