JP2010044517A - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】有彩色画像における文字行の抽出処理を好適に実行すること。
【解決手段】カラー画像から文字行を取得する画像処理装置であって、入力されたカラー画像に含まれる文字行の範囲を示す文字行範囲を決定し、決定された文字行範囲に基づいてカラー画像から文字行を取得する行候補判定部１２７を備え、行候補判定部は、カラー画像において認識されたカラー文字行データと、カラー画像に基づく二値画像において認識されたモノクロ文字行データとに応じて文字行範囲を決定することを特徴とする。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関し、特に、有彩色の画像情報に含まれる文字列の行の抽出処理に関する。

近年、情報の電子化が推進される傾向にある。情報の電子化の一態様として、文章を含む画像をスキャン等によって取得し、その画像に表示されている文字を文字情報として認識する処理がある。このような処理は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学文字認識）と呼ばれている。

複数行からなる文章を含む画像に対してＯＣＲ処理を実行する場合、ＯＣＲ処理を実行する前段階の処理として、文字行領域を抽出する処理が必要となる。このような文字行領域を抽出する方法としては、例えば夫々の文字を連結して行を抽出する方法がある。また、他の方法としては、入力された文章画像を二値化した上で論理和縮小し、縮小された画像に含まれる連結成分の縦横比を判定することにより、行を抽出する方法が提案されている（例えば、特許文献１及び特許文献２参照）。
特開平５−３１４３０９号公報 特開平９−４４５９４号公報

上述したような文字行領域の抽出処理に際しては、誤検出の問題がある。誤検出の例としては、文字以外の領域が文字領域として抽出される場合や、文字領域が文字領域として抽出されない場合等がある。例えば、特許文献１の方法を用いる場合において、入力された画像が有彩色の画像であり、文字を表示する背景色と文字色とが共に濃度の高い色である場合、上記二値化処理によって背景及び文字が黒画素になってしまう。この場合、背景と文字とを区別することが不可能であり、文字行の抽出を好適に実行することができない。尚、有彩色の画像とは、明度、再度及び色相の情報を有するカラー画像である。

上述したような誤検出の問題は、例えば文章のタイトルやロゴ等、多様な文字色、背景色を有するデザイン性の高い文字において特に顕著である。本発明は、上記実情を考慮してなされたものであり、有彩色画像における文字行の抽出処理を好適に実行することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、カラー画像から文字行を取得する画像処理装置であって、前記カラー画像を入力する画像入力部と、入力された前記カラー画像に含まれる文字行の範囲を示す文字行範囲を決定する文字行決定部と、決定された前記文字行範囲に基づいて前記カラー画像から文字行を取得する文字行取得部とを備え、前記文字行決定部は、前記カラー画像において認識されたカラー文字行データと、前記カラー画像に基づく二値画像において認識されたモノクロ文字行データとに応じて前記文字行範囲を決定することを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記文字行決定部は、前記カラー画像において連続する複数の画素であって色彩の類似している複数の画素の集合である連続画素を構成する連結成分構成手段と、前記構成された連続画素において近傍に配置されている複数の連続画素であって形態的一致点を有する複数の連続画素の集合である連続画素集合を構成する連続画素集合構成手段とを有し、前記カラー画像において前記構成した連続画素集合が表示されている範囲に基づいて前記カラー文字行データを生成することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記連結成分構成手段は、前記カラー画像において連続する２つの画素の輝度の差に基づいて前記２つの画素の色彩の類似を判断することを特徴とする。

また、請求項４に記載の発明は、請求項２または３に記載の画像処理装置において、前記連結成分構成手段は、前記カラー画像において連続する２つの画素の色相及び彩度の差に基づいて前記２つの画素の色彩の類似を判断することを特徴とする。

また、請求項５に記載の発明は、請求項２乃至４いずれか１項に記載の画像処理装置において、前記連続画素集合構成手段は、前記構成された連続画素の外接矩形の形態に基づいて前記形態的一致点を判断することを特徴とする。

また、請求項６に記載の発明は、請求項２乃至５いずれか１項に記載の画像処理装置において、前記連続画素集合構成手段は、前記近傍に配置されている２つの連続画素の幅、高さ及び面積のうち少なくとも一つの差に基づいて前記形態的一致点を判断することを特徴とする。

また、請求項７に記載の発明は、請求項１乃至６いずれか１項に記載の画像処理装置において、前記文字行決定部は、前記二値画像において文字行と判断される範囲の外接矩形に基づいて前記モノクロ文字行データを生成し、前記カラー画像において文字行と判断される範囲の外接矩形に基づいて前記カラー文字行データを生成し、前記モノクロ文字行データ及び前記カラー文字行データの外接矩形の幅、高さ及び面積のうちすくなくとも１つの比較結果に基づいて前記文字行範囲を決定することを特徴とする。

また、請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記文字行決定部は、前記モノクロ文字行データに含まれる範囲であって前記カラー文字行データの範囲外の範囲を前記決定する文字行範囲から除外することを特徴とする。

また、請求項９に記載の発明は、請求項７または８に記載の画像処理装置において、前記文字行決定部は、前記モノクロ文字行データの範囲の面積と前記カラー文字行データの範囲の面積との比が所定の範囲内である場合、前記モノクロ文字行データの範囲を前記文字行範囲として決定することを特徴とする。

また、請求項１０に記載の発明は、請求項７乃至９いずれか１項に記載の画像処理装置において、前記文字行決定部は、前記モノクロ文字行データの範囲の位置と前記カラー文字行データの範囲の位置との差が所定の範囲内である場合、前記モノクロ文字行データの範囲を前記文字行範囲として決定することを特徴とする。

また、請求項１１に記載の発明は、請求項７乃至１０いずれか１項に記載の画像処理装置において、前記文字行決定部は、前記モノクロ文字行データの範囲外の範囲であって前記カラー文字行の範囲に含まれる範囲を前記文字行範囲として決定する事を特徴とする。

また、請求項１２に記載の発明は、カラー画像から文字行を取得する画像処理方法であって、前記カラー画像を入力し、入力された前記カラー画像において認識されたカラー文字行データと、前記カラー画像データに基づく二値画像において認識されたモノクロ文字行データとに応じて前記カラー画像に含まれる文字行の範囲を示す文字行範囲を決定し、決定された前記文字行範囲に基づいて前記カラー画像から文字行を取得することを特徴とする。

また、請求項１３に記載の発明は、画像処理プログラムであって、請求項１２に記載の画像処理方法を情報処理装置に実行させることを特徴とする。

また、請求項１４に記載の発明は、記録媒体であって、請求項１３に記載の画像処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする。

本発明によれば、有彩色画像における文字行の抽出処理を好適に実行することが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
本実施形態においては、入力された画像に含まれる文字行領域を抽出する画像処理装置として、スキャナ、プリンタ及び複写機としての機能を有する複合機としての画像処理装置を例として説明する。本実施形態に係る画像処理装置は、スキャン動作によって取得した画像情報を取得する。そして、取得した画像情報を解析し、文字行領域を抽出する。本実施形態においては、画像処理装置による画像情報の解析及び文字行領域の抽出処理が要旨となる。

図１は、本実施形態に係る画像処理装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を含む。即ち、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、エンジン３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０、ＮＶＲＡＭ（Ｎｏｎ―Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０及びＩ／Ｆ７０がバスＢを介して接続されている。また、Ｉ／Ｆ７０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）８０及び操作部９０が接続されている。

ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。エンジン３０は、スキャナやプリンタ等の画像処理機能を実行する画像処理エンジンである。ＨＤＤ４０は、磁気記録媒体を用いた大容量記憶装置である。ＲＯＭ５０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。

ＮＶＲＡＭ６０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム及びアプリケーション・プログラムの動作パラメータの情報等が格納される。Ｉ／Ｆ７０は、バスＢと各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ８０は、ユーザが画像処理装置１の状態を確認するための視覚的ユーザインタフェースである。操作部９０は、キーボードやマウス等、ユーザが画像処理装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ５０やＮＶＲＡＭ６０若しくはＨＤＤ４０や図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＲＡＭ２０に読み出されたプログラムに従ってＣＰＵ１０が動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。

図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。図２に示すように、本実施例に係る画像処理装置１は、コントローラ１００、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ：原稿自動搬送装置）１０１、スキャナユニット１０２、排紙トレイ１０３、ネットワークＩ／Ｆ１０４、ディスプレイパネル１０５及び行情報記憶部１０６を有する。

また、コントローラ１００は、主制御部１１１、エンジン制御部１１２、入出力制御部１１３、画像処理部１１４及び行抽出制御部１２０を有する。尚、図２においては、電気的接続を実線の矢印で示しており、用紙の流れを破線の矢印で示している。コントローラ１００は、図１に示すＲＡＭ２０にロードされたプログラムに従ってＣＰＵ１０が動作することにより実現される。

ネットワークＩ／Ｆ１０４は、画像処理装置１がクライアント端末等の他の機器と通信する際のインタフェースである。ネットワークＩ／Ｆ１０４は、図１に示すＩ／Ｆ７０によって実現される。クライアント端末が送信した印刷ジョブは、ネットワークＩ／Ｆ１０４を介してコントローラ１００に入力され、コントローラ１００の制御に従って印刷ジョブに基づいた画像形成処理が実行される。

ディスプレイパネル１０５は、画像処理装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像処理装置１を直接操作する際の入力インタフェースでもある。ディスプレイパネル１０５は、図１に示すＬＣＤ８０及び操作部９０によって実現される。行情報記憶部１０６は、行抽出制御部１２０が行抽出処理を実行する際に処理する情報を一時的に記憶する記憶部である。行情報記憶部１０６は、図１に示すＨＤＤ４０やＮＶＲＡＭ６０等の不揮発性の記憶媒体によって実現される。

主制御部１１１は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。エンジン制御部１１２は、スキャナユニット１０２を制御若しくは駆動する駆動手段としての役割を担う。入出力制御部１１３は、ネットワークＩ／Ｆ１０４を介して入力される情報を主制御部１１１に入力する。また、入出力制御部１１３は、主制御部１１１の命令に従い、ネットワークＩ／Ｆ１０４を介してネットワークに接続された他の装置に情報を送信する。

画像処理部１１４は、スキャナユニット１０２から入力される撮像データを処理し、画像データを生成する。この画像データとは、本実施形態において行情報を抽出する対象の画像の情報（以降、対象画像情報とする）である。画像処理部１１４によって生成された対象画像情報は、主制御部１１１によってＨＤＤ４０に格納される。

行抽出制御部１２０は、主制御部１１１の制御に従い、画像処理部１１４によって生成された対象画像情報から文字列によって構成される行を抽出する処理を実行する。行抽出制御部１２０は、行抽出処理を実行する際、行情報記憶部１０６に一時的に情報を記憶しながら処理を実行する。

画像処理装置１が一般的なスキャナとして動作する場合、まず入出力制御部１１３がスキャン実行指示を受信する。スキャン実行指示は、ユーザによるディスプレイパネル１０５の操作若しくはネットワークＩ／Ｆ１０４を介して外部のホスト装置からのコマンドによって入力される。このようなスキャン実行指示の入力により、入出力制御部１１３が主制御部１１１にスキャン実行信号を送信する。主制御部１１１は、入出力制御部１１３から受信したスキャン実行信号に基づき、エンジン制御部１１２を制御する。

エンジン制御部１１２は、ＡＤＦ１０１を駆動し、ＡＤＦ１０１にセットされた撮像対象原稿をスキャナユニット１０２に搬送する。また、エンジン制御部１１２は、スキャナユニット１０２を駆動し、ＡＤＦ１０１から搬送される原稿を撮像する。また、ＡＤＦ１０１に原稿がセットされておらず、スキャナユニット１０２に直接原稿がセットされた場合、スキャナユニット１０２は、エンジン制御部１１２の制御に従い、セットされた原稿を撮像する。即ち、スキャナユニット１０２が撮像部として動作する。

撮像動作においては、スキャナユニット１０２に含まれるＣＣＤ等の撮像素子が原稿を光学的に走査し、光学情報に基づいて生成された撮像情報が生成される。スキャナユニット１０２は、少なくとも２色以上の色成分によって構成される撮像情報を生成する。本実施形態に係るスキャナユニット１０２は、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）の３色の色成分によって構成される撮像情報を生成する。

エンジン制御部１１２は、スキャナユニット１０２が生成した撮像情報を画像処理部１１４に転送する。画像処理部１１４は、主制御部１１１の制御に従い、エンジン制御部１１２から受信した撮像情報に基づいて画像情報を生成する。上述したように、本実施形態に係る撮像情報は、ＲＧＢの３色の色成分によって構成されている。従って、画像処理部１１４は、３色の色成分から成る画像情報を生成する。

画像処理部１１４が生成した画像情報は、主制御部１１１によってＨＤＤ４０に一時的に保持される。ＨＤＤ４０に保持された画像情報は、ユーザの指示に応じてそのままＨＤＤ４０に格納され若しくは入出力制御部１１３及びネットワークＩ／Ｆ１０４を介して外部の情報端末に送信される。

このような画像処理装置１において、上述したように、本実施形態の要旨は、行抽出制御部１２０による行情報の抽出処理にある。本実施形態に係る行抽出制御部１２０について、図３を参照して更に詳細に説明する。

図３は、本実施形態に係る行抽出制御部１２０の詳細及び行抽出制御部１２０と主制御部１１１、行情報記憶部１０６との接続関係を示すブロック図である。図３に示すように、本実施形態に係る行抽出制御部１２０は、二値画像処理部１２０ａ及び多色画像処理部１２０ｂを有する。二値画像処理部１２０ａは、従来通りの行抽出処理を実行する。多色画像処理部１２０ｂは、本実施形態の要旨の一つであり、ＨＬＳ（Ｈｕｅ：色相、Ｌｉｇｈｔｎｅｓｓ：明度、Ｓａｔｕｒａｔｉｏｎ：彩度）信号を用いた行抽出処理を実行する。

二値画像処理部１２０ａは、変換画像生成部１２１、白黒連結成分生成部１２２及び行候補抽出部１２３を有する。多色画像処理部１２０ｂは、色情報取得部１２４、色彩連結成分生成部１２５、グループ化処理部１２６及び行候補判定部１２７を有する。本実施形態に係る行抽出制御部１２０は、図１に示すＲＡＭ２０にロードされたプログラムに従ってＣＰＵ１０が動作することにより構成される。主制御部１１１は、画像処理部１１４によって生成された対象画像情報を変換画像生成部１２１及び色情報取得部１２４に入力する。これにより、二値画像処理部１２０ａ及び多色画像処理部１２０ｂが、夫々の処理を実行する。変換画像生成部１２１及び色情報取得部１２４が画像入力部として機能する。

上述したように、本実施形態に係る画像処理部１１４が生成する画像情報は３色の色成分によって構成されている。従って、主制御部１１１が変換画像生成部１２１及び色情報取得部１２４に入力する対象画像情報は、３色の色成分によって構成されているカラー画像の情報、即ち有彩色画像情報である。ここで、カラー画像とは、輝度、色相及び彩度の情報を含む有彩色画像である。即ち、モノクロ画像のような二値画像若しくはグレースケール画像のような明度情報のみを有する無彩色画像は除外される。

変換画像生成部１２１は、主制御部１１１から取得したカラーの対象画像情報の形式を、二値画像処理部１２０ａが処理する形式に変換する。本実施形態に係る二値画像処理部１２０ａが処理する画像情報の形式は、白黒の二値画像である。即ち、変換画像生成部１２１が、無彩色画像情報生成部として機能する。また、本実施形態に係る二値画像処理部１２０ａは、解像度の変更により縮小された対象画像情報を処理する。

即ち、変換画像生成部１２１は、入力された対象画像情報を二値化し、白黒の二値画像の情報（以降、二値画像情報とする）、即ち、無彩色画像情報を生成する。変換画像生成部１２１による二値画像への変換処理は、既存の処理方法を適用することが可能であるため、詳細な説明を省略する。また、変換画像生成部１２１は、二値化して生成した二値画像情報を縮小し、二値縮小画像情報を生成する。変換画像生成部１２１は、二値画像情報の解像度を低減することにより、上記縮小処理を実行する。

上記縮小処理において、変換画像生成部１２１は、８×８画素、１６×１６画素等、縦横複数行列の画素を１画素に集約する。また、変換画像生成部１２１は、上記集約処理において、論理和縮小を行なう。即ち、集約する縦横複数行列の画素に１つでも黒画素があれば、黒画素として集約する。変換画像生成部１２１による縮小処理の例について、図４（ａ）、図４（ｂ）に示す。

図４（ａ）は、二値画像情報によって表示される画像の一部として、“アイ”という文字の画像を示す図である。変換画像生成部１２１は、図４（ａ）に示される破線で区切られている範囲を一の画素とするように論理和縮小を行なう。図４（ｂ）は、変換画像生成部１２１が論理和縮小を実行した後の二値縮小画像の一部を示す図である。図４（ｂ）に示すように、論理和縮小の効果によって、“ア”と“イ”とが連続したドットパターンを構成している。これにより、後述する白黒連結成分生成部１２２の処理が好適に実行される。

尚、上記説明においては、変換画像生成部１２１が、二値化、縮小の順に処理を実行する例を説明している。これに限らず、変換画像生成部１２１は、縮小、二値化の順に処理を実行することも可能である。

白黒連結成分生成部１２２は、変換画像生成部１２１が生成した二値画像情報に基づき、黒画素連結成分情報を生成する。この黒画素連結成分情報とは、白黒の画素によって構成される二値画像において、黒画素が連続する部分を示す情報である。図５に、黒画素連結成分情報に含まれる情報の例を示す。図５に示すように、黒画素連結成分情報は、夫々の黒画素連結成分を識別する連結成分ＩＤと、夫々の黒画素連結成分に含まれる黒画素を特定する情報とが関連付けられた情報である。

図５に示すように本実施形態においては、夫々の画素をＸ方向及びＹ方向の座標で示す。尚、図５に示す画素の座標は、変換画像生成部１２１によって縮小された画像における座標である。例えば、図５に示す連結成分ＩＤ“００１”の連結成分であれば、“（Ｘ₁₁、Ｙ₁₁）”、“（Ｘ₁₂、Ｙ₁₂）” 、“（Ｘ₁₃、Ｙ₁₃）”で示される画素を含む。

図４（ａ）、（ｂ）において説明したように、変換画像生成部１２１による論理和縮小処理により、同一の文字行に属する隣接する文字は、連続するドットパターンを構成する。従って、白黒連結成分生成部１２２は、夫々の文字行を１つの連結成分として認識する。結果的に、１つの黒画素連結成分情報は、１つの文字行に含まれる文字を構成する画素を特定する情報を、包含画素の情報として含む。

行候補抽出部１２３は、白黒連結成分生成部１２２によって生成された黒画素連結成分情報に基づき、行候補情報を生成する。行候補情報とは、対象画像情報が表示する画像において夫々の文字行が表示されている範囲を示す情報である。この行候補情報は、無彩色画像に基づいて抽出された文字行の範囲、即ち、無彩色文字行範囲である。また、白黒連結成分生成部１２２及び行候補抽出部１２３が連動して、無彩色文字行抽出部として機能する。図６に、行候補情報に含まれる情報の例を示す。図６に示すように、行候補情報は、夫々の文字行を識別する文字行ＩＤと、夫々の文字行が表示されている範囲を示す座標の情報とが関連付けられた情報である。

行候補抽出部１２３は、黒画素連結成分情報を参照し、夫々の黒画素連結成分を構成する黒画素の外接矩形を上記文字行の範囲として認識する。行候補抽出部１２３は、上記認識した外接矩形の対向する頂点の座標を、図６に示す文字行範囲の座標として抽出する。上述したように、１つの連結成分は、１つの文字行に含まれる文字を構成する画素を含む。従って、夫々の黒画素連結成分の外接矩形を抽出することにより、夫々の文字行の範囲を抽出することができる。行候補抽出部１２３は、生成した行候補情報を行情報記憶部１０６に記憶させる。

色情報取得部１２４は、主制御部１１１から取得したカラーの対象画像情報の画素を解析し、夫々の画素を構成する情報としてＨＬＳ形式の情報を生成する。上述したように、対象画像情報はＲＧＢ形式の情報によって生成されている。色情報取得部１２３は、ＲＧＢ形式をＨＬＳ形式に変換することによって、ＨＬＳ形式の情報を取得する。ＨＬＳ形式の情報は、ＲＧＢ形式の情報に基づき、以下の式（１）〜（５）によって求められる。ここで、Ｃ₁は、赤色差情報、Ｃ₂は、青色差情報である。

色情報取得部１２４による処理により、ＨＬＳ形式の対象画像情報が生成される。色彩連結成分生成部１２５は、色情報取得部１２４が生成したＨＬＳ形式の対象画像情報に基づき、色彩連結成分情報を生成する。この色彩連結成分情報とは、カラーの対象画像情報において、色味が近い画素が連続する部分を示す情報である。即ち、色彩連結成分情報は、連続画素として用いられる。また、色彩連結成分生成部１２５が、連結成分構成手段として機能する。色彩連結成分情報は、図５において説明した黒画素連結成分情報と同様の情報を有する。尚、色彩連結成分情報を構成する包含画素の情報は、対象画像情報における座標の情報である。

図７を参照して、色彩連結成分生成部１２５による色彩連結成分情報の生成動作について説明する。図７は、色彩連結成分生成部１２５による色彩情報の解析及び色彩連結成分情報の生成動作を示すフローチャートである。図７に示すように、色彩連結成分生成部１２５は、まず、対象画像情報を構成する画素から解析対象とする画素（以降、対象画素とする）を１つ選択する（Ｓ７０１）。次に、色彩連結成分生成部１２５は、対象画素に隣接する画素（以降、隣接画素とする）を１つ特定する（Ｓ７０２）。図８に対象画素と隣接画素との関係を示す。

次に、色彩連結成分生成部１２５は、対象画素と隣接画素との輝度（Ｌ）の差（Ｌ_a）を求める。求めた輝度の差（Ｌ_a）が所定の閾値（Ｌ_h）よりも低い場合（Ｓ７０３／ＹＥＳ）、色彩連結成分生成部１２５は、隣接画素を対象画素に連結する連結画素として認識する（Ｓ７０６）。他方、求めた輝度の差（Ｌ_a）が所定の閾値（Ｌ_h）以上である場合（Ｓ７０３／ＮＯ）、色彩連結成分生成部１２５は、色相（Ｈ）の解析処理（Ｓ７０４）に進む。

色相（Ｈ）の解析処理において、色彩連結成分生成部１２５は、対象画素と隣接画素との色相（Ｈ）の差（Ｈ_a）を求める。求めた色相の差（Ｈ_a）が所定の閾値（Ｈ_h）よりも低い場合（Ｓ７０４／ＹＥＳ）、色彩連結成分生成部１２５は、彩度（Ｓ）の解析処理（Ｓ７０５）に進む。求めた色相の差（Ｈ_a）が所定の閾値（Ｈ_h）以上である場合（Ｓ７０４／ＮＯ）、色彩連結成分生成部１２５は、隣接画素は対象画素に連結しない非連結画素として認識する（Ｓ７０７）。

彩度（Ｓ）の解析処理において、色彩連結成分生成部１２５は、対象画素と隣接画素との彩度（Ｓ）の差（Ｓ_a）を求める。求めた彩度の差（Ｓ_a）が所定の閾値（Ｓ_h）よりも低い場合（Ｓ７０５／ＹＥＳ）、色彩連結成分生成部１２５は、隣接画素を対象画素に連結する連結画素として認識する（Ｓ７０６）。求めた彩度の差（Ｓ_a）が所定の閾値（Ｓ_h）以上である場合（Ｓ７０５／ＮＯ）、色彩連結成分生成部１２５は、隣接画素は対象画素に連結しない非連結画素として認識する（Ｓ７０７）。

色彩連結成分生成部１２５は、Ｓ７０６若しくはＳ７０７の処理を終えると、対象画素に隣接する全ての画素について上記解析処理が完了するまで、Ｓ７０２からの処理を繰り返す（Ｓ７０８／ＮＯ）。対象画素に隣接する全ての画素について上記解析処理が完了すると、（Ｓ７０８／ＹＥＳ）、色彩連結成分生成部１２５は、対象画像情報を構成する全ての画素を対象画素として選択したか判断する（Ｓ７０９）。

対象画素を構成する全ての画素について上記解析処理が完了していなければ（Ｓ７０９／ＮＯ）、色彩連結成分生成部１２５は、Ｓ７０１からの処理を繰り返す。対象画素を構成する全ての画素について上記解析処理が完了していれば（Ｓ７０９／ＹＥＳ）、色彩連結成分生成部１２５は、処理を終了する。このような処理により、色彩連結成分生成部１２５による色彩連結成分情報の生成処理が完了する。

色彩連結成分生成部１２５による色彩情報の解析態様について、図９を参照して示す。図９は、対象画像情報によって表示される画像の一部として、背景９０の上に“あい”という文字の画像を示す図である。図９においては、“あ”の文字を文字９１とし、“い”の文字を文字９２とする。また、“い”の文字９２は、文字片９２ａ、文字片９２ｂから成るものとする。図９に示すように、文字９１及び文字９２の色は、比較的濃度の高い色である。他方、背景９０の色は、比較的濃度の低い色である。

図９に示す例の場合、色彩連結成分生成部１２５は、図７の処理により、文字９１、文字片９２ａ及び文字片９２ｂを構成する画素と背景を構成する画素とは非連結画素であると認識する。他方、文字９１を構成する画素、文字片９２ａを構成する画素及び文字片９２ｂを構成する画素は、夫々連結成分であると認識する。即ち、図９の例において、色彩連結成分生成部１２５は、文字９１を構成する画素の群、文字片９２ａを構成する画素の群及び文字片９２ｂを構成する画素の群の、３つの連結成分を抽出し、色彩連結成分情報を生成する。即ち、色彩連結成分生成部１２５は、１つの文字もしくは文字を構成する文字片を１つの連結成分として抽出する。このような処理の結果、図１０に示すように、色彩連結成分情報が生成される。本実施形態においては、図７のＳ７０３、Ｓ７０４及びＳ７０５の処理により、コントラストの高い文字を色彩連結成分として抽出することが可能となる。

グループ化処理部１２６は、色彩連結成分生成部１２５によって生成された色彩連結成分情報に基づき、色彩連結成分同士をグループ化してグループ化情報を生成する。上述したように、色彩連結成分情報における１つの色彩連結成分は、１つの文字若しくは文字を構成する文字片である。グループ化処理部１２６は、同一の文字行に属すると判断される色彩連結成分同士をグループ化してグループ化情報を生成する。

即ち、グループ化情報とは、１つの文字行に属する文字若しくは文字片を構成する色彩連結成分の集合を特定する情報である。換言すると、グループ化情報は、近傍に配置されている複数の連続画素であって形態的一致点を有するものの集合である連続画素集合として用いられる。従って、グループ化処理部１２６は、連続画素集合構成手段として機能する。また、グループ化情報とは、色彩情報に基づいて生成された行候補情報と言える。図１１に、グループ化情報に含まれる情報の例を示す。

図１１に示すように、グループ化情報は、夫々のグループを識別するグループＩＤと、夫々のグループに含まれる色彩連結成分を特定する情報とが関連付けられた情報である。グループ化情報は、色彩連結成分を特定する情報として、図１０に示す色彩連結成分情報における連結成分ＩＤを用いている。

図１２を参照して、グループ化処理部１２６によるグループ化情報の生成動作について説明する。図１２は、グループ化処理部１２６による連結成分の解析及びグループ化情報の生成動作を示すフローチャートである。図１２に示すように、グループ化処理部１２６は、まず、色彩連結成分情報に含まれる色彩連結成分から解析対象とする連結成分（以降、対象連結成分とする）を１つ選択する（Ｓ１２０１）。次に、グループ化処理部１２６は、対象連結成分の近傍に配置されている連結成分（以降、近傍連結成分とする）を１つ特定する（Ｓ１２０２）。この近傍連結成分とは、例えば、図９に示す文字９１と文字片９２ａ、文字片９２ａと文字片９２ｂのように、隣接して配置されている連結成分である。

次に、グループ化処理部１２６は、対象連結成分と近傍連結成分との一致度を算出する。ここで、算出される一致度とは、双方の連結成分の幅、高さ、面積の一致度である。算出した一致度が所定の閾値以上であれば（Ｓ１２０３／ＹＥＳ）、グループ化処理部１２６は、対象連結成分と近傍連結成分とをグループ化する（Ｓ１２０４）。Ｓ１２０４において、対象連結成分と近傍連結成分とがグループ化されると、グループ化処理部１２６は、対象連結成分の近傍に配置されている連結成分に加えて、グループ化された近傍連結成分の近傍に配置されている連結成分もＳ１２０２における選択対象とする。

他方、Ｓ１２０３の判断において、一致度が所定の閾値未満である場合（Ｓ１２０３／ＮＯ）、そのまま次の処理に進む。Ｓ１２０３にて閾値未満と判断された場合、若しくはＳ１２０４のグループ化処理が完了した後、グループ化処理部１２６は、選択対象である連結成分の全てについてＳ１２０３の処理が完了するまで、Ｓ１２０２からの処理を繰り返す（Ｓ１２０５／ＮＯ）。選択対象である連結成分の全てについてＳ１２０３の処理が完了した後（Ｓ１２０５／ＹＥＳ）、グループ化処理部１２６は、色彩連結成分情報に含まれる全ての連結成分について、上記解析処理が完了するまで、Ｓ１２０１からの処理を繰り返す（Ｓ１２０６／ＮＯ）。全ての連結成分について上記解析処理が完了すると（Ｓ１２０６／ＹＥＳ）、グループ化処理部１２６は、処理を終了する。

行候補判定部１２７は、図１０に示す色彩連結成分情報及び図１１に示すグループ化情報を参照し、行候補抽出部１２３によって行情報記憶部１０６に格納された行候補情報の取捨選択や修正等の処理を行なう。行候補判定部１２７は、色彩連結成分情報及びグループ化情報を取得すると、上記処理の実行に際して、夫々のグループ毎に、含まれる色彩連結成分を全て含む外接矩形（以降、グループ外接矩形とする）を抽出する。

例えば、図９の例の場合、行候補判定部１２７は、破線９３のような外接矩形をグループ外接矩形として抽出する。上述したように、グループ化情報とは、１つの文字行に属する文字若しくは文字片を構成する色彩連結成分を特定する情報である。従って、グループ外接矩形とは、対象画像情報の色彩情報に基づいて認識された文字行の外接矩形である。換言すると、グループ外接矩形は、有彩色画像に基づいて抽出された文字行の範囲、即ち、有彩色文字行範囲である。従って、色彩連結成分生成部１２５、グループ化処理部１２６及び行候補判定部１２７が有彩色文字行抽出部として機能する。

行候補判定部１２７は、外接矩形を抽出すると、図１３に示すような、グループ表示範囲情報を生成する。このグループ表示範囲情報は、図１３に示すように、各グループＩＤと、各グループに含まれる全色彩連結成分の外接矩形の範囲を示す座標の情報とが関連付けられた情報である。図１３に示すグループ表示範囲情報は、図６に示す行候補情報に対応する情報である。行候補判定部１２７は、行候補情報とグループ表示範囲情報とを比較することにより、行候補情報の取捨選択を行なう。即ち、行候補判定部１２７が、文字行決定部及び文字行取得部として機能する。

図１４（ａ）〜（ｅ）は、行候補判定部１２７による行候補情報とグループ表示範囲情報との比較処理の態様を示す図である。図１４においては、行候補情報に含まれる外接矩形の範囲を二値化矩形１４ａで示す。また、グループ表示範囲情報に含まれる外接矩形の範囲を色彩矩形１４ｂで示す。

行候補判定部１２７は、二値化矩形１４ａと色彩矩形１４ｂとが重複する割合を算出する。例えば、二値化矩形１４ａの面積よりも色彩矩形１４ｂの面積の方が大きい場合、二値化矩形１４ａと色彩矩形１４ｂとの一致度は以下の式（６）によって求めることができる。

他方、色彩矩形１４ｂの面積よりも二値化矩形１４ａの面積の方が大きい場合、式（６）の分母が“二値化矩形１４ａの面積”になる。式（６）により求めた“一致度”が所定の閾値以上である場合、行候補判定部１２７は、二値化矩形１４ａが示す行候補を文字行として採用する。ここで、上記閾値としては、例えば０．８〜０．９程度の値を指定することができる。即ち、色彩矩形１４ｂの面積と二値化矩形１４ａの面積との比較において、一方の面積が他方の面積８０％〜９０％程度である場合に、両矩形が一致すると判断する。図１４（ａ）は、上記“一致度”が所定の閾値以上である場合を示す図である。

他方、上記“一致度”が所定の閾値未満である場合、行候補判定部１２７は、その態様に応じて様々な処理を行なう。図１４（ｂ）は、二値化矩形１４ａの面積と色彩矩形１４ｂの面積との差が大きい場合を示す図である。この場合、図１４（ｂ）の場合、行候補判定部１２７は、色彩矩形１４ｂによって示される文字行を正式な文字行として決定し、取得する。

また、行候補判定部１２７は、上述した面積の一致度に加えて、二値化矩形１４ａと色彩矩形１４ｂとの位置の差を判断することもできる。位置の差を判断する場合、行候補判定部１２７は、図６に示す行候補情報に含まれる文字行範囲を確定するための座標と、図１３に示すグループ表示範囲情報に含まれるグループ表示範囲を画定するための座標との距離に基づいて差を算出する。例えば、図６に示すＩＤ“００１”の文字行と図１３に示すＩＤ“００１”のグループとが対応する文字列である場合、位置の差は、例えば以下の式（７）で求めることができる。

式（７）を用いて求められた位置の差は、二値化矩形１４ａ及び色彩矩形１４ｂを画定するための２つの座標の差の平均値である。この他、上記位置の差は、二値化矩形１４ａ及び色彩矩形１４ｂの中心点の座標の差によっても求められる。この場合、位置の差は、以下の式（８）で求めることができる。

行候補抽出部１２７は、位置の差を用いて判断する場合、上記求めた位置の差が所定の範囲内であるか否かを判断する。例えば、行候補抽出部１２７は、実際の長さにして１ｃｍ程度の長さを上記所定の範囲として用いることができる。また、行候補抽出部１２７は、二値化矩形１４ａ及び色彩矩形１４ｂの面積による判断及び位置の差による判断を併用しても良い。行候補抽出部１２７は、面積及び位置の双方を判断対象とすることにより、様々な判断が可能となる。例えば、図１４（ｃ）は、二値化矩形１４ａの中に複数の色彩矩形１４ｂが含まれる場合を示す図である。この場合、行候補判定部１２７は、二値化矩形１４ａが示す行候補に替えて、色彩矩形１４ｂによって示される夫々の文字行を最終的な文字行として採用する。

図１４（ｄ）は、二値化矩形１４ａの範囲と色彩矩形１４ｂとの範囲の一部が重複しており、重複していない範囲の方が大きい場合を示す図である。この場合、行候補判定部１２７は、重複する範囲のみを正式な文字行として採用する。若しくは、業候補判定部１２７は、重複する範囲が狭い場合、該当する二値化矩形１４ａを行候補から除外する。

図１４（ｅ）は、二値化矩形１４ａに色彩矩形１４ｂと重複する範囲がない場合を示す図である。この場合、行候補判定部１２７は、該当する二値化矩形１４ａを行候補から除外する。

このような処理により、行候補判定部１２７は、行情報記憶部１０６に記憶された行候補情報を取捨選択若しくは修正し、正式な文字行情報を生成する。行候補判定部１２７は、生成した文字行情報を主制御部１１１に送信する。これにより、行抽出制御部１２０による行抽出処理が完了する。

以上、説明したように、本実施形態に係る画像処理装置１においては、業抽出制御部１２０が、二値化及び縮小処理により生成された行候補情報を、色彩情報に基づいて生成された行候補情報に基づいて取捨選択若しくは修正する。これにより、タイトル文字やロゴ等、色彩の付された文字であって、コントラストの低い文字は、文字行から除外される。従って、誤検出の少ない、好適な文字行抽出処理を実行することが可能と成る。

尚、上記の説明においては、二値画像処理部１２０ａが、二値化及び論理和縮小した画像情報に基づいて行候補情報を生成する例を説明した。しかしながら、上述したように、二値画像処理部１２０ａが実行するのは従来の行抽出処理である。即ち、二値画像やグレースケール等、色彩情報を含まない一次元の色情報による画像情報に基づいた行抽出処理であれば良い。

本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施形態に係る行抽出制御部の機能構成を示すブロック図である。 本発明の実施形態に係る変換画像生成部による処理態様を示す図である。 本発明の実施形態に係る黒画素連結成分情報に含まれる情報の例を示す図である。 本発明の実施形態に係る行候補情報に含まれる情報の例を示す図である。 本発明の実施形態に係る色彩連結成分生成部の動作を示すフローチャートである。 本発明の実施形態に係る対象画素と隣接画素との関係を示す図である。 本発明の実施形態に係る色彩連結成分生成部による処理態様を示す図である。 本発明の実施形態に係る色彩連結成分情報に含まれる情報の例を示す図である。 本発明の実施形態に係るグループ化情報に含まれる情報の例を示す図である。 本発明の実施形態に係るグループ化処理部の動作を示すフローチャートである。 本発明の実施形態に係るグループ表示範囲情報に含まれる情報の例を示す図である。 本発明の実施形態に係る行候補判定部による処理態様を示す図である。

符号の説明

１ 画像処理装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ エンジン
４０ ＲＯＭ
５０ ＮＶＲＡＭ
６０ Ｉ／Ｆ
７０ ＬＣＤ
８０ 操作部
１００ コントローラ
１０１ ＡＤＦ
１０２ スキャナユニット
１０３ 排紙トレイ
１０４ ネットワークＩ／Ｆ
１０５ ディスプレイパネル
１０６ 行情報記憶部
１１１ 主制御部
１１２ エンジン制御部
１１３ 入出力制御部
１１４ 画像処理装置
１２０ 情報挿入制御部
１２１ 入力情報取得部
１２２ 文字情報認識部
１２３ 情報挿入処理部
１２４ 出力情報生成部

Claims (14)

1. カラー画像から文字行を取得する画像処理装置であって、
   前記カラー画像を入力する画像入力部と、
   入力された前記カラー画像に含まれる文字行の範囲を示す文字行範囲を決定する文字行決定部と、
   決定された前記文字行範囲に基づいて前記カラー画像から文字行を取得する文字行取得部とを備え、
   前記文字行決定部は、前記カラー画像において認識されたカラー文字行データと、前記カラー画像に基づく二値画像において認識されたモノクロ文字行データとに応じて前記文字行範囲を決定することを特徴とする、画像処理装置。
2. 前記文字行決定部は、
   前記カラー画像において連続する複数の画素であって色彩の類似している複数の画素の集合である連続画素を構成する連結成分構成手段と、
   前記構成された連続画素において近傍に配置されている複数の連続画素であって形態的一致点を有する複数の連続画素の集合である連続画素集合を構成する連続画素集合構成手段とを有し、
   前記カラー画像において前記構成した連続画素集合が表示されている範囲に基づいて前記カラー文字行データを生成することを特徴とする、請求項１に記載の画像処理装置。
3. 前記連結成分構成手段は、前記カラー画像において連続する２つの画素の輝度の差に基づいて前記２つの画素の色彩の類似を判断することを特徴とする、請求項２に記載の画像処理装置。
4. 前記連結成分構成手段は、前記カラー画像において連続する２つの画素の色相及び彩度の差に基づいて前記２つの画素の色彩の類似を判断することを特徴とする、請求項２または３に記載の画像処理装置。
5. 前記連続画素集合構成手段は、前記構成された連続画素の外接矩形の形態に基づいて前記形態的一致点を判断することを特徴とする、請求項２乃至４いずれか１項に記載の画像処理装置。
6. 前記連続画素集合構成手段は、前記近傍に配置されている２つの連続画素の幅、高さ及び面積のうち少なくとも一つの差に基づいて前記形態的一致点を判断することを特徴とする、請求項２乃至５いずれか１項に記載の画像処理装置。
7. 前記文字行決定部は、
   前記二値画像において文字行と判断される範囲の外接矩形に基づいて前記モノクロ文字行データを生成し、
   前記カラー画像において文字行と判断される範囲の外接矩形に基づいて前記カラー文字行データを生成し、
   前記モノクロ文字行データ及び前記カラー文字行データの外接矩形の幅、高さ及び面積のうちすくなくとも１つの比較結果に基づいて前記文字行範囲を決定することを特徴とする、請求項１乃至６いずれか１項に記載の画像処理装置。
8. 前記文字行決定部は、前記モノクロ文字行データに含まれる範囲であって前記カラー文字行データの範囲外の範囲を前記決定する文字行範囲から除外することを特徴とする、請求項７に記載の画像処理装置。
9. 前記文字行決定部は、前記モノクロ文字行データの範囲の面積と前記カラー文字行データの範囲の面積との比が所定の範囲内である場合、前記モノクロ文字行データの範囲を前記文字行範囲として決定することを特徴とする、請求項７または８に記載の画像処理装置。
10. 前記文字行決定部は、前記モノクロ文字行データの範囲の位置と前記カラー文字行データの範囲の位置との差が所定の範囲内である場合、前記モノクロ文字行データの範囲を前記文字行範囲として決定することを特徴とする、請求項７乃至９いずれか１項に記載の画像処理装置。
11. 前記文字行決定部は、前記モノクロ文字行データの範囲外の範囲であって前記カラー文字行の範囲に含まれる範囲を前記文字行範囲として決定する事を特徴とする、請求項７乃至１０いずれか１項に記載の画像処理装置。
12. カラー画像から文字行を取得する画像処理方法であって、
    前記カラー画像を入力し、
    入力された前記カラー画像において認識されたカラー文字行データと、前記カラー画像データに基づく二値画像において認識されたモノクロ文字行データとに応じて前記カラー画像に含まれる文字行の範囲を示す文字行範囲を決定し、
    決定された前記文字行範囲に基づいて前記カラー画像から文字行を取得することを特徴とする、画像処理方法。
13. 請求項１２に記載の画像処理方法を情報処理装置に実行させることを特徴とする画像処理プログラム。
14. 請求項１３に記載の画像処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする記録媒体。

Images