JP2013065164A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2013065164A JP2013065164A JP2011202949A JP2011202949A JP2013065164A JP 2013065164 A JP2013065164 A JP 2013065164A JP 2011202949 A JP2011202949 A JP 2011202949A JP 2011202949 A JP2011202949 A JP 2011202949A JP 2013065164 A JP2013065164 A JP 2013065164A
- Authority
- JP
- Japan
- Prior art keywords
- area
- ruled line
- image
- data
- color map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Character Input (AREA)
Abstract
【課題】文字画像処理において、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができる。
【解決手段】画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値の画像データを取得する。領域識別処理部14は、取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。罫線抽出処理部15は、得られた領域データに対して、罫線抽出処理を施す。領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップ値を算出する。領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。結果出力部16は、得られた罫線抽出結果データを出力する。
【選択図】図1
【解決手段】画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値の画像データを取得する。領域識別処理部14は、取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。罫線抽出処理部15は、得られた領域データに対して、罫線抽出処理を施す。領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップ値を算出する。領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。結果出力部16は、得られた罫線抽出結果データを出力する。
【選択図】図1
Description
本発明は、表で構成された帳票画像から罫線(表)を抽出するための画像処理装置、画像処理方法および画像処理プログラムに関する。
従来、帳票認識処理において、表で構成された帳票画像から罫線(表)を抽出して、表中のセル単位で文字認識したり、抽出された罫線をベクトルデータに変換したり、抽出された箇所を再利用したりする場合がある。そのような帳票画像中の罫線(表)に対して、罫線抽出処理を行うための罫線抽出手順が既に知られている。
例えば、特許文献1では、罫線を利用して該帳票類を判別する場合に、画像の変動に起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することを目的としている。
特許文献1では、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して帳票類を判別する帳票類判別装置において、入力画像または参照画像の画像データの各画素から水平方向または垂直方向にそれぞれ連接する所定数の画素列内に所在する黒画素の割合を示す黒画素割合を画素ごとに算定する算定手段と、画像データを複数のブロックに分割し、該分割したブロックごとにブロック内に位置する各画素の黒画素割合を加算して画像データの特徴量を抽出する抽出手段と、を備えたことを特徴とする帳票類判別装置が開示されている。
例えば、特許文献1では、罫線を利用して該帳票類を判別する場合に、画像の変動に起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することを目的としている。
特許文献1では、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して帳票類を判別する帳票類判別装置において、入力画像または参照画像の画像データの各画素から水平方向または垂直方向にそれぞれ連接する所定数の画素列内に所在する黒画素の割合を示す黒画素割合を画素ごとに算定する算定手段と、画像データを複数のブロックに分割し、該分割したブロックごとにブロック内に位置する各画素の黒画素割合を加算して画像データの特徴量を抽出する抽出手段と、を備えたことを特徴とする帳票類判別装置が開示されている。
しかし、従来の技術にあっては、図11に示す入力文字画像の例、図12に示す表の例、すなわち、行毎に2色で交互に塗りつぶして配置されている表(以下、交互配置表という)に対して、罫線抽出処理を行うことを前提としていなかった。
このため、上述した交互配置表で構成された文書画像に対して、誤抽出が発生するといった問題があった。
特許文献1にあっては、文書画像から罫線(表)を抽出する点が開示されているが、図12に示すような、行毎に2色で交互に塗りつぶして配置されている交互配置表に対しては、罫線そのものが存在しないため、罫線抽出処理を行うことができず、誤抽出が発生するといった問題があった。
そこで、本発明は、上記に鑑みてなされたもので、その目的としては、文字画像処理において、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
このため、上述した交互配置表で構成された文書画像に対して、誤抽出が発生するといった問題があった。
特許文献1にあっては、文書画像から罫線(表)を抽出する点が開示されているが、図12に示すような、行毎に2色で交互に塗りつぶして配置されている交互配置表に対しては、罫線そのものが存在しないため、罫線抽出処理を行うことができず、誤抽出が発生するといった問題があった。
そこで、本発明は、上記に鑑みてなされたもので、その目的としては、文字画像処理において、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
請求項1記載の本発明は、原稿から多値で構成されている画像データを取得する画像入力処理手段と、前記画像入力処理手段によって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する領域識別手段と、前記領域識別手段によって得られた領域データに対して、罫線抽出処理をする罫線抽出処理手段と、前記領域識別手段によって得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出するカラーマップ算出手段と、前記カラーマップ算出手段によって得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する罫線行抽出処理手段と、前記罫線行抽出処理手段によって得られた罫線行から、罫線行内の各セルを抽出するセル抽出処理手段と、前記罫線抽出理手段によって得られた罫線抽出結果データを出力する結果出力手段と、を有することを特徴とする画像処理装置である。
本発明によれば、多値の画像データから得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、確実に表領域を抽出することができる。
本発明の実施の形態に係る画像処理装置について図面を参照して説明する。
具体的には、帳票認識処理において、帳票画像データにある行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、罫線(表)およびセル内の要素を抽出する場合に、帳票画像データ中にある表中の行が2色に規則通り交互配置され、各ラインのカラーマップ値が同一かつ連続しているというパターンを用いて、罫線を抽出することにより、より高い精度で罫線抽出処理を行うことを特徴としている。
<第1実施形態>
図1は、本発明の第1実施形態に係る画像処理装置1の構成を示すブロック図である。
画像入力部11は、原稿から多値で構成されている画像データを取得する。すなわち、画像入力部11は、スキャナを走査して取得した画像データ、ファイルを読み出して取得した画像データ、ネットワークを経由して取得した画像データ、デジタルカメラで撮影した画像データ等を入力して取得する。
データアクセス部12は、実際に画像データを蓄積しているデータディスクなどのデータ記憶部13にアクセスして画像データを取得し、この画像データを画像入力部11に出力する。
領域識別処理部14は、画像入力部11によって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
罫線抽出処理部15は、領域識別処理部14で識別された表領域データに対して、罫線を抽出する。
結果出力部16は、罫線抽出処理部15によって得られた結果データを出力する。
処理制御部17は、画像処理装置1に設けられた各部11〜16による処理を制御する。
具体的には、帳票認識処理において、帳票画像データにある行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、罫線(表)およびセル内の要素を抽出する場合に、帳票画像データ中にある表中の行が2色に規則通り交互配置され、各ラインのカラーマップ値が同一かつ連続しているというパターンを用いて、罫線を抽出することにより、より高い精度で罫線抽出処理を行うことを特徴としている。
<第1実施形態>
図1は、本発明の第1実施形態に係る画像処理装置1の構成を示すブロック図である。
画像入力部11は、原稿から多値で構成されている画像データを取得する。すなわち、画像入力部11は、スキャナを走査して取得した画像データ、ファイルを読み出して取得した画像データ、ネットワークを経由して取得した画像データ、デジタルカメラで撮影した画像データ等を入力して取得する。
データアクセス部12は、実際に画像データを蓄積しているデータディスクなどのデータ記憶部13にアクセスして画像データを取得し、この画像データを画像入力部11に出力する。
領域識別処理部14は、画像入力部11によって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
罫線抽出処理部15は、領域識別処理部14で識別された表領域データに対して、罫線を抽出する。
結果出力部16は、罫線抽出処理部15によって得られた結果データを出力する。
処理制御部17は、画像処理装置1に設けられた各部11〜16による処理を制御する。
次に、図1に示す画像処理装置1の動作について説明する。
まず、画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値で構成されている画像データを取得する。
次いで、領域識別処理部14は、画像入力部11によって取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
次いで、罫線抽出処理部15は、領域識別処理部14によって得られた領域データに対して、罫線抽出処理を施す。
次いで、領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出する。次いで、領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。次いで、領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。次いで、結果出力部16は、領域識別処理部14によって得られた罫線抽出結果データを出力する。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
まず、画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値で構成されている画像データを取得する。
次いで、領域識別処理部14は、画像入力部11によって取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
次いで、罫線抽出処理部15は、領域識別処理部14によって得られた領域データに対して、罫線抽出処理を施す。
次いで、領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出する。次いで、領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。次いで、領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。次いで、結果出力部16は、領域識別処理部14によって得られた罫線抽出結果データを出力する。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
<変形例1>
図1を参照して、本発明の第1実施形態に係る画像処理装置1についての変形例1について説明する。
図1に示す領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出することを特徴とする。
図1を参照して、本発明の第1実施形態に係る画像処理装置1についての変形例1について説明する。
図1に示す領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出することを特徴とする。
次に、図1に示す画像処理装置1の変形例1の動作について説明する。
まず、画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値で構成されている画像データを取得する。
次いで、領域識別処理部14は、画像入力部11によって取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
次いで、罫線抽出処理部15は、領域識別処理部14によって得られた領域データに対して、罫線抽出処理を施す。
次いで、領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出する。次いで、領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。次いで、領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。次いで、結果出力部16は、領域識別処理部14によって得られた罫線抽出結果データを出力する。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
まず、画像入力部11は、データアクセス部12を起動させてデータ記憶部13に記憶されている、多値で構成されている画像データを取得する。
次いで、領域識別処理部14は、画像入力部11によって取得された多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別する。
次いで、罫線抽出処理部15は、領域識別処理部14によって得られた領域データに対して、罫線抽出処理を施す。
次いで、領域識別処理部14は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出する。次いで、領域識別処理部14は、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する。次いで、領域識別処理部14は、得られた罫線行から、罫線行内の各セルを抽出する。次いで、結果出力部16は、領域識別処理部14によって得られた罫線抽出結果データを出力する。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
<第2実施形態>
図2は、本発明の第2実施形態に係る画像処理装置20の具体的な構成を示すブロック図である。
図2において、CPU21は各部の制御および演算を行う。入力画像メモリ部24は、原稿から画像データを読み取るスキャナ部22、または、ハードディスク32やCD/DVD/メモリカード31などの外部記憶部23から原稿ファイルを取得して入力画像としてメモリ上に展開して記憶する。
表示部25は入力画像をプレビュー表示し、操作部26はユーザ操作を入力する。画像処理部27は、領域識別や罫線抽出処理を行う。画像処理部27はメモリ部27aを有し、メモリ部27a内には後述する画像処理の工程毎に別々のワークエリア#1〜nを有している。
画像処理部27で抽出された各特徴量データを特徴保管部28に格納して保管する。
また、通信制御部29を介して、ネットワーク網30から入力画像を取得したり、ネットワーク網30を介して処理結果の情報を他の装置に配信したりする。
図2は、本発明の第2実施形態に係る画像処理装置20の具体的な構成を示すブロック図である。
図2において、CPU21は各部の制御および演算を行う。入力画像メモリ部24は、原稿から画像データを読み取るスキャナ部22、または、ハードディスク32やCD/DVD/メモリカード31などの外部記憶部23から原稿ファイルを取得して入力画像としてメモリ上に展開して記憶する。
表示部25は入力画像をプレビュー表示し、操作部26はユーザ操作を入力する。画像処理部27は、領域識別や罫線抽出処理を行う。画像処理部27はメモリ部27aを有し、メモリ部27a内には後述する画像処理の工程毎に別々のワークエリア#1〜nを有している。
画像処理部27で抽出された各特徴量データを特徴保管部28に格納して保管する。
また、通信制御部29を介して、ネットワーク網30から入力画像を取得したり、ネットワーク網30を介して処理結果の情報を他の装置に配信したりする。
図3は、図2に示す画像処理装置20の処理内容について説明するためのフローチャートである。
まず、ステップS5では、CPU21は、原稿から多値で構成されている画像データを取得する。例えば、スキャナ部22により原稿を走査して入力画像データとして取得する、またはデジタルカメラなどで撮影した画像データ、ネットワーク網30経由で通信制御部29が取得した画像データなど、様々な手段で取得した画像データの何れか1つを入力し、入力画像メモリ部24上に展開して記憶する。
次いで、ステップS10では、CPU21は、ステップS5で取得した入力画像メモリ部24上に記憶した帳票画像データを画像処理部27に設けられたメモリ部27aにあるワークエリア#1に転送する。
そして、画像処理部27では、ワークエリア#1に記憶された帳票画像データに対して、文字領域、図写真領域、表領域などの要素として、長方形状の開始点と終点を示す画素のアドレスを識別して領域データとして抽出してワークエリア#2に記憶するとともに、特徴保管部28に保管する。
まず、ステップS5では、CPU21は、原稿から多値で構成されている画像データを取得する。例えば、スキャナ部22により原稿を走査して入力画像データとして取得する、またはデジタルカメラなどで撮影した画像データ、ネットワーク網30経由で通信制御部29が取得した画像データなど、様々な手段で取得した画像データの何れか1つを入力し、入力画像メモリ部24上に展開して記憶する。
次いで、ステップS10では、CPU21は、ステップS5で取得した入力画像メモリ部24上に記憶した帳票画像データを画像処理部27に設けられたメモリ部27aにあるワークエリア#1に転送する。
そして、画像処理部27では、ワークエリア#1に記憶された帳票画像データに対して、文字領域、図写真領域、表領域などの要素として、長方形状の開始点と終点を示す画素のアドレスを識別して領域データとして抽出してワークエリア#2に記憶するとともに、特徴保管部28に保管する。
ここで、画像処理部27での周知の領域識別処理について説明する。
具体的には、画像処理部27は、文書画像を画像データとしてメモリ部27aのワークエリア#1上に展開して記憶した該文書画像の背景色を特定し、必要に応じて画像を縮小し、該背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、該文書画像の領域識別の結果となる長方形状の開始点と終点を示す画素のアドレスを含む領域データ(文字領域、図写真領域、表領域)をワークエリア#2に記憶させるとともに、特徴保管部28に保管する。
この結果、図4に示すように、画像処理部27による領域識別処理の結果として、タイトル領域41、文字領域42、写真領域(実際は写真である)43、表領域(罫線領域)44についての領域データを取得してワークエリア#2と特徴保管部28とに保管することができる。
なお、図4において紙面上方から下方に向かうy方向を主走査方向とし、紙面左から右に向かうx方向を副走査方向とし、図5、図7、図11、図12においても同様のこととする。
具体的には、画像処理部27は、文書画像を画像データとしてメモリ部27aのワークエリア#1上に展開して記憶した該文書画像の背景色を特定し、必要に応じて画像を縮小し、該背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、該文書画像の領域識別の結果となる長方形状の開始点と終点を示す画素のアドレスを含む領域データ(文字領域、図写真領域、表領域)をワークエリア#2に記憶させるとともに、特徴保管部28に保管する。
この結果、図4に示すように、画像処理部27による領域識別処理の結果として、タイトル領域41、文字領域42、写真領域(実際は写真である)43、表領域(罫線領域)44についての領域データを取得してワークエリア#2と特徴保管部28とに保管することができる。
なお、図4において紙面上方から下方に向かうy方向を主走査方向とし、紙面左から右に向かうx方向を副走査方向とし、図5、図7、図11、図12においても同様のこととする。
次いで、ステップS15では、CPU21は、画像処理部27に対して、ステップS10で抽出された各領域データのうち、ワークエリア#2に展開して記憶した表領域44に対して、罫線抽出処理を行わせ、その結果である罫線内のセルに関する座標データをワークエリア#3に記憶させる。なお。罫線抽出処理の詳細については後述して説明する。
ここで、画像処理部27による抽出結果の罫線を図5に示す。なお、説明の都合上、図5に示す領域は一部のみ表示しているが、実際は全て表示するものである。
図5に示すように、表領域44は、文字色、罫線色、罫線行51(図中枠線にて囲み表示)の行色、背景色から構成されている。なお、セル52(図中枠線にて囲み表示)については、後述することとする。
次いで、ステップS20では、CPU21は、画像処理部27に対して、ワークエリア#3に得られた結果データを表示部25の画面に出力し、またはファイルとして特徴保管部28に出力して保管し、処理を終了する。
図5に示すように、表領域44は、文字色、罫線色、罫線行51(図中枠線にて囲み表示)の行色、背景色から構成されている。なお、セル52(図中枠線にて囲み表示)については、後述することとする。
次いで、ステップS20では、CPU21は、画像処理部27に対して、ワークエリア#3に得られた結果データを表示部25の画面に出力し、またはファイルとして特徴保管部28に出力して保管し、処理を終了する。
次に、画像処理部27による交互配置表に対する罫線抽出処理について、図6に示すフローチャートを参照して説明する。なお、本実施形態では、帳票画像データ中にある表中の行が2色に規則通り交互配置され、各ラインのカラーマップ値が同一かつ連続しているので、画像処理部27による処理においては、罫線行の行色に着目することとする。
まず、ステップS30では、画像処理部27は、ワークエリア#2に展開して記憶されている表領域44の傾きが水平になるようにスキュー(傾き)補正を行う。
まず、ステップS30では、画像処理部27は、ワークエリア#2に展開して記憶されている表領域44の傾きが水平になるようにスキュー(傾き)補正を行う。
ここで、周知の形状補正であるスキュー補正について説明する。
ワークエリア#2に展開して記憶されている表領域44に対して、主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置を最小輝度の代表位置として決定しておく。
次に、画像を副走査方向に貫く中心線との交点を起点とし、画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を追跡し、その軌跡を画像の縁部とする。
さらに、求めた軌跡により示される直線と主走査方向のなす角度θをスキュー角度θとし、これを基にワークエリア#2に展開して記憶されている表領域44に対してスキュー補正処理を行い、スキュー補正処理後の表領域44の画像データをワークエリア#4に記憶する。
ワークエリア#2に展開して記憶されている表領域44に対して、主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置を最小輝度の代表位置として決定しておく。
次に、画像を副走査方向に貫く中心線との交点を起点とし、画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を追跡し、その軌跡を画像の縁部とする。
さらに、求めた軌跡により示される直線と主走査方向のなす角度θをスキュー角度θとし、これを基にワークエリア#2に展開して記憶されている表領域44に対してスキュー補正処理を行い、スキュー補正処理後の表領域44の画像データをワークエリア#4に記憶する。
次に、図6に戻り、ステップS35では、画像処理部27は、罫線行には行色だけでなく、文字色も含まれているため、行色を均一化するために、ワークエリア#4に展開して記憶されているスキュー補正処理後の表領域44内の同一ライン上の隣り合う画素に対して、両者の画素値(R,G,B)の成分毎の平均を求め、順次に副走査方向にシフトしてライン毎の平滑化処理を行う。なお、平滑処理後の画像データは、ワークエリア#5に記憶し、これとは別に特徴保管部28に保管して管理する。
次に、ステップS40では、罫線行の色が交互に配置している特徴を見つけるために、画像処理部27は、ワークエリア#5に展開して記憶されている平滑処理後の表領域44の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出する。
具体的には、画像処理部27は、カラーマップの平均値の場合、ワークエリア#5に展開されている平滑処理後の多値画像データに対して、主走査方向へスキャンして、表領域44内の副走査方向の画素値(R,G,B)の成分毎の全平均値を求めるようにして副走査方向のカラーマップの平均値を求めて、その値を特徴保管部28のカラーマップ表81に保管する。
また、画像処理部27は、カラーマップの平均値の場合、ワークエリア#5に展開されている多値画像データに対して、副走査方向へスキャンして、表領域44内の主走査方向の画素値(R,G,B)の成分毎の全平均値を求めるようにして主走査方向のカラーマップの平均値を求めて、その値を特徴保管部28のカラーマップ表81に保管する。
次に、ステップS40では、罫線行の色が交互に配置している特徴を見つけるために、画像処理部27は、ワークエリア#5に展開して記憶されている平滑処理後の表領域44の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出する。
具体的には、画像処理部27は、カラーマップの平均値の場合、ワークエリア#5に展開されている平滑処理後の多値画像データに対して、主走査方向へスキャンして、表領域44内の副走査方向の画素値(R,G,B)の成分毎の全平均値を求めるようにして副走査方向のカラーマップの平均値を求めて、その値を特徴保管部28のカラーマップ表81に保管する。
また、画像処理部27は、カラーマップの平均値の場合、ワークエリア#5に展開されている多値画像データに対して、副走査方向へスキャンして、表領域44内の主走査方向の画素値(R,G,B)の成分毎の全平均値を求めるようにして主走査方向のカラーマップの平均値を求めて、その値を特徴保管部28のカラーマップ表81に保管する。
ここで、図7は、行単位で交互に2色の異なる背景色が配置してある表領域44の例を示す図である。図7に示すように、表領域44の内部には行単位で交互に2色の異なる背景色が配置してあり、画像処理部27がワークエリア#5に展開されている平滑処理後の多値画像データに対して、主走査方向71へスキャンすることを示す。図中、ハッチングによって示されている部分が緑の背景色、その他の部分が白の背景色であるとする。
なお、カラーマップ値は、RGB値を(R,G,B)と表記するものである。図7の場合、緑であることを示すカラーマップ値は(0,255,0)、白であることを示すカラーマップ値は(255,255,255)である。
図7に示す表領域44の場合、カラーマップ、ラベル値は、図8に示すカラーマップ表81のようになる。
図8に示すカラーマップ表81に示すように、ラインL、カラーマップ(R,G,B)、ラベル値、備考の順に記載しており、図7に示す表領域44に対して、画像処理部27がワークエリア#5の主走査方向71へスキャンするのに応じて、図8に示すカラーマップ表81のラインLの値が大きくなるように構成されている。なお、図8に示すカラーマップ表81は、特徴保管部28に保管する。
なお、カラーマップ値は、RGB値を(R,G,B)と表記するものである。図7の場合、緑であることを示すカラーマップ値は(0,255,0)、白であることを示すカラーマップ値は(255,255,255)である。
図7に示す表領域44の場合、カラーマップ、ラベル値は、図8に示すカラーマップ表81のようになる。
図8に示すカラーマップ表81に示すように、ラインL、カラーマップ(R,G,B)、ラベル値、備考の順に記載しており、図7に示す表領域44に対して、画像処理部27がワークエリア#5の主走査方向71へスキャンするのに応じて、図8に示すカラーマップ表81のラインLの値が大きくなるように構成されている。なお、図8に示すカラーマップ表81は、特徴保管部28に保管する。
ステップS45では、画像処理部27は、これらのカラーマップ値の近似値AP(R,G,B)を定め、この近似値の範囲(R±r,G±g,B±b)内であれば同一のラベル値を特徴保管部28に保管されているカラーマップ表81に付与していく。
次いで、ステップS50では、画像処理部27は、罫線行抽出処理を行う。ここで、特徴保管部28に保管されているカラーマップ表において、同一のラベル値が連続しているものを一括りにして、罫線行として定義する。図8に示すカラーマップ表81の場合、ラベルが1で付与されたライン1〜16までが罫線行1、ライン17〜22までが罫線行2であり、以降はこの繰り返しとなる。
次いで、ステップS50では、画像処理部27は、罫線行抽出処理を行う。ここで、特徴保管部28に保管されているカラーマップ表において、同一のラベル値が連続しているものを一括りにして、罫線行として定義する。図8に示すカラーマップ表81の場合、ラベルが1で付与されたライン1〜16までが罫線行1、ライン17〜22までが罫線行2であり、以降はこの繰り返しとなる。
また、画像処理部27は、特徴保管部28に保管されているカラーマップ表81において、同一のラベル値が連続している範囲Hが一定値であれば、1つの表として見なす。範囲Hは、ラベル値が連続している値の平均値を用いる。図8に示すカラーマップ表81の場合、同一のラベル値が連続している範囲Hは16±αである(αはユーザが指定するものとする)。以上の処理により、罫線行を抽出することができる。
次いで、ステップS55では、画像処理部27は、ワークエリア#5に展開して記憶されている平滑処理後の表領域44の領域データに対して、セル抽出処理を行う。ここで、罫線行内の各セル(図5中、枠線にて囲み表示されたセル52に相当)については、抽出された罫線行に対して、文字抽出処理を行い、抽出されたセル内にある文字領域の間隔から判定して、1つのセルRn(Xs,Ys,Xe,Ye)として抽出する。
次いで、ステップS55では、画像処理部27は、ワークエリア#5に展開して記憶されている平滑処理後の表領域44の領域データに対して、セル抽出処理を行う。ここで、罫線行内の各セル(図5中、枠線にて囲み表示されたセル52に相当)については、抽出された罫線行に対して、文字抽出処理を行い、抽出されたセル内にある文字領域の間隔から判定して、1つのセルRn(Xs,Ys,Xe,Ye)として抽出する。
ここで、図9は、画像処理部27により抽出されたセルの例を示す図である。図9には、セル91、セル92、セル93が示されており、セル91の開始点座標(Xs,Ys)と終点座標(Xe,Ye)から、セル91の座標を例えばRn(Xs,Ys,Xe,Ye)で示す。
ここで、セル91の開始点座標(Xs,Ys)と終点座標(Xe,Ye)の位置関係から、同一のラベル値が連続している範囲では、開始点座標のy成分Ysと終点座標のy成分Yeとの差が16−α<Ys−Ye<16+αと表すことができる。
ここで、セル91の開始点座標(Xs,Ys)と終点座標(Xe,Ye)の位置関係から、同一のラベル値が連続している範囲では、開始点座標のy成分Ysと終点座標のy成分Yeとの差が16−α<Ys−Ye<16+αと表すことができる。
以上のようにして、図6に示すフローチャートに従った罫線抽出処理を終了すると、図3に示すステップS20に戻る。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
<変形例2>
図10を参照して、本発明の第2実施形態に係る画像処理装置の変形例2における、画像処理部27による交互配置表に対する罫線抽出処理について説明する。図10は、図6に示すフローチャートの変形例2を示すフローチャートである。
なお、図10に示すフローチャートと、図6に示すフローチャートとに付与された同じ符号を有する処理については上述した処理内容と同様であるので、その説明を省略する。
ステップS70では、画像処理部27は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出する。
すなわち、画像処理部27は、カラーマップの最頻値の場合、ワークエリア#5に展開されている多値画像データに対して、主走査方向へスキャンして、表領域44内の副走査方向の画素値(R,G,B)の成分毎の最頻値を求めるようにして副走査方向のカラーマップの最頻値を求めて、その値を特徴保管部28に保管する。
図10を参照して、本発明の第2実施形態に係る画像処理装置の変形例2における、画像処理部27による交互配置表に対する罫線抽出処理について説明する。図10は、図6に示すフローチャートの変形例2を示すフローチャートである。
なお、図10に示すフローチャートと、図6に示すフローチャートとに付与された同じ符号を有する処理については上述した処理内容と同様であるので、その説明を省略する。
ステップS70では、画像処理部27は、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出する。
すなわち、画像処理部27は、カラーマップの最頻値の場合、ワークエリア#5に展開されている多値画像データに対して、主走査方向へスキャンして、表領域44内の副走査方向の画素値(R,G,B)の成分毎の最頻値を求めるようにして副走査方向のカラーマップの最頻値を求めて、その値を特徴保管部28に保管する。
また、画像処理部27は、カラーマップの最頻値の場合、ワークエリア#5に展開されている多値画像データに対して、副走査方向へスキャンして、表領域44内の主走査方向の画素値(R,G,B)の成分毎の最頻値(最も頻繁に出現する値)を求めるようにして主走査方向のカラーマップの最頻値を求めて、その値を特徴保管部28に保管する。
なお、統計学における最頻値とは、データ群や確率分布で最も頻繁に出現する値である。平均や中央値と同様、最頻値は確率変数または何らかの単一の量についての母集団に関しての重要な情報を得る手段の1つである。最頻値は一般に平均や中央値とは異なり、特に歪度の大きい分布では大きく異なることがある。
最も頻繁に出現する値は1つとは限らないため、最頻値は一意に定まらないことがある。特に一様分布ではどの値も同じ確率で出現するため、最頻値が定まらない。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
以上説明した本発明に係る画像処理装置は、据え置き型コンピュータ、複写機、組み込み端末、電子計算機、画像データベースに搭載することが可能である。
なお、統計学における最頻値とは、データ群や確率分布で最も頻繁に出現する値である。平均や中央値と同様、最頻値は確率変数または何らかの単一の量についての母集団に関しての重要な情報を得る手段の1つである。最頻値は一般に平均や中央値とは異なり、特に歪度の大きい分布では大きく異なることがある。
最も頻繁に出現する値は1つとは限らないため、最頻値は一意に定まらないことがある。特に一様分布ではどの値も同じ確率で出現するため、最頻値が定まらない。
これにより、多値の画像データに対して、文字領域、図領域、写真領域、表領域を識別し、得られた領域データに対して罫線抽出処理を施し、得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の最頻値を算出し、得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出し、得られた罫線行から罫線行内の各セルデータを抽出し、得られた罫線抽出結果データを出力するので、行毎に2色で交互に塗りつぶして配置されている交互配置表に対して、表を抽出することができ、抽出結果の罫線・文字を認識処理して閲覧・再利用することが可能になる。
以上説明した本発明に係る画像処理装置は、据え置き型コンピュータ、複写機、組み込み端末、電子計算機、画像データベースに搭載することが可能である。
1 画像処理装置、11 画像入力部、12 データアクセス部、13 データ記憶部、14 領域識別処理部、15 罫線抽出処理部、16 結果出力部、17 処理制御部、20 画像処理装置、21 CPU、24 入力画像メモリ部、22 スキャナ部、23 外部記憶部、25 表示部、26 操作部、27 画像処理部、28 特徴保管部、29 通信制御部、30 ネットワーク網、31 CD/DVD、32 ハードディスク、
Claims (6)
- 原稿から多値で構成されている画像データを取得する画像入力処理手段と、
前記画像入力処理手段によって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する領域識別手段と、
前記領域識別手段によって得られた領域データに対して、罫線抽出処理をする罫線抽出処理手段と、
前記領域識別手段によって得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出するカラーマップ算出手段と、
前記カラーマップ算出手段によって得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する罫線行抽出処理手段と、
前記罫線行抽出処理手段によって得られた罫線行から、罫線行内の各セルを抽出するセル抽出処理手段と、
前記罫線抽出理手段によって得られた罫線抽出結果データを出力する結果出力手段と、
を有することを特徴とする画像処理装置。 - 原稿から多値で構成されている画像データを取得する画像入力処理手段と、
前記画像入力処理手段によって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する領域識別手段と、
前記領域識別手段によって得られた領域データに対して、罫線抽出処理をする罫線抽出処理手段と、
前記領域識別手段によって得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分のカラーマップの最頻値を算出するカラーマップ算出手段と、
前記カラーマップ算出手段によって得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する罫線行抽出処理手段と、
前記罫線行抽出処理手段によって得られた罫線行から、罫線行内の各セルを抽出するセル抽出処理手段と、
前記罫線抽出理手段によって得られた罫線抽出結果データを出力する結果出力手段と、
を有することを特徴とする画像処理装置。 - 前記領域識別手段には、文書画像を画像データとして入力し、該文書画像の背景色を特定し、必要に応じて画像を縮小し、該背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、該文書画像の領域識別の結果を得ることにより領域データを取得することを特徴とする請求項1または2に記載の画像処理装置。
- 原稿から多値で構成されている画像データを取得する画像入力処理ステップと、
前記画像入力処理ステップによって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する領域識別ステップと、
前記領域識別ステップによって得られた領域データに対して、罫線抽出処理をする罫線抽出処理ステップと、
前記領域識別ステップによって得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分の平均カラーマップを算出するカラーマップ算出ステップと、
前記カラーマップ算出ステップによって得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する罫線行抽出処理ステップと、
前記罫線行抽出処理ステップによって得られた罫線行から、罫線行内の各セルを抽出するセル抽出処理ステップと、
前記罫線抽出理ステップによって得られた罫線抽出結果データを出力する結果出力ステップと、
を行うことを特徴とする画像処理方法。 - 原稿から多値で構成されている画像データを取得する画像入力処理ステップと、
前記画像入力処理ステップによって取得された多値画像データに対して、文字領域、図領域、写真領域、表領域を識別する領域識別ステップと、
前記領域識別ステップによって得られた領域データに対して、罫線抽出処理をする罫線抽出処理ステップと、
前記領域識別ステップによって得られた表領域の領域データに対して、主走査方向または副走査方向の各ラインに与えられている色成分のカラーマップの最頻値を算出するカラーマップ算出ステップと、
前記カラーマップ算出ステップによって得られた各ラインのカラーマップ値が同一かつ連続している場合に、罫線行として抽出する罫線行抽出処理ステップと、
前記罫線行抽出処理ステップによって得られた罫線行から、罫線行内の各セルを抽出するセル抽出処理ステップと、
前記罫線抽出理ステップによって得られた罫線抽出結果データを出力する結果出力ステップと、
を行うことを特徴とする画像処理方法。 - 請求項4または5に記載の各ステップをプロセッサに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011202949A JP2013065164A (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011202949A JP2013065164A (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013065164A true JP2013065164A (ja) | 2013-04-11 |
Family
ID=48188604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011202949A Withdrawn JP2013065164A (ja) | 2011-09-16 | 2011-09-16 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013065164A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019008569A (ja) * | 2017-06-26 | 2019-01-17 | コニカミノルタ株式会社 | 印刷制御装置、印刷制御プログラム及び印刷制御方法 |
CN112733621A (zh) * | 2020-12-25 | 2021-04-30 | 江西裕丰智能农业科技有限公司 | 一种地图高精度信息识别方法 |
-
2011
- 2011-09-16 JP JP2011202949A patent/JP2013065164A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019008569A (ja) * | 2017-06-26 | 2019-01-17 | コニカミノルタ株式会社 | 印刷制御装置、印刷制御プログラム及び印刷制御方法 |
JP7009793B2 (ja) | 2017-06-26 | 2022-01-26 | コニカミノルタ株式会社 | 印刷制御装置、印刷制御プログラム及び印刷制御方法 |
CN112733621A (zh) * | 2020-12-25 | 2021-04-30 | 江西裕丰智能农业科技有限公司 | 一种地图高精度信息识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768052B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
US8805077B2 (en) | Subject region detecting apparatus | |
JP6383753B2 (ja) | 高容量の2dカラーバーコード設計、およびカメラベースのアプリケーションの処理方法 | |
US8923610B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
CN101958989A (zh) | 图像处理装置、图像处理系统及图像处理方法 | |
KR20080006112A (ko) | 경계 영역의 선명도를 개선하는 하프토닝 방법 및 장치 | |
WO2022213784A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP5319637B2 (ja) | 二次元コード、エンコード装置、エンコードプログラムおよび二次元コードリーダ | |
JP2013065164A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2013029982A (ja) | 画像処理システム、画像処理プログラム | |
JP4208520B2 (ja) | 画像処理装置および画像処理方法、プログラムおよび記憶媒体 | |
CN110543798A (zh) | 二维码的识别方法及装置 | |
JP4825888B2 (ja) | 文書画像処理装置および文書画像処理方法 | |
JP4967045B2 (ja) | 背景判別装置、方法及びプログラム | |
JP2019012424A (ja) | 画像処理装置、および、コンピュータプログラム | |
JP6974791B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
CN107767428B (zh) | 通信系统dicom图像的绘制方法及装置 | |
JP6055952B1 (ja) | 画像検査装置、画像検査方法、およびプログラム | |
JP7043667B1 (ja) | 情報処理装置、プログラム、及び情報処理方法 | |
JP7298227B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
JP2014120832A (ja) | 画像処理装置及び画像処理プログラム | |
JP2011124955A (ja) | 画像処理方法及び画像処理装置 | |
CN110674863B (zh) | 汉明码识别方法、装置及电子设备 | |
JP6905210B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
CN112233134A (zh) | 控件的分割方法及装置、存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |