JP2017117111A - 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 - Google Patents
変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2017117111A JP2017117111A JP2015250343A JP2015250343A JP2017117111A JP 2017117111 A JP2017117111 A JP 2017117111A JP 2015250343 A JP2015250343 A JP 2015250343A JP 2015250343 A JP2015250343 A JP 2015250343A JP 2017117111 A JP2017117111 A JP 2017117111A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- temporary
- line
- processing unit
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Character Input (AREA)
Abstract
Description
以下の説明では、本発明に係る変換処理装置が変換処理部30として画像処理装置1の一部を成し、また、その画像処理装置1が画像形成装置100の一部を成す形態を例示する。図1は、実施の形態1に係る画像形成装置100(情報処理装置)の機能的構成を示すブロック図である。画像形成装置100は、たとえば、コピー機能及びスキャナ機能等を有するデジタル複合機である。画像形成装置100は、画像処理装置1、画像入力装置2、画像出力装置3、送信装置4、操作パネル5、及び記憶部6を備えている。
また、ファクシミリを受信する場合、画像形成装置100の制御部は、送信装置4により、通信手続きを行いながら、相手先から送信されてくる圧縮ファイルを受信して、画像処理装置1に入力する。
変換処理部30は、入力された文書画像の情報(以下、入力画像の情報ともいう)に対してフォーマット変換処理を実行する。変換処理部30の詳細について、以下で説明する。図2は、変換処理部30の構成を示すブロック図である。変換処理部30は、文書構成要素検出部31と、表領域抽出処理部32、表構造化処理部33及びファイル記述部34を備える。また、文書構成要素検出部31は、文字抽出処理部311、図領域抽出処理部312、ライン抽出処理部313を備え、入力画像から、表と、表に重畳される文書構成要素、たとえば、文字、文字列、図、写真などを検出する。
図3は、表構造化処理部33(表構造化処理装置)の構成を示すブロック図である。表構造化処理部33は、分割処理部331と、第1分類処理部332と、第2分類処理部333と、及び表構造記述部334とを備える。また、以下においても、上記と同様、文書を構成する個々の文字、図、写真等を文書構成要素という。
分割処理部331は、ライン抽出処理部313によって入力画像から検出された水平方向のライン及び垂直方向のラインから、各方向の基準線を選択する基準線選択処理と、2つの方向の基準線で囲まれる四角形を仮セルとして定義する仮セル定義処理とを行う。なお、以下では、図4に示すような表画像400から、水平方向のライン及び垂直方向のラインが検出されている場合を例に挙げて説明する。
分割処理部331による基準線選択処理は、水平方向のラインから水平方向の基準線を選択し、垂直方向のラインから垂直方向の基準線を選択する。具体的には、各方向のラインの延長線を基準線とし、一部または全部重複する基準線同士、もしくは所定距離以内に集合する基準線同士を1本の基準線として統合する。前記所定距離は特に指定は無いが、たとえば、2本の基準線間の距離が10画素以内にあるとき、2本の基準線は所定距離以内に集合するものとみなすようにしてもよい。
図5は、4本の検出された水平方向のラインがある場合における基準線の定義の例である。図5(a)のように水平ライン601〜604が抽出されている場合、図5(b)のように各水平ラインの基準線611〜614が延長線として与えられる。図5(b)において、水平ライン601の延長線(基準線611)は右上りの斜め縞模様の範囲として与えられ、水平ライン602の延長線(基準線612)は左上りの斜め縞模様の範囲として与えられ、水平ライン603及び水平ライン604の延長線(基準線613及び基準線614)はドット模様の範囲として与えられる。なお、基準線611の右上りの斜め縞模様と基準線612の左上りの斜め縞模様の重複する格子模様の範囲は、水平ライン601の延長線の範囲であり、かつ水平ライン602の延長線の範囲でもあることを意味する。また、水平ライン603と水平ライン604は、延長線が全部重複している。図5の例の場合、まず、基準線611と基準線612は一部重複しているため、同一の基準線として統合する(以下、当該基準線を基準線611’という)。また、基準線613と基準線614は全部重複しているため、同一の基準線として統合する(以下、当該基準線を基準線613’という)。基準線611’と基準線613’の距離を、基準線611’の下端から基準線613’の上端までの距離(画素数)とすると、前記距離が所定距離以上である場合、基準線611’と基準線613’は独立した基準線とし、前記距離が所定距離以内である場合、基準線611’と基準線613’を同一の基準線として統合する。
図6は、分割処理部331による仮セル定義処理における処理の概要を示す図である。図6に示す破線は、図4の表画像400から検出されている水平方向のライン及び垂直方向のラインをそれぞれ延長して得られた基準線である。仮セル定義処理は、隣り合う2本の水平方向の基準線及び隣り合う2本の垂直方向の基準線により構成されるそれぞれの四角形を仮セルとして定義する。仮セルにはそれぞれ異なるセルID(Identification)が割り当てられ、各セルの属性情報などを格納したセル情報リストと関連付けられる。セルIDは、たとえば、図6に示すように、表の左上の仮セルを1として左から右へ、また上から下へ大きくなるように割り当てる。
また、仮セル定義処理では、各仮セルにおいて、四辺の罫線を定義する。ライン抽出処理部313によって検出されたラインが、2つの隣り合う仮セル間の境界と一部もしくは全部重複する場合、その境界における罫線の有無を判定する。仮セル間の境界における罫線の有無の判定方法として、たとえば、境界の辺の長さに対して、その境界と重複するラインの長さとの比率が所定値(たとえば、0.5程度の値)以上である場合、その境界の辺には、そのラインに応じた情報を持つ罫線を持つとして定義する。ラインに応じた情報として、たとえば、ラインの太さが挙げられる。ラインの太さは、検出されたラインの長さ方向と直交する方向の幅から算出することができる。また、ラインを構成する画素の色(画素値)から、罫線の色を定義してもよいし、ライン抽出処理部313において、ラインの線種を予め判定している場合、その線種の情報を罫線の情報として関連付けて記憶させてもよい。この仮セル定義処理により、ラインが一部または全部が辺と重複している場合に、罫線とみなすことで、複雑な形状のセルにおける罫線情報の設定を容易に行うことができる。
分割処理部331の処理として、各仮セルの属性を示す情報を取得する処理を追加してもよい。たとえば、仮セルの範囲に含まれる画素であって、検出されたライン及び検出された文字列や図を囲む範囲を除いた画素である背景画素における画素値の平均値を仮セルの背景色を示す値として算出してもよい。文書構成要素(文字列や図)を囲む範囲は、各文書構成要素を囲む最小矩形の内側としてもよいし、その最小矩形に若干のマージンを持たせた範囲としてもよい。また、ラインの有無に拘わらず、境界から所定画素(たとえば、2画素程度)を背景画素から除くようにしてもよい。なお、背景色を示す値は後段で定義されるセルブロック単位で保持するため、必ずしも分割処理部331で算出する必要は無いが、予め仮セル単位で算出し、後段の第2分類処理部333におけるセルブロック単位での算出の際に利用してもよい。また、第2分類処理部333において、仮セル単位の背景色を示す値を使用して仮セル間の結合の判定を行うようにすることも可能である。
第1分類処理部332は、分割処理部331で定義された仮セル上に、入力画像から検出された文書構成要素を、検出時の情報(大きさ、位置)に従って重ね合わせる文書構成要素重畳処理と、重ね合わせられた文書構成要素を含む最小の四角形を構成する仮セルの集合である結合セル候補を抽出する結合セル候補抽出処理と、抽出された結合セル候補のうち、互いに一部または全部が重複する結合セル候補の組が存在する場合に、それらの結合セル候補を1つに結合する結合セル候補更新処理とを行う。
図7は、文書構成要素重畳処理の例を示す図である。文書構成要素重畳処理は、検出された文書構成要素401〜409を、その大きさや位置に従って仮セル上に重ね合わせる(図7における文書構成要素401〜409の例は、全て文字列であり、以下、文字列401〜409ともいう)。文書構成要素401〜409が複数の文字を並べた文字列である場合、個々の文字を個別に重ね合わせるのでなく、文字列を1つの単位として重ね合わせる。
図8は、結合セル候補抽出処理の例を示す図である。結合セル候補抽出処理は、各文書構成要素401〜409を囲む最小の四角形を構成する仮セルの集合を探し、この集合を結合セル候補411〜419とする。全ての文書構成要素401〜409を重ね合わせた段階で、いずれの結合セル候補にも含まれない仮セルが存在する場合、図10に示すように、その仮セルを単独で結合セル候補431〜450として定義する。
図8に示すように、文書構成要素401〜409毎に結合セル候補を設定すると、たとえば、文書構成要素404,405に対応する結合セル候補414,415、または、文書構成要素407,408,409に対応する結合セル候補417,418,419のように、互いに一部または全部が重複する場合も起こり得る。結合セル候補更新処理では、互いに重複する結合セル候補の組、たとえば、結合セル候補414,415の組や、結合セル候補417,418,419の組を抽出し、各々の結合セル候補の組において、組ごとの結合セル候補を全て含む最小の四角形を構成する仮セルの集合を探し、この集合を新たに結合セル候補として更新する。更新する際に、結合セル候補更新処理において、更新される前の個々の結合セル候補は破棄される。なお、結合セル候補が、ほかの異なる結合セル候補と重複しない場合、その結合セル候補はそのまま維持される。
第2分類処理部333は、第1分類処理部332で設定された結合セル候補、たとえば、結合セル候補411〜413,416,420,421,431〜450(以下、任意の一つまたは複数の結合セル候補を示す場合、または、いずれか1つの代表する結合セル候補を示す場合、結合セル候補410という)から、予め定められる所定の判定基準に従って仮セル間の結合の妥当性を評価する。そして、第2分類処理部333は、評価結果に基づいて、結合セル候補410の各々を1つ以上のセルブロックとして再分類する。以下では、第2分類処理部333が実行する処理内容について詳述する。
(禁止パターン1)隣り合う2つの仮セル間の境界を示す辺において罫線が指定されている(すなわち罫線で隔てられている)場合、この2つのセル間を結合してはいけない。
(禁止パターン2)結合セル候補に含まれる仮セルにおいて、結合関係にある仮セル同士の集合が四角形以外の形状となってはいけない。
たとえば、文字列や図などの文字構成要素が境界上にまたがって配置される場合、これらの境界を分離すると、文字構成要素が複数のセルブロックに分かれてしまい、不自然になりがちである。そこで、たとえば文字列の場合、境界によって切り離される文字の数に応じた分離ペナルティを設定することで、不自然さを数値化することができる。前記のような分離ペナルティの算出方法の例として、その境界により切り離される文字数に係数(たとえば、10程度の値)を乗じた値を与える方法が挙げられる。なお、前記切り離される文字数は、分離によって分かれた前方の文字列の文字数もしくは後方の文字列の文字数のうち小さい方とする。また、文字列の場合、境界上にまたがっている文字数を基準として分離ペナルティを与えてもよい。たとえば、境界にまたがっている文字数に係数(たとえば、5程度の値)を乗じた値を与える方法が挙げられる。
図13は、3列×3段の仮セルからなる結合セル候補410b上に文字列を配置した場合の例を示す図である。なお、左から順にA列、B列、C列と呼び、また上から順に1段、2段、3段と呼ぶ。またx列、y段の仮セルを仮セルxyと呼び、仮セルxyと仮セルxy’との間の境界を境界xy−xy’、仮セルxyと仮セルx’yとの間の境界を境界xy−x’yと呼ぶ。図13の例の場合、境界C1−C2,C2−C3,B2−C2及びB3−C3は罫線で隔てられているおり、禁止パターン1に従って結合不可能となるため、結合または分離の選択は、境界A1−A2,B1−B2,A2−A3,B2−B3,A1−B1,B1−C1,A2−B2及びA3−B3の8カ所について考えることとなる。
前記では、各境界について分離を選択した場合の不自然さを数値化した分離ペナルティについて説明した。これに対して、境界を結合することで不自然さが発生する場合もある。図16は、境界を結合することにより不自然さが発生する場合の例を示す図である。図16に示される結合セル候補410cでは、横書きの文字列901,902,903が水平方向に並んで配置されており、境界910X及び境界910Yにおいて分離を選択しても文字列901,902,903において不自然さが発生することはない。これに対して、境界910X及び境界910Yの一方または双方において結合を選択した場合、内容が連続しない文字列、たとえば、境界910Xを結合した場合、文字列901と文字列902が1つのセルブロックに含まれることになり、文書画像が示すレイアウトの通りに文字列を配置することが難しくなる。そのため、境界910X及び境界910Yは結合しない方が望ましい場合もある。
たとえば、上述した図16のように、複数の文字列901,902,903が、文字列方向に仮セルの境界を挟んで(つまり境界をまたがずに)並んで配置されている場合、その境界で結合を選択するとレイアウトとして不自然となり易い。そこで、結合により生成されるセルブロックの内部において、含まれる文字列同士の位置の関係から、不自然さを数値化する方法が挙げられる。具体的には、図17に示すように、2つの文字列905、906が存在する場合、文字列905を囲む最小矩形の範囲を左上(P1,Q1),右下(P2,Q2)とする。このとき、セルブロック間において文字列905の方向成分の範囲(横書きならX成分がP1からP2の範囲、縦書きならY成分がQ1からQ2の範囲)が重複せず、文字列905の方向と直交する方向(行方向)の成分の範囲(横書きならY成分がQ1からQ2の範囲、縦書きならX成分がP1からP2の範囲)が一部または全部重複する他の文字列(図17の例では、文字列906)を抽出し、その2つの文字列の間に含まれる境界の数をカウントする。前記の文字列の組について全てカウントし、その総和に所定係数(たとえば、2程度の値)を乗じた値を与える方法が挙げられる。
また、分割処理部331において仮セル単位で背景色を示す値を算出している場合、隣り合う2つの仮セルの間で、背景色を示す値の差が所定条件を満たす場合、セル背景色の異なる仮セル同士である可能性が高いとして、結合ペナルティを大きく設定するようにすることができる。そうすることで、背景色の大きく異なるセル同士を結合することを防ぐことが可能となる。前記所定条件はどのような条件でもよい。たとえば、背景色を示す値がR,G,Bがそれぞれ0から255までの整数で表現される場合、一方の仮セルにおけるR成分、G成分及びB成分をそれぞれR1,G1,B1、もう一方の仮セルにおけるR成分、G成分及びB成分をそれぞれR2,G2,B2とする。このとき、前記所定条件として次式(6)を満たすかどうかを判定する方法が挙げられる。
表構造記述部334は、第2分類処理部333までに得られた表構造の情報や、表を構成する各セルブロックの情報、及び各セルブロックに含まれる文書構成要素の情報を収集または取得して集積された各種情報を用いて、後段の変換処理において所望のファイル形式に合わせて表を再構成するために参照すべき情報として記述する。以下では表構造記述部334が実行する処理内容について詳述する。
(2)表全体の幅及び高さ,
(3)表の列数及び行数、また各列の幅及び各行の高さ,
(4)各セルブロックの結合情報,
(5)各セルブロックに格納される文書構成要素の情報.
各セルブロックの結合情報は、セルブロックの親となる仮セル(親セル)のID(親ID)と、親セルの位置と、セルブロックを構成する仮セルの結合数から成る。親セルは、セルブロックに含まれる仮セルのセルIDのうち最小のもの(すなわち、左上の仮セルのセルID)を選択する。また、親セルの位置は、親セルとなる仮セルが、属している表のうち何列目、また何行目に位置するかを取得する。またセルブロックを構成する仮セルの結合数は、セルブロック内の水平方向に並ぶ仮セルの数(水平結合数)と、垂直方向に並ぶ仮セルの数(垂直結合数)を取得する。
各セルブロック810に格納される文書構成要素の情報として、各のセルブロック810に含まれる文書構成要素を順に並べて格納する。たとえば、横書きの文字列において、複数の文書構成要素が水平方向に並ぶ場合にその文書構成要素同士を1行とみなし、先頭の行から行の文書構成要素を順に格納し、行の末尾の文書構成要素の格納が終わると次の行に移り、セルブロック810に含まれる全ての行について格納が終了するまで繰り返す。たとえば、図20において、セルブロック801では、文字列401、グラフィック1000、文字列402を1つの行とみなし、続いて、文字列403を1つの行として、その順番に格納する。なお、図20のセルブロック802のように、文字列405と文字列405の間が空いている場合、その間の長さの大きさに応じて、空白文字(スペース)を文字列404の後に追加し、その後に文字列405を格納するようにしてもよい。たとえば、文字列404と文字列405の間がS画素空いており、文字列404の行の高さ(文字の高さ)がH画素である場合、floor(S÷H)文字分の空白文字を追加してもよい。ここで、floor(x)は、xを超えない最大の整数である。なお、各セルブロック810の文書構成要素の方向は、文字列を含む場合はその文字列の方向に従い、文字列を含まない場合は予め指定された初期値として横書きであるとする。
分離された境界上に位置する文書構成要素、すなわち複数のセルブロック810にまたがって位置する文書構成要素がどのセルブロック810に格納されるかの判定方法は特に決まりは無く、自由に設定することができる。たとえば、分離が選択された境界上に文字列がまたがっている場合、その境界線の方向と文字列の方向が同じであれば、その文字列を囲む最小矩形と、各セルブロック810との重複する面積を算出し、算出した面積が最も大きなセルブロック810を文字列が格納されるセルブロック810として選択するようにしてもよい。たとえば、図13のような表構造において図14のように分離を行うと、図13の文字列のうち上から3行目の文字列508は、{A1,B1,C1}で構成されるセルブロック(セルブロックA1:C1)と、{A2,B2,A3,B3}で構成されるセルブロックの2つのセルブロック(セルブロックA2:B3)にまたがるようになるが、前記文字列508は、セルブロックA1:C1で構成されるセルブロックと重複する面積の方が、セルブロックA2:B3よりも大きくなるため、セルブロックA1:C1を格納先として設定することになる。
また、前記文字列を、構成する文字単位に分割してその文字を囲む最小矩形(最小文字矩形)を与え、セルブロック810毎に、一部または全部重複する最小文字矩形の数をカウントし、その数が最も多いセルブロック810を、前記文字列の格納先として判定してもよい(ルールA−2)。
各セルブロック801,804,806,809の属性は、少なくとも各セルブロック801,804,806,809を構成する四辺の罫線の情報を含む。前記罫線の情報は、各セルブロック801,804,806,809を構成する仮セルの四辺の罫線の情報から取得することができる。たとえば、セルブロック804の上辺の罫線は、セルブロック804を構成する仮セル(セルID4,5,7,8)のうち、上端に位置する仮セル(セルID4,5)の上辺の罫線の情報が全て同じ場合にその情報をセルブロック(セルID4,5)の上辺の罫線の情報として与え、1つでも異なる情報が含まれる場合はセルブロック804の上辺の罫線の情報を「不定」として与える。たとえば、セルブロック806,809のように、上端に位置する仮セルが1個の場合は、その仮セルの上辺の情報をそのままセルブロック806,809の上辺の情報として与える。前記の方法を、左辺、右辺、下辺についても同様に行う。
ファイル記述部34は、前段までに抽出された文字や図などの文書構成要素の情報、ラインの情報及び表構造情報を用いて、指定されたファイル形式への変換を行う。上述の通り、ファイル形式によって記述方法が異なり、各ファイル形式が準拠する規格の仕様書等に従って記述される。たとえば、Microsoft(登録商標)社が提供する文書作成ソフトウェアである「Microsoft Word 2010」(左記において、Microsoftは登録商標)、またはその後継バージョン(以降、単純にWordと表記する)のファイル形式(docx)が採用するファイルフォーマットであるOOXMLは、ECMA−376、及びISO/IEC 29500として標準化されており、それらの仕様書に記載されたフォーマットに従って記述することでWordのファイルとして構造化することができる。ECMA−376として標準化されたフォーマットは、下記の参考文献5として公開されており、参考文献5に記載のフォーマットに従って記述する。以下では、文書画像中の特に表の構造化に係る部分の処理例を挙げ、詳細の記述方法については省略する。
「参考文献5:ECMA-376, 4th Edition Office Open XML File Formats、[平成27年9月21日検索]、インターネット(URL http://www.ecma-international.org/publications/standards/Ecma-376.htm)」
また、上記の実施の形態1において、横書きの文字列を対象として構成及び処理の説明を行ったが、本発明の構成は、当該実施の形態に限られず、縦書きの文字列にも適用することが可能である。
上記の実施の形態1では、文書構成要素として、文字や、文字を複数並べて成る文字列、図、及び写真を含む場合について説明したが、図や写真については、表の各セルに格納されるのではなく、表オブジェクトの上に、グラフィックオブジェクトとして重ねて貼り付けられることも多い。したがって、上記の実施形態において、文書構成要素を文字と、文字を複数並べて成る文字列に限定して表構造情報を生成し、ファイル記述部では、表構造を記述して得られる表オブジェクトの上から重ね合わせる形で、予め検出されたグラフィックを貼りつけるようにしてもよい。
また、上記の実施の形態1では、第1分類処理部332で得られた全ての結合セル候補410に対して、第2分類処理部333ではペナルティを算出してセルブロック810を選択する方法を説明した。当該方法において、結合セル候補410に含まれる仮セル同士の間の境界全てについて、結合もしくは分離の選択の組合せのうち禁止パターンを除いた組合せ全てを考慮すると、場合によっては処理に膨大な時間がかかることもある。そこで、上記の実施形態において、事前に結合セル候補410を構成する仮セル全てを単一のセルブロック810として結合してもよいかどうかの判定処理を追加し、前記判定を満たす場合、以降のペナルティ算出を省略して、結合セル候補410に含まれる全ての仮セルをそのまま単一のセルブロックに分類するようにしてもよい。
上記の実施の形態1では、たとえば、図13に示すような結合セル候補410bが存在した場合、第2分類処理部333は、分離ペナルティを用いて、仮セルの境界上に重畳している文字列(たとえば、文字列506、または文字列508)を分割して、結合セル候補410bの内部が矩形によって分けられるようにする。図13の例では、文字列506は、1つの文章を構成する文字列であり、文章の内容に沿った正しい文字列の抽出が行われている。これに対して、たとえば、図7の例において、文字列401(文字列その1)と文字列402(文字列その2)が、1つの文字列として抽出されているような場合、抽出した文字列が表の罫線によって分断されているため、本来、当該文字列は、2つの文字列401と文字列402として抽出されるべきであり、そうしておくことで、第2分類処理部333における分離ペナルティの処理数を削減することができる。
たとえば、文字列202に含まれる各文字において、図27に示すように、文字221,222,225のように各文字を含む最小矩形が境界261と交差しない場合、文字列202を2つの文字列に分離する。また、たとえば、文字223のように、文字を含む最小矩形が、境界261と交差するが、垂直方向の境界261の場合、左端、または右端から所定範囲(たとえば、各文字の最小矩形の横幅の5%程度の範囲)以内で交差する場合、2つの文字列を構成すると判定して、文字列202を2つの文字列に分離する。なお、この例では、文字224については、境界261と所定範囲を超えて交差するため、文字列202が、文字224を含むようなとき、第1分類処理部332は、文字列202を分離しない。
たとえば、第1分類処理部332は、文字列202に含まれる全ての隣り合う2つの文字の組について、その文字間の距離をそれぞれ算出する。文字間の距離は、たとえば、文字を含む最小矩形同士の距離として算出する。算出した文字の組のうち境界261を挟む文字、すなわち「に」と「ま」の文字の間隔である文字間距離L1を図28に示すように選択する。また、第1分類処理部332は、その他の組の距離の平均値か、または、その他の組の距離の最大値を文字間距離L2として選択する。そして、第1分類処理部332は、文字間距離L1が、文字間距離L2に比べて所定倍率以上大きい場合、境界261を挟んで文字列202を2つに分離する。なお、所定倍率としては、その他の組の距離の平均値をL2とする場合、たとえば、1.5倍程度の値、その他の組の距離の最大値をL2とする場合、たとえば、1.2倍程度の値を適用することができる。
なお、所定基準値としては、たとえば、距離の算出元の2つの部分文字列の最小矩形の高さの小さい方を所定倍(たとえば、0.25程度の値)の値としてもよい。また、部分文字列の間の距離を算出する際に、上辺と下辺の中心線ではなく、たとえば、英語等の場合、下辺を用いてもよい。
なお、変形例1,2,3を含む実施の形態1、及び以下に記載する実施の形態2,3,4において、予め定める数値以上か否かの判定は、一例であり、予め定める数値の大きさによっては、予め定める数値を超えるか否かの判定であってもよく、また、予め定める数値以下か否かの判定についても、予め定める数値の大きさによっては、予め定める数値未満か否かの判定であってもよい。
上記の実施の形態1では、本発明に係る変換処理装置を変換処理部30として画像形成装置100が有する画像処理装置1に適用した構成について説明したが、本発明の構成は、これに限るものではない。実施の形態2では、本発明に係る変換処理装置を変換処理部30として、フラットベッドスキャナ等の画像読取装置100aが有する画像処理装置1aに適用した例について説明する。なお、実施の形態1の説明に用いた図面に記載されている部材と同じ機能を有する部材については、以下の説明においても同じ符号を付記する。また、それらの各部材の詳細な説明はここでは繰り返さない。
実施の形態1及び2において、本発明に係る変換処理装置を変換処理部30として、画像形成装置100、または画像読取装置100aが有する画像処理装置1、1aに適用する例を示したが、本発明の構成は、これに限るものではない。本発明に係る変換処理装置を、たとえばサーバ装置に適用してもよい。この場合のサーバ装置の構成の一例は、画像形成装置100、または画像読取装置100aにより画像読取及び各種画像処理が施された文書画像をネットワークを介して受信する受信装置と、実施の形態1において説明した変換処理部30での処理を実行する変換処理装置と、当該変換処理装置が備えるファイル記述部34から出力された文書ファイルを、ネットワークを介して送信する送信装置と、を備えたサーバ装置(情報処理装置)である。このようにサーバ装置を構成することにより、画像形成装置100、または画像読取装置100aにより画像読取及び各種画像処理が施された文書画像を、ネットワークを経由して受信して、前記の変換処理部30での処理を実行する変換処理装置により文書ファイルを作成し、出力されたファイルをユーザの端末装置(たとえば、パーソナルコンピュータやタブレット端末等)に送信する、という使い方が可能となる。また、このサーバ装置により、既に設置された画像形成装置100、または画像読取装置100aを交換することなく、フォーマット変換機能を利用することが可能となる。
実施の形態1、2、3における画像処理装置1、1a(特に、変換処理部30)やサーバ装置(特に、変換処理装置)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、画像処理装置1、1aやサーバ装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、前記プログラム及び各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)又は記憶装置(これらを「記録媒体」と称する)、前記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(又はCPU)が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、前記した画像処理装置1、1a及び画像処理方法は、カラーの画像データを扱う構成としたが、これに限るものではなく、白黒の画像データを扱う構成であってもよい。
31 文書構成要素検出部
32 表領域抽出処理部
33 表構造化処理部
34 ファイル記述部
311 文字抽出処理部
312 図領域抽出処理部
313 ライン抽出処理部
331 分割処理部
332 第1分類処理部
333 第2分類処理部
334 表構造記述部
Claims (15)
- 文書画像情報より、表と、前記表に重畳された文書構成要素との検出を行う文書構成要素検出部と、
前記文書構成要素検出部が検出する水平方向のライン及び前記水平方向のラインの延長線から水平方向の基準線を設定し、前記文書構成要素検出部が検出する垂直方向のライン及び前記垂直方向のラインの延長線から垂直方向の基準線を設定し、2本の隣り合う前記水平方向の基準線及び2本の隣り合う前記垂直方向の基準線により構成される矩形を仮セルとして定義する分割処理部と、
前記仮セル上に前記文書構成要素を重畳して配置し、前記文書構成要素の各々が、少なくとも1つの仮セルからなる集合であり互いに重複しない矩形の結合セル候補のいずれか1つに含まれるように、全ての前記仮セルを前記結合セル候補に分類する第1分類処理部と、
前記仮セルの分類結果と、前記文書構成要素とを用いて、前記表を再構成する表構造情報を記述する表構造記述部と、
を備えることを特徴とする変換処理装置。 - 前記結合セル候補が複数の前記仮セルを含む場合、当該複数の仮セルのうち、隣り合う2つの前記仮セル間の境界を、所定の判定基準により、分離または結合して、前記結合セル候補を、矩形で構成される仮セルの集合である少なくとも1つのセルブロックに分類する第2分類処理部
を備えることを特徴とする請求項1に記載の変換処理装置。 - 前記分割処理部は更に、前記仮セルの各々について、前記水平方向のラインおよび前記垂直方向のラインから四辺の罫線の情報を取得し、
前記所定の判定基準は、前記第2分類処理部が、2つの隣接する前記仮セルの間に罫線が存在する場合、前記2つの隣接する仮セルを同一のセルブロックに含まないと判定する判定基準である
ことを特徴とする請求項2に記載の変換処理装置。 - 前記表構造記述部は、前記仮セルの四辺の罫線の情報を用いて、前記表構造情報を記述する
ことを特徴とする請求項3に記載の変換処理装置。 - 前記第2分類処理部は、
前記結合セル候補に含まれる前記仮セルのうち、隣り合う2つの前記仮セルの組について、前記仮セルの組の間に罫線が存在する前記仮セルの組を除いた上で、組となる2つの仮セル間を結合して同一の前記セルブロックに属するようにするか、結合せずにそれぞれ異なる前記セルブロックに属するように分離するかを選択し、結合しないことを選択した際に発生する不自然さを数値化した分離評価値を算出し、分離評価値の総和が最も小さくなり、かつ、前記仮セルの組を分離して得られる前記セルブロックの形状が矩形となる組合せに従って、前記結合セル候補を少なくとも1つの前記セルブロックに分類することを前記所定の判定基準とし、
前記分離評価値は、前記仮セルの組の境界をまたいで前記文書構成要素が検出されている場合、前記仮セルの組を分離した際に大きな値として算出されるように定められている
ことを特徴とする請求項2から4のいずれかに記載の変換処理装置。 - 前記第2分類処理部は、
更に、前記仮セルの組を結合することを選択した際に発生する不自然さを数値化した結合評価値を算出し、前記分離評価値及び前記結合評価値の総和が最も小さくなり、かつ、前記仮セルの組を分離、あるいは、結合して得られる前記セルブロックの形状が矩形となる組合せに従って、前記結合セル候補を少なくとも1つの前記セルブロックに分類する
ことを特徴とする請求項5に記載の変換処理装置。 - 前記分割処理部は、
前記仮セルの各々に含まれる画素のうち、前記基準線と前記文書構成要素を除いた画素の画素値の平均を算出して前記仮セルの背景色を示す値とし、
前記結合評価値は、
前記仮セルの組において、前記背景色を示す値の差が、前記背景色の異なる前記仮セル同士である可能性が高いことを示す所定条件を満たす場合に、前記仮セルの組における結合評価値が大きな値として算出されるように定められている
ことを特徴とする請求項6に記載の変換処理装置。 - 前記第2分類処理部は、
前記結合セル候補に含まれるいずれの前記仮セルの組の間においても罫線が存在しない場合、当該結合セル候補についての前記分離評価値、または、前記結合評価値の算出を省略する
ことを特徴とする請求項6または7に記載の変換処理装置。 - 前記分割処理部は、所定距離以下にある同一方向の基準線同士を1本の基準線として統合する
ことを特徴とする請求項1から8のいずれか一項に記載の変換処理装置。 - 前記分割処理部は、
前記仮セルにおいて、前記ラインのうち前記仮セルの辺と重複する範囲の長さの合計と、前記仮セルの辺の長さと、に基づいて、前記仮セルの辺に罫線が存在か否かを判定する
ことを特徴とする請求項1から9のいずれか1項に記載の変換処理装置。 - 前記第1分類処理部は、
前記文書構成要素が複数の前記仮セル上にまたがって配置される場合、前記文書構成要素を囲む最小の矩形を構成する前記仮セルの集合を初期結合セル候補として設定し、
前記初期結合セル候補同士が重複する場合は、重複する初期結合セル同士を含む最小の矩形を構成する仮セルの集合を結合セル候補として更新し、
全ての前記結合セル候補が互いに重複しないように前記更新を繰り返した後、いずれの前記結合セル候補にも含まれていない前記仮セルの各々を1つの前記結合セル候補とする
ことを特徴とする請求項1から10のいずれか1項に記載の変換処理装置。 - 前記文書構成要素及び前記表構造情報を用いて、前記文書画像情報を、ユーザにより選択されたファイル形式のファイルに変換するファイル記述部
を備えることを特徴とする請求項1から11のいずれか1項に記載の変換処理装置。 - 請求項1から12のいずれか一項に記載の変換処理装置を備えることを特徴とする情報処理装置。
- コンピュータを、
文書画像情報より、表と、前記表に重畳された文書構成要素との検出を行う文書構成要素検出手段、
前記文書構成要素検出手段が検出する水平方向のライン及び前記水平方向のラインの延長線から水平方向の基準線を設定し、前記文書構成要素検出手段が検出する垂直方向のライン及び前記垂直方向のラインの延長線から垂直方向の基準線を設定し、2本の隣り合う前記水平方向の基準線及び2本の隣り合う前記垂直方向の基準線により構成される矩形を仮セルとして定義する分割処理手段、
前記仮セル上に前記文書構成要素を重畳して配置し、前記文書構成要素の各々が、少なくとも1つの仮セルからなる集合であり互いに重複しない矩形の結合セル候補のいずれか1つに含まれるように、全ての前記仮セルを前記結合セル候補に分類する第1分類処理手段、
前記仮セルの分類結果と、前記文書構成要素とを用いて、前記表を再構成する表構造情報を記述する表構造記述手段、
として機能させるためのプログラム。 - 請求項14に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015250343A JP6607496B2 (ja) | 2015-12-22 | 2015-12-22 | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015250343A JP6607496B2 (ja) | 2015-12-22 | 2015-12-22 | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017117111A true JP2017117111A (ja) | 2017-06-29 |
JP6607496B2 JP6607496B2 (ja) | 2019-11-20 |
Family
ID=59234226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015250343A Active JP6607496B2 (ja) | 2015-12-22 | 2015-12-22 | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6607496B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591746A (zh) * | 2021-08-05 | 2021-11-02 | 上海金仕达软件科技有限公司 | 一种文档表格结构检测方法及装置 |
CN114529925A (zh) * | 2022-04-22 | 2022-05-24 | 华南理工大学 | 一种全线表表格结构识别方法 |
CN116612487A (zh) * | 2023-07-21 | 2023-08-18 | 亚信科技(南京)有限公司 | 表格识别方法、装置、电子设备及存储介质 |
-
2015
- 2015-12-22 JP JP2015250343A patent/JP6607496B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591746A (zh) * | 2021-08-05 | 2021-11-02 | 上海金仕达软件科技有限公司 | 一种文档表格结构检测方法及装置 |
CN114529925A (zh) * | 2022-04-22 | 2022-05-24 | 华南理工大学 | 一种全线表表格结构识别方法 |
CN116612487A (zh) * | 2023-07-21 | 2023-08-18 | 亚信科技(南京)有限公司 | 表格识别方法、装置、电子设备及存储介质 |
CN116612487B (zh) * | 2023-07-21 | 2023-10-13 | 亚信科技(南京)有限公司 | 表格识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6607496B2 (ja) | 2019-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5302768B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4960897B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
US9807280B2 (en) | Image processing apparatus, method, and storage medium | |
US7860266B2 (en) | Image processing system and image processing method | |
JP6559415B2 (ja) | 文書画像処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 | |
JP5958023B2 (ja) | 画像処理装置および画像処理プログラム | |
US7170647B2 (en) | Document processing apparatus and method | |
JP6254002B2 (ja) | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 | |
US20050219581A1 (en) | Image processing apparatus and image processing method | |
CN104054047B (zh) | 图像处理装置以及图像形成装置 | |
JP2001297303A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
JP6607496B2 (ja) | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 | |
JP6607490B2 (ja) | 変換処理装置、それを備えた情報処理装置、プログラム、及び記録媒体 | |
JP2010056827A (ja) | 画像処理装置および画像処理プログラム | |
JP2005107691A (ja) | 画像処理装置、画像処理方法ならびにプログラム、記憶媒体 | |
US8810877B2 (en) | Image processing apparatus, image processing method, and storage medium for eliminating blurring of scanned image | |
US8181108B2 (en) | Device for editing metadata of divided object | |
JP5020698B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5929282B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2006345314A (ja) | 画像処理装置および画像処理方法 | |
JP2003087562A (ja) | 画像処理装置および画像処理方法 | |
JP4710672B2 (ja) | 文字色判別装置、文字色判別方法、およびコンピュータプログラム | |
JP2007088912A (ja) | 画像処理装置およびプログラム | |
JP4569162B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
JP4228905B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6607496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |