JP2009098777A - データ処理装置及びデータ処理プログラム - Google Patents

データ処理装置及びデータ処理プログラム Download PDF

Info

Publication number
JP2009098777A
JP2009098777A JP2007267850A JP2007267850A JP2009098777A JP 2009098777 A JP2009098777 A JP 2009098777A JP 2007267850 A JP2007267850 A JP 2007267850A JP 2007267850 A JP2007267850 A JP 2007267850A JP 2009098777 A JP2009098777 A JP 2009098777A
Authority
JP
Japan
Prior art keywords
character
image
search
nearest
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007267850A
Other languages
English (en)
Other versions
JP4983526B2 (ja
Inventor
Masataka Kamiya
昌孝 神谷
Kazuhiro Otani
和宏 大谷
Katsuya Koyanagi
勝也 小柳
Kenji Furuyama
健司 古山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2007267850A priority Critical patent/JP4983526B2/ja
Publication of JP2009098777A publication Critical patent/JP2009098777A/ja
Application granted granted Critical
Publication of JP4983526B2 publication Critical patent/JP4983526B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することを目的とする。
【解決手段】文字認識の結果として得られる文字コード及び文字位置情報を含むOCR中間データを解析して、格段組の左上の文字から注目文字からの最近傍文字を算出して(100〜108)、最近傍文字の方向に応じて縦書きか横書きかを判定し(110〜118)、記述方向が変化したら、文字列を分割して(120、122)、検索用レイヤーに書き出す。また、検索用レイヤーに書き出した文字列と第1文字列群とし、逆順の文字列を第2文字列群として検索用レイヤーに書き出す(128、130)。そして、検索用レイヤーと元の画像を合成してPDF変換する。
【選択図】図7

Description

本発明は、データ処理装置及びデータ処理プログラムに関する。
従来より、原稿画像を読み取って原稿画像の文字を認識する文字認識(OCR(Optical Character Recognition))が提案されている。
OCRを行う際のレイアウトの判定技術としては、例えば、特許文献1〜3に記載の技術が提案されている。
特許文献1に記載の技術では、文書画像からレイアウトオブジェクトと構造を抽出する手段と、文書画像から抽出したテキストの領域からタイポグラフィーに基づいて段落、リスト、数式、プログラム、注釈等の論理オブジェクトを抽出する手段と、オブジェクト間の複数の可能な読み順を抽出する手段と、論理オブジェクトに対して予め定義されているモデルを適用して論理構造を抽出する手段と、から構成し、文字、写真、図形、表などで構成される多様な複数頁構成の文書からでも一次情報二次情報を抽出し、多様な電子フォーマットに変換可能にすることにより、文書管理システムの自動構築や様々な計算機アプリケーションの有効活用を可能にすることが提案されている。
特許文献2に記載の技術では、文字認識装置のバスに接続された画像入力部、第1の行切り出し部、第2の行切り出し部、行出力部から構成された行切り出し装置が提案されており、第1の行切り出し部は、画素の黒連結外接矩形を用いる方法や、画像上の黒画素の水平及び垂直方向の射影を用いる方法で行切り出しを行い、第2の行切り出し部へ出力する。第2の行切り出し部は、切り出された行の中から基準となる行を抽出し、抽出された基準行を用いて、第1の方法で切り出された各行の推定行数を算出し、推定行数が2以上の行については、行の分割を行うことが提案されている。
特許文献3に記載の技術では、スキャナ等から供給された画像データを、画像記憶部に格納し、該画像記憶部から画像データを出力する。また、入力部又は制御部等により設定された特徴情報を特徴記憶部に記憶し、特徴情報を文字切出し部に出力して、文字切出し部が、特徴情報に対応した文字切出しによって画像データから1文字毎に文字を切出して、切出された結果を、文字切出し結果として文字切出し装置の外に出力することが提案されている。
また、OCR結果の文字列(文字コード群)をテキストデータとして埋め込んで、1つのデータに統合して検索を簡便化する技術が提案されている。
しかしながら、OCR結果をテキストデータとして埋め込んだだけの場合、縦書き横書きの記述方向解析にOCR処理が失敗した際に、検索性能が落ちる(例えば、「あいうえお(改行)かきくけこ」を縦書きしてOCR結果が横書きと誤判定した場合、「かあきいくうけえこお」というテキストデータが生成されてしまう)という問題がある。
そこで、文字列の検索精度を向上するために特許文献4や特許文献5に記載の技術が提案されている。
特許文献4に記載の技術では、様々な人により書かれた文字を平均化して作成した標準文字を辞書にして、文字画像中に存在する1文字1文字の画像と、標準文字とを比較して、一致したら注目文字画像の近傍文字画像に注目し、標準文字から距離値を比較して、距率が閾値以内にある文字列を検索文字列とすることが提案されている。
特許文献5に記載の技術では、複数の文書の各々について、文書に含まれるテキストに基づくテキスト特徴情報と文書イメージに基づくイメージ特徴情報をメモリに保持し、検索文書のイメージデータに対して文字認識処理を行なって得られたテキストに基づいてテキスト特徴情報を取得すると共に、検索文書のイメージデータに基づいてイメージ特徴情報(レイアウト情報)を取得する。そして、上記検索文書に関して取得されたテキスト特徴情報とイメージ特徴情報を用いてメモリを検索して、複数の文書より検索文書に対応する文書を検索することが提案されている。
特開平11−250041号公報 特開2004−102796号公報 特開2000−057261号公報 特開2004−295329号公報 特開2004−334334号公報
本発明は、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することを目的とする。
上記目的を達成するために請求項1に記載のデータ処理装置は、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段と、前記文字認識手段によって得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出手段と、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成する生成手段と、前記生成手段によって生成された前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成手段と、を備えることを特徴としている。
請求項2に記載の発明は、請求項1に記載の発明において、前記生成手段は、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴としている。
請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、前記生成手段は、前記算出手段によって最近傍文字を順次算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤーを生成することを特徴としている。
請求項4に記載の発明は、請求項1〜3の何れか1項に記載の発明において、前記生成手段は、前記算出手段によって算出された前記最近傍文字が2以上の場合に、各前記最近傍文字毎の文字列を前記検索用レイヤーとして生成すること特徴としている。
請求項5に記載のデータ処理装置は、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段の前記文字認識結果が前記画像を表すデータに予め合成されたデータにおける前記文字認識結果を解析し、注目文字の最近傍文字を算出する算出手段と、検索する文字を入力するための入力手段と、前記入力手段によって検索するための文字が入力された場合に、前記入力手段によって入力された文字の前記文字情報に一致する前記文字情報を前記文字認識結果から検索して注目文字として前記算出手段によって前記最近傍文字を算出すると共に、前記入力手段に入力された続く文字の前記文字情報と、前記算出手段によって算出された前記最近傍文字の前記文字情報と、が一致するか否かを順次判定する判定手段と、前記判定手段によって前記文字情報が一致すると判定された場合に、一致した文字を強調表示する表示手段と、を備えることを特徴としている。
請求項6に記載のデータ処理プログラムは、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップと、前記文字認識ステップで得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出ステップと、注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成する生成ステップと、前記生成ステップで生成した前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成ステップと、を含む処理をコンピュータに実行させることを特徴としている。
請求項7に記載の発明は、請求項6に記載の発明において、前記生成ステップは、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成するを含むことを特徴としている。
請求項8に記載の発明は、請求項6又は請求項7に記載の発明において、前記生成ステップは、前記算出ステップで順次最近傍文字を算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤー生成することを特徴としている。
請求項9に記載の発明は、請求項6〜8の何れか1項に記載の発明において、前記生成ステップは、前記算出ステップで算出した前記最近傍文字が2以上の場合に、各前記最近傍文字毎の文字列を前記検索用レイヤーとして生成すること特徴としている。
請求項10に記載のデータ処理プログラムは、文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップの前記文字認識結果が前記画像を表すデータに予め合成されたデータにおける前記文字認識結果を解析し、注目文字の最近傍文字を算出する算出ステップと、検索する文字を入力するための入力手段によって検索するための文字が入力された場合に、前記入力手段によって入力された文字の前記文字情報に一致する前記文字情報を前記文字認識結果から検索して注目文字として前記算出ステップに前記最近傍文字を算出させると共に、前記入力手段に入力された続く文字の前記文字情報と、前記算出ステップで算出した前記最近傍文字の前記文字情報と、が一致するか否かを順次判定する判定ステップと、前記判定ステップで前記文字情報が一致すると判定した場合に、一致した文字を強調表示する表示ステップと、を含む処理をコンピュータに実行させることを特徴としている。
請求項1に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。
請求項2に記載の発明によれば、記述方向に拘わらず文字検索が可能となる、という効果がある。
請求項3に記載の発明によれば、異なる記述方向が混在していても文字検索が可能となる、という効果がある。
請求項4に記載の発明によれば、文字間隔が等間隔で記述方向が判定できない場合であっても文字検索が可能となる、という効果がある。
請求項5に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。
請求項6に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。
請求項7に記載の発明によれば、記述方向に拘わらず文字検索が可能となる、という効果がある。
請求項8に記載の発明によれば、異なる記述方向が混在していても文字検索が可能となる、という効果がある。
請求項9に記載の発明によれば、文字間隔が等間隔で記述方向が判定できない場合であっても文字検索が可能となる、という効果がある。
請求項10に記載の発明によれば、本構成を採用しない場合に比べて、文字認識の記述方向の誤判定の影響を吸収して文字検索精度を向上することができる、という効果がある。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
(第1実施形態)
本実施形態では、画像形成装置に本発明を適用するものである。図1は、本発明の第1実施形態に係わる画像形成装置の構成を示すブロック図である。
本発明の第1実施形態に係わる画像形成装置10は、原稿を読み取ってテキスト検索が可能なPDF(Portable Document Format)形式のデータを作成するものである。
画像形成装置10は、画像入力部12、操作部14、CPU16、RAM18、ROM20、表示部22、画像処理部24、ハードディスク(HDD)26、及びプリンタ28がバス30に接続されている。
画像入力部12は、例えば、原稿に光を照射してスキャンし、原稿から反射された光をミラーやレンズを通してCCDに集め、CCDで光電変換された画像信号をAD変換して、デジタル画像データに変換することによって原稿を読み取ることによって画像を入力する。
操作部14は、画像入力部12による原稿の読取開始等の各種指示、入力した画像に対する画像処理の各種設定等を行う各種ボタンを備えている。また、操作部14では、PDF形式のデータを作成する際の各種設定等を行うための操作ボタン等も備えている。
表示部22は、画像入力部12によって読み取った原稿のレイアウト等を表示したり、各種設定を行うための画面等を表示する。
画像処理部24は、画像入力部12によって入力された画像に対して、OCR処理を行って文字画像を認識してテキストデータを作成したり、作成したテキストデータを元画像に透明レイヤーとして合成してPDF形式のデータに変換したりする機能を有している。
本実施形態では、画像処理部24は、画像解析部30、画像分離部32、OCR処理部34、OCR中間データ解析部36、PDFラッピング部38、画像圧縮部40、及び画像ファイル作成部42を有しており、画像入力部12によって入力された画像を画像解析部30によって解析することによって画像中の文字や画像のレイアウトを解析し、文字画像と非文字画像を画像分離部32で分離する。そして、文字画像についてOCR処理部34にて文字認識を行う。また、OCR中間データ解析部36ではOCR処理する際に発生する中間データを解析して文字検索のためのテキストデータを生成し、作成した文字検索のためのテキストデータをPDFラッピング部38にて画像と合成してPDF形式への変換を行うと共に、画像圧縮部40によって画像を圧縮する。そして、画像ファイル生成部42が画像ファイルとしてHDD26に記憶する。なお、画像処理部24の詳細な機能は後述する。
ハードディスク(HDD)26は、画像処理部24によって処理されたデータ(PDFファイル等)を蓄積し、操作部14による操作等によってプリンタ28に蓄積したデータを出力する。
プリンタ28は、HDD26に記憶されたデータ等に基づく画像を用紙等の記録媒体に形成する。
CPU16は、ROM20に予め記憶されたプログラム等に従って画像形成装置10を制御する。この時、RAM18はプログラム実行時の作業領域等として機能する。
ここで、画像処理部24の詳細な機能について説明する。図2は、画像処理部24の詳細な機能を示す機能ブロック図である。
画像処理部24では、画像入力部12によって入力した画像(スキャンデータ)が画像解析部30によって文字/画像レイアウト解析44が行われ、画像中の文字や画像のレイアウトが解析される。
文字/画像レイアウト解析44が行われると、画像分離部32でが文字画像/非文字画像分離46が行われて、文字画像と非文字画像に分離される。
分離された非文字画像は、所定の画質補正70が行われた後に、画像圧縮部40によって画像圧縮72が行われる。なお、画像圧縮72は、各種画像圧縮形式を適用可能である。
一方、分離された文字画像は、OCR処理部34によってノイズ除去48や文字先鋭化処理50が行われる。例えば、フィルタ等を用いて文字画像のノイズを除去して、エッジ処理等によって文字画像を先鋭化する。先鋭化された文字画像は、画像圧縮部40によって画像圧縮72が行われる
また、先鋭化された文字画像は、画像圧縮部40による画像圧縮72とは別に、OCR処理部34によって、正立処理52、段組判定54、行列判定56、文字判定58、及びOCR処理60が行われる。例えば、正立処理52によって画像の向きを判定し、判定した向きに応じて、90度、180度、270度等の回転を画像に対して行い、特開平11−250041号公報に記載の技術等を適用して、見出し用の文字列、新聞の段落、段組などを画像分割することで段組判定54を行い、特許第2895122号や特開2004−102796号に記載の技術等を適用して分割された領域を更に1行、あるいは1列単位に画像分割することによって行列判定56を行い、分割された領域から、特開2000−057261号に記載の技術等を適用して1文字づつ画像分割することによって文字判定58を行う。そして、OCR処理60では、文字領域に分割した部分について、文字認識し、各文字に対応する画像を文字コードと文字位置情報に変換する。
また、OCR処理60を行う際に、OCR中間データとして、文字位置情報と文字コードを文字毎に生成する。例えば、OCR中間データの一例を図3(A)に示す。なお、図3(A)では、ポストスクリプトで記載された例を示し、図3(A)では、文字コードと文字位置情報の他にフォントや文字サイズなどの情報も記載されたOCR中間データの一例を示す。
また、OCR処理60が行われた後に、OCR中間データ解析部36によってOCR中間データ解析62が行われる。OCR中間データ解析62は、テキスト検索の精度を向上するために、OCR処理60によるOCR処理結果で判定した行列判定とは異なる方法で文字の記述方向を判定して新たなOCR結果をOCR中間データから生成する。
そして、OCR中間データから新たなOCR結果が生成されると、PDFラッピング部38によってOCR結果テキスト貼付け位置決め64が行われると共に、テキスト/画像レイヤー合成66が行われてPDFフォーマット変換68が行われる。すなわち、図3(B)に示すように、文字画像と非文字画像からなるラスタ画像74に対して、文字画像の対応する位置に新たなOCR結果76を透明レイヤー(以下、検索用レイヤーと称する場合もある)として検索可能に貼付けて、PDF形式のデータに変換される。
次に、上述のOCR中間データから作成する検索用レイヤーの生成について説明する。
例えば、図4に示すOCR中間データの場合、段組判定結果の左上(X座標の最小値、Y座標の最大値、図4では「か」)から最近傍文字を、最初の注目文字とし、これを検索用レイヤーに書き出す。例えば、図4の場合は、検索用レイヤーに、文字列「かき」が生成される。なお、検索用レイヤーに生成された文字列は、文字コードと文字情報として記述されるが、便宜的に文字(例えば、図4では「かき」等)として記載する。
一般的に、行・列間隔より、文字間隔の方が狭いので、最近傍文字を追跡することによって、正しく文字の記述方向を判定できる。すなわち、注目文字に対する最近傍文字を算出し、最近傍文字を算出したら、算出した文字を新しい注目文字として検索用レイヤーに追加する。
また、OCR中間データにおいて、注目文字から最近傍文字への移動方向をチェックし、縦書きか横書きかを判定し、縦書きならば検索文字列の間に改行を入力する。
ここで、最近傍文字の算出は、注目文字の座標を(X,Y)、最近傍文字候補の座標を(XN+1,YN+1)とすると、以下の(1)式を最小にする(XN+1,YN+1)を求めればよい。
Figure 2009098777
また、縦書き横書きの判定は、具体的には、注目文字の座標を(X,Y)、最近傍文字の座標を(XN+1,YN+1)、abs(A)をAの絶対値とすると、abs(XN+1−X)>abs(YN+1−Y)の場合に横書きと判定し、abs(XN+1−X)<abs(YN+1−Y)の場合に横書きと判定する。
すなわち、N文字目を注目文字として、最近傍文字N+1を算出したら、算出した文字を新しい注目文字として繰り返し、段組判定結果毎のOCR結果の文字を注目し、段組判定結果の最初の注目文字の検索用の透明レイヤーに書き込んだら、検索用文字列が完成する。なお、最近傍文字の算出は、注目文字の座標を(X,Y)、最近傍文字候補の座標を(XN+1,YN+1)とすると、以下の式を最小にする(XN+1,YN+1)を求める。
例えば、図4の例では図5に示すように、M段組スタート地点「か」から開始して最近傍文字を求めると、矢印で示すようになり、M段組の検索文字列は、「か¥nき¥nく¥nけ¥nこと¥nて¥nつ¥nち¥nた」となり、M+1段組の検索文字列は、「あいうえお¥nそせしすさ¥nなにぬねの」となる。なお、「¥n」は改行コードを示す。
さらに、図5の例の検索文字列「か¥nき¥nく¥nけ¥nこと¥nて¥nつ¥nち¥nた」と「あいうえお¥nそせしすさ¥nなにぬねの」を、逆順の検索文字列「た¥nち¥nつ¥nて¥とこ¥nけ¥nく¥nき¥nか」と「のねぬにな¥nさしすせそ¥nおえういあ」を透明レイヤーに追記して、全ての文字列を検索できるようにすることで、更に検索精度を向上することが可能となる。
一方、最近傍文字が2つ以上存在する場合は、それぞれの最近傍文字について検索文字列を透明レイヤーに追加する。例えば、最近傍文字が2つ存在する場合には、縦書きの場合の検索文字列と、横書きの場合の検索文字列と、をそれぞれ透明レイヤーに追加する。この場合には、原稿がスキュー(回転)している場合と、スキュー(回転)していない場合とがあるが、何れにしても、注目文字を左上とした場合に、注目文字から最近傍文字候補群までの移動距離(ベクトル)のX成分とY成分を算出した時に、Xの絶対値|X|が最大になるもののみ連続して採用した場合に横書きとなり、Yの絶対値|Y|が最大になるもののみ連続して採用した場合に縦書きとなる。
より具体的には、スキューしていない場合は、図6(A)に示す最初の注目文字(図6(A)では「S」)に対する最近傍文字は、(A)方向の「C」と、(B)方向の「C」の2つがあり、(A)方向への移動距離のX方向の絶対値を|X|、(B)方向への移動距離の絶対値を|X|(=0)とすると、|X|>|X|なので、横書き文字列を取得するために、(1)の矢印方向に移動し、更に(2)、(5)の矢印方向へ移動するように制限する。
一方、(A)方向への移動距離のY方向の絶対値を|Y|(=0)、(B)方向への移動距離の方向の絶対値を|Y|とすると、|Y|>|Y|なので、縦書き文字列を取得するために、(3)の矢印方向に移動し、更に(4)の矢印方向へ移動するように制限すればよい。また、(C)まで移動してきたら、最近傍文字は(D)の一意に決まるので、(D)へ移動し、更に縦書き文字列の取得制限をかけ、(E)方向への移動距離の絶対値を|Y|、(F)方向への移動距離の絶対値を|Y|(=0)とすると、|Y|>|Y|なので、縦書き文字列の取得を継続するために(6)の矢印方向へ移動し、(E)を取得し、その後(A)の文字を取得後に(2)方向に進んでいけばよい。
また、図6(B)、(C)に示すように、スキューしている場合は、最初の注目文字(図6では「S」)に対する最近傍文字は(A)方向の「C」と、(B)方向の「C」の2つがあり、(A)方向への移動距離のX方向の絶対値を|X|、(B)方向への移動距離の絶対値を|X|とすると、|X|>|X|なので、横書き文字列を取得するために、(1)の矢印方向に移動し、更に(2)、(5)の矢印方向へ移動するように制限する。
一方、(A)方向への移動距離のY方向の絶対値を|Y|、(B)方向への移動距離の方向の絶対値を|Y|とすると、|Y|>|Y|なので、縦書き文字列を取得するために、(3)の矢印方向に移動し、更に(4)の矢印方向へ移動するように制限すればよい。また、(C)まで移動してきたら、最近傍文字は(D)の一意に決まるので、(D)へ移動し、更に縦書き文字列の取得制限をかけ、(E)方向への移動距離の絶対値を|Y|、(F)方向への移動距離の絶対値を|Y|とすると、|Y|>|Y|なので、縦書き文字列の取得を継続するために(6)の矢印方向へ移動し、(E)を取得し、その後(A)の文字を取得後に(2)方向に進んでいけばよい。
なお、何れの場合も一度取得した文字は、再度取得しないものとする。
続いて、上述のように構成された本発明の第1実施形態に係わる画像形成装置10の画像処理部24で行われるPDF作成時の検索用文字列の作成に関する処理について説明する。図7は、本発明の第1実施形態に係わる画像形成装置10の画像処理部24で行われるPDF作成時の検索用文字列の作成処理の流れの一例を示すフローチャートである。
まず、ステップ100では、縦書きフラグが0にセットされてステップ102へ移行する。
ステップ102では、OCR中間データが取得されてステップ104へ移行する。すなわち、OCR処理部34で生成された文字コードと文字位置情報が記述されたOCR中間データがOCR中間データ解析部36によって取得される。
ステップ104では、OCR処理によって判定された各段組の左上座標がOCR中間データ解析部36によって算出されてステップ106へ移行する。
ステップ106では、OCR中間データ解析部36によって段組左上座標からの最近傍文字が最初の注目文字に設定されてステップ108へ移行する。
ステップ108では、OCR中間データ解析部36によって注目文字に対する最近傍文字が算出されてステップ110へ移行する。すなわち、上述の(1)式を最小にする(XN+1,YN+1)が求められる。
ステップ110では、最近傍文字が横方向か否かOCR中間データ解析部36によって判定され、該判定が否定された場合にはステップ112へ移行し、肯定された場合にはステップ116へ移行する。
ステップ112では、OCR中間データ解析部36によって、旧縦書きフラグが新縦書きフラグに置き換えられると共に、新縦書きフラグが1にセットされてステップ114へ移行して、検索用レイヤーに縦書きを表すための改行コードと注目文字列が追加されてステップ120へ移行する。
一方、ステップ116では、OCR中間データ解析部36によって、旧縦書きフラグが新縦書きフラグに置き換えられると共に、新縦書きフラグが0にセットされてステップ118へ移行して、検索用レイヤーに注目文字列が追加されてステップ120へ移行する。
ステップ120では、旧縦書きフラグ≠新縦書きフラグか否かがOCR中間データ解析部36によって判定され、該判定が肯定された場合にはステップ122へ移行し、否定された場合にはステップ124へ移行する。
ステップ122では、OCR中間データ解析部36によって、検索用文字列が記述方向が変化した文字で文字列が分割されてステップ124へ移行する。例えば、図8(A)に示すように、横書き方向に最近傍文字が移動する場合、「お」と「こ」の間や「か」と「さ」の間で記述方向が変化するので、「あいうえお」、「お¥nこ」、「こけくきか」、「か¥nさ」、「さしすせそ」となり、図8(B)に示すように、縦書き方向に最近傍文字が移動する場合、「さ」と「し」の間、「い」と「う」の間、「え」と「お」の間で記述方向が変化するので、「あ¥nか¥nさ」、「さし」、「し¥nき¥nい」、「いう」、「う¥nく¥nす」、「すせ」、「せ¥nけ¥nえ」、「えお」、「お¥bこ¥nそ」となる。
次にステップ124では、全OCR結果についてOCR中間データの解析が終了したか否かOCR中間データ解析部36によって判定され、該判定が否定された場合にはステップ126へ移行して、OCR中間データ解析部36によって、最近傍文字が次の注目文字に設定されてステップ108に戻って上述の処理が繰り返され、ステップ124の判定が肯定されたところでステップ128へ移行する。
ステップ128では、OCR中間データ解析部36によって検索用レイヤーに書き出した文字列群が第1検索文字列とされてステップ130へ移行する。
ステップ130では、OCR中間データ解析部36によって第1検索文字列群を逆順に書き出した第2検索文字列群が検索用レイヤーに書き出されて一連の処理を終了する。すなわち、図8(A)の場合では、「おえういあ」、「こ¥nお」、「かきくけこ」、「さ¥nか」、「そせすしさ」が第2検索文字列群として検索用レイヤーに書き出され、図8(B)の場合では、「さ¥nか¥nあ」、「しさ」、「い¥nき¥nし」、「うい」「す¥nく¥nう」、「せす」、「え¥nけ¥nせ」、「おえ」、「そ¥nこ¥nお」が第2検索文字列群として検索用レイヤーに書き出される。
そして、このように作成された検索用レイヤーと、文字画像及び文字画像からなる画像がPDFラッピング部38によって合成されると共に、PDF形式のデータに変換される。なお、検索用レイヤーを合成する際には、元の画像の対応する位置(例えば、対応する段組の最初の文字位置等)に合成する。また、検索用レイヤーに複数の文字列が書き出されている場合には、文字列毎に検索用レイヤーを複数生成して、それぞれ合成するようにしてもよい。
すなわち、本実施形態の画像形成装置で生成されたPDFデータを用いれば、横書きや縦書き、文字記述方向が異なるものが混在していても、従来よりも高い検索精度で、検索文字列に対応する文字列が検索用レイヤーから検索される。
なお、第1実施形態では、画像処理部24をハードウエア構成として説明したが、これに限るものではなく、図7に示す処理を実行するソフトウエアとしてもよい。
(第2実施形態)
続いて、本発明の第2実施形態について説明する。なお、本実施形態は、本発明をコンピュータネットワークシステムに適用したものである。図9は、本発明の第2実施形態に係わるコンピュータネットワークシステムの概略構成を示す図である。
第1実施形態では、画像形成装置10において、検索用レイヤーを作成して元の画像と検索用レイヤーを合成してPDFファイルに変換して、PDFファイル内の文字列検索を行うようにしたが、本実施形態では、第1実施形態で説明した、文字コードと文字位置情報を含むOCR中間データを画像形成装置78によって元の画像に合成してPDFファイルとして記憶しておき、コンピュータ80から画像形成装置78に記憶されたPDFファイルにアクセス、あるいは画像形成装置78に記憶されたPDFファイルを取得して、PDFファイルに埋め込まれたOCR中間データを用いて、従来よりも高い精度で、検索文字に対応する文字列を検索するようにしたものである。
本発明の第2実施形態に係わるコンピュータネットワークシステム90は、図9に示すように、コンピュータ80と画像形成装置78がインターネットやイントラネット等のネットワーク82で接続されている。なお、本実施形態では、コンピュータ80と画像形成装置78をネットワーク接続した例を示すが、これに限るものではなく、コンピュータ80と画像形成装置78の接続は各種通信手段を適用することができる。
図10は、本発明の第2実施形態に係わるコンピュータネットワークシステム90における画像形成装置80の構成を示すブロック図である。なお、第1実施形態と同一構成については同一符号を付して説明する。
本発明の第2実施形態に係わるコンピュータネットワークシステム90における画像形成装置80は、基本的には第1実施形態と同様の構成であり第1実施形態の画像形成装置10のOCR中間データ解析部36が省略された構成とされている。
すなわち、図10に示すように、画像形成装置78は、画像入力部12、操作部14、CPU16、RAM18、ROM20、表示部22、画像処理部25、ハードディスク(HDD)26、及びプリンタ28がバス30に接続されている。
画像入力部12は、例えば、原稿に光を照射してスキャンし、原稿から反射された光をミラーやレンズを通してCCDに集め、CCDで光電変換された画像信号をAD変換して、デジタル画像データに変換することによって原稿を読み取ることによって画像を入力する。
操作部14は、画像入力部12による原稿の読取開始等の各種指示、入力した画像に対する画像処理の各種設定等を行う各種ボタンを備えている。また、操作部14では、PDF形式のデータを作成する際の各種設定等を行うための操作ボタン等も備えている。
表示部22は、画像入力部12によって読み取った原稿のレイアウト等を表示したり、各種設定を行うための画面等を表示する。
画像処理部25は、画像入力部12によって入力された画像に対して、OCR処理を行って文字画像を認識してテキストデータを作成したり、作成したテキストデータを元画像に合成してPDF形式のデータに変換したりする機能を有している。
本実施形態では、画像処理部25は、画像解析部30、画像分離部32、OCR処理部34、OCR中間データ解析部36、PDFラッピング部38、画像圧縮部40、及び画像ファイル作成部42を有しており、画像入力部12によって入力された画像を画像解析部30によって解析することによって画像中の文字や画像のレイアウトを解析し、文字画像と非文字画像を画像分離部32で分離する。そして、文字画像についてOCR処理部34にて文字認識を行ってOCR中間データを生成する。そして、作成したOCR中間データをPDFラッピング部38にて画像と合成してPDF形式への変換を行うと共に、画像圧縮部40によって画像を圧縮する。そして、画像ファイル生成部42が画像ファイルとしてHDD26に記憶する。なお、画像処理部25の詳細な機能は後述する。
ハードディスク(HDD)26は、画像処理部25によって処理されたデータ(PDFファイル等)を蓄積し、操作部14による操作等によってプリンタ28に蓄積したデータを出力する。
プリンタ28は、HDD26に記憶されたデータ等に基づく画像を用紙等の記録媒体に形成する。
CPU16は、ROM20に予め記憶されたプログラム等に従って画像形成装置78を制御する。この時、RAM18はプログラム実行時の作業領域等として機能する。
ここで、画像処理部25の詳細な機能について説明する。図11は、本発明の第2実施形態に係わるコンピュータネットワークシステム90の画像形成装置78における画像処理部25の詳細な機能を示す機能ブロック図である。なお、第1実施形態と同一機能については同一符号を付して説明する。
本実施形態の画像形成装置78の画像処理部25では、第1実施形態の画像形成装置10のOCR中間データ解析部36が省略された構成とされ、OCR中間データが画像の対応する位置にそのまま透明レイヤー(検索用レイヤー)として合成されてPDFファイルに変換される。
すなわち、本実施形態の画像処理部25では、図11に示すように、入力した画像(スキャンデータ)に対して文字/画像レイアウト解析44が行われ、画像中の文字や画像のレイアウトが解析される。
また、文字/画像レイアウト解析44が行われると、文字画像/非文字画像分離46が行われて、文字画像と非文字画像に分離される。分離された非文字画像は、所定の画質補正70が行われた後に、画像圧縮72が行われる。なお、画像圧縮72は、各種画像圧縮形式を適用可能である。
一方、分離された文字画像は、ノイズ除去48や文字先鋭化処理50が行われる。例えば、フィルタ等を用いて文字画像のノイズを除去して、エッジ処理等によって文字画像を先鋭化する。そして、先鋭化された文字画像は、画像圧縮される
また、先鋭化された文字画像は、画像圧縮処理とは別に、正立処理52、段組判定54、行列判定56、文字判定58、及びOCR処理60が行われる。例えば、正立処理52によって、画像の向きを判定し、判定した向きに応じて、90度、180度、270度等の回転を画像に対して行い、特開平11−250041号公報に記載の技術等を適用して、見出し用の文字列、新聞の段落、段組などを画像分割することで段組判定54を行い、特許第2895122号や特開2004−102796号に記載の技術等を適用して分割された領域を更に1行、あるいは1列単位に画像分割することによって行列判定56を行い、分割された領域から、特開2000−057261号に記載の技術等を適用して1文字づつ画像分割することによって文字判定58を行う。そして、OCR処理60では文字領域に分割した部分について、文字認識し、各文字に対応する画像を文字コードと文字位置情報に変換する。
また、OCR処理を行う際に、OCR中間データとして、文字位置情報と文字コードを文字毎に生成する。なお、OCR中間データの一例は、図3(A)に示した通りである。また、図3(A)では、ポストスクリプトで記載された例を示し、図3(A)では、文字コードと文字位置情報の他にフォントや文字サイズなどの情報も記載されたOCR中間データの一例を示す。
そして、OCR中間データが生成されると、テキスト/画像レイヤー合成66が行われてPDFフォーマット変換68が行われる。すなわち、文字画像と非文字画像からなるラスタ画像に対して、文字画像の対応する位置にOCR中間データを透明レイヤー(検索用レイヤー)として検索可能に貼付けて、PDF形式のデータに変換される。
図12(A)は、本発明の第2実施形態に係わるコンピュータネットワークシステムにおけるコンピュータの構成を示すブロック図である。
コンピュータ80は、CPU150、主メモリ152、表示装置154、入力装置156、及び記憶装置158がバス160に接続された一般的な構成とされている。
すなわち、キーボードやマウス等の入力装置156によって入力された情報に応じた処理をCPU150が実行して表示装置154に表示する。本実施形態では、記憶装置158には、OS(Operating System)162、ファイル検索プログラム164、強調表示プログラム166等の各種プログラムが記憶されており、これらのプログラムをCPU150が実行することによって、文字列の検索を行って対応する文字列をハイライト表示するようになっている。なお、主メモリ152は、CPU150が各種プログラムを実行する際の作業領域として機能する。
図12(B)は、コンピュータ80の各プログラムの機能を示す機能ブロック図である。
本実施形態では、ファイル検索プログラム164が実行されることによって、検索文字列入力ウィンドウ168を表示装置154に表示する。そして、検索文字列入力ウィンドウ168に検索文字列が入力されると、ファイル検索プログラム164によってOCR中間データ解析170が行われて、強調表示プログラム166によって検索された文字列のハイライト表示172が行われる。
続いて、検索文字列入力ウィンドウを含むユーザインタフェースについて説明する。
一般的なテキスト検索アプリケーションとしては、2つのユーザインタフェースがあり、一方は「全文検索」と呼ばれるタイプのもので、他方は「インクリメンタル検索」と呼ばれるタイプのものである。
「全文検索」は、表示された検索文字入力ボックス等に検索文字列をM文字分入力後(M=1,2,3,4,・・・)、検索文字入力ボックスの検索ボタン等を操作することによって文字列の検索を開始する。詳細には、検索文字列のM文字分の文字コードが、検索対象のテキスト文に対して、1文字目からM文字目まで連続で文字コードが一致したら、テキスト文の該当文字列をハイライト表示することによって強調表示し、1文字目からM文字目まで連続して文字コードが一致する文字列が存在しなかったら、検索文字入力ボックスの近傍にあるミニウィンドウ等に「ヒットなし」などを表示する。なお、一致した文字列の前後を含めて、ミニウィンドウ等に一覧を表示するものもある。
「インクリメンタル検索」は、表示された検索文字入力ボックス等に検索文字列の1文字目を入力すると、まず1文字目は検索対象のテキスト文左上から最近傍の、当該文字コードを検索し、一致した文字コードが存在した場合には該当する文字コードをハイライト表示することによって強調表示し、続けて、2文字目を検索文字入力ボックスに入力すると、検索対象のテキスト文左上からの最近傍文字から2文字目まで連続して文字コードが一致する文字列が存在したら、テキスト文の該当文字コード2文字をハイライト表示することによって強調表示する。続けて、N文字目(N=3,4,5,6,・・・)以降の入力も同様に、N文字目を検索文字入力ボックスに入力すると、検索対象のテキスト文左上からの最近傍の1文字目からN文字目まで連続して文字コードが一致する文字列が存在したら、テキスト文の該当文字コードN文字をハイライト表示することによって強調表示する。1文字目からN文字目まで連続で文字コードが一致する文字列あ存在しない場合には、検索文字入力ボックスの近傍のミニウィンドウ等に「ヒットなし」などを表示する。一致するテキスト文の次の一致箇所に移動する検索ボタンが存在するものもある。
なお、本実施形態では、「全文検索」と「インクリメント検索」の何れを適用するようにしてもよいが、本実施形態では後者の「インクリメンタル検索」を適用するものとして説明する。
ここで、コンピュータ80でファイル検索プログラム164及び強調表示プログラム166を実行することによって行われる文字列の検索について説明する。
画像形成装置78にアクセスまたは画像形成装置78で作成されたPDFファイルを取得してファイル検索プログラム164が起動されると、上述したように、検索文字列入力ウィンドウ168が表示装置154に表示される。そして、検索文字列が入力装置156によって入力されると、対応する文字列の検索を開始する。
入力された文字列の検索は、PDFファイルに検索用レイヤーとして埋め込まれたOCR中間データを用いてテキスト検索を行う。OCR中間データは、2次元にレイアウトされたテキストとされており、検索対象のテキストは、左上から右下にかけて検索する。
まず、検索テキストの左上位置に対する最近傍文字を検索するために、検索対象テキストの左上位置(例えば、図13参照)を算出する必要がある。これは、検索対象のページ内の全ての文字のX座標の値の一番小さい数値の文字をOCR中間データから検索すると共に、検索対象のページ内の全ての文字のY座標の値の一番大きい数値の文字をOCR中間データから検索する。
次に、例えば、検索対象の文字列として「かきくけこ」が入力装置156によって入力された場合に、最初の文字「か」について、図14(A)に示すように、左上最近傍に位置し、かつ文字コードが一致する文字をOCR中間データから検索し、「か」の文字を検出して、図14(B)に示すように、ハイライト表示することによって強調表示する。
続いて、2文字目「き」について、図15(A)に示すように、「か」から最近傍文字までの距離を計算する。計算方法としては、例えば、文字「か」の座標を(X,Y)、他の座標を(XN+1,YN+1)とすると、第1実施形態で説明した(1)を最小にする(XN+1,YN+1)を求める。図15(A)の例では「き」の文字コードにヒットする。そして、3文字目以降の「く」「け」「こ」についても同様に距離計算を実行して、「かきくけ」の全ての文字コードを検出して、図15(B)に示すように、該当文字をハイライト表示することによって強調表示する。
なお、最近傍文字を検索する際には、段落毎に「最大距離」を設定して、「最大距離」を超えない範囲でしか検索しなように制限するようにしてもよい。これによってより精度の高い検索が可能となる。この時、「最大距離」としては、例えば、段落内の全ての文字の最近傍文字までの距離の平均値等を適用することができる。例えば、図16(A)に示す例では、「かきくてけとこ」と文字が並んでいるが、文字間隔1個分の最大距離の制限をかけると、検索式「かきくけこ」に対しては、この文字列は、図16(B)に示すように、「か→き→く」と順番にヒットしていくが、「け」が文字間隔1個分より大きい位置に存在するので、「け」はヒットせずに、検索が終了し、検索結果は「かきく」までとなる。
続いて、上述のように構成されたコンピュータで行われるPDFファイルの文字検索を行う際の処理の流れについて説明する。図17は、本発明の実施の形態に係わるコンピュータネットワークシステム90におけるコンピュータ80で行われるPDFファイルの文字検索を行う際の処理の流れの一例を示すフローチャートである。
まずステップ200では、文字検索用のユーザインタフェース(UI)が表示装置154に表示されてステップ202へ移行する。
ステップ202では、表示装置154に表示されたUIの検索文字入力ボックス等に1文字目が入力されたか否か判定される。該判定が否定された場合にはステップ204へ移行して、検索終了か否か判定される。すなわち、文字検索用のUIが閉じられたか否かが判定され、判定が肯定された場合にはそのまま処理を終了し、否定された場合にはステップ202へ戻っる。
一方、ステップ202の判定が肯定された場合には、ステップ206へ移行して、PDFファイルに合成されたOCR中間データを用いて、一致文字の全文検索が行われる。すなわち、検索文字入力ボックスに入力された文字の文字コードに対応する文字コードの検索がOCR中間データから検索される。
ステップ208では、文字コードが一致するものがあるか否か判定され、該判定が否定された場合にはステップ210へ移行して、検索失敗表示が行われて一連の処理を終了し、ステップ208の判定が肯定された場合にはステップ212へ移行する。
ステップ212では、一致した文字がハイライト表示されることによって強調表示されてステップ214へ移行する。
ステップ214では、表示装置154に表示された検索文字入力ボックスにN文字目が入力されたか否か判定され、該判定が否定された場合にはステップ216へ移行して、検索終了か否か判定される。すなわち、文字検索用のUIが閉じられたか否かが判定され、判定が肯定された場合にはそのまま処理を終了し、否定された場合にはステップ214へ戻っる。
一方、ステップ214の判定が肯定された場合には、ステップ218へ移行して、検索済みの最後の文字が新しい注目文字とされてステップ220へ移行する。
ステップ220では、注目文字からの最近傍文字が算出されてステップ222へ移行する。なお、この時注目文字は、検索済みの文字で複数の場合もあるが、それぞれについて最近傍文字を算出する。
ステップ222では、文字コードが一致するか否か判定され、該判定が否定された場合には上述のステップ210へ移行し、肯定された場合にはステップ224へ移行する。
ステップ224では、NがN+1とされてステップ212に戻って上述の処理が繰り返される。
すなわち、本実施形態では、画像形成装置78でOCR処理を行う際に生成した文字位置情報と文字コードを含むOCR中間データを検索用レイヤーとして元の画像に合成して4PDFファイル変換しておき、コンピュータ80で文字検索を行う際に、OCR中間データを用いることでPDFファイルの文字列の検索が可能となる。この時、最近傍の文字を算出しながら文字検索するので、従来よりも高い検索精度で、検索文字列に対応する文字列の検索が行われる。
なお、第2実施形態における、図17の処理はファイル検索プログラムや強調表示プログラムを実行することにより行われるものであるが、ハードウエア構成として、図17の処理を行うようにしてもよい。
本発明の第1実施形態に係わる画像形成装置の構成を示すブロック図である。 本発明の第1実施形態に係わる画像形成装置における画像処理部の詳細な機能を示す機能ブロック図である。 (A)はOCR中間データの一例を示す図であり、(B)は統計レイヤー(検索用レイヤー)を説明するための図である。 段組判定結果の左上から最近傍文字の検索の一例を示す図である。 M段組スタート地点から最近文字を求めた結果の一例を示す図である。 (A)は画像がスキューしていない場合の最近傍文字が2つ存在する際の透明レイヤーの作成方法の一例を示す図であり、(B)及び(C)は画像がスキューしている場合の最近傍文字が2つ存在する際の透明レイヤーの作成方法の一例を示す図である。 本発明の第1実施形態に係わる画像形成装置の画像処理部で行われるPDF作成時の検索用文字列の作成処理の流れの一例を示すフローチャートである。 (A)は横書きの場合に検索用文字列の記述方向が変化した場合に文字列の分割を説明するための図であり、(B)は縦書きの場合に検索用文字列の記述方向が変化した場合に文字列の分割を説明するための図である。 本発明の第2実施形態に係わるコンピュータネットワークシステムの概略構成を示す図である。 本発明の第2実施形態に係わるコンピュータネットワークシステムにおける画像形成装置の構成を示すブロック図である。 本発明の第2実施形態に係わる画像形成装置における画像処理部の詳細な機能を示す機能ブロック図である。 (A)は本発明の第2実施形態に係わるコンピュータネットワークシステムにおけるコンピュータの構成を示すブロック図であり、(B)はコンピュータの各プログラムの機能を示す機能ブロック図である。 検索対象テキストの左上位置や座標を説明するための図である。 (A)は文字列の検索開始を説明するための図であり、(B)は検索した文字のハイライト表示の例を示す図である。 (A)は文字列の検索を説明するための図であり、(B)は検索した文字列のハイライト表示の例を示す図である。 (A)は最近傍文字の検索の際に、「最大距離」を設定した場合を説明するための図であり、(B)は「最大距離」の制限によって検索が終了した場合の一例を説明するための図である。 本発明の実施の形態に係わるコンピュータネットワークシステムにおけるコンピュータで行われるPDFファイルの文字検索を行う際の処理の流れの一例を示すフローチャートである。
符号の説明
10、78 画像形成装置
24 画像処理部
44 文字/画像レイアウト解析
46 文字画像/非文字画像分離
54 段組判定
56 行列判定
58 文字判定
60 OCR処理
62 OCR中間データ解析
64 OCR結果テキスト貼付け位置決め
66 テキスト/画像レイヤー合成
68 PDFフォーマット変換
80 コンピュータ
164 ファイル検索プログラム
166 強調表示プログラム
168 検索文字列入力ウィンドウ
170 OCR中間データ解析
172 文字列ハイライト

Claims (10)

  1. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段と、
    前記文字認識手段によって得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出手段と、
    注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成する生成手段と、
    前記生成手段によって生成された前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成手段と、
    を備えたデータ処理装置。
  2. 前記生成手段は、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴とする請求項1に記載のデータ処理装置。
  3. 前記生成手段は、前記算出手段によって最近傍文字を順次算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤーを生成することを特徴とする請求項1又は請求項2に記載のデータ処理装置。
  4. 前記生成手段は、前記算出手段によって算出された前記最近傍文字が2以上の場合に、各前記最近傍文字毎の文字列を前記検索用レイヤーとして生成すること特徴とする請求項1〜3の何れか1項に記載のデータ処理装置。
  5. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識手段の前記文字認識結果が前記画像を表すデータに予め合成されたデータにおける前記文字認識結果を解析し、注目文字の最近傍文字を算出する算出手段と、
    検索する文字を入力するための入力手段と、
    前記入力手段によって検索するための文字が入力された場合に、前記入力手段によって入力された文字の前記文字情報に一致する前記文字情報を前記文字認識結果から検索して注目文字として前記算出手段によって前記最近傍文字を算出すると共に、前記入力手段に入力された続く文字の前記文字情報と、前記算出手段によって算出された前記最近傍文字の前記文字情報と、が一致するか否かを順次判定する判定手段と、
    前記判定手段によって前記文字情報が一致すると判定された場合に、一致した文字を強調表示する表示手段と、
    を備えたデータ処理装置。
  6. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップと、
    前記文字認識ステップで得られる前記文字認識結果を解析し、注目文字からの最近傍文字を算出する算出ステップと、
    注目文字の前記文字情報と前記算出手段の算出結果に対応する前記文字情報とを有する文字列を文字検索のための検索用レイヤーとして生成する生成ステップと、
    前記生成ステップで生成した前記検索用レイヤーを文字検索可能なように前記画像を表すデータに合成する合成ステップと、
    を含む処理をコンピュータに実行させるデータ処理プログラム。
  7. 前記生成ステップは、前記文字列と、該文字列と記述方向を逆にした文字列と、を前記検索用レイヤーとして生成することを特徴とする請求項6に記載のデータ処理プログラム。
  8. 前記生成ステップは、前記算出ステップで順次最近傍文字を算出して前記検索用レイヤーを生成する際に、前記最近傍文字の方向が変化した場合に、前記方向が変化したところで文字列を分割して前記検索用レイヤー生成することを特徴とする請求項6又は請求項7に記載のデータ処理プログラム。
  9. 前記生成ステップは、前記算出ステップで算出した前記最近傍文字が2以上の場合に、各前記最近傍文字毎に前記検索用レイヤーを生成すること特徴とする請求項6〜8の何れか1項に記載のデータ処理プログラム。
  10. 文字画像を含む画像のレイアウトの解析結果から文字画像の段組領域を抽出して、抽出した前記段組領域から文字画像の行列を判定し、判定した前記行列から各行列の文字領域を分割し、分割した前記文字領域の文字を前記文字情報及び前記文字位置情報に変換して前記文字情報及び前記文字位置情報を文字認識結果として得る文字認識ステップの前記文字認識結果が前記画像を表すデータに予め合成されたデータにおける前記文字認識結果を解析し、注目文字の最近傍文字を算出する算出ステップと、
    検索する文字を入力するための入力手段によって検索するための文字が入力された場合に、前記入力手段によって入力された文字の前記文字情報に一致する前記文字情報を前記文字認識結果から検索して注目文字として前記算出ステップに前記最近傍文字を算出させると共に、前記入力手段に入力された続く文字の前記文字情報と、前記算出ステップで算出した前記最近傍文字の前記文字情報と、が一致するか否かを順次判定する判定ステップと、
    前記判定ステップで前記文字情報が一致すると判定した場合に、一致した文字を強調表示する表示ステップと、
    を含む処理をコンピュータに実行させるデータ処理プログラム。
JP2007267850A 2007-10-15 2007-10-15 データ処理装置及びデータ処理プログラム Expired - Fee Related JP4983526B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007267850A JP4983526B2 (ja) 2007-10-15 2007-10-15 データ処理装置及びデータ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007267850A JP4983526B2 (ja) 2007-10-15 2007-10-15 データ処理装置及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
JP2009098777A true JP2009098777A (ja) 2009-05-07
JP4983526B2 JP4983526B2 (ja) 2012-07-25

Family

ID=40701746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007267850A Expired - Fee Related JP4983526B2 (ja) 2007-10-15 2007-10-15 データ処理装置及びデータ処理プログラム

Country Status (1)

Country Link
JP (1) JP4983526B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283149A (zh) * 2010-12-28 2013-09-04 国际商业机器公司 用于处理数据元素序列的装置和方法
JP2014049782A (ja) * 2012-08-29 2014-03-17 Kyocera Document Solutions Inc 画像読取装置、文書管理システム、及び画像読取制御プログラム
US8982427B2 (en) 2012-11-20 2015-03-17 Kyocera Document Solutions Inc. Image processing apparatus, image processing method, and storage medium
JP2015122796A (ja) * 2015-02-17 2015-07-02 京セラドキュメントソリューションズ株式会社 画像読取装置、文書管理システム、及び画像読取制御プログラム
JP2016057786A (ja) * 2014-09-08 2016-04-21 コニカミノルタ株式会社 電子文書生成装置、プログラムおよび電子文書生成システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62184587A (ja) * 1986-02-10 1987-08-12 Nippon Telegr & Teleph Corp <Ntt> 単語辞書検索装置
JPH02135582A (ja) * 1988-11-16 1990-05-24 Fujitsu Ltd 文字列方向検出方式
JPH10260993A (ja) * 1997-01-21 1998-09-29 Matsushita Electric Ind Co Ltd 書類の走査画像からのタイトル、見出しおよび写真抽出
JPH10261047A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd 文字認識装置
JPH11219407A (ja) * 1997-11-28 1999-08-10 Fujitsu Ltd 文書画像認識装置および文書画像認識プログラムの記憶媒体
JPH11250041A (ja) * 1998-02-27 1999-09-17 Toshiba Corp 文書処理装置および文書処理方法
JP2000332984A (ja) * 1999-05-14 2000-11-30 Canon Inc 画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体
JP2004046528A (ja) * 2002-07-11 2004-02-12 Fujitsu Ltd 文書方向推定方法および文書方向推定プログラム
JP2004078672A (ja) * 2002-08-20 2004-03-11 Canon Inc 検索可能な文書フォーマットでのスキャン装置
JP2007095102A (ja) * 2006-12-25 2007-04-12 Toshiba Corp 文書処理装置および文書処理方法
JP2007148925A (ja) * 2005-11-29 2007-06-14 Canon Inc 情報処理装置及び情報処理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62184587A (ja) * 1986-02-10 1987-08-12 Nippon Telegr & Teleph Corp <Ntt> 単語辞書検索装置
JPH02135582A (ja) * 1988-11-16 1990-05-24 Fujitsu Ltd 文字列方向検出方式
JPH10260993A (ja) * 1997-01-21 1998-09-29 Matsushita Electric Ind Co Ltd 書類の走査画像からのタイトル、見出しおよび写真抽出
JPH10261047A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd 文字認識装置
JPH11219407A (ja) * 1997-11-28 1999-08-10 Fujitsu Ltd 文書画像認識装置および文書画像認識プログラムの記憶媒体
JPH11250041A (ja) * 1998-02-27 1999-09-17 Toshiba Corp 文書処理装置および文書処理方法
JP2000332984A (ja) * 1999-05-14 2000-11-30 Canon Inc 画像処理装置及び画像再生装置及びシステム及び方法及び記憶媒体
JP2004046528A (ja) * 2002-07-11 2004-02-12 Fujitsu Ltd 文書方向推定方法および文書方向推定プログラム
JP2004078672A (ja) * 2002-08-20 2004-03-11 Canon Inc 検索可能な文書フォーマットでのスキャン装置
JP2007148925A (ja) * 2005-11-29 2007-06-14 Canon Inc 情報処理装置及び情報処理方法
JP2007095102A (ja) * 2006-12-25 2007-04-12 Toshiba Corp 文書処理装置および文書処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283149A (zh) * 2010-12-28 2013-09-04 国际商业机器公司 用于处理数据元素序列的装置和方法
CN103283149B (zh) * 2010-12-28 2016-05-11 国际商业机器公司 用于处理数据元素序列的装置和方法
JP2014049782A (ja) * 2012-08-29 2014-03-17 Kyocera Document Solutions Inc 画像読取装置、文書管理システム、及び画像読取制御プログラム
US8982427B2 (en) 2012-11-20 2015-03-17 Kyocera Document Solutions Inc. Image processing apparatus, image processing method, and storage medium
JP2016057786A (ja) * 2014-09-08 2016-04-21 コニカミノルタ株式会社 電子文書生成装置、プログラムおよび電子文書生成システム
JP2015122796A (ja) * 2015-02-17 2015-07-02 京セラドキュメントソリューションズ株式会社 画像読取装置、文書管理システム、及び画像読取制御プログラム

Also Published As

Publication number Publication date
JP4983526B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
JP5647919B2 (ja) 文字認識装置、文字認識方法、文字認識システム、および文字認識プログラム
US20200065601A1 (en) Method and system for transforming handwritten text to digital ink
JP5031741B2 (ja) 文書視覚構造の文法的な解析
US8155444B2 (en) Image text to character information conversion
US8160402B2 (en) Document image processing apparatus
JP4785655B2 (ja) 文書処理装置及び文書処理方法
JP5663866B2 (ja) 情報処理装置及び情報処理プログラム
US8965125B2 (en) Image processing device, method and storage medium for storing and displaying an electronic document
KR100412317B1 (ko) 문자인식/수정방법및장치
US20150146985A1 (en) Handwritten document processing apparatus and method
US11475688B2 (en) Information processing apparatus and information processing method for extracting information from document image
JP2005173730A (ja) 帳票ocrプログラム、方法及び装置
JP4983526B2 (ja) データ処理装置及びデータ処理プログラム
US10803233B2 (en) Method and system of extracting structured data from a document
US8010564B2 (en) Logical structure analyzing apparatus, method, and computer product
JP2008225695A (ja) 文字認識誤り修正装置およびプログラム
JP2008129793A (ja) 文書処理システムおよび装置および方法、およびプログラムを記録した記録媒体
JP2007310501A (ja) 情報処理装置、その制御方法、及びプログラム
JP5353325B2 (ja) 文書データ生成装置と文書データ生成方法
JPH08320914A (ja) 表認識方法および装置
JP7252818B2 (ja) デジタル文書からのデータ抽出システム
Alzuru et al. Cooperative human-machine data extraction from biological collections
JP2020047031A (ja) 文書検索装置、文書検索システム及びプログラム
JP2010092426A (ja) 画像処理装置、画像処理方法およびプログラム
US11763582B2 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120409

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees