JP2003085477A - 文字認識装置および文字認識結果の訂正方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、ドキュメント系の文字認識処理に於
いて、認識した結果を訂正用紙に印刷出力して、紙面上
でオペレータが効率よく円滑に修正作業を行なうことの
できるようにした文字認識装置を提供することを課題と
する。 【解決手段】文字列抽出部１０２で抽出された文字列画
像は、文字認識部１０３にて文字認識され、この認識結
果の情報をもとに表示順序決定部１０４は原文書から抽
出した文字列部分の表示順序を決定する。この表示順の
情報と文字認識結果と入力画像とに従い、文字認識結果
／画像合成部１０５は、抽出された入力画像の文字列部
分と対応する文字認識結果として得られた文字コードか
ら作成した文字イメージとを合成した画像を作成する。
文字認識結果／画像合成部１０５で生成された合成画像
は、オペレータの確認、修正作業のための訂正用紙（文
字認識結果の訂正用紙）１０８として画像印刷部１０７
より印刷出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、書籍、書類等の大
量の文字を含む文書を対象に、文字認識結果を修正する
際に適用されるもので、特に、認識結果を一旦、印刷出
力し、紙面上で訂正指示を行なった後に、その訂正内容
を再び読み取らせて修正を行う際に適用して好適な文字
認識装置、および文字認識結果の訂正方法に関する。

【０００２】

【従来の技術】文字認識結果の確認・修正作業に於い
て、紙に認識結果を印刷して行なうチェック方式は、モ
ニター画面に比べ、オペレータの目の疲労を軽減する上
で大きな効果があると考えられる。

【０００３】従来、文字認識結果修正のために、認識結
果を一旦、印刷出力し、紙面上で訂正指示を行ない、そ
の訂正内容を再び読みとらせて修正する方法の例として
は、特開平６−１６４７８１号公報、および特開平７−
３０６９１１号公報が挙げられる。これらの技術は、と
もに認識結果の文字と訂正欄を印刷し、誤認識した文字
に対応する訂正欄に正解文字をオペレータが記入して再
認識させ、結果を置き換える、というものである。

【０００４】しかしながら、これらの手法は、誤認識部
分の修正に、手書き文字を認識させて置き換えるという
方法を採っており、記入文字が再び誤認識された場合、
修正が出来なくなってしまう、という欠点を持ってい
た。

【０００５】また、一枚ずつ順に用紙を入力して文字認
識させ、その都度確認並びに訂正作業を行なう、ＯＣＲ
帳票等を対象とした定形フォーム上での業務しか想定し
ていないことから、書籍、書類等、大量の文字、文章を
含む一般文書を対象とした訂正作業には適用できないと
いう問題があった。すなわち、実際に訂正用紙を生成す
る際に、フォーマットの規定が何らされておらず、書
籍、書類等の一般文書のような大量の文字、文章を含む
場合への配慮が全くなされていない。更に、大量に認識
処理を行なった際に、出力された個々の訂正用紙と認識
処理の対象となった文書画像との関連付けについて何ら
考慮されておらず、一枚ずつ順に用紙を入力して認識さ
せ、その都度、確認・訂正作業を行なうという形態の業
務しか想定していなかった。

【０００６】

【発明が解決しようとする課題】上記したように、文字
認識結果修正のために、認識結果を一旦、印刷出力し、
紙面上で訂正指示を行ない、その訂正内容を再び読みと
らせて修正する従来の技術に於いては、一枚ずつ順に用
紙を入力して文字認識させ、その都度確認並びに訂正作
業を行なう、ＯＣＲ帳票等を対象とした定形フォーム上
での業務しか想定していないことから、書籍、書類等、
大量の文字、文章を含む一般文書を対象とした訂正作業
には適用できないという問題があった。

【０００７】本発明は上記実情に鑑みなされたもので、
ドキュメント系の文字認識処理に於いて、入力された文
書画像を文字認識し、認識した結果を訂正用紙に印刷出
力して、紙面上でオペレータが効率よく円滑に修正作業
を行なうことのできるようにした文字認識装置、および
文字認識結果の訂正方法を提供することを目的とする。

【０００８】また、本発明は、上記訂正の指示を記入し
た訂正用紙を再び入力して、訂正箇所を抽出し、原文書
画像とその認識結果に反映させて誤認識部分を明示する
ことにより、修正効率を上げることができる文字認識装
置、および文字認識結果の訂正方法を提供することを目
的とする。

【０００９】更に、本発明は、訂正用紙と原文書画像と
の対応付けを自動処理することにより、一括認識、一括
確認・訂正、一括修正等、各種形態の作業を可能とし、
かつ文字修正作業の効率を大幅に向上できる文字認識装
置、および文字認識結果の訂正方法を提供することを目
的とする。

【００１０】

【課題を解決するための手段】本発明に係る文字認識装
置は、文字認識対象とする文書の原紙をデータ化する画
像入力部と、この画像入力部で入力した画像中から認識
すべき文字列画像を抽出する文字列抽出部と、この文字
列抽出部で抽出した文字列画像から文字を認識する文字
認識部と、この文字認識部で認識された文字列画像の表
示順を決定する表示順序決定部と、上記文字認識結果と
上記抽出済みの文字列部分の画像とを合成する文字認識
結果／画像合成部、およびその合成形態を指定する操作
部と、上記文字認識結果／画像合成部で合成した画像を
印刷出力する画像印刷部とを備え、オペレータの操作入
力に基づいて原画像と文字認識結果を合成し、訂正用紙
として印刷出力を行なうことを特徴とする。さらに、こ
のようにして印刷出力された校正用紙を用いて、ユーザ
（オペレータ）が文字認識の正誤などの確認を行ない、
誤認識を修正すべき部分があれば、その位置にマーキン
グを行ない、このマーキングされた用紙を利用して、誤
認識した部分の訂正を行なうことを特徴とする。

【００１１】上記文字認識装置に於いて、文字認識を行
なう原文書は、画像入力部により画像データ化され、文
字列抽出部によって、入力された画像中から認識すべき
文字列画像部分が抽出され、文字認識部により文字コー
ド化される。原画像データに含まれる各文字列画像の読
み順は、その位置関係などから表示順序決定部により推
定され、その順番に従って各文字列画像と該画像に対応
する文字認識結果を互いに隣接して配置した合成画像が
文字認識結果／画像合成部により生成される。この合成
画像は、オペレータの確認・修正作業のための訂正用紙
として印刷出力するためのものであり、印刷用紙のサイ
ズに合わせて文字列画像および認識結果を分割して印刷
したり、文字サイズの変更が自動的に行なわれて印刷さ
れる。更に、これに加えてオペレータは、その合成画像
の表示形態を操作部によって指定することができ、文字
認識結果／画像合成部によって、訂正指示を記入するた
めの訂正欄の有無や、文字の表示サイズやフォントの種
類、行方向など、入力指示あるいは予め設定された表示
形態で合成画像の生成を行なうことができる。また、訂
正用紙には、シートＩＤや、原画像データ名、書類名、
訂正用紙であることを示す記号などを付加して印刷して
もよいし、以後の認識処理に役立つ位置合わせ図形を印
刷するようにしてもよい。

【００１２】このようにして印刷出力された訂正用紙を
用いて、ユーザは文字認識の正誤などの確認を行ない、
認識誤りなどの原因によって修正すべき部分があれば、
その位置に誤字であることを示すマーキングを行なう。

【００１３】また、本発明は、上記マーキングされた用
紙を利用し、誤認識した部分の訂正を行なう訂正装置に
於いて、訂正用紙をデータ化する画像入力部と、画像入
力部で読み取った文書画像が訂正用紙であるか否かを判
定する訂正用紙識別部と、訂正用紙である際に、当該訂
正用紙に記入された訂正指示マークを抽出するマーキン
グ検出部と、上記訂正用紙に対応する原画像データ、お
よびその文字認識結果データを呼び出すデータ管理部
と、上記マーキングされた位置と指示内容に応じて文字
認識結果を修正する修正用画像生成部と、上記文字認識
結果をオペレータが修正するための操作部とを備えて、
マーキングされた位置を強調して文字認識結果とその文
字画像を表示し、これに基づくオペレータの操作の結
果、入力される情報に基づいて文字認識結果を修正でき
るようにしたことを特徴とする。

【００１４】上記訂正装置に於いて、上記マーキングさ
れた訂正用紙は、画像入力部にて画像データ化され、訂
正用紙識別部にて訂正用紙であるか否かが判定される。
訂正用紙と判定されれば、マーキング検出部にて、どの
文字部分に対応する位置に訂正指示が記入されているか
を検出する。ここで、訂正指示記号が複数定義されてい
れば、どの訂正指示が記入されているかを判断し、種類
に応じて、表示形式、修正プロセスを自動的に変化させ
る。

【００１５】訂正指示位置および内容が認識されたなら
ば、データ管理部にて、上記訂正用紙に対応する原画像
データ、およびその文字認識結果データを呼び出す。こ
れらの訂正指示位置と指示内容に応じ、画像生成部に
て、誤認識した文字位置を強調して文字認識結果と原画
像の文字画像を並べて構成した画像を生成し、この画像
を表示部に表示する。このようにしてオペレータは、強
調表示された誤認識部分を確認しながら、操作部を介し
文字認識結果の修正を行なうことができる。更に、訂正
用紙に記入される訂正指示記号に複数のバリエーション
を定義し、マーキング検出部で、どのような訂正指示が
記入されていたかを判断させることも可能である。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１７】図１は本発明の第１実施形態に於ける文字
認識装置の構成を示すブロック図である。

【００１８】図１に於いて、１００は原文書、１０１は
画像入力部、１０２は文字列抽出部、１０３は文字認識
部、１０４は表示順序決定部、１０５は文字認識結果／
画像合成部、１０６は操作部、１０７は画像印刷部、１
０８は訂正用紙である。

【００１９】画像入力部１０１に入力された原文書１０
０は画像データ化され、文字列抽出部１０２にて、必要
に応じ当該画像がレイアウト解析され、さらに文字列抽
出される。

【００２０】この文字列抽出部１０２で抽出された文字
列画像は、文字認識部１０３にて文字認識される。これ
らの処理結果や予め与えられた情報などにより、表示順
序決定部１０４は、原文書から抽出した文字列部分の表
示順序を決定する。

【００２１】ここで、表示順序は、例えば、画像中の上
から順に行を取り出してもよいし、左から順であっても
よいし、また、予め与えられたフォーマットと抽出され
た文字列の配置との対応付けを行なって、そのフォーマ
ット情報で指定された表示順に従ってもよいし、また、
文書画像理解の研究分野で良く知られているレイアウト
解析の技術により得られる文字列の読み取り順に従って
もよい。

【００２２】この表示順の情報と文字認識結果と入力画
像とに従い、文字認識結果／画像合成部１０５にて、抽
出された入力画像の文字列部分と、対応する文字認識結
果として得られた文字コードから作成した文字イメージ
とを合成した画像が作成される。

【００２３】この際、入力画像中に異なるサイズの文字
列画像が存在する場合に於いては、文字列画像を最も多
い文字サイズ、またはユーザが指定するサイズに統一し
て修正用画像を生成することにより、より見易い画面を
生成することができる。

【００２４】上記文字認識結果／画像合成部１０５で生
成された合成画像は、オペレータの確認、修正作業のた
めの訂正用紙（文字認識結果の訂正用紙）１０８として
画像印刷部１０７より印刷出力されるもので、印刷用紙
のサイズに合わせて自動的に整形される。例えば、印刷
用紙のサイズよりも文字列画像および認識結果表示され
る文字行の方が長ければ、用紙サイズに合わせて行を途
中で分割して次の行に折り返したり（図３（ａ）参
照）、あるいは文字サイズを小さくして用紙サイズ内に
収める（図３（ｂ）参照）ための変更等が自動的に行な
われた後、画像印刷部１０７より印刷出力される。

【００２５】また、上記処理に加え、オペレータが操作
部１０６を介して、合成画像の表示形態を指定すること
もでき、文字の表示サイズやフォントの種類、行方向な
どの変更、あるいは訂正指示を記入するための訂正欄の
有無などを設定することもできる。

【００２６】上記画像印刷部１０７より印刷出力される
文字認識結果の訂正用紙１０８のフォーマット例を図４
乃至図８に示す。

【００２７】図４に示す文字認識結果の訂正用紙１０８
は、原画像から抽出した文字列部分４０１と、その文字
認識結果４０２を並べて印刷した例である。この図で
は、文字認識結果４０２は、原画像に比べて小さめに出
力されているが、同サイズで出力してもよいし、原画像
の文字が微小なケースでは大きめの出力にしてもよい。
または、文字列部分４０１と文字認識結果４０２の色を
変えてもよい。

【００２８】図５に示す文字認識結果の訂正用紙１０８
は、上記文字列部分４０１と文字認識結果４０２に、訂
正指示を記入するための訂正記入欄（チェックボック
ス）４０３を加えたものであり、図６、図７、図８はそ
れぞれ、その変形例である。

【００２９】また、これら文字認識結果の訂正用紙１０
８を印刷出力する前処理として、文字認識過程で得られ
た各文字の類似度の中から低い部分、または文章処理と
して意味が通らない部分、単語あるいは字の並びとして
不自然な部分が無いか判定し、検出された部分に対し印
刷色を変えたり、強調表示するなどしてもよい。

【００３０】またオペレータは、文字列画像や認識結果
に加え、シートＩＤや、原画像のデータ名、書類名など
の印刷の有無を設定してもよいし、以後の認識処理時に
有効な位置合わせ図形や訂正用紙であることを示すため
の記号を印刷するようにしてもよい。

【００３１】これらの入力指示、あるいは予め設定され
た表示形態に従って文字認識結果／画像合成部１０５は
上記合成画像の生成を行なう。この文字認識結果／画像
合成部１０５で生成された合成画像は画像印刷部１０７
によって印刷出力され、文字認識結果の訂正用紙１０８
として出力される。

【００３２】次に、上記第１実施形態で出力した文字認
識結果の訂正用紙１０８を利用して文字認識の誤認識を
訂正することを目的とした、本発明の第２実施形態を説
明する。

【００３３】図２は本発明の第２実施形態に於ける文字
認識装置の構成を示したもので、１００乃至１０８はそ
れぞれ上記した第１実施形態と同様の構成要素である。
図中、１１１は上記第１実施形態により印刷出力された
訂正用紙１０８を用いた訂正作業、１１２は訂正用紙識
別部、１１３はマーキング検出部、１１４はデータ管理
部、１１５は修正用画像生成部、１１６は画像表示部、
１１７は成果物となる訂正結果である。

【００３４】ここで上記図２に示す文字認識装置によ
り、上記第１実施形態で印刷出力した文字認識結果の訂
正用紙１０８を利用して、文字認識の誤認識を訂正する
処理について説明する。

【００３５】上記第１実施形態の処理過程に於いて得ら
れた、入力原画像と、その認識結果、抽出過程で得られ
た各文字の位置情報、印刷出力時に生成した合成画像、
印刷出力時の設定情報等がデータ管理部１１４に格納さ
れている。

【００３６】オペレータは、画像印刷部１０７より印刷
出力された文字認識結果の訂正用紙１０８上で、誤認識
されている部分に対し、訂正指示を記入する。その記入
例を図９および図１０に示す。

【００３７】図９は訂正記入欄の無い文字認識結果の訂
正用紙１０８を用いた場合の記入例であり、図１０は訂
正記入欄の有る文字認識結果の訂正用紙１０８を用いた
場合の記入例である。

【００３８】オペレータに記入された訂正位置を正しく
検出するには、図１０に示すように、枠で記入位置が明
示された、訂正記入欄の有る訂正用紙の方が有利であ
る。図９に示す訂正用紙の例のように、認識結果（ある
いは原画像）の印刷部分上に、直接、訂正指示を記入す
る場合には、記号部分だけを分離して抽出できるよう
に、印刷部分とは異なる色で記入することが望ましい
（図９の例では、印刷部分のうち原画像を黒、認識結果
を青、記入部分を赤としている）。

【００３９】ここでのマーキング例は、誤りのある位置
に丸（○）印（５１）を付ける、塗りつぶし（５３）の
記入を行う、チェックマーク（５２）を付ける、バッテ
ン（５３）を付けるなどであるが、他にも下線を引く、
二重線を引く、スタンプを押すなどの方法が考えられ、
単に、訂正位置を指定するだけならば、どのような記号
を使っても構わない。また、それとは逆に、誤りの種類
に応じてマークの種類を変えてもよい。この場合には、
記入する記号の形と意味の対応を予め規定しておく必要
がある。その例として、文字の脱落時に符号５５で示す
記号、文字の誤り時に符号５６で示す記号、文字の誤っ
た挿入に対して符号５７で示す記号等、それぞれ記号と
意味を対応付けておく。このような意味付けは、マーク
の種類ではなく、記入時の「色」に持たせてもよい。ま
た訂正者毎にマークの種類を変えたり、色を変えたりす
ることもできる。

【００４０】ユーザは、上記のマーキング規定を意識し
て、文字認識結果の訂正用紙１０８を目視しながら文字
認識の結果確認を行ない、誤りを見つけた位置にマーク
を記入する。

【００４１】記入が完了した訂正用紙は、画像入力部１
０１に入力されて画像データ化され、訂正用紙識別部１
１２に於いて、文字認識結果の訂正用紙１０８であるか
否かの判定処理が行なわれる。

【００４２】この識別判定の一例として、予め訂正用紙
１０８のフォーマットとして、訂正用紙１０８であるこ
とを示す記号の種類と印刷位置を規定しておくことによ
り、所定の位置にその記号が存在するか否かを判定させ
る方法がある。あるいは、入力画像中の各文字行に、訂
正入力欄が付随したとき、文字認識結果の訂正用紙１０
８として判断させてもよいし、操作部１０６から訂正用
紙であることをオペレータが直接入力指示してもよい。

【００４３】入力画像が文字認識結果の訂正用紙１０８
と判定されたならば、マーキング検出部１１３により、
訂正指示記号の検出を行なう。この際の訂正記号の位置
は、画像内の色情報やその形情報から特定することがで
き、その種類と位置情報が検出される。この手段として
は様々な手法が知られており、公知の技術を用いること
ができる。最も簡単な方法は、文字認識結果の訂正用紙
１０８に印刷されている色とは明確に計算機の処理に於
いて分離できる色で記入を行ない、その色の部分のみを
入力画像から分離、抽出することである。こうすること
により、図９に示すように、印刷部分と重なるような記
入部分（５１〜５４）についても、その記入部分のみを
取り出すことができる。

【００４４】この抽出画像に対し、連結領域検出などの
手段によって、ノイズではない十分な大きさを持つ領域
を検出することにより、訂正記号として判断し、その位
置情報を得ることができる。この位置情報をマーク位置
情報と呼ぶ。

【００４５】次に、このようにして得られたマーク位置
情報から、どの文字に対して訂正指示が行なわれたのか
を特定する方法について述べる。

【００４６】まず、図１０に示したような、一文字一文
字が区別できるような枠で仕切られた訂正指示記入欄を
持った文字認識結果の訂正用紙１０８の場合について記
す。このような罫線で囲まれた訂正枠を含む画像に対
し、水平方向、および垂直方向の画素数の累計を取れ
ば、罫線部分の画素数が他より大きくなるので、各訂正
記入欄、および欄内の各枠の位置を特定することができ
る。

【００４７】ここで、記入された訂正記号と同様に、記
入欄の枠線の色も他の印刷部分と分離が容易な色で印刷
していれば、他の印刷部分を除外でき、記入欄の部分の
みを取り出すことができるので、より罫線位置の特定が
容易となる。

【００４８】罫線位置が検出できれば、既に得ているマ
ーク位置情報と比較し、各訂正記号が、記入欄の、何行
の、何文字目に位置するかを調べることにより、原文書
画像のどの文字に対して訂正指示が行なわれたかが判明
する。

【００４９】また、枠線位置が特定できれば、その枠内
に記入された訂正記号部分の画像のみを取り出すことが
可能となる。図９の符号５５〜５７で示したように、訂
正指示記号の形状に対し、異なる指示内容が定義されて
いるならば、マーキング検出部１１３で、どのような訂
正指示が記入されていたかを判断させ、その種類に応じ
て自動的に、表示形式、修正プロセスを変化させる。こ
の訂正記号の種類の識別には、従来の各種パターン認識
手法を活用して実現することができる。

【００５０】訂正指示位置と、その内容が得られたら、
次に、修正用画像を生成するために、この文字認識結果
の訂正用紙１０８に対応する原画像データおよび、その
文字認識結果データをデータ管理部１１４から呼び出
す。

【００５１】この文字認識結果の訂正用紙１０８に対応
する原画像データ等を検索する手法としては、文字認識
結果の訂正用紙１０８に原画像データ名などを印刷して
おき、その部分を文字認識して対応するデータ名を取得
し、該当するデータを検索する方法がある。この場合、
訂正用紙１０８に印刷しておく情報は、文字としてファ
イル名を印刷しておいてもよいし、特定ルールに基づい
たＩＤ番号でもよいし、ノイズや誤認識に強いバーコー
ドなどの形式で印刷してもよい。また、別の手法とし
て、訂正用紙１０８の内容を文字認識し、その認識結果
に一番近い認識結果が得られている既存の原画像データ
を検索するなどの方法も考えられる。

【００５２】このようにして得られた、マーク位置情
報、および認識結果データ、原画像データ、印刷情報等
をもとに修正画像生成部１１５は修正用画像を生成す
る。その一例を図１１に示す。

【００５３】図７は、訂正画面の表示の一例であり、符
号７１〜７４は、それぞれ訂正用紙の指示内容に応じた
誤認識部分の表示例である。符号７１，７２は、単独の
誤認識文字の状態を表し、符号７３は文字列画像からの
文字切り出しミスを表し、符号７４は濁音、半濁音文字
のミスを表し、それぞれ異なる色で表示した例である。
このように、誤読部分の表示色は訂正記号に合わせて異
なった色を用いてもよいし、特に区別せずに共通の色で
表示してもよい。尚、符号７０は文字の選択位置を表す
カーソルであり、これを誤読箇所へと移動することによ
り、修正を行なう認識結果文字を指定する。

【００５４】次に、図９に示したような、認識結果（あ
るいは抽出された文字列画像）の上に直接、訂正指示が
記入された場合について記す。まずマーキング位置の検
出までは上記図１０に示した例の場合と同様に行なうこ
とができる。

【００５５】しかし、この図９に示す文字認識結果の訂
正用紙１０８では、訂正記入欄が無いので、抽出した訂
正指示記号の位置だけでは、どの認識文字結果に対して
記入された訂正指示なのか判断できない。そこで、訂正
指示記号が記入された位置が、原画像のどの文字に対し
て行なわれかを判定することが必要となる。

【００５６】ここで、訂正用紙１０８全体に対して文字
認識処理を行ない、どの文字画像に対して記号が記入さ
れたかを判定してもよいが、記入時または画像入力時に
汚れやノイズが生じて原画像とは認識結果が異なった
り、入力画像から正しく記入部分と印刷部分が分離でき
ない可能性もあり、やや精密性に欠ける。

【００５７】そこで、訂正用紙１０８に対応する原画像
データと認識結果データをデータ管理部１１４から取得
し、印刷時の設定情報から、印刷時の各文字位置を得
て、マーク位置との比較を行なうことにする。

【００５８】まず、データ管理部１１４から、訂正用紙
に対応する原画像データおよび認識結果データを前述の
例と同様に確定する。次に、訂正用紙１０８の印刷時の
設定情報を反映させ、印刷時に生成された訂正用紙画像
に於ける各文字、および文字列画像の位置を算出する。
しかし、スキャナーなどの画像入力部１０１で訂正用紙
を読み取らせる場合、微妙な位置ズレが生じる可能性が
あるため、得られたマーク位置情報が、この訂正用紙画
像に厳密に対応するとは限らない。そこで、入力された
訂正用紙の画像の位置と、印刷時に生成した訂正用紙用
画像の位置の対応づけを行なうことが必要となる。これ
は例えば、印刷時に校正シート上に図９に符号５０で示
したトンボと呼ばれる位置合わせ図形を予め印刷してお
き、この図形の位置を入力された画像中から検出してそ
の位置と方向と、該図形を印刷時に配置した位置や方向
とのズレから入力画像の位置および方向のズレ量を得る
ことができる。また、トンボなどを用いなくても、検出
された行の位置情報と、印刷時の行画像生成時の位置情
報を対比させて、位置や方向のズレ量を決めてもよい。

【００５９】このようにして上記の位置および方向のズ
レ情報に基づき、入力された画像から検出されたマーク
位置情報を、印刷時に訂正用紙用に生成した画像中に於
ける位置情報に変換することができる。

【００６０】このようして得られた、印刷対象とした原
画像データと、その認識結果データから、入力された訂
正用紙１０８上の各文字列部分画像の位置および、その
認識結果文字の各表示位置と、上記変換したマーク情報
位置とを対比させることによって、当該訂正記号が入力
画像中のどの文字行イメージまたは文字認識結果イメー
ジの、どの文字に対して記入されたのかを特定すること
ができ、図９に示したような訂正枠の無い訂正用紙を用
いた場合にも、図１１に示すような修正画面を生成する
ことができる。

【００６１】上記修正画像生成部１１５にて生成される
修正画像の別の例として、全ての文字列画像および認識
結果を表示するのではなく、誤認識した部分のみを表示
し、修正する場合の画像例を図１２に示す。

【００６２】図１２に於いて、図（ａ）は文書画像の文
字列画像、図（ｂ）は、その認識結果を表し、符号８１
〜８３、および符号８４〜８６は、それぞれ訂正用紙１
０８に記入された指示記号の位置を検出したことにより
得られた誤認識部分である。これらの誤認識部分のみを
取り出して構成した修正画像を図（ｃ）に示している。

【００６３】このように、誤認識部分のみを集めて表示
することによって、誤認識部分の訂正作業を効率化する
ことができる。尚、図１１の例ではマークされた文字の
みを抽出して表示させたが、マークした文字の周辺の文
字列や、文字を含む行、あるいは段落全体を表示させて
もよい。

【００６４】このようにして生成された修正画像を見な
がらオペレータは操作部１０６を介して誤認識した部分
の訂正作業を行なう。

【００６５】この修正作業は図１１の表示画面上に表示
されるカーソル７０を動かして修正を行なう。この例で
は、カーソルは認識文字結果の部分を反転表示している
が、アンダーライン、矩形、色反転、背景色を変えるな
どの表示形態であってもよい。また、文字画像、文字認
識結果のそれぞれにカーソル表示を行ない、連動して動
くようにしてもよい。

【００６６】このカーソルを修正する文字位置へと移動
させ、誤認識文字を正しい文字に置き換えたり、複数文
字が一つに誤認識された部分では認識結果の文字数を増
やして正しい文字数で追加したり、逆に誤認識で文字数
が増えてしまっている部分では余分な認識文字を削除す
るなどして、修正対象となる認識結果を修正し、訂正結
果データ１１７を作成する。この訂正結果データ１１７
はデータ管理部１１４に格納される。

【００６７】尚、これらの修正作業にあたっては、訂正
指示記号の種類に応じて自動的に修正処理を行なった
り、表示形態を変化させてもよい。図１１の例のよう
に、誤認識の原因、状況ごとに表示色を変えたり、削除
記号が記入されていると判定されたときは、その該当部
分の認識結果文字を予め削除したり、挿入記号が記入さ
れている場合には、逆に認識結果文字の表示部分に、追
加文字用に表示領域を追加させてもよい。これらの訂正
処理を自動的に行なう場合、実行前にオペレータが修正
画面で処理内容を確認できるようにしてもよい。または
修正画面に於ける画面表示や修正プロセスを訂正記号の
種類に応じて異ならせるようにしてもよい。例えば、削
除記号が存在すると判定されたときは、その該当部分の
修正を行なうときに自動的に操作モードを削除モードに
設定する、また訂正を示す記号であれば自動的に訂正モ
ードに設定するなどの動作を行なうようにする。あるい
は、訂正指示として、記号ではなく、正解文字が記入さ
れている場合には、対応する文字認識結果データの代わ
りに、当該マーク位置に対応する文字認識結果に置き換
えて表示してもよい。

【００６８】上記した実施形態では、１枚のドキュメン
トを順々に処理してゆくフローを説明したが、複数枚の
ドキュメントを一括して処理するようにしてもよい。す
なわち、複数のドキュメントを一括してスキャンして複
数のドキュメントの画像を蓄積し、これに対して一括し
て文字認識を行なうようにし、また、訂正用紙の印刷も
一括して行なうようにする。修正作業の手順に於いても
同様で、一括して記入済みの用紙をスキャナーで取り込
み、修正も一括して行なうようにできる。

【００６９】この際、複数のドキュメントを一括して処
理する場合には、複数のドキュメントから文字認識結果
と文字画像を集めてきて１枚の訂正用紙を作成するよう
にもできる。また、修正作業時も複数の訂正用紙から修
正用の表示画像データを作成して、これらを一括して修
正するようにもできる。

【００７０】上記の説明では訂正用紙は印刷されるもの
として説明したが、これを印刷せず、ディスプレイ表示
するようにしてもよい。この場合、訂正用紙表示と修正
作業を制御する部分（構成要素）を図１、図２の構成に
付け加える。マーキング作業はポインティングデバイス
などによって行なえるように設定し、この入力されたマ
ーク位置情報に基づいて、修正イメージ生成以降の処理
を行なうようにする。

【００７１】また、上記した実施形態では、認識対象を
文字に限って説明したが、本発明は文字以外にも図形、
画像など他の認識対象にも使用可能であり、認識対象を
文字に限定することなく種々のものに適用できる。

【００７２】

【発明の効果】以上詳記したように本発明によれば、ド
キュメント系の文字認識処理に於いて、入力された文書
画像の文字認識結果を訂正用紙に印刷出力して、紙面上
でオペレータが効率よく円滑に修正作業を行なうことが
できる。また、本発明によれば、上記訂正の指示を記入
した訂正用紙を再び入力して、訂正箇所を抽出し、原文
書画像とその認識結果に反映させて誤認識部分を明示す
ることにより、修正効率を上げることができる。更に、
本発明によれば、訂正用紙と原文書画像との対応付けを
自動処理することにより、一括認識、一括確認・訂正、
一括修正等、各種形態の作業を可能とし、かつ文字修正
作業の効率を大幅に向上できる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に於ける文字認識装置の
構成を示すブロック図。

【図２】本発明の第２実施形態に於ける文字認識装置の
構成を示すブロック図。

【図３】上記各実施形態に於ける原文書の入力処理例を
説明するための図。

【図４】上記各実施形態に於ける文字認識結果の訂正用
紙を用いて入力文書の画像から文字行を検出した例を示
す図。

【図５】上記各実施形態に於ける文字認識結果の訂正用
紙を用いて入力文書の画像から文字行を検出した例を示
す図。

【図６】上記各実施形態に於ける文字認識結果の訂正用
紙を用いて入力文書の画像から文字行を検出した例を示
す図。

【図７】上記各実施形態に於ける文字認識結果の訂正用
紙を用いて入力文書の画像から文字行を検出した例を示
す図。

【図８】上記各実施形態に於ける文字認識結果の訂正用
紙を用いて入力文書の画像から文字行を検出した例を示
す図。

【図９】上記各実施形態に於ける文字認識結果の訂正用
紙上で誤認識されている部分に対し、訂正指示を記入し
た際の記入例を示す図。

【図１０】上記各実施形態に於ける文字認識結果の訂正
用紙上で誤認識されている部分に対し、訂正指示を記入
した際の記入例を示す図。

【図１１】上記第２実施形態に於ける修正画面の一例を
示す図。

【図１２】上記第２実施形態に於ける修正画面の他の一
例を示す図。

【符号の説明】

１００…原文書 １０１…画像入力部 １０２…文字列抽出部 １０３…文字認識部 １０４…表示順序決定部 １０５…文字認識結果／画像合成部 １０６…操作部 １０７…画像印刷部 １０８…訂正用紙 １１１…訂正作業 １１２…訂正用紙識別部 １１３…マーキング検出部 １１４…データ管理部 １１５…修正用画像生成部 １１６…画像表示部 １１７…訂正結果

Claims (13)

【特許請求の範囲】
1. 【請求項１】 紙により供給される原文書を画像情報と
   して入力する画像入力部と、 前記画像入力部で入力した原文書の画像中から認識すべ
   き文字列部分の画像を抽出する文字列抽出部と、 前記文字列抽出部の出力情報を用いて前記抽出された文
   字列画像の表示順を決定する表示順序決定部と、 前記抽出された文字列画像から文字を認識する文字認識
   部と、 前記抽出された各文字列画像と前記文字認識された認識
   結果とを前記表示順序決定部で決定された表示順序に従
   って隣接するように並べ、合成して画像化する合成部
   と、 前記合成部で合成された画像に従う文字認識結果の訂正
   用紙を印刷出力する画像印刷部とを具備したことを特徴
   とする文字認識装置。
2. 【請求項２】 紙により供給される原文書を画像情報と
   して入力する画像入力部と、 前記画像入力部で入力した原文書の画像中から認識すべ
   き文字列部分の画像を抽出する文字列抽出部と、 前記文字列抽出部の出力情報を用いて前記抽出された文
   字列画像の表示順を決定する表示順序決定部と、 前記文字列抽出部で抽出された文字列画像から文字を認
   識する文字認識部と、 前記文字列抽出部で抽出された各文字列画像と前記文字
   認識部で文字認識された認識結果とを前記表示順序決定
   部で決定された表示順序に従って隣接するように並べ、
   当該並べた文字列画像若しくは文字認識された認識結果
   に、訂正指示を記入するためのチェック欄を並べ、合成
   して画像化する合成部と、 前記合成部で合成された画像に従う文字認識結果の訂正
   用紙を印刷出力する画像印刷部と、 を具備したことを特徴とする文字認識装置。
3. 【請求項３】 前記文字列抽出部で抽出された文字列画
   像と、前記文字認識部で文字認識された認識結果とを並
   べた文字認識結果の訂正用紙を前記画像印刷部により印
   刷出力する際に、印刷用紙のサイズに合わせて前記文字
   列画像および認識結果のサイズを拡大・縮小して文字認
   識結果の訂正用紙を印刷出力することを特徴とする請求
   項１または２記載の文字認識装置。
4. 【請求項４】 前記文字列抽出部で抽出された文字列画
   像と、前記文字認識部で文字認識された認識結果とを並
   べた文字認識結果の訂正用紙を前記画像印刷部により印
   刷出力する際に、文字列画像の行の長さまたは認識結果
   のサイズが印刷用紙のサイズに収まらないとき、用紙サ
   イズに合わせて複数行に分割し、以降の行画像を繰り下
   げて、文字認識結果の訂正用紙を印刷出力することを特
   徴とする請求項１または２記載の文字認識装置。
5. 【請求項５】 前記文字列抽出部で抽出された文字列画
   像と、前記文字認識部で文字認識された認識結果とを並
   べた文字認識結果の訂正用紙を前記画像印刷部により印
   刷出力する際に、文字列画像の行の長さまたは認識結果
   のサイズが印刷用紙のサイズに収まらないとき、用紙サ
   イズに合わせて複数行に分割し、以降の行画像を繰り下
   げ、同一行であることを示すためインデントさせて、文
   字認識結果の訂正用紙を印刷出力することを特徴とする
   請求項１または２記載の文字認識装置。
6. 【請求項６】 前記文字認識結果の訂正用紙に、位置合
   わせ図形を印刷して、原画像の所定の位置の文字と訂正
   用紙上の所定の位置の文字を対応させたことを特徴とす
   る請求項１記載の文字認識装置。
7. 【請求項７】 前記画像入力部で入力した原文書の画像
   中に異なるサイズの文字列画像が存在する際に、文字列
   画像および認識結果の出力サイズを、最も多い文字サイ
   ズ、若しくはユーザが指定するサイズに統一して文字認
   識結果の訂正用紙を印刷出力することを特徴とする請求
   項１または２記載の文字認識装置。
8. 【請求項８】 紙により供給される原文書を画像情報と
   して入力する画像入力部と、 前記画像入力部で入力した原文書の画像中から認識すべ
   き文字列部分の画像を抽出する文字列抽出部と、 前記文字列抽出部の出力情報を用いて前記抽出された文
   字列画像の表示順を決定する表示順序決定部と、 前記抽出された文字列画像から文字を認識する文字認識
   部と、 前記抽出された各文字列画像と前記文字認識された認識
   結果とを前記表示順序決定部で決定された表示順序に従
   って隣接するように並べ、合成して画像化する合成部
   と、 前記合成部で合成された画像に従う文字認識結果の訂正
   用紙を印刷出力する画像印刷部と、 訂正指示を記録した前記文字認識結果の訂正用紙が画像
   入力部に供給された際に、当該訂正用紙に記入されたマ
   ーキング位置を検出するマーキング検出部と、 前記訂正用紙に対応する原画像およびその認識結果を管
   理するデータ管理部と、 前記データ管理部よりマーキングされた誤認識部分の原
   画像と認識結果を取得し、当該取得した原画像と認識結
   果を前記マーキングされた誤認識部分を明示して対応付
   けた合成画像を生成し、当該合成画像若しくは原画像を
   表示する画像表示部とを具備したことを特徴とする文字
   認識装置。
9. 【請求項９】 前記文字認識結果の訂正用紙に付したシ
   ートＩＤを読み取るシートＩＤ認識部と、前記シートＩ
   Ｄ認識部で読み取ったシートＩＤをもとに前記データ管
   理部より該当する原文書画像を検索する手段とを具備し
   たことを特徴とする請求項８記載の文字認識装置。
10. 【請求項１０】 前記文字認識結果の訂正用紙の画像か
    ら文字列を抽出する文字列抽出部と、 前記文字列抽出部で抽出された文字列画像から文字認識
    を行う文字認識部と、 前記訂正用紙の画像に対する文字認識結果と、既に得ら
    れている文字認識結果を対比するデータ管理部とを有
    し、 前記訂正指示を記入した訂正用紙が文字認識された後、
    前記データ管理部にて当該訂正用紙の文字認識結果に一
    番近い文字認識結果を持つ原文書画像を検索して関連付
    けることを特徴とする請求項８記載の文字認識装置。
11. 【請求項１１】 紙により供給される原文書の画像中か
    ら認識すべき文字列部分の画像を抽出し、抽出された文
    字列画像から文字を認識して、前記文字列部分の画像と
    その認識結果の画像を順序に従って隣接するように並
    べ、当該並べた文字列画像若しくは認識結果に、訂正指
    示を記入するためのチェック欄を並べて合成した画像を
    生成し、当該画像に従う文字認識結果の訂正用紙を印刷
    出力して、当該訂正用紙を用い文字認識結果の訂正を行
    うことを特徴とする文字認識結果の訂正方法。
12. 【請求項１２】 紙により供給される原文書を画像情報
    として入力する画像入力ステップと、 前記画像入力ステップで入力した原文書の画像中から認
    識すべき文字列部分の画像を抽出する文字列抽出ステッ
    プと、 前記文字列抽出ステップの出力情報を用いて前記抽出さ
    れた文字列画像の表示順を決定する表示順序決定ステッ
    プと、 前記抽出された文字列画像から文字を認識する文字認識
    ステップと、 前記抽出された各文字列画像と前記文字認識された認識
    結果とを前記表示順序決定ステップで決定された表示順
    序に従って隣接するように並べ、合成して画像化する合
    成ステップと、 前記合成ステップで合成された画像に従う文字認識結果
    の訂正用紙を印刷出力する画像印刷ステップとを具備し
    たことを特徴とする文字認識結果の訂正方法。
13. 【請求項１３】 紙により供給される原文書を画像情報
    として入力する画像入力ステップと、 前記画像入力ステップで入力した原文書の画像中から認
    識すべき文字列部分の画像を抽出する文字列抽出ステッ
    プと、 前記文字列抽出ステップの出力情報を用いて前記抽出さ
    れた文字列画像の表示順を決定する表示順序決定ステッ
    プと、 前記文字列抽出ステップで抽出された文字列画像から文
    字を認識する文字認識ステップと、 前記文字列抽出ステップで抽出された各文字列画像と前
    記文字認識ステップで文字認識された認識結果とを前記
    表示順序決定ステップで決定された表示順序に従って隣
    接するように並べ、当該並べた文字列画像若しくは文字
    認識された認識結果に、訂正指示を記入するためのチェ
    ック欄を並べ、合成して画像化する合成ステップと、 前記合成ステップで合成された画像に従う文字認識結果
    の訂正用紙を印刷出力する画像印刷ステップと、 を具備したことを特徴とする文字認識結果の訂正方法。