JP2004046388A

JP2004046388A - 情報処理システムおよび文字修正方法

Info

Publication number: JP2004046388A
Application number: JP2002200740A
Authority: JP
Inventors: Mitsuhisa Himaga; 日間賀　充寿; Hisao Ogata; 緒方　日佐男
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-07-10
Filing date: 2002-07-10
Publication date: 2004-02-12

Abstract

【課題】帳票等を扱う業務において光学式文字認識結果修正作業の負担を軽減する、又はこの修正にあたり信頼度の高い修正後データを得られるシステム又は方法を提供することを目的とする。
【解決手段】画像を読み込み光学的に認識した文字情報を修正する文字修正方法は以下のステップからなる、光学的に認識した文字情報を表示する第１ステップと、第１ステップで表示された文字情報の一部を指定する第２ステップと、音声を入力し、音声認識する第３ステップと、第３ステップで認識した結果を前記第２ステップで指定された文字情報によって絞り込む第４ステップと、第４ステップで絞り込んだ情報を表示する第５ステップ。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は光学式文字認識された文字認識結果の修正を行う情報処理システムに関するものである。
【０００２】
【従来の技術】
金融機関等の書類を扱う業種において、書類情報を入力する業務の効率化が非常に重要である。この点を鑑み、帳票などの書類をイメージスキャナ等によって画像として取り込みＯＣＲ等の光学式文字認識機能で文字認識して入力する技術が開発されている。
【０００３】
しかし光学式文字認識機能といえども種々の阻害要因によって常に文字を正しく認識できるわけではない。そこで、文字認識結果が誤っている（誤読）、又はリジェクトされた場合にはキーボード等の入力装置で修正している。
【０００４】
また、音声によって入力した文字情報をさらに音声によって効率よく修正する試みが特開２００１−９２４９３に開示されている。
【０００５】
【発明が解決しようとする課題】
従来技術では、光学式文字認識機能による認識結果の修正作業は、キーボード等を用いて文字を入力し、カナ漢字変換するなど、修正すべき文字数や文字種が多い場合には大きな労力を必要とする。特にイメージスキャナなどを備えた自動取引装置（ＡＴＭ）においては、不特定のエンドユーザーが使用するためキーボードに不慣れな者に対して配慮する必要があり、また金融機関等に設置された営業店システムでは特に数字を認識することも多く、キーボードによる入力では桁を間違える恐れも大きい。
【０００６】
特開２００１−９２４９３には認識情報を音声によって修正する旨が記載されているが、この技術は最初に音声で入力した結果をさらに音声で修正する技術であり、そもそも帳票等を扱う業務において光学式文字認識した結果を音声によって修正する技術ではない。また発声した当人の癖などによって誤認識されていた場合には誤認識が繰り返されることになる。さらに光学、音声にかかわらず前の認識結果によって次の修正の精度を高める工夫もない。
【０００７】
本発明はこれらの課題を鑑みて、帳票等を扱う業務において光学式文字認識結果修正作業の負担を軽減する、又はこの修正にあたり信頼度の高い修正後データを得られるシステム又は方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
文字を認識する文字認識部を有する情報処理システムにおいて、音声を認識する音声認識部と、文字認識部の認識結果を音声認識部の認識結果によって修正する制御部とを有する。
【０００９】
また、上記情報処理システムにおいて、文字認識部の認識結果を表示する表示部と、表示部上の位置を指定して入力する位置指定入力部とを有し、制御部は、位置指定入力装置が指定した位置に表示されている指定文字に基づいて音声認識部の認識結果を絞り込むことを特徴とする情報処理システム。
【００１０】
また、画像を読み込み光学的に認識した文字情報を修正する文字修正方法は以下のステップからなる、光学的に認識した文字情報を表示する第１ステップと、第１ステップで表示された文字情報の一部を指定する第２ステップと、音声を入力し、音声認識する第３ステップと、第３ステップで認識した結果又は音声認識のための音声認識辞書を第２ステップで指定された文字情報によって絞り込む第４ステップと、第４ステップで絞り込んだ情報を表示する第５ステップ。
【００１１】
【発明の実施の形態】
図１〜４を用いて本発明に好適な一実施形態を説明する。本発明は帳票等の書類や文書を読み取って認識するシステムに適用でき、例えば金融機関営業店の窓口システム、帳票を集中管理し修正するセンタのシステム、タッチパネルを備えたＡＴＭや自動発券機などの装置のシステムに適用できる。また、金融機関以外にも帳票・伝票入力そのものを主とする業務、運送会社の荷札入力業務、図書館の新着図書登録業務、アンケートはがきの入力業務など、を行い大量の書類を電子化するシステムにおいても有効である。これらを総称して情報処理システムとも呼ぶ。
【００１２】
図１は本発明を適用したシステムの機能を示すブロック図であり、以下の構成を含む。すなわち帳票などの画像（イメージ）を光学的に入力するスキャナやＦＡＸなどの画像入力装置１０１、画像入力装置１０１によって光学的に入力した画像から文字を認識する文字認識部１０２、音声を入力するマイクなどの音声入力装置１０８、音声入力装置１０８から入力した音声を認識する音声認識部１０９、情報を表示する液晶やＣＲＴなどの表示装置１０６、表示装置１０６に表示された画面上の位置を指定するマウスやタッチパネル、カーソルキーなどの入力装置１０７、上記装置や認識部（１０１〜１０４、１０６〜１１０）を制御する主制御部１０５を有する。文字認識部１０２と音声認識部１０９はソフトウェアの機能であってよく、主制御部１０５と同じ回路上で動作して差し支えない。入力装置はマウス、タブレット等の一般的なポインティングデバイスで問題ないが、表示装置１０６と入力装置１０７はタッチパネル等の表示装置兼入力装置として実現することもでき、更に操作性が向上する。
【００１３】
文字認識部１０２は文字を認識するときに光学的に読み取った画像情報を文字に結び付けて変換するための情報が記憶されている文字認識辞書１０４を参照する。同様に音声認識部１０９は音声を認識するときに音声認識辞書１１０を参照する。音声認識辞書１１０には氏名の音声認識に関するデータベースである氏名辞書、住所の音声認識に関するデータベースである住所辞書などが含まれる。
【００１４】
また、文字認識部１０２と音声認識部１０９は、あらかじめ帳票等の文書中の認識対象部分（認識フィールド）の位置、属性（住所、氏名など）、属性間の関連（例えば、郵便番号と住所とが矛盾しないことを確認することなど）を記憶しているフォーマット定義１０３を参照する。
【００１５】
図２は、画像を読み取り文字認識した結果を音声入力によって修正するときのフローチャートである。左側（Ｓ２０１〜Ｓ２０３、Ｓ２０７〜Ｓ２０９、Ｓ２１２〜Ｓ２１３）が主制御部１０５の処理を示し、右側（Ｓ２０４〜Ｓ２０６、Ｓ２１０〜Ｓ２１１）がオペレータの処理を示すフローチャートである。以下、図２を説明する。
【００１６】
画像入力装置１０１から振込票などの帳票の画像を入力し（ステップＳ２０１）、
入力した画像を文字認識部１０２にて認識する（ステップＳ２０２）。このとき文字認識部１０２によってフォーマット定義１０３を参照して入力した文書又は画像に対応する認識フィールドの文字列を抽出し、住所欄、氏名欄など対象となる認識フィールドの属性によって適切な文字認識辞書１０４を選択して文字認識を行う。例えば氏名欄では複数の氏名が記憶されている文字認識辞書を選択することで文字認識の精度が向上する。
【００１７】
文字認識処理の結果および画像入力装置１０１によって取り込まれた画像を表示装置１０６に表示する（ステップＳ２０３）。このとき認識確信度の低い文字やリジェクトされた文字は表示色を変える、矢印で指示する等の処理をしておくことで、オペレータが容易に修正候補文字であることを認識できる。図３と図４はこのとき表示する画面例であり後述する。
【００１８】
この表示を見てオペレータは修正の要否を判断し（ステップＳ２０４）、認識結果が正しいときにはそのまま結果を承認して終了する。文字認識結果が間違えており、修正が必要なときオペレータは入力装置１０７によって表示装置１０６の画面上の位置指示入力を行い、主制御部１０５がそれを受けると（ステップＳ２０５）その位置に相当する文字（指定文字ともいう）を指定する。
【００１９】
このとき、指定された文字が正解であるのか、誤字であるのかを判断する正誤判断部１１３を主制御部１０５は有している。正誤判断部１１３は、正解又は誤字の判断をシステムで予め定めておいてもよいし、オペレータにより正解である旨又は誤字である旨の入力によって判断してもよい。後者であればケースに応じてオペレータが選択できる。
【００２０】
入力装置１０７でユーザが指定した修正候補文字そのもの或いは修正候補文字を含む単語、文などの文法的単位をユーザは音声入力装置１０８に向かって発声する（ステップＳ２０６）。発声する語は修正対象文字そのものであっても、当該修正対象文字を含む単語や音節などの文字列単位でもよい。
【００２１】
主制御部１０５は、ステップＳ２０６で入力された音声を音声認識部１０９で文字認識する（ステップＳ２０７）。このとき音声認識部１０９によってフォーマット定義１０３を参照してステップ２０５で指定された文字に対応する認識フィールドの属性、すなわち住所欄、氏名欄などによって適切な音声認識辞書１０８を選択する。例えば氏名欄では複数の氏名が記憶されている氏名辞書１１１を音声認識辞書の中から選択することで音声認識の精度が向上する。
【００２２】
さらにステップＳ２０７で認識した結果の一覧を、ステップＳ２０５により指示された情報に基づいて絞り込む（ステップＳ２０８）。
【００２３】
ステップＳ２０８の結果を修正案として表示し（ステップＳ２０８）、オペレータにより結果が確認（ステップＳ２１０）され、表示した修正案に対して確認ボタンの押下などによりオペレータの承認が得られれば修正対象文字列を修正案で置き換えて修正する（ステップＳ２１２）。承認が得られない場合には、再度音声入力を実行するか、キーボード等によって手入力で修正するようにしてもよい（ステップＳ２１１）。
【００２４】
このように、文字認識部１０２と音声認識部１０９とを有することにより、画像を光学的に読み取り音声により修正することができる。光学による文字認識を音声認識で修正することで、キーボード入力のように熟練の必要がない入力を合わせて採用することができ操作性を高めつつ入力の確度を上げることができる。また、帳票等には金額等の数字のデータが多く記載されているが、桁の多い数字をキーボードによって入力すると間違えることも多く、「￥２０，０００，０００」を「にせんまんえん」と発声することにより桁数入力ミスを防ぐことができる。
【００２５】
さらに文字認識結果の一部を指定して音声入力することにより、文字認識の結果を利用して音声認識の精度を高めることができる。この音声認識の精度を高める工夫、特にステップＳ２０３〜Ｓ２０８について図３と図４を用いて説明する。
【００２６】
図３はステップＳ２０３で表示装置１０６に表示する画面例であり、「鈴木一郎」と帳票に記載されていたところ、文字認識部１０２が「鈴本一郎」と認識した例を示している。３０１は表示装置１０６の画像表示エリアであり帳票のイメージそのものが示されている。３０２は表示装置１０６の文字認識結果表示エリアであり、認識フィールド毎に文字認識結果を示している。３０３は郵便番号認識フィールド、３０４は住所認識フィールド、３０５は氏名認識フィールドを示す。３１〜３４はそれぞれ「鈴」、「本」、「一」、「朗」を示し、「本」３２のフォントが大きく強調表示されているのは、文字認識部１０２が「本」という文字の確度が低いと判断しているためである。
【００２７】
オペレータは画像表示エリア３０１と文字認識結果表示エリア３０２とを見比べ、「鈴本一郎」の文字認識が誤っているが「鈴」が正しいことを判断すると、音声による修正を容易にするために「鈴」３１をマウスやタッチパネル等の入力装置１０７によって指定する（ステップＳ２０５参照）。そして「鈴」３１が正しく認識された結果であることを指示したうえで「すずきいちろう」と音声入力装置１０８に向けて発声する。
【００２８】
音声認識部１０９は、入力装置１０７によって指定された位置の認識フィールド、すなわち氏名認識フィールド３０５の属性がフォーマット定義ファイル１０３を参照して氏名であることを得る。音声認識の精度を高めるために認識フィールドに適した属性、すなわち氏名について氏名辞書１１１を選択し、音声認識処理を実行する。
【００２９】
図４の４０１は、「すずきいちろう」と発声されたときの音声認識結果である。音声認識結果４０１には「鈴木一郎」のほかにも「鈴木一朗」や「都築一郎」などが含まれる。ここで先に「鈴」３１が正解として指定されているので、主制御部１０５は音声認識結果４０１の中から「鈴」を含むものに候補を絞り込む。その結果「都築（つづき）」「葛木（くずき）」といった、「すずき」と発音の似ているが「鈴」を含まない氏名を候補から外すことができ、結果として４０２に示す候補に絞り込むことができ、音声認識による文字認識修正の精度を向上できる効果がある。
【００３０】
なお、図３では「鈴」３２のみを指定しているが、「一」３３や「郎」３４を指定することができる。特に複数の文字を指定すると、複数の正解文字が指定されている場合には全ての文字を含む候補のみを音声認識結果４０１から抽出し、候補の数をさらに限定できるのでよい。
【００３１】
以上、正解文字を指定する方法を説明したが、別の例としてオペレータが誤読文字（誤字）を指定する方法もある。文字認識処理の精度が比較的高い場合には、誤読した文字数が少ないので、オペレータが指定する箇所が少ないので誤字を指定する方法のほうが正解文字を指定する方法に比べ効率がよい。また、誤読文字指定方式の方が絞り込みの条件が一般に厳しいため、音声認識辞書の検索範囲を小さく絞り込むことができ、その結果より高い音声認識精度が期待できる。つまり、上述の例で「本」の１文字を誤字指定して「すずきいちろう」と発声すれば、「鈴」「一」「郎」の３文字を含むものに絞り込めるためである。一方、正解文字を指定する上述の方法では文字認識の結果が悪く、正解文字が少ない場合に有効である。
【００３２】
オペレータは、図３の氏名認識エリア３０５において「本」３２を間違えている文字だと指定し、「すずきいちろう」の発声する。
【００３３】
発声を音声入力装置１０８から入力すると、上述したように音声認識部１０９は、氏名に対応する氏名辞書１１１を用いて音声認識処理を実行する。
【００３４】
音声認識処理の結果は図４の４０１に示す通りだが、ここで先に「本」３４が誤字であると指定されているため、主制御部１０５は音声認識結果４０１を、「本」に対して文脈上前後の文字（ここでは横書きなので左右の文字、縦書きの場合には上下の文字。前後文字ともいう）、「鈴」「一」「郎」を含むものに絞り込む。すなわち指定された誤字以外の文字を含むものに絞り込む。結果は４０３に示す。ここで「鈴木イチロー」は「鈴」１文字だけ、「鈴木一朗」は「鈴」と「一」の２文字だけを含んでいるが、「鈴木一郎」は「鈴」「一」「郎」の３文字全てが一致しているため、優先的に表示される。
【００３５】
図２と図４では音声認識結果を正解又は誤字指定された文字で絞り込む方法を示した。この方法では音声認識結果の候補に正解が含まれていないといくら絞り込んでも求める結果は得られないというデメリットもある。一方、先に音声認識辞書１１０を正解又は誤字指定された文字によって絞り込んでから音声認識する方法もあり、絞り込むための時間がややかかるが前者のデメリットは解消する。
【００３６】
また、図３の「本」３２のようにそもそも文字認識部１０２によって確度が低いと認められている文字についてはわざわざステップＳ２０５を踏まずとも自動的に「本」を誤字としてオペレータに正解を発声するよう案内してもよい。また逆に確度が高いと認められている文字を自動的に正解として扱ってもよい。
【００３７】
なお、ステップＳ２０５において文字を指定せずに認識フィールド、例えば図３の氏名認識フィールド３０５を指定することによってもその属性、すなわち氏名によって音声認識辞書１１０を絞り、適切に氏名辞書１１１を用いることができるので音声入力の精度が向上する。
【００３８】
以上説明したように、本発明では文字認識部によって得られた文字認識結果に誤読やリジェクトがあった場合、音声認識技術を用いて当該部分を修正するシステム又は方法を提供する。修正すべき部分はタッチパネル等の入力装置を用いてユーザ（修正する者）が指示し、その部分に入力されるべき文字を音声入力装置に向かって発声する。音声認識に際しては正しい文字認識結果をキーとして探索範囲を限定することにより、音声認識精度の向上を図る。本発明はこの実施形態に限定されるものではなく要旨を逸脱しない範囲で適用が可能である。
【００３９】
【発明の効果】
光学認識した文字の音声で修正するため、キーボードを打つ作業を不要にし、キーボードに不慣れな者などに対する操作性を向上する。
【図面の簡単な説明】
【図１】情報処理システムブロック図
【図２】文字修正方法フローチャート図
【図３】表示画面例
【図４】正解文字指定と誤字指定による音声認識結果の絞り込み例
【符号の説明】
１０１　画像入力装置
１０２　文字認識部
１０３　フォーマット定義
１０４　文字認識辞書
１０５　主制御部
１０６　表示装置
１０７　入力装置
１０８　音声入力装置
１０９　音声認識部
１１０　音声認識辞書
１１１　氏名辞書
１１２　住所辞書
３０１　画像表示エリア
３０２　文字認識結果表示エリア
３０３　郵便番号認識フィールド
３０４　住所認識フィールド
３０５　氏名認識フィールド
４０１　音声認識結果
４０２　正解指定「鈴」による絞り込み結果
４０３　誤字指定「本」による絞り込み結果

Claims

文字を認識する文字認識部を有する情報処理システムにおいて、
音声を認識する音声認識部と、
前記文字認識部の認識結果を前記音声認識部の認識結果によって修正する制御部とを有することを特徴とする情報処理システム。
請求項１記載の情報処理システムにおいて、
前記文字認識部の認識結果を表示する表示部と、
前記表示部上の位置を指定して入力する位置指定入力部とを有し、
前記制御部は、前記位置指定入力装置が指定した位置に表示されている指定文字に基づいて前記音声認識部の認識結果を絞り込むことを特徴とする情報処理システム。
請求項２記載の情報処理システムにおいて、
前記制御部は、前記指定文字が正解であるか誤字であるかを判断する正誤判断部を有し、前記正誤判断部が正解であると判断したとき、前記音声認識部の認識結果のなかから前記指定文字を含む候補を選び出すことを特徴とする情報処理システム。
請求項２記載の情報処理システムにおいて、
前記制御部は、前記指定文字が正解であるか誤字であるかを判断する正誤判断部を有し、前記正誤判断部が誤字であると判断したとき、前記音声認識部の認識結果のなかから前記指定文字の文脈上前後に表示されている前後文字を含む候補を選び出すことを特徴とする情報処理システム。
請求項４記載の情報処理システムにおいて、
前記制御部は、前記前後文字を多く含む候補を優先的に選ぶことを特徴とする情報処理システム。
画像を読み込み光学的に認識した文字情報を修正する文字修正方法は以下のステップからなる、
光学的に認識した文字情報を表示する第１ステップと、
前記第１ステップで表示された文字情報の一部の指定を受け付ける第２ステップと、
入力された音声を音声認識する第３ステップと、
前記第３ステップで認識した音声認識結果又は音声認識のための音声認識辞書を前記第２ステップで指定された文字情報によって絞り込む第４ステップと、
前記第４ステップで絞り込んだ情報を表示する第５ステップ。