JP2011034284A - 文字読取装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】 認識不可文字の修正時における作業効率の改善を図る。
【解決手段】 画像（６１）として入力された文字を認識して文字コードに変換する文字読取装置において、誤認識文字を手書き修正するための手書き修正画面（６８、６９）を表示する表示手段（５８）と、該手書き修正画面に対して行われたユーザ操作を検出する検出手段（５９）と、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段（６２、６３）とを備え、前記表示手段は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示する。
【選択図】 図３

Description

本発明は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の文字読取装置、その制御方法及びプログラムに関する。

コンピュータ応用機器の分野においては、手書き文字や印字された文字を画像として取り込み、この画像と、前もって記憶されたパターンとを照合して文字を特定し、その文字に対応したデータを発生する文字読取装置が用いられている。この文字読取装置を活用することにより、原稿などの紙資産を電子データ化してペーパレスを促進することができる。

しかしながら、文字読取装置の精度は完璧ではなく、かすれ文字やつぶれ文字といった低品質文字を読み込んだ際の誤認識（間違った文字として認識すること）が少なからず発生するため、人為的な修正作業、たとえば、人の目で確認しながら誤認文字を特定し、キーボードや手書き入力装置などを使用して正しい文字を入力し直すという面倒な作業を欠かせない。

かかる修正作業を支援する従来技術としては、たとえば、下記の特許文献１に記載のものが知られている。この従来技術は、画面上に元画像（文字列画像）を表示すると共に認識不可文字が発生した場合は当該文字列画像中の該当箇所（認識不可文字の位置）に所定の認識不可マークを重畳表示するようにしたものである。これによれば、画面上の認識不可マークの有無から認識不可文字の発生の有無を知ることができ、しかも、その認識不可マークの位置から文字列画像中のどの部分の文字が認識不可であったのかを知ることができるので、ユーザは、それらの画面情報に従い、たとえば、キーボードや手書き入力装置を操作する等して所要の文字修正を行うことができる。

特開平５−８９２８０号公報

しかしながら、上記の従来技術にあっては、「文字列画像中の該当箇所（認識不可文字の位置）に所定の認識不可マークを重畳表示する」という構成のため、肝心の認識不可文字が認識不可マークに隠れて見えなくなる仕様になっている。したがって、認識不可文字を修正する際は、依然として、（１）認識不可マークなしの元画像を見て認識不可文字の位置を確認し、（２）その位置に元々あった文字（認識不可となった文字）を見つけ出し、（３）キーボード等を用いて正しい文字を再入力する、といった手順を踏む必要があり、とりわけ、認識不可文字が大量に発生した場合の修正効率が悪いという問題点がある。
また、一般的にパーソナルコンピュータ等に付属のキーボードは、英文配列または母国語配列（例：日本語配列）のキートップになっているので、英語や母国語以外の言語入力ができない。このため、英語や母国語以外の言語、たとえば、韓国語やロシア語あるいは中国語などを入力する際に、キーボードの代わりにＯＣＲを利用することがある。具体的には、ＯＣＲで画像入力し、その画像に含まれる文字を、たとえば、電子翻訳するなどといった利用がなされることがある。しかしながら、このような利用ケースの場合、ＯＣＲによる文字認識が失敗した場合の対策が不十分であった。たとえば、誤認文字が発生した場合に、その対象文字を手書きで再入力することが行われているが、そもそも、その言語を知らない利用者にとって正確な手書き入力は難しく、結局、上記の利用ケースにおいては、正しい翻訳結果を得られないことがあるという問題点がある。

そこで、本発明の目的は、認識不可文字の修正時における作業効率の改善を意図した文字読取装置、その制御方法及びプログラムを提供することにある。

請求項１記載の文字読取装置は、画像として入力された文字を認識して文字コードに変換する文字読取装置において、誤認識文字を手書き修正するための手書き修正画面を表示する表示手段と、該手書き修正画面に対して行われたユーザ操作を検出する検出手段と、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段とを備え、前記表示手段は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とする。
請求項２記載の発明は、請求項１に記載の発明において、前記文字の誤認識を判断する判断手段を更に備え、前記表示手段は、前記判断手段によって誤認識が判断された際にその誤認識文字を手書き修正するための手書き修正画面を表示することを特徴とする。
請求項３記載の発明は、請求項１または２に記載の発明において、前記表示手段は、前記誤認識文字の元画像と、手書き修正のための入力領域であり、手書き入力された文字の筆跡を表示する入力領域とを重ね合わせ、表示されている誤認識文字の上をなぞるようにして手書き入力を行えるようにしたことを特徴とする。
請求項４記載の発明は、請求項１乃至３に記載の発明において、画像として入力された文字の認識結果である文字コードを対象に翻訳処理を実行する翻訳手段を更に備えたことを特徴とする。
請求項５記載の発明は、請求項４に記載の発明において、前記翻訳手段は、画像として入力された文字の認識結果が誤認識である場合に、手書き入力された文字の認識結果である文字コードを対象に翻訳処理を実行することを特徴とする。
請求項６記載の発明は、請求項１乃至５に記載の発明において、画像内より複数の文字領域を検出する検出手段と、前記検出手段により検出された各々の文字領域の文字に対して文字認識を行い、前記翻訳手段による翻訳の対象となる文字領域を選択する選択手段を更に備え、前記翻訳手段は、前記選択手段により選択された文字領域の文字の認識結果である文字コードを対象として翻訳処理を実行することを特徴とする。
請求項７記載の発明は、請求項１乃至６に記載の発明において、前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が、前記誤認識文字の全体的な再入力であるのか、前記誤認文字の部分的な削除、または部分的な加筆であるのかを検出し、前記変更手段は、該検出手段の検出結果が全体的な再入力である場合に前記誤認文字の全体を削除して新たに再入力を行い、部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更するすることを特徴とする。
請求項８記載の文字読取装置は、画像として入力された文字を認識して文字コードに変換する文字読取装置において、誤認識文字を手書き修正するための手書き修正画面を表示する表示手段と、該手書き修正画面に対して行われたユーザ操作を検出する検出手段と、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段とを備え、前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、前記変更手段は、該検出手段の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とする。
請求項９記載の文字読取装置は、請求項８に記載の文字読取装置において、前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が第一の操作パターンであったときに前記誤認文字の部分的な削除であると判断する一方、前記第１の操作パターンと異なる第２の操作パターンであったときに前記誤認文字の部分的な加筆であると判断することを特徴とする。
請求項１０記載の文字読取装置は、請求項９に記載の文字読取装置において、前記第一の操作パターンは削除対象部分のドラッグ操作であり、前記第２の操作パターンは加筆対象部分への線描画操作であることを特徴とする。
請求項１１記載の制御方法は、画像として入力された文字を認識して文字コードに変換する文字読取装置の制御方法において、誤認識文字を手書き修正するための手書き修正画面を表示する表示工程と、該手書き修正画面に対して行われたユーザ操作を検出する検出工程と、該検出工程の検出結果に基づいて前記文字コードを変更する変更工程とを含み、前記表示工程は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とする。
請求項１２記載の制御方法は、画像として入力された文字を認識して文字コードに変換する文字読取装置の制御方法において、誤認識文字を手書き修正するための手書き修正画面を表示する表示工程と、該手書き修正画面に対して行われたユーザ操作を検出する検出工程と、該検出工程の検出結果に基づいて前記文字コードを変更する変更工程とを含み、前記検出工程は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、前記変更工程は、該検出工程の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出工程の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とする。
請求項１３記載のプログラムは、画像として入力された文字を認識して文字コードに変換する文字読取装置のコンピュータに、誤認識文字を手書き修正するための手書き修正画面を表示する表示手段、該手書き修正画面に対して行われたユーザ操作を検出する検出手段、及び、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段としての機能を実現させるプログラムであって、前記表示手段は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とする。
請求項１４記載のプログラムは、画像として入力された文字を認識して文字コードに変換する文字読取装置のコンピュータに、誤認識文字を手書き修正するための手書き修正画面を表示する表示手段、該手書き修正画面に対して行われたユーザ操作を検出する検出手段、及び、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段としての機能を実現させるプログラムであって、前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、前記変更手段は、該検出手段の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とする。

本発明によれば、認識不可文字の修正時における作業効率の改善を意図した文字読取装置、その制御方法及びプログラムを提供することができる。

デジタルカメラ１の正面図及び背面図である。 デジタルカメラの内部ブロック構成図である。 本実施形態の特徴的事項を示す概念的な構成図である。 各機能ブロックを実現するためのソフトウェアフローを示す概念図である。 文字列の利用先の他の一例を示す図である。 誤認文字が発生した場合に全体的な「再入力」を行う場合の例を示す図である。 誤認文字が発生した場合に液晶パネル１８に表示するユーザインターフェース用の手書き修正画面を示す図（その１）である。 誤認文字が発生した場合に液晶パネル１８に表示するユーザインターフェース用の手書き修正画面を示す図（その２）である。 部分的な「削除」の修正を行う際のユーザ操作を示す図である。 部分的な「加筆」の修正を行う際のユーザ操作を示す図である。

以下、本発明の実施形態を、ＯＣＲ機能と文字翻訳機能が搭載されたデジタルカメラを例にして、図面を参照しながら説明する。

図１は、デジタルカメラ１の正面図及び背面図である。この図において、デジタルカメラ１は、たとえば、箱状薄形のカメラボディ２の前面に沈胴式のレンズ鏡筒３や、ストロボ発光窓４、ファインダ前面窓５及びマイク用集音穴６などを配置すると共に、カメラボディ２の上面に電源スイッチ７及びシャッターボタン８などを配置しており、さらに、カメラボディ２の背面にファインダ後面窓９、スピーカ用拡声穴１０、撮影モード／再生モード切り換えスイッチ１１、ズーム操作兼再生表示モード切替スイッチ１２、ＭＥＮＵボタン１３、上下左右方向移動ボタン１４、ＳＥＴボタン１５、ＯＣＲボタン１６、タッチパネル１７及び液晶パネル１８などを配置し、加えて、カメラボディ２の底面に蓋１９を設け、この蓋１９の内部にバッテリ２０とカード型メモリまたはカード型ハードディスクなどの大容量記憶デバイス２１とを着脱可能な状態で実装している。また、カメラボディ２の任意位置（図では背面から見た右側面の上部位置）に横方向の深穴２２が開けられており、この深穴２２に、タッチパネル１７を操作するためのスタイラスペン２３を収容できるようになっている。

図２は、デジタルカメラの内部ブロック構成図である。この図において、デジタルカメラ１は、レンズ鏡筒３に収められた撮影レンズ２４やズームレンズ２５、フォーカスレンズ２６及び絞り機構２７などを含む光学系２８と、この光学系２８を介して取り込まれた被写体２９の像を撮像するＣＣＤやＣＭＯＳ等の二次元イメージセンサを含む撮像部３０と、被写体２９までの距離を測定するコントラストＡＦ方式またはハイブリッドＡＦ方式の測距部３１と、撮像部３０から出力される画像信号に所要の画像処理（ガンマ補正等）を施す画像処理部３２と、光学系２８の絞り機構２７を駆動する絞り駆動部３３と、光学系２８のフォーカスレンズ２６を駆動するフォーカス駆動部３４と、光学系２８のズームレンズ２５を駆動するズーム駆動部３５と、各種キーやスイッチ及びボタン類（シャッターボタン８、撮影モード／再生モード切り換えスイッチ１１、ズーム操作兼再生表示モード切替スイッチ１２、ＭＥＮＵボタン１３、上下左右方向移動ボタン１４、ＳＥＴボタン１５、ＯＣＲボタン１６等）を含む操作部３６と、マイク用集音穴６の裏側に取り付けられたマイクロホン３７やスピーカ用拡声穴１０の裏側に取り付けられたスピーカ３８を含む音声処理部３９と、ストロボ発光窓４の裏側に取り付けられたストロボ発光部４０及びストロボ駆動部４１と、液晶パネル１８を駆動する液晶駆動部４２と、タッチパネル１７のタッチ座標を取り込むタッチ座標入力部４３と、大容量記憶デバイス２１のデータ入出力を制御するデバイスデータ入出力部４４と、デジタルカメラ１の姿勢を検出する姿勢検出部４５と、不図示のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）衛星からの信号を受信してデジタルカメラ１の位置情報（少なくとも緯度経度の座標情報）を検出するＧＰＳ受信部４６と、必要に応じてパーソナルコンピュータ等の外部機器４７との間のデータ入出力を仲介する外部入出力部４８と、充電可能な電池４９やその電池４９の充電部５０及び商用電源からの充電用外部端子５１を含みデジタルカメラ１の各部の動作に必要な電力を発生する電源部５２と、中央制御部５３とを備える。

中央制御部５３は、コンピュータ（以下、ＣＰＵ）５３ａ、不揮発性メモリ（以下、ＲＯＭ）５３ｂ、揮発性メモリ（以下、ＲＡＭ）５３ｃ及び書き換え可能型不揮発性メモリ（以下、ＰＲＯＭ）５３ｄを備えており、ＲＯＭ５３ｂに予め格納されている制御プログラムやＰＲＯＭ５３ｄに予め又は任意に書き込まれるデータをＲＡＭ５３ｃにロードしてＣＰＵ５３ａで実行することにより、つまり、プログラム制御方式によって、このデジタルカメラ１の各部の動作を統括制御するものであるが、この方式（プログラム制御方式）に限定されない。その機能の全て又は一部をハードロジックで実現してもよい。

次に、本実施形態のデジタルカメラ１の機能について説明する。
まず、図示のデジタルカメラ１は、画像記録装置として公知の撮影及び再生の機能を有している。すなわち、このデジタルカメラ１は、操作部３６の撮影モード／再生モード切り換えスイッチ１１が「撮影」位置にあるときに撮影モード（静止画又は動画撮影モード）で動作し、「再生」位置にあるときに再生モードで動作する。

静止画又は動画撮影モードを選択した場合、撮像部３０から周期的（毎秒数十フレーム）に出力される画像信号が、画像処理部３２と中央制御部５３及び液晶駆動部４２を経て液晶パネル１８に出力され、構図確認用のライブビュー画像（スルー画像ともいう）として継続的に表示される。撮影者は、ライブビュー画像を見ながら所望の構図になるように撮影方向や撮像部３０の画角（ズームレンズ２５のズーム量）を調節し、所望の構図が得られたときにレリーズ操作（シャッターボタン８の押し下げ操作）を行う。

そして、レリーズ操作に応答して、フォーカスレンズ２６のＡＦ（自動焦点）処理や絞り機構２７のＡＥ（自動露出）処理などが実行され、撮像部３０から高画質の画像信号が取り出される。この画像信号は、画像処理部３２と中央制御部５３及びデバイスデータ入出力部４４を経て大容量記憶デバイス２１に送られ、撮影済み画像として大容量記憶デバイス２１に記録保存される。この撮影済み画像は、撮像部３０から取り出された高画質の画像信号に相当する生画像（ＲＡＷ画像）であってもよいが、生画像はサイズが大きく、大容量記憶デバイス２１の記憶容量を圧迫するので、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の汎用圧縮技術を用いて圧縮した画像を撮影済み画像として記録することが望ましい。

一方、再生モードを選択した場合は、たとえば、直近に撮影された画像を大容量記憶デバイス２１から読み出して液晶パネル１８に拡大表示するか、あるいは、撮影済み画像の縮小画像を大容量記憶デバイス２１から読み出して液晶パネル１８に一覧表示し、その一覧の中からユーザ操作によって選択された画像（ユーザが再生を希望する画像）の元画像を大容量記憶デバイス２１から読み出して液晶パネル１８に拡大表示する。

以上の撮影モードと再生モードの動作は、従来公知のものであるが、本実施形態においては、それに加えてＯＣＲ機能と翻訳機能とを備える。すなわち、本実施形態のデジタルカメラ１は、文字を含む撮影画像等から文字を認識し、各々の文字を文字コードに変換して、その変換結果を各種処理に利用することができ、しかも、その利用形態の１つとして、その変換結果から得られた文字を対象にして翻訳（母国語の意味を表示すること。）を行うことが可能な文字読取装置に係る特徴的事項を含む。

図３は、本実施形態の特徴的事項を示す概念的な構成図である。この図において、中央制御部５３は、プログラム制御方式によって機能的に実現されたＯＣＲのためのいくつかの特徴的ブロック部、具体的には、文字領域抽出部５４、誤認文字判定部５５、候補文字生成部５６、確定文字生成部５７、手書き修正画面表示部５８、手書き修正情報受付部５９、文字決定部６０、及び、文字コード出力部６１を含み、さらに、手書き修正情報受付部５９は、削除修正受付部６２と加筆修正受付部６３を含む。

文字領域抽出部５４は、このデジタルカメラ１によって直近または以前に撮影された撮影済みの画像（または、外部入出力部４８を介して、たとえば、図２の外部機器４７から取り込まれた画像）６１から文字と看做される領域（以下、文字領域という）を抽出する。誤認文字判定部５５は、抽出された文字領域のそれぞれについて、前もって記憶されたパターンと照合して、照合一致の場合（または一致の度合いが信頼に足る場合）に該当パターンの文字であると特定する一方、いずれのパターンにも一致しないか、または、その一致度合いが信頼に足らない場合、もしくは、複数のパターンに一致した場合に誤認文字が発生したと判定する。

確定文字生成部５７は、文字が特定された場合にその文字を確定文字とする。候補文字生成部５６は、誤認文字が発生した場合にその誤認文字またはそれに近い形の文字を修正対象の候補文字とし、もしくは複数パターンに一致した場合には最も類似性が高いパターンの文字を修正対象の候補文字とする。

手書き修正画面表示部５８は、後で具体的に説明するユーザインターフェース用の「手書き修正画面」を生成し、この手書き修正画面を液晶駆動部４２を介して液晶パネル１８に出力する。

手書き修正情報受付部５９は、「手書き修正画面」を表示中の液晶パネル１８の前面に位置するタッチパネル１７に対して行われるタッチ操作の情報を取り込み、そのタッチ操作の情報に基づき、ユーザによる手書き修正の動作が候補文字に対する全体的な「再入力」であるのか、または、部分的な「削除」であるのか、または、部分的な「加筆」であるのかを判断し、その判断結果に基づいて削除修正受付部６２または加筆修正受付部６３のいずれか一方を起動する。削除修正受付部６２は、候補文字の指定部分を「削除」し、加筆修正受付部６３は、候補文字の指定部分に「加筆」する。削除と加筆の詳細は後述する。

なお、本実施形態において、「削除」と「加筆」は、ユーザによって行われるスタイラスペン２３のタッチ操作から判断するが、このタッチ操作は直感的なものであることが望ましい。たとえば、“捨てる”や“描画”を想起させるような適切な操作パターンは直感的な操作であるといえる。たとえば、前者の“捨てる”を想起させる操作パターン（以下、第１の操作パターン）の具体例はスタイラスペン２３を用いた削除対象部分の枠外方向へのドラッグであり、後者の“描画”を想起させる操作パターン（以下、第２の操作パターン）の具体例は同じくスタイラスペン２３を用いた加筆対象部分への線描画である。これらの直感的操作パターン（第１及び第２の操作パターン）のいずれが行われたかを手書き修正情報受付部５９で判断し、削除修正受付部６２または加筆修正受付部６３のいずれかを起動すればよい。

文字決定部６０は、確定文字生成部５７から取り出された確定文字に対応する文字コードを発生し、または、手書き修正情報受付部５９によって部分的な「削除」や「加筆」の修正が行われた場合には、その修正済み文字に対応する文字コードを発生し、この文字コードを利用するための所定の機能（ここでは、翻訳部６１）に出力する。

なお、本実施形態では、文字決定部６０から取り出される文字コードの利用先を翻訳部６１としているが、すなわち、文字決定部６０から取り出される文字コードを翻訳機能の対象文字として利用しているが、取り出された文字コードの利用先は特に限定しない。文字コード（アスキーコード等）はコンピュータで認識可能なデジタルデータであるから、たとえば、そのまま文字データとして記憶保存してもよいし、または、外部機器４７に出力してもよい。あるいは、このデジタルカメラ１で動作する他のアプリケーション（翻訳ソフトや辞書ソフトなど）に渡してもよく、もしくは、画像Ｇの付加情報（例：ＪＰＥＧ形式画像ファイルのＥｘｉｆデータ）として利用してもよい。

図４は、図３の各機能ブロックを実現するためのソフトウェアフローを示す概念図である。このソフトウェアは、あらかじめＲＯＭ５３ｂに格納されたものであり、ユーザによって操作部３６のＯＣＲボタン１６が押下げ操作されたときにＲＡＭ５３ｃにロードされ、ＣＰＵ５３ａによって実行されるものである。

このソフトウェアを実行すると、まず、認識対象画像（以下、図３の画像Ｇとする。）を読み込む（ステップＳ１）。ここでは、画像Ｇを大容量記憶デバイス２１に記録保存されている撮影済み画像（直近に撮影されたもの、または、過去に撮影されたもの）とするが、これに限らない。外部機器４７から任意に取り込んだ画像であっても構わない。

次に、画像Ｇ内の文字領域を抽出し、画像Ｇに文字が含まれているか否かを判定し（ステップＳ２）、文字が含まれていなければ、そのままソフトウェアを終了し、文字が含まれていれば、抽出された文字領域を対象としてパターン比較により文字認識処理を実行する（ステップＳ３）。

次に、この文字認識処理による誤認文字の有無を判定する（ステップＳ４）。誤認文字とは、いずれの文字パターンとも一致しない文字、または、パターン一致の度合いが信頼性に足らない文字、あるいは、複数の文字パターンに一致した文字のことをいう。

誤認文字の発生を判定しなかった場合（ステップＳ４のＮＯ）は、そのまま確定文字生成の処理（ステップＳ１１）に進み、一方、誤認文字の発生を判定した場合（ステップＳ４のＹＥＳ）は、ステップＳ５〜ステップＳ１０の修正処理に進む。

この修正処理では、まず、修正対象の候補文字を発生する（ステップＳ５）。修正対象の候補文字とは、正しい文字ではないものの概ね形が類似している文字であって、手書き入力装置（タッチパネル１７）を利用してその文字の一部を削除したり加筆したりすることにより、本来の正しい文字に簡単に手直しできる適当な文字のことをいう。

次いで、所定の手書き修正画面を生成して液晶パネル１８に表示する（ステップＳ６）。そして、液晶パネル１８の前面に位置するタッチパネル１７に対するユーザ操作（スタイラスペン２３を用いたタッチ操作）の仕方から、その修正動作が候補文字に対する全体的な「再入力」であるのか、または、部分的な「削除」であるのか、または、部分的な「加筆」であるのかを判断し（ステップＳ７）、その判断結果に従って、全体再入力処理（ステップＳ８）、部分削除処理（ステップＳ９）または部分加筆処理（ステップＳ１０）のいずれかを実行した後、修正処理を抜けて、確定文字生成の処理（ステップＳ１１）に進む。

誤認文字の発生時または非発生時のいずれの場合も、確定文字生成（ステップＳ１１）を行った後、残りの文字領域があるか否かを判定し（ステップＳ１２）、残りの文字領域があれば、再びステップＳ３に戻り、残りの文字領域がなければ、そのまま確定文字を連結した文字列（文字コード列）を生成（ステップＳ１３）する。そして、翻訳モードが設定されているか否かを判断し（ステップＳ１４）、翻訳モードが設定されている場合には、翻訳部６１でその文字列を対象として翻訳を実行し（ステップＳ１５）、また、翻訳モードが設定されていない場合には、その文字列を所定の利用先（その他の機能部）に出力（ステップＳ１６）した後、ソフトウェアを終了する。

図５は、文字列の利用先の他の一例を示す図である。この図において、フォーマット６４は、画像Ｇのファイル構造を概念的に示すものであり、このフォーマット６４は、ファイル名格納部６５、画像データ格納部６６及びユーザデータ部６７を含む。ユーザデータ部６７は、いわゆるＥｘｉｆ形式の画像付加情報の一つであり、任意の利用が認められた汎用領域である。本実施形態においては、特にそれに限定されないが、ＯＣＲによって認識された文字データの利用先として、このユーザデータ部６７への書き込みを例示する。

この例示のようにすれば、たとえば、旅先で地名入りの看板等を撮影したときに操作部３６のＯＣＲボタン１６を押下げ操作して、図４のＯＣＲ機能を実現するためのソフトウェアを実行すれば、画像中の文字（地名）を文字コードに変換して当該画像のユーザデータ部６７に書き込むことができるから、後日における画像の整理を容易にすることができる。このように、文字列の利用先は、先に説明した翻訳部６１以外のものであってもよい。

次に、本実施形態のポイントである誤認文字の修正について、具体的に説明する。
＜第一の例＞
図６は、誤認文字が発生した場合に全体的な「再入力」を行う場合の例を示す図である。（ａ）は、液晶パネル１８に表示された、たとえば、韓国旅行に行った際にデジタルカメラ１で撮影した画像１００１を示している。この画像１００１には韓国語（ハングル文字）で書かれた看板１００２が写っており、画像１００１の撮影者は、デジタルカメラ１の翻訳機能を用いてこの看板１００２の文字の意味を知りたいものとする。このとき、デジタルカメラ１のＣＰＵ５３ａは、看板１００１内の各文字領域１００３、１００４を抽出し、各々の文字領域１００３、１００４に対してパターン比較による文字認識処理を実行する。

ＣＰＵ５３ａは、文字認識処理を行った後、（ｂ）に示すように、各文字領域１００３、１００４の上に重ねて透過型の認識文字１００５、１００６を表示する。透過型とは、その認識文字を透して下層の文字画像が見えるようになっていることをいう。

なお、図６では、１つの看板だけが写っている例を示したが、これは簡単な例を示したに過ぎない。複数の看板が写っていてもよいし、看板に限らない。文字が描かれたものであれば何でもよい。ちなみに、複数の看板が写っている場合には、各々の看板に対応して複数の文字領域が抽出されるので、翻訳したい看板に対応する文字領域内を指示操作するなどして、翻訳したい文字または文字列の選択をできるようにすればよい。

次いで、ユーザ（画像１００１の撮影者）によって、翻訳したい文字または文字列が選択されると、ＣＰＵ５３ａは、その選択された文字または文字列に対応する認識文字を対象として、翻訳処理を実行し、しかる後、（ｃ）に示すように、その翻訳結果を提示するための翻訳結果表示領域１００７）と、その翻訳結果を了承するためのＯＫボタン１００８と、その翻訳結果を否定するための修正ボタン１００９とを液晶パネル１８に表示する。

ここで、修正ボタン１００９は、翻訳したい文字のある文字領域に、元の撮影画像内の文字と異なる形の文字が表示されているとユーザが判断した場合に、そのユーザによって操作（タッチパネル１７へのタッチ操作）されるものであり、この修正ボタン１００９が操作されると、ＣＰＵ５３ａは、翻訳結果表示領域１００７の内容を消去するとともに、翻訳の対象となった認識文字１００５、１００６の内容を消去する。なお、かかる消去動作は、修正ボタン１００９の操作、つまり、ユーザ操作に応答して行われるだけでなく、ＣＰＵ５３ａによる誤認文字の判定、すなわち、文字認識処理によるパターン一致の度合いが信頼性に足らない文字であることをＣＰＵ５３ａが自動判断したときにも行ってもよい。

ユーザによる上記の消去操作やＣＰＵ５３ａによる誤認文字発生判断が行われたとき、ＣＰＵ５３ａは、（ｄ）に示すように、元の撮影画像内の文字１００４を透過表示させた状態で、この透過表示されている位置に手書き文字認識枠１０１０を設定し、ユーザによるスタイラスペン２３を用いた手書き入力動作が行われるまで待機する。

そして、（ｅ）に示すように、ユーザが、この透過表示されている撮影画像内の文字１００４をなぞるようにして、手書き文字認識枠１０１０内に手書き文字入力を行うと、ＣＰＵ５３ａは、この手書き入力された筆跡に基づいて再度文字認識処理を実行する。

このように、この第一の例によれば、ＯＣＲ入力が失敗した場合に、キーボード入力の代わりに手書き文字入力に移行入力するので、知らない国の文字のようにキーボード入力が困難な文字であっても再入力を可能とすることができる。

加えて、この再入力に際しては、撮影画像内の文字１００４を単になぞるだけでよいので、知らない国の文字のようにまったく不明な字形であっても、容易に手書き入力を行うことが可能となる。

＜第二の例＞
次に、文字認識後に表示された文字の一部だけが誤っているような場合に、文字全体を再入力するのではなく、誤っている箇所だけを部分的に削除したり加筆したりする場合の例を説明する。
図７及び図８は、誤認文字が発生した場合に液晶パネル１８に表示するユーザインターフェース用の手書き修正画面を示す図である。これらの図においては、誤認文字として“犬”と“大”を例示している。これは、“犬”と“大”の違いは、右上に“点”があるかないかだけであり、たとえば、“大”の文字にゴミやノイズ等による間違った“点”が加えられてしまった場合に“犬”と誤認してしまうことがあるからであり、あるいは、“犬”の“点”がかすれやつぶれなどによって失われてしまった場合に“大”と誤認してしまうことがあるからである。いうまでもなく、誤認しやすい文字はこの例示に限らない。間違いやすい他の文字であっても同様であるが、本実施形態では説明の便宜上、上記の例示（“犬”と“大”）に従うものとする。

まず、図７及び図８において、文字の修正支援のために、（ａ）に示すような手書き修正画面を使用する。この手書き修正画面は下層のレイヤ６８と、そのレイヤ６８の上に位置する上層のレイヤ６９とからなり、下層のレイヤ６８に修正対象文字（図７では“犬”、図８では“大”）の元画像７０を表示し、上層のレイヤ６９に修正対象の候補文字７１を表示する。つまり、二つのレイヤ６８、６９を積層状態で併設する。
上層のレイヤ６９に表示された候補文字７１はタッチパネル１７によって任意部分の手書き修正が可能になっており、ユーザは必要に応じて候補文字７１の部分的な削除や加筆を行うことができる。なお、このとき、上層の候補画像７１と下層の元画像７０との水平方向の位置関係を図のように若干ずらしておけば、下層の元画像７０がよく見えるようになるから好ましい。あるいは、上層の候補画像７１に透過性を与えると共に、上層の候補画像７１と下層の元画像７０との色を異ならせてもよい。

または、図７及び図８において、（ｂ）に示すような手書き修正画面を使用してもよい。この（ｂ）の例は、二つのレイヤ６８、６９を隣り合わせに併設したものであり、上記の（ａ）とは、二つのレイヤ６８、６９を積層せずに横に並べた点で相違する。なお、ここでは左側に元画像７０を配置し、右側に修正対象の候補画像７１を配置しているが、これに限らない。左右逆であってもよいし、上下に並べても構わない。

図９は、部分的な「削除」の修正を行う際のユーザ操作を示す図である。この図において、“大”を“犬”と誤認した場合、候補文字７１における余分な部分は、明らかに右上の“点”だけである。したがって、この“点”を削除すれば本来の正しい文字、つまり“大”へと簡単に修正することができる。この削除の仕方はいろいろ考えられるが、タッチパネル１７の利用を前提とすれば、たとえば、（ａ）削除したい部分７１ａへのスタイラスペン２３のタッチを検出して、（ｂ）当該部分７１ａの切り出し処理（点線で囲んだ部分の切り出し処理）を行い、次いで、（ｃ）スタイラスペン２３の枠外へのドラッグ操作７１ｂを検出して、切り出した部分７１ａを削除した上、認識文字を“犬”から“大”へと変更すればよい。

このようにすれば、候補文字７１の大方の部分をそのまま利用し、一部を「削除」するだけで文字の修正を行うことができるから、たとえば、文字全体を手書き入力して修正する場合に比べて大幅な効率改善を図ることができる。

図１０は、部分的な「加筆」の修正を行う際のユーザ操作を示す図である。この図において、“犬”を“大”と誤認した場合、候補文字７１における不足の部分は、明らかに右上の“点”だけである。したがって、この“点”を加筆すれば本来の正しい文字、つまり“犬”へと簡単に修正することができる。この加筆の仕方もいろいろ考えられるが、タッチパネル１７の利用を前提とすれば、たとえば、（ａ）加筆したい部分７１ｃへのスタイラスペン２３のタッチを検出し、さらに、（ｂ）そのタッチ位置から連続するスタイラスペン２３のトレース操作７１ｄに追従して線描画の処理を行い、次いで、（ｃ）スタイラスペン２３のタッチパネル１７からの離脱を検出して、その線描画部分を“犬”の右上の点７１ａとなるように整形し、認識文字を“大”から“犬”へと変更すればよい。

このようにしても、候補文字７１の大方の部分をそのまま利用し、一部に「加筆」するだけで文字の修正を行うことができるから、たとえば、文字全体を手書き入力して修正する場合に比べて大幅な効率改善を図ることができる。

以上、説明したとおり、本実施形態によれば、タッチパネル１７を用いて誤認文字を手書き修正する際に、誤認文字に対応した候補文字を表示し、その候補文字の一部を手直し（削除や加筆）するようにしたので、たとえば、誤認文字の全体を手書き入力する場合に比べて大幅な効率改善を図ることができ、とりわけ大量の誤認文字を修正する際の労力軽減と作業時間短縮に大きく寄与する有益な技術を提供することができる。

また、手書き修正する際に、誤認文字の元画像７０を背景にして、その上に修正対象の候補画像７１を重畳表示する（図７及び図８の（ａ）参照）ので、背景の元画像７０をトレースしながら候補文字７１を修正することができ、修正作業の効率化を図ることができる。
同様に、手書き修正する際に、誤認文字の元画像７０の隣に修正対象の候補画像７１を並べて表示する（図７及び図８の（ｂ）参照）ので、背景の元画像７０を見ながら候補文字７１を修正することができ、修正作業の効率化を図ることができる。

なお、以上の説明では、ＯＣＲ機能付のデジタルカメラ１への適用を例にしたが、これに限らないことは当然である。要は、ＯＣＲ機能と手書き入力機能が搭載された電子機器であればよく、たとえば、パーソナルコンピュータや、電子辞書、ゲームマシン、携帯電話機、ファクシミリ装置、または、ＯＣＲ専用機等、いかなるものであってもかまわない。

また、本実施形態の主要な機能は、マイクロコンピュータを含むハードウェア資産と、基本ソフト（ＯＳ）や各種応用プログラムなどのソフトウェア資産との有機的結合によって機能的に実現されるものであるが、ハードウェア資産およびＯＳは汎用のものを利用できるから、本発明にとって欠くことのできない必須の事項は、実質的に、図３の各機能ブロックを実現するためのソフトウェアフロー、すなわち、図４に示すソフトウェアフローに集約されているということがいえる。したがって、本発明は、このソフトウェアフローを含むプログラムそれ自体を包含し、または、そのプログラムのすべてまたはその要部を格納したフレキシブルディスクや磁気ディスク、光ディスク、可搬型半導体記憶装置などの各種記録媒体（それ自体が流通経路に乗るものはもちろん、ネットワーク上にあって記録内容だけを提供するものも含む）を包含する。

１ デジタルカメラ（文字読取装置）
５３ａ ＣＰＵ（コンピュータ、選択手段）
５５ 誤認文字判定部（判断手段）
５８ 手書き修正画面表示部（表示手段）
５９ 手書き修正情報受付部（検出手段）
Ｇ 画像
６１ 翻訳部（翻訳手段）
６２ 削除修正受付部（変更手段）
６３ 加筆修正受付部（変更手段）
６８ レイヤ（手書き修正画面）
６９ レイヤ（手書き修正画面）
Ｓ４ ステップ（判断工程）
Ｓ６ ステップ（表示工程）
Ｓ７ ステップ（検出工程）
Ｓ８ ステップ（変更工程）
Ｓ９ ステップ（変更工程）

Claims (14)

1. 画像として入力された文字を認識して文字コードに変換する文字読取装置において、
   誤認識文字を手書き修正するための手書き修正画面を表示する表示手段と、該手書き修正画面に対して行われたユーザ操作を検出する検出手段と、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段とを備え、
   前記表示手段は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とする文字読取装置。
2. 前記文字の誤認識を判断する判断手段を更に備え、
   前記表示手段は、前記判断手段によって誤認識が判断された際にその誤認識文字を手書き修正するための手書き修正画面を表示することを特徴とする請求項１に記載の文字読取装置。
3. 前記表示手段は、前記誤認識文字の元画像と、手書き修正のための入力領域であり、手書き入力された文字の筆跡を表示する入力領域とを重ね合わせ、表示されている誤認識文字の上をなぞるようにして手書き入力を行えるようにしたことを特徴とする請求項１または２に記載の文字読取装置。
4. 画像として入力された文字の認識結果である文字コードを対象に翻訳処理を実行する翻訳手段を更に備えたことを特徴とする請求項１乃至３に記載の文字読取装置。
5. 前記翻訳手段は、画像として入力された文字の認識結果が誤認識である場合に、手書き入力された文字の認識結果である文字コードを対象に翻訳処理を実行することを特徴とする請求項４に記載の文字読取装置。
6. 画像内より複数の文字領域を検出する検出手段と、
   前記検出手段により検出された各々の文字領域の文字に対して文字認識を行い、前記翻訳手段による翻訳の対象となる文字領域を選択する選択手段を更に備え、
   前記翻訳手段は、前記選択手段により選択された文字領域の文字の認識結果である文字コードを対象として翻訳処理を実行することを特徴とする請求項１乃至５に記載の文字読取装置。
7. 前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が、前記誤認識文字の全体的な再入力であるのか、前記誤認文字の部分的な削除、または部分的な加筆であるのかを検出し、
   前記変更手段は、該検出手段の検出結果が全体的な再入力である場合に前記誤認文字の全体を削除して新たに再入力を行い、部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更するすることを特徴とする請求項１乃至６に記載の文字読取装置。
8. 画像として入力された文字を認識して文字コードに変換する文字読取装置において、
   誤認識文字を手書き修正するための手書き修正画面を表示する表示手段と、該手書き修正画面に対して行われたユーザ操作を検出する検出手段と、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段とを備え、
   前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、
   前記変更手段は、該検出手段の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とする文字読取装置。
9. 前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が第一の操作パターンであったときに前記誤認文字の部分的な削除であると判断する一方、前記第１の操作パターンと異なる第２の操作パターンであったときに前記誤認文字の部分的な加筆であると判断することを特徴とする請求項８に記載の文字読取装置。
10. 前記第一の操作パターンは削除対象部分のドラッグ操作であり、前記第２の操作パターンは加筆対象部分への線描画操作であることを特徴とする請求項９に記載の文字読取装置。
11. 画像として入力された文字を認識して文字コードに変換する文字読取装置の制御方法において、
    誤認識文字を手書き修正するための手書き修正画面を表示する表示工程と、該手書き修正画面に対して行われたユーザ操作を検出する検出工程と、該検出工程の検出結果に基づいて前記文字コードを変更する変更工程とを含み、
    前記表示工程は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とする制御方法。
12. 画像として入力された文字を認識して文字コードに変換する文字読取装置の制御方法において、
    誤認識文字を手書き修正するための手書き修正画面を表示する表示工程と、該手書き修正画面に対して行われたユーザ操作を検出する検出工程と、該検出工程の検出結果に基づいて前記文字コードを変更する変更工程とを含み、
    前記検出工程は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、
    前記変更工程は、該検出工程の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出工程の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とする制御方法。
13. 画像として入力された文字を認識して文字コードに変換する文字読取装置のコンピュータに、
    誤認識文字を手書き修正するための手書き修正画面を表示する表示手段、該手書き修正画面に対して行われたユーザ操作を検出する検出手段、及び、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段としての機能を実現させるプログラムであって、
    前記表示手段は、前記誤認識文字の元画像と修正対象の文字コードに対応した文字とを併設表示することを特徴とするプログラム。
14. 画像として入力された文字を認識して文字コードに変換する文字読取装置のコンピュータに、
    誤認識文字を手書き修正するための手書き修正画面を表示する表示手段、該手書き修正画面に対して行われたユーザ操作を検出する検出手段、及び、該検出手段の検出結果に基づいて前記文字コードを変更する変更手段としての機能を実現させるプログラムであって、
    前記検出手段は、前記手書き修正画面に対して行われたユーザ操作が前記誤認文字の部分的な削除であるのかまたは部分的な加筆であるのかを判断し、
    前記変更手段は、該検出手段の検出結果が部分的な削除である場合に前記誤認文字の指定部分を削除してこの削除後の文字に対応する文字コードに変更し、または、該検出手段の検出結果が部分的な加筆である場合に前記誤認文字の指定部分に加筆してこの加筆後の文字に対応する文字コードに変更することを特徴とするプログラム。

Images