JP2017174199A - 情報出力装置、情報出力方法、及び情報出力プログラム - Google Patents

Abstract

【課題】文字情報を精度良く認識する。【解決手段】管理装置１は、文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部１１と、紙媒体の画像情報を取得する取得部１２１と、記憶部１１に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する特定部１２３と、特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する出力部１２４と、を備える。【選択図】図２

Description

本発明は、情報出力装置、情報出力方法、及び情報出力プログラムに関する。

従来、レシート、領収書、及び名刺等の紙媒体を光学的に読み取って画像情報を取得し、当該画像情報に含まれる文字情報を認識することが行われている。例えば、特許文献１には、帳票を示す画像情報を取得すると、当該画像情報に対応する帳票の種類を判定し、判定した種類に対応する帳票のフォーマットに基づいて、当該画像情報から文字情報を取得するシステムが開示されている。

特開２０００−１３２６２７号公報

ところで、レシート、領収書、及び名刺等の紙媒体には、様々なフォントの文字情報が含まれている。また、文字情報が示す文字には、０やｏやＯ等のように類似する文字や、漢字等の複雑な文字や、絵文字風の文字等が含まれている。このため、従来のシステムでは、紙媒体を光学的に読み取って取得された画像情報から、各種のフォントに対応して、文字情報を精度良く認識することができないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、文字情報を精度良く認識することができる情報出力装置、情報出力方法、及び情報出力プログラムを提供することを目的とする。

本発明の第１の態様に係る情報出力装置は、文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部と、紙媒体の画像情報を取得する取得部と、前記記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する特定部と、特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する出力部と、を備える。

前記情報出力装置は、前記取得部が取得した画像情報から文字情報を抽出する抽出部をさらに備え、前記特定部は、前記記憶部に記憶されている入力情報のうち、前記抽出部によって抽出された文字情報を含む入力情報を特定し、当該入力情報に関連付けられている画像情報の中から、取得された画像情報と類似する画像情報をさらに特定してもよい。

前記特定部は、取得された画像情報が示す画像を複数の分割画像に分割して当該複数の分割画像のそれぞれと、前記記憶部に記憶されている画像情報が示す画像を構成する複数の分割画像のそれぞれとの類似度に基づいて、取得された画像情報と類似する画像情報を特定してもよい。

前記情報出力装置は、前記取得部が取得した画像情報から文字情報を抽出する抽出部をさらに備え、前記出力部は、前記関連情報を出力するとともに、前記抽出部によって抽出された文字情報を出力してもよい。
前記出力部は、前記取得部が取得した画像情報に含まれている情報の入力を受け付ける入力画面の入力欄に前記抽出部によって抽出された文字情報を出力するとともに、前記入力画面に、前記関連情報を入力補助情報として出力してもよい。

本発明の第２の態様に係る情報出力方法は、コンピュータにより実行される、紙媒体の画像情報を取得するステップと、文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定するステップと、特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力するステップと、を備える。

本発明の第３の態様に係る情報出力プログラムは、コンピュータを、紙媒体の画像情報を取得する取得部、文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する特定部、及び特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する出力部、として機能させる。

本発明によれば、文字情報を精度良く認識することができるという効果を奏する。

本実施形態に係る管理システムの概要を示す図である。 本実施形態に係る管理装置の構成を示す図である。 管理装置における処理の流れを示すフローチャートである。 類似画像特定処理に係る処理の流れを示すフローチャートである。 画像情報が示す画像の類似度を算出する処理を説明する図である。

［管理装置１の概要］
図１は、本実施形態に係る管理システムＳの概要を示す図である。
管理システムＳは、情報出力装置としての管理装置１と、インターネット等の通信ネットワークを介して管理装置１と通信可能なユーザ端末２とを備え、領収書等の紙媒体の画像に対応する情報を管理するシステムである。

管理装置１は、例えば、個人事業主や中小企業向けの電子データ管理サービスを提供するサーバである。ユーザ端末２は、例えば、個人事業主や中小企業が使用するコンピュータであり、パーソナルコンピュータや、スマートフォン等である。
なお、図１の説明では、管理装置１が、一のユーザが使用するユーザ端末２から画像情報を取得し、当該画像情報に対応して入力された入力情報を登録する例を説明するが、管理装置１は、複数のユーザのそれぞれが使用するユーザ端末２から画像情報を取得するものとする。

管理装置１は、レシートや領収書等の文字情報が含まれる紙媒体の画像を示す画像情報をユーザ端末２から取得すると（図１の（１））、当該画像情報に対して光学文字認識（OCR:Optical Character Recognition）処理を行い、画像情報に含まれている文字情報を抽出する（図１の（２））。

管理装置１は、紙媒体の画像を示す画像情報と、当該画像に対応して過去に入力された入力情報とを関連付けて記憶部１１に記憶しており、記憶部１１に記憶されている画像情報から、取得された画像情報と類似する画像情報を特定する（図１の（３））。管理装置１は、特定した画像情報に関連付けられている入力情報を特定し、当該入力情報と、取得された画像情報から抽出された文字情報とを、ユーザ端末２に送信される入力画面に出力する（図１の（４））。

画像情報に会社名やドメイン等の文字情報が含まれている場合、取得された画像情報と、類似する画像情報とは、これらの文字情報が一致している可能性が高い。これに対して、管理装置１は、類似する画像情報に対応して過去に入力された入力情報を、取得された画像情報に対応する文字情報とするので、取得された画像情報に対応する文字情報を精度良く認識することができる。

入力画面には、情報の入力を受け付ける入力欄が設けられており、抽出された文字情報の少なくとも一部と、特定した画像情報に関連付けられている入力情報の一部とが当該入力欄に出力されるとともに、特定した画像情報に関連付けられている他の入力情報の少なくとも一部が入力補助情報として表示される。このようにすることで、ユーザ端末２のユーザは、紙媒体に示されていない、紙媒体に関連する入力補助情報を参照して、入力欄に入力されている文字情報を適宜修正することができ、紙媒体に対応する情報を効率的に登録することができる。管理装置１は、ユーザ端末２から、入力欄に入力されている文字情報の登録要求を受け付けたことに応じて、当該文字情報を新規入力情報として記憶部１１に記憶させる（図１の（５））。

［管理装置１の構成］
続いて、管理装置１の構成について説明する。図２は、本実施形態に係る管理装置１の構成を示す図である。
管理装置１は、記憶部１１と、制御部１２とを備える。

記憶部１１は、例えば、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶する。例えば、記憶部１１は、制御部１２を、取得部１２１、抽出部１２２、特定部１２３、出力部１２４、及び登録部１２５として機能させる情報出力プログラムを記憶する。また、記憶部１１は、文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像を複数に分割した分割画像と、当該画像に対応して入力された入力情報とを関連付けて記憶する登録情報記憶部１１１を備える。ここで、画像情報が示す画像は、当該画像の解像度に基づいて複数の分割画像に分割されているものとする。

入力情報には、画像情報が示す画像に含まれている文字情報と、当該画像に含まれておらず、当該画像に対応する文字情報とが含まれている。例えば、画像情報に対応する文字情報は、紙媒体の種類を示す種類情報である。また、紙媒体が、領収書や請求書といった帳票類である場合、画像情報に対応する文字情報には、紙媒体に対応する商品の購入履歴や支払履歴等の履歴情報、仕訳情報及び商品画像等が含まれる。

制御部１２は、例えばＣＰＵである。制御部１２は、記憶部１１に記憶されている各種プログラムや、通信ネットワークを介して外部機器から取得したプログラムを実行することにより、管理装置１に係る機能を制御する。制御部１２は、情報出力プログラムを実行することにより、取得部１２１、抽出部１２２、特定部１２３、出力部１２４、及び登録部１２５として機能する。

以下に、制御部１２が備える機能の詳細についてフローチャートを参照しながら説明する。図３は、管理装置１における処理の流れを示すフローチャートである。なお、図３の説明では、一のユーザ端末２から画像情報を取得する際の処理の流れについて説明するが、管理装置１は、複数のユーザ端末２のそれぞれについて、フローチャートに示される処理を実行するものとする。

まず、取得部１２１は、紙媒体の画像情報を取得する（Ｓ１）。具体的には、取得部１２１は、管理装置１にインターネット等の通信ネットワークによって接続されたユーザ端末２に操作画面を表示させて、当該操作画面を介して画像情報の送信操作を受け付ける。ユーザ端末２は、領収書やレシート等の紙媒体をスキャニング又は撮影することによって生成された紙媒体の画像を示す画像情報を予め記憶している。ユーザ端末２は、ユーザから、管理装置１に送信する画像情報の選択を受け付けるとともに選択された画像情報の送信操作を受け付ける。ユーザ端末２は、送信部として機能し、送信操作を受け付けたことに応じて、選択された画像情報を管理装置１に送信する。取得部１２１は、ユーザ端末２から送信された画像情報を受信する。

続いて、抽出部１２２は、取得部１２１によって取得された画像情報から文字情報を抽出する（Ｓ２）。具体的には、抽出部１２２は、取得された画像情報に対して光学文字認識処理を行い、画像情報に含まれている文字情報を抽出する。
続いて、特定部１２３は、記憶部１１の登録情報記憶部１１１に記憶されている画像情報のうち、取得部１２１によって取得された画像情報と類似する画像情報を特定する。具体的には、特定部１２３は、登録情報記憶部１１１に記憶されている入力情報のうち、抽出部１２２によって抽出された文字情報を含む入力情報を特定する（Ｓ３）。

続いて、特定部１２３は、登録情報記憶部１１１において、特定された入力情報に関連付けられている画像情報を１以上特定する（Ｓ４）。
続いて、特定部１２３は、Ｓ４において特定された画像情報の中から、取得部１２１によって取得された画像情報と類似する画像情報をさらに特定する類似画像特定処理を実行する（Ｓ５）。類似画像特定処理の詳細については後述する。

続いて、出力部１２４は、Ｓ５において特定された画像情報と関連付けられて登録情報記憶部１１１に記憶されている入力情報を特定する（Ｓ６）。
出力部１２４は、Ｓ６において特定された入力情報の少なくとも一部を、取得部１２１によって取得された画像情報に関連する関連情報としてユーザ端末２に出力するとともに、Ｓ２において抽出された文字情報をユーザ端末２に出力する（Ｓ７）。

具体的には、出力部１２４は、Ｓ２において抽出された文字情報に基づいて、画像情報に対応する帳票の種類を特定し、特定された種類に対応する入力画面を生成する。そして、出力部１２４は、取得部１２１が取得した画像情報に含まれている情報の入力を受け付ける入力画面の入力欄に、抽出部１２２によって抽出された文字情報の少なくとも一部と、関連情報の一部とを出力するとともに、当該入力画面に、関連情報の他の一部を入力補助情報として出力する。

例えば、抽出部１２２により抽出された文字情報にメールアドレスが含まれている場合、出力部１２４は、抽出部１２２により抽出されたメールアドレスのドメイン部を、Ｓ６において特定された入力情報に含まれるメールアドレスのドメイン部に修正し、入力画面の入力欄に出力する。メールアドレス等の数字やアルファベットを含む文字情報は、誤認識が多いものの、管理装置１は、予め記憶されている入力情報から当該文字情報を流用することができるので、精度良く文字情報を入力することができる。

なお、出力部１２４は、入力画面に、特定部１２３が特定した類似する画像情報を出力してもよい。また、出力部１２４は、入力画面に関連情報を出力せずに、入力画面に、関連情報を含む画面へのリンクを付与するようにしてもよい。例えば、画面情報が領収書に対応しており、関連情報が過去の取引結果である場合に、入力画面に、過去の取引結果を示す画面へのリンクを付与するようにしてもよい。このようにすることで、ユーザは、当該リンクに基づいて、様々な関連情報を参照することができる。

続いて、ユーザ端末２のユーザは、紙媒体に示されていない、紙媒体に関連する入力補助情報を参照して、入力欄に入力されている文字情報を適宜修正する。ユーザ端末２は、ユーザの操作に応じて、管理装置１に、入力画面に入力された新規入力情報の登録要求を行う。
登録部１２５は、ユーザ端末２から新規入力情報の登録要求を受け付けると（Ｓ８）、新規入力情報と、Ｓ１において取得された画像情報とを関連付けて登録情報記憶部１１１に記憶させる（Ｓ９）。

続いて、類似画像特定処理の詳細について説明する。図４は、類似画像特定処理に係る処理の流れを示すフローチャートである。図５は、画像情報が示す画像の類似度を算出する処理を説明する図である。

まず、特定部１２３は、取得部１２１によって取得された画像情報が示す画像を複数の分割画像に分割する（Ｓ５１）。例えば、特定部１２３は、画像情報が示す画像を、当該画像の横幅よりも短い所定長の横幅を有する複数の画像に分割する。図５に示す画像Ｐは、取得部１２１によって取得された画像情報が示す画像であり、特定部１２３は、画像Ｐを破線で区切られる８つの画像に分割する。なお、図５に示す例では、説明を簡単にするために、画像Ｐを８つの画像に分割した例について説明したが、より多くの画像に分割するようにしてもよい。また、特定部１２３は、画像情報が示す画像を、当該画像の横幅よりも短い所定長の横幅を有するとともに、当該画像の高さよりも短い所定長の高さを有する複数の画像に分割してもよい。

また、特定部１２３は、例えば、取得された画像情報の横幅及び高さに基づいて、取得された画像情報に記憶されている画像情報が示す画像の解像度を特定してもよい。そして、特定部１２３は、特定した解像度に基づいて、当該画像を複数の分割画像に分割してもよい。例えば、解像度と、分割数とを関連付けて記憶部１１に記憶させておき、特定部１２３が特定した解像度に関連付けられている分割数に基づいて、取得された画像情報が示す画像を分割してもよい。このようにすることで、管理装置１は、取得された画像情報が示す画像の解像度に基づいて、当該画像を適切な数に分割することができる。

続いて、特定部１２３は、記憶部１１に記憶されている一の画像情報を比較対象情報として選択する（Ｓ５２）。
続いて、特定部１２３は、Ｓ５１において分割された複数の分割画像と、Ｓ５２において選択された比較対象情報に対応する複数の分割画像のそれぞれから、一の分割画像を取得する（Ｓ５３）。具体的には、特定部１２３は、取得部１２１によって取得された画像情報が示す画像における所定位置（例えば、画像の左端）に対応する分割画像から順に一の分割画像を取得する。

続いて、特定部１２３は、取得した２つの分割画像の類似度を算出する（Ｓ５４）。具体的には、特定部１２３は、取得部１２１によって取得された画像情報に対応する分割画像に含まれる複数の画素の画素値と、記憶部１１に記憶され、Ｓ５２において選択された比較対象情報に対応する分割画像に含まれる複数の画素の画素値とを比較して、画素値が一致しているか否かを判定する。特定部１２３は、複数の画素の画素値を２値化することにより、複数の画像のそれぞれの画素値が一致しているか否かを判定する。なお、特定部１２３は、画素値の差分が所定値以内である場合に、画素値が一致していると判定してもよい。特定部１２３は、画素値が一致していると判定された画素の割合に基づいて類似度を算出する。

続いて、特定部１２３は、Ｓ５４において算出した類似度が所定の閾値以上であるか否かを判定する（Ｓ５５）。特定部１２３は、類似度が所定の閾値以上であると判定すると、Ｓ５６に処理を移す。また、特定部１２３は、類似度が所定の閾値未満であると判定すると、取得部１２１によって取得された画像情報と、比較対象情報とが類似しないと判定して、Ｓ５２に処理を移す。すなわち、特定部１２３は、所定位置から順に分割画像の類似度を算出した結果、比較対象情報が類似しないと判定した時点で、比較対象情報に係る類似度の算出を停止し、Ｓ５２に処理を移す。そして、特定部１２３は、他の画像情報を新たな比較対象情報として選択する。

図５に示す例において、特定部１２３は、１つ目の分割画像及び２つ目の分割画像について、比較対象情報の分割画像と類似すると判定し、３つ目の分割画像について、比較対象情報の分割画像と類似しないと判定する。この場合において、特定部１２３は、類似しないと判定した時点で、当該比較対象情報の分割画像に係る類似度の算出を停止し、新たな比較対象情報を選択する。

なお、特定部１２３は、一の分割画像に対して算出した類似度が所定の閾値未満であるか否かに基づいて、取得部１２１によって取得された画像情報と、比較対象情報とが類似するか否かを判定したが、これに限らない。例えば、特定部１２３は、分割画像の類似度が所定回数連続して所定の閾値未満である場合に、取得部１２１によって取得された画像情報と、比較対象情報とが類似しないと判定してもよい。また、特定部１２３は、直近の複数回において算出した類似度のうち、所定割合以上の類似度が所定の閾値未満である場合に、取得部１２１によって取得された画像情報と、比較対象情報とが類似しないと判定してもよい。

文字情報を含む紙媒体では、文字が表示されている領域に対して空白の領域が多いことから、紙媒体を示す画像同士で類似度を算出すると、いずれの類似度も高い状態となる。これに対して、管理装置１は、分割画像が類似しないと判定した時点で、取得部１２１によって取得された画像情報と、比較対象情報とが類似しないと判定するので、類似しないと判定する処理を高速に行うことができるとともに、取得部１２１によって取得された画像情報が示す画像と類似する画像を精度良く特定することができる。

続いて、特定部１２３は、Ｓ５２において選択された画像情報に対応する全ての分割画像で類似度を算出したか否かを判定する（Ｓ５６）。特定部１２３は、全ての分割画像で類似度を算出したと判定すると、Ｓ５７に処理を移し、選択された比較対象情報を、取得部１２１によって取得された画像情報と類似する画像情報の候補とする。そして、特定部１２３は、選択された比較対象情報の識別情報と、類似度の平均とを関連付けて候補情報として一時的に記憶部１１に記憶させる。また、特定部１２３は、全ての分割画像で類似度を算出していないと判定すると、Ｓ５３に処理を移し、次の分割画像を取得する。

続いて、特定部１２３は、記憶部１１に記憶されている全ての画像情報で、類似度を算出したか否かを判定する（Ｓ５８）。特定部１２３は、全ての画像情報で、類似度を算出したと判定すると、Ｓ５９に処理を移す。また、特定部１２３は、全ての画像情報で類似度を算出していないと判定すると、Ｓ５２に処理を移し、類似度を算出していない他の画像情報を新たな比較対象情報として選択する。

Ｓ５９において、特定部１２３は、記憶部１１に一時的に記憶されている候補情報を参照し、類似度の平均が最も高い比較対象情報を、取得部１２１によって取得された画像情報と類似する画像情報と特定する。

［本実施形態における効果］
以上説明した通り、本実施形態に係る管理装置１は、紙媒体の画像情報を取得し、登録情報記憶部１１１に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定し、特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する。

画像情報に会社名やドメイン等の文字情報が含まれている場合、取得された画像情報と、類似する画像情報とは、これらの文字情報が一致している可能性が高い。これに対して、管理装置１は、類似する画像情報に対応して過去に入力された入力情報を、取得された画像情報に対応する文字情報とするので、取得された画像情報に対応する文字情報を精度良く認識することができる。

また、例えば、画像情報に含まれる文字情報の入力を受け付ける入力画面に関連情報を表示させることにより、当該入力画面において文字情報の入力を行うユーザは、紙媒体に示されていない、紙媒体に関連する入力補助情報を参照して、文字情報を入力することができるので、紙媒体に対応する情報を効率的に登録することができる。

また、管理装置１は、取得された画像情報が示す画像を分割した複数の分割画像のそれぞれと、記憶部１１に記憶されている複数の画像情報のそれぞれを分割した複数の分割画像のそれぞれとの類似度とに基づいて、取得された画像情報と類似する画像情報を特定する。分割画像同士の類似度を比較することにより、画面における細かい差異を検出することができるので、管理装置１は、多くの領域が白地である紙媒体の画像についても類似するか否かを精度良く特定することができる。これにより、管理装置１は、比較元の画像が示す紙媒体と同じテンプレートを有する紙媒体の画像を精度良く特定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。例えば、上述の実施形態では、管理装置１は、レシートや領収書等の帳票類に対応する画像情報を取得したが、これに限らず、名刺等の紙媒体に対応する画像情報を取得してもよい。この場合には、画像情報に対応し、当該画像情報が示す画像に含まれていない文字情報には、名刺に対応する取引先の企業情報等が含まれていてもよい。

また、上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。例えば、上述の実施形態では、管理装置１の制御部１２が、情報出力プログラムを実行することにより、制御部１２を、取得部１２１、抽出部１２２、特定部１２３、出力部１２４、及び登録部１２５として機能させたが、これに限らない。例えば、ユーザ端末２の制御部が、情報出力プログラムを実行することにより、制御部を、取得部１２１、抽出部１２２、特定部１２３、出力部１２４、及び登録部１２５として機能させるようにしてもよい。

この場合において、特定部１２３は、管理装置１に記憶されている登録情報記憶部１１１に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する。また、登録部１２５は、入力された文字情報を管理装置１に送信することにより、管理装置１の登録情報記憶部１１１に記憶させる。また、管理装置１が、情報出力プログラムの一部の機能を実行し、ユーザ端末２が、情報出力プログラムの残りの機能を実行するようにしてもよい。

１・・・管理装置、１１・・・記憶部、１１１・・・登録情報記憶部、１２・・・制御部、１２１・・・取得部、１２２・・・抽出部、１２３・・・特定部、１２４・・・出力部、１２５・・・登録部、２・・・ユーザ端末、Ｓ・・・管理システム

Claims (7)

1. 文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部と、
   紙媒体の画像情報を取得する取得部と、
   前記記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する特定部と、
   特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する出力部と、
   を備える情報出力装置。
2. 前記取得部が取得した画像情報から文字情報を抽出する抽出部をさらに備え、
   前記特定部は、前記記憶部に記憶されている入力情報のうち、前記抽出部によって抽出された文字情報を含む入力情報を特定し、当該入力情報に関連付けられている画像情報の中から、取得された画像情報と類似する画像情報をさらに特定する、
   請求項１に記載の情報出力装置。
3. 前記特定部は、取得された画像情報が示す画像を複数の分割画像に分割して当該複数の分割画像のそれぞれと、前記記憶部に記憶されている画像情報が示す画像を構成する複数の分割画像のそれぞれとの類似度に基づいて、取得された画像情報と類似する画像情報を特定する、
   請求項１又は２に記載の情報出力装置。
4. 前記取得部が取得した画像情報から文字情報を抽出する抽出部をさらに備え、
   前記出力部は、前記関連情報を出力するとともに、前記抽出部によって抽出された文字情報を出力する、
   請求項１から３のいずれか１項に記載の情報出力装置。
5. 前記出力部は、前記取得部が取得した画像情報に含まれている情報の入力を受け付ける入力画面の入力欄に前記抽出部によって抽出された文字情報を出力するとともに、前記入力画面に、前記関連情報を入力補助情報として出力する、
   請求項４に記載の情報出力装置。
6. コンピュータにより実行される、
   紙媒体の画像情報を取得するステップと、
   文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定するステップと、
   特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力するステップと、
   を備える情報出力方法。
7. コンピュータを、
   紙媒体の画像情報を取得する取得部、
   文字情報が含まれる紙媒体の画像を示す画像情報と、当該画像に対応して入力された入力情報とを関連付けて記憶する記憶部に記憶されている画像情報のうち、取得された画像情報と類似する画像情報を特定する特定部、及び
   特定された画像情報に関連付けられている入力情報の少なくとも一部を、取得された画像情報に関連する関連情報として出力する出力部、
   として機能させる情報出力プログラム。