JP2021144289A - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】レシートから必要とする文字情報を認識するために要する時間の短縮を可能にする。【解決手段】情報処理装置は、制御部と、撮像部が撮像したレシートの画像データを、撮像部から取得する取得部と、画像データから特定部分の文字画像データを切り出す切出処理部と、切り出された文字画像データから文字情報を認識する文字認識部とを有し、制御部は、文字認識部から出力される文字情報に応じ、次の文字認識の対象とする文字画像データを決定する。【選択図】図５

Description

本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。

各店舗における１日の売上を管理する目的で、ＰＯＳ（＝Point Of sale System）レジスタには、１日の売上を集計した精算レシートを出力する機能が用意されている。また、一部のユーザは、精算レシートに印字された情報を表計算ソフト等に手入力して活用している。

特開２０１２−２２１１８３号公報

ところで、精算レシートは一般に長く、その紙面には多くの文字が印字される。このため、一般的なＯＣＲ（＝Optical Character Recognition）技術を適用して、精算レシートに印字されている全ての文字を認識しようとすると、その処理時間が長くなる問題がある。例えば１枚の精算レシートのＯＣＲ処理に数十秒もの時間を必要とする。数十秒は、ＯＣＲ処理の結果を待つユーザには十分に長い時間であり、複数枚の精算レシートをまとめてＯＣＲ処理したい場合には、待ち時間だけ作業時間が長くなる。

本発明は、レシートから必要とする文字情報を認識するために要する時間の短縮を目的とする。

請求項１に記載の発明は、制御部と、撮像部が撮像したレシートの画像データを、当該撮像部から取得する取得部と、前記画像データから特定部分の文字画像データを切り出す切出処理部と、切り出された前記文字画像データから文字情報を認識する文字認識部とを有し、前記制御部は、前記文字認識部から出力される前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する情報処理装置である。
請求項２に記載の発明は、前記制御部は、前記文字認識部から出力される前記文字情報に対応する金額情報を決定する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記切出処理部は、各行の左端の部分を、前記特定部分として前記文字画像データを切り出す、請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、１つの前記画像データについて、前記文字認識部が前記文字情報の認識を開始する行よりも、当該文字情報の認識を終了する行がレシートの上方に位置する、請求項１〜３のいずれか１項に記載の情報処理装置である。
請求項５に記載の発明は、制御部と、レシートを撮像して画像データを出力する撮像部と、前記撮像部から前記画像データを取得する取得部と、前記画像データから特定部分の文字画像データを切り出す切出処理部と、切り出された前記文字画像データから文字情報を認識する文字認識部とを有し、前記制御部は、前記文字認識部から出力される前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する情報処理システムである。
請求項６に記載の発明は、レシートを撮像して画像データを出力する処理と、前記画像データから特定部分の文字画像データを切り出す処理と、切り出された前記文字画像データから文字情報を認識する処理と、認識された前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する処理とを有する情報処理方法である。

本発明によれば、レシートから必要とする文字情報を認識するために要する時間を短縮できる。

実施の形態１で使用する情報処理システムの構成例を説明する図である。 精算レシートで使用される可能性がある単語と、売上金等の自動入力サービスで扱う単語との対応関係の一例を示す図である。 実施の形態１で使用するユーザ端末の構成例を説明する図である。 実施の形態１で使用するＯＣＲサーバの構成例を説明する図である。 実施の形態１で使用するＯＣＲサーバが実行する処理動作の一例を示すフローチャートである。 ユーザ端末の表示部に表示される画像の例を示す図である。 各行に対応する文字画像データのうち対象文字のサーチに用いる部分を説明する図である。 対象文字のサーチの結果の具体例を説明する図である。 ＯＣＲ処理で認識される情報に紐付けられる情報の例を説明する図である。 マッチングの一例を説明する図である。 値の選択に使用される処理の内容を説明するフローチャートである。 ステップ７における値の選択を説明する図である。 グループ別に値を選択する処理の内容を説明するフローチャートである。 グループ「現金売上」に紐付けられている２つの値から１つを選択する例を説明する図である。 グループ「純売上」に紐付けられている２つの値から１つを選択する例を説明する図である。 ユーザ端末の表示部に表示される売上金等の自動入力結果の画面例を説明する図である。 実施の形態２におけるＯＣＲサーバがＯＣＲ処理を実行する範囲を説明する図である。

以下、添付図面を参照して、実施の形態について詳細に説明する。
＜実施の形態１＞
＜システムの構成＞
図１は、実施の形態１で使用する情報処理システム１の構成例を説明する図である。
図１に示す情報処理システム１は、複数台のユーザ端末１００と、ユーザ端末１００からアップロードされた画像データをＯＣＲ処理し、認識された文字の中から予め定めた情報をユーザ端末１００に通知するＯＣＲサーバ２００とで構成される。
図１に示す情報処理システム１の場合、ユーザ端末１００とＯＣＲサーバ２００は、クラウドネットワーク３００を通じて接続されている。従って、ＯＣＲサーバ２００は、クラウドサーバの一例である。

本実施の形態におけるユーザ端末１００は、精算レシートの撮像により生成された画像データをＯＣＲサーバ２００にアップロードする。本実施の形態における精算レシートとは、日毎の売上を統計的に処理した情報が印字されたレシートの意味で使用する。換言すると、精算レシートは、個々の取引に伴う金額を個別に印字したレシートの意味ではなく、営業日を単位として予め設定された項目別に集計された金額が印字されているレシートである。売上には、例えば現金による売上、クレジットカードによる売上、電子マネーによる売上等がある。この他、精算レシートには、１つの項目に紐付けられる値が１つに限らないという特徴がある。換言すると、精算レシートは、複数の値が紐付けられた項目を含むことがある。一方、消費者が受け取るレシートでは、消費者が購入した又は提供を受けたサービスの内容と対応する金額とが１対１に紐づけられている。

図１に示すユーザ端末１００は、スマートフォンを想定している。もっとも、ユーザ端末１００は、スマートフォン以外の端末、例えばタブレット端末でもよい。
本実施の形態におけるユーザ端末１００は、本体のカメラで撮像された精算レシートの画像データを、ＯＣＲサーバ２００にアップロードする。もっとも、ユーザ端末１００とは別の装置であるデジタルカメラやスキャナで精算レシートを撮像し、各装置から出力される画像データを取得して、ＯＣＲサーバ２００にアップロードしてもよい。
なお、デジタルカメラ等で撮像された画像データをＯＣＲサーバ２００にアップロードする形態であれば、ユーザ端末１００として、ノート型のコンピュータやデスクトップ型のコンピュータを使用してもよい。

本実施の形態におけるユーザ端末１００とＯＣＲサーバ２００とは、連携により売上金等の自動入力サービスを提供する。このため、ユーザ端末１００には、売上金等の自動入力サービスと連携する専用のアプリケーションプログラム（以下「アプリ」という）がインストールされている。従って、ユーザによる精算レシートの撮像は、起動されたアプリの指示に従って行われる。
勿論、他の種類のアプリがユーザ端末１００で実行されている場合には、撮像の対象は精算レシートに限らない。

本実施の形態におけるＯＣＲサーバ２００は、ユーザ端末１００で実行されるアプリとの連携により売上金等の自動入力サービスを提供する。ＯＣＲサーバ２００は、受信した精算レシートの画像データから売上等に関連する数値を読み出し、アップロード元であるユーザ端末１００に通知する機能を実行する。
なお、精算レシートに印字される売上等に関する単語の表現は、ＰＯＳレジスタのメーカによって異なる。そこで、本実施の形態におけるＯＣＲサーバ２００には、ユーザ端末１００で実行されるアプリで使用される単語に、精算レシートに印字される可能性がある単語との対応関係を記録したテーブルを用意する。本実施の形態では、精算レシートに印字される単語のうちテーブルに登録されている単語を登録単語という。

図２は、精算レシートで使用される可能性がある単語と、売上金等の自動入力サービスで扱う単語との対応関係の一例を示す図である。
図２においては、売上金等の自動入力サービスで扱う単語をグループ欄に示している。図２に示す対応関係は、登録単語テーブルとしてＯＣＲサーバ２００に保持されている。図２の場合、グループ欄の「純売上」に対応する登録単語として「純売」、「純売上」、「純売上合計」、「純売上高」、「＊＊総合計」が例示されている。登録単語の表現のゆらぎは、ＰＯＳレジスタのメーカの設定に依存する。
また、グループ欄の「現金売上」に対応する登録単語として「現金」、「現金残高」が例示されている。
なお、グループ欄に設定される単語は一例である。また、グループ欄に設定される単語は、売上金等の自動入力サービスで使用する表現に依存する。

＜ユーザ端末の構成＞
図３は、実施の形態１で使用するユーザ端末１００の構成例を説明する図である。
ユーザ端末１００は、いわゆるコンピュータである。ユーザ端末１００は、各部の動作を制御する制御部１０１と、カメラ１０２と、表示部１０３と、操作入力部１０４と、記憶部１０５と、通信部１０６とを有している。
制御部１０１は、不図示のＣＰＵ（＝Central Processing Unit）、ＲＯＭ（＝Read Only Memory）、ＲＡＭ（＝Random Access Memory）等で構成されている。ＲＯＭには、ＢＩＯＳ（＝Basic Input Output System）等のデータが記憶されている。また、ＲＡＭは、アプリの作業エリアとして使用される。

本実施の形態における制御部１０１は、売上金等の自動入力サービスと連携するアプリの実行に伴って、精算レシートの撮像を促す画面の表示、撮像された画像データのＯＣＲサーバ２００へのアップロード、ＯＣＲサーバ２００から通知された売上金等の数値をはめ込んだ画面の表示等を実行する。
勿論、他のアプリが起動されている場合、制御部１０１は、起動されているアプリに応じた処理を実行する。
カメラ１０２は、撮像部の一例である。本実施の形態の場合、カメラ１０２は、ユーザ端末１００の本体に設けられている。なお、カメラ１０２の用途に制約はなく、精算レシートの撮像以外にも用いられる。
表示部１０３は、例えば液晶ディスプレイや有機ＥＬ（＝Electro Luminescence）ディスプレイである。表示部１０３には、カメラ１０２で撮像された画像や自動入力された売上金等の確認画面が表示される。

操作入力部１０４は、例えばタッチセンサや物理的なボタンで構成される。タッチセンサとしての操作入力部１０４は表示部１０３の表面に配置され、タッチパネルを構成する。
記憶部１０５は、例えば半導体メモリで構成され、撮像された画像データ１０５Ａやアプリが記憶される。なお、ユーザ端末１００がノート型のコンピュータやデスクトップ型のコンピュータの場合、記憶部１０５はハードディスク装置でもよい。
通信部１０６は、クラウドネットワーク３００等に接続された外部端末との通信に用いるデバイスである。通信部１０６は、各種の通信規格に準拠する。通信部１０６は、例えば無線ＬＡＮ（＝Local Area Network）や有線ＬＡＮの通信規格、４Ｇや５Ｇ等の移動通信システムに準拠する。

＜ＯＣＲサーバの構成＞
図４は、実施の形態１で使用するＯＣＲサーバ２００の構成例を説明する図である。
ＯＣＲサーバ２００は、いわゆるコンピュータである。ＯＣＲサーバ２００は、各部の動作を制御する制御部２０１と、記憶部２０２と、通信部２０３とを有している。
制御部２０１は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ等で構成される。ＲＯＭには、ＢＩＯＳ等のデータが記憶されている。また、ＲＡＭは、アプリの作業エリアとして使用される。ＯＣＲサーバ２００は、情報処理装置の一例である。

本実施の形態における制御部２０１は、アプリの実行を通じ、画像データ取得部２０１Ａ、文字切出処理部２０１Ｂ、ＯＣＲ処理部２０１Ｃ、マッチング部２０１Ｄ、値選択部２０１Ｅ、グループ別結果選択部２０１Ｆとして機能する。これらの機能部は、ユーザ端末１００との連携により自動入力サービスを実現する。
画像データ取得部２０１Ａは、ユーザ端末１００から画像データ１０５Ａを取得する機能部である。画像データ取得部２０１Ａは、取得部の一例であり、取得した画像データ１０５Ａを、画像データ２０２Ａとして記憶部２０２に記憶する。

文字切出処理部２０１Ｂは、画像データ２０２Ａの中から文字を含む文字画像データを切り出す機能部である。文字を含む行に対応する画像部分は、文字画像データの一例である。また、文字切出処理部２０１Ｂは、切出処理部の一例である。
本実施の形態における文字切出処理部２０１Ｂは、切り出した文字列画像データのうち予め定めた特定部分を切り出してＯＣＲ処理し、登録単語を含む行か否かを判定する。本実施の形態における文字切出処理部２０１Ｂは、文字画像データの先頭に現れる２文字を特定部分とする。

文字切出処理部２０１Ｂは、画像データ内の各文字の上下（天地）が正しい向きになるように調整した状態で画像データ２０２Ａの処理を開始する。
本実施の形態の場合、文字を含む各行の先頭から２文字を切り出してＯＣＲ処理しているが、切り出す文字は各行の先頭に現れる１文字でも、３文字以上でもよい。
なお、各行の先頭から切り出す文字の数は事前に設定される。文字の数は、文字画像データに登録単語が含まれるか否かの判定が可能であればよい。このため、切り出す文字の数は、登録単語の内容に応じて定められる。もっとも、切り出す文字の数は少ないほどＯＣＲ処理の時間が短くなるため好ましい。先頭２文字が印字される部分は、文字画像データの左端部分の一例である。

本実施の形態の場合、読み出した２文字は、項目部の一部である。切り出した２文字が登録単語の先頭側の一部を含む場合、文字切出処理部２０１Ｂは、対応する行全体の文字をＯＣＲ処理する行に決定する。一方、切り出した２文字が登録単語の先頭側の一部を含まない場合、文字切出処理部２０１Ｂは、次の行の文字画像データの判定に移行する。
文字画像データの先頭に位置する数文字だけをＯＣＲ処理して、行全体の文字をＯＣＲ処理するか否かを判定するので、全ての行の全ての文字をＯＣＲ処理する場合に比して、ＯＣＲ処理される文字数を削減できる。このことは、ＯＣＲ処理に要する時間の短縮に通じる。

本実施の形態における文字切出処理部２０１Ｂは、画像データ２０２Ａの下端から上端の方向に向けて順番に文字画像データを判定の対象とする。本実施の形態で自動入力の対象とする売上金等の文字は、ＰＯＳレジスタの違いによらず、精算レシートの下部に出現するためである。換言すると、文字切出処理部２０１Ｂは、画像データ２０２Ａを、その下端から上端の方向に向けてスキャンする。
文字切出処理部２０１Ｂは、特定部分に文字が印字されていない文字画像データが見つかった場合、その上の行で最初に特定部分に文字が現れる行を、処理対応である文字画像データに対する親の行（親行）として紐付ける。換言すると、親行を有する行の数値部には、親行の項目部が紐付けられる。親行を有する行も、行全体の文字をＯＣＲ処理する行に設定される。

ＯＣＲ処理部２０１Ｃは、特定部分やＯＣＲ処理の対象に設定された行の文字画像データをＯＣＲ処理して文字情報を認識する。ＯＣＲ処理部２０１Ｃは、文字認識部の一例である。
本実施の形態におけるＯＣＲ処理部２０１Ｃは、ＯＣＲ処理の対象に設定された行に対応する文字画像データを項目部と数値部に分解し、それぞれに専用のＯＣＲモデルを適用して各部に対応する文字情報を認識する。
ここでのＯＣＲモデルは、ディープラーニング技術を用いて生成される。ＯＣＲモデルは、１文字と識別された文字画像データが入力されると、確からしい文字情報（例えば文字コード）を出力する。各文字には、認識の確からしさを示す信頼度が計算される。なお、認識された単語の信頼度は、例えば単語を構成する各文字の信頼度の平均値として与えられる。

マッチング部２０１Ｄは、登録単語テーブル２０２Ｂを参照し、ＯＣＲ処理の結果として認識された文字情報（以下「生のＯＣＲ結果」という）を、登録単語テーブル２０２Ｂに従って、対応するグループの単語に紐付けを行う機能である。
値選択部２０１Ｅは、１つの項目（項目部）が複数の値を持つ場合、該当する項目に対応付ける１つの値を選択する機能である。１つの項目が複数の値を持つ場合には、親行が存在する場合がある。例えば２つの値が１つの項目に対応付けられている場合、値選択部２０１Ｅは、Currency型に変換可能な値の方を選択する。ただし、２つの値のいずれもがCurrency型に変換可能である場合、値選択部２０１Ｅは、２つの値のうちで大きい方の値を選択する。
グループ別結果選択部２０１Ｆは、グループ欄の１つの単語が複数の値を持つ場合、該当する単語に対応付ける１つの値を選択する機能である。例えば２つの値がグループの１つの単語に対応付けられている場合、グループ別結果選択部２０１Ｆは、項目部をＯＣＲ処理した結果の信頼度が高い方の値を選択する。

記憶部２０２は、アップロードされた画像データ２０２Ａ、登録単語テーブル２０２Ｂ、ユーザ端末１００側のアプリと連携して売上金等の自動入力サービスを実現するアプリを記憶する。
記憶部２０２は、例えばハードディスク装置や半導体メモリで構成される。なお、記憶部２０２は、クラウドストレージサーバとして、クラウドネットワーク３００に接続されていてもよい。
通信部２０３は、クラウドネットワーク３００等に接続された外部端末との通信に用いるデバイスである。通信部２０３は、各種の通信規格に準拠する。通信部２０３は、例えば無線ＬＡＮや有線ＬＡＮの通信規格、４Ｇや５Ｇ等の移動通信システムに準拠する。

＜処理動作＞
次に、ＯＣＲサーバ２００が実行する処理動作例を説明する。
図５は、実施の形態１で使用するＯＣＲサーバ２００が実行する処理動作の一例を示すフローチャートである。図中に示す記号のＳはステップを意味する。図５に示す処理動作は、情報処理方法の一例である。
なお、ＯＣＲサーバ２００が実行する一連の動作は、ユーザ端末１００から精算レシートの画像がアップデートされることで開始される。
まず、ユーザ端末１００では、ユーザによって、売上金等の自動入力サービスに連携するアプリが起動される（ステップ１）。

アプリが起動すると、ユーザ端末１００の表示部１０３（図３参照）には、カメラ１０２（図３参照）による精算レシートの撮像を促す画像が表示されると共に、カメラ１０２から出力されるライブ画像が表示される。
図６は、ユーザ端末１００の表示部１０３に表示される画像の例を示す図である。表示部１０３には、カメラ１０２（図３参照）で撮像された精算レシートの画像１１０と、シャッターボタン１２０とが表示されている。図６の場合、精算レシートの画像１１０のうち上端側の表記を省略している。

ユーザがシャッターボタン１２０をタップすると、表示部１０３に表示されている画像のデータ（画像データ１０５Ａ）が記憶部１０５（図３参照）に記憶される。なお、精算レシートの画像１１０は、１枚に限らず、複数枚撮像することも可能である。
図５の説明に戻る。
ユーザ端末１００を操作するユーザがアップロードする画像データ１０５Ａを選択すると、ユーザ端末１００は、精算レシートの画像データ１０５Ａをアップロードする（ステップ２）。なお、シャッターボタン１２０（図６参照）の操作によって記憶された画像データ１０５Ａを自動的にアップロードする設定の場合には、ユーザによるアップロードする画像データの選択は不要である。

ＯＣＲサーバ２００は、アップロードされた画像データ１０５Ａを、記憶部２０２（図４参照）に画像データ２０２Ａ（図４参照）として記憶する。
記憶部２０２に画像データ２０２Ａが記憶されると、ＯＣＲサーバ２００は、画像データ２０２Ａに含まれる文字画像データを切り出す（ステップ３）。従って、文字を含まない背景部分や余白部分は、切り出しの対象から除外される。
次に、ＯＣＲサーバ２００は、各行に対応する文字画像データの特定部分だけをＯＣＲ処理して対象文字をサーチする（ステップ４）。本実施の形態の場合、対象文字は、登録単語の先頭側の２文字である。

図７は、文字画像データのうち対象文字のサーチに用いる部分を説明する図である。本実施の形態の場合、文字画像データの先頭側の２文字が切り出される。図７に示すように、文字の切り出しは、精算レシートの画像データ２０２Ａ（図４参照）の下端側から上方に１行ずつ順番に実行される。図７では、この切り出し処理が実行される方向をスキャン方向と示している。
例えば精算レシートの最下端の行には「現金残高 \37,462」が印字されているが、行の先頭に位置する「現金」が特定部分として切り出される。因みに、「現金残高」が項目部であり、「\37,462」が数値部である。
「現金」は、登録単語である「現金残高」の先頭２文字であり、対象文字の一例である。従って、最下端の行は、行全体の文字をＯＣＲ処理する対象に判定される。

また、最下端から２つ目の行には「取引数 4数」が印字されているが、行の先頭に位置する「取引」が特定部分として切り出される。因みに、「取引数」が項目部であり、「4数」が数値部である。「取引」は、登録単語でも、その一部でもない。このため、ＯＣＲサーバ２００は、最下端から２つ目の行を、行全体の文字をＯＣＲ処理の対象に設定せず、次の行の判定に移行する。

図８は、対象文字のサーチの結果の具体例を説明する図である。図８は、サーチの対象文字が「現金」と「＊＊」と「純売」の場合である。
図８の場合、破線で囲んだ４つの領域が行全体の文字をＯＣＲ処理する対象に設定されている。なお、上から３つ目の領域は、親行としての「現金 4数」が印字された行と、親行を有する「 \16，520」が印字された行の２行を含んでいる。

図５の説明に戻る。
次に、ＯＣＲサーバ２００は、これら４つの領域を対象として、行全体をＯＣＲ処理する（ステップ５）。
図９は、ＯＣＲ処理で認識される情報に紐付けられる情報の例を説明する図である。
上から１つ目の領域に対応する文字画像データは、精算レシートの１９行目にあたる。項目部の生のＯＣＲ処理の結果は「＊＊純売」であり、数値部の値は「\15,297」である。
上から２つ目の領域に対応する文字画像データは、精算レシートの２１行目にあたる。項目部の生のＯＣＲ処理の結果は「＊＊総総合計」であり、数値部の値は「\16,520」である。

上から３つ目の領域に対応する文字画像データは、精算レシートの２７行目と２８行目にあたる。
２８行目の項目部には文字が無いが、１行上の２７行目の項目部には対象文字が存在している。このため、２７行目は、２８行目の親行である。２８行目における生のＯＣＲ処理の結果は、２７行目にも紐付けられる。
図９の場合、精算レシートの２７行目の生のＯＣＲ処理の結果は「現金」であり、数値部の値は「4数」である。
一方、精算レシートの２８行目には、生のＯＣＲ処理の結果として、２７行目の生のＯＣＲ処理の結果である「現金」が紐付けられる。なお、同行における数値部の値は「\16,520」である。
上から４つ目の領域に対応する文字画像データは、精算レシートの３１行目にあたる。項目部の生のＯＣＲ処理の結果は「現金残高」であり、数値部の値は「\37,462」である。

図５の説明に戻る。
次に、ＯＣＲサーバ２００は、マッチング処理を実行する（ステップ６）。マッチング処理では、生のＯＣＲ処理の結果である文字を登録単語に紐付ける処理と、登録単語が対応付けられているグループの単語に紐付ける処理とが実行される。
図１０は、マッチングの一例を説明する図である。図１０では、紙面の都合から精算レシートの上から３つ目と４つ目の領域についてのみ表している。
精算レシートの２７行目の項目部をＯＣＲ処理して認識された文字「現金」は、登録単語の「現金」に一致する。このため、認識された単語「現金」の信頼度は１．０である。信頼度は、生のＯＣＲ処理した結果の確からしさを表している。本実施の形態の場合、１．０が最大値である。なお、登録単語の「現金」はグループの「現金売上」に対応する。

精算レシートの２８行目の項目部をＯＣＲ処理して認識された文字「現金」も、登録単語の「現金」に対応する。この単語の信頼度も１．０である。登録単語の「現金」はグループの「現金売上」に対応する。
精算レシートの３１行目の項目部から読み出された文字「現金残高」は、登録単語の「現金」に対応する。信頼度は０．５である。なお、登録単語の「現金」はグループの「現金売上」に対応する。

図５の説明に戻る。
次に、ＯＣＲサーバ２００は、１つの項目に紐付ける値の選択を実行する（ステップ７）。本実施の形態の場合、項目部の「現金」に紐付けられている２７行目の値と２８行目の値の中から１つを選択する。
図１１は、値の選択に使用される処理の内容を説明するフローチャートである。
まず、ＯＣＲサーバ２００は、処理対象が１つの項目に複数の値を持つか否かを判定する（ステップ１１）。

ステップ１１で肯定結果が得られた場合、ＯＣＲサーバ２００は、金額と思われる方の値を選択する（ステップ１２）。具体的には、Current型への変換が可能な数値を選択する。
一方、ステップ１１で否定結果が得られた場合、ＯＣＲサーバ２００は、対応する値をそのまま使用する（ステップ１３）。
図１２は、ステップ７における値の選択を説明する図である。
精算レシートの２７行目の値「4数」はCurrent型に変換できない値である。一方、２８行目の値「\16,520」はCurrent型に変換できる値である。このため、この例では、２８行目の値「\16,520」が、グループ「現金売上」に対応付けられる値として選択されている。

図５の説明に戻る。
４つの領域の全てについて値の選択が完了すると、ＯＣＲサーバ２００は、グループ別に値を選択する（ステップ８）。
本実施の形態の場合、精算レシートの１９行目の値「\15,297」と同２１行目の値「\16,520」は、いずれもグループの単語「純売上」に対応付けられている。また、精算レシートの２８行目の値「\16,520」と同３１行目の値「\37,462」は、いずれもグループの単語「現金売上」に対応付けられる。このため、各グループの単語に紐付ける１つの値を選択する必要がある。

図１３は、グループ別に値を選択する処理の内容を説明するフローチャートである。
まず、ＯＣＲサーバ２００は、同じグループに紐付けられる値が複数あるか否かを判定する（ステップ２１）。
ステップ２１で肯定結果が得られた場合、ＯＣＲサーバ２００は、信頼度は同じか否かを判定する（ステップ２２）。
ステップ２２で肯定結果が得られた場合、ＯＣＲサーバ２００は、値が大きい方の値を選択する（ステップ２３）。一方、ステップ２２で否定結果が得られた場合、ＯＣＲサーバ２００は、信頼度の高い方の値を選択する。
なお、ステップ２１で否定結果が得られた場合、ＯＣＲサーバ２００は、対応する行の値をそのまま抽出する。この場合は、１つのグループに紐付けられる値が１つしか存在しないためである。

図１４は、グループ「現金売上」に紐付けられている２つの値から１つを選択する例を説明する図である。
グループ「現金売上」の場合、精算レシートの２８行目の値「\16,520」と３１行目の値「\37,462」が紐付けられている。ただし、２８行目の生のＯＣＲ処理の結果の信頼度が１．０であるのに対し、３１行目の生のＯＣＲ処理の結果の信頼度は０．５である。このため、信頼度が相対的に高い２８行目の値「\16,520」がグループ「現金売上」の値として選択される。

図１５は、グループ「純売上」に紐付けられている２つの値から１つを選択する例を説明する図である。
グループ「純売上」の場合、精算レシートの１９行目の値「\15,297」と２１行目の値「\16,520」が紐付けられている。ただし、２１行目の生のＯＣＲ処理の結果の信頼度が０．９であるのに対し、１９行目の生のＯＣＲ処理の結果の信頼度は０．４である。このため、信頼度が相対的に高い２１行目の値「\16,520」がグループ「純売上」の値として選択される。

図５の説明に戻る。
グループ別に値が選択されると、ＯＣＲサーバ２００は、ユーザ端末１００に対し、選択結果を送信する（ステップ９）。具体的には、「現金売上」の値として「\16,520」が送信され、純売上の値として「\16,520」が送信される。
これらの情報を受信したユーザ端末１００は、結果を合成した画面を表示部１０３（図３参照）に表示する（ステップ１０）。
図１６は、ユーザ端末１００の表示部１０３に表示される売上金等の自動入力結果の画面例を説明する図である。図１６に示す画面には、撮像された精算レシートの年月日の情報、天気の情報、現金売上の情報、現金外売上の情報、純売上の情報、キャンセルボタン１２１、登録ボタン１２２が表示されている。

ここで、現金外売上の欄には、純売上から現金売上を減算した値が表示される。現金外売上には、例えばクレジット払いされた金額や電子マネーで支払われた金額がある。なお、年月日には、精算レシートからＯＣＲ処理で認識された年月日を自動的に表示してもよいし、ユーザがカレンダー機能から指定した年月日を表示してもよい。また、天気の欄には、ユーザが入力した情報が表示される。
なお、ＯＣＲ処理により自動入力された値が間違っている場合には、手入力による数値の修正も可能である。
ユーザが登録ボタン１２２をタップすると、表示された金額が確定する。

＜実施の形態２＞
前述の実施の形態１の場合には、図７を用いて説明したように、文字画像データの先頭２文字をＯＣＲ処理した結果に対象文字が含まれるかサーチすることで、ＯＣＲ処理の対象となる文字数を低減させ、その結果として、ＯＣＲ処理に要する時間の短縮を実現している。
ただし、ＯＣＲ処理に要する時間の短縮は、他の手法によっても実現が可能である。

図１７は、実施の形態２におけるＯＣＲサーバ２００がＯＣＲ処理を実行する範囲を説明する図である。本実施の形態では、ＯＣＲ処理を実行する範囲を、純売上や現金売上の情報が出現する可能性が高い範囲に限定する。図１７の例では、精算レシートの下から３分の２の範囲に限定している。ＯＣＲ処理の範囲が精算レシートの全体の３分の２になれば、ＯＣＲ処理の対象となる文字数も概略３分の２となり、ＯＣＲ処理に要する時間の短縮が可能になる。なお、３分の２は一例であり、３分の１や４分の１等でもよい。必要とする情報を認識できるのであれば、ＯＣＲ処理を実行する範囲は狭いほどよい。

図１７の場合にも、精算レシートの下端側から上端方向に順番に各行に対応する文字画像データをＯＣＲ処理している。また、実施の形態２の場合にも、図５のステップ５以降の処理は同じである。
もっとも、実施の形態２の場合も、各行の先頭２文字だけを読み取り、行全体の文字をＯＣＲ処理するか否かを判定する機能を組み合わせてもよい。この場合、ＯＣＲ処理が対象とする文字数は実施の形態１よりも少なくなり、更なるＯＣＲ処理の時間の短縮が実現される。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（１）例えば前述の実施の形態１の場合には、精算レシートの下端側から上端方向に、各行に対応する文字画像データの対象文字をサーチしているが、精算レシートの上端側から下端方向に対象文字をサーチしてもよい。
（２）前述の実施の形態は、いずれも精算レシートを読み取りの対象としているが、消費者が受け取るレシートの特定の情報だけをＯＣＲ処理して自動入力する用途にも利用できる。

（３）前述の実施の形態においては、精算レシートに印字される可能性がある登録単語と対応付けられるグループの単語との関係を登録単語テーブル２０２Ｂとして用意する場合について説明したが、精算レシートに印字される売上に関連する単語や各単語とグループとの対応関係をディープラーニングにより学習してもよい。ディープラーニングにより生成された辞書を用いることにより、グループとして登録されている単語に紐付けられるべき未知の登録単語が認識された場合にも、対象文字として検出し、当該単語を含む行の全体をＯＣＲ処理の対象に設定することができる。また、この未知の単語を、グループとして登録されている単語に紐付けることもできる。

（４）前述の実施の形態の場合、精算レシートの画像データから売上金等の数値を認識する機能をＯＣＲサーバ２００（図１参照）で実行しているが、図４に示す機能の全部又は一部をユーザ端末１００（図１参照）で実行してもよい。この場合のユーザ端末１００は、情報処理装置の一例である。
（５）前述の実施の形態の場合、１台のＯＣＲサーバ２００が図４に示す機能の全てを実行しているが、これらの機能の一部をクラウドネットワーク３００に接続される他のサーバや端末との協働により実行してもよい。

１００…ユーザ端末、１０１…制御部、１０２…カメラ、１０３…表示部、１０４…操作入力部、１０５…記憶部、１０５Ａ…画像データ、１０６…通信部、１１０…精算レシートの画像、１２０…シャッターボタン、１２１…キャンセルボタン、１２２…登録ボタン、２００…ＯＣＲサーバ、２０１…制御部、２０１Ａ…画像データ取得部、２０１Ｂ…文字切出処理部、２０１Ｃ…ＯＣＲ処理部、２０１Ｄ…マッチング部、２０１Ｅ…値選択部、２０１Ｆ…グループ別結果選択部、２０２…記憶部、２０２Ａ…画像データ、２０２Ｂ…登録単語テーブル、２０３…通信部、３００…クラウドネットワーク

Claims (6)

1. 制御部と、
   撮像部が撮像したレシートの画像データを、当該撮像部から取得する取得部と、
   前記画像データから特定部分の文字画像データを切り出す切出処理部と、
   切り出された前記文字画像データから文字情報を認識する文字認識部と
   を有し、
   前記制御部は、前記文字認識部から出力される前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する
   情報処理装置。
2. 前記制御部は、前記文字認識部から出力される前記文字情報に対応する金額情報を決定する、請求項１に記載の情報処理装置。
3. 前記切出処理部は、各行の左端の部分を、前記特定部分として前記文字画像データを切り出す、請求項１又は２に記載の情報処理装置。
4. １つの前記画像データについて、前記文字認識部が前記文字情報の認識を開始する行よりも、当該文字情報の認識を終了する行がレシートの上方に位置する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 制御部と、
   レシートを撮像して画像データを出力する撮像部と、
   前記撮像部から前記画像データを取得する取得部と、
   前記画像データから特定部分の文字画像データを切り出す切出処理部と、
   切り出された前記文字画像データから文字情報を認識する文字認識部と
   を有し、
   前記制御部は、前記文字認識部から出力される前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する
   情報処理システム。
6. レシートを撮像して画像データを出力する処理と、
   前記画像データから特定部分の文字画像データを切り出す処理と、
   切り出された前記文字画像データから文字情報を認識する処理と、
   認識された前記文字情報に応じ、次の文字認識の対象とする前記文字画像データを決定する処理と
   を有する情報処理方法。

Images