JP2017174309A - 携帯型情報装置、サーバ装置、データ入力支援システム、およびプログラム - Google Patents

Abstract

【課題】 利用者が所持するレシートや伝票などを撮影して、記載されている情報を光学文字認識によって抽出する場合に、精度よく店舗名を決定するとともに、購入した商品などについて、費目の記載がない場合でも、適切な費目を付与することができる、データ入力支援機能を備えた携帯型情報装置を提供する。【解決手段】 利用者が所持するレシート等を、光学文字認識により読み取る際、特にレシート等に記載の電話番号における認識率を向上させて、店舗名を正確に抽出するとともに、店舗名に紐づいた適切な費目を付与することによって、利用者のデータ入力に係る負荷を軽減することができる。【選択図】図１

Description

本発明は、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって読み取った情報に基づいて、利用者による入力作業を支援する技術に関し、特にレシートなどの印字内容の入力作業を支援する技術に関する。

従前より、会計ソフトや家計簿アプリなどへのデータ転記を目的として、また、購入した食材や日用品などの物品名を記録するなどの目的で、利用者が商品を購入した店舗から受取ったレシートや伝票など（以降、レシート等と称する）を撮影して、ＯＣＲによってテキストデータ化し、それぞれの用途に利用するといったことが行われている。

特許文献１では、利用者がカメラ付きの携帯電話を利用してレシートなどの証明物を写真に撮り、ネットワークを通じて家計簿インターネットサービスプロバイダに送信し、プロバイダは、ＯＣＲの技術を使って、該写真イメージをテキストデータに変換して家計簿データベースに保存する家計簿サービスが呈示されている。

ところで、ＯＣＲによってレシート等に記載された文字を抽出する方法は、誤認識や認識不能といったことが避けられないため、例えば特許文献１では、認識不可または新しいレシートフォーマットが有った場合、データの修正や新フォーマットへの対応を人手で処理する旨が記されている。

特許文献２では、読み取られたレシートに記載されている金額をＯＣＲで認識する認識手段と、金額に対応する使途（費目）の選択を受け付け、レシートに記載されている金額を集計して用紙に印刷する印刷装置が呈示されている。ここでは、ＯＣＲで認識した金額の確認とそれに対応する使途（費目）の選択入力を利用者に行わせている。

また、特許文献３では、レシートに記載された購入品目の文字情報をＯＣＲによって認識し、個々のレシートの内容の明細を表示して、利用者に分類（費目）も含めて確認、修正させ、家計簿を作成するシステムが呈示されている。尚、ここで「費目」とは、例えば「食材費」、「生活用品」、「娯楽・レジャー」といったような、購入品やサービスの用途別のジャンルを示すものである。

特開２００３−１２２９１６号公報 特開２００９−１８８７０７号公報 特開２０１３−２２８８６３号公報

ところで、先行技術文献にあるように、ＯＣＲによってレシート等に記載された文字を読み取る技術は公知の技術として知られているが、先に述べたようにＯＣＲによって文字を抽出する場合、誤認識や認識不能の発生を避けられない。このために、特許文献１のように、ＯＣＲ認識後のデータベースに対してメンテナンスを行ったり、特許文献２のように、１件の項目（購入商品）を入力するごとに、あるいは、特許文献３のように１件のレシートを入力するごとにデータ確認や修正を行ったりする必要があった。

ここで、レシート等におけるＯＣＲの認識において特に問題になる点は、比較的文字認識が簡単な、金額（数字）や品名（英字やかな）ではなく、特許文献１にも記されているように、「新しいレシートフォーマット」などの出現による読取位置の変動や不定な形状をしたロゴによって、ロゴ部分の近傍に付随する店舗名や住所などの認識が困難だという点が挙げられる。

また、入力したデータを帳簿や家計簿に展開する場合、特許文献２や特許文献３にも示されているように、各項目（購入品）の費目を入力する必要があるが、通常のレシートには費目は記載されていないことが多く、別途入力が必要となる。また、例えば品名から自動的に費目を類推するようにしたとしても、結果的には利用者が確認して入力し直す、といった負荷がかかってしまう。

本発明の目的は、上記の問題に鑑み、レシート等におけるＯＣＲの認識において、レシートに記載されている電話番号を認識することにより、精度よく店舗名を決定するとともに、ＯＣＲの誤認識を前提としたデータ入力支援機能を備えた携帯型情報装置、サーバ装置、データ入力支援システムを提供することである。

前記課題を解決するための、本願の第１の発明は、撮像手段と、通信手段と、表示手段と、入力手段と、記憶手段と、レシートＯＣＲ手段と、店名入力補助手段と、を備えた携帯型情報装置であって、前記記憶手段には、過去に利用した店舗の店舗名と該店舗の電話番号の組合せを記録した利用店舗テーブルと、前記レシートＯＣＲ手段を利用して作成されるレシートデータが記録され、前記レシートＯＣＲ手段は、前記撮像手段により入力されたレシート画像データをＯＣＲ処理して、電話番号文字列、商品名文字列、金額文字列、その他の文字列を認識出力するとともに、前記利用店舗テーブルに認識した電話番号文字列と一致するデータがあれば、対応する店舗名を、そのレシート画像データにより認識された各種認識文字列と関係づけて1件のレシートデータとして前記記憶手段に記録させ、前記店名入力補助手段は、前記利用店舗テーブルに認識した電話番号文字列と一致するデータが存在しない場合であって、一部の所定桁数だけ異なる電話番号データが存在する場合は、その電話番号に対応する店舗名を前記表示手段に店舗名候補として提示することを特徴とする携帯型情報装置である。こうして、認識対象の電話番号が利用店舗テーブルに記録されている電話番号と一致する場合は店舗名を確定し、そのレシートデータを記憶するとともに、電話番号の一部の所定桁数だけが異なる店舗が存在する場合は、その店舗の店舗名を、利用者に店舗名候補として提示することができる。

第２の発明は、操作者により前記店名入力補助手段が提示した店舗名候補が選択された場合、該店舗名と１件のレシートデータを関係づけて前記記憶手段に記録するとともに、該店舗名候補と、前記レシートＯＣＲ手段が認識した電話番号であって前記利用店舗テーブルに存在しなかった電話番号と、の組合せを前記利用店舗テーブルに新たに追加することを特徴とする、第１の発明における携帯型情報装置である。このようにして、文字の誤認識の許容度を広くすることにより、光学文字認識（ＯＣＲ）による文字認識率の向上を図り、より多くの店舗の店舗名を、利用者に提示することができる。

第３の発明は、操作者により前記店名入力補助手段が提示した店舗名候補のいずれか一を選択し、該店舗名候補の文字列を前記入力手段によって修正し、該修正した店舗名と１件のレシートデータを関係づけて前記記憶手段に記録するとともに、該修正した店舗名と、前記レシートＯＣＲ手段が認識した電話番号であって前記利用店舗テーブルに存在しなかった電話番号と、の組合せを前記利用店舗テーブルに新たに追加することを特徴とする、第２の発明における携帯型情報装置である。このようにして、利用者が利用する店舗の情報を獲得することにより、より多くの店舗の店舗名を、利用者に提示することができる。

第４の発明は、ロゴマッチング手段をさらに備えた携帯型情報装置であって、前記記憶手段には、店舗と店舗が属するチェーンのレシートに記されるロゴパターンの画像データと該店舗と店舗が属するチェーンのチェーン名の組合せを記録したロゴパターンテーブルがさらに記録され、前記ロゴマッチング手段は、前記レシート画像データと前記ロゴパターンの画像データをパターンマッチングすることにより、対応するチェーン名を前記ロゴパターンテーブルから取得することを特徴とする、第３の発明における携帯型情報装置である。こうすることによって、携帯型情報装置はレシートの画像データから店舗が属するチェーン名を利用者に提示することができる。

第５の発明は、コンピュータを、第１の発明から第４の発明のいずれか１つに記載の携帯型情報装置として機能させるためのコンピュータプログラムである。

第６の発明は、サーバの通信手段と、サーバの記憶手段と、マスター照合手段と、を備えたサーバ装置であって、前記サーバの記憶手段には、店舗名と該店舗の電話番号の組合せを記録した店舗名マスターデータベースが記録され、前記マスター照合手段は、前記携帯型情報装置からの電話番号文字列を含んだ問合せを受信し、前記電話番号文字列の電話番号に対応する店舗名を前記店舗名マスターデータベースから検索し、検索が成功した場合は検索成功の通知と店舗名を、検索が成功した場合は検索不成功の通知を前記携帯型情報装置に送信することを特徴とするサーバ装置である。こうすることによって、携帯型情報装置は電話番号のデータを提供することによって、外部のサーバ装置に店舗名の照合を依頼することができる。

第７の発明は、パターンマッチング手段をさらに備えたサーバ装置であって、前記サーバの記憶手段には、店舗名と該店舗の所在地データの組合せをさらに記録した前記店舗名マスターデータベースと、店舗と店舗が属するチェーンのレシートに記されるロゴパターンの画像データと該店舗と店舗が属するチェーンのチェーン名の組合せを記録したチェーン名ロゴパターンデータベースがさらに記録され、前記パターンマッチング手段は、前記携帯型情報装置からの所在地データとレシート画像データを含んだ問合せを受信し、前記レシート画像データと前記ロゴパターンの画像データをパターンマッチングすることにより、対応するチェーン名を前記チェーン名ロゴパターンデータベースから検索し、該検索したチェーン名と所在地データをキーに店舗名を前記店舗名マスターデータベースから検索し、該店舗名を返すことを特徴とする、第６の発明におけるサーバ装置である。こうすることによって、携帯型情報装置は所在地データとレシートの画像データを提供することによって、外部のサーバ装置に店舗名の照合を依頼することができる。

第８の発明は、店舗名登録ログデータベースをさらに備えたサーバ装置であって、前記サーバ装置は、各々の携帯型情報装置が前記利用店舗テーブルに新たに店舗名と電話番号を追加した際のログを受信し、該利用店舗テーブルに追加されたデータを集計した店舗名登録ログデータベースをさらに備え、前記店舗名登録ログデータベースから同一電話番号を持つログのレコードを抽出し、該レコードに登録されている登録店舗名を登録された数の多い順に所定の数だけ選定し、該選定した登録店舗名を元に店舗名の正規化を行い、結果的に一番数の多い店舗名を当該電話番号に対応する店舗名として決定し、該電話番号と前記決定した店舗名のレコードを作成して前記店舗名マスターデータベースに登録または更新する、ことを特徴とする第６または第７の発明におけるサーバ装置である。ここで「正規化」するとは、実際に同一の店舗を意味する店舗名の表記ゆれをなくすために例えば「店」、「支店」、「出張所」、「分店」などの商号に添える接尾語が付いている場合に、店舗名を接尾語を除いた部分に標準的な接尾語（例えば「店」）を付加した店舗名に揃えることをいう。こうすることによって、店舗名マスターデータベースのレコードを生成または更新することができ、該データベースの内容を最新の状態に保つことができる。

第９の発明は、コンピュータを、第６の発明または第７の発明のいずれかに記載のサーバ装置として機能させるためのコンピュータプログラムである。

第１０の発明は、第１の発明から第４の発明のいずれかの携帯型情報装置と第６の発明から第８の発明のいずれか1つに記載のサーバ装置がネットワークで接続された、データ入力支援システムである。これらの装置が協働することにより、より高確度な店舗名検索が可能となり、利用者の入力負荷の軽減に寄与する。

本発明によれば、レシート等におけるＯＣＲの認識において、レシートに記載されている電話番号を認識することで店舗名を決定するとともに、ＯＣＲで誤認識された場合でも適切に入力を支援し、費目の記載がない場合でも、適切な費目を付与することができる。

本実施形態の構成を示す図である。 携帯型情報装置１００についてより詳しく説明する機能ブロック図である。 携帯型情報装置１００のハードウェア構成を示す図である。 携帯型情報装置１００の利用店舗テーブルＴ１０を説明する図である。 携帯型情報装置１００のユーザ属性テーブルＴ２０を説明する図である。 サーバ装置３００のハードウェア構成を示す図である。 サーバ装置３００についてより詳しく説明する機能ブロック図である。 サーバ装置３００の店舗名マスターデータベースＤ１０を説明する図である。 サーバ装置３００の店舗名登録ログデータベースＤ２０を説明する図である。 サーバ装置３００の代表チェーン名リストＤ３０を説明する図である。 サーバ装置３００の店舗名表記揺れデータベースＤ４０を説明する図である。 典型的な実施形態の処理の流れを説明するフローチャートである。 典型的な実施形態における携帯型情報装置１００の表示例を示す図である。 マスター照合処理の流れを説明するフローチャートである。 ロゴ認識処理１の流れを説明するフローチャートである。 ロゴ認識処理２の流れを説明するフローチャートである。 マスターＤＢの更新の処理の流れを説明するフローチャートである。

本明細書の実施形態の説明で使用される、チェーン名と店識別名、あるいは店舗名という用語について説明する。一般の消費者に商号や屋号、ブランドとして知られている名前または業者の識別名をここでは「チェーン名」と称し、直営やフランチャイズなどの運営方式に関わらず、その配下の店舗の識別名を（チェーン名を含めないで）「店識別名」と称することとする。また、チェーン名と店識別名を併せて一つの店名として扱う場合は、「店舗名」と称することとする。また、漠然と店舗の名称を示す場合、単に「店名」と称する場合がある。

以下に、本発明の一つの実施形態に係るシステムの構成について図面を参照してさらに詳細に説明する。

図１は、本実施形態の構成を示す図である。１００は携帯型情報装置であって、典型的にはスマートフォン等の可搬型の端末であり、内蔵カメラ１９０を備える。また、携帯型情報装置１００は、前記内蔵カメラ１９０で、利用者の所持するレシート等２００を撮影する。また、携帯型情報装置１００は、ネットワーク５００を介して外部装置との情報の送受信を行う。ここでは特に、店舗に関する多種のデータベースを有するサーバ装置３００と情報の授受を行う。

（携帯型情報装置の説明）
図２は、携帯型情報装置１００のハードウェア構成を示す図である。携帯型情報装置１００は先に述べたように典型的にはスマートフォンであり、ハードウェアとしては一つのコンピュータシステムである。携帯型情報装置１００は、制御部１０１、記憶部１０２、カメラインターフェース（Ｉ／Ｆ）部１０３、入力部１０４、表示部１０５、通信部１０６を備え、それらがバス１０９を介して接続される。また、本構成の特徴として、カメラＩ／Ｆ部１０３に接続される内蔵カメラ１９０が備えられている。尚、図２のハードウェア構成は一例であり、別途、目的に応じて様々な構成を採ることが可能である。

制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部１０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０９を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。ＲＯＭは、不揮発性メモリであり、携帯型情報装置１００のブートプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１０２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持して、制御部１０１が各種処理を行う為に使用するワークエリアとして使用される。

記憶部１０２は、制御部１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、撮像手段１１０として機能するプログラムコード、通信手段１２０として機能するプログラムコード、表示手段１３０として機能するプログラムコード、入力手段１４０として機能するプログラムコード、レシートＯＣＲ手段１６０として機能するプログラムコード、店名入力補助手段１７０として機能するプログラムコードが格納されている。これらのプログラムコードは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行されることにより各種の手段として機能する。

カメラＩ／Ｆ部１０３は、制御部１０１のＣＰＵが内蔵カメラ１９０を制御するためのインターフェースであり、カメラＩ／Ｆ部１０３を介してコンピュータ内蔵カメラ１９０が撮像した画像データを取り込む。入力部１０４は、例えば、タッチパネル等の入力装置である。利用者は入力部１０４を介して、携帯型情報装置１００に対し、操作指示、動作指示、データ入力等を行うことができる。表示部１０５は、液晶パネル等のディスプレイ装置であり、入力部１０４のタッチパネルと重畳して設置されていてもよい。

通信部１０６は、通信制御装置、通信ポート等を有し、携帯型情報装置１００とネットワーク５００間の通信を媒介する無線の通信インターフェースであり、ネットワーク５００を介して、他のコンピュータとの通信制御を行う。

図３は、本実施形態の携帯型情報装置１００についてその機能の側面からより詳しく説明する機能ブロック図である。携帯型情報装置１００は、内蔵カメラ１９０によって例えばレシート等２００を撮影し、撮影した画像データを記憶部１０２に渡す撮像手段１１０と、ネットワーク５００を介して外部装置、特に、サーバ装置３００との間でデータの送受信を行う通信手段１２０と、画像データやテキストデータ化されたテキストデータを表示部１０５に表示する表示手段１３０と、操作指示、動作指示、文字データの入力や編集等を入力部１０４を介して行う入力手段１４０と、撮影した画像データや認識されたテキストデータ等を記憶する記憶手段１５０と、撮像手段１１０により入力されたレシート等２００の画像データをＯＣＲ処理して、電話番号文字列、商品名文字列、金額文字列、その他の文字列を認識出力するとともに、利用店舗テーブルに認識した電話番号文字列と一致するデータがあれば、対応する店舗名を、そのレシート画像データにより認識された各種認識文字列と関係づけて1件のレシートデータとして前記記憶手段に記録させるレシートＯＣＲ手段１６０と、利用店舗テーブルに認識した電話番号文字列と一致するデータが存在しない場合であって、一部の所定桁数だけ異なる電話番号データが存在する場合は、その電話番号に対応する店舗名を前記表示手段に店舗名候補として提示する店名入力補助手段１７０と、を備えている。また、データベースとして、利用店舗テーブルＴ１０、ユーザ属性テーブルＴ２０、ロゴパターンテーブルＴ３０を備えている。処理の流れやデータベースについては、さらに詳細な説明を後述する。

（携帯型情報装置のデータベースの説明）
以下に、本実施形態の携帯型情報装置１００が持つデータベースについて説明する。また、本実施形態では、これらの各種データベースについて、説明の上で必要最低限の項目しか例示していないが、実際の運用においては、これらに派生する様々な項目が付加され保存されていてもよい。

図４は、携帯型情報装置１００が持つデータベースの一つである利用店舗テーブル（Ｔ１０）を説明する図である。利用者が、携帯型情報装置１００を用いてレシート等２００を撮影し、結果的にテキストデータとして取り込んだ場合、該レシート等を発行した店舗情報を利用店舗テーブル（Ｔ１０）に記録する。即ち、過去に一度でもレシート等２００を撮影し認識させた店舗については、利用店舗テーブル（Ｔ１０）に登録されており、２回目以降の店舗名の認識高速化に有用である。

電話番号（Ｔ１１）は、このテーブルのキーであり、ＯＣＲによって電話番号（と思しき文字列）が認識されると、これを基に店舗を確定し、当該電話番号のレコードを参照して、チェーン名（Ｔ１２）と店識別名（Ｔ１３）を特定する。また、当該店舗で購入した商品やサービスの費目について標準設定で付与できるよう、費目（Ｔ１４）欄も設けられる。その他、正規の電話番号と所定桁数だけ異なる電話番号である類似電話番号についても当該テーブルに記録される（Ｔ１５）。

図５は、携帯型情報装置１００が持つデータベースの一つであるユーザ属性テーブル（Ｔ２０）を説明する図である。このテーブルには、利用者の様々な属性（Ｔ２１）に対する情報（Ｔ２２）が記されており、後述する店舗名の認識処理などで用いられる。原則的に１利用者（１携帯型情報装置）に対し１レコードの一つのテーブルしか存在しない。

その他、図示しないが、携帯型情報装置１００が持つデータベースとして、代表的なチェーン店のレシート等２００のロゴの画像データが記憶されたロゴパターンテーブル（Ｔ３０）が存在する。これは、後述するが、レシートＯＣＲ手段１６０において、レシート等２００から電話番号が抽出できなかった場合、レシート等２００の画像データとパターンマッチングを行う際に用いられるテーブルである。

（サーバ装置の説明）
図６は、本実施形態のサーバ装置３００のハードウェア構成を示す図である。サーバ装置３００は、ハードウェアとしては一つのコンピュータシステムであり、携帯型情報装置１００と同様の機能を持ち、制御部３０１、記憶部３０２、周辺機器インターフェース（Ｉ／Ｆ）部３０３、入力部３０４、表示部３０５、通信部３０６を備えており、それらがバス３０９を介して接続されている。

図７は、本実施形態のサーバ装置３００についてその機能の側面からより詳しく説明する機能ブロック図である。本サーバ装置３００は、ネットワーク５００を介して外部装置、特に、携帯型情報装置１００との間でデータの送受信を行うサーバの通信手段３１０と、携帯型情報装置１００から受信したレシート等２００の画像データや認識されたテキストデータ等を記憶するサーバの記憶手段３２０と、携帯型情報装置１００からの電話番号文字列を含んだ問い合わせに応じて、店舗名マスターデータベースＤ１０および店舗名表記揺れデータベースＤ４０と照合して結果を返信するマスター照合手段３３０と、携帯型情報装置１００からのユーザ情報（所在地データ）とレシート画像データを含んだ問い合わせに応じて、チェーン名ロゴパターンデータベースＤ５０のロゴの画像データとでパターンマッチングを行いチェーン名を決定した後、ユーザ情報（所在地データ）から店舗名を決定して結果を返信するパターンマッチング手段３４０と、が備えられている。

（サーバ装置のデータベースの説明）
次に、本実施形態のサーバ装置３００が持つデータベースについて説明する。先に述べたように、これらのデータベースについても、説明の上で必要最低限の項目しか例示していないが、実際の運用においては、これらに派生する様々な項目が付加され保存されていてもよい。

図８は、サーバ装置３００が持つデータベースの一つである店舗名マスターデータベース（以降、データベースをＤＢと略すことがある）Ｄ１０を説明する図である。本ＤＢには、当初から全国の店舗の情報が蓄積されているのが好ましいが、データの蓄積量の多寡に関わらず、後述のマスター生成手順によって、マスターデータベースの生成や蓄積データの追加、更新を逐次行うことができる。

店舗名マスターＤＢ（Ｄ１０）は、電話番号（Ｄ１１）、この電話番号に対応するチェーン名（Ｄ１２）と店識別名（Ｄ１３）、この店舗の費目について標準設定で付与できるよう、費目（Ｄ１４）欄が設けられており、この店舗の登録ログ数（後述する）も蓄積される（Ｄ１５）。また、明示しないが、店舗の住所や生活圏情報などを適宜記録してもよい（Ｄ１６）。

図９は、サーバ装置３００が持つデータベースの一つである店舗名登録ログデータベース（Ｄ２０）を説明する図である。本ＤＢは、携帯型情報装置１００が新規に店舗名を登録したときのログを受信し、それらのデータを集計したものである。

店舗名登録ログＤＢ（Ｄ２０）には、少なくとも、キーとなる電話番号順にこの電話番号（Ｄ２１）に対応して登録された店舗名（Ｄ２２）とその登録数（Ｄ２３）が蓄積される。店舗名登録ログＤＢ（Ｄ２０）は、利用者が携帯型情報装置１００の利用店舗テーブル（Ｔ１０）に新たに店舗名を登録する度に、そのログを受信することによって更新される。通常は、利用者の嗜好や事情から、登録される店舗名は微妙に異なるため、一つの電話番号に対して複数の登録店舗名が記録される。

図１０は、サーバ装置３００が持つデータベースの一つである代表チェーン名リスト（Ｄ３０）を説明する図である。本ＤＢは、店舗名登録ログＤＢ（Ｄ２０）に登録されているログの解析に用いるもので、代表となるチェーン名に対して、どんな登録された（チェーン名の）名称が存在するかを対応付けたリストである。

図１１は、サーバ装置３００が持つデータベースの一つである店舗名表記揺れデータベース（Ｄ４０）を説明する図である。本ＤＢは、店舗名マスターＤＢ（Ｄ１０）に登録されている情報を補完するもので、電話番号（Ｄ４１）をキーとして、携帯型情報装置１００の利用店舗テーブル（Ｔ１０）に記録されたチェーン名の揺れ（Ｄ４２）や店識別名の揺れ（Ｄ４３）、また類似電話番号（Ｄ４４）などのデータを受信することにより適宜記録される。

その他、図示しないが、サーバ装置３００が持つデータベースとしてチェーン名ロゴパターンデータベース（Ｄ５０）が存在する。これは、後述する携帯型情報装置１００からのロゴのパターンマッチングの要請を受けた場合、パターンマッチングに用いられるロゴの画像データが記憶されたデータベースである。本ＤＢは、各々の携帯型情報装置１００がそれぞれ持っているロゴパターンテーブル（Ｔ３０）の蓄積データを拡大したような構成を持つ。

ここから、本発明の典型的な実施形態としての１つのデータ入力支援システム（以下、「本実施形態１」と称す）の動作を説明する。携帯型情報装置１００とサーバ装置３００は、ネットワークで接続され協働することにより、データ入力支援システムとして作動する。

図１２は、本実施形態１の、レシート等２００を撮影して、記載されている電話番号を認識し、店舗名を決定するフローチャートである。

先ず、利用者は、撮像手段１１０を用いて、レシート等２００を携帯型情報装置１００の内蔵カメラ１９０で撮影し、撮影した画像データを携帯型情報装置１００の記憶部１０２に格納する（Ｓ２０１）。

次に、取得した前記画像データを読み出し、レシートＯＣＲ手段１６０によって、電話番号文字列、商品名文字列、金額文字列、その他の文字列として認識する（Ｓ２０２）。

ここで、電話番号文字列が認識できた場合（Ｓ２０３のＹ）、該電話番号と、図４の携帯型情報装置１００の利用店舗テーブル（Ｔ１０）を参照して電話番号データの照合処理を行い（Ｓ２０４）、利用店舗テーブル（Ｔ１０）に合致する電話番号（Ｔ１１）が存在した場合（Ｓ２０５のＹ）、合致した店名のチェーン名（Ｔ１２）と店識別名（Ｔ１３）、および、標準設定の費目（Ｔ１４）を採用し、前記表示手段１３０を用いて携帯型情報装置１００の表示部１０５に店舗名候補として表示する。図１３Ａにこのときの表示例を示す。ここで、例えば、図１３Ａを表示したまま次の操作を行ったとき、利用者が表示された店舗名候補を確認したとみなし、表示された店舗名候補を店舗名とし、（Ｓ２０９）、前記商品名文字列、金額文字列、その他の文字列と関係づけて1件のレシートデータとして前記記憶手段１５０を用いて記憶部１０２に記録する（Ｓ２１０）。

また、前記照合処理を行ったとき、利用店舗テーブル（Ｔ１０）の電話番号（Ｔ１１）に合致する電話番号が存在しなかった場合（Ｓ２０５のＮ）は、店名入力補助手段１７０によって、店舗名候補を提示する。類似電話番号（Ｔ１５）がテーブルに存在する場合、または、電話番号の一部の所定桁数だけが異なる、例えば１文字（１桁）だけ異なっている電話番号が利用店舗テーブル（Ｔ１０）の電話番号（Ｔ１１）に存在するとき（Ｓ２１１のＹ）、その電話番号に対応する店舗名（候補）を前記表示手段１３０を用いて携帯型情報装置１００の表示部１０５に店舗名候補として表示する（Ｓ２１２、表示例は図１３Ａ）。

ここで、利用者（操作者）が表示された店舗名候補を選択した場合、例えば、当該表示のまま次の操作を行ったとき、利用者が表示された店舗名候補を確認したとみなし、表示された店舗名候補を店舗名として採用する。また、利用者（操作者）が表示された店舗名候補のいずれか一を選択し、該店舗名候補の文字列を修正する場合、例えば、図１３Ａの店舗名候補の横の「×」ボタン（Ｂ０１）をクリックして、該店舗名候補の文字列を選択し、前記入力手段１４０を用いて文字列を修正することができる。図１３Ｂにこのときにおける入力中の表示例を示す。ここではＢ０２のダイアログボックスを用いて店舗名を修正入力している。このようにして修正した店舗名候補を、利用者が決定した店舗名として採用する（Ｓ２１３）。

さらに、該決定した店舗名と前記レシートＯＣＲ手段が認識した電話番号であって前記利用店舗テーブルに存在しなかった電話番号と、の組合せを前記利用店舗テーブル（Ｔ１０のＴ１５）に新たに追加する（Ｓ２１９）。また、この店舗名に対応するチェーン名（Ｔ１２）と店識別名（Ｔ１３）、および、標準設定の費目（Ｔ１４）を採用し、前記商品名文字列、金額文字列、その他の文字列と関係づけて１件のレシートデータを関係づけて前記記憶手段１５０を用いて記憶部１０２に記録する（Ｓ２１０）。

ところで、店名入力補助手段１７０によって、店舗名候補が提示できなかった場合、例えば電話番号が１文字（１桁）だけ異なっている類似電話番号のデータが利用店舗テーブル（Ｔ１０のＴ１５）に存在しなかった場合（Ｓ２１１のＮ）、携帯型情報装置１００の利用店舗テーブル（Ｔ１０）を用いた探索を諦め、サーバ装置３００に店舗名の問合わせを依頼することができる（Ｓ２２１）。

図１４は、前記店舗名の問合わせ依頼が行われた場合に起動される、マスター照合処理（ＳＵＢ１）について説明する図である。

先ず、店舗名の問合わせ依頼（Ｓ２２１）を行うとき、マスター照合処理（ＳＵＢ１）に対して、通信手段１２０を介して問合せの対象となる電話番号文字列を引数として渡す。この電話番号は、上述したように、利用店舗テーブル（Ｔ１０）に存在しなかった電話番号である。

マスター照合処理（ＳＵＢ１）は前記引数からキーとなる電話番号を取り出す（ＳＳ１１）。そして、サーバ装置３００の店舗名マスターＤＢ（Ｄ１０）を参照して電話番号データの照合（検索）処理を行い（ＳＳ１２）、店舗名マスターＤＢ（Ｄ１０）に合致する電話番号（Ｄ１１）が存在した場合（ＳＳ１３のＹ）、照合（検索）成功の通知を作成し（ＳＳ１４）、合致した店名のチェーン名（Ｄ１２）と店識別名（Ｄ１３）、および、標準設定の費目（Ｄ１４）を抽出し（ＳＳ１５）、前記照合成功の通知とともに携帯型情報装置１００に送信して（ＳＳ１６）処理を終える。また、この電話番号データの照合処理（ＳＳ１２）において、店舗名表記揺れデータベース（Ｄ４０）の電話番号揺れ（Ｄ４４）を参照してもよい。

また、店舗名マスターＤＢ（Ｄ１０）および店舗名表記揺れデータベース（Ｄ４０）に合致する電話番号（Ｄ１１）が存在しなかった場合（ＳＳ１３のＮ）、照合（検索）不成功の通知を作成し（ＳＳ１７）、サーバ装置３００の通信手段を介して携帯型情報装置１００に送信し（ＳＳ１６）処理を終える。

図１２に戻り、サーバ装置３００に店舗名の問合わせを依頼（Ｓ２２１）した結果、サーバ装置３００の店舗名マスターＤＢ（Ｄ１０）との照合が成功した場合（Ｓ２２２のＹ）、マスター照合処理（ＳＵＢ１）から受信した店舗名を採用し、チェーン名と店識別名、および、標準設定の費目（Ｄ１４）を採用して前記表示手段１３０を用いて携帯型情報装置１００の表示部１０５に店舗名候補として表示する。ここで、例えば、そのまま次の操作を行ったとき、利用者が表示された店舗名候補を確認したとみなし（Ｓ２２３）、表示された店舗名候補を店舗名とし、利用店舗テーブル（Ｔ１０）に存在しなかった店舗名と電話番号との組合せを前記利用店舗テーブルに追加し（Ｓ２２９）、前記商品名文字列、金額文字列、その他の文字列と関係づけて1件のレシートデータとして前記記憶手段１５０を用いて記憶部１０２に記録する（Ｓ２１０）。

ここで、店舗名の問合わせの結果、サーバ装置３００の店舗名マスターＤＢ（Ｄ１０）との照合が不成功だった場合（Ｓ２２２のＮ）、また、そもそもレシートＯＣＲ手段１６０による文字認識処理（Ｓ２０２）によって電話番号文字列が認識できなかった場合（Ｓ２０３のＮ）はロゴ認識処理１（ＳＵＢ２）を起動する。

図１５は、ロゴ認識処理１（ＳＵＢ２）について説明する図である。

先ず、ロゴ認識処理１（ＳＵＢ２）に対して、携帯型情報装置１００の記憶部１０２に格納されているロゴ認識の対象となるレシート等２００を撮影した画像データを引数として渡す。この画像データから、ロゴ部分を抽出する（ＳＳ２１、一例では、画像データの上部の所定の範囲を固定的に選択して抽出する）。

携帯型情報装置１００はロゴマッチング手段１８０を起動して、抽出したロゴ部分の画像データと携帯型情報装置１００のロゴパターンテーブル（Ｔ３０）のロゴの画像データとでパターンマッチングによる検索を行い、ある閾値以上のマッチングが得られた場合、当該ロゴの画像データを持つチェーン名を取得する（ＳＳ２２）。また、携帯型情報装置１００のユーザ属性テーブル（Ｔ２０）から、住所情報と生活圏情報（所在地データ）を取得して（ＳＳ２３）処理を終える。尚、ビットマップ画像データの比較によるパターンマッチングは公知の手法であり、その詳細な記載は割愛する。

図１２に戻り、ロゴ認識処理１（ＳＵＢ２）で取得したチェーン名または抽出したロゴ部分の画像データ、及び、住所情報と生活圏情報（所在地データ）を、サーバ装置３００に対し、通信手段１２０を介して引き渡し、問合せを依頼する（Ｓ２３１）。

サーバ装置３００は、問合せを受け、ロゴ認識処理２（ＳＵＢ３）を起動する。図１６は、前記店舗名の問合わせ依頼が行われた場合に起動される、ロゴ認識処理２（ＳＵＢ３）について説明する図である。

ロゴ認識処理２（ＳＵＢ３）は、引き渡されたデータ中に取得したチェーン名が存在しなかった場合（ＳＳ３１のＮ）、パターンマッチング手段３４０を起動する。先ず、携帯型情報装置１００から受信した、抽出したロゴ部分の画像データとサーバ装置３００のチェーン名ロゴパターンデータベース（Ｄ５０）のロゴの画像データとでパターンマッチングによる照合（検索）を行い、ある閾値以上のマッチングが得られた場合、当該ロゴの画像データに対応するチェーン名を取得する（ＳＳ３２）。

上記処理によりチェーン名を取得し、あるいは引き渡されたデータ中の取得済みのチェーン名を（ＳＳ３１のＹ）抽出し、該チェーン名および住所情報と生活圏情報と、サーバ装置３００の店舗名マスターＤＢ（Ｄ１０）の店舗の住所や生活圏情報（Ｄ１６に存在する）との照合（検索）を行い、店舗名を特定する（ＳＳ３３）。尚、前記パターンマッチングでチェーン名を取得できなかった場合や店舗名を特定できなかった場合はそれぞれに所定のデータを割り当てる。

サーバ装置３００は携帯型情報装置１００に対し、特定した店舗名を、サーバ装置３００の通信手段を介して送信して（ＳＳ３４）処理を終える。

図１２に戻り、携帯型情報装置１００は、サーバ装置３００から受信した店舗名を表示手段１３０により表示部１０５に表示する。利用者は表示された店舗名を視認して、編集の必要があると判断した場合、該店舗名を入力手段１４０によって新規に入力し直すか編集することにより修正する（Ｓ２３２）。

これらの処理を行った結果、得られた店舗名を採用し、利用店舗テーブル（Ｔ１０）に存在しなかった該店舗名と該店舗の電話番号との組合せを前記利用店舗テーブル（Ｔ１０）に追加し（Ｓ２３９）、チェーン名と店識別名、および、標準設定の費目（Ｄ１４）を採用して（Ｓ２３９）、前記商品名文字列、金額文字列、その他の文字列と関係づけて1件のレシートデータとして前記記憶手段１５０を用いて記憶部１０２に記録する（Ｓ２１０）。

本実施形態１によれば、利用者はレシート等２００をＯＣＲ認識することによって、店舗名を決定するとともに、商品名文字列、金額文字列、その他の文字列を取得できるとともに、商品等に対して費目を付与したデータを得ることができる。

（マスターＤＢの更新）
続いて、サーバ装置３００が持つ店舗名マスターＤＢ（Ｄ１０）の蓄積データの追加や更新について説明する。

長期間使用している既存の店舗名マスターＤＢ（Ｄ１０）は、例えば閉店したり移転したりした店舗の古い情報がそのまま蓄積されていることがあり、また、チェーン店の統廃合などで店舗名が変わってしまう場合もあって、経時的にデータが不適切になってしまうことがあった。このような場合、データベース自体を作成し直したり、メンテナンスしたりする必要がある。以下に、新しい店名が、何人かの利用者により、それらの利用者の携帯型情報装置１００のデータベースには登録されているが未だサーバ装置３００の店舗名マスターＤＢ（Ｄ１０）には登録されていない場合の、同ＤＢの更新手段を説明する。

本処理では、多数の利用者がそれぞれの携帯型情報装置１００の利用店舗テーブル（Ｔ１０）に店舗名をどのように登録したかといったログを集計した店舗名登録ログＤＢ（Ｄ２０）を用いて、同一電話番号の店舗（一つに特定される店舗）がどういった属性（チェーン名、店識別名等）で登録されているかについてその登録数の多寡で評価し、店舗名マスターＤＢ（Ｄ１０）に未登録の店舗については、前記評価に従って新規にレコードを生成し、登録済の店舗については前記評価に従ってレコードを更新することにより、店舗名マスターＤＢ（Ｄ１０）の蓄積データの追加や更新を行うことが示される。

ここで、店舗名マスターＤＢ（Ｄ１０）は、先に説明したように電話番号と、この電話番号に対応するチェーン名および店識別名がユニークに紐づけられているものであり、店舗名登録ログＤＢ（Ｄ２０）は、利用者が携帯型情報装置１００に新規に店舗名を登録したときのログを受信し、それらのデータを集計したものであって、ここに登録されている登録店舗名は、利用者の嗜好や事情から微妙に異なっているため、一つの電話番号に対して複数の登録店舗名が記録されることがある。

図１７は、店舗名マスターＤＢ（Ｄ１０）の生成や蓄積データの追加、更新に係るフローチャートである。先ず、サーバ装置３００が持つ店舗名登録ログＤＢ（Ｄ２０）から、同一電話番号を持つログのレコードを抽出する（Ｓ３０１）。ここで、店舗名表記揺れデータベース（Ｄ４０）の電話番号揺れ（Ｄ４４）を参照して、該電話番号を同一電話番号と見做して処理を続けてもよい。

同一電話番号を持つログのレコードを抽出したら、登録数（Ｄ２３）が多いレコードの登録店舗名（Ｄ２２）を例えば５件抽出し、それぞれの登録店舗名（Ｄ２２）からチェーン名と思われる部分を切り出してチェーン名候補とする（Ｓ３０２）。チェーン名（と思われる部分）と店識別名（と思われる部分）の間に区切り（空白）等がない場合は、代表チェーン名リスト（Ｄ３０）を利用して登録店舗名（Ｄ２２）からチェーン名候補を切り出してもよい。

切り出したそれぞれのチェーン名候補をサーバ装置３００が持つ代表チェーン名リスト（Ｄ３０）と照合する（Ｓ３０３）。代表チェーン名リスト（Ｄ３０）は、先に述べたように、代表となるチェーン名（Ｄ３１）に対して、どんな（チェーン名の）名称（Ｄ３２）が登録されているかを対応付けたリストであって、利用者が登録した登録店舗名の一部が代表チェーン名リストに存在すれば（Ｓ３０４のＹ）、候補のチェーン名として、該当する代表チェーン名（Ｄ３１）に決定する（Ｓ３０５）。また、登録店舗名の一部が代表チェーン名リストに存在しなければ（Ｓ３０４のＮ）、登録数（Ｄ２３）が１位のレコードの登録店舗名をチェーン名として決定する（Ｓ３０６）。

次に、店識別名を決定するために、先の同一電話番号を持つログのレコードの登録店舗名（Ｄ２２）からチェーン名と思われる部分を切り出した残りの部分を店識別名候補として抽出する（Ｓ３０７）。店識別名候補は抽出されない場合もありうる。また、チェーン名と思われる部分の選定には、代表チェーン名リスト（Ｄ３０）を利用してもよい。

それぞれのレコードの店識別名候補について正規化する、例えば「店」、「支店」、「出張所」、「分店」などの商号に添える接尾語が付いている場合など、それらが付いていない店識別名候補と同じのものとして扱うこととして、例えば「店」という接尾語付きの店識別名候補に一本化し、登録数を合算するような編集を行う（Ｓ３０８）。

正規化を行った後の店識別名候補について、合算した登録数を評価し、一番多かった店識別名候補を店識別名として決定する（Ｓ３０９）。

上述のようにして、ある一つの電話番号について、その電話番号に対応する店舗名（チェーン名＋店識別名）を決定する（Ｓ３１０）。

こうして、電話番号に対応するチェーン名と店識別名が決定した場合、好ましくは、既存の店舗名マスターＤＢ（新規にマスターＤＢを作り直している場合は、古い店舗名マスターＤＢ、レコードを更新している場合は修正中の店舗名マスターＤＢ）を参照し、該電話番号に対応する店舗の、標準設定される費目と、類似電話番号などの表記揺れデータなどの付加情報を取得する（Ｓ３１１）。

このようにして、電話番号と決定したまたは取得したデータに基づいて新規のレコードを次々に（電話番号の種類だけ）作成して登録し、新たな店舗名マスターＤＢを生成する、または既存店舗名マスターＤＢにレコードを追加登録、または、書き換え更新する（Ｓ３１２）。

本処理によれば、利用者は店舗名マスターＤＢ（Ｄ１０）について、新たな店舗名マスターＤＢを生成することができる。または、既存の店舗名マスターＤＢにデータを追加、更新することができる。

本発明は、上述の実施形態に限定されることなく、特許請求の範囲内で種々変更、応用が可能である。例えば、携帯型情報装置１００は、本実施形態で示したようなスマートフォンでなく、タブレット端末などの装置であってもよい。また、携帯型情報装置１００における、表示データの選択方法や文字列の編集方法について、タッチペンやマウスを用いたり、様々なユーザインタフェースを使用しても同様に本発明の実施をすることが可能である。

１００ 携帯型情報装置
２００ レシート等
３００ サーバ装置
５００ ネットワーク
Ｔ１０ 利用店舗テーブル
Ｔ２０ ユーザ属性テーブル
Ｔ３０ ロゴパターンテーブル
Ｄ１０ 店舗名マスターデータベース
Ｄ２０ 店舗名登録ログデータベース
Ｄ３０ 代表チェーン名リスト
Ｄ４０ チェーン名ロゴパターンデータベース

Claims (10)

1. 撮像手段と、通信手段と、表示手段と、入力手段と、記憶手段と、レシートＯＣＲ手段と、店名入力補助手段と、を備えた携帯型情報装置であって、
   前記記憶手段には、過去に利用した店舗の店舗名と該店舗の電話番号の組合せを記録した利用店舗テーブルと、前記レシートＯＣＲ手段を利用して作成されるレシートデータが記録され、
   前記レシートＯＣＲ手段は、前記撮像手段により入力されたレシート画像データをＯＣＲ処理して、電話番号文字列、商品名文字列、金額文字列、その他の文字列を認識出力するとともに、前記利用店舗テーブルに認識した電話番号文字列と一致するデータがあれば、対応する店舗名を、そのレシート画像データにより認識された各種認識文字列と関係づけて1件のレシートデータとして前記記憶手段に記録させ、
   前記店名入力補助手段は、前記利用店舗テーブルに認識した電話番号文字列と一致するデータが存在しない場合であって、一部の所定桁数だけ異なる電話番号データが存在する場合は、その電話番号に対応する店舗名を前記表示手段に店舗名候補として提示することを特徴とする携帯型情報装置。
2. 請求項１に記載の携帯型情報装置であって、操作者により前記店名入力補助手段が提示した店舗名候補が選択された場合、該店舗名と１件のレシートデータを関係づけて前記記憶手段に記録するとともに、該店舗名候補と、前記レシートＯＣＲ手段が認識した電話番号であって前記利用店舗テーブルに存在しなかった電話番号と、の組合せを前記利用店舗テーブルに新たに追加することを特徴とする携帯型情報装置。
3. 請求項２に記載の携帯型情報装置であって、操作者により前記店名入力補助手段が提示した店舗名候補のいずれか一を選択し、該店舗名候補の文字列を前記入力手段によって修正し、該修正した店舗名と１件のレシートデータを関係づけて前記記憶手段に記録するとともに、該修正した店舗名と、前記レシートＯＣＲ手段が認識した電話番号であって前記利用店舗テーブルに存在しなかった電話番号と、の組合せを前記利用店舗テーブルに新たに追加することを特徴とする携帯型情報装置。
4. 前記携帯型情報装置は、ロゴマッチング手段をさらに備え、前記記憶手段には、店舗と店舗が属するチェーンのレシートに記されるロゴパターンの画像データと該店舗と店舗が属するチェーンのチェーン名の組合せを記録したロゴパターンテーブルがさらに記録され、
   前記ロゴマッチング手段は、前記レシート画像データと前記ロゴパターンの画像データをパターンマッチングすることにより、対応するチェーン名を前記ロゴパターンテーブルから取得することを特徴とする、請求項３に記載の携帯型情報装置。
5. コンピュータを、請求項１から請求項４のいずれか１に記載の携帯型情報装置として機能させるためのコンピュータプログラム。
6. サーバの通信手段と、サーバの記憶手段と、マスター照合手段と、を備えたサーバ装置であって、前記サーバの記憶手段には、店舗名と該店舗の電話番号の組合せを記録した店舗名マスターデータベースが記録され、
   前記マスター照合手段は、携帯型情報装置からの電話番号文字列を含んだ問合せを受信し、前記電話番号文字列の電話番号に対応する店舗名を前記店舗名マスターデータベースから検索し、検索が成功した場合は検索成功の通知と店舗名を、検索が成功した場合は検索不成功の通知を前記携帯型情報装置に送信することを特徴とするサーバ装置。
7. 前記サーバ装置は、パターンマッチング手段をさらに備え、前記サーバ装置の記憶手段には、店舗名と該店舗の所在地データの組合せをさらに記録した前記店舗名マスターデータベースと、店舗と店舗が属するチェーンのレシートに記されるロゴパターンの画像データと該店舗と店舗が属するチェーンのチェーン名の組合せを記録したチェーン名ロゴパターンデータベースがさらに記録され、
   前記パターンマッチング手段は、前記携帯型情報装置からの所在地データとレシート画像データを含んだ問合せを受信し、前記レシート画像データと前記ロゴパターンの画像データをパターンマッチングすることにより、対応するチェーン名を前記チェーン名ロゴパターンデータベースから検索し、該検索したチェーン名と所在地データをキーに店舗名を前記店舗名マスターデータベースから検索し、該店舗名を返すことを特徴とする請求項６に記載のサーバ装置。
8. 前記サーバ装置は、各々の携帯型情報装置が前記利用店舗テーブルに新たに店舗名と電話番号を追加した際のログを受信し、該利用店舗テーブルに追加されたデータを集計した店舗名登録ログデータベースをさらに備え、
   前記店舗名登録ログデータベースから同一電話番号を持つログのレコードを抽出し、該レコードに登録されている登録店舗名を登録された数の多い順に所定の数だけ選定し、該選定した登録店舗名を元に店舗名の正規化を行い、結果的に一番数の多い店舗名を当該電話番号に対応する店舗名として決定し、該電話番号と前記決定した店舗名のレコードを作成して前記店舗名マスターデータベースに登録または更新する、ことを特徴とする請求項６または請求項７に記載のサーバ装置。
9. コンピュータを、請求項６または請求項７に記載のサーバ装置として機能させるためのコンピュータプログラム。
10. 請求項１から請求項４のいずれか１に記載の携帯型情報装置と請求項６から請求項８のいずれか１に記載のサーバ装置がネットワークで接続された、データ入力支援システム。

Images