JP2023071067A - 表示データ生成システム - Google Patents

Abstract

【課題】入力の手間を省き、文字情報を認識して文字データを表示する表示データを生成することができる表示データ生成システムを提供する。【解決手段】表示データ生成システム１０は、ＯＣＲセレクタ１１、携帯端末１２を備える。ＯＣＲセレクタ１１の第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂはそれぞれ、レシートの撮影画像からレシートに描かれた文字を認識して該認識した文字に基づいて文字データを生成する。文字データを抽出するためのテンプレートが設定されると、文字抽出装置２４は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのうち、信頼度の高い装置で生成された文字データの中から、設定されたテンプレートに応じて設定された項目に該当する文字データを抽出する。表示データ生成装置２５は、抽出された文字データを表示する表示データを生成する。【選択図】図１

Description

本発明は、表示データ生成システムに関する。

従来、医療施設から健康保険組合などの支払い機関に対し、診療報酬を請求するためにレセプト（診療報酬明細書）を作成するコンピューターシステムとして、レセプトコンピュータが知られている（例えば、特許文献１参照）

レセプトコンピュータは、例えば薬局に置かれて使用され、病院で処方された紙の処方箋の情報等が患者毎に記憶される。レセプトコンピュータには、二次元コード読取装置が設けられており、紙の処方箋に記載された処方箋の情報を示す二次元コードを、二次元コード読取装置で二次元コードを読み取ることで、読み取った処方箋の情報がレセプトコンピュータに記憶される。

特開２０１８－３２３８１

しかしながら、処方箋に二次元コードが記載されていない処方箋の場合、紙の処方箋の情報をレセプトコンピュータに手動で入力することで、文字情報をデータ化しているため、入力に手間がかかっていた。処方箋に限らず、紙に印刷等された文字情報をデータ化するには、文字情報を手動で入力する必要があり、手間がかかっていた。

さらに、文字情報を自動で読み取りデータ化する場合にも、文字情報が印刷された対象によって、読み取る文字情報が異なり、読み取り性能が低くなるという問題がある。

本発明の目的は、かかる従来技術の課題に鑑み、入力の手間を省き、文字情報を認識して文字データを表示する表示データを生成することができる表示データ生成システムを提供することにある。

［１］本発明の表示データ生成システムは、文字を認識して該認識した文字に基づいて文字データを生成する文字データ認識装置と、
前記文字データ認識装置で生成された文字データの中から、所定のテンプレートに応じて設定された項目に該当する文字データを抽出する文字抽出装置と、
前記文字抽出装置で抽出された文字データを表示する表示データを生成する生成装置と、
を備えることを特徴とする。

本発明によれば、認識した文字に基づいて、所定のテンプレートに応じて設定された項目に該当する文字データを抽出し、該抽出された文字データを表示する表示データを生成することができる。こにれより、入力の手間を省き、容易に文字情報をデータ化することができる。さらに、例えば、所定のテンプレート以外のテンプレートに応じて設定された項目に該当する文字データは抽出する必要がなく、文字データ抽出に係るデータ処理量を削減することができる。

［２］前記所定のテンプレートを設定するテンプレート設定装置を備え、
前記文字抽出装置は、前記テンプレート設定装置で設定された前記所定のテンプレートに応じて設定された項目に該当する文字データを抽出することが好ましい。

上記構成によれば、所望する所定のテンプレートに応じて設定された項目に該当する文字データを容易に抽出することができる。

［３］前記文字抽出装置で抽出する文字データを設定する抽出文字設定装置を備え、
前記文字抽出装置は、前記抽出文字設定装置で設定された文字データを抽出することが好ましい。

上記構成によれば、所望する文字データを容易に抽出することができる。

［４］前記文字データ認識装置は複数設けられ、
前記複数の文字データ認識装置のそれぞれで生成された文字データの信頼度を判定する判定装置を備え、
前記文字抽出装置は、前記判定装置での判定結果に基づいて、前記複数の文字データ認識装置のそれぞれで生成された文字データの中から、抽出に用いる文字データを選択して、選択した文字データの中から文字データを抽出することが好ましい。

上記構成によれば、複数の文字データ認識装置の中から、文字データ抽出の信頼度の高い文字データ認識装置を用いて、文字データを抽出することができ、文字データ抽出性能を向上することができる。

本発明の一実施形態に係る表示データ生成システムの構成の概略を示す概略図。 レシートを示す説明図。 携帯端末のカメラでレシートを撮影している状態を示す図。 表示データを生成する場合の処理の流れを示すフロチャート。

以下、図面を用いて本発明の実施形態を説明する。

まず、図１を参照して、本発明の一実施形態に係る表示データ生成システム１０の構成の概略を説明する。

表示データ生成システム１０は、販売店等から提供された紙のレシート（図２参照）を認識して該レシートに応じた表示データを生成するものであり、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学的文字認識）セレクタ１１と、携帯端末１２と、を備える。

ＯＣＲセレクタ１１は、ＣＰＵ等から構成されてＯＣＲセレクタ１１を統括的に制御するＯＣＲ制御部２１と、文字データ認識装置２２と、判定装置２３と、文字抽出装置２４と、表示データ生成装置２５と、外部と通信可能なＯＣＲ通信部２６と、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成されたＯＣＲ記憶部２７と、を備える。

文字データ認識装置２２は、レシートの撮影画像からレシートに描かれた文字を認識して該認識した文字に基づいて文字データを生成するもので、第１文字データ認識装置２２Ａと第２文字データ認識装置２２Ｂとを備える。

ＯＣＲ記憶部２７には、撮影画像に記載された文字を認識するＯＣＲを稼働させるためのＯＣＲプログラム等の各種プログラムが記憶されており、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂは、各種プログラムを読み込んで、各種データ処理を行う。

判定装置２３は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのそれぞれで生成された文字データの信頼度を判定する。

ＯＣＲ記憶部２７には、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのそれぞれで生成された文字データの信頼度を判定する判定プログラム等の各種プログラムが記憶されており、判定装置２３は、各種プログラムを読み込んで、文字データの信頼度を判定する。例えば、生成された文字データと、予め辞書機能として記憶された文字との一致率を、信頼度として判定する。

文字抽出装置２４は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂで生成された文字データの中から、所定のテンプレートに応じて設定された項目に該当する文字データを抽出する。この際、文字抽出装置２４は、判定装置２３での判定結果に基づいて、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂで生成された文字データの中から、抽出に用いる文字データを選択して、選択した文字データの中から、所定のテンプレートに応じて設定された項目に該当する文字データを抽出する。

ＯＣＲ記憶部２７には、複数の所定のテンプレートの情報や、文字データ認識装置２２で生成された文字データの中から、所定のテンプレートに応じて設定された項目に該当する文字データを抽出するための文字データ抽出プログラム等が記憶されており、文字抽出装置２４は、文字データ抽出プログラムを読み込んで、文字データを抽出する。

複数の所定のテンプレートのそれぞれは、テンプレートの種類（例えば、レシート）に応じて項目（商品名、価格、個数等）が設定されている。

表示データ生成装置２５は、文字抽出装置２４で抽出された文字データを表示する表示データを生成する。

ＯＣＲ記憶部２７には、文字抽出装置２４で抽出された文字データを表示する表示データを生成するための表示データ生成プログラム等が記憶されており、表示データ生成装置２５は、表示データ生成プログラムを読み込んで、表示データを生成する。

携帯端末１２は、例えばスマートフォンから構成され、カメラ３１と、タッチパネル３２と、ＣＰＵ等から構成されて携帯端末１２を統括的に制御する携帯制御部３３と、外部と通信可能な携帯通信部３４と、携帯記憶部３５と、を備え、ＯＣＲセレクタ１１と通信可能となっている。

携帯記憶部３５は、例えばＲＯＭ等の記憶装置により構成されている。なお、ＯＣＲセレクタ１１と携帯端末１２との通信は、無線、有線いずれでもよい。

携帯端末１２には、表示データ生成モードが設けられ、この表示データ生成モードに移行すると、詳しくは後述する表示データ生成が実行される。

［表示データ生成］
次に、図４のフロチャートを用いて、表示データ生成システム１０を用いてレシートを認識して、該レシートに応じた表示データを生成する場合の流れを説明する。

先ず、ユーザは、携帯端末１２のタッチパネル３２を操作して、携帯端末１２を表示データ生成モードに移行させる。この表示データ生成モードへの移行は、携帯端末１２の携帯制御部３３により行われる。

次に、紙のレシートを、携帯端末１２のカメラ３１で撮影（図２参照）する（写真の文字の下の〇をタッチ）。携帯制御部３３は、レシートの撮影画像データを携帯記憶部３５に記憶し、且つ、ＯＣＲセレクタ１１に送信する（ＳＴＥＰ１）。

ＯＣＲセレクタ１１は、ＯＣＲ通信部２６でレシートの撮影画像データを受信すると、ＯＣＲ制御部２１で受信したレシートの撮影画像データに対して圧縮、ノイズ除去等の処理を施した（ＳＴＥＰ２）後、レシートの撮影画像データを第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂに送る。

第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂはそれぞれ、レシートの撮影画像からレシートに描かれた文字を認識して該認識した文字に基づいて文字データを生成する（ＳＴＥＰ３）。

判定装置２３は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのそれぞれで生成された文字データの信頼度を判定する（ＳＴＥＰ４）。本実施形態では、判定装置２３は、各種プログラムを読み込んで、生成された文字データと、予め辞書機能として記憶された文字との一致率を、信頼度として判定する。

ＯＣＲ制御部２１は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのそれぞれで生成された文字データと、信頼度の情報とを、携帯端末１２に送信する。

携帯端末１２の携帯制御部３３は、受信した文字データ及び信頼度の情報を、タッチパネル３２に表示する（ＳＴＥＰ５）。ユーザは、このタッチパネル３２に表示された文字データ及び信頼度の情報を確認した後、タッチパネル３２を操作して、複数のテンプレートの中から、文字データを抽出するためのテンプレートを設定する（ＳＴＥＰ６）。

携帯端末１２の携帯制御部３３は、設定されたテンプレートの情報を、ＯＣＲセレクタ１１に送信する。

ＯＣＲ制御部２１は、受信したテンプレートの情報に応じた読取辞書項目を表示パネル（図示せず）に表示する（ＳＴＥＰ７）。オペレータは、表示パネルに表示された読取辞書項目を確認して、項目の追加及び削除等を行う。

文字抽出装置２４は、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂのうち、信頼度の高い装置で生成された文字データの中から、設定されたテンプレートに応じて設定された項目に該当する文字データを抽出する（ＳＴＥＰ８）。

本実施形態では、レシートテンプレートがテンプレートとして設定され、このレシートテンプレートに応じて設定された項目として、店舗名、店舗住所、店舗電話番号、日付、商品名、個数、金額、合計金額が設定されている。なお、設定された項目（文字）を抽出できなかった場合には、その項目は空欄とする。

本実施形態では、文字抽出装置２４は、周知の機械学習（教師あり学習：学習データとして入力とその正しい出力が与えられ、ある入力を受けると正しい出力ができるよう学習させるアルゴリズム）を繰り返し行うことで、文字の抽出能力や、文脈の識別能力を向上している。

例えば、予め辞書機能として、複数の店舗名及び商品名の情報（例えば、ＸＹＺストア、○○ドリンク、□□スナック等）が、キーワードとしてＯＣＲ記憶部２７内の辞書に記憶され、文字抽出装置２４は、辞書に記憶された複数の店舗名及び商品名と一致する店舗名及び商品名の文字データを抽出する。また、予め辞書機能として、商品名の一部（例えば、ショップ、ストア、パン、弁当等）がキーワードとして記憶され、辞書に記憶された商品名の一部（ショップ、パン、弁当）を含む文字（例えば、「ＡＢＣショップ」、「△△パン」や「××弁当」）を、商品名の文字データとして抽出する。

また、上記辞書機能で記憶する情報（キーワード）は、例えばオペレータにより適宜変更可能である。これにより、抽出したい文字（情報）を変更することができる。

予め設定された「パン」の文字を識別した場合には、レシートにおいて抽出した「パン」の文字を含む「△△パン」を商品名の文字データとして抽出し、この抽出した文字の右横に記載された文字「250」を、金額として識別する。

表示データ生成装置２５は、文字抽出装置２４で抽出された文字データを表示する表示データを生成し、表示パネルに表示する（ＳＴＥＰ９）。

ＯＣＲ制御部２１は、生成された表示データを、携帯端末１２に送信する。

携帯端末１２の携帯制御部３３は、受信した表示データを、タッチパネル３２に表示する。ユーザは、このタッチパネル３２に表示された表示データを確認した後、タッチパネル３２を操作して、追加／修正したい項目を枠で選択する（ＳＴＥＰ１０）。例えば、レシートでは、店舗名が「ＡＢＣショップ」となっているのに対し、生成された表示データでは、店舗名が「ＡＢショップ」となっている場合がある。これは、レシートの「Ｃ」の文字が薄くなっている場合等に発生する。この場合には、表示データの「ＡＢショップ」を枠で選択する。

ユーザは、表示データの「ＡＢショップ」を枠で選択した後、タッチパネル３２を操作して、正しいデータとして「ＡＢＣショップ」を入力（修正）する（ＳＴＥＰ１１）。

携帯端末１２の携帯制御部３３は、入力されたデータの情報を、ＯＣＲセレクタ１１に送信する。

ＯＣＲ制御部２１は、受信したデータに基づいて、読取項目辞書を拡張する（ＳＴＥＰ１２）。本実施形態では、読取項目辞書で、店舗名の「ＡＢＣショップ」が追加される。これにより、文字データの抽出（読取）設定が自動で適用される（ＳＴＥＰ１３）。

このように、認識した文字に基づいて、所定のテンプレートに応じて設定された項目に該当する文字データを抽出し、該抽出された文字データを表示する表示データを生成することができる。こにれより、入力の手間を省き、容易に文字情報をデータ化することができる。さらに、例えば、所定のテンプレート以外のテンプレートに応じて設定された項目に該当する文字データは抽出する必要がなく、文字データ抽出に係るデータ処理量を削減することができる。

また、所定のテンプレートを設定可能であるので、所望するテンプレートに応じて設定された項目に該当する文字データを抽出することができる。

さらに、文字抽出装置２４で抽出する文字データを設定可能（辞書機能の拡張）であるので、所望する文字データを容易に抽出することができる。

また、第１文字データ認識装置２２Ａ及び第２文字データ認識装置２２Ｂを設け、各装置２２Ａ及び２２Ｂで生成された文字データの信頼度を判定し、文字抽出装置２４は、信頼度の高い文字データ認識装置で生成された文字データの中から文字データを抽出するので、文字データ抽出性能を向上することができる。

以上、本発明を、その好適な実施形態について説明したが、当業者であれば容易に理解できるように、本発明はこのような実施形態により限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、上記実施形では、文字データ認識装置を２個設けているが、文字データ認識装置の数は適宜変更可能であり、１個や３個以上でもよい。

上記実施形では、レシートの文字を認識及び抽出してレシートの表示データを生成しているが、表示データを生成する対象はレシートに限定されず、例えば、処方箋、保険証、不動産情報等の文字データを表示する表示データを生成するようにしてもよい。この場合、表示データを生成する対象に応じたテンプレートを設け、対応したテンプレートを選択して文字データを抽出することが好ましい。

１０…表示データ生成システム、１１…ＯＣＲセレクタ、１２…携帯端末、２１…ＯＣＲ制御部、２２…文字データ認識装置、２２Ａ…第１文字データ認識装置、２２Ｂ…第２文字データ認識装置、２３…判定装置、２４…文字抽出装置、２５…表示データ生成装置

Claims (4)

1. 文字を認識して該認識した文字に基づいて文字データを生成する文字データ認識装置と、
   前記文字データ認識装置で生成された文字データの中から、所定のテンプレートに応じて設定された項目に該当する文字データを抽出する文字抽出装置と、
   前記文字抽出装置で抽出された文字データを表示する表示データを生成する生成装置と、
   を備えることを特徴とする表示データ生成システム。
2. 請求項１に記載の表示データ生成システムにおいて、
   前記所定のテンプレートを設定するテンプレート設定装置を備え、
   前記文字抽出装置は、前記テンプレート設定装置で設定された前記所定のテンプレートに応じて設定された項目に該当する文字データを抽出することを特徴とする表示データ生成システム。
3. 請求項１又は２に記載の表示データ生成システムにおいて、
   前記文字抽出装置で抽出する文字データを設定する抽出文字設定装置を備え、
   前記文字抽出装置は、前記抽出文字設定装置で設定された文字データを抽出することを特徴とする表示データ生成システム。
4. 請求項１～３のいずれか１項に記載の表示データ生成システムにおいて、
   前記文字データ認識装置は複数設けられ、
   前記複数の文字データ認識装置のそれぞれで生成された文字データの信頼度を判定する判定装置を備え、
   前記文字抽出装置は、前記判定装置での判定結果に基づいて、前記複数の文字データ認識装置のそれぞれで生成された文字データの中から、抽出に用いる文字データを選択して、選択した文字データの中から文字データを抽出することを特徴とする表示データ生成システム。
   

Images