JP2019139737A - レシート処理装置、プログラム及びレポートの生産方法 - Google Patents
レシート処理装置、プログラム及びレポートの生産方法 Download PDFInfo
- Publication number
- JP2019139737A JP2019139737A JP2018184309A JP2018184309A JP2019139737A JP 2019139737 A JP2019139737 A JP 2019139737A JP 2018184309 A JP2018184309 A JP 2018184309A JP 2018184309 A JP2018184309 A JP 2018184309A JP 2019139737 A JP2019139737 A JP 2019139737A
- Authority
- JP
- Japan
- Prior art keywords
- image
- receipt
- unit
- pattern
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Character Input (AREA)
Abstract
Description
本実施形態のレシート処理装置は、レシートから費用情報を抽出してレポートを出力するレポート出力処理を行う。その大まかな流れを説明すると、レポート出力処理では先ず、レシート処理装置に接続されたスキャナー部であるスキャナー装置にレシートを両面スキャンさせて、スキャナー部にセットされた読取対象のレシートのそれぞれについて第1の模様を含む1面の画像である第1画像と第2の模様を含む2面の画像である第2画像とを取得する。ここで模様という言葉は、文字や記号や図形又はこれらと色彩との結合の総称として用いる。よって、第1の模様とは第1画像に含まれている内容という意味であり、第2の模様とは第2画像に含まれている内容という意味である。なお、理解の混乱を避けるため、以下では適宜、第1画像に含まれる第1の模様のことを単に第1画像ということがあり、第2画像に含まれる第2の模様のことを単に第2画像ということがある。第1画像及び第2画像を取得した後は、第1画像及び第2画像をそれぞれOCR(Optical Character Recognition/Reader)処理し、当該OCR処理による解析結果である文字認識結果に基づきレシートに印刷された費用情報を抽出する費用情報抽出処理を行ってレポートを出力する。
レシートの中には、その裏面に、例えば、販売店の店舗名や住所、電話番号、メールアドレス、ホームページのURL(Uniform Resource Locator)といった店舗情報、広告、返品時の注意書き等が印刷されたものもあれば、裏面が白紙のものもある。そして、表面には必ず費用情報が記載されることから、読み取った一方の面が白紙であれば、当該白紙の面が裏面である。そこで、本実施形態では、1つ目の判断項目である白紙項目として、第1画像と第2画像との一方が白紙の画像であるか否かを判断する。そして、第1画像と第2画像との一方が白紙の画像である場合に、当該一方の画像を裏面の画像と判定する。この場合は、他方の画像を表面とし、その文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。
一般に、表面の費用情報は、黒やグレー、暗い青といった無彩色又は低彩度色で印刷される。これに対し、裏面の広告等は、高彩度色のカラーで印刷されたものがある。そこで、2つ目の判断項目である使用色項目として、第1画像と第2画像とに使われている色を判断する。そして、第1画像と第2画像との一方のみが所定の低彩度条件を満たす色のみである場合に、当該一方の画像を表面の画像と判定する。この場合は、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。低彩度条件には、黒やグレー等の無彩色又は低彩度色であって、費用情報の印刷に使用され得る1つ又は複数の色が設定されてもよいし、彩度の数値条件が設定されることとしてもよい。
表面の費用情報は金額情報を含むため、必ず数字が含まれる。一方で、裏面の記載内容には、数字が含まれない場合もあり得る。そこで、3つ目の判断項目である数字項目として、第1画像及び第2画像の文字認識結果から各画像が数字を含むか否かを判断する。より正確には、第1画像に含まれる第1の模様及び第2画像に含まれる第2の模様に数字が含まれるか否かを判断する。そして、第1画像と第2画像との何れか一方のみが数字を含まない画像である場合に、当該一方の画像を裏面の画像と判定する。
表面の費用情報は、一般に、レシートの長手方向を上下とする横書きで、別の言い方をすると用紙の短手方向に沿った横書きで記載される。これに対し、裏面の広告等は、レシートの短手方向を上下とする横書きで、別の言い方をすると用紙の長手方向に沿った横書きで記載される場合や、当該短手方向を上下とする縦書きで記載される場合もあり得る。また、その他にも、レシートの長手方向や短手方向に対して斜めに文字が配置されて広告等が記載される場合も考えられる。
レシートの裏面の記載態様の1つに、店舗情報や広告等が繰り返し印刷された態様がある。具体的には、その裏面において、店舗情報が所定の間隔をあけて繰り返し印刷されたレシートや、商品の広告であったり、返品時の注意書き等が繰り返し印刷されたレシート等が挙げられる。そこで、5つ目の判断項目である繰り返し項目として、第1画像及び第2画像の文字認識結果から、第1画像に含まれる第1の模様と第2画像に含まれる第2の模様とにおいて同じ文字列である繰り返し印刷体が繰り返されているか否かを判断する。本実施形態では、第1画像内又は第2画像内の10文字以上で構成される文字列について当該画像内で探索を行い、それと同じ文字列がN個以上含まれる場合に、当該画像において当該文字列である繰り返し印刷体が繰り返されていると判断する。本実施形態ではN=2とするが、Nは3以上でもよい。そして、第1画像と第2画像との何れか一方のみに繰り返し印刷体が繰り返されている場合に、当該一方の画像を裏面の画像と判定する。
表面の費用情報は、一般に、図1、図3及び図5に示すように、「Tax」や「Total」といった特定の文字列を含む。そこで、6つ目の判断項目である特定文字列項目として、第1画像及び第2画像の文字認識結果から各画像が特定文字列を含むかを判断する。より正確には、第1画像に含まれる第1の模様及び第2画像に含まれる第2の模様に特定文字例が含まれるかを判断する。そして、第1画像と第2画像との何れか一方のみが特定文字列を含む画像である場合に、当該一方の画像を表面の画像と判定する。この場合は、当該表面の画像の文字認識結果を用いて後段の費用情報抽出処理を行うこととなる。特定文字列については、例示した「Tax」及び「Total」の他にも、例えば「Card」や「Cash」「Change」等、レシートの表面に記載され得る文字列を予め設定しておけばよい。
図9は、レシート処理装置10の機能構成例を示すブロック図である。レシート処理装置10は、例えば、ユーザーが使用するパソコン等のコンピューターであり、レシートの両面スキャンを行って第1画像と第2画像とを取得するためのスキャナー部100と接続されて構成される。このレシート処理装置10は、図9に示すように、操作入力部110と、出力部としての表示部130と、通信部150と、演算処理部170と、記憶部200とを備える。なお、レシート処理装置10がスキャナー部100を具備することとして説明するが、スキャナー部100を外付けの別装置と考えて、スキャナー部100以外の構成をレシート処理装置10としてもよいことは勿論である。
図11は、本実施形態のレシート処理装置10が行うレポート出力処理の流れを示すフローチャートである。ここで説明する処理は、例えば、ユーザーにより読取対象のレシートがスキャナー部100にセットされ、所定の読み取り開始操作が為されると開始される。なお、本処理は、演算処理部170が記憶部200からレシート処理プログラム210を読み出して実行し、レシート処理装置10の各部を動作させることで実現できる。
なお、本発明を適用可能な形態は上記した実施形態に限定されるものではなく、適宜構成要素の追加・省略・変更・統合・分離を施すことができる。例えば、上記したレシート処理装置のうち、スキャナー部や表示部を別の装置としてもよい。
また、費用情報を記載したレポートの出力は、上記実施形態で説明した表示部130に表示する態様に限らず、例えば、出力部としての印刷装置から印刷する態様や、出力部としての記憶部200にレポートデータ250を格納する態様や、外部の装置にレポートデータ250を受け取らせる態様を含む。
Claims (12)
- スキャナー部にレシートの両面スキャンを行わせて、第1の模様を含む1面の画像である第1画像と第2の模様を含む2面の画像である第2画像とを生成させるスキャン制御部と、
前記第1の模様と前記第2の模様とのそれぞれに基づいて、前記第1画像と前記第2画像とのそれぞれについて、表面か裏面かを判定する判定部と、
前記裏面の画像を破棄する破棄部と、
前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部と、
を備えるレシート処理装置。 - 前記判定部は、前記模様の少なくとも一部で繰り返し印刷体が繰り返されているか否かを判断し、前記第1画像と前記第2画像との一方のみに前記繰り返し印刷体が繰り返されていると判断された場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第1判断部と、前記第1画像と前記第2画像とのそれぞれに含まれる文字の向きを判断し、前記第1画像と前記第2画像との一方のみにおいて全ての文字の向きが所定の不適正方向条件を満たす場合には、当該一方の画像を前記レシートの裏面の画像と判定し、他方の画像を前記レシートの表面の画像と判定する第2判断部と、の少なくとも一方を有する、請求項1に記載のレシート処理装置。
- 前記判定部は、前記第1画像と前記第2画像とのそれぞれについて、OCR処理によって読み取った文字を用いて表面か裏面かを判定する、
請求項1又は2に記載のレシート処理装置。 - 前記出力部は、表面と判定された画像から前記OCR処理によって読み取られた文字列の少なくとも一部を抽出された前記費用情報とする、
請求項3に記載のレシート処理装置。 - 前記OCR処理の前に、前記第1画像と前記第2画像との一方が白紙の画像であるか否かを判断する第3判断部、
を更に備え、
前記破棄部は、前記第1画像と前記第2画像との一方が白紙の画像である場合には、当該一方の画像を前記レシートの裏面の画像として破棄し、
前記第1画像と前記第2画像との一方が白紙の画像である場合には、前記表面の画像のみについて前記OCR処理を行う、
請求項3又は4に記載のレシート処理装置。 - 前記OCR処理の前に、前記第1画像と前記第2画像とに使われている色を判断する第4判断部、
を更に備え、
前記破棄部は、前記第1画像と前記第2画像との一方のみが所定の低彩度条件を満たす色のみである場合には、他方の画像を前記レシートの裏面の画像として破棄し、
前記第1画像と前記第2画像との一方のみが前記低彩度条件を満たす色のみである場合には、前記表面の画像のみについて前記OCR処理を行う、
請求項3〜5のいずれかに記載のレシート処理装置。 - 前記第1判断部は、前記繰り返し印刷体を構成する文字列を10文字以上の文字列として、前記繰り返し印刷体が繰り返されているか否かを判断する、
請求項2に記載のレシート処理装置。 - 前記不適正方向条件は、少なくとも文字の左右方向と前記レシートの長手方向とが一致する場合に前記不適正方向条件を満たすと判断される条件である、
請求項2に記載のレシート処理装置。 - 前記破棄部は、前記第1画像と前記第2画像との一方のみが、前記不適正方向条件を満たす文字の割合が所定の高割合条件を満たす場合には、当該一方の画像を前記レシートの裏面の画像として破棄する、
請求項8に記載のレシート処理装置。 - 前記破棄部は、
前記第1画像と前記2画像とを、前記表面の画像か前記裏面の画像かを識別して表示させる画像表示制御部と、
ユーザーの操作入力に基づいて、前記表面の画像か前記裏面の画像かの識別を変更する識別変更部と、
を有し、前記ユーザーの破棄実行操作入力がなされた場合に、前記識別に基づき前記裏面とされた画像の破棄を実行する、
請求項1〜9のいずれかに記載のレシート処理装置。 - スキャナー部がレシートの両面スキャンを行うことで生成した、第1の模様を含む1面の画像である第1画像と第2の模様を含む2面の画像である第2画像とを取得する取得部、
前記第1の模様と前記第2の模様とのそれぞれに基づいて、前記第1画像と前記第2画像とのそれぞれについて、表面か裏面かを判定する判定部、
前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを出力する出力部、
としてコンピューターを機能させるプログラム。 - スキャナー部がレシートの両面スキャンを行うことで生成した、第1の模様を含む1面の画像である第1画像と第2の模様を含む2面の画像である第2画像とを取得する取得工程と、
前記第1の模様と前記第2の模様とのそれぞれに基づいて、前記第1画像と前記第2画像とのそれぞれについて、表面か裏面かを判定する判定工程と、
前記表面の画像を解析した結果に基づいて、前記レシートに印刷された費用情報を抽出してレポートを生産するレポート工程と、
を備える費用情報のレポートを生産する方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910104373.6A CN110138992A (zh) | 2018-02-08 | 2019-02-01 | 收据处理装置、程序的存储介质以及报告的制作方法 |
US16/268,542 US10909361B2 (en) | 2018-02-08 | 2019-02-06 | Receipt processing apparatus, program, and report production method |
EP19156228.9A EP3525441A1 (en) | 2018-02-08 | 2019-02-08 | Receipt processing apparatus, program, and report production method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018021225 | 2018-02-08 | ||
JP2018021225 | 2018-02-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019139737A true JP2019139737A (ja) | 2019-08-22 |
JP7255121B2 JP7255121B2 (ja) | 2023-04-11 |
Family
ID=67694142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018184309A Active JP7255121B2 (ja) | 2018-02-08 | 2018-09-28 | レシート処理装置及びレポートの生産方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7255121B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022271859A1 (en) * | 2021-06-24 | 2022-12-29 | Nielsen Consumer Llc | Methods, systems, articles of manufacture, and apparatus for decoding purchase data using an image |
US11625930B2 (en) | 2021-06-30 | 2023-04-11 | Nielsen Consumer Llc | Methods, systems, articles of manufacture and apparatus to decode receipts based on neural graph architecture |
US11768993B2 (en) | 2019-11-22 | 2023-09-26 | Nielsen Consumer Llc | Methods, systems, apparatus and articles of manufacture for receipt decoding |
US11810380B2 (en) | 2020-06-30 | 2023-11-07 | Nielsen Consumer Llc | Methods and apparatus to decode documents based on images using artificial intelligence |
US11822216B2 (en) | 2021-06-11 | 2023-11-21 | Nielsen Consumer Llc | Methods, systems, apparatus, and articles of manufacture for document scanning |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160805A (ja) * | 1993-12-10 | 1995-06-23 | Nec Corp | 両面同時読取りの光学文字読取り装置 |
JPH07271902A (ja) * | 1994-03-25 | 1995-10-20 | Oki Electric Ind Co Ltd | 光学式文字読取装置 |
JP2011123705A (ja) * | 2009-12-11 | 2011-06-23 | Sharp Corp | キャッシュレジスタ |
JP2015060448A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社Pfu | 画像処理装置、画像処理方法及びコンピュータプログラム |
-
2018
- 2018-09-28 JP JP2018184309A patent/JP7255121B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160805A (ja) * | 1993-12-10 | 1995-06-23 | Nec Corp | 両面同時読取りの光学文字読取り装置 |
JPH07271902A (ja) * | 1994-03-25 | 1995-10-20 | Oki Electric Ind Co Ltd | 光学式文字読取装置 |
JP2011123705A (ja) * | 2009-12-11 | 2011-06-23 | Sharp Corp | キャッシュレジスタ |
JP2015060448A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社Pfu | 画像処理装置、画像処理方法及びコンピュータプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11768993B2 (en) | 2019-11-22 | 2023-09-26 | Nielsen Consumer Llc | Methods, systems, apparatus and articles of manufacture for receipt decoding |
US11810380B2 (en) | 2020-06-30 | 2023-11-07 | Nielsen Consumer Llc | Methods and apparatus to decode documents based on images using artificial intelligence |
US11822216B2 (en) | 2021-06-11 | 2023-11-21 | Nielsen Consumer Llc | Methods, systems, apparatus, and articles of manufacture for document scanning |
WO2022271859A1 (en) * | 2021-06-24 | 2022-12-29 | Nielsen Consumer Llc | Methods, systems, articles of manufacture, and apparatus for decoding purchase data using an image |
US11625930B2 (en) | 2021-06-30 | 2023-04-11 | Nielsen Consumer Llc | Methods, systems, articles of manufacture and apparatus to decode receipts based on neural graph architecture |
Also Published As
Publication number | Publication date |
---|---|
JP7255121B2 (ja) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7255121B2 (ja) | レシート処理装置及びレポートの生産方法 | |
EP3525441A1 (en) | Receipt processing apparatus, program, and report production method | |
US11303769B2 (en) | Image processing system that computerizes documents with notification of labeled items, control method thereof, and storage medium | |
US11418658B2 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
EP3541057B1 (en) | Scan apparatus and scan result display program | |
US11269506B2 (en) | Information processing system, server apparatus, and information processing method | |
US11243670B2 (en) | Information processing system, information processing apparatus, information processing method and non-transitory computer readable medium | |
US7844080B2 (en) | Image processing system and image processing method, and computer program | |
CN116451659A (zh) | 电子文件的批注处理方法、装置、电子设备及存储介质 | |
JP6357832B2 (ja) | 問題生成システム、処理サーバ、問題生成システムの制御方法、処理サーバの制御方法、問題生成システムのプログラム、処理サーバのプログラム | |
CN110245572A (zh) | 区域内容识别方法、装置、计算机设备和存储介质 | |
JP2019114193A (ja) | 画像処理装置および画像処理プログラム | |
CN104346610A (zh) | 图像读取装置和方法 | |
JP7032692B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2020149166A (ja) | 採点装置及び採点プログラム | |
JP2008310531A (ja) | 帳票識別方法及び帳票識別プログラム並びに該帳票識別方法を用いた光学文字読取システム | |
US11657350B2 (en) | Information processing apparatus, workflow test apparatus, and non-transitory computer readable medium | |
JP7404943B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20210287003A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2003331216A (ja) | 帳票読取方法 | |
US20220311894A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and information processing method | |
US20140285840A1 (en) | Communication system, information processing apparatus, image processing apparatus, and non-transitory computer readable medium | |
JP2010152464A (ja) | 文字認識装置、文字認識装置の確認画面生成方法 | |
JP2018136709A (ja) | データ入力装置、データ入力プログラム及びデータ入力システム | |
JP2017157994A (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7255121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |