JP2019159875A - スキャン装置およびスキャン結果表示プログラム - Google Patents

スキャン装置およびスキャン結果表示プログラム Download PDF

Info

Publication number
JP2019159875A
JP2019159875A JP2018046359A JP2018046359A JP2019159875A JP 2019159875 A JP2019159875 A JP 2019159875A JP 2018046359 A JP2018046359 A JP 2018046359A JP 2018046359 A JP2018046359 A JP 2018046359A JP 2019159875 A JP2019159875 A JP 2019159875A
Authority
JP
Japan
Prior art keywords
area
receipt
display
displayed
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018046359A
Other languages
English (en)
Inventor
哲也 浅野
Tetsuya Asano
哲也 浅野
健太郎 金田
Kentaro Kaneda
健太郎 金田
健一郎 雨宮
Kenichiro Amamiya
健一郎 雨宮
奈央 佐藤
Nao Sato
奈央 佐藤
裕一 北澤
Yuichi Kitazawa
裕一 北澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018046359A priority Critical patent/JP2019159875A/ja
Priority to US16/299,228 priority patent/US11288500B2/en
Priority to CN201910191178.1A priority patent/CN110276339A/zh
Priority to EP19162922.9A priority patent/EP3541057B1/en
Publication of JP2019159875A publication Critical patent/JP2019159875A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12Accounting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

【課題】より使いやすいスキャン装置が求められていた。【解決手段】スキャンしたレシートからOCR処理によって金額情報を読み取って報告を行うスキャン装置であって、前記レシートのスキャンが完了すると、前記レシートに前記OCR処理を行うことで読み取った内容をディスプレイに表示する第1領域と、前記レシートをスキャンした画像を表示する第2領域とを前記ディスプレイに表示し、前記ディスプレイに表示された第3領域に対する利用者の操作を受けて、前記ディスプレイに表示されている前記第1領域または前記第2領域を非表示にし、前記第3領域に対する前記利用者の操作を受けて、非表示であった前記第1領域または前記第2領域を前記ディスプレイに表示させる、プロセッサーを備える、スキャン装置を構成する。【選択図】図1

Description

本発明は、スキャン装置およびスキャン結果表示プログラムに関する。
従来、レシートの読み取り結果に対してOCR(Optical Character recognition。光
学文字認識)処理を行う技術が知られている(例えば、特許文献1)。
特開平8−161436号公報
レシートを読み取ってOCR処理を行うスキャン装置として、より使いやすいスキャン
装置が求められていた。
上記目的を達成するためのスキャン装置は、スキャンしたレシートからOCR処理によ
って金額情報を読み取って報告を行うスキャン装置であって、レシートのスキャンが完了
すると、レシートにOCR処理を行うことで読み取った内容をディスプレイに表示する第
1領域と、レシートをスキャンした画像を表示する第2領域とをディスプレイに表示し、
ディスプレイに表示された第3領域に対する利用者の操作を受けて、ディスプレイに表示
されている第1領域または第2領域を非表示にし、第3領域に対する利用者の操作を受け
て、非表示であった第1領域または第2領域をディスプレイに表示させる、プロセッサー
を備える。この構成によれば、利用者は、スキャンが完了した場合にOCR処理結果と、
スキャン結果とを視認可能である。従って、利用者自らOCR処理結果やスキャン結果の
確認を開始するための指示を行う必要はない。従って、使いやすいスキャン装置を提供す
ることができる。なお、本願においてレシートとは領収書や請求書など金銭やこれに準ず
るものの支払いに関する書類の総称である。レシートのスキャンが完了すると表示を行う
、というのは、レシートのスキャンが完了したことに応じてユーザーの操作を要しないと
いうことであり、スキャンが完了するとすぐに表示を行うというように直接的に連動する
ものに限られず、スキャンが完了したことに応じて別の処理を開始し、その別の処理が完
了したことに応じて表示を行うというように間接的に連動していてもよい。
さらに、プロセッサーは、レシートのスキャンが完了すると、第1領域と第2領域と第
3領域と、レシートの一覧を表示する第4領域と、をディスプレイに表示させる構成であ
っても良い。この構成によれば、利用者は、OCR処理結果およびスキャン結果とともに
、レシートの一覧を視認可能である。従って、利用者は、個別のレシートの情報とともに
スキャン済の複数のレシートの情報を視認することができる。
さらに、プロセッサーは、レシートのスキャンの開始指示に応じて、第1領域または第
2領域を非表示にする構成であっても良い。この構成においては、スキャンの開始から完
了までにおいて簡易な画面にすることができる。
スキャン装置のブロック図である。 インターフェース画面の例を示す図である。 インターフェース画面を利用した検索を示す図である。 インターフェース画面を利用して表示対象のレシートを指定した結果を示す図である。 スキャン結果表示処理を示すフローチャートである。 スキャン結果表示処理を示すフローチャートである。 最新のスキャンが行われる前に表示されるインターフェース画面の初期画面を示す図である。 初期画面が表示された後、1個のレシートのスキャンが行われた場合に表示されるインターフェース画面を示す図である。 スキャンが完了した場合のインターフェース画面を示す図である。 インターフェース画面においてレシートを切り替えた場合の例を示す図である。 レシートの確認が行われた場合のインターフェース画面を示す図である。 レシートの確認が行われた後に次のレシートの情報が表示されたインターフェース画面を示す図である。 全レシートのスキャン画像を確認済であると判定された場合に表示されるインターフェース画面の例を示す図である。 全レシートのスキャン画像を確認する前に他の操作が行われた場合に表示されるインターフェース画面の例を示す図である。 未確認のレシートを含む報告を行うか否かを問い合わせるポップアップ画面の例を示す図である。 レシートが削除された場合のインターフェース画面の例を示す図である。 レシートが結合された場合のインターフェース画面の例を示す図である。 レシートが複製された場合のインターフェース画面の例を示す図である。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)スキャン装置の構成:
(2)スキャン結果表示処理:
(3)他の実施形態:
(1)スキャン装置の構成:
図1は、本発明の実施形態にかかるスキャン装置を示すブロック図である。本実施形態
にかかるスキャン装置は、コンピューター1とスキャナー2とを含んでいる。コンピュー
ター1は、プロセッサー10と、HDD(ハードディスクドライブ)20と、機器インタ
ーフェース30と、ディスプレイインターフェース40とネットワークインターフェース
50とを備えている。
機器インターフェース30は、既定の通信プロトコル(例えばUSB(Universal Seri
al Bus)規格)に従って通信を行う機器を接続可能なインターフェースである。本実施形
態において、機器インターフェース30には、スキャナー2、マウス3a、キーボード3
bが接続されている。スキャナー2は、原稿に光を照射する光源と、原稿からの光を受光
して読み取りデータとするカラーイメージセンサーと、各種の可動部を移動させるための
機械部品等を備えている。本実施形態において、スキャナー2は、レシートを読み取って
スキャン画像を出力することができる。コンピューター1は、機器インターフェース30
を介してスキャナー2が出力するスキャン画像を取得することができる。スキャナー2に
おける原稿の読取方式は、種々の態様であって良く、フラットベッドであっても良いしA
DFによる搬送原稿を読み取る方式であっても良く、双方が可能であっても良い。
マウス3aは、利用者に把持されて移動される操作部とボタンとを備えており、操作部
の移動量を示す情報とボタンに対する操作結果を示す情報とを出力する。コンピューター
1は、機器インターフェース30を介してマウス3aが出力する情報を取得し、当該情報
に基づいて利用者の操作を受け付けることができる。キーボード3bは、複数のキーを備
えており、キーに対する操作を示す情報を出力する。コンピューター1は、機器インター
フェース30を介してキーボード3bが出力する情報を取得し、当該情報に基づいて利用
者の操作を受け付けることができる。
ディスプレイインターフェース40は、ディスプレイ4が接続されるインターフェース
である。コンピューター1は、ディスプレイインターフェース40を介してディスプレイ
4に制御信号を出力し、ディスプレイ4に各種の画像を表示させることが可能である。H
DD20には、スキャナー2が読み取った多値画像を示すスキャン画像データ20aを記
録することができる。
ネットワークインターフェース50は、インターネットを介して外部の装置と通信を行
うためのインターフェースである。本実施形態において、プロセッサー10は、ネットワ
ークインターフェース50を介して外部サーバー5と通信を行うことができる。なお、本
実施形態において外部サーバー5は、レシートに記された金額情報を含む各種の情報を利
用者から収集し、利用者に対してレシートに記された各種の情報に関するサービスを提供
する。すなわち、外部サーバー5は、利用者から報告された金額情報を含む各種の情報を
図示しない記録媒体に記録し、統計処理や経理処理、税金等に関する各種の支援サービス
を利用者に提供する。
プロセッサー10は、CPU,RAM等を備え、HDD20に記録された種々のプログ
ラムを実行することができる。本実施形態においては、これらのプログラムにスキャナー
ドライバーとスキャン結果表示プログラムとが含まれている。スキャナードライバーは、
スキャナー2を制御するプログラムである。スキャナードライバーが実行されると、プロ
セッサー10は、スキャナー制御部11として機能する。スキャナー制御部11の機能に
より、プロセッサー10は、スキャナー2を制御し、スキャナー2における読み取り対象
の媒体(レシート)を読み取らせ、読み取り結果を示すスキャン画像データ20aを取得
する機能を実行する。スキャン画像データ20aが取得されると、プロセッサー10は、
スキャン画像データ20aをHDD20に記録する。
スキャン結果表示プログラムは、当該報告のためにレシートの読み取り結果に対してO
CR処理を行い、結果を表示するためのプログラムである。スキャン結果表示プログラム
が実行されると、プロセッサー10は、スキャン結果表示部12として機能する。スキャ
ン結果表示部12の機能により、プロセッサー10は、スキャナー2がレシートを読み取
ることによって取得されたスキャン画像に基づいて、金額情報等の各種情報を取得してデ
ィスプレイ4に表示し、外部サーバー5に報告する機能を実行する。
具体的には、本実施形態においてプロセッサー10は、複数のウィンドウを含むユーザ
ーインターフェース画面をディスプレイ4に表示させる。すなわち、プロセッサー10は
、予め作成された図示しない画像データに基づいてアイコン等のオブジェクトをディスプ
レイ4に表示させる。また、表示対象となるレシートのOCR処理結果を示すテキストデ
ータに基づいて、レシートに記されたテキストをディスプレイ4に表示させる。利用者は
、当該ユーザーインターフェース画面を介してレシートから読み取られた情報の報告に関
する管理を行うことができる。本実施形態においてユーザーインターフェース画面として
表示されるウィンドウの数は、スキャンの過程で変化する。
図2は、ユーザーインターフェース画面の例を示す図である。ユーザーインターフェー
ス画面には、レシートをスキャンした画像を表示する第2領域Z2と、OCR処理結果の
編集画面の表示または非表示を指示する操作ボタンが表示される第3領域Z3と、レシー
トの一覧を表示する第4領域Z4とが含まれている。なお、図2においては、これらの第
2領域Z2、第3領域Z3、第4領域Z4を太い実線の枠で強調して示しているが、実際の
画面において各領域の枠線の太さは他の領域と同等であってよい。また、本実施形態にお
いて、第3領域Z3は2カ所に設けられている。
第2領域Z2は、レシートをスキャンした画像が表示される領域であり、図2に示す例
においては、矩形のレシートRがスキャンされて得られた画像が表示されている。すなわ
ち、スキャナー2にレシートがセットされた状態において、プロセッサー10は、スキャ
ナー2を制御してレシートをスキャンする。この結果、スキャンされた画像はレシートの
識別情報(ID等)に対応づけられ、スキャン画像データ20aとしてHDD20に記録
される。スキャン画像データ20aが得られていれば、プロセッサー10は、任意のタイ
ミングで当該スキャン画像データ20aを参照し、第2領域Z2にスキャン画像データ2
0aが示す画像を表示することができる。図2においては、レシートRの一例が示されて
いる。
図2においては、スキャンされたレシートの上部にレシートを発行した店舗名「A S
tore」が記されており、店舗名の下に発行日「2018年2月6日」が記されている
。また、発行日の下部に購入品「item a〜d」およびその価格「5.0」「12.
2」「8.8」「4.0」が記されている。なお、ここでは、通過が米国ドルである例が
示されている。購入品および価格の下には、小計「30.0」、税金「1.95」、合計
「31.95」が記されている。
第3領域Z3は、OCR処理結果の編集画面の表示または非表示を指示する操作ボタン
である。本実施形態において、プロセッサー10は、レシートがスキャンされるとスキャ
ン画像データ20aに基づいてOCR処理を実行する。OCR処理は、種々の処理であっ
て良く、例えば、スキャン画像データ20aを二値化し、黒部分の形状と最も特徴が一致
する文字を抽出する処理等を採用可能である。OCR処理が適正に行われると、レシート
に記された文字や数字がテキストデータ化されるため、統計処理や経理処理、税金等に関
する各種の処理を電子的に実施可能になる。
OCR処理が行われると、複数の項目についてOCR処理結果が得られる。プロセッサ
ー10は、レシートに記された税金、合計等の各項目と各項目の内容(店舗名や金額等)
を示すテキストとを対応付け、項目毎のテキストデータや数字データを各レシートの識別
情報に対応付けてOCRデータ20bとしてHDD20に記録する。ここで、OCRデー
タとは、少なくともレシートからOCR処理によって得られた情報を含むデータである。
OCRデータにユーザーのコメントなどレシートに記載されていない情報が含まれてもよ
い。
本実施形態においては、統計処理や経理処理、税金等に関する各種の処理のためにOC
R処理が行われるが、OCR処理においては、まれに誤認識が発生する。そこで、本実施
形態においては、OCR処理の結果を確認するための第1領域Z1(詳細は後述)を表示
させることが可能である。当該第1領域Z1において利用者は、誤認識の有無を確認可能
であるとともに、誤認識が発生した場合の修正や、認識されなかった項目の入力や、コメ
ントの入力等を行うことができる。従って、第1領域Z1はOCR処理結果の編集画面で
あるということもできる。
第3領域Z3は、このようなOCR処理結果の編集画面としての第1領域Z1を表示させ
、または非表示にさせる指示を行う操作ボタンである。図2に示す例においては、インタ
ーフェース画面の上部に配置された各種の操作ボタンの右端のボタンBedが第3領域Z3
としての操作ボタンであり、「Edit」の文字が記されている。また、図2に示す例に
おいては、第2領域Z2の右側にも第3領域Z3が設けられている。
第4領域Z4は、レシートの一覧を表示する領域である。本実施形態においては、各レ
シートに対してOCRデータ20bが対応づけられる。第4領域Z4においては、OCR
データ20bが示す各項目の情報が横方向に並べられ、レシート毎の情報が縦方向に並べ
られることで一覧表が形成される。すなわち、プロセッサー10は、OCRデータ20b
を参照し、各レシートに対応づけられた各項目のテキストを取得し、ディスプレイ4を制
御して各レシートのOCR結果として第4領域Z4に表示させる。
本実施形態において、各レシートに対応づけられる項目は複数個存在し、その一部のみ
が図2に示す第4領域Z4内に表示された状態である。表示されていない項目についての
情報はスクロールバーによって表示させることが可能である。すなわち、プロセッサー1
0は、マウス3aによるスクロールバーの可動部Sn(ノブ等と呼ばれる)へのポイント
とマウス3aによる可動部Snの移動指示を受け付けると、可動部Snの移動に同期させ
て第4領域Z4に表示する項目を変化させる。
なお、図2に示す例において第4領域Z4に表示された項目は、左から「OCR結果の
確認の有無」「OCR結果の報告の有無」「スキャンされた日時:Date added」「レシー
トの発行日:Date issued」「レシートの発行主体:Vendor」「通貨:Currency」「合計
:Total」「税金:Tax」である。各項目において、新規にスキャンされたレシートに関す
る情報は太字の文字で表示される。従って、「スキャンされた日時」が「2018年2月
9日」である4個のレシートは、新規にスキャンされたレシートに関する情報である。
なお、図2に示す例においては、スキャンされた順序に従ってレシートに関する情報が
上から下に並べられる。従って、最も新しいレシートの情報は最も上方に表示されている
。また、「OCR結果の確認の有無」「OCR結果の報告の有無」はチェックが表示され
ている場合に確認や報告が終了していることを示し、チェックが表示されていない場合に
確認や報告が終了していないことを示している。図2においては、最新の4個のレシート
以外のレシートの中の、6個のレシートについてOCR結果の確認が行われたことを示す
チェックが表示され、5個のレシートについてOCR結果の報告が行われたことを示すチ
ェックが表示されている。従って、最新の4個のレシート以外のレシートの中の、6個の
レシートについてOCR結果の確認が行われ、5個のレシートについてOCR結果の報告
が行われている。さらに、最新の4個のレシートにチェックが表示されていない。従って
、最新の4個のレシートについては確認も報告もされていない。
本実施形態におけるユーザーインターフェース画面は、以上のような第2領域Z2、第
3領域Z3、第4領域Z4以外にも、各種の入力や操作を受け付けるためのオブジェクトを
備えている。例えば、「Edit」と記された第3領域Z3としてのボタンBedの左側に
は、各種の機能の実行指示を行うための操作ボタンが配置されている。
Scan&addボタンBsaは、レシートのスキャン指示や、画像データをレシートの
スキャン画像データ20aとして取り込むための指示を行うためのボタンである。すなわ
ち、ボタンBsaが操作されると、ドロップダウンメニュー等により、スキャン指示または
取り込み指示を選択可能である。マウス3a等の操作によって当該ボタンBsaによるスキ
ャン指示が行われると、プロセッサー10は、スキャナー2を制御してスキャン画像デー
タ20aを生成し、レシートの識別番号を対応づけてHDD20に記録する。マウス3a
等の操作によって当該ボタンBsaによる画像データの取り込み指示が行われると、プロセ
ッサー10は、指示された画像データをスキャン画像データ20aとみなし、レシートの
識別番号を対応づけてHDD20に記録する。
DeleteボタンBdeは、任意のレシートを削除する指示を行うためのボタンである
。マウス3a等の操作によって当該ボタンBdeによる削除指示が行われると、プロセッサ
ー10は、指示されたレシートのスキャン画像データ20aおよびOCRデータ20bを
HDD20から削除する。CombineボタンBcoは、複数のレシートのデータを結合
して一つのレシートのデータと見なす指示を行うためのボタンである。マウス3a等の操
作によって当該ボタンBcoによる指示が行われると、プロセッサー10は、指示されたレ
シートのスキャン画像データ20aおよびOCRデータ20bを結合する。そして、プロ
セッサー10は、結合によって得られたスキャン画像データ20aおよびOCRデータ2
0bを一つのレシートのデータとし、レシートの識別番号を対応づけてHDD20に記録
する。このボタンBcoを操作することで、異なるタイミングでスキャンされた複数のレシ
ートを関連するレシートと見なすことが可能になる。例えばホテルに複数泊したときのレ
シートが複数枚に分かれている場合などに一連の宿泊で1件にまとめてしまうということ
が可能になる。
より具体的には、スキャン画像データ20aについては、指示された複数のレシートの
スキャン画像データ20aをそれぞれ別のページとした複数ページからなる1画像ファイ
ルを生成する。そして、第2領域Z2にこの複数ページからなる1画像ファイルを表示す
る際にはページを切り替えるボタンを追加で表示して、ユーザーがボタンを操作すること
でページを切り替えてそれぞれのレシートを確認できるようにする。むろん、この構成は
一例であり、例えば、指示された複数のレシートのスキャン画像データ20aをそれぞれ
縦につなぐなどで1枚の画像に合成しても良い。
OCRデータ20bについては、それぞれの項目において、内容が入力されているいず
れのレシートも同一の内容が入力されている場合にはその内容を結合後のその項目の内容
とする。それぞれの項目に異なる内容が入力されている場合には、所定の優先順位に基づ
いて選択した内容を結合後のその項目の内容としてもよいし、ユーザーにその内容を結合
後のその項目の内容とするか選択させてもよい。この優先順位はユーザーが確認や修正を
した内容をユーザーが確認も修正もしていない内容に優先するようにしておくことが望ま
しい。
DuplicateボタンBduは、レシートのデータを複製する指示を行うためのボタ
ンである。マウス3a等の操作によって当該ボタンBduによる指示が行われると、プロセ
ッサー10は、指示されたレシートのスキャン画像データ20aおよびOCRデータ20
bをコピーし、新たな識別番号を対応づけてHDD20に記録する。このボタンBduを操
作することで、同一のレシートを異なる用途で利用することが可能になる。例えば、1枚
のレシートの中に業務用の購入品と私用の購入品など別々に報告を行うべき項目が含まれ
ている場合に、業務用の購入品に関する情報のみをOCR処理結果に入力した業務用レシ
ートと私用の購入品に関する情報のみをOCR処理結果に入力した私用レシートとを作る
など、別々の報告を行うことが可能になる。
OCRボタンBocは、OCR処理の開始を指示するためのボタンである。マウス3a等
の操作によって当該ボタンBocによる指示が行われると、プロセッサー10は、指示され
たレシートのスキャン画像データ20aに基づいてOCR処理を実施する。そして、プロ
セッサー10は、生成されたOCRデータ20bをスキャン画像データ20aに対応づけ
てHDDに記録する。
また、第2領域Z2の下側には、レシートのスキャン画像およびOCR結果を外部サー
バー5に対して報告するためのSendボタンBseが設けられている。マウス3a等の操
作によって当該ボタンBseによる指示が行われると、プロセッサー10は、OCRデータ
20bを参照し、OCR結果が報告済であることを示す情報が対応づけられていないレシ
ートのスキャン画像データ20aおよびOCRデータ20bを取得する。そして、プロセ
ッサー10は、取得したスキャン画像データ20aおよびOCRデータ20bに基づいて
送信先にあわせた形式の出力データを生成する。その後、プロセッサー10は、ネットワ
ークインターフェース50を介して、この出力データを外部サーバー5に送信する。
外部サーバー5に代えて、又は外部サーバー5に加えて、コンピューター1内の別プロ
グラムに送信しても良い。スキャン結果表示プログラムがこのように送信を行うことで、
外部サーバー5やコンピューター1で動作する統計処理や経理処理、税金等に関する各種
の支援サービスを提供するプログラムがレシートの内容を扱うことができるようになる。
もちろん、OCR結果が報告済であることを示す情報が対応づけられておらず、かつユー
ザーがOCRデータ20bを確認や修正を行ったレシートのみスキャン画像データ20a
およびOCRデータ20bを取得して送信しても良い。第4領域Z4の下側には、スキャ
ン結果表示プログラムの終了を指示するためのExitボタンBexが設けられている。マ
ウス3a等の操作によって当該ボタンBexによる指示が行われると、プロセッサー10は
、スキャン結果表示プログラムを終了させる。
第4領域Z4の上側には、「Search」と記されたボックスB1および「All」と
記されたボックスB2が設けられている。ボックスB1には、任意のテキストを入力して検
索を実行可能である。キーボード3bによって当該ボックスB1にテキストが入力されて
検索が実行されると、プロセッサー10は、OCRデータ20bを参照し、当該テキスト
が含まれるOCRデータ20bを特定する。そして、プロセッサー10は、特定されたレ
シートのOCRデータ20bを第4領域Z4のディスプレイ4に表示させる。図3は、図
2に示す例において、ボックスB1に「A Store」と入力されて検索された場合の
画面を示している。すなわち、図3においては、OCRデータ20bに「A Store
」が含まれるレシートが第4領域Z4に表示された例を示している。
ボックスB2は、表示対象のレシートを指定するためのボックスである。すなわち、マ
ウス3a等の操作によってボックスB2が指示されると、プルダウンメニューで全てのレ
シート、OCR結果確認済のレシート、OCR結果未確認のレシート、OCR結果報告済
のレシートのいずれかを選択可能である。プロセッサー10は、選択に応じて表示対象の
レシートを選択し、表示対象のレシートのOCRデータ20bに基づいて第4領域Z4
レシートの情報を表示させる。図4は、図2に示す例において、ボックスB2によってO
CR結果報告済(Sent)のレシートが選択され、OCR結果報告済のレシートが第4
領域Z4に表示された例を示している。
本実施形態において利用者は、以上のようなインターフェース画面を利用してOCR処
理結果を確認し、確認したレシートの情報(スキャン画像およびOCR処理結果)を外部
サーバー5に対して送信することができる。さらに、本実施形態においては、レシートが
スキャンされ、OCR処理が行われた場合に、利用者の確認を促すために、スキャンの完
了とともに編集画面である第1領域Z1が表示されるように構成されている。
(2)スキャン結果表示処理:
以下、図5および図6に示すスキャン結果表示処理のフローチャートとともに、インタ
ーフェース画面の遷移および報告の処理手順を説明する。スキャン結果表示処理は、各種
の実行開始トリガに応じて開始される。実行開始トリガは、種々の態様であってよい。本
実施形態においては、利用者がマウス3a等を操作することによってスキャン結果表示プ
ログラムの実行開始指示を行うことで実行開始トリガが発生する。また、利用者がスキャ
ナードライバーのユーザーインターフェース画面等においてスキャナー2によるレシート
のスキャンの開始指示を行うと、スキャン結果表示プログラムの実行開始トリガが発生す
る。
いずれにしても、実行開始トリガによってスキャン結果表示処理の実行が開始されると
、プロセッサー10は、スキャン結果表示部12の機能により、第2領域Z2、第3領域
3、第4領域Z4を含むインターフェース画面の初期画面を表示させる(ステップS10
0)。すなわち、プロセッサー10は、予め作成された図示しない画像データに基づいて
アイコン等のオブジェクトをディスプレイ4に表示させることでインターフェース画面を
表示させる。
また、プロセッサー10は、表示対象の項目名(Date Added等)を示すテキストデータ
に基づいて、項目名を示すテキストをディスプレイ4に表示させる。さらに、プロセッサ
ー10は、既にHDD20に記録されているOCRデータ20bを参照し、レシートから
読み取られた情報を各項目に対応づけて一覧表示させる。図7は、図2に示す例のように
最新のスキャンが行われる前に表示されるインターフェース画面の初期画面を例示した図
である。すなわち、この段階では、新たなスキャンが行われていないため、図2に示すよ
うな太字の文字で示されたレシートのデータは存在しない。この状態において、プロセッ
サー10は、マウス3a,キーボード3b等に対する操作の受け付けを開始する。
次に、プロセッサー10は、スキャン結果表示部12の機能により、レシートのスキャ
ンとともにスキャン結果表示プログラムが起動されたか否かを判定する(ステップS10
5)。すなわち、利用者がスキャナードライバーのユーザーインターフェース画面等にお
いてスキャナー2によるレシートのスキャンの開始指示を行ったことによってスキャン結
果表示処理が開始されていた場合、レシートのスキャンとともにスキャン結果表示プログ
ラムが起動されたと判定される。利用者がマウス3a等を操作することによってスキャン
結果表示プログラムの実行開始指示を指示していた場合、レシートのスキャンとともにス
キャン結果表示プログラムが起動されたと判定されない。
ステップS105において、レシートのスキャンとともにスキャン結果表示プログラム
が起動されたと判定された場合、プロセッサー10は、スキャン結果表示部12の機能に
より、スキャン画像にOCR処理を実施する(ステップS110)。すなわち、レシート
のスキャンとともにスキャン結果表示プログラムが起動されたと判定された場合、プロセ
ッサー10は、スキャナー制御部11の機能により、スキャナー2を制御してレシートを
スキャンさせる。この結果、スキャナー2は、スキャン画像データ20aを出力し、プロ
セッサー10は、当該スキャン画像データ20aに対してレシートの識別情報を対応づけ
てHDD20に記録する。
そして、プロセッサー10が、スキャン結果表示部12の機能により、当該スキャン画
像データ20aに基づいてOCR処理を実行し、OCRデータ20bを生成する。また、
プロセッサー10は、生成されたOCRデータ20bを元のスキャン画像データ20aに
対応づけてHDD20に記録する。
次に、プロセッサー10は、スキャン結果表示部12の機能により、第4領域Z4の一
覧にデータを追加表示する(ステップS115)。すなわち、プロセッサー10は、第4
領域Z4内に表示されているレシートのデータの全てを一段下側に移動させ、ステップS
110で生成されたOCRデータ20bが示す情報を空いたスペースに表示させる。なお
、この際、プロセッサー10は、各項目の情報を太字の文字で表示させる。図8は、図7
に示す初期画面が表示された後、1個のレシートのスキャンが行われた場合に表示される
インターフェース画面を例示した図である。
次に、プロセッサー10は、スキャン結果表示部12の機能により、スキャンが完了し
たか否かを判定する(ステップS120)。本実施形態においては、一度のスキャン開始
指示に応じてスキャンされるべきレシートの全てについてスキャンが終了し、スキャン画
像データ20aおよびOCRデータ20bが生成された場合にスキャンの完了と見なされ
る。スキャンの完了は、種々の要素で特定されて良い。例えば、ADFを備えるスキャナ
ー2において、ADFに投入されたレシートの全てについてスキャンが終了した場合に、
スキャナー2からスキャンの終了を示す情報がコンピューター1に送信される構成等が挙
げられる。むろん、利用者がスキャナー2またはマウス3a,キーボード3b等でスキャ
ンの完了を指示しても良い。
ステップS120において、スキャンが完了したと判定されない場合、プロセッサー1
0は、スキャン済であるがOCRデータ20bが生成されていないレシートを対象として
ステップS110以降の処理を繰り返す。一方、ステップS120において、スキャンが
完了したと判定された場合、プロセッサー10は、スキャン結果表示部12の機能により
、インターフェース画面に第1領域を追加表示する(ステップS125)。本実施形態に
おけるユーザーインターフェース画面では、第1領域Z1と第2領域Z2とが右左に並べて
表示される。
そこで、プロセッサー10は、初期画面においてユーザーインターフェース画面の右側
に表示されている第2領域Z2を左側に移動させ、空いたスペースに第1領域Z1を表示さ
せる。この際、プロセッサー10は、初期画面において第2領域Z2の右側に配置されて
いた第3領域Z3が左側に延びるアニメーションの画像データを生成し、当該画像データ
に基づいてディスプレイ4の右側の画面を変化させる。この結果、第2領域Z2が左側に
移動しつつ、第3領域Z3が左側に延びるようにして第1領域Z1が形成されるアニメーシ
ョンがディスプレイ4に表示される。
次に、プロセッサー10は、スキャン結果表示部12の機能により、最後にスキャンし
たレシートの情報を第1領域Z1、第2領域Z2に表示する(ステップS130)。すなわ
ち、プロセッサー10は、最後にスキャンされたレシートのOCRデータ20bが示すテ
キストを、ディスプレイ4上の第1領域Z1に表示させる。また、プロセッサー10は、
最後にスキャンされたレシートのスキャン画像データ20aが示す画像を、ディスプレイ
4上の第2領域Z2に表示させる。
図9は、ステップS125において、第1領域Z1が追加表示された後のインターフェ
ース画面に最後にスキャンされたレシートの情報が表示されている状態を例示する図であ
る。第1領域Z1は、レシートにOCR処理を行うことで読み取った内容を表示するため
の領域である。図9に示す例においては、レシートに関する情報が項目毎に表示されてい
る例を示しており、第4領域Z4の最上部に表示されたレシートのOCR処理の結果が示
されている。なお、第1領域Z1において項目名(Date issued等)の左側のOCRという
文字が示されている場合、その項目はOCR処理の対象である。
第1領域Z1が表示されている状態において、利用者はOCRデータ20bを編集する
ことができる。すなわち、第1領域Z1において、内容を編集可能な項目の項目名には矩
形のボックスが並べて表示されており、利用者は、当該ボックスに所望の文字等を入力す
ることによってOCRデータ20bを編集可能である。なお、項目名「Sent」は、O
CR結果の報告の有無を示しており、図9に示すNot sentは表示されたレシート
のデータが未報告であることを示している。報告が行われると、Not sentがSe
ntに変化する。さらに、第1領域Z1には、OCR結果の確認を行ったことを指示する
ためのボタンBmrと第1領域Z1を閉じる指示を行うためのボタンBceが設けられている
。ボタンBceは、第1領域Z1を閉じる指示を行うためのボタンであるため、第3領域Z3
として機能する。むろん、「Edit」と記されたボタンBedは第3領域Z3であるため
、図9に示す状態における当該ボタンBedに対する操作は、第1領域Z1を閉じる指示で
あると見なされる。
以上の構成によれば、初期画面において第1領域Z1が表示されていないが、レシート
のスキャンが完了すると、第1領域Z1と第2領域Z2とがディスプレイ4に表示される構
成が実現される。この構成によれば利用者は、スキャンが完了した場合にOCR処理結果
と、スキャン結果とを視認可能である。従って、利用者自らOCR処理結果やスキャン結
果の確認を開始するための指示を行う必要はない。このため、使いやすいスキャン装置を
提供することができる。
本実施形態においては、最後にスキャンしたレシートを第4領域Z4におけるレシート
の情報の表示領域の最上部に追加していく。従って、第1領域Z1および第2領域Z2に表
示されるレシートは、第4領域Z4の最上部に表示されたレシートの情報となっている。
むろん、表示対象は、利用者による操作、例えば、第4領域Z4に表示された任意のレシ
ートの情報に対する指示等によって切り替えられて良い。図10は、図9に示す例におい
て、第4領域Z4の上から2番目のレシートに切り替えられた場合の表示例を示している
次に、プロセッサー10は、スキャン結果表示部12の機能により、利用者の操作を特
定する(ステップS135)。すなわち、プロセッサー10は、マウス3a,キーボード
3b等が出力する信号に基づいて、利用者による操作内容を特定する。特定された操作内
容が、OCRデータ20bの編集操作である場合、プロセッサー10は、スキャン結果表
示部12の機能により、レシートの情報を更新する(ステップS140)。OCRデータ
20bの編集操作は、第1領域Z1内で行われる操作である(ただし、第1領域Z1を閉じ
る指示を行うためのボタンBexへの操作は編集操作に含まれない。)
従って、例えば、利用者が第1領域Z1において、項目名に対応づけられたボックス(To
tal金額の入力ボックス等)内に文字や数字等を入力すると、プロセッサー10は、ステッ
プS135において、OCRデータ20bの編集操作が行われたと特定する。そして、プ
ロセッサー10は、ステップS140において、入力された文字や数字等により、入力さ
れた項目の内容を更新して新たなOCRデータ20bをHDD20に記録する。
また、利用者が第1領域Z1において、利用者がボタンBmrを指示すると、プロセッサ
ー10は、ステップS135において、OCRデータ20bの編集操作が行われたと特定
する。そして、プロセッサー10は、ステップS140において、OCR結果が確認済で
あることを示す情報をOCRデータ20bに対応づけてHDD20に記録する。図11は
、図9に示す例においてボタンBmrが指示された場合のインターフェース画面を示してい
る。同図11に示すように、第1領域Z1に表示されたレシートのOCR結果が確認済で
あることを示すチェックが、第4領域Z4に追加されている。
次にプロセッサー10は、スキャン結果表示部12の機能により、全レシートのスキャ
ン画像を確認済であるか否かを判定する(ステップS145)。すなわち、プロセッサー
10は、OCRデータ20bを参照し、全てのレシートのデータにおいて、OCR結果が
確認済であることを示す情報が対応づけられている場合、全レシートのスキャン画像を確
認済であると判定する。
ステップS145において、全レシートのスキャン画像を確認済であると判定されない
場合、プロセッサー10は、スキャン結果表示部12の機能により、次のレシートの情報
を第1領域Z1、第2領域Z2に表示する(ステップS150)。すなわち、プロセッサー
10は、OCRデータ20bを参照し、OCR結果が確認済であることを示す情報が対応
づけられていないレシートの中で、最もスキャン日時が遅いレシートを表示対象とする。
そして、プロセッサー10は、表示対象のレシートのOCRデータ20bが示すテキスト
を、ディスプレイ4上の第1領域Z1に表示させる。また、プロセッサー10は、表示対
象のレシートのスキャン画像データ20aが示す画像を、ディスプレイ4上の第2領域Z
2に表示させる。この後、プロセッサー10は、ステップS135以降の処理を繰り返す
。例えば、図11のように最新のレシートについてのOCR結果の確認が行われると、図
12に示されるように、上から2番目のレシートに関する情報が第1領域Z1、第2領域
2に表示される。
一方、ステップS145において、全レシートのスキャン画像を確認済であると判定さ
れた場合、または、ステップS135において第3領域Z3に対する操作が行われたと特
定された場合、プロセッサー10は、スキャン結果表示部12の機能により、第1領域Z
1を非表示にする(ステップS155)。すなわち、プロセッサー10は、第2領域Z2
右側に移動させ、空いたスペースに第4領域Z4を表示させていく。この際、プロセッサ
ー10は、第2領域Z2の右側に配置されていた第1領域Z1が右側に縮んでいくアニメー
ションの画像データを生成し、当該画像データに基づいてディスプレイ4の右側の画面を
変化させる。第1領域Z1が非表示になると、プロセッサー10は、第2領域Z2の右側に
第3領域Z3を表示させる。図13は、全レシートのスキャン画像を確認済であると判定
された場合に表示されるインターフェース画面の例を示す図である。
ステップS135において、利用者が編集操作以外の他の操作を行ったと判定された場
合、プロセッサー10は、ステップS140〜S150をスキップしてステップS155
を実行する。ここで、他の操作は、OCRデータ20bの編集以外の操作である。従って
、他の操作は、第1領域Z1以外の領域に設けられたボタンに対する操作または第1領域
1を閉じる指示を行うためのボタンBceである。
例えば、第3領域Z3に対する操作(「Edit」と記されたボタンBedまたは第1領
域Z1内のボタンBceへの操作)が行われた場合、プロセッサー10は、他の操作が行わ
れたと特定する。この場合プロセッサー10は、ステップS140,S145をスキップ
する。また、利用者がボタンBsa,Bde,Bco,Bdu,Boc,Bse,Bexに対する操作や
、第4領域Z4内に表示されたレシートの選択等を行った場合、プロセッサー10は、他
の操作が行われたと判定する。
いずれにしても、ステップS135において、他の操作を行ったと判定された場合、プ
ロセッサー10は、ステップS155を実行する。従って、本実施形態においては、第3
領域Z3に対する利用者の操作を受けて、第1領域Z1が非表示になる。この結果、第4領
域Z4の面積が広くなり、利用者はより多くのレシートに関する情報を一覧することがで
きる。図14は、全レシートのスキャン画像を確認する前に他の操作が行われた場合に表
示されるインターフェース画面の例を示す図である。
なお、他の操作には、第3領域Z3に対する操作以外の操作が含まれるため、本実施形
態においては、第3領域Z3に対する操作以外の操作であっても編集操作と異なる操作が
行われると、第1領域Z1が非表示になる。当該他の操作には、ボタンBsaに対する操作
が含まれ、ボタンBsaに対する操作によってレシートのスキャンが開始され得る。従って
、本実施形態においては、レシートのスキャンの開始指示に応じて、第1領域を非表示に
する構成が採用されている。このため、レシートのスキャンが開始された後、スキャンが
完了するまでの間においては、第4領域Z4の面積が広くなり、利用者はより多くのレシ
ートに関する情報を一覧することができる。
ステップS155が実行された場合、または、ステップS105においてレシートのス
キャンとともにスキャン結果表示プログラムが起動されたと判定されない場合、プロセッ
サー10は、ステップS160以降において、マウス3aやキーボード3b等に基づいて
利用者が行った操作に応じた処理を実行していく。
利用者がボタンBsaに対する操作を行った場合、プロセッサー10は、ステップS16
0においてスキャン指示が行われたと判定する。この場合、プロセッサー10は、スキャ
ナー制御部11の機能により、スキャンを実行する(ステップS165)。すなわち、プ
ロセッサー10は、スキャナー2を制御してレシートをスキャンさせる。この結果、スキ
ャナー2は、スキャン画像データ20aを出力し、プロセッサー10は、当該スキャン画
像データ20aに対してレシートの識別情報を対応づけてHDD20に記録する。この後
、プロセッサー10は、ステップS110以降の処理を実行する。
利用者が第4領域Z4内に表示されたレシートの選択を行った場合、プロセッサー10
は、ステップS170において、レシートの選択が行われたと判定する。この場合、プロ
セッサー10は、スキャン結果表示部12の機能により、選択されたレシートを受け付け
る(ステップS175)。すなわち、ディスプレイ4には、図13等に示すインターフェ
ース画面が表示されており、この状態において利用者は、マウス3a等を操作して、第4
領域Z4内に表示された1以上のレシートを選択することができる。レシートが選択され
た場合プロセッサー10は、選択されたレシートの識別情報を特定することで、レシート
の選択を受け付ける。
利用者がボタンBseに対する操作を行った場合、プロセッサー10は、ステップS18
0において報告実行指示が行われたと判定する。この場合、プロセッサー10は、スキャ
ン結果表示部12の機能により、選択された全レシートが確認済であるか否かを判定する
(ステップS185)。すなわち、プロセッサー10は、ステップS175において選択
が受け付けられたレシートのOCRデータ20bを取得し、取得した全てのOCRデータ
20bに対してOCR結果が確認済であることを示す情報が対応づけられている場合に選
択された全レシートが確認済であると判定する。
ステップS185において、選択された全レシートが確認済であると判定された場合、
プロセッサー10は、選択されたレシートを報告する(ステップS200)。すなわち、
プロセッサー10は、選択されたレシートのスキャン画像データ20aおよびOCRデー
タ20bをネットワークインターフェース50を介して外部サーバー5に送信する。一方
、ステップS185において、選択された全レシートが確認済であると判定されない場合
、プロセッサー10は、未確認での送信が許可されているか否かを判定し(ステップS1
90)、許可されている場合にステップS200を実行する。ステップS190において
、未確認での送信が許可されていると判定されない場合、プロセッサー10は、ステップ
S200をスキップする。
なお、未確認での送信を許可するための態様としては、種々の態様を想定可能である。
例えば、ステップS190の判定が行われる際に、プロセッサー10がインターフェース
画面にポップアップ画面を表示させ、当該ポップアップ画面上に未確認での送信を許可す
るか否かの入力を受け付ける構成を採用可能である。ポップアップ画面は、種々の画面で
あって良く、例えば、図15のように、図14に示す画面上にポップアップ画面Pが表示
され、未確認のレシートを含む報告を行うか否かを問い合わせる構成が挙げられる。むろ
ん、未確認での送信を許可するか否かを利用者が予め入力しておく構成等が採用されても
よい。
利用者がボタンBdeに対する操作を行った場合、プロセッサー10は、ステップS21
0において削除実行指示が行われたと判定する。この場合、プロセッサー10は、スキャ
ン結果表示部12の機能により、選択されたレシートのOCRデータ20bおよびスキャ
ン画像データ20aをHDD20から削除する(ステップS215)。むろん、これらの
レシートのOCRデータ20bおよびスキャン画像データ20aが外部サーバー5に送信
済であれば、外部サーバー5に記録されたデータが削除されても良い。図16は、図14
に示す画面で未確認であったレシートが削除された後のインターフェース画面の例を示す
図である。
利用者がボタンBcoに対する操作を行った場合、プロセッサー10は、ステップS22
0において結合実行指示が行われたと判定する。この場合、プロセッサー10は、スキャ
ン結果表示部12の機能により、選択されたレシートのOCRデータ20bおよびスキャ
ン画像データ20aを結合する(ステップS225)。この場合、プロセッサー10は、
結合されたOCRデータ20bおよびスキャン画像データ20aに対してレシートの識別
番号を一つ対応づける。むろん、これらの結合前のOCRデータ20bおよびスキャン画
像データ20aが外部サーバー5に送信済であれば、外部サーバー5においても結合後の
データが保存されるように制御されても良い。
図17は、図14に示す例において1番上および上から2番目に表示されたレシートが
結合された場合に表示されるインターフェース画面の例を示している。この例において、
プロセッサー10は、スキャン結果表示部12の機能により、結合されたレシートの情報
を第1領域Z1、第2領域Z2に表示する。すなわち、プロセッサー10は、第2領域Z2
を左側に移動させ、空いたスペースに第1領域Z1を表示させる。そして、プロセッサー
10は、画面内に形成された第1領域Z1、第2領域Z2に結合されたレシートの情報を表
示させる。
なお、図17に示すインターフェース画面においては、第2領域Z2にページを指定す
るためのボックスBpが設けられている。利用者がマウス3a等を操作して当該ボックス
内の「>」マークに対する指示を行うと、プロセッサー10は、結合されて複数ページと
なったレシートの画像から表示中のページよりも1ページ後のページを表示対象として選
択し、表示させる。利用者がマウス3a等を操作して当該ボックス内の「>」マークに対
する指示を行うと、結合されて複数ページとなったレシートの画像から表示中のページよ
りも1ページ前のページを表示対象として選択し、表示させる。
利用者がボタンBduに対する操作を行った場合、プロセッサー10は、ステップS23
0において複製実行指示が行われたと判定する。この場合、プロセッサー10は、スキャ
ン結果表示部12の機能により、選択されたレシートのOCRデータ20bおよびスキャ
ン画像データ20aを複製する(ステップS235)。この場合、プロセッサー10は、
選択されたレシートのOCRデータ20bおよびスキャン画像データ20aをコピーして
HDD20に記録する。そして、コピーしたデータに対して元のレシートと異なる識別番
号を対応づける。むろん、外部サーバー5においても複製後のデータが保存されるように
制御されても良い。なお、選択されたレシートが一つも存在しなければ、ステップS18
0,S210,S220,S230の判定はスキップされてよい。
図18は、図14に示す例において1番上に表示されたレシートが複製された場合に表
示されるインターフェース画面の例を示している。この例において、プロセッサー10は
、スキャン結果表示部12の機能により、複製されたレシートの情報を第1領域Z1、第
2領域Z2に表示する。すなわち、プロセッサー10は、第2領域Z2を左側に移動させ、
空いたスペースに第1領域Z1を表示させる。そして、プロセッサー10は、画面内に形
成された第1領域Z1、第2領域Z2に複製されたレシートの情報を表示させる。
第1領域Z1が表示されている状態において、利用者は、OCRデータ20bを編集す
ることができる。そこで、利用者が、複製したレシートのそれぞれについて識別可能な情
報を例えば、「分類(Classification)」の項目に対して入力すれば、複製したそれぞれの
レシートを区別しながら利用することが可能になる。
利用者がボタンBocに対する操作を行った場合、プロセッサー10は、ステップS24
0においてOCR処理実行指示が行われたと判定する。この場合、プロセッサー10は、
ステップS110以降の処理を実行する。ただし、この場合において、OCR処理の対象
は、利用者が選択したレシートである。
すなわち、本実施形態においては、ボタンBsaによって画像データをレシートのスキャ
ン画像データ20aとして取り込むことができる。この場合、OCR処理が行われていな
いレシートが第4領域Z4に表示された状態となる。このようなレシートが選択された状
態でステップS240の判定を経てステップS110が実行される場合、選択されたレシ
ートのスキャン画像データ20aがOCR処理の対象となる。
OCR処理が行われると、ステップS115においてOCR処理結果が第4領域Z4
追加される。また、複数のレシートが選択され、選択された全てのレシートについてOC
R処理が完了していない場合には、ステップS120においてOCR処理が完了していな
いと判定され、ステップS110が繰り返される。
一方、図2に示すボタンBedまたは第2領域Z2の右側に設けられた第3領域Z3に対す
る操作が行われた場合、プロセッサー10は、ステップS250において、編集実行指示
が行われたと判定する。この場合、プロセッサー10は、ステップS125以降の処理を
繰り返す。すなわち、本実施形態においては、第3領域Z3に対する利用者の操作を受け
て、非表示であった第1領域Z1をディスプレイに表示させる。なお、ステップS130
において第1領域Z1、第2領域Z2に表示されるレシートは、利用者が選択したレシート
または第4領域Z4の最上部に表示されたレシートである。この構成によれば、利用者は
所望のタイミングで任意のレシートに関する編集を実行することが可能になる。
利用者がボタンBexに対する操作を行った場合、プロセッサー10は、ステップS26
0において、exit実行指示が行われたと判定する。この場合、プロセッサー10は、スキ
ャン結果表示処理を終了する。
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可
能である。例えば、本発明の一実施形態にかかるスキャン装置は、読み取り以外の目的に
も使用される電子機器である複合機等に適用されていても良い。さらに、以上の実施形態
のようにスキャンの完了に応じてスキャン画像とOCR処理結果とを表示させる手法は、
プログラムの発明、方法の発明としても実現可能である。
さらに、スキャン装置を構成する装置の数は任意の数であって良い。例えば、コンピュ
ーター1とスキャナー2とが一体化された装置によって実現されても良いし、他の各種デ
バイス、例えば、ディスプレイ4が一体化されていても良い。また、コンピューター1と
ディスプレイ4とが一体化されたタブレット端末によってスキャナー2が制御されてもよ
い。さらに、上述の実施形態は一例であり、一部の構成が省略されたり、他の構成が追加
されたりする実施形態が採用され得る。
スキャン装置は、スキャンしたレシートからOCR処理によって金額情報を読み取って
報告を行うことができればよい。すなわち、スキャン装置においては、レシートにおける
最も重要な情報である金額情報を少なくとも読み取って、テキストデータ等として利用で
きるようにOCR処理を行うことができればよい。むろん、読み取り対象は、金額情報に
限定されず、レシートに記載されている各種の情報であって良い。
OCR処理は、スキャンした画像の特徴から少なくとも金額情報を読み取ることができ
ればよい。従って、数字を読み取ることができればよいが、むろん、レシート発行日等の
数字や、各種の言語における文字列等が読み取られる構成であっても良いし、文字列と数
字との対応関係が特定されるなど、数字、文字以外の情報が読み取られても良い。
プロセッサーは、各種の処理を実行可能な装置であれば良く、単一のチップで構成され
ていても良いし、複数のチップで構成されていても良い。また、プロセッサーは、上述の
実施形態のように、CPU,RAM等を備えている構成に限定されない。例えば、CPU
に変えて、ASICを用いたり、CPUとASICとの協働としたりしても良い。
また、プロセッサーは、少なくとも、スキャンの完了をトリガにしてディスプレイにお
ける表示内容を切り替えるが、ディスプレイにおける表示内容を制御することができれば
よく、第1領域、第2領域、第3領域以外の各種領域についての表示を制御する構成であ
って良い。
レシートは、少なくとも金額情報が記された媒体であれば良く、商取引の参加者間で金
額の証明等のために受け渡される各種の媒体であっても良い。従って、領収書はレシート
に含まれる。また、銀行における出入金額を示す媒体がレシートとなっても良いし、請求
書等がレシートとなってもよい。
スキャンの完了は、少なくとも1枚の読み取りが終了したことを意味し、少なくとも1
枚以上のレシートの読み取り結果を第1領域や第2領域に表示可能な状態である。従って
、第1領域および第2領域の双方が表示されるのは、少なくとも1枚の読み取りが終了し
た後であればよい。複数のレシートが続けてスキャンされる場合、上述の実施形態のよう
に複数のレシートのスキャンが完了した後に第1領域および第2領域が表示されても良い
し、既定枚数のスキャンが完了した後に第1領域および第2領域が表示されても良い。
また、スキャンの完了は、第1領域および第2領域の双方が同時に表示されるためのト
リガであって良く、スキャンの完了前において表示されている領域は、第1領域および第
2領域のどちらであっても良い。初期画面において第1領域が表示されており、スキャン
の完了において第2領域が表示される構成であれば、通常はOCR処理結果を視認可能で
あり、確認の際に第2領域においてスキャンされた画像を確認する構成となる。
第1領域は、レシートにOCR処理を行うことで読み取った内容をディスプレイに表示
する領域であれば良く、読み取った内容の表示態様や大きさ、形状、表示位置や、第1領
域の大きさ、形状、表示位置等は種々の構成とされて良い。第2領域は、レシートをスキ
ャンした画像を表示する領域であれば良く、画像の表示態様や大きさ、形状、表示位置や
、第2領域の大きさ、形状、表示位置等は種々の構成とされて良い。
第1領域、第2領域を表示し、非表示にする際の態様も種々の態様が可能であり、両者
の切り替えの際にアニメーションが利用されなくても良い。また、アニメーションの態様
も種々の態様とされて良い。また、非表示においては、領域内の表示内容の全てまたは一
部が非表示になれば良く、領域の一部(例えば、領域を構成するウィンドウの一部等)が
表示されたままであってもよい。
第3領域は、領域の表示を切り替えるための操作を受け付ける領域であれば良く、各種
の表示の切り替えを示す各種のアイコンで構成されても良いし、表示の切り替えを示す文
字等を含む領域であっても良い。この文字は常に同じ文字であってもよいし、領域が非表
示であるときには「Edit」であり領域が表示中であるときには「CLOSE」のよう
に文字が変化しても良い。また、第1領域や第2領域が非表示となった場合にディスプレ
イにその領域の一部が残り、当該一部に対する操作が行われると非表示であった領域が表
示されるのであれば、当該一部が第3領域ともなり得る。例えば、図2の第3領域Z3
ある左向きの矢印が書かれた縦棒が、第1領域Z1が表示されるときに左側に移動し、第
1領域Z1と第1領域Z2との間に右向きの矢印がかかれた縦棒となるようにアニメーショ
ンするようにし、これらの縦棒が第3領域Z3とすることも可能である。第3領域Z3は、
Bedのように領域が表示か非表示かに関わらず全く同じ位置に表示さていたり、あるいは
、表示と非表示とが切り替わることに応じてアニメーションをして移動したり、すること
が望ましい。これによって、ユーザーは、一旦領域を非表示にしてしまっても、どこを操
作すれば領域を表示させることができるか理解しやすくなる。
利用者の操作は、種々の態様で実施されて良く、上述のようなマウス等の入力部による
指示操作であっても良いし、タッチパネルを利用した第3領域へのタッチ操作であっても
良く、種々の操作が想定される。なお、第3領域に対する操作がタッチ操作である場合、
その操作は種々の操作であって良く、タップやスワイプなど、種々の操作であって良い。
第4領域は、レシートの一覧を表示する領域であれば良い。従って、スキャンされたレ
シートが第4領域内で複数個同時に視認可能に並べて表示されていれば良い。各レシート
に関する情報の表示態様や大きさ、形状、表示位置や、第4領域の大きさ、形状、表示位
置等は種々の構成とされて良い。
さらに本発明は、コンピューターが実行するプログラムや、方法としても適用可能であ
る。また、以上のようなプログラム、方法は、単独の装置として実現される場合もあれば
、複数の装置が備える部品を利用して実現される場合もあり、各種の態様を含むものであ
る。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変
更可能である。さらに、プログラムの記録媒体としても発明は成立する。むろん、そのプ
ログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし
、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
1…コンピューター、2…スキャナー、3a…マウス、3b…キーボード、4…ディスプ
レイ、5…外部サーバー、10…プロセッサー、11…スキャナー制御部、12…スキャ
ン結果表示部、20…HDD、20a…スキャン画像データ、20b…OCRデータ、3
0…機器インターフェース、40…ディスプレイインターフェース、50…ネットワーク
インターフェース

Claims (4)

  1. スキャンしたレシートからOCR処理によって金額情報を読み取って報告を行うスキャ
    ン装置であって、
    前記レシートのスキャンが完了すると、前記レシートに前記OCR処理を行うことで読
    み取った内容をディスプレイに表示する第1領域と、前記レシートをスキャンした画像を
    表示する第2領域とを前記ディスプレイに表示し、前記ディスプレイに表示された第3領
    域に対する利用者の操作を受けて、前記ディスプレイに表示されている前記第1領域また
    は前記第2領域を非表示にし、前記第3領域に対する前記利用者の操作を受けて、非表示
    であった前記第1領域または前記第2領域を前記ディスプレイに表示させる、プロセッサ
    ーを備える、
    スキャン装置。
  2. 前記プロセッサーは、
    前記レシートのスキャンが完了すると、前記第1領域と前記第2領域と前記第3領域
    と、前記レシートの一覧を表示する第4領域と、を前記ディスプレイに表示させる、
    請求項1に記載のスキャン装置。
  3. 前記プロセッサーは、
    前記レシートのスキャンの開始指示に応じて、前記第1領域または前記第2領域を非
    表示にする、
    請求項1または請求項2に記載のスキャン装置。
  4. スキャンしたレシートからOCR処理によって金額情報を読み取って報告を行うスキャ
    ン装置を、
    前記レシートのスキャンが完了すると、前記レシートに前記OCR処理を行うことで読
    み取った内容をディスプレイに表示する第1領域と、前記レシートをスキャンした画像を
    表示する第2領域とを前記ディスプレイに表示し、前記ディスプレイに表示された第3領
    域に対する利用者の操作を受けて、前記ディスプレイに表示されている前記第1領域また
    は前記第2領域を非表示にし、前記第3領域に対する前記利用者の操作を受けて、非表示
    であった前記第1領域または前記第2領域を前記ディスプレイに表示させるスキャン結果
    表示部として機能させる、スキャン結果表示プログラム。
JP2018046359A 2018-03-14 2018-03-14 スキャン装置およびスキャン結果表示プログラム Pending JP2019159875A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018046359A JP2019159875A (ja) 2018-03-14 2018-03-14 スキャン装置およびスキャン結果表示プログラム
US16/299,228 US11288500B2 (en) 2018-03-14 2019-03-12 Scan apparatus and scan result display program
CN201910191178.1A CN110276339A (zh) 2018-03-14 2019-03-13 扫描系统以及存储介质
EP19162922.9A EP3541057B1 (en) 2018-03-14 2019-03-14 Scan apparatus and scan result display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018046359A JP2019159875A (ja) 2018-03-14 2018-03-14 スキャン装置およびスキャン結果表示プログラム

Publications (1)

Publication Number Publication Date
JP2019159875A true JP2019159875A (ja) 2019-09-19

Family

ID=65861213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018046359A Pending JP2019159875A (ja) 2018-03-14 2018-03-14 スキャン装置およびスキャン結果表示プログラム

Country Status (4)

Country Link
US (1) US11288500B2 (ja)
EP (1) EP3541057B1 (ja)
JP (1) JP2019159875A (ja)
CN (1) CN110276339A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6994727B1 (ja) * 2021-03-23 2022-01-14 株式会社 YSK e-com 読取システム、読取プログラムおよび読取方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7259468B2 (ja) * 2019-03-25 2023-04-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7391672B2 (ja) 2020-01-21 2023-12-05 キヤノン株式会社 文書を電子化するための画像処理システム、その制御方法及びプログラム
JP2022124871A (ja) * 2021-02-16 2022-08-26 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN113938481A (zh) * 2021-11-12 2022-01-14 中国建设银行股份有限公司 回单处理方法、处理装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055322A (ja) * 2008-08-27 2010-03-11 Pentel Corp 筆跡入力システム
JP2016126356A (ja) * 2014-12-26 2016-07-11 ブラザー工業株式会社 画像処理プログラム、画像処理方法、及び画像処理装置
JP2017149026A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 画像形成装置及び画像形成制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161436A (ja) 1994-12-06 1996-06-21 Toshiba Corp 領収書読取装置
US9311499B2 (en) * 2000-11-13 2016-04-12 Ron M. Redlich Data security system and with territorial, geographic and triggering event protocol
AU2003280003A1 (en) 2002-10-21 2004-07-09 Leslie Spero System and method for capture, storage and processing of receipts and related data
US9245296B2 (en) 2012-03-01 2016-01-26 Ricoh Company Ltd. Expense report system with receipt image processing
US9514359B2 (en) * 2013-07-19 2016-12-06 Google Inc. Card art display
US9922375B1 (en) * 2014-09-22 2018-03-20 Certify, Inc. Systems and methods of parsing receipts
KR20160060499A (ko) * 2014-11-20 2016-05-30 삼성전자주식회사 화상독취장치 및 그의 제어 방법
JP7081179B2 (ja) * 2018-01-31 2022-06-07 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
US20200104586A1 (en) * 2018-09-28 2020-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for manual editing of character recognition results

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055322A (ja) * 2008-08-27 2010-03-11 Pentel Corp 筆跡入力システム
JP2016126356A (ja) * 2014-12-26 2016-07-11 ブラザー工業株式会社 画像処理プログラム、画像処理方法、及び画像処理装置
JP2017149026A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 画像形成装置及び画像形成制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6994727B1 (ja) * 2021-03-23 2022-01-14 株式会社 YSK e-com 読取システム、読取プログラムおよび読取方法

Also Published As

Publication number Publication date
US20190286897A1 (en) 2019-09-19
EP3541057B1 (en) 2023-01-04
EP3541057A1 (en) 2019-09-18
CN110276339A (zh) 2019-09-24
US11288500B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
JP2019159875A (ja) スキャン装置およびスキャン結果表示プログラム
JPH06223152A (ja) 画像処理装置
US11941672B2 (en) Information processing system, information processing method, and non-transitory recording medium
JP2010114840A (ja) 画像形成装置及び保存画像の確認システム
JP7476557B2 (ja) 機器、処理実行システム、処理実行方法、プログラム
US12020462B2 (en) Information processing apparatus, information processing method, and computer program product
JP7491107B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
US8947754B2 (en) Image processing device displaying a preview image and image processing method and program displaying a preview image
JP2022137608A (ja) 情報処理装置、情報処理方法およびプログラム
JP2005157458A (ja) 自動契約システムおよび自動契約受付機および自動契約方法
US20220309816A1 (en) Image processing apparatus that extracts necessary character string from source image, and image forming apparatus including same
JP2013121114A (ja) Fax送信装置、システム、制御方法、及びプログラム
US11588945B2 (en) Data input support apparatus that displays a window with an item value display area, an overview image display area, and an enlarged image display area
JP7424460B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2010152464A (ja) 文字認識装置、文字認識装置の確認画面生成方法
JP7380653B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
TWI694415B (zh) 圖像合成列印方法
US20240281788A1 (en) Point-of-sale terminal, method, and point-of-sale system
JPH0293865A (ja) 情報記憶装置
JP2023035548A (ja) 情報処理装置、情報処理方法およびプログラム
JP2022161338A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2024133919A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2755013B2 (ja) 伝票イメージ入力制御装置
JPH0212068B2 (ja)
JP2024079019A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181121

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210917

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220607