JP2022161338A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents
画像処理装置及びその制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP2022161338A JP2022161338A JP2021066067A JP2021066067A JP2022161338A JP 2022161338 A JP2022161338 A JP 2022161338A JP 2021066067 A JP2021066067 A JP 2021066067A JP 2021066067 A JP2021066067 A JP 2021066067A JP 2022161338 A JP2022161338 A JP 2022161338A
- Authority
- JP
- Japan
- Prior art keywords
- transfer
- information
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000012546 transfer Methods 0.000 claims abstract description 161
- 230000008569 process Effects 0.000 claims abstract description 88
- 238000012790 confirmation Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract 3
- 238000013475 authorization Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000003825 pressing Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 238000012015 optical character recognition Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
- H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
- H04N1/00331—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/10—Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
- G06Q20/102—Bill distribution or payments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/48—Message addressing, e.g. address format or anonymous messages, aliases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
- H04N1/00212—Attaching image data to computer messages, e.g. to e-mails
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
- H04N1/00214—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
Abstract
【課題】画像処理装置において、振込処理に必要となる情報を電子メールの添付画像から適切に取得して振込処理を行うことを可能にする技術を提供する。【解決手段】画像形成装置は、銀行サービスを提供するリソースサーバを用いた振込処理に必要な情報が記載された書面(請求書)の画像の送信元を示す送信元メールアドレスを登録する。画像形成装置は、外部装置から受信された電子メールのうち、登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける。画像形成装置は、処理対象の電子メールに添付された画像に対して文字認識処理を行って得られる情報に基づいて振込処理を実行する。【選択図】図15
Description
本発明は、画像処理装置及びその制御方法、並びにプログラムに関するものである。
口座振替依頼書等に記載された文字情報を光学文字認識により読み取り、得られた文字情報に基づいて振込又は振替処理を行う自動取引システムが知られている。特許文献1には、振込先記載用紙を撮像して得られた撮像画像から文字認識により文字データを取得し、金融機関名、支店名、科目、及び口座番号を文字データから特定し、特定した文字データに基づいて取引を行う自動取引システムが開示されている。
また、インターネットを利用して振込又は振替処理を行うサービスでは、ユーザがウェブブラウザを利用してサービスにアクセスすることが一般的である。また、近年では、ウェブブラウザを利用せずとも、サービス提供元により公開されたWeb API(アプリケーションを利用してそのようなサービスを利用する仕組も提供されている。
上述のようにWeb APIを利用して振込処理を実現する場合、振込処理に必要な情報が記載された請求書等の書面が、電子メールの添付画像として取得されるケースが想定される。このようなケースでは、電子メールにより受信された複数の画像から、振込処理に使用する画像を選択する必要があり、所望の画像を探しづらい可能性がある。
そこで、本発明は、画像処理装置において、電子メールにより受信された複数の画像から、振込処理に使用する画像を探しやすくする技術を提供することを目的としている。
本発明の一態様に係る画像処理装置は、銀行サービスを提供するサーバ装置を用いた振込処理に必要な情報が記載された書面の画像の送信元を示す送信元メールアドレスを登録する登録手段と、外部装置から受信された電子メールのうち、前記登録手段による登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示部に表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける受け付け手段と、前記処理対象の電子メールに添付された画像に対して文字認識処理を行って得られる情報に基づいて、前記サーバ装置を用いた振込処理を実行する実行手段と、を備えることを特徴とする。
本発明によれば、画像処理装置において、電子メールにより受信された複数の画像から、振込処理に使用する画像を探しやすくすることが可能になる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1実施形態]
<通信システム>
図1は、第1実施形態に係る通信システムの構成例を示す。通信システムは、有線LAN又は無線LAN等で構成されたネットワーク100を介して接続された画像形成装置101及びPC102を含む。ネットワーク100は、インターネット103と接続されている。通信システムは更に、インターネットを介して接続された認可サーバ104、リソースサーバ105、ストレージサーバ106、及びメールサーバ107を含む。画像形成装置101、PC102及びインターネット103上のこれらのサーバ装置は、ネットワーク100及びインターネット103を介して互いに通信可能に構成される。なお、通信システムに含まれる装置間で送受信される画像データは、画像をRAWデータ化した電子データ、TIFF、JPEG等の画像フォーマットに対応した電子データ、及びPDFフォーマット対応した電子データのいずれであってもよい。
<通信システム>
図1は、第1実施形態に係る通信システムの構成例を示す。通信システムは、有線LAN又は無線LAN等で構成されたネットワーク100を介して接続された画像形成装置101及びPC102を含む。ネットワーク100は、インターネット103と接続されている。通信システムは更に、インターネットを介して接続された認可サーバ104、リソースサーバ105、ストレージサーバ106、及びメールサーバ107を含む。画像形成装置101、PC102及びインターネット103上のこれらのサーバ装置は、ネットワーク100及びインターネット103を介して互いに通信可能に構成される。なお、通信システムに含まれる装置間で送受信される画像データは、画像をRAWデータ化した電子データ、TIFF、JPEG等の画像フォーマットに対応した電子データ、及びPDFフォーマット対応した電子データのいずれであってもよい。
画像形成装置101は、画像処理装置の一例であり、印刷機能、コピー機能、スキャン機能、及びファクシミリ(FAX)機能等の各種機能に加えて、電子メール送受信機能を有する。画像形成装置101は、外部装置(図示せず)から送信された電子メールを、メールサーバ107から受信しうる。また、画像形成装置101は、受信した電子メールに添付された画像をシートに形成(印刷)すること、及び当該画像をPC102、ストレージサーバ106又はその他の装置等の外部装置へ転送することを行いうる。
PC102は、画像形成装置101の状態確認及び設定を行うために使用される。PC102は、HTTPプロトコルにより画像形成装置101の設定値を参照又は更新することが可能である。認可サーバ104は、Web APIとして提供される銀行サービスAPIの利用を認可する機能を有するサーバ装置である。リソースサーバ105は、銀行振り込み、入出金明細の発行等の銀行サービスを提供するサーバ装置である。ストレージサーバ106は、オンラインストレージとして機能し、画像データ及び設定情報の保存に使用されるサーバ装置である。メールサーバ107は、電子メールの送受信に使用されるサーバ装置である。
<画像形成装置>
図2は、画像形成装置101の構成例を示すブロック図である。画像形成装置101は、制御部110と、当該制御部に接続された、操作部116、読取部118、及び印刷部120とを備える。制御部110は、CPU111を含み、画像形成装置101全体の動作を制御する。制御部110は、CPU111、ROM112、RAM113、ストレージ114、操作部I/F(インタフェース)115、読取部I/F117、印刷部I/F119、外部記憶I/F121、通信I/F123、及び画像処理部124を含む。
図2は、画像形成装置101の構成例を示すブロック図である。画像形成装置101は、制御部110と、当該制御部に接続された、操作部116、読取部118、及び印刷部120とを備える。制御部110は、CPU111を含み、画像形成装置101全体の動作を制御する。制御部110は、CPU111、ROM112、RAM113、ストレージ114、操作部I/F(インタフェース)115、読取部I/F117、印刷部I/F119、外部記憶I/F121、通信I/F123、及び画像処理部124を含む。
CPU111は、ROM112又はストレージ114に格納された制御プログラムを読み出して実行することにより、読取制御、印刷制御、通信制御等の各種制御を行う。ROM112は、CPU111により実行可能な制御プログラムを格納する。また、ROM112は、ブートプログラムやフォントデータ等も格納する。RAM113は、CPU111の主記憶メモリであり、ワークエリアとして用いられるとともに、ROM112及びストレージ114に格納された制御プログラムを展開するための一時記憶領域として用いられる。ストレージ114は、画像データ、印刷データ、アドレス帳、ショートカット、各種プログラム、及び各種設定情報を記憶する。本実施形態のストレージ114は、フラッシュメモリで構成されるが、SSD、HDD,eMMC等の補助記憶装置で構成されてもよい。
本実施形態の画像形成装置101では、1つの以上のメモリ(RAM113)に格納されたプログラムを1つCPU111が実行することにより、後述する各フローチャートに示す処理が実行される。ただし、各フローチャートに示す処理の少なくとも一部が、ASICや又はFPGA等のハードウェア回路を用いて実行されてもよい。
読取部I/F117は、読取部118と制御部110とを接続するインタフェースである。読取部118は、原稿の画像を読み取って、当該画像に対応する画像データ(バイナリデータ等)を生成する。読取部118によって生成された画像データは、外部装置への送信、外部記録装置への保存、及びシート(記録紙)上のへの印刷に使用可能である。印刷部I/F119は、印刷部120と制御部110とを接続するインタフェースである。CPU111は、印刷用の画像データ(印刷対象の画像の画像データ)を、印刷部I/F119を介して印刷部120に転送する。これにより、印刷部120は、受信した画像データに基づいて、給紙カセット(不図示)から給送されたシート上に、カートリッジ(不図示)から供給されるトナーを用いて画像を印刷する。
操作部I/F115は、操作部116と制御部110とを接続するインタフェースである。操作部116は、タッチパネル機能を有する表示部(ディスプレイ)を備え、ユーザに対する情報の表示、及びユーザからの入力の受け付けに用いられる。外部記憶I/F121は、外部記憶装置122と制御部110とを接続するインタフェースである。CPU111は、外部記憶I/F121を介して外部記憶装置122に画像データを保存しうる。本実施形態では、外部記憶I/F121としてUSBインタフェース、外部記憶装置122としてUSBメモリを想定しているが、SDカード等の、USBメモリ以外の外部記憶装置が外部記憶I/F121に接続可能であってもよい。
制御部110は、通信I/F123によりネットワーク100に接続される。通信I/F123は、ネットワーク100を介してPC102等と通信可能であり、更にインターネット103上の各サーバ装置とも通信可能である。例えば、通信I/F123は、PC102に向けた画像データの送信及び画像形成装置101内部の各種設定情報の送信、メールサーバ107を介した電子メールの送受信、及びストレージサーバ106に向けた画像データの送信を行いうる。
通信I/F123は、認可サーバ104に接続し、リソースサーバ105が提供する銀行サービスAPIの認可コードを取得する。また、通信I/F123は、リソースサーバ105に接続し、銀行サービスAPIの認可コードを提示することで、銀行サービスAPIを介して銀行サービスを実行する。通信I/F123は、銀行サービスAPIの認可コードを取得するための各種設定情報の登録又は変更を、PC102からHTTP接続を介して行うことができるように構成されている。
画像処理部124は、読取部118によって生成される画像データ(入力画像データ)及び印刷部120による印刷に用いられる画像データ(出力画像データ)に対する画像処理を行う。画像処理部124は、例えば、解像度変換、色変換、圧縮/伸長、ハーフトーン化処理等の画像処理を行いうる。画像処理部124は、画像から文字を認識して文字データ(文字情報)を出力する文字認識処理(OCR処理)も行いうる。例えば、画像処理部124は、読取部118によって生成された画像データ、及び通信I/F123によってメールサーバ107から受信された電子メールに添付された画像データに対して文字認識処理を行うことで、文字データを出力しうる。本実施形態においてCPU111は、リソースサーバ105を用いた振込処理に必要な情報を取得するために、画像処理部124を用いて、処理対象の電子メールに添付された画像に対して文字認識処理を行いうる。
<操作部及びホーム画面>
図3は、操作部116の構成例と、操作部116の表示部(ディスプレイ)に表示される操作画面の例を示す。操作部116には、タッチパネル機能を有する表示部300と、LEDランプ306,307とが設けられている。LEDランプ306,307は、画像形成装置101の状態をユーザに通知するために用いられる。LEDランプ306は、画像形成装置101がジョブ実行中に点灯され、LEDランプ307は、画像形成装置101に何らかのエラーが発生した際に点灯される。
図3は、操作部116の構成例と、操作部116の表示部(ディスプレイ)に表示される操作画面の例を示す。操作部116には、タッチパネル機能を有する表示部300と、LEDランプ306,307とが設けられている。LEDランプ306,307は、画像形成装置101の状態をユーザに通知するために用いられる。LEDランプ306は、画像形成装置101がジョブ実行中に点灯され、LEDランプ307は、画像形成装置101に何らかのエラーが発生した際に点灯される。
図3には、表示部300に表示される操作画面の例として、画像形成装置101の起動直後に表示されるホーム画面を示している。ホーム画面は、画像形成装置101が有する機能を選択するための操作画面の一例であり、画像形成装置101の各機能の実行を指示するために使用される。ホーム画面には、コピー、ファクス、スキャン、メニュー、及びアドレス帳といった、画像形成装置101が有する各機能に対応するボタンが表示される。ユーザは、ホーム画面に表示されたボタンを押下(タッチ)することによって、当該ボタンに対応する機能の実行を指示できる。例えば、ホーム画面に表示されたボタン302の押下により、銀行振込(リソースサーバ105を用いた振込処理)の実行、及び振込先情報の登録を指示できる。
<銀行サービスの利用認証>
図4は、銀行サービスの利用認証用の設定画面の例を示す。表示された設定画面を用いて設定されるユーザ情報は、銀行サービスを利用して銀行振込(振込処理)を行う際に振込元のユーザ情報として使用される。
図4は、銀行サービスの利用認証用の設定画面の例を示す。表示された設定画面を用いて設定されるユーザ情報は、銀行サービスを利用して銀行振込(振込処理)を行う際に振込元のユーザ情報として使用される。
本実施形態の画像形成装置101では、ホーム画面に表示された「メニュー」ボタン301をユーザが選択することで、アプリケーションごとの設定メニューが表示部300に表示される。図4(A)に示す設定画面400は、ユーザが、銀行サービスを利用するためのアプリケーションの設定メニューを用いて、銀行サービスの利用認証に関する設定を指示した場合に操作部116に表示される。
図4(A)に示す設定画面400は、ユーザ情報としてユーザID及びパスワードをそれぞれ入力するための入力欄401,402を有する。入力欄402に入力されたパスワードは、伏せ字に変換されて表示される。入力欄401,402に入力されたユーザID及びパスワードは、認証処理において、銀行サービスを利用するために予め登録されているユーザID及びパスワードと照合される。設定画面400は更に、銀行サービスの登録名称を入力するための入力欄403を有する。入力欄403に入力された登録名称は、振込処理における振込元の識別用の名称として使用される。この登録名称は、振込元の口座と関連付けて設定される。
設定画面400のログインボタン404が押下されると、画像形成装置101は、図6に示すシーケンスに従って、認可サーバ104を用いた認証処理を行う。設定画面400を介して入力されたユーザ情報に基づく認証が成功すると、画像形成装置101は、図4(B)に示す画面410を操作部116に表示する。画面410では、設定画面400の入力欄401,402に入力されたユーザID及びパスワードが伏せ字に変換されて表示され、登録名称411のみが表示される。画面410のログアウトボタン412が押下されると、画像形成装置101は、操作部116の表示画面を設定画面400に戻し、設定画面400内の入力欄401~403をクリアする。
一方、設定画面400を介して入力されたユーザ情報に基づく認証が失敗すると、画像形成装置101は、図4(C)に示す画面420を操作部116に表示する。画面420の「はい」ボタン421が押下されると、操作部116の表示画面を設定画面400に戻し、設定画面400内の入力欄401~403をクリアする。
なお、本実施形態の画像形成装置101は、PC102にインストールされているウェブブラウザを利用して、PC102から画像形成装置101へHTTP接続を行い、PC102から同様の設定を行えるように構成されてもよい。その場合、図5に示すウェブブラウザ画面500,510,520がPC102の表示部(図示せず)に表示される。ウェブブラウザ画面500,510,520は、それぞれ、図4(A)~(C)に示す画面400,410,420と同様の内容を有し、同様の機能を実現するものである。
図6は、銀行サービスの利用認証のシーケンスの例を示す。ユーザは、画像形成装置101から銀行サービスを利用する(銀行サービスへのアクセスを行う)ためのユーザ情報の設定(ログイン設定)を行うことを、操作部116を操作して指示する(S601)。この指示に応じて、CPU111は、ユーザ情報の入力画面(図4(A)に示す設定画面400)を操作部116に表示する(S602)。ユーザは、設定画面400において、ユーザ情報としてユーザID及びパスワードをそれぞれ入力欄401,402に入力し、ログインボタン404を押下する(S603)。ログインボタン404の押下に応じて、CPU111は、入力されたユーザID及びパスワードを含むトークンリクエストを、認可サーバ104へ送信する(S604)。
認可サーバ104は、画像形成装置101からトークンリクエストを受信すると、当該トークンリクエストに含まれるユーザID及びパスワードに基づいて銀行サービスの利用認証を行う。具体的には、認可サーバ104は、トークンリクエストに含まれるユーザID及びパスワードを、予め登録されているユーザID及びパスワードと照合することで、それらが正規のものであるか否かを確認する。認可サーバ104は、トークンリクエストに含まれるユーザID及びパスワードが正規のものであることを確認すると、銀行サービスの利用認証の結果を示すアクセストークンを含むトークンリクエスト応答を、画像形成装置101へ送信する(S605)。
画像形成装置101において、CPU111は、認可サーバ104から受信したトークンリクエスト応答に基づいて、利用認証の結果を示す処理完了画面を操作部116に表示する(S606)。具体的には、CPU111は、トークンリクエスト応答に含まれるアクセストークンを、ユーザ情報に関連付けてストレージ114にユーザ情報に保存する。更にCPU111は、アクセストークンの保存が完了した後、図4(B)に示す画面410を操作部116に表示し、図6のシーケンスによる処理を終了する。一方、CPU111は、トークンリクエスト応答に、認証に失敗したことを示すアクセストークンが含まれる場合、図4(C)に示す画面420を操作部116に表示し、図6のシーケンスによる処理を終了する。その場合、CPU111は、パスワードの再入力をユーザに求めてもよい。
<初回の振込処理>
図7は、初回の振込処理の手順を示すフローチャートである。図7の各ステップの処理は、CPU111がROM112又はストレージ114に格納された制御プログラムを読み出して実行することにより、画像形成装置101において実現されうる。図7の手順による処理は、後述するS719~S722における登録処理により登録済みの振込先情報を使用せず振込処理の実行がユーザによって指示された場合の処理である。ユーザは、例えばホーム画面(図3)のボタン302の押下により、登録済みの振込先情報を使用せず振込処理の実行(及び振込先情報の登録)を指示できる。
図7は、初回の振込処理の手順を示すフローチャートである。図7の各ステップの処理は、CPU111がROM112又はストレージ114に格納された制御プログラムを読み出して実行することにより、画像形成装置101において実現されうる。図7の手順による処理は、後述するS719~S722における登録処理により登録済みの振込先情報を使用せず振込処理の実行がユーザによって指示された場合の処理である。ユーザは、例えばホーム画面(図3)のボタン302の押下により、登録済みの振込先情報を使用せず振込処理の実行(及び振込先情報の登録)を指示できる。
まず、ユーザがホーム画面(図3)のボタン302を押下すると、CPU111は、S701で、銀行サービスの利用認証が済んでいるか否かを判定する。CPU111は、銀行サービスの利用認証が済んでいる場合には、S702へ処理を進める。CPU111は、銀行サービスの利用認証が済んでいない場合には、S723へ処理を進め、設定画面400(図4(A))を操作部116に表示して、図6の手順による利用認証を行う。S723の処理が完了するとS701へ処理を戻し、利用認証が済んでいるか否かを再び判定する。
S702で、CPU111は、図8(A)に例示される選択画面800を操作部116に表示して、予め登録された振込元のうちで任意の振込元を選択するユーザ操作を受け付ける。S702においてユーザが選択可能な振込元は、図6の手順でユーザによって予め登録された振込元である。選択画面800において振込元が選択されて「次へ」ボタン802が押下されると、S703で、CPU111は、図8(B)に例示される画面810を操作部116に表示して、メール受信の開始指示をユーザから受け付ける。画面810において「キャンセル」ボタン804が押下されることでキャンセル指示を受け付けると(S704で「YES」)、図7の手順による一連の処理を終了する。一方、画面810において「スタート」ボタン811が押下されることでメール受信の開始指示を受け付けると(S704で「NO」)、S705へ処理を進める。
S705で、CPU111は、図8(C)に例示される画面820を操作部116に表示して、メールサーバ107からのメール受信を開始する。本実施形態では、リソースサーバ105を用いた振込処理に必要な情報(振込先情報及び振込金額)が記載された書面の画像として、振込処理に使用される請求書の画像(の画像データ)が添付されたメールが、メールサーバ107から受信される。なお、振込処理に必要な振込先情報及び振込金額が記載された書面は、請求書以外の書面であってもよい。
S706で、CPU111は、メールサーバ107からの受信メールの有無を判定し、受信メールが存在する場合にはS707へ処理を進める。S707で、CPU111は、図9(A)に例示される画面900を操作部116に表示して、受信メールの一覧901において、処理対象の受信メールを選択するユーザ操作を受け付ける。このように、CPU111は、メールサーバ107(外部装置)から受信された電子メールの一覧を操作部116に表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける。なお、各受信メール、及び各受信メールに添付された画像データは、RAM113に一時的に保存される。一方、受信メールが存在しない場合、CPU111は、図9(B)に例示される画面910を操作部116に表示し、ユーザによる「閉じる」ボタン911の押下に応じて図7の手順による一連の処理を終了する。
操作部116に表示した画面900において、ユーザによってメールが選択されて「プレビュー」ボタン902が押下されると、S708で、CPU111は、図9(C)に例示されるプレビュー画面920を操作部116に表示する。プレビュー画面920には、画面900において番号「No.0001」の受信メールに添付されている画像データに対応する請求書画像が表示されている。図10は、番号「No.0001」の受信メールに添付されていた画像データに基づく請求書画像の例を示しており、当該請求書画像がプレビュー画面920内に表示されている。
プレビュー画面920においてユーザによって「確定」ボタン921が押下されると、CPU111は、処理対象の画像を決定し(S709で「YES」)、S710へ処理を進める。一方、プレビュー画面920においてユーザによって「キャンセル」ボタン922が押下されると(S709で「NO」)、CPU111は、S707へ処理を戻し、画面900において再度、受信メールの選択をユーザから受け付ける。
S710で、CPU111は、図9(D)に例示される画面930を操作部116に表示して、請求書画像から、文字情報(テキストオブジェクト)を抽出する処理を実行する。この処理は、請求書画像に対するOCR処理により実現される。CPU111は、RAM113に保存され、S709において処理対象として決定された請求書画像の画像データに対してOCR処理を実行する。OCR処理では、抽出された各文字の近傍を左右方向において探索し、所定の距離以内にある文字から成るテキストをテキストオブジェクトとして抽出し、当該テキストオブジェクトに対して、当該テキストオブジェクトの位置を示す位置情報を付与する。
S710の処理が完了すると、CPU111は、振込処理に必要な情報(振込先情報及び振込金額)を取得するために、抽出されたテキストオブジェクトを操作部116に表示する。本実施形態では、CPU111は、操作部116において、振込先情報の各項目及び振込金額に対して、抽出されたテキストオブジェクト(文字情報)を対応付けるユーザ操作を受け付けることで、振込先情報及び振込金額を取得する。
図11(A)乃至(E)に例示される画面1100,1110,1120,1130,1140は、操作部116に順に表示される、テキストオブジェクトを選択するための選択画面の例である。画面1100,1110,1120,1130,1140のそれぞれにおいて、「確定」ボタンの押下が押下された場合には操作部116に表示画面が次の画面に遷移し、「戻る」ボタンが押下された場合には操作部116に表示画面が前の画面に遷移する。画面1100において「戻る」ボタンが押下された場合、図11(F)に例示される、振込処理を中断するか否かをユーザに確認するための確認画面1150が操作部116に表示される。CPU111は、確認画面1150において「はい」ボタン1151が押下されることで振込処理のキャンセルが指示されると(S711で「YES」)、図7の手順による一連の処理を終了する。確認画面1150において「いいえ」ボタン1152が押下された場合、CPU111は、操作部116の表示画面を画面1100に戻す。
S712で、CPU111は、操作部116に表示した画面を介して、請求書画像から抽出されたテキストオブジェクトのうちで、振込先情報の各項目及び振込金額に対応するテキストオブジェクトの選択をユーザから受け付ける。図11の例では、画面1100,1110,1120,1130,1140をそれぞれ介して、銀行名、支店名、口座種別、口座番号、及び振込金額を示すテキストオブジェクトの選択を受ける。ユーザによるテキストオブジェクトの選択に従って、S713で、CPU111は、振込先情報の各項目及び振込金額に対して選択されたテキストオブジェクトを取得する。その後、S714で、CPU111は、振込先情報の各項目及び振込金額に対応するテキストオブジェクトの選択が完了したか否かを判定し、完了した判定するとS715へ処理を進め、完了していないと判定するとS711へ処理を戻す。図11の例では、画面1140において「確定」ボタンが押下されると、CPU111は、テキストオブジェクトの選択が完了したと判定する。このように、CPU111は、ユーザによるテキストオブジェクトの選択(振込先情報の各項目及び振込金額に対する、請求書画像から抽出された文字情報の対応付け)のためのユーザ操作を受け付けることで、振込先情報及び振込金額を取得する。
S715で、CPU111は、図11(G)に例示される、振込処理に必要な情報(振込先情報及び振込金額)をユーザが確認するための確認画面1160を操作部116に表示する。確認画面1160において「確定」ボタン1161がユーザによって押下されることで振込処理の実行が指示されると(S716で「YES」)、CPU111は、S717へ処理を進める。S717で、CPU111は、リソースサーバ105を用いた振込処理を実行し、S718へ処理を進める。S717における振込処理は、後述する図12に示すシーケンスに従って実行される。一方、確認画面1160において「キャンセル」ボタン1162がユーザによって押下されることで振込処理のキャンセルが指示されると(S716で「NO」)、図7の手順による一連の処理を終了する。
S718で、CPU111は、振込処理(S717)が正常に終了したか否かを判定し、振込処理が正常に終了したと判定した場合には(S718で「YES」)、S719へ処理を進める。S719で、CPU111は、図13(A)に例示される、振込先情報の登録をユーザに確認するための登録確認画面1300を操作部116に表示し、S720へ処理を進める。一方、CPU111は、振込処理が正常に終了したと判定した場合には(S718で「NO」)、振込処理が正常に終了しなかった原因を操作部116に表示し、図7の手順による一連の処理を終了する。例えば、CPU111は、認証処理が失敗したことに起因して振込処理が正常に終了しなかった場合、図13(C)に例示される画面1320を操作部116に表示する。また、CPU111は、振込先が存在しないことに起因して振込処理が正常に終了しなかった場合、図13(D)に例示される画面1330を操作部116に表示する。
登録確認画面1300において「はい」ボタン1301がユーザによって押下されることで、振込先情報の登録が指示されると(S720で「YES」)、CPU111は、S721へ処理を進める。一方、登録確認画面1300において「いいえ」ボタン1302が押下されることで、振込先情報の登録を行わないことが指示されると(S720で「NO」)、CPU111は、図7の手順による一連の処理を終了する。
S721で、CPU111は、図13(B)に例示される入力画面1310を操作部116に表示して、振込先の識別用の登録名称の入力を受け付ける。入力画面1310は、登録名称を入力するための入力欄1311を有する。入力画面1310において「中止」ボタン1312が押下されると、CPU111は、図7の手順による一連の処理を終了する。入力画面1310において入力欄1311に登録名称が入力されて「登録」ボタン1313が押下されると、CPU111は、振込先情報の登録(ストレージ114への保存)を行う。その際、CPU111は、振込先情報とともに、振込先情報の各項目及び振込金額の文字情報(テキストオブジェクト)が請求書画像内で配置されていた位置を示す位置情報も登録する。なお、振込先情報は、振込先の識別用の登録名称、銀行名、支店名、口座種別、及び口座番号を示す情報の少なくともいずれかを示す情報を含む。
振込先情報及び位置情報の登録が完了すると、次にS722で、CPU111は、また、S707において処理対象として選択された受信メールの送信元メールアドレスを、フィルタ条件として、振込先情報及び位置情報に関連付けて登録する。このフィルタ条件は、外部装置から受信された電子メールのうちで、処理対象の候補として操作部116に表示する電子メールを特定するための条件として使用される。このようにして、CPU111は、処理対象の電子メールに添付された請求書画像に基づく振込処理(S717)の完了後に、振込処理に使用された振込先情報と、当該電子メールの送信元メールアドレスとを関連付けて登録する。これにより、初回の振込処理で使用した振込先情報を、次回以降の振込処理のために再利用できるようにする。
また、S722においてCPU111は、登録済みの振込先情報を再利用した、次回以降(2回目以降)の振込処理の実行を指示するためにユーザが使用するショートカットボタンを、ホーム画面上に追加する。このショートカットボタンは、フィルタ条件として登録された送信元メールアドレスと関連付けられる。図14は、このようなショートカットの例として、図3に示すホーム画面上にショートカットボタン1401が追加された例を示している。このように、CPU111は、操作部116に表示される、画像形成装置101の機能を選択するための操作画面(ホーム画面)に、ショートカットボタン1401を追加する。このショートカットボタン1401は、送信元メールアドレスに関連付けて登録済みの振込先情報に基づいて込処理の実行をユーザが指示するための指示オブジェクトの一例である。本例では、ユーザが振込先を識別できるように、登録済みの振込先情報に含まれる登録名称がショートカットボタン1401に表示されている。ショートカットボタン1401の作成が完了すると、CPU111は、図7の手順による一連の処理を終了する。
なお、本実施形態では、振込処理に用いられた請求書画像の送信元を示す送信元メールアドレスと振込先情報とを対応付けて登録する例を説明しているが、これに限定されない。例えば、操作部116を用いてユーザが入力した振込先情報及びメールアドレス(送信元メールアドレス)を対応付けて登録してもよい。
<(振込処理(S717)>
図12は、振込処理(S717)のシーケンスの例を示す。例えば、図11(G)に例示される確認画面1160において「確定」ボタン1161が押下されることにより、振込処理の実行がユーザによって指示される(S1201)。当該指示を受けると、画像形成装置101は、アクセストークン及び振込先情報を含む振込指示をリソースサーバ105へ送信する(S1202)。
図12は、振込処理(S717)のシーケンスの例を示す。例えば、図11(G)に例示される確認画面1160において「確定」ボタン1161が押下されることにより、振込処理の実行がユーザによって指示される(S1201)。当該指示を受けると、画像形成装置101は、アクセストークン及び振込先情報を含む振込指示をリソースサーバ105へ送信する(S1202)。
リソースサーバ105は、画像形成装置101から振込指示を受信すると、当該振込指示からアクセストークンを取り出し、アクセストークンに関して認可サーバ104に問い合わせを行う(S1203)。認可サーバ104は、問い合わせに応答して、アクセストークンに関する情報をリソースサーバ105に返す(S1204)。リソースサーバ105は、認可サーバ104から受信したアクセストークンに関する情報に基づいて、アクセストークンの有効性を判定し、アクセストークンが有効である場合には振込処理を実行する(S1205)。更に、リソースサーバ105は、振込処理の実行結果を画像形成装置101へ通知する(S1205)。一方、リソースサーバ105は、アクセストークンが無効である場合には振込処理を実行せずに、処理の完了を画像形成装置101に通知する(S1206)。
画像形成装置101は、リソースサーバ105からの通知に基づいて、振込処理の結果を操作部116に表示することで、ユーザへの通知を行う(S1207)。
<2回目以降の振込処理>
図15は、ホーム画面に追加されたショートカットボタン1401を利用して行われる、2回目以降の振込処理の手順を示すフローチャートである。図15の各ステップの処理は、CPU111がROM112又はストレージ114に格納された制御プログラムを読み出して実行することにより、画像形成装置101において実現されうる。図15の手順による処理は、登録済みの振込先情報に基づいて振込処理の実行がユーザによって指示された場合の処理である。ユーザは、例えばホーム画面(図3)のショートカットボタン1401の押下により、登録済みの振込先情報に基づいて振込処理の実行を指示できる。
図15は、ホーム画面に追加されたショートカットボタン1401を利用して行われる、2回目以降の振込処理の手順を示すフローチャートである。図15の各ステップの処理は、CPU111がROM112又はストレージ114に格納された制御プログラムを読み出して実行することにより、画像形成装置101において実現されうる。図15の手順による処理は、登録済みの振込先情報に基づいて振込処理の実行がユーザによって指示された場合の処理である。ユーザは、例えばホーム画面(図3)のショートカットボタン1401の押下により、登録済みの振込先情報に基づいて振込処理の実行を指示できる。
まず、ユーザがホーム画面(図14)に表示されたショートカットボタン1401を押下すると、S1501で、CPU111は、画像形成装置101は操作部116に図16(A)に例示される画面1600を操作部116に表示して、メール受信の開始指示をユーザから受け付ける。画面1600において「キャンセル」ボタン1602が押下されることでキャンセル指示を受け付けると(S1502で「YES」)、図15の手順による一連の処理を終了する。一方、画面1600において「スタート」ボタン1601が押下されることでメール受信の開始指示を受け付けると(S1502で「NO」)、S1503で、CPU111は、図8(C)に例示される画面820を操作部116に表示して、メールサーバ107からのメール受信を開始する。
S1504で、CPU111は、メールサーバ107からの受信メールの有無を判定し、受信メールが存在する場合にはS1505へ処理を進める。S1504では、前述のS722においてショートカットボタン1401に関連付けてフィルタ条件として登録された送信元メールアドレスに一致するアドレスから送信された受信メールが存在するか否かを判定する。CPU111は、フィルタ条件を満たす(即ち、送信元メールアドレスがフィルタ条件として登録された送信元メールアドレスと一致する)受信メールが存在する場合には、S1505へ処理を進める。
なお、CPU111は、S1503のメール受信を行わずに、事前に受信してストレージ114に保存しておいたメールの中から、フィルタ条件を満たすメールの有無を判定してもよい。即ち、フィルタ条件として登録された送信元メールアドレスに一致するアドレスから送信された受信メールが、ストレージ114に保存しておいたメールの中に存在するか否かを判定してもよい。また、この判定は、画面1600における「スタート」1601の押下に応じて実行されてもよいし、ショートカットボタン1401の押下に応じて実行されてもよい。
S1505で、CPU111は、図16(B)に例示される画面1610を操作部116に表示して、受信メールの一覧1611において、処理対象の受信メールの選択をユーザから受け付ける。一覧1611には、登録済みの送信元メールアドレスから受信された1つ以上の電子メール(即ち、フィルタ条件を満たす1つ以上の電子メール)表示される。このように、CPU111は、外部装置から受信された電子メールのうちで、処理対象の候補として操作部116に表示する電子メールを、登録済みの送信メールアドレスを用いて絞り込む。これにより、電子メールにより受信された複数の画像から、振込処理に使用する画像を探しやすくすることが可能になる。
一方、受信メールが存在しない場合、CPU111は、図9(B)に例示される画面910を操作部116に表示し、ユーザによる「閉じる」ボタン911の押下に応じて図15の手順による一連の処理を終了する。
S1505において操作部116に表示した画面1610において、ユーザによってメールが選択されて「プレビュー」ボタン1612が押下されると、S1606で、CPU111は、図16(C)に例示されるプレビュー画面1620を操作部116に表示する。プレビュー画面1620には、画面1610において番号「No.0015」の受信メールに添付されている画像データに対応する請求書画像が表示されている。図16(E)は、番号「No.0015」の受信メールに添付されていた画像データに基づく請求書画像の例を示しており、当該請求書画像がプレビュー画面1620内に表示されている。
プレビュー画面1620においてユーザによって「確定」ボタン1621が押下されると、CPU111は、処理対象の画像を決定し(S1507で「YES」)、S1508へ処理を進める。一方、プレビュー画面1620においてユーザによって「キャンセル」ボタン1622が押下しされると(S1507で「NO」)、CPU111は、S1505へ処理を戻し、画面1610において再度、受信メールの選択をユーザから受け付ける。
S1508で、CPU111は、S710と同様の処理により、請求書画像から、文字情報(テキストオブジェクト)を抽出する処理を実行する。S1508の処理が完了すると、S1509で、CPU111は、ショートカットボタン1401と関連付けてストレージ114に保存済み(登録済み)の振込先情報及び位置情報を取得する。振込先情報には、各項目の文字列(文字情報)が含まれる。位置情報は、振込先情報の各項目及び振込金額(の文字列)が請求書画像内で配置されていた位置を示す。更にS1509で、CPU111は、S1508における処理により抽出されたテキストオブジェクトに基づいて、S1509で取得した位置情報が示す位置の文字列(文字情報)を取得する。このように、CPU111は、登録済みの送信元メールアドレスから送信された電子メールが処理対象となる場合、処理対象の電子メールに添付された請求書画像内の、送信元メールアドレスに関連付けて登録済みの位置情報が示す位置から文字情報を抽出する。
その後、S1510で、CPU111は、登録済みの振込先情報から取得した文字情報と、請求書画像からのテキストオブジェクトの抽出処理に基づいて得られた文字情報とを比較する比較処理を行う。CPU111は、比較処理の結果、両者に差分が無い(両者が整合している)場合には(S1511で「NO」)、S1513へ処理を進める。一方、CPU111は、両者に差分がある(両者が整合していない)場合には(S1511で「YES」)、S1512へ処理を進め、登録済みの振込先情報と、請求書画像から取得した振込先情報との間の不整合箇所の確認処理を行う。S1512の処理は、後述する図17の手順で実行される。S1512の処理が完了すると、CPU111は、S1513へ処理を進める。
S1513で、CPU111は、図16(D)に例示される、振込先情報及び振込金額をユーザが確認するための確認画面1630を操作部116に表示する。確認画面1630において「確定」ボタン1631がユーザによって押下されることで振込処理の実行が指示されると(S1514で「YES」)、CPU111は、S1515へ処理を進める。S1515で、CPU111は、振込処理を実行する。S1515における振込処理は、図12に示すシーケンスに従って実行される。このようにして、CPU111は、処理対象の電子メールに添付された請求書画像に対して文字認識処理(OCR処理)を行って得られる情報に基づいて、リソースサーバ105を用いた振込処理を実行する。振込処理が完了すると、CPU111は、図15の手順による一連の処理を終了する。一方、確認画面1630において「キャンセル」ボタン1632がユーザによって押下されることで振込処理のキャンセルが指示されると(S1514で「NO」)、図15の手順による一連の処理を終了する。
<不整合箇所の確認処理>
図17は、登録済みの振込先情報と、請求書画像から取得した振込先情報との間の不整合箇所の確認処理(S1512)の手順を示すフローチャートである。
図17は、登録済みの振込先情報と、請求書画像から取得した振込先情報との間の不整合箇所の確認処理(S1512)の手順を示すフローチャートである。
S1701で、CPU111は、登録済みの振込先情報と、請求書画像から抽出された振込先情報との間で不整合が生じている箇所を抽出する。次にS1702で、CPU111は、図18に例示される確認画面1800を操作部116に表示することで、抽出した不整合箇所を表示する。確認画面1800は、振込先情報の項目のうち、銀行名に不整合が生じている場合に表示される画面の例であり、不整合が生じている箇所に関する情報を示している。なお、振込先情報の他の項目(支店名、口座種別、又は口座番号)に不整合が生じている場合には、不整合が生じている箇所に関する情報が同様に表示される。このように、S1701においてCPU111は、振込先情報において不整合が生じている項目に関する情報をユーザが確認するための確認画面1800を操作部116に表示する。これにより、ユーザが、登録済みの振込先情報に対応する請求書のフォーマットと、処理対象の請求書のフォーマットとの間に差が有るかどうかを確認することが可能になり、振込ミスを避けることが可能になる。
確認画面1800において「キャンセル」ボタン1802が押下された場合(S1703で「YES」)、CPU111は、図17の手順による処理を終了し、更に図15の手順による振り込み処理も終了する。一方、ユーザは、振込先情報の不整合の確認の結果、問題が無いと判断した場合、確認画面1800において「確定」ボタン1801を押下することで、請求書画像から取得された振込先情報に基づく振込処理を実行させることが可能である。この場合、CPU111は、「確定」ボタン1801が押下され、ユーザによる不整合箇所の確認が完了したと判定すると(S1704で「YES」)、図17の手順により処理を終了し、S1513へ処理を進める。それ以外の場合、CPU111は、処理をS1702に戻す。
S1513に処理を進めた場合、CPU111は、確認画面1800の表示後に、振込処理の実行がユーザによって指示されると(S1514)、抽出された文字情報に基づいて取得される振込先情報及び振込金額に基づいて、振込処理を実行する(S1515)。
以上説明したように、本実施形態では、画像形成装置101は、銀行サービスを提供するリソースサーバ105を用いた振込処理に必要な情報が記載された書面(請求書)の画像の送信元を示す送信元メールアドレスを登録する。画像形成装置101は、外部装置から受信された電子メールのうち、登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を操作部116に表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける。更に、画像形成装置101は、処理対象の電子メールに添付された画像に対して文字認識処理(OCR処理)を行って得られる情報に基づいて、リソースサーバ105を用いた振込処理を実行する。このようにして、このように、外部装置から受信された電子メールのうちで、処理対象の候補として操作部116に表示する電子メールを、登録済みの送信メールアドレスを用いて絞り込む。これにより、画像形成装置101において、電子メールにより受信された複数の画像から、振込処理に使用する画像を探しやすくすることが可能になる。
本実施形態の一態様によれば、画像形成装置101は、振込処理の完了後に、振込処理に使用された振込先情報と、振込先情報の各項目及び振込金額の文字情報が添付画像内で配置されていた位置を示す位置情報とを、次回以降の振込処理に使用するために、電子メールの送信元メールアドレスと関連付けて登録してもよい。これにより、次回以降の振込処理において、登録済みの振込先情報の再利用が可能になり、振込先情報の誤りに起因した振込ミスを避けることが可能になる。
本実施形態の一態様によれば、画像形成装置101は、上述の登録時に、操作部116に表示されるホーム画面に、送信元メールアドレスに関連付けて登録済みの振込先情報に基づいて振込処理の実行をユーザが指示するための指示オブジェクト(ショートカットボタン1401)を追加してもよい。これにより、送信元メールアドレスと関連付けて登録済みの振込先情報の再利用を、ユーザがショートカットボタン1401の操作により簡易に指示することが可能になり、ユーザにとっての利便性を高めることが可能である。
[第2実施形態]
第1実施形態では、ホーム画面に追加されたショートカットボタン1401を利用した2回目以降の振込処理に関して、初回の振込処理に使用した受信メールの送信元メールアドレスを、メール受信のフィルタ条件として適用する例を説明した。第2実施形態では、送信元メールアドレスをフィルタ条件の1つとして登録し、ユーザの操作に従って当該フィルタ条件を編集する例について説明する。本実施形態では、このようなフィルタ条件として、更なる送信元メールアドレス及び件名を追加すること可能し、更にフィルタ条件の編集及び削除を可能にしている。以下では、第2実施形態について第1実施形態との相違点を中心に説明し、第1実施形態と共通する部分については説明を省略する。
第1実施形態では、ホーム画面に追加されたショートカットボタン1401を利用した2回目以降の振込処理に関して、初回の振込処理に使用した受信メールの送信元メールアドレスを、メール受信のフィルタ条件として適用する例を説明した。第2実施形態では、送信元メールアドレスをフィルタ条件の1つとして登録し、ユーザの操作に従って当該フィルタ条件を編集する例について説明する。本実施形態では、このようなフィルタ条件として、更なる送信元メールアドレス及び件名を追加すること可能し、更にフィルタ条件の編集及び削除を可能にしている。以下では、第2実施形態について第1実施形態との相違点を中心に説明し、第1実施形態と共通する部分については説明を省略する。
本実施形態では、ホーム画面に追加されたショートカットボタン1401(図14)を利用して2回目以降の振込処理を実行する際、画像形成装置101(CPU111)は、図19に例示される画面1900を操作部116に表示する。画面1900において「スタート」ボタン1901又は「キャンセル」ボタン1902がユーザによって押下された場合、CPU111は、画面1600(図16)に含まれる対応するボタン1601又は1602が押下された場合と同様の処理を実行する。即ち、ボタン1901が押下されることでメール受信の開始指示を受け付けると、CPU111は、メールサーバ107からのメール受信を開始する(S1503)。
本実施形態では、画面1900において「フィルタ編集」ボタン1903がユーザによって押下された場合、CPU111は、図20(A)に例示される画面2000を操作部116に表示する。ユーザは、画面2000を用いて、メール受信の際に適用されるフィルタ条件を編集することが可能である。図20(A)では、送信元メールアドレスフィルタには1件の送信元メールアドレスが設定され、件名フィルタには何も件名キーワードが設定されていない状態を一例として示している。「編集」ボタン2001又は2002が押下されると、CPU111は、ソフトキーボード(図示せず)を画面1900上に表示して、送信元メールアドレス及び件名キーワードの追加、編集又は削除のための操作をユーザから受け付ける。また、図20(B)は、画面2000において、メール受信の際に適用されるフィルタ条件がユーザによって編集された例を示している。図20(B)に例示される画面2020では、フィルタ条件として、送信元メールアドレスフィルタに1件の送信元メールアドレスが更に追加され、件名フィルタには「[御請求書送付]」との件名キーワードが追加されている。
画面2000(2010)において「閉じる」ボタン2003(2013)が押下されると、CPU111は、画面1900を再び操作部116に表示して、ユーザによる指示(メール受信の開始指示)を受け付ける。このようにフィルタ条件が変更された状態で、「スタート」ボタン1901がユーザによって押下されると、CPU111は、メールサーバ107からメールの受信を行う際に、変更後のフィルタ条件を満たす受信メールが存在するか否かを判定する。フィルタ条件を満たす受信メールが存在する場合には、CPU111は、画面1610を操作部116に表示して、そのような受信メールを含む一覧1611において、処理対象の受信メールの選択をユーザから受け付ける(S1505)。更に、CPU111は、ユーザの指示に従って振込処理を実行する(S1515)。
以上説明したように、本実施形態では、画像形成装置101は、送信元メールアドレスを、外部装置から受信された電子メールのうちで、処理対象の候補として表示する電子メールを特定するためのフィルタ条件の1つとして登録する。更に、画像形成装置101は、ユーザの操作に従ってフィルタ条件を編集する。画像形成装置101は、フィルタ条件として、電子メールの送信元メールアドレスの追加が可能に構成されもよいし、フィルタ条件として、電子メールの件名に含まれるキーワードの追加が可能に構成されてもよい。これにより、受信される電子メールのうちで処理対象となる電子メールを特定するためのフィルタ条件をユーザが任意に編集することが可能になり、ユーザにとっての利便性を高めることが可能になる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101:画像形成装置、104:認可サーバ、105:リソースサーバ、107:メールサーバ、110:制御部、111:CPU、116:操作部
Claims (13)
- 画像処理装置であって、
銀行サービスを提供するサーバ装置を用いた振込処理に必要な情報が記載された書面の画像の送信元を示す送信元メールアドレスを登録する登録手段と、
外部装置から受信された電子メールのうち、前記登録手段による登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示部に表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける受け付け手段と、
前記処理対象の電子メールに添付された画像に対して文字認識処理を行って得られる情報に基づいて、前記サーバ装置を用いた振込処理を実行する実行手段と、
を備えることを特徴とする画像処理装置。 - 前記登録手段は、振込先情報と送信元メールアドレスとを関連付けて登録し、
前記受け付け手段は、前記登録済みの振込先情報に基づいて振込処理の実行がユーザによって指示されると、当該振込先情報と関連付けて登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示し、前記ユーザ操作を受け付ける
ことを特徴とする請求項1に記載の画像処理装置。 - 前記登録済みの振込先情報を使用せず振込処理の実行がユーザによって指示されると、
前記受け付け手段は、外部装置から受信された電子メールの一覧を表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付け、
前記登録手段は、前記処理対象の電子メールに添付された画像に基づく前記振込処理の完了後に、当該振込処理に使用された振込先情報と、当該電子メールの送信元メールアドレスとを関連付けて登録する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記登録手段は、前記振込処理に使用された振込先情報とともに、当該振込先情報の各項目及び振込金額の文字情報が前記画像内で配置されていた位置を示す位置情報を前記送信元メールアドレスと関連付けて登録し、
前記実行手段は、前記処理対象の電子メールに添付された画像内の、前記送信元メールアドレスに関連付けて登録済みの前記位置情報が示す位置から、前記文字認識処理により振込先情報及び振込金額の文字情報を取得し、前記振込処理を実行する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記実行手段は、
前記文字認識処理により取得された振込先情報が、前記送信元メールアドレスに関連付けて登録済みの振込先情報と整合していない場合に、不整合が生じている振込先情報の項目の情報をユーザが確認するための確認画面を前記表示部に表示し、
前記確認画面の表示後に、前記振込処理の実行がユーザによって指示されると、前記文字認識処理により取得された振込先情報及び振込金額に基づいて、前記振込処理を実行する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記登録手段は更に、前記表示部に表示される、前記画像処理装置の機能を選択するための操作画面に、前記送信元メールアドレスに関連付けて登録済みの振込先情報に基づいて振込処理の実行をユーザが指示するための指示オブジェクトを追加し、
前記受け付け手段は、前記操作画面に表示された前記指示オブジェクトを用いてユーザによる指示が行われると、前記登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示し、前記ユーザ操作を受け付ける
ことを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。 - 前記振込先情報は、振込先の識別用の登録名称、銀行名、支店名、口座種別、及び口座番号の少なくともいずれかを示す情報を含むことを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
- 前記受け付け手段は、前記一覧から選択された電子メールに添付された画像を示すプレビュー画面を前記表示部に表示し、
前記実行手段は、前記プレビュー画面において処理対象の決定がユーザによって指示されると、前記プレビュー画面に示された画像に対して前記文字認識処理を行って得られる情報に基づいて、前記振込処理を実行する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記登録手段は、前記送信元メールアドレスを、外部装置から受信された電子メールのうちで、前記処理対象の候補として前記表示部に表示する電子メールを特定するためのフィルタ条件の1つとして登録し、
前記画像処理装置は、ユーザの操作に従って前記フィルタ条件を編集する編集手段を更に備える
ことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 前記編集手段は、前記フィルタ条件として、電子メールの送信元メールアドレスの追加が可能である
ことを特徴とする請求項9に記載の画像処理装置。 - 前記編集手段は、前記フィルタ条件として、電子メールの件名に含まれるキーワードの追加が可能である
ことを特徴とする請求項9又は10に記載の画像処理装置。 - 画像処理装置の制御方法であって、
銀行サービスを提供するサーバ装置を用いた振込処理に必要な情報が記載された書面の画像の送信元を示す送信元メールアドレスを登録する登録工程と、
外部装置から受信された電子メールのうち、前記登録工程において登録済みの送信元メールアドレスから受信された1つ以上の電子メールの一覧を表示部に表示し、当該一覧から処理対象の電子メールを選択するユーザ操作を受け付ける受け付け工程と、
前記処理対象の電子メールに添付された画像に対して文字認識処理を行って得られる情報に基づいて、前記振込処理を実行する実行工程と、
を含むことを特徴とする画像処理装置の制御方法。 - 請求項12に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021066067A JP2022161338A (ja) | 2021-04-08 | 2021-04-08 | 画像処理装置及びその制御方法、並びにプログラム |
US17/709,954 US20220329702A1 (en) | 2021-04-08 | 2022-03-31 | Image processing apparatus and control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021066067A JP2022161338A (ja) | 2021-04-08 | 2021-04-08 | 画像処理装置及びその制御方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022161338A true JP2022161338A (ja) | 2022-10-21 |
Family
ID=83510998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021066067A Pending JP2022161338A (ja) | 2021-04-08 | 2021-04-08 | 画像処理装置及びその制御方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220329702A1 (ja) |
JP (1) | JP2022161338A (ja) |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080247629A1 (en) * | 2006-10-10 | 2008-10-09 | Gilder Clark S | Systems and methods for check 21 image replacement document enhancements |
US20090187830A1 (en) * | 2008-01-18 | 2009-07-23 | Craig Jorasch | Systems and methods for webpage creation and updating |
US20100078471A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | System and method for processing peer-to-peer financial transactions |
US20170147577A9 (en) * | 2009-09-30 | 2017-05-25 | Gennady LAPIR | Method and system for extraction |
US9129276B1 (en) * | 2011-11-02 | 2015-09-08 | Intuit Inc. | Inventory management |
JP2013196427A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 予約管理装置及びプログラム |
US10235346B2 (en) * | 2012-04-06 | 2019-03-19 | Hmbay Patents Llc | Method and apparatus for inbound message summarization using message clustering and message placeholders |
JP5997544B2 (ja) * | 2012-08-20 | 2016-09-28 | 株式会社オービックビジネスコンサルタント | 情報処理装置、伝票編集端末、情報処理方法、およびプログラム |
US20150161683A1 (en) * | 2013-12-09 | 2015-06-11 | Sherman Pegross | Incentivizing play of audio/visual material |
WO2015105688A1 (en) * | 2014-01-09 | 2015-07-16 | @Pay Ip Holdings, Llc | Email based e-commerce with qr code barcode, image recognition alternative payment method and biometrics |
US20170213198A1 (en) * | 2016-01-24 | 2017-07-27 | Walter B. Ochynski | Account and server free possession and transfer of entangled electronic money |
CA3103315A1 (en) * | 2018-06-15 | 2019-12-19 | Bank Of Montreal | System and process for electronic payments |
US11070448B2 (en) * | 2018-08-15 | 2021-07-20 | The Toronto-Dominion Bank | Provisioning server for automated data provider provisioning and associated methods |
WO2020148658A2 (en) * | 2019-01-18 | 2020-07-23 | Rathod Yogesh | Methods and systems for displaying on map current or nearest and nearby or searched and selected location(s), geo-fence(s), place(s) and user(s) and identifying associated payments and account information for enabling to make and receive payments |
US20200273031A1 (en) * | 2019-02-25 | 2020-08-27 | Prasanna L. Narayan | Secure end-to-end online transaction systems and methods |
US10853779B1 (en) * | 2019-05-08 | 2020-12-01 | Visa International Service Association | System and method for mobile pay |
US11797962B2 (en) * | 2019-06-10 | 2023-10-24 | The Toronto-Dominion Bank | Configuring data transfers based on electronic messages |
JP2022030150A (ja) * | 2020-08-06 | 2022-02-18 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム |
US20220309516A1 (en) * | 2021-03-23 | 2022-09-29 | Accenture Global Solutions Limited | Automated account maintenance and fraud mitigation tool |
-
2021
- 2021-04-08 JP JP2021066067A patent/JP2022161338A/ja active Pending
-
2022
- 2022-03-31 US US17/709,954 patent/US20220329702A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220329702A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3809840B2 (ja) | データ管理装置、画像出力装置、データ管理方法、およびコンピュータプログラム | |
JP5361471B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
US8953191B2 (en) | Document management system | |
JP2021114736A (ja) | 文書を電子化するための画像処理システム、その制御方法及びプログラム | |
JP2022096218A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP5825195B2 (ja) | 文書管理システム、画像処理装置、情報処理装置、文書管理方法、制御方法およびプログラム。 | |
US11765292B2 (en) | Information processing apparatus used for converting image to file, image processing system, method of controlling information processing apparatus, and storage medium | |
US11887390B2 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory recording medium | |
US11611677B2 (en) | Information processing apparatus that identifies related document images based on metadata and associates them based on user input, information processing system, information processing method, and storage medium | |
JP2006209261A (ja) | 受信帳票ジョブ表示方法及び装置、並びにプログラム | |
US20210166284A1 (en) | Information processing system, information processing method, and non-transitory recording medium | |
JP2022121171A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
US20090083440A1 (en) | Document management server and control method of document management server | |
JP2022161338A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP6057720B2 (ja) | システム、情報処理装置およびその制御方法、並びにプログラム | |
JP6094188B2 (ja) | 管理サーバ、画像処理システム、とその処理方法及びプログラム | |
JP5369938B2 (ja) | 画像形成装置とその処理方法およびプログラム | |
JP4544295B2 (ja) | 印刷システム及び印刷制御プログラム | |
US11798304B2 (en) | Image processing apparatus, image processing method, and storage medium for determining reliability of rounding processing | |
US11831838B2 (en) | Printing system including printing device having reading function and data processing server performing payment-related process related to fee | |
US20230368555A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7292988B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20230267432A1 (en) | Image processing apparatus that sets information related to transfer destination, method of controlling image processing apparatus, and storage medium | |
JP2023142017A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2023009897A (ja) | 画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240325 |