JP2022057720A - 端末装置、決済方法及び決済プログラム - Google Patents

Abstract

【課題】各種のコードの読み取り精度を向上させることが可能な端末装置、解析サーバ、決済方法、決済システム及び決済プログラムを提供する。
【解決手段】決済システム１において、端末装置１００は、支払内容に関する情報を含む画像（例えば、利用者が利用する端末装置１００により撮影された画像）を解析サーバ１０に送信する送信部と、画像を解析して得られた支払内容に関する情報を受信する受信部と、受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と、を有する制御部を備える。
【選択図】図２

Description

本発明は、端末装置、解析サーバ、決済方法、決済システム及び決済プログラムに関する。

従来、紙等の媒体に印刷されたバーコードが示す情報を読み取り、読み取った情報に応じた処理を実現する技術が提供されている。このような技術の一例として、取引対象のパッケージや値札に印刷されたバーコードを読み取ることで、取引対象の価格を取得する技術が提供されている。また、このようなバーコードの読み取り精度を向上させるため、バーコードを読み取る際に、所定の規格に適合したバーコードであるかを判定し、判定結果に応じて、バーコードが示す情報の読み取りを実現する技術が提案されている。

特開平１０－１８７８６６号公報

しかしながら、上述した技術では、バーコードやＱＲコード（登録商標）といった各種のコードの読み取り精度を向上させる余地がある。

例えば、一般的なバーコードは、処理に用いる情報と、情報が正しいか否かを判定するためのチェックデジットとを示している。バーコードの読取を行う読取装置は、バーコードを読み取った際、処理に用いる情報が正しく読み込まれたか否かを、チェックデジットを用いて判定することとなる。しかしながら、バーコードが示す情報やチェックデジットを正しく読み取ることができなかったとしても、読取結果となる情報とチェックデジットとが偶然対応してしまった場合は、処理に用いる情報を正しく読み取ったと誤判定してしまう恐れがある。

本願は、上記に鑑みてなされたものであって、各種のコードの読み取り精度を向上させることを目的とする。

本願に係る端末装置は、支払内容に関する情報を含む画像を解析サーバに送信する送信部と、前記画像を解析して得られた前記支払内容に関する情報を受信する受信部と、前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部とを有することを特徴とする。

実施形態の一態様によれば、各種のコードの読み取り精度を向上させることができるという効果を奏する。

図１は、実施形態に係る解析サーバと端末装置の情報の送受信の一例を示す図である。 図２は、実施形態に係る端末装置の構成例を示す図である。 図３は、実施形態に係る第２アプリケーションの構成例を示す図である。 図４は、実施形態に係る解析サーバの構成例を示す図である。 図５は、実施形態に係る決済処理の手順の一例を示すフローチャートである。 図６は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に本願に係る端末装置、解析サーバ、決済方法、決済システム及び決済プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、解析サーバ、決済方法、決済システム及び決済プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略さ
れる。

〔１．実施形態〕
図１を用いて、本実施形態の端末装置等により実現される決済処理を説明する。図１は、実施形態に係る決済処理の一例を示す図である。なお、図１では、本実施形態に係る決済装置の一例である解析サーバ１０、決済サーバ１２及び端末装置１００によって、実施形態に係る決済処理などが実現されるものとする。

図１に示すように、実施形態に係る決済システム１は、解析サーバ１０と、決済サーバ１２と、端末装置１００とを含む。解析サーバ１０、決済サーバ１２、及び端末装置１００は、ネットワークＮ（例えば、図２参照）を介して有線または無線により相互に通信可能に接続される。ネットワークＮは、例えば、インターネットなどのＷＡＮ（Wide Area Network）である。なお、図１に示した決済システム１には、複数台の解析サーバ１０、決済サーバ１２及び複数台の端末装置１００が含まれていてもよい。また、解析サーバ１０及び決済サーバ１２は、物理的又は論理的に同一のサーバ装置やクラウドシステムで実現されてもよい。

図１に示す解析サーバ１０は、端末装置１００の撮像した支払内容に関する情報を含む画像を受信し、受信した画像の解析を行う情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、解析サーバ１０は、受信した画像の中に含まれるバーコード等の支払内容に関する情報を、画像解析して読み取る。読み取った支払内容に関する情報は、画像を撮像した端末装置１００に送信する。すなわち、解析サーバ１０は、支払内容に関する情報を含む画像を入力とし、支払内容に関する情報を出力とする計算を行う。ここで、支払内容に関する情報とは、例えばＱＲコード（登録商標）画像やバーコード画像の場合はそのＱＲコード（登録商標）やバーコードが示すデータ列である。

図１に示す決済サーバ１２は、端末装置１００を用いる電子決済に関する電子決済サービスを提供し、各種の決済を行う情報処理装置であり、例えば、サーバ装置やクラウドシステムにより実現される。例えば、決済サーバ１２は、取引対象の提供者や取引対象が提供される利用者の口座を管理しており、利用者からの決済要求に従って、口座間における電子マネーの送金等を行うことで、各種決済を実現する。なお、電子マネーとは、例えば、各種企業が独自に用いるポイントや通貨等であってもよく、日本円やドル等の国家により提供される貨幣を電子的に取引可能としたものであってもよい。

図１に示す端末装置１００は、利用者によって利用される情報処理装置である。端末装置１００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１００は、解析サーバ１０及び／又は決済サーバ１２によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図１に示す例では、端末装置１００が撮影装置（カメラ）を備えたスマートフォンである場合を示す。

ここで、解析サーバ１０、決済サーバ１２及び端末装置１００が実行する決済処理に先立ち、端末装置１００を用いた決済（電子決済）の一例について説明する。なお、以下の説明では、店舗に配置された２次元コードであって、店舗を識別する店舗識別情報を用いて、利用者Ｕが端末装置１００を用いた決済を行う例について説明するが、実施形態は、これに限定されるものではない。以下に説明する決済の一例は、任意の利用者Ｕが任意の端末装置１００を用いて、任意の店舗にて決済を行う場合においても適用可能である。また、店舗識別情報は、ＱＲコード（登録商標）のみならず、バーコードや所定のマーク、番号等であってもよい。

例えば、利用者Ｕが店舗にて各種の商品やサービスといった決済対象の利用や購入に伴う決済を行う場合、利用者Ｕは、端末装置１００に予めインストールされた決済用のアプリケーションを起動する。そして、利用者Ｕは、アプリケーションを介して、店舗に設置された店舗識別情報を撮影する。このような場合、端末装置１００は、決済対象の価格を入力するための画面を表示し、利用者Ｕ或いは店舗の店員から決済額の入力を受付ける。そして、端末装置１００は、利用者Ｕを識別する利用者情報と、店舗識別情報（若しくは、店舗識別情報が示す情報、すなわち、店舗を示す情報）と、決済額とを示す決済情報を決済サーバ１２へと送信する。

このような場合、決済サーバ１２は、利用者情報が示す利用者Ｕの口座から、店舗識別情報が示す店舗の口座へと、決済額が示す額の電子マネーを移行させる。そして、決済サーバ１２は、決済が完了した旨の通知を端末装置１００へと送信する。このような場合、端末装置１００は、決済が完了した旨の画面や所定の音声を出力することで、電子マネーによる決済が行われた旨を通知する。

なお、端末装置１００を用いた決済は、上述した処理に限定されるものではない。例えば、端末装置１００を用いた決済は、店舗に設置された店舗端末を用いたものであってもよい。例えば、端末装置１００は、利用者Ｕを識別するための利用者識別情報を画面上に表示させる。このような場合、店舗に設置された店舗端末は、端末装置１００に表示された利用者識別情報を読み取り、利用者識別情報と、決済額と、店舗を識別する情報とを示す決済情報を決済サーバ１２へと送信する。このような場合、決済サーバ１２は、利用者識別情報が示す利用者Ｕの口座から、店舗の口座へと、決済額が示す額の電子マネーを移行させ、店舗の店舗端末あるいは端末装置１００に対し、決済が完了した旨の画面や所定の音声を出力させることで、決済が行われた旨を通知してもよい。

また、端末装置１００を用いた決済は、利用者Ｕが予め電子マネーをチャージした口座から店舗の口座へと電子マネーを移行させる処理のみならず、例えば、利用者Ｕが予め登録したクレジットカードを用いた決済であってもよい。このような場合、例えば、決済サーバ１２は、店舗の口座に対して決済額の電子マネーを送金するとともに、利用者Ｕのクレジットカードの運用会社に対し、決済額を請求してもよい。

また、端末装置１００を用いた決済は、利用者Ｕの口座から店舗の口座へと電子マネーを移行させる処理のみならず、例えば、利用者Ｕの口座から所定の取引対象の提供者の口座へと電子マネーを移行させる決済であってもよい。このような場合、利用者Ｕは、提供者が利用者Ｕに対して送付した支払帳票（例えば、コンビニ収納代行サービスにおいて用いられる振込票）に含まれるバーコードを、端末装置１００が備えたカメラで読み取る。そして、端末装置１００は、読み取ったバーコードが示す支払先や支払額を画面に表示し、利用者Ｕから当該支払先に対する送金を承認する旨の操作を受け付けた場合、利用者識別情報と、支払額と、支払先を識別する情報とを示す決済情報を決済サーバ１２へと送信する。このような場合、決済サーバ１２は、利用者Ｕの口座から、支払先の口座へと、支払額が示す額の電子マネーを移行させる。

ここで、従来、バーコードの読み取りを行う際、バーコードが示すチェックデジットを用いてバーコードの読み取りが正しく行われた否かを判定する技術が知られている。しかしながら、チェックデジットを用いる手法では、読取結果となる情報とチェックデジットとが偶然対応してしまった場合は、バーコードを正しく読み取ったと誤判定してしまう恐れがある。

また、バーコードの読み取りを行う際、撮影時の照明の具合、撮影時の端末装置１００のカメラのブレ、撮影時の被写体のブレ、撮像時のピントの状態、端末装置１００のカメラのイメージセンサ等によっては、撮影した画像が明瞭でない場合がありうる。そのような場合、撮影した画像からバーコードを正しく読み取ることが、端末装置１００の計算資源では困難又は不可能である場合も考えられる。

そこで、解析サーバ１０は、実施形態に係る解析処理を実行する。以下、図１を用いて、解析サーバ１０が実行する決済処理について説明する。なお、以下の説明では、端末装置１００が利用者Ｕにより利用される例を示す。また、以下の説明では、端末装置１００を利用者Ｕと同一視する場合がある。すなわち、以下では、利用者Ｕを端末装置１００と読み替えることもできる。

まず、端末装置１００は、所定の取引対象を提供する提供者が利用者Ｕに対して作成した支払帳票を撮影する（ステップＳ１）。なお、図１の例では、所定の水道事業者が利用者Ｕに対して支払帳票Ｒ１を作成し、利用者Ｕに送付したものとする。図１に示すように、支払帳票Ｒ１は、支払額（請求額）や、支払先（支払帳票Ｒ１を発行した水道事業者）、支払期日などを含む支払内容を示す文字列Ｔ１、当該支払内容を示すバーコードＢＣ、並びに、当該支払内容を示す番号（例えば、支払額や、支払帳票Ｒ１を発行した水道事業者の識別子、支払期日など）であって、バーコードＢＣが示す番号ＢＣＮ（目視可能文字）を含む。図１の例において、利用者Ｕは、端末装置１００に予めインストールされた電子決済用のアプリケーション（解析サーバ１０及び／又は決済サーバ１２が提供するアプリケーション）を起動し、当該アプリケーションを介して、支払帳票Ｒ１の画像を撮影する。

続いて、端末装置１００は、撮影した画像にバーコードＢＣが含まれているか否かを判定する（ステップＳ２）。ここで、撮影した画像にバーコードＢＣが含まれていないと判定された場合、正常にバーコードＢＣが撮影できなかったとして、再度ステップＳ１から手順をやり直すように利用者Ｕに促してもよいし、自動的にステップＳ１に遷移してもよい。撮影した画像にバーコードＢＣが含まれていると判定された場合は、端末装置１００は、次のステップＳ３に処理を進める。

続いて、端末装置１００は、バーコードＢＣを含む画像を解析サーバ１０に送信する（ステップＳ３）。ここで、解析サーバ１０に送信するものはバーコードＢＣを含む画像に限らなくてもよい。すなわち、バーコードＢＣを含む画像に添付して、あるいはバーコードＢＣを含む画像の送信に前後して、コンテキスト情報を送信してもよい。コンテキスト情報とは、例えば、カメラ等の端末装置１００のハードウェアに関する情報、ミドルウェア等のソフトウェアに関する情報、端末装置が有する各種のセンサが撮影時に取得したセンサ情報（例えば、撮影場所のＧＰＳデータ、撮影時の端末装置１００の姿勢及び姿勢の時間軸に対する変化等に関する情報（端末装置１００の姿勢、速度、加速度、角速度、角加速度等）、環境光の状態、ネットワーク接続状況、など）、端末装置１００の機種、撮影時間帯、撮影時のフラッシュの状況、撮影時のレンズの焦点距離、撮影時のピントの状態、等である。また、逆に、バーコードを含む画像の中から、支払内容に関する情報以外の情報を削除して送信してもよい。すなわち、支払帳票Ｒ１に、利用者Ｕの個人情報が含まれる場合、その個人情報が支払内容に関する情報ではないときは、個人情報が含まれる部分を解析サーバ１０に送信しないとしてもよい。このとき、画像から個人情報が含まれる部分を、画像トリミング等で削除してもよいし、画像中の個人情報が含まれる部分を黒色やモザイク等でマスクしてもよい。

続いて、解析サーバ１０は、ステップＳ３で端末装置１００から送信されてきた画像を受信し、この画像を解析することで支払内容に関する情報を得る（ステップＳ４）。例えば、バーコードを含む画像を解析し、バーコードが示す番号情報を読み取る。このとき、画像を撮影した端末装置１００の機種に基づいて画像を解析してもよい。例えば、ディープラーニングを使用した画像解析においては、端末装置１００の機種ごとに学習済みモデルを用意し、受信した画像を撮影した端末装置１００の機種にマッチした学習済みモデルで画像を解析してもよい。

続いて、解析サーバ１０は、画像を解析して得られた支払内容に関する情報を端末装置１００に送信する（ステップＳ５）。例えば、解析サーバ１０は、支払内容に関する情報としてのバーコードが示す番号情報を端末装置１００に送信してもよい。ここで、仮にステップＳ４で解析に失敗した場合は、解析に失敗した旨の情報を端末装置１００に送信してよい。また、その際、失敗した原因に関する情報（例えば、画像が暗すぎる、画像が明るすぎる、画像がぶれている、画像のピントが合っていない、画像にバーコードの一部が入っていない、等）を併せて送信してもよい。

続いて、端末装置１００は、受信した支払内容に関する情報をチェックする（ステップＳ６）。受信した情報にエラー等が無ければ、受信した支払内容に関する情報を端末装置１００の表示部に表示してもよい。ここで、ステップＳ４で解析に失敗し、ステップＳ５で解析サーバ１０は解析に失敗した旨の情報を端末装置１００に送信した場合、ステップＳ６では画像の解析に失敗した旨の情報を受信することとなる。この際には、画像の解析に失敗した旨の表示を端末装置１００の表示部にしてもよい。更に、失敗した原因に関する情報を受信している場合には、どのような原因であったかを端末装置１００の表示部に表示してもよい。

続いて、端末装置１００は、ステップＳ６で受信した支払内容に関する情報を、決済サーバ１２に送信し、決済サーバ１２は、受信した支払内容に関する情報に従って、利用者Ｕの口座から、支払先の口座へと、電子マネーの送金を行う（ステップＳ７）。例えば、決済サーバ１２は、特定した各文字列が示す支払内容と、特定したバーコードの番号が示す支払内容とが一致する場合は、これらの支払内容に基づいて、利用者Ｕの口座から、支払先である水道事業者（「Ａ市水道」）の口座へと、電子マネーの送金を行う。

以上のように、実施形態に係る端末装置１００は、支払帳票Ｒ１を撮像した画像にバーコード等の支払内容に関する情報が含まれているか否かを判定し、含まれていると判定された場合は、撮像した画像を解析サーバ１０に送信する。解析サーバ１０は、端末装置１００から受信した画像を解析し、支払内容に関する情報が読み取れた場合、読み取れた支払内容に関する情報を端末装置１００に送信する。端末装置１００は、解析サーバ１０から支払内容に関する情報を受信した場合、この情報を決済サーバ１２に送信し、決済（送金）処理を実行する。これにより、端末装置１００で画像を解析した場合、端末装置１００の計算資源では精度の高い解析が困難であり、結果として解析の失敗（誤読）が発生する可能性があるところ、実施形態に係る解析サーバ１０は、一般に端末装置１００よりも計算資源の確保が容易であり、精度の高い画像解析が可能であるため、解析サーバ１０で画像を解析することで、画像解析の失敗（誤読）の可能性を減少させることができる。

〔２．端末装置の構成〕
次に、上述した決済処理を実現するための端末装置１００について図２を用いて説明する。図２は、実施形態に係る端末装置の構成例を示す図である。図２に示すように、端末装置１００は、通信部１１０と、記憶部１２０と、カメラ１３０と、タッチパネル１４０と、制御部１５０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、電子決済用のアプリケーションを配信する決済サーバ１２等との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部１２０は、カメラ１３０により撮影された画像を記憶する。

（カメラ１３０について）
カメラ１３０は、画像（動画或いは静止画）を撮像するための撮像装置である。カメラ１３０は、例えば、ＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子により構成される。

（タッチパネル１４０について）
タッチパネル１４０は、液晶ディスプレイ等により実現され、各種情報を表示し、利用者の指や専用ペンで利用者から各種操作を受け付ける入力装置である。

（制御部１５０について）
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

ここで、制御部１５０は、複数のアプリケーションを実行することにより、端末装置１００に関する各種機能を実現することとなる。例えば、図２に示す例において、制御部１５０は、第１アプリケーション１５１や第２アプリケーション１５２を実行している。なお、制御部１５０は、図２に示すアプリケーション以外にも、任意の機能を発揮するための任意の数のアプリケーションを実行して良い。

第１アプリケーション１５１は、端末装置１００のＯＳ（Operating System）となるアプリケーションである。第２アプリケーション１５２は、上述した決済処理を端末装置１００に実行させる。以下、図３を用いて、第２アプリケーション１５２が有する機能構成の一例ついて説明する。図３は、実施形態に係る第２アプリケーションの構成例を示す図である。図３に示すように、実施形態に係る第２アプリケーション１５２は、撮影部１５２１と、送信部１５２２と、受信部１５２３と、決済処理部１５２４と、通知部１５２５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（撮影部１５２１について）
撮影部１５２１は、画像を撮影する。例えば、図１の例において、撮影部１５２１は、カメラ１３０を制御してバーコードを含む支払帳票Ｒ１の画像を撮影し、撮影した画像を記憶部１２０に格納する。

なお、撮影部１５２１は、端末装置１００を用いた電子決済においてカメラ１３０を制御し、店舗を識別する店舗識別情報の画像を撮影してもよい。

（送信部１５２２について）
送信部１５２２は、撮影部１５２１の撮影した支払帳票Ｒ１の画像を解析サーバ１０に送信する。例えば、送信部１５２２は、撮影部１５２１が撮影して記憶部１２０に格納されている支払帳票Ｒ１の画像を、端末装置１００の通信部１１０からネットワークＮを介して解析サーバ１０に送信する。

また、送信部１５２２は、撮影部１５２１の撮影した支払帳票Ｒ１の画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバ１０に送信する。コンテキスト情報は端末装置１００のハードウェアに関する情報、ソフトウェアに関する情報、端末装置１００に備わる又は接続されているセンサに関する情報等があるが、具体例については上述のとおりなのでここでは繰り返さない。

また、送信部１５２２は、撮影した画像に支払内容に関する情報が含まれているか否かを判定し、含まれていると判定した場合に、画像を解析サーバ１０に送信する。例えば、端末装置１００は、撮影部１５２１が撮影して記憶部１２０に格納した支払帳票Ｒ１の画像をチェックし、バーコード等の支払内容に関する情報が含まれているか否かを判定し、含まれていると判定した場合に、記憶部１２０に格納されている支払帳票Ｒ１の画像を端末装置１００の通信部１１０からネットワークＮを介して解析サーバ１０に送信する。

また、送信部１５２２は、撮影した画像に個人情報が含まれているか否かを判定し、含まれていると判定されば場合は撮影した画像から個人情報を除いた画像を解析サーバ１０に送信する。例えば、端末装置１００は、撮影部１５２１が撮影して記憶部１２０に格納した支払帳票Ｒ１の画像をチェックし、画像に個人情報が含まれているか否かを判定し、含まれていると判定した場合に、記憶部１２０に格納されている支払帳票Ｒ１の画像中の個人情報に関する部分をトリミング又はマスク（黒塗り、モザイク等）をすることで個人情報を削除し、削除後の画像を端末装置１００の通信部１１０からネットワークＮを介して解析サーバ１０に送信する。ここで、画像に含まれる個人情報とは、画像ファイルのＥｘｉｆデータに含まれるＧＰＳ情報等、個人のプライバシーに関する情報も含んでよく、これらの情報を削除した後に画像ファイルを解析サーバ１０に送信してもよい。

また、送信部１５２２は、撮影した画像とともに、又は撮影した画像に前後して、画像のコンテキスト情報を解析サーバ１０に送信する。例えば、端末装置１００は、撮影部１５２１が撮影して記憶部１２０に格納した支払帳票Ｒ１の画像とともに、又は画像の送信に前後して、画像を撮影した際のコンテキスト情報（例えば、フラッシュの程度、画像の解像度、撮影日時、照度センサによる環境の明るさ、加速度センサやジャイロセンサによる手振れの情報、カメラレンズ焦点距離、カメラレンズのピントに関する情報、等）を、端末装置１００の通信部１１０からネットワークＮを介して解析サーバ１０に送信する。

（受信部１５２３について）
受信部１５２３は、解析サーバ１０が画像解析によって画像から読み取った、支払内容に関する情報を受信する。例えば、端末装置１００は、解析サーバ１０が支払帳票Ｒ１の画像を解析して読み取った支払内容に関する情報を、ネットワークＮを介して通信部１１０を受信部１５２３として機能させて受信する。

また受信部１５２３は、支払内容に関する情報とともに、又は支払内容に関する情報に代えて、解析サーバ１０で画像を解析する際に発生した解析に関する情報を受信する。例えば、解析サーバ１０で画像を解析する際に、画像が不鮮明であるなどの理由で解析が失敗したとする。このような場合、不鮮明であったために解析に失敗した旨を、解析に関する情報として、解析サーバ１０はネットワークＮを介して端末装置１００に送信する。

（通知部１５２５について）
通知部１５２５は、解析サーバ１０で画像を解析する際に発生した解析に関する情報を受信した場合、この解析に関する情報を利用者Ｕに通知する。例えば、解析サーバ１０で画像を解析する際に、画像が不鮮明であることが原因で画像の解析が失敗した場合、不鮮明であったために解析に失敗した旨を、解析に関する情報として、端末装置１００は解析サーバ１０からネットワークＮを介して受信する。端末装置１００は、このようにして受信した解析に関する情報を、端末装置１００のディスプレイに表示する等して利用者Ｕに視認可能に通知する。端末装置１００は、音や振動を発することで利用者Ｕに解析に関する情報を通知してもよい。

（決済処理部１５２４について）
決済処理部１５２４は、各支払内容が一致すると判定された場合は、当該支払内容に従った決済処理を実行する。例えば、図１の例において、決済処理部１５２４は、撮影した画像に含まれる各文字列が示す支払内容と、特定したバーコードの番号が示す支払内容とが一致する場合は、当該支払内容に従った決済処理を実行する。

また、決済処理部１５２４は、決済処理として、口座間の送金を実現する外部のサーバ装置に対し、支払内容を通知してもよい。例えば、図１の例において、決済処理部１５２４は、撮影した画像と、特定したバーコードの番号とを含む送金要求であって、当該番号が示す支払内容に対応する送金要求とを、決済サーバ１２に送信する。

なお、決済処理部１５２４は、端末装置１００を用いた電子決済に関する決済処理を実行してもよい。例えば、決済処理部１５２４は、利用者Ｕを識別する利用者情報と、撮影部１５２１が撮影した店舗識別情報を示す情報と、利用者Ｕ或いは店舗の店員から端末装置１００に入力された決済額とを示す決済情報を決済サーバ１２へと送信する。

〔３．解析サーバの構成〕
次に、図４を用いて、解析サーバ１０の構成について説明する。図４は、実施形態に係る解析サーバ１０の構成例を示す図である。図４に示すように、決済サーバ１２は、通信部２０と、記憶部３０と、制御部４０とを有する。

（通信部２０について）
通信部２０は、例えば、ＮＩＣ等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００等との間で情報の送受信を行う。

（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

（制御部４０について）
制御部４０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、解析サーバ１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。実施形態に係る制御部４０は、図４に示すように、受信部４１と、解析部４２と、送信部４３と、学習部４４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（受信部４１について）
受信部４１は、利用者Ｕが利用する端末装置１００が撮影した画像を受信する。例えば、図１の例において、受信部４１は、支払帳票Ｒ１の画像を端末装置１００から受信する。

また、受信部４１は、利用者Ｕが利用する端末装置１００が撮影した画像に加えて、画像を撮影した際のコンテキストを示すコンテキスト情報を受信してもよい。コンテキスト情報については上述のとおりなのでここでは繰り返さない。

（解析部４２について）
解析部４２は、利用者Ｕの端末装置１００から受信した画像を解析する。例えば、支払帳票Ｒ１の画像に含まれるバーコードＢＣを解析し、バーコードの示すデータ列を読み取る。画像は所定の期間、記憶部３０に記憶していてもよい。また、記憶部３０に記憶した画像を、後の別の画像の解析の際に利用してもよい。

また、解析部４２は、画像に加えて、コンテキスト情報を受信している場合は、受信画像を解析する際に、コンテキスト情報に基づいて画像から支払内容に関する情報を得てもよい。例えば、端末装置１００の所定の機種について、ピントが合わない画像が取得される傾向があることが分かっているという前提があるとき、ある画像とコンテキスト情報を受信した際に、コンテキスト情報を調べたところ所定の機種だと分かった場合、ピントずれを修正するフィルタを画像にかけたうえで画像解析してもよい。

また、解析部４２は、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる学習部４４で学習されたモデルとコンテキスト情報とに基づいて画像を解析してもよい。

（送信部４３について）
送信部４３は、解析部４２が解析した、支払内容に関する情報であるデータ列を、端末装置１００に送信する。例えば、図１の例において、送信部４３は、端末装置１００から送信された画像に含まれるバーコードを解析して得られたデータ列を、端末装置１００に送信する。

（学習部４４について）
学習部４４は、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる。

また、学習部４４は、画像を入力とし、支払内容に関する情報を出力とする学習モデルに学習させてもよい。また、その際は、画像に加え、コンテキスト情報を入力に加えてもよい。また、学習モデルは、端末装置１００の機種ごとに作成してもよい。

〔４．決済処理のフロー〕
図５を用いて、実施形態に係る端末装置１００の決済処理の手順について説明する。図５は、実施形態に係る決済処理の手順の一例を示すフローチャートである。

図６に示すように、端末装置１００は、バーコードを含む画像が撮影されたか否かを判定する（ステップＳ１０１）。画像が撮影されていない場合（ステップＳ１０１；Ｎｏ）、端末装置１００は、画像が撮影されるまで待機する。一方、画像が撮影された場合（ステップＳ１０１；Ｙｅｓ）、端末装置１００は、バーコードを含む画像を解析サーバ１０に送信する（ステップＳ１０２）。

続いて、端末装置１００は、解析サーバ１０から情報を受信したか否かを判定する（ステップＳ１０３）。情報を受信していない場合（ステップＳ１０３；Ｎｏ）、端末装置１００は、情報を受信するまで待機する。一方、情報を受信した場合（ステップＳ１０３；Ｙｅｓ）、端末装置１００は、解析サーバ１０から受信した情報に支払内容に関する情報が含まれているか否かを判定する（ステップＳ１０４）。

解析サーバ１０から受信した情報に支払内容に関する情報が含まれていない場合（ステップＳ１０４；Ｎｏ）、端末装置１００は、エラー表示をして（ステップＳ１０６）、再度バーコードを含む画像を撮影するように利用者に促し、ステップＳ１０１を実行する。解析サーバ１０から受信した情報に支払内容が含まれている場合（ステップＳ１０４；Ｙｅｓ）、端末装置１００は、決済処理を実行し（ステップＳ１０５）、処理を終了する。

〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

〔５－１．コードについて〕
上述の実施形態において、コードがバーコードである例を示したが、コードはこのような例に限定されず、利用者が利用する端末装置が読み取り可能な情報であれば、どのような情報であってもよい。例えば、コードは、２次元コード（例えば、ＱＲコード（登録商標））であってもよい。

〔５－２．処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔６．効果〕
〔第一の効果〕
上述してきたように、実施形態に係る端末装置１００は、支払内容に関する情報を含む画像を解析サーバに送信する送信部と、画像を解析して得られた支払内容に関する情報を受信する受信部と、受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と、を有する。

これにより、端末装置１００で行っていた画像の解析処理を解析サーバにさせることができる。

〔第二の効果〕
第一の効果の項目に記載の端末装置１００は更に、送信部は画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を解析サーバに送信し、受信部は、コンテキスト情報に基づいて画像から得られた支払内容に関する情報を受信してもよい。

これにより、コンテキスト情報に基づいて画像を解析できるため、より正確な画像解析が可能となる。

〔第三の効果〕
第二の効果の項目に記載の端末装置１００は更に、送信部はコンテキスト情報として、端末装置の種類を示す情報を前記解析サーバに送信してもよい。

これにより、端末装置の機種の情報に基づいて画像を解析することができ、解析の精度を向上させることができる。

〔第四の効果〕
第二又は第三の効果の項目に記載の端末装置１００は更に、送信部は、コンテキスト情報として、画像を撮影した際に端末装置が有するセンサが取得したセンサ情報を解析サーバに送信してもよい。

これにより、センサの情報に基づいて画像を解析することができ、解析の精度を向上させることができる。

〔第五の効果〕
第二乃至第四の効果の項目に記載の端末装置１００は更に、送信部はコンテキスト情報として、画像を撮影した際に端末装置が実行するソフトウェアを示す情報を解析サーバに送信してもよい。

これにより、端末装置のソフトウェア情報に基づいて画像を解析することができ、解析の精度を向上させることができる。

〔第六の効果〕
第一乃至第五の効果の項目に記載の端末装置１００は更に、送信部は、画像に支払内容に関する情報が含まれているか否か判定し、含まれていると判定した場合に、画像を解析サーバに送信してもよい。

これにより、支払内容に関する情報が含まれている場合にのみ画像を解析サーバに送信するので、通信コストやサーバの実行コストを削減することができる。

〔第七の効果〕
第一乃至第六の効果の項目に記載の端末装置１００は更に、送信部は、画像に個人情報が含まれているか否か判定し、含まれていると判定した場合に、画像から個人情報を除いた画像を解析サーバに送信してもよい。

これにより、個人情報を外部のサーバに送信しなくて済むため、個人情報の漏洩のリスクを減少させることができる。

〔第八の効果〕
第一乃至第七の効果の項目に記載の端末装置１００は更に、送信部は、支払内容に関する情報を含む複数の画像を解析サーバに送信し、受信部は、複数の画像を解析して得られた支払内容に関する情報を受信してもよい。

これにより、複数の画像を解析した中から支払内容に関する情報を得られるので、より精度の高い解析が可能となる。

〔第九の効果〕
第一乃至第八の効果の項目に記載の端末装置１００は更に、受信部は、解析に関する情報を受信し、端末装置は、解析に関する情報を受信した場合に、端末装置の利用者に解析に関する情報に基づいて通知する通知部を更に有してもよい。

これにより、解析に失敗した旨が利用者に知らせることができる。更に失敗の理由を付すことで、より詳細に失敗の原因を知ることができ、失敗しづらい画像の撮影を意識させることができる。

〔第十の効果〕
実施形態に係る解析サーバ１０は、支払内容に関する情報を含む画像を端末装置から受信する受信部と、受信部で受信した画像を解析して支払内容に関する情報を得る解析部と、解析部で得られた支払内容に関する情報を端末装置に送信する送信部と、を有する。

これにより、端末装置１００は解析サーバ１０に画像解析作業をオフロードすることができる。

〔第十一の効果〕
第十の効果の項目に記載の解析サーバ―１０は更に、受信部は、画像とともに、画像を撮影した際のコンテキストを示すコンテキスト情報を受信し、解析部は、コンテキスト情報に基づいて画像から支払内容に関する情報を得てもよい。

これにより、解析サーバ１０は、コンテキスト情報に基づいて画像を解析できるため、精度の高い解析が可能となる。

〔第十二の効果〕
第十一の効果の項目に記載の解析サーバ１０は更に、支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる学習部を有し、解析部は、コンテキスト情報と、モデルとに基づいて、画像から支払内容に関する情報を得てもよい。

これにより、学習を継続することで、学習の進行に伴って精度の高い画像の解析を期待できる。

〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る端末装置１００、解析サーバ１０及び決済サーバ１２は、例えば、図６に示すような構成のコンピュータ１０００によって実現される。以下、端末装置１００を例に挙げて説明する。図６は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。また、ＨＤＤ１４００には、端末装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した解析サーバ１０及び決済サーバ１２は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１０ 解析サーバ
１２ 決済サーバ
２０ 通信部
３０ 記憶部
４０ 制御部
４１ 受信部
４２ 解析部
４３ 送信部
４４ 学習部
１００ 端末装置
１１０ 通信部
１２０ 記憶部
１３０ カメラ
１４０ タッチパネル
１５０ 制御部
１５１ 第１アプリケーション
１５２ 第２アプリケーション
１５２１ 撮影部
１５２２ 送信部
１５２３ 受信部
１５２４ 決済処理部
１５２５ 通知部

本発明は、端末装置、決済方法及び決済プログラムに関する。

Claims (15)

1. 支払内容に関する情報を含む画像を解析サーバに送信する送信部と、
   前記画像を解析して得られた前記支払内容に関する情報を受信する受信部と、
   前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と
   を有することを特徴とする端末装置。
2. 前記送信部は、前記画像とともに、当該画像を撮影した際のコンテキストを示すコンテキスト情報を前記解析サーバに送信し、
   前記受信部は、前記コンテキスト情報に基づいて前記画像から得られた前記支払内容に関する情報を受信する
   ことを特徴とする請求項１に記載の端末装置。
3. 前記送信部は、前記コンテキスト情報として、前記端末装置の種類を示す情報を前記解析サーバに送信する
   ことを特徴とする請求項２に記載の端末装置。
4. 前記送信部は、前記コンテキスト情報として、前記画像を撮影した際に前記端末装置が有するセンサが取得したセンサ情報を前記解析サーバに送信する
   ことを特徴とする請求項２または３に記載の端末装置。
5. 前記送信部は、前記コンテキスト情報として、前記画像を撮影した際に前記端末装置が実行するソフトウェアを示す情報を前記解析サーバに送信する
   ことを特徴とする請求項２～４のうちいずれか１つに記載の端末装置。
6. 前記送信部は、前記画像に前記支払内容に関する情報が含まれているか否か判定し、含まれていると判定した場合に、前記画像を前記解析サーバに送信する
   ことを特徴とする請求項１～５のうちいずれか１つに記載の端末装置。
7. 前記送信部は、前記画像に個人情報が含まれているか否か判定し、含まれていると判定した場合に、前記画像から前記個人情報を除いた画像を前記解析サーバに送信する
   ことを特徴とする請求項１～６のうちいずれか１つに記載の端末装置。
8. 前記送信部は、前記支払内容に関する情報を含む複数の画像を前記解析サーバに送信し、
   前記受信部は、前記複数の画像を解析して得られた前記支払内容に関する情報を受信する
   ことを特徴とする請求項１～７のうちいずれか１つに記載の端末装置。
9. 前記受信部は、前記解析に関する情報を受信し、
   前記端末装置は、
   前記解析に関する情報を受信した場合に、前記端末装置の利用者に前記解析に関する情報に基づいて通知する通知部
   を更に有することを特徴とする請求項１～８のうちいずれか１つに記載の端末装置。
10. 支払内容に関する情報を含む画像を端末装置から受信する受信部と、
    前記受信部で受信した画像を解析して前記支払内容に関する情報を得る解析部と、
    前記解析部で得られた前記支払内容に関する情報を前記端末装置に送信する送信部と、
    を有することを特徴とする解析サーバ。
11. 前記受信部は、前記画像とともに、当該画像を撮影した際のコンテキストを示すコンテキスト情報を受信し、
    前記解析部は、前記コンテキスト情報に基づいて前記画像から前記支払内容に関する情報を得る
    ことを特徴とする請求項１０に記載の解析サーバ。
12. 前記支払内容に関する情報を解析可能な画像が撮影された際のコンテキスト情報が示すコンテキストの特徴をモデルに学習させる学習部
    を有し、
    前記解析部は、前記コンテキスト情報と、前記モデルとに基づいて、前記画像から前記支払内容に関する情報を得る
    ことを特徴とする請求項１１に記載の解析サーバ。
13. 端末装置及び解析サーバを備える決済システムであって、
    前記端末装置は、
    支払内容に関する情報を含む画像を前記解析サーバに送信する送信部と、
    前記画像を解析して得られた前記支払内容に関する情報を受信する受信部と、
    前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理部と
    を備え、
    前記解析サーバは、
    前記画像を前記端末装置から受信する受信部と、
    前記受信部で受信した画像を解析して前記支払内容に関する情報を得る解析部と、
    前記解析部で得られた前記支払内容に関する情報を前記端末装置に送信する送信部と、
    を備える
    ことを特徴とする決済システム。
14. 端末装置が実行する決済方法であって、
    支払内容に関する情報を含む画像を解析サーバに送信する送信工程と、
    前記画像を解析して得られた前記支払内容に関する情報を受信する受信工程と、
    前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理工程と
    を含むことを特徴とする決済方法。
15. 支払内容に関する情報を含む画像を解析サーバに送信する送信手順と、
    前記画像を解析して得られた前記支払内容に関する情報を受信する受信手順と、
    前記受信した支払内容に関する情報に基づいて決済処理を実行する決済処理手順と
    をコンピュータに実行させるための決済プログラム。

Images