JP2019121004A - 処理装置、処理方法及びプログラム - Google Patents

Abstract

【課題】本発明は、店員の知識に依存して提供されるサービスの質がばらつく不都合を軽減することを課題とする。【解決手段】本発明は、画像に含まれる業務対象物を認識する認識部１１と、認識された業務対象物に関する店員の業務をサポートする業務サポート情報を取得する取得部１２と、取得された業務サポート情報を出力する出力部１３と、を有する処理装置を提供する。【選択図】図３

Description

本発明は、処理装置、処理方法及びプログラムに関する。

特許文献１は、顧客が持参した納付書のイメージを採取し、採取したイメージから納付書の種類を判定し、納付書に記載された文字を認識し、手数料や延滞金を顧客用の画面に表示する技術を開示している。

特許文献２は、品物毎に予め品物画像を登録しておき、注文品の品だし時にその品物を撮影した画像と品物画像とに基づき、注文された品物が正しく品だしされているか確認する技術を開示している。

特開２０１５−５１５６号公報 特開２００４−２０６１７７号公報

コンビニエンスストアなどの店舗においては、業務が多様化しており、店員に求められる知識が増大している。このため、知識レベルに応じて、各店員により提供されるサービスの質がばらつき得る。

本発明は、店員の知識に依存して提供されるサービスの質がばらつく不都合を軽減することを課題とする。

本発明によれば、
画像に含まれる業務対象物を認識する認識手段と、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を取得する取得手段と、
取得された前記業務サポート情報を出力する出力手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
画像に含まれる業務対象物を認識する認識工程と、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得工程と、
取得された前記業務サポート情報を出力する出力工程と、
を実行する処理方法が提供される。

また、本発明によれば、
コンピュータを、
画像に含まれる業務対象物を認識する認識手段、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得手段、
取得された前記業務サポート情報を出力する出力手段、
として機能させるプログラムが提供される。

本発明によれば、店員の知識に依存して提供されるサービスの質がばらつく不都合を軽減することができる。

本実施形態のシステムの機能ブロック図の一例を示す図である。 本実施形態のサーバ及び端末装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の商品情報の一例を模式的に示す図である。 本実施形態の伝票情報の一例を模式的に示す図である。 本実施形態の業務サポート情報記憶部に記憶される情報の一例を模式的に示す図である。 本実施形態の業務サポート情報記憶部に記憶される情報の一例を模式的に示す図である。 本実施形態の処理装置の流れの一例を示すフローチャートである。 本実施形態のシステムの機能ブロック図の一例を示す図である。 本実施形態の処理装置により出力される情報の一例を模式的に示す図である。 本実施形態の処理装置により出力される情報の一例を模式的に示す図である。 本実施形態の処理装置により出力される情報の一例を模式的に示す図である。

＜第１の実施形態＞
まず、本実施形態のシステムの概要を説明する。本実施形態のシステムは店で利用される。本実施形態のシステムを利用する店の種類は制限されず、コンビニエンスストア、スーパーマーケット、家電量販店、雑貨店、化粧品店、スポーツ用品店等あらゆる店で利用可能である。

図１に、本実施形態のシステムの機能ブロック図を示す。図示するように、本実施形態のシステムはサーバ１と、端末装置２とを有する。サーバ１と端末装置２とは有線及び／又は無線で互いに通信可能になっている。本実施形態では、サーバ１が処理装置１０の機能を有する。

端末装置２は店員により操作される端末である。端末装置２としては、タブレット端末、スマートフォン、ＰＯＳ（point of sales）レジスター等が例示されるが、その他であってもよい。端末装置２はカメラ機能を有する。店員が端末装置２を操作することにより、端末装置２は任意の業務対象物を撮影する。そして、端末装置２は、生成した画像データをサーバ１に送信する。

なお、端末装置２は、生成した画像データに対する画像解析により、画像に含まれる業務対象物を認識する機能を有してもよい。この場合、端末装置２は、画像データに代えて、業務対象物の認識結果をサーバ１に送信してもよい。

サーバ１（処理装置１０）は、画像に含まれる業務対象物を認識する。サーバ１は、端末装置２から画像データを受信し、当該画像データを解析することで、画像に含まれる業務対象物を認識してもよい。その他、サーバ１は、端末装置２から業務対象物の認識結果を受信してもよい。

次いで、サーバ１は、認識した業務対象物に関する店員の業務をサポートする業務サポート情報を取得する。そして、サーバ１は、取得した業務サポート情報を端末装置２に送信する。端末装置２は、サーバ１から受信した業務サポート情報を店員に提示する。

このような本実施形態のシステムによれば、店員は、端末装置２を操作して業務内容を知りたい対象物を撮影するという簡単な操作で、その業務対象物に関する業務サポート情報を取得することができる。

次に、サーバ１及び端末装置２のハードウエア構成の一例について説明する。サーバ１及び端末装置２が備える機能は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図２は、本実施形態のサーバ１及び端末装置２各々のハードウエア構成を例示するブロック図である。図２に示すように、サーバ１及び端末装置２各々は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、処理装置１０の機能構成について説明する。上述の通り、本実施形態では、サーバ１が処理装置１０の機能を有する。

図３に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、認識部１１と、取得部１２と、出力部１３とを有する。

認識部１１は、画像に含まれる業務対象物を認識する。認識部１１は、以下の処理例１又は処理例２により、画像に含まれる業務対象物を認識する。

「処理例１」
処理例１では、処理装置１０（サーバ１）は、端末装置２から画像データを受信する。そして、認識部１１は、画像データに対して画像認識処理を行い、画像に含まれる業務対象物を認識する。例えば、認識部１１は、商品（業務対象物）の識別情報と商品の外観の特徴とを対応付けた商品情報（図４参照）を利用してもよい。認識部１１は、取得した画像データに含まれる特徴と、当該商品情報に含まれる商品の外観の特徴とを照合することで、画像データに含まれる商品を認識してもよい。

その他、認識部１１は、伝票（業務対象物）の識別情報と伝票の外観の特徴とを対応付けた伝票情報（図５参照）を利用してもよい。認識部１１は、取得した画像データに含まれる特徴と、当該伝票情報に含まれる伝票の外観の特徴とを照合することで、画像データに含まれる伝票を認識してもよい。伝票は、例えば、公共料金、税金、その他各種支払の払込票である。

「処理例２」
処理例２では、処理装置１０（サーバ１）は、端末装置２から画像認識処理の結果を受信する。そして、認識部１１は、画像認識処理の結果を取得する。画像認識処理の結果には、画像に含まれていた業務対象物の識別情報（例：商品の識別情報、伝票の識別情報）が含まれる。

当該処理例の場合、端末装置２は、画像データに対して画像認識処理を行い、画像に含まれる業務対象物を認識する。例えば、端末装置２は、商品（業務対象物）の識別情報と商品の外観の特徴とを対応付けた商品情報（図４参照）を利用してもよい。端末装置２は、取得した画像データに含まれる特徴と、当該商品情報に含まれる商品の外観の特徴とを照合することで、画像データに含まれる商品を認識してもよい。

その他、端末装置２は、伝票（業務対象物）の識別情報と伝票の外観の特徴とを対応付けた伝票情報（図５参照）を利用してもよい。端末装置２は、取得した画像データに含まれる特徴と、当該伝票情報に含まれる伝票の外観の特徴とを照合することで、画像データに含まれる伝票を認識してもよい。

図３に戻り、取得部１２は、認識部１１により認識された業務対象物に関する店員の業務をサポートする業務サポート情報を取得する。取得部１２は、業務対象物の識別情報と、業務サポート情報とを対応付けて記憶する業務サポート情報記憶部から、認識部１１により認識された業務対象物に対応する業務サポート情報を取得する。図６及び図７に、業務サポート情報記憶部が記憶する情報の一例を模式的に示す。なお、業務サポート情報の詳細は、以下の実施形態で説明する。

処理装置１０が業務サポート情報記憶部を有してもよいし、処理装置１０と通信可能に構成された他の装置が業務サポート情報記憶部を有してもよい。

図３に戻り、出力部１３は、取得部１２により取得された業務サポート情報を出力する。本実施形態の出力部１３は、当該業務サポート情報を端末装置２に送信する。

次に、図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

Ｓ１０では、認識部１１は、画像に含まれる業務対象物を認識する。例えば、認識部１１は、端末装置２から送信された画像データに対して画像認識処理を行い、画像に含まれる業務対象物を認識する。又は、認識部１１は、端末装置２から送信された画像認識処理の結果を取得する。

Ｓ１１では、取得部１２は、Ｓ１０で認識された業務対象物に関する店員の業務をサポートする業務サポート情報を取得する。取得部１２は、業務対象物の識別情報と、業務サポート情報とを対応付けて記憶する業務サポート情報記憶部から、Ｓ１１で認識された業務対象物に対応する業務サポート情報を取得する。

Ｓ１２では、出力部１３は、取得された業務サポート情報を出力する。出力部１３は、業務サポート情報を端末装置２に送信する。端末装置は、受信した業務サポート情報を操作者（店員）に提示する。例えば、端末装置はディスプレイに業務サポート情報を表示する。

以上説明した本実施形態の処理装置１０によれば、店員により撮影された画像に含まれる業務対象物を認識し、その業務対象物に関する店員の業務をサポートする業務サポート情報を店員に提示することができる。店員は、端末装置２を操作して業務内容を知りたい対象物を撮影するという簡単な操作で、その業務対象物に関する業務サポート情報を取得することができる。

操作が簡単なので、店員は気軽に、かつ、あらゆる場面で速やかに当該機能を利用して、各種業務サポート情報を取得することができる。各種業務サポート情報を記憶していない店員は、当該機能を利用することで、各種業務サポート情報を知識として有している店員と同等のサービスを提供することが可能となる。

＜第２の実施形態＞
本実施形態は、図９に示すように、端末装置２が処理装置１０の機能を有する点で、第１の実施形態と異なる。以下、第１の実施形態と異なる点を説明する。

サーバ１及び端末装置２のハードウエア構成は、第１の実施形態と同様である。処理装置１０の機能ブロック図の一例は、第１の実施形態同様、図３で示される。

認識部１１は、自装置で生成された画像データに対して画像認識処理を行い、画像に含まれる業務対象物を認識する。画像認識処理の詳細は、第１の実施形態と同様である。

取得部１２は、業務対象物の識別情報と、業務サポート情報とを対応付けて記憶する業務サポート情報記憶部から、認識部１１により認識された業務対象物に対応する業務サポート情報を取得する。業務サポート情報記憶部が記憶する情報の一例は、第１の実施形態と同様である。

端末装置２が業務サポート情報記憶部を有してもよいし、外部装置（例：サーバ１）が業務サポート情報記憶部を有してもよい。後者の場合、取得部１２は、認識部１１により認識された業務対象物を識別する情報を外部装置に送信し、それに対応する業務サポート情報を要求してもよい。そして、取得部１２は、外部装置から送信されてきた業務サポート情報を取得してもよい。

出力部１３は、取得部１２により取得された業務サポート情報を出力する。出力部１３は、ディスプレイに業務サポート情報を表示してもよいし、投影装置で任意の位置に業務サポート情報を投影してもよいし、プリンターで業務サポート情報を印刷してもよい。端末装置２が電子レジスターの場合、出力部１３は店員に向けられたディスプレイに業務サポート情報を表示してもよい。

本実施形態の処理装置１０の処理の流れの一例は第１の実施形態と同様である。

本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果を実現できる。

＜第３の実施形態＞
本実施形態は、業務サポート情報が具体化される点で、第１及び第２の実施形態と異なる。以下、第１及び第２の実施形態と異なる点を説明する。なお、本実施形態では、サーバ１が処理装置１０の機能を有してもよいし（第１の実施形態同様）、端末装置２が処理装置１０の機能を有してもよい（第２の実施形態同様）。

サーバ１及び端末装置２のハードウエア構成は、第１及び第２の実施形態と同様である。処理装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図３で示される。

認識部１１は、業務対象物として商品を認識する。そして、取得部１２が取得する業務サポート情報は、商品に関する情報を含む。商品に関する情報は、店舗に特有の情報、例えば、商品の陳列場所、商品の在庫状況（在庫の有無、在庫数等）、商品の入荷予定日、商品の販売価格等を含んでもよい。業務サポート情報記憶部に記憶される商品の在庫状況は、ＰＯＳシステムの情報に基づき随時更新されてもよい。その他、業務サポート情報は、商品に特有の情報、例えば、商品スペック、原産地、製造地、原料等を含んでもよい。

図１０に、出力部１３により出力される業務サポート情報の一例を示す。当該業務サポート情報は、画像認識処理により認識された商品の識別情報（商品名）、当該商品の陳列場所、当該商品の在庫状況、及び、当該商品の入荷予定日が含まれる。

例えば、商品パッケージを持参した客、又は、店頭に陳列されていた商品パッケージを手にした客が、当該商品パッケージを店員に示して、陳列場所、在庫状況、入荷予定、販売価格、商品スペック、原産地、製造地、原料等を質問する場合がある。このような場合、店員は、端末装置２を操作してその商品パッケージを撮影することで、図１０に示すようなその商品の業務サポート情報を取得することができる。そして、店員は、当該業務サポート情報に基づき、客への回答を行うことができる。

図１１に、出力部１３により出力される業務サポート情報の他の一例を示す。当該業務サポート情報は、図１０の業務サポート情報と同様、画像認識処理により認識された商品の識別情報（商品名）、当該商品の陳列場所、当該商品の在庫状況、及び、当該商品の入荷予定日が含まれる。なお、陳列場所が、レジカウンターに設置される棚、及び、その棚内の位置である点で、図１０の業務サポート情報と異なる。

例えばタバコは、レジカウンターに設置された棚に陳列される場合がある。この場合、客は購入を希望する銘柄を店員に告げる。そして、店員は、その銘柄を棚から取り出す。陳列されているタバコの銘柄数が多い場合、告げられた銘柄を見つけるのに苦労する場合がある。

そこで、商品パッケージを持参した客がその銘柄の購入希望を告げた場合、店員は、端末装置２を操作してその商品パッケージを撮影することで、図１１に示すようなその商品の業務サポート情報を取得することができる。そして、店員は、当該業務サポート情報に基づき、その商品の陳列位置を迅速に把握できる。

本実施形態の処理装置１０の処理の流れの一例は第１及び第２の実施形態と同様である。

本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態の処理装置１０によれば、店員は、商品を撮影するという簡単な操作で、商品に関する各種情報を気軽に、かつ、あらゆる場面で速やかに取得することができる。結果、客への応対（質問への回答、レジ処理など）を速やかに行うこと可能となる。

ここで、本実施形態の変形例を説明する。本実施形態の商品情報（図４参照）は、商品の識別情報と商品の現在及び過去のパッケージの外観の特徴とを対応付けていてもよい。そして、画像認識処理を行う主体は、当該商品情報に基づき、画像に含まれる業務対象物を認識してもよい。当該変形例によれば、商品のパッケージが変更した場合であっても、上記機能を実現できる。

＜第４の実施形態＞
本実施形態は、業務サポート情報が具体化される点で、第１及び第２の実施形態と異なる。以下、第１及び第２の実施形態と異なる点を説明する。なお、本実施形態では、サーバ１が処理装置１０の機能を有してもよいし（第１の実施形態同様）、端末装置２が処理装置１０の機能を有してもよい（第２の実施形態同様）。また、本実施形態の業務サポート情報は、第３の実施形態で説明した業務サポート情報を有してもよいし、有さなくてもよい。

サーバ１及び端末装置２のハードウエア構成は、第１乃至第３の実施形態と同様である。処理装置１０の機能ブロック図の一例は、第１乃至第３の実施形態同様、図３で示される。

認識部１１は、業務対象物として伝票を認識する。伝票は、例えば、公共料金、税金、その他各種支払の払込票である。そして、取得部１２が取得する業務サポート情報は、当該伝票を用いた収納代行の業務において各伝票に対して行うべき作業を示す情報を含む。例えば、業務サポート情報は、収納代行の業務において読み取る必要がある各伝票に記載されているバーコードを示す情報を含んでもよい。その他、業務サポート情報は、伝票の中の収納印を押す位置を示す情報を含んでもよい。

図１２に、出力部１３により出力される業務サポート情報の一例を示す。当該業務サポート情報は、画像認識処理により認識された伝票の識別情報、読み取るバーコード、収納印を押す位置を示している。また、当該業務サポート情報は、切り離して客に渡す部分を示している。具体的には、伝票の見本を表示し、その見本上で読み取るバーコード、収納印を押す位置、切り離して客に渡す部分を示している。なお、図示する伝票の見本では、伝票に記載される情報（バーコード、文字、数字、記号など）を省略しているが、出力部１３により実際に出力される業務サポート情報にはこれらの情報が含まれていてもよい。

本実施形態の処理装置１０の処理の流れの一例は第１乃至第３の実施形態と同様である。

本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果を実現できる。また、本実施形態の処理装置１０によれば、店員は、伝票を撮影するという簡単な操作で、当該伝票を用いた収納代行の業務において各伝票に対して行うべき作業を示す情報を気軽に、かつ、あらゆる場面で速やかに取得することができる。結果、客への応対（収納代行など）を速やかに行うこと可能となる。

以下、参考形態の例を付記する。
１． 画像に含まれる業務対象物を認識する認識手段と、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を取得する取得手段と、
取得された前記業務サポート情報を出力する出力手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記認識手段は、前記業務対象物として商品を認識する処理装置。
３． ２に記載の処理装置において、
前記業務サポート情報は、前記商品の陳列場所を含む処理装置。
４． ２又は３に記載の処理装置において、
前記業務サポート情報は、前記商品の在庫状況を示す情報を含む処理装置。
５． ２から４のいずれかに記載の処理装置において、
前記業務サポート情報は、前記商品の入荷予定日を含む処理装置。
６． ２から４のいずれかに記載の処理装置において、
前記認識手段は、前記商品の識別情報と前記商品の現在及び過去のパッケージの外観の特徴とを対応付けた商品情報に基づき、前記業務対象物を認識する処理装置。
７． １から６のいずれかに記載の処理装置において、
前記認識手段は、前記業務対象物として伝票を認識する処理装置。
８． ７に記載の処理装置において、
前記業務サポート情報は、収納代行の業務において各伝票に対して行うべき作業を示す情報を含む処理装置。
９． ８に記載の処理装置において、
前記業務サポート情報は、前記収納代行の業務において読み取る必要がある各伝票に記載されているバーコードを示す情報を含む処理装置。
１０． １から９のいずれかに記載の処理装置において、
前記出力手段は、店員に向けられたディスプレイに前記業務サポート情報を表示する処理装置。
１１． コンピュータが、
画像に含まれる業務対象物を認識する認識工程と、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得工程と、
取得された前記業務サポート情報を出力する出力工程と、
を実行する処理方法。
１２． コンピュータを、
画像に含まれる業務対象物を認識する認識手段、
認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得手段、
取得された前記業務サポート情報を出力する出力手段、
として機能させるプログラム。

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１ サーバ
２ 端末装置
１０ 処理装置
１１ 認識部
１２ 取得部
１３ 出力部

Claims (12)

1. 画像に含まれる業務対象物を認識する認識手段と、
   認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を取得する取得手段と、
   取得された前記業務サポート情報を出力する出力手段と、
   を有する処理装置。
2. 請求項１に記載の処理装置において、
   前記認識手段は、前記業務対象物として商品を認識する処理装置。
3. 請求項２に記載の処理装置において、
   前記業務サポート情報は、前記商品の陳列場所を含む処理装置。
4. 請求項２又は３に記載の処理装置において、
   前記業務サポート情報は、前記商品の在庫状況を示す情報を含む処理装置。
5. 請求項２から４のいずれか１項に記載の処理装置において、
   前記業務サポート情報は、前記商品の入荷予定日を含む処理装置。
6. 請求項２から４のいずれか１項に記載の処理装置において、
   前記認識手段は、前記商品の識別情報と前記商品の現在及び過去のパッケージの外観の特徴とを対応付けた商品情報に基づき、前記業務対象物を認識する処理装置。
7. 請求項１から６のいずれか１項に記載の処理装置において、
   前記認識手段は、前記業務対象物として伝票を認識する処理装置。
8. 請求項７に記載の処理装置において、
   前記業務サポート情報は、収納代行の業務において各伝票に対して行うべき作業を示す情報を含む処理装置。
9. 請求項８に記載の処理装置において、
   前記業務サポート情報は、前記収納代行の業務において読み取る必要がある各伝票に記載されているバーコードを示す情報を含む処理装置。
10. 請求項１から９のいずれか１項に記載の処理装置において、
    前記出力手段は、店員に向けられたディスプレイに前記業務サポート情報を表示する処理装置。
11. コンピュータが、
    画像に含まれる業務対象物を認識する認識工程と、
    認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得工程と、
    取得された前記業務サポート情報を出力する出力工程と、
    を実行する処理方法。
12. コンピュータを、
    画像に含まれる業務対象物を認識する認識手段、
    認識された前記業務対象物に関する店員の業務をサポートする業務サポート情報を記憶手段から取得する取得手段、
    取得された前記業務サポート情報を出力する出力手段、
    として機能させるプログラム。

Images