JP2023064624A - 情報処理装置、画像表示方法、及び画像表示プログラム - Google Patents

Abstract

【課題】新たな物品の追加に対して即座に対応することができる情報処理装置、画像表示方法、及び画像表示プログラムを提供する。【解決手段】情報処理装置１０は、固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得する取得部１１Ａと、取得されたカード画像から固有の特徴部分を認識する認識部１１Ｂと、予めカード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデル１５Ｃを用いて、固有の特徴部分が認識されたカード画像に対して、物品についての最適な物品画像を生成する生成部１１Ｃと、取得されたカード画像に代えて、生成された物品画像を表示部に表示する制御を行う表示制御部１１Ｄと、を備える。【選択図】図４

Description

本発明は、情報処理装置、画像表示方法、及び画像表示プログラムに関する。

物体検出技術を用いたスマートレジの普及が進んでいる。スマートレジでは、ユーザが購入したい物品を持参して、スマートレジに備え付けのカメラで撮影することで、物品画像が取得される。そして、物品画像に対して物体検出技術（ＹＯＬＯ等）を適用することで、自動的に物品を認識して決済することができる。

例えば、特許文献１には、物体の大きさや向きを多角的に撮影した画像をデータ拡張させて機械学習する技術が記載されている。

特開２０１９－１４８９８０号公報

ところで、スマートレジにおける物体検出に際し、物体の大きさや向きを多角的に撮影した画像をデータ拡張させて機械学習させると学習量が多くなる。そのため、新たな物品が追加される都度、機械学習するのは難しく、新たな物品の追加に対して即座に対応することができない。

本発明は、以上の事実を考慮して成されたもので、新たな物品の追加に対して即座に対応することができる情報処理装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の情報処理装置は、固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得する取得部と、前記取得部により取得された前記カード画像から前記固有の特徴部分を認識する認識部と、予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記認識部により前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成する生成部と、前記取得部により取得された前記カード画像に代えて、前記生成部により生成された前記物品画像を表示部に表示する制御を行う表示制御部と、を備える。

請求項１に記載の発明によれば、カード画像を入力として、最適な物品画像を生成して出力する学習済みモデルが用いられる。様々な形状の物品自体を多角的に撮影して認識する場合と比較して、認識が容易な単純なカード媒体に物品を対応付ければよいため、学習量を低減し、新たな物品の追加に対して即座に対応することができる。また、ユーザが物品画像を目視しながら、購入することができるため、購入間違いを防止することができる。

また、請求項２に記載の情報処理装置は、請求項１に記載の情報処理装置において、前記認識部が、予め固有の特徴部分が異なる複数種類のカード媒体を撮影して得られたカード画像群を、固有の特徴部分を表すラベルに対応付けて機械学習することにより生成された特徴認識モデルを用いて、前記取得部により取得された前記カード画像から前記固有の特徴部分を認識する。

請求項２に記載の発明によれば、カード画像群を含めて機械学習させることにより生成され、かつ、カード画像を入力として、固有の特徴部分を認識して出力する特徴認識モデルを用いることで、新たな物品の追加に即座に対応することができる。

また、請求項３に記載の情報処理装置は、請求項２に記載の情報処理装置において、前記認識部により認識された前記固有の特徴部分を表すラベルを、前記生成部により生成された前記物品画像の前記物品を表すラベルに変更する変更部を更に備え、前記表示制御部が、前記変更部により変更された前記物品を表すラベルを、前記物品画像と共に前記表示部に表示する制御を行う。

請求項３に記載の発明によれば、カード画像の固有の特徴部分を表すラベルを、物品画像の物品を表すラベルに変更するだけで、新たな物品の追加に対して即座に対応することができる。

また、請求項４に記載の情報処理装置は、請求項３に記載の情報処理装置において、前記表示制御部が、更に、前記変更部により変更された前記物品を表すラベルに基づいて、前記物品の物品名及び金額を含む物品情報を前記表示部に表示する制御を行う。

請求項４に記載の発明によれば、変更された物品画像の物品を表すラベルに対応する物品情報を表示することにより、ユーザが物品についての物品情報を把握することができる。

また、請求項５に記載の情報処理装置は、請求項１～請求項３の何れか１項に記載の情報処理装置において、前記生成部により生成された前記物品画像に対して物体検出技術を適用して物品を検出する検出部を更に備え、前記表示制御部が、前記検出部による検出結果に基づいて、前記物品の物品名及び金額を含む物品情報を前記表示部に表示する制御を行う。

請求項５に記載の発明によれば、物体検出技術を用いて物品画像から検出された物品に対応する物品情報を表示することにより、ユーザが物品についての物品情報を把握することができる。

また、請求項６に記載の情報処理装置は、請求項５に記載の情報処理装置において、前記検出部が、予め複数種類の物品を撮影して得られた物品画像群を、物品を表すラベルに対応付けて機械学習することにより生成された物品検出モデルを用いて、前記生成部により生成された前記物品画像から前記物品を検出する。

請求項６に記載の発明によれば、物品画像群を含めて機械学習させることにより生成され、かつ、物品画像を入力として、物品を検出して出力する物品検出モデルを用いることで、カード媒体を用いることなく、新たな物品の追加に対応することができる。

また、請求項７に記載の情報処理装置は、請求項６に記載の情報処理装置において、前記物品検出モデルが、前記学習データ群に含まれる物品画像を追加して再学習されたモデルである。

請求項７に記載の発明によれば、学習データ群に含まれる物品画像を追加して再学習された物品検出モデルを用いることで、カード媒体を用いることなく、新たな物品の追加に対応することができる。

また、請求項８に記載の情報処理装置は、請求項１～請求項７の何れか１項に記載の情報処理装置において、前記学習済みモデルが、敵対的生成ネットワークのモデルである。

請求項８に記載の発明によれば、学習済みモデルとして敵対的生成ネットワークを用いて、カード画像に対して最適な物品画像を生成することにより、学習量を低減し、新たな物品の追加に対して即座に対応することができる。

更に、上記目的を達成するために、請求項９に記載の画像表示方法は、固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得し、前記取得された前記カード画像から前記固有の特徴部分を認識し、予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成し、前記取得された前記カード画像に代えて、前記生成された前記物品画像を表示部に表示する制御を行う。

請求項９に記載の発明によれば、上記請求項１と同様に、カード画像を入力として、最適な物品画像を生成して出力する学習済みモデルが用いられる。様々な形状の物品自体を多角的に撮影して認識する場合と比較して、認識が容易な単純なカード媒体に物品を対応付ければよいため、学習量を低減し、新たな物品の追加に対して即座に対応することができる。また、ユーザが物品画像を目視しながら、購入することができるため、購入間違いを防止することができる。

更に、上記目的を達成するために、請求項１０に記載の画像表示プログラムは、固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得し、前記取得された前記カード画像から前記固有の特徴部分を認識し、予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成し、前記取得された前記カード画像に代えて、前記生成された前記物品画像を表示部に表示する制御を行うことを、コンピュータに実行させる。

請求項１０に記載の発明によれば、上記請求項１と同様に、カード画像を入力として、最適な物品画像を生成して出力する学習済みモデルが用いられる。様々な形状の物品自体を多角的に撮影して認識する場合と比較して、認識が容易な単純なカード媒体に物品を対応付ければよいため、学習量を低減し、新たな物品の追加に対して即座に対応することができる。また、ユーザが物品画像を目視しながら、購入することができるため、購入間違いを防止することができる。

以上説明したように、本発明によれば、新たな物品の追加に対して即座に対応することができる、という効果が得られる。

実施形態に係る画像表示システムの構成の一例を示す図である。 実施形態に係る複数種類のカード媒体の一例を示す図である。 実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る学習済みモデルの学習に用いる学習データ群の一例を示す図である。 実施形態に係る物品情報ＤＢの一例を示す図である。 実施形態に係る表示部の画面遷移の一例を示す図である。 実施形態に係る画像表示プログラムによる画像表示処理の流れの一例を示すフローチャートである。 実施形態に係る画像表示プログラムによる学習処理の流れの一例を示すフローチャートであり、特徴認識モデルを生成する処理を示す。 実施形態に係る画像表示プログラムによる別の学習処理の流れの一例を示すフローチャートであり、学習済みモデルを生成する処理を示す。 実施形態に係る物品の撮影方法の説明に供する図である。 実施形態に係る画像表示プログラムによる更に別の学習処理の流れの一例を示すフローチャートであり、物品検出モデルの再学習処理を示す。

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。

図１は、本実施形態に係る画像表示システム１００の構成の一例を示す図である。

図１に示すように、本実施形態に係る画像表示システム１００は、情報処理装置１０と、カメラ３０と、読取器４０と、特徴認識モデル１５Ｂと、学習済みモデル１５Ｃと、物品検出モデル１５Ｄと、物品情報ＤＢ（ＤａｔａＢａｓｅ：データベース）１５Ｅと、備えている。なお、特徴認識モデル１５Ｂ及び物品検出モデル１５Ｄは、別々のモデルとして示しているが、例えば、ＹＯＬＯ等の１つの物体検出モデルとして実現してもよい。

図２は、本実施形態に係る複数種類のカード媒体の一例を示す図である。

図２に示すように、本実施形態に係るカード媒体Ａｃ１、Ａｃ２、Ａｃ３、・・・の各々は、固有の特徴部分が異なる複数種類のカード状の媒体である。固有の特徴部分は、例えば、絵柄、文字等で表され、図２の例では、カード媒体Ａｃ１が「青色の矩形」のカードとされ、カード媒体Ａｃ２が「赤色の円形」のカードとされ、カード媒体Ａｃ３が「黄色の星形」のカードとされる。また、カード媒体Ａｃ１、Ａｃ２、Ａｃ３、・・・の各々には、固有の特徴部分を表すラベルが割り当てられている。具体的に、カード媒体Ａｃ１には「青色の矩形」を表すラベル「Ｖｉｓｉｔｏｒ００１」が割り当てられ、カード媒体Ａｃ２には「赤色の円形」を表すラベル「Ｖｉｓｉｔｏｒ００２」が割り当てられ、カード媒体Ａｃ３には「黄色の星形」を表すラベル「Ｖｉｓｉｔｏｒ００３」が割り当てられている。なお、これら複数種類のカード媒体Ａｃ１、Ａｃ２、Ａｃ３、・・・を特に区別する必要がない場合には、単にカード媒体Ａｃと表す。

本実施形態に係る画像表示システム１００は、ある事業所内で従業員が利用する購買ストア等に設置されるスマートレジに適用された場合について示している。画像表示システム１００では、新しく入荷した物品Ｂｐに対応させる複数枚のカード媒体Ａｃが予め準備され、物品Ｂｐの売場には対応する複数枚のカード媒体Ａｃが置かれている。新しく入荷した物品Ｂｐが複数個ある場合には、複数個の物品Ｂｐの各々に対して固有の特徴部分が異なるカード媒体Ａｃが準備される。図１の例では、ウエス売場には、ウエスを表す物品Ｂｐ、及び「青色の矩形」を表す複数枚のカード媒体Ａｃが置かれている。

ユーザは物品Ｂｐを購入する際に、物品Ｂｐ及びカード媒体Ａｃをスマートレジに持参する。なお、物品Ｂｐを複数個購入する場合には、複数枚のカード媒体Ａｃを持参すればよい。そして、ユーザがカード媒体Ａｃをカメラ３０にかざすと、カメラ３０はカード媒体Ａｃを撮影してカード画像Ａｇを情報処理装置１０に送信する。カメラ３０は、静止画及び動画を撮影可能なカメラである。

情報処理装置１０は、カメラ３０及び読取器４０の各々と接続されている。情報処理装置１０には、例えば、汎用的なサーバコンピュータ、パーソナル・コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等が適用される。情報処理装置１０は、特徴認識モデル１５Ｂを用いて、カメラ３０から取得したカード画像Ａｇから固有の特徴部分を認識し、学習済みモデル１５Ｃを用いて、固有の特徴部分が認識されたカード画像Ａｇに対して最適な物品画像Ｂｇを生成し、生成した物品画像Ｂｇを表示部１６に表示する。ここでいう「最適な物品画像」とは、物品の形状を検出し易い画像であり、ユーザから見ても物品を把握し易い画像であることを意味し、例えば、適切なサイズで物品を正面から見た画像等である。このとき、カード画像Ａｇの固有の特徴部分の位置を認識し、認識した位置に物品画像Ｂｇの物品Ｂｐを置き換えて表示する。また、カード画像Ａｇの固有の特徴部分を表すラベルを、物品画像Ｂｇの物品Ｂｐを表すラベルに変更する。図１の例では、カード画像Ａｇのラベル「Ｖｉｓｉｔｏｒ００１」を、物品画像Ｂｇのラベル「ウエス」に変更する。

そして、情報処理装置１０は、変更されたラベル（図１の例では、ラベル「ウエス」）に基づいて、物品情報ＤＢ１５Ｅを参照し、物品情報ＤＢ１５Ｅから得られた、物品Ｂｐに関する物品情報（物品名、金額等）を表示部１６に表示する。ユーザは物品情報を確認し、自身の従業員証を読取器４０にかざす。

読取器４０は、ユーザによってかざされた従業員証を読み取り、読み取って得られた従業員情報を情報処理装置１０に送信する。情報処理装置１０は、読取器４０から取得した従業員情報を用いて、検出した物品Ｂｐの決済を行う。

一方、ユーザは物品Ｂｐ以外の既存の物品（以下、「既存物品」という。）を購入する場合、既存物品をスマートレジに持参する。既存物品は、物品検出モデル１５Ｄによって既存物品を表すラベルに対応付けて予め学習されている。ユーザが既存物品をカメラ３０で撮影可能な所定の位置に載置すると、カメラ３０は既存物品を撮影して既存物品画像を情報処理装置１０に送信する。情報処理装置１０は、物品検出モデル１５Ｄを用いて、カメラ３０から取得した既存物品画像から既存物品を検出し、検出した既存物品に基づいて、物品情報ＤＢ１５Ｅを参照し、物品情報ＤＢ１５Ｅから得られた、既存物品に関する物品情報（物品名、金額等）を表示部１６に表示する。なお、本実施形態に係る画像表示システム１００では、新規の物品Ｂｐ及び物品Ｂｐ以外の既存物品を同時に購入することも可能である。

本実施形態によれば、新規の物品Ｂｐを購入する場合に、物品Ｂｐそのものを認識するのではなく、物品Ｂｐに対応付けたカード媒体Ａｃを認識する。カード媒体Ａｃの特徴部分は単純であるため、認識し易く、多くの学習を必要としない。また、カード画像Ａｇから最適な物品画像Ｂｇを生成するための機械学習には後述する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ：ＧＡＮ）が用いられる。この敵対的生成ネットワーク（ＧＡＮ）についても多くの学習を必要としない。このため、物体検出技術の一つであるＹＯＬＯ等を用いて物品自体を認識する場合と比較して、学習量が低減され、スマートレジのサービスを止めることなく、新たな物品の追加に対して即座に対応することができる。

本実施形態では、新規物品については、学習済みモデル１５Ｃを用いて、カード画像に対して最適な物品画像を生成する。一方、既に販売中の既存物品については、ＹＯＬＯ等の物品検出モデル１５Ｄを用いて、物品画像から物品を検出する。ここで、学習済みモデル１５Ｃの学習に用いる学習データ群には、新規物品の物品画像が含まれる。これらの新規物品の物品画像は物品検出モデル１５Ｄに反映され、新規物品の物品画像を学習データとして追加して物品検出モデル１５Ｄを再学習する。物品検出モデル１５Ｄが再学習された場合、新規物品自体を認識することが可能となるため、カード媒体を不要としてもよい。例えば、新規物品のカード媒体がなくなる（あるいは残り数枚になる）頃に、新規物品について再学習済みの物品検出モデル１５Ｄに切り替え、カード媒体に代えて、物品自体を撮影して得られる物品画像から対応する物品を検出してもよい。

図３は、本実施形態に係る情報処理装置１０の電気的な構成の一例を示すブロック図である。

図３に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、外部インタフェース（外部Ｉ／Ｆ）１９と、を備えている。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４は、バスを介して各々接続されている。Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、外部Ｉ／Ｆ１９と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御部が構成される。制御部は、情報処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部の各ブロックの一部又は全部には、例えば、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る画像表示プログラム１５Ａが記憶される。なお、この画像表示プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。

画像表示プログラム１５Ａは、例えば、情報処理装置１０に予めインストールされていてもよい。画像表示プログラム１５Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、情報処理装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有しており、タッチパネルを介してユーザからの操作入力を受け付ける。操作部１７には、キーボード、マウス等の入力デバイスが設けられる。

通信部１８は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに接続するための通信インタフェースであり、外部機器との間でネットワークを介して通信が可能とされる。

外部Ｉ／Ｆ１９は、カメラ３０及び読取器４０の各々と接続するためのインタフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等が適用される。

本実施形態に係る情報処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている画像表示プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図４に示す各部として機能する。

図４は、本実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。

図４に示すように、本実施形態に係る情報処理装置１０のＣＰＵ１１は、取得部１１Ａ、認識部１１Ｂ、生成部１１Ｃ、表示制御部１１Ｄ、変更部１１Ｅ、検出部１１Ｆ、及び学習部１１Ｇとして機能する。

記憶部１５には、特徴認識モデル１５Ｂ、学習済みモデル１５Ｃ、物品検出モデル１５Ｄ、及び物品情報ＤＢ１５Ｅが記憶されている。なお、これらの特徴認識モデル１５Ｂ、学習済みモデル１５Ｃ、物品検出モデル１５Ｄ、及び物品情報ＤＢ１５Ｅは、アクセス可能な外部の記憶装置に記憶しておいてもよい。

特徴認識モデル１５Ｂは、予め固有の特徴部分が異なる複数種類のカード媒体Ａｃ１、Ａｃ２、Ａｃ３、・・・（上述の図２参照）を撮影して得られたカード画像群を、固有の特徴部分を表すラベルに対応付けて機械学習することにより生成されたモデルである。特徴認識モデル１５Ｂには、例えば、公知のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ－ＣＮＮ）、ＹＯＬＯ、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）等の各種のモデルが用いられるが、他の物体検出技術を用いてもよい。機械学習の学習手法には、例えば、ディープラーニングが用いられる。特徴認識モデル１５Ｂは、カード画像Ａｇが入力されると、カード画像Ａｇの固有の特徴部分（例えば、青色の矩形）を表すラベル（例えば、Ｖｉｓｉｔｏｒ００１）を出力する。

図５は、本実施形態に係る学習済みモデル１５Ｃの学習に用いる学習データ群の一例を示す図である。

図５に示すように、学習済みモデル１５Ｃは、予めカード媒体Ａｃを撮影して得られたカード画像Ａｇと、予め物品Ｂｐを撮影して得られた物品画像Ｂｇとをペアとする学習データ群を機械学習することにより生成されたモデルである。学習済みモデル１５Ｃには、例えば、敵対的生成ネットワーク（ＧＡＮ）のモデルが用いられる。より具体的には、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮの一種であるｐｉｘ２ｐｉｘが用いられる。このｐｉｘ２ｐｉｘは、ＧＡＮを利用した画像生成アルゴリズムの一種で、２つのペアの画像から画像間の関係を学習することで、１枚の画像からその関係を考慮した補間をしてペアの画像を生成する手法である。カード媒体Ａｃは例えば「青色の矩形」のカードであり、物品Ｂｐは例えば「ウエス」である。

学習データとしてのカード画像Ａｇは、所定のデータ拡張（例えば、拡大、縮小、回転、ノイズ付加等）が施され、撮影された数枚の静止画像から多くの画像が生成される。同様に、学習データとしての物品画像Ｂｇは、所定のデータ拡張が施され、撮影された数枚の静止画像から多くの画像が生成される。これにより、多くのカード画像Ａｇと物品画像Ｂｇとのペアが学習データ群として生成される。学習済みモデル１５Ｃは、カード画像Ａｇ（つまり、カード画像Ａｇの固有の特徴部分を表すラベル）を入力として、最適な物品画像Ｂｇを生成して出力する。例えば、「青色の矩形」を表すラベル「Ｖｉｓｉｔｏｒ００１」に対して、最適なウエスの画像を出力する。機械学習の学習手法には、例えば、ディープラーニングが用いられる。

物品検出モデル１５Ｄは、予め複数種類の物品（例えば、ウエス、テープ、電池等）を撮影して得られた物品画像群を、物品を表すラベルに対応付けて機械学習することにより生成されたモデルである。物品検出モデル１５Ｄには、例えば、公知のＣＮＮ、Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤ等の各種モデルが用いられるが、他の物体検出技術を用いてもよい。機械学習の学習手法には、例えば、ディープラーニングが用いられる。物品検出モデル１５Ｄは、物品画像が入力されると、物品画像の物品を表すラベルを出力する。

図６は、本実施形態に係る物品情報ＤＢ１５Ｅの一例を示す図である。

図６に示す物品情報ＤＢ１５Ｅには、物品に関する物品情報として、物品を表すラベル、物品名、型番、及び金額が登録されている。

取得部１１Ａは、カメラ３０によってカード媒体Ａｃを撮影して得られたカード画像Ａｇを取得する。

認識部１１Ｂは、取得部１１Ａにより取得されたカード画像Ａｇから固有の特徴部分を認識する。具体的には、カード画像Ａｇを特徴認識モデル１５Ｂに入力し、特徴認識モデル１５Ｂから固有の特徴部分（例えば、青色の矩形）を表すラベル（例えば、Ｖｉｓｉｔｏｒ００１）を出力する。

生成部１１Ｃは、学習済みモデル１５Ｃを用いて、認識部１１Ｂにより固有の特徴部分が認識されたカード画像Ａｇに対して、最適な物品画像Ｂｇを生成する。具体的に、カード画像Ａｇ（例えば、青色の矩形を表す画像）を学習済みモデル１５Ｃに入力し、学習済みモデル１５Ｃから物品画像Ｂｇ（例えば、ウエスの画像）を出力する。

表示制御部１１Ｄは、取得部１１Ａにより取得されたカード画像Ａｇに代えて、生成部１１Ｃにより生成された物品画像Ｂｇを表示部１６に表示する制御を行う。

変更部１１Ｅは、認識部１１Ｂにより認識された固有の特徴部分を表すラベルを、生成部１１Ｃにより生成された物品画像Ｂｇの物品Ｂｐを表すラベルに変更する。例えば、カード画像Ａｇのラベル「Ｖｉｓｉｔｏｒ００１」を、物品画像Ｂｇのラベル「ウエス」に変更する。この場合、表示制御部１１Ｄは、変更部１１Ｅにより変更された物品Ｂｐを表すラベルを、物品画像Ｂｇと共に表示部１６に表示する制御を行う。つまり、物品Ｂｐに対して、ラベルを変更するだけで、物品検出を行うことなく、物品Ｂｐが特定される。

検出部１１Ｆは、生成部１１Ｃにより生成された物品画像Ｂｇに対して物体検出技術を適用して物品Ｂｐを検出する。具体的に、検出部１１Ｆは、物体検出技術の一例である物品検出モデル１５Ｄを用いて、生成部１１Ｃにより生成された物品画像Ｂｇから物品Ｂｐを検出する。物品検出モデル１５Ｄは、学習済みモデル１５Ｃの学習に用いた学習データ群に含まれる物品画像を追加して再学習されたモデルである。つまり、物品検出モデル１５Ｄが再学習された場合、新規物品自体を認識することが可能となるため、カード媒体を不要としてもよい。例えば、新規物品のカード媒体がなくなる（あるいは残り数枚になる）頃に、新規物品について再学習済みの物品検出モデル１５Ｄに切り替え、カード媒体に代えて、物品自体を撮影して得られる物品画像から対応する物品を検出してもよい。この場合、表示制御部１１Ｄは、検出部１１Ｆによる検出結果に基づいて、物品の物品名及び金額を含む物品情報を表示部１６に表示する制御を行う。

表示制御部１１Ｄは、変更部１１Ｅにより変更された物品Ｂｐを表すラベル、又は、検出部１１Ｆにより検出された物品Ｂｐを表すラベルに基づいて、物品情報ＤＢ１５Ｅを参照し、物品Ｂｐを表すラベルに対応する物品名及び金額を含む物品情報を取得し、取得した物品情報を表示部１６に表示する制御を行う。なお、物品Ｂｐの個数は、カード媒体Ａｃの枚数によって定めてもよいし、ユーザが入力することで定めてもよい。

図７は、本実施形態に係る表示部１６の画面遷移の一例を示す図である。

図７に示すように、学習済みモデル１５Ｃを用いて、固有の特徴部分が認識されたカード画像Ａｇに対して最適な物品画像Ｂｇが生成された場合、表示部１６には物品画像表示画面１６Ａが表示される。物品画像表示画面１６Ａには、生成された物品画像Ｂｇが表示されると共に、「物品情報を提示しますか。」というメッセージ、「はい」ボタン、及び「いいえ」ボタンが表示される。なお、物品画像Ｂｇのラベルは、固有の特徴部分を表すラベル（例えば、Ｖｉｓｉｔｏｒ００１）から物品Ｂｐを表すラベル（例えば、ウエス）に変更されている。

次に、物品画像表示画面１６Ａにおいてユーザが「はい」ボタンを押圧すると、物品Ｂｐを表すラベルに基づいて、一例として、上述の図６に示す物品情報ＤＢ１５Ｅが参照され、物品Ｂｐに対応する物品情報が取得される。この結果、表示部１６には物品情報表示画面１６Ｂが表示される。物品情報表示画面１６Ｂには、物品画像Ｂｇ及び物品情報が表示されると共に、「物品情報を確認の上、決済される場合には従業員証をかざして下さい。」というメッセージが表示される。

次に、物品情報表示画面１６Ｂが表示された状態で、ユーザが読取器４０に従業員証をかざすと、従業員証から従業員情報が読み取られる。この結果、表示部１６には決済画面１６Ｃが表示される。決済画面１６Ｃには、物品画像Ｂｇ、物品情報、及び従業員情報が表示されると共に、「完了」ボタン及び「中止」ボタンが表示される。ユーザが「完了」ボタンを押圧すると、物品Ｂｐの決済が完了する。

学習部１１Ｇは、特徴認識モデル１５Ｂ、学習済みモデル１５Ｃ、及び物品検出モデル１５Ｄを生成するための機械学習を行う。なお、本実施形態では、学習部１１Ｇを情報処理装置１０が備える構成として示しているが、学習部１１Ｇを別の情報処理装置に備えるようにしてもよい。この場合、情報処理装置１０は、別の情報処理装置から、これらの特徴認識モデル１５Ｂ、学習済みモデル１５Ｃ、及び物品検出モデル１５Ｄを取得する。

次に、図８を参照して、本実施形態に係る情報処理装置１０の作用を説明する。

図８は、本実施形態に係る画像表示プログラム１５Ａによる画像表示処理の流れの一例を示すフローチャートである。

まず、新規物品（物品Ｂｐ）の購入時に新規物品に対応するカード媒体Ａｃがカメラ３０にかざされた場合に、情報処理装置１０に対して画像表示処理の指示がなされ、画像表示プログラム１５Ａが起動され、以下の各処理を実行する。

図８のステップＳ１０１では、ＣＰＵ１１が、カード媒体Ａｃをカメラ３０で撮影して得られたカード画像Ａｇを取得する。

ステップＳ１０２では、ＣＰＵ１１が、特徴認識モデル１５Ｂを用いて、ステップＳ１０１で取得したカード画像Ａｇから固有の特徴部分を認識する。具体的に、特徴認識モデル１５Ｂは、カード画像Ａｇが入力されると、カード画像Ａｇの固有の特徴部分（例えば、青色の矩形）を表すラベル（例えば、Ｖｉｓｉｔｏｒ００１）を出力する。

ステップＳ１０３では、ＣＰＵ１１が、学習済みモデル１５Ｃを用いて、ステップＳ１０２で固有の特徴部分が認識されたカード画像Ａｇに対して最適な物品画像Ｂｇを生成する。「最適な物品画像」とは、上述したように、物品の形状を検出し易い画像であり、ユーザから見ても物品を把握し易い画像であることを意味し、例えば、適切なサイズで物品を正面から見た画像等である。具体的に、例えば、青色の矩形のカードと認識されたカード画像Ａｇが入力されると、ウエスを表す物品画像Ｂｇを出力する。

ステップＳ１０４では、ＣＰＵ１１が、ステップＳ１０２で認識した固有の特徴部分を表すラベルを、ステップＳ１０３で生成した物品画像Ｂｇの物品Ｂｐを表すラベルに変更する。例えば、カード画像Ａｇのラベル「Ｖｉｓｉｔｏｒ００１」を、物品画像Ｂｇのラベル「ウエス」に変更する。

ステップＳ１０５では、ＣＰＵ１１が、カード画像Ａｇに代えて、ステップＳ１０３で生成した物品画像Ｂｇを、ステップＳ１０４で変更したラベルと共に表示部１６に表示する制御を行う（例えば、上述の図７に示す物品画像表示画面１６Ａを参照）。このとき、カード画像Ａｇの固有の特徴部分の位置を認識し、認識した位置に物品画像Ｂｇの物品Ｂｐを置き換える。なお、物品画像Ｂｇのラベルは、固有の特徴部分を表すラベル（例えば、Ｖｉｓｉｔｏｒ００１）から物品Ｂｐを表すラベル（例えば、ウエス）に変更されている。

ステップＳ１０６では、ＣＰＵ１１が、ステップＳ１０４で変更された物品Ｂｐを表すラベルに基づいて、一例として、上述の図６に示す物品情報ＤＢ１５Ｅを参照し、物品情報ＤＢ１５Ｅから、ラベルに対応する物品名、型番、及び金額を含む物品情報を取得し、取得した物品情報を表示部１６に表示する制御を行う（例えば、上述の図７に示す物品情報表示画面１６Ｂを参照）。なお、物品Ｂｐの個数は、カード媒体Ａｃの枚数によって定めてもよいし、ユーザが入力することで定めてもよい。

ステップＳ１０７では、ＣＰＵ１１が、ユーザの従業員証が読取器４０によって読み取られたか否かを判定する。ユーザの従業員証が読取器４０によって読み取られたと判定した場合（肯定判定の場合）、ステップＳ１０８に移行し、ユーザの従業員証が読取器４０によって読み取られていないと判定した場合（否定判定の場合）、ステップＳ１０７で待機となる。

ステップＳ１０８では、ＣＰＵ１１が、ステップＳ１０７でユーザの従業員証を読み取って得られた従業員情報を表示部１６に表示する制御を行う（例えば、上述の図７に示す決済画面１６Ｃを参照）。決済画面１６Ｃでは、ユーザにより「完了」ボタンが押圧されると決済処理が完了となる。

ステップＳ１０９では、ＣＰＵ１１が、学習済みモデル１５Ｃの学習に用いた学習データ群に含まれる物品画像Ｂｇを、物品検出モデル１５Ｄの再学習用の学習データとして記憶部１５に記憶し、本画像表示プログラム１５Ａによる画像表示処理を終了する。このように、新たに入荷された物品Ｂｐの物品画像Ｂｇは物品検出モデル１５Ｄに反映され、物品画像Ｂｇを学習データとして追加して物品検出モデル１５Ｄが再学習される。物品検出モデル１５Ｄが再学習された場合、物品Ｂｐ自体を認識することが可能となるため、カード媒体Ａｃを不要としてもよい。例えば、物品Ｂｐのカード媒体Ａｃがなくなる（あるいは残り数枚になる）頃に、物品Ｂｐについて再学習済みの物品検出モデル１５Ｄに切り替え、カード媒体Ａｃに代えて、物品Ｂｐ自体を撮影して得られる物品画像から対応する物品を検出してもよい。

次に、図９～図１２を参照して、本実施形態に係る情報処理装置１０の学習処理について説明する。

図９は、本実施形態に係る画像表示プログラム１５Ａによる学習処理の流れの一例を示すフローチャートであり、特徴認識モデル１５Ｂを生成する処理を示す。

図９のステップＳ１１１では、ＣＰＵ１１が、固有の特徴部分が異なる複数種類のカード媒体Ａｃ１、Ａｃ２、Ａｃ３、・・・（上述の図２参照）を撮影して得られたカード画像群を取得する。

ステップＳ１１２では、ＣＰＵ１１が、ステップＳ１１１で取得したカード画像群を、固有の特徴部分を表すラベルに対応付けて機械学習する。機械学習を行う学習モデルには、例えば、公知のＣＮＮ、Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤ等の各種のモデルが用いられる。なお、機械学習に際しては、カード画像に対してデータ拡張（拡大、縮小、回転、ノイズ付加等）を行い、学習データを増加させることが望ましい。

ステップＳ１１３では、ＣＰＵ１１が、ステップＳ１１２で行った機械学習により、カード画像Ａｇを入力として、固有の特徴部分を表すラベルを出力する特徴認識モデル１５Ｂを生成する。

ステップＳ１１４では、ＣＰＵ１１が、ステップＳ１１３で生成した特徴認識モデル１５Ｂを記憶部１５に記憶し、本画像表示プログラム１５Ａによる学習処理を終了する。

図１０は、本実施形態に係る画像表示プログラム１５Ａによる別の学習処理の流れの一例を示すフローチャートであり、学習済みモデル１５Ｃを生成する処理を示す。

図１０のステップＳ１２１では、ＣＰＵ１１が、固有の特徴部分を有するカード媒体Ａｃを撮影して得られた複数（数枚）のカード画像Ａｇを取得する。

ステップＳ１２２では、ＣＰＵ１１が、対応する物品Ｂｐを撮影して得られた複数（数枚）の物品画像Ｂｇを取得する。

図１１は、本実施形態に係る物品Ｂｐの撮影方法の説明に供する図である。

図１１に示すように、カメラ３０の直下に載置台３１が設けられている。載置台３１は、物品Ｂｐを載置する台である。載置台３１は、光源（図示省略）が内蔵されており、載置された物品Ｂｐの背後から光を照射することができる。カメラ３０によって載置台３１に載置された物品Ｂｐを撮影する際に、物品Ｂｐの背後から光を照射して輪郭を強調しつつ、カメラ３０の撮影角度を調整することで、３次元の特徴量を取得することが可能とされる。

ステップＳ１２３では、ＣＰＵ１１が、ステップＳ１２１で取得した複数のカード画像Ａｇに対して、所定のデータ拡張処理（例えば、拡大、縮小、回転、ノイズ付加等）を施し、撮影された数枚の静止画像から多くの画像を生成する。同様に、ステップＳ１２２で取得した複数の物品画像Ｂｇに対して、所定のデータ拡張処理を施し、撮影された数枚の静止画像から多くの画像を生成する。これにより、多くのカード画像Ａｇと物品画像Ｂｇとのペアを学習データ群として生成する。

ステップＳ１２４では、ＣＰＵ１１が、ステップＳ１２３で生成した学習データ群（カード画像と物品画像のペア）を機械学習する。機械学習を行う学習モデルには、例えば、Ｃｏｎｄｉｔｉｏｎａｌ ＧＡＮの一種であるｐｉｘ２ｐｉｘが用いられる。

ステップＳ１２５では、ＣＰＵ１１が、ステップＳ１２４で行った機械学習により、カード画像Ａｇを入力として、最適な物品画像Ｂｇを生成して出力する学習済みモデル１５Ｃを生成する。

ステップＳ１２６では、ＣＰＵ１１が、ステップＳ１２５で生成した学習済みモデル１５Ｃを記憶部１５に記憶し、本画像表示プログラム１５Ａによる学習処理を終了する。

図１２は、本実施形態に係る画像表示プログラム１５Ａによる更に別の学習処理の流れの一例を示すフローチャートであり、物品検出モデル１５Ｄの再学習処理を示す。

図１２のステップＳ１３１では、ＣＰＵ１１が、学習済みモデル１５Ｃの学習に用いた学習データ群に含まれる物品画像Ｂｇ（新規の物品画像）を、物品検出モデル１５Ｄの再学習用の学習データとして追加する。

ステップＳ１３２では、ＣＰＵ１１が、ステップＳ１３１で追加した物品画像Ｂｇを、物品を表すラベルに対応付けて物品検出モデル１５Ｄを再学習する。物品検出モデル１５Ｄには、例えば、公知のＣＮＮ、Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤ等の各種のモデルが用いられる。

ステップＳ１３３では、ＣＰＵ１１が、ステップＳ１３２で再学習した物品検出モデル１５Ｄを記憶部１５に記憶し、本画像表示プログラム１５Ａによる再学習処理を終了する。

以上説明したように、本実施形態によれば、新規物品を購入する場合に、新規物品そのものを認識するのではなく、新規物品に対応付けたカード媒体を認識する。カード媒体の特徴部分は単純であるため、認識し易く、多くの学習を必要としない。また、カード画像から最適な物品画像を生成するための機械学習には敵対的生成ネットワーク（ＧＡＮ）が用いられるため、これについても多くの学習を必要としない。このため、物体検出技術の一つであるＹＯＬＯ等を用いて物品自体を認識する場合と比較して、学習量が低減され、スマートレジのサービスを止めることなく、新規物品の追加に対して即座に対応することができる。

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０ 情報処理装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 認識部
１１Ｃ 生成部
１１Ｄ 表示制御部
１１Ｅ 変更部
１１Ｆ 検出部
１１Ｇ 学習部
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｏ
１５ 記憶部
１５Ａ 画像表示プログラム
１５Ｂ 特徴認識モデル
１５Ｃ 学習済みモデル
１５Ｄ 物品検出モデル
１５Ｅ 物品情報ＤＢ
１６ 表示部
１７ 操作部
１８ 通信部
１９ 外部Ｉ／Ｆ
３０ カメラ
３１ 載置台
４０ 読取器
１００ 画像表示システム

Claims (10)

1. 固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得する取得部と、
   前記取得部により取得された前記カード画像から前記固有の特徴部分を認識する認識部と、
   予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記認識部により前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成する生成部と、
   前記取得部により取得された前記カード画像に代えて、前記生成部により生成された前記物品画像を表示部に表示する制御を行う表示制御部と、
   を備えた情報処理装置。
2. 前記認識部は、予め固有の特徴部分が異なる複数種類のカード媒体を撮影して得られたカード画像群を、固有の特徴部分を表すラベルに対応付けて機械学習することにより生成された特徴認識モデルを用いて、前記取得部により取得された前記カード画像から前記固有の特徴部分を認識する
   請求項１に記載の情報処理装置。
3. 前記認識部により認識された前記固有の特徴部分を表すラベルを、前記生成部により生成された前記物品画像の前記物品を表すラベルに変更する変更部を更に備え、
   前記表示制御部は、前記変更部により変更された前記物品を表すラベルを、前記物品画像と共に前記表示部に表示する制御を行う
   請求項２に記載の情報処理装置。
4. 前記表示制御部は、更に、前記変更部により変更された前記物品を表すラベルに基づいて、前記物品の物品名及び金額を含む物品情報を前記表示部に表示する制御を行う
   請求項３に記載の情報処理装置。
5. 前記生成部により生成された前記物品画像に対して物体検出技術を適用して物品を検出する検出部を更に備え、
   前記表示制御部は、前記検出部による検出結果に基づいて、前記物品の物品名及び金額を含む物品情報を前記表示部に表示する制御を行う
   請求項１～請求項３の何れか１項に記載の情報処理装置。
6. 前記検出部は、予め複数種類の物品を撮影して得られた物品画像群を、物品を表すラベルに対応付けて機械学習することにより生成された物品検出モデルを用いて、前記生成部により生成された前記物品画像から前記物品を検出する
   請求項５に記載の情報処理装置。
7. 前記物品検出モデルは、前記学習データ群に含まれる物品画像を追加して再学習されたモデルである
   請求項６に記載の情報処理装置。
8. 前記学習済みモデルは、敵対的生成ネットワークのモデルである
   請求項１～請求項７の何れか１項に記載の情報処理装置。
9. 固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得し、
   前記取得された前記カード画像から前記固有の特徴部分を認識し、
   予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成し、
   前記取得された前記カード画像に代えて、前記生成された前記物品画像を表示部に表示する制御を行う
   画像表示方法。
10. 固有の特徴部分を有するカード媒体を撮影して得られたカード画像を取得し、
    前記取得された前記カード画像から前記固有の特徴部分を認識し、
    予め前記カード媒体を撮影して得られたカード画像と、予め物品を撮影して得られた物品画像とをペアとする学習データ群を機械学習することにより生成された学習済みモデルを用いて、前記固有の特徴部分が認識された前記カード画像に対して、前記物品についての最適な物品画像を生成し、
    前記取得された前記カード画像に代えて、前記生成された前記物品画像を表示部に表示する制御を行うことを、
    コンピュータに実行させるための画像表示プログラム。

Images