JP2022014793A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】撮影画像に含まれる商品をより高い精度で特定することができる情報処理装置を提供する。
【解決手段】情報処理装置１は、商品の撮影画像を受け付ける受付部１１と、撮影画像に含まれる商品に関連する商品関連情報を、撮影画像を用いて取得する取得部１２と、商品を識別する商品識別子と、商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部１３と、商品対応情報を用いて、取得部１２によって取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する候補特定部１４と、撮影画像に含まれる商品関連情報が取得された商品について、特定された１以上の商品識別子候補で識別される商品に関する画像認識を行って商品識別子を特定する画像認識部１５と、特定された商品識別子を出力する出力部１６とを備える。
【選択図】図１

Description

本発明は、商品の撮影画像を用いて、その商品の識別子の候補を特定する情報処理装置等に関する。

従来、商品の撮影画像において画像認識を行い、撮影画像に含まれる商品を特定することが行われている（例えば、特許文献１参照）。

特開２０１３－０５４６７３号公報

しかしながら、そのような商品の特定を高精度で行う場合には、画像認識用情報、例えば、パターンマッチングにおけるパターンの情報や、物体認識用のＣＮＮ（Convolution Neural Network：畳み込みニューラルネットワーク）などの学習済みモデル等が高精度なものである必要があり、また、特定対象の商品を高精度に撮影する必要がある。例えば、画像認識に用いる商品の画像として、種々の方向から撮影された画像を用意する必要がある。また、特定対象の商品を撮影する際にも、複数の方向からの撮影が行われることが好適である。そのような画像認識を行うためには、画像認識用情報の準備や、特定対象の商品の撮影などにかかるコストが高くなるという問題がある。一方、画像認識用の高精度な情報を用意できなかったり、特定対象の商品を一方向からのみしか撮影できなかったりする場合には、商品の特定の精度が低下するという問題があった。

本発明は、そのような問題を解決するためになされたものであり、画像認識用情報や特定対象の商品の撮影画像が高精度のものでなかったとしても、より高い精度で商品の特定を行うことができるようにするため、画像認識とは異なる手法によって撮影画像に含まれる商品をあらかじめ絞り込むことができる情報処理装置等を提供することを目的とする。

上記目的を達成するため、本発明の一態様による情報処理装置は、商品の撮影画像を受け付ける受付部と、撮影画像に含まれる商品に関連する商品関連情報を、撮影画像を用いて取得する取得部と、商品を識別する商品識別子と、商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部と、商品対応情報を用いて、取得部によって取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する候補特定部と、を備えたものである。

このような構成により、商品関連情報を用いて商品識別子候補を取得することができる。そのため、画像認識以外の手法によって撮影画像に含まれる商品の候補を取得することができ、例えば、画像認識を行う商品を、あらかじめ絞り込むことができるようになる。

また、本発明の一態様による情報処理装置では、取得部は、商品のサイズを示すサイズ情報である商品関連情報を取得してもよい。
このような構成により、商品のサイズを用いて、撮影画像に含まれる商品の候補を絞り込むことができる。

また、本発明の一態様による情報処理装置では、取得部は、商品の色に関する色情報である商品関連情報を取得してもよい。
このような構成により、商品の色を用いて、撮影画像に含まれる商品の候補を絞り込むことができる。

また、本発明の一態様による情報処理装置では、取得部は、商品の形状を示す形状情報である商品関連情報を取得してもよい。
このような構成により、商品の形状を用いて、撮影画像に含まれる商品の候補を絞り込むことができる。

また、本発明の一態様による情報処理装置では、取得部は、商品に表示された文字を示す文字情報である商品関連情報を取得してもよい。
このような構成により、商品に表示されている文字を用いて、撮影画像に含まれる商品の候補を絞り込むことができる。

また、本発明の一態様による情報処理装置では、取得部は、商品が陳列されている位置を示す位置情報である商品関連情報を取得してもよい。
このような構成により、商品の陳列されている位置を用いて、撮影画像に含まれる商品の候補を絞り込むことができる。

また、本発明の一態様による情報処理装置では、取得部は、２種類以上の商品関連情報と、２種類以上の商品関連情報ごとの信頼度とを取得し、候補特定部は、取得部によって取得された２種類以上の商品関連情報に対応する商品識別子が存在しない場合に、取得部によって取得された２種類以上の商品関連情報のうち、信頼度の高い商品関連情報を用いて商品識別子候補を特定してもよい。
このような構成により、取得した商品識別子候補の精度を向上させることができるようになる。

また、本発明の一態様による情報処理装置では、撮影画像に含まれる商品関連情報が取得された商品について、候補特定部によって特定された１以上の商品識別子候補で識別される商品に関する画像認識を行って商品識別子を特定する画像認識部と、画像認識部によって特定された商品識別子を出力する出力部と、をさらに備えてもよい。

このような構成により、画像認識の対象となる商品を、商品識別子候補によって絞り込むことができ、例えば、画像認識用情報の精度が高くない場合であっても、より正確な商品の特定が可能となる。

また、本発明の一態様による情報処理装置では、撮影画像に含まれる商品関連情報が取得された商品について、画像認識を行って商品識別子を特定する画像認識部と、画像認識部によって取得された商品識別子、及び候補特定部によって特定された１以上の商品識別子候補を用いて、撮影画像に含まれる商品関連情報が取得された商品の商品識別子を特定する特定部と、特定部によって特定された商品識別子を出力する出力部と、をさらに備えてもよい。

このような構成により、商品の画像認識の結果のみではなく、商品関連情報を用いた商品の絞り込みの結果をも用いて商品の特定を行うため、より精度の高い商品の特定を実現することができるようになる。

また、本発明の一態様による情報処理方法は、受付部と、取得部と、商品を識別する商品識別子と商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部と、候補特定部とを用いて処理される情報処理方法であって、受付部が、商品の撮影画像を受け付けるステップと、取得部が、撮影画像に含まれる商品に関連する商品関連情報を、撮影画像を用いて取得するステップと、候補特定部が、商品対応情報を用いて、商品関連情報を取得するステップにおいて取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定するステップと、を備えたものである。

本発明の一態様による情報処理装置等によれば、商品関連情報を用いて商品識別子候補を取得することができる。そのため、撮影画像に含まれる商品の候補を取得できることになり、例えば、画像認識を行う商品を、あらかじめ絞り込むことができるようになる。

本発明の実施の形態１による情報処理装置の構成を示すブロック図 同実施の形態による情報処理装置の動作を示すフローチャート 同実施の形態における商品対応情報の一例を示す図 同実施の形態における商品識別子と画像認識用情報との対応の一例を示す図 同実施の形態における撮影画像の一例を示す図 本発明の実施の形態２による情報処理装置の構成を示すブロック図 同実施の形態による情報処理装置の動作を示すフローチャート 上記各実施の形態におけるコンピュータシステムの外観一例を示す模式図 上記各実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、本発明による情報処理装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による情報処理装置及び情報処理方法について、図面を参照しながら説明する。本実施の形態による情報処理装置及び情報処理方法は、商品の撮影画像を用いて、特定したい商品の商品関連情報を取得し、その商品関連情報に対応する商品識別子である商品識別子候補を取得し、特定したい商品について、商品識別子候補で識別される商品に関する画像認識を行って商品を特定するものである。

図１は、本実施の形態による情報処理装置１の構成を示すブロック図である。本実施の形態による情報処理装置１は、受付部１１と、取得部１２と、記憶部１３と、候補特定部１４と、画像認識部１５と、出力部１６とを備える。情報処理装置１は、例えば、スマートフォンやタブレット端末、モバイルパーソナルコンピュータなどのように、持ち運び可能な情報処理端末であってもよく、サーバであってもよく、その他の装置であってもよい。本実施の形態では、情報処理装置１がサーバである場合について主に説明する。

受付部１１は、商品の撮影画像を受け付ける。受付部１１は、例えば、カメラ等の撮影部から撮影画像を受け付けてもよく、撮影機能を有するデバイス（例えば、スマートフォンやタブレット端末、監視システム等）から撮影画像を受信してもよい。前者の場合には、情報処理装置１が撮影部を備えていてもよい。商品は、例えば、食品であってもよく、日用品であってもよく、家電製品であってもよく、その他の商品であってもよい。商品は、通常、店舗における販売対象となる商品である。

撮影画像は、店舗において撮影された商品の撮影画像であってもよい。撮影画像は、例えば、陳列棚などに陳列されている複数の商品の撮影画像であってもよく、購入者が陳列棚などから手に取った商品の撮影画像であってもよく、レジにおいて並べられた商品の撮影画像（例えば、レジのカウンターやレジのベルトコンベア等に並べられた商品の撮影画像）であってもよい。陳列棚の商品の撮影画像は、例えば、撮影者によって手動で撮影されたものであってもよい。購入者が手に取った商品の撮影画像は、例えば、あらかじめ店舗に配置されているカメラによって撮影されたものであってもよい。レジにおいて並べられた商品の撮影画像は、例えば、レジの上方等に配置されたカメラによって撮影されたものであってもよい。また、撮影画像は、通常、静止画像であるが、動画像であってもよい。撮影画像が動画像である場合には、動画像に含まれる少なくとも１つのフレームについて、後述する各処理が行われてもよい。撮影画像は、カラーの画像であることが好適であるが、白黒の画像であってもよい。

受付部１１は、例えば、カメラなどの撮影部からの撮影画像を受け付けてもよく、有線または無線の通信回線を介して送信された撮影画像を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された撮影画像を受け付けてもよい。なお、受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、受付部１１は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

取得部１２は、撮影画像に含まれる商品（厳密には「商品の画像」であるが、簡単のために「商品」と呼ぶことにする。）に関連する商品関連情報を、撮影画像を用いて取得する。取得される商品関連情報は、１種類でもよく、または、２種類以上であってもよい。取得部１２によって取得される商品関連情報は、撮影画像を用いて取得することができる情報である。取得部１２は、例えば、商品のサイズを示すサイズ情報である商品関連情報を取得してもよく、商品の色に関する色情報である商品関連情報を取得してもよく、商品の形状を示す形状情報である商品関連情報を取得してもよく、商品に表示された文字を示す文字情報である商品関連情報を取得してもよく、それら以外の商品関連情報を取得してもよい。撮影画像から各商品関連情報を取得する方法については後述する。

１以上の商品関連情報の取得する対象となる商品は、例えば、撮影画像に含まれるすべての商品であってもよく、特定の商品であってもよい。撮影画像に含まれるすべての商品について商品関連情報を取得する場合には、取得部１２は、撮影画像において物体検出を行い、検出したすべての物体について商品関連情報を取得してもよい。物体検出は、例えば、パターンマッチングやＣＮＮの学習済みモデル等を用いて行われてもよい。撮影画像に含まれる特定の商品について商品関連情報を取得する場合には、例えば、取得部１２は、物体検出によって検出した物体のうち、販売対象の商品についてのみ商品関連情報の取得を行ってもよく、購入者が手に取った商品についてのみ商品関連情報の取得を行ってもよい。検出された物体が販売対象の商品であるのかどうかについては、例えば、あらかじめ登録されている販売対象ではない物体の情報を用いて判断されてもよい。また、購入者が手に取った商品であるのかどうかについては、例えば、撮影画像において購入者の手を検出し、その検出した手のひらの位置に商品が存在するかどうかによって判断されてもよい。また、購入者の体についても撮影画像に含まれる場合には、取得部１２は、例えば、購入者の骨格推定を行い、その骨格推定の結果に基づいて、手の先端の位置に存在する物体（商品）を特定し、その特定した物体について商品関連情報の取得を行ってもよい。骨格推定には、例えば、学習済みモデル等を用いてもよい。本実施の形態では、取得部１２が、購入者が手に取った商品について商品関連情報の取得を行う場合について主に説明する。

取得部１２は、例えば、商品関連情報の取得対象である商品の近くに存在する基準となるサイズと、その商品のサイズとの撮影画像における比較結果、及び、その基準となるサイズの実空間でのサイズを用いて、商品のサイズ情報である商品関連情報を所得してもよい。基準となるサイズは、例えば、基準となる物体のサイズであってもよく、陳列棚などに所定の間隔で配置されているマーカの間隔であってもよい。例えば、撮影画像において商品のサイズが、基準となるサイズのＡ１倍であり、実空間における基準となるサイズがＡ２である場合には、商品のサイズ情報として、Ａ１×Ａ２が取得されてもよい。なお、商品が直方体形状や円柱形状である場合に、取得部１２は、例えば、縦横などのすべてのサイズを示すサイズ情報（例えば、立方体形状の商品では「Ｂ１×Ｂ２×Ｂ３」であり、円柱形状の商品では「Ｂ４（直径）×Ｂ５（軸方向の長さ）」など）を取得してもよく、代表サイズを示すサイズ情報を取得してもよい。代表サイズは、例えば、商品の輪郭のうち、最も長い箇所の長さであってもよく、縦横奥行きなどのうち、最も長い長さであってもよい。本実施の形態では、この代表サイズであるサイズ情報が取得される場合について主に説明する。

また、取得部１２は、例えば、カメラから商品までの距離を取得し、その距離とカメラの画角とを用いて、商品のサイズ情報である商品関連情報を取得してもよい。カメラから商品までの距離を取得する方法は問わないが、例えば、次の文献に記載されているように、レンズによって生じる画像のボケを解析することによって、１枚の撮影画像から画像内の各物体までの距離を測定してもよい。
文献：Masako Kashiwagi, Nao Mishima, Tatsuo Kozakaya, Shinsaku Hiura,「Deep Depth from Aberration Map」, ICCV2019, 2019年

また、カメラの画角については、撮影画像に含まれる撮影条件によって示される焦点距離を用いて算出されてもよい。カメラの画角と商品までの距離とを用いることによって、商品の撮影画像上のサイズ（例えば、ピクセル数など）を、実空間におけるサイズ（長さ）に変換することができる。したがって、取得部１２は、例えば、撮影画像における商品のピクセル数を取得し、それを実空間におけるサイズに変換することによって、商品のサイズ情報を取得してもよい。

取得部１２は、例えば、画像の色情報を取得するソフトウェアやＡＰＩ（Application Programming Interface）を用いて、商品の色情報である商品関連情報を取得してもよい。色情報は、例えば、商品の画像において使用されている主要な色（ドミナントカラー）を示す情報であってもよい。例えば、多く使用されている順に所定個数の色の識別子を含む色情報が取得されてもよい。より具体的には、最も多く使用されている色の識別子（例えば、ＲＧＢの情報、ＣＭＹＫの情報、ＨＥＸなど）と、次に多く使用されている色の識別子とが取得されてもよい。取得部１２は、例えば、商品関連情報の取得対象である商品の画像を切り出し、その切り出した画像について色情報を取得してもよい。そのような色情報を取得するＡＰＩ等として、例えば、Google（登録商標） CloudのVision APIにおける画像プロパティーの検出機能を用いてもよい。また、色情報は、上記以外の情報、例えば、商品の画像の色の平均を示す情報等であってもよい。

取得部１２は、例えば、パターンマッチング等を行うことによって、商品の形状情報である商品関連情報を取得してもよい。例えば、商品の形状「直方体」「円柱」「角底袋」等についてパターン情報が記憶されている場合には、取得部１２は、商品の画像に最もマッチするパターン情報を特定し、そのパターン情報に対応する形状を示す形状情報を取得してもよい。また、形状情報の取得に、例えば、ＣＮＮの学習済みモデルなどが用いられてもよい。

取得部１２は、例えば、商品の画像について文字認識を行うことによって、商品に表示された文字を示す文字情報である商品関連情報を取得してもよい。文字情報は、文字列を示す情報であってもよい。この文字認識は、例えば、ＯＣＲ（Optical Character Recognition）等においてすでに知られており、詳細な説明を省略する。なお、上記した色情報を取得するＡＰＩを用いることによって、文字認識も一緒に行うことができる場合もある。

取得部１２が、２種類以上の商品関連情報を取得することになっていたとしても、すべての商品関連情報を取得できないこともある。そのような場合には、一部の商品関連情報は取得されなくてもよい。例えば、撮影画像に含まれる商品の画像にマッチするパターン情報が存在しなかった場合には、取得部１２は、形状情報である商品関連情報を取得しなくてもよい。

なお、取得部１２は、２種類以上の商品関連情報と、その２種類以上の商品関連情報ごとの信頼度とを取得してもよい。信頼度は、取得された商品関連情報の確からしさを示す情報である。サイズ情報の信頼度は、例えば、撮影画像を用いて取得されたサイズに関する測定誤差に応じた値であってもよい。測定誤差は、例えば、商品と基準となるサイズとの距離が大きくなるほど大きくなってもよい。この場合には、誤差が大きいほど、信頼度はより低くなる。また、色情報の信頼度は、例えば、撮影画像を用いて取得された色の識別子に関する測定誤差に応じた値であってもよい。測定誤差は、例えば、商品の画像において使用されている色の個数が多くなるほど大きくなってもよい。通常、商品パッケージで使用される色の個数は多くないと考えられるところ、撮影時の反射や映り込み等によって色の個数が多くなった場合には、色の識別子に関する測定誤差も大きいと考えられるからである。この場合には、誤差が大きいほど、信頼度はより低くなる。形状情報の信頼度は、例えば、パターンとのマッチングの程度を示す情報や、ＣＮＮなどの学習済みモデルを用いた形状情報の取得における確信度であってもよい。前者の場合には、パターンとのマッチングの程度が高いほど、信頼度はより高くなる。文字情報の信頼度は、例えば、文字認識における誤差や精度に応じた値であってもよい。この場合には、例えば、誤差が大きいほど、信頼度はより低くなり、精度が高いほど、信頼度はより高くなる。

記憶部１３では、複数の商品対応情報が記憶される。商品対応情報は、商品を識別する商品識別子と、商品に関連する商品関連情報とを対応付ける情報である。商品対応情報において、商品識別子には、取得部１２によって取得される１以上の種類の商品関連情報が対応付けられていることが好適である。例えば、取得部１２によって４つの商品関連情報、すなわちサイズ情報、色情報、形状情報、文字情報のそれぞれが取得される場合には、商品対応情報は、商品識別子と、それらの複数の商品関連情報とを対応付ける情報であってもよい。商品対応情報において商品識別子と対応付けられる１以上の商品関連情報は、実際の商品から取得された情報である。

記憶部１３に複数の商品対応情報が記憶される過程は問わない。例えば、記録媒体を介して複数の商品対応情報が記憶部１３で記憶されるようになってもよく、通信回線等を介して送信された複数の商品対応情報が記憶部１３で記憶されるようになってもよく、または、入力デバイスを介して入力された複数の商品対応情報が記憶部１３で記憶されるようになってもよい。記憶部１３は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。

候補特定部１４は、記憶部１３で記憶されている複数の商品対応情報を用いて、取得部１２によって取得された１種類以上の商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する。取得部１２によって２種類以上の商品関連情報が取得された場合には、その２以上の商品関連情報に対応する商品識別子である商品識別子候補が特定されることが好適である。例えば、ある商品についてサイズ情報、色情報、形状情報、文字情報である４種類の商品関連情報がそれぞれ取得された場合には、ある商品対応情報において、商品識別子に対応するサイズ情報、色情報、形状情報が、取得されたサイズ情報、色情報、形状情報と一致しており、その商品識別子に対応する文字情報が、取得された文字情報を含むときに、候補特定部１４は、その商品識別子である商品識別子候補を特定してもよい。なお、サイズ情報、または色情報が一致するとは、例えば、サイズ情報、または色情報が所定の誤差の範囲内で一致することであってもよい。候補特定部１４は、例えば、取得部１２によって取得された１種類以上の商品関連情報を検索キーとして複数の商品対応情報を検索し、ヒットした商品対応情報に含まれる商品識別子を、商品識別子候補として特定してもよい。また、取得された１種類以上の商品関連情報に対応する商品識別子が２以上存在する場合には、その２以上の商品識別子である商品識別子候補がそれぞれ特定されることになる。特定された商品識別子候補によって識別される商品が、商品関連情報が取得された商品の候補となる。このように、撮影画像から取得された商品のサイズ情報、色情報、形状情報、文字情報を用いて、その商品の候補を絞り込むことができる。なお、商品識別子候補を特定するとは、例えば、その特定された商品識別子候補が所定の記録媒体に蓄積されることであってもよく、その特定された商品識別子候補に対応付けて、特定された旨を示すフラグ等の情報が設定されることであってもよい。

なお、候補特定部１４は、記憶部１３で記憶されている複数の商品対応情報において、取得部１２によって取得された２種類以上の商品関連情報に対応する商品識別子が存在しない場合に、取得部１２によって取得された２種類以上の商品関連情報のうち、信頼度の高い商品関連情報を用いて商品識別子候補を特定してもよい。例えば、４種類の商品関連情報が取得された場合であって、その４種類の商品関連情報のすべてに対応する商品識別子が存在しない場合には、候補特定部１４は、最も信頼度の低い商品関連情報を除いた３種類の商品関連情報を用いて、商品識別子候補の特定を行ってもよい。３種類の商品関連情報のすべてに対応する商品識別子も存在しない場合には、候補特定部１４は、最も信頼度の低い商品関連情報を除いた２種類の商品関連情報を用いて、商品識別子候補の特定を行ってもよい。このように、商品識別子候補を特定することができるまで、信頼度の低いものから順番に商品関連情報を用いないようにしてもよい。なお、この場合には、商品関連情報と共に、信頼度も取得されているものとする。

また、複数の商品について商品関連情報が取得された場合には、候補特定部１４は、その商品ごとに、取得された１以上の商品関連情報を用いた商品識別子候補の特定を行ってもよい。

画像認識部１５は、撮影画像に含まれる、商品関連情報が取得された商品について、候補特定部１４によって特定された１以上の商品識別子候補で識別される商品に関する画像認識を行って商品識別子を特定する。すなわち、ある商品について１以上の商品関連情報が取得された場合には、撮影画像に含まれるその商品について、その１以上の商品関連情報を用いて特定された１以上の商品識別子候補で識別される商品であるかどうかを確認するための画像認識が行われて、商品識別子が特定される。この画像認識の処理は、取得部１２によって商品関連情報が取得された商品ごとに行われる。例えば、複数の商品について商品関連情報が取得された場合には、画像認識部１５は、各商品について、画像認識を行って商品識別子を特定してもよい。ある商品について、２以上の商品識別子候補が特定された場合には、その商品の商品識別子は、特定された２以上の商品識別子候補のいずれかであると考えられる。その２以上の商品識別子候補のいずれであるのかを、画像認識部１５による画像認識によって決めることになる。なお、特定された商品識別子候補の個数が１個である場合には、画像認識の対象となる商品が、その商品識別子候補で識別されるものであるかどうかが確認されることになる。すなわち、撮影画像に含まれる、商品識別子の特定対象である商品が、その商品識別子候補で識別される商品であるのかどうかが画像認識によって判断されることになる。なお、画像認識の対象が、２以上の商品識別子候補で識別される商品に絞り込まれているため、そのような絞り込みが行われていない場合と比較して、画像認識部１５による画像認識の負荷が軽減されると共に、より精度の高い画像認識を実現することができることになる。

画像認識部１５は、例えば、特定された２以上の商品識別子候補に対応する画像認識用情報（例えば、パターンの情報や、物体認識用のＣＮＮなどの学習済みモデル等）を用いて、認識対象の商品（すなわち、商品識別子の特定対象である商品）が、２以上の商品識別子候補のうち、いずれの識別子で識別されるものであるのかを特定してもよい。画像認識部１５は、例えば、認識対象の商品について、２以上の商品識別子候補にそれぞれ対応する２以上の画像認識用情報を用いた画像認識を行った場合に、画像認識におけるマッチングの程度が最も高かった画像認識用情報に対応する商品識別子候補を、その認識対象の商品の商品識別子として特定してもよい。画像認識用情報は、例えば、記憶部１３で記憶されていてもよい。

なお、撮影画像に含まれる、商品関連情報が取得された商品の領域は、すでに取得部１２によって特定されている。したがって、画像認識部１５は、その商品の領域を特定する情報を、取得部１２から受け取ってもよい。そして、画像認識部１５は、その受け取った情報によって特定される、撮影画像における領域の商品について、画像認識の処理を行ってもよい。

出力部１６は、画像認識部１５によって特定された商品識別子を出力する。複数の商品のそれぞれについて商品識別子が特定された場合には、出力部１６は、特定された複数の商品識別子を出力してもよい。この場合には、例えば、商品と、商品識別子との対応関係がわかるように出力されてもよい。より具体的には、商品識別子と、その商品識別子で識別される商品の撮影画像における位置を示す情報とが出力されてもよい。

ここで、この出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、出力部１６は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、または含まなくてもよい。また、出力部１６は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

撮影画像が、陳列棚などに陳列されている複数の商品の撮影画像である場合には、出力部１６からの出力結果を用いて、棚卸や、指示書どおりに商品が陳列されているかどうかのチェックが行われてもよい。また、撮影画像が、購入者が陳列棚などから手に取った商品の撮影画像である場合には、出力部１６からの出力結果を用いて、購入者が手に取った商品に関する課金処理が行われてもよい。この場合には、例えば、購入者の識別子を別途取得して、その識別子で識別される購入者に課金処理を行ってもよい。このようにして、例えば、無人店舗における課金処理などを行うことができるようになる。また、撮影画像が、レジにおいて並べられた商品の撮影画像である場合には、出力部１６からの出力結果を用いて、各商品の合計金額を算出する処理や、その合計金額に関する課金処理等が行われてもよい。

次に、情報処理装置１の動作について図２のフローチャートを用いて説明する。
（ステップＳ１０１）受付部１１は、商品の撮影画像を受け付けたかどうか判断する。そして、商品の撮影画像を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、商品の撮影画像を受け付けるまで、ステップＳ１０１の処理を繰り返す。なお、受付部１１は、例えば、撮影画像を定期的に受け付けてもよく、そうでなくてもよい。

（ステップＳ１０２）取得部１２は、商品関連情報の取得対象の商品について、撮影画像を用いて商品関連情報を取得する。

（ステップＳ１０３）候補特定部１４は、ステップＳ１０２で取得された商品関連情報に対応する商品識別子である商品識別子候補を、記憶部１３で記憶されている複数の商品対応情報を用いて特定する。

（ステップＳ１０４）画像認識部１５は、商品関連情報の取得対象の商品について、ステップＳ１０３で取得された商品識別子候補で識別される商品に関する画像認識を行って商品識別子を特定する。

（ステップＳ１０５）出力部１６は、ステップＳ１０４で特定された商品識別子を出力する。この商品識別子が、商品関連情報の取得対象の商品を識別する商品識別子である。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態による情報処理装置１の動作について、具体例を用いて説明する。この具体例では、図３で示される商品対応情報、及び図４で示される商品識別子と画像認識用情報とを対応付ける情報が記憶部１３で記憶されているものとする。

図３において、商品対応情報は、商品識別子と、複数種類の商品関連情報とを有している。商品関連情報は、サイズ情報、色情報、形状情報、文字情報である。サイズ情報は、直方体や円柱などのサイズを示す情報である。この具体例では、底面の直径がＣ１であり、軸方向の長さがＣ２である円柱のサイズ情報を、Ｃ１×Ｃ１×Ｃ２と示している。また、色情報は、最も多く使用されている色の識別子（ＨＥＸ）と、次に多く使用されている色の識別子であるとする。なお、この具体例では、撮影画像の商品において最も多く使用されている色の識別子が、商品対応情報の色情報に含まれる２個の色の識別子のいずれかとあらかじめ決められた誤差の範囲内で一致する場合に、色情報が一致すると判断されるものとする。また、形状情報は、直方体や円柱、角底袋などの商品の形状を示す情報である。文字情報は、商品に表示されている文字列を示す情報である。この具体例では、文字情報が、大きな文字で表示されている主要な文字列のみを示す場合について説明するが、文字情報は、細かい文字で表示されている情報も含んでいてもよい。

図４において、商品識別子と、画像認識用情報とが対応付けられている。画像認識用情報は、対応する商品識別子で識別される商品の画像認識を行うための情報であり、例えば、その商品のパターンや画像であってもよく、その商品の認識を行うＣＮＮの学習済みモデルなどの情報であってもよい。例えば、商品識別子「Ｇ００１」で識別される商品（以下、「商品Ｇ００１」と呼ぶこともある。）に対応する画像認識用情報「Ｐ００１」は、画像認識の対象となる商品の画像が、商品Ｇ００１の画像であるかどうかを判断するために用いられる情報である。

まず、店舗内に設置されたカメラによって、図５で示される撮影画像が取得され、情報処理装置１に送信されたとする。すると、その撮影画像は受付部１１で受信され、取得部１２及び画像認識部１５に渡される（ステップＳ１０１）。撮影画像を受け取ると、取得部１２は、その撮影画像において物体検出を行うと共に、手の検出を行い、手の先端の位置において検出された物体を、商品関連情報の取得対象である物体とする。図５においては、「ポテト」と表示されている円柱形状の商品が、商品関連情報の取得対象の商品として特定されることになる。取得部１２は、撮影画像においてその商品の領域を特定する情報を画像認識部１５に渡す。その後、取得部１２は、その商品について、サイズ情報、色情報、形状情報、文字情報である各商品関連情報を取得する（ステップＳ１０２）。なお、サイズ情報としては、最も長い箇所のサイズ情報「２０ｃｍ」が取得されたとする。また、色情報としては、最も多く使用されている色の識別子「＃Ｃ７１５６０」が取得されたとする。また、形状情報としては「円柱」が取得されたとする。また、文字情報としては「ポテト」が取得されたとする。それらの商品関連情報は候補特定部１４に渡される。

複数の商品関連情報を受け取ると、候補特定部１４は、それらの商品関連情報に対応する商品識別子である商品識別子候補を特定する。この場合には、取得されたサイズ情報「２０ｃｍ」と誤差の範囲内で一致するサイズ情報は、商品識別子「Ｇ００１」「Ｇ００４」に対応するサイズ情報であったとする。また、取得された色情報「＃Ｃ７１５６０」と誤差の範囲内で一致する色情報は、商品識別子「Ｇ００１」「Ｇ００２」「Ｇ００４」に対応する色情報であったとする。また、取得された形状情報「円柱」と一致する形状情報は、商品識別子「Ｇ００１」「Ｇ００２」「Ｇ００４」に対応する形状情報である。また、取得された文字情報「ポテト」を含む文字情報は、商品識別子「Ｇ００１」「Ｇ００２」「Ｇ００４」に対応する文字情報である。したがって、取得されたすべての商品関連情報に対応する商品識別子は「Ｇ００１」「Ｇ００４」となり、それらが商品識別子候補となる（ステップＳ１０３）。特定された商品識別子候補「Ｇ００１」「Ｇ００４」は画像認識部１５に渡される。

撮影画像、撮影画像において商品の領域を特定する情報、商品識別子候補を受け取ると、画像認識部１５は、記憶部１３において、商品識別子候補（商品識別子）「Ｇ００１」「Ｇ００４」に対応付けられている画像認識用情報「Ｐ００１」「Ｐ００４」を読み出す。そして、画像認識部１５は、受け取った撮影画像において、商品の領域を特定する情報によって特定される領域の商品について、画像認識用情報「Ｐ００１」「Ｐ００４」を用いてそれぞれ画像認識を行う。この場合には、画像認識用情報「Ｐ００４」を用いた画像認識におけるマッチングの程度よりも、画像認識用情報「Ｐ００１」を用いた画像認識におけるマッチングの程度の方が高かったとする。そのため、画像認識部１５は、認識対象の商品の商品識別子が、画像認識用情報「Ｐ００１」に対応する商品識別子「Ｇ００１」であると判断し、その商品識別子を出力部１６に渡す（ステップＳ１０４）。商品識別子を受け取ると、出力部１６は、その商品識別子を出力する（ステップＳ１０５）。このようにして、購入者が、商品Ｇ００１を手に取ったことが特定されることになる。

以上のように、本実施の形態による情報処理装置１によれば、撮影画像に含まれる商品について取得した商品関連情報を用いて商品識別子候補を取得することができ、画像認識を行う商品を、商品関連情報を用いて絞り込むことができる。そのため、画像認識用情報の精度が高くなかったとしても、絞り込まれた商品について画像認識を行って商品を特定することができ、より正確な商品の特定を実現することができる。また、画像認識を行う商品が絞り込まれているため、画像認識の処理負担を軽減することもでき、場合によっては、より短時間で画像認識を行うことができるようになる。

なお、取得部１２は、商品が陳列されている位置を示す位置情報である商品関連情報を取得してもよい。位置情報の取得が行われる場合には、商品対応情報においても、商品識別子に、位置情報である商品関連情報が対応付けられていることが好適である。通常、店舗における棚割りの情報はわかっているため、位置情報と商品識別子とを対応付けることができる。位置情報である商品関連情報は、例えば、商品の陳列棚に配置された値札を用いて取得されてもよい。この場合には、例えば、陳列棚の値札に表示されている商品名と、その商品が陳列されている棚を識別する棚識別子とを対応付ける情報が、記憶部１３で記憶されており、その情報を用いて、商品に対応する位置情報である棚識別子が取得されてもよい。また、位置情報である商品関連情報は、例えば、商品の陳列棚に表示されている陳列棚の棚識別子であってもよい。この場合には、例えば、棚識別子に対応するバーコードや二次元コードなどのコード情報が陳列棚に表示されており、撮影画像に含まれるコード情報を読み取ることによって棚識別子が取得されてもよい。また、撮影画像に陳列棚の全体が含まれる場合には、位置情報は、商品の陳列されている棚の位置（例えば、上から３番目の棚など）を示す情報を含んでいてもよい。また、位置情報は、例えば、撮影画像に含まれる撮影位置や撮影方向を用いて取得されてもよい。この場合には、陳列棚のレイアウト情報と、撮影位置や撮影方向とを用いて、撮影画像に含まれる商品が陳列されている位置を示す位置情報が取得されてもよい。値札やコード情報を用いて位置情報を取得する場合には、通常、正確な位置情報を取得することができるため、その位置情報の信頼度は高くなる。一方、撮影位置や撮影方向を用いて位置情報を取得する場合には、位置情報の信頼度は、撮影位置や撮影方向の誤差に応じた値であってもよい。この場合には、誤差が大きいほど、信頼度がより低くなる。

（実施の形態２）
本発明の実施の形態２による情報処理装置及び情報処理方法について、図面を参照しながら説明する。本実施の形態による情報処理装置及び情報処理方法は、候補特定部によって特定された商品識別子候補と、画像認識部による画像認識の結果とを用いて、特定対象の商品の商品識別子を特定するものである。

図６は、本実施の形態による情報処理装置２の構成を示すブロック図である。本実施の形態による情報処理装置２は、受付部１１と、取得部１２と、記憶部１３と、候補特定部１４と、画像認識部２１と、特定部２２と、出力部２３とを備える。なお、画像認識部２１、特定部２２、出力部２３以外の構成及び動作は、実施の形態１の情報処理装置１と同様であり、その詳細な説明を省略する。また、記憶部１３では、商標ごとの画像認識用情報に代えて、すべての商品に関する画像認識用情報が記憶されていてもよい。

画像認識部２１は、撮影画像に含まれる商品関連情報が取得された商品について、画像認識を行って商品識別子を特定する。この画像認識は、実施の形態１のように、商品識別子候補で識別される商品に関する画像認識ではなく、すべての商品に関する画像認識である。したがって、画像認識部２１によって、特定対象の商品が特定されることになる。画像認識部２１による画像認識は、実施の形態１の画像認識部１５による画像認識と同様に、精度が高くない画像認識であってもよい。なお、画像認識部２１は、例えば、１個の商品識別子を特定してもよく、２個以上の商品識別子を特定してもよい。画像認識部２１による画像認識の結果が間違えている可能性を考慮すると、画像認識部２１は、２個以上の商品識別子を特定することが好適である。すなわち、特定対象の商品の商品識別子として、最も可能性の高い商品識別子から順番に、Ｎ番目に可能性の高い商品識別子までのＮ個の商品識別子が特定されてもよい。なお、Ｎは、２以上の整数である。

画像認識部２１は、実施の形態１の画像認識部１５と同様に、撮影画像に含まれる商品関連情報が取得された商品の領域を特定する情報を、取得部１２から受け取ってもよい。そして、画像認識部１５は、その受け取った情報によって特定される、撮影画像における領域の商品について、画像認識の処理を行ってもよい。

特定部２２は、画像認識部２１によって取得された商品識別子、及び候補特定部１４によって特定された１以上の商品識別子候補を用いて、撮影画像に含まれる商品関連情報が取得された商品の商品識別子を特定する。特定部２２は、例えば、画像認識部２１によって取得された商品識別子と、候補特定部１４によって特定された商品識別子候補とにおいて重複している商品識別子を、商品関連情報が取得された商品の商品識別子として特定してもよい。例えば、画像認識部２１によって取得された商品識別子が１個であり、候補特定部１４によって特定された商品識別子候補に画像認識部２１によって取得された商品識別子が含まれる場合には、その商標識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。また、例えば、画像認識部２１によって取得された商品識別子が２個以上であり、候補特定部１４によって特定された商品識別子候補に画像認識部２１によって取得された商品識別子が１個だけ含まれる場合には、その１個の商標識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。また、例えば、画像認識部２１によって取得された商品識別子が２個以上であり、候補特定部１４によって特定された２個以上の商品識別子候補に画像認識部２１によって取得された商品識別子が２個以上含まれる場合には、その２個以上の商標識別子のうち、画像認識において最も可能性が高いと判断された商標識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。

出力部２３は、特定部２２によって特定された商品識別子を出力する。なお、画像認識部１５によって特定された商品識別子に代えて、特定部２２によって特定された商品識別子が出力される以外は、出力部２３は、実施の形態１の出力部１６と同様のものであり、その詳細な説明を省略する。

次に、情報処理装置２の動作について図７のフローチャートを用いて説明する。なお、ステップＳ１０１～Ｓ１０３の処理は、図２のフローチャートと同様であり、その説明を省略する。

（ステップＳ２０１）画像認識部２１は、商品関連情報の取得対象の商品について、画像認識を行って商品識別子を特定する。

（ステップＳ２０２）特定部２２は、ステップＳ１０３で特定された商品識別子候補と、ステップＳ２０１で特定された商品識別子とを用いて、商品関連情報の取得対象の商品の商品識別子を特定する。

（ステップＳ２０３）出力部２３は、ステップＳ２０２で特定された商品識別子を出力する。この商品識別子が、商品関連情報の取得対象の商品を識別する商品識別子である。そして、ステップＳ１０１に戻る。
なお、図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以上のように、本実施の形態による情報処理装置２によれば、画像認識の結果と、商品関連情報を用いて特定された商品識別子候補とを用いて、特定対象の商品の商品識別子を特定することができる。したがって、画像認識のみによって商品を特定した場合と比較して、より精度の高い商品の特定を実現することができるようになる。

なお、上記各実施の形態では、情報処理装置１，２において、商品識別子候補を用いた処理が行われる場合について説明したが、そうでなくてもよい。商品識別子候補を用いた処理は、情報処理装置１，２以外の装置において行われてもよい。この場合には、情報処理装置１は、画像認識部１５を備えていなくてもよい。また、情報処理装置２は、画像認識部２１や特定部２２を備えていなくてもよい。また、出力部１６，２３は、候補特定部１４によって特定された商品識別子候補を出力するものであってもよい。

また、上記実施の形態では、情報処理装置１，２がサーバ・クライアントシステムにおけるサーバである場合について主に説明したが、情報処理装置１，２は、スタンドアロンの装置であってもよいことは上述のとおりである。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、情報処理装置１，２に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における情報処理装置１，２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、商品を識別する商品識別子と、商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部にアクセス可能なコンピュータを、商品の撮影画像を受け付ける受付部、撮影画像に含まれる商品に関連する商品関連情報を、撮影画像を用いて取得する取得部、商品対応情報を用いて、取得部によって取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する候補特定部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を取得する取得部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ－ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

図８は、上記プログラムを実行して、上記実施の形態による情報処理装置１，２を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図８において、コンピュータシステム９００は、ＣＤ－ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図９は、コンピュータシステム９００の内部構成を示す図である。図９において、コンピュータ９０１は、ＣＤ－ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による情報処理装置１，２の機能を実行させるプログラムは、ＣＤ－ＲＯＭ９２１に記憶されて、ＣＤ－ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ－ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ－ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による情報処理装置１，２の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。また、情報処理装置１，２が持ち運び可能な情報処理端末である場合には、コンピュータ９０１は、例えば、ＣＤ－ＲＯＭドライブ９０５を備えていなくてもよく、また、コンピュータシステム９００は、例えば、キーボード９０２、マウス９０３、モニタ９０４に代えて、タッチパネルを備えていてもよい。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明の一態様による情報処理装置等によれば、例えば、画像認識に用いる情報が高精度なものでなくても、より高い精度で商品の特定を行うことができるという効果が得られ、撮影画像に含まれる商品を特定する装置等として有用である。

１、２ 情報処理装置
１１ 受付部
１２ 取得部
１３ 記憶部
１４ 候補特定部
１５、２１ 画像認識部
１６、２３ 出力部
２２ 特定部

図６は、本実施の形態による情報処理装置２の構成を示すブロック図である。本実施の形態による情報処理装置２は、受付部１１と、取得部１２と、記憶部１３と、候補特定部１４と、画像認識部２１と、特定部２２と、出力部２３とを備える。なお、画像認識部２１、特定部２２、出力部２３以外の構成及び動作は、実施の形態１の情報処理装置１と同様であり、その詳細な説明を省略する。また、記憶部１３では、商品ごとの画像認識用情報に代えて、すべての商品に関する画像認識用情報が記憶されていてもよい。

特定部２２は、画像認識部２１によって取得された商品識別子、及び候補特定部１４によって特定された１以上の商品識別子候補を用いて、撮影画像に含まれる商品関連情報が取得された商品の商品識別子を特定する。特定部２２は、例えば、画像認識部２１によって取得された商品識別子と、候補特定部１４によって特定された商品識別子候補とにおいて重複している商品識別子を、商品関連情報が取得された商品の商品識別子として特定してもよい。例えば、画像認識部２１によって取得された商品識別子が１個であり、候補特定部１４によって特定された商品識別子候補に画像認識部２１によって取得された商品識別子が含まれる場合には、その商品識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。また、例えば、画像認識部２１によって取得された商品識別子が２個以上であり、候補特定部１４によって特定された商品識別子候補に画像認識部２１によって取得された商品識別子が１個だけ含まれる場合には、その１個の商品識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。また、例えば、画像認識部２１によって取得された商品識別子が２個以上であり、候補特定部１４によって特定された２個以上の商品識別子候補に画像認識部２１によって取得された商品識別子が２個以上含まれる場合には、その２個以上の商品識別子のうち、画像認識において最も可能性が高いと判断された商品識別子が、撮影画像に含まれる商品関連情報が取得された商品の商品識別子として特定されてもよい。

Claims (11)

1. 商品の撮影画像を受け付ける受付部と、
   前記撮影画像に含まれる商品に関連する商品関連情報を、前記撮影画像を用いて取得する取得部と、
   商品を識別する商品識別子と、当該商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部と、
   前記商品対応情報を用いて、前記取得部によって取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する候補特定部と、を備えた情報処理装置。
2. 前記取得部は、商品のサイズを示すサイズ情報である商品関連情報を取得する、請求項１記載の情報処理装置。
3. 前記取得部は、商品の色に関する色情報である商品関連情報を取得する、請求項１または請求項２記載の情報処理装置。
4. 前記取得部は、商品の形状を示す形状情報である商品関連情報を取得する、請求項１から請求項３のいずれか記載の情報処理装置。
5. 前記取得部は、商品に表示された文字を示す文字情報である商品関連情報を取得する、請求項１から請求項４のいずれか記載の情報処理装置。
6. 前記取得部は、商品が陳列されている位置を示す位置情報である商品関連情報を取得する、請求項１から請求項５のいずれか記載の情報処理装置。
7. 前記取得部は、２種類以上の商品関連情報と、当該２種類以上の商品関連情報ごとの信頼度とを取得し、
   前記候補特定部は、前記取得部によって取得された２種類以上の商品関連情報に対応する商品識別子が存在しない場合に、前記取得部によって取得された２種類以上の商品関連情報のうち、信頼度の高い商品関連情報を用いて商品識別子候補を特定する、請求項１から請求項６のいずれか記載の情報処理装置。
8. 前記撮影画像に含まれる商品関連情報が取得された商品について、前記候補特定部によって特定された１以上の商品識別子候補で識別される商品に関する画像認識を行って商品識別子を特定する画像認識部と、
   前記画像認識部によって特定された商品識別子を出力する出力部と、をさらに備えた、請求項１から請求項７のいずれか記載の情報処理装置。
9. 前記撮影画像に含まれる商品関連情報が取得された商品について、画像認識を行って商品識別子を特定する画像認識部と、
   前記画像認識部によって取得された商品識別子、及び前記候補特定部によって特定された１以上の商品識別子候補を用いて、前記撮影画像に含まれる商品関連情報が取得された商品の商品識別子を特定する特定部と、
   前記特定部によって特定された商品識別子を出力する出力部と、をさらに備えた、請求項１から請求項７のいずれか記載の情報処理装置。
10. 受付部と、取得部と、商品を識別する商品識別子と当該商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部と、候補特定部とを用いて処理される情報処理方法であって、
    前記受付部が、商品の撮影画像を受け付けるステップと、
    前記取得部が、前記撮影画像に含まれる商品に関連する商品関連情報を、前記撮影画像を用いて取得するステップと、
    前記候補特定部が、前記商品対応情報を用いて、前記商品関連情報を取得するステップにおいて取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定するステップと、を備えた情報処理方法。
11. 商品を識別する商品識別子と、当該商品に関連する商品関連情報とを対応付ける商品対応情報が複数記憶される記憶部にアクセス可能なコンピュータを、
    商品の撮影画像を受け付ける受付部、
    前記撮影画像に含まれる商品に関連する商品関連情報を、前記撮影画像を用いて取得する取得部、
    前記商品対応情報を用いて、前記取得部によって取得された商品関連情報に対応する商品識別子である１以上の商品識別子候補を特定する候補特定部として機能させるためのプログラム。

Images