JP2021015368A - 物品推定プログラム、物品推定装置、及び物品推定方法 - Google Patents

Abstract

【課題】複数の物品を撮影した画像に写っている物品の推定精度を向上させる。【解決手段】コンピュータは、画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で複数の物品それぞれが写っている物品領域と、物品領域に写っている物品とを推定する。次に、コンピュータは、処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、特定の物品の推定結果を補正する。【選択図】図６

Description

本発明は、物品推定プログラム、物品推定装置、及び物品推定方法に関する。

スーパーマーケット、コンビニエンスストア等の店舗の陳列棚に陳列されている商品を識別する商品識別システムが知られている（例えば、特許文献１を参照）。この商品識別システムでは、商品画像から算出される商品特徴情報を学習することで商品マスターデータが生成され、商品マスターデータを用いて、陳列棚の画像データから検出された商品が識別される。

例えば、複数の店舗における商品の識別結果を売上データとともに収集することで、商品の識別結果をビッグデータ解析に利用することが可能になる。

特開２０１５−２１０６５１号公報

機械学習により生成される学習モデルを用いて、店舗等の棚を撮影した画像に写っている商品を推定する際、商品を正しく推定することが困難な場合がある。

なお、かかる問題は、店舗等の棚に陳列された商品を推定する場合に限らず、様々な場所に置かれた物品を推定する場合において生ずるものである。

１つの側面において、本発明は、複数の物品を撮影した画像に写っている物品の推定精度を向上させることを目的とする。

１つの案では、物品推定プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で複数の物品それぞれが写っている物品領域と、物品領域に写っている物品とを推定する。
（２）コンピュータは、処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、特定の物品の推定結果を補正する。

１つの側面によれば、複数の物品を撮影した画像に写っている物品の推定精度を向上させることができる。

ボトルに対する推定結果を示す図である。 物品推定装置の機能的構成図である。 物品推定処理のフローチャートである。 物品推定装置の具体例を示す機能的構成図である。 学習処理を示す図である。 物品推定処理を示す図である。 画像から検出された直線を示す図である。 ボトルの矩形領域を示す図である。 文字列を示す図である。 物品推定処理の具体例を示すフローチャートである。 サイズ推定処理のフローチャートである。 文字列抽出処理のフローチャートである。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
機械学習により生成される学習モデルを用いて、店舗等の棚を撮影した画像に写っている商品を推定する場合、商品名だけではなく、商品のサイズ、同一ブランドの類似商品等も含めて識別できることが望ましい。商品のサイズは、縦横の長さ、体積、容量、重量等を含む。例えば、ペットボトル飲料の場合、ペットボトルの容量が商品のサイズに該当する。以下では、ペットボトルを指して単に「ボトル」と記載することがある。

棚の画像は、スマートフォン、タブレット等の携帯端末装置を用いて撮影されることが多いため、撮影位置と棚に陳列された商品との位置関係によっては、学習モデルで商品を推定することが困難な場合がある。特に、商品のサイズを正しく推定することは困難である。

また、機械学習の教師データとして、サイズを含む商品情報とサイズを含まない商品情報とが混在している場合、識別対象の商品の画像特徴のみに基づいて、その商品のサイズを推定すると、必ずしも正しい推定結果が得られるとは限らない。

図１は、ペットボトル飲料であるお茶のボトルに対する推定結果の例を示している。図１の画像には、店舗の棚に陳列されたお茶のボトルが写っており、各ボトルが写っている物品領域の推定結果として、矩形領域１０１−１〜矩形領域１０１−６が抽出されている。矩形領域１０１−１〜矩形領域１０１−６それぞれに写っている商品の推定結果としては、例えば、以下のような推定結果が得られる。

Ｒ１ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．７
Ｒ２ 商品名：Ａ茶 容量：５００ｍｌ 尤度：０．６
Ｒ３ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．６
Ｒ４ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．８
Ｒ５ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．８
Ｒ６ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．９

推定結果Ｒ１〜推定結果Ｒ６は、矩形領域１０１−１〜矩形領域１０１−６それぞれに写っている商品の推定結果を表し、商品名、容量、及び推定の尤度を含む。

例えば、矩形領域１０１−１のボトルの推定結果Ｒ１に含まれる商品名は“Ａ茶”であり、容量は“２５０ｍｌ”であり、尤度は“０．７”である。矩形領域１０１−２のボトルの推定結果Ｒ２に含まれる商品名は“Ａ茶”であり、容量は“５００ｍｌ”であり、尤度は“０．６”である。

この例では、棚に陳列されたボトルの容量がすべて２５０ｍｌであるため、推定結果Ｒ２の“５００ｍｌ”は、容量に対する誤った推定結果を表している。したがって、推定結果Ｒ２の“５００ｍｌ”を、正しい容量である“２５０ｍｌ”に修正することが望ましい。

図２は、実施形態の物品推定装置の機能的構成例を示している。図２の物品推定装置２０１は、記憶部２１１、推定部２１２、補正部２１３、及び出力部２１４を含む。記憶部２１１は、画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデル２２１と、複数の物品を撮影した処理対象画像２２２とを記憶する。推定部２１２及び補正部２１３は、推定モデル２２１及び処理対象画像２２２を用いて物品推定処理を行う。

図３は、図２の物品推定装置２０１が行う物品推定処理の例を示すフローチャートである。まず、推定部２１２は、推定モデル２２１に基づいて、処理対象画像２２２内で複数の物品それぞれが写っている物品領域と、物品領域に写っている物品とを推定する（ステップ３０１）。

次に、補正部２１３は、処理対象画像２２２内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、残りの物品領域に写っている物品の推定結果に近づくように、特定の物品の推定結果を補正する（ステップ３０２）。そして、出力部２１４は、特定の物品の補正後の推定結果と、残りの物品領域に写っている物品の推定結果とを出力する（ステップ３０３）。

図２の物品推定装置２０１によれば、複数の物品を撮影した画像に写っている物品の推定精度を向上させることができる。

図４は、図２の物品推定装置２０１の具体例を示している。図４の物品推定装置４０１は、記憶部４１１、画像取得部４１２、学習部４１３、推定部４１４、文字認識部４１５、補正部４１６、及び出力部４１７を含む。記憶部４１１、推定部４１４、補正部４１６、及び出力部４１７は、図２の記憶部２１１、推定部２１２、補正部２１３、及び出力部２１４にそれぞれ対応する。

撮像装置４０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、所定の場所に置かれた物品の画像を撮影する。撮像装置４０２は、スマートフォン、タブレット等の携帯端末装置であってもよい。

所定の場所は店舗の棚であってもよく、工場又は倉庫のラックであってもよい。物品は、店舗の棚に陳列された商品であってもよく、工場又は倉庫のラックに置かれた製品、部品、装置等であってもよい。商品は、飲料、食品、衣料品、日用品等であってもよい。

撮像装置４０２は、通信ネットワークを介して、撮影した画像を物品推定装置４０１へ送信することができる。画像取得部４１２は、通信ネットワークを介して、撮像装置４０２が出力する画像を取得し、処理対象画像４２３として記憶部４１１に格納する。処理対象画像４２３は、図２の処理対象画像２２２に対応する。

記憶部４１１は、学習データとして用いられる画像集合４２１を記憶している。画像集合４２１に含まれる複数の画像は、処理対象画像４２３に写っている物品と同様の物品を撮影した画像であり、事前に用意される。これらの画像は、撮像装置４０２によって撮影された画像であってもよく、別の撮像装置によって撮影された画像であってもよい。

学習部４１３は、画像集合４２１に対する学習処理を行うことで推定モデル４２２を生成する。推定モデル４２２は、画像に写っている物品を推定する学習モデルであり、図２の推定モデル２２１に対応する。推定モデル４２２としては、ニューラルネットワーク、サポートベクタマシン、決定木等を用いることができる。

図５は、物品推定装置４０１が行う学習処理の例を示している。画像集合４２１に含まれる画像５０１には、ボトル５０２−１〜ボトル５０２−７が写っている。ボトル５０２−ｉ（ｉ＝１〜７）は、店舗の棚に陳列されたお茶、水等の飲料のボトルである。ボトル５０２−１及びボトル５０２−２は、棚の上段に陳列されており、ボトル５０２−３〜ボトル５０２−７は、棚の下段に陳列されている。

画像５０１に対する教師データ（正解データ）は、各ボトル５０２−ｉを示す分類情報と、各ボトル５０２−ｉが写っている物品領域を示す領域情報と、各ボトル５０２−ｉの角度を示す角度情報とを含む。

分類情報は、商品名、サイズ（容量）等を含む。ボトル５０２−１〜ボトル５０２−７それぞれの領域情報は、画像５０１内における矩形領域５０３−１〜矩形領域５０３−７それぞれの座標を表す。

角度情報は、画像５０１を撮影した撮像装置の撮影方向に対する、ボトル５０２−ｉの特徴が表れている方向の角度を表す。ボトル５０２−ｉの形状はほとんどが類似しているため、ボトル５０２−ｉの特徴は、ボトル５０２−ｉ上のラベルに表示された商品名に表れていることが多い。この場合、商品名が表示されている面の法線方向が、ボトル５０２−ｉの特徴が表れている方向となる。

しかし、ボトル５０２−ｉが段上で回転することによって、商品名が表示されている面も回転するため、矩形領域５０３−ｉ内の画像特徴が大きく変化する。このため、ボトル５０２−ｉの角度を区別せずに単一の分類として学習すると、回転によって維持される画像特徴のみが学習される傾向が大きくなり、推定モデル４２２が有意な特徴抽出器になりにくい。

そこで、教師データに角度情報を含めておき、ボトル５０２−ｉの角度毎に異なるラベルの平面的な画像特徴を学習することで、様々な角度で陳列されたボトル５０２−ｉを、推定モデル４２２により精度良く推定することが可能になる。

例えば、ボトル５０２−２の教師データ５１１において、商品名は“Ａ茶 緑茶”であり、容量は“３２０ｍｌ”であり、矩形領域５０３−２の座標は（ｘｍｉｎ２，ｙｍｉｎ２，ｘｍａｘ２，ｙｍａｘ２）であり、角度は“３５０°”である。ｘ座標は、画像５０１の水平方向の座標であり、ｙ座標は、画像５０１の垂直方向の座標である。ｘｍｉｎ２は、矩形領域５０３−２のｘ座標の最小値を表し、ｙｍｉｎ２は、矩形領域５０３−２のｙ座標の最小値を表し、ｘｍａｘ２は、矩形領域５０３−２のｘ座標の最大値を表し、ｙｍａｘ２は、矩形領域５０３−２のｙ座標の最大値を表す。

また、ボトル５０２−７の教師データ５１２において、商品名は“Ａ茶 緑茶”であり、容量は“５２５ｍｌ”であり、矩形領域５０３−７の座標は（ｘｍｉｎ７，ｙｍｉｎ７，ｘｍａｘ７，ｙｍａｘ７）であり、角度は“２０°”である。ｘｍｉｎ７は、矩形領域５０３−７のｘ座標の最小値を表し、ｙｍｉｎ７は、矩形領域５０３−７のｙ座標の最小値を表し、ｘｍａｘ７は、矩形領域５０３−７のｘ座標の最大値を表し、ｙｍａｘ７は、矩形領域５０３−７のｙ座標の最大値を表す。

ボトル５０２−１及びボトル５０２−３〜ボトル５０２−６の教師データについても、ボトル５０２−２及びボトル５０２−７の教師データと同様である。画像集合４２１に含まれる他の画像に対しても、画像５０１と同様の教師データが与えられる。

学習部４１３は、教師データを用いて画像集合４２１に対する学習処理を行うことで、様々な角度で陳列されたボトルの矩形領域及び分類情報を推定する、推定モデル４２２を生成することができる。

推定部４１４は、推定モデル４２２を用いて、処理対象画像４２３内で各物品が写っている物品領域４２４と、各物品領域４２４に写っている物品とを推定する。そして、推定部４１４は、各物品領域４２４及び各物品の推定結果４２５を、記憶部４１１に格納する。

例えば、処理対象画像４２３が、複数の段を有する棚に陳列された所定数の商品を撮影した画像であり、各段上に複数の商品が陳列されている場合、同じ段上に陳列されている複数の商品のサイズは近似していることが多い。

特定の段上の複数の商品のサイズが同一であるにもかかわらず、特定の物品領域に写っている特定の商品のサイズの推定結果４２５が、残りの物品領域に写っている商品のサイズの推定結果４２５と異なることがあり得る。この場合、特定の商品のサイズの推定結果４２５が誤っている可能性が高い。

そこで、補正部４１６は、各物品領域４２４を用いて、複数の段それぞれの水平面に対応する直線を処理対象画像４２３から検出する。次に、補正部４１６は、特定の段の水平面に対応する直線に基づいて、その段上の商品が写っている複数の物品領域４２４を選択する。そして、補正部４１６は、それらの物品領域４２４に写っている商品のうち、特定の商品のサイズの推定結果４２５が、残りの物品領域４２４に写っている商品のサイズの推定結果４２５に近づくように、特定の商品の推定結果４２５を補正する。

文字認識部４１５は、各物品領域４２４に対する光学文字認識（Optical Character Recognition，ＯＣＲ）を行って、各物品領域４２４から文字列４２６を抽出し、文字列４２６を記憶部４１１に格納する。例えば、商品の表面に商品名が表示されている場合、その商品名を示す文字列４２６が抽出される。この場合、補正部４１６は、各物品領域４２４の商品の推定結果４２５に含まれる商品名の文字列が、その物品領域４２４から抽出された文字列４２６に近づくように、商品の推定結果４２５を補正する。

出力部４１７は、各物品領域４２４の商品の推定結果４２５を出力する。推定結果４２５が補正されている場合、補正後の推定結果４２５が出力される。

図６は、物品推定装置４０１が行う物品推定処理の例を示している。処理対象画像６０１には、ボトル６０２−１〜ボトル６０２−７が写っている。ボトル６０２−ｉ（ｉ＝１〜７）は、店舗の棚に陳列されたお茶、水等の飲料のボトルである。ボトル６０２−１及びボトル６０２−２は、棚の上段に陳列されており、ボトル６０２−３〜ボトル６０２−７は、棚の下段に陳列されている。この場合、以下の手順で物品推定処理が行われる。

Ｐ１：推定部４１４は、推定モデル４２２を用いて、処理対象画像６０１内で各ボトル６０２−ｉが写っている物品領域と、各物品領域に写っているボトル６０２−ｉの分類情報とを推定する。これにより、ボトル６０２−１〜ボトル６０２−７それぞれの物品領域の推定結果として、矩形領域６０３−１〜矩形領域６０３−７それぞれの座標が求められる。

Ｐ２：補正部４１６は、矩形領域６０３−１〜矩形領域６０３−７の座標を用いて、棚の各段の水平面に対応する直線を処理対象画像６０１から検出する。例えば、補正部４１６は、矩形領域６０３−１〜矩形領域６０３−７の下端の座標をハフ（Hough）変換によって変換することで、上段の水平面に対応する直線６１１と、下段の水平面に対応する直線６１２とを検出することができる。

直線６１１は、矩形領域６０３−１及び矩形領域６０３−２の下端付近の点を通過する直線であり、直線６１２は、矩形領域６０３−３〜矩形領域６０３−７の下端付近の点を通過する直線である。補正部４１６は、ＬＳＤ（Line Segment Detector）等の他の直線検出法により、直線６１１及び直線６１２を検出してもよい。

Ｐ３：補正部４１６は、矩形領域６０３−１〜矩形領域６０３−７の座標と、検出された直線とを用いて、段毎に矩形領域６０３−ｉを選択し、同じ段に陳列されている１本以上のボトルの推定結果をグループ化する。これにより、上段のボトル６０２−１の推定結果６１３−１とボトル６０２−２の推定結果６１３−２とがグループ化される。同様に、下段のボトル６０２−３〜ボトル６０２−７の推定結果もグループ化される。

例えば、各ボトル６０２−ｉの推定結果は、商品を示す複数の候補情報を含み、各候補情報は、商品名、容量、及び推定の尤度を含む。各推定結果に含まれる複数の候補情報は、尤度の降順に順位付けされている。

補正部４１６は、特定のグループ内の特定のボトルの推定結果において、最上位の候補情報が、同じグループ内の残りのボトルに対する最上位の候補情報と異なる場合、そのグループ内の推定結果の尤度を補正する。この場合、特定のボトルの推定結果における最上位の候補情報の順位が下がるように、尤度が補正される。

これにより、他のボトルに対する最上位の候補情報と異なる候補情報の順位が下がり、別の候補情報が最上位に順位付けされるため、特定のボトルに対する最上位の候補情報が他のボトルに対する最上位の候補情報と一致する確率が高くなる。したがって、特定のグループ内の各ボトルの推定結果において、最上位の候補情報を揃えることが可能になる。

例えば、補正部４１６は、特定のグループ内の特定のボトルの推定結果において、最上位の候補情報の容量が、同じグループ内の残りのボトルに対する最上位の候補情報の容量と異なる場合、そのグループ内の推定結果の尤度を補正する。これにより、特定のグループ内の各ボトルの推定結果において、最上位の候補情報の容量を揃えることが可能になる。

Ｐ４：文字認識部４１５は、ＯＣＲにより各矩形領域６０３−ｉから文字列を抽出する。この例では、矩形領域６０３−３から、ボトル６０２−３の商品名を示す文字列６１４が抽出されている。

補正部４１６は、各矩形領域６０３−ｉから抽出された文字列を、ボトル６０２−ｉの推定結果に含まれる各候補情報の商品名と比較する。そして、補正部４１６は、抽出された文字列が、最上位以外の順位の候補情報の商品名に含まれる文字列と一致する場合、ボトル６０２−ｉの推定結果の尤度を補正する。この場合、最上位以外の順位の候補情報の順位が上がるように、尤度が補正される。

これにより、プライベートブランド商品等のように、ボトルの形状が類似しており、商品名のみが異なっている複数のボトルが、同じ段上に混在している場合であっても、精度良くボトルを推定することが可能になる。

次に、図１に示した画像が処理対象画像４２３である場合の物品推定処理の例について説明する。この例では、矩形領域１０１−１〜矩形領域１０１−６それぞれに写っているボトルの推定結果４２５として、以下のような推定結果が得られる。

Ｒ１１ 順位１ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．７
順位２ 商品名：Ａ茶 容量：５００ｍｌ 尤度：０．２
順位３ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．１
Ｒ１２ 順位１ 商品名：Ａ茶 容量：５００ｍｌ 尤度：０．６
順位２ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．３
順位３ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．１
Ｒ１３ 順位１ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．６
順位２ 商品名：Ａ茶 容量：５００ｍｌ 尤度：０．４
Ｒ１４ 順位１ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．８
順位２ 商品名：Ｂ茶 容量：５００ｍｌ 尤度：０．２
Ｒ１５ 順位１ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．８
順位２ 商品名：Ｂ茶 容量：５００ｍｌ 尤度：０．１
順位３ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．１
Ｒ１６ 順位１ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．９
順位２ 商品名：Ｂ茶 容量：５００ｍｌ 尤度：０．１

推定結果Ｒ１１〜推定結果Ｒ１６は、矩形領域１０１−１〜矩形領域１０１−６それぞれに写っているボトルの推定結果４２５を表す。推定結果Ｒ１１、推定結果Ｒ１２、及び推定結果Ｒ１５は、順位１〜順位３の３個の候補情報を含み、推定結果Ｒ１３、推定結果Ｒ１４、及び推定結果Ｒ１６は、順位１及び順位２の２個の候補情報を含む。各候補情報は、商品名、容量、及び推定の尤度を含み、各推定結果に含まれる複数の候補情報の尤度の総和は１である。

推定結果Ｒ１１〜推定結果Ｒ１６それぞれの順位１（最上位）の候補情報は、上述した推定結果Ｒ１〜推定結果Ｒ６と一致している。

図７は、図１に示した画像から検出された直線の例を示している。この例では、矩形領域１０１−１〜矩形領域１０１−６の下端付近の点を通過する直線７０１が検出されている。この場合、矩形領域１０１−１〜矩形領域１０１−６の下端と直線７０１との距離が一定値以下であるため、これらの矩形領域に写っている６本のボトルが同じ段に陳列されているとみなされ、推定結果Ｒ１１〜推定結果Ｒ１６がグループ化される。

補正部４１６は、推定結果Ｒ１１〜推定結果Ｒ１６における順位１の候補情報の容量を比較する。この場合、推定結果Ｒ１１及び推定結果Ｒ１３〜推定結果Ｒ１６の順位１の容量は“２５０ｍｌ”であり、推定結果Ｒ１２の順位１の容量は“５００ｍｌ”である。したがって、推定結果Ｒ１２の順位１の容量は、残りの推定結果の順位１の容量と異なっている。

そこで、補正部４１６は、推定結果Ｒ１１〜推定結果Ｒ１６の順位１の容量の統計値を計算する。統計値としては、平均値、最頻値等を用いることができる。例えば、順位１の容量の平均値Ｍ（ｍｌ）は、次式により計算される。

Ｍ＝（２５０＋５００＋２５０＋２５０＋２５０＋２５０）／６＝２９１

平均値Ｍは５００ｍｌよりも２５０ｍｌの方に近いため、補正部４１６は、この段に陳列されているボトルの推定容量を２５０ｍｌに決定する。そこで、補正部４１６は、推定容量と一致しない推定結果Ｒ１２において、順位１の尤度を半減させ、減少した分の値を順位１以外の順位の尤度に対して均等に分配する。そして、補正部４１６は、推定結果Ｒ１２の候補情報を、変更後の尤度の降順に並べ替える。これにより、推定結果Ｒ１２が次のように補正される。

Ｒ１２ 順位１ 商品名：Ａ茶 容量：２５０ｍｌ 尤度：０．４５
順位２ 商品名：Ａ茶 容量：５００ｍｌ 尤度：０．３
順位３ 商品名：Ｂ茶 容量：２５０ｍｌ 尤度：０．２５

補正後の推定結果Ｒ１２では、補正前の順位１の候補情報が順位２に下がっており、補正前の順位２の候補情報が順位１に上がっている。したがって、補正前の順位１の“５００ｍｌ”が正しい容量である“２５０ｍｌ”に修正されている。補正前の順位３の候補情報は、順位３のままである。

出力部４１７は、推定結果Ｒ１１及び推定結果Ｒ１３〜推定結果Ｒ１６とともに、補正後の推定結果Ｒ１２を出力する。このとき、出力部４１７は、各推定結果に含まれる順位１の候補情報のみを出力してもよい。

次に、物品領域４２４から抽出された文字列を用いて推定結果４２５を補正する処理の例について説明する。

図８は、形状及びラベルの色が類似しており、商品名が異なる２本のボトルの矩形領域の例を示している。矩形領域８０１に写っているボトルの商品名は“ＸＸブランド ゆずれもん”であり、矩形領域８０２に写っているボトルの商品名は“ＸＸブランド レモン”である。この例では、矩形領域８０２に写っているボトルの推定結果４２５として、以下のような推定結果が得られる。

順位１ 商品名：ＸＸブランド ゆずれもん 尤度：０．７
順位２ 商品名：ＸＸブランド レモン 尤度：０．３

この場合、順位１の候補情報に含まれる商品名は“ＸＸブランド ゆずれもん”であり、正しい商品名である“ＸＸブランド レモン”と一致していない。

図９は、図８の矩形領域８０１及び矩形領域８０２から抽出された文字列の例を示している。文字認識部４１５は、ＯＣＲにより、矩形領域８０１から文字列９０１を抽出し、矩形領域８０２から文字列９０２を抽出する。文字列９０１は“ゆずれもん”であり、文字列９０２は“レモン”である。

補正部４１６は、各矩形領域から抽出された文字列を、その矩形領域のボトルの推定結果に含まれる各候補情報の商品名と比較する。矩形領域８０２から抽出された文字列９０２は、順位１の商品名に含まれる“ゆずれもん”とは一致せず、順位２の商品名に含まれる“レモン”と一致する。

そこで、補正部４１６は、順位２の尤度を２倍にし、増加した分の値を順位２以外の順位の尤度から減算する。そして、補正部４１６は、推定結果の候補情報を、変更後の尤度の降順に並べ替える。これにより、推定結果が次のように補正される。

順位１ 商品名：ＸＸブランド レモン 尤度：０．６
順位２ 商品名：ＸＸブランド ゆずれもん 尤度：０．４

補正後の推定結果では、補正前の順位１の候補情報が順位２に下がっており、補正前の順位２の候補情報が順位１に上がっている。したがって、補正前の順位１の“ＸＸブランド ゆずれもん”が正しい商品名である“ＸＸブランド レモン”に修正されている。

図１０は、図４の物品推定装置４０１が行う物品推定処理の具体例を示すフローチャートである。まず、推定部４１４は、推定モデル４２２を用いて矩形推定処理を行う（ステップ１００１）。これにより、処理対象画像４２３内で各物品が写っている物品領域４２４である矩形領域が推定され、各矩形領域に写っている物品の推定結果４２５が生成される。

次に、補正部４１６は、各矩形領域の下端のみを表す画像を生成し（ステップ１００２）、その画像に対してハフ変換を行うことで、物品が置かれている水平面に対応する直線を検出する（ステップ１００３）。

これにより、検出された直線を用いて、同じ水平面上に置かれている複数の物品それぞれの矩形領域を特定し、それらの物品の推定結果４２５をグループ化することが可能になる。

次に、補正部４１６は、検出された複数の直線各々についてサイズ推定処理を行う（ステップ１００４）。そして、すべての直線についてサイズ推定処理が終了すると、物品推定装置４０１は、文字列抽出処理を行う（ステップ１００５）。

図１１は、図１０のステップ１００４におけるサイズ推定処理の例を示すフローチャートである。まず、補正部４１６は、処理対象画像４２３内の複数の矩形領域各々について、ステップ１１０１及びステップ１１０２の処理を行う。

ステップ１１０１において、補正部４１６は、矩形領域の下端と直線の距離を一定値と比較する。矩形領域の下端と直線の距離が一定値よりも大きい場合（ステップ１１０１，ＮＯ）、補正部４１６は、次の矩形領域について、ステップ１１０１以降の処理を繰り返す。

一方、矩形領域の下端と直線の距離が一定値以下である場合（ステップ１１０１，ＹＥＳ）、補正部４１６は、その矩形領域に写っている物品の推定結果４２５を、その直線に対応付けられた矩形リストに追加する（ステップ１１０２）。矩形リストは、直線に対応する水平面上に置かれた物品のグループを表している。

すべての矩形領域についてステップ１１０１及びステップ１１０２の処理が終了すると、補正部４１６は、複数の矩形リストそれぞれについて、矩形リストに含まれる複数の推定結果４２５から、最上位のサイズの統計値を計算する（ステップ１１０３）。そして、補正部４１６は、計算された統計値から、そのグループの水平面上に置かれた物品の推定サイズを決定する。

次に、補正部４１６は、複数の矩形リスト各々について、最上位のサイズが推定サイズと一致しない推定結果４２５を特定し、最上位の候補情報の順位が下がるように、各候補情報の尤度を補正する（ステップ１１０４）。これにより、特定された推定結果４２５に含まれる各候補情報の順位が補正される。矩形リスト内のすべての推定結果４２５の最上位のサイズが推定サイズと一致する場合、推定結果４２５の補正は行われない。

図１１のサイズ推定処理によれば、各矩形リストにおいて、推定サイズと異なるサイズを含む最上位の候補情報の順位が下がり、別の候補情報が最上位に順位付けされるため、最上位の候補情報が推定サイズと一致する確率が高くなる。したがって、矩形リスト内の各物品の推定結果４２５において、最上位の候補情報のサイズを揃えることが可能になる。

図１２は、図１０のステップ１００５における文字列抽出処理の例を示すフローチャートである。まず、文字認識部４１５は、ＯＣＲにより、処理対象画像４２３内の複数の矩形領域それぞれから文字列４２６を抽出する（ステップ１２０１）。

次に、補正部４１６は、検出された複数の文字列４２６各々について、ステップ１２０２及びステップ１２０３の処理を行う。ステップ１２０２において、補正部４１６は、文字列４２６を含む矩形領域を特定する。

次に、ステップ１２０３において、補正部４１６は、文字列４２６を、特定された矩形領域の物品の推定結果４２５に含まれる各候補情報の商品名と比較する。最上位の候補情報の商品名が文字列４２６と一致しない場合、補正部４１６は、文字列４２６と一致する商品名を含む候補情報の順位が上がるように、各候補情報の尤度を補正する。これにより、推定結果４２５に含まれる各候補情報の順位が補正される。最上位の候補情報の商品名が文字列４２６と一致する場合、推定結果４２５の補正は行われない。

図１２の文字列抽出処理によれば、商品の形状が類似しており、商品名のみが異なっている複数の商品が、同じ水平面上に混在している場合であっても、精度良く商品を推定することが可能になる。

図２の物品推定装置２０１及び図４の物品推定装置４０１の構成は一例に過ぎず、物品推定装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図４の物品推定装置４０１において、画像集合４２１及び処理対象画像４２３が事前に記憶部４１１に格納されている場合は、画像取得部４１２を省略することができる。

学習処理が外部の装置で行われ、推定モデル４２２が事前に記憶部４１１に格納されている場合は、学習部４１３を省略することができる。物品領域４２４から抽出された文字列に基づく補正処理を行わない場合は、文字認識部４１５を省略することができる。

図３及び図１０〜図１２のフローチャートは一例に過ぎず、物品推定装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１０の物品推定処理において、水平面毎に物品の推定結果４２５をグループ化する必要がない場合は、ステップ１００２及びステップ１００３の処理を省略することができる。この場合、図１１のステップ１１０１及びステップ１１０２の処理も省略され、すべての物品の推定結果４２５を含む単一の矩形リストが生成される。

補正部４１６は、各矩形領域の下端と直線の距離を一定値と比較する代わりに、各矩形領域の下端と各直線の距離を計算し、最も距離が小さい直線を特定してもよい。この場合、補正部４１６は、各矩形領域に写っている物品の推定結果４２５を、最も距離が小さい直線に対応付けられた矩形リストに追加する。

物品領域４２４から抽出された文字列に基づく補正処理を行わない場合は、図１０のステップ１００５の処理を省略することができる。

図１１のステップ１１０４において、補正部４１６は、最上位以外の順位の候補情報の順位が上がるように、各候補情報の尤度を補正してもよい。図１２のステップ１２０３において、補正部４１６は、最上位の候補情報の順位が下がるように、各候補情報の尤度を補正してもよい。

図１及び図５〜図９に示した画像及び矩形領域は一例に過ぎず、画像及び矩形領域は、物品に応じて変化する。物品領域の形状は、矩形以外の多角形、楕円等であってもよい。図６及び図９に示した文字列は一例に過ぎず、文字列は、物品に応じて変化する。

図１３は、図２の物品推定装置２０１及び図４の物品推定装置４０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１３の情報処理装置は、ＣＰＵ（Central Processing Unit）１３０１、メモリ１３０２、入力装置１３０３、出力装置１３０４、補助記憶装置１３０５、媒体駆動装置１３０６、及びネットワーク接続装置１３０７を含む。これらの構成要素はハードウェアであり、バス１３０８により互いに接続されている。

メモリ１３０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１３０２は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。

ＣＰＵ１３０１（プロセッサ）は、例えば、メモリ１３０２を利用してプログラムを実行することにより、図２の推定部２１２及び補正部２１３として動作する。

ＣＰＵ１３０１は、メモリ１３０２を利用してプログラムを実行することにより、図４の学習部４１３、推定部４１４、文字認識部４１５、及び補正部４１６としても動作する。

入力装置１３０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１３０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、推定結果４２５であってもよい。出力部１３０４は、図２の出力部２１４又は図４の出力部４１７として用いることができる。

補助記憶装置１３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１３０５にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０５は、図２の記憶部２１１又は図４の記憶部４１１として用いることができる。

媒体駆動装置１３０６は、可搬型記録媒体１３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１３０９にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１３０２、補助記憶装置１３０５、又は可搬型記録媒体１３０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１３０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１３０７を介して受信し、それらをメモリ１３０２にロードして使用することができる。ネットワーク接続装置１３０７は、図４の画像取得部４１２として用いることができる。ネットワーク接続装置１３０７は、図２の出力部２１４又は図４の出力部４１７としても用いることができる。

なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１３０３及び出力装置１３０４を省略してもよい。可搬型記録媒体１３０９又は通信ネットワークを使用しない場合は、媒体駆動装置１３０６又はネットワーク接続装置１３０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定し、
前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する、
処理をコンピュータに実行させるための物品推定プログラム。
（付記２）
前記コンピュータは、
前記特定の物品の補正後の推定結果と、前記残りの物品領域に写っている物品の推定結果とを出力する、
ことを特徴とする付記１記載の物品推定プログラム。
（付記３）
前記複数の物品領域それぞれに写っている物品の推定結果は、物品を示す複数の候補情報を含み、
前記複数の候補情報は、尤度に基づいて順位付けされており、
前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報が、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報と異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正し、前記特定の物品の補正後の推定結果に含まれる最上位の候補情報と、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報とを出力することを特徴とする付記２記載の物品推定プログラム。
（付記４）
前記複数の物品領域それぞれに写っている物品の推定結果に含まれる複数の候補情報各々は、物品のサイズを含み、
前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報のサイズが、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報のサイズと異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記３記載の物品推定プログラム。
（付記５）
前記物品を示す複数の候補情報それぞれは、物品を示す文字列を含み、
前記物品推定プログラムは、前記複数の物品領域それぞれに対する文字認識を行って文字列を抽出する処理を、前記コンピュータにさらに実行させ、
前記コンピュータは、前記複数の物品領域のうちいずれかの物品領域に写っている物品の推定結果に含まれる最上位以外の順位の候補情報の文字列が、前記いずれかの物品領域から抽出された文字列と一致する場合、前記最上位以外の順位の候補情報の順位が上がるように、前記いずれかの物品領域に写っている物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記３又は４記載の物品推定プログラム。
（付記６）
前記処理対象画像は、前記複数の物品を含む所定数の物品が陳列された棚を撮影した画像であり、
前記所定数の物品各々は、前記棚の複数の段のうちいずれかの段に陳列されており、
前記複数の物品は、前記棚の複数の段のうち特定の段に陳列されており、
前記コンピュータは、前記推定モデルに基づいて、前記処理対象画像内で前記所定数の物品それぞれが写っている物品領域と、前記所定数の物品とを推定し、
前記物品推定プログラムは、
前記処理対象画像内の前記所定数の物品領域に基づいて、前記複数の段それぞれの水平面に対応する直線を前記処理対象画像から検出し、
前記特定の段の水平面に対応する直線に基づいて、前記所定数の物品領域の中から前記複数の物品領域を選択する、
処理を前記コンピュータにさらに実行させることを特徴とする付記１乃至５のいずれか１項に記載の物品推定プログラム。
（付記７）
前記学習処理における教師データは、前記画像集合に含まれる複数の画像それぞれに写っている各物品を示す情報と、各物品が写っている物品領域を示す情報と、各物品の角度を示す情報とを含み、
各物品の角度は、物品が写っている画像を撮影した撮像装置の撮影方向に対する、物品の特徴が表れている方向の角度であることを特徴とする付記１乃至６のいずれか１項に記載の物品推定プログラム。
（付記８）
画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルと、複数の物品を撮影した処理対象画像とを記憶する記憶部と、
前記推定モデルに基づいて、前記処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定する推定部と、
前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する補正部と、
を備えることを特徴とする物品推定装置。
（付記９）
前記特定の物品の補正後の推定結果と、前記残りの物品領域に写っている物品の推定結果とを出力する出力部をさらに備えることを特徴とする付記８記載の物品推定装置。
（付記１０）
前記複数の物品領域それぞれに写っている物品の推定結果は、物品を示す複数の候補情報を含み、
前記複数の候補情報は、尤度に基づいて順位付けされており、
前記補正部は、前記特定の物品の推定結果に含まれる最上位の候補情報が、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報と異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正し、
前記出力部は、前記特定の物品の補正後の推定結果に含まれる最上位の候補情報と、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報とを出力することを特徴とする付記８記載の物品推定装置。
（付記１１）
前記複数の物品領域それぞれに写っている物品の推定結果に含まれる複数の候補情報各々は、物品のサイズを含み、
前記補正部は、前記特定の物品の推定結果に含まれる最上位の候補情報のサイズが、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報のサイズと異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記１０記載の物品推定装置。
（付記１２）
前記物品を示す複数の候補情報それぞれは、物品を示す文字列を含み、
前記物品推定装置は、前記複数の物品領域それぞれに対する文字認識を行って文字列を抽出する文字認識部をさらに備え、
前記補正部は、前記複数の物品領域のうちいずれかの物品領域に写っている物品の推定結果に含まれる最上位以外の順位の候補情報の文字列が、前記いずれかの物品領域から抽出された文字列と一致する場合、前記最上位以外の順位の候補情報の順位が上がるように、前記いずれかの物品領域に写っている物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記１０又は１１記載の物品推定装置。
（付記１３）
コンピュータによって実行される物品推定方法であって、
前記コンピュータが、
画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定し、
前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する、
ことを特徴とする物品推定方法。
（付記１４）
前記コンピュータは、
前記特定の物品の補正後の推定結果と、前記残りの物品領域に写っている物品の推定結果とを出力する、
ことを特徴とする付記１３記載の物品推定方法。
（付記１５）
前記複数の物品領域それぞれに写っている物品の推定結果は、物品を示す複数の候補情報を含み、
前記複数の候補情報は、尤度に基づいて順位付けされており、
前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報が、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報と異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正し、前記特定の物品の補正後の推定結果に含まれる最上位の候補情報と、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報とを出力することを特徴とする付記１４記載の物品推定方法。
（付記１６）
前記複数の物品領域それぞれに写っている物品の推定結果に含まれる複数の候補情報各々は、物品のサイズを含み、
前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報のサイズが、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報のサイズと異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記１５記載の物品推定方法。
（付記１７）
前記物品を示す複数の候補情報それぞれは、物品を示す文字列を含み、
前記コンピュータは、前記複数の物品領域それぞれに対する文字認識を行って文字列を抽出し、前記複数の物品領域のうちいずれかの物品領域に写っている物品の推定結果に含まれる最上位以外の順位の候補情報の文字列が、前記いずれかの物品領域から抽出された文字列と一致する場合、前記最上位以外の順位の候補情報の順位が上がるように、前記いずれかの物品領域に写っている物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする付記１５又は１６記載の物品推定方法。

１０１−１〜１０１−６、５０３−１〜５０３−７、６０３−１〜６０３−７、８０１、８０２ 矩形領域
２０１、４０１ 物品推定装置
２１１、４１１ 記憶部
２１２、４１４ 推定部
２１３、４１６ 補正部
２１４、４１７ 出力部
２２１、４２２ 推定モデル
２２２、４２３、６０１ 処理対象画像
４０２ 撮像装置
４１２ 画像取得部
４１３ 学習部
４１５ 文字認識部
４２１ 画像集合
４２４ 物品領域
４２５、６１３−１、６１３−２ 推定結果
４２６、６１４、９０１、９０２ 文字列
５０１ 画像
５０２−１〜５０２−７、６０２−１〜６０２−７ ボトル
５１１、５１２ 教師データ
６１１、６１２、７０１ 直線
１３０１ ＣＰＵ
１３０２ メモリ
１３０３ 入力装置
１３０４ 出力装置
１３０５ 補助記憶装置
１３０６ 媒体駆動装置
１３０７ ネットワーク接続装置
１３０８ バス
１３０９ 可搬型記録媒体

Claims (8)

1. 画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定し、
   前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する、
   処理をコンピュータに実行させるための物品推定プログラム。
2. 前記コンピュータは、
   前記特定の物品の補正後の推定結果と、前記残りの物品領域に写っている物品の推定結果とを出力する、
   ことを特徴とする請求項１記載の物品推定プログラム。
3. 前記複数の物品領域それぞれに写っている物品の推定結果は、物品を示す複数の候補情報を含み、
   前記複数の候補情報は、尤度に基づいて順位付けされており、
   前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報が、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報と異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正し、前記特定の物品の補正後の推定結果に含まれる最上位の候補情報と、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報とを出力することを特徴とする請求項２記載の物品推定プログラム。
4. 前記複数の物品領域それぞれに写っている物品の推定結果に含まれる複数の候補情報各々は、物品のサイズを含み、
   前記コンピュータは、前記特定の物品の推定結果に含まれる最上位の候補情報のサイズが、前記残りの物品領域に写っている物品の推定結果に含まれる最上位の候補情報のサイズと異なる場合、前記特定の物品の推定結果に含まれる最上位の候補情報の順位が下がるように、前記特定の物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする請求項３記載の物品推定プログラム。
5. 前記物品を示す複数の候補情報それぞれは、物品を示す文字列を含み、
   前記物品推定プログラムは、前記複数の物品領域それぞれに対する文字認識を行って文字列を抽出する処理を、前記コンピュータにさらに実行させ、
   前記コンピュータは、前記複数の物品領域のうちいずれかの物品領域に写っている物品の推定結果に含まれる最上位以外の順位の候補情報の文字列が、前記いずれかの物品領域から抽出された文字列と一致する場合、前記最上位以外の順位の候補情報の順位が上がるように、前記いずれかの物品領域に写っている物品の推定結果に含まれる複数の候補情報の順位を補正することを特徴とする請求項３又は４記載の物品推定プログラム。
6. 前記処理対象画像は、前記複数の物品を含む所定数の物品が陳列された棚を撮影した画像であり、
   前記所定数の物品各々は、前記棚の複数の段のうちいずれかの段に陳列されており、
   前記複数の物品は、前記棚の複数の段のうち特定の段に陳列されており、
   前記コンピュータは、前記推定モデルに基づいて、前記処理対象画像内で前記所定数の物品それぞれが写っている物品領域と、前記所定数の物品とを推定し、
   前記物品推定プログラムは、
   前記処理対象画像内の前記所定数の物品領域に基づいて、前記複数の段それぞれの水平面に対応する直線を前記処理対象画像から検出し、
   前記特定の段の水平面に対応する直線に基づいて、前記所定数の物品領域の中から前記複数の物品領域を選択する、
   処理を前記コンピュータにさらに実行させることを特徴とする請求項１乃至５のいずれか１項に記載の物品推定プログラム。
7. 画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルと、複数の物品を撮影した処理対象画像とを記憶する記憶部と、
   前記推定モデルに基づいて、前記処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定する推定部と、
   前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する補正部と、
   を備えることを特徴とする物品推定装置。
8. コンピュータによって実行される物品推定方法であって、
   前記コンピュータが、
   画像集合に対する学習処理により生成された、画像に写っている物品を推定する推定モデルに基づいて、複数の物品を撮影した処理対象画像内で前記複数の物品それぞれが写っている物品領域と、前記物品領域に写っている物品とを推定し、
   前記処理対象画像内の複数の物品領域のうち特定の物品領域に写っている特定の物品の推定結果が、前記複数の物品領域のうち残りの物品領域に写っている物品の推定結果に近づくように、前記特定の物品の推定結果を補正する、
   ことを特徴とする物品推定方法。
   

Images