JP2023109773A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】認識漏れが発生している蓋然性の高い領域をより高精度に検出可能な画像処理装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置は、陳列された物品を撮影した撮影画像から、物品を認識する認識部と、物品が陳列された什器に関連する什器情報に基づき、撮影画像に含まれ、かつ、認識部によって認識されなかった物品の領域を検出する検出部と、を備える。認識部は、領域が検出された場合に、物品の認識の際に使用する認識パラメータを変化させ、検出された領域に含まれる物品を認識する。【選択図】図１

Description

本発明は、画像処理装置、表示制御装置、画像処理方法、および、記録媒体に関する。

商品を販売する店舗では、商品の売り上げは、商品の陳列状態に依存することが知られている。そのため、商品の陳列状態を効率的に取得する方法が求められている。

特許文献１には、複数種の商品が陳列されている状態を撮像した画像から陳列されている商品を認識する商品管理装置が記載されている。

また、特許文献２には、商品陳列棚に陳列された商品が撮影された画像から商品の商品画像を切り出すことにより、該商品を認識する方法が記載されている。

特開２０１２－１２６５３２号公報 特開２０１３－２５０６４７号公報

商品が陳列される棚の撮影画像は、撮影時の照明の位置、撮影画角、遮蔽等の様々な環境による影響を受ける。このような撮影画像に対して商品の認識を行う際、例えば、認識対象の商品が特定の商品であると認識するか否かの境界の値であって、特定する商品との類似度の値である認識閾値を、誤認識を防ぐために、より高く設定したとする。この場合、撮影画像が環境による影響を受けているため、類似度が低くなってしまい、商品として認識されない認識漏れが増えてしまう可能性がある。一方、認識漏れを防ぐために、認識閾値をより低く設定すると、他の異なる商品に認識されてしまう誤認識の発生率が増えてしまう可能性がある。

上述した特許文献１および２に記載の技術では、このような環境による影響が考慮されていない。そのため、特許文献１および２に記載の技術では、誤認識を防ぐように認識閾値を設定した場合、商品として認識されない認識漏れの領域が増えてしまう可能性がある。したがって、このような場合、特許文献１および２の技術では、認識漏れが発生した領域に存在する商品が、認識されないままになってしまい、認識結果の精度が低くなってしまう。

本発明は上記課題に鑑みてなされたものであり、その目的は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出可能な技術を提供することにある。

上記課題を解決するために、本発明の一態様に係る画像処理装置は、陳列された物品を撮影した撮影画像から、前記物品を認識する認識手段と、前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、前記認識手段によって認識されなかった物品の領域を検出する検出手段と、を備える。

また、本発明の一態様に係る表示制御装置は、陳列された物品を撮影した撮影画像のうち、前記物品が認識されなかった領域であって、前記物品が陳列されている可能性がある領域を、前記物品が認識されていない領域として画面に表示させる。

また、本発明の一態様に係る画像処理方法は、陳列された物品を撮影した撮影画像から、前記物品を認識し、前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

本発明によれば、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。

本発明の第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る画像処理装置の認識部の動作を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の認識部による認識結果を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の検出部が出力する検出結果を説明するための図である。 本発明の第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る画像処理装置を含むシステムの構成の一例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の一例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の他の例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の表示制御部によって、表示部に表示された表示画像の更に他の例を示す図である。 本発明の第３の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る画像処理装置１００は、認識部１１０と、検出部１２０とを備えている。また、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。以降に参照する、他のブロック図においても同様に、図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

認識部１１０は、陳列された物品（商品）を撮影した撮影画像から、該撮影画像に含まれる物品を認識する。認識部１１０が物品を認識する方法は特に限定されず、一般的な認識手法であってもよい。認識部１１０は、撮影画像と、該撮影画像から認識した物品を示す情報とを、検出部１２０に出力する。

検出部１２０は、認識部１１０から、撮影画像と、該撮影画像から認識部１１０が認識した物品を示す情報と、を受信する。そして、検出部１２０は、物品が陳列された什器に関連する什器情報に基づいて、受信した撮影画像に含まれる物品であって、認識部１１０が認識しなかった物品の領域を検出する。

このように、本実施の形態に係る画像処理装置１００は、撮影画像から認識部１１０が認識しなかった物品の領域を、検出部１２０が検出する。このとき、検出部１２０は、什器情報に基づいて、撮影画像の中から物品が認識されていない領域を検出する。これにより、画像処理装置１００は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。図２は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付す。

図２に示す通り、本実施の形態に係る画像処理装置２００は、認識部１１０と、検出部１２０と、受信部２１０と、を備えている。また、画像処理装置２００は、更に、記憶部２２０を備える構成であってもよい。

受信部２１０は、陳列された物品を撮影した撮影画像を受信する手段である。撮影画像は、例えば、非定点カメラ等の撮像装置によって撮影された画像である。

受信部２１０は、この撮影画像を、例えば、撮像装置から受信する。なお、受信部２１０が撮影画像を受信する方法は、特に限定されない。例えば、受信部２１０は、画像処理装置２００にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等を用いて接続された撮像装置から、撮影画像を受信するものであってもよい。また、例えば、受信部２１０は、画像処理装置２００とネットワークを介して接続された撮像装置から、撮影画像を受信するものであってもよい。また、受信部２１０は、例えば、撮影画像が蓄積された記憶装置等から、撮影画像を受け取ってもよい。なお、受信部２１０は、撮影画像と共に、該撮影画像が撮影された位置および／または撮影した什器の位置を示す位置情報（撮影画像情報と呼ぶ）を受信する。

そして、受信部２１０は、受信した撮影画像と、該撮影画像に関連付けられた撮影画像情報とを、認識部１１０に供給する。

記憶部２２０には、撮影画像内に含まれる物品を認識するための情報が格納されている。具体的には、記憶部２２０には、物品の画像、および／または、物品の画像に含まれる特徴量が、該物品を識別する情報（例えば、物品を識別するための識別子、物品名等）に紐付けられて、格納されている。なお、記憶部２２０に格納される情報は、物品を認識するために必要な情報であればよい。また、物品を識別するための情報には、物品の種類（カテゴリ）を表す情報が紐付けられている。

また、記憶部２２０には、物品が陳列された什器に関連する什器情報が格納されている。什器情報は、什器毎に什器が設置された場所を示す設置位置情報を含む。また、什器情報は、上記設置位置情報に関連付けられた、以下の（ａ）～（ｅ）を含む。
（ａ）什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する、認識部１１０による認識結果（過去の陳列結果と呼ぶ）、
（ｂ）什器において推奨される棚割りの情報、
（ｃ）什器の段数、
（ｄ）什器の各段に配置可能な物品数、
（ｅ）什器に陳列された物品の陳列に関する条件を示す情報。

ここで、什器の各段に配置可能な物品数は、什器の各段に物品を配置することができるスロットの数（スロット数）と言い換えることができる。

なお、上記（ａ）は、認識部１１０によって記憶部２２０に格納されるものである。また、上記（ｂ）～（ｅ）は、記憶部２２０に予め格納される。また、記憶部２２０には、什器情報として、什器サイズが格納されていてもよい。

ここで、上記（ｅ）は、例えば、全てのスロットに物品が配置されるという条件を示す情報を含む。また、（ｅ）は、例えば、同一の物品名を有する物品は、連続して並ぶという条件、および、同一の種類の物品は、近接した位置に陳列されるという条件を含んでもよい。

また、記憶部２２０には、物品の発注（または仕入）を示す情報（発注情報と呼ぶ）と、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ）システム等によって管理された売上情報とが格納されている。

なお、物品を認識するための情報、什器情報、発注情報および売上情報は、同じ記憶装置（例えば、記憶部２２０）に格納されるものであってもよいし、夫々、異なる記憶装置に格納されるものであってもよい。

また、記憶部２２０は、画像処理装置２００内に内蔵されるものであってもよいし、画像処理装置２００とは別個の記憶装置によって実現されるものであってもよい。

認識部１１０は、受信部２１０から撮影画像を受信する。認識部１１０は、記憶部２２０に格納された、物品を認識するための情報を参照し、受信した撮影画像から、該撮影画像に含まれる物品を認識する。認識部１１０が物品を認識する方法は、第１の実施の形態に係る画像処理装置１００の認識部１１０と同様に特に限定されず、一般的な認識手法であってもよい。認識部１１０は、撮影画像と、該撮影画像から認識した物品を示す情報（認識結果）とを、検出部１２０に出力する。

ここで、認識部１１０の動作について、図３および図４を参照してさらに説明する。図３は、本実施の形態に係る画像処理装置２００の認識部１１０の動作を説明するための図であり、撮影画像の一例を示す図である。また、図４は、認識部１１０による認識結果を説明するための図である。

図３に示す通り、撮影画像には、複数の物品３１の画像が含まれる。なお、本実施の形態では、撮影画像は、図３に示すような、１つの什器の全体を撮影した画像であるとするが、これに限定されるものではない。撮影画像は、複数の什器を撮影したものであってもよい。また、撮影画像は、１つの什器の一部を撮影したものであってもよい。また、図３において、各物品３１内に記載の文字は、物品名を示している。

図３の例では、物品が陳列された什器は、３段からなる。１番上の段（１段目と呼ぶ）には、物品名が「スナックＡ」の物品が３つと、物品名が「スナックＢ」の物品が２つ陳列されている。２段目には、「飴Ａ」～「飴Ｃ」の物品が夫々２つずつ陳列されている。３段目には、「チョコレートＡ」～「チョコレートＨ」の物品が夫々１つずつ陳列されている。

図３において、各物品３１を囲った破線の枠（物品画像領域３２）は、認識部１１０が認識した物品３１の画像領域を示している。したがって、図３において、物品名が「チョコレートＣ」の物品と、「飴Ｂ」の２つの物品とは、認識部１１０によって認識されなかった物品であるとする。

認識部１１０は、認識した物品を示す情報（例えば、物品名）と、該物品３１の物品画像領域３２を示す画像領域情報と、該物品３１の認識結果の確からしさを示す認識スコアと、を認識結果として検出部１２０に出力する。この認識結果の一例を図４に示す。ここで、画像領域情報とは、撮影画像内における物品３１の物品画像領域３２の位置を示す位置情報である。

図４に示す通り、認識結果には、物品ごとに、認識した物品を示す物品名と、該物品３１の認識スコアと、該物品３１の物品画像領域３２を示す位置情報（画像領域情報）と、が含まれる。物品名、物品スコアおよび画像領域情報は、互いに関連付けられている。図４において、１つの行には、認識した１つの物品３１の情報が含まれる。

ここで、認識部１１０が、物品名が「スナックＡ」である物品を認識したとする。この物品の物品画像領域３２の四隅の座標が、夫々、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）であり、認識スコアが「０．８０」であるとする。

このとき認識部１１０は、図４に示す通り、「スナックＡ」の認識結果として、「スナックＡ，０．８０，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，ｘ４，ｙ４」を出力する。

なお、物品画像領域３２は、認識部１１０が認識した物品を外接する矩形であることが好ましいが、これに限定されるものではない。物品画像領域３２は、物品の形状に合わせた領域であってもよい。

また、認識結果は、これに限定されるものではなく、例えば、物品名に加えて、または、物品名の代わりに、物品３１を示す識別子を含んでもよい。つまり、認識部１１０は、認識した物品３１を示す情報を認識結果に含めてもよい。また、認識結果に含まれる画像領域情報は、略矩形で示される物品画像領域３２の四隅の座標ではなく、例えば、四隅のうちの一点の座標と、物品の幅と、物品の高さとであってもよい。つまり、認識部１１０は、認識した物品３１の物品画像領域３２を示す情報を認識結果に含めてもよい。

なお、上述した認識スコアは、１．０を上限とし、１．０に近い値ほど、信頼性が高いことを示しているが、認識スコアの表現方法はこれに限定されるものではない。

また、認識部１１０は、認識結果に、例えば、ＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード、物品の種類を示す情報（例えば、物品の種類名または種類コード等）を含めてもよい。

なお、認識部１１０は、認識スコアが所定の値より小さい物品に関する情報を、認識結果に含めないという制御を行ってもよい。

認識部１１０は、このような認識結果を、物品の認識を行った撮影画像および該撮影画像の撮影画像情報と共に、検出部１２０に出力する。

なお、図４に示した認識結果は一例であり、この形式に限定されるものではない。

また、認識部１１０は、検出部１２０から検出結果を受信して、この検出結果に基づいて、物品の認識を行う。この動作については、検出部１２０の動作の説明を行った後に説明する。

検出部１２０は、認識部１１０から撮影画像と、該撮影画像の撮影画像情報と、該撮影画像に対する物品の認識結果とを受信する。そして、検出部１２０は、物品が陳列された什器に関連する什器情報に基づいて、受信した撮影画像に含まれる物品であって、認識部１１０が認識しなかった物品の領域を検出する。このとき、参照する什器情報は、受信した撮影画像情報と一致または近似する、設置位置情報に関連付けられたものである。

具体的には、検出部１２０は、撮影画像上の領域であって、物品が認識されていない領域を検出する。そして、検出部１２０は、撮影画像および認識結果を用いて、検出した領域のうち、認識漏れの可能性がある領域の候補の領域（候補領域と呼ぶ）を検出する。この候補領域は、物品が配置される可能性が高い領域である。

例えば、検出部１２０は、物品の上下間および左右間の距離（物品間距離と呼ぶ）を算出する。検出部１２０は、算出した距離が所定の閾値より大きいか否かを判定し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。

また、例えば、検出部１２０は、什器の上端と、認識部１１０によって認識された各物品の物品画像領域３２の上端であって、この物品の上部に、他の物品が配置されていない物品の物品画像領域３２の上端との距離を算出する。つまり、什器の最上段である１段目に全ての物品が配置されている場合、検出部１２０は、１段目の物品の夫々の物品画像領域３２の上端と、什器の上端との距離を算出する。１段目のあるスロットに物品が配置されていない場合は、このスロットの真下にある、２段目（または２段目以降）のスロットに配置された物品と、什器の上端との距離を算出する。そして、検出部１２０は、算出した距離が所定の閾値（第１の所定の閾値）より大きいか否かを判定し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。

同様に、検出部１２０は、什器の下端、左端および右端から、物品までの距離を算出し、該算出した距離が所定の閾値より大きい場合、この距離が算出された領域を候補領域として検出する。なお、図３には、什器の左端を示す左端ラインを、一点鎖線を用いて示している。このように、検出部１２０は、什器の外縁から物品までの距離を算出することにより、候補領域を検出する。なお、上記所定の閾値は、什器情報として、記憶部２２０に格納されるものであってもよい。

検出部１２０は、図３における双方向矢印（３３）の部分を含む領域（３４）と、「飴Ｂ」の物品の領域と、「チョコレートＣ」の物品の領域とを、候補領域として検出する。

ここで、図３の撮影画像にて示される什器の１段目のスロット数は５であり、２段目のスロット数は６であり、３段目のスロット数は８であるとする。このスロット数を示す情報は、上述したとおり什器情報として記憶部２２０に格納されている。そして、検出部１２０は、什器情報のうち、全てのスロットに物品が配置されるという条件を示す情報に基づいて、この条件を満たさない領域を認識漏れの可能性が高い領域として検出する。

図３の３段目は、上述したとおり、８つのスロットを有している。検出部１２０は、３段目の認識結果として、７つの物品に関する情報を受信している。したがって、３段目は、全てのスロットに物品が配置されるという条件を満たしていない。よって、検出部１２０は、３段目に１つの物品の認識漏れがあることを検出する。そして、検出部１２０は、上述した候補領域のうち、３段目の領域である「チョコレートＣ」の物品の領域を、認識漏れの可能性が高い領域として検出する。

次に、図３の２段目について説明する。検出部１２０は、３段目の領域と同様に、全てのスロットに物品が配置されるという条件に基づいて、２つの物品の認識漏れがあることを検出する。検出部１２０は、領域３４の幅および／または高さが、第２の所定の閾値を超えているか否かを判定する。そして、検出部１２０は、領域３４の幅および／または高さが、第２の所定の閾値を超えているとき、該領域を認識漏れの可能性が高い領域として検出する。本例では、領域３４の幅および／または高さが、第２の所定の閾値を超えていないとする。そのため、検出部１２０は、領域３４が認識漏れの領域ではないと判定する。

この第２の所定の閾値は、例えば、什器に陳列される物品の平均サイズであってもよいし、固定の値であってもよい。また、平均サイズおよび固定の値は、什器毎に設定されるものであってもよいし、什器の段毎または列毎に設定されるものであってもよい。また、この第２の所定の閾値は、什器情報として記憶部２２０に格納されるものであってもよい。また、平均サイズは、検出部１２０が認識部１１０から受信した認識結果から求められるものであってもよい。これにより、検出部１２０は、認識漏れの物品の周辺の物品のサイズに基づいて、認識漏れの可能性が高い領域を検出することができる。

なお、検出部１２０は、候補領域の画像の特徴点の量が所定の値より大きいか否かに基づいて、候補領域のうち、認識漏れの可能性が高い領域を検出してもよい。例えば、領域３４には、何も物品が配置されていないため、特徴点の数は少なくなる。一方、「飴Ｂ」の物品の領域は、物品が配置されているため特徴点の数は、何も物品が配置されていない場合と比べ多くなる。これらの結果に基づいて、検出部１２０は、領域３４を認識漏れの可能性が高い領域ではないと判定し、「飴Ｂ」の物品の領域を認識漏れの可能性が高い領域であると判定する。

このように、検出部１２０は、認識された物品の物品間距離、認識された物品と什器の外縁との距離、認識された物品の大きさ、および、物品が認識されなかった領域に含まれる特徴点の数の少なくとも何れかに基づいて、認識されなかった物品の領域を検出する。これにより、検出部１２０は、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。

また、検出部１２０は、什器情報として、過去の陳列結果を用いて、認識漏れの可能性が高い領域を検出してもよい。例えば、過去の陳列結果が、図３に示した全ての物品を認識したことを示している場合、検出部１２０は、この過去の陳列結果と、認識部１１０から出力された認識結果とを比較する。そして、検出部１２０は、比較により得られた差分の領域を、認識漏れの可能性が高い領域であるとして、検出する。

また、検出部１２０は、什器情報として、撮影対象の什器において推奨される棚割りの情報と、認識結果とを比較することによって得られた差分の領域を、認識漏れの可能性が高い領域であるとして検出してもよい。

検出部１２０は、検出結果として、検出した、認識漏れの可能性が高い領域を示す情報を、認識部１１０に出力する。

なお、本発明の実施の形態に係る画像処理装置２００は、図３に示すように、物品が各段に横に並んで陳列された什器を撮影した撮影画像を用いているが、これに限定されない。例えば、画像処理装置２００は、縦に物品が並べられる什器を撮影した画像を用いてもよい。この場合、什器の段数が、この什器の列に配置可能なスロット数となる。よって、このような什器を撮影した撮影画像を用いても、検出部１２０は、認識漏れの可能性が高い領域を検出することができる。

検出部１２０は、更に、誤認識された物品の物品画像領域３２を検出することが好ましい。以下では、検出部１２０が検出する誤認識された物品を検出する方法について説明する。

まず、記憶部２２０に格納された什器情報のうち、什器に陳列された物品の陳列に関する条件を示す情報として、同一の物品名を有する物品は、連続して並ぶという条件が含まれる場合について説明する。同じ物品名を有する物品は、同じ什器内において、並べて配置されることが多い。そのため、検出部１２０は、認識された物品のうち、この条件を満たさない物品を誤認識された物品と判定する。

また、記憶部２２０に格納された什器情報のうち、什器に陳列された物品の陳列に関する条件を示す情報として、同一の種類の物品は、近接した位置に陳列されるという条件が含まれる場合について説明する。同じ種類の物品は、同じ什器内において、近接した位置に配置されることが多い。このとき、認識結果には、物品の種類を示す情報が含まれることが好ましい。検出部１２０は、認識結果に含まれる、物品の種類を示す情報と、物品の画像領域情報とに基づいて、認識された物品のうち、この条件を満たさない物品を誤認識された物品と判定する。

また、検出部１２０は、撮影画像が撮影された時刻より前の発注情報に基づいて、誤認識された物品を判定することが好ましい。具体的には、検出部１２０は、認識された物品と発注（仕入）された物品とを比較し、認識された物品が発注されていない場合、この物品を誤認識された物品と判定する。

また、検出部１２０は、撮影画像が撮影された時刻より前の売上情報に基づいて、誤認識された物品を判定することが好ましい。具体的には、検出部１２０は、認識された物品に関する売上情報を確認し、該物品が全て売れた物品である場合、この物品を誤認識された物品であると判定する。

また、検出部１２０は、その他の什器情報に基づいて、誤認識された物品を判定してもよい。例えば、過去の陳列結果に含まれる物品と、認識された物品とが大きく異なる場合（例えば、カテゴリが違う物品の場合など）、検出部１２０は、この物品を誤認識された物品と判定してもよい。また、物品の認識対象の什器に対する推奨される棚割りの情報と、認識された物品とが大きく異なる場合（例えば、カテゴリが違う物品の場合など）、検出部１２０は、この物品を誤認識された物品と判定してもよい。また、検出部１２０は、受信した認識結果のうち、認識スコアが所定の値より小さい物品を、誤認識された物品として判定してもよい。

そして、検出部１２０は、検出結果として、誤認識された物品として判定した物品の物品画像領域３２を示す情報を認識部１１０に出力する。これにより、検出部１２０は、誤認識された物品の物品画像領域３２を検出することができる。

検出部１２０が出力する検出結果について、図５を参照して説明する。図５は、検出部１２０が出力する検出結果を説明するための図である。

ここで、検出部１２０が、認識漏れの領域として、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）を四隅の座標とする略矩形の領域を検出したとする。また、検出部１２０が誤認識された物品の物品画像領域３２として、（ｘ’１、ｙ’１）、（ｘ’２、ｙ’２）、（ｘ’３、ｙ’３）、（ｘ’４、ｙ’４）を四隅の座標とする略矩形の領域を検出したとする。このとき、検出部１２０は、図５に示す通り、認識漏れの検出結果として、認識漏れであることを示す文字列「認識漏れ」と、認識漏れを検出した領域を示す情報とからなる「認識漏れ，ｘ１，ｙ１，ｘ２，ｙ２，ｘ３，ｙ３，ｘ４，ｙ４」を出力する。また、検出部１２０は、誤認識の検出結果として、誤認識であることを示す文字列「誤認識」と、誤認識の物品の物品画像領域３２を示す情報（位置情報）とからなる「誤認識，ｘ’１，ｙ’１，ｘ’２，ｙ’２，ｘ’３，ｙ’３，ｘ’４，ｙ’４」を出力する。このように、図５において、１つの行には、検出した１つの領域の情報が含まれる。

なお、検出部１２０が検出する領域は略矩形に限定されず、どのような形状であってもよい。また、検出部１２０が出力する検出結果に含まれる領域を示す情報は、四隅の座標に限定されず、検出部１２０が検出した領域を表現するものであればよい。また、図５に示した検出結果は一例であり、この形式に限定されるものではない。

次に、認識部１１０が、検出部１２０から検出結果を受信して、この検出結果に基づいて、物品の認識を行う方法について説明する。

認識部１１０は、検出部１２０から検出結果を受信すると、撮影画像上における、受信した検出結果にて示される領域に対して、再度物品の認識を行う。このとき、認識部１１０は、物品の認識を行う際に設定する認識パラメータを、以下の（Ａ）～（Ｃ）に基づいて変化させて、物品の認識を行う。
（Ａ）認識部１１０による認識結果（認識部１１０が既に認識した物品の情報が含まれる認識結果）、
（Ｂ）過去の陳列結果、
（Ｃ）什器において推奨される棚割りの情報。

ここで、物品の認識を行う際に設定する認識パラメータとは、例えば、記憶部２２０に格納された、認識に使用する情報によって示される物品に対する尤度である。認識部１１０は、認識漏れの領域に対し、認識漏れの可能性が高いと判定される物品に対する尤度を、上記（Ａ）～（Ｃ）の少なくとも何れかに基づいて算出する。

認識部１１０が、例えば、（Ａ）に基づいて、上記尤度を算出する場合について説明する。例えば、図３において、認識されなかった「チョコレートＣ」と同じ段（３段目）には、チョコレートＡ、Ｂ、Ｄ～Ｈが陳列されている。この場合、認識部１１０は、認識結果に基づいて、物品が認識されなかった領域が存在する段と同じ段に陳列された物品の物品名に似た物品名の物品（この例の場合「チョコレート」が物品名に付く物品等）の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、認識漏れの領域の周囲に配置された、認識された物品に対する物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。

また、認識部１１０が、例えば、（Ｂ）に基づいて、上記尤度を算出する場合について説明する。この場合、認識部１１０は、過去の陳列結果に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、過去の陳列結果に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。

また、認識部１１０が、例えば、（Ｃ）に基づいて、上記尤度を算出する場合について説明する。この場合、認識部１１０は、推奨される棚割りの情報に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の尤度を上げる。また、物品の種類を表す情報が認識結果に含まれる場合、認識部１１０は、推奨される棚割りの情報に含まれる物品であって、認識漏れの領域と同じ位置および／または該位置の周囲に配置された物品の種類と同じ種類の物品に対し、この物品の尤度を上げる。

なお、認識部１１０は、上記尤度（認識パラメータ）を、物品の認識を行う領域が誤認識された物品の領域か、認識漏れの領域かによって設定してもよい。例えば、物品の認識を行う領域が誤認識された物品の物品画像領域３２である場合、認識部１１０は、この領域に含まれる物品が、誤認識された物品として再度認識されないように、誤認識された物品に対する尤度を下げる。

このように、認識部１１０は、認識パラメータを変化させることにより、記憶部２２０に格納された、認識に使用する情報を絞り込むことができる。これにより、認識部１１０は認識処理の時間を短縮することができる。

認識部１１０は、この算出した尤度に基づいて、検出結果によって示される領域に対して、物品の認識を行う。これにより、認識部１１０は誤認識を抑制することができる。

そして、認識部１１０は認識結果を検出部１２０に出力する。このとき、認識部１１０は、認識漏れの領域に対して認識した物品を示す情報を、前回の認識結果に追加する。また、認識部１１０は、前回の認識結果のうち、検出部１２０によって誤認識と判定された物品に対する情報を削除し、誤認識と判定された物品の物品画像領域３２に対して今回認識した物品を示す情報を該前回の認識結果に追加する。これにより、認識部１１０は、新たな認識結果を出力することができる。そして、認識部１１０は、検出部１２０から認識漏れまたは誤認識を示す領域がないという検出結果を受け取るまで、検出部１２０に認識結果を出力する。

認識部１１０は、検出部１２０から認識漏れまたは誤認識を示す領域がないという検出結果を受け取ると、この検出結果を受け取る直前に検出部１２０に出力した認識結果を、物品の認識を行った撮影画像に対する物品の認識結果として、記憶部２２０に格納する。認識部１１０が記憶部２２０に格納した認識結果は、次に同じ什器を撮影した撮影画像の認識結果から見て、過去の陳列結果となる。したがって、認識部１１０および検出部１２０は、この過去の陳列結果に基づいて、各部の処理を行うことができる。

なお、認識部１１０は、所定の回数の検出結果を検出部１２０から受け取った後の認識結果を、撮影画像に対する認識結果として、記憶部２２０に格納してもよい。また、認識部１１０は、検出部１２０に認識結果を送信する際に、この認識結果を、記憶部２２０に格納してもよい。

（画像処理装置２００の動作の流れ）
次に、図６を参照して、画像処理装置２００の動作の流れについて説明する。図６は、本実施の形態に係る画像処理装置２００の動作の流れの一例を示すフローチャートである。

まず、受信部２１０が撮影画像を受信する（ステップＳ１）。次に、認識部１１０がステップＳ１で受信部２１０が受信した撮影画像に対して、物品の認識を行う（ステップＳ２）。

その後、検出部１２０が、撮影画像から、物品が認識されなかった領域であって、物品が含まれている可能性が高い領域（認識漏れの領域）を、什器情報に基づいて検出する（ステップＳ３）。また、検出部１２０は、物品が認識されているが、誤認識の可能性が高い物品を判別し、該物品の物品画像領域３２を検出する（ステップＳ４）。なお、ステップＳ３とステップＳ４とは同時に行われてもよいし、逆順で行われてもよい。

そして、認識部１１０は、認識漏れおよび／または誤認識の領域が検出されたか否かを確認する。具体的には、認識部１１０は、検出部１２０から受信した検出結果に認識漏れおよび／または誤認識の領域が示されているか否かを確認する（ステップＳ５）。検出結果に認識漏れおよび／または誤認識の領域が示されている場合（ステップＳ５にてＹＥＳ）、認識部１１０は、検出部１２０による検出結果によって示される領域に対し、物品の再認識を行う（ステップＳ６）。そして、検出部１２０は、再度ステップＳ３を実行し、認識漏れの領域を検出する。

検出結果に認識漏れおよび／または誤認識の領域が示されていない場合（ステップＳ５にてＮＯ）、認識部１１０は、認識結果を記憶部２２０に格納し、処理を終了する（ステップＳ７）。

（効果）
本実施の形態に係る画像処理装置２００によれば、認識漏れが発生している蓋然性の高い領域を、より高精度に検出することができる。なぜならば、検出部１２０が、撮影画像から認識部１１０が認識しなかった物品の領域を、什器情報に基づいて、検出するからである。

一般的に、認識処理では、認識閾値を設定し、この認識閾値に基づいて、認識結果を出力する。しかしながら、認識部１１０が、認識閾値をより低く設定すると、誤認識の発生率が増えてしまう。そのため、本実施の形態における認識部１１０は、誤認識の発生率をより効果的に抑える値に、認識閾値を設定する。しかしながら、一般的に、認識閾値を高く設定すると、認識漏れの領域が増える可能性が高い。本実施の形態に係る画像処理装置２００によれば、検出部１２０が、什器情報に基づいて、このような認識漏れの領域を検出することができる。

したがって、認識部１１０は、この検出された認識漏れの領域に対してのみ、認識パラメータを変更して、再度、物品の認識を行うことができる。これにより、認識漏れおよび誤認識をより防ぐことができる。

したがって、本実施の形態に係る画像処理装置２００は、より精度の高い棚割りを示す情報を、撮影画像から取得することができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。第３の実施の形態も、第２の実施の形態と同様に、上述した第１の実施の形態を基本とする。図７は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した第１および第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。本実施の形態に係る画像処理装置３００は、上述した第２の実施の形態に係る画像処理装置２００に、更に、表示制御部と、修正部とを備える構成である。

まず、本実施の形態に係る画像処理装置３００を含むシステムの構成の一例について、図７を参照して説明する。図７は、本実施の形態に係る画像処理装置３００を含むシステムの構成の一例を示す図である。図７に示す通り、システムは、画像処理装置３００と、撮像装置４００と、表示操作装置５００とを備えている。

画像処理装置３００は、撮像装置４００と通信可能に接続されている。撮像装置４００は、陳列された物品を撮影する。そして、撮像装置４００は、撮影した画像（撮影画像）を画像処理装置３００に送信する。撮像装置４００は、例えば、非定点カメラ等によって実現される。

表示操作装置５００は、画像処理装置３００と通信可能に接続されている。表示操作装置５００は、画像処理装置３００にネットワークを介して接続してもよいし、画像処理装置３００に直接接続してもよい。表示操作装置５００は、図７に示す通り、表示部５１０と入力部５２０とを備えている。

なお、本実施の形態では、表示操作装置５００が画像処理装置３００とは別個の構成であるとして説明を行うが、表示操作装置５００は画像処理装置３００と一体となって形成されるものであってもよい。

表示操作装置５００は表示部５１０と入力部５２０とが一体となって形成されている、例えば、タッチパネルである。表示部５１０は、画像処理装置３００から送信された信号に基づき、画面にユーザが操作を行うＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する表示デバイスである。

入力部５２０は、ユーザによる指示を検知するデバイスである。入力部５２０は、画面に対して、行われた指示の位置（画面上の座標）を検知する。入力部５２０は、例えば、表示操作装置５００がタッチパネルであるとき、画面上に接触／近接した物体による入力操作を検知する。また、入力部５２０は、例えば、ユーザがマウス等を操作することにより入力した入力操作を検知する。入力部５２０は、検知結果を入力操作信号として、画像処理装置３００に送信する。

次に画像処理装置３００について、図８を参照して説明する。図８は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。図８に示す通り、画像処理装置３００は、認識部１１０と、検出部１２０と、受信部２１０と、表示制御部３１０と、修正部３２０とを備えている。また、画像処理装置３００は、更に、記憶部２２０を備える構成であってもよい。

受信部２１０は、撮像装置４００から送信された撮影画像を受信し、認識部１１０に出力する。

記憶部２２０には、第２の実施の形態に係る記憶部２２０が格納する情報に加え、表示部５１０に表示するための物品画像が、物品を識別する情報に紐付けられて、格納されている。なお、表示部５１０に表示するための物品画像は、物品を認識するために必要な情報として格納された物品の画像そのものであってもよいし、物品を示す見本画像であってもよい。

認識部１１０は、第２の実施の形態に係る認識部１１０と同様に、受信した撮影画像から、該撮影画像に含まれる物品を認識する。そして、認識部１１０は、認識結果を検出部１２０に出力する。

また、認識部１１０は、検出部１２０から検出結果を受信した場合、この検出結果に基づいて、認識パラメータを変化させ、検出結果によって示される領域に対して、再度物品の認識を行う。そして、認識部１１０は、認識結果を検出部１２０に出力する。

検出部１２０は、第２の実施の形態に係る検出部１２０と同様に、認識漏れの可能性が高い領域を検出する。また、検出部１２０は、第２の実施の形態に係る検出部１２０と同様に、誤認識された物品の物品画像領域３２を検出する機能を更に有してもよい。

また、検出部１２０は、所定の回数、認識部１１０から認識結果を受信したか否かを確認する。そして、所定の回数、認識結果を受信している場合、検出部１２０は、検出結果と、受信した認識結果とを表示制御部３１０に出力する。

例えば、所定の回数が１回の場合、検出部１２０は、最初の認識結果を受信後、認識漏れまたは誤認識の領域を検出し、検出結果と、受信した認識結果と、物品の認識を行った撮影画像とを、表示制御部３１０に出力する。

表示制御部３１０は、検出部１２０から検出結果と、認識結果と、撮影画像とを受信する。そして、表示制御部３１０は、検出結果によって示される領域を示す情報を、表示部５１０に表示させる。表示制御部３１０は、例えば、検出結果によって示される領域を示す画像を、受信した撮影画像を用いて生成し、または、該領域を示す画像を受信した撮影画像から抽出し、表示部５１０に表示させる。

また、表示制御部３１０は、上記領域に存在する可能性がある物品の候補（修正候補と呼ぶ）を、以下の（１）～（３）の少なくとも何れかに基づいて決定する。
（１）過去の陳列結果、
（２）什器において推奨される棚割りの情報、
（３）認識部１１０が既に認識した物品（受信した認識結果）。

例えば、表示制御部３１０は、検出結果によって示される領域の周囲の領域に配置された物品を、受信した認識結果より特定する。そして、表示制御部３１０は、この周囲の領域に配置された物品を、修正候補として決定する。

そして、表示制御部３１０は、決定した修正候補の物品を示す物品画像を、記憶部２２０から取得する。そして、表示制御部３１０は、取得した物品画像をユーザに選択可能に表示部５１０に表示させる。

また、表示制御部３１０は、受信した認識結果に基づいて、各物品の重複度合（類似度合）を算出し、該重複度合に基づいて、修正候補を決定してもよい。例えば、表示制御部３１０は、検出結果によって示される領域が含まれる段に陳列された物品の種類の重複度合を算出し、重複度合がより高い種類の物品を、修正候補として決定してもよい。このとき、決定した修正候補は、認識結果に含まれる物品であってもよいし、認識結果には含まれないが記憶部２２０に情報が格納された物品であってもよい。

また、表示制御部３１０は、修正候補として表示部５１０に表示させる物品に対して、認識結果と、什器に陳列された物品の陳列に関する条件を示す情報、発注情報、および、売上情報、の少なくとも何れかと、に基づいて尤度を決定してもよい。そして、表示制御部３１０は、決定した尤度に基づいて、修正候補を決定してもよい。

ここで、什器に陳列された物品の陳列に関する条件を示す情報とは、例えば、同一の物品名を有する物品は、連続して並ぶという条件、および、同一の種類の物品は、近接した位置に陳列されるという条件である。

これにより、表示制御部３１０は、表示部５１０に表示する修正候補を絞り込むことができる。

なお、表示制御部３１０は、表示部５１０に表示させる修正候補を、上記領域に存在する可能性が高い順に表示することが好ましい。これにより、画像処理装置３００は、修正候補のうち、上記領域に存在する可能性が高い物品を、よりわかりやすく、ユーザに提示することができる。

なお、表示制御部３１０は、この領域に存在する可能性が高い順を、該領域との距離が近い位置に配置された物品の物品名および／または物品の種類に基づいて、決定してもよい。

また、表示制御部３１０は、この領域に存在する可能性が高い順を、この領域に対する物品の認識結果に含まれる認識スコアに基づいて、決定してもよい。このとき表示制御部３１０は、この領域に対して、再度物品の認識を行うように認識部１１０に指示し、この領域に対する物品の認識結果を受信する。この認識結果には、該領域に存在する可能性が高い物品が、認識スコアと共に複数含まれることが好ましい。そして、表示制御部３１０は、認識結果に含まれる複数の物品の認識スコアの高い順を、上記領域に存在する可能性が高い順として決定する。

そして、表示制御部３１０は、決定した修正候補を、表示部５１０に、ユーザに対して選択可能に表示させる。なお、表示制御部３１０が、表示部５１０に表示させる修正候補の数は特に限定されない。

また、表示部５１０に表示させた修正候補に、ユーザが求める物品が含まれていなかった場合、表示制御部３１０は、表示部５１０に、記憶部２２０に記憶された物品画像を、ユーザに選択可能に表示してもよい。また、ユーザが求める物品の物品画像が記憶部２２０に格納されていない場合、表示部５１０は、入力部５２０から送信されるユーザの指示に基づいて、物品画像を記憶部２２０に登録してもよい。

また、表示制御部３１０は、表示部５１０に表示させた画像を示す情報と、受信した認識結果とを、修正部３２０に供給する。

修正部３２０は、入力部５２０が検知した入力操作を示す入力操作信号を、受信する。また、修正部３２０は、表示制御部３１０から、該表示制御部３１０が表示部５１０に表示させた画像を示す情報と認識結果とを受信する。そして、修正部３２０は、受信した入力操作信号によって示される、表示部５１０に表示された物品の候補に対する選択結果に基づいて、前記認識結果を修正する。

表示制御部３１０が認識漏れの領域に対する修正候補を表示部５１０に表示させた場合、修正部３２０は、ユーザによって選択された修正候補に関する情報を、認識結果に追加する。また、表示制御部３１０が誤認識の物品の領域に対する修正候補を表示部５１０に表示させた場合、修正部３２０は、認識結果のうち、検出部１２０によって誤認識と判定された物品に対する情報を削除する。そして、修正部３２０は、ユーザによって選択された修正候補に関する情報を、該認識結果に追加する。これにより、認識部１１０は、新たな認識結果（修正した認識結果）を出力することができる。

修正部３２０は、修正した認識結果を、物品の認識を行った撮影画像に対する物品の認識結果として、記憶部２２０に格納する。修正部３２０が記憶部２２０に格納した認識結果は、次に同じ什器を撮影した撮影画像の認識結果から見て、過去の陳列結果となる。したがって、認識部１１０、検出部１２０および表示制御部３１０は、この過去の陳列結果に基づいて、各部の処理を行うことができる。

図９～図１１は、夫々、本実施の形態に係る画像処理装置３００の表示制御部３１０によって、表示部５１０に表示された表示画像の一例を示す図である。図９に示す通り、表示制御部３１０は、撮影画像のうち、認識漏れおよび／または誤認識の領域を示す情報を、表示部５１０に表示させる。図９では、表示制御部３１０は、略矩形の太枠（前述した物品画像領域３２）が表示されていない領域を認識漏れおよび／または誤認識の領域として示している。

ユーザが、表示制御部３１０は、認識漏れおよび／または誤認識の領域の部分を選択（例えば、タップ）すると、入力部５２０は、ユーザによって選択された位置を示す情報を入力操作信号として、画像処理装置３００に送信する。修正部３２０は、入力部５２０から送信された入力操作信号から、選択された領域を特定し、該領域を示す情報を表示制御部３１０に送信する。表示制御部３１０は、修正部３２０から受信した情報に基づいて、ユーザによって選択された、認識漏れおよび／または誤認識の領域の画像を、表示部５１０に表示させる。例えば、ユーザが図９における「チョコレートＣ」の部分を選択した場合、表示制御部３１０は、図１０の左側に示す通り、「チョコレートＣ」の部分の画像を表示部５１０に表示させる。この図１０の左図は修正を行う対象の領域を示しているため、修正対象領域とも呼ぶ。

そして、表示制御部３１０は、図１０の右側に示す通り、この修正対象領域に対する修正候補を、表示部５１０に選択可能に表示させる。

そして、ユーザが、画面に表示された修正候補の何れかを選択すると、修正部３２０は、選択結果に基づいて、認識結果を修正する。

なお、表示制御部３１０は、図９に示した画面の代わりに、図１１に示すような認識漏れおよび／または誤認識の領域のみからなる画像を表示部５１０に表示させてもよい。

また、表示制御部３１０は、図９の画面および図１０の画面、または、図１１の画面および図１０の画面を、１つの画面上に表示させてもよい。

（画像処理装置３００の動作の流れ）
次に、図１２を参照して、画像処理装置３００の動作の流れについて説明する。図１２は、本実施の形態に係る画像処理装置３００の動作の流れの一例を示すフローチャートである。

ステップＳ１１からステップＳ１４は、第２の実施の形態に係る画像処理装置２００の動作におけるステップＳ１からステップＳ４と同様の処理であるため、説明を省略する。

ステップＳ１４終了後、検出部１２０は、所定の回数、認識部１１０から認識結果を受信したか否かを確認する（ステップＳ１５）。所定の回数、認識結果を受信していない場合（ステップＳ１５にてＮＯ）、認識部１１０は、検出部１２０による検出結果によって示される領域に対し、物品の再認識を行う（ステップＳ１６）。そして、検出部１２０は、再度ステップＳ３を実行し、認識漏れの領域を検出する。

所定の回数、認識結果を受信した場合（ステップＳ１５にてＹＥＳ）、表示制御部３１０は、修正候補を画面に表示させるよう表示部５１０を制御する。そして、表示部５１０は、画面に修正候補を表示する（ステップＳ１７）。

ユーザが、画面に表示された修正候補の何れかを選択すると、修正部３２０は、選択結果に基づいて、認識結果を修正する（ステップＳ１８）。そして、修正部３２０は、認識結果を記憶部２２０に格納し、処理を終了する（ステップＳ１９）。

（効果）
本実施の形態に係る画像処理装置３００は、上述した第１および第２の実施の形態に係る画像処理装置と同様の効果を得ることができる。

また、オペレータ（ユーザ）に認識結果の修正を行わせる場合、認識対象の物品のマスタの数が増えると、ユーザが行う修正作業が煩雑になってしまう。しかしながら、本実施の形態に係る画像処理装置３００は、表示制御部３１０が検出部１２０によって検出された領域に存在する可能性がある物品の候補を選択可能に前記画面に表示させる。そのため、本実施の形態に係る画像処理装置３００は、ユーザによる修正作業の煩雑さを低減させることができる。これにより、画像処理装置３００は、ユーザの負担を増やすことなく、より精度の高い棚割りを示す情報を、撮影画像から取得することができる。

なお、本実施の形態では、表示制御部３１０が画像処理装置３００内に内蔵されることについて説明を行ったが、表示制御部３１０は、画像処理装置３００とは別個の表示制御装置として実現されるものであってもよい。この表示制御装置は、陳列された物品を撮影した撮影画像のうち、該物品が認識されなかった領域であって、物品が陳列されている可能性がある領域を、物品が認識されていない領域として表示部５１０の画面に表示させる。これにより、表示制御装置は、ユーザに認識漏れが発生している蓋然性の高い領域を、提示することができる。

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る画像処理装置（１００、２００、３００）を実現可能なハードウェアの構成例について説明する。上述した画像処理装置（１００、２００、３００）は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

図１３は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

図１３に示した情報処理装置（コンピュータ）１０のハードウェアは、以下に示す部材を備える。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、
・通信インタフェース（Ｉ／Ｆ）１２、入出力ユーザインタフェース１３、
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４、
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５、
・記憶装置１７、及び
・コンピュータ読み取り可能な記憶媒体１９のドライブ装置１８。
また、これらはバス１６を介して接続されている。入出力ユーザインタフェース１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース１２は、上述した各実施の形態に係る装置（図１、図２および図８）が、外部装置と、通信ネットワーク２０を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ１１は、各実施の形態に係る画像処理装置（１００、２００、３００）を実現する情報処理装置１０について、全体の動作を司る。

上述した各実施の形態は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図１３に示す情報処理装置１０に対して供給した後、そのプログラムを、ＣＰＵ１１に読み出して実行することによって実現される。なお、係るプログラムは、例えば、上記各実施の形態の説明において参照したフローチャート（図６、図１２）に記載した各種処理や、或いは、図１、図２および図８に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、情報処理装置１０内に供給されたプログラムは、読み書き可能な一時記憶メモリ（１５）またはハードディスクドライブ等の不揮発性の記憶装置（１７）に格納されてもよい。即ち、記憶装置１７において、プログラム群１７Ａは、例えば、上述した各実施の形態における画像処理装置（１００、２００、３００）内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報１７Ｂは、例えば、上述した各実施の形態における撮影画像、物品を認識するための情報、認識結果、検出結果、什器情報、売上情報、発注情報、物品画像等である。ただし、情報処理装置１０へのプログラムの実装に際して、個々のプログラム・モジュールの構成単位は、ブロック図（図１、図２および図８）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、以下のような現在では一般的な手順を採用することができる。
・ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）－ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（１９）を介して当該装置内にインストールする方法、
・インターネット等の通信回線（２０）を介して外部よりダウンロードする方法。
そして、このような場合において、本発明の各実施の形態は、係るコンピュータプログラムを構成するコード（プログラム群１７Ａ）或いは係るコードが格納された記憶媒体（１９）によって構成されると捉えることができる。

以上、本発明を、上述した模範的な実施の形態およびその実施例に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態及び実施例に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。

この出願は、２０１４年１０月２３日に出願された日本出願特願２０１４－２１６１１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 画像処理装置
１１０ 認識部
１２０ 検出部
２００ 画像処理装置
２１０ 受信部
２２０ 記憶部
３００ 画像処理装置
３１０ 表示制御部（表示制御装置）
３２０ 修正部
４００ 撮像装置
５００ 表示操作装置
５１０ 表示部
５２０ 入力部
３１ 物品
３２ 物品画像領域

Claims (6)

1. 陳列された物品を撮影した撮影画像から、物品を認識する認識手段と、
   前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、前記認識手段によって認識されなかった物品の領域を検出する検出手段と、
   を備え、
   前記認識手段は、前記領域が検出された場合に、前記物品の認識の際に使用する認識パラメータを変化させ、検出された前記領域に含まれる物品を認識する、ことを特徴とする画像処理装置。
2. 前記認識手段は、前記認識パラメータを、（ａ）前記什器を撮影した撮影画像に対する認識結果、（ｂ）前記撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｃ）前記什器における推奨される棚割りの情報、の少なくとも何れかに基づいて変化させ、検出された前記領域に含まれる物品を認識する、ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記什器情報は、（ａ）前記什器を撮影した撮影画像の撮影時刻より過去の時刻に該什器を撮影した撮影画像に対する前記認識手段による認識結果、（ｂ）前記什器における推奨される棚割りの情報、（ｃ）前記什器の段数または列数、（ｄ）前記什器の各段または各列に配置可能な物品数、および、（ｅ）前記什器に陳列された物品の陳列に関する条件を示す情報、の少なくとも何れかである、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、更に、前記認識手段によって認識された物品の物品間距離、認識された物品と前記什器の外縁との距離、認識された物品の大きさ、および、物品が認識されなかった領域に含まれる特徴点の数の少なくとも何れかに基づいて、前記認識手段によって認識されなかった物品の領域を検出する、ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. コンピュータが、
   陳列された物品を撮影した撮影画像から、物品を認識し、
   前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出し、
   前記領域が検出された場合に、前記物品の認識の際に使用する認識パラメータを変化させ、検出された前記領域に含まれる物品を認識する、ことを特徴とする画像処理方法。
6. 陳列された物品を撮影した撮影画像から、物品を認識する処理と、
   前記物品が陳列された什器に関連する什器情報に基づき、前記撮影画像に含まれる物品であって、認識されなかった物品の領域を検出する処理と、
   前記領域が検出された場合に、前記物品の認識の際に使用する認識パラメータを変化させ、検出された前記領域に含まれる物品を認識する処理と、をコンピュータに実行させることを特徴とするプログラム。

Images