JP2020187438A - 画像処理システム - Google Patents

Abstract

【課題】本発明は，画像処理システムを目的とする。【解決手段】処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，処理対象の画像情報の第１の領域と，候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，第１の領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。【選択図】 図１

Description

本発明は，画像処理システムに関する。

ある画像情報に，判定対象とする対象物が写っているかを判定することが求められる場合がある。たとえば商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する場合などがその一例としてあげられる。

このように，画像情報に対象物が写っているかを判定する場合には，通常，処理対象となる画像情報と，対象物の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１には，商品ごとの登録画像をもとに，自動販売機を撮影した画像情報に対して画像認識技術を用いることで，自動販売機が取り扱う商品を把握するシステムが開示されている。

特開２０１４−１９１４２３号公報

特許文献１の具体的な処理は，複数の方向から自動販売機を撮影し，撮影した各画像の位置関係を合わせた後，撮影した各画像を重畳することで合成画像を生成する。そして，生成した合成画像に，自動販売機に陳列される可能性のある商品を表す登録画像を照合することで，自動販売機が取り扱う商品を特定している。

合成画像と，商品を表す登録画像との照合処理（マッチング処理）の際には，それぞれの特徴量を用いることで処理を実行することが一般的である。しかし，比較対象とする商品が多くなる場合，登録画像の数が多くなり，照合処理（マッチング処理）の精度を高めることはできない。また計算時間が膨大にかかる課題がある。

そこで本発明者は上記課題に鑑み，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，マッチング処理の精度を向上させる画像処理システムを発明した。

第１の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。

本発明のように構成することで，比較処理（マッチング処理）において比較対象とする標本の対象物を減らすことができるので，計算時間を従来よりも減らすことができる。

上述の発明において，前記候補処理部は，前記特定した第１の領域において，対象物を特定し得る情報がある領域を第２の領域として特定する，画像処理システムのように構成することができる。

本発明の特徴を有する領域を第２の領域として特定することが好ましい。これによって，候補対象とする対象物を適切に絞り込むことができる。

上述の発明において，前記候補処理部は，前記特定した第１の領域の画像情報において，前記第１の領域の画像情報について所定の色数に減色し，前記第１の領域の画像情報を所定の大きさのメッシュに分割して前記減色した色ごとの分布マップを生成し，前記色ごとの分布マップについて，所定の範囲に収まるグループを検出し，各グループについて，その領域に含まれる色の数が所定数以内であって，かつエッジが所定の閾値以上あるグループを囲む領域を，前記第２の領域として特定する，画像処理システムのように構成することができる。

上述の発明において，前記候補処理部は，前記第１の領域の画像情報から特徴量を抽出することで，所定以上の広さの範囲にわたって共通の特徴が分布している領域を検出してその領域を消し込み，残った領域について，共通の特徴量が分布している領域を特定して，その領域を囲む領域を前記第２の領域として特定する，画像処理システムのように構成することができる。

上述の発明において，前記候補処理部は，さまざまな第１の領域の画像情報に第２の領域を正解データとして与えた，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，前記処理対象の画像情報における第１の領域の画像情報を入力し，その出力値に基づいて，前記第２の領域を特定する，画像処理システムのように構成することができる。

上述の発明において，前記候補処理部は，あらかじめ学習モデルとして，さまざまな第１の領域の画像情報における第２の領域内の特徴量を正例とし，さまざまな第１の領域の画像情報における第２の領域外の特徴量を負例として与えた判定処理部に対して，前記処理対象の画像情報における第１の領域の画像情報を分割したメッシュにおける各点を入力し，その各点について，前記第２の領域に属しているかを前記判定処理部に判定させ，その判定結果において，前記第２の領域に属していると判定したメッシュを囲む領域を前記第２の領域として特定する，画像処理システムのように構成することができる。

これらの発明に記載の処理を実行することで，対象物を特定し得る情報がある領域を第２の領域として特定することができる。そして，候補対象とする対象物を適切に絞り込むことができる。

上述の発明において，前記候補処理部は，前記第２の領域の情報と，前記対象物のブロック情報との類似検索処理において，それぞれの大きさ，縮尺，回転のいずれか一以上についてそのままで類似検索処理を実行し，前記比較処理部は，前記第１の領域の情報と，前記候補として特定した対象物の標本情報との比較処理において，その大きさ，縮尺，回転のうちいずれか一以上について揃えて比較処理を実行する，画像処理システムのように構成することができる。

処理対象とする画像情報の第２の領域の情報と，対象物のブロック情報との類似検索処理では，対象となる対象物の数が多いことや，類似検索処理の目的が候補を絞り込むための処理であるので，その計算時間を重視して厳密なマッチング処理を行う必要はない。一方，第１の領域の情報と，候補として特定した対象物の標本情報との比較処理では，比較対象となる対象物の標本情報の数が少ないことや，第１の領域の情報に写っている対象物を特定する必要があることから，上記の類似検索処理よりは厳密なマッチング処理を行う必要がある。そこで，本発明のように構成することが好ましい。

上述の発明において，前記画像処理システムは，画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部，を有する画像処理システムのように構成することができる。

処理対象とする画像情報は，陳列棚などを撮影した画像情報を２次元のまま取り扱う画像情報のほか，一度，３次元モデルを生成し，それを平面展開した画像情報としてもよい。それによって，より精度よく処理を実行することができる。

第９の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報におけるフェイス領域において所定条件を充足するブロック情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報におけるフェイス領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。

本発明のように構成しても，第１の発明と同様の技術的効果を得ることができる。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムである。

第９の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報におけるフェイス領域において所定条件を充足するブロック情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報におけるフェイス領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムである。

本発明の画像処理システムを用いることによって，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，マッチング処理の精度を向上させることが可能となる。

本発明の画像処理システムの全体の処理機能の一例を模式的に示すブロック図である。 本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の画像処理システムにおける全体処理の処理プロセスの一例を示すフローチャートである。 撮影画像情報の一例を示す図である。 図４の撮影画像情報に対して正置化処理を実行した画像情報の一例を示す図である。 撮影画像情報からフェイス領域を特定した状態の一例を示す図である。 フェイス領域からブロックを特定した状態の一例を示す図である。 本発明の画像処理システムにおける処理の概念図を示す。 ブロックを特定する処理の処理プロセスの一例を示すフローチャートである。 撮影した画像情報と深さ情報による深さマップとの対応関係を模式的に示す図である。 撮影した画像情報と深さマップに基づく３次元モデル化の処理の一例を示す図である。 平面展開の処理の一例を模式的に示す図である。 ３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。 ３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。 視点方向決定処理において，基準を特定する処理を模式的に示す図である。 各面をラベリングする処理の一例を模式的に示す図である。 パッケージタイプが缶の場合のフェイスを特定するイメージ図である。 パッケージタイプが瓶の場合のフェイスを特定するイメージ図である。 パッケージタイプが箱物の場合のフェイスを特定するイメージ図である。 パッケージタイプが吊るし商品の場合のフェイスを特定するイメージ図である。

本発明の画像処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像処理システム１は，管理端末２と入力端末３とを用いる。

管理端末２は，画像処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，店舗の陳列棚などを撮影した画像情報を取得する端末である。また，後述する比較処理（マッチング処理）で用いる標本とする商品などの対象物を撮影し，取得してもよい。

画像処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または対象物画像情報）を撮影する。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

画像処理システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と画像情報処理部２２と候補処理部２３と比較処理部２４と標本情報処理部２５と標本情報記憶部２６とを有する。

画像情報入力受付処理部２０は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図４に，撮影画像情報の一例を示す。図４では，陳列棚に３段の棚段があり，そこに商品が陳列されている状態を撮影した撮影画像情報を模式的に示すものである。

画像情報記憶部２１は，入力端末３から受け付けた撮影画像情報，撮影日時，画像情報識別情報などを対応づけて記憶する。

画像情報処理部２２は，画像情報入力受付処理部２０で受け付けた撮影画像情報について，撮影画像情報を正対した状態とする正置化処理，撮影画像情報から標本情報と比較処理（マッチング処理）を実行する領域（フェイス領域）を特定するフェイス処理，フェイス領域において所定の条件を充足する特徴領域（ブロック）を特定するブロック特定処理を実行する。

正置化処理とは，一般的に，単に撮影対象物を撮影した場合には，撮影対象物を正対した状態で撮影することは困難であることから，それを正対した状態に補正する処理であり，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理である。このような補正処理の一例として台形補正処理がある。なお，画像情報に歪みがある場合，歪み補正処理を付加してもよい。図５に，図４の撮影画像情報に対して正置化処理を実行した状態の画像情報を示す。

なお，撮影画像情報が正対した状態で撮影された画像情報である場合，あるいは歪みがない場合には，正置化処理，歪み補正処理を実行しなくてもよい。

撮影画像情報とは，本発明の処理対象となる画像情報であればよい。正置化処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。

また，画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成する処理を実行し，合成処理を実行した画像情報に対して，正置化処理，フェイス処理，ブロック特定処理を実行してもよい。複数枚の画像情報をいつの画像情報に合成する処理としては，公知の手法を用いることもできる。

フェイス処理とは、撮影画像情報において，後述する標本情報と比較処理を実行するための領域（フェイス領域）を特定する。たとえば商品の陳列棚を撮影した撮影画像情報であって，標本情報が商品である場合，フェイス領域として，陳列棚に陳列されている商品の領域や商品のラベルの領域を特定する。商品がペットボトル飲料の場合には，商品のラベルの領域をフェイス領域とし，商品が箱に入った商品（たとえばお菓子）の場合には，商品のパッケージ全体をフェイス領域とするなど，商品に応じて，適宜，フェイス領域を設定できる。なお，商品がペットボトル飲料の場合にも，商品の領域をフェイス領域としてもよい。

フェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。標本情報が商品（たとえばペットボトル飲料）であって，陳列棚を撮影した撮影画像情報から商品のラベルの領域をフェイス領域として特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，商品の領域を特定する。そして，その商品の領域の中から，所定の矩形領域をラベルの領域として特定し，その領域をフェイス領域として特定する。

フェイス領域の特定方法は，商品のカテゴリや商品の形態によって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。

さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな撮影画像情報にフェイス領域を正解データとして与えたものを用いることができる。

画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，撮影画像情報から特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる細く狭い陰影を特定することで商品の領域を特定し，その領域から所定の矩形領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。

図６に，撮影画像情報からフェイス領域として，商品（ペットボトル飲料のラベル部分）を切り出した場合の一例を示す。

画像情報処理部２２がフェイス領域を特定すると，画像情報処理部２２は，そのフェイス領域のうち，商品を特定し得る情報がある矩形領域を，フェイス領域の画像を特徴付ける特徴的な領域（ブロック）として特定する。ブロックとして特定する領域には，商品名や商品のロゴなどが表示された領域となる。

画像情報処理部２２がフェイス領域からブロックを特定するための方法としては，たとえば３つの方法があるが，それに限定するものではないし，それらを複数組み合わせてもよい。

第１の方法としては，対象物のブロックに共通する画像的な特徴を抽出して判定する方法である。すなわち，フェイス領域の画像情報内で，互いに明確に弁別可能な限定された個数の色で構成され，かつ色と色の境界が明確である（エッジが明瞭）という特徴を有する矩形領域を，ブロックとして特定する方法である。

まずフェイス領域の画像情報を構成する各画素の色について，所定の色数のパレット色に色数を減色して検出する。またフェイス領域の画像情報を，所定の大きさのメッシュに分割し，パレット色ごとの分布マップを生成する。そして各パレットで，一定の密度以上で分布しており，かつ縦横の大きさが所定の閾値内に収まる局所的なグループを検出することで，矩形領域を特定する。

そして各グループについて，全パレット色の分布マップを参照し，その矩形領域に含まれるパレットの数が所定数，たとえば３以内であるかを判定し，所定数以内である場合には，そのグループ領域内にエッジが所定の閾値以上あるかを判定する。エッジの判定については，フェイス領域の画像情報に対して，エッジ検出処理を行っておき，それに基づいて閾値以上あるかを判定できる。そして，これらの条件を充足するグループを囲む矩形領域をブロックとして特定をする。

以上のような方法によって，フェイス領域からブロックを特定することができる。

フェイス領域からブロックを特定するための第２の方法としては，フェイス領域の画像情報から局所特徴量等の特徴量を抽出する。そして，広い範囲（所定以上の広さの範囲）にわたって共通の特徴が分布している領域を検出し，その領域をフェイス領域の「地」の部分として消し込む。そして残った領域について，互いに共通の特徴量が分布している領域を特定し，それらを囲む矩形領域をブロックとして特定をする。

フェイス領域からブロックを特定するための第３の方法としては，機械学習あるいは深層学習（ディープラーニング）などのＡＩ技術によってフェイス領域の画像情報からブロックを検出することもできる。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，フェイス領域の画像情報を入力し，その出力値に基づいて，ブロックを特定してもよい。また学習モデルとしては，さまざまなフェイス領域の画像情報にブロックを正解データとして与えたものを用いることができる。なお，撮影画像情報からフェイス領域の特定とブロックの特定とを同時に行っても良い。

なお，第３の方法における機械学習あるいは深層学習などのＡＩ技術を用いるほかの例として，次のようなものがある。あらかじめ，上述の学習モデルとして与える正解データ（さまざまなフェイス領域の画像情報にブロックを与えたもの）におけるブロック領域内の特徴量（この特徴量は色，局所特徴量など複数でも良い）と，ブロック領域外の特徴量とを抽出しておき，それぞれを正例，負例として，ＳＶＭ（サポートベクターマシン support vector machine）などの判定モジュール（判定機）を構成する。そしてこのＳＶＭなどの判定モジュールに対して，フェイス領域の画像情報の各点，たとえばフェイス領域の画像情報を所定の大きさのメッシュに分割してそのメッシュ内の点を入力し，各点についてブロックの領域に属しているか否かを判定させる。この判定結果において，ブロックの領域に属していると判定したメッシュの領域を囲む領域をブロックとして特定をする。

フェイス領域からブロックを特定する処理としては上記の３つの方法に限定されず，ほかの方法を用いてもよい。また上記の３つあるいはほかの方法のうち複数を組み合わせて特定しても良い。

図７にフェイス領域からブロックを特定した場合の一例を模式的に示す。図７では，図６のフェイス領域からブロックを特定した場合を示している。図７における矩形領域が特定したブロックである。

以上のように画像情報処理部２２でフェイス領域の画像情報からブロックを特定すると，候補処理部２３は，当該特定したブロックと，後述する標本情報記憶部２６に記憶するブロックとの間の類似検索処理を実行する。類似検索としては，たとえばフェイス領域の画像情報から特定したブロックの画像情報の特徴量と，標本情報記憶部２６に記憶する対象物ごとのブロックの画像情報の特徴量とを比較し，判定を行う。なお特徴量には，局所特徴量のほか，各色の配色の一致度，エッジの分布の一致度，それらを組み合わせたものも含まれる。フェイス領域の画像情報から特定したブロックの数をｍ，対象物一つあたりのブロックの数をｎとした場合，それらの比較回数は，単純比較ではｍ×ｎ回となるが，ＬＳＨ（Ｌｏｃａｌｉｔｙ Ｓｅｎｓｉｔｉｖｅ Ｈａｓｈｉｎｇ）などの高速化手法を用いた場合には，比較回数を減らすことができ，高速化を実現することができる。

候補処理部２３は，上述の類似検索の結果をあらかじめ定めた基準でソートをし，そのうち上位所定数，たとえば上位１０件の標本情報を候補として特定する。

比較処理部２４は，候補処理部２３で特定した候補とした標本情報と，フェイス領域の画像情報との比較処理（マッチング処理）を実行する。たとえばフェイス領域の画像情報の特徴量を抽出し，抽出した特徴量と，候補とした標本情報の特徴量との比較処理を実行することで，フェイス領域の画像情報と標本情報との類似性を判定し，そのフェイス領域に含まれる対象物の識別情報，たとえば商品名などを判定する。

なお比較処理としては，フェイス領域の画像情報の全体と標本情報とをマッチングするのみならず，フェイス領域の画像情報の一部，たとえば特徴領域（ブロック）の画像情報の特徴量を抽出し，標本情報の特徴量と比較処理を実行してもよい。

また，特徴量以外の方法により比較処理を行ってもよい。

さらに，比較処理部２４は，深層学習（ディープラーニング）を用いて標本情報との比較処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまなフェイス領域の画像情報に標本情報を正解データとして与えたものを用いることができる。

標本情報処理部２５は，撮影画像情報に写っている対象物を特定するための比較処理の際に用いる対象物の標本情報を生成し，後述する標本情報記憶部２６に記憶させる。標本情報とは対象物を撮影した画像情報（対象物画像情報）および／またはその特徴量の情報である。標本情報には，対象物の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，対象物画像情報におけるブロックの画像情報やその特徴量（ブロック情報）を記憶している。対象物画像情報としては，対象物全体の画像情報であってもよいし，対象物の一部分，たとえば対象物がペットボトル飲料の場合にはラベル部分の画像情報であってもよい。なお，標本情報として，対象物画像情報の特徴量の情報を用いる場合には，処理の都度，特徴量を抽出する必要がなくなる。ブロックとしては，当該対象物画像情報を特徴付ける特徴的な領域であって，たとえば商品名，ロゴなどを囲む矩形領域が該当する。

標本情報処理部２５は，一つの対象物について一つの標本情報を生成してもよいし，一つの対象物について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面程度の角度からの標本情報を生成してもよい。また，一つの対象物に複数の外装（パッケージなど）がある場合には，一つの対象物にそれぞれの外装の場合の標本情報やブロックを対応づけても良い。また，標本情報に対応づけるブロックとしては，一つであってもよいが，複数のブロックが対応づけられていると良い。

標本情報は，標本とする対象物を撮影した対象物画像情報に対して，上述の画像情報処理部２２と同様の処理を実行することで，ブロックを抽出してもよいし，抽出したブロックからオペレータが商品の特定のために必要なブロックのみを取捨選択しても良い。また画像情報処理部２２のように自動的に抽出処理を実行するのではなく，読み込んだ対象物の画像情報からオペレータがブロックを指定しても良い。

標本情報記憶部２６は，標本情報処理部２５において生成した標本情報を，対象物の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，対象物画像情報におけるブロックの画像情報および／またはその特徴量（ブロック情報）などに対応づけて記憶する。

つぎに本発明の画像処理システム１を用いた処理プロセスの一例を図３のフローチャートを用いて説明する。また図８に本発明の画像処理システム１における処理の概念図を示す。また，本実施例では，店舗の陳列棚を撮影し，陳列棚にある商品を特定する場合を説明する。そのため，撮影画像情報としては商品が陳列されている店舗の陳列棚であり，標本情報における対象物としては陳列される可能性のある商品となる。

まずオペレータは，標本情報とする商品を正対位置から撮影し，撮影した対象物画像情報，識別情報，商品名，商品コードを対応づけて標本情報記憶部２６に記憶させておく。また，対象物画像情報に対して画像情報処理部２２における処理と同様の処理を標本情報処理部２５が実行し，ブロックを抽出する。そして抽出したブロックのうち，標本情報として用いるブロック，たとえば商品名，ロゴなどの含まれたブロックのみを標本情報に対応づけるブロックとして標本情報記憶部２６に記憶させておく。また，対象物画像情報から所定の処理を実行することで，局所特徴量などの特徴量を抽出し，対象物画像情報に対応づけて記憶させておく。

このような標本情報に対する処理を，複数の商品についてあらかじめ実行しておく。

そして店舗の陳列棚を撮影した撮影画像情報を入力端末３から管理端末２の画像情報入力受付処理部２０が受け付けると（Ｓ１００），画像情報記憶部２１に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。

受け付けた撮影画像情報に対して，画像情報処理部２２は，撮影画像情報が正対した状態となるように補正する正置化処理を実行する（Ｓ１１０）。そして，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行し（Ｓ１２０），特定したフェイス領域からブロックを特定する（Ｓ１３０）。

上述のように，フェイス領域からブロックを特定するためには，上述のようにたとえば第１の方法から第３の方法のような各種の方法があるが，たとえば第１の方法による場合には，以下のような処理を実行する。この場合の処理プロセスの一例を図９のフローチャートを用いて説明する。

まずフェイス領域の画像情報を構成する各画素の色について，たとえば全体を代表する１６色など，所定の色数のパレット色に色数を減色して，パレット色を検出する（Ｓ２００）。また，フェイス領域の短辺をたとえば６４分割する正方形のメッシュで分割し，各メッシュがどのパレット色となるかを定め，パレット色ごとのその色の有無の分布マップを生成する（Ｓ２１０）。

そして，フェイス領域の画像情報の各メッシュに対して，一定の距離にある飛び地を候補とするよう膨張処理を分布マップに対して行い，その分布マップが，所定の範囲に収まるグループを検出する（Ｓ２２０）。所定の範囲としては，たとえば，横幅が全体の１／１０〜２／３，縦の高さが全体の１／２０〜１／２，面積が全体の１／１００〜１／１０の閾値の条件に収まる分布マップ（膨張処理を施した分布マップ）のグループを検出する。

そして各グループについて，全パレット色の分布マップを参照し，その領域に含まれるパレットの数が所定数，たとえば３以内であるかを判定する（Ｓ２３０）。すなわち，グループの領域における全パレット色の分布マップを参照し，グループの領域内に多くの色数を含む場合にはイメージイラストである可能性が高く，商品を特定するような特徴的な領域であるロゴなどではないと考えられるので，そのようなグループを除外する。

Ｓ２３０において，グループの領域内に含まれるパレットの数が所定数以内である場合には，そのグループ領域内にエッジが所定の閾値以上あるかを判定する（Ｓ２４０）。エッジの判定については，フェイス領域の画像情報に対して，あらかじめエッジ検出処理を行っておき，それに基づいて閾値以上あるかを判定できる。グループ領域内にエッジが閾値以上に存在しない場合には，ロゴではない可能性が高いので，そのグループを除外する。

そして，これらの条件を充足するグループを囲む矩形領域をブロックとして特定をする（Ｓ２５０）。

この処理を，Ｓ２２０でグルーピングしたグループに対して実行する（Ｓ２６０）。

以上のような方法によって，フェイス領域からブロックを特定することができる。

画像情報処理部２２でフェイス領域の画像情報からブロックを特定すると，候補処理部２３は，当該特定したブロックの領域の画像情報の特徴量を抽出し，抽出した特徴量と，標本情報記憶部２６に記憶する各商品の各ブロックの領域の画像情報の特徴量とを比較してその類似度の判定を行う。この際の類似度の判定は，候補の絞り込みであることから，当該特定したブロックの領域の画像情報と，標本情報記憶部２６に記憶する各商品の各ブロックの領域の画像情報の大きさ，縮尺，回転などは考慮せずに（極力近づけなくてもよく，そのままの状態で）処理を実行してもよい。そして類似度が高い順に，商品をソートし，上位の所定件数，たとえば１０件程度の商品を候補として特定する（Ｓ１４０）。

Ｓ１４０において候補処理部２３が，比較処理の候補となる商品を特定すると，比較処理部２４は，フェイス領域の画像情報の特徴量を抽出し，抽出した特徴量と，候補として特定した商品の標本情報の特徴量（ブロックの特徴量ではなくフェイス領域に対応する領域の画像情報の特徴量）とを比較することで比較処理を行う（Ｓ１５０）。この比較の際には，フェイス領域の画像情報の大きさと，標本情報における画像情報の大きさ，縮尺，回転なども極力近づけた上で比較処理を行う。この比較処理を候補として特定した各商品について行う。

そしてこの比較処理の結果，候補として特定した商品のうち，もっとも類似度が高いと判定した商品を，当該フェイス領域の商品として特定し，当該フェイス領域と，商品識別情報，商品名，商品コードなどと対応づける（Ｓ１６０）。

撮影画像情報に写っている陳列棚には，複数の商品が陳列されていることが一般的であるから，陳列されている商品に応じたフェイス領域が切り出されていることが一般的である。そのため，それぞれのフェイス領域について，上述の各処理を実行することで，陳列棚に陳列されている商品や陳列位置を特定することができる。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。

実施例１では撮影画像情報として，２次元の画像情報のまま撮影をした場合を説明したが，撮影対象と撮影装置との距離情報を考慮して，撮影画像情報から３次元モデル化をし，さらに，そこから２次元の画像情報に投影した場合の画像情報を，本発明の画像処理システム１で処理対象とする撮影画像情報としてもよい。なお，この場合，標本情報における対象物の画像情報についても同様の処理が実行されている。この場合の処理を以下に説明する。

本実施例の入力端末３では，カメラなどの撮影装置で可視光などによる画像情報を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影装置で撮影した画像情報に対応しており，撮影した画像情報に写っている物までの深さ情報が，撮影した画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影した画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。

深さ情報を取得する場合，撮影対象の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えていてもよい。

画像情報と深さ情報とはその位置関係が対応をしている。図１０では，陳列棚を撮影対象として撮影した画像情報と深さ情報による深さマップとの対応関係を示している。図１０（ａ）が撮影した画像情報，図１０（ｂ）がそれに対応する深さマップを模式的に示した図である。

画像情報入力受付処理部２０は，入力端末３で撮影した，陳列棚などの撮影対象の画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。また，画像情報入力受付処理部２０は，入力端末３で撮影した画像情報に対する深さ情報や深さマップの入力を受け付け，撮影した画像情報に対応づけて，画像情報記憶部２１に記憶させる。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。

撮影対象を撮影した画像情報と深さ情報，深さマップは，画像情報を撮影する際に同時に撮影，情報が取得され，その情報の入力を受け付けるようにすることが好ましい。

画像情報処理部２２は，陳列棚などを撮影した画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，撮影した画像情報と深さマップとは対応しているので，まず深さマップにおける深さ情報に基づいて３次元モデルに変換をし，そこに撮影した画像情報を対応づけてテクスチャマッピングをする。図１１に撮影した画像情報と深さマップに基づく３次元モデル化の処理の一例を示す。なお，図１１では飲料のペットボトルを３次元モデル化する場合を示している。図１１（ａ）は撮影した画像情報である。画像情報処理部２２は，同時に深さマップを取得しているので，深さマップにおける各メッシュの深さ情報に基づいて，３次元モデルに変換をする。そして深さマップにおける各メッシュの位置に，撮影した画像情報の対応する画素の色情報などを貼り付けるテクスチャマッピングをすることで，図１１（ｂ）乃至（ｄ）のように３次元モデル化をすることができる。図１１（ｂ）は左方向からの視点，図１１（ｃ）は正面からの視点，図１１（ｄ）は右方向からの視点を示している。

画像情報処理部２２は，陳列棚などを撮影した画像情報と深さマップに基づいて，３次元モデルを生成すると，それを平面展開する平面展開処理を実行する。平面展開とは，３次元モデルを平面（２次元）に展開することを意味する。３次元モデルを平面展開する方法はさまざまな方法があり，限定するものではない。

平面展開の方法の一例としては，３次元モデルの内側に投影の中心を定め，そこから投影をすることで，平面に展開する方法がある。画像情報処理部２２における平面展開の処理の一例を図１２を用いて説明する。図１２（ａ）はペットボトルを撮影した画像情報であり，その上面図は，略六角形状になっている。なお実際の形状はより細かく凹凸があるが，ここでは説明のため，六角形で示す。そして，図１２（ａ）の画像情報をその深さマップを用いて３次元モデル化した場合に，上方から見た場合の位置関係が図１２（ｂ）である。この場合，撮影装置（カメラ）の陰になっている箇所の深さ情報は存在しないので，図１２（ｂ）に示すように，上方から見た場合，空白がある。そして，平面展開する対象物の任意の箇所に投影の中心軸を特定する。たとえば陳列棚に陳列される商品であって，その形状が箱形，袋型ではなく，円柱型，ボトル型などの表面が平面ではなく規則的な曲面の場合には，その横幅とその表面の形状から，回転軸の中心点を求め，投影の中心軸として特定する。なお，投影の中心軸を特定するためには，上記のように限らず，任意の方法であってよい。投影の中心軸を特定した状態が図１２（ｃ）である。そして，特定した投影の中心軸から，対象物の表面を，任意に設定した投影面に投影する。これを模式的に示すのが図１２（ｄ）である。なお，図１２（ｄ）のように，３次元モデルの面と投影面との位置が一致しない場合，その離間する距離に応じた投影結果の画像情報の縦横の大きさを，適宜の縮尺率によって調整する。一方，図１２（ｅ）のように，３次元モデルの面と投影面との位置を一致させる場合には，その縮尺率の調整処理は設けなくてもよい。なお，図１２（ｂ）乃至（ｅ）は，いずれも上方からの図である。

画像情報処理部２２は，このような平面展開の処理を行うことで，３次元モデルを２次元（平面）に展開し，２次元の画像情報（平面展開画像情報）に変換することができる。なお，上述では，投影による処理で３次元モデルから平面展開画像情報に変換する処理を行ったが，平面展開処理において，３次元モデルから平面展開画像情報に変換する処理はほかの処理によってもよい。

画像情報処理部２２は，このように生成した平面展開画像情報を，上述の実施例１における撮影画像情報として取り扱い，フェイス処理以降の処理を実行すれば，実施例１と同様の処理を実行できる。

また標本情報処理部２５は，上述の画像情報処理部２２と同様に，対象物を撮影した画像情報と深さマップとから３次元モデルを生成し，その３次元モデルに基づいて平面展開画像情報を生成する。そして平面展開画像情報の全部または一部（たとえばラベル部分）を標本情報として標本情報記憶部２６に記憶させることで，実施例１と同様の処理を実行できる。

実施例２の処理の変形例として，スティッチング処理を実行する場合を説明する。

画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成するスティッチング処理を実行してもよい。スティッチング処理は，３次元モデル化の前であってもよいし，３次元モデル化の後であってもよい。３次元モデル化の前のスティッチング処理，３次元モデル化の後のスティッチング処理のいずれも公知の手法を用いることもできる。

３次元モデル化の前に行う場合には，各撮影画像情報間で対応点を検出することでスティッチング処理を実行する。この際に，撮影画像情報同士で対応点が特定できるので，特定した対応点の位置に対応する深さマップ同士も同様に対応づける。これによって，３次元モデル化の前にスティッチング処理を実行できる。

また，３次元モデル化の後に行う場合には，２つの３次元モデルにおける凹凸形状の類似性を深さ情報から特定し，形状が類似（深さ情報に基づく凹凸のパターンが所定範囲内に含まれている）している領域内において，その領域に対応する，当該３次元モデルの元となった撮影画像情報同士で対応点を検索することで，３次元モデル化の後にスティッチング処理を実行できる。これを模式的に示すのが図１３である。図１３（ａ）および（ｂ）は横に並ぶ棚段を撮影した撮影画像情報であり，図１３（ｃ）は図１３（ａ）に基づく３次元モデル，図１３（ｄ）は図１３（ｂ）に基づく３次元モデルである。この場合，図１４に示すように，たとえば撮影画像情報において，スティッチング処理のための基準１０１，たとえば棚段を写り込むように撮影をしておけば，その基準１０１が同一の視点方向になるように３次元モデルを回転する。そして深さ情報に基づく凹凸形状の類似を判定する。そして特定した類似する領域１００内における対応点を検索することで，スティッチング処理を実行できる。図１４（ａ）は図１３（ａ）の３次元モデルを，図１３（ｂ）と同一の視点方向となるように回転させた状態である。そして図１４（ａ）と図１４（ｂ）の破線領域１００が，深さ情報に基づいて判定した凹凸形状の類似の領域１００である。また，一点鎖線領域１０１が，同一の視点方向になるように３次元モデルを回転させるための基準とする棚段である。なお基準１０１とするものは撮影対象によって任意に特定することができるが、好ましくは２以上の直線で構成されるものであることがよい。

以上のような処理を実行することで，３次元モデル化の前または後のいずれであってもスティッチング処理を実行することができる。また，複数枚の撮影画像情報を用いない場合にはスティッチング処理は実行しなくてもよい。

実施例２の処理の変形例として，画像情報処理部２２は，３次元モデル化処理を実行した後，撮影対象とした３次元モデルが正対する位置となるように，その視点方向を決定する処理を実行し，その後，平面展開をする処理を実行してもよい。たとえば撮影対象が商品の陳列棚やそこにある商品である場合，陳列棚や商品が正対する位置（正面となる位置）になるように視点方向を決定する。

視点方向を決定する処理としては，３次元モデルにおける基準が，正対する位置となるためのあらかじめ定めた条件を充足するように視点方向を決定すればよい。基準および条件は撮影対象などに応じて任意に設定することができる。たとえば陳列棚を撮影する際には，陳列棚の棚段の前面１０２を基準とし，条件としては，陳列棚の複数の棚段の前面１０２がいずれも水平となり，かつ互いに垂直の位置となるように，視点を撮影範囲の上下左右で中央に移動させることで，実現できる。棚段の前面１０２は，通常，商品の陳列棚を撮影した場合，陳列棚の前面が一番手前に位置する（もっとも前に位置している）ので３次元モデルの深さ情報から棚段の前面１０２を特定することができる。この処理を模式的に示すのが図１５である。図１５（ａ）は陳列棚を撮影した撮影画像情報であり，図１５（ｂ）はその陳列棚の深さマップにおいて，深さ情報を白黒の濃度で表現した図であり（黒の場合が手前に位置する（深さ情報の値が小さい）），図１５（ｃ）は深さマップに基づく３次元モデルであり，深さ情報を色に変換したものである。そして画像情報処理部２２は，深さ情報に基づいて陳列棚の棚段の前面を特定し，その棚段が上述の条件を充足するように視点方向を決定する。また視点方向の決定処理で用いた基準と，上述の３次元モデル化後のスティッチング処理における基準とは同一の基準を用いてもよい。たとえばいずれの場合も陳列棚の棚段の前面を基準として用いることができる。

図１５（ｃ）ではわかりやすさのため，撮影画像情報をテクスチャマッピングする前の状態で処理をする場合を示しているが，テクスチャマッピングをした後の３次元モデルに対して視点方向の決定処理を実行してもよい。なお，視点方向の決定処理は，上述に限らず，任意の処理で実現することができる。

なお，もともと撮影画像情報が正対した位置から撮影されているなどの場合には，視点方向の決定処理は実行しなくてもよい。

実施例２乃至実施例４の処理では，平面展開画像情報に対してフェイス処理を実行することで，フェイス領域の画像情報を特定していたが，３次元モデルからフェイス領域を特定し，特定したフェイス領域について平面展開処理を実行して平面展開画像情報としても良い。

３次元モデルからフェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。たとえば，３次元モデルにおいて所定条件を充足する面の位置と範囲を特定し，その面と，あらかじめ定めた標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングし，条件を充足する面をフェイス領域として特定する。たとえば上述と同様に，標本情報が商品であり，陳列棚を撮影した撮影画像情報から３次元モデルを生成し，商品のフェイス領域を特定する処理の場合には，以下のような処理が実行できる。

まず，微細な凹凸を除外するために高周波をフィルタアウトした上で，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図１６では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図１６では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。

そして画像情報処理部２２は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図１６の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。

このように特定した商品面において，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。

パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶のフェイス領域として特定する。これを模式的に示すのが，図１７および図１８である。図１７はパッケージタイプが缶の場合を示すイメージ図であり，図１８はパッケージタイプが瓶の場合を示すイメージ図である。

パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶のフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶のフェイス領域として特定をする。

パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物のフェイス領域として特定をする。これを模式的に示すのが図１９である。

また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品のフェイス領域として特定をする。これを模式的に示すのが図２０である。

なお，画像情報処理部２２は，パッケージタイプの選択を受け付けずフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，フェイス領域としての条件が成立するかを判定する。そして，フェイス領域を構成する面が存在する場合には，その面が構成するフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，フェイス領域がどのようなパッケージタイプであるかを特定する。

３次元モデルからフェイス領域を特定する処理は，商品などのカテゴリや形状などによって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。

さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記３次元モデルを入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな３次元モデルにフェイス領域を与えたもの正解データとして用いることができる。

画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，３次元モデルから特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，３次元モデルから所定条件を充足する面の位置と範囲を特定し，表面モデルのタイプに応じた条件を充足するかをマッチングしてフェイス領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。

画像情報処理部２２は，画像情報処理部２２において切り出したフェイス領域について，実施例２と同様の平面展開処理を実行し，フェイス領域についての平面展開画像情報を生成する。そして，このように生成した平面展開画像情報を，上述の実施例１における撮影画像情報として取り扱い，ブロック特定処理以降の処理を実行すれば，実施例１と同様の処理を実行できる。

また標本情報処理部２５は，上述の画像情報処理部２２と同様に，対象物を撮影した画像情報と深さマップとから３次元モデルを生成し，その３次元モデルに基づいてフェイス領域を切り出す。そして切り出したフェイス領域から平面展開画像情報を生成し，平面展開画像情報を標本情報として標本情報記憶部２６に記憶させることで，実施例１と同様の処理を実行できる。

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

また，本発明の画像処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を対象物として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。

本発明の画像処理システム１を用いることによって，陳列棚などを撮影した画像情報に写っている商品などの対象物を特定する際に，計算時間を従来よりも要することなく，比較処理の精度を向上させることが可能となる。

１：画像処理システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：画像情報処理部
２３：候補処理部
２４：比較処理部
２５：標本情報処理部
２６：標本情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

第１の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有しており，前記候補処理部は，前記第１の領域の画像情報において，前記第１の領域の画像情報について所定の色数に減色し，前記第１の領域の画像情報を所定の大きさのメッシュに分割して前記減色した色ごとの分布マップを生成し，前記色ごとの分布マップについて，所定の範囲に収まるグループを検出し，各グループについて，その領域に含まれる色の数が所定数以内であって，かつエッジが所定の閾値以上あるグループを囲む領域を，前記第２の領域として特定する，画像処理システムである。

第２の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有しており，前記候補処理部は，前記第１の領域の画像情報から特徴量を抽出することで，所定以上の広さの範囲にわたって共通の特徴が分布している領域を検出してその領域を消し込み，残った領域について，共通の特徴量が分布している領域を特定して，その領域を囲む領域を前記第２の領域として特定する，画像処理システムである。

第３の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有しており，前記候補処理部は，さまざまな第１の領域の画像情報に第２の領域を正解データとして与えた，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，前記処理対象の画像情報における第１の領域の画像情報を入力し，その出力値に基づいて，前記第２の領域を特定する，画像処理システムである。

第４の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有しており，前記候補処理部は，あらかじめ学習モデルとして，さまざまな第１の領域の画像情報における第２の領域内の特徴量を正例とし，さまざまな第１の領域の画像情報における第２の領域外の特徴量を負例として与えた判定処理部に対して，前記処理対象の画像情報における第１の領域の画像情報を分割したメッシュにおける各点を入力し，その各点について，前記第２の領域に属しているかを前記判定処理部に判定させ，その判定結果において，前記第２の領域に属していると判定したメッシュを囲む領域を前記第２の領域として特定する，画像処理システムである。

これらの発明のように構成することで，比較処理（マッチング処理）において比較対象とする標本の対象物を減らすことができるので，計算時間を従来よりも減らすことができる。また，これらの発明に記載の処理を実行することで，対象物を特定し得る情報がある領域を第２の領域として特定することができる。そして，候補対象とする対象物を適切に絞り込むことができる。

第５の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有しており，前記候補処理部は，前記第２の領域の情報と，前記対象物のブロック情報との類似検索処理において，それぞれの大きさ，縮尺，回転のいずれか一以上についてそのままで類似検索処理を実行し，前記比較処理部は，前記第１の領域の情報と，前記候補として特定した対象物の標本情報との比較処理において，その大きさ，縮尺，回転のうちいずれか一以上について揃えて比較処理を実行する，画像処理システムである。

本発明のように構成することで，比較処理（マッチング処理）において比較対象とする標本の対象物を減らすことができるので，計算時間を従来よりも減らすことができる。
処理対象とする画像情報の第２の領域の情報と，対象物のブロック情報との類似検索処理では，対象となる対象物の数が多いことや，類似検索処理の目的が候補を絞り込むための処理であるので，その計算時間を重視して厳密なマッチング処理を行う必要はない。一方，第１の領域の情報と，候補として特定した対象物の標本情報との比較処理では，比較対象となる対象物の標本情報の数が少ないことや，第１の領域の情報に写っている対象物を特定する必要があることから，上記の類似検索処理よりは厳密なマッチング処理を行う必要がある。そこで，本発明のように構成することが好ましい。

第６の発明は，画像情報に写っている対象物を特定する画像処理システムであって，前記画像処理システムは，画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部と，前記処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，を有する画像処理システムである。

本発明のように構成することで，比較処理（マッチング処理）において比較対象とする標本の対象物を減らすことができるので，計算時間を従来よりも減らすことができる。
処理対象とする画像情報は，陳列棚などを撮影した画像情報を２次元のまま取り扱う画像情報のほか，一度，３次元モデルを生成し，それを平面展開した画像情報としてもよい。それによって，より精度よく処理を実行することができる。

上述の発明において，前記候補処理部は，前記特定した第１の領域において，対象物を特定し得る情報がある領域を第２の領域として特定する，画像処理システムのように構成することができる。

本発明の特徴を有する領域を第２の領域として特定することが好ましい。これによって，候補対象とする対象物を適切に絞り込むことができる。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，前記第１の領域の画像情報において，前記第１の領域の画像情報について所定の色数に減色し，前記第１の領域の画像情報を所定の大きさのメッシュに分割して前記減色した色ごとの分布マップを生成し，前記色ごとの分布マップについて，所定の範囲に収まるグループを検出し，各グループについて，その領域に含まれる色の数が所定数以内であって，かつエッジが所定の閾値以上あるグループを囲む領域を，前記第２の領域として特定する，画像処理プログラムである。
第２の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，前記第１の領域の画像情報から特徴量を抽出することで，所定以上の広さの範囲にわたって共通の特徴が分布している領域を検出してその領域を消し込み，残った領域について，共通の特徴量が分布している領域を特定して，その領域を囲む領域を前記第２の領域として特定する，画像処理プログラムである。
第３の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，さまざまな第１の領域の画像情報に第２の領域を正解データとして与えた，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，前記処理対象の画像情報における第１の領域の画像情報を入力し，その出力値に基づいて，前記第２の領域を特定する，画像処理プログラムである。
第４の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，あらかじめ学習モデルとして，さまざまな第１の領域の画像情報における第２の領域内の特徴量を正例とし，さまざまな第１の領域の画像情報における第２の領域外の特徴量を負例として与えた判定処理部に対して，前記処理対象の画像情報における第１の領域の画像情報を分割したメッシュにおける各点を入力し，その各点について，前記第２の領域に属しているかを前記判定処理部に判定させ，その判定結果において，前記第２の領域に属していると判定したメッシュを囲む領域を前記第２の領域として特定する，画像処理プログラムである。

第５の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，前記第２の領域の情報と，前記対象物のブロック情報との類似検索処理において，それぞれの大きさ，縮尺，回転のいずれか一以上についてそのままで類似検索処理を実行し，前記比較処理部は，前記第１の領域の情報と，前記候補として特定した対象物の標本情報との比較処理において，その大きさ，縮尺，回転のうちいずれか一以上について揃えて比較処理を実行する，画像処理プログラムである。
第６の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部，前記処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，として機能させる画像処理プログラムである。

Claims (11)

1. 画像情報に写っている対象物を特定する画像処理システムであって，
   前記画像処理システムは，
   処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶されたブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，
   前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部と，
   を有することを特徴とする画像処理システム。
2. 前記候補処理部は，
   前記特定した第１の領域において，対象物を特定し得る情報がある領域を第２の領域として特定する，
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記候補処理部は，
   前記特定した第１の領域の画像情報において，
   前記第１の領域の画像情報について所定の色数に減色し，
   前記第１の領域の画像情報を所定の大きさのメッシュに分割して前記減色した色ごとの分布マップを生成し，
   前記色ごとの分布マップについて，所定の範囲に収まるグループを検出し，
   各グループについて，その領域に含まれる色の数が所定数以内であって，かつエッジが所定の閾値以上あるグループを囲む領域を，前記第２の領域として特定する，
   ことを特徴とする請求項１または請求項２に記載の画像処理システム。
4. 前記候補処理部は，
   前記第１の領域の画像情報から特徴量を抽出することで，所定以上の広さの範囲にわたって共通の特徴が分布している領域を検出してその領域を消し込み，
   残った領域について，共通の特徴量が分布している領域を特定して，その領域を囲む領域を前記第２の領域として特定する，
   ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理システム。
5. 前記候補処理部は，
   さまざまな第１の領域の画像情報に第２の領域を正解データとして与えた，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，前記処理対象の画像情報における第１の領域の画像情報を入力し，その出力値に基づいて，前記第２の領域を特定する，
   ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理システム。
6. 前記候補処理部は，
   あらかじめ学習モデルとして，さまざまな第１の領域の画像情報における第２の領域内の特徴量を正例とし，さまざまな第１の領域の画像情報における第２の領域外の特徴量を負例として与えた判定処理部に対して，前記処理対象の画像情報における第１の領域の画像情報を分割したメッシュにおける各点を入力し，
   その各点について，前記第２の領域に属しているかを前記判定処理部に判定させ，
   その判定結果において，前記第２の領域に属していると判定したメッシュを囲む領域を前記第２の領域として特定する，
   ことを特徴とする請求項１から請求項５のいずれかに記載の画像処理システム。
7. 前記候補処理部は，
   前記第２の領域の情報と，前記対象物のブロック情報との類似検索処理において，それぞれの大きさ，縮尺，回転のいずれか一以上についてそのままで類似検索処理を実行し，
   前記比較処理部は，
   前記第１の領域の情報と，前記候補として特定した対象物の標本情報との比較処理において，その大きさ，縮尺，回転のうちいずれか一以上について揃えて比較処理を実行する，
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像処理システム。
8. 前記画像処理システムは，
   画像情報とそれに対応する深さ情報を用いて生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記生成した平面展開画像情報の一部または全部を，前記処理対象の画像情報とする画像情報処理部，
   を有することを特徴とする請求項１から請求項７のいずれかに記載の画像処理システム。
9. 画像情報に写っている対象物を特定する画像処理システムであって，
   前記画像処理システムは，
   処理対象の画像情報におけるフェイス領域において所定条件を充足するブロック情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部と，
   前記処理対象の画像情報におけるフェイス領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部と，
   を有することを特徴とする画像処理システム。
10. コンピュータを，
    処理対象の画像情報における第１の領域において所定条件を充足する第２の領域の情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，
    前記処理対象の画像情報の第１の領域と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記第１の領域に写っている対象物を特定する比較処理部，
    として機能させることを特徴とする画像処理プログラム。
11. コンピュータを，
    処理対象の画像情報におけるフェイス領域において所定条件を充足するブロック情報と，標本とする対象物の標本情報とブロック情報とを記憶する標本情報記憶部に記憶された対象物のブロック情報とを用いて類似検索処理を実行し，比較処理の候補とする対象物を特定する候補処理部，
    前記処理対象の画像情報におけるフェイス領域の画像情報および／または特徴量と，前記候補処理部で候補として特定した対象物の標本情報とを用いて比較処理をすることで，前記フェイス領域に写っている対象物を特定する比較処理部，
    として機能させることを特徴とする画像処理プログラム。