JP2020170265A - 画像処理システム - Google Patents

Abstract

【課題】本発明は，画像処理システムを目的とする。【解決手段】撮影画像情報とそれに対応する深さ情報を用いて第１の平面展開画像情報を生成する画像情報処理部と，対象物画像情報とそれに対応する深さ情報を用いて標本情報を生成する標本情報処理部と，平面展開画像情報の一部または全部と，標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，画像情報処理部は，撮影画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，生成した３次元モデルの一部または全部について，平面に展開する第１の平面展開画像情報を生成し，標本情報処理部は，対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，第２の平面展開画像情報を用いて標本情報を生成する，画像処理システムである。【選択図】 図１

Description

本発明は，画像処理システムに関する。

ある画像情報に，判定対象とする対象物が写っているかを判定することが求められる場合がある。たとえば商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する場合などがその一例としてあげられる。

このように，画像情報に対象物が写っているかを判定する場合には，通常，処理対象となる画像情報と，対象物の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１乃至特許文献３には，商品ごとの標本画像情報をもとに，店舗の陳列棚を撮影した画像情報に対して画像認識技術を用いることで商品の陳列状況を管理するシステムが開示されている。

特開平５−３４２２３０号公報 特開平５−３３４４０９号公報 国際公開２０１２／０２９５４８

しかし特許文献１乃至特許文献３などのいずれの技術においても，撮影した画像情報は２次元画像情報であり，また標本情報も２次元の画像情報である。そのため，２次元画像情報同士を単純に比較することとなる。しかし，撮影した画像情報において，対象物が必ずしも標本画像情報と同じ向きで写っているとは限らない。たとえば，商品の標本画像情報を撮影する際に，商品ラベルが正面に位置するように撮影するが，陳列されている商品は，たとえば客が商品を触ることで，商品ラベルが正面に向いていない状態となることもある。画像マッチング処理においては，画像特徴量の比較で行うことが一般的であるため，上記のような場合，撮影した画像情報と標本画像情報との画像マッチング処理の精度は著しく低下する。

そこで従来は，一つの対象物について，複数の角度から対象物を撮影した複数の標本画像情報をあらかじめ準備しておくことで，撮影した画像情報において，対象物が正面に向いていない場合に対応することが一般的であった。たとえば一つの対象物について，角度を１０度ずつ回転して撮影し，３６枚の標本画像情報を準備していた。

しかしこのような場合，一つの対象物について多くの角度から標本画像情報を撮影しておく必要があり，撮影する枚数が多くなるほか，標本画像情報の増大，画像マッチング処理の処理時間，処理負荷の増大といった課題が発生することとなる。

そこで本発明者は，上記課題に鑑み，上記課題を解決する画像情報に対象物が写っているのを判定するための画像処理システムを発明した。

第１の発明は，撮影画像情報とそれに対応する深さ情報を用いて第１の平面展開画像情報を生成する画像情報処理部と，対象物画像情報とそれに対応する深さ情報を用いて標本情報を生成する標本情報処理部と，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて標本情報を生成する，画像処理システムのように構成することができる。

本発明によって，標本情報の数を減らすことができる。また標本情報を減らせるので，マッチング処理の処理時間，処理負荷を軽減することができる。

上述の発明において，前記画像情報処理部は，前記撮影画像情報に対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルに前記撮影画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルが正対する位置となるように視点方向を決定し，前記決定した視点方向からのテクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第１の平面展開画像情報を生成する，画像処理システムのように構成することができる。

撮影画像情報と深さ情報とを用いて平面展開画像情報を生成するには，本発明のような処理を実行することが好ましい。とくに，撮影画像情報から平面展開画像情報を生成する過程において，生成した３次元モデルが正対する位置となる視点方向で平面展開画像情報を生成するので，斜め方向から撮影している場合などであっても，それを正対位置にすることができ，正対位置からの平面展開画像情報とすることができる。そのため，標本情報とのマッチングが容易となるので，標本情報を減らすことができる。

上述の発明において，前記標本情報処理部は，前記対象物画像情報に対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルに前記対象物画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第２の平面展開画像情報を生成する，画像処理システムのように構成することができる。

対象物画像情報と深さ情報とを用いて平面展開画像情報を生成するには，本発明のような処理を実行することが好ましい。とくに対象物画像情報から平面展開画像情報を生成する過程において，３次元モデル化をした上で平面展開画像情報を生成し，それを用いて標本情報を生成しているので，標本情報の数を減らすことができる。

第４の発明は，画像情報とそれに対応する深さ情報を用いて平面展開画像情報を生成する画像情報処理部と，前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理システムである。

本発明のように構成することでも，第１の発明と同様の技術的効果を得ることができる。すなわち，標本情報の数を減らすことができ，またマッチング処理の処理時間，処理負荷を軽減することができる。この場合，標本情報としては，第１の発明と同様に対象物画像情報を用いて３次元モデル化をした上で，それを平面展開した平面展開画像情報から生成した標本情報を用いてもよいし，従来と同様に，対象物画像情報から生成した標本情報であってもよい。そして標本情報とマッチングする画像情報について３次元モデル化をした上で生成した平面展開画像情報を用いるので，標本情報の数を従来よりも減らすことができる。

第５の発明は，マッチング処理で用いる標本となる対象物の標本情報を生成する画像処理システムであって，前記画像処理システムは，前記対象物の対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，を有する画像処理システムである。

本発明のように構成することでも，第１の発明と同様の技術的効果を得ることができる。すなわち，標本情報の数を減らすことができる。その結果，マッチング処理を行う際のマッチング処理の処理時間，処理負荷を軽減することができる。

上述の発明において，前記画像処理システムは，撮影画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，を有する画像処理システムのように構成することができる。

第５の発明で生成した標本情報を用いることで，標本情報とマッチングする撮影画像情報としては，第１の発明のように，３次元モデル化をした上で，それを平面展開した平面展開画像情報であってもよいし，従来と同様に，撮影画像情報であってもよい。

本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明の画像処理システムを構成することができる。すなわち，コンピュータを，撮影画像情報とそれに対応する深さ情報を用いて第１の平面展開画像情報を生成する画像情報処理部，対象物画像情報とそれに対応する深さ情報を用いて標本情報を生成する標本情報処理部，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて標本情報を生成する，画像処理プログラムである。

本発明のプログラムをコンピュータに読み込ませて実行することで，第４の発明の画像処理システムを構成することができる。すなわち，コンピュータを，画像情報とそれに対応する深さ情報を用いて平面展開画像情報を生成する画像情報処理部，前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理プログラムである。

本発明のプログラムをコンピュータに読み込ませて実行することで，第５の発明の画像処理システムを構成することができる。すなわち，コンピュータを，マッチング処理で用いる標本となる対象物の対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，として機能させる画像処理プログラムである。

本発明の画像処理システムを用いることによって，マッチング処理で用いる標本情報の数を減らすことができる。そのため，従来のように，対象物を多くの角度から撮影しておく必要がなくなり，また撮影負担を減らすことができる。また，一つの対象物に対する標本情報を減らすことができ，マッチング処理の処理時間，処理負荷を軽減することができる。

本発明の画像処理システムの全体の処理機能の一例を模式的に示すブロック図である。 本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の画像処理システムにおける標本情報に関する処理の処理プロセスの一例を示すフローチャートである。 本発明の画像処理システムにおける全体処理の処理プロセスの一例を示すフローチャートである。 撮影した画像情報と深さ情報による深さマップとの対応関係を模式的に示す図である。 対象物画像情報と深さマップに基づく３次元モデル化の処理の一例を模式的に示す図である。 平面展開の処理の一例を模式的に示す図である。 撮影画像情報の一例を示す図である。 深さ情報をマッピングした深さマップの一例を模式的に示す図である。 ３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。 ３次元モデル化の後に実行するスティッチング処理を模式的に示す図である。 視点方向決定処理において，基準を特定する処理を模式的に示す図である。 各面をラベリングする処理の一例を模式的に示す図である。 パッケージタイプが缶の場合のフェイスを特定するイメージ図である。 パッケージタイプが瓶の場合のフェイスを特定するイメージ図である。 パッケージタイプが箱物の場合のフェイスを特定するイメージ図である。 パッケージタイプがつるし商品の場合のフェイスを特定するイメージ図である。 平面展開画像情報から特定した特徴領域の一例を示す図である。

本発明の画像処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像処理システム１は，管理端末２と入力端末３とを用いる。

管理端末２は，画像処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，画像情報，深さ情報または深さマップを取得する端末である。たとえば店舗の陳列棚を撮影するとともに，その深さ情報または深さマップを取得する端末である。また，後述するマッチング処理の標本とする商品などの対象物を撮影するととともに，その深さ情報または深さマップを取得する端末である。

画像処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または対象物画像情報）を撮影するほか，撮影対象と撮影装置との距離情報（深さ情報）を２次元情報として取得する。深さ情報がマッピングされた情報を，本明細書では深さマップとよぶ。深さマップは，撮影画像情報に対応しており，撮影画像情報に写っている物までの深さ情報が，撮影画像情報と対応する位置にマッピングされている。深さマップは，少なくとも撮影画像情報に対応する範囲をメッシュ状に区切り，そのメッシュごとに深さ情報が与えられている。メッシュの縦，横の大きさは，取得できる深さ情報の精度に依存するが，メッシュの縦，横の大きさが小さいほど精度が上げられる。通常は，１ｍｍから数ｍｍの範囲であるが，１ｍｍ未満，あるいは１ｃｍ以上であってもよい。

深さ情報を取得する場合，撮影対象の撮影の際に，特定の波長の光線，たとえば赤外線を照射してそれぞれの方向からの反射光の量や反射光が到達するまでの時間を計測することで撮影対象までの距離情報（深さ情報）を取得する，あるいは特定の波長の光線，たとえば赤外線のドットパターンを照射し，反射のパターンから撮影対象までの距離情報（深さ情報）を計測するもののほか，ステレオカメラの視差を利用する方法があるが，これらに限定されない。なお，深さ情報が撮影装置（三次元上の一点）からの距離で与えられる場合には，かかる深さ情報を，撮影装置の撮影面（平面）からの深さ情報に変換をしておく。このように深さ情報を取得するための装置（深さ検出装置）を入力端末３は備えていてもよい。

画像情報と深さ情報とはその位置関係が対応をしている。図５では，陳列棚を撮影対象として撮影した画像情報と深さ情報による深さマップとの対応関係を示している。図５（ａ）が撮影した画像情報，図５（ｂ）がそれに対応する深さマップを模式的に示した図である。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

画像処理システム１は，標本情報処理部２０と標本情報記憶部２１と画像情報処理部２２と画像情報記憶部２３とマッチング処理部２４とを有する。

標本情報処理部２０は，後述するマッチング処理部２４におけるマッチング処理の際に，対象物が画像情報に写っているかを比較するための，対象物の標本情報に対する処理を実行する。たとえば標本とする対象物として陳列棚の棚段に陳列されている商品とする場合，その商品を標本情報とするための処理を実行する。

標本情報処理部２０は，入力端末３で撮影した，標本とする対象物の画像情報（対象物画像情報）の入力を受け付け，後述する標本情報記憶部２１に記憶させる。この際に，対象物に対して正対した位置で，かつ影がないように撮影されることが好ましい。

また，標本情報処理部２０は，入力端末３で撮影した画像情報（対象物画像情報）に対する深さ情報や深さマップの入力を受け付け，対象物画像情報に対応づけて，後述する標本情報記憶部２１に記憶させる。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。

対象物画像情報と深さ情報，深さマップは，対象物画像情報を撮影する際に同時に撮影，情報が取得され，その情報を標本情報処理部２０で入力を受け付けるようにすることが好ましい。

標本情報処理部２０は，対象物画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，対象物画像情報と深さマップとは対応しているので，まず深さマップにおける深さ情報に基づいて３次元モデルに変換をし，そこに撮影画像情報を対応づけてテクスチャマッピングをする。図６に対象物画像情報と深さマップに基づく３次元モデル化の処理の一例を示す。なお，図６では飲料のペットボトルを３次元モデル化する場合を示している。図６（ａ）は対象物画像情報である。標本情報処理部２０は，同時に深さマップを取得しているので，深さマップにおける各メッシュの深さ情報に基づいて，３次元モデルに変換をする。そして深さマップにおける各メッシュの位置に，撮影画像情報の対応する画素の色情報などを貼り付けるテクスチャマッピングをすることで，図６（ｂ）乃至（ｄ）のように３次元モデル化をすることができる。図６（ｂ）は左方向からの視点，図６（ｃ）は正面からの視点，図６（ｄ）は右方向からの視点を示している。

標本情報処理部２０は，対象物画像情報と深さマップに基づいて，対象物の３次元モデルを生成すると，それを平面展開する平面展開処理を実行する。平面展開とは，３次元モデルを平面（２次元）に展開することを意味する。３次元モデルを平面展開する方法はさまざまな方法があり，限定するものではない。

平面展開の方法の一例としては，３次元モデルの内側に投影の中心を定め，そこから投影をすることで，平面に展開する方法がある。標本情報処理部２０における平面展開の処理の一例を図７を用いて説明する。図７（ａ）は対象物としてのペットボトルを撮影した画像情報であり，その上面図は，略六角形状になっている。なお実際の形状はより細かく凹凸があるが，ここでは説明のため，六角形で示す。そして，図７（ａ）の画像情報をその深さマップを用いて３次元モデル化した場合に，上方から見た場合の位置関係が図７（ｂ）である。この場合，撮影装置（カメラ）の陰になっている箇所の深さ情報は存在しないので，図７（ｂ）に示すように，上方から見た場合，空白がある。そして，平面展開する対象物の任意の箇所に投影の中心軸を特定する。たとえば対象物が陳列棚に陳列される商品であって，その形状が箱形，袋型ではなく，円柱型，ボトル型などの表面が平面ではなく規則的な曲面の場合には，対象物の横幅とその表面の形状から，回転軸の中心点を求め，投影の中心軸として特定する。なお，投影の中心軸を特定するためには，上記のように限らず，任意の方法であってよい。投影の中心軸を特定した状態が図７（ｃ）である。そして，特定した投影の中心軸から，対象物の表面を，任意に設定した投影面に投影する。これを模式的に示すのが図７（ｄ）である。なお，図７（ｄ）のように，対象物の面と投影面ととの位置が一致しない場合，その離間する距離に応じた投影結果の画像情報の縦横の大きさを，適宜の縮尺率によって調整する。一方，図７（ｅ）のように，対象物の面と投影面との位置を一致させる場合には，その縮尺率の調整処理は設けなくてもよい。なお，図７（ｂ）乃至（ｅ）は，いずれも上方からの図である。

標本情報処理部２０は，このような平面展開の処理を行うことで，対象物の３次元モデルを２次元（平面）に展開し，その画像情報（平面展開画像情報）に変換することができる。なお，上述では，投影による処理で３次元モデルから平面展開画像情報に変換する処理を行ったが，平面展開処理において，３次元モデルから平面展開画像情報に変換する処理はほかの処理によってもよい。

標本情報処理部２０は，平面展開画像情報の全部または一部を用いて標本情報を生成する。すなわち，平面展開画像情報の全部または一部について特定した特徴領域における特徴量を抽出し，それを当該対象物の標本情報として特定する。なお，標本情報としては特徴量のほか，平面展開画像情報そのものの全部または一部であってもよいし，後述するマッチング処理で用いる類似性の算出に必要となる情報であれば，ほかの指標に基づく情報であってもよい。

なお標本情報処理部２０は，一つの対象物について一つの標本情報を生成してもよいし，一つの対象物について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面程度の角度からの標本情報を生成してもよい。

標本情報記憶部２１は，対象物ごとに，対象物画像情報，深さ情報，深さマップ，対象物の３次元モデルなどを記憶している。また対象物の識別情報，たとえば商品名などの名称，型番，商品コード（ＪＡＮコード）などを対応づけて記憶していることが好ましい。

画像情報処理部２２は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２３に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２３に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図８に，撮影画像情報の一例を示す。図８では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。

また画像情報処理部２２は，入力端末３で撮影した画像情報（撮影画像情報）に対する深さ情報や深さマップの入力を受け付け，撮影画像情報に対応づけて，後述する画像情報記憶部２３に記憶させる。たとえば店舗の陳列棚に対する深さ情報や深さマップの入力を受け付け，店舗の陳列棚を撮影した撮影画像情報に対応づけて，画像情報記憶部２３に記憶させる。図９に，深さ情報をマッピングした深さマップの一例を模式的に示す。なお，入力端末３から深さマップではなく，深さ情報を受け付けた場合には，それをマッピングして深さマップを生成する。

撮影画像情報と深さ情報，深さマップは，撮影画像情報を撮影する際に同時に撮影，情報が取得され，その情報を画像情報処理部２２で入力を受け付けるようにすることが好ましい。

画像情報処理部２２は，撮影画像情報と深さマップに基づいて３次元モデルに変換をする。すなわち，撮影画像情報と深さ情報とは対応しているので，まず深さ情報を３次元モデルに変換をし，そこに撮影画像情報を対応づけてテクスチャマッピングをする。撮影画像情報と深さマップとに基づく３次元モデルへの変換は，標本情報処理と同様の処理を実行すればよい。

なお，画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成するスティッチング処理を実行してもよい。スティッチング処理は，３次元モデル化の前であってもよいし，３次元モデル化の後であってもよい。３次元モデル化の前のスティッチング処理，３次元モデル化の後のスティッチング処理のいずれも公知の手法を用いることもできる。

３次元モデル化の前に行う場合には，各撮影画像情報間で対応点を検出することでスティッチング処理を実行する。この際に，撮影画像情報同士で対応点が特定できるので，特定した対応点の位置に対応する深さマップ同士も同様に対応づける。これによって，３次元モデル化の前にスティッチング処理を実行できる。

また，３次元モデル化の後に行う場合には，２つの３次元モデルにおける凹凸形状の類似性を深さ情報から特定し，形状が類似（深さ情報に基づく凹凸のパターンが所定範囲内に含まれている）している領域内において，その領域に対応する，当該３次元モデルの元となった撮影画像情報同士で対応点を検索することで，３次元モデル化の後にスティッチング処理を実行できる。これを模式的に示すのが図１０である。図１０（ａ）および（ｂ）は横に並ぶ棚段を撮影した撮影画像情報であり，図１０（ｃ）は図１０（ａ）に基づく３次元モデル，図１０（ｄ）は図１０（ｂ）に基づく３次元モデルである。この場合，図１１に示すように，たとえば撮影画像情報において，スティッチング処理のための基準１０１，たとえば棚段を写り込むように撮影をしておけば，その基準１０１が同一の視点方向になるように３次元モデルを回転する。そして深さ情報に基づく凹凸形状の類似を判定する。そして特定した類似する領域１００内における対応点を検索することで，スティッチング処理を実行できる。図１１（ａ）は図１０（ａ）の３次元モデルを，図１０（ｂ）と同一の視点方向となるように回転させた状態である。そして図１１（ａ）と図１１（ｂ）の破線領域１００が，深さ情報に基づいて判定した凹凸形状の類似の領域１００である。また，一点鎖線領域１０１が，同一の視点方向になるように３次元モデルを回転させるための基準とする棚段である。なお基準１０１とするものは撮影対象によって任意に特定することができるが、好ましくは２以上の直線で構成されるものであることがよい。

以上のような処理を実行することで，３次元モデル化の前または後のいずれであってもスティッチング処理を実行することができる。また，複数枚の撮影画像情報を用いない場合にはスティッチング処理は実行しなくてもよい。

画像情報処理部２２は，３次元モデル化処理を実行した後，撮影対象とした３次元モデルが正対する位置となるように，その視点方向を決定する処理を実行する。たとえば撮影対象が商品の陳列棚やそこにある商品である場合，陳列棚や商品が正対する位置（正面となる位置）になるように視点方向を決定する。

視点方向を決定する処理としては，３次元モデルにおける基準が，正対する位置となるためのあらかじめ定めた条件を充足するように視点方向を決定すればよい。基準および条件は撮影対象などに応じて任意に設定することができる。たとえば陳列棚を撮影する際には，陳列棚の棚段の前面１０２を基準とし，条件としては，陳列棚の複数の棚段の前面１０２がいずれも水平となり，かつ互いに垂直の位置となるように，視点を撮影範囲の上下左右で中央に移動させることで，実現できる。棚段の前面１０２は，通常，商品の陳列棚を撮影した場合，陳列棚の前面が一番手前に位置する（もっとも前に位置している）ので３次元モデルの深さ情報から棚段の前面１０２を特定することができる。この処理を模式的に示すのが図１２である。図１２（ａ）は陳列棚を撮影した撮影画像情報であり，図１２（ｂ）はその陳列棚の深さマップにおいて，深さ情報を白黒の濃度で表現した図であり（黒の場合が手前に位置する（深さ情報の値が小さい）），図１２（ｃ）は深さマップに基づく３次元モデルであり，深さ情報を色に変換したものである。そして画像情報処理部２２は，深さ情報に基づいて陳列棚の棚段の前面を特定し，その棚段が上述の条件を充足するように視点方向を決定する。また視点方向の決定処理で用いた基準と，上述の３次元モデル化後のスティッチング処理における基準とは同一の基準を用いてもよい。たとえばいずれの場合も陳列棚の棚段の前面を基準として用いることができる。

図１２（ｃ）ではわかりやすさのため，撮影画像情報をテクスチャマッピングする前の状態で処理をする場合を示しているが，テクスチャマッピングをした後の３次元モデルに対して視点方向の決定処理を実行してもよい。なお，視点方向の決定処理は，上述に限らず，任意の処理で実現することができる。

なお，もともと撮影画像情報が正対した位置から撮影されているなどの場合には，視点方向の決定処理は実行しなくてもよい。

画像情報処理部２２は，３次元モデルが正対する位置に視点方向を決定すると，標本情報とマッチング処理を実行するための所定領域（これを「フェイス領域」という場合がある）を特定する。たとえば商品の陳列棚を撮影した撮影画像情報であって，標本情報が商品である場合，フェイス領域として，陳列棚に陳列されている商品の領域を特定する。

フェイス領域の特定方法はさまざまな方法があり，標本情報の特性に合わせて任意に設定することができる。標本情報が商品であって，陳列棚を撮影した撮影画像情報から商品の領域を特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイス領域を特定する。また，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。

また３次元モデルにおいて所定条件を充足する面の位置と範囲を特定し，その面と，あらかじめ定めた標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングし，条件を充足する面をフェイス領域として特定する。たとえば上述と同様に，標本情報が商品であり，陳列棚を撮影した撮影画像情報から３次元モデルを生成し，商品のフェイス領域を特定する処理の場合には，以下のような処理が実行できる。

まず，微細な凹凸を除外するために高周波をフィルタアウトした上で，垂直に近い，正対した一定以上の面積を持つ面，直立した円筒の面，全体に凸のゆがんだ多面体の領域の面を検出し，３次元空間内の位置と範囲を特定する。たとえば，深さ情報が一定の範囲内であり，法線が安定して正面を向いていれば平面，深さ情報について垂直方向の相関性が強く，水平方向に凸であれば円筒，水平方向および垂直方向のいずれも凸，または法線が安定していなければ凸のゆがんだ多面体の領域の面のように特定をする。そして，検出した各面をラベリングをする。図１３では５つの面を検出し，それぞれ１から５のラベリングをした状態を示している。そして検出した面について，たとえば深さ情報の平均値などに基づいて，最前面から，順に最前面からの距離（これをレベルとする）を算出する。そして算出したレベルに基づいて，各面の前後関係を特定する。図１３では，１，２の面のレベルは０ｃｍであり，３，４の面のレベルは３ｃｍ，５の面のレベルは２０ｃｍのように算出をする。そして，最前面が１，２の面，その次に奥に位置するのが３，４の面，最背面が５の面として，５つの面の前後関係を特定する。

そして画像情報処理部２２は，このように特定した面の前後関係を用いて，面の種別を特定する。すなわち，最前面であって，深さマップにある狭い横長の平面を，棚板の前面および商品タグ面，最背面を棚段の後板面，また，棚段の前面と深さ情報が同一または近接（一定範囲，たとえば数ｃｍ以内）しており，中空にある垂直の長方形は商品タグの面として特定をする。そして，好ましくは，それ以外の面を商品面（商品が陳列される可能性のある面）として特定をする。したがって，図１３の例では，１，２の面を棚板の前面および商品タグ面，３，４の面を商品面，５の面を棚体の後板面として特定をする。

このように特定した商品面において，いずれかのタイミングにおいて入力を受け付けた商品のパッケージタイプに基づいて，対応する処理を実行する。パッケージタイプとしては，缶，瓶（ペットボトルを含む。以下同様），缶と瓶の併存，箱物，吊るし商品などがあるが，それらに限定をするものではない。

パッケージタイプが缶または瓶であった場合，一定の大きさの範囲内にある円筒の領域を缶または瓶のフェイス領域として特定する。これを模式的に示すのが，図１４および図１５である。図１４はパッケージタイプが缶の場合を示すイメージ図であり，図１５はパッケージタイプが瓶の場合を示すイメージ図である。

パッケージタイプが缶と瓶の併存であった場合，一定の大きさの範囲内に円筒があり，上方に小さな円筒がない領域を缶のフェイス領域，一定の大きさの範囲内に円筒があり，上方に小さな円筒がある領域を瓶のフェイス領域として特定をする。

パッケージタイプが箱物であった場合，一定の大きさの範囲内にある垂直の長方形の平面の領域を箱物のフェイス領域として特定をする。これを模式的に示すのが図１６である。

また，パッケージタイプが吊るし商品であった場合，一定のサイズの範囲内にあり，中空に浮いた長方形の平面または凹凸面の領域を，吊るし商品のフェイス領域として特定をする。これを模式的に示すのが図１７である。

なお，画像情報処理部２２は，パッケージタイプの選択を受け付けずフェイス領域を特定してもよい。この場合，商品面の領域と，パッケージタイプごとの判定処理をそれぞれ実行することで，フェイス領域としての条件が成立するかを判定する。そして，フェイス領域を構成する面が存在する場合には，その面が構成するフェイス領域を特定し，あらかじめ定められたパッケージタイプの優先条件に基づいて，フェイス領域がどのようなパッケージタイプであるかを特定する。

３次元モデルからフェイス領域を特定する処理は，標本情報のカテゴリや形状などによって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイス領域の位置の入力を受け付けるのでもよい。

さらに画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記３次元モデルを入力し，その出力値に基づいて，フェイス領域を特定してもよい。また学習モデルとしては，さまざまな３次元モデルにフェイス領域を与えたものを用いることができる。

画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，３次元モデルから特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，３次元モデルから所定条件を充足する面の位置と範囲を特定し，標本情報の表面モデルのタイプに応じた条件を充足するかをマッチングしてフェイス領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。

画像情報処理部２２は，画像情報処理部２２において切り出したフェイス領域について，標本情報処理部２０と同様の平面展開処理を実行し，平面展開画像情報を生成する。

画像情報記憶部２３は，入力端末３から受け付けた撮影画像情報，深さ情報や深さマップ，撮影日時，画像情報識別情報，３次元モデル，平面展開画像情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。歪み補正処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。

マッチング処理部２４は，撮影画像情報に対する平面展開画像情報を生成した後，通常の２次元画像のマッチング処理と同様に，その平面展開画像情報の全部または一部と，標本情報の全部または一部とのマッチング処理を実行する。たとえば撮影画像情報に対する平面展開画像情報において，標本情報とマッチング処理を行う特徴領域を特定し，その特徴領域の特徴量を抽出する。そして抽出した特徴量と，標本情報の特徴量とのマッチング処理を実行することで，撮影画像情報に対する平面展開画像情報の全部または一部と，標本情報との類似性を判定し，撮影画像情報に含まれる対象物を判定する。

なおマッチング処理としては，特徴領域を特定せずにそのまま特徴量を抽出し，標本情報の特徴量とマッチング処理を実行してもよい。また特徴量以外の方法によりマッチング処理を行ってもよい。さらに，画像情報処理部２２は，深層学習（ディープラーニング）を用いて標本情報とのマッチング処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報に対する平面展開画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまな平面展開画像情報に標本情報を与えたものを用いることができる。

以上のような処理を実行することで，撮影画像情報に写っている対象物を判定し，対象物の識別情報を出力することができる。

なお，標本情報とする対象物の平面展開画像情報における特徴領域，撮影画像情報に対する平面展開画像情報における特徴領域としては，任意の箇所を特定することができる。たとえば，それぞれの平面展開画像情報からラベル部分を特定し，背景画像的な要素は無視し，商品名，メーカーロゴ，定格表示，キャッチコピーなどを特徴領域とすることができるが，特徴領域は，標本情報とする対象物の特性に応じて任意に設定することができる。

つぎに本発明の画像処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。

まず標本情報を生成する処理を図３のフローチャートを用いて説明する。

標本情報を生成する場合，背景や底面が無地の場所に，対象物を載置し，対象物に正対した位置で，かつ影がないように，入力端末３で対象物を撮影する。この際に，対象物の画像情報（対象物画像情報）と深さマップとを取得する。そして標本情報処理部２０は，入力端末３から，対象物画像情報と深さマップとの入力を受け付け，標本情報記憶部２１に記憶させる（Ｓ１００）。なお，対象物画像情報に影などのノイズが写り込んでいる場合には適宜，それを除去する処理を実行する。

そして標本情報処理部２０は，入力を受け付けた対象物画像情報と深さマップとに基づいて，対象物の３次元モデルを生成する（Ｓ１１０）。このように生成した３次元モデルに対して，平面展開処理を実行し，対象物画像情報に対する平面展開画像情報を生成する（Ｓ１２０）。標本情報処理部２０は，対象物画像情報に対する平面展開情報の一部を特徴領域として特定する（Ｓ１３０）。たとえば対象物画像情報が図６（ａ）の場合，平面展開画像情報から特定した特徴領域の一例を図１８に示す。図１８では，対象物がペットボトルの場合に，その平面展開画像情報からラベルの領域を特徴領域として特定した状態を示している。なお，一つの平面展開画像情報から一または複数の特徴領域を特定する。

そして標本情報処理部２０は，特定した特徴領域から特徴量を抽出し（Ｓ１４０），それを当該対象物の標本情報として特定する。このように特定した標本情報を標本情報記憶部２１に，当該対象物の対象物画像情報などに対応づけて記憶させる（Ｓ１５０）。また当該対象物の識別情報も，対応づけて記憶させる。

以上のような処理を実行することで，標本情報を標本情報記憶部２１に記憶させることができる。

つぎに，撮影画像情報に写っている対象物を判定する処理を図４のフローチャートを用いて説明する。以下の説明では，店舗の陳列棚を撮影し，その陳列棚に写っている対象物を判定することで，店舗における商品の陳列状況を特定する場合を説明する。

店舗の陳列棚を撮影した撮影画像情報，深さマップは，入力端末３から入力され，管理端末２の画像情報処理部２２でそれらの入力を受け付け，画像情報記憶部２３に記憶させる（Ｓ２００）。また，撮影日時，店舗識別情報，撮影画像情報の識別情報の入力を受け付けて，画像情報記憶部２３に記憶させる。

画像情報処理部２２は，入力を受け付けた撮影画像情報と深さマップとに基づいて，撮影対象とした陳列棚の３次元モデルを生成する（Ｓ２１０）。このように生成した３次元モデルに対して，画像情報処理部２２は，撮影対象とした陳列棚の３次元モデルが正対する位置となるように，その視点方向を決定する（Ｓ２２０）。

そして画像情報処理部２２は，撮影対象とした陳列棚の３次元モデルが正対する位置となる視点方向を決定したので，陳列棚に陳列されている商品の領域をフェイス領域として特定し，特定したフェイス領域を切り出すフェイス処理を実行する（Ｓ２３０）。

そして切り出したフェイス領域について，平面展開画像情報を生成し，画像情報記憶部２３に記憶させる（Ｓ２４０）。

以上のように撮影画像情報に対する平面展開画像情報を生成すると，マッチング処理部２４は，撮影画像情報に対する平面展開画像情報において，標本情報とマッチング処理を行う特徴領域を特定し（Ｓ２５０），その特徴領域の特徴量を抽出する（Ｓ２６０）。そして抽出した特徴量と，標本情報の特徴量とのマッチング処理を実行することで（Ｓ２７０），撮影画像情報に対する平面展開画像情報の全部または一部と，標本情報との類似性を判定し，撮影画像情報に含まれる対象物を判定する。判定した対象物の識別情報を，管理端末２は，表示装置７２に表示する，紙に出力するなど，適宜の出力処理を実行する。

上述の実施例１では，対象物画像情報，撮影画像情報のいずれも３次元モデル化し，その後，平面展開画像情報を生成して，特徴領域同士の比較を行う処理としていたが，対象物画像情報，撮影画像情報のいずれかのみについて，３次元モデル化して平面展開画像情報を生成するようにしてもよい。この場合，平面展開画像情報の特徴領域と，従来通りの対象物画像情報，撮影画像情報，あるいはそれらに対して適宜の台形補正処理などの適宜の補正処理が施された画像情報における特徴領域との比較を行ってもよい。なお，補正処理を施した対象物画像情報，撮影画像情報も，「対象物画像情報」，「撮影画像情報」に含むものとする。

たとえば，対象物画像情報について，実施例１と同様に，３次元モデル化して平面展開画像情報を生成し，その平面展開画像情報における特徴領域を特定してその特徴量を算出することで標本情報を生成しておく。撮影画像情報については，平面展開画像情報を生成せずに，２次元の撮影画像情報またはその補正した画像情報，あるいは３次元モデル化をした状態において，標本情報とマッチング処理を実行する。このような処理によっても，撮影画像情報における対象物が正対していない場合であっても，マッチング処理を実行することができ，従来よりも標本情報の数を減らすことができる。

また，撮影画像情報について，実施例１と同様に，３次元モデル化して，平面展開画像情報を生成し，その平面展開画像情報における特徴領域を特定してその特徴量を算出する。一方，対象物画像情報は従来と同様に，正対した状態で撮影をしておき，２次元の対象物画像情報またはその補正した画像情報から標本情報をそのまま従来と同様に生成する。そして上述のように平面展開画像情報における特徴領域の特徴量と，標本情報の特徴量とを比較してマッチング処理を実行する。このような処理によっても，撮影画像情報における対象物が正対していない場合であっても，マッチング処理を実行することができ，従来よりも標本情報の数を減らすことができる。

上述の実施例１，実施例２では，撮影画像情報から３次元モデル化をした後にフェイス領域を特定する処理としていたが，撮影画像情報から従来の技術を用いてフェイス領域を特定し，特定したフェイス領域を３次元モデル化するようにしてもよい。

上述の各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

また，本発明の画像処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を対象物として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影対象物を撮影した場合に，その所望の対象物が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。

本発明の画像処理システム１を用いることによって，マッチング処理で用いる標本情報の数を減らすことができる。そのため，従来のように，対象物を多くの角度から撮影しておく必要がなくなり，また撮影負担を減らすことができる。また，一つの対象物に対する標本情報を減らすことができ，マッチング処理の処理時間，処理負荷を軽減することができる。

１：画像処理システム
２：管理端末
３：入力端末
２０：標本情報処理部
２１：標本情報記憶部
２２：画像情報処理部
２３：画像情報記憶部
２４：マッチング処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

第１の発明は，撮影画像情報とそれに対応する深さ情報とを用いて第１の平面展開画像情報を生成する画像情報処理部と，対象物画像情報とそれに対応する深さ情報とを用いて標本情報を生成する標本情報処理部と，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて標本情報を生成する，画像処理システムである。

上述の発明において，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルに前記撮影画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルが正対する位置となるように視点方向を決定し，前記決定した視点方向からのテクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第１の平面展開画像情報を生成する，画像処理システムのように構成することができる。

上述の発明において，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルに前記対象物画像情報をテクスチャマッピングし，前記テクスチャマッピングした３次元モデルから所定の領域を特定し，前記特定した所定の領域を平面に展開することで前記第２の平面展開画像情報を生成する，画像処理システムのように構成することができる。

第４の発明は，画像情報とそれに対応する深さ情報とを用いて平面展開画像情報を生成する画像情報処理部と，前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理システムである。

第５の発明は，マッチング処理で用いる標本となる対象物の標本情報を生成する画像処理システムであって，前記画像処理システムは，前記対象物の対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，を有しており，前記深さ情報は，対象物と撮影装置との距離情報である，画像処理システムである。

本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明の画像処理システムを構成することができる。すなわち，コンピュータを，撮影画像情報とそれに対応する深さ情報とを用いて第１の平面展開画像情報を生成する画像情報処理部，対象物画像情報とそれに対応する深さ情報とを用いて標本情報を生成する標本情報処理部，前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記撮影画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルが正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，前記標本情報処理部は，前記対象物画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，前記第２の平面展開画像情報を用いて標本情報を生成する，画像処理プログラムである。

本発明のプログラムをコンピュータに読み込ませて実行することで，第４の発明の画像処理システムを構成することができる。すなわち，コンピュータを，画像情報とそれに対応する深さ情報とを用いて平面展開画像情報を生成する画像情報処理部，前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，前記深さ情報は，撮影対象と撮影装置との距離情報であり，前記画像情報処理部は，前記画像情報とそれに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルを前記撮影対象が正対する位置になるように回転させ，前記回転させた３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，画像処理プログラムである。

本発明のプログラムをコンピュータに読み込ませて実行することで，第５の発明の画像処理システムを構成することができる。すなわち，コンピュータを，マッチング処理で用いる標本となる対象物の対象物画像情報と，それに対応する深さ情報とを用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，として機能させる画像処理プログラムであって，前記深さ情報は，対象物と撮影装置との距離情報である，画像処理プログラムである。

Claims (9)

1. 撮影画像情報とそれに対応する深さ情報を用いて第１の平面展開画像情報を生成する画像情報処理部と，
   対象物画像情報とそれに対応する深さ情報を用いて標本情報を生成する標本情報処理部と，
   前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，
   前記画像情報処理部は，
   前記撮影画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，
   前記標本情報処理部は，
   前記対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，
   前記第２の平面展開画像情報を用いて標本情報を生成する，
   ことを特徴とする画像処理システム。
2. 前記画像情報処理部は，
   前記撮影画像情報に対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルに前記撮影画像情報をテクスチャマッピングし，
   前記テクスチャマッピングした３次元モデルが正対する位置となるように視点方向を決定し，
   前記決定した視点方向からのテクスチャマッピングした３次元モデルから所定の領域を特定し，
   前記特定した所定の領域を平面に展開することで前記第１の平面展開画像情報を生成する，
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記標本情報処理部は，
   前記対象物画像情報に対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルに前記対象物画像情報をテクスチャマッピングし，
   前記テクスチャマッピングした３次元モデルから所定の領域を特定し，
   前記特定した所定の領域を平面に展開することで前記第２の平面展開画像情報を生成する，
   ことを特徴とする請求項１または請求項２に記載の画像処理システム。
4. 画像情報とそれに対応する深さ情報を用いて平面展開画像情報を生成する画像情報処理部と，
   前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部と，を有しており，
   前記画像情報処理部は，
   前記画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，
   ことを特徴とする画像処理システム。
5. マッチング処理で用いる標本となる対象物の標本情報を生成する画像処理システムであって，
   前記画像処理システムは，
   前記対象物の対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，
   を有することを特徴とする画像処理システム。
6. 前記画像処理システムは，
   撮影画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，
   を有することを特徴とする請求項５に記載の画像処理システム。
7. コンピュータを，
   撮影画像情報とそれに対応する深さ情報を用いて第１の平面展開画像情報を生成する画像情報処理部，
   対象物画像情報とそれに対応する深さ情報を用いて標本情報を生成する標本情報処理部，
   前記平面展開画像情報の一部または全部と，前記標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部２４，として機能させる画像処理プログラムであって，
   前記画像情報処理部は，
   前記撮影画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する前記第１の平面展開画像情報を生成し，
   前記標本情報処理部は，
   前記対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する第２の平面展開画像情報を生成し，
   前記第２の平面展開画像情報を用いて標本情報を生成する，
   ことを特徴とする画像処理プログラム。
8. コンピュータを，
   画像情報とそれに対応する深さ情報を用いて平面展開画像情報を生成する画像情報処理部，
   前記平面展開画像情報の一部または全部と，あらかじめ記憶した標本情報の一部または全部とを用いてマッチング処理を実行するマッチング処理部，として機能させる画像処理プログラムであって，
   前記画像情報処理部は，
   前記画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，
   前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成する，
   ことを特徴とする画像処理プログラム。
9. コンピュータを，
   マッチング処理で用いる標本となる対象物の対象物画像情報とそれに対応する深さ情報を用いて３次元モデルを生成し，前記生成した３次元モデルの一部または全部について，平面に展開する平面展開画像情報を生成し，前記平面展開画像情報を用いて標本情報を生成する標本情報処理部，
   として機能させることを特徴とする画像処理プログラム。