JP2011175386A - ボトリング製品検索装置 - Google Patents

Abstract

【課題】特定の規約に基づくＩＤコードの設定等を行うことなく製品検索ができるボトリング製品検索装置を提供する。
【解決手段】ボトリング製品のラベル貼付部をカメラにより撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、ラベルのボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、前記カメラ撮影画像から抽出したラベル画像に外接する矩形枠を座標変換して前記インデックス画像のアスペクト比に一致させる画像変換部６と、画像変換部６での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部７と、を有する。
【選択図】図３

Description

本発明は、ボトリング製品検索装置に関するものである。

ワイン等のボトリング製品を検索する検索システムとしては、特許文献１に記載のものが知られている。この従来例において、検索システムは、ワインの属性をＩＤに関連付けて格納するデータベースと、各ワインのボトル等に貼付されたラベルに記入されたバーコード等のＩＤコードと、ユーザが使用するＩＤコード解析手段とを有して構成され、ユーザが読み取ったＩＤコードを検索キーとしてデータベースをアクセスすることにより当該ワインに関する情報を入手することができる。

特開２００３-３３１１８６号公報

しかし、上述した従来において、システムを構築するためには、各ワインのラベルにバーコードを記入する必要があり、ワインのような出荷国が多岐にわたる製品を管理する場合、統一的な基準によりバーコードを付加することが困難な上に、ＩＤコードの重複防止も困難であり、実効的なシステムを構築することができないという問題がある。
特にワインを対象とする場合には、古いワインにプレミアムが付く場合が多いが、これらに対してバーコード等を付与することは現実的ではない。

本発明は、以上の欠点を解消すべくなされたものであって、特定の規約に基づくＩＤコードの設定等を行うことなく製品検索ができるボトリング製品検索装置の提供を目的とする。また、本発明の他の目的は、ボトリング製品検索装置を使用したワインの検索システムの提供にある。

本発明によれば上記目的は、
ボトリング製品のラベル貼付部をカメラ１１により撮影したカメラ撮影画像１から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベル２のボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像３をボトリング製品の属性に関連付けて格納するデータ格納部４と、
前記カメラ撮影画像１から抽出したラベル画像５に外接する矩形枠を座標変換して前記インデックス画像３のアスペクト比に一致させる画像変換部６と、
画像変換部６での出力画像をインデックス画像３中から検索して撮影したボトリング製品を特定する検索部７と、
を有するボトリング製品検索装置を提供することにより達成される。

ボトリング製品検索装置は、ボトル１２に貼付された状態のラベル２をカメラ１１により撮影したカメラ撮影画像１に基づいてデータ格納部４を検索するために使用され、データ格納部４には、ラベル２が貼付されたボトリング製品の属性、例えば、ボトリング製品がワインの場合、醸造年、醸造地、銘柄、味の特徴等がインデックス画像３に関連付けて格納される。

インデックス画像３には、ラベル２を実際に販売されるボトリング製品のボトル貼付面に貼り付けた状態の中心投影画像、すなわち、カメラ１１による撮影画像を加工したものが使用される。インデックス画像３を生成するための中心投影画像は、所定の焦点距離を有するカメラ１１によりカメラ光軸がボトル１２の中心線に直交し、かつ、画像中心に一致する位置から撮影した画像に対応するように生成される。

このように生成されたラベル２の中心投影画像は、外接する矩形枠が設定された後、矩形枠ごと所定のアスペクト比（縦横比）に変換（正規化）され、インデックス画像３として使用される。中心投影画像の正規化には、平面図形に対するアフィン変換等が使用できる。

画像変換部６は、カメラ撮影画像１からラベル部分を抽出したラベル画像５に外接する矩形枠を設定した後、ラベル画像５のアスペクト比をインデックス画像３生成時に使用した変換方法を使用してインデックス画像３のアスペクト比に変換し、その後、検索部７においてインデックス画像３と比較され、双方の一致に基づいてカメラ撮影画像１が示すボトリング製品が特定される。

したがって本発明において、ボトリング製品の検索は、カメラ１１により撮影した貼付状態のラベル画像５をもとにデータ格納部４を検索して行われるために、ラベル２にバーコード、あるいは二次元コード等の特別なマークを表示することなく、かつ、ラベル２に記載されている文字を読むことができなくてもボトリング製品を特定することができる。さらに、インデックス画像３は、所定のアスペクト比に変換されて格納されるために、異なったアスペクト比を持つラベル２、あるいは矩形以外の形状をもったラベル２であっても、確実に検索することができる。

また、以上においては、ラベル２の貼付部が円柱、円錐、角錐等、種々の形状を有するボトル１２を検索対象とすることができるボトリング製品検索装置を示したが、ラベル貼付面が円柱面により形成されるボトリング製品を検索する場合には、
ボトル１２のラベル貼付面が円柱面により形成されるボトリング製品のラベル貼付部を撮影したカメラ撮影画像１から対象ボトリング製品を検索するボトリング製品検索装置であって、
ラベル２のラベル貼付面への正射投影画像に外接する矩形枠を所定のアスペクト比に変換して正規化したインデックス画像３をボトリング製品の属性に関連付けて格納するデータ格納部４と、
前記カメラ撮影画像１から抽出したラベル画像５を矩形画像に座標変換して正規化する画像変換部６と、
画像変換部６での出力画像をインデックス画像３中から検索して撮影したボトリング製品を特定する検索部７と、
を有するボトリング製品検索装置を構成することができる。

貼付面が円柱面であることを前提とした場合、ラベル２のボトル１２への正射投影画像、すなわち、例えば、ボトル１２の径に一致する径を有する円柱モデルへの正射投影図を定義することが可能であり、データ格納部４は、この正射投影図を正規化したものをインデックス画像３として格納する。

中心投影画像であるカメラ撮影画像１は、円柱の長手方向に沿う長さが周方向の位置により伸縮して変形するために、ラベル２形状は維持されない。例えば、図４（ａ）に示すように、矩形のラベル２の撮影画像は、図６の第４象限に示すように、ボトル１２長手方向への直交辺（以下、「上下辺」という。）が曲線となった樽形形状になり、インデックス画像３においては、図４（ｂ）に示すように、矩形形状が維持されるのに対してカメラ撮影画像１から抽出したラベル画像５においては矩形形状は維持されない。

画像変換部６は、ラベル画像５の輪郭を適宜の画像変換手法を使用して一旦上記ラベル２形状を矩形画像に変換することにより、円柱面によるラベル画像５のひずみを可及的に吸収するもので、画像変換部６における矩形画像への変換は、カメラ撮影画像１に外接する矩形領域、または、カメラ撮影画像１に内接する多角形領域をアフィン変換して行うことができる。

上記検索部７での検索は周知の画像検索手法を適用することができるが、
前記インデックス画像３は、画像中心から放射状に延びる複数本の検索線８に沿って複数の検索対象区画９が分割されるとともに、
各検索対象区画９には、他の区画との濃度比較結果を濃淡２値で示した濃淡２値情報１０が付与され、
前記検索部７は、検索対象区画９における濃淡２値情報１０に基づいてデータ格納部４を検索するボトリング製品検索装置を構成した場合には、検索の精度、効率を向上させることができる。

インデックス画像３は複数の領域に区画され、インデックス画像３の中心から放射方向に延びる複数本の検索線８上に配置される区画が検索対象区画９として指定される。各検索対象区画９には他の区画との濃度比較を２値で示した濃淡２値情報１０が設定され、データ格納部４には、検索線８と、検索線８上の濃淡２値情報１０の配列（濃淡分布テーブル）が検索インデックスとして登録される。

濃淡判定は、例えば、インデックス画像３全体の平均濃度、あるいは適宜手段により抽出した背景部の平均濃度と、検索対象区画９の平均濃度、あるいは最高濃度値との差が所定の閾値を越えた場合に”１”を付与することにより行うことができる。

この検索手法を使用する場合、画像変換部６においても、カメラ撮影画像１を正規化した後、インデックス画像３への処理と同様の手法で正規化画像への検索線８の設定、検索線８に沿う検索対象区画９の選定、検索対象区画９への濃淡２値情報１０の設定が行われ、検索部７は、濃淡２値情報１０の一致をもとにデータ格納部４を検索する。

したがって、この発明において、検索が検索対象区画９に設定された代表値（濃淡２値情報１０）の比較により行われるために、検索効率が向上する。

また、検索線８は、正規化画像中心から放射状に配置されているために、検索線８密度は中心に向かうに従って高くなり、結果、中心部での重み付けが行われた状態となる。一方、カメラ撮影画像１は、中心投影画像であり、中心部における歪みが少なく、周囲に行くに従って歪みが多くなるという特性を有しているために、中心部に重み付けをした上記検索方法を採用することにより、検索精度を向上させることが可能になる。

この場合、前記検索対象区画９内の画素が画像中心において少なく、周辺において多く形成することにより、さらに中心部に対する重み付けを増加させることができる。

また、ボトリング製品検索装置には、画像検査部１３を加えることができる。上述したように、カメラ撮影画像１は、ボトル１２の長手方向に交差する直線がラベル貼付面の凹凸による高さ変化の影響で曲線となったひずんだ画像となり、例えば、ラベル２が矩形で、かつ、光軸がボトル１２の中心軸線に直交してラベル２の中心を通る姿勢のカメラ１１による撮影画像は、図６に示すように、上下辺が反対方向に等量膨らんだ樽形の画像となる。

画像検査部１３は、上述した撮影条件による画像（図６に示す画像）に対する撮影位置のずれによるひずみを画像中心とラベル画像５の中心とのずれ量により評価し、ずれ量が所定の閾値より大きな場合には、正確な検出ができないものとして再撮影を促すメッセージを検索依頼者（携帯電話）に出力する。

画像検査部１３における判定閾値は、上述した検索部７におけるノイズ耐性を考慮して適宜決定される。

上記ボトリング製品検索装置のデータ格納部４にワインの属性に関するデータを格納し、カメラ付き携帯電話１４によるアクセスを可能にすることによってワインの検索システムを構成することができる。本システムによれば、携帯電話１４に付属のカメラ１１によりワインのラベル２部分を撮影してインターネット等の通信網を経由してボトリング製品検索装置に出力するだけで、簡単に手元にあるワインの銘柄、生産地等の属性を知ることができる。

ワインは、生産地が多岐にわたり、ラベル２に記載される言語も多岐にわたる上に、テキスト情報のデザイン化も頻繁に行われるために、抽出したテキストをもとに検索する場合に比して融通性が向上する。

本発明によれば、特定の規約に基づくＩＤコードの設定等を行うことなく製品検索を行うことができる。

ワイン検索システムのシステム構成図である。 本発明を示す図で、（ａ）はボトリング製品検索装置のブロック図、（ｂ）は格納データの作成手順を示すフローチャートである。 ボトリング製品検索装置の動作を示すフローチャートである。 格納データを示す説明図で、（ａ）はボトルとラベルを示す図、（ｂ）は正規化ラベルを示す図、（ｃ）は検索対象区画の設定を示す説明図である。 検索キーの設定を示す説明図で、（ａ）は検索対象区画に濃淡２値情報を設定した図、（ｂ）は濃淡分布テーブルを示す図、（ｃ）は検索対象区画の設定方法の変形例を示す図である。 カメラ撮影画像を示す図である。 画像検査部の動作を示す図である。 画像変換部の動作を示す図で、（ａ）はカメラ撮影画像を示す図、（ｂ）はラベル貼付部を切り出した状態を示す図、（ｃ）は正規化した状態を示す図、（ｄ）は検索線の設定を示す図である。 内接多角形を使用したアフィン変換による画像変換を示す説明図である。 インデックス画像の変形例を示す図で、（ａ）はラベル貼付面が円柱面からなるボトルにラベルを貼付する状態を示す説明図、（ｂ）はボトルへの貼付画像を正規化する手順を示す図、（ｃ）は検索対象区画に濃淡２値情報を設定した図である。

図１にワイン検索システムを示す。ワイン検索システムは、ボトリング製品検索装置Ａと、カメラ付き携帯電話１４とを通信網（インターネット１５）で接続して構成される。カメラ付き携帯電話１４の内蔵カメラ１１によりワインのラベル貼付部分を撮影したカメラ撮影画像１をインターネット１５を経由してボトリング製品検索装置Ａに送信すると、該ボトリング製品検索装置Ａはカメラ撮影画像１に必要な画像変換処理を加えた後、後述するデータ格納部４を検索し、検索結果を携帯電話１４に返す。
なお、携帯電話１４を通信機能付きデジタルカメラ等で代用することも可能である。

図２（ａ）にボトリング製品検索装置Ａのブロック図を示す。ボトリング製品検索装置Ａは、携帯電話１４との送受信を行う送受信部１６、受信したカメラ撮影画像１を検査する画像検査部１３、画像検査部１３において適正とされたカメラ撮影画像１を変換する画像変換部６、ワインの属性データを格納したデータ格納部４、画像変換部６による変換画像をデータ格納部４内で検索する検索部７、およびこれらの動作を制御する制御部１７とを有する。データ格納部４は、インデックス画像３、濃淡分布テーブル４ａ、製品属性４ｂを格納し、製品属性４ｂには、ワインの銘柄、生産地、味の特徴、あるいは豊作年等の当該ワインに関する情報が格納される。

上記データ格納部４における格納データの生成手順を図２（ｂ）により説明する。この実施例において検索対象製品は、ラベル貼付部が円柱面により形成されるボトル１２に矩形形状のラベル２を貼付したものであり（図４（ａ）参照）、まず、デジタルカメラ等によりラベル２の画像を取得し（Ｓ１）、これを正規化する（Ｓ２）。正規化に際し、まず、図４（ｂ）において左側に示されるスキャン画像のボトル１２への正射投影画像を生成する。正射投影画像の生成は、ラベル２が貼付されるボトル１２の径と同一の径を有する円柱モデルにラベル２を正射投影して生成され、図４（ｂ）において中央に示される正射投影画像は、さらに、アフィン変換されて所定（この実施の形態においては１：１）の縦横比（アスペクト比）を有する画像に変換されて正規化され、インデックス画像３が生成される。

また、ラベル２が矩形でない台形、扇形等の場合には、円柱モデルへの投影画像を取得した後、投影画像に外接する矩形枠を設定し、該矩形枠を原画像とするアフィン変換を行ってインデックス画像３とする。

以上のインデックス画像３の生成工程に続き、検索対象区画９の設定工程が実行される（Ｓ３）。図４(ｃ)に示すように、検索対象区画９の設定に際し、まず、インデックス画像３全体を等間隔に区画するとともに、インデックス画像３の中心から放射状に複数の検索線８を設定する。検索対象区画９は、上記検索線８上に配置される分割区画として定義され、この実施の形態においては、図４（ｃ）に示すように、８本の検索線８により指定される。図４（ｃ）において、検索対象区画９をハッチングを施して示す。

この後、検索対象区画９に対して濃淡２値情報１０を演算する（Ｓ４）。濃淡２値情報１０は、適宜手段により抽出した背景領域での平均濃度と当該検索対象区画９の平均濃度を比較し、差が所定の閾値より大きな場合には”１”を、その他の場合には”０”を割り当てることにより行われる。図５（ａ）に各検索対象区画９に濃淡２値情報１０を設定した場合を示し、これら濃淡２値情報１０は、図５（ｂ）に示すように、各検索線８に、当該検索線８上に配置された検索対象区画９の濃淡２値情報１０を対応させた濃淡分布テーブル４ａとしてデータ格納部４の検索キーとして格納される（Ｓ５）。

なお、以上においては、濃淡２値情報１０の生成は、背景に対する濃淡を基準に判定される場合を説明したが、これ以外に、例えば、画像全体の平均濃度と検索対象区画９の平均濃度、あるいは最高濃度の差に基づいて判定する等、判定基準は適宜設定することができる。

また、図５（ａ）においては、各検索対象区画９は同一面積に設定されているが、図５（ｃ）に示すように、周辺に行くに従って検索対象区画９の面積を大きくすることができる。

以上のデータ格納部４への問い合わせ手順を図３に示す。まず、送受信部１６が利用者から送信されるカメラ撮影画像１を受信すると（Ｓ１０）、画像検査部１３は、撮影中心位置（画像中心）とラベル画像５中心とを演算し、その差分を求める（Ｓ１１）。画像中心（撮影中心）とラベル画像５中心は、図７（ａ）に示すように、撮影中心は画像の対角線の交点として、ラベル画像５中心はカメラ撮影画像１から抽出するラベル画像５の四隅部から対向する隅部への線分の交点、あるいは図示しないが、ラベル画像５に外接する矩形の対角線の交点として求められ、差分（Δ）は図７（ｂ）に示すように、双方の交点間の距離により与えられる。

このようにして求められた差分（Δ）は予め設定された閾値と比較され（Ｓ１２）、閾値を超える場合には、送受信部１６に再撮影メッセージをセットし（Ｓ１２１）、利用者に送信される（Ｓ２０）。

一方、ステップＳ１２で差分が閾値以下である場合、画像変換部６における処理が行われる。画像変換部６は、まず、図８（ａ）に示すカメラ撮影画像１からラベル画像５を抽出し、さらに、図８（ｂ）に示すように、この抽出画像に矩形枠を設定した後（Ｓ１３）、該矩形枠のアスペクト比が１：１になるようにアフィン変換を施して（Ｓ１４）、図８（ｃ）に示す正規化画像を生成する（Ｓ１５）。このようにして得られた正規化画像には、図８（ｄ）に示すように、インデックス画像３の生成に使用した検索線８が設定されて濃淡２値情報１０が生成される（Ｓ１６）。

濃淡２値情報１０を受けた検索部７は、データ格納部４の濃淡分布テーブル４ａを検索し（Ｓ１７）、全検索線８において濃淡２値情報１０が一致した場合、製品を特定し（Ｓ１８）、該当する製品の属性（製品属性）を送受信部１６に出力し（Ｓ１９）、携帯電話に送信する（Ｓ２０）。
あるいは、一致した検索線の数が多いほど検索結果の信頼度を高くすることも可能である。

これに対し、ステップＳ１８で製品を特定できなかった場合には、再撮影メッセージをセットし（Ｓ１２１）、利用者（携帯電話）に送信する。

図９に画像変換部６の変形例を示す。この変形例において、画像変換部６は、まず図９（ａ）に示すカメラ撮影画像１からラベル画像５を抽出し（図９（ｂ）参照）、さらに、ラベル画像５内に上下辺の曲線化によるひずみの影響を減少させるために、内接する多角形を設定する。

この変形例において、内接多角形には、四隅のコーナーポイント、および中高（クラウン）形状に曲線化した上下辺の頂点（最高点）を結ぶ六角形が使用される。このようにして得られた六角形は、図９（ｃ）に示すように、適宜の三角形に分割された後、図９（ｄ）に示すように、各三角形に対してアフィン変換が施されて全体として矩形の画像に整形され、さらに、図９（ｅ）に示すように、アスペクト比が調整されて濃淡２値情報１０を得るための原画像とされる。

なお、図９において内接多角形のコーナーポイントは、上下辺の頂部に設定する場合を示したが、ラベル画像５の幅方向中心線と上下辺の交点に設定することも可能であり、また、内接多角形は、六角形以外の多角形に設定することも可能である。

なお、以上において、インデックス画像３として、ボトル１２への正射投影画像を正規化した画像を使用する場合を示したが、図１０に示すように、インデックス画像３に中心投影画像を使用することもできる。インデックス画像３生成に際して、図１０（ａ）に示すラベル２を実際にボトル１２に貼付した状態を撮影した画像が用意され、この画像に外接する矩形枠が所定のアスペクト比になるようにアフィン変換してインデックス画像３とされ（図１０（ｂ））、これから濃淡２値情報１０が生成される（図１０（ｃ）参照）。

このインデックス画像３に対応する画像変換部６は、ラベル画像５に外接する矩形枠を設定した後、該矩形枠を正規化し、さらに濃淡２値情報１０を生成するように構成される。

１ カメラ撮影画像
２ ラベル
３ インデックス画像
４ データ格納部
５ ラベル画像
６ 画像変換部
７ 検索部
８ 検索線
９ 検索対象区画
１０ 濃淡２値情報
１１ カメラ
１３ 画像検査部
１４ 携帯電話
Ａ ボトリング製品検索装置

Claims (8)

1. ボトリング製品のラベル貼付部をカメラにより撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、
   ラベルのボトル貼付面への中心投影画像に外接する矩形枠を所定のアスペクト比に座標変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、
   前記カメラ撮影画像から抽出したラベル画像に外接する矩形枠を座標変換して前記インデックス画像のアスペクト比に一致させる画像変換部と、
   画像変換部での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部と、
   を有するボトリング製品検索装置。
2. ボトルのラベル貼付面が円柱面により形成されるボトリング製品のラベル貼付部を撮影したカメラ撮影画像から対象ボトリング製品を検索するボトリング製品検索装置であって、
   ラベルのラベル貼付面への正射投影画像に外接する矩形枠を所定のアスペクト比に変換して正規化したインデックス画像をボトリング製品の属性に関連付けて格納するデータ格納部と、
   前記カメラ撮影画像から抽出したラベル画像を矩形画像に座標変換して正規化する画像変換部と、
   画像変換部での出力画像をインデックス画像中から検索して撮影したボトリング製品を特定する検索部と、
   を有するボトリング製品検索装置。
3. 前記画像変換部は、ラベル画像に外接する矩形領域、または、ラベル画像に内接する多角形領域をアフィン変換して比較画像を生成する請求項２記載のボトリング製品検索装置。
4. 前記インデックス画像は、画像中心から放射状に延びる複数本の検索線に沿って複数の検索対象区画が分割されるとともに、
   各検索対象区画には、他の区画との濃度比較結果を濃淡２値で示した濃淡２値情報が付与され、
   前記検索部は、検索対象区画における濃淡２値情報に基づいてデータ格納部を検索する請求項１、２または３記載のボトリング製品検索装置。
5. 前記検索対象区画内の画素が画像中心において少なく、周辺において多く形成される請求項４記載のボトリング製品検索装置。
6. 前記検索部の前段に配置され、カメラ撮影画像の画像中心とラベル画像の中心とのズレ量が所定値より大きな場合には再撮影を促す画像検査部を備えた請求項１から５のいずれかに記載のボトリング製品検索装置。
7. 前記カメラ撮影画像は、携帯電話付属のカメラ装置により撮影された画像である請求項１から６のいずれかに記載のボトリング製品検索装置。
8. 携帯電話付属のカメラによりワインのボトルに貼付されたラベルを撮影したカメラ撮影画像を該携帯電話により請求項１から７のいずれかに記載のボトリング製品検索装置に送信し、
   検索された製品属性を前記携帯電話に送信するワインの検索システム。

Images