JP2013528869A - オブジェクトを認識する手続き - Google Patents

Abstract

【課題】キャプチャされた画像とパターンとの間のいくつかの一致点を発見する手続きにおいて、認識されたオブジェクトが目標オブジェクトのセットの１つでありえるような、目標オブジェクトの位置と方向を認識すること。
【解決手段】デジタル・カメラでキャプチャされたデジタル画像から、目標オブジェクトに関連付けられたパターンごとの幅広い種々の重要な特徴をデジタル的に格納することなく、種々の位置における格納された目的オブジェクトの位置と方向を同定する認識及び配置手続き。
【選択図】なし

Description

本願発明は、一般に、倉庫モジュールにおける自動的なオブジェクトの認識および配置に関する。

従来技術において、倉庫の棚に格納されるオブジェクトの認識手続きを使う技術が知られており、それはデジタル・カメラでデジタル画像をキャプチャすることを含み、そのキャプチャされた画像は、倉庫の棚に格納されたオブジェクトの特性または重要な特徴を認識するタスクを実行するアルゴリズムで処理される。

この手続きは、識別されるオブジェクトに対して、格納メモリまたはデータベースに格納されるパターンのセットあるいは単一のパターンをつくることを含む。各々のパターンは、認識と配置の目標とされるオブジェクトの重要な特性を含む。

キャプチャされたデータ画像パターンは、棚乗せモジュールの上の認識と配置の目標とされるオブジェクトのセットに対応する各々のパターンと比較される。

その手続きが、キャプチャされた画像とパターンとの間のいくつかの一致点を発見する状況において、その手続きは、棚乗せモジュールにおいて、認識されたオブジェクトを示す出力信号を生成する。

上記の認識手続きの１つの弱点は、そのオブジェクトが目標オブジェクトのセットの１つでありえるような、目標オブジェクトの位置と方向を認識することである。

認識の目標とされるオブジェクトの位置の種々の可能性が、その認識を難しくする。たとえば、オブジェクトは、主たる面すなわち表の面と異なる二次的な面すなわち反対の面を持つことができ、それは、目標オブジェクトのパターンを作ることを難しくする。コンピュータのデータ記憶容量に制限があるからである。

従って、パターンに、関連オブジェクトの異なる方向とスケールを含むことを避ける必要がある。

一般に、大量のデータ含むデータベースの使用は、発展性がなく、非実用的である。

本願発明は、本願請求項において規定した格納モジュールにおけるオブジェクトの認識と配置のための方法によって、上で明らかにした弱点の１つ以上を解決するか、縮小しようとするものである。

１つの実施形態において、認識と配置手続きは、デジタル・カメラでキャプチャされた画像化されたデジタルから、目標オブジェクトに関連付けられたパターンごとの幅広い種々の重要な特徴をデジタル的に格納することなく、種々の位置における格納された目的オブジェクトの位置と方向を識別する。

すなわち、その手続きは、キャプチャされたデジタル画像に関連するデジタル・データ・マトリクスの間で一致点、及び、位置と方向において、減少した数の重要な特徴または特性を備えるパターンを捜すことによって、カメラに関して既知の位置と方向に目標オブジェクトを認識し配置する。

オブジェクトは、与えられた格納されたパターンに関して回転することができること、
そのオブジェクトの方向を決定することが認識手続きのゴールでなく、むしろ、棚のモジュールにおける目標オブジェクトの認識と配置であることに留意しなければならない。

縮小パターンにおける一致点の検索は、より少ない時間で行うことができ、その結果、データ・マトリクスを目標オブジェクトのパターンと比較するために必要な演算時間は、非常に減少する。

その手続きの１つの実施形態において、販売時点における労働者すなわちオペレータは、格納棚のモジュールに格納された目標オブジェクトのデジタル画像を、その格納棚にそれらを認識して、配置するために、キャプチャする。

そのオペレータは、たとえば、デジタル・カメラのような画像キャプチャ・デバイスによって画像をキャプチャする。オペレータは、そのモジュールから予め定められた距離で、対象となっているモジュールの前に自身を位置し、すなわち、画像キャプチャは、ズームを使用することなく、また、デジタル・カメラの追加的な内部や外部の光なしで、すなわち、棚乗せモジュールの位置における既存の周囲照明で、棚乗せモジュールの正面の視点から実行される。

カメラは、およそ５メガピクセルの解像度でデジタル画像をキャプチャすることができなければならない。また、その結果、デジタル画像は、ピクセルのマトリックスとなる。

対象となっているモジュールの物理的な大きさに従って、対象となっているモジュールの全部をカバーするように、連続していくつかのデジタル画像をキャプチャしなければならない可能性がある。

もちろん、デジタル画像のシーケンスは、対象となっている棚のモジュールに対応するデジタル画像の全てに関連するデジタル情報からその後に単一の画像マトリックスをつくるように予めセットされたシーケンスに従って、キャプチャされなければならない。

さらにまた、画像をキャプチャするための手段は、例えばマイクロプロセッサなど、キャプチャされた画像が、所定の焦点と輝度など技術的な特徴または最小限の品質要求のセットを満たすことを確かめるようにプログラム化された一般的な使用処理モジュールを備える。

一旦、モジュールに関連した画像のセットがキャプチャされると、マイクロプロセッサが、キャプチャされた画像の１つ１つが、最小限の品質要求を満たすことを検証するために、内蔵プログラムを実行する。検証がポジティブである場合には、マイクロプロセッサは、キャプチャされた画像の適合性を示すために、第１の出力メッセージを生成し、反対の状況では、第２のメッセージが、棚乗せモジュールまたはその一部に対応する第２の画像をキャプチャする適合性を示すために生成される。その場合には、第１の画像は、自動認識と配置プロセスの次のステップで使用可能でない。

一旦、棚乗せモジュールの画像の全ての適合性が、モジュールをキャプチャするマイクロプロセッサで、対象となっている検証されると、キャプチャされて保存されたデジタル画像の全てが、キャプチャ・モジュールから、第１の入出力モジュールによって、第１の応用モジュールまたはアプリケーションサーバの方へ、たとえば、無線通信システムに関連するエアーインタフェースを介して、送られる。

一旦、キャプチャされた画像、対象となっている棚乗せモジュールに関連したピクセル・マトリックスが、サーバの第２の入出力モジュールによって受信されると、それらは、そのサーバに接続している第１の格納モジュールに保存される。

次に、そのサーバは、保存された画像の認知分析を行うようにプログラム化された一般的用途のコンピュータを備えるコンピュータ・ユニットに接続される。

そのコンピュータは、第２の中央演算処理装置と、マルチメディア・スクリーンと、第１のメモリに保存された画像を入力するためのキーボードを備える。

第２のプロセッサは、キャプチャされた画像の認識分析を行うようにプログラムされている。

第２のプロセッサが実行する第１のステップは、対象となっている棚乗せモジュールのキャプチャされるピクセルイメージに関連するマトリックスの要素を備えるデジタル・データの単一のマトリクスを生成するステップである。このために、第２のプロセッサは、販売時点においてオペレータによってキャプチャされた、対象となるモジュールに関連する各々のピクセル・マトリックスに共通して存在する点に関連する技術的な特徴を識別するために、サブルーチンを実行する。

前述のステップを実行するためには、順番にキャプチャされる画像の間で共通する少なくとも１つの点を確立することができるような方法で画像キャプチャするための数セットの基準に従って、キャプチャ画像はキャプチャされなければならないことに留意しなければならない。

その共通する点は、たとえば、棚乗せモジュールに対応する棚の端であることができる。１つの画像において、その端が画像の右側にある場合には、隣接したキャプチャされた画像において、次のキャプチャされた画像の左側に同一の端を見ることができるようにである。

共通する点は、カメラに関して既知の位置と方向で棚に格納されたオブジェクトでもありえる。

従って、カメラに関して既知の位置と方向において、一組のオブジェクトを備える画像マトリクスのセットから生成されたグローバルなピクセル・マトリクスから、棚乗せモジュールの中の目標オブジェクトは、予めセットされた認識と配置コマンドを実行することによって認識され、配置されなければならない。

第２のプロセッサは、手続きの前のステップにおいて生成された所定の格納されたパターンが、デジタル・データ・マトリクスの要素のサブセットと比較されるように、棚乗せモジュールにおいて認識されて、配置されたオブジェクトに関連する、保存されたパターンのサブセットのデータベースからの選択を含む認識手続きを実行する。その比較の結果が、目標オブジェクトに関連するマトリクスの要素のサブセットと、目標オブジェクトに結びついた格納されたパターンとの間の一致点の存在を識別することになる。

第１のメモリに格納された各々のパターンは、目標オブジェクトのデジタル画像から得られた差分の、あるいは、不変は特徴のセットを含む。制御された設定において、キャプチャされた画像から始めて、格納されたパターンが生成される。

結果として、ピクセル・マトリクスは、棚に格納された目標オブジェクトの１つのカメラに関して位置と方向における重要な特徴または特性を備えるデータ・マトリクスに変換された。

もちろん、オブジェクトに関連する各々の格納されたパターンは、そのデータ・マトリクスにおいて探索することができる重要な特徴を備える。

したがって、一旦第２のプロセッサが認識および配置命令を実行すると、目標オブジェクトに関連するグローバル・マトリクスの要素のセットと、同一のオブジェクトの格納されたパターンとの間のいくつかの一致点を検出することができる。

第２のプロセッサは、格納されたパターンと比較されるマトリクスの要素を、最低に減らすように、認識命令を実行する。すなわち、第２のプロセッサが、製品がないと決定する格納モジュールの中におけるそれらの領域を廃棄してもよいようにするために、ストアにおいてキャプチャされたデジタル画像から生成されたマトリックスの上で調整プロセスを実行する。このように、第２のプロセッサは、非常に高い規則性があるそれらの領域を廃棄する、そして、結果として、マトリクスのその要素は、特徴または詳細において変化が検出されないとすると、たとえば、完全に白い表面または非常に暗い地域を持っているモジュールのバックパネルなど、そこに製品がある可能性がない領域に関連する。

すると、目標が存在しない領域が廃棄される。すなわち、第２のプロセッサが実行を継続する比較のステップと重要な特徴の抽出を行うステップを実行するために、グローバル・マトリクスの要素は、廃棄される。

このように、目標オブジェクトが格納されたパターンと比較される。このために、パターンの重要な特徴が抽出され、そのオブジェクトに関連するマトリクスの要素と比較される。マトリクス要素とパターンとの間に一致点が検出される場合には、その要素は、目標が存在することができるモジュールの領域に関連しており、次に、第２のプロセッサは、一致点が検出されたマトリクスの要素のまわりのパターンの他の重要な特徴について、検索を行う。

認識命令は、目標オブジェクトのラベルに関連するセマンティック認識サブルーチンを含む。

第２のプロセッサが、目標オブジェクトと格納されたパターンの重要な特性との間において、一致点の最小数を見つける場合には、識別された目標オブジェクトと、その棚乗せモジュールでの位置を示す第３の出力メッセージを生成する。

パターンは、それが関連するオブジェクトのタイプによっていくつかの重要な特徴を備えることができる。すなわち、例えば、そのオブジェクトの物理的な形状や大きさの特徴パラメータなど、別のオブジェクトからそのオブジェクトを区別することができる特徴、そのオブジェクトのラベルに結びついた特徴などである。

第３の出力メッセージの生成は、所定のパターンの重要な特徴とターゲットオブジェクトとの間において一致点の所定の最小数が認識される場合だけ生成される一致点を示している。一致点の数が一致点の規定された閾値より少ない場合には、所定のオブジェクトを認識することができないことを意味する。

しかしながら、第２のプロセッサは、第１のオブジェクトに隣接したオブジェクトの重要な特徴と、隣接したオブジェクトが、隣接したオブジェクトとの識別された一致点の閾値を越える数の重要な特徴を備えるか否かを認識するための格納されたパターンとの間の一致点を見出すように認識命令のサブルーチンを実行する。そして、さらに、一致点の閾値を越えない識別された一致点の間にそのオブジェクトの重要な特徴がある場合には、認識命令は、両方の隣接したオブジェクトが同一の格納されたパターンと一致すると決定する。第２のプロセッサは、分析されたターゲットオブジェクトの１つが、保存されたパターンに関して回転しており、その隣接したオブジェクトは、同一のパターンに関して回転をまったく示していないことを確定する。

上に記載されたシナリオは、たとえば、同一の棚に、同一の製品のいくつかのオブジェクトが並べられて格納されている・大きな表面がつながっている場合に、顧客が、それらの１つを取り上げ、そして、すぐに、その最初位置にそのオブジェクトを返したが、しかし、その最初の位置に関して回転したようなケースに見つけることができる。しかしながら、残りの隣接したオブジェクトは、まだ、オブジェクトのそのタイプに関連するパターンと最大数の一致点を持つ位置と方向に対応する、それらの最初の位置にある。

前のステップは、スーパーマーケットの棚には、同一の棚、及び上下で直接に隣接した棚にいくつかの同一のオブジェクトが保管しているとすると、分析されたオブジェクトと格納されたパターンとの間の重要な特徴のいくつかの一致点が識別される間数回、繰り返されることができることに留意しなければならない。

一旦、データ・マトリクスの位置の全てが、目標オブジェクトに関連する格納されたパターンとの一致点を認識するために、第２のプロセッサで実行される認識命令によって分析されると、次に、第２のプロセッサは、検出される一致点の数によっていくつかのメッセージを生成する。そのメッセージから得られた結果を、棚乗せモジュールの画像が目標オブジェクトとその位置が、望ましい位置に配置された望ましいオブジェクトを有する棚乗せモジュールの画像と一緒に識別されたように見えるようにレポートにまとめることができる。

一列のオブジェクトを取り替えるとき、業者が、不適切なやり方で棚乗せモジュールを補充すること、すなわち、不適当な棚にオブジェクトを配布することがありえたことに留意しなければならない。

たとえば、若い人向けの目標オブジェクト、例えばポップコーンは、たとえば、棚乗せモジュールの低い棚に置かれなければならない。

したがって、一致点についてのメッセージに基づいて、その命令は、正確に、そのオブジェクトが置かれなければならなかったように、分析されたショーケースの各々の棚の目標オブジェクトの配置を示すために、図を生成する。

図またはプラノグラムは、製品のカテゴリーが、どのように、一列に、ゴンドラまたは展示ケースで展示されるかという視覚的描写である。これらのプラノグラムで、以降の分析を、販売時点情報管理で起こる主な変数から、例えば各々のストアに存在するストック、各々の製品のストックに与えられたスペースのパーセンテージ、製品毎の面の数、隣接した製品、利用されたスペースの原則など、から、実行することができ、商品をどのように置かれなければならないかという目標プラノグラムと比較することができる。

一旦、プラノグラムは生成されると、それらは、後の分析、及び個人または総合レベル上での販売時点情報管理での所定の時点に生成される主な変数の状況を示すレポートの生成のためにデータベースに入れなければならない。

製品の販売時点で格納モジュールに格納されるオブジェクトの認識の手続きは、入出力装置による、また、プロセッサ・ユニット付きのコンピュータの内蔵メモリの上へロード可能なコンピュータで実行することができる。

この目的のために、コンピュータ・プログラムは、コンピュータで実行されるときに、前述のプロセスのステップを実行するために構成されたコードを備える。さらにまた、その実行コードは、コンピュータの中に読み込み可能なキャリア媒体によって保存することができる。

Claims (6)

1. 製品の販売の際に格納モジュールに格納されたオブジェクトを認識する手続きであって、
   所定のキャプチャ・シーケンスに従う画像キャプチャのためのモジュールによって、対象となる格納モジュールの少なくとも１つのデジタル画像を取得するステップと、
   第１の処理ユニットによって前のステップにおいてキャプチャされた前記画像を検証するステップと、
   前記検証されたデジタル画像を、画像をキャプチャするための前記モジュールの第１の入出力モジュールを通して、サービス応用モジュールの第２の入出力の方へテレコミュニケーション・ネットワークを介して伝送するステップと、
   前記サーバにおいて検証され、受信された前記デジタル画像を、第１の格納モジュールに格納するステップと、
   第２の処理ユニットによって保存されたデジタル画像のセットから始まるグローバル・デジタル・データ・マトリクスを生成するステップと、
   前記グローバル・マトリックスの要素を、販売時点において発見することができるオブジェクトの格納された関連付けられたパターンの特徴と、比較するステップと、
   一致する重要な特徴について所定の最小数が抽出される場合に、格納モジュールにおける目的オブジェクトの認識と配置の出力メッセージを生成するために、一致する特徴を抽出するステップと、
   のステップを含むことを特徴とする、手続き。
2. 一致点の数が重要な特徴の所与の最小数より少ない場合には、隣接オブジェクトの重要な特徴と、前に認識手続きに提出されたたオブジェクトの重要な特徴との間の一致点を見出すための認識サブルーチンを実行するステップを更に含むことを特徴とする請求項１に記載の手続き。
3. 一致する重要な特徴の数が、一致点の閾値より大きいか否かに基づいて、前記格納モジュールにおいて前記オブジェクトに隣接する、続いて分析される目的オブジェクトに対する認識と配置の出力メッセージが生成された場合には、一致する重要な特徴の所与の最小数より少ない一致点の数を有するオブジェクトの認識と配置の出力メッセージを生成するステップを更に含むことを特徴とする請求項２に記載の手続き。
4. 前記モジュール内の前記認識された目的オブジェクトとその配置が表現されている前記格納モジュールからのデジタル画像の出力メッセージに基づいて、生成するステップを更に含むことを特徴とする請求項３に記載の手続き。
5. 製品の販売時点情報管理で格納モジュールに保存されるオブジェクトの認識手続きを実行するように構成されたコンピュータに命令を与えるコンピュータ可読のコードを備えるコンピュータ可読手段であって、
   前記認識手続きが、
   所定のキャプチャ・シーケンスに従って画像キャプチャのモジュールによって、対象となる前記格納モジュールの少なくとも１つのデジタル画像を取得するステップと、
   第１の処理ユニットによって前のステップにおいてキャプチャされた前記画像を検証するステップと、
   前記検証されたデジタル画像を、画像をキャプチャするための前記モジュールの第１の入出力モジュールを通して、サービス応用モジュールの第２の入出力の方へテレコミュニケーション・ネットワークを介して伝送するステップと、
   前記サーバにおいて検証され、受信された前記デジタル画像を第１の格納モジュールに格納するステップと、
   第２の処理ユニットによって保存されたデジタル画像のセットから始まるグローバル・デジタル・データ・マトリクスを生成するステップと、
   前記グローバル・マトリックスの要素を、販売時点において発見することができるオブジェクトの格納された関連付けられたパターンの特徴と、比較するステップと、
   一致する重要な特徴について所定の最小数が抽出される場合に、格納モジュールにおける目的オブジェクトの認識と配置の出力メッセージを生成するために、一致する特徴を抽出するステップと、
   のステップを含むことを特徴とする、コンピュータ可読手段。
6. 入力及び出力ユニットと、メモリ・ユニットと、プロセッサ・ユニットとを備えるコンピュータにロードすることができるコンピュータ・プログラムであって、
   該コンピュータは、コンピュータで実行されたときに、請求項１ないし４のいずれか１項に記載のオブジェクトの認識手続きのステップを実行するように構成された実行可能コードを備える、コンピュータ・プログラム。