JP2022522078A - サンプル画像取得方法、装置、及び電子デバイス - Google Patents

Abstract

本発明の実施例は、サンプル画像取得方法、装置、及び電子デバイスを提供し、ここで、当該方法は、積み重ね物体の画像を収集することであって、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式を含むことと、収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とすることと、を含む。【選択図】図１

Description

本発明は、機械学習技術に関し、具体的には、サンプル画像取得方法、装置、及び電子デバイスに関する。

＜関連出願の相互引用＞
本願は、出願番号が１０２０１９１３０５６Ｖであり、出願日が２０１９年１２月２３日であるシンガポール特許出願に基づいて提出されたものであり、当該特許出願の優先権を主張し、当該特許出願の全ての内容が参照のために本願に援用される。

近年、人工知能技術の継続的な発展により、人工知能技術は、コンピュータ視覚、音声認識などにおいて、いずれも、比較的良好な効果を達成している。デスクトップゲームシーンなどのような、いくつかの相対的に特殊なシーンにおいて、ゲームで使用しているゲームコインを認識する必要があり、ゲーム中のゲームコインを自動的に認識することも、スマートゲーム会場の構築を実現するための重要な研究テーマである。ゲーム中のゲームコインを認識するための前提条件として、ゲームコインを含むサンプル画像を収集して、ゲームコイン認識するための認識ネットワークを訓練することは必要不可欠な重要なステップであり、サンプル画像の品質はゲームコイン認識の精度に直接影響を与える。

これに鑑みて、本発明は、少なくとも、サンプル画像取得方法、装置、及び電子デバイスを提供する。

第１態様によると、サンプル画像取得方法を提供し、前記方法は、
積み重ね物体の画像を収集することであって、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式を含むことと、
収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とすることと、を含む。

本発明の任意の実施例によると、前記方法は、複数枚のサンプル画像を含むサンプル画像セット中のサンプル画像内の積み重ね物体の物品情報の分布データが所定の分布条件を満たさないことを確認することと、欠落画像を収集することであって、前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含む欠落画像を収集することであって、前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含むことと、をさらに含む。

本発明の任意の実施例によると、前記欠落画像を収集した後に、前記方法は、前記欠落画像が画像品質条件を満たす場合、前記欠落画像をサンプル画像とすることをさらに含む。

本発明の任意の実施例によると、前記積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み、前記積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値および前記各々の物体のタイプを含み、異なるサンプル画像内の積み重ね物体は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、積み重ね物体中の物体数量、積み重ね物体を構成する各々の物体によって表される価値、および、各物体のタイプの中の少なくとも１つが異なる。

本発明の任意の実施例によると、積み重ね物体の画像を収集することは、Ｎ個の画像サブセットを収集することであって、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの画像内の積み重ね物体は、異なる第１属性を有することを含み、前記Ｎ個の画像サブセットの１つの画像サブセットの画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである。

本発明の任意の実施例によると、積み重ね方向が積み重ね物体が置かれた表面に平行である場合積み重ね方向が積み重ね物体が置かれた表面に平行である場合、積み重ね物体の画像を収集することは、前記表面の上面からの視角で積み重ね物体の画像を収集することを含む。

本発明の任意の実施例によると、積み重ね方向が積み重ね物体が置かれた表面に垂直である場合積み重ね方向が積み重ね物体が置かれた表面に垂直である場合、積み重ね物体の画像を収集することは、前記表面の側面からの視角で積み重ね物体の画像を収集することを含む。

本発明の任意の実施例によると、収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とすることは、収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定することと、前記積み重ね物体以外の他の各目標物体に対して、前記積み重ね物体の検出フレームと当該目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定することと、前記収集された画像をサンプル画像とすることと、を含む。

本発明の任意の実施例によると、前記積み重ね物体の検索フレームと前記積み重ね物体以外の他の各目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定した後に、かつ、前記収集された画像をサンプル画像とする前に、前記方法は、前記積み重ね物体の検出フレームを第１検出フレームとして設定し、前記収集した画像の中の前記積み重ね物体以外の他の各目標物体に対して、当該目標物体の検出フレームを第２検出フレームとして設定することと、前記第１検出フレームと前記第２検出フレームとの重畳領域の、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、前記第１検出フレームの、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であることを確定することとをさらに含む。

第２態様によると、サンプル画像取得装置を提供し、前記装置は、
積み重ね物体の画像を収集するための画像収集モジュールであって、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式の組み合わせを含む画像収集モジュールと、
収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とするための画像選別モジュールと、を含む。

本発明の任意の実施例によると、前記画像収集モジュールは、さらに、サンプル画像セット中のサンプル画像内の積み重ね物体の物品情報の分布データが所定の分布条件を満たさないことを確認するときに、欠落画像を収集し、前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含み、前記サンプル画像セットは、複数枚のサンプル画像を含む。

本発明の任意の実施例によると、前記画像選別モジュールは、さらに、前記欠落画像が画像品質条件を満たす場合、前記欠落画像をサンプル画像とする。

本発明の任意の実施例によると、前記積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み、前記積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値および前記各々の物体のタイプを含み、異なるサンプル画像内の積み重ね物体は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、積み重ね物体中の物体数量、積み重ね物体を構成する各々の物体によって表される価値、および、各物体のタイプの中の少なくとも１つが異なる。

本発明の任意の実施例によると、前記画像収集モジュールは、Ｎ個の画像サブセットを収集し、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの画像内の積み重ね物体は、異なる第１属性を有することを含み、前記Ｎ個の画像サブセットの１つの画像サブセットの画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである。

本発明の任意の実施例によると、前記画像収集モジュールは、積み重ね方向が積み重ね物体が置かれた表面に平行である場合、前記表面の上面からの視角で積み重ね物体の画像を収集する。

本発明の任意の実施例によると、前記画像収集モジュールは、積み重ね方向が積み重ね物体が置かれた表面に垂直である場合、前記表面の側面からの視角で積み重ね物体の画像を収集する。

本発明の任意の実施例によると、前記画像選別モジュールは、具体的に、収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定し、前記積み重ね物体以外の他の各目標物体に対して、前記積み重ね物体の検出フレームと当該目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定し、前記収集された画像をサンプル画像とする。

本発明の任意の実施例によると、前記画像選別モジュールは、前記積み重ね物体の検索フレームと前記積み重ね物体以外の他の各目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定した後に、かつ、前記収集された画像をサンプル画像とする前に、さらに、前記積み重ね物体の検出フレームを第１検出フレームとして設定し、前記収集した画像の中の前記積み重ね物体以外の他の各目標物体に対して、当該目標物体の検出フレームを第２検出フレームとして設定し、前記第１検出フレームと前記第２検出フレームとの重畳領域の、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、前記第１検出フレームの、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であることを確定する。

第３態様によると、電子デバイスを提供し、前記電子デバイスは、メモリとプロセッサとを備え、前記メモリは、前記プロセッサ上で実行できるコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、本発明の任意の実施例の方法を実現する。

第４態様によると、提供コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、前記プログラムがプロセッサによって実行されるときに、本発明の任意の実施例の方法を実現する。

本発明の実施例によって提供されるサンプル画像取得方法、装置、及び電子デバイスによると、異なる物品情報を有する複数の画像を収集することによって、取得されたサンプル画像内に含まれた物品情報がより豊富になるようにし、また、画像品質がより良い画像を選別することによって、サンプル画像の品質をさらに向上させることができ、したがって、品質がより良いし、豊富な物品情報を含むサンプル画像を使用してニューラルネットワークを訓練して、積み重ね物体中の物体を認識するニューラルネットワークの性能をさらに向上させることができ、たとえば、積み重ね物体中の物体を認識する認識ネットワークの正確性と一般化能力を向上させる。

本発明の１つまたは複数の実施例または関連技術での技術的解決策をより明確に説明するために、以下、実施例または関連技術の説明に使用する必要がある図面を簡単に紹介し、明らかに、以下で叙述する図面は本発明の１つまたは複数の実施例に記載のいくつかの実施例にすぎず、当業者にとって創造的な作業なしにこれら図面に基づいて他の図面を得ることができる。
本発明の少なくとも１つの実施例によって提供されるサンプル画像取得方法を示すフローチャートである。 本発明の少なくとも１つの実施例によって提供されるゲームテーブルシーンを示す模式図である。 本発明の少なくとも１つの実施例によって提供されるゲームコイン積み重ね方式を示す模式図である。 本発明の少なくとも１つの実施例によって提供される保管領域を示す模式図である。 本発明の少なくとも１つの実施例によって提供されるもう１つのゲームコイン積み重ね方式を示す模式図である。 本発明の少なくとも１つの実施例によって提供されるサンプル画像取得装置の模式図である。

以下、当業者が本明細書の１つまたは複数の実施例での技術的解決策をより良く理解するようにするために、本明細書の１つまたは複数の実施例での図面を参照して、本明細書の１つまたは複数の実施例での技術的解決策を明確かつ完全に叙述する。明らかに、叙述する実施例は、全部の実施例ではなく、本明細書の一部の実施例に過ぎない。本明細書の１つまたは複数の実施例に基づいて、創造的な作業なしに当業者によって得られるすべての他の実施例は、いずれも本発明の保護範囲に属すべきである。

本発明の実施例は、サンプル画像取得方法を提供し、当該方法は、サンプル画像を収集して取得するために使用され、また、当該サンプル画像は、たとえばニューラルネットワークの訓練に用いられる。

当該サンプル画像は、積み重ね物体を含むことができ、当該積み重ね物体は、一緒に積み重ねられた複数の物体を含み得、たとえば一緒に積み重ねられた複数のゲームコインであり、または、一緒に積み重ねられた複数枚のコインなどシート状物体である。サンプル画像をニューラルネットワークの訓練に使用する場合、当該サンプル画像を利用して訓練して得たニューラルネットワークは、前記積み重ね物体を認識するためのニューラルネットワークであり得る（すなわち前記積み重ね物体を構成する各々の物体を認識するニューラルネットワークである）。

図１は、本発明の少なくとも１つの実施例によって提供されるサンプル画像取得方法を示し、図１に示すように、当該方法は、ステップ１００～ステップ１０２を含み得る。

ステップ１００において、積み重ね物体の画像を収集し、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式を含む。

本ステップにおいて、複数枚の画像を収集することができ、各枚の画像内には、いずれも、積み重ね物体が含まれることができる。異なる画像において、積み重ね物体は、以下の少なくとも１つの物品情報に差異が存在することができ、たとえば、異なる画像内の積み重ね物体の属性が異なり、または、異なる画像内の積み重ね物体の積み重ね方式が異なり、または、前記の属性と積み重ね方式がいずれも異なる。

例示的に、上述した積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値、および、各々の物体のタイプを含み得る。積み重ね物体が一緒に積み重ねられた複数枚のコインを含む例を挙げると、前記価値は、コインの額面であり得、たとえば、１元、５元であり得る。前記のタイプは、コインのタイプであり得（たとえば、異なる国のコインであり得、各々の国のコインが１タイプのコインである）、たとえば、コインは、様々なタイプを含み得、積み重ね物体は、異なるタイプに属するコインを含み得る。

例示的に、上述した積み重ね物体の積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み得る。

たとえば、積み重ね方向は、第１方向または第２方向を含み得、ここでの第１方向は、積み重ね物体中の物体が置かれた表面に平行にすることができ、第２方向は、積み重ね物体中の物体が置かれた表面に垂直にすることができる。積み重ね物体中の物体は、第１方向または第２方向に沿って積み重ねられることができる。

たとえば、積み重ね物体中の物体が置かれた表面には、様々な積み重ね領域が含まれることができ、収集した異なる画像内の積み重ね物体は、それぞれ異なる積み重ね領域に置かれることができる。また、異なる画像内の積み重ね物体を構成する物体同士の間の隣接関係も、異なることができる。たとえば、２つの画像内には、いずれも１元のコイン、５元のコイン、および、１０元のコインが含まれることができ、ここで１つの画像内では、５元のコインが積み重ね物体の中央に位置し、１元と１０元のコインがそれぞれ積み重ね物体の両側に位置し、もう１つの画像内では、１０元のコインが積み重ね物体の中央に位置し、１元と５元のコインがそれぞれ積み重ね物体の両側に位置することができる。

ステップ１０２において、収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とする。

本ステップにおいては、ステップ１００で収集された画像に対して品質選別を実行することができ、品質条件を満たす画像を選択してサンプル画像とする。ここで、前記の画像品質条件は、実際のビジネス要件に応じて設定することができ、たとえば、当該画像品質条件は、画像内の積み重ね物体が画像内の他の物体によってまったく遮られていないことであり得る。当該画像品質条件は、選別フローアルゴリズムを設定することによって実現できる。

本発明の本実施例によって提供されるサンプル画像取得方法によると、異なる物品情報を有する複数の画像を収集することによって、取得されたサンプル画像内に含まれた物品情報がより豊富になるようにし、収集した、画像品質がより良い画像を選択することによって、サンプル画像の品質をさらに向上させることができ、したがって、品質がより良いし、豊富な物品情報を含むサンプル画像を使用してニューラルネットワークを訓練して、積み重ね物体中の物体を認識するニューラルネットワークの性能をさらに向上させることができ、たとえば、積み重ね物体中の物体を認識する認識ネットワークの正確性と一般化能力を向上させる。

人工知能技術の継続的な発展により、多くの場所で知能化の構築を試している。たとえば、課題の１つは、スマートゲーム場所の構築である。そうすれば、スマートゲーム場所の１つの需要は、ゲームで使用するゲームコインを自動的に認識することであり、たとえば、ゲームコインの数量を自動的に認識することである。本発明の実施例によって提供されるサンプル画像取得方法によると、収集したサンプル画像は、ゲームコイン認識ネットワークの訓練に用いられ、前記のゲームコイン認識ネットワークは、ゲームで使用されるゲームコインを認識するために使用される。

デスクトップゲームシーン中の積み重ね物体の画像を収集する例を挙げて、本発明の実施例のサンプル画像取得方法を説明する。１例のデスクトップゲームシーンにおいて、複数のプレーヤーが１つのゲームテーブルの周りに座ることができ、当該ゲームテーブル上には複数のゲーム領域が含まれることができる。互いに異なるゲーム領域は、互いに異なるゲーム内容を含むことができる。これらゲーム領域は、以下の説明で、互いに異なる積み重ね領域であり得る。また、マルチプレイヤーゲームでは、ユーザはゲームコインを使用してゲームをプレイできる。

たとえば、ユーザは、自分の物品でゲームコインを交換し、ゲームコインをゲームテーブルの異なる積み重ね領域に置いてゲームをプレイすることができる。例を挙げて説明すると、第１ユーザは、自分が所有している複数の水彩ペンでゲームで使用されるゲームコインを交換し、ゲームコインを利用してゲームテーブル上異なる積み重ね領域間でゲームルールに従ってゲームをプレイすることができ、第２ユーザがゲームで第１ユーザを勝った場合、当該第１ユーザの水彩ペンを第２ユーザに属させる。たとえば、上述した当該ゲームは、休日などの余暇時間に複数の家族の間でのレクリエーション活動に適している。

当該ゲームコインの画像収集シーンにおいて、異なる画像内に含められたゲームコインは、ゲームコイン額面、ゲームコインタイプ、ゲームコイン積み重ね方向、積み重ね領域、積み重ね物体中に含まれたゲームコイン（たとえば、異なる額面のゲームコインまたは異なるタイプのゲームコイン）との間の隣接関係、および、積み重ね物体中に含まれたゲームコインの数量の中の少なくとも１つが異なることができる。

たとえば、画像内には、５個のゲームコインが含まれており、また、当該５個のゲームコインは、ゲームに参加したユーザによって、ゲームテーブルの左側の１つの積み重ね領域内に置かれている。画像内には、５個のゲームコインが含まれており、また、ゲームテーブルの右側の１つの積み重ね領域に置かれている。または、ここで１つの画像には、タイプＡとタイプＢのような２種のタイプのゲームコインが含まれており、また、タイプＡのゲームコインは、３個あり、タイプＢのゲームコインは、５個ある。もう１つの画像には、タイプＡとタイプＣのような２種のタイプのゲームコインが含まれており、また、タイプＡのゲームコインは、４個あり、タイプＣのゲームコインは、７個ある。これ以上他の例を挙げない。

続いて、図２に示したゲームテーブルを例として、サンプル画像の収集方法を説明する。図２に示すように、ゲームシーンにおいて、ゲームテーブル２０を利用してゲームをプレイすることができる。両側のカメラ２１１と２１２を利用してゲームテーブル上の積み重ね領域内に置かれたゲームコインの画像を収集することができる。ゲームに参加したユーザ２２１、ユーザ２２２、および、ユーザ２２３は、ゲームテーブル２０の一側に位置し、当該ユーザ２２１、ユーザ２２２、および、ユーザ２２３を第１ユーザと呼ぶことができる。ゲームに参加したもう１つのユーザ２３は、ゲームテーブル２０のもう一側に位置し、当該ユーザ２３を第２ユーザと呼ぶことができる。第２ユーザは、ゲーム中でゲームの進行を担当するユーザであり得る。

ゲームの開始段階において、各々の第１ユーザは、自分の交換物品（たとえば、水彩ペンまたはその他のユーザが興味を持つ可能性のある他の物品）で、第２ユーザとゲームコインを交換し、第２ユーザは、保管領域２７に置かれているゲームコインを第１ユーザに引き渡す。次に、第１ユーザは、ゲームコインをゲームテーブル上のベッティング領域に置く。たとえば、第１ユーザ２２２は、ベッティング領域２４１に置き、第１ユーザ２２３は、ベッティング領域２４２に置く。ゲームの実行段階において、カードディーラ２５は、ゲーム実行領域２６にカードを配って、ゲームをプレイする。ゲームが完了した後に、第２ユーザは、ゲーム実行領域２６のカード状況に基づいて、ゲーム結果を確定することができ、また、ゲームに勝った第１ユーザにゲームコインを追加させることができる。上述した保管領域２７、ベッティング領域２４１、ベッティング領域２４２などは、いずれも、積み重ね領域と呼ばれ得る。

なお、図２から分かるように、ゲームテーブルは、複数のベッティング領域を含み、たとえば、ベッティング領域２４１とベッティング領域２４２を含み得る。当該ベッティング領域のゲームコイン積み重ね方向は、図３の例のように、たとえば、複数のゲームコインをゲームテーブルのデスクトップに垂直するように上から下に積み重ねられる。

図３に示すように、積み重ね物体は、複数のゲームコインを含み、ゲームコインの積み重ね方向は、積み重ね物体が置かれた表面（すなわちゲームデスクトップ）に垂直する方向に沿う積み重ね方式である。ゲームデスクトップの側面からの視角で当該積み重ね物体の画像を収集することができ、当該側面からの視角で収集した画像は、図３と類似している。

引き続き図２を参照すると、ゲームテーブルの周辺に画像収集装置を設置して、ゲームテーブル上に置かれたゲームコインの画像を収集し、ゲームコインの画像をサンプル画像としてゲームコイン認識ネットワークを訓練することができる。当該画像収集装置は、たとえば、カメラであり得る。たとえば、カメラを利用してゲームテーブル上の物品のビデオストリームを撮影して、ビデオストリームに含まれたビデオフレームを収集した画像として取得することができる。例示的に、ゲームテーブルの左側と右側のような両側（または複数の側面）に第１画像収集装置を設置して、ベッティング領域の画像を収集することができる。前記ベッティング領域画像内のゲームコインは、前記ベッティング領域に置かれている。たとえば、ベッティング領域ゲームテーブルの左側と右側のような両側のカメラ（たとえば、サイトカメラ２１１と２１２）を利用して、ベッティング領域の画像を収集することができ、ベッティング領域の画像内のゲームコインは、図３に示した積み重ね方向（第１積み重ね方向）に沿って置かれている。

ゲームテーブルには、さらに、複数の保管領域を含み得、図４に示すように、ゲームコインの保管領域２７は、複数あることができ、各保管領域２７は、１つの溝の形態であり得る。ゲームコインの保管領域における積み重ね方向は、ベッティング領域における積み重ね方向と異なることができる。たとえば、図５を参照すると、複数のゲームコインをゲームテーブルのデスクトップに平行する方向に沿って水平に配列して置かれている。

図５に示すように、積み重ね物体は、複数のゲームコインを含み、ゲームコインの積み重ね方向は、積み重ね物体が置かれた表面（すなわちゲームデスクトップ）に平行する方向である。ゲームデスクトップの上面からの視角で当該積み重ね物体の画像を収集することができ、当該上面からの視角で収集した画像は、図５と類似している。例示的に、さらに、ゲームテーブルの上方に第２画像収集装置（たとえば、オーバーヘッドカメラ）を設置して、上面からの角度で保管領域の画像を収集することができる。前記保管領域の画像内のゲームコインは、前記保管領域に置かれており、保管領域内のゲームコインの積み重ね方向は、図５に示す積み重ね方向に類似している（第２積み重ね方向とも呼ばれる）。ベッティング領域の画像内のゲームコインと保管領域の画像内のゲームコインの積み重ね方向は、異なる。

１例において、第１画像収集装置が収集した画像は、第１ゲームコイン認識ネットワークの訓練に使用され、当該第１ゲームコイン認識ネットワークは、ベッティング領域内の第１積み重ね方向に沿って積み重なれたゲームコインの額面または数量などを認識するために使用される。実際の実施において、当該第１画像収集装置は、ゲームテーブル左側と右側に設置されたカメラを含み得、この２つのカメラは左と右の２つの視角でゲームテーブル全体のすべての領域を撮影することができる。第２画像収集装置が収集した画像は、第２ゲームコイン認識ネットワークの訓練に使用され、当該第２ゲームコイン認識ネットワークは、保管領域内の第２積み重ね方向に沿って積み重なれたゲームコインの額面または数量など情報を認識するために使用される。実際の実施において、当該第２画像収集装置は、ゲームテーブルの上方に設置されたカメラを含み得、当該カメラは、バードビュー視角でゲームテーブル全体のすべての領域をカバーして撮影することができる。選択的に、他の例において、ゲームコイン認識ネットワークを利用して、保管領域内のゲームコインを認識することもできるし、ベッティング領域内のゲームコインを認識することもできる。

ゲームコイン認識ネットワークのネットワーク性能を向上させるために、収集したゲームテーブル上のゲームコインの画像をもっと豊富にすることができ、このようにして、豊富なサンプル画像とより広いカバー範囲は、訓練した認識ネットワークの一般化能力を向上させることができる。

いくつかの実施例において、Ｎ個の画像サブセットを収集することができる。ここで、各々の画像サブセットは、複数の画像を含み得、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの画像内の積み重ね物体は、異なる第１属性を有する。また、１つの画像サブセット中の画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである。

たとえば、Ｎ個の画像サブセット中の１つの画像サブセットを例とすると、当該画像サブセット中の複数の画像内の積み重ね物体を構成するゲームコインは、同一のタイプに属するが、この複数の画像内のゲームコインの額面は、互いに異なる、たとえば、ある画像内には、２元と５元の額面のゲームコインが含まれており、ある画像内には、５元、７元、および、１０元のゲームコインが含まれている。また、たとえば、２つの画像内のゲームコイン額面が、いずれも、５元、７元、および、１０元であってもよく、３種の額面のゲームコインの隣接関係が異なる可能性があるか、または、この３種の額面のゲームコインのそれぞれの数量が異なる可能性がある。

以下のように画像収集装置が収集した画像を示す。

たとえば、ゲームコインの属性は、ゲームコインの額面およびタイプを含み得るが、これらに限定されない。

例示的に、ゲームコインの額面は、０．５、２．５、５、１０、２５、５０、１００、５００、１０００、５０００、１００００などの様々な額面を含み得る。ゲームコインのタイプも、様々なタイプを含み得、たとえば、異なるゲーム場所で使用するゲームコインは互いに異なるタイプに属し、たとえば、１０数種類のタイプを含み得る。ここで、異なるタイプのゲームコインは、異なる数量と異なる額面のゲームコインを含み得、たとえば、１種のタイプのゲームコインは、１０、２５、５０、１００、５００、１０００、５０００、および、１００００のような８種の額面を含む。

以下、上述した様々な額面とタイプのゲームコインに基づいて、収集された保管領域またはベッティング領域に置かれたゲームコイン画像の豊富性をそれぞれ説明する。ベッティング領域または保管領域に関係なく、収集した画像セット中の画像の間で、含まれた積み重ね物品の物品情報が異なることができる。当該積み重ね物品の物品情報は、積み重ね物品の属性と積み重ね物品の積み重ね方式を含み得る。上記のように、前記積み重ね物品の属性は、当該積み重ね物品中のゲームコインの額面またはタイプであり得、前記積み重ね物品の積み重ね方式は、ゲームコインの積み重ね方向、積み重ね領域、積み重ね物体を構成するゲームコインとの間の隣接関係、および、積み重ね物体中のゲームコイン数量を含み得る。

ベッティング領域のゲームコイン画像の収集：
１例において、収集した画像セットは、第１画像サブセットを含み得、当該第１画像サブセットは、複数の第１画像を含み得る。異なる第１画像に含まれたゲームコインの第１属性は、同一であり、また、異なる第１画像内に含められたゲームコインの数量および／または位置している積み重ね領域は、互いに異なる。たとえば、第１属性がゲームコインの額面である例を挙げると、異なる第１画像内に含められたゲームコインの額面は、同一であるが、異なる第１画像内のゲームコインの数量および／または位置している積み重ね領域は、互いに異なる。

たとえば、収集した画像セット中の異なる画像を比較すると、これら異なる画像の間は、以下の様々な額面の混合方式を含み得る。額面の混合方式は、同一のタイプの異なる額面のゲームコインを使用して混合することができる。

Ａ、１種の額面の混合：たとえば、同一のタイプのゲームコインが、１０、２５、５０、１００、５００、１０００、５０００、および、１００００のような８種の額面を含むと仮定する。例示的に、当該第１画像サブセット中は、すべて同一のある種類の額面であり（たとえば、この８種の額面から、その中の１００を選択できる）、当該第１サブセット画像は、２０枚の第１画像を含み得、また、収集したのはベッティング領域の垂直に積み重ねられたゲームコインである。異なる第１画像に含まれたゲームコインの数量は、順に増加され、また、ゲームコインが位置するベッティング領域も異なっている。たとえば、第１画像サブセット中の第１枚の第１画像は、１個のゲームコインを含み、ゲームテーブル上のベッティング領域Ｚ１に位置しており、第１画像サブセット中の第２枚の第１画像は、２個のゲームコインを含み、ゲームテーブル上のベッティング領域Ｚ２に位置しており、第１画像サブセット中の第３枚の第１画像は、３個のゲームコインを含み、ゲームテーブル上のベッティング領域Ｚ３に位置している。

Ｂ、２種の額面の混合：たとえば、同一のタイプの８種の額面から２種の額面を任意に選択することができる。合計２８種の選択を実行することができ、たとえば、「１００および５００」、「１０および２５」などであり、もはや詳細にリストしない。その中の任意の１種の選択は、いずれも、第２画像サブセットを収集することができる。当該第２画像サブセットは、複数の第２画像を含み、各第２画像内のゲームコインがいずれも同一の２種の額面を含むが、各額面のゲームコインの数量および／または積み重ね領域が互いに異なる、１バッチの第２画像を含む。２種の額面の組み合わせが「１００／５００」である例を挙げる。

第２画像ｐ１：ゲームデスクトップから開始して下から上に、積み重ねられたゲームコインを見ると、１つの５００額面のゲームコインが最下に置かれ、すなわちゲームデスクトップに置かれ、次に、その上に１９個の１００額面のゲームコインが積み重ねられている。すなわち、このような積み重ね方式は、大きい額面のゲームコインが下に位置し、小さい額面のゲームコインが上に位置し、かつ、２種の額面のゲームコインの数量が合計２０個である方式を採用する。また、当該第２画像ｐ１内のゲームコインは、ベッティング領域Ｚ１に積み重ねられている。

第２画像ｐ２：２枚の５００額面のゲームコイン＋１８枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ２に位置している。

第２画像ｐ３：３枚の５００額面のゲームコイン＋１７枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ３に位置している。

第２画像ｐ４：４枚の５００額面のゲームコイン＋１６枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ４に位置している。
…

類推により、第２画像に１９枚の５００額面のゲームコイン＋１枚の１００額面のゲームコインが含まれており、もはや詳細にリストしない。

上述した２８種の選択の場合、各々の種の選択の中の２種の額面に対して、いずれも、上述した混合方式に従って画像収集を実行することができ、異なる第２画像内に含められる各額面のゲームコインが異なる積み重ね領域で異なる物品数量を有するようにする。

Ｃ、３種の額面の混合：同一のタイプの８種の額面の中から３種の額面を任意に選択し、合計５６種の選択を実行することができる。たとえば、「１００、５００、および、１０００」、「１０、２５、および、５０」など、もはや詳細にリストしない。その中の任意の種類の選択は、いずれも、複数の第３画像を含む第３画像サブセットを収集することができる。第３画像サブセット中の各第３画像内のゲームコインは、いずれも、同一の３種の額面を含むが、少なくとも１種の額面のゲームコインの数量および／または積み重ね領域が互いに異なる。３種の額面の組み合わせが「１００／５００／１０００」である例を挙げる。

第３画像Ｍ１：ゲームデスクトップから開始して下から上に、積み重ねられたゲームコインを見ると、大きい額面のゲームコインが下に位置し、小さい額面のゲームコインが上に位置しており、且つ、３種の額面のゲームコインの数量が合計２０個である。例示的に、第３画像Ｍ１には、１枚の１０００額面のゲームコイン＋１枚の５００額面のゲームコイン＋１８枚の１００額面のゲームコインが含まれており、当該第３画像Ｍ１内のゲームコインが、ベッティング領域Ｚ１に積み重ねられている。

第３画像Ｍ２：１枚の１０００額面のゲームコイン＋２枚の５００額面のゲームコイン＋１７枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ２に積み重ねられている。

第３画像Ｍ３：１枚の１０００額面のゲームコイン＋３枚の５００額面のゲームコイン＋１６枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ３に積み重ねられている。

第３画像Ｍ４：２枚の１０００額面のゲームコイン＋３枚の５００額面のゲームコイン＋１５枚の１００額面のゲームコインが含まれており、ベッティング領域Ｚ４に積み重ねられている。
…

他の組み合わせ方式は、もはや詳細にリストしない。要するに、異なる第３画像内に、少なくとも１種の額面のゲームコインの数量および／または位置している積み重ね領域が互いに異なる。

上記は、３種の額面、２種の額面などの混合方式の画像の例を挙げたが、さらに、４種の額面の混合、五種の額面の混合などがあり得、もはやリストしない。各種の混合方式は、１つの画像サブセットに対応され、当該画像サブセット中の異なる画像の間で、少なくとも１種の額面のゲームコインの数量、および／または、積み重ね領域が異なる。

なお、収集した画像セット（複数の画像サブセットを含む）中の異なる画像との間の区別は、さらに、異なる画像内に含められた積み重ね物体の中のゲームコインのタイプに対して、異なる混合方式を採用していることであり得る。タイプ混合方式は、同一の額面の異なるタイプのゲームコインを混合することができる。

タイプ混合方式は、上述した額面の混合方式と類似しており、以下、例を挙げて説明する。

たとえば、２種のタイプのゲームコインの混合：８種のタイプから同一の額面の２種のタイプを選択することができ、合計２８種の選択を実行できる。その中の任意の１種の選択は、いずれも、第４画像サブセットを収集することができる。当該第４画像サブセットは、複数の第４画像を含み、各第４画像内のゲームコインがいずれも同一の２種のタイプのゲームコインを含み、たとえば、タイプＸ１とタイプＸ２を含むが、この２種のタイプのゲームコインの数量および／または積み重ね領域が互いに異なる、１バッチの第２画像を含む。

第４画像Ｎ１：ゲームデスクトップから開始して下から上に、積み重ねられたゲームコインを見ると、１つのタイプＸ１のゲームコインが最下に置かれ、すなわちゲームデスクトップに置かれ、次に、その上に１９個のタイプＸ２のゲームコインが積み重ねられている。すなわちこのような積み重ね方式は、タイプＸ１のゲームコインが下に位置し、タイプＸ２のゲームコインが上に位置しており、且つ、２種のタイプの数量の合計が２０個である方式を採用する。当該第４画像Ｎ１内のゲームコインは、ベッティング領域Ｚ１に積み重ねられている。

第４画像Ｎ２：２枚のタイプＸ１のゲームコイン＋１８枚のタイプＸ２のゲームコインが含まれており、ベッティング領域Ｚ２に位置している。

第２画像Ｎ３：３枚のタイプＸ１のゲームコイン＋１７枚のタイプＸ２のゲームコインが含まれており、ベッティング領域Ｚ３に位置している。

第４画像Ｎ４：４枚のタイプＸ１のゲームコイン＋１６枚のタイプＸ２のゲームコインが含まれており、ベッティング領域Ｚ４に位置している。
…

類推により、直至第２画像に１９枚のタイプＸ１のゲームコイン＋１枚のタイプＸ２のゲームコインが含まれており、もはやリストしない。

保管領域のゲームコイン画像の収集：
収集した画像セット（複数の画像サブセットを含む）中の異なる画像の間の区別は、異なる画像の保管領域内のゲームコインの額面とタイプに対して、異なる混合方式を採用していることであってもよく、保管領域のゲームコインの混合方式は、ベッティング領域のゲームコインの混合方式と類似している。

以下のように、３種の額面の混合方式の例を挙げる。

保管領域内の３種の額面の混合方式は、複数の第５画像を含む第５画像サブセットに対応される。たとえば、その中の１枚の第５画像において、保管領域が複数あり、その中の１つの保管領域Ｃ１に、６０個のゲームコインを置くことができ、当該６０個のゲームコインは、３種の額面を含み、各々の種の額面のゲームコインは、２０個ある。

もう１枚の第５画像において、保管領域Ｃ１内に５５個のゲームコインを置き、保管領域Ｃ１と隣接する保管領域Ｃ２内に５個のゲームコインを置く。当該５個のゲームコインは、上述した６０個のゲームコインの中でランダムに選択して保管領域Ｃ２内に置いたものであり得る。

別の１枚の第５画像において、保管領域Ｃ１内に５３個のゲームコインを置き、保管領域Ｃ１と隣接する保管領域Ｃ２内に７個のゲームコインを置く。前記もう１つの第５画像と比較すると、保管領域Ｃ２に追加された２個のゲームコインは、上述した５５個のゲームコインの中からランダムに選択して保管領域Ｃ２内に置いたものであり得る。

その中の１枚の第５画像内の保管領域Ｃ１が空になり、保管領域Ｃ２内に６０個のゲームコインが置かれるまで、類推し、すなわち、保管領域Ｃ１内の６０個のゲームコインをすべて保管領域Ｃ２内に移される。次に、続けて、上述した移動方式に従って保管領域Ｃ２から保管領域Ｃ２と隣接する保管領域Ｃ３に移動させ、移動過程での複数の第５画像を得ることができる。異なる第５画像内のゲームコインは、同一の３種の額面を有するが、これら額面は、異なる保管領域において異なるゲームコイン数量を有する。

上記のように、収集された画像の豊富性を例示的に説明し、以上の混合方式により、異なる物品属性のゲームコインの収集された画像内でのバランスが取れているようにする。たとえば、大きい額面のゲームコインと小さい額面のゲームコインとが収集された画像セット中で現れた数量に大きな違いがない。また、たとえば、画像セット中に、さらに、様々な異なる額面のゲームコインの組み合わせ、または、異なるタイプのゲームコインの組み合わせが含まれ得る。

本発明の実施例のサンプル画像収集方法によって得られた画像は、画像内のゲームコインの物品情報の分布がより均等になり、また、画像内により全面的なデータが含まれる。たとえば上述した異なる額面または異なるタイプのゲームコインの画像がいずれも収集され、また、異なる額面または異なるタイプのゲームコインの数量に大きい違いがない。たとえば、「画像内の大きい額面のゲームコインの数量が、画像内でよく見える小さい額面のゲームコインの数量の１００分の１または１０００分の１である」こと、「いくつかの大きい額面と小さい額面のゲームコインのよく見えない組み合わせが、よく現れないかまたはぜんぜん現れない」ことなど問題が現れなくなる。

１例において、さらに、ゲームコイン情報の分布条件を設定し、すでに収集した画像セット中のゲームコイン情報の分布データを得ることができる。当該分布データが前記分布条件を満たさないと、続いて、欠落画像を収集する。当該欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり得、すなわち欠落した物品情報は、あらかじめ設定された分布条件に含まれているが、前記分布データに含まれていない。

たとえば、当該分布条件は、「その中の１種の額面のゲームコインの画像の数量が画像セットの合計画像の数量で占める比例が２％未満であるゲームコイン画像が存在しない」ことであり得る。そうすれば、１００額面のゲームコインの画像の数量が画像セット中の画像の合計数量で占める比例が１％であると、続いて、１００額面のゲームコインを含む画像を収集し、これら１００額面のゲームコインを含む画像が欠落画像である。

上述した前記欠落画像を収集した後に、当該欠落画像に対して品質選別を実行して、画像品質条件を満たす欠落画像を選択してサンプル画像とすることができる。

以下、どのように品質がより良い画像を選別してサンプル画像とするかを示す。収集された画像の中で、一部の画像の品質がより低い可能性があり、ゲームコイン認識ネットワークの訓練には適していない。たとえば、一部の画像内のゲームコインがユーザの手によって遮られるか、タイプまたは額面を認識するためのいくつかゲームコインの基本情報が遮られる可能性がある。このような遮られた画像を使用してネットワークを訓練すると、効果的な認識を実行することができない。したがって、ゲーム中で使用されるゲームコインの画像セットを収集した後、画像品質条件を利用して画像を選別することができ、品質がより良い画像を選択して訓練ゲームコイン認識ネットワークのサンプル画像とすることができる。

例を挙げると、画像を選別する方式は、まず、収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定し；画像内の検出フレームは、複数あり、たとえば一部の検出フレーム内には積み重ね物体が含まれ、一部の検出フレーム内には画像内の積み重ね物体以外の他の目標物体が含まれており、続いて、積み重ね物体の検出フレームと他の各々の目標物体（たとえば、当該目標物体はゲームに参加したユーザの手部であり得る）の検出フレームの交差比（ＩｏＵ、Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が第１所定の閾値未満である（たとえば、５０％）ことをそれぞれ確定されると、前記画像がゲームコイン認識ネットワークの訓練に適したサンプル画像であると確認することができる。このような選別方式は、なるべく、積み重ね物体の遮られた部分がより少ない画像を選択してサンプル画像とすることによって、積み重ね物体の遮られた部分のネットワーク訓練に対する影響を回避する。

もう１例において、積み重ね物体の検出フレームと他の各々の目標物体の検出フレームとの交差比が第１所定の閾値未満であると確定した後に、さらに、継続的に、第１検出フレームと第２検出フレームとの重畳領域の、積み重ね物体の積み重ね方向に垂直する方向における長さと、第１検出フレームの積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であると判断することができる。ここで、第１検出フレームは、前記積み重ね物体の検出フレームであって、前記第２検出フレームは、画像内の前記積み重ね物体以外の各他の目標物体の検出フレームである。例示的に、第２検出フレーム内の目標物体は、手部であり得、上述第１検出フレームと第２検出フレームとの重畳領域の、積み重ね物体の積み重ね方向に垂直する方向における長さは、手部によって遮られたゲームコインの幅を示すことができる。たとえば、当該画像内に一つの他の物体のみがあり、かつ、手部であると仮定する場合、手部によって遮られたゲームコインの幅が前記積み重ね物体の幅で占める比例が第２所定の閾値よりも低いと（たとえば、手部によってゲームコイン幅の５０％が遮られた）、当該画像をサンプル画像とすると確認する。

本発明の実施例のサンプル画像取得方法は、収集した画像に対して品質選別を実行することによって、収集した画像内に含まれているゲームコインが他の物体によって可能な限り遮られないようにし、画像品質がより高いため、当該サンプル画像で訓練したネットワークの性能の向上に役立つ。

図６は、本発明の例示的な１実施例によって提供されるサンプル画像取得装置の構成であり、当該装置は、本発明の任意の実施例のサンプル画像取得方法の実行に使用される。図６に示すように、当該装置は、画像収集モジュール６１と画像選別モジュール６２とを備え得る。

画像収集モジュール６１は、積み重ね物体の画像を収集し、ここで、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式の組み合わせを含む。

画像選別モジュール６２は、収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とする。

１例において、画像収集モジュール６１は、さらに、サンプル画像セット中のサンプル画像内の積み重ね物体の物品情報の分布データが所定の分布条件を満たさないことを確認するときに、欠落画像を収集し、前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含み、前記サンプル画像セットは、複数枚のサンプル画像を含む。

１例において、画像選別モジュール６２は、さらに、前記欠落画像が画像品質条件を満たす場合、前記欠落画像をサンプル画像とする。

１例において、前記積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み、前記積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値および前記各々の物体のタイプを含み、異なるサンプル画像内の積み重ね物体は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、積み重ね物体中の物体数量、積み重ね物体を構成する各々の物体によって表される価値、および、各物体のタイプの中の少なくとも１つが異なる。

１例において、画像収集モジュール６１は、Ｎ個の画像サブセットを収集し、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの画像内の積み重ね物体は、異なる第１属性を有することを含み、前記Ｎ個の画像サブセットの１つの画像サブセットの画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである。

１例において、画像収集モジュール６１は、積み重ね方向が積み重ね物体が置かれた表面に平行である場合、前記表面の上面からの視角で積み重ね物体の画像を収集する。

１例において、画像収集モジュール６１は、積み重ね方向が積み重ね物体が置かれた表面に垂直である場合、前記表面の側面からの視角で積み重ね物体の画像を収集する。

１例において、画像選別モジュール６２は、具体的に、収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定し、前記積み重ね物体以外の他の各目標物体に対して、前記積み重ね物体の検出フレームと当該目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定し、前記収集された画像をサンプル画像とする。

１例において、画像選別モジュール６２は、前記積み重ね物体の検索フレームと前記積み重ね物体以外の他の各目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定した後に、かつ、前記収集された画像をサンプル画像とする前に、さらに、前記積み重ね物体の検出フレームを第１検出フレームとして設定し、前記収集した画像の中の前記積み重ね物体以外の他の各目標物体に対して、当該目標物体の検出フレームを第２検出フレームとして設定し、前記第１検出フレームと前記第２検出フレームとの重畳領域の、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、前記第１検出フレームの、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であることを確定する。

本発明は、電子デバイスをさらに提供し、前記電子デバイスは、メモリとプロセッサとを備え、前記メモリは、前記プロセッサ上で実行できるコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、本発明の任意の実施例のサンプル画像取得方法を実現する。

本発明は、コンピュータプログラムが記憶されているコンピュータ可読記録媒体をさらに提供し、前記プログラムがプロセッサによって実行されるときに、本発明の任意の実施例に記載のサンプル画像取得方法が実現される。

当業者は、本発明の１つまたは複数の実施例は、方法、システム、または、コンピュータプログラム製品を提供することができることを了解すべきである。したがって、本発明の１つまたは複数の実施例は、ハードウェアの実施例、ソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせる実施例の形態を使用することができる。また、本発明の１つまたは複数の実施例は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記録媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態を使用することができる。

本明細書の実施例は、コンピュータ可読記録媒体をさらに提供し、当該コンピュータ可読記録媒体にはコンピュータプログラムが記憶されていてもよく、前記プログラムがプロセッサによって実行されるときに、本明細書の任意の実施例で説明したサンプル画像取得方法のステップが実現される。また、本発明の「および／または」という用語は、両者の中の１つを少なくとも有することを意味し、たとえば、「Ａおよび／またはＢ」は、Ａ、Ｂ、および、「ＡとＢ」のような３つの場合を含む。

本発明の各実施例は、いずれも、漸進的な方式を使用して叙述され、各実施例同士の間の同一または類似な部分は互いに参照することができ、各々の実施例では他の実施例との異なるところに焦点を合わせて説明した。特に、データ処理デバイスの実施例の場合、基本的に方法の実施例と類似であるため、相対的に簡単に叙述したが、関連するところは方法の実施例の部分の説明を参照すればよい。

上記で本発明の特定の実施例を叙述した。他の実施例は、添付する「特許請求の範囲」の範囲内にいる。いくつかの場合、特許請求の範囲に記載の行為またはステップは、実施例と異なる順序に従って実行されることができ、このときにも依然として期待する結果が実現されることができる。また、図面で描かれた過程は、期待する結果するために、必ずとしても、示された特定の順序または連続的な順序を必要としない。いくつかの実施形態において、マルチタスク処理および並列処理も可能であるか、または、有利であり得る。

本発明の主題および機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェアまたはファームウェア、本発明に開示される構成およびその構造的同等物を含むコンピュータハードウェア、または、それらの１つまたは複数の組み合わせで、実現されることができる。本発明の主題の実施例は、１つまたは複数のコンピュータプログラムとして実現されることができ、すなわち、有形の非一時的プログラムキャリア上に符号化されて、データ処理装置によって実行されるか、または、データ処理装置の操作を制御するための、コンピュータプログラム命令中の１つまたは複数のモジュールとして実現されることができる。代替的または追加的に、プログラム命令は、手動で生成される伝播信号上に符号化されることができ、例えば、機械によって生成される電気的、光学的、または電磁的信号に符号化されることができる。当該信号は、情報を符号化して適切な受信機装置に伝送して、データ処理装置によって実行されるようにするために、生成される。コンピュータ記録媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムにまたはシリアルアクセスメモリデバイス、または、それらの１つまたは複数の組み合わせであり得る。

本発明の処理と論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なコンピュータによって実行されることができ、入力データに基づいて操作を実行して出力を生成することによって該当する機能を実行する。前記処理と論理フローは、さらに、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（専用集積回路）などの専用論理回路によって実行されることができ、また、装置も専用論理回路として実現されることができる。

コンピュータプログラムの実行に適したコンピュータは、例えば、汎用、および／または、専用マイクロプロセッサ、または、いかなる他の種類の中央処理ユニットを含む。一般的に、中央処理ユニットは、読み取り専用メモリ、および／または、ランダムアクセスメモリから、命令とデータを受信することになる。コンピュータの基本コンポーネントは、命令を実施または実行するための中央処理ユニット、および、命令とデータを記憶するための１つまたは複数のメモリデバイスを含む。一般的に、コンピュータは、磁気ディスク、磁気光学ディスク、または、光ディスクなどの、データを記憶するための１つまたは複数の大容量記憶デバイスをさらに含むか、または、操作可能に当該大容量記憶デバイスと結合されてデータを受信するかまたはデータを伝送するか、または、その両方を兼有する。しかしながら、コンピュータは、必ずとして、このようなデバイスを有するわけではない。なお、コンピュータは、もう１デバイスに埋め込まれることができ、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオおプレーヤー、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）レジーバー、または、汎用シリアルバス（ＵＳＢ）フラッシュドライブなどのポータブル記憶デバイスに埋め込まれることができ、これらデバイスはいくつかの例に過ぎない。

コンピュータプログラム命令とデータの記憶に適したコンピュータ可読媒体は、すべての形態の不揮発性メモリ、媒介、および、メモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および、フラッシュデバイス）、磁気ディスク（例えば、内部ハードディスクまたは移動可能ディスク）、磁気光学ディスク、および、ＣＤ ＲＯＭ、および、ＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補完されるかまたは専用論理回路に組み込まれることができる。

本発明は、多くの具体的な実施の細部を含むが、これらを本発明の範囲または保護しようとする範囲を限定するものとして解釈すべきではなく、主に本発明のいくつかの実施例の特徴を叙述するために使用される。本発明の複数の実施例中の特定の特徴は、単一の実施例に組み合わせて実施されることもできる。他方、単一の実施例中の各種の特徴は、複数の実施例で別々に実施されるかまたはいかなる適切なサブ組み合わせで実施されることもできる。なお、特徴が上記のように特定の組み合わせで役割を果たし、また最初からこのように保護すると主張したが、保護すると主張した組み合わせからの１つまたは複数の特徴は、場合によって当該組み合わせから除外されることができ、また保護すると主張した組み合わせはサブ組み合わせまたはサブ組み合わせの変形に向けることができる。

類似的に、図面で特定の順序に従って操作を描いたが、これはこれら操作を示した特定の順序にしたがって実行するように要求するかまたは順次に実行するように要求するか、または、例示したすべての操作が実行されることによって期待する結果が実現されると要求することであると理解すべきではない。場合によっては、マルチタスクおよび並列処理が有利である可能性がある。なお、上記の実施例中の各種のシステムモジュールとコンポーネントの分離は、すべての実施例でいずれもこのように分離されなければならないと理解すべきではないし、また、叙述したプログラムコンポーネントとシステムは、一般的に、一緒に単一のソフトウェア製品に統合されるか、または、複数のソフトウェア製品にパッケージされることができることを理解すべきである。

したがって、主題の特定の実施例がすでに叙述された。他の実施例は、添付する「特許請求の範囲」の範囲内にある。場合によっては、特許請求の範囲に記載されている動作は、異なる順序によって実行されても、依然として期待する結果が実現されることができる。なお、図面で描かれた処理は、期待する結果を実現するために、必ずとして、示された特定の順序または順次を必要としない。一部の実現において、マルチタスクおよび並列処理が有利である可能性がある。

上記は、本明細書の１つまたは複数の実施例のより好ましい実施例に過ぎず、本明細書の１つまたは複数の実施例を限定するために使用されるものではない。本明細書の１つまたは複数の実施例の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも、本明細書の１つまたは複数の実施例が保護する範囲に含まれるべきである。

Claims (20)

1. サンプル画像取得方法であって、
   積み重ね物体の画像を収集することであって、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式を含むことと、
   収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とすることと、を含む
   ことを特徴とするサンプル画像取得方法。
2. 複数枚のサンプル画像を含むサンプル画像セット中のサンプル画像内の積み重ね物体の物品情報の分布データが所定の分布条件を満たさないことを確認することと、
   欠落画像を収集することと、をさらに含み、
   前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含む
   ことを特徴とする請求項１に記載のサンプル画像取得方法。
3. 前記欠落画像を収集した後に、前記サンプル画像取得方法は、
   前記欠落画像が画像品質条件を満たす場合、前記欠落画像をサンプル画像とすることをさらに含む
   ことを特徴とする請求項２に記載のサンプル画像取得方法。
4. 前記積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み、前記積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値および前記各々の物体のタイプを含み、
   異なるサンプル画像内の積み重ね物体は、
   積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、積み重ね物体中の物体数量、積み重ね物体を構成する各々の物体によって表される価値、および、各物体のタイプの中の少なくとも１つが異なる
   ことを特徴とする請求項１～３の中のいずれか１項に記載のサンプル画像取得方法。
5. 積み重ね物体の画像を収集することは、
   Ｎ個の画像サブセットを収集することであって、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの画像内の積み重ね物体は、異なる第１属性を有することを含み、
   前記Ｎ個の画像サブセットの１つの画像サブセットの画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである
   ことを特徴とする請求項４に記載のサンプル画像取得方法。
6. 積み重ね方向が積み重ね物体が置かれた表面に平行である場合積み重ね方向が積み重ね物体が置かれた表面に平行である場合、積み重ね物体の画像を収集することは、
   前記表面の上面からの視角で積み重ね物体の画像を収集することを含む
   ことを特徴とする請求項４に記載のサンプル画像取得方法。
7. 積み重ね方向が積み重ね物体が置かれた表面に垂直である場合積み重ね方向が積み重ね物体が置かれた表面に垂直である場合、積み重ね物体の画像を収集することは、
   前記表面の側面からの視角で積み重ね物体の画像を収集することを含む
   ことを特徴とする請求項４に記載のサンプル画像取得方法。
8. 収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とすることは、
   収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定することと、
   前記積み重ね物体以外の他の各目標物体に対して、前記積み重ね物体の検出フレームと当該目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定することと、
   前記収集された画像をサンプル画像とすることと、を含む
   ことを特徴とする請求項１～７の中のいずれか１項に記載のサンプル画像取得方法。
9. 前記積み重ね物体の検索フレームと前記積み重ね物体以外の他の各目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定した後に、かつ、前記収集された画像をサンプル画像とする前に、前記サンプル画像取得方法は、
   前記積み重ね物体の検出フレームを第１検出フレームとして設定し、前記収集した画像の中の前記積み重ね物体以外の他の各目標物体に対して、当該目標物体の検出フレームを第２検出フレームとして設定することと、
   前記第１検出フレームと前記第２検出フレームとの重畳領域の、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、前記第１検出フレームの、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であることを確定することとをさらに含む
   ことを特徴とする請求項８に記載のサンプル画像取得方法。
10. サンプル画像取得装置であって、
    積み重ね物体の画像を収集するための画像収集モジュールであって、異なる画像内の積み重ね物体は、異なる物品情報を有し、前記物品情報は、積み重ね物体の属性と積み重ね方式を含む画像収集モジュールと、
    収集された画像が画像品質条件を満たす場合、前記収集された画像をサンプル画像とするための画像選別モジュールと、を含む
    ことを特徴とするサンプル画像取得装置。
11. 前記画像収集モジュールは、さらに、サンプル画像セット中のサンプル画像内の積み重ね物体の物品情報の分布データが所定の分布条件を満たさないことを確認するときに、欠落画像を収集し、前記欠落画像は、前記分布データから欠落されている物品情報を有する積み重ね物体の画像であり、前記所定の分布条件は、前記欠落されている物品情報を含み、前記サンプル画像セットは、複数枚のサンプル画像を含む
    ことを特徴とする請求項１０に記載のサンプル画像取得装置。
12. 前記画像選別モジュールは、さらに、前記欠落画像が画像品質条件を満たす場合、前記欠落画像をサンプル画像とする
    ことを特徴とする請求項１１に記載のサンプル画像取得装置。
13. 前記積み重ね方式は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、および、前記積み重ね物体中の物体数量を含み、
    前記積み重ね物体の属性は、積み重ね物体を構成する各々の物体によって表される価値および前記各々の物体のタイプを含み、
    異なるサンプル画像内の積み重ね物体は、積み重ね方向、積み重ね領域、積み重ね物体を構成する物体同士の間の隣接関係、前記積み重ね物体中の物体数量、積み重ね物体を構成する各々の物体によって表される価値、および、各物体のタイプの中の少なくとも１つが異なる
    ことを特徴とする請求項１０～１２の中のいずれか１項に記載のサンプル画像取得装置。
14. 前記画像収集モジュールは、Ｎ個の画像サブセットを収集し、１つの画像サブセットの画像内の積み重ね物体は、同一の第１属性を有し、前記第１属性は、価値およびタイプの中の１つであり、Ｎは、自然数であり、異なる画像サブセットの各々の画像内の積み重ね物体は、異なる第１属性をし、前記Ｎ個の画像サブセットの１つの画像サブセットの画像内の積み重ね物体の属性は、第２属性のさまざまな可能な組み合わせを含み、積み重ね物体の属性は、前記積み重ね物体を構成する各々の物体の第２属性によって確定され、前記第２属性は、価値およびタイプの中の前記第１属性以外の１つである
    ことを特徴とする請求項１３に記載のサンプル画像取得装置。
15. 前記画像収集モジュールは、積み重ね方向が積み重ね物体が置かれた表面に平行である場合、前記表面の上面からの視角で積み重ね物体の画像を収集する
    ことを特徴とする請求項１３に記載のサンプル画像取得装置。
16. 前記画像収集モジュールは、積み重ね方向が積み重ね物体が置かれた表面に垂直である場合、前記表面の側面からの視角で積み重ね物体の画像を収集する
    ことを特徴とする請求項１３に記載のサンプル画像取得装置。
17. 前記画像選別モジュールは、具体的に、収集された画像内の各目標物体に対して、積み重ね物体を含む、当該目標物体の検出フレームを確定し、前記積み重ね物体以外の他の各目標物体に対して、前記積み重ね物体の検出フレームと当該目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定し、前記収集された画像をサンプル画像とする
    ことを特徴とする請求項１０～１６の中のいずれか１項に記載のサンプル画像取得装置。
18. 前記画像選別モジュールは、前記積み重ね物体の検索フレームと前記積み重ね物体以外の他の各目標物体の検出フレームとの交差比が第１所定の閾値未満であることをそれぞれ確定した後に、かつ、前記収集された画像をサンプル画像とする前に、さらに、
    前記積み重ね物体の検出フレームを第１検出フレームとして設定し、前記収集した画像の中の前記積み重ね物体以外の他の各目標物体に対して、当該目標物体の検出フレームを第２検出フレームとして設定し、
    前記第１検出フレームと前記第２検出フレームとの重畳領域の、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、前記第１検出フレームの、前記積み重ね物体の積み重ね方向に垂直する方向における長さと、の比率が、第２所定の閾値未満であることを確定する
    ことを特徴とする請求項１７に記載のサンプル画像取得装置。
19. 電子デバイスであって、
    前記電子デバイスは、メモリとプロセッサとを備え、
    前記メモリは、前記プロセッサ上で実行できるコンピュータ命令を記憶し、
    前記プロセッサは、前記コンピュータ命令が実行されるときに、請求項１乃至９の中のいずれか１項に記載の方法を実現する
    ことを特徴とする電子デバイス。
20. コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
    前記プログラムがプロセッサによって実行されるときに、請求項１乃至９の中のいずれか１項に記載の方法が実現される
    ことを特徴とする記録媒体。

Images