JP2019091339A - 画像収集装置、プログラム、及び方法 - Google Patents

Abstract

【課題】物体を識別するためのラベル情報が正しく対応付けられた、より多くの訓練画像を効率的に収集する。【解決手段】画像収集装置２は、ラベル特定装置４を物体８に接近させることで物体８のラベル情報を取得して物体８の種別を特定し、物体８のラベル情報の取得状況を撮影する少なくとも１台の撮影装置６が撮影した撮影画像の各々から、物体８のラベル情報が取得された瞬間の基準フレーム画像３０Ａを取得して、基準フレーム画像３０Ａから物体８が含まれる物体領域３２を推定し、物体８の種別、基準フレーム画像３０Ａ、及び基準フレーム画像３０Ａにおける物体８の物体領域３２をそれぞれ対応づけ、訓練画像として記憶装置に登録する。【選択図】図２

Description

本発明は、画像収集装置、プログラム、及び方法に係り、特に、物体識別に用いられる訓練画像を効率的に収集するための画像収集装置、プログラム、及び方法に関する。

画像に写り込む物体が、物体の識別のために事前に用意された画像、すなわち「訓練画像」に含まれる物体に該当するのか、或いは訓練画像に含まれる何れの物体にも該当しないのかを推定することで、画像に写り込む物体の種類を識別する物体識別技術は、画像をインタフェースとして物体の情報検索及び情報管理を実現する上で重要な要素技術であり、幅広い産業分野で用いられている。

例えば、ユーザがスマートフォン等で撮影した食品の商品パッケージの画像から商品を特定し、インターネット上のデータベースからアレルギー情報等の商品詳細情報を取得することができれば、商品パッケージに記載されている説明文の言語を母国語とないユーザであっても、容易にデータベースからユーザの母国語で記載された商品詳細情報を得ることができる。

そのため、訓練画像を予め学習し、物体の局所特徴量を用いて物体を識別する物体識別技術（例えば特許文献１参照）や、類似する物体であっても物体間の差異を示すキーポイント（「弁別的キーポイント」と呼ばれる）を用いて、精度よく物体を識別する物体識別技術（例えば非特許文献１参照）が提案されている。

特開２０１５−２０１１２３号公報

渡邉之人、入江豪、黒住隆行、杵渕哲也著、「弁別的キーポイントの選択に基づく類似物体群からの特定物体認識」、映像情報メディア学会誌、Vol.71、No.2、pp.J93-J100、2017

一方、特許文献１及び非特許文献１に示した物体識別技術で精度よく物体を識別するには、識別しようとする物体の撮影条件に近い訓練画像を予め準備しておく必要がある。例えば物体の撮影角度及び撮影距離の変化に伴う、撮影した画像内での物体の見え方の変化に対応するためには、図１１に示すように、物体を様々な方向及び距離で撮影した複数の訓練画像を予め準備しておかなければならない。

また、物体の訓練画像には、例えば図１２に示すように、当該訓練画像に含まれる物体の種別を一意に識別するための商品名や一般名詞といった情報（以降、「ラベル情報」という）を予め対応付けておく必要があるが、訓練画像に誤ったラベル情報が対応付けられた場合、物体の識別精度が低下することになる。

更に、訓練画像に対応付けられたラベル情報で表される物体と異なる物体が、ラベル情報で表される物体と共に訓練画像に含まれる場合、このままでは何れの物体がラベル情報で表される物体であるのかわからないため、物体の識別精度が低下することになる。したがって、この場合、例えば図１３に示すように、訓練画像からラベル情報で表される物体の位置情報（図１３の例では点線枠で示されている）を取得するといった事前作業が必要になることがある。

このように、訓練画像の準備には非常に手間を要するため、物体識別技術の導入及び維持管理に係るコストが増大する。

こうした問題を解決するため、これまでにも訓練画像を効率よく収集する手法が提案されている。例えば非特許文献２では、インターネット上で物体の名前（ラベル情報に相当）を検索することで、検索したラベル情報に対応した訓練画像を収集する手法が提案されている。

［非特許文献２］：Micheal Rubinstein, Armand Joulin, Johannes Kopf, Ce Liu. "Unsupervised Joint Object Discovery and Segmentation in internet Images" in CVPR, 2013

しかしながら、非特許文献２に示される手法では、例えば店舗でしか取り扱いがなくインターネットで流通していない物体、及び特殊な分野で使用される工業用部品等、インターネット上の記憶装置に蓄積されにくい物体の画像は取得し難くなり、訓練画像の画像量が不足する傾向が見られる。したがって、こうした物体の識別精度は低下する場合がある。

また、非特許文献３には、特定の物体の訓練画像を用いて物体の識別を実行した結果、推定対象の物体が当該訓練画像で表される物体であると推定された場合、推定対象の物体が含まれる画像を新たに訓練画像に追加することで、訓練画像を収集する手法が提案されている。

［非特許文献３］：出口大輔、道満恵介、井手一郎、村瀬洋著、「遡及型追跡に基づく標識画像の自動収集を用いた標識検出器の高精度化」、電子情報通信学会論文誌、Vol.J95-D、No.1、pp.76-84、2012

しかしながら、非特許文献３に示される手法は、訓練画像を用いた物体の識別に誤りが生じないという前提が置かれている。実際には物体を誤って識別する場合もあるため、非特許文献３に示される手法において物体が誤って識別されると、特定の物体の訓練画像に、異なる種類の物体の訓練画像が追加されることになる。以降、当該訓練画像を用いて物体の識別を実行した場合、連鎖的に特定の物体とは異なる種類の物体の訓練画像が追加されやすくなるため、こうした訓練画像を用いた場合、物体の識別精度が低下することになる。

本発明は、上記問題点を解決するために成されたものであり、物体を識別するためのラベル情報が正しく対応付けられた、より多くの訓練画像を効率的に収集することができる画像収集装置、プログラム、及び方法を提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像収集装置は、物体に接近させることで前記物体に付与された前記物体の種別を示すラベル情報を取得するラベル特定装置から前記物体のラベル情報を取得し、前記物体の種別を特定するラベル特定部と、前記ラベル特定装置を用いた前記物体のラベル情報の取得状況を撮影する少なくとも１台の撮影装置が撮影した撮影画像の各々から、前記ラベル特定部で前記物体の種別の特定に用いられた前記物体のラベル情報が取得された瞬間の基準フレーム画像を取得し、取得した前記基準フレーム画像から前記物体が含まれる物体領域を推定する物体領域推定部と、前記ラベル特定部で特定した前記物体の種別、前記物体領域推定部で前記物体の物体領域の推定に用いられた前記基準フレーム画像、及び前記物体領域推定部で推定された前記基準フレーム画像における前記物体の物体領域をそれぞれ対応づけ、訓練画像として記憶装置に登録する訓練画像登録部と、を備える。

また、第１の発明に係る画像収集装置は、前記撮影画像の各々から、前記物体領域推定部で取得された前記基準フレーム画像より前及び後の少なくとも一方の範囲で撮影された画像である隣接フレーム画像を時系列に沿って取得し、取得した前記隣接フレーム画像の各々から前記基準フレーム画像に含まれる前記物体を追跡し、前記物体が含まれる前記隣接フレーム画像の各々から前記物体が含まれる物体領域を推定する物体追跡部を更に備え、前記訓練画像登録部は、前記ラベル特定部で特定した前記物体の種別、前記物体追跡部で前記物体の物体領域の推定に用いられた前記隣接フレーム画像、及び前記物体追跡部で推定された前記隣接フレーム画像における前記物体の物体領域をそれぞれ対応付け、訓練画像として前記記憶装置に登録する。

また、第１の発明に係る画像収集装置は、前記撮影装置が撮影した撮影画像の前記基準フレーム画像の各々から、前記ラベル特定装置が含まれる装置領域を推定するラベル特定装置推定部を備え、前記物体領域推定部は、前記ラベル特定装置推定部で推定された前記ラベル特定装置の装置領域の位置に基づいて、前記基準フレーム画像から前記物体が含まれる物体領域を推定する。

また、第１の発明に係る画像収集装置において、前記ラベル特定部は、光又は電波を利用して前記物体のラベル情報を読み取る前記ラベル特定装置から前記物体のラベル情報を取得する。

第２の発明に係るプログラムは、コンピュータを、請求項１〜請求項４の何れか１項に記載の画像収集装置の各部として機能させる。

第３の発明に係る画像収集方法は、物体に接近させることで前記物体に付与された前記物体の種別を示すラベル情報を取得するラベル特定装置から前記物体のラベル情報を取得し、前記物体の種別を特定するステップと、前記ラベル特定装置を用いた前記物体のラベル情報の取得状況を撮影する少なくとも１台の撮影装置が撮影した撮影画像の各々から、前記物体の種別の特定に用いられた前記物体のラベル情報が取得された瞬間の基準フレーム画像を取得し、取得した前記基準フレーム画像から前記物体が含まれる物体領域を推定するステップと、前記特定された前記物体の種別、前記物体の物体領域の推定に用いられた前記基準フレーム画像、及び前記基準フレーム画像における前記物体の物体領域をそれぞれ対応づけ、訓練画像として記憶装置に登録するステップと、を含む。

また、第３の発明に係る画像収集方法は、前記撮影画像の各々から、前記基準フレーム画像より前及び後の少なくとも一方の範囲で撮影された画像である隣接フレーム画像を時系列に沿って取得し、取得した前記隣接フレーム画像の各々から前記基準フレーム画像に含まれる前記物体を追跡し、前記物体が含まれる前記隣接フレーム画像の各々から前記物体が含まれる物体領域を推定するステップと、前記特定された前記物体の種別、前記物体の物体領域の推定に用いられた前記隣接フレーム画像、及び前記隣接フレーム画像における前記物体の物体領域をそれぞれ対応付け、訓練画像として前記記憶装置に登録するステップと、を更に備える。

また、第３の発明に係る画像収集方法は、前記撮影装置が撮影した撮影画像の前記基準フレーム画像の各々から、前記ラベル特定装置が含まれる装置領域を推定するステップを備え、前記基準フレーム画像から前記物体が含まれる物体領域を推定するステップにおいて、推定された前記ラベル特定装置の装置領域の位置に基づいて、前記基準フレーム画像から前記物体が含まれる物体領域を推定する。

本発明の画像収集装置、プログラム、及び方法によれば、物体を識別するためのラベル情報が正しく対応付けられた、より多くの訓練画像を効率的に収集することができる、という効果が得られる。

画像収集システムの構成例を示す図である。 第１実施形態に係る画像収集装置の構成例を示す図である。 第１実施形態に係る画像収集ルーチンの流れの一例を示すフローチャートである。 手領域の位置から物体領域を推定する過程の一例を示す図である。 第２実施形態に係る画像収集装置の構成例を示す図である。 第２実施形態に係る画像収集ルーチンの流れの一例を示すフローチャートである。 隣接フレーム画像から訓練画像を収集する過程の一例を示す図である。 第３実施形態に係る画像収集装置の構成例を示す図である。 第３実施形態に係る画像収集ルーチンの流れの一例を示すフローチャートである。 装置領域から物体領域を推定する過程の一例を示す図である。 訓練画像の一例を示す図である。 ラベル情報を対応付けた訓練画像の一例を示す図である。 ラベル情報及び物体の位置情報を対応付けた訓練画像の一例を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、機能が同じ構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を省略するものとする。

＜第１実施形態＞
＜画像収集システムの構成＞
まず、図１を用いて、本発明に係る画像収集システム１の構成について説明する。

画像収集システム１は、画像収集装置２、ラベル特定装置４、及び撮影装置６を含み、物体８の訓練画像を収集する。

物体８には物体の種別を示すラベル情報が予め付与されており、ユーザが例えばラベル特定装置４に設けられた操作ボタンを押下したり、物体８にラベル特定装置４を予め定めた距離まで接近させたりすることで、ラベル特定装置４は、物体８に付与されたラベル情報を取得する。

具体的には、物体８にラベル情報を示すバーコードが付与されている場合、照射した光の反射光を用いてバーコードで示される物体８のラベル情報を読み取るバーコードリーダーがラベル特定装置４として用いられる。なお、ラベル情報を示すバーコードは、１次元バーコード及び２次元バーコードの何れであってもよい。

また、物体８にラベル情報を記憶した電子タグが付与されている場合、電波を利用して電子タグと通信を行い、電子タグに記憶された物体８のラベル情報を読み取るＲＦＩＤ(Radio Frequency IDentification)リーダーがラベル特定装置４として用いられる。なお、電子タグは、ＲＦタグ、ＩＣタグ、非接触タグ、又は無線タグと呼ばれることがあるが、ここでは「電子タグ」と称することにする。

ラベル特定装置４は画像収集装置２と接続され、ラベル特定装置４は取得したラベル情報を画像収集装置２に送信する。

撮影装置６は画像収集装置２と接続され、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況を撮影する。画像収集システム１で用いられる撮影装置６の台数に制約はなく、少なくとも１台の撮影装置６が含まれればよいが、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況が複数の方向から撮影できるように、複数の撮影装置６を用いる方が好ましい。図１の例では３台の撮影装置６が用いられ、それぞれ異なる方向から、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況を撮影している。物体８と各々の撮影装置６の距離が同じになるように撮影装置６を設置してもよいが、当該距離がそれぞれ異なるように各々の撮影装置６を設置してもよい。

なお、時系列に沿って画像を撮影することができれば撮影装置６の種類に制約はなく、例えばスマートフォンに内蔵されたカメラや、ウェブカメラ等の監視カメラを利用することができる。また、撮影装置６で撮影される画像は白黒画像であってもカラー画像であってもよいが、白黒画像よりカラー画像の方が物体８の色情報を含めて撮影することができるため、カラー画像で撮影可能な撮影装置６を用いる方が好ましい。また、物体８が確認でき、かつ、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況が確認できる程度の解像度があれば、撮影装置６の解像度にも特に制約はないが、解像度が高くなるほど撮影画像が鮮明になることから解像度の高い撮影装置６を用いる方が好ましい。

＜第１実施形態に係る画像収集装置の構成＞
次に、画像収集装置２の構成について説明する。本発明の実施形態に係る画像収集装置２は、ＣＰＵと、ＲＡＭと、後述する画像収集ルーチンを実行するための画像収集プログラムや各種データを記憶したＲＯＭと、閾値等のデータを記憶する不揮発性メモリを含むコンピュータで構成することができる。画像収集装置２は、機能的には図２に示すように入力部１０と、演算部２０とを備えている。

入力部１０は、ラベル特定装置４で取得されたラベル情報を受け付けると共に、各々の撮影装置６で撮影された撮影画像を受け付け、演算部２０に通知する。

演算部２０は、ラベル特定部２２、物体領域推定部２４、訓練画像登録部２６、及び訓練画像記憶部２８を含んで構成される。

ラベル特定部２２は、ラベル特定装置４で取得されたラベル情報を受け付けると、受け付けたラベル情報を解析して物体８の種別を特定する。そして、ラベル特定部２２は、特定した物体８の種別を訓練画像登録部２６に通知する。一方、ラベル特定部２２は、物体領域推定部２４に対して処理開始命令を通知する。

物体領域推定部２４は、ラベル特定部２２から処理開始命令を受け付けると、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況を撮影した撮影装置６の撮影画像の各々から、ラベル特定部２２で物体８の種別の特定に用いられた物体８のラベル情報が取得された瞬間の画像（以降、「基準フレーム画像３０Ａ」という）を取得する。そして、物体領域推定部２４は、取得した各々の基準フレーム画像３０Ａから、ラベル特定部２２で種別が特定された物体８が含まれる物体領域３２を推定する。

物体領域推定部２４は、物体領域３２の推定に用いた各々の基準フレーム画像３０Ａ、及び各々の基準フレーム画像３０Ａから推定した物体８の物体領域３２の位置情報を、訓練画像登録部２６に通知する。

訓練画像登録部２６は、物体領域推定部２４から基準フレーム画像３０Ａ及び物体領域３２の位置情報を受け付けると共に、ラベル特定部２２から物体８の種別を受け付けると、ラベル特定部２２で特定された物体８の種別、物体領域推定部２４で物体領域３２の推定に用いられた基準フレーム画像３０Ａ、及び基準フレーム画像３０Ａにおける物体８の物体領域３２を基準フレーム画像３０Ａ毎に対応付ける。そして、訓練画像登録部２６は、物体８の種別及び物体領域３２が対応付けられた各々の基準フレーム画像３０Ａを、それぞれ訓練画像として訓練画像記憶部２８に記憶することで、訓練画像記憶部２８に訓練画像を登録する。

訓練画像記憶部２８は、訓練画像記憶部２８に供給される電力が遮断されても記憶した情報を維持する記憶部の一例であり、例えば半導体メモリ又はハードディスクが用いられる。

＜第１実施形態に係る画像収集装置の作用＞
次に、本実施形態に係る画像収集装置２の作用について説明する。入力部１０において、物体８のラベル情報を受け付けると、画像収集装置２は、図３に示す画像収集ルーチンを実行する。なお、入力部１０は、各撮影装置６で撮影された撮影画像を常時受け付け、撮影装置６毎に撮影画像をＲＡＭに記憶するものとする。

まず、ステップＳ１０において、ＣＰＵは、入力部１０で受け付けたラベル特定装置４からのラベル情報を取得して、取得したラベル情報をＲＡＭに記憶する。

ステップＳ２０において、ＣＰＵは、ステップＳ１０でＲＡＭに記憶したラベル情報を解析して、ラベル情報によって示される物体８の種別を特定する。具体的には、ＣＰＵは、ラベル情報と物体８の種別を対応付けた種別テーブルを参照することで、ラベル情報によって示される物体８の種別を特定する。なお、種別テーブルは、例えば画像収集装置２に実装される不揮発性メモリに予め記憶しておき、これを参照してもよいが、インターネットに接続された種別テーブルを記憶するデータベースを参照して、ラベル情報によって示される物体８の種別を特定してもよい。

ステップＳ３０において、ＣＰＵは、入力部１０で受け付けた各撮影装置６の撮影画像をＲＡＭから取得する。

撮影画像は時系列に沿った複数のフレーム画像で構成されているため、ステップＳ４０において、ＣＰＵは、ステップＳ３０で取得した撮影装置６毎の撮影画像から、それぞれ基準フレーム画像３０Ａを取得する。具体的には、ＣＰＵは、ステップＳ１０でラベル情報を取得した際に撮影された画像を、基準フレーム画像３０Ａとして撮影画像から抽出する。撮影画像に含まれる各々のフレーム画像に時刻情報が付与されている場合には、当該時刻情報を参照して、ステップＳ１０でラベル情報を取得した時刻に対応する時刻情報が付与されているフレーム画像を、基準フレーム画像３０Ａとして取得するようにしてもよい。

ステップＳ５０において、ＣＰＵは、ステップＳ４０で取得したそれぞれの基準フレーム画像３０Ａに対して、ステップＳ２０で種別が特定された物体８が含まれる物体領域３２を推定する。この際、物体領域３２の推定手法には、公知の手法を用いることができる。

例えば各々の撮影装置６の設置場所及び撮影方向が固定され、撮影装置６の撮影範囲が変わらない場合には、物体８が写っていない背景画像だけを撮影装置６毎に予め撮影して、画像収集装置２の不揮発性メモリ等に予め記憶しておき、撮影装置６毎に基準フレーム画像３０Ａと背景画像の差分を算出することで、基準フレーム画像３０Ａから物体領域３２を推定するようにしてもよい。

また、例えばスーパーやコンビニエンスストアのレジにおける商品決済時のように、ユーザが物体８（この場合、商品）を手に持った状態でラベル特定装置４を物体８に近づけ、物体８の価格及び品名を含んだラベル情報を取得する場合には、まず基準フレーム画像３０Ａから物体８をつかむユーザの手領域を抽出し、抽出した手領域の位置から物体８が含まれる物体領域３２を推定するようにしてもよい（例えば非特許文献４参照）。

［非特許文献４］：Xiaolong Zhu, Wei Liu, Xuhui Jia ,Kwan-Yee K.Wong. "A Two-stage Detector for Hand Detection in Ego-centric Videos" in WACV, 2016

図４は、基準フレーム画像３０Ａからユーザの手領域３１を抽出し、抽出した手領域３１の位置から物体領域３２を推定する過程の一例を示す図である。

画像収集装置２は、各々の撮影装置６で撮影された基準フレーム画像３０Ａ毎に手領域３１を抽出する。

ここで、ｉ（この場合、ｉ＝１〜３）番目の撮影装置６で撮影された基準フレーム画像３０Ａから抽出された手領域３１の中心座標を^ｃ_iとする。また、物体８を手に持った場合の物体８の中心座標（すなわち、物体領域３２の中心座標）は、手領域３１の中心座標^ｃ_iからずれた位置となるため、予め様々な物体８を持った手が含まれる基準フレーム画像３０Ａを用いて、物体領域３２の中心座標^ｘ^' _iと手領域３１の中心座標^ｃ_iのずれ量の平均値を実験的に求めた値をオフセット量^ｂ_iとして記憶しておけば、各基準フレーム画像３０Ａにおける物体領域３２の中心座標^ｘ^' _iは（１）式で表される。

（数１）
^ｘ^'i=^ｃ_i＋^ｂ_i ・・・（１）

また、予め様々な物体８を持った手が含まれる基準フレーム画像３０Ａを用いて、実験的に求めた物体領域３２の幅の平均値をｗ_i、物体領域３２の高さの平均値をｈ_iとして記憶しておけば、図４に示すように、各基準フレーム画像３０Ａにおける物体領域３２の範囲は、座標^ｘ^' _iを中心とした幅ｗ_i、高さｈ_iの矩形によって表される。

なお、基準フレーム画像３０Ａからは左右の手に対応する２つの手領域３１が抽出されることになる。しかし、ユーザは予め定めた一方の手で物体８をつかむとの条件を定めておけば、ＣＰＵは物体領域３２の中心座標^ｘ^' _iを推定する際、何れの手領域３１の中心座標^ｃ_iを用いればよいかを判断することができる。

また、物体領域３２の形状は矩形に限られず、例えば円、楕円、多角形等の他の形状を用いて物体領域３２を表すようにしてもよい。

ステップＳ６０において、ＣＰＵは、ステップＳ５０で物体領域３２の推定に用いられた基準フレーム画像３０Ａに対して、ステップＳ２０で特定された物体領域３２に含まれる物体８の種別と、基準フレーム画像３０Ａにおける物体領域３２の位置情報、すなわち、物体領域３２の中心座標^ｘ^' _i、幅ｗ_i、及び高さｈ_iとを、基準フレーム画像３０Ａ毎に対応付ける。そして、ＣＰＵは、物体８の種別及び物体領域３２の位置情報が対応付けられた基準フレーム画像３０Ａ、すなわち、訓練画像の各々を、例えば画像収集装置２に実装される不揮発性メモリに記憶する。

なお、訓練画像の記憶先に制約はなく、例えばインターネットに接続されたデータベースに訓練画像を記憶するようにしてもよい。

以上により、図３に示した画像収集ルーチンを終了する。

このように本実施形態に係る画像収集装置２によれば、ユーザがラベル特定装置４で物体８のラベル情報を取得する瞬間の基準フレーム画像３０Ａに対して、物体８のラベル情報から得られた物体８の種別と、基準フレーム画像３０Ａから推定された物体領域３２を対応付けて訓練画像とする。

バーコードリーダーやＲＦＩＤリーダーのように、光や電波を利用してラベル情報を読み取るラベル特定装置４は、例えば物体８の決済手段及び検品手段として用いられることからもわかるように、他の手法に比べてラベル情報の読み取りミスが低い。したがって、ラベル特定装置４から取得したラベル情報を用いて物体８の種別を特定する場合、例えば物体を撮影した撮影画像に対して画像認識を行うことで物体８の種別を特定する場合と比較して、物体８の種別に対する誤認識率が低くなる。

すなわち、画像収集装置２では、画像認識を用いて物体８の種別を特定する場合と比較して、訓練画像に正しい物体８の種別を対応付けることができる。

また、画像収集装置２は、ユーザがラベル特定装置４で物体８のラベル情報を取得する瞬間の画像である基準フレーム画像３０Ａを訓練画像として用いるため、ラベル情報を用いて特定した種別の物体８が、基準フレーム画像３０Ａに含まれる物体８であることが保証される。

更に、ユーザがラベル特定装置４を用いて物体８のラベル情報を取得する状況を複数の撮影装置６で撮影することで、１度のラベル情報の取得作業によって、様々な方向及び距離で撮影した複数の訓練画像が得られるため、より多くの訓練画像を効率的に収集することができる。

＜第２実施形態＞
第１実施形態に係る画像収集装置２は、ユーザがラベル特定装置４で物体８のラベル情報を取得する瞬間の画像である基準フレーム画像３０Ａを訓練画像として用いた。しかしながら、撮影装置６で撮影した撮影画像のうち、物体８が含まれている画像は基準フレーム画像３０Ａに限られない。

したがって、第２実施形態では、基準フレーム画像３０Ａを基準として、基準フレーム画像３０Ａより前及び後の少なくとも一方の範囲で撮影された画像である隣接フレーム画像のうち、物体８が含まれる隣接フレーム画像も訓練画像として収集する画像収集装置２Ａについて説明する。

なお、画像収集装置２Ａを含む画像収集システム１の構成は、図１と同じ構成が用いられる。

＜第２実施形態に係る画像収集装置の構成＞
図５は、画像収集装置２Ａの構成例を示す図である。

図５に示す画像収集装置２Ａの構成が、図２に示した画像収集装置２の構成と異なる点は、物体追跡部２５が追加され、訓練画像登録部２６が訓練画像登録部２６Ａに置き換えられた点である。

物体追跡部２５は、物体領域推定部２４から基準フレーム画像３０Ａ及び物体領域３２の位置情報を受け付けると、基準フレーム画像３０Ａに隣接するフレーム画像から時系列に沿ってフレーム画像を順次取得し、時系列に沿った各フレーム画像、すなわち、隣接フレーム画像の各々に対して、物体領域推定部２４から受け付けた物体領域３２に含まれる物体８と同じ物体８が含まれているか否かを判定する物体追跡を行う。なお、物体追跡部２５は、物体追跡によって物体８が含まれると判定した隣接フレーム画像に対して、物体領域３２の推定を行う。

そして、物体追跡部２５は、物体領域推定部２４から受け付けた物体領域３２に含まれる物体８と同じ物体８が含まれている隣接フレーム画像に、当該隣接フレーム画像から推定した物体８の物体領域３２の位置情報を付加して訓練画像登録部２６Ａに通知する。また、物体追跡部２５は、物体領域推定部２４から受け付けた基準フレーム画像３０Ａ及び基準フレーム画像３０Ａにおける物体領域３２の位置情報を訓練画像登録部２６Ａに通知する。

なお、物体追跡部２５は、撮影装置６が複数存在するために基準フレーム画像３０Ａを複数受け付けた場合、各基準フレーム画像３０Ａに対応するそれぞれの撮影装置６で撮影された撮影画像から隣接フレーム画像を取得して物体追跡を行う。

訓練画像登録部２６Ａは訓練画像登録部２６と同様に、物体追跡部２５から基準フレーム画像３０Ａ及び基準フレーム画像３０Ａにおける物体領域３２の位置情報を受け付けると共に、ラベル特定部２２から物体８の種別を受け付けると、ラベル特定部２２で特定された物体８の種別、物体領域推定部２４で物体領域３２の推定に用いられた基準フレーム画像３０Ａ、及び基準フレーム画像３０Ａにおける物体８の物体領域３２を基準フレーム画像３０Ａ毎に対応付ける。

また、訓練画像登録部２６Ａは、物体追跡部２５から隣接フレーム画像及び隣接フレーム画像における物体領域３２の位置情報を受け付けると共に、ラベル特定部２２から物体８の種別を受け付けると、ラベル特定部２２で特定された物体８の種別、物体追跡部２５で物体８が含まれると判定された隣接フレーム画像、及び物体８が含まれると判定された隣接フレーム画像における物体８の物体領域３２を隣接フレーム画像毎に対応付ける。そして、訓練画像登録部２６Ａは、物体８の種別及び物体領域３２が対応付けられた各々の基準フレーム画像３０Ａ及び各々の隣接フレーム画像を、それぞれ訓練画像として訓練画像記憶部２８に記憶する。

＜第２実施形態に係る画像収集装置の作用＞
次に、本実施形態に係る画像収集装置２Ａの作用について説明する。入力部１０において、物体８のラベル情報を受け付けると、画像収集装置２Ａは、図６に示す画像収集ルーチンを実行する。なお、入力部１０は、各撮影装置６で撮影された撮影画像を常時受け付け、撮影装置６毎に撮影画像をＲＡＭに記憶するものとする。したがって、ＲＡＭには物体８のラベル情報を受け付ける前の撮影画像、及び物体８のラベル情報を受け付けた後の撮影画像が記憶されている。

図６に示す画像収集ルーチンが図３に示した画像収集装置２の画像収集ルーチンと異なる点は、ステップＳ５２〜Ｓ５８が新たに追加され、ステップＳ６０がステップＳ６０Ａに置き換えられた点である。

ステップＳ５０で、基準フレーム画像３０Ａに対してステップＳ２０で種別が特定された物体８が含まれる物体領域３２が推定されるとステップＳ５２が実行される。

ステップＳ５２において、ＣＰＵは、物体領域３２が推定された基準フレーム画像３０Ａのうち、何れか１つの基準フレーム画像３０Ａを選択し、選択した基準フレーム画像３０Ａが含まれる撮影画像から、時系列に従って基準フレーム画像３０Ａに隣接する隣接フレーム画像を１枚取得する。この際、ＣＰＵは、基準フレーム画像３０Ａが撮影された時刻より前に撮影された過去方向の時系列に沿って隣接フレーム画像を取得してもよいし、基準フレーム画像３０Ａが撮影された時刻より後に撮影された未来方向の時系列に沿って隣接フレーム画像を取得してもよい。ここでは一例として、過去方向の時系列に沿って隣接フレーム画像を取得するものとして説明を行う。

ステップＳ５４において、ＣＰＵは、ステップＳ５２で取得した隣接フレーム画像に、ステップＳ５０で推定した基準フレーム画像３０Ａの物体領域３２に含まれる物体８と同じ物体８が含まれるか否かを判定する物体追跡を行う。

隣接フレーム画像における物体追跡には、例えば非特許文献５に示すような公知の手法を用いることができる。

［非特許文献５］：Michael Isard, Andrew Blake. "CONDENSATION-Conditional Density Propagation for Visual Tracking" International Journal of Computer Vision, Vol29, No.1, pp.5-28, 1998

非特許文献５には、尤度を持つ多数の仮説群により離散的な確率密度として追跡対象（この場合、物体８）を表現し、状態遷移モデルを用いて物体８の動きの変動や観測のノイズに対して頑健な追跡を実現する手法が開示されている。したがって、隣接フレーム画像において、物体８が存在する確率である尤度が予め定めた閾値以上となった場合には、隣接フレーム画像に物体８が含まれると判定され、尤度が予め定めた閾値未満となった場合には、隣接フレーム画像には物体８が含まれないと判定される。

ＣＰＵは、隣接フレーム画像に物体８が含まれる場合、ステップＳ５０と同じ手法を用いて、隣接フレーム画像に対して物体８が含まれる物体領域３２を推定する。

ステップＳ５６において、ＣＰＵは、ステップＳ５２で取得した隣接フレーム画像に物体領域３２が含まれるか否かを判定する。隣接フレーム画像に物体領域３２が含まれる場合には、当該隣接フレーム画像に隣接する過去方向の時系列に沿った隣接フレーム画像にも物体８が含まれる可能性があるため、ステップＳ５２に移行する。

そして、ステップＳ５２において、直前に取得した隣接フレーム画像が含まれる撮影画像から、直前に取得した隣接フレーム画像と隣接する過去方向の時系列に沿った隣接フレーム画像を１枚取得する。以降、ステップＳ５６の判定処理において、ステップＳ５２で取得した隣接フレーム画像に物体領域３２が含まれていないと判定されるまで、ステップＳ５２〜Ｓ５６を繰り返し実行することで、基準フレーム画像３０Ａから過去方向に遡った範囲の隣接フレーム画像のうち、物体８が含まれている隣接フレーム画像と当該隣接フレーム画像における物体領域３２を取得することができる。

一方、ステップＳ５６の判定処理が否定判定の場合、すなわち、ステップＳ５２で取得した隣接フレーム画像に物体領域３２が含まれていないと判定された場合には、ステップＳ５８に移行する。

ステップＳ５８において、ＣＰＵは、物体領域３２が推定された基準フレーム画像３０Ａのうち、未選択の基準フレーム画像３０Ａが存在するか否かを判定する。未選択の基準フレーム画像３０Ａが存在する場合、ステップＳ５２に移行する。

そして、ステップＳ５２において、未選択の基準フレーム画像３０Ａの中から基準フレーム画像を１枚選択し、選択した基準フレーム画像３０Ａが含まれる撮影画像から、時系列に従って基準フレーム画像３０Ａに隣接する隣接フレーム画像を１枚取得する。以降、ステップＳ５８の判定処理で未選択の基準フレーム画像３０Ａが存在しないと判定されるまでステップＳ５２〜Ｓ５８を繰り返し実行することで、複数の撮影装置６で撮影された各々の撮影画像から、物体８が含まれている隣接フレーム画像と当該隣接フレーム画像における物体領域３２を取得することができる。

ステップＳ６０Ａにおいて、ＣＰＵは、ステップＳ５０で物体領域３２の推定に用いられた基準フレーム画像３０Ａに対して、ステップＳ２０で特定された物体領域３２に含まれる物体８の種別と、基準フレーム画像３０Ａにおける物体領域３２の位置情報とを、基準フレーム画像３０Ａ毎に対応付ける。また、ＣＰＵは、物体領域３２が含まれる隣接フレーム画像の各々に対して、ステップＳ２０で特定された物体領域３２に含まれる物体８の種別と、各隣接フレーム画像における物体領域３２の位置情報とを、隣接フレーム画像毎に対応付ける。

そして、ＣＰＵは、物体８の種別及び物体領域３２の位置情報が対応付けられた基準フレーム画像３０Ａ及び隣接フレーム画像の各々を訓練画像として、例えば画像収集装置２Ａに実装される不揮発性メモリに記憶する。

以上により、図６に示した画像収集ルーチンを終了する。

図６に示した画像収集ルーチンでは、基準フレーム画像３０Ａから過去方向に遡った範囲の隣接フレーム画像を用いて訓練画像を収集するか、基準フレーム画像３０Ａから未来方向に向かった範囲の隣接フレーム画像を用いて訓練画像を収集するかの何れかの例を示したが、基準フレーム画像３０Ａから過去方向に遡った範囲の隣接フレーム画像を用いて訓練画像を収集した後、更に、基準フレーム画像３０Ａから未来方向に向かった範囲の隣接フレーム画像を用いて訓練画像を収集するようにしてもよい。具体的には、図６のステップＳ５８の処理が終了した後、それまで隣接フレーム画像を取得した時系列の方向とは逆の方向に隣接フレーム画像を取得するようにして、ステップＳ５２〜Ｓ５８の処理を再度実行すればよい。

この場合、基準フレーム画像３０Ａを基準として未来方向又は過去方向の何れか１方向に沿った隣接フレーム画像から訓練画像を収集する場合と比較して、１つの撮影画像からより多くの訓練画像を効率よく収集することができる。

図７は、基準フレーム画像３０Ａを基準として未来方向及び過去方向の両方向に沿った隣接フレーム画像から訓練画像を収集する例を示す図である。図７では、基準フレーム画像３０Ａから過去方向の時系列に沿った隣接フレーム画像を「隣接フレーム画像３０Ｂ」で表し、基準フレーム画像３０Ａから未来方向の時系列に沿った隣接フレーム画像を「隣接フレーム画像３０Ｃ」で表している。また、隣接フレーム画像３０Ｂ、３０Ｃに続く符合「−ｎ（ｎ＝１〜３）」は、基準フレーム画像３０Ａからの時系列順を示しており、“ｎ”の値が大きくなるに従って、基準フレーム画像３０Ａからの時間間隔が大きいことを示している。

すなわち、隣接フレーム画像３０Ｂ−３→隣接フレーム画像３０Ｂ−２→隣接フレーム画像３０Ｂ−１→基準フレーム画像３０Ａ→隣接フレーム画像３０Ｃ−１→隣接フレーム画像３０Ｃ−２→隣接フレーム画像３０Ｃ−３の順に各画像が撮影されている。

図７の例では、隣接フレーム画像３０Ｂ−３及び隣接フレーム画像３０Ｃ−３に物体領域３２が存在しないため、隣接フレーム画像３０Ｂ−２、隣接フレーム画像３０Ｂ−１、基準フレーム画像３０Ａ、隣接フレーム画像３０Ｃ−１、及び隣接フレーム画像３０Ｃ−２が訓練画像として収集されることになる。

このように本実施形態に係る画像収集装置２Ａによれば、基準フレーム画像３０Ａだけでなく、基準フレーム画像３０Ａの未来方向及び過去方向の少なくとも一方の範囲で撮影された、物体８を含む隣接フレーム画像も訓練画像として収集することができる。したがって、基準フレーム画像３０Ａだけを訓練画像として収集する場合と比較して、１つの撮影画像からより多くの訓練画像を効率よく収集することができる。

＜第３実施形態＞
第１実施形態に係る画像収集装置２は、基準フレーム画像３０Ａからユーザの手領域３１を抽出し、抽出した手領域３１の位置から物体領域３２を推定した。しかしながら、基準フレーム画像３０Ａにおける物体領域３２は他の方法を用いても推定することができる。

したがって、第３実施形態では、基準フレーム画像３０Ａに含まれるラベル特定装置４の位置から物体領域３２を推定する画像収集装置２Ｂについて説明する。

なお、画像収集装置２Ｂを含む画像収集システム１の構成は、図１と同じ構成が用いられる。

＜第３実施形態に係る画像収集装置の構成＞
図８は、画像収集装置２Ｂの構成例を示す図である。

図８に示す画像収集装置２Ｂの構成が、図２に示した画像収集装置２の構成と異なる点は、ラベル特定装置推定部２３が追加され、物体領域推定部２４が物体領域推定部２４Ｂに置き換えられた点である。

ラベル特定部２２がラベル特定装置推定部２３に対して処理開始命令を通知すると、ラベル特定装置推定部２３は、撮影装置６で撮影された撮影画像の各々から、基準フレーム画像３０Ａを取得する。そして、ラベル特定装置推定部２３は、取得した各々の基準フレーム画像３０Ａから、ラベル特定装置４が含まれる装置領域３４を推定する。

そして、ラベル特定装置推定部２３は、推定した基準フレーム画像３０Ａ毎の装置領域３４の位置情報を、物体領域推定部２４Ｂに通知する。

物体領域推定部２４Ｂは、ラベル特定装置推定部２３から基準フレーム画像３０Ａ毎の装置領域３４の位置情報を受け付けると、装置領域３４の位置情報から物体８が含まれる物体領域３２を基準フレーム画像３０Ａ毎に推定する。

そして、物体領域推定部２４Ｂは、物体領域３２の推定に用いた各々の基準フレーム画像３０Ａ、及び各々の基準フレーム画像３０Ａから推定した物体８の物体領域３２の位置情報を、訓練画像登録部２６に通知する。

＜第３実施形態に係る画像収集装置の作用＞
次に、本実施形態に係る画像収集装置２Ｂの作用について説明する。入力部１０において、物体８のラベル情報を受け付けると、画像収集装置２Ｂは、図９に示す画像収集ルーチンを実行する。

図９に示す画像収集ルーチンが図３に示した画像収集装置２の画像収集ルーチンと異なる点は、ステップＳ４２が新たに追加され、ステップＳ５０がステップＳ５０Ａに置き換えられた点である。

ステップＳ４０で、各々の撮影画像からそれぞれ基準フレーム画像３０Ａが取得されるとステップＳ４２が実行される。

ステップＳ４２において、ＣＰＵは、ステップＳ４０で取得された基準フレーム画像３０Ａの各々から、ラベル特定装置４が含まれる装置領域３４を推定する。この際、装置領域３４の推定手法には、公知の手法を用いることができる。

例えばラベル特定装置４を様々な方向及び距離で撮影したラベル特定装置４の訓練画像を予め準備しておき、特許文献１に示した物体識別技術を用いて、各々の基準フレーム画像３０Ａからラベル特定装置４を含む装置領域３４を推定してもよい。

ステップＳ５０Ａにおいて、ＣＰＵは、ステップＳ４２で推定したそれぞれの基準フレーム画像３０Ａにおける装置領域３４の位置情報に基づいて、ステップＳ２０で種別が特定された物体８が含まれる物体領域３２を推定する。装置領域３４から物体領域３２を推定する際には、公知の推定手法を用いることができる。

例えば物体８のラベル情報を取得する場合、ユーザはラベル特定装置４を物体８に近づける動作を行うため、ラベル特定装置４の近傍に物体８が存在する場合が多い。

したがって、ユーザがラベル特定装置４を物体８に近づけてラベル情報を取得しようとした場合のラベル特定装置４に対する物体８の相対位置、及び物体８の平均的な大きさ（すなわち、物体領域３２の大きさ）を、予め実験によって各撮影装置６における基準フレーム画像３０Ａ毎に統計的に求めておく。そして、図１０に示すように、装置領域３４を予め求めておいた物体８の相対位置に基づいて移動させると共に、予め求めておいた物体領域３２の大きさまで装置領域３４を拡大又は縮小することで、各撮影装置６における基準フレーム画像３０Ａ毎に物体領域３２を推定することができる。

なお、非特許文献６に記載された手法を用いて、装置領域３４を移動、拡大、及び縮小することで、物体領域３２を推定するようにしてもよい。

［非特許文献６］：Carstern Rother, Vladimir Kolmogorov, Andrew Blake. "GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts" in SIGGRAPH, 2014

後は、既に説明したステップＳ６０において、ステップＳ５０Ａで物体領域３２の推定に用いられた基準フレーム画像３０Ａに対して、ステップＳ２０で特定された物体領域３２に含まれる物体８の種別と、基準フレーム画像３０Ａにおける物体領域３２の位置情報とを、基準フレーム画像３０Ａ毎に対応付けて、訓練画像とすればよい

このように本実施形態に係る画像収集装置２Ｂによれば、基準フレーム画像３０Ａからユーザの手領域３１を推定する代わりに、ラベル特定装置４が含まれる装置領域３４を推定し、推定した装置領域３４に基づいて物体８が含まれる物体領域３２を推定する。

手の形状は様々に変化するがラベル特定装置４の形状は不変であるため、手領域３１の推定精度より装置領域３４の推定精度の方が高くなる場合がある。したがって、装置領域３４の推定精度の向上に伴って、物体領域３２の推定精度を向上させることができる。

なお、ここでは基準フレーム画像３０Ａから装置領域３４を推定した上で、物体領域３２を推定する例について説明したが、隣接フレーム画像から物体領域３２を推定する場合にも適用できることは言うまでもない。

本発明は、上述した各実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した各実施形態では、画像収集ルーチンをソフトウエアで実現する例について示したが、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエアを用いて実現してもよい。

また、上述した各実施形態では、画像収集プログラムがＲＯＭにインストールされている形態について説明したが、これに限定されるものではない。本発明に係る画像収集プログラムは、コンピュータ読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る画像収集プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、又はＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る画像収集プログラムを、ＵＳＢ(Universal Serial Bus)メモリ及びフラッシュメモリ等の半導体メモリに記録した形態で提供してもよい。更に、画像収集装置がインターネット等の通信回線に接続される場合、通信回線に接続されたサーバ等の端末装置から、本発明に係る画像収集プログラムを取得するようにしてもよい。

１・・・画像収集システム
２（２Ａ、２Ｂ）・・・画像収集装置
４・・・ラベル特定装置
６・・・撮影装置
８・・・物体
１０・・・入力部
２０・・・演算部
２２・・・ラベル特定部
２３・・・ラベル特定装置推定部
２４（２４Ｂ）・・・物体領域推定部
２５・・・物体追跡部
２６（２６Ａ）・・・訓練画像登録部
２８・・・訓練画像記憶部
３０Ａ・・・基準フレーム画像
３０Ｂ（３０Ｃ）・・・隣接フレーム画像
３１・・・手領域
３２・・・物体領域
３４・・・装置領域

Claims (8)

1. 物体に接近させることで前記物体に付与された前記物体の種別を示すラベル情報を取得するラベル特定装置から前記物体のラベル情報を取得し、前記物体の種別を特定するラベル特定部と、
   前記ラベル特定装置を用いた前記物体のラベル情報の取得状況を撮影する少なくとも１台の撮影装置が撮影した撮影画像の各々から、前記ラベル特定部で前記物体の種別の特定に用いられた前記物体のラベル情報が取得された瞬間の基準フレーム画像を取得し、取得した前記基準フレーム画像から前記物体が含まれる物体領域を推定する物体領域推定部と、
   前記ラベル特定部で特定した前記物体の種別、前記物体領域推定部で前記物体の物体領域の推定に用いられた前記基準フレーム画像、及び前記物体領域推定部で推定された前記基準フレーム画像における前記物体の物体領域をそれぞれ対応づけ、訓練画像として記憶装置に登録する訓練画像登録部と、
   を備えた画像収集装置。
2. 前記撮影画像の各々から、前記物体領域推定部で取得された前記基準フレーム画像より前及び後の少なくとも一方の範囲で撮影された画像である隣接フレーム画像を時系列に沿って取得し、取得した前記隣接フレーム画像の各々から前記基準フレーム画像に含まれる前記物体を追跡し、前記物体が含まれる前記隣接フレーム画像の各々から前記物体が含まれる物体領域を推定する物体追跡部を更に備え、
   前記訓練画像登録部は、前記ラベル特定部で特定した前記物体の種別、前記物体追跡部で前記物体の物体領域の推定に用いられた前記隣接フレーム画像、及び前記物体追跡部で推定された前記隣接フレーム画像における前記物体の物体領域をそれぞれ対応付け、訓練画像として前記記憶装置に登録する
   請求項１記載の画像収集装置。
3. 前記撮影装置が撮影した撮影画像の前記基準フレーム画像の各々から、前記ラベル特定装置が含まれる装置領域を推定するラベル特定装置推定部を備え、
   前記物体領域推定部は、前記ラベル特定装置推定部で推定された前記ラベル特定装置の装置領域の位置に基づいて、前記基準フレーム画像から前記物体が含まれる物体領域を推定する
   請求項１又は請求項２記載の画像収集装置。
4. 前記ラベル特定部は、光又は電波を利用して前記物体のラベル情報を読み取る前記ラベル特定装置から前記物体のラベル情報を取得する
   請求項１〜請求項３の何れか１項に記載の画像収集装置。
5. コンピュータを、請求項１〜請求項４の何れか１項に記載の画像収集装置の各部として機能させるためのプログラム。
6. 物体に接近させることで前記物体に付与された前記物体の種別を示すラベル情報を取得するラベル特定装置から前記物体のラベル情報を取得し、前記物体の種別を特定するステップと、
   前記ラベル特定装置を用いた前記物体のラベル情報の取得状況を撮影する少なくとも１台の撮影装置が撮影した撮影画像の各々から、前記物体の種別の特定に用いられた前記物体のラベル情報が取得された瞬間の基準フレーム画像を取得し、取得した前記基準フレーム画像から前記物体が含まれる物体領域を推定するステップと、
   前記特定された前記物体の種別、前記物体の物体領域の推定に用いられた前記基準フレーム画像、及び前記基準フレーム画像における前記物体の物体領域をそれぞれ対応づけ、訓練画像として記憶装置に登録するステップと、
   を含む画像収集方法。
7. 前記撮影画像の各々から、前記基準フレーム画像より前及び後の少なくとも一方の範囲で撮影された画像である隣接フレーム画像を時系列に沿って取得し、取得した前記隣接フレーム画像の各々から前記基準フレーム画像に含まれる前記物体を追跡し、前記物体が含まれる前記隣接フレーム画像の各々から前記物体が含まれる物体領域を推定するステップと、
   前記特定された前記物体の種別、前記物体の物体領域の推定に用いられた前記隣接フレーム画像、及び前記隣接フレーム画像における前記物体の物体領域をそれぞれ対応付け、訓練画像として前記記憶装置に登録するステップと、
   を更に備えた
   請求項６記載の画像収集方法。
8. 前記撮影装置が撮影した撮影画像の前記基準フレーム画像の各々から、前記ラベル特定装置が含まれる装置領域を推定するステップを備え、
   前記基準フレーム画像から前記物体が含まれる物体領域を推定するステップにおいて、推定された前記ラベル特定装置の装置領域の位置に基づいて、前記基準フレーム画像から前記物体が含まれる物体領域を推定する
   請求項６又は請求項７記載の画像収集方法。