JP2019185616A - 画像抽出装置、画像抽出方法及び画像抽出プログラム - Google Patents

Abstract

【課題】機械学習に適した画像を効率よく収集する。【解決手段】画像抽出装置１は、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するオブジェクト特定部１４２と、画像における、特定したオブジェクトの輪郭を示す輪郭領域を特定する輪郭領域特定部１４３と、画像における、特定したオブジェクトに対応する矩形領域を特定する矩形領域特定部１４４と、矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した非重複矩形領域を示す画像を、機械学習におけるオブジェクトの正例を示す正例画像として抽出する抽出部１４５とを備える。【選択図】図２

Description

本発明は、撮像装置が撮像した画像から機械学習に用いるオブジェクトを示す画像を抽出する画像抽出装置、画像抽出方法及び画像抽出プログラムに関する。

従来、店内等の所定エリアを行動する人物の動線を解析するにあたり、所定エリアを撮像した撮像画像から、人物を示すオブジェクトを認識することが行われている。オブジェクトの認識は、例えば、画像の入力に対して、当該画像がオブジェクトを示すか否かを分類する分類器により行われる（例えば、特許文献１を参照）。

特開２０１４−１３０５８３号公報

所定エリアにおけるオブジェクトの判定精度を高めるためには、オブジェクトを示す多くの画像を用いて分類器に予め学習させる必要がある。このため、所定エリアにおけるオブジェクトを示す画像を効率よく収集することが求められている。また、オブジェクトの正例を示す正例画像には、単一のオブジェクトのみが含まれていることが好ましい。

そこで、本発明はこれらの点に鑑みてなされたものであり、機械学習に適した画像を効率よく収集することができる画像抽出装置、画像抽出方法及び画像抽出プログラムを提供することを目的とする。

本発明の第１の態様に係る画像抽出装置は、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するオブジェクト特定部と、前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定する輪郭領域特定部と、前記画像における、特定した前記オブジェクトに対応する矩形領域を特定する矩形領域特定部と、前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出する抽出部と、を備える。

前記矩形領域特定部は、特定した前記オブジェクトの輪郭領域に基づいて、前記矩形領域を特定してもよい。
前記矩形領域特定部は、特定した前記オブジェクトの輪郭領域から、前記オブジェクトの輪郭を構成する点群を近似する矩形として矩形領域を特定してもよい。
前記矩形領域特定部は、前記オブジェクトの輪郭を構成する点群を内包する複数の矩形候補のうち、当該矩形の面積が相対的に小さい矩形領域を前記矩形領域として特定してもよい。

前記矩形領域特定部は、前記撮像装置が全方位画像を撮像する撮像装置である場合に、前記輪郭領域に対応する一点と、当該撮像装置が撮像した画像の中心との位置関係に基づいて、基準軸に対する前記矩形領域の回転成分を算出し、当該回転成分を有する矩形領域のうち、面積が相対的に小さい矩形領域を前記オブジェクトに対応する矩形領域として特定してもよい。

前記オブジェクト特定部は、前記所定エリアにおける一以上の前記オブジェクトのそれぞれの位置を示す位置情報を取得することにより前記オブジェクトを特定し、前記輪郭領域特定部は、前記所定エリアにおける前記位置情報が示す位置に前記オブジェクトに対応する三次元モデルを仮想的に配置した場合に前記撮像装置が撮像した画像に含まれる前記三次元モデルに対応する輪郭領域を特定してもよい。

前記画像抽出装置は、前記撮像装置が撮像する画像における複数の位置のそれぞれと、当該複数の位置のそれぞれに前記三次元モデルを仮想的に配置したときの前記輪郭領域を示す情報とを関連付けた位置別領域情報を記憶する記憶部を備え、前記輪郭領域特定部は、前記位置別領域情報を参照し、前記オブジェクト特定部が取得した位置情報が示す位置に関連付けられている輪郭領域を、当該三次元モデルの輪郭領域と特定してもよい。

前記画像抽出装置は、前記三次元モデルを構成する点群を示す点群情報と、前記撮像装置のキャリブレーションに関するパラメータとを記憶する記憶部を備え、前記輪郭領域特定部は、前記記憶部から当該点群情報と当該パラメータとを取得し、前記三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、前記撮像装置が撮像する画像上への投影点を算出し、当該投影点の点群を近似する多角形領域を、当該三次元モデルの輪郭領域として特定してもよい。

前記オブジェクト特定部は、前記撮像装置が撮像した第１画像に含まれる第１オブジェクトを特定するとともに、前記第１画像に含まれる一以上の第２オブジェクトを特定し、前記抽出部は、前記第１オブジェクトに対応する前記矩形領域と、前記一以上の第２オブジェクトのそれぞれに対応する前記輪郭領域との重複率が前記所定値以下である場合、前記第１オブジェクトに対応する前記矩形領域を前記非重複矩形領域に特定してもよい。

前記オブジェクト特定部は、前記撮像装置が撮像した第１画像に含まれる前記オブジェクトである第１オブジェクトを特定するとともに、前記第１画像よりも後に撮像された第２画像に含まれる前記オブジェクトである第２オブジェクトを特定し、前記抽出部は、前記第１画像と前記第２画像とを重ねた場合に、前記第１オブジェクトに対応する前記輪郭領域又は前記矩形領域のうち、前記第２オブジェクトに対応する前記輪郭領域又は前記矩形領域との重複率が前記所定値以下の前記非重複矩形領域を特定してもよい。

前記矩形領域特定部は、前記画像において、前記オブジェクトに対応しない矩形領域であって、特定した全ての前記オブジェクトの輪郭領域との重複率が所定値以下となる矩形領域である第２矩形領域を特定し、前記抽出部は、前記第２矩形領域を示す画像を、前記機械学習における前記オブジェクトの負例を示す負例画像として抽出してもよい。

前記抽出部は、特定した前記非重複矩形領域を示す画像を、入力された画像が前記オブジェクトを示しているか否かを判定する判定器に入力し、前記判定器により、当該画像が前記オブジェクトを示していると判定されると、当該画像を前記正例画像として抽出してもよい。

前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置に対応する位置との間の距離を算出し、当該距離に基づいて、前記非重複矩形領域を示す画像を前記正例画像として抽出するか否かを判定してもよい。

前記撮像装置は、全方位画像を撮像する撮像装置であり、前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置が撮像した画像の中心との距離を算出し、当該距離が第１距離よりも大きい場合、前記非重複矩形領域を示す画像を前記正例画像として抽出し、当該距離が前記第１距離以下である場合、前記非重複矩形領域を示す画像を前記正例画像として抽出しないように制御してもよい。

前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置が撮像した画像の中心との距離を算出し、当該距離が第２距離よりも小さい場合、前記非重複矩形領域を示す画像を前記正例画像として抽出し、当該距離が前記第２距離以上である場合、前記非重複矩形領域を示す画像を前記正例画像として抽出しないように制御してもよい。

本発明の第２の態様に係る画像抽出方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するステップと、前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定するステップと、前記画像における、特定した前記オブジェクトに対応する矩形領域を特定するステップと、前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出するステップと、を備える。

本発明の第３の態様に係る画像抽出プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するオブジェクト特定部、前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定する輪郭領域特定部、前記画像における、特定した前記オブジェクトに対応する矩形領域を特定する矩形領域特定部、及び、前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出する抽出部、として機能させる。

本発明によれば、機械学習に適した画像を効率よく収集することができるという効果を奏する。

第１実施形態に係る画像抽出装置の概要を示す図である。 第１実施形態に係る画像抽出装置の構成を示す図である。 第１実施形態に係る画像抽出装置における処理の流れを示すフローチャートである。 撮像時刻が最も古い画像が表示部に表示された例を示す図である。 図４に示す画像から特定されたオブジェクトの位置に配置された三次元モデルの輪郭領域を示す図である。 図５に示す複数の三次元モデルの輪郭領域のそれぞれに対して特定された矩形領域を示す図である。 撮像装置が撮像した画像から、非重複矩形領域に対応する画像を正例画像として抽出する例を示す図である。 図６に示す例に対して第２矩形領域が特定された例を示す図である。

＜第１実施形態＞
［画像抽出装置１の概要］
図１は、第１実施形態に係る画像抽出装置１の概要を示す図である。画像抽出装置１は、撮像装置が撮像した画像から機械学習に用いるオブジェクトを示す画像を抽出するコンピュータである。

画像抽出装置１は、所定エリアを撮像する１台の撮像装置が撮像した動画と、当該動画に基づいて生成された、所定エリアを移動する所定の属性のオブジェクトの移動の軌跡を示す一以上の動線情報とを取得する（図１の（１））。ここで、所定エリアは、例えば店舗内の空間であり、所定の属性は、例えば、オブジェクトを検出する対象を示す属性である。所定の属性のオブジェクトは、例えば、所定エリア内を行動する店員である。

画像抽出装置１は、一以上の動線情報に基づいて、所定時刻における一以上のオブジェクトの位置に対応し、当該オブジェクトに対応する三次元モデルを、所定エリアを示す三次元空間に仮想的に配置する（図１の（２））。画像抽出装置１は、撮像装置が撮像した画像Ｐに当該三次元モデルが投影されるときの、当該三次元モデルの輪郭を示す輪郭領域をオブジェクトの輪郭領域として特定するとともに、当該三次元モデルを囲む矩形領域をオブジェクトの矩形領域として特定する（図１の（３））。

画像抽出装置１は、特定した矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する輪郭領域と重複していない矩形領域を、非重複矩形領域として特定する。例えば、図１に示す例では、オブジェクトＯ１に対応する矩形領域は、他のオブジェクトＯ２、Ｏ３の輪郭と重複しておらず、非重複矩形領域である。また、オブジェクトＯ２に対応する矩形領域は、他のオブジェクトＯ３の輪郭と重複しているので、非重複矩形領域ではない。

画像抽出装置１は、動画を構成する複数の画像のうち、所定時刻における画像における非重複矩形領域に対応する画像を、入力された画像がオブジェクトであるか否かを判定する判定器の機械学習におけるオブジェクトの正例を示す正例画像として抽出する（図１の（４））。このようにすることで、画像抽出装置１は、機械学習に適した画像を効率よく収集することができる。

［画像抽出装置１の構成］
続いて、画像抽出装置１の構成を説明する。図２は、第１実施形態に係る画像抽出装置１の構成を示す図である。図２に示すように、画像抽出装置１は、入力部１１と、表示部１２と、記憶部１３と、制御部１４とを備える。なお、表示部１２については、オブジェクト特定部１４２で、画像上でのユーザの指定操作を受け付ける場合には必要になるが、受け付けない場合は不要である。

入力部１１は、例えば、マウスやキーボードである。入力部１１は、画像抽出装置１のユーザから操作入力を受け付ける。
表示部１２は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部１２は、制御部１４の制御に応じて各種情報を表示する。

記憶部１３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１３は、制御部１４が実行するプログラムを記憶している。例えば、記憶部１３は、画像抽出装置１を、取得部１４１、オブジェクト特定部１４２、輪郭領域特定部１４３、矩形領域特定部１４４、及び抽出部１４５として機能させる画像抽出プログラムを記憶している。

制御部１４は、例えばＣＰＵ（Central Processing Unit）である。制御部１４は、記憶部１３に記憶された画像抽出プログラムを実行することにより、取得部１４１、オブジェクト特定部１４２、輪郭領域特定部１４３、矩形領域特定部１４４、及び抽出部１４５として機能する。

以下、画像抽出装置１における処理の流れを参照しながら、取得部１４１、オブジェクト特定部１４２、輪郭領域特定部１４３、矩形領域特定部１４４、及び抽出部１４５の詳細について説明する。図３は、第１実施形態に係る画像抽出装置１に係る処理の流れを示すフローチャートである。

まず、取得部１４１は、所定エリアを撮像する撮像装置が撮像した動画と、当該動画に基づいて生成されたオブジェクトの移動の軌跡を示す一以上の動線情報とを取得する（Ｓ１）。

動画は、撮像装置が撮像した複数の画像を含んで構成されている。複数の画像のそれぞれには、画像の撮像時刻が関連付けられている。動線情報は、時刻と、当該時刻におけるオブジェクトの所定エリア内の位置を示す位置情報とを関連付けた情報である。動線情報に含まれている時刻は、動画に含まれている複数の画像に関連付けられている複数の撮像時刻のいずれかに対応しているものとする。なお、第１実施形態における取得部１４１は、必ずしも複数の時刻に関連付けられた情報を取得する必要はなく、特定の時刻における画像と、その時刻におけるオブジェクトの位置を示す情報とを取得しても良い。

続いて、オブジェクト特定部１４２は、動画に含まれている複数の画像の中から未選択の画像を特定する。オブジェクト特定部１４２は、未選択の画像のうち、撮像時刻が最も古い画像を選択する（Ｓ２）。

続いて、オブジェクト特定部１４２は、本フローチャートにおいて初めて画像を選択したか否かを判定する（Ｓ３）。オブジェクト特定部１４２は、初めて画像を選択したと判定すると、Ｓ４に処理を移し、初めて画像が選択したものではないと判定すると、Ｓ６に処理を移す。

続いて、オブジェクト特定部１４２は、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性のオブジェクトを特定する（Ｓ４、Ｓ６）。例えば、オブジェクト特定部１４２は、所定エリアを撮像する撮像装置が撮像した第１画像に含まれる第１オブジェクトを特定するとともに、当該第１画像に含まれる一以上の第２オブジェクトを特定する。

具体的には、オブジェクト特定部１４２は、Ｓ３における判定がＹＥＳの場合、すなわち、初めて画像を選択した場合、選択されている画像から一以上のオブジェクトを特定する（Ｓ４）。

より具体的には、オブジェクト特定部１４２は、Ｓ２において選択された画像、すなわち、撮像装置が撮像した動画に含まれる複数の画像のうち、撮像時刻が最も古い画像を特定する。オブジェクト特定部１４２は、当該画像に対応する撮像時刻を含む一以上の動線情報を特定する。そして、オブジェクト特定部１４２は、特定した一以上の動線情報のそれぞれに対応するオブジェクトを特定する。

なお、オブジェクト特定部１４２は、ユーザから、オブジェクトを特定するための動線情報の選択を受け付けてもよい。そして、オブジェクト特定部１４２は、選択された動線情報に対応するオブジェクトを特定してもよい。

また、オブジェクト特定部１４２は、Ｓ２において選択された画像、すなわち、撮像装置が撮像した動画に含まれる複数の画像のうち、撮像時刻が最も古い画像を表示部１２に表示させ、当該画像からユーザの操作によってオブジェクトを特定してもよい。この場合、オブジェクト特定部１４２は、ユーザから、表示部１２に表示されている画像に含まれる１以上のオブジェクトのそれぞれを囲う矩形領域の設定操作を受け付けることにより、オブジェクトの位置を示す情報の入力を受け付ける。ここで、矩形領域は、例えば画像に対して予め定められた基準軸に対して二辺が平行する矩形である直立矩形領域である。

図４は、撮像時刻が最も古い画像Ｐが表示部１２に表示された例を示す図である。図４（ａ）は、最も古い画像Ｐを示す図であり、図４（ｂ）は、ユーザが画像Ｐからオブジェクトを囲う矩形領域を設定した後の例を示す図である。図４（ａ）には、オブジェクトＯ１〜Ｏ３が表示されていることが確認できる。また、図４（ｂ）に示すように、ユーザの設定操作により、オブジェクトＯ１〜Ｏ３に対して矩形領域Ｒ１〜Ｒ３が設定されていることが確認できる。

なお、オブジェクト特定部１４２は、撮像時刻が最も古い画像Ｐに対して、ユーザからオブジェクトを特定することとしたが、これに限らない。例えば、オブジェクト特定部１４２は、選択された画像に対応する撮像時刻を開始時刻とする動線情報が存在する場合に、当該動線情報に対応するオブジェクトを特定したり、当該開始時刻に対応する画像を表示部１２に表示させて、ユーザからオブジェクトの指定を受け付けたりしてもよい。

ここで、図４に示す例では、オブジェクト特定部１４２は、オブジェクトＯ１〜Ｏ３のそれぞれに対応する動線情報を特定しているものとする。

続いて、オブジェクト特定部１４２は、一以上のオブジェクトのそれぞれに対応する動線情報に基づいて、所定エリアにおける一以上のオブジェクトのそれぞれの位置を示す位置情報を取得することにより一以上のオブジェクトの位置を特定する（Ｓ５）。オブジェクト特定部１４２は、Ｓ４において特定された動線情報を参照し、選択されている画像の撮像時刻と同じ時刻に関連付けられている位置情報を取得することにより、一以上のオブジェクトのそれぞれの位置を特定する。

オブジェクト特定部１４２は、Ｓ３における判定がＮＯの場合、すなわち、初めて画像が選択されたものではない場合、Ｓ５と同様に、特定されている動線情報に基づいて所定エリアにおける一以上のオブジェクトのそれぞれの位置を示す位置情報を取得することにより一以上のオブジェクトを特定する（Ｓ６）。

続いて、輪郭領域特定部１４３は、特定したオブジェクトの輪郭を示す輪郭領域を特定する（Ｓ７）。具体的には、輪郭領域特定部１４３は、Ｓ５又はＳ６において特定された位置情報が示す所定エリア上の位置に、オブジェクトに対応する三次元モデルを仮想的に配置した場合に、撮像装置が撮像した画像に含まれる三次元モデルに対応する輪郭領域を算出する。そして、輪郭領域特定部１４３は、算出した輪郭領域を、オブジェクトの輪郭領域として特定する。

より具体的には、記憶部１３には、撮像装置が撮像する画像における複数の位置を示す位置情報のそれぞれと、当該複数の位置のそれぞれに三次元モデルを仮想的に配置したときの輪郭領域を示す情報とを関連付けた位置別領域情報を予め記憶する。そして、輪郭領域特定部１４３は、記憶部１３に記憶されている位置別領域情報を参照し、オブジェクト特定部１４２が特定した位置情報が示す位置に関連付けられている輪郭領域を、仮想的に配置した三次元モデルの輪郭領域として特定してもよい。このようにすることで、画像抽出装置１は、選択された画像の解析を行うことなく、高速にオブジェクトの輪郭領域を特定することができる。

なお、輪郭領域特定部１４３は、位置別領域情報に基づいて三次元モデルの輪郭領域を特定せずに、三次元モデルを構成する点群に基づいて、三次元モデルの輪郭領域を特定してもよい。この場合、例えば、記憶部１３に、三次元モデルを構成する点群を示す点群情報を記憶させておくとともに、撮像装置により撮像された画像の歪みを補正するための撮像装置のキャリブレーションに関するパラメータを記憶させておく。ここで、三次元モデルを構成する点群を構成する複数の点のそれぞれは、三次元空間における座標により表現される。また、パラメータには、撮像装置の設置位置及び設置方向によって定まる外部パラメータと、撮像装置の画像歪みに関する内部パラメータとが含まれる。

そして、輪郭領域特定部１４３は、記憶部１３から当該点群情報と当該パラメータとを取得し、特定された所定エリア上の位置に三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、撮像装置が撮像する画像上への投影点を算出する。そして、輪郭領域特定部１４３は、当該投影点の点群を含む領域の輪郭を近似する多角形領域を、当該三次元モデルの輪郭領域として特定する。このようにすることで、画像抽出装置１は、複数の点群の画像上への投影点の算出に基づいて、精度良く三次元モデルの輪郭領域を特定することができる。

図５は、図４に示す画像Ｐから特定されたオブジェクトＯ１〜Ｏ３の位置に配置された三次元モデルの輪郭領域を示す図である。なお、図５に示す輪郭領域は画像に実際に描かれるものではなく、輪郭領域特定部１４３により算出されるものである。図５に示す例では、オブジェクトＯ１〜Ｏ３のそれぞれに対応して輪郭領域ＯＬ１〜ＯＬ３が算出されたことが確認できる。

続いて、矩形領域特定部１４４は、Ｓ７において特定したオブジェクトの輪郭に基づいて、当該オブジェクトに対応する矩形領域を特定する（Ｓ８）。具体的には、矩形領域特定部１４４は、特定したオブジェクトの輪郭領域から、オブジェクトの輪郭を構成する点群を近似する矩形として、矩形領域を特定する。

より具体的には、矩形領域特定部１４４は、オブジェクトの輪郭を構成する点群を内包する複数の矩形候補のうち、当該矩形の面積が相対的に小さい矩形領域を矩形領域として特定する。例えば、矩形領域として、直立矩形領域を特定する場合、点群を内包する直立矩形として、大きさが異なる複数の直立矩形の候補が考えられる。矩形領域特定部１４４は、複数の直立矩形の候補のうち、矩形の面積が最小となる直立矩形を、オブジェクトに対応する矩形領域として特定する。直立矩形に限定するものではなく、矩形の面積が最小となる回転矩形を特定しても良い。

図６は、図５に示す複数の三次元モデルの輪郭領域のそれぞれに対して特定された矩形領域を示す図である。なお、図６に示す矩形領域は画像に実際に描かれるものではなく、矩形領域特定部１４４により算出されるものである。図６に示す例では、輪郭領域ＯＬ１〜ＯＬ３に対して矩形領域ＵＲ１〜ＵＲ３が算出されたことが確認できる。

なお、矩形領域特定部１４４は、オブジェクトに対応する矩形領域として、直立矩形を特定することとしたが、これに限らない。全方位画像に投影されるオブジェクトである人物は、画像の中心からオブジェクトの位置に向かう方向に伸びるように投影されることから、矩形領域特定部１４４は、当該方向に対して二辺が平行する矩形領域を特定してもよい。

例えば、矩形領域特定部１４４は、輪郭領域に対応する一点と、当該撮像装置が撮像した全方位画像の中心との位置関係に基づいて、当該画像に対して予め定められた基準軸に対する矩形領域の回転成分を算出してもよい。そして、矩形領域特定部１４４は、基準軸に対して算出した回転成分を有する回転矩形領域のうち、面積が相対的に小さい矩形領域を、オブジェクトに対応する矩形領域として特定してもよい。ここで、全方位画像の中心は、例えば、画像の中心点であるものとするが、これに限らず、画像の中心近傍点であってもよい。また、輪郭領域に対応する一点は、例えば、輪郭領域の中心点であるものとするが、これに限らず、輪郭領域の中心近傍点であってもよい。このようにすることで、画像抽出装置１は、全方位画像においてオブジェクト（人物）の足元位置が矩形領域の一辺に対応するように矩形領域を特定することができる。

続いて、抽出部１４５は、一以上のオブジェクトのそれぞれに対して特定した矩形領域のうち、他のオブジェクトと重複しない矩形領域を示す非重複矩形領域を特定する。例えば、抽出部１４５は、第１オブジェクトに対応する矩形領域と、一以上の第２オブジェクトのそれぞれに対応する輪郭領域との重複率が所定値以下である場合、第１オブジェクトに対応する矩形領域を非重複矩形領域に特定する。そして、抽出部１４５は、特定した非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出する（Ｓ９〜Ｓ１１）。

以下に、抽出部１４５が正例画像を抽出するまでの処理の例について説明する。まず、抽出部１４５は、一以上のオブジェクトのそれぞれに対して特定した矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する輪郭領域との重複率を算出する（Ｓ９）。具体的には、抽出部１４５は、オブジェクトに対して特定した矩形領域と、当該オブジェクトとは異なる他のオブジェクトのそれぞれに対応する輪郭領域のそれぞれとの重複率を算出する。

図６に示す例では、抽出部１４５は、オブジェクトＯ１に対応する矩形領域ＵＲ１について、オブジェクトＯ２に対応する輪郭領域ＯＬ２との重複率を算出するとともに、オブジェクトＯ３に対応する輪郭領域ＯＬ３との重複率を算出する。同様に、抽出部１４５は、オブジェクトＯ２に対応する矩形領域ＵＲ２について、輪郭領域ＯＬ１との重複率を算出するとともに、輪郭領域ＯＬ３との重複率を算出する。また、抽出部１４５は、オブジェクトＯ３に対応する矩形領域ＵＲ３について、輪郭領域ＯＬ１との重複率を算出するとともに、輪郭領域ＯＬ２との重複率を算出する。

続いて、抽出部１４５は、算出した重複率が、所定値以下の矩形領域を示す非重複矩形領域を特定する（Ｓ１０）。例えば、図６に示す例において、所定値が０である場合、抽出部１４５は、いずれの輪郭領域とも重なっていない矩形領域ＵＲ３を、非重複矩形領域として特定する。

続いて、抽出部１４５は、特定した非重複矩形領域を示す画像を、オブジェクトを判定する判定器の機械学習におけるオブジェクトの正例を示す正例画像として抽出する（Ｓ１１）。具体的には、抽出部１４５は、Ｓ２において選択した画像から、Ｓ１０において特定した非重複矩形領域に対応する画像を正例画像として抽出し、抽出した正例画像を、正例を示すラベルと関連付けて記憶部１３に記憶させる。

図７は、撮像装置が撮像した画像から、非重複矩形領域に対応する画像を正例画像として抽出する例を示す図である。図７に示す画像Ｐは、図４（ａ）に示す画像Ｐと同じ画像である。図７に示すように、画像Ｐから、非重複矩形領域としての矩形領域ＵＲ３に含まれる画像が正例画像ＰＥとして抽出されていることが確認できる。

なお、抽出部１４５は、特定した非重複矩形領域に対応する位置と、撮像装置に対応する位置との間の距離を算出し、当該距離に基づいて、非重複矩形領域を示す画像を正例画像として抽出するか否かを判定してもよい。

具体的には、抽出部１４５は、非重複矩形領域に対応する位置と、撮像装置が撮像した画像の中心との距離を算出してもよい。この場合において、非重複矩形領域に対応する位置は、非重複矩形領域の中心位置である。そして、抽出部１４５は、算出した距離が、予め定められた第１距離よりも大きい場合、非重複矩形領域を示す画像を正例画像として抽出し、当該距離が第１距離以下である場合、非重複矩形領域を示す画像を正例画像として抽出しないように制御することにより、画像の中心に近い非重複矩形領域を正例画像として抽出しないようにしてもよい。

撮像装置が撮像する画像が全方位画像である場合、画像の中心に近い非重複矩形領域に含まれるオブジェクトを示す画像は、オブジェクトを真上に近い位置から撮像したものとなり、オブジェクトの特定精度が低くなる。画像抽出装置１は、このようにオブジェクトを真上に近い位置から撮像した画像を正例画像として抽出しないようにすることで、分類器の精度が低下することを抑制することができる。

また、抽出部１４５は、非重複矩形領域に対応する位置と、撮像装置が撮像した画像の中心との距離が、予め定められた第２距離よりも小さい場合、非重複矩形領域を示す画像を正例画像として抽出し、当該距離が第２距離以上である場合、非重複矩形領域を示す画像を正例画像として抽出しないように制御することにより、画像の中心から離れすぎている非重複矩形領域を正例画像として抽出しないようにしてもよい。

画像の中心から遠い非重複矩形領域に含まれるオブジェクトを示す画像は、オブジェクトが小さく投影されるので、オブジェクトの特定精度が低くなる。画像抽出装置１は、画像の中心から離れすぎているオブジェクトの画像を正例画像として抽出しないようにすることで、分類器の精度が低下することを抑制することができる。

また、抽出部１４５は、入力された画像が前記オブジェクトを示しているか否かを判定する判定器に、非重複矩形領域を示す画像を入力し、判定器により当該非重複矩形領域を示す画像がオブジェクトを示していると判定されると、当該画像を正例画像として抽出するようにしてもよい。この場合において、判定器は、記憶部１３に記憶されていてもよいし、画像抽出装置１がアクセス可能な外部装置に記憶されていてもよい。判定器の判定結果に基づいて正例画像を抽出することにより、オブジェクトではない画像を正例画像から除外することができる。

続いて、オブジェクト特定部１４２は、動画に含まれている全ての画像を選択したか否かを判定する（Ｓ１２）。オブジェクト特定部１４２は、全ての画像を選択したと判定すると、本フローチャートにおける処理を終了し、全ての画像を選択していないと判定すると、Ｓ２に処理を移す。

なお、本フローチャートにおいて、矩形領域特定部１４４が、オブジェクトに対応する矩形領域を特定し、抽出部１４５が、当該矩形領域のうち、他のオブジェクトの輪郭領域と重なっていない矩形領域としての非重複矩形領域を正例画像として抽出したが、これに限らない。

矩形領域特定部１４４は、撮像部が撮像した画像において、オブジェクトに対応しない矩形領域であって、特定された一以上のオブジェクトの輪郭領域の全てとの重複率が所定値以下となる第２矩形領域を特定してもよい。ここで、矩形領域特定部１４４は、１つの画像に対して複数の第２矩形領域を特定してもよい。また、第２矩形領域の大きさは、第２矩形領域の位置に三次元モデルを配置したときの当該三次元モデルの輪郭領域を囲む最小の矩形領域の大きさであることとしてもよい。

図８は、図６に示す例に対して第２矩形領域が特定された例を示す図である。図８に示す例では、図６に示される矩形領域ＵＲ１〜ＵＲ３に加えて、第２矩形領域ＵＲ４が特定されていることが確認できる。

そして、抽出部１４５は、第２矩形領域を示す画像を、機械学習におけるオブジェクトの負例を示す負例画像として抽出してもよい。このようにすることで、画像抽出装置１は、負例画像についても自動的に収集することができる。

［第１実施形態における効果］
以上説明したように、第１実施形態に係る画像抽出装置１は、所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定し、当該画像における、特定したオブジェクトの輪郭を示す輪郭領域と、特定したオブジェクトに対応する矩形領域とを特定する。画像抽出装置１は、特定した矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した非重複矩形領域を示す画像を、機械学習におけるオブジェクトの正例を示す正例画像として抽出する。このようにすることで、画像抽出装置１は、機械学習に適した画像を効率よく収集することができる。

＜第２実施形態＞
［撮像時刻が異なる複数の画像に基づいて正例画像を抽出する］
続いて、第２実施形態について説明する。第１実施形態に係る画像抽出装置１は、動線情報に対応するオブジェクトが着席等により長時間にわたって移動していない場合に、同等の画像が正例画像として抽出されてしまう。そこで、第２実施形態に係る画像抽出装置１は、撮像時刻が異なる複数の画像に基づいて、同等の画像が正例画像として抽出されないようにする点で第１実施形態と異なる。以下に、第２実施形態に係る画像抽出装置１について説明する。なお、第１実施形態と同じ部分については適宜説明を省略する。

第２実施形態において、オブジェクト特定部１４２は、撮像装置が撮像した第１画像に含まれるオブジェクトである第１オブジェクトを特定するとともに、第１画像よりも後に撮像された第２画像に含まれるオブジェクトである第２オブジェクトを特定する。ここで、第２画像は、第１画像よりも後に撮像された複数の画像であってもよい。また、第１オブジェクトと、第２オブジェクトは、同一の動線情報から特定されたオブジェクトとしてもよい。

輪郭領域特定部１４３は、第１画像において特定された第１オブジェクトの輪郭を示す輪郭領域を特定し、矩形領域特定部１４４は、当該第１オブジェクトに対応する矩形領域を特定する。

また、輪郭領域特定部１４３は、第２画像において特定された第２オブジェクトの輪郭を示す輪郭領域を特定し、矩形領域特定部１４４は、当該第２オブジェクトに対応する矩形領域を特定する。

抽出部１４５は、第１画像と、１以上の第２画像とを重ねた場合に、第１オブジェクトに対応する輪郭領域又は矩形領域のうち、１以上の第２オブジェクトのそれぞれに対応する輪郭領域又は矩形領域との重複率が所定値以下の矩形領域を、非重複矩形領域として特定する。そして、抽出部１４５は、第１画像において、非重複矩形領域を示す画像を、機械学習におけるオブジェクトの正例を示す正例画像として抽出する。

［第２実施形態における効果］
以上説明したように、第２実施形態に係る画像抽出装置１は、第１画像と、第１画像よりも後に撮像された第２画像とを重ねた場合に、第１画像に含まれる第１オブジェクトに対応する輪郭領域又は矩形領域のうち、第２画像に含まれる第２オブジェクトに対応する輪郭領域又は矩形領域との重複率が所定値以下の非重複矩形領域を特定し、非重複矩形領域を示す画像を、機械学習におけるオブジェクトの正例を示す正例画像として抽出する。

このようにすることで、画像抽出装置１は、時間が経過しても動かないオブジェクトに対応する複数の撮像時刻における画像から、当該オブジェクトに対応する画像が正例画像として抽出されることを抑制することができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。例えば、上述の実施形態では、撮像装置が撮像する画像が全方位画像であることとしたが、これに限らず、全方位画像ではない画像であってもよい。

また、上述の実施形態では、画像抽出装置１が初めて画像を選択していない場合に、動線情報に基づいてオブジェクトの位置を特定したが、これに限らない。画像抽出装置１が選択した全ての画像において、ユーザの指定によりオブジェクトの位置を特定してもよい。

また、上述の実施形態では、撮像装置が１台であることとして説明を行ったが、これに限らず、撮像装置が所定エリアに複数台設けられていてもよい。この場合、画像抽出装置１は、第１の撮像装置が撮像した画像に基づいて特定した一以上のオブジェクトに対応する一以上の動線情報に基づいて、第２の撮像装置が示す画像に対応する当該オブジェクトの正例画像を抽出する。

具体的には、画像抽出装置１は、当該一以上の動線情報に含まれる位置に一以上の三次元モデルが仮想的に配置された場合における、第２の撮像装置が示す画像における当該一以上の三次元モデルに対応する輪郭領域及び矩形領域を、一以上のオブジェクトに対応する輪郭領域及び矩形領域として特定する。そして、画像抽出装置１は、特定した一以上のオブジェクトに対応する輪郭領域及び矩形領域に基づいて、非重複矩形領域を特定し、第２の撮像装置が示す画像における当該矩形領域に対応する画像を、正例画像として抽出する。

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・画像抽出装置、１１・・・入力部、１２・・・表示部、１３・・・記憶部、１４・・・制御部、１４１・・・取得部、１４２・・・オブジェクト特定部、１４３・・・輪郭領域特定部、１４４・・・矩形領域特定部、１４５・・・抽出部

Claims (17)

1. 所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するオブジェクト特定部と、
   前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定する輪郭領域特定部と、
   前記画像における、特定した前記オブジェクトに対応する矩形領域を特定する矩形領域特定部と、
   前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出する抽出部と、
   を備える画像抽出装置。
2. 前記矩形領域特定部は、特定した前記オブジェクトの輪郭領域に基づいて、前記矩形領域を特定する、
   請求項１に記載の画像抽出装置。
3. 前記矩形領域特定部は、特定した前記オブジェクトの輪郭領域から、前記オブジェクトの輪郭を構成する点群を近似する矩形として矩形領域を特定する、
   請求項２に記載の画像抽出装置。
4. 前記矩形領域特定部は、前記オブジェクトの輪郭を構成する点群を内包する複数の矩形候補のうち、当該矩形の面積が相対的に小さい矩形領域を前記矩形領域として特定する、
   請求項３に記載の画像抽出装置。
5. 前記矩形領域特定部は、前記撮像装置が全方位画像を撮像する撮像装置である場合に、前記輪郭領域に対応する一点と、当該撮像装置が撮像した画像の中心との位置関係に基づいて、基準軸に対する前記矩形領域の回転成分を算出し、当該回転成分を有する矩形領域のうち、面積が相対的に小さい矩形領域を前記オブジェクトに対応する矩形領域として特定する、
   請求項２から４のいずれか１項に記載の画像抽出装置。
6. 前記オブジェクト特定部は、前記所定エリアにおける一以上の前記オブジェクトのそれぞれの位置を示す位置情報を取得することにより前記オブジェクトを特定し、
   前記輪郭領域特定部は、前記所定エリアにおける前記位置情報が示す位置に前記オブジェクトに対応する三次元モデルを仮想的に配置した場合に前記撮像装置が撮像した画像に含まれる前記三次元モデルに対応する輪郭領域を特定する、
   請求項１から５のいずれか１項に記載の画像抽出装置。
7. 前記撮像装置が撮像する画像における複数の位置のそれぞれと、当該複数の位置のそれぞれに前記三次元モデルを仮想的に配置したときの前記輪郭領域を示す情報とを関連付けた位置別領域情報を記憶する記憶部を備え、
   前記輪郭領域特定部は、前記位置別領域情報を参照し、前記オブジェクト特定部が取得した位置情報が示す位置に関連付けられている輪郭領域を、当該三次元モデルの輪郭領域と特定する、
   請求項６に記載の画像抽出装置。
8. 前記三次元モデルを構成する点群を示す点群情報と、前記撮像装置のキャリブレーションに関するパラメータとを記憶する記憶部を備え、
   前記輪郭領域特定部は、前記記憶部から当該点群情報と当該パラメータとを取得し、前記三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、前記撮像装置が撮像する画像上への投影点を算出し、当該投影点の点群を近似する多角形領域を、当該三次元モデルの輪郭領域として特定する、
   請求項６に記載の画像抽出装置。
9. 前記オブジェクト特定部は、前記撮像装置が撮像した第１画像に含まれる第１オブジェクトを特定するとともに、前記第１画像に含まれる一以上の第２オブジェクトを特定し、
   前記抽出部は、前記第１オブジェクトに対応する前記矩形領域と、前記一以上の第２オブジェクトのそれぞれに対応する前記輪郭領域との重複率が前記所定値以下である場合、前記第１オブジェクトに対応する前記矩形領域を前記非重複矩形領域に特定する、
   請求項１から８のいずれか１項に記載の画像抽出装置。
10. 前記オブジェクト特定部は、前記撮像装置が撮像した第１画像に含まれる前記オブジェクトである第１オブジェクトを特定するとともに、前記第１画像よりも後に撮像された第２画像に含まれる前記オブジェクトである第２オブジェクトを特定し、
    前記抽出部は、前記第１画像と前記第２画像とを重ねた場合に、前記第１オブジェクトに対応する前記輪郭領域又は前記矩形領域のうち、前記第２オブジェクトに対応する前記輪郭領域又は前記矩形領域との重複率が前記所定値以下の前記非重複矩形領域を特定する、
    請求項１から８のいずれか１項に記載の画像抽出装置。
11. 前記矩形領域特定部は、前記画像において、前記オブジェクトに対応しない矩形領域であって、特定した全ての前記オブジェクトの輪郭領域との重複率が所定値以下となる矩形領域である第２矩形領域を特定し、
    前記抽出部は、前記第２矩形領域を示す画像を、前記機械学習における前記オブジェクトの負例を示す負例画像として抽出する、
    請求項１から１０のいずれか１項に記載の画像抽出装置。
12. 前記抽出部は、特定した前記非重複矩形領域を示す画像を、入力された画像が前記オブジェクトを示しているか否かを判定する判定器に入力し、前記判定器により、当該画像が前記オブジェクトを示していると判定されると、当該画像を前記正例画像として抽出する、
    請求項１から１１のいずれか１項に記載の画像抽出装置。
13. 前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置に対応する位置との間の距離を算出し、当該距離に基づいて、前記非重複矩形領域を示す画像を前記正例画像として抽出するか否かを判定する、
    請求項１から１２のいずれか１項に記載の画像抽出装置。
14. 前記撮像装置は、全方位画像を撮像する撮像装置であり、
    前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置が撮像した画像の中心との距離を算出し、当該距離が第１距離よりも大きい場合、前記非重複矩形領域を示す画像を前記正例画像として抽出し、当該距離が前記第１距離以下である場合、前記非重複矩形領域を示す画像を前記正例画像として抽出しないように制御する、
    請求項１３に記載の画像抽出装置。
15. 前記抽出部は、特定した前記非重複矩形領域に対応する位置と、前記撮像装置が撮像した画像の中心との距離を算出し、当該距離が第２距離よりも小さい場合、前記非重複矩形領域を示す画像を前記正例画像として抽出し、当該距離が前記第２距離以上である場合、前記非重複矩形領域を示す画像を前記正例画像として抽出しないように制御する、
    請求項１３又は１４に記載の画像抽出装置。
16. コンピュータが実行する、
    所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するステップと、
    前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定するステップと、
    前記画像における、特定した前記オブジェクトに対応する矩形領域を特定するステップと、
    前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出するステップと、
    を備える画像抽出方法。
17. コンピュータを、
    所定エリアを撮像する撮像装置が撮像した画像に含まれる所定の属性の一以上のオブジェクトを特定するオブジェクト特定部、
    前記画像における、特定した前記オブジェクトの輪郭を示す輪郭領域を特定する輪郭領域特定部、
    前記画像における、特定した前記オブジェクトに対応する矩形領域を特定する矩形領域特定部、及び、
    前記矩形領域のうち、当該矩形領域に囲まれているオブジェクトとは異なる他のオブジェクトに対応する前記輪郭領域との重複率が所定値以下の矩形領域を示す非重複矩形領域を特定し、特定した前記非重複矩形領域を示す画像を、機械学習における前記オブジェクトの正例を示す正例画像として抽出する抽出部、
    として機能させる画像抽出プログラム。

Images