JP2020057299A - 収集装置、収集方法及び収集プログラム - Google Patents

Abstract

【課題】機器等の操作が正しく行われたか否かを、自動的かつ正確に確認すること。【解決手段】収集装置１０は、カメラ１１を用いて画像を撮像する。また、収集装置１０は、撮像した画像である撮像画像内のマーカ３０を基準にしたＡＲを実行し、カメラ１１の位置及び姿勢を特定する。また、収集装置１０は、撮像画像と、特定した位置及び姿勢を示す外部パラメータと、を対応付けて取得する。【選択図】図２

Description

本発明は、収集装置、収集方法及び収集プログラムに関する。

画像認識のための機械学習を行う場合、認識対象のオブジェクトが画角いっぱいに映った画像が用いられる。このような画像を収集するためには、認識対象のオブジェクトを様々な角度から撮影し、さらにそれぞれの画像に対しトリミング加工を行う必要がある。

また、ＡＲ（Augmented Reality）技術によれば、撮像した画像の傾きや、画像に映っているオブジェクトの位置を把握することができる（例えば、特許文献１又は特許文献２を参照）。

特開２００８−２４９４０７号公報 国際公開第２０１４／０６１３７２号

しかしながら、従来の技術には、特定のオブジェクトの画像を効率的に収集することが困難な場合があるという問題がある。例えば、画像のトリミングは手動で行われるため、必要な画像の数が多くなると、膨大な時間がかかるようになる。

実施形態の収集装置は、撮像部と、特定部と、取得部とを有する。撮像部は、画像を撮像する。特定部は、撮像部によって撮像された画像である撮像画像内のマーカを基に、撮像部の位置及び姿勢を特定する。取得部は、撮像画像と、特定部によって特定された位置及び姿勢を示すパラメータと、を対応付けて取得する。

図１は、第１の実施形態に係る収集装置の利用シーンを説明するための図である。 図２は、第１の実施形態に係る収集装置の構成の一例を示す図である。 図３は、第１の実施形態に係る収集データについて説明するための図である。 図４は、第１の実施形態に係る仮想カメラについて説明するための図である。 図５は、第１の実施形態に係る正投影図について説明するための図である。 図６は、第１の実施形態に係る収集画像の一例を示す図である。 図７は、第１の実施形態に係る収集装置の処理の流れを示すフローチャートである。

以下に、本願に係る収集装置、収集方法及び収集プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

（第１の実施形態）
まず、図１を用いて、第１の実施形態に係る収集装置の利用シーンを説明する。図１は、第１の実施形態に係る収集装置の利用シーンを説明するための図である。収集装置１０は画像を撮像する撮像機能を有しているものとする。収集装置１０は、例えば、カメラ付きのスマートフォンである。

図１に示すように、ユーザは、収集装置１０を用いて、撮像対象のオブジェクト２０の撮像を行う。また、オブジェクト２０の付近には、マーカ３０が備えられている。マーカ３０は、収集装置１０がＡＲを実行するためのマーカである。例えば、マーカ３０は、ＱＲ（Quick Response）コード（登録商標）である。また、収集装置１０は、マーカレスＡＲを実行してもよい。

収集装置１０は、撮像した画像と、画像の内部パラメータと、ＡＲを実行することで得られる外部パラメータとを対応付けたデータを収集する。例えば、内部パラメータは、焦点距離、画像中心、解像度、歪み係数等である。また、外部パラメータは、ＡＲを実行することによって特定されるカメラの位置及び姿勢である。そのほかにも、収集装置１０は、撮像日時、場所、絞り、露光時間、センサの感度といったメタデータをパラメータとして取得してもよい。

また、収集装置１０は、撮像した画像を加工した画像を収集してもよい。例えば、収集装置１０は、撮像した画像をトリミングした画像を収集する。このとき、収集装置１０は、外部パラメータを基にトリミングを行うことができる。

このように、収集装置１０は、画像を、内部パラメータ及び外部パラメータとともに収集する。これにより、内部パラメータ又は外部パラメータを用いてトリミング等の加工を行うことで、収集した画像から対象オブジェクトが映った領域を抽出することができる。このため、収集装置１０によれば、特定のオブジェクトの画像を効率的に収集することができる。

（第１の実施形態の収集装置の構成）
図２を用いて、収集装置１０の構成について説明する。図２は、第１の実施形態に係る収集装置の構成の一例を示す図である。図２に示すように、収集装置１０は、カメラ１１、記憶部１２及び制御部１３を有する。カメラ１１は、撮像部の一例である。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等の記憶装置である。記憶部１２は、収集装置１０で実行されるＯＳ（Operating System）やプログラムを記憶する。さらに、記憶部１２は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部１２は、ＡＲ情報１２１及び収集データ１２２を記憶する。

ＡＲ情報１２１は、ＡＲを実行するための情報である。ＡＲ情報１２１には、マーカ３０の画像が含まれる。また、ＡＲ情報１２１には、撮像対象のオブジェクトを配置する位置である撮像空間の、マーカ３０に対する相対的な位置を示す情報が含まれる。例えば、撮像空間は、マーカ３０に対する所定の位置に仮想的に配置された球等の立体の内部空間である。なお、マーカ３０は、撮像空間が撮像対象のオブジェクトを内包するように設置されているものとする。

収集データ１２２は、収集装置１０によって収集されたデータである。図３は、第１の実施形態に係る収集データについて説明するための図である。図３に示すように、収集データ１２２には、撮像画像１２２ａ及びパラメータ１２２ｂが含まれる。撮像画像１２２ａは、カメラ１１によって撮像された画像である。また、パラメータ１２２ｂには、日時、緯度経度、外部パラメータ及び内部パラメータが含まれる。図３の例における日時及び緯度経度は、それぞれ「２０１８／８／２８ １１：５８：００」及び「３５°Ｎ１３９°Ｅ」である。

図３に示すように、外部パラメータには、位置及び角度が含まれる。位置は、撮像時のカメラ１１の位置を示す座標である。また、角度は、撮像時のカメラ１１のｘ軸、ｙ軸、ｚ軸に対する回転角度である。図３の例における外部パラメータは、撮像画像１２２ａを撮像した際のカメラ１１の位置が（１．５，２，２）であり、ｘ軸、ｙ軸、ｚ軸に対する回転角度が（０°，３０°，３０°）であったことを示している。

図３に示すように、内部パラメータには、焦点距離、解像度、画像中心及び歪み係数が含まれる。図３の例における内部パラメータは、撮像画像１２２ａが、焦点距離５０ｍｍで撮像されたことを示している。また内部パラメータは、撮像画像１２２ａの解像度が１９２０×１０８０であり、画像中心が（９５０，５５０）であり、歪み係数が０．０１であることを示している。

制御部１３は、収集装置１０を制御する。制御部１３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等である。例えば、制御部１３は、特定部１３１、取得部１３２及び抽出部１３３として機能する。

特定部１３１は、カメラ１１によって撮像された画像内のマーカ３０を基に、カメラ１１の位置及び姿勢を特定する。特定部１３１は、既知のＡＲ技術を用いて位置及び姿勢を特定することができる。また、特定部１３１は、特定した位置及び姿勢を表す外部パラメータ行列を計算することができる。

取得部１３２は、カメラ１１によって撮像された画像と、特定部１３１によって特定された位置及び姿勢を示すパラメータと、を対応付けて取得する。例えば、取得部１３２は、撮像画像１２２ａ、パラメータ１２２ｂを取得し、収集データ１２２として記憶部１２に格納する。

抽出部１３３は、パラメータを基に、カメラ１１によって撮像された画像から、マーカ３０に対してあらかじめ定められた位置にある所定の領域の画像を抽出する。ここでいう所定の領域は、例えば、前述のＡＲ情報１２１に含まれる撮像空間である。

さらに、撮像空間は、仮想的な立体の内部空間とみなせる。このため、撮像空間を内包する仮想的な立体をフレームに収めた正投影画像には、撮像対象のオブジェクトが映っていることになる。そこで、抽出部１３３は、マーカ３０に対してあらかじめ定められた位置に仮想的に配置された立体が中心になるような正投影図を抽出する。なお、抽出部１３３は、撮像対象のオブジェクトの大きさ及び形状に応じて、抽出する領域の立体の大きさ及び形状を変化させてもよい。また、抽出部１３３は、抽出した正投影図を収集データ１２２として記憶部１２に格納する。

図４を用いて、撮像空間を球の内部空間とした場合の抽出部１３３の処理の例について説明する。図４は、第１の実施形態に係る仮想カメラについて説明するための図である。図４に示すように、仮想球３０ａは、マーカ３０に対してあらかじめ定められた位置に仮想的に配置されている。また、仮想球３０ａはオブジェクト２０を内包している。

仮想カメラ１１ａは、仮想球３０ａが中心になるような正投影図を撮像する仮想的な正投影（Orthographic）カメラである。抽出部１３３は、仮想カメラ１１ａによって撮像された画像を抽出する。つまり、抽出部１３３は、カメラ１１の位置及び姿勢が仮想カメラ１１ａの位置及び姿勢と同じであったと仮定した場合に、カメラ１１が撮像したと考えられる撮像画像を抽出する。

なお、正投影図に対象のオブジェクトを最も大きく映すことができるのは、仮想球３０ａがオブジェクト２０に外接している場合である。また、オブジェクト２０の立体的な形状を事前に特定できている場合は、仮想球３０ａを形状に合わせて変形させてもよい。例えば、仮想球３０ａは、オブジェクト２０に外接し、オブジェクト２０との接点がなるべく多くなるような多面体に置き換えられる。

図５は、第１の実施形態に係る正投影図について説明するための図である。図５に示すように、抽出部１３３は、撮像画像２０１ａから正投影図２０１ｂを抽出する。また、抽出部１３３は、撮像画像２０２ａから正投影図２０２ｂを抽出する。また、抽出部１３３は、撮像画像２０３ａから正投影図２０３ｂを抽出する。

図５の例では、撮像画像２０１ａ、撮像画像２０２ａ、撮像画像２０３ａに映ったオブジェクト２０の大きさはそれぞれ異なる。これに対し、正投影図２０１ｂ、正投影図２０２ｂ、正投影図２０３ｂに映ったオブジェクト２０の大きさは同一である。一方で、正投影図２０１ｂ、正投影図２０２ｂ、正投影図２０３ｂに映ったオブジェクト２０の角度はそれぞれ異なっている。このため、収集装置１０は、異なる角度から撮像したオブジェクト２０の画像を、大きさを揃えたうえで収集することができる。

また、収集装置１０は、図６に示すように、少しずつ角度を変えたオブジェクト２０の画像を収集することができる。図６は、第１の実施形態に係る収集画像の一例を示す図である。

収集画像が多様な角度から撮像されているほど、より有効な学習データになることが考えられる。逆に、同じ角度から撮像した多数の画像があったとしても、画像の数に対する学習データとしての有効性は低いと考えられる。

そこで、収集装置１０は、なるべく多くの異なる角度から撮像が行われるように、音声や画面表示により、収集装置１０を持ったユーザを所定の位置に誘導するようにしてもよい。

ここで、例えば、図４のように、オブジェクト２０の周囲の空間を、仮想球３０ａの中心を原点とする互いに垂直な３軸を用いた空間座標を（ｘ，ｙ，ｚ）のように表すとする。このとき、収集装置１０は、収集画像の中から、ｘ＝０、ｙ＝０、ｚ＝０の平面で分割された８個の空間それぞれからの正投影図の数をカウントする。そして、収集装置１０は、カウントした正投影図の数が所定値以下である空間からの正投影図が抽出可能な撮像画像が得られる位置にユーザを誘導する。

例えば、収集画像が、図１のオブジェクト２０からユーザの方向（ｚ軸のマイナス方向）を見て右側から見た画像に偏っている場合、収集装置１０は、左側にユーザを誘導する。

また、収集データ１２２を用いることで、オブジェクト２０をマーカとするＡＲを容易に行うことができるようになる。例えば、ＡＲを実行する際に撮像されたＡＲ用の画像内に収集画像のいずれかが映っている場合、収集画像及び収集したパラメータから、オブジェクト２０の正面の位置を基準としたときの、当該ＡＲ用の画像を撮像しているカメラの位置及び姿勢を特定することができる。

（第１の実施形態の処理）
図７を用いて、収集装置１０の処理について説明する。図７は、第１の実施形態に係る収集装置の処理の流れを示すフローチャートである。まず、収集装置１０は、オブジェクト２０の画像を撮像する（ステップＳ１０１）。このとき、マーカ３０がオブジェクト２０の付近の所定の位置に備えられているものとする。

次に、収集装置１０は、撮像した画像内のマーカ３０を基に、カメラ１１の位置と姿勢を特定する（ステップＳ１０２）。ここで、収集装置１０は、撮像した画像及びパラメータを取得する（ステップＳ１０３）。パラメータは、外部パラメータ及び内部パラメータを含む。

さらに、収集装置１０は、撮像した画像から、オブジェクト２０が映った領域の画像を抽出する（ステップＳ１０４）。例えば、収集装置１０は、前述の仮想カメラ１１ａを用いた手法により正投影図を抽出する。収集装置１０は、抽出した画像及びパラメータを記憶部１２に格納する（ステップＳ１０５）。

ここで、ユーザの操作等により撮像が終了した場合（ステップＳ１０６、Ｙｅｓ）、収集装置１０は処理を終了する。また、引き続き撮像が行われる場合（ステップＳ１０６、Ｎｏ）、収集装置１０はステップＳ１０１に戻り、処理を繰り返す。

（第１の実施形態の効果）
これまで説明してきたように、収集装置１０はカメラ１１を用いて画像を撮像する。また、収集装置１０は、撮像した画像である撮像画像内のマーカ３０を基に、カメラ１１の位置及び姿勢を特定する。また、収集装置１０は、撮像画像と、特定した位置及び姿勢を示すパラメータと、を対応付けて取得する。このため、本実施形態によれば、特定のオブジェクトの画像を効率的に収集することができる。例えば、本実施形態によれば、従来手動で行われていた画像のトリミングを自動で行うことができる。また、画像とともに収集されたパラメータは、機械学習の教師データに含めることができるため、収集したデータの活用の幅を広げることができる。

また、収集装置１０は、パラメータを基に、撮像画像から、マーカ３０に対してあらかじめ定められた位置にある所定の領域の画像を抽出する。これにより、ＡＲを用いて撮像対象オブジェクトの位置を特定することができるようになる。

また、収集装置１０は、マーカ３０に対してあらかじめ定められた位置に仮想的に配置された立体が中心になるような正投影図を抽出する。これにより、抽出する画像にオブジェクトを大きく映すことができるようになる。

なお、本実施形態の収集装置１０で実行されるプログラムは、ＲＯＭ等にあらかじめ組み込まれて提供される。本実施形態の収集装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の収集装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の収集装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

本実施形態の収集装置１０で実行されるプログラムは、上述した各部（特定部１３１、取得部１３２及び抽出部１３３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特定部１３１、取得部１３２及び抽出部１３３が主記憶装置上に生成されるようになっている。

本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 収集装置
１１ カメラ
１２ 記憶部
１３ 制御部
２０ オブジェクト
３０ マーカ
１２１ ＡＲ情報
１２２ 収集データ
１３１ 特定部
１３２ 取得部
１３３ 抽出部

Claims (5)

1. 画像を撮像する撮像部と、
   前記撮像部によって撮像された画像である撮像画像内のマーカを基に、前記撮像部の位置及び姿勢を特定する特定部と、
   前記撮像画像と、前記特定部によって特定された位置及び姿勢を示すパラメータと、を対応付けて取得する取得部と、
   を有することを特徴とする収集装置。
2. 前記パラメータを基に、前記撮像画像から、前記マーカに対してあらかじめ定められた位置にある所定の領域の画像を抽出する抽出部をさらに有することを特徴とする請求項１に記載の収集装置。
3. 前記抽出部は、前記マーカに対してあらかじめ定められた位置に仮想的に配置された立体が中心になるような正投影図を抽出することを特徴とする請求項２に記載の収集装置。
4. コンピュータによって実行される収集方法であって、
   カメラによって撮像された画像である撮像画像内のマーカを基に、前記撮像画像を撮像した時の前記カメラの位置及び姿勢を特定する特定工程と、
   前記撮像画像と、前記特定工程によって特定された位置及び姿勢を示すパラメータと、を対応付けて取得する取得工程と、
   を含むことを特徴とする収集方法。
5. コンピュータを、
   カメラによって撮像された画像である撮像画像内のマーカを基に、前記撮像画像を撮像した時の前記カメラの位置及び姿勢を特定する特定手段と、
   前記撮像画像と、前記特定手段によって特定された位置及び姿勢を示すパラメータと、を対応付けて取得する取得手段と、
   として機能させることを特徴とする収集プログラム。

Images