JP2017058831A - 情報特定システム、情報特定方法及び、そのプログラム - Google Patents

Abstract

【課題】撮像画像から情報を特定するにあたり、撮影されたエリアに存在する物体の情報を参酌することで、情報の特定を効率的に行う情報特定システム、情報特定方法及び、情報特定プログラムを提供する。
【解決手段】 撮像画像に映った物体の情報を特定する情報特定システム１０であって、所定のエリアに存在する物体の情報をデータベースに予め登録し、撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定し、撮像画像に映った物体の特徴量を検出し、特定したエリア情報と、検出した特徴量と、をデータベースと照合して、撮像画像に映った物体の情報を特定する。
【選択図】図２

Description

本発明は、撮像画像から情報を特定する情報特定システム、情報特定方法及び、情報特定プログラムに関する。

近年、ＩｏＴ（Internet of Things）化により、情報を収集するためのセンサの重要性が増している。現場のセンサが収集した情報をデータセンター側が受信し、現場の状況を解析したり、状況を管理者に通知する。

ここで使用されるセンサは、カメラを用いることが知られている。現場のカメラで撮影した画像を、画像解析して、現場に異常が発生していないかを確認することができる。例えば、撮影している場所に、不審者がいないかを、撮像画像から検知して、管理者に伝えることなどが知られている。

このように撮像画像を解析して、情報を特定する方法は、特定する情報の特徴が、普段の撮像画像と比較して顕著な違いがないと、特定することが困難である。例えば、上述のように、カメラ撮影している箇所に、不審者が現れた場合は、普段、人が全く映らないカメラに、人が撮影されれば、不審者を検知することは難しくないが、普段、多数の人が映っている場合に、その多数の人の中から、不審者を特定することは困難である。すなわち、情報を特定するための特徴量の算出が課題となる。

一方、人物の顔の撮像画像の特徴量を分析して、情報を特定する方法が知られている（例えば、特許文献１）。特許文献１では、画像から顔領域のサイズに基づく特徴データの信頼度を算出して、データベースと照合して、対象人物を認識する。このように、撮像画像の特徴量を抽出して、予めその特徴量に関するデータベースを照合することで、情報を特定することができることが知られている。

特開２０１４−０４４５０３号公報

しかしながら、このような従来の方法は、移動しながら撮影された画像の情報を特定するには適していない。例えば、あるフィールドを移動しながら、上空のカメラ撮影をした場合に、駐車場と道路の色は、撮像画像からはグレーでほぼ同一であり、撮像画像からは、僅かな違いしか見られない。したがって、その違いを特定したい場合、特徴量の値が僅かな違いとなり、情報特定が困難になる。この場合、結果として、情報の特定が正確に行えない場合がある。そこで、本発明者は、撮像画像のみで情報を特定することは限界があり、他の情報も参照することで、情報の特定が効率的になるのでないかという点に着目した。

本発明は、撮像画像から情報を特定するにあたり、撮影されたエリアに存在する物体の情報を参酌することで、情報の特定を効率的に行う情報特定システム、情報特定方法及び、情報特定プログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、撮像画像に映った物体の情報を特定する情報特定システムであって、
所定のエリアに存在する物体の情報が予め登録してあるデータベースと、
前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するエリア属性特定手段と、
前記撮像画像に映った物体の特徴量を検出する特徴量検出手段と、
前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定する物体情報特定手段と、
を備えることを特徴とする情報特定システムを提供する。

第１の特徴に係る発明によれば、撮像画像に映った物体の情報を特定する情報特定システムは、所定のエリアに存在する物体の情報を予め登録し、撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定し、撮像画像に映った物体の特徴量を検出して、特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、撮像画像に映った物体の情報を特定する。

第２の特徴に係る発明は、第１の特徴に係る発明であって、さらに、前記特徴量検出手段は、前記撮像画像の濃淡・色彩又は、テクスチャ、幾何学的特徴の少なくともいずれか一つに基づいて特徴量を検出する情報特定システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である情報特定システムは、撮像画像の濃淡・色彩又は、テクスチャ、幾何学的特徴の少なくともいずれか一つに基づいて特徴量を検出する。

第３の特徴に係る発明は、第１の特徴に係る発明であって、さらに、前記撮像画像を撮影する装置が無人航空機である情報特定システムを提供する。

第４の特徴に係る発明は、撮像画像に映った物体の情報を特定する情報特定システムであって、
所定のエリアに存在する物体の情報が予め登録してあるデータベースと接続可能な接続手段と、
前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを前記データベースを参照することで、特定するエリア属性特定手段と、
前記撮像画像に映った物体の特徴量を検出する特徴量検出手段と、
前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定する物体情報特定手段と、を備えることを特徴とする情報特定システムを提供する。

第４の特徴に係る発明によれば、撮像画像に映った物体の情報を特定する情報特定システムは、所定のエリアに存在する物体の情報が予め登録してあるデータベースと接続し、撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを前記データベースを参照することで、特定し、撮像画像に映った物体の特徴量を検出する。そして、特定したエリア情報と、検出した特徴量と、をデータベースと照合して、撮像画像に映った物体の情報を特定する。

本発明によれば、撮像画像から情報を特定するにあたり、撮影されたエリアに存在する物体の情報を参酌することで、情報の特定を効率的に行う情報特定システム、情報特定方法及び、情報特定プログラムを提供することが可能となる。

図１は、情報特定システム１０、移動撮影機１００のハードウェア構成とソフトウェア機能ブロック図である。 図２は、情報特定システム１０が実行する情報特定処理を示すフローチャートである。 図３は、移動撮影機１００がエリア内を移動したことを示す概念図である。 図４は、撮影するエリアと物体種別を対応付けた物体エリア対応テーブルの一例である。 図５は、エリアの指定を示す他の実施例である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［情報特定システム１０、移動撮影機１００の構成］
図１は、情報特定システム１０のハードウェア構成とソフトウェア機能を説明するためのブロック図である。

情報特定システム１０は、サーバ、パソコン、スマートフォン等のコンピュータ装置であってよい。情報特定システム１０は、データを制御する制御部２０、他の機器と通信を行う通信部３０、データを記憶する記憶部４０を少なくとも備える。情報特定システム１０は、制御部２０が制御した画像やデータ、例えば、下記の処理で特定した物体を視聴可能な表示部等の外部出力部を備えていてよい。また、下記の処理で特定した物体を他の端末から視聴可能な出力手段を備えていてもよい。

物体エリア対応データベース４３、４５は、後述する物体とエリアを対応付けた物体エリア対応テーブルが記憶されているデータベースである。物体エリア対応データベース４３、４５は、物体エリア対応データベース４３のように情報特定システム１０の記憶部４０に備えられていてもよいし、物体エリア対応データベース４５のように外部のデータベースであって、通信部３０のデータベース接続モジュール３２によりアクセス可能であってもよい。物体エリア対応データベース４５は、外部のデータベースとして、一つのサーバではなく、複数の外部サーバで構成されていてもよい。

制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。通信部３０は、他の機器と通信可能にするためのデバイス、例えば、通信回線網に接続して通信実現するモジュールや、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。記憶部４０は、データを記憶する装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。

情報特定システム１０において、制御部２０が所定のプログラムを読み込むことで、エリア属性特定モジュール２１と、特徴量検出モジュール２２と、物体情報特定モジュール２３を実現する。また、情報特定システム１０において、制御部２０が所定のプログラムを読み込むことで、通信部３０と協働して、データベース接続モジュール３２を実現する。

移動撮影機１００は、ドローン、マルチコプターといった無人航空機であってよいし、カメラ等の撮像部１５０を備え、移動可能であれば、スマートフォン、タブレット端末のような移動型端末であってもよい。また、車、船、電車、自転車、飛行機等に搭載できる情報機器であってもよい。

移動撮影機１００は、さらに、移動撮影機１００の位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニットを備えた位置検出部１４０を備えてよい。ＧＰＳユニットは、衛星からの信号を受信して位置を、移動撮影機１００の緯度、経度を検出するＧＰＳ受信機である。また、位置検出部１４０は、高度計であってもよい。すなわち、画像撮影が、緯度・経度を固定して、高さ方向に撮影する場合は、高度計の高度（地上からの高さ）によって、下記で説明するエリアを決定する。以下では、緯度・経度でエリアを形成する場合についてのみ説明するが、本実施例は、高さ方向にエリアを形成する場合にも適用される。

移動撮影機１００は、さらに、カメラ等の撮像部１５０を備え、これは、画像が撮影できるカメラであってよく、ＣＣＤ（Charge-Coupled Device）カメラ、ＣＭＯＳ（Complementary MOS）カメラ等であってよい。移動撮影機１００は、情報特定システム１０と同様に、ＣＰＵ等から構成される制御部１２０と、他の機器との通信を実現する通信部１３０と、データを記憶するデータ記憶部（図示せず）を備える。

移動撮影機１００が撮影する画像データは、通常の静止画像である写真であってもよいし、動画をコマ割りにしたデータであってもよい。また、赤外線等の所定の電磁波を撮影した画像や、点群データであってもよい。

移動撮影機１００の撮像部１５０が撮影した画像に、位置検出部１４０が、その画像を撮影したタイミングで検出した位置情報（緯度、経度、高さ）を対応付けて、画像データのプロパティ情報等に記憶しておく。この位置情報が記憶された画像データを、通信部１００が、情報特定システム１０に送信する。画像データを送信するタイミングは、撮影して即座のタイミングであってよい。

［情報特定処理］
図２は、情報特定システム１０が実行する情報特定処理のフローチャートである。上述した各ハードウェアと、ソフトウェアモジュールが実行する処理について、本処理に併せて説明する。

最初に、情報特定システム１０は、情報特定システム１０を使用するユーザから、エリアの指示を受付け、エリアを決定する（ステップＳ１０）。すなわち、これから移動撮影機１００が撮影する範囲全体を、緯度と経度の値として受け付け、その中をエリアとして複数の領域に区切る操作を受付ける。これにより、撮影範囲に複数のエリアを形成する。エリアは、撮影範囲を等間隔に升目状に区切って、個々の升をエリアとしてもよいが、対応付ける物体が区別できるように、物体毎に柔軟な大きさと形でエリアを定めてもよい（図５にて後述する）。

次に、移動撮影機１００を撮影するエリアと、そのエリアに存在する物体の情報の対応付けを受付け（ステップＳ１１）、図４に示す物体エリア対応テーブルを生成する。例えば、図３に示すように、移動撮影機１００が、撮影する対象エリア（画像データが取得できる位置範囲）が、エリアＡからエリアＦで構成される場合、このエリアＡ、エリアＢ等の個々のエリアが、何の物体が存在するかを、ユーザが指定する。

例えば、図４の例では、エリアＡは、物体１，２，３が存在し、エリアＢは、物体２，４が存在するといった対応付けになる。ここでの物体とは、具体的な物質や材料等の“もの”、例えば、コンクリート、家瓦、車、土等のみではなく、道路、駐車場、公園、ビル等の人が区別可能な対象を含む。

次に、実際に撮影が開始され、この例では、図３に示す「START」から、移動撮影機１００が移動を開始し、曲線で示す移動を行う。ここでは、START→エリアＡ→Ｂ→Ｃ→Ｄ→Ｅ→Ｆ→START（元に戻る）の順番で移動する（好適には、撮影する際の地上からの高さは一定の高さに固定される）。移動後、もしくは、移動中、画像を撮影した所定のタイミングで、情報特定システム１０は、移動撮影機１００から撮像画像である画像データを受信する（ステップＳ１２）。そして、エリア属性特定モジュール２１は、画像データのプロパティに対応付けられた位置情報（経度、緯度）から、撮影された画像データの位置を検出し（ステップＳ１３）、上記のどのエリアに、撮影された画像データが属するかを特定する（ステップＳ１４）。例えば、図３の星マークの箇所の位置情報を備える画像データは、エリアＢとなる。

そして、特徴量検出モジュール２２は、受信した画像データの特徴量（例えば、ＲＧＢ出力の特徴量）を検出する（ステップＳ１５）。特徴量の検出方法は、撮像画像の濃淡・色彩（スペクトル特徴）又は、テクスチャ（空間的特徴）、形や大きさなどの幾何学的特徴のいずれか、または、これらの組み合わせであってよい。また、画像データを周波数変換して、特徴量を検出してもよい。

次に、物体情報特定モジュール２３は、エリア属性特定モジュール２１が特定したエリアと、特徴量検出モジュール２２が検出した特徴量と、物体エリア対応テーブルと、を照合して、画像データに撮影された物体を特定する（ステップＳ１６）。例えば、先ほどの例で、エリアＢに特定された画像データは、物体エリア対応テーブルを参照すれば、物体は、物体２か物体４であるから、検出した特徴量を、物体２と物体４の特徴量と比較して、どちらの物体であるかを判断する。この際に、物体の情報を特定するにあたり、画像データの特徴量を、物体２、物体４の特徴量とだけ比較すればよいので、物体を特定するための計算量を比較的、少なくすることが可能となる。

上述の例では、図３に示すように、撮影範囲を等間隔の升目状にエリアを区切る場合で説明したが、撮影範囲に存在する物体から逆算して、エリアを決定してもよい。例えば、図５に示す撮影範囲３００のエリアを決定する際に、この撮影範囲の指定をユーザから受けると、撮影範囲の緯度と経度から、該当する地図データを読みだして、地図データの画像データやテキスト情報等から、大まかに物体を識別して、その識別された範囲を、エリアとして決定してよい。例えば、図５の例では、画像データやテキスト情報から、大まかに「道路」の範囲が識別される。したがって、この範囲を、エリアＡとして、その他の範囲も、ビルの部分をエリアＢ等に大まかに識別する。そして、画像データの取得後に、物体を特定すれば、物体の特定の精度が向上できる。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、ブルーレイ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク、ハードディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０ 情報特定システム、１００ 移動撮影機、４５ 物体エリア対応データベース

Claims (8)

1. 撮像画像に映った物体の情報を特定する情報特定システムであって、
   所定のエリアに存在する物体の情報が予め登録してあるデータベースと、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するエリア属性特定手段と、
   前記撮像画像に映った物体の特徴量を検出する特徴量検出手段と、
   前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定する物体情報特定手段と、
   を備えることを特徴とする情報特定システム。
2. 撮像画像に映った物体の情報を特定する情報特定システムであって、
   所定のエリアに存在する物体の情報が予め登録してある外部のデータベースと接続可能な接続手段と、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するエリア属性特定手段と、
   前記撮像画像に映った物体の特徴量を検出する特徴量検出手段と、
   前記特定したエリア情報と、前記検出した特徴量と、を前記外部のデータベースと照合して、前記撮像画像に映った物体の情報を特定する物体情報特定手段と、
   を備えることを特徴とする情報特定システム。
3. 前記特徴量検出手段は、前記撮像画像の濃淡・色彩又は、テクスチャ、幾何学的特徴の少なくともいずれか一つに基づいて特徴量を検出する請求項１または２に記載の情報特定システム。
4. 前記撮像画像を撮影する装置が無人航空機であり、
   当該無人航空機が備える高度計で撮像画像の高さ情報を検出する請求項１または２に記載の情報特定システム。
5. 撮像画像に映った物体の情報を特定する情報特定システムが実行する情報特定方法であって、
   所定のエリアに存在する物体の情報をデータベースに予め登録するステップと、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するステップと、
   前記撮像画像に映った物体の特徴量を検出するステップと、
   前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定するステップと、
   を備えることを特徴とする情報特定方法。
6. 撮像画像に映った物体の情報を特定する情報特定システムが実行する情報特定方法であって、
   所定のエリアに存在する物体の情報が予め登録されている外部のデータベースに接続するステップと、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するステップと、
   前記撮像画像に映った物体の特徴量を検出するステップと、
   前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定するステップと、
   を備えることを特徴とする情報特定方法。
7. 撮像画像に映った物体の情報を特定する情報特定システムに、
   所定のエリアに存在する物体の情報をデータベースに予め登録するステップ、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するステップ、
   前記撮像画像に映った物体の特徴量を検出するステップ、
   前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定するステップ、
   を実行させるためのプログラム。
8. 撮像画像に映った物体の情報を特定する情報特定システムに、
   所定のエリアに存在する物体の情報が予め登録されている外部のデータベースに接続するステップ、
   前記撮像画像の位置情報を検出して、当該位置情報がどの前記エリアに属するかを特定するステップ、
   前記撮像画像に映った物体の特徴量を検出するステップ、
   前記特定したエリア情報と、前記検出した特徴量と、を前記データベースと照合して、前記撮像画像に映った物体の情報を特定するステップ、
   を実行させるためのプログラム。