JP2017102756A - 情報特定システム、情報特定方法及びそのプログラム - Google Patents

Abstract

【課題】対象物の特定をより正確にするとともに、処理を簡便化した情報特定システム及び情報特定方法を提供する。【解決手段】対象物の情報を登録するデータベースを有し、第１撮像手段が所定方向から対象物を撮像し、第２撮像手段が他方向から対象物を撮像し、第１撮像手段で撮像された対象物の情報をデータベースに登録し、第２撮像手段で撮像された対象物の情報を、データベースに登録された情報と照合して特定する。【選択図】図１

Description

本発明は、画像データに含まれる対象物の情報を特定する情報特定システム、情報特定方法及びそのプログラムに関する。

近年、撮像した対象物を特定するシステムが普及している。このようなシステムにおいて、撮像機能と、測位機能とを備える端末により対象物を撮像し、対象物を特定する。

例えば、特許文献１では、複数の対象物の位置情報を記憶し、撮像した撮像画像、撮像位置の位置情報及び撮像方向の情報に基づいて、対象物を特定する構成が開示されている。

特開２０１３−２２２３３５号公報

しかしながら、特許文献１の構成では、撮像画像、位置情報及び撮像方向の情報に基づいて、第１の対象物候補を特定した後、撮像地点から対象物までの距離に基づいて、第２の対象物候補を特定している。その結果、同じ対象物を撮像していたとしても、撮像地点の距離が変化することにより、誤った対象物を特定してしまうおそれや対象物候補複数回に分けて特定する処理が煩雑になってしまうおそれがあった。

そこで、本発明は、対象物の情報を、データベースに登録し、このデータベースに登録された情報と、撮像した撮像画像データとを照合して特定することにより、対象物の特定をより正確にするとともに、処理を簡便化する点に着目した。

本発明の目的は、対象物の特定をより正確にするとともに、処理を簡便化した情報特定システム、情報特定方法及びそのプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、対象物の情報を登録するデータベースと、
所定方向から前記対象物を撮像する第１撮像手段と、
他方向から前記対象物を撮像する第２撮像手段と、
前記第１撮像手段で撮像された前記対象物の情報を、前記データベースに登録する登録手段と、
前記第２撮像手段で撮像された前記対象物の情報を、前記データベースに登録された情報と照合して特定する特定手段と、
を備えることを特徴とする情報特定システムを提供する。

第１の特徴に係る発明によれば、情報特定システムは、対象物の情報を登録するデータベースを備え、所定方向から前記対象物を撮像し、他方向から前記対象物を撮像し、撮像された前記対象物の情報を、前記データベースに登録し、撮像された前記対象物の情報を、前記データベースに登録された情報と照合して特定する。

ここで、第１の特徴に係る発明は、情報特定システムのカテゴリであるが、情報特定方法、プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記第１撮像手段で複数回撮像した前記対象物を画像解析する解析手段をさらに備え、
前記登録手段は、前記画像解析した対象物の解析情報を前記データベースに登録し、
前記特定手段は、前記第２撮像手段で撮像された前記対象物の情報を、前記データベースに登録された解析情報と照合して特定する、第１の特徴に係る発明である情報特定システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である情報特定システムは、複数回撮像した前記対象物を画像解析し、前記画像解析した対象物の解析情報を前記データベースに登録し、撮像された前記対象物の情報を、前記データベースに登録された解析情報と照合して特定する。

第３の特徴に係る発明は、所定方向から対象物を撮像する第１撮像手段と、
他方向から前記対象物を撮像する第２撮像手段と、
前記第１撮像手段で撮像した第１撮像画像の特徴量を抽出する第１抽出手段と、
前記第２撮像手段で撮像した第２撮像画像の特徴量を抽出する第２抽出手段と、
前記第１抽出手段とで抽出した特徴量と、前記第２抽出手段で抽出した特徴量とを照合して前記対象物を特定する特定手段と、
を備えることを特徴とする情報特定システムを提供する。

第３の特徴に係る発明によれば、情報特定システムは、所定方向から対象物を撮像し、他方向から前記対象物を撮像し、撮像した第１撮像画像の特徴量を抽出し、撮像した第２撮像画像の特徴量を抽出し、抽出した特徴量と、抽出した特徴量とを照合して前記対象物を特定する。

ここで、第３の特徴に係る発明は、情報特定システムのカテゴリであるが、情報特定方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第４の特徴に係る発明は、情報特定システムが実行する情報特定方法であって、
対象物の情報を登録するステップと、
所定方向から前記対象物を撮像する第１ステップと、
他方向から前記対象物を撮像する第２ステップと、
前記第１ステップで撮像された前記対象物の情報を、登録するステップと、
前記第２ステップで撮像された前記対象物の情報を、登録された情報と照合して特定するステップと、
を備えることを特徴とする情報特定方法を提供する。

第５の特徴に係る発明は、情報特定システムが実行する情報特定方法であって、
所定方向から対象物を撮像するステップと、
他方向から前記対象物を撮像するステップと、
所定方向から撮像した第１撮像画像の特徴量を抽出する第１ステップと、
他方向から撮像した第２撮像画像の特徴量を抽出する第２ステップと、
前記第１ステップで抽出した特徴量と、前記第２ステップで抽出した特徴量とを照合して前記対象物を特定するステップと、
を備えることを特徴とする情報特定方法を提供する。

本発明によれば、対象物の特定をより正確にするとともに、処理を簡便化した情報特定システム、情報特定方法及びそのプログラムを提供することが可能となる。

図１は、第１の実施形態における情報特定システム１の概要を示す図である。 図２は、第２の実施形態における情報特定システム１の概要を示す図である。 図３は、第１の実施形態における情報特定システム１の全体構成図である。 図４は、第２の実施形態における情報特定システム１の全体構成図である。 図５は、第１の実施形態における情報特定サーバ１０及び携帯端末１００の機能ブロック図である。 図６は、第２の実施形態における携帯端末１００の機能ブロック図である。 図７は、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する対象物情報データベース登録処理のフローチャートである。 図８は、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する情報特定処理のフローチャートである。 図９は、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する３次元特定処理のフローチャートである。 図１０は、第２の実施形態における携帯端末１００が実行する情報登録処理のフローチャートである。 図１１は、第２の実施形態における携帯端末１００が実行する情報特定処理のフローチャートである。 図１２は、第２の実施形態における携帯端末１００が実行する３次元特定処理のフローチャートである。 図１３は、対象物と、撮像地点と、撮像方向とを模式的に示す図である。 図１４は、対象物情報データベースを示す図である。 図１５は、携帯端末１００が表示するテキスト情報と、撮像画像とを示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

［第１の実施形態における情報特定システム１の概要］
本発明の第１の実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な第１の実施形態である情報特定システム１の概要を説明するための図である。情報特定システム１は、情報特定サーバ１０、携帯端末１００、ＧＰＳ５から構成される。なお、携帯端末１００及び情報特定サーバ１０は、１つに限らず複数であっても良い。また、後述する各処理は、携帯端末１００又は情報特定サーバ１０の何れか又は双方が実行していても良い。

情報特定サーバ１０は、データ通信機能等を備えるサーバ装置である。

携帯端末１００は、データ通信機能等を備えるウェアラブル端末や電化製品である。携帯端末１００は、例えば、メガネ型端末、ヘッドマウントディスプレイ等のウェアラブル端末や、携帯電話、携帯情報端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品である。なお、携帯端末１００は、撮像機能やデータ通信機能等を備える無人航空機であっても良い。

はじめに、携帯端末１００は、所定方向から対象物の画像を撮像する（ステップＳ０１）。所定方向とは、対象物を撮像する一の撮像地点の方向を意味する。なお、携帯端末１００は、所定方向から対象物を複数回撮像しても良い。また、携帯端末１００の代わりに、後述の機能を備えた他の装置により、対象物を撮像しても良い。

携帯端末１００は、対象物を撮像した撮像位置を自身の位置情報として取得する（ステップＳ０２）。ステップＳ０２において、携帯端末１００は、ＧＰＳ５から自身の位置情報を取得する。位置情報とは、自身が存在する位置に関する情報である。

携帯端末１００は、対象物を撮像した撮像位置の方位を自身の方位情報として取得する（ステップＳ０３）。ステップＳ０３において、携帯端末１００は、電子コンパス等により、自身の方位情報を取得する。方位情報とは、自身の対象物に対する方位に関する情報である。

携帯端末１００は、撮像した撮像画像のデータと識別子とを含む情報である撮像画像情報と、位置情報と、方位情報と、対象物の名称や属性等のテキスト情報とを含む対象物情報を情報特定サーバ１０に送信する（ステップＳ０４）。

情報特定サーバ１０は、対象物情報を受信する。情報特定サーバ１０は、対象物情報に基づいて対象物情報データベースを作成し、登録する（ステップＳ０５）。ステップＳ０５において、情報特定サーバ１０は、対象物情報に含まれる撮像画像情報と、位置情報と、方位情報と、テキスト情報とを対応付けた対象物情報データベースを作成する。

次に、携帯端末１００は、所定方向又は所定方向とは異なる他方向から対象物を撮像する（ステップＳ０６）。他方向とは、ステップＳ０１において撮像した撮像地点とは異なる撮像地点を意味する。

携帯端末１００は、ステップＳ０２の処理と同様に、自身の位置情報を取得する（ステップＳ０７）。

携帯端末１００は、ステップＳ０３の処理と同様に、自身の方位情報を取得する（ステップＳ０８）。

携帯端末１００は、撮像画像情報と、位置情報と、方位情報とを含む特定用情報を、情報特定サーバ１０に送信する（ステップＳ０９）。

情報特定サーバ１０は、特定用情報を受信する。情報特定サーバ１０は、受信した特定用情報に含まれる位置情報と方位情報とを、対象物情報データベースに登録された情報と照合し、撮像画像情報を特定する（ステップＳ１０）。ステップＳ１０において、情報特定サーバ１０は、今回受信した位置情報と方位情報とに対応付けられた撮像画像情報を照合し、この位置情報と方位情報とが対応付けられた複数の撮像画像情報を対象物候補として特定する。情報特定サーバ１０は、今回受信した位置情報及び方位情報に近似する位置情報及び方位情報に対応付けられた撮像画像情報を対象物候補として特定する。なお、位置情報又は方位情報が近似する撮像画像情報を対象物候補として特定しても良い。

情報特定サーバ１０は、特定した複数の撮像画像情報を画像認識し、一の撮像画像情報を特定する（ステップＳ１１）。情報特定サーバ１０は、例えば、画像認識として、色彩、形状、３次元モデリングに基づいて認識し、一の撮像画像情報を特定する。

情報特定サーバ１０は、特定した一の撮像画像情報に対応付けられたテキスト情報を取得し、携帯端末１００に送信する（ステップＳ１２）。

携帯端末１００は、情報特定サーバ１０からテキスト情報を受信し、表示する（ステップＳ１３）。

以上が、第１の実施形態に係る好適な実施形態である情報特定システム１の概要である。なお、上述した各ステップは、携帯端末１００又は情報特定サーバ１０の何れか又は双方が実行しても良い。

［第１の実施形態における情報特定システム１のシステム構成］
図３に基づいて、第１の実施形態における情報特定システム１のシステム構成について説明する。図３は、本発明の好適な第１の実施形態である情報特定システム１のシステム構成を示す図である。情報特定システム１は、情報特定サーバ１０、携帯端末１００、公衆回線網３（インターネット網や第３、第４世代通信網等）、ＧＰＳ５から構成される。

情報特定サーバ１０は、後述の機能を備え、上述したサーバ装置である。

携帯端末１００は、後述の機能を備え、上述したウェアラブル端末、電化製品である。なお、携帯端末１００は、後述の機能を備えた無線航空機等であっても良い。

ＧＰＳ５は、一般的なＧＰＳである。

［第１の実施形態における各機能の説明］
図５に基づいて、第１の実施形態における各装置の構成について説明する。図５は、本発明の好適な第１の実施形態である情報特定サーバ１０及び携帯端末１００の機能ブロック図である。

情報特定サーバ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。

また、情報特定サーバ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３は後述する対象物情報データベースを有する。

情報特定サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、対象物情報受信モジュール２０、特定用情報受信モジュール２１、テキスト情報送信モジュール２２、撮像画像データ受信モジュール２３を実現する。また、情報特定サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、対象物情報登録モジュール３０、対象物情報特定モジュール３１を実現する。

携帯端末１００は、情報特定サーバ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備える。

また、携帯端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部と、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部に加え、ＧＰＳから自身の位置情報を取得可能なデバイスや、地磁気センサ等により自身の方位情報を取得可能なデバイス等を備える。また、携帯端末１００は、撮像部１５０として、動画や静止画等の画像を撮像するレンズや撮像素子等の撮像デバイスを備える。

携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して対象物情報送信モジュール１６０、特定用情報送信モジュール１６１、テキスト情報受信モジュール１６２、撮像画像データ送信モジュール１６３を実現する。また、携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、位置情報取得モジュール１８０、方位情報取得モジュール１８１、テキスト入力受付モジュール１８２、表示モジュール１８３を実現する。また、携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、撮像部１５０と協働して、撮像モジュール１９０を実現する。

［第１の実施形態における対象物情報データベース登録処理］
図７に基づいて、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する対象物情報データベース登録処理について説明する。図７は、情報特定サーバ１０及び携帯端末１００が実行する対象物情報データベース登録処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、撮像モジュール１９０は、所定方向から対象物を撮像する（ステップＳ４０）。所定方向とは、対象物を撮像する一の撮像地点から対象物を撮像する方向を意味する。なお、ステップＳ４０の処理は、複数回行われても良い。また、携帯端末１００の代わりに、後述の各処理を実行する装置により、対象物が撮像されても良い。

図１３に基づいて、撮像モジュール１９０が撮像する所定方向及び他方向について説明する。図１３は、対象物と、撮像地点と、撮像方向とを模式的に示す図である。図１３において、撮像モジュール１９０は、対象物３００を複数の撮像地点３１０〜３３０において矢印３４０〜３６０の方向に撮像することを示している。本実施形態における所定方向とは、撮像地点３１０において矢印３４０の方向に撮像することを意味する。また、他方向とは、撮像地点３５０において矢印３５０の方向又は撮像地点３６０において矢印３６０の方向に撮像することを意味する。なお、所定方向及び他方向は、図示している撮像地点以外の場所の方向であっても良く、上述した地点に限定されるものではない。

位置情報取得モジュール１８０は、自身の位置情報をＧＰＳ５から取得する（ステップＳ４１）。ステップＳ４１において、位置情報取得モジュール１８０は、撮像地点３１０の位置情報を取得する。位置情報とは、撮像地点に関する情報である。

方位情報取得モジュール１８１は、自身が向いている方位を示す方位情報を電子コンパスにより取得する（ステップＳ４２）。ステップＳ４２において、方位情報取得モジュール１８１は、矢印３４０の方向を方位情報として取得する。方位情報とは、対象物に対する自身の方位に関する情報である。なお、方位情報取得モジュール１８１は、電子コンパス以外の方法により自身の方位情報を取得しても良い。

テキスト入力受付モジュール１８２は、撮像した対象物に関するテキスト情報として、名称や属性等の各種テキストの入力を受け付ける（ステップＳ４３）。

なお、ステップＳ４１乃至Ｓ４３の各処理は、順番を適宜変更しても良い。

対象物情報送信モジュール１６０は、撮像画像データ及びこの撮像画像データの識別子を含む撮像画像情報と、位置情報と、方位情報と、テキスト情報とを対象物情報として情報特定サーバ１０に送信する（ステップＳ４４）。

対象物情報受信モジュール２０は、携帯端末１００が送信した対象物情報を受信する。対象物情報登録モジュール３０は、受信した対象物情報に基づいて、撮像画像情報と、位置情報と、方位情報と、テキスト情報と対象物情報データベースに登録する（ステップＳ４５）。

［対象物情報データベース］
図１４に基づいて、対象物情報データベースについて説明する。図１４は、対象物情報登録モジュール３０が登録する対象物情報データベースを示す図である。図１４において、対象物情報登録モジュール３０は、撮像画像情報と、位置情報と、方位情報と、テキスト情報とを対応付けて記憶する。撮像画像情報は、撮像画像の識別子であり、この識別子には、撮像画像の撮像画像データが紐付けられている。位置情報は、撮像地点の位置を示すＧＰＳ座標を示す情報である。方位情報は、撮像地点から対象物の方位を示す情報である。テキスト情報は、対象物の名称や属性等の各種情報である。なお、撮像画像情報として、撮像画像データそのものが登録されていても良い。また、位置情報として、その他の表記態様により登録されていても良い。また、方位情報として、その他の表記態様により登録されていても良い。また、テキスト情報として、名称以外のその他の情報が登録されていても良い。また、これらの各情報に加えて、その他の情報が登録されていても良い。

図１４において、撮像画像情報「画像Ａ」と、位置情報「Ｘ０，Ｙ０」と、方位情報「北西」と、テキスト情報「ＸＸ証券所」とが対応付けられている。また、撮像画像情報「画像Ｂ」と、位置情報「Ｘ１，Ｙ１」と、方位情報「北」と、テキスト情報「ＸＸ証券所」とが対応付けられている。また、撮像画像情報「画像Ｃ」と、位置情報「Ｘ２，Ｙ２」と、方位情報「西北西」と、テキスト情報「ＸＸ証券所の木」とが対応付けられている。なお、本実施形態において、画像Ａは、撮像地点３２０から撮像されたものであり、画像Ｂは、撮像地点３１０から撮像されたものであり、画像Ｃは、撮像地点３３０から撮像されたものである。

以上が、第１の実施形態における対象物情報データベース作成処理である。

［第１の実施形態における情報特定処理］
図８に基づいて、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する情報特定処理について説明する。図８は、情報特定サーバ１０及び携帯端末１００が実行する情報特定処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、撮像モジュール１９０は、対象物の撮像指示を受け付けたか否かを判断する（ステップＳ５０）。ステップＳ５０において、撮像モジュール１９０は、撮像指示を受け付けていないと判断した場合（ステップＳ５０ ＮＯ）、撮像指示を受け付けるまで本処理を繰り返す。

一方、ステップＳ５０において、撮像モジュール１９０は、撮像指示を受け付けたと判断した場合（ステップＳ５０ ＹＥＳ）、対象物を撮像する（ステップＳ５１）。ステップＳ５１において、撮像モジュール１９０は、所定方向又は他方向の何れかから対象物を撮像する。

位置情報取得モジュール１８０は、ステップＳ４１の処理と同様に、自身の位置情報を取得する（ステップＳ５２）。

方位情報取得モジュール１８１は、ステップＳ４２と同様に、自身の方位情報を取得する（ステップＳ５３）。

なお、ステップＳ５２及びＳ５３の各処理は、順番を適宜変更しても良い。

特定用情報送信モジュール１６１は、撮像画像情報と、位置情報と、方位情報とを含む特定用情報を、情報特定サーバ１０に送信する（ステップＳ５４）。

特定用情報受信モジュール２１は、特定用情報を受信する。対象物情報特定モジュール３１は、受信した特定用情報に含まれる位置情報と方位情報とを、対象物情報データベースに登録された位置情報と方位情報と照合し、複数の撮像画像情報の各々に紐付けられた撮像画像データを候補として特定する（ステップＳ５５）。ステップＳ５５において、対象物情報特定モジュール３１は、今回受信した位置情報と方位情報とに対応付けられた撮像画像情報を照合し、この位置情報と方位情報とが対応付けられた複数の撮像画像情報を対象物候補として特定する。また、対象物情報特定モジュール３１は、今回受信した位置情報及び方位情報の何れか又は双方に近似する位置情報又は方位情報に対応付けられた撮像画像情報を対象物候補として特定する。

対象物情報特定モジュール３１は、特定した複数の撮像画像データを画像認識し、一の撮像画像データを特定し、この撮像画像データに紐付けられた撮像画像情報を特定する（ステップＳ５６）。対象物情報特定モジュール３１は、画像認識として、例えば、色彩、形状、３次元モデリング等を認識する処理を実行する。

ステップＳ５６において、対象物情報特定モジュール３１は、特定した複数の撮像画像データの形状認識を行い、対象物の候補として複数の形状を認識する。対象物情報特定モジュール３１は、今回受信した撮像画像情報に含まれる撮像画像データの形状認識を行い、対象物の形状を認識する。対象物情報特定モジュール３１は、特定した複数の対象物の候補の形状と、受信した撮像画像データの形状とを比較し、一致する形状を有する撮像画像データを特定し、この撮像画像データに紐付けられた撮像画像情報を特定する。なお、対象物情報特定モジュール３１は、形状の他に、色彩、３次元モデリング等の他の方法により撮像画像情報を特定しても良い。

また、ステップＳ５６において、対象物情報特定モジュール３１は、撮像画像データに含まれる対象物として、例えば、一の撮像画像データに含まれるものの内、最も面積が大きいものを対象物として特定する。また、撮像画像データに含まれる全てのものを対象物として特定しても良い。なお、対象物情報特定モジュール３１は、撮像画像データに含まれる対象物をその他の態様により対象物として判断し、特定しても良い。

対象物情報特定モジュール３１は、対象物情報データベースにおいて、特定した撮像画像情報に対応付けて登録されたテキスト情報を特定する（ステップＳ５７）。

テキスト情報送信モジュール２２は、特定したテキスト情報を、携帯端末１００に送信する（ステップＳ５８）。

テキスト情報受信モジュール１６２は、情報特定サーバ１０が送信したテキスト情報を受信する。表示モジュール１８３は、受信したテキスト情報と、撮像した撮像画像とを表示する（ステップＳ５９）。

図１５は、表示モジュール１８３が表示するテキスト情報と、撮像画像とを示す図である。図１５において、表示モジュール１８３は、撮像画像表示領域４００と、テキスト情報表示領域４１０とを表示する。表示モジュール１８３は、撮像画像表示領域４００内に、撮像画像を表示する。表示モジュール１８３は、テキスト情報表示領域４１０内に、テキスト情報を表示する。なお、テキスト表示領域４１０の形状や位置は適宜変更可能であり、例えば、テキスト表示領域４１０を対象物に重畳させて表示させても良いし、撮像画像表示領域４００内の別の箇所に表示しても良いし、テキスト表示領域４１０を表示することに併せて音声通知によりテキスト情報を読み上げても良いし、他の装置に特定したテキスト情報や撮影画像データを送信しても良い。

以上が、第１の実施形態における情報特定処理である。なお、上述した各処理は、携帯端末１００又は情報特定サーバ１０の何れか又は双方が実行しても良い。

［第１の実施形態における３次元特定処理］
図９に基づいて、第１の実施形態における情報特定サーバ１０及び携帯端末１００が実行する３次元特定処理について説明する。図９は、情報特定サーバ１０及び携帯端末１００が実行する３次元特定処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

撮像モジュール１９０は、所定方向から、一の対象物を撮像する（ステップＳ７０）。ステップＳ７０の処理は、上述したステップＳ４０の処理と同様である。

撮像画像データ送信モジュール１６３は、撮像した対象物の画像データである撮像画像データを、情報特定サーバ１０に送信する（ステップＳ７１）。ステップＳ７１において、例えば、森の中の一の木を集中的に撮像する。

撮像画像データ送信モジュール１６３は、撮像画像データを所定回数送信したか否かを判断する（ステップＳ７２）。所定回数とは、例えば、２回以上の複数回数である。ステップＳ７２において、撮像画像データ送信モジュール１６３は、所定回数、送信していないと判断した場合（ステップＳ７２ ＮＯ）、ステップＳ７０の処理を実行する。

撮像画像データ送信モジュール１６３は、撮像画像データを所定回数送信したと判断した場合（ステップＳ７２ ＹＥＳ）、テキスト入力受付モジュール１８２は、対象物に関するテキスト情報の入力を受け付け、対象物情報送信モジュール１６０は、テキスト情報を情報特定サーバ１０に送信する（ステップＳ７３）。

撮像画像データ受信モジュール２３は、携帯端末１００が送信した撮像画像データと、テキスト情報とを受信する。対象物情報特定モジュール３１は、撮像画像データに含まれる対象物に関するデータの３次元モデルを解析する（ステップＳ７４）。ステップＳ７４において、対象物情報特定モジュール３１は、受信した複数の撮像画像データの各々について、３次元モデルを解析する。

対象物情報登録モジュール３０は、解析した一の対象物の複数の３次元モデルに基づいて、一の対象物の３次元モデルを学習し、学習した３次元モデルの３次元データと、テキスト情報とを対応付けて記憶する（ステップＳ７５）。

情報特定サーバ１０は、上述したステップＳ５５以降の処理を実行する際、ステップＳ７５において記憶した３次元データとテキスト情報とに基づいて、対象物を特定する（ステップＳ７６）。ステップＳ７６において、例えば、情報特定サーバ１０は、他方向から撮像された撮像画像データを画像解析し、ステップＳ７５において記憶した３次元データと、画像解析した撮像画像データの３次元モデルの３次元データとを、比較することにより、対象物を特定する。３次元データの比較として、例えば、撮像画像データをエッジ抽出した形状と、記憶した３次元データとを比較する。なお、３次元データの比較は、他の態様であっても良い。

以上が、第１の実施形態における３次元特定処理である。なお、上述した各処理は、携帯端末１００又は情報特定サーバ１０の何れか又は双方が実行しても良い。

［第２の実施形態における情報特定システム１の概要］
本発明の第２の実施形態の概要について、図２に基づいて説明する。図２は、本発明の好適な第２の実施形態である情報特定システム１の概要を説明するための図である。情報特定システム１は、携帯端末１００、ＧＰＳ５から構成される。なお、第１の実施形態と同様の構成については、同様の符号を付し、同様の処理については、その詳細な説明は省略する。

携帯端末１００は、第１の実施形態と同様のウェアラブル端末や電化製品である。なお、第１の実施形態と同様に、無人航空機であっても良い。

はじめに、携帯端末１００は、所定方向から対象物の画像を撮像する（ステップＳ２０）。ステップＳ２０の処理は、上述したステップＳ０１の処理と同様である。

携帯端末１００は、上述したステップＳ０２と同様に、自身の位置情報を取得する（ステップＳ２１）

携帯端末１００は、上述したステップＳ０３と同様に自身の方位情報を取得する（ステップＳ２２）。

なお、ステップＳ２１及びＳ２２の各処理は、順番を適宜変更しても良い。

携帯端末１００は、撮像した撮像画像の情報である撮像画像情報と、位置情報と、方位情報と、テキスト情報とを含む対象物情報を記憶する（ステップＳ２３）。

次に、携帯端末１００は、上述したステップＳ０６と同様に、所定方向又は他方向から対象物を撮像する（ステップＳ２４）。

携帯端末１００は、上述したステップＳ０７の処理と同様に、自身の位置情報を取得する（ステップＳ２５）。

携帯端末１００は、ステップＳ０８の処理と同様に、自身の方位情報を取得する（ステップＳ２６）。

なお、ステップＳ２５及びＳ２６の各処理は、順番を適宜変更しても良い。

携帯端末１００は、ステップＳ２５及びステップＳ２６において取得した位置情報と方位情報とを、ステップＳ２３において記憶した位置情報と方位情報とを照合し、撮像画像情報を特定する（ステップＳ２７）。ステップＳ２７において、携帯端末１００は、今回取得した位置情報と方位情報とに対応付けられた撮像画像情報を照合し、この位置情報と方位情報とが対応付けられた複数の撮像画像情報を対象物候補として特定する。携帯端末１００は、今回取得した位置情報及び方位情報に近似する位置情報及び方位情報に対応付けられた撮像画像情報を対象物候補として特定する。なお、位置情報又は方位情報が近似する撮像画像情報を対象物候補として特定しても良い。

携帯端末１００は、特定した複数の対象物候補の撮像画像情報の特徴量を第１の特徴量として其々抽出し、今回撮像した撮像画像情報の特徴量を第２の特徴量として抽出し、第１の特徴量と第２の特徴量とを照合し、一の撮像画像情報を特定する（ステップＳ２８）。携帯端末１００は、例えば、撮像画像情報の特徴量として、色彩、形状、３次元モデリングに基づいた特徴量を抽出する。携帯端末１００は、抽出した特徴量が一致するか否かに基づいて、撮像画像情報を照合し、特定する。

携帯端末１００は、特定した一の撮像画像情報に対応付けられたテキスト情報を取得し、表示する（ステップＳ２９）

以上が、第２の実施形態に係る好適な実施形態である情報特定システム１の概要である。

［第２の実施形態における情報特定システム１のシステム構成］
図４に基づいて、第２の実施形態における情報特定システム１のシステム構成について説明する。図４は、本発明の好適な第２の実施形態である情報特定システム１のシステム構成を示す図である。なお、第１の実施形態と同様の構成については、同一の符号を付し、その詳細な説明は省略する。

情報特定システム１は、携帯端末１００、ＧＰＳ５から構成される。携帯端末１００は、後述の機能を備えた第１の実施形態と同様のウェアラブル端末、電化製品、無線航空機等である。ＧＰＳ５は、第１の実施形態と同様である。

［第２の実施形態における各機能の説明］
図６に基づいて、各装置の構成について説明する。図６は、本発明の好適な第２の実施形態である携帯端末１００の機能ブロック図である。

携帯端末１００は、上述した制御部１１０、記憶部１３０、入出力部１４０、撮像部１５０を備える。

携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１３０と協働して、対象物情報記憶モジュール１７０、対象物情報特定モジュール１７１を実現する。また、携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、位置情報取得モジュール１８０、方位情報取得モジュール１８１、テキスト入力受付モジュール１８２、表示モジュール１８３を実現する。また、携帯端末１００において、制御部１１０が所定のプログラムを読み込むことにより、撮像部１５０と協働して、撮像モジュール１９０を実現する。

［第２の実施形態における情報登録処理］
図１０に基づいて、第２の実施形態における携帯端末１００が実行する情報登録処理について説明する。図１０は、携帯端末１００が実行する情報登録処理のフローチャートである。上述した装置の各モジュールが実行する処理について、本処理に併せて説明する。
なお、上述した第１の実施形態と同様の処理については、その詳細な説明は省略する。上述した第１の実施形態との相違点は、第１の実施形態では、対象物情報データベースが存在しているのに対して、本実施形態では、対象物情報データベースが存在していない点である。

はじめに、撮像モジュール１９０は、所定方向から対象物を撮像する（ステップＳ８０）。ステップＳ８０の処理は、上述したステップＳ４０の処理と同様である。なお、所定方向及び他方向は、上述した第１の実施形態と同様であるため、その詳細な説明は省略する。

位置取得モジュール１８０は、自身の位置情報をＧＰＳ５から取得する（ステップＳ８１）。ステップＳ８１の処理は、上述したステップＳ４１の処理と同様である。

方位情報取得モジュール１８１は、自身の方位情報を取得する（ステップＳ８２）。ステップＳ８２の処理は、上述したステップＳ４２の処理と同様である。

テキスト入力受付モジュール１８２は、撮像した対象物に関するテキスト情報の入力を受け付ける（ステップＳ８３）。ステップＳ８３の処理は、上述したステップＳ４３の処理と同様である。

なお、ステップＳ８１、Ｓ８２及びＳ８３の各処理は、第１の実施形態と同様に、順番を適宜変更可能である。

対象物情報記憶モジュール１７０は、対象物情報を記憶する（ステップＳ８４）。

以上が、第２の実施形態における情報登録処理である。

［第２の実施形態における情報特定処理］
図１１に基づいて、第２の実施形態における携帯端末１００が実行する情報特定処理について説明する。図１１は、携帯端末１００が実行する情報特定処理のフローチャートを示す図である。上述した装置の各モジュールが実行する処理について併せて説明する。

はじめに、撮像モジュール１９０は、対象物の撮像指示を受け付けたか否かを判断する（ステップＳ９０）。ステップＳ９０において、撮像モジュール１９０は、撮像指示を受け付けていないと判断した場合（ステップＳ９０ ＮＯ）、撮像指示を受け付けるまで本処理を繰り返す。

一方、ステップＳ９０において、撮像モジュール１９０は、撮像指示を受け付けたと判断した場合（ステップＳ９０ ＹＥＳ）、対象物を撮像する（ステップＳ９１）。ステップＳ９１において、撮像モジュール１９０は、所定方向又は他方向の何れかから対象物を撮像する。

位置情報取得モジュール１８０は、ステップＳ８１の処理と同様に、自身の位置情報を取得する（ステップＳ９２）。

方位情報取得モジュール１８１は、ステップＳ８２と同様に、自身の方位情報を取得する（ステップＳ９３）。

なお、ステップＳ９２及びＳ９３の各処理は、順番を適宜変更しても良い。

対象物情報特定モジュール１７１は、取得した位置情報と方位情報と、記憶した位置情報と方位情報とを照合し、複数の撮像画像情報の各々に紐付けられた撮像画像データを候補として特定する（ステップＳ９４）。ステップＳ９４の処理は、上述したステップＳ５５の処理と同様である。

対象物情報特定モジュール１７１は、特定した複数の撮像画像データを画像認識し、一の撮像画像データを特定し、この撮像画像データに紐付けられた撮像画像情報を特定する（ステップＳ９５）。ステップＳ９５において、対象物情報特定モジュール１７１は、特定した複数の対象物候補の撮像画像データの特徴量を第１の特徴量として其々抽出する。第１の特徴量とは、例えば、色彩、形状、３次元モデルである。また、対象物情報特定モジュール１７１は、今回撮像した撮像画像の撮像画像データの特徴量を第２の特徴量として抽出する。第２の特徴量とは、例えば、色彩、形状、３次元モデルである。対象物情報特定モジュール１７１は、第１の特徴量と第２の特徴量とを照合し、抽出した特徴量が一致する撮像画像データを特定し、撮像画像情報を特定する。

対象物情報特定モジュール１７１は、特定した撮像画像情報に対応付けられたテキスト情報を特定する（ステップＳ９６）。

表示モジュール１８３は、特定されたテキスト情報と、撮像した撮像画像とを表示する（ステップＳ９７）。ステップＳ９７の処理は、上述したステップＳ５９の処理と同様である。

以上が、第２の実施形態における情報特定処理である。

［第２の実施形態における３次元特定処理］
図１２に基づいて、第２の実施形態における携帯端末１００が実行する３次元特定処理について説明する。図１２は、携帯端末１００が実行する３次元特定処理のフローチャートである。上述した装置の各モジュールが実行する処理について、本処理に併せて説明する。

撮像モジュール１９０は、所定方向から、一の対象物を撮像する（ステップＳ１００）。ステップＳ１００の処理は、上述したステップＳ８０の処理と同様である。

対象物情報記憶モジュール１７０は、撮像した対象物の画像データである撮像画像データを記憶する（ステップＳ１０１）

対象物情報記憶モジュール１７０は、撮像画像データを所定回数記憶したか否かを判断する（ステップＳ１０２）。所定回数とは、例えば、２回以上の複数回数である。ステップＳ１０２において、対象物情報記憶モジュール１７０は、所定回数、記憶していないと判断した場合（ステップＳ１０２ ＮＯ）、ステップＳ１００の処理を実行する。

対象物情報記憶モジュール１７０は、撮像画像データを所定回数記憶したと判断した場合（ステップＳ１０２ ＹＥＳ）、テキスト入力受付モジュール１８２は、対象物に関するテキスト情報の入力を受け付ける（ステップＳ１０３）。

対象物情報特定モジュール１７１は、撮像画像データに含まれる対象物に関するデータの３次元モデルを解析する（ステップＳ１０４）。ステップＳ１０４において、対象物情報特定モジュール１７１は、記憶した複数の撮像画像データの各々について、３次元モデルを解析する。

対象物情報記憶モジュール１７０は、解析した一の対象物の複数の３次元モデルに基づいて、一の対象物の３次元モデルを学習し、学習した３次元モデルの３次元データと、テキスト情報とを対応付けて記憶する（ステップＳ１０５）。

携帯端末１００は、上述したステップ９５以降の処理を実行する際、ステップＳ１０５において記憶した３次元データとテキスト情報とに基づいて、対象物を特定する（ステップＳ１０６）。ステップＳ１０６の処理は、上述したステップＳ７６の処理と同様である。

以上が、第２の実施形態における３次元特定処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 情報特定システム、１０ 情報特定サーバ、１００ 携帯端末

第１の特徴に係る発明は、対象物の情報を登録するデータベースと、
所定方向から前記対象物を撮像する第１撮像手段と、
他方向から前記対象物を撮像する第２撮像手段と、
前記第１撮像手段で撮像された前記対象物の位置情報及び方位情報を含む情報を、前記データベースに登録する登録手段と、
前記第２撮像手段で撮像された前記対象物の情報を、前記データベースに登録された位置情報及び方位情報と照合して複数の対象物の候補を特定する第１特定手段と、
特定した前記複数の対象物の候補から、一の対象物を特定する第２特定手段と、
を備えることを特徴とする情報特定システムを提供する。

第１の特徴に係る発明によれば、情報特定システムは、対象物の情報を登録するデータベースを備え、所定方向から前記対象物を撮像し、他方向から前記対象物を撮像し、撮像された前記対象物の位置情報及び方位情報を含む情報を、前記データベースに登録し、撮像された前記対象物の情報を、前記データベースに登録された位置情報及び方位情報と照合して複数の対象物の候補を特定し、特定した前記複数の対象物の候補から、一の対象物を特定する。

ここで、第１の特徴に係る発明は、情報特定システムのカテゴリであるが、情報特定方法等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第３の特徴に係る発明は、所定方向から対象物を撮像する第１撮像手段と、
他方向から前記対象物を撮像する第２撮像手段と、
前記第１撮像手段で撮像した前記対象物の位置情報及び方位情報を含む情報を記憶する記憶手段と、
前記第１撮像手段で撮像した第１撮像画像の特徴量を抽出する第１抽出手段と、
前記第２撮像手段で撮像した第２撮像画像の特徴量を抽出する第２抽出手段と、
前記第２撮像手段で撮像した前記対象物の位置情報及び方位情報を取得する取得手段と、
取得した前記対象物の位置情報及び方位情報を、前記記憶した位置情報及び方位情報と照合して複数の候補を特定する第１特定手段と、
前記第１抽出手段とで抽出した特徴量と、前記第２抽出手段で抽出した特徴量とを照合して特定した前記複数の候補から一の対象物を特定する第２特定手段と、
を備えることを特徴とする情報特定システムを提供する。

第３の特徴に係る発明によれば、情報特定システムは、所定方向から対象物を撮像し、他方向から前記対象物を撮像し、前記第１撮像手段で撮像した前記対象物の位置情報及び方位情報を含む情報を記憶し、撮像した第１撮像画像の特徴量を抽出し、撮像した第２撮像画像の特徴量を抽出し、撮像した前記対象物の位置情報及び方位情報を取得し、取得した前記対象物の位置情報及び方位情報を、前記記憶した位置情報及び方位情報と照合して複数の候補を特定し、抽出した特徴量と、抽出した特徴量とを照合して特定した前記複数の候補から一の対象物を特定する。

第４の特徴に係る発明は、携帯端末と情報特定サーバとからなる情報特定システムが実行する情報特定方法であって、
前記携帯端末は、
対象物の情報を登録するステップと、
所定方向から前記対象物を撮像する第１ステップと、
他方向から前記対象物を撮像する第２ステップと、
を備え、
前記情報特定サーバは、
前記第１ステップで撮像された前記対象物の位置情報及び方位情報を含む情報を、登録するステップと、
前記第２ステップで撮像された前記対象物の情報を、登録された位置情報及び方位情報と照合して複数の対象物の候補を特定するステップと、
特定した前記複数の対象物の候補から、一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法を提供する。

第５の特徴に係る発明は、情報特定システムが実行する情報特定方法であって、
所定方向から対象物を撮像するステップと、
他方向から前記対象物を撮像するステップと、
前記第１撮像手段で撮像した前記対象物の位置情報及び方位情報を含む情報を記憶するステップと、
所定方向から撮像した第１撮像画像の特徴量を抽出する第１ステップと、
他方向から撮像した第２撮像画像の特徴量を抽出する第２ステップと、
前記第２撮像手段で撮像した前記対象物の位置情報及び方位情報を取得するステップと、
取得した前記対象物の位置情報及び方位情報を、前記記憶した位置情報及び方位情報と照合して複数の候補を特定するステップと、
前記第１ステップで抽出した特徴量と、前記第２ステップで抽出した特徴量とを照合して特定した前記複数の候補から一の対象物を特定するステップと、
を備えることを特徴とする情報特定方法を提供する。

Claims (6)

1. 対象物の情報を登録するデータベースと、
   所定方向から前記対象物を撮像する第１撮像手段と、
   他方向から前記対象物を撮像する第２撮像手段と、
   前記第１撮像手段で撮像された前記対象物の情報を、前記データベースに登録する登録手段と、
   前記第２撮像手段で撮像された前記対象物の情報を、前記データベースに登録された情報と照合して特定する特定手段と、
   を備えることを特徴とする情報特定システム。
2. 前記第１撮像手段で複数回撮像した前記対象物を画像解析する解析手段をさらに備え、
   前記登録手段は、前記画像解析した対象物の解析情報を前記データベースに登録し、
   前記特定手段は、前記第２撮像手段で撮像された前記対象物の情報を、前記データベースに登録された解析情報と照合して特定する、請求項１に記載の情報特定システム。
3. 所定方向から対象物を撮像する第１撮像手段と、
   他方向から前記対象物を撮像する第２撮像手段と、
   前記第１撮像手段で撮像した第１撮像画像の特徴量を抽出する第１抽出手段と、
   前記第２撮像手段で撮像した第２撮像画像の特徴量を抽出する第２抽出手段と、
   前記第１抽出手段とで抽出した特徴量と、前記第２抽出手段で抽出した特徴量とを照合して前記対象物を特定する特定手段と、
   を備えることを特徴とする情報特定システム。
4. 情報特定システムが実行する情報特定方法であって、
   対象物の情報を登録するステップと、
   所定方向から前記対象物を撮像する第１ステップと、
   他方向から前記対象物を撮像する第２ステップと、
   前記第１ステップで撮像された前記対象物の情報を、登録するステップと、
   前記第２ステップで撮像された前記対象物の情報を、登録された情報と照合して特定するステップと、
   を備えることを特徴とする情報特定方法。
5. 情報特定システムが実行する情報特定方法であって、
   所定方向から対象物を撮像するステップと、
   他方向から前記対象物を撮像するステップと、
   所定方向から撮像した第１撮像画像の特徴量を抽出する第１ステップと、
   他方向から撮像した第２撮像画像の特徴量を抽出する第２ステップと、
   前記第１ステップで抽出した特徴量と、前記第２ステップで抽出した特徴量とを照合して前記対象物を特定するステップと、
   を備えることを特徴とする情報特定方法。
6. 情報特定システムに、
   対象物の情報を登録するステップ、
   所定方向から前記対象物を撮像する第１ステップ、
   他方向から前記対象物を撮像する第２ステップ、
   前記第１ステップで撮像された前記対象物の情報を、登録するステップ、
   前記第２ステップで撮像された前記対象物の情報を、登録された情報と照合して特定するステップ、
   を実行させるためのプログラム。