JP2013210974A - Retrieval image registration device, retrieval image display system, retrieval image registration method and program - Google Patents
Retrieval image registration device, retrieval image display system, retrieval image registration method and program Download PDFInfo
- Publication number
- JP2013210974A JP2013210974A JP2012082428A JP2012082428A JP2013210974A JP 2013210974 A JP2013210974 A JP 2013210974A JP 2012082428 A JP2012082428 A JP 2012082428A JP 2012082428 A JP2012082428 A JP 2012082428A JP 2013210974 A JP2013210974 A JP 2013210974A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- specific image
- specific
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラムに関する。 The present invention relates to a search image registration device, a search image display system, a search image registration method, and a program.
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
There is a system that uses a virtual reality (VR) technology to display a real space in which a user exists in a virtual space displayed from a user viewpoint and displays the real space on a mobile terminal.
Also, using augmented reality (AR) technology, based on position information indicating the current position of the user and an image captured by the mobile device at this position, information associated with the captured position is obtained. There is a system in which a captured image is displayed on a mobile device and provided to a user. As a system using this augmented reality technology, there are Sekai Camera (Tonchidot Corporation, http://secamera.com/) and Layar (http://layer.com/), which are attracting attention.
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
For example, as a technique using augmented reality technology, a marker such as a two-dimensional barcode is photographed, and content uniquely associated with the two-dimensional barcode is synthesized and displayed on the photographed image (for example, , See Patent Document 1).
Further, as an image recognition device that recognizes the content of captured image data, there is a device that extracts a keyword representing the content of captured image data according to the captured position (see, for example, Patent Document 2).
しかしながら、実際に撮影する画面は、正面から撮影されたものであるとは限らない。例えば、ビルの広告が特定画像となっているような場合には、ビルを下から見上げて撮影した画像となり、撮影画像に歪みが生じている。また、撮影画像が夕日を浴びて赤くなっている画像であったり、暗くぼやけた画像になっていたりする場合がある。このような場合、予め生成された特定画像と実際に撮影された画像とを比較して、撮影画像に対応する特定画像を検索する際に、予め生成された特定画像と実際に撮影された画像との間に差異が生じ、認識率が低下してしまう。 However, the screen that is actually captured is not necessarily captured from the front. For example, when an advertisement for a building is a specific image, the image is taken by looking up at the building from below, and the captured image is distorted. Further, the photographed image may be an image that is red due to sunset, or may be a dark and blurry image. In such a case, when the specific image generated in advance is compared with the actually captured image to search for the specific image corresponding to the captured image, the specific image generated in advance and the image actually captured And the recognition rate decreases.
また、実際の画像データをプリンタなどで印刷したものをカメラで撮影するような場合がある。このような場合には、照明環境の違いによっても撮影画像の色は大きく変わってしまう。 In some cases, actual image data printed by a printer or the like is photographed by a camera. In such a case, the color of the photographed image greatly changes depending on the illumination environment.
上述の課題を鑑み、本発明は、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図るようにした表示画像検索装置、表示画像検索システムおよび表示画像検索方法を提供することを目的とする。 In view of the above-described problems, the present invention improves display accuracy by improving the accuracy of matching between a captured image and a specific image when searching for an image corresponding to the captured image. An object is to provide a device, a display image search system, and a display image search method.
上述の課題を鑑み、本発明に係る検索画像登録装置は、撮影部が撮影した撮影画像の画像データを入力する入力部と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、を備え、前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出する。
なお、再登録情報としては、実施形態に記載されている、例えば、変換情報算出部２７によって算出される位置変換のための変換行列Ａや、この変換行列Ａに基づき再登録画像内の特定画像領域の位置に特定画像が置き換えられた特徴量抽出画像、あるいは、変換情報算出部２７’によって算出される色補正変換のための変換行列Ａや、この変換行列Ａに基づき色補正が施された特徴量抽出画像、又は、特徴量抽出画像から取得される特徴量等を含む。
In view of the above-described problems, the search image registration apparatus according to the present invention includes an input unit that inputs image data of a captured image captured by the capturing unit, and a captured image feature that indicates the characteristics of the captured image based on the image data. An image feature amount calculation unit for calculating the image, a specific image feature amount indicating a feature of the specific image that is a search target, and a similar image that matches or is similar to the specific image in the captured image based on the captured image feature amount And a registration unit that acquires re-registration information related to the similar image and registers the acquired re-registration information in a storage unit, and the comparison unit re-registers registered in the storage unit A similar image is detected based on the information.
As the re-registration information, for example, the conversion matrix A for position conversion calculated by the conversion
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule between the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and the specific image is based on the conversion rule. The converted image is set as a new specific image, and information relating to the new specific image is registered as re-registration information.
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、前記変換規則に基づいて、再登録情報を登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule for color information of the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and based on the conversion rule Register the re-registration information.
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録する。 In the above-described search image registration device, the registration unit acquires a conversion rule between the similar image and the specific image based on the specific image feature amount and the captured image feature amount, and the specific image is based on the conversion rule. The converted image is set as a new specific image, and the specific image feature amount indicating the feature amount of the new specific image is registered as re-registration information.
上述の課題を鑑み、本発明に係る表検索画像表示システムは、上述のいずれか１つの検索画像登録装置と、前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備える。 In view of the above-described problems, a table search image display system according to the present invention includes any one of the above-described search image registration apparatuses, a display apparatus that is connected to the search image registration apparatus via a network and includes the photographing unit. .
上述の課題を鑑み、本発明に係る検索画像登録方法は、撮影部が撮影した撮影画像の画像データを入力する入力過程と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較過程と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較過程と、を有する。 In view of the above-described problems, the search image registration method according to the present invention includes an input process of inputting image data of a photographed image photographed by the photographing unit, and a photographed image feature amount indicating the feature of the photographed image based on the image data Based on the image feature amount calculating process for calculating the image, the specific image feature amount indicating the feature of the specific image to be searched, and the captured image feature amount, the captured image has a feature that matches or is similar to the specific image. Based on the first comparison process of detecting the re-registration information related to the similar image, the registration process of registering the acquired re-registration information in the storage unit, and the re-registration information registered in the storage unit, A second comparison process for detecting similar images.
本発明に係るプログラムは、コンピュータに、撮影部が撮影した撮影画像の画像データを入力する入力手段、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較手段、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較手段、を実行させるためのプログラムである。 The program according to the present invention includes an input unit that inputs image data of a photographed image photographed by a photographing unit to a computer, and an image feature amount calculation that calculates a photographed image feature amount indicating the feature of the photographed image based on the image data. And a first comparison unit that detects a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount. Registration means for acquiring re-registration information related to the similar image, registering the acquired re-registration information in a storage unit, and second comparison means for detecting a similar image based on the re-registration information registered in the storage unit , Is a program for executing.
本発明によれば、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる。 According to the present invention, when searching for an image corresponding to a photographed image, the matching accuracy between the photographed image and the specific image can be improved, and the recognition rate can be improved.
＜第１実施形態＞
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図１は、本実施形態における画像検索表示システムの機能ブロック図である。
図１に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
<First Embodiment>
Hereinafter, an example of an image search and display system according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram of an image search / display system according to this embodiment.
As shown in FIG. 1, the image search / display system includes a
In the present embodiment, the
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
As the
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力されたユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
The
The
The photographing
On the other hand, when the image based on the real-time reproduction image data is displayed on the
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
The position
In the present embodiment, the time of shooting may be, for example, the timing when the user presses the shutter button of the
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
The
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。
この端末制御部１１は、表示画像検索装置２から、後述する、特定画像付加情報と表示位置情報と特定画像データを受信する。端末制御部１１は、表示位置情報が示す変換行列Ａに基づいて、特定画像データを変換する。端末制御部１１は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部１５に表示させる。端末制御部１１は、特定画像データの画像に対して、特定画像付加情報を付与してもよい。端末制御部１１は、特定画像データの画像を重畳した撮影画像データを、表示部１５に出力する。
The
In addition, the
The
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力された情報に基づく画像を表示する。
The
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力された情報をネットワークＮＷを介して表示画像検索装置２に送信する。
The
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
The
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
The
ここで、表示装置１の撮影部１２が取得した撮影画像データＤ（ｎ）の一例について、図２を参照して説明する。図２は、撮影画像の一例を示す図である。
図２に示す通り、撮影画像データＤ（ｎ）は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルＢ１の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースは、上辺と下辺が湾曲している。
Here, an example of the photographed image data D (n) acquired by the photographing
As shown in FIG. 2, the captured image data D (n) is, for example, an image of a certain downtown area, and an image of a large building B1 on the right side of the screen and a building B2 smaller than the building B1 at the center of the screen. Each of these images is included. A large display is installed in this building B1. Building B2 is provided with a large rental advertisement space for posting rental advertisements.
The large display of this building B1 has a long right side and a short left side that is distorted. In addition, the rental advertising space of the
次に、図３を参照して、本実施形態に係る表示画像検索装置２の一例について説明する。図３は、本実施形態に係る表示画像検索装置２の一例を示すブロック図である。
図３に示す通り、本実施形態係る表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、変換情報算出部２７と、登録部２８と、第３記憶部２９と、第４記憶部３１と、特定画像付加情報取得部３２と、を備える。
Next, an example of the display
As shown in FIG. 3, the display
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、例えば、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。また、通信部２１は、特定画像付加情報取得部３２から入力された特定画像表示データＳ（ｎ）を、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
なお、通信部２１は、ネットワークＮＷを介して表示装置１と接続するためのインターフェース機能に限られず、カメラ等の機器とケーブルを介して接続し、カメラ等の機器から撮影画像データを読み取る構成であってもよい。
The
Note that, when the
Note that the
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図４に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
The
As shown in FIG. 4, the specific image position table 220 is a table that associates a specific image ID with specific image position information indicating a position where additional information related to the specific image can be provided. The specific image position information includes information indicating latitude, longitude, altitude, and position error allowable distance.
The specific image ID is identification information for identifying the specific image. Note that the specific image data to which the specific image ID is assigned is stored in the
図５を参照して、この特定画像の一例について説明する。図５は、本実施形態において、第１記憶部２２に保存される特定画像の一例を示す図である。
図５に示すように、第１記憶部２２には、特定画像ＩＤ１、２、３が割り当てられた特定画像データ１００、２００、３００が保存されている。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図５（ａ）に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、画面の中央にネコの画像を含む画像である。
また、図５（ｂ）に示す通り、特定画像データ２００は、特定画像ＩＤ２が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。
さらに、図５（ｃ）に示す通り、特定画像データ３００は、特定画像ＩＤ３が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。
An example of this specific image will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of the specific image stored in the
As shown in FIG. 5, specific image data 100, 200, and 300 to which
As shown in FIG. 5A, the specific image data 100 is an image that is assigned a specific image ID1 and includes a cat image in the center of the screen.
Also, as shown in FIG. 5B, the specific image data 200 is assigned with the
Further, as shown in FIG. 5C, the specific image data 300 is assigned with a specific image ID3. A character image of “movie title” is displayed at the center of the screen, and a cat image is displayed on the “movie title”. Are images including character images of “coming soon” at the lower right of the “movie title”.
図４に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
Returning to FIG. 4, latitude, longitude, and altitude are information indicating the specific image position corresponding to the specific image data of the specific image ID. The specific image position is, for example, a position where a poster or a large display in which specific image data is represented is installed.
The position error allowable distance is information indicating a certain range that is regarded as a specific image position by latitude, longitude, and altitude. This position error allowable distance is, for example, a distance indicating the radius of a circle centered on the specific image position.
図３に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、画像特徴量が一定の閾値以上の数値を有する点（例えば、画素）を特徴点という。また、特徴点の撮像画像内における位置は、（Ｘ，Ｙ）座標値で示される（図９（ｂ）参照）。画像特徴量算出部２３は、各特徴点について、撮影画像特徴量および（Ｘ，Ｙ）座標値を対応付けた特徴点情報を生成する。画像特徴量算出部２３は、撮像画像内のすべての特徴点についての特徴点情報を含む、撮影画像特徴量情報を生成する。
Returning to FIG. 3, the image feature
この撮影画像特徴量の一例を図６に示す。図６に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴点の集合であり、その特徴点の分布は類似している。
An example of the photographed image feature amount is shown in FIG. As illustrated in FIG. 6, the image feature
This photographed image feature quantity group C1 is a set of feature points calculated from an image area corresponding to the character image of “movie title” displayed on the large display of the building B1 in the photographed image data D (n). It is.
The photographed image feature quantity group C2 is a set of feature points calculated from an image area corresponding to a cat image displayed on the large display of the building B1 in the photographed image data D (n).
The photographed image feature quantity group C3 is a set of feature points calculated from an image area corresponding to a cat image displayed in the rental advertisement space of the building B2 in the photographed image data D (n) image.
Note that the photographed image feature quantity groups C2 and C3 are a set of feature points calculated from an image area corresponding to a cat image, and the distribution of the feature points is similar.
図３に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力される。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力された撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
Returning to FIG. 3, the position
In other words, the position
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画面特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
More specifically, the position
In the specific image feature quantity table 250, the specific image data of the specific image ID that is not associated with the specific latitude, longitude, altitude, and position error allowable distance is excluded from the search result candidates by the position
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図７に示す通り、特定画像ＩＤと、特定画像のインデックスと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特定画像における特徴点の特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの画像内において特定の特徴量を示す特徴点の位置を示す情報である。特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す特徴点の特徴量を示す情報である。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。この特徴量は、例えば、様々な観点によって抽出されてもよく、複数の種類の特徴量を抽出する場合には、特徴量は、ベクトルとなる。図示においては、簡略化のため、特徴点についての１つの種類の特徴量を示す。
The
As illustrated in FIG. 7, the specific image feature amount table 250 is a table that associates the specific image ID, the index of the specific image, and the specific image feature amount information indicating the characteristics of the specific image. The specific image feature amount information includes information indicating the feature point ordinate, the feature point abscissa, and the feature point feature amount of the feature point in the specific image.
The feature point ordinate and the feature point abscissa are information indicating the position of the feature point indicating the specific feature amount in the image of the corresponding specific image ID. The feature point feature amount is information indicating the feature amount of the feature point indicated by the feature point ordinate and the feature point abscissa. Note that the number of feature point feature quantities associated with each specific image ID is determined according to each specific image ID. This feature amount may be extracted from various viewpoints, for example, and when a plurality of types of feature amounts are extracted, the feature amount is a vector. In the drawing, for simplification, one kind of feature amount for feature points is shown.
図３に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって生成された撮影画像特徴量情報の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像（類似特定画像とも称する）を検出する。
Returning to FIG. 3, the image feature
具体的に説明すると、この画像特徴量比較部２６は、例えば、特定画像ＩＤ毎に特徴量を読み出し、読み出した特徴量と撮影画像特徴量情報の撮影画像特徴量とが一致するか否かを判定する。ここで、一致とは、特徴量の値が閾値Ｔ１以内の場合をいう。なお、１つの特徴点に対して複数種類（例えば、色の成分、明るさの２種類）の特徴量がある場合には、画像特徴量比較部２６は、同じ種類同士の特徴量を比較する。画像特徴量比較部２６は、比較した特徴量の値が閾値Ｔ１以内となる特徴量の種類の数を計数し、計数した数が閾値以上になる場合に、類似すると判定してもよい。
画像特徴量比較部２６は、一致すると判定した特徴点の数を計数する。例えば、画像特徴量比較部２６は、計数した特徴点の数を特定画像ＩＤの特徴点の総数で除算し、除算した値を、特徴量類似度とする。なお、画像特徴量比較部２６は、他の手法を用いて、特徴量類似度を算出してもよい。画像特徴量比較部２６は、特徴量類似度と特定画像ＩＤを対応付けて記憶する。
画像特徴量比較部２６は、上記の処理を、全ての特定画像ＩＤに対して行う。画像特徴量比較部２６は、最大となる特徴量類似度に対応する特定画像ＩＤを抽出し、抽出した特定画像ＩＤの特定画像を、類似特定画像として検出する。
画像特徴量比較部２６は、検出した類似特定画像の特定画像ＩＤと、その特定画像ＩＤに対応する特定画像特徴量情報と、撮影画像特徴量情報とを、変換情報算出部２７へ出力する。
More specifically, for example, the image feature
The image feature
The image feature
The image feature
変換情報算出部２７は、画像特徴量比較部２６から入力された特定画像特徴量情報および撮影画像特徴量情報に基づいて、特定画像と、その特定画像に類似する撮影画像内の画像（類似画像とも称する）と、の位置の対応関係を示す変換行列Ａを算出する。
例えば、図９（ａ）に示す通り、オリジナルの特定画像の画像内における位置を（ｘ，ｙ）座標値で示す。また、図９（ｂ）に示す通り、撮影画像内における位置を（Ｘ，Ｙ）座標値で示す。
Based on the specific image feature amount information and the captured image feature amount information input from the image feature
For example, as shown in FIG. 9A, the position of the original specific image in the image is indicated by (x, y) coordinate values. Further, as shown in FIG. 9B, the position in the captured image is indicated by (X, Y) coordinate values.
変換情報算出部２７は、特定画像特徴量情報から特徴点を抽出し、その特徴点と一致する特徴点を、撮影画像特徴量情報から抽出する。ここで、一致とは、特徴量の値が閾値以内の場合をいうが、この閾値は閾値Ｔ１と異なっていても良いし、同じであっても良い。変換情報算出部２７は、特定画像特徴量情報から抽出した特徴点について、特徴点縦座標および特徴点横座標をそれぞれ、次式（１）の（ｘ，ｙ）へ代入する。変換情報算出部２７は、撮影画像特徴量情報から抽出した特徴点について、抽出した特徴点について、（Ｘ，Ｙ）座標値を、次式（１）の（Ｘ，Ｙ）へ代入する。なお、撮影画像特徴量情報から抽出した特徴点が複数ある場合には、それらの（Ｘ，Ｙ）座標値の平均値を、次式（１）の（Ｘ，Ｙ）へ代入してもよい。
The conversion
変換情報算出部２７は、代入の結果、変換行列Ａの各成分を未知数とする数式を生成する。変換情報算出部２７は、上記の処理を予め定めれら回数だけ繰り返し、その回数の数の数式を生成する。変換情報算出部２７は、生成した数式を、連立させて解くことにより、変換行列Ａを算出する。
変換行列Ａは、オリジナルの特定画像を撮影内の位置に位置変換させるための変換規則である。ただし、変換規則は行列でなくてもよいし、変換規則は特定画像の部分毎にあってもよい。例えば、変換情報算出部２７は、ｘ座標値毎又はｙ座標値毎の変換行列Ａを算出してもよい。なお、この変換行列Ａに従って、特定画像が撮影画像内に位置変換された場合、撮影画像内における特定画像が位置する領域を、以下、特定画像領域という。つまり、変換情報算出部２７は、撮影画像内に写る特定画像領域の位置を示す情報を算出する。言い換えると、変換情報算出部２７は、特定画像の特徴量と撮影画像の特徴量に基づいて、撮影画像において特定画像と特徴の一致又は類似する特定領域を決定する。なお、撮影画像内における特定画像領域の画像が、類似画像である。
As a result of the substitution, the conversion
The conversion matrix A is a conversion rule for converting the position of the original specific image to a position in the photographing. However, the conversion rule may not be a matrix, and the conversion rule may be provided for each part of the specific image. For example, the conversion
変換情報算出部２７は、変換行列Ａと類似特定画像の特定画像ＩＤとを、登録部２８および特定画像付加情報取得部３２へ出力する。
The conversion
登録部２８は、特定画像の特徴量を特定画像特徴量テーブル２５０に登録する登録処理と、再登録画像の特徴量を特定画像特徴量テーブル２５０に登録する再登録処理とを実行する。
この登録部２８は、“オリジナルの特定画像”の特徴量が入力された場合、この“オリジナルの特定画像”の特徴量と特定画像ＩＤとを対応付けて、特定画像特徴量テーブル２５０に書き込む。つまり、“オリジナルの特定画像”の特徴量を特定画像特徴量テーブル２５０に登録する登録処理を実行する（これを登録処理という）。
また、登録部２８は、変換行列Ａと類似特定画像の特定画像ＩＤが入力された場合、後述する特徴量抽出画像の特徴量と特定画像ＩＤとを対応付けて、特定画像特徴量テーブル２５０に書き込む。つまり、特徴量抽出画像の特徴量を特定画像特徴量テーブル２５０に登録する登録処理を実行する（これを再登録処理という）。
The
When the feature amount of the “original specific image” is input, the
In addition, when the conversion matrix A and the specific image ID of the similar specific image are input, the
具体的に再登録処理では、登録部２８は、第３記憶部２９の特定画像データ記憶領域２９０から、変換情報算出部２７から入力された特定画像ＩＤの画像データを読み出す。登録部２８は、変換情報算出部２７から入力された変換行列Ａに基づいて、読み出した画像データの各座標を変換する。例えば、登録部２８は、画像データの座標値に対して、行列Ａを左から演算する。これにより、登録部２８は、特定画像が撮影画像内に位置変換された場合の画像（特徴量抽出画像）を取得する。
この特徴量抽出画像は、例えば、図１０に示すように、撮影画像データＤ（ｎ）の画像に含まれる特定画像領域が特定画像に置き換えられるとともに、特定画像領域以外の画素値がＮＵＬＬとなっている情報である。
Specifically, in the re-registration process, the
For example, as illustrated in FIG. 10, the feature amount extracted image has a specific image area included in the image of the captured image data D (n) replaced with a specific image, and pixel values other than the specific image area are NULL. Information.
登録部２８は、取得した特徴量抽出画像を、新たな特定画像（再登録画像）とする。登録部２８は、新たな特定画像ＩＤを払い出し、払いだした特定画像ＩＤと再登録画像の画像データとを対応付けて、第３記憶部２９の特定画像データ記憶領域２９０へ記憶させる。
登録部２８は、特徴量抽出画像に基づいて、特定画像特徴量情報を算出する。登録部２８は、算出した特定画像特徴量情報を、払いだした特定画像ＩＤと対応づけて、第２記憶部２５の特定画像特徴量テーブル２５０へ記憶させる。ここで、登録部２８は、払いだした特定画像ＩＤと対応づけて、変換行列Ａを記憶させてもよい。
The
The
なお、登録部２８は、特徴量抽出画像（例えば、図１０の画像）を平行移動又は拡大した後の画像（例えば、図１２の画像）を、特徴量抽出画像としてもよい。また、登録部２８は、位置を平行移動又は拡大させる行列（又は乗数）を、変換行列Ａに対して左から乗算し、乗算後の行列Ａ’を変換行列Ａとしてもよい。この場合、登録部２８は、まず、行列Ａ’に基づいて、類似特定画像の画像データの各座標を変換することで、特徴量抽出画像を取得する。登録部２８は、この特徴量抽出画像に基づいて、上記の処理（再登録画像の取得、特定画像特徴量情報の算出）を行う。このように、登録部２８は、例えば特定画像と同じ大きさの再登録画像を登録できるので、再登録画像が特定画像よりも縮小してしまう場合と比較して、鮮明な画像を再登録画像として登録できる。これにより、画像検索表示システムでは、再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
また、登録部２８は、撮影画像内の画像（類似画像）を、特徴量抽出画像としてもよい。
Note that the
Further, the
図３に戻って、第３記憶部２９は、オリジナルの特定画像や特徴量抽出画像の画像データを記憶する領域である特定画像データ記憶領域２９０を備える。この特定画像データ記憶領域２９０には、例えば、特定画像ＩＤと、オリジナルの特定画像データが記憶される。ここで、オリジナルの特定画像データには、再登録画像の画像データが含まれている。つまり、オリジナルの特定画像データは、特定画像データが表わされたポスターや大型ディスプレイが設置されている場所で、例えば、表示装置１の撮影部１２により実際に撮影された画像に、相当する画像（形状や歪みが一致する画像）である。
Returning to FIG. 3, the
第４記憶部３１は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル３１０を記憶する。
この特定画像付加情報テーブル３１０は、図８に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツＵＲＬと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
The
As shown in FIG. 8, the specific image additional information table 310 includes a specific image ID, specific image additional information indicating additional information related to the specific image, and specific image additional information corresponding to the specific image ID. It is a table which matches imaging condition information which is information for further specifying according to conditions. This photographing condition information includes latitude, longitude, altitude, allowable position error distance, year / month / day, and time. The specific image additional information includes, for example, a content URL, a moving image file name, the number of slide show images, and a slide show image display frame rate.
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部３１に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
The latitude, longitude, altitude, and position error allowable distance are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the position at the time of shooting.
The year / month / day and time are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the date and time at the time of shooting.
The content URL is a URL (Uniform Resource Locator) that provides content related to a specific image via the Internet.
The moving image file name is information indicating a moving image file associated with the specific image. Note that the moving image file indicated by the moving image file name is stored in the
The number of slide show images and the slide show image display frame rate are information indicating the number of slide show images associated with the specific image and the frame rate for displaying the slide show.
特定画像付加情報取得部３２は、特定画像データ記憶領域２９０から、変換情報算出部２７から入力された特定画像ＩＤに対応する特定画像データを読み出す。特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０から、変換情報算出部２７から入力された特定画像ＩＤに対応する特定画像付加情報を読み出す。また、特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０から、通信部２１から入力された撮影位置情報と撮影日時情報に対応する特定画像付加情報を読み出す。
特定画像付加情報取得部３２は、変換情報算出部２７から入力された変換行列Ａを表示位置情報とし、表示位置情報と、読み出した特定画像データと、特定画像付加情報とを、通信部２１に出力する。
通信部２１は、特定画像付加情報取得部３２から入力された特定画像データと特定画像付加情報と表示位置情報を表示装置１に送信する。
The specific image additional
The specific image additional
The
次に、図１４を参照して、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明する。
図１４は、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明するためのフローチャートである。
図１４に示す通り、大きく分けて、準備期間に実施される登録処理および再登録処理と、サービス期間中に実施される検索処理とがある。
Next, an example of a processing method in the image search / display system according to the present embodiment will be described with reference to FIG.
FIG. 14 is a flowchart for explaining an example of a processing method in the image search / display system according to the present embodiment.
As shown in FIG. 14, there are roughly divided a registration process and a re-registration process performed during the preparation period, and a search process performed during the service period.
はじめに、準備期間に実施される登録処理および再登録処理について説明する。
（ステップＳＴ１０１）
準備期間において、表示画像検索装置２は、オリジナルの特定画像についての登録処理を実行する。この表示画像検索装置２の登録部２８は、入力された特定画像の画像データを第３記憶部２９の特定画像データ記憶領域２９０に格納する。また、表示画像検索装置２は、オリジナルの特定画像から特徴量を算出し、特定画像特徴量テーブル２５０に書き込む。さらに、表示画像検索装置２は、入力された特定画像に関連する情報を特定画像付加情報テーブル３１０に格納する。具体的に説明すると、表示画像検索装置２は、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とをそれぞれ対応付けて、特定画像付加情報テーブル３１０に書き込む。
（ステップＳＴ１０２）
次いで、表示画像検索装置２は、撮影された特定画像についての再登録処理を実行する。この表示画像検索装置２は、入力された特定画像を撮影した撮影画像データＤ（ｎ）から特徴量を算出する。
First, a registration process and a re-registration process performed during the preparation period will be described.
(Step ST101)
In the preparation period, the display
(Step ST102)
Next, the display
次に、サービス期間中に実施される検索処理について説明する。
（ステップＳＴ１０３）
例えば、表示装置１の撮影部１２がリアルタイム再生画像データを取得して、端末制御部１１が表示部１５にリアルタイム再生画像データに基づく画像を表示している。ここでは、例えば、図２に示したような風景が表示部１５に表示される。
この状態において、ユーザが操作部１８のシャッターボタンを押下すると、撮影部１２が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部１２は、特定画像を含む風景を撮影し、撮影画像データＤ（ｎ）を取得して、端末制御部１１に出力する。
（ステップＳＴ１０４）
そして、表示装置１は、撮影画像データＤ（ｎ）を表示画像検索装置２に送信する。
Next, a search process performed during the service period will be described.
(Step ST103)
For example, the photographing
In this state, when the user presses the shutter button of the
(Step ST104)
Then, the
（ステップＳＴ１０５）
表示画像検索装置２は、表示装置１から撮影画像データＤ（ｎ）を受信する。
（ステップＳＴ１０６）
そして、表示画像検索装置２は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す撮影画像特徴量を算出する。なお、表示画像検索装置２は、特定画像位置テーブル２２０を参照して、表示装置１から受信した撮影位置情報Ｐ（ｎ）に基づき、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報Ｐ（ｎ）が示す位置を含む特定画像データを検索する。例えば、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）に対応する特定画像データとして、特定画像ＩＤ１〜１０の特定画像データを検索によって得る。
(Step ST105)
The display
(Step ST106)
Then, the display
（ステップＳＴ１０７）
次いで、表示画像検索装置２は、特定画像特徴量テーブル２５０を参照して、検索によって得られた特定画像データの特徴量と、画像特徴量算出部２３によって算出された撮影画像データＤ（ｎ）の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の撮影画像特徴量に対応する特定画像を検出する。
なお、本実施形態では、準備期間において、オリジナルの特定画像についての登録処理と、撮影画像についての再登録処理が実行されているため、特定画像特徴量テーブル２５０には、再登録画像（特徴量抽出画像）の特徴量も登録されている。つまり、表示画像検索装置２は、撮影画像データＤ（ｎ）から、一致するあるいは類似する特定画像、又は、一致するあるいは類似する特徴量抽出画像に対応する特定画像を検出する。
（ステップＳＴ１０８）
そして、表示画像検索装置２は、特定画像特徴量テーブル２５０を参照して、撮影画像データＤ（ｎ）内に含まれる特定画像を検出し、その特定画像とオリジナルの特定画像との位置の対応関係を示す変換行列Ａを算出する。つまり、表示画像検索装置２は、検出した特定画像の撮影画像内における位置を算出することにもなる。
（ステップＳＴ１０９）
次いで、表示画像検索装置２は、変換行列Ａを示す表示位置情報を表示装置１に送信する。
（ステップＳＴ１１０）
表示装置１は、撮影画像内における表示位置情報を表示画像検索装置２から受信する。
(Step ST107)
Next, the display
In the present embodiment, since the registration process for the original specific image and the re-registration process for the photographed image are executed in the preparation period, the re-registered image (feature quantity) is stored in the specific image feature quantity table 250. The feature amount of the extracted image) is also registered. That is, the display
(Step ST108)
Then, the display
(Step ST109)
Next, the display
(Step ST110)
The
（ステップＳＴ１１１）
また、表示画像検索装置２の特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、撮影画像データＤ（ｎ）に含まれる特定画像に対応する特定画像付加情報を検索によって得る。この特定画像付加情報取得部３２は、検索によって得られた特定画像付加情報を、通信部２１に出力する。通信部２１は、特定画像付加情報を表示装置１に送信する。
（ステップＳＴ１１２）
表示装置１は、表示画像検索装置２から特定画像付加情報を受信する。
（ステップＳＴ１１３）
そして、表示装置１は、特定画像の位置とコンテンツを組み合わせて表示する。例えば、表示装置１は、表示画像検索装置２から受信した表示位置情報が示す変換行列Ａに基づいて、特定画像データを変換する。端末制御部１１は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部１５に表示させる。
(Step ST111)
Further, the specific image additional
(Step ST112)
The
(Step ST113)
The
＜撮影画像に基づく再登録処理の処理フローの例（１）＞
次に、図１５を参照して、本実施形態に係る表示画像検索装置２による再登録処理の処理フローの一例について説明する。図１５は、本実施形態に係る表示画像検索装置２による再登録処理の処理フローの一例を示すフローチャートである。
（ステップＳＴ２０１）
例えば、表示画像検索装置２は、表示装置１から、撮影部１２によって撮影された撮影画像データＤ（ｎ）を入力される。なお、ここでは、サービス期間中に実際に特定画像が撮影される環境を想定して、この撮影画像データＤ（ｎ）の撮影を行うことが好ましい。例えば、図２のような画像が撮影されることが想定されるならば、実際に、図２のような画像を撮影する。あるいは特定画像であるポスターを掲げるのがサービス期間の直前であり、準備期間に図２のような実際の画像を用意することが困難である場合には、紙に印刷した上で想定の角度付近から撮影するなどして近似的に図２のような画像を作成してもよい。
<Example of processing flow of re-registration processing based on photographed image (1)>
Next, an example of a processing flow of re-registration processing by the display
(Step ST201)
For example, the display
また、表示画像検索装置２は、他のカメラ（図示せず）で撮影された撮影画像データをインターフェースとして機能する通信部２１を介して取り込ませる。ここで、撮影画像データの取り込みは、カメラと表示画像検索装置２の通信部２１とをケーブルで接続し、カメラの撮影画像データを第３記憶部２９の特定画像データ記憶領域２９０に転送してもよい。また、カメラの撮影画像データが記憶されているメモリカード等の記憶媒体を表示画像検索装置２に装着して、カメラの撮影画像データを第３記憶部２９の特定画像データ記憶領域２９０に転送してもよい。さらに、カメラとしてネットワーク接続機能を有する端末を用い、カメラの撮影画像データを、ネットワークを介して表示画像検索装置２の通信部２１に転送するようにしてもよい。
In addition, the display
（ステップＳＴ２０２）
撮影部１２あるいは他のカメラで実際に撮影された撮影画像データが第３記憶部２９の特定画像データ記憶領域２９０に取り込まれたら、例えば、オペレータが、表示画像検索装置２に搭載される所定の操作入力部（図示せず）を操作して、これらの画像の中から、再登録画像として登録するための撮影画像を指定する。指定された撮影画像のデータは、第３記憶部２９の特定画像データ記憶領域２９０から画像特徴量算出部２３に出力される。なお、本発明はこれに限られず、オペレータの指示によらず、順次、第３記憶部２９の特定画像データ記憶領域２９０から画像特徴量算出部２３に出力されるものであってもよい。
ここでは、撮影部１２によって撮影された撮影画像データＤ（ｎ）が入力された例について説明する。
(Step ST202)
When photographed image data actually photographed by the photographing
Here, an example in which captured image data D (n) captured by the capturing
（ステップＳＴ２０３）
画像特徴量算出部２３は、撮影画像データＤ（ｎ）の特徴量を算出する。
（ステップＳＴ２０４）
次いで、画像特徴量比較部２６は、ステップＳＴ２０３で算出された特徴量に基づき、特定画像特徴量テーブル２５０を参照して、撮影画像データＤ（ｎ）内に特定画像が含まれているか否かを判定する。つまり、画像特徴量比較部２６は、撮影画像データの中から、特定画像特徴量テーブル２５０に登録されている特定画像を検索する。
(Step ST203)
The image feature
(Step ST204)
Next, the image feature
（ステップＳＴ２０５）
画像特徴量算出部２３によって算出された特徴量と一致あるいは類似する特定画像が特定画像特徴量テーブル２５０に登録されている場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていると判定する。
撮影画像データＤ（ｎ）の中に特定画像が含まれていると判定された場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中に含まれる特定画像の特定画像ＩＤを取得する。なお、複数の類似する特定画像を取得した場合、画像特徴量比較部２６は、類似度を算出する等により、一致するあるいは最も類似する特定画像の特定画像ＩＤを取得する。
例えば、ステップＳＴ２０２において、図２に示すような撮影画像が指定されたとする。この画像中には、ビルの大型ディスプレイの部分に、図５（ａ）に示すような特定画像が含まれている。図５（ａ）に示したように、この特定画像の特定画像ＩＤは、（ＩＤ＝ＩＤ：２）である。よって、この場合、ステップＳＴ２０５では、特定画像ＩＤ（ＩＤ＝ＩＤ：２）が取得されることになる。
(Step ST205)
When a specific image that matches or is similar to the feature amount calculated by the image feature
When it is determined that the specific image is included in the captured image data D (n), the image feature
For example, assume that a captured image as shown in FIG. 2 is designated in step ST202. In this image, a specific image as shown in FIG. 5A is included in the large display portion of the building. As shown in FIG. 5A, the specific image ID of this specific image is (ID = ID: 2). Therefore, in this case, in step ST205, the specific image ID (ID = ID: 2) is acquired.
（ステップＳＴ２０６）
また、変換情報算出部２７は、検索により取得した特定画像の特徴点の座標値（ｘ，ｙ）と、類似画像の特徴点の座標値（Ｘ，Ｙ）とに基づき、式（１）の変換行列Ａを算出する。
（ステップＳＴ２０７）
そして、登録部２８は、変換情報算出部２７から入力された変換行列Ａに基づき、オリジナルの特定画像を、撮影画像の位置に変換した特徴量抽出画像（図１０参照）を生成する。
(Step ST206)
Moreover, the conversion
(Step ST207)
Then, based on the conversion matrix A input from the conversion
（ステップＳＴ２０８）
次いで、登録部２８は、特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
（ステップＳＴ２０９）
そして、登録部２８は、新たな特定画像ＩＤを割り当てて、ステップＳＴ２０８において算出した特徴量抽出画像の特徴量を示す情報とを、それぞれ対応付けて、特定画像特徴量テーブル２５０に書き込む。
また、登録部２８は、特徴量抽出画像の特徴量とともに、変換行列Ａを特定画像特徴量テーブル２５０に書き込んでもよい。このとき、特定画像特徴量テーブル２５０は、例えば、再登録画像１の画像データと、元の特定画像からの変換行列をＡと、を対応付けて記憶する。類似特定画像として再登録画像１が検出され、変換情報算出部２７が変換行列Ｂを算出した場合、登録部２８は、元の特定画像の画像データの座標値に対して、行列（Ｂ・Ａ）を左から演算する（式（８）参照）ことで、特徴量抽出画像を取得してもよい。つまり、登録部２８は、記憶された変換行列をＡを用いることで、再登録画像１からではなく、元の特定画像から特徴量抽出画像を取得できる。これにより、画像検索表示システムでは、例えば、再登録画像１が鮮明な画像でない場合でも、元の特定画像から特徴量抽出画像を取得できる。つまり、画像検索表示システムでは、再登録の後、さらに再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
(Step ST208)
Next, the
(Step ST209)
Then, the
The
（ステップＳＴ２１０）
なお、画像特徴量算出部２３によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル２５０に登録されていない場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部２６は、この判定結果を画像特徴量算出部２３に出力する。この画像特徴量算出部２３は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部２３は、特徴量を算出していない次の撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されているか否かを判定する。この撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されている場合、画像特徴量算出部２３は、登録を終了しないと判定し、ステップＳＴ２１１に移行する。
（ステップＳＴ２１１）
そして、画像特徴量算出部２３は、次の撮影画像データＤ（ｎ＋１）を特定画像データ記憶領域２９０から読み出し、ステップＳＴ２０３に移行して、撮影画像データＤ（ｎ＋１）の特徴量を算出する。
(Step ST210)
When a specific image similar to the feature amount calculated by the image feature
(Step ST211)
Then, the image feature
このように、本実施形態では、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル２５０に登録している。これにより、画像を撮影する角度が異なっているような場合でも、認識率が低下することを防止できる。 As described above, in this embodiment, the specific image feature value generated based on the actually captured image is registered in the specific image feature value table 250. Thereby, even when the angle at which an image is taken is different, the recognition rate can be prevented from decreasing.
また、上述の実施形態では、既に登録されているオリジナルの特定画像を位置変換して、特定画像特徴量テーブル２５０に登録している。これは、既に登録されているオリジナルな特定画像は、理想的な撮影状態であるのに対して、実際に撮影される画像は、ピントが合っていなかったり、手振りが発生したりしているからである。これにより、図１１に示すような、撮影画像がボヤケているような場合でも、登録される特定画像は、ピントの合った理想的なものとなる。 In the above-described embodiment, the original specific image that has already been registered is converted in position and registered in the specific image feature amount table 250. This is because an original specific image that has already been registered is in an ideal shooting state, whereas an image that is actually shot is out of focus or a hand shake occurs. It is. As a result, even when the photographed image is blurred as shown in FIG. 11, the registered specific image becomes an ideal image in focus.
以上のように、本実施形態の画像検索表示システムでは、特定画像ＩＤに対応する特定画像特徴量と、画像特徴量算出部２３によって算出された撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特定画像を検出している。画像検索表示システムでは、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル２５０に再登録することで、画像特徴量比較部２６での認識率を向上させるようにしている。
As described above, in the image search and display system according to the present embodiment, the specific image feature amount corresponding to the specific image ID is compared with the captured image feature amount calculated by the image feature
つまり、表示装置１によりユーザが撮影する画像は、図２に示すように、斜め上方向に見上げて撮影した歪んだ画像であったり、図１３に示すように、全体的に暗い画面になっていたりする場合がある。また、夕日を浴びて赤くなっていたり、周囲の照明が映り込んで、色が変わっている場合がある。さらに、ユーザが撮影画像を印刷してカメラで再度撮影する際に、色を変換する場合が考えられる。このように、画像を撮影する角度が異なっていたり、明るさや色が異なっていたりすると、撮影画像から抽出された撮影画像特徴量と、特定画像特徴量テーブル２５０に保存されている特定画像特徴量とが異なり、認識率が低下する。
In other words, the image captured by the user by the
そこで、画像検索表示システムでは、実際に撮影されるであろう角度や照明条件を考慮し、想定される角度や照明条件で予め実際に画像を撮影しておき、この実際に撮影した画像を基に特定画像特徴量を求め、特定画像特徴量テーブル２５０に再登録する。これにより、画像検索表示システムでは、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる In view of this, the image search and display system takes into consideration the angle and lighting conditions that will be actually shot, and actually takes images in advance at the assumed angles and lighting conditions, and based on these actually shot images. The specific image feature amount is obtained and re-registered in the specific image feature amount table 250. Thereby, in the image search and display system, when searching for an image corresponding to the photographed image, the accuracy of matching between the photographed image and the specific image can be improved, and the recognition rate can be improved.
＜第２実施形態＞
以下、本発明の第２実施形態による画像検索表示システムの一例について説明する。本実施形態に係る画像検索表示システムは、色補正を実行する。
本実施形態に係る画像検索表示システムでは、位置の変換と共に、色も再登録画像と同様になるように変換することで、実際の環境と同じ色で、解像度の高い特徴量抽出画像を生成することができるようにしている。
Second Embodiment
Hereinafter, an example of the image search and display system according to the second embodiment of the present invention will be described. The image search and display system according to the present embodiment performs color correction.
In the image search and display system according to the present embodiment, a feature quantity extraction image having a high resolution and the same color as the actual environment is generated by converting the color to be the same as the re-registered image along with the position conversion. To be able to.
次に、図１６を参照して、本実施形態に係る表示画像検索装置２’の一例について説明する。図１６は、本実施形態に係る表示画像検索装置２’の一例を示すブロック図である。
図１６に示す通り、本実施形態係る表示画像検索装置２’は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、変換情報算出部２７’と、登録部２８と、第３記憶部２９と、第４記憶部３１と、特定画像付加情報取得部３２と、を備える。
図１６に示すように、本実施形態に係る表示画像検索装置２’は、第１実施形態に係る表示画像検索装置２に含まれる変換情報算出部２７に代えて、変換情報算出部２７’を備える。他の構成については、図３に示した第１実施形態と同様であり、同一の符号を付して、それらの詳細な説明を省略する。
Next, an example of the display
As illustrated in FIG. 16, the display
As shown in FIG. 16, the display
変換情報算出部２７’は、第１実施形態に係る変換情報算出部２７が持つ機能に加えて、以下の機能を持つ。
この変換情報算出部２７’は、特定画像と、その類似画像と、の色の対応関係を示す変換行列Ａを算出する。ここで、変換情報算出部２７’は、変換行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。ここで、行列Ａｓは、位置の対応関係を示す変換行列（第１の実施形態）であり、行列Ａｃは、色の対応関係を示す変換行列である。なお、（Ａｃ・Ａｓ）は、行列Ａｓで変換された座標各々の色情報に対して、Ａｃを演算することを表す。、
The conversion
This conversion
具体的に説明すると、変換情報算出部２７’は、オリジナルの特定画像とその類似画像とから、色補正のためのサンプル点を抽出する。本実施形態において、変換情報算出部２７’は、図１７（ａ）に示すように、特定画像上において定義されるサンプル点ｐ１，ｐ２、ｐ３・・・に基づき、撮影画像データＤ（ｎ）の中から、図１７（ｂ）に示すように、サンプル点ｐ１，ｐ２、ｐ３・・・に対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・を求める。なお、サンプル点Ｐ１の（Ｘ，Ｙ）座標値は、（ｘ，ｙ）座標値に左から行列Ａｓを演算することで得られる。
More specifically, the conversion
また、変換情報算出部２７’は、特定画像におけるサンプル点ｐ１，ｐ２、ｐ３・・・の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・の色変換を実施する。具体的説明すると、変換情報算出部２７’は、これら色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・を、それぞれ対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）、（Ｒ３，Ｇ３，Ｂ３）・・・に変換するような行列Ａｃを算出する。
以下、変換情報算出部２７’による行列Ａｃの算出方法の一例について説明する。
例えば、特定画像におけるサンプル点ｐ１，ｐ２の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）を、以下のように示すものとする。
Further, the conversion
Hereinafter, an example of a method of calculating the matrix A c by the conversion information calculation section 27 '.
For example, the color information (r 1 , g 1 , b 1 ) and (r 2 , g 2 , b 2 ) of the sample points p1 and p2 in the specific image are shown as follows.
また、例えば、撮影画像データＤ（ｎ）に含まれる特定画像におけるサンプル点Ｐ１，Ｐ２の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）を、以下のように示すものとする。 Further, for example, the color information (R 1 , G 1 , B 1 ) and (R 2 , G 2 , B 2 ) of the sample points P1 and P2 in the specific image included in the captured image data D (n) are It shall be shown as follows.
変換情報算出部２７’は、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とをそれぞれ近づけるようにする色補正変換係数Ｆを算出する。
なお、以下の式（４）によって、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とが関連づけられる。
The conversion
Note that the following equation (4) associates the color information of the corresponding sample point p1 with the color information of P1, and the color information of p2 and the color information of P2.
変換情報算出部２７’は、以下に示す式（５）を最小化する行列Ｅを算出することにより、以下に示す式（６）の行列Ｃと、式（７）の行列Ｄとに対して、以下に示す式（８）の擬似逆行列を用いて、式（９）の行列Ａｃの最適解を算出する。変換情報算出部２７’は、行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。
The conversion
図１８は、本実施形態に係る表示画像検索装置２’の処理を示すフローチャートである。
図１８において、ステップＳＴ２０１からステップＳＴ２０７までの処理は、図１５におけるステップＳＴ２０１からステップＳＴ２０７までの処理と同様で有り、その説明を省略する。
FIG. 18 is a flowchart showing processing of the display
In FIG. 18, the process from step ST201 to step ST207 is the same as the process from step ST201 to step ST207 in FIG.
（ステップＳＴ４０７）
変換情報算出部２７’は、色補正のためのサンプル点を抽出する。変換情報算出部２７’は、行列Ａｓを算出する（第１実施形態の変換行列Ａ）。変換情報算出部２７’は、算出した行列Ａｓに基づいて、検出された特定画像において予め決められているサンプル点ｐ１，ｐ２、ｐ３・・・に対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・を抽出する。
（ステップＳＴ４０８）
そして、変換情報算出部２７’は、サンプル点ｐ１，ｐ２、ｐ３・・・の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・を、それぞれ対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）、（Ｒ３，Ｇ３，Ｂ３）・・・に変換するような行列Ａｃを算出する。変換情報算出部２７’は、行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。
(Step ST407)
The conversion
(Step ST408)
Then, the conversion
（ステップＳＴ４０９）
次いで、登録部２８は、変換情報算出部２７’から入力された変換行列Ａに基づき、撮影画像データＤ（ｎ）に含まれる特定画像をオリジナルの特定画像に置き換えるとともに、置き換えたオリジナルの特定画像の色を撮影画像データＤ（ｎ）に含まれる特定画像の色に類似する色に補正された特徴量抽出画像を生成する。
(Step ST409)
Next, the
（ステップＳＴ４１０）
次いで、登録部２８は、ステップＳＴ４０９で生成された特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
（ステップＳＴ４１１）
そして、登録部２８は、新たな特定画像ＩＤを割り当てて、ステップＳＴ４１０において算出した特徴量抽出画像の特徴量を示す情報と、それぞれ対応付けて、特定画像特徴量テーブル２５０に書き込む。
ここで、登録部２８は、第１の実施形態と同様に、特徴量抽出画像の特徴量とともに、変換行列Ａを特定画像特徴量テーブル２５０に書き込んでもよい。
(Step ST410)
Next, the
(Step ST411)
Then, the
Here, the
（ステップＳＴ４１２）
なお、画像特徴量算出部２３によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル２５０に登録されていない場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部２６は、この判定結果を画像特徴量算出部２３に出力する。この画像特徴量算出部２３は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部２３は、特徴量を算出していない次の撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されているか否かを判定する。この撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されている場合、画像特徴量算出部２３は、登録を終了しないと判定し、ステップＳＴ４１１に移行する。
（ステップＳＴ４１３）
そして、画像特徴量算出部２３は、次の撮影画像データＤ（ｎ＋１）を特定画像データ記憶領域２９０から読み出し、ステップＳＴ２０３に移行して、撮影画像データＤ（ｎ＋１）の特徴量を算出する。
(Step ST412)
When a specific image similar to the feature amount calculated by the image feature
(Step ST413)
Then, the image feature
なお、実際に撮影された画像を基に、特定画像特徴量テーブル２５０に特定画像特徴量を再登録する際に、関連情報を登録しておくようにしてもよい。例えば、所定時間毎に、実際に撮影された画像を基に、特定画像特徴量テーブル２５０に特定画像特徴量を再登録しておき、撮影された時間を関連情報として登録しておく。このようにすると、表示装置１から送られてきた撮影画像特徴量と特定画像特徴量テーブル２５０の特定画像特徴量とを比較する際に、時間情報を基にして、特定画像の候補を選択することができ、精度の向上を図ることができると共に、処理時間の短縮を図れる。
Note that related information may be registered when the specific image feature value is re-registered in the specific image feature value table 250 based on the actually captured image. For example, the specific image feature amount is re-registered in the specific image feature amount table 250 based on the actually captured image at every predetermined time, and the captured time is registered as related information. In this way, when the captured image feature amount sent from the
また、上述の例では、実際に撮影された画像を基に、特定画像の位置変換と色補正とを行っているが、さらに、円柱状の物体に特定画像が設けられた場合を考慮して、曲率変換をするようにしてもよい。 In the above example, the position conversion and color correction of the specific image are performed based on the actually captured image. However, in consideration of the case where the specific image is provided on the cylindrical object. The curvature may be converted.
上述のように、本実施形態では、特定画像特徴量テーブル２５０には、各種の環境下で実際に撮影された画像に基づいて、各種の特定画像が登録される。本実施形態では、表示装置１で撮影された画像の特徴量がどの特定画像に類似しているかを判定することで、撮影画像中の特定画像の位置を求めることができる。
As described above, in the present embodiment, various specific images are registered in the specific image feature amount table 250 based on images actually taken under various environments. In the present embodiment, the position of the specific image in the captured image can be obtained by determining which specific image the feature quantity of the image captured by the
例えば、特定画像特徴量テーブル２５０に、図１９に示すように、Ａの文字の画像に対する特定画像として、インデックス（特定画像ＩＤ）“００１”、“００２”、“００３”のような画像に対応する特定画像特徴量が登録され、Ｂの文字の画像に対する特定画像として、インデックス“００４”、“００５”のような画像に対応する特定画像特徴量が登録されているとする。インデックス“００２”および“００３”のような画像は、インデックス“００１”の画像に対して、見る方向を変えて撮影したものである。インデックス“００５”の画像は、インデックス“００４”の画像に対して、見る方向を変えて撮影したものである。このように、本実施形態においては、特定画像特徴量テーブル２５０には、方向や、色、明るさ等、様々な環境下で撮影された画像に基づく特定画像特徴量が登録されている。 For example, the specific image feature table 250 corresponds to images such as indexes (specific image IDs) “001”, “002”, and “003” as specific images for the image of the letter A as shown in FIG. It is assumed that a specific image feature amount corresponding to an image such as an index “004” or “005” is registered as a specific image for the B character image. Images such as indexes “002” and “003” are images taken with the viewing direction changed from the image of index “001”. The image with the index “005” is obtained by changing the viewing direction with respect to the image with the index “004”. As described above, in the present embodiment, the specific image feature quantity table 250 registers specific image feature quantities based on images taken under various environments such as direction, color, and brightness.
ここで、表示装置１で図２０に示すような画像が撮影され、このような撮影画像が表示画像検索装置２’に送られてきたとする。この場合、表示画像検索装置２’の画像特徴量比較部２６で、特定画像特徴量テーブル２５０の特定画像特徴量と、撮影画像特徴量とを比較する。一致と見なされた特徴点の数が閾値以上（例えば１０以上）で画像の内部に特定画像を検出したと認定する場合、Ａの文字の画像から２つの画像が検出されることになる。インデックス“００１”よりはインデックス“００２”の方が一致する特徴点が大きいので、この場合は、インデックス“００２”が検出されたと見なすことにする。
Ｂの文字の画像の場合は、一致した特徴点数が同じものが検出された、この場合はどちらか一方が検出されたと見なす。ここでは、インデックス“００４”が検出されたものとする。
Here, it is assumed that an image as shown in FIG. 20 is captured by the
In the case of the image of the letter B, it is considered that one having the same number of matched feature points has been detected. In this case, either one is detected. Here, it is assumed that the index “004” is detected.
本実施形態では、このように、見る角度が異なる多数の特定画像が特定画像特徴量テーブル２５０に登録されているため、撮影画像特徴量がどの特定画像特徴量と最も類似しているかを判定することで、撮影画像のどの部分に特定画像があるかを判定できる。 In the present embodiment, since a large number of specific images with different viewing angles are registered in the specific image feature amount table 250 as described above, it is determined which specific image feature amount the captured image feature amount is most similar to. Thus, it can be determined which part of the captured image has the specific image.
つまり、撮影画像での特定画像の位置は、ステップＳＴ１０７で示したような変換を行えば求めることができる。さらに、特定画像が再登録された生成された画像の場合には、特定画像を生成したときの変換と組み合わせて、以下のようにして、撮影画像での特定画像の位置を求めることができる。 That is, the position of the specific image in the captured image can be obtained by performing conversion as shown in step ST107. Further, in the case of a generated image in which the specific image is re-registered, the position of the specific image in the captured image can be obtained in the following manner in combination with the conversion when the specific image is generated.
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図２２は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図２２（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図２２（ａ）に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置１の端末制御部１１は、ＡＲモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部１３により検出された撮影位置情報と、撮影時に計時部１４により計時された撮影日時情報を、表示画像検索装置２に送信する。
Next, a flow when providing content etc. to a user using the above-described display image search system will be described. FIG. 22 is a diagram illustrating an example of an image displayed on the
FIG. 22A is a diagram illustrating an example of photographed image data when a subject is photographed. For example, the photographing
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図２１は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図２１（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図２１（ａ）に示すようなポスターを含む風景を被写体として撮影する。表示装置１は、撮影した撮影画像データＤ（ｎ）を表示画像検索装置２へ送信した結果、特定画像付加情報と表示位置情報と特定画像データを受信する。
表示装置１は、受信した情報に基づいて、図２１（ｂ）に示すように、特定画像領域Ｒ１３に特定画像データの画像（コンテンツ）を重畳して表示する。このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビＣＭの動画等である。
Next, a flow when providing content etc. to a user using the above-described display image search system will be described. FIG. 21 is a diagram illustrating an example of an image displayed on the
FIG. 21A is a diagram illustrating an example of photographed image data when a subject is photographed. For example, the photographing
Based on the received information, the
コンテンツ関連情報を閲覧することを指示する操作（例えば、タップ）がユーザから操作部１８に入力すると、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部１５に表示する。例えば、コンテンツＵＲＬやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置１の端末制御部１１は、通信部１６を介して、コンテンツＵＲＬにアクセスしてコンテンツ関連情報をダウンロードし、図２１（ｃ）に示すように、コンテンツ関連情報を表示部１５に表示する。このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
When an operation (for example, a tap) for instructing to browse the content related information is input from the user to the
Thereby, the
このように、表示装置１は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ＡＲを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ＡＲを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るＡＲモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ＡＲモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このＡＲモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が特定画像領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮影画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部１５に表示することができる。
As described above, the
Therefore, the content of the poster is not limited to the marker, and it is possible to use highly-designed photographs and characters that can be recognized by users who do not receive provision of content using AR. Thereby, a specific image can be displayed on a poster or a large display, and a recognizable image can be displayed even for a user who is not provided with a distribution service for content using the AR mode according to the present embodiment. In addition, in order to receive provision of a content distribution service using the AR mode, the AR mode is set without the user consciously shooting the marker, and a specific image is included in the shot image. For example, you can receive related content.
Thus, if the captured image data includes an image similar to the specific image, the specific image additional information is displayed superimposed on the specific image area. Therefore, when the specific image additional information is a moving image file, the moving image is superimposed and displayed on a part of the captured image data of the captured still image. It can be displayed on the
また、表示画像検索装置２は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
Further, the display
As described above, according to the present invention, the similarity of the “image feature amount” obtained by the image identification processing is determined based on the “position information where the image is captured” and the “text information and image information included in the specific image, and the objects thereof. The captured image data and the specific image are compared with each other by combining the “coordinate information in the image”. By adopting this comparison method, it is possible to reduce the case of erroneous identification or inability to be identified as compared with the conventional method, and it is possible to display the additional information in the space photographed by the mobile device more accurately than the conventional method.
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
For example, when the shooting conditions are bad and noise is included in the captured image data, the feature amount of the specific image included in the captured image may be greatly different from the feature amount of the specific image defined in the table. In this case, although the specific image is included as the subject of the captured image, the specific image may not be recognized from the captured image, or another specific image may be erroneously recognized.
According to the present invention, it is possible to prevent the occurrence of such misrecognition and unrecognition, and improve the search accuracy of the specific image included in the captured image data. In addition, it is possible to specify in which region the specific image exists in the captured virtual space, and it is possible to display content corresponding to the region in which the specific image exists in the virtual space.
また、特定画像付加情報テーブル３１０において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定ＩＤに対応付けておき、特定画像付加情報取得部３２が、入力された撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
In addition, in the specific image additional information table 310, in addition to the specific image additional information that defines the content and the like, the shooting condition information is associated with the specific ID, and the specific image additional
次に、図２２を参照して、コンテンツを提供するサービスの一例について説明する。図２２は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図２２（ａ）に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのＵＲＬを、コンテンツやコンテンツ関連情報として提供することができる。
また、図２２（ｂ）に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル３１０において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル２２０に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
Next, an example of a service that provides content will be described with reference to FIG. FIG. 22 is a diagram for explaining an example of a service using the display image search system according to the present embodiment.
For example, as shown in FIG. 22 (a), by placing a specific image in a medium such as a magazine or a newspaper, the content of the advertisement related to the specific image or the URL of the shopping site can be changed to the content or content related information. Can be offered as.
Also, as shown in FIG. 22B, when this landscape is shot by displaying a movie poster as a specific image on a large display of a building, a rental advertisement space or the like, a movie trailer movie or this movie is displayed. Information about the movie theater being screened can be provided as content or content-related information. In this case, in the specific image additional information table 310, position information indicated by latitude, longitude, and altitude corresponding to the position of each movie theater is set as shooting condition information, and data associated with the specific image additional information is prepared in advance. Keep it. As a result, information on a plurality of movie theaters within the same range in the position information defined in the specific image position table 220 and closer to the position where the user exists at the time of shooting is distributed. be able to.
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
In addition, this invention is not restricted to the above-mentioned embodiment, For example, the following structures may be sufficient.
For example, the shape of the specific image is not limited to the square or trapezoid described above, and may be a shape such as a circle or a triangle.
また、上述のフローチャートに示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１、３に示す表示装置１および表示画像検索装置２（あるいは、図１６に示す表示画像検索装置２’）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, a program for realizing each step shown in the flowchart is recorded on a computer-readable recording medium, and the
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・変換情報算出部、２８・・・登録部、２９・・・第３記憶部、３１・・・第４記憶部、３２・・・特定画像付加情報取得部
DESCRIPTION OF
Claims (7)
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、
を備え、
前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出することを特徴とする検索画像登録装置。 An input unit for inputting image data of a photographed image taken by the photographing unit;
An image feature amount calculation unit that calculates a captured image feature amount indicating the feature of the captured image based on the image data;
A comparison unit that detects a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
A registration unit that acquires re-registration information related to the similar image, and registers the acquired re-registration information in a storage unit;
With
The comparison image registration device, wherein the comparison unit detects a similar image based on re-registration information registered in a storage unit.
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録することを特徴とする請求項１に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for the similar image and the specific image,
The search image registration apparatus according to claim 1, wherein an image obtained by converting the specific image based on the conversion rule is used as a new specific image, and information relating to the new specific image is registered as re-registration information.
前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、
前記変換規則に基づいて、再登録情報を登録することを特徴とする請求項１又は２に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for color information of the similar image and the specific image,
The search image registration apparatus according to claim 1, wherein re-registration information is registered based on the conversion rule.
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録することを特徴とする請求項１から３のうちいずれか一項に記載の検索画像登録装置。 The registration unit
Based on the specific image feature amount and the captured image feature amount, obtain a conversion rule for the similar image and the specific image,
The image obtained by converting the specific image based on the conversion rule is used as a new specific image, and the specific image feature amount indicating the feature amount of the new specific image is registered as re-registration information. The search image registration device according to any one of 3.
前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備えることを特徴とする検索画像表示システム。 The search image registration device according to any one of claims 1 to 4,
A search image display system comprising: a display device connected to the search image registration device via a network and provided with the photographing unit.
撮影部が撮影した撮影画像の画像データを入力する入力過程と、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較過程と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較過程と、
を有することを特徴とする検索画像登録方法。 A search image registration method in a search image registration apparatus,
An input process for inputting image data of a photographed image taken by the photographing unit;
Based on the image data, an image feature amount calculating process for calculating a captured image feature amount indicating the feature of the captured image;
A first comparison process for detecting a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
A registration process for acquiring re-registration information related to the similar image and registering the acquired re-registration information in a storage unit;
A second comparison process for detecting a similar image based on the re-registration information registered in the storage unit;
A search image registration method characterized by comprising:
撮影部が撮影した撮影画像の画像データを入力する入力手段、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較手段、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較手段、
を実行させるためのプログラム。 On the computer,
Input means for inputting image data of a photographed image photographed by the photographing unit;
An image feature amount calculating means for calculating a photographed image feature amount indicating a feature of the photographed image based on the image data;
First comparison means for detecting a similar image similar to or similar to the specific image in the captured image based on the specific image feature amount indicating the characteristic of the specific image to be searched and the captured image feature amount;
Registration means for acquiring re-registration information related to the similar image and registering the acquired re-registration information in a storage unit;
Second comparison means for detecting a similar image based on re-registration information registered in the storage unit;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012082428A JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012082428A JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013210974A true JP2013210974A (en) | 2013-10-10 |
Family
ID=49528705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012082428A Pending JP2013210974A (en) | 2012-03-30 | 2012-03-30 | Retrieval image registration device, retrieval image display system, retrieval image registration method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013210974A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016066146A (en) * | 2014-09-24 | 2016-04-28 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Display system, display method, computer program, and computer-readable storage medium |
| JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
| WO2017081870A1 (en) * | 2015-11-12 | 2017-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Display method, program and display device |
| US9871587B2 (en) | 2013-11-22 | 2018-01-16 | Panasonic Intellectual Property Corporation Of America | Information processing method for generating encoded signal for visible light communication |
| JP2018518742A (en) * | 2015-08-03 | 2018-07-12 | グーグル エルエルシー | Fixing a facility with images located using geolocation |
| US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
| WO2022113653A1 (en) * | 2020-11-24 | 2022-06-02 | 株式会社ダイカン | Designed article recognition information providing system, designed article recognition information providing method, and designed article recognition information providing program |
| US11490025B2 (en) | 2012-12-27 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Information communication method |
-
2012
- 2012-03-30 JP JP2012082428A patent/JP2013210974A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11659284B2 (en) | 2012-12-27 | 2023-05-23 | Panasonic Intellectual Property Corporation Of America | Information communication method |
| US11490025B2 (en) | 2012-12-27 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Information communication method |
| US9871587B2 (en) | 2013-11-22 | 2018-01-16 | Panasonic Intellectual Property Corporation Of America | Information processing method for generating encoded signal for visible light communication |
| JP2016066146A (en) * | 2014-09-24 | 2016-04-28 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Display system, display method, computer program, and computer-readable storage medium |
| US10142020B2 (en) | 2014-11-14 | 2018-11-27 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
| US10389446B2 (en) | 2014-11-14 | 2019-08-20 | Panasonic Intellectual Property Corporation Of America | Reproduction method for reproducing contents |
| JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
| JP2018518742A (en) * | 2015-08-03 | 2018-07-12 | グーグル エルエルシー | Fixing a facility with images located using geolocation |
| US10467284B2 (en) | 2015-08-03 | 2019-11-05 | Google Llc | Establishment anchoring with geolocated imagery |
| US11232149B2 (en) | 2015-08-03 | 2022-01-25 | Google Llc | Establishment anchoring with geolocated imagery |
| JPWO2017081870A1 (en) * | 2015-11-12 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Display method, program and display device |
| US10263701B2 (en) | 2015-11-12 | 2019-04-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
| US10951309B2 (en) | 2015-11-12 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Display method, non-transitory recording medium, and display device |
| WO2017081870A1 (en) * | 2015-11-12 | 2017-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Display method, program and display device |
| WO2022113653A1 (en) * | 2020-11-24 | 2022-06-02 | 株式会社ダイカン | Designed article recognition information providing system, designed article recognition information providing method, and designed article recognition information providing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013210974A (en) | Retrieval image registration device, retrieval image display system, retrieval image registration method and program | |
| US9754183B2 (en) | System and method for providing additional information using image matching | |
| CN106462728B (en) | System and method for the identification based on characteristics of image | |
| US9542417B2 (en) | Preferred image retrieval | |
| US20180188033A1 (en) | Navigation method and device | |
| US8942483B2 (en) | Image-based georeferencing | |
| US9497581B2 (en) | Incident reporting | |
| KR100982192B1 (en) | A Method for Geo-tagging of Pictures and Apparatus thereof | |
| JP5544250B2 (en) | Display image search method | |
| US8953900B2 (en) | Increased quality of image objects based on depth in scene | |
| KR20090019184A (en) | Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method | |
| US8194156B2 (en) | EXIF object coordinates | |
| US20090005078A1 (en) | Method and apparatus for connecting a cellular telephone user to the internet | |
| JPWO2007116500A1 (en) | Information presentation system, information presentation terminal and server | |
| CN107430498A (en) | Extend the visual field of photo | |
| JP2010272054A (en) | Device, method, and program for providing building relevant information | |
| Schaffland et al. | An interactive web application for the creation, organization, and visualization of repeat photographs | |
| JP2015022631A (en) | Information processor, information processing system and program | |
| Kim et al. | Dewarping book page spreads captured with a mobile phone camera | |
| CN104871179A (en) | Method and system for image capture and facilitated annotation | |
| JP6591594B2 (en) | Information providing system, server device, and information providing method | |
| JP2013214158A (en) | Display image retrieval device, display control system, display control method, and program | |
| JP5975484B2 (en) | Image processing device | |
| US9311562B2 (en) | Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium | |
| KR101136944B1 (en) | Contents providing system and method by using mobile terminal |