JP2021043544A - Information processing apparatus, information processing system, information processing method, and information processing program - Google Patents
Information processing apparatus, information processing system, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2021043544A JP2021043544A JP2019163258A JP2019163258A JP2021043544A JP 2021043544 A JP2021043544 A JP 2021043544A JP 2019163258 A JP2019163258 A JP 2019163258A JP 2019163258 A JP2019163258 A JP 2019163258A JP 2021043544 A JP2021043544 A JP 2021043544A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- image
- address information
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title description 2
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method and an information processing program.
従来から、店舗や会社等は、その存在を知らせるために袖看板を設置することが多い。袖看板とは、建築物の壁面や支柱を利用して建物の側面に垂直に突き出る形で設置する看板である。 Traditionally, stores and companies often install sleeve signs to inform them of their existence. A sleeve signboard is a signboard that is installed vertically on the side of a building by using the wall surface or pillars of the building.
ところで、袖看板は、店舗や会社等の閉店や移転等に伴い撤去される場合や、店名や社名の変更等に伴い交換が必要となる場合がある。これらの場合には、撤去対象の袖看板や、交換対象の袖看板が設置された場所を特定する必要がある。 By the way, the sleeve signboard may be removed due to the closing or relocation of a store or company, or may need to be replaced due to a change in the store name or company name. In these cases, it is necessary to identify the place where the sleeve sign to be removed or the sleeve sign to be replaced is installed.
これに関連して、従来では、場所情報を含むインターネット上の画像に、施設を示す任意の識別マーク（看板等）があるか否か判定する技術が知られている。また、場所情報を含むインターネット上の画像を用いる技術として、道路沿いの風景を撮像した全天球画像を提供するサービスが知られている。 In connection with this, conventionally, a technique for determining whether or not an image on the Internet including location information has an arbitrary identification mark (signboard or the like) indicating a facility has been known. Further, as a technique of using an image on the Internet including location information, a service that provides a spherical image of a landscape along a road is known.
上述した従来の技術を用いて、袖看板の場所を特定しようとした場合、袖看板は一般的に建物の側面に掲げられているため、水平面の画像では、看板全体が画像に映らない可能性がある。また、全天球画像は歪みが大きいため、画像検索に適さない。 When trying to locate the sleeve sign using the conventional technique described above, the sleeve sign is generally hung on the side of the building, so the entire sign may not appear in the horizontal image. There is. Moreover, since the spherical image has a large distortion, it is not suitable for image search.
このため、上述した従来の技術では、インターネット上等で提供される画像を用いて、検索対象物である袖看板が設置されている場所を特定することが困難であった。 Therefore, in the above-mentioned conventional technique, it is difficult to identify the place where the sleeve signboard, which is the search target, is installed by using the image provided on the Internet or the like.
開示の技術は、検索対象物が設置されている場所を特定することを目的とする。 The disclosed technology aims to identify where the search object is located.
開示の技術は、住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得する画像取得部と、前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理装置である。 The disclosed technology includes an image acquisition unit that acquires image data cut out based on parameters set according to a search target from image data captured at a point based on address information, and the cut out image data and the address. An information processing device having a search request unit that inputs information associated with information to a learning unit that performs an image search for the search target object and requests the learning unit to search for the search target object. is there.
検索対象物が設置されている場所を特定することができる。 It is possible to identify the place where the search target is installed.
（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。
(First Embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram showing an example of a system configuration of the information processing system of the first embodiment.
本実施形態の情報処理システム１００は、情報処理装置２００と、学習装置３００とを含む。情報処理システム１００において、情報処理装置２００と学習装置３００とは、ネットワークを介して接続される。
The
また、本実施形態の情報処理システム１００において、情報処理装置２００は、端末装置４００とネットワーク等を介して通信を行う。さらに、本実施形態の情報処理システム１００において、情報処理装置２００は、インターネット上に存在するサーバ装置５００と通信を行い、サーバ装置５００からサービスの提供を受ける。
Further, in the
サーバ装置５００が提供するサービスとは、例えば、入力された住所情報を緯度・経度に変換するサービスや、入力された緯度・経度と対応する地点から撮像した道路沿いの風景の全天球画像データを提供するサービス等である。
The services provided by the
本実施形態の情報処理装置２００は、住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０、検索要求部２６０を有する。
The
本実施形態の情報処理装置２００において、画像処理部２５０は、住所情報記憶部２２０に格納された住所情報をサーバ装置５００に送信し、サーバ装置５００から、住所情報と対応する位置で撮像した全天球画像データからパラメータに応じて抽出された画像データを取得する。尚、本実施形態の住所情報記憶部２２０は、検索対象物が設置されている可能性がある店舗や会社等の住所を示す住所情報が格納されている。
In the
パラメータ記憶部２３０は、全天球画像データから抽出する平面画像データの範囲を示すパラメータが格納されている。このパラメータは、検索対象物に応じて予め設定される。
The
次に、画像処理部２５０は、住所情報と、それぞれの平面画像を示す画像データとを対応付けた画像ファイルリストを作成し、画像ファイル記憶部２４０へ格納する。
Next, the
次に、情報処理装置２００は、検索要求部２６０によって、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ入力させる。
Next, the
本実施形態の学習装置３００は、学習部３１０を有する。学習部３１０は、検索対象物の画像データを正解データとして学習（例えば、教師あり学習）を行ったモデルである。学習部３１０は、画像ファイルリストが入力されると、検索対象物の画像が含まれる画像を示す画像データを特定する情報を出力する。
The
学習装置３００は、情報処理装置２００から画像ファイルリストの入力を受け付けると、学習部３１０に画像ファイルリストを入力し、検索対象物が含まれる平面画像データを特定する情報を出力として取得する。尚、学習部３１０から出力される、平面画像データを特定する情報とは、平面画像データそのものであっても良いし、平面画像データと対応付けられた住所情報であっても良いし、平面画像データと住所情報とが対応付けられた情報であっても良い。
When the
情報処理装置２００は、検索要求部２６０によって、学習部３１０から出力される情報を取得する。学習部３１０から出力された情報は、情報処理装置２００によって端末装置４００に出力されても良い。また、学習部３１０から出力された情報は、情報処理装置２００のディスプレイ等に出力されても良い。
The
このように、本実施形態によれば、検索対象物が設置されている可能性のある場所の住所情報の画像データを、検索対象物の画像データを正解データとして学習した学習部３１０に入力し、検索対象物が含まれる画像データを特定する。したがって、本実施形態によれば、学習部３１０によって特定された画像データと対応する住所情報に基づき、検索対象物が設置された場所を特定することができる。
As described above, according to the present embodiment, the image data of the address information of the place where the search target may be installed is input to the
このため、本実施形態によれば、例えば、検索対象物を、撤去の対象の袖看板とした場合には、袖看板が設置されている可能性のある店舗等の住所情報を住所情報記憶部２２０に格納しておけば、撤去対象の袖看板が設置された場所を特定することができる。 Therefore, according to the present embodiment, for example, when the search target is a sleeve signboard to be removed, the address information of a store or the like where the sleeve signboard may be installed is stored in the address information storage unit. If it is stored in 220, the place where the sleeve signboard to be removed is installed can be specified.
また、本実施形態では、インターネット上から住所情報に基づき提供される全天球画像データを用いて、撤去対象の袖看板が設置された場所を特定する。 Further, in the present embodiment, the location where the sleeve signboard to be removed is installed is specified by using the spherical image data provided from the Internet based on the address information.
このため、本実施形態によれば、撤去作業を行う作業員が、撤去対象の袖看板が設置されている可能性のある店舗等を訪れ、目視で袖看板を確認する、といった作業が不要となり、効率的に撤去対象の袖看板の設置場所を把握させることができる。 Therefore, according to the present embodiment, it is not necessary for the worker performing the removal work to visit a store or the like where the sleeve signboard to be removed may be installed and visually check the sleeve signboard. , It is possible to efficiently grasp the installation location of the sleeve signboard to be removed.
尚、図１の例では、情報処理装置２００と学習装置３００とが別々に設けられるものとしたが、これに限定されない。学習装置３００は、情報処理装置２００に含まれても良い。また、図１の例では、情報処理装置２００は、住所情報記憶部２２０とパラメータ記憶部２３０と画像ファイル記憶部２４０とを有するものとしたが、これに限定されない。住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０は、一部又は全部が情報処理装置２００以外の装置に設けられていても良い。また、本実施形態では、全天球画像データがインターネットを介してサーバ装置５００から提供されるものとしたが、これに限定されない。情報処理装置２００は、住所情報と対応付けられた画像データを取得できれば良く、その方法は、上述した方法に限定されない。
In the example of FIG. 1, the
以下に、本実施形態の情報処理装置２００について、さらに説明する。尚、以下の説明では、検索対象物を撤去対象の袖看板とした場合について説明する。図２は、第一の実施形態の情報処理装置のハードウェア構成の一例を示す図である。
The
図２に示されているように、情報処理装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバス２１０、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。
As shown in FIG. 2, the
これらのうち、ＣＰＵ２０１は、情報処理装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。
Of these, the
外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。データバス２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The external device connection I /
また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。
Further, the
次に、図３乃至図５を参照して、本実施形態の情報処理装置２００の有する住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０について説明する。尚、これらの各記憶部は、ＨＤ２０４やＲＯＭ５０３等の記憶装置によって実現される。
Next, the address
図３は、住所情報記憶部の一例を示す図である。本実施形態の住所情報記憶部２２０に格納される住所情報は、情報の項目として、名称、郵便番号、住所を含む。
FIG. 3 is a diagram showing an example of an address information storage unit. The address information stored in the address
項目「名称」の値は、撤去対象の袖看板が設置されている可能性のある店舗や会社等の名称を示す。項目「郵便番号」の値と、項目「住所」の値は、対応する店舗等の郵便番号と住所である。 The value of the item "name" indicates the name of a store, company, etc. that may have a sleeve sign to be removed. The value of the item "zip code" and the value of the item "address" are the zip code and address of the corresponding store or the like.
住所情報記憶部２２０には、例えば、過去に袖看板を設置した店舗の住所情報のリスト（一覧）等が格納されて良い。住所情報記憶部２２０は、予め情報処理装置２００に与えられる。
The address
図４は、パラメータ記憶部の一例を示す図である。先に説明した通り、学習部３１０における学習は、通常、平面画像の検索対象物の画像データを正解データとして行われる。一方、住所情報に基づき特定される全天球画像は、平面画像ではなく、歪んだ画像になっている。このため、全天球画像のまま、学習部３１０に入力しても、学習をしたときの正解データとは異なるために、袖看板が設置された場所を特定できない可能性がある。
FIG. 4 is a diagram showing an example of a parameter storage unit. As described above, the learning in the
このような問題も含め、全天球画像を平面画像として取得する必要がある。本実施形態のパラメータ記憶部２３０は、住所情報と対応する全天球画像データから、複数の平面画像データを取得する際に参照される。具体的には、本実施形態では、全天球画像データから、８つの方位毎に平面画像データを取得する。
Including such problems, it is necessary to acquire the spherical image as a plane image. The
本実施形態のパラメータ記憶部２３０に格納されたパラメータには、ｓｉｚｅ、ｌｏｃａｔｉｏｎ、ｈｅａｄｉｎｇ、ｐｉｔｃｈ、ｆｏｖ、ｓｏｕｒｃｅ、ｋｅｙを含む。
The parameters stored in the
ｓｉｚｅは、全天球画像データから取得される平面画像データのサイズを示す。本実施形態では、平面画像データのｓｉｚｅは、６４０ピクセル×６４０ピクセルとする。 size indicates the size of the plane image data acquired from the spherical image data. In the present embodiment, the size of the plane image data is 640 pixels × 640 pixels.
ｌｏｃａｔｉｏｎは、全天球画像データが撮像された地点の緯度・経度を示す。 The location indicates the latitude and longitude of the point where the spherical image data is captured.
ｈｅａｄｉｎｇは、方位を示す。ｈｅａｄｉｎｇの値が０の場合は北、９０の場合は東、１８０の場合は南、２７０の場合は西を示す。 heading indicates the direction. A heading value of 0 indicates north, 90 indicates east, 180 indicates south, and 270 indicates west.
ｐｉｔｃｈは、水平を基準とした上下方向の角度を示す。以下の説明では、上向きの角度を仰角、下向きの角度を俯角又は伏角と呼ぶ場合がある。本実施形態では、ｐｉｔｃｈの値は上向きの１５．０度である。 Pitch indicates an angle in the vertical direction with respect to the horizontal. In the following description, the upward angle may be referred to as an elevation angle, and the downward angle may be referred to as a depression angle or a dip angle. In the present embodiment, the value of pitch is 15.0 degrees upward.
ｆｏｖ（field of view）は、画角を示す。本実施形態では、ｆｏｖは、４５．０である。 fov (field of view) indicates the angle of view. In this embodiment, the fov is 45.0.
ｓｏｕｒｃｅは、撮像される対象を示す。本実施形態では、屋内の画像を除外するために、ｏｕｔｄｏｏｒ（屋外）とした。 source indicates an object to be imaged. In this embodiment, in order to exclude indoor images, it is set as outdoor.
ｋｅｙは、サーバ装置５００が提供するサービスを利用するためのＡＰＩ（Application Programming Interface）キーを示す。
The key indicates an API (Application Programming Interface) key for using the service provided by the
本実施形態では、こられのパラメータを参照して、全天球画像データから８方位の平面画像データを取得する。 In the present embodiment, the plane image data of eight directions is acquired from the spherical image data with reference to these parameters.
次に、図５を参照して、画像ファイル記憶部２４０について説明する。図５は、画像ファイル記憶部の一例を示す図である。
Next, the image
本実施形態の画像ファイル記憶部２４０に格納される画像ファイルリストは、情報の項目として、ｉｍａｇｅ＿ｎａｍｅ、ｊｐｎ＿ａｄｄｒｅｓｓ、ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ、ｌａｔｉｔｕｄｅ、ｌｏｎｇｉｔｕｄｅを有し、各項目は対応付けられている。以下の説明では、上述した各項目の値を含む情報を画像ファイルと呼ぶ。
The image file list stored in the image
項目「ｉｍａｇｅ＿ｎａｍｅ」の値は、平面画像データの画像ファイル名を示す。項目「ｊｐｎ＿ａｄｄｒｅｓｓ」の値は、住所情報に含まれる住所を示す。項目「ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ」の値は、英語のフォーマットに変換した住所を示す。項目「ｌａｔｉｔｕｄｅ」の値と、項目「ｌｏｎｇｉｔｕｄｅ」の値は、住所を緯度経度に変換した際の緯度と経度を示す。 The value of the item "image_name" indicates the image file name of the plane image data. The value of the item "jpn_addless" indicates the address included in the address information. The value of the item "formatted_addless" indicates the address converted to the English format. The value of the item "latitude" and the value of the item "longitude" indicate the latitude and longitude when the address is converted into latitude and longitude.
画像ファイル記憶部２４０に格納される画像ファイルリストは、画像処理部２５０による処理によって作成される。
The image file list stored in the image
次に、図６を参照して、本実施形態の情報処理装置２００の機能について説明する。図６は、第一の実施形態の情報処理装置の機能を説明する図である。
Next, the function of the
本実施形態の情報処理装置２００は、画像処理部２５０と検索要求部２６０とを有する。画像処理部２５０は、住所情報取得部２５１、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５を有する。
The
住所情報取得部２５１は、住所情報記憶部２２０から住所情報を取得する。緯度経度変換部２５２は、住所情報が示す場所を緯度・経度に変換する。具体的には、緯度経度変換部２５２は、サーバ装置５００に対して住所情報を送信し、対応する緯度・経度を取得しても良い。尚、住所情報と対応する緯度・経度とは、住所情報が示す地点から最も近い道路上の点である。
The address
画像取得部２５３は、緯度経度変換部２５２によって変換された緯度・経度をサーバ装置５００へ送信し、この緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを取得する。具体的には、画像取得部２５３は、パラメータ設定部２５４によって設定されたパラメータを、サーバ装置５００へ送信し、緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを、サーバ装置５００から取得する。
The
尚、パラメータに基づいて全天球画像データから切り出された画像データは、全天球画像の歪みをなくした平面画像を示す平面画像データとなる。つまり、本実施形態のパラメータは、全天球画像データから切り出された画像データが、歪みのない平面画像データとなる範囲に設定されている。 The image data cut out from the spherical image data based on the parameters is flat image data showing a flat image without distortion of the spherical image. That is, the parameters of the present embodiment are set in a range in which the image data cut out from the spherical image data becomes the plane image data without distortion.
したがって、画像取得部２５３は、住所情報に基づき、住所情報が示す住所と対応した歪みのない平面画像データを取得できる。
Therefore, the
パラメータ設定部２５４は、パラメータ記憶部２３０に格納されたパラメータを読み出して、画像取得部２５３に設定する。
The
格納部２５５は、画像取得部２５３が取得した平面画像データと、住所情報が示す住所と、緯度・経度とを対応付けた画像ファイルを生成し、画像ファイル記憶部２４０へ格納する。つまり、格納部２５５は、全天球画像データから切り出された画像データと、住所情報とを対応付けた情報を画像ファイルとして、画像ファイル記憶部２４０へ格納する。
The
本実施形態の検索要求部２６０は、リスト出力部２６１、結果取得部２６２、出力部２６３を有する。
The
リスト出力部２６１は、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリスト（画像ファイルの一覧）を学習装置３００へ出力する。言い換えれば、検索要求部２６０は、住所情報と対応する全天球画像データから切り出された画像データと、住所情報とを対応付けた情報を、学習部３１０へ入力し、学習部３１０に対して検索対象物の検索を要求する。
The
結果取得部２６２は、学習部３１０により出力された情報を取得する。出力部２６３は、結果取得部２６２が取得した情報を端末装置４００等に出力する。
The
次に、図７及び図８を参照して、本実施形態の画像処理部２５０の処理について説明する。図７は、第一の実施形態の情報処理装置の処理を説明する第一のフローチャートである。
Next, the processing of the
本実施形態の情報処理装置２００において、画像処理部２５０は、平面画像データを格納するためのファイルを作成する（ステップＳ７０１）。
In the
続いて、画像処理部２５０は、住所情報取得部２５１により、住所情報記憶部２２０を参照する（ステップＳ７０２）。
Subsequently, the
続いて、画像処理部２５０は、住所情報取得部２５１により、住所情報記憶部２２０に格納された住所情報を１レコードずつ読み込む（ステップＳ７０３）。
Subsequently, the
続いて、画像処理部２５０は、緯度経度変換部２５２により、読み込んだ住所情報が示す場所を緯度・経度に変換する（ステップＳ７０４）。具体的には、緯度経度変換部２５２は、サーバ装置５００が提供するＡＰＩを起動させて住所情報を送信し、住所情報と対応する緯度・経度を取得する。
Subsequently, the
続いて、画像処理部２５０は、緯度・経度に基づき、複数の平面画像データを取得する（ステップＳ７０５）。ステップＳ７０５の処理の詳細は後述する。
Subsequently, the
続いて、画像処理部２５０は、住所情報記憶部２２０に格納された全ての住所情報に対して、ステップＳ７０３からステップＳ７０５の処理を繰り返し（ステップＳ７０６）、処理を終了する。
Subsequently, the
以下に、図８を参照して、図７のステップＳ７０５の処理について説明する。図８は、第一の実施形態の情報処理装置の処理を説明する第二のフローチャートである。 Hereinafter, the process of step S705 of FIG. 7 will be described with reference to FIG. FIG. 8 is a second flowchart illustrating the processing of the information processing apparatus of the first embodiment.
本実施形態の画像処理部２５０は、パラメータ設定部２５４により、パラメータ記憶部２３０を参照し、パラメータを設定する（ステップＳ８０１）。
The
具体的には、パラメータ設定部２５４は、ｓｉｚｅを６４０ピクセル×６４０ピクセル、ｌｏｃａｔｉｏｎを緯度経度変換部２５２が取得した緯度・経度、ｈｅａｄｉｎｇを０、ｐｉｔｃｈを上向きの１５．０度、ｆｏｖを４５度、ｓｏｕｒｃｅをｏｕｔｄｏｏｒ、ｋｅｙを、サーバ装置５００が提供するサービスを利用するためのＡＰＩに設定する。
Specifically, the
続いて、画像処理部２５０は、画像取得部２５３により、設定されたパラメータに基づき、全天球画像データから切り出された平面画像データを取得する（ステップＳ８０２）。
Subsequently, the
具体的には、画像取得部２５３は、全天球画像データから、北方向を中心とした、画角４５度、仰角１５度の範囲で切り出された平面画像データを取得する。
Specifically, the
続いて、画像処理部２５０は、格納部２５５により、取得した平面画像データに、画像ファイル名と、住所と、英語のフォーマットに変換した住所と、住所情報から変換した緯度・経度とを対応付けた画像ファイルを生成して画像ファイル記憶部２４０に格納する（ステップ８０３）。
Subsequently, the
続いて、画像取得部２５３は、８方位の平面画像データを取得したか否かを判定する（ステップＳ８０４）。ステップＳ８０４において、８方位の平面画像データを取得していない場合、パラメータ設定部２５４は、パラメータを変更し（ステップＳ８０５）、ステップＳ８０２へ戻る。
Subsequently, the
具体的には、パラメータ設定部２５４は、パラメータのうち、ｈｅａｄｉｎｇの値に４５度を追加し、ステップＳ８０２に戻る。
Specifically, the
ステップＳ８０４において、８方位の平面画像データが生成された場合、画像処理部２５０は、図７のステップＳ７０６へ進む。
When the plane image data of eight directions is generated in step S804, the
本実施形態では、画像処理部２５０の処理により、住所情報と対応する緯度・経度を中心とした８方位の平面画像データを取得することができる。
In the present embodiment, by the processing of the
図９は、画像処理部によって生成される平面画像データを説明する図である。図９に示す平面画像９１〜９８は、地点９０を中心として、８方位のそれぞれの風景を撮像した画像である。
FIG. 9 is a diagram illustrating plane image data generated by the image processing unit. The
平面画像９１は、地点９０において撮像した全天球画像から、北方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。平面画像９２は、北東方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。平面画像９３は、東方向を中心とした画角４５度、仰角１５度の範囲を切り出した画像である。
The
平面画像９４は南東方向を中心し、平面画像９５は南方向を中心とし、平面画像９６は南西方向を中心とし、平面画像９７は西方向を中心とし、平面画像９８は北西方向を中心として、それぞれの中心から画角４５度、仰角１５度の範囲を切り出した画像である。
The
このように、本実施形態によれば、住所情報に基づく全天球画像データから、歪みのない複数の平面画像データを取得することができる。したがって、本実施形態によれば、全天球画像データから、学習装置３００の学習部３１０による画像検索に適した歪みのない画像データを取得することができる。
As described above, according to the present embodiment, it is possible to acquire a plurality of plane image data without distortion from the spherical image data based on the address information. Therefore, according to the present embodiment, it is possible to acquire distortion-free image data suitable for image search by the
また、本実施形態では、全天球画像データから切り出す（抽出する）画像データの範囲として、仰角を１５度に設定した。したがって、本実施形態では、水平地点から上方向を見上げた角度の画像データを取得することができる。このため、本実施形態によれば、建物の側面に垂直に突き出る形で設置された袖看板が映っている可能性が高い画像を取得することができる。 Further, in the present embodiment, the elevation angle is set to 15 degrees as the range of the image data to be cut out (extracted) from the spherical image data. Therefore, in the present embodiment, it is possible to acquire image data at an angle looking upward from a horizontal point. Therefore, according to the present embodiment, it is possible to acquire an image in which there is a high possibility that a sleeve signboard installed so as to project vertically on the side surface of the building is shown.
次に、図１０を参照して、本実施形態の検索要求部２６０の処理について説明する。図１０は、第一の実施形態の情報処理装置の処理を説明する第三のフローチャートである。
Next, the process of the
本実施形態の検索要求部２６０は、リスト出力部２６１により、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ出力する（ステップＳ１００１）。
The
続いて、検索要求部２６０は、結果取得部２６２により、学習装置３００から、学習部３１０が出力した情報を取得し（ステップＳ１００２）、出力部２６３により、学習部３１０が出力した情報を端末装置４００へ出力する（ステップＳ１００３）。
Subsequently, the
尚、出力部２６３が出力する先は、端末装置４００に限定されない。出力部２６３は
情報処理装置２００のディスプレイ２０６に学習部３１０が出力した情報を表示させても良い。また、本実施形態では、学習部３１０が検索結果を出力する度に、検索結果が正解であったか否かを示す情報を学習装置３００に入力し、学習部３１０に機械学習によって学習させても良い。
The output destination of the
図１１は、出力部２６３による出力例を示す図である。図１１（Ａ）の例では、学習部３１０によって、検索対象となる袖看板が映っている平面画像データとして抽出された画像データが表示されている。
FIG. 11 is a diagram showing an output example by the
この場合、出力部２６３は、検索対象の袖看板が映っていた平面画像データと対応付けられた住所情報を特定し、この住所情報と対応付けられた他の平面画像データを画像ファイル記憶部２４０から抽出して、出力しても良い。
In this case, the
この場合、特定された住所情報に基づく緯度・経度を中心とした８方位の画像データが出力されることになる。 In this case, image data in eight directions centered on latitude and longitude based on the specified address information will be output.
また、本実施形態では、検索対象の袖看板が映っていた平面画像データを表示させる際に、検索対象の袖看板の画像を強調するマーク１０１等を表示させても良い。
Further, in the present embodiment, when displaying the plane image data in which the sleeve signboard to be searched is displayed, a
また、本実施形態の出力部２６３は、図１１（Ｂ）に示すように、住所情報記憶部２２０に格納された住所情報のうち、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧を表示させても良い。
Further, as shown in FIG. 11B, the
図１１（Ｂ）に示す画面１１１は、検索対象となる袖看板が設置されていた住所を表示していることを示すメッセージ１１２と、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧１１３とが表示されている。
The
このように、検索結果を住所情報の一覧として表示させることで、袖看板の撤去を行う作業員等に対し、撤去対象の袖看板の設置場所を容易に把握させることができる。 By displaying the search results as a list of address information in this way, it is possible to easily make the worker or the like who removes the sleeve signboard grasp the installation location of the sleeve signboard to be removed.
（第二の実施形態）
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態では、住所情報から取得した緯度・経度に基づき取得した全天球画像データに検索対象が映っていない場合に、住所情報から取得した緯度・経度の近傍の地点から撮像した全天球画像データを用いる点が、第一の実施形態と相違する。以下の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. In the second embodiment, when the search target is not reflected in the all-celestial sphere image data acquired based on the latitude / longitude acquired from the address information, all images taken from points in the vicinity of the latitude / longitude acquired from the address information. It differs from the first embodiment in that celestial sphere image data is used. In the following description, the differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be given the same reference numerals as those used in the description of the first embodiment. It is given and the description thereof is omitted.
図１２は、第二の実施形態の情報処理装置の機能構成を説明する図である。本実施形態の情報処理装置２００Ａは、住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０Ａ、検索要求部２６０を有する。
FIG. 12 is a diagram illustrating a functional configuration of the information processing apparatus of the second embodiment. The
画像処理部２５０Ａは、住所情報取得部２５１、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５、検索結果判定部２５７、位置算出部２５８を有する。
The
検索結果判定部２５７は、学習装置３００で行われた検索結果に、検索対象の袖看板が映った平面画像データが存在するか否かを判定する。言い換えれば、検索結果判定部２５７は、学習装置３００による検索の結果、該当する平面画像データがヒットしたか否かを判定している。
The search
位置算出部２５８は、該当する平面画像データが存在しなかった場合に、住所情報から変換した緯度・経度が示す地点と近傍の地点を算出する。
The
以下に、図１３を参照して、本実施形態の画像処理部２５０Ａの処理について説明する。図１３は、第二の実施形態の情報処理装置の処理を説明するフローチャートである。図１３に示す処理は、例えば、検索要求部２６０の結果取得部２６２が、学習装置３００から検索結果を取得した際に、検索結果判定部２５７によって、該当する平面画像データが存在しない、と判定された場合に実行される。
Hereinafter, the processing of the
本実施形態の画像処理部２５０Ａにおいて、画像処理部２５０Ａは、緯度経度変換部２５２により、住所情報記憶部２２０に格納された住所情報を取得して、住所情報が示す地点と対応する緯度・経度に変換する（ステップＳ１３０１）。ステップＳ１３０１で取得される緯度・経度を、緯度・経度１（第一の緯度・経度）と呼ぶ。
In the
続いて、位置算出部２５８は、緯度・経度１と最も近い道路上の地点の緯度・経度を取得する（ステップＳ１３０２）。ステップＳ１３０２で取得される緯度・経度を、緯度・経度２（第二の緯度・経度）と呼ぶ。
Subsequently, the
具体的には、位置算出部２５８は、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度１と最も近い道路上の緯度・経度２を取得しても良い。
Specifically, the
続いて、画像処理部２５０Ａは、位置算出部２５８により、緯度・経度１が示す地点から、緯度・経度２が示す地点までの方位を求める（ステップＳ１３０３）。ここで求められる方位を、方位Ａと呼ぶ。
Subsequently, the
続いて、位置算出部２５８は、方位Ａと垂直に交わる２つの方位を取得し、緯度・経度２が示す地点を含む道路の方向を推定する（ステップＳ１３０４）。ここで取得される、方位Ａと垂直に交わる２つの方位を、方位Ｂ、方位Ｃと呼ぶ。
Subsequently, the
続いて、位置算出部２５８は、緯度・経度２が示す地点を含む近傍において、１Ｋｍ当たりの緯度・経度の変化を算出する（ステップＳ１３０５）。続いて、位置算出部２５８は、緯度・経度２が示す地点から、８方向に各１０ｍ移動した８つの地点の緯度経度を算出する（ステップＳ１３０６）。
Subsequently, the
続いて、位置算出部２５８は、８つの地点のうち、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を特定し、この２つの地点について、各地点から最も近い道路上の地点の緯度・経度を取得する（ステップＳ１３０７）。ステップＳ１３０７で取得される２つの地点の緯度・経度を、緯度・経度３、緯度・経度４と呼ぶ。
Subsequently, the
具体的には、位置算出部２５８は、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を示す緯度・経度をサーバ装置５００に通知し、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度３と緯度・経度４を取得しても良い。
Specifically, the
続いて、画像処理部２５０Ａは、緯度・経度３、緯度・経度４のそれぞれについて、図８の処理を実行し（ステップＳ１３０８）、処理を終了する。
Subsequently, the
したがって、本実施形態では、緯度・経度３の地点で撮像された全天球画像データから切り出された８つの平面画像を示す平面画像データと、緯度・経度４の地点で撮像された全天球画像データから切り出された８つの平面画像を示す平面画像データとが取得される。 Therefore, in the present embodiment, the plane image data showing eight plane images cut out from the whole celestial sphere image data captured at the point of latitude / longitude 3 and the whole celestial sphere captured at the point of latitude / longitude 4 Plane image data showing eight plane images cut out from the image data are acquired.
本実施形態の検索要求部２６０は、緯度・経度３に基づき取得された８つの平面画像データと、緯度・経度４に基づき取得された８つの平面画像データと、を学習装置３００に出力する。このようにすれば、住所情報に基づき取得された８つの平面画像データが示す平面画像に、検索対象の袖看板の画像が含まれていない場合に、住所情報が示す地点から少し離れた地点から見た道路沿いの風景の画像データに基づく検索を行うことができる。
The
以下に、図１４を参照して、図１３の処理を具体的に説明する。図１４は、第二の実施形態における位置算出部の処理を説明する図である。 Hereinafter, the process of FIG. 13 will be specifically described with reference to FIG. FIG. 14 is a diagram illustrating the processing of the position calculation unit in the second embodiment.
図１４の例では、住所情報から変換される緯度・経度１を点Ｐ１とし、緯度・経度１から最も近い道路上の地点を示す緯度・経度２を点Ｐ２とする。
In the example of FIG. 14, the latitude /
位置算出部２５８は、点Ｐ１と点Ｐ２を結ぶ方位Ａと垂直に交わる２つの方位Ｂ、Ｃを特定する。このとき、位置算出部２５８は、方位Ｂから方位Ｃに向かう道路が存在するものと推定する。
The
次に、位置算出部２５８は、まず、地点Ｐ２を４方向に１０ｍずつ移動させた地点を特定する。具体的には、地点Ｐ２を東方向に１０ｍ移動させた地点Ｐ１１、地点Ｐ２を北に１０ｍ移動させた地点Ｐ１２、地点Ｐ２を西に１０ｍ移動させた地点Ｐ１３、地点Ｐ２を南に１０ｍ移動させた地点Ｐ１４を特定する。
Next, the
尚、本実施形態では、地点Ｐ２を１０ｍ移動させた地点を特定するものとしたが、移動させる距離は、１０ｍに限定されない。地点Ｐ２から移動させる距離は、例えば、サーバ装置５００によって提供される全天球画像データの撮像地点の間隔に応じて決定されて良い。本実施形態では、サーバ装置５００によって提供される全天球画像データの撮像地点が、約１０ｍ程度であるものとする。
In the present embodiment, the point where the point P2 is moved by 10 m is specified, but the moving distance is not limited to 10 m. The distance to be moved from the point P2 may be determined, for example, according to the interval between the imaging points of the spherical image data provided by the
続いて、位置算出部２５８は、地点Ｐ１１を北へ１０ｍ移動させた地点Ｐ１５と、地点Ｐ１１を南に１０ｍ移動させた地点Ｐ１６と、地点Ｐ１３を北へ１０ｍ移動させた地点Ｐ１７と、地点Ｐ１３を南に１０ｍ移動させた地点Ｐ１８と、を特定する。
Subsequently, the
このように、本実施形態では、地点Ｐ２を中心とした８方位において、地点Ｐ２から所定の距離を移動させた地点を特定する。言い換えれば、位置算出部２５８は、地点Ｐ２を中心とした所定の領域を特定している。
As described above, in the present embodiment, the points moved by a predetermined distance from the point P2 are specified in eight directions centered on the point P2. In other words, the
続いて、位置算出部２５８は、地点Ｐ１１から地点Ｐ１８において、方位Ｂと方位Ｃに最も近い地点を特定する。つまり、本実施形態では、地点Ｐ１１から地点Ｐ１８において、方位Ｂから方位Ｃへ向かう道路と最も近い地点を特定している。
Subsequently, the
図１４の例では、地点Ｐ１５の方位が方位Ｂと最も近く、地点Ｐ１８の方位が方位Ｃと最も近い。したがって、地点Ｐ１５と地点Ｐ１８は、方位Ｂから方位Ｃへ向かう道路と最も近い地点と推定される。 In the example of FIG. 14, the direction of the point P15 is the closest to the direction B, and the direction of the point P18 is the closest to the direction C. Therefore, the points P15 and P18 are presumed to be the closest points to the road from the direction B to the direction C.
次に、位置算出部２５８は、地点Ｐ１５、地点Ｐ１８のそれぞれから最も近い道路上の地点を特定する。具体的には、位置算出部２５８は、地点Ｐ１５と地点Ｐ１８の緯度・経度を、地点Ｐ２の緯度・経度に基づき算出する。そして、位置算出部２５８は、地点Ｐ１５の緯度・経度と、地点Ｐ１８の緯度・経度とを、サーバ装置５００へ通知する。
Next, the
サーバ装置５００は、サーバ装置５００が提供する地図情報提供サービス等によって、地点Ｐ１５と最も近い道路上の地点Ｐ３の緯度・経度（緯度・経度３）と、地点Ｐ１６と最も近い道路上の地点Ｐ４の緯度・経度（緯度・経度４）とを取得し、位置算出部２５８へ返す。
The
本実施形態の情報処理装置２００Ａにおいて、画像処理部２５０Ａは、地点Ｐ３の緯度・経度と、地点Ｐ４の緯度・経度と、それぞれについて、図８の処理を実行すれば良い。
In the
その結果、画像処理部２５０Ａは、住所情報と対応する地点Ｐ２を中心した８方位の平面画像データに加え、地点Ｐ３を中心とした８方位の平面画像データと、地点Ｐ４を中心とした８方位の平面画像データと、を取得することができる。
As a result, the
したがって、本実施形態では、住所情報と対応する緯度・経度が示す地点Ｐ２から、人が数歩程度で移動できる距離だけ離れた地点Ｐ３、地点Ｐ４から撮像された画像データについても、学習装置３００へ提供することができる。
Therefore, in the present embodiment, the
このため、本実施形態では、検索対象の画像を含む画像データが特定される可能性を高めることができる。 Therefore, in the present embodiment, it is possible to increase the possibility that image data including the image to be searched is specified.
尚、図１４の例では、地点Ｐ２を中心とする所定の領域が正方形の中心となるように、８方位の地点Ｐ１１〜Ｐ１８を特定したが、これに限定されない。本実施形態では、所定の領域を、地点Ｐ２を中心しと、８方位へ所定の距離移動した８つの地点によって特定できれば良い。したがって、地点Ｐ２から地点Ｐ１１〜Ｐ１８までの距離が全て等しくても良い。この場合、所定の領域は、地点Ｐ２を中心とした円形となる。 In the example of FIG. 14, points P11 to P18 in eight directions are specified so that a predetermined region centered on the point P2 is the center of the square, but the present invention is not limited to this. In the present embodiment, it suffices if a predetermined region can be specified by eight points that have moved a predetermined distance in eight directions with the point P2 as the center. Therefore, the distances from the points P2 to the points P11 to P18 may all be the same. In this case, the predetermined area becomes a circle centered on the point P2.
図１５は、第二の実施形態の画像処理部によって取得される画像の撮像地点を説明する図である。図１５では、例えば、住所情報記憶部２２０から読み出した住所情報から変換された緯度・経度１が示す地点が、地点Ｐ５１であったとする。画像処理部２５０Ａは、地点Ｐ５１から最も近い道路上の地点Ｐ５２を示す緯度・経度２を取得すると、位置算出部２５８により、地点Ｐ５１から地点Ｐ５２へ向かう方位Ａと垂直に交わる方位Ｂと方位Ｃを特定する。
FIG. 15 is a diagram illustrating an imaging point of an image acquired by the image processing unit of the second embodiment. In FIG. 15, for example, it is assumed that the point indicated by the latitude /
図１５の例では、方位Ｂは南東であり、方位Ｃは北西である。したがって、位置算出部２５８は、地点Ｐ５２を中心とする８方位について、地点Ｐ５２を所定の距離移動させた８つの地点の中から、方位Ｂと最も近い方位の地点Ｐ５３と、方位Ｃと最も近い方位の地点Ｐ５４とが特定される。
In the example of FIG. 15, direction B is southeast and direction C is northwest. Therefore, the
そして、位置算出部２５８は、地点Ｐ５３と最も近い道路上の地点Ｐ５５の緯度・経度と、地点Ｐ５４と最も近い道路上の地点Ｐ５６の緯度・経度を取得し、画像取得部２５３に渡す。
Then, the
画像処理部２５０Ａにおいて、画像取得部２５３は、地点Ｐ５５と地点Ｐ５６のそれぞれにおいて撮像された全天球画像データから、パラメータ設定部２５４によって設定されたパラメータが示す範囲に切り出された８方位の平面画像データを取得する。
In the
そして、画像処理部２５０Ａは、格納部２５５により、住所情報と、地点Ｐ５２、地点Ｐ５５と、地点Ｐ５６のそれぞれの緯度・経度と、各地点に基づき全天球画像データから取得された８方位の画像データと、を対応付けて画像ファイル記憶部２４０へ格納する。
Then, the
図１６は、第二の実施形態の画像処理部により取得される平面画像データの一例を示す図である。 FIG. 16 is a diagram showing an example of plane image data acquired by the image processing unit of the second embodiment.
図１６では、３つの地点について、８方位の平面画像データが取得されていることがわかる。 In FIG. 16, it can be seen that the plane image data of eight directions are acquired at the three points.
例えば、平面画像データ群１５２は、住所情報と対応する緯度・経度が示す地点Ｐ５２で撮像された全天球画像データから取得された８方位の平面画像データである。
For example, the plane
また、平面画像データ群１５５は、人が、地点Ｐ５２から、北西に向かって数歩歩いた程度の距離を移動した地点Ｐ５５で撮像された全天球画像データから取得された８方位の平面画像データである。また、平面画像データ群１５６は、人が、地点Ｐ５２から、南東に向かって数歩歩いた程度の距離を移動した地点Ｐ５６で撮像された全天球画像データから取得された８方位の平面画像データである。
Further, the plane
本実施形態では、この３つの平面画像データ群を学習装置３００の学習部３１０に入力とし、検索対象物となる袖看板の画像を含む画像データを検索させる。
In the present embodiment, the three plane image data groups are input to the
したがって、本実施形態では、住所情報と対応する地点で撮像された全天球画像データに、検索対象物の画像が含まれなくても、他の地点で撮像された全天球画像データを検索に活用することができる。 Therefore, in the present embodiment, even if the spherical image data captured at the point corresponding to the address information does not include the image of the search target, the spherical image data captured at another point is searched. Can be used for.
尚、本実施形態では、住所情報に基づき、サーバ装置５００から提供される画像データを全天球画像データとしたが、これに限定されない。本実施形態では、例えば、サーバ装置５００から、住所情報に基づいて、平面画像データが提供されても良い。この場合、画像処理部２５０は、検索対象物に基づき設定されたパラメータに基づき、サーバ装置５００から提供される平面画像データから切り出された一部の画像データを、画像ファイル記憶部２４０に格納しても良い。
In the present embodiment, the image data provided by the
具体的には、例えば、検索対象物が、特定の状態の自動販売機であっとする。この場合、検索対象物は、一般的に道路上に配置されるものであるため、空の画像等は不要となる。したがって、この場合には、パラメータ記憶部２３０に、サーバ装置５００から提供される平面画像データが示す平面画像の上部分が切り取られるようなパラメータを設定しておけば良い。また、この場合には、学習部３１０では、特定の状態の自動販売機の画像が含まれる画像データを正解データとした学習が予め行われる。
Specifically, for example, it is assumed that the search target is a vending machine in a specific state. In this case, since the search target is generally arranged on the road, an empty image or the like is unnecessary. Therefore, in this case, the
また、例えば、検索対象物が、マンホール等である場合について考える。この場合には、サーバ装置５００から提供される画像データが全天球画像データであるならば、パラメータ記憶部２３０に格納されるパラメータのうち、ｆｏｖを下方向１５度等とすれば良い。また、この場合に、サーバ装置５００から取得される画像データが平面画像データであるならば、例えば、平面画像の下部分が切り出されるように、パラメータが設定されていても良い。また、この場合には、学習部３１０では、マンホールの画像が含まれる画像データを正解データとした学習が予め行われる。
Further, for example, consider the case where the search target is a manhole or the like. In this case, if the image data provided by the
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.
また、上述した実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、第１の装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、第２の装置は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。 Further, the device group described in the above-described embodiment is only one of a plurality of computing environments for implementing the embodiments disclosed in the present specification. In certain embodiments, the first device comprises a plurality of computing devices, such as a server cluster. The plurality of computing devices are configured to communicate with each other via any type of communication link, including networks, shared memory, and the like, and perform the processes disclosed herein. Similarly, the second device can include multiple computing devices configured to communicate with each other.
さらに、第１の装置および第２の装置は、開示された処理ステップ、例えば図７を様々な組み合わせで共有するように構成できる。例えば、画像処理部２５０によって実行されるプロセスは、第２の装置によって実行され得る。同様に、画像処理部２５０の機能は、第２の装置によって実行することができる。また、第１の装置と第２の装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
In addition, the first and second devices can be configured to share the disclosed processing steps, eg, FIG. 7, in various combinations. For example, the process executed by the
また、本実施形態において、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。 Further, in the present embodiment, machine learning is a technique for making a computer acquire learning ability like a human being, and the computer acquires an algorithm necessary for judgment such as data identification from learning data which is taken in advance. A technology that autonomously generates and applies this to new data to make predictions. The learning method for machine learning may be any of supervised learning, unsupervised learning, semi-supervised learning, enhanced learning, and deep learning, and may be a learning method that combines these learning methods. Machine learning It doesn't matter how you learn for.
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on each embodiment, the present invention is not limited to the requirements shown in the above embodiments. With respect to these points, the gist of the present invention can be changed without impairing it, and can be appropriately determined according to the application form thereof.
１００ 情報処理システム
２００、２００Ａ 情報処理装置
２２０ 住所情報記憶部
２３０ パラメータ記憶部
２４０ 画像ファイル記憶部
２５０、２５０Ａ 画像処理部
２５１ 住所情報取得部
２５２ 緯度経度変換部
２５３ 画像取得部
２５４ パラメータ設定部
２５５ 格納部
２５７ 検索結果判定部
２５８ 位置算出部
２６０ 検索要求部
３００ 学習装置
３１０ 学習部
４００ 端末装置
５００ サーバ装置
100
253
Claims (8)
前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理装置。 An image acquisition unit that acquires image data cut out based on parameters set according to the search target from image data captured at a point based on address information.
A search request unit that inputs information in which the cut-out image data is associated with the address information into a learning unit that performs an image search for the search object, and requests the learning unit to search for the search object. And, an information processing device having.
前記画像取得部は、
前記全天球画像データから、前記パラメータが示す範囲の画像データである平面画像データを取得する、請求項１記載の情報処理装置。 The image data captured at the point based on the address information is spherical image data.
The image acquisition unit
The information processing device according to claim 1, wherein plane image data, which is image data in the range indicated by the parameter, is acquired from the spherical image data.
前記住所情報に基づく地点を中心とした複数方位と、各方位を中心とした画角と、仰角と、を少なくとも含む、請求項２記載の情報処理装置。 The parameters are
The information processing apparatus according to claim 2, further comprising a plurality of directions centered on a point based on the address information, an angle of view centered on each direction, and an elevation angle.
前記学習部は、
前記切り出した画像データのうち、前記検索対象物の画像が含まれる画像データと対応付けられた住所情報を出力する、請求項１乃至３の何れか一項に記載の情報処理装置。 Has the learning unit
The learning unit
The information processing apparatus according to any one of claims 1 to 3, which outputs address information associated with image data including an image of the search target among the cut out image data.
前記画像取得部は、
前記別の地点で撮像された画像データから、前記パラメータに基づき切り出した画像データを取得する、請求項１乃至４の何れか一項に記載の情報処理装置。 When the image data including the image of the search target does not exist in the cut-out image data, a point different from the point based on the address information is set in a predetermined area including the point based on the address information. It has a position calculation unit to specify
The image acquisition unit
The information processing apparatus according to any one of claims 1 to 4, wherein the image data cut out based on the parameter is acquired from the image data captured at the other point.
前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する情報処理システム。 An image acquisition unit that acquires image data cut out based on parameters set according to the search target from image data captured at a point based on address information.
A search request unit that inputs information that associates the cut-out image data with the address information into a learning unit that performs an image search for the search target, and requests the learning unit to search for the search target. An information processing system that has.
住所情報に基づく地点で撮像された画像データから、検索対象物に応じて設定されたパラメータに基づき切り出した画像データを取得し、
前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する、情報処理方法。 Information processing device
From the image data captured at the point based on the address information, the image data cut out based on the parameters set according to the search target is acquired, and the image data is acquired.
Information processing in which information in which the cut-out image data is associated with the address information is input to a learning unit that performs an image search for the search target, and the learning unit is requested to search for the search target. Method.
前記切り出した画像データと前記住所情報とを対応付けた情報を、前記検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する、処理をコンピュータに実行させる、情報処理プログラム。 From the image data captured at the point based on the address information, the image data cut out based on the parameters set according to the search target is acquired, and the image data is acquired.
A process of inputting information in which the cut-out image data and the address information are associated with each other into a learning unit that performs an image search for the search target, and requesting the learning unit to search for the search target. An information processing program that is executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163258A JP7363226B2 (en) | 2019-09-06 | 2019-09-06 | Information processing device, information processing system, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163258A JP7363226B2 (en) | 2019-09-06 | 2019-09-06 | Information processing device, information processing system, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021043544A true JP2021043544A (en) | 2021-03-18 |
| JP7363226B2 JP7363226B2 (en) | 2023-10-18 |
Family
ID=74864112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019163258A Active JP7363226B2 (en) | 2019-09-06 | 2019-09-06 | Information processing device, information processing system, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7363226B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6427118B2 (en) | 2016-01-21 | 2018-11-21 | 株式会社オプティム | Image-captured object information providing system, image-captured object information providing method, and image-captured object information providing program |
| WO2018168823A1 (en) | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
| JP6539418B1 (en) | 2017-10-27 | 2019-07-03 | 楽天株式会社 | Image extracting apparatus, image extracting method and image extracting program |
| JP2019144988A (en) | 2018-02-23 | 2019-08-29 | 京セラドキュメントソリューションズ株式会社 | Image information processing apparatus and image forming apparatus |
-
2019
- 2019-09-06 JP JP2019163258A patent/JP7363226B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7363226B2 (en) | 2023-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10346560B2 (en) | Electronic blueprint system and method | |
| JP5963325B2 (en) | Apparatus, method, and program for presenting information specified based on marker | |
| JP2018163654A (en) | System and method for telecom inventory management | |
| EP2782027A1 (en) | Apparatus and method providing augmented reality contents based on web information structure | |
| US10242280B2 (en) | Determining regions of interest based on user interaction | |
| KR101965878B1 (en) | Automatic connection of images using visual features | |
| US11255678B2 (en) | Classifying entities in digital maps using discrete non-trace positioning data | |
| US20170039450A1 (en) | Identifying Entities to be Investigated Using Storefront Recognition | |
| TW201513609A (en) | Network visualization systems and methods | |
| CN112560698A (en) | Image processing method, apparatus, device and medium | |
| JP6505242B2 (en) | Cluster-based photo navigation | |
| CN112714266A (en) | Method and device for displaying label information, electronic equipment and storage medium | |
| CN111832579A (en) | Map interest point data processing method and device, electronic equipment and readable medium | |
| KR101768914B1 (en) | Geo-tagging method, geo-tagging apparatus and storage medium storing a program performing the method | |
| US11537814B2 (en) | Data providing system and data collection system | |
| CN114185073A (en) | Pose display method, device and system | |
| US20110122132A1 (en) | Apparatus and method of managing objects and events with vector-based geographic information system | |
| JP2022501751A (en) | Systems and methods for selecting complementary images from multiple images for 3D geometric extraction | |
| JP2021043544A (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| US20230298373A1 (en) | Detecting graphical elements in charts using predicted heatmaps | |
| JP7408971B2 (en) | Information processing device, information processing system, information processing method, and information processing program | |
| WO2021250850A1 (en) | Training apparatus, control method, and non-transitory computer-readable storage medium | |
| CN108304840A (en) | A kind of image processing method and device | |
| JP2019220153A (en) | Methods, systems, and non-transitory computer-readable recording media for converting image to location data | |
| JP2016115082A (en) | Image search system and image search method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7363226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |