JP2021170158A

JP2021170158A - Information processing system

Info

Publication number: JP2021170158A
Application number: JP2020072115A
Authority: JP
Inventors: 隆史松本; Takashi Matsumoto
Original assignee: Shimizu Construction Co Ltd; Shimizu Corp
Current assignee: Shimizu Construction Co Ltd; Shimizu Corp
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2021-10-28
Anticipated expiration: 2040-04-14
Also published as: JP7409947B2

Abstract

To provide an information processing system that acquires positional data of a target architectural structure reflected in a photography or a painting without metadata of positional information.SOLUTION: An information processing system includes: a machine learning unit that causes a neural network to perform machine learning by associating actual image data associated with positional data of a target architectural structure with an existence or absence of the target architectural structure in the actual image data; an archive image data collection unit that collects archive image data in which the architectural structure is reflected from an image data server (S301); an archive image data selection unit that inputs the collected archive image data into the neural network and estimates the existence or absence of the target architectural structure (S302) and selects the archive image data estimated that the target architectural structure exists (S303); and a positional data response unit that response the positional data of the target architectural structure estimated to exist in the selected archive image data (S306).SELECTED DRAWING: Figure 8

Description

本発明は、図書館・文書館・博物館等でデジタルアーカイブ化され、画像データサーバー等で提供されるアーカイブ画像データの分析に好適な情報処理システムに関する。 The present invention relates to an information processing system that is digitally archived in a library, archive, museum, etc., and is suitable for analyzing archived image data provided by an image data server, etc.

近年、Ｇｏｏｇｌｅマップ（登録商標）などのデジタル地図アプリケーションの進展により、地図上の位置を、路上からの風景写真や、衛星写真と切り替えて閲覧することが容易になっている。例えば、Ｇｏｏｇｌｅマップ（登録商標）には、ストリートビュー（登録商標）として知られる地図データと相関を有する実画像データ（地図データが示す場所を実際に撮影した画像データ）を提供する機能がある。Ｇｏｏｇｌｅ社が提供するアプリケーション以外にも、Ａｐｐｌｅ社によるマップとＬｏｏｋＡｒｏｕｎｄの機能なども、類次の機能を持つアプリケーションとして挙げることができる。ここで、本明細書において、これらのアプリケーションに代表されるような、インターネット上でデジタル地図アプリケーションを提供するサーバーを、地図・実画像データサーバーと称している。なお、本発明では、地図・実画像データサーバーは、地図上の位置データと風景写真や衛星写真または実画像データとが対応づけられたアプリケーション一般をさすもので、Ｇｏｏｇｌｅ社、Ａｐｐｌｅ社が提供するものに限定されるものではない。 In recent years, with the development of digital map applications such as Google Maps (registered trademark), it has become easy to switch the position on the map between landscape photographs and satellite photographs from the street. For example, Google Maps (registered trademark) has a function of providing real image data (image data in which a place indicated by map data is actually photographed) having a correlation with map data known as street view (registered trademark). In addition to the applications provided by Google, the map and Look Around functions by Apple can also be mentioned as applications with similar functions. Here, in the present specification, a server that provides a digital map application on the Internet, as represented by these applications, is referred to as a map / real image data server. In the present invention, the map / actual image data server refers to a general application in which position data on a map is associated with landscape photographs, satellite photographs, or actual image data, and is provided by Google and Apple. It is not limited to things.

また、様々な資料（図書・公文書・絵画・図面・写真等）のデジタルアーカイブ化が、国内外の図書館・文書館・博物館等で進められており、画像資料がデジタル化され、メタデータのインデックス（例：ＩＩＩＦ；ＩｎｔｅｒｎａｔｉｏｎａｌＩｍａｇｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙＦｒａｍｅｗｏｒｋなど）とともにインターネット上で検索可能になりつつある。例えば、大規模なアーカイブ横断検索を行うことができるサービスとしては欧州連合によるＥｕｒｏｐｅａｎａや、国立国会図書館によるＪａｐａｎＳｅａｒｃｈを挙げることができる。 In addition, digital archiving of various materials (books, official documents, paintings, drawings, photographs, etc.) is being promoted at libraries, archives, museums, etc. in Japan and overseas, and image materials have been digitized and metadata. It is becoming searchable on the Internet together with indexes (eg, IIIF; International Image International Library, etc.). For example, Europeana by the European Union and Japan Search by the National Diet Library can be mentioned as services capable of performing a large-scale cross-archive search.

そうした中、編集可能な地図アプリケーションと、公文書館などの歴史アーカイブ写真群を組み合わせ、地図上に歴史写真をプロットする試みが行われている。 Under such circumstances, attempts are being made to plot historical photographs on a map by combining an editable map application with a group of historical archive photographs such as archives.

例えば、ＳｉｄｅｗａｌｋＬａｂｓによる非特許文献１では、トロントの街の歴史的変遷を写真により理解することができるようになっている。
ｈｔｔｐｓ：／／ｍｅｄｉｕｍ．ｃｏｍ／ｓｉｄｅｗａｌｋ−ｔａｌｋ／ｅｘｐｌｏｒｅ−ｔｏｒｏｎｔｏ−ｔｈｒｏｕｇｈ−ｈｉｓｔｏｒｉｃａｌ−ｐｈｏｔｏｓ−ｏｎｅ−ｂｌｏｃｋ−ａｔ−ａ−ｔｉｍｅ−２ｆｂｃｄ３８ｂ５１１ａ For example, Non-Patent Document 1 by Sidewalk Labs makes it possible to understand the historical transition of the city of Toronto by photographs.
https: // media. com / sidewalk-talk / explore-toronto-through-history-photos-one-block-at-a-time-2fbcd38b511a

前述のデジタル地図アプリケーションのようなシステムは、人間の閲覧を目的とするのみならず、自動運転車の位置把握など様々な用途で使われるようになっている。また、ドライブレコーダーや車載センサー、スマートフォンなどの普及により、撮影される街の写真は数が飛躍的に増えており、それらの一部もウェブサービスなどで利用・共有されるようになっている。こうした状況の中、近年撮影された街の様子は、位置情報のメタデータにより、ウェブサービスなどを構築することで、画像で容易に確認する仕組みをつくることが可能となってきている。 Systems such as the digital map application described above are used not only for human viewing but also for various purposes such as locating autonomous vehicles. In addition, with the spread of drive recorders, in-vehicle sensors, smartphones, etc., the number of photographs of the city taken has increased dramatically, and some of them are also being used and shared by web services. Under these circumstances, it has become possible to create a mechanism for easily confirming the state of the city photographed in recent years with images by constructing a web service or the like based on the metadata of the location information.

しかしながら、例えば数１０年以上前に撮影・描写された過去の写真・絵画などの画像については、基本的に位置情報のメタデータなどはなく、正確な撮影・描写位置等を特定することが容易でない。 However, for example, for images such as past photographs and paintings taken and drawn more than several decades ago, there is basically no metadata of position information, and it is easy to specify the exact shooting and drawing position. Not.

例えば、歴史写真を地図データ上へプロットするには、資料のもつ情報（撮影場所の住所などの書き込みやタイトルなど）、或いは、当時の住人からのフィードバックなどによりおおよその位置を特定することになり、多大な手間や労力がかかることになる。 For example, in order to plot a historical photograph on map data, the approximate location must be specified by the information contained in the material (writing the address of the shooting location, title, etc.) or the feedback from the residents at that time. , It will take a lot of time and effort.

このような手間や労力にも関わらず、厳密な撮影・描写の位置と被写体の位置をデータとして記録するのは容易ではない。また、記録されている書き込みが間違っていたり、住所表示が変わっていたり、住人の記憶が間違っていたりすることもある。 Despite such labor and effort, it is not easy to record the exact position of shooting / depiction and the position of the subject as data. In addition, the recorded writing may be incorrect, the address display may have changed, or the resident's memory may be incorrect.

さらに、一枚の古い写真・絵画に関する位置データを割り出すのにも、上述のような手間や労力がかかることを鑑みると、大量の過去の写真群のそれぞれの位置データを特定することは、非常に困難であることがわかる。 Furthermore, considering that it takes time and effort as described above to determine the position data related to one old photograph / painting, it is very difficult to specify the position data of each of a large amount of past photographs. It turns out to be difficult.

以上、位置情報のメタデータなどがない過去に撮影・描写された写真・絵画に関連する情報を取得すること、より具体的には、過去において撮影・描写された建築物の位置データを取得することが、本発明で実現しようとする課題である。 As described above, it is necessary to acquire information related to photographs / paintings taken / drawn in the past without metadata of position information, and more specifically, to obtain position data of buildings taken / drawn in the past. That is the problem to be realized by the present invention.

この発明は、上記課題を解決するものであって、本発明に係る情報処理システムは、対象建築物の位置データと対応づけられた実画像データと、実画像データ中における対象建築物の存否とを関連付けてニューラルネットワークを機械学習させる機械学習部と、インターネットと接続されている画像データサーバーから、建築物が写り込んでいるアーカイブ画像データを収集するアーカイブ画像データ収集部と、前記アーカイブ画像データ収集部で収集されたアーカイブ画像データを、前記機械学習部によって学習させた前記ニューラルネットワークに入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定するアーカイブ画像データ選定部と、前記アーカイブ画像データ選定部で選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する位置データ回答部と、を有することを特徴とする。 The present invention solves the above problems, and the information processing system according to the present invention includes actual image data associated with the position data of the target building and the presence or absence of the target building in the actual image data. A machine learning unit that machine-learns a neural network in association with each other, an archive image data collection unit that collects archive image data in which a building is reflected from an image data server connected to the Internet, and the archive image data collection. The archive image data collected by the unit is input to the neural network trained by the machine learning unit, the existence or nonexistence of the target building is estimated, and the archive image data estimated that the target building exists is selected. It is characterized by having an image data selection unit and a position data response unit that answers the position data of the target building estimated to exist in the archive image data selected by the archive image data selection unit.

また、本発明に係る情報処理システムは、対象建築物の位置データと、実画像データとを対応づけて記憶する対象建築物データベースを有することを特徴とする。 Further, the information processing system according to the present invention is characterized by having a target building database that stores the position data of the target building and the actual image data in association with each other.

また、本発明に係る情報処理システムは、前記対象建築物データベースにおける実画像データには、撮影方向データを含むことを特徴とする。 Further, the information processing system according to the present invention is characterized in that the actual image data in the target building database includes shooting direction data.

また、本発明に係る情報処理システムは、位置データと、年代別の住所名とを対応づけて記憶する住所名変遷データベースを有し、前記アーカイブ画像データ収集部は、前記住所名変遷データベースに記憶される住所名を検索キーとして、画像データサーバーからアーカイブ画像データを収集することを特徴とする。 Further, the information processing system according to the present invention has an address name transition database that stores location data and address names by age group in association with each other, and the archive image data collection unit stores the location data in the address name transition database. It is characterized in that archived image data is collected from an image data server using the address name to be used as a search key.

また、本発明に係る情報処理システムは、アーカイブ画像データ中に存在すると推定された対象建築物が撮影された方向を回答する撮影方向回答部を、を有することを特徴とする。 Further, the information processing system according to the present invention is characterized by having a shooting direction answering unit that answers the shooting direction of the target building presumed to exist in the archive image data.

本発明に係る情報処理システムは、アーカイブ画像データを、機械学習部によって学習させたニューラルネットワークに入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定し、選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する構成であるので、このような本発明に係る情報処理システムによれば、過去に撮影・描写され、位置情報のメタデータなどがない写真・絵画に写り込んでいる対象建築物の位置データを取得することが可能となる。 The information processing system according to the present invention inputs archive image data into a neural network trained by a machine learning unit, estimates the existence of a target building, and selects archive image data in which the target building is presumed to exist. However, since the configuration is such that the position data of the target building presumed to exist in the selected archive image data is returned, the information processing system according to the present invention has been photographed and depicted in the past. It is possible to acquire the position data of the target building reflected in the photograph / painting without the metadata of the position information.

また、上記のように本発明では、アーカイブ画像データにおける対象建築物の位置データが取得可能であるので、本発明に係る情報処理システムによれば、アーカイブ資料の整理・分析の労力を劇的に下げ、今まで手作業では見つけることが困難であった、資料間の関係性を抽出することができるようになる。 Further, as described above, in the present invention, the position data of the target building in the archive image data can be acquired. Therefore, according to the information processing system according to the present invention, the labor for organizing and analyzing the archived materials is dramatically reduced. By lowering it, it will be possible to extract relationships between materials that were previously difficult to find manually.

また、本発明に係る情報処理システムによれば、建築物の位置データが取得可能となることで、建築物の履歴を調べることを容易にし、資産評価などに利用できる。 Further, according to the information processing system according to the present invention, since the position data of the building can be acquired, it becomes easy to check the history of the building and it can be used for asset evaluation and the like.

また、本発明に係る情報処理システムに明らかとなる建築物の位置データなどは、観光コンテンツとしても利用し得る。 In addition, the location data of the building revealed in the information processing system according to the present invention can also be used as tourism content.

本発明の実施形態に係る情報処理システム１００の運用例を説明する図である。It is a figure explaining the operation example of the information processing system 100 which concerns on embodiment of this invention. 本発明の実施形態に係る情報処理システム１００のブロック図である。It is a block diagram of the information processing system 100 which concerns on embodiment of this invention. 本発明の実施形態に係る情報処理システム１における対象建築物学習処理のフローチャートを示す図である。It is a figure which shows the flowchart of the target building learning process in the information processing system 1 which concerns on embodiment of this invention. 対象建築物データベース１２２のデータ構造例を示す図である。It is a figure which shows the data structure example of the target building database 122. 実画像データと撮影方向データと関連を例示する図である。It is a figure exemplifying the relationship between the actual image data and the shooting direction data. 本発明の実施形態に係る情報処理システム１における機械学習処理サブルーチンのフローチャートを示す図である。It is a figure which shows the flowchart of the machine learning processing subroutine in the information processing system 1 which concerns on embodiment of this invention. 学習モデル１２３の構成例を示す図である。It is a figure which shows the structural example of the learning model 123. 本発明の実施形態に係る情報処理システム１におけるアーカイブ画像データ分析処理のフローチャートを示す図である。It is a figure which shows the flowchart of the archive image data analysis processing in the information processing system 1 which concerns on embodiment of this invention. 住所名変遷データベース１２８のデータ構造例を示す図である。It is a figure which shows the example of the data structure of the address name transition database 128. 表示部１５０におけるアーカイブ画像データ中の対象建築物の位置データ、撮影方向データの回答画面例を示す図である。It is a figure which shows the answer screen example of the position data and the shooting direction data of the target building in the archive image data in the display part 150.

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る情報処理システム１００の運用例を説明する図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating an operation example of the information processing system 100 according to the embodiment of the present invention.

本発明に係る情報処理システム１００は、インターネットとデータ通信可能に接続できるサーバーなどを用いることができる。このようなサーバーは、サーバコンピューター又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、１台のサーバー内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバーを用いて実現されてもよい。 The information processing system 100 according to the present invention can use a server or the like that can connect to the Internet in a data communication manner. Such a server is an information processing device such as a server computer or a personal computer, and a plurality of such servers may be provided, may be realized by a plurality of virtual machines provided in one server, or may be realized by a cloud. It may be realized using a server.

本発明においては、インターネット上でデジタル地図アプリケーションを提供する地図・実画像データサーバー２００が設けられていることが想定される。地図・実画像データサーバー２００における地図データには、地図データ上で示されている建築物などのランドマークの名称とその位置に係る緯度経度など位置データなどが含まれている。本明細書では、位置データについては緯度経度を用いず、ｘｙ座標を用いることとする。 In the present invention, it is assumed that a map / real image data server 200 that provides a digital map application on the Internet is provided. The map data in the map / actual image data server 200 includes the names of landmarks such as buildings shown on the map data and position data such as latitude and longitude related to the positions. In this specification, the latitude and longitude are not used for the position data, but the xy coordinates are used.

なお、本実施形態に係る情報処理システム１００では、地図などの位置データとしてｘｙ座標を用いた２次元の例で説明を行うが、本発明の考え方は３次元空間における位置座標を用いる実施形態にも拡張することが可能である。 In the information processing system 100 according to the present embodiment, a two-dimensional example using xy coordinates as position data such as a map will be described, but the idea of the present invention is an embodiment using position coordinates in a three-dimensional space. Can also be extended.

また、地図・実画像データサーバー２００においては、地図データと相関を有する実画像データを提供するサービスを提供していることを想定する。このようなサービスによれば、実画像データに写り込んでおり、地図データ上で位置データが既知である建物を、どの位置から撮影しているかを把握することが可能となる。 Further, it is assumed that the map / real image data server 200 provides a service that provides real image data having a correlation with the map data. According to such a service, it is possible to grasp from which position a building that is reflected in the actual image data and whose position data is known on the map data is photographed.

なお、本実施形態では、上記のような地図・実画像データサーバー２００が提供するサービスから、位置データやそれに対応した実画像データを取得する例に基づいて説明を行うが、地図・実画像データサーバー２００から取得し得る位置データやそれに対応した実画像データと同様のものを、手動で入手するようにしてもよい。従って、本発明に係る情報処理システム１００においては、地図・実画像データサーバー２００は必須のものではないが、本明細書では地図・実画像データサーバー２００から種々のデータを取得することを前提に説明を進める。 In this embodiment, the description will be given based on an example of acquiring position data and the corresponding real image data from the service provided by the map / real image data server 200 as described above. It is also possible to manually obtain the position data that can be acquired from the server 200 and the corresponding real image data. Therefore, in the information processing system 100 according to the present invention, the map / actual image data server 200 is not indispensable, but in the present specification, it is premised that various data are acquired from the map / actual image data server 200. Proceed with the explanation.

また、インターネット上では、種々の画像データを提供する画像データサーバー３００が存在し、これらの画像データサーバー３００から、画像データとそれに付随するデータ（画像データ元のアドレスデータ、メタデータ、インデックスデータ等）を、情報処理システム１００が取得し得るように構成されている。画像データサーバー３００が提供する画像データを、特に本明細書では、先の「実画像データ」と区別して「アーカイブ画像データ」と称する場合がある。 Further, on the Internet, there are image data servers 300 that provide various image data, and from these image data servers 300, image data and associated data (address data, metadata, index data, etc. of the image data source, etc.) ) Can be acquired by the information processing system 100. The image data provided by the image data server 300 may be referred to as "archive image data" in particular in the present specification to distinguish it from the above-mentioned "actual image data".

本発明に係る情報処理システム１００においては、上記のようなアーカイブ画像データとしては、国内外の図書館・文書館・博物館等でデジタルアーカイブ化された、建築物が写り込んでいる写真・絵画に係るものを想定しているが、本発明に係る情報処理システム１００が扱い得るアーカイブ画像データはこれに限定されるものではない。すなわち、本発明は、特段アーカイブ化を意図していないような画像データについても扱い得るものである。 In the information processing system 100 according to the present invention, the archive image data as described above relates to photographs / paintings in which a building is reflected, which is digitally archived in libraries, archives, museums, etc. in Japan and overseas. However, the archive image data that can be handled by the information processing system 100 according to the present invention is not limited to this. That is, the present invention can handle image data that is not particularly intended for archiving.

次に、以上のようなインターネット環境に接続されている本発明に係る情報処理システム１００の構成や動作について説明する。図２は本発明の実施形態に係る情報処理システム１００のブロック図である。 Next, the configuration and operation of the information processing system 100 according to the present invention connected to the Internet environment as described above will be described. FIG. 2 is a block diagram of the information processing system 100 according to the embodiment of the present invention.

情報処理システム１００は、制御部１１１、記憶部１２０、通信部１４０、表示部１５０、入力部１６０、読み取り部１７０等を含み、これらの各部はバスを介して相互に接続されている。制御部１１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）又はＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の１又は複数のプロセッサを含む。制御部１１１は、記憶部１２０に記憶してある制御プログラム１２１を適宜実行することにより、情報処理システム１００が行うべき種々の情報処理、制御処理等を行う。 The information processing system 100 includes a control unit 111, a storage unit 120, a communication unit 140, a display unit 150, an input unit 160, a reading unit 170, and the like, and each of these units is connected to each other via a bus. The control unit 111 includes one or a plurality of processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), or a GPU (Graphics Processing Unit). The control unit 111 performs various information processing, control processing, and the like that should be performed by the information processing system 100 by appropriately executing the control program 121 stored in the storage unit 120.

記憶部１２０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等を含み得る。記憶部１２０は、制御部１１１が実行する制御プログラム１２１及び制御プログラム１２１の実行に必要な各種のデータ等を予め記憶している。 The storage unit 120 may include a RAM (Random Access Memory), a flash memory, a hard disk, an SSD (Solid State Drive), and the like. The storage unit 120 stores in advance various data and the like necessary for executing the control program 121 and the control program 121 executed by the control unit 111.

また記憶部１２０は、制御部１１１が制御プログラム１２１を実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２０は、例えば機械学習処理によって構築されたニューラルネットワークである学習モデル１２３を記憶している。本明細書では、学習モデル１２３のニューラルネットワークを機械学習させる、ということは、このニューラルネットワークにおけるノード間（図２に不図示）の重みなどの係数を算出し更新していくことを意味している。 Further, the storage unit 120 temporarily stores data or the like generated when the control unit 111 executes the control program 121. Further, the storage unit 120 stores a learning model 123, which is a neural network constructed by, for example, machine learning processing. In the present specification, machine learning the neural network of the learning model 123 means calculating and updating coefficients such as weights between nodes (not shown in FIG. 2) in this neural network. There is.

本発明に係る情報処理システム１００では、学習モデル１２３は、地図・実画像データサーバー２００から取得された実画像データと、その実画像データ中において着目している対象の建築物が存在しているか否かを正解ラベルとする教師データを用いて学習されたものである。このような学習モデル１２３は、ある（アーカイブ）画像データが入力された場合に、当該（アーカイブ）画像データ中に、着目している対象の建築物が写り込んでいるか否かを示す情報を出力するように学習された学習済モデルである。 In the information processing system 100 according to the present invention, in the learning model 123, whether or not the actual image data acquired from the map / actual image data server 200 and the target building of interest in the actual image data exist. It was learned using teacher data with the correct answer label. When a certain (archive) image data is input, such a learning model 123 outputs information indicating whether or not the target building of interest is reflected in the (archive) image data. It is a trained model trained to do.

なお、学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２０にはこの演算を規定する関数の係数や閾値等のデータが、学習モデル１２３として記憶される。学習モデル１２３は、情報処理システム１００に接続された外部の記憶装置に記憶されていてもよく、ネットワークを介して情報処理システム１００と通信可能な記憶装置に記憶されていてもよい。 The trained model performs a predetermined operation on the input value and outputs the operation result, and the storage unit 120 stores data such as coefficients and thresholds of the function that defines this operation in the learning model 123. Is remembered as. The learning model 123 may be stored in an external storage device connected to the information processing system 100, or may be stored in a storage device capable of communicating with the information processing system 100 via a network.

記憶部１２０には、地図・実画像データサーバー２００からデータが取得され、学習モデル１２３のニューラルネットワークを機械学習させるために用いられる対象建築物データベース１２２が記憶されている。対象建築物データベース１２２を構築するためには、地図・実画像データサーバー２００に対してアクセスして、必要とするデータを抽出するような手順を記述したスクリプトを用いたスクレイピング技術を適宜用いることができる。 Data is acquired from the map / real image data server 200, and the target building database 122 used for machine learning the neural network of the learning model 123 is stored in the storage unit 120. In order to construct the target building database 122, it is necessary to appropriately use a scraping technique using a script that describes a procedure for accessing the map / real image data server 200 and extracting necessary data. can.

また、記憶部１２０には、学習モデル１２３のニューラルネットワークに入力するアーカイブ画像データを画像データサーバー３００から収集すると共に、学習モデル１２３により当該アーカイブ画像データに着目している対象の建築物が存在している（写り込んでいる）と判断された場合、これを選定するプログラムであるアーカイブ画像データ収集・選定モジュール１２７が記憶されている。 Further, in the storage unit 120, there is a target building that collects archive image data to be input to the neural network of the learning model 123 from the image data server 300 and pays attention to the archive image data by the learning model 123. If it is determined that the image is present (is reflected), the archive image data collection / selection module 127, which is a program for selecting the image data, is stored.

また、アーカイブ画像データ収集・選定モジュール１２７が、インターネット上のアーカイブ画像データを収集する際には、予め定められた所定のＵＲＬを巡回するよう設定することができる。また、これ以外に所定のキーワードを用いて、このキーワードに基づき検索エンジンによりＵＲＬを見出すようにしてもよい。このとき用いるキーワードは建築物の名称、旧称や、当該建築物が存在する土地の住所、地名などを用いることができる。ところで、住所については、その名が時代と共に変更されることがある。そこで、住所名の変遷について記述されている住所名変遷データベース１２８が記憶部１２０に記憶され、アーカイブ画像データ収集・選定モジュール１２７が参照することができるようになっている。 In addition, the archive image data collection / selection module 127 can be set to patroll a predetermined URL when collecting archive image data on the Internet. In addition to this, a predetermined keyword may be used to find the URL by a search engine based on this keyword. The keywords used at this time can be the name of the building, the old name, the address of the land where the building is located, the place name, and the like. By the way, the name of an address may change with the times. Therefore, the address name transition database 128 that describes the transition of the address name is stored in the storage unit 120 so that the archive image data collection / selection module 127 can refer to it.

通信部１４０は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。表示部１５０は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１１からの指示に従って各種の情報を表示する。入力部１６０は、マウス及びキーボード等を含み、ユーザーによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１１へ送出する。なお、表示部１５０及び入力部１６０は、一体として構成されたタッチパネルであってもよい。 The communication unit 140 is an interface for connecting to a network by wired communication or wireless communication, and transmits / receives information to / from an external device via the network. The display unit 150 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 111. The input unit 160 includes a mouse, a keyboard, and the like, receives an operation input by the user, and sends a control signal corresponding to the operation content to the control unit 111. The display unit 150 and the input unit 160 may be a touch panel configured as an integral body.

読み取り部１７０は、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）−ＲＯＭ又はＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）−ＲＯＭを含む可搬型記憶媒体１９０に記憶された情報を読み取る。記憶部１２０に予め記憶される制御プログラム及びデータは、制御部１１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２０に記憶してもよい。また、記憶部１２０に予め記憶される制御プログラム及びデータは、制御部１１１が通信部１４０を介してネットワーク経由で外部装置からダウンロードして記憶部１２０に記憶してもよい。更に、半導体メモリ１９５から、制御部１１１が制御プログラム及びデータを読み出してもよい。 The reading unit 170 reads information stored in a portable storage medium 190 including a CD (Compact Disc) -ROM or a DVD (Digital Versaille Disc) -ROM. The control program and data stored in advance in the storage unit 120 may be read by the control unit 111 from the portable storage medium 1a via the reading unit 16 and stored in the storage unit 120. Further, the control program and data stored in advance in the storage unit 120 may be downloaded by the control unit 111 from an external device via the network via the communication unit 140 and stored in the storage unit 120. Further, the control unit 111 may read the control program and data from the semiconductor memory 195.

次に、本発明に係る情報処理システム１００において、学習モデル１２３のニューラルネットワークを学習させるためのアルゴリズムについて説明する。本発明に係る情報処理システム１００では、画像データサーバー３００で収集されるアーカイブ画像データに写り込んでいる建築物の位置データを取得することを目的としている。このために、まず、着目している対象となる建築物が、画像データ中に存在している（写り込んでいる）か否かを判定するための学習モデル１２３を構築する。 Next, in the information processing system 100 according to the present invention, an algorithm for training the neural network of the learning model 123 will be described. The information processing system 100 according to the present invention aims to acquire the position data of the building reflected in the archive image data collected by the image data server 300. For this purpose, first, a learning model 123 for determining whether or not the target building of interest exists (is reflected) in the image data is constructed.

図３は本発明の実施形態に係る情報処理システム１における対象建築物学習処理のフローチャートを示す図である。図３において、ステップＳ１００で、対象建築物学習処理が開始されると、続いて、ユーザーはステップＳ１０１において、着目している対象となる建築物の名称を入力する。 FIG. 3 is a diagram showing a flowchart of a target building learning process in the information processing system 1 according to the embodiment of the present invention. In FIG. 3, when the target building learning process is started in step S100, the user subsequently inputs the name of the target building of interest in step S101.

なお、本実施形態ではステップＳ１０１において、建築物の名称を入力することで、着目している対象建築物を特定するようにしているが、その他の方法により対象建築物の特定を行うように構成することもできる。例えば、視覚化された地図上で対象建築物を特定するようにしてもよいし、住所によって対象建築物を特定するようにしてもよい。 In the present embodiment, in step S101, the target building of interest is specified by inputting the name of the building, but the target building is specified by another method. You can also do it. For example, the target building may be specified on a visualized map, or the target building may be specified by an address.

続く、ステップＳ１０２では、地図・実画像データサーバー２００から、入力された名称に基づいて対象建築物の位置データ・実画像データ・撮像方向データを収集する。実画像データとしては、対象建築物を種々のアングルからみた複数のデータが収集される。ステップＳ１０２で収集されたデータに基づいて、次のステップＳ１０３では、対象建築物データベース１２２が更新される。 Subsequently, in step S102, the position data, the actual image data, and the imaging direction data of the target building are collected from the map / actual image data server 200 based on the input name. As the actual image data, a plurality of data of the target building viewed from various angles are collected. Based on the data collected in step S102, the target building database 122 is updated in the next step S103.

図４は対象建築物データベース１２２のデータ構造例を示す図である。図４に示すように、対象建築物データベース１２２には、少なくもそれぞれ固有のＩＤデータと、当該ＩＤデータに対応する対象建築物の名称に係るデータと、対象建築物が所在する位置データと、対象建築物が写り込んでいる実画像データ、その実画像データが撮影された際のアングルに係るデータと、が対応付けられて記憶されている。 FIG. 4 is a diagram showing an example of a data structure of the target building database 122. As shown in FIG. 4, in the target building database 122, at least unique ID data, data related to the name of the target building corresponding to the ID data, position data in which the target building is located, and location data of the target building are provided. The actual image data in which the target building is reflected and the data related to the angle at which the actual image data was taken are stored in association with each other.

図４に示すＩＤ＝００００のデータを例に取ると、当該ＩＤデータには、「昭和ビルディング」の名称データを有し、その所在地の位置データとして（ｘ₀，ｙ₀）を有し、図示する複数の実画像データと、実画像データが撮影された際の撮影方向データとが対応付けられて記憶されている。 Taking the data of ID = 0000 shown in FIG. 4 as an example, the ID data has the name data of "Showa Building" and (x ₀ , y ₀ ) as the position data of the location, and is illustrated. A plurality of real image data to be used and the shooting direction data when the real image data is shot are stored in association with each other.

ここで、実画像データと、実画像データが撮影された際の撮影方向データとの関連を、図５を参照して説明する。図５（Ａ）乃至（Ｄ）は、いずれも位置データ（ｘ₀，ｙ₀）で、名称データ「昭和ビルディング」である対象建築物が写り込んでいる実画像データである。一方、図５（Ａ）乃至（Ｄ）はいずれも異なるアングルで撮影された実画像データである。 Here, the relationship between the actual image data and the photographing direction data when the actual image data is photographed will be described with reference to FIG. 5 (A) to 5 (D) are position data (x ₀ , y ₀ ), and are actual image data in which the target building, which is the name data “Showa Building”, is reflected. On the other hand, FIGS. 5A to 5D are actual image data taken at different angles.

対象建築物データベース１２２には、実画像データと共に、当該実画像データが撮影されたアングルに係るデータ（撮影方向データ）とが対応付けられて記憶されている。このような撮影方向データの形式としては、（撮影座標の位置データ）→（対象建築物の位置データ）の形式を取ることができる。図５（Ａ）の例では、撮影座標の位置データ（ｘ₁，ｙ₁）→対象建築物の位置データ（ｘ₀，ｙ₀）のような形式とすることができる。このように、本発明に係る情報処理システム１００においては、実画像データと撮影方向データとが対象建築物データベース１２２に記録されており、これを参照することで、アーカイブ画像データの撮影・描写方向を推定することができるようになっている。 In the target building database 122, the actual image data and the data related to the angle at which the actual image data was photographed (photographing direction data) are stored in association with each other. As the format of such shooting direction data, the format of (position data of shooting coordinates) → (position data of target building) can be adopted. In the example of FIG. 5A, the format can be such that _{the position data of the shooting coordinates (x 1} , y ₁ ) → the position data of the target building (x ₀ , y _0). As described above, in the information processing system 100 according to the present invention, the actual image data and the shooting direction data are recorded in the target building database 122, and by referring to this, the shooting / drawing direction of the archive image data. Can be estimated.

ステップＳ１０３で対象建築物データベース１２２が更新されると、続いて、ステップＳ１０４に進み、機械学習処理のサブルーチンが実行され、ステップＳ１０５で処理が終了となる。 When the target building database 122 is updated in step S103, the process proceeds to step S104, the machine learning processing subroutine is executed, and the processing ends in step S105.

次に、上記の機械学習処理サブルーチンについて説明する。図６は本発明の実施形態に係る情報処理システム１における機械学習処理サブルーチンのフローチャートを示す図である。このようフローチャートによって、学習モデル１２３におけるニューラルネットワークが機械学習されることとなる。 Next, the above machine learning processing subroutine will be described. FIG. 6 is a diagram showing a flowchart of a machine learning processing subroutine in the information processing system 1 according to the embodiment of the present invention. With this flowchart, the neural network in the learning model 123 is machine-learned.

図５は、学習モデル１２３の構成例を示す模式図である。学習モデル１２３は、深層学習アルゴリズムを用いて学習した深層学習モデルであり、例えば図５に示すように畳み込みニューラルネットワーク（ＣＮＮ：ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルで構成され得る。学習モデル１２３は、ＣＮＮモデルのほかに、リカレントニューラルネットワーク（ＲＮＮ：ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ）モデルで構成されていてもよい。また、学習モデル１２３は、図５に示すように多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習のアルゴリズムを用いて構成されていてもよい。 FIG. 5 is a schematic diagram showing a configuration example of the learning model 123. The learning model 123 is a deep learning model learned by using a deep learning algorithm, and may be composed of, for example, a convolutional neural network (CNN) model as shown in FIG. The learning model 123 may be composed of a recurrent neural network (RNN) model in addition to the CNN model. Further, the learning model 123 is not limited to the multi-layer neural network (deep learning) as shown in FIG. 5, and may be configured by using another machine learning algorithm.

図５に示す学習モデル１２３は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含むことができる。本実施形態の学習モデル１２３では、入力層を介して実画像データ（又は、アーカイブ画像データ）が入力される。 The learning model 123 shown in FIG. 5 is composed of an input layer, an intermediate layer, and an output layer. The intermediate layer can include a convolutional layer, a pooling layer and a fully connected layer. In the learning model 123 of the present embodiment, real image data (or archive image data) is input via the input layer.

入力層の各ノードを介して入力された画像データは中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。 The image data input via each node of the input layer is input to the intermediate layer, and in the intermediate layer, the image feature amount is extracted by filtering etc. in the convolutional layer to generate a feature map, which is compressed by the pooling layer. The amount of information is reduced. The convolution layer and the pooling layer are repeatedly provided in a plurality of layers, and the feature map generated by the plurality of convolution layers and the pooling layer is input to the fully connected layer.

全結合層は複数層（図５では２層）設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。 A plurality of fully connected layers (two layers in FIG. 5) are provided, and the output values of the nodes of each layer are calculated using various functions and threshold values based on the input feature map, and the calculated output values are calculated. Is sequentially input to the node of the next layer. The fully connected layer finally gives each node of the output layer its own output value by sequentially inputting the output value of the node of each layer to the node of the subsequent layer.

畳み込み層、プーリング層及び全結合層のそれぞれの層数は図５に示す例に限定されない。本実施形態の学習モデル１２３では、出力層は２つのノードを有しており、例えばノード０は、入力された画像データ中に対象建造物が存在しない、と判別すべき確率を出力し、ノード１は、入力された画像データ中に対象建造物が存在する、と判別すべき確率を出力する。出力層の各ノードの出力値は例えば０〜１．０の値であり、２つのノードから出力された確率の合計が１．０（１００％）となる。 The number of each of the convolution layer, the pooling layer and the fully connected layer is not limited to the example shown in FIG. In the learning model 123 of the present embodiment, the output layer has two nodes. For example, node 0 outputs the probability that the target building does not exist in the input image data, and the node. 1 outputs the probability that the target building should be determined to exist in the input image data. The output value of each node of the output layer is, for example, a value of 0 to 1.0, and the total of the probabilities output from the two nodes is 1.0 (100%).

学習モデル１２３は、対象建造物が写り込んでいない実画像データと、実画像データ中に対象建造物が存在しないことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。 The learning model 123 learns using the teacher data as a set of the actual image data in which the target building is not reflected and the information (correct answer label) indicating that the target building does not exist in the actual image data. ..

また学習モデル１２３は、対象建造物が写り込んでいる実画像データと、実画像データ中に対象建造物が存在することを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。 Further, the learning model 123 learns using the teacher data in which the actual image data in which the target building is reflected and the information (correct answer label) indicating that the target building exists in the actual image data are set as one set. do.

学習モデル１２３は、教師データに含まれる、対象建造物が写り込んでいない実画像データが入力された場合に、対象建造物が存在しないと判別すべき確率が出力されるノード０からの出力値が１．０に近づき、他方のノード１からの出力値が０に近づくように学習する。これにより、対象建造物が写り込んでいないアーカイブ画像データが入力された場合に、ノード０からの出力値が１．０に近い値となる学習モデル１２３を生成できる。 The learning model 123 is an output value from node 0 that outputs the probability that the target building should be determined to be nonexistent when the actual image data including the target building is input, which is included in the teacher data. Learns to approach 1.0 and the output value from the other node 1 approaches 0. As a result, it is possible to generate the learning model 123 in which the output value from the node 0 is close to 1.0 when the archive image data in which the target building is not reflected is input.

また、学習モデル１２３は、教師データに含まれる、対象建造物が写り込んでいる実画像データが入力された場合に、対象建造物が存在すると判別すべき確率が出力されるノード１からの出力値が１．０に近づき、他方のノード０からの出力値が０に近づくように学習する。これにより、対象建造物が写り込んでいるアーカイブ画像データが入力された場合に、ノード１からの出力値が１．０に近い値となる学習モデル１２３を生成できる。 Further, the learning model 123 is an output from the node 1 in which the probability that the target building should be determined to exist is output when the actual image data in which the target building is reflected, which is included in the teacher data, is input. Learn so that the value approaches 1.0 and the output value from the other node 0 approaches 0. As a result, when the archive image data in which the target building is reflected is input, the learning model 123 in which the output value from the node 1 is close to 1.0 can be generated.

なお、学習処理において学習モデル１２３は、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データに基づいて、画像データ中に対象建造物が写り込んでいるか否かを示す情報を出力するように学習された学習済みの学習モデル１２３が得られる。学習モデル１２３は、情報処理システム１００で学習が行われてもよいし、異なる学習装置で学習された後に情報処理システム１００の記憶部１２０に記憶されてもよい。 In the learning process, the learning model 123 optimizes data such as coefficients and thresholds of various functions that define predetermined operations performed on input values. As a result, a trained learning model 123 that has been trained to output information indicating whether or not the target building is reflected in the image data is obtained based on the image data. The learning model 123 may be learned by the information processing system 100, or may be stored in the storage unit 120 of the information processing system 100 after being learned by a different learning device.

さて、図６の機械学習処理サブルーチンのフローチャートに戻り、ステップＳ２００で、機械学習処理サブルーチンが開始されると、ステップＳ２０１では、対象建築物データベース１２２から、実画像データを取得し、ステップＳ２０２では、当該実画像データに対して、対象建築物の存否を正解ラベルとしてニューラルネットワークにおける各種の関数の係数や閾値等を算出する。 By the way, returning to the flowchart of the machine learning processing subroutine of FIG. 6, when the machine learning processing subroutine is started in step S200, the actual image data is acquired from the target building database 122 in step S201, and the actual image data is acquired in step S202. For the actual image data, the coefficients and thresholds of various functions in the neural network are calculated with the existence or nonexistence of the target building as the correct answer label.

ステップＳ２０３では、算出した各種の関数の係数や閾値等を更新し、学習モデル１２３として、次にステップＳ２０４に進み、元のルーチンにリターンする。 In step S203, the coefficients, threshold values, and the like of the various calculated functions are updated, and the learning model 123 is used, then the process proceeds to step S204, and the original routine is returned.

なお、対象建築物データベース１２２の実画像データにより、ニューラルネットワークを学習させる際には、実画像データについてゆがみ補正などの画像処理を必要に応じて行うことで、より効率的な学習を期待することができる。 When training a neural network using the real image data of the target building database 122, more efficient learning should be expected by performing image processing such as distortion correction on the real image data as necessary. Can be done.

次に、以上のような学習済みの学習モデル１２３を用いて、画像データサーバー３００から取得される（アーカイブ）画像データを分析する処理について説明する。図８は本発明の実施形態に係る情報処理システム１におけるアーカイブ画像データ分析処理のフローチャートを示す図である。このようなアルゴリズムは、主として記憶部１２０に記憶されているアーカイブ画像データ収集・選定モジュール１２７によって実行される。 Next, a process of analyzing the (archived) image data acquired from the image data server 300 by using the learned learning model 123 as described above will be described. FIG. 8 is a diagram showing a flowchart of archive image data analysis processing in the information processing system 1 according to the embodiment of the present invention. Such an algorithm is mainly executed by the archive image data collection / selection module 127 stored in the storage unit 120.

ステップＳ３００で、アーカイブ画像データ分析処理が開始されると、続いて、ステップＳ３０１に進み、画像データサーバー３００から、建築物が写り込んでいるアーカイブ画像データを収集する。 When the archive image data analysis process is started in step S300, the process proceeds to step S301, and the archive image data in which the building is reflected is collected from the image data server 300.

画像データサーバー３００から建築物が写り込んでいるアーカイブ画像データを収集するにあたっては、予め定められた所定のＵＲＬを巡回する手順を記述したスクリプトによってスクレイピングを行い、アーカイブ画像データを収集するようにしてもよいし、所定のキーワードに基づき検索エンジンによりＵＲＬを抽出して、抽出したＵＲＬ先からアーカイブ画像データを収集するようにしてもよい。 When collecting archive image data in which a building is reflected from the image data server 300, scraping is performed by a script that describes a procedure for patrolling a predetermined predetermined URL, and the archive image data is collected. Alternatively, the URL may be extracted by a search engine based on a predetermined keyword, and the archive image data may be collected from the extracted URL destination.

ところで、検索エンジンでキーワードを使用する場合、住所名については時代と共に変更されることがある。そこで、本発明に係る情報処理システム１００においては、住所名の変遷について記述されている住所名変遷データベース１２８が設けられており、これを適宜参照することができるようになっている。 By the way, when keywords are used in search engines, the address name may change with the times. Therefore, in the information processing system 100 according to the present invention, an address name transition database 128 that describes the transition of the address name is provided, and the address name transition database 128 can be referred to as appropriate.

図９は住所名変遷データベース１２８のデータ構造例を示す図である。住所名変遷データベース１２８には、地図上の座標の範囲（位置データの範囲）と、年代、住所の名称などのデータが記述される。例えば、本発明に係る情報処理システム１００は、ステップＳ３０１で、このような住所名変遷データベース１２８を参照することで、「東京府北豊島郡王子町」のキーワード検索を実行し、１９０８年〜１９３２年頃の建築物が写り込んだアーカイブ画像データを収集し得る。 FIG. 9 is a diagram showing an example of a data structure of the address name transition database 128. In the address name transition database 128, the range of coordinates (range of position data) on the map and data such as the age and the name of the address are described. For example, in step S301, the information processing system 100 according to the present invention executes a keyword search for "Oji-cho, Kitatoshima-gun, Tokyo" by referring to such an address name transition database 128, and from 1908 to 1932. Archived image data of buildings around the age can be collected.

なお、本実施形態では、住所名が時代と共に変遷することに対応して住所名変遷データベース１２８を設けるようにしたが、建築物の名称も時代と共に変遷し得るので、建築物の名称の変遷をデータ化した、住所名変遷データベース１２８と類似したデータベースを準備するようにしてもよい。 In this embodiment, the address name transition database 128 is provided in response to the change of the address name with the times, but since the name of the building can also change with the times, the change of the name of the building is changed. A database similar to the address name transition database 128, which has been converted into data, may be prepared.

ステップＳ３０２では、取得したアーカイブ画像データを、学習済みの学習モデル１２３におけるニューラルネットワークに入力し、対象建築物の存否を推定する。ここで、アーカイブ画像データに対象建築物が存在すると推定される、とは、ニューラルネットワークのノード１からの出力値が予め定められた所定値（例えば、０．９）以上である、ことを意味している。 In step S302, the acquired archive image data is input to the neural network in the trained learning model 123, and the existence or nonexistence of the target building is estimated. Here, it is presumed that the target building exists in the archive image data, which means that the output value from the node 1 of the neural network is equal to or more than a predetermined predetermined value (for example, 0.9). doing.

ステップＳ３０３で、対象建築物が存在すると推定されるアーカイブ画像データを選定する。すなわち、ニューラルネットワークのノード１からの出力値が予め定められた所定値以上であるアーカイブ画像データを選定する。 In step S303, archive image data that is presumed to have the target building is selected. That is, the archive image data whose output value from the node 1 of the neural network is equal to or more than a predetermined predetermined value is selected.

続く、ステップＳ３０４では、対象建築物データベース１２２を参照して、アーカイブ画像データ中に存在すると推定された当該対象建築物に対応する位置データを取得する。 Subsequently, in step S304, the position data corresponding to the target building estimated to exist in the archive image data is acquired with reference to the target building database 122.

ステップＳ３０５では、対象建築物データベース１２２を参照して、アーカイブ画像データ中に存在すると推定された当該対象建築物に対応する撮影方向データを取得する。撮影方向データは、対象建築物データベース１２２中の実画像データを参照して、アーカイブ画像データと近い撮影アングルを有するものの撮影方向データを取得することができる。 In step S305, the shooting direction data corresponding to the target building estimated to exist in the archive image data is acquired with reference to the target building database 122. As the shooting direction data, the shooting direction data can be acquired by referring to the actual image data in the target building database 122 and having a shooting angle close to that of the archive image data.

ステップＳ３０６では、ステップＳ３０４、Ｓ３０５で得られた各データを、アーカイブ画像データ中の当該対象建築物の位置データ、撮影方向データとして、表示部１５０などに回答する。続くステップＳ３０７で処理を終了する。 In step S306, each data obtained in steps S304 and S305 is returned to the display unit 150 or the like as position data and shooting direction data of the target building in the archive image data. The process ends in the following step S307.

図１０は、ステップＳ３０６において、表示部１５０でアーカイブ画像データ中の対象建築物の位置データ、撮影方向データを回答する際の画面例を示している。 FIG. 10 shows an example of a screen when the display unit 150 answers the position data and the shooting direction data of the target building in the archive image data in step S306.

図１０の画面例において、アーカイブ画像データ中、ニューラルネットワークで推定された対象建築物は、Ｔａｒｇｅｔｂｕｉｌｄｉｎｇとしてマーキングされる。また、同画面例においては、当該アーカイブ画像データの収集元のＵＲＬ情報も併せて表示される。 In the screen example of FIG. 10, in the archive image data, the target building estimated by the neural network is marked as Target building. Further, in the same screen example, the URL information of the collection source of the archive image data is also displayed.

さらに、図１０に示す画面例では、アーカイブ画像データ中で、Ｔａｒｇｅｔｂｕｉｌｄｉｎｇとしてマーキングされている対象建築物の位置、及び撮影方向について、「アーカイブ画像データの分析結果」の欄で、それぞれ（ｘ₀，ｙ₀）及び（ｘ₁，ｙ₁）→（ｘ₀，ｙ₀）と示されるようになっている。 Further, in the screen example shown in FIG. 10, in the archive image data, the position of the target building marked as Target building and the shooting direction are described in the column of "Analysis result of archive image data" (x _0). , Y ₀ ) and (x ₁ , y ₁ ) → (x ₀ , y ₀ ).

本発明に係る情報処理システム１００は、アーカイブ画像データを、機械学習部によって学習させたニューラルネットワーク（学習モデル１２３）に入力し、対象建築物の存否を推定し、対象建築物が存在すると推定されるアーカイブ画像データを選定し、選定されたアーカイブ画像データ中に存在すると推定された対象建築物の位置データを回答する構成であるので、このような本発明に係る情報処理システム１００によれば、過去に撮影・描写され、位置情報のメタデータなどがない写真・絵画に写り込んでいる対象建築物の位置データを取得することが可能となる。 The information processing system 100 according to the present invention inputs archived image data into a neural network (learning model 123) trained by a machine learning unit, estimates the existence or nonexistence of the target building, and presumes that the target building exists. According to the information processing system 100 according to the present invention, the archive image data is selected and the position data of the target building estimated to exist in the selected archive image data is returned. It is possible to acquire the position data of the target building that has been photographed and depicted in the past and is reflected in the photograph / painting without the metadata of the position information.

また、上記のように本発明では、アーカイブ画像データにおける対象建築物の位置データが取得可能であるので、本発明に係る情報処理システム１００によれば、アーカイブ資料の整理・分析の労力を劇的に下げ、今まで手作業では見つけることが困難であった、資料間の関係性を抽出することができるようになる。 Further, as described above, in the present invention, the position data of the target building in the archive image data can be acquired. Therefore, according to the information processing system 100 according to the present invention, the labor for organizing and analyzing the archived materials is dramatically reduced. It will be possible to extract the relationships between materials, which was difficult to find manually until now.

また、本発明に係る情報処理システム１００によれば、建築物の位置データが取得可能となることで、建築物の履歴を調べることを容易にし、資産評価などに利用できる。 Further, according to the information processing system 100 according to the present invention, since the position data of the building can be acquired, it becomes easy to check the history of the building and it can be used for asset evaluation and the like.

また、本発明に係る情報処理システム１００に明らかとなる建築物の位置データなどは、観光コンテンツとしても利用し得る。 In addition, the location data of the building revealed in the information processing system 100 according to the present invention can also be used as tourism content.

また、本発明に係る情報処理システム１００により、一枚の歴史的な写真・絵画（アーカイブ画像データ）における建築物の位置データが特定できると、その写真・絵画に写りこんだ、他の建物（現存しないものを含む）について、写真間で連鎖的に位置の特定をしていくことができる。 In addition, when the information processing system 100 according to the present invention can identify the position data of a building in one historical photograph / painting (archive image data), another building (another building) reflected in the photograph / painting. For (including non-existing ones), the position can be specified in a chain between photographs.

また、本発明に係る情報処理システム１００によれば、コラージュ的に街の過去を生成していくことができる。また、本発明に係る情報処理システム１００によれば、撮影時期が特定できない歴史写真においても、建築物の建て替わる順番により、おおよその撮影時期の範囲を絞り込むことができるようになる。 Further, according to the information processing system 100 according to the present invention, the past of the city can be generated in a collage manner. Further, according to the information processing system 100 according to the present invention, even in a historical photograph whose shooting time cannot be specified, the range of the approximate shooting time can be narrowed down according to the order in which the buildings are rebuilt.

また、本発明に係る情報処理システム１００により整理された歴史写真（アーカイブ画像データ）は、新たに付与された位置情報を用いて、地図アプリケーションやＡＲアプリなどにプロットすることで、ユーザーが撮影場所や撮影時期を任意に切り替えて閲覧することができるようなシステムを提供することができるようになる。 Further, the historical photograph (archive image data) organized by the information processing system 100 according to the present invention can be plotted on a map application, an AR application, or the like using the newly assigned position information, so that the user can take a picture location. It will be possible to provide a system that allows viewing by switching the shooting time as desired.

１００・・・情報処理システム
１１１・・・制御部
１２０・・・記憶部
１２１・・・制御プログラム
１２２・・・対象建築物データベース
１２３・・・学習モデル
１２７・・・アーカイブ画像データ収集・選定モジュール
１２８・・・住所名変遷データベース
１４０・・・通信部
１５０・・・表示部
１６０・・・入力部
１７０・・・読み取り部
１９０・・・可搬型記憶媒体
１９５・・・半導体メモリ
２００・・・地図・実画像データサーバー
３００・・・画像データサーバー 100 ... Information processing system 111 ... Control unit 120 ... Storage unit 121 ... Control program 122 ... Target building database 123 ... Learning model 127 ... Archive image data collection / selection module 128 ... Address name transition database 140 ... Communication unit 150 ... Display unit 160 ... Input unit 170 ... Reading unit 190 ... Portable storage medium 195 ... Semiconductor memory 200 ... Map / actual image data server 300 ・・・ Image data server

Claims

A machine learning unit that machine-learns a neural network by associating the actual image data associated with the position data of the target building with the presence or absence of the target building in the actual image data.
An archive image data collection unit that collects archive image data in which buildings are reflected from an image data server connected to the Internet,
The archive image data collected by the archive image data collection unit is input to the neural network trained by the machine learning unit, the existence or nonexistence of the target building is estimated, and the archive image estimated that the target building exists. Archive image data selection department that selects data and
An information processing system including a position data answering unit that answers position data of a target building estimated to exist in the archive image data selected by the archive image data selection unit.

The information processing system according to claim 1, further comprising a target building database that stores the position data of the target building and the actual image data in association with each other.

The information processing system according to claim 2, wherein the actual image data in the target building database includes shooting direction data.

It has an address name transition database that stores location data in association with address names by age group.
Any one of claims 1 to 3, wherein the archive image data collection unit collects archive image data from an image data server using an address name stored in the address name transition database as a search key. The information processing system described in the section.

The information according to any one of claims 1 to 4, wherein the target building presumed to exist in the archive image data has a shooting direction answering unit for answering the shooting direction. Processing system.