JP7265915B2 - Tsunami height and tsunami arrival time prediction system - Google Patents

Tsunami height and tsunami arrival time prediction system Download PDF

Info

Publication number
JP7265915B2
JP7265915B2 JP2019074842A JP2019074842A JP7265915B2 JP 7265915 B2 JP7265915 B2 JP 7265915B2 JP 2019074842 A JP2019074842 A JP 2019074842A JP 2019074842 A JP2019074842 A JP 2019074842A JP 7265915 B2 JP7265915 B2 JP 7265915B2
Authority
JP
Japan
Prior art keywords
tsunami
height
velocity distribution
unit
arrival time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019074842A
Other languages
Japanese (ja)
Other versions
JP2020173160A (en
Inventor
良仁 田中
和芳 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chubu Electric Power Co Inc
Original Assignee
Chubu Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chubu Electric Power Co Inc filed Critical Chubu Electric Power Co Inc
Priority to JP2019074842A priority Critical patent/JP7265915B2/en
Publication of JP2020173160A publication Critical patent/JP2020173160A/en
Application granted granted Critical
Publication of JP7265915B2 publication Critical patent/JP7265915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Geophysics And Detection Of Objects (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、津波高及び津波到達時間予測システムに関する。 The present invention relates to a tsunami height and tsunami arrival time prediction system.

近年、海洋レーダによる津波観測システムが提案されている(特許文献1参照)。海洋レーダは、陸上に設置したアンテナから海面に電波を照射して、海面の波浪による後方散乱波を受信して周波数解析することにより、百Km程度の幅広い領域における海流、波浪等を測定できる。なお、海洋レーダは、アンテナから照射される電波の視線方向の海面流速成分のみしか計測することはできず、到来する津波の波高を直接計測することができない。 In recent years, a tsunami observation system using ocean radar has been proposed (see Patent Document 1). Marine radar can measure ocean currents, waves, etc. in a wide area of about 100 km by irradiating radio waves to the sea surface from an antenna installed on land, receiving backscattered waves due to waves on the sea surface, and analyzing the frequency. The marine radar can only measure the sea surface velocity component in the line-of-sight direction of the radio waves emitted from the antenna, and cannot directly measure the wave height of an incoming tsunami.

特許文献1では、海洋レーダの電波照射領域を複数の領域に分割し、海洋レーダの送信信号(電波照射信号)と受信信号(反射波)との周波数差の周波数を有するビート信号に基づいて津波の海面の流速を検出する。そして、特許文献1では、算出した津波の海面の流速に基づいて津波の挙動のシミュレーションを計測サンプル周期毎に実行して各時刻での津波の波高を算出するようにしている。そして、特許文献1では、各時刻での津波の到達波高(津波高)に基づいて、津波に対する津波到達時間及び津波高を予測するようにしている。 In Patent Document 1, the radio wave irradiation area of the marine radar is divided into a plurality of areas, and a tsunami is detected based on a beat signal having a frequency difference between the transmission signal (radio wave irradiation signal) and the reception signal (reflected wave) of the marine radar. to detect the current velocity on the surface of the sea. In Patent Document 1, a tsunami wave height at each time is calculated by executing a tsunami behavior simulation for each measurement sample period based on the calculated sea surface flow velocity of the tsunami. In Patent Document 1, the tsunami arrival time and tsunami height are predicted based on the arrival wave height (tsunami height) of the tsunami at each time.

特開2016-85206号公報JP 2016-85206 A

ところで、この津波観測システムでは、算出した津波の海面の流速に基づいて津波の挙動のシミュレーションを計測サンプル周期毎に実行して各時刻での津波の波高を算出する等の処理を行うことから、計算に一定の時間を要する問題があり、すなわち、津波到達時間及び津波高が算出されるまでの予測時間が長くなる。また、計算が複雑となるため、誤差が生じやすい。 By the way, in this tsunami observation system, a simulation of tsunami behavior is performed for each measurement sample period based on the calculated sea surface velocity of the tsunami, and processing such as calculating the wave height of the tsunami at each time is performed. There is a problem that the calculation takes a certain amount of time, that is, the prediction time until the tsunami arrival time and tsunami height are calculated becomes long. Also, since the calculation is complicated, errors are likely to occur.

本発明の目的は、上記課題を解決して、津波到達地点の津波高及び津波到達時間の計算時間を短縮化するとともに誤差の発生を少なくできる津波高及び津波到達時間予測システムを提供することにある。 An object of the present invention is to solve the above problems and provide a tsunami height and tsunami arrival time prediction system capable of shortening the calculation time of the tsunami height and tsunami arrival time at the tsunami arrival point and reducing the occurrence of errors. be.

上記問題点を解決するために、本発明の津波高及び津波到達時間予測システムは、学習用の津波流速分布画像を予め学習して、測定津波流速分布画像を、津波が所定地点に達するときの津波到達時間及び津波高の組合せに分類する畳込みニューラルネットワーク部を備えた津波高及び津波到達時間予測システムであって、海洋レーダの観測結果に基づいて経時的に連続する3つの測定津波流速分布画像を生成する流速分布画像生成部を備え、前記畳込みニューラルネットワーク部は、前記3つの測定津波流速分布画像の各特徴量を抽出し、前記各特徴量を全て結合した結合結果に基づいて、該3つの測定津波流速分布画像中、最新の測定津波流速分布画像を、前記所定地点に達するときの津波の到達時間及び津波高との組合せに分類するものである。 In order to solve the above problems, the tsunami height and tsunami arrival time prediction system of the present invention learns in advance a tsunami flow velocity distribution image for learning, and prepares a measured tsunami flow velocity distribution image when the tsunami reaches a predetermined point. A tsunami height and tsunami arrival time prediction system with a convolutional neural network section that classifies combinations of tsunami arrival times and tsunami heights, wherein three measured tsunami velocity distributions are measured in succession over time based on ocean radar observations. A flow velocity distribution image generation unit for generating an image, wherein the convolutional neural network unit extracts each feature quantity of the three measured tsunami flow velocity distribution images, and based on the result of combining all the feature quantities , Among the three measured tsunami current velocity distribution images, the latest measured tsunami current velocity distribution image is classified into a combination of tsunami arrival time and tsunami height when reaching the predetermined point.

また、前記3つの測定津波流速分布画像は、1分間隔であってもよい。
また、前記所定地点は、前記海洋レーダの送受信アンテナの設置点としてもよい。
また、前記3つの測定津波流速分布画像は、前記畳込みニューラルネットワーク部のRGBの3チャンネルに入力されることが好ましい。
Also, the three measured tsunami current velocity distribution images may be taken at intervals of one minute.
Further, the predetermined point may be an installation point of a transmitting/receiving antenna of the marine radar.
Further, it is preferable that the three measured tsunami current velocity distribution images are input to three RGB channels of the convolutional neural network unit.

本発明によれば、津波到達地点の津波高及び津波到達時間の計算時間を短縮化するとともに誤差の発生を少なくできる効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in shortening the calculation time of the tsunami height of a tsunami arrival point, and tsunami arrival time, and reducing the generation|occurrence|production of an error.

本発明を具体化した一実施形態の津波高及び津波到達時間予測システムのブロック図。1 is a block diagram of a tsunami height and tsunami arrival time prediction system according to an embodiment of the present invention; FIG. (a)は海洋レーダの電気ブロック図、(b)は予測装置の電気ブロック図。(a) is an electrical block diagram of the marine radar, and (b) is an electrical block diagram of the prediction device. 海洋レーダの観測点の配置例の説明図。Explanatory drawing of the example of arrangement|positioning of the observation point of a marine radar. 20m級津波のシミュレーションの津波流速分布図。Tsunami flow velocity distribution map of simulation of 20m class tsunami. 20m級津波のシミュレーションの津波流速分布図。Tsunami flow velocity distribution map of simulation of 20m class tsunami. 20m級津波のシミュレーションの津波流速分布図。Tsunami flow velocity distribution map of simulation of 20m class tsunami. 20m級津波のシミュレーションの津波流速分布図。Tsunami flow velocity distribution map of simulation of 20m class tsunami. 予測装置におけるデータの処理順の説明図。Explanatory drawing of the data processing order in a prediction apparatus. 畳込みニューラルネットワーク部のブロック図。Block diagram of a convolutional neural network unit. 視線No.と観測点No.のマトリックス。Line of sight no. and observation point No. matrix. 多値分類区分の説明図。Explanatory diagram of multi-level classification.

(第1実施形態)
以下、本発明を具体化した一実施形態の津波高及び津波到達時間予測システム(以下、単に予測システムという)を図1~図11を参照して説明する。
(First embodiment)
A tsunami height and tsunami arrival time prediction system (hereinafter simply referred to as a prediction system) according to one embodiment of the present invention will be described below with reference to FIGS. 1 to 11. FIG.

予測システム10は、海洋レーダ20、予測装置30、及び表示装置50を備えている。
<海洋レーダ20>
本実施形態の予測システム10は、海洋レーダ20にて陸上に設置した送受信アンテナ22(図2(a)参照)から海面に電波を照射し、海面の波浪による後方散乱波を受信して周波数解析することにより、百Km程度の幅広い測定領域における海流、波浪、津波等の流速を測定する。そして、予測装置30にて、前記測定領域に関して測定津波流速分布画像を生成し、その測定津波流速分布画像と、所定地点としての津波到達地点における津波高と津波到達時間の組合せとを分類して、その結果を表示装置50に表示する。
Prediction system 10 includes marine radar 20 , prediction device 30 , and display device 50 .
<Ocean Radar 20>
The prediction system 10 of the present embodiment irradiates the sea surface with radio waves from the transmitting and receiving antenna 22 (see FIG. 2A) installed on land with the marine radar 20, receives backscattered waves due to waves on the sea surface, and performs frequency analysis. By doing so, the velocity of ocean currents, waves, tsunamis, etc. can be measured in a wide measurement area of about 100 km. Then, the prediction device 30 generates a measured tsunami velocity distribution image with respect to the measurement area, and classifies the measured tsunami velocity distribution image and a combination of tsunami height and tsunami arrival time at a tsunami arrival point as a predetermined point. , and the result is displayed on the display device 50 .

本実施形態では、津波到達地点は、海洋レーダ20の送受信アンテナ22が設置されている地点(設置点)としているが、海洋レーダ20の送受信アンテナ22が設置されている地点に限定するものではなく、他の地点であってもよい。 In this embodiment, the tsunami arrival point is the point (installation point) where the transmitting/receiving antenna 22 of the marine radar 20 is installed, but it is not limited to the point where the transmitting/receiving antenna 22 of the marine radar 20 is installed. , or other locations.

図2(a)に示すように、海洋レーダ20は、送受信アンテナ22、送受信部24、信号処理部26、及び演算部28を備えている。送受信アンテナ22は、例えば、HFレーダであって、一般的には陸上に設置されるが、送受信アンテナ22の配置は送信電波が海上を走査できるような位置であれば限定されない。例えば海に設置してもよい。また、図1において送受信アンテナ22の形状は円柱形状、線形状、アレー状のいずれであってもよい。また、送受信アンテナ22は送信アンテナと受信アンテナとが一体であっても、別体であってもよい。 As shown in FIG. 2( a ), the marine radar 20 includes a transmitting/receiving antenna 22 , a transmitting/receiving section 24 , a signal processing section 26 and a computing section 28 . The transmitting/receiving antenna 22 is, for example, an HF radar, and is generally installed on land. For example, it may be installed in the sea. Further, in FIG. 1, the shape of the transmitting/receiving antenna 22 may be cylindrical, linear, or arrayed. Further, the transmitting/receiving antenna 22 may be a transmitting antenna and a receiving antenna, which may be integrated or separated.

送受信部24は、所定の周波数を有する送信信号を発生し、当該送信信号を送受信アンテナ22に出力する信号発生回路等を含む。また、送受信部24は、送受信アンテナ22から受信信号を受信し、当該受信信号を信号処理部26に出力する受信手段を含む。なお、送受信部24は、送信部と受信部とが一体であってもよく、送信部と受信部とが分かれた構成としてもよい。 The transmitting/receiving section 24 includes a signal generating circuit and the like that generates a transmission signal having a predetermined frequency and outputs the transmission signal to the transmitting/receiving antenna 22 . The transmitting/receiving section 24 also includes receiving means for receiving a received signal from the transmitting/receiving antenna 22 and outputting the received signal to the signal processing section 26 . The transmitting/receiving unit 24 may be configured such that the transmitting unit and the receiving unit are integrated, or the transmitting unit and the receiving unit are separated.

送受信アンテナ22は、津波を検出するための送信信号を海上(海面)に送信電波として放射し、海面上で強く後方散乱(ブラッグ散乱)された受信電波を受信信号として受信し、当該受信信号を送受信部24に出力する。 The transmitting/receiving antenna 22 radiates a transmission signal for detecting a tsunami to the sea (sea surface) as a transmission radio wave, receives a reception radio wave strongly backscattered (Bragg scattering) on the sea surface as a reception signal, and converts the reception signal into a radio wave. Output to the transmission/reception unit 24 .

信号処理部26は、送受信部24が生成した送信信号と、送受信アンテナ22が受信した受信信号とを乗算し、当該乗算された結果の信号をビート信号として演算部28に出力する。すなわち、信号処理部26は、送信信号と受信信号との周波数差の周波数を有するビート信号を生成する。なお、受信電波はドップラー効果を受けて変調されており、その変調量は海面の流速に依存し、ビート信号として算出する。なお、信号処理部26は、送信信号と受信信号との乗算結果の信号からその高調波成分をフィルタリングで除去する。 The signal processing unit 26 multiplies the transmission signal generated by the transmission/reception unit 24 by the reception signal received by the transmission/reception antenna 22, and outputs the signal resulting from the multiplication to the calculation unit 28 as a beat signal. That is, the signal processing unit 26 generates a beat signal having a frequency difference between the transmission signal and the reception signal. The received radio waves are modulated by the Doppler effect, and the amount of modulation depends on the current velocity on the sea surface and is calculated as a beat signal. Note that the signal processing unit 26 filters out harmonic components from the signal resulting from the multiplication of the transmission signal and the reception signal.

演算部28は、信号処理部26からビート信号を受信して、当該ビート信号に基づき、送受信アンテナ22が観測する例えば数十~数百キロメートル四方の海域の観測点P(n,m)(図3参照)における津波の海面の流速を算出する。この津波の海面の流速の算出について詳述する。 The calculation unit 28 receives the beat signal from the signal processing unit 26, and based on the beat signal, the transmission/reception antenna 22 observes, for example, an observation point P (n, m) in a sea area of several tens to several hundreds of kilometers square (Fig. 3) to calculate the velocity of the sea surface of the tsunami. The calculation of the sea surface velocity of this tsunami will be described in detail.

図3は、海洋レーダ20が観測する全領域(海域)が図示されている。同図に示すよう送受信アンテナ22を中心に扇状に広がる複数の視線Ln(n=1、2、…)上に、送受信アンテナ22から離間する方向へ複数の観測点P(n,m)設定されている。なお、観測点P(n,m)のnは、視線Lnのnと同じであり、m(=1、2,…)は、同一の視線上において、送受信アンテナ22に近位側から遠位側に向かって付されるナンバーである。 FIG. 3 shows the entire area (sea area) observed by the marine radar 20 . As shown in the figure, a plurality of observation points P (n, m) are set in a direction away from the transmitting/receiving antenna 22 on a plurality of lines of sight Ln (n=1, 2, . ing. Note that n of the observation point P(n,m) is the same as n of the line of sight Ln, and m(=1, 2, . It is a number attached to the side.

そして、送信電波が電波照射される全領域は、観測点P(n,m)毎に図4~図7に示すように分割領域が設定されている。演算部28は、各分割領域の観測点P(n,m)のビート信号に基づいて当該分割領域の津波の海面の流速を算出する。 4 to 7, divided regions are set for each observation point P(n, m) in the entire region irradiated with the transmitted radio wave. The computing unit 28 calculates the current velocity of the tsunami on the sea surface of each divided area based on the beat signal of the observation point P(n, m) of each divided area.

また、演算部28は、算出した各分割領域の流速を予測装置30に出力する。すなわち、演算部28は、送受信アンテナ22により海洋レーダ20が観測する全領域を1秒毎に観測しており、1秒毎に予測装置30に海洋レーダ20が観測する全領域について各分割領域の流速を出力する。 The calculation unit 28 also outputs the calculated flow velocity of each divided region to the prediction device 30 . That is, the calculation unit 28 observes the entire area observed by the marine radar 20 by the transmitting/receiving antenna 22 every second, and every second, the prediction device 30 reports the divided areas of the entire area observed by the marine radar 20. Output the velocity.

<予測装置30>
図2(b)は、本実施形態に係る予測装置30のハードウェア構成を示している。同図に示すように、予測装置30は、CPU37、ROM38、RAM39、外部記憶装置(例えば、フラッシュメモリ)40、及び、外部装置やインターネットと通信を行う通信インターフェイス41を備えたコンピュータにより構成されている。
<Prediction device 30>
FIG. 2B shows the hardware configuration of the prediction device 30 according to this embodiment. As shown in the figure, the prediction device 30 is composed of a computer having a CPU 37, a ROM 38, a RAM 39, an external storage device (for example, flash memory) 40, and a communication interface 41 for communicating with external devices and the Internet. there is

予測装置30は、下記で説明する各部の機能は、CPU37がROM38、RAM39または外部記憶装置40等に記憶された制御プログラム(例えば、画像処理プログラム)や各種データ(例えば、CNNのネットワーク構造及び学習済みのネットワークパラメータ等)を参照することによって実現される。 The function of each part of the prediction device 30 described below is such that the CPU 37 stores control programs (eg, image processing programs) and various data (eg, CNN network structure and learning network parameters, etc.).

なお、各部の機能の一部または全部は、CPU37による処理に代えて、または、これと共に、GPU(Graphics Processing Units)による処理によって実現してもよい。また、同様に、各機能の一部または全部は、ソフトウェアによる処理に代えて、または、これと共に、専用のハードウェア回路による処理によって行ってもよい。 Some or all of the functions of each unit may be realized by processing by GPUs (Graphics Processing Units) in place of or together with processing by the CPU 37 . Also, similarly, part or all of each function may be performed by dedicated hardware circuit processing instead of or together with software processing.

上記のCPU37によって実現される各部について説明する。図1及び図8に示すように、予測装置30は、流速分布画像生成部31、正規化部32、前処理部33、CNN処理部34、学習部35及び学習データ入力部36、を備えている。 Each part realized by the above CPU 37 will be described. As shown in FIGS. 1 and 8, the prediction device 30 includes a flow velocity distribution image generation unit 31, a normalization unit 32, a preprocessing unit 33, a CNN processing unit 34, a learning unit 35, and a learning data input unit 36. there is

流速分布画像生成部31は、海洋レーダ20、または、学習データ入力部36から入力した前記全領域についての各分割領域の流速を、画像データとして流速分布画像を生成する。ここで、説明の便宜上、分割領域の特定には、当該分割領域の観測点に付した符号P(n,m)で代用するものとする。 The flow velocity distribution image generation unit 31 generates a flow velocity distribution image by using the flow velocity of each divided area of the entire area input from the ocean radar 20 or the learning data input unit 36 as image data. Here, for convenience of explanation, the identification of the divided area is substituted by the code P(n,m) attached to the observation point of the divided area.

流速分布画像は、縦n×横mの画素群からなる画像データであり、各分割領域の流速が、各画素の輝度として扱われる。
流速分布画像生成部31は、1秒毎に入力した全領域について各分割領域の流速に基づいて1分毎に流速分布画像を生成する。
The flow velocity distribution image is image data consisting of a group of pixels of vertical n×horizontal m, and the flow velocity of each divided area is treated as the brightness of each pixel.
The flow velocity distribution image generator 31 generates a flow velocity distribution image every minute based on the flow velocity of each divided area for the entire area input every second.

ここで、流速分布画像生成部31は、学習データ入力部36からデータを入力した場合は、学習用の津波流速分布画像を生成し、海洋レーダ20からデータを入力した場合は、測定津波流速分布画像を生成する。 Here, the flow velocity distribution image generation unit 31 generates a tsunami flow velocity distribution image for learning when data is input from the learning data input unit 36, and a measured tsunami flow velocity distribution when data is input from the ocean radar 20. Generate an image.

正規化部32は、流速分布画像生成部31から出力された画像データの輝度(流速)を例えば、min-max法で、正規化する。min-max法は、輝度(流速)の最大値を「1」とし、最小値を「0」とするようにして他の流速を「1」と「0」との間の値にする処理である。なお、ここでの正規化は、min-max法に限定するものではなく、他の適宜の方法で行ってもよい。 The normalization unit 32 normalizes the brightness (flow velocity) of the image data output from the flow velocity distribution image generation unit 31, for example, by the min-max method. The min-max method is a process in which the maximum value of brightness (flow velocity) is set to "1" and the minimum value is set to "0", and other flow velocities are set to values between "1" and "0". be. Note that the normalization here is not limited to the min-max method, and may be performed by other appropriate methods.

前処理部33は、画像データの大きさ(縦×横)を所定の大きさに成形する。すなわち、正規化部32から入力される縦n×横mの大きさの画像データを、縦N×横Mの大きさとなるように0でパディングする。 The preprocessing unit 33 shapes the size (length x width) of the image data to a predetermined size. That is, the image data having the size of n (vertical)×m (horizontal) input from the normalization unit 32 is padded with 0 so as to have the size of N (vertical)×M (horizontal).

前処理部33は、上記のように所定の大きさに形成した画像データを図示しないバッファに格納する。そして、バッファには、格納された順に画像データが蓄積される。
そして、前処理部33は、上記のように成形した画像データの内、最新の画像データD、最新の画像データの1分前に成形した画像データD1、及び最新のデータの2分前に成形した画像データD2を、前記バッファから読み出し、それぞれRGBの画像データとして、CNN処理部34に出力する。なお、本明細書でのRGBは、色についてのRGBではなく、単にチャンネルの識別のために使用している。
The preprocessing unit 33 stores the image data formed in the predetermined size as described above in a buffer (not shown). Then, the image data are accumulated in the buffer in the order in which they were stored.
Then, the preprocessing unit 33 forms the latest image data D, the image data D1 formed one minute before the latest image data, and the image data D1 formed two minutes before the latest image data among the image data formed as described above. The resulting image data D2 is read out from the buffer and output to the CNN processing unit 34 as RGB image data. Note that RGB in this specification is used simply for identifying channels, not as RGB for color.

CNN処理部34は、例えば、AlexNet型CNNである。CNN処理部34は、畳込みニューラルネットワーク部に相当する。
CNN処理部34は、RGBの各チャンネルにおいて、画像データD、D1、D2に対して、畳込みニューラルネットワークを用いて画像処理を行って、当該画像データD、D1、D2の結合画像データを、津波到達地点における津波高と津波到達時間の組合せに分類する。
The CNN processing unit 34 is, for example, AlexNet type CNN. The CNN processing unit 34 corresponds to a convolutional neural network unit.
The CNN processing unit 34 performs image processing on the image data D, D1, and D2 in each of the RGB channels using a convolutional neural network, and converts the combined image data of the image data D, D1, and D2 into It is classified into a combination of tsunami height and tsunami arrival time at the tsunami arrival point.

学習データ入力部36は、CNN処理部34が参照する畳込みニューラルネットワークの学習処理を行うための学習データを入力する。
<CNN処理部34>
予測装置30が、畳込みニューラルネットワークを用いて、画像データD、D1、D2の結合画像データを、津波到達地点における津波高と津波到達時間の組合せに分類する処理について説明する。
The learning data input unit 36 inputs learning data for performing learning processing of the convolutional neural network referred to by the CNN processing unit 34 .
<CNN processing unit 34>
A process of classifying the combined image data of the image data D, D1, and D2 into combinations of tsunami height and tsunami arrival time at the tsunami arrival point by the prediction device 30 using a convolutional neural network will be described.

図9に示すようにCNN処理部34は、畳込み部70と全結合部80とを有している。畳込み部70は、入力される画像から画像特徴を抽出する処理を施し、全結合部80が、抽出された画像特徴から画像データD、D1、D2の結合画像データを、津波到達地点における津波高と津波到達時間の組合せへの分類を行う。 As shown in FIG. 9 , the CNN processing section 34 has a convolution section 70 and a full coupling section 80 . The convolution unit 70 performs processing for extracting image features from the input image, and the total combining unit 80 converts the combined image data of the image data D, D1, and D2 from the extracted image features to the tsunami at the tsunami arrival point. Classification into combination of height and tsunami arrival time is performed.

畳込み部70は、RGBの3チャンネルを有していて、R画像(画像データD)、G画像(画像データD1)及びB画像(画像データD2)用の画像処理部170、270、370を備えている。 The convolution unit 70 has three RGB channels, and includes image processing units 170, 270 and 370 for R image (image data D), G image (image data D1) and B image (image data D2). I have.

R画像(画像データD)の画像処理部170は、特徴量抽出層170-1、…、170-p(p=1、2、…)の複数の層が階層的に接続された構成となっている。特徴量抽出層170-1、…、170-pは、それぞれ畳込み層(Convolution Layer)172、及びプーリング層(Pooling Layer)173を備える。 The image processing unit 170 for the R image (image data D) has a structure in which a plurality of layers of feature amount extraction layers 170-1, . . . , 170-p (p=1, 2, . ing. The feature quantity extraction layers 170-1, .

第1層目の特徴量抽出層170-1は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、畳込み層172、及びプーリング層173によって特徴量抽出処理を施すことにより、R画像(画像データD)に含まれる特徴量を抽出する。 The feature quantity extraction layer 170-1 of the first layer scans an input image by raster scanning for each predetermined size. Then, the convolution layer 172 and the pooling layer 173 perform feature amount extraction processing on the scanned data, thereby extracting feature amounts included in the R image (image data D).

第2層目の特徴量抽出層(図示しない)は、前階層の特徴量抽出層170-1から入力される画像(以下、「特徴マップ」とも称する)を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、同様に、畳込み層172、及びプーリング層173による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第2層目以下の特徴量抽出層は、第1層目の特徴量抽出層170-1が抽出された複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量が抽出される。 The second feature amount extraction layer (not shown) extracts an image (hereinafter also referred to as a "feature map") input from the previous feature amount extraction layer 170-1, for example, by raster scanning every predetermined size. Scan to Then, the scanned data is similarly subjected to feature quantity extraction processing by the convolution layer 172 and the pooling layer 173, thereby extracting the feature quantity contained in the input image. Note that the feature amount extraction layers below the second layer are integrated while considering the positional relationship of the plurality of feature amounts from which the feature amount extraction layer 170-1 of the first layer is extracted. are extracted.

各特徴量抽出層170-1、…、170-pは、より具体的には、以下のような処理を実行している。畳込み層172は、例えば、走査した所定サイズの画像の各画素値に対して、重み係数(及びバイアス)が設定された特徴抽出フィルターを用いて畳込み演算を行う。そして、畳込み層172は、かかる演算処理を走査の毎に順に実行し、マッピングしていく。そして、畳込み層172は、前階層から入力される画像のそれぞれに対して、当該特徴抽出フィルターを用いて畳込み演算を行い、対応するマッピング位置に加算していくことによって、一の特徴マップを生成する。 More specifically, each feature quantity extraction layer 170-1, . . . , 170-p executes the following processing. The convolution layer 172, for example, performs a convolution operation on each pixel value of a scanned image of a predetermined size using a feature extraction filter in which a weighting factor (and bias) is set. Then, the convolution layer 172 sequentially executes such arithmetic processing for each scanning and performs mapping. Then, the convolution layer 172 performs a convolution operation on each of the images input from the previous layer using the feature extraction filter, and adds them to the corresponding mapping positions to form one feature map. to generate

プーリング層は、前の層が出力する特徴マップに対して、所定サイズ毎(例えば、2×2画素毎)に、最大プーリング関数や平均プーリング関数を適用して、特徴量を圧縮する処理を実行する。 The pooling layer applies a maximum pooling function or an average pooling function to the feature map output by the previous layer for each predetermined size (for example, every 2×2 pixels) to compress the feature amount. do.

各特徴量抽出層170-1、…、170-pは、畳込み層172、及びプーリング層173の一連の処理によって、次階層に出力する特徴マップを生成する。そして、各特徴量抽出層170-1、…、170-pは、重みパターンが異なる複数の特徴抽出フィルターを用いて、上記の処理を実行し、当該複数の特徴抽出フィルターのフィルター数分の特徴マップ(以下、「特徴マップ群」と称する)を生成する。 Each feature extraction layer 170-1, . Then, each feature amount extraction layer 170-1, . A map (hereinafter referred to as "feature map group") is generated.

G画像(画像データD1)の画像処理部270は、特徴量抽出層270-1、…、270-p(p=1、2、…)の複数の層が階層的に接続された構成となっている。特徴量抽出層270-1、…、270-pは、それぞれ畳込み層(Convolution Layer)272、及びプーリング層(Pooling Layer)273を備える。 The image processing unit 270 for the G image (image data D1) has a structure in which a plurality of layers of feature amount extraction layers 270-1, . . . , 270-p (p=1, 2, . ing. The feature quantity extraction layers 270-1, . . . , 270-p include a convolution layer 272 and a pooling layer 273, respectively.

第1層目の特徴量抽出層270-1は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、畳込み層272、及びプーリング層273によって特徴量抽出処理を施すことにより、G画像(画像データD1)に含まれる特徴量を抽出する。 The feature amount extraction layer 270-1 of the first layer scans the input image for each predetermined size by raster scanning. Then, the convolution layer 272 and the pooling layer 273 perform feature amount extraction processing on the scanned data, thereby extracting feature amounts included in the G image (image data D1).

第2層目の特徴量抽出層(図示しない)は、前階層の特徴量抽出層270-1から入力される特徴マップを、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、同様に、畳込み層272、及びプーリング層273による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第2層目以下の特徴量抽出層は、第1層目の特徴量抽出層270-1が抽出された複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量が抽出される。 The second feature quantity extraction layer (not shown) scans the feature map input from the previous feature quantity extraction layer 270-1 by raster scanning, for example, for each predetermined size. Then, the scanned data is similarly subjected to the feature amount extraction processing by the convolution layer 272 and the pooling layer 273, thereby extracting the feature amount included in the input image. Note that the feature amount extraction layers below the second layer are integrated while considering the positional relationship of the plurality of feature amounts extracted by the feature amount extraction layer 270-1 of the first layer. are extracted.

各特徴量抽出層270-1、…、270-pの具体的な処理は、特徴量抽出層170-1、…、170-pと同様であるため、説明を省略する。
B画像(画像データD2)の画像処理部370は、特徴量抽出層370-1、…、370-p(p=1、2、…)の複数の層が階層的に接続された構成となっている。特徴量抽出層370-1、…、370-pは、それぞれ畳込み層(Convolution Layer)372、及びプーリング層(Pooling Layer)373を備える。
, 270-p are the same as those of the feature amount extraction layers 170-1, .
The image processing unit 370 for the B image (image data D2) has a structure in which a plurality of layers of feature amount extraction layers 370-1, . . . , 370-p (p=1, 2, . ing. The feature quantity extraction layers 370-1, . . . , 370-p include a convolution layer 372 and a pooling layer 373 respectively.

第1層目の特徴量抽出層370-1は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、畳込み層372、及びプーリング層373によって特徴量抽出処理を施すことにより、B画像(画像データD2)に含まれる特徴量を抽出する。 The feature quantity extraction layer 370-1 of the first layer scans an input image for each predetermined size by raster scanning. Then, the convolution layer 372 and the pooling layer 373 perform feature amount extraction processing on the scanned data, thereby extracting feature amounts included in the B image (image data D2).

第2層目の特徴量抽出層(図示しない)は、前階層の特徴量抽出層370-1から入力される特徴マップを、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、同様に、畳込み層372、及びプーリング層373による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第2層目以下の特徴量抽出層は、第1層目の特徴量抽出層370-1が抽出された複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量が抽出される。 The second feature amount extraction layer (not shown) scans the feature map input from the previous layer feature amount extraction layer 370-1, for example, by raster scanning every predetermined size. Then, the scanned data is similarly subjected to the feature amount extraction processing by the convolution layer 372 and the pooling layer 373, thereby extracting the feature amount included in the input image. Note that the feature amount extraction layers below the second layer are integrated while considering the positional relationship of the plurality of feature amounts from which the feature amount extraction layer 370-1 of the first layer is extracted. are extracted.

各特徴量抽出層370-1、…、370-pの具体的な処理は、特徴量抽出層170-1、…、170-pと同様であるため、説明を省略する。
なお、RGBの各チャンネルにおいて、畳込み層とプーリング層との間に活性化層があってもよい。この場合、活性化層は、畳込み層による畳込み演算後の特徴マップの各画素の画素値に対して、例えば、周知のロジスティックシグモイド関数やReLU関数(Rectified Linear Units)等を適用する処理を実行する。
, 370-p are the same as those of the feature extraction layers 170-1, .
Note that an activation layer may be provided between the convolution layer and the pooling layer in each of the RGB channels. In this case, the activation layer applies, for example, a well-known logistic sigmoid function, ReLU function (Rectified Linear Units), etc. to the pixel value of each pixel of the feature map after the convolution operation by the convolution layer. Execute.

上記のようにして、畳込み部70は、RGBの各チャンネルにおいて、階層的に接続された複数の特徴量抽出層170-1、…、170-p、270-1…、270-p、370-1…、370-pによる特徴抽出処理を繰り返すことで、画像内の被写体の種々の特徴量を高次元に抽出していく。そして、畳込み部70は、複数の特徴量抽出層170-p、270-p、370-pの最後の層が生成する特徴マップ群を最終的な演算結果として、連結部75を介して全結合部80に出力する。 , 170-p, 270-1 . -1 . . . , 370-p are repeated to extract various feature amounts of the subject in the image at high dimensions. Then, the convolution unit 70 uses the feature map group generated by the last layer of the plurality of feature quantity extraction layers 170-p, 270-p, and 370-p as the final calculation result, and all Output to the combining unit 80 .

全結合部80は、例えば、複数の全結合層80-1、…、80-q(Fully Connected)が階層的に接続された多層パーセプトロンによって構成される。なお、q=1、2、…である。 The fully connected section 80 is composed of, for example, a multilayer perceptron in which a plurality of fully connected layers 80-1, . . . , 80-q (fully connected) are hierarchically connected. Note that q=1, 2, . . .

全結合部80の入力側の全結合層は、連結部75から取得した特徴マップ群の各値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行って出力する。なお、全結合部80の入力側の全結合層は、特徴マップ群の各値を特徴量ベクトルに変換するべく、特徴マップ群の各値と同数の素子が設けられる。 The fully-connected layer on the input side of the fully-connecting unit 80 fully connects to each value of the feature map group acquired from the connecting unit 75, performs a sum-of-products operation on the result of the connection while varying the weight coefficient, and outputs the result. . The fully connected layer on the input side of the fully connected unit 80 is provided with the same number of elements as the values of the feature map group in order to convert each value of the feature map group into a feature quantity vector.

全結合層80-1の次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行う。全結合部80は、かかる処理によって、画像から得られる特徴に基づいて、画像内の識別対象の分類項目の識別結果を出力する。以下同様にして、下位の階層の全結合層80-qは、画像内の識別対象の分類項目の識別結果を出力する。 The fully-connected layer next to the fully-connected layer 80-1 is fully connected to the values output by the elements of the previous fully-connected layer, and performs the sum-of-products operation on the result of the connection while varying the weight coefficients. . Through such processing, the full combining unit 80 outputs the identification result of the classification item to be identified in the image based on the features obtained from the image. Similarly, the fully connected layer 80-q in the lower hierarchy outputs the identification result of the classification item to be identified in the image.

なお、全結合部80は、例えば、多層パーセプトロンの出力層の各素子からの出力値に対して、ソフトマックス部81において、ソフトマックス関数等を適用する処理を実行し、複数の分類項目のうち、該当する分類項目について、積和演算による演算結果の値が大きくなるように分類結果を出力部82に出力する。すなわち、海洋レーダ20からのデータに基づく測定津波流速分布画像を、津波到達地点における到達時間及びその到達地点での津波高との組合せに分類する。 Note that the total coupling unit 80, for example, executes a process of applying a softmax function or the like in the softmax unit 81 to the output value from each element of the output layer of the multi-layer perceptron, and selects , the classification result is output to the output unit 82 so that the value of the calculation result by the sum-of-products calculation becomes large for the applicable classification item. That is, the measured tsunami velocity distribution image based on the data from the ocean radar 20 is classified into a combination of arrival time at the tsunami arrival point and tsunami height at the arrival point.

畳込みニューラルネットワークは、正解である学習データを付した画像を用いて学習処理が施されることによって、ネットワークパラメータ(例えば、畳込み層の重み係数及びバイアス、全結合層の重み係数及びバイアス)が調整され、上記のように機能する。 A convolutional neural network is subjected to learning processing using an image attached with learning data that is a correct answer, so that network parameters (for example, weighting coefficients and biases of convolutional layers, weighting coefficients and biases of fully connected layers) is adjusted and works as above.

(実施形態の作用)
上記のように構成された予測システム10の作用を説明する。
<予測装置30の学習>
学習データは、シミュレータで予め作成されており、海洋レーダ20の視線Lnにおける分割領域(観測点)P(n,m)における流速のデータである。
(Action of Embodiment)
The operation of the prediction system 10 configured as described above will be described.
<Learning of prediction device 30>
The learning data is created in advance by the simulator, and is data of the flow velocity in the divided area (observation point) P(n,m) in the line of sight Ln of the marine radar 20 .

すなわち、学習データは、津波をできるだけ沖で検知するために、第1波であるLeadingWaveを前記シミュレータで作成したものであり、本システムでは、この第1波であるLeadingWaveの津波高及び津波到達時間を予測するものである。なお、このLeading Waveは孤立波であり、水平方向の流速分布は、とくに伝播方向において、孤立波の前面で、流速が激しく変化する特徴をもつ。 That is, the learning data is the first wave, Leading Wave, created by the simulator in order to detect the tsunami as far offshore as possible. is predicted. This Leading Wave is a solitary wave, and the horizontal flow velocity distribution is characterized by a drastic change in flow velocity at the front of the solitary wave, especially in the direction of propagation.

学習データは、各分割領域において、津波到達時間から1,2、3、……、20数分前の流速が含まれている。ここで各分割領域の津波の流速が知られた場合、該流速に基づいて各分割領域における津波高を、公知の方法で算出が可能である。なお、津波高はその観測地域の海底の地形、沿岸流等の影響を受けるが、経験則等を踏まえた上で算出が可能である。 The learning data includes flow velocities 1, 2, 3, . Here, when the tsunami flow velocity in each divided area is known, the tsunami height in each divided area can be calculated by a known method based on the flow velocity. Although the tsunami height is affected by the topography of the seafloor in the observation area, coastal currents, etc., it can be calculated based on empirical rules.

学習データは、図10に示すように、津波発生から津波到達地点(本実施形態では、送受信アンテナ22に最も近い海岸)に到達するまでの1分毎のデータであって、視線Ln(図10では、視線No.)と、観測点P(n,m)(図10では、観測点No.)のマトリックスからなり、分割領域に相当する各欄には、流速が埋め込まれている。 The learning data, as shown in FIG. 10, is data every minute from the occurrence of the tsunami until it reaches the tsunami arrival point (the coast closest to the transmitting/receiving antenna 22 in this embodiment), and is the line of sight Ln ( ) and observation point P(n,m) (observation point No. in FIG. 10), and the flow velocity is embedded in each column corresponding to the divided area.

本実施形態の学習データは、津波高が、1m未満~22m超えの津波高を有するm単位毎の種々の高さの津波高に関して、津波発生から前記津波到達地点までの1分毎のデータとなっている。 The learning data of the present embodiment is data every minute from the occurrence of the tsunami to the arrival point of the tsunami, with respect to tsunami heights of various heights in units of m, including tsunami heights of less than 1 m to more than 22 m. It's becoming

図4~図7は、上記データを、送受信アンテナ22で観測したと同様の例であって、20mを超える津波高を有する津波が発生し、前記津波到達地点に到達するまでの一例を示している。 4 to 7 show examples similar to those observed by the transmitting/receiving antenna 22 of the above data, showing an example from the occurrence of a tsunami with a tsunami height exceeding 20 m until reaching the tsunami arrival point. there is

図4は、津波高20mを超える津波が視線L1上の分割領域P(1,20)に達した状態を示している。図5は、図4の状態から数分後に津波高20mを超える津波が同じく視線L1上の分割領域P(1,16)に到達した状態を示している。図6は、図5の状態から数分後に津波高20mを超える津波が同じく視線L1上の分割領域P(1,8)に到達した状態を示している。図7は、図6の状態から数分後に津波高20mを超える津波が同じく視線L1上の分割領域P(1,1)に到達した状態を示している。 FIG. 4 shows a state in which a tsunami with a tsunami height exceeding 20 m reaches the divided area P(1,20) on the line of sight L1. FIG. 5 shows a state in which a tsunami with a tsunami height exceeding 20 m reaches the divided area P (1, 16) on the line of sight L1 several minutes after the state in FIG. FIG. 6 shows a state in which a tsunami with a tsunami height exceeding 20 m reaches the divided area P(1,8) on the line of sight L1 several minutes after the state in FIG. FIG. 7 shows a state in which a tsunami with a tsunami height exceeding 20 m reaches the divided area P(1,1) on the line of sight L1 several minutes after the state in FIG.

なお、図4~図7では、他の分割領域における津波については、説明の便宜上、省略して図示されている。
上記のように、津波高が、1m未満~22m超えの津波高(H)を有する津波に関して作成された学習データは、津波が発生した時刻から津波到達地点に到達するまでの経過時間(T)順に学習データ入力部36から学習部35に入力される。学習部35は、入力された学習データを流速分布画像生成部31に入力し、正規化部32及び前処理部33を介して生成されたデータを、図11のように津波到達地点における津波到達時間T及びその到達地点での津波高Hとの組合せに基づくラベルをCNN処理部34で深層学習させる。
4 to 7, tsunamis in other divided regions are omitted for convenience of explanation.
As described above, the learning data created for a tsunami with a tsunami height (H) of less than 1m to over 22m is the elapsed time (T) The data are sequentially input from the learning data input unit 36 to the learning unit 35 . The learning unit 35 inputs the input learning data to the flow velocity distribution image generation unit 31, and converts the data generated through the normalization unit 32 and the preprocessing unit 33 to the tsunami arrival point at the tsunami arrival point as shown in FIG. The CNN processing unit 34 deep-learns labels based on combinations of the time T and the tsunami height H at the arrival point.

図11では、津波高Hは、H<1m、H<2m、…、H<20m、H>22mの項目と、津波到達時間Tが1分~22分の分毎に区分された項目との組合せの各欄に、1~374の分類が示されている。 In FIG. 11, the tsunami height H is divided into items of H<1m, H<2m, . Each column of combinations shows a classification from 1 to 374.

いずれかの分類結果が出力部82に入力されると、出力部82は、この分類結果に基づいて、津波到達地点における津波到達時間T及びその到達地点での津波高Hとの組合せを表示装置50に表示させる。 When one of the classification results is input to the output unit 82, the output unit 82 displays a combination of the tsunami arrival time T at the tsunami arrival point and the tsunami height H at the arrival point based on this classification result. Display at 50.

従って、CNN処理部34は、学習データ(学習用)に基づく津波流速分布画像に基づいて、その学習データが、正解となるかを学習する。CNN処理部34は、1回目の学習を最初の学習データから始めて全ての学習データが使用されたときに学習を終了する。 Therefore, the CNN processing unit 34 learns whether the learning data is correct based on the tsunami flow velocity distribution image based on the learning data (for learning). The CNN processing unit 34 starts the first learning from the first learning data and ends the learning when all the learning data are used.

ここで、前記正解が、実際の津波到達地点における津波到達時間T及びその到達地点での津波高Hとの組合せの分類結果と異なっていれば、学習部35は、ネットワークパラメータ(例えば、畳込み層の重み係数及びバイアス、全結合層の重み係数及びバイアス)を更新する。この深層学習における更新は、前記正解が、実際の津波到達地点における津波到達時間T及びその到達地点での津波高Hとの組合せの分類結果と合致するまで学習部35により、繰り返される。 Here, if the correct answer differs from the classification result of the combination of the tsunami arrival time T at the actual tsunami arrival point and the tsunami height H at the arrival point, the learning unit 35 uses network parameters (for example, convolution Update layer weighting factors and biases, fully connected layer weighting factors and biases). This update in deep learning is repeated by the learning unit 35 until the correct answer matches the classification result of the combination of the tsunami arrival time T at the actual tsunami arrival point and the tsunami height H at the arrival point.

ここで、特徴的なのは、前処理部33からは、CNN処理部34に出力する画像データは、最新の画像データD、最新の画像データの1分前に成形した画像データD1、及び最新のデータの2分前に成形した画像データD2を、前記バッファから読み出し、それぞれRGBの画像データとして、CNN処理部34に出力することである。 Here, it is characteristic that the image data output from the preprocessing unit 33 to the CNN processing unit 34 is the latest image data D, the image data D1 formed one minute before the latest image data, and the latest data The image data D2 formed two minutes before is read from the buffer and output to the CNN processing unit 34 as RGB image data.

この結果、CNN処理部34は、3つの画像データによって時間変化を認識することができ、CNN処理部34の分類精度を向上させている。なお、学習データが供給開始される前のCNN処理部34は、新規データセットを用意し、伝搬関数を制御してチューニングするものである。 As a result, the CNN processing unit 34 can recognize the time change by the three image data, and the classification accuracy of the CNN processing unit 34 is improved. Note that the CNN processing unit 34 before the supply of learning data is started prepares a new data set and controls and tunes the propagation function.

<予測システム10の実際の観測>
上記のように学習データによる深層学習の学習が終了した予測装置30の作用について説明する。
<Actual Observation of Prediction System 10>
The operation of the prediction device 30 after completing the deep learning using the learning data as described above will be described.

図1、図2(a)に示すように予測装置30は、海洋レーダ20が観測する全領域について各分割領域の流速を入力すると、流速分布画像生成部31が各分割領域の流速を、画像データとして流速分布画像を生成し、正規化部32に出力する。実際の観測結果に基づいて作成された流速分布画像は、測定津波流速分布画像に相当する。 As shown in FIGS. 1 and 2(a), the prediction device 30 inputs the flow velocity of each divided area for the entire area observed by the ocean radar 20, and the flow velocity distribution image generator 31 generates the flow velocity of each divided area as an image. A flow velocity distribution image is generated as data and output to the normalization unit 32 . The current velocity distribution image created based on the actual observation results corresponds to the measured tsunami current velocity distribution image.

図8に示す正規化部32は、流速分布画像生成部31から出力された画像データの輝度(流速)を例えば、min-max法で、正規化し、前処理部33に正規化後のデータを前処理部33に出力する。 The normalization unit 32 shown in FIG. 8 normalizes the brightness (flow velocity) of the image data output from the flow velocity distribution image generation unit 31 by, for example, the min-max method, and supplies the normalized data to the preprocessing unit 33. Output to the preprocessing unit 33 .

前処理部33は、画像データの大きさ(縦×横)を所定の大きさに成形する。すなわち、正規化部32から入力される縦n×横mの大きさの画像データを、縦N×横Mの大きさとなるように0でパディングし、図示しないバッファに格納する。そして、前処理部33は、上記のように成形した画像データの内、最新の画像データD、最新の画像データの1分前に成形した画像データD1、及び最新のデータの2分前に成形した画像データD2を、前記バッファから読み出し、それぞれRGBの画像データとして、CNN処理部34に出力する。 The preprocessing unit 33 shapes the size (length x width) of the image data to a predetermined size. That is, the image data having a size of n (vertical)×m (horizontal) input from the normalization unit 32 is padded with 0 so as to have a size of N (vertical)×M (horizontal), and is stored in a buffer (not shown). Then, the preprocessing unit 33 forms the latest image data D, the image data D1 formed one minute before the latest image data, and the image data D1 formed two minutes before the latest image data among the image data formed as described above. The resulting image data D2 is read out from the buffer and output to the CNN processing unit 34 as RGB image data.

図9に示すCNN処理部34の畳込み部70は、RGBの各チャンネルにおいて、階層的に接続された複数の特徴量抽出層170-1、…、170-p、270-1、…、270-p、370-1、…、370-pによる特徴抽出処理を繰り返すことで、画像内の被写体の種々の特徴量を高次元に抽出していく。そして、畳込み部70は、複数の特徴量抽出層170-p、270-p、370-pの最後の層が生成する特徴マップ群を最終的な演算結果として、連結部75を介して全結合部80に出力する。 The convolution unit 70 of the CNN processing unit 34 shown in FIG. 9 includes a plurality of hierarchically connected feature amount extraction layers 170-1, . -p, 370-1, . Then, the convolution unit 70 uses the feature map group generated by the last layer of the plurality of feature quantity extraction layers 170-p, 270-p, and 370-p as the final calculation result, and all Output to the combining unit 80 .

全結合部80は、各階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行う。全結合部80は、かかる処理によって、画像から得られる特徴に基づいて、画像内の識別対象の分類項目の識別結果をソフトマックス部81に出力する。 The fully-connected unit 80 fully-connects the fully-connected layer of each hierarchy to the values output by the elements of the fully-connected layer of the previous hierarchy, and performs a sum-of-products operation on the result of the connection while varying the weighting factor. Through such processing, the full combining unit 80 outputs to the softmax unit 81 the identification result of the classification item to be identified in the image based on the features obtained from the image.

そして、ソフトマックス部81は、その出力値に対して、ソフトマックス関数等を適用する処理を実行し、複数の分類項目のうち、該当する分類項目について、積和演算による演算結果の値が大きくなるように分類結果を出力部82に出力する。出力部82は、分類結果に基づいて、津波到達地点における津波到達時間T及びその到達地点での津波高Hとの組合せを表示装置50に表示させる。 Then, the softmax unit 81 executes a process of applying a softmax function or the like to the output value, and for the corresponding classification item among the plurality of classification items, the value of the calculation result by the sum-of-products calculation is large. The classification result is output to the output unit 82 so that Based on the classification result, the output unit 82 causes the display device 50 to display a combination of the tsunami arrival time T at the tsunami arrival point and the tsunami height H at the arrival point.

このように、本実施形態では、海洋レーダ20の観測結果に基づいて経時的に連続する3つの測定津波流速分布画像を生成することにより、この測定津波流速分布画像中の最新の測定津波流速分布画像を、津波到達地点(所定地点)に達するときの津波の到達時間及び津波高との組合せに分類できる。この結果、早期に津波の到達地点の津波到達時間及び津波高を知ることができる。 As described above, in this embodiment, by generating three chronologically continuous measured tsunami current velocity distribution images based on the observation results of the ocean radar 20, the latest measured tsunami current velocity distribution in the measured tsunami current velocity distribution images Images can be classified into combinations of tsunami arrival time and tsunami height when reaching a tsunami arrival point (predetermined point). As a result, the tsunami arrival time and tsunami height at the arrival point of the tsunami can be known at an early stage.

なお、本明細書における「経時的に連続する」とは、本実施形態のように海洋レーダ20の観測データは、秒毎に得られるが、前処理部33において、画像データD、D1、D2の時間間隔(例えば1分間隔)をあけている場合だけを意味するのではない。 It should be noted that the term “continuous over time” in this specification means that the observation data of the ocean radar 20 is obtained every second as in the present embodiment, but the image data D, D1, D2 (for example, one minute apart).

例えば、海洋レーダ20の観測データが、秒毎ではなく、分間隔、或いは数十秒間隔である場合は、前処理部33において、画像データD、D1、D2の時間間隔をその分間隔、或いは数十秒間隔をあけている場合も含む。 For example, if the observation data of the ocean radar 20 is not every second but every minute or several tens of seconds, the preprocessing unit 33 changes the time intervals of the image data D, D1, and D2 to the minutes or This includes the case where there is an interval of several tens of seconds.

本実施形態では、下記の特徴を有する。
(1)本実施形態の予測システム10は、海洋レーダ20の観測結果に基づいて経時的に連続する3つの測定津波流速分布画像を生成する流速分布画像生成部31を備えている。また、予測システム10は、CNN処理部34(畳込みニューラルネットワーク部)は、3つの測定津波流速分布画像に基づいて、該3つの測定津波流速分布画像中、最新の測定津波流速分布画像を、津波到達地点(所定地点)に達するときの津波の到達時間及び津波高との組合せに分類する。
This embodiment has the following features.
(1) The prediction system 10 of this embodiment includes a flow velocity distribution image generator 31 that generates three chronologically continuous measured tsunami flow velocity distribution images based on the observation results of the ocean radar 20 . In addition, in the prediction system 10, the CNN processing unit 34 (convolutional neural network unit) selects the latest measured tsunami current velocity distribution image among the three measured tsunami current velocity distribution images based on the three measured tsunami current velocity distribution images, The tsunami arrival time at the tsunami arrival point (predetermined point) and the combination of the tsunami height are classified.

この結果、分類するまでの計算が簡略化され、波到達地点の津波高及び津波到達時間の計算時間を短縮化するとともに誤差の発生を少なくできる効果を奏する。また、本実施形態では、畳込みニューラルネットワーク技術により、事前学習させておくことから、本システムに入力した観測データは瞬時に分類判別を行うことができる。また、事前に数多くの検証を行うことにより、津波到達時間と到達時の津波高の精度を検証でき、津波判定の誤差も把握できる。 As a result, the calculation up to the classification is simplified, and the calculation time for the tsunami height at the wave arrival point and the tsunami arrival time is shortened, and the occurrence of errors can be reduced. In addition, in this embodiment, since pre-learning is performed using convolutional neural network technology, observation data input to this system can be instantly classified and discriminated. In addition, by performing many verifications in advance, it is possible to verify the accuracy of the tsunami arrival time and tsunami height at the time of arrival, and to understand the error in tsunami judgment.

(2)本実施形態の予測システム10では、3つの測定津波流速分布画像は、1分間隔としている。この結果、CNN処理部34(畳込みニューラルネットワーク部)は3つの画像データによって時間変化を認識することができ、CNN処理部34の分類精度を向上させることができる。 (2) In the prediction system 10 of this embodiment, the three measured tsunami current velocity distribution images are taken at intervals of one minute. As a result, the CNN processing unit 34 (convolutional neural network unit) can recognize temporal changes from the three image data, and the classification accuracy of the CNN processing unit 34 can be improved.

(3)本実施形態の予測システム10では、所定地点を、海洋レーダ20の送受信アンテナの設置点としている。この結果、送受信アンテナへ向かう津波の津波到達時間及び津波高について、上記(1)の効果を容易に得ることができる。 (3) In the prediction system 10 of the present embodiment, the predetermined point is the installation point of the transmitting/receiving antenna of the marine radar 20 . As a result, the above effect (1) can be easily obtained with respect to the tsunami arrival time and tsunami height toward the transmitting/receiving antenna.

(4)本実施形態の予測システム10では、3つの測定津波流速分布画像は、CNN処理部34(畳込みニューラルネットワーク部)のRGBの3チャンネルにそれぞれ入力されるようにしている。畳込みニューラルネットワーク部として、カラー画像を入力する畳込みニューラルネットワークを利用することができる。 (4) In the prediction system 10 of the present embodiment, the three measured tsunami current velocity distribution images are input to three RGB channels of the CNN processing section 34 (convolutional neural network section). A convolutional neural network for inputting a color image can be used as the convolutional neural network unit.

なお、本発明の実施形態は前記実施形態に限定されるものではなく、下記のように変更しても良い。
・畳込みニューラルネットワーク部として、AlexNet型CNNとしたが、限定するものではない。例えば、畳込みニューラルネットワーク部として、下記の畳込みニューラルネットワークとしてもよい。
In addition, the embodiment of the present invention is not limited to the above embodiment, and may be modified as follows.
-Although AlexNet type CNN is used as the convolutional neural network unit, it is not limited to this. For example, the following convolutional neural network may be used as the convolutional neural network unit.

BN-AlexNet、BN-NIN、ENeT、GoogleNET、ResNet-18、VGG-16、ResNet-50、ResNet-101、inception-v3、inception-v4。 BN-AlexNet, BN-NIN, ENet, GoogleNET, ResNet-18, VGG-16, ResNet-50, ResNet-101, inception-v3, inception-v4.

・前記実施形態では、3つの測定津波流速分布画像は、1分間隔としたが、1分間隔に限定するものではない。例えば、30秒間隔等の数十秒間隔であってもよく、限定するものではない。 - In the above embodiment, three measured tsunami current velocity distribution images are taken at intervals of one minute, but the interval is not limited to one minute. For example, an interval of several tens of seconds, such as an interval of 30 seconds, may be used, and is not limited.

10…予測システム、
20…海洋レーダ、22…送受信アンテナ、24…送受信部、
26…信号処理部、28…演算部、30…予測装置、
31…流速分布画像生成部、32…正規化部、33…前処理部、
34…CNN処理部、35…学習部、36…学習データ入力部、
37…CPU、38…ROM、39…RAM、40…外部記憶装置、
41…通信インターフェイス、60…統合処理部、70…畳込み部、
80…全結合部、80-1、…、80-q…全結合層、82…出力部、
170…画像処理部、170-1、…、170-p…特徴量抽出層、
172…畳込み層、173…プーリング層、
270…画像処理部、270-1、…、270-p…特徴量抽出層、
272…畳込み層、273…プーリング層、
370…画像処理部、370-1、…、370-p…特徴量抽出層、
372…畳込み層、373…プーリング層。
10 ... prediction system,
20... marine radar, 22... transmitting/receiving antenna, 24... transmitting/receiving section,
26... Signal processing unit, 28... Calculation unit, 30... Prediction device,
31... flow velocity distribution image generation unit, 32... normalization unit, 33... preprocessing unit,
34... CNN processing unit, 35... learning unit, 36... learning data input unit,
37...CPU, 38...ROM, 39...RAM, 40...external storage device,
41... communication interface, 60... integration processing unit, 70... convolution unit,
80... fully connected section, 80-1, ..., 80-q... fully connected layer, 82... output section,
170... image processing unit, 170-1,..., 170-p... feature quantity extraction layer,
172... convolution layer, 173... pooling layer,
270... image processing unit, 270-1,..., 270-p... feature quantity extraction layer,
272... convolution layer, 273... pooling layer,
370... image processing unit, 370-1,..., 370-p... feature quantity extraction layer,
372... convolution layer, 373... pooling layer.

Claims (4)

学習用の津波流速分布画像を予め学習して、測定津波流速分布画像を、津波が所定地点に達するときの津波到達時間及び津波高の組合せに分類する畳込みニューラルネットワーク部を備えた津波高及び津波到達時間予測システムであって、
海洋レーダの観測結果に基づいて経時的に連続する3つの測定津波流速分布画像を生成する流速分布画像生成部を備え、
前記畳込みニューラルネットワーク部は、前記3つの測定津波流速分布画像の各特徴量を抽出し、前記各特徴量を全て結合した結合結果に基づいて、該3つの測定津波流速分布画像中、最新の測定津波流速分布画像を、前記所定地点に達するときの津波の到達時間及び津波高との組合せに分類する津波高及び津波到達時間予測システム。
Tsunami height and height with a convolutional neural network unit that pre-learns tsunami velocity distribution images for learning and classifies measured tsunami velocity distribution images into combinations of tsunami arrival time and tsunami height when the tsunami reaches a predetermined point. A tsunami arrival time prediction system,
Equipped with a current velocity distribution image generation unit that generates three chronologically continuous measured tsunami current velocity distribution images based on the observation results of the ocean radar,
The convolutional neural network unit extracts each feature quantity of the three measured tsunami flow velocity distribution images, and based on the result of combining all the feature quantities , the latest A tsunami height and tsunami arrival time prediction system that classifies the measured tsunami current velocity distribution image into a combination of tsunami arrival time and tsunami height when reaching the predetermined point.
前記3つの測定津波流速分布画像は、1分間隔である請求項1に記載の津波高及び津波到達時間予測システム。 The tsunami height and tsunami arrival time prediction system according to claim 1, wherein the three measured tsunami velocity distribution images are spaced one minute apart. 前記所定地点は、前記海洋レーダの送受信アンテナの設置点である請求項1または請求項2に記載の津波高及び津波到達時間予測システム。 The tsunami height and tsunami arrival time prediction system according to claim 1 or 2, wherein said predetermined point is an installation point of a transmitting/receiving antenna of said marine radar. 前記3つの測定津波流速分布画像は、前記畳込みニューラルネットワーク部のRGBの3チャンネルにそれぞれ入力されるものである請求項1乃至請求項3のうちいずれか1項に記載の津波高及び津波到達時間予測システム。 The tsunami height and tsunami arrival according to any one of claims 1 to 3, wherein the three measured tsunami current velocity distribution images are respectively input to three channels of RGB of the convolutional neural network unit. time prediction system.
JP2019074842A 2019-04-10 2019-04-10 Tsunami height and tsunami arrival time prediction system Active JP7265915B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019074842A JP7265915B2 (en) 2019-04-10 2019-04-10 Tsunami height and tsunami arrival time prediction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019074842A JP7265915B2 (en) 2019-04-10 2019-04-10 Tsunami height and tsunami arrival time prediction system

Publications (2)

Publication Number Publication Date
JP2020173160A JP2020173160A (en) 2020-10-22
JP7265915B2 true JP7265915B2 (en) 2023-04-27

Family

ID=72831002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019074842A Active JP7265915B2 (en) 2019-04-10 2019-04-10 Tsunami height and tsunami arrival time prediction system

Country Status (1)

Country Link
JP (1) JP7265915B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229449B1 (en) * 2021-01-29 2023-02-27 三菱電機株式会社 Inundation depth prediction device, inundation depth prediction learning device, inundation depth prediction method, and inundation depth prediction learning method
WO2023100342A1 (en) 2021-12-03 2023-06-08 三菱電機株式会社 Tsunami learning device, tsunami learning method, tsunami prediction device, and tsunami prediction method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018291A (en) 2005-07-08 2007-01-25 Port & Airport Research Institute Tsunami information provision method and tsunami information provision system
KR101610595B1 (en) 2015-07-16 2016-04-07 김승우 Expedient Storm Surges Prediction System and Method
JP2016085206A (en) 2014-10-22 2016-05-19 三菱電機株式会社 Tsunami monitoring system
JP2017208082A (en) 2016-04-27 2017-11-24 コダー オーシャン センサーズ リミテッド Coastal HF radar system for tsunami warning
JP2018165948A (en) 2017-03-28 2018-10-25 国立大学法人神戸大学 Image recognition device, image recognition method, computer program, and product monitoring system
JP2018173944A (en) 2017-03-30 2018-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information processor and information processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018291A (en) 2005-07-08 2007-01-25 Port & Airport Research Institute Tsunami information provision method and tsunami information provision system
JP2016085206A (en) 2014-10-22 2016-05-19 三菱電機株式会社 Tsunami monitoring system
KR101610595B1 (en) 2015-07-16 2016-04-07 김승우 Expedient Storm Surges Prediction System and Method
JP2017208082A (en) 2016-04-27 2017-11-24 コダー オーシャン センサーズ リミテッド Coastal HF radar system for tsunami warning
JP2018165948A (en) 2017-03-28 2018-10-25 国立大学法人神戸大学 Image recognition device, image recognition method, computer program, and product monitoring system
JP2018173944A (en) 2017-03-30 2018-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information processor and information processing method

Also Published As

Publication number Publication date
JP2020173160A (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN109478239B (en) Method for detecting object in image and object detection system
CN110472627B (en) End-to-end SAR image recognition method, device and storage medium
CN108460382A (en) Remote sensing image Ship Detection based on deep learning single step detector
CN101189641A (en) Method for coding pixels or voxels of a digital image and a method for processing digital images
KR102039397B1 (en) Visual Question Answering Apparatus for Explaining Reasoning Process and Method Thereof
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
Pratola et al. Toward fully automatic detection of changes in suburban areas from VHR SAR images by combining multiple neural-network models
JP7265915B2 (en) Tsunami height and tsunami arrival time prediction system
US20220101628A1 (en) Object detection and recognition device, method, and program
Villar et al. Evaluation of an efficient approach for target tracking from acoustic imagery for the perception system of an autonomous underwater vehicle
US20200410297A1 (en) Method for determining a confidence value of a detected object
EP3671555A1 (en) Object shape regression using wasserstein distance
AU2020219867A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
CN111028327A (en) Three-dimensional point cloud processing method, device and equipment
CN112889090A (en) System and method for performing modeling and control of a physical dynamic system using artificial intelligence
CN112733875A (en) Apparatus and method for generating synthetic data in a generating network
Van Komen et al. Seabed type and source parameters predictions using ship spectrograms in convolutional neural networks
KR20190061538A (en) Method and apparatus of recognizing motion pattern base on combination of multi-model
CN116128883A (en) Photovoltaic panel quantity counting method and device, electronic equipment and storage medium
Periyasamy et al. How to get the most out of u-net for glacier calving front segmentation
CN110490061A (en) A kind of uncertainties model and measure of characteristics of remote sensing image
CN117576724A (en) Unmanned plane bird detection method, system, equipment and medium
Liang et al. MVCNN: A Deep Learning-Based Ocean–Land Waveform Classification Network for Single-Wavelength LiDAR Bathymetry
CN114998194A (en) Product defect detection method, system and storage medium
Narayanan et al. Classification of SHOALS 3000 bathymetric LiDAR signals using decision tree and ensemble techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7265915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150