CN111462230A - 一种基于深度强化学习的台风中心定位方法 - Google Patents

一种基于深度强化学习的台风中心定位方法 Download PDF

Info

Publication number
CN111462230A
CN111462230A CN202010100387.3A CN202010100387A CN111462230A CN 111462230 A CN111462230 A CN 111462230A CN 202010100387 A CN202010100387 A CN 202010100387A CN 111462230 A CN111462230 A CN 111462230A
Authority
CN
China
Prior art keywords
typhoon
search
center
search box
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010100387.3A
Other languages
English (en)
Other versions
CN111462230B (zh
Inventor
王萍
宗露露
侯谨毅
陈皓一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010100387.3A priority Critical patent/CN111462230B/zh
Publication of CN111462230A publication Critical patent/CN111462230A/zh
Application granted granted Critical
Publication of CN111462230B publication Critical patent/CN111462230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度强化学习的台风中心定位方法，该方法结合了深度学习的感知能力和强化学习的决策能力，把台风中心定位问题转化为在卫星云图上利用搜索框搜索台风中心的一系列决策行为，将搜索过程使用马尔可夫决策过程建模，通过深度强化学习算法训练一个智能体学习使用简单的操作来移动和减小搜索框，使搜索框的中心不断靠近真实台风中心，进而实现台风中心自主定位。本发明方法实现了对不同等级和不同形态的台风检测及中心定位，并通过实验验证了本方法的有效性。

Description

一种基于深度强化学习的台风中心定位方法
技术领域
本发明涉及气象学以及机器学习领域，特别涉及一种基于深度强化学习的台风中心定位方法。
背景技术
台风是一种深厚的低气压涡旋状云系，多发生于热带和副热带海洋上。台风具有突发性强、破坏力大的特点，不仅对航空航海活动造成巨大的影响和灾难，登陆后还会在人员聚集的陆地造成重大的经济损失和人员伤亡[1]。台风中心定位是分析预报台风、降低台风灾害的重要环节和关键技术，其定位精度与台风路径的确定及台风路径的预测及其带来的雷雨大风的预报质量密切相关，因此对台风中心定位技术的研究是台风精准预测预报及减灾精细化科学分析中的最基本而又最重要的工作。
气象卫星具有覆盖范围广、时空分辨率高，抗恶劣天气能力强的特点，是全天候监测台风的主要工具。在利用气象卫星实现台风中心定位的方法中，一方面一些学者从台风云形特点的角度出发，Dvorak提出利用云形特点将台风分为不同模式来估计台风中心的模式匹配方法[2]；冯民学等人利用数学形态学方法得到台风云系的若干连通域，用以得到成熟期有眼台风的眼区候选中心[3]；谢俊元等人利用提取的云带轴线拟合台风螺旋，将螺旋线的数学模型中心作为台风中心[4]；另一方面，一些学者从卫星云图时序信息的角度出发，Schemetz等[5]基于卫星云图时序信息可以反演出风场变化的矢量图，通过分析云导风矢量与云系运动变化的关系来确定台风中心；Hasler[6]等将台风云系的非刚性运动用半流形场进行模拟，提出基于云系特征追踪的半流场分析法分析台风眼区的风场情况；王萍等[7]通过分析云导风矢量和云系运动变化的关系，结合图像分析法得到台风中心。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
目前这些方法往往只能应对呈现明显台风眼或云带的螺旋性突显的台风云系，这种台风云系往往只占据完整台风生命周期中处于成熟期的一段时间，因此，自始至终完成台风定位及台风路径拟合是比较困难的；而对于复杂的、难以抽象出代表性机理特征的台风图像问题，现有方法更难以胜任。
参考文献：
[1]端义宏，陈联寿，许映龙，等.我国台风监测预报预警体系的现状及建议[J].中国工程科学，2012，14(9)：4-9.
[2]Dvorak V F.Tropical cyclone intensity analysis and forecastingfrom forecasting from satellite imagery[J].Monthly Weather Review,1975,103(5):420-430.
[3]冯民学，于波，陈必云.有眼台风的自动定位方法初探[J].气象，1997，23(12)：15-17.
[4]谢俊元.台风中心定位中的螺旋线自动识别算法[J].软件学报，1997，8(a00)：398-403.
[5]Schmetz J.；Holmlund K.；Hoffman J.Operational cloud-motion windsfrom meteosat infrared images.Journal of Applied Meteorology 1993,32(7):1206-1225.
[6]Hasler A F,Palaniappan K,Kambhammetu C,et al.High-resolution windfields within the inner core and eye of a mature tropical cyclone from goes1-min images[J].Bulletin of the American Meteorological Society,1998,79(11):2483-2496.
[7]王萍，宋振龙，孔秀梅，等.基于云导风场的形成期台风定位[J].模式识别与人工智能，2005，18(6)：752-757.
发明内容
为了解决现有技术中的问题，本发明提供了一种基于深度强化学习的台风中心定位方法，本方法能够实现对不同等级和不同形态的台风中心进行定位，提高台风中心定位的准确率和效率，本发明的技术方案详见下文描述：
一种基于深度强化学习的台风中心定位方法，所述方法包括以下步骤：
(1)使用马尔可夫决策过程对台风中心搜索过程进行建模；
(2)构建台风中心定位的深度强化学习网络结构；
(3)确定深度强化学习网络的训练策略；
(4)设计台风云系判定条件；
(5)通过深度Q学习(DQN)算法训练智能体搜索台风中心。
所述使用马尔可夫决策过程建模的步骤具体为：
1)定义五个搜索框可选动作。当前搜索框B的边长为l1,中心点为c，经过动作ai(i＝ 1,2,3,4,5)后下一状态的搜索框B’，边长为l2，中心为c’，动作a1-a4的执行效果是将B按比例k＝l2/l1缩小变成B′，然后将B′与B分别在当前搜索框B的左上角、右上角、左下角和右下角处对齐；动作a5将B按比例k缩小以形成B′，将B′与B在它们的中心点处对齐。
2)定义状态向量。状态向量用s表示，由两部分组成，第一部分为当前搜索框覆盖下的云分布特征，由特征提取网络提供；第二部分为执行过的4个邻近动作序列，在这里对这4 个邻近动作进行编码形成20个维度，再与第一部分直接连接起来成一个一维状态向量。
3)定义奖励值r。执行动作ai后将搜索框由B变为B′，并将状态由s变为s′，则该动作的表现情况由搜索框的中心点与真实台风中心点之间的欧式距离的变化来衡量，若当前搜索框的中心点与真实台风中心点更接近时，奖励值为1，否则奖励值为-1。
所述台风中心定位的深度强化学习网络结构具体为：
台风中心定位使用的网络结构由特征提取网络(CNN)和深度Q网络组成。网络的输入是卫星云图上搜索框内的区域，由特征提取网络进行搜索框内的云特征描述，提取特征图。之后将特征图扩展成一维向量，经过一个全连接网络后与搜索框执行过的邻近动作序列组合成状态向量作为深度Q网络的输入。深度Q网络由三层全连接层组成，网络的输出为每个动作的Q值。Q值表示在特定状态st下根据特定策略执行动作at而获得的未来奖励的期望，定义为：
Qπ(st,at)＝E[Rt+1+γRt+2+γ2Rt+3+L|st,at] (1)
其中Ri+1为第i步的立即回报，γ(γ<1)为折扣因子。依据对网络输出的值的判断选定一个动作之后，使云图上搜索框的大小和位置有所调整，再次作为网络输入，继续进行台风中心搜索。
所述确定深度强化学习网络的训练策略包括：
1)经验回放机制。将搜索框探索环境得到的状态转移数据<s,a,r,s’>储存起来，然后通过在经验存储器中随机采样更新深度神经网络的参数。
2)ε-greedy策略。以1-ε的概率执行当前网络生成的最优策略，以ε的概率来执行随机动作。ε从1开始，以0.1为步长递减，直到ε＝0.1。
3)搜索框尺度调整策略。在搜索过程中，搜索框缩小的比例k随时间步step的增大而减小：
Figure RE-GDA0002495278040000031
式中，[*]表示取整函数。
所述设计的台风云系判定条件具体为：
1)在搜索过程的第7-10步中，智能体选择了2次以上动作a5；
2)在搜索过程的第7-10步中，智能体选择了2次动作a5，且这两次动作值函数Q的平均值大于1；
3)在搜索过程的第7-10步中，动作a5的选择次数少于两次，但在第6步选择了动作a5，且动作值函数Q大于1。
所述通过深度Q学习(DQN)算法训练一个智能体搜索台风中心的步骤具体为：
首先在卫星云图上放置一个初始搜索框，其边界与卫星图像的边界一致。然后，搜索框根据其所处环境和历史动作不断收缩并移动到下一个位置。当台风中心的搜索步数达到最大搜索步数时，根据所述台风云系判定条件确定搜索框内是否存在台风。如果存在，则台风中心成功定位，并且与最终的搜索框的中心一致；否则，卫星云图的整个搜索过程结束，并输出台风中心。
本发明的有益效果是：
本发明通过使用深度强化学习算法将台风中心定位问题转化为在卫星云图上利用搜索框搜索台风中心的一系列决策过程，本发明实现了对不同强度等级和不同形态的台风检测及中心定位，并通过实验验证了本方法的有效性。
本发明方法结合了深度学习的感知能力和强化学习的决策能力，把台风中心定位问题转化为在卫星云图上利用搜索框搜索台风中心的一系列决策行为，将搜索过程使用马尔可夫决策过程建模，通过深度强化学习算法训练一个智能体学习使用简单的操作来移动和减小搜索框，使搜索框的中心不断靠近真实台风中心，进而实现台风中心自主定位。本发明方法实现了对不同等级和不同形态的台风检测及中心定位，并通过实验验证了本方法的有效性。
附图说明
图1搜索框可选动作示意图；
图2台风中心定位的网络结构；
图3台风中心定位过程示意图，其中图3(a)为一张卫星云图上的台风中心搜索流程，图 3(b)为搜索一个台风中心的示意图；
图4台风中心定位可视化示例图，其中图4(a)为一个台风中心定位的可视化示例，图4(b) 为被定位的卫星云图正视图，图4(c)为第8步执行判定条件时搜索框中的视野，图4(d)为定位到的台风中心周围云分布的放大图；
图5不同类型台风的定位结果图，其中图5(a)为一个有眼台风的台风中心定位结果示例，图5(b)为一个无眼台风的台风中心定位结果示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施方式作进一步地详细描述，主要包括：使用马尔可夫决策过程建模、构建台风中心定位的网络结构、通过深度Q学习算法实现台风中心定位。详细描述如下：
1、使用马尔可夫决策过程对台风中心定位过程进行建模
1)定义五个搜索框可选动作，参见附图1。边长为l1的虚线方框为当前搜索框B，边长为l2的实心方框为经过动作ai(i＝1,2,3,4,5)后的下一状态的搜索框B′，点c和c′分别为B 和B′的质心。动作a1-a4的执行效果是将B按比例k＝l2/l1缩小变成B′，然后将B′与B分别在点d1、d2、d3、d4处对齐；动作a5将B按比例k缩小以形成B′，然后将B′与B在它们的中心点处对齐。
2)定义状态向量。搜索台风中心过程中每一步的状态由向量F表示，F由两部分组成：搜索框内区域的特征F1，和搜索的历史记录F2。F1描述了卫星云图上当前搜索框覆盖下云分布的特征，由预训练的深度网络VGG-16提取；F2为执行过的4个邻近历史动作序列，其中每个动作都记录为5维向量：
Figure RE-GDA0002495278040000051
4个相邻动作的矢量直接连接以形成20维向量F2。最后，将F1和F2连接形成特征向量F。
3)定义奖励值。在搜索台风中心的问题上，动作ai将搜索框由B变为B′，并将状态由s 变为s′，该动作的表现情况由搜索框的中心点与真实台风中心点之间的距离的变化来衡量，每一步搜索的奖励函数为：
R(s,s′)＝sign(D(c,g)-D(c′,g)) (4)
若当前搜索框的中心点与真实台风中心点更接近时，奖励值为1，否则奖励值为-1。
2、构建台风中心定位的网络结构
按照附图2所示的网络结构搭建深度强化学习的网络模型，包括特征提取网络和深度Q 网络。如图2所示，以卫星云图上搜索框内的区域作为输入，在进入特征提取网络之前统一调整大小为224×224，然后由预先训练好的VGG-16卷积神经网处理，该卷积神经网负责进行搜索框内的云特征描述，提取7×7×512的特征图。将该特征图扩展成一维向量，经过一个全连接网络后与历史记录向量组合，共同作为深度Q网络的输入。深度Q网络由三层全连接层组成，最后一个全连接层的输出对应马尔可夫决策过程建模中定义的5个动作，每个节点输出动作的Q值。依据对网络输出的值的判断选定一个动作之后，使云图上搜索框的大小和位置有所调整，再次作为网络输入，继续进行台风中心搜索。
3、确定深度强化学习网络的训练策略
1)采用经验回放机制。将搜索框探索环境得到的状态转移数据<s,a,r,s’>储存起来，然后通过在经验存储器中随机采样样本更新深度神经网络的参数。
2)采用ε-greedy策略。以1-ε的概率执行当前网络生成的最优策略，以ε的概率来执行随机动作。ε从1开始，以0.1为步长递减，直到ε＝0.1。
3)调整搜索框尺度。在搜索过程中，搜索框缩小的比例k随时间步step的增大而减小：
Figure RE-GDA0002495278040000061
式中，[]表示取整运算。在台风中心搜索过程中，step每增加3，n增加为n+1，搜索框尺度大小随着时间步的变化如表1所示。
表1搜索框尺度变化
Figure RE-GDA0002495278040000062
4、设计台风云系判定条件
1)在搜索过程的第7-10步中，智能体选择了2次以上动作a5；
2)在搜索过程的第7-10步中，智能体选择了2次动作a5，且这两次动作值函数Q的平均值大于1；
3)在搜索过程的第7-10步中，动作a5的选择次数少于两次，但在第6步选择了动作a5，且动作值函数Q大于1。
若满足以上条件之一，则判定搜索框找到台风区域，否则搜索框内无台风云系，退出搜索流程。
5、通过深度Q学习(DQN)算法训练智能体搜索台风中心
台风中心具体定位过程参见附图3。按照图3(a)所示的在一张卫星云图上搜索所有台风中心的流程训练智能体。图3(b)为在卫星云图上搜索一个台风中心的示意图，其中图3(b)中的红色方块表示搜索区域。在此过程中，首先在卫星云图上放置一个初始搜索框，其边界与卫星图像的边界一致。然后，搜索框根据其所处环境和历史动作按照所述搜索框尺度调整策略不断收缩并移动到下一个位置。当台风中心的搜索步数达到最大搜索步数时，根据所述台风云系判别条件来确定搜索框内是否存在台风。如果存在，则台风中心成功定位，并且与最终的搜索框的中心一致；否则，卫星云图的整个搜索过程结束，并输出台风中心。
为在卫星云图上找到所有的台风中心，搜索过程应重复多次。如图3(a)所示，如果搜索过程成功在卫星云图上发现台风，则用灰色掩膜覆盖已定位的台风区域，搜索过程将再次开始搜索云图上的下一个台风中心。
附图4(a)为一个台风中心定位的可视化示例，展示了训练完成的深度Q网络进行台风中心搜索的过程。图4(a)的输入为一张完整的包含台风云系的卫星云图(见图4(b))。最初，搜索框与整张云图等大，覆盖整张云图，搜索框中心设在输入云图的几何中心。然后，深度 Q网络不断地缩小转移搜索区域，使其中心不断接近台风中心。最后，经过16个步骤，深度 Q网络模块成功定位了台风中心，图4(d)为定位到的台风中心周围云分布的放大图。
下面以具体的测试来验证本发明实施例提供的一种基于深度强化学习的台风中心定位方法的可行性，详见下文描述：
按照本发明提出的方法使用风云二号气象卫星(FY-2)于2009年-2017年获得的5000 张云图对台风中心定位网络进行训练，训练完成后对FY-2C和FY-2D在2007年-2008年记录的582张云图、风云四号气象卫星(FY-4)在2018年7月-9月记录的206张云图进行测试，测试结果如表2、表3所示。
表2 FY-2C从2007到2008年582张卫星云图识别结果
Figure RE-GDA0002495278040000081
表3台风中心定位精度
Figure RE-GDA0002495278040000082
准确率是指在所有定位结果中被正确定位的台风所占的比率；召回率是指在测试集所含的所有台风中被正确定位的台风所占的比例。从表2可以看出，虽然本发明对台风的平均召回率仅为61.18％，但有超过84％的漏报为1级和2级台风，而超过2级的台风召回率则大于 88％，对5级和6级台风的召回率达到100％，漏报率为0，召回率随着台风等级的升高而升高，并且本发明所提方法对不同等级的台风中心定位的平均精确度达91.6％。从表3可以看出，本发明台风定位算法的平均经度误差和纬度误差分别为0.28和0.25，经度误差和纬度误差的方差分别为0.043和0.039，具有与人类专家相似的定位台风中心的能力。
附图5为本发明对不同类型台风的定位结果。按照台风形态，一般台风分为有眼台风和无眼台风两种类型。图5(a)和(b)分别提供了有眼台风和无眼台风定位台风的结果。由定位结果可以看出，无论是有眼台风还是无眼台风，本发明都可以准确地识别和定位。相比传统方法需要将不同种类形态的台风区分对待，本发明的方法对有眼台风和无眼台风无差别对待，用深度强化学习代替繁琐的步骤，取得了不错的定位结果。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度强化学习的台风中心定位方法，其特征在于，包括以下步骤：
(1)使用马尔可夫决策过程对台风中心搜索过程进行建模；
(2)构建台风中心定位的深度强化学习网络结构；
(3)确定深度强化学习网络的训练策略；
(4)设计台风云系判定条件；
(5)通过深度Q学习算法训练智能体搜索台风中心。
2.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(1)的具体内容为：
(1)定义五个搜索框可选动作：当前搜索框B的边长为l1,中心点为c，经过动作ai(i＝1,2,3,4,5)后下一状态的搜索框B'边长为l2，中心为c’，动作a1-a4的执行效果是将B按比例k＝l2/l1缩小变成B'，然后将B'与B分别在当前搜索框B的左上角、右上角、左下角和右下角处对齐；动作a5将B按比例k缩小以形成B'，将B'与B在它们的中心点处对齐；
(2)定义状态向量：状态向量由两部分组成，第一部分为当前搜索框覆盖下的云分布特征，由特征提取网络提供；第二部分为执行过的4个邻近动作序列，在这里对这4个邻近动作进行编码形成20个维度，再与第一部分直接连接起来成一个一维状态向量；
(3)定义奖励值：执行动作后搜索框由B变为B'，并将状态由s变为s'，则该动作的表现情况由搜索框的中心点与真实台风中心点之间的欧式距离的变化来衡量，若当前搜索框的中心点与真实台风中心点更接近时，奖励值为1，否则奖励值为-1。
3.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(2)的具体内容为：使用特征提取网络CNN和深度Q网络组成台风中心定位网络，以卫星云图上搜索框内的区域作为网络输入，由特征提取网络提取特征图；将特征图扩展成一维向量，经过一个全连接网络后与搜索框执行过的邻近动作序列组合成状态向量作为深度Q网络的输入；深度Q网络由三层全连接层组成，网络的输出为每个动作的Q值，Q值表示在特定状态st下根据特定策略执行动作at而获得的未来奖励的期望，定义为：
Qπ(st,at)＝E[Rt+1+γRt+2+γ2Rt+3+L|st,at] (1)
其中Ri+1为第i步的立即回报，γ(γ<1)为折扣因子。
4.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(3)的具体内容为：
(1)采用经验回放机制：将搜索框探索环境得到的状态转移数据储存起来，然后通过在经验存储器中随机采样更新深度神经网络的参数；
(2)采用ε-greedy策略：以1-ε的概率执行当前网络生成的最优策略，以ε的概率来执行随机动作，ε从1开始，以0.1为步长递减，直到ε＝0.1；
(3)调整搜索框尺度策略：在搜索过程中，搜索框缩小的比例k随时间步step的增大而减小：
Figure FDA0002386693550000021
式中，[]表示取整运算。
5.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(4)的具体内容为：
(1)在搜索过程的第7-10步中，智能体选择了2次以上动作a5；
(2)在搜索过程的第7-10步中，智能体选择了2次动作a5，且这两次动作值函数Q的平均值大于1；
(3)在搜索过程的第7-10步中，动作a5的选择次数少于两次，但在第6步选择了动作a5，且动作值函数Q大于1。
若满足以上条件之一，则判定搜索框找到台风区域，否则搜索框内无台风云系，退出搜索流程。
6.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(5)的具体内容为：首先在卫星云图上放置一个初始搜索框，其边界与卫星图像的边界一致；然后，搜索框根据其所处环境和历史动作不断收缩并移动到下一个位置；当台风中心的搜索步数达到最大搜索步数时，根据权利要求5所述台风云系判定条件确定搜索框内是否存在台风，如果存在，则台风中心成功定位，并且与最终的搜索框的中心一致；否则，卫星云图的整个搜索过程结束，并输出台风中心。
CN202010100387.3A 2020-02-18 2020-02-18 一种基于深度强化学习的台风中心定位方法 Active CN111462230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010100387.3A CN111462230B (zh) 2020-02-18 2020-02-18 一种基于深度强化学习的台风中心定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010100387.3A CN111462230B (zh) 2020-02-18 2020-02-18 一种基于深度强化学习的台风中心定位方法

Publications (2)

Publication Number Publication Date
CN111462230A true CN111462230A (zh) 2020-07-28
CN111462230B CN111462230B (zh) 2023-08-15

Family

ID=71681469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010100387.3A Active CN111462230B (zh) 2020-02-18 2020-02-18 一种基于深度强化学习的台风中心定位方法

Country Status (1)

Country Link
CN (1) CN111462230B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036261A (zh) * 2020-08-11 2020-12-04 海尔优家智能科技（北京）有限公司 手势识别方法、装置、存储介质、电子装置
CN112396646A (zh) * 2020-11-18 2021-02-23 国家海洋环境预报中心 台风中心点定位方法和装置
CN112686254A (zh) * 2020-12-31 2021-04-20 山西三友和智慧信息技术股份有限公司 一种基于红外卫星云图的台风中心定位方法
CN112733386A (zh) * 2021-01-25 2021-04-30 吉林大学 一种基于深度神经网络的多组分反应性溶质运移参数反演方法
CN113191055A (zh) * 2021-05-06 2021-07-30 河海大学 一种基于深度强化网络的大坝材料性能参数反演方法
CN114139760A (zh) * 2021-09-29 2022-03-04 苏州浪潮智能科技有限公司 一种预测台风路径的方法、系统、存储介质及设备
CN114636981A (zh) * 2022-02-28 2022-06-17 广东省气象台(南海海洋气象预报中心) 基于雷达回波的在线深度学习台风中心定位系统
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1828668A (zh) * 2006-04-10 2006-09-06 天津大学 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法
CN104992434A (zh) * 2015-06-23 2015-10-21 国家卫星气象中心 根据历史卫星图像在当前卫星图像上进行台风定位的方法
WO2017004626A1 (en) * 2015-07-01 2017-01-05 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for providing reinforcement learning in a deep learning system
CN110033132A (zh) * 2019-03-29 2019-07-19 中国人民解放军空军研究院战场环境研究所 基于深度目标检测和数值天气预报的热带气旋预报方法
CN110399920A (zh) * 2019-07-25 2019-11-01 哈尔滨工业大学（深圳） 一种基于深度强化学习的非完备信息博弈方法、装置、系统及存储介质
CN110751209A (zh) * 2019-10-18 2020-02-04 北京邮电大学 一种融合深度图像分类和检索的智能台风定强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1828668A (zh) * 2006-04-10 2006-09-06 天津大学 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法
CN104992434A (zh) * 2015-06-23 2015-10-21 国家卫星气象中心 根据历史卫星图像在当前卫星图像上进行台风定位的方法
WO2017004626A1 (en) * 2015-07-01 2017-01-05 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for providing reinforcement learning in a deep learning system
CN110033132A (zh) * 2019-03-29 2019-07-19 中国人民解放军空军研究院战场环境研究所 基于深度目标检测和数值天气预报的热带气旋预报方法
CN110399920A (zh) * 2019-07-25 2019-11-01 哈尔滨工业大学（深圳） 一种基于深度强化学习的非完备信息博弈方法、装置、系统及存储介质
CN110751209A (zh) * 2019-10-18 2020-02-04 北京邮电大学 一种融合深度图像分类和检索的智能台风定强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭勇;王萍;徐炜;周惠成;王本德;: "气象集合预报的研究进展" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036261A (zh) * 2020-08-11 2020-12-04 海尔优家智能科技（北京）有限公司 手势识别方法、装置、存储介质、电子装置
CN112396646B (zh) * 2020-11-18 2021-10-01 国家海洋环境预报中心 台风中心点定位方法和装置
CN112396646A (zh) * 2020-11-18 2021-02-23 国家海洋环境预报中心 台风中心点定位方法和装置
CN112686254B (zh) * 2020-12-31 2022-08-09 山西三友和智慧信息技术股份有限公司 一种基于红外卫星云图的台风中心定位方法
CN112686254A (zh) * 2020-12-31 2021-04-20 山西三友和智慧信息技术股份有限公司 一种基于红外卫星云图的台风中心定位方法
CN112733386B (zh) * 2021-01-25 2021-08-17 吉林大学 一种基于深度神经网络的多组分反应性溶质运移参数反演方法
CN112733386A (zh) * 2021-01-25 2021-04-30 吉林大学 一种基于深度神经网络的多组分反应性溶质运移参数反演方法
CN113191055A (zh) * 2021-05-06 2021-07-30 河海大学 一种基于深度强化网络的大坝材料性能参数反演方法
CN114139760A (zh) * 2021-09-29 2022-03-04 苏州浪潮智能科技有限公司 一种预测台风路径的方法、系统、存储介质及设备
CN114139760B (zh) * 2021-09-29 2023-11-07 苏州浪潮智能科技有限公司 一种预测台风路径的方法、系统、存储介质及设备
CN114636981A (zh) * 2022-02-28 2022-06-17 广东省气象台(南海海洋气象预报中心) 基于雷达回波的在线深度学习台风中心定位系统
CN114636981B (zh) * 2022-02-28 2022-12-02 广东省气象台(南海海洋气象预报中心) 基于雷达回波的在线深度学习台风中心定位系统
CN115063428A (zh) * 2022-08-18 2022-09-16 中国科学院国家空间科学中心 一种基于深度强化学习的空间暗弱小目标检测方法

Also Published As

Publication number Publication date
CN111462230B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111462230A (zh) 一种基于深度强化学习的台风中心定位方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN111680706B (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112766087A (zh) 一种基于知识蒸馏的光学遥感图像舰船检测方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN108647585A (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108564049A (zh) 一种基于深度学习的快速人脸检测识别方法
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN106991666A (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN109671274A (zh) 一种基于特征构造和融合的公路风险自动评估方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN108363962B (zh) 一种基于多层次特征深度学习的人脸检测方法及系统
CN111462090B (zh) 一种多尺度图像目标检测方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN110210550A (zh) 基于集成学习策略的图像细粒度识别方法
CN113205103A (zh) 一种轻量级的文身检测方法
US20230186436A1 (en) Method for fine-grained detection of driver distraction based on unsupervised learning
CN114758178B (zh) 一种基于深度学习的轮毂实时分类及其气阀孔定位方法
CN112818777B (zh) 一种基于密集连接与特征增强的遥感图像目标检测方法
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant