CN116437121B - 一种气象视频处理方法及系统 - Google Patents

一种气象视频处理方法及系统 Download PDF

Info

Publication number
CN116437121B
CN116437121B CN202310478657.8A CN202310478657A CN116437121B CN 116437121 B CN116437121 B CN 116437121B CN 202310478657 A CN202310478657 A CN 202310478657A CN 116437121 B CN116437121 B CN 116437121B
Authority
CN
China
Prior art keywords
video frame
meteorological
initial
adjustment
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310478657.8A
Other languages
English (en)
Other versions
CN116437121A (zh
Inventor
刘轻扬
梁乐宁
卢大维
时耀
杨雪
周颖
刘晨
张明萌
杨玫玫
丁祎
张晗煕
栗艺予
秦良军
张翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huafeng Meteorological Media Group Co Ltd
Original Assignee
Huafeng Meteorological Media Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huafeng Meteorological Media Group Co Ltd filed Critical Huafeng Meteorological Media Group Co Ltd
Priority to CN202310478657.8A priority Critical patent/CN116437121B/zh
Publication of CN116437121A publication Critical patent/CN116437121A/zh
Application granted granted Critical
Publication of CN116437121B publication Critical patent/CN116437121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供的气象视频处理方法,对基础气象视频处理网络进行调试得到中间气象视频处理网络,并对初始气象视频帧进行加噪调整,得到初始气象视频帧的调整气象视频帧。获取初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息,通过初始气象视频帧、调整气象视频帧以及视频帧对象对应信息对中间气象视频处理网络进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。通过初始气象视频帧和调整气象视频帧对网络进行调试,使得产生的气象视频帧及其构成的气象视频,内容更加简练准确,提高气象视频的质量,并增加目标气象视频处理网络在冗余对象图像构建过程中的稳定性,气象视频处理网络的普适性更强。

Description

一种气象视频处理方法及系统
技术领域
本申请涉及但不限于人工智能技术领域,尤其涉及一种气象视频处理方法及系统。
背景技术
为了提高用户对气象服务的接受度,增加气象服务推送的多样性,气象视频是良好的推送媒介。目前,气象视频的制作方式还是以人工制作为主,从数据收到分析到素材整理再到视频编辑制作,整个流程往往需要多个部门的专业人员的参与配合,视频成品制作的周期长、成本高。随着互联网技术的发展和智能终端的普及,网络带宽不断提升,大众对气象视频的消费速度也极大的提升了,需要高效的视频加工生产系统才能满足视频平台“短、频、快”的制作效率要求。随着技术地发展,可以通过机器学习技术自主生成视频解决视频生产效率低的问题,但是现有的视频生成算法产生的视频的视频帧有时并不能准确表达信息,例如出现视频帧对象冗余的情况,影响用户观感。
发明内容
有鉴于此,本申请实施例至少提供一种气象视频处理方法。
本申请实施例的技术方案是这样实现的:
一方面,本申请实施例提供一种气象视频处理方法,应用于气象视频构建系统,所述方法包括:
获取实时气象数据,将所述实时气象数据加载至目标气象视频处理网络;
通过所述目标气象视频处理网络构建与所述实时气象数据对应的气象视频并输出;
其中,所述目标气象视频处理网络通过以下操作进行调试得到:
通过初始气象视频帧对基础气象视频处理网络进行调试,得到中间气象视频处理网络;
对所述初始气象视频帧进行加噪调整,得到所述初始气象视频帧的调整气象视频帧;
获取所述初始气象视频帧和所述调整气象视频帧的视频帧对象对应信息;
基于所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息,对所述中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络。
在一些实施例中,所述获取所述初始气象视频帧和所述调整气象视频帧的视频帧对象对应信息,包括:
获取所述中间气象视频处理网络构建冗余视频对象的约束算法,并基于所述约束算法确定所述初始气象视频帧与所述调整气象视频帧的对应机制;
基于所述对应机制,获取所述初始气象视频帧与所述调整气象视频帧的所述视频帧对象对应信息。
在一些实施例中,所述基于所述对应机制,获取所述初始气象视频帧与所述调整气象视频帧的所述视频帧对象对应信息,包括:
获取所述初始气象视频帧中的调整初始对象以及所述调整气象视频帧中的调整后对象;
如果所述对应机制指示所述初始气象视频帧的第一视频帧对象数量与所述调整气象视频帧的第二视频帧对象数量相同,获取所述调整初始对象在所述初始气象视频帧中的第一对象分布信息,所述调整后对象在所述调整气象视频帧中的第二对象分布信息,所述初始气象视频帧中的非调整初始对象的第三对象分布信息以及所述调整气象视频帧中非调整后对象的第四对象分布信息;
基于所述第一对象分布信息、所述第二对象分布信息、所述第三对象分布信息和所述第四对象分布信息,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息。
在一些实施例中,所述基于所述第一对象分布信息、所述第二对象分布信息、所述第三对象分布信息和所述第四对象分布信息,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息,包括:
生成所述第一对象分布信息和所述第二对象分布信息的第一分布信息对应关系以及所述第三对象分布信息和所述第四对象分布信息之间的第二分布信息对应关系;
依据所述第一分布信息对应关系和所述第二分布信息对应关系,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息。
在一些实施例中,所述基于所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息,对所述中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络,包括:
将所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息加载到所述中间气象视频处理网络,并获取所述中间气象视频处理网络基于所述视频帧对象对应信息,得到的所述初始气象视频帧中的示例初始对象在所述调整气象视频帧中的示例对应调整对象;
获取所述中间气象视频处理网络得到的所述示例初始对象与所述示例对应调整对象之间的对象误差,并基于所述对象误差获取所述中间气象视频处理网络的调试误差;
基于所述调试误差优化所述中间气象视频处理网络的网络配置变量,并跳转至基于下一初始示例模板的示例初始对象和下一初始气象视频帧的调整气象视频帧中的示例对应调整对象,对网络配置变量优化后的中间气象视频处理网络再次进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。
在一些实施例中,所述基于所述视频帧对象对应信息,获取所述初始气象视频帧中的示例初始对象在所述调整气象视频帧中的示例对应调整对象,包括:
在所述视频帧对象对应信息中获取所述示例初始对象的目标对应信息,并将所述目标对应信息在所述调整气象视频帧中相关的调整对象作为所述示例初始对象的所述示例对应调整对象。
在一些实施例中,所述对所述初始气象视频帧进行加噪调整,得到所述初始气象视频帧的调整气象视频帧,包括:
获取备选加噪调整机制,在所述备选加噪调整机制中任意筛选一个或多个作为所述初始气象视频帧的所述加噪调整机制;
基于所述加噪调整机制,获取所述初始气象视频帧中的调整初始对象,并对所述调整初始对象进行加噪调整处理,得到所述初始气象视频帧的所述调整气象视频帧。
在一些实施例中,所述加噪调整机制,包括所述备选加噪调整机制中的随机加噪调整机制、同类对象加噪调整机制、对象删减加噪调整机制、对象填入加噪调整机制和对象位置挪动加噪调整机制中的一个或多个。
在一些实施例中,所述基于所述加噪调整机制,获取所述初始气象视频帧中的调整初始对象,并对所述调整初始对象进行加噪调整处理,得到所述初始气象视频帧的所述调整气象视频帧,包括:
如果所述加噪调整机制为随机加噪调整机制,获取所述初始气象视频帧中获取第一任意初始对象作为所述调整初始对象,在事先部署的图像对象库中任意筛选第一图像对象库对象更换所述初始气象视频帧中的所述调整初始对象,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为同类对象加噪调整机制,则从所述初始气象视频帧中获取第二任意初始对象作为所述调整初始对象,在事先部署的图像对象库中获取与所述调整初始对象类型一致的第二图像对象库对象更换所述初始气象视频帧中的所述调整初始对象,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象删减加噪调整机制,则从所述初始气象视频帧中获取第三任意初始对象作为所述调整初始对象,并将所述调整初始对象从所述初始气象视频帧中清洗掉,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象填入加噪调整机制,则从所述初始气象视频帧中获取第四任意初始对象作为所述调整初始对象,在事先部署的图像对象库中任意筛选第三图像对象库对象填入到所述调整初始对象在初始气象视频帧中的相关空间,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象位置挪动加噪调整机制,从所述初始气象视频帧中获取第五任意初始对象作为所述调整初始对象,更改所述调整初始对象在所述初始气象视频帧中的位置,得到所述初始气象视频帧的所述调整气象视频帧。
另一方面,本申请实施例提供了一种气象视频构建系统,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面提供的所述方法中的步骤。。
本申请实施例至少包括以下有益效果:本申请实施例提供的气象视频处理方法,对基础气象视频处理网络进行调试得到中间气象视频处理网络,并对调试基础气象视频处理网络的初始气象视频帧进行加噪调整,得到初始气象视频帧的调整气象视频帧。获取初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息,通过初始气象视频帧、调整气象视频帧以及视频帧对象对应信息对中间气象视频处理网络进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。本申请实施例通过初始气象视频帧和调整气象视频帧对中间气象视频处理网络进行调试,使得目标气象视频处理网络产生的气象视频帧及其构成的气象视频,内容更加简练准确,提高气象视频的质量,并增加目标气象视频处理网络在冗余对象图像构建过程中的稳定性,气象视频处理网络的普适性更强。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种气象视频处理方法的实现流程示意图。
图2为本申请实施例提供的目标气象视频处理网络的调试过程流程图。
图3为本申请实施例提供的一种气象视频处理装置的组成结构示意图。
图4为本申请实施例提供的一种气象视频构建系统的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
本申请实施例提供一种气象视频处理方法,该方法可以由气象视频构建系统的处理器执行。其中,气象视频构建系统可以指的是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。
图1为本申请实施例提供的一种气象视频处理方法的实现流程示意图,如图1所示,该方法包括:
步骤100:获取实时气象数据,将实时气象数据加载至目标气象视频处理网络。
实时气象数据可以是基于合法合规渠道采集的气象数据,例如权威的气象数据网站。具体可以基于数据采集模块可对接集团或上游业务单位数据接口,采集所需的信息,包含预警数据、站点实况数据、预报数据、Micaps数据、气象服务材料和GIS数据等。采集到实时气象数据后,将实时气象数据加载到事先调试好的目标气象视频处理网络进行处理,该目标气象视频处理网络可以是任意可行的机器学习网络,例如深度学习网络,如深度生成网络TGAN,具体不做限定。
步骤200:通过目标气象视频处理网络构建与实时气象数据对应的气象视频并输出。
请参照图2,本申请实施例中,该目标气象视频处理网络的调试过程具体可以包括如下步骤:
步骤110:通过初始气象视频帧对基础气象视频处理网络进行调试,得到中间气象视频处理网络。
本申请实施例中,可以通过气象视频处理网络生成实时气象数据对应的视频帧图像,然后将视频帧图像组合构成气象视频,具体地,气象视频处理网络可以采用Lottie动画模板的自动化视频合成,基于puppeteer生产视频帧,基于MICAPS数据和开源系统QGIS的图文产品加工合成,基于现有文字语音合成,Vue+Echarts的模板展示页面制作,matplotlib对数据进行动态绘制,并利用ffmpeg对音视频进行合成,最后得到气象视频。换言之,气象视频的加工生产中,从气象数据中提取分析关键信息、从视频的素材库中找到相应的图文和音频素材,再到视频编辑软件中将图文和音频编排和组合成最终的视频。基于视频模板和FFMPEG强大的视频处理能力和功能全备的API接口,对其进行二次开发,搭建自主可控的的气象视频加工以降低了人工和时间成本,提高了视频生产效率。经过长期实践,发现产生的气象视频中可能出现对象冗余,影响观感,例如重复无关的人物形象、重复的对象数量(如太阳、月亮)、冗余的植被等等。
本申请实施例依据气象视频处理网络输出的冗余对象图像对气象视频处理网络进行进一步的网络调试,以此缓解气象视频处理网络输出冗余对象图像的情况。作为一种实施方式,获取待调试的基础气象视频处理网络,通过初始气象视频帧对基础气象视频处理网络进行气象视频构建的网络调试,将调试完成的气象视频处理网络确定为中间气象视频处理网络。
步骤120:对初始气象视频帧进行加噪调整,得到初始气象视频帧的调整气象视频帧。
在气象视频构建过程中,中间气象视频处理网络在气象视频构建时可能产生冗余的视频帧对象,为了缓解中间气象视频处理网络输出冗余对象图像的情形,以让对中间气象视频处理网络进行调试后获得的目标气象视频处理网络输出的气象视频简练准确,可以获取初始气象视频帧的调整气象视频帧(完成加噪后的气象视频帧),依据调整气象视频帧对中间气象视频处理网络进行调试,其中,气象视频帧是气象视频中的关键视频帧。例如,对初始气象视频帧中的对象(如人物、气象元素、环境元素)进行任意加噪调整,以执行扰动操作,可依据中间气象视频处理网络得到的冗余的气象视频帧,对初始气象视频帧中的对象进行加噪调整,进而将加噪调整获得的气象视频帧确定为初始气象视频帧的调整气象视频帧。调整气象视频帧可以是和初始气象视频帧类型一样或近似的,但局部存在差异的气象视频帧。例如,初始气象视频帧包括对象“太阳、喘息的人物A、遮阳帽、树木、散发热气的地面”,对该初始气象视频帧进行加噪调整得到加噪调整处理后的气象视频帧包括对象“太阳、白云、喘息的人物A、遮阳帽、遮阳伞、散发热气的地面、洒水车。”将该加噪调整后的气象视频帧确定为初始气象视频帧的调整气象视频帧。
步骤130:获取初始气象视频帧和调整气象视频帧的视频帧对象对应信息。
其中,初始气象视频帧中的对象与调整气象视频帧中的对之间具有对应信息(例如彼此关联、映射),将对应信息确定为初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息。
例如,初始气象视频帧为“太阳、喘息的人物A、遮阳帽、树木、散发热气的地面”,初始气象视频帧的调整气象视频帧为“太阳、白云、喘息的人物A、遮阳帽、遮阳伞、散发热气的地面、洒水车”,基于此,分别获取初始气象视频帧中各对象与调整气象视频帧中各对象之间的对应信息,以获得初始气象视频帧与调整气象视频帧之间的对应信息。例如获取初始气象视频帧中的对象“太阳”,与调整气象视频帧中的对象“太阳”间的对应信息,以及初始气象视频帧中的其他对象与调整气象视频帧中的其他对象之间的对应信息,基于初始气象视频帧的所有对象与调整气象视频帧的所有对象之间的对应信息,得到初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息。
步骤140:通过初始气象视频帧、调整气象视频帧和视频帧对象对应信息,对中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络。
为了缓解中间气象视频处理网络产生冗余对象的情形,通过初始气象视频帧和调整气象视频帧,以及初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息,对中间气象视频处理网络进行调试。例如将初始气象视频帧、调整气象视频帧和视频帧对象对应信息加载到中间气象视频处理网络,对中间气象视频处理网络进行调试。其中,中间气象视频处理网络可以依据视频帧对象对应信息确定初始气象视频帧与调整气象视频帧中具有对应信息的对象组合,学习对象组合中的初始气象视频帧的对象与调整气象视频帧的对象间的联系和差别。
作为一种实施方式,依据学习的对象组合内的初始气象视频帧的对象与调整气象视频帧的对象之间的联系和差别,获取中间气象视频处理网络的调试误差,依据调试误差对中间气象视频处理网络的参数进行调节,并跳转至开始进行迭代,在满足收敛条件(达到最大迭代次数、误差的变化率达到最小等)时停止,获取调试完成的目标气象视频处理网络。
本申请实施例提供的气象视频处理方法,对基础气象视频处理网络进行调试得到中间气象视频处理网络,并对调试基础气象视频处理网络的初始气象视频帧进行加噪调整,得到初始气象视频帧的调整气象视频帧。获取初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息,通过初始气象视频帧、调整气象视频帧以及视频帧对象对应信息对中间气象视频处理网络进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。本申请实施例通过初始气象视频帧和调整气象视频帧对中间气象视频处理网络进行调试,使得目标气象视频处理网络产生的气象视频帧及其构成的气象视频,内容更加简练准确,提高气象视频的质量,并增加目标气象视频处理网络在冗余对象图像构建过程中的稳定性,气象视频处理网络的普适性更强。
对于视频帧对象对应信息的获取,具体可以包括:
步骤210:获取中间气象视频处理网络构建冗余视频对象的约束算法,并基于约束算法确定初始气象视频帧与调整气象视频帧的对应机制。
其中,中间气象视频处理网络包括构建冗余视频对象对应的约束算法(即制约函数,不做限定,如ditto或外惩罚函数(exterior point method)),出于减少中间气象视频处理网络调试成本的考虑,基于通用技术中的约束算法为中间气象视频处理网络的约束算法。
为了让中间气象视频处理网络对约束算法进行重复运用,本申请实施例依据调整气象视频帧与初始气象视频帧的视频帧对象数量一样的要求,获取初始气象视频帧与调整气象视频帧的对应机制(即映射的方式),依据该对应机制令调整气象视频帧能在视频帧对象数量与初始气象视频帧的视频帧对象数量不同的时候,依旧能基于约束算法作为中间气象视频处理网络的调试使用的构建冗余视频对象的约束算法。也即,依据该对应机制建立的初始气象视频帧与调整气象视频帧之间的对应信息,令中间气象视频处理网络能在调整气象视频帧与初始气象视频帧的视频帧对象数量不同时,依旧学习拥有对应信息的对象之间的联系和差别,完成缓解中间气象视频处理网络产生冗余气象视频帧的网络调试。
步骤220:基于对应机制获取初始气象视频帧与调整气象视频帧的视频帧对象对应信息。
例如,获取初始气象视频帧中的调整初始对象以及调整气象视频帧中的调整后对象。其中,可以基于对初始气象视频帧的加噪调整得到调整气象视频帧,例如将初始气象视频帧中被加噪调整的对象确定为初始气象视频帧中的调整初始对象,将依据调整初始对象得到的调整气象视频帧中的对象确定为调整气象视频帧中的调整后对象。
例如,初始气象视频帧内容为“太阳、白云、人物A、太阳伞”,对该初始气象视频帧中的一些对象进行加噪调整,得到初始气象视频帧的调整气象视频帧为“太阳、白云、人物A、树木”。在对初始气象视频帧进行加噪调整处理时,对初始气象视频帧中的对象“太阳伞”进行了加噪调整,将对象“太阳伞”确定为初始气象视频帧中的调整初始对象。对应而言,对初始气象视频帧中的调整初始对象“太阳”进行加噪调整得到的调整气象视频帧中的对象为“树木”,将对象“树木”确定为调整气象视频帧中的调整后对象。作为一种实施方式,如果对应机制指示初始气象视频帧的第一视频帧对象数量与调整气象视频帧的第二视频帧对象数量相同,则获取调整初始对象在初始气象视频帧中的第一对象分布信息(即对象所在的空间位置),调整后对象在调整气象视频帧中的第二对象分布信息,初始气象视频帧中的非调整初始对象的第三对象分布信息以及调整气象视频帧中非调整后对象的第四对象分布信息。其中,在调用约束算法作为中间气象视频处理网络的冗余视频对象建立的约束算法时,初始气象视频帧与调整气象视频帧之间的对应机制可以为初始气象视频帧的视频帧对象数量与调整气象视频帧的视频帧对象数量相同。
将初始气象视频帧的视频帧对象数量记录成第一视频帧对象数量,调整气象视频帧的视频帧对象数量记录成第二视频帧对象数量。在对初始气象视频帧中的部分对象进行加噪调整时,分别获取初始气象视频帧中的调整初始对象在初始气象视频帧中对象分布信息,记录成第一对象分布信息。获取调整初始对象进行加噪调整后的调整气象视频帧中的调整后对象在调整气象视频帧中的对象分布信息,记录成第二对象分布信息。对应而言,获取初始气象视频帧中非调整初始对象的对象分布信息,记录成第三对象分布信息,以及调整气象视频帧中非调整后对象的对象分布信息,记录成第四对象分布信息。其中,初始气象视频帧中的非调整初始对象与调整气象视频帧中的非调整后对象一致。作为一种实施方式,基于第一对象分布信息、第二对象分布信息、第三对象分布信息和第四对象分布信息,获取初始气象视频帧和调整气象视频帧的视频帧对象对应信息。
其中,为了对约束算法进行重复运用,可生成第一对象分布信息和第二对象分布信息的第一分布信息对应关系以及第三对象分布信息和第四对象分布信息之间的第二分布信息对应关系。可生成第一对象分布信息与第二对象分布信息上的对应信息,将其确定为第一对象分布信息与第二对象分布信息间的第一分布信息对应关系,依据第一分布信息对应关系得到第一对象分布信息上的调整初始对象与第二对象分布信息上的调整后对象之间的视频帧对象对应信息。
对应而言,可建立第三对象分布信息与第四对象分布信息的对应信息,将其作为第三对象分布信息与第四对象分布信息之间的第二分布信息对应关系,以及依据第二分布信息对应关系得到第三对象分布信息上的非调整初始对象与第四对象分布信息上的非调整后对象之间的视频帧对象对应信息。
作为一种实施方式,依据第一分布信息对应关系和第二分布信息对应关系,获取初始气象视频帧和调整气象视频帧的视频帧对象对应信息。
其中,第一分布信息对应关系为初始气象视频帧中的第一对象分布信息与调整气象视频帧中的第二对象分布信息之间的分布信息对应关系,此时,可确定处在第一对象分布信息上的调整初始对象,与处在第二对象分布信息上的调整后对象拥有对应信息。对应而言,第二分布信息对应关系为初始气象视频帧中的第三对象分布信息与调整气象视频帧中的第四对象分布信息之间的分布信息对应关系,此时,可确定处在第三对象分布信息上的非调整初始对象,和处在第四对象分布信息上的非调整后对象拥有对应信息。接着,可将获取的调整初始对象与调整后对象之间的对应信息,与非调整初始对象与非调整后对象之间的对应信息进行合并,以得到初始气象视频帧中所有对象与调整气象视频帧中的所有对象之间的对应信息,将其确定为初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息。
本申请实施例提供的气象视频处理方法,获取中间气象视频处理网络构建冗余视频对象的约束算法,依据约束算法确定初始气象视频帧与调整气象视频帧之间的对应机制,获得初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息。本申请实施例通过初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息的建立,在不约束调整气象视频帧的视频帧对象数量的前提,完成调整气象视频帧与初始气象视频帧的视频帧对象数量相同的约束算法的重复运用,令中间气象视频处理网络能依据要求调整气象视频帧与初始气象视频帧的视频帧对象数量相同的约束算法进行网络的调试,使得中间气象视频处理网络的调试成本降低。
接下来介绍中间气象视频处理网络的调试过程,具体可以包括:
步骤310:将初始气象视频帧、调整气象视频帧和视频帧对象对应信息加载到中间气象视频处理网络,并获取中间气象视频处理网络基于视频帧对象对应信息,得到的初始气象视频帧中的示例初始对象在调整气象视频帧中的示例对应调整对象。
作为一种实施方式,将初始气象视频帧、调整气象视频帧和初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息,加载到中间气象视频处理网络进行调试。此时,中间气象视频处理网络可以在视频帧对象对应信息中获取示例初始对象的目标对应信息,将目标对应信息在调整气象视频帧中相关的调整对象作为示例初始对象的示例对应调整对象。
其中,初始气象视频帧与调整气象视频帧之间的视频帧对象对应信息包括初始气象视频帧中的所有对象与调整气象视频帧中的所有对象之间的对应信息,则可在视频帧对象对应信息中获取示例初始对象对应的对应信息,确定为目标对应信息,将目标对应信息在调整气象视频帧中相关的调整对象作为示例初始对象的对应的示例对应调整对象。
步骤320:获取中间气象视频处理网络得到的示例初始对象与示例对应调整对象之间的对象误差,并基于对象误差获取中间气象视频处理网络的调试误差。
通过对中间气象视频处理网络的调试,可以减少中间气象视频处理网络产生冗余的气象视频帧的可能性,例如,初始气象视频帧包括对象为[A、B、C],调整气象视频帧[A、B、C]对中间气象视频处理网络进行调试。通过初始气象视频帧[A、B、C],以及调整气象视频帧[A、B、C]对中间气象视频处理网络的调试,令调试完成的气象视频处理网络输出的气象视频帧产生[B]和[C]的可能性随气象视频帧产出的次数减少。例如,首次输出构建气象视频出现[B]的可能系数(例如概率)为α,再一次输出构建气象视频出现[B]的可能系数为β,第三次输出构建气象视频出现[B]的可能系数为γ,其中,γ<β<α,气象视频构建的轮次越多,气象视频处理网络输出的气象视频帧越不容易出现对象[B]。对应地,如果首次输出构建气象视频出现[C]的可能系数为a,再一次输出构建气象视频出现[C]的可能系数为b,第三次得到构建气象视频出现[C]的可能系数为c,其中,c<b<a,当气象视频构建次数越来越多,气象视频处理网络输出的气象视频帧中出现[C]的可能系数越来越低。此时,将初始气象视频帧、调整气象视频帧以及视频帧对象对应信息加载到中间气象视频处理网络之后,中间气象视频处理网络可以依据视频帧对象对应信息确定示例初始对象和该示例初始对象对应的示例对应调整对象,同时通过中间气象视频处理网络中的各个处理算子,学习示例初始对象与示例调整对象间的差别和对应联系,得到示例初始对象与示例调整对象间的对象误差。作为一种实施方式,中间气象视频处理网络获取示例初始对象与示例对应调整对象之间的对象误差后,通过所有对象误差得到初始气象视频帧与调整气象视频帧间的误差(代价),将其确定为中间气象视频处理网络的调试误差。
步骤330:基于调试误差优化中间气象视频处理网络的网络配置变量,并跳转至基于下一初始示例模板的示例初始对象和下一初始气象视频帧的调整气象视频帧中的示例对应调整对象,对网络配置变量优化后的中间气象视频处理网络再次进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。
其中,可以基于当前代的中间气象视频处理网络调试得到的调试误差,对中间气象视频处理网络的网络配置变量进行优化调节。进而,基于下一初始气象视频帧和下一初始气象视频帧对应的调整气象视频帧对网络配置变量优化后的中间气象视频处理网络再次进行网络调试,直到达到调试截止条件时停止调试。
本申请实施例提供的气象视频处理方法将初始气象视频帧、调整气象视频帧与视频帧对象对应信息加载到中间气象视频处理网络进行网络调试,基于示例初始对象与示例对应调整对象之间的对象误差,得到中间气象视频处理网络的调试误差,同时依据调试误差对中间气象视频处理网络进行迭代,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。本申请实施例中,依据初始气象视频帧与调整气象视频帧间的视频帧对象对应信息,在不约束调整气象视频帧的视频帧对象数量的前提下,完成要求调整气象视频帧与初始气象视频帧的视频帧对象数量相同的约束算法的重复运用,通过初始气象视频帧与调整气象视频帧对中间气象视频处理网络进行调试,使得调试完成的目标气象视频处理网络在气象视频构建时得到冗余的气象视频帧的可能系数变小,气象视频更加简介准确,提高用户观感,目标气象视频处理网络在冗余对象图像构建时的稳定性更高,气象视频处理网络的泛化性能更强。
下面介绍初始气象视频帧进行加噪调整得到调整气象视频帧的过程,具体可以包括以下步骤:
步骤410:获取备选加噪调整机制,在备选加噪调整机制中任意筛选一个或多个作为初始气象视频帧的加噪调整机制。
具体应用时,气象视频帧进行加噪调整的方式可以包括多种,可将完成气象视频帧的加噪调整生成的调整气象视频帧组合得到初始气象视频帧的备选加噪调整机制。其中,备选加噪调整机制例如包括随机加噪调整机制、同类对象加噪调整机制、对象删减加噪调整机制、对象填入加噪调整机制和对象位置挪动加噪调整机制等。此时,可在备选加噪调整机制中确定一个或多个作为初始气象视频帧的加噪调整机制,换言之,加噪调整机制包括备选加噪调整机制中的随机加噪调整机制、同类对象加噪调整机制、对象删减加噪调整机制、对象填入加噪调整机制和对象位置挪动加噪调整机制中的一个或多个。即加噪调整机制可包括备选加噪调整机制中的一加噪调整机制,或包括备选加噪调整机制中的多个加噪调整机制。
步骤420:基于加噪调整机制,获取初始气象视频帧中的调整初始对象,并对调整初始对象进行加噪调整处理,得到初始气象视频帧的调整气象视频帧。
作为一种实施方式,如果加噪调整机制为随机加噪调整机制,则在初始气象视频帧中获取第一任意初始对象作为调整初始对象,在事先部署的图像对象库中任意筛选第一图像对象库对象更换初始气象视频帧中的调整初始对象,得到初始气象视频帧的调整气象视频帧。其中,如果加噪调整机制包括备选加噪调整机制中包括的任意加噪调整机制,可在初始气象视频帧中任意筛选一个或多个对象,作为第一任意初始对象,将其确定为初始气象视频帧在随机加噪调整机制下的调整初始对象。此时,可在预设的对象构建得到的图像对象库中任意筛选一个或多个对象,将其确定为第一图像对象库对象,以及基于第一图像对象库对象对初始气象视频帧中的调整初始对象进行更换,得到初始气象视频帧在随机加噪调整机制下的调整气象视频帧。
作为一种实施方式,如果加噪调整机制为同类对象加噪调整机制,则在初始气象视频帧中获取第二任意初始对象作为调整初始对象,在事先部署的图像对象库中获取与调整初始对象类型一致的第二图像对象库对象更换初始气象视频帧中的调整初始对象,得到初始气象视频帧的调整气象视频帧。其中,当加噪调整机制包括备选加噪调整机制中包括的同类对象加噪调整机制时,可在初始气象视频帧中任意筛选一个或多个对象,将其确定为第二任意初始对象,同时将其确定为初始气象视频帧在同类对象加噪调整机制下的调整初始对象。此时,可将预设的图像对象库中的对象与调整初始对象进行类型(例如气象元素、环境元素、人物元素)对应,以获得和调整初始对象同类的对象,确定为与调整初始对象类型一致的第二图像对象库对象,以及基于第二图像对象库对象对初始气象视频帧中的调整初始对象进行更换,得到初始气象视频帧在同类对象加噪调整机制下的调整气象视频帧。
作为一种实施方式,如果加噪调整机制为对象删减加噪调整机制,则在初始气象视频帧中获取第三任意初始对象作为调整初始对象,并将调整初始对象从初始气象视频帧中清洗掉,得到初始气象视频帧的调整气象视频帧。其中,当加噪调整机制包括备选加噪调整机制中包括的对象删减加噪调整机制时,可在初始气象视频帧中任意筛选一个对象,将其确定为第三任意初始对象,将其确定为初始气象视频帧在对象删减加噪调整机制下的调整初始对象。此时,将初始气象视频帧中的调整初始对象进行清洗,得到初始气象视频帧在对象删减加噪调整机制下的调整气象视频帧。
作为一种实施方式,如果加噪调整机制为对象填入加噪调整机制,则在初始气象视频帧中获取第四任意初始对象作为调整初始对象,在事先部署的图像对象库中任意筛选第三图像对象库对象填入到调整初始对象在初始气象视频帧中的相关空间,得到初始气象视频帧的调整气象视频帧。其中,如果加噪调整机制包括备选加噪调整机制中的对象填入加噪调整机制,可在初始气象视频帧中任意筛选一个对象,将其确定为第四任意初始对象,以及确定为初始气象视频帧在对象填入加噪调整机制下的调整初始对象。此时,在预设的图像对象库中的任意筛选至少一个对象确定成第三图像对象库对象,将该第三图像对象库对象填入到调整初始对象在初始气象视频帧中的相关空间的位置上,得到初始气象视频帧在对象填入加噪调整机制下的调整气象视频帧。其中,相关空间位置可以是初始气象视频帧的视频帧先后次序下调整初始对象的上一帧对象分布信息或调整初始对象的后一帧对象分布信息。
作为一种实施方式,如果加噪调整机制包括备选加噪调整机制中包括的对象位置挪动加噪调整机制,则可在初始气象视频帧中任意筛选多个对象,确定成第五任意初始对象,将其确定为初始气象视频帧在对象对象位置挪动加噪调整机制下的调整初始对象。此时,对多个调整初始对象在初始气象视频帧中的位置进行变化(例如左上角换到右下角),得到初始气象视频帧在对象位置挪动加噪调整机制下的调整气象视频帧。
本申请实施例提供的气象视频处理方法,对基础气象视频处理网络进行调试得到中间气象视频处理网络,并对调试基础气象视频处理网络的初始气象视频帧进行加噪调整,得到初始气象视频帧的调整气象视频帧。获取初始气象视频帧和调整气象视频帧之间的视频帧对象对应信息,通过初始气象视频帧、调整气象视频帧以及视频帧对象对应信息对中间气象视频处理网络进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。本申请实施例通过初始气象视频帧和调整气象视频帧对中间气象视频处理网络进行调试,使得目标气象视频处理网络产生的气象视频帧及其构成的气象视频,内容更加简练准确,提高气象视频的质量,并增加目标气象视频处理网络在冗余对象图像构建过程中的稳定性,气象视频处理网络的普适性更强。
基于前述的实施例,本申请实施例提供一种气象视频处理装置,该装置所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(Central ProcessingUnit,CPU)、微处理器(Microprocessor Unit,MPU)、数字信号处理器(Digital SignalProcessor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
图3为本申请实施例提供的一种气象视频处理装置的组成结构示意图,如图3所示,气象视频处理装置200包括:
数据获取模块210,用于获取实时气象数据,将所述实时气象数据加载至目标气象视频处理网络;
网络执行模块220,用于通过所述目标气象视频处理网络构建与所述实时气象数据对应的气象视频并输出;
网络调试模块230,用于对所述目标气象视频处理网络进行调试,具体地,包括:通过初始气象视频帧对基础气象视频处理网络进行调试,得到中间气象视频处理网络;对所述初始气象视频帧进行加噪调整,得到所述初始气象视频帧的调整气象视频帧;获取所述初始气象视频帧和所述调整气象视频帧的视频帧对象对应信息;基于所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息,对所述中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的气象视频处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种气象视频构建系统,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
本申请实施例提供一种计算机程序,包括计算机可读代码,在所述计算机可读代码在计算机设备中运行的情况下,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一些实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
图4为本申请实施例提供的一种气象视频构建系统的硬件实体示意图,如图4所示,该气象视频构建系统1000的硬件实体包括:处理器1001和存储器1002,其中,存储器1002存储有可在处理器1001上运行的计算机程序,处理器1001执行程序时实现上述任一实施例的方法中的步骤。
存储器1002存储有可在处理器上运行的计算机程序,存储器1002配置为存储由处理器1001可执行的指令和应用,还可以缓存待处理器1001以及模型训练设备1000中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器1001执行程序时实现上述任一项的气象视频处理方法的步骤。处理器1001通常控制气象视频构建系统1000的总体操作。
本申请实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的气象视频处理方法的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。上述处理器可以为目标用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(DigitalSignal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种气象视频处理方法,其特征在于,应用于气象视频构建系统,所述方法包括:
获取实时气象数据,将所述实时气象数据加载至目标气象视频处理网络;
通过所述目标气象视频处理网络构建与所述实时气象数据对应的气象视频并输出;
其中,所述目标气象视频处理网络通过以下操作进行调试得到:
通过初始气象视频帧对基础气象视频处理网络进行调试,得到中间气象视频处理网络;
对所述初始气象视频帧进行加噪调整,得到所述初始气象视频帧的调整气象视频帧;
获取所述初始气象视频帧和所述调整气象视频帧的视频帧对象对应信息;
基于所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息,对所述中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络。
2.如权利要求1所述的方法,其特征在于,所述获取所述初始气象视频帧和所述调整气象视频帧的视频帧对象对应信息,包括:
获取所述中间气象视频处理网络构建冗余视频对象的约束算法,并基于所述约束算法确定所述初始气象视频帧与所述调整气象视频帧的对应机制;
基于所述对应机制,获取所述初始气象视频帧与所述调整气象视频帧的所述视频帧对象对应信息。
3.如权利要求2所述的方法,其特征在于,所述基于所述对应机制,获取所述初始气象视频帧与所述调整气象视频帧的所述视频帧对象对应信息,包括:
获取所述初始气象视频帧中的调整初始对象以及所述调整气象视频帧中的调整后对象;
如果所述对应机制指示所述初始气象视频帧的第一视频帧对象数量与所述调整气象视频帧的第二视频帧对象数量相同,获取所述调整初始对象在所述初始气象视频帧中的第一对象分布信息,所述调整后对象在所述调整气象视频帧中的第二对象分布信息,所述初始气象视频帧中的非调整初始对象的第三对象分布信息以及所述调整气象视频帧中非调整后对象的第四对象分布信息;
基于所述第一对象分布信息、所述第二对象分布信息、所述第三对象分布信息和所述第四对象分布信息,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息。
4.如权利要求3所述的方法,其特征在于,所述基于所述第一对象分布信息、所述第二对象分布信息、所述第三对象分布信息和所述第四对象分布信息,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息,包括:
生成所述第一对象分布信息和所述第二对象分布信息的第一分布信息对应关系以及所述第三对象分布信息和所述第四对象分布信息之间的第二分布信息对应关系;
依据所述第一分布信息对应关系和所述第二分布信息对应关系,获取所述初始气象视频帧和所述调整气象视频帧的所述视频帧对象对应信息。
5.如权利要求4所述的方法,其特征在于,所述基于所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息,对所述中间气象视频处理网络进行调试,以得到调试完成的目标气象视频处理网络,包括:
将所述初始气象视频帧、所述调整气象视频帧和所述视频帧对象对应信息加载到所述中间气象视频处理网络,并获取所述中间气象视频处理网络基于所述视频帧对象对应信息,得到的所述初始气象视频帧中的示例初始对象在所述调整气象视频帧中的示例对应调整对象;
获取所述中间气象视频处理网络得到的所述示例初始对象与所述示例对应调整对象之间的对象误差,并基于所述对象误差获取所述中间气象视频处理网络的调试误差;
基于所述调试误差优化所述中间气象视频处理网络的网络配置变量,并跳转至基于下一初始示例模板的示例初始对象和下一初始气象视频帧的调整气象视频帧中的示例对应调整对象,对网络配置变量优化后的中间气象视频处理网络再次进行调试,直到满足预设的调试停止条件,获得调试完成的目标气象视频处理网络。
6.如权利要求5所述的方法,其特征在于,所述基于所述视频帧对象对应信息,获取所述初始气象视频帧中的示例初始对象在所述调整气象视频帧中的示例对应调整对象,包括:
在所述视频帧对象对应信息中获取所述示例初始对象的目标对应信息,并将所述目标对应信息在所述调整气象视频帧中相关的调整对象作为所述示例初始对象的所述示例对应调整对象。
7.如权利要求1所述的方法,其特征在于,所述对所述初始气象视频帧进行加噪调整,得到所述初始气象视频帧的调整气象视频帧,包括:
获取备选加噪调整机制,在所述备选加噪调整机制中任意筛选一个或多个作为所述初始气象视频帧的所述加噪调整机制;
基于所述加噪调整机制,获取所述初始气象视频帧中的调整初始对象,并对所述调整初始对象进行加噪调整处理,得到所述初始气象视频帧的所述调整气象视频帧。
8.如权利要求7所述的方法,其特征在于,所述加噪调整机制,包括所述备选加噪调整机制中的随机加噪调整机制、同类对象加噪调整机制、对象删减加噪调整机制、对象填入加噪调整机制和对象位置挪动加噪调整机制中的一个或多个。
9.如权利要求8所述的方法,其特征在于,所述基于所述加噪调整机制,获取所述初始气象视频帧中的调整初始对象,并对所述调整初始对象进行加噪调整处理,得到所述初始气象视频帧的所述调整气象视频帧,包括:
如果所述加噪调整机制为随机加噪调整机制,获取所述初始气象视频帧中获取第一任意初始对象作为所述调整初始对象,在事先部署的图像对象库中任意筛选第一图像对象库对象更换所述初始气象视频帧中的所述调整初始对象,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为同类对象加噪调整机制,则从所述初始气象视频帧中获取第二任意初始对象作为所述调整初始对象,在事先部署的图像对象库中获取与所述调整初始对象类型一致的第二图像对象库对象更换所述初始气象视频帧中的所述调整初始对象,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象删减加噪调整机制,则从所述初始气象视频帧中获取第三任意初始对象作为所述调整初始对象,并将所述调整初始对象从所述初始气象视频帧中清洗掉,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象填入加噪调整机制,则从所述初始气象视频帧中获取第四任意初始对象作为所述调整初始对象,在事先部署的图像对象库中任意筛选第三图像对象库对象填入到所述调整初始对象在初始气象视频帧中的相关空间,得到所述初始气象视频帧的所述调整气象视频帧;
如果所述加噪调整机制为对象位置挪动加噪调整机制,从所述初始气象视频帧中获取第五任意初始对象作为所述调整初始对象,更改所述调整初始对象在所述初始气象视频帧中的位置,得到所述初始气象视频帧的所述调整气象视频帧。
10.一种气象视频构建系统,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
CN202310478657.8A 2023-04-28 2023-04-28 一种气象视频处理方法及系统 Active CN116437121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310478657.8A CN116437121B (zh) 2023-04-28 2023-04-28 一种气象视频处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310478657.8A CN116437121B (zh) 2023-04-28 2023-04-28 一种气象视频处理方法及系统

Publications (2)

Publication Number Publication Date
CN116437121A CN116437121A (zh) 2023-07-14
CN116437121B true CN116437121B (zh) 2023-10-13

Family

ID=87087253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310478657.8A Active CN116437121B (zh) 2023-04-28 2023-04-28 一种气象视频处理方法及系统

Country Status (1)

Country Link
CN (1) CN116437121B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807136A (zh) * 2019-10-22 2020-02-18 拉扎斯网络科技(上海)有限公司 数据处理方法、数据处理装置、存储介质和电子设备
CN111464810A (zh) * 2020-04-09 2020-07-28 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和计算机可读存储介质
KR20210030573A (ko) * 2019-09-10 2021-03-18 한국전자통신연구원 신경망 기반 해상 영상 내 기상효과 조절 방법 및 장치
CN113095586A (zh) * 2021-04-23 2021-07-09 华风气象传媒集团有限责任公司 一种基于深度神经网络的短临多气象要素预报方法
CN114186726A (zh) * 2021-11-29 2022-03-15 北京百度网讯科技有限公司 气象数据处理方法、基于气象数据的提示方法及装置
CN114332715A (zh) * 2021-12-30 2022-04-12 武汉华信联创技术工程有限公司 气象自动观测积雪识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210030573A (ko) * 2019-09-10 2021-03-18 한국전자통신연구원 신경망 기반 해상 영상 내 기상효과 조절 방법 및 장치
CN110807136A (zh) * 2019-10-22 2020-02-18 拉扎斯网络科技(上海)有限公司 数据处理方法、数据处理装置、存储介质和电子设备
CN111464810A (zh) * 2020-04-09 2020-07-28 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和计算机可读存储介质
CN113095586A (zh) * 2021-04-23 2021-07-09 华风气象传媒集团有限责任公司 一种基于深度神经网络的短临多气象要素预报方法
CN114186726A (zh) * 2021-11-29 2022-03-15 北京百度网讯科技有限公司 气象数据处理方法、基于气象数据的提示方法及装置
CN114332715A (zh) * 2021-12-30 2022-04-12 武汉华信联创技术工程有限公司 气象自动观测积雪识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116437121A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111434112B (zh) 全局匹配patch的获取方法及装置
CN110889381B (zh) 换脸方法、装置、电子设备及存储介质
US11055828B2 (en) Video inpainting with deep internal learning
US10360899B2 (en) Method and device for processing speech based on artificial intelligence
US10728553B2 (en) Visual quality preserving quantization parameter prediction with deep neural network
CN110189246B (zh) 图像风格化生成方法、装置及电子设备
US10795691B2 (en) System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
CN107180443B (zh) 一种手绘动画生成方法及其装置
CN116416342B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN106780363A (zh) 一种图片处理方法、装置及电子设备
CN112204574A (zh) 使用卷积神经网络来重建场景的方法、系统、制品和装置
CN111145318A (zh) 一种基于ngui的渲染方法及装置
CN116095355A (zh) 视频显示控制方法及其装置、设备、介质、产品
CN111277827A (zh) 一种视频数据处理方法、装置、设备以及可读存储介质
CN116437121B (zh) 一种气象视频处理方法及系统
CN112231020B (zh) 模型切换方法和装置、电子设备和存储介质
CN113938685B (zh) 面向大规模图像存储的认知型软件可调整图像编码装置
CN115082821A (zh) 过渡帧的生成方法、装置、电子设备及存储介质
CN116798052B (zh) 文本识别模型的训练方法和装置、存储介质及电子设备
CN113011555B (zh) 一种数据处理方法、装置、设备及存储介质
CN117523060B (zh) 元宇宙数字人的画质处理方法、装置、设备及存储介质
US20230104977A1 (en) Adaptive mode selection for point cloud compression
US20240020880A1 (en) Estimation of density distortion metric for processing of point cloud geometry
WO2024013600A1 (en) Estimation of density distortion metric for processing of point cloud geometry
CN118612445A (zh) 一种视频编解码方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant