CN112634151A - 基于泊松融合的烟雾数据增强方法、增强设备和存储介质 - Google Patents

基于泊松融合的烟雾数据增强方法、增强设备和存储介质 Download PDF

Info

Publication number
CN112634151A
CN112634151A CN202011468156.4A CN202011468156A CN112634151A CN 112634151 A CN112634151 A CN 112634151A CN 202011468156 A CN202011468156 A CN 202011468156A CN 112634151 A CN112634151 A CN 112634151A
Authority
CN
China
Prior art keywords
smoke
picture
chimney
enhanced
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011468156.4A
Other languages
English (en)
Inventor
申燚
欧阳一村
邢军华
许文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN202011468156.4A priority Critical patent/CN112634151A/zh
Publication of CN112634151A publication Critical patent/CN112634151A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供了一种基于泊松融合的烟雾数据增强方法、增强设备和存储介质,基于泊松融合的烟雾数据增强方法包括:获取图像数据集;获取待增强图片;判断待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果;若第一烟雾判断结果为是,根据图像数据集,确定烟雾图像数据;通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。本发明提供的基于泊松融合的烟雾数据增强方法的实施例,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力。

Description

基于泊松融合的烟雾数据增强方法、增强设备和存储介质
技术领域
本发明涉及数据增强应用技术领域,具体而言,涉及一种基于泊松融合的烟雾数据增强方法、一种烟雾数据增强设备和一种可读存储介质。
背景技术
随着政府对环境管控的力度越来越大,对实现一个良好的空气环境越来越重视,希望通过深度学习方法来更好的发现违规排放等造成污染的行为。为了能够增加深度学习所需的样本量,并提高深度学习的效果,需要通过对数据进行增强,以增加数据的多样性。现有技术中,数据增强的方法主要是使用几何变换方法进行增强或使用颜色变换方法实现增强,但无论几何变换方法还是颜色变换方法,数据增强的效果都不理想,无法满足深度学习对学习样本的需求。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
有鉴于此,本发明实施例的第一方面提供了一种基于泊松融合的烟雾数据增强方法。
本发明实施例的第二方面提供了一种烟雾数据增强设备。
本发明实施例的第三方面提供了一种可读存储介质。
为了实现上述目的,本发明第一方面的实施例提供了一种基于泊松融合的烟雾数据增强方法,包括:获取图像数据集;获取待增强图片;判断待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果;若第一烟雾判断结果为是,根据图像数据集,确定烟雾图像数据;通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。
根据本发明第一方面的实施例提供的基于泊松融合的烟雾数据增强方法,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。可以理解,当目标烟囱上方没有烟雾图像或烟雾与烟囱距离较远,则该目标烟囱为无烟状态。若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。进一步地,由于图像数据集中存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
另外,本发明提供的上述方案中的基于泊松融合的烟雾数据增强方法还可以具有如下附加技术特征:
上述技术方案中,判断待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果,具体包括:获取待增强图片对应的图像标签文件;通过图像标签文件,确定待增强图片中的图片烟囱数据及图片烟雾数据;根据图片烟囱数据及图片烟雾数据,判断待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果。
在该技术方案中,为了判断目标烟囱的状态是否为无烟状态,首先获取待增强图片对应的图像标签文件。图像标签文件为记录待增强图片的数据文件,通常为扩展标记语言文件。图像标签文件记录了待增强图片中烟囱的数量信息和各烟囱的位置信息,以及待增强图片中烟雾的数量信息。其中,图片烟囱数量为待增强图片中烟囱的数量,图片烟雾数据为待增强图片中烟雾的数量。
可以理解,当图片烟雾数据小于图片烟囱数量,则增强图片中的必然有目标烟囱为无烟状态,需要对无烟的目标烟囱进行补烟。
上述技术方案中,若第一烟雾判断结果为是,根据图像数据集,确定烟雾图像数据,具体包括:对图像数据集进行随机抽取,确定烟雾图像数据。
在该技术方案中,图像数据集中包括大量烟雾图像数据,对图像数据集中的烟雾图像数据进行随机抽取,以获取到一幅烟雾图像数据,用于与待增强图片进行泊松融合。由于烟囱图像数据从图像数据集中随机抽取出来,可以保证融合后的增强图片的多样性,实现样本的均衡。
上述技术方案中,根据图片烟囱数据及图片烟雾数据,判断待增强图片中的目标烟囱是否为无烟状态,确定第一烟雾判断结果,具体包括:获取图片烟雾数据的烟雾最高位置和图片烟囱数据的烟囱最低位置;根据烟囱最低位置、烟雾最高位置,以及最大允许距离,确定第一烟雾判断结果。
在该技术方案中,当已获取到待增强图片对应的图像标签文件后,可以通过图像标签文件获取图片烟雾数据的烟雾最高位置和图片烟囱数据的烟囱最低位置,其中烟雾最高位置为烟雾的最上端的位置坐标,烟囱最低位置为待增强图片中烟囱的底部位置的坐标。最大允许距离为烟雾的最上端与烟囱的底部之间距离的最大允许值。
当图片在拍摄时风很小,烟雾不会受到风的影响,基本都是处于烟囱的正上方,因此如果判断烟雾最高位置和烟囱最低位置之间的距离小于最大允许距离,则说明烟雾与烟囱之间的距离较近,该烟雾属于该烟囱,第一烟雾判断结果为否。
上述技术方案中,根据图片烟囱数据及图片烟雾数据,判断待增强图片中的目标烟囱是否为无烟状态,确定第一烟雾判断结果,还包括:获取图片烟囱数据的烟囱最左位置和烟囱最右位置;获取图片烟雾数据的烟雾最右位置;根据烟囱最左位置和烟囱最右位置,以及烟雾最右位置,确定第一烟雾判断结果。
在该技术方案中,烟囱最左位置和烟囱最右位置为待增强图片中烟囱的最左侧位置坐标和最右侧位置坐标,烟雾最右位置为待增加图片中烟雾的最右侧位置坐标。可以理解,当图片在拍摄的时候风较大,烟雾的漂浮方向必然会受到风的影响,并不处于烟囱正上方。可能飘在烟囱的某一侧。因此判断当烟雾最右位置处于烟囱最左位置和烟囱最右位置之间位置时,该烟雾属于该烟囱,第一烟雾判断结果为否。
上述技术方案中根据图片烟囱数据及图片烟雾数据,判断待增强图片中的目标烟囱是否为无烟状态,确定第一烟雾判断结果,还包括:获取图片烟囱数据的烟囱最左位置和烟囱最右位置;获取图片烟雾数据的烟雾最左位置;根据烟囱最左位置和烟囱最右位置,以及烟雾最左位置,确定第一烟雾判断结果。
在该技术方案中,烟囱最左位置和烟囱最右位置为待增强图片中烟囱的最左侧位置坐标和最右侧位置坐标,烟雾最左位置为待增加图片中烟雾的最右侧位置坐标。可以理解,当图片在拍摄的时候风较大,烟雾的漂浮方向必然会受到风的影响,并不处于烟囱正上方。可能飘在烟囱的某一侧。因此判断当烟雾最左位置处于烟囱最左位置和烟囱最右位置之间位置时,该烟雾属于该烟囱,第一烟雾判断结果为否。
上述技术方案中,判断待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果之前,还包括:根据图片烟囱数据,判断待增强图片中的目标烟囱的数量是否小于第一烟囱数量,生成烟囱数量判断结果;若烟囱数量判断结果为是,则对图像数据集进行随机抽取,确定烟囱图像数据;将烟囱图像数据与待增强图片进行融合,对待增强图片增加目标烟囱。
在该技术方案中,第一烟囱数量为针对待增强图片中的目标烟囱的数量设置了下限值,以增加待增强图片中目标烟囱的数量。这里需要说明的是,通过增加待增强图片中目标烟囱的数量,可以提高增强图片的数据多样性。其中,第一烟囱数量可以根据需求进行设定,以满足增强图片的需求。
进一步地,当待增强图片中的目标烟囱数量增加后,可以再从图像数据集中抽取烟雾图像数据,与新增加的目标烟囱进行融合。
上述技术方案中,通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片,具体包括:获取烟雾图像数据的烟雾类别和图像参数;根据烟雾类别、图像参数和待增强图片确定融合位置中心;根据待增强图片和融合位置中心,生成增强图片。
在该技术方案中,在将烟雾图像数据与待增强图片进行泊松融合前,首先要获取烟雾图像数据中的烟雾类别和图像参数。烟雾类别为烟雾受风向的影响产生的飘浮方向,分为向上烟雾、向左烟雾和向右烟雾。烟雾图像数据中的图像参数,主要为烟雾图像的长、宽等数据信息。在与待增强图片进行图像融合时,可以根据待增强图片中目标烟囱和烟雾图像数据,共同确定融合位置中心,并进一步进行泊松融合,最终生成增强图片。
上述技术方案中,图像参数包括:烟雾图像高度和烟雾图像宽度;根据烟雾类别和图像参数确定融合位置中心具体包括:获取待增强图片中目标烟囱的烟囱左上角坐标、烟囱右上角坐标、烟囱顶部中心坐标;判断烟雾类别是否为向上烟雾,生成第一烟雾类别判断结果;若第一烟雾类别判断结果为是,根据烟雾图像高度和烟囱顶部中心坐标,确定融合位置中心;或判断烟雾类别是否为向左烟雾,生成第二烟雾类别判断结果;若第二烟雾类别判断结果为是,根据烟雾图像高度、烟雾图像宽度和烟囱右上角坐标,确定融合位置中心;或判断烟雾是否为向右烟雾,生成第三烟雾类别判断结果;若第三烟雾类别判断结果为是,根据烟雾图像高度、烟雾图像宽度和烟囱左上角坐标,确定融合位置中心。
在该技术方案中,首先获取待增强图片中目标烟囱的烟囱左上角坐标、烟囱右上角坐标、烟囱顶部中心坐标;根据烟雾图像数据,以及目标烟囱的位置数据,可以确定融合位置中心。其中,烟雾图像数据包括烟雾类型、烟雾图像高度和烟雾图像宽宽度。烟雾的类型包括向上烟雾、向左烟雾和向右烟雾。
烟雾类别为向上烟雾,即烟雾为竖直向上的烟雾,因此,融合中心的位置为烟囱顶部中心坐标加上烟雾图像高度的一半。其中,烟囱顶部中心坐标,即烟囱顶部宽度中心的坐标,设置融合中心位置为烟囱顶部中心坐标加烟雾图像高度的一半,可以使得烟雾的下方刚好与烟囱上方相连,图像融合的效果最好。
进一步地,烟雾类别为向左烟雾,设置融合中心的横向坐标为烟囱右上角的横向坐标加烟雾宽度的一半,融合中心的纵向坐标为烟囱右上角的纵向坐标加烟雾高度的一半,可以使得烟雾能够与目标烟囱很好的匹配,并体现烟雾向左飘的特性。
进一步地,烟雾类别为向右烟雾,设置融合中心的横向坐标为烟囱左上角的横向坐标加烟雾宽度的一半,融合中心的纵向坐标为烟囱左上角的纵向坐标加烟雾高度的一半,可以使得烟雾能够与目标烟囱很好的匹配,并体现烟雾向右飘的特性。
需要说明的是,在确定融合中心位置前,可以先对烟雾图像数据进行随机缩放,并改变烟雾图像高度和烟雾图像宽度,再进行确定融合中心位置。
本发明第二方面的实施例提供了一种烟雾数据增强设备,包括:处理器和存储器,存储器中存储有计算机程序,处理器用于在执行计算机程序时以实现上述第一方面实施例任一项基于泊松融合的烟雾数据增强方法的步骤。故而具有上述第一方面实施例任一有益效果,在此不再赘述。
本发明第三方面的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时能够实现如上述第一方面实施例中任一基于泊松融合的烟雾数据增强方法的步骤,因而具有上述任一实施例中的任一有益效果,在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
图1示出了根据本发明的一个实施例的基于泊松融合的烟雾数据增强方法的流程示意图;
图2示出了根据本发明的一个实施例的基于泊松融合的烟雾数据增强方法的流程示意图;
图3示出了根据本发明的一个实施例的基于泊松融合的烟雾数据增强方法的流程示意图;
图4示出了根据本发明的一个实施例的基于泊松融合的烟雾数据增强方法的流程示意图;
图5示出了根据本发明的一个实施例的基于泊松融合的烟雾数据增强方法的流程示意图;
图6示出了根据本发明的一个实施例的待增强图片的示意图;
图7示出了根据本发明的一个实施例的烟雾图像数据示意图;
图8示出了根据本发明的一个实施例的增强图片的示意图。
其中,图6至图8中附图标记与部件名称之间的对应关系为:
802:待增强图片;804:目标烟囱;806:烟雾图像数据;808:烟雾图像;810:增强图片。
具体实施方式
为了能够更清楚地理解本发明的实施例的上述目的、特征和优点,下面结合附图和具体实施方式对本发明的实施例进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是,本发明的实施例还可以采用其他不同于在此描述的其他方式来实施,因此,本申请的保护范围并不限于下面公开的具体实施例的限制。
下面参照图1至图8描述根据本发明的一些实施例。
实施例一
如图1所示,本实施例提出一种基于泊松融合的烟雾数据增强方法,具体包括:
步骤S102:获取图像数据集;
步骤S104:获取待增强图片;
步骤S106:判断待增强图片中的目标烟囱是否为无烟状态;
若步骤S106的判断结果为是,则执行步骤S108:根据图像数据集,确定烟雾图像数据;若步骤S106的判断结果为否,则结束;
步骤S110:通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。
本实施例在对待增强图片进行增强时,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。可以理解,当目标烟囱上方没有烟雾图像或烟雾与烟囱距离较远,则该目标烟囱为无烟状态。若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。进一步地,由于图像数据集中的存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
实施例二
如图2所示,本实施例提出一种基于泊松融合的烟雾数据增强方法,具体包括:
步骤S202:获取图像数据集;
步骤S204:获取待增强图片;
步骤S206:获取待增强图片对应的图像标签文件;
步骤S208:通过图像标签文件,确定待增强图片中的图片烟囱数据及图片烟雾数据;
步骤S210:根据图片烟囱数据及图片烟雾数据,判断待增强图片中的目标烟囱是否为无烟状态;
若步骤210的判断结果为是,则执行步骤S212:根据图像数据集,确定烟雾图像数据;若步骤210的判断结果为否,则结束;
步骤S214:通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。
本实施例在对待增强图片进行增强时,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。
为了判断目标烟囱的状态是否为无烟状态,首先获取待增强图片对应的图像标签文件。图像标签文件为记录待增强图片的数据文件,通常为扩展标记语言文件。图像标签文件记录了待增强图片中烟囱的数量信息和各烟囱的位置信息,以及待增强图片中烟雾的数量信息。其中,图片烟囱数量为待增强图片中烟囱的数量,图片烟雾数据为待增强图片中烟雾的数量。
若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。
进一步地,由于图像数据集中包括大量烟雾图像数据,对图像数据集中的烟雾图像数据进行随机抽取,以获取到一幅烟雾图像数据,用于与待增强图片进行泊松融合。由于图像数据集中的存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
实施例三
如图3所示,本实施例提出一种基于泊松融合的烟雾数据增强方法,具体包括:
步骤S302:获取图像数据集;
步骤S304:获取待增强图片;
步骤S306:获取待增强图片对应的图像标签文件;
步骤S308:通过图像标签文件,确定待增强图片中的图片烟囱数据及图片烟雾数据;
步骤S310:获取图片烟雾数据的烟雾最高位置,烟雾最右位置,烟雾最左位置,图片烟囱数据的烟囱最低位置,烟囱最左位置,烟囱最右位置;
步骤S312:判断烟囱最低位置与烟雾最高位置差值的绝对值是否小于最大允许距离;
若步骤S312的判断结果为否,则执行步骤S314:判断是否烟雾最右位置处于烟囱最左位置与最右位置之间;若步骤S312的判断结果为是,则结束;
若步骤S314的判断结果为否,则执行步骤S316:判断是否烟雾最左位置处于烟囱最左位置与最右位置之间;若步骤S314的判断结果为是,则结束;
若步骤S316的判断结果为否,则执行步骤S318:根据图像数据集,确定烟雾图像数据;若步骤S316的判断结果为是,则结束;
步骤S320:通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。
本实施例在对待增强图片进行增强时,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。
为了判断目标烟囱的状态是否为无烟状态,首先获取待增强图片对应的图像标签文件。图像标签文件为记录待增强图片的数据文件,通常为扩展标记语言文件。图像标签文件记录了待增强图片中烟囱的数量信息和各烟囱的位置信息,以及待增强图片中烟雾的数量信息。其中,图片烟囱数量为待增强图片中烟囱的数量,图片烟雾数据为待增强图片中烟雾的数量。
进一步地,当已获取到待增强图片对应的图像标签文件后,可以通过图像标签文件获取图片烟雾数据的烟雾最高位置和图片烟囱数据的烟囱最低位置,其中烟雾最高位置为烟雾的最上端的位置坐标,烟囱最低位置为待增强图片中烟囱的底部位置的坐标。最大允许距离为烟雾的最上端与烟囱的底部之间距离的最大允许值。
当图片在拍摄时风很小,烟雾不会受到风的影响,基本都是处于烟囱的正上方,因此如果判断烟雾最高位置和烟囱最低位置之间的距离小于最大允许距离,则说明烟雾与烟囱之间的距离较近,该烟雾属于该烟囱,第一烟雾判断结果为否,即该目标烟囱上方有烟雾,不需要进行补烟。
进一步地,烟囱最左位置和烟囱最右位置为待增强图片中烟囱的最左侧位置坐标和最右侧位置坐标,烟雾最右位置为待增加图片中烟雾的最右侧位置坐标。烟雾最左位置为待增加图片中烟雾的最右侧位置坐标。可以理解,当图片在拍摄的时候风较大,烟雾的漂浮方向必然会受到风的影响,并不处于烟囱正上方。可能飘在烟囱的某一侧。因此判断只要烟雾最右位置或最左位置处于烟囱最左位置和烟囱最右位置之间位置时,该烟雾属于该烟囱,第一烟雾判断结果为否,即该目标烟囱上方有烟雾,不需要进行补烟。
可以理解,当第一烟雾判断结果为是,即烟雾既不在烟囱上方较近位置,也不处于烟囱的左右位置之间,说明该目标烟囱没有烟雾,为无烟状态。
若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。
进一步地,由于图像数据集中包括大量烟雾图像数据,对图像数据集中的烟雾图像数据进行随机抽取,以获取到一幅烟雾图像数据,用于与待增强图片进行泊松融合。由于图像数据集中的存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
实施例四
如图4所示,本实施例提出一种基于泊松融合的烟雾数据增强方法,具体包括:
步骤S402:获取图像数据集;
步骤S404:获取待增强图片;
步骤S406:根据图片烟囱数据,判断待增强图片中的目标烟囱的数量是否小于第一烟囱数量;
若步骤S406的判断结果为是,则执行步骤S408:对图像数据集进行随机抽取,确定烟囱图像数据;
步骤S410:将烟囱图像数据与待增强图片进行融合,对待增强图片增加目标烟囱;
若步骤S406的判断结果为否,则执行步骤S412:判断待增强图片中的目标烟囱是否为无烟状态;
若步骤S412的判断结果为是,则执行步骤S414:根据图像数据集,确定烟雾图像数据;若步骤S412的判断结果为否,则结束;
步骤S416:通过泊松融合方法,将烟雾图像数据与待增强图片进行泊松融合,生成增强图片。
本实施例在对待增强图片进行增强时,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。
进一步地,待增强图片中的目标烟囱的数量的下限值为第一烟囱数量,设置第一烟囱数量,以便增加待增强图片中目标烟囱的数量。这里需要说明的是,通过增加待增强图片中目标烟囱的数量,可以提高增强图片的数据多样性。其中,第一烟囱数量可以根据需求进行设定,以满足增强图片的需求。
进一步地,当待增强图片中的目标烟囱数量增加后,可以再从图像数据集中抽取烟雾图像数据,与新增加的目标烟囱进行融合。
通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。可以理解,当目标烟囱上方没有烟雾图像或烟雾与烟囱距离较远,则该目标烟囱为无烟状态。若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。进一步地,由于图像数据集中的存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
实施例五
如图5所示,本实施例提出一种基于泊松融合的烟雾数据增强方法,具体包括:
步骤S502:获取图像数据集;
步骤S504:获取待增强图片;
步骤S506:判断待增强图片中的目标烟囱是否为无烟状态;
若步骤S506的判断结果为是,则执行步骤S508:根据图像数据集,确定烟雾图像数据;若步骤S506的判断结果为否,则结束;
步骤S510:根据烟雾图像数据和目标烟囱的位置数据,确定融合位置中心;
步骤S512:根据待增强图片、烟雾图像数据和融合位置中心,生成增强图片。
本实施例在对待增强图片进行增强时,首先获取图像数据集,并获取待增强图片。其中,图像数据集为保存有大量烟囱图像数据和烟雾图像数据的图像数据集,待增强图片为当前拍摄到的烟囱及烟雾的照片。该照片可以作为烟雾排放图像的深度学习模型的学习样本。待增强图片中可以有目标烟囱,以及烟雾的图像。目标烟囱为待增强图片中的烟囱。通过判断目标烟囱上方是否有烟雾,可以判断该目标烟囱是否为无烟状态。可以理解,当目标烟囱上方没有烟雾图像或烟雾与烟囱距离较远,则该目标烟囱为无烟状态。若该目标烟囱为无烟状态,那么需要为该目标烟囱添加烟雾图像,以使待增强图片可以成为深度学习样本。图像数据集中保存有大量烟囱图像数据和烟雾图像数据,可以从图像数据集中选取烟雾图像数据,与待增强图片进行融合,为目标烟囱上方增加烟雾,生成增强图片。在与待增强图片进行融合时,采用泊松融合的方法,进行图片的融合,可以实现目标烟囱与烟雾图像的无缝融合效果。
进一步地,在将烟雾图像与目标烟囱进行融合时,首先要确定烟雾图像的融合位置中心。
其中,在确定烟雾图像的融合位置中心时,首先要根据烟雾图像数据,确定烟雾图像的类别。烟雾图像的类别分为向上烟雾、向左烟雾和向右烟雾,不同的烟雾图像类别对应的融合位置中心的确定方法不同。
烟雾类别为向上烟雾,即烟雾为竖直向上的烟雾,因此,融合中心的位置为烟囱顶部中心坐标加上烟雾图像高度的一半。其中,烟囱顶部中心坐标,即烟囱顶部宽度中心的坐标,设置融合中心位置为烟囱顶部中心坐标加烟雾图像高度的一半,可以使得烟雾的下方刚好与烟囱上方相连,图像融合的效果最好。
进一步地,烟雾类别为向左烟雾,设置融合中心的横向坐标为烟囱右上角的横向坐标加烟雾宽度的一半,融合中心的纵向坐标为烟囱右上角的纵向坐标加烟雾高度的一半,可以使得烟雾能够与目标烟囱很好的匹配,并体现烟雾向左飘的特性。
进一步地,烟雾类别为向右烟雾,设置融合中心的横向坐标为烟囱左上角的横向坐标加烟雾宽度的一半,融合中心的纵向坐标为烟囱左上角的纵向坐标加烟雾高度的一半,可以使得烟雾能够与目标烟囱很好的匹配,并体现烟雾向右飘的特性。
进一步地,根据待增强图片、烟雾图像数据和融合位置中心,可以为烟雾图像置于待增强图片的对应位置上,对烟雾图像和待增强图片进行泊松融合,生成增强图片。
本实施例中,待增强图片802如图6所示,右侧的目标烟囱804上方没有烟雾,需要在其上方增加烟雾。从图像数据集中,提取烟雾图像数据806,如图7所示,可以看出,烟雾图像808为向左烟雾。在本实施例中,确定融合位置中心前,对烟雾图像数据806进行缩小。如图8所示,通过确定融合位置中心,把烟雾图像808置于待增强图片802中,并进一步进行泊松融合,最终生成增强图片810,可以看出,烟雾图像808与目标烟囱804很好的融合。
实施例六
一种烟雾数据增强设备,包括:处理器和存储器,存储器中存储有计算机程序,处理器用于在执行计算机程序时以实现上述第一方面实施例任一项基于泊松融合的烟雾数据增强方法的步骤。故而具有上述第一方面实施例任一有益效果,在此不再赘述。
实施例七
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时能够实现如上述第一方面实施例中任一基于泊松融合的烟雾数据增强方法的步骤,因而具有上述任一实施例中的任一有益效果,在此不再赘述。
根据本发明的基于泊松融合的烟雾数据增强方法的实施例,图像数据集中的存有大量形态的烟雾图像,对不同烟雾图像与目标烟囱进行图像的泊松融合,可以提高增强图片的多样性,提升深度学习模型的泛化能力,实现深度学习样本的均衡。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于泊松融合的烟雾数据增强方法,其特征在于,包括:
获取图像数据集;
获取待增强图片;
判断所述待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果;
若所述第一烟雾判断结果为是,根据所述图像数据集,确定烟雾图像数据;
通过泊松融合方法,将所述烟雾图像数据与所述待增强图片进行泊松融合,生成增强图片。
2.根据权利要求1所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述判断所述待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果,具体包括:
获取所述待增强图片对应的图像标签文件;
通过所述图像标签文件,确定所述待增强图片中的图片烟囱数据及图片烟雾数据;
根据所述图片烟囱数据及所述图片烟雾数据,判断所述待增强图片中的所述目标烟囱是否为所述无烟状态,确定所述第一烟雾判断结果。
3.根据权利要求2所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述若所述第一烟雾判断结果为是,根据所述图像数据集,确定烟雾图像数据,具体包括:
对所述图像数据集进行随机抽取,确定所述烟雾图像数据。
4.根据权利要求2所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述根据所述图片烟囱数据及所述图片烟雾数据,判断所述待增强图片中的所述目标烟囱是否为所述无烟状态,确定所述第一烟雾判断结果,具体包括:
获取所述图片烟雾数据的烟雾最高位置和所述图片烟囱数据的烟囱最低位置,以及最大允许距离;
根据所述烟囱最低位置、所述烟雾最高位置,以及所述最大允许距离,确定第一烟雾判断结果。
5.根据权利要求2所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述根据所述图片烟囱数据及所述图片烟雾数据,判断所述待增强图片中的所述目标烟囱是否为所述无烟状态,确定所述第一烟雾判断结果,还包括:
获取所述图片烟囱数据的烟囱最左位置和烟囱最右位置;
获取所述图片烟雾数据的烟雾最右位置;
根据所述烟囱最左位置和所述烟囱最右位置,以及所述烟雾最右位置,确定第一烟雾判断结果。
6.根据权利要求2所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述根据所述图片烟囱数据及所述图片烟雾数据,判断所述待增强图片中的所述目标烟囱是否为无烟状态,确定所述第一烟雾判断结果,还包括:
获取所述图片烟囱数据的烟囱最左位置和烟囱最右位置;
获取所述图片烟雾数据的烟雾最左位置;
根据所述烟囱最左位置和所述烟囱最右位置,以及所述烟雾最左位置,确定第一烟雾判断结果。
7.根据权利要求1所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述判断所述待增强图片中的目标烟囱是否为无烟状态,生成第一烟雾判断结果之前,还包括:
根据图片烟囱数据,判断所述待增强图片中的所述目标烟囱的数量是否小于第一烟囱数量,生成烟囱数量判断结果;
若所述烟囱数量判断结果为是,则对所述图像数据集进行随机抽取,确定烟囱图像数据;
将所述烟囱图像数据与所述待增强图片进行融合,对所述待增强图片增加所述目标烟囱。
8.根据权利要求1所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述通过泊松融合方法,将所述烟雾图像数据与所述待增强图片进行泊松融合,生成增强图片,具体包括:
获取所述烟雾图像数据的烟雾类别和图像参数;
根据所述烟雾类别、所述图像参数和待增强图片确定融合位置中心;
根据所述待增强图片和所述融合位置中心,生成所述增强图片。
9.根据权利要求8所述的基于泊松融合的烟雾数据增强方法,其特征在于,所述图像参数包括:烟雾图像高度和烟雾图像宽度;所述根据所述烟雾类别和所述图像参数确定融合位置中心具体包括:
获取所述待增强图片中所述目标烟囱的烟囱左上角坐标、烟囱右上角坐标、烟囱顶部中心坐标;
判断所述烟雾类别是否为向上烟雾,生成第一烟雾类别判断结果;
若所述第一烟雾类别判断结果为是,根据所述烟雾图像高度和所述烟囱顶部中心坐标,确定融合位置中心;或
判断所述烟雾类别是否为向左烟雾,生成第二烟雾类别判断结果;
若所述第二烟雾类别判断结果为是,根据所述烟雾图像高度、所述烟雾图像宽度和所述烟囱右上角坐标,确定融合位置中心;或
判断所述烟雾是否为向右烟雾,生成第三烟雾类别判断结果;
若所述第三烟雾类别判断结果为是,根据所述烟雾图像高度、所述烟雾图像宽度和所述烟囱左上角坐标,确定融合位置中心。
10.一种烟雾数据增强设备,其特征在于,包括:
处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于在执行所述计算机程序时以实现如权利要求1至9中任一项所述的基于泊松融合的烟雾数据增强方法的步骤。
11.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的基于泊松融合的烟雾数据增强方法的步骤。
CN202011468156.4A 2020-12-14 2020-12-14 基于泊松融合的烟雾数据增强方法、增强设备和存储介质 Pending CN112634151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011468156.4A CN112634151A (zh) 2020-12-14 2020-12-14 基于泊松融合的烟雾数据增强方法、增强设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011468156.4A CN112634151A (zh) 2020-12-14 2020-12-14 基于泊松融合的烟雾数据增强方法、增强设备和存储介质

Publications (1)

Publication Number Publication Date
CN112634151A true CN112634151A (zh) 2021-04-09

Family

ID=75313710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011468156.4A Pending CN112634151A (zh) 2020-12-14 2020-12-14 基于泊松融合的烟雾数据增强方法、增强设备和存储介质

Country Status (1)

Country Link
CN (1) CN112634151A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法,存储装置及服务器

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309407B1 (ko) * 2012-11-20 2013-09-17 신현기 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법
US20160307424A1 (en) * 2015-02-19 2016-10-20 Smoke Detective, Llc Smoke Detection System and Method Using a Camera
CN107274374A (zh) * 2017-07-03 2017-10-20 辽宁科技大学 一种基于计算机视觉技术的烟雾监测方法
CN108764264A (zh) * 2018-03-16 2018-11-06 深圳中兴网信科技有限公司 烟雾检测方法、烟雾检测系统及计算机装置
CN109522965A (zh) * 2018-11-27 2019-03-26 天津工业大学 一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法
CN110322659A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种烟雾检测方法
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN111461997A (zh) * 2020-03-09 2020-07-28 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
US20200349687A1 (en) * 2018-12-04 2020-11-05 SZ DJI Technology Co., Ltd. Image processing method, device, unmanned aerial vehicle, system, and storage medium
CN111931799A (zh) * 2019-05-13 2020-11-13 百度在线网络技术(北京)有限公司 图像识别方法及装置
CN112037158A (zh) * 2020-07-22 2020-12-04 四川长宁天然气开发有限责任公司 一种基于页岩气田生产设备图像增强标注方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309407B1 (ko) * 2012-11-20 2013-09-17 신현기 블록 단위 영상 기반의 화재감지 카메라 및 센서를 이용한 복합 화재 감지기, 화재 감지 시스템 및 그 방법
US20160307424A1 (en) * 2015-02-19 2016-10-20 Smoke Detective, Llc Smoke Detection System and Method Using a Camera
CN107274374A (zh) * 2017-07-03 2017-10-20 辽宁科技大学 一种基于计算机视觉技术的烟雾监测方法
CN108764264A (zh) * 2018-03-16 2018-11-06 深圳中兴网信科技有限公司 烟雾检测方法、烟雾检测系统及计算机装置
CN109522965A (zh) * 2018-11-27 2019-03-26 天津工业大学 一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法
US20200349687A1 (en) * 2018-12-04 2020-11-05 SZ DJI Technology Co., Ltd. Image processing method, device, unmanned aerial vehicle, system, and storage medium
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法
CN111931799A (zh) * 2019-05-13 2020-11-13 百度在线网络技术(北京)有限公司 图像识别方法及装置
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN110322659A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种烟雾检测方法
CN111461997A (zh) * 2020-03-09 2020-07-28 厦门大学 水下图像增强生成对抗网络的训练方法、介质及装置
CN112037158A (zh) * 2020-07-22 2020-12-04 四川长宁天然气开发有限责任公司 一种基于页岩气田生产设备图像增强标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁飞 等: "基于轻量级卷积神经网络的烟雾识别算法", 《西南交通大学学报》, vol. 55, no. 5, pages 1112 - 1116 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法,存储装置及服务器

Similar Documents

Publication Publication Date Title
KR102645202B1 (ko) 기계 학습 방법 및 장치
JP5361574B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102693425A (zh) 图像处理设备和图像处理方法
WO2015174192A1 (ja) 二次元コード、二次元コードの解析システム及び二次元コードの作成システム
US20100211871A1 (en) Information processor, information processing method, and computer readable medium
CN101727580A (zh) 图像处理装置、电子介质和图像处理方法
CN112634151A (zh) 基于泊松融合的烟雾数据增强方法、增强设备和存储介质
CN102739911A (zh) 图像处理装置及图像处理方法
CN114663897A (zh) 表格提取方法与表格提取系统
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN102473278A (zh) 图像处理装置、图像处理方法和存储介质
CN110378862A (zh) 一种提高输电线路外破目标识别准确度的数据增强方法
CN118052773A (zh) 一种基于跨路径特征融合网络的钢铁瑕疵检测方法
CN107358244A (zh) 一种快速局部不变特征提取与描述方法
JP4793868B2 (ja) 筆記媒体、加筆情報検出装置、加筆情報検出方法、プログラム及び記録媒体
CN114429573B (zh) 一种基于数据增强的生活垃圾数据集生成方法
JP5720182B2 (ja) 画像処理装置及び画像処理プログラム
CN112528701B (zh) 二维码检测方法、装置、电子设备及介质
AU2021360581A1 (en) Systems and methods for automatic detection of features on a sheet
CN102262614A (zh) 纵向校对方法和装置
JP2011086187A (ja) 入力方法、シミュレーション装置及びコンピュータプログラム
CN112907605B (zh) 用于实例分割的数据增强方法
CN118230333B (zh) 基于ocr技术的图像预处理系统
CN112825141B (zh) 识别文本的方法、装置、识别设备和存储介质
CN113177995B (zh) Cad图纸的文本重组方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210409