CN111898564B - 一种时序卷积网络模型、模型训练和目标识别方法、装置 - Google Patents

一种时序卷积网络模型、模型训练和目标识别方法、装置 Download PDF

Info

Publication number
CN111898564B
CN111898564B CN202010770755.5A CN202010770755A CN111898564B CN 111898564 B CN111898564 B CN 111898564B CN 202010770755 A CN202010770755 A CN 202010770755A CN 111898564 B CN111898564 B CN 111898564B
Authority
CN
China
Prior art keywords
image
time sequence
convolution
network model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010770755.5A
Other languages
English (en)
Other versions
CN111898564A (zh
Inventor
李旭涛
王跃
叶允明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202010770755.5A priority Critical patent/CN111898564B/zh
Publication of CN111898564A publication Critical patent/CN111898564A/zh
Application granted granted Critical
Publication of CN111898564B publication Critical patent/CN111898564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种时序卷积网络模型、模型训练和目标识别方法、装置，涉及遥感图像识别技术领域。时序卷积网络模型包括：输入层、多卷积结构、特征融合层以及输出层；多卷积结构包括图像特征提取子结构和时序特征提取子结构；输入层用于接收时序卷积网络模型的输入图像并分别导入图像特征提取子结构和时序特征提取子结构；图像特征提取子结构用于提取出图像特征；时序特征提取子结构用于提取出时序特征；特征融合层用于对图像特征和时序特征融合得到数据特征；输出层用于对数据特征进行数据分类，并输出分类结果。本方案通过提取输入图像上的重要时序特征，以实现对多个类别的目标进行识别。

Description

一种时序卷积网络模型、模型训练和目标识别方法、装置
技术领域
本发明涉及遥感图像识别技术领域，具体而言，涉及一种时序卷积网络模型、模型训练和目标识别方法、装置。
背景技术
微光卫星能够捕捉城镇灯光，火灾发出的亮光以及大雾反射的光等光源，生成微光遥感影像。微光遥感图像具有覆盖范围广，时间分辨率高，信息源可靠且成本较低等诸多优势，且与人类的活动具有较高的相关性，通过微光遥感图像来检测发现人类的一些活动与一些气象状况等，可以提高检测效率，及时捕捉重要信息。
现有的对于微光遥感图像的目标识别都是基于遥感图像的图像特征对部分类别进行的，如低空大雾，夜间城市灯光等与图像特征关联较强的目标类别；但是对于夜间电力故障、夜间火灾等与图像特征关联较弱与时序特征关联较强的目标是无法识别的。
因此，迫切需要一种可以识别具有时序特征类别的网络模型及识别方法。
发明内容
本发明解决的问题是如何识别时序特征的目标类别。
为解决上述问题，本发明首先提供一种时序卷积网络模型，其包括：
输入层、多卷积结构、特征融合层以及输出层；
所述多卷积结构包括图像特征提取子结构和时序特征提取子结构；
所述输入层用于接收所述时序卷积网络模型的输入图像并分别导入所述图像特征提取子结构和所述时序特征提取子结构；所述输入图像包括原始图像和多个时序图像，所述时序图像为所述原始图像之前时刻的图像；
所述图像特征提取子结构对导入的所述原始图像进行卷积计算，提取出图像特征；
所述时序特征提取子结构对导入的多个所述时序图像进行卷积计算，提取出时序特征；
所述特征融合层，用于对所述图像特征和所述时序特征融合得到数据特征；
所述输出层，用于对所述数据特征进行数据分类，并输出分类结果。
这样，通过所述图像特征提取子结构提取出图像特征，对所述时序特征提取子结构提取出时序特征，通过图像特征和时序特征的融合，提取输入图像上的重要时序特征，从而实现对多个类别的目标进行识别。
可选地，所述时序特征提取子结构包括第一卷积层和残差单元层；每层所述第一卷积层对输入的多个所述时序图像的时序特征逐层进行卷积运算，每层所述残差单元层对所述时序特征进行残差运算。
这样，通过残差单元层的设计，残差单元层可以使深度网络模型层数增加，极大地提高了网络模型的表示能力，具有防止训练过程中梯度消失和梯度爆炸的能力。
可选地，所述时序特征提取子结构中，所述第一卷积层的数量为3层，所述残差单元层的数量为2层，且所述第一卷积层和所述残差单元层的设置顺序为：所述第一卷积层、所述第一卷积层、所述残差单元层、所述第一卷积层和所述残差单元层。
这样，对所述输入图像的时序图像的时序特征输入所述时序特征提取子结构之后，经过第一卷积层和残差单元层，从而提取出时序特征。
可选地，所述图像特征提取子结构包括多层第二卷积层，每层所述第二卷积层对输入的所述原始图像的图像特征逐层进行卷积运算。
这样，对所述输入图像的图像特征通过多层第二卷积层进行卷积运算，从而提取出图像特征。
可选地，所述多层第二卷积层中每层所述第二卷积层在进行卷积运算时，先将其前一层的所述第二卷积层的卷积运算结果与所述原始图像叠加后再进行卷积运算。
这样，先将前一层的第二卷积层的卷积运算结果与原始图像叠加后再进行卷积运算，可以防止出现丢失中心像素点数值的情况发生，也可以提高该时序卷积网络模型的表示能力。
其次提供一种时序卷积网络模型训练方法，其包括：
获取原始图像和之前时刻的多个时序图像；
对所述原始图像进行标注；
将所述原始图像和多个所述时序图像输入上述所述的时序卷积网络模型，得到分类结果图像；
根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
可选地，所述分类结果图像中的类别包括夜间城市灯光、夜间低云大雾、夜间电力故障和夜间火灾中的至少一种。
这样，通过将原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中进行训练，从而实现多类别的识别。
可选地，所述原始图像和所述时序图像为相同地点的不同时刻图像。
这样，通过获取同个地点不同时刻的图像，将多个不同时刻图像作为参照，数据样本包含的范围比较广，有利于得到的分类结果更准确。
可选地，所述获取原始图像和之前时刻的多个时序图像，包括：
获取当前时刻的微光遥感图像和之前时刻的微光遥感图像；
在当前时刻的所述微光遥感图像上确定特殊像素点；
以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像；
根据所述原始图像中所述像素点的坐标，在之前时刻的所述微光遥感图像中提取同样坐标的像素点，组成所述时序图像。
这样，通过输入是要检测的微光图像区域的特定时刻的图像，并且以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像，从而防止出现丢失中心像素点数值的情况发生，同时提高了该时序卷积网络模型的表示能力。
再次提供一种目标识别方法，包括：获取待识别图像和之前多个时刻的多个时序图像；
将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用上述所述的时序卷积网络模型训练方法训练获得,或者，所述时序卷积网络模型为上述所述的时序卷积网络模型；
根据所述分类结果图像得到所述待识别图像的识别结果。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
从次提供一种时序卷积网络模型训练装置，其包括：
获取单元，其用于获取原始图像和之前时刻的多个时序图像；
标注单元，其用于对所述原始图像进行标注；
模型单元，其用于将所述原始图像和多个所述时序图像输入上述所述的时序卷积网络模型，得到分类结果图像；
计算单元，其用于根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
调整单元，其用于根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
从次提供一种目标识别装置，其包括：
图像单元，其用于获取待识别图像和之前多个时刻的多个时序图像；
分类单元，其用于将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用上述所述的时序卷积网络模型训练方法训练获得,或者，所述时序卷积网络模型为上述所述的时序卷积网络模型；
判断单元，其用于根据所述分类结果图像判断所述待识别图像的识别结果。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
从次再提供一种电子设备，包括处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的时序卷积网络模型训练方法，或者，实现上述所述的模型训练方法。
最后提供一种计算机可读存储介质，存储有指令，其中，所述指令被处理器加载并执行时实现上述所述的时序卷积网络模型训练方法，或者，实现上述所述的目标识别方法。
附图说明
图1为根据本发明实施例的时序卷积网络模型的结构示意图；
图2为根据本发明实施例的时序特征提取子结构的结构示意图一；
图3为根据本发明实施例的残差单元层的结构示意图；
图4为根据本发明实施例的时序特征提取子结构的结构示意图二；
图5为根据本发明实施例的时序卷积网络模型训练方法的流程图；
图6为根据本发明实施例的时序卷积网络模型训练方法步骤100的流程图；
图7为根据本发明实施例的目标识别方法的流程图；
图8为根据本发明实施例的时序卷积网络模型训练装置的结构框图；
图9为根据本发明实施例的目标识别装置的结构框图；
图10为根据本发明实施例的一种电子设备的结构框图；
图11为根据本发明实施例的另一种电子设备的框图。
附图标记说明：
1-输入层；2-多卷积结构；3-特征融合层；4-输出层；21-图像特征提取子结构；22-时序特征提取子结构；221-第一卷积层；222-残差单元层；211-第二卷积层；51-获取单元；52-标注单元；53-模型单元；54-计算单元；55-调整单元；61-图像单元；62-分类单元；63-判断单元；14-外部设备；16-处理单元；18-总线；20-网络适配器；23-输入/输出(I/O)接口；24-显示器；28-系统存储器；30-随机存取存储器；32-高速缓存存储器；34-存储系统；40-实用工具；42-程序模块。
具体实施方式
为了便于理解，在本发明中，需要对其中的技术问题进行详细阐述。
微光卫星能够捕捉城镇灯光，火灾发出的亮光以及大雾反射的光等光源，生成微光遥感影像。微光遥感图像具有覆盖范围广，时间分辨率高，信息源可靠且成本较低等诸多优势，且与人类的活动具有较高的相关性，通过微光遥感图像来检测发现人类的一些活动与一些气象状况等，可以提高检测效率，及时捕捉重要信息。
现有的微光遥感图像在目标识别技术上不能同时检测识别多种有价值的类别，且模型一般采用传统的技术，模型的效率也较低，只能从微光遥感图像中提取较为浅层的特征，无法提取微光遥感图像上的重要的时序特征。
目前有很多基于微光遥感图像检测来分析人类活动的技术与应用，如利用微光遥感捕捉的夜间城市灯光分布图像结合地区的各类社会经济指标信息来对各个地区的贫穷度进行预测。还有在分析现有低云大雾识别方法的基础上,提出了利用夜间微光云图和红外云图识别低云大雾的方法，主要采用的技术是双通道阈值方法。基于微光遥感图像还衍生了很多检测技术，但主要是采用一些较为传统的技术。
现有的对于微光遥感图像的目标识别都是基于遥感图像的图像特征对部分类别进行的，如低空大雾，夜间城市灯光等与图像特征关联较强的目标类别；但是对于夜间电力故障、夜间火灾等与图像特征关联较弱与时序特征关联较强的目标是无法识别的。
因此，迫切需要一种可以识别具有时序特征类别的网络模型及识别方法。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本公开实施例提供了一种时序卷积网络模型，如图1所示，其为根据本发明实施例的时序卷积网络模型的结构示意图，包括：
输入层1、多卷积结构2、特征融合层3以及输出层4；
所述多卷积结构2包括图像特征提取子结构21和时序特征提取子结构22；
所述输入层1用于接收所述时序卷积网络模型的输入图像并分别导入所述图像特征提取子结构21和所述时序特征提取子结构22；所述输入图像包括原始图像和多个时序图像，所述时序图像为所述原始图像之前时刻的图像；
所述图像特征提取子结构21对导入的所述原始图像进行卷积计算，提取出图像特征；
所述时序特征提取子结构22对导入的多个所述时序图像进行卷积计算，提取出时序特征；
所述特征融合层3，用于对所述图像特征和所述时序特征融合得到数据特征，即将所述特征融合层将所述图像特征和所述时序特征进行叠加得到所述数据特征；
所述输出层4，用于对所述数据特征进行数据分类，并输出分类结果。
这样，通过所述图像特征提取子结构提取出图像特征，对所述时序特征提取子结构提取出时序特征，通过图像特征和时序特征的融合，提取输入图像上的重要时序特征，从而实现对多个类别的目标进行识别。
本申请中的时序卷积网络模型主要由两个子网络组成，一个是图像特征提取子结构，一个是时序特征提取子结构，每个子网络结构的图像分别进行特征提取，得到不同的输出特征，之后将这两个子网络结构的输出特征图通过所述特征融合层3进行叠加融合。所述特征融合层3包括激活函数，经过一个relu(激活函数)将线性函数转换为非线性函数，以增加模型的非线性表示能力，最后所述输出层4采用一个softmax函数输出一个长度为5的向量，每个向量位置例如可以分别代表夜间城市灯光，夜间低云大雾，夜间电力故障，夜间火灾和其他总共五类目标的置信概率，最大的输出类别概率为该输入图像的微光识别类别，最后所述输出层输出分类结果。
可选地，如图2所示，其为根据本发明实施例的时序特征提取子结构的结构示意图一，所述时序特征提取子结构22包括第一卷积层221和残差单元层222；每层所述第一卷积层221对输入的多个所述时序图像的时序特征逐层进行卷积运算，每层所述残差单元层222对所述时序特征进行残差运算。
这样，通过残差单元层的设计，残差单元层可以使深度网络模型增加到1000层以上，极大地提高了网络模型的表示能力，具有防止训练过程中梯度消失和梯度爆炸的能力。具体地，一个带有恒等式映射的残差单元，满足等式：
Xl+1＝Xl+F(Xl):
其中，Xl代表输入，Xl+1代表输出，F是一个残差映射函数。
残差单元层结构图如图3所示，本申请的残差映射函数由四部分组成，首先经过一个relu激活函数，接着进行一个3*3的卷积操作，该卷积操作会对输入进行padding操作，其中，padding可以认为是扩充图片，在图片外围补充一些像素点，将这些像素点初始化为0。当padding＝same时是需要填充，先在周围补零，使得最后输出不改变图像的尺寸，然后又采用relu激活函数来增加该函数的非线性表示能力，最后通过一个卷积核为3*3的卷积操作。
可选地，如图4所示，其为根据本发明实施例的时序特征提取子结构的结构示意图二，所述时序特征提取子结构22中，所述第一卷积层221的数量为3层，所述残差单元层222的数量为2层，且所述第一卷积层221和所述残差单元层222的设置顺序为：所述第一卷积层221、所述第一卷积层221、所述残差单元层222、所述第一卷积层221和所述残差单元层222。
这样，对所述输入图像的时序图像的时序特征输入所述时序特征提取子结构之后，经过第一卷积层和残差单元层，从而提取出时序特征。例如，当输入的图像是该检测时刻之前的(n-1)张微光图像，每张图像的尺寸为9*9，时序特征提取子结构构成的网络结构主要由三个卷积操作和两个残差单元，卷积操作时都采用3*3的卷积核，卷积方式为有效卷积，9*9的图像经过第一卷积层(卷积核为3*3，步长为1不加padding)，经过第一卷积层之后特征图尺寸变为7*7，其次，经过第二个第一卷积层(卷积核为3*3，步长为1，不加padding)后，得到的特征图尺寸变为5*5。接着，设置一个残差单元结构，此时输出不会改变特征图的尺寸。再次是经过第三个第一卷积层(卷积核为3*3)进行卷积操作，输出特征图尺寸变为3*3。最后，再经过另外一个残差单元结构，得到的特征图尺寸为3*3。
对于所述图像特征提取子结构的设置，具体地，所述图像特征提取子结构21包括多层第二卷积层211，每层所述第二卷积层211对输入的所述原始图像的图像特征逐层进行卷积运算。
这样，对所述输入图像的图像特征通过多层第二卷积层进行卷积运算，从而提取出图像特征。
可选地，所述多层第二卷积层211中每层所述第二卷积层211在进行卷积运算时，先将其前一层的所述第二卷积层211的卷积运算结果与所述原始图像叠加后再进行卷积运算。
这样，先将前一层的第二卷积层的卷积运算结果与原始图像叠加后再进行卷积运算，可以防止出现丢失中心像素点数值的情况发生，也可以提高该时序卷积网络模型的表示能力。
例如，输入是要检测的微光图像区域的特定时刻的图像，图像尺寸为9*9，所述图像特征提取子结构包括四个卷积操作，前三个卷积操作都采用3*3的卷积核，卷积的过程中不加padding，9*9的图像经过第一个的所述第二层卷积层进行卷积操作之后特征图尺寸变为7*7，7*7的图像再经过第二个第一卷积层进行卷积操作之后特征尺寸变为5*5，得到的5*5图像再经过第三个卷积层进行卷积操作之后特征尺寸变为3*3，最后，再采用另一个卷积操作(其中，卷积核为3*3，步长为1，有padding)得到该子网络结构的输出。在实验中发现，如果简单地采用这种通过堆叠卷积操作层的方式来构建该特征提取网络，在经过层层的卷积操作后，会有很大的概率会丢失中心像素点(即检测的中心)的数值，因此我们采用了融合原始特征的方式来解决这个问题。在后三层的卷积操作前，我们将原始的9*9的图像依次加到经过卷积操作后得到的7*7,5*5，3*3的尺寸特征图上。例如，在经过第二个卷积层进行卷积操作时，将9*9的图像加入经过第一个所述第二卷积层得到的7*7特征图；而在经过第三个卷积层进行卷积操作时，将9*9的图像加到经过第二个所述第二卷积层得到的5*5特征图；在经过第四个卷积层进行卷积操作时，将9*9的图像加到经过第三个所述第二卷积层得到的3*3特征图。这样先将其前一层的所述第二卷积层的卷积运算结果与所述原始图像叠加后再进行卷积运算，可以防止出现丢失中心像素点数值的情况发生，也可以提高该时序卷积网络模型的表示能力。
本公开实施例提供了一种时序卷积网络模型训练方法，该方法可以由时序卷积网络模型训练装置来执行，该时序卷积网络模型训练装置可以集成在手机、电脑、服务器等电子设备中。图5为根据本发明实施例的时序卷积网络模型训练方法的流程图，如图5所示，所述时序卷积网络模型训练方法包括：
步骤100，获取原始图像和之前时刻的多个时序图像；
其中，获取一张9*9的微光遥感图像作为原始图像，由于微光遥感图像有每个像素点的经纬度信息，通过目标的定位，获取一样地点的之前时刻的多个时序图像。同样地，之前时刻的多个时序图像尺寸也是9*9。获取所述之前时刻的多个时序图像作为辅助信息，用于辅助对原始图像进行标注。
步骤200，对所述原始图像进行标注；
其中，对原始图像进行逐像素进行标注，所述逐像素进行标注指的是输入图像多大输出的图像就有多大，每个像素点都对应一个标注，每个标注对应一个类别结果。在对原始图像进行标注时，使用人工标注，例如，一张微光遥感图像包括夜间城市灯光，夜间低云大雾，夜间电力故障和夜间火灾四个类别。以对夜间城市灯光和夜间电力故障标注为例，微光遥感图像中，城市灯光一大片区域是可以看见的，一般夜间城市灯光比较容易判断，用人眼辨别看到有亮点的地方即标注为城市灯光，而对于夜间电力故障，需要外界信息辅助判断，例如通过城市灯光进行辅助标注，城市灯光每个夜间都是有规律的打开，当城市灯光突然消失时，则代表此时电力出现了故障，因此把对应的区域标记为夜间电力故障。由于夜间火灾和夜间低云大雾标注的样本信息比较少，所以都需要外部信息去辅助标注，基于同样的原理进行标注。
步骤300，将所述原始图像和多个所述时序图像输入上述所述的时序卷积网络模型，得到分类结果图像；
通过上述所述的时序卷积模型对微光遥感图像进行分类，以得到分类结果。
步骤400，根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
通过分类结果图像和标注后的原始图像去判断它们之间的差值，以计算得到总损失函数的值。
步骤500，根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
通过不断地调整时序卷积网络模型的参数，使得总损失函数的值降到最低，调整得到较合适的时序卷积网络模型的参数，从而训练得到效果较好的模型。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
具体地，如图6所示，所述步骤100，获取原始图像和之前时刻的多个时序图像，包括：
步骤110，获取当前时刻的微光遥感图像和之前时刻的微光遥感图像；
步骤120，在当前时刻的所述微光遥感图像上确定特殊像素点；
步骤130，以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像；
步骤140，根据所述原始图像中所述像素点的坐标，在之前时刻的所述微光遥感图像中提取同样坐标的像素点，组成所述时序图像。
通过输入是要检测的微光图像区域的特定时刻的图像，并且以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像，从而防止出现丢失中心像素点数值的情况发生，同时提高了该时序卷积网络模型的表示能力。
例如，输入是要检测的微光图像区域的特定时刻的图像，图像尺寸为9*9，所述图像特征提取子结构包括四个卷积操作，前三个卷积操作都采用3*3的卷积核，其在卷积的过程中不加padding。其中，9*9的图像经过第一个的所述第二层卷积层进行卷积操作之后，特征图尺寸变为7*7。其次，7*7的图像经过第二个第一卷积层进行卷积操作之后，特征尺寸变为5*5。再次将得到的5*5图像经过第三个卷积层进行卷积操作之后，特征尺寸变为3*3。最后，再采用另一个卷积操作(其中，卷积核为3*3，步长为1，有padding)得到该子网络结构的输出。在实验中发现，如果简单地采用这种通过堆叠卷积操作层的方式来构建该特征提取网络，在经过层层的卷积操作后，会有很大的概率会丢失中心像素点(即检测的中心)的数值，因此我们采用了融合原始特征的方式来解决这个问题。在后三层的卷积操作前，我们将原始的9*9的图像依次加到经过卷积操作后得到的7*7,5*5，3*3的尺寸特征图上。例如，在经过第二个卷积层进行卷积操作时，将9*9的图像加入经过第一个所述第二卷积层得到的7*7特征图。其次，在经过第三个卷积层进行卷积操作时，将9*9的图像加到经过第二个所述第二卷积层得到的5*5特征图。再次，在经过第四个卷积层进行卷积操作时，将9*9的图像加到经过第三个所述第二卷积层得到的3*3特征图。这样先将其前一层的所述第二卷积层的卷积运算结果与所述原始图像叠加后再进行卷积运算，可以防止出现丢失中心像素点数值的情况发生，也可以提高该时序卷积网络模型的表示能力。
可选地，所述分类结果图像中的类别包括夜间城市灯光、夜间低云大雾、夜间电力故障和夜间火灾中的至少一种。
这样，通过将原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中进行训练，从而得到分类结果。
可选地，所述分类结果图像中的类别还包括背景类别，也称为负样本类别。在对微光遥感图像进行标注时，不属于夜间城市灯光、夜间低云大雾、夜间电力故障和夜间火灾任意一种类别时，则标注为背景类别。
可选地，所述原始图像和所述时序图像为相同地点的不同时刻图像。
这样，通过获取同个地点不同时刻的图像，将多个不同时刻图像作为参照，数据样本包含的范围比较广，有利于得到的分类结果更准确。
其中，时序图像的相应时间间隔一样，时序图像包括最接近时刻的图像、之前规律性的图像，以及间隔时间比较久的图像。
其中，所述步骤500，根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛中，使用损失函数为focal loss，损失函数满足如下表达式：
Lf＝-(1-yi)α*log(yi)；
其中，yi是模型输出类别的概率置信度，ɑ为参数，在训练的过程中可以根据样本分布情况进行调整，通过在损失函数设置中引入focal loss思想，极大地提升了本发明提出的分类网络在夜间城市灯光，夜间低云大雾，夜间火灾和夜电力故障这四种类别目标上的检测识别效率。
图7为根据本发明实施例的目标识别方法的流程图，如图7所示，本公开实施例提供了一种目标识别方法，包括：
步骤10，获取待识别图像和之前多个时刻的多个时序图像；
步骤20，将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用上述所述的时序卷积网络模型训练方法训练获得,或者，所述时序卷积网络模型为上述所述的时序卷积网络模型；
步骤30，根据所述分类结果图像得到所述待识别图像的识别结果。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，以训练得到效果较好的模型。将微光遥感图像输入到训练好的时序卷积网络模型中，从而实现对夜间城市灯光，夜间低云大雾，夜间电力故障发生和夜间火灾四种目标的识别。
本公开实施例提供了一种时序卷积网络模型训练装置，用于执行本发明上述内容所述的时序卷积网络模型训练方法，以下对所述时序卷积网络模型训练装置进行详细描述。
本公开实施例提供了一种时序卷积网络模型训练装置，用于执行本发明上述内容所述的时序卷积网络模型训练方法，以下对所述时序卷积网络模型训练装置进行详细描述。如图8所示，其为根据本发明实施例的时序卷积网络模型训练装置的结构框图；其中，所述时序卷积网络模型训练装置，包括：
获取单元51，其用于获取原始图像和之前时刻的多个时序图像；
标注单元52，其用于对所述原始图像进行标注；
模型单元53，其用于将所述原始图像和多个所述时序图像输入上述所述的时序卷积网络模型，得到分类结果图像；
计算单元54，其用于根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
调整单元55，其用于根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
这样，通过将获取到的原始图像和之前时刻的多个时序图像输入到时序卷积网络模型中，不断地对时序卷积网络模型的参数进行调整，从而实现对多个类别的目标进行识别。
可选地，所述模型单元53中的分类结果图像中的类别包括夜间城市灯光、夜间低云大雾、夜间电力故障和夜间火灾中的至少一种。
可选地，所述获取单元51中，所述原始图像和所述时序图像为相同地点的不同时刻图像。
可选地，所述获取单元51获取原始图像和之前时刻的多个时序图像时，获取当前时刻的微光遥感图像和之前时刻的所述微光遥感图像。其中，在当前时刻的所述微光遥感图像上确定特殊像素点；以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像；根据所述原始图像中所述像素点的坐标，在之前时刻的所述微光遥感图像中提取同样坐标的像素点，组成所述时序图像。
本公开实施例提供了一种目标识别装置，用于执行本发明上述内容所述的目标识别方法，以下对所述目标识别装置进行详细描述。如图9所示，其为根据本发明实施例的目标识别装置的结构框图；其中，所述目标识别装置，包括：
图像单元61，其用于获取待识别图像和之前多个时刻的多个时序图像；
分类单元62，其用于将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用上述所述的时序卷积网络模型训练方法训练获得,或者，所述时序卷积网络模型为上述所述的时序卷积网络模型；
判断单元63，其用于根据所述分类结果图像判断所述待识别图像的识别结果。
这样，通过所述图像特征提取子结构提取出图像特征，对所述时序特征提取子结构提取出时序特征，通过图像特征和时序特征的融合，提取输入图像上的重要时序特征，从而实现对多个类别的目标进行识别。
需要说明的是，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上描述了时序卷积网络模型训练装置、模型训练装置的内部功能和结构，如图10所示，实际中，该时序卷积网络模型训练装置、模型训练装置可实现为电子设备，包括：处理器以及存储器，所述存储器存储有控制程序，所述控制程序被处理器执行时实现上述所述的时序卷积网络模型训练方法，或者，实现上述所述的目标识别方法。
图11是根据本发明实施例示出的另一种电子设备的框图。图11显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，电子设备12可以通用电子设备的形式实现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它电子设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口23进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。要说明的是，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本发明的电子设备可以是服务器，也可以有限算力的终端设备，本发明的轻量级网络结构尤其适用于后者。所述终端设备的基体实现包括但不限于：智能移动通信终端、无人机、机器人、便携式图像处理设备、安防设备等等。本公开实施例提供了一种计算机可读存储介质，存储有指令，所述指令被处理器加载并执行时实现上述所述的时序卷积网络模型训练方法，或者，实现上述所述的模型训练方法。
本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
显然，所说明的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，都属于本发明保护的范围。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种时序卷积网络模型，其特征在于，包括：
输入层（1）、多卷积结构（2）、特征融合层（3）以及输出层（4）；
所述多卷积结构（2）包括图像特征提取子结构（21）和时序特征提取子结构（22）；
所述输入层（1）用于接收所述时序卷积网络模型的输入图像并分别导入所述图像特征提取子结构（21）和所述时序特征提取子结构（22）；所述输入图像包括原始图像和多个时序图像，所述时序图像为所述原始图像之前时刻的图像；
所述图像特征提取子结构（21）对导入的所述原始图像进行卷积计算，提取出图像特征；所述图像特征提取子结构（21）包括多层第二卷积层（211），每层所述第二卷积层（211）对输入的所述原始图像的图像特征逐层进行卷积运算；所述多层第二卷积层（211）中每层所述第二卷积层（211）在进行卷积运算时，先将其前一层的所述第二卷积层（211）的卷积运算结果与所述原始图像叠加后再进行卷积运算；
所述时序特征提取子结构（22）对导入的多个所述时序图像进行卷积计算，提取出时序特征；所述时序特征提取子结构（22）包括第一卷积层（221）和残差单元层（222）；每层所述第一卷积层（221）对输入的多个所述时序图像的时序特征逐层进行卷积运算，每层所述残差单元层（222）对所述时序特征进行残差运算；
所述时序特征提取子结构（22）中，所述第一卷积层（221）的数量为3层，所述残差单元层（222）的数量为2层，且所述第一卷积层（221）和所述残差单元层（222）的设置顺序为：所述第一卷积层（221）、所述第一卷积层（221）、所述残差单元层（222）、所述第一卷积层（221）和所述残差单元层（222）；
所述特征融合层（3），用于对所述图像特征和所述时序特征融合得到数据特征；
所述输出层（4），用于对所述数据特征进行数据分类，并输出分类结果。
2.一种时序卷积网络模型训练方法，其特征在于，包括：
获取原始图像和之前时刻的多个时序图像；
对所述原始图像进行标注；
将所述原始图像和多个所述时序图像输入权利要求1中所述的时序卷积网络模型，得到分类结果图像；
根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
3.根据权利要求2所述的时序卷积网络模型训练方法，其特征在于，所述分类结果图像中的类别包括夜间城市灯光、夜间低云大雾、夜间电力故障和夜间火灾中的至少一种。
4.根据权利要求2所述的时序卷积网络模型训练方法，其特征在于，所述原始图像和所述时序图像为相同地点的不同时刻图像。
5.根据权利要求2所述的时序卷积网络模型训练方法，其特征在于，所述获取原始图像和之前时刻的多个时序图像，包括：
获取当前时刻的微光遥感图像和之前时刻的微光遥感图像；
在当前时刻的所述微光遥感图像上确定特殊像素点；
以所述特殊像素点为中心提取其周围像素点，与所述特殊像素点组成所述原始图像；
根据所述原始图像中所述像素点的坐标，在之前时刻的所述微光遥感图像中提取同样坐标的像素点，组成所述时序图像。
6.一种目标识别方法，其特征在于，包括：
获取待识别图像和之前多个时刻的多个时序图像；
将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用如权利要求2-5中任一项所述的时序卷积网络模型训练方法训练获得，或者，所述时序卷积网络模型为权利要求1中所述的时序卷积网络模型；
根据所述分类结果图像得到所述待识别图像的识别结果。
7.一种时序卷积网络模型训练装置，其特征在于，包括：
获取单元（51），其用于获取原始图像和之前时刻的多个时序图像；
标注单元（52），其用于对所述原始图像进行标注；
模型单元（53），其用于将所述原始图像和多个所述时序图像输入权利要求1中所述的时序卷积网络模型，得到分类结果图像；
计算单元（54），其用于根据所述分类结果图像和标注后的所述原始图像计算总损失函数的值；
调整单元（55），其用于根据所述总损失函数的值调整所述时序卷积网络模型的参数，直至所述总损失函数的值收敛。
8.一种目标识别装置，其特征在于，包括：
图像单元（61），其用于获取待识别图像和之前多个时刻的多个时序图像；
分类单元（62），其用于将所述待识别图像和多个所述时序图像输入预设的时序卷积网络模型中，得到分类结果图像；所述时序卷积网络模型采用如权利要求2-5中任一项所述的时序卷积网络模型训练方法训练获得，或者，所述时序卷积网络模型为权利要求1中所述的时序卷积网络模型；
调整单元（63），其用于根据所述分类结果图像判断所述待识别图像的识别结果。
9.一种电子设备，包括处理器以及存储器，其特征在于，所述存储器存储有控制程序，所述控制程序被处理器执行时实现如权利要求2-5中任一所述的时序卷积网络模型训练方法，或者，实现如权利要求6中所述的目标识别方法。
10.一种计算机可读存储介质，存储有指令，其特征在于，所述指令被处理器加载并执行时实现如权利要求2-5中任一所述的时序卷积网络模型训练方法，或者，实现如权利要求6中所述的目标识别方法。
CN202010770755.5A 2020-08-04 2020-08-04 一种时序卷积网络模型、模型训练和目标识别方法、装置 Active CN111898564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010770755.5A CN111898564B (zh) 2020-08-04 2020-08-04 一种时序卷积网络模型、模型训练和目标识别方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010770755.5A CN111898564B (zh) 2020-08-04 2020-08-04 一种时序卷积网络模型、模型训练和目标识别方法、装置

Publications (2)

Publication Number Publication Date
CN111898564A CN111898564A (zh) 2020-11-06
CN111898564B true CN111898564B (zh) 2023-07-14

Family

ID=73183518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010770755.5A Active CN111898564B (zh) 2020-08-04 2020-08-04 一种时序卷积网络模型、模型训练和目标识别方法、装置

Country Status (1)

Country Link
CN (1) CN111898564B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800691B (zh) * 2021-04-15 2021-07-30 中国气象局公共气象服务中心(国家预警信息发布中心) 一种构建降水等级预测模型的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109935243A (zh) * 2019-02-25 2019-06-25 重庆大学 基于vtlp数据增强及多尺度时频域空洞卷积模型的语音情感识别方法
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109935243A (zh) * 2019-02-25 2019-06-25 重庆大学 基于vtlp数据增强及多尺度时频域空洞卷积模型的语音情感识别方法
CN110363290A (zh) * 2019-07-19 2019-10-22 广东工业大学 一种基于混合神经网络模型的图像识别方法、装置及设备

Also Published As

Publication number Publication date
CN111898564A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109344787B (zh) 一种基于人脸识别与行人重识别的特定目标跟踪方法
US20230045519A1 (en) Target Detection Method and Apparatus
CN109977921B (zh) 一种输电线路隐患检测方法
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
US20180240194A1 (en) Visual analytics based vehicle insurance anti-fraud detection
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN111325141B (zh) 交互关系识别方法、装置、设备及存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN115526892B (zh) 基于三维重建的图像缺陷去重检测方法和装置
WO2023165616A1 (zh) 图像模型隐蔽后门的检测方法及系统、存储介质、终端
CN103105924A (zh) 人机交互方法和装置
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111898564B (zh) 一种时序卷积网络模型、模型训练和目标识别方法、装置
Ren et al. Environment influences on uncertainty of object detection for automated driving systems
CN109684982B (zh) 结合易混目标排除的基于视频分析的火焰检测方法
CN108597172B (zh) 一种森林火灾识别方法、装置、电子设备及存储介质
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及系统
CN116152747A (zh) 一种基于外观辨识和动作建模的人类行为意图识别方法
CN110728316A (zh) 一种课堂行为检测方法、系统、装置和存储介质
CN115426350A (zh) 图像上传方法、图像上传装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant