CN112907450B - 三维时序图像处理方法、装置、计算机设备和存储介质 - Google Patents

三维时序图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112907450B
CN112907450B CN202110315071.0A CN202110315071A CN112907450B CN 112907450 B CN112907450 B CN 112907450B CN 202110315071 A CN202110315071 A CN 202110315071A CN 112907450 B CN112907450 B CN 112907450B
Authority
CN
China
Prior art keywords
image
convolution
intersection
deconvolution
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110315071.0A
Other languages
English (en)
Other versions
CN112907450A (zh
Inventor
邹俊成
尹威华
王建城
乔红
刘智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Original Assignee
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloud Computing Industry Technology Innovation and Incubation Center of CAS filed Critical Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority to CN202110315071.0A priority Critical patent/CN112907450B/zh
Publication of CN112907450A publication Critical patent/CN112907450A/zh
Application granted granted Critical
Publication of CN112907450B publication Critical patent/CN112907450B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种三维时序图像处理方法、装置、计算机设备和存储介质。所述方法包括:将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将卷积特征图像进行反卷积处理,得到与卷积特征图像尺寸一致的反卷积特征图像;将卷积特征图像和反卷积特征图像进行交集运算,得到交集图像;将卷积特征图像和反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;将卷积差交特征图像、交集图像和反卷积差交特征图像连接;将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。采用本方法能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。

Description

三维时序图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机应用领域,特别是涉及一种三维时序图像处理方法、装置、计算机设备和存储介质。
背景技术
随着三维神经网络技术的发展,三维视觉被广泛应用于辅助机器人完成任务,但在实际应用场景中常常会遇到遮挡、超出视野范围及光线变化的问题,为了解决因运动带来的这些问题,需要设计新的三维网络结构来学习未被干扰时目标的图像之间的时序关系,以预测目标被遮挡时的运动状态,因此,三维神经网络往往需要设计得比较深才能取得较好的学习及预测性能,但是深层的网络经常会遇到梯度爆炸及梯度消失问题。
在相关技术中,基于LSTM(Long Short-Term Memory,长短期记忆网络)解决了二维神经网络中梯度爆炸及梯度消失问题。然而,基于三维卷积长短期记忆网络处理图像的过程中因存在梯度爆炸及梯度消失导致预测图像准确率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种三维时序图像处理方法、装置、计算机设备和存储介质。
一种三维时序图像处理方法,该方法包括:
将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接;将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像,包括:
将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第二卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像;将该第二卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像;将该第二卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接;将连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第一卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像;将该第一卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像;将该第一卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接;将连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第三卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像;将该第三卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像;将该第三卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接;将连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第二卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像;将该第二卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像;将该第二卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接;将连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三反卷积特征图像;将该第一卷积特征图像和该第三反卷积特征图像进行交集运算,得到第三交集图像;将该第一卷积特征图像和该第三反卷积特征图像分别与第三交集图像进行差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像;将该第一卷积差交特征图像、该第三交集图像和该第三反卷积差交特征图像连接;将连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
在其中一个实施例中,该方法应用于三维时序图像生成网络,该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层,该方法还包括:
通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;通过该三维反卷积长短期记忆网络层将所述卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;以及将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;通过该连接层将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接;通过该三维反卷积长短期记忆网络层将该连接后的卷积差交特征图像、该交集图像和该反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像;将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像;将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像;将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像;将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像;将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像;将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像;将该第三特征图像和所述第五特征图像进行交集运算,得到第一交集图像;将该第三特征图像和所述第五特征图像分别与第一交集图像进行差分运算,分别得到第三差交特征图像和第五差交特征图像;通过第一连接层将该第三差交特征图像、该第一交集图像和该第五差交特征图像连接;将连接在一起的第三差交特征图像、第一交集图像和第五差交特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像;将该第二特征图像和该第六特征图像进行交集运算,得到第二交集图像;将该第二特征图像和该第六特征图像分别与第二交集图像进行差分运算,分别得到第二差交特征图像和第六差交特征图像;通过第二连接层将所述第二差交特征图像、该第二交集图像和该第六差交特征图像连接;将连接在一起的第二差交特征图像、第二交集图像和第六差交特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像;将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像;将该第一特征图像和该第八特征图像进行交集运算,得到第三交集图像;将该第一特征图像和该第八特征图像分别与第三交集图像进行差分运算,分别得到第一差交特征图像和第八差交特征图像;通过第三连接层将该第一差交特征图像、该第三交集图像和该第八差交特征图像连接;将连接在一起的第一差交特征图像、第三交集图像和第八差交特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像;将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
一种三维时序图像处理装置,该装置包括:
卷积处理模块,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
反卷积处理模块,用于将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;
交集计算模块,用于将所述卷积特征图像和所述反卷积特征图像进行交集运算,得到交集图像;
差分计算模块,用于将所述卷积特征图像和所述反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;
连接模块,用于将所述卷积差交特征图像、所述交集图像和所述反卷积差交特征图像连接;
该反卷积处理模块,还用于将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行时实现如上述任一该的三维时序图像处理方法。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一该的三维时序图像处理方法。
上述三维时序图像处理方法、装置、计算机设备和存储介质,通过将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接;将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维时序图像处理的过程中,通过跨层差交能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。
附图说明
图1为一个实施例中三维时序图像处理方法的应用环境图;
图2为一个实施例中三维时序图像处理方法的流程示意图;
图3为另一个实施例中三维时序图像处理方法的流程示意图;
图4为另一个实施例中三维时序图像处理方法的流程示意图;
图5为另一个实施例中三维时序图像处理方法的流程示意图;
图6为另一个实施例中三维时序图像处理方法的跨层差交结构示意图;
图7a为另一个实施例中三维时序图像生成网络图;
图7b为另一个实施例中基于跨层差交结构的三维时序图像生成网络图;
图8为另一个实施例中三维时序图像处理方法的流程示意图;
图9为一个实施例中三维时序图像处理装置的结构框图;
图10为另一个实施例中三维时序图像处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的三维时序图像处理方法,可以应用于图1所示的网络中,该网络由卷积层、反卷积层、连接层组成,其中经过卷积层得到卷积特征图像,经过反卷积层得到反卷积特征图像,卷积特征图像与反卷积特征图像进行交集运算得到交集图像,卷积特征图像和反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交图像和反卷积差交图像,连接层将卷积差交图像、交集图像、反卷积差交图像连接输出,构成跨层差交结构。
在一个实施例中,如图2所示,提供了一种三维时序图像处理方法,该方法应用在图1所示的神经网络中,包括以下步骤:
步骤202,将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
其中,三维图像在立体图视觉上层次分明色彩鲜艳,具有很强的视觉冲击,并且该三维图像具有时序特征,并且第一时刻和第二时刻为连续时刻,卷积特征图像是指经过卷积处理过滤后的图像。
具体地,计算机设备将输入的第一时刻的三维图像和第二时刻的三维图像进行卷积处理过滤后,得到卷积特征图像。
步骤204,将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像。
其中,图像尺寸是指三维图像张量的长、宽、高及通道数量,反卷积特征图像是指经过反卷积处理过滤后的图像。
具体地,将该卷积特征图像进行反卷积处理过滤后,得到与该卷积特征图像的长、宽、高及通道数量都一致的反卷积特征图像。
步骤206,将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像。
其中,交集运算是根据卷积特征图像张量和反卷积特征图像张量进行交集运算。
具体地,将该卷积特征图像的张量和该反卷积特征图像的张量进行交集计算,得到交集图像。
步骤208,将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像。
具体地,将该卷积特征图像的张量和该反卷积特征图像的张量分别与交集图像的张量进行差分计算,分别得到卷积差交特征图像的张量和反卷积差交特征图像的张量。
步骤210,将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接。
具体地,按照时序顺序将该卷积差交特征图像、该交集图像和该反卷积差交特征图像跨层连接。
步骤212,将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
其中,第一时刻、第二时刻和第三时刻为连续的时刻,第三时刻的图像为经过第一时刻的三维图像和第二时刻的三维图像预测得到的图像,例如,通过第一时刻为8点00分的三维图像和第二时刻为8点01分的三维图像预测得到第三时刻为9点02分的三维图像。
具体地,将按照时序顺序连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理过滤后,预测得到第三时刻的三维图像。
上述三维时序图像处理方法中,通过将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接;将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维时序图像处理的过程中,通过跨层差交能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。
在一个实施例中,将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。其中,输入张量的长、宽、高及通道数一致的两张具有连续时序的三维图像,例如,两张三维图像的输入张量尺寸为[l,w,h,c*2],即长为l,宽为w,高为h,通道数量为c*2。通过输入张量尺寸一致的相邻两个时刻的三维图像,经过三维时序图像生成网络能够预测同一张量尺寸的第三时刻的三维图像。
在一个实施例中,如图3所示,提供了一种三维时序图像处理方法,包括以下步骤:
步骤302,将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
具体地,计算机设备将输入第一时刻的三维图像和第二时刻的三维图像通过第一卷积处理过滤后,得到第一卷积特征图像。
步骤304,将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
具体地,将该第一卷积特征图像进行第二卷积处理过滤后,得到第二卷积特征图像。
步骤306,将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
具体地,将该第二卷积特征图像进行第一反卷积处理过滤后,得到第一反卷积特征图像。
步骤308,将该第二卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像。
具体地,将该第二卷积特征图像的张量和该第一反卷积特征图像的张量进行交集计算,得到第一交集图像。
步骤310,将该第二卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像。
具体地,将该第二卷积特征图像的张量和该第一反卷积特征图像的张量分别与第一交集图像的张量进行跨层差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像。
步骤312,将该第二卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
具体地,按照时序顺序将该第二卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
步骤314,将连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像。
具体地,将按照时序顺序连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理过滤后,得到第二反卷积特征图像。
步骤316,将该第一卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像。
具体地,将该第一卷积特征图像的张量和该第二反卷积特征图像的张量进行交集计算,得到第二交集图像。
步骤318,将该第一卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像。
具体地,将该第一卷积特征图像的张量和该第二反卷积特征图像的张量分别与第二交集图像的张量进行跨层差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像。
步骤320,将该第一卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
具体地,按照时序顺序将该第一卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
步骤322,将连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三时刻的三维图像。
具体地,将按照时序顺序连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理过滤后,得到第三时刻的三维图像。
上述三维时序图像处理方法中,通过将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第二卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像;将该第二卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像;将该第二卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接;将连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第一卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像;将该第一卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像;将该第一卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接;将连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三时刻的三维图像。因此,在三维时序图像处理的过程中,通过跨层差交能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。
在一个实施例中,如图4所示,提供了一种三维时序图像处理方法,包括以下步骤:
步骤402,将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
具体地,将输入第一时刻的三维图像和第二时刻的三维图像通过第一卷积处理过滤后,得到第一卷积特征图像。
步骤404,将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
具体地,将该第一卷积特征图像进行第二卷积处理过滤后,得到第二卷积特征图像。
步骤406,将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像。
具体地,将该第二卷积特征图像进行第三卷积处理过滤后,得到第三卷积特征图像。
步骤408,将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
具体地,将该第三卷积特征图像进行第一反卷积处理过滤后,得到第一反卷积特征图像
步骤410,将该第三卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像。
具体地,将该第三卷积特征图像的张量和该第一反卷积特征图像的张量进行交集计算,得到第一交集图像。
步骤412,将该第三卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像。
具体地,将该第三卷积特征图像的张量和该第一反卷积特征图像的张量分别与第一交集图像的张量进行跨层差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像。
步骤414,将该第三卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
具体地,按照时序顺序将该第三卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
步骤416,将连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像。
具体地,将按照时序顺序连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理过滤后,得到第二反卷积特征图像。
步骤418,将该第二卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像。
具体地,将该第二卷积特征图像的张量和该第二反卷积特征图像的张量进行交集运算,得到第二交集图像。
步骤420,将该第二卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像。
具体地,将该第二卷积特征图像的张量和该第二反卷积特征图像的张量分别与第二交集图像进行跨层差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像。
步骤422,将该第二卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
具体地,按照时序顺序将该第二卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
步骤424,将连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三反卷积特征图像。
具体地,将按照时序顺序连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理过滤后,得到第三反卷积特征图像。
步骤426,将该第一卷积特征图像和该第三反卷积特征图像进行交集运算,得到第三交集图像。
具体地,将该第一卷积特征图像的张量和该第三反卷积特征图像的张量进行交集运算,得到第三交集图像。
步骤428,将该第一卷积特征图像和该第三反卷积特征图像分别与第三交集图像进行差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像。
具体地,将该第一卷积特征图像的张量和该第三反卷积特征图像的张量分别与第三交集图像进行跨层差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像。
步骤430,将该第一卷积差交特征图像、该第三交集图像和该第三反卷积差交特征图像连接。
具体地,按照时序顺序将该第一卷积差交特征图像、该第三交集图像和该第三反卷积差交特征图像连接。
步骤432,将连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理,得到第三时刻的三维图像。
具体地,将按照时序顺序连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理过滤后,得到第三时刻的三维图像。
上述三维时序图像处理方法中,通过将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第三卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像;将该第三卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像;将该第三卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接;将连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第二卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像;将该第二卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像;将该第二卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接;将连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三反卷积特征图像;将该第一卷积特征图像和该第三反卷积特征图像进行交集运算,得到第三交集图像;将该第一卷积特征图像和该第三反卷积特征图像分别与第三交集图像进行差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像;将该第一卷积差交特征图像、该第三交集图像和该第三反卷积差交特征图像连接;将连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理,得到第三时刻的三维图像。因此,在三维时序图像处理的过程中,通过跨层差交能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。
在一个实施例中,对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。通过注意力权重处理能够促进三维时序图像生成网络更关注三维图像的主要部分,并且提升网络学习和预测三维图像的能力。
在一个实施例中,如图5所示,提供了一种三维时序图像处理方法,应用于三维时序图像生成网络,所述三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层;包括以下步骤:
步骤502,通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
其中,该三维卷积长短期记忆网络层的以一定的步长进行处理,例如,该三维卷积长短期记忆网络层的步长可以为2,也可以为1。
具体地,计算机设备将输入的第一时刻的三维图像和第二时刻的三维图像进行卷积处理过滤后,得到卷积特征图像,其中第一时刻的三维图像和第二时刻的三维图像尺寸一致,例如,两张三维图像的输入张量尺寸为[l,w,h,c],即长为l,宽为w,高为h,通道数量为c。
步骤504,通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;以及将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像。
其中,该反卷积特征图像是通过三维反卷积长短期记忆网络层输出的张量,交集运算是根据卷积特征图像张量和反卷积特征图像张量进行交集计算,差分运算是根据特征图像的张量进行差分计算。
具体地,通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;以及根据特征图像的张量和交集图像张量,将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像。
步骤506,通过该连接层将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接。
其中,连接层是为了连接输出不同层输出图像的张量。
步骤508,通过该三维反卷积长短期记忆网络层将该连接后的卷积差交特征图像、该交集图像和该反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
具体地,通过该三维反卷积长短期记忆网络层将按照时序顺序连接后的卷积差交特征图像、该交集图像和该反卷积差交特征图像进行反卷积处理过滤后,预测得到第三时刻的三维图像。
上述三维时序图像处理方法中,应用于三维时序图像生成网络,该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层,通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;以及将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;通过该连接层将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接;通过该三维反卷积长短期记忆网络层将该连接后的卷积差交特征图像、该交集图像和该反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维时序图像处理的过程中,通过跨层差交能够解决因梯度爆炸及梯度消失导致预测图像准确率低的问题。
请参考图6,根据跨层差交结构,先将通过三维卷积长短期记忆网络层得到的卷积特征图像和通过三维反卷积长短期记忆网络层得到的卷积特征图像进行交集运算得到交集图像,然后将卷积特征图像和反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像,再连接输出卷积差交特征图像、交集图像和反卷积差交特征图像。例如,输入X1到三维卷积长短期记忆网络层得到X2,经过三维反卷积长短期记忆网络层得到X3,经过交集运算得到X2∩X3,再经过差分运算得到X2-X2∩X3和X3-X2∩X3,故,连接层连接输出(X2-X2∩X3,X2∩X3,X3-X2∩X3),或该结构也可以输出(X3-X2∩X3,X2∩X3,X2-X2∩X3)。
请参考图7a所示的三维时序图像生成网络,该网络结构由4层ConvAttention(Convolution Attention,卷积注意力层)、4层ConvLSTM3D(three-dimensionalConvolution Long Short Term Memory,三维卷积长短期记忆网络层)、5层ConvLSTM3DT(three-dimensional Convolution Long Short Term Memory Transpose,三维反卷积长短期记忆网络层)组成。其中,ConvLSTM3D和ConvLSTM3DT具有4层ConvLSTM3D的卷积核分别为2*2*2*128(128个步长为2且尺寸为2*2*2的卷积核)、2*2*2*256(256个步长为2且尺寸为2*2*2的卷积核)、两个2*2*2*512(512个步长为2且尺寸为2*2*2的卷积核)。5层ConvLSTM3DT(three-dimensional Convolution Long Short Term Memory Transpose,三维反卷积长短期记忆网络),其中5层ConvLSTM3DT的卷积核分别为2*2*2*512(512个步长为2且尺寸为2*2*2的卷积核)、2*2*2*256(256个步长为2且尺寸为2*2*2的卷积核)、2*2*2*128(128个步长为2且尺寸为2*2*2的卷积核)、2*2*2*64(64个步长为2且尺寸为2*2*2的卷积核)、2*2*2*c(c个步长为1且尺寸为2*2*2的卷积核)。由于该网络结构在进行预测三维图像的过程中,随着层数的增加会导致因存在梯度爆炸及梯度消失导致预测图像准确率低的问题。
因此,在图7a的网络基础上,如图7b所示的网络是通过增加跨层差交结构解决因存在梯度爆炸及梯度消失导致预测图像准确率低的问题。其中,对输出尺寸一致的ConvLSTM3D(three-dimensional Convolution Long Short Term Memory,三维卷积长短期记忆网络层)和ConvLSTM3DT(three-dimensional Convolution Long Short TermMemory Transpose,三维反卷积长短期记忆网络层)增加跨层差交结构。例如,尺寸均为[l,w,h,c]的第一时刻的三维图像和第二时刻的三维图像输入图7a中的网络结构中,经过ConvAttention后得到的张量即[l,w,h,c*2],经过128个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/2,w/2,h/2,128],经过ConvAttention和256个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/4,w/4,h/4,256],经过512个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/8,w/8,h/8,512],经过512个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/16,w/16,h/16,512],经过512个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/8,w/8,h/8,512],经过256个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/4,w/4,h/4,256],经过ConvAttention和128个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/2,w/2,h/2,128],经过ConvAttention和64个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l,w,h,64],经过c个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l,w,h,c],最后输出尺寸为[l,w,h,c]的第三时刻的三维图像。其中,由上到下,第一个连接层Concat(Concatenate,连接层)连接卷积核为2*2*2*128的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/2,w/2,h/2,128],第二个连接层Concat连接卷积核为2*2*2*256的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/4,w/4,h/4,256],第三个连接层Concat连接卷积核为2*2*2*512的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/8,w/8,h/8,512]。
在一个实施例中,如图8所示,提供了一种三维时序图像处理方法,应用于图7b所示的三维神经网络中,包括以下步骤:
步骤802,将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像。
其中,将尺寸一致的第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络中。
步骤804,将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像。
步骤806,将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像。
步骤808,将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像。
步骤810,将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像。
步骤812,将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像。
步骤814,将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像。
步骤816,将该第三特征图像和该第五特征图像进行交集运算,得到第一交集图像。
其中,该第三特征图像和该第五特征图像的张量尺寸一致。
步骤818,将该第三特征图像和该第五特征图像分别与第一交集图像进行差分运算,分别得到第三差交特征图像和第五差交特征图像。
步骤820,通过第一连接层将该第三差交特征图像、该第一交集图像和该第五差交特征图像连接。
步骤822,将连接在一起的第三差交特征图像、第一交集图像和第五差交特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像。
步骤824,将该第二特征图像和该第六特征图像进行交集运算,得到第二交集图像。
其中,该第二特征图像和该第六特征图像的张量尺寸一致。
步骤826,将该第二特征图像和该第六特征图像分别与第二交集图像进行差分运算,分别得到第二差交特征图像和第六差交特征图像。
步骤828,通过第二连接层将该第二差交特征图像、该第二交集图像和该第六差交特征图像连接。
步骤830,将连接在一起的第二差交特征图像、第二交集图像和第六差交特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像。
步骤832,将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像。
步骤834,将该第一特征图像和该第八特征图像进行交集运算,得到第三交集图像。
其中,该第一特征图像和该第八特征图像的张量尺寸一致。
步骤836,将该第一特征图像和该第八特征图像分别与第三交集图像进行差分运算,分别得到第一差交特征图像和第八差交特征图像。
步骤838,通过第三连接层将该第一差交特征图像、该第三交集图像和该第八差交特征图像连接。
步骤840,将连接在一起的第一差交特征图像、第三交集图像和第八差交特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像。
步骤842,将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
在本实施例中,在增加跨层差交结构后,经过多层处理后所得到的张量不会忽大忽小,随着计算损失和更新网络权值,能够稳定地向优化的方向变化,从而解决三维卷积长短期记忆网络训练中的梯度消失和梯度爆炸的问题。根据输出张量一致查询三维卷积长短期记忆层和三维反卷积长短期记忆层,从而增加跨层差交结构,并且在如图7a中的网络结构中增加3个跨层差交结构解决梯度爆炸及梯度消失的问题的效果比增加2个跨层差交结构的效果更好。应当指出,不能无限增加,应当根据最终输出图像的效果决定增加跨层差交结构的个数。
应该理解的是,虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种三维时序图像处理装置,该装置900包括卷积处理模块902、反卷积处理模块904、交集计算模块906、差分计算模块908、连接模块910,其中:
卷积处理模块902,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
反卷积处理模块904,用于将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像。
交集计算模块906,用于将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像。
差分计算模块908,用于将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像。
连接模块910,用于将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接。
该反卷积处理模块904,用于将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
在一个实施例中,卷积处理模块902还用于将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
在一个实施例中,卷积处理模块902还用于将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
该卷积处理模块902还用于将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
反卷积处理模块904还用于将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
交集计算模块906还用于将该第二卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像。
差分计算模块908还用于将该第二卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像。
连接模块910还用于将该第二卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
该反卷积处理模块904还用于将连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像。
该交集计算模块906还用于将该第一卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像。
该差分计算模块908还用于将该第一卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像。
该连接模块910还用于将该第一卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
该反卷积处理模块904还用于将连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三时刻的三维图像。
在一个实施例中,卷积处理模块902还用于将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
该卷积处理模块902还用于将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
该卷积处理模块902还用于将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像。
反卷积处理模块904还用于将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
交集计算模块906还用于将该第三卷积特征图像和该第一反卷积特征图像进行交集运算,得到第一交集图像。
差分计算模块908还用于将该第三卷积特征图像和该第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像。
连接模块910还用于将该第三卷积差交特征图像、该第一交集图像和该第一反卷积差交特征图像连接。
该反卷积处理模块904还用于将连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像。
该交集计算模块906还用于将该第二卷积特征图像和该第二反卷积特征图像进行交集运算,得到第二交集图像。
该差分计算模块908还用于将该第二卷积特征图像和该第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像。
该连接模块910还用于将该第二卷积差交特征图像、该第二交集图像和该第二反卷积差交特征图像连接。
该反卷积处理模块904还用于将连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三反卷积特征图像。
该交集计算模块906还用于将该第一卷积特征图像和该第三反卷积特征图像进行交集运算,得到第三交集图像。
该差分计算模块908还用于将该第一卷积特征图像和该第三反卷积特征图像分别与第三交集图像进行差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像。
该连接模块910还用于将该第一卷积差交特征图像、该第三交集图像和所述第三反卷积差交特征图像连接。
该反卷积处理模块904还用于将连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理,得到第三时刻的三维图像。
在一个实施例中,如图10所示,该装置900还包括卷积注意力模块912,该卷积注意力模块912用于对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
在一个实施例中,卷积处理模块902还用于通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
反卷积处理模块904还用于通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及交集计算模块906还用于将该卷积特征图像和该反卷积特征图像进行交集运算,得到交集图像;以及差分计算模块908用于将该卷积特征图像和该反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像。
连接模块910还用于将该通过该连接层将该卷积差交特征图像、该交集图像和该反卷积差交特征图像连接。
该反卷积处理模块904还用于通过该三维反卷积长短期记忆网络层将该连接后的卷积差交特征图像、该交集图像和该反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
在一个实施例中,卷积注意力模块912用于将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像。
卷积处理模块902还用于将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像。
该卷积注意力模块912还用于将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像。
该卷积处理模块902还用于将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像。
该卷积处理模块902还用于将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像。
该卷积处理模块902还用于将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像。
反卷积处理模块904还用于将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像。
交集计算模块906还用于将该第三特征图像和该第五特征图像进行交集运算,得到第一交集图像。
差分计算模块908还用于将该第三特征图像和该第五特征图像分别与第一交集图像进行差分运算,分别得到第三差交特征图像和第五差交特征图像。
连接模块910还用于通过第一连接层将该第三差交特征图像、该第一交集图像和该第五差交特征图像连接。
该反卷积处理模块904还用于将连接在一起的第三差交特征图像、第一交集图像和第五差交特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像。
该交集计算模块906还用于将该第二特征图像和该第六特征图像进行交集运算,得到第二交集图像。
该差分计算模块908还用于将该第二特征图像和该第六特征图像分别与第二交集图像进行差分运算,分别得到第二差交特征图像和第六差交特征图像。
该连接模块910还用于通过第二连接层将该第二差交特征图像、该第二交集图像和该第六差交特征图像连接。
该卷积注意力模块912还用于将连接在一起的第二差交特征图像、第二交集图像和第六差交特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像。
该反卷积处理模块904还用于将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像。
该交集计算模块906还用于将该第一特征图像和该第八特征图像进行交集运算,得到第三交集图像。
该差分计算模块908还用于将该第一特征图像和该第八特征图像分别与第三交集图像进行差分运算,分别得到第一差交特征图像和第八差交特征图像。
该连接模块910还用于通过第三连接层将该第一差交特征图像、该第三交集图像和该第八差交特征图像连接。
该卷积注意力模块912还用于将连接在一起的第一差交特征图像、第三交集图像和第八差交特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像。
该反卷积处理模块904还用于将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
关于三维时序图像处理装置的具体限定可以参见上文中对于三维时序图像处理方法的限定,在此不再赘述。上述三维时序图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储三维时序图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维时序图像处理方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维时序图像处理方法,其特征在于,所述方法包括:
将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;
将所述卷积特征图像和所述反卷积特征图像进行交集运算,得到交集图像;
将所述卷积特征图像和所述反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;
将所述卷积差交特征图像、所述交集图像和所述反卷积差交特征图像连接;
将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
2.根据权利要求1所述的方法,其特征在于,所述将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像,包括:
将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;
将所述第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;
将所述第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;
将所述第二卷积特征图像和所述第一反卷积特征图像进行交集运算,得到第一交集图像;
将所述第二卷积特征图像和所述第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第二卷积差交特征图像和第一反卷积差交特征图像;
将所述第二卷积差交特征图像、所述第一交集图像和所述第一反卷积差交特征图像连接;
将连接后的第二卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;
将所述第一卷积特征图像和所述第二反卷积特征图像进行交集运算,得到第二交集图像;
将所述第一卷积特征图像和所述第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第一卷积差交特征图像和第二反卷积差交特征图像;
将所述第一卷积差交特征图像、所述第二交集图像和所述第二反卷积差交特征图像连接;
将连接后的第一卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三时刻的三维图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;
将所述第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;
将所述第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;
将所述第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;
将所述第三卷积特征图像和所述第一反卷积特征图像进行交集运算,得到第一交集图像;
将所述第三卷积特征图像和所述第一反卷积特征图像分别与第一交集图像进行差分运算,分别得到第三卷积差交特征图像和第一反卷积差交特征图像;
将所述第三卷积差交特征图像、所述第一交集图像和所述第一反卷积差交特征图像连接;
将连接后的第三卷积差交特征图像、第一交集图像和第一反卷积差交特征图像进行第二反卷积处理,得到第二反卷积特征图像;
将所述第二卷积特征图像和所述第二反卷积特征图像进行交集运算,得到第二交集图像;
将所述第二卷积特征图像和所述第二反卷积特征图像分别与第二交集图像进行差分运算,分别得到第二卷积差交特征图像和第二反卷积差交特征图像;
将所述第二卷积差交特征图像、所述第二交集图像和所述第二反卷积差交特征图像连接;
将连接后的第二卷积差交特征图像、第二交集图像和第二反卷积差交特征图像进行第三反卷积处理,得到第三反卷积特征图像;
将所述第一卷积特征图像和所述第三反卷积特征图像进行交集运算,得到第三交集图像;
将所述第一卷积特征图像和所述第三反卷积特征图像分别与第三交集图像进行差分运算,分别得到第一卷积差交特征图像和第三反卷积差交特征图像;
将所述第一卷积差交特征图像、所述第三交集图像和所述第三反卷积差交特征图像连接;
将连接后的第一卷积差交特征图像、第三交集图像和第三反卷积差交特征图像进行第四反卷积处理,得到第三时刻的三维图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
6.根据权利要求1所述的方法,其特征在于,应用于三维时序图像生成网络,所述三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层;所述方法还包括:
通过所述三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
通过所述三维反卷积长短期记忆网络层将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;以及将所述卷积特征图像和所述反卷积特征图像进行交集运算,得到交集图像;以及将所述卷积特征图像和所述反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;
通过所述连接层将所述卷积差交特征图像、所述交集图像和所述反卷积差交特征图像连接;
通过所述三维反卷积长短期记忆网络层将所述连接后的卷积差交特征图像、所述交集图像和所述反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像;
将所述三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像;
将所述第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像;
将所述具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像;
将所述第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像;
将所述第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像;
将所述第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像;
将所述第三特征图像和所述第五特征图像进行交集运算,得到第一交集图像;
将所述第三特征图像和所述第五特征图像分别与第一交集图像进行差分运算,分别得到第三差交特征图像和第五差交特征图像;
通过第一连接层将所述第三差交特征图像、所述第一交集图像和所述第五差交特征图像连接;
将连接在一起的第三差交特征图像、第一交集图像和第五差交特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像;
将所述第二特征图像和所述第六特征图像进行交集运算,得到第二交集图像;
将所述第二特征图像和所述第六特征图像分别与第二交集图像进行差分运算,分别得到第二差交特征图像和第六差交特征图像;
通过第二连接层将所述第二差交特征图像、所述第二交集图像和所述第六差交特征图像连接;
将连接在一起的第二差交特征图像、第二交集图像和第六差交特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像;
将所述第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像;
将所述第一特征图像和所述第八特征图像进行交集运算,得到第三交集图像;
将所述第一特征图像和所述第八特征图像分别与第三交集图像进行差分运算,分别得到第一差交特征图像和第八差交特征图像;
通过第三连接层将所述第一差交特征图像、所述第三交集图像和所述第八差交特征图像连接;
将连接在一起的第一差交特征图像、第三交集图像和第八差交特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像;
将所述第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
8.一种三维时序图像处理装置,其特征在于,所述装置包括:
卷积处理模块,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
反卷积处理模块,用于将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;
交集计算模块,用于将所述卷积特征图像和所述反卷积特征图像进行交集运算,得到交集图像;
差分计算模块,用于将所述卷积特征图像和所述反卷积特征图像分别与交集图像进行差分运算,分别得到卷积差交特征图像和反卷积差交特征图像;
连接模块,用于将所述卷积差交特征图像、所述交集图像和所述反卷积差交特征图像连接;
所述反卷积处理模块,用于将连接后的卷积差交特征图像、交集图像和反卷积差交特征图像进行反卷积处理,得到第三时刻的三维图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110315071.0A 2021-03-24 2021-03-24 三维时序图像处理方法、装置、计算机设备和存储介质 Expired - Fee Related CN112907450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110315071.0A CN112907450B (zh) 2021-03-24 2021-03-24 三维时序图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110315071.0A CN112907450B (zh) 2021-03-24 2021-03-24 三维时序图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112907450A CN112907450A (zh) 2021-06-04
CN112907450B true CN112907450B (zh) 2023-01-06

Family

ID=76106292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110315071.0A Expired - Fee Related CN112907450B (zh) 2021-03-24 2021-03-24 三维时序图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112907450B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801282A (zh) * 2021-03-24 2021-05-14 东莞中国科学院云计算产业技术创新与育成中心 三维图像处理方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3591617A1 (de) * 2018-07-06 2020-01-08 Siemens Healthcare GmbH Bestimmen eines differenzbilddatensatzes eines untersuchungsvolumens
CN111027566A (zh) * 2018-10-10 2020-04-17 中国移动通信有限公司研究院 一种图像处理方法、系统、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技(深圳)有限公司 图像的处理方法、装置、存储介质和电子装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3591617A1 (de) * 2018-07-06 2020-01-08 Siemens Healthcare GmbH Bestimmen eines differenzbilddatensatzes eines untersuchungsvolumens
CN111027566A (zh) * 2018-10-10 2020-04-17 中国移动通信有限公司研究院 一种图像处理方法、系统、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction;Christopher B. Choy et al;《Computer Vision ECCV 2016》;20160917;第628-638页 *
A Three-Dimensional Deep Convolutional Neural Network for Automatic Segmentation and Diameter Measurement of Type B Aortic Dissection;Yitong Yu et al;《Korean Journal of Radiology》;20200229;第167-171页 *

Also Published As

Publication number Publication date
CN112907450A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
WO2020177651A1 (zh) 图像分割方法和图像处理装置
CN112308200B (zh) 神经网络的搜索方法及装置
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112215332B (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN112396115A (zh) 基于注意力机制的目标检测方法、装置及计算机设备
US11144782B2 (en) Generating video frames using neural networks
US20220414439A1 (en) Neuromorphic Synthesizer
CN111782840A (zh) 图像问答方法、装置、计算机设备和介质
CN113538281B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112348116B (zh) 利用空间上下文的目标检测方法、装置和计算机设备
US11164032B2 (en) Method of performing data processing operation
US20200389182A1 (en) Data conversion method and apparatus
WO2022179606A1 (zh) 一种图像处理方法及相关装置
CN118781408A (zh) 图像分类方法及装置
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN113065997A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN109815789A (zh) 在cpu上实时多尺度人脸检测方法与系统及相关设备
CN112907450B (zh) 三维时序图像处理方法、装置、计算机设备和存储介质
CN113066018A (zh) 一种图像增强方法及相关装置
CN113627421B (zh) 一种图像处理方法、模型的训练方法以及相关设备
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN116091844A (zh) 一种基于边缘计算的图像数据处理方法及系统
CN116206212A (zh) 一种基于点特征的sar图像目标检测方法及系统
WO2023122896A1 (zh) 一种数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230106