CN114463223A - 一种图像增强的处理方法、装置、计算机设备及介质 - Google Patents

一种图像增强的处理方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114463223A
CN114463223A CN202210363333.5A CN202210363333A CN114463223A CN 114463223 A CN114463223 A CN 114463223A CN 202210363333 A CN202210363333 A CN 202210363333A CN 114463223 A CN114463223 A CN 114463223A
Authority
CN
China
Prior art keywords
image
illumination
image enhancement
network
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210363333.5A
Other languages
English (en)
Inventor
路振旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingying Intelligent Technology Co ltd
Original Assignee
Shenzhen Lingying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingying Intelligent Technology Co ltd filed Critical Shenzhen Lingying Intelligent Technology Co ltd
Priority to CN202210363333.5A priority Critical patent/CN114463223A/zh
Publication of CN114463223A publication Critical patent/CN114463223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像增强的处理方法、装置、计算机设备及介质;方法包括:预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;基于构建的图像增强网络,获取输入的低照度图像
Figure 464372DEST_PATH_IMAGE001
,逐步求解照度估计的最优化模型,获得基于Retinex理论的照度分量
Figure 368874DEST_PATH_IMAGE002
;基于所述照度分量
Figure 406100DEST_PATH_IMAGE002
,通过指定公式
Figure 887897DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 173997DEST_PATH_IMAGE004
,其中,
Figure 57640DEST_PATH_IMAGE005
表示逐元素相除;根据所述初步增强后的图像
Figure 406713DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过去噪的增强图像
Figure 375806DEST_PATH_IMAGE006
。本发明方法最终搜索目标为找到一个轻量级的网络用于图像增强,所以其适宜于边缘部署,可以得到更好的增强效果。

Description

一种图像增强的处理方法、装置、计算机设备及介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像增强的处理方法、装置、计算机设备及介质。
背景技术
图像增强主要是增强图像中的有用信息,可以改善图像的视觉效果。近年来针对低照度图像增强的研究中,基于深度学习的方法为主流,但是现有技术的图像增强方法的性能在很大程度上依赖于其精心设计的架构和精心挑选的训练数据,实现复杂。此外,现有的基于 CNN 的方法中的大多数在现实场景下面对各种光强度和密集噪声时往往会获得不令人满意的视觉效果。主要原因是这些相关方法原则上缺乏物理约束,难以捕捉到固有的低照度图像结构,图像增强的效果差。
因此,现有技术有待进一步提高。
发明内容
为了解决上述技术问题,本发明提供了一种图像增强的处理方法、装置、计算机设备及介质,本发明提供了一种新的图像增强方法,通过引入低照度图像知识和搜索轻量级先验架构来构建图像增强网络,可以得到更好的图像增强效果,为用户的使用提供了方便。
本发明实施例提供了一种图像增强的处理方法,其中,包括:
预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
基于构建的图像增强网络,获取输入的低照度图像
Figure 248848DEST_PATH_IMAGE001
,逐步求解照度估计的最优化 模型,获得基于Retinex理论的照度分量
Figure 388843DEST_PATH_IMAGE002
基于所述照度分量
Figure 703280DEST_PATH_IMAGE002
,通过指定公式
Figure 245120DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 885180DEST_PATH_IMAGE004
,其中,
Figure 512471DEST_PATH_IMAGE005
表示逐元素相除;
根据所述初步增强后的图像
Figure 630599DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过 去噪的增强图像
Figure 495787DEST_PATH_IMAGE006
所述的图像增强的处理方法,其中,所述根据所述预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络的步骤包括:
基于Retinex模型启发的优化过程来建立增强网络框架;
基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
与现有技术相比,本发明实施例具有以下优点:
本发明提出了一种图像增强的处理方法、装置、计算机设备及介质,所述图像增强 的处理方法包括:预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;基 于构建的图像增强网络,获取输入的低照度图像
Figure 165803DEST_PATH_IMAGE001
,逐步求解照度估计的最优化模型,获得 基于Retinex理论的照度分量
Figure 388712DEST_PATH_IMAGE002
;基于所述照度分量
Figure 435165DEST_PATH_IMAGE002
,通过指定公式
Figure 92542DEST_PATH_IMAGE003
,获得初步 增强后的图像
Figure 933459DEST_PATH_IMAGE004
,其中,
Figure 145129DEST_PATH_IMAGE005
表示逐元素相除;根据所述初步增强后的图像
Figure 729694DEST_PATH_IMAGE004
,逐步求解去噪 模块的最优化模型,得到最终经过去噪的增强图像
Figure 303895DEST_PATH_IMAGE006
。本发明该方法首先展开受Retinex模 型启发的优化过程来建立增强网络框架,然后为其中的低照度先验模块引入了一个基于蒸 馏单元的搜索空间,最后通过协作无参考学习策略,从搜索空间中求解所需的低照度先验 结构,获得性能最佳的图像增强网络,用于图像增强。由于该方法最终搜索目标为找到一个 轻量级的网络用于图像增强,所以其适宜于边缘部署,可以得到更好的增强效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像增强的处理方法的流程示意图。
图2为本发明实施例的一种图像增强的处理方法的实现功能原理框示意图。
图3为本发明实施例的一种图像增强的处理方法的照度估计模块结构示意图。
图4为本发明实施例的一种图像增强的处理方法的去噪模块结构结构示意图。
图5为本发明实施例的一种图像增强的处理方法的低照度先验模块结构的搜索空间结构示意图。
图6a、图6b为本发明实施例的一种图像增强的处理方法的低照度先验模块结构的低照度图像增强效果示意图。
图7为本发明实施例中一种图像增强装置的结构示意图。
图8为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图像增强主要是增强图像中的有用信息,可以改善图像的视觉效果。
由于不可避免的环境或技术限制,现实生活中拍摄到的图像大多存在照度不足的问题。此类图像视觉效果较差,且会影响到高层任务如物体跟踪、识别和检测等。而低照度图像增强技术则能很好地解决以上问题,其在不同领域享有广泛的应用,包括视觉监控、自动驾驶和计算摄影。特别是,智能手机摄影已经变得普遍且流行。受限于手机相机光圈的大小、实时处理的需求以及内存的限制,在昏暗的环境中用智能手机的相机拍照尤其具有挑战性。在这种应用中,增强低照度图像是一个值得探索的研究领域。
传统的低照度增强方法包括基于直方图均衡的方法和基于Retinex模型(一种颜色恒常知觉的计算理论模型)的方法。后者受到的关注相对较多。一个典型的基于Retinex模型的方法通过某种先验或正则化将低照度图像分解为反射分量和照明分量。而被估测的反射分量被视为增强的结果。但这些方法有一定的局限性。近年来,基于深度学习的低照度图像增强取得了令人瞩目的成功。与传统方法相比,基于深度学习的解决方案具有更好的准确性、鲁棒性和速度,因此近年来吸引了越来越多的关注。自2017年以来,基于深度学习的解决方案的数量逐年增加。这些解决方案中使用的学习策略包括监督学习、强化学习、无监督学习、零次学习和半监督学习等。基于深度Retinex的方法在大多数情况下有较好的增强性能。
边缘计算是近年的研究热点,有许多与其相关的概念,例如雾计算、移动边缘计算、微型云计算等,这些都属于边缘计算的范畴,即将计算负载分流到数据生产源附近的网络边缘端。根据物理设备的算力和与数据源的距离,可以进一步将边缘计算系统中的设备纵向分为3层:底层是计算能力较弱、作为数据源的终端设备,中层是计算能力相对较强但有限的边缘计算服务器,顶层是具有弹性扩张能力的云服务器。设备端和边缘服务器之间具有稳定的网络连接,同时具备带宽大和延迟低的特点;而边缘服务器和云服务器之间则通过因特网进行连接,具有连接不稳定、带宽低、延迟高等特点。按照计算负载在3类设备上的分配,常见的边缘计算系统可以纵向分为设备–边缘、边缘–云端,以及设备–边缘–云端3种架构。
边缘计算的出现是为了解决终端设备计算能力不足的问题,其在分析精度、端到端延迟、资源占用等多方面进行权衡。由于边缘服务器与摄像头位置相近,网络条件较为简单,二者间可以保持稳定的高带宽和低延迟通信。边缘站点不涉及多租户服务,强调服务的稳定运行和节约云边通信带宽,常见于安防监控、工业分析等场景,并且多采用边缘–云端和多设备协同架构。
发明人经过研究发现,近年来针对低照度图像增强的研究中,基于深度学习的方法为主流,但是现有技术的图像增强方法的性能在很大程度上依赖于其精心设计的架构和精心挑选的训练数据,实现复杂。此外,现有的基于 CNN 的方法中的大多数在现实场景下面对各种光强度和密集噪声时往往会获得不令人满意的视觉效果。主要原因是这些相关方法原则上缺乏物理约束,难以捕捉到固有的低照度图像结构,图像增强的效果差。
为了解决上述问题,在本发明实施例中,提供了一种新的图像增强处理方法,并提出了一种新的框架,通过引入低照度图像知识和搜索轻量级先验架构来构建图像增强网络。具体地,本发明方法受Retinex模型的启发,将图像增强问题转化为照度估计和图像去噪两个优化过程并将其展开,然后为其中的低照度先验模块引入了一个基于蒸馏单元的搜索空间,最后通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。由于该方法最终搜索目标为找到一个轻量级的网络用于图像增强,所以其适宜于边缘部署,可以得到更好的增强效果。
本发明实施例提出的一种图像增强的处理方法,可以应用到电子设备中,例如,PC机、服务器、手机、电视机等。另外,该方法所实现的功能可以通过电子设备中的处理调用应用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,所述电子设备至少包括处理器和存储介质。
如图1所示,本发明实施例提供的一种图像增强的处理方法,包括以下步骤:
步骤S100、预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络。
本发明实施例中,参考图2所示,通过引入低照度图像知识和搜索轻量级先验架构来构建图像增强网络。具体来说,首先,基于受Retinex模型启发的优化过程来建立增强网络框架,然后为其中的低照度先验模块引入了基于蒸馏单元的搜索空间,最后通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。由于该方法最终搜索目标为找到一个轻量级的网络用于图像增强,所以其适宜于边缘部署。
步骤S200、基于构建的图像增强网络,获取输入的低照度图像
Figure 191079DEST_PATH_IMAGE001
,逐步求解照度估 计的最优化模型,获得基于Retinex理论的照度分量
Figure 280258DEST_PATH_IMAGE002
即本发明实施例中如图2所示,基于构建的图像增强网络,获取输入低照度图像
Figure 42416DEST_PATH_IMAGE001
, 逐步求解照度估计的最优化模型如下公式(2),求得基于Retinex理论的照度分量
Figure 533440DEST_PATH_IMAGE002
步骤S300、基于所述照度分量
Figure 591526DEST_PATH_IMAGE002
,通过指定公式
Figure 105684DEST_PATH_IMAGE003
,获得初步增强后的图 像
Figure 376259DEST_PATH_IMAGE004
,其中,
Figure 721790DEST_PATH_IMAGE005
表示逐元素相除;
步骤S400、根据所述初步增强后的图像
Figure 449312DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型(公式 4),得到最终经过去噪的增强图像
Figure 247504DEST_PATH_IMAGE006
本发明实施例中,通过引入低照度图像先验知识和搜索轻量级先验架构来构建图像增强网络,具体地,基于Retinex模型启发的优化过程来建立增强网络框架;基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
本发明实施例中具体地,基于Retinex理论可表示为:
Figure 118508DEST_PATH_IMAGE007
,其中
Figure 318545DEST_PATH_IMAGE001
Figure 718433DEST_PATH_IMAGE008
分别 是捕获的曝光不足观察和所需恢复的图像。此外,
Figure 3921DEST_PATH_IMAGE009
表示照度图,
Figure 740933DEST_PATH_IMAGE010
表示逐元素乘法。照度估 计模块(IEM)旨在估计照度图
Figure 670843DEST_PATH_IMAGE009
,而去噪模块(NRM)旨在去除弱光场景中所捕获的图像包含 的噪声。
本发明具体实施例中,关于步骤S200的基于构建的图像增强网络,获取输入的低 照度图像
Figure 366267DEST_PATH_IMAGE001
,逐步求解照度估计的最优化模型,获得基于Retinex理论的照度分量
Figure 512952DEST_PATH_IMAGE002
,具体为 采用照度估计模块(IEM),图3为本发明实施例照度估计模块结构图。如图3所示,首先定义 一个中间图像
Figure 850392DEST_PATH_IMAGE011
。在IEM的第
Figure 634809DEST_PATH_IMAGE012
阶段,首先提出以下策略来估计初始光照图
Figure 766713DEST_PATH_IMAGE013
,即
Figure 964476DEST_PATH_IMAGE014
,其 中,
Figure 715394DEST_PATH_IMAGE015
上式中,
Figure 744530DEST_PATH_IMAGE016
可根据
Figure 922702DEST_PATH_IMAGE017
得到,其中
Figure 404499DEST_PATH_IMAGE018
是最后阶段的估计照度图,
Figure 192064DEST_PATH_IMAGE019
表示 逐元素相除,
Figure 75706DEST_PATH_IMAGE020
表示初始化操作,
Figure 752675DEST_PATH_IMAGE021
表示低照度图像,
Figure 597134DEST_PATH_IMAGE022
表示在以像素z为中心 的区域内,低照度图像像素值的最大值,
Figure 814489DEST_PATH_IMAGE023
为位置索引;公式(1)中max()为求最大值函数。
此外,
Figure 693583DEST_PATH_IMAGE024
是以像素
Figure 338191DEST_PATH_IMAGE025
为中心的区域,
Figure 669947DEST_PATH_IMAGE023
是该区域内的位置索引。这一项表示某一 点的照度值应为个通道中像素值的最大值,可以用来处理不均匀的光照。至于公式(1)中的 残差项
Figure 425413DEST_PATH_IMAGE026
(惩罚参数
Figure 486910DEST_PATH_IMAGE027
),其目的在于自适应地抑制传播过程中
Figure 410741DEST_PATH_IMAGE028
可能 存在的一些过曝光像素。
使用照度初始值
Figure 354427DEST_PATH_IMAGE028
,通过求解以下最优化模型来进一步细化
Figure 788950DEST_PATH_IMAGE029
Figure 501691DEST_PATH_IMAGE030
其中
Figure 363468DEST_PATH_IMAGE031
表示
Figure 794449DEST_PATH_IMAGE029
的一个正则化项。和直接与先验项交互的经典迭代优化方法不同, 只需编写一个示意梯度下降方案。
Figure 767085DEST_PATH_IMAGE032
并通过CNN模型
Figure 599911DEST_PATH_IMAGE033
参数化公式(3)中的
Figure 131125DEST_PATH_IMAGE034
。其中,
Figure 987085DEST_PATH_IMAGE035
为照度估计 模块的参数化表示,类似地,下文
Figure 888045DEST_PATH_IMAGE036
为去噪模块的参数化表示。
本发明实施例,通过上述计算的
Figure 450745DEST_PATH_IMAGE037
个阶段,可以得到
Figure 44537DEST_PATH_IMAGE017
,即作为照度估 计模块(IEM)的输出。
进一步较佳地,本发明实施例中,关于步骤S300的根据所述初步增强后的图像
Figure 59897DEST_PATH_IMAGE004
, 逐步求解去噪模块的最优化模型,得到最终经过去噪的增强图像
Figure 498969DEST_PATH_IMAGE006
具体包括:
本实施例为应对低照度图像中普遍存在的未知分布的噪声,引入另一个去噪模块(NRM)来对其进行抑制,如图3所示,为本实施例去噪模块结构图。与照度估计模块(IEM)过程类似,首先定义一个最优化模型:
Figure 916175DEST_PATH_IMAGE038
其中
Figure 415290DEST_PATH_IMAGE039
表示
Figure 752419DEST_PATH_IMAGE040
的先验正则化项。通过采用与照度估计模块(IEM)相同的展开策略, 可以通过下式更新目标图像
Figure 198444DEST_PATH_IMAGE040
Figure 594790DEST_PATH_IMAGE041
上述公式(5)中,将
Figure 140172DEST_PATH_IMAGE042
参数化为
Figure 520338DEST_PATH_IMAGE043
(即CNN模型),并将去噪模块(具 有N个阶段)的输出表示为
Figure 442157DEST_PATH_IMAGE044
Figure 693010DEST_PATH_IMAGE016
为照度估计模块的输出,实现照度预测完成后再进行噪声 估计。
进一步地实施例中,本发明关于图像增强网络,是通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,进行图像增强:
具体地:先采用照度先验模块的搜索空间,如图5所示,为本实施例的低照度先验 模块结构的搜索空间结构示意图。本实施例中,首先从定义低照度先验模块(
Figure 409293DEST_PATH_IMAGE045
Figure 214438DEST_PATH_IMAGE046
) 的搜索空间开始。通过使用特征蒸馏技术,可以将搜索空间定义为蒸馏单元,其结构如图5 所示,其中,M表示候选的映射集合。候选映射包括1×1和3×3卷积(1-C和3-C)、1×1和3×3 残差卷积(1-RC和3-RC)、3×3扩张卷积,扩张率为2(3-2-DC)、3×3残差膨胀卷积,膨胀率为 2(3-2-RDC),以及跳过连接(SC)。通过采用连续松弛技术,引入向量化形式
Figure 799003DEST_PATH_IMAGE047
来 对
Figure 543843DEST_PATH_IMAGE048
Figure 555662DEST_PATH_IMAGE049
的搜索空间(表示为A)中的结构分别进行编码。用
Figure 785786DEST_PATH_IMAGE050
表示与结 构
Figure 908463DEST_PATH_IMAGE051
相关的权重参数。则搜索任务减少到在所有混合操作中联合学习
Figure 9274DEST_PATH_IMAGE052
Figure 457573DEST_PATH_IMAGE053
。其中,
Figure 971731DEST_PATH_IMAGE054
表示 照度图
Figure 773464DEST_PATH_IMAGE055
预测网络搜索空间的结构向量,
Figure 118995DEST_PATH_IMAGE056
表示噪声分量
Figure 112097DEST_PATH_IMAGE057
预测网络搜索空间的结构向量。
Figure 910288DEST_PATH_IMAGE058
表示
Figure 515713DEST_PATH_IMAGE059
的权重参数,
Figure 715750DEST_PATH_IMAGE060
表示
Figure 443535DEST_PATH_IMAGE061
的权重参。
然后进行可微分搜索,上文所定义的搜索空间可以使整个框架对层权重
Figure 604389DEST_PATH_IMAGE062
和超参 数
Figure 872559DEST_PATH_IMAGE052
都可微,因此最直接的想法是对本发明方法应用基于梯度下降的网络结构搜索(NAS) 方法。然而,经典的网络结构搜索方法只能以端到端的方式学习
Figure 802469DEST_PATH_IMAGE062
Figure 29051DEST_PATH_IMAGE051
,这忽略了重要的低 照度增强过程中的光增强因素(如照度和噪声等)。通过协作搜索IEM和NRM的结构,进而发 现能够正确揭示实际含噪场景中曝光不足图像的低照度先验信息的结构,以上问题得以解 决。
具体来说,将两个模块的搜索过程表述为一个协作博弈,即解决以下模型
Figure 175736DEST_PATH_IMAGE063
Figure 982018DEST_PATH_IMAGE064
Figure 359910DEST_PATH_IMAGE065
其中,
Figure 101601DEST_PATH_IMAGE066
表示验证数据集上的协同损失,即如公式(7)所示:
Figure 361681DEST_PATH_IMAGE067
其中,
Figure 847020DEST_PATH_IMAGE068
Figure 141735DEST_PATH_IMAGE069
分别表示IEM和NRM上的损失,
Figure 319907DEST_PATH_IMAGE070
是一个权衡参数。由于NRM 是基于IRM的输出定义的,因此还应该将
Figure 801704DEST_PATH_IMAGE071
视为
Figure 418630DEST_PATH_IMAGE069
Figure 676174DEST_PATH_IMAGE056
的参数。事实上,类比生成对抗学 习任务,应该理解为方程中的优化问题。
至于
Figure 149881DEST_PATH_IMAGE072
(和
Figure 994340DEST_PATH_IMAGE073
),假设它们只与结构
Figure 211694DEST_PATH_IMAGE071
(和
Figure 90789DEST_PATH_IMAGE056
)相关联。换言之,它们可以通过最小 化以下模型获得:
Figure 735397DEST_PATH_IMAGE074
其中,
Figure 395048DEST_PATH_IMAGE075
Figure 25881DEST_PATH_IMAGE076
分别是IEM和NRM的训练损失,式(8)中两个公式分别表示两个最优化 模型,其中
Figure 618536DEST_PATH_IMAGE077
函数用于求解使得目标函数
Figure 73526DEST_PATH_IMAGE078
取得最小值的自变量集合,所以 两个公式的含义分别为:
Figure 17211DEST_PATH_IMAGE079
Figure 451735DEST_PATH_IMAGE080
分别是使得目标函数
Figure 164476DEST_PATH_IMAGE081
Figure 88570DEST_PATH_IMAGE082
(亦即 损失函数)最小的参数。
因此,上述搜索策略隐性地给出了一个以式(6)和式(8)分别作为上级和下级子问题的两级优化问题,且式(6)中的上层子问题在搜索过程中应进一步分成两个协作任务。
本发明进一步地实施例中,进行协作无参考学习:首先根据一系列无参考损失指定整个方法的训练和验证目标。具体来说,对于IEM,定义在训练和验证数据集上的损失,如公式(9)所示:
分别为
Figure 394917DEST_PATH_IMAGE083
Figure 492186DEST_PATH_IMAGE084
。其中,第一项是保真度,RTV(·)表示相对总变分项(参数
Figure 465958DEST_PATH_IMAGE085
Figure 357691DEST_PATH_IMAGE086
)。事实上,这种损失引导IEM输出可以同时保留整体结构和平滑纹理细节的 照度图。对于NRM,引入类似的损失来定义
Figure 649870DEST_PATH_IMAGE087
Figure 550830DEST_PATH_IMAGE088
,即如公式(10)
Figure 175846DEST_PATH_IMAGE089
其中,标准总变差
Figure 379425DEST_PATH_IMAGE090
为正则化项(参数
Figure 519420DEST_PATH_IMAGE091
)。
在搜索过程中,IEM和NRM的搜索是交替进行同时更新的。也就是说,为IEM更新
Figure 365016DEST_PATH_IMAGE092
时,使用当前
Figure 906856DEST_PATH_IMAGE093
,为NRM更新
Figure 281336DEST_PATH_IMAGE093
时,基于更新的
Figure 908627DEST_PATH_IMAGE092
。对于每个模块,只采用广泛使用的一步有 限差分技术来近似计算上层变量的梯度。
本发明具体实施时可以通过如下步骤实施协作结构搜索策略:
输入:搜索空间A,训练集
Figure 354652DEST_PATH_IMAGE094
、测试集
Figure 124899DEST_PATH_IMAGE095
以及必要的参数
输出:通过协作先验结构搜索得出的最优网络结构。
1: 初始化参数
Figure 794915DEST_PATH_IMAGE096
Figure 50447DEST_PATH_IMAGE097
2: while没有收敛do
3: // 为IEM更新参数
Figure 831321DEST_PATH_IMAGE059
Figure 223119DEST_PATH_IMAGE058
4: while没有收敛do
5:
Figure 64036DEST_PATH_IMAGE098
6:
Figure 869181DEST_PATH_IMAGE099
7: end while
8: // 为NRM更新参数
Figure 329113DEST_PATH_IMAGE093
Figure 700051DEST_PATH_IMAGE100
9: while没有收敛do
10:
Figure 85771DEST_PATH_IMAGE101
11:
Figure 174950DEST_PATH_IMAGE102
12: end while
13: end while
14:返回根据
Figure 438572DEST_PATH_IMAGE103
Figure 664017DEST_PATH_IMAGE104
确定的网络结构。
通过本发明实施例的图像增强方法低照度图像增强后的效果如图6a和图6b所示,其中,图6a为原始图像,和图6b为增强结果图像。
由上可见,本发明实施例所述方法最终搜索目标为找到一个轻量级的网络用于图像增强,所以其适宜于边缘部署,可以得到更好的增强效果。
基于上述实施例,本发明实施例还提供了一种图像增强装置,如图7所示,包括:
图像增强网络构建模块,用于预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
照度估计模块,用于基于构建的图像增强网络,获取输入的低照度图像
Figure 49999DEST_PATH_IMAGE001
,逐步求 解照度估计的最优化模型,获得基于Retinex理论的照度分量
Figure 501840DEST_PATH_IMAGE002
初步增强图像获得模块,用于基于所述照度分量
Figure 428208DEST_PATH_IMAGE002
,通过指定公式
Figure 649105DEST_PATH_IMAGE003
,获 得初步增强后的图像
Figure 268305DEST_PATH_IMAGE004
,其中,
Figure 440398DEST_PATH_IMAGE005
表示逐元素相除;
去噪增强模块,用于根据所述初步增强后的图像
Figure 170456DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化 模型,得到最终经过去噪的增强图像
Figure 308177DEST_PATH_IMAGE006
。具体如上述方法实施例所述。
其中,所述图像增强网络构建模块包括:
增强网络框架建立单元,用于基于Retinex模型启发的优化过程来建立增强网络框架;
搜索空间引入单元,用于基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
图像增强网络确认单元,用于通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。具体如上述方法实施例所述。
本发明实施例还提供了一种计算机设备,该设备可以是终端,内部结构如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像增强的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8所示的仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
基于构建的图像增强网络,获取输入的低照度图像
Figure 973644DEST_PATH_IMAGE001
,逐步求解照度估计的最优化 模型,获得基于Retinex理论的照度分量
Figure 259132DEST_PATH_IMAGE002
基于所述照度分量
Figure 402669DEST_PATH_IMAGE002
,通过指定公式
Figure 457212DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 559161DEST_PATH_IMAGE004
,其中,
Figure 66365DEST_PATH_IMAGE005
表示逐元素相除;
根据所述初步增强后的图像
Figure 512128DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过 去噪的增强图像
Figure 890020DEST_PATH_IMAGE006
其中,所述根据所述预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络的步骤包括:
基于Retinex模型启发的优化过程来建立增强网络框架;
基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
基于构建的图像增强网络,获取输入的低照度图像
Figure 756344DEST_PATH_IMAGE105
,逐步求解照度估计的最优化 模型,获得基于Retinex理论的照度分量
Figure 891791DEST_PATH_IMAGE002
基于所述照度分量
Figure 501764DEST_PATH_IMAGE002
,通过指定公式
Figure 671845DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 709071DEST_PATH_IMAGE004
,其中,
Figure 331813DEST_PATH_IMAGE005
表示逐元素相除;
根据所述初步增强后的图像
Figure 948740DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过 去噪的增强图像
Figure 832382DEST_PATH_IMAGE006
其中,所述根据所述预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络的步骤包括:
基于Retinex模型启发的优化过程来建立增强网络框架;
基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
综上所述,本发明提出了一种图像增强的处理方法、装置、计算机设备及介质,所 述图像增强的处理方法包括:预先构建基于网络架构搜索与Retinex模型优化过程的图像 增强网络;基于构建的图像增强网络,获取输入的低照度图像
Figure 679990DEST_PATH_IMAGE001
,逐步求解照度估计的最优 化模型,获得基于Retinex理论的照度分量
Figure 649083DEST_PATH_IMAGE002
;基于所述照度分量
Figure 741804DEST_PATH_IMAGE002
,通过指定公式
Figure 745532DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 999927DEST_PATH_IMAGE004
,其中,
Figure 659578DEST_PATH_IMAGE106
表示逐元素相除;根据所述初步增强后的图 像
Figure 415045DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过去噪的增强图像
Figure 148646DEST_PATH_IMAGE107
。本发明该方法首 先展开受Retinex模型启发的优化过程来建立增强网络框架,然后为其中的低照度先验模 块引入了一个基于蒸馏单元的搜索空间,最后通过协作无参考学习策略,从搜索空间中求 解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。由于该方法最终 搜索目标为找到一个轻量级的网络用于图像增强,所以其适宜于边缘部署,可以得到更好 的增强效果。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

Claims (10)

1.一种图像增强的处理方法,其特征在于,包括:
预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
基于构建的图像增强网络,获取输入的低照度图像
Figure 953289DEST_PATH_IMAGE001
,逐步求解照度估计的最优化模 型,获得基于Retinex理论的照度分量
Figure 339271DEST_PATH_IMAGE002
基于所述照度分量
Figure 587850DEST_PATH_IMAGE002
,通过指定公式
Figure 451901DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 531852DEST_PATH_IMAGE004
,其中,
Figure 823156DEST_PATH_IMAGE005
表 示逐元素相除;
根据所述初步增强后的图像
Figure 559031DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过去噪的 增强图像
Figure 226773DEST_PATH_IMAGE006
2.根据权利要求1所述的图像增强的处理方法,其特征在于,所述根据所述预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络的步骤包括:
基于Retinex模型启发的优化过程来建立增强网络框架;
基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
3.根据权利要求1所述的图像增强的处理方法,其特征在于,所述Retinex理论具体为:
Figure 597449DEST_PATH_IMAGE007
,其中,
Figure 59654DEST_PATH_IMAGE001
Figure 282825DEST_PATH_IMAGE008
分别是捕获的曝光不足观察和所需恢复的图像;
Figure 285416DEST_PATH_IMAGE009
表示照度图,
Figure 277643DEST_PATH_IMAGE010
表示逐元素乘法。
4.根据权利要求1所述的图像增强的处理方法,其特征在于,所述基于构建的图像增强 网络,获取输入的低照度图像
Figure 176329DEST_PATH_IMAGE001
,逐步求解照度估计的最优化模型,获得基于Retinex理论的 照度分量
Figure 621217DEST_PATH_IMAGE002
,具体包括:
基于构建的图像增强网络,获取输入的低照度图像
Figure 365182DEST_PATH_IMAGE001
定义一中间图像
Figure 477494DEST_PATH_IMAGE011
,估计初始光照图
Figure 780038DEST_PATH_IMAGE012
使用照度初始值
Figure 977801DEST_PATH_IMAGE012
,逐步求解如下公式(2)的照度估计的最优化模型,
Figure 322194DEST_PATH_IMAGE014
其中
Figure 289013DEST_PATH_IMAGE015
表示
Figure 529502DEST_PATH_IMAGE016
的一个正则化项;
通过求解最优化模型来进一步细化
Figure 683403DEST_PATH_IMAGE009
,并通过CNN模型
Figure 34750DEST_PATH_IMAGE017
参数化
Figure 856075DEST_PATH_IMAGE018
,获得基于 Retinex理论的照度分量
Figure 64202DEST_PATH_IMAGE002
,其中,
Figure 970979DEST_PATH_IMAGE018
为照度估计模块的参数化表示。
5.根据权利要求4所述的图像增强的处理方法,其特征在于,所述根据所述基于所述照 度分量
Figure 382410DEST_PATH_IMAGE002
,通过指定公式
Figure 323821DEST_PATH_IMAGE003
,获得初步增强后的图像
Figure 640533DEST_PATH_IMAGE004
,具体包括:
初步增强后的图像
Figure 34605DEST_PATH_IMAGE004
Figure 727755DEST_PATH_IMAGE003
得到,其中,
Figure 54831DEST_PATH_IMAGE002
为通过最后阶段的估计照度图得到的 照度分量
Figure 808023DEST_PATH_IMAGE002
Figure 689391DEST_PATH_IMAGE005
表示逐元素相除。
6.根据权利要求1所述的图像增强的处理方法,其特征在于,所述根据所述初步增强后 的图像
Figure 186232DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型,得到最终经过去噪的增强图像
Figure 69612DEST_PATH_IMAGE006
,具体包括:
定义一公式(4)的最优化模型:
Figure 728126DEST_PATH_IMAGE020
其中,其中
Figure DEST_PATH_IMAGE021
表示
Figure 565632DEST_PATH_IMAGE008
的先验正则化项;
根据所述初步增强后的图像
Figure 397322DEST_PATH_IMAGE004
,逐步求解公式(4)的去噪模块的最优化模型,得到最终 经过去噪的增强图像
Figure 167832DEST_PATH_IMAGE006
7.一种图像增强装置,其特征在于,包括:
图像增强网络构建模块,用于预先构建基于网络架构搜索与Retinex模型优化过程的图像增强网络;
照度估计模块,用于基于构建的图像增强网络,获取输入的低照度图像
Figure 997248DEST_PATH_IMAGE001
,逐步求解照 度估计的最优化模型,获得基于Retinex理论的照度分量
Figure 587629DEST_PATH_IMAGE002
初步增强图像获得模块,用于,基于所述照度分量
Figure 426272DEST_PATH_IMAGE002
,通过指定公式
Figure 284244DEST_PATH_IMAGE003
,获得初 步增强后的图像
Figure 550141DEST_PATH_IMAGE004
,其中,
Figure DEST_PATH_IMAGE022
Figure 893397DEST_PATH_IMAGE005
表示逐元素相除;
去噪增强模块,用于根据所述初步增强后的图像
Figure 535731DEST_PATH_IMAGE004
,逐步求解去噪模块的最优化模型, 得到最终经过去噪的增强图像
Figure 749675DEST_PATH_IMAGE006
8.根据权利要求7所述的图像增强装置,其特征在于,所述图像增强网络构建模块包括:
增强网络框架建立单元,用于基于Retinex模型启发的优化过程来建立增强网络框架;
搜索空间引入单元,用于基于建立增强网络框架、为其中的低照度先验模块引入了基于蒸馏单元的搜索空间;
图像增强网络确认单元,用于通过协作无参考学习策略,从搜索空间中求解所需的低照度先验结构,获得性能最佳的图像增强网络,用于图像增强。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的图像增强的处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像增强的处理方法的步骤。
CN202210363333.5A 2022-04-08 2022-04-08 一种图像增强的处理方法、装置、计算机设备及介质 Pending CN114463223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210363333.5A CN114463223A (zh) 2022-04-08 2022-04-08 一种图像增强的处理方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210363333.5A CN114463223A (zh) 2022-04-08 2022-04-08 一种图像增强的处理方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114463223A true CN114463223A (zh) 2022-05-10

Family

ID=81417171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210363333.5A Pending CN114463223A (zh) 2022-04-08 2022-04-08 一种图像增强的处理方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114463223A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115907A (zh) * 2022-06-29 2022-09-27 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法
CN115512251A (zh) * 2022-11-04 2022-12-23 深圳市瓴鹰智能科技有限公司 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN115861380A (zh) * 2023-02-16 2023-03-28 深圳市瓴鹰智能科技有限公司 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN113256510A (zh) * 2021-04-21 2021-08-13 浙江工业大学 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法
CN113808036A (zh) * 2021-08-31 2021-12-17 西安理工大学 基于Retinex模型的低照度图像增强与去噪方法
CN113870162A (zh) * 2021-09-22 2021-12-31 大连理工大学 一种融合光照和反射的低光图像增强方法
CN113962898A (zh) * 2021-11-03 2022-01-21 大连海事大学 基于照度图优化和自适应伽马校正的低照度图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
CN113256510A (zh) * 2021-04-21 2021-08-13 浙江工业大学 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法
CN113808036A (zh) * 2021-08-31 2021-12-17 西安理工大学 基于Retinex模型的低照度图像增强与去噪方法
CN113870162A (zh) * 2021-09-22 2021-12-31 大连理工大学 一种融合光照和反射的低光图像增强方法
CN113962898A (zh) * 2021-11-03 2022-01-21 大连海事大学 基于照度图优化和自适应伽马校正的低照度图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RISHENG LIU 等: "Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115907A (zh) * 2022-06-29 2022-09-27 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法
CN115115907B (zh) * 2022-06-29 2024-03-29 桂林电子科技大学 一种基于cqd蒸馏的低照度目标检测方法
CN115512251A (zh) * 2022-11-04 2022-12-23 深圳市瓴鹰智能科技有限公司 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN115861380A (zh) * 2023-02-16 2023-03-28 深圳市瓴鹰智能科技有限公司 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置

Similar Documents

Publication Publication Date Title
CN109949255B (zh) 图像重建方法及设备
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN114463223A (zh) 一种图像增强的处理方法、装置、计算机设备及介质
CN111402146B (zh) 图像处理方法以及图像处理装置
TWI721510B (zh) 雙目圖像的深度估計方法、設備及儲存介質
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
CN113284054A (zh) 图像增强方法以及图像增强装置
Zhou et al. Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN113688907B (zh) 模型训练、视频处理方法,装置,设备以及存储介质
CN111047543A (zh) 图像增强方法、装置和存储介质
CN112272832A (zh) 用于基于dnn的成像的方法和系统
CN112561028A (zh) 训练神经网络模型的方法、数据处理的方法及装置
CN112561846A (zh) 训练图像融合模型的方法、装置和电子设备
CN114693545A (zh) 一种基于曲线族函数的低光照增强方法及系统
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
CN113344804A (zh) 一种弱光图像增强模型的训练方法和弱光图像增强方法
CN111612831A (zh) 一种深度估计方法、装置、电子设备及存储介质
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
Chen et al. Low‐light image enhancement based on exponential Retinex variational model
CN111476731B (zh) 图像矫正方法、装置、存储介质及电子设备
CN115375909A (zh) 一种图像处理方法及装置
Yu et al. Single image dehazing based on multi-scale segmentation and deep learning
CN113919479B (zh) 一种提取数据特征的方法和相关装置
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220510