CN113658043A - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

图像处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113658043A
CN113658043A CN202110860833.5A CN202110860833A CN113658043A CN 113658043 A CN113658043 A CN 113658043A CN 202110860833 A CN202110860833 A CN 202110860833A CN 113658043 A CN113658043 A CN 113658043A
Authority
CN
China
Prior art keywords
image
initial
neural network
network model
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110860833.5A
Other languages
English (en)
Inventor
刘永劼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhixin Semiconductor Technology Co ltd
Original Assignee
Shanghai Zhixin Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhixin Semiconductor Technology Co ltd filed Critical Shanghai Zhixin Semiconductor Technology Co ltd
Priority to CN202110860833.5A priority Critical patent/CN113658043A/zh
Publication of CN113658043A publication Critical patent/CN113658043A/zh
Priority to PCT/CN2021/139362 priority patent/WO2023005115A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像处理方法、装置、电子设备和可读存储介质,该方法的一具体实施方式包括:获取待处理图像;利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。该方法降低了图像处理过程中对于NPU的依赖,继而降低了处理能耗和处理成本。

Description

图像处理方法、装置、电子设备和可读存储介质
技术领域
本申请涉及信息处理领域,具体而言,涉及一种图像处理方法、装置、电子设备和可读存储介质。
背景技术
图像信号处理(Image Signal Processing,简称ISP)主要用来对前端图像传感器的输出信号进行处理,以匹配不同厂商的图像传感器。
在处理上述输出信号的过程中,需要利用嵌入式神经网络处理器(NPU)完成全部或者部分的处理任务。NPU采用“数据驱动并行计算”的架构,特别擅长处理视频、图像类的海量多媒体数据。其专门为物联网人工智能而设计,用于加速神经网络的运算,解决传统芯片在神经网络运算时效率低下的问题。但是利用NPU处理图像信号,需要消耗较高的能耗,成本花费较大。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备和可读存储介质,用以降低图像处理过程中对于NPU的依赖,继而降低了处理能耗和处理成本。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:获取待处理图像;利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。这样,可以降低处理能耗和处理成本。
可选地,所述修正参数包括第一修正参数和第二修正参数;以及所述利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像,包括:利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像;利用所述第二修正参数修正所述中间图像,得到目标图像。降低了成本和能耗。
可选地,所述第一修正参数包括插值权重参数,所述去马赛克参数包括插值参数;以及所述利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像,包括:利用所述插值权重参数修正所述插值参数,得到所述初始图像的各个像素点分别对应的插值结果;根据所述各个像素点分别对应的插值结果对所述各个像素点进行插值处理,得到所述中间图像。这样,不需要人工参与插值方向的确定过程,降低了人工成本。
可选地,所述神经网络处理器包括第一神经网络模型,所述插值权重参数由所述第一神经网络模型基于所述待处理图像得到;以及所述第一神经网络模型的训练步骤包括:获取第一样本图像集;所述第一样本图像集包括至少一个第一样本图像,所述第一样本图像包括RAW图像;将所述第一样本图像输入第一初始神经网络模型,并获得所述第一初始神经网络模型输出的所述第一样本图像的各个像素点分别对应的初始插值权重参数;利用预设插值规则得到所述各个像素点分别对应的初始插值参数;根据所述初始插值权重参数与所述初始插值参数,确定所述各个像素点分别对应的初始插值结果,并利用所述初始插值结果对所述第一样本图像进行插值处理,得到第一初始目标图像;利用第一预设损失函数确定所述第一初始目标图像与所述第一样本图像的预期图像之间的第一损失函数值;利用所述第一损失函数值调整所述第一初始神经网络模型对应的模型参数,以使所述第一初始神经网络模型收敛,得到所述第一神经网络模型。这样,可以训练得到第一神经网络模型,以使第一神经网络模型可以输出插值权重参数。
可选地,所述第二修正参数包括残差修正参数;以及所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:利用所述残差修正参数修正所述中间图像,以消除所述中间图像与预期目标图像之间的残差,得到所述目标图像。
可选地,所述神经网络处理器包括第二神经网络模型,所述残差修正参数由所述第二神经网络模型基于所述待处理图像得到;以及所述第二神经网络模型的训练步骤包括:获取第二样本图像集;所述第二样本图像集包括至少一个第二样本图像,所述第二样本图像包括RAW图像;将所述第二样本图像输入第二初始神经网络模型,并获得所述第二初始神经网络模型输出的初始残差修正参数;利用预设处理规则得到所述第二样本图像所对应的去马赛克后图像;利用所述初始残差修正参数修正所述去马赛克后图像与预期初始目标图像之间的残差,得到第二初始目标图像;利用第二预设损失函数确定所述第二初始目标图像与所述预期初始目标图像之间的第二损失函数值;利用所述第二损失函数值调整所述第二初始神经网络模型对应的模型参数,以使所述第二初始神经网络模型收敛,得到所述第二神经网络模型。这样,可以训练得到第二神经网络模型,以使第二神经网络模型可以输出残差修正参数。
可选地,在所述获取第二样本图像集之后,所述第二神经网络模型的训练步骤还包括:将所述第二样本图像进行色调映射处理,以降低所述第二样本图像的位宽。继而可以降低对待处理图像的计算量,降低能耗。
可选地,所述第二修正参数包括伪彩修正参数;以及所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:利用所述伪彩修正参数修正所述中间图像的伪彩区域,得到所述目标图像。
可选地,所述神经网络处理器包括第三神经网络模型,所述伪彩修正参数由所述第三神经网络模型基于所述待处理图像得到;以及所述第三神经网络模型的训练步骤包括:获取第三样本图像集;所述第三样本图像集包括至少一个第三样本图像,所述第三样本图像包括RAW图像;将第三样本图像输入第三初始神经网络模型,并获得所述第三初始神经网络模型输出的所述第三样本图像的各个像素点分别对应的初始伪彩修正参数;利用所述预设处理规则得到所述第三样本图像所对应的去马赛克后图像;利用所述初始伪彩修正参数修正所述去马赛克后图像所对应的伪彩区域,得到修正后的第三初始目标图像;利用第三预设损失函数确定所述第三初始目标图像与所述第三样本图像的预期图像之间的第三损失函数值;利用所述第三损失函数值调整所述第三初始神经网络模型对应的模型参数,以使所述第三初始神经网络模型收敛,得到所述第三神经网络模型。这样,可以训练得到第三神经网络模型,以使第三神经网络模型可以输出伪彩修正参数。
可选地,所述初始伪彩修正参数包括初始伪彩权重参数或者初始伪彩补偿值;其中,所述初始伪彩权重参数用于表征所述各个像素点分别对应的色度淡化程度;所述初始伪彩补偿值用于补偿所述各个像素点分别对应的色度。这样,可以在具体应用场景时可以因地制宜选取相适应的伪彩修正参数。
可选地,所述第二修正参数包括紫边修正参数;以及所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:利用所述紫边修正参数修正所述中间图像的紫边区域,得到目标图像。
可选地,所述神经网络处理器包括第四神经网络模型,所述紫边修正参数由所述第四神经网络模型基于所述待处理图像得到;以及所述第四神经网络模型的训练步骤包括:获取第四样本图像集;所述第四样本图像集包括至少一个第四样本图像,所述第四样本图像包括去马赛克后图像;将第四样本图像输入第四初始神经网络模型,并获得所述第四初始神经网络模型输出的所述第四样本图像对应的初始紫边修正参数;利用所述初始紫边修正参数修正所述去马赛克后图像所对应的紫边区域,得到修正后的第四初始目标图像;利用第四预设损失函数确定所述第四初始目标图像与所述第四样本图像对应的预期图像之间的第四损失函数值;利用所述第四损失函数值调整所述第四初始神经网络模型对应的模型参数,以使所述第四初始神经网络模型收敛,得到所述第四神经网络模型。这样,可以训练得到第四神经网络模型,以使第四神经网络模型可以输出紫边修正参数。
可选地,所述初始紫边修正参数包括初始紫边权重参数或者初始紫边补偿值;其中,所述初始紫边权重参数用于表征紫边区域的色斑消除程度;所述初始紫边补偿值用于补偿紫边区域的各个像素点的饱和度。这样,可以在具体应用场景时可以因地制宜选取相适应的紫边修正参数。
可选地,所述第二修正参数包括锐化修正参数;以及所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:利用所述锐化修正参数修正所述中间图像的模糊区域,得到目标图像;所述锐化修正参数包括对明度进行修正的明度权重参数。
可选地,所述神经网络处理器包括第五神经网络模型,所述锐化修正参数由所述第五神经网络模型基于所述待处理图像得到;以及所述第五神经网络模型的训练步骤包括:获取第五样本图像集;所述第五样本图像集包括至少一个第五样本图像,所述第五样本图像包括YUV图像;将第五样本图像输入第五初始神经网络模型,并获得所述第五初始神经网络模型输出的所述第五样本图像的各个像素点分别对应的明度权重参数;利用所述明度权重参数指导所述第五样本图像进行锐化,得到锐化后的初始明度值;利用第五预设损失函数确定所述初始明度值与所述第五样本图像的预期明度值之间的第五损失函数值;利用所述第五损失函数值调整所述第五初始神经网络模型对应的模型参数,以使所述第五初始神经网络模型收敛,得到所述第五神经网络模型。这样,可以训练得到第五神经网络模型,以使第五神经网络模型可以输出明度权重参数。
可选地,所述神经网络处理器包括第六神经网络模型,所述锐化修正参数由所述第六神经网络模型基于所述待处理图像得到;以及所述第六神经网络模型的训练步骤包括:获取第六样本图像集;所述第六样本图像集包括至少一个第六样本图像,所述第六样本图像包括YUV图像;将第六样本图像输入第六初始神经网络模型,并获得所述第六初始神经网络模型输出的至少一个目标处理区域,所述至少一个目标处理区域分别对应于一个明度权重参数;利用所述目标处理区域所对应的明度权重参数对所述目标处理区域的明度信息进行修正,得到修正后的初始明度值;利用第六预设损失函数确定所述初始明度值与所述目标处理区域的预期明度值之间的第六损失函数值;利用所述第六损失函数值调整所述第六初始神经网络模型对应的模型参数,以使所述第六初始神经网络模型收敛,得到所述第六神经网络模型。这样,可以训练得到第六神经网络模型,以使第六神经网络模型可以输出至少一个目标处理区域,以指导待处理图像进行不同位置的锐化操作。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:获取模块,用于获取待处理图像;去马赛克处理模块,用于利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;修正模块,用于利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像处理方法的流程图;
图2为本申请实施例提供的第另一种图像处理方法的流程图;
图3为本申请实施例提供的一种图像处理装置的结构框图;
图4为本申请实施例提供的一种用于执行图像处理方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
相关技术中,存在利用NPU处理图像信息时成本高、能耗高的问题;为了解决该问题,本申请提供一种图像处理方法、装置和电子设备;进一步地,通过获取待处理图像;利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。这样,可以利用NPU得到对待处理图像的修正参数,以能够对经过预设处理规则处理后的初始图像进行修正。相比于相关技术中利用神经网络处理器直接输出目标图像的方式,本申请提供的图像处理方法可以通过NPU输出的修正参数辅助实现,降低了图像处理过程中对于NPU的依赖,继而降低了处理能耗和处理成本。在一些应用场景中,上述图像处理方法可以应用于摄像机、相机等拍摄图像的设备中,用于对图像传感器输出的图像信息进行处理。在另一些应用场景中,上述图像处理方法也可以应用于图像处理服务端中,以对接收到的图像信息进行处理。
以上相关技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
请参考图1,其示出了本申请实施例提供的一种图像处理方法的流程图。如图1所示,该图像处理方法包括以下步骤101至步骤103。
步骤101,获取待处理图像;
在一些应用场景中,上述待处理图像例如可以通过相机、摄像机等设备进行拍摄获取。在这些应用场景中,待处理图像可以包括传感器(Complementary Metal OxideSemiconductor,简称CMOS)或者电荷耦合器件(charge coupled device,简称CCD)将捕捉到的光源信号转化为数字信号的原始图像数据(也即,RAW格式的图像)。RAW图像的每个像素点只有一个通道的颜色值。例如,RAW图像的像素点A可以只有R通道上的颜色值。
步骤102,利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;
上述预设处理规则例如可以包括利用现有技术中的诸如单纯内插法、双线性内插法等去马赛克算法实现,以对RAW图像进行插值处理,得到去马赛克后的初始图像。
在一些应用场景中,在获取到待处理图像之后,可以利用上述预设处理规则对待处理图像进行去马赛克处理,以得到处理后的初始图像。在这些应用场景中,在对待处理图像进行去马赛克处理之前,可以先对待处理图像进行白平衡处理,以使待处理图像的颜色尽量不失真。
步骤103,利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
获取到待处理图像之后,可以将待处理图像输入神经网络处理器中,以利用神经网络处理器输出用于修正初始图像的修正参数。在一些应用场景中,上述修正参数例如可以包括对紫边进行修正的修正参数、对去马赛克结果进行修正的修正参数等。
在神经网络处理器输出相应的修正参数之后,可以根据修正参数所修正的内容去修正初始图像的相应位置,得到目标图像。例如,神经网络处理器输出去马赛克修正参数之后,可以利用该去马赛克修正参数修正初始图像中的去马赛克区域,以得到去马赛克效果更佳的目标图像。
通过上述步骤101至步骤103,可以利用神经网络处理器输出修正参数对初始图像进行修正,以得到效果更佳的目标图像。相比于相关技术中利用神经网络处理器直接输出目标图像的方式,本实施例提供的图像处理方法可以通过NPU输出的修正参数辅助实现,降低了图像处理过程中对于NPU的依赖,继而降低了处理能耗和处理成本。
在一些可选的实现方式中,所述修正参数包括第一修正参数和第二修正参数。上述第一修正参数与第二修正参数可以修正不同的图像效果。
请参考图2,其示出了本申请实施例提供的另一种图像处理方法的流程图。如图2所示,该图像处理方法包括以下步骤201至步骤204。
步骤201,获取待处理图像;
上述步骤201的实现过程以及取得的技术效果可以与图1所示实施例中的步骤101相同或相似,此处不赘述。
步骤202,利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像。
上述步骤202的实现过程以及取得的技术效果可以与图1所示实施例中的步骤102相同或相似,此处不赘述。
步骤203,利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像;
在一些应用场景中,可以利用第一修正参数修正初始图像的去马赛克参数。这里,上述第一修正参数对应的修正内容即为修正初始图像的去马赛克效果。
在这些应用场景中,在利用相关技术中的去马赛克算法对待处理图像进行去马赛克处理时,需要利用缺省颜色值的像素点周围的像素点的颜色值将该像素点的缺省颜色值插值出来。进一步的,在插值时,需要通过人工不断调节该缺省颜色值的像素点与其周围像素点之间的颜色值误差阈值,来判断出最优的插值结果。这样,耗费了人工成本。
本步骤将初始图像经过第一修正参数修正后,可以得到中间图像。这样,不需要人工参与插值结果的确定过程,降低了人工成本。
步骤204,利用所述第二修正参数修正所述中间图像,得到目标图像。
上述第二修正参数可以进一步对经过去马赛克处理后得到的中间图像进行优化,得到目标图像。进一步的,上述第二修正参数例如可以包括紫边修正参数、伪彩修正参数等。
在本实施例中,突出了利用第一修正参数和第二修正参数分别去修正初始图像以及中间图像的步骤,使得到的目标图像与利用神经网络处理器处理后直接输出的图像效果无较大差别,但是降低了成本和能耗。
在一些可选的实现方式中,所述第一修正参数包括插值权重参数,所述去马赛克参数包括插值参数;以及上述步骤203可以包括:
子步骤2031,利用所述插值权重参数修正所述插值参数,得到所述初始图像的各个像素点分别对应的插值结果;
上述插值权重参数可以表征待插值的目标像素点在不同插值方向上的权重。这里,不同插值方向可以表征与该目标像素点邻近的像素点。也即,插值权重参数可以表征目标像素点的缺省颜色值取邻近像素点的颜色值的权重。
上述插值参数可以表征利用预设处理规则得到的缺省颜色值的目标像素点取的邻近像素点的颜色值。
得到神经网络处理器输出的插值权重参数之后,可以利用该插值权重参数修正插值参数。在一些应用场景中,例如可以将插值权重参数与插值参数进行加权求和,得到目标像素点的最终插值结果。
子步骤2032,根据所述各个像素点分别对应的插值结果对所述各个像素点进行插值处理,得到所述中间图像。
得到各个像素点的插值结果之后,可以利用该插值结果对初始图像的各个像素点进行插值处理,使各个像素点的三通道颜色值完整,继而可以得到中间图像。
通过上述子步骤2031至子步骤2032,突出了利用插值权重参数修正插值参数的过程,使得神经网络处理器输出的插值权重参数可以与相关技术中利用去马赛克算法得到的插值参数进行结合,这样,不需要人工参与插值结果的确定过程,降低了人工成本。
在一些可选的实现方式中,所述神经网络处理器包括第一神经网络模型,所述插值权重参数由所述第一神经网络模型基于所述待处理图像得到;以及所述第一神经网络模型的训练步骤包括:
步骤A1,获取第一样本图像集;所述第一样本图像集包括至少一个第一样本图像,所述第一样本图像包括RAW图像;
上述RAW图像,也即由传感器CMOS或者CCD将捕捉到的光源信号转化为数字信号的原始图像数据,其常见于拜耳阵列技术中。
实践中,在进行去马赛克处理时,是将RAW域的图像插值成RGB域的图像。也即,将RAW图像的各个像素点缺省的颜色值插值出来,以得到三个通道颜色值均完整的RGB图像。
因此,为了训练能够进行对去马赛克参数修正的插值权重参数,可以获取多个RAW图像,整理成上述第一样本图像集。
步骤A2,将所述第一样本图像输入第一初始神经网络模型,并获得所述第一初始神经网络模型输出的所述第一样本图像的各个像素点分别对应的初始插值权重参数;
获取到第一样本图像集之后,可以选取其中一个第一样本图像输入至第一初始神经网络模型中,并设置该第一初始神经网络模型朝着输出第一样本图像的各个像素点所对应的初始插值权重参数的方向进行训练。这里的初始插值权重参数也即表征像素点的缺省颜色值取邻近像素点的颜色值的权重。
步骤A3,利用预设插值规则得到所述各个像素点分别对应的初始插值参数;
在一些应用场景中,可以利用相关技术中已存在的去马赛克算法得到各个像素点分别对应的初始插值参数。
步骤A4,根据所述初始插值权重参数与所述初始插值参数,确定所述各个像素点分别对应的初始插值结果,并利用所述初始插值结果对所述第一样本图像进行插值处理,得到第一初始目标图像;
在这些应用场景中,可以根据第一样本图像所对应的初始插值权重参数与初始插值参数,确定初始插值结果。具体的,例如可以将第一样本图像所对应的初始插值权重参数与初始插值参数进行加权求和,得到各个像素点分别对应的初始插值结果。继而,利用该初始插值结果对第一样本图像进行插值处理之后,可以得到第一样本图像所对应的第一初始目标图像,也即第一样本图像所对应的初始RGB图像。
步骤A5,利用第一预设损失函数确定所述第一初始目标图像与所述第一样本图像的预期图像之间的第一损失函数值;
在一些应用场景中,上述预期图像例如可以包括通过相关技术中利用神经网络处理器对第一样本图像进行处理之后直接得到的RGB图像。
上述第一预设损失函数例如可以包括均方误差损失函数(也称L2损失函数)或者平均绝对误差损失函数(也称L1损失函数)。
这里,利用上述第一预设损失函数确定第一初始目标图像与预期图像之间的第一损失函数值为本领域技术人员所周知,此处不赘述。
步骤A6,利用所述第一损失函数值调整所述第一初始神经网络模型对应的模型参数,以使所述第一初始神经网络模型收敛,得到所述第一神经网络模型。
得到第一损失函数值之后,可以利用该第一损失函数值对第一初始神经网络模型的模型参数进行调整,以使第一初始神经网络模型收敛。
进一步的,在训练第一初始神经模型的过程中,可以将上述第一样本图像集中的每一个第一样本图像均执行上述步骤A1至步骤A6的操作,以能够使第一初始神经网络模型收敛,得到第一神经网络模型。这样,在将待处理图像输入第一神经网络模型之后,第一神经网络模型可以输出针对于该待处理图像的插值权重参数。
在一些可选的实现方式中,所述第二修正参数包括残差修正参数;以及上述步骤204可以包括:利用所述残差修正参数修正所述中间图像,以消除所述中间图像与预期目标图像之间的残差,得到所述目标图像。
上述预期目标图像例如可以包括通过相关技术中直接利用神经网络处理器对待处理图像进行处理之后直接得到的RGB图像。该RGB图像可以视为在理想状态下的目标图像。
实践中,在利用相关技术中的去马赛克算法进行插值处理之后得到的RGB图像(也即中间图像)与预期RGB图像(也即预期目标图像)之间存在一个像素级残差。因此,需要消除该像素级残差。具体的,可以利用残差修正参数进行消除,以得到图像画质更好的目标图像。
另外,由于可以通过残差修正参数消除中间图像与预期目标图像之间的残差,因此在确定预设处理规则时,可以降低对该预设处理规则的计算量要求以及初始图像的去马赛克效果要求等,在一定程度上也可以达到降低成本的效果。
在一些应用场景中,例如可以将得到的残差修正参数与利用预设处理规则得到的RGB图像的各个像素点的颜色值进行相乘处理,以得到目标图像。
在一些可选的实现方式中,所述神经网络处理器包括第二神经网络模型,所述残差修正参数由所述第二神经网络模型基于所述待处理图像得到;以及所述第二神经网络模型的训练步骤包括:
步骤B1,获取第二样本图像集;所述第二样本图像集包括至少一个第二样本图像,所述第二样本图像包括RAW图像;
上述步骤B1的实现过程以及取得的技术效果可以与上述步骤A1相同或相似,此处不赘述。
步骤B2,将所述第二样本图像输入第二初始神经网络模型,并获得所述第二初始神经网络模型输出的初始残差修正参数;
获取到第二样本图像集之后,可以选取其中一个第二样本图像输入至第二初始神经网络模型中,并设置该第二初始神经网络模型朝着输出第二样本图像对应的初始残差修正参数的方向训练。
步骤B3,利用所述预设处理规则得到所述第二样本图像所对应的去马赛克后图像;
在一些应用场景中,可以利用相关技术中已存在的去马赛克算法得到各个像素点分别对应的插值参数,然后可以利用该插值参数得到对应的去马赛克后图像。
步骤B4,利用所述初始残差修正参数修正所述去马赛克后图像与预期初始目标图像之间的残差,得到第二初始目标图像;
在这些应用场景中,可以将第二样本图像所对应的初始残差修正参数与去马赛克后图像的各个像素点的颜色值进行相乘处理,以得到第二初始目标图像。
步骤B5,利用第二预设损失函数确定所述第二初始目标图像与所述预期初始目标图像之间的第二损失函数值;
上述步骤B5的实现过程以及取得的技术效果可以与上述步骤A5相似,此处不赘述。
步骤B6,利用所述第二损失函数值调整所述第二初始神经网络模型对应的模型参数,以使所述第二初始神经网络模型收敛,得到所述第二神经网络模型。
上述步骤B6的实现过程以及取得的技术效果可以与上述步骤A6相似,此处不赘述。
在训练第二初始神经网络模型的过程中,也可以将上述第二样本图像集中的每一个第二样本图像均执行上述步骤B1至步骤B6的操作,以能够使第二初始神经网络模型收敛,得到第二神经网络模型。这样,在将待处理图像输入第二神经网络模型之后,第二神经网络模型可以输出针对于该待处理图像的残差修正参数。
在一些可选的实现方式中,在上述步骤B1之后,所述第二神经网络模型的训练步骤还包括:将所述第二样本图像进行色调映射处理,以降低所述第二样本图像的位宽。
在一些应用场景中,可以将第二样本图像集中的每一个第二样本图像进行色调映射处理,以将高位宽的第二样本图像转换为低位宽的第二样本图像。这样,在训练第二神经网络模型时利用的样本图像均为低位宽的图像数据,可以减少训练过程中的计算量。相应的,将待处理图像输入第二神经网络模型之前,也可以将高位宽的待处理图像进行色调映射处理,以降低对待处理图像的计算量,降低能耗。
在一些可选的实现方式中,所述第二修正参数包括伪彩修正参数;以及上述步骤204可以包括:利用所述伪彩修正参数修正所述中间图像的伪彩区域,得到所述目标图像。
上述伪彩区域也即伪彩色区域。实践中,伪彩色图像的每个像素点的颜色不是由每个基本色分量的数值直接决定,而是把像素点当成调色板或颜色查找表的表项入口地址,根据该地址可查找出包含实际R、G、B的强度值,如果图像中的颜色在调色板或彩色查找表中不存在,则调色板会用一个最为接近的颜色来匹配。通过查找出的R、G、B强度值产生的色彩不是图像本身真正的颜色,因此称为伪彩色。
实践中,在对待处理图像进行插值处理时,可能引入伪彩区域。因此,可以对该伪彩区域进行修正。具体的,可以利用伪彩修正参数对伪彩区域进行修正,以得到目标图像。
在一些可选的实现方式中,所述神经网络处理器包括第三神经网络模型,所述伪彩修正参数由所述第三神经网络模型基于所述待处理图像得到;以及所述第三神经网络模型的训练步骤包括:
步骤C1,获取第三样本图像集;所述第三样本图像集包括至少一个第三样本图像,所述第三样本图像包括RAW图像;
上述步骤C1的实现过程以及取得的技术效果可以与上述步骤B1相似,此处不赘述。
步骤C2,将第三样本图像输入第三初始神经网络模型,并获得所述第三初始神经网络模型输出的所述第三样本图像的各个像素点分别对应的初始伪彩修正参数;
选取任意一个RAW图像输入到第三初始神经网络模型中,并设置该第三初始神经网络模型朝着输出初始伪彩修正参数的方向训练。
在一些应用场景中,可以对图像的明亮度信号以及色度信号进行处理,实现去除伪彩色的目的。因此,初始伪彩修正参数可以包括针对明度信息以及色度信号的修正参数。
步骤C3,利用所述预设处理规则得到所述第三样本图像所对应的去马赛克后图像;
上述步骤C3的实现过程以及取得的技术效果可以与上述步骤B3相似,此处不赘述。
步骤C4,利用所述初始伪彩修正参数修正所述去马赛克后图像所对应的伪彩区域,得到修正后的第三初始目标图像;
利用第三初始神经网络模型输出初始伪彩修正参数之后,可以利用该初始伪彩修正参数对去马赛克后图像的伪彩区域进行处理。
在一些应用场景中,去马赛克后图像一般处于RGB域,因此可以将去马赛克后图像从RGB域转换为YUV域,以利用伪彩修正参数对转换后的去马赛克后图像进行修正。这里,图像在RGB域与YUV域之间的转换过程为本领域技术人员所周知,此处不赘述。其中,YUV域可以用于表征图像具有明亮度以及色度。其中,“Y”表示明亮度,也就是明度值,“U”和“V”表示的则是色度,作用是描述影像色彩及饱和度,用于指定像素点的颜色。因此,初始修正参数可以针对于色度信息U、V进行修正。
在一些可选的实现方式中,所述初始伪彩修正参数包括初始伪彩权重参数或者初始伪彩补偿值;其中,所述初始伪彩权重参数用于表征所述各个像素点分别对应的色度淡化程度;所述初始伪彩补偿值用于补偿所述各个像素点分别对应的色度。
在一些应用场景中,当初始伪彩修正参数为初始伪彩权重参数时,可以利用该初始伪彩权重参数对去马赛克后图像中的各个像素点进行色度淡化处理。在这些应用场景中,例如可以利用初始伪彩权重参数与各个像素点的色度相乘,以得到色度淡化后的图像。应当说明的是,初始伪彩权重参数对应的数值应当在(0,1)之间,每一个数值表征一个权重信息。
在另一些应用场景中,当初始伪彩修正参数为初始伪彩补偿值时,可以利用该初始伪彩补偿值对去马赛克后图像的各个像素点的色度进行补偿。在这些应用场景中,例如可以将得到的初始伪彩补偿值与像素点的色度相加,以得到补偿后的图像。
步骤C5,利用第三预设损失函数确定所述第三初始目标图像与所述第三样本图像的预期图像之间的第三损失函数值;
上述第三预设损失函数例如可以包括均方误差损失函数(也称L2损失函数)或者平均绝对误差损失函数(也称L1损失函数)。
在一些应用场景中,上述预期图像例如可以包括通过相关技术中直接利用神经网络处理器对第三样本图像进行处理之后直接得到的RGB图像。
为了与预期图像进行损失计算,需要将处于YUV域的第三初始目标图像又转换回RGB域。然后再利用上述第三预设损失函数进行损失计算。
步骤C6,利用所述第三损失函数值调整所述第三初始神经网络模型对应的模型参数,以使所述第三初始神经网络模型收敛,得到所述第三神经网络模型。
上述步骤C6的实现过程以及取得的技术效果可以与步骤A6相似,此处不赘述。
在训练第三初始神经网络模型的过程中,也可以将上述第三样本图像集中的每一个第三样本图像均执行上述步骤C1至步骤C6的操作,以能够使第三初始神经网络模型收敛,得到第三神经网络模型。这样,在将待处理图像输入第三神经网络模型之后,第三神经网络模型可以输出针对于该待处理图像的伪彩修正参数。
在一些可选的实现方式中,所述第二修正参数包括紫边修正参数;以及所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:利用所述紫边修正参数修正所述中间图像的紫边区域,得到目标图像。
紫边是指数码相机在拍摄过程中由于被摄物体反差较大,在高光与低光部位交界处出现色斑的现象。因此,也可以利用紫边修正参数修正中间图像中存在的紫边区域,得到目标图像。
在一些可选的实现方式中,所述神经网络处理器包括第四神经网络模型,所述紫边修正参数由所述第四神经网络模型基于所述待处理图像得到;以及所述第四神经网络模型的训练步骤包括:
步骤D1,获取第四样本图像集;所述第四样本图像集包括至少一个第四样本图像,所述第四样本图像包括去马赛克后图像;
上述去马赛克图像例如可以通过去马赛克算法得到,具体实现过程可参照前述去马赛克算法的实现过程,此处不赘述。
得到多个去马赛克图像后图像之后,可以整理得到上述第四样本图像集。
步骤D2,将第四样本图像输入第四初始神经网络模型,并获得所述第四初始神经网络模型输出的所述第四样本图像对应的初始紫边修正参数;
步骤D2的实现过程以及取得的技术效果可以与步骤C2相似,此处不赘述。
在一些应用场景中,在将第四样本图像输入第四初始神经网络模型之前,可以将第四样本图像从RGB域转换为YUV域,以实现对修正色度的初始紫边修正参数。
在一些可选的实现方式中,所述初始紫边修正参数包括初始紫边权重参数或者初始紫边补偿值;其中,所述初始紫边权重参数用于表征紫边区域的色斑消除程度;所述初始紫边补偿值用于补偿紫边区域的各个像素点的饱和度。
在一些应用场景中,当初始紫边修正参数为初始紫边权重参数时,可以利用该初始紫边权重参数对去马赛克后图像中的紫边区域的各个像素点进行降低饱和度的处理操作。在这些应用场景中,例如可以利用初始紫边权重参数与各个像素点的饱和度值相乘,以得到降低饱和度后的图像。应当说明的是,初始紫边权重参数对应的数值应当在(0,1)之间,每一个数值对应于一个权重信息。
在另一些应用场景中,当初始紫边修正参数为初始紫边补偿值时,可以利用该初始紫边补偿值对去马赛克后图像中的紫边区域的各个像素点的饱和度值进行补偿。在这些应用场景中,例如可以将得到的初始紫边补偿值与像素点的对应饱和度值相加,以得到补偿后的图像。
步骤D3,利用所述初始紫边修正参数修正所述去马赛克后图像所对应的紫边区域,得到修正后的第四初始目标图像;
这里,在修正紫边区域时,可以根据初始紫边修正参数具体为初始紫边权重参数或者初始紫边补偿值进行相应的处理,得到修正后的第四初始目标图像。
步骤D4,利用第四预设损失函数确定所述第四初始目标图像与所述第四样本图像对应的预期图像之间的第四损失函数值;
步骤D4的实现过程以及取得的技术效果可以与步骤C5相似,此处不赘述。
步骤D5,利用所述第四损失函数值调整所述第四初始神经网络模型对应的模型参数,以使所述第四初始神经网络模型收敛,得到所述第四神经网络模型。
步骤D5的实现过程以及取得的技术效果可以与步骤C6相似,此处不赘述。
在训练第四初始神经模型的过程中,可以将上述第四样本图像集中的每一个第四样本图像均执行上述步骤D1至步骤D5的操作,以能够使第四初始神经网络模型收敛,得到第四神经网络模型。这样,在将待处理图像输入第四神经网络模型之后,第四神经网络模型可以输出针对于该待处理图像的紫边修正参数。
在一些可选的实现方式中,所述第二修正参数包括锐化修正参数;以及步骤204可以包括:利用所述锐化修正参数修正所述中间图像的模糊区域,得到目标图像;所述锐化修正参数包括对明度进行修正的明度权重参数。
在一些应用场景中,经过预设处理规则处理后的中间图像中可能存在部分或全部模糊的情况。因此,可以利用锐化修正参数修正中间图像的模糊区域,得到目标图像。在这些应用场景中,通过锐化操作可以聚焦模糊边缘,提高图像中某一部位的清晰度或者焦距程度,使中间图像特定区域的色彩更加鲜明。
在一些应用场景中,锐化修正参数包括对明度进行修正的参数,也即,锐化修正参数可以用于对YUV域图像中的“Y”信息进行修正。
在另一些应用场景中,锐化修正参数也可以包括对色度进行修正的参数。也即,对YUV域图像中的“U”信息以及“V”信息的修正。
在一些可选的实现方式中,所述神经网络处理器包括第五神经网络模型,所述锐化修正参数由所述第五神经网络模型基于所述待处理图像得到;以及所述第五神经网络模型的训练步骤包括:
步骤E1,获取第五样本图像集;所述第五样本图像集包括至少一个第五样本图像,所述第五样本图像包括YUV图像;
YUV图像也即可以用于表征具有明亮度以及色度的图像。其中,“Y”表示明亮度,也就是明度值,“U”和“V”表示的则是色度,作用是描述影像色彩及饱和度,用于指定像素点的颜色。
为了对图像的明度信息以及色度信息进行修正,可以选取多个YUV图像,整理成上述第五样本图像集。
步骤E2,将第五样本图像输入第五初始神经网络模型,并获得所述第五初始神经网络模型输出的所述第五样本图像的各个像素点分别对应的明度权重参数;
也即,第五初始神经网络模型的输入可以为YUV图像,并且设置第五初始神经网络模型向输出明度权重参数的方向进行训练。上述明度权重参数对应的数值可以在(0,1)之间,每一个数值可以表征一个锐化强度。
步骤E3,利用所述明度权重参数指导所述第五样本图像进行锐化,得到锐化后的初始明度值。
得到明度权重参数之后,可以利用明度权重参数指导第五样本图像进行锐化。例如,得到像素点A的明度权重参数为0.5,像素点B的明度权重参数为0.2之后,可以在对第五样本图像进行锐化时,将第五样本图像的像素点A、像素点B的明度与各自对应的明度权重参数相乘,得到各个像素点对应的初始明度值。
在一些应用场景中,可以先将第五样本图像输入高通滤波器中,利用高通滤波器滤除低频分量,留下高频分量,然后再利用明度权重参数指导第五样本图像进行锐化,以加强对第五样本图像的锐化强度。
步骤E4,利用第五预设损失函数确定所述初始明度值与所述第五样本图像的预期明度值之间的第五损失函数值;
上述第五预设损失函数例如可以包括均方误差损失函数(也称L2损失函数)或者平均绝对误差损失函数(也称L1损失函数)。
在一些应用场景中,可以利用第五预设损失函数对第五样本图像对应的初始明度值和预期明度值进行损失计算,以得到第五损失函数值。
步骤E5,利用所述第五损失函数值调整所述第五初始神经网络模型对应的模型参数,以使所述第五初始神经网络模型收敛,得到所述第五神经网络模型。
步骤E5的实现过程以及取得的技术效果可以与步骤C6相似,此处不赘述。
在训练第五初始神经模型的过程中,可以将上述第五样本图像集中的每一个第五样本图像均执行上述步骤E1至步骤E5的操作,以能够使第五初始神经网络模型收敛,得到第五神经网络模型。这样,在将待处理图像输入第五神经网络模型之后,第五神经网络模型可以输出针对于该待处理图像的明度权重参数。
在一些可选的实现方式中,所述神经网络处理器包括第六神经网络模型,所述锐化修正参数由所述第六神经网络模型基于所述待处理图像得到;以及所述第六神经网络模型的训练步骤包括:
步骤F1,获取第六样本图像集;所述第六样本图像集包括至少一个第六样本图像,所述第六样本图像包括YUV图像;
步骤F1的实现过程以及取得的技术效果可以与步骤E1相同或相似,此处不赘述。
步骤F2,将第六样本图像输入第六初始神经网络模型,并获得所述第六初始神经网络模型输出的至少一个目标处理区域,所述至少一个目标处理区域分别对应于一个明度权重参数;
上述目标处理区域可以视为需要进行特殊锐化处理的区域。例如,在包括人物的第六样本图像中,可以输出将人脸处确定为第一目标处理区域。继而可以将人脸处的锐化强度加强,以提高人脸的清晰度。也可以将手部确定为第二目标处理区域,继而可以将手部的锐化强度也加强,提高手部的清晰度。这里,第六初始神经网络模型确定目标处理区域的过程可以与相关技术中的目标检测算法相同或相似,此处不赘述。
每一个目标处理区域可以对应于一个明度权重参数,以使得不同的目标处理区域可以具有不同的锐化强度。例如,上述第一目标处理区域可以对应于明度权重参数0.9,上述第二目标处理区域可以对应于明度权重参数0.7。
在一些应用场景中,这里的明度权重参数可以是预先设置的。例如,可以预先设置第一目标处理区域的明度权重参数为0.9。这样,当输出该第一目标处理区域之后,可以将该第一目标处理区域的像素点与明度权重参数0.9进行关联。
步骤F3,利用所述目标处理区域所对应的明度权重参数对所述目标处理区域的明度信息进行修正,得到修正后的初始明度值;
得到目标处理区域之后,可以利用明度权重参数对与其关联的目标处理区域的明度信息进行修正,得到对应的初始明度值。在一些应用场景中,例如可以通过将目标处理区域的像素点明度值与对应的明度权重参数相乘,得到对应的初始明度值。
在一些应用场景中,可以先将第六样本图像输入高通滤波器中,利用高通滤波器滤除低频分量,留下高频分量,然后再利用明度权重参数指导第六样本图像的目标处理区域进行锐化,以加强对第六样本图像的锐化强度。
步骤F4,利用第六预设损失函数确定所述初始明度值与所述目标处理区域的预期明度值之间的第六损失函数值;
步骤F4的实现过程以及取得的技术效果可以与步骤E4相似,此处不赘述。
步骤F5,利用所述第六损失函数值调整所述第六初始神经网络模型对应的模型参数,以使所述第六初始神经网络模型收敛,得到所述第六神经网络模型。
步骤F5的实现过程以及取得的技术效果可以与步骤E5相似,此处不赘述。
在训练第六初始神经模型的过程中,可以将上述第六样本图像集中的每一个第六样本图像均执行上述步骤F1至步骤F5的操作,以能够使第六初始神经网络模型收敛,得到第六神经网络模型。这样,在将待处理图像输入第六神经网络模型之后,第六神经网络模型可以输出针对于该待处理图像的目标处理区域。
请参考图3,其示出了本申请实施例提供的一种图像处理装置的结构框图,该图像处理装置可以是电子设备上的模块、程序段或代码。应理解,该装置与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,上述图像处理装置包括获取模块301,去马赛克处理模块302以及修正模块303。其中,获取模块301,用于获取待处理图像;去马赛克处理模块302,用于利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;修正模块303,用于利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
可选地,所述修正参数包括第一修正参数和第二修正参数;以及修正模块303进一步包括第一修正模块和第二修正模块,其中,第一修正模块用于利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像;第二修正模块用于利用所述第二修正参数修正所述中间图像,得到目标图像。
可选地,所述第一修正参数包括插值权重参数,所述去马赛克参数包括插值参数;以及所述第一修正模块进一步用于:利用所述插值权重参数修正所述插值参数,得到所述初始图像的各个像素点分别对应的插值结果;根据所述各个像素点分别对应的插值结果对所述各个像素点进行插值处理,得到所述中间图像。
可选地,所述神经网络处理器包括第一神经网络模型,所述插值权重参数由所述第一神经网络模型基于所述待处理图像得到;以及所述第一神经网络模型的训练步骤包括:获取第一样本图像集;所述第一样本图像集包括至少一个第一样本图像,所述第一样本图像包括RAW图像;将所述第一样本图像输入第一初始神经网络模型,并获得所述第一初始神经网络模型输出的所述第一样本图像的各个像素点分别对应的初始插值权重参数;利用预设插值规则得到所述各个像素点分别对应的初始插值参数;根据所述初始插值权重参数与所述初始插值参数,确定所述各个像素点分别对应的初始插值结果,并利用所述初始插值结果对所述第一样本图像进行插值处理,得到第一初始目标图像;利用第一预设损失函数确定所述第一初始目标图像与所述第一样本图像的预期图像之间的第一损失函数值;利用所述第一损失函数值调整所述第一初始神经网络模型对应的模型参数,以使所述第一初始神经网络模型收敛,得到所述第一神经网络模型。
可选地,所述第二修正参数包括残差修正参数;以及所述第二修正模块进一步用于:利用所述残差修正参数修正所述中间图像,以消除所述中间图像与预期目标图像之间的残差,得到所述目标图像。
可选地,所述神经网络处理器包括第二神经网络模型,所述残差修正参数由所述第二神经网络模型基于所述待处理图像得到;以及所述第二神经网络模型的训练步骤包括:获取第二样本图像集;所述第二样本图像集包括至少一个第二样本图像,所述第二样本图像包括RAW图像;将所述第二样本图像输入第二初始神经网络模型,并获得所述第二初始神经网络模型输出的初始残差修正参数;利用预设处理规则得到所述第二样本图像所对应的去马赛克后图像;利用所述初始残差修正参数修正所述去马赛克后图像与预期初始目标图像之间的残差,得到第二初始目标图像;利用第二预设损失函数确定所述第二初始目标图像与所述预期初始目标图像之间的第二损失函数值;利用所述第二损失函数值调整所述第二初始神经网络模型对应的模型参数,以使所述第二初始神经网络模型收敛,得到所述第二神经网络模型。
可选地,在所述获取第二样本图像集之后,所述第二神经网络模型的训练步骤还包括:将所述第二样本图像进行色调映射处理,以降低所述第二样本图像的位宽。
可选地,所述第二修正参数包括伪彩修正参数;以及所述第二修正模块进一步用于:利用所述伪彩修正参数修正所述中间图像的伪彩区域,得到所述目标图像。
可选地,所述神经网络处理器包括第三神经网络模型,所述伪彩修正参数由所述第三神经网络模型基于所述待处理图像得到;以及所述第三神经网络模型的训练步骤包括:获取第三样本图像集;所述第三样本图像集包括至少一个第三样本图像,所述第三样本图像包括RAW图像;将第三样本图像输入第三初始神经网络模型,并获得所述第三初始神经网络模型输出的所述第三样本图像的各个像素点分别对应的初始伪彩修正参数;利用所述预设处理规则得到所述第三样本图像所对应的去马赛克后图像;利用所述初始伪彩修正参数修正所述去马赛克后图像所对应的伪彩区域,得到修正后的第三初始目标图像;利用第三预设损失函数确定所述第三初始目标图像与所述第三样本图像的预期图像之间的第三损失函数值;利用所述第三损失函数值调整所述第三初始神经网络模型对应的模型参数,以使所述第三初始神经网络模型收敛,得到所述第三神经网络模型。
可选地,所述初始伪彩修正参数包括初始伪彩权重参数或者初始伪彩补偿值;其中,所述初始伪彩权重参数用于表征所述各个像素点分别对应的色度淡化程度;所述初始伪彩补偿值用于补偿所述各个像素点分别对应的色度。
可选地,所述第二修正参数包括紫边修正参数;以及第二修正模块进一步用于:利用所述紫边修正参数修正所述中间图像的紫边区域,得到目标图像。
可选地,所述神经网络处理器包括第四神经网络模型,所述紫边修正参数由所述第四神经网络模型基于所述待处理图像得到;以及所述第四神经网络模型的训练步骤包括:获取第四样本图像集;所述第四样本图像集包括至少一个第四样本图像,所述第四样本图像包括去马赛克后图像;将第四样本图像输入第四初始神经网络模型,并获得所述第四初始神经网络模型输出的所述第四样本图像对应的初始紫边修正参数;利用所述初始紫边修正参数修正所述去马赛克后图像所对应的紫边区域,得到修正后的第四初始目标图像;利用第四预设损失函数确定所述第四初始目标图像与所述第四样本图像对应的预期图像之间的第四损失函数值;利用所述第四损失函数值调整所述第四初始神经网络模型对应的模型参数,以使所述第四初始神经网络模型收敛,得到所述第四神经网络模型。
可选地,所述初始紫边修正参数包括初始紫边权重参数或者初始紫边补偿值;其中,所述初始紫边权重参数用于表征紫边区域的色斑消除程度;所述初始紫边补偿值用于补偿紫边区域的各个像素点的饱和度。
可选地,所述第二修正参数包括锐化修正参数;以及所述第二修正模块进一步用于:利用所述锐化修正参数修正所述中间图像的模糊区域,得到目标图像;所述锐化修正参数包括对明度进行修正的明度权重参数。
可选地,所述神经网络处理器包括第五神经网络模型,所述锐化修正参数由所述第五神经网络模型基于所述待处理图像得到;以及所述第五神经网络模型的训练步骤包括:获取第五样本图像集;所述第五样本图像集包括至少一个第五样本图像,所述第五样本图像包括YUV图像;将第五样本图像输入第五初始神经网络模型,并获得所述第五初始神经网络模型输出的所述第五样本图像的各个像素点分别对应的明度权重参数;利用所述明度权重参数指导所述第五样本图像进行锐化,得到锐化后的初始明度值;利用第五预设损失函数确定所述初始明度值与所述第五样本图像的预期明度值之间的第五损失函数值;利用所述第五损失函数值调整所述第五初始神经网络模型对应的模型参数,以使所述第五初始神经网络模型收敛,得到所述第五神经网络模型。
可选地,所述神经网络处理器包括第六神经网络模型,所述锐化修正参数由所述第六神经网络模型基于所述待处理图像得到;以及所述第六神经网络模型的训练步骤包括:获取第六样本图像集;所述第六样本图像集包括至少一个第六样本图像,所述第六样本图像包括YUV图像;将第六样本图像输入第六初始神经网络模型,并获得所述第六初始神经网络模型输出的至少一个目标处理区域,所述至少一个目标处理区域分别对应于一个明度权重参数;利用所述目标处理区域所对应的明度权重参数对所述目标处理区域的明度信息进行修正,得到修正后的初始明度值;利用第六预设损失函数确定所述初始明度值与所述目标处理区域的预期明度值之间的第六损失函数值;利用所述第六损失函数值调整所述第六初始神经网络模型对应的模型参数,以使所述第六初始神经网络模型收敛,得到所述第六神经网络模型。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参照图4,图4为本申请实施例提供的一种用于执行图像处理方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器401,例如CPU,至少一个通信接口402,至少一个存储器403和至少一个通信总线404。其中,通信总线404用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口402用于与其他节点设备进行信令或数据的通信。存储器403可以是高速RAM存储器,也可以是非易失性的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器403可选的还可以是至少一个位于远离前述处理器的存储装置。存储器403中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器401执行时,电子设备可以执行上述图1所示方法过程。
可以理解,图4所示的结构仅为示意,所述电子设备还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,可以执行如图1所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,该方法可以包括:获取待处理图像;利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像;
利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;
利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述修正参数包括第一修正参数和第二修正参数;以及
所述利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像,包括:
利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像;
利用所述第二修正参数修正所述中间图像,得到目标图像。
3.根据权利要求2所述的方法,其特征在于,所述第一修正参数包括插值权重参数,所述去马赛克参数包括插值参数;以及
所述利用所述第一修正参数修正所述初始图像的去马赛克参数,得到修正后的中间图像,包括:
利用所述插值权重参数修正所述插值参数,得到所述初始图像的各个像素点分别对应的插值结果;
根据所述各个像素点分别对应的插值结果对所述各个像素点进行插值处理,得到所述中间图像。
4.根据权利要求3所述的方法,其特征在于,所述神经网络处理器包括第一神经网络模型,所述插值权重参数由所述第一神经网络模型基于所述待处理图像得到;以及
所述第一神经网络模型的训练步骤包括:
获取第一样本图像集;所述第一样本图像集包括至少一个第一样本图像,所述第一样本图像包括RAW图像;
将所述第一样本图像输入第一初始神经网络模型,并获得所述第一初始神经网络模型输出的所述第一样本图像的各个像素点分别对应的初始插值权重参数;
利用预设插值规则得到所述各个像素点分别对应的初始插值参数;
根据所述初始插值权重参数与所述初始插值参数,确定所述各个像素点分别对应的初始插值结果,并利用所述初始插值结果对所述第一样本图像进行插值处理,得到第一初始目标图像;
利用第一预设损失函数确定所述第一初始目标图像与所述第一样本图像的预期图像之间的第一损失函数值;
利用所述第一损失函数值调整所述第一初始神经网络模型对应的模型参数,以使所述第一初始神经网络模型收敛,得到所述第一神经网络模型。
5.根据权利要求2所述的方法,其特征在于,所述第二修正参数包括残差修正参数;以及
所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:
利用所述残差修正参数修正所述中间图像,以消除所述中间图像与预期目标图像之间的残差,得到所述目标图像。
6.根据权利要求5所述的方法,其特征在于,所述神经网络处理器包括第二神经网络模型,所述残差修正参数由所述第二神经网络模型基于所述待处理图像得到;以及
所述第二神经网络模型的训练步骤包括:
获取第二样本图像集;所述第二样本图像集包括至少一个第二样本图像,所述第二样本图像包括RAW图像;
将所述第二样本图像输入第二初始神经网络模型,并获得所述第二初始神经网络模型输出的初始残差修正参数;
利用预设处理规则得到所述第二样本图像所对应的去马赛克后图像;
利用所述初始残差修正参数修正所述去马赛克后图像与预期初始目标图像之间的残差,得到第二初始目标图像;
利用第二预设损失函数确定所述第二初始目标图像与所述预期初始目标图像之间的第二损失函数值;
利用所述第二损失函数值调整所述第二初始神经网络模型对应的模型参数,以使所述第二初始神经网络模型收敛,得到所述第二神经网络模型。
7.根据权利要求6所述的方法,其特征在于,在所述将所述第二样本图像输入第二初始神经网络模型之前,所述第二神经网络模型的训练步骤还包括:
将所述第二样本图像进行色调映射处理,以降低所述第二样本图像的位宽。
8.根据权利要求2所述的方法,其特征在于,所述第二修正参数包括伪彩修正参数;以及
所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:
利用所述伪彩修正参数修正所述中间图像的伪彩区域,得到所述目标图像。
9.根据权利要求8所述的方法,其特征在于,所述神经网络处理器包括第三神经网络模型,所述伪彩修正参数由所述第三神经网络模型基于所述待处理图像得到;以及
所述第三神经网络模型的训练步骤包括:
获取第三样本图像集;所述第三样本图像集包括至少一个第三样本图像,所述第三样本图像包括RAW图像;
将第三样本图像输入第三初始神经网络模型,并获得所述第三初始神经网络模型输出的所述第三样本图像的各个像素点分别对应的初始伪彩修正参数;
利用所述预设处理规则得到所述第三样本图像所对应的去马赛克后图像;
利用所述初始伪彩修正参数修正所述去马赛克后图像所对应的伪彩区域,得到修正后的第三初始目标图像;
利用第三预设损失函数确定所述第三初始目标图像与所述第三样本图像的预期图像之间的第三损失函数值;
利用所述第三损失函数值调整所述第三初始神经网络模型对应的模型参数,以使所述第三初始神经网络模型收敛,得到所述第三神经网络模型。
10.根据权利要求9所述的方法,其特征在于,所述初始伪彩修正参数包括初始伪彩权重参数或者初始伪彩补偿值;其中,所述初始伪彩权重参数用于表征所述各个像素点分别对应的色度淡化程度;所述初始伪彩补偿值用于补偿所述各个像素点分别对应的色度。
11.根据权利要求2所述的方法,其特征在于,所述第二修正参数包括紫边修正参数;以及
所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:
利用所述紫边修正参数修正所述中间图像的紫边区域,得到目标图像。
12.根据权利要求11所述的方法,其特征在于,所述神经网络处理器包括第四神经网络模型,所述紫边修正参数由所述第四神经网络模型基于所述待处理图像得到;以及
所述第四神经网络模型的训练步骤包括:
获取第四样本图像集;所述第四样本图像集包括至少一个第四样本图像,所述第四样本图像包括去马赛克后图像;
将第四样本图像输入第四初始神经网络模型,并获得所述第四初始神经网络模型输出的所述第四样本图像对应的初始紫边修正参数;
利用所述初始紫边修正参数修正所述去马赛克后图像所对应的紫边区域,得到修正后的第四初始目标图像;
利用第四预设损失函数确定所述第四初始目标图像与所述第四样本图像对应的预期图像之间的第四损失函数值;
利用所述第四损失函数值调整所述第四初始神经网络模型对应的模型参数,以使所述第四初始神经网络模型收敛,得到所述第四神经网络模型。
13.根据权利要求12所述的方法,其特征在于,所述初始紫边修正参数包括初始紫边权重参数或者初始紫边补偿值;其中,所述初始紫边权重参数用于表征紫边区域的色斑消除程度;所述初始紫边补偿值用于补偿紫边区域的各个像素点的饱和度。
14.根据权利要求2所述的方法,其特征在于,所述第二修正参数包括锐化修正参数;以及
所述利用所述第二修正参数修正所述中间图像,得到目标图像,包括:
利用所述锐化修正参数修正所述中间图像的模糊区域,得到目标图像;所述锐化修正参数包括对明度进行修正的明度权重参数。
15.根据权利要求14所述的方法,其特征在于,所述神经网络处理器包括第五神经网络模型,所述锐化修正参数由所述第五神经网络模型基于所述待处理图像得到;以及
所述第五神经网络模型的训练步骤包括:
获取第五样本图像集;所述第五样本图像集包括至少一个第五样本图像,所述第五样本图像包括YUV图像;
将第五样本图像输入第五初始神经网络模型,并获得所述第五初始神经网络模型输出的所述第五样本图像的各个像素点分别对应的明度权重参数;
利用所述明度权重参数指导所述第五样本图像进行锐化,得到锐化后的初始明度值;
利用第五预设损失函数确定所述初始明度值与所述第五样本图像的预期明度值之间的第五损失函数值;
利用所述第五损失函数值调整所述第五初始神经网络模型对应的模型参数,以使所述第五初始神经网络模型收敛,得到所述第五神经网络模型。
16.根据权利要求14所述的方法,其特征在于,所述神经网络处理器包括第六神经网络模型,所述锐化修正参数由所述第六神经网络模型基于所述待处理图像得到;以及
所述第六神经网络模型的训练步骤包括:
获取第六样本图像集;所述第六样本图像集包括至少一个第六样本图像,所述第六样本图像包括YUV图像;
将第六样本图像输入第六初始神经网络模型,并获得所述第六初始神经网络模型输出的至少一个目标处理区域,所述至少一个目标处理区域分别对应于一个明度权重参数;
利用所述目标处理区域所对应的明度权重参数对所述目标处理区域的明度信息进行修正,得到修正后的初始明度值;
利用第六预设损失函数确定所述初始明度值与所述目标处理区域的预期明度值之间的第六损失函数值;
利用所述第六损失函数值调整所述第六初始神经网络模型对应的模型参数,以使所述第六初始神经网络模型收敛,得到所述第六神经网络模型。
17.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像;
去马赛克处理模块,用于利用预设处理规则对所述待处理图像进行去马赛克处理,得到去马赛克后的初始图像;
修正模块,用于利用神经网络处理器针对所述待处理图像输出的修正参数修正所述初始图像,得到目标图像。
18.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-16任一所述的方法。
19.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-16任一所述的方法。
CN202110860833.5A 2021-07-28 2021-07-28 图像处理方法、装置、电子设备和可读存储介质 Pending CN113658043A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110860833.5A CN113658043A (zh) 2021-07-28 2021-07-28 图像处理方法、装置、电子设备和可读存储介质
PCT/CN2021/139362 WO2023005115A1 (zh) 2021-07-28 2021-12-17 图像处理方法、图像处理装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860833.5A CN113658043A (zh) 2021-07-28 2021-07-28 图像处理方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113658043A true CN113658043A (zh) 2021-11-16

Family

ID=78490823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860833.5A Pending CN113658043A (zh) 2021-07-28 2021-07-28 图像处理方法、装置、电子设备和可读存储介质

Country Status (2)

Country Link
CN (1) CN113658043A (zh)
WO (1) WO2023005115A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005115A1 (zh) * 2021-07-28 2023-02-02 爱芯元智半导体(上海)有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392118B (zh) * 2023-12-07 2024-02-06 巴苏尼制造(江苏)有限公司 基于多特融合的纺织品染整染色异常检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215180A1 (zh) * 2019-04-22 2020-10-29 华为技术有限公司 图像处理方法、装置和电子设备
CN112700433A (zh) * 2021-01-11 2021-04-23 地平线(上海)人工智能技术有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
CN113658043A (zh) * 2021-07-28 2021-11-16 上海智砹芯半导体科技有限公司 图像处理方法、装置、电子设备和可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215180A1 (zh) * 2019-04-22 2020-10-29 华为技术有限公司 图像处理方法、装置和电子设备
CN112700433A (zh) * 2021-01-11 2021-04-23 地平线(上海)人工智能技术有限公司 图像处理方法、装置、电子设备以及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005115A1 (zh) * 2021-07-28 2023-02-02 爱芯元智半导体(上海)有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
WO2023005115A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
CN107680056B (zh) 一种图像处理方法及装置
KR100771158B1 (ko) 칼라 영상의 화질 향상을 위한 방법 및 시스템
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
CN113658043A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN107862672B (zh) 图像去雾的方法及装置
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
US8503815B2 (en) Highlight recovery using digital lighting module
CN114998122A (zh) 一种低照度图像增强方法
US11640654B2 (en) Image processing method and apparatus
CN107358578B (zh) 一种阴阳脸处理方法和装置
CN106846234B (zh) 一种基于fpga的图像视频增强方法、系统及设备
JP2012235465A (ja) デジタルカメラ装置における画像処理装置及び方法
US8744207B2 (en) Image processing device, image processing method, image processing program and recording medium
CN115804080A (zh) 弱光条件下捕获的被颜色着色像素的校正
KR101180409B1 (ko) 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치
CN112581390B (zh) 一种图像色彩增强方法、装置、设备及可读存储介质
US8284316B2 (en) Real-time image processing circuit capable of enhancing brightness contrast and color saturation
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
CN114612344A (zh) 图像锐化装置及方法
WO2006106750A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7278096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109600596B (zh) 一种非线性无色恒常的白平衡方法
US8035706B2 (en) Image processing apparatus and digital camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Applicant after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Address before: 201700 room 1190, zone B, floor 11, building 1, No. 158, Shuanglian Road, Qingpu District, Shanghai

Applicant before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd.

Address after: 201700 room 1190, zone B, floor 11, building 1, No. 158, Shuanglian Road, Qingpu District, Shanghai

Applicant after: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd.

Address before: 201700 room 1190, zone B, floor 11, building 1, No. 158, Shuanglian Road, Qingpu District, Shanghai

Applicant before: Shanghai Zhixin Semiconductor Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Applicant after: Aixin Yuanzhi Semiconductor Co.,Ltd.

Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Applicant before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region before: China