CN114782300A - 产品图像重构方法、产品重构模型训练方法、装置 - Google Patents

产品图像重构方法、产品重构模型训练方法、装置 Download PDF

Info

Publication number
CN114782300A
CN114782300A CN202210468538.XA CN202210468538A CN114782300A CN 114782300 A CN114782300 A CN 114782300A CN 202210468538 A CN202210468538 A CN 202210468538A CN 114782300 A CN114782300 A CN 114782300A
Authority
CN
China
Prior art keywords
clear
image
product
images
overlapped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210468538.XA
Other languages
English (en)
Other versions
CN114782300B (zh
Inventor
王彬
熊星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou HYC Technology Co Ltd
Original Assignee
Suzhou HYC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou HYC Technology Co Ltd filed Critical Suzhou HYC Technology Co Ltd
Priority to CN202210468538.XA priority Critical patent/CN114782300B/zh
Publication of CN114782300A publication Critical patent/CN114782300A/zh
Priority to PCT/CN2022/109389 priority patent/WO2023206844A1/zh
Application granted granted Critical
Publication of CN114782300B publication Critical patent/CN114782300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开涉及一种产品图像重构方法、产品重构模型训练方法、装置。所述方法包括:获取产品在多个高度层次的多张第一图像;对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。采用本方法能够将产品整体以及局部细节融合,得到清晰的产品图像。

Description

产品图像重构方法、产品重构模型训练方法、装置
技术领域
本公开涉及视觉图像处理技术领域,特别是涉及一种产品图像重构方法、产品重构模型训练方法、装置。
背景技术
图像清晰化或称为图像超分辨率重建是计算机视觉领域中的一种重要处理方式。其能够根据输入的低清晰度图像恢复为高清晰度的图像,在不提升硬件成本的基础上改善图像效果上有十分重要的意义。
而在视觉图像处理中,通常只有感兴趣区域为图片中最清晰的部分,其余的地方则通常情况下为模糊的部分。通常情况下产品为立体3D的,存在层次之分。通常拍摄的产品整体图片中局部的细节处不清晰,在缺陷检测时不能够清楚的确定产品的缺陷。并且,目前通过传统算法提取清晰图像的错误率较高,并不能很好的提取准确的清晰图像。
发明内容
基于此,有必要针对上述技术问题,提供一种能够将产品整体以及局部细节融合,使得产品整体图片中局部的细节处清晰的一种产品图像重构方法、产品重构模型训练方法、装置。
第一方面,本公开提供了一种产品图像重构方法,所述方法包括:获取产品在多个高度层次的多张第一图像;
对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;
将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。
在其中一个实施例中,所述第一图像是通过液态镜头采集所述产品得到的,所述多张第一图像是通过调整所述液态镜头的焦距采集所述产品得到的。
在其中一个实施例中,所述对产品的每一高度层次的第一图像的清晰部分进行标记处理,包括:
根据预先设置的条件标记所述每一高度层次的第一图像中清晰部分;
提取每个所述清晰部分的掩膜,得到第一清晰区域。
在其中一个实施例中,若多张第一图像中第一清晰区域存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
在所述重合部分为部分重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到重合清晰区域;
将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
合成所述重合清晰区域与所述非重合清晰区域,得到所述第二清晰区域;
在所述重合部分为全部重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到第二清晰区域。
在其中一个实施例中,若多张第一图像的第一清晰区域未存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
根据所述非重合清晰区域得到第二清晰区域。
在其中一个实施例中,所述将多个高度层次的多张第一图像进行合成,之后还包括:
将所述第二清晰区域进行取反,得到模糊掩膜;
根据每张所述第一图像中对应的所述模糊掩膜的像素值和预设的第三系数确定模糊区域;
将所述第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
第二方面,本公开提供了一种产品重构模型训练方法,采用上述任一项所述产品图像重构方法构建训练数据集,利用所述训练数据集对神经网络模型进行训练,得到重构模型。
在其中一个实施例中,所述神经网络模型包括:生成式对抗网络;
所述利用所述训练数据集对神经网络模型进行训练,得到重构模型,包括:
利用所述训练数据集训练所述生成式对抗网络中判别器;
根据所述生成式对抗网络中生成器和判别器进行对抗训练,得到所述重构模型。
第三方面,本公开提供了一种图像重构方法,获取至少一张产品图像;
针对每张产品图像,将所述产品图像输入至上述任一项产品重构模型训练方法训练得到的重构模型进行图片重构,得到产品的清晰图像。
第四方面,本公开提供了一种产品图像重构装置,所述装置包括:
多层图像获取模块,用于获取产品在多个高度层次的多张第一图像;
标记处理模块,用于对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;
图像合成模块,用于将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。
第五方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第六方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
第七方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
上述各实施例中,通过获取多个高度层次的多张第一图像,能够获取同一产品不同高度层次下的图片。对产品每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域,可以得到该产品的多张第一图像中对应的清晰区域图片。然后可以将多个高度层次的第一图像进行合成,形成具备第二清晰区域的产品图像。其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域。能够将产品整体以及局部细节(包括多张第一图像的细节)进行融合,得到清晰的产品图像。降低了基于传统算法提取清晰图片的错误率,提高了图片重构准确率。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中产品图像重构方法的流程示意图;
图2为一个实施例中液态镜头获取第一图像的示意图;
图3为一个实施例中S104步骤的流程示意图;
图4为一个实施例中S106步骤的流程示意图;
图5为一个实施例中将多个高度层次的多张第一图像进行合成步骤之后的步骤的流程示意图;
图6为另一个实施例中产品图像重构方法的流程示意图;
图7为另一个实施例中得到第一清晰区域的示意图;
图8为另一个实施例中存在重合部分的第一清晰区域的示意图;
图9为另一个实施例中得到第二清晰区域的示意图;
图10为一个实施例中产品图像重构装置的结构示意框图;
图11为一个实施例中产品重构模型训练装置的结构示意框图;
图12为一个实施例中图片重构装置的结构示意框图;
图13为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本公开,并不用于限定本公开。
需要说明的是,本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在一个实施例中,本实施例提供了一种产品图像重构方法,以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
S102,获取产品在多个高度层次的多张第一图像。
其中,所述第一图像是通过液态镜头采集所述产品得到的,所述多张第一图像是通过调整所述液态镜头的焦距采集所述产品得到的。
具体地,通常情况下产品是3D的,存在一定的高度或者厚度。由于液态镜头的景深是一定的,在特定范围内的区域,成像清晰,拍出的细节较明显,液态镜头变焦的原理为改变电压使液体表面曲率发生变化实现变焦;如图2所示,所以可以通过改变液态镜头的焦距,进而改变成像清晰区域,对于立体物体(产品)可以获取不同高度区域下的图像,该图像可以为第一图像。从而得到多个高度层次的多张第一图像。
S104,对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域。
其中,标记处理通常可以是对第一图像中清晰部分进行处理的一种方式。第一清晰区域通常可以是第一图像中标记为清晰部分的区域。每个第一清晰区域通常都可以包括了产品的局部细节的清晰部分。
具体地,可以通过人工的方式或者一些清晰度判断方法,对产品的每个高度层次对应第一图像的清晰部分进行标记处理,标记处理后的第一图像可以得到第一清晰区域。在一些示例性的实施方式中,清晰部分可以通过分辨率确定,例如,当第一图像中某个部分的分辨率大于预先设置的分辨率阈值时,该部分可以确定为清晰部分。可以理解的是,本实施例中仅仅以分辨率进行举例来确定清晰部分。在实际应用过程中,本领域技术人员还可以根据灰度确定清晰部分,在本公开不限制确定的清晰部分的具体方式。确定的清晰部分后,可以对该清晰部分进行标记处理,进而形成第一清晰区域。
S106,将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像。
其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域。合成在本公开实施例中可以是将多个高度层次的多张第一图像合成为一张图像的方式,在本公开实施例中,合成可以包括:合成多个高度层次的多张第一图像中第一清晰区域的重合部分和/或非重合部分。该一张图像通常可以是产品图像。
具体地,可以将多个高度层次的多张第一图像进行合成,合成为一张图像。若第一清晰区域中未存在非重合部分,可以仅对多张第一图像中重合部分进行合成。若第一清晰区域中存在非重合部分和重合部分,可以对多张第一图像中重合部分和非重合部分进行合成。若第一清晰区域中未存在重合部分,则可以仅对多张第一图像中非重合部分进行合成。该合成后的图像中可以包括了多个高度层次的多张第一图像中第一清晰区域形成的具备第二清晰区域的产品图像。
上述产品图像重构方法中,通过获取多个高度层次的多张第一图像,能够获取同一产品不同高度层次下的图片。对产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域,可以得到该产品的多张第一图像中对应的清晰区域图片。然后可以将多个高度层次的第一图像进行合成,形成具备第二清晰区域的产品图像。其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域。能够将产品整体以及局部细节(包括多张第一图像的细节)进行融合,得到清晰的产品图像。降低了基于传统算法提取清晰图片的错误率,提高了产品图像重构的准确率。
在一个实施例中,如图3所示,所述对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,包括:
S302,根据预先设置的条件标记所述每一高度层次的第一图像中清晰部分。
其中,预先设置的条件通常可以包括:(1)根据分辨率或者其他影响清晰度的因素确定清晰部分。(2)训练语义分割模型,通过语义分割模型得到清晰部分。语义分割模型是通过将完整图片和完整图片中的清晰部分作为训练数据训练得到的模型。需要说明的是,通常情况下,语义分割模型是通过机器对大量的图像的人工标记进行深度学习,并利用语义分割方法训练神经网络模型得到的,其确定清晰部分相较于上述第一种方式的准确度较高。
具体地,可以通过根据分辨率或者其他影响清晰度的因素确定清晰部分,也可以将每一高度层次对应的第一图像输入至语义分割模型,通过语义分割模型确定清晰部分。还可以综合上述两种条件确定的清晰部分的结果,确定最终的多层次图片中的清晰部分。确定清晰部分后,可以对该确定出的清晰部分进行标记处理,标记处理后的第一图像中可以形成第一清晰区域。
S304,提取每个所述清晰部分的掩膜,得到第一清晰区域。
其中,掩膜通常可以是用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。光学图像处理中,掩模可以是胶片、滤光片等。数字图像处理中,掩模为二维矩阵数组,有时也用多值图像。在本公开实施例中,掩膜主要是提取清晰部分的区域。
具体地,可以使用预先制作的清晰区域对应的掩模与对应的每个第一图像相乘,得到每个第一图像对应的第一清晰区域,第一清晰区域的像素值保持不变,而第一清晰区域之外的像素值通常情况下为0。或者,在另一些实施方式中,可以使用掩模对第一图像上除清晰区域之外的区域作屏蔽,使其不参加处理或不参加处理参数的计算。屏蔽后的第一图像可以得到第一清晰区域。
在本实施例中,通过提取每个清晰区域的掩膜,得到第一清晰区域,在后续处理时,能够消除不清晰部分对图像重构产生的影响,能够提高产品图像重构的准确率。
在一个实施例中,如图4所示,若多张第一图像的第一清晰区域存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
S402,在所述重合部分为部分重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到重合清晰区域。
S404,将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域。
其中,重合部分的区域通常进行相加合成处理,非重合部分的区域通常不进行相加处理,仅仅合成处理。
S406,合成所述重合清晰区域与所述非重合清晰区域,得到所述第二清晰区域。
具体地,可以将每个第一清晰区域进行两两分组,若分组之中的第一清晰区域存在重合的部分,该重合的部分通常情况下可以是部分重合,部分重合通常可以是第一清晰区域之间的中重合的区域小于任意一张第一清晰区域的大小。则可以确定每组中两个第一清晰区域之间的重合部分,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到每组中两个第一清晰区域之间的重合清晰区域。若分组之中的第一清晰区域不存在重合部分,则可以将每组中的第一清晰区域中的非重合部分中的像素值按照预设的第二系数进行合成,得到每组中两个第一清晰区域之间的非重合清晰区域。重复上述步骤,合成得到所有第一清晰区域中的重合清晰区域和非重合清晰区域。可以将所有的重合清晰区域和非重合清晰区域合成,得到第二清晰区域图片。
可以理解的是,通常情况下,第二系数通常情况下可以为1,第一系数为重合的第一清晰区域的数量的倒数,如存在两个第一清晰区域重合则可以为1/2,若存在三个第一清晰区域重合则可以为1/3,通过将每张图像重合部分第一清晰区域的像素值乘以第一系数后相加得出重合部分的像素值,以便于将重合清晰区域和非重合清晰区域进行合成。
在所述重合部分为全部重合的情况下,可以根据第一清晰区域得到第二清晰区域。还可以将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到第二清晰区域。
具体地,第一清晰区域之间全部重合的情况下,可以是第一清晰区域面积相同,全部重合。也可以是某个第一清晰区域中包括了另一个清晰区域的图像。此时无需进行相加合成模处理,可以根据包括了另一个第一清晰区域的第一清晰区域得到第二清晰区域。可以理解为包括了另一个第一清晰区域的第一清晰区域为第二清晰区域。
除此之外,也可将全部重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成得到重合清晰区域,该重合清晰区域通常情况下为第二清晰区域。其中,第一系数为重合的第一清晰区域的数量的倒数,如存在两个第一清晰区域重合则为1/2,若存在三个第一清晰区域重合则为1/3,通过将每张图像重合部分第一清晰区域的像素值乘以第一系数后相加得出重合部分的像素值。
本公开中仅仅以上述系数进行举例说明,在实际应用过程中本领技术人员可根据实际需求进行设置第一系数和第二系数,在本公开中不进行限制第一系数和第二系数的具体数值。
在本公开中,通过不同的系数对重合部分和非重合部分进行处理,可以整合每个第一清晰区域,得到所有第一清晰区域中图像数据,能够得到更加清晰准确的产品图像,提高产品图像重构的准确率。
在一个实施例中,若多张第一图像的第一清晰区域未存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
根据所述非重合清晰区域得到第二清晰区域。
关于本实施例中的具体实施方式和限定可参见上一个实施例。
在一个实施例中,如图5所示,所述将多个高度层次的多张第一图像进行合成,之后还包括:
S502,将所述第二清晰区域进行取反,得到模糊掩膜。
S504,根据每张所述第一图像中对应的所述模糊掩膜的像素值和预设的第三系数确定模糊区域,所述第三比例系数是根据多张第一图像的数量的倒数确定的。
S506,将所述第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
其中,整合区域通常可以包括第二清晰区域和模糊区域。
具体地,可以将得到的第二清晰区域进行取反,得到第二清晰区域对应的每个模糊掩膜。综合每张第一图像中与模糊掩膜位置对应的像素值和预先设置的第三系数可以确定模糊区域图片的像素值。第三系数通常可以根据多张第一图像的数量的倒数确定。可以将第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
在一些实施方式中,多张第一图像共有m张,模糊区域的像素可以按照每张第一图像中与模糊掩膜对应部分的像素值的1/m求取像素值,之后相加得出模糊区域的像素值。其中,1/m可以为预设的第三系数,其中,m为正整数。
在本实施例中,通过确定模糊区域,整合模糊区域图片和第二清晰区域图片可以防止第一图像中除第二清晰区域之外的像素值为空,影响最终的成像效果。
在一个实施例中,本公开实施例提供了一种产品重构模型训练方法,该方法包括:采用上述各实施例中的产品图像重构方法构建训练数据集,利用所述训练数据集对神经网络模型进行训练,得到重构模型。
其中,训练数据集通常可以是训练神经网络模型参数的数据集。训练数据集的确定过程可以参照上述实施例的描述,在此不进行重复赘述,训练数据集中通常情况下可以包括:多个高度层次的多张第一图像和具备第二清晰区域的产品图像,或者,多个高度层次的多张第一图像和具备整合区域的产品图像。神经网络模型可以是神经网络(NeuralNetworks,NN)通常是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统,它反映了人脑功能的许多基本特征,是一个高度复杂的非线性动力学习系统。
具体地,可以利用上述确定的训练数据集对神经网络模型进行训练,训练神经网络模型完成后,可以得到重构模型。通过该重构模型可以得到产品的清晰图像。
在一个实施例中,所述神经网络模型包括:生成式对抗网络;
所述利用所述训练数据集对神经网络模型进行训练,得到重构模型,包括:
利用所述训练数据集训练所述生成式对抗网络中判别器;
根据所述生成式对抗网络中生成器和判别器进行对抗训练,得到所述重构模型。
具体地,可以固定生成器,利用训练数据集训练生成式对抗网络中的判别器。可以固定判别器,训练生成器。将生成器和判别器进行对抗训练,训练完成后的生成式对抗网络可以为重构模型。
在本实施例中,使用生成式对抗网络进行训练能够减少开发时间,提高训练速度。
在另一个实施例中,本公开还提供了一种产品图像重构方法,如图6至图9所示,该方法包括:
S602,获取产品在多个高度层次的多张第一图像,所述第一图像是通过液态镜头采集所述产品得到的,所述多张所述第一图像是通过调整所述液态镜头的焦距采集所述产品得到的。
S604,根据预先设置的条件标记所述每一高度层次的第一图像中清晰部分。
S606,提取每个所述清晰部分的掩膜,得到第一清晰区域。
S608,判断多张第一图像的第一清晰区域是否存在重合部分,
S610,若是,则在所述重合部分为部分重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到重合清晰区域。
S612,将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域。
S614,合成所述重合清晰区域所述第与非重合清晰区域,得到第二清晰区域。
S616,若是,则在所述重合部分为全部重合的情况下,根据第一清晰区域得到第二清晰区域。
S618,若否,则将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
S620,根据所述非重合区域得到第二清晰区域。
S622,将所述第二清晰区域进行取反,得到模糊掩膜。
S624,根据每张所述第一图像中对应的所述模糊掩膜的像素值和预设的第三系数确定模糊区域。
S626,将所述第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
如图7至图9所示,图片1、图片2、图片3为多个高度层次的多张第一图像。
关于本实施例中的具体实施方式和限定可参见上述实施例,在此不进行重复赘述。
在一个实施例中,本公开还提供了一种图像重构方法,该方法包括:获取至少一张产品图像。针对每张产品图像,将所述产品图像输入至上述任一产品重构模型训练方法的实施例中训练得到的重构模型进行图片重构,得到产品的清晰图像。
关于图像重构方法的具体限定和具体实施方式可以参见上文各实施例中的限定和具体实施方式,在此不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的产品图像重构方法的产品图像重构装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个产品图像重构装置实施例中的具体限定可以参见上文中对于产品图像重构方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种产品图像重构装置1000,包括:多层图像获取模块1002,用于获取产品在多个高度层次的多张第一图像;
标记处理模块1004,用于对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;
图像合成模块1006,用于将多个高度层次的第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。
在所述装置的一个实施例中,所述第一图像是通过液态镜头采集所述产品得到的,所述多张第一图像是通过调整所述液态镜头的焦距采集所述产品得到的。
在所述装置的一个实施例中,所述标记处理模块1004,包括:清晰标记模块、掩膜提取模块。
清晰标记模块,用于根据预先设置的条件标记所述每一高度层次的第一图像中清晰部分。
掩膜提取模块,用于提取每个所述清晰部分的掩膜,得到第一清晰区域。
在所述装置的一个实施例中,所述图像合成模块1006,包括:非重合合成模块、相加合成模块,若多张第一图像的第一清晰区域存在重合部分,则所述图像合成模块1006还可以包括:重合合成模块;
重合合成模块,用于在所述重合部分为部分重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到重合清晰区域。
非重合合成模块,用于将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域。
相加合成模块,用于合成所述重合清晰区域与所述非重合清晰区域,得到第二清晰区域。
相加合成模块,还用于在所述重合部分为全部重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到第二清晰区域。
在所述装置的一个实施例中,若多张第一图像的第一清晰区域未存在重合部分,则所述相加合成模块,用于根据所述非重合区域得到第二清晰区域。
在所述装置的一个实施例中,所述装置还包括:取反模块、模糊区域确定模块、整合模块;
取反模块,用于将所述第二清晰区域进行取反,得到模糊掩膜。
模糊区域确定模块,用于根据每张所述第一图像中对应的所述模糊掩膜的像素值和预设的第三系数确定模糊区域。
整合模块,用于将所述第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
上述产品图像重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图11所示,提供了一种产品重构模型训练装置,包括:数据集构建模块1102,用于根据上述产品图像重构方法中任一实施例构建训练数据集;
模型训练模块1104,用于利用所述训练数据集对神经网络模型进行训练,得到重构模型。
在所述装置的一个实施例中,所述神经网络模型包括:生成式对抗网络。
所述模型训练模块1104,包括:判别器训练模块、对抗训练模块;
判别器训练模块,用于利用所述训练数据集训练所述生成式对抗网络中判别器。
对抗训练模块,用于根据所述生成式对抗网络中生成器和判别器进行对抗训练,得到所述重构模型。
在一个实施例中,本公开还提供了一种图片重构装置1200,如图12所示,所述装置包括:
图像获取模块1202,用于获取至少一张产品图像;
图片重构模块1204,用于针对每张产品图像,将所述产品图像输入至上述任一实施例训练得到的重构模型进行图片重构,得到产品的清晰图像。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练数据集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种产品图像重构方法或一种产品重构模型训练方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本公开专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开的保护范围应以所附权利要求为准。

Claims (11)

1.一种产品图像重构方法,其特征在于,所述方法包括:
获取产品在多个高度层次的多张第一图像;
对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;
将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。
2.根据权利要求1所述的方法,其特征在于,所述第一图像是通过液态镜头采集所述产品得到的,所述多张第一图像是通过调整所述液态镜头的焦距采集所述产品得到的。
3.根据权利要求1所述的方法,其特征在于,所述对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,包括:
根据预先设置的条件标记所述每一高度层次的第一图像中清晰部分;
提取每个所述清晰部分的掩膜,得到第一清晰区域。
4.根据权利要求1所述的方法,其特征在于,若多张第一图像中第一清晰区域存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
在所述重合部分为部分重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到重合清晰区域;
将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
合成所述重合清晰区域与所述非重合清晰区域,得到所述第二清晰区域;
在所述重合部分为全部重合的情况下,将重合部分中每一高度层次的第一图像的像素值按照预设的第一系数进行相加合成,得到第二清晰区域。
5.根据权利要求1所述的方法,其特征在于,若多张第一图像中第一清晰区域未存在重合部分,则所述将多个高度层次的多张第一图像进行合成,包括:
将非重合部分中每一高度层次的第一图像的像素值按照预设的第二系数进行合成处理,得到非重合清晰区域;
根据所述非重合清晰区域得到第二清晰区域。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述将多个高度层次的多张第一图像进行合成,之后还包括:
将所述第二清晰区域进行取反,得到模糊掩膜;
根据每张所述第一图像中对应的所述模糊掩膜的像素值和预设的第三系数确定模糊区域;
将所述第二清晰区域和所述模糊区域进行整合,得到具备整合区域的产品图像。
7.一种产品重构模型训练方法,其特征在于,采用权利要求1-6任一项所述产品图像重构方法构建训练数据集,利用所述训练数据集对神经网络模型进行训练,得到重构模型。
8.根据权利要求7所述的方法,其特征在于,所述神经网络模型包括:生成式对抗网络;
所述利用所述训练数据集对神经网络模型进行训练,得到重构模型,包括:
利用所述训练数据集训练所述生成式对抗网络中判别器;
根据所述生成式对抗网络中生成器和判别器进行对抗训练,得到所述重构模型。
9.一种图像重构方法,其特征在于,所述方法包括:
获取至少一张产品图像;
针对每张产品图像,将所述产品图像输入至权利要求7或8任一项训练得到的重构模型进行图片重构,得到产品的清晰图像。
10.一种产品图像重构装置,其特征在于,所述装置包括:
多层图像获取模块,用于获取产品在多个高度层次的多张第一图像;
标记处理模块,用于对所述产品的每一高度层次的第一图像的清晰部分进行标记处理,形成第一清晰区域;
图像合成模块,用于将多个高度层次的多张第一图像进行合成,形成具备第二清晰区域的产品图像,其中,所述第二清晰区域包括多个高度层次的多张第一图像中第一清晰区域,所述合成包括合成多张第一图像中第一清晰区域的重合部分和/或非重合部分。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
CN202210468538.XA 2022-04-29 2022-04-29 产品图像重构方法、产品重构模型训练方法、装置 Active CN114782300B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210468538.XA CN114782300B (zh) 2022-04-29 2022-04-29 产品图像重构方法、产品重构模型训练方法、装置
PCT/CN2022/109389 WO2023206844A1 (zh) 2022-04-29 2022-08-01 产品图像重构方法、产品重构模型训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468538.XA CN114782300B (zh) 2022-04-29 2022-04-29 产品图像重构方法、产品重构模型训练方法、装置

Publications (2)

Publication Number Publication Date
CN114782300A true CN114782300A (zh) 2022-07-22
CN114782300B CN114782300B (zh) 2023-04-07

Family

ID=82434615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468538.XA Active CN114782300B (zh) 2022-04-29 2022-04-29 产品图像重构方法、产品重构模型训练方法、装置

Country Status (2)

Country Link
CN (1) CN114782300B (zh)
WO (1) WO2023206844A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206844A1 (zh) * 2022-04-29 2023-11-02 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228556A (zh) * 2005-07-18 2008-07-23 阿特兰蒂斯组件公司 三维物体的三维成像的配准
CN103759677A (zh) * 2014-01-27 2014-04-30 东北大学 基于三角面积比法度量岩体结构面三维粗糙度的方法
US20170070711A1 (en) * 2015-09-03 2017-03-09 Disney Enterprises, Inc. Intensity correction for projection systems
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN109685738A (zh) * 2018-12-24 2019-04-26 广东理致技术有限公司 一种提升图像清晰度的方法及装置
CN109949258A (zh) * 2019-03-06 2019-06-28 北京科技大学 一种基于nsct变换域的图像复原方法及装置
US20200232800A1 (en) * 2019-01-17 2020-07-23 GM Global Technology Operations LLC Method and apparatus for enabling sequential groundview image projection synthesis and complicated scene reconstruction at map anomaly hotspot
CN112734637A (zh) * 2020-12-18 2021-04-30 厦门大学 一种导线温度监测的热红外图像处理方法和系统
CN113128271A (zh) * 2019-12-30 2021-07-16 微软技术许可有限责任公司 脸部图像的伪造检测
CN113409375A (zh) * 2021-07-30 2021-09-17 浙江大华技术股份有限公司 图像处理方法、装置以及非易失性存储介质
CN113793396A (zh) * 2021-09-17 2021-12-14 支付宝(杭州)信息技术有限公司 一种基于对抗生成网络训练图像重构模型的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782300B (zh) * 2022-04-29 2023-04-07 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228556A (zh) * 2005-07-18 2008-07-23 阿特兰蒂斯组件公司 三维物体的三维成像的配准
CN103759677A (zh) * 2014-01-27 2014-04-30 东北大学 基于三角面积比法度量岩体结构面三维粗糙度的方法
US20170070711A1 (en) * 2015-09-03 2017-03-09 Disney Enterprises, Inc. Intensity correction for projection systems
CN106920224A (zh) * 2017-03-06 2017-07-04 长沙全度影像科技有限公司 一种评估拼接图像清晰度的方法
CN109685738A (zh) * 2018-12-24 2019-04-26 广东理致技术有限公司 一种提升图像清晰度的方法及装置
US20200232800A1 (en) * 2019-01-17 2020-07-23 GM Global Technology Operations LLC Method and apparatus for enabling sequential groundview image projection synthesis and complicated scene reconstruction at map anomaly hotspot
CN109949258A (zh) * 2019-03-06 2019-06-28 北京科技大学 一种基于nsct变换域的图像复原方法及装置
CN113128271A (zh) * 2019-12-30 2021-07-16 微软技术许可有限责任公司 脸部图像的伪造检测
CN112734637A (zh) * 2020-12-18 2021-04-30 厦门大学 一种导线温度监测的热红外图像处理方法和系统
CN113409375A (zh) * 2021-07-30 2021-09-17 浙江大华技术股份有限公司 图像处理方法、装置以及非易失性存储介质
CN113793396A (zh) * 2021-09-17 2021-12-14 支付宝(杭州)信息技术有限公司 一种基于对抗生成网络训练图像重构模型的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
万金梁等: "基于融合细分的纹理图像重构模型", 《计算机应用》 *
廖婷: "基于多尺度快速清晰度估计的多聚焦图像超分辨融合技术研究", 《现代电子技术》 *
肖文等: "基于USENet实现数字全息细胞再现相位像超分辨重构", 《光子学报》 *
黄明宇等: "基于平面扫描图的后视镜实体模型重构", 《机械设计与制造》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206844A1 (zh) * 2022-04-29 2023-11-02 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Also Published As

Publication number Publication date
WO2023206844A1 (zh) 2023-11-02
CN114782300B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Wu et al. Learning sheared EPI structure for light field reconstruction
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
Kim et al. Pynet-ca: enhanced pynet with channel attention for end-to-end mobile image signal processing
CN113706388A (zh) 图像超分辨率重建方法及装置
CN114782300B (zh) 产品图像重构方法、产品重构模型训练方法、装置
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
CN106530231B (zh) 一种基于深层协作表达的超分辨率图像的重建方法及系统
Nam et al. Neural image representations for multi-image fusion and layer separation
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
US20230260083A1 (en) Computer-implemented method, computer program product and system for processing images
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Khalid et al. Image de-fencing using histograms of oriented gradients
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm
Vien et al. Bidirectional motion estimation with cyclic cost volume for high dynamic range imaging
CN113362262A (zh) 图像融合预处理的方法、装置、设备、存储介质
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
Wu et al. Lapepi-net: A Laplacian pyramid EPI structure for learning-based dense light field reconstruction
Richard et al. Learned multi-view texture super-resolution
EP4128154A1 (en) Three-dimensional motion estimation
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
CN105678725A (zh) 一种图像融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant