CN115393453A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN115393453A
CN115393453A CN202110506293.0A CN202110506293A CN115393453A CN 115393453 A CN115393453 A CN 115393453A CN 202110506293 A CN202110506293 A CN 202110506293A CN 115393453 A CN115393453 A CN 115393453A
Authority
CN
China
Prior art keywords
image
pixel point
target
processed
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110506293.0A
Other languages
English (en)
Inventor
王志
陈艳银
丘宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110506293.0A priority Critical patent/CN115393453A/zh
Priority to PCT/CN2022/091294 priority patent/WO2022237657A1/zh
Publication of CN115393453A publication Critical patent/CN115393453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种图像处理方法、装置以及电子设备,方法包括:获取图像处理请求,其中,所述图像处理请求中携带待处理图像、所述待处理图像中待处理的目标区域的位置信息以及处理方式;根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像;按照所述处理方式,采用深度模型对所述局部图像进行处理,以生成目标局部图像,其中,所述目标局部图像与所述局部图像的尺寸相同;将所述目标局部图像嵌入所述待处理图像,以生成目标图像。由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。

Description

图像处理方法、装置及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置及电子设备。
背景技术
随着用户对图像的编辑需求日益增加,形成了多样化的图像编辑和生成方法,目前,通常使用深度模型对图像进行处理,以实现对图像中人脸的美颜、图像的卡通化或者风格迁移等效果。
然而,在一些仅能部署轻量级深度模型的设备(例如边缘设备)中,由于设备的计算能力较低,需要降低图像的分辨率才能实现对高分辨率图像的处理,而这会影响图像处理后的效果,因此,需要一种能够在计算能力较低的设备中实现对高分辨率图像的处理的方法。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种能够在计算能力较低的设备中实现对高分辨率图像的处理的图像处理方法、装置及电子设备。
本申请第一方面实施例提出了一种图像处理方法,包括:获取图像处理请求,其中,所述图像处理请求中携带待处理图像、所述待处理图像中待处理的目标区域的位置信息以及处理方式;根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像;按照所述处理方式,采用深度模型对所述局部图像进行处理,以生成目标局部图像,其中,所述目标局部图像与所述局部图像的尺寸相同;将所述目标局部图像嵌入所述待处理图像,以生成目标图像。
本申请第二方面实施例提出了一种图像处理装置,包括:获取模块,用于获取图像处理请求,其中,所述图像处理请求中携带待处理图像、所述待处理图像中待处理的目标区域的位置信息以及处理方式;提取模块,用于根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像;处理模块,用于按照所述处理方式,采用深度模型对所述局部图像进行处理,以生成目标局部图像,其中,所述目标局部图像与所述局部图像的尺寸相同;生成模块,用于将所述目标局部图像嵌入所述待处理图像,以生成目标图像。
本申请第三方面实施例提出了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如本申请第一方面实施例提出的图像处理方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如本申请第一方面实施例提出的图像处理方法。
本申请第五方面实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本申请第一方面实施例提出的图像处理方法。
本申请提出的技术方案,具有如下有益效果:
通过获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式图像处理请求后,根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,再按照处理方式,采用深度模型对局部图像进行处理,以生成与局部图像尺寸相同的目标局部图像,进而将目标局部图像嵌入待处理图像,以生成目标图像,由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的图像处理方法的流程示意图;
图2为本申请实施例一所提供的图像处理方法的另一流程示意图;
图3为本申请实施例一所提供的采用深度模型对局部图像进行处理的流程示意图;
图4为本申请实施例二所提供的图像处理装置的结构示意图;
图5为本申请实施例三所提供的图像处理方法的流程示意图;
图6为本申请实施例三所提供的图像处理方法的另一流程示意图;
图7为本申请实施例四所提供的图像处理装置的结构示意图;
图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
可以理解的是,相关技术中,无论是对图像的整个图像区域进行比如颜(磨皮、滤镜,上妆)、卡通化、风格化等处理,还是对图像的局部区域进行处理,都需要将整张图像输入深度模型,对整张图像进行卷积操作和池化操作降维,提取整张图像的特征,生成特征矩阵,再通过反卷积操作,将提取的图像特征向上卷积,生成和原图像尺寸相同的目标图像。这种处理方式,随着图像的分辨率的升高,对图像进行处理消耗的计算资源越多。
相关技术中,在一些仅能部署轻量级深度模型的设备(例如边缘设备)中,由于设备的计算能力较低,通常需要降低图像的分辨率才能实现对高分辨率图像的处理,而这会忽略图像中的细节,影响图像处理后的效果,因此,需要一种能够在计算能力较低的设备中实现对高分辨率图像的处理的方法。
本申请提出一种能够在计算能力较低的设备中实现对高分辨率图像的处理的图像处理方法。该方法获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式图像处理请求后,先根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,再按照处理方式,采用深度模型对局部图像进行处理,以生成与局部图像尺寸相同的目标局部图像,进而将目标局部图像嵌入待处理图像,以生成目标图像,由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
下面参考附图描述本申请实施例的图像处理方法、装置、电子设备及存储介质。
图1为本申请实施例一所提供的图像处理方法的流程示意图。
需要说明的是,本申请实施例以该图像处理方法被配置于图像处理装置中来举例说明,该图像处理装置可以应用于任意电子设备比如边缘设备中,以使该电子设备可以实现对高分辨率图像的处理。
其中,电子设备可以为个人电脑(Personal Computer,简称PC)、云端设备、移动设备等,移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等硬件设备,也可以为任意能部署轻量级深度模型的计算能力较低的设备,比如边缘设备,其中,边缘设备例如可以为RK3399芯片等。
如图1所示,该图像处理方法可以包括以下步骤:
步骤101,获取图像处理请求,其中,图像处理请求中携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式。
其中,图像处理请求,可以是用户通过在图像处理装置所在的电子设备的人机交互界面中触控具有图像处理功能的按钮触发的,也可以是通过其它方式触发的,本申请对此不作限制。
其中,待处理图像,可以是图像处理装置从其所在的电子设备中的摄像装置获取的,也可以是其它电子设备发送至图像处理装置的,也可以是图像处理装置通过其它方式获取的,本申请对此不作限制。
待处理图像,可以是静态图像,也可以是动态图像,或者也可以是其它类型的图像,本申请对此不作限制。
另外,待处理图像,可以是高分辨率图像,也可以是低分辨率图像,本申请对待处理图像的分辨率高低不作限制,即本申请实施例提供的图像处理方法,可以应用于对任意分辨率的图像的处理。
目标区域的位置信息,用于指示目标区域在待处理图像中的位置,其中,目标区域的位置信息,可以包括任意与目标区域所在位置有关的信息,比如可以包括目标区域的多个点的坐标,或者目标区域的轮廓线的坐标等,本申请对此不作限制。
处理方式,为需要对待处理图像进行处理的目标处理方式,比如,美颜处理(例如磨皮、上妆、滤镜)、卡通化处理、风格化处理等。
举例来说,假设用户需要对某张人脸图像A的人脸区域进行磨皮处理,则图像处理请求中可以携带人脸图像A、人脸区域的各个像素点的坐标信息或者人脸区域的轮廓线的坐标信息,以及磨皮处理的处理方式;假设用户需要对某张图像B的人像区域进行卡通化处理,则图像处理请求中可以携带图像B、人像区域的各个像素点的坐标信息或者人像区域的轮廓线的坐标信息,以及卡通化处理的处理方式。
步骤102,根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像。
步骤103,按照处理方式,采用深度模型对局部图像进行处理,以生成目标局部图像,其中,目标局部图像与局部图像的尺寸相同。
步骤104,将目标局部图像嵌入待处理图像,以生成目标图像。
在示例性实施例中,参考图2所示的图像处理方法的流程示意图,获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式的图像处理请求后,图像处理装置即可根据图像处理请求中携带的目标区域的位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,进而按照图像处理请求中携带的处理方式,采用深度模型对局部图像进行处理,以生成与局部图像的尺寸相同的目标局部图像,最后将目标局部图像嵌入待处理图像,以生成目标图像。
其中,深度模型,可以为任意图像处理模型,本申请对深度模型的结构、类型等不作限制。比如,深度模型可以包括10个卷积层、2个池化层、2个反卷积层。
参考图3所示的采用深度模型对局部图像进行处理的流程示意图,其中,图3中方块表示每一步处理后的卷积结果,其长、宽、高对应卷积后图像的长、宽、通道。
如图3所示,深度模型可以通过卷积操作和池化操作降维,提取局部图像中的特征,越接近局部图像的卷积操作提取的特征越低级,这部分特征包括局部图像中一些纹理、边缘信息;而越远离局部图像的卷积操作提取的特征越高级,这部分特征包括局部图像中的一些语义特征。多层卷积可以提取局部图像中的多重特征,得到一个包含最小空间的特征矩阵。为了还原局部图像的分辨率,深度模型可以进行反卷积操作,将提取的图像特征向上卷积,生成和局部图像尺寸相同的目标局部图像。
其中,通过设计深度模型的网络架构和损失函数,可以控制生成的目标局部图像的特点,从而实现对局部图像的不同方式的处理,比如美颜、卡通化和风格化等。
由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
在示例性实施例中,假设局部图像的长、宽分别为256像素,通道为3,则深度模型的网络结构可以为下表1所示,其中,表1的第一列为深度模型的各个网络层,第二列为输入对应网络层的图像尺寸或图像特征尺寸。参考表1可知,深度模型的输入尺寸为256*256*3时,输出也为256*256*3。
表1深度模型的网络结构及各网络层的输入尺寸
输入 尺寸
卷积层1 256*256*3
卷积层2 256*256*64
池化层1 128*128*64
卷积层3 128*128*128
卷积层4 128*128*128
池化层2 64*64*128
卷积层5 64*64*256
反卷积层1 128*128*256
卷积层6 128*128*128
卷积层7 128*128*128
反卷积层2 256*256*128
卷积层8 256*256*64
卷积层9 256*256*64
卷积层10 256*256*3
在示例性实施例中,损失函数可以采用图像质量损失函数SSIM Loss(StructuralSimilarity Loss,结构相似性损失)。下面对SSIM Loss进行简单介绍。
对于两张图像x和y,SSIM值通过亮度l(x,y)、对比度c(x,y)、结构s(x,y)三部分来度量两张图像间的相似性,SSIM值为1表示两张图完全相似。
其中,SSIM Loss定义如下公式(1)所示:
Figure BDA0003058574910000071
其中,图像亮度l(x,y)可以采用以下公式(2)计算得到:
Figure BDA0003058574910000072
其中,C1=(K1L)2,K1<<1。
图像对比度c(x,y)可以采用以下公式(3)计算得到:
Figure BDA0003058574910000073
其中,C2=(K2L)2,K2<<1。
图像结构比较s(x,y)可以采用以下公式(4)计算得到:
Figure BDA0003058574910000074
其中,C3=C2/2。
其中,μx和μy分别表示图像x和图像y所有像素的均值,σx和σy分别表示图像x和图像y所有像素的方差,σxy表示图像x和图像y的协方差,L表示像素的动态范围。其中,L与图像的数据类型有关,比如在图像为8位灰度图时,L可以设置为255。
以图像x为例,假设图像x包括N个像素点,则该图像x的像素点的均值为以下公式(5)所示,图像x的像素点的方差为以下公式(6)所示,图像x和图像y的协方差为以下公式(7)所示。
Figure BDA0003058574910000081
Figure BDA0003058574910000082
Figure BDA0003058574910000083
其中,xi表示图像x中第i个像素点的像素值,yi表示图像y中第i个像素点的像素值。
需要说明的是,上述实施例中所示的深度模型的网络结构及损失函数,仅是举例说明,不能理解为对本申请技术方案的限制,在实际应用中,本领域技术人员可以任意设置深度模型的网络结构及损失函数,本申请对此不作限制。
本申请实施例的图像处理方法,获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式图像处理请求后,先根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,再按照处理方式,采用深度模型对局部图像进行处理,以生成与局部图像尺寸相同的目标局部图像,进而将目标局部图像嵌入待处理图像,以生成目标图像,由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
通过上述分析可知,本申请实施例中,可以根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,下面结合图4,对本申请实施例中的图像处理方法中,根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像的过程进行进一步说明。
图4为本申请实施例二所提供的图像处理方法的流程示意图。如图4所示,图像处理方法具体可以包括以下步骤:
步骤401,获取图像处理请求,其中,图像处理请求中携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式。
需要说明的是,步骤401的具体实现过程及原理,可以参考上述实施例的描述,此处不再赘述。
步骤402,根据第一坐标和第二坐标,确定矩形区域。
步骤403,从待处理图像中提取包含矩形区域的第一图像。
步骤404,将第一图像确定为包含目标区域的局部图像。
在示例性实施例中,目标区域可以为一个规则的矩形区域,位置信息可以至少包括第一坐标和第二坐标,其中,第一坐标和第二坐标,可以分别为矩形区域的左上顶点坐标和右下顶点坐标,或者也可以分别为矩形区域的左下顶点坐标和右上顶点坐标,本申请对此不作限制,只需能够唯一确定目标区域的位置即可。其中,矩形区域例如可以为包含某个物体的紧致矩形框围成的区域,比如为一个包含该物体的全部像素信息且包含背景像素最少的区域。
在示例性实施例中,图像处理请求中携带的目标区域的位置信息包括第一坐标和第二坐标时,可以根据第一坐标和第二坐标,确定一个矩形区域,并从待处理图像中提取该矩形区域所在位置的像素信息,得到包含目标区域的第一图像,从而可以将第一图像确定为包含目标区域的局部图像。
在示例性实施例中,目标区域可以为一个不规则的区域,比如人脸区域,位置信息可以包括目标区域的轮廓线的坐标信息。
在示例性实施例中,图像处理请求中携带的目标区域的位置信息包括目标区域的轮廓线的坐标信息时,可以根据目标区域的轮廓线的坐标信息,确定轮廓线围成的第一区域,并从待处理图像中提取该第一区域所在位置的图像信息,得到包含第一区域的第二图像,从而可以将第二图像确定为包含目标区域的局部图像。
相应的,步骤402-404可以替换为以下步骤:
根据目标区域的轮廓线的坐标信息,确定轮廓线围成的第一区域;
从待处理图像中提取包含第一区域的第二图像;
将第二图像确定为包含目标区域的局部图像。
步骤405,按照处理方式,采用深度模型对局部图像进行处理,以生成目标局部图像,其中,目标局部图像与局部图像的尺寸相同。
步骤406,将目标局部图像嵌入待处理图像,以生成目标图像。
本申请实施例的图像处理方法,获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式图像处理请求后,先根据第一坐标和第二坐标,确定矩形区域,从待处理图像中提取包含矩形区域的第一图像,将第一图像确定为包含目标区域的局部图像,再按照处理方式,采用深度模型对局部图像进行处理,以生成与局部图像的尺寸相同的目标局部图像,进而将目标局部图像嵌入待处理图像,以生成目标图像,由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
通过上述分析可知,本申请实施例中,可以将目标局部图像嵌入待处理图像,以生成目标图像,下面结合图5,对本申请实施例中的图像处理方法中,将目标局部图像嵌入待处理图像,以生成目标图像的过程进行进一步说明。
图5为本申请实施例三所提供的图像处理方法的流程示意图。如图5所示,上述步骤104或204具体可以包括以下步骤:
步骤501,获取目标局部图像的中心点,并将目标图像中位置与中心点的位置对应的点确定为嵌入中心。
步骤502,根据中心点与目标局部图像的边界线之间的距离,确定嵌入半径。
在示例性实施例中,可以根据目标局部图像的中心点与目标局部图像的边界线的位置关系,将目标局部图像的中心点与目标局部图像的边界线之间的最短距离值,确定为嵌入半径的值。
步骤503,针对目标图像中的每个第一像素点,根据目标局部图像中各第二像素点的像素值、待处理图像中各第三像素点的像素值、第一像素点与嵌入中心之间的距离以及嵌入半径,确定第一像素点的像素值。
步骤504,根据目标图像中的各第一像素点的像素值,生成目标图像。
在示例性实施例中,确定了目标图像中位置与中心点的位置对应的点为嵌入中心,并确定了嵌入半径后,针对目标图像中的每个第一像素点,即可根据目标局部图像中各第二像素点的像素值、待处理图像中各第三像素点的像素值、第一像素点与嵌入中心之间的距离以及嵌入半径,确定第一像素点的像素值,进而根据目标图像中的各第一像素点的像素值,生成目标图像。
在示例性实施例中,针对目标图像中的每个第一像素点,根据目标局部图像中各第二像素点的像素值、待处理图像中各第三像素点的像素值、第一像素点与嵌入中心之间的距离以及嵌入半径,确定第一像素点的像素值的过程可以为:
判断第一像素点与嵌入中心之间的距离,是否小于嵌入半径;
若是,则将目标局部图像中与第一像素点的位置对应的第二像素点的像素值,确定为第一像素点的像素值;
若否,则进一步判断第一像素点与嵌入中心之间的距离,是否大于预设距离阈值,其中,预设距离阈值大于嵌入半径;
在第一像素点与嵌入中心之间的距离大于预设距离阈值时,将待处理图像中与第一像素点的位置对应的第三像素点的像素值,确定为第一像素点的像素值;
在第一像素点与嵌入中心之间的距离不大于预设距离阈值时,根据目标局部图像中各第二像素点的像素值以及待处理图像中各第三像素点的像素值,确定第一像素点的像素值。
其中,预设距离阈值,可以根据需要任意设置,其可以设置为一个固定值,也可以根据不同任务或情况进行设置,比如可以设置为嵌入半径*1.1,本申请对此不作限制。
在示例性实施例中,根据目标局部图像中各第二像素点的像素值以及待处理图像中各第三像素点的像素值,确定第一像素点的像素值的过程具体可以为:确定目标图像中第一像素点的预设大小的邻域区域;针对邻域区域内的每个第四像素点,确定待处理图像中位置与第四像素点的位置对应的第三像素点的像素值,以及目标局部图像中位置与第四像素点的位置对应的第二像素点的像素值;获取待处理图像中位置与第四像素点的位置对应的第三像素点的像素值,与目标局部图像中位置与第四像素点的位置对应的第二像素点的像素值的差值;根据邻域区域内的各个第四像素点对应的差值,确定差值的均值;根据待处理图像中与第一像素点的位置对应的第三像素点的像素值与均值,确定第一像素点的像素值。
其中,预设大小,可以根据需要任意设置,本申请对此不作限制。
在示例性实施例中,可以将均值与权重常数相乘后,与待处理图像中与第一像素点的位置对应的第三像素点的像素值相加,得到第一像素点的像素值。
下面结合图6,对步骤503的具体过程进行说明。其中,假设待处理图像为图像S,目标局部图像为图像E,目标图像为图像D,嵌入中心为(Cx,Cy),嵌入半径为r,预设距离阈值为d。
具体的,确定待处理图像为S、目标局部图像为图像E,目标图像为图像D,嵌入中心为(Cx,Cy),嵌入半径为r,预设距离阈值为d(步骤601)后,可以确定目标图像D中的位置为(Px,Py)的任意第一像素点(步骤602),针对该第一像素点,可以判断(Px,Py)与嵌入中心(Cx,Cy)之间的距离,是否小于嵌入半径r(步骤603)。
在(Px,Py)与嵌入中心(Cx,Cy)之间的距离小于嵌入半径r,即(Px,Py)在嵌入半径r内时,可以确定D(x,y)=E(x,y),即将目标局部图像E中与第一像素点的位置(Px,Py)对应的第二像素点的像素值E(x,y),确定为目标图像D在(Px,Py)处的第一像素点的像素值D(x,y)(步骤604)。
在(Px,Py)与嵌入中心(Cx,Cy)之间的距离不小于嵌入半径r,即(Px,Py)不在嵌入半径r内时,可以进一步判断(Px,Py)与嵌入中心(Cx,Cy)之间的距离,是否大于预设距离阈值d(步骤605)。在(Px,Py)与嵌入中心(Cx,Cy)之间的距离,不大于预设距离阈值d时,可以根据目标局部图像E中各第二像素点的像素值以及待处理图像S中各第三像素点的像素值,确定目标图像D在(Px,Py)处的第一像素点的像素值(步骤606)。
在示例性实施例中,在(Px,Py)与嵌入中心(Cx,Cy)之间的距离,不大于预设距离阈值d时,可以按照以下公式(8),确定目标图像D在(Px,Py)处的第一像素点的像素值。
D(x,y)=S(x,y)+w·ΔRGBmean (8)
其中,D(x,y)表示目标图像D在(Px,Py)处的第一像素点的像素值;S(x,y)表示待处理图像S中与第一像素点的位置(Px,Py)对应的第三像素点的像素值;w表示权重常数,其可以根据需要任意设置;ΔRGBmean表示(Px,Py)处的第一像素点的邻域U内,待处理图像S与目标局部图像E的像素差的均值。
其中,ΔRGBmean可以通过以下方式计算得到:针对目标图像D中(Px,Py)处的第一像素点的邻域U内的每个第四像素点,确定待处理图像S中位置与第四像素点的位置对应的第三像素点的像素值,以及目标图像E中位置与第四像素点的位置对应的第二像素点的像素值,并获取待处理图像S中位置与第四像素点的位置对应的第三像素点的像素值与目标图像E中位置与第四像素点的位置对应的第二像素点的像素值的差值,进而根据邻域U内各个第四像素点对应的差值,确定差值的均值。
其中,邻域U的预设大小,可以根据需要设置,比如可以将邻域U设置为U(x,y)={(x±t,y±t),t=1},从而可以确定目标图像D中(Px,Py)处的第一像素点的邻域U内的第四像素点,为距离(Px,Py)处的第一像素点的距离为1的像素点。
在(Px,Py)与嵌入中心(Cx,Cy)之间是的距离,大于预设距离阈值d时,可以确定D(x,y)=S(x,y),即将待处理图像S中与第一像素点的位置(Px,Py)对应的第三像素点的像素值S(x,y),确定为目标图像D在(Px,Py)处的第一像素点的像素值D(x,y)(步骤607)。
在确定目标图像D在(Px,Py)处的第一像素点的像素值后,可以输出目标图像D在(Px,Py)处的第一像素点的像素值(步骤608),并判断(Px,Py)处的第一像素点是否为最后一个第一像素点(步骤609),若否,则继续确定目标图像中的位置为其它位置的第一像素点,并对该第一像素点执行与(Px,Py)处的第一像素点相同的操作,直至输出最后一个第一像素点的像素值,从而可以根据目标图像D中的各第一像素点的像素值生成并输出目标图像D(步骤610)。
可以理解的是,生成目标局部图像后,若将目标局部图像直接拼接到待处理图像中,会因为两个图像的像素差而在目标局部图像的边界处产生明显的缝隙,影响目标图像的视觉效果,而本申请实施例中,通过针对目标图像中的每个第一像素点,根据目标局部图像中各第二像素点的像素值、待处理图像中各第三像素点的像素值、第一像素点与嵌入中心之间的距离以及嵌入半径,确定第一像素点的像素值,实现了随着与嵌入中心的距离的增加,目标图像中的第一像素的像素值从目标局部图像逐渐过渡到待处理图像,从而使得目标局部图像嵌入待处理图像后,目标局部图像的边界处过渡自然,生成的目标图像的视觉效果好。
图7为本申请实施例四所提供的图像处理装置的结构示意图。
如图7所示,该图像处理装置700可以包括:获取模块710、提取模块720、处理模块730和生成模块740。
其中,获取模块710,用于获取图像处理请求,其中,图像处理请求中携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式;
提取模块720,用于根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像;
处理模块730,用于按照处理方式,采用深度模型对局部图像进行处理,以生成目标局部图像,其中,目标局部图像与局部图像的尺寸相同;
生成模块740,用于将目标局部图像嵌入待处理图像,以生成目标图像。
需要说明的是,本申请实施例提供的图像处理装置,可以执行前述实施例的图像处理方法,该图像处理装置可以应用于任意电子设备比如边缘设备中,以使该电子设备可以实现对高分辨率图像的处理。
其中,电子设备可以为个人电脑(Personal Computer,简称PC)、云端设备、移动设备等,移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等硬件设备,也可以为任意能部署轻量级深度模型的计算能力较低的设备,比如边缘设备,其中,边缘设备例如可以为RK3399芯片等。
在示例性实施例中,位置信息包括第一坐标和第二坐标;相应的,提取模块720,包括:
第一确定单元,用于根据第一坐标和第二坐标,确定矩形区域;
第一提取单元,用于从待处理图像中提取包含矩形区域的第一图像;
第二确定单元,用于将第一图像确定为包含目标区域的局部图像。
在示例性实施例中,位置信息包括目标区域的轮廓线的坐标信息;相应的,提取模块720,包括:
第三确定单元,用于根据目标区域的轮廓线的坐标信息,确定轮廓线围成的第一区域;
第二提取单元,用于从待处理图像中提取包含第一区域的第二图像;
第四确定单元,用于将第二图像确定为包含目标区域的局部图像。
在示例性实施例中,生成模块740,包括:
第五确定单元,用于获取目标局部图像的中心点,并将目标图像中位置与中心点的位置对应的点确定为嵌入中心;
第六确定单元,用于根据中心点与目标局部图像的边界线之间的距离,确定嵌入半径;
第七确定单元,用于针对目标图像中的每个第一像素点,根据目标局部图像中各第二像素点的像素值、待处理图像中各第三像素点的像素值、第一像素点与嵌入中心之间的距离以及嵌入半径,确定第一像素点的像素值;
生成单元,用于根据目标图像中的各第一像素点的像素值,生成目标图像。
在示例性实施例中,第七确定单元,具体用于:
判断第一像素点与嵌入中心之间的距离,是否小于嵌入半径;
在第一像素点与嵌入中心之间的距离不小于嵌入半径时,进一步判断第一像素点与嵌入中心之间的距离,是否大于预设距离阈值,其中,预设距离阈值大于嵌入半径;
在第一像素点与嵌入中心之间的距离大于预设距离阈值时,将待处理图像中与第一像素点的位置对应的第三像素点的像素值,确定为第一像素点的像素值;
在第一像素点与嵌入中心之间的距离不大于预设距离阈值时,根据目标局部图像中各第二像素点的像素值以及待处理图像中各第三像素点的像素值,确定第一像素点的像素值。
在示例性实施例中,第七确定单元,还用于:
确定目标图像中第一像素点的预设大小的邻域区域;
针对邻域区域内的每个第四像素点,确定待处理图像中位置与第四像素点的位置对应的第三像素点的像素值,以及目标局部图像中位置与第四像素点的位置对应的第二像素点的像素值;
获取待处理图像中位置与第四像素点的位置对应的第三像素点的像素值与目标局部图像中位置与第四像素点的位置对应的第二像素点的像素值的差值;
根据邻域区域内的各个第四像素点对应的差值,确定差值的均值;
根据待处理图像中与第一像素点的位置对应的第三像素点的像素值与均值,确定第一像素点的像素值。
在示例性实施例中,第七确定单元,还用于:
在第一像素点与嵌入中心之间的距离小于嵌入半径时,将目标局部图像中与第一像素点的位置对应的第二像素点的像素值,确定为第一像素点的像素值。
需要说明的是,前述图像处理方法实施例中的解释说明也适用于该实施例的图像处理装置,此处不再赘述。
本申请实施例的图像处理装置,获取到携带待处理图像、待处理图像中待处理的目标区域的位置信息以及处理方式图像处理请求后,先根据位置信息,对待处理图像进行图像提取,以得到包含目标区域的局部图像,再按照处理方式,采用深度模型对局部图像进行处理,以生成与局部图像尺寸相同的目标局部图像,进而将目标局部图像嵌入待处理图像,以生成目标图像,由于深度模型只需对局部图像进行处理,从而减少了深度模型的处理量,减少了图像处理所需消耗的计算资源,使得在边缘设备中也能实现对高分辨率图像的处理。
为了实现上述实施例,本申请还提出一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如本申请前述实施例提出的图像处理方法。
为了实现上述实施例,本申请还提出一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如本申请前述实施例提出的图像处理方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本申请前述实施例提出的图像处理方法。
图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图8中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种图像处理方法,其特征在于,包括:
获取图像处理请求,其中,所述图像处理请求中携带待处理图像、所述待处理图像中待处理的目标区域的位置信息以及处理方式;
根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像;
按照所述处理方式,采用深度模型对所述局部图像进行处理,以生成目标局部图像,其中,所述目标局部图像与所述局部图像的尺寸相同;
将所述目标局部图像嵌入所述待处理图像,以生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述位置信息包括第一坐标和第二坐标;
其中,所述根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像,包括:
根据所述第一坐标和所述第二坐标,确定矩形区域;
从所述待处理图像中提取包含所述矩形区域的第一图像;
将所述第一图像确定为所述包含所述目标区域的局部图像。
3.根据权利要求1所述的方法,其特征在于,所述位置信息包括所述目标区域的轮廓线的坐标信息;
其中,所述根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像,包括:
根据所述目标区域的轮廓线的坐标信息,确定所述轮廓线围成的第一区域;
从所述待处理图像中提取包含所述第一区域的第二图像;
将所述第二图像确定为所述包含所述目标区域的局部图像。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标局部图像嵌入所述待处理图像,以生成目标图像,包括:
获取所述目标局部图像的中心点,并将所述目标图像中位置与所述中心点的位置对应的点确定为嵌入中心;
根据所述中心点与所述目标局部图像的边界线之间的距离,确定嵌入半径;
针对所述目标图像中的每个第一像素点,根据所述目标局部图像中各第二像素点的像素值、所述待处理图像中各第三像素点的像素值、所述第一像素点与所述嵌入中心之间的距离以及所述嵌入半径,确定所述第一像素点的像素值;
根据所述目标图像中的各所述第一像素点的像素值,生成所述目标图像。
5.根据权利要求4所述的方法,其特征在于,所述针对所述目标图像中的每个第一像素点,根据所述目标局部图像中各第二像素点的像素值、所述待处理图像中各第三像素点的像素值、所述第一像素点与所述嵌入中心之间的距离以及所述嵌入半径,确定所述第一像素点的像素值,包括:
判断所述第一像素点与所述嵌入中心之间的距离,是否小于所述嵌入半径;
若否,则进一步判断所述第一像素点与所述嵌入中心之间的距离,是否大于预设距离阈值,其中,所述预设距离阈值大于所述嵌入半径;
在所述第一像素点与所述嵌入中心之间的距离大于所述预设距离阈值时,将所述待处理图像中与所述第一像素点的位置对应的第三像素点的像素值,确定为所述第一像素点的像素值;
在所述第一像素点与所述嵌入中心之间的距离不大于所述预设距离阈值时,根据所述目标局部图像中各第二像素点的像素值以及所述待处理图像中各第三像素点的像素值,确定所述第一像素点的像素值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标局部图像中各第二像素点的像素值以及所述待处理图像中各第三像素点的像素值,确定所述第一像素点的像素值,包括:
确定所述目标图像中所述第一像素点的预设大小的邻域区域;
针对所述邻域区域内的每个第四像素点,确定所述待处理图像中位置与所述第四像素点的位置对应的第三像素点的像素值,以及所述目标局部图像中位置与所述第四像素点的位置对应的第二像素点的像素值;
获取所述待处理图像中位置与所述第四像素点的位置对应的第三像素点的像素值与所述目标局部图像中位置与所述第四像素点的位置对应的第二像素点的像素值的差值;
根据所述邻域区域内的各个所述第四像素点对应的所述差值,确定所述差值的均值;
根据所述待处理图像中与所述第一像素点的位置对应的第三像素点的像素值与所述均值,确定所述第一像素点的像素值。
7.根据权利要求5所述的方法,其特征在于,所述判断所述第一像素点与所述嵌入中心之间的距离,是否小于所述嵌入半径之后,还包括:
若是,则将所述目标局部图像中与所述第一像素点的位置对应的第二像素点的像素值,确定为所述第一像素点的像素值。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于获取图像处理请求,其中,所述图像处理请求中携带待处理图像、所述待处理图像中待处理的目标区域的位置信息以及处理方式;
提取模块,用于根据所述位置信息,对所述待处理图像进行图像提取,以得到包含所述目标区域的局部图像;
处理模块,用于按照所述处理方式,采用深度模型对所述局部图像进行处理,以生成目标局部图像,其中,所述目标局部图像与所述局部图像的尺寸相同;
生成模块,用于将所述目标局部图像嵌入所述待处理图像,以生成目标图像。
9.根据权利要求8所述的装置,其特征在于,所述位置信息包括第一坐标和第二坐标;
其中,所述提取模块,包括:
第一确定单元,用于根据所述第一坐标和所述第二坐标,确定矩形区域;
第一提取单元,用于从所述待处理图像中提取包含所述矩形区域的第一图像;
第二确定单元,用于将所述第一图像确定为所述包含所述目标区域的局部图像。
10.根据权利要求8所述的装置,其特征在于,所述位置信息包括所述目标区域的轮廓线的坐标信息;
其中,所述提取模块,包括:
第三确定单元,用于根据所述目标区域的轮廓线的坐标信息,确定所述轮廓线围成的第一区域;
第二提取单元,用于从所述待处理图像中提取包含所述第一区域的第二图像;
第四确定单元,用于将所述第二图像确定为所述包含所述目标区域的局部图像。
11.根据权利要求8所述的装置,其特征在于,所述生成模块,包括:
第五确定单元,用于获取所述目标局部图像的中心点,并将所述目标图像中位置与所述中心点的位置对应的点确定为嵌入中心;
第六确定单元,用于根据所述中心点与所述目标局部图像的边界线之间的距离,确定嵌入半径;
第七确定单元,用于针对所述目标图像中的每个第一像素点,根据所述目标局部图像中各第二像素点的像素值、所述待处理图像中各第三像素点的像素值、所述第一像素点与所述嵌入中心之间的距离以及所述嵌入半径,确定所述第一像素点的像素值;
生成单元,用于根据所述目标图像中的各所述第一像素点的像素值,生成所述目标图像。
12.根据权利要求11所述的装置,其特征在于,所述第七确定单元,具体用于:
判断所述第一像素点与所述嵌入中心之间的距离,是否小于所述嵌入半径;
在所述第一像素点与所述嵌入中心之间的距离不小于所述嵌入半径时,进一步判断所述第一像素点与所述嵌入中心之间的距离,是否大于预设距离阈值,其中,所述预设距离阈值大于所述嵌入半径;
在所述第一像素点与所述嵌入中心之间的距离大于所述预设距离阈值时,将所述待处理图像中与所述第一像素点的位置对应的第三像素点的像素值,确定为所述第一像素点的像素值;
在所述第一像素点与所述嵌入中心之间的距离不大于所述预设距离阈值时,根据所述目标局部图像中各第二像素点的像素值以及所述待处理图像中各第三像素点的像素值,确定所述第一像素点的像素值。
13.根据权利要求12所述的装置,其特征在于,所述第七确定单元,还用于:
确定所述目标图像中所述第一像素点的预设大小的邻域区域;
针对所述邻域区域内的每个第四像素点,确定所述待处理图像中位置与所述第四像素点的位置对应的第三像素点的像素值,以及所述目标局部图像中位置与所述第四像素点的位置对应的第二像素点的像素值;
获取所述待处理图像中位置与所述第四像素点的位置对应的第三像素点的像素值与所述目标局部图像中位置与所述第四像素点的位置对应的第二像素点的像素值的差值;
根据所述邻域区域内的各个所述第四像素点对应的所述差值,确定所述差值的均值;
根据所述待处理图像中与所述第一像素点的位置对应的第三像素点的像素值与所述均值,确定所述第一像素点的像素值。
14.根据权利要求12所述的装置,其特征在于,所述第七确定单元,还用于:
在所述第一像素点与所述嵌入中心之间的距离小于所述嵌入半径时,将所述目标局部图像中与所述第一像素点的位置对应的第二像素点的像素值,确定为所述第一像素点的像素值。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202110506293.0A 2021-05-10 2021-05-10 图像处理方法、装置及电子设备 Pending CN115393453A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110506293.0A CN115393453A (zh) 2021-05-10 2021-05-10 图像处理方法、装置及电子设备
PCT/CN2022/091294 WO2022237657A1 (zh) 2021-05-10 2022-05-06 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506293.0A CN115393453A (zh) 2021-05-10 2021-05-10 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115393453A true CN115393453A (zh) 2022-11-25

Family

ID=84027973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506293.0A Pending CN115393453A (zh) 2021-05-10 2021-05-10 图像处理方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN115393453A (zh)
WO (1) WO2022237657A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254679B2 (en) * 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN110619369B (zh) * 2019-09-23 2020-12-11 常熟理工学院 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111583154B (zh) * 2020-05-12 2023-09-26 Oppo广东移动通信有限公司 图像处理方法、肤质美化模型训练方法及相关装置

Also Published As

Publication number Publication date
WO2022237657A1 (zh) 2022-11-17

Similar Documents

Publication Publication Date Title
JP7061225B2 (ja) 病巣検出方法、装置、機器および記憶媒体
JP4696635B2 (ja) 画像領域の高凝縮要約画像を生成する方法、装置およびプログラム
US8902229B2 (en) Method and system for rendering three dimensional views of a scene
CN111062981B (zh) 图像处理方法、装置及存储介质
CN108596944B (zh) 一种提取运动目标的方法、装置及终端设备
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
EP2945374B1 (en) Positioning of projected augmented reality content
CN108765315B (zh) 图像补全方法、装置、计算机设备及存储介质
US8498500B2 (en) Image processing apparatus and image processing method
CN108932702B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20220139017A1 (en) Layer composition method, electronic device, and storage medium
EP3779864A1 (en) Data processing method and computing device
CN110415237B (zh) 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
CN113781406B (zh) 电子元器件的划痕检测方法、装置及计算机设备
CN110503704B (zh) 三分图的构造方法、装置和电子设备
US20190156552A1 (en) Method for reconstructing three-dimensional information of object and apparatus for the same
CN114298985B (zh) 缺陷检测方法、装置、设备及存储介质
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
TW201335855A (zh) 於一影像中之物件選擇技術
CN113538623A (zh) 确定目标图像的方法、装置、电子设备及存储介质
US7853069B2 (en) Stereoscopic image regenerating apparatus, stereoscopic image regenerating method, and stereoscopic image regenerating program
CN115393453A (zh) 图像处理方法、装置及电子设备
KR101688435B1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
CN113703653A (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN113837987B (zh) 舌部图像采集方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination