CN111583147B - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111583147B CN111583147B CN202010371862.0A CN202010371862A CN111583147B CN 111583147 B CN111583147 B CN 111583147B CN 202010371862 A CN202010371862 A CN 202010371862A CN 111583147 B CN111583147 B CN 111583147B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- initialized
- filling
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法、装置、设备及计算机可读存储介质，方法包括：获取中终端设备发送的图像初始化指令，图像初始化指令中包括待初始化图像以及用户输入的掩膜区域；根据初始化指令确定掩膜区域对应的k个目标偏移量，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；根据k个目标偏移量对待初始化图像进行图像填充操作，获得目标图像；将目标图像发送至终端设备，以使用户对目标图像进行编辑处理。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的k个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
在图像处理的过程中，为了提高图像处理的效率以及效果，首先需要对图像进行初始化操作。以实际应用举例来说，在用户进行修图的过程中，当其对图像的某个位置进行调整时，为了得到最优调整效果，首先需要对该图像进行初始化操作。
现有技术中，一般都是获取用户输入的待初始化图像，其中，待初始化图像中包括用户涂抹生成的掩码(mask)。针对待初始化图像中的每个像素，为该像素随机初始化一个偏移量，实现对待初始化图像的初始化操作。
但是，采用上述方法进行图像初始化时，由于偏移量为随机确定的，相应的初始化效果往往不符合预期，无法满足用户需求。
发明内容
本发明提供一种图像处理方法、装置、设备及计算机可读存储介质，用于解决现有的初始化方法初始化效果不符合预期的技术问题。
本发明的第一个方面是提供一种图像处理方法，包括：
获取中终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域；
根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；
根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像；
将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
本实施例提供的图像处理方法，通过获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。其中偏移量表征像素发生偏移之后位置与其最相似。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的K个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
在一种可能的设计中，所述根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，包括：
对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
在一种可能的设计中，所述根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作，包括：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
在一种可能的设计中，所述根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，包括：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
在一种可能的设计中，所述方法还包括：
针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
在一种可能的设计中，所述计算所述像素周围预设的第二范围内，是否存在目标像素，包括：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
在一种可能的设计中，所述掩码区域是所述用户在所述终端设备的显示界面上进行涂抹后生成的。
在一种可能的设计中，所述图像初始化指令是所述用户通过触发所述终端设备的显示界面上预设的初始化图标后生成的。
本发明的第二个方面是提供一种图像处理装置，包括：
获取模块，用于获取中终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域；
确定模块，用于根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；
填充模块，用于根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像；
发送模块，用于将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
本实施例提供的图像处理装置，通过获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。其中偏移量表征像素发生偏移之后位置与其最相似。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的K个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
在一种可能的设计中，所述填充模块，用于：
下采样单元，用于对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
选择单元，用于根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
在一种可能的设计中，所述选择单元用于：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
在一种可能的设计中，所述确定模块用于：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
在一种可能的设计中，所述装置还包括：
计算模块，用于针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
第一处理模块，用于若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
第二处理模块，用于若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
在一种可能的设计中，所述计算模块用于：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
在一种可能的设计中，所述掩码区域是所述用户在所述终端设备的显示界面上进行涂抹后生成的。
在一种可能的设计中，所述图像初始化指令是所述用户通过触发所述终端设备的显示界面上预设的初始化图标后生成的。
本发明的第三个方面是提供一种图像处理设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如第一方面所述的图像处理方法。
本发明的第四个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的图像处理方法。
本发明提供的图像处理方法、装置、设备及计算机可读存储介质，通过获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。其中偏移量表征像素发生偏移之后位置与其最相似。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的K个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明基于的网络架构示意图；
图2为本发明实施例一提供的图像处理方法的流程示意图；
图3为本发明实施例提供的显示界面示意图；
图4为本发明实施例提供的又一显示界面示意图；
图5为本发明实施例提供的第一范围示意图；
图6为本发明实施例二提供的图像处理方法的流程示意图；
图7为本发明实施例三提供的图像处理方法的流程示意图；
图8为本发明实施例提供的第二范围示意图；
图9为本发明实施例四提供的图像处理装置的结构示意图；
图10为本发明实施例五提供的图像处理装置的结构示意图；
图11为本发明实施例六提供的图像处理装置的结构示意图；
图12为本发明实施例七提供的图像处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
针对上述提及的现有的初始化方法初始化效果不符合预期的技术问题，本发明提供了一种图像处理方法、装置、设备及计算机可读存储介质。
需要说明的是，本申请提供图像处理方法、装置、设备及计算机可读存储介质可运用在对任意一种图像处理的场景中。
现有的图像初始化方法，在获取到用户输入的待初始化区域之后，一般都是采用随机的偏移量对该待初始化区域进行填充操作，获得初始化后的图像。但是，采用随机的偏移量初始化后的图像往往效果较差，后续用户根据初始化后的图像进行编辑操作效果无法满足用户预期。
面对现有技术中的问题，发明人通过研究发现，图像初始化的效果与用于初始化的偏移量有关，偏移量的概率较大时，得到的初始化结果结果较好。
发明人进一步研究发现，为了提高初始化后图像的效果，可以采用概率较高的偏移量对图像进行初始化操作。具体地，在获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。采用该概率最大的k个目标偏移量进行初始化操作，初始化效果较好。
图1为本发明基于的网络架构示意图，如图1所示，本发明基于的网络架构至少包括：终端设备1以及安装在终端设备1上的图像处理装置2。其中，图像处理装置2采用C/C++、Java、Shell或Python等语言编写；终端设备1则可例如台式电脑、平板电脑等。其中，终端设备1以及图像处理装置2通信连接，从而图像处理装置2能够与终端设备1进行信息交互。
图2为本发明实施例一提供的图像处理方法的流程示意图，如图2所示，所述方法包括：
步骤101、获取中终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域。
本实施例的执行主体为图像处理装置，该图像处理装置与终端设备通信连接，从而能够与终端设备进行信息交互。可选地，该图像处理装置可以安装在终端设备中，也可以为独立于终端设备的装置，本发明对此不做限制。
在本实施方式中，用户可以通过终端设备对图像进行编辑操作。具体地，当需要对图像进行编辑操作之前，需要对图像进行初始化操作。为了实现对图像的初始化操作，用户可以通过触发终端设备的显示界面上预设的初始化图标后生成的。图3为本发明实施例提供的显示界面示意图，如图3所示，显示界面上设置有初始化图标，用户可以对该初始化图标进行触发操作，其中，该触发操作可以为单击、双击、长按中的任意一种，本发明对此不做限制。进一步地，用户在触发该初始化图标之后，可以选择当前需要进行编辑处理的图像，并根据需求对感兴趣区域进行涂抹，生成掩膜区域。图4为本发明实施例提供的又一显示界面示意图，如图4所示，用户可以通过对图像中的感兴趣区域进行涂抹，实现掩膜区域的确定。
终端设备获取到初始化指令之后，可以将该初始化指令发送至图像处理装置。相应地，初始化装置可以接收该初始化指令，其中，该初始化指令中包括待初始化图像，该待初始化图像中包括用户涂抹后生成的掩膜区域。
步骤102、根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。
在本实施方式中，由于图像初始化的效果与用于初始化的偏移量有关，偏移量的概率较大时，得到的初始化结果结果较好。因此，在获取到终端设备发送的初始化指令之后，可以根据该初始化指令确定掩膜区域对应的k个目标偏移量。具体地，该目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。需要说明的是，目标偏移量的数量可以根据用户的需求进行设置，也可以为系统根据经验设置的数值，本发明对此不做限制。
具体地，在上述任一实施例的基础上，步骤102具体包括：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
在本实施例中，获取到初始化指令之后，可以首先确定掩膜区域周围的第一范围。图5为本发明实施例提供的第一范围示意图，如图5所示，该第一范围可以为掩膜区域周围预设的范围，该范围的大小可以根据实际需求进行设置，也可以为系统根据经验设置的数值，本发明对此不做限制。
进一步地，确定第一范围之后，确定该第一范围内各像素对应的偏移量数值，计算各偏移量数值出现的概率。将各偏移量数值的概率案号由大到小的顺序排列，选择前k个偏移量作为该k个目标偏移量。
步骤103、根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像。
在本实施方式中，确定了k个目标偏移量之后，即可以采用该k个目标偏移量对待初始化图像进行填充操作，实现对待初始化图像的初始化操作，获得初始化后的目标图像。区别于现有技术中采用随机的偏移量进行初始化操作的方案，采用概率最大的k个目标偏移量对待初始化图像进行初始化操作，能够有效地提高初始化操作的效果。
步骤104、将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
在本实施例中，获得初始化后的目标图像之后，可以将该目标图像反馈至终端设备。从而用户可以在终端设备上对该目标图像进行编辑处理。以实际应用举例来说，该待初始化图像中可以包括用户的人脸图像，在获取到初始化后的目标图像之后，用户可以对目标图像中的人脸进行编辑，例如消除骨骼，放大双眼，瘦脸等操作。
本实施例提供的图像处理方法，通过获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。其中偏移量表征像素发生偏移之后位置与其最相似。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的K个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
图6为本发明实施例二提供的图像处理方法的流程示意图，在上述任一实施例的基础上，步骤103具体包括：
步骤201、对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
步骤202、根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
在本实施例中，为了进一步地提高图像初始化的效果，可以将待初始化图像分为多个不同分辨率的图像，针对每一分辨率均进行填充操作。具体地，可以对待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像。其中，下采样操作的次数可以根据实际需求进行设置，也可以为系统根据经验设置的次数，本发明对此不做限制。根据该k个目标偏移量对该至少一个分辨率的子图像进行图像填充操作，获得初始化后的目标图像。
具体地，在上述任一实施例的基础上，步骤202具体包括：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
在本实施例中，在对每个分辨率的子图像进行初始化操作的过程中，首先可以获取分辨率最低的子图像，采用k个目标偏移量对分辨率最低的子图像进行图像填充操作，获得第一填充结果。
为了提高初始化的效率以及精准度，可以直接采用上一子图像的填充结果对下一子图像进行填充操作。具体地，获取到第一填充结果之后，可以对该第一填充结果进行上采样操作，获得目标填充结果。按照分辨率由低到高的顺序，采用该目标填充结果对下一子图像进行填充操作，获得第二填充结果。检测下一子图像对应的分辨率是否与获取到的待初始化图像相同，若相同，则表征已经对全部的子图像完成初始化操作，此时，获得初始化后的目标图像。反之，则表征还存在未进行初始化的子图像，此时可以将第二填充结果作为当前的第一填充结果，返回执行对第一填充结果进行上采样操作，获得目标填充结果的步骤，直至下一子图像对应的分辨率与待初始化图像相同，获得目标图像。
本实施例提供的图像处理方法，通过将待初始化图像分为多个不同分辨率的子图像，对多个子图像进行迭代初始化操作，从而能够有效地提高初始化的效率以及精准度。此外，通过采用上一层的填充结果对下一层图像进行填充操作，能够进一步地提高初始化操作的效率，提高初始化操作的速度。
图7为本发明实施例三提供的图像处理方法的流程示意图，在上述任一实施例的基础上，如图7所示，所述方法还包括：
步骤301、针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
步骤302、若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
步骤303、若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
在本实施例中，为了进一步地提高初始化操作的效果，需要对目标偏移量进行更新操作。具体地，针对掩膜区域中的每一像素，可以计算该像素周围预设的第二范围内，是否存在目标像素，其中，该目标像素对应的偏移量的相似度高于当前像素对应的偏移量。具体地，可以对第二范围内的每一像素均重复上述计算，以确定目标像素。若存在，则可以根据该目标像素对应的偏移量对当前的偏移量进行更新，反之，则可以继续采用当前的偏移量进行填充操作。图8为本发明实施例提供的第二范围示意图，如图8所示，第二范围可以为像素周围的八个像素值组成的。
需要说明的是，可以按照预设的时间周期对偏移量进行更新操作，也可以根据用户触发的更新指令进行更新操作，本发明对此不做限制。
具体地，在上述任一实施例的基础上，步骤301具体包括：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
在本实施例中，为了提高偏移量更新效率，可以采用预设的NF算法随机选取像素周围预设的第二区域内的候选像素，确定候选像素是否为目标像素。区别于对第二区域内的每个像素均进行计算的方案，仅对第二区域内随机的候选像素进行计算，能够提高目标像素的确定效率，进而能够提高偏移量的更新效率。
本实施例提供的图像处理方法，通过对偏移量进行更新操作，使更新后的目标像素对应的偏移量的相似度高于当前像素对应的偏移量，从而能够提高初始化操作的效果。
图9为本发明实施例四提供的图像处理装置的结构示意图，如图9所示，所述装置包括：获取模块41、确定模块42、填充模块43以及发送模块44，其中，获取模块41，用于获取中终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域；确定模块42，用于根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；填充模块43，用于根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像；发送模块44，用于将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
进一步地，在上述任一实施例的基础上，所述掩码区域是所述用户在所述终端设备的显示界面上进行涂抹后生成的。
进一步地，在上述任一实施例的基础上，所述图像初始化指令是所述用户通过触发所述终端设备的显示界面上预设的初始化图标后生成的。
进一步地，在上述任一实施例的基础上，所述确定模块用于：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
本实施例提供的图像处理装置，通过获取到终端设备发送的图像初始化指令之后，确定待初始化图像中掩膜区域对应的k个目标偏移量，其中，目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量。采用概率最大的k个偏移量对该待初始化图像进行初始化操作，获得初始化后的目标图像。其中偏移量表征像素发生偏移之后位置与其最相似。由于用于初始化的偏移量的概率较大，从而其与像素之间的相似度最高，采用该概率最大的K个目标偏移量进行初始化操作，初始化效果较好。进而基于该初始化后的目标图像进行图像编辑操作的效果也更好，能够提高用户体验。
图10为本发明实施例五提供的图像处理装置的结构示意图，在实施例四的基础上，所述填充模块，用于：
下采样单元51，用于对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
选择单元52，用于根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
进一步地，在上述任一实施例的基础上，所述选择单元用于：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
图11为本发明实施例六提供的图像处理装置的结构示意图，在上述任一实施例的基础上，所述装置还包括：
计算模块61，用于针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
第一处理模块62，用于若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
第二处理模块63，用于若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
进一步地，在上述任一实施例的基础上，所述计算模块用于：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
图12为本发明实施例七提供的图像处理设备的结构示意图，如图12所示，所述图像处理设备，包括：存储器71，处理器72；
存储器71；用于存储所述处理器72可执行指令的存储器71；
其中，所述处理器72被配置为由所述处理器72执行如上述任一实施例所述的图像处理方法。
存储器71，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器71可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器72可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器71和处理器72独立实现，则存储器71和处理器72可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器71和处理器72集成在一块芯片上实现，则存储器71和处理器72可以通过内部接口完成相同间的通信。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的图像处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
获取终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域；
根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；
根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像，其中，所述目标偏移量对应位置的像素，与对所述待初始化图像进行图像填充操作所需的像素最相似；
将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，包括：
对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
3.根据权利要求2所述的方法，其特征在于，所述根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作，包括：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，包括：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
6.根据权利要求5所述的方法，其特征在于，所述计算所述像素周围预设的第二范围内，是否存在目标像素，包括：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述掩膜区域是所述用户在所述终端设备的显示界面上进行涂抹后生成的。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述图像初始化指令是所述用户通过触发所述终端设备的显示界面上预设的初始化图标后生成的。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取终端设备发送的图像初始化指令，所述图像初始化指令中包括待初始化图像，所述待初始化图像中包括用户输入的掩膜区域；
确定模块，用于根据所述初始化指令确定所述掩膜区域对应的k个目标偏移量，所述目标偏移量为掩膜区域周围预设的第一范围内出现概率最大的偏移量；
填充模块，用于根据所述k个目标偏移量对所述待初始化图像进行图像填充操作，获得初始化后的目标图像，其中，所述目标偏移量对应位置的像素，与对所述待初始化图像进行图像填充操作所需的像素最相似；
发送模块，用于将所述目标图像发送至所述终端设备，以使所述用户对所述目标图像进行编辑处理。
10.根据权利要求9所述的装置，其特征在于，所述填充模块，用于：
下采样单元，用于对所述待初始化图像进行至少一次下采样操作，获得至少一个分辨率的子图像；
选择单元，用于根据所述k个目标偏移量对所述至少一个分辨率的子图像进行图像填充操作。
11.根据权利要求10所述的装置，其特征在于，所述选择单元用于：
获取分辨率最低的子图像，根据所述k个目标偏移量对所述分辨率最低的子图像进行图像填充操作，获得第一填充结果；
对所述第一填充结果进行上采样操作，获得目标填充结果；
按照分辨率由低到高的顺序，采用所述目标填充结果对下一子图像进行填充操作，获得第二填充结果；
判断所述下一子图像对应的分辨率是否与所述待初始化图像相同；
若否，则将所述下一子图像对应的第二填充结果作为当前的第一填充结果，返回执行所述对所述第一填充结果进行上采样操作，获得目标填充结果的步骤，直至所述下一子图像对应的分辨率与所述待初始化图像相同，获得所述目标图像；若是，则获得所述目标图像。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述确定模块用于：
根据所述初始化指令，确定所述第一范围内各像素对应的偏移量数值；
计算各偏移量数值的出现概率；
按照概率由大到小的顺序，获取前k个偏移量作为所述k个目标偏移量。
13.根据权利要求9-11任一项所述的装置，其特征在于，所述装置还包括：
计算模块，用于针对所述掩膜区域中的每一像素，计算所述像素周围预设的第二范围内，是否存在目标像素，所述目标像素对应的偏移量的相似度高于当前像素对应的偏移量；
第一处理模块，用于若是，则根据所述目标像素对应的偏移量对当前的偏移量进行更新操作；
第二处理模块，用于若否，则采用当前的偏移量对所述待初始化图像进行填充操作。
14.根据权利要求13所述的装置，其特征在于，所述计算模块用于：
采用预设的NF算法随机选取所述像素周围预设的第二区域内的候选像素，确定所述候选像素是否为所述目标像素。
15.根据权利要求9-11任一项所述的装置，其特征在于，所述掩膜区域是所述用户在所述终端设备的显示界面上进行涂抹后生成的。
16.根据权利要求9-11任一项所述的装置，其特征在于，所述图像初始化指令是所述用户通过触发所述终端设备的显示界面上预设的初始化图标后生成的。
17.一种图像处理设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1-8任一项所述的图像处理方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010371862.0A CN111583147B (zh) | 2020-05-06 | 2020-05-06 | 图像处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010371862.0A CN111583147B (zh) | 2020-05-06 | 2020-05-06 | 图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583147A CN111583147A (zh) | 2020-08-25 |
| CN111583147B true CN111583147B (zh) | 2023-06-06 |
Family
ID=72122694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010371862.0A Active CN111583147B (zh) | 2020-05-06 | 2020-05-06 | 图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583147B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008132745A (ja) * | 2006-02-24 | 2008-06-12 | Ibiden Co Ltd | ハニカム成形体用封口装置、ハニカム焼成体用封口装置、封止材ペーストの充填方法、及び、ハニカム構造体の製造方法 |
| US7912296B1 (en) * | 2006-05-02 | 2011-03-22 | Google Inc. | Coverage mask generation for large images |
| WO2014019205A1 (zh) * | 2012-08-02 | 2014-02-06 | 华为技术有限公司 | 处理数据报文的方法、装置及系统 |
| US8670630B1 (en) * | 2010-12-09 | 2014-03-11 | Google Inc. | Fast randomized multi-scale energy minimization for image processing |
| GB201417657D0 (en) * | 2013-10-09 | 2014-11-19 | Adobe Systems Inc | Target region fill utilizing transformations |
| GB201512511D0 (en) * | 2014-11-21 | 2015-08-19 | Adobe Systems Inc | Cloud based content aware fill for images |
| CN104885120A (zh) * | 2012-12-31 | 2015-09-02 | 基文影像公司 | 用于显示图像流的系统和方法 |
| EP3089004A1 (en) * | 2015-04-28 | 2016-11-02 | Samsung Display Co., Ltd. | A vector fill segment method and apparatus to reduce display latency of touch events |
| CN109871841A (zh) * | 2019-02-14 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| US10430926B1 (en) * | 2017-05-09 | 2019-10-01 | Promontech Llc | Systems, media, and methods for improving responsiveness of spotlight tours in a dynamic viewport environment |
| WO2020034984A1 (zh) * | 2018-08-14 | 2020-02-20 | 广州虎牙信息科技有限公司 | 视频图像处理 |
| WO2020038407A1 (zh) * | 2018-08-21 | 2020-02-27 | 腾讯科技（深圳）有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
| GB202003400D0 (en) * | 2019-05-23 | 2020-04-22 | Adobe Inc | Automatic synthesis of a content-aware sampling region for a content-aware fill |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014198029A1 (en) * | 2013-06-13 | 2014-12-18 | Microsoft Corporation | Image completion based on patch offset statistics |
| US9830326B2 (en) * | 2015-06-15 | 2017-11-28 | Ca, Inc. | Identifying data offsets using binary masks |
| CN107577401A (zh) * | 2017-08-31 | 2018-01-12 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN109934185B (zh) * | 2019-03-18 | 2021-05-04 | 网易有道信息技术（北京）有限公司 | 数据处理方法及装置、介质和计算设备 |
-
2020
- 2020-05-06 CN CN202010371862.0A patent/CN111583147B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008132745A (ja) * | 2006-02-24 | 2008-06-12 | Ibiden Co Ltd | ハニカム成形体用封口装置、ハニカム焼成体用封口装置、封止材ペーストの充填方法、及び、ハニカム構造体の製造方法 |
| US7912296B1 (en) * | 2006-05-02 | 2011-03-22 | Google Inc. | Coverage mask generation for large images |
| US8670630B1 (en) * | 2010-12-09 | 2014-03-11 | Google Inc. | Fast randomized multi-scale energy minimization for image processing |
| WO2014019205A1 (zh) * | 2012-08-02 | 2014-02-06 | 华为技术有限公司 | 处理数据报文的方法、装置及系统 |
| CN104885120A (zh) * | 2012-12-31 | 2015-09-02 | 基文影像公司 | 用于显示图像流的系统和方法 |
| GB201417657D0 (en) * | 2013-10-09 | 2014-11-19 | Adobe Systems Inc | Target region fill utilizing transformations |
| GB201512511D0 (en) * | 2014-11-21 | 2015-08-19 | Adobe Systems Inc | Cloud based content aware fill for images |
| EP3089004A1 (en) * | 2015-04-28 | 2016-11-02 | Samsung Display Co., Ltd. | A vector fill segment method and apparatus to reduce display latency of touch events |
| US10430926B1 (en) * | 2017-05-09 | 2019-10-01 | Promontech Llc | Systems, media, and methods for improving responsiveness of spotlight tours in a dynamic viewport environment |
| WO2020034984A1 (zh) * | 2018-08-14 | 2020-02-20 | 广州虎牙信息科技有限公司 | 视频图像处理 |
| WO2020038407A1 (zh) * | 2018-08-21 | 2020-02-27 | 腾讯科技（深圳）有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
| CN109871841A (zh) * | 2019-02-14 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| GB202003400D0 (en) * | 2019-05-23 | 2020-04-22 | Adobe Inc | Automatic synthesis of a content-aware sampling region for a content-aware fill |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583147A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555795B (zh) | 高解析度风格迁移 | |
| CN108520247B (zh) | 对图像中的对象节点的识别方法、装置、终端及可读介质 | |
| CN110377264B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
| JP2021508123A (ja) | リモートセンシング画像認識方法、装置、記憶媒体及び電子機器 | |
| US9667841B2 (en) | Image processing apparatus and image processing method | |
| CN109005368B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
| EP2321794B1 (en) | Method for red-eye detection | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| US20160191802A1 (en) | Devices, systems, and methods for estimation of motion blur from a single image | |
| CN110889824A (zh) | 一种样本生成方法、装置、电子设备及计算机可读存储介质 | |
| CN112967381B (zh) | 三维重建方法、设备和介质 | |
| CN111583280B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112380566A (zh) | 用于对文档图像进行脱敏的方法、装置、电子设备及介质 | |
| CN111882565A (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| CN111489418B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN111767924B (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 | |
| CN113516697A (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| CN111583147B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112598687A (zh) | 图像分割方法和装置、存储介质、电子设备 | |
| EP4047547A1 (en) | Method and system for removing scene text from images | |
| CN115829846A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US11176720B2 (en) | Computer program, image processing method, and image processing apparatus | |
| CN113888635A (zh) | 视觉定位方法、相关装置及计算机程序产品 | |
| CN111401366A (zh) | 字符识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |