CN111127307A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111127307A CN111127307A CN201911249372.7A CN201911249372A CN111127307A CN 111127307 A CN111127307 A CN 111127307A CN 201911249372 A CN201911249372 A CN 201911249372A CN 111127307 A CN111127307 A CN 111127307A
- Authority
- CN
- China
- Prior art keywords
- sky
- region
- processed
- image information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 230000007704 transition Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 15
- 238000007781 pre-processing Methods 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，在获取包含天空的待处理的图像信息后，先对该待处理的图像信息进行预处理，具体的，对待处理的图像信息进行、判断和分割，然后根据预处理的结果进行进一步的优化处理，具体的，根据预设规则对天空区域优化处理，即对天空区域进行重新确定，重新确定的天空区域的边缘比预处理中识别的天空区域的边缘准确，进而对待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理后，得到的优化后的图像中，可以实现对天空区域边缘的准确处理，因此处理区域与待处理的图像信息的融合度较好，适应的优化后的图像的视觉效果较好。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在趣味图像处理中，可以对图像中的天空进行处理，例如，可以将图像中的天空区域替换为蓝天白云的天空模板等。
现有技术中，通常只是基于训练的天空识别模型进行天空区域的识别，并对识别出的天空区域进行模板替换等处理。
但是，现有技术中经常出现模板替换后，替换的模板与原始图像的融合度差，处理后的图像视觉效果较差。
发明内容
本申请实施例提供图像处理方法、装置、电子设备及计算机可读存储介质，以解决替换的模板与原始图像的融合度差，导致处理后的图像视觉效果较差的技术问题。
本申请实施例第一方面提供一种图像处理的方法，包括：
获取待处理的图像信息，待处理的图像信息；
判断并分割所述图像信息的天空区域；
根据预设规则对所述天空区域优化处理，以获取优化后的图像。
可选的，所述判断并分割所述图像信息的天空区域，包括：对所述待处理的图像信息进行识别处理，以获取所述待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带；根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定；
所述根据预设规则对所述天空区域优化处理，以获取优化后的图像，包括：对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，以获取优化后的图像。
可选的，所述根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定，包括：
分别对包括天空区域和非天空区域的样本图像中的像素进行标注处理；
采用AI语义分割技术，训练已标注的所述样本图像中的像素，得到天空分割AI模型；
利用所述天空分割AI模型得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；
对所述天空分割掩膜图的天空边缘进行细化处理，以获取边缘细化后的天空分割掩膜图，以得到所述重新确定的天空区域。
可选的，所述对所述天空分割掩膜图的天空边缘进行细化处理，包括：
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定。
可选的，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：
采用预设天空模版，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理。
可选的，所述采用预设天空模板，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理，包括：
根据所述重新确定的天空区域的位置和/或尺寸，对所述预设天空模板的位置和/或尺寸进行调整，并将调整后的天空模板替换到所述待处理的图像信息中重新确定的天空区域对应的部分。
可选的，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：
识别所述待处理的图像信息对应的场景，并查找获取所述场景对应的调节模式；
根据所述调节模式，对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理。
本申请实施例第二方面提供一种图像处理的装置，包括：
分割模块，用于判断并分割所述图像信息的天空区域；
优化模块，用于根据预设规则对所述天空区域优化处理，以获取优化后的图像。
可选的，所述优化模块，具体用于：
得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定。
可选的，还包括：
处理模块，用于根据对所述天空区域进行模板替换，或根据所述待处理的图像信息对应的场景，对所述天空区域进行调节。
本申请实施例第三方面提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述第一方面任一项所述的方法的指令。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如前述第一方面任一项所述的方法。
本申请实施例相对于现有技术的有益效果：
本申请实施例中提供了一种图像处理的方法及装置，发现了现有技术中替换模板与原始图片的融合度差的原因是，现有技术中在识别天空区域时，通常难以得到准确的天空区域边缘，导致在对天空区域进行后续处理时，可能出现将非天空区域进行了处理，或对天空区域没有实现完全处理，导致处理部分与原始图片的融合度较差。因此，本申请实施例中，在获取包含天空的待处理的图像信息后，先对该待处理的图像信息进行预处理，具体的，对待处理的图像信息进行判断和分割，然后根据预处理的结果进行进一步的优化处理，具体的，根据预设规则对天空区域优化处理，即对天空区域进行重新确定，重新确定的天空区域的边缘比预处理中识别的天空区域的边缘准确，进而对待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理后，得到的优化后的图像中，可以实现对天空区域边缘的准确处理，因此处理区域与待处理的图像信息的融合度较好，适应的优化后的图像的视觉效果较好。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
图1为本发明实施例提供的图像处理的方法的流程示意图；
图2为本发明实施例提供的图像处理的方法的一用户界面示意图；
图3为本发明实施例提供的图像处理的方法的一图像分割示意图；
图4为本发明提供的图像处理装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，本发明说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
在研究中，本申请实施例发现了现有技术中替换模板与原始图片的融合度差的原因是，现有技术中在识别天空区域时，通常难以得到准确的天空区域边缘，或者也可以理解为现有技术中识别的天空区域的边缘不准确，导致在对天空区域进行后续处理时，如果边缘超出了实际的天空区域，可能出现将非天空区域进行了处理，或如果边缘包含于实际的天空区域，可能出现对天空区域没有实现完全处理，导致处理部分与原始图片的融合度较差。
因此，本申请实施例中，在获取包含天空的待处理的图像信息后，先对该待处理的图像信息进行预处理，具体的，对待处理的图像信息进行识别处理，以获取待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带，然后根据预处理的结果进行进一步的优化处理，具体的，根据天空区域、非天空区域，以及天空边缘过渡带，对天空区域进行重新确定，重新确定的天空区域的边缘比预处理中识别的天空区域的边缘准确，进而对待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理后，得到的优化后的图像中，可以实现对天空区域边缘的准确处理，因此处理区域与待处理的图像信息的融合度较好，适应的优化后的图像的视觉效果较好。
本发明实施例的图像处理方法可以应用于终端或服务器，终端可以包括：手机、平板电脑、笔记本电脑、台式电脑等电子设备，本申请实施例对此不作具体限定。
本发明实施例所描述的天空优化处理可以是将待处理的图像信息的天空进行预设模板替换，或对待处理的图像信息中的天空进行亮度、对比度、饱和度、色彩、滤镜等调节，本申请实施例对此不作具体限定。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图1所示，图1为本发明实施例提供的图像处理的方法的流程示意图。该方法具体可以包括：
S101：获取待处理的图像信息。
本申请实施例中，待处理的图像信息可以是电子设备从网络或本地中获取的图像。
待处理的图像信息也可以是电子设备接收用户输入的图像，示例性的，以电子设备为手机为例，如图2示出了一种接收用户输入待处理的图像信息的用户界面，用户可以通过点击用户界面中的预设区域，输入待处理的图像信息，则手机可以获取该待处理的图像信息。
本申请实施例中，待处理的图像信息中包含的天空区域可以根据实际应用场景确定，示例性的，如果待处理的图像信息中包含的天空的区域非常小，则后续对天空区域进行优化处理可能对待处理的图像信息的优化效果不明显，因此，可以提示用户输入包含天空区域占据待处理的图像信息的比例大于设定值的待处理的图像信息。
可以理解，本申请实施例中也可以只要待处理的图像信息中包含天空即可，不对天空进行任何限制，本申请实施例对此不作具体限定。
S102：判断并分割所述图像信息的天空区域。
具体的，可以对所述待处理的图像信息进行识别处理，以获取所述待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带。
本申请实施例中，可以采用任意的图像识别技术识别待处理的图像信息，示例性的，可以预先获取若干包含天空的图像作为样本集，对样本集的图像样本进行天空区域和非天空区域的标注，之后通过标注的样本训练得到天空识别模型，将待处理的图像信息输入该天空识别模型中，可以获取该待处理的图像信息中的天空区域、非天空区域，以及天空区域和非天空区域之间的天空边缘过渡带。
需要说明的是，天空边缘过渡带为天空区域和非天空区域的交界带，在识别中，可以仅识别天空区域和非天空区域，之后根据天空区域和非天空区域的分界得到天空边缘过渡带，本申请实施例对此不作具体限定。
一种可能的实现中，在识别到天空区域和飞天空区域后，天空区域和非天空区域的分界可能是较窄的带状区域，可以称为分割线，例如该分割线的某一点可能覆盖一个或二个像素，为例后续进一步确定准确的分割线，可以将分割线两边的多个像素包括进分割线中，得到覆盖像素较多的天空边缘过渡带，例如天空边缘过渡带的一个界面中可以覆盖5-15个左右的像素点等。
示例性的，如图3所示，在图3中可以分割出天空各区域21、非天空区域22和天空边缘过渡带23，在天空区域中可以包括太阳、白云等，处理天空区域以外的均可以称为非天空各区域。
可以理解，该步骤中获取的天空区域、非天空区域可能不准确，因此可以进行后续S103对天空区域进行重新确定。
S103：根据预设规则对所述天空区域优化处理，以获取优化后的图像。
具体的，可以根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定。
本申请实施例中，可以采用任意的可能的形式根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定，以得到比S102准确的天空区域。
示例性的，可以对天空边缘过渡带包含的图像内容进行再次识别，得到准确的天空边缘线后，通过准确的天空边缘线重新确定准确的天空区域。
一种可能的实现方式中，所述根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定，包括：
分别对包括天空区域和非天空区域的样本图像中的像素进行标注处理；采用AI语义分割技术，训练已标注的所述样本图像中的像素，得到天空分割AI模型；利用所述天空分割AI模型得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；对所述天空分割掩膜图的天空边缘进行细化处理，以获取边缘细化后的天空分割掩膜图，以得到所述重新确定的天空区域。
本申请实施例中，在对样本图像标注时，可以将样本图像的天空区域、非天空区域和天空边缘过渡带可以赋予不同的值，标注精确度可以精细到像素级。
标注处理之后，可以采用AI语义分割技术，训练已标注的样本图像；例如可以对样本图像中的每个像素打上类别标签，如类似人、树木、草地、天空等标签，最终得到能输出天空区域的掩膜图的天空分割AI模型。
进一步的，采用天空分割AI模型得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图。具体的，掩模图可以是由0和1组成的一个二进制图像。示例性的，当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。通过掩膜处理，可以得到需要处理的天空分割掩膜图。
进一步的，对所述天空分割掩膜图的天空边缘进行细化处理，以获取边缘细化后的天空分割掩膜图，得到所述重新确定的天空区域。
可选的，所述对所述天空分割掩膜图的天空边缘进行细化处理，包括：
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定，得到准确的天空边缘。
本申请示例中，可以获取天空分割掩膜图的天空边缘过渡带中每个像素点的坐标，对每个像素点，可以以该像素点的坐标为中心点，采用局部投票的判定方法，判定该中心点相邻区域内的准确边缘。示例性的，可以通过计算该中心点的像素与该中心点相邻区域的像素的相似度，如果相似度较低，可以为该中心点投票为边缘点，如果相似度较高，可以为该中心点投票为非边缘点，对中心点以及中心点的相邻区域内的像素点分别投票后，可以将得分较高的像素点确定为边缘像素点，从而得到准确的边缘。
进一步的，对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，以获取优化后的图像。
本申请实施例中，在得到重新确定的准确的天空区域后，可以根据实际需求对天空进行优化处理，以获取优化后的图像。
一种可能的实现方式中，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：采用预设天空模版，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理。
本申请实施例中，预设天空模板可以是预先定义的标准天空模板，例如晴天白云天空模板、乌云密布天空模板等，可以理解，待处理的图像信息中的天空区域可能无法达到预设天空模板的效果，因此，采用预设天空模版，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理，可以得到天空效果更好的图像。
可选的，所述采用预设天空模板，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理，包括：
根据所述重新确定的天空区域的位置和/或尺寸，对所述预设天空模板的位置和/或尺寸进行调整，并将调整后的天空模板替换到所述待处理的图像信息中重新确定的天空区域对应的部分。
本申请实施例中，可以根据重新确定的天空区域的位置调整预设天空模板的位置，使得预设天空模板正好位于重新确定的天空区域，从而可以避免预设天空模板位置不合适导致的替换效果不佳的问题。
本申请实施例中，可以根据重新确定的天空区域的尺寸调整预设天空模板的尺寸，使得预设天空模板的尺寸与重新确定的天空区域的尺寸匹配，从而可以避免预设天空模板尺寸不合适导致的画面违和的问题。
另一种可能的实现方式中，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：
识别所述待处理的图像信息对应的场景，并查找获取所述场景对应的调节模式；根据所述调节模式，对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理。
本申请实施例中，首先可以运用算法识别出待处理的图像信息对应的场景，例如识别出晴天、阴天、夜景、夕阳、草原等不同场景。进而可以查找响应的调节模式，实现定制化的天空优化处理。
示例性的，下述列举了几种根据不同的场景，自动调节不同的天空图像风格，该调节方法不局限于智能叠加滤镜，或者调整天空区域的亮度、对比度、饱和度、色彩、滤镜等。
如果检测到为晴天场景，将天空区域的颜色调节为蓝天少云，并对画面中的太阳进行增强等。或者在天空区域智能叠加一张晴天天空滤镜等。
如果检测到为阴天场景，将天空区域的颜色调节为灰暗多云，叠加不同的云类型形成不同的特效。或者在天空区域智能叠加一张阴天天空滤镜等。
如果检测到为夕阳场景，将天空区域的调节为相应的夕阳色，并增强图像的饱和度等。或者在天空区域智能叠加一张夕阳天空滤镜等。
如果检测到为夜景，在天空区域加入极光或者星光等特效，并对天空中的月亮进行增强等。或者在天空区域智能叠加一张夜景天空滤镜等。
如果检测到为草原场景，将天空区域调节为蓝天白云，并提高图像的对比度，使图像更加通透。或者在天空区域智能叠加一张草原天空滤镜等。
可以理解，具体实现中，还可以者根据不同的场景替换与场景匹配的天空模板，或者对分割出的天空区域和非天空区域进行不同强度和不同类型的图像增强等，以实现对待处理的图像信息的优化。本申请实施例对比不作具体限定。
综上所述，本申请实施例中提供了一种图像处理的方法及装置，发现了现有技术中替换模板与原始图片的融合度差的原因是，现有技术中在识别天空区域时，通常难以得到准确的天空区域边缘，导致在对天空区域进行后续处理时，可能出现将非天空区域进行了处理，或对天空区域没有实现完全处理，导致处理部分与原始图片的融合度较差。因此，本申请实施例中，在获取包含天空的待处理的图像信息后，先对该待处理的图像信息进行预处理，具体的，对待处理的图像信息进行识别处理，以获取待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带，然后根据预处理的结果进行进一步的优化处理，具体的，根据天空区域、非天空区域，以及天空边缘过渡带，对天空区域进行重新确定，重新确定的天空区域的边缘比预处理中识别的天空区域的边缘准确，进而对待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理后，得到的优化后的图像中，可以实现对天空区域边缘的准确处理，因此处理区域与待处理的图像信息的融合度较好，适应的优化后的图像的视觉效果较好。
图4为本发明提供的图像处理的装置一实施例的结构示意图。如图4所示，本实施例提供的图像处理的装置包括：
分割模块31，用于判断并分割待处理的图像信息的天空区域；
优化模块32，用于根据预设规则对所述天空区域优化处理，以获取优化后的图像。
可选的，所述优化模块，具体用于：
得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定。
可选的，还包括：
处理模块，用于根据对所述天空区域进行模板替换，或根据所述待处理的图像信息对应的场景，对所述天空区域进行调节。
综上所述，本申请实施例中提供了一种图像处理的方法及装置，发现了现有技术中替换模板与原始图片的融合度差的原因是，现有技术中在识别天空区域时，通常难以得到准确的天空区域边缘，导致在对天空区域进行后续处理时，可能出现将非天空区域进行了处理，或对天空区域没有实现完全处理，导致处理部分与原始图片的融合度较差。因此，本申请实施例中，在获取包含天空的待处理的图像信息后，先对该待处理的图像信息进行预处理，具体的，对待处理的图像信息进行识别处理，以获取待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带，然后根据预处理的结果进行进一步的优化处理，具体的，根据天空区域、非天空区域，以及天空边缘过渡带，对天空区域进行重新确定，重新确定的天空区域的边缘比预处理中识别的天空区域的边缘准确，进而对待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理后，得到的优化后的图像中，可以实现对天空区域边缘的准确处理，因此处理区域与待处理的图像信息的融合度较好，适应的优化后的图像的视觉效果较好。
本发明各实施例提供的图像处理的装置可用于执行如前述各对应的实施例所示的方法，其实现方式与原理相同，不再赘述。
本发明实施例还提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述实施例中任一项所述的方法的指令。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如前述实施例中任一项所述的方法。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解，在本申请各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取待处理的图像信息；
判断并分割所述图像信息的天空区域；
根据预设规则对所述天空区域优化处理，以获取优化后的图像。
2.根据权利要求1所述的方法，其特征在于，所述判断并分割所述图像信息的天空区域，包括：
对所述待处理的图像信息进行识别处理，以获取所述待处理的图像信息中的天空区域、非天空区域，以及所述天空区域和非天空区域之间的天空边缘过渡带；根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定。
3.根据权利要求2所述的方法，其特征在于，所述根据预设规则对所述天空区域优化处理，以获取优化后的图像，包括：
对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，以获取优化后的图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述天空区域、所述非天空区域，以及所述天空边缘过渡带，对所述天空区域进行重新确定，包括：
分别对包括天空区域和非天空区域的样本图像中的像素进行标注处理；
采用AI语义分割技术，训练已标注的所述样本图像，得到天空分割AI模型。
5.根据权利要求4所述的方法，其特征在于，还包括：
利用所述天空分割AI模型得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；
对所述天空分割掩膜图的天空边缘进行细化处理，以获取边缘细化后的天空分割掩膜图，以得到所述重新确定的天空区域。
6.根据权利要求5所述的方法，其特征在于，所述对所述天空分割掩膜图的天空边缘进行细化处理，包括：
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：
采用预设天空模版，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理。
8.根据权利要求7所述的方法，其特征在于，所述采用预设天空模板，对所述待处理的图像信息中重新确定的天空区域对应的部分进行替换处理，包括：
根据所述重新确定的天空区域的位置和/或尺寸，对所述预设天空模板的位置和/或尺寸进行调整，并将调整后的天空模板替换到所述待处理的图像信息中重新确定的天空区域对应的部分。
9.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理，包括：
识别所述待处理的图像信息对应的场景，并查找获取所述场景对应的调节模式；
根据所述调节模式，对所述待处理的图像信息中重新确定的天空区域对应部分进行天空优化处理。
10.一种图像处理装置，其特征在于，包括：
分割模块，用于判断并分割待处理的图像信息的天空区域；
优化模块，用于根据预设规则对所述天空区域优化处理，以获取优化后的图像。
11.根据权利要求10所述的装置，其特征在于，所述优化模块，具体用于：
得到对应于所述天空区域、所述非天空区域，以及所述天空边缘过渡带的天空分割掩膜图；
对于所述天空分割掩膜图的天空边缘过渡带中每个像素点，分别获取所述像素点的坐标，并以所述坐标为中心点，采用局部像素相似度统计法，对所述中心点以及所述中心点的相邻区域内的像素点进行边缘判定。
12.根据权利要求10或11所述的装置，其特征在于，还包括：
处理模块，用于根据对所述天空区域进行模板替换，或根据所述待处理的图像信息对应的场景，对所述天空区域进行调节。
13.一种电子设备，其特征在于，包括：
处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-9任一项所述的方法的指令。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如权利要求1-9任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911249372.7A CN111127307A (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| PCT/CN2020/078838 WO2021114500A1 (zh) | 2019-12-09 | 2020-03-11 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911249372.7A CN111127307A (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111127307A true CN111127307A (zh) | 2020-05-08 |
Family
ID=70497839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911249372.7A Pending CN111127307A (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111127307A (zh) |
| WO (1) | WO2021114500A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034514A (zh) * | 2021-03-19 | 2021-06-25 | 影石创新科技股份有限公司 | 天空区域分割方法、装置、计算机设备和存储介质 |
| CN113115085A (zh) * | 2021-04-16 | 2021-07-13 | 海信电子科技(武汉)有限公司 | 一种视频播放方法及显示设备 |
| CN113313658A (zh) * | 2021-07-29 | 2021-08-27 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113610701A (zh) * | 2021-08-04 | 2021-11-05 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
| WO2023016150A1 (zh) * | 2021-08-09 | 2023-02-16 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| WO2023039865A1 (zh) * | 2021-09-17 | 2023-03-23 | 深圳市大疆创新科技有限公司 | 图像处理方法、视频处理方法、训练方法、设备、程序产品及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808037A (zh) * | 2021-09-02 | 2021-12-17 | 深圳东辉盛扬科技有限公司 | 一种图像优化方法及装置 |
| CN114494083B (zh) * | 2022-04-14 | 2022-07-29 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050636B2 (en) * | 2001-12-07 | 2006-05-23 | Eastman Kodak Company | Method and system for improving an image characteristic based on image content |
| CN107680101A (zh) * | 2017-08-28 | 2018-02-09 | 浙江工业大学 | 基于暗通道的天空区域分割方法 |
| CN107590811B (zh) * | 2017-09-29 | 2021-06-29 | 北京奇虎科技有限公司 | 基于场景分割的风景图像处理方法、装置及计算设备 |
| CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
-
2019
- 2019-12-09 CN CN201911249372.7A patent/CN111127307A/zh active Pending
-
2020
- 2020-03-11 WO PCT/CN2020/078838 patent/WO2021114500A1/zh active Application Filing
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034514A (zh) * | 2021-03-19 | 2021-06-25 | 影石创新科技股份有限公司 | 天空区域分割方法、装置、计算机设备和存储介质 |
| WO2022194079A1 (zh) * | 2021-03-19 | 2022-09-22 | 影石创新科技股份有限公司 | 天空区域分割方法、装置、计算机设备和存储介质 |
| CN113115085A (zh) * | 2021-04-16 | 2021-07-13 | 海信电子科技(武汉)有限公司 | 一种视频播放方法及显示设备 |
| CN113313658A (zh) * | 2021-07-29 | 2021-08-27 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113313658B (zh) * | 2021-07-29 | 2021-11-30 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113610701A (zh) * | 2021-08-04 | 2021-11-05 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
| CN113610701B (zh) * | 2021-08-04 | 2023-12-26 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
| WO2023016150A1 (zh) * | 2021-08-09 | 2023-02-16 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| WO2023039865A1 (zh) * | 2021-09-17 | 2023-03-23 | 深圳市大疆创新科技有限公司 | 图像处理方法、视频处理方法、训练方法、设备、程序产品及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021114500A1 (zh) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127307A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| US10762608B2 (en) | Sky editing based on image composition | |
| US11151723B2 (en) | Image segmentation method, apparatus, and fully convolutional network system | |
| US8873845B2 (en) | Contextual dominant color name extraction | |
| US20180137624A1 (en) | Object Segmentation, Including Sky Segmentation | |
| CN110381369B (zh) | 推荐信息植入位置的确定方法、装置、设备及存储介质 | |
| US20220084304A1 (en) | Method and electronic device for image processing | |
| CN104700442A (zh) | 一种自动添加滤镜与文字的图像处理方法和系统 | |
| CN111354059A (zh) | 图像处理方法及装置 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zhu et al. | Dehazing via graph cut | |
| CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
| CN113780469A (zh) | 图像识别模型的训练方法、介质、装置和计算设备 | |
| CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
| CN109685079B (zh) | 一种特征图像类别信息的生成方法和装置 | |
| Zhang et al. | A novel approach for binarization of overlay text | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
| US20220188991A1 (en) | Method and electronic device for managing artifacts of image | |
| Chang et al. | Transfer in photography composition | |
| CN114283087A (zh) | 一种图像去噪方法及相关设备 | |
| CN110969602B (zh) | 一种图像清晰程度检测方法及装置 | |
| CN112884866A (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 | |
| CN113901053A (zh) | 一种基于大数据的教材索引管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |