CN110009594B - 一种图像处理方法、装置及电子设备 - Google Patents
一种图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110009594B CN110009594B CN201910231630.2A CN201910231630A CN110009594B CN 110009594 B CN110009594 B CN 110009594B CN 201910231630 A CN201910231630 A CN 201910231630A CN 110009594 B CN110009594 B CN 110009594B
- Authority
- CN
- China
- Prior art keywords
- image
- synthesized
- boundary
- area
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 46
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 21
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 230000003313 weakening effect Effects 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置和电子设备，其中，图像处理方法包括：获得待处理图像，其中，所述待处理图像为由至少两个待合成图像合成的图像；确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间。使用本发明实施例提供的技术方案进行图像处理后，合成图像中的边界可以被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种图像处理方法、装置及电子设备。
背景技术
随着移动终端越来越普及，各类视频应用在移动终端中越来越流行。在现有的视频应用中，可以将两个视频合成一个视频，使两个视频在同一视频画面中展现。例如，当用户使用短视频应用中的合拍功能时，短视频应用可以将用户拍摄的短视频和其他用户拍摄的短视频合成为一个视频，使两个短视频在同一视频画面中展现。
由于用于合成一个视频的两个视频通常是在两个不同的场景中拍摄的视频，这样所合成视频展现的画面可能存在强烈的割裂感，所合成视频带给用户的视觉效果较差。
为降低所合成视频展现的画面的割裂感，给用户带来较佳的视觉效果，需要对所合成的视频进行处理，为此需要提供一种图像处理的方案。
发明内容
本发明实施例的目的在于提供一种图像处理方法、装置及电子设备，以降低所合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，其中，所述第一类图像信息为表示图像色彩的信息。
可选的，所述确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，包括：
将所述待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像；其中，所述边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，所述样本图像为：由至少两个图像合成的图像，所述标注图像为：按照预设的边界弱化原则、对所述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，所述边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
可选的，所述获得待处理图像，包括：
获得待合成图像；
对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，其中，所述第二类图像信息包括以下至少一项：清晰度、色温、分辨率、透明度、对比度；
对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
可选的，所述对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，包括：
根据各个待合成图像的第二类图像信息，确定调整目标；
按照所述调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
可选的，按照以下方式训练得到所述边界弱化模型：
获取所述样本图像；
按照所述边界弱化原则、对所述样本图像中包含合成边界的图像区域的第一类图像信息进行调整，得到标注图像；
将所述样本图像输入待训练模型进行边界弱化处理，得到输出图像；
以所述标注图像为训练基准，根据所述输出图像和所述标注图像之间的差异，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，并将训练后的待训练模型作为所述边界弱化模型。
可选的，所述第一类图像信息包括以下至少一项：色相、纯度、明度、饱和度。
第二方面，本发明实施例还提供了一种图像处理装置，所述装置包括：
图像获得单元，用于获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
信息调整单元，用于确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，其中，所述第一类图像信息为表示图像色彩的信息。
可选的，所述信息调整单元，具体用于：
将所述待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像；其中，所述边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，所述样本图像为：由至少两个图像合成的图像，所述标注图像为：按照预设的边界弱化原则、对所述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，所述边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
可选的，所述图像获得单元，包括：
合成图像获得子单元，用于获得待合成图像；
合成图像信息调整子单元，用于对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，其中，所述第二类图像信息包括以下至少一项：清晰度、色温、分辨率、透明度、对比度；
合成图像合成子单元，用于对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
可选的，所述合成图像信息调整子单元，包括：
调整目标确定模块，用于根据各个待合成图像的第二类图像信息，确定调整目标；
目标图像信息调整模块，用于按照所述调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
可选的，所述装置还包括：
样本图像获取单元，用于获取所述样本图像；
标注图像获得单元，用于按照边界弱化原则、对所述样本图像中包含合成边界的图像区域的第一类图像信息进行调整，得到标注图像；
输出图像获得单元，用于将所述样本图像输入待训练模型进行边界弱化处理，得到输出图像；
模型训练单元，用于以所述标注图像为训练基准，根据所述输出图像和所述标注图像之间的差异，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，并将训练后的待训练模型作为所述边界弱化模型。
可选的，所述第一类图像信息包括以下至少一项：色相、纯度、明度、饱和度。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现第一方面任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面任一所述的方法步骤。
应用本发明实施例提供的方案进行图像处理时，在获得由至少两个待合成图像合成的待处理图像后，对包含合成边界的图像区域的第一类图像信息进行调整，使得包含合成边界的图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，这样会使得处理后的合成图像中的边界被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的图像处理方法的一种流程示意图；
图2为本发明实施例所处理的待处理图像的一种示意图；
图3为本发明实施例提供的图像处理装置的一种结构示意图；
图4为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
为了降低合成视频展现的画面的割裂感，给用户带来较佳的视觉效果，本发明实施例提供了一种图像处理方法、装置及电子设备，通过获得由至少两个待合成图像合成的待处理图像，对包含合成边界的图像区域的第一类图像信息进行调整，使得包含合成边界的图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，这样，就会使得处理后的合成图像中的边界被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
下面首先对本发明实施例所提供的图像处理方法进行介绍。
需要说明的是，本发明实施例所提供的图像处理方法可以应用于视频应用行业。
本发明实施例提供的图像处理方法的执行主体可以是电子设备，该电子设备例如可以是服务器、计算机，也可以是其他电子设备，如图1所示，该图像处理方法包括以下步骤：
S110：获得待处理图像，其中，该待处理图像为：由至少两个待合成图像合成的图像。
在本发明实施例中，待处理图像可以为由两个待合成图像合成的图像，也可以为由两个以上待合成图像合成的图像。待处理图像可以为由至少两个相同尺寸的待合成图像合成的图像，也可以为由至少两个不同尺寸的待合成图像合成的图像。
上述待处理图像可以是合成视频中的任一视频帧，其中，合成视频为由至少两个视频合成的视频，当待处理图像是合成视频中的任一视频帧时，待处理图像也为由至少两个图像合成的合成图像。例如，合成视频可以是：当用户使用短视频应用中的合拍功能时，短视频应用将用户拍摄的短视频和其他用户拍摄的短视频合成的一个合成视频。
S120：确定上述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间。
上述合成边界是指合成上述待处理图像的相邻两个待合成图像之间的边界。在一种实施方式中，可以按以下方式确定待处理图像中包含合成边界的图像区域：将待处理图像中的预设图像区域作为包含合成边界的图像区域。上述预设图像区域可以根据合成待处理图像的待合成图像的数量、合成待处理图像的待合成图像的大小是否相同等因素来确定。例如，当合成待处理图像的待合成图像的数量为2、且合成待处理图像的待合成图像的大小相同时，可以将位于待合成图像的居中位置、宽度为待处理图像的宽度的预设比例、高度与待处理图像的高度相同的图像区域确定为待处理图像中包含合成边界的图像区域，上述预设比例可以是小于1的任一比例，例如，预设比例可以是1/4。
在实际应用中更常见的是，在合拍场景下，由两个视频帧尺寸相同的待合成视频所合成的合成视频。因此，在本发明实施例中，可以将位于待合成图像的居中位置、宽度为待处理图像的宽度的预设比例、高度与待处理图像的高度相同的图像区域确定为待处理图像中包含合成边界的图像区域。
将待处理图像中的预设图像区域作为包含合成边界的图像区域，可以更快速地确定包含合成边界的图像区域，使图像处理效率更高。
在另一种实施方式中，也可以按以下方式确定待处理图像中包含合成边界的图像区域：确定合成待处理图像的待合成图像的数量以及尺寸，根据所确定的数量和尺寸，确定目标图像区域，将待处理图像中的目标图像区域作为包含合成边界的图像区域。
在一种具体实施方式中，电子设备可以获取人工输入的合成待处理图像的待合成图像的数量以及尺寸。在另一种具体实施方式中，待处理图像的图像合成信息中可以包含合成该待处理图像所需的待合成图像的数量以及尺寸，相应的，电子设备可以获取待处理图像边界弱化原则的图像合成信息中包含的数量以及尺寸，作为合成待处理图像的待合成图像的数量以及尺寸。
在本发明实施例中，电子设备可以按以下方式来根据所确定的数量和尺寸，确定目标图像区域：根据所确定的数量和尺寸，从区域确定数据库中查找与所确定的数量和尺寸相对应的边界区域，将查找到的区域作为目标图像区域；其中，区域确定数据库中存储有待合成图像的数量、尺寸与边界区域的对应关系。
根据待合成图像的数量以及尺寸，确定目标图像区域，再将待处理图像中的目标图像区域作为包含合成边界的图像区域，可以更灵活地确定包含合成边界的图像区域，从而使上述图像处理方法的应用范围更广。
上述第一类图像信息为表示图像色彩的信息，例如，上述第一类图像信息可以包括以下至少一项：色相、纯度、明度、饱和度。待处理图像中之所以存在边界，通常是由于边界两边的图像的色彩不同，因此，在对所确定图像区域的第一类图像信息进行调整时，可以调整所确定图像区域的色相、纯度、明度、饱和度等这些色彩信息，使得所确定图像区域的色彩信息介于所确定图像区域两侧的图像区域的色彩信息之间。
在一种实施方式中，可以按以下方式对所确定图像区域的第一类图像信息进行调整：确定待调整像素在所确定图像区域中所处的位置；根据确定的位置、所确定图像区域两侧的图像区域的第一类图像信息，确定目标第一类图像信息，将待调整像素的第一类图像信息调整至上述目标第一类图像信息。例如，如图2所示，待处理图像是由第一待合成图像和第二待合成图像合成的图像，所确定区域为区域B，其中，区域B包含合成边界，区域B两侧的图像区域分别为区域A、区域C。若第一类图像信息为色相，当待调整像素在区域B中所处的位置为在宽度方向居中时，目标第一类图像信息可以是区域B两侧的区域A、区域C的色相的平均值；当待调整像素在区域B中所处的位置为：距区域B第一侧的区域A的距离为区域B总宽度的1/4时，目标第一类图像信息可以是：区域B第一侧的区域A的色相的3/4加上区域B第二侧的区域C的色相的1/4。也就是说，待调整像素越靠近哪一侧的图像区域，待调整像素对应的目标第一类图像信息与哪一侧的图像区域的第一类图像信息越接近。通过对每个像素的第一类图像信息进行调整，可以使图像处理的效果更佳。也可以采用其他方法对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间。
本发明实施例提供的图像处理方法，在获得由至少两个待合成图像合成的待处理图像后，对包含合成边界的图像区域的第一类图像信息进行调整，使得包含合成边界的图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，这样，就会使得处理后的合成图像中的边界被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
在一种实施方式中，步骤S120，可以按以下步骤S121实现：
S121：将待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像。
其中，边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，样本图像为：由至少两个图像合成的图像，标注图像为：按照预设的边界弱化原则、对上述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
在本发明实施例中，上述样本图像可以是合成视频中的任一视频帧，也可以是其他由至少两个图像合成的图像，样本图像可以是已有的任一由至少两个图像合成的图像。上述标注图像，可以是由人工对上述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，人工对上述样本图像中包含合成边界的图像区域进行第一类图像信息调整后，调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间，调整后图像区域中的合成边界被弱化或被消除。
本实施方式通过预先训练的边界弱化模型来对待处理图像进行边界弱化处理，可以更快速、高效地处理待处理图像。
在一种具体实施方式中，可以按照以下步骤S210～S240训练得到上述边界弱化模型：
S210：获取上述样本图像。
上述样本图像可以是合成视频中的任一视频帧，也可以是其他由至少两个图像合成的图像，样本图像可以是已有的任一由至少两个图像合成的图像。
S220：按照上述边界弱化原则、对样本图像中包含合成边界的图像区域的第一类图像信息调整，得到标注图像。
上述标注图像，可以是由人工对上述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，人工对上述样本图像中包含合成边界的图像区域进行第一类图像信息调整后，调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间，调整后图像区域中的合成边界被弱化或被消除。
S230：将样本图像输入待训练模型进行边界弱化处理，得到输出图像。
S240：以标注图像为训练基准，根据输出图像和标注图像之间的差异，调整待训练模型的模型参数，实现对待训练模型的训练，并将训练后的待训练模型作为上述边界弱化模型。
在本实施方式中，当待训练模型输出的输出图像与标注图像之间存在差异时，说明待训练模型的模型参数会导致预测结果与标注图像不一致，可以根据输出图像和标注图像之间的差异，调整待训练模型的模型参数，使得预测结果向标注图像靠拢。当待训练模型输出的输出图像与标注图像之间的差异较小时，说明用待训练模型得出的预测结果与标注图像差异也较小，此时，可以将训练后的待训练模型作为边界弱化模型。
在一种实施方式中，步骤S110，可以按以下步骤S111～S113实现：
S111：获得待合成图像。
上述待合成图像可以是视频中的任一视频帧，也可以是其他图像。例如，待合成图像可以是：当用户使用短视频应用中的合拍功能时，用户拍摄的未进行合成的短视频的任一视频帧。
S112：对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异。
上述第二类图像信息可以包括以下至少一项：清晰度、色温、分辨率、透明度、对比度。例如，当待处理图像由两个待合成图像合成、第二类图像信息包括清晰度与分辨率时，电子设备可以提高分辨率较低的待合成图像的分辨率，以及提高清晰度较低的待合成图像的清晰度，或者，电子设备可以降低分辨率较高的待合成图像的分辨率，以及降低清晰度较高的待合成图像的清晰度，以减少两个待合成图像在分辨率和清晰度上的差异，从而减少了两个待合成图像之间的差异；当待合成图像的第二类图像信息包括色温时，电子设备可以将各个待合成图像的色温调整至中间色温，其中，中间色温为：各个待合成图像的色温的平均值，从而使各个待合成图像的色温一致。上述减小了各个待合成图像之间的图像差异，也就减小各个待合成图像之间的第二类图像信息差异。当对各个待合成图像的第二类图像信息进行调整后，可以减小各个待合成图像之间在清晰度、色温、分辨率、透明度、对比度上存在的差异，使各个待合成图像之间的图像差异更小。
S113：对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
本实施方式在合成待处理图像之前，先减小各个待合成图像之间的图像差异，这样可以降低所合成待处理图像展现的画面的割裂感，从而进一步降低处理后的图像展现的画面的割裂感。
在一种实施方式中，步骤S112，可以按以下步骤实现：根据各个待合成图像的第二类图像信息，确定调整目标；按照调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
具体的，电子设备可以根据各个待合成图像的第二类图像信息，确定目标第二类图像信息，将所确定的目标第二类图像信息作为调整目标，并将目标图像的第二类图像信息调整至调整目标。
例如，当第二类图像信息包括分辨率时，电子设备可以将各个待合成图像的分辨率中的最高分辨率作为调整目标，从而可以提高分辨率较低的各个待合成图像的分辨率，使合成的图像分辨率更高，在本发明实施例中，可以使用快速且精准的超级图像分辨率(Rapid and Accurate Super Image Resolution，RASIR)技术来提升低分辨率图像的分辨率，还可以使用其他分辨率提高技术来提高分辨率，本发明实施例不具体限定。其中，RASIR技术是一种能够提升图片质量、而不占用更多带宽的图像处理技术。当图像质量较差时，可能无法将低分辨率的图像调整至高分辨率的图像，此时，电子设备也可以将各个待合成图像均能实现的分辨率作为调整目标，本发明实施例不具体限定调整目标的具体值。
与上述图像处理方法相对应，本发明实施例还提供了一种图像处理装置，如图3所示，该装置包括：
图像获得单元310，用于获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
信息调整单元320，用于确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，其中，所述第一类图像信息为表示图像色彩的信息。
本发明实施例提供的图像处理装置，在获得由至少两个待合成图像合成的待处理图像后，对包含合成边界的图像区域的第一类图像信息进行调整，使得包含合成边界的图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，这样，就会使得处理后的合成图像中的边界被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
在一种实施方式中，所述信息调整单元320，具体用于：
将所述待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像；其中，所述边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，所述样本图像为：由至少两个图像合成的图像，所述标注图像为：按照预设的边界弱化原则、对所述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，所述边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
在一种实施方式中，所述图像获得单元310，包括：
合成图像获得子单元，用于获得待合成图像；
合成图像信息调整子单元，用于对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，其中，所述第二类图像信息包括以下至少一项：清晰度、色温、分辨率、透明度、对比度；
合成图像合成子单元，用于对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
在一种实施方式中，所述合成图像信息调整子单元，包括：
调整目标确定模块，用于根据各个待合成图像的第二类图像信息，确定调整目标；
目标图像信息调整模块，用于按照所述调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
在一种实施方式中，所述装置还包括：
样本图像获取单元，用于获取样所述本图像；
标注图像获得单元，用于按照边界弱化原则、对所述样本图像中包含合成边界的图像区域的第一类图像信息调整，得到标注图像；
输出图像获得单元，用于将所述样本图像输入待训练模型进行边界弱化处理，得到输出图像；
模型训练单元，用于以所述标注图像为训练基准，根据所述输出图像和所述标注图像之间的差异，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，并将训练后的待训练模型作为所述边界弱化模型。
在一种实施方式中，所述第一类图像信息包括以下至少一项：色相、纯度、明度、饱和度。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间。
本发明实施例提供的电子设备，在获得由至少两个待合成图像合成的待处理图像后，对包含合成边界的图像区域的第一类图像信息进行调整，使得包含合成边界的图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，这样，就会使得处理后的合成图像中的边界被弱化，从而降低了合成图像所展示的画面的割裂感，也降低了由合成图像形成的合成视频展现的画面的割裂感，给用户带来较佳的视觉效果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行以下步骤：
获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述图像处理方法。
对于装置/电子设备/存储介质/程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种图像处理方法，其特征在于，所述方法包括：
获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，其中，所述第一类图像信息为表示图像色彩的信息；
其中，所述确定所述待处理图像中包含合成边界的图像区域，包括：
确定待处理图像的待合成图像的数量以及尺寸，根据所确定的数量和尺寸，从区域确定数据库中查找与所确定的数量和尺寸相对应的边界区域，将查找到的区域作为目标图像区域，将待处理图像中的目标图像区域作为包含合成边界的图像区域，其中，区域确定数据库中存储有待合成图像的数量、尺寸与边界区域的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，包括：
将所述待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像；其中，所述边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，所述样本图像为：由至少两个图像合成的图像，所述标注图像为：按照预设的边界弱化原则、对所述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，所述边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
3.根据权利要求1所述的方法，其特征在于，所述获得待处理图像，包括：
获得待合成图像；
对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，其中，所述第二类图像信息包括以下至少一项：清晰度、色温、分辨率、透明度、对比度；
对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
4.根据权利要求3所述的方法，其特征在于，所述对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，包括：
根据各个待合成图像的第二类图像信息，确定调整目标；
按照所述调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
5.根据权利要求2所述的方法，其特征在于，按照以下方式训练得到所述边界弱化模型：
获取所述样本图像；
按照所述边界弱化原则、对所述样本图像中包含合成边界的图像区域的第一类图像信息进行调整，得到标注图像；
将所述样本图像输入待训练模型进行边界弱化处理，得到输出图像；
以所述标注图像为训练基准，根据所述输出图像和所述标注图像之间的差异，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，并将训练后的待训练模型作为所述边界弱化模型。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述第一类图像信息包括以下至少一项：色相、纯度、明度、饱和度。
7.一种图像处理装置，其特征在于，所述装置包括：
图像获得单元，用于获得待处理图像，其中，所述待处理图像为：由至少两个待合成图像合成的图像；
信息调整单元，用于确定所述待处理图像中包含合成边界的图像区域，对所确定图像区域的第一类图像信息进行调整，使得所确定图像区域的第一类图像信息介于所确定图像区域两侧的图像区域的第一类图像信息之间，其中，所述第一类图像信息为表示图像色彩的信息；
其中，所述信息调整单元，具体用于：
确定待处理图像的待合成图像的数量以及尺寸，根据所确定的数量和尺寸，从区域确定数据库中查找与所确定的数量和尺寸相对应的边界区域，将查找到的区域作为目标图像区域，将待处理图像中的目标图像区域作为包含合成边界的图像区域，其中，区域确定数据库中存储有待合成图像的数量、尺寸与边界区域的对应关系。
8.根据权利要求7所述的装置，其特征在于，所述信息调整单元，具体用于：
将所述待处理图像输入预先训练的边界弱化模型进行边界弱化处理，得到处理后的图像；其中，所述边界弱化模型是：根据样本图像、标注图像对待训练模型进行训练得到的、用于弱化图像中合成边界的模型，其中，所述样本图像为：由至少两个图像合成的图像，所述标注图像为：按照预设的边界弱化原则、对所述样本图像中包含合成边界的图像区域进行第一类图像信息调整后得到的图像，其中，所述边界弱化原则为：调整后图像区域的第一类图像信息介于被调整区域两侧的图像区域的第一类图像信息之间。
9.根据权利要求7所述的装置，其特征在于，所述图像获得单元，包括：
合成图像获得子单元，用于获得待合成图像；
合成图像信息调整子单元，用于对各个待合成图像的第二类图像信息进行调整，以减小各个待合成图像之间的图像差异，其中，所述第二类图像信息包括以下至少一项：清晰度、色温、分辨率、透明度、对比度；
合成图像合成子单元，用于对调整后的待合成图像进行图像合成，并将合成结果作为待处理图像。
10.根据权利要求9所述的装置，其特征在于，所述合成图像信息调整子单元，包括：
调整目标确定模块，用于根据各个待合成图像的第二类图像信息，确定调整目标；
目标图像信息调整模块，用于按照所述调整目标，调整目标图像的第二类图像信息，其中，所述目标图像为：待调整图像信息与所述调整目标不一致的待合成图像。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
样本图像获取单元，用于获取所述样本图像；
标注图像获得单元，用于按照边界弱化原则、对所述样本图像中包含合成边界的图像区域的第一类图像信息进行调整，得到标注图像；
输出图像获得单元，用于将所述样本图像输入待训练模型进行边界弱化处理，得到输出图像；
模型训练单元，用于以所述标注图像为训练基准，根据所述输出图像和所述标注图像之间的差异，调整所述待训练模型的模型参数，实现对所述待训练模型的训练，并将训练后的待训练模型作为所述边界弱化模型。
12.根据权利要求7至10任一项所述的装置，其特征在于，所述第一类图像信息包括以下至少一项：色相、纯度、明度、饱和度。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910231630.2A CN110009594B (zh) | 2019-03-26 | 2019-03-26 | 一种图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910231630.2A CN110009594B (zh) | 2019-03-26 | 2019-03-26 | 一种图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110009594A CN110009594A (zh) | 2019-07-12 |
| CN110009594B true CN110009594B (zh) | 2021-04-09 |
Family
ID=67168104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910231630.2A Active CN110009594B (zh) | 2019-03-26 | 2019-03-26 | 一种图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110009594B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012085A (zh) * | 2021-03-18 | 2021-06-22 | 维沃移动通信有限公司 | 图像处理方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104115487A (zh) * | 2012-02-20 | 2014-10-22 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN104599247A (zh) * | 2015-01-04 | 2015-05-06 | 深圳市腾讯计算机系统有限公司 | 图像校正方法及装置 |
| CN105141920A (zh) * | 2015-09-01 | 2015-12-09 | 电子科技大学 | 一种360度全景视频拼接系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504761B (zh) * | 2009-01-21 | 2012-07-18 | 无锡中星微电子有限公司 | 一种图像拼接的方法和装置 |
| CN103631553A (zh) * | 2012-08-29 | 2014-03-12 | 联想(北京)有限公司 | 一种图像调节方法以及一种电子设备 |
| US10136055B2 (en) * | 2016-07-29 | 2018-11-20 | Multimedia Image Solution Limited | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
-
2019
- 2019-03-26 CN CN201910231630.2A patent/CN110009594B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104115487A (zh) * | 2012-02-20 | 2014-10-22 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN104599247A (zh) * | 2015-01-04 | 2015-05-06 | 深圳市腾讯计算机系统有限公司 | 图像校正方法及装置 |
| CN105141920A (zh) * | 2015-09-01 | 2015-12-09 | 电子科技大学 | 一种360度全景视频拼接系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110009594A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170139572A1 (en) | Image Color and Tone Style Transfer | |
| WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
| US9672414B2 (en) | Enhancement of skin, including faces, in photographs | |
| US11321830B2 (en) | Image detection method and apparatus and terminal | |
| CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
| US11070705B2 (en) | System and method for image dynamic range adjusting | |
| CN112055244B (zh) | 图像获取方法、装置、服务器和电子设备 | |
| DE102021119882A1 (de) | Videohintergrundschätzung unter verwendung von räumlich-zeitlichen modellen | |
| US20170161875A1 (en) | Video resolution method and apparatus | |
| CN110009594B (zh) | 一种图像处理方法、装置及电子设备 | |
| JP6101661B2 (ja) | 画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体 | |
| CN112037160A (zh) | 图像处理方法、装置及设备 | |
| CN113724282A (zh) | 图像处理方法和相关产品 | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| WO2023010751A1 (zh) | 图像高亮区域的信息补偿方法、装置、设备及存储介质 | |
| CN112396610A (zh) | 一种图像处理方法、计算机设备、存储介质 | |
| JP2016177500A (ja) | 画像処理装置、画像処理システムおよびプログラム | |
| CN113014817B (zh) | 高清高帧视频的获取方法、装置及电子设备 | |
| US20170310872A1 (en) | Image dynamic range adjustment method, terminal, and storage medium | |
| CN112508820A (zh) | 图像处理方法、装置及电子设备 | |
| CN111179158A (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN103974051A (zh) | 影像处理装置及影像处理方法 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114445447A (zh) | 一种图像分割方法、装置、设备及介质 | |
| CN114092359A (zh) | 花屏处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |