CN115018746A - 图像合成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像合成方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉等技术领域，可应用于图像合成等场景，包括：获取多个初始图像，确定与多个初始图像分别对应的多个目标光源信息，根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像，以及合成多个待合成图像，以得到目标图像。由此，实现根据初始图像的目标光源信息对其进行相应的优化处理，当基于处理所得待合成图像合成得到目标图像时，能够有效提升图像合成质量，提升所得目标图像对多个初始图像相关信息的表征准确性。

Description

图像合成方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉等技术领域，可应用于图像合成等场景，尤其涉及一种图像合成方法、装置、电子设备及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

相关技术中，通常会对多个待合成图像进行合成处理，得到合成后图像。

发明内容

本公开提供了一种图像合成方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的第一方面，提供了一种图像合成方法，包括：获取多个初始图像；确定与所述多个初始图像分别对应的多个目标光源信息；根据所述多个目标光源信息分别处理相应所述多个初始图像，以得到多个待合成图像；以及合成所述多个待合成图像，以得到目标图像。

根据本公开的第二方面，提供了一种图像合成装置，包括：获取模块，用于获取多个初始图像；确定模块，用于确定与所述多个初始图像分别对应的多个目标光源信息；第一处理模块，用于根据所述多个目标光源信息分别处理相应所述多个初始图像，以得到多个待合成图像；以及第二处理模块，用于合成所述多个待合成图像，以得到目标图像。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面的图像合成方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面的图像合成方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面的图像合成方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是本公开实施例提出的一图像合成示意图；

图4是根据本公开第三实施例的示意图；

图5是本公开实施例提出的一图像合成流程示意图；

图6是根据本公开第四实施例的示意图；

图7是根据本公开第五实施例的示意图；

图8示出了可以用来实施本公开的图像合成方法的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开第一实施例的示意图。

其中，需要说明的是，本实施例的图像合成方法的执行主体为图像合成装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。

本公开实施例涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉等技术领域，可应用于图像合成等场景。

其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

图像处理，是使用计算机设备对图像分析处理，以满足预期需求。图像处理的常用方法包括：图像变换、图像压缩编码、图像增强、图像还原、图像分割、图像描述以及图像分类等。

计算机视觉，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送至仪器检测的图像。

图像合成，是指将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

如图1所示，该图像合成方法，包括：

S101：获取多个初始图像。

其中，初始图像，是指待进行图像合成的图像，该初始图像可以经由可见光相机采集，或者，也可以由红外相机采集，对此不做限制。

本公开实施例中，在获取多个初始图像时，可以是预先在本公开实施例的执行主体中配置图像获取装置，以从其他存储介质或网络中获取初始图像，或者，还可以是可以针对图像合成装置预先配置数据接口，经由该数据接口接收图像合成请求，而后从图像合成请求中解析得到初始图像，对此不做限制。

可以理解的是，由于拍摄物体尺寸或者拍摄的精度限制，本公开实施例中的多个初始图像可以经由摄像装置连续在各个方向对拍摄场景或物体的不同区域进行图像采集，以获取描述同一摄像场景或物体不同区域的多个初始图像。

本公开实施例中，在获取多个初始图像时，可以及时触发后续步骤，以实现多个初始图像的拼接处理，使所得目标图像可以有效表征多个初始图像的相关信息。

S102：确定与多个初始图像分别对应的多个目标光源信息。

其中，光源信息，是指摄像装置在获取图像时所使用光源的相关信息。而目标光源信息，则是指与初始图像对应的光源信息。

本公开实施例中，多个目标光源信息可能是同一光源信息，或者，也可能对应于不同的光源信息，对此不做限制。

举例而言，目标光源信息可以为可见光、红外光以及经由滤光片处理后的光等，对此不做限制。

本公开实施例中，在确定与多个初始图像分别对应的多个目标光源信息时，可以是将多个初始图像分别输入至预训练的光源识别模型中，以得到多个初始图像分别对应的多个目标光源信息，或者，还可以确定多个初始图像的来源信息，而后根据来源信息确定与多个初始图像分别对应的多个目标光源信息，对此不做限制。

可以理解的是，在图像合成过程中，光源信息可能会对多个初始图像之间的匹配效果产生影响，当确定与多个初始图像分别对应的多个目标光源信息，可以为后续多个初始图像的处理过程提供可靠的参考依据。

S103：根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像。

其中，待合成图像，是指基于目标光源信息对初始图像进行处理，所得到的图像。

本公开实施例中，在根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像时，可以是预先针对多个目标光源信息分别训练对应的图像处理模型，而后基于目标光源信息将多个初始图像分别输入至对应的图像处理模型中，以得到多个待合成图像，或者，还可以采用第三方图像处理装置，根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像，对此不做限制。

本公开实施例中，当根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像时，可以基于目标光源信息实现对初始图像的灵活处理，从而有效提升所得多个待合成图像之间的匹配程度，提升该图像合成方法的成功率。

S104：合成多个待合成图像，以得到目标图像。

其中，目标图像，是指多个待合成图像经由融合处理，所得到的图像。

一些实施例中，在合成多个待合成图像，以得到目标图像时，可以是获取多个待合成图像的灰度信息，而后采用最小二乘法得到多个待合成图像之间的灰度值差异，并基于该灰度值差异确定多个待合成图像之间的相似程度，由此得到多个待合成图像之间重叠区域的范围和位置，从而实现图像合成，得到目标图像。

另一些实施例中，在合成多个待合成图像，以得到目标图像时，还可以是获取多个待合成图像对应的坐标信息，而后基于该坐标信息完成图像合成，以得到目标图像。

当然，一些实施例中，还可以采用其他任意可能的方法，合成多个待合成图像，以得到目标图像，如按序拼图、轴心融合等方法，对此不做限制。

本实施例中，通过获取多个初始图像，确定与多个初始图像分别对应的多个目标光源信息，根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像，以及合成多个待合成图像，以得到目标图像，由此，实现根据初始图像的目标光源信息对其进行相应的优化处理，当基于处理所得待合成图像合成得到目标图像时，能够有效提升图像合成质量，提升所得目标图像对多个初始图像相关信息的表征准确性。

图2是根据本公开第二实施例的示意图。

如图2所示，该图像合成方法，包括：

S201：获取多个初始图像。

S201的描述说明可以具体参见上述实施例，在此不再赘述。

S202：确定与多个初始图像分别对应的多个目标图像特征。

其中，图像特征，可以是指描述图像灰度/色彩、平均亮度、色度、饱和度等特征的相关信息。而目标图像特征，是指初始图像对应的图像特征。

本公开实施例中，由于不同光源信息对应初始图像的图像特征可能存在差异，当确定与多个初始图像分别对应的多个目标图像特征，可以为后续确定多个目标光源信息提供可靠的分析依据。

S203：根据多个目标图像特征，分别确定多个目标光源信息。

一些实施例中，在根据多个目标图像特征，分别确定多个目标光源信息时，可以是对多个目标图像特征进行对比分析，根据分析对比结果将多个目标图像特征划分为不同的分组，而后依据分组信息分别确定多个目标光源信息。

另一些实施例中，在根据多个目标图像特征，分别确定多个目标光源信息，还可以是采用关系表，该关系表中可以记载了适配于多个目标图像特征的多个目标光源信息。

或者，还可以采用其他任意可能的方法，根据多个目标图像特征，分别确定多个目标光源信息，如工程学或数学的方法，对此不做限制。

可选的，一些实施例中，在根据多个目标图像特征，分别确定多个目标光源信息时，可以是获取多个参考光源信息，确定与多个参考光源信息分别对应的多个参考图像特征，从多个参考图像特征中确定与目标图像特征所匹配参考图像特征，以及将所匹配参考图像特征所对应参考光源信息作为目标光源信息，以得到多个目标光源信息，由此，多个参考图像特征可以为目标光源信息的确定过程提供可靠的参考依据，当基于多个参考图像特征与目标图像特征进行匹配处理时，可以有效提升确定多个目标光源信息的工作效率和准确性。

其中，参考光源信息，是指预先针对初始图像所配置的多个光源信息。

其中，参考图像特征，是指参考光源信息对应的图像特征。

可以理解的是，相同光源信息下，多张图像对应的图像特征存在相似性，通过确定参考图像特征，可以为目标光源信息的确定过程提供可靠的参考对象。

举例而言，可见光图像和滤光片图像包含图像色度信息，可见光图像的饱和度高于滤光片图像，红外光图像为灰度图像且不存在色度信息，基于上述特征信息，与初始图像对应的参考图像特征进行分析对比，即可以得到多个目标光源信息。

也即是说，本公开实施例在获取多个初始图像之后，可以确定与多个初始图像分别对应的多个目标图像特征，根据多个目标图像特征，分别确定多个目标光源信息，由于不同目标光源信息对应的目标图像特征可能存在差异，当根据多个目标图像特征分别确定多个目标光源信息时，可以实现对目标光源信息的准确判断，能够有效提升所得目标光源信息的可靠性。

S204：确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息。

其中，图像描述信息，可以是指描述对应初始图像质量的相关信息。

可以理解的是，多个初始图像对应的图像描述信息可能存在差异，当确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息时，可以为后续确定多个图像增强方法提供可靠的参考依据，有效提升图像增强处理效果。

S205：根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法。

其中，图像增强方法，是指基于图像描述信息所生成的针对对应初始图像的图像处理方法，可以被用于指示多个初始图像对应的增强处理过程。

一些实施例中，在根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法时，可以是预先基于多个目标光源信息分别确定多个预设图像描述信息，该预设图像描述信息满足图像合成需求，而后将多个图像描述信息与对应预设图像描述信息进行分析对比，并根据分析对比结果确定对应的图像增强方法。

另一些实施例中，在根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法时，还可以是分别将多个图像描述信息与对应目标光源信息输入至预训练的机器学习模型中，以得到对应的图像增强方法。

或者，还可以采用其他任意可能的方法，根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法，对此不做限制。

本公开实施例中，通过根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法，可以保证所得多个图像增强方法的适用性，从而为初始图像的增强处理过程提供可靠的执行依据。

S206：根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像。

本公开实施例中，在根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像时，可以是根据多个图像增强方法分别配置对应的图像增强装置，而后使用多个图像增强装置分别处理对应的初始图像，以得到多个待合成图像，或者，也可以是分别将多个图像增强方法和相应的多个初始图像输入至预训练的图像增强模型中，以得到多个待合成图像，对此不做限制。

举例而言，不同目标光源信息对应的初始图像可以对应选择适应的图像增强方法，例如边缘提取、高斯滤波等。针对红外光图像，可以采取灰度信息增强；针对可见光图像，可以采取边缘特征增强；针对滤光片图像，可以采取色度信息增强。

也即是说，本公开实施例在根据多个目标图像特征，分别确定多个目标光源信息之后，可以确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息，根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法，根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像，由此，可以基于多个图像描述信息快速、准确地确定对应的图像增强方法，能够实现对多个初始图像对应图像增强方法的灵活确定，从而有效提升所得图像增强方法对于初始图像的适用性。

S207：根据多个目标光源信息，确定参考合成参数。

其中，参考合成参数，是指多个待合成图像在图像合成过程中的参数信息。例如，可以是两个相邻待合成图像在拼接区域的亮度对比度。

本公开实施例中，通过根据多个目标光源信息，确定参考合成参数，所得参考合成参数可以为后续图像合成过程提供可靠的参考依据，以便于根据不同的参考合成参数确定对应的图像合成策略。

S208：根据参考合成参数合成多个待合成图像，以得到目标图像。

举例而言，如图3所示，图3是本公开实施例提出的一图像合成示意图，其中，9个待合成图像基于参考合成参数，可以采用对应的图像拼接策略，以得到右侧的目标图像。

也即是说，本公开实施例在根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像之后，可以根据多个目标光源信息，确定参考合成参数，而后根据参考合成参数合成多个待合成图像，以得到目标图像，由此，当基于参考合成参数合成多个待合成图像时，可以有效提升该图像合成过程对于多个待合成图像的适用性，能够有效提升图像合成过程中的灵活性，以适配于个性化的应用场景。

本实施例中，通过确定与多个初始图像分别对应的多个目标图像特征，根据多个目标图像特征，分别确定多个目标光源信息，由于不同目标光源信息对应的目标图像特征可能存在差异，当根据多个目标图像特征分别确定多个目标光源信息时，可以实现对目标光源信息的准确判断，能够有效提升所得目标光源信息的可靠性，通过获取多个参考光源信息，确定与多个参考光源信息分别对应的多个参考图像特征，从多个参考图像特征中确定与目标图像特征所匹配参考图像特征，以及将所匹配参考图像特征所对应参考光源信息作为目标光源信息，以得到多个目标光源信息，由此，多个参考图像特征可以为目标光源信息的确定过程提供可靠的参考依据，当基于多个参考图像特征与目标图像特征进行匹配处理时，可以有效提升确定多个目标光源信息的工作效率和准确性，通过确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息，根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法，根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像，由此，可以基于多个图像描述信息快速、准确地确定对应的图像增强方法，能够实现对多个初始图像对应图像增强方法的灵活确定，从而有效提升所得图像增强方法对于初始图像的适用性，通过根据多个目标光源信息，确定参考合成参数，而后根据参考合成参数合成多个待合成图像，以得到目标图像，由此，当基于参考合成参数合成多个待合成图像时，可以有效提升该图像合成过程对于多个待合成图像的适用性，能够有效提升图像合成过程中的灵活性，以适配于个性化的应用场景。

图4是根据本公开第三实施例的示意图。

如图4所示，该图像合成方法，包括：

S401：获取多个初始图像。

S402：确定与多个初始图像分别对应的多个目标光源信息。

S403：确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息。

S401-S403的描述说明可以具体参见上述实施例，在此不再赘述。

S404：根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个待增强特征信息。

其中，待增强特征信息，是指初始图像的多个特征信息中，待进行增强处理的特征信息。

可以理解的是，不同光源信息对应的图像特征可能存在差异，当根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个待增强特征信息时，可以实现对初始图像中待增强特征的准确定位，为后续确定图像增强方法提供可靠的分析对象。

S405：根据多个待增强特征信息，分别确定相应多个图像增强方法。

也即是说，本公开实施例在确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息之后，可以根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个待增强特征信息，而后根据多个待增强特征信息，分别确定相应多个图像增强方法，由于不同初始图像的待增强特征信息可能存在差异，当基于多个待增强特征信息分别确定相应多个图像增强方法时，可以有效提升多个图像增强方法在执行过程中的针对性，从而准确、快速地实现针对多个待增强特征信息的增强处理过程。

S406：获取与多个目标光源信息分别对应的多个标定图像。

其中，标定图像，是指可以被作为待合成图像进行图像合成操作的图像。

本公开实施例中，可以预先获取多个目标光源信息分别对应的参考待合成图像，并将该参考待合成图像作为标定图像，以便于初始图像与标定图像之间进行特征分析，并根据分析结果执行图像增强处理过程。

S407：基于多个图像增强方法分别从相应多个标定图像中提取多个标定图像特征。

其中，标定图像特征，是指标定图像对应的图像特征。该标定图像特征，可以满足待合成图像对应的特征需求。

本公开实施例中，当基于多个图像增强方法分别从相应多个标定图像中提取多个标定图像特征，该标定图像特征可以作为参考标准，有效指示后续的增强处理过程。

S408：根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像。

一些实施例中，在根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像时，可以是基于多个标定图像特征配置对应的特征阈值，而后基于该特征阈值对多个初始图像进行增强处理，以得到多个待合成图像。

另一些实施例中，在根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像时，还可以是预先配置增强倍数，基于该增强倍数对初始图像进行增强处理，并获取处理后的图像特征，而后将该图像特征与标定图像特征进行分析对比，以确定是否再次基于该增强倍数对初始图像进行增强处理，在处理后的图像特征满足标定图像特征的相关信息时，确定此时所得图像为待合成图像。

或者，还可以采用其他任意可能的方法，根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像，如工程学或数学的方法，对此不做限制。

可选的，一些实施例中，在根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像时，可以是基于多个图像增强方法分别从相应多个初始图像中提取多个待增强图像特征，根据多个标定图像特征分别对相应多个待增强图像特征进行增强处理，以得到多个目标图像特征，以及根据多个目标图像特征对相应多个初始图像进行描述处理，以得到多个待合成图像，由此，可以实现对初始图像中多个待增强图像特征的准确定位，并基于标定图像特征准确地对待增强图像特征进行增强处理，从而避免对初始图像中其它特征进行增强而造成资源浪费，有效提升该图像合成过程中的资源利用率。

其中，待增强图像特征，是指初始图像的多个图像特征中，待进行增强处理的图像特征。

也即是说，本公开实施例在根据多个待增强特征信息，分别确定相应多个图像增强方法之后，可以获取与多个目标光源信息分别对应的多个标定图像，基于多个图像增强方法分别从相应多个标定图像中提取多个标定图像特征，根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像，由此，多个标定图像特征可以为初始图像的增强处理过程提供准确的参考标准，以有效提升初始图像对应增强处理过程的可靠性，提升所得待合成图像对于自身图像特征的表征清晰性。

S409：合成多个待合成图像，以得到目标图像。

S409的描述说明可以具体参见上述实施例，在此不再赘述。

举例而言，如图5所示，图5是本公开实施例提出的一图像合成流程示意图，其中，在获取初始图像的同时，可以获取该初始图像对应的图像拼接坐标，以辅助后续的图像拼接过程；对初始图像的目标光源信息进行判断，可以分为可见光、红外光以及滤光片三种类型；对初始图像的图像质量进行判断，以确定针对初始图像的图像增强方法；由数据增强模块基于图像增强方法和目标光源信息对初始图像进行增强处理，以得到待合成图像；由矫正模块根据目标光源信息选取不同的映射矩阵对待合成图像进行矫正处理；由拼图模块对矫正处理后的多个待合成图像进行拼接处理，以得到目标图像，该拼接过程可以基于参考合成参数灵活选取拼接策略。

本实施例中，通过根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个待增强特征信息，而后根据多个待增强特征信息，分别确定相应多个图像增强方法，由于不同初始图像的待增强特征信息可能存在差异，当基于多个待增强特征信息分别确定相应多个图像增强方法时，可以有效提升多个图像增强方法在执行过程中的针对性，从而准确、快速地实现针对多个待增强特征信息的增强处理过程，通过获取与多个目标光源信息分别对应的多个标定图像，基于多个图像增强方法分别从相应多个标定图像中提取多个标定图像特征，根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像，由此，多个标定图像特征可以为初始图像的增强处理过程提供准确的参考标准，以有效提升初始图像对应增强处理过程的可靠性，提升所得待合成图像对于自身图像特征的表征清晰性，通过基于多个图像增强方法分别从相应多个初始图像中提取多个待增强图像特征，根据多个标定图像特征分别对相应多个待增强图像特征进行增强处理，以得到多个目标图像特征，以及根据多个目标图像特征对相应多个初始图像进行描述处理，以得到多个待合成图像，由此，可以实现对初始图像中多个待增强图像特征的准确定位，并基于标定图像特征准确地对待增强图像特征进行增强处理，从而避免对初始图像中其它特征进行增强而造成资源浪费，有效提升该图像合成过程中的资源利用率。

图6是根据本公开第四实施例的示意图。

如图6所示，该图像合成装置60，包括：

获取模块601，用于获取多个初始图像；

确定模块602，用于确定与多个初始图像分别对应的多个目标光源信息；

第一处理模块603，用于根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像；以及

第二处理模块604，用于合成多个待合成图像，以得到目标图像。

在本公开的一些实施例中，如图7所示，图7是根据本公开第五实施例的示意图，该图像合成装置70，包括：获取模块701、确定模块702、第一处理模块703、第二处理模块704，其中，确定模块702，包括：

第一确定子模块7021，用于确定与多个初始图像分别对应的多个目标图像特征；

第二确定子模块7022，用于根据多个目标图像特征，分别确定多个目标光源信息。

在本公开的一些实施例中，其中，第二确定子模块7022，具体用于：

获取多个参考光源信息；

确定与多个参考光源信息分别对应的多个参考图像特征；

从多个参考图像特征中确定与目标图像特征所匹配参考图像特征；以及

将所匹配参考图像特征所对应参考光源信息作为目标光源信息，以得到多个目标光源信息。

在本公开的一些实施例中，其中，第一处理模块703，包括：

第三确定子模块7031，用于确定多个初始图像分别基于相应多个目标光源信息的多个图像描述信息；

第四确定子模块7032，用于根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个图像增强方法；以及

处理子模块7033，用于根据多个图像增强方法分别对相应多个初始图像进行增强处理，以得到多个待合成图像。

在本公开的一些实施例中，其中，第四确定子模块7032，具体用于：

根据多个图像描述信息，确定与相应多个目标光源信息分别对应的多个待增强特征信息；

根据多个待增强特征信息，分别确定相应多个图像增强方法。

在本公开的一些实施例中，其中，处理子模块7033，具体用于：

获取与多个目标光源信息分别对应的多个标定图像；

基于多个图像增强方法分别从相应多个标定图像中提取多个标定图像特征；以及

根据多个标定图像特征分别对相应多个初始图像进行增强处理，以得到多个待合成图像。

在本公开的一些实施例中，其中，处理子模块7033，还用于：

基于多个图像增强方法分别从相应多个初始图像中提取多个待增强图像特征；

根据多个标定图像特征分别对相应多个待增强图像特征进行增强处理，以得到多个目标图像特征；以及

根据多个目标图像特征对相应多个初始图像进行描述处理，以得到多个待合成图像。

在本公开的一些实施例中，其中，第二处理模块704，具体用于：

根据多个目标光源信息，确定参考合成参数；

根据参考合成参数合成多个待合成图像，以得到目标图像。

可以理解的是，本实施例附图7中的图像合成装置70与上述实施例中的图像合成装置60，获取模块701与上述实施例中的获取模块601，确定模块702与上述实施例中的确定模块602，第一处理模块703与上述实施例中的第一处理模块603，第二处理模块704与上述实施例中的第二处理模块604，可以具有相同的功能和结构。

需要说明的是，前述对图像合成方法的解释说明也适用于本实施例图像合成装置。

本实施例中，通过获取多个初始图像，确定与多个初始图像分别对应的多个目标光源信息，根据多个目标光源信息分别处理相应多个初始图像，以得到多个待合成图像，以及合成多个待合成图像，以得到目标图像，由此，实现根据初始图像的目标光源信息对其进行相应的优化处理，当基于处理所得待合成图像合成得到目标图像时，能够有效提升图像合成质量，提升所得目标图像对多个初始图像相关信息的表征准确性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的图像合成方法的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如执行图像合成方法。例如，在一些实施例中，执行图像合成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的执行图像合成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像合成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像合成方法，包括：

获取多个初始图像；

确定与所述多个初始图像分别对应的多个目标光源信息；

根据所述多个目标光源信息分别处理相应所述多个初始图像，以得到多个待合成图像；以及

合成所述多个待合成图像，以得到目标图像。

2.根据权利要求1所述的方法，其中，所述确定与所述多个初始图像分别对应的多个目标光源信息，包括：

确定与所述多个初始图像分别对应的多个目标图像特征；

根据所述多个目标图像特征，分别确定所述多个目标光源信息。

3.根据权利要求2所述的方法，其中，所述根据所述多个目标图像特征，分别确定所述多个目标光源信息，包括：

获取多个参考光源信息；

确定与所述多个参考光源信息分别对应的多个参考图像特征；

从所述多个参考图像特征中确定与所述目标图像特征所匹配参考图像特征；以及

将所述所匹配参考图像特征所对应参考光源信息作为所述目标光源信息，以得到所述多个目标光源信息。

4.根据权利要求1所述的方法，其中，所述根据所述多个目标光源信息分别处理相应所述多个初始图像，以得到多个待合成图像，包括：

确定所述多个初始图像分别基于相应所述多个目标光源信息的多个图像描述信息；

根据所述多个图像描述信息，确定与相应所述多个目标光源信息分别对应的多个图像增强方法；以及

根据所述多个图像增强方法分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像。

5.根据权利要求4所述的方法，其中，所述根据所述多个图像描述信息，确定与相应所述多个目标光源信息分别对应的多个图像增强方法，包括：

根据所述多个图像描述信息，确定与相应所述多个目标光源信息分别对应的多个待增强特征信息；

根据所述多个待增强特征信息，分别确定相应所述多个图像增强方法。

6.根据权利要求4所述的方法，其中，所述根据所述多个图像增强方法分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像，包括：

获取与所述多个目标光源信息分别对应的多个标定图像；

基于所述多个图像增强方法分别从相应所述多个标定图像中提取多个标定图像特征；以及

根据所述多个标定图像特征分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像。

7.根据权利要求6所述的方法，其中，所述根据所述多个标定图像特征分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像，包括：

基于所述多个图像增强方法分别从相应所述多个初始图像中提取多个待增强图像特征；

根据所述多个标定图像特征分别对相应所述多个待增强图像特征进行增强处理，以得到多个目标图像特征；以及

根据所述多个目标图像特征对相应所述多个初始图像进行描述处理，以得到所述多个待合成图像。

8.根据权利要求1所述的方法，其中，所述合成所述多个待合成图像，以得到目标图像，包括：

根据所述多个目标光源信息，确定参考合成参数；

根据所述参考合成参数合成所述多个待合成图像，以得到所述目标图像。

9.一种图像合成装置，包括：

获取模块，用于获取多个初始图像；

确定模块，用于确定与所述多个初始图像分别对应的多个目标光源信息；

第一处理模块，用于根据所述多个目标光源信息分别处理相应所述多个初始图像，以得到多个待合成图像；以及

第二处理模块，用于合成所述多个待合成图像，以得到目标图像。

10.根据权利要求9所述的装置，其中，所述确定模块，包括：

第一确定子模块，用于确定与所述多个初始图像分别对应的多个目标图像特征；

第二确定子模块，用于根据所述多个目标图像特征，分别确定所述多个目标光源信息。

11.根据权利要求10所述的装置，其中，所述第二确定子模块，具体用于：

获取多个参考光源信息；

确定与所述多个参考光源信息分别对应的多个参考图像特征；

从所述多个参考图像特征中确定与所述目标图像特征所匹配参考图像特征；以及

将所述所匹配参考图像特征所对应参考光源信息作为所述目标光源信息，以得到所述多个目标光源信息。

12.根据权利要求9所述的装置，其中，所述第一处理模块，包括：

第三确定子模块，用于确定所述多个初始图像分别基于相应所述多个目标光源信息的多个图像描述信息；

第四确定子模块，用于根据所述多个图像描述信息，确定与相应所述多个目标光源信息分别对应的多个图像增强方法；以及

处理子模块，用于根据所述多个图像增强方法分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像。

13.根据权利要求12所述的装置，其中，所述第四确定子模块，具体用于：

根据所述多个图像描述信息，确定与相应所述多个目标光源信息分别对应的多个待增强特征信息；

根据所述多个待增强特征信息，分别确定相应所述多个图像增强方法。

14.根据权利要求12所述的装置，其中，所述处理子模块，具体用于：

获取与所述多个目标光源信息分别对应的多个标定图像；

基于所述多个图像增强方法分别从相应所述多个标定图像中提取多个标定图像特征；以及

根据所述多个标定图像特征分别对相应所述多个初始图像进行增强处理，以得到所述多个待合成图像。

15.根据权利要求14所述的装置，其中，所述处理子模块，还用于：

基于所述多个图像增强方法分别从相应所述多个初始图像中提取多个待增强图像特征；

根据所述多个标定图像特征分别对相应所述多个待增强图像特征进行增强处理，以得到多个目标图像特征；以及

根据所述多个目标图像特征对相应所述多个初始图像进行描述处理，以得到所述多个待合成图像。

16.根据权利要求9所述的装置，其中，所述第二处理模块，具体用于：

根据所述多个目标光源信息，确定参考合成参数；

根据所述参考合成参数合成所述多个待合成图像，以得到所述目标图像。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述方法的步骤。

Images