CN114513612B - 一种基于机器学习的ar拍照图像补光方法和系统 - Google Patents

一种基于机器学习的ar拍照图像补光方法和系统 Download PDF

Info

Publication number
CN114513612B
CN114513612B CN202111562350.3A CN202111562350A CN114513612B CN 114513612 B CN114513612 B CN 114513612B CN 202111562350 A CN202111562350 A CN 202111562350A CN 114513612 B CN114513612 B CN 114513612B
Authority
CN
China
Prior art keywords
image
model
character
light supplement
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111562350.3A
Other languages
English (en)
Other versions
CN114513612A (zh
Inventor
张惠阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayou Digital Culture Technology Research Institute Xiamen Co ltd
Original Assignee
Huayou Digital Culture Technology Research Institute Xiamen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayou Digital Culture Technology Research Institute Xiamen Co ltd filed Critical Huayou Digital Culture Technology Research Institute Xiamen Co ltd
Priority to CN202111562350.3A priority Critical patent/CN114513612B/zh
Publication of CN114513612A publication Critical patent/CN114513612A/zh
Application granted granted Critical
Publication of CN114513612B publication Critical patent/CN114513612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器学习的AR拍照图像补光方法，包括：获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图；采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练；响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到AR融合图；本发明提供的方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。

Description

一种基于机器学习的AR拍照图像补光方法和系统
技术领域
本发明涉及拍照领域，特别是指一种基于机器学习的AR拍照图像补光方法和系统。
背景技术
随着VR(Virtual Reality)技术、AR(Augmented Reality)技术的发展，虚拟拍照系统可以满足人们的各种体验，将采集的人像与想要的背景很好的融合在一起。使由于时间、空间等一些因素的限制，导致一些人们想要留念的景、物、人不能重现的问题，可以借助虚拟拍照技术系统得以实现。
该技术能够利用各类传感器，结合数字图像处理技术，实现目标人像与任意背景的替换与融合，实现虚拟拍照功能。
但由于AR拍照设备通常放在不同的应用场所，场所不同的光照环境也会不同；现有AR设备在拍照时，没有智能地根据虚拟场景的光照环境对真实人物进行修饰，从而致使产出的目标人像与背景的融合图从视觉上看不真实或有违和感。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于机器学习的AR拍照图像补光方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。
本发明采用如下技术方案：
一种基于机器学习的AR拍照图像补光方法，包括：
获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
具体地，所述基于全卷积神经网络构建的图像补光模型，具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
具体地，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
具体地，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
本发明实施例另一方面提供一种基于机器学习的AR拍照图像补光系统，包括：
背景图片信息获取单元：获取背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
样本集获取单元：采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
模型训练单元：将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
AR融合图获取单元：响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
具体地，所述模型训练单元中，基于全卷积神经网络构建的图像补光模型，其中图像补光模型具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
具体地，所述样本集获取单元中，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
具体地，所述模型训练单元中，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
本发明实施例再一方面提供一种基于机器学习的AR拍照图像补光的电子设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时可以实现上述的一种基于机器学习的AR拍照图像补光的方法步骤。
本发明实施例又一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于机器学习的AR拍照图像补光的方法步骤。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提供一种基于机器学习的AR拍照图像补光方法，包括：获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图；采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练；响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到AR融合图；本发明提供的方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。
(2)本发明提供的图像补光模型，引入残差网络并在相应的卷积层后面添加归一化层，解决了深度神经网络训练中的梯度消失和爆炸问题；损失函数综合考虑像素点间的独立性和局部相关性。
(3)本发明提供的方法中，虚拟场景背景图片中拍照区域，与人物实际拍摄区域1:1完全相同，简化图像对应关系以及图像补光模型的训练。
附图说明
图1为本发明实施例提供的一种基于机器学习的AR拍照图像补光方法流程图；
图2为本发明实施例提供的一种基于机器学习的AR拍照图像补光系统结构图；
图3为本发明实施例提供的一种电子设备的实施例示意图；
图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
本发明提供一种基于机器学习的AR拍照图像补光方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。
如图1为本发明提供的一种基于机器学习的AR拍照图像补光方法，具体包括：
一种基于机器学习的AR拍照图像补光方法，包括：
S101：获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
AR拍照中，存储有多张背景图片，用户可以根据自己的喜好选择背景图片，当用户站定在摄像头前一定位置处，用户的画像会显示该背景图片的一个区域中，而且虚拟场景背景图片中这一拍照区域，与人物实际拍摄区域1:1完全相同，简化图像对应关系以及图像补光模型的训练；
另外，不同的背景图片亮度显示不同，而用户拍摄时环境不同，光照也不同，显示在背景图片中拍照区域的亮度也不同，而且往往和背景图片亮度不相配，导致背景和人物的融合图从视觉上看不真实或有违和感。
因此，首先获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；关于亮度分布图，通常，人们把图像的亮度分为0到255共256个数值，数值越大，代表的亮度越高。其中0代表纯黑色的最暗区域，255表示最亮的纯白色，而中间的数字就是不同亮度的灰色。
S102：采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
采集不同光线下的人物图，即可选在不同的天气情况下，如阴天，晴天，以及一天中不同的时间，进行人物图的获取，并进行数据增强，具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动，来进一步提高样本数量；
然后按照背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像。
S103：将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
具体地，所述基于全卷积神经网络构建的图像补光模型，具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
具体地，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
具体地，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
网络模型参数初始化、优化器初始化、学习率初始化等。本发明的网络参数初始化使用Xavier方法；RMSprop优化器设置为γ为0.9,；初始化训练速率为10-4，每10次降低20％；学习率可以设置为0.000001，迭代次数可以设置为1500。
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
第一部分：均方误差损失函数，损失MSE
Figure BDA0003420931960000061
其中，M和N为图像的高度和宽度，Y′ij为输出图像的亮度值，Yij为输入图像的亮度值；i,j为图像像素点的横、纵坐标。
第二部分：结构相似性损失函数，损失SSIM，本实例利用SSIM指数来测量目标图像和参考图像的局部模式一致性。SSIM指数通常用于图像质量评价。它从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差。SSIM值的取值范围为[-1,1]，当两幅图像相同时等于1。使用标准偏差为1.5的11×11归一化高斯核估计局部统计量，定义的权值是W＝{W(t)|t∈T,T＝{(-5,-5),…,(5,5)}}，其中t为中心偏移，T包含内核的所有位置，使用卷积层实现，权值为W不变。
对以上两部分损失求和，得到整体损失：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
S104：响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
如图2，本发明实施例另一方面提供一种基于机器学习的AR拍照图像补光系统，包括：
背景图片信息获取单元201：获取背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
AR拍照中，存储有多张背景图片，用户可以根据自己的喜好选择背景图片，当用户站定在摄像头前一定位置处，用户的画像会显示该背景图片的一个区域中，而且虚拟场景背景图片中这一拍照区域，与人物实际拍摄区域1:1完全相同，简化图像对应关系以及图像补光模型的训练；
另外，不同的背景图片亮度显示不同，而用户拍摄时环境不同，光照也不同，显示在背景图片中拍照区域的亮度也不同，而且往往和背景图片亮度不相配，导致背景和人物的融合图从视觉上看不真实或有违和感。
因此，首先获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；关于亮度分布图，通常，人们把图像的亮度分为0到255共256个数值，数值越大，代表的亮度越高。其中0代表纯黑色的最暗区域，255表示最亮的纯白色，而中间的数字就是不同亮度的灰色。
样本集获取单元202：采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
采集不同光线下的人物图，即可选在不同的天气情况下，如阴天，晴天，以及一天中不同的时间，进行人物图的获取，并进行数据增强，具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动，来进一步提高样本数量；
然后按照背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像。
模型训练单元203：将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
具体地，所述基于全卷积神经网络构建的图像补光模型，具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
具体地，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
具体地，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
网络模型参数初始化、优化器初始化、学习率初始化等。本发明的网络参数初始化使用Xavier方法；RMSprop优化器设置为γ为0.9,；初始化训练速率为10-4，每10次降低20％；学习率可以设置为0.000001，迭代次数可以设置为1500。
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
第一部分：均方误差损失函数，损失MSE
Figure BDA0003420931960000081
其中，M和N为图像的高度和宽度，Y′ij为输出图像的亮度值，Yij为输入图像的亮度值；i,j为图像像素点的横、纵坐标。
第二部分：结构相似性损失函数，损失SSIM，本实例利用SSIM指数来测量目标图像和参考图像的局部模式一致性。SSIM指数通常用于图像质量评价。它从三个局部统计量计算两个图像之间的相似性，即均值，方差和协方差。SSIM值的取值范围为[-1,1]，当两幅图像相同时等于1。使用标准偏差为1.5的11×11归一化高斯核估计局部统计量，定义的权值是W＝{W(t)|t∈T,T＝{(-5,-5),…,(5,5)}}，其中t为中心偏移，T包含内核的所有位置，使用卷积层实现，权值为W不变。
对以上两部分损失求和，得到整体损失：Loss＝LMSE+αLSSIM，α是均方误差损失函数和结构相似性损失函数之间的权重。
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
AR融合图获取单元204：响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
如图3所示，本发明实施例提供了一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现本发明实施例提供的一种基于机器学习的AR拍照图像补光方法。
在具体实施过程中，处理器320执行计算机程序311时，可以实现：
获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
由于本实施例所介绍的电子设备为实施本发明实施例中所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现本发明实施例提供的一种基于机器学习的AR拍照图像补光方法；
在具体实施过程中，该计算机程序411被处理器执行时可以实现：
一种基于机器学习的AR拍照图像补光方法，包括：
获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明提供一种基于机器学习的AR拍照图像补光方法，包括：获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图；采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练；响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到AR融合图；本发明提供的方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。
本发明提供的图像补光模型，引入残差网络并在相应的卷积层后面添加归一化层，解决了深度神经网络训练中的梯度消失和爆炸问题；损失函数综合考虑像素点间的独立性和局部相关性。
本发明提供的方法中，虚拟场景背景图片中拍照区域，与人物实际拍摄区域1:1完全相同，简化图像对应关系以及图像补光模型的训练。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.一种基于机器学习的AR拍照图像补光方法，其特征在于，包括：
获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
2.根据权利要求1所述的一种基于机器学习的AR拍照图像补光方法，其特征在于，所述基于全卷积神经网络构建的图像补光模型，具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
3.根据权利要求1所述的一种基于机器学习的AR拍照图像补光方法，其特征在于，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
4.根据权利要求1所述的一种基于机器学习的AR拍照图像补光方法，其特征在于，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
5.一种基于机器学习的AR拍照图像补光系统，其特征在于，包括：
背景图片信息获取单元：获取背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；
样本集获取单元：采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；
模型训练单元：将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；
AR融合图获取单元：响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。
6.根据权利要求5所述的一种基于机器学习的AR拍照图像补光系统，其特征在于，所述模型训练单元中，基于全卷积神经网络构建的图像补光模型，其中图像补光模型具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。
7.根据权利要求5所述的一种基于机器学习的AR拍照图像补光系统，其特征在于，所述样本集获取单元中，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。
8.根据权利要求5所述的一种基于机器学习的AR拍照图像补光系统，其特征在于，所述模型训练单元中，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：
训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；
将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；
确定损失函数，具体是将均方误差损失函数与结构相似性损失函数的和确定为所述图像补光模型的整体损失函数；
根据整体损失函数确定所述图像补光模型的误差；
将所述图像补光模型的误差反向传播，调整所述图像补光模型的参数，对所述图像补光模型进行优化；
对所述图像补光模型进行迭代训练，直到所述整体损失函数收敛，训练完成后得到训练好的图像补光模型。
9.一种基于机器学习的AR拍照图像补光的电子设备，其特征在于，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时可以实现权利要求1至4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202111562350.3A 2021-12-20 2021-12-20 一种基于机器学习的ar拍照图像补光方法和系统 Active CN114513612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111562350.3A CN114513612B (zh) 2021-12-20 2021-12-20 一种基于机器学习的ar拍照图像补光方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111562350.3A CN114513612B (zh) 2021-12-20 2021-12-20 一种基于机器学习的ar拍照图像补光方法和系统

Publications (2)

Publication Number Publication Date
CN114513612A CN114513612A (zh) 2022-05-17
CN114513612B true CN114513612B (zh) 2022-12-20

Family

ID=81547351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111562350.3A Active CN114513612B (zh) 2021-12-20 2021-12-20 一种基于机器学习的ar拍照图像补光方法和系统

Country Status (1)

Country Link
CN (1) CN114513612B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511587B1 (ko) * 2013-12-12 2015-04-14 현대오트론 주식회사 헤드업 디스플레이 정보 표시 장치 및 방법
CN106548210B (zh) * 2016-10-31 2021-02-05 腾讯科技（深圳）有限公司 基于机器学习模型训练的信贷用户分类方法及装置
US11579441B2 (en) * 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
CN112118437B (zh) * 2020-09-24 2021-08-17 上海松鼠课堂人工智能科技有限公司 虚拟现实的课堂模拟方法和系统

Also Published As

Publication number Publication date
CN114513612A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
Liu et al. HoLoCo: Holistic and local contrastive learning network for multi-exposure image fusion
CN109919869B (zh) 一种图像增强方法、装置及存储介质
Ren et al. Gated fusion network for single image dehazing
Tursun et al. An objective deghosting quality metric for HDR images
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN108229519B (zh) 图像分类的方法、装置及系统
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
CN102576456B (zh) 使用范围信息的数字图像亮度调节
US11763430B2 (en) Correcting dust and scratch artifacts in digital images
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
US10992845B1 (en) Highlight recovery techniques for shallow depth of field rendering
CN102194215A (zh) 图像处理设备、方法以及程序
Liu et al. Image de-hazing from the perspective of noise filtering
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN113039576A (zh) 图像增强系统和方法
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
Singh et al. Weighted least squares based detail enhanced exposure fusion
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
Song et al. Multi-scale joint network based on Retinex theory for low-light enhancement
CN111127367A (zh) 人脸图像处理的方法、装置及系统
CN117952883A (zh) 一种基于双边网格和显著性引导的逆光图像增强方法
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
Cong-Hua et al. Single image dehazing algorithm using wavelet decomposition and fast kernel regression model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant