CN110677591B - 样本集构建方法、图像成像方法、装置、介质及电子设备 - Google Patents

样本集构建方法、图像成像方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN110677591B
CN110677591B CN201911033534.3A CN201911033534A CN110677591B CN 110677591 B CN110677591 B CN 110677591B CN 201911033534 A CN201911033534 A CN 201911033534A CN 110677591 B CN110677591 B CN 110677591B
Authority
CN
China
Prior art keywords
image
scene
sample
shooting
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911033534.3A
Other languages
English (en)
Other versions
CN110677591A (zh
Inventor
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911033534.3A priority Critical patent/CN110677591B/zh
Publication of CN110677591A publication Critical patent/CN110677591A/zh
Application granted granted Critical
Publication of CN110677591B publication Critical patent/CN110677591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种样本集构建方法、图像成像方法、装置、介质及电子设备,其中,通过以预设起始拍摄位置为起点,以预设结束拍摄位置为终点,在预设起始拍摄位置和预设结束拍摄位置之间逐渐调整拍摄位置,在每一拍摄位置,以预设起始环境照度为起点,以预设结束环境照度为终点,在预设起始环境终端和预设结束环境照度之间逐渐调整环境照度进行拍摄,从而在每一拍摄位置拍摄得到样本场景在不同环境照度下的场景图像集,最终利用拍摄得到的场景图像集中的场景图像组合为样本对,得到用于训练图像增强模型的样本集,由于样本集中的样本对的噪声分布为真实的噪声分布,利用其进行图像增强模型的训练,将能够提高图像增强模型的图像增强效果。

Description

样本集构建方法、图像成像方法、装置、介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种样本集构建方法、图像成像方法、装置、介质及电子设备。
背景技术
目前,用户通常利用具有拍摄功能的电子设备拍摄图像,从而能够随时随地的记录身边发生的事情,看到的景物等。但是,由于电子设备本身的硬件原因,在某些场景下拍摄图像会出现较多的噪点,影响了图像的质量。基于此,相关技术中通过训练图像增强模型来对包括噪点的图像进行增强,消除其中的噪点。其中,在进行模型训练时,往往采用一张无噪点图像作为目标输出,将无噪点图像加噪后作为输入。然而,这种方式会使得输入图像的噪声分布偏离真实的噪声分布,导致最终训练得到的图像增强模型的图像增强效果较差。
发明内容
本申请实施例提供了一种样本集构建方法、图像成像方法、样本集构建装置、图像成像、存储介质以及电子设备,能够提供真实噪声分布的样本集用于模型训练,以提高训练得到图像增强模型的图像增强效果。
本申请实施例提供的样本集构建方法,包括:
在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;
按照预设步长降低所述样本场景的环境照度,并在所述预设起始拍摄位置再次拍摄得到所述样本场景的场景图像集,直至在所述预设起始拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
以当前的拍摄位置为基础调整拍摄位置,并恢复所述样本场景的环境照度至预设起始环境照度;
在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出所述目标场景图像对应的目标曝光时长;
将每一场景图像集中曝光时长短于所述目标曝光时长的场景图像与所述目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
本申请实施例提供的图像成像方法,包括:
当接收到成像指令时,获取当前预览图像的图像亮度,所述当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
根据所述当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
按照所述目标曝光时长对所述待拍摄场景进行多次拍摄,得到多帧场景图像;
对所述多帧场景图像进行多帧合成处理,得到合成图像;
调用预先训练的图像增强模型对所述合成图像进行图像增强处理,将增强后的合成图像作为所述成像指令的成像图像;
其中,所述图像增强模型利用本申请实施例提供的样本构建方法所构建的样本集训练得到。
本申请实施例提供的样本集构建装置,包括:
拍摄模块,用于在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;以及
按照预设步长降低所述样本场景的环境照度,并在所述预设起始拍摄位置再次拍摄得到所述样本场景的场景图像集,直至在所述预设起始拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
调整模块,用于以当前的拍摄位置为基础调整拍摄位置,并恢复所述样本场景的环境照度至预设起始环境照度;
所述拍摄模块还用于在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
识别模块,用于获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出所述目标场景图像对应的目标曝光时长;
构建模块,用于将每一场景图像集中曝光时长短于所述目标曝光时长的场景图像与所述目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
本申请实施例提供的图像成像装置,包括:
获取模块,用于当接收到成像指令时,获取当前预览图像的图像亮度,所述当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
确定模块,用于根据所述当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
拍摄模块,用于按照所述目标曝光时长对所述待拍摄场景进行多次拍摄,得到多帧场景图像;
合成模块,用于对所述多帧场景图像进行多帧合成处理,得到合成图像;
增强模块,用于调用预先训练的图像增强模型对所述合成图像进行图像增强处理,将增强后的合成图像作为所述成像指令的成像图像;
其中,所述图像增强模型利用本申请实施例提供的样本构建方法所构建的样本集训练得到。
本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行如本申请实施例提供的样本集构建方法,或者使得所述计算机执行如本申请实施例提供的图像成像方法。
本申请实施例提供的电子设备,包括处理器和存储器,所述存储器存储有计算机程序,且所述处理器通过调用所述计算机程序,用于执行如本申请实施例提供的样本集构建方法,或者执行本申请实施例提供的图像成像方法。
相比于相关技术,本申请通过以预设起始拍摄位置为起点,以预设结束拍摄位置为终点,在预设起始拍摄位置和预设结束拍摄位置之间逐渐调整拍摄位置,在每一拍摄位置,以预设起始环境照度为起点,以预设结束环境照度为终点,在预设起始环境终端和预设结束环境照度之间逐渐调整环境照度进行拍摄,从而在每一拍摄位置拍摄得到样本场景在不同环境照度下的场景图像集,最终利用拍摄得到的场景图像集中的场景图像组合为样本对,得到用于训练图像增强模型的样本集,由于样本集中的样本对的噪声分布为真实的噪声分布,利用其进行图像增强模型的训练,将能够提高图像增强模型的图像增强效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的样本集构建方法的一流程示意图。
图2是本申请实施例中搭建的样本采集环境的示意图。
图3是本申请实施例中进行多帧合成处理得到合成图像的效果示意图。
图4是本申请实施例提供的图像成像方法的一流程示意图。
图5是本申请实施例中触发成像指令的示意图。
图6是本申请实施例中进行图像增强的效果示意图。
图7是本申请实施例提供的样本构建装置的一结构示意图。
图8是本申请实施例提供的图像成像装置的一结构示意图。
图9是本申请实施例提供的电子设备的一结构示意图。
具体实施方式
应当说明的是,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习技术,具体通过如下实施例进行说明:
本申请实施例提供一种样本集构建方法、图像成像方法、样本集构建装置、图像成像装置、存储介质以及电子设备。其中,该样本集构建方法的执行主体可以是本申请实施例提供的样本集构建装置,或者集成了该样本集构建装置的电子设备,其中该样本集构建装置可以采用硬件或软件的方式实现;该图像成像方法的执行主体可以是本申请实施例提供的图像成像装置,或者集成了该图像成像装置的电子设备,其中该图像成像装置可以采用硬件或者软件的方式实现。电子设备可为计算设备诸如膝上型计算机、包含嵌入式计算机的计算机监视器、平板电脑、蜂窝电话、媒体播放器、或其他手持式或便携式电子设备、较小的设备(诸如腕表设备、挂式设备、耳机或听筒设备、被嵌入在眼镜中的设备或者佩戴在用户的头部上的其他设备,或其他可佩戴式或微型设备)、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、导航设备、嵌入式系统(诸如其中具有显示器的电子设备被安装在信息亭或汽车中的系统)等。
请参照图1,图1为本申请实施例提供的样本集构建方法的流程示意图,以下将从电子设备的角度进行说明,如图1所示,本申请实施例提供的样本集构建方法的流程可以如下:
在101中,在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集。
应当说明的是,照度是一个客观的参量,为单位面积上所能够接收可见光的光通量,单位为勒克斯。亮度,是指物体发射出或反射出的光被人眼所感知的程度。
本申请实施例中,预先搭建不透光的样本采集环境,即样本采集环境外部的光线无法射入样本采集环境中,而样本采集环境中的光线也无法射出样本采集环境。然后,在样本采集环境中进一步设置样本场景,该样本场景中包括但不限于标准色卡、清晰度测试卡、畸变测试卡、人像素材、文字素材以及场景模拟沙盘等。然后,在样本采集环境中设置亮度可调的光源,以此来改变样本场景的环境照度。然后,在样本采集环境中设置移动装置,将电子设备设置在移动装置之上,使得电子设备的摄像头朝向样本场景,从而能够对样本场景进行拍摄。
其中,电子设备和样本采集环境中的光源和移动装置建立有通信连接,从而电子设备可以通过控制指令对光源的发光量进行调整,以改变样本场景的环境照度,电子设备还可以通过控制指令改变移动装置的位置,以改变电子设备相对于样本场景的拍摄角度。
比如,请参照图2,在搭建的样本采集环境中,包括样本场景、光源以及由移动部分和轨道部分组成的移动装置,样本场景中设置有标准色卡、清晰度测试卡、人像素材、场景模拟沙盘、畸变测试卡以及文字素材,电子设备通过支撑杆固定在移动部分上。其中,光源的发光量可调,能够根据电子设备的控制改变发光量,从而改变样本场景的环境照度;移动部分可沿轨道部分左右滑动,从而根据电子设备的控制而改变电子设的拍摄位置。
本申请实施例中,在开始进行样本集的构建之前,电子设备首先发送光源控制指令至光源,对其发光量进行调整,从而将样本场景的环境照度调整为预设起始环境照度,此外,电子设备还发送移动控制指令至移动装置,由移动装置的移动部分带动电子设备移动至预设起始拍摄位置。
其中,预设起始环境照度以及预设起始拍摄位置可由本领域普通技术人员根据实际需要进行设置,比如,在图2所示的样本采集环境中,本申请实施例将预设起始环境照度设置为1勒克斯,将预设起始拍摄位置设置为轨道部分的最左端。
在完成以上准备操作之后,电子设备即可在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集。
应当说明的是,曝光时长集中包括多个预设的曝光时长,其曝光时长的取值以及数量可由本领域普通技术人员根据实际需要进行设置。
比如,本申请实施例中的曝光时长集包括10个曝光时长,分别为50ms、 100ms、150ms、200ms、250ms、300ms、400ms、500ms、750ms以及1000ms,相应的,根据该曝光时长集拍摄得到的场景图像集将包括对应曝光时长50ms 的场景图像、对应曝光时长100ms的场景图像、对应曝光时长150ms的场景图像、对应曝光时长200ms的场景图像、对应曝光时长250ms的场景图像、对应曝光时长300ms的场景图像、对应曝光时长300ms的场景图像、对应曝光时长 400ms的场景图像、对应曝光时长500ms的场景图像、对应曝光时长750ms的场景图像以及对应曝光时长1000ms的场景图像。
在102中,按照预设步长降低样本场景的环境照度,并在预设起始拍摄位置再次拍摄得到样本场景的场景图像集,直至在预设起始拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集。
当在预设拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集之后,电子设备发送光源控制指令至光源,对其发光量进行调整,从而将样本场景的环境照度降低预设步长,此时为从预设起始环境照度降低预设步长。其中,对于预设步长的取值,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要进行设置。比如,当预设起始环境照度被设置为1勒克斯时,设置预设步长为0.1勒克斯。
在完成对样本场景的环境照度的调整之后,此时电子设备的拍摄位置并未改变,仍为预设起始拍摄位置,电子设备在预设起始拍摄位置再次拍摄得到样本场景的场景图像集,如此循环,直至在预设起始拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集。至此,电子设备将在预设起始拍摄位置拍摄得到样本场景由预设起始环境照度至预设结束环境照度的多个场景图像集。
其中,预设结束环境照度可由本领域普通技术人员根据实际需要进行设置,比如,本申请实施例中将其设置为样本场景中的物体对人眼不可见的环境照度,如0.1勒克斯。
通俗的说,电子设备将在预设起始拍摄位置拍摄得到样本场景在不同环境照度下的多个场景图像集,比如,假设预设起始环境照度设置为1勒克斯,预设步长设置为0.1勒克斯,预设结束环境照度设置为0.1勒克斯,则电子设备在预设起始拍摄位置将拍摄得到样本场景的10个场景图像集,分别为样本场景在环境照度1勒克斯下的场景图像集、样本场景在0.9勒克斯下的场景图像集、样本场景在0.8勒克斯下的场景图像集、样本场景在0.7勒克斯下的场景图像集、样本场景在0.6勒克斯下的场景图像集、样本场景在0.5勒克斯下的场景图像集、样本场景在0.4勒克斯下的场景图像集、样本场景在0.3勒克斯下的场景图像集、样本场景在0.2勒克斯下的场景图像集以及样本场景在0.1勒克斯下的场景图像集。
在103中,以当前的拍摄位置为基础调整拍摄位置,并恢复样本场景的环境照度至预设起始环境照度。
当在预设起始拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像,也即是在预设起始拍摄位置拍摄得到样本场景由预设起始环境照度至预设结束环境照度的多个场景图像集之后,电子设备发送移动控制指令至移动装置,由移动装置带动电子设备以当前的拍摄位置为基础,按照预设方向移动预设距离,从而改变电子设备的拍摄位置。可以理解的是,当第一次对当前的拍摄位置进行调整时,当前的拍摄位置即预设起始拍摄位置。其中,预设距离可由本领域普通技术人员根据实际需要进行设置,比如,本申请实施例中将预设距离配置为10cm。
比如,请参照图2所示的样本采集环境,预设起始拍摄位置为移动装置轨道部分的最左侧,在第一次调整拍摄位置时,电子设备发送移动控制指令至移动装置,由移动装置的移动部分带动电子设备向右移动10cm,作为新的拍摄位置。
此外,电子设备还发送光源控制指令至光源,对其发光量进行调整,从而将样本场景的环境照度由预设结束环境照度恢复至预设起始环境照度。
在104中,在调整后的拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集。
在完成拍摄位置的调整之后,电子设备在调整后的拍摄位置按照曝光时长即拍摄得到样本场景在预设起始环境照度下的场景图像集,然后按照预设步长降低样本场景的环境照度,并在调整后拍摄位置再次拍摄得到所述样本场景的场景图像集,如此循环,在调整后的拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集时,再次调整拍摄位置,直至在预设结束拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集。
比如,请参照图2所示的样本采集环境,对于样本场景中的每一物体,由于环境照度和拍摄位置的变化,电子设备将拍摄得到这些物体在不同环境照度以及不同拍摄角度下的多个场景图像集。
其中,预设结束拍摄位置可由本领域普通技术人员根据实际需要进行设置,比如,请参照图2所示的样本采集环境,本申请实施例将预设结束拍摄位置设置为移动装置轨道部分的最右侧。
在105中,获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出目标场景图像对应的目标曝光时长。
当在预设结束拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集之后,电子设备获取获取已拍摄的场景图像集,对于每一场景图像集,确定出其中图像质量最高的场景图像,记为目标场景图像,并确定出该目标场景图像对应的曝光时长,记为目标曝光时长。
应当说明的是,对于衡量图像质量的维度,可由本领域普通技术人员根据实际需要选取,包括但不限于清晰度、对比度等。
在106中,将每一场景图像集中曝光时长短于目标曝光时长的场景图像与目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
在确定出每一场景图像集中图像质量最高的目标场景图像以及对应的目标曝光时长之后,对于每一场景图像集,电子设备将其中曝光时长短于目标曝光时长的场景图像分别与目标场景图像组合为样本对,从而可以组合得到多个样本对,将这些样本作为用于训练图像增强模型的样本集。
比如,对于某场景图像集,在确定才该场景图像集中的目标场景图像以及对应的目标曝光时长之后,若共有五个场景图像的曝光时长短于该目标曝光时长,则电子设备将这五个场景图像分别与目标场景图像组合为样本对,得到五个样本对。
在构建得到用于训练图像增强模型的样本集之后,即可根据该样本集进行图像增强模型的训练,比如,对于样本集中的每一样本对,将样本对中的目标场景图像作为模型需要输出的目标图像,将样本对中的另一场景图像作为输入模型的训练图像,进行有监督的模型训练,从而得到图像增强模型。
由上可知,本申请通过以预设起始拍摄位置为起点,以预设结束拍摄位置为终点,在预设起始拍摄位置和预设结束拍摄位置之间逐渐调整拍摄位置,在每一拍摄位置,以预设起始环境照度为起点,以预设结束环境照度为终点,在预设起始环境终端和预设结束环境照度之间逐渐调整环境照度进行拍摄,从而在每一拍摄位置拍摄得到样本场景在不同环境照度下的场景图像集,最终利用拍摄得到的场景图像集中的场景图像组合为样本对,得到用于训练图像增强模型的样本集,由于样本集中的样本对的噪声分布为真实的噪声分布,利用其进行图像增强模型的训练,将能够提高图像增强模型的图像增强效果。
在一实施例中,“在调整后的拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集”之前,还包括:
判断当前是否处于静止状态,是则在调整后的拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集。
其中,电子设备在以当前的拍摄位置为基础调整拍摄位置,并恢复样本场景的环境照度至预设起始环境照度之后,首先判断当前自身是否处于静止状态。其中,电子设备可以通过多种不同方式进行静止状态的判断,比如,电子设备可以判断当前在各方向的速度是否均小于预设速度,若是,则当前处于静止状态,若否,则当前处于非静止状态(或者说,抖动状态);又比如,电子设备可以判断当前在各方向的位移是否均小于预设位移,若是,则当前处于静止状态,若否,则当前处于非静止状态(或者说,抖动状态)。此外,还可以通本申请实施例未列出的方式进行静止状态的判断,本申请实施例对此不做具体限制。
在一实施例中,“确定出每一场景图像集中图像质量最高的目标场景图像”,包括:
确定出每一场景图像集中清晰度最高且未曝光过度的场景图像,作为目标场景图像。
本申请实施例中,在清晰度这一维度对图像质量进行衡量,相应的,电子设备可以确定出每一场景图像集中清晰度最高且未曝光过度的场景图像,作为目标场景图像。
其中,电子设备采用预设的曝光识别策略来识别场景图像是否曝光过度,具体可由本领域普通技术人员根据实际需要选取合适的曝光识别策略,本申请实施例对此不作限制。
在一实施例中,“在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集”,包括:
(1)在预设起始拍摄位置,按照曝光时长集中的每一曝光时长对预设起始环境照度下的样本场景进行多次拍摄,得到每一曝光时长对应的多帧候选场景图像;
(2)根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像,得到样本场景在预设起始环境照度下对应预设起始拍摄位置的场景图像集。
本申请实施例中,在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集时,对于曝光时长集中的每一曝光时长,电子设备按照该曝光时长,在预设起始拍摄位置对预设起始环境照度下的样本场景进行多次拍摄,得到多帧候选场景图像。
比如,本申请实施例中预先设置有环境照度和拍摄次数的对应关系,以拍摄次数和环境照度负相关为约束,可由本领域普通技术人员根据实际需要进行设置。
由此,电子设备在进行拍摄前,首先根据当前的环境照度,以及预设的环境照度和拍摄次数的对应关系,确定出对应的拍摄次数,记为目标拍摄次数。
在确定出目标拍摄次数之后,对于曝光时长集中每一曝光时长,电子设备按照目标拍摄次数进行多次拍摄,得到每一曝光时长对应的多帧候选场景图像。
比如,假设确定的目标拍摄次数为5,则电子设备在每一曝光时长均拍摄5 次,从而得到每一曝光时长对应的5帧候选场景图像。
在拍摄得到每一曝光时长对应的多帧候选场景图像之后,电子设备进一步根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像,得到样本场景在预设起始环境照度下对应预设起始拍摄位置的场景图像集。
在一实施例中,“根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像”,包括:
对于每一曝光时长,从对应的多帧候选场景图像中确定出清晰度最高的候选场景图像,作为对应的场景图像。
比如,对于某曝光时长所对应的多帧候选场景图像,电子设备直接从其对应的多帧候选场景图像中确定出清晰度最高的候选场景图像,作为该曝光时长所对应的场景图像。
在一实施例中,“将每一场景图像集中曝光时长短于目标曝光时长的场景图像与目标场景图像组合为样本对,得到用于训练图像增强模型的样本集”之前,还包括:
(1)对于每一目标场景图像,获取其关联的曝光时长相同的候选场景图像;
(2)对目标场景图像及其关联的候选场景图像进行多帧合成处理,得到合成图像;
(3)将合成图像作为新的目标场景图像。
应当说明的是,电子设备在每一曝光时长均拍摄多次,得到多帧候选场景图像,并从中选取一帧候选场景图像作为对应曝光时长的场景图像,而目标场景图像又是从不同曝光时长对应的场景图像的场景图像集中选出,可知,每一目标目标场景图像均存在曝光时长相同的多帧候选场景图像。
本申请实施例中,电子设备在确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出目标场景图像对应的目标曝光时长之后,并不立即构建样本集。而是对目标场景图像进行多帧合成处理后,再构建样本集。
其中,对于每一目标场景图像,电子设备获取到其关联的曝光时长相同的候选场景图像,然后对目标场景图像及其关联的候选场景图像进行多帧合成处理,得到合成图像,并将该合成图像作为新的目标场景图像。
其中,电子设备在进行多帧合成处理时,首先将目标场景图像作为基准图像;然后,将目标场景图像关联的候选场景图像与该目标场景图像对齐;然后,基于对齐后的各图像,计算每一像素位置的平均像素值,比如,共在该曝光时长拍摄有五帧候选场景图像,其中一帧候选场景图像被选取为场景图像,并最终选取为目标场景图像,此时,存在四帧与该目标场景图像关联的候选场景图像,在对齐这五帧图像后,某像素位置的像素值分别为:“0.8,0.9,1.1,1.2, 1”,则可计算得到该像素位置的平均像素值为“1”;然后,根据各像素位置的平均像素值得到合成图像,比如,可以将前述目标场景图像的各像素位置的像素值相应调整为计算得到的各平均像素值,从而得到合成图像;又比如,可以根据计算得到各平均像素值,生成一幅新的图像,将生成的图像作为合成图像。最后,将得到的合成图像作为该曝光时长的场景图像。
示例性的,请参照图3,假设电子设备在每一曝光时长均拍摄四次,对于某曝光时长,将得到4帧对应的候选场景图像,分别为候选场景图像A、候选场景图像B、候选场景图像C以及候选场景图像D,其中,候选场景图像A被选取为场景图像,并最终被选取为目标场景图像,这些图像的图像内容相同,但这些图像均存在一些噪点,通过对这些图像进行多帧合成处理之后,得到的合成图像已不存在噪点。
本申请实施例还提供一种图像成像方法,请参照图4,图4为本申请实施例提供的图像成像方法的流程示意图,以下将从电子设备的角度进行说明,如图 4所示,本申请实施例提供的图像成像方法的流程可以如下:
在201中,当接收到成像指令时,获取当前预览图像的图像亮度,当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到。
其中,成像指令可以通过多种方式触发,包括但不限于通过虚拟按键的方式触发、通过物理按键的方式触发、通过语音指令的方式触发等。
例如,请参照图5,用户在操作电子设备启动拍照类应用(比如电子设备的系统应用“相机”)之后,通过移动电子设备,使得电子设备的摄像头对准待拍摄场景(比如图2所示的夜景)之后,可以通过点击“相机”应用界面提供的“拍照”按键(为虚拟按键)触发成像指令。
又例如,使用者在操作电子设备启动拍照类应用之后,通过移动电子设备,使得电子设备的摄像头对准待拍摄场景之后,可以说出语音指令“拍照”,触发成像指令,或者是直接点击电子设备设置的物理拍摄按键,触发成像指令。
当接收到成像指令时,电子设备获取当前预览图像的图像亮度,该当前预览图像为电子设备在当前环境照度下按照预设短曝光时长拍摄得到,即通过当前预览图像的图像亮度来表征当前环境照度下的环境亮度。
在202中,根据当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长。
应当说明的是,本申请实施例中还预先建立有图像亮度和曝光时长的对应关系。在获取到当前预览图像的图像亮度之后,电子设备进一步根据当前预览图像的图像亮度以及图像亮度和曝光时长的对应关系,确定出在当前环境照度下的曝光时长,记为目标曝光时长。
在203中,按照目标曝光时长对待拍摄场景进行多次拍摄,得到多帧场景图像。
在确定出对应待拍摄场景的目标曝光时长之后,电子设备即可通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄,从而得到多帧场景图像。
示例性的,在本申请实施例中,采用当前预览图像(即采用预设短曝光时长拍摄得到的预览图像)的图像亮度来表征待拍摄场景的环境亮度,相应的,还预先设置有图像亮度和拍摄次数的对应关系,用于控制拍摄次数。其中,对于图像亮度和拍摄次数的对应关系,以图像亮度和拍摄次数负相关为约束,可由本领域普通技术人员根据实际需要进行设置。
由此,电子设备在按照目标曝光时长对待拍摄场景进行多次拍摄时,首先根据当前预览图像的图像亮度,以及预设的图像亮度和拍摄次数的对应关系,确定出对应的拍摄次数,记为目标拍摄次数。
在确定出目标拍摄次数之后,电子设备即通过摄像头按照目标曝光时长以及目标拍摄次数对待拍摄场景进行多次拍摄。
比如,假设确定出的目标曝光时长为T,确定出的目标拍摄次数为N,则电子设备按照目标曝光时长T对待拍摄场景进行N次拍摄,相应得到N帧场景图像。
在204中,对多帧场景图像进行多帧合成处理,得到合成图像。
其中,电子设备在进行多帧合成处理时,首先从多帧场景图像中选取一个场景图像作为基准图像,比如,选择清晰度最高的场景图像作为基准图像;然后,基于选择的基准图像,将其它场景图像与基准图像对齐;然后,基于对齐后的各场景图像,计算每一像素位置的平均像素值,比如,共在该曝光时长拍摄有五帧场景图像,在对齐这五帧场景图像后,某像素位置的像素值分别为:“0.8,0.9,1.1,1.2,1”,则可计算得到该像素位置的平均像素值为“1”;然后,根据各像素位置的平均像素值得到合成图像,比如,可以将前述基准图像的各像素位置的像素值相应调整为计算得到的各平均像素值,从而得到合成图像;又比如,可以根据计算得到各平均像素值,生成一幅新的图像,将生成的图像作为合成图像。最后,将得到的合成图像作为该曝光时长的场景图像。
在205中,调用预先训练的图像增强模型对合成图像进行图像增强处理,将增强后的合成图像作为成像指令的成像图像。
应当说明的是,本申请实施例中预先训练有图像增强模型,比如,采用本申请实施例提供的样本集构建方法构建得到样本集,其中包括多个样本对,每一样本对由
首先获取到图像训练集,其中包括多个样本对,每一样本对由训练图像及其配对的目标图像组成。训练图像以及目标图像配对是指:训练图像是需要进行图像增强的图像,而目标图像是利用图像增强模型对训练图像进行图像增强后所期望得到的图像。
本申请实施例中,训练图像以及配对的目标图像的图像内容相同,但是图像质量不同。图像质量不同包括亮度、清晰度不同,目标图像的图像质量高于训练图像。可以理解,训练图像以及配对的目标图像的图像内容相同是指同一样本对的图像内容相同,但是不同的样本对的图像内容可以是不同的。例如, A样本对为对楼宇进行拍摄得到的图像,B样本对为对树木进行拍摄得到的图像。
图像增强是指对需要增强的图像数据进行数据变换,有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征,使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中,样本对包括输入对象和期望的输出。在本申请实施例中,输入对象为样本对中的训练图像,期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练,以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置,例如可以是深度卷积神经网络模型或者残差卷积网络模型等。模型训练的目标是得到更好的模型参数,以提高图像增强的效果。在进行训练时,将训练图像输入到初始图像增强模型中,得到输出的模型增强图像,然后根据模型增强图像与配对的目标图像的差异调整模型参数,使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像,比如采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整,直至收敛,得到图像增强模型。
本申请实施例中,在合成得到的合成图像之后,电子设备进一步将该合成图像输入到预先训练的图像增强模型中进行图像增强处理,得到增强后的合成图像。
比如,请参照图6,图6左侧所示为对应待拍摄场景的合成图像,电子设备将该合成图像输入到预先训练的图像增强模型中对合成图像的亮度和清晰度进行增强,得到右侧所示增强后的合成图像,可以看出,经过图像增强处理,增强后的合成图像的亮度和清晰度得以明显提升,由此,采用本申请实施例提供的图像处理方法即使在低照度环境下也能够拍摄得到明亮清晰的图像。
在一实施例中,“当接收到成像指令时,获取当前预览图像的图像亮度”之前,还包括:
(1)在预设环境照度下按照预设短曝光时长拍摄得到短曝光图像,并获取短曝光图像的短曝光图像亮度;
(2)以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长,直至拍摄得到清晰度为第一预设清晰度的第一图像时,获取第一图像对应的第一曝光时长;
(3)以预设环境照度为基础逐渐降低环境照度,并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度,根据多个目标环境照度标定得到适于人眼感知的亮度变化系数;
(4)根据短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。
应当说明的是,照度,是一个客观的参量,为单位面积上所能够接收可见光的光通量,单位为勒克斯。亮度,是指物体发射出或反射出的光被人眼所感知的程度。
预设环境照度可由本领域普通技术人员根据实际需要配置,比如,考虑到在低照度环境(环境照度小于或等于1勒克斯)下,当环境照度连续变化时,电子设备所拍摄得到图像的图像亮度将无法适应人眼对低照度环境下的亮度感知,因此,本申请实施例中配置预设环境照度为1勒克斯。
本申请实施例中,预先搭建不透光的测试环境,该测试环境中设置有测试光源,电子设备可以通过控制指令对测试光源的发光量进行调整,以改变测试环境的环境照度。
首先,电子将测试环境的环境照度配置为预设环境照度,从而在预设环境照度下按照预设短曝光时长拍摄,并将此时拍摄得到的图像记为短曝光图像。通常的,长曝光是指曝光时长大于1秒的曝光,短曝光是指曝光时长低于1秒的曝光,以此为约束,可由本领域普通技术人员根据实际需要配置预设短曝光时长,比如,本申请实施例中配置预设短曝光时长为17毫秒。
在拍摄得到短曝光图像之后,电子设备获取该短曝光图像的图像亮度,记为短曝光图像亮度,将短曝光图像亮度作为预设环境照度下人眼所感知到的环境亮度。比如,电子设备获取短曝光图像中各像素点亮度值的平均亮度,设为短曝光图像亮度。
在获取到短曝光图像的短曝光图像亮度之后,电子设备进一步以预设短曝光时长为基础逐渐增加拍摄图像的曝光时长,直至拍摄得到清晰度为第一预设清晰度的第一图像时,获取第一图像对应的第一曝光时长。
比如,在预设环境照度下,电子设备以预设短曝光时长为基础,按照预先设置的时间步长增加拍摄图像的曝光时长,并在每次拍摄得到图像时,获取到该图像的清晰度,并判断该图像的清晰度是否达到第一预设清晰度,是则停止拍摄,将清晰度达到第一预设清晰度的图像记为第一图像,否则继续增加曝光时长,直至拍摄得到清晰度为第一预设清晰度的第一图像。其中,时间步长可由本领域普通技术人员根据实际需要进行设置,本申请实施例中对此不作具体限制,比如,可以设置为1毫秒。
应当说明的是,第一预设清晰度为表征图像为清晰图像的清晰度,可由本领域普通技术人员根据实际需要取经验值。此处对于衡量图像清晰度的方式不做具体限制,可由本领域技术人员采用合适的方式来衡量图像的清晰度,比如,可以采用对比度来衡量图像的清晰度,或者采用空间频率响应值来衡量图像的清晰度。
在拍摄得到清晰度为第一预设清晰度的第一图像时,电子设备获取该第一图像对应的曝光时长,记为第一曝光时长。
此外,电子设备还以预设环境照度为基础逐渐降低环境照度,并确定环境照度改变过程中人眼感受到亮度变化的多个目标环境照度,根据多个目标环境照度标定得到适于人眼感知的亮度变化系数。
比如,电子设备可以发送控制指令到测试光源,以使得测试环境的环境照度按照预先设置的照度步长逐渐降低,并确定环境照度的改变过程中人眼感受到亮度变化多个目标环境照度。其中,照度步长可由本领域普通技术人员根据实际需要进行设置,本申请实施例中对此不作具体限制,比如,可以设置为0.1 勒克斯。
示例性的,预先约定测试人员在感知到亮度变化时说出口令“变化”,这样,电子设备可以在改变环境照度的过程中监听测试人员发出的口令“变化”,并将此时的环境照度记为一个目标环境照度,从而确定出环境照度改变过程中人眼感受到亮度变化的多个目标环境照度。
在确定出环境照度改变过程中人眼感受到亮度变化的多个目标环境照度之后,电子设备根据确定出的多个目标环境照度标定得到适于人眼感知的亮度变化系数。
在获取到短曝光图像亮度、第一曝光时长以及亮度变化系数之后,电子设备基于获取到的短曝光图像亮度、第一曝光时长以及亮度变化系数构建用于曝光时长控制的图像亮度和曝光时长的对应关系。
应当说明的是,环境照度从预设环境照度不断降低,按照预设短曝光时长拍摄得到图像的图像亮度也将随之降低,为了保持图像亮度的一致性,以前述短曝光图像亮度为基准,图像亮度每下降多少倍,则曝光时长就应该提高多少倍,因此,图像亮度和曝光时长的对应关系可以表示为:
expVal(cur_luxIndex)=init_expVal*betaalpha*(init_luxIndex-cur_luxIndex)
其中,expVal表示曝光时长,cur_luxIndex表示按照预设短曝光时长拍摄得到图像的图像亮度,init_expVal表示第一曝光时长,luxIndex0表示短曝光图像亮度,beta表示亮度变化系数,alpha表示归一化系数,用于将“按照预设短曝光时长拍摄得到图像的图像亮度”和短曝光图像亮度的差值缩放预设的数量值等级,可由本领域普通技术人员根据实际需要参照电子设备摄像头的相关参数设置。
在一实施例中,“根据多个目标环境照度标定得到适于人眼感知的亮度变化系数”,包括:
(1)在每一目标环境照度下按照预设短曝光时长拍摄得到目标短曝光图像,获取每一目标短曝光图像的图像亮度;
(2)根据多个目标短曝光图像的图像亮度进行幂函数拟合,得到亮度变化系数。
本申请实施例中,在每一确定的目标环境照度下,电子设备按照预设短曝光时长进行拍摄,将拍摄得到的图像记为目标短曝光图像,并获取目标短曝光图像的图像亮度。其中,当最后一个目标环境照度不为零时,电子设备将环境照度为0也记为目标环境照度。
比如,以确定的第一个目标环境照度为例,此时拍摄得到第一个目标短曝光图像,获取到其图像亮度记为luxIndex1,即认为当图像亮度介于短曝光图像亮度luxIndex0和luxIndex1之间时,人眼无法分辨出亮度变化。
重复以上步骤,可以得到luxIndex2、luxIndex3,……luxIndexn。
以(0,luxIndex0),(1,luxIndex1),...,(n,luxIndexn)作为坐标对进行幂函数拟合,即可以得到亮度变化系数:
Figure BDA0002250811260000191
即认为人眼能明显感受到亮度每次beta倍数的变化。实际操作中仅需要少量的坐标对就能够得到误差允许范围内的beta值。
在一实施例中,预设环境照度为预设低环境照度,获取第一图像对应的第一曝光时长之后,还包括:
(1)继续增加曝光时长,直至拍摄得到清晰度为第二预设清晰度的第二图像时,获取第二图像对应的第二曝光时长,第二预设清晰度小于第一预设清晰度;
(2)根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度;
根据当前预览图像的图像亮度,以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长之前,还包括:
(3)判断当前预览图像的图像亮度是否小于第二图像亮度;
(4)若否,则根据当前预览图像的图像亮度,以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长。
本申请实施例中,预设环境照度被配置为预设低环境照度,比如1勒克斯。
应当说明的是,根据以上图像亮度和曝光时长的对应关系可知,图像亮度越低,曝光时长越长,当电子设备在手持状态拍摄时,曝光时长过长会因为随机抖动而使得图像模糊,还会导致局部过曝丢失细节,因此,本申请实施例中还标定最长曝光时长以及对应的图像亮度。
其中,在拍摄得到清晰度为第一预设清晰度的第一图像,并获取得到该第一图像对应的第一曝光时长之后,电子设备继续按照预先设置的时间步长增加拍摄图像的曝光时长,并在每次拍摄得到图像时,获取到该图像的清晰度,并判断该图像的清晰度是否达到第二预设清晰度,是则停止拍摄,将清晰度达到第二预设清晰度的图像记为第二图像,否则继续增加曝光时长,直至拍摄得到清晰度为第二预设清晰度的第二图像。应当说明的是,第二预设清晰度小于第一预设清晰度,为表征图像不为模糊图像的临界清晰度,可由本领域普通技术人员根据实际需要取经验值。
在拍摄得到清晰度为第二预设清晰度的第二图像时,电子设备获取该第二图像对应的曝光时长,记为第二曝光时长,并根据图像亮度和曝光时长的对应关系确定对应第二曝光时长的第二图像亮度,将第二曝光时长作为最长曝光时长。
在标定有最长曝光时长及其对应的图像亮度的情况下,电子设备在手持状态下获取到当前预览图像的图像亮度之后,并不立即根据以上图像亮度和曝光时长的对应关系确定出目标曝光时长,而是首先判断当前预览图像的图像亮度是否小于第二图像亮度,若不小于,再根据当前预览图像的图像亮度以及图像亮度和曝光时长的对应关系,确定出目标曝光时长,以确保按照目标曝光时长拍摄得到的场景图像不会模糊。
在一实施例中,判断当前预览图像的图像亮度是否小于第二图像亮度之后,还包括:
若是,则将第二曝光时长设为目标曝光时长,执行通过摄像头按照目标曝光时长对待拍摄场景进行多次拍摄。
其中,若得到当前预览图像的图像亮度小于第二图像亮度的判断结果,则说明按照以上图像亮度和曝光时长的对应关系所确定的目标曝光时长将大于标定的最长曝光时长“第二曝光时长”,而当曝光时长大于标定的最长曝光时长“第二曝光时长”时,拍摄得到的图像将变得模糊。因此,电子设备在当前预览图像的图像亮度小于第二图像亮度时,直接将标定的最长曝光时长“第二曝光时长”设为目标曝光时长进行拍摄。
本申请实施例还提供一种样本集构建装置。请参照图7,图7为本申请实施例提供的样本集构建装置的结构示意图。其中该样本集构建装置应用于电子设备,该样本集构建装置包括拍摄模块301、调整模块302、识别模块303以及构建模块304,如下:
拍摄模块301,用于在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;以及
按照预设步长降低样本场景的环境照度,并在预设起始拍摄位置再次拍摄得到样本场景的场景图像集,直至在预设起始拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集;
调整模块302,用于以当前的拍摄位置为基础调整拍摄位置,并恢复样本场景的环境照度至预设起始环境照度;
拍摄模块301还用于在调整后的拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集;
识别模块303,用于获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出目标场景图像对应的目标曝光时长;
构建模块304,用于将每一场景图像集中曝光时长短于目标曝光时长的场景图像与目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
在一实施例中,在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集时,拍摄模块301用于:
在预设起始拍摄位置,按照曝光时长集中的每一曝光时长对预设起始环境照度下的样本场景进行多次拍摄,得到每一曝光时长对应的多帧候选场景图像;
根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像,得到样本场景在预设起始环境照度下对应预设起始拍摄位置的场景图像集。
在一实施例中,在根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像时,拍摄模块301用于:
对于每一曝光时长,从对应的多帧候选场景图像中确定出清晰度最高的候选场景图像,作为对应的场景图像。
在一实施例中,在根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像时,拍摄模块301用于:
对于每一曝光时长,对其对应的多帧候选场景图像进行多帧合成处理,将得到的合成图像作为对应的场景图像。
在一实施例中,在确定出每一场景图像集中图像质量最高的目标场景图像时,识别模块303用于:
确定出每一场景图像集中清晰度最高且未曝光过度的场景图像,作为目标场景图像。
应当说明的是,本申请实施例提供的样本集构建装置与上文实施例中的样本集构建方法属于同一构思,在样本集构建装置上可以运行样本集构建方法实施例中提供的任一方法,其具体实现过程详见样本集构建方法实施例,此处不再赘述。
本申请实施例还提供一种图像成像装置。请参照图8,图8为本申请实施例提供的图像成像装置的结构示意图。其中该图像成像装置应用于电子设备,该图像成像装置包括获取模块401、确定模块402、拍摄模块403、合成模块404 以及增强模块405,如下:
获取模块401,用于当接收到成像指令时,获取当前预览图像的图像亮度,当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
确定模块402,用于根据当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
拍摄模块403,用于按照目标曝光时长对待拍摄场景进行多次拍摄,得到多帧场景图像;
合成模块404,用于对多帧场景图像进行多帧合成处理,得到合成图像;
增强模块405,用于调用预先训练的图像增强模型对合成图像进行图像增强处理,将增强后的合成图像作为成像指令的成像图像;
其中,所述图像增强模型采用本申请实施例提供的样本构建方法所构建的样本集训练得到。
应当说明的是,本申请实施例提供的图像成像装置与上文实施例中的图像成像方法属于同一构思,在图像成像装置上可以运行图像成像方法实施例中提供的任一方法,其具体实现过程详见图像成像方法实施例,此处不再赘述。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本申请实施例提供的样本集构建方法中的步骤,或者使得计算机执行如本申请实施例提供的图像成像方法。其中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)或者随机存取器(Random AccessMemory,RAM)等。
本申请实施例还提供一种电子设备,请参照图9,电子设备包括处理器501 和存储器502,其中,处理器501与存储器502电性连接。
处理器501是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能并处理数据。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等) 等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器 502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器 502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502中计算机程序的访问,执行以上实施例提供的样本集构建方法,比如:
在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;
按照预设步长降低样本场景的环境照度,并在预设起始拍摄位置再次拍摄得到样本场景的场景图像集,直至在预设起始拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集;
以当前的拍摄位置为基础调整拍摄位置,并恢复样本场景的环境照度至预设起始环境照度;
在调整后的拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到样本场景在预设结束环境照度下的场景图像集;
获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出目标场景图像对应的目标曝光时长;
将每一场景图像集中曝光时长短于目标曝光时长的场景图像与目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
或者,执行以上实施例提供的图像成像方法,比如:
当接收到成像指令时,获取当前预览图像的图像亮度,当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
根据当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
按照目标曝光时长对待拍摄场景进行多次拍摄,得到多帧场景图像;
对多帧场景图像进行多帧合成处理,得到合成图像;
调用预先训练的图像增强模型对合成图像进行图像增强处理,将增强后的合成图像作为成像指令的成像图像;
其中,图像增强模型采用本申请实施例提供的样本构建方法所构建的样本集训练得到。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的样本集构建方法/图像成像方法属于同一构思,在电子设备上可以运行样本集构建方法/ 图像成像方法实施例中提供的任一方法,其具体实现过程详见样本集构建方法 /图像成像方法实施例,此处不再赘述。
需要说明的是,对本申请实施例的样本集构建方法/图像成像方法而言,本领域普通测试人员可以理解实现本申请实施例的样本集构建方法/图像成像方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如样本集构建方法/图像成像方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的样本集构建装置/图像成像装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种样本集构建方法、样本集构建装置、图像成像方法、图像成像装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种样本集构建方法,其特征在于,包括:
在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;
按照预设步长降低所述样本场景的环境照度,并在所述预设起始拍摄位置再次拍摄得到所述样本场景的场景图像集,直至在所述预设起始拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
以当前的拍摄位置为基础调整拍摄位置,并恢复所述样本场景的环境照度至预设起始环境照度;
在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出所述目标场景图像对应的目标曝光时长;
将每一场景图像集中曝光时长短于所述目标曝光时长的场景图像与所述目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
2.根据权利要求1所述的样本集构建方法,其特征在于,所述在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,包括:
在所述预设起始拍摄位置,按照所述曝光时长集中的每一曝光时长对所述预设起始环境照度下的样本场景进行多次拍摄,得到每一曝光时长对应的多帧候选场景图像;
根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像,得到所述样本场景在预设起始环境照度下对应所述预设起始拍摄位置的场景图像集。
3.根据权利要求2所述的样本集构建方法,其特征在于,所述根据每一曝光时长对应的多帧候选场景图像获取对应的场景图像,包括:
对于每一曝光时长,从对应的多帧候选场景图像中确定出清晰度最高的候选场景图像,作为对应的场景图像。
4.根据权利要求1-3任一项所述的样本集构建方法,其特征在于,所述在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集之前,还包括:
在调整后的拍摄位置识别是否处于静止状态,是则在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集。
5.根据权利要求1-3任一项所述的样本集构建方法,其特征在于,所述确定出每一场景图像集中图像质量最高的目标场景图像,包括:
确定出每一场景图像集中清晰度最高且未曝光过度的场景图像,作为目标场景图像。
6.一种图像成像方法,其特征在于,包括:
当接收到成像指令时,获取当前预览图像的图像亮度,所述当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
根据所述当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
按照所述目标曝光时长对所述待拍摄场景进行多次拍摄,得到多帧场景图像;
对所述多帧场景图像进行多帧合成处理,得到合成图像;
调用预先训练的图像增强模型对所述合成图像进行图像增强处理,将增强后的合成图像作为所述成像指令的成像图像;
其中,所述图像增强模型利用权利要求1-5任一项所述的样本集 构建方法所构建的样本集训练得到。
7.一种样本集构建装置,其特征在于,包括:
拍摄模块,用于在预设起始拍摄位置按照曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集;以及
按照预设步长降低所述样本场景的环境照度,并在所述预设起始拍摄位置再次拍摄得到所述样本场景的场景图像集,直至在所述预设起始拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
调整模块,用于以当前的拍摄位置为基础调整拍摄位置,并恢复所述样本场景的环境照度至预设起始环境照度;
所述拍摄模块还用于在调整后的拍摄位置按照所述曝光时长集拍摄得到样本场景在预设起始环境照度下的场景图像集,直至在预设结束拍摄位置拍摄得到所述样本场景在预设结束环境照度下的场景图像集;
识别模块,用于获取已拍摄的场景图像集,并确定出每一场景图像集中图像质量最高的目标场景图像,以及确定出所述目标场景图像对应的目标曝光时长;
构建模块,用于将每一场景图像集中曝光时长短于所述目标曝光时长的场景图像与所述目标场景图像组合为样本对,得到用于训练图像增强模型的样本集。
8.一种图像成像装置,其特征在于,包括:
获取模块,用于当接收到成像指令时,获取当前预览图像的图像亮度,所述当前预览图像按照预设短曝光时长对待拍摄场景拍摄得到;
确定模块,用于根据所述当前预览图像的图像亮度以及预设的图像亮度和曝光时长的对应关系,确定出目标曝光时长;
拍摄模块,用于按照所述目标曝光时长对所述待拍摄场景进行多次拍摄,得到多帧场景图像;
合成模块,用于对所述多帧场景图像进行多帧合成处理,得到合成图像;
增强模块,用于调用预先训练的图像增强模型对所述合成图像进行图像增强处理,将增强后的合成图像作为所述成像指令的成像图像;
其中,所述图像增强模型采用权利要求1-5任一项所述的样本集 构建方法所构建的样本集训练得到。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1至5任一项所述的样本集构建方法,或者使得所述计算机执行如权利要求6所述的图像成像方法。
10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,且所述处理器通过调用所述计算机程序,用于执行如权利要求1至5任一项所述的样本集构建方法,或者使得所述处理器执行如权利要求6所述的图像成像方法。
CN201911033534.3A 2019-10-28 2019-10-28 样本集构建方法、图像成像方法、装置、介质及电子设备 Active CN110677591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033534.3A CN110677591B (zh) 2019-10-28 2019-10-28 样本集构建方法、图像成像方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033534.3A CN110677591B (zh) 2019-10-28 2019-10-28 样本集构建方法、图像成像方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN110677591A CN110677591A (zh) 2020-01-10
CN110677591B true CN110677591B (zh) 2021-03-23

Family

ID=69084655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033534.3A Active CN110677591B (zh) 2019-10-28 2019-10-28 样本集构建方法、图像成像方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN110677591B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881844B (zh) * 2020-07-30 2021-05-07 北京嘀嘀无限科技发展有限公司 一种判断图像真实性的方法及系统
CN112863010B (zh) * 2020-12-29 2022-08-05 宁波友好智能安防科技有限公司 一种防盗锁的视频图像处理系统
CN115223028B (zh) * 2022-06-02 2024-03-29 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
CN116193264B (zh) * 2023-04-21 2023-06-23 中国传媒大学 基于曝光参数的摄像机调节方法及系统
CN116570835B (zh) * 2023-07-12 2023-10-10 杭州般意科技有限公司 一种基于场景和用户状态的干预刺激模式的确定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844647A (zh) * 2016-04-06 2016-08-10 哈尔滨伟方智能科技开发有限责任公司 一种基于颜色属性的核相关目标跟踪方法
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
CN109685750A (zh) * 2018-12-14 2019-04-26 厦门美图之家科技有限公司 图像增强方法及计算设备
CN109753914A (zh) * 2018-12-28 2019-05-14 安徽清新互联信息科技有限公司 一种基于深度学习的车牌字符识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000556B2 (en) * 2008-05-15 2011-08-16 Arcsoft, Inc. Method for estimating noise according to multiresolution model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844647A (zh) * 2016-04-06 2016-08-10 哈尔滨伟方智能科技开发有限责任公司 一种基于颜色属性的核相关目标跟踪方法
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
CN109685750A (zh) * 2018-12-14 2019-04-26 厦门美图之家科技有限公司 图像增强方法及计算设备
CN109753914A (zh) * 2018-12-28 2019-05-14 安徽清新互联信息科技有限公司 一种基于深度学习的车牌字符识别方法

Also Published As

Publication number Publication date
CN110677591A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110677591B (zh) 样本集构建方法、图像成像方法、装置、介质及电子设备
US11006046B2 (en) Image processing method and mobile terminal
US10297076B2 (en) Apparatus and method for generating 3D face model using mobile device
CN110663045B (zh) 用于数字图像的自动曝光调整的方法、电子系统和介质
CN109271911B (zh) 基于光线的三维人脸优化方法、装置及电子设备
US20210097644A1 (en) Gaze adjustment and enhancement for eye images
JP2022064987A (ja) デジタル媒体と観察者の相互作用の構成及び実現
CN108200337B (zh) 拍照处理的方法、装置、终端及存储介质
CN111756996A (zh) 视频处理方法、视频处理装置、电子设备及计算机可读存储介质
CN110677557B (zh) 图像处理方法、装置、存储介质及电子设备
EP3516581B1 (en) Automatic selection of cinemagraphs
CN116324899A (zh) 基于机器学习模型的增强的照片重新照明
CN109285216A (zh) 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN116156048B (zh) 基于人工智能的音量调整方法、系统、设备和介质
CN109618088B (zh) 具有光照识别与重现功能的智能化拍摄系统及方法
CN110519526B (zh) 曝光时长控制方法、装置、存储介质及电子设备
CN108462831B (zh) 图像处理方法、装置、存储介质及电子设备
CN116506732B (zh) 一种图像抓拍防抖的方法、装置、系统和计算机设备
CN113850709A (zh) 图像变换方法和装置
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
US20220114740A1 (en) Camera motion information based three-dimensional (3d) reconstruction
CN112887620A (zh) 视频拍摄方法、装置及电子设备
EP4298592A1 (en) Photo relighting and background replacement based on machine learning models
CN114285963B (zh) 多镜头视频录制方法及相关设备
KR102613032B1 (ko) 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant