CN112822426B - 一种用于生成高动态范围图像的方法与设备 - Google Patents

一种用于生成高动态范围图像的方法与设备 Download PDF

Info

Publication number
CN112822426B
CN112822426B CN202011623358.1A CN202011623358A CN112822426B CN 112822426 B CN112822426 B CN 112822426B CN 202011623358 A CN202011623358 A CN 202011623358A CN 112822426 B CN112822426 B CN 112822426B
Authority
CN
China
Prior art keywords
exposure
image information
class
vector
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011623358.1A
Other languages
English (en)
Other versions
CN112822426A (zh
Inventor
陈文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN202011623358.1A priority Critical patent/CN112822426B/zh
Publication of CN112822426A publication Critical patent/CN112822426A/zh
Application granted granted Critical
Publication of CN112822426B publication Critical patent/CN112822426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

本申请的目的是提供一种用于生成高动态范围图像的方法与设备,该方法包括:基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息;对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度;根据至少一个第一对象类别以及每个第一对象区域的至少两个曝光度生成图像信息的多个曝光向量;将每个曝光向量输入曝光分数模型,以输出每个曝光向量的分数;基于多个曝光向量中得分最高的目标曝光向量,及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成图像信息的高动态范围图像。使得最终合成的所述高动态范围图像中各第一对象类别对应的第一对象区域所呈现的效果最佳。

Description

一种用于生成高动态范围图像的方法与设备
技术领域
本申请涉及通信领域,尤其涉及一种用于生成高动态范围图像的技术。
背景技术
高动态范围成像(High Dynamic Range Imaging),是用来实现比普通数字图像技术更大曝光动态范围(即更大的明暗差别)的一种技术。能使明处的景物不致过曝,而使得暗处的景物不致欠曝。譬如逆光环境下拍人物,可以将人物和环境都能拍清晰。使得整张照片不至于太暗或太亮。
发明内容
本申请的一个目的是提供一种用于生成高动态范围图像的方法与设备。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的方法,该方法包括:
基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域;
对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度;
根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;
将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数;
基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的设备,该设备包括:
一一模块,用于基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域;
一二模块,用于对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度;
一三模块,用于根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;
一四模块,用于将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数;
一五模块,用于基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如上所述任一方法的操作。
与现有技术相比,本申请基于不同的曝光参数获取待处理图像信息的至少两个备用图像信息,以得到该图像信息中各第一对象类别对应的第一对象区域的至少两个曝光度;根据出现在所述图像信息中的至少一个第一对象类别以及每个第一对象区域的至少两个曝光度得到该图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;通过将每个曝光向量输入曝光分数模型,输出每个曝光向量的分数;确定得分最高的一个曝光向量,基于该曝光向量,以及所述至少两个备用图像信息,合成所述图像信息的高动态范围图像。使得最终合成的所述高动态范围图像中各第一对象类别对应的第一对象区域所呈现的效果最佳。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于生成高动态范围图像的方法流程图;
图2示出根据本申请一个实施例的一种用于生成高动态范围图像的设备结构图;
图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于终端、网络设备、或终端与网络设备通过网络相集成所构成的设备。所述终端包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述终端、网络设备、或终端与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
在此,本申请所述的一种用于生成高动态范围图像的方法的执行主体包括但不限于网络设备、包括摄像装置的用户设备。优选为所述用户设备,以下从所述用户设备的角度对本申请所述的方法进行解释说明。为方便说明,以下统称为“设备”或者“一种用于生成高动态范围图像的设备”。
在一些实施例中,所述用户设备包括但不限于手机、电脑、平板电脑等计算设备。例如,当执行主体为所述用户设备时,所述用户设备通过摄像装置基于不同的曝光参数获取所述待处理图像信息的至少两个备用图像信息,并基于本申请所述的方法合成所述待处理图像信息的高动态范围图像。再例如,当执行主体为所述网络设备时,可以由所述用户设备将其基于不同的曝光参数获取的所述待处理图像信息的至少两个备用图像信息发送给所述网络设备,由所述网络设备基于本申请所述的方法合成所述图像信息的高动态范围图像。
图1示出了根据本申请一个实施例的一种用于生成高动态范围图像的方法流程图,该方法包括步骤S11、步骤S12、步骤S13、步骤S14以及步骤S15。在步骤S11中,设备基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域;在步骤S12中,设备对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度;在步骤S13中,设备根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;在步骤S14中,设备将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数;在步骤S15中,设备基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。
具体而言,在步骤S11中,设备基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域。在一些实施例中,所述第一对象包括但不限于出现在所述图像信息中的物品(例如,杯子、书本、电脑、天空等)。在一些实施例中,通过对所述图像信息中出现的第一对象进行归类,以确定所述一个或多个第一对象所对应的至少一个第一对象类别。例如,图像信息A中出现有第一对象:小猫、书本、电脑、天空,其中,小猫属于动物,书本、电脑属于办公用品,天空属于其他类别,则该图像信息A中的一个或多个第一对象属于动物、办公用品、其他类这三个第一对象类别。在一些实施例中,所述第一对象类别对应的第一对象区域包括属于该第一对象类别的一个或多个第一对象所在的区域之和。例如,在所述图像信息A中,第一对象类别“办公用品”对应的第一对象区域包括第一对象“书本”“电脑”所在的区域;第一对象类别“动物”对应的第一对象区域包括“小猫”所在的区域;第一对象类别“其他类别”对应的第一对象区域包括“天空”所在的区域。在一些实施例中,所述曝光参数包括但不限于光圈、快门速度、ISO感光度等曝光参数。在一些实施例中,所述待处理的图像信息包括但不限于取景图像,例如,在取景时,通过用户设备的取景器获取所述待处理的图像信息,并基于不同的曝光参数对取景图像进行曝光采样,以得到所述待处理的图像信息的至少两个备用图像信息。在一些实施例中,所述备用图像信息用于得到所述图像信息中每个第一对象区域的至少两个曝光度,以及用于在合成高动态范围图像时,从对应的备用图像信息中提取对应的第一对象区域,或者基于对应的备用图像信息中对应的第一对象区域的像素信息合成高动态范围图像。在一些实施例中,可以是基于三组不同的曝光参数拍摄整个所述取景图像(例如,所述待处理的图像信息),则可以获取关于所述图像信息的三张备用图像信息,基于每一张备用图像信息都可以得到每个第一对象区域的不同的曝光度。在另一些实施例中,也可以对所述图像信息中的各第一对象类别对应的第一对象区域进行单独曝光采样,以得到每个第一对象区域的至少两张备用图像信息,则对于所述图像信息而言,可以得到关于该图像信息的多张备用图像信息。例如,所述图像信息中存在三个第一对象类别,对于每一个第一对象类别而言,都采用三组不同的曝光参数对该第一对象类别对应的第一对象区域进行单独曝光采样,则可以得到该第一对象区域的三张备用图像信息,对于该图像信息而言,则存在九张备用图像信息。
在步骤S12中,对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度。在一些实施例中,所述第一对象区域的曝光度是基于该第一对象区域的像素信息计算获得的,例如,将所述第一对象区域灰度化之后,计算该第一对象区域内所有像素信息的平均值,并将该平均值作为该第一对象区域的曝光度。在一些实施例中,通过不同曝光参数得到的同一第一对象区域的曝光度是不同的。例如,对于上述图像信息A,通过三组不同的曝光参数获得了该图像信息A的三个备用图像信息。对于第一对象类别“动物”所对应的第一对象区域而言,基于每个备用图像信息中该第一对象区域的像素信息可以计算得到该第一对象区域的一个曝光度,则对于该第一对象区域而言,可以得到该第一对象区域的三个曝光度。同样地,对于第一对象类别“办公用品”对应的第一对象区域而言,可以得到该第一对象区域的三个曝光度;对于第一对象类别“其他类别”对应的第一对象区域而言,可以得到该第一对象区域的三个曝光度。
在步骤S13中,设备根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度。例如,在确定出现在所述图像信息中的至少一个第一对象类别,并得到了每个第一对象区域对应的至少两个曝光度之后,基于所述至少一个第一对象类别以及每个第一对象区域对应的至少两个曝光度可以得到该图像信息的多个曝光向量,并且每个曝光向量中都包括该图像信息中的每个第一对象区域对应的一个曝光度。在一些实施例中,可以基于随机组合的方式生成所述图像信息的多个曝光向量,例如,分别从每个第一对象区域对应的至少两个曝光向量中随机挑选出一个曝光度,得到一个曝光度组合,基于该曝光度组合以及所述至少一个第一对象类别生成该图像信息的一个曝光向量;再从每个第一对象区域对应的至少两个曝光向量中随机挑选出一个曝光度,得到另一个曝光度组合,基于该曝光度组合以及所述至少一个第一对象类别生成该图像信息的又一个曝光向量;按照该随机方式得到该图像信息的多个曝光向量。再例如,为了尽可能覆盖每个第一对象区域之间各曝光度的所有组合方式,可以通过对得到的所述至少一个第一对象区域对应的多个曝光度进行排列组合的方式获得所述图像信息的多个曝光度组合,再对于每个曝光度组合,基于所述至少一个第一对象类别生成该图像信息的多个曝光向量。在一些实施例中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度,则基于每个曝光向量都可以得到所述图像信息中每个第一对象区域的曝光度。
在步骤S14中,设备将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数。在一些实施例中,所述曝光分数模型是基于NFM网络构建而成的。在一些实施例中,所述曝光分数模型用于通过输入图像信息的曝光向量,输出该曝光向量对应的分数。在一些实施例中,所述曝光向量的得分越高,说明基于该曝光向量中各第一对象类别对应的第一对象区域的曝光度合成图像信息的高动态范围图像的效果最好。
在步骤S15中,设备基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。在一些实施例中,将得分最高的曝光向量确定为目标曝光向量,将该目标曝光向量中所包括的曝光度作为对应的第一对象区域的目标曝光度。在一些实施例中,每个曝光向量中都存在该图像信息中各第一对象类别对应的第一对象区域的曝光度,而各第一对象区域的曝光度是基于其所在的备用图像信息得到的,因此,在确定出得分最高的目标曝光向量后,可以基于存在于该目标曝光向量中的目标曝光度确定得到该目标曝光度的目标备用图像信息,从该目标备用图像信息中提取该目标曝光度对应的第一对象区域,以用于合成所述图像信息的高动态范围图像,或者基于该目标备用图像信息中该第一对象区域的像素信息合成所述图像信息的高动态范围图像。在本实施例中,最终用于合成所述图像信息的高动态范围图像的各第一对象区域的曝光度是基于得分最高的一个曝光向量确定的,从而使得最终合成的所述高动态范围图像的效果更真实,视觉效果更好。
在一些实施例中,所述步骤S11包括步骤S111(未示出)、步骤S112、步骤S113。在步骤S111中,设备获取待处理的图像信息,以及所述图像信息的至少两个备用图像信息,其中,所述至少两个备用图像信息是基于不同的曝光参数获取的;在步骤S112中,设备对于每一个备用图像信息,确定出现在该备用图像信息中的一个或多个第一对象,以及每个第一对象在该备用图像信息中对应的第一对象子区域;在步骤S113中,设备确定所述一个或多个第一对象所属的至少一个第一对象类别,以及每个第一对象类别在该备用图像信息中对应的第一对象区域。所述步骤S12包括:对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,以得到每个第一对象区域的至少两个曝光度。在一些实施例中,所述待处理的图像信息包括但不限于通过摄像装置的取景器获取的取景图像。例如,在拍摄取景时,通过取景器获取所述待处理的图像信息,并基于不同的曝光参数对所述图像信息进行曝光采样,以得到所述图像信息的至少两个备用图像信息。对于得到的每个备用图像信息,确定出现在该备用图像信息中的一个或多个第一对象,以及每个第一对象在该备用图像信息中的第一对象子区域。在此,本领域技术人员应能理解,所述图像信息与该图像信息的备用图像信息中的内容应是相同的,其区别在于,由于曝光参数不同,各对象区域的曝光度会存在区别。在一些实施例中,可以基于YOLO算法检测所述备用图像信息中出现的第一对象,并划分每个第一对象所在的第一对象子区域。在另一些实施例中,也可以基于图像分割技术(例如,resNet、VGGNet、Fast、R-CNN等图像分割算法)先对所述图像信息进行图像分割,再基于图像识别技术识别分割后的各区域,以得到所述一个或多个第一对象。当然,本领域技术人员可以理解,上述识别、分割所述图像信息的具体操作仅为举例,其他现有的或今后可能出现的具体操作如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。在一些实施例中,所述第一对象类别对应的第一对象区域包括该第一对象类别包括的第一对象所在的第一对象子区域之和。例如,在所述备用图像信息A中,第一对象类别“办公用品”对应的第一对象区域包括第一对象“书本”所在的第一对象子区域,以及“电脑”所在的第一对象子区域;第一对象类别“动物”对应的第一对象区域包括“小猫”所在的第一对象子区域;第一对象类别“其他类别”对应的第一对象区域包括“天空”所在的第一对象子区域。对于每个备用图像信息,在做好类别识别和区域分割之后,计算各第一对象区域的曝光度,在对每个备用图像信息计算完成后,可以得到每个第一对象区域对应的至少两个曝光度。
在一些实施例中,所述步骤S113包括:设备根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别;对于每一个第一对象类别,根据属于该第一对象类别的至少一个第一对象的第一对象子区域确定该第一对象类别对应的第一对象区域。在一些实施例中,在进行类别识别以及图像分割后,对所述一个或多个第一对象进行归类,并基于归类结果确定各第一对象类别对应的第一对象区域,以便在划分好第一对象区域后,计算该第一对象区域的曝光度。在一些实施例中,所述设备中预设多个对象类别中每个对象类别对应的对象,以便确定识别出的第一对象所属的第一对象类别,进而对其进行归类。例如,小猫、小狗属于动物类别;课本、书包属于学习用品等。在一些实施例中,对于每一个第一对象类别,根据属于该第一对象类别的至少一个第一对象的第一对象子区域确定该第一对象类别对应的第一对象区域。例如,将小猫、小狗所在的第一对象子区域确定为动物这个第一对象类别对应的第一对象区域,换言之,“动物”第一对象类别对应的第一对象区域包括小猫、小狗所在的第一对象子区域之和。
在一些实施例中,所述步骤S12包括:对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,并记录该曝光度对应的第一对象类别以及备用图像信息,以得到每个第一对象区域的至少两个曝光度,以及每个曝光度与其对应的第一对象类别以及备用图像信息之间的映射关系。在一些实施例中,所述设备记录各曝光度与得到该曝光度的备用图像信息之间的对应关系,以及该曝光度对应的第一对象类别,以便后续在得到目标曝光向量时,获取到该目标曝光向量中各目标曝光度对应的第一对象类别,以及各目标曝光度对应的目标备用图像信息,从而从该目标备用图像信息中提取该第一对象类别对应的第一对象区域,或者基于该目标备用图像信息中该第一对象类别对应的第一对象区域的像素信息合成高动态范围图像。例如,基于三组曝光参数得到了备用图像信息A的三个备用图像信息1、备用图像信息2、备用图像信息3。该图像信息A中包括第一对象类别“动物”“办公用品”“其他类别”,分别确定备用图像信息1、备用图像信息2、备用图像信息3中,“动物”“办公用品”“其他类别”对应的第一对象区域,并计算各第一对象区域的曝光度。例如,在备用图像信息1中,第一对象类别“动物”对应的第一对象区域的曝光度为50,则关联“50”“备用图像信息1”“动物”,以便后续查询。
在一些实施例中,所述计算所述第一对象区域的曝光度包括:根据所述第一对象区域的像素信息计算该第一对象区域的曝光度。在一些实施例中,由于各备用图像信息是基于不同的曝光参数获取的,同一个第一对象区域在不同的备用图像信息中的曝光度是不同的。所述设备计算在不同的曝光参数下得到的各第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度。在一些实施例中,设备基于所述第一对象区域的像素信息计算该第一对象区域的曝光度,例如,将所述第一对象区域灰度化之后,计算该第一对象区域内所有像素信息的平均值,并将该平均值作为该第一对象区域在该备用图像信息中的曝光度。
在一些实施例中,所述步骤在S13包括步骤S131(未示出)、步骤S132以及步骤S133。在步骤S131中,设备基于类别集合中多个第二对象类别的排列顺序确定所述至少一个第一对象类别的排列顺序;在步骤S132中,基于每个第一对象类别对应的至少两个曝光度对所述至少一个第一对象类别对应的多个曝光度进行排列组合,以得到所述图像信息的多个曝光度组合,其中,每个曝光度组合中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;在步骤S133中,对于每一个曝光度组合,根据该曝光度组合中的每个曝光度、该曝光度对应的第一对象类别以及所述类别集合确定初始曝光向量中各分量的赋值,以得到所述图像信息的多个曝光向量,其中,所述初始曝光向量对应于所述类别集合。本实施例具体介绍了通过排列组合的方式得到所述图像信息的多个曝光向量的过程。在一些实施例中,所述设备先固定所述至少一个第一对象类别的排列顺序,再基于每个第一对象类别对应的至少两个曝光度对曝光度进行排列组合,以得到多个曝光度组合;再基于每个曝光度组合生成所述图像信息的多个曝光向量。在一些实施例中,所述设备中包括所述类别集合,所述类别集合中包括多个按序排列的第二对象类别。在一些实施例中,所述设备基于所述多个按序排列的第二对象类别的排列顺序对所述至少一个第一对象类别进行排序。例如,所述多个按序排列的第二对象类别包括:人物、动物、办公用品、食品、其他类别,所述至少一个第一对象类别包括:办公用品、动物、其他类别,则所述设备基于所述第二对象类别的排列顺序对所述第一对象类别进行排序,以固定所述至少一个第一对象类别的顺序(例如,排序结果为:动物、办公用品、其他类别)。进一步地,由于通过不同的曝光参数进行曝光采样后,每个第一对象类别对应有至少两个曝光度(例如,每个第一对象类别对应的第一对象区域的三个曝光度),在固定所述三个第一对象类别的排列顺序后,基于每个第一对象类别对应的三个曝光度进行排列组合(例如,有三个第一对象类别,每个第一对象类别对应有三个曝光度,在固定这三个第一对象类别的排列顺序的基础上,基于每个第一对象类别对应的三个曝光度进行排列组合,则有33种组合方式),得到多个曝光度组合(例如,33个曝光度组合)。进一步地,所述类别集合对应有初始曝光向量,基于得到的曝光度组合、每个曝光度对应的第一对象类别以及所述类别集合确定该初始曝光向量中各分量的赋值,将赋值后的初始曝光向量作为所述图像信息的曝光向量,则基于多个曝光度组合可以得到所述图像信息的多个曝光向量。例如,得到的每个曝光度组合中都存在出现在所述图像信息中的至少一个第一对象类别中各第一对象类别对应的第一对象区域的一个曝光度,则基于每个曝光度组合得到的曝光向量中也包括出现在所述图像信息中的至少一个第一对象类别中各第一对象类别对应的第一对象区域的一个曝光度。在一些实施例中,所述设备中记录有每个曝光度与该曝光度对应的第一对象类别之间的对应关系,以便基于该曝光度对应的第一对象类别以及所述类别集合确定应该对所述初始曝光向量中的哪一个分量进行赋值。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述类别集合对应有初始曝光向量,所述初始曝光向量包括多个分量,所述多个第二对象类别的数量与所述多个分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述初始曝光向量中都有其对应的分量,每个分量的初始赋值为零;所述步骤S133包括:对于每一个曝光度组合,确定所述类别集合中存在的与该曝光度组合中的曝光度对应的第一对象类别相同的第二对象类别;根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。例如,所述类别集合中包括多个按序排列的第二对象类别:人物、动物、办公用品、食品、其他类别,则该类别集合对应的初始曝光向量为[0,0,0,0,0],其中,基于所述多个第二对象类别的排列顺序,人物对应该初始曝光向量中的第一个分量,动物对应于该初始曝光向量中的第二个分量,以此类推。在一些实施例中,通过对所述初始曝光向量赋值生成所述图像信息的曝光向量。在一些实施例中,对于得到的每一个曝光度组合,该曝光度组合中存在出现在所述图像信息中的每一个第一对象类别对应的曝光度,并且,所述设备还记录有每个曝光度所对应的第一对象类别。对于每一个曝光度组合,若所述类别集合中存在与该曝光度组合中的曝光度对应的第一对象类别相同的第二对象类别,根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值(例如,重新赋值为该曝光度),以得到所述图像信息的多个曝光向量。例如,所述类别集合中包括多个按序排列的第二对象类别:人物、动物、办公用品、食品、其他类别,该类别集合对应的初始曝光向量为[0,0,0,0,0],得到了某图像信息的曝光度组合包括“80,90,100”,其中,曝光度80对应的第一对象类别为动物,则所述类别集合中存在与“动物”相同的第二对象类别,将初始曝光向量中“动物”对应的分量重新赋值为80;曝光度90对应的第一对象类别为办公用品,则所述类别集合中存在与“办公用品”相同的第二对象类别,将初始曝光向量中“办公用品”对应的分量重新赋值为90;曝光度100对应的第一对象类别为其他类别,则所述类别集合中存在与“其他类别”相同的第二对象类别,将初始曝光向量中“其他类别”对应的分量重新赋值为100,最终基于该曝光度组合得到该图像信息的一个曝光向量为[0,80,90,0,100]。
在一些实施例中,所述步骤S1331包括:对于每一个曝光度组合,根据所述类别集合中多个第二对象类别的排列顺序依次检测该曝光度组合中各曝光度对应的第一对象类别中是否存在与该第二对象类别相同的第一对象类别;若存在,根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。例如,所述类别集合中包括多个按序排列的第二对象类别:人物、动物、办公用品、食品、其他类别,该类别集合对应的初始曝光向量为[0,0,0,0,0],得到了某图像信息的曝光度组合包括“80,90,100”,其中,曝光度80对应的第一对象类别为动物,曝光度90对应的第一对象类别为办公用品,曝光度100对应的第一对象类别为其他类别,根据所述类别集合中多个第二对象类别的顺序按序检测该曝光度组合中个曝光度对应的第一对象类别中是否存在与该第二对象类别相同的第一对象类别。例如,先检测所述曝光度组合中是否存在与人物相同的第一对象类别,结果为不存在,则初始曝光向量中的第一个分量保持初始赋值(例如,0);再检测所述曝光度组合中是否存在与动物相同的第一对象类别,结果为存在,则将初始曝光向量中的第二个分量重新赋值为第一对象类别“动物”对应的曝光度80;再检测所述曝光度组合中是否存在与“办公用品”相同的第一对象类别,结果为存在,则将初始曝光向量中的第三个分量重新赋值为第一对象类别“办公用品”对应的曝光度90;再检测所述曝光度组合中是否存在与食品相同的第一对象类别,结果为不存在,则初始曝光向量中的第四个分量保持初始赋值(例如,0);最后检测所述曝光度组合中是否存在与其他类别相同的第一对象类别,结果为存在,则将初始曝光向量中的第五个分量重新赋值为第一对象类别“其他类别”对应的曝光度100。最终基于该曝光度组合得到该图像信息的一个曝光向量为[0,80,90,0,100]。
在一些实施例中,所述步骤S15包括:将所述多个曝光向量中得分最高的一个曝光向量作为目标曝光向量,其中,所述目标曝光向量中包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的目标曝光度;获取每个目标曝光度对应的目标备用图像信息以及第一对象类别;根据所述目标备用图像信息中各目标曝光度对应的第一对象类别的第一对象区域合成所述取景图像的高动态范围图像。在一些实施例中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别对应的第一对象区域的曝光度,对于计算得到的每个曝光度,所述设备都记录了该曝光度对应的第一对象类别以及备用图像信息。所述设备将得分最高的一个曝光向量作为目标曝光向量,并将该目标曝光向量中的各曝光度作为所述图像信息中对应的第一对象类别的目标曝光度。获取该目标曝光向量中各目标曝光度对应的目标备用图像信息以及第一对象类别。例如,曝光向量[0,80,90,0,100]的得分最高,其中,曝光度80对应的第一对象类别为动物,对应目标备用图像信息为备用图像信息1;曝光度90对应的第一对象类别为办公用品,对应的目标备用图像信息为备用图像信息2;曝光度100对应的第一对象类别为其他类别,对应的目标备用图像信息为备用图像信息1。则对于所述图像信息的第一对象类别“动物”对应的第一对象区域,则提取备用图像信息1中的该第一对象区域;对于所述图像信息中的第一对象类别“办公用品”对应的第一对象区域,则提取备用图像信息2中的该第一对象区域;对于所述图像信息中的第一对象类别“其他类别”对应的第一对象区域,则提取备用图像信息1中的该第一对象区域,最终基于各提取的第一对象区域合成所述图像信息的高动态范围图像。
在一些实施例中,所述方法还包括步骤S16(未示出),在步骤S16中,设备根据多张图片的曝光向量以及分数标签构建所述曝光分数模型。在一些实施例中,所述曝光分数模型是基于NFM网络构建而成的。在一些实施例中,基于大量欠曝、过曝以及曝光较好等质量不同图片的曝光向量以及每张图片对应的分数标签训练所述曝光分数模型,以使得通过向所述曝光分数模型中输入曝光向量,输出该曝光向量的分数。在一些实施例中,曝光效果越好的图片,其对应的分数越高。
在一些实施例中,所述方法还包括步骤S17(未示出)、步骤S18以及步骤S19。在步骤S17中,对于所述多张图片中的每一张图片,确定出现在该图片中的一个或多个第三对象,以及每个第三对象在该图片中对应的第三对象子区域;在步骤S18中,确定所述一个或多个第三对象所属的至少一个第三对象类别,以及每个第三对象类别在该图片中对应的第三对象区域;在步骤S19中,根据每个第三对象区域的曝光度生成该图片的曝光向量。在此,本申请提到的“第一”“第二”“第三”等词语仅用于区别在不同对象(例如,图像信息、图片、类别集合)中的信息,而并不代表任何的顺序。在一些实施例中,对于收集的多张图片,需要生成每张图片的曝光向量。在生成每张图片的曝光向量时,需要先确定出现在该张图片中的一个或多个第三对象,以及每个第三对象在该图片中的第三对象子区域。例如,基于YOLO算法检测每张图片中出现的第三对象以及每个第三对象所在的第三对象子区域。再例如,基于图像分割技术对每张图片进行图像分割,并识别每个分割后的区域所对应的第三对象,以确定出现在该图片中的一个或多个第三对象以及每个第三对象对应的第三对象子区域。进一步地,所述设备根据每个第三对象所属的对象类别对所述一个或多个第三对象进行归类,以得到所述至少一个第三对象类别。在一些实施例中,所述设备中预设有多个对象类别,以及每个对象类别对应的对象(例如,对象类别“动物”对应对象“小猫”“小狗”等),以便对确定出的第三对象进行归类。在一些实施例中,每个第三对象类别对应的第三对象区域包括属于该第三对象类别的第三对象所对应的第三对象子区域之和。在确定出各第三对象区域之后,基于每个第三对象区域的曝光度生成该图片的曝光向量。
在一些实施例中,所述步骤S18包括:根据所述一个或多个第三对象中每个第三对象所属的第三对象类别确定所述一个或多个第三对象属于的至少一个第三对象类别;对于每一个第三对象类别,根据属于该第三对象类别的至少一个第三对象的第三对象子区域确定该第三对象类别对应的第三对象区域。在一些实施例中,对于每张图片,基于YOLO算法检测该图片中出现的第三对象,以及每个第三对象所对应的第三对象子区域(例如,所述第三对象所在的区域)。在一些实施例中,也可以基于图像分割技术(例如,resNet、VGGNet、Fast、R-CNN等图像分割算法)以及图像识别技术确定图片中的一个或多个第三对象,以及每个第三对象所对应的第三对象子区域(例如,所述第三对象所在的区域)。在一些实施例中,将属于同一第三对象类别的第三对象所对应的第三对象子区域作为该第三对象类别对应的第三对象区域,例如,小猫、小狗属于动物类别,则将小猫、小狗所在的区域确定为动物这个第三对象类别对应的第三对象区域,换言之,“动物”第三对象类别对应的第三对象区域包括小猫、小狗所在的第三对象子区域之和。
在一些实施例中,所述步骤S19包括:根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定初始曝光向量中各分量的赋值,以生成该图片的曝光向量,其中,所述初始曝光向量对应于所述类别集合。在一些实施例中,对于每张图片而言,在划分好第三对象区域后,所述设备根据每个第三对象区域内所有的像素信息计算该第三对象区域的曝光度。例如,将所述第三对象区域灰度化之后,计算所述第三对象区域内所有像素信息的平均值,将该平均值作为该第三对象区域的曝光度。进一步地,所述设备基于每个第三对象区域的曝光度以及类别集合确定初始曝光向量中各分量的赋值,并将赋值后的初始曝光向量作为该图片的曝光向量。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述初始曝光向量包括多个分量,每个分量的初始赋值为零,所述多个第二对象类别的数量与所述多个分量的数量相等,以使每个第二对象类别在所述初始曝光向量中都有其对应的分量;所述步骤S19包括:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以生成该图片的曝光向量。在一些实施例中,所述类别集合对应有初始曝光向量,所述初始曝光向量中各分量的初始赋值为零,基于所述类别集合中第二对象类别的排列顺序,每个第二对象类别在所述初始曝光向量中都有其对应的分量,根据第三对象类别以及所述第二对象类别的排列顺序确定初始曝光向量中各分量的赋值。例如,类别集合B中按序包括:人物、动物、食品、办公用品、学习用品、交通工具、其他类别(例如,对于图像信息或者图片中识别失败或者确定失败的对象都可记为其他,并将其归为其他类别)的第二对象类别。该类别集合B对应有初始曝光向量B,例如,该初始曝光向量B为[0,0,0,0,0,0,0],其中,所述类别集合B中的第二对象类别的数量与所述初始曝光向量B中的分量的数量相等,都是7个。基于所述7个第二对象类别的排列顺序,每个第二对象类别在所述初始曝光向量中都有其对应的分量,例如,人物对应于初始曝光向量B中的第一个分量,动物对应于初始曝光向量B中的第二个分量,食品对应于初始曝光向量B中的第三个分量,依次类推。若所述类别集合中存在与所述第三对象类别相同的第二对象类别,将该第二对象类别在所述初始曝光向量中对应的分量重新赋值。重新赋值的具体数值为该第三对象类别所对应的第三对象区域的曝光度。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,初始曝光向量B为[0,0,0,0,0,0,0],所述图片中出现的第三对象类别包括动物、办公用品、其他类别,其中,动物对应的第三对象区域的曝光度为80,办公用品对应的第三对象区域的曝光度为100,其他类别对应的第三对象区域的曝光度为90,根据每个第三对象类别所对应的曝光度对所述初始曝光向量B中对应的分量进行重新赋值,以生成该图片的曝光向量(例如,[0,80,0,100,0,0,90])。
在一些实施例中,所述类别集合的获取过程包括:确定多张图片中每张图片包括的第二对象,以得到多个第二对象;根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。在一些实施例中,所述类别集合是通过统计大量图片中出现的第二对象的类别生成的。例如,识别大量图片中出现的第二对象,以得到多个第二对象,对所述多个第二对象进行归类划分,以得到多个第二对象类别。统计每个第二对象类别中所包括的第二对象的数量,基于每个第二对象类别包括的第二对象的数量,对所述多个第二对象类别进行排序,得到按序排列的多个第二对象类别。在一些实施例中,将所述多个按序排列的第二对象类别记录在所述类别集合中。
图2示出了根据本申请一个实施例的一种用于生成高动态范围图像的设备结构图,该设备包括一一模块、一二模块、一三模块、一四模块以及一五模块。一一模块,用于基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域;一二模块,用于对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度;一三模块,用于根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;一四模块,用于将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数;一五模块,用于基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。
具体而言,一一模块,用于基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域。在一些实施例中,所述第一对象包括但不限于出现在所述图像信息中的物品(例如,杯子、书本、电脑、天空等)。在一些实施例中,通过对所述图像信息中出现的第一对象进行归类,以确定所述一个或多个第一对象所对应的至少一个第一对象类别。例如,图像信息A中出现有第一对象:小猫、书本、电脑、天空,其中,小猫属于动物,书本、电脑属于办公用品,天空属于其他类别,则该图像信息A中的一个或多个第一对象属于动物、办公用品、其他类这三个第一对象类别。在一些实施例中,所述第一对象类别对应的第一对象区域包括属于该第一对象类别的一个或多个第一对象所在的区域之和。例如,在所述图像信息A中,第一对象类别“办公用品”对应的第一对象区域包括第一对象“书本”“电脑”所在的区域;第一对象类别“动物”对应的第一对象区域包括“小猫”所在的区域;第一对象类别“其他类别”对应的第一对象区域包括“天空”所在的区域。在一些实施例中,所述曝光参数包括但不限于光圈、快门速度、ISO感光度等曝光参数。在一些实施例中,所述待处理的图像信息包括但不限于取景图像,例如,在取景时,通过用户设备的取景器获取所述待处理的图像信息,并基于不同的曝光参数对取景图像进行曝光采样,以得到所述待处理的图像信息的至少两个备用图像信息。在一些实施例中,所述备用图像信息用于得到所述图像信息中每个第一对象区域的至少两个曝光度,以及用于在合成高动态范围图像时,从对应的备用图像信息中提取对应的第一对象区域,或者基于对应的备用图像信息中对应的第一对象区域的像素信息合成高动态范围图像。在一些实施例中,可以是基于三组不同的曝光参数拍摄整个所述取景图像(例如,所述待处理的图像信息),则可以获取关于所述图像信息的三张备用图像信息,基于每一张备用图像信息都可以得到每个第一对象区域的不同的曝光度。在另一些实施例中,也可以对所述图像信息中的各第一对象类别对应的第一对象区域进行单独曝光采样,以得到每个第一对象区域的至少两张备用图像信息,则对于所述图像信息而言,可以得到关于该图像信息的多张备用图像信息。例如,所述图像信息中存在三个第一对象类别,对于每一个第一对象类别而言,都采用三组不同的曝光参数对该第一对象类别对应的第一对象区域进行单独曝光采样,则可以得到该第一对象区域的三张备用图像信息,对于该图像信息而言,则存在九张备用图像信息。
一二模块,用于对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度。在一些实施例中,所述第一对象区域的曝光度是基于该第一对象区域的像素信息计算获得的,例如,将所述第一对象区域灰度化之后,计算该第一对象区域内所有像素信息的平均值,并将该平均值作为该第一对象区域的曝光度。在一些实施例中,通过不同曝光参数得到的同一第一对象区域的曝光度是不同的。例如,对于上述图像信息A,通过三组不同的曝光参数获得了该图像信息A的三个备用图像信息。对于第一对象类别“动物”所对应的第一对象区域而言,基于每个备用图像信息中该第一对象区域的像素信息可以计算得到该第一对象区域的一个曝光度,则对于该第一对象区域而言,可以得到该第一对象区域的三个曝光度。同样地,对于第一对象类别“办公用品”对应的第一对象区域而言,可以得到该第一对象区域的三个曝光度;对于第一对象类别“其他类别”对应的第一对象区域而言,可以得到该第一对象区域的三个曝光度。
一三模块,用于根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度。例如,在确定出现在所述图像信息中的至少一个第一对象类别,并得到了每个第一对象区域对应的至少两个曝光度之后,基于所述至少一个第一对象类别以及每个第一对象区域对应的至少两个曝光度可以得到该图像信息的多个曝光向量,并且每个曝光向量中都包括该图像信息中的每个第一对象区域对应的一个曝光度。在一些实施例中,可以基于随机组合的方式生成所述图像信息的多个曝光向量,例如,分别从每个第一对象区域对应的至少两个曝光向量中随机挑选出一个曝光度,得到一个曝光度组合,基于该曝光度组合以及所述至少一个第一对象类别生成该图像信息的一个曝光向量;再从每个第一对象区域对应的至少两个曝光向量中随机挑选出一个曝光度,得到另一个曝光度组合,基于该曝光度组合以及所述至少一个第一对象类别生成该图像信息的又一个曝光向量;按照该随机方式得到该图像信息的多个曝光向量。再例如,为了尽可能覆盖每个第一对象区域之间各曝光度的所有组合方式,可以通过对得到的所述至少一个第一对象区域对应的多个曝光度进行排列组合的方式获得所述图像信息的多个曝光度组合,再对于每个曝光度组合,基于所述至少一个第一对象类别生成该图像信息的多个曝光向量。在一些实施例中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度,则基于每个曝光向量都可以得到所述图像信息中每个第一对象区域的曝光度。
一四模块,用于将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数。在一些实施例中,所述曝光分数模型是基于NFM网络构建而成的。在一些实施例中,所述曝光分数模型用于通过输入图像信息的曝光向量,输出该曝光向量对应的分数。在一些实施例中,所述曝光向量的得分越高,说明基于该曝光向量中各第一对象类别对应的第一对象区域的曝光度合成图像信息的高动态范围图像的效果最好。
一五模块,用于基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。在一些实施例中,将得分最高的曝光向量确定为目标曝光向量,将该目标曝光向量中所包括的曝光度作为对应的第一对象区域的目标曝光度。在一些实施例中,每个曝光向量中都存在该图像信息中各第一对象类别对应的第一对象区域的曝光度,而各第一对象区域的曝光度是基于其所在的备用图像信息得到的,因此,在确定出得分最高的目标曝光向量后,可以基于存在于该目标曝光向量中的目标曝光度确定得到该目标曝光度的目标备用图像信息,从该目标备用图像信息中提取该目标曝光度对应的第一对象区域,以用于合成所述图像信息的高动态范围图像,或者基于该目标备用图像信息中该第一对象区域的像素信息合成所述图像信息的高动态范围图像。在本实施例中,最终用于合成所述图像信息的高动态范围图像的各第一对象区域的曝光度是基于得分最高的一个曝光向量确定的,从而使得最终合成的所述高动态范围图像的效果更真实,视觉效果更好。
在一些实施例中,所述一一模块包括一一一模块(未示出)、一一二模块、一一三模块。一一一模块,用于获取待处理的图像信息,以及所述图像信息的至少两个备用图像信息,其中,所述至少两个备用图像信息是基于不同的曝光参数获取的;一一二模块,用于对于每一个备用图像信息,确定出现在该备用图像信息中的一个或多个第一对象,以及每个第一对象在该备用图像信息中对应的第一对象子区域;一一三模块,用于确定所述一个或多个第一对象所属的至少一个第一对象类别,以及每个第一对象类别在该备用图像信息中对应的第一对象区域。一二模块用于:对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,以得到每个第一对象区域的至少两个曝光度。
在此,所述一一一模块、一一二模块、一一三模块对应的具体实施方式与所述步骤S111、步骤S112以及步骤S113的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一一三模块,用于根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别;对于每一个第一对象类别,根据属于该第一对象类别的至少一个第一对象的第一对象子区域确定该第一对象类别对应的第一对象区域。
在此,所述一一三模块对应的具体实施方式与所述步骤S113的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一二模块用于:对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,并记录该曝光度对应的第一对象类别以及备用图像信息,以得到每个第一对象区域的至少两个曝光度,以及每个曝光度与其对应的第一对象类别以及备用图像信息之间的映射关系。
在此,所述一二模块对应的具体实施方式与所述步骤S12的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述计算所述第一对象区域的曝光度包括:根据所述第一对象区域的像素信息计算该第一对象区域的曝光度。在一些实施例中,由于各备用图像信息是基于不同的曝光参数获取的,同一个第一对象区域在不同的备用图像信息中的曝光度是不同的。所述设备计算在不同的曝光参数下得到的各第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度。在一些实施例中,设备基于所述第一对象区域的像素信息计算该第一对象区域的曝光度,例如,将所述第一对象区域灰度化之后,计算该第一对象区域内所有像素信息的平均值,并将该平均值作为该第一对象区域在该备用图像信息中的曝光度。
在一些实施例中,所述一三模块包括一三一模块(未示出)、一三二模块以及一三三模块。一三一模块,用于基于类别集合中多个第二对象类别的排列顺序确定所述至少一个第一对象类别的排列顺序;一三二模块用于,基于每个第一对象类别对应的至少两个曝光度对所述至少一个第一对象类别对应的多个曝光度进行排列组合,以得到所述图像信息的多个曝光度组合,其中,每个曝光度组合中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;一三三模块,用于对于每一个曝光度组合,根据该曝光度组合中的每个曝光度、该曝光度对应的第一对象类别以及所述类别集合确定初始曝光向量中各分量的赋值,以得到所述图像信息的多个曝光向量,其中,所述初始曝光向量对应于所述类别集合。
在此,所述一三一模块、一三二模块以及一三三模块对应的具体实施方式与所述步骤S131、步骤S132、步骤S133的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述类别集合对应有初始曝光向量,所述初始曝光向量包括多个分量,所述多个第二对象类别的数量与所述多个分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述初始曝光向量中都有其对应的分量,每个分量的初始赋值为零;所述一三三模块用于:对于每一个曝光度组合,确定所述类别集合中存在的与该曝光度组合中的曝光度对应的第一对象类别相同的第二对象类别;根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。
在此,所述一三三模块对应的具体实施方式与所述步骤S133的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一三一模块用于:对于每一个曝光度组合,根据所述类别集合中多个第二对象类别的排列顺序依次检测该曝光度组合中各曝光度对应的第一对象类别中是否存在与该第二对象类别相同的第一对象类别;若存在,根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。
在此,所述一三一模块对应的具体实施方式与所述步骤S131的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一五模块用于:将所述多个曝光向量中得分最高的一个曝光向量作为目标曝光向量,其中,所述目标曝光向量中包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的目标曝光度;获取每个目标曝光度对应的目标备用图像信息以及第一对象类别;根据所述目标备用图像信息中各目标曝光度对应的第一对象类别的第一对象区域合成所述取景图像的高动态范围图像。
在此,所述一五模块对应的具体实施方式与所述步骤S15的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一六模块(未示出),一六模块用于,根据多张图片的曝光向量以及分数标签构建所述曝光分数模型。
在此,所述一六模块对应的具体实施方式与所述步骤S16的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一七模块(未示出)、一八模块以及一九模块。一七模块,用于对于所述多张图片中的每一张图片,确定出现在该图片中的一个或多个第三对象,以及每个第三对象在该图片中对应的第三对象子区域;一八模块用于,确定所述一个或多个第三对象所属的至少一个第三对象类别,以及每个第三对象类别在该图片中对应的第三对象区域;一九模块用于,根据每个第三对象区域的曝光度生成该图片的曝光向量。
在此,所述一七模块、一八模块以及一九模块对应的具体实施方式与所述步骤S17、步骤S18以及步骤S19的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一八模块用于:根据所述一个或多个第三对象中每个第三对象所属的第三对象类别确定所述一个或多个第三对象属于的至少一个第三对象类别;对于每一个第三对象类别,根据属于该第三对象类别的至少一个第三对象的第三对象子区域确定该第三对象类别对应的第三对象区域。
在此,所述一八模块对应的具体实施方式与所述步骤S18的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一九模块:根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定初始曝光向量中各分量的赋值,以生成该图片的曝光向量,其中,所述初始曝光向量对应于所述类别集合。
在此,所述一九模块对应的具体实施方式与所述步骤S19的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述初始曝光向量包括多个分量,每个分量的初始赋值为零,所述多个第二对象类别的数量与所述多个分量的数量相等,以使每个第二对象类别在所述初始曝光向量中都有其对应的分量;所述一九模块用于:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以生成该图片的曝光向量。
在此,所述一九模块对应的具体实施方式与所述步骤S19的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合的获取过程包括:确定多张图片中每张图片包括的第二对象,以得到多个第二对象;根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。在一些实施例中,所述类别集合是通过统计大量图片中出现的第二对象的类别生成的。例如,识别大量图片中出现的第二对象,以得到多个第二对象,对所述多个第二对象进行归类划分,以得到多个第二对象类别。统计每个第二对象类别中所包括的第二对象的数量,基于每个第二对象类别包括的第二对象的数量,对所述多个第二对象类别进行排序,得到按序排列的多个第二对象类别。在一些实施例中,将所述多个按序排列的第二对象类别记录在所述类别集合中。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图3所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (17)

1.一种用于生成高动态范围图像的方法,其中,该方法包括:
基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,每个第一对象类别在所述图像信息中对应有第一对象区域;
对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度,其中,每个第一对象区域的至少两个曝光度包括每个第一对象区域在对应至少两个备用图像信息的不同备用图像信息中的曝光度;
根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;
将每个所述曝光向量输入曝光分数模型,以输出每个曝光向量的分数;
基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像。
2.根据权利要求1所述的方法,其中,所述基于不同的曝光参数获取待处理的图像信息的至少两个备用图像信息,包括:
获取待处理的图像信息,以及所述图像信息的至少两个备用图像信息,其中,所述至少两个备用图像信息是基于不同的曝光参数获取的;
对于每一个备用图像信息,确定出现在该备用图像信息中的一个或多个第一对象,以及每个第一对象在该备用图像信息中对应的第一对象子区域;
确定所述一个或多个第一对象所属的至少一个第一对象类别,以及每个第一对象类别在该备用图像信息中对应的第一对象区域;
所述对于每一个第一对象区域,计算通过不同曝光参数得到的该第一对象区域的曝光度,以得到每个第一对象区域的至少两个曝光度,包括:
对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,以得到每个第一对象区域的至少两个曝光度。
3.根据权利要求2所述的方法,其中,所述确定所述一个或多个第一对象所属的至少一个第一对象类别,以及每个第一对象类别在该备用图像信息中对应的第一对象区域,包括:
根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别;
对于每一个第一对象类别,根据属于该第一对象类别的至少一个第一对象的第一对象子区域确定该第一对象类别对应的第一对象区域。
4.根据权利要求2所述的方法,其中,所述对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,以得到每个第一对象区域的至少两个曝光度,包括:
对于每一个第一对象区域,计算该第一对象区域在不同备用图像信息中的曝光度,并记录该曝光度对应的第一对象类别以及备用图像信息,以得到每个第一对象区域的至少两个曝光度,以及每个曝光度与其对应的第一对象类别以及备用图像信息之间的映射关系。
5.根据权利要求1所述的方法,其中,所述计算所述第一对象区域的曝光度包括:
根据所述第一对象区域的像素信息计算该第一对象区域的曝光度。
6.根据权利要求4所述的方法,其中,所述根据所述至少一个第一对象类别以及每个第一对象区域的所述至少两个曝光度生成所述图像信息的多个曝光向量,其中,每个曝光向量中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度,包括:
基于类别集合中多个第二对象类别的排列顺序确定所述至少一个第一对象类别的排列顺序;
基于每个第一对象类别对应的至少两个曝光度对所述至少一个第一对象类别对应的多个曝光度进行排列组合,以得到所述图像信息的多个曝光度组合,其中,每个曝光度组合中都包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的一个曝光度;
对于每一个曝光度组合,根据该曝光度组合中的每个曝光度、该曝光度对应的第一对象类别以及所述类别集合确定初始曝光向量中各分量的赋值,以得到所述图像信息的多个曝光向量,其中,所述初始曝光向量对应于所述类别集合。
7.根据权利要求6所述的方法,其中,所述类别集合包括多个按序排列的第二对象类别,所述类别集合对应有初始曝光向量,所述初始曝光向量包括多个分量,所述多个第二对象类别的数量与所述多个分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述初始曝光向量中都有其对应的分量,每个分量的初始赋值为零;
所述对于每一个曝光度组合,根据该曝光度组合中的每个曝光度、该曝光度对应的第一对象类别以及所述类别集合确定初始曝光向量中各分量的赋值,以得到所述图像信息的多个曝光向量,其中,所述初始曝光向量对应于所述类别集合,包括:
对于每一个曝光度组合,确定所述类别集合中存在的与该曝光度组合中的曝光度对应的第一对象类别相同的第二对象类别;
根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。
8.根据权利要求7所述的方法,其中,所述对于每一个曝光度组合,确定所述类别集合中存在的与该曝光度组合中的曝光度对应的第一对象类别相同的第二对象类别;根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量,包括:
对于每一个曝光度组合,根据所述类别集合中多个第二对象类别的排列顺序依次检测该曝光度组合中各曝光度对应的第一对象类别中是否存在与该第二对象类别相同的第一对象类别;
若存在,根据该曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以得到所述图像信息的多个曝光向量。
9.根据权利要求4至8中任一项所述的方法,其中,所述基于所述多个曝光向量中得分最高的目标曝光向量,以及该目标曝光向量中各目标曝光度对应的目标备用图像信息合成所述图像信息的高动态范围图像,包括:
将所述多个曝光向量中得分最高的一个曝光向量作为目标曝光向量,其中,所述目标曝光向量中包括出现在所述图像信息中的每个第一对象类别所对应的第一对象区域的目标曝光度;
获取每个目标曝光度对应的目标备用图像信息以及第一对象类别;
根据所述目标备用图像信息中各目标曝光度对应的第一对象类别的第一对象区域合成所述图像信息的高动态范围图像。
10.根据权利要求1所述的方法,所述方法还包括:
根据多张图片的曝光向量以及分数标签构建所述曝光分数模型。
11.根据权利要求10所述的方法,其中,所述方法还包括:
对于所述多张图片中的每一张图片,确定出现在该图片中的一个或多个第三对象,以及每个第三对象在该图片中对应的第三对象子区域;
确定所述一个或多个第三对象所属的至少一个第三对象类别,以及每个第三对象类别在该图片中对应的第三对象区域;
根据每个第三对象区域的曝光度生成该图片的曝光向量。
12.根据权利要求11所述的方法,其中,所述确定所述一个或多个第三对象所属的至少一个第三对象类别,以及每个第三对象类别在该图片中对应的第三对象区域,包括:
根据所述一个或多个第三对象中每个第三对象所属的第三对象类别确定所述一个或多个第三对象属于的至少一个第三对象类别;
对于每一个第三对象类别,根据属于该第三对象类别的至少一个第三对象的第三对象子区域确定该第三对象类别对应的第三对象区域。
13.根据权利要求11所述的方法,其中,所述根据每个第三对象区域的曝光度生成该图片的曝光向量,包括:
根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定初始曝光向量中各分量的赋值,以生成该图片的曝光向量,其中,所述初始曝光向量对应于所述类别集合。
14.根据权利要求13所述的方法,其中,所述类别集合包括多个按序排列的第二对象类别,所述初始曝光向量包括多个分量,每个分量的初始赋值为零,所述多个第二对象类别的数量与所述多个分量的数量相等,以使每个第二对象类别在所述初始曝光向量中都有其对应的分量;
所述根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定初始曝光向量中各分量的赋值,以生成该图片的曝光向量,其中,所述初始曝光向量对应于所述类别集合,包括:
若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述初始曝光向量中对应的分量重新赋值,以生成该图片的曝光向量。
15.根据权利要求6至8、13或14中任一项所述的方法,其中,所述类别集合的获取过程包括:
确定多张图片中每张图片包括的第二对象,以得到多个第二对象;
根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;
根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。
16.一种用于生成高动态范围图像的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至15中任一项所述方法的操作。
17.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行执行如权利要求1至15中任一项所述方法的操作。
CN202011623358.1A 2020-12-30 2020-12-30 一种用于生成高动态范围图像的方法与设备 Active CN112822426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011623358.1A CN112822426B (zh) 2020-12-30 2020-12-30 一种用于生成高动态范围图像的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011623358.1A CN112822426B (zh) 2020-12-30 2020-12-30 一种用于生成高动态范围图像的方法与设备

Publications (2)

Publication Number Publication Date
CN112822426A CN112822426A (zh) 2021-05-18
CN112822426B true CN112822426B (zh) 2022-08-30

Family

ID=75856043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011623358.1A Active CN112822426B (zh) 2020-12-30 2020-12-30 一种用于生成高动态范围图像的方法与设备

Country Status (1)

Country Link
CN (1) CN112822426B (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006006582D1 (de) * 2005-08-08 2009-06-10 Mep Imaging Technologies Ltd Adaptive belichtungssteuerung
US8346002B2 (en) * 2007-07-20 2013-01-01 Microsoft Corporation High dynamic range image hallucination
JP6218389B2 (ja) * 2013-02-07 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术(北京)有限公司 高动态范围图像的生成方法和装置
CN116886835A (zh) * 2016-12-23 2023-10-13 奇跃公司 用于确定内容捕获设备的设置的技术
CN107809593B (zh) * 2017-11-13 2019-08-16 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN108683862B (zh) * 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
CN110728633B (zh) * 2019-09-06 2022-08-02 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN110971841B (zh) * 2019-12-09 2022-07-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111586308B (zh) * 2020-04-10 2022-03-29 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112132769A (zh) * 2020-08-04 2020-12-25 绍兴埃瓦科技有限公司 图像融合方法、装置以及计算机设备

Also Published As

Publication number Publication date
CN112822426A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US20180247405A1 (en) Automatic detection and semantic description of lesions using a convolutional neural network
CN107045503B (zh) 一种特征集确定的方法及装置
US11409992B2 (en) Data slicing for machine learning performance testing and improvement
CN110378420A (zh) 一种图像检测方法、装置及计算机可读存储介质
US20190318822A1 (en) Deep image classification of medical images
US11276164B2 (en) Classifier trained with data of different granularity
US11176427B2 (en) Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines
CN111046956A (zh) 遮挡图像检测方法、装置、电子设备及存储介质
US11468296B2 (en) Relative position encoding based networks for action recognition
US20210012191A1 (en) Performing multivariate time series prediction with three-dimensional transformations
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
Vaviya et al. Identification of artificially ripened fruits using machine learning
CN114220076A (zh) 多目标检测方法、装置及其应用
US20210012511A1 (en) Visual search method, computer device, and storage medium
CN108257081B (zh) 用于生成图片的方法和装置
CN112822426B (zh) 一种用于生成高动态范围图像的方法与设备
US20210174939A1 (en) Deep learning system for detecting acute intracranial hemorrhage in non-contrast head ct images
CN112839181B (zh) 一种用于生成高动态范围图像的方法与设备
CN115037790B (zh) 异常注册识别方法、装置、设备及存储介质
CN112822425B (zh) 一种用于生成高动态范围图像的方法与设备
CN109657514B (zh) 一种用于生成和识别二维码的方法与设备
CN113223017A (zh) 目标分割模型的训练方法、目标分割方法及设备
CN113255766A (zh) 一种图像分类方法、装置、设备和存储介质
CN110781416A (zh) 一种提供风景信息的方法与设备
CN113657245B (zh) 一种用于人脸活体检测的方法、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant