CN112991158A - 一种图像生成方法、装置、设备及存储介质 - Google Patents

一种图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112991158A
CN112991158A CN202110351943.9A CN202110351943A CN112991158A CN 112991158 A CN112991158 A CN 112991158A CN 202110351943 A CN202110351943 A CN 202110351943A CN 112991158 A CN112991158 A CN 112991158A
Authority
CN
China
Prior art keywords
image
adjusted
area
shadow
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110351943.9A
Other languages
English (en)
Other versions
CN112991158B (zh
Inventor
程光亮
石建萍
安井裕司
松永英树
富手要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Honda Motor Co Ltd
Original Assignee
Sensetime Group Ltd
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd, Honda Motor Co Ltd filed Critical Sensetime Group Ltd
Priority to CN202110351943.9A priority Critical patent/CN112991158B/zh
Publication of CN112991158A publication Critical patent/CN112991158A/zh
Priority to PCT/CN2022/074059 priority patent/WO2022206156A1/zh
Priority to JP2023559825A priority patent/JP2024512102A/ja
Priority to US18/474,189 priority patent/US20240013453A1/en
Application granted granted Critical
Publication of CN112991158B publication Critical patent/CN112991158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像生成方法、装置、设备及存储介质,其中,将原始图像转换为特定场景下的待处理图像;在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。

Description

一种图像生成方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,涉及但不限于一种图像生成方法、装置、设备及存储介质。
背景技术
在相关技术的图像生成方法中,当需要将白天采集的一张道路场景的的图像通过风格转换转换为夜晚场景的图像时,转换后的图像中仍然存在阴影,这使得生成的图像的真实性不能得到保证。
发明内容
本申请实施例提供一种图像生成技术方案。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种图像生成方法,所述方法包括:
将原始图像转换为特定场景下的待处理图像;
在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;
确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;
在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
本申请实施例提供一种图像生成装置,所述装置包括:
第一转换模块,用于将原始图像转换为特定场景下的待处理图像;
第一确定模块,用于在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;
第二确定模块,用于确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;
第一调整模块,用于在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
对应地,本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现上述所述的方法步骤。
本申请实施例提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现上述所述的方法步骤。
本申请实施例提供一种图像生成方法、装置、设备及存储介质,首先对原始图像进行转换,得到特定场景下的待处理图像;然后,在待处理图像中,确定出图像渲染状态与场景信息不匹配的待调整区域;然后,通过将待调整区域的渲染状态调整为与场景信息相匹配的目标渲染状态,生成图像渲染状态与场景信息匹配的目标图像;如此,生成的目标图像中的阴影渲染状态与场景信息相匹配,从而使得生成的目标图像更加真实。
附图说明
图1为本申请实施例提供的图像生成方法的实现流程示意图;
图2为本申请实施例提供的图像生成方法的另一实现流程示意图;
图3A为本申请实施例提供的图像生成系统的组成结构示意图;
图3B为本申请实施例提供的图像生成方法的应用场景示意图;
图4为本申请实施例提供的图像生成方法的实现框架结构图;
图5为本申请实施例提供的图像生成方法的另一应用场景示意图;
图6为本申请实施例提供的图像生成装置结构组成示意图;
图7为本申请实施例提供的计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使在一些实施例中描述的本申请实施例能够以除了在在一些实施例中图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)高斯模糊:对于图像来说就是一个低通滤波器。所谓"模糊",可以理解成每一个像素都取周边像素的平均值。
2)自主车辆(ego vehicle):包含感知周围环境传感器的车辆。车辆坐标系固连在自主车辆上,其中,x轴为汽车前进的方向,y轴指向车辆前进方向的左侧,z轴垂直于地面向上,符合右手坐标系。坐标系原点位于后轴中点下方的大地上。
下面说明本申请实施例提供的图像生成的设备的示例性应用,本申请实施例提供的设备可以实施为具有图像采集功能的笔记本电脑,平板电脑,台式计算机,相机,移动设备(例如,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。下面,将说明设备实施为终端或服务器时示例性应用。
该方法可以应用于计算机设备,该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该计算机设备至少包括处理器和存储介质。
图1为本申请实施例图像生成方法的实现流程示意图,如图1所示,结合如图1所示步骤进行说明:
步骤S101,将原始图像转换为特定场景下的待处理图像。
在一些实施例中,原始图像可以是任意场景下采集的图像,可以是包括画面内容复杂的图像还可以是包括画面内容简单的图像,比如,在深夜采集的道路上的图像,或者在白天采集的道路上的图像等。特定场景包括:白天场景、傍晚场景、雨雪场景或者晴天场景等。特定场景的场景信息包括采集该待处理图像的场景,比如,场景中光线明暗程度、场景所在的位置以及场景中的对象等,比如,待处理图像是深夜场景下的道路的图像,那么场景信息包括:该道路的明亮程度、该道路的位置以及道路上的车辆和路灯等对象。
在一些可能的实现方式中,待处理图像可以是在特定场景下的图像,比如,深夜场景、傍晚场景或凌晨场景等。
在步骤S101中,将原始图像转换为特定场景下的待处理图像可以通过以下实现:
通过获取目标对象,按照特定场景对原始图像进行风格转换,得到待处理图像,过程如下:
第一步,获取原始图像。
在一些可能的实现方式中,原始图像为采集到的任意场景下的图像,比如,在白天采集的道路图像或者在夜晚采集的道路图像等。
第二步,确定原始图像的场景信息。
在一些可能的实现方式中,获取到原始图像之后,通过训练好的判别器,判断该图像的场景信息是否为特定场景。比如,特定场景为夜晚无光源场景,通过判别器判断该图像的场景信息是否为夜晚无光源场景。
第三步,在所述场景信息与所述特定场景不匹配的情况下,将原始图像进行风格转换,得到特定场景下的待处理图像。
在一些可能的实现方式中,在原始图像的场景信息与特定场景相差较远的情况下,将原始图像的场景信息转换为特定场景,即将原始图像转换为特定场景下的图像,从而得到特定场景下的待处理图像。比如,特定场景为夜晚无光源场景,原始图像为白天有太阳场景下采集到的图像,那么将白天有太阳场景下采集的原始图像转换为夜晚无光源场景的图像,可以通过将原始图像输入生成器,生成对应的夜晚无光源场景的待处理图像。或者,特定场景为白天有太阳场景,原始图像为夜晚无光源场景下采集到的图像,那么将夜晚无光源场景下采集的原始图像转换为白天有太阳场景的图像,可以通过将原始图像输入生成器,生成对应的白天有太阳场景的待处理图像。
在一些实施例中,在场景信息与特定场景相匹配的情况下,将原始图像确定为待处理图像。
比如,场景信息与特定场景相同或极为相近的情况下,说明原始图像即具有特定场景,所以不需要对原始图像进行图像转换,即可将原始图像作为待处理图像。在一个具体例子中,特定场景为深夜无光源场景,原始图像为夜幕降临的场景下采集到的图像,该场景与特定场景相似均为夜晚,那么将原始图像确定为待处理图像。
通过上述第一步至第三步,在获取原始图像之后,通过对原始图像的场景信息进行判断,在场景信息不是特定场景的情况下,对原始图像进行风格转换,从而得到具有特定场景的待处理图像。
步骤S102,在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域。
在一些实施例中,所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;在一些可能的实现方式中,目标对象可以是在光线照射下能够产生阴影的对象,可以是待处理图像的画面内容中包括的任意车辆、交通标识、行人或者动物等;比如,待处理图像是夜晚的城市道路图像,该图像中包括:建筑物、路面和停靠在路边的车辆等。那么在光线照射下能够产生阴影的目标对象为:建筑物和车辆。
图像渲染状态为在有光源或者无光源的情况下目标对象的渲染状态,至少包括:有阴影状态和无阴影状态。其中,光源包括人造光源和自然光源,人造光源包括:路灯、建筑物灯或者车灯等光源。与场景信息不相匹配的图像渲染状态为:在该场景信息下,图像中物体产生图像渲染状态与实际场景不符合。比如,在夜晚场景下,若无光源(即无人造光源以及月光),那么物体将不产生阴影,所以与夜晚无光源场景不匹配的阴影渲染状态为有阴影状态;在白天有太阳光照射的场景下,那么物体将会产生阴影,所以与白天有太阳场景不匹配的阴影渲染状态为无阴影状态。
在一些可能的实现方式中,通过对待处理图像中的阴影区域和非阴影区域进行分割,判断这些阴影区域和非阴影区域的阴影渲染状态是否和场景信息相匹配。比如,场景信息为夜晚无光源场景,与该场景不匹配的阴影渲染状态为有阴影状态;通过对处理图像中的阴影区域和非阴影区域进行分割之后,确定待处理图像中阴影渲染状态为有阴影状态的阴影区域为待调整区域。
步骤S103,确定待调整区域内的目标渲染状态。
在一些实施例中,与场景信息相匹配的目标渲染状态为:在该场景信息中目标对象实际产生阴影的状态。在场景信息为夜晚无光源场景的情况下,确定无阴影状态为与场景信息相匹配的目标渲染状态;在场景信息为白天有太阳场景或夜晚有光源场景的情况下,确定有阴影状态为与场景信息相匹配的目标渲染状态,这样确定出的目标渲染状态能够完美的匹配场景信息,符合实际场景。比如,在夜晚无光源场景下,那么物体将不产生阴影,所以与夜晚无光源场景匹配的目标渲染状态为无阴影状态;在白天有太阳场景下,由于太阳光的照射,那么目标对象将会产生阴影,所以与白天有太阳场景相匹配的目标渲染状态为有阴影状态。
在一个具体例子中,以场景信息为夜晚无光源场景,与所述场景信息相匹配的目标渲染状态为无阴影状态。以待处理图像为道路图像为例,如果该图像中包括停放在路边的车辆和树木,通过对该待处理图像进行阴影区域分割之后,如果车辆周围产生了车辆的阴影,那么该阴影所占据的图像区域即为待调整区域;该图像中区域的阴影渲染状态为无阴影状态的区域,即为具有目标渲染状态的区域。
在另一例子中,以场景信息为夜晚有光源场景的情况下,比如,存在路灯等人造光源,与所述场景信息相匹配的目标渲染状态为有阴影状态。以待处理图像为道路图像为例,如果该图像中包括停放在路边的车辆和树木,通过对该待处理图像进行阴影区域分割之后,如果车辆周围未产生车辆的阴影,那么该车辆周围所占据的图像区域即为待调整区域;该图像中阴影渲染状态为有阴影状态的区域,即为具有目标渲染状态的区域。
在一些实施例中,在特定场景为雨天场景的情况下,与该场景不匹配的待调整区域为不包括雨滴的图像区域。在特定场景为雪天场景的情况下,与该场景不匹配的待调整区域为不包括雪花的图像区域。
在一例子中,以场景信息为雨/雪场景为例,在原始图像为无雨/雪天气下采集的图像的情况下,待调整区域为该原始图像中的无遮挡区域(即露天区域);那么在该待调整区域中增加雨滴/雪花,得到符合雨/雪场景的目标图像。
或者,以场景信息为无雨/雪场景为例,在原始图像为雨/雪天气下采集的图像的情况下,待调整区域为原始图像中出现雨滴/雪花的区域;那么在该待调整区域中,将雨滴/雪花去除,得到符合场景信息的目标图像。如此,针对雨/雪场景下的图像,按照特定场景的场景信息对原始图像增加雨滴/雪花,或者去掉雨滴/雪花,能够得到更加逼真的目标图像。
在其他实施例中,如果场景信息为夜晚的雨/雪场景,原始图像为白天无雨/雪天气下采集的图像,那么可以首先将该原始图像转换为夜晚场景的图像,并调整转换后的图像中的阴影区域;然后,在得到的图像中,增加雨滴/雪花,得到目标图像。
步骤S104,在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
在一些实施例中,在待处理图像中,通过对待调整区域的图像渲染状态的转换,使得待调整区域具有与场景信息匹配的目标渲染状态,从而得到目标图像。在一些可能的实现方式中,可以是在待处理图像中,将该待调整区域的图像渲染状态调整为目标渲染状态,以得到目标图像;还可以是按照目标渲染状态,和待调整区域的画面内容,生成具有目标渲染状态的图像区域,将该图像区域替换待处理图像中的待调整区域,从而得到目标图像。
比如,场景信息为夜晚无光源场景,如果目标渲染状态为有阴影状态,那么待调整区域的阴影渲染状态为无阴影状态,可以是在待处理图像中,将该待调整区域的无阴影状态调整为目标渲染状态,以得到目标图像;还可以是按照无阴影状态,和待调整区域的画面内容,生成具有无阴影状态的图像区域,将该图像区域替换待处理图像中的待调整区域,并针对替换后的图像进行平滑处理,从而生成目标图像。如此,生成的目标图像中阴影渲染状态为无阴影状态,与夜晚无光源场景相匹配,从而使得生成的目标图像更加逼真。
在本申请实施例中,通过在待处理图像中,确定出阴影渲染状态与场景信息不匹配的待调整区域;然后,通过将待调整区域的阴影渲染状态调整为与场景信息相匹配的目标渲染状态,生成阴影渲染状态与场景信息匹配的目标图像,使得生成的目标图像更加生动逼真。
在一些实施例中,上述步骤S102中确定待调整区域的过程,可以通过图像分割网络来实现,该神经网络可以是任意用于图像分割的网络,实现过程如下:
通过该神经网络以检测框的方式标注待调整区域和参考区域,从而能够准确的在待处理图像中预测出待调整区域和参考区域,即可通过该图像分割网络,采用检测框,对所述待处理图像中的待调整区域和参考区域进行标注,以标注出待调整区域和参考区域。
在一些可能的实现方式中,图像分割网络可以是任意类型的神经网络,比如,全卷积神经网络,空洞卷积网络,或解析网络等。将待处理图像输入已训练的图像分割网络,在图像分割网络中采用矩形框对待处理图像中的待调整区域和参考区域所在的位置进行标注,从而标注出待调整区域和参考区域。
在一些实施例中,图像分割网络的训练过程可以通过以下步骤实现:
第一步,将训练图像输入待训练图像分割网络中,预测所述待训练图像中的阴影渲染状态与场景信息不匹配的待调整区域的位置信息。
在一些可能的实现方式中,待训练图像分割网络用于检测待训练图像中的待调整区域,通过大量的训练图像对待训练图像分割网络进行训练,即将大量的训练图像输入待训练图像分割网络,以初步预测待训练图像中的待调整区域的位置。
第二步,根据训练图像中的待调整区域的真实位置信息,确定该位置信息的预测损失。
在一些可能的实现方式中,利用训练图像中标注的真实待调整区域的位置信息和预测待调整区域的位置信息的差值,确定预测损失。通过多个待调整区域的真实位置信息,确定待训练图像分割网络预测的多个位置信息的准确度,从而确定预测损失。
第三步,根据预测损失,对待训练图像分割网络的网络参数进行调整,得到该图像分割网络。
在一些可能的实现方式中,通过结合待调整区域的真实位置信息确定预测的每一个位置信息的准确度,将这一准确度反馈给图像分割网络,以使图像分割网络调整如权值参数等网络参数,从而提升神经网络检测的准确度。比如,得到100个待调整区域的位置信息,首先使用神经网络进行卷积反卷积等操作,得到这100个待调整区域的位置信息的置信度;由于在训练阶段,图像分割网络的参数是随机初始化的,这样就导致这100个待调整区域的位置信息的粗略估计的置信度也是随机的,那么如果想要提升图像分割网络预测的位置信息的正确度,就需要告诉神经网络100个位置信息哪些是对的哪些是错的。基于此,采用对比函数,将100个位置信息与真实位置信息进行比较,如果位置信息与真实位置信息的相似度大于预设相似度阈值输出1,否则输出0,这样对比函数将输出200个比对值(0,1)值;接下来,将这200个比对值输入待训练图像分割网络,以使待训练图像分割网络中采用损失函数对位置信息进行监督,从而对于对比值为1的位置信息增大该位置信息的置信度,对于对比值为0的位置信息减小该位置信息的置信度;如此,得到每一位置信息的置信度,即得到位置信息的检测结果。最终,采用位置信息对应的预测损失,对图像分割网络的权值参数进行调整,从而得到已训练的图像分割网络。比如,所述权值参数为神经网络中神经元权重等。预测损失为正样本和负样本的交叉熵损失。采用该预测损失对神经网络的权重等参数进行调整,从而使得调整后的图像分割网络预测结果更加准确。
上述过程为对图像分割网络进行训练的过程,基于对输入的待处理图像进行预测,得到的预测的待调整区域的位置和真实待调整区域的位置,进行多次迭代,以使训练后的图像分割网络输出的位置信息的预测损失满足收敛条件,从而使得该神经网络检测的待调整区域的准确度更高。
在一些实施例中,在图像渲染状态包括阴影渲染状态情况下,可以通过以下两种方式确定待调整区域需要切换的目标渲染状态,即步骤S103可以通过以下两种方式实现:
方式一:步骤S111,在所述待处理图像中,确定阴影渲染状态与所述场景信息相匹配的参考区域。
在一些实施例中,阴影渲染状态包括:有阴影状态和无阴影状态,待调整区域的阴影渲染状态与场景信息不匹配,那么与待调整区域的阴影渲染状态不同的参考区域的阴影渲染状态是与场景信息相匹配的。比如,场景信息为夜晚无光源场景,那么待调整区域为在夜晚无光源场景的情况下,图像中目标对象产生的阴影区域;基于此,参考区域为图像中无阴影的图像区域。
在一些可能的实现方式中,在场景信息为夜晚无光源场景的情况下,通过在待处理图像中,将阴影渲染状态为无阴影状态的无阴影区域,作为参考区域。这样,在夜晚无光源场景下,由于光线昏暗,合理的夜晚场景图像中目标对象是不产生阴影的;所以,将无阴影区域作为参考区域,能够使得待调整区域按照该参考区域进行调整之后,更加符合自然规律。
步骤S112,将参考区域的阴影渲染状态,确定为目标渲染状态。
在一些实施例中,在待处理图像中,确定出参考区域之后,将该参考区域的阴影渲染状态作为待调整区域需要转换到的目标渲染状态。
在一些可能的实现方式中,在场景信息为夜晚无光源场景或白天无阳光场景的情况下,在待处理图像中,将阴影渲染状态为无阴影状态的图像区域,确定为所述参考区域。这样,无论是在夜晚无光源场景或白天无阳光场景的情况下,将与场景匹配的无阴影状态的图像区域作为参考区域,以便于基于参考区域对待调整区域进行直方图匹配,从而使得处理后的待调整区域呈现的画面色度与参考区域的画面色度相同。
在场景信息为夜晚有光源场景或白天有太阳场景的情况下,在待处理图像中,将阴影渲染状态为有阴影的图像区域,确定为参考区域。这样,无论是在夜晚有光源场景或白天有太阳场景的情况下,将与场景匹配的有阴影的图像区域作为参考区域,以便基于参考区域对待调整区域进行直方图匹配,从而使得处理后的待调整区域呈现的画面色度与参考区域的画面色度相同。如此,将阴影渲染状态与所述场景信息相匹配的图像区域作为参考区域,以便将待调整区域与该参考区域进行直方图匹配,使得待调整区域与参考区域的直方图一致,从而使得目标图像的画面效果更加自然。
在方式一中,通过在待处理图像中确定出阴影渲染状态匹配场景信息的图像区域,来确定目标渲染状态,使得阴影调整后的待调整区域的色调与其他区域的色调一致。
方式二:通过分析场景信息的光照参数,确定与该光照参数匹配的阴影渲染状态,从而得到目标渲染状态。
在一些实施例中,光照参数包括:光照强度和光线照射角度等。如果光照强度较强(比如,光照强度大于一定阈值),那么确定目标渲染状态为有阴影状态;如果光照强度较弱(比如,光照强度小于一定阈值),那么确定目标渲染状态为无阴影状态。如此,在方式二中,通过分析待处理图像的场景信息来设定目标渲染状态,能够使得设定的目标渲染状态更加符合场景的需求。
在一些实施例中,在场景信息为夜晚无光源场景或白天无阳光场景的情况下,将产生阴影的区域作为待调整区域,即步骤S102可以通过以下过程实现:在所述场景信息为夜晚无光源场景或白天无阳光场景的情况下,将所述待处理图像中的阴影区域,确定为所述待调整区域。
在一些实施例中,如果在夜晚无光源场景或白天无阳光场景下,那么目标对象将不会产生阴影;所以在待处理图像中,如果目标对象存在阴影,说明该阴影区域是不合理的;基于此,在该待处理图像的目标对象中,将产生了阴影的对象作为目标对象,并挑选出来,以便于后续能够在该待处理图像中确定出不合理的图像区域。在一个具体例子中,如果待处理图像是在夜晚无光源场景下的道路图像,光线照射下能够产生阴影的目标对象包括车辆。其中,车辆产生的阴影区域的阴影渲染状态为有阴影状态,该车辆产生的阴影区域作为待调整区域。
在一些实施例中,图2为本申请实施例提供的图像生成方法的另一实现流程示意图,结合图1和2进行以下说明:
步骤S201,在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域。
在一些实施例中,在白天有阳光场景或者夜晚的光源为月光的情景下,通过判断光线照射目标对象的方向,来确定目标对象能够产生的阴影区域;如果是夜晚有光源场景中的光源为人造光源,那么不仅要判断光线照射目标对象的方向,还要进一步判断目标对象与人造光源的距离,来确定目标对象能够产生的阴影区域,实现过程如步骤S211和212,或者,步骤S221和222所示。
步骤S2,将所述待处理图像中的阴影区域中除第一阴影区域之外的阴影区域确定为待调整区域。
在一些实施例中,第一阴影区域为所述待处理图像中的阴影区域与所述目标对象能够产生的阴影区域的交集。
上述步骤S201和步骤S202提供了一种在场景信息为夜晚有光源场景或白天有阳光场景的情况下,在待处理图像中确定待调整区域的方式,在该方式中,通过将待处理图像中除去目标对象能够产生的阴影区域之外的阴影区域,作为待调整区域,从而能够更加准确的确定出阴影渲染状态需要调整的区域。
在其他实施例中,在场景信息为夜晚有光源场景的情况下,以光源为人造光源为例进行说明,将光源照射范围外有阴影的区域作为待调整区域,那么步骤S102可以通过以下步骤实现:
在所述待处理图像中,将与光源的距离大于预设距离阈值、且产生的阴影区域的目标对象所产生的阴影区域,确定为待调整区域。
在一些实施例中,能够产生阴影区域的目标对象所产生的阴影区域可以是,远离所述光源的一侧的图像区域。人造光源与目标对象之间的距离大于预设距离阈值,说明目标对象不在该人造光源的照射范围内,即在该人造光源处于工作状态下,目标对象不能够产生阴影,进一步说明由该目标对象所产生的阴影区域是不合理的。在夜晚有人造光源的情况下,确定人造光源与每一目标对象之间的距离。首先,确定该人造光源的照射范围;然后,通过判断人造光源与每一目标对象之间的距离,来确定目标对象是否在人造光源的照射范围内。在一个具体例子中,如果待处理图像是在夜晚有路灯场景下的城市道路图像,该场景中存在处于已开启状态的路灯,目标对象为:建筑物和树。分别确定路灯与建筑物和树之间的距离,从而判断建筑和树是否在路灯的照射范围内,即在该路灯的照射下,建筑物和树是否能够产生阴影。当目标对象不在路灯的照射范围内时,由目标对象产生的阴影区域为待调整区域。
上述提供了一种实现在场景信息为夜晚有人造光源场景的情况下,在待处理图像中确定待调整区域的方式,在该方式中,通过在场景信息为夜晚有人造光源场景的情况下,判断图像中的光线照射范围以外的目标对象是否产生了阴影区域,将该不合理的阴影区域作为待调整区域。
在通过步骤S201和步骤S202,确定出阴影渲染状态为有阴影状态的图像区域,为待调整区域之后,步骤S103和步骤S104可以分别通过以下步骤S203和204实现,对该待调整区域的处理,从而得到目标图像。
步骤S203,确定无阴影状态为与场景信息相匹配的目标渲染状态。
在一些实施例中,在场景信息为夜晚无光源场景或白天无阳光场景的情况下,那么目标对象将不会产生阴影;所以在待处理图像中,如果不存在阴影,说明图像是合理的,即是与场景信息相匹配的;基于此,在该待处理图像中,可以将非阴影区域作为参考区域,即与场景信息相匹配的目标渲染状态为无阴影状态。
步骤S204,在所述待处理图像中,根据参考区域的图像,将所述待调整区域的图像调整为无阴影状态,得到所述目标图像。
在一些实施例中,在待处理图像中,通过对待调整区域的有阴影状态进行调整,去除该区域的阴影,从而得到目标图像。在一些可能的实现方式中,可以通过将无阴影状态的参考区域的直方图,与待调整区域的直方图进行匹配,以去除待调整区域的阴影,使得目标图像中的无阴影的图像区域的灰度一致;还可以采用其他方式去除待调整区域中的阴影;比如,对待调整区域的灰度图像先执行最大滤波,再执行最小滤波。如果待调整区域的图像背景较暗且目标对象较亮,可以先对待调整区域执行最小滤波,再进行最大滤波,以实现对待调整区域进行阴影去除;还可以是采用从预设图像库中,选择和待调整区域的画面内容匹配的无阴影图像直接替换该待调整区域;还可以是通过阴影图像分解去除待调整区域的阴影等。
在本申请实施例中,在待处理图像中,通过确定出待调整区域在待处理图像中占据的区域,按照参考区域的图像将待调整区域的图像从有阴影状态调整为无阴影状态,得到目标图像。或者是,在待处理图像中,通过对待调整区域进行去阴影处理,不需要采用其他区域对该待调整区域进行替换,即可得到目标图像。如此,生成的目标图像中阴影渲染状态为无阴影状态,与夜晚无光源场景以及白天无阳光场景更加匹配。
在一些可能的实现方式中,通过按照参考区域的灰度调整待调整区域的灰度,生成目标图像,即步骤S204可以通过以下步骤实现:
步骤S241,根据所述参考区域的图像调整所述待调整区域的灰度图像,得到已调整灰度图。
在一些实施例中,首先,确定参考区域的灰度图像。参考区域可以是从待处理图像中确定出的,即将待处理图像中具有与场景相匹配的阴影渲染状态的图像区域作为参考区域;还可以是设定目标渲染状态之后,基于该目标渲染状态以及待调整区域的图像画面内容生成的图像区域。
在一些可能的实现方式中,通过确定参考区域的直方图,以得到参考区域的灰度图像。比如,在确定出参考区域之后,根据参考区域的图像生成该参考区域的直方图,基于该直方图可以生成该参考区域的灰度图像。在一个具体例子中,如果场景信息为夜晚无光源场景,那么目标渲染状态为无阴影状态。在待处理图像中,在无人造光源的情况下,图像区域中具有阴影的区域为待调整区域,图像区域中无阴影的区域即为参考区域;并通过确定该无阴影区域的直方图,生成该区域的灰度图像。
然后,基于参考区域的灰度图像,调整待调整区域的灰度图像,得到已调整灰度图。待调整区域的灰度图像可以通过确定待调整区域的直方图来得到。比如,在确定出待调整区域之后,根据待调整区域的图像生成该待调整区域的直方图,基于该直方图可以生成该待调整区域的灰度图像。将参考区域的灰度图像作为参考,来调整待调整区域的灰度图像,以使得到的已调整灰度图与参考区域的灰度图像相匹配,即使得这两个灰度图像对应的彩色图像的色调一致。
在一些可能的实现方式中,可以通过以下过程实现对待调整区域的灰度图像的调整:
首先,根据参考区域的图像确定参考区域的直方图,以基于参考区域的直方图,调整待调整区域的直方图,得到已调整直方图;比如,将待调整区域的直方图,与参考区域的直方图,进行直方图匹配,得到已调整直方图。通过将参考区域的直方图作为目标直方图,将待调整区域的直方图向目标直方图进行转换,以使参考区域的直方图与待调整区域的直方图相匹配,即将待调整区域的直方图匹配到参考区域的直方图,使两区域的色调保持一致;这样,待调整区域的阴影渲染状态将会与参考区域的阴影渲染状态保持一致,均能够匹配场景信息,即是该场景下合理的阴影状态。
然后,基于已调整直方图,确定已调整灰度图。比如,基于该已调整直方图,可以生成该已调整直方图的灰度图像,即得到已调整灰度图。在一些可能的实现方式中,在夜晚无光源场景的情况下,那么参考区域即为待处理图像中的无阴影区域。通过确定无阴影区域的直方图,并将待调整区域的直方图转化为无阴影区域的直方图,即可去除待调整区域的阴影,得到已调整直方图。
步骤S242,基于已调整灰度图,生成阴影渲染状态为无阴影状态的替换区域的图像。
在一些实施例中,通过已调整直方图生成该已调整直方图的灰度图像之后,结合待调整区域的画面内容,对该灰度图像进行渲染生成无阴影状态的替换区域的图像。
步骤S243,在待处理图像中,采用生成的替换区域的图像替换待调整区域的图像,生成目标图像。
在一些实施例中,在待处理图像中,通过确定出阴影渲染状态与场景信息不匹配的替换区域的图像,并确定出待调整区域在待处理图像中占据的区域;采用替换区域的图像替换该待调整区域的图像,并针对替换后的图像进行平滑处理,从而生成目标图像。
在一个具体例子中,以场景信息为夜晚无光源场景为例,待处理图像为道路图像,阴影渲染状态与场景信息不匹配的待调整区域为阴影区域;替换区域的图像为阴影渲染状态为无阴影状态的图像,采用这样无阴影的图像区域替换该待调整区域的图像,以得到阴影渲染状态与场景信息匹配的目标图像。如此,生成的目标图像中阴影渲染状态与场景信息匹配,使得生成的目标图像更加逼真。
在一些可能的实现方式中,通过采用替换区域替换待调整区域后,对替换后的图像进行进一步的平滑处理,生成目标图像,即步骤S243可以通过以下过程实现:
第一步,将所述替换区域的图像的形状和尺寸调整至与所述待调整区域的图像的一致,得到已调整的替换区域的图像。
在一些可能的实现方式中,首先,确定替换区域的图像的尺寸信息。当确定出替换区域之后,需要确定出替换区域的尺寸信息,至少包括:面积、周长、长度、宽度以及边缘形状等。然后,确定待调整区域的图像在待处理图像中所占据的面积。在一些可能的实现方式中,通过图像分割网络将待调整区域用检测框标注出,可以将检测框的面积作为待调整区域在待处理图像中所占据的区域的面积。最后,根据该面积,对替换区域的图像尺寸信息进行调整,得到已调整的替换区域的图像。在一些可能的实现方式中,按照待调整区域的图像在待处理图像中所占据的区域的面积,对替换区域的图像尺寸信息进行调整,从而使得已调整替换区域的图像尺寸信息与该待调整区域的图像大小相契合。
第二步,采用已调整的替换区域的图像替换待处理图像中的待调整区域的图像,并对已调整的替换区域的图像的边缘进行平滑处理,生成目标图像。
在一些可能的实现方式中,首先,采用已调整替换区域的图像替换所述待调整区域的图像,生成候选图像。即,在待处理图像中,采用已调整替换区域替换待调整区域,从而得到替换后的图像,即候选图像。在一个具体例子中,如果场景信息为夜晚无光源场景,待处理图像为道路图像,待调整区域为阴影渲染状态与夜晚无光源场景不匹配的阴影区域。比如,在无光源的情况下,图像中存在大树的影子,说明大树的影子所占据的图像区域的呈现方式并不合理;那么已调整替换区域为包括无影子的大树,通过对替换区域的图像进行尺寸调整,即可得到已调整的替换区域的图像。从而采用已调整的替换区域的图像替换待待调整区域的图像,生成目标图像。然后,对候选图像进行平滑处理,生成目标图像。在一些可能的实现方式中,可以是通过对候选对象中发生替换操作的区域进行平滑处理,以消除图像在该区域的噪声,还可以是对整个候选图像进行平滑处理,对整个图像进行降噪,从而得到目标图像。
在本申请实施例中,通过对替换区域的图像进行尺寸伸缩,采用尺寸调整后的已调整的替换区域的图像替换待调整区域的图像,并对替换后的图像进行平滑处理,从而使得生成的目标图像更加的合理且清晰。
在一些实施例中,在场景信息为夜晚有光源场景的情况下,以光源为人造光源为例进行说明,将光源照射范围内目标对象能够产生的阴影区域作为待调整区域,可以通过以下步骤实现:
步骤S221,在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域。
在一些实施例中,通过分析光线照射目标对象的方向,在待处理图像中,确定出目标对象能够产生的阴影区域。在夜晚有光源场景或白天有阳光场景下,符合实际场景的阴影渲染状态为目标对象有阴影。
步骤S222,将所述目标对象能够产生的阴影区域确定为待调整区域。
在一些实施例中,首先可以在待处理图像包括的目标对象中,确定出距离人造光源较近的目标对象;然后,在这些距离较近的目标对象中,确定未产生阴影区域的目标对象。由于目标对象与人造光源的距离较近,说明目标对象在人造光源的照射范围内,那么在夜晚有人造光源的场景下,人造光源照射范围内的目标对象,是能够产生阴影的;由于该目标对象未产生阴影区域,因此不合理。因此需要将将该未产生阴影区域的目标对象所能够产生的阴影区域为待调整区域。
在一些实施例中,未产生阴影区域的目标对象能够产生的阴影区域,可以是基于该目标对象所占据的图像区域,以及人造光源的照射方向来确定的;即在该目标对象所占据的图像区域的基础上,通过分析人造光源的照射方向,能够预估该该目标对象在该人造光源的照射下所产生的阴影面积和阴影位置;将该阴影面积和阴影位置对应的图像区域确定为该目标对象所能够产生的阴影区域。
在夜晚场景中存在人造光源的情况下,将光源照射范围内目标对象能够产生的阴影区域作为需要进行调整的待调整区域,或者是在夜晚场景存在月光或白天有阳光场景下,将目标对象能够产生的阴影区域确定为待调整区域。
在一种可能的实现方式中,由于光源和目标对象的相对位置可以发生变化。比如,原始图像是有阳光的早晨采集的图像,而当前时刻为下午,显然太阳光的照射方向与目标对象的相对位置发生变化,这种情况下,需要按照当前时刻光源的照射方向,重新确定目标对象能够产生的阴影区域,从而确定出待调整区域。然后,通过确定当前时刻光源的光照参数,并按照光源照射到目标对象表面的光照强度,渲染该待调整区域,从而得到目标图像。如此,能够使得最后调整后的目标图像更加真实自然。
在一些实施例中,待处理图像中的待调整区域可以是多个,比如,在场景信息为夜晚有人造光源的场景下,在该待处理图像中既存在离人造光源较近的目标对象,也存在也人造光源较远的人造对象;那么在待处理图像中,将该人造光源的照射范围内目标对象能够产生的阴影的区域,和光源照射范围外有阴影的区域均作为需要进行调整的待调整区域。
在一些实施例中,在场景信息为夜晚有光源场景的情况下,以光源为月光为例进行说明,可以通过以下方式确定待调整区域:
步骤S231,在待处理图像中,在所述场景信息为夜晚有月光的场景的情况下,确定能够被月光照射到的目标对象。
步骤S232,在能够被月光照射到的目标对象中,确定未能产生阴影区域的目标对象所能够产生的阴影区域为待调整区域。
在一些实施例中,在场景信息为白天有太阳场景的情况下,可以通过以下方式确定待调整区域:
步骤S241,在待处理图像中,在场景信息为白天有阳光场景的情况下,确定能够被阳光照射到的目标对象。
步骤S242,在能够被阳光照射到的目标对象中,确定未能产生阴影的目标对象所能够产生的阴影区域为所述待调整区域。
在一些实施例中,在确定出待调整区域之后,可以通过以下过程实现对待调整区域的调整,以得到目标图像:
第一步,确定特定场景中的光照参数。
在一些实施例中,如果是针对夜晚有人造光源的场景下,那么确定人造光源处于工作状态即处于已开启状态,光照参数包括:光照强度、光线照射方向和光照亮度等。如果是针对夜晚有月光的场景或者白天有阳光的场景,那么确定当前时刻月光或者阳光照射到地面的光照参数。
第二步,基于所述光照参数确定能够产生阴影区域的目标对象表面的光照强度,渲染所述待调整区域,得到所述目标图像。
在一个具体例子中,在夜晚有人造光源的场景下,待处理图像中包括:车辆和路灯;其中,人造光源为路灯,通过分析该路灯的光照强度和光线照射方向,确定车辆在待处理图像中能够产生的阴影区域,根据车辆表面的光照强度渲染车辆在待处理图像中能够产生的阴影区域从而得到替换区域图像。采用得到的替换区域的图像替换待调整区域的图像,生成目标图像。
在本申请实施例中,在夜晚有人造光源的场景且目标对象在该人造光源的照射范围内,或夜晚有月亮的场景,或白天有阳光的场景下,在待处理图像中,按照光照参数,对目标对象能够产生的阴影区域进行渲染;从而能够使得目标图像中距离人造光源较近的目标对象产生阴影区域,以及,在有自然光的情况下目标对象产生阴影区域,进而提高了生成的目标图像的逼真度。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用,以白天有阳光场景下采集的图像转换为夜晚无光源场景、与所述场景信息相匹配的目标渲染状态为无阴影状态、待调整区域为阴影区域为例,进行说明。
本申请实施例提供一种图像生成和直方图匹配方法的夜晚无光源场景阴影去除方法,通过对获得的白天场景图像进行阴影区域分割、直方图匹配和图像生成等过程,能够解决白天有阳光场景的图像直接转换到夜晚无光源场景出现不合理的阴影区域的问题。本申请实施例能够有效去除生成的图像中的阴影,使得生成的夜晚场景图像更加真实。
图3A为本申请实施例提供的图像生成系统的组成结构示意图,结合图3A进行以下说明:
本申请实施例提供的图像生成系统包括:生成器301和判别器302。其中,首先,将白天有阳光场景的原始图像作为输入,从输入端303输入到生成器301;
其次,通过生成器301生成夜晚场景图像(对应于上述实施例中的待处理图像,如图3B中的图像322),并将生成的夜晚场景图像通过输出端304输出到判别器302;
在一些实施例中,图3B中的图像321为原始图像,图像322为将该图像321的白天有阳光场景转换为夜晚无光源场景的夜晚图像;通过对图像321进行阴影区域和非阴影区域的分割,并对阴影区域和非阴影区域进行直方图匹配,得到去阴影图像323;最后,采用GAN网络将去阴影图像323的白天有太阳场景转换为夜晚无光源场景,得到夜晚图像324。从图3B可以看出,夜晚图像324相较于图像322没有阴影存在,更加符合夜晚无光源场景,图像画面更加逼真。
在一些可能的实现方式中,将在夜晚无光源场景下采集到的夜晚场景图像和生成的夜晚场景图像均输入到判别器302中。
然后通过判别器302来区分夜晚场景的图像是采集到的夜晚场景图像还是生成的夜晚场景图像,即分别得到真实图像305和转换图像306;
最后,通过不断优化生成器和判别器的损失函数,使得生成器生成的夜晚场景更加真实。
在一些实施例中,获得白天有阳光场景的白天图像之后,在进行白天图像转夜晚图像的之前,首先对该白天图像进行去阴影操作,然后,再对去阴影后的图像进行场景转换,则得到更加真实的夜晚图像,如图4所示,图4为本申请实施例提供的图像生成方法的实现框架结构图,结合图4进行以下说明:
白天图像获取模块401,用于获取白天有阳光场景的图像,得到白天图像。
阴影分割网络模块402,用于将白天图像划分为阴影区域431和非阴影区域432。
在一些实施例中,通过图像分割网络从白天图像中获得阴影区域,从而得到阴影区域和非阴影区域。在本申请实施例中,通过优化和模型训练用于图像分割的网络(此处不限定特定的网络结构;比如,全卷积网络、语义分割网络、视觉几何组(Visual GeometryGroup,VGG)网络、细化网络(RefineNet)等),获得一个能够准确识别出图像阴影区域的图像阴影提取网络。利用该图像阴影提取网络对白天图像的阴影区域和非阴影区域进行分割。因此,能够同时获得白天图像中的阴影区域和非阴影区域。
直方图匹配模块403,用于通过直方图匹配方法,将阴影区域431的直方图与非阴影区域432进行匹配。
在一些实施例中,通过直方图匹配方法,使得阴影区域获得与非阴影区域一致的直方图分布,以使阴影区域与非阴影区域的色调一致。由于阴影区域和非阴影区域在直方图分布上存在较大差别,本申请实施例对阴影区域和非阴影区域通过直方图匹配的方法,使得阴影区域的直方图向目标直方图(非阴影区域)转化,这样,能够将阴影区域的图像转换为无阴影区域的图像。
白天无阴影图像获得模块404,用于通过直方图匹配的方式,将白天图像中的阴影去除,得到白天无阴影图像。
在一些实施例中,将转化后的无阴影区域贴回到原始图像中,即将转化后的无阴影区域贴回到白天图像中,获得白天有阳光场景的无阴影的图像。
图像生成网络模块405,用于将白天无阴影图像从白天有阳光场景转换为夜晚无光源场景,得到夜晚图像。
在一些实施例中,采用图3A所示的图像生成网络,将白天无阴影图像的白天有太阳场景转换为夜晚无光源场景,得到夜晚图像。
最终结果输出模块406,用于使用平滑技术对替换阴影区域的周围图像进行平滑处理,从而得到最终的夜晚图像。
在一些实施例中,利用去除阴影的区域替换原始图像中的阴影区域之后的图像如图5所示,图5为本申请实施例图像生成方法的另一应用场景示意图,其中,原始图像501为白天有阳光场景下采集的图像,目标图像的生成过程如下:
首先,通过对原始图像501进行阴影检测,利用矩形框标出阴影区域502、503和504。
然后,对矩形框标出的区域(即阴影区域502、503和504,对应于上述实施例中的待调整区域)进行扣取并放大,依次得到放大的阴影区域511、512和513。并转换为夜晚场景图像,依次得到夜晚有阴影图像521、522和523。
最后,采用直方图匹配的方式,将夜晚有阴影图像521、522和523的直方图向无阴影区域的直方图进行转换,得到去除阴影图像531、532和533(对应于上述实施例中的目标图像)。
在本申请实施例中,采用图像分割网络获得阴影区域和非阴影区域然后,通过阴影区域和非阴影区域的直方图匹配,获得去除阴影后的图像;最后,通过图像生成的方法将白天有太阳场景的图像转化到夜晚无光源场景,生成不包含阴影区域的夜晚场景图像。如此,有效去除夜晚生成图像的阴影,使得生成的夜晚场景图像更加真实,更加符合夜晚场景的真实性。
本申请实施例提供一种图像生成装置,图6为本申请实施例图像生成装置结构组成示意图,如图6所示,所述装置600包括:
第一转换模块601,用于将原始图像转换为特定场景下的待处理图像;
第一确定模块602,用于在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;
第二确定模块603,用于确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;
第一调整模块604,用于在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
在上述装置中,所述图像渲染状态包括阴影渲染状态,所述第二确定模块603,包括:
第一确定子模块,用于在所述待处理图像中,确定阴影渲染状态与所述场景信息相匹配的参考区域;
第二确定子模块,用于将所述参考区域的阴影渲染状态,确定为所述目标渲染状态。
在上述装置中,所述第一确定模块602,还用于:
在所述场景信息为夜晚无光源场景或白天无阳光场景的情况下,将所述待处理图像中的阴影区域,确定为所述待调整区域。
在上述装置中,所述第一确定模块602,包括:
第三确定子模块,用于在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域;
第四确定子模块,用于将所述待处理图像中的阴影区域中除第一阴影区域之外的阴影区域确定为待调整区域,所述第一阴影区域为所述待处理图像中的阴影区域与所述目标对象能够产生的阴影区域的交集。
在上述装置中,所述参考区域的阴影渲染状态为无阴影渲染状态,所述第一调整模块604,包括:
第一调整子模块,用于在所述待处理图像中,根据所述参考区域的图像,将所述待调整区域的图像调整为无阴影状态,得到所述目标图像。
在上述装置中,所述第一调整子模块,包括:
第一调整单元,用于根据所述参考区域的图像调整所述待调整区域的灰度图像,得到已调整灰度图;
第一生成单元,用于基于所述已调整灰度图,生成阴影渲染状态为无阴影状态的替换区域的图像;
第二生成单元,用于在所述待处理图像中,采用生成的替换区域的图像替换所述待调整区域的图像,生成所述目标图像。
在上述装置中,所述第一调整单元,包括:
第一确定子单元,用于根据所述参考区域的图像确定所述参考区域的直方图;
第一调整子单元,用于基于所述参考区域的直方图,调整所述待调整区域的直方图,得到已调整直方图;
第二确定子单元,用于基于所述已调整直方图,确定所述已调整灰度图。
在上述装置中,所述图像渲染状态包括阴影渲染状态,所述第一确定模块602,包括:
第五确定子模块,用于在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域;
第六确定子模块,用于将所述目标对象能够产生的阴影区域确定为待调整区域。
在上述装置中,所述第一调整模块604,包括:
第七确定子模块,用于确定所述特定场景中的光照参数;
第一渲染子模块,用于基于所述光照参数确定能够产生阴影区域的目标对象表面的光照强度,渲染所述待调整区域,得到所述目标图像。
在上述装置中,所述原始图像为无雨/雪天气下采集的图像,所述特定场景为雨/雪场景,所述第一调整模块604,包括:
第一添加子模块,用于在所述原始图像中增加雨滴/雪花,得到目标图像。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的图像生成方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、运动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现本申请实施例提供的图像生成方法中的步骤。
相应的,本申请实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像生成方法的步骤。
相应的,本申请实施例提供一种计算机设备,图7为本申请实施例计算机设备的组成结构示意图,如图7所示,所述设备700包括:一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中,通信接口702配置为实现这些组件之间的连接通信。其中,通信接口702可以包括显示屏,外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701,配置为执行存储器中图像处理程序,以实现上述实施例提供的图像生成方法的步骤。
以上图像生成装置、计算机设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同相应方法实施例相似的技术描述和有益效果,限于篇幅,可案件上述方法实施例的记载,故在此不再赘述。对于本申请图像生成装置、计算机设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像生成方法,其特征在于,所述方法包括:
将原始图像转换为特定场景下的待处理图像;
在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;
确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;
在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述图像渲染状态包括阴影渲染状态,所述确定所述待调整区域内的目标渲染状态,包括:
在所述待处理图像中,确定阴影渲染状态与所述场景信息相匹配的参考区域;
将所述参考区域的阴影渲染状态,确定为所述目标渲染状态。
3.根据权利要求2所述的方法,其特征在于,所述在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域,包括:
在所述场景信息为夜晚无光源场景或白天无阳光场景的情况下,将所述待处理图像中的阴影区域,确定为所述待调整区域。
4.根据权利要求2所述的方法,其特征在于,所述在在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域,包括:
在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域;
将所述待处理图像中的阴影区域中除第一阴影区域之外的阴影区域确定为待调整区域,所述第一阴影区域为所述待处理图像中的阴影区域与所述目标对象能够产生的阴影区域的交集。
5.根据权利要求3或4所述的方法,其特征在于,所述参考区域的阴影渲染状态为无阴影渲染状态,所述在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像,包括:
在所述待处理图像中,根据所述参考区域的图像,将所述待调整区域的图像调整为无阴影状态,得到所述目标图像。
6.根据权利要求5所述的方法,其特征在于,所述在所述待处理图像中,根据所述参考区域的图像,将所述待调整区域的图像调整为无阴影状态,得到所述目标图像,包括:
根据所述参考区域的图像调整所述待调整区域的灰度图像,得到已调整灰度图;
基于所述已调整灰度图,生成阴影渲染状态为无阴影状态的替换区域的图像;
在所述待处理图像中,采用生成的替换区域的图像替换所述待调整区域的图像,生成所述目标图像。
7.根据权利要求6所述的方法,其特征在于,所述根据所述参考区域的图像调整所述待调整区域的灰度图像,得到已调整灰度图,包括:
根据所述参考区域的图像确定所述参考区域的直方图;
基于所述参考区域的直方图,调整所述待调整区域的直方图,得到已调整直方图;
基于所述已调整直方图,确定所述已调整灰度图。
8.根据权利要求1所述的方法,其特征在于,所述图像渲染状态包括阴影渲染状态,在所述待处理图像中,确定图像渲染状态与所述场景信息不匹配的待调整区域,包括:
在所述场景信息为夜晚有光源场景或白天有阳光场景的情况下,根据光线照射所述目标对象的方向,确定所述目标对象能够产生的阴影区域;
将所述目标对象能够产生的阴影区域确定为待调整区域。
9.根据权利要求8所述的方法,其特征在于,所述在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像,包括:
确定所述特定场景中的光照参数;
基于所述光照参数确定能够产生阴影区域的目标对象表面的光照强度,渲染所述待调整区域,得到所述目标图像。
10.根据权利要求1所述的方法,其特征在于,所述原始图像为无雨/雪天气下采集的图像,所述特定场景为雨/雪场景;
在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像,包括:
在所述原始图像中增加雨滴/雪花,得到目标图像。
11.一种图像生成装置,其特征在于,所述装置包括:
第一转换模块,用于将原始图像转换为特定场景下的待处理图像;
第一确定模块,用于在所述待处理图像中,确定图像渲染状态与所述特定场景的场景信息不匹配的待调整区域;所述待调整区域的图像渲染状态与照射到原始图像中的目标对象上的光线相关,所述目标对象包括车辆;
第二确定模块,用于确定所述待调整区域内的目标渲染状态;所述目标渲染状态与所述场景信息相匹配;
第一调整模块,用于在所述待处理图像中,将所述待调整区域的图像渲染状态调整为所述目标渲染状态,得到目标图像。
12.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要求1至10任一项所述的方法步骤。
13.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至10任一项所述的方法步骤。
CN202110351943.9A 2021-03-31 2021-03-31 一种图像生成方法、装置、设备及存储介质 Active CN112991158B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110351943.9A CN112991158B (zh) 2021-03-31 2021-03-31 一种图像生成方法、装置、设备及存储介质
PCT/CN2022/074059 WO2022206156A1 (zh) 2021-03-31 2022-01-26 一种图像生成方法、装置、设备及存储介质
JP2023559825A JP2024512102A (ja) 2021-03-31 2022-01-26 画像生成方法、装置、機器及び記憶媒体
US18/474,189 US20240013453A1 (en) 2021-03-31 2023-09-25 Image generation method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351943.9A CN112991158B (zh) 2021-03-31 2021-03-31 一种图像生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112991158A true CN112991158A (zh) 2021-06-18
CN112991158B CN112991158B (zh) 2024-05-31

Family

ID=76338790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351943.9A Active CN112991158B (zh) 2021-03-31 2021-03-31 一种图像生成方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20240013453A1 (zh)
JP (1) JP2024512102A (zh)
CN (1) CN112991158B (zh)
WO (1) WO2022206156A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206156A1 (zh) * 2021-03-31 2022-10-06 商汤集团有限公司 一种图像生成方法、装置、设备及存储介质
CN116245716A (zh) * 2023-05-06 2023-06-09 中国第一汽车股份有限公司 车辆的路况图像的处理方法及装置
US12015855B2 (en) 2021-11-16 2024-06-18 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016054800A1 (en) * 2014-10-10 2016-04-14 Empire Technology Development Llc Scene image generator
CN109377502A (zh) * 2018-10-15 2019-02-22 深圳市中科明望通信软件有限公司 一种图像处理方法、图像处理装置及终端设备
CN110264413A (zh) * 2019-05-17 2019-09-20 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置
CN111583097A (zh) * 2019-02-18 2020-08-25 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136132A (zh) * 2010-01-27 2011-07-27 中国科学院自动化研究所 一种暗环境下人眼视觉系统感知效果的合成方法
CN106327454B (zh) * 2015-07-03 2019-06-07 株式会社理光 合成图像的方法和装置
US10885701B1 (en) * 2017-12-08 2021-01-05 Amazon Technologies, Inc. Light simulation for augmented reality applications
CN109887066B (zh) * 2019-02-25 2024-01-16 网易(杭州)网络有限公司 光照效果处理方法及装置、电子设备、存储介质
CN112419328B (zh) * 2019-08-22 2023-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111260769B (zh) * 2020-01-09 2021-04-13 北京中科深智科技有限公司 一种基于动态光照变化的实时渲染方法及装置
CN112991158B (zh) * 2021-03-31 2024-05-31 商汤集团有限公司 一种图像生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016054800A1 (en) * 2014-10-10 2016-04-14 Empire Technology Development Llc Scene image generator
CN109377502A (zh) * 2018-10-15 2019-02-22 深圳市中科明望通信软件有限公司 一种图像处理方法、图像处理装置及终端设备
CN111583097A (zh) * 2019-02-18 2020-08-25 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110264413A (zh) * 2019-05-17 2019-09-20 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206156A1 (zh) * 2021-03-31 2022-10-06 商汤集团有限公司 一种图像生成方法、装置、设备及存储介质
US12015855B2 (en) 2021-11-16 2024-06-18 Samsung Electronics Co., Ltd. System and method for synthesizing low-light images
CN116245716A (zh) * 2023-05-06 2023-06-09 中国第一汽车股份有限公司 车辆的路况图像的处理方法及装置

Also Published As

Publication number Publication date
US20240013453A1 (en) 2024-01-11
WO2022206156A1 (zh) 2022-10-06
JP2024512102A (ja) 2024-03-18
CN112991158B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN112991158B (zh) 一种图像生成方法、装置、设备及存储介质
JP4766302B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN110399856B (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
Varghese Sample-based integrated background subtraction and shadow detection
WO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN115861380B (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN112528917A (zh) 斑马线区域识别方法、装置、电子设备和存储介质
Cheng et al. Visibility enhancement of single hazy images using hybrid dark channel prior
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN117274107B (zh) 低照度场景下端到端色彩及细节增强方法、装置及设备
CN114565597B (zh) 一种基于YOLO v3-tiny-DB和迁移学习的夜间道路行人检测方法
CN116109526B (zh) 基于车辆后视镜的显示画面增强方法及系统
Subhashini et al. Implementation of Satellite Road Image Denoising using Iterative Domain Guided Image Filtering with Gray World Optimization.
CN118118774B (zh) 一种智能调节3d引擎中摄像机参数的方法及系统
Fukui et al. Robust background subtraction for quick illumination changes
CN118072235B (zh) 一种用于智慧停车场的车辆识别方法
Deshmukh et al. Development of image dehazing system
CN111723763B (zh) 基于图像信息统计的场景识别方法
Taha et al. Multi-Vehicle Tracking under day and night illumination
Sajeevan et al. Dehazing of Satellite Images with Low Wavelength and High Distortion: A Comparative Analysis
CN118229943A (zh) 图像处理方法、装置、设备及计算机可读存储介质
Zhao et al. Low-Illumination Lane Detection by Fusion of Multi-light Information
Azmi et al. ENHANCEMENT OF TRAFFIC IMAGES UNDER DIFFERENT WEATHER CONDITIONS USING PYNET

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cheng Guangliang

Inventor after: Shi Jianping

Inventor after: Yasui Yuji

Inventor after: Hideki Matsunaga

Inventor after: Hand to hand

Inventor before: Cheng Guangliang

Inventor before: Shi Jianping

Inventor before: Yasui Yuji

Inventor before: Hideki Matsunaga

Inventor before: Fu Shouyao

GR01 Patent grant
GR01 Patent grant