CN114626468A

CN114626468A - 在图像中生成阴影的方法、装置、电子设备及存储介质

Info

Publication number: CN114626468A
Application number: CN202210267945.4A
Authority: CN
Inventors: 勾多多; 赵雄
Original assignee: Xiaomi Automobile Technology Co Ltd
Current assignee: Xiaomi Automobile Technology Co Ltd
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2022-06-14
Anticipated expiration: 2042-03-17
Also published as: CN114626468B

Abstract

本公开涉及一种在图像中生成阴影的方法、装置、电子设备及存储介质。方法包括：响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及目标物体的掩码图像，所述阴影生成指令用于在所述目标图像中生成所述目标物体的阴影；将所述目标图像和所述目标物体的掩码图像输入预设的阴影生成模型，以得到所述阴影生成模型输出的目标阴影图像，其中，所述目标阴影图像用于对车辆内的感知模型进行训练。如此，无需提供阴影掩码图像即可在目标图像中生成目标物体的阴影，简化了在图像中生成阴影的过程，提高了阴影生成的适用范围，进而实现增强感知模型对具有各种复杂阴影图像识别的鲁棒性的目的。

Description

在图像中生成阴影的方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种在图像中生成阴影的方法、装置、电子设备及存储介质。

背景技术

在车辆技术领域，车辆内通常设置有感知模型，用于对车辆周围的环境信息进行识别和分析，进而指导自动驾驶车辆安全行驶或指导车辆驾驶员安全驾驶车辆。示例地，车辆内的采集装置采集包含车辆周围环境信息的环境图像，之后，将环境图像输入感知模型，以使感知模型对环境图像进行识别和分析。

通常情况下，感知模型对环境图像中包含的环境信息识别的准确度会受到各种环境因素的影响，例如，光照、阴影、噪声等。其中，尤其阴影会造成FS(Free Space，可行驶区域)，RM(road mark，路面标识)等算法性能下降，因此，在对感知模型进行训练过程中，需要使感知模型充分学习以使其具有对包含阴影的环境图像进行准确识别和分析的能力，如此，需要使用大量的具有阴影的环境图像对该感知模型进行训练，然而，有些环境图像中并不存在阴影，因此，需要在用于对感知模型进行训练的样本图像中生成阴影，以增强感知模型对具有各种复杂阴影图像识别的鲁棒性。

发明内容

为克服相关技术中存在的问题，本公开提供一种在图像中生成阴影的方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种在图像中生成阴影的方法，包括：

响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及目标物体的掩码图像，所述阴影生成指令用于在所述目标图像中生成所述目标物体的阴影；

将所述目标图像和所述目标物体的掩码图像输入预设的阴影生成模型，以得到所述阴影生成模型输出的目标阴影图像，其中，所述目标阴影图像用于对车辆内的感知模型进行训练。

可选地，所述阴影生成模型通过以下训练方式训练得到：

获取训练样本数据集，所述训练样本数据集中包括样本图像、样本物体掩码图像和与所述样本图像对应的样本阴影图像；

将所述样本图像和所述样本物体掩码图像作为模型输入参数，将所述样本阴影图像作为模型输出参数，对初始的阴影生成模型进行训练，以得到训练后的阴影生成模型。

可选地，所述获取训练样本数据集，包括：

获取车辆运行过程中的场景图像，以及在预设的图像数据集中获取样本物体图像、样本物体掩码图像、样本物体的阴影掩码图像；

根据所述场景图像、所述样本物体图像和所述样本物体掩码图像，生成样本图像；以及

根据所述样本图像和所述样本物体的阴影掩码图像，生成与所述样本图像对应的样本阴影图像；

根据所述样本图像、所述样本物体掩码图像和所述样本阴影图像，构建训练样本数据集。

可选地，所述根据所述场景图像、所述样本物体图像和所述样本物体掩码图像，生成所述样本图像，包括：

根据所述样本物体掩码图像，生成所述样本物体的背景掩码图像，其中，在所述样本物体掩码图像中所述样本物体对应的像素值为1其他部分对应的像素值为0，在所述样本物体的背景掩码图像中所述样本物体对应的像素值为0其他部分对应的像素值为1；

将所述场景图像对应的图像数据与所述样本物体的背景掩码图像对应的图像数据相乘得到第一图像，以及，将所述样本物体图像的图像数据和所述样本物体掩码图像的图像数据相乘得到第二图像；

将所述第一图像和所述第二图像进行图像叠加，得到所述样本图像。

可选地，所述根据所述样本图像和所述样本物体的阴影掩码图像，生成与所述样本图像对应的样本阴影图像，包括：

根据所述样本物体的阴影掩码图像，生成所述样本物体的阴影背景掩码图像，其中，在所述样本物体的阴影掩码图像中所述阴影对应的像素值为1其他部分对应的像素值为0，在所述样本物体的阴影背景掩码图像所述阴影对应的像素值为0其他部分对应的像素值为1；

将所述样本图像的图像数据和所述样本物体的阴影背景掩码图像的图像数据相乘，得到第三图像；

降低所述样本图像的亮度得到新的样本图像，并将所述新的样本图像的图像数据与所述样本物体的阴影掩码图像的图像数据相乘，得到第四图像；

将所述第三图像和所述第四图像进行图像叠加，得到与所述样本图像对应的样本阴影图像。

可选地，所述目标图像包含所述目标物体的子图像；

所述响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及待生成阴影的目标物体的掩码图像，包括：

响应于接收到阴影生成指令，则获取待生成阴影的目标图像；

对所述目标图像进行分割处理和连通域分析处理，以获得目标物体的掩码图像。

可选地，所述目标图像中包括所述目标物体的第一阴影，所述阴影生成模型用于在所述目标图像中生成所述目标物体的第二阴影，所述目标阴影图像包括所述第一阴影和所述第二阴影。

根据本公开实施例的第二方面，提供一种在图像中生成阴影的装置，包括：

第一获取模块，被配置为响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及目标物体的掩码图像，所述阴影生成指令用于在所述目标图像中生成所述目标物体的阴影；

第一输入模块，被配置为将所述目标图像和所述目标物体的掩码图像输入预设的阴影生成模型，以得到所述阴影生成模型输出的目标阴影图像，其中，所述目标阴影图像用于对车辆内的感知模型进行训练。

可选地，所述装置还包括：

第二获取模块，被配置为获取训练样本数据集，所述训练样本数据集中包括样本图像、样本物体掩码图像和与所述样本图像对应的样本阴影图像；

第二输入模块，被配置为将所述样本图像和所述样本物体掩码图像作为模型输入参数，将所述样本阴影图像作为模型输出参数，对初始的阴影生成模型进行训练，以得到训练后的阴影生成模型。

可选地，所述第二获取模块包括：

第一获取子模块，被配置为获取车辆运行过程中的场景图像，以及在预设的图像数据集中获取样本物体图像、样本物体掩码图像、样本物体的阴影掩码图像；

第一生成子模块，被配置为根据所述场景图像、所述样本物体图像和所述样本物体掩码图像，生成样本图像；以及

第二生成子模块，被配置为根据所述样本图像和所述样本物体的阴影掩码图像，生成与所述样本图像对应的样本阴影图像；

构建子模块，被配置为根据所述样本图像、所述样本物体掩码图像和所述样本阴影图像，构建训练样本数据集。

可选地，所述第一生成子模块包括：

第三生成子模块，被配置为根据所述样本物体掩码图像，生成所述样本物体的背景掩码图像，其中，在所述样本物体掩码图像中所述样本物体对应的像素值为1其他部分对应的像素值为0，在所述样本物体的背景掩码图像中所述样本物体对应的像素值为0其他部分对应的像素值为1；

第二获取子模块，被配置为将所述场景图像对应的图像数据与所述样本物体的背景掩码图像对应的图像数据相乘得到第一图像，以及，将所述样本物体图像的图像数据和所述样本物体掩码图像的图像数据相乘得到第二图像；

第三获取子模块，被配置为将所述第一图像和所述第二图像进行图像叠加，得到所述样本图像。

可选地，所述第二生成子模块包括：

第四生成子模块，被配置为根据所述样本物体的阴影掩码图像，生成所述样本物体的阴影背景掩码图像，其中，在所述样本物体的阴影掩码图像中所述阴影对应的像素值为1其他部分对应的像素值为0，在所述样本物体的阴影背景掩码图像所述阴影对应的像素值为0其他部分对应的像素值为1；

第四获取子模块，被配置为将所述样本图像的图像数据和所述样本物体的阴影背景掩码图像的图像数据相乘，得到第三图像；

第五获取子模块，被配置为降低所述样本图像的亮度得到新的样本图像，并将所述新的样本图像的图像数据与所述样本物体的阴影掩码图像的图像数据相乘，得到第四图像；

第六获取子模块，被配置为将所述第三图像和所述第四图像进行图像叠加，得到与所述样本图像对应的样本阴影图像。

可选地，所述目标图像包含所述目标物体的子图像；

所述第一获取模块包括：

第七获取子模块，被配置为响应于接收到阴影生成指令，则获取待生成阴影的目标图像；

第八获取子模块，被配置为对所述目标图像进行分割处理和连通域分析处理，以获得目标物体的掩码图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面任一项所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

采用上述技术方案，只需要将待生成阴影的目标图像、目标物体的掩码图像输入阴影生成模型，即可得到阴影生成模型输出的目标阴影图像。如此，无需提供阴影掩码图像即可在目标图像中生成目标物体的阴影，简化了在图像中生成阴影的过程，提高了阴影生成的适用范围，进而实现增强感知模型对具有各种复杂阴影图像识别的鲁棒性的目的。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种在图像中生成阴影的方法的流程图。

图2是根据一示例性实施例示出的图1中步骤S11的方法的流程图。

图3是根据一示例性实施例示出的一种生成阴影的示意图。

图4是根据一示例性实施例示出的一种获取训练样本数据集的方法的流程图。

图5是根据一示例性实施例示出的一种生成样本图像的示意图。

图6是根据一示例性实施例示出的一种生成样本阴影图像的示意图。

图7是根据一示例性实施例示出的一种在图像中生成阴影的装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

相关技术中，在生成阴影的过程中，需要引入各种掩码图像，例如，阴影掩码图像、物体掩码图像等等。然而，由于在实际场景中，阴影掩码图像获取难度较大，导致该方式的可用性较差，从而导致获取感知模型训练样本的难度较大，无法实现增强感知模型对具有各种复杂阴影图像识别的鲁棒性的目的。

有鉴于此，本公开提供一种在图像中生成阴影的方法、装置、电子设备及存储介质，以简化在图像中生成阴影的过程，提高阴影生成的适用范围，进而实现增强感知模型对具有各种复杂阴影图像识别的鲁棒性的目的。

图1是根据一示例性实施例示出的一种在图像中生成阴影的方法的流程图。如图1所示，该方法可以包括以下步骤。

在步骤S11中，响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及目标物体的掩码图像。其中，阴影生成指令用于在目标图像中生成所述目标物体的阴影。

在本公开中，阴影生成指令可以是用户通过人机交互界面输入的指令，该指令可以通过文字形式、语音形式、按键形式中的任一形式输入。类似地，目标图像也可以是用户通过人机交互界面输入的一帧待生成阴影的图像，示例地，该图像可以为车辆运行场景中的图像，其中，车辆运行场景可以包括车辆行驶场景、车辆泊车场景等。

在步骤S12中，将目标图像和目标物体的掩码图像输入预设的阴影生成模型，以得到阴影生成模型输出的目标阴影图像。其中，目标阴影图像用于对车辆内的感知模型进行训练。

在本公开中，阴影生成模型用于在目标图像中生成目标物体的阴影，即，目标阴影图像中包含有目标物体的新生成的阴影。值的说明的是，在本公开中，所生成的目标物体的阴影与目标物体所在掩码图像中的位置、目标物体的形状具有一定对应关系。例如，目标物体位于掩码图像的左下角，且目标物体为垃圾桶，则在目标图像的左下角生成该垃圾桶的阴影位置。

在一种可能的实施例中，目标图像包含目标物体的子图像。即，该阴影生成方法用于生成目标图像中存在的目标物体的阴影。相应地，如图2所示，图1中步骤S11可以包括步骤S111和步骤S112。

在步骤S111中，响应于接收到阴影生成指令，则获取待生成阴影的目标图像。其中，可以参照上述方式获取到目标图像。

在步骤S112中，对目标图像进行分割处理和连通域分析处理，以获得目标物体的掩码图像。值的说明的是，在图像处理领域，对图像进行分割处理和连通域分析处理属于较为成熟的技术，本公开对此不作具体限定。

示例地，假设目标物体为目标图像中的中的石墩图像对应的石墩，则通过分割处理和连通域分析处理得到石墩的掩码图像。

图3是根据一示例性实施例示出的一种生成阴影的示意图。如图3所示，该目标图像为车辆运行场景中的图像，在获取到该目标图像之后，将目标图像输入分割模块，该分割模块用于对目标图像进行分割处理，以及对分割处理得到的多个子图像块进行连通域分析处理，挑选出面积占比较大的物体作为目标物体，例如，将石墩作为目标物体，并生成并输出石墩的掩码图像。其中，在石墩的掩码图像中石墩对应的像素值为1其他部分对应的像素值为0。之后，将目标图像和石墩的掩码图像合并后输入阴影生成模型，以得到阴影生成模型输出的目标阴影图像，在该目标阴影图像中包括石墩的阴影。此外，在图3中，阴影生成模型可以为编码解码网络模型。

在另一种可能的实施例中，目标图像不包含目标物体的子图像。即，阴影生成模型用于生成未位于目标图像中的物体的阴影。示例地，目标图像如图3所示，目标物体为垃圾桶，则将目标图像和垃圾桶的掩码图像合并后输入编码解码网络模型，即可得到阴影生成模型输出的目标阴影图像，其中，在目标阴影图像中包括垃圾桶的阴影。

值的说明的是，在垃圾桶的掩码图像中，若该垃圾桶位于图像的右下角，则在生成的目标阴影图像中垃圾桶的阴影也位于图像的右下角。此外，由于目标图像中不包含垃圾桶的子图像，因此，在生成后的目标阴影图像中也不包括垃圾桶的子图像，仅包括垃圾桶的阴影。

采用上述技术方案，既可以对目标图像中包括的目标物体生成阴影，也可以对目标图像不包含的目标物体生成阴影，如此，提高了生成阴影的灵活性，丰富了感知模型的训练样本图像，进一步提高了感知模型对具有各种复杂阴影图像识别的鲁棒性。

此外，在本公开中，阴影生成模型可以对图像中不具有阴影的物体生成阴影(如图3所示)，也可以在已具有阴影的物体周围叠加阴影，以模拟更为复杂的降质图像。示例地，目标图像中包括目标物体的第一阴影，阴影生成模型用于在目标图像中生成目标物体的第二阴影，目标阴影图像包括第一阴影和第二阴影。在本公开中，第一阴影可以是采集图像时所采集到的物体的真实阴影，也可以是利用其它方式或本公开提供的方式生成的虚拟阴影，本公开对此不作具体限定。

采用上述技术方案，可以在已有阴影的目标物体周围叠加新的阴影，以生成更复杂的降质的目标阴影图像，进一步丰富了感知模型的训练样本图像，提高了感知模型对具有各种复杂阴影图像识别的鲁棒性。

下面对阴影生成模型的训练过程进行说明。首先，对训练过程中所使用的训练样本数据集的获取方式进行描述。

在相关技术中，通常是通过以下两个方式进行搭建训练样本数据集。第一种方式，构建多对相匹配的阴影图像-无阴影图像。示例地，首先拍摄一张有阴影的图像，然后需要专业人员利用专业知识将相应物体的阴影去除。该方式是利用人工方式去除阴影，依赖于专业人员的技术水平，无法确保去除阴影的准确性，即，构建的无阴影图像的准确度较低。第二种方式，构建非成对的阴影-无阴影图像，需要严格把控阴影图像和无阴影图像之间的最大差异在于有无阴影，否则会导致模型学习到其他差异。即，在该方式中，需要确保两张图像之间的差异仅在于有无阴影，其他完全相同，然而，在实际应用中无阴影图像的拍摄难度较大，无法确保阴影图像和无阴影图像之间的最大差异在于有无阴影，进而所构建的阴影-无阴影图像不能满足训练需求。

此外，若阴影生成模型用于生成对车辆内的感知模型进行训练的目标阴影图像，则在训练阴影生成模型时需要用到车辆运行场景下的场景图像，而现有技术中公开的图像数据集中包括的图像与车辆运行场景下的场景图像差异较大，若利用公开的图像数据集对阴影生成模型进行训练，则会导致阴影生成模型生成的目标阴影图像难以准确对感知模型进行训练，进而导致感知模型无法准确识别车辆运行场景下的图像。

因此，本公开提供一种新的构建训练样本数据集的方法。图4是根据一示例性实施例示出的一种获取训练样本数据集的方法的流程图。如图4所示，获取训练样本数据集的方法可以包括以下步骤。

在步骤S41中，获取车辆运行过程中的场景图像，以及在预设的图像数据集中获取样本物体图像、样本物体掩码图像、样本物体的阴影掩码图像。

其中，车辆运行过程中的场景图像可以为泊车场景图像。预设的图像数据集可以为已公开的图像数据集。值的说明的是，样本物体图像、样本物体掩码图像、样本物体的阴影掩码图像的尺寸均是相同的。

在步骤S42中，根据场景图像、样本物体图像和样本物体掩码图像，生成样本图像。

在步骤S43中，根据样本图像和样本物体的阴影掩码图像，生成与样本图像对应的样本阴影图像。

在步骤S44中，根据样本图像、样本物体掩码图像和样本阴影图像，构建训练样本数据集。其中，训练样本数据集中包括多对阴影-无阴影图像对。

值的说明的是，发明人研究发现，在生成阴影过程中，训练过程中使用的图像与实际应用中使用的图像之间背景图像差异比两者的前景图像差异对阴影生成准确度的影响更大，因此，在本公开中，若阴影生成模型用于生成对车辆内的感知模型进行训练的目标阴影图像，则需要在训练阴影生成模型的过程中采用的样本图像中背景图像为车辆运行过程中的场景图像，如此，才能确保训练得到的阴影生成模型能够准确地在图像中生成阴影。

因此，在本公开中，可以将公开图像数据集中的样本物体图像、样本物体掩码图像作为前景图像部分，将车辆运行过程中的场景图像作为背景图像部分合成样本图像。以及，将样本图像作为背景图像部分，将样本物体的阴影掩码图像作为前景图像部分合成样本图像对应的样本阴影图像。

可选地，根据场景图像、样本物体图像和样本物体掩码图像，生成样本图像，包括：

根据样本物体掩码图像，生成样本物体的背景掩码图像，其中，在样本物体掩码图像中样本物体对应的像素值为1其他部分对应的像素值为0，在样本物体的背景掩码图像中样本物体对应的像素值为0其他部分对应的像素值为1；

将场景图像对应的图像数据与样本物体的背景掩码图像对应的图像数据相乘得到第一图像，以及，将样本物体图像和样本物体掩码图像相乘得到第二图像；

将第一图像和第二图像进行图像叠加，得到样本图像。

示例地，图5是根据一示例性实施例示出的一种生成样本图像的示意图。在图5中，第一行中第一张图像为场景图像，第二张图像为样本物体的背景掩码图像，其中，在该背景掩码图像中前景部分即石墩(图中黑色部分)对应的像素值为0，图像中其他部分(图中白色部分)对应的像素值均为1。场景图像的图像数据与该样本物体的背景掩码图像的图像数据相乘得到第一图像，其中，第一图像为在场景图像的预设位置添加石墩图像，且石墩图像的像素值为0，并且，该预设位置为石墩图像在背景掩码图像中的位置。

在图5中，第一行中第三张图像为样本物体图像，第四张图像为样本物体掩码图像。其中，在样本物体掩码图像中样本物体(图中白色部分)对应的像素值为1其他部分(图中黑色部分)对应的像素值为0。样本物体图像的图像数据和样本物体掩码图像的图像数据相乘得到第二图像。最后，将第一图像和第二图像进行图像叠加，即可得到样本图像(即，图5中第二行图像)。值的说明的是，第一图像和第二图像均未在图5中示出。

可选地，根据样本图像和样本物体的阴影掩码图像，生成与样本图像对应的样本阴影图像，包括：

根据样本物体的阴影掩码图像，生成样本物体的阴影背景掩码图像，其中，在样本物体的阴影掩码图像中阴影对应的像素值为1其他部分对应的像素值为0，在样本物体的阴影背景掩码图像阴影对应的像素值为0其他部分对应的像素值为1；

将样本图像的图像数据和样本物体的阴影背景掩码图像的图像数据相乘，得到第三图像；

降低样本图像的亮度得到新的样本图像，并将新的样本图像的图像数据与样本物体的阴影掩码图像的图像数据相乘，得到第四图像；

将第三图像和第四图像进行图像叠加，得到与样本图像对应的样本阴影图像。

示例地，图6是根据一示例性实施例示出的一种生成样本阴影图像的示意图。在图6中，第一行中第一张图像为样本图像，第二张图像为样本物体的阴影背景掩码图像，第三张图像为降低亮度之后的样本图像，第四张图像为样本物体的阴影掩码图像。第一张图像的图像数据与第二张图像的图像数据相乘之后得到第三图像，以及，第三张图像的图像数据与第四张图像的图像数据相乘之后得到第四图像，最后，将第三图像与第四图像进行叠加，得到与样本图像对应的样本阴影图像(即，图6中第二行图像)。

采用上述技术方案，利用公开的图像数据集中的图像和车辆运行过程中的场景图像，搭建训练样本数据集，简化了搭建训练样本数据集的复杂性。并且，所搭建的训练样本数据集结合可车辆运行过程中的场景图像，在利用该训练样本数据集对阴影生成模型训练之后，提高了阴影生成模型生成的用于对车辆内的感知模型进行训练的目标阴影图像的精准性。

在本公开中，按照上述方式构建训练样本数据集，其中，该训练样本数据集中包括样本图像、样本物体掩码图像和与样本图像对应的样本阴影图像。之后，利用该训练样本数据集对初始的阴影生成模型进行训练，以得到训练后的阴影生成模型。

示例地，将样本图像和样本物体掩码图像作为模型输入参数，将样本阴影图像作为模型输出参数，对初始的阴影生成模型进行训练，以得到训练后的阴影生成模型。

值的说明的是，阴影生成模型的具体训练过程可以参照相关技术中的机器学习技术，本公开对此不作具体限定。

在本公开中，阴影生成模型可以为简单的解码编码网络模型，相较于相关技术中采用复杂的网络结构(例如，注意力机网络结构，以及生成对抗网络结构)生成阴影，本公开对解码编码网络模型进行训练，使得训练过程更为容易且训练速度较快。

基于同一发明构思，本公开还提供一种在图像中生成阴影的装置。图7是根据一示例性实施例示出的一种在图像中生成阴影的装置的框图。如图7所示，该在图像中生成阴影的装置700可以包括：

第一获取模块701，被配置为响应于接收到阴影生成指令，则获取待生成阴影的目标图像，以及目标物体的掩码图像，所述阴影生成指令用于在所述目标图像中生成所述目标物体的阴影；

第一输入模块702，被配置为将所述目标图像和所述目标物体的掩码图像输入预设的阴影生成模型，以得到所述阴影生成模型输出的目标阴影图像，其中，所述目标阴影图像用于对车辆内的感知模型进行训练。

可选地，所述装置还包括：

可选地，所述第二获取模块包括：

可选地，所述第一生成子模块包括：

可选地，所述第二生成子模块包括：

可选地，所述目标图像包含所述目标物体的子图像；

所述第一获取模块701包括：

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的在图像中生成阴影的方法的步骤。

图8是根据一示例性实施例示出的一种电子设备的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成在图像中生成阴影的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行在图像中生成阴影的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成在图像中生成阴影的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的在图像中生成阴影的方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种在图像中生成阴影的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述阴影生成模型通过以下训练方式训练得到：

3.根据权利要求2所述的方法，其特征在于，所述获取训练样本数据集，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述场景图像、所述样本物体图像和所述样本物体掩码图像，生成所述样本图像，包括：

5.根据权利要求3所述的方法，其特征在于，所述根据所述样本图像和所述样本物体的阴影掩码图像，生成与所述样本图像对应的样本阴影图像，包括：

6.根据权利要求1所述的方法，其特征在于，所述目标图像包含所述目标物体的子图像；

7.根据权利要求6所述的方法，其特征在于，所述目标图像中包括所述目标物体的第一阴影，所述阴影生成模型用于在所述目标图像中生成所述目标物体的第二阴影，所述目标阴影图像包括所述第一阴影和所述第二阴影。

8.一种在图像中生成阴影的装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～7中任一项所述方法的步骤。