CN113205586A - 图像处理方法及装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法及装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN113205586A CN113205586A CN202110421088.4A CN202110421088A CN113205586A CN 113205586 A CN113205586 A CN 113205586A CN 202110421088 A CN202110421088 A CN 202110421088A CN 113205586 A CN113205586 A CN 113205586A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- point cloud
- cloud data
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000009877 rendering Methods 0.000 claims abstract description 38
- 238000007499 fusion processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 25
- 238000012549 training Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供一种图像处理方法，包括获取待处理图像，在虚拟三维空间中构建所述待处理图像的三维点云数据；获取模拟光源的投影参数；在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。本申请实施例还提供一种图像处理装置、电子设备和计算机可读存储介质。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。
背景技术
随着图像处理技术的发展，用户可以通过图像处理装置调整图像的光影效果，或者为采集的图像叠加不同光影效果，从而达到美化图像的目的。
目前，图像处理装置通常是对图像中单个或者局部的像素的亮度值进行调整，来模拟光影效果，并不能反映真实世界的光学原理，失真度较高。
发明内容
本申请实施例提供一种图像处理方法及装置、电子设备、计算机可读存储介质。
本申请的技术方案是这样实现的：
第一方面，提供一种图像处理方法，包括：
获取待处理图像，在虚拟三维空间中构建所述待处理图像的三维点云数据；
获取模拟光源的投影参数；
在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
第一获取单元，用于获取待处理图像；
点云构建单元，用于在虚拟三维空间中构建所述待处理图像的三维点云数据；
第二获取单元，用于获取模拟光源的投影参数；
渲染处理单元，用于在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
融合处理单元，用于对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，执行第一方面所述图像处理方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现第一方面所述图像处理方法的步骤。
本申请实施例提供的图像处理方法、装置、电子设备和计算机可读存储介质，具体地，电子设备可以在虚拟三维空间中构建待处理图像的三维点云数据，并模拟真实的光照场景，在虚拟三维空间中对三维点云进行阴影渲染处理，得到目标阴影图像。进而，根据阴影图像和待处理图像，得到添加了光影效果的图像。这样，可以模拟真实的光照效果，在三维场景中对待处理图像的图像内容进行阴影渲染，反映了真实的光学原理，增加了光影效果的真实感和层次感。
附图说明
图1为本申请实施例提供的一种图像处理方法流程示意图一；
图2为本申请实施例提供的一种图像处理方法流程示意图二；
图3为本申请实施例提供的一种图像处理方法流程示意图三；
图4为本申请实施例提供的一种应用场景示意图；
图5为本申请实施例提供的一种图像处理装置结构组成示意图；
图6为本申请实施例提供的一种电子设备的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
为了提高图像中叠加的光影效果的真实性，通常采用基于深度学习技术的卷积神经网络为单张静态图像叠加光影效果。具体地，图像处理装置可以首先提取待处理图像的亮度信息，然后，将待处理图像的亮度信息输入至卷积神经网络中，得到待处理图像的目标亮度信息。最后，图像处理装置可以将目标亮度信息与待处理图像中每个像素的颜色信息进行合并，得到最终叠加光影效果的图像。
然而，要训练可以叠加光影效果的卷积神经网络，需要采集大量不同光影效果的图像作为样本图像。为了获取理想的光影效果的样本图像，需要在拍摄场地上进行复杂的光影布置，才能采集用于网络训练的样本图像。可见，相关技术中，要得到可以叠加光影效果的卷积神经网络模型，前期需要消耗大量的人力物力成本，并且卷积神经网络模型对应用场景的限制较大。
基于此，本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，这里的图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、个人计算器、服务器或者工业计算器等，本申请实施对电子设备的类型不进行限定。
请参考图1，图1为本申请实施例提供的图像处理方法的流程示意图，如图1所示，所述图像处理方法包括以下步骤：
步骤110、获取待处理图像，在虚拟三维空间中构建待处理图像的三维点云数据。
在本申请实施例中，待处理图像可以是电子设备通过摄像头采集得到的图像，也可以是电子设备本地存储空间中存储的图像，还可以是通过网络下载的图像。本申请实施例对待处理图像的来源进行限定。
在获取到待处理图像之后，电子设备可以在虚拟的三维空间中，对待处理图像中全部的图像内容进行三维重建，得到待处理图像的三维点云数据。
具体地，电子设备在获取待处理图像的同时，还可以获取待处理图像深度信息，通过待处理图像的二维图像信息以及深度信息，构建待处理图像的三维点云数据。
在一种可能的实现方式中，电子设备可以基于硬件结构，采集待处理图像中包含的所有拍摄对象的深度信息。例如，电子设备在采集待处理图像时，可以同时通过深度相机采集拍摄对象的深度信息，深度相机可以是飞行时间(Time of Flight，ToF)相机、或者双目相机。
在另一种可能的实现方式中，电子设备还可以通过软件计算功能，来获取待处理图像中所有拍摄对象的深度信息。例如，电子设备可以采用深度估计模型对待处理图像进行深度估计处理，得到待处理图像中每个像素点的深度信息。
在本申请实施例中，虚拟三维空间可以是电子设备模拟真实的三维空间创建的一个虚拟的空间。该虚拟三维空间用于模仿真实的三维空间场景，这样，用户可以根据需求在三维空间中添加虚拟光源，模拟真实场景中的光照，来达到更真实逼真的投影效果。
步骤120、获取模拟光源的投影参数。
这里，模拟光源是指可以叠加在虚拟三维空间中的虚拟聚光灯。通过模拟虚拟聚光灯的照射情况，来实现对上述三维点云数据进行虚拟投影。
在本申请实施例中，投影参数是指模拟光源对三维点云进行光效投影时的一些参数。这里，投影参数可以包括但不限于模拟光源的数量、模拟光源的光源位置、模拟光源的光源照射方向、光照强度中的至少一个。
其中，光源位置可以是指模拟光源在上述虚拟三维空间中的坐标信息。光源照射角度具体是指，模拟光源射出的光线与投影平面之间的夹角。
在本申请实施例中，模拟光源的投影参数可以是用户设定的。
在一种可能的实现方式中，电子设备可以为用户提供参数配置接口。当用户使用电子设备对待处理图像叠加光影效果时，可以通过参数配置接口输入模拟光源的投影参数。这样，电子设备可以通过参数配置接口，获取用户输入的模拟光源的投影参数。
在另一种可能的实现方式中，电子设备还可以为用户提供不同的光影模式选项，例如晴天光影模式、阴天光影模型、室内光影模式、室外光影模式等。这里，电子设备可以预先存储不同光影模式对应的模拟光源的投影参数。这样，电子设备可以根据用户选择的光影模式，确定与该光影模式对应的投影参数。
步骤130、在虚拟三维空间中，基于模拟光源的投影参数，对三维点云数据进行阴影渲染处理，得到目标阴影图像。
在真实光照场景中，光线在传播过程中被不透明的物体遮挡时，在遮挡物体的背面形成暗区，暗区投射到另一物体上即形成阴影区域。阴影可以体现出真实场景中物体之间的空间关系。
基于此，本申请实施例可以恢复出待处理图像的三维点云数据，在三维点云数据所处的虚拟三维空间中添加模拟光源，通过模拟光源来模拟真实的光照效果。基于此，电子设备可以对三维点云数据进行阴影绘制，增加阴影图像的真实感和层次感。
在本申请实施例中，电子设备可以从模拟光源的视角构建三维点云数据的深度图，并基于该深度图确定三维点云数据中每个像素点的显示参数，以得到目标阴影图像。
步骤140、对待处理图像和目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
本申请实施例中，在得到目标阴影图像后，可以将目标阴影图像与待处理图像进行融合处理，得到最终包含阴影信息的图像。这里，对目标阴影图像与待处理图像进行融合处理，可以是将阴影图像和待处理图像中相同像素点的显示参数进行合并处理。
由此可见，本申请实施例提供的图像处理方法中，电子设备可以在虚拟三维空间中构建待处理图像的三维点云数据，并模拟真实的光照场景，在虚拟三维空间中对三维点云进行阴影渲染处理，得到目标阴影图像。进而，根据阴影图像和待处理图像，得到添加了光影效果的图像。这样，可以模拟真实的光照效果，在三维场景中对待处理图像的图像内容进行阴影渲染，反映了真实的光学原理，增加了光影效果的真实感和层次感。
在本申请一实施例中，参考图2所示，上述步骤110可以通过以下步骤1101和步骤1102来实现：
步骤1101、根据深度估计模型，对待处理图像进行深度估计处理，得到待处理图像中每个像素点的深度信息。
其中，深度估计模型用于预测图像中每个像素点与图像采集装置之间的深度。
在本申请实施例中，可以通过预先训练好的深度估计模型，来对待处理图像进行深度估计处理，得到待处理图像中每个像素点的深度信息。像素点的深度信息，具体是指该像素点距离图像采集装置之间的远近。
这里，深度估计模型具体可以是单目深度估计模型。单目深度估计是指仅通过一张图像预测图像中每个像素点的深度信息，也就是说，单目深度估计模型可以仅利用一个静态的图像即可恢复出图像中所有拍摄对象的深度结果。
单目深度估计模型，是预先对大量的深度样本图像进行训练得到的。其中，单目深度估计模型的训练过程可以包括：
获取深度样本图像，以及深度样本图像对应的标签信息；标签信息中包括深度样本图像中每个像素点的深度信息；利用待训练单目深度估计模型，对深度样本图像进行深度预测处理，得到第一输出结果；基于第一输出结果与深度样本图像对应的标签信息，得到第一差异值；基于第一差异值，对待训练单目深度估计模型进行训练，直到待训练单目深度估计模型满足训练条件时，得到上述单目深度估计模型。这里的训练条件可以是待训练单目深度估计模型的输出结果与标签信息相似度满足预设阈值。
需要说明的是，单目深度估计模型的训练数据(深度样本图像)相对于可以叠加光影效果的卷积神经网络的训练数据更易于获取。深度样本图像可以通过红绿蓝(RGB)图像采集装置以及激光扫描仪采集。
步骤1102、基于每个像素点的深度信息和待处理图像，对待处理图像进行三维重建处理，得到三维点云数据。
具体地，电子设备可以基于待处理图像，确定待处理图像中每个像素点在二维平面中的位置坐标信息。这样，电子设备可以基于每个像素的深度信息和每个像素在二维平面中的位置坐标信息，即可恢复出待处理图像的三维点云数据。
需要说明的是，三维点云数据中包括大量的特征点，每个特征点可以对应待处理图像中的一个像素点。
综上所述，本申请实施例提供的数据处理方法，可以通过软件实现的计算得到待处理图像的深度信息，以避免深度估计的硬件设计成本。另外，本申请实施例可以利用单目深度估计模型，直接对单张静态图像进行深度预测，避免利用多张不同视角的图像来恢复深度信息，扩大了应用场景。
在本申请一实施例中，参考图3所示的流程示意图，步骤130在虚拟三维空间中，基于模拟光源的投影参数，对点云数据进行阴影渲染处理，得到目标阴影图像，可以通过以下步骤1301至步骤1303实现。
步骤1301、在虚拟三维空间中，基于模拟光源的投影参数，确定点云数据在模拟光源视角下的深度图。
在本申请实施例中，电子设备可以基于模拟光源的光源位置、以及光源照射方向等参数，确定模拟光源视角。这样，电子设备从模拟光源视角下，构建三维点云数据的深度图。
具体地，电子设备可以从模拟光源视角下，绘制三维点云数据的深度图。其中，深度图中每个像素点可以对应三维点云数据中的一个特征点，而深度图中每个像素点的深度值可以表示该像素点对应的三维点云数据中的特征点与模拟光源之间的距离。
步骤1302、基于深度图，从三维点云数据中获取第一特征点集合和/或第二特征点集合；其中，第一特征点集合为三维点云数据中未被遮挡的特征点的集合；第二特征点集合为三维点云数据中被遮挡的特征点的集合。
需要说明的是，由于三维点云数据是立体三维物体的点集合，因此，在模拟光源照射三维点云数据的时候，必然有一些特征点是直接被虚拟光源照射到的，有一些特征点会因为其他特征点的遮挡，无法被虚拟光源照射到。
在本申请实施例中，深度图是从模拟光源视角看向三维点云数据时，得到的深度图。因此，深度图中仅包括三维点云数据中未被遮挡的特征点的深度值。
基于此，电子设备可以利用深度图，获取三维点云数据中未被遮挡的特征点，得到第一特征点集合。或者电子设备利用深度图，获取三维点云数据中被遮挡的特征点，得到第二特征点集合。在另一可能的实现方式中，电子设备还可以利用深度图，同时获取三维点云数据中未被遮挡的特征点和被遮挡的特征点，分别得到第一特征点集合和第二特征点集合。
在本申请一实施例中，电子设备基于深度图，从点云数据中获取第一特征点集合和/或第二特征点集合，可以通过以下步骤实现：
从三维点云数据中，查找包含于深度图中的特征点，得到第一特征点集合；
和/或，
从三维点云数据中，查找不包含于深度图中的特征点，得到第二特征点集合。
经过上文中的分析，可知获知深度图中仅包括三维点云数据中未被遮挡的特征点。因此，电子设备可以逐一判断三维点云数据中的特征点，是否出现在深度图中，当判断三维点云中的某个特征点出现在深度图中，则可以确定该特征点为未被遮挡的特征点。当三维点云数据中的某个特征点未出现在深度图中，则可以确定该特征点为被遮挡的特征点。
这样，电子设备遍历三维点云数据中所有特征点，可以得到所有未被其他特征点遮挡的特征点和/或被遮挡的特征点，如此，得到第一特征点集合和/或第二特征点集合。
步骤1303、基于第一特征点集合和/或第二特征点集合，生成目标阴影图像。
本申请实施例中，电子设备可以基于第一征点集合和/或第二特征点集合，获取未被遮挡的特征点，以及被遮挡的特征点。
这样，电子设备可以分别为不同特征点集合中包括的特征点设置不同的显示参数。例如，电子设备可以将第一特征点集合中未被遮挡的特征点的亮度值设置为预设亮度值，或者将第一特征点集合中被遮挡的特征点的颜色参数设置为预定的阴影颜色等。
示例性的，参考图4所示的场景示意图，模拟光源41可以设置在三维点云数据42左上方。因此，三维点云数据42面向光源区域的特征点为未被遮挡的特征点，三维点云数据42右侧区域421和区域422被遮挡，因此区域421和区域422中的特征点为被遮挡的点。这样，可以设置区域421和区域422的颜色参数为预定阴影颜色。
进一步地，电子设备在确定了基于每个特征点的显示参数后，基于每个特征点的显示参数生成目标阴影图像。
在本申请一实施例中，电子设备在基于第一特征点集合和/或第二特征点集合，生成目标阴影图像的过程中，还可以根据特征点集合中的特征点之间的位置关系，确定待渲染的特征点构成的轮廓。进而，对位于轮廓边缘的特征点的显示参数进行模糊化处理，避免轮廓边缘过度犀利，以实现更柔和以及更真实的光影效果。
这里，对于轮廓边缘的特征点的显示参数进行模糊化处理，可以通过高斯模糊过滤器实现。
示例性的，电子设备得到第二特征点集合后，可以对第二特征点集合中被遮挡的特征点之间的位置关系，确定阴影轮廓。并对位于阴影轮廓边缘的特征点的显示参数进行模糊化处理，使得阴影边缘的光效更柔和。
在本申请一实施例中，步骤130中基于模拟光源的投影参数，对三维点云数据进行阴影渲染处理，得到目标阴影图像，包括：
基于模拟光源的投影参数，对三维点云数据进行阴影渲染处理，得到初始阴影图像；
对初始阴影图像进行滤波处理，得到目标阴影图像；滤波处理用于消除初始阴影图像中的干扰信息。
这里，电子设备可以根据上述实施例提供的方式，对三维点云数据进行阴影渲染处理，得到初始阴影图像。
初始阴影图像是对点云数据进行渲染得到，特征点和特征点之间存在空隙。因此，真实场景中被遮挡的部分，可能会因为三维点云数据的空隙，被电子设备判定为未被遮挡。或者，真实场景中遮挡的部分，也可能会因为三维点云数据之间的空隙，被电子设备判定为被遮挡。
这样，在初始阴影图像内部，可能会存在着一小部分的像素点的像素值，与其他像素点的像素值存在较大的差异。
例如，在初始阴影图像中，阴影部分可能会存在孔洞(点状的较大差异像素点的集合)或是小裂缝(条状的较大差异像素点集合)，由于其这些孔洞或是小裂缝并不属于阴影区域，为了避免这些孔洞和小裂缝对光影效果产生影响，可以通过利用滤波处理，来消除这些孔洞或是小裂缝等感染信息，将阴影区域连接在一起。
本申请实施例中，滤波处理可以是先对初始阴影图像进行膨胀运算，再进行腐蚀运算。这里，膨胀运算可以用来消除包含在阴影区域中的小颗粒噪声。另外，腐蚀运算可以用来消除一些小孔洞或是小裂缝。
对初始阴影图像进行滤波处理后，得到目标阴影图像。此时，目标阴影图像中已经通过滤波处理消除了干扰信息，可以提高图像的光影效果。
在本申请一实施例中，模拟光源的数量可以包括多个。也就是说，用户可以在虚拟三维空间中设置多个虚拟光源，实现多种光影效果。
这里，模拟光源的数量为多个的情况下，步骤130中基于模拟光源的投影参数，对三维点云数据进行阴影渲染处理，得到目标阴影图像，可以通过以下步骤来实现：
基于多个模拟光源的投影参数，分别对三维点云数据进行阴影渲染处理，得到多个模拟光源中每个模拟光源对应的待融合阴影图像；
对多个待融合阴影图像进行融合处理，得到目标阴影图像。
可以理解的是，当叠加的虚拟光源有多个的情况下，电子设备可以分别根据不同的虚拟光源的投影参数对三维点云数据进行阴影渲染处理，得到每个虚拟光源对应的待融合阴影图像。电子设备对每个虚拟光源进行阴影渲染的方式，与上述实施例中的相同，这里不再赘述。
进一步地，在确定了每个模拟光源对应的待融合阴影图像后，电子设备可以对多个待融合阴影图像进行融合处理，得到最终的目标阴影图像。
具体地，电子设备可以确定多个待融合阴影图像中的阴影区域和/或光照区域之间的位置关系，调整阴影区域或者光照区域内像素点的显示参数，来对多个待融合阴影图像进行融合。
示例性的，待融合阴影图像1中的阴影区域，和待融合阴影图像2中的光照区域为同一区域，则电子设备可以提高该区域的亮度值，以得到目标阴影图像。若待融合阴影图像1中的阴影区域，和待融合阴影图像2中的阴影区域为同一区域，则电子设备降低该区域的亮度值，以得到目标阴影图像。
由此可见，本申请实施例中可以对待处理图像叠加多种不同的模拟光源，提高了光影处理的应用场景，以及光影效果的层次感。
基于前述实施例，本申请实施例提供一种图像处理装置，该图像处理装置可以应用于上文所述的电子设备中，如图5所示，该图像处理装置包括：
第一获取单元51，用于获取待处理图像；
点云构建单元52，用于在虚拟三维空间中构建所述待处理图像的三维点云数据；
第二获取单元53，用于获取模拟光源的投影参数；
渲染处理单元54，用于在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
融合处理单元55，用于对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
在本申请一些实施例中，点云构建单元52，具体用于根据深度估计模型，对所述待处理图像进行深度估计处理，得到所述待处理图像中每个像素点的深度信息；所述深度估计模型用于预测图像中每个像素点与图像采集装置之间的深度信息；基于所述每个像素点的深度信息和所述待处理图像，对所述待处理图像进行三维重建处理，得到所述三维点云数据。
在本申请一些实施例中，渲染处理单元54，用于基于所述模拟光源的投影参数，确定所述三维点云数据在所述模拟光源视角下的深度图；基于所述深度图，从所述三维点云数据中获取第一特征点集合和/或第二特征点集合；所述第一特征点集合为所述三维点云数据中未被遮挡的特征点的集合；所述第二特征点集合为所述三维点云数据中被遮挡的特征点的集合；基于所述第一特征点集合和/或所述第二特征点集合，生成所述目标阴影图像。
在本申请一些实施例中，所述渲染处理单元54，还用于从所述三维点云数据中，查找包含于所述深度图中的特征点，得到所述第一特征点集合；
和/或，从所述三维点云数据中，查找不包含于所述深度图中的特征点，得到所述第二特征点集合。
在本申请一些实施例中，所述渲染处理单元54，具体用于基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到初始阴影图像；对所述初始阴影图像进行滤波处理，得到所述目标阴影图像；所述滤波处理用于消除所述初始阴影图像中的干扰信息。
在本申请实施例中，所述模拟光源的数量包括多个；
所述渲染处理单元54，具体用于基于多个模拟光源的投影参数，分别对所述三维点云数据进行阴影渲染处理，得到所述多个模拟光源中每个模拟光源对应的待融合阴影图像；对多个所述待融合阴影图像进行融合处理，得到所述目标阴影图像。
在本申请实施例中，所述模拟光源的投影参数包括所述模拟光源的光源位置和/或光源照射角度。
需要说明的是，在本实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于前述实施例，在本申请的另一实施例中还提供一种电子设备，如图6所示，本申请实施例提出的电子设备可以包括处理器601、以及存储有所述处理器可执行指令的存储器602；
所述处理器601和所述存储器602通过总线603连接；
所述处理器601，运行所述存储器602中存储的计算机程序时，可以执行以下指令：
获取待处理图像，在虚拟三维空间中构建所述待处理图像的三维点云数据；
获取模拟光源的投影参数；
在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
在本申请一些实施例中，所述处理器601，还可以执行以下指令：
根据深度估计模型，对所述待处理图像进行深度估计处理，得到所述待处理图像中每个像素点的深度信息；所述深度估计模型用于预测图像中每个像素点与图像采集装置之间的深度信息；
基于所述每个像素点的深度信息和所述待处理图像，对所述待处理图像进行三维重建处理，得到所述三维点云数据。
在本申请一些实施例中，所述处理器601，还可以执行以下指令：
基于所述模拟光源的投影参数，确定所述三维点云数据在所述模拟光源视角下的深度图；
基于所述深度图，从所述三维点云数据中获取第一特征点集合和/或第二特征点集合；所述第一特征点集合为所述三维点云数据中未被遮挡的特征点的集合；所述第二特征点集合为所述三维点云数据中被遮挡的特征点的集合；
基于所述第一特征点集合和/或所述第二特征点集合，生成所述目标阴影图像。
在本申请一些实施例中，所述处理器601，还可以执行以下指令：
从所述三维点云数据中，查找包含于所述深度图中的特征点，得到所述第一特征点集合；
和/或，
从所述三维点云数据中，查找不包含于所述深度图中的特征点，得到所述第二特征点集合。
在本申请一些实施例中，所述处理器601，还可以执行以下指令：
基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到初始阴影图像；
对所述初始阴影图像进行滤波处理，得到所述目标阴影图像；所述滤波处理用于消除所述初始阴影图像中的干扰信息。
在本申请一些实施例中，所述模拟光源的数量包括多个；
所述处理器601，还可以执行以下指令：
基于多个模拟光源的投影参数，分别对所述三维点云数据进行阴影渲染处理，得到所述多个模拟光源中每个模拟光源对应的待融合阴影图像；
对多个所述待融合阴影图像进行融合处理，得到所述目标阴影图像。
在本申请提供的实施例中，上述处理器601可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital SignalProcessor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Progmable Logic Device，PLD)、现场可编程门阵列(Field Progmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
在实际应用中，存储器602可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1101提供指令和数据。
本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，在计算机存储介质位于电子设备制作装置时，该计算机指令被处理器执行时实现本申请实施例上述图像处理方法中的任意步骤。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施例”意味着与实施例有关的目标特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施例”未必一定指相同的实施例。此外，这些目标的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，检测设备执行本申请实施例中的任一步骤，可以是检测设备的处理器执行该步骤。除非特殊说明，本申请实施例并不限定检测设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是检测设备可以独立执行的，即检测设备执行上述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、检测设备、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中，不同实施例中相同步骤和相同内容的说明，可以互相参照。在本申请实施例中，术语“并”不对步骤的先后顺序造成影响。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像，在虚拟三维空间中构建所述待处理图像的三维点云数据；
获取模拟光源的投影参数；
在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，在虚拟三维空间中构建所述待处理图像的三维点云数据，包括：
根据深度估计模型，对所述待处理图像进行深度估计处理，得到所述待处理图像中每个像素点的深度信息；所述深度估计模型用于预测图像中每个像素点与图像采集装置之间的深度信息；
基于所述每个像素点的深度信息和所述待处理图像，对所述待处理图像进行三维重建处理，得到所述三维点云数据。
3.根据权利要求1所述的方法，其特征在于，所述在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像，包括：
基于所述模拟光源的投影参数，确定所述三维点云数据在所述模拟光源视角下的深度图；
基于所述深度图，从所述三维点云数据中获取第一特征点集合和/或第二特征点集合；所述第一特征点集合为所述三维点云数据中未被遮挡的特征点的集合；所述第二特征点集合为所述三维点云数据中被遮挡的特征点的集合；
基于所述第一特征点集合和/或所述第二特征点集合，生成所述目标阴影图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述深度图，从所述三维点云数据中获取第一特征点集合和/或第二特征点集合，包括：
从所述三维点云数据中，查找包含于所述深度图中的特征点，得到所述第一特征点集合；
和/或，
从所述三维点云数据中，查找不包含于所述深度图中的特征点，得到所述第二特征点集合。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像，包括：
基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到初始阴影图像；
对所述初始阴影图像进行滤波处理，得到所述目标阴影图像；所述滤波处理用于消除所述初始阴影图像中的干扰信息。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述模拟光源的数量包括多个；
所述基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像，包括：
基于多个模拟光源的投影参数，分别对所述三维点云数据进行阴影渲染处理，得到所述多个模拟光源中每个模拟光源对应的待融合阴影图像；
对多个所述待融合阴影图像进行融合处理，得到所述目标阴影图像。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述模拟光源的投影参数包括所述模拟光源的光源位置和/或光源照射角度。
8.一种图像处理装置，其特征在于，所述装置包括：
第一获取单元，用于获取待处理图像；
点云构建单元，用于在虚拟三维空间中构建所述待处理图像的三维点云数据；
第二获取单元，用于获取模拟光源的投影参数；
渲染处理单元，用于在所述虚拟三维空间中，基于所述模拟光源的投影参数，对所述三维点云数据进行阴影渲染处理，得到目标阴影图像；
融合处理单元，用于对所述待处理图像和所述目标阴影图像进行融合处理，得到最终包含阴影信息的图像。
9.一种电子设备，其特征在于，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行实现权利要求1至7任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421088.4A CN113205586A (zh) | 2021-04-19 | 2021-04-19 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421088.4A CN113205586A (zh) | 2021-04-19 | 2021-04-19 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113205586A true CN113205586A (zh) | 2021-08-03 |
Family
ID=77027581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421088.4A Pending CN113205586A (zh) | 2021-04-19 | 2021-04-19 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205586A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113787521A (zh) * | 2021-09-24 | 2021-12-14 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 基于深度学习的机器人抓取方法、系统、介质和电子设备 |
| CN114155359A (zh) * | 2022-01-05 | 2022-03-08 | 上海赛图图像设备有限公司 | 一种多角度扫描的图像采集系统及其方法 |
| CN114782616A (zh) * | 2022-06-20 | 2022-07-22 | 北京飞渡科技有限公司 | 模型处理方法、装置、存储介质及电子设备 |
| CN114998504A (zh) * | 2022-07-29 | 2022-09-02 | 杭州摩西科技发展有限公司 | 二维图像光照渲染方法、装置、系统和电子装置 |
| CN116452459A (zh) * | 2023-04-25 | 2023-07-18 | 北京优酷科技有限公司 | 阴影遮罩生成方法、阴影去除方法及装置 |
-
2021
- 2021-04-19 CN CN202110421088.4A patent/CN113205586A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113787521A (zh) * | 2021-09-24 | 2021-12-14 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 基于深度学习的机器人抓取方法、系统、介质和电子设备 |
| CN114155359A (zh) * | 2022-01-05 | 2022-03-08 | 上海赛图图像设备有限公司 | 一种多角度扫描的图像采集系统及其方法 |
| CN114782616A (zh) * | 2022-06-20 | 2022-07-22 | 北京飞渡科技有限公司 | 模型处理方法、装置、存储介质及电子设备 |
| CN114782616B (zh) * | 2022-06-20 | 2022-09-20 | 北京飞渡科技有限公司 | 模型处理方法、装置、存储介质及电子设备 |
| CN114998504A (zh) * | 2022-07-29 | 2022-09-02 | 杭州摩西科技发展有限公司 | 二维图像光照渲染方法、装置、系统和电子装置 |
| CN116452459A (zh) * | 2023-04-25 | 2023-07-18 | 北京优酷科技有限公司 | 阴影遮罩生成方法、阴影去除方法及装置 |
| CN116452459B (zh) * | 2023-04-25 | 2024-05-24 | 北京优酷科技有限公司 | 阴影遮罩生成方法、阴影去除方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113205586A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN110070621B (zh) | 电子装置、显示增强现实场景的方法及电脑可读取媒体 | |
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| Martull et al. | Realistic CG stereo image dataset with ground truth disparity maps | |
| KR102559202B1 (ko) | 3d 렌더링 방법 및 장치 | |
| Camplani et al. | Depth-color fusion strategy for 3-D scene modeling with Kinect | |
| Zollmann et al. | Image-based ghostings for single layer occlusions in augmented reality | |
| US11256958B1 (en) | Training with simulated images | |
| CN115830208B (zh) | 全局光照渲染方法、装置、计算机设备和存储介质 | |
| Bleyer et al. | A stereo approach that handles the matting problem via image warping | |
| CN111667420B (zh) | 图像处理方法及装置 | |
| CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
| CN113436343A (zh) | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 | |
| CN112200035B (zh) | 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法 | |
| CN104735435A (zh) | 影像处理方法及电子装置 | |
| CN112529022A (zh) | 一种训练样本的生成方法及装置 | |
| KR101652594B1 (ko) | 증강 현실 컨텐츠 제공 장치 및 방법 | |
| US20230394740A1 (en) | Method and system providing temporary texture application to enhance 3d modeling | |
| CN111199573A (zh) | 一种基于增强现实的虚实互反射方法、装置、介质及设备 | |
| CN109785429B (zh) | 一种三维重建的方法和装置 | |
| CN115713585B (zh) | 纹理图像重建方法、装置、计算机设备和存储介质 | |
| CN109446945B (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| CN114418897B (zh) | 眼部光斑图像的修复方法、装置、终端设备及存储介质 | |
| KR20230022153A (ko) | 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진 | |
| CN115619924A (zh) | 用于光估计的方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |