CN111462295B - 增强现实合拍中的阴影处理方法、设备及存储介质 - Google Patents
增强现实合拍中的阴影处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111462295B CN111462295B CN202010232174.6A CN202010232174A CN111462295B CN 111462295 B CN111462295 B CN 111462295B CN 202010232174 A CN202010232174 A CN 202010232174A CN 111462295 B CN111462295 B CN 111462295B
- Authority
- CN
- China
- Prior art keywords
- shadow
- virtual object
- image
- light source
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种增强现实合拍中的阴影处理方法、设备及存储介质，属于图像处理技术领域，所述方法包括：获取待处理的图像；检测所述图像中实体对象的第一阴影；根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。本发明通过在增强合拍图像中添加合拍的虚拟对象的阴影，提高视觉上的合拍真实性。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种增强现实合拍中的阴影处理方法、设备及存储介质。
背景技术
随着第五代移动通信技术(5G)的快速发展，新产品和新技术的不断成熟，增强现实(AR：Augmented Reality)再度受到高度关注。AR合拍是一种通过将虚拟对象(例如虚拟人物)和真实对象(例如真实人物)融合在一起，以产生视觉效果上的时空一致性的一种方法。应用场景有建立虚拟明星，用户与虚拟明星合拍来满足用户追星的愿望，也有建立虚拟动物，满足用户与小动物合影的愿望等。
目前，AR合拍技术面临的一个主要问题是光源导致的真实感较差。具体来说，现实世界中存在光源，因此现实中的实体对象(例如人体)存在阴影，但是合拍的虚拟对象是不存在阴影的。在AR合拍时虽然实现了视觉物理空间的一致，但是缺乏光照、阴影一致性，合拍的真实感较差。
发明内容
本发明实施例提供一种增强现实合拍中的阴影处理方法、设备及存储介质，以解决目前的AR合拍技术因虚拟对象没有阴影导致真实性差的问题。
为解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种增强现实合拍中的阴影处理方法，包括：
获取待处理的图像；
检测所述图像中实体对象的第一阴影；
根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；
根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。
可选的，所述第二阴影的参数包括尺寸和方向中的至少之一项；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括以下至少一项：
根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
根据所述第一阴影的方向，确定所述第二阴影的方向。
可选的，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
可选的，所述第二阴影的参数包括灰度值；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
可选的，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
可选的，所述第二阴影的参数包括形状；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
可选的，所述根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影的步骤包括：
若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；
若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
可选的，所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤之前，还包括：
使用滑动窗口检测器遍历所述图像，并输出多个图像块；
利用光源分类器识别所述多个图像块中的所述光源。
第二方面，本发明实施例还提供了一种增强现实合拍中的阴影处理设备，包括：
获取模块，用于获取待处理的图像；
阴影检测模块，用于检测所述图像中实体对象的第一阴影；
确定模块，用于根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；
添加模块，用于根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。
可选的，所述第二阴影的参数包括尺寸和方向中的至少之一项；
所述确定模块包括以下至少一项：
尺寸确定单元，用于根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
方向确定单元，用于根据所述第一阴影的方向，确定所述第二阴影的方向。
可选的，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
可选的，所述第二阴影的参数包括灰度值；
所述确定模块包括：
灰度值确定单元，用于根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
可选的，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
可选的，所述第二阴影的参数包括形状；
所述确定模块包括：
形状确定单元，用于根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
可选的，所述添加模块包括：
第一添加单元，用于若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；和/或，
第二添加单元，用于若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
可选的，所述设备还包括：
遍历模块，用于使用滑动窗口检测器遍历所述图像，并输出多个图像块；
识别模块，用于利用光源分类器识别所述多个图像块中的所述光源。
第三方面，本发明实施例还提供了一种增强现实合拍中的阴影处理设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一种增强现实合拍中的阴影处理方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述任一种增强现实合拍中的阴影处理方法的步骤。
本发明实施例，根据待处理图像中实体对象的第一阴影，确定合拍的虚拟对象的第二阴影的参数，并根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的所述第二阴影，从而可以使得所述虚拟对象的第二阴影与所述实体对象的第一阴影从视觉上保持一致，提高AR合拍的真实性。也就是说，本发明实施例通过给虚拟对象增加模拟的现实阴影来增加AR合拍的真实性。
附图说明
图1为本发明实施例中的一种增强现实合拍中的阴影处理方法的流程示意图；
图2为本发明实施例的一种应用场景示意图；
图3为合拍的虚拟对象与实体对象有接触时的阴影示意图；
图4为合拍的虚拟对象与实体对象无接触时的阴影示意图；
图5为本发明实施例推断虚拟对象在真实光源下的阴影所使用的阴影图法示意图；
图6为本发明实施例中的一种增强现实合拍中的阴影处理方法的主要流程示意图；
图7为本发明实施例中的一种增强现实合拍中的阴影处理设备的结构示意图；
图8为本发明实施例中的一种增强现实合拍中的阴影处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明实施例提供的一种增强现实合拍中的阴影处理方法的流程示意图，包括：
101、获取待处理的图像；
所述图像可以是AR合拍机(或称为AR拍摄机)拍摄的照片。具体来说，可以采集用户通过AR合拍机拍摄的照片。AR拍摄机可以对真实世界中的对象(也即真实对象，包括实体对象)进行成像。所述实体对象可以是人体，例如用户，也可以是其他的实体对象，例如毛绒玩具、动物、模型等。
102、检测所述图像中实体对象的第一阴影；
也就是说，检测出所述实体对象的阴影在所述图像中的成像。
103、根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；
104、根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。
本发明实施例中，根据待处理图像中实体对象的第一阴影，确定合拍的虚拟对象的第二阴影的参数，并根据确定出的所述第二阴影的参数在所述图像中添加所述虚拟对象的所述第二阴影，从而可以使得所述虚拟对象的第二阴影与所述实体对象的第一阴影从视觉上保持一致，提高AR合拍的真实性。也就是说，本发明实施例通过给虚拟对象增加模拟的现实阴影来增加AR合拍的真实性。
本发明实施例可以适用于使用AR合拍机在室内进行拍摄的场景，但也并不局限于该场景。
下面举例说明上述增强现实合拍中的阴影处理方法。
可选的，所述第二阴影的参数包括尺寸和方向中的至少之一项；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括以下至少一项：
根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
根据所述第一阴影的方向，确定所述第二阴影的方向。
其中，所述实体对象是现实中的实体对象在所述图像中的成像。
具体来说，请参阅图2，可以通过所述实体对象12的尺寸与所述虚拟对象13的尺寸之间的比例关系，确定所述第一阴影14的尺寸与所述第二阴影的尺寸之间的比例关系，然后根据所述第一阴影14的尺寸确定所述第二阴影的尺寸。例如，先计算实体对象12的高度h实体与虚拟对象13的高度h虚拟比例k，即然后根据比例k和所述第一阴影14的高度(具体来说是所述第一阴影14上与所述实体对象12的高度方向对应方向上的高度)，计算所述第二阴影的高度(具体来说是所述第二阴影上与所述虚拟对象13的高度方向对应方向上的高度)。
具体的，本发明实施例中，所述第二阴影的方向可以与所述第一阴影14的方向保持一致。
进一步可选的，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
本发明实施例中，还可以根据所述图像中光源、实体对象和虚拟对象的相对位置关系调整所述第二阴影的尺寸。具体来说，如果虚拟对象相对实体对象距离光源更近，那么第二阴影的尺寸应该更小，如果虚拟对象相对实体对象距离光源更远，那么第二阴影的尺寸应该更大。
可选的，所述第二阴影的参数包括灰度值；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
具体的，本发明实施例中，第二阴影的灰度值，也即第二阴影的明暗程度可以根据图像中的实体对象和虚拟对象以及光源的相对位置确定。举例来说，请参阅图2，若虚拟对象13距离所述光源11的位置相比实体对象12更近，也即所述虚拟对象13与所述光源11之间的第二距离L2小于所述实体对象12与所述光源11之间的第一距离L1，则第二阴影的灰度值相对增加。
可选的，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
可选的，所述第二阴影的参数包括形状；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
本发明实施例中，可以通过检测真实光源在待处理图像中的成像，推断出真实世界中的光源，再通过几何映射推理出虚拟对象在真实世界中具有的阴影形状，从而进一步从视觉上提高虚拟对象的第二阴影的真实性。另外，由于很难精确建立出所述光源与所述虚拟对象在实际空间中的三维模型，因此还需要根据第一阴影的形状对根据光源和虚拟对象推断出的第二阴影进行调整。
可选的，所述根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影的步骤包括：
若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；
若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
具体来说，如图3所示，如果合拍的虚拟对象与实体对象有接触，那么接触部分的阴影应该重合叠加，也即第一阴影31和第二阴影32部分重叠。如图4所示，如果合拍的虚拟对象42与实体对象41没有接触，那么第一阴影43和第二阴影44无重合。
当然，如果根据第一阴影的方向、第二阴影的方向以及合拍的虚拟对象和实体对象之间的距离，判断第一阴影和第二阴影应该有重合部分，那么也需要对判断出的重合部分进行叠加处理。
本发明实施例可以通过取交集的方式叠加阴影重合部分。
本发明实施例中，在确定出所述第二阴影后，需要根据情况确定是否需要对所述第二阴影进行调整，在确定需要进行调整的情况下对所述第二阴影进行调整，以进一步提高第二阴影的真实性。
可选的，所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤之前，还包括：
使用滑动窗口检测器遍历所述图像，并输出多个图像块；
利用光源分类器识别所述多个图像块中的所述光源。
也即，本发明实施例还包括从所述图像中检测光源的步骤，例如，从图像中检测亮着的灯。
本发明实施例中，可以采用基于深度学习的物体检测算法(例如Fast RCNN)，检测出所述图像中的光源，例如检测出所述图像中的灯。具体来说，首先使用滑动窗口检测器来遍历所述待处理的图像，然后把遍历后输出的小图像块输入到多个分类器。本发明实施例中，可以训练多个不同的分类器来识别所述待处理的图像中的光源。
本发明实施例中，通过检测待处理的图像中的光源，然后根据检测出的光源以及所述图像中的第一阴影等，确定合拍的虚拟对象的第二阴影的参数，从而可以进一步提高虚拟对象的第二阴影和实体对象的第一阴影的一致性，以及虚拟对象的第二阴影的真实性，进而进一步提高合拍的真实性。
本发明实施例可以适用于单光源的场景，当然也可以适用于多光源的场景。在图像中存在多个光源的情况下，可以只考虑光照对阴影的影响最大的一个，也可以综合考虑多个光源。
本发明实施例可以适用于合拍的虚拟对象和实体对象距离较近且深度基本一致的场景，当然也并不局限这种场景。
其他可选的具体实施方式中，可以检测出所述图像中的光源在所述图像中的位置，以及所述光源的深度信息，然后确定所述光源与虚拟对象的相对位置关系，并模拟出所述光源照射所述虚拟对象的三维模型，形成所述虚拟对象的初始第二阴影。再根据所述实体对象和所述实体对象的第一阴影校正所述初始第二阴影的尺寸、灰度值、形状和方向中的至少之一，形成所述第二阴影，以提高所述第一阴影和所述第二阴影的一致性。具体的，请参阅图5，可通过阴影图法推断出虚拟对象在真实的所述光源21下产生的阴影，其中，三角形ABC指代所述虚拟对象的三维模型，三角形DEF为所述虚拟对象(三角形ABC)在地面上的阴影。光源与虚拟对象的三维模型之间的距离和所述阴影满足固定比例关系，即其中d为光源与虚拟对象的三维模型之间的距离，/>为比例系数。
本发明实施例中，可以通过检测真实光源在待处理图像中的成像，推断出真实世界中的光源，再通过几何映射推理出虚拟对象在真实世界中具有的阴影形状，从而进一步从视觉上提高虚拟对象的第二阴影的真实性。
请参阅图6，本发明实施例提供的增强现实合拍中的阴影处理方法主要包括以下流程：
201、获取待处理的图像，具体来说，可以是采集用户通过AR合拍机拍摄的照片；
202、检测光源，具体来说是检测真实光源在所述图像中的成像；
203、推断虚拟对象的阴影；
204、对虚拟对象的阴影进行调整，具体来说是对所述虚拟对象的阴影上与实体对象阴影重叠的部分进行叠加处理；
205、完成虚拟对象的阴影合成。
请参阅图7，图7是本发明实施例提供的一种增强现实合拍中的阴影处理设备的结构示意图，该增强现实合拍中的阴影处理设备包括：
获取模块301，用于获取待处理的图像；
阴影检测模块302，用于检测所述图像中实体对象的第一阴影；
确定模块303，用于根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；
添加模块304，用于根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。
其中，所述增强现实合拍中的阴影处理设备可以是AR合拍机(或称为AR拍摄机)。
本发明实施例中，根据待处理图像中实体对象的第一阴影，确定合拍的虚拟对象的第二阴影的参数，并根据确定出的所述第二阴影的参数在所述图像中添加所述虚拟对象的所述第二阴影，从而可以使得所述虚拟对象的第二阴影与所述实体对象的第一阴影从视觉上保持一致，提高AR合拍的真实性。也就是说，本发明实施例通过给虚拟对象增加模拟的现实阴影来增加AR合拍的真实性。
可选的，所述第二阴影的参数包括尺寸和方向中的至少之一项；
所述确定模块303包括以下至少一项：
尺寸确定单元，用于根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
方向确定单元，用于根据所述第一阴影的方向，确定所述第二阴影的方向。
可选的，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
可选的，所述第二阴影的参数包括灰度值；
所述确定模块303包括：
灰度值确定单元，用于根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
可选的，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
可选的，所述第二阴影的参数包括形状；
所述确定模块303包括：
形状确定单元，用于根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
可选的，所述添加模块304包括：
第一添加单元，用于若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；和/或，
第二添加单元，用于若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
可选的，所述设备还包括：
遍历模块，用于使用滑动窗口检测器遍历所述图像，并输出多个图像块；
识别模块，用于利用光源分类器识别所述多个图像块中的所述光源。
本发明实施例是与上述方法实施例对应的产品实施例，且能够实现同样的技术效果，为避免重复，这里不再赘述，详细请参阅上述方法实施例。
请参考图8，图8为本发明实施例提供的一种增强现实合拍中的阴影处理设备的结构示意图，该增强现实合拍中的阴影处理设备400包括处理器401、存储器402以及存储在存储器402上并可在所述处理器401上运行的计算机程序，该计算机程序被处理器401执行时实现如下步骤：
获取待处理的图像；
检测所述图像中实体对象的第一阴影；
根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；
根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影。
本发明实施例中，根据待处理图像中实体对象的第一阴影，确定合拍的虚拟对象的第二阴影的参数，并根据确定出的所述第二阴影的参数在所述图像中添加所述虚拟对象的所述第二阴影，从而可以使得所述虚拟对象的第二阴影与所述实体对象的第一阴影从视觉上保持一致，提高AR合拍的真实性。也就是说，本发明实施例通过给虚拟对象增加模拟的现实阴影来增加AR合拍的真实性。
可选的，所述第二阴影的参数包括尺寸和方向中的至少之一项；计算机程序被处理器401执行时还可实现如下步骤：
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括以下至少一项：
根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
根据所述第一阴影的方向，确定所述第二阴影的方向。
可选的，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
可选的，所述第二阴影的参数包括灰度值；计算机程序被处理器401执行时还可实现如下步骤：
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
可选的，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
可选的，所述第二阴影的参数还包括形状；计算机程序被处理器401执行时还可实现如下步骤：
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
可选的，计算机程序被处理器401执行时还可实现如下步骤：
所述根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影的步骤包括：
若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；
若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
可选的，计算机程序被处理器401执行时还可实现如下步骤：
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤之前，还包括：
使用滑动窗口检测器遍历所述图像，并输出多个图像块；
利用光源分类器识别所述多个图像块中的所述光源。
该增强现实合拍中的阴影处理设备能够实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述，详细请参阅上述方法实施例。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (9)
1.一种增强现实合拍中的阴影处理方法，其特征在于，包括：
获取待处理的图像；
检测所述图像中实体对象的第一阴影；
根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数；所述第二阴影的参数包括形状；
根据确定的所述第二阴影的参数，在所述图像中添加所述虚拟对象的第二阴影，包括：
若合拍的所述虚拟对象与所述实体对象有接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置，并根据所述虚拟对象与所述实体对象接触的部位，对所述第二阴影与所述第一阴影进行部分叠加处理；
若合拍的所述虚拟对象与所述实体对象无接触，则将根据所述参数确定的所述第二阴影，添加至与所述虚拟对象对应的位置。
2.根据权利要求1所述的方法，其特征在于，所述第二阴影的参数包括尺寸和方向中的至少之一项；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括以下至少一项：
根据第一信息确定所述第二阴影的尺寸，所述第一信息包括所述第一阴影的尺寸、所述实体对象的尺寸和所述虚拟对象的尺寸；
根据所述第一阴影的方向，确定所述第二阴影的方向。
3.根据权利要求2所述的方法，其特征在于，所述第一信息还包括以下至少一项：
所述图像中的光源与所述实体对象的相对位置关系；
所述图像中的光源与所述虚拟对象的相对位置关系。
4.根据权利要求1所述的方法，其特征在于，所述第二阴影的参数包括灰度值；
所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第二信息确定所述第二阴影的灰度值，所述第二信息包括：所述图像中的光源与所述实体对象之间的第一距离、所述图像中的光源与所述虚拟对象之间的第二距离以及所述第一阴影的灰度值。
5.根据权利要求4所述方法，其特征在于，所述第二阴影的灰度值是根据以下公式计算得到：
其中，g为所述第二阴影的灰度值，Δ为动态调整值，d为所述第二距离，D为所述第一距离，G为所述第一阴影的灰度值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤包括：
根据第三信息确定所述第二阴影的形状，所述第三信息包括：所述第一阴影的形状、所述图像中的光源与所述虚拟对象的相对位置关系以及所述虚拟对象。
7.根据权利要求1、3或4所述的方法，其特征在于，所述根据所述第一阴影，确定合拍的虚拟对象的第二阴影的参数的步骤之前，还包括：
使用滑动窗口检测器遍历所述图像，并输出多个图像块；
利用光源分类器识别所述多个图像块中的所述光源。
8.一种增强现实合拍中的阴影处理设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的增强现实合拍中的阴影处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的增强现实合拍中的阴影处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232174.6A CN111462295B (zh) | 2020-03-27 | 2020-03-27 | 增强现实合拍中的阴影处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232174.6A CN111462295B (zh) | 2020-03-27 | 2020-03-27 | 增强现实合拍中的阴影处理方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462295A CN111462295A (zh) | 2020-07-28 |
| CN111462295B true CN111462295B (zh) | 2023-09-05 |
Family
ID=71679783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010232174.6A Active CN111462295B (zh) | 2020-03-27 | 2020-03-27 | 增强现实合拍中的阴影处理方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462295B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710429A (zh) * | 2009-10-12 | 2010-05-19 | 湖南大学 | 一种基于动态light map的增强现实系统光照算法 |
| CN102696057A (zh) * | 2010-03-25 | 2012-09-26 | 比兹摩德莱恩有限公司 | 增强现实系统 |
| JP2014006658A (ja) * | 2012-06-22 | 2014-01-16 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
| CN103700134A (zh) * | 2013-12-24 | 2014-04-02 | 四川川大智胜软件股份有限公司 | 基于可控制纹理烘焙的三维矢量模型实时光影延迟着色渲染方法 |
| CN105518746A (zh) * | 2014-12-24 | 2016-04-20 | 英特尔公司 | 混合请求式图形转换表阴影化 |
| CN106504103A (zh) * | 2016-10-31 | 2017-03-15 | 北京小米移动软件有限公司 | 建立好友关系的方法及装置 |
| CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| WO2017205294A1 (en) * | 2016-05-26 | 2017-11-30 | Dental Smartmirror, Inc. | A dental mirror with an integrated camera, and applications thereof |
| CN107465850A (zh) * | 2016-06-03 | 2017-12-12 | 王建文 | 虚拟现实系统 |
| CN107492144A (zh) * | 2017-07-12 | 2017-12-19 | 联想(北京)有限公司 | 光影处理方法及电子设备 |
| CN107509021A (zh) * | 2017-07-18 | 2017-12-22 | 咪咕文化科技有限公司 | 一种拍摄方法、装置及存储介质 |
| CN107895330A (zh) * | 2017-11-28 | 2018-04-10 | 特斯联（北京）科技有限公司 | 一种面向智慧旅游实现场景构建的游客服务平台 |
| CN108010118A (zh) * | 2017-11-28 | 2018-05-08 | 网易（杭州）网络有限公司 | 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备 |
| CN108525298A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108564619A (zh) * | 2018-04-25 | 2018-09-21 | 厦门大学 | 一种基于两张照片的真实感三维人脸重建方法 |
| CN108986203A (zh) * | 2018-07-23 | 2018-12-11 | 太平洋未来科技（深圳）有限公司 | 阴影效果的确定方法、装置及电子设备 |
| CN109302632A (zh) * | 2018-10-18 | 2019-02-01 | 广州酷狗计算机科技有限公司 | 获取直播视频画面的方法、装置、终端及存储介质 |
| CN109993823A (zh) * | 2019-04-11 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 阴影渲染方法、装置、终端及存储介质 |
| CN110889892A (zh) * | 2018-09-11 | 2020-03-17 | 财团法人资讯工业策进会 | 影像处理方法与影像处理装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7113633B2 (en) * | 2001-07-02 | 2006-09-26 | Photoinaphoto.Com, Inc. | System and method for discovering and categorizing attributes of a digital image |
| US9901829B2 (en) * | 2008-07-15 | 2018-02-27 | Pamela Barber | Digital imaging method and apparatus |
-
2020
- 2020-03-27 CN CN202010232174.6A patent/CN111462295B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710429A (zh) * | 2009-10-12 | 2010-05-19 | 湖南大学 | 一种基于动态light map的增强现实系统光照算法 |
| CN102696057A (zh) * | 2010-03-25 | 2012-09-26 | 比兹摩德莱恩有限公司 | 增强现实系统 |
| JP2014006658A (ja) * | 2012-06-22 | 2014-01-16 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
| CN103700134A (zh) * | 2013-12-24 | 2014-04-02 | 四川川大智胜软件股份有限公司 | 基于可控制纹理烘焙的三维矢量模型实时光影延迟着色渲染方法 |
| CN105518746A (zh) * | 2014-12-24 | 2016-04-20 | 英特尔公司 | 混合请求式图形转换表阴影化 |
| WO2017205294A1 (en) * | 2016-05-26 | 2017-11-30 | Dental Smartmirror, Inc. | A dental mirror with an integrated camera, and applications thereof |
| CN107465850A (zh) * | 2016-06-03 | 2017-12-12 | 王建文 | 虚拟现实系统 |
| CN106504103A (zh) * | 2016-10-31 | 2017-03-15 | 北京小米移动软件有限公司 | 建立好友关系的方法及装置 |
| CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107492144A (zh) * | 2017-07-12 | 2017-12-19 | 联想(北京)有限公司 | 光影处理方法及电子设备 |
| CN107509021A (zh) * | 2017-07-18 | 2017-12-22 | 咪咕文化科技有限公司 | 一种拍摄方法、装置及存储介质 |
| CN107895330A (zh) * | 2017-11-28 | 2018-04-10 | 特斯联（北京）科技有限公司 | 一种面向智慧旅游实现场景构建的游客服务平台 |
| CN108010118A (zh) * | 2017-11-28 | 2018-05-08 | 网易（杭州）网络有限公司 | 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备 |
| CN108525298A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108564619A (zh) * | 2018-04-25 | 2018-09-21 | 厦门大学 | 一种基于两张照片的真实感三维人脸重建方法 |
| CN108986203A (zh) * | 2018-07-23 | 2018-12-11 | 太平洋未来科技（深圳）有限公司 | 阴影效果的确定方法、装置及电子设备 |
| WO2020019133A1 (zh) * | 2018-07-23 | 2020-01-30 | 太平洋未来科技（深圳）有限公司 | 阴影效果的确定方法、装置及电子设备 |
| CN110889892A (zh) * | 2018-09-11 | 2020-03-17 | 财团法人资讯工业策进会 | 影像处理方法与影像处理装置 |
| CN109302632A (zh) * | 2018-10-18 | 2019-02-01 | 广州酷狗计算机科技有限公司 | 获取直播视频画面的方法、装置、终端及存储介质 |
| CN109993823A (zh) * | 2019-04-11 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 阴影渲染方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462295A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| US10229483B2 (en) | Image processing apparatus and image processing method for setting an illumination environment | |
| US20180308281A1 (en) | 3-d graphic generation, artificial intelligence verification and learning system, program, and method | |
| CN108205797A (zh) | 一种全景视频融合方法及装置 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| JP2008535116A (ja) | ３次元レンダリング用の方法及び装置 | |
| CN106997618A (zh) | 一种虚拟现实与真实场景融合的方法 | |
| CN106372629A (zh) | 一种活体检测方法和装置 | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| CN113657357B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112836634B (zh) | 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质 | |
| CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN107293162A (zh) | 运动教学辅助方法及装置、终端设备 | |
| CN115909268A (zh) | 一种动态障碍物检测方法及装置 | |
| Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
| CN106981100A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| JP6770208B2 (ja) | 情報処理装置 | |
| CN111462295B (zh) | 增强现实合拍中的阴影处理方法、设备及存储介质 | |
| CN113160210A (zh) | 基于深度相机的排水管道缺陷检测方法及装置 | |
| CN117880994A (zh) | 一种基于Wi-Fi感知的多模态虚实融合方法及装置 | |
| CN112818932A (zh) | 图像处理方法、障碍物检测方法、装置、介质及车辆 | |
| CN116912393A (zh) | 人脸重建方法、装置、电子设备及可读存储介质 | |
| CN116958393A (zh) | 一种增量式图像渲染方法及装置 | |
| CN112926498B (zh) | 基于多通道融合和深度信息局部动态生成的活体检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |