CN112633372B - 一种ar设备的光源估计方法和装置 - Google Patents

一种ar设备的光源估计方法和装置 Download PDF

Info

Publication number
CN112633372B
CN112633372B CN202011525309.4A CN202011525309A CN112633372B CN 112633372 B CN112633372 B CN 112633372B CN 202011525309 A CN202011525309 A CN 202011525309A CN 112633372 B CN112633372 B CN 112633372B
Authority
CN
China
Prior art keywords
shadow
point
light source
shadows
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011525309.4A
Other languages
English (en)
Other versions
CN112633372A (zh
Inventor
郝冬宁
沈国桃
朱晓莉
黄强
吴龙海
陈洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202011525309.4A priority Critical patent/CN112633372B/zh
Publication of CN112633372A publication Critical patent/CN112633372A/zh
Priority to PCT/KR2021/019510 priority patent/WO2022139411A1/en
Application granted granted Critical
Publication of CN112633372B publication Critical patent/CN112633372B/zh
Priority to US18/213,073 priority patent/US20230334819A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种AR设备的光源估计方法，在单光源或只有一个主光源的场景下存在多个物体，所述方法包括：采集间距大于设定距离的两帧图像；对所述两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；根据物体及其对应阴影的位置关系，确定光源位置。应用本申请，能够提高光源位置预测的准确性。

Description

一种AR设备的光源估计方法和装置
技术领域
本申请涉及图像处理技术，特别涉及一种AR设备的光源估计方法和装置。
背景技术
现有光源估计技术分为两大类：
1.通过图片的亮度和颜色计算出虚拟物体整体亮度和色温；这种方法可以提供高质量的环境反射效果，但无法预测光源方向，所以渲染出的虚拟物体的影子方向是错误的(如图1所示)；
2.通过机器学习预测出环境贴图和光源方向；这种方法可以提供高质量的环境反射效果，但是光源方向的预测精度低，尤其当光源处于视角范围之外的场景(如图2所示)。
由上述可见，现有的光源估计方法无法解决视角外光源位置精确预测的问题。
目前针对AR场景下的光源位置预测主要分为以下两个方面：
1.通过多传感器标定和融合，加上图像的区域纹理分析来预测出光源位置，此方法对设备的数量和布局要求较高；
2.通过使用镜面反射球配合光线追踪来预测出光源位置，此方法对于参照物的特点要求较高。
发明内容
本申请提供一种AR设备的光源估计方法和装置，能够提高光源位置预测的准确性。
为实现上述目的，本申请采用如下技术方案：
一种AR设备的光源估计方法，在单光源或只有一个主光源的场景下存在多个物体，所述方法包括：
采集间距大于设定距离的两帧图像；
对所述两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；
获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；
将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；
根据物体及其对应阴影的位置关系，确定光源位置。
较佳地，所述根据物体及其对应阴影的位置关系确定光源位置包括：
对于每个物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
较佳地，所述对所述两帧图像进行阴影检测包括：
将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到所述灰度图片中的阴影。
较佳地，所述确定阴影的点云信息包括：
将阴影的像素特征点映射回帧图像，并用唯一描述子来表示每个特征点；
对于所述两帧图像，通过所述描述子的匹配，确定所述两帧图像中阴影像素特征点的映射关系，并根据空间映射，得到所述阴影像素特征点在3D空间中的位置作为所述阴影的点云信息。
较佳地，所述根据空间映射得到所述阴影像素特征点在3D空间中的位置包括：
根据采集所述两帧图像时的采集设备位姿Pose1、Pose2和对应阴影像素特征点的像素坐标p1、p2，通过三角测量确定所述阴影像素特征点在3D空间中的位置。
较佳地，所述通过所述点云信息区分不同物体的点云包括：
通过聚类将所有点云中属于单个物体的点云划分为一类，属于不同物体的点云划分为不同类。
较佳地，所述将所述不同阴影的点云和所述不同物体的点云进行匹配确定各个不同物体对应的阴影包括：
对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足
Figure BDA0002850611630000021
的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，所述i为物体参考点和阴影参考点组合的索引。
一种AR设备的光源估计装置，在单光源或只有一个主光源的场景下存在多个物体，所述装置包括：图像采集单元、阴影检测单元、物体区分单元、阴影匹配单元和光源估计单元；
所述图像采集单元，用于采集间距大于设定距离的两帧图像；
所述阴影检测单元，用于对所述两帧图像进行阴影检测，并提取阴影的像素特征点，确定阴影的点云信息，区分不同阴影的点云；
所述物体区分单元，用于获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；
所述阴影匹配单元，用于将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；
所述光源估计单元，用于根据物体及其对应阴影的位置关系，确定光源位置。
较佳地，所述光源估计单元根据物体及其对应阴影的位置关系确定光源位置的方式包括：对于任一所述物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
较佳地，所述阴影检测单元对所述两帧图像进行阴影检测包括：
将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到所述灰度图片中的阴影。
较佳地，所述阴影检测单元确定阴影的点云信息包括：
将阴影的像素特征点映射回帧图像，并用唯一描述子来表示每个特征点；
对于所述两帧图像，通过所述描述子的匹配，确定所述两帧图像中阴影像素特征点的映射关系，并根据空间映射，得到所述阴影像素特征点在3D空间中的位置作为所述阴影的点云信息。
较佳地，所述阴影检测单元根据空间映射得到所述阴影像素特征点在3D空间中的位置包括：
根据采集所述两帧图像时的采集设备位姿Pose1、Pose2和对应阴影像素特征点的像素坐标p1、p2，通过三角测量确定所述阴影像素特征点在3D空间中的位置。
较佳地，所述物体区分单元通过所述点云信息区分不同物体的点云包括：
通过聚类将所有点云中属于单个物体的点云划分为一类，属于不同物体的点云划分为不同类。
较佳地，所述阴影匹配单元将所述不同阴影的点云和所述不同物体的点云进行匹配确定各个不同物体对应的阴影包括：
对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足
Figure BDA0002850611630000041
的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，所述i为物体参考点和阴影参考点组合的索引。
由上述技术方案可见，本申请中，在单光源或只有一个主光源的场景下存在多个物体，采集间距大于设定距离的两帧图像；对该两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；获取多个物体的点云信息，并通过点云信息区分不同物体的点云；将不同阴影的点云和不同物体的点云进行匹配，确定各个不同物体对应的阴影；对于每个物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。通过上述处理，能够利用一个光源/主光源对多个物体照射后，物体和阴影间连线的相互关系准确确定出光源位置，从而提高光源估计的准确性。
附图说明
图1为现有第一类光源估计方法的效果示意图；
图2为现有第二类光源估计方法的效果示意图；
图3为本申请中光源估计方法的基本流程是意图；
图4为本申请中灰度图片中阴影的示意图；
图5为本申请中阴影像素特征点的映射关系示意图；
图6为本申请中确定阴影的点云信息示意图；
图7为对不同物体通过聚类进行区分的示意图；
图8为确定物体及其对应阴影的示意图；
图9为利用至少两条射线确定光源位置和方向的示意图；
图10为利用一条射线和光照估计模型确定光源位置和方向的示意图；
图11为本申请中光源估计装置的基本结构示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
针对上述背景技术中提到的问题并且基于实际的用户场景，本申请致力于解决特定场景下光源位置预测精度低的问题，适用场景具体描述如下：
(1)基于室内单光源或者只有一个主光源，且；
(2)当前场景下有多个真实物体(>＝2)并且都配有真实的影子，且；
(3)光源在视野外(视野内同样适用)。
申请人提出上述场景的依据如下：
(1)考虑到用户实际使用的场景多为家庭室内场景，光源较少；
(2)实际场景下会有多个真实物体，一个都没有的概率较低；
(3)用户在将虚拟物体摆放在桌面、地面等平面时，不可能同时盯着上方的灯，即光源很大概率是在视野外。
本申请采用了一种基于物体阴影的方式预测光源位置。图3为本申请提供的AR设备的光源位置估计方法的基本流程示意图。如图3所示，该方法包括：
步骤301，采集间距大于设定距离的两帧图像。
采集一定位置差距的两帧图像。具体采集方式可以是在两个不同位置进行拍照，或者在AR设备移动过程中，获取一定位置差距的两帧视频帧图像。获取的图像通常为彩色图片，在本发明实施例中，所述“彩色图片”无需固定格式，可以通过含有摄像头的设备实时拍摄，可以是录制视频中的帧画面。
步骤302，对步骤301采集的两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云。
对两帧图像进行阴影检测的处理可以包括：将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到灰度图片中的阴影，如图4所示的黑白图，白色表示阴影区域。
进行阴影检测后生成阴影的像素特征点，具体可以通过计算机图像学的方法生成。
在确定阴影的点云信息时，可以将阴影的像素特征点映射回步骤101采集的帧图像，并用唯一描述子来表示每个阴影像素特征点；对于两帧图像，通过描述子的匹配，确定两帧图像中阴影像素特征点的映射关系，如图5所示。接下来，根据空间映射，得到阴影像素特征点在3D空间中的位置作为阴影的点云信息。
具体在进行空间映射时，优选地，如图6所示，可以根据采集两帧图像时的眼镜位姿Pose1、Pose2和对应点的像素坐标p1、p2，通过三角测量确定阴影像素特征点在3D空间中的位置。
步骤303，获取多个物体的点云信息，并通过点云信息区分不同物体的点云。
本步骤中可以通过空间定位，得到场景中物体的点云信息，并通过聚类将所有点云对应不同的物体进行分类，即属于单个物体的所有点云划分为一类，如图7所示。
步骤304，将不同阴影的点云和不同物体的点云进行匹配，确定各个不同物体对应的阴影。
通过最优匹配得到所述阴影点云和物体点云的映射关系。
优选地，如图8所示，可以对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足
Figure BDA0002850611630000061
的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，i为物体参考点和阴影参考点组合的索引。
步骤305，根据物体及其对应阴影的位置关系，确定光源位置。
具体地，可以对于每个物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线。
更详细地，可以选择每个物体的中心顶部点作为参考点Oi，设阴影区域内的点S'i_j(i:物体&阴影组合的索引，j:阴影区域的边缘特征点)，遍历Oi与所有S'i_j的距离，找寻距离Oi距离最远的S'i_j。从S'i_j发出一条经过Oi的射线。
在最终确定光源位置时可以采用两种方式：
1、利用至少上述两条射线即可通过类似三角测量的方法完成光源位置的计算。具体地，确定至少两组物体和阴影组合，将该至少两个组合的射线的交汇处确定为光源位置，如图9所示；
2、可以利用上述一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置，如图10所示。
至此，本申请中的光源估计方法流程结束。如上所述，本申请给出了一种AR场景下基于物体阴影的光源估计方法，对场景中的物体进行阴影检测，结合AR场景下相机当前的位姿对每一帧图像进行光照预测，从而得到准确的环境光照方向和位置预测结果。
上述即为本申请中光源估计方法的具体实现。本申请还提供了一种光源估计装置，可以用于实施上述本申请的方法。图11为光源估计装置的结构示意图。如图11所示，该装置包括：图像采集单元、阴影检测单元、物体区分单元、阴影匹配单元和光源估计单元。
其中，图像采集单元，用于采集间距大于设定距离的两帧图像。阴影检测单元，用于对两帧图像进行阴影检测，并提取阴影的像素特征点，确定阴影的点云信息，区分不同阴影的点云。物体区分单元，用于获取多个物体的点云信息，并通过点云信息区分不同物体的点云。阴影匹配单元，用于将不同阴影的点云和不同物体的点云进行匹配，确定各个不同物体对应的阴影。光源估计单元，用于对于任一物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种AR设备的光源估计方法，其特征在于，在单光源或只有一个主光源的场景下存在多个物体，所述方法包括：
采集间距大于设定距离的两帧图像；
对所述两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；
获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；
将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；
根据物体及其对应阴影的位置关系，确定光源位置；
其中，所述确定阴影的点云信息包括：
将阴影的像素特征点映射回帧图像，并用唯一描述子来表示每个特征点；
对于所述两帧图像，通过所述描述子的匹配，确定所述两帧图像中阴影像素特征点的映射关系，并根据空间映射，得到所述阴影像素特征点在3D空间中的位置作为所述阴影的点云信息。
2.根据权利要求1所述的方法，其特征在于，所述根据物体及其对应阴影的位置关系确定光源位置包括：
对于每个物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述两帧图像进行阴影检测包括：
将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到所述灰度图片中的阴影。
4.根据权利要求1或2所述的方法，其特征在于，所述根据空间映射得到所述阴影像素特征点在3D空间中的位置包括：
根据采集所述两帧图像时的采集设备位姿Pose1、Pose2和对应阴影像素特征点的像素坐标p1、p2，通过三角测量确定所述阴影像素特征点在3D空间中的位置。
5.根据权利要求1或2所述的方法，其特征在于，所述通过所述点云信息区分不同物体的点云包括：
通过聚类将所有点云中属于单个物体的点云划分为一类，属于不同物体的点云划分为不同类。
6.根据权利要求1或2所述的方法，其特征在于，所述将所述不同阴影的点云和所述不同物体的点云进行匹配确定各个不同物体对应的阴影包括：
对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足
Figure FDA0003888393620000021
的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，所述i为物体参考点和阴影参考点组合的索引。
7.一种AR设备的光源估计装置，其特征在于，在单光源或只有一个主光源的场景下存在多个物体，所述装置包括：图像采集单元、阴影检测单元、物体区分单元、阴影匹配单元和光源估计单元；
所述图像采集单元，用于采集间距大于设定距离的两帧图像；
所述阴影检测单元，用于对所述两帧图像进行阴影检测，并提取阴影的像素特征点，确定阴影的点云信息，区分不同阴影的点云；其中，所述确定阴影的点云信息包括：将阴影的像素特征点映射回帧图像，并用唯一描述子来表示每个特征点；对于所述两帧图像，通过所述描述子的匹配，确定所述两帧图像中阴影像素特征点的映射关系，并根据空间映射，得到所述阴影像素特征点在3D空间中的位置作为所述阴影的点云信息；
所述物体区分单元，用于获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；
所述阴影匹配单元，用于将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；
所述光源估计单元，用于根据物体及其对应阴影的位置关系，确定光源位置。
8.根据权利要求7所述的装置，其特征在于，所述光源估计单元根据物体及其对应阴影的位置关系确定光源位置的方式包括：对于任一所述物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
9.根据权利要求7或8所述的装置，其特征在于，所述阴影检测单元对所述两帧图像进行阴影检测包括：
将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到所述灰度图片中的阴影。
10.根据权利要求7或8所述的装置，其特征在于，所述阴影检测单元根据空间映射得到所述阴影像素特征点在3D空间中的位置包括：
根据采集所述两帧图像时的采集设备位姿Pose1、Pose2和对应阴影像素特征点的像素坐标p1、p2，通过三角测量确定所述阴影像素特征点在3D空间中的位置。
11.根据权利要求7或8所述的装置，其特征在于，所述物体区分单元通过所述点云信息区分不同物体的点云包括：
通过聚类将所有点云中属于单个物体的点云划分为一类，属于不同物体的点云划分为不同类。
12.根据权利要求7或8所述的装置，其特征在于，所述阴影匹配单元将所述不同阴影的点云和所述不同物体的点云进行匹配确定各个不同物体对应的阴影包括：
对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足
Figure FDA0003888393620000031
的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，所述i为物体参考点和阴影参考点组合的索引。
CN202011525309.4A 2020-12-22 2020-12-22 一种ar设备的光源估计方法和装置 Active CN112633372B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011525309.4A CN112633372B (zh) 2020-12-22 2020-12-22 一种ar设备的光源估计方法和装置
PCT/KR2021/019510 WO2022139411A1 (en) 2020-12-22 2021-12-21 Illuminant estimation method and apparatus for electronic device
US18/213,073 US20230334819A1 (en) 2020-12-22 2023-06-22 Illuminant estimation method and apparatus for electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011525309.4A CN112633372B (zh) 2020-12-22 2020-12-22 一种ar设备的光源估计方法和装置

Publications (2)

Publication Number Publication Date
CN112633372A CN112633372A (zh) 2021-04-09
CN112633372B true CN112633372B (zh) 2023-03-24

Family

ID=75320572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011525309.4A Active CN112633372B (zh) 2020-12-22 2020-12-22 一种ar设备的光源估计方法和装置

Country Status (3)

Country Link
US (1) US20230334819A1 (zh)
CN (1) CN112633372B (zh)
WO (1) WO2022139411A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156937B (zh) * 2013-05-15 2017-08-11 株式会社理光 阴影检测方法和装置
US10049489B2 (en) * 2015-03-03 2018-08-14 Imagination Technologies Limited Systems and methods for soft shadowing in 3-D rendering
JP6736257B2 (ja) * 2015-04-02 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3540697A1 (en) * 2018-03-13 2019-09-18 Thomson Licensing Method and apparatus for processing a 3d scene
JP2020123823A (ja) * 2019-01-30 2020-08-13 クラリオン株式会社 異常画像領域推定装置及び異常画像領域推定方法
CN111145341B (zh) * 2019-12-27 2023-04-28 陕西职业技术学院 一种基于单光源的虚实融合光照一致性绘制方法

Also Published As

Publication number Publication date
US20230334819A1 (en) 2023-10-19
WO2022139411A1 (en) 2022-06-30
CN112633372A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
AU2011301774B2 (en) A method for enhancing depth maps
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
US20180357819A1 (en) Method for generating a set of annotated images
CN103162682B (zh) 基于混合现实的室内路径导航方法
CN112634125B (zh) 一种基于离线人脸数据库的自动面部替换方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
JP2000020728A (ja) 画像処理装置及び方法
JP7279848B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN112149348A (zh) 一种基于无人货柜场景的仿真空间模型训练数据生成方法
CN112465778A (zh) 一种水下鱼群观测装置及方法
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
CN112308776B (zh) 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112633372B (zh) 一种ar设备的光源估计方法和装置
CN110910497B (zh) 实现增强现实地图的方法和系统
CN114998390B (zh) 一种面向嵌入式智能摄像机的视觉分析系统与方法
CN112102347B (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法
CN114663344A (zh) 一种基于图像融合的列车轮对踏面缺陷识别方法及装置
KR20130143405A (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
US20220292811A1 (en) Image processing device, image processing method, and program
CN118089674B (zh) 一种基于夜间影像的距离及方位测量系统
RU2803287C1 (ru) Способ получения набора объектов трехмерной сцены
WO2024061238A1 (zh) 一种估计手柄位姿的方法及虚拟显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant