CN106840389A - 基于多个圆球的光源估测方法和装置、智能电子设备 - Google Patents

基于多个圆球的光源估测方法和装置、智能电子设备 Download PDF

Info

Publication number
CN106840389A
CN106840389A CN201611258630.4A CN201611258630A CN106840389A CN 106840389 A CN106840389 A CN 106840389A CN 201611258630 A CN201611258630 A CN 201611258630A CN 106840389 A CN106840389 A CN 106840389A
Authority
CN
China
Prior art keywords
ball
light source
lambert
point
umbilical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611258630.4A
Other languages
English (en)
Inventor
仇璐
张绍谦
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201611258630.4A priority Critical patent/CN106840389A/zh
Publication of CN106840389A publication Critical patent/CN106840389A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4247—Photometry, e.g. photographic exposure meter using electric radiation detectors for testing lamps or other light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于多个圆球的光源估测方法和装置、以及电子设备。所述方法包括：从图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；对图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；对朗伯体球的可视部分的球面点分别构建光照方程，用光照方程构成超定方程组，求解得到环境光的强度和自发光光源的强度。本发明提供了一种新的光源估测方法。

Description

基于多个圆球的光源估测方法和装置、智能电子设备
技术领域
本发明涉及虚拟现实技术，更具体地，涉及基于多个圆球的光源估测方法、基于多个圆球的光源估测装置、以及电子设备。
背景技术
计算机视觉的基本任务之一，就是从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。摄像机标定方法，是在摄像机前放已知形状和尺寸的物体，该物体称之为标定物，对摄像机拍摄的标定物图像进行处理，利用数学方法，求取摄像机模型的内部参数和外部参数。
空间点X可以通过摄像机P投影到图像平面的图像点Y＝PV,这种投影关系称为摄像机的正向投影。反向投影是针对图像平面的基本几何元素而言的，图像平面点Y的反投影是指在摄像机P的作用下具有像点Y的所有空间点的集合，在几何上，图像点Y的反投影是从摄像机光心发出并通过图像点Y的一条射线。
增强现实技术是在虚拟现实技术的基础上发展起来的。虚拟现实技术已经在多个行业领域得到研究和使用，相关的虚拟现实头戴产品也纷纷出现，丰富了人们的生活。虚拟现实技术的弊端是仿真场景和客观存在环境的完全分离。使用者容易感觉到仿真物体的纹理和光线的虚假。
增强现实可以将电子声音、仿真图像、虚拟光线等保持各自的表现形式，并将这些内容添加到虚拟现实中，提高虚拟物的真实感。为了将现实世界的光线渲染到虚拟环境中，依据现实世界的光情况调节虚拟物的亮度明暗变化和投影阴影变化，需要对光源进行估测。
现有的三维多光源估测方法需要对场景里的物体进行平面和曲面的划分，算法比较复杂。也有利用朗伯体球估计光源的方法，但首先要划分不同光源照射的作用区域，光源线通常很模糊，难找准确，实验条件苛刻。
发明内容
本发明的目的在于提供一种新的基于多个圆球的光源估测方案。
根据本发明的第一方面，提供了一种基于多个圆球的光源估测方法，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述方法包括以下步骤：
从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；
根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；
对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；
对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
可选地，检测出的光斑的个数为m；所述光照方程为：
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。
可选地，所述圆球为三个并且排布为三角形；
利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。
可选地，根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
可选地，根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。
可选地，具有所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。
可选地，所述智能电子设备为虚拟现实设备。
根据本发明的第二方面，提供了一种基于多个圆球的光源估测装置，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述装置包括以下模块：
第一检测模块，用于从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；
第一光源计算模块，用于根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；
第二检测模块，用于对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；
第二光源计算模块，用于对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
可选地，所述第一检测模块检测出的光斑的个数为m；所述光照方程为：
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。
可选地，所述圆球为三个并且排布为三角形；所述设备还包括摄像机标定模块；
所述摄像机标定模块，用于利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。
可选地，所述设备还包括计算模块；
所述计算模块，用于根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
可选地，所述计算模块，还用于根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。
本发明提供了一种新的光源估测方法，能够实现对多光源的估测，得到环境光的强度、自发光光源的方向和强度。可选地，本发明利用三个圆球做为摄像机参数标定的标定物和光源估测的参考物，充分利用了圆球的空间坐标，简化了整体方案的复杂度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的基于多个圆球的光源估测方法的流程图。
图2示出了本发明另一实施例提供的基于多个圆球的光源估测方法的流程图。
图3示出了本发明实施例提供的基于多个圆球的光源估测装置的框图。
图4示出了本发明实施例提供的智能电子设备的硬件配置的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
首先说明，本发明中所指的“可视”是指可以被摄像机观测到。本发明中所指的“空间坐标”是指实体空间中的某个点在世界坐标系中的坐标。
参见图1所示，说明本发明实施例提供的基于多个圆球的光源估测方法，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所处估测方法包括以下步骤：
101、从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；
102、根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；
103、对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；
104、对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
本发明实施例的光源估测方法，能够实现对多光源的估测，得到环境光的强度、自发光光源的方向和强度。
参考图2所示，以一个具体的实施例说明本发明提供的基于多个圆球的光源估测方法，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所处估测方法包括以下步骤：
201、获取估测需要的图像，所述图像是通过摄像机对所述多个圆球拍照获得。
202、从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标，所述光斑的个数为m，光斑的个数即为自发光光源的个数。
203、根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线。所述射线是从摄像机光心出发并通过图像平面的光斑中心点。
204、利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向。
所述射线与该镜面反射球具有两个交点，可视部分的交点到摄像机光心的距离小于非可视部分的交点到光心的距离，光斑中心点应该是位于可视部分的交点，根据光斑中心点的空间坐标和该镜面反射球球心的空间坐标可以确定光斑中心点的法线方向，即可以确定光斑中心点的单位法向量。
光斑是自发光光源照射在镜面反射球上形成的区域，光斑比光斑周围的区域更加明亮。所述射线从摄像机光心出发并通过图像平面的光斑中心点，根据射线的方向可以确定摄像机观测该光斑的视线单位向量。根据镜面反射原理，利用视线单位向量、光斑中心点单位法向量、形成该光斑的自发光光源的单位向量的几何关系，可以计算出该自发光光源的单位向量，也就是计算出照射在该镜面反射球上形成该光斑的自发光光源的方向。
205、对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度。朗伯体球表面的亮度由环境光和自发光光源的光照共同决定。
206、对朗伯体球的可视部分的各个球面点分别构建光照方程。
在步骤202中检测出一共有m个自发光光源，针对朗伯体球的可视部分的任意一个球面点构建以下光照方程：
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，本领域技术人员可以根据实际情况设定。I是该球面点的亮度，经由步骤205检测获得。n为该球面点的单位法向量，可根据该球面点的空间坐标和该朗伯体球球心的空间坐标计算得到。Li是第i个自发光光源的单位向量，可以经由步骤204得到。Ia是环境光强度，Id,i是第i个自发光光源的强度，为待求解对象。
由几何空间关系可知，如果n·Li＞0，说明该球面点的单位法向量和该自发光光源的单位向量的夹角在0°到90°之间；如果n·Li＝0，说明该球面点的单位法向量和该自发光光源的单位向量的方向正交，夹角为90度；如果n·Li＜0，说明该球面点的单位法向量和该自发光光源的单位向量的夹角在90°到180°之间。
只有在n·Li＞0的情况下，该第i个自发光光源对该球面点的亮度有贡献。在n·Li≤0的情况下，该第i个自发光光源对该球面点的亮度没有贡献；因此，可以将公式1-1改写为：
207、对朗伯体球的可视部分的各个球面点的光照方程构成的超定方程组求最小二乘解，得到环境光的强度和自发光光源的强度。
本发明利用镜面反射球和朗伯体球进行光源估测，在求解自发光光源的方向时，镜面反射球具有很好的优势，在求解自发光光源的强度时，朗伯体球具有很好的优势，而对于多光源求解，同时使用两种球可以互为补充，求解精度高，实验条件不苛刻。本发明经过上述步骤201-207，可以得到环境光的强度，自发光光源的方向和强度。
将环境光的强度，自发光光源的方向和强度提供给unity/OSG等三维渲染引擎，渲染引擎对虚拟物进行仿真光源照射，在虚拟物的表面形成亮度明暗变化，并将其影子投射在虚拟物的承载面上，提高虚拟物的真实感。另外，可利用计算机视觉单应性变换和相关图像隐藏技术对圆球进行隐藏，增强现实场景的体验感。
在上述步骤201-207中，需要使用摄像机的参数以及球面点的法向量，球面点的法向量可以根据球心的空间坐标和球面点的空间坐标计算得到。本发明可以采用秩一约束下的基于圆球投影的标定方法对摄像机进行标定，以获得摄像机的参数。相比于使用单球投影对摄像机进行标定需要多幅图像，本发明提出了一种摄像机参数标定的方案：在光源估测需要使用的一个镜面反射球和一个朗伯体球的基础上，再增加一个圆球，让这三个圆球排布为三角形，相当于一个标定板，可以确定一个承载平面，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数，并根据图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
从另一个角度看，在本发明的光源估测过程中，不需要添加额外的参考物，而是利用摄像机参数标定使用的圆球进行光源估测，只需要确保三个圆球中至少有一个镜面反射球和一个朗伯体球即可，减少了辅助物。可选地，在全部计算过程(摄像机参数标定和光源估测)中可以只采用三个圆球，对摄像机视角的限制低。可选地，三个圆球作也比较容易隐藏起来，增强用户的体验感。优选地，选用同样大小的圆球，有利于减小计算量。
对于本领域技术人员来说，可以通过硬件方式、软件方式或软硬件结合的方式实现前述基于多个圆球的光源估测方法。基于同一发明构思，参考图3介绍本发明实施例提供的基于多个圆球的光源估测装置，以执行前述基于多个圆球的光源估测方法。
参考图3所示，基于多个圆球的光源估测装置包括第一检测模块11、第一光源计算模块12、第二检测模块13、以及第二光源计算模块14。
第一检测模块11，用于从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标。
第一光源计算模块12，用于根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向。
第二检测模块13，用于对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度。
第二光源计算模块14，用于对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
可选地，第一检测模块检11测出的光斑的个数为m；第二光源计算模块14构建的光照方程为：
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。
对朗伯体球的可视部分的各个球面点的光照方程构成的超定方程组求最小二乘解，得到环境光的强度和各个自发光光源的强度。
可选地，所述圆球为三个并且排布为三角形；所述设备还包括摄像机标定模块；所述摄像机标定模块，用于利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。
可选地，所述设备还包括计算模块；所述计算模块，用于根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
可选地，所述计算模块，还用于根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。
图4是显示可用于实现本发明的实施例的智能电子设备的硬件配置的例子的框图。智能电子设备300包括处理器3010、存储器3020、接口装置3030、通信装置3040、显示装置3050、输入装置3060、扬声器3070、麦克风3080，等等。
存储器3020用于存储指令，所述指令用于控制处理器3010进行操作以执行根据前述任一项所述的基于多个圆球的光源估测方法。
处理器3010例如可以是中央处理器CPU、微处理器MCU等。存储器3020例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置3030例如包括USB接口、耳机接口等。通信装置3040例如能够进行有线或无线通信。显示装置3050例如是液晶显示屏、触摸显示屏等。输入装置3060例如可以包括触摸屏、键盘等。用户可以通过扬声器3070和麦克风3080输入/输出语音信息。
图4所示的智能电子设备例如为虚拟现实设备。图4所示的智能电子设备仅是解释性的，并且决不是为了要限制本发明、其应用或用途。本领域技术人员应当理解，尽管在图4中示出了多个装置，但是，本发明可以仅涉及其中的部分装置。本领域技术人员可以根据本发明所公开方案设计指令，指令如何控制处理器进行操作是本领域公知技术，故在此不再详细描述。
下面以一个具体实施例说明本发明提供的构建增强现实场景的流程：
301、通过摄像机拍摄获得真实场景的图像，在真实场景的一个承载平面上放置有三个作为标定物的圆球，三个圆球排布为三角形，其中包括至少一个镜面反射球和至少一个朗伯体球。
302、利用真实场景图像，按照前述摄像机参数标定方法对摄像机的内外参数进行标定，以获得摄像机的参数，并根据图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。进一步利用三个圆球球心的空间坐标和半径，可以计算出该承载平面上任一点的空间坐标和法向量。
303、利用真实场景图像，按照前述光源估测方法估测真实场景的光照情况。
304、处理器生成虚拟物体。
305、对虚拟物体三维注册，利用摄像机参数将虚拟物体注册在这个承载平面上。在步骤305中，利用步骤302计算出的承载平面上任一点的空间坐标和法向量，可以很容易对虚拟物进行放置点的定位和朝向姿态的确定，完成三维注册。
306、利用步骤303估测出的光源情况，对虚拟物进行仿真光源照射在其表面形成亮度明暗变化，并将其影子投射在承载平面上。
在步骤306中，对虚拟物实现了虚实融合，虚拟物的表面光线变化和真实场景相符，不会使用户觉得虚假。
可以看出，在上述构建增强现实场景的整个过程中，对三个圆球的球心坐标和表面点的空间坐标进行了充分利用，减小了系统的计算量。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可是不是物理上分开的。
另外，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种基于多个圆球的光源估测方法，其特征在于，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述方法包括以下步骤：
从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；
根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；
对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；
对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
2.根据权利要求1所述的方法，其特征在于，检测出的光斑的个数为m；所述光照方程为：
I = k a I a + k d Σ i = 1 m 1 2 I d , i ( | n · L i | + n · L i ) ,
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。
3.根据权利要求1或2任一项所述的方法，其特征在于，所述圆球为三个并且排布为三角形；
利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
5.根据权利要求4所述的方法，其特征在于，根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。
6.一种智能电子设备，其特征在于，具有所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。
7.根据权利要求6所述的智能电子设备，其特征在于，所述智能电子设备为虚拟现实设备。
8.一种基于多个圆球的光源估测装置，其特征在于，所述多个圆球包括至少一个镜面反射球和至少一个朗伯体球，所述装置包括以下模块：
第一检测模块，用于从摄像机对所述多个圆球拍照得到的图像中检测出镜面反射球表面上的光斑，得到光斑中心点在图像平面中的坐标；
第一光源计算模块，用于根据光斑中心点在图像平面中的坐标和摄像机的参数对光斑中心点进行反向投影得到一条射线；利用镜面反射原理，根据所述射线的方向和光斑中心点的法向方向计算自发光光源的方向；
第二检测模块，用于对所述图像中的朗伯体球进行亮度检测，得到朗伯体球的可视部分的球面点的亮度；
第二光源计算模块，用于对朗伯体球的可视部分的球面点分别构建光照方程，对朗伯体球的可视部分的球面点的光照方程构成的超定方程组求解，得到环境光的强度和自发光光源的强度。
9.根据权利要求8所述的设备，其特征在于，所述第一检测模块检测出的光斑的个数为m；所述光照方程为：
I = k a I a + k d Σ i = 1 m 1 2 I d , i ( | n · L i | + n · L i ) ,
其中，ka为环境光漫反射系数，kd是朗伯体球的表面漫反射系数，I是球面点的亮度，Ia是环境光强度，Id,i是第i个自发光光源的强度，n为球面点的单位法向量，Li是第i个自发光光源的单位向量。
10.根据权利要求8或9任一项所述的设备，其特征在于，所述圆球为三个并且排布为三角形；所述设备还包括摄像机标定模块；
所述摄像机标定模块，用于利用所述三个圆球作为标定物，采用秩一约束下的基于圆球投影的标定方法用一幅含有所述三个圆球的图像对摄像机进行标定，以获得摄像机的参数。
11.根据权利要求8-10任一项所述的设备，其特征在于，所述设备还包括计算模块；
所述计算模块，用于根据所述图像中的圆球的边缘投影椭圆曲线和圆球的半径，确定圆球球心的空间坐标和球面点的空间坐标。
12.根据权利要求11所述的设备，其特征在于，所述计算模块，还用于根据圆球球心的空间坐标和球面点的空间坐标，确定球面点的法向量。
CN201611258630.4A 2016-12-30 2016-12-30 基于多个圆球的光源估测方法和装置、智能电子设备 Pending CN106840389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611258630.4A CN106840389A (zh) 2016-12-30 2016-12-30 基于多个圆球的光源估测方法和装置、智能电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611258630.4A CN106840389A (zh) 2016-12-30 2016-12-30 基于多个圆球的光源估测方法和装置、智能电子设备

Publications (1)

Publication Number Publication Date
CN106840389A true CN106840389A (zh) 2017-06-13

Family

ID=59114172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611258630.4A Pending CN106840389A (zh) 2016-12-30 2016-12-30 基于多个圆球的光源估测方法和装置、智能电子设备

Country Status (1)

Country Link
CN (1) CN106840389A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767421A (zh) * 2017-09-01 2018-03-06 北京七鑫易维信息技术有限公司 视线追踪设备中光斑光源匹配方法和装置
CN110189381A (zh) * 2019-05-30 2019-08-30 北京眸视科技有限公司 外参数标定系统、方法、终端及可读存储介质
CN110314377A (zh) * 2018-03-28 2019-10-11 苏宁易购集团股份有限公司 三维空间中物体移动路径随机生成方法和装置
CN112747906A (zh) * 2021-01-28 2021-05-04 歌尔光学科技有限公司 光源的检测方法、检测装置和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN102542612A (zh) * 2010-12-27 2012-07-04 新奥特（北京）视频技术有限公司 基于OpenGL核心模式的光源参数设定及计算光照颜色的方法
CN103699733A (zh) * 2013-12-19 2014-04-02 山东大学 一种光照模型系统及实现方法
CN104463198A (zh) * 2014-11-19 2015-03-25 上海电机学院 一种对真实光照环境进行光照估算的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN102542612A (zh) * 2010-12-27 2012-07-04 新奥特（北京）视频技术有限公司 基于OpenGL核心模式的光源参数设定及计算光照颜色的方法
CN103699733A (zh) * 2013-12-19 2014-04-02 山东大学 一种光照模型系统及实现方法
CN104463198A (zh) * 2014-11-19 2015-03-25 上海电机学院 一种对真实光照环境进行光照估算的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KANBARA M. AND YOKOYA N.: "《Real-time Estimation of Light Source Environmengt for Photorealistic Augmented Reality", 《PROCEEDINGS OF THE 17TH INTERNATIOANL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767421A (zh) * 2017-09-01 2018-03-06 北京七鑫易维信息技术有限公司 视线追踪设备中光斑光源匹配方法和装置
CN107767421B (zh) * 2017-09-01 2020-03-27 北京七鑫易维信息技术有限公司 视线追踪设备中光斑光源匹配方法和装置
CN110314377A (zh) * 2018-03-28 2019-10-11 苏宁易购集团股份有限公司 三维空间中物体移动路径随机生成方法和装置
CN110314377B (zh) * 2018-03-28 2022-10-28 苏宁易购集团股份有限公司 三维空间中物体移动路径随机生成方法和装置
CN110189381A (zh) * 2019-05-30 2019-08-30 北京眸视科技有限公司 外参数标定系统、方法、终端及可读存储介质
CN110189381B (zh) * 2019-05-30 2021-12-03 北京眸视科技有限公司 外参数标定系统、方法、终端及可读存储介质
CN112747906A (zh) * 2021-01-28 2021-05-04 歌尔光学科技有限公司 光源的检测方法、检测装置和可读存储介质

Similar Documents

Publication Publication Date Title
Du et al. DepthLab: Real-time 3D interaction with depth maps for mobile augmented reality
US9869863B2 (en) Systems and methods for processing a 2D video
CN106840389A (zh) 基于多个圆球的光源估测方法和装置、智能电子设备
Zhou et al. Garment modeling from a single image
JP2021166078A (ja) 表面モデル化システムおよび方法
CN105258680B (zh) 一种目标位姿测量方法和装置
CN109815843A (zh) 目标检测方法及相关产品
US10410400B1 (en) Digital image editing for images of folded objects
CN104680532A (zh) 一种对象标注方法及装置
Xing et al. Lighting simulation of augmented outdoor scene based on a legacy photograph
CN110378367A (zh) 用于相位展开的生成式对抗网络的获取方法、装置及系统
US20210366199A1 (en) Method and device for providing augmented reality, and computer program
CN109564701A (zh) 用于改善数字图像中光泽表示的计算机系统和方法
Won et al. Shadow theatre: discovering human motion from a sequence of silhouettes
CN107168520A (zh) 基于单目摄像头的追踪方法、vr设备和vr头戴设备
CN106846447B (zh) 渲染次表面散射效果的方法和装置
Alhakamy et al. Real-time illumination and visual coherence for photorealistic augmented/mixed reality
Zhan et al. Real-time 3D face modeling based on 3D face imaging
CN104144329A (zh) 光学跟踪方法
Fondevilla et al. Patterns from photograph: Reverse-engineering developable products
Li et al. Automatic view planning with self-termination in 3D object reconstructions
CN105069838B (zh) 一种服装展示方法及装置
Fan et al. Near-field photometric stereo using a ring-light imaging device
US9058605B2 (en) Systems and methods for simulating accessory display on a subject
González et al. based ambient occlusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication