CN107464280A - 用户3d建模的匹配方法和装置 - Google Patents

用户3d建模的匹配方法和装置 Download PDF

Info

Publication number
CN107464280A
CN107464280A CN201710643851.1A CN201710643851A CN107464280A CN 107464280 A CN107464280 A CN 107464280A CN 201710643851 A CN201710643851 A CN 201710643851A CN 107464280 A CN107464280 A CN 107464280A
Authority
CN
China
Prior art keywords
user
structure light
face
models
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710643851.1A
Other languages
English (en)
Other versions
CN107464280B (zh
Inventor
周海涛
王立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710643851.1A priority Critical patent/CN107464280B/zh
Publication of CN107464280A publication Critical patent/CN107464280A/zh
Application granted granted Critical
Publication of CN107464280B publication Critical patent/CN107464280B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20121—Active appearance model [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用户3D建模的匹配方法和装置，其中，方法包括：向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像；采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型；应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率；采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型；应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。由此，减小了3D模型匹配的运算量，提高了匹配效率。

Description

用户3D建模的匹配方法和装置
技术领域
本发明涉及信息处理技术领域，尤其涉及一种用户3D建模的匹配方法和装置。
背景技术
“3D建模”可以通过虚拟三维空间构建出具有三维数据的模型，相比于二维识别，由于识别精度更高，在人脸匹配等领得到广泛关注。
然而，在进行3D建模时，对待建模物体中的大量的点进行信息的获取并处理，计算量较大，处理速度较慢。
发明内容
本发明提供一种3D建模的匹配方法和装置，以解决现有技术中，3D建模的匹配运算量较大的问题。
本发明实施例提供一种用户3D建模的匹配方法，包括：向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像；采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型；应用预设的用户3D模型库对所述第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄所述结构光源经过所述用户面部调制的第二结构光图像，其中，所述第二分辨率大于所述第一分辨率；采用图像处理算法对所述第二结构光图像进行计算，生成所述用户面部的第二3D模型；应用所述用户3D模型库对所述第二3D模型进行匹配，显示匹配结果。
本发明另一实施例提供一种用户3D建模的匹配装置，包括：
拍摄模块，用于向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像；
生成模块，用于采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型；
匹配模块，用于应用预设的用户3D模型库对所述第一3D模型进行匹配；所述拍摄模块，还用于在匹配失败时，采用第二分辨率拍摄所述结构光源经过所述用户面部调制的第二结构光图像，其中，所述第二分辨率大于所述第一分辨率；所述生成模块，还用于采用图像处理算法对所述第二结构光图像进行计算，生成所述用户面部的第二3D模型；所述匹配模块，还用于应用所述用户3D模型库对所述第二3D模型进行匹配，显示匹配结果。
本发明又一实施例提供一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本发明第一方面实施例所述的用户3D建模的匹配方法。
本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述的用户3D建模的匹配方法。
本发明实施例提供的技术方案可以包括以下有益效果：
向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像，采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型，应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率，采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型，应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。由此，减小了3D模型匹配的运算量，提高了匹配效率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的用户3D建模的匹配方法的流程图；
图2(a)是根据本发明一个实施例的结构光测量的场景示意图一；
图2(b)是根据本发明一个实施例的结构光测量的场景示意图二；
图2(c)是根据本发明一个实施例的结构光测量的场景示意图三；
图2(d)是根据本发明一个实施例的结构光测量的场景示意图四；
图2(e)是根据本发明一个实施例的结构光测量的场景示意图五；
图3(a)是根据本发明一个实施例的准直分束元件的局部衍射结构示意图；
图3(b)是根据本发明另一个实施例的准直分束元件的局部衍射结构示意图；
图4是根据本发明一个实施例的用户3D建模的匹配装置的结构框图；
图5是根据本发明另一个实施例的用户3D建模的匹配装置的结构框图；
图6是根据本发明又一个实施例的用户3D建模的匹配装置的结构框图；
以及
图7是根据本发明一个实施例的终端设备中的图像处理电路的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的用户3D建模的匹配方法和装置。其中，该户3D建模的匹配方法可以应用于任意3D建模匹配的场景中，为了便于说明，本发明实施例中主要集中在人脸匹配场景进行描述。
图1是根据本发明一个实施例的用户3D建模的匹配方法的流程图。
如图1所示，该用户3D建模的匹配方法可包括：
步骤101，向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像。
步骤102，采用图像处理算法对第一结构光图像进行计算，生成所述用户面部的第一3D模型。
具体地，为了提高对用户面部信息采集的准确度，基于结构光对用户进行面部信息的采集，比如，激光条纹、格雷码、正弦条纹、或者，非均匀散斑等，由此，由于结构光可以基于脸部的轮廓和深度信息对取件用户进行三维的面部信息的快速采集，相较于双目等其他采集用户的面部信息的方式，准确度更高，效率更快。
为了使得本领域的技术人员更加清楚的了解，如何根据结构光来采集用户的面部信息，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理，其中，光栅投影技术属于广义上的面结构光。
在使用面结构光投影的时候，如图2(a)所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。
具体而言，第一步，编程产生正弦条纹图，因为后续要利用变形条纹图获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差pi/2的条纹，然后将该四幅条纹分时投影到被测物(面具)上，采集到如图2(b)左边的图，同时要采集如图2(b)右边所示的参考面的条纹。
第二步，进行相位恢复，由采集到的四幅受调制条纹图计算出被调制相位，这里得到的相位图是截断相位图，因为四步移相算法得到的结果是由反正切函数计算所得，因而被限制在[-pi,pi]之间，也就是说每当其值超过该范围，其又会重新开始。得到的相位主值如图2(c)所示。
其中，在第二个步骤下，需要消跳变，即将截断相位恢复为连续相位，如图2(d)所示，左边为受调制的连续相位，右边是参考连续相位。
第三步，将受调制的连续相位和参考连续相位相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式(其中相应参数经过标定)，得到如图2(e)所示的待测物体的三维模型。
应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述光栅之外，还可是其他任意图案。
其中，需要强调的是，作为一种可能的实现方式，本发明使用散斑结构光进行用户的面部信息的采集，从而可根据散斑结构光中根据预设算法设置的散乱的斑点，在投射到用户面部后产生的位移建立人脸的三维模型。
在本实施例中，可以使用基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕的衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构，或多个凹凸的台阶浮雕结构，基片的厚度大致为l微米，各个台阶的高度不均匀，为0.7微米一0.9微米。图3(a)为本实施例的准直分束元件的局部衍射结构，图3(b)为沿截面A一A的剖面侧视图，横坐标和纵坐标的单位均为微米。
从而，由于普通的衍射元件对光束进行衍射后得到多束衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大，即便是对衍射光进行二次衍射，得到的光束的均匀性也较低，利用此类光束在图像信息处理装置中对物体进行投影，投影效果较差。
本实施例中的准直分束元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行图像处理或投影的效果更好，同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且由于是散斑结构光，相对于其他排布均匀的结构光，达到同样的采集效果时，所消耗的电能更低。
具体地，向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过所述用户面部调制的第一结构光图像，其中，第一分辨率是根据大量实验标定的一个相对较低的分辨率，对在该分辨率下拍摄的结构光源经过所述用户面部调制的第一结构光图像进行建模，可以基本反映出用户的面部特征。
进一步地，采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型，由于第一结构光图像是采用第一分辨率进行采集的，因此，生成的面部的第一3D模型可反映出用户的面部特征，比如，五官位置和形状等。
作为一种可能的实现方式，当第一分辨率对应用户的面部轮廓时，根据预设精度驱动投射装置按照预设角度旋转，通过不同角度向用户面部投射结构光源，采用第一分辨率拍摄结构光源经过用户面部调制的多张第一结构光图像，采用图像处理算法对每张第一结构光图像进行计算生成用户面部轮廓图，将多张用户面部轮廓图进行融合生成用户面部的第一3D模型。
需要说明的是，根据具体应用场景的不同，采用图像处理算法对结构光图像进行计算，生成所述用户面部的3D模型的实现方式不同，举例说明如下：
第一种示例：
在本示例中，由于用户面部距离拍摄装置的距离不同，测得的用户面部的景深信息也不同，而这种景深信息的不同，可以经由相位反应出来，比如，用户面部距离拍摄装置的距离越远，相位畸变越大，从而用户面部的景深信息越深等。
因而，解调结构光图像中变形位置像素对应的相位，根据相位生成用户面部的景深信息，根据景深信息生成用户面部的3D模型。
第二种示例：
在本示例中，由于用户面部距离拍摄装置的距离不同，测得的用户面部的高度信息也不同，而这种高度信息的不同，可以经由相位反应出来，比如，用户面部距离拍摄装置的距离越远，相位畸变越大，从而用户面部的高度信息越高等。
因而，解调结构光图像中变形位置像素对应的相位，根据相位生成用户面部的高度信息，根据高度信息生成用户面部的3D模型。
步骤103，应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率。
可以理解，预先设置用户3D模型库，该用户3D模型库中包括了精度较高的用户3D模型，进而，将应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则表明此时匹配失败的原因可能是第一3D模型的精度不高，进而，采用精度较高的第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率，基于该第二分辨率获取的第二结构光图像，建立的3D模型可还原出用户的面部详细信息
步骤104，采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型。
步骤105，应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。
具体地，应用用户3D模型库对第二3D模型进行匹配，显示匹配结果，如果此时仍旧显示匹配不成功，则证明当前用户不合法，如果此时匹配成功，则表明基于第一分辨率进行3D模型匹配时，匹配失败的原因是匹配精度不高。
由此，本发明实施例的用户3D建模的匹配方法，利用结构光，先采用低分辨率建立3D模型，进行匹配，如果匹配不成功再切换至高分辨率建立3D模型，进行匹配，由此，当采用低分辨率建立3D模型即可匹配成功时，不再基于高分辨率建立3D模型进行匹配，减小了匹配运算量。
综上所述，本发明实施例的用户3D建模的匹配方法，向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像，采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型，应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率，采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型，应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。由此，减小了3D模型匹配的运算量，提高了匹配效率。
为了实现上述实施例，本发明还提出了一种用户3D建模的匹配装置，图4是根据本发明一个实施例的用户3D建模的匹配装置的结构框图，如图4所示，该装置包括拍摄模块100、生成模块200和匹配模块300。
其中，拍摄模块100，用于向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像。
生成模块200，用于采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型。
在本发明的一个实施例中，如图5所示，在如图4所示的基础上，该生成模块200包括第一解调单元210、第一生成单元220和第二生成单元230。
其中，第一解调单元210，用于解调结构光图像中变形位置像素对应的相位。
第一生成单元220，用于根据相位生成用户面部的景深信息。
第二生成单元230，用于根据景深信息生成用户面部的3D模型。
在本发明的一个实施例中，如图6所示，在如图4所示的基础上，该生成模块200包括第二解调单元240、第三生成单元250和第四生成单元260。
其中，第二解调单元240，用于解调所述结构光图像中变形位置像素对应的相位。
第三生成单元250，用于根据所述相位生成所述用户面部的高度信息。
第四生成单元260，用于根据所述高度信息生成所述用户面部的3D模型。
匹配模块300，用于应用预设的用户3D模型库对第一3D模型进行匹配；
在本发明的一个实施例中，拍摄模块100，还用于在匹配失败时，采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率。
生成模块200，还用于采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型。
匹配模块300，还用于应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。
需要说明的是，前述对用户3D建模的匹配方法的解释说明，也适用于本发明实施例的用户3D建模的匹配装置，本发明实施例中未公布的细节，在此不再赘述。
上述用户3D建模的匹配装置中各个模块的划分仅用于举例说明，在其他实施例中，可将用户3D建模的匹配装置按照需要划分为不同的模块，以完成上述用户3D建模的匹配装置的全部或部分功能。
综上所述，本发明实施例的用户3D建模的匹配装置，向用户面部投射结构光源，并采用第一分辨率拍摄结构光源经过用户面部调制的第一结构光图像，采用图像处理算法对第一结构光图像进行计算，生成用户面部的第一3D模型，应用预设的用户3D模型库对第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄结构光源经过用户面部调制的第二结构光图像，其中，第二分辨率大于第一分辨率，采用图像处理算法对第二结构光图像进行计算，生成用户面部的第二3D模型，应用用户3D模型库对第二3D模型进行匹配，显示匹配结果。由此，减小了3D模型匹配的运算量，提高了匹配效率。
为了实现上述实施例，本发明还提出了一种终端设备，上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图7是根据本发明一个实施例的终端设备中的图像处理电路的结构示意图。如图7所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如7所示，图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140。成像设备1110可包括具有一个或多个透镜1112、图像传感器1114的照相机和结构光投射器1116。结构光投射器1116将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1130，由ISP处理器1130对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1114也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。
其中，以散斑结构光为例，ISP处理器1130对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。
当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1130处理的一组原始图像数据。
ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器1130可进行一个或多个图像处理操作。
在ISP处理器1130获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器1120，以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1130的输出还可发送给图像存储器1120，且显示器1160可从图像存储器1120读取图像数据。在一个实施例中，图像存储器1120可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1130的输出可发送给编码器/解码器1150，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。
ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1110的控制参数。
以下为运用图7中图像处理技术实现用户3D建模的匹配方法的步骤：
步骤101’，向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像。
步骤102’，采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型。
步骤103’，应用预设的用户3D模型库对所述第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄所述结构光源经过所述用户面部调制的第二结构光图像，其中，所述第二分辨率大于所述第一分辨率。
步骤104’，采用图像处理算法对所述第二结构光图像进行计算，生成所述用户面部的第二3D模型。
步骤105’，应用所述用户3D模型库对所述第二3D模型进行匹配，显示匹配结果。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的用户3D建模的匹配方法。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用户3D建模的匹配方法，其特征在于，包括：
向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像；
采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型；
应用预设的用户3D模型库对所述第一3D模型进行匹配，若匹配失败，则采用第二分辨率拍摄所述结构光源经过所述用户面部调制的第二结构光图像，其中，所述第二分辨率大于所述第一分辨率；
采用图像处理算法对所述第二结构光图像进行计算，生成所述用户面部的第二3D模型；
应用所述用户3D模型库对所述第二3D模型进行匹配，显示匹配结果。
2.如权利要求1所述的方法，其特征在于，所述投射光源的结构特征，包括：
激光条纹、格雷码、正弦条纹、均匀散斑、或者，非均匀散斑。
3.如权利要求1所述的方法，其特征在于，所述采用图像处理算法对所述结构光图像进行计算，生成所述用户面部的3D模型，包括：
解调所述结构光图像中变形位置像素对应的相位；
根据所述相位生成所述用户面部的景深信息；
根据所述景深信息生成所述用户面部的3D模型。
4.如权利要求1所述的方法，其特征在于，所述采用图像处理算法对所述结构光图像进行计算，生成所述用户面部的3D模型，包括：
解调所述结构光图像中变形位置像素对应的相位；
根据所述相位生成所述用户面部的高度信息；
根据所述高度信息生成所述用户面部的3D模型。
5.如权利要求1所述的方法，其特征在于，所述向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像，包括：
根据预设精度驱动投射装置按照预设角度旋转，通过不同角度向用户面部投射结构光源；
采用第一分辨率拍摄所述结构光源经过所述用户面部调制的多张第一结构光图像；
所述采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型，包括：
采用图像处理算法对每张第一结构光图像进行计算生成用户面部轮廓图；
将多张用户面部轮廓图进行融合生成所述用户面部的第一3D模型。
6.一种用户3D建模的匹配装置，其特征在于，包括：
拍摄模块，用于向用户面部投射结构光源，并采用第一分辨率拍摄所述结构光源经过所述用户面部调制的第一结构光图像；
生成模块，用于采用图像处理算法对所述第一结构光图像进行计算，生成所述用户面部的第一3D模型；
匹配模块，用于应用预设的用户3D模型库对所述第一3D模型进行匹配；
所述拍摄模块，还用于在匹配失败时，采用第二分辨率拍摄所述结构光源经过所述用户面部调制的第二结构光图像，其中，所述第二分辨率大于所述第一分辨率；
所述生成模块，还用于采用图像处理算法对所述第二结构光图像进行计算，生成所述用户面部的第二3D模型；
所述匹配模块，还用于应用所述用户3D模型库对所述第二3D模型进行匹配，显示匹配结果。
7.如权利要求6所述的装置，其特征在于，所述生成模块包括：
第一解调单元，用于解调所述结构光图像中变形位置像素对应的相位；
第一生成单元，用于根据所述相位生成所述用户面部的景深信息；
第二生成单元，用于根据所述景深信息生成所述用户面部的3D模型。
8.如权利要求6所述的装置，其特征在于，所述生成模块包括：
第二解调单元，用于解调所述结构光图像中变形位置像素对应的相位；
第三生成单元，用于根据所述相位生成所述用户面部的高度信息；
第四生成单元，用于根据所述高度信息生成所述用户面部的3D模型。
9.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1-5任一项所述的用户3D建模的匹配方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的用户3D建模的匹配方法。
CN201710643851.1A 2017-07-31 2017-07-31 用户3d建模的匹配方法和装置 Expired - Fee Related CN107464280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710643851.1A CN107464280B (zh) 2017-07-31 2017-07-31 用户3d建模的匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710643851.1A CN107464280B (zh) 2017-07-31 2017-07-31 用户3d建模的匹配方法和装置

Publications (2)

Publication Number Publication Date
CN107464280A true CN107464280A (zh) 2017-12-12
CN107464280B CN107464280B (zh) 2020-08-07

Family

ID=60547097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710643851.1A Expired - Fee Related CN107464280B (zh) 2017-07-31 2017-07-31 用户3d建模的匹配方法和装置

Country Status (1)

Country Link
CN (1) CN107464280B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197560A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 人脸图像识别方法、移动终端及计算机可读存储介质
CN110763150A (zh) * 2018-07-26 2020-02-07 王东 一种面部轮廓测量方法
WO2020221188A1 (zh) * 2019-04-30 2020-11-05 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像装置及电子设备
CN112198669A (zh) * 2019-07-08 2021-01-08 三赢科技（深圳）有限公司 结构光投射模组、深度相机和电子装置
CN112492290A (zh) * 2018-09-30 2021-03-12 Oppo广东移动通信有限公司 一种数据处理方法、服务器和计算机存储介质
CN112639802A (zh) * 2018-09-18 2021-04-09 Oppo广东移动通信有限公司 用于生成伪结构光照射面部的方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282454A (ja) * 1996-04-12 1997-10-31 Meidensha Corp 物体認識方法
JP2004334550A (ja) * 2003-05-08 2004-11-25 Sgi Japan Ltd 立体画像処理方法
US20130058582A1 (en) * 2011-09-02 2013-03-07 Petrus J.L. van Beek Edge based template matching
CN103793906A (zh) * 2012-10-26 2014-05-14 瓦里安医疗系统公司 用于不规则形状目标的基于图像的检测和跟踪的模板匹配方法
US20160048609A1 (en) * 2014-08-14 2016-02-18 Disney Enterprises, Inc. Object recognition for 3d printing
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282454A (ja) * 1996-04-12 1997-10-31 Meidensha Corp 物体認識方法
JP2004334550A (ja) * 2003-05-08 2004-11-25 Sgi Japan Ltd 立体画像処理方法
US20130058582A1 (en) * 2011-09-02 2013-03-07 Petrus J.L. van Beek Edge based template matching
CN103793906A (zh) * 2012-10-26 2014-05-14 瓦里安医疗系统公司 用于不规则形状目标的基于图像的检测和跟踪的模板匹配方法
US20160048609A1 (en) * 2014-08-14 2016-02-18 Disney Enterprises, Inc. Object recognition for 3d printing
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197560A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 人脸图像识别方法、移动终端及计算机可读存储介质
CN108197560B (zh) * 2017-12-28 2022-06-07 努比亚技术有限公司 人脸图像识别方法、移动终端及计算机可读存储介质
CN110763150A (zh) * 2018-07-26 2020-02-07 王东 一种面部轮廓测量方法
CN110763150B (zh) * 2018-07-26 2021-05-25 王东 一种面部轮廓测量方法
CN112639802A (zh) * 2018-09-18 2021-04-09 Oppo广东移动通信有限公司 用于生成伪结构光照射面部的方法、系统及存储介质
CN112492290A (zh) * 2018-09-30 2021-03-12 Oppo广东移动通信有限公司 一种数据处理方法、服务器和计算机存储介质
CN112492290B (zh) * 2018-09-30 2022-11-11 Oppo广东移动通信有限公司 一种数据处理方法、服务器和计算机存储介质
WO2020221188A1 (zh) * 2019-04-30 2020-11-05 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像装置及电子设备
CN112198669A (zh) * 2019-07-08 2021-01-08 三赢科技（深圳）有限公司 结构光投射模组、深度相机和电子装置
CN112198669B (zh) * 2019-07-08 2022-07-26 三赢科技（深圳）有限公司 结构光投射模组、深度相机和电子装置

Also Published As

Publication number Publication date
CN107464280B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN107464280A (zh) 用户3d建模的匹配方法和装置
CN107451561A (zh) 虹膜识别补光方法和装置
CN107682607B (zh) 图像获取方法、装置、移动终端和存储介质
CN107368730A (zh) 解锁验证方法和装置
CN107465906B (zh) 场景的全景拍摄方法、装置及终端设备
CN107493428A (zh) 拍摄控制方法和装置
CN107480613A (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
CN107610077A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107481304A (zh) 在游戏场景中构建虚拟形象的方法及其装置
CN107452034B (zh) 图像处理方法及其装置
CN107623814A (zh) 拍摄图像的敏感信息屏蔽方法和装置
CN107423716A (zh) 人脸状态监控方法及装置
CN107481317A (zh) 人脸3d模型的面部调整方法及其装置
CN107509045A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107564050A (zh) 基于结构光的控制方法、装置和终端设备
CN107437019A (zh) 唇语识别的身份验证方法和装置
CN107807806A (zh) 显示参数调整方法、装置及电子装置
CN107483815A (zh) 运动物体的拍摄方法和装置
CN107590828A (zh) 拍摄图像的虚化处理方法和装置
CN107707831A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107483845A (zh) 拍照方法及其装置
CN107592449A (zh) 三维模型建立方法、装置和移动终端
CN107610078A (zh) 图像处理方法和装置
CN107509043A (zh) 图像处理方法及装置
CN107734264A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200807

CF01 Termination of patent right due to non-payment of annual fee