CN109919992A - 估测图像中的深度的方法 - Google Patents

估测图像中的深度的方法 Download PDF

Info

Publication number
CN109919992A
CN109919992A CN201811391750.0A CN201811391750A CN109919992A CN 109919992 A CN109919992 A CN 109919992A CN 201811391750 A CN201811391750 A CN 201811391750A CN 109919992 A CN109919992 A CN 109919992A
Authority
CN
China
Prior art keywords
piecemeal
pattern
sub
image
binaryzation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811391750.0A
Other languages
English (en)
Inventor
石立龙
韩承勳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109919992A publication Critical patent/CN109919992A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开一种估测图像中的深度的结构光系统及方法。接收图像，其中所述图像是已在上面投射参考光图案的场景的图像。参考光图案的投影包括预定数目个子图案。基于硬码模板匹配技术或基于所接收图像的分块对应于参考光图案的子图案的机率来对分块与子图案进行匹配。如果使用查找表，则所述表可为机率矩阵，可包含预先计算的关联性得分或者可包含预先计算的类别标识。基于分块与子图案之间的不同来确定分块的深度的估测值。

Description

估测图像中的深度的方法
[相关申请的交叉参考]
本专利申请主张在2017年12月12日提出申请的美国临时专利申请第62/597,904号的优先权，所述美国临时专利申请的公开内容全文并入本申请供参考。
技术领域
本文所公开主题涉及一种用于结构光系统的装置及方法，且更具体来说，涉及一种用于将图像的分块匹配到参考光图案的分块的装置及方法。
背景技术
一种广泛用于在结构光三维(three dimensional，3D)相机系统(也称为立体相机系统(stereo-camera system))中估测深度值的技术是通过搜索图像中的分块与参考图案中的分块的最佳匹配来进行。为减少这种搜索的总体计算负担，假设图像分块位于参考图案的接近水平邻域(near horizontal neighborhood)中。另外，参考图案被设计成仅存在有限的一组独特子图案，这些子图案在水平方向上及垂直方向上重复以填充整个投影空间，这进一步简化了搜索过程。利用参考图案中独特图案的已知排列方式来识别图像分块的“类别”，并且转而确定图像分块与参考分块之间的不同。还假设图像分块以深度像素位置为中心，这也简化了深度估测的计算。
然而，如果图像分块大小及搜索范围变大，则分块搜索变得耗时且需要密集的计算，从而难以实现实时深度估测。除了具有明显的计算成本之外，一些结构光三维相机系统还可能在深度估测中出现明显的噪声。结果，这种结构光三维相机系统具有高的功耗，且可能对图像缺陷(image flaw)(例如，像素噪声、模糊、畸变及饱和)敏感。
发明内容
本公开的示例性实施例可提供一种快速地估测图像中的深度的结构光系统及方法。
示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；基于所述图像的分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对所述分块与所述其中一子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。在一个实施例中，所述机率可包含在查找表中，所述查找表可包括机率矩阵，且所述分块可包括参考数目个像素，且其中对所述分块与所述其中一子图案进行匹配还可包括：将所述分块中所包括的像素二值化；由所述像素形成向量；以及通过将所述像素的向量乘以所述机率矩阵来确定所述分块的类别，其中所述类别可对应于与所述分块匹配的所述其中一子图案。
另一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像中所包括的至少一个分块二值化，所述分块可包括参考数目个像素；通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数Ek最小化来将所述至少一个分块匹配到所述参考光图案的其中一子图案；以及基于所述至少一个分块与所述其中一子图案之间的不同来确定所述图像的所述至少一个分块的深度的估测值。在一个实施例中，所述每一个经二值化的子图案中的1的所述第二数目可通过以下方式确定：将第一经二值化的子图案中的1的所述第二数目递增2来获得位于所述第一经二值化的子图案后面的第二经二值化的子图案中的1的所述第二数目。
再一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像的至少一个分块二值化；基于经二值化的所述分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对经二值化的所述分块与所述其中一子图案进行匹配；以及基于所述至少一个分块与所述子图案之间的不同来确定所述至少一个分块的深度的估测值。在一个实施例中，经二值化的所述分块对应于所述其中一子图案的所述机率可包含在查找表中。所述查找表可包括机率矩阵，且所述至少一个分块可包括参考数目个像素。对经二值化的所述分块与所述其中一子图案进行匹配可包括：由经二值化的所述分块形成向量；以及通过将经二值化的所述分块的所述向量乘以所述机率矩阵来确定所述至少一个分块的类别，其中所述类别可对应于与所述至少一个分块匹配的所述其中一子图案。
[本公开的效果]
本文所公开的估测图像中的深度的方法可减少其他方式可能具有的噪声、模糊及畸变。另外，与其他方式相比，可减少计算负担及存储器/硬件资源需求。因此，根据本发明的实施例，可快速完成图像的深度估测。
附图说明
在以下部分中，将参照各图中所示的实施例来阐述本文所公开的主题的各个方面，在各图中：
图1A是绘示根据本发明实施例的结构光系统及参考光图案的概念图。
图1B是绘示可用于形成图1A所示参考光图案的参考光图案元素的实施例的概念图。
图2A是绘示将使用硬码模板匹配技术进行匹配的左侧图像输入分块与右侧图像输入分块的概念图。
图2B是绘示根据本发明实施例的将使用硬码模板匹配技术进行匹配的图像输入分块与参考光图案分块的概念图。
图3是绘示根据本发明实施例的使用硬码模板匹配技术确定深度信息的过程的流程图。
图4是绘示根据本发明实施例的经递增分析的一系列参考光图案分块的概念图。
图5是绘示根据本发明实施例的基于图像输入分块属于参考光图案分块的类别c的机率来估测深度信息的过程的概念图。
图6是绘示根据本发明实施例的使用查找表来产生图像输入分块属于类别c的机率的过程的概念图。
图7是绘示根据本发明实施例的以独特方式对大的图像输入分块进行细分并使用查找表来产生图像输入子分块属于类别c的机率的过程的概念图。
图8是绘示根据本发明实施例的使用查找表的过程的概念图，所述查找表只包含可用于确定图像输入分块属于类别c的预先计算的类别标识。
图9是绘示根据本发明实施例的使用滑动窗口(sliding window)对大的图像输入分块进行细分并使用包含预先计算的类别标识的查找表的过程的概念图。
图10是绘示根据本发明实施例的基于图像输入分块与参考光图案分块匹配的机率来确定深度信息的过程的流程图。
[符号的说明]
100：结构光系统；
101：投影仪；
102：相机；
103：处理器件；
104：参考光图案；
105：线；
106：图像；
107：深度图；
108：参考光图案元素；
301、302、303、304、305、306、307、501、502、503、602、606、702、705、802、806、902、905、1001、1002、1003、1004、1005、1006、1007：步骤；
401、402、403：参考分块；
601、801：4×4图像输入分块/图像输入分块；
603、703、803、903：键值；
604、704：预先计算的关联性得分表/表/LUT；
605：直方图；
701、901：8×8图像输入分块；
701a、701b、701c、701d：子分块/图像输入子分块；
706：特定机率直方图；
804：预先计算的类别ID表/表/LUT；
901a、901b、901c、901d：子分块；
904：预先计算的类别ID表/LUT；
906：机率直方图；
M：矩阵；
P：最左侧图像输入分块/左侧图像输入分块/输入分块/图像输入分块/4×4输入图像分块/分块；
Qk：图像分块/4×4二进制参考分块/二进制参考分块/参考分块/图像参考分块；
T：4×4块/向量。
具体实施方式
在以下详细说明中，阐述许多具体细节来提供对本公开的透彻理解。然而，所属领域中的技术人员应理解，无需这些具体细节也可实践所公开的各个方面。在其他情形中，未详细阐述众所周知的方法、流程、组件及电路，以免使本文所公开的主题模糊不清。
本说明书通篇中所提及的“一个实施例(one embodiment)”或“实施例(anembodiment)”意指结合所述实施例所阐述的特定特征、结构或特性可包括在本文所公开的至少一个实施例中。因此，在本说明书通篇中各处出现的短语“在一个实施例中(in oneembodiment)”或“在实施例中(in an embodiment)”或者“根据一个实施例(according toone embodiment)”(或具有相似含义的其他短语)可能未必均指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可采用任何适合的方式进行组合。就此而言，本文所用的词“示例性(exemplary)”意指“用作实例、例子或例示”。本文被阐述为“示例性”的任何实施例不应被视为与其他实施例相比必定是优选的或有利的。另外，根据本文中的论述的上下文而定，单数用语可包括对应的复数形式且复数用语可包括对应的单数形式。还应注意，本文中所示及所论述的各个图(包括组件图)仅是出于例示目的，而并非按比例绘示。相似地，示出各种波形及时序图仅是用于例示目的。举例来说，为清晰起见，可相对于其他元件夸大元件中的一些元件的尺寸。另外，在适当情况下，在各个图中重复使用参考编号来指示对应的元件和/或类似元件。
本文所用术语仅是用于阐述特定实施例的目的，而非旨在限制所主张的主题。除非上下文另外清楚地指明，否则本文所用单数形式“一(a、an)”及“所述(the)”旨在也包括复数形式。还应理解，当在本说明书中使用用语“包括(comprises和/或comprising)”时，是指明所陈述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。本文所用用语“第一(first)”、“第二(second)”等被用作位于所述用语后面的名词的标签，且除非明确定义，否则所述用语并不隐含着任何类型的次序(例如，空间、时间、逻辑等)。此外，在两个或更多个图中可使用相同的参考编号来指代具有相同或相似的功能的部件、组件、区块、电路、单元或模块。然而，这种用法仅是为了使例示简洁且易于论述起见；所述用法并不隐含着这种组件或单元的构造细节或架构细节在所有实施例中均是相同的或者这些共同提及的部件/模块是实施本文中所公开特定实施例的教示内容的唯一方式。
除非另外定义，否则本文所用所有用语(包括技术及科学用语)的含义均与本主题所属领域中的一般技术人员所通常理解的含义相同。还应理解，用语(例如在常用词典中所定义的用语)应被解释为具有与其在相关技术的上下文中的含义一致的含义，且除非在本文中明确定义，否则不应将其解释为具有理想化或过于正式的意义。
本文所公开的实施例可提供用于结构光系统的快速深度估测。在一个实施例中，可基于图像分块相对于参考分块的硬码模板匹配来提供深度估测。在另一个实施例中，可通过基于例如贝叶斯规则的关联性来将图像分块匹配到参考分块。再一个实施例可使用查找表来将图像分块匹配到参考分块以提供极快的深度估测。与其他方式相比，本文所公开的所有实施例使计算负担明显减少且使存储器/硬件资源需求减少，同时还会减少其他方式所具有的噪声、模糊及畸变。
本文所公开的使用查找表的实施例可提供恒定时间深度估测。此外，查找表可基于会增强深度预测的训练数据集来学习得到。查找表可比其他方式更鲁棒，同时还实现高的准确性。
图1A是绘示根据本发明实施例的结构光系统及参考光图案的概念图。结构光系统100可包括投影仪101、相机102及处理器件103。处理器件103可将参考光图案104发送到投影仪101，且投影仪101可将参考光图案104投射到由线105代表的场景或物体上。相机102可拍摄具有所投射参考光图案104的场景作为图像106。图像106可被传送到处理器件103，且处理器件103可基于在图像106中拍摄的参考光图案相对于参考光图案104的不同来产生深度图(depth map)107。深度图107可包括与图像106的分块对应的估测深度信息。
处理器件103可为通过软件指令进行编程的微处理器或个人计算机、专用集成电路或这两者的组合。在一个实施例中，由处理器件103提供的处理可完全通过经图形处理单元(graphics processing unit，GPU)、多核系统加速的软件实施，或者通过能够实施处理操作的专用硬件实施。硬件配置与软件配置二者可提供不同的并行阶段(stages ofparallelism)。结构光系统100的一种实施方式可为手持器件(例如但不限于，智能电话、手机或数字相机)的一部分。
在一个实施例中，投影仪101与相机102可在可见区域(visible region)中或在对于人眼而言可能不可见的红外光谱(infrared light spectrum)中进行匹配。所投射的参考光图案可处于投影仪101及相机102二者的光谱范围内。另外，投影仪101与相机102的分辨率可不同。举例来说，投影仪101可采用视频图形阵列(video graphics array，VGA)分辨率(例如，640×480像素)来投射参考光图案104，而相机102可具有更高的分辨率(例如，1280×720像素)。在这种配置中，可对图像106进行下采样和/或可只对由投影仪101照射的区域进行分析以产生深度图107。
根据本发明实施例的参考光图案104可包括多个参考光图案元素，所述多个参考光图案元素可在水平方向及垂直方向二者上重复以完全填充参考光图案104。
图1B是绘示在水平方向(即，x方向)上为48个点宽且在垂直方向(即，y方向)上为四个像素高的参考光图案元素108的实施例的概念图。为简明起见，点对像素的比率可为1:1，即，每一个投射点可恰好由相机102中的一个像素拍摄。如果4×4像素窗口叠加在参考光图案元素108上且水平滑动(在边缘处具有重叠)，则将存在48个独特图案。如果4×4像素窗口在参考光图案元素108的高度方向的四个像素之上垂直地上下滑动(具有重叠)、同时4×4像素窗口水平滑动，则将存在192个独特图案。在一个实施例中，图1A所示参考光图案104可通过在水平方向上将参考光图案元素108重复十次以及在垂直方向上将参考光图案元素180重复160次来形成。
在本文所公开的一个实施例中，处理器件103可使用硬码模板匹配技术来产生深度图107的估测深度信息以将图像分块匹配到参考光图案104的分块，其中匹配技术的复杂度是O(P)且P可为所匹配的分块的大小。在本文所公开的另一个实施例中，处理器件103可通过基于图像分块与参考光图案104的分块匹配的机率将图像分块匹配到参考光图案104的分块来产生估测深度信息，其中匹配技术的复杂度是O(P)。在本文所公开的再一个实施例中，处理器件103可通过参考查找表(lookup table，LUT)来产生估测深度信息，所述查找表可包含图像分块与参考光图案104的分块匹配的机率信息，其中匹配技术的复杂度可由O(1)代表。
1.硬码模板匹配。
根据本发明实施例，将图像分块匹配到参考光图案104的分块可使用硬码模板匹配技术通过直接计算方式执行。出于计算目的，参考光图案104可由1的图案及0的图案代表，这可极大地简化对分块比较的计算。
可使用三种不同的计算技术中的一种来将图像分块匹配到参考光图案的分块。第一种计算技术可基于绝对差和(Sum of Absolute Difference，SAD)方式，在所述绝对差和方式中，匹配得分是基于图像分块与参考分块之间的逐像素绝对差的和来确定的。第二种计算技术可基于平方差和(Sum of Squared Difference，SSD)方式。第三种计算技术可基于归一化互相关(Normalized Cross-Correlation，NCC)方式。
为示出根据本文所公开实施例的直接计算方式的优点，将参考图2A及图2B来比较用于将图像分块匹配到参考分块的其他直接计算方式与根据本发明概念实施例的直接计算方式。
图2A是绘示可在立体相机系统中接收的两个4×4图像分块的概念图。最左侧图像输入分块P将被匹配到最右侧图像参考分块Q。考虑以下情形：参考光图案(例如，参考光图案104)已被透射到图像上，且所投射的参考光图案出现在左侧图像输入分块P及右侧图像输入分块Q二者中。
可用于产生输入分块P与输入分块Q的匹配得分的SAD匹配计算可将误差函数Ek最小化。SAD匹配计算可通过以下方程式(1)来阐述：
在方程式(1)中，(i,j)可为分块内的像素位置，k可为与参考光图案的分块对应的分块标识ID:[1,192]。对于这一实例来说，认为分块标识k与具有192个独特图案的参考光图案104相关。
对于根据方程式(1)的SAD方式而言，对单个图像输入分块P相对于单个图像分块Qk的误差函数Ek进行确定的总计算负担可涉及4×4×2×192＝6144次加法运算。
与根据方程式(1)的方式对比，参考图2B，可绘示根据本发明实施例的SAD直接计算技术。在图2B中，左侧分块可为包括所投射的参考光图案104的4×4输入图像分块P。右侧分块可为示例性4×4二进制参考分块Qk，其为来自参考光图案104的4×4分块的二进制表示形式。二进制参考分块Qk中的包含“A”的像素中的每一者可代表二进制“0”(即，黑色)。二进制参考分块Qk中的包含“B”的像素中的每一者可代表二进制“1”(即，白色)。
通过使用二进制图案，将误差函数最小化可被重新公式化为只对参考图案中为1的像素进行的求和运算。根据本文所公开的实施例，可用于产生图像输入分块P相对于参考光图案分块的匹配得分的简化SAD匹配计算可将误差函数Ek最小化。将误差函数Ek最小化的简化SAD匹配计算可通过以下方程式(2)来阐述。
在方程式(2)中，(i,j)可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，Bk可为参考分块Qk中具有值1的像素的集合，||Bk||可为参考分块Qk中1的计数，且Psum可为分块P中所有像素值的和。由于||Bk||对于每一个二进制参考分块而言是已知的，且Psum可预先计算(且参考像素图案中1的平均值是8)，因此进行单次图案-图案比较所需的加法的次数可从32次减少到近似8次。
因此，对于根据方程式(2-3)的SAD方式而言，在平均数||Bk||为8时，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及8×192次加法运算。为进一步减少计算操作的数目，可对Psum进行预先计算。
再次参照图2A，可用于将误差函数Ek最小化的平方差和(SSD)匹配计算可通过以下方程式(3)来阐述。
在方程式(3)中，(i,j)可为分块内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]。
对于根据方程式(3)的SSD方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算可涉及4×4×2×192＝6144次加法运算。
参照图2B且与基于以上方程式(3)的SSD方式对比，根据本文所公开实施例的可用于将误差函数Ek最小化的简化SSD匹配计算可通过以下方程式(4)来阐述。
在方程式(4)中，(i,j)可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，Bk可为二进制参考分块Qk中具有值1的像素的集合，||Bk||可为二进制参考分块Qk中1的计数，且Psum可为分块P中所有像素值的和。参照方程式(4)，误差函数Ek可基于参考光图案中白色分块的计数以及参考光图案中黑色补片的计数的平方来确定。
对于根据方程式(4)的简化SSD方式而言，在平均数||Bk||为8时，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及近似8×192次加法运算。为进一步减少计算操作的数目，可对||Bk||及P2 sum二者进行预先计算。
再次参照图2A，可用于将误差函数Ek最小化的归一化互相关(NCC)匹配计算可通过以下方程式(5)来阐述。
在方程式(5)中，(i,j)可为分块内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]。
对于根据方程式(5)的NCC方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及4×4×192次乘法运算加上4×4×192次加法运算，总共等于6144次运算。
参照图2B，与基于以上方程式(5)的NCC方式对比，根据本文所公开实施例的可用于将误差函数Ek最小化的简化NCC匹配计算可通过以下方程式(6)来阐述。
在方程式(6)中，(i,j)可为输入分块P内的像素位置，k可为与参考光图案104的分块对应的分块标识ID:[1,192]，且||Bk||可为二进制参考分块Q中白色分块的和。参照方程式(6)，误差函数Ek可基于二进制参考分块中黑色分块的计数除以白色分块的计数来确定。
本文所公开的简化NCC技术可使用一次除法运算来进行归一化。由于||Bk||可取五个不同的整数值(具体来说，6-10)，因此除法运算可一直延迟到对匹配得分进行比较为止。因此，这192个匹配得分可基于它们的||Bk||值划分成五个群组，且可从每一个群组中找到最高的匹配得分。只有在对这五个群组中的每一者中的最高得分进行比较时才需要执行除法，仅需要进行五次除法。因此，对于根据方程式(6-2)的NCC方式而言，对单个图像输入分块P相对于图像参考分块Qk的误差函数Ek进行确定的总计算负担可涉及5次乘法运算加上2×192次加法运算，等于总共389次运算。类似于本文所公开的SAD方式及SSD方式，可对P2 sum进行预先计算。
图3是绘示根据本发明实施例的使用硬码模板匹配技术确定深度信息的过程的流程图。在301处，可开始所述过程。在302处，可接收具有所投射的参考光图案的图像。在一个实施例中，所投射的参考光图案可为参考光图案104。在303处，可从所接收图像提取分块。在304处，可使用本文所公开的简化SAD技术、SSD技术或NCC技术来将每一个图像分块匹配到参考光图案分块。在305处，可确定每一个图像分块与进行匹配的参考光图案分块之间的不同。在306处，可确定每一个图像分块的深度信息。在307处，可结束所述过程。
还可通过从一个参考分块到下一个参考分块对项进行递增计算来进一步减少本文所公开的这三种简化直接计算匹配技术中的每一种的运算数目。举例来说，如果针对图4中所绘示的参考分块401对项进行递增计算，则针对参考分块402对项进行的计算可只增加两次加法运算。因此，通过从一个参考分块到下一个参考分块对项进行递增计算，可明显减少运算的数目。
具体来说，参考分块401可包括六个1(即，六个白色像素)。参考分块402可包括八个1(例如，八个白色像素)。参考分块401与参考分块402之间1的数目之差是2，因此参考分块402中1的数目的值可比参考分块401中1的数目大二。当考虑参考分块403时，由于参考分块402及参考分块403二者均包括八个1，因此可不添加额外的加法运算。平均而言，加法运算的递增数目可为2。因此，使用这种递增方式，对所有独特图案进行匹配所需的加法运算的总数目可减少到2×192，其中本文所公开的简化SAD技术可比根据方程式(3)的SAD技术快16倍。
图像输入分块与匹配参考分块之间的不同可基于方程式(2-3)、(4-3)或(6-2)中的任意一个来确定，可由处理器件103用来产生深度图107的深度信息。
2.基于机率的图案关联性。
为基于图像输入分块与参考光图案分块(例如，参考光图案104)匹配的机率来产生估测深度信息，可使用基于贝叶斯规则的图案关联性。也就是说，贝叶斯规则可用于确定图像输入分块属于参考光图案分块的类别c的机率。一种估测4×4块T(或分块)属于一类别的机率的简化方式可通过以下方程式(7)来阐述。
log(P(c|T))＝log(ΠP(t|c))＝∑log(P(t|c)) (7)
在方程式(7)中，t可为值是1的像素。
并不执行乘法，而是如由方程式(7)的中间项所表示，图像输入分块属于参考光图案分块的类别c的机率可仅使用加法运算来确定，如由方程式(7)的最右侧项所表示。因此，可由机率的和代替机率的乘法来表示机率P(c|T)。对于大小为4×4像素的192个独特图案而言，可取值[0,15]且可取值[1,192]。可形成16×192矩阵，其中每一个项代表log(P(t|c))。当对图像输入分块进行分类时，可将图像输入分块与矩阵M的每一列相关联以获得每一类别的机率log(P(t|c))。具有最高机率的类别可对应于最终匹配的类别。矩阵的各个项可从由结构光图像形成的数据集学习得到，在所述结构光图像中，每一个参考像素的深度值是已知的。作为另外一种选择，矩阵M可通过线性优化技术或通过神经网络形成。图案关联方式的性能可基于矩阵M可被学习的良好程度。
图5是绘示根据本发明实施例的基于图像输入分块属于参考光图案分块的类别c的机率来估测深度信息的过程的概念图。在501处，可将图像输入分块二值化为0及1，这可通过将T归一化并以0.5进行阈限(thresholding)以形成元素[0,1]来进行。接着可将二值化输入分块排列为1×16向量。可在502处将向量T及矩阵M相乘以在503处形成1×192元素直方图(element histogram)，其代表输入分块是特定参考光图案分块的机率。
使用图5所示方式确定出的图像输入分块与匹配参考分块之间的不同可由处理器件103用来产生深度图107的深度信息。
3.通过查找表进行图案分类。
由处理器件103产生的估测深度信息还可通过使用查找表(LUT)将图像输入分块分类为属于类别c来产生。也就是说，可产生包含图像分块属于参考光图案的分块的类别c的机率信息的LUT。
在一个实施例中，LUT可具有216个键值以考虑到所有可能的4×4二值化输入图案。一种用于产生与每一个键值对应的值的技术可基于图像输入分块属于类别c的机率，如结合图5所阐述。
图6是绘示根据本发明实施例的使用LUT来产生图像输入分块属于类别c的机率的过程的概念图。在图6中，可在602处将4×4图像输入分块601二值化及向量化以形成键值603，从而得到预先计算的关联性得分表604。表604的每一个行可包含图像输入分块属于类别c的机率的直方图605的值。在图6所示实例中，可将图像输入分块601二值化及向量化以形成示例性键值(0,0,…,0,1,0)。这种示例性键值的直方图605在606处示出。对于图6所示实例而言，LUT 604中的项的总数目可为216行×192列＝12MB。
在图像输入分块大的实施例中，与图6中的LUT 604对应的LUT对于手持器件(例如，智能电话)而言可能变得过大。举例来说，如果图像输入分块是8×8输入分块，则与LUT604对应的LUT可包括8.712GB的项。为避免LUT具有这样大的大小，可将大的图像输入分块划分成较小的分块，例如4×4子分块，所述较小的分块用作与LUT 604对应的LUT的键值。输入分块的划分可提供单独的且不同的子分块或者可通过使用滑动窗口来进行输入分块的划分。
图7是绘示根据本发明实施例的以独特方式对大的图像输入分块进行细分并使用LUT来产生图像输入子分块属于类别c的机率的过程的概念图。在图7中，可将8×8图像输入分块701细分成四个子分块701a到701d。可在702处将这四个子分块各自二值化及向量化以分别形成单独的示例性键值703，从而得到预先计算的关联性得分表704。表704的每一行可包含图像输入子分块属于类别c的机率的直方图的值。在图7所示实例中，图像输入子分块701a到701d可各自被二值化及向量化以形成单独的键值。在705处可使用投票过程来确定8×8图像输入分块701的特定机率直方图706。所述投票过程可例如选择接收到最多投票的机率直方图。对于图7所示实例而言，LUT 704中的项的总数目可为216行×192列＝12MB。举例来说，如果另选地使用滑动窗口过程来对大的图像输入分块进行细分，则图7所示过程可基本以相同的方式进行。
通过使用包含预先计算类别标识的LUT来替换LUT 604(或LUT 704)，可进一步减小LUT的总体大小。图8是绘示根据本发明实施例的使用查找表的过程的概念图，所述查找表只包含可用于确定图像输入分块属于类别c的预先计算的类别标识(ID)。在图8中，可在802处将4×4图像输入分块801二值化及向量化以形成键值803，从而得到预先计算的类别ID表804。表804的每一行可包含图像输入子分块的预先计算的类别ID。在图8所示实例中，可在802处将图像输入分块801二值化及向量化以形成示例性键值(0,0,…,0,1,0)。这种示例性键值的预测类别ID可在806处示出。对于图8所示实例而言，LUT 804中的项的总数目可为216行×1列＝65,536。
图9是绘示根据本发明实施例的使用滑动窗口对大的图像输入分块进行细分并使用包含预先计算的类别标识的LUT的过程的概念图。在图9中，可将8×8图像输入分块901细分成64个4×4子分块(图中只绘示出子分块901a到901d)。可在902处将这些子分块各自二值化及向量化以分别形成单独的键值903，从而得到预先计算的类别ID表904。可使用905处的64输入投票过程来产生8×8图像输入分块901的机率直方图906。对于图9所示实例而言，LUT 904中的项的总数目可为216行×1列＝65,536。
图10是绘示根据本发明实施例的基于图像输入分块与参考光图案分块匹配的机率来确定深度信息的过程的流程图。在1001处，可开始所述过程。在1002处，可接收具有所投射的参考光图案的图像。在一个实施例中，所投射的参考光图案可为参考光图案104。在1003处，可将所接收的图像划分成分块，且可将每一个分块二值化。在1004处，可基于图像输入属于参考光图案分块的特定类别c的机率来将每一个图像分块匹配到参考光图案分块。在一个实施例中，所述匹配可通过使用机率矩阵M形成代表输入分块是特定参考光图案分块的机率的直方图H来进行，例如图5所示过程。在另一个实施例中，所述匹配可通过使用LUT产生图像输入分块属于类别c的机率来进行。所述LUT可被实施为预先计算的关联性得分表，其中LUT的每一行包含图像输入分块属于类别c的机率的直方图的值，例如图6所示过程。在再一个实施例中，确定图像输入分块属于类别c可涉及投票过程，例如图7或图9所示过程。在又一个实施例中，LUT可被实施为预先计算的类别ID表，例如图8或图9所示。
在1005处，可确定每一个图像分块与进行匹配的参考光图案分块之间的不同。在1006处，可确定每一个图像分块的深度信息。在1007处，可结束所述过程。
表1阐述了立体匹配方式与本文所公开的匹配方式之间的一些定量比较。立体匹配方式的计算复杂度可由O(P*S)代表，其中P是分块大小且S是搜索大小。可采用立体匹配方式的速度作为基线1X，且所需的存储量可为2MB。
表1.定量比较
与其他匹配方式相比，本文所公开的匹配方式的计算可简单得多且快得多。本文所公开的匹配方式可使用的存储量可明显小于其他方式使用的存储量(这取决于使用哪一种方式)。
所属领域中的技术人员将认识到，可在各种各样的应用中对本文所述创新概念进行修改及变化。因此，所主张主题的范围不应仅限于以上所论述的任何具体示例性教示内容，而是由以上权利要求书来界定。

Claims (19)

1.一种通过结构光系统来估测图像中的深度的方法，所述方法包括：
接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；
基于所述图像的分块对应于所述子图案的机率来对所述分块与所述子图案进行匹配；以及
基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。
2.根据权利要求1所述的方法，
其中，所述机率包含在查找表中，所述查找表包括机率矩阵，且所述分块包括参考数目个像素，且
其中，对所述分块与所述子图案进行匹配还包括：
将所述分块中所包括的所述像素二值化；
由所述像素形成向量；以及
通过将所述像素的所述向量乘以所述机率矩阵来确定所述分块的类别，所述类别对应于与所述分块匹配的所述子图案。
3.根据权利要求2所述的方法，其中，所述分块中所包括的所述参考数目个所述像素是16个像素。
4.根据权利要求2所述的方法，其中，所述机率矩阵是基于贝叶斯规则通过线性优化或通过神经网络来形成。
5.根据权利要求1所述的方法，其中，所述分块包括参考数目个像素，
所述方法还包括：
将所述分块中所包括的所述像素二值化，以及
使用所述分块的经二值化的所述像素来存取查找表中的代表所述分块对应于所述子图案的所述机率的项。
6.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述分块对应于所述子图案中的每一个子图案的机率中的每一个机率的关联性得分。
7.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述子图案中的每一个子图案的类别标识。
8.一种通过结构光系统来估测图像中的深度的方法，其中，所述方法包括：
接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；
将所述图像中所包括的至少一个分块二值化，所述分块包括参考数目个像素；
通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数最小化来将所述至少一个分块匹配到所述参考光图案的一个子图案；以及
基于所述至少一个分块与所述一个子图案之间的不同来确定所述图像的所述至少一个分块的深度的估测值。
9.根据权利要求8所述的方法，其中，所述每一个经二值化的子图案中的1的所述第二数目是通过以下方式确定：将第一经二值化的子图案中的1的所述第二数目递增2来获得位于所述第一经二值化的子图案后面的第二经二值化的子图案中的1的所述第二数目。
10.根据权利要求8所述的方法，其中，所述误差函数是基于所述参考光图案的白色像素子集及所述参考光图案的黑色像素子集。
11.根据权利要求8所述的方法，其中，所述误差函数是基于所述参考光图案中的白色分块的计数及所述参考光图案中的黑色分块的计数的平方。
12.根据权利要求8所述的方法，其中，所述误差函数是基于二进制参考分块中的黑色分块的计数除以白色分块的计数所得的值。
13.一种通过结构光系统来估测图像中的深度的方法，其中所述方法包括：
接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；
将所述图像的至少一个分块二值化；
基于经二值化的所述分块对应于所述参考光图案的一个子图案的机率来对经二值化的所述分块与所述一个子图案进行匹配；以及
基于所述至少一个分块与所述一个子图案之间的不同来确定所述至少一个分块的深度的估测值。
14.根据权利要求13所述的方法，其中，经二值化的所述分块对应于所述一个子图案的所述机率包含在查找表中。
15.根据权利要求14所述的方法，其中，所述查找表包括机率矩阵，且所述至少一个分块包括参考数目个像素，且
其中，对经二值化的所述分块与所述一个子图案进行匹配包括：
由经二值化的所述分块形成向量；以及
通过将经二值化的所述分块的所述向量乘以所述机率矩阵来确定所述至少一个分块的类别，所述类别对应于与所述至少一个分块匹配的所述一个子图案。
16.根据权利要求15所述的方法，其中，所述机率矩阵是基于贝叶斯规则通过线性优化或通过神经网络来形成。
17.根据权利要求14所述的方法，其中，对经二值化的所述分块与所述一个子图案进行匹配包括：使用经二值化的所述分块来存取所述查找表中的代表所述至少一个分块对应于所述子图案的机率的项。
18.根据权利要求17所述的方法，其中，所述查找表的每一个项代表所述至少一个分块对应于所述子图案中的每一个子图案的机率中的每一个机率的关联性得分。
19.根据权利要求17所述的方法，其中，所述查找表的每一个项代表所述子图案中的每一个子图案的类别标识。
CN201811391750.0A 2017-12-12 2018-11-21 估测图像中的深度的方法 Pending CN109919992A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762597904P 2017-12-12 2017-12-12
US62/597,904 2017-12-12
US15/907,242 2018-02-27
US15/907,242 US10740913B2 (en) 2017-12-12 2018-02-27 Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system

Publications (1)

Publication Number Publication Date
CN109919992A true CN109919992A (zh) 2019-06-21

Family

ID=66697088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811391750.0A Pending CN109919992A (zh) 2017-12-12 2018-11-21 估测图像中的深度的方法

Country Status (5)

Country Link
US (3) US10740913B2 (zh)
JP (1) JP7257781B2 (zh)
KR (1) KR102521052B1 (zh)
CN (1) CN109919992A (zh)
TW (1) TWI775935B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423560B2 (en) * 2019-07-05 2022-08-23 Everdrone Ab Method for improving the interpretation of the surroundings of a vehicle

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112438046A (zh) * 2018-07-17 2021-03-02 华为技术有限公司 点云译码（pcc）中的预测类型信令和时间顺序信令
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US10944991B2 (en) * 2018-10-03 2021-03-09 Samsung Electronics Co., Ltd. Prediction for matched patch index coding
CN115797666A (zh) * 2021-09-09 2023-03-14 安霸国际有限合伙企业 用于使用卷积技术来加速散斑图像块匹配

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017062A (ja) * 2003-06-25 2005-01-20 Hitachi Ltd 立体形状計測装置、加工装置、および半導体デバイス製造方法
US20060126958A1 (en) * 2004-12-14 2006-06-15 Kang Ki-Min Error diffusion processing method and apparatus
US20080037044A1 (en) * 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
US20160182889A1 (en) * 2014-12-19 2016-06-23 Datalogic ADC, Inc. Depth camera system using coded structured light
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615003A (en) 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
JPH08272970A (ja) * 1995-03-30 1996-10-18 Toppan Printing Co Ltd 画像認識装置
US6229913B1 (en) * 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5867250A (en) 1996-05-03 1999-02-02 Baron; William S. Apparatus and method for optically mapping front and back surface topographies of an object
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
JP2006098252A (ja) 2004-09-30 2006-04-13 Brother Ind Ltd ３次元情報取得方法
US7599071B2 (en) 2005-04-06 2009-10-06 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US7448009B2 (en) 2006-01-03 2008-11-04 Texas Instruments Incorporated Method of leakage optimization in integrated circuit design
WO2007087405A2 (en) 2006-01-24 2007-08-02 The Trustees Of Columbia University In The City Of New York Capturing scene images and depth geometry and generating a compensation image
WO2008053078A1 (en) 2006-10-31 2008-05-08 Oy Modines Ltd. Light outcoupling structure for a lighting device
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US7930674B2 (en) 2007-03-29 2011-04-19 Agere Systems Inc. Modifying integrated circuit designs to achieve multiple operating frequency targets
US7496867B2 (en) 2007-04-02 2009-02-24 Lsi Corporation Cell library management for power optimization
US7849422B2 (en) 2007-06-20 2010-12-07 Lsi Corporation Efficient cell swapping system for leakage power reduction in a multi-threshold voltage process
US8908016B2 (en) 2008-10-06 2014-12-09 Mantivision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
WO2011013373A1 (en) 2009-07-29 2011-02-03 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
CA2781393C (en) 2009-11-19 2017-08-08 Modulated Imaging, Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
JP2014021017A (ja) * 2012-07-20 2014-02-03 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9599558B2 (en) 2012-08-07 2017-03-21 Carl Zeiss Industrielle Messtechnik Gmbh Measuring device for measuring a measurement object and related method
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
WO2014106843A2 (en) 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
CN105580052A (zh) 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
KR102027184B1 (ko) 2013-10-23 2019-10-01 페이스북, 인크. 동적 구조화 광을 사용하는 3차원 깊이 맵핑
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
MX364492B (es) 2014-07-08 2019-04-29 Facebook Inc Método y sistema para ajustar el patrón de luz para formación de imágenes de luz estructurada.
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム
WO2016087915A2 (en) 2014-12-05 2016-06-09 Mantisvision Ltd. Markers in 3d data capture
KR102330250B1 (ko) * 2015-01-22 2021-11-23 삼성전자주식회사 디스플레이 장치, 제어 장치 및 그 동작 방법
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
JP6656611B2 (ja) * 2015-07-24 2020-03-04 公立大学法人広島市立大学 ３次元形状計測装置、診断システム及び３次元形状計測方法
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
TWI604414B (zh) * 2016-05-31 2017-11-01 財團法人工業技術研究院 投影系統及其非平面自動校正方法與自動校正處理裝置
JP6480902B2 (ja) 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
US10108069B2 (en) 2017-01-24 2018-10-23 The Boeing Company Electromagnetic effect resistant spatial light modulator
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017062A (ja) * 2003-06-25 2005-01-20 Hitachi Ltd 立体形状計測装置、加工装置、および半導体デバイス製造方法
US20060126958A1 (en) * 2004-12-14 2006-06-15 Kang Ki-Min Error diffusion processing method and apparatus
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
US20080037044A1 (en) * 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
US20120154607A1 (en) * 2007-12-28 2012-06-21 Moed Michael C Deformable Light Pattern for Machine Vision System
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
US20160182889A1 (en) * 2014-12-19 2016-06-23 Datalogic ADC, Inc. Depth camera system using coded structured light
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宇 等: ""基于多视差函数拟合的集成成像深度提取方法"", 《光学学报》, vol. 35, no. 4, 30 April 2015 (2015-04-30) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423560B2 (en) * 2019-07-05 2022-08-23 Everdrone Ab Method for improving the interpretation of the surroundings of a vehicle

Also Published As

Publication number Publication date
KR20190070242A (ko) 2019-06-20
US20190180459A1 (en) 2019-06-13
TWI775935B (zh) 2022-09-01
US11551367B2 (en) 2023-01-10
JP7257781B2 (ja) 2023-04-14
US10740913B2 (en) 2020-08-11
TW201928877A (zh) 2019-07-16
US20200242789A1 (en) 2020-07-30
US20230116406A1 (en) 2023-04-13
KR102521052B1 (ko) 2023-04-12
JP2019105634A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
CN109919992A (zh) 估测图像中的深度的方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN112183501B (zh) 深度伪造图像检测方法及装置
CN111242088A (zh) 一种目标检测方法、装置、电子设备及存储介质
Fang et al. Learnable multi-level frequency decomposition and hierarchical attention mechanism for generalized face presentation attack detection
CN111881804B (zh) 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN112380978B (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN107832727A (zh) 一种室内商场店铺特征提取方法
CN114723984A (zh) 一种全自动的人像数据匿名化方法
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
CN114463685A (zh) 行为识别方法、装置、电子设备及存储介质
CN114549833A (zh) 一种实例分割方法、装置、电子设备及存储介质
CN113887408A (zh) 活化人脸视频的检测方法、装置、设备及存储介质
CN109919850A (zh) 用于qis传感器的高对比度结构光图案
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
CN117036652B (zh) 布局信息生成方法、模型训练方法、装置及电子设备
Zhang et al. Skeleton body pose tracking from efficient three-dimensional motion estimation and volumetric reconstruction
CN114120113A (zh) 一种适用于危化品堆垛距离检测的双目图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination