CN104506838B - 一种符号阵列面结构光的深度感知方法、装置及系统 - Google Patents

一种符号阵列面结构光的深度感知方法、装置及系统 Download PDF

Info

Publication number
CN104506838B
CN104506838B CN201410810399.XA CN201410810399A CN104506838B CN 104506838 B CN104506838 B CN 104506838B CN 201410810399 A CN201410810399 A CN 201410810399A CN 104506838 B CN104506838 B CN 104506838B
Authority
CN
China
Prior art keywords
symbol
image
incoming
incoming symbol
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410810399.XA
Other languages
English (en)
Other versions
CN104506838A (zh
Inventor
葛晨阳
周艳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Original Assignee
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd filed Critical NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201410810399.XA priority Critical patent/CN104506838B/zh
Publication of CN104506838A publication Critical patent/CN104506838A/zh
Priority to US14/807,433 priority patent/US9829309B2/en
Application granted granted Critical
Publication of CN104506838B publication Critical patent/CN104506838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种符号阵列面结构光的深度感知方法、装置及系统,由激光图形投射器向目标物体或投射空间投射由符合阵列构成的编码图形Pattern,图像传感器采集获得连续的输入符号编码图像序列,先对输入符号编码图像进行解码,解码过程包括预处理、符号定位、符号识别、符号校正,完成符号识别的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配计算,得到视差值,再结合深度计算公式生成网格形式表示的目标物体或投射空间的深度点云信息。本发明内容可快速获得动态场景下目标物体或投射空间的高分辨率、高精度的深度信息,便于模块方式移植入或嵌入智能设备中用于3D建模、3D地图生成等。

Description

一种符号阵列面结构光的深度感知方法、装置及系统
技术领域
本发明属于模式识别、人机交互、三维重建及机器视觉技术领域,具体涉及一种符号阵列面结构光的深度感知方法、装置及系统。
背景技术
在消费电子领域,深度感知技术有助于提高电子产品的智能水平和交互能力,帮助智能终端理解人类动作,成为“现实物理世界”与“虚拟网络世界”交互手段之一,不仅可以在智能电视、智能手机、家电、平板PC等领域实现创新应用,也可用于智能视频监控、面部识别系统、三维动画制作、动态场景检测、3D地图实时生成等三维重建场合。在工业领域,高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业3D建模、3D打印、医疗成像、物联网3D视觉感知、机器人操控等领域有着广泛的应用需求。
基于结构光主动视觉模式的深度感知技术(激光图形投射器主动投射图形Pattern、图像传感器采集连续图像)可以较为准确地获取目标物体或投射空间的深度信息,该模式相比双目立体摄像头,通过编码结构光主动对投射物或投射空间进行特征标定,所获取的深度图信息更稳定可靠、受环境光影响小、匹配过程不受物体纹理信息的影响等优势。如微软Kinect,其通过主动投射红外激光散斑图像进行特征标定,由红外摄像头采集红外图像序列,再由深度感知专用芯片计算获取深度信息。但Kinect通过DoE衍射生成激光散斑图像来获取深度信息的方式难以获得高分辨率、高精度的深度信息,难以满足工业建模等领域的应用需求,且不具备自我深度校正的能力。同时现有的结构光编码深度感知和三维测量技术,难以实时获得动态场景下目标物体高分辨率、高精度的深度信息。
发明内容
鉴于此,本发明的目的在于提供一种符号阵列面结构光的深度感知方法、装置及系统,基于结构光编码的主动视觉模式,由激光图形投射器向目标物体或投射空间投射由符合阵列构成的编码图形Pattern,图像传感器采集获得连续的输入符号编码图像序列,先对输入符号编码图像进行解码,解码过程包括预处理、符号定位、符号识别、符号校正,完成符号识别的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配计算,得到视差值,再结合深度计算公式生成网格形式表示的目标物体或投射空间的深度点云信息。
本发明的一种符号阵列面结构光的深度感知方法,包括:
获取所述符号阵列面结构光的输入符号编码图像;
对所述输入符号编码图像进行自适应预处理;
对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置;
对预处理之后的输入符号编码图像进行符号识别,映射为对应的数字;
根据所述对应的数字对识别后的符号进行校正,完成输入符号编码图像的解码;
将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,生成符号对应的视差值;
根据所述参考符号解码图像的已知距离和所述视差值,确定所述输入符号编码图像中符号中心点的深度值。
优选地,所述对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置,包括:根据设计参数逐个计算所述符号中心点的位置或根据符号特征信息,利用模式识别确定所述符号中心点的位置。
优选地,所述符号识别,包括:模板匹配方法,将编码符号作为标准匹配符号模板,标准匹配符号模板可围绕符号中心点进行小角度的旋转或对符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
优选地,所述符号识别,包括:基于样本训练进行SVM模式识别方法。
优选地,所述映射为对应的数字,包括:将识别出的正确的符号映射到具体的数字N上,未能正确识别的符号用特定数字M表示。
优选地,所述根据所述对应的数字对识别后的符号进行校正,包括:对识别出的符号,结合其周围符号,利用符号编码规则进行验证。
优选地,符合所述符号编码规则的符号识别为正确,不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号并进行进一步校正,通过循环校正填补,生成校正后的输入符号解码图像。
优选地,所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,包括通过输入符号在参考符号解码图像中对应位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹配符号。
优选地,所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,包括:输入符号结合其周围符号组成输入符号模板,以模板形式在参考符号解码图象的搜索窗搜寻最优匹配模板,得到输入符号的匹配符号,从而得到输入符号与匹配符号之间的视差值(Δx,Δy)。
优选地,所述输入符号编码图像中符号中心点的深度值,包括:利用X或Y方向的视差值Δm(Δx或Δy)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f和点距参数μ,根据以下深度计算公式计算得到输入符号中心点o的深度信息d′:
d ′ = d - Δmμ d 2 fS + Δmμd = fSd fS + Δmμd
本发明可快速获得动态场景下目标物体或投射空间的高分辨率、高精度的深度信息,既可以通过软件编程方式移植到不同的硬件平台、操作系统上,也易于通过硬件实现集成入芯片中,降低了智能设备集成深度感知模块获取高分辨率、高精度深度信息的门槛,使智能设备(智能手机、平板电脑等移动设备)进行实时的3D扫描、3D建模和实时生成3D地图成为可能。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
相应地,本发明还包括一种符号阵列面结构光的深度感知装置,及包括所述装置的系统。
附图说明
图1是本发明实施例的整体流程框图;
图2是本发明实施例的符号编码图像示意图;
图3是本发明实施例的编码符号示意图;
图4是本发明实施例的符号与数字映射关系;
图5是本发明实施例的符号校正方法;
图6是本发明实施例的符号匹配方法;
图7是本发明实施例的符号匹配后确定视差值示意图;
图8是本发明实施例的符号深度计算方法示意图;
图9是本发明的又一实施例;
图10是本发明的又一实施例。
具体实施方式
下面结合附图对本发明进行进一步的详细说明。
图1示意性图示了本发明实施例符号阵列面结构光深度感知的整体流程图。为了清楚说明,下文中将结合图2、图3、图4、图5、图6、图7、图8、图9、图10来描述该方法。
所述的激光图形投射器是一种激光编码图形Pattem发射装置,所投射的图形可以是固定的,也可以通过编程更改;其发射可与图像传感器的接收进行同步控制;所投射的图形具有一定的水平垂直视角FoV;激光光源可以是可见光、红外、紫外线、X射线。
所述的编码符号是指一种规则的、具有相同大小的符号,例如数字、字母、特定形状符号等。编码符号之间可互相区分、具有唯一性,同时也可以互相串接起来。
所述的输入符号编码图像是图像传感器采集获得、由一些编码符号按一定的规则有机排列而成。该图像由激光图形投射器投射到目标物体或投射空间上作为特征进行标定,再由图像传感器采集获得。一般由水平方向相同编码符号构成,但其上下编码符号不同,经一定角度的整体旋转,从而实现在水平或垂直方向的一定范围内编码符号不重复。
所述的参考符号解码图像是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d的平面(该平面可由投影布、平板等构成,用于呈现清晰稳定的激光图像,该平面可称之为参考基准平面)上,再由图像传感器采集得到。参考符号解码图像经与输入符号编码图像同样的自适应预处理、符号定位、符号识别、符号校正后,作为输入符号编码图像进行符号匹配计算的匹配基准图形,可由一幅或多幅不同距离的激光符号编码图像构成。
所述的输入符号解码图像是输入符号编码图像经自适应预处理、符号定位、符号识别和一次或多次符号校正填补后输出的符号图像,即指已实现解码的图像。
根据本发明的一种符号阵列面结构光的深度感知方法,包括以下步骤:
步骤1:自适应预处理。对图像传感器采集获得的输入符号编码图像进行图像自适应预处理,使输入符号编码图像序列特性较为一致,包括增强、去噪、去除光照背景影响等。
其中输入符号编码图像是由一些编码符号按一定的规则有机排列而成,如图2所示,由激光图形投射器投射到目标物体或投射空间上作为特征进行标定,再由图像传感器采集获得。所排列的编码符号在水平或垂直方向的一定范围内不重复。
自适应预处理过程包括输入视频格式转换(如Bayer、ITU601、ITU656、MIPI接口格式转换)、色度空间转换(如RGB转YUV)、灰度图像一致性增强、灰度图像二值化(也可不进行二值化,直接对灰度图像进行处理)等。通过自适应预处理,使所采集的输入符号编码图像更清晰、减少噪声和光照影响,并实现输入符号编码图像序列的一致性增强,有利于本发明内容的符号识别、校正和深度计算。
步骤2:符号定位。经图像自适应预处理后的输入符号编码图像进行符号定位,识别符号中心点所在的位置。要确定输入符号编码图像中符号中心点的位置,由于编码过程中所采用的符号一般大小是一致的,一种方法是根据设计参数(符号大小、符号排列规则、符号倾斜角度等)可逐个计算出符号中心点所在;另一种方法是根据符号特征信息,利用模式识别方法来确定该符号中心点的位置。
步骤3:符号识别。经图像自适应预处理后的输入符号编码图像进行符号识别,识别出输入符号编码图像中正确的符号,并映射到具体的数字N上,即用数字来代表该符号,相同的符号映射到同一数字;未能正确识别的符号可用特定数字M表示。
图3是本发明实施例的编码符号示意图,由16种编码符号组成,每种编码符号由点、线按不同的排列结构组成,具有唯一性,互相之间识别区分,也可以互相串接起来。不同编码符号的大小相同。图3仅是本发明一种实施例,也可以由其它类型的符号组成,其符号形状、符号个数的不同都属于本发明范围。
图4是本发明实施例的16种编码符号与数字0~15的一一映射关系。未能正确识别的编码符号(即识别过程中不符合16种编码符号规律的符号,其产生原因包括所投射的激光图形被目标物体吸收、遮挡,或激光投射距离过远,自适应预处理过程中符号处理缺陷等)可用数字16表示。图4仅是本发明一种实施例,数字仅用于区别和代表符号,符号的其它区别表示方法都属于本发明范围。
编码符号的识别过程,一种采用模板匹配方法进行识别。本发明实施例,将16种编码符号作为标准匹配符号模板,由于输入符号编码图像中由于被投射物体角度等原因,部分编码符号存在形变问题,标准匹配符号模板可围绕符号中心点(步骤2中所定位位置)进行小角度的旋转或对符号进行线性、非线性变换后识别输入符号编码图像中的具体符号,从而增强其识别的鲁棒性。另一种可采用样本训练方法进行SVM模式识别。本发明实施例,针对这16种编码符号的每一种符号,从输入符号编码图像中人工或机器选择K组正确的符号作为样本进行训练。以上两种方法尽是本发明实施例,采用其它识别方法都属于本发明范围。
步骤4:符号校正。经符号识别后的输入符号编码图像,利用符号编码规则,通过一次或多次校正填补,生成输入符号解码图像,如图5所示,具体包括:
步骤4.1:符号初次校正。经符号识别后的输入符号编码图像,验证已识别出的符号的正确性,具体方法:对当前已识别出的符号,结合其周围符号(上下左右斜方向一个或多个符号),利用符号编码规则进行验证,符合符号编码规则的认为当前符号正确,不符合编码规则的符号再用特定数字M表示为未正确识别的符号。
图6是本发明实施例的符号校正方法。图6.a为符号编码规则示例,用三列数字表示的编码符号排列,数字对应符号,其符合一定的编码规则,参考符号解码图像中的编码排列就是符合这种编码规则,其中的任意一个符号都可以根据其周围关系(上下左右斜方向)来确定,在水平或垂直一定的范围内具有唯一性。图6.b为输入符号编码图像示例,用圆圈表示的数字为步骤3识别出来的符号,用数字16表示的符号为未能正确识别的符号,经符号初次校正后,见图6.c,已识别出的符号结合其周围符号(如上下左右4个符号),根据符号编码规则经验证得知数字10、9对应的符号完全正确,未通过验证的符号重新改为数字16表示为未正确识别的符号。
步骤4.2:符号循环校正填补。对经步骤4.1的输入符号编码图像,对在已正确识别的符号周围(上下左右斜方向)存在未正确识别的符号时,利用符号编码规则,进行一次或多次循环校正填补,最终生成符号正确识别(即实现解码)的输入符号解码图像。
如图6所示,进入符号循环校正填补阶段,对未能正确的符号的处理,利用完全正确的符号根据符号编码规则,在其上下左右、斜对角共8个方向向外进行膨胀,比如根据一致的符号编码规则,数字10的左右为数字1,上为数字15,下为6,左上、右上为数字6,左下、右下为数字5。通过多次循环校正和填补,最终输出符号正确的输入符号解码图像,从而完成编码符号的解码过程。
步骤5:符号匹配。输入符号解码图像与已知距离的参考符号解码图像进行符号匹配计算,生成符号对应的偏移量,即视差值。
图7是本发明实施例的符号匹配后确定视差值方法示意图。其中参考符号解码图像的已知距离为d,其符号排列符合编码规则,作为输入符号编码图像进行符号匹配计算的匹配基准图形,可以由一幅或多幅不同距离的激光符号编码图像构成。输入符号解码图像中符号10在参考符号解码图像中搜寻其匹配的符号为例,符号10结合其周围(上下左右、斜对角)多个符号组成输入符号模板,模板形状包括垂直方向1×3窗口、五点窗口(左右上下及中间)、3×3窗口等,通过输入符号模板在参考符号解码图像中对应位置的符号为中心、一定大小范围内W×H搜索与输入符号模版最接近且相一致的匹配符号。在参考符号解码图像中成功搜索到匹配符号,即得到输入符号与匹配符号之间的视差值(Δx,Δy),也就是视差值。
步骤6:深度计算确定。视差值结合图像传感器等已知参数,利用深度计算公式获得网格方式表示、对应符号所在位置的深度点云信息。利用X或Y方向的视差值Δm(Δx或Δy)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f和点距参数μ,根据深度计算公式计算得到输入符号中心点o的深度信息d′,如图8所示。
在本实施例中,根据以下深度计算公式计算d′:
d ′ = d - Δmμ d 2 fS + Δmμd = fSd fS + Δmμd
其中视差值Δm等于输入符号解码图像的输入符号中心点位置x坐标值-参考符号解码图像的匹配符号中心点位置x′坐标值,或输入符号解码图像的输入符号中心点位置y坐标值-参考符号解码图像的匹配符号中心点位置y′坐标值,有正负。如视差值Δm为正,表示比参考符号解码图像距离更近;视差值Δm为负,表示比参考符号解码图像距离更远。
进一步地,将输入符号解码图像的符号中心点移到同一行的下一个符号中心点上,重复步骤5,得到下一个符号中心点对应的深度值,如此逐个符号计算得到输入符号编码图像中所有符号对应的深度值(用深度点云表示)。同理也可以用于计算输入符号编码图像序列的深度点云信息。
图9公开了本发明的另一个实施例,涉及一种符号阵列面结构光的深度感知装置,包括:
获取模块,用于获取所述符号阵列面结构光的输入符号编码图像;
预处理模块,用于对所述输入符号编码图像进行自适应预处理;
定位模块,用于对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置;
识别模块,用于对预处理之后的输入符号编码图像进行符号识别,映射为对应的数字;
校正模块,用于根据所述对应的数字对识别后的符号进行校正,完成输入符号编码图像的解码;
匹配模块,用于将校正后的输入符解码图像与已知距离的参考符号解码图像进行符号匹配,生成符号对应的视差值;
确定模块,用于根据所述参考符号解码图像的已知距离和所述视差值,确定所述输入符号编码图像中的符号中心点的深度值。
其中,定位模块用于根据设计参数逐个计算所述符号中心点的位置或根据符号特征信息,利用模式识别确定所述符号中心点的位置。
其中,识别模块通过模板匹配将编码符号作为标准匹配符号模板,标准匹配符号模板围绕符号中心点进行小角度的旋转或对符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
其中,识别模块用于将识别出的正确的符号映射到具体的数字N上,未能正确识别的符号用特定数字M表示。
其中,校正模块用于对识别出的符号,结合其周围符号,利用所述符号的符号编码规则进行验证,符合所述符号编码规则的符号识别为正确,不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号并进行进一步校正,通过循环校正填补,生成校正后的输入符号解码图像。
其中,匹配模块用于通过输入符号在参考符号解码图像中对应位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹配符号。
其中,确定模块利用X或Y方向的视差值Δm(Δx或Δy)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f和点距参数μ,根据以下深度计算公式计算得到输入符号中心点o的深度信息d′:
d ′ = d - Δmμ d 2 fS + Δmμd = fSd fS + Δmμd .
图10公开了本发明的又一实施例,涉及一种符号阵列面结构光的深度感知系统,包括激光图形投射器和上一实施例的深度感知装置,其中激光图形投射器向目标物体或投射空间投射编码图形后由深度感知装置接收到输入符号编码图像。
虽然上述的实施例在特定的系统中完成,然其并非限定本发明,本发明可类似的应用到相似的图案投射和图像传感器系统中;同样,用于作为匹配标准的参考符号解码图像并非限定为1幅,可以是多幅图像。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (16)

1.一种符号阵列面结构光的深度感知方法,其特征在于,包括:
获取所述符号阵列面结构光的输入符号编码图像;
对所述输入符号编码图像进行自适应预处理;
对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置;
对预处理之后的输入符号编码图像进行符号识别,映射为对应的数字;
根据所述对应的数字对识别后的符号进行校正,完成输入符号编码图像的解码;
将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,生成符号对应的视差值;
根据所述参考符号解码图像的已知距离和所述视差值,确定所述输入符号编码图像中的符号中心点的深度值。
2.根据权利要求1所述的方法,其特征在于:所述对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置,包括:根据设计参数逐个计算所述符号中心点的位置或根据符号特征信息,利用模式识别确定所述符号中心点的位置。
3.根据权利要求1或2所述的方法,其特征在于:所述符号识别,包括:模板匹配方法,将编码符号作为标准匹配符号模板,标准匹配符号模板围绕符号中心点进行小角度的旋转或对符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
4.根据权利要求1所述的方法,其特征在于:所述映射为对应的数字,包括:将识别出的正确的符号映射到具体的数字N上,未能正确识别的符号用特定数字M表示。
5.根据权利要求1或4所述的方法,其特征在于:所述根据所述对应的数字对识别后的符号进行校正,包括:对识别出的符号,结合其周围符号,利用所述符号的符号编码规则进行验证。
6.根据权利要求5所述的方法,其特征在于:符合所述符号编码规则的符号识别为正确,不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号并进行进一步校正,通过循环校正填补,生成校正后的输入符号解码图像。
7.根据权利要求1所述的方法,其特征在于:所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,包括通过输入符号在参考符号解码图像中对应位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹配符号。
8.根据权利要求1或7所述的方法,其特征在于:所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配,生成符号对应的视差值,根据所述已知距离和所述视差值,确定所述输入符号编码图像的符号中心点的深度包括:
输入符号结合其周围符号组成输入符号模板,以模板形式在参考符号解码图象的搜索窗搜寻最优匹配模板,得到输入符号的匹配符号,从而得到输入符号与匹配符号之间的视差值(Δx,Δy);
利用X或Y方向的视差值Δm(Δx或Δy)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f和点距参数μ,根据以下深度计算公式计算得到输入符号中心点o的深度信息d′;
d ′ = d - Δmμd 2 f S + Δ m μ d = f S d f S + Δ m μ d .
9.一种符号阵列面结构光的深度感知装置,其特征在于,包括:
获取模块,用于获取所述符号阵列面结构光的输入符号编码图像;
预处理模块,用于对所述输入符号编码图像进行自适应预处理;
定位模块,用于对预处理之后的输入符号编码图像进行符号定位,识别所述输入符号编码图像中所有符号中心点的位置;
识别模块,用于对预处理之后的输入符号编码图像进行符号识别,映射为对应的数字;
校正模块,用于根据所述对应的数字对识别后的符号进行校正,完成输入符号编码图像的解码;
匹配模块,用于将校正后的输入符解码图像与已知距离的参考符号解码图像进行符号匹配,生成符号对应的视差值;
确定模块,用于根据所述参考符号解码图像的已知距离和所述视差值,确定所述输入符号编码图像中的符号中心点的深度值。
10.根据权利要求9所述的装置,其特征在于:所述定位模块用于根据设计参数逐个计算所述符号中心点的位置或根据符号特征信息,利用模式识别确定所述符号中心点的位置。
11.根据权利要求9或10所述的装置,其特征在于:所述识别模块通过模板匹配将编码符号作为标准匹配符号模板,标准匹配符号模板围绕符号中心点进行小角度的旋转或对符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
12.根据权利要求9所述的装置,其特征在于:所述识别模块用于将识别出的正确的符号映射到具体的数字N上,未能正确识别的符号用特定数字M表示。
13.根据权利要求9或12所述的装置,其特征在于:所述校正模块用于对识别出的符号,结合其周围符号,利用所述符号的符号编码规则进行验证,符合所述符号编码规则的符号识别为正确,不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号并进行进一步校正,通过循环校正填补,生成校正后的输入符号解码图像。
14.根据权利要求9所述的装置,其特征在于:所述匹配模块用于通过输入符号在参考符号解码图像中对应位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹配符号。
15.根据权利要求9所述的装置,其特征在于:所述确定模块利用X或Y方向的视差值Δm(Δx或Δy)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f和点距参数μ,根据以下深度计算公式计算得到输入符号中心点o的深度信息d′:
d ′ = d - Δmμd 2 f S + Δ m μ d = f S d f S + Δ m μ d .
16.一种符号阵列面结构光的深度感知系统,包括激光图形投射器和如权利要求9-15任一所述的深度感知装置,所述激光图形投射器向目标物体或投射空间投射编码图形后由所述深度感知装置接收到输入符号编码图像。
CN201410810399.XA 2014-12-23 2014-12-23 一种符号阵列面结构光的深度感知方法、装置及系统 Active CN104506838B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410810399.XA CN104506838B (zh) 2014-12-23 2014-12-23 一种符号阵列面结构光的深度感知方法、装置及系统
US14/807,433 US9829309B2 (en) 2014-12-23 2015-07-23 Depth sensing method, device and system based on symbols array plane structured light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410810399.XA CN104506838B (zh) 2014-12-23 2014-12-23 一种符号阵列面结构光的深度感知方法、装置及系统

Publications (2)

Publication Number Publication Date
CN104506838A CN104506838A (zh) 2015-04-08
CN104506838B true CN104506838B (zh) 2016-06-29

Family

ID=52948552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410810399.XA Active CN104506838B (zh) 2014-12-23 2014-12-23 一种符号阵列面结构光的深度感知方法、装置及系统

Country Status (2)

Country Link
US (1) US9829309B2 (zh)
CN (1) CN104506838B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534970B2 (en) * 2014-12-24 2020-01-14 Datalogic Ip Tech S.R.L. System and method for reading direct part marking (DPM) codes on objects
CN112009355B (zh) * 2015-04-10 2024-05-24 麦克赛尔株式会社 图像投射装置和方法
CN104809459B (zh) * 2015-04-21 2018-04-27 西安交通大学 一种符号阵列结构光码字校正方法
CN104952074B (zh) * 2015-06-16 2017-09-12 宁波盈芯信息科技有限公司 一种深度感知计算的存储控制方法及装置
CN105069789B (zh) * 2015-08-05 2018-03-06 西安电子科技大学 基于编码网格模板的结构光动态场景深度获取方法
AU2015101099A6 (en) * 2015-08-10 2016-03-10 Wisetech Global Limited Volumetric estimation methods, devices, & systems
EP3722746A1 (en) * 2015-12-18 2020-10-14 Sony Corporation Image processing apparatus and method, data, and recording medium
CN105823801B (zh) * 2016-03-03 2019-01-18 重庆大学 一种基于深度信念网络特征提取的电子鼻漂移补偿方法
DE202016104447U1 (de) * 2016-07-21 2016-08-22 Fibro Gmbh Vorrichtung zum Ausführen eines Verfahrens zur Erzeugung und Detektieren einer fälschungssicheren Identifikation
CN106225719B (zh) * 2016-08-04 2018-12-04 西安交通大学 一种符号阵列结构光编码图案的生成方法及装置
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
CN107424187B (zh) * 2017-04-17 2023-10-24 奥比中光科技集团股份有限公司 深度计算处理器、数据处理方法以及3d图像设备
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
US10387803B2 (en) 2017-08-11 2019-08-20 United Technologies Corporation Sensor system for transcoding data
US10388005B2 (en) 2017-08-11 2019-08-20 United Technologies Corporation Sensor system for data enhancement
WO2019093959A1 (en) * 2017-11-10 2019-05-16 Flatfrog Laboratories Ab A method of generating a three-dimensional mapping of an object
CN109901300B (zh) * 2017-12-08 2021-04-06 宁波盈芯信息科技有限公司 一种基于垂直腔面发射激光器规则点阵的激光散斑投射器
CN110047094A (zh) * 2018-01-17 2019-07-23 宁波盈芯信息科技有限公司 一种块匹配视差计算的优化方法及装置
KR101955847B1 (ko) * 2018-01-23 2019-03-11 한국표준과학연구원 위상천이 편향측정법에서 비선형 응답특성을 보상하기 위한 시스템 및 방법
CN108449529B (zh) 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度计算处理器及移动终端
CN108399596B (zh) * 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
CN108549867B (zh) * 2018-04-12 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
EP3624006A4 (en) * 2018-04-28 2020-11-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING, DEVICE, COMPUTER-READABLE STORAGE MEDIA AND ELECTRONIC DEVICE
CN109194947A (zh) * 2018-09-13 2019-01-11 广东光阵光电科技有限公司 双目摄像模组及移动终端
CN110736965B (zh) * 2018-10-18 2023-06-30 武汉卫思德科技有限公司 一种可见光定位的二维编码与解码方法
US11138694B2 (en) 2018-12-05 2021-10-05 Tencent America LLC Method and apparatus for geometric smoothing
CN110285831B (zh) * 2019-07-05 2020-12-29 浙江大学城市学院 一种网格结构光投射器标定方法
CN112395963B (zh) * 2020-11-04 2021-11-12 北京嘀嘀无限科技发展有限公司 对象识别方法和装置、电子设备及存储介质
CN113095314B (zh) * 2021-04-07 2024-07-09 科大讯飞股份有限公司 一种公式识别方法、装置、存储介质及设备
CN114331915B (zh) * 2022-03-07 2022-08-05 荣耀终端有限公司 图像处理方法及电子设备
CN117146730B (zh) * 2023-10-27 2024-01-19 清华大学 全光智能计算三维感知系统及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3991799A (en) * 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
CA2278108C (en) * 1999-07-20 2008-01-29 The University Of Western Ontario Three-dimensional measurement method and apparatus
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
WO2007059780A1 (en) * 2005-11-28 2007-05-31 3Shape A/S Coded structured light
CN101127923B (zh) * 2007-09-18 2010-05-19 深圳大学 嵌入式三维数字成像装置及其方法
US8142023B2 (en) * 2007-12-21 2012-03-27 Honda Motor Co., Ltd. Optimized projection pattern for long-range depth sensing
CN102112845B (zh) * 2008-08-06 2013-09-11 形创有限公司 用于表面特征自适应性三维扫描的系统
WO2010021972A1 (en) * 2008-08-18 2010-02-25 Brown University Surround structured lighting for recovering 3d object shape and appearance
US8861833B2 (en) * 2009-02-18 2014-10-14 International Press Of Boston, Inc. Simultaneous three-dimensional geometry and color texture acquisition using single color camera
CN101504277B (zh) * 2009-02-26 2010-11-10 浙江师范大学 一种光学三维传感获取物体三维图像的方法
JP5631025B2 (ja) * 2010-03-10 2014-11-26 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
WO2012125706A2 (en) * 2011-03-15 2012-09-20 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
KR101216953B1 (ko) * 2011-05-19 2012-12-31 (주)로봇에버 코드 라인을 이용하여 3차원 영상을 복원하는 3차원 거리 측정 시스템
KR101974651B1 (ko) * 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
CN102710951B (zh) * 2012-05-09 2014-06-25 天津大学 基于散斑结构光深度相机的多视点计算成像方法
US9188433B2 (en) * 2012-05-24 2015-11-17 Qualcomm Incorporated Code in affine-invariant spatial mask
US8805057B2 (en) * 2012-07-31 2014-08-12 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
US20140104416A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Dimensioning system
US9626568B2 (en) * 2013-11-26 2017-04-18 Rowan University Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation

Also Published As

Publication number Publication date
US20160178355A1 (en) 2016-06-23
CN104506838A (zh) 2015-04-08
US9829309B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN104506838B (zh) 一种符号阵列面结构光的深度感知方法、装置及系统
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
US10142612B2 (en) One method of binocular depth perception based on active structured light
CN103824318B (zh) 一种多摄像头阵列的深度感知方法
CN103400366B (zh) 基于条纹结构光的动态场景深度获取方法
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
CN103839258A (zh) 一种二值化激光散斑图像的深度感知方法
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及系统
KR20140099098A (ko) 능동 스테레오 매칭 방법 및 그 장치
CN103530889A (zh) 一种基于骨架提取的测量棒编码标记点解码方法
CN103020988B (zh) 一种激光散斑图像的运动向量生成方法
Lei et al. Design and decoding of an M-array pattern for low-cost structured light 3D reconstruction systems
CN111260720A (zh) 一种基于深度学习方法的目标高度测定系统
CN104537657A (zh) 一种搜索并行gpu加速的激光散斑图像深度感知方法
CN110264527A (zh) 基于zynq的实时双目立体视觉输出方法
CN115880415A (zh) 三维重建方法、装置、电子设备及存储介质
CN110598571A (zh) 活体检测方法、装置及计算机可读存储介质
CN109523570B (zh) 运动参数计算方法及装置
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN111866493B (zh) 基于头戴显示设备的图像校正方法、装置及设备
CN116912417A (zh) 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质
CN107515844B (zh) 字体设置方法、装置及移动设备
CN104809459B (zh) 一种符号阵列结构光码字校正方法
CN113283423A (zh) 基于生成网络的自然场景扭曲文本图像矫正方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant