CN109194780B - 一种结构光模组的旋转纠正方法、装置及可读存储介质 - Google Patents

一种结构光模组的旋转纠正方法、装置及可读存储介质 Download PDF

Info

Publication number
CN109194780B
CN109194780B CN201810930807.3A CN201810930807A CN109194780B CN 109194780 B CN109194780 B CN 109194780B CN 201810930807 A CN201810930807 A CN 201810930807A CN 109194780 B CN109194780 B CN 109194780B
Authority
CN
China
Prior art keywords
structured light
light
image
structural
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810930807.3A
Other languages
English (en)
Other versions
CN109194780A (zh
Inventor
林挺
曾菲菲
吴慧剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truly Opto Electronics Ltd
Original Assignee
Truly Opto Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truly Opto Electronics Ltd filed Critical Truly Opto Electronics Ltd
Priority to CN201810930807.3A priority Critical patent/CN109194780B/zh
Publication of CN109194780A publication Critical patent/CN109194780A/zh
Application granted granted Critical
Publication of CN109194780B publication Critical patent/CN109194780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明公开了一种结构光模组的旋转纠正方法、装置及可读存储介质。该旋转纠正方法包括：步骤1：将所述结构光投影器向投影平面上投射结构光斑，将所述结构光摄像头向投影平面上拍摄获取结构光图像，其中，所述结构光投影器的发光面和所述结构光摄像头的感光面均平行于所述投影平面；步骤2：在获取的结构光图像中，计算出结构光斑的0级衍射直线与结构光图像的图像边缘直线之间的夹角；步骤3：固定所述结构光投影器或结构光摄像头，依据计算出的夹角旋转所述结构光摄像头或结构光投影器，纠正所述结构光投影器的发光轴和所述结构光摄像头的进光轴之间的相对旋转。该旋转纠正方法可以纠正所述结构光模组中的结构光投影器的发光轴和结构光摄像头的进光轴之间的旋转角度。

Description

一种结构光模组的旋转纠正方法、装置及可读存储介质
技术领域
本发明涉及结构光领域，尤其涉及一种结构光模组的旋转纠正方法、装置及可读存储介质。
背景技术
随着苹果公司首次在手机上使用结构光技术，在智能终端上使用结构光模组来作人脸识别、3D感测等将会是主流的发展方向。结构光模组包括结构光投影器和结构光摄像头，所述结构光投影器用于向被摄物投射经过编码的结构光，所述结构光摄像头用于向被摄物拍摄获取结构光图像，后端的图像处理器再依据图像算法对结构光图像进行解码，得到被摄物的深度信息。
理论上，所述结构光投影器的发光轴和所述结构光摄像头的进光轴之间应该相平行，但是由于制作公差和设计误差等原因，所述结构光模组不可避免会存在倾斜问题，在对结构光模组的倾斜问题进行纠正之后，还发现存在旋转问题，即所述结构光投影器的发光轴和所述结构光摄像头的进光轴之间存在一个相对的旋转角度。
发明内容
为了解决上述现有技术的不足，本发明提供一种结构光模组的旋转纠正方法、装置及可读存储介质。该旋转纠正方法可以纠正所述结构光模组中的结构光投影器的发光轴和结构光摄像头的进光轴之间的旋转角度。
本发明所要解决的技术问题通过以下技术方案予以实现：
一种结构光模组的旋转纠正方法，结构光模组包括结构光投影器和结构光摄像头，步骤包括：
步骤1：将所述结构光投影器向投影平面上投射结构光斑，将所述结构光摄像头向投影平面上拍摄获取结构光图像，其中，所述结构光投影器的发光面和所述结构光摄像头的感光面均平行于所述投影平面；
步骤2：在获取的结构光图像中，计算出结构光斑的0级衍射直线与结构光图像的图像边缘直线之间的夹角；
步骤3：固定所述结构光投影器或结构光摄像头，依据计算出的夹角旋转所述结构光摄像头或结构光投影器，纠正所述结构光投影器的发光轴和所述结构光摄像头的进光轴之间的相对旋转。
进一步地，步骤2包括：
步骤2.1：计算出0级衍射直线；
步骤2.2：计算出的0级衍射直线与图像边缘直线之间的夹角。
进一步地，步骤2.1包括：
步骤2.1.1：对结构光图像进行二值化，形成二值化图像；
步骤2.1.2：在二值化图像中，计算出0级二值化直线；
步骤2.1.3：在结构光图像中，确定距离0级二值化直线预定距离的光斑亮点集合；
步骤2.1.4：对确定的光斑亮点集合进行直线拟合，计算出0级衍射直线。
进一步地，步骤2.1.1包括：
步骤2.1.1.1：在结构光图像中，抓取结构光斑的0级衍射点；
步骤2.1.1.2：以0级衍射点为中心，按预设的长宽尺寸提取一取值区域；
步骤2.1.1.3：计算出取值区域的亮度阈值；
步骤2.1.1.4：依据计算出的亮度阈值，对结构光图像进行二值化，形成二值化图像。
进一步地，在步骤2.1.1.3中，采用迭代阈值法计算出取值区域的亮度阈值。
进一步地，步骤2.1.2包括：
步骤2.1.2.1：在二值化图像中，确定0级二值化区域的二值化亮点集合；
步骤2.1.2.2：对确定的二值化亮点集合进行直线拟合，计算出0级二值化直线。
进一步地，在步骤2.1.2.1中，确定二值化亮点集合之前，先对二值化图像进行图像膨胀和图像腐蚀。
进一步地，在步骤2.1.4中，进行直线拟合之前，先通过四通道区域或八通道区域筛选掉光斑亮点集合中的小亮块。
一种结构光模组的旋转纠正装置，包括处理器和与所述处理器电气连接的存储器，所述存储器内储存有供所述处理器执行的计算机程序，所述处理器执行该计算机程序时，进行上述的结构光模组的旋转纠正方法中的步骤2。
一种可读存储介质，其储存有供处理器执行的计算机程序，该计算机程序被所述处理器执行时，进行上述的结构光模组的旋转纠正方法中的步骤2。
本发明具有如下有益效果：
附图说明
图1为本发明提供的结构光模组的旋转纠正方法的步骤框图；
图2为本发明提供的结构光模组的旋转纠正的检测平台的示意图；
图3为结构光摄像头拍摄获取的结构光图像的示意图；
图4为图3所示的结构光图像中的方框区域的放大示意图；
图5为图3所示的结构光图像二值化后的二值化图像的示意图；
图6为图3所示的结构光图像中的方框区域的二值化示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的说明。
实施例一
如图1所示，一种结构光模组的旋转纠正方法，结构光模组包括结构光投影器101和结构光摄像头102，步骤包括：
步骤1：如图2所示，将所述结构光投影器101向投影平面103上投射结构光斑105，将所述结构光摄像头102向投影平面103上拍摄获取如图3和4所示的结构光图像104，其中，所述结构光投影器101的发光面和所述结构光摄像头102的感光面均平行于所述投影平面103；
在该步骤1中，所述结构光摄像头102连接至旋转纠正装置，所述旋转纠正装置在读取所述结构光图像104后通过内置的旋转纠正算法来计算出所述结构光投影器101的发光轴和所述结构光摄像头102的进光轴之间的相对旋转角度。
所述投影平面103可以但不限于为投影幕布，所述旋转纠正装置可以但不限于为个人电脑。
步骤2：在获取的结构光图像104中，计算出结构光斑105的0级衍射直线1051与结构光图像104的图像边缘直线之间的夹角；
在该步骤2中，所述0级衍射直线1051对应于所述结构光投影器101的0级衍射光栅，表现为所述结构光斑105中亮度值最大的一条直线；所述0级衍射直线1051上具有一0级衍射点1052，所述0级衍射点1052对应于所述结构光投影器101的光心，表现为所述结构光斑105中亮度值最大的像素点。
该步骤2具体包括：
步骤2.1：计算出0级衍射直线1051；
该步骤2.1具体包括：
步骤2.1.1：对结构光图像104进行二值化，形成如图5和6所示的二值化图像104A；
在二值化处理中，依据亮度阈值，在所述结构光图像104中，将亮度值大于亮度阈值的所有像素点的亮度值均设置为255，形成二值化亮点，将亮度值小于亮度阈值的所有像素点的亮度值均设置为0，形成二值化暗点。在二值化图像104A中，原本的0级衍射直线1051所在的区域会形成一细长条形的0级二值化区域。
该步骤2.1.1具体包括：
步骤2.1.1.1：在结构光图像104中，抓取结构光斑105的0级衍射点1052；
该步骤2.1.1.1中，所述0级衍射点1052可通过比较亮度值或图像二值化来抓取，此为现有算法，不做详细阐述。
步骤2.1.1.2：以0级衍射点1052为中心，按预设的长宽尺寸提取一取值区域；
在该步骤2.1.1.2中，所述取值区域的长宽尺寸需依据所述0级衍射点1052的具体倾斜角度而定，倾斜角度越大，所述取值区域的长宽尺寸越小，倾斜角度越小，所述取值区域的长宽尺寸越大。
步骤2.1.1.3：计算出取值区域的亮度阈值；
在该步骤2.1.1.3中，采用迭代阈值法计算出取值区域的亮度阈值。
步骤2.1.1.4：依据计算出的亮度阈值，对结构光图像104进行二值化，形成二值化图像104A。
步骤2.1.2：在二值化图像104A中，计算出0级二值化直线1051A；
在该步骤2.1.2中，所述0级二值化直线1051A指的是细长条形的0级二值化区域的直线方程。
该步骤2.1.2具体包括：
步骤2.1.2.1：在二值化图像104A中，确定0级二值化区域的二值化亮点集合；
在所述二值化图像104A中，除0级二值化区域之外，基本上其他区域都是亮度值为0的二值化暗点，因此，可以直接将所有亮度值为255的二值化亮点视为所述0级二值化区域的二值化亮点集合。
优选地，在该步骤2.1.2.1中，确定二值化亮点集合之前，先对二值化图像104A进行图像膨胀和图像腐蚀。图像膨胀和图像腐蚀能够去掉大量离散的二值化亮点和二值化暗点，使得到的二值化亮点集合的集中度更高。
步骤2.1.2.2：对确定的二值化亮点集合进行直线拟合，计算出0级二值化直线1051A。
在该步骤2.1.2.2中，直接采用直线拟合算法就可以得出所述0级二值化直线1051A。
步骤2.1.3：在结构光图像104中，确定距离0级二值化直线1051A预定距离的光斑亮点集合；
在该步骤2.1.3中，从原结构光图像104中选取距离所述0级二值化直线1051A预定距离（比如5个像素点内）的光斑亮点形成所述光斑亮点集合。
步骤2.1.4：对确定的光斑亮点集合进行直线拟合，计算出0级衍射直线1051。
在步骤2.1.4中，进行直线拟合之前，先通过四通道区域或八通道区域筛选掉光斑亮点集合中的小亮块，所述结构光斑105中也会存在一些离散的光斑亮点，这些离散的光斑亮点可以视为孤立点，筛选掉这些离散的光斑亮点形成一些小亮块可以提高所述0级衍射直线1051的拟合精度。
步骤2.2：计算出的0级衍射直线1051与图像边缘直线之间的夹角。
步骤3：固定所述结构光投影器101或结构光摄像头102，依据计算出的夹角旋转所述结构光摄像头102或结构光投影器101，纠正所述结构光投影器101的发光轴和所述结构光摄像头102的进光轴之间的相对旋转。
在该步骤3中，以所述结构光投影器101的中心发光轴作为旋转轴，旋转所述结构光投影器101，或者，以所述结构光摄像头102的中心进光轴作为旋转轴，旋转所述结构光摄像头102。
该旋转纠正方法通过在结构光图像104中，计算所述结构光斑105的0级衍射直线1051与图像边缘之间的夹角来检测所述结构光模组中的结构光投影器101和结构光摄像头102之间的光轴相对旋转角度，以消除所述结构光投影器101的发光轴和所述结构光摄像头102的进光轴之间的相对旋转。
实施例二
一种结构光模组的旋转纠正装置，包括处理器和与所述处理器电气连接的存储器，所述存储器内储存有供所述处理器执行的计算机程序，所述处理器执行该计算机程序时，进行实施例一中所述的结构光模组的旋转纠正方法中的步骤2。
实施例三
一种可读存储介质，其储存有供处理器执行的计算机程序，该计算机程序被所述处理器执行时，进行实施例一中所述的结构光模组的旋转纠正方法中的步骤2。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制，但凡采用等同替换或等效变换的形式所获得的技术方案，均应落在本发明的保护范围之内。

Claims (10)

1.一种结构光模组的旋转纠正方法，结构光模组包括结构光投影器和结构光摄像头，其特征在于，步骤包括：
步骤1：将所述结构光投影器向投影平面上投射结构光斑，将所述结构光摄像头向投影平面上拍摄获取结构光图像，其中，所述结构光投影器的发光面和所述结构光摄像头的感光面均平行于所述投影平面；
步骤2：在获取的结构光图像中，计算出结构光斑的0级衍射直线与结构光图像的图像边缘直线之间的夹角；
步骤3：固定所述结构光投影器或结构光摄像头，依据计算出的夹角旋转所述结构光摄像头或结构光投影器，纠正所述结构光投影器的发光轴和所述结构光摄像头的进光轴之间的相对旋转。
2.根据权利要求1所述的结构光模组的旋转纠正方法，其特征在于，步骤2包括：
步骤2.1：计算出0级衍射直线；
步骤2.2：计算出的0级衍射直线与图像边缘直线之间的夹角。
3.根据权利要求2所述的结构光模组的旋转纠正方法，其特征在于，步骤2.1包括：
步骤2.1.1：对结构光图像进行二值化，形成二值化图像；
步骤2.1.2：在二值化图像中，计算出0级二值化直线；
步骤2.1.3：在结构光图像中，确定距离0级二值化直线预定距离的光斑亮点集合；
步骤2.1.4：对确定的光斑亮点集合进行直线拟合，计算出0级衍射直线。
4.根据权利要求3所述的结构光模组的旋转纠正方法，其特征在于，步骤2.1.1包括：
步骤2.1.1.1：在结构光图像中，抓取结构光斑的0级衍射点；
步骤2.1.1.2：以0级衍射点为中心，按预设的长宽尺寸提取一取值区域；
步骤2.1.1.3：计算出取值区域的亮度阈值；
步骤2.1.1.4：依据计算出的亮度阈值，对结构光图像进行二值化，形成二值化图像。
5.根据权利要求4所述的结构光模组的旋转纠正方法，其特征在于，在步骤2.1.1.3中，采用迭代阈值法计算出取值区域的亮度阈值。
6.根据权利要求3所述的结构光模组的旋转纠正方法，其特征在于，步骤2.1.2包括：
步骤2.1.2.1：在二值化图像中，确定0级二值化区域的二值化亮点集合；
步骤2.1.2.2：对确定的二值化亮点集合进行直线拟合，计算出0级二值化直线。
7.根据权利要求6所述的结构光模组的旋转纠正方法，其特征在于，在步骤2.1.2.1中，确定二值化亮点集合之前，先对二值化图像进行图像膨胀和图像腐蚀。
8.根据权利要求3所述的结构光模组的旋转纠正方法，其特征在于，在步骤2.1.4中，进行直线拟合之前，先通过四通道区域或八通道区域筛选掉光斑亮点集合中的小亮块。
9.一种结构光模组的旋转纠正装置，包括处理器和与所述处理器电气连接的存储器，所述存储器内储存有供所述处理器执行的计算机程序，其特征在于，所述处理器执行该计算机程序时，进行权利要求1-8中任一所述的结构光模组的旋转纠正方法中的步骤2。
10.一种可读存储介质，其储存有供处理器执行的计算机程序，其特征在于，该计算机程序被所述处理器执行时，进行权利要求1-8中任一所述的结构光模组的旋转纠正方法中的步骤2。
CN201810930807.3A 2018-08-15 2018-08-15 一种结构光模组的旋转纠正方法、装置及可读存储介质 Active CN109194780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810930807.3A CN109194780B (zh) 2018-08-15 2018-08-15 一种结构光模组的旋转纠正方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810930807.3A CN109194780B (zh) 2018-08-15 2018-08-15 一种结构光模组的旋转纠正方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN109194780A CN109194780A (zh) 2019-01-11
CN109194780B true CN109194780B (zh) 2020-08-25

Family

ID=64918024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810930807.3A Active CN109194780B (zh) 2018-08-15 2018-08-15 一种结构光模组的旋转纠正方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN109194780B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6971576B2 (en) * 1999-06-07 2005-12-06 Metrologic Instruments, Inc. Generalized method of speckle-noise pattern reduction and particular forms of apparatus therefor based on reducing the spatial-coherence of the planar laser illumination beam after it illuminates the target by applying spatial intensity modulation techniques during the detection of the reflected/scattered plib
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN106060399A (zh) * 2016-07-01 2016-10-26 信利光电股份有限公司 一种双摄像头自动aa的方法及装置
CN205720668U (zh) * 2016-06-24 2016-11-23 上海图漾信息科技有限公司 结构光测距装置
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
CN107462184A (zh) * 2017-08-15 2017-12-12 东南大学 一种结构光三维测量系统的参数重标定方法及其设备
CN107748475A (zh) * 2017-11-06 2018-03-02 深圳奥比中光科技有限公司 结构光投影模组、深度相机及制造结构光投影模组的方法
CN108269287A (zh) * 2017-09-19 2018-07-10 杭州先临三维科技股份有限公司 三维扫描仪的标定装置、方法、存储介质以及处理器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
KR102392794B1 (ko) * 2015-08-13 2022-05-02 삼성전자주식회사 외관 금속 프레임 안테나를 구비한 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6971576B2 (en) * 1999-06-07 2005-12-06 Metrologic Instruments, Inc. Generalized method of speckle-noise pattern reduction and particular forms of apparatus therefor based on reducing the spatial-coherence of the planar laser illumination beam after it illuminates the target by applying spatial intensity modulation techniques during the detection of the reflected/scattered plib
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
CN205720668U (zh) * 2016-06-24 2016-11-23 上海图漾信息科技有限公司 结构光测距装置
CN106060399A (zh) * 2016-07-01 2016-10-26 信利光电股份有限公司 一种双摄像头自动aa的方法及装置
CN107462184A (zh) * 2017-08-15 2017-12-12 东南大学 一种结构光三维测量系统的参数重标定方法及其设备
CN108269287A (zh) * 2017-09-19 2018-07-10 杭州先临三维科技股份有限公司 三维扫描仪的标定装置、方法、存储介质以及处理器
CN107748475A (zh) * 2017-11-06 2018-03-02 深圳奥比中光科技有限公司 结构光投影模组、深度相机及制造结构光投影模组的方法

Also Published As

Publication number Publication date
CN109194780A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN106960208B (zh) 一种仪表液晶数字自动切分和识别的方法及系统
CN110992326B (zh) 一种qfn芯片引脚图像快速倾斜校正方法
CN109191516B (zh) 结构光模组的旋转纠正方法、装置及可读存储介质
CN108280829A (zh) 焊缝图像识别方法、计算机装置及计算机可读存储介质
CN109325930B (zh) 边界缺陷的检测方法、装置及检测设备
CN101464418B (zh) 缺陷检测方法以及缺陷检测装置
CN111612781A (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
CN110363202B (zh) 指针式仪表数值读取方法及计算机终端
CN113109368B (zh) 玻璃裂纹检测方法、装置、设备及介质
CN110660072B (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
US9111183B2 (en) Performing a comparison between two images which are scaled to a common resolution
WO2018059365A1 (zh) 图形码处理方法及装置、存储介质
CN104680109B (zh) 一种基于图像识别的条码区域定位方法
TWI609807B (zh) 影像評估方法以及其電子裝置
CN113808131B (zh) 一种连接器缺陷识别方法及系统及装置及介质
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
CN111582000B (zh) 一种条形码定位方法、装置及相关设备
CN109101855B (zh) 一种基于opencv的缺失定位框二维码识别方法
CN109102026B (zh) 一种车辆图像检测方法、装置及系统
CN112556994B (zh) 一种光学信息检测方法、装置及设备
CN108961262B (zh) 一种复杂场景下的条码定位方法
CN112465707B (zh) 红外图像条纹噪声的处理方法、装置、介质及电子设备
CN109194780B (zh) 一种结构光模组的旋转纠正方法、装置及可读存储介质
CN113723304A (zh) 车灯检测方法、装置、电子设备及存储介质
CN109741302B (zh) 基于机器视觉的sd卡形态识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant