CN105931240B - 三维深度感知装置及方法 - Google Patents

三维深度感知装置及方法 Download PDF

Info

Publication number
CN105931240B
CN105931240B CN201610250214.3A CN201610250214A CN105931240B CN 105931240 B CN105931240 B CN 105931240B CN 201610250214 A CN201610250214 A CN 201610250214A CN 105931240 B CN105931240 B CN 105931240B
Authority
CN
China
Prior art keywords
module
depth
structure light
operating mode
mipi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610250214.3A
Other languages
English (en)
Other versions
CN105931240A (zh
Inventor
葛晨阳
郑南宁
周艳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Xian Jiaotong University
Original Assignee
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd, Xian Jiaotong University filed Critical NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201610250214.3A priority Critical patent/CN105931240B/zh
Priority to US15/214,755 priority patent/US10194135B2/en
Publication of CN105931240A publication Critical patent/CN105931240A/zh
Application granted granted Critical
Publication of CN105931240B publication Critical patent/CN105931240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种三维深度感知装置及方法，包括同步触发模块、MIPI接收/发送模块、复用核心计算模块、存储控制器模块、存储器及MUX选择模块；同步触发模块产生同步触发信号，发送到图像采集模块；MIPI接收/发送模块支持MIPI视频流和其它格式视频流的输入输出；复用核心计算模块根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块。该装置根据用户需要，灵活采用单目或双目结构光深度感知方式，方便利用不同模式下的优点；采用MIPI进、MIPI出的工作方式，对用户近乎透明，便于用户采用该装置替换原系统中的MIPI摄像头，直接得到深度图。

Description

三维深度感知装置及方法
技术领域
本发明属于计算视觉、微电子和人机交互技术领域，具体涉及三维深度感知处理器的深度感知装置及方法。
背景技术
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的深度信息、提高机器的智能水平是当前机器视觉系统开发的难点。三维深度感知设备(3D Depth Perception Device)是一种新型立体视觉传感器，可实时获取高精度、高分辨率的深度图信息(距离信息)，进行三维图像的实时识别、动作捕捉及场景感知。当前“虚拟世界正无限接近于现实世界；人机交互模式将会变得更加自然(natural)、直观(intuitive)和身临其境(immersive)”。三维深度感知设备(RGB+Depth)作为一种现实物理世界与虚拟网络世界进行交互的“门户设备”，未来有可能取代传统RGB摄像头，成为现实世界中无处不在的重要设备，使机器或智能设备具备类似人眼的3D视觉感知能力，从而有助于实现人与机器的自然交互、人与网络世界的虚拟交互，甚至机器与机器之间的交互。当前无人机、3D打印、机器人、虚拟现实头盔、智能手机、智能家居、人脸识别支付、智能监控等产业的深入发展，需要解决环境感知、人机自然交互、避障、3D扫描、精确识别等难题，三维深度感知处理器技术作为关键共性技术有助于解决这些难题，将极大地释放和激发人们对相关研究领域的科学想象力和创造力。
基于结构光编码的三维深度感知技术可以较为准确地获取深度信息，相比双目立体摄像头和ToF(Time of Flight)方式，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配算法简单等优势；作为一种高性价比、高可靠、适合大范围工作的深度感知技术，当前和未来很长一段时间内，将成为人机交互、智能设备深度获取的主流技术。当前采用结构光编码技术的典型产品有微软Kinect，英特尔Realsense 3D深度摄像头，谷歌Project Tango项目所用的结构光深度感知模组。
现有技术中，单目模式优点在于结构简单，只需一个接收摄像头就可获得深度，适合体积小应用场合。双目模式优点在于可获得更好的深度图细节，即深度信息分辨率更高，更精确的深度精度，同时适用范围更广，包括室外场合。
发明内容
鉴于现有技术中存在的缺陷，本发明提出一种三维深度感知装置，包括同步触发模块、MIPI接收/发送模块、复用核心计算模块；其中，所述同步触发模块用于产生同步触发信号，发送到图像采集模块；所述MIPI接收/发送模块用于支持MIPI视频流和其它格式视频流的输入输出；所述复用核心计算模块用于根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块。
所述三维深度感知装置还包括：存储控制器模块、存储器；所述存储控制器模块用于当选择单目结构光深度感知工作模式时，对存储器进行读写操作，或当双目结构光深度感知工作模式时，无需存储器及存储控制器模块的支持；所述存储器，用于预先存储已知距离的参考编码图案。该存储器内嵌在装置内部或外置在装置外部。
所述三维深度感知装置还包括：MUX选择模块；所述MUX选择模块用于在单目结构光深度感知工作模式下，选择从存储器中读出的参考编码图案作为输出，或在双目结构光工作模式下，选择另一路摄像头输入的经预处理后的输入编码图案。
所述预处理模块用于接收的输入编码图案，对其依次进行视频格式转换、畸变校正、一致性去噪增强处理、二值化、同步校正的处理。
所述块匹配视差计算模块用于在单目结构光工作模式下，对预处理后的输入编码图案和存储器中读出的参考编码图案进行自匹配，得到该输入编码图案的编码图像块中心点对应的视差向量，或在双目结构光工作模式下，对两路输入编码图案进行双目匹配，得到一路输入编码图案的编码图像块中心点对应的视差向量。
所述深度计算模块用于基于单目结构光方法，利用单目深度计算公式计算得到每个视差向量对应的深度信息，或基于双目结构光方法根据双目深度计算公式计算得到每个视差向量对应的深度信息。
所述深度后处理模块用于对深度图进行空洞补偿、去噪，结合输入RGB图像进行配准，输出深度图。
本发明还提出一种三维深度感知方法，包括：
三维深度感知装置具有复用核心计算模块，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块，用于根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式；
当选择单目结构光工作模式时，通过单个摄像头采集输入编码图案，经预处理模块，通过存储控制器读出预先存储的参考编码图案，将参考编码图案与预处理后的输入编码图案送入块匹配视差计算模块进行自匹配，得到匹配块偏移量，再经深度计算模块和深度后处理模块的处理，输出深度图；
当选择双目结构光工作模式时，通过两个摄像头同时采集输入编码图案，各自经预处理模块后送入块匹配视差计算模块进行双目匹配，得到匹配块偏移量，再经深度计算模块和深度后处理模块的处理，输出深度图。
其中，所述摄像头根据同步触发信号进行图像采集；并将采集的MIPI视频流和其它格式视频流通过MIPI接收/发送模块进行输入和输出。
本发明基于结构光编码的主动视觉模式，实现了三维深度感知处理器(芯片或IP核或程序代码)，可通过可根据应用需求复用核心计算模块，灵活选择单目结构光深度感知工作模式或双目结构光深度感知工作模式，以方便利用不同模式下的优点；同时，采用MIPI进、MIPI出的方式可实时生成高分辨率高精度的深度图序列，MIPI工作方式对用户来说近乎透明，便于用户采用该处理器替换原系统中的MIPI摄像头，直接得到深度图。三维深度感知处理器即可作为独立芯片，或作为嵌入式IP核在SoC应用，也可作为程序代码运行在微处理器上。
附图说明
图1是本发明实施例的图像深度感知装置结构图；
图2是本发明实施例的预处理模块的流程框图；
图3是本发明实施例的块匹配视差计算模块的原理示意图；
图4是本发明实施例的单目结构光深度感知工作流程框图；
图5是本发明实施例的双目结构光深度感知工作流程框图。
具体实施方式
下面结合具体实施例对本发明进行进一步的详细说明。
在一个具体实施例中，本发明公开了一种三维深度感知装置，如图1，其特征在于：包括同步触发模块、MIPI接收/发送模块、预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块、存储控制器模块、存储器及MUX选择模块。其中：
所述同步触发模块：用于产生同步触发信号，送到编码图案投射器、RGB摄像头、一路或两路专用于编码图案采集的摄像头。
所述MIPI接收/发送模块：MIPI(Mobile Industry Processor Interface)接口是一种常用的摄像头视频数据流传输格式。本发明处理器的输入端内嵌MIPI RX接收模块支持MIPI视频流输入，也可以选择并口数字格式或其它视频流格式输入；输出端内嵌MIPI TX发送模块支持MIPI格式的深度图视频流输出，也可以选择并口数字格式或其它视频流格式输出。本发明采用MIPI进、MIPI出的方式使得本发明处理器便于集成到其它应用系统中，用户只需替换原系统所用MIPI摄像头，较少改动即可应用本发明的处理器实时获得高精度高分辨率的深度图，从而大幅简化调试过程。
所述预处理模块，如图2所示，依次通过视频格式转换(Bayer、MIPI、LVDS、HDMI转为并口RAW数据)、畸变校正、一致性去噪增强处理、二值化、同步校正等，对不同亮暗、信噪比、大小特性的输入编码图案序列进行自适应、一致性的预处理，使输入编码图案更清晰、减少噪声干扰，有利于本发明内容的深度感知计算。
所述块匹配视差计算模块：在单目结构光工作模式下，对预处理后的输入编码图案和存储器中读出的参考编码图案进行自匹配，即对输入编码图案按编码图像块在参考编码图案中按一定的相似度计算准则搜寻最优匹配块，得到该编码图像块中心点对应的视差向量(偏移量)。在双目结构光工作模式下，对两路输入编码图案进行双目匹配，即一路输入编码图案按编码图像块在另一路输入编码图案中按一定的相似度计算准则搜寻最优匹配块，得到这一路输入编码图案的编码图像块中心点对应的视差向量(即偏移量)。
所述深度计算模块：基于单目结构光方法结合基线距离、焦距、摄像头传感器物理点距、参考编码图案的已知距离等参数，利用单目深度计算公式计算得到每个视差向量对应的深度信息(即距离)；基于双目结构光方法结合基线距离、焦距、摄像头传感器物理点距等参数，根据双目深度计算公式计算得到每个视差向量对应的深度信息(即距离)。
所述深度后处理模块：对深度图进行空洞补偿、去噪，或结合输入RGB图像进行配准，经处理后输出深度图。
所述存储控制器模块：在单目结构光深度感知工作模式下，对处理器内部或外部的存储器进行一幅或多幅参考编码图案读写操作。双目结构光深度感知工作模式则无需存储器及存储控制器模块的支持。
所述存储器：单目结构光深度感知工作模式下，用于预先存储已知距离的一幅或多幅参考编码图案。该存储器可内嵌在处理器内部、也可以外置在处理器外部，一般采用SPI Flash、并口Flash。
所述MUX选择模块：在单目结构光深度感知工作模式下，选择从存储器中读出的参考编码图案作为输出；在双目结构光工作模式下，则选择另一路摄像头输入的经预处理后的输入编码图案。
就上述实施例而言，该处理器的基本功能在于：通过复用核心计算模块(包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块等)，该处理器可根据应用需求选择单目结构光或双目结构光工作模式，采用MIPI进、MIPI出的方式可实时获取高分辨率高精度深度信息。单目结构光工作模式：该处理器从外部通过单个摄像头采集编码图案投射器发出的输入编码图案，经预处理模块，通过存储控制器跟预先存储的参考编码图案送入块匹配视差计算模块进行自匹配，得到视差向量，再经深度计算模块和深度后处理模块的处理，输出深度图。双目结构光工作模式：该处理器从外部两个摄像头同时采集编码图案投射器发出的输入编码图案，各自经预处理模块后送入块匹配视差计算模块进行双目匹配，得到视差向量，再经深度计算模块和深度后处理模块的处理，输出深度图。单目模式优点在于结构简单，只需一个接收摄像头就可获得深度，适合体积小应用场合。双目模式优点在于可获得更好的深度图细节，即深度信息分辨率更高，更精确的深度精度，同时适用范围更广，包括室外场合。
其中参考编码图案的获取可以通过如下方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取参考编码图案：将固定图案的激光束(红外、可见光、紫外线、不可见光)投射到与编码图案投射器的中心轴(Z轴)相垂直的、且已知位置距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的编码图案)上，平面上所形成的图案即为参考编码图案。输入编码图案的获取也可以采用上述获取方法，输入编码图案中含有要测量深度信息的目标物体或投射空间，其深度信息未知。容易理解，目标物体必须在编码图案投射器和摄像头的有效距离范围内。
优选的，在另一个实施例中：所述MIPI接收/发送模块，除了支持MIPI视频格式，也支持低压差分信号LVDS、高清多媒体接口HDMI、并口原始数据RAW、贝尔Bayer视频格式等；所述深度图后处理模块采用去噪滤波方法来减少噪声和空洞现象，并使得深度图中物体的边缘更光滑、清晰，比如采用中值滤波、均值滤波等方法，但不限于这些传统的滤波方法，其目的都是为了减少噪声；对RGB视频流图像和深度视频流图像进行配准校正，获取RGB摄像头、深度摄像头的内外参数，建立深度图像与RGB图像之间的一一对应关系，比如采用张正友摄像机标定法等，但不限于该标定方法。
优选的，在另一个实施例中：所述块匹配视差计算模块的工作过程为：如图3所示，在输入编码图案中提取大小为(m×n)的输入图像块blockm×n；在参考编码图案(单目工作模式)或另一路输入编码图案(双目结构光工作模式)中，以图像块blockm×n所对应位置为中心、大小为(M×N)的搜索窗search_blockM×N内，按搜索策略和相似度测量指标来寻找该图像块的最优匹配块，其中，M、N、n、m都是整数，且M＞m、N＞n，从而获得该图像块的位移量(Δx，Δy)，即视差向量。对于该实施例，意在限定块匹配视差模块的一种具体处理过程。
优选的，在另一个实施例中：所述块匹配视差计算模块提取的图像块大小m×n在单目结构光工作模式下与双目结构光工作模式下可不同，一般在双目结构光工作模式下可更小，以有利于提升深度细节、提高X-Y方向的深度分辨率，识别更小的物体。
优选的，在另一个实施例中：所述深度计算模块在单目结构光工作模式下，根据深度计算公式(1)计算深度距离d′：
在双目结构光工作模式下，根据深度计算公式(2)计算深度距离d′：
其中d为单目结构光工作模式下参考编码图案的已知距离参数，f为摄像头传感器焦距，S为摄像头到编码图案投射器(单目模式)或两个摄像头之间(双目)的基线距离，μ为摄像头传感器物理点距。如摄像头与编码图案投射器，两个摄像头与编码图案投射器处于同一水平基线上，则选水平位移量Δx作为公式(1)和公式(2)的偏移量输入参数，若处于垂直基线上，则选垂直位移量Δy作为公式(1)和公式(2)的偏移量输入参数。
优选的，在另一个实施例中：所述预处理模块的畸变校正，用于校正镜头自身引起的光学变形，先找到理想图像和畸变图像存在的非线性位置关系，然后将畸变图片各个像素的空间位置按查找表映射方式对输入编码图案进行转换；畸变校正方法比如球面坐标定位法、多项式坐标变换法、射影不变性、极坐标映射法，但不限于这些传统的畸变校正方法。
优选的，在另一个实施例中：所述预处理模块的同步校正，双目结构光工作模式下，由三维深度感知专用芯片的同步触发模块发出同步信号给编码图案投射器和左右双目摄像头，双目摄像头同步采集并输入给三维深度感知专用芯片，预处理模块的同步校正子模块通过多条行存，可分别对左右摄像头输入的输入编码图案按像素点逐点前后调节或按行进行上下调节，以保证左右摄像头输入编码图案数据的对齐。
本发明的三维深度感知装置处理器可根据应用需求选择单目结构光或双目结构光工作模式。下面针对本发明三维深度感知处理器两种工作模式，介绍具体工作流程。
当选择单目结构光工作模式时，单目结构光深度感知工作流程，见图4，包括以下步骤：
步骤1、编码图案投射器投射编码图案对目标物体或投射空间进行编码，经摄像头R连续采集输入编码图案送入三维深度感知处理器；
步骤2、经预处理模块的畸变校正、一致性增强处理等，得到预处理后的输入编码图案，送到块匹配视差计算模块；
步骤3、预先固化在存储器中的参考编码图案经存储控制器读出，再经MUX选择模块与输入编码图案同时送到块匹配视差计算模块；
步骤4、块匹配视差计算模块对输入编码图案和参考编码图案进行自匹配，即对输入编码图案按编码图像块在参考编码图案中按一定的相似度计算准则搜寻最优匹配块，得到输入编码图案每个像素对应的视差向量(即偏移量)，送入深度计算模块；
步骤5、深度计算模块结合基线距离、焦距、摄像头传感器物理点距、参考编码图案的已知距离等参数，根据单目深度计算公式(1)计算得到每个视差向量对应的深度信息(即距离)；
步骤6、深度后处理模块对深度图进行空洞补偿去噪，结合输入RGB图像进行配准校正，最后输出深度图。
当选择双目结构光工作模式时，双目结构光深度感知工作流程，见图5，包括以下步骤：
步骤1、编码图案投射器投射编码图案对目标物体或投射空间进行编码，经摄像头R、摄像头L同步采集各自输入编码图案到三维深度感知处理器；
步骤2、摄像头R采集的输入编码图案经预处理模块的畸变校正、一致性增强处理、同步校正等，得到预处理后的输入编码图案，送到块匹配视差计算模块；摄像头L采集的输入编码图案经功能相同的预处理模块处理，再经MUX选择模块，与摄像头R的输入编码图案同时送到块匹配视差计算模块；
步骤3、块匹配视差计算模块对两路输入编码图案进行双目匹配，即一路输入编码图案按编码图像块在另一路输入编码图案中按一定的相似度计算准则搜寻最优匹配块，得到这一路输入编码图案每个像素对应的视差向量(即偏移量)，送入深度计算模块；
步骤4、深度计算模块结合基线距离、焦距、摄像头传感器物理点距等参数，根据双目深度计算公式(2)计算得到每个视差向量对应的深度信息(即距离)；
步骤5、深度后处理模块对深度图进行空洞补偿去噪，结合输入RGB图像进行配准校正，最后输出深度图。
上述的实施例既可以作为独立芯片使用，可以作为嵌入式IP核在SoC芯片中应用，也可作为程序代码运行在微处理器上。本发明处理器的输入输出视频接口格式不限于所列的MIPI、LVDS、HDMI、RAW、Bayer等，也可以应用其它视频接口。本发明不仅支持不同类型激光编码图案投射器产生的结构光模式，如红外、可见光、紫外线、不可见光等，也可以使用不同图案的投射方案，如圆点状、块状、十字状、条纹状、符号等的编码图案。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (9)

1.一种三维深度感知装置，包括同步触发模块、MIPI接收/发送模块、复用核心计算模块，存储控制器模块和存储器；
其中，所述同步触发模块用于产生同步触发信号，发送到图像采集模块；
所述MIPI接收/发送模块用于支持MIPI视频流和其它格式视频流的输入输出；
所述复用核心计算模块用于根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块；
所述存储控制器模块用于当选择单目结构光深度感知工作模式时，对存储器进行读写操作，或当双目结构光深度感知工作模式时，无需存储器及存储控制器模块的支持；
所述存储器，用于预先存储已知距离的参考编码图案。
2.根据权利要求1所述的装置，其特征在于：该存储器内嵌在装置内部或外置在装置外部。
3.根据权利要求1所述的装置，其特征在于：所述三维深度感知装置还包括：MUX选择模块；
所述MUX选择模块用于在单目结构光深度感知工作模式下，选择从所述存储器中读出的参考编码图案作为输出，或在双目结构光工作模式下，选择另一路摄像头输入的经预处理后的输入编码图案。
4.根据权利要求1所述的装置，其特征在于：所述预处理模块用于接收的输入编码图案，对其依次进行视频格式转换、畸变校正、一致性去噪增强处理、二值化、同步校正的处理。
5.根据权利要求1所述的装置，其特征在于：所述块匹配视差计算模块用于在单目结构光工作模式下，对预处理后的输入编码图案和所述存储器中读出的参考编码图案进行自匹配，得到该输入编码图案的编码图像块中心点对应的视差向量，或在双目结构光工作模式下，对两路输入编码图案进行双目匹配，得到一路输入编码图案的编码图像块中心点对应的视差向量。
6.根据权利要求1所述的装置，其特征在于：所述深度计算模块用于基于单目结构光方法，利用单目深度计算公式计算得到每个视差向量对应的深度信息，或基于双目结构光方法根据双目深度计算公式计算得到每个视差向量对应的深度信息。
7.根据权利要求1所述的装置，其特征在于：所述深度后处理模块用于对深度图进行空洞补偿、去噪，结合输入RGB图像进行配准，输出深度图。
8.一种三维深度感知方法，其特征在于：
三维深度感知装置具有复用核心计算模块，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块，用于根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式；
当选择单目结构光工作模式时，通过单个摄像头采集输入编码图案，经预处理模块，通过存储控制器读出预先存储的参考编码图案，将参考编码图案与预处理后的输入编码图案送入块匹配视差计算模块进行自匹配，得到匹配块偏移量，再经深度计算模块和深度后处理模块的处理，输出深度图；
当选择双目结构光工作模式时，通过两个摄像头同时采集输入编码图案，各自经预处理模块后送入块匹配视差计算模块进行双目匹配，得到匹配块偏移量，再经深度计算模块和深度后处理模块的处理，输出深度图。
9.根据权利要求8所述的方法，其特征在于：所述摄像头根据同步触发信号进行图像采集；并将采集的MIPI视频流和其它格式视频流通过MIPI接收/发送模块进行输入和输出。
CN201610250214.3A 2016-04-21 2016-04-21 三维深度感知装置及方法 Active CN105931240B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610250214.3A CN105931240B (zh) 2016-04-21 2016-04-21 三维深度感知装置及方法
US15/214,755 US10194135B2 (en) 2016-04-21 2016-07-20 Three-dimensional depth perception apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610250214.3A CN105931240B (zh) 2016-04-21 2016-04-21 三维深度感知装置及方法

Publications (2)

Publication Number Publication Date
CN105931240A CN105931240A (zh) 2016-09-07
CN105931240B true CN105931240B (zh) 2018-10-19

Family

ID=56839598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610250214.3A Active CN105931240B (zh) 2016-04-21 2016-04-21 三维深度感知装置及方法

Country Status (2)

Country Link
US (1) US10194135B2 (zh)
CN (1) CN105931240B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
CN106504284B (zh) * 2016-10-24 2019-04-12 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
WO2018086133A1 (en) 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN106919254B (zh) * 2017-02-06 2024-03-19 歌尔科技有限公司 一种头戴式虚拟现实设备及安全保护方法
CN110049305B (zh) * 2017-12-18 2021-02-26 西安交通大学 一种智能手机的结构光深度相机自校正方法及装置
CN109948400A (zh) * 2017-12-20 2019-06-28 宁波盈芯信息科技有限公司 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN109963136B (zh) * 2017-12-22 2021-06-18 宁波盈芯信息科技有限公司 一种智能手机结构光深度相机的工作方法及装置
CN108399596B (zh) 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
CN108449529B (zh) 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度计算处理器及移动终端
CN108917650A (zh) * 2018-05-17 2018-11-30 北京林业大学 一种可折叠结构光三维扫描设备
CN108921902B (zh) * 2018-06-06 2020-05-08 贝壳技术有限公司 一种修正结构光相机偏差的方法及装置
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
CN109274864A (zh) * 2018-09-05 2019-01-25 深圳奥比中光科技有限公司 深度相机、深度计算系统与方法
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
CN109194947A (zh) * 2018-09-13 2019-01-11 广东光阵光电科技有限公司 双目摄像模组及移动终端
CN109451294B (zh) * 2018-09-26 2023-07-14 深圳达闼科技控股有限公司 3d显示方法、系统、装置、电子设备及存储介质
CN111383257A (zh) * 2018-12-29 2020-07-07 顺丰科技有限公司 一种车厢装卸率确定方法和装置
CN111629190A (zh) * 2019-02-28 2020-09-04 中强光电股份有限公司 投影系统以及投影方法
WO2020237492A1 (zh) * 2019-05-28 2020-12-03 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN112651286B (zh) * 2019-10-11 2024-04-09 西安交通大学 一种基于透明屏的三维深度感知装置及方法
CN112672137A (zh) * 2019-10-15 2021-04-16 福州瑞芯微电子股份有限公司 获取深度图像的方法、结构光系统以及一种电子装置
CN111292425B (zh) * 2020-01-21 2022-02-01 武汉大学 一种基于单双目混合数据集的视图合成方法
CN111523545B (zh) * 2020-05-06 2023-06-30 青岛联合创智科技有限公司 一种结合深度信息的物品查找方法
CN111457982A (zh) * 2020-05-13 2020-07-28 武汉市异方体科技有限公司 一种一体化的体积测量模块
US11288859B2 (en) * 2020-06-01 2022-03-29 Disney Enterprises, Inc. Real-time feature preserving rendering of visual effects on an image of a face
CN111836033A (zh) * 2020-08-05 2020-10-27 北京控制与电子技术研究所 一种lvds接口的双目立体相机
CN112308015A (zh) * 2020-11-18 2021-02-02 盐城鸿石智能科技有限公司 一种基于3d结构光的新型深度恢复方案
CN112529947B (zh) * 2020-12-07 2023-08-01 北京市商汤科技开发有限公司 标定方法及装置、电子设备及存储介质
CN112634152A (zh) * 2020-12-16 2021-04-09 中科海微(北京)科技有限公司 基于图像深度信息的人脸样本数据增强方法及系统
TWI792381B (zh) * 2021-03-25 2023-02-11 鈺立微電子股份有限公司 影像擷取裝置及其深度資訊計算方法
CN115100622B (zh) * 2021-12-29 2023-09-22 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
CN116320756B (zh) * 2023-05-22 2023-07-21 中国人民解放军国防科技大学 基于液态光学调控的单双目组合式深度感知系统及方法
CN117496499B (zh) * 2023-12-27 2024-03-15 山东科技大学 3d结构光成像中虚假深度边缘的识别和补偿方法、系统
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313376B1 (en) * 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US20130027548A1 (en) * 2011-07-28 2013-01-31 Apple Inc. Depth perception device and system
JP5691965B2 (ja) * 2011-09-22 2015-04-01 株式会社Ｊｖｃケンウッド 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
KR20150004989A (ko) * 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
CN105141939B (zh) * 2015-08-18 2017-05-17 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
仿生眼运动视觉与立体视觉3维感知;王庆滨 等;《机器人》;20151130;第37卷(第6期);760-768 *

Also Published As

Publication number Publication date
CN105931240A (zh) 2016-09-07
US20170310946A1 (en) 2017-10-26
US10194135B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
CN105931240B (zh) 三维深度感知装置及方法
CN109615652B (zh) 一种深度信息获取方法及装置
CN103796004B (zh) 一种主动结构光的双目深度感知方法
CN103824318B (zh) 一种多摄像头阵列的深度感知方法
US20200051269A1 (en) Hybrid depth sensing pipeline
CN102970548B (zh) 一种图像深度感知装置
KR101654174B1 (ko) 전력 효율적 깊이 센서 용법을 가진 실시간 3d 재구성
CN101356546B (zh) 图像高分辨率化装置、方法及系统
JP4052331B2 (ja) 仮想視点画像生成方法及び３次元画像表示方法並びに装置
CN105120257A (zh) 一种基于结构光编码的垂直深度感知装置
CN110458897B (zh) 多摄像头自动标定方法及系统、监控方法及系统
CN103841406B (zh) 一种即插即用的深度摄像装置
CN106254854B (zh) 三维图像的获得方法、装置及系统
CN101662694B (zh) 视频的呈现方法、发送、接收方法及装置和通信系统
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN103345736A (zh) 一种虚拟视点绘制方法
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN103063193A (zh) 一种利用摄像头测距的方法、装置及电视机
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN106683163B (zh) 一种视频监控的成像方法及系统
CN105612742A (zh) 重新映射深度图以用于3d观看
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN110728745A (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
CN109302600A (zh) 一种立体场景拍摄装置
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant