CN108921888A - 一种深度图像检测方法、系统及计算机可读存储介质 - Google Patents

一种深度图像检测方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN108921888A
CN108921888A CN201810716807.3A CN201810716807A CN108921888A CN 108921888 A CN108921888 A CN 108921888A CN 201810716807 A CN201810716807 A CN 201810716807A CN 108921888 A CN108921888 A CN 108921888A
Authority
CN
China
Prior art keywords
image data
light receiving
receiving unit
raw image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810716807.3A
Other languages
English (en)
Other versions
CN108921888B (zh
Inventor
张平
王海生
丁小梁
王鹏鹏
曹学友
韩艳玲
刘伟
郑智仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810716807.3A priority Critical patent/CN108921888B/zh
Publication of CN108921888A publication Critical patent/CN108921888A/zh
Application granted granted Critical
Publication of CN108921888B publication Critical patent/CN108921888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明实施例提供了一种深度图像检测方法、系统以及计算机可读存储介质,可加速深度图像获取速度。所述深度图像检测系统包括光发射单元、N个光接收单元,以及控制单元,N为不小于2的整数,其中:所述光发射单元用于根据控制单元发送的驱动信号向被检测物体发射光信号;所述光接收单元用于接收被检测物体反射的光信号,根据控制单元发送的解调信号输出原始图像数据;所述控制单元用于向光发射单元发送驱动信号,分别向N个光接收单元发送解调信号,以及接收N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像。本发明实施例将现有的串行处理改为并行处理,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。

Description

一种深度图像检测方法、系统及计算机可读存储介质
技术领域
本发明涉及显示领域,具体涉及一种深度图像检测方法、系统以及计算机可读存储介质。
背景技术
当前二维空间的人机交互已经非常成熟普遍,如touch、基于二维图像的手势识别等。但是随着裸眼3D显示、VR等技术的发展,实现三维空间的人机交互已成为必然的发展趋势,而实现空间交互的必要前提就是要先获取交互对象的空间深度影像信息。
目前主流的深度图像获取技术主要可以概括为双目视觉(也称立体视觉)、结构光、TOF(也称飞光)三种技术。TOF技术以其抗环境光干扰能力强,算法简单,直接获取深度信息的优势获得了广泛的应用。
基于TOF技术的深度检测系统结构,一般如图1所示,主动光发射单元(illumination optics)所发出的具有较高频率的调制红外光,经过透镜组(lens)扩散为具有特定视场(Field of View,简称FOV)的照明区域,这些光线照射到被检测物体(Target)上后被反射,反射光线经过lens组后被图像传感器(Sensor)接收,并经模拟前段电路转换为数字量输出,后续计算单元计算出发射光和反射光之间的相位差,进而计算出两者之间的时间差,最终得出光飞行的距离,该距离即为待检测物体与检测单元之间距离的2倍。
基于TOF技术检测深度信息的原理,如图2所示,图中调制光源半周期为T,图像Sensor接收到被检测物体的某点的反射光较光源相差时间△T,电荷A为用与照射光信号相位差为0°的解调信号(Demodulation 0)解调,相应像素(pixel)上累积的电荷,电荷B为用与照射光信号相位差为180°的解调信号(Demodulation 1)解调,相应像素上累积的电荷。用电荷量之间的关系可算出反射光和照射光的时间差,即可计算出光的飞行时间,进而算出距离。
根据图2可知,从原理上讲TOF技术一般需要两帧原始图像(由不同相位延时的解调信号获得,例如与光源信号相差分别为0°、180°的解调信号),计算后才能得到真正的深度图像,但是在实际应用中,由于存在增益误差、初始值误差等因素,为了获得较好的检测效果,一般至少需要四帧原始图像(增加相差90°和270°原始图像帧)计算获得深度图像。但是这四帧原始数据图像,一般都是分别经过曝光&积分、AD转换&输出两个阶段后按顺序获得的,其时序可以理解为图3所示方式,在这种情况下,只有等2帧或4帧原始图像完全获得后才能开始计算深度图像,而又因为每一帧的原始图像数据传输占用时间较长,这就造成了深度图像帧率难以提高,进而造成单位时间获得交互对象空间信息的减少,最终影响交互体验。
为了改进这种方式的缺点,有一种较新的图像Sensor设计方式,器件结构原理示意如图4所示,在曝光阶段,用一个解调(demodulation)信号控制电荷累积方向,这样可以使得相差为180°的两帧原始图像(0°和180°、90°和270°)共用同一曝光阶段,节省了曝光时间。但是这种方式仍然还要按顺序依次进行数据输出,虽然在一定程度上可以提高深度图像采集帧率,但效果有限。
发明内容
本发明实施例提供一种深度图像检测方法、系统以及计算机可读存储介质,可加速深度图像获取速度。
为了解决上述技术问题,本发明实施例提供了一种深度图像检测系统,所述系统包括光发射单元、N个光接收单元,以及控制单元,N为不小于2的整数,其中:
所述光发射单元,用于根据所述控制单元发送的驱动信号向被检测物体发射光信号;
所述光接收单元,用于接收被检测物体反射的光信号,根据所述控制单元发送的解调信号,输出原始图像数据;
所述控制单元,用于向所述光发射单元发送驱动信号,分别向N个光接收单元发送解调信号,以及接收所述N个光接收单元输出的原始图像数据,根据从所述N个光接收单元接收的原始图像数据计算深度图像。
在一可选实施例中,每个所述光接收单元包括一透镜组和与所述透镜组对应的图像传感单元,被检测物体反射的光信号经过所述透镜组后由所述图像传感单元接收,所述图像传感单元用于根据接收的光信号和所述控制单元发送的解调信号,输出原始图像数据。
在一可选实施例中,N个透镜组的设置满足以下条件中的一种或多种:
N个透镜组的视场交叠形成的交叠区域位于所述光发射单元的视场之内;
N个透镜组设置为靠近所述光发射单元,以使所述N个透镜组的视场形成的交叠区域尽可能大。
在一可选实施例中,所述控制单元还用于在接收所述N个光接收单元输出的原始图像数据后,对所述原始图像数据进行归一化处理。
在一可选实施例中,所述控制单元接收所述N个光接收单元输出的原始图像数据,根据从所述N个光接收单元接收的原始图像数据计算深度图像,包括:
所述控制单元接收所述N个光接收单元输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
所述控制单元接收所述N个光接收单元输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
为了解决上述技术问题,本发明实施例还提供了一种深度图像检测方法,包括:
向光发射单元发送驱动信号以使所述光发射单元向被检测物体发射光信号;
向N个光接收单元发送解调信号,以使每个光接收单元接收被检测物体反射的光信号并输出原始图像数据;
接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像。
在一可选实施例中,每个所述光接收单元包括一透镜组和与所述透镜组对应的图像传感单元;所述向N个光接收单元发送解调信号,包括:向N个光接收单元中的图像传感单元发送解调信号。
在一可选实施例中,接收所述N个光接收单元输出的原始图像数据后,所述方法还包括:对输出的原始图像数据进行归一化处理。
在一可选实施例中,所述接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像,包括:
接收所述N个光接收单元输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
接收所述N个光接收单元输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
为了解决上述技术问题,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法中的步骤。
本发明实施例提供了一种深度图像检测方法、系统以及计算机可读存储介质,与现有技术相比,本发明实施例提出了一种全新的硬件结构设计方案,将现有的串行处理改为并行处理,通过设置多个光接收单元,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。除了可以使TOF技术方案同时获取多帧原始图像,还可以同时获取多个原始图像数据,此时,可以边根据获取的多个原始图像数据计算深度图像,边传输其余的原始图像数据,无需等待完全获取所有光接收单元的原始图像后再进行计算,进一步加速深度图像的获取速度。本发明实施例避免了现有技术中按顺序依次获取原始图像帧,造成深度图像采集帧率下降的缺点,为获得良好的空间交互体验打下基础,同时也为TOF图像传感器的器件结构简化提供了一种可行的方法。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。本发明的其它特征和优点将在随后的说明书实施例中阐述,并且,部分地从说明书实施例中变得显而易见,或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。附图中各部件的形状和大小不反映真实比例,目的只是示意说明本发明内容。
图1为相关技术中基于TOF技术的深度检测系统结构图;
图2为相关技术中基于TOF技术检测深度信息的原理图;
图3为相关技术中原始数据图像获取时序图;
图4为相关技术中一种图像Sensor设计结构原理图;
图5为本发明实施例1深度图像检测系统结构示意图;
图6为本发明实施例2方法流程图;
图7为本发明应用示例1由四帧原始图像帧计算深度图像的硬件设计图;
图8为本发明应用示例1原始数据图像获取时序图;
图9a为本发明应用示例1红外光源的视场包括四组透镜组的视场交叠区域的示意图;
图9b为本发明应用示例1红外光源的视场大于四组透镜组的视场之和的示意图;
图10为本发明应用示例1四帧原始图像帧构成成像交叠区域的示意图;
图11为本发明应用示例1边传输原始图像帧边计算深度图像的示意图;
图12为本发明应用示例2由两帧原始图像帧计算深度图像的硬件设计图;
图13为本发明应用示例2两帧原始图像帧构成成像交叠区域的示意图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
实施例1
图5为本发明实施例1的深度图像检测系统结构示意图,如图5所示,所述系统包括光发射单元101、N个光接收单元102,以及控制单元103,N为不小于2的整数,其中:
所述光发射单元101,用于根据所述控制单元发送的驱动信号向被检测物体发射光信号;
所述光接收单元102,用于接收被检测物体反射的光信号,根据所述控制单元发送的解调信号,输出原始图像数据;
所述控制单元103,用于向所述光发射单元发送驱动信号,分别向N个光接收单元发送解调信号,以及接收所述N个光接收单元输出的原始图像数据,根据从所述N个光接收单元接收的原始图像数据计算深度图像。
本发明实施例提供了一种深度图像检测系统,将现有的串行处理改为并行处理,通过设置多个光接收单元,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。
上述光发射单元101发射的光信号可以是红外脉冲光信号。
上述N个光接收单元102中每个光接收单元102均包括一透镜组和与所述透镜组对应的图像传感单元,即有N个透镜组和与透镜组一一对应的N个图像传感单元,被检测物体反射的光信号经过所述N个透镜组后分别由与所述透镜组一一对应的N个图像传感单元接收,每个图像传感单元用于根据接收的光信号和所述控制单元发送的解调信号,输出原始图像数据。
优选地,N=4或者N=2。
本实施例所述图像传感单元可以采用CCD(电荷耦合器件)图像传感器实现。但不排除采用其他图像传感器实现,只要能进行成像即可。
所述控制单元103向N个光接收单元102发送的共计N个解调信号与所述光发射单元101发射的光信号之间均存在相位差,所述相位差的取值由光接收单元102的数量N决定。具体地,每个解调信号与所述光信号之间存在一个相位差,N个解调信号存在共计N个相位差,所述N个相位差之间为等差关系,公差d可以由N决定,例如d=360/N(此处仅为示例,本领域技术人员根据此示例可知公差d还可以取其他值)。例如,如果N=4,则所述控制单元103向4个光接收单元102发送共计4个解调信号(向每个光接收单元发送1个解调信号),这4个解调信号与光信号的相位差分别为0°、90°、180°、270°;如果N=2,则所述控制单元103向2个光接收单元102发送共计2个解调信号,这2个解调信号与光信号的相位差分别为0°、180°。
确定光发射单元101的位置后,在设置透镜组位置时,满足以下条件中的一种或多种:条件1:保证N个透镜组的视场交叠形成的交叠区域位于所述光发射单元的视场之内;条件2:N个透镜组设置为靠近所述光发射单元101,以使所述N个透镜组的视场形成的交叠区域尽可能大。由于该N个透镜组的位置不同,由对应的N个图像传感单元获得的图像也略有差别,但由于该N个透镜组的视场有交叠,故获得的图像也有部分重叠,N个图像传感器获得的图像重叠的区域为成像交叠区域,所述控制单元103可预先对所述光接收单元102输出的N个原始图像帧进行测试,以确定成像交叠区域的位置。
所述控制单元103接收所述N个光接收单元102输出的原始图像数据,根据从所述N个光接收单元102接收的原始图像数据计算深度图像,包括:
方案一,所述控制单元103接收所述N个光接收单元102输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
方案二,所述控制单元103接收所述N个光接收单元102输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,接收所述N个光接收单元102输出的位于所述预先确定的成像交叠区域内的第二像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第二像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
上述方案一是接收完N个光接收单元的N帧原始图像数据后再开始进行深度计算,方案二是接收完同一像素点的N个原始图像数据后即可计算该像素点的深度数据。通过方案一和方案二,同时获取多帧原始图像或多个原始图像数据,可以加速深度图像获取速度。对于方案二,可以边根据获取的多个原始图像数据计算深度图像,边传输其余的原始图像数据,无需等待完全获取所有光接收单元的原始图像后再进行计算,进一步加速深度图像的获取速度。
可选地,接收所述N个光接收单元102输出的原始图像数据后,所述方法还包括:对输出的原始图像数据进行归一化处理,以便进行深度计算。
采用本实施例所述方法,将现有的串行处理改为并行处理,通过设置多个光接收单元,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。
实施例2
本实施例描述上述实施例1系统中控制单元的操作流程,实施例1中相关描述在本实施例中也适用。
如图6所示,包括以下步骤:
步骤201,向光发射单元发送驱动信号以使所述光发射单元向被检测物体发射光信号;
步骤202,向N个光接收单元发送解调信号,以使每个光接收单元接收被检测物体反射的光信号并输出原始图像数据;
步骤203,接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像。
采用本发明实施例所述方法,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。
在一个可选实施例中,每个光接收单元包括一透镜组和与所述透镜组对应的图像传感单元;所述向N个光接收单元发送解调信号,包括:向N个光接收单元中的图像传感单元发送解调信号。
在一个可选实施例中,接收所述N个光接收单元输出的原始图像数据后,所述方法还包括:对输出的原始图像数据进行归一化处理。
在一个可选实施例中,所述接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像,包括:
接收所述N个光接收单元输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
接收所述N个光接收单元输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
采用本实施例所述方法,将现有的串行处理改为并行处理,同时进行原始图像数据的接收和传输,加速了深度图像的获取速度。
应用示例1
本示例以N=4为例对上述实施例1系统进行说明。
图7为本示例的硬件结构设计方式,如图7所示,该系统主要包括:一个红外光源器件(即实施例1中所述光发射单元),四个光接收单元(包括四组透镜组和对应的四个红外图像传感器Sensor)、控制和计算单元(即实施例1中所述控制单元)几部分构成,其中红外光源在进行深度检测时同时为四个光接收单元提供照射光源信号,被待检测物体表面反射回的红外光线被透镜组收集后照射到红外图像传感器表面,红外图像传感器0、红外图像传感器1、红外图像传感器2、红外图像传感器3,分别由解调信号(Demodulation)0、解调信号1、解调信号2、解调信号3四个解调信号驱动,这四个解调信号与光源信号相位差分别为0°、90°、180°、270°,这样就可以同时获得四帧不同相位的原始图像——原始图像帧0、原始图像帧1、原始图像帧2、原始图像帧3,然后根据这四帧原始图像帧,由控制和计算单元获得单帧深度图像,时序如图8所示。可见,采用本示例所述方法可以避免相关技术按顺序依次获取原始图像帧,造成深度图像采集帧率下降的缺点。
在本示例中,红外光源的视场(FOV)包括四组透镜组的FOV的交叠区域,如图9(a)所示,还可以大于四组透镜组FOV之和,如图9(b)所示。
在本示例中,由于四组红外图像Sensor的位置差异,其所获得的原始图像帧并不是完全重合,所以在计算深度图像时需要使用四帧原始图像帧的成像交叠区域数据计算深度图像,如图10所示,该成像交叠区域的大小及在四组红外图像传感器中分别对应的像素(pixel)位置,可在四组红外图像传感器安装完成后通过测试确定。该特点也决定了在硬件设计时,优选设置四组光接收单元尽量靠近中心的光源,以获得较大的成像交叠区域,增大有效成像面积。
在本示例中,由于原始图像帧对应像素点值并不是由同一个单一传感器获得的,所以在用本示例所述方式进行深度检测之前,对四组红外图像传感器进行标定,以便对其像素光电转换特性做归一化处理,所述归一化是指其他成像单元以另一个成像单元为参考标准进行标定。四组不同的传感器,每个传感器的光电转换特性不同,即对同样的光信号的响应量可能会有差异,比如说对于同强度的光信号,传感器0中某个像素点P0输出电荷量为90,传感器1中同样位置的像素点P0’输出电荷量为100,则以传感器0为标准,传感器1像素点P0’的标定系数为0.9,在测试前需先确定每个像素点的标定系数,构建标定矩阵,测试时根据标定矩阵对两组传感器输出的数据进行归一化处理。
本示例可以不需要等待获得四帧原始图像帧之后再计算深度图像,而可以边传输原始图像帧边计算深度图像,如图11所示,这样大大降低了数据传输的延时。相较于单传感器的设计方式,不但可以在深度图像计算上获得更快速度,在深度图像的传输上也可以获得更快的速度。
在本示例设计中可能还会用到一些相关驱动或AD转换电路,并未示出,这些电路既可以集成于图像红外图像传感器的内部,也可以是实现该功能的外部集成电路。
应用示例2
本示例以N=2为例进行说明。
在一些对于深度检测精度要求不高的应用中,在满足检测需求的情况下,为了降低硬件成本,可以采用由两帧原始图像帧计算深度图像的方式,这样可以减少红外图像传感器的使用数量,该实施例的硬件设计如图12所示。该系统主要包括:一个红外光源器件(即实施例1中所述光发射单元),两个光接收单元(包括两组透镜组和对应的两个红外图像传感器Sensor)、控制和计算单元(即实施例1中所述控制单元)几部分构成,其中红外光源在进行深度检测时同时为两个光接收单元提供照射光源信号,被待检测物体表面反射回的红外光线被透镜组收集后照射到红外图像传感器表面,红外图像传感器0、红外图像传感器1,分别由解调信号(Demodulation)0、解调信号1驱动,这两个解调信号与光源信号相位差分别为0°、180°,这样就可以同时获得两帧不同相位的原始图像——原始图像帧0、原始图像帧1,然后根据这两帧原始图像帧,由控制和计算单元获得单帧深度图像。
同理,在本示例中,由于两组红外图像Sensor的位置差异,其所获得的原始图像帧并不是完全重合,所以在计算深度图像时需要使用两帧原始图像帧的成像交叠区域数据计算深度图像,其成像交叠区如图13所示。
其他设计要求与示例1类似,在此不再赘述。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质存储有计算机程序;所述计算机程序被执行后,能够实现前述一个或多个实施例提供的深度检测方法,例如执行如图6所示方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理单元的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种深度图像检测系统,其特征在于,所述系统包括光发射单元、N个光接收单元,以及控制单元,N为不小于2的整数,其中:
所述光发射单元,用于根据所述控制单元发送的驱动信号向被检测物体发射光信号;
所述光接收单元,用于接收被检测物体反射的光信号,根据所述控制单元发送的解调信号,输出原始图像数据;
所述控制单元,用于向所述光发射单元发送驱动信号,分别向N个光接收单元发送解调信号,以及接收所述N个光接收单元输出的原始图像数据,根据从所述N个光接收单元接收的原始图像数据计算深度图像。
2.根据权利要求1所述的系统,其特征在于,
每个所述光接收单元包括一透镜组和与所述透镜组对应的图像传感单元,被检测物体反射的光信号经过所述透镜组后由所述图像传感单元接收,所述图像传感单元用于根据接收的光信号和所述控制单元发送的解调信号,输出原始图像数据。
3.根据权利要求2所述的系统,其特征在于,
N个透镜组的设置满足以下条件中的一种或多种:
N个透镜组的视场交叠形成的交叠区域位于所述光发射单元的视场之内;
N个透镜组设置为靠近所述光发射单元,以使所述N个透镜组的视场形成的交叠区域尽可能大。
4.根据权利要求3所述的系统,其特征在于,
所述控制单元还用于在接收所述N个光接收单元输出的原始图像数据后,对所述原始图像数据进行归一化处理。
5.根据权利要求1-4中任一项所述的系统,其特征在于,
所述控制单元接收所述N个光接收单元输出的原始图像数据,根据从所述N个光接收单元接收的原始图像数据计算深度图像,包括:
所述控制单元接收所述N个光接收单元输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
所述控制单元接收所述N个光接收单元输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
6.一种深度图像检测方法,其特征在于,所述方法包括:
向光发射单元发送驱动信号以使所述光发射单元向被检测物体发射光信号;
向N个光接收单元发送解调信号,以使每个光接收单元接收被检测物体反射的光信号并输出原始图像数据;
接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像。
7.根据权利要求6所述的方法,其特征在于,每个所述光接收单元包括一透镜组和与所述透镜组对应的图像传感单元;
所述向N个光接收单元发送解调信号,包括:向N个光接收单元中的图像传感单元发送解调信号。
8.根据权利要求6所述的方法,其特征在于,
接收所述N个光接收单元输出的原始图像数据后,所述方法还包括:对输出的原始图像数据进行归一化处理。
9.根据权利要求6或7或8所述的方法,其特征在于,
所述接收所述N个光接收单元输出的原始图像数据,根据接收的原始图像数据计算深度图像,包括:
接收所述N个光接收单元输出的N帧原始图像数据,对所述N帧原始图像数据进行计算获得原始图像的深度数据;或者
接收所述N个光接收单元输出的位于预先确定的成像交叠区域内的第一像素点的N个原始图像数据,对所述N个原始图像数据进行计算获得所述第一像素点的深度数据,以此类推,直到获得成像交叠区域内所有像素点的深度数据。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求6-9中任一项所述方法的步骤。
CN201810716807.3A 2018-07-03 2018-07-03 一种深度图像检测方法、系统及计算机可读存储介质 Active CN108921888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810716807.3A CN108921888B (zh) 2018-07-03 2018-07-03 一种深度图像检测方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810716807.3A CN108921888B (zh) 2018-07-03 2018-07-03 一种深度图像检测方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108921888A true CN108921888A (zh) 2018-11-30
CN108921888B CN108921888B (zh) 2022-07-19

Family

ID=64424593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810716807.3A Active CN108921888B (zh) 2018-07-03 2018-07-03 一种深度图像检测方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108921888B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104031A1 (en) * 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc Depth from time of flight camera
CN106612387A (zh) * 2015-10-15 2017-05-03 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
US20180089847A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. Time-of-flight (tof) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104031A1 (en) * 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc Depth from time of flight camera
CN106612387A (zh) * 2015-10-15 2017-05-03 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US20180089847A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. Time-of-flight (tof) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
US11263995B2 (en) 2019-03-21 2022-03-01 Boe Technology Group Co., Ltd. Display device, electronic equipment, and method for driving display device

Also Published As

Publication number Publication date
CN108921888B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
KR102233419B1 (ko) 확률적 tof 이미징
CN106612387B (zh) 一种组合深度图获得方法及深度相机
CN104838284A (zh) 用于至少两个ToF相机的拍摄方法
EP3422699A1 (en) Electronic device including camera module
CN106851238B (zh) 白平衡控制方法、白平衡控制装置及电子装置
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
CN107396068A (zh) 全景视频同步拼接系统、方法及全景视频显示装置
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
CN108769649B (zh) 深度处理器和三维图像设备
CN108802746B (zh) 一种抗干扰的测距方法及装置
CN110378944B (zh) 深度图处理方法、装置和电子设备
CN111896971B (zh) Tof传感装置及其距离检测方法
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
EP3972245A1 (en) Method and apparatus for calibrating parameter of three-dimensional (3d) display apparatus
CN108513121A (zh) 用于场景的景深图评估的方法和设备
CN110336942A (zh) 一种虚化图像获取方法及终端、计算机可读存储介质
CN106574966A (zh) 用于分箱飞行时间数据的方法
CN103528562A (zh) 一种基于单摄像头检测人眼与显示终端距离的方法
US20210279885A1 (en) Boundary detection evaluation
CN109788216A (zh) 用于tof的抗干扰方法、装置及tof传感器芯片
WO2021058016A1 (zh) 激光雷达及生成激光点云数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant