CN111679289B - 一种深度计算系统、方法及计算机可读存储介质 - Google Patents

一种深度计算系统、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111679289B
CN111679289B CN202010403683.0A CN202010403683A CN111679289B CN 111679289 B CN111679289 B CN 111679289B CN 202010403683 A CN202010403683 A CN 202010403683A CN 111679289 B CN111679289 B CN 111679289B
Authority
CN
China
Prior art keywords
module
configuration
depth
parameter setting
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010403683.0A
Other languages
English (en)
Other versions
CN111679289A (zh
Inventor
谷涛
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202010403683.0A priority Critical patent/CN111679289B/zh
Publication of CN111679289A publication Critical patent/CN111679289A/zh
Priority to PCT/CN2020/138120 priority patent/WO2021227504A1/zh
Application granted granted Critical
Publication of CN111679289B publication Critical patent/CN111679289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种深度计算系统、方法及计算机可读存储介质,系统包括:发射模组,用于接收控制与处理模组的调制参数配置并向目标空间发射调制光束;接收模组,用于接收控制与处理模组的调制参数配置并接收所述目标空间反射的调制光束;辅助传感器模组,用于监测外界的环境状态得到环境状态信息;控制与处理模组,包括配置模块,用于根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行应用程序时提取相应的需求参数设定和/或所述配置参数设定以及接收的环境状态信息调制发射模组和/或接收模组的参数配置,和/或开启相应的配置模块,和/或执行相应的深度算法,根据接收模组接收到的光束信息得到深度图像。

Description

一种深度计算系统、方法及计算机可读存储介质
技术领域
本发明涉及深度计算技术领域,尤其涉及一种深度计算系统、方法及计算机可读存储介质。
背景技术
深度相机可以用来获取目标的深度信息,基于深度信息可以实现三维重建、人脸识别、手势交互等功能。在终端设备中,嵌入式深度相机将成为未来终端由传统2D视觉向3D视觉转变的关键,但同时也面临一些挑战。
已有技术中,TOF相机可以用来获取目标的深度信息,基于深度信息可以实现三维重建、人脸识别、手势交互等功能。但目前,TOF相机内部含有的深度计算处理器在不同场景和应用下,算法差异很大,对深度图像的要求也不一致,难以满足深度图像多样化的同时,实现TOF相机的深度输出效果和功耗最优。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题,提供一种深度计算系统、方法及计算机可读存储介质。
为了解决上述问题,本发明采用的技术方案如下所述:
一种深度计算系统,包括:发射模组、接收模组、辅助传感器模组和控制与处理模组;所述发射模组,用于接收所述控制与处理模组的调制参数配置并根据所述参数配置向目标空间发射调制光束;所述接收模组,用于接收所述控制与处理模组的调制参数配置并根据所述参数配置接收所述目标空间反射的调制光束;所述辅助传感器模组,用于监测外界的环境状态得到环境状态信息,并将所述环境状态信息传输至控制与处理模组;所述控制与处理模组,包括配置模块,用于根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行所述应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据所述需求参数设定和/或所述配置参数设定以及接收的所述环境状态信息,调制所述发射模组和/或所述接收模组的参数配置,和/或开启相应的所述配置模块,和/或执行相应的深度算法,根据所述接收模组接收到的光束信息得到深度图像。
在本发明的一种实施例中,所述辅助传感器模组为环境光传感器,所述环境光传感器用于感知外界环境的光线信息,根据所述光线信息感知当前的所述环境状态信息。所述发射模组、所述接收模组以及所述辅助传感器模组被安装在同一平面上,且处于同一条基线,分别对应一个开口窗口。
在本发明的又一种实施例中,所述发射模组,用于向所述目标空间发射一定时间序列上被周期性调制的线光束或面阵光束;所述接收模组,用于采集所述目标空间反射回的所述被周期性调制的线光束或面阵光束后输出至所述控制与处理模组;所述控制与处理模组,用于对反射回的所述线光束或面阵光束进行解调,以计算出发射与接收的时间差并利用时间飞行法原理计算出所述目标空间的深度图像。
在本发明的再一种实施例中,所述配置参数设定包括分辨率、精度、帧率的中至少一种的设定。所述配置模块包括如下中至少一种:降噪模块:用于在所述深度算法中进行降噪;多频调制模块:用于高低频的搭配计算出模糊深度距离;对比度调制模块:用于调整在TOF图像传感器中,两个反相探测窗口之间的串扰;调制频率模块:用于调制所述发射模组以及所述接收模组的频率;帧率调节模块:用于调节深度图像的帧率;帧间融合模块:用于对所述接收模组在时间上接收不同的数据进行融合。
本发明还提供一种深度计算方法,包括如下步骤:S1:接收辅助传感器模组监测外界的环境状态得到环境状态信息;S2:根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行所述应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据所述需求参数设定和/或所述配置参数设定以及所述环境状态信息调制发射模组和/或接收模组的参数配置;S3:控制所述发射模组根据所述参数配置向目标空间发射调制光束;S4:控制所述接收模组根据所述参数配置接收所述目标空间反射的调制光束;S5: 根据所述需求参数设定和/或所述配置参数设定以及所述状态信息开启相应的配置模块和/或执行相应的深度算法,根据所述接收模组接收到的光束信息得到深度图像。
在本发明的一种实施例中,采用环境光传感器感知外界环境的光线信息,根据所述光线信息感知当前的所述环境状态信息。开启相应的配置模块包括:开启降噪模块、多频调制模块、对比度调制模块、调制频率模块、帧率调节模块帧间融合模块中的至少一个模块。
本发明又提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为:提供一种深度计算系统、方法及计算机可读存储介质,通过辅助传感器模组感知外界环境状态,结合预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,调制调制发射模组和/或接收模组的参数配置;进一步地,根据辅助传感器模组感知的结果,自适应调节深度计算系统中的参数配置,进而对各个算法进行调整,满足深度图像多样化的同时,实现深度计算系统的深度输出效果和功耗最优。
附图说明
图1是本发明实施例中一种深度计算系统的结构示意图。
图2是本发明实施例中一种深度计算方法的示意图。
图3是本发明实施例中又一种深度计算方法的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
图1为根据本发明一个实施例提供的一种深度计算系统结构示意图。深度计算系统100主要组成部分有发射模组101、接收模组102、辅助传感器模组103、控制与处理模组104。发射模组101,用于接收控制与处理模组104的调制参数配置并根据参数配置向目标空间发射调制光束,接收模组102,用于接收控制与处理模组104的调制参数配置并根据参数配置接收目标空间反射的调制光束;辅助传感器模组103用于监测外界的环境状态得到环境状态信息,并将所述环境状态信息传输至控制与处理模组104,控制与处理模组104,包括配置模块105,用于根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据需求参数设定和/或配置参数设定以及接收的环境状态信息,调制发射模组101和/或接收模组102的参数配置,和/或开启相应的配置模块105,和/或执行相应的深度算法,根据所述接收模组102接收到的光束信息得到深度图像。此时得到的深度图像是基于具体的应用程序和周围环境信息得到的,满足深度图像多样化的同时,实现深度计算系统的深度输出效果和功耗最优。
可以理解的是,上述系统还包括存储模块,用于存储预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定。
本发明通过上述系统满足了对于不同的应用程序和应用环境对深度图像的多样化的需求,使得深度输出效果和功耗最优。
在一些实施例中,辅助传感器模组103为环境光传感器,用于监测外界的环境状态得到环境状态信息,并将环境状态信息传输至控制与处理模组104。环境光传感器用于感知外界环境的光线信息,根据光线信息感知当前的环境状态信息,再结合具体的应用场景(如建模、背景虚化等),调节发射模组101和接收模组102以及配置模块105的参数配置。应当理解的是,辅助传感器模组103还可以是近邻传感器、泛光相机等其他可用于感知环境状态信息的传感器,此处不作限制。
在一些实施例中,发射模组101、接收模组102以及辅助传感器模组103一般被安装在同一平面上,且处于同一条基线,每个模组都对应一个开口窗口。控制与处理模组104一般被集成在电路板上,其他模组与控制与处理模组104连接,控制与处理模组104经由电路板以一定的接口实现对各个模组的控制。控制与处理模组104还包括输出接口106,如USB接口、MIPI接口等,用于将深度图像、彩色图像输出到其他设备。
在一个实施例中,发射模组101向目标空间发射一定时间序列上被周期性调制的线光束或面阵光束,接收模组102采集到周期性调制光束后输出至控制与处理模组104,控制与处理模组104用于对反射回的光束进行解调,以计算出发射与接收的时间差并利用时间飞行法原理计算出目标的深度图像。发射模组101可以包括激光器、激光驱动器、漫射器。激光器一般选用近红外波段的VCSEL激光器,能够最大程度地降低太阳光的干扰,激光驱动器的作用是驱动激光器发射出高频调制光束,探测精度与调制频率成正比,漫射器是将从激光器中发出的光在空间上调制理想的面照明方式,使激光照明区域与成像系统的视场尽快重合,最大化照明光的利用率,尽量提升探测精度。接收模组102包括镜头、图像传感器和滤光片。接收模组102的核心构造是一个典型的针孔相机,镜头用于收集来自目标物体上的返回光并在图像传感器上成像,但需要添加一个与光源波长相匹配的窄带滤光片,以抑制其余波段的背景光噪声。
在一个实施例中,控制与处理模组104是用于对整个系统进行整体控制,控制与处理模块104可以是单个的处理器也可以包含多个处理器单元,包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理器(DSP)、神经网络处理器(NPU)、图像信号处理器(ISP)等。在一些实施例中,处理器20可以是集成片上系统(SoC)或专用集成电路(ASIC),包括CPU等处理器、片上存储器、控制器、通信接口等。在一些实施例中,控制与处理模组104为应用处理器AP,比如移动应用处理器,主要负责移动终端中除通信外其他功能的实现,比如文本处理、图像处理等。
在一个实施例中,辅助传感器模组103感知外界环境信息,并将其传输至控制与处理模块104,控制与处理模块104根据应用场景的需求以及结合外界环境信息对于配置模块105进行配置参数,合理开启配置模块105中包含的模块,选择性地调节发射模组101以及接收模组102的频率,以输出不同效果的深度图,满足不同应用场景的需求。
终端设备给人们带来了无限便利,比如手机、平板、电脑、电视等终端可以实现通话、娱乐、办公等功能,同时移动终端的功能还要不断扩展,比如人脸识别解锁、移动支付等。由此对移动终端的硬件要求也越来越高,集成深度相机将称为终端设备未来的趋势。
如图1所示,控制与处理模块104设置了配置模块105,配置模块105可以对控制与处理模块104中运行的深度算法进行参数配置,从而使得深度算法可以在算法框架不改变的情况下,根据辅助传感器模组103感知的环境结果,配合应用场景的需求输出不同效果的深度图像。配置模块105包括但不限于以下几种:
1、降噪模块。基于TOF原理直接计算出来的深度图像,包含大量明显偏离实际的噪声,需要通过算法予以滤除。在不同的应用需求中,对深度图像的计算效果要求不同,比如有些应用场景中要求深度图像的物体边缘的精度较高,需要通过降噪算法进行降噪,有些应用要求深度图像的物体边缘精度低,不需要进行降噪,此时可以根据应用场景的需求选择性开启降噪模块,进而整体系统的功耗,减少计算量。
2、多频调制模块。根据TOF的探测原理,调制频率与精度成正比,而与最大探测距离成反比。在远距离的应用中,有些应用需求深度图像包含足够多的深度信息,需要开启多频调制模块,通过高低频的搭配计算出模糊距离,进而可以拓展探测距离;高低频的搭配等效于多次测量,能够显著降低深度计算的误差,可以在拓展探测距离的同时还能生成有效探测精度。
3、对比度调制模块。在实际的TOF图像传感器中,两个反相探测窗口之间总是存在一定的串扰,串扰的程度用调制对比度来表示,该值越高表示串扰程度越低,探测精度越好。在一些应用场景中,可通过对比度调制模块达到完全没有串扰的理想情况,对比度调制模块的最大值为1。一般情况下,串扰与调制频率成负相关关系,在100MHz的调制频率下,调制对比度一般在0.5-0.9之间。
4、调制频率模块。根据辅助传感器模块对环境的感知状态信息,调制发射模组和接收模组的调制频率。依据周围环境的状态信息对发射模组和接收模组的影响,选择性地调整发射模组和接收模组的频率,降低整个深度计算系统的功耗,延长终端的使用时间。
5、帧率调节模块。在一些实际的应用场景中,对深度图像的帧率要求不同,可通过减小数据量,减小数据传输和AD转换时间提高帧率,或者只传输感兴趣区域,对原始图像进行像素模拟信号合并或者降采样。
6、帧间融合模块。对接收模组在时间上接收不同的数据进行融合,通过调整在时间上接收到的不同数据选择性进行融合,等效于在时间上进行滤波,使得深度值更加稳定。
以上的配置模块仅示例性进行了分类,实际上不同分类中的配置模块也可以相同,各个分类相互之间也有联系,根据具体的需求可以开启一个或多个模块。因此在实际应用中,可以根据不同的应用需求,设计不限于以上模块,此处不作限制。
如图2所示,本发明提供一种深度计算方法,包括以下步骤:
S1:接收辅助传感器模组监测外界的环境状态得到环境状态信息;
S2:根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行所述应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据所述需求参数设定和/或所述配置参数设定以及所述环境状态信息调制发射模组和/或接收模组的参数配置;
S3:控制所述发射模组根据所述参数配置向目标空间发射调制光束;
S4:控制所述接收模组根据所述参数配置接收所述目标空间反射的调制光束;
S5: 根据所述需求参数设定和/或所述配置参数设定以及所述状态信息开启相应的配置模块和/或执行相应的深度算法,根据所述接收模组接收到的光束信息得到深度图像。
本发明通过如上的方法,根据具体的应用程序和环境对发射模组和采集模组进行参数配置,同时根据不同的应用程序以及环境状态信息调节深度计算系统中的参数配置,进而对各个算法进行调整,满足深度图像多样化的同时,实现深度计算系统的深度输出效果和功耗最优。
如图3所示,在本发明的一种实施例中,本发明提供的深度计算方法在获得深度图像以后,还包括
S6:将所述深度图像根据所述应用程序进行进一步处理,所述处理包括3D建模、背景虚化、AR/VR中的至少一种。
在一个实施例中,步骤S6中,执行深度计算时,同一个应用程序在不同的应用环境下进行算法的调制或配置模块的调整。比如背景虚化,其重点关注前景和背景的深度区分以及深度图像边缘的效果,但对于室内或室外的深度图的效果差异较大。室外高照强度下,太阳光对发射模组产生影响,通过调制发散模组及接收模组的参数配置,提高发射模组及接收模组的功率,但会导致深度图像产生较多的噪点,因此需要开启降噪模块,使用更复杂的算法去除噪点。室内场景下,环境光对发射模组的影响较小,可以降低发射模组和接收模组的功率,且不需要开始降噪模块,利用更简单的算法得到深度图像,进而节省了电源功耗,延长终端的使用时间。
本申请实施例还提供一种控制装置,包括处理器和用于存储计算机程序的存储介质;其中,处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质,用于存储计算机程序,该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器,所述处理器执行计算机程序,至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM,DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (9)

1.一种深度计算系统,其特征在于,包括:发射模组、接收模组、辅助传感器模组和控制与处理模组;
所述发射模组,用于接收所述控制与处理模组的调制参数配置并根据所述参数配置向目标空间发射一定时间序列上被周期性调制的线光束或面阵光束;
所述接收模组,用于接收所述控制与处理模组的调制参数配置并根据所述参数配置接收所述目标空间反射回的所述被周期性调制的线光束或面阵光束;
所述辅助传感器模组,用于监测外界的环境状态得到环境状态信息,并将所述环境状态信息传输至控制与处理模组;
所述控制与处理模组,包括配置模块,用于根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行所述应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据所述需求参数设定和/或所述配置参数设定以及接收的所述环境状态信息,调制所述发射模组和所述接收模组的参数配置,和/或开启相应的所述配置模块,和/或执行相应的深度算法,对反射回的所述线光束或面阵光束进行解调,以计算出发射与接收的时间差并利用时间飞行法原理计算出所述目标空间的深度图像。
2.如权利要求1所述的深度计算系统,其特征在于,所述辅助传感器模组为环境光传感器,所述环境光传感器用于感知外界环境的光线信息,根据所述光线信息感知当前的所述环境状态信息。
3.如权利要求1所述的深度计算系统,其特征在于,所述发射模组、所述接收模组以及所述辅助传感器模组被安装在同一平面上,且处于同一条基线,分别对应一个开口窗口。
4.如权利要求1所述的深度计算系统,其特征在于,所述配置参数设定包括分辨率、精度、帧率的中至少一种的设定。
5.如权利要求1所述的深度计算系统,其特征在于,所述配置模块还包括如下中至少一种:
降噪模块:用于在所述深度算法中进行降噪;
多频调制模块:用于高低频的搭配计算出模糊深度距离;
对比度调制模块:用于调整在TOF图像传感器中,两个反相探测窗口之间的串扰;
调制频率模块:用于调制所述发射模组以及所述接收模组的频率;
帧率调节模块:用于调节深度图像的帧率;
帧间融合模块:用于对所述接收模组在时间上接收不同的数据进行融合。
6.一种深度计算方法,其特征在于,包括如下步骤:
S1:接收辅助传感器模组监测外界的环境状态得到环境状态信息;
S2:根据预先设置好的应用程序对深度图像的需求参数设定以及深度算法的配置参数设定,执行所述应用程序时提取相应的所述需求参数设定和/或所述配置参数设定,根据所述需求参数设定和/或所述配置参数设定以及所述环境状态信息调制发射模组和接收模组的参数配置;
S3:控制所述发射模组根据所述参数配置向目标空间发射一定时间序列上被周期性调制的线光束或面阵光束;
S4:控制所述接收模组根据所述参数配置接收所述目标空间反射回的所述被周期性调制的线光束或面阵光束;
S5: 根据所述需求参数设定和/或所述配置参数设定以及所述状态信息开启相应的配置模块和/或执行相应的深度算法,对反射回的所述线光束或面阵光束进行解调,以计算出发射与接收的时间差并利用时间飞行法原理计算出所述目标空间的深度图像。
7.如权利要求6所述的深度计算方法,其特征在于,采用环境光传感器感知外界环境的光线信息,根据所述光线信息感知当前的所述环境状态信息;
开启相应的配置模块包括:开启降噪模块、多频调制模块、对比度调制模块、调制频率模块、帧率调节模块帧间融合模块中的至少一个模块。
8.如权利要求6或7所述的深度计算方法,其特征在于,还包括:
S6:将所述深度图像根据所述应用程序进行进一步处理,所述处理包括3D建模、背景虚化、AR/VR中的至少一种。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求6-8任一所述方法的步骤。
CN202010403683.0A 2020-05-13 2020-05-13 一种深度计算系统、方法及计算机可读存储介质 Active CN111679289B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010403683.0A CN111679289B (zh) 2020-05-13 2020-05-13 一种深度计算系统、方法及计算机可读存储介质
PCT/CN2020/138120 WO2021227504A1 (zh) 2020-05-13 2020-12-21 一种深度计算系统、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403683.0A CN111679289B (zh) 2020-05-13 2020-05-13 一种深度计算系统、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111679289A CN111679289A (zh) 2020-09-18
CN111679289B true CN111679289B (zh) 2023-05-05

Family

ID=72433501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403683.0A Active CN111679289B (zh) 2020-05-13 2020-05-13 一种深度计算系统、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111679289B (zh)
WO (1) WO2021227504A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679289B (zh) * 2020-05-13 2023-05-05 奥比中光科技集团股份有限公司 一种深度计算系统、方法及计算机可读存储介质
CN113156408A (zh) * 2021-03-19 2021-07-23 奥比中光科技集团股份有限公司 一种对比度标定方法、装置及设备
CN113808076A (zh) * 2021-08-04 2021-12-17 北京精英系统科技有限公司 一种检测方法、检测装置及计算机可读存储介质
CN114727082B (zh) * 2022-03-10 2024-01-30 杭州中天微系统有限公司 图像处理装置、图像信号处理器、图像处理方法和介质
CN116485912B (zh) * 2023-04-25 2023-12-05 北京拙河科技有限公司 一种光场相机多模组协调方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015081555A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
US10425628B2 (en) * 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
CN108663682A (zh) * 2017-03-28 2018-10-16 比亚迪股份有限公司 障碍物测距系统及具有其的车辆和tof测距方法
CN108881691A (zh) * 2018-07-13 2018-11-23 Oppo广东移动通信有限公司 控制方法、微处理器、计算机可读存储介质及计算机设备
CN109188452B (zh) * 2018-08-22 2021-07-23 上海炬佑智能科技有限公司 飞行时间测距传感器及其光源调制方法
CN109389631B (zh) * 2018-09-05 2022-09-16 奥比中光科技集团股份有限公司 深度计算系统与方法
CN109389632A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN109471119A (zh) * 2018-09-30 2019-03-15 维沃移动通信有限公司 一种控制功耗的方法及终端设备
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
CN111679289B (zh) * 2020-05-13 2023-05-05 奥比中光科技集团股份有限公司 一种深度计算系统、方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN111679289A (zh) 2020-09-18
WO2021227504A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111679289B (zh) 一种深度计算系统、方法及计算机可读存储介质
KR102644273B1 (ko) 상이한 fov를 갖는 카메라들을 이용한 시차 추정 시스템 및 방법
CN110324521B (zh) 控制摄像头的方法、装置、电子设备及存储介质
CN111052727B (zh) 电子装置及其控制方法
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
US11644570B2 (en) Depth information acquisition system and method, camera module, and electronic device
US11120536B2 (en) Apparatus and method for determining image sharpness
CN104284119A (zh) 在对象的预定义部分上投影图像的设备、系统和方法
KR102552923B1 (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
US20230164442A1 (en) Method for providing image and electronic device supporting same
CN111458717A (zh) 一种tof深度测量装置、方法及电子设备
KR102370763B1 (ko) 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
CN111598073A (zh) 图像传感装置和电子设备
KR20200117460A (ko) 전자 장치 및 그의 발열 제어 방법
CN113767359A (zh) 使用显示器的光获取生物特征信息的方法及电子装置
KR20210006605A (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
CN212160703U (zh) 图像传感装置和电子设备
CN111505836B (zh) 一种三维成像的电子设备
KR20220151932A (ko) 전자 장치 및 전자 장치의 동작 방법
CN111598071A (zh) 图像传感装置和电子设备
CN112987022A (zh) 测距方法及装置、计算机可读介质和电子设备
US20240070886A1 (en) Mixed-mode depth imaging
CN213042294U (zh) 图像传感装置和电子设备
CN212484402U (zh) 图像传感装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co.,Ltd.

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant