CN113050120A - 成像方法、电子装置、控制装置与存储介质 - Google Patents
成像方法、电子装置、控制装置与存储介质 Download PDFInfo
- Publication number
- CN113050120A CN113050120A CN202110312319.8A CN202110312319A CN113050120A CN 113050120 A CN113050120 A CN 113050120A CN 202110312319 A CN202110312319 A CN 202110312319A CN 113050120 A CN113050120 A CN 113050120A
- Authority
- CN
- China
- Prior art keywords
- histogram
- depth image
- image sensor
- sample
- measurement module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 132
- 238000012549 training Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000002310 reflectometry Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种成像方法、电子装置、控制装置与存储介质。所述成像方法包括：获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本。所述深度图样本和所述直方图样本一一对应，所述深度图像传感器的分辨率大于所述直接飞行时间测量模组的分辨率。基于所述深度图样本和所述直方图样本，得到训练后的目标模型。获取所述直接飞行时间测量模组采集的当前直方图。将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。如此，利用目标模型对低分辨率直接飞行时间测量模组生成的直方图进行识别生成高分辨率深度图，可减少高功耗的深度图像传感器的使用次数降低电子装置的功耗。
Description
技术领域
本申请涉及测距领域，尤其涉及一种成像方法、电子装置、控制装置与存储介质。
背景技术
随着技术的发展，手机、平板电脑等电子装置具备了越来越多的功能，例如虚拟现实和增强现实等等。为了实现这些功能，这些电子装置上都会配置测距系统以用于测距，如直接飞行时间测距系统(Directed Time of Flight，dTOF)。为了获取更好的深度图像信息，(Directed Time of Flight，dTOF)技术被引入到电子设备的成像系统中。如何利用低分辨率的直接飞行时间测量模组得到高分辨率的图像成为待关注的问题。
发明内容
本申请实施方式提供了一种深度图像的成像方法，所述成像方法包括：获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本。所述深度图样本和所述直方图样本一一对应，所述深度图像传感器的分辨率大于所述直接飞行时间测量模组的分辨率。基于所述深度图样本和所述直方图样本，得到训练后的目标模型。获取所述直接飞行时间测量模组采集的当前直方图。将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
本申请实施方式提供了一种电子装置，所述电子装置包括深度图像传感器、所述直接飞行时间测量模组及处理器，所述处理器用于获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本；也用于基于所述深度图样本和所述直方图样本，得到训练后的目标模型；还用于获取所述直接飞行时间测量模组采集的当前直方图；以及用于将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
本申请实施方式提供了一种控制装置，所述控制装置包括:
第一获取模块，用于获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本。
训练模块，用于基于所述深度图样本和所述直方图样本，得到训练后的目标模型。
第二获取模块，用于获取所述直接飞行时间测量模组采集的当前直方图。
输出模块，用于将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
本申请实施方式提供了一种计算机可执行程序的非易失性计算机可读存储介质，当所述计算机可执行程序被一个或多个处理器执行时，实现所述成像方法。
本申请实施方式提供了一种成像方法、控制装置、电子装置、与存储介质。先将直接飞行时间测量模组与深度图像传感器时采集同一时间同一背景的图像，将生成的直方图与深度图进行训练，然后关闭深度图像传感器。如此，可利用训练好的目标模型对低分辨率直接飞行时间测量模组生成的直方图进行识别生成高分辨率深度图。目标模型可减少高功耗的深度图像传感器的使用次数，相较于直接使用深度图像传感器得到高分辨率深度图的方法，本申请实施方式提供的成像方法还降低了电子装置的功耗。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的成像方法的流程示意图；
图2是本申请实施方式的电子装置的平面示意图；
图3是本申请实施方式的直接飞行时间测量模组输出的直方图；
图4是本申请实施方式的控制装置的模块示意；
图5是本申请实施方式的成像方法的场景示意图
图6是本申请实施方式的成像方法的流程示意图；
图7是本申请实施方式的成像方法的流程示意图；
图8是本申请实施方式的成像方法的流程示意图；
图9是本申请实施方式的成像方法的流程示意图；
图10是本申请实施方式的成像方法的流程示意图；
图11是本申请实施方式的成像方法的流程示意图。
主要元件符号说明：
电子装置10、深度图像传感器11、直接飞行时间测量模组12、处理器13、控制装置20、第一获取模块21、训练模块22、第二获取模块23、输出模块24。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1，本申请实施方式提供了一种成像方法，成像方法包括：
S10：获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本，深度图样本和直方图样本一一对应，深度图像传感器11的分辨率大于直接飞行时间测量模组12的分辨率；
S20：基于深度图样本和直方图样本，得到训练后的目标模型；
S30：获取直接飞行时间测量模组12采集的当前直方图；
S40：将当前直方图输入目标模型，以获取目标模型输出的与当前直方图对应的当前深度图像。
请参阅图2，本申请实施方式提供了一种电子装置10，电子装置10包括深度图像传感器11、直接飞行时间测量模组12及处理器13，处理器13用于获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本；也用于基于深度图样本和直方图样本，得到训练后的目标模型；还用于获取直接飞行时间测量模组12采集的当前直方图；以及用于将当前直方图输入目标模型，以获取目标模型输出的与当前直方图对应的当前深度图像。
电子装置10可以但不局限于是手机、平板电脑、笔记本电脑、智能手表、游戏机、头显设备、激光尺等。
具体的，深度图像传感器11可以是电子装置10上现有的双目视觉传感器、现有量产工艺成熟的面阵间接飞行时间(Indirect Time of flight，ITOF)测量模组或者其他具有3d深度图获取的传感器。
其中，被动双目视觉传感器依赖于两个相机公共视场内的纹理特征，从两个视点观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。面阵间接时间飞行测量模组的原理为通过发射特定频率的调制光，检测反射调制光和发射的调制光之间的相位差，测量飞行时间从而获取目标物体的深度。
直接飞行时间(Direct Time of flight，dTOF)测量模组是通过直接向测量物体发射光脉冲，并测量反射光脉冲和发射光脉冲之间的时间间隔，得到光的飞行时间，从而直接计算待测物体的深度距离。
直接飞行时间测量模组12可包括发射器、单光子雪崩二极管(Single PhotonAvalanche Diode，SPAD)芯片与时间数字转换器。SPAD是一种具有单光子探测能力的光电探测雪崩二极管，只要有微弱的光信号就能产生电流。SPAD用于检测被目标物体反射回的脉冲中的光子，单个光子入射SPAD后产生的雪崩信号，形成光子信号。时间数字转换器能够记录每次接收到的光信号的飞行时间，也就是发射脉冲和接收脉冲之间的时间间隔，根据时间间隔得出物体的深度信息。直接飞行时间测量模组12可以采集视场角范围内所有目标的深度距离信息，构成一个直方图如图3所示，count对应SPAD被不同距离反射光触发的次数，time为不同距离反射光飞行时间，实际对应的就是场景中各个点的深度距离。
本申请实施方式所采用的本方案中的直接飞行时间测量模组12可以为单点或者4×4低分辨率等，这种直接飞行时间测量模组12功耗小，能支持常开状态。
请参阅图4，本申请实施方式提供了一种控制装置20，控制装置20包括第一获取模块21、训练模块22、第二获取模块23与输出模块24。第一获取模块21用于获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本。训练模块22用于基于深度图样本和直方图样本，得到训练后的目标模型。第二获取模块23用于获取直接飞行时间测量模组12采集的当前直方图。输出模块24用于将当前直方图输入目标模型，以获取目标模型输出的与当前直方图对应的当前深度图像。
具体的，在步骤S10中，在同一个场景中，同时开启深度图像传感器11与直接飞行时间测量模组12为工作状态，将深度图像传感器11与直接飞行时间测量模组12固定在某一位置保持不动，将不同反射率的目标物体在深度图像传感器11与直接飞行时间测量模组12前方不断移动变换位置与距离，深度图像传感器11与直接飞行时间测量模组12能够采集到当前视场角范围内所有目标的深度距离信息。
深度图像传感器11对当前背景进行图像采集生成深度图，直接飞行时间测量模组12对当前背景进行图像采集生成直方图。
由于深度图像传感器11与直接飞行时间测量模组12为同时开启，且置于同一环境内，可得到一一对应的深度图样本与直方图样本。由于本申请实施方式所采用到的直接飞行时间测量模组12可以是低分辨率直接飞行时间测量模组，低分辨直接飞行时间测量模组可以是单点直接飞行时间测量模组、2×2低分辨率直接飞行时间测量模组或是4×4低分辨率直接飞行时间测量模组。需要解释的是，单点直接飞行时间测量模组进行图像采集时，可生成1个直方图；当采用2×2低分辨率直接飞行时间测量模组进行图像采集时，将生成4个直方图；当采用4×4低分辨率直接飞行时间测量模组进行图像采集时，将生成16个直方图。当生成了多个直方图时，最后需要将多个直方图叠加汇总为一个直方图，能够与深度图样本中的数据一一对应，便于人工神经网络的训练。需要说明的是，这种低分辨率的直接飞行时间测量模组功耗相较于深度图像传感器11而言分辨率较低，功耗较小。
如此，通过同时开启深度图像传感器11与直接飞行时间测量模组12对同一场景进行图像采集，获取到的深度图样本与直方图样本能够作为人工神经训练网络的输入量。
在步骤S20中，将上一步骤获得的深度图样本与直方图样本输入至人工神经网络，以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统，是处理非线性系统的有力工具。人工神经网络可以为卷积神经网络(ConvolutionalNeural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)深度神经网络(Deep Neural Networks,DNN)。在本申请实施方式中，人工神经网络的构建与训练本质上寻找背景点深度距离与直方图之间的关系，构建一种约束条件。
这一步骤为训练过程，将深度图样本和直方图样本输入目标模型进行训练，人工神经网络可根据样本所构成的数据对，寻找背景点深度距离与直方图之间的关系，得到一种约束条件也即是目标模型。如此，当向目标模型输入新的直方图样本时，目标模型可根据目标模型得到相对应的新深度图。
在步骤S30中，由于深度图像传感器11的功耗较大，持续开启深度图像传感器11会减少电子装置10的续航时间。且前一步骤已经根据深度图像传感器11的深度图样本与直接时间飞行测量模组的直方图样本，经人工神经网络训练得到了目标模型。当向目标模型输入直方图样本时，该目标模型可以生成深度图。这时深度图像传感器11可以保持常关闭状态。
由于低分辨率直接飞行时间测量模组的功耗小可保持常开状态，当需要重新获取同一环境下的深度图像时，可只开启直接飞行时间测量模组12，通过直接飞行时间测量模组12采集图像获取直方图样本。如此，生成目标模型后关闭深度图像传感器11，可减少高功耗的深度图像传感11的使用次数，相较于仅使用深度图像传感器11得到高分辨率深度图的方法，降低了电子装置10的功耗。
需要指出的是，当深度图像传感器11与直接飞行时间测量模组12的使用环境发生改变时，深度图像传感器11则需要再次开启。例如，首先采集了客厅内的深度信息且已经生成相应的目标模型。当更换环境，需要获取厨房内物体的深度信息时，之前生成的目标模型在厨房内无法使用，需要重新同时开启度图像传感器与直接飞行时间测量模组12，以生成与当前厨房环境相对应的目标模型。
在步骤S40中，将直接飞行时间测量模组12生成的直方图送入训练好的人工神经网络模型中，生成深度图。该深度图的最大分辨率理论上与深度图像传感器11一致，但实际上受限于直接飞行时间测量模组12响应存在延时、目标深度距离较远等因素，恢复出来深度图的分辨率通常低于理论值。然而，经目标模型生成的深度图分辨率还是较高的，如此，目标模型可以避免长时间开启高功耗的深度图像传感11，在减小了功耗同时还提升了深度图的分辨率。
先将直接飞行时间测量模组11与深度图像传感器12时采集同一时间同一背景的图像，将生成的直方图与深度图进行训练，然后关闭深度图像传感器12。如此，可利用训练好的目标模型对低分辨率直接飞行时间测量模组11生成的直方图进行识别可生成高分辨率的深度图。
该成像方法可适用于虚拟现实VR和增强现实AR等场景中。例如，在其增强现实AR场景中，增强现实AR技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术。首先通过深度图像传感器11与直接飞行时间测量模组12将真实场景进行数据采集，如图5所示，并传入处理器13对其进行分析和重构，再通过电子装置10实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。
初次使用时，深度图像传感器11与直接飞行时间测量模组12需同时开启，将真实场景进行数据采集后，所得的深度图样本与直方图样本需利用人工神经网络训练后生成目标模型。目标模型可以将直方图转换为高分辨率的深度图，也即是说在同一现实场景中，再次使用时可关闭深度图像传感器11，只留直接飞行时间测量模组12工作也可实现虚拟场景与现实场景的融合，减小了电子装置10的功耗。
请参阅图6，在某些实施方式中，获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本(步骤S10)，包括：
S11：控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；
S12：保持深度图像传感器11和直接飞行时间测量模组12处于静止状态；
S13：控制深度图像传感器11和直接飞行时间测量模组12采集视场范围内物体变化的样本。
在某些实施方式中，第一获取模块21用于控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；也用于保持深度图像传感器11和直接飞行时间测量模组12处于静止状态；还用于控制深度图像传感器11和直接飞行时间测量模组12采集视场范围内物体变化的样本。
在某些实施方式中，处理器13用于控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；也用于保持深度图像传感器11和直接飞行时间测量模组12处于静止状态；还用于控制深度图像传感器11和直接飞行时间测量模组12采集视场范围内物体变化的样本。
具体的，在步骤S11中，将深度图像传感器11和直接飞行时间测量模组12同时开启。深度图像传感器11可通过发射与接收信号从而获取当前场景下的目标物体的深度信息。
直接飞行时间测量模组12以预定的测量周期向场景中各发射点发射光脉冲，光脉冲在遇到目标物时会反射回来，直接飞行时间测量模组12接收到反射回来的光脉冲，计数单元在相应的时间单元内计数值加一，经过多次测量周期的统计次数积累及计数值的积累，最终时能够得到以直方图的形式展示的波形信息获取飞行时间。如此，可根据每个检测周期的总时长及每个检测周期内每个时间单元各自的计数值获取直方图。
在步骤S12中，将深度图像传感器11和直接飞行时间测量模组12固定在某一位置保持不动，且深度图像传感器11与直接飞行时间测量模组12之间的距离不能太远，视场角相似，保证两个模组看到的场景是一样或者相似的。如此，在采集背景图像的过程中能够减小因运动而产生的干扰避免影响成像效果。
在步骤S13中，在同一个背景中，将不同反射率的目标物体在深度图像传感器11和直接飞行时间测量模组12的前方不断移动变换位置与距离，深度图像传感器11和直接飞行时间测量模组12可对目标物体发送信号与光脉冲，从而获取目标物体的深度信息。在采集训练样本时应当加入不同反射率的目标，该目标可以是穿不同颜色衣服的人，也可以是其他的物体。
如此，直接飞行时间测量模组12在背景不变，目标物体变化的情况下工作，通过加入不同反射率的目标能够提高飞行时间测量模组对不同反射率物体的适应性。
请参阅图7，获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本(步骤S10)，包括：
S14：控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；
S15：控制深度图像传感器11和直接飞行时间测量模组12运动；
S16：在深度图像传感器11和直接飞行时间测量模组12运动的过程中，控制深度图像传感器11和直接飞行时间测量模组12采集对应的样本。
在某些实施方式中，第一模块用于控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；还用于控制深度图像传感器11和直接飞行时间测量模组12运动；以及用于在深度图像传感器11和直接飞行时间测量模组12运动的过程中，控制深度图像传感器11和直接飞行时间测量模组12采集对应的样本。
在某些实施方式中，处理器13控制深度图像传感器11和直接飞行时间测量模组12均处于开启状态；还用于控制深度图像传感器11和直接飞行时间测量模组12运动；以及用于在深度图像传感器11和直接飞行时间测量模组12运动的过程中，控制深度图像传感器11和直接飞行时间测量模组12采集对应的样本。
具体的，步骤S14与步骤S11相同，主要是训练前的准备工作，将深度图像传感器11和直接飞行时间测量模组12同时开启，保持工作状态。深度图像传感器11可通过发射与接收信号，生成深度图从而获取当前目标物体的深度信息。直接飞行时间测量模组12可通过发射与接收发射光脉冲，生成直方图后根据光脉冲发射和接收的时间差获取当前目标物体的深度信息。深度图像传感器11和直接飞行时间测量模组12的同时开启，能够控制所获得的深度图与直方图有一一对应的关系。
具体的，在步骤S15中，在某些实施方式中，在采集训练的过程时深度图像传感器11与直接飞行时间测量模组12是可以运动的。每隔一段时间，控制深度图像传感器11与直接飞行时间测量模组12运动一次，并对背景进行深度采集。示例性地，深度图像传感器11与直接飞行时间测量模组12可以旋转，也可以沿当前背景下的上下方向运动，还可以沿左右方向进行运动。
优选地，旋转就可使得深度图像传感器11与直接飞行时间测量模组12采集到当前环境内360°范围的背景数据，可以适用于更加广泛的应用中。将获得的深度图样本与直方图导入人工神经网络进行训练生成目标模型。
需要说明的是，由于直接飞行时间测量模组12相对于背景位置有变化时，则需要采集大量的数据，人工神经网络的训练过程更加复杂，由于电子装置10的计算能力有限，则需要将深度图样本与直方图样本数据传回服务器进行训练。
具体的，在步骤S16中，在深度图像传感器11与直接飞行时间测量模组12的运动过程中，每变换一个姿态就采集一次图像并获得若干数据并训练生成目标网络模型，最后会得到若干组目标网络模型。在检测时采集第一幅直方图时同时打开深度图像传感器11，用若干组目标网络模型都去生成一幅深度图，用生成的若干深度图与深度图像传感器11所得的高分辨率深度图作比较，最后取相似度最高的一幅深度图对应的网络模型作为目标模型。
同样地，在同一背景下，控制深度图像传感器11和直接飞行时间测量模组12运动。同时将不同反射率的目标物体在深度图像传感器11和直接飞行时间测量模组12的前方不断运动变换位置与距离。深度图像传感器11和直接飞行时间测量模组12可对目标物体发送信号与光脉冲，从而获取目标物体的深度信息。
如此，运动的直接飞行时间测量模组12能够采集当前环境内目标物体的更多深度数据，以适用于更加广泛的应用中。
请参阅图8，在某些实施方式中，获取深度图像传感器11采集的深度图样本和直接飞行时间测量模组12采集的直方图样本(步骤S10)，包括：
S17：控制深度图像传感器11和直接飞行时间测量模组12在同一时刻采集对应的样本。
在某些实施方式中，第一获取模块21用于控制深度图像传感器11和直接飞行时间测量模组12在同一时刻采集对应的样本。
在某些实施方式中，处理器13用于控制深度图像传感器11和直接飞行时间测量模组12在同一时刻采集对应的样本。
具体的，在步骤S17中，为保证深度图样本与直方图样本的数据对有着一一对应的关系，则需要控制深度图像传感器11和直接飞行时间测量模组12同时开启，同一时刻开始采集。
请参阅图9，在某些实施方式中，基于深度图样本和直方图样本，得到训练后的目标模型(步骤S20)，包括：
S21：将深度图样本和直方图样本发送至服务器；
S22：接收服务器发送的目标模型，目标模型是服务器根据深度图样本；直方图样本训练基础模型得到。
在某些实施方式中，训练模块22用于将深度图样本和直方图样本发送至服务器；还用于接收服务器发送的目标模型，目标模型是服务器根据深度图样本与直方图样本训练基础模型得到。
在某些实施方式中，处理器13用于将深度图样本和直方图样本发送至服务器；还用于接收服务器发送的目标模型，目标模型是服务器根据深度图样本与直方图样本训练基础模型得到。
具体的，在步骤S21中，为使得人工神经网络的训练的目标模型的效果更好，可采用一些较为复杂的深度学习方法，由于电子装置10的运算能力较弱，可借助网络将深度图样本和直方图样本发送至服务器。通过服务器进行训练计算后，可得到精度高、生成深度图效果较好的目标模型。
如此，借助服务器进行训练可完成较为复杂的深度学习，以得到精度高与生成深度图效果较好的目标模型。
此外，当深度图像传感器11与直接飞行时间测量模组12相对于背景位置有变化时，对目标物体进行图像采集时，则需要采集额外的大量的数据，也可使用服务器来进行训练计算。
具体的，在步骤S22中，服务器将训练好的目标模型上传至电子装置10，电子装置10接收目标模型。直接飞行时间测量模组12生成的直方图包含三维场景中各个物体的深度距离，恢复为一幅深度图即为从一维到二维的过程，从数值上求解是无法获得唯一解的。
人工神经网络的构建与训练本质上寻找背景点深度距离与直方图之间的关系，构建一种约束条件，再基于这种约束条件将包含目标物体的直方图恢复为一幅深度图，即基于某种约束求一个最优解。
如此，电子装置10内的目标模型能够直接将直接飞行时间测量模组12在同一场景下生成的直方图转为较高分辨率的深度图。
请参阅图10，在某些实施方式中，基于深度图样本和直方图样本，得到训练后的目标模型(步骤S20)，包括：
S23：将深度图样本和直方图样本输入本地的基础模型；
S24：训练基础模型以得到目标模型。
在某些实施方式中，训练模块22用于将深度图样本和直方图样本输入本地的基础模型；以及用于训练基础模型以得到目标模型。
在某些实施方式中，处理器13用于将深度图样本和直方图样本输入本地的基础模型；以及用于训练基础模型以得到目标模型。
如此，可以根据深度图样本和直方图样本建立基础模型，并对基础模型进行训练以得到目标模型。
具体地，可以人为地对深度图样本和直方图样本的样本特征进行筛选，以人为地剔除一些干扰特征，并组成初始的训练特征组合，将训练特征组合输入基础模型中，对基础模型进行人工神经网络训练以得到更优的目标模型，如此，目标模型可将同一背景下直接飞行时间测量模组12的直方图转换外精度较高，成像较好的深度图。
请参阅图11，在某些实施方式中，基于深度图样本和直方图样本，得到训练后的目标模型(步骤S20)，包括：
S25：判断深度图像传感器11和直接飞行时间测量模组12的视场角是否一致；
S26：在深度图像传感器11和直接飞行时间测量模组12的视场角不一致时，裁剪深度图样本和直方图样本中的其中一个，以使处理后的深度图样本和直方图样本的内容相同；
S27：根据处理后的深度图样本和直方图样本得到训练后的目标模型；
在某些实施方式中，训练模块22用于判断深度图像传感器11和直接飞行时间测量模组12的视场角是否一致；还用于在深度图像传感器11和直接飞行时间测量模组12的视场角不一致时，裁剪深度图样本和直方图样本中的其中一个，以使处理后的深度图样本和直方图样本的内容相同；及用于根据处理后的深度图样本和直方图样本得到训练后的目标模型。
在某些实施方式中，处理器13用于判断深度图像传感器11和直接飞行时间测量模组12的视场角是否一致；还用于在深度图像传感器11和直接飞行时间测量模组12的视场角不一致时，裁剪深度图样本和直方图样本中的其中一个，以使处理后的深度图样本和直方图样本的内容相同；及用于根据处理后的深度图样本和直方图样本得到训练后的目标模型。
具体的，在步骤S25中，在不同视场角下，深度图像传感器11和直接飞行时间测量模组12所得到的目标物体的深度信息不一致，导致深度图样本和直方图样本的数据不对应，不便于人工神经网络获得直方图样本与深度图样本之间的关系。因此，在将深度图样本和直方图样本输出为目标模型之前，对需判断深度图像传感器11和直接飞行时间测量模组12的视场角是否一致。
如此，可以预先判断视场角是否一致，可以避免深度图像传感器11的深度图样本数据与直接飞行时间测量模组12的直方图样本数据不对应，导致人工神经网络获得精度低、生成深度图效果不好的目标模型。
在步骤S26中，在深度图像传感器11和直接飞行时间测量模组12的视场角不一致时，可以根据直方图样本裁剪深度图样本，也可以根据深度图样本裁剪直方图样本，以使处理后的深度图样本和直方图样本的视场角相同。如此，便于人工神经网络获得直方图样本与深度图样本之间的关系，提升人工神经网络的训练效率。
在步骤S27中，将处理过视场角的深度图样本与直方图样本送入人工神经网络，人工神经网络再根据样本中各数据对之间关系，生成一个可以将直接飞行时间测量模组12所得到直方图转为深度图的目标模型。如此，目标模型可减少高功耗的深度图像传感器11的使用次数，提升电子装置10的续航能力。
在某些实施方式中，本申请实施方式提供了一种包含计算机可执行程序的非易失性计算机可读存储介质，当计算机可执行程序被一个或多个处理器执行时，实现任一实施方式的成像方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种深度图像的成像方法，其特征在于，包括：
获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本，所述深度图样本和所述直方图样本一一对应，所述深度图像传感器的分辨率大于所述直接飞行时间测量模组的分辨率；
基于所述深度图样本和所述直方图样本，得到训练后的目标模型；
获取所述直接飞行时间测量模组采集的当前直方图；
将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
2.根据权利要求1所述的成像方法，其特征在于，所述获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本，包括：
控制所述深度图像传感器和所述直接飞行时间测量模组均处于开启状态；
保持所述深度图像传感器和所述直接飞行时间测量模组处于静止状态；
控制所述深度图像传感器和所述直接飞行时间测量模组采集视场范围内物体变化的样本。
3.根据权利要求1所述的成像方法，其特征在于，所述获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本，包括：
控制所述深度图像传感器和所述直接飞行时间测量模组均处于开启状态；
控制所述深度图像传感器和所述直接飞行时间测量模组运动；
在所述深度图像传感器和所述直接飞行时间测量模组运动的过程中，控制所述深度图像传感器和所述直接飞行时间测量模组采集对应的样本。
4.根据权利要求1-3任一项所述的成像方法，其特征在于，所述获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本，包括：
控制所述深度图像传感器和所述直接飞行时间测量模组在同一时刻采集对应的样本。
5.根据权利要求1所述的成像方法，其特征在于，所述基于所述深度图样本和所述直方图样本，得到训练后的目标模型，包括:
将所述深度图样本和所述直方图样本发送至服务器；
接收所述服务器发送的目标模型，所述目标模型是所述服务器根据所述深度图样本与所述直方图样本训练基础模型得到。
6.根据权利要求1所述的成像方法，其特征在于，所述基于所述深度图样本和所述直方图样本，得到训练后的目标模型，包括：
将所述深度图样本和所述直方图样本输入本地的基础模型；
训练所述基础模型以得到所述目标模型。
7.根据权利要求1所述的成像方法，其特征在于，所述基于所述深度图样本和所述直方图样本，得到训练后的目标模型包括：
判断所述深度图像传感器和所述直接飞行时间测量模组的视场角是否一致；
在所述深度图像传感器和所述直接飞行时间测量模组的视场角不一致时，裁剪所述深度图样本和所述直方图样本中的其中一个，以使处理后的所述深度图样本和所述直方图样本的内容相同；
根据处理后的所述深度图样本和所述直方图样本得到训练后的目标模型。
8.一种电子装置，其特征在于，包括深度图像传感器、直接飞行时间测量模组及处理器，所述处理器用于获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本；也用于基于所述深度图样本和所述直方图样本，得到训练后的目标模型；还用于获取所述直接飞行时间测量模组采集的当前直方图；以及用于将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
9.一种控制装置，其特征在于，包括：
第一获取模块，用于获取深度图像传感器采集的深度图样本和直接飞行时间测量模组采集的直方图样本；
训练模块，用于基于所述深度图样本和所述直方图样本，得到训练后的目标模型；
第二获取模块，用于获取所述直接飞行时间测量模组采集的当前直方图。
输出模块，用于将所述当前直方图输入所述目标模型，以获取所述目标模型输出的与所述当前直方图对应的当前深度图像。
10.一种计算机可执行程序的非易失性计算机可读存储介质，其特征在于，当所述计算机可执行程序被一个或多个处理器执行时，实现权利要求1-7中任一项所述的成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110312319.8A CN113050120A (zh) | 2021-03-24 | 2021-03-24 | 成像方法、电子装置、控制装置与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110312319.8A CN113050120A (zh) | 2021-03-24 | 2021-03-24 | 成像方法、电子装置、控制装置与存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113050120A true CN113050120A (zh) | 2021-06-29 |
Family
ID=76514719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110312319.8A Pending CN113050120A (zh) | 2021-03-24 | 2021-03-24 | 成像方法、电子装置、控制装置与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113050120A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190289281A1 (en) * | 2018-03-13 | 2019-09-19 | Magic Leap, Inc. | Image-enhanced depth sensing via depth sensor control |
| US20190304118A1 (en) * | 2018-03-27 | 2019-10-03 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating image generative model |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| CN112346076A (zh) * | 2020-11-25 | 2021-02-09 | Oppo（重庆）智能科技有限公司 | 电子装置的控制方法、电子装置及计算机可读存储介质 |
-
2021
- 2021-03-24 CN CN202110312319.8A patent/CN113050120A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190289281A1 (en) * | 2018-03-13 | 2019-09-19 | Magic Leap, Inc. | Image-enhanced depth sensing via depth sensor control |
| US20190304118A1 (en) * | 2018-03-27 | 2019-10-03 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for generating image generative model |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| CN112346076A (zh) * | 2020-11-25 | 2021-02-09 | Oppo（重庆）智能科技有限公司 | 电子装置的控制方法、电子装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rapp et al. | Advances in single-photon lidar for autonomous vehicles: Working principles, challenges, and recent advances | |
| CA3017819C (en) | Lidar based 3-d imaging with varying illumination intensity | |
| CN108401461B (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| Faion et al. | Intelligent sensor-scheduling for multi-kinect-tracking | |
| CN106646510B (zh) | 一种基于光子标记的首光子激光成像系统 | |
| CN107257931A (zh) | 用于光束扫描设备的致动光学元件 | |
| CN110596725A (zh) | 基于插值的飞行时间测量方法及测量系统 | |
| CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
| CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
| US11808857B2 (en) | Multi-sensor superresolution scanning and capture system | |
| US11494925B2 (en) | Method for depth image acquisition, electronic device, and storage medium | |
| CN113780349A (zh) | 训练样本集的获取方法、模型训练方法及相关装置 | |
| Al-Temeemy et al. | Laser-based structured light technique for 3D reconstruction using extreme laser stripes extraction method with global information extraction | |
| JP7166446B2 (ja) | ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体 | |
| WO2022110947A1 (zh) | 电子装置的控制方法、电子装置及计算机可读存储介质 | |
| KR20210127950A (ko) | 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지 | |
| CN113050120A (zh) | 成像方法、电子装置、控制装置与存储介质 | |
| WO2020249359A1 (en) | Method and apparatus for three-dimensional imaging | |
| Pal et al. | 3D point cloud generation from 2D depth camera images using successive triangulation | |
| CN111510700A (zh) | 图像采集装置 | |
| EP4332632A1 (en) | Three-dimensional ultrasonic imaging method and system based on laser radar | |
| CN209117856U (zh) | 智能感知激光雷达系统 | |
| CN116400379B (zh) | 单光子激光雷达三维成像系统和三维成像方法 | |
| CN106842219B (zh) | 一种用于混合现实设备的空间测距方法和系统 | |
| EP3667363A1 (en) | Methods and apparatuses for determining rotation parameters for conversion between coordinate systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |