CN109658352B - 图像信息的优化方法及装置、电子设备和存储介质 - Google Patents

图像信息的优化方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN109658352B
CN109658352B CN201811536144.3A CN201811536144A CN109658352B CN 109658352 B CN109658352 B CN 109658352B CN 201811536144 A CN201811536144 A CN 201811536144A CN 109658352 B CN109658352 B CN 109658352B
Authority
CN
China
Prior art keywords
optimization
convolution
sub
feature matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811536144.3A
Other languages
English (en)
Other versions
CN109658352A (zh
Inventor
任思捷
陈岩
程璇晔
孙文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201811536144.3A priority Critical patent/CN109658352B/zh
Publication of CN109658352A publication Critical patent/CN109658352A/zh
Priority to SG11202012776VA priority patent/SG11202012776VA/en
Priority to JP2021500554A priority patent/JP7072119B2/ja
Priority to KR1020207036791A priority patent/KR102538164B1/ko
Priority to PCT/CN2019/087637 priority patent/WO2020119026A1/zh
Priority to TW108137267A priority patent/TWI717865B/zh
Priority to US17/129,189 priority patent/US20210110522A1/en
Application granted granted Critical
Publication of CN109658352B publication Critical patent/CN109658352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/77—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本公开涉及一种图像信息的优化方法及装置、电子设备和存储介质，所述方法包括：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；通过神经网络对各所述原始图像执行优化处理得到所述原始图像对应的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。本公开实施例能够从原始图像中有效的恢复出高质量的深度信息。

Description

图像信息的优化方法及装置、电子设备和存储介质
技术领域
本公开涉及图像处理领域，特别涉及一种图像信息的优化方法及装置、电子设备和存储介质
背景技术
深度图像的获取在许多领域有着重要的应用价值。例如，在资源勘探、三维重建、机器人导航等领域中对障碍物的检测、自动驾驶、人脸检测等都依赖于场景的高精度三维数据。相关技术中，具有代表性的获取深度图像的方式包括双目视觉、结构光技术、基于激光雷达的三维点云获取技术以及ToF相机(飞行时间相机)。其中，ToF相机和双目视觉相比，在测量深度时，不需要较大的计算量，且可以获得高精度的深度图像；ToF相机和结构光技术相比，会受到更小的背景光的影响；ToF相机和激光雷达相比，具有体积小，获取深度图像速度快等优点。但ToF相机在测量距离较大或者存在对光吸收率较高物体的场景时，深度的传感器接收到的信号比较微弱，且存在较大的噪声。其中，传统的深度重建方法都是通过相位差直接进行查找计算，在信噪比很低的情况下很难计算出这些区域准确的深度信息，表现在深度图像中即为大片缺失深度信息的黑洞。
即现有技术中，存在现有的ToF相机或者深度摄像设备在低信噪比的情况下，不能有效的获取图像的深度信息的技术问题。
发明内容
本公开实施例提供了一种图像信息的优化方法及装置、电子设备和存储介质，能够对低信噪比图像进行优化从而有效的恢复出图像中的深度信息。
根据本公开的一方面，提供了一种图像信息的优化方法，其包括：
获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。
在一些可能的实施方式中，所述神经网络执行的优化处理包括依次执行的多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；
其中，所述通过神经网络对各所述原始图像执行优化处理包括：
将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；
将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。。
在一些可能的实施方式中，所述优化处理包括依次执行的三组优化过程，所述通过神经网络对各所述原始图像执行优化处理包括：
对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
在一些可能的实施方式中，所述第一组优化过程包括依次执行的多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；
其中，所述对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵，包括：
通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到第一优化特征矩阵；
通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
在一些可能的实施方式中，在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
在一些可能的实施方式中，所述第二组优化过程包括依次执行的多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；
其中，所述对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，包括：
通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
在一些可能的实施方式中，在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，每个第二卷积处理采用的第二卷积核的数量相同。
在一些可能的实施方式中，所述第三组优化过程包括依次执行的多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，并且所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；
其中，所述对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，包括：
通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到第三优化特征矩阵；
将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。
在一些可能的实施方式中，在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
在一些可能的实施方式中，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
在一些可能的实施方式中，所述方法还包括：
获取第一训练图像；
利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
在一些可能的实施方式中，在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后，所述方法还包括：
获取第二训练图像；
利用所述神经网络对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵；
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定；在所述对抗网络生成的判定值为第一判定值时，反馈调节所述神经网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
根据本公开的第二方面，提供了一种图像信息的优化装置，其包括：
获取模块，其用于获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
优化模块，其用于通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。
在一些可能的实施方式中，所述优化模块执行的所述优化处理包括多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；并且，
所述优化模块还用于将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；以及
将其余的各组优化过程的输入信息确定为前一组优化过程输出的优化特征矩阵，并基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像。
在一些可能的实施方式中，所述优化处理包括三组优化过程，并且，所述优化模块包括：
第一优化单元，其用于对各所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
第二优化单元，其用于对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
第三优化单元，其用于对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
在一些可能的实施方式中，所述第一组优化过程包括多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；
所述第一优化单元还用于通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到针对第一个第一子优化过程的第一优化特征矩阵；以及
通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
在一些可能的实施方式中，所述第一优化单元还用于在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
在一些可能的实施方式中，所述第二组优化过程包括多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；
所述第二优化单元还用于通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到针对第一个第二子优化过程的第二优化特征矩阵；以及
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
在一些可能的实施方式中，所述第二优化单元还用于在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，并且每个第二卷积处理采用的第二卷积核的数量相同。
在一些可能的实施方式中，所述第三组优化过程包括多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，并且所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；
所述第三优化单元还用于通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到针对第一个第三子优化过程的第三优化特征矩阵；
将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。
在一些可能的实施方式中，所述第三优化单元还用于在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
在一些可能的实施方式中，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
在一些可能的实施方式中，所述装置还包括第一训练模块，其用于获取第一训练图像，并利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；以及
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
在一些可能的实施方式中，所述装置还包括第二训练模块，其用于在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后，还用于获取第二训练图像，并
利用所述神经网络对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵，以及
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定；在所述对抗网络生成的判定值为第一判定值时，反馈调节所述神经网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
根据本公开的第三方面，提供了一种电子设备，其包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行第一方面中任意一项所述的方法。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的方法。
本公开实施例可以应用在曝光率较低、图像信噪比低的情况下，由于上述情况中，相机传感器接收到的信号非常弱且存在较大噪声，现有技术很难利用这些信号去得到精度较高的深度值，而本公开实施例通过对采集的低信噪比的原始图像进行优化处理，有效的在低信噪比的图像中恢复出深度信息，解决现有技术不能有效提取图像特征信息的技术问题。本公开实施例一方面可以解决远距离测量和高吸收率物体测量导致的低信噪比不能恢复深度信息的问题，另一方面可以解决由于信噪比要求导致的成像分辨率不足的困扰。即，本公开实施例可以能够对低信噪比图像进行优化从而恢复图像的特征信息(深度信息)。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的一种图像信息的优化方法的流程图；
图2示出根据本公开实施例的图像信息的优化方法中步骤S200的流程图；
图3示出根据本公开实施例的一种图像信息的优化方法中步骤S200的另一流程图；
图4示出根据本公开实施例的图像信息的优化方法中步骤S203的流程图；
图5示出根据本公开实施例的一种图像信息的优化方法中步骤S204的流程图；
图6示出根据本公开实施例的一种图像信息的优化方法中步骤S205的流程图；
图7示出根据本公开实施例的一种图像信息的优化方法的另一流程图；
图8示出根据本公开实施例的一种图像信息的优化方法的另一流程图；
图9示出根据本公开实施例的一种图像信息的优化装置的框图；
图10示出根据本公开实施例的一种电子设备(800)的框图；
图11示出根据本公开实施例的一种电子设备(1900)的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开实施例的一种图像信息的优化方法的流程图。其中本公开实施例的图像信息的优化方法可以应用在具有深度摄像功能的电子设备中或者也可以应用在能够执行图像处理的电子设备中，例如可以应用在手机、照相机、计算机设备、智能手表、手环等设备中，但本公开对此不进行限定。本公开实施例可以对低爆率情况下获得的低信噪比的图像进行优化处理，使得优化处理后的图像能够具有更丰富的深度信息。
如图1所示，本公开实施例提供的图像信息的优化方法可以包括：
S100：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
S200：通过神经网络对各所述原始图像执行优化处理，，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像具有比所述原始图像更多的特征信息。
如上述所述，本公开实施例提供的神经网络可以针对低信噪比的图像进行优化处理，获得具有更丰富的特征信息的图像，即可以得到高质量的深度图像，尤其可以适用于具有ToF相机(飞行时间相机)的设备中。首先本公开实施例可以通过步骤S100获取具有低信噪比的多个原始图像。该步骤中，一方面，可以通过从其他电子设备接收原始图像的方式获取各低信噪比的原始图像，例如，可以从其他的电子设备接收由ToF相机采集的原始图像，并作为优化处理的对象，也可以通过设备自身配置的摄像设备拍摄各原始图像。本公开实施例得到的各原始图像为针对同一拍摄对象的一次曝光情况下得到的多个图像，各图像的特征信息不同，即针对各原始图像具有不同的特征矩阵。其中，本公开实施例中的低信噪比是指图像的信噪比较低，在通过ToF相机执行拍摄时，在获得一次曝光情况下的各原始图像的同时还可以获得一红外图像，如果该红外图像中像素值所对应的置信度信息低于预设值的像素点的数量超过预设比例，则可以说明原始图像为低信噪比的图像，其中，该预设值可以根据TOF相机的使用场景确定，在一些可能的实施例中可以设置为100，但不作为本公开的具体限定，另外，预设比例也可以根据需求进行不同的设定，例如可以为30％或者也可以是其他比例，本领域技术人员可以根据其他设定确定原始图像的低信噪比情况。另外，在低曝光率的情况下获得图像也可以为低信噪比的图像，因此，在低曝光率情况下获得图像可以为本公开实施例处理的原始图像的对象。其中低曝光率是指曝光时间小于或者等于400微秒的曝光情况，在该情况下获得的图像的信噪比较低，通过本公开实施例可以提高图像的信噪比，并能够从图像中获得更丰富的深度信息，使得优化后的图像具有更多的特征信息，从而获得高质量的深度图像。其中，本公开实施例获取的原始对象可以为2个或者4个，本公开实施例对此不进行限定，其也可以是其他数量值。
在获得低信噪比的多个原始图像后，可以利用神经网络进行原始图像的优化处理，从原始图像中恢复出深度信息，使得得到的优化图像具有比原始图像更丰富的特征信息。本公开实施例中所采用的优化处理可以包括至少一次卷积处理以及至少一次非线性函数映射处理。其中可以先对原始图像执行卷积处理，再对卷积处理的结果执行非线性函数映射处理，也可以先对原始图像执行非线性映射处理，再对非线性映射处理的结果执行卷积处理，或者也可以多次交替执行卷积处理以及非线性处理。例如，卷积处理可以表示为J，非线性函数映射处理可以表示为Y，则本公开实施例的优化处理过程可以为例如JY，JJY，JYJJY，YJ，YYJ，YJYYJ等，即本公开实施例中针对原始图像的优化处理可以包括至少一次卷积处理，以及至少一次非线性映射处理，其中关于各卷积处理以及非线性映射处理的顺序和次数，本领域技术人员可以根据不同的需求进行设定，本公开对此不进行具体限定。
其中通过卷积处理可以融合特征矩阵中的特征信息，并从输入信息中提取中更多的深度信息，以及经过非线性函数映射处理可以使得获得更深一层的深度信息，即可以获取更丰富的特征信息。
本公开实施例的可以将神经网络执行的优化处理包括多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理。通过多个优化过程的组合，可以对原始图像执行不同的优化处理。例如，可以包括三个优化过程A、B和C，其中该三个优化过程均可以包括至少一次卷积处理和/或至少一次非线性映射处理，但是所有的优化过程必须包括至少一次卷积处理以及至少一次非线性处理。
图2示出根据本公开实施例的一种图像信息的优化方法中步骤S200的流程图，其中，所述神经网络对各所述原始图像执行优化处理包括：
S201：将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程处理后得到针对该第一组优化过程的优化特征矩阵；
S202：将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。
在本公开实施例中，神经网络执行的优化处理所包括的多组优化过程可以依次对前一组优化过程得到的处理结果(优化特征矩阵)进行进一步的优化处理，并可以将最后一组的优化过程得到的处理结果作为优化图像对应的特征矩阵。在一些可能的实施方式中，可以直接对前一组优化过程得到的处理结果进行优化，即仅将前一组优化处理过程得到的处理结果作为下一组优化过程的输入信息。在另一些可能的实施方式中，也可以将当前优化过程的前一优化过程得到的处理结果与该前一优化过程之外的其余之前的优化过程中的至少一个优化过程的结果作为输入。例如A、B和C为三个优化过程，B的输入可以为A的输出，C的输入可以为B的输出，也可以为A和B的输出。也就是说，本公开实施例中的第一优化过程的输入为原始图像，通过第一优化过程可以得到对原始图像优化处理后的优化特征矩阵，此时可以将优化处理后得到的优化特征矩阵输入至第二个优化过程，第二个优化过程可以对第一个优化过程得到的优化特征矩阵进一步执行优化处理，得到针对第二个优化过程的优化特征矩阵，该第二个优化过程得到的优化特征矩阵可以被输入至第三个优化特征矩阵。在一种可能的实施方式中，第三个优化过程可以仅将第二个优化特征矩阵得输出作为输入信息，也可以同时将第一个优化过程得到的优化特征矩阵以及第二个优化过程得到的优化特征矩阵作为输入信息进行优化处理，以此类推，第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像。通过上述配置，本领域技术人员可以根据不同的需求构建不同的优化过程，本公开实施例对此不进行限定。
另外，通过各组优化过程，可以不断的融合输入信息中的特征信息并能够从中恢复出更多的深度信息，即得到的优化特征矩阵中可以是具有比输入信息更多的特征，而且具有更多的深度信息。
其中每组优化过程中执行卷积处理时采用的卷积核可以相同或不同，以及每组优化过程中执行非线性映射处理所采用的激活函数也可以相同或不同。另外，每次卷积处理所采用的卷积核的数量也可以相同或者不同，本领域技术人员可以进行相应的配置。
由于ToF相机获取的原始图像中，包括各像素点的相位信息，通过本公开实施例的优化处理，可以从相位信息中恢复出对应的深度信息，从而优化图像，得到具有更多更精确的深度信息的深度图像。
如上述实施例所述，步骤S200的优化处理过程可以包括多组优化过程，每组优化过程可以包括至少一次卷积处理以及至少一次非线性函数映射处理。在本公开的一些可能的实施方式中，每组优化过程可以采用不同的处理过程，例如可以执行降采样、升采样、卷积或者残差等处理。本领域技术人员可以配置成不同的组合以及处理顺序。
图3示出根据本公开实施例的一种图像信息的优化方法中步骤S200的另一流程图，其中，所述对各所述原始图像执行优化处理还可以包括：
S203：对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
S204：对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
S205：对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
也即，本公开实施例神经网络的优化处理可以包括依次执行的三组优化过程，即神经网络可以通过上述第一组优化过程、第二组优化过程以及第三组优化过程实现原始图像的优化。
首先，可以通过步骤S203执行各原始图像的第一组优化过程，融合各原始图像的特征信息并恢复其中的深度信息，获得第一特征矩阵。其中，本公开实施例通过第一组优化过程的方式一方面可以改变特征矩阵的尺寸，如长和宽的维度，另一方面可以增加特征矩阵中针对每个像素点的特征信息，从而可以进一步融合更多的特征并恢复出其中的部分深度信息。
图4示出根据本公开实施例的图像信息的优化方法中步骤S203的流程图，其中，所述对各所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵，可以包括
S2031：通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到第一优化特征矩阵；
S2032：通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵；
S2033：基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
本公开实施例可以利用降采样网络执行步骤S203的过程，即第一组优化过程可以为利用降采样网络执行的降采样的过程，其中降采样网络可以为神经网络中的一部分网络结构。本公开实施例中的降采样网络执行的第一组优化过程可以作为优化处理的一个优化过程，该过程可以包括多个第一子优化过程，例如降采样网络可以包括多个降采样模块，其中每个降采样模块可以依次连接，每个降采样模块可以包括第一卷积单元和第一激活单元，第一激活单元通过与第一卷积单元相连接来对第一卷积单元输出的特征矩阵进行处理。对应的，步骤S203中的第一组优化过程可以包括多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；也即每个降采样模块可以执行一个第一子优化过程，降采样模块内的第一卷积单元可以执行上述第一卷积处理，以及第一激活单元可以执行上述第一非线性映射处理。
其中，可以通过第一个第一子优化过程执行从步骤S100得到的各原始图像的第一卷积处理，得到对应的第一卷积特征，并利用第一激活函数执行该第一卷积特征的第一非线性映射处理，例如，利用第一激活函数与该第一卷积特征相乘，最终得到该第一个降采样过程的第一优化特征矩阵，或者将第一卷积特征带入第一激活函数相应的参数，得到激活函数处理结果(第一优化特征矩阵)。对应的，可以将该第一个第一子优化过程得到的第一优化特征矩阵作为第二个第一子优化过程的输入，利用第二个第一子优化过程对第一个第一子优化过程的第一优化特征矩阵进行第一卷积处理，得到相应的第一卷积特征，并利用第一激活函数执行该第一卷积特征的第一激活处理，得到该第二个第一子优化过程的第一优化特征矩阵。
依次类推，可以通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
其中，在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。即，本公开实施例第一子优化过程采用的卷积核均为第一卷积核，但是各个第一子优化过程中采用的第一卷积核的个数可以不同，对应不同的第一子优化过程，可以选择适配的数量来执行第一卷积处理。第一卷积核可以为4*4的卷积核，或者也可以为其他类型的卷积核，本公开对此不进行限定。另外，各第一子优化过程采用的第一激活函数相同。
换句话讲，从步骤S100获取的原始图像可以被输入至降采样网络中的第一个降采样模块，第一个降采样模块输出的第一优化特征矩阵被输入至第二个降采样模块，以此类推，通过最后一个第一降采样模块处理输出第一特征矩阵。
其中，首先可以利用降采样网络中的第一个降采样模块中的第一卷积单元通过第一卷积核执行对各所述原始图像的第一子优化过程，得到对应于第一个降采样模块的第一卷积特征。例如本公开实施例的第一卷积单元采用的第一卷积核可以为4*4的卷积核，利用该卷积核可以执行针对各个原始图像的第一卷积处理，并将各个像素点的卷积结果进行累加处理，得到最终的第一卷积特征。同时，本公开实施例中，每个第一卷积单元采用的第一卷积核的个数可以为多个，可以通过该多个第一卷积核分别执行各原始图像的第一卷积处理，并进一步将相同像素点对应的卷积结果进行加和，得到第一卷积特征，该第一卷积特征实质上也为矩阵形式。在得到第一卷积特征后，可以利用所述第一个降采样模块的第一激活单元通过第一激活函数对该第一卷积特征进行处理，得到针对第一个降采样模块的第一优化特征矩阵。即，本公开实施例可以将第一卷积单元输出的第一卷积特征输入至与之连接的第一激活单元，利用该第一激活函数对第一卷积特征进行处理，例如将第一激活函数乘以第一卷积特征，得到第一个第一降采样模块的第一优化特征矩阵。
进一步的，在得到第一个降采样模块的第一优化特征矩阵之后，可以利用第二个降采样模块对第一优化特征矩阵进行处理，得到与该第二个降采样模块对应的第一优化特征矩阵，以此类推，分别得到与每个降采样模块对应的第一优化特征矩阵，最终得到第一特征矩阵。其中，每个降采样模块中的第一卷积单元所采用的第一卷积核可以为相同的卷积核，例如可以均为4*4的卷积核，但是各降采样模块中的第一卷积单元采用的第一卷积核的个数可以不同，这样可以获得不同尺寸的第一卷积特征，从而得到融合不同特征的第一特征矩阵。
表1示出根据本公开实施例的一种图像信息的优化方法的网络结构的示意表。其中降采样网络可以包括四个降采样模块D1-D4。其中，每个降采样模块内可以包括第一卷积单元和第一激活单元。本公开实施例各第一卷积单元可以利用相同的第一卷积核执行对输入特征矩阵的第一卷积处理，但是每个第一卷积单元执行第一卷积处理的第一卷积核的个数可以不同。例如，从表1可以看出，第一个降采样模块D1可以包括卷积层和激活函数层，并且第一卷积核为4*4的卷积核，按照预定步长(例如2)执行第一卷积处理，其中，降采样模块D1中第一卷积单元利用64个第一卷积核执行输入的原始图像的第一卷积处理，得到的第一卷积特征，该第一卷积特征包括64个图像的特征信息。在得到第一卷积特征之后，利用第一激活单元执行处理，例如将第一卷积特征与第一激活函数相乘积，得到最终的D1的第一优化特征矩阵。通过第一激活单元的处理后，可以使特征信息更丰富。
对应的，第二个降采样模块D2可以从D1接收其输出的第一优化特征矩阵，并利用其内的第一卷积单元采用128个第一卷积核对该第一优化特征矩阵执行第一卷积处理，第一卷积核为4*4的卷积核，按照预定步长(例如2)执行第一卷积处理，降采样模块D2中第一卷积单元利用128个第一卷积核执行输入的第一优化特征矩阵的第一卷积处理，得到的第一卷积特征，该第一卷积特征包括128个图像的特征信息。在得到第一卷积特征之后，利用第一激活单元执行处理，例如将第一卷积特征与第一激活函数相乘积，得到最终的D2的第一优化特征矩阵。通过第一激活单元的处理后，可以使特征信息更丰富。
依次类推，第三个降采样模块D3可以利用256个第一卷积核对D2输出的第一优化特征矩阵进行卷积操作，同样的，步长为2，再进一步利用第一激活单元对输出的第一卷积特征进行处理，得到D3的第一优化特征矩阵。以及第四个降采样模块D4也可以利用256个第一卷积核对D3输出的第一优化特征矩阵进行卷积操作，同样的，步长为2，再进一步利用第一激活单元对输出的第一卷积特征进行处理，得到D4的第一优化特征矩阵，即第一特征矩阵。
表1
Figure BDA0001906925920000101
本公开实施例中，各降采样模块中采用的第一卷积核可以相同，执行卷积操作的步长可以相同，但是每个第一卷积单元执行卷积操作采用的第一卷积核的个数可以不同。通过每个降采样模块执行降采样操作后，都可以进一步丰富图像的特征信息，提高图像的信噪比。
在执行步骤S203获得第一特征矩阵之后，可以对第一特征矩阵执行步骤S204，得到第二特征矩阵，例如可以将第一特征矩阵输入至残差网络中，利用残差网络对特征进行筛选，而后利用激活函数加深特征信息。其中，残差网络同样可以为单独的神经网络，也可以为一个神经网络内的部分网络模块。本公开实施例步骤S204中的卷积操作为第二个优化处理过程，该过程可以包括多个卷积处理过程，并且每个卷积处理过程包括第二卷积处理以及第二非线性映射处理。对应的残差网络可以包括多个残差模块，每个残差模块可以执行对应的第二卷积处理和第二非线性映射处理。
图5示出根据本公开实施例的一种图像信息的优化方法中步骤S204的流程图，其中，所述对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，可以包括：
S2041：通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到针对第一个第二子优化过程的第二优化特征矩阵；
S2042：通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵；
S2043：基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
本公开实施例的步骤S204的第二组优化过程可以为另一组优化处理过程，其可以根据步骤S203的优化处理结果执行进一步的优化操作。该第二组优化过程包括多个依次执行的第二子优化过程，其中前一个第二子优化得到的第二优化特征矩阵可以作为下一个第二子优化的输入，从而依次执行多个第二子优化过程，最终最后一个第二子优化过程得到第二特征矩阵，其中第一个第二子优化过程的输入为步骤S203得到的第一特征矩阵。
具体的，本公开实施例可以通过第一个第二组优化过程执行步骤S203得到的第一特征矩阵的第二卷积处理，得到相应的第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
如上所述，本公开实施例中，可以利用残差网络执行该第二组处优化过程，即第二组优化过程可以为利用残差网络执行的优化的过程，其中残差网络可以为神经网络中的一部分网络结构。第二组优化过程可以包括多个第二子优化过程，残差网络可以包括依次连接的多个残差模块，每个残差模块中可以包括第二卷积单元以及与所述第二卷积单元连接的第二激活单元，用以执行对应的第二子优化过程。
其中，可以通过第一个第二子优化过程执行从步骤S203得到的第一特征矩阵的第二卷积处理，得到对应的第二卷积特征，并利用第一激活函数执行该第二卷积特征的第二非线性映射处理，例如，利用第二激活函数与该第二卷积特征相乘，最终得到该第二个第二子优化过程的第二优化特征矩阵，或者将第二卷积特征带入第二激活函数相应的参数，得到激活函数处理结果(第二优化特征矩阵)。对应的，可以将该第一个第二子优化过程得到的第二优化特征矩阵作为第二个第二子优化过程的输入，利用第二个第二子优化过程对第一个第二子优化过程的第二优化特征矩阵进行第二卷积处理，得到相应的第二卷积特征，并利用第二激活函数执行该第二卷积特征的第二激活处理，得到该第二个第二子优化过程的第二优化特征矩阵。
依次类推，可以通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第一子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于N的正整数，M表示第一子优化过程的数量。
其中，在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，并且至少一个第二子优化过程的第二卷积处理采用的第二卷积核的数量与其他第二子优化过程的第二卷积处理采用的第二卷积核的数量不同。即，本公开实施例第一子优化过程采用的卷积核均为第二卷积核，但是各个第二子优化过程中采用的第二卷积核的个数可以不同，对应不同的第二子优化过程，可以选择适配的数量来执行第二卷积处理。第二卷积核可以为3*3的卷积核，或者也可以为其他类型的卷积核，本公开对此不进行限定。另外，各第二子优化过程采用的第二激活函数相同。
换句话讲，从步骤S203获取的第一特征矩阵可以被输入至残差网络中的第一个残差模块，第一个残差模块输出的第二优化特征矩阵被输入至第二个残差模块，以此类推，通过最后一个残差处理输出第二特征矩阵。
其中，首先可以利用残差网络中的第一个残差模块中的第二卷积单元通过第二卷积核执行对第一特征矩阵的卷积操作，得到对应于第一个残差模块的第二卷积特征。例如本公开实施例的第二卷积单元采用的第二卷积核可以为3*3的卷积核，利用该卷积核可以执行针对第一特征矩阵的卷积操作，并将各个像素点的卷积结果进行累加处理，得到最终的第二卷积特征。同时，本公开实施例中，每个第二卷积单元采用的第二卷积核的个数可以为多个，通过该多个第一卷积核分别执行第一特征矩阵的卷积操作，并进一步将相同像素点对应的卷积结果进行加和，得到第二卷积特征，该第二卷积特征实质上也为矩阵形式。在得到第二卷积特征后，可以利用所述第一个残差模块的第二激活单元通过第二激活函数对该第二卷积特征进行处理，得到针对第一个残差模块的第二优化特征矩阵。即，本公开实施例可以将第二卷积单元输出的第二卷积特征输入至与之连接的第二激活单元，利用该第二激活函数对第二卷积特征进行处理，例如将第二激活函数乘以第二卷积特征，得到第一个残差模块的第二优化特征矩阵。
进一步的，在得到第一个残差模块的第二优化特征矩阵之后，可以利用第二个残差模块对第一个残差模块输出的第二优化特征矩阵进行处理，得到与该第二个残差模块对应的第二优化特征矩阵，以此类推，分别得到与每个残差模块对应的第二优化特征矩阵，最终得到第二特征矩阵。其中，每个残差模块中的第二卷积单元所采用的第二卷积核可以为相同的卷积核，例如可以均为3*3的卷积核，本公开对此不作限制，但是各降采样模块中的第一卷积单元采用的第二卷积核的数量可以相同，这样可以获得在不改变特征矩阵的尺寸的情况下保证图像的特征信息的丰富。
如表1所示，其中残差网络可以包括九个残差模块Res1-Res9。其中，每个残差模块内可以包括第二卷积单元和第二激活单元。本公开实施例各第二卷积单元可以利用相同的第二卷积核执行对输入的特征矩阵的卷积操作，但是每个第二卷积单元执行卷积操作的第二卷积核的个数相同。例如，从表1可以看出，各残差模块res1至Res9可以执行相同的操作，其中可以包括利用第二卷积单元的卷积操作以及第二激活单元的处理操作。第二卷积核可以为3*3的卷积核，卷积的步长可以为1，但本公开对此不进行具体限定。
具体的，残差模块Res1中第二卷积单元利用256个第二卷积核执行输入的第一特征矩阵的卷积操作，得到的第二卷积特征，该第一卷积特征相当于包括256个图像的特征信息。在得到第二卷积特征之后，利用第二激活单元执行处理，例如将第二卷积特征与第二激活函数相乘积，得到最终的Res1的第二优化特征矩阵。通过第二激活单元的处理后，可以使特征信息更丰富。
对应的，第二个残差模块Res2可以从Res1接收其输出的第二优化特征矩阵，并利用其内的第二卷积单元采用256个第二卷积核对该第二优化特征矩阵执行卷积操作，第二卷积核为3*3的卷积核，按照预定步长(例如1)执行卷积操作，残差模块Res2中第二卷积单元利用256个第二卷积核执行输入的第二优化特征矩阵的卷积操作，得到的第二卷积特征，该第二卷积特征包括256个图像的特征信息。在得到第二卷积特征之后，利用第二激活单元执行处理，例如将第二卷积特征与第二激活函数相乘积，得到最终的Res2的第二优化特征矩阵。通过第二激活单元的处理后，可以使特征信息更丰富。
依次类推，后续的各残差模块Res3-9都可以利用256个第二卷积核对前一个残差模块Res2-8输出的第二优化特征矩阵进行卷积操作，同样的，步长为1，再进一步利用第二激活单元对输出的第二卷积特征进行处理，得到Res3-9的第二优化特征矩阵。其中Res9输出的而第二优化特征矩阵即为残差网络输出的第二特征矩阵。D4的第一优化特征矩阵，即第一特征矩阵。
本公开实施例中，各残差模块中采用的第二卷积核可以相同，执行卷积操作的步长可以相同，并且每个第二卷积单元执行卷积操作采用的第二卷积核的数量也相同。通过每个残差模块执行处理后，都可以进一步丰富图像的特征信息，进一步提高图像的信噪比。
在通过步骤S204得到第二特征矩阵之后，可以通过下一个优化过程对第二特征矩阵进行进一步优化，得到优化图像对应的优化特征矩阵。例如可以将该第二特征矩阵输入至升采样网络，升采样网络可以执行第二特征矩阵的第三组优化过程，并能够进一步丰富增加特征信息。
图6示出根据本公开实施例的一种图像信息的优化方法中步骤S205的流程图，所述对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵，包括：
S2051：通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到针对第一个第三子优化过程的第三优化特征矩阵；
S2052：将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个第三子优化过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵；
S2053：基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像对应的优化特征矩阵，其中k为大于1且小于或者等于G的正整数，G表示第三子优化过程的数量。
本公开实施例可以利用升采样网络执行步骤S205的过程，其中升采样网络可以为单独的神经网络，或者可以为一神经网络中的一部分网络结构，本公开对此不进行具体限定。本公开实施例中的升采样网络执行的第三组优化过程可以作为优化处理的一个优化过程，例如可以为残差网络对应的优化过程之后的一个优化过程，可以进一步对第二特征矩阵进行进一步的优化。该过程可以包括多个第三子优化过程，例如升采样网络可以包括多个升采样模块，其中每个升采样模块可以依次连接，每个升采样模块可以包括第三卷积单元和第三激活单元，第三激活单元通过与第三卷积单元相连接，来对输出的第二特征矩阵进行处理。对应的，步骤S205中的第三组优化过程可以包括多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理；也即每个升采样模块可以执行一个第三子优化过程，升采样模块内的第三卷积单元可以执行上述第三卷积处理，以及第三激活单元可以执行上述第三非线性映射处理。
其中，可以通过第一个第三子优化过程执行从步骤S204得到的第二特征矩阵的第一卷积处理，得到对应的第三卷积特征，并利用第三激活函数执行该第三卷积特征的第一非线性映射处理，例如，利用第三激活函数与该第三卷积特征相乘，最终得到该第一个第三子优化过程的第三优化特征矩阵，或者将第三卷积特征带入第三激活函数相应的参数，得到激活函数处理结果(第三优化特征矩阵)。对应的，可以将该第一个第三子优化过程得到的第三优化特征矩阵作为第二个第三子优化过程的输入，利用第二个第三子优化过程对第一个第三子优化过程的第三优化特征矩阵进行第三卷积处理，得到相应的第三卷积特征，并利用第三激活函数执行该第三卷积特征的第三激活处理，得到该第二个第三子优化过程的第三优化特征矩阵。
依次类推，可以通过第k个第三子优化过程执行第k-1个第三子优化过程得到的第三优化特征矩阵的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程得到的第三优化特征矩阵确定所述优化图像对应的优化特征矩阵，其中k为大于1且小于或者等于G的正整数，G表示第三子优化过程的数量。
或者，在另一些可能的实施方式中，从第二个第三子优化过程开始，可以将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个第三子优化过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像对应的优化特征矩阵，其中k为大于1且小于或者等于G的正整数，G表示第三子优化过程的数量。其中，所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同。
也就是说，可以将第一个第三子优化过程得到的第三优化特征矩阵，以及第G个第一子优化过程得到的第一特征矩阵，输入到第二个第三子优化过程，通过第二个第三子优化过程对输入信息进行第三卷积处理，得到第三卷积特征，通过第三激活函数对该第三卷积特征进行非线性函数映射处理，得到第二个第三子优化过程得到的第三优化特征矩阵。进一步将第二个第三子优化过程得到的第三优化特征矩阵以及G-1个第一子优化过程得到的第一优化特征矩阵输入到第三个第三子优化过程，执行第三卷积处理以及第三激活函数处理，得到针对第三个第三子优化过程的第三优化特征矩阵，依次类推，得到最后一个第三子优化过程对应的第三优化特征矩阵，即为优化图像对应的优化特征矩阵。
其中，在执行每个所述升采样过程的第一卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化的第三卷积处理采用的第三卷积核的数量不同。即，本公开实施例各升采样过程采用的卷积核均为第三卷积核，但是各个第三子优化过程中采用的第三卷积核的个数可以不同，对应不同的第三子优化过程可以选择适配的数量来执行第三卷积处理。第三卷积核可以为4*4的卷积核，或者也可以为其他类型的卷积核，本公开对此不进行限定。另外，各升采样过程采用的第三激活函数相同。
其中，本公开实施例可以利用升采样网络对所述第二特征矩阵执行第三组优化过程，得到优化图像对应的特征矩阵，本公开实施例中，升采样网络可以包括依次连接的多个升采样模块，每个升采样模块中可以包括第三卷积单元以及与所述第三卷积单元连接的第三激活单元。
从步骤S204获取的第二特征矩阵可以被输入至升采样网络中的第一个升采样模块，第一个升采样模块输出的第三优化特征矩阵被输入至第二个升采样模块，并且，从对应的降采样模块中输出的第一优化特征矩阵也可以被输入至对应的升采样模块中，因此，升采样模块可以同时执行两个输入特征矩阵的卷积操作，得到其对应的第三优化特征矩阵，以此类推，通过最后一个升采样模块处理输出第三特征矩阵。
其中，首先可以利用升采样网络中的第一个升采样模块中的第三卷积单元通过第三卷积核执行对第二特征矩阵的卷积操作，得到对应于第一个升采样模块的第三卷积特征。例如本公开实施例的第三卷积单元采用的第三卷积核可以为4*4的卷积核，利用该卷积核可以执行针对第二特征矩阵的卷积操作，并将各个像素点的卷积结果进行累加处理，得到最终的第二卷积特征。同时，本公开实施例中，每个第三卷积单元采用的第三卷积核的个数可以为多个，通过该多个第三卷积核分别执行第二特征矩阵的第二组优化过程，并进一步将相同像素点对应的卷积结果进行加和，得到第三卷积特征，该第三卷积特征实质上也为矩阵形式。在得到第三卷积特征后，可以利用所述第一个升采样模块的第三激活单元通过第三激活函数对该第三卷积特征进行处理，得到针对第一个升采样模块的第三优化特征矩阵。即，本公开实施例可以将第三卷积单元输出的第三卷积特征输入至与之连接的第三激活单元，利用该第三激活函数对第三卷积特征进行处理，例如将第三激活函数乘以第三卷积特征，得到第一个升采样模块的第三优化特征矩阵。
进一步的，在得到第一个升采样模块的第三优化特征矩阵之后，可以利用第二个升采样模块对第一个升采样模块输出的第三优化特征矩阵以及对应的降采样模块输出的第一优化特征矩阵进行卷积操作，得到与该第二个升采样模块对应的第三优化特征矩阵，以此类推，分别得到与每个升采样模块对应的第三优化特征矩阵，最终得到第三特征矩阵。其中，每个升采样模块中的第三卷积单元所采用的第三卷积核可以为相同的卷积核，例如可以均为4*4的卷积核，本公开对此不作限制，但是各降采样模块中的第三卷积单元采用的第三卷积核的数量可以不同，这样可以逐渐通过升采样的过程将图像矩阵转换成与输入的原始图像的尺寸相同的图像矩阵，并能够进一步增加特征信息。
在一种可能的实施例中，其中升采样网络中的升采样模块的数量可以与降采样网络中的降采样模块的数量相同，其中对应的升采样模块和降采样模块的对应关系可以为：第k个升采样模块与第G-k+2个降采样模块对应，其中k为大于1的整数，以及G为升采样模块的数量即降采样模块的数量。例如第2个升采样模块对应的降采样模块为第G个降采样模块，第3个升采样模块对应的降采样模块为第G-1个降采样模块，第k个升采样模块对应的降采样模块为第G-k+2个降采样模块。
如表1所示，本公开实施例可以包括四个升采样模块U1-U4。其中，每个升采样模块内可以包括第三卷积单元和第三激活单元。本公开实施例各第三卷积单元可以利用相同的第三卷积核执行对输入的特征矩阵的卷积操作，但是每个第二卷积单元执行卷积操作的第一卷积核的个数可以不同。例如，从表1可以看出，各升采样模块U1至U4可以分别利用不同的升采样模块执行第三组优化过程操作，其中可以包括利用第三卷积单元的卷积操作以及第三激活单元的处理操作。第三卷积核可以为4*4的卷积核，卷积的步长可以为2，但本公开对此不进行具体限定。
具体的，第一个升采样模块U1中的第三卷积单元利用256个第三卷积核执行输入的第二特征矩阵的卷积操作，得到的第三卷积特征，该第三卷积特征相当于包括512个图像的特征信息。在得到第三卷积特征之后，利用第三激活单元执行处理，例如将第三卷积特征与第三激活函数相乘积，得到最终的U1的第三优化特征矩阵。通过第三激活单元的处理后，可以使特征信息更丰富。
对应的，第二个升采样模块U2可以从U1接收其输出的第三优化特征矩阵以及从D4输出的第一特征矩阵，并利用其内的第三卷积单元采用128个第二卷积核对该U1输出的第三优化特征矩阵和D4输出的第一特征矩阵执行卷积操作。第二卷积核为4*4的卷积核，按照预定步长(例如2)执行卷积操作，升采样模块U2中第三卷积单元利用128个第三卷积核执行上述卷积操作，得到的第三卷积特征，该第三卷积特征包括256个图像的特征信息。在得到第三卷积特征之后，利用第三激活单元执行处理，例如将第三卷积特征与第三激活函数相乘积，得到最终的U2的第三优化特征矩阵。通过第三激活单元的处理后，可以使特征信息更丰富。
进一步地，第三个升采样模块U3可以从U2接收其输出的第三优化特征矩阵以及从D3输出的第一优化特征矩阵，并利用其内的第三卷积单元采用64个第二卷积核对该U2输出的第三优化特征矩阵和D3输出的第一优化特征矩阵执行卷积操作。第二卷积核为4*4的卷积核，按照预定步长(例如2)执行卷积操作，升采样模块U3中第三卷积单元利用64个第三卷积核执行上述卷积操作，得到的第三卷积特征，该第三卷积特征包括128个图像的特征信息。在得到第三卷积特征之后，利用第三激活单元执行处理，例如将第三卷积特征与第三激活函数相乘积，得到最终的U3的第三优化特征矩阵。通过第三激活单元的处理后，可以使特征信息更丰富。
进一步地，第四个升采样模块U4可以从U3接收其输出的第三优化特征矩阵以及从D2输出的第一优化特征矩阵，并利用其内的第三卷积单元采用3个第二卷积核对该U3输出的第三优化特征矩阵和D2输出的第一优化特征矩阵执行卷积操作。第二卷积核为4*4的卷积核，按照预定步长(例如2)执行卷积操作，升采样模块U4中第三卷积单元利用3个第三卷积核执行上述卷积操作，得到的第三卷积特征。在得到第三卷积特征之后，利用第三激活单元执行处理，例如将第三卷积特征与第三激活函数相乘积，得到最终的U4的第三优化特征矩阵。通过第三激活单元的处理后，可以使特征信息更丰富。
本公开实施例中，各升采样模块中采用的第三卷积核可以相同，执行卷积操作的步长可以相同，并且每个第三卷积单元执行卷积操作采用的第三卷积核的数量可以不同。通过每个升采样模块执行处理后，都可以进一步丰富图像的特征信息，进一步提高图像的信噪比。
在通过最后一个升采样模块处理后得到第三特征矩阵，该第三特征矩阵可以具有与原始图像相同的尺寸，并且包括了丰富的特征信息(深度信息等)，从而可以提高图像的信噪比，利用该第三特征矩阵即可以得到优化后的优化图像。
在本公开实施例中，在通过降采样网络、升采样网络以及残差网络进行图像优化的过程之前，还可以利用训练数据训练各网络。本公开实施例可以基于上述降采样网络、升采样网络以及残差网络构成图像信息的神经网络，通过向该神经网络输入第一训练图像对神经网络进行训练。
其中，图7示出根据本公开实施例的一种图像信息的优化方法的另一流程图，如图5所示本公开实施例的所述方法还包括神经网络的训练过程，其可以包括：
S401：获取第一训练图像；
S402：利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；
S403：基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
本公开实施例可以向神经网络中输入第一训练图像，该第一训练图像可以包括多个低信噪比的图像，例如可以为采用低爆光率获取的图像信息。通过优化处理得到对应的优化特征矩阵，例如可以通过降采样网络、残差网络以及升采样网络可以执行第一训练图像的优化过程，最终得到与各图像对应的优化特征矩阵。本公开实施例可以将第一训练图像对应的优化特征矩阵与标准特征矩阵进行对比，确定二者的差异。其中标准特征矩阵为第一训练图像中各图像对应的标准图像的矩阵，即具有丰富的特征信息的图像特征矩阵。通过将获得的第三特征矩阵与标准特征矩阵进行对比，可以确定神经网络当前的优化精度是否满足要求。
在一种可能的实施方式中，可以基于得到的优化特征矩阵和标准特征矩阵之间的差异，反馈调节神经网络中采用的参数，如卷积核参数、激活函数参数等等，例如，可以调整降采样网络、残差网络以及升采样网络的参数，或者也可以将该差异输入至适应度函数，根据获得的参数值调节优化处理过程的参数，以及降采样网络、残差网络以及升采样网络的参数。而后再通过调节参数后的神经网络重新对第一训练集进行优化处理，得到新的第三特征矩阵。如此重复，直至输出的优化特征矩阵与标准特征矩阵之间的差异满足预设要求，如差异低于预设阈值。
其中，反馈调节的参数可以包括卷积核的参数以及激活函数的参数，或者也可以包括各网络模块的其他参数，本公开对此不进行具体限定。另外，判断第一训练图像的优化特征矩阵与标准特征矩阵之间的差异是否满足预设要求的方式可以包括：确定该差异是否低于第一阈值，或者，该差异对应的适应度函数值是否低于第二阈值，如低于第一阈值或者第二阈值，则可以确定为满足要求。本领域技术人员可以根据需求设定第一阈值或者第二阈值，本公开对此不进行限定。
在得到第一训练图像的优化特征矩阵与标准特征矩阵之间的差异满足预设要求时，说明神经网络的训练完成，此时可以根据该训练完成的神经网络执行低信噪比图像的优化过程，具有较高的优化精度。
进一步地，为了进一步保证神经网络的优化精度，本公开实施例还可以利用对抗网络进一步验证训练好的神经网络的优化结果，如果判定的结果表示需要进一步优化该网络，则可以进一步调整神经网络的参数，直至对抗网络的判定结果表示神经网络已经达到较好的优化效果。
图8示出根据本公开实施例的一种图像信息的优化方法的另一流程图，其中本公开实施例中，在步骤S502之后，还可以包括：
S501：获取第二训练图像；
S502：对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵；
S503：将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定，在所述对抗网络生成的判定值为第一判定值时，反馈调节所述优化处理过程中采用的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
本公开实施例中，在通过步骤S401-S403对神经网络进行训练之后，还可以将第二训练图像输入至该训练好的神经网络内，该第二训练图像也可以包括低信噪比的图像，可以为一幅也可以为多幅。再将第二训练图像依次经过所述优化处理，得到针对所述第二训练图像的优化特征矩阵。其中，第二训练图像可以与第一训练图像相同，也可以不同，本公开对此不限定。
而后将该优化特征矩阵输入至对抗网络，同时还可以将第二训练图像对应的标准图像输入至对抗网络，该标准图像同样可以为第二训练图像对应的特征信息丰富的图像。对抗网络可以对优化特征矩阵对应的第一优化图像以及标准图像进行真假判定，即如果二者的差异小于第三阈值，对抗网络可以输出第二判定值，如1，此时说明优化后的神经网络的优化精度很高，对抗网络不能确定优化后的图像和标准图像哪个为真哪个为假，此时无需在对神经网络进行进一步的训练。
如果第一优化图像和标准图像之间的差异大于或者等于第三阈值，对抗网络可以输出第一判定值，如0，此时说明优化后的神经网络的优化精度不是很高，对抗网络可以区分优化后的图像以及标准图像，此时需要进一步对神经网络进行训练。即需要根据第一优化图像和标准图像之间的差异反馈调节所述神经样网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。通过上述配置，可以进一步提高图像神经网络的优化精度。
综上所述，本公开实施例可以应用在具有深度摄像功能的电子设备中，如ToF相机中，通过本公开实施例可以从低信噪比的原始图像数据恢复出深度图，使得优化后的图像具有高分辨率，高帧率等效果，可以在不损失精度的情况下得以实现该效果。本公开实施例提供的方法可以应用于无人驾驶系统的ToF相机模块，从而实现更远的探测距离和更高的探测精度。另外，本公开实施例还可以应用于智能手机和智能安防监控中，在不影响测量精度的前提下降低模组功耗，从而使ToF模组不影响智能手机和安防监控的续航能力。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了图像信息的优化装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像信息的优化方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图9示出根据本公开实施例的一种图像信息的优化装置的框图，如图9所示，所述图像信息的优化装置包括：
获取模块10，其用于获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
优化模块20，其用于通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。
在一些可能的实施方式中，所述优化模块执行的所述优化处理包括多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；并且，
所述优化模块还用于将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；以及
将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。
在一些可能的实施方式中，所述优化处理包括三组优化过程，并且，所述优化模块包括：
第一优化单元，用于对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
第二优化单元，用于对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
第三优化单元，用于对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
在一些可能的实施方式中，所述第一组优化过程包括依次执行的多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；
所述第一优化单元还用于通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到第一优化特征矩阵；以及
通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
在一些可能的实施方式中，所述第一优化单元还用于在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
在一些可能的实施方式中，所述第二组优化过程包括依次执行的多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；
所述第二优化单元还用于通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；以及
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
在一些可能的实施方式中，所述第二优化单元还用于在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，并且每个第二卷积处理采用的第二卷积核的数量相同。
在一些可能的实施方式中，所述第三组优化过程包括依次执行的多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；
所述第三优化单元还用于通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到第三优化特征矩阵；
将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。
在一些可能的实施方式中，所述第三优化单元还用于在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
在一些可能的实施方式中，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
在一些可能的实施方式中，所述装置还包括第一训练模块，其用于获取第一训练图像，并利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；以及
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
在一些可能的实施方式中，所述装置还包括第二训练模块，其用于在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后，还用于获取第二训练图像，并
利用所述神经网络对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵，以及
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定；在所述对抗网络生成的判定值为第一判定值时，反馈调节所述神经网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图10示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图10，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图11示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图11，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (26)

1.一种图像信息的优化方法，其特征在于，包括：
获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
通过神经网络对各所述原始图像执行优化处理，得到针对所述多个低信噪比的原始图像的一个优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，所述优化图像的特征信息比所述原始图像的特征信息多，所述卷积处理用于融合各原始图像的特征信息得到卷积特征，所述非线性函数映射处理用于对所述卷积特征执行非线性映射处理得到优化特征矩阵，所述优化特征矩阵用于确定所述优化图像；
其中，所述原始图像为原始深度图像，所述优化图像为优化深度图像，所述优化处理包括恢复出深度信息。
2.根据权利要求1所述的方法，其特征在于，所述神经网络执行的优化处理包括依次执行的多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；
其中，所述通过神经网络对各所述原始图像执行优化处理包括：
将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；
将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。
3.根据权利要求1或2所述的方法，其特征在于，所述优化处理包括依次执行的三组优化过程，所述通过神经网络对各所述原始图像执行优化处理包括：
对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
4.根据权利要求3所述的方法，其特征在于，所述第一组优化过程包括依次执行的多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；
其中，所述对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵，包括：
通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到针对第一优化特征矩阵；
通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
5.根据权利要求4所述的方法，其特征在于，在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
6.根据权利要求3所述的方法，其特征在于，所述第二组优化过程包括依次执行的多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；
其中，所述对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，包括：
通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
7.根据权利要求6所述的方法，其特征在于，在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，并且每个第二卷积处理采用的第二卷积核的数量相同。
8.根据权利要求3所述的方法，其特征在于，所述第三组优化过程包括依次执行的多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；
其中，所述对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，包括：
通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到第三优化特征矩阵；
将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。
9.根据权利要求8所述的方法，其特征在于，在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
10.根据权利要求1或2所述的方法，其特征在于，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
11.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取第一训练图像；
利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
12.根据权利要求11所述的方法，其特征在于，在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后，所述方法还包括：
获取第二训练图像；
利用所述神经网络对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵；
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定；在所述对抗网络生成的判定值为第一判定值时，反馈调节所述神经网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
13.一种图像信息的优化装置，其特征在于，包括：
获取模块，用于获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；
优化模块，用于通过神经网络对各所述原始图像执行优化处理，得到针对所述多个低信噪比的原始图像的一个优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，所述优化图像的特征信息比所述原始图像的特征信息多，所述卷积处理用于融合各原始图像的特征信息得到卷积特征，所述非线性函数映射处理用于对所述卷积特征执行非线性映射处理得到优化特征矩阵，所述优化特征矩阵用于确定所述优化图像；
其中，所述原始图像为原始深度图像，所述优化图像为优化深度图像，所述优化处理包括恢复出深度信息。
14.根据权利要求13所述的装置，其特征在于，所述优化模块执行的所述优化处理包括依次执行的多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；并且，
所述优化模块还用于将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；以及
将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。
15.根据权利要求13或14所述的装置，其特征在于，所述优化处理包括三组优化过程，所述优化模块包括：
第一优化单元，用于对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；
第二优化单元，用于对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；
第三优化单元，用于对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
16.根据权利要求15所述的装置，其特征在于，所述第一组优化过程包括多个依次执行的第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；
所述第一优化单元还用于通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到第一优化特征矩阵；以及
通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。
17.根据权利要求16所述的装置，其特征在于，所述第一优化单元还用于在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
18.根据权利要求15所述的装置，其特征在于，所述第二组优化过程包括依次执行的多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；
所述第二优化单元还用于通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；以及
通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。
19.根据权利要求18所述的装置，其特征在于，所述第二优化单元还用于在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，并且每个第二卷积处理采用的第二卷积核的数量相同。
20.根据权利要求15所述的装置，其特征在于，所述第三组优化过程包括多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；
所述第三优化单元还用于通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到第三优化特征矩阵；
将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。
21.根据权利要求20所述的装置，其特征在于，所述第三优化单元还用于在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
22.根据权利要求13或14所述的装置，其特征在于，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
23.根据权利要求13或14所述的装置，其特征在于，所述装置还包括第一训练模块，用于获取第一训练图像，并利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；以及
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
24.根据权利要求23所述的装置，其特征在于，所述装置还包括第二训练模块，用于在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后，还用于获取第二训练图像，
利用所述神经网络对所述第二训练图像执行所述优化处理，得到针对所述第二训练图像的优化特征矩阵，以及
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络，通过所述对抗网络对该第一优化图像和标准图像进行真假判定；在所述对抗网络生成的判定值为第一判定值时，反馈调节所述神经网络的参数，直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
25.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至12中任意一项所述的方法。
26.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。
CN201811536144.3A 2018-12-14 2018-12-14 图像信息的优化方法及装置、电子设备和存储介质 Active CN109658352B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201811536144.3A CN109658352B (zh) 2018-12-14 2018-12-14 图像信息的优化方法及装置、电子设备和存储介质
SG11202012776VA SG11202012776VA (en) 2018-12-14 2019-05-20 Image processing method and apparatus, electronic device and storage medium
JP2021500554A JP7072119B2 (ja) 2018-12-14 2019-05-20 画像処理方法および装置、電子機器ならびに記憶媒体
KR1020207036791A KR102538164B1 (ko) 2018-12-14 2019-05-20 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체
PCT/CN2019/087637 WO2020119026A1 (zh) 2018-12-14 2019-05-20 图像处理方法及装置、电子设备和存储介质
TW108137267A TWI717865B (zh) 2018-12-14 2019-10-16 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
US17/129,189 US20210110522A1 (en) 2018-12-14 2020-12-21 Image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811536144.3A CN109658352B (zh) 2018-12-14 2018-12-14 图像信息的优化方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109658352A CN109658352A (zh) 2019-04-19
CN109658352B true CN109658352B (zh) 2021-09-14

Family

ID=66114280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811536144.3A Active CN109658352B (zh) 2018-12-14 2018-12-14 图像信息的优化方法及装置、电子设备和存储介质

Country Status (7)

Country Link
US (1) US20210110522A1 (zh)
JP (1) JP7072119B2 (zh)
KR (1) KR102538164B1 (zh)
CN (1) CN109658352B (zh)
SG (1) SG11202012776VA (zh)
TW (1) TWI717865B (zh)
WO (1) WO2020119026A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质
CN110426560B (zh) * 2019-06-28 2020-08-25 北京大学 一种脉冲阵列信号时空上采样器生成方法
KR102652117B1 (ko) * 2019-07-10 2024-03-27 삼성전자주식회사 이미지 보정 방법 및 이미지 보정 시스템
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
CN111358430B (zh) * 2020-02-24 2021-03-09 深圳先进技术研究院 一种磁共振成像模型的训练方法及装置
CN111127371B (zh) * 2020-03-30 2020-07-07 南京安科医疗科技有限公司 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
CN111539899A (zh) * 2020-05-29 2020-08-14 深圳市商汤科技有限公司 图像修复方法及相关产品
TWI775128B (zh) * 2020-08-13 2022-08-21 蔡明勳 手勢控制裝置及其控制方法
CN112318107A (zh) * 2020-10-23 2021-02-05 西北工业大学 一种基于深度相机的大型零部件孔轴自动装配对中测量方法
CN114821288A (zh) * 2021-01-29 2022-07-29 中强光电股份有限公司 图像辨识方法以及无人机系统
CN116260983A (zh) * 2021-12-03 2023-06-13 华为技术有限公司 图像编解码方法和装置
US20230177173A1 (en) * 2021-12-05 2023-06-08 PUFsecurity Corporation Electronic device and method for performing permission management of storage device
CN114723691B (zh) * 2022-03-28 2022-12-23 江苏新之阳新能源科技有限公司 基于人工智能的液压系统漏油故障程度检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657402A (zh) * 2016-01-18 2016-06-08 深圳市未来媒体技术研究院 一种深度图恢复方法
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
JP2018067294A (ja) * 2016-10-14 2018-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ作成支援方法、学習データ作成支援装置、およびプログラム
CN108229673B (zh) * 2016-12-27 2021-02-26 北京市商汤科技开发有限公司 卷积神经网络的处理方法、装置和电子设备
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
US20180227566A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US10360732B2 (en) * 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US10325184B2 (en) * 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN108765333B (zh) * 2018-05-24 2021-08-10 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN108961184B (zh) * 2018-06-28 2021-04-20 北京邮电大学 一种深度图像的校正方法、装置及设备
CN108846842B (zh) * 2018-07-04 2021-04-27 武汉斗鱼网络科技有限公司 一种图像噪声检测方法、装置及电子设备
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657402A (zh) * 2016-01-18 2016-06-08 深圳市未来媒体技术研究院 一种深度图恢复方法
CN106295707A (zh) * 2016-08-17 2017-01-04 北京小米移动软件有限公司 图像识别方法和装置
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
KR20210013149A (ko) 2021-02-03
JP2021531566A (ja) 2021-11-18
WO2020119026A1 (zh) 2020-06-18
SG11202012776VA (en) 2021-02-25
TW202027033A (zh) 2020-07-16
US20210110522A1 (en) 2021-04-15
KR102538164B1 (ko) 2023-05-30
JP7072119B2 (ja) 2022-05-19
CN109658352A (zh) 2019-04-19
TWI717865B (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
CN109658352B (zh) 图像信息的优化方法及装置、电子设备和存储介质
US11532180B2 (en) Image processing method and device and storage medium
US20210326587A1 (en) Human face and hand association detecting method and a device, and storage medium
CN111462268B (zh) 图像重建方法及装置、电子设备和存储介质
CN108764069B (zh) 活体检测方法及装置
CN109816611B (zh) 视频修复方法及装置、电子设备和存储介质
CN109522910B (zh) 关键点检测方法及装置、电子设备和存储介质
CN110837761B (zh) 多模型知识蒸馏方法及装置、电子设备和存储介质
CN109829863B (zh) 图像处理方法及装置、电子设备和存储介质
CN109165738B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN112001321A (zh) 网络训练、行人重识别方法及装置、电子设备和存储介质
CN110633700B (zh) 视频处理方法及装置、电子设备和存储介质
CN111539410B (zh) 字符识别方法及装置、电子设备和存储介质
CN110909815A (zh) 神经网络训练、图像处理方法、装置及电子设备
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN109903252B (zh) 图像处理方法及装置、电子设备和存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN111435422B (zh) 动作识别方法、控制方法及装置、电子设备和存储介质
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN111062407A (zh) 图像处理方法及装置、电子设备和存储介质
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN109543544B (zh) 跨光谱图像匹配方法及装置、电子设备和存储介质
CN114549983A (zh) 计算机视觉模型训练方法及装置、电子设备和存储介质
CN113326938A (zh) 网络训练、行人重识别方法及装置、电子设备和存储介质
CN110765943A (zh) 网络训练、识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40004424

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant