CN110545373A - 空间环境的感知方法及装置 - Google Patents

空间环境的感知方法及装置 Download PDF

Info

Publication number
CN110545373A
CN110545373A CN201810522285.3A CN201810522285A CN110545373A CN 110545373 A CN110545373 A CN 110545373A CN 201810522285 A CN201810522285 A CN 201810522285A CN 110545373 A CN110545373 A CN 110545373A
Authority
CN
China
Prior art keywords
picture
module
model
clear
blurred picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810522285.3A
Other languages
English (en)
Other versions
CN110545373B (zh
Inventor
李军
张文强
缪弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810522285.3A priority Critical patent/CN110545373B/zh
Priority to PCT/CN2019/087272 priority patent/WO2019228195A1/zh
Publication of CN110545373A publication Critical patent/CN110545373A/zh
Application granted granted Critical
Publication of CN110545373B publication Critical patent/CN110545373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/60—
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种空间环境的感知方法及装置，其中，该方法包括：SLAM系统确定导致SLAM系统跟踪失败的第一模糊照片，使用第一模型对第一模糊照片进行分析，获取第一清晰照片，后续SLAM系统依据第一清晰照片感知空间环境，其中，第一模型为使用机器学习训练出来的用于分析模糊照片获取清晰照片的模型。采用上述技术方案，解决了相关技术中由于拍摄到模糊照片导致SLAM系统跟踪失败的问题，实现了SLAM系统分析模糊照片获取清晰照片，后续继续使用第一清晰照片感知空间环境。

Description

空间环境的感知方法及装置
技术领域
本申请涉及计算机领域，具体而言，涉及一种空间环境的感知方法及装置。
背景技术
在相关技术中，同步定位与地图构建SLAM(Simultaneous LocalizationAndMapping)，是利用各种传感器来感知自身位置和周围环境的技术。
视觉SLAM系统，是根据视觉传感器得到的信息来恢复传感器当前的位姿与当前场景的三维结构，以此来进行定位与地图构建工作。在SLAM运行过程中，因为相机抖动而造成的图像模糊是很难避免的，也是一个常见的影响SLAM效果的问题。
视觉SLAM系统中，相机抖动造成的图像模糊是一个严重的问题，会造成系统图像跟踪丢失，影响整体系统效率。
目前一般的SLAM系统并没有专门的防抖动系统。当遇到相机抖动造成图像模糊时，往往会造成图像跟踪失败。当遇到图像跟踪失败时，需要使相机停下或者回退，拍摄清晰的图像，同时在整个地图中进行搜索匹配，重新定位当前的位置，直至跟踪成功，再使相机继续运动。
这样导致当出现相机抖动模糊使，相机都必须停止运动或者回退一小段，同时需要进行全局的地图搜索。全局的地图搜索是一个比较耗时的操作，频繁因为图像模糊而触发这已操作的话，会影响整体运行效率。同时，每次相机停止运动或者回退，使整个运行过程不连续，影响了流畅性。
针对相关技术中由于拍摄到模糊照片导致SLAM系统跟踪失败的问题，目前还没有有效的解决方案。
发明内容
本申请实施例提供了一种空间环境的感知方法及装置，以至少解决相关技术中由于拍摄到模糊照片导致SLAM系统跟踪失败的问题。
根据本申请的一个实施例，提供了一种空间环境的感知方法，包括：同步定位与地图构建SLAM系统确定导致所述SLAM系统跟踪失败的第一模糊照片；使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片，其中，所述第一模型为使用多组数据通过机器学习训练出来的，所述多组数据中的每组数据均包括：模糊照片，和所述模糊照片对应的清晰照片；依据所述第一清晰照片感知空间环境。
根据本申请的另一个实施例，还提供了一种空间环境的感知装置，包括：确定模块，用于确定导致同步定位与地图构建SLAM系统跟踪失败的第一模糊照片；获取模块，用于使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片，其中，所述第一模型为使用多组数据通过机器学习训练出来的，所述多组数据中的每组数据均包括：模糊照片，和所述模糊照片对应的清晰照片；感知模块，用于依据所述第一清晰照片感知空间环境。
根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请，SLAM系统确定导致SLAM系统跟踪失败的第一模糊照片，使用第一模型对第一模糊照片进行分析，获取第一清晰照片，后续SLAM系统依据第一清晰照片感知空间环境，其中，第一模型为使用机器学习训练出来的用于分析模糊照片获取清晰照片的模型。采用上述技术方案，解决了相关技术中由于拍摄到模糊照片导致SLAM系统跟踪失败的问题，实现了SLAM系统分析模糊照片获取清晰照片，后续继续使用第一清晰照片感知空间环境。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的空间环境的感知方法的流程图；
图2是根据本申请优选实施例的神经网络结构示意图；
图3是根据本申请优选实施例的自编码器结构示意图；
图4是根据本申请优选实施例的残差模块的输出示意图；
图5是根据本申请优选实施例的整体去模糊系统的流程示意图；
图6是根据本申请优选实施例的模糊照片去模糊的具体流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请文件的技术方案可以应用于SLAM系统中，当然不局限于此，还可以应用于其他依据模糊照片分析出清晰照片，后续使用清晰照片的场景中。在软件架构上，本申请使用Pytorch框架来进行训练和测试。但是本申请并不局限于Pytorch框架，目前主流的神经网络框架都可以支撑本申请，例如TensorFlow，MXNet等。
实施例一
在本实施例中提供了一种空间环境的感知方法，图1是根据本申请实施例的空间环境的感知方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，同步定位与地图构建SLAM系统确定导致该SLAM系统跟踪失败的第一模糊照片；
步骤S104，使用第一模型对该第一模糊照片进行分析，获取第一清晰照片，其中，该第一模型为使用多组数据通过机器学习训练出来的，该多组数据中的每组数据均包括：模糊照片，和该模糊照片对应的清晰照片；
需要补充的是，该第一清晰照片是分析第一模糊照片后获取的。
步骤S106，依据该第一清晰照片感知空间环境。
通过上述步骤，SLAM系统确定导致SLAM系统跟踪失败的第一模糊照片，使用第一模型对第一模糊照片进行分析，获取第一清晰照片，后续SLAM系统依据第一清晰照片感知空间环境，其中，第一模型为使用机器学习训练出来的用于分析模糊照片获取清晰照片的模型。采用上述技术方案，解决了相关技术中由于拍摄到模糊照片导致SLAM系统跟踪失败的问题，实现了SLAM系统分析模糊照片获取清晰照片，后续继续使用第一清晰照片感知空间环境。
可选地，上述步骤的执行主体可以为使用SLAM系统的终端，例如扫地机器人，探索机器人等，但不限于此。
可选地，使用第一模型对该第一模糊照片进行分析，获取第一清晰照片之前，确定在预定时间段内，首次对该第一模糊照片进行分析。需要补充的是，如果在预定时间段内，不是首次分析该第一模糊照片获取第一清晰照片，即之前使用过本申请文件中的方法为了使SLAM系统继续运行，但是没有成功，说明SLAM系统跟踪失败不是因为么第一模糊照片，则不再使用本申请文件的技术方案。可选地，除了预定时间段的限定条件，还可以包括在其他情况下，确定是否首次对第一模糊照片进行分析，例如本次机器启动后，确定是否首次对第一模糊照片进行分析。
可选地，该第一模型包括：输入层，自编码器，输出层；使用第一模型对该第一模糊照片进行分析，获取第一清晰照片，包括：通过该输入层接收该第一模糊照片，输出特征映射至该自编码器；通过该输出层接收该自编码器处理后的特征映射，并根据该处理后的特征映射输出该第一清晰照片。需要补充的是，第一模型可以是神经网络结构。
可选地，该自编码器包括残差模块，编码模块和解码模块；其中，该编码模块包括多个降采样层和残差模块，该解码模块包括多个升采样层和残差模块。
可选地，通过该输出层接收该自编码器处理后的特征映射之前，通过该自编码器将该编码模块中残差模块的输出，与该解码模块中相同尺寸的残差模块输出相加，作为该解码模块的输出。
可选地，该残差模块包括：多组不同扩张度的卷积组，每组卷积层组包括：两个卷积层，该两个卷积层呈现沙漏状。
可选地，每组卷积层组中的卷积操作的扩张度不同。
可选地，至少通过以下方式确定该第一模型，包括：使用该多组数据，通过学习率衰减的方式训练得到该第一模型。
下面结合本申请优选实施例进行详细说明。
本申请优选实施例的核心是一种基于深度学习的视觉SLAM防抖动系统。防抖动系统的原理为使用一个神经网络对单张图像进行去模糊处理。系统的输入为一张模糊图像，输出为对应的清晰图像。在神经网络的结构上，结合了残差网络与自编码器的网络结构，同时将多层不同扩张度的卷积相结合。这样的网络结构既保证了算法效果，又极大地减少了网络的参数，加快了算法运行效率。整个神经网络使用一个公开的数据集进行离线训练，取得了良好的效果，能够在较短的时间内，由一张模糊的图像得到较清晰的图像，可以用于之后的SLAM算法。
同时为了保证SLAM算法整体的运行效率，系统不会一直运行。只有当因为相机抖动造成图像模块进而使SLAM系统发生跟踪失败时，才启动系统，对模糊图像进行处理。这样做防止了因为一个额外的系统影响SLAM系统正常工作时的效率。
下面是本申请优选实施例的具体实施例构造神经网络实施例
本实施例提供一种神经网络结构，图2是根据本申请优选实施例的神经网络结构示意图，如图2所示，神经网络结构包含：输入层，两个自编码器模块与输出层。
神经网络的输入为一张3通道的RGB模糊图像，输出为对应的清晰图像。
输入层为一个5*5的卷积层，接受一个3通道的RGB图像作为输入，输出一个64通道的特征映射。
输出层为一个5*5的卷积层，接受一个64通道的特征映射作为输入，输出一个3通道的RGB图像作为系统输出。
神经网络的损失函数为均方误差函数，测量模型输出与真实清晰图像的均方误差。
图3是根据本申请优选实施例的自编码器结构示意图，如图3所示，该自编码器包括：一个初始的残差模块，编码模块和解码模块。编码模块包含：4个降采样层与4个残差模块。其中，降采样层使用的是2*2的最大池化层。解码模块包含：4个升采样层与4个残差模块。其中，升采样层使用的是最近邻升采样层。
自编码器中包含了空间连接，用来提升效果，缩短训练时间。空间连接为：将编码器模块中残差模块的输出，与解码器模块中相同尺寸的残差模块输出相加，作为解码器的输出。
图4是根据本申请优选实施例的残差模块的输出示意图，如图4所示：残差模块包含：多组不同扩张度的卷积组。每组卷积层组包含两个卷积层，这两个卷积层呈现沙漏状，将通道数先减少，再增加。每组卷积层组中的卷积操作的扩张度不同。残差模块将多组卷积层组的结果与输入相加，得到输出。
这种神经网络结构的优点在于：结合了残差网络和自编码器的网络结构，同时在残差网络中使用了多个不同扩张度的卷积层组，可以在保证效果的同时，减少网络层数，提升网络的运行速度。同时使用模块化的设计方式，可以方便地对网络结构进行调整。
本申请优选实施例还提供了神经网络训练实施例，该实施例提供一种神经网络训练的方法。具体为：
步骤一：收集训练数据。
步骤二：在训练集上进行训练，直至收敛。需要补充的是，收敛可以相当于达到预设的损失参数。
步骤三：在测试集上进行测试，检验效果。
步骤一中使用了一个公开的图像去模糊数据集。数据集使用高速摄像机拍摄的图像作为清晰图像，将相邻的多张图像平均得到对应的模糊图像。根据此方法得到大量模糊-清晰图像对，构成数据集。
步骤二中，在训练时，因为数据集中原始图像较大，所以每次都从原始图像中截取一个256*256大小的图像块作为训练输入。训练时使用了学习率衰减的方法，在一开始使用一个较大的学习率，使得训练能快速达到一个较好的效果，然后减小学习率，进一步优化效果，尽量逼近最优优化结果。
步骤三在测试集上测试效果。测试集与训练集没有交差。通过在测试集上检验效果，必要时可以调整网络的超参数，再进行步骤二，重新训练。超参数可以包括上述的学习率。
本申请优选实施例还提供了防抖动系统启动实施例，该实施例提供一种决定何时启动防抖动系统的方法。具体为：
当SLAM系统能一直跟踪成功时，认为此时没有发生相机抖动而造成图像模糊，不启动防抖动系统。
当SLAM系统跟踪失败时，认为发生了因相机抖动造成的图像模糊，启动防抖动系统，使用神经网络对模糊图像进行去模糊，得到对应清晰图像，返回给SLAM系统，进行跟踪。
当SLAM系统跟踪成功时，关闭防抖动系统。
这种方法的优点在于：当SLAM系统能正常跟踪成功时，不会有额外的开销，只有当因为相机抖动造成图像模块进而使SLAM系统发生跟踪失败时，才启动系统，对模糊图像进行处理。这样做防止了因为一个额外的系统影响SLAM系统正常工作时的效率。
本申请应用于视觉SLAM系统中的跟踪模块。
视觉SLAM系统中的跟踪模块，需要对当前图像帧提取特征点，与之前所得到的地图点进行匹配，得到当前相机的位姿估计。当相机发生抖动时，会使相机拍摄的图像模糊，无法提取特征点或影响提取特征点的质量，进而造成无法匹配，SLAM算法跟踪失效。本申请即应用于因图像模糊而造成跟踪失效的场景，当跟踪失效时，对模糊图像应用本申请的方法进行去模糊处理，使得模糊图像变得清晰，进而能够进行跟踪。
本申请是基于神经网络的。目前一般的计算机配置即可保证本申请的运行。因为神经网络需要大量的矩阵运算，所以包含GPU的计算机可以更好地支撑本申请。
图5是根据本申请优选实施例的整体去模糊系统的流程示意图，如图5所示，具体为：
步骤一，获取当前帧：由相机拍摄当前的图像帧，输入系统。
步骤二，跟踪：提取当前帧的特征点，与之前系统所保留的地图点进行匹配，利用PnP算法得到当前相机的位姿估计。
步骤三，判断是否跟踪失败：如果当前帧跟踪成功，则继续进行SLAM算法的后续步骤；如果跟踪失败，则进一步判断是否需要启动防抖动系统对当前帧进行处理。
步骤四，确定是否第一次跟踪失败：如果是第一跟踪失败，则启动防抖动系统进行去模糊处理，转至步骤五；如果不是，则表明经过防抖动系统后仍无法跟踪成功，可能是因为造成跟踪失败的原因不是图像模糊，或防抖动系统处理结果不好，这时不再启动防抖动系统，进入SLAM系统的后续步骤，处理跟踪失败。
步骤五，去模糊：启动防抖动系统，对当前帧进行去模糊处理。
图6是根据本申请优选实施例的模糊照片去模糊的具体流程图，如同6所示，包括以下步骤：
步骤一，当前帧(模糊)：作为神经网络的输入。
步骤二，运行神经网络：运行训练好的神经网络，对当前帧进行处理。
步骤三，当前帧(清晰)：为神经网络的输出，作为防抖动系统的输出，同时作为SLAM系统中跟踪模块的输入，继续进行跟踪。
本申请可以应用于SLAM系统中，与SLAM系统中的跟踪模块相结合，提升整体的运行流畅程度。同时，本申请还可能与其他需要相机的系统相结合，用来处理因为抖动造成的图像模糊，提升拍摄的图像质量。
采用上述方案，提升了SLAM系统整体运行的流畅程度。当出现相机抖动造成的图像模糊时，SLAM系统会跟踪失败。如果跟踪失败，则需要相机停止运动或回退一小段，同时进行全局搜索来重定位。如果经常出现跟踪失败的话，会十分影响系统运行的流畅程度。本申请是针对相机抖动造成的图像模糊进行设计的，可以对模糊图像进行去模糊处理，使其变得清晰，从而能够用于SLAM中的跟踪，使其跟踪成功，减少了SLAM中跟踪失败的次数，提升了整体的流畅程度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例二
在本实施例中还提供了一种空间环境的感知装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本申请的一个实施例提供了一种空间环境的感知装置，包括：
确定模块，用于确定导致同步定位与地图构建SLAM系统跟踪失败的第一模糊照片；
获取模块，用于使用第一模型对该第一模糊照片进行分析，获取第一清晰照片，其中，该第一模型为使用多组数据通过机器学习训练出来的，该多组数据中的每组数据均包括：模糊照片，和该模糊照片对应的清晰照片；
感知模块，用于依据该第一清晰照片感知空间环境。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例三
根据本申请的另一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行实施例任一项中所述的方法。
实施例四
根据本申请的另一个实施例，还提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述实施例任一项中所述的方法。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种空间环境的感知方法，其特征在于，包括：
同步定位与地图构建SLAM系统确定导致所述SLAM系统跟踪失败的第一模糊照片；
使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片，其中，所述第一模型为使用多组数据通过机器学习训练出来的，所述多组数据中的每组数据均包括：模糊照片，和所述模糊照片对应的清晰照片；
依据所述第一清晰照片感知空间环境。
2.根据权利要求1所述的方法，其特征在于，使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片之前，所述方法还包括：
确定在预定时间段内，首次对所述第一模糊照片进行分析。
3.根据权利要求1所述的方法，其特征在于，所述第一模型包括：输入层，自编码器，输出层；
使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片，包括：
通过所述输入层接收所述第一模糊照片，输出特征映射至所述自编码器；
通过所述输出层接收所述自编码器处理后的特征映射，并根据所述处理后的特征映射输出所述第一清晰照片。
4.根据权利要求3所述的方法，其特征在于，所述自编码器包括残差模块，编码模块和解码模块；
其中，所述编码模块包括多个降采样层和残差模块，所述解码模块包括多个升采样层和残差模块。
5.根据权利要求4所述的方法，其特征在于，通过所述输出层接收所述自编码器处理后的特征映射之前，所述方法还包括：
通过所述自编码器将所述编码模块中残差模块的输出，与所述解码模块中相同尺寸的残差模块输出相加，作为所述解码模块的输出。
6.根据权利要求4所述的方法，其特征在于，所述残差模块包括：多组不同扩张度的卷积组，每组卷积层组包括：两个卷积层，所述两个卷积层呈现沙漏状。
7.根据权利要求6所述的方法，其特征在于，每组卷积层组中的卷积操作的扩张度不同。
8.根据权利要求1所述的方法，其特征在于，至少通过以下方式确定所述第一模型，包括：
使用所述多组数据，通过学习率衰减的方式训练得到所述第一模型。
9.一种空间环境的感知装置，其特征在于，包括：
确定模块，用于确定导致同步定位与地图构建SLAM系统跟踪失败的第一模糊照片；
获取模块，用于使用第一模型对所述第一模糊照片进行分析，获取第一清晰照片，其中，所述第一模型为使用多组数据通过机器学习训练出来的，所述多组数据中的每组数据均包括：模糊照片，和所述模糊照片对应的清晰照片；
感知模块，用于依据所述第一清晰照片感知空间环境。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN201810522285.3A 2018-05-28 2018-05-28 空间环境的感知方法及装置 Active CN110545373B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810522285.3A CN110545373B (zh) 2018-05-28 2018-05-28 空间环境的感知方法及装置
PCT/CN2019/087272 WO2019228195A1 (zh) 2018-05-28 2019-05-16 空间环境的感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810522285.3A CN110545373B (zh) 2018-05-28 2018-05-28 空间环境的感知方法及装置

Publications (2)

Publication Number Publication Date
CN110545373A true CN110545373A (zh) 2019-12-06
CN110545373B CN110545373B (zh) 2021-12-28

Family

ID=68697852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810522285.3A Active CN110545373B (zh) 2018-05-28 2018-05-28 空间环境的感知方法及装置

Country Status (2)

Country Link
CN (1) CN110545373B (zh)
WO (1) WO2019228195A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112202696B (zh) * 2020-10-12 2022-03-29 青岛科技大学 基于模糊自编码器的水声信号自动调制识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589470A (zh) * 2012-02-14 2012-07-18 大闽食品（漳州）有限公司 一种基于模糊神经网络的茶叶外观品质的量化方法
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
WO2014169162A1 (en) * 2013-04-13 2014-10-16 Microsoft Corporation Image deblurring
CN106372663A (zh) * 2016-08-30 2017-02-01 北京小米移动软件有限公司 构建分类模型的方法及装置
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统
CN106447626A (zh) * 2016-09-07 2017-02-22 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107689034A (zh) * 2017-08-16 2018-02-13 清华-伯克利深圳学院筹备办公室 一种神经网络的训练方法、去噪方法及装置
CN107948510A (zh) * 2017-11-27 2018-04-20 北京小米移动软件有限公司 焦距调整的方法、装置及存储介质
US20180121767A1 (en) * 2016-11-02 2018-05-03 Adobe Systems Incorporated Video deblurring using neural networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680491B (zh) * 2015-02-28 2016-03-30 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
CN106530256A (zh) * 2016-11-18 2017-03-22 四川长虹电器股份有限公司 一种基于改进深度学习的智能相机图像盲超分辨率系统
CN106920227B (zh) * 2016-12-27 2019-06-07 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589470A (zh) * 2012-02-14 2012-07-18 大闽食品（漳州）有限公司 一种基于模糊神经网络的茶叶外观品质的量化方法
WO2014169162A1 (en) * 2013-04-13 2014-10-16 Microsoft Corporation Image deblurring
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统
CN106372663A (zh) * 2016-08-30 2017-02-01 北京小米移动软件有限公司 构建分类模型的方法及装置
CN106447626A (zh) * 2016-09-07 2017-02-22 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
US20180121767A1 (en) * 2016-11-02 2018-05-03 Adobe Systems Incorporated Video deblurring using neural networks
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107689034A (zh) * 2017-08-16 2018-02-13 清华-伯克利深圳学院筹备办公室 一种神经网络的训练方法、去噪方法及装置
CN107948510A (zh) * 2017-11-27 2018-04-20 北京小米移动软件有限公司 焦距调整的方法、装置及存储介质

Also Published As

Publication number Publication date
WO2019228195A1 (zh) 2019-12-05
CN110545373B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN112308200B (zh) 神经网络的搜索方法及装置
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
US11741581B2 (en) Training method for image processing model, image processing method, network device, and storage medium
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN109191512B (zh) 双目图像的深度估计方法及装置、设备、程序及介质
CN111402130B (zh) 数据处理方法和数据处理装置
KR20210048544A (ko) 비디오 이미지 처리 방법 및 장치
CN109005334A (zh) 一种成像方法、装置、终端和存储介质
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN111695421A (zh) 图像识别方法、装置及电子设备
CN113256529A (zh) 图像处理方法、装置、计算机设备及存储介质
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
CN115272565A (zh) 一种头部三维模型的重建方法及电子设备
CN115984666A (zh) 跨通道金字塔池化方法、系统、卷积神经网络及处理方法
CN115115593A (zh) 一种扫描处理方法、装置、电子设备及存储介质
CN110545373B (zh) 空间环境的感知方法及装置
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
KR102612625B1 (ko) 신경망 기반의 특징점 학습 장치 및 방법
CN113409331B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
CN113537359A (zh) 训练数据的生成方法及装置、计算机可读介质和电子设备
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant