CN110245567A - 避障方法、装置、存储介质及电子设备 - Google Patents

避障方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110245567A
CN110245567A CN201910407610.6A CN201910407610A CN110245567A CN 110245567 A CN110245567 A CN 110245567A CN 201910407610 A CN201910407610 A CN 201910407610A CN 110245567 A CN110245567 A CN 110245567A
Authority
CN
China
Prior art keywords
frame
rgb
depth map
semantic segmentation
avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910407610.6A
Other languages
English (en)
Other versions
CN110245567B (zh
Inventor
易万鑫
廉士国
林义闽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Priority to CN201910407610.6A priority Critical patent/CN110245567B/zh
Publication of CN110245567A publication Critical patent/CN110245567A/zh
Application granted granted Critical
Publication of CN110245567B publication Critical patent/CN110245567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开涉及一种避障方法、装置、存储介质及电子设备，包括：获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；获取在第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图；根据第一RGB图、第一深度图、N帧第二RGB图和N帧第二深度图获取与第一图像帧对应的第一语义分割图；将第一RGB图、第一深度图和第一语义分割图作为预设避障网络模型的输入，以得到预设避障网络模型输出的避障方向来实现避障。这样，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。

Description

避障方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机视觉领域，具体地，涉及一种避障方法、装置、存储介质及电子设备。
背景技术
在实际生活中，智能机器人或无人驾驶车辆等各种智能设备所处的环境通常是动态的、可变的，而这些智能设备通常会需要在变化的环境中进行移动，如何能够保证这些智能设备能够主动识别出障碍物并躲避障碍物成为了亟需解决的问题。
目前，市场上常用的避障方案主要是基于激光雷达、视觉传感器、超声波传感器等传感器来实现的，通过传感器识别出前进方向上的障碍物，另外，主流的一些避障算法可分为遗传算法、模糊算法、神经网络算法等。激光雷达价格比较昂贵，性价比不高，不便于大规模推广；超声波传感器有探测盲区，可能会无法识别出某些区域的障碍物，造成智能设备的无法根据指令到达指定位置；部分传统避障算法本身实现起来比较复杂，因此避障成功率和效率都不高。因此，现有的避障方案都具有一定缺陷，而且，对于智能设备需要避开的某些低矮小障碍，现有方案基本都不能很好的检测到，这样会对智能设备的避障造成很大的干扰。
发明内容
本公开的目的是提供一种避障方法、装置、存储介质及电子设备，能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。
为了实现上述目的，本公开提供一种避障方法，所述方法包括：
获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；
获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；
根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；
将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。
可选地，所述获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图包括：
获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；
根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。
可选地，所述根据所述第一RGB图对所述第三深度图进行补全处理包括：
将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。
可选地，所述获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图包括：
获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；
根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。
可选地，所述根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图包括：
根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；
根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；
根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。
可选地，所述根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理包括：
将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。
本公开还提供一种避障装置，所述装置包括：
第一获取模块，用于获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；
第二获取模块，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；
第三获取模块，用于根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；
避障模块，用于将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。
可选地，所述第一获取模块包括：
第一获取子模块，用于获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；
第一补全子模块，用于根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。
可选地，所述第一补全子模块还用于：
将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。
可选地，所述第二获取模块包括：
第二获取子模块，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；
第二补全子模块，用于根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。
可选地，所述第三获取模块包括：
第三获取子模块，用于根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；
第四获取子模块，用于根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；
第三补全子模块，用于根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。
可选地，所述第三补全子模块还用于：
将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述避障方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现以上所述避障方法的步骤。
通过上述技术方案，根据当前的目标视野对应的第一图像帧和在该第一图像帧之前获取到的连续多帧图像帧来判断避障方向，即能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种避障方法的流程图。
图2是根据本公开又一示例性实施例示出的一种避障方法的流程图。
图3是根据本公开又一示例性实施例示出的一种避障方法的流程图。
图4是根据本公开又一示例性实施例示出的一种避障方法的流程图。
图5是根据本公开一示例性实施例示出的一种避障装置的结构框图。
图6是根据本公开又一示例性实施例示出的一种避障装置的结构框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种避障方法的流程图。如图1所示，所述方法包括步骤101至步骤104。
在步骤101中，获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图。该目标视野可以为安装于智能设备中的摄像机、摄影机、视觉传感器等图像获取装置根据其设置的位置以及收到的指令所能获取到的图像信息的环境范围。例如，在智能机器人中，该目标视野即可以为设置于该智能机器人中的视觉传感器所能看到的环境范围，其中，与该目标视野对应的第一图像帧即为该视觉传感器在工作时能够在该目标视野中获取到的图像。该第一RGB图和该第一深度图可以是直接通过该视觉传感器、RGB-D相机等现有的图像获取装置直接获取得到的，也可以是后期处理得到的，本公开中对于该第一RGB图和该第一深度图的来源不做限制，只要该第一RGB图和该第一深度图是对应与用于避障判断的第一图像帧即可。另外，该第一图像帧并非需要实际拍摄得到的图片，只是用于确定该第一RGB图和该第一深度图之间的关系，即，当使用视觉传感器来获取该第一RGB图和第一深度图时，视觉传感器可以直接获取该目标视野中对应第一图像帧的的第一RGB图，并同时获取对应该第一图像帧的第一深度图，该第一RGB图和第一深度图只要各自的帧号是相互对应或相同即可。
在步骤102中，获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数。该连续N帧第二图像帧与该第一图像帧之间也是连续的，可以通过其各自的帧号来确定是否连续。例如，该第一图像帧对应的帧号是第5帧，在步骤101中获取得到的第一RGB图和第一深度图对应的帧号相应地也为第5帧，此时，若令N为3，则在步骤102中就应该获取帧号分别为第2帧的第二RGB图和第二深度图、第3帧的第二RGB图和第二深度图和第4帧的第二RGB图和第二深度图来作为该连续N帧第二图像帧分别对应的第二RGB图和第二深度图。
在步骤103中，根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图。在步骤101和步骤102中获取到第一RGB图、第一深度图、连续N帧的第二RGB图和第二深度图之后，就能由此得到与该第一图像帧对应的第一语义分割图，即与该第一RGB图和该第一深度图对应的第一语义分割图。其中，如何利用在步骤101和步骤102中获取到第一RGB图、第一深度图、连续N帧的第二RGB图和第二深度图来得到与该第一RGB图和该第一深度图对应的第一语义分割图的方法可以是先分别针对每一帧图像帧得到一个语义分割图，最后对所得到的每一帧语义分割图进行融合，以得到优化后的语义分割图来作为该第一语义分割图，也可以直接根据第一RGB图、第一深度图、连续N帧的第二RGB图和第二深度图一起来获取一帧对应于第一RGB图和第一深度图的第一语义分割图。其中具体使用的算法或其他方法等在本公开不做限制，只要能够在利用第一RGB图、第一深度图、连续N帧的第二RGB图和第二深度图的情况下得到该最终的第一语义分割图即可。
在步骤104中，将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。在得到针对该第一图像帧的第一RGB图、第一深度图和第一语义分割图之后，将其作为预设避障网络模型的输入，就能够从该预设避障网络模型的输出中得到应该避障的方向，从而来进行避障。该预设避障网络模型的训练数据的获取与步骤101至步骤103中的对该第一RGB图、第一深度图和第一语义分割图的获取方法相同，在训练时的对于真实避障方向的标注可以是标注于该RGB图中。其中，在对训练数据中的RGB图进行获取时，可以根据标注进行批量获取，例如，在避障方向为“左转”、“右转”、“直行”这三中类型时，可以现针对需要标注为“直行”的该RGB图像进行获取，然后将获取到的所有RGB图像批量标注为“直行”，这样可以很大程度节省人工标注时间，提高训练数据的获取效率和准确度。
通过上述技术方案，根据当前的目标视野对应的第一图像帧和在该第一图像帧之前获取到的连续多帧图像帧来判断避障方向，即能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。
图2是根据本公开又一示例性实施例示出的一种避障方法的流程图。如图2所示，所述方法除了包括图1中所示的步骤102至步骤104之外，还包括步骤201和步骤202，该步骤201和步骤202是对如图1中所示的步骤101的进一步限定。
在步骤201中，获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图。该第三深度图为直接通过视觉传感器等深度图获取装置来获取得到的深度图，由于用于获取深度图的装置获取到的深度图通常会出现不够完整、有空洞、不够精确的问题，因此在获取到该第三深度图之后，还需要对该第三深度图进行一定的优化处理。
在步骤202中，根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。在获取到该第一RGB图和该第三深度图之后，通过该第一RGB图对该第三深度图进行补全处理，以得到更加精确且完整的第一深度图。这样能够使得最终的避障结果能够更加准确。其中，根据该第一RGB图对该第三深度图进行补全处理的方法可以为任意补全方法，在本公开中对该补全方法不做限制。
在一种可能的实时方式中，图2中所示的步骤202包括：将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。利用卷积网络模型来对该第三深度图进行补全是一种优选的补全方法。该第一预设卷积网络模型为已经训练完成并预先设置好的卷积网络模型。
图3是根据本公开又一示例性实施例示出的一种避障方法的流程图。如图3所示，所述方法除了包括图1中所示的步骤101、步骤103和步骤104之外，还包括步骤301和步骤302，其中，该步骤301和步骤303是对图1中所示的步骤102的进一步限定。
在步骤301中，获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图。该第四深度图与上述实施例中的第三深度图类似，都是直接通过视觉传感器等深度图获取装置来获取得到的深度图，由于用于获取深度图的装置获取到的深度图通常会出现不够完整、有空洞、不够精确的问题，因此在每获取到一帧该第四深度图之后，都还需要对该第四深度图进行一定的优化处理。
在步骤302中，根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。即，针对每一帧第二图像帧，都需要分别先获取其第二RGB图和第四深度图，并通过该第二RGB图对该第四深度图进行补全处理以得到补全后的第二深度图。其中，根据该第二RGB图对与之对应的第四深度图进行补全处理所使用的补全方法与上述实施例中的描述相似，只要是能够实现补全效果的补全方法即可，具体补全方法在本公开中不做限制。优选的，可以使用第三预设卷积网络模型来根据该第二RGB图对该第四深度图进行补全处理，该第三预设卷积网络模型为已经训练完成并预先设置好的卷积网络模型，该第三预设卷积网络模型与该第一预设卷积网络模型可以为相同的卷积网络模型，都能通过对一图像帧对应的RGB图来对该图像帧对应的深度图进行补全。该第三预设卷积网络模型与该第一预设卷积网络模型也可以分别为不同的卷积网络模型。
图4是根据本公开又一示例性实施例示出的一种避障方法的流程图。如图4所示，所述方法除了包括图1中所示的步骤101、步骤102和步骤104之外，还包括步骤401至步骤403，其中，该步骤401至步骤403是对图1中所示的步骤103的进一步限定。
在步骤401中，根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图。该第二语义分割图可以是通过例如语义分割网络模型来获取的，将该第一RGB图和该第一深度图输入该语义分割网络模型中，从而得到与该第一RGB图和该第一深度图对应的第二语义分割图，即与该第一图像帧对应的第二语义分割图。
在步骤402中，根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图。步骤402中用于根据该N帧第二RGB图和该N帧深度图获取第三语义分割图的方法可以与以上所述的通过该第一RGB图和该第一深度图得到该第二语义分割图的方法相同，即通过将每一帧第二图像帧所对应的第二RGB图和第二深度图分别输入语义分割网络模型中，来得到与每一帧第二图像帧分别对应的第三语义分割图。例如，在N为3，且该第一图像帧为第5帧的情况下，该第二图像帧所对应的第二RGB图和第二深度图就分别为第2帧的第二RGB图和第二深度图，第3帧的第二RGB图和第二深度图，第4帧的第二RGB图和第二深度图，将第2帧的第二RGB图和第二深度图输入上述语义分割网络模型中，就能得到与该第2帧图像帧对应的第三语义分割图；将第3帧的第二RGB图和第二深度图输入上述语义分割网络模型中，就能得到与该第3帧图像帧对应的第三语义分割图；将第4帧的第二RGB图和第二深度图输入上述语义分割网络模型中，就能得到与该第4帧图像帧对应的第三语义分割图。其中，步骤401和步骤402中可以使用同一个语义分割网络模型来获取该第二语义分割图和该第三语义分割图，也可以使用不同的语义分割网络模型。
在步骤403中，根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。通过步骤401和步骤402，就能得到与该第一图像帧对应的一帧第二语义分割图，以及与该N帧第二图像帧分别对应的N帧第三语义分割图，通过上述N+1帧语义分割图，就能够实现对该第一语义分割图进行补全处理。其中，对该第一语义分割图进行补全处理的方法在本公开中不做限制，只要能够将该第一语义分割图补充得更加精确和完整即可。经过补全处理后就能够得到图1中步骤103中所示的第一语义分割图。
在一种可能的实施方式中，图1中所示的步骤103包括：将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。利用卷积网络模型来根据N帧第三语义分割图对该第二语义分割图进行补全是一种优选的补全方法。该第二预设卷积网络模型为已经训练完成并预先设置好的卷积网络模型。
在一种可能的实施方式中，在上述的避障方法中，除了可以直接通过该预设避障网络模型输出的避障方向来实现避障之外，还能够通过以下方法来进行表彰：将与该第一图像帧对应的第一语义分割图显示于移动设备的屏幕上；接收用户对所述屏幕的点击指令，并根据该点击指令在所述第一语义分割图上对应的位置来将用户点击的区域对应的物体类型通过声音等传输形式来告知用户。这样，除了能够根据该避障网络模型输出的避障方向来进行避障之外，还能够主动地获取到前进方向中不同区域的物体，这样能够进一步提升与用户之间的交互体验，尤其是将上述方法应用在导盲设备的情况下时，盲人用户不仅能够根据导盲设备输出的避障方向来判断行走的路线，而且还能够主动地获取到前方路线上的物体类型，不仅提高了与用户之间的交互体验，而且还能使得用户能够结合自己的判断和避障方向的指导来进行更加精准的避障，大大保证了避障的效果。
图5是根据本公开一示例性实施例示出的一种避障装置。如图5所示，所述装置包括：第一获取模块10，用于获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；第二获取模块20，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；第三获取模块30，用于根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；避障模块40，用于将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。
通过上述技术方案，根据当前的目标视野对应的第一图像帧和在该第一图像帧之前获取到的连续多帧图像帧来判断避障方向，即能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。
图6是根据本公开又一示例性实施例示出的一种避障装置。如图6所示，所述第一获取模块10包括：第一获取子模块101，用于获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；第一补全子模块102，用于根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。
在一种可能的实施方式中，所述第一补全子模块102还用于：将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。
在一种可能的实施方式中，如图6所示，所述第二获取模块20包括：第二获取子模块201，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；第二补全子模块202，用于根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。
在一种可能的实施方式中，如图6所示，所述第三获取模块30包括：第三获取子模块301，用于根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；第四获取子模块302，用于根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；第三补全子模块303，用于根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。
在一种可能的实施方式中，所述第三补全子模块303还用于：将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。
本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
通过上述避障装置，根据当前的目标视野对应的第一图像帧和在该第一图像帧之前获取到的连续多帧图像帧来判断避障方向，即能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。
本公开实施例还提供一种算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法实施例提供的避障方法的步骤。
本公开实施例还提供一种电子设备，该电子设备可以被提供作为一种服务器，该电子设备包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述方法实施例提供的避障方法的步骤。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的避障方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的避障方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的避障方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的避障方法。
图8是根据一示例性实施例示出的一种电子设备800的框图。参照图8，电子设备800包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的避障方法。
另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的避障方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的避障方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种避障方法，其特征在于，所述方法包括：
获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；
获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；
根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；
将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。
2.根据权利要求1所述的方法，其特征在于，所述获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图包括：
获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；
根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一RGB图对所述第三深度图进行补全处理包括：
将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。
4.根据权利要求1-3中任一权利要求所述的方法，其特征在于，所述获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图包括：
获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；
根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图包括：
根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；
根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；
根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。
6.根据权利要求5所述的方法，其特征在于，所述根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理包括：
将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。
7.一种避障装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；
第二获取模块，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；
第三获取模块，用于根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；
避障模块，用于将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。
8.根据权利要求7所述的装置，其特征在于，所述第一获取模块包括：
第一获取子模块，用于获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；
第一补全子模块，用于根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN201910407610.6A 2019-05-16 2019-05-16 避障方法、装置、存储介质及电子设备 Active CN110245567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910407610.6A CN110245567B (zh) 2019-05-16 2019-05-16 避障方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910407610.6A CN110245567B (zh) 2019-05-16 2019-05-16 避障方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110245567A true CN110245567A (zh) 2019-09-17
CN110245567B CN110245567B (zh) 2023-04-07

Family

ID=67884172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910407610.6A Active CN110245567B (zh) 2019-05-16 2019-05-16 避障方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110245567B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及系统
CN111783557A (zh) * 2020-06-11 2020-10-16 北京科技大学 一种基于深度视觉的可穿戴导盲设备及服务器
WO2022127451A1 (zh) * 2020-12-17 2022-06-23 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN114911268A (zh) * 2022-06-16 2022-08-16 山东大学 一种基于视觉模仿的无人机自主避障方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194232A (zh) * 2011-05-23 2011-09-21 西安理工大学 一种分层引导的视频图像目标分割方法
CN104159093A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 运动拍摄的静态场景视频的时域一致性空洞区域修补方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
US20170147635A1 (en) * 2015-11-20 2017-05-25 International Business Machines Corporation Semantic Graph Augmentation for Domain Adaptation
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108459596A (zh) * 2017-06-30 2018-08-28 炬大科技有限公司 一种移动电子设备以及该移动电子设备中的方法
US20180293246A1 (en) * 2015-05-13 2018-10-11 Beijing Zhigu Rui Tuo Tech Co., Ltd. Video retrieval methods and apparatuses
CN108765315A (zh) * 2018-05-04 2018-11-06 Oppo广东移动通信有限公司 图像补全方法、装置、计算机设备及存储介质
US20190051056A1 (en) * 2017-08-11 2019-02-14 Sri International Augmenting reality using semantic segmentation
CN109447923A (zh) * 2018-09-27 2019-03-08 中国科学院计算技术研究所 一种语义场景补全系统与方法
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
US20190108641A1 (en) * 2017-03-10 2019-04-11 TuSimple System and method for semantic segmentation using hybrid dilated convolution (hdc)
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109697458A (zh) * 2018-11-27 2019-04-30 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
CN109740443A (zh) * 2018-12-12 2019-05-10 歌尔股份有限公司 检测障碍物的方法、装置及运动设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194232A (zh) * 2011-05-23 2011-09-21 西安理工大学 一种分层引导的视频图像目标分割方法
CN104159093A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 运动拍摄的静态场景视频的时域一致性空洞区域修补方法
US20180293246A1 (en) * 2015-05-13 2018-10-11 Beijing Zhigu Rui Tuo Tech Co., Ltd. Video retrieval methods and apparatuses
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
US20170147635A1 (en) * 2015-11-20 2017-05-25 International Business Machines Corporation Semantic Graph Augmentation for Domain Adaptation
US20190108641A1 (en) * 2017-03-10 2019-04-11 TuSimple System and method for semantic segmentation using hybrid dilated convolution (hdc)
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法
CN108459596A (zh) * 2017-06-30 2018-08-28 炬大科技有限公司 一种移动电子设备以及该移动电子设备中的方法
US20190051056A1 (en) * 2017-08-11 2019-02-14 Sri International Augmenting reality using semantic segmentation
CN107657625A (zh) * 2017-09-11 2018-02-02 南京信息工程大学 融合时空多特征表示的无监督视频分割方法
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108765315A (zh) * 2018-05-04 2018-11-06 Oppo广东移动通信有限公司 图像补全方法、装置、计算机设备及存储介质
CN109447923A (zh) * 2018-09-27 2019-03-08 中国科学院计算技术研究所 一种语义场景补全系统与方法
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109697458A (zh) * 2018-11-27 2019-04-30 深圳前海达闼云端智能科技有限公司 控制设备移动的方法、装置、存储介质及电子设备
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109740443A (zh) * 2018-12-12 2019-05-10 歌尔股份有限公司 检测障碍物的方法、装置及运动设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAVID NILSSON 等: "Semantic Video Segmentation by Gated Recurrent Flow Propagation", 《ARXIV:1612.08871V2》 *
KRISHNAM GUPTA等: "MergeNet: A Deep Net Architecture for Small Obstacle Discovery", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
MORRIS ANTONELLO 等: "Multi-view 3D Entangled Forest For Semantic Segmentation and Mapping" *
YINDA ZHANG等: "Deep Depth Completion of a Single RGB-D Image", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
代具亭: "基于RGB-D视频序列的大尺度场景三维语义表面重建技术研究" *
郭雨潇: "环境光遮蔽技术在图形图像中若干关键技术研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及系统
CN111783557A (zh) * 2020-06-11 2020-10-16 北京科技大学 一种基于深度视觉的可穿戴导盲设备及服务器
CN111783557B (zh) * 2020-06-11 2023-08-15 北京科技大学 一种基于深度视觉的可穿戴导盲设备及服务器
WO2022127451A1 (zh) * 2020-12-17 2022-06-23 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN114911268A (zh) * 2022-06-16 2022-08-16 山东大学 一种基于视觉模仿的无人机自主避障方法及系统

Also Published As

Publication number Publication date
CN110245567B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110245567A (zh) 避障方法、装置、存储介质及电子设备
JP6744679B2 (ja) ヒューマンマシンハイブリッド意思決定方法および装置
US20210271253A1 (en) Method and apparatus for controlling device to move, storage medium, and electronic device
KR20210114952A (ko) 목표대상물의 검출방법, 장치, 기기 및 기억매체
US9207678B2 (en) Method and apparatus for constructing map for mobile robot
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
US20210027081A1 (en) Method and device for liveness detection, and storage medium
CN108681743A (zh) 图像对象识别方法和装置、存储介质
US20230057965A1 (en) Robot and control method therefor
CN110998663B (zh) 一种仿真场景的图像生成方法、电子设备和存储介质
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
KR20200138074A (ko) 머신-러닝과 크라우드-소싱된 데이터 주석을 통합하기 위한 시스템 및 방법
CN113907663A (zh) 障碍物地图构建方法、清洁机器人及存储介质
CN115339453B (zh) 车辆换道决策信息生成方法、装置、设备和计算机介质
WO2018103024A1 (zh) 智能导盲方法和装置
US20200401151A1 (en) Device motion control
CN110910628A (zh) 车损图像拍摄的交互处理方法、装置、电子设备
CN113189989B (zh) 车辆意图预测方法、装置、设备及存储介质
CN113963061A (zh) 路沿分布信息获取方法、装置、电子设备和存储介质
CN113158779A (zh) 一种行走方法、装置和计算机存储介质
CN110244710B (zh) 自动寻迹方法、装置、存储介质及电子设备
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
CN113192072B (zh) 图像分割方法、装置、设备及存储介质
CN114140660A (zh) 一种车辆检测方法、装置、设备及介质
Soares et al. Mapping in dynamic environments using deep learning-based human detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant