CN110287941A - 一种基于概念学习的透彻感知与动态理解方法 - Google Patents

Abstract

本发明提出一种基于概念学习的透彻感知与动态理解方法，本发明以深度学习为基础的场景分析与信息挖掘是目前信息科学的前沿领域，已成功应用于各类场景的分割、分类及识别中，并取得了大量优秀成果；在特征提取的基础上，基于贝叶斯网络的静态推理已在图像诊断或理解中得到应用，这为自动提取场景多源多模态特征并在概念框架下进行推理提供了可行性。在此基础上，同时基于机器人协同动态推理与感知耦合，可有效解决大空间复杂场景的动态感知与深度理解问题，在准确性方面远高于使用单一深度神经网络及静态推理的性能。

Description

一种基于概念学习的透彻感知与动态理解方法

技术领域

本发明属于图像理解技术领域，特别是涉及一种基于概念学习的透彻感知与动态理解方法。

背景技术

在世界各地，地震、台风、海啸以及恐怖活动等突发性灾难事故频发，集群机器人在解决应急搜救问题上具有重大优势。

机器人应用的技术瓶颈是如何针对大范围复杂动态场景，完成无人操控下的环境感知、深度理解与精准操控。

目前国内外对于环境理解的研究有两个方向：一是三维全景场景理解，以单帧点云作为输入，结合小范围上下文模板关系可完成对小场景的理解。但是该方法面对大空间范围的全景场景理解，所需模板复杂度将指数级扩大，导致无法应用。二是针对静态图片进行事件识别，通过融合静态图片的多个浅层特征，结合机器学习分类算法进行事件检测。而现有研究未能在大范围复杂动态场景下，建立物体、行为、事件之间的深度理解框架。

总结目前的技术现状：系统利用多种传感器感知环境，通过信息处理完成特征提取以及基本语义的理解。但无法在大范围复杂动态场景下建立物体、行为、事件之间的深度理解关系，无法实现真正意义下的智能无人操控。基于此，提出一种基于概念学习框架的透彻感知与动态理解方法。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于概念学习的透彻感知与动态理解方法；本发明的目的在于建立一种透彻协同感知机制，形成大范围场景高级语义理解框架，建立复杂场景动态知识图谱，提供场景快速推理方法。

本发明是通过以下技术方案实现的，本发明提出一种基于概念学习的透彻感知与动态理解方法，所述方法包括以下步骤：

步骤一：基于深度学习与时序贝叶斯迭代训练构建大范围“场景-目标-行为”的静-动态概念关系模型，所述静-动态概念关系模型能够透彻反映场景属性、人物行为和事件关联的抽象关系，全面掌控大范围复杂场景动态；

步骤二：基于贝叶斯网络的概率图模型推理及场景深度理解技术，结合训练好的静-动态概念关系模型和环境上下文，预测目标行为状态；

步骤三：按照集群机器人任务为指引，以静-动态概念关系模型推理置信度最高为原则，设计机器人分布式协同策略，通过优化传感器配置实现对场景目标与态势的透彻感知与深度理解；

步骤四：按照任务执行指令为指引，驱动机器人对执行任务完成精准操控。

进一步地，所述步骤一具体为：

步骤1.1、对集群机器人采集的场景RGB-D图像进行拼接，并将拼接后的场景分解为一定空间尺度的场景信息，所述尺度的设定由场景所含信息量、场景延迟时间和计算复杂度来决定；

步骤1.2、利用深度学习训练静态场景模型，提取场景中包含的语义概念及从属于该语义概念的结构和属性，建立“场景-目标”的静态概念模型；

步骤1.3、将语义概念作为贝叶斯网络节点，语义概念之间的相互关系作为网络的有向边，用条件概率表达关系强度，加入时间维度信息，利用时序贝叶斯迭代对场景中语义间的动态关系进行描述，建立“目标-行为”的动态关系模型；

步骤1.4、基于信息论将静态概念模型与动态关系模型进行统一。

进一步地，所述步骤二具体为：

步骤2.1、在集群机器人实时运行中，每一个机器人获取一帧场景RGB-D数据，并从中提取语义概念及状态、属性信息；

步骤2.2、利用训练好的“场景-目标-行为”静-动态概念关系模型，基于贝叶斯网络的概率图模型对当前场景语义概念进行推理，完成目标在当前场景中的深度理解，即对目标行为状态进行预测。

进一步地，所述步骤二还包括：若集群机器人场景获取有交叠，需根据机器人所处位置及预测结果进行投票，得到集群机器人一致的预测结论。

进一步地，所述步骤三具体为：

步骤3.1、将集群机器人任务作为指令，并将指令分解为环境感知指令和任务执行指令，将环境感知指令与理解出的场景目标行为状态进行对比，计算环境感知指令与场景理解的相似度；

步骤3.2、如果相似度达到一致，则执行步骤四；如果相似度不一致，则结合当前集群机器人的位置、姿态和方位信息，以静-动态概念关系模型推理置信度最高为原则，综合考虑机器人的资源条件约束，设计机器人分布式协同策略，使机器人对目标进行透彻感知；

步骤3.3、按照机器人分布式协同策略，控制机器人按照规划的路径进行移动，从而产生新的场景信息，重复步骤二，直到环境感知指令与理解出的场景相似度达到一致要求。

进一步地，所述资源条件约束包括电池电量、移动能力和感知能力。

本发明的有益效果为：本发明以深度学习为基础的场景分析与信息挖掘是目前信息科学的前沿领域，已成功应用于各类场景的分割、分类及识别中，并取得了大量优秀成果；在特征提取的基础上，基于贝叶斯网络的静态推理已在图像诊断或理解中得到应用，这为自动提取场景多源多模态特征并在概念框架下进行推理提供了可行性。在此基础上，同时基于机器人协同动态推理与感知耦合，可有效解决大空间复杂场景的动态感知与深度理解问题，在准确性方面远高于使用单一深度神经网络及静态推理的性能。

附图说明

图1为本发明所述基于概念学习的透彻感知与动态理解方法结构图；

图2为步骤一具体流程图；

图3为步骤二具体流程图；

图4为步骤三和四具体流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明根据面向机器人大范围复杂场景下精确感知与精准操控任务需求，充分考虑集群机器人平台传感器的感知、推理与协同能力差异，研究机器人复杂空间环境下的透彻感知和目标深度理解方法。通过场景结构化分解技术、最佳视角投影与跟踪技术、注意力机制下的深度学习技术，解决大范围场景下的高级语义概念及属性提取难题。基于时序贝叶斯网络、经验知识图谱构建场景中人物行为、事件动态关联关系，利用变分近似推理算法解决复杂场景下的动态推理问题。基于认知期望、环境态势及上下文信息，以模型推理置信度最高为准则设计机器人协同优化策略，驱动机器人对关心场景及目标进行更细粒度的透彻感知，实现深度理解，辅助优化目标定位与识别质量。

结合图1，本发明提出一种基于概念学习的透彻感知与动态理解方法，所述方法包括以下步骤：

步骤一：基于深度学习与时序贝叶斯迭代训练构建大范围“场景-目标-行为”的静-动态概念关系模型，所述静-动态概念关系模型能够透彻反映场景属性、人物行为和事件关联的抽象关系，全面掌控大范围复杂场景动态；

结合图2，所述步骤一具体为：

步骤1.1、对集群机器人采集的场景RGB-D图像进行拼接，并将拼接后的场景分解为一定空间尺度的场景信息，所述尺度的设定由场景所含信息量、场景延迟时间和计算复杂度来决定；

步骤1.2、利用深度学习训练静态场景模型，提取场景中包含的语义概念及从属于该语义概念的结构和属性，建立“场景-目标”的静态概念模型；

步骤1.3、将语义概念作为贝叶斯网络节点，语义概念之间的相互关系作为网络的有向边，用条件概率表达关系强度，加入时间维度信息，综合考虑时间维度和空间维度概念和属性的变化信息，利用时序贝叶斯迭代对场景中语义间的动态关系进行描述，建立“目标-行为”的动态关系模型；

步骤1.4、基于信息论将静态概念模型与动态关系模型进行统一。

步骤二：基于贝叶斯网络的概率图模型推理及场景深度理解技术，结合训练好的静-动态概念关系模型和环境上下文，预测目标行为状态；

结合图3，所述步骤二具体为：

步骤2.1、在集群机器人实时运行中，每一个机器人获取一帧场景RGB-D数据，并从中提取语义概念及状态、属性信息；

步骤2.2、利用训练好的“场景-目标-行为”静-动态概念关系模型，基于贝叶斯网络的概率图模型对当前场景语义概念进行推理，完成目标在当前场景中的深度理解，即对目标行为状态进行预测。

所述步骤二还包括：若集群机器人场景获取有交叠，需根据机器人所处位置及预测结果进行投票，得到集群机器人一致的预测结论。

步骤三：按照集群机器人任务为指引，以静-动态概念关系模型推理置信度最高为原则，设计机器人分布式协同策略，通过优化传感器配置实现对场景目标与态势的透彻感知与深度理解；

结合图4，所述步骤三具体为：

步骤3.1、将集群机器人任务作为指令，按数据或音频形式接收遥控指令，经过自然语言处理解译当前任务，并将指令分解为环境感知指令和任务执行指令，将环境感知指令与理解出的场景目标行为状态进行对比，计算环境感知指令与场景理解的相似度；

步骤3.2、如果相似度达到一致，则执行步骤四；如果相似度不一致，则结合当前集群机器人的位置、姿态和方位信息，以静-动态概念关系模型推理置信度最高为原则，综合考虑机器人资源条件约束，根据置信度最大原则设计机器人分布式协同策略，使机器人对目标进行透彻感知；所述资源条件约束包括电池电量、移动能力和感知能力。

步骤3.3、按照机器人分布式协同策略，控制机器人按照规划的路径进行移动，从而产生新的场景信息，重复步骤二，直到环境感知指令与理解出的场景相似度达到一致要求。

步骤四：按照任务执行指令为指引，驱动机器人对执行任务完成精准操控。

以上对本发明所提供的一种基于概念学习的透彻感知与动态理解方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于概念学习的透彻感知与动态理解方法，其特征在于：所述方法包括以下步骤：

步骤一：基于深度学习与时序贝叶斯迭代训练构建大范围“场景-目标-行为”的静-动态概念关系模型，所述静-动态概念关系模型能够透彻反映场景属性、人物行为和事件关联的抽象关系，全面掌控大范围复杂场景动态；

步骤二：基于贝叶斯网络的概率图模型推理及场景深度理解技术，结合训练好的静-动态概念关系模型和环境上下文，预测目标行为状态；

步骤三：按照集群机器人任务为指引，以静-动态概念关系模型推理置信度最高为原则，设计机器人分布式协同策略，通过优化传感器配置实现对场景目标与态势的透彻感知与深度理解；

步骤四：按照任务执行指令为指引，驱动机器人对执行任务完成精准操控。

2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：

步骤1.1、对集群机器人采集的场景RGB-D图像进行拼接，并将拼接后的场景分解为一定空间尺度的场景信息，所述尺度的设定由场景所含信息量、场景延迟时间和计算复杂度来决定；

步骤1.2、利用深度学习训练静态场景模型，提取场景中包含的语义概念及从属于该语义概念的结构和属性，建立“场景-目标”的静态概念模型；

步骤1.3、将语义概念作为贝叶斯网络节点，语义概念之间的相互关系作为网络的有向边，用条件概率表达关系强度，加入时间维度信息，利用时序贝叶斯迭代对场景中语义间的动态关系进行描述，建立“目标-行为”的动态关系模型；

步骤1.4、基于信息论将静态概念模型与动态关系模型进行统一。

3.根据权利要求2所述的方法，其特征在于：所述步骤二具体为：

步骤2.1、在集群机器人实时运行中，每一个机器人获取一帧场景RGB-D数据，并从中提取语义概念及状态、属性信息；

步骤2.2、利用训练好的“场景-目标-行为”静-动态概念关系模型，基于贝叶斯网络的概率图模型对当前场景语义概念进行推理，完成目标在当前场景中的深度理解，即对目标行为状态进行预测。

4.根据权利要求3所述的方法，其特征在于：所述步骤二还包括：若集群机器人场景获取有交叠，需根据机器人所处位置及预测结果进行投票，得到集群机器人一致的预测结论。

5.根据权利要求3所述的方法，其特征在于：所述步骤三具体为：

步骤3.1、将集群机器人任务作为指令，并将指令分解为环境感知指令和任务执行指令，将环境感知指令与理解出的场景目标行为状态进行对比，计算环境感知指令与场景理解的相似度；

步骤3.2、如果相似度达到一致，则执行步骤四；如果相似度不一致，则结合当前集群机器人的位置、姿态和方位信息，以静-动态概念关系模型推理置信度最高为原则，综合考虑机器人资源条件约束，设计机器人分布式协同策略，使机器人对目标进行透彻感知；

步骤3.3、按照机器人分布式协同策略，控制机器人按照规划的路径进行移动，从而产生新的场景信息，重复步骤二，直到环境感知指令与理解出的场景相似度达到一致要求。

6.根据权利要求5所述的方法，其特征在于：所述资源条件约束包括电池电量、移动能力和感知能力。