CN108229440A - 一种基于多传感器融合室内人体姿态识别方法 - Google Patents

一种基于多传感器融合室内人体姿态识别方法 Download PDF

Info

Publication number
CN108229440A
CN108229440A CN201810118798.8A CN201810118798A CN108229440A CN 108229440 A CN108229440 A CN 108229440A CN 201810118798 A CN201810118798 A CN 201810118798A CN 108229440 A CN108229440 A CN 108229440A
Authority
CN
China
Prior art keywords
sensor
human body
image
depth
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810118798.8A
Other languages
English (en)
Inventor
王裕基
裴得利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Olympic Mdt Infotech Ltd
Original Assignee
Beijing Olympic Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Olympic Mdt Infotech Ltd filed Critical Beijing Olympic Mdt Infotech Ltd
Priority to CN201810118798.8A priority Critical patent/CN108229440A/zh
Publication of CN108229440A publication Critical patent/CN108229440A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明设计一种基于多传感器的人体姿态识别方法，属于移动机器人的室内场景识别方法。该方法包括：1)部署光学、深度和红外三个传感器2)采集同一场景三个传感器的图像并对三个传感器图像进行图像校准3)利用预先训练好的深度神经网络识别当前人体实时姿态。本发明通过机器学习和计算机视觉算法对多传感器数据进行融合处理和综合决策，解决传统基于单一传感器识别方法的诸多限制和瓶颈，大大提高了室内人体的多种姿态识别的准确性和鲁棒性。

Description

一种基于多传感器融合室内人体姿态识别方法
技术领域
本发明设计一种基于深度神经网络的多传感器融合的人体姿态识别方法，属于移动机器人的室内场景识别方法。
背景技术
在室内移动机器人的诸多关键技术中，场景的感知和交互是其中重要内容之一，也是计算机视觉的重要研究方向。这其中人体姿态识别是室内场景中的典型应用，通过对场景中人体姿态的识别，移动机器人能够进一步作出交互反应，如靠近或跟随以进行语音交互等后续操作。当前姿态识别诸多方法中，从输入形式上可分类两大类，一类以传统光学传感器为主的动作视频，或直接进行单帧图像识别，或考虑时空连续性进行动作识别，另一类则以微软Kinect SDK为代表，通过传感器获取深度信息提高动作识别的准确性。
人体姿态识别室内移动机器人场景中，识别的鲁棒性和准确性同样重要。传统单一传感器人体姿态识别方法为达到较高的识别准确性，通常对外部环境和场景有较严格的限制，而无法实现全时复杂场景的稳定识别。这些限制主要由于传感器自身特性导致，如光学传感器虽然具有成本低，部署安装等优势，但是对光线和角度等要求较高，尤其在弱光线情况下，识别效果明显降低。而深度传感器虽然相对于光学传感器能够包含深度等三维空间信息，且对光照变化更为鲁棒等，但其识别范围较小(5米以内)，自身分辨率较低，物体边缘容易产生空洞，延迟大等问题也限制了它的应用范围；红外传感器同样对光照和角度变化等相对于光学传感器更为鲁邦，但依然存在分辨率较低、纹理和色彩缺失，以及易受各种热源噪声影响等问题。三种典型传感器的特性分析和比较综合在如下表所示：
表1三种典型传感器的特性分析和比较
发明内容
本发明的目的是提出一种基于多传感器信息融合的人体姿态识别方法，采用引入注意力机制的卷积神经网络对三种模态的图像数据进行融合，实现人体姿态的有效识别。
本发明提出一种基于多传感器融合的人体姿态识别的方法，其特征在于，包括以下步骤：
步骤1：在移动机器人的头部部署光学、深度和红外三个传感器；
步骤2：控制中心控制所述传感器以一定的采样频率同步采集数据并传输到处理中心；
步骤3：处理中心对采集到的不同模态的场景数据进行图像配准和增强处理；
步骤4：处理中心对处理后的场景数据输入到深度神经网络来识别当前人体实时姿态。
本发明的目的是提出一种基于多传感器信息融合的人体姿态识别方法，具有如下优点：
1、本发明采用光学、深度、红外三种不同类型的传感器采集信息，从不同维度收集场景数据；
2、采用一种引入注意力机制的卷积神经网络对三种模态的图像数据进行融合和姿态识别。
附图说明
图1是本发明方法的人体姿态识别流程图；
图2是本发明方法的图像校准示意图；
图3是引入注意力机制的卷积神经网络结构图。
具体实施方法
本发明提出的一种基于多传感器信息融合的人体姿态识别方法，包括如下步骤：
(1)多传感器图像的获取和预处理
在t时刻，系统通过三个传感器分别获取光学图像深度图像以及红外图像预处理阶段光学图像的处理主要包括图像增强，抖动模糊预处理；深度图像的预处理主要解决空洞的平滑和填充等；红外图像的预处理主要将红外图像转化为动作识别的注意力掩码图像。
(2)图像配准
由于三个传感器在机器人上安放位置的差异导致其获取到的真实场景的角度略有差别，三幅图像并不能直接完全对应，即视差的存在。因此需要利用到图像配准技术(Image Registration)对三个传感器图像进行校正。
图像配准与相关主要目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。
图像配准如图2所示，给定两幅图像IF(p)和IM(p)，其中p是两幅图像空间ΩF和ΩM中的某一点(如上图所示)，通过寻找变换T＝ΩF→ΩM使得变换某一幅图后两幅图像相似程度最大：C(T，IF，IM)达到最大
在本方法中由于存在三个传感器，我们需分别计算光学与深度图像的变换T1和光学与红外图像的变换T2，对应变换后t时刻三个图像分别记为
光学图像
深度图像
红外图像
(3)引入注意力机制的卷积神经网络
经过图像配准后，我们提出一种引入注意力机制的卷积神经网络对三种模态的图像数据进行融合和姿态识别。具体来说，光学图像Ot细分为RGB 三通道图像与深度图像Dt组成四通道图像帧：
作为卷积神经网络的输入，而红外图像Ht作为注意力网络(attention net)的输入，整个网络的结构如图3所示：
整个卷积神经网络分为两部分，左侧为视觉处理模块，主要处理由 RGB-D数据组成的四通道数据，而右侧为注意力网络，其输入由红外图像预处理后转化为的注意力表示图像。
在输出层和全连接层之间是K个卷积层，每个卷积层具体包含Ni个尺寸为Pi*Qi*Ni-1的卷积核、激活函数ReLu，以及池化(如果有)三部分，经过卷积层会产生Ni个特征图。具体来说，在第i层的第j个特征图中的一个点(x，y)可以用表示，则该处的值为
其中激活函数ReLU(*)的形式为f(x)＝max(0，x)，bij是当前特征图的偏差项，m是前面i-1层特征图的索引，是与第m个特征图卷积的卷积核在(p，q)位置的值。
在池化层中，假定输入的特征图的尺寸为Wi-1*Hi-1*Di-1，池化的尺寸为F，步长为S，则输出的特征图的尺寸为Wi*Hi*Di，其中
Wi＝(Wi-1-F)/S+1
Hi＝(Hi-1-F)/S+1
Di＝Di-1
最后输出层为:
O＝sigmoid(ωO*(FC1⊙FC2))
其中O为一维向量，其大小与动作类别数目相同，⊙为点积操作，将两个子网络的结果融合。

Claims (1)

1.本发明提出一种基于多传感器融合的人体姿态识别的方法，其特征在于，包括以下步骤：
步骤1：在移动机器人的头部部署光学、深度和红外三个传感器；
步骤2：控制中心控制所述传感器以一定的采样频率同步采集数据并传输到处理中心；
步骤3：处理中心对采集到的不同模态的场景数据进行图像配准和增强处理；
步骤4：处理中心对处理后的场景数据输入到深度神经网络来识别当前人体实时姿态。
本发明的实施形态，其特征是：将光学摄像头，深度传感器，和红外传感器三种不同的传感器放在部署在移动机器人的头部，并由控制中心同步采集光学图像，深度图和红外热成像图；处理中心对三种模态的场景图像进行配准处理后，通过深度神经网络进行模态融合和姿态识别。
本发明的效果在于：在深度学习框架下将三种传感器获取的场景图像进行融合识别达到鲁邦识别人体姿态的目的。它能够综合各传感器的优势，并利用他们之前的互补信息弥补他们的不足，如在光线较弱造成光学传感器无法捕捉场景信息时，利用深度和红外进行人体定位；当深度信息在物体边缘和遮挡区域出现空洞而影响识别时，红外热源信息能够进一步排除干扰，增加人体定位准确度。
CN201810118798.8A 2018-02-06 2018-02-06 一种基于多传感器融合室内人体姿态识别方法 Pending CN108229440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810118798.8A CN108229440A (zh) 2018-02-06 2018-02-06 一种基于多传感器融合室内人体姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810118798.8A CN108229440A (zh) 2018-02-06 2018-02-06 一种基于多传感器融合室内人体姿态识别方法

Publications (1)

Publication Number Publication Date
CN108229440A true CN108229440A (zh) 2018-06-29

Family

ID=62670684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810118798.8A Pending CN108229440A (zh) 2018-02-06 2018-02-06 一种基于多传感器融合室内人体姿态识别方法

Country Status (1)

Country Link
CN (1) CN108229440A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190683A (zh) * 2018-08-14 2019-01-11 电子科技大学 一种基于注意力机制和双模态图像的分类方法
CN109360374A (zh) * 2018-12-20 2019-02-19 湖南晖龙集团股份有限公司 一种基于物联网的人体摔倒自动预警系统
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统
CN109855616A (zh) * 2019-01-16 2019-06-07 电子科技大学 一种基于虚拟环境和强化学习的多传感器机器人导航方法
CN110584914A (zh) * 2019-10-23 2019-12-20 桂林电子科技大学 一种舒适型plc自动化多功能医用护理床
WO2020117680A1 (en) * 2018-12-03 2020-06-11 DSi Digital, LLC Cross-sensor predictive inference
CN111723649A (zh) * 2020-05-08 2020-09-29 天津大学 一种基于语义分解的短视频事件检测方法
CN111881712A (zh) * 2020-05-12 2020-11-03 无锡北斗星通信息科技有限公司 基于信号处理的医疗器械实时跟踪平台
CN112990149A (zh) * 2021-05-08 2021-06-18 创新奇智(北京)科技有限公司 基于多模态的高空安全带检测方法、装置、设备及存储介质
CN113365382A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN114821814A (zh) * 2022-06-27 2022-07-29 中建安装集团有限公司 一种融合可见光、红外、结构光的步态识别方法
US11967102B2 (en) 2021-07-16 2024-04-23 Shanghai United Imaging Intelligence Co., Ltd. Key points detection using multiple image modalities

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020573A1 (en) * 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same
CN104793620A (zh) * 2015-04-17 2015-07-22 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN105975956A (zh) * 2016-05-30 2016-09-28 重庆大学 一种基于红外全景摄像头的独居老人异常行为识别方法
CN106547880A (zh) * 2016-10-26 2017-03-29 重庆邮电大学 一种融合地理区域知识的多维度地理场景识别方法
CN106780631A (zh) * 2017-01-11 2017-05-31 山东大学 一种基于深度学习的机器人闭环检测方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN107507172A (zh) * 2017-08-08 2017-12-22 国网上海市电力公司 融合红外可见光的特高压线路绝缘子串深度学习识别方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020573A1 (en) * 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same
CN104793620A (zh) * 2015-04-17 2015-07-22 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN105975956A (zh) * 2016-05-30 2016-09-28 重庆大学 一种基于红外全景摄像头的独居老人异常行为识别方法
CN106547880A (zh) * 2016-10-26 2017-03-29 重庆邮电大学 一种融合地理区域知识的多维度地理场景识别方法
CN106780631A (zh) * 2017-01-11 2017-05-31 山东大学 一种基于深度学习的机器人闭环检测方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN107507172A (zh) * 2017-08-08 2017-12-22 国网上海市电力公司 融合红外可见光的特高压线路绝缘子串深度学习识别方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190683A (zh) * 2018-08-14 2019-01-11 电子科技大学 一种基于注意力机制和双模态图像的分类方法
CN109409431B (zh) * 2018-10-29 2020-10-09 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统
CN111557012A (zh) * 2018-12-03 2020-08-18 戴斯数字有限责任公司 跨传感器预测性推断
US11402811B2 (en) 2018-12-03 2022-08-02 DSi Digital, LLC Cross-sensor predictive inference
WO2020117680A1 (en) * 2018-12-03 2020-06-11 DSi Digital, LLC Cross-sensor predictive inference
US11144018B2 (en) 2018-12-03 2021-10-12 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
CN111557012B (zh) * 2018-12-03 2023-09-15 戴斯数字有限责任公司 跨传感器预测性推断
US11520301B2 (en) 2018-12-03 2022-12-06 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
US11366436B2 (en) 2018-12-03 2022-06-21 DSi Digital, LLC Data interaction platforms utilizing security environments
US11663533B2 (en) 2018-12-03 2023-05-30 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
US11275346B2 (en) 2018-12-03 2022-03-15 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
US11126151B2 (en) 2018-12-03 2021-09-21 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
CN109360374A (zh) * 2018-12-20 2019-02-19 湖南晖龙集团股份有限公司 一种基于物联网的人体摔倒自动预警系统
CN109855616B (zh) * 2019-01-16 2021-02-02 电子科技大学 一种基于虚拟环境和强化学习的多传感器机器人导航方法
CN109855616A (zh) * 2019-01-16 2019-06-07 电子科技大学 一种基于虚拟环境和强化学习的多传感器机器人导航方法
CN110584914A (zh) * 2019-10-23 2019-12-20 桂林电子科技大学 一种舒适型plc自动化多功能医用护理床
CN111723649A (zh) * 2020-05-08 2020-09-29 天津大学 一种基于语义分解的短视频事件检测方法
CN111723649B (zh) * 2020-05-08 2022-08-12 天津大学 一种基于语义分解的短视频事件检测方法
CN111881712A (zh) * 2020-05-12 2020-11-03 无锡北斗星通信息科技有限公司 基于信号处理的医疗器械实时跟踪平台
CN112990149A (zh) * 2021-05-08 2021-06-18 创新奇智(北京)科技有限公司 基于多模态的高空安全带检测方法、装置、设备及存储介质
US11967102B2 (en) 2021-07-16 2024-04-23 Shanghai United Imaging Intelligence Co., Ltd. Key points detection using multiple image modalities
CN113365382A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN113365382B (zh) * 2021-08-10 2021-11-09 深圳市信润富联数字科技有限公司 灯光控制方法、装置、电子设备和存储介质
CN114821814A (zh) * 2022-06-27 2022-07-29 中建安装集团有限公司 一种融合可见光、红外、结构光的步态识别方法

Similar Documents

Publication Publication Date Title
CN108229440A (zh) 一种基于多传感器融合室内人体姿态识别方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
US20180186452A1 (en) Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
JP5070213B2 (ja) ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
Budzan et al. Fusion of 3D laser scanner and depth images for obstacle recognition in mobile applications
CN108898063B (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN107103277B (zh) 一种基于深度相机和3d卷积神经网络的步态识别方法
Spiess et al. People detection with depth silhouettes and convolutional neural networks on a mobile robot
CN106780631A (zh) 一种基于深度学习的机器人闭环检测方法
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN111444764A (zh) 一种基于深度残差网络的手势识别方法
JP2019149142A (ja) 対象物標識のためのシステムおよび方法
Hua et al. Small obstacle avoidance based on RGB-D semantic segmentation
CN107351080B (zh) 一种基于相机单元阵列的混合智能研究系统及控制方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
US11562489B2 (en) Pixel-wise hand segmentation of multi-modal hand activity video dataset
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
Leiva et al. Collision avoidance for indoor service robots through multimodal deep reinforcement learning
Aldahoul et al. A comparison between various human detectors and CNN-based feature extractors for human activity recognition via aerial captured video sequences
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
Sergiyenko et al. Machine vision sensors
Foresti et al. A hierarchical classification system for object recognition in underwater environments
Aziz et al. Evaluation of visual attention models for robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629

WD01 Invention patent application deemed withdrawn after publication