CN106557757A - 一种智能机器人系统 - Google Patents

一种智能机器人系统 Download PDF

Info

Publication number
CN106557757A
CN106557757A CN201611051673.5A CN201611051673A CN106557757A CN 106557757 A CN106557757 A CN 106557757A CN 201611051673 A CN201611051673 A CN 201611051673A CN 106557757 A CN106557757 A CN 106557757A
Authority
CN
China
Prior art keywords
module
service provider
personnel
intelligent robot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611051673.5A
Other languages
English (en)
Inventor
邱炎新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ming Automatic Control Technology Co Ltd
Original Assignee
Shenzhen Ming Automatic Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ming Automatic Control Technology Co Ltd filed Critical Shenzhen Ming Automatic Control Technology Co Ltd
Priority to CN201611051673.5A priority Critical patent/CN106557757A/zh
Publication of CN106557757A publication Critical patent/CN106557757A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种智能机器人系统，能够对人员进行跟踪，包括服务主体终端单元和智能机器人；所述智能机器人包括控制系统和跟踪系统，所述跟踪系统包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述服务主体终端单元用于生成服务主体指令，并通过网络将所述服务主体指令传输至所述控制系统，所述控制系统根据输入指令开启采集模块。本发明提供了一种能够对人员进行跟踪的智能机器人系统，并且实现了机器人的远程操控。

Description

一种智能机器人系统
技术领域
本发明涉及机器人领域，具体涉及一种智能机器人系统。
背景技术
当今社会呈现人口老龄化、人员流动性大等趋势，带来一系列社会问题。比如，空巢老人问题，很多老人远离子女，生活孤单，生病时难以料理；留守儿童问题，很多农民工到城里打工，儿童常年在家，生活问题、安全问题、教育问题十分突出；小留学生问题，越来越多的中学生甚至小学生到国外学习，语言障碍、沟通障碍，心理障碍问题普遍存在。老人、儿童等都是需要被照顾的服务客体，因为远离管理者如成人、父母等服务主体，使得服务客体无人看管。
发明内容
针对上述问题，本发明旨在提供一种智能机器人系统。
本发明的目的采用以下技术方案来实现：
提供了一种智能机器人系统，能够对人员进行跟踪，包括服务主体终端单元和智能机器人；所述智能机器人包括控制系统和跟踪系统，所述跟踪系统包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述服务主体终端单元用于生成服务主体指令，并通过网络将所述服务主体指令传输至所述控制系统，所述控制系统根据输入指令开启采集模块；所述采集模块包含有两个不同的摄像头，用于视频图像采集，所述预处理模块用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块用于对系统性能进行评估。
本发明的有益效果为：实现了机器人远程控制。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构连接示意图；
图2是本发明智能机器人示意图；
图3是本发明跟踪系统示意图。
附图标记：
服务主体终端单元1、智能机器人2、控制系统21、跟踪系统22、采集模块221、预处理模块222、特征提取模块223、训练模块224、再识别模块225、评价模块226。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1、图2、图3，本实施例的一种智能机器人系统，能够对人员进行跟踪，包括服务主体终端单元1和智能机器人2；所述智能机器人包括控制系统21和跟踪系统22，所述跟踪系统22包括采集模块221、预处理模块222、特征提取模块223、训练模块224、再识别模块225、评价模块226；所述服务主体终端单元1用于生成服务主体指令，并通过网络将所述服务主体指令传输至所述控制系统21，所述控制系统21根据输入指令开启采集模块221；所述采集模块包含有两个不同的摄像头，用于视频图像采集，所述预处理模块222用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块223，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块224用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块225，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块226用于对系统性能进行评估。
优选地，所述服务主体终端单元1包括：
服务主体指令单元，用于生成所述服务主体指令；
第一发送单元，用于通过所述网络将所述服务主体指令传输至所述智能机器人。
本有选实施例完善了服务主体指令单元。
优选地，所述控制系统21包括：
第一接收单元，用于通过所述网络接收所述服务主体指令；
执行单元，用于根据主体指令执行所述相应的操作。
本有选实施例完善了控制系统。
优选地，所述预处理模块222包括图像融合单元，所述图像融合单元用于对不同来源的行人图像进行融合处理，以便更好地获取人员的全面特征，包括：
(1)对需要融合的两幅源图像分别用双正交小波变换进行小波分解，确定分解后图像的小波系数；
(2)对低频系数按设定的比例选取分解后图像的小波系数，构成融合图像的小波低频系数矩阵；
(3)对高频系数采用纹理一致性测度分析特定区域不同高低频系数的边缘特性，计算图像区域的纹理一致性测度，并按照预定的规则确定融合图像的高频小波系数矩阵，所述图像区域的纹理一致性测度的计算公式定义为：
式中，CD(x)表示图像区域x的纹理一致性测度，CDl表示图像区域x的各高频分量图像在水平方向上的纹理一致性测度，CDc表示图像区域x的各高频分量图像在垂直方向上的纹理一致性测度，CDd表示图像区域x的各高频分量图像在对角线方向上的纹理一致性测度；
(4)将所述融合图像的小波低频系数矩阵、所述融合图像的高频小波系数矩阵进行离散双正交小波逆变换，最终获得融合图像。
本优选实施例设置图像融合单元，按照纹理一致性测度可较好地分辨出图像的伪边缘，在保证整体视觉效果的同时使细节信息更加丰富和真实；定义了图像区域的纹理一致性测度的计算公式，加快了图像融合的速度。
优选地，所述预定的规则包括：若图像区域中有86％以上像素值具有较大的纹理一致性测度，定义该图像区域为边缘区，选取相应的边缘纹理一致性测度最大的高频图像小波系数构成所述融合图像的高频小波系数矩阵；若图像区域中有86％以上像素值具有较小的纹理一致性测度，定义该图像区域为平滑区，分别计算两幅源图像在该图像区域的能量及匹配度，根据能量及匹配度确定两幅源图像的小波系数在融合图像小波系数中所占的比重，根据下式确定所述融合图像的高频小波系数矩阵：
gr＝λAgA+(1-λA)gB
式中，gr表示融合图像的高频小波系数矩阵，gA、λA分别表示一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重，gB、1-λA分别表示另一副源图像的小波系数、该小波系数在融合图像小波系数中所占的比重。
本优选实施例按照预定的规则确定融合图像的高频小波系数矩阵，提高了融合的效果以及融合的速度。
优选地，所述在包含人员的矩形区域中进行外观特征提取，包括：进行图像的光照归一化处理，具体为：首先设图像为I，利用LOG对数将图像I转换到对数域，利用差分高斯滤波器对图像I进行平滑处理，然后对图像I进行全局对比度均衡化处理；进行图像尺寸归一化处理；进行图像分块，针对每个图像块，进行特征向量提取；将所有图像块的特征向量进行串联，然后对串联后的图像进行PCA特征降维。
本优选实施例设置特征提取模块223，在提取特征前先对图像进行光照归一化处理，减少了因光照变化而产生的图像扭曲，使特征的提取更为精确。
优选地，所述训练模块224包括样本分类单元和跨模态投影模型学习单元；所述样本分类单元具体执行：
设两个摄像机C1和C2对应的特征空间分别为和d1和d2分别表示两个摄像机特征空间的维度，假定训练数据集合为K对跨摄像机图像特征sk＝s(xk,yk)∈{-1,+1}表示样本对的类别标签，-1表示异类，+1表示同类，根据类别标签将训练集合分为负样本集合和正样本集合|M1|+|M2|＝K；
所述跨模态投影模型学习单元具体执行：
设跨模态投影模型集合H＝[h1h2,…,hL]，L个子模型用于处理L种数据差异，每一个子模型由一对投影函数构成，hl＝[pXl(x),pYl(y)]，略去脚标l，投影函数pX(x)和pY(y)将x∈X和y∈Y投影到共同的特征空间：
式中，表示投影向量，a、b∈R为线性偏差，pX(x)和pY(y)将原始特征投影到{-1,+1}空间中；
同时存在投影函数qX(x)和qY(y)将x∈X和y∈Y投影到另一共同的特征空间：
建立数据类别和共同特征空间之间的关系，定义目标函数：
式中，E表示期望，表示同类样本对和异类样本对的重要性权衡指数；
式中，wk表示样本对{xk,yk}在本次子模型学习中的样本权重，sk＝s(xk,yk)∈{-1,+1}表示样本对的类别标签，
通过最小化目标函数来学习参数{u,v,a,b}，得到相应的投影函数。
本优选实施例采用多个跨模态投影模型，可充分应对各种不同的数据分布差异。
优选地，所述识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份，包括：
假设被查询人员集合为{fi,identity(fi)}，i＝1,2,…,N，fi表示第i个被查询人员，identity(fi)表示第个被查询人员的身份，对于查询人员集合{gj,identity(gj)}，j＝1,2,…,M：
identity(gj)＝identity(f)
gj和fi的相似度W(gj,fi)表示为：W(gj,fi)＝sign(uTgj+a)·sign(vTfi+b)+||(uTgj+a)-(vTfi+b)||，设定阔值T，T∈[1，2]，若W(gj,fi)<T，则被查询人员中不存在与查询人员一致的图像；若W(gj,fi)≥T，将被查询人员按照相似度从大到小排序，排在最前面的与查询人员具有相同的身份。
本优选实施例提高了人员的识别精度和效率。
优选地，所述对跟踪系统性能进行评估，定义评价函数：
式中，N表示查询次数，Rn表示前n位中可以找到正确结果的次数，评价函数值越大，则系统的再识别性能越好，跟踪性能越强。
本优选实施例设置评价模块226，有利于对机器人系统进行改进。
本发明的一组机器人跟踪结果如下表所示：
N 人员识别平均用时 人员识别准确率
4 0.12s 97％
8 0.14s 97.2％
12 0.1s 96.8％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种智能机器人系统，其特征是，能够对人员进行跟踪，包括服务主体终端单元和智能机器人；所述智能机器人包括控制系统和跟踪系统，所述跟踪系统包括采集模块、预处理模块、特征提取模块、训练模块、再识别模块和评价模块；所述服务主体终端单元用于生成服务主体指令，并通过网络将所述服务主体指令传输至所述控制系统，所述控制系统根据输入指令开启采集模块；所述采集模块包含有两个不同的摄像头，用于视频图像采集，所述预处理模块用于确定行人图像中的人员位置，获取包含人员的矩形区域；所述特征提取模块，用于在包含人员的矩形区域中进行外观特征提取；所述训练模块用于训练多个跨模态投影模型，每一个跨模态投影模型中包含两个投影函数，它们分别将不同摄像机中的图像持征映射到共同的特征空间中并完成相似度计算；所述再识别模块，用于识别数据库中是否含有与查询人员一致的行人图像并确认查询人员身份；所述评价模块用于对系统性能进行评估。
2.根据权利要求1所述的一种智能机器人系统，其特征是，所述服务主体终端单元包括：
服务主体指令单元，用于生成所述服务主体指令；
第一发送单元，用于通过所述网络将所述服务主体指令传输至所述智能机器人。
3.根据权利要求2所述的一种智能机器人系统，其特征是，所述控制系统包括：
第一接收单元，用于通过所述网络接收所述服务主体指令；
执行单元，用于根据主体指令执行所述相应的操作。
CN201611051673.5A 2016-11-24 2016-11-24 一种智能机器人系统 Pending CN106557757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611051673.5A CN106557757A (zh) 2016-11-24 2016-11-24 一种智能机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611051673.5A CN106557757A (zh) 2016-11-24 2016-11-24 一种智能机器人系统

Publications (1)

Publication Number Publication Date
CN106557757A true CN106557757A (zh) 2017-04-05

Family

ID=58444945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611051673.5A Pending CN106557757A (zh) 2016-11-24 2016-11-24 一种智能机器人系统

Country Status (1)

Country Link
CN (1) CN106557757A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103293968A (zh) * 2012-02-29 2013-09-11 陈瑞 一种智能机器人系统
CN103942563A (zh) * 2014-03-31 2014-07-23 北京邮电大学 一种多模态行人再辨识技术
JP2015076687A (ja) * 2013-10-08 2015-04-20 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
CN105069437A (zh) * 2015-08-14 2015-11-18 惠州Tcl移动通信有限公司 一种能够自动识别位置的智能系统及其实现方法
CN105798913A (zh) * 2016-05-31 2016-07-27 安徽声讯信息技术有限公司 一种能够自动识别位置的智能机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103293968A (zh) * 2012-02-29 2013-09-11 陈瑞 一种智能机器人系统
JP2015076687A (ja) * 2013-10-08 2015-04-20 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
CN103942563A (zh) * 2014-03-31 2014-07-23 北京邮电大学 一种多模态行人再辨识技术
CN105069437A (zh) * 2015-08-14 2015-11-18 惠州Tcl移动通信有限公司 一种能够自动识别位置的智能系统及其实现方法
CN105798913A (zh) * 2016-05-31 2016-07-27 安徽声讯信息技术有限公司 一种能够自动识别位置的智能机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘凯: ""无交叠多摄像机网络中的人员再辨识"", 《中国博士学位论文全文数据库 信息科技辑》 *
张德祥 等: ""基于小波变换纹理一致性测度的遥感图像融合算法"", 《仪器仪表学报》 *

Similar Documents

Publication Publication Date Title
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN107766787B (zh) 人脸属性识别方法、装置、终端及存储介质
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
Wang et al. Large-scale isolated gesture recognition using convolutional neural networks
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN105701467A (zh) 一种基于人体形态特征的多人异常行为识别方法
CN106355171A (zh) 一种视频监控联网系统
US20230041943A1 (en) Method for automatically producing map data, and related apparatus
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN104008395A (zh) 一种基于人脸检索的不良视频智能检测方法
CN109635647B (zh) 一种基于约束条件下的多图片多人脸的聚类方法
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN111666976B (zh) 基于属性信息的特征融合方法、装置和存储介质
CN111753923A (zh) 基于人脸的智能相册聚类方法、系统、设备及存储介质
CN106056039A (zh) 一种针对视线估计的鲁棒混合回归方法
CN106557756A (zh) 一种人员再识别系统
CN107609586A (zh) 一种基于自我监督的视觉表征学习方法
Zhu et al. Classroom roll-call system based on ResNet networks
CN106776838A (zh) 一种基于云计算的海量视频分析与快速检索系统
CN106557757A (zh) 一种智能机器人系统
CN116383419A (zh) 一种本地相册儿童照片智能筛选和时间线整理方法及系统
CN107386909A (zh) 一种具有预警功能的防盗门

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405

RJ01 Rejection of invention patent application after publication