CN108040225A - 一种智能监控机器人 - Google Patents

一种智能监控机器人 Download PDF

Info

Publication number
CN108040225A
CN108040225A CN201711304575.2A CN201711304575A CN108040225A CN 108040225 A CN108040225 A CN 108040225A CN 201711304575 A CN201711304575 A CN 201711304575A CN 108040225 A CN108040225 A CN 108040225A
Authority
CN
China
Prior art keywords
image
evaluation
module
vector
surely
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711304575.2A
Other languages
English (en)
Other versions
CN108040225B (zh
Inventor
梁金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hanzheng Information Technology Co., Ltd
Original Assignee
梁金凤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 梁金凤 filed Critical 梁金凤
Priority to CN201711304575.2A priority Critical patent/CN108040225B/zh
Publication of CN108040225A publication Critical patent/CN108040225A/zh
Application granted granted Critical
Publication of CN108040225B publication Critical patent/CN108040225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Abstract

本发明提供了一种智能监控机器人，包括摄像头、图像处理装置、人机交互模块和电源模块，所述摄像头用于获取监控视频图像，并将所述视频监控图像传送给图像处理装置，所述图像处理装置用于对获取的监控视频图像进行稳像处理，并将处理后的监控视频图像传输给人机交互模块，所述人机交互模块用于显示所述处理后的视频监控图像，所述电源模块用于给所述摄像头、图像处理装置和人机交互模块供电。本发明的有益效果为：机器人对监控区域的监控视频进行获取和处理，保证了机器人在运动过程中的监控效果。

Description

一种智能监控机器人
技术领域
本发明涉及机器人技术领域，具体涉及一种智能监控机器人。
背景技术
随着科技的发展和社会的进步，利用机器人获取监控视频的监控机器人也逐渐普及。
监控视频的准确获取决定着监控机器人的性能，在视频获取过程中，由于机器人运动带来的随机振动和颠簸会导致采集到的视频图像存在视觉上的随机抖动，这种随机振动给后续图像利用造成困难。如何解决由于摄像机随机抖动所产生的视频不连续现象，成为监控机器人技术的关键。
发明内容
针对上述问题，本发明旨在提供一种智能监控机器人。
本发明的目的采用以下技术方案来实现：
提供了一种智能监控机器人，包括摄像头、图像处理装置、人机交互模块和电源模块，所述摄像头用于获取监控视频图像，并将所述视频监控图像传送给图像处理装置，所述图像处理装置用于对获取的监控视频图像进行稳像处理，并将处理后的监控视频图像传输给人机交互模块，所述人机交互模块用于显示所述处理后的视频监控图像，所述电源模块用于给所述摄像头、图像处理装置和人机交互模块供电。
本发明的有益效果为：机器人对监控区域的监控视频进行获取和处理，保证了机器人在运动过程中的监控效果。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
摄像头1、图像处理装置2、人机交互模块3、电源模块4。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种智能监控机器人，包括摄像头1、图像处理装置2、人机交互模块3和电源模块4，所述摄像头1用于获取监控视频图像，并将所述视频监控图像传送给图像处理装置2，所述图像处理装置2用于对获取的监控视频图像进行稳像处理，并将处理后的监控视频图像传输给人机交互模块3，所述人机交互模块3用于显示所述处理后的视频监控图像，所述电源模块4用于给所述摄像头1、图像处理装置2和人机交互模块3供电。
本实施例机器人对监控区域的监控视频进行获取和处理，保证了机器人在运动过程中的监控效果。
优选的，所述电源模块4为可充电锂电池。
本优选实施例锂电池供电，机器人的活动范围更大，续航时间更长。
优选的，所述图像处理装置2包括第一图像输入模块、第二图像预处理模块、第三运动估计模块、第四运动校正模块、第五图像输出模块和第六稳像评价模块，所述第一图像输入模块用于输入监控视频图像，所述第二图像预处理模块用于对输入的视频图像进行滤波处理，所述第三运动估计模块用于确定滤波后视频图像的全局运动向量，所述第四运动校正模块用于根据全局运动向量确定视频图像的运动补偿向量，所述第五图像输出模块用于根据运动补偿向量对图像进行稳像处理，由运动补偿向量矫正当前图像的位置，并输出处理后的视频图像，所述第六稳像评价模块用于对输出视频图像的稳像效果进行评价。
本优选实施例实现了监控视频图像的稳像处理和对稳像效果的评价，从而保证了监控机器人监控效果。
优选的，所述第三运动估计模块包括第一图像块选取单元、第二图像块匹配单元、第三局部向量确定单元和第四全局向量确定单元，所述第一图像块选取单元用于在监控视频每帧图像上，选取面积相等的若干个图像子块，所述第二图像块匹配单元用于在已选取的每个图像子块匹配区间内平移图像子块，确定与图像子块匹配的参考图像区域，所述第三局部向量确定单元用于确定各图像子块相对参考图像相应区域的局部运动向量，所述第四全局向量确定单元用于根据各图像子块的局部运动向量确定视频图像的全局运动向量。
所述第三局部向量确定单元用于确定各图像子块相对参考图像相应区域的局部运动向量：采用下式获取图像子块的局部运动向量：
在式子里，(k,l)表示图像子块的局部运动向量，argminEH(k,l)表示EH(k,l)取最小值时(k,l)的值，Kmax和Lmin分别为图像子块在水平方向和垂直方向的搜索范围，其中，
在式子里，EH(k,l)表示图像子块之间的匹配值，k和l分别表示图像子块水平方向的移动量和垂直方向的移动量，最小单位是1个像素，s′表示参考帧的图像子块，s表示当前帧的图像子块，N1和N2分别为图像子块的宽度和高度；
所述第四全局向量确定单元用于根据各图像子块的局部运动向量确定视频图像的全局运动向量，具体为：通过第三局部向量确定单元每个图像子块的局部运动向量，设局部运动向量为Li，其中，1＜i＜m，m为每幅图像的图像子块的数目；确定视频图像全局运动向量Q：
本优选实施例通过第三运动估计模块确定了滤波后视频图像的全局运动向量，具体的，通过图像子块匹配确定局部运动向量，再通过第三局部向量确定单元确定全局运动向量，得到的全局运动向量更为准确，且这样的运动估测的范围得到较大地缩减，从而可以提高算法的运算效率，满足实时性要求。
优选的，所述第四运动校正模块用于根据全局运动向量确定视频图像的运动补偿向量：选取四组不同的图像子块的位置，分别得到四组全局运动向量，则视频图像的运动补偿向量为：在式子里，EM表示视频图像的运动补偿向量，Qj表示根据第j组图像子块获取的全局运动向量。
本优选实施例通过第四运动校正模块获取了视频图像的运动补偿向量，从而为后续第五图像输出模块进行稳像奠定了基础。
优选的，所述第六稳像评价模块包括第一稳像评价子模块、第二稳像评价子模块和综合稳像评价子模块，所述第一稳像评价子模块用于计算稳像效果的第一评价值，所述第二稳像评价子模块用于计算稳像效果的第二评价值，所述综合稳像评价子模块用于根据第一评价值和第二评价值对稳像效果进行评价。
所述第一稳像评价子模块用于计算稳像效果的第一评价值：
在式子里，YW1表示第一评价值，V(j)表示第四运动校正模块得到的第j帧视频图像的运动补偿向量，V′(j)表示第j帧视频图像的真实的运动补偿向量，M表示视频的帧数；
所述第二稳像评价子模块用于计算稳像效果的第二评价值：
在式子里，YW2表示第二评价值，A表示进行稳像的视频的数目，A1表示A中第一评价值大于设定阈值的视频的数目；
所述综合稳像评价子模块用于根据第一评价值和第二评价值对稳像效果进行评价：确定稳像效果的综合评价值：
在式子里，YW表示综合评价值；综合评价值越小，表示稳像效果越好。
本优选实施例通过第六稳像评价模块实现了稳像效果的评价，具体的，第一评价值考虑了稳像效果的总体精度，第二评价值考虑了稳像效果的整体效果，综合稳像评价子模块利用第一评价值和第二评价值对稳像效果进行评价，评价准确，保证了稳像效果，从而保证了监控机器人的监控水平。
采用本发明智能监控机器人进行监控，选取5个监控区域进行实验，分别为监控区域1、监控区域2、监控区域3、监控区域4、监控区域5，对监控效率和监控准确性进行统计，同现有监控机器人相比，产生的有益效果如下表所示：
监控效率提高 监控准确率提高
监控区域1 29％ 27％
监控区域2 27％ 26％
监控区域3 26％ 26％
监控区域4 25％ 24％
监控区域5 24％ 22％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种智能监控机器人，其特征在于，包括摄像头、图像处理装置、人机交互模块和电源模块，所述摄像头用于获取监控视频图像，并将所述视频监控图像传送给图像处理装置，所述图像处理装置用于对获取的监控视频图像进行稳像处理，并将处理后的监控视频图像传输给人机交互模块，所述人机交互模块用于显示所述处理后的视频监控图像，所述电源模块用于给所述摄像头、图像处理装置和人机交互模块供电。
2.根据权利要求1所述的智能监控机器人，其特征在于，所述电源模块为可充电锂电池。
3.根据权利要求2所述的智能监控机器人，其特征在于，所述图像处理装置包括第一图像输入模块、第二图像预处理模块、第三运动估计模块、第四运动校正模块、第五图像输出模块和第六稳像评价模块，所述第一图像输入模块用于输入监控视频图像，所述第二图像预处理模块用于对输入的视频图像进行滤波处理，所述第三运动估计模块用于确定滤波后视频图像的全局运动向量，所述第四运动校正模块用于根据全局运动向量确定视频图像的运动补偿向量，所述第五图像输出模块用于根据运动补偿向量对图像进行稳像处理，由运动补偿向量矫正当前图像的位置，并输出处理后的视频图像，所述第六稳像评价模块用于对输出视频图像的稳像效果进行评价。
4.根据权利要求3所述的智能监控机器人，其特征在于，所述第三运动估计模块包括第一图像块选取单元、第二图像块匹配单元、第三局部向量确定单元和第四全局向量确定单元，所述第一图像块选取单元用于在监控视频每帧图像上，选取面积相等的若干个图像子块，所述第二图像块匹配单元用于在已选取的每个图像子块匹配区间内平移图像子块，确定与图像子块匹配的参考图像区域，所述第三局部向量确定单元用于确定各图像子块相对参考图像相应区域的局部运动向量，所述第四全局向量确定单元用于根据各图像子块的局部运动向量确定视频图像的全局运动向量。
5.根据权利要求4所述的智能监控机器人，其特征在于，所述第三局部向量确定单元用于确定各图像子块相对参考图像相应区域的局部运动向量：采用下式获取图像子块的局部运动向量：
在式子里，(k,l)表示图像子块的局部运动向量，argminEH(k,l)表示EH(k,l)取最小值时(k,l)的值，Kmax和Lmin分别为图像子块在水平方向和垂直方向的搜索范围，其中，
在式子里，EH(k,l)表示图像子块之间的匹配值，k和l分别表示图像子块水平方向的移动量和垂直方向的移动量，最小单位是1个像素，s′表示参考帧的图像子块，s表示当前帧的图像子块，N1和N2分别为图像子块的宽度和高度；
所述第四全局向量确定单元用于根据各图像子块的局部运动向量确定视频图像的全局运动向量，具体为：通过第三局部向量确定单元每个图像子块的局部运动向量，设局部运动向量为Li，其中，1＜i＜m，m为每幅图像的图像子块的数目；确定视频图像全局运动向量Q：
6.根据权利要求5所述的智能监控机器人，其特征在于，所述第四运动校正模块用于根据全局运动向量确定视频图像的运动补偿向量：选取四组不同的图像子块的位置，分别得到四组全局运动向量，则视频图像的运动补偿向量为：在式子里，EM表示视频图像的运动补偿向量，Qj表示根据第j组图像子块获取的全局运动向量。
7.根据权利要求6所述的智能监控机器人，其特征在于，所述第六稳像评价模块包括第一稳像评价子模块、第二稳像评价子模块和综合稳像评价子模块，所述第一稳像评价子模块用于计算稳像效果的第一评价值，所述第二稳像评价子模块用于计算稳像效果的第二评价值，所述综合稳像评价子模块用于根据第一评价值和第二评价值对稳像效果进行评价。
所述第一稳像评价子模块用于计算稳像效果的第一评价值：
在式子里，YW1表示第一评价值，V(j)表示第四运动校正模块得到的第j帧视频图像的运动补偿向量，V′(j)表示第j帧视频图像的真实的运动补偿向量，M表示视频的帧数；
所述第二稳像评价子模块用于计算稳像效果的第二评价值：
在式子里，YW2表示第二评价值，A表示进行稳像的视频的数目，A1表示A中第一评价值大于设定阈值的视频的数目；
所述综合稳像评价子模块用于根据第一评价值和第二评价值对稳像效果进行评价：确定稳像效果的综合评价值：
在式子里，YW表示综合评价值；综合评价值越小，表示稳像效果越好。
CN201711304575.2A 2017-12-11 2017-12-11 一种智能监控机器人 Active CN108040225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711304575.2A CN108040225B (zh) 2017-12-11 2017-12-11 一种智能监控机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711304575.2A CN108040225B (zh) 2017-12-11 2017-12-11 一种智能监控机器人

Publications (2)

Publication Number Publication Date
CN108040225A true CN108040225A (zh) 2018-05-15
CN108040225B CN108040225B (zh) 2020-02-07

Family

ID=62101949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711304575.2A Active CN108040225B (zh) 2017-12-11 2017-12-11 一种智能监控机器人

Country Status (1)

Country Link
CN (1) CN108040225B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066268A2 (en) * 2005-12-05 2007-06-14 Koninklijke Philips Electronics N.V. Method and device for the selection of a stabilization method
US20110013002A1 (en) * 2007-07-06 2011-01-20 Oliver Bendix Thompson Laser Speckle Imaging Systems and Methods
CN102780846A (zh) * 2012-07-11 2012-11-14 清华大学 一种基于惯导信息的电子稳像方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法
CN106878670A (zh) * 2016-12-24 2017-06-20 深圳云天励飞技术有限公司 一种视频处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066268A2 (en) * 2005-12-05 2007-06-14 Koninklijke Philips Electronics N.V. Method and device for the selection of a stabilization method
US20110013002A1 (en) * 2007-07-06 2011-01-20 Oliver Bendix Thompson Laser Speckle Imaging Systems and Methods
CN102780846A (zh) * 2012-07-11 2012-11-14 清华大学 一种基于惯导信息的电子稳像方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法
CN106878670A (zh) * 2016-12-24 2017-06-20 深圳云天励飞技术有限公司 一种视频处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG ZHANG等: "A Novel Video Stabilization Method with Global Motion Vector Prediction and Border Region Recovery", 《PROCEEDINGS OF THE 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS，DECEMBER 5-10, 2014, BALI,INDONESIA》 *
陈炳权: "车载视频图像处理算法的优化与融合研究", 《中国博士学位论文全文数据库（电子期刊） 工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN108040225B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN103838772B (zh) 一种多源交通数据融合方法
CN109784333A (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN103414853B (zh) 支持多自由度运动的视频图像序列实时稳定装置与方法
CN103546726B (zh) 违章用地的自动发现方法
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
CN105528785A (zh) 一种双目视觉图像立体匹配方法
CN107844785A (zh) 一种基于尺度估计的人脸检测方法
CN102042807B (zh) 一种目标空间坐标的柔性立体视觉测量装置
CN109583505A (zh) 一种多传感器的物体关联方法、装置、设备及介质
CN105181109B (zh) 一种导线脱冰跳跃轨迹双目测量方法
CN104393590B (zh) 电网暂态失稳模式智能辨识方法
CN107818563A (zh) 一种输电线路分裂导线间距空间测量与定位方法
CN103345765B (zh) 基于dsp+fpga的移动平台下运动目标检测装置及其方法
CN103096117B (zh) 视频噪声检测方法及装置
CN107315994A (zh) 基于Spectral Clustering空间轨迹的聚类算法
CN205247208U (zh) 机器人系统
CN104980726B (zh) 一种联合运动向量的双目视频立体匹配方法
Hu et al. Spatial-temporal fusion convolutional neural network for simulated driving behavior recognition
CN108040225A (zh) 一种智能监控机器人
CN106482648B (zh) 基于不动点的远距离面内小位移绝对监测装置及方法
CN107748621A (zh) 一种智能交互机器人
CN108032737B (zh) 一种巡逻效果好的电动巡逻车
Yao et al. Research of camera calibration based on genetic algorithm BP neural network
CN107945211A (zh) 一种高性能的驾驶辅助系统
CN201945293U (zh) 一种目标空间坐标的柔性立体视觉测量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200102

Address after: 200120 Room 408, No. 2, Lane 666, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai Hanzheng Information Technology Co., Ltd

Address before: No. 32 A15, South City, Bobai County, Yulin, the Guangxi Zhuang Autonomous Region

Applicant before: Liang Jinfeng

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant