CN112087598B - 智能云台巡检方法、装置及云台摄像巡检系统 - Google Patents

智能云台巡检方法、装置及云台摄像巡检系统 Download PDF

Info

Publication number
CN112087598B
CN112087598B CN202010768315.6A CN202010768315A CN112087598B CN 112087598 B CN112087598 B CN 112087598B CN 202010768315 A CN202010768315 A CN 202010768315A CN 112087598 B CN112087598 B CN 112087598B
Authority
CN
China
Prior art keywords
vertical
horizontal
control information
distance
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010768315.6A
Other languages
English (en)
Other versions
CN112087598A (zh
Inventor
赵存会
汤旭东
朱晓宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingying Digital Technology Co Ltd
Original Assignee
Jingying Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingying Digital Technology Co Ltd filed Critical Jingying Digital Technology Co Ltd
Priority to CN202010768315.6A priority Critical patent/CN112087598B/zh
Publication of CN112087598A publication Critical patent/CN112087598A/zh
Application granted granted Critical
Publication of CN112087598B publication Critical patent/CN112087598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种智能云台巡检方法、装置及云台摄像巡检系统，该方法包括：接收云台摄像装置采集的巡检图像；确定巡检图像中待巡检对象的第一位置；根据第一位置与巡检图像的中心位置生成控制信息；该控制信息包括旋转速度及旋转方向；将控制信息发送至云台摄像装置，以使云台摄像装置跟踪待巡检对象。本发明可以控制云台摄像装置跟踪拍摄待巡检对象，持续监控其行为，避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。

Description

智能云台巡检方法、装置及云台摄像巡检系统
技术领域
本发明涉及巡检技术领域，具体而言，涉及一种智能云台巡检方法、装置及云台摄像巡检系统。
背景技术
安全生产是企业发展的重要保障，是每个企业在生产经营中应该贯彻的理念，安全生产可以促进企业环境和社会环境稳定，为企业营造良好发展环境。在煤矿开采运输等高危行业中，工人、机器和车辆等经常会出现违规和异常情况，需要定期安全巡检以保障生产安全。
现有巡检工作一般由巡检员执行，常出现巡检不到位、不及时问题，整体巡检效率较低。部分企业在重点巡检位置设置有监控摄像头，可以进行远程监控，但监控区域有限，若车辆及人员等移动目标脱离监控区域则无法对其进行监控，巡检效果不理想，存在安全隐患，易导致安全事故。
发明内容
本发明解决的是现有巡检方式的巡检效果差，易产生安全隐患导致安全事故的问题。
为解决上述问题，本发明提供一种智能云台巡检方法，应用于服务器，所述方法包括：接收云台摄像装置采集的巡检图像；确定所述巡检图像中待巡检对象的第一位置；根据所述第一位置与所述巡检图像的中心位置生成控制信息；所述控制信息包括旋转速度及旋转方向；将所述控制信息发送至所述云台摄像装置，以使所述云台摄像装置跟踪所述待巡检对象。
可选地，所述根据所述第一位置与所述巡检图像的中心位置生成控制信息，包括：判断所述第一位置与所述巡检图像的中心位置的垂直距离、水平距离是否大于预设容忍距离；若所述垂直距离和/或所述水平距离大于所述预设容忍距离，则根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息。
可选地，所述根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息，包括：将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，和/或，将所述水平距离输入所述速度计算公式计算得到水平旋转速度；所述垂直旋转速度与所述垂直距离正相关，所述水平旋转速度与所述水平距离正相关；根据所述第一位置的偏移方向，确定垂直旋转方向和/或水平旋转方向。
可选地，所述速度计算公式包括衰减系数；所述衰减系数与所述待巡检对象在所述巡检图像中的面积占比负相关；所述垂直旋转速度及所述水平旋转速度均与所述衰减系数正相关；所述将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，包括：将所述垂直距离及所述衰减系数输入预设的速度计算公式计算得到垂直旋转速度；所述将所述水平距离输入所述速度计算公式计算得到水平旋转速度，包括：将所述水平距离及所述衰减系数输入所述速度计算公式计算得到水平旋转速度。
可选地，所述方法还包括：根据所述待巡检对象在所述巡检图像中的面积占比，确定所述衰减系数。
可选地，所述方法还包括：若所述垂直旋转速度大于所述云台摄像装置的垂直速度最大值，则将所述垂直速度最大值作为所述垂直旋转速度；若所述水平旋转速度大于所述云台摄像装置的水平速度最大值，则将所述水平速度最大值作为所述水平旋转速度。
可选地，所述速度计算公式如下：
；
；
其中， V 水平 为水平旋转速度， V 垂直 为垂直旋转速度， V m 为所述云台摄像装置的旋转速度最大值， L为旋转常数， D为衰减系数， x为所述第一位置的横坐标， y为所述第一位置的纵坐标， a为所述中心位置的横坐标， b为所述中心位置的纵坐标。
可选地，所述控制信息还包括优先控制信息；所述方法还包括：若所述垂直距离大于所述水平距离，则确定所述优先控制信息为优先按照所述垂直控制信息控制再按照所述水平控制信息控制；若所述水平距离大于所述垂直距离，则确定所述优先控制信息为优先按照所述水平控制信息控制再按照所述垂直控制信息控制。
本发明提供一种智能云台巡检装置，其特征在于，应用于服务器，所述装置包括：第一接收模块，用于接收云台摄像装置采集的巡检图像；确定模块，用于确定所述巡检图像中待巡检对象的第一位置；生成模块，用于根据所述第一位置与所述巡检图像的中心位置生成控制信息；所述控制信息包括旋转速度及旋转方向；第一发送模块，用于将所述控制信息发送至所述云台摄像装置，以使所述云台摄像装置跟踪所述待巡检对象。
本发明提供一种云台摄像巡检系统，其特征在于，包括服务器及云台摄像装置；所述服务器包括上述智能云台巡检装置。
本发明提供的智能云台巡检方法、装置及云台摄像巡检系统，可以控制云台摄像装置跟踪拍摄待巡检对象，持续监控其行为，避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例的云台摄像巡检系统的结构示意图；
图2为本发明的一个实施例中一种智能云台巡检方法的示意性流程图；
图3为本发明实施例的云台控制的容忍度区域示意图；
图4为本发明实施例的衰减系数随目标占比的变化曲线；
图5为本发明实施例的目标在中心位置左侧的示意图；
图6为本发明实施例的目标在中心位置右侧的示意图；
图7为本发明实施例的目标在中心位置上方的示意图；
图8为本发明实施例的目标在中心位置下方的示意图；
图9为本发明实施例的云台旋转速度变化曲线；
图10为本发明实施例的目标在垂直及水平方向均偏离的示意图；
图11为本发明的一个实施例中另一种智能云台巡检方法的示意性流程图；
图12为本发明的一个实施例中一种智能云台巡检装置的结构示意图；
图13为本发明的一个实施例中另一种智能云台巡检装置的结构示意图。
附图标记说明：
110-服务器；120-云台摄像装置；1201-第一接收模块；1202-确定模块；1203-生成模块；1204-第一发送模块；1301-第二发送模块；1302-第二接收模块；1303-旋转控制模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是根据本发明实施例所涉及的云台摄像巡检系统的结构示意图，该云台摄像巡检系统包括：服务器110及云台摄像装置120。
云台摄像装置120与服务器110通信连接，云台摄像装置120实时回传实时图像到服务器，该服务器设置有图形处理器（Graphics Processing Unit，GPU），服务器负责运算，通过目标检测程序确定待巡检对象的位置，再根据该位置生成并发送云台控制信号，从而达到控制云台摄像装置120跟踪待巡检对象的效果。
当云台摄像装置120采集实时视频数据，并通过网线回传至服务器110后，服务器110对视频数据解码，解码后的图像信息存储在内存中，服务器110提取内存中图像信息并将图像分辨率统一为608*608*3，并将修改后的图片送入目标检测程序的经训练的目标检测模型（例如神经网络模型等）中，目标检测模型计算后会生成目标分类信息和目标位置信息，再通过云台控制算法生成控制信号，然后发送到云台摄像装置120。
当待巡检对象不在云台摄像装置120的采集图像的中心位置时，由云台控制算法生成的控制信号可以控制云台旋转，使云台摄像装置120对准该待巡检对象，即使待巡检对象在不断移动，也可以对其进行实时跟踪，避免待巡检对象移动至监控区域外导致无法监控的情况，从而提高了巡检的效果，从而减少安全隐患及安全事故。
图2是本发明的一个实施例中一种智能云台巡检方法的示意性流程图，该方法可以应用于上述服务器，包括：
S202，接收云台摄像装置采集的巡检图像。
在进行智能云台巡检之前，先确认云台摄像装置正常运行。具体地，可以确认云台摄像装置可以正常返回巡检图像，并可以正常接收服务器发送的旋转控制信号。云台摄像装置可以实时将巡检图像发送至服务器。
S204，确定上述巡检图像中待巡检对象的第一位置。
将上述巡检图像输入GPU的目标检测模块中，由目标检测模块中的目标检测模型对人、机器、车辆等各类待巡检对象进行检测识别，得到待巡检对象的第一位置。该第一位置可以是待巡检对象所占矩形区域的中心点位置。
需要说明的是，在执行检测识别前，已预先对目标检测模型进行训练，包括收集待巡检的生产环境的视频，对需要跟踪识别的对象的位置信息和分类信息进行标注和训练，待目标检测模型收敛后提取最优化模型进行部署。部署后的目标检测模型可以识别人、机器、车辆等关注对象的类别信息、位置信息、面积信息等。
当巡检图像中存在多个待巡检对象时，自动确定其中一个待巡检对象作为跟踪对象，并基于该跟踪对象的第一位置控制云台摄像装置。可选地，可以根据多个待巡检对象的类别信息确定跟踪对象，例如优先跟踪类别信息为机器或车辆的待巡检对象；还可以根据多个待巡检对象的面积大小确定跟踪对象，例如优先跟踪占用面积较大的待巡检对象。
S206，根据上述第一位置与巡检图像的中心位置生成控制信息。
其中，上述控制信息可以包括旋转速度及旋转方向。
为了避免待巡检对象移动至监控区域外导致无法监控的情况，可以基于待巡检对象的第一位置相对于巡检图像的中心位置的偏离程度，生成控制信息，以控制云台跟踪该待巡检目标。需要说明的是，服务器可以对每帧巡检图像均执行控制信息的生成过程，并基于该控制信息控制云台摄像装置，也可以基于预设的时间间隔提取对应的巡检图像并执行上述过程，从而降低对云台的控制频率，最终使待巡检目标处于接近中心位置的区域内。
考虑到提高云台控制的稳定性，在待巡检对象对应的第一位置相对于巡检图像中心位置的偏离程度不大时，可以不控制云台转动。具体地，可以为待巡检对象的第一位置与上述中心位置的偏离设定一个容忍度，当待巡检对象中心位于当前巡检图像的某区域内时云台保持当前位置不变。
参见图3所示的云台控制的容忍度区域示意图，图3中的实线框为巡检图像的整体区域，虚线矩形框为容忍度区域，虚线矩形框内实心点为容忍度区域的中心位置。当待巡检对象中心在矩形框外时，可以分为以下几种情况：
（1）当中心点在容忍度外左侧时，向云台摄像装置发送向左旋转的云台控制信号；
（2）当中心点在容忍度外右侧时，向云台摄像装置发送向右旋转的云台控制信号；
（3）当中心点在容忍度外上方时，向云台摄像装置发送向上旋转的云台控制信号；
（4）当中心点在容忍度外下方时，向云台摄像装置发送向下旋转的云台控制信号。
可选地，云台旋转速度S为旋转系数L乘以偏离程度E，即S=L*E，其中，旋转系数L为常数，基于实际应用的云台旋转速度、巡检图像的大小及待巡检目标的种类等场景灵活确定；待巡检对象的偏离程度E基于待巡检对象中心点与容忍度区域中心点的相对距离确定，偏离程度E越大则对应的云台旋转速度越大，从而尽快控制云台摄像装置指向该待巡检对象，使该待巡检对象处于巡检图像的中心位置，提高云台摄像装置跟踪待巡检对象的效率。
S208，将控制信息发送至云台摄像装置，以使云台摄像装置跟踪上述待巡检对象。
云台摄像装置可以根据控制信息包括的旋转速度及旋转方向，控制云台旋转，以控制云台摄像装置跟踪待巡检对象，灵活监控待巡检对象行为。
在云台摄像装置跟踪待巡检对象的情况下，可以将其采集的巡检图像发送至智能巡检监控系统和/或人工巡检交互界面，以执行远程巡检。其中，智能巡检监控系统可以自动对巡检图像进行识别及判断，人工巡检交互界面提供给巡检工作人员进行人工识别及判断，从而在早期发现异常行为，阻止安全事故发生。
本实施例提供的智能云台巡检方法，可以基于云台摄像装置采集的巡检图像确定待巡检对象的第一位置，并根据第一位置与巡检图像的中心位置的偏离程度生成控制信息，然后将其发送至该云台摄像装置，以控制其跟踪上述待巡检对象。在云台摄像装置拍摄待巡检对象时，可以基于待巡检对象的第一位置与中心位置的偏离程度生成的控制信息，从而控制云台摄像装置跟踪拍摄待巡检对象，持续监控其行为，可以避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。
为了兼顾云台控制的稳定性及云台摄像装置跟踪目标的及时性，在确定上述控制信息时，可以为偏离程度设置容忍度，以及基于偏离程度确定旋转速度。上述S206，可以按照以下步骤执行：
A1，判断第一位置与巡检图像的中心位置的垂直距离、水平距离是否大于预设容忍距离。将待巡检对象的第一位置与巡检图像的中心位置的偏移，分解为垂直方向上的垂直距离以及水平方向上的水平距离，分别判断该垂直距离与水平距离是否大于预设容忍距离，若其中一个大于该预设容忍距离，则需要控制云台摄像装置旋转，以使待巡检对象进入容忍度范围。可以理解的是，垂直方向对应的预设容忍距离与水平方向对应的预设容忍距离，可以相同或者不同。
A2，若垂直距离和/或水平距离大于预设容忍距离，则根据垂直距离、水平距离、预设的速度计算公式、第一位置的偏移方向，确定垂直控制信息和/或水平控制信息。
在上述需要控制云台摄像装置旋转的情况下，需要确定云台摄像装置在垂直方向、水平方向的控制信息，可以按照以下步骤执行：
a21，将垂直距离输入预设的速度计算公式计算得到垂直旋转速度，和/或，将水平距离输入速度计算公式计算得到水平旋转速度。
考虑到提高云台摄像装置的跟踪效率，在设计速度计算公式时，将垂直旋转速度设计为与垂直距离正相关，将水平旋转速度设计为与水平距离正相关。例如，垂直距离越大则垂直旋转速度越大，垂直距离越小则垂直旋转速度越小。因此，当待巡检对象偏移程度越大，则云台摄像装置的旋转速度越大，而待巡检对象越接近中心位置，则云台摄像装置的旋转速度越小，从而使待巡检对象接近中心位置时的巡检图像稳定，提高基于巡检图像识别及判断过程的准确性。
需要说明的是，上述速度计算方式计算得到的旋转速度不能大于云台摄像装置固有的旋转速度，因此若垂直旋转速度大于云台摄像装置的垂直速度最大值，则将垂直速度最大值作为垂直旋转速度，若水平旋转速度大于云台摄像装置的水平速度最大值，则将水平速度最大值作为水平旋转速度。具体地，在通过速度计算公式计算得到上述旋转速度后，需要与云台摄像装置的速度最大值比较，取两者中的较小值作为最终的旋转速度。示例性地，上述速度计算公式如下：
；
；
其中， V 水平 为水平旋转速度， V 垂直 为垂直旋转速度， V m 为云台摄像装置的旋转速度最大值， L为旋转常数， D为衰减系数， x为第一位置的横坐标， y为第一位置的纵坐标， a为中心位置的横坐标， b为中心位置的纵坐标。
a22，根据第一位置的偏移方向，确定垂直旋转方向和/或水平旋转方向。
例如，当待巡检对象的第一位置在容忍度外左侧时，即偏移方向为左侧，则确定水平旋转方向为向左旋转；当待巡检对象的第一位置在容忍度外上侧时，则确定垂直旋转方向为向上旋转。若待巡检对象的第一位置同时具有垂直和水平方向的偏移，则可以确定垂直及水平两个方向上的旋转方向。
在云台摄像装置控制过程中，当待巡检目标在当前视野中占比过大时，较大速度的旋转容易导致待巡检目标反向偏离，即从当前偏离方向快速移动至反方向偏离位置，引起跟踪目标丢失。
为了防止跟踪目标丢失，可以在上述速度计算公式中引入衰减系数，该衰减系数与待巡检对象在巡检图像中的面积占比负相关，即面积占比越大，则衰减系数越小，面积占比越小，则衰减系数越大。上述速度计算公式引入衰减系数后，垂直旋转速度及水平旋转速度均与该衰减系数正相关。基于此，上述步骤a21可以包括以下步骤：将上述垂直距离及衰减系数输入预设的速度计算公式计算得到垂直旋转速度；和/或，将上述水平距离及衰减系数输入速度计算公式计算得到水平旋转速度。
因此，垂直旋转速度及水平旋转速度与上述面积占比实际为负相关关系，即面积占比越大，则旋转速度越小，面积占比越小，则旋转速度越大，从而当待巡检对象较大时限制云台的旋转速度，当待巡检对象较小时减小对云台的旋转速度的限制。基于此，上述方法还可以包括：根据待巡检对象在上述巡检图像中的面积占比，确定衰减系数。
以下详细介绍基于云台摄像装置的智能云台巡检方法的过程。对云台摄像装置的控制方式可以划分为上下左右四个方向。待巡检目标的位置信息格式为：(x,y,w,h) 其中x，y为归一化的中心点坐标，w，h为归一化的目标宽度和高度。
假设归一化的待巡检目标中心点（x,y）与原始图像中心点即当前图像中心点(0.5,0.5)水平距离为a，垂直距离为b，容忍度为t（t为图像中心位置沿垂直方向及水平方向到容忍度边界的距离），云台旋转速度为V，旋转系数为常数L，云台最大旋转速度为。
在云台控制过程中，当待巡检目标在当前视野中占比过大时，为了防止目标丢失，引入衰减系数：。参见图4所示的衰减系数随目标占比的变化曲线，当目标占比接近于1时衰减系数接近于0，可以有效限制云台旋转速度，当目标占接近0时衰减系数接近于1，从而减小对云台旋转速度的限制。
首先，针对待巡检目标仅具有垂直或水平一个方向的偏离的情况，包括以下4种情况：
情况一：当目标位于容忍度范围外左侧时，参见图5所示的目标在中心位置左侧的示意图，即x<(0.5-t)时，云台以的速度向左旋转。
情况二：当目标位于容忍度范围外右侧时，参见图6所示的目标在中心位置右侧的示意图，即x>(0.5+t)时，云台以的速度向右旋转。
情况三：当目标位于容忍度范围外上方时，参见图7所示的目标在中心位置上方的示意图，即y>(0.5+t)时，云台以的速度向上旋转。
情况四：当目标位于容忍度范围外下方时，参见图8所示的目标在中心位置下方的示意图，即y<(0.5-t)时，云台以的速度向下旋转。
其中，云台旋转速度V随自变量x或y的变化关系，如图9所示的云台旋转速度变化曲线，x和y的范围均为0～1，当跟踪目标的横坐标x或纵坐标y接近视野中心点坐标0.5时，云台旋转速度V最小；当x或y逐渐远离视野中心点坐标0.5时，云台旋转速度逐渐增加，直到云台旋转速度的最大值 V m 后保持不变。可以理解的是，云台旋转速度V小于等于云台旋转速度的最大值 V m 。上述速度计算公式，以 ln（x）函数为基础，通过对其进行平移、镜像对称等操作确定，最终获得如图9中所示的速度变化曲线。
然后，针对待巡检目标同时具有垂直和水平两个方向的偏离的情况，可以根据水平偏移程度、垂直偏移程度的相对大小确定优先控制云台沿其中一个方向旋转。
基于此，上述控制信息还可以包括优先控制信息，上述方法还可以包括以下步骤：若垂直距离大于水平距离，则优先按照上述垂直控制信息控制再按照水平控制信息控制；若水平距离大于垂直距离，则优先按照上述水平控制信息控制再按照垂直控制信息控制。
参见图10所示的目标在垂直及水平方向均偏离的示意图，目标在容忍度范围的右上侧。若a≥b，即水平偏移程度大于等于垂直偏移程度，则优先按照上述情况一、情况二控制云台旋转，将目标调整至水平偏移容忍度范围内；若a<b，即水平偏移程度小于垂直偏移程度，则优先按照上述情况三、情况四控制云台旋转，将目标调整至垂直偏移容忍度范围内。
图11是本发明的一个实施例中一种智能云台巡检方法的示意性流程图，该方法应用于上述云台摄像装置，包括：
S1102，采集巡检图像并将巡检图像发送至服务器，以触发服务器确定巡检图像中待巡检对象的第一位置，并根据第一位置与巡检图像的中心位置生成控制信息。该控制信息包括旋转速度及旋转方向。
S1104，接收服务器发送的控制信息。
S1106，根据上述控制信息控制旋转速度及旋转方向。
本实施例提供的智能云台巡检方法，可以采集巡检图像并将巡检图像发送至服务器，以使服务器根据第一位置与巡检图像的中心位置的偏离程度生成控制信息，然后将其发送至该云台摄像装置，以控制其跟踪上述待巡检对象。在云台摄像装置拍摄待巡检对象时，服务器可以基于待巡检对象的第一位置与中心位置的偏离程度生成的控制信息，从而控制云台摄像装置跟踪拍摄待巡检对象，持续监控其行为，可以避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。
可选地，上述控制信息还包括优先控制信息，上述S1106可以包括以下步骤：
若优先控制信息为垂直方向优先控制信息，则优先按照垂直方向对应的旋转速度及旋转方向执行对应的旋转动作；若优先控制信息为水平方向优先控制信息，则优先按照水平方向对应的旋转速度及旋转方向执行对应的旋转动作；执行旋转动作直至第一位置与中心位置的距离小于预设容忍距离。
图12是本发明的一个实施例中一种智能云台巡检装置的结构示意图，该装置应用于服务器，包括：
第一接收模块1201，用于接收云台摄像装置采集的巡检图像；
确定模块1202，用于确定所述巡检图像中待巡检对象的第一位置；
生成模块1203，用于根据所述第一位置与所述巡检图像的中心位置生成控制信息；所述控制信息包括旋转速度及旋转方向；
第一发送模块1204，用于将所述控制信息发送至所述云台摄像装置，以使所述云台摄像装置跟踪所述待巡检对象。
本实施例提供的智能云台巡检装置，可以控制云台摄像装置跟踪拍摄待巡检对象，持续监控其行为，避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。
可选地，作为一个实施例，所述生成模块1203具体用于：
判断所述第一位置与所述巡检图像的中心位置的垂直距离、水平距离是否大于预设容忍距离；若所述垂直距离和/或所述水平距离大于所述预设容忍距离，则根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息。
可选地，作为一个实施例，所述生成模块1203具体用于：
将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，和/或，将所述水平距离输入所述速度计算公式计算得到水平旋转速度；所述垂直旋转速度与所述垂直距离正相关，所述水平旋转速度与所述水平距离正相关；根据所述第一位置的偏移方向，确定垂直旋转方向和/或水平旋转方向。
可选地，作为一个实施例，所述速度计算公式包括衰减系数；所述衰减系数与所述待巡检对象在所述巡检图像中的面积占比负相关；所述垂直旋转速度及所述水平旋转速度均与所述衰减系数正相关；所述生成模块1203还用于：将所述垂直距离及所述衰减系数输入预设的速度计算公式计算得到垂直旋转速度；将所述水平距离及所述衰减系数输入所述速度计算公式计算得到水平旋转速度。
可选地，作为一个实施例，所述生成模块1203还用于：根据所述待巡检对象在所述巡检图像中的面积占比，确定所述衰减系数。
可选地，作为一个实施例，所述装置还包括比较模块，用于：若所述垂直旋转速度大于所述云台摄像装置的垂直速度最大值，则将所述垂直速度最大值作为所述垂直旋转速度；若所述水平旋转速度大于所述云台摄像装置的水平速度最大值，则将所述水平速度最大值作为所述水平旋转速度。
可选地，作为一个实施例，所述速度计算公式如下：
；
；
其中， V 水平 为水平旋转速度， V 垂直 为垂直旋转速度， V m 为所述云台摄像装置的旋转速度最大值， L为旋转常数， D为衰减系数， x为所述第一位置的横坐标， y为所述第一位置的纵坐标， a为所述中心位置的横坐标， b为所述中心位置的纵坐标。
可选地，作为一个实施例，所述控制信息还包括优先控制信息；所述生成模块1203还用于：
若所述垂直距离大于所述水平距离，则优先按照所述垂直控制信息控制再按照所述水平控制信息控制；若所述水平距离大于所述垂直距离，则优先按照所述水平控制信息控制再按照所述垂直控制信息控制。
可选地，作为一个实施例，所述装置还包括远程巡检模块，用于：将所述巡检图像发送至智能巡检监控系统和/或人工巡检交互界面，以执行远程巡检。
图13是本发明的一个实施例中一种智能云台巡检装置的结构示意图，该装置应用于云台摄像装置，包括：
第二发送模块1301，用于采集巡检图像并将所述巡检图像发送至服务器，以触发所述服务器确定所述巡检图像中待巡检对象的第一位置，并根据所述第一位置与所述巡检图像的中心位置生成控制信息，所述控制信息包括旋转速度及旋转方向；
第二接收模块1302，用于接收所述服务器发送的所述控制信息；
旋转控制模块1303，用于根据所述控制信息控制旋转速度及旋转方向。
本实施例提供的智能云台巡检装置，可以跟踪拍摄待巡检对象，持续监控其行为，避免待巡检对象移动至监控区域外导致无法监控的情况，提高巡检效果，减少安全隐患及安全事故。
可选地，作为一个实施例，所述控制信息还包括优先控制信息，所述旋转控制模块1303具体用于：
若所述优先控制信息为垂直方向优先控制信息，则优先按照所述垂直方向对应的旋转速度及旋转方向执行对应的旋转动作；若所述优先控制信息为水平方向优先控制信息，则优先按照所述水平方向对应的旋转速度及旋转方向执行对应的旋转动作；执行所述旋转动作直至所述第一位置与所述中心位置的距离小于预设容忍距离。
上述实施例提供的智能云台巡检装置能够实现上述智能云台巡检方法的实施例中的各个过程，为避免重复，这里不再赘述。
本发明实施例还提供一种云台摄像巡检系统，包括服务器及云台摄像装置；所述服务器包括上述实施例提供的智能云台巡检装置。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述智能云台巡检方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。
当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种智能云台巡检方法，其特征在于，应用于服务器，所述方法包括：
接收云台摄像装置采集的巡检图像；
确定所述巡检图像中待巡检对象的第一位置；
根据所述第一位置与所述巡检图像的中心位置生成控制信息；所述控制信息包括旋转速度及旋转方向；
将所述控制信息发送至所述云台摄像装置，以使所述云台摄像装置跟踪所述待巡检对象；
所述根据所述第一位置与所述巡检图像的中心位置生成控制信息，包括：
判断所述第一位置与所述巡检图像的中心位置的垂直距离、水平距离是否大于预设容忍距离；
若所述垂直距离和/或所述水平距离大于所述预设容忍距离，则根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息；
所述根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息，包括：
将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，和/或，将所述水平距离输入所述速度计算公式计算得到水平旋转速度；所述垂直旋转速度与所述垂直距离正相关，所述水平旋转速度与所述水平距离正相关；
根据所述第一位置的偏移方向，确定垂直旋转方向和/或水平旋转方向；
所述速度计算公式包括衰减系数；所述衰减系数与所述待巡检对象在所述巡检图像中的面积占比负相关；所述垂直旋转速度及所述水平旋转速度均与所述衰减系数正相关；
所述将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，包括：将所述垂直距离及所述衰减系数输入预设的速度计算公式计算得到垂直旋转速度；
所述将所述水平距离输入所述速度计算公式计算得到水平旋转速度，包括：将所述水平距离及所述衰减系数输入所述速度计算公式计算得到水平旋转速度。
2.根据权利要求1所述方法，其特征在于，所述方法还包括：
根据所述待巡检对象在所述巡检图像中的面积占比，确定所述衰减系数。
3.根据权利要求1所述方法，其特征在于，所述方法还包括：
若所述垂直旋转速度大于所述云台摄像装置的垂直速度最大值，则将所述垂直速度最大值作为所述垂直旋转速度；
若所述水平旋转速度大于所述云台摄像装置的水平速度最大值，则将所述水平速度最大值作为所述水平旋转速度。
4.根据权利要求3所述方法，其特征在于，所述速度计算公式如下：
；
；
其中，V 水平 为水平旋转速度，V 垂直 为垂直旋转速度，V m 为所述云台摄像装置的旋转速度最大值，L为旋转常数，D为衰减系数，x为所述第一位置的横坐标，y为所述第一位置的纵坐标，a为所述中心位置的横坐标，b为所述中心位置的纵坐标。
5.根据权利要求1所述方法，其特征在于，所述控制信息还包括优先控制信息；所述方法还包括：
若所述垂直距离大于所述水平距离，则确定所述优先控制信息为优先按照所述垂直控制信息控制再按照所述水平控制信息控制；
若所述水平距离大于所述垂直距离，则确定所述优先控制信息为优先按照所述水平控制信息控制再按照所述垂直控制信息控制。
6.一种智能云台巡检装置，其特征在于，应用于服务器，所述装置包括：
第一接收模块，用于接收云台摄像装置采集的巡检图像；
确定模块，用于确定所述巡检图像中待巡检对象的第一位置；
生成模块，用于根据所述第一位置与所述巡检图像的中心位置生成控制信息；所述控制信息包括旋转速度及旋转方向；
第一发送模块，用于将所述控制信息发送至所述云台摄像装置，以使所述云台摄像装置跟踪所述待巡检对象；
所述生成模块具体用于：
判断所述第一位置与所述巡检图像的中心位置的垂直距离、水平距离是否大于预设容忍距离；若所述垂直距离和/或所述水平距离大于所述预设容忍距离，则根据所述垂直距离、所述水平距离、预设的速度计算公式、所述第一位置的偏移方向，确定垂直控制信息和/或水平控制信息；
所述生成模块还具体用于：
将所述垂直距离输入预设的速度计算公式计算得到垂直旋转速度，和/或，将所述水平距离输入所述速度计算公式计算得到水平旋转速度；所述垂直旋转速度与所述垂直距离正相关，所述水平旋转速度与所述水平距离正相关；
根据所述第一位置的偏移方向，确定垂直旋转方向和/或水平旋转方向；
所述速度计算公式包括衰减系数；所述衰减系数与所述待巡检对象在所述巡检图像中的面积占比负相关；所述垂直旋转速度及所述水平旋转速度均与所述衰减系数正相关；所述生成模块还用于：将所述垂直距离及所述衰减系数输入预设的速度计算公式计算得到垂直旋转速度；将所述水平距离及所述衰减系数输入所述速度计算公式计算得到水平旋转速度。
7.一种云台摄像巡检系统，其特征在于，包括服务器及云台摄像装置；
所述服务器包括权利要求6所述的智能云台巡检装置。
CN202010768315.6A 2020-08-03 2020-08-03 智能云台巡检方法、装置及云台摄像巡检系统 Active CN112087598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768315.6A CN112087598B (zh) 2020-08-03 2020-08-03 智能云台巡检方法、装置及云台摄像巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768315.6A CN112087598B (zh) 2020-08-03 2020-08-03 智能云台巡检方法、装置及云台摄像巡检系统

Publications (2)

Publication Number Publication Date
CN112087598A CN112087598A (zh) 2020-12-15
CN112087598B true CN112087598B (zh) 2023-04-07

Family

ID=73736047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768315.6A Active CN112087598B (zh) 2020-08-03 2020-08-03 智能云台巡检方法、装置及云台摄像巡检系统

Country Status (1)

Country Link
CN (1) CN112087598B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669487A (zh) * 2020-12-21 2021-04-16 北京佳讯飞鸿电气股份有限公司 跟踪目标方法和巡检机器人
CN113452912B (zh) * 2021-06-25 2022-12-27 山东新一代信息产业技术研究院有限公司 巡视机器人的云台摄像机的控制方法、装置、设备及介质
CN113835457B (zh) * 2021-08-10 2022-07-12 太原市高远时代科技有限公司 一种基于边缘计算的水利一体化智能机柜
CN114827455A (zh) * 2022-04-01 2022-07-29 南京猫头鹰智能科技有限公司 一种摄像头动态实时追踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322751B1 (ko) * 1999-08-05 2002-02-07 김운용 팬/틸트 카메라 제어방법
JP4612280B2 (ja) * 2003-02-25 2011-01-12 本田技研工業株式会社 自動作業装置及び自動作業装置制御プログラム
JP2009100454A (ja) * 2007-09-26 2009-05-07 Victor Co Of Japan Ltd 移動物体追尾制御装置
CN102883144B (zh) * 2012-09-26 2015-04-22 青岛海信网络科技股份有限公司 视频监控系统及视频监控方法
CN105812736A (zh) * 2016-03-21 2016-07-27 北京工业大学 自调节式云台摄像头远程智能控制系统及其控制方法
CN105744234B (zh) * 2016-04-06 2018-12-18 中国民用航空总局第二研究所 一种基于像素差分比的跟踪运动目标联动方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统

Also Published As

Publication number Publication date
CN112087598A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112087598B (zh) 智能云台巡检方法、装置及云台摄像巡检系统
CN109300471B (zh) 融合声音采集识别的场区智能视频监控方法、装置及系统
CN103613013B (zh) 塔吊施工安全监测系统及方法
CN111564015B (zh) 一种轨道交通周界入侵的监测方法及装置
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和系统
CN112112629A (zh) 一种钻井作业过程中的安全业务管理系统和方法
CN112282819B (zh) 基于视觉的综采工作面人员目标安全监控方法及系统
CN113452912B (zh) 巡视机器人的云台摄像机的控制方法、装置、设备及介质
CN110377066B (zh) 一种巡检设备的控制方法、装置和设备
CN110390288B (zh) 基于计算机视觉的目标智能搜索、定位和跟踪系统及方法
CN114139373B (zh) 一种面向无人机反制车的多传感器自动协同管理方法
CN116740833A (zh) 基于无人机的线路巡线打卡方法
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN110611791A (zh) 一种水域探测监控系统
CN113392706A (zh) 抽烟及使用手机行为检测装置及方法
CN112422895A (zh) 基于无人机的图像分析跟踪、定位系统及方法
JPH08180276A (ja) 障害物検知方法及びその装置
CN112036336A (zh) 一种基于ai智能图像分析的工程监测方法及系统
KR102085168B1 (ko) 인체추적 기반 위험지역 안전관리 방법 및 장치
KR20140056674A (ko) 사고 처리 지원 방법 및 이를 위한 장치
CN114355960B (zh) 一种无人机防御智能决策方法及系统、服务器及介质
KR20220147925A (ko) 낙탄을 검출할 수 있는 영상감지시스템
KR20230107035A (ko) 전력 설비를 위한 화재 대응 방법 및 영상인식 기반 화재 대응 시스템
CN111646349B (zh) 一种基于tof图像的电梯保护方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant