CN106817431A - 物联网视频远程控制方法及系统 - Google Patents
物联网视频远程控制方法及系统 Download PDFInfo
- Publication number
- CN106817431A CN106817431A CN201710200195.8A CN201710200195A CN106817431A CN 106817431 A CN106817431 A CN 106817431A CN 201710200195 A CN201710200195 A CN 201710200195A CN 106817431 A CN106817431 A CN 106817431A
- Authority
- CN
- China
- Prior art keywords
- remote control
- user mutual
- executing agency
- video
- video pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
Abstract
本发明提供了一种物联网视频远程控制方法及系统,方法包括:网络服务器,图像处理服务器,远程控制服务器,RTMP推流服务器,通过网络服务器实现对网络摄像头以及远程控制平台的直接操作,以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合,实现虚拟界面元件跟随视频画面的变化而变化。实现了用户在网页中直接对网络摄像机和物理硬件的操作,以及视频画面与虚拟界面在网页中的融合。本平台兼顾了物联网远程控制中视频画面的临场感以及虚拟界面的低延时性,提高了用户体验,系统的用户交互部分完全通过Web平台实现,具有可移植性好易于推广的特点。
Description
技术领域
本发明涉及物联网,视频远程控制领域,特别指一种基于互联网架构,通过图像处理技术将虚拟界面与视频画面动态融合,实现用户通过浏览器在视频画面直接进行监控以及远程操作的物联网视频远程控制方法及系统。
背景技术
当前物联网远程控制主要应用在大规模工业生产中,实现方式主要是采用虚拟界面,用虚拟开关,度量表,虚拟图表等表示真实变量的状态。或者采用组态模块进行控制变量的表示,比较常用的比如LabVIEW等。除此之外这些软件也可以实现视频的嵌入,通过这种方式用户除了可以观察虚拟界面中变量的状态之外,还可以更直观的观察硬件设备当前的状态。提高用户的临场体验。但是采用这种方式的远程控制系统存在一些问题,首先是互联网应用方面,这种方式搭建的网络控制系统一般需要在客户端安装软件从而实现远端访问,或者开发ActiveX控件,通过浏览器加载插件的方式实现客户端的功能。但是ActiveX控件又存在一定局限性,首先是难以实现手机端等类似移动终端设备的访问,其次是ActiveX控件对终端浏览器,计算机配置以及浏览器安全等级有一定要求,在大范围使用过程中存在很多不便。
同时在视频监控领域,对于网络远端监控摄像机的访问大都采用RTSP/RTMP协议,对于这一类网络摄像机的访问,同样也会存在第三方ActiveX控件所带来的安全和兼容性问题,为了解决这一问题,实现基于html网页技术的网络监控摄像机的控制,可以采用视频系统与远程控制系统分离设计,服务器中包含Web服务器与摄像机控制服务器,摄像机控制服务器由摄像机SDK开发包实现,专门用于与摄像机有关的数据传递,而Web服务器负责除摄像机外的其他数据传递,以及通过SOCKET通讯接口调用摄像机服务器中相关数据并将全部信息整合用于用户交互。但是采用这种方案时,用户端与网络摄像机之间包含了Web服务器和摄像机控制服务器两个服务器的消息转发,这样在时延消除和系统可靠性上都会有所欠缺。
除此之外,不管是基于组态软件还是基于网络摄像机SDK所开发的视频远程控制系统,视频画面只是起到监控的作用。尤其在摄像机视角变化时,画面中的实体元件与虚拟界面中组态模块无法一一对应。视频画面与虚拟界面无法有效的动态融合。所以在此类远程控制系统中,视频只是辅助,虚拟界面是用户交互的关键。
发明内容
为了解决上述的以及其他潜在的技术问题,本发明的主要目的在于基于Web服务器以及图像处理机器学习技术提供一种通用的、便于移植的视频监控远程控制方法及系统。通过Web服务器实现对摄像头以及远程控制平台的直接操作,以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合,实现虚拟界面元件跟随视频画面的变化而变化。
为实现上述技术效果,本发明的第一方面提供了一种物联网视频远程控制方法的实施例,其包括:
获取来自用户交互页面的控制指令,所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构;
响应于所述控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示所述网络摄像机执行拍摄操作;
获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据所述图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。
在一些实施例中,所述方法还包括:生成用户交互页面;
并且其中,所述获取来自用户交互页面的控制指令,包括:
响应于生成的所述用户交互页面接收到控制指令,获取所述控制指令。
在一些实施方式中,所述将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构,还包括:
获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据;
所述方法还包括:获取查询请求;
并且,根据所述查询请求,对所述实时操作数据进行数据处理,在所述用户交互页面展示经数据处理的所述实时操作数据。
在一些实施方式中,本发明方法还包括:通过一推流服务器采集所述网络摄像机拍摄的视频画面的画面码流,并向所述用户交互页面进行推流,以展示所述视频画面。
在一些实施方式中,所述获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,包括:
通过一图像处理服务器周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,获取图像偏移信息。
本发明的第二方面提供了一种物联网视频远程控制系统的实施例,其包括:
获取模块,用于获取来自用户交互页面的控制指令,所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
传输模块,用于将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构;
调用模块,用于响应于所述控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示所述网络摄像机执行拍摄操作;
界面交互模块,用于获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据所述图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
展示模块,用于在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。
在一些实施方式中,本发明系统还包括:一页面生成模块,用于生成用户交互页面;
并且,所述获取模块还用于:响应于生成的所述用户交互页面接收到控制指令,获取所述控制指令。
在一些实施方式中,本发明系统还包括:一数据库管理模块,用于获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据;
并且,所述获取模块还用于:获取查询请求,并根据所述查询请求,对所述实时操作数据进行数据处理,在所述用户交互页面展示经数据处理的所述实时操作数据。
在一些实施方式中,本发明系统还包括:一推流服务器,用于采集所述网络摄像机拍摄的视频画面的画面码流,并向所述用户交互页面进行推流,以展示所述视频画面。
在一些实施方式中,本发明系统还包括一图像处理服务器,用于周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,得到图像偏移信息。
本发明由于采用以上技术方案,具有以下优点:
由于视频部分采用网络摄像机,并通过发送控制指令可以直接对网络摄像机进行控制,无需中间服务器进行指令转发,使用户可以在用户交互页面中直接观看视频画面并在用户交互页面中完成对网络摄像机以及执行机构的一系列操作。避免了采用通常网络监控所需要的安装软件或在网页中嵌入ActiveX控件,从而避免了ActiveX控件的浏览器兼容问题和安全问题。
同时本发明方法通过图像处理技术实现了对于视频图像中执行机构的识别,在用户交互页面中可以将视频画面中执行机构(如按钮等)用特殊符号标记,在网络摄像机移动的情况下这些标记在画面中同步移动,实现了用户交互页面中真实的视频画面与虚拟界面的融合,相比于纯粹的虚拟界面极大的提高用户临场体验。同时由于这一方法可直接在浏览器中运行,系统更新只需在网络服务器中进行,系统维护更为便利。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例中的物联网视频远程控制方法的流程图。
图2为本发明的实施例中的物联网视频远程控制系统的架构图。
图3为本发明的实施例中的物联网视频远程控制系统的数据与信号的传输流程图。
图4为本发明的实施例中的物联网视频远程控制系统的功能模块示意图。
图5为本发明的实施例中的物联网视频远程控制系统的图像偏移信息的获取流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
目前,不管是基于组态软件还是基于网络摄像机SDK所开发的视频远程控制系统,视频画面只是起到监控的作用。尤其在摄像机视角变化时,画面中的实体元件与虚拟界面中组态模块无法一一对应。视频画面与虚拟界面无法有效的动态融合。所以在此类远程控制系统中,视频只是辅助,虚拟界面是用户交互的关键。
有鉴于此,本发明的主要目的在于基于Web服务器以及图像处理机器学习技术提供一种通用的,便于移植的视频监控远程控制平台。通过Web服务器实现对摄像头以及远程控制平台的直接操作,以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合,实现虚拟界面元件跟随视频画面的变化而变化。
下面结合附图以及具体实施例对本发明做进一步地详细说明。
首先,参阅图1所示,本发明的实施例中提供了一种物联网视频远程控制方法,其主要包括如下步骤:
步骤101:获取来自用户交互页面的控制指令,该用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
步骤102:将控制指令传输至远程控制服务器,以指示远程控制服务器根据控制指令操作执行机构;
步骤103:响应于控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示网络摄像机执行拍摄操作;
步骤104:获取网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
步骤105:在用户交互页面展示网络摄像机拍摄的视频画面和经修改的虚拟界面。
采用上述技术方案,由于视频部分采用网络摄像机,并通过发送控制指令可以直接对网络摄像机进行控制,无需中间服务器进行指令转发,使用户可以在用户交互页面中直接观看视频画面并在用户交互页面中完成对网络摄像机以及执行机构的一系列操作。避免了采用通常网络监控所需要的安装软件或在网页中嵌入ActiveX控件,从而避免了ActiveX控件的浏览器兼容问题和安全问题。
同时本发明方法通过图像处理技术实现了对于视频图像中执行机构的识别,在用户交互页面中可以将视频画面中执行机构(如按钮等)用特殊符号标记,在网络摄像机移动的情况下这些标记在画面中同步移动,实现了用户交互页面中真实的视频画面与虚拟界面的融合,相比于纯粹的虚拟界面极大的提高用户临场体验。同时由于这一方法可直接在浏览器中运行,系统更新只需在网络服务器中进行,系统维护更为便利。
在一些实施例中,本发明的物联网视频远程控制方法还包括步骤:生成用户交互页面;
并且其中,所述的获取来自用户交互页面的控制指令,包括:
响应于生成的上述用户交互页面接收到控制指令,获取控制指令。
在一些实施方式中,所述将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构,还包括:
获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据;
所述方法还包括:获取查询请求;
并且,根据所述查询请求,对所述实时操作数据进行数据处理,在所述用户交互页面展示经数据处理的所述实时操作数据。
在一些实施例中,本发明的物联网视频远程控制方法还包括步骤:通过一推流服务器采集网络摄像机拍摄的视频画面的画面码流,并向用户交互页面进行推流,以展示视频画面。
在一些实施例中,本发明的物联网视频远程控制方法还包括步骤:获取网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,包括:
通过一图像处理服务器周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,获取图像偏移信息。
配合图2和图3所示,本发明的第二方面提供了一种物联网视频远程控制系统的实施例,其主要包括:一网络服务器11(Web服务器),主要用于:获取来自用户交互页面10(Web页面)的控制指令,用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;将控制指令传输至远程控制服务器14,以指示远程控制服务器14根据控制指令操作执行机构与控制台面板15;响应于控制指令,调用网络摄像机接口12向网络摄像机16发送拍摄指令,以指示网络摄像机16执行拍摄操作,网络摄像机16对准执行机构与控制台面板15进行拍摄;获取网络摄像机16拍摄的视频画面中的执行机构与控制台面板15的图像偏移信息,并根据图像偏移信息修改用户交互页面10中的虚拟界面,使虚拟界面中的执行机构与控制台面板15同视频画面中的执行机构与控制台面板保持一致;以及,在用户交互页面10展示网络摄像机16拍摄的视频画面和经修改的虚拟界面。通过Web服务器能够实现用户远程视频观看,远程硬件控制,以及视频画面与虚拟界面融合。
如图4所示,网络服务器11进一步包括以下各功能模块:
一获取模块111,用于获取来自用户交互页面的控制指令,其中,用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
一传输模块112,用于将控制指令传输至远程控制服务器,以指示远程控制服务器根据控制指令操作执行机构与控制台面板;
一调用模块113,用于响应于控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示网络摄像机执行拍摄操作;
一界面交互模块114,用于获取网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
一展示模块115,用于在用户交互页面展示网络摄像机拍摄的视频画面和经修改的虚拟界面。
在一些实施方式中,本发明系统还可包括以下一种或多种功能模块:
一页面生成模块,用于生成用户交互页面;
并且,获取模块还用于:响应于生成的用户交互页面接收到控制指令,获取控制指令。
一数据库管理模块,用于获取并保存来自远程控制服务器的操作执行机构的实时操作数据;
并且,获取模块还用于:获取查询请求,并根据查询请求,对实时操作数据进行数据处理,在用户交互页面展示经数据处理的实时操作数据。
一推流服务器17,可采用RIMP推流服务器,用于采集网络摄像机拍摄的视频画面的画面码流,并向用户交互页面进行推流,以展示所述视频画面。
一图像处理服务器,用于周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,得到图像偏移信息。
本发明的物联网视频远程控制系统的主要目的在于基于Web服务器以及图像处理机器学习技术提供一种通用的,便于移植的视频监控远程控制平台。通过Web服务器实现对摄像头以及远程控制平台的直接操作,以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合,实现虚拟界面元件跟随视频画面的变化而变化。本发明的实现主要依靠于以下各部分的组成:网络服务器11(Web服务器),网络摄像机接口12,图像处理服务器13,远程控制服务器14,执行机构与控制台面板15。下面对以上各组成部分的功效做进一步详细说明:
Web服务器,该服务器提供界面展示、用户交互、访问控制、视频展示,数据保存以及控制指令采集与控制指令初步解析等服务;其主要用于用户交互、数据存储以及用户控制指令转发,是本系统的核心部分。Web服务器通过或调用网络摄像机接口12程序实现对网络摄像机16的远程操作。
Web服务器提供通常网站所需的一切功能,包括用户注册登录,后台数据管理,前端页面组织等。通过路由管理和中间件,Web服务器确保特定用户可以观看视频以及对远端硬件进行控制。
比如:Web服务器具有生成用户交互页面的功能,具体为:根据接收到的HTTP请求组织页面,在数据库中对不同的用户分配不同的权限,Web服务器包含用户登录功能,对于权限许可的用户登录后可以进入用户交互页面;在用户交互页面下,用户可以观看远程监控视频,并对远程控制平台进行远程操作。
Web服务器具有保存执行机构与控制台面板的实时操作数据的功能,具体为:Web服务器中包含数据库管理模块和缓存,远程控制服务器通过HTTP请求上传数据,数据保存在数据库管理模块和缓存中,Web服务器可以调用这些数据并通过网页表格或图表等数据处理方式向用户进行展示。具体数据格式与内容根据远程控制服务器具体形式而定。例如:Web服务器根据接收到的用户远程操作请求,向远程控制服务器发送SOCKET控制命令,或者调用摄像机远程控制接口向远端网络摄像机发送SOCKET拍摄指令;Web服务器根据需要接收远程控制服务器发送的实时操作数据,并保存在数据库或缓存中,根据用户请求将这些数据进行展示或生成波形图。其中,网络摄像机接口12,由PHP或JavaScript语言编写,包含私有格式SOCKET通信服务,与Web服务器兼容,Web服务器可以直接调用此接口用于实现对网络摄像机以及云台进行控制。
RTMP推流服务器,接收网络摄像机RTMP格式的视频数据,并向互联网进行推流服务。
图像处理服务器:该服务器基于C++开发可以截取网络摄像机拍摄的视频画面,并对视频画面进行图像处理以及特征识别;
综合全部当前特征的位置并于原始坐标进行比对,从而得到图像偏移参数(在本实施例中为图像偏移向量),依据特定格式通过SOCKET方式将图像偏移向量对Web服务器进行发送。
图像偏移向量中包含的信息有x轴y轴平移系数,图像缩放系数。
对于Web服务器与远程控制服务器之间的交互,具体为:Web服务器接收客户端发送的HTTP请求并与特定的远程控制服务器保持常连接,通过SOCKET指令对远程控制服务器进行控制指令的转发,远程控制服务器根据SOCKET指令对自身状态进行修改,指令格式根据远程控制平台实际情况确定,如图3所示。Web服务器与图像处理服务器之间通过SOCKET私有数据格式进行单向数据传递,数据格式为“x:number1;y:number2;z:number3”,三个参数分别表示x轴位移,y轴位移,缩放大小。
Web服务器定时接收图像处理服务器发送的图像偏移参数,根据图像偏移参数采用异步方式对前端的用户交互页面进行修改,对虚拟界面进行位移调整,与视频画面中的真实元件一一对应,实现视频画面与虚拟界面的动态融合。具体为:Web服务器在获得该图像偏移向量后动态修改展示页面中虚拟元件的位置和大小,从而实现对页面视频中用户交互部分(如按钮等)进行标定和位置修正,将视频画面中的真实元件与虚拟界面中的执行元件一一对应,从而实现视频画面与虚拟界面的动态融合。
远程控制平台:以参数形式保存全部I/O状态,接收Web服务器的SOCKET控制命令或通过HTTP协议请求周期性扫描Web服务器变量改动,并通过I/O口实现对硬件控制。对于数据的提交,该平台通过HTTP协议对Web服务器发送POST请求,Web服务器将采集到的数据保存在Web数据库或缓存中。
网络摄像机接口12由Web语言编写与Web服务器兼容,并可以直接通过SOCKET方式对远端网络摄像机16进行控制,对于由PHP或JavaScript编写的Web服务器该网络摄像机接口12有两种组织形式,一是接口直接由PHP或JavaScript语言根据与网络摄像机之间的私有通讯规则编写,采用开源的方式由服务器直接进行调用。第二种是由C++编写并生成与PHP兼容的动态链接库供服务器调用。
网络摄像机接口与远端网络摄像机由SOCKET进行双向通信,网络摄像机通过心跳程序定时向接口程序发送本机IP,当Web服务器收到用户的网络摄像机控制请求后,与该网络摄像机建立SOCKET常连接并发送控制指令,如果一段时间没有控制请求连接自动断开。
控制台面板中包含按钮、电机等一系列需要远程控制的执行机构以及电压电流表,示波器画面等需要向用户展示的元件,这些元件与执行机构用特殊颜色标记以便图像处理服务器进行区分。
配合图5所示,图像处理服务器调用摄像机SDK定时抓取视频图像,对图像进行通道分离,阈值分割,腐蚀膨胀等一系列操作,最终得到效果清晰的包含元件与执行机构的二值化图像。
通过卷积方式对元件与执行机构进行识别,得到它们在图片中的相对位置,同时在图像处理服务器中同时保存着元件在图像中的最初位置,这些位置坐标以文件形式保存。
图像处理服务器将新的位置与初始位置通过机器学习方法进行比对获得图像偏移数据,并通过SOCKET方式定时将图像偏移数据发送给Web服务器,Web服务器在获取图像偏移数据后依据这些参数修改用户交互页面中虚拟界面部分,使虚拟界面中的元件与视频画面中真实元件相互对应。图像处理服务器也可以进行初始化操作,即将元件当前坐标以文件形式保存作为新的初始坐标。
远程控制服务器通过I/O口对硬件进行直接操作,通过数据采集卡进行数据采集。远程控制服务器通过SOCKET方式与Web服务器进行双向通信,接收客户端控制指令,并定时发送采集到的数据和当前开关变量以及数字变量的状态。或者采用HTTP请求的方式向Web服务器定时提交数据以及同步变量状态。
本发明由于采用以上技术方案,具有以下优点:
由于视频部分采用RTMP协议网络摄像机,并通过Web服务器发送SOCKET指令可以直接对摄像机进行控制无需中间服务器进行指令转发,使用户可以通过FLASH或HTML标签在浏览器中直接观看视频并在网页中完成对摄像机以及云台的一系列操作。避免了采用通常网络监控所需要的安装软件或在网页中嵌入ActiveX控件,从而避免了ActiveX控件的浏览器兼容问题和安全问题。
同时本系统通过图像处理技术实现了对于视频图像中控制元件的识别,在HTML页面或FLASH中可以将视频中控制元件(如按钮等)用特殊符号标记,在摄像机移动的情况下这些标记在画面中同步移动,实现了网页中真实画面与虚拟界面的融合,相比于纯粹的虚拟界面极大的提高用户临场体验。同时由于这一系统直接在浏览器中运行,系统更新只需在Web服务器中进行,系统维护更为便利。
以上所述仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案的范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种物联网视频远程控制方法,其特征在于,包括:
获取来自用户交互页面的控制指令,所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构;
响应于所述控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示所述网络摄像机执行拍摄操作;
获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据所述图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。
2.如权利要求1所述的物联网视频远程控制方法,其特征在于,所述方法还包括:生成用户交互页面;
并且其中,所述获取来自用户交互页面的控制指令,包括:
响应于生成的所述用户交互页面接收到控制指令,获取所述控制指令。
3.如权利要求1所述的物联网视频远程控制方法,其特征在于,所述将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构,还包括:
获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据;
所述方法还包括:获取查询请求;
并且,根据所述查询请求,对所述实时操作数据进行数据处理,在所述用户交互页面展示经数据处理的所述实时操作数据。
4.如权利要求1所述的物联网视频远程控制方法,其特征在于,所述方法还包括:通过一推流服务器采集所述网络摄像机拍摄的视频画面的画面码流,并向所述用户交互页面进行推流,以展示所述视频画面。
5.如权利要求1~4中任一项所述的物联网视频远程控制方法,其特征在于,所述获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,包括:
通过一图像处理服务器周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,获取图像偏移信息。
6.一种物联网视频远程控制系统,其特征在于,包括:
获取模块,用于获取来自用户交互页面的控制指令,所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面;
传输模块,用于将所述控制指令传输至远程控制服务器,以指示所述远程控制服务器根据所述控制指令操作执行机构;
调用模块,用于响应于所述控制指令,调用网络摄像机接口向网络摄像机发送拍摄指令,以指示所述网络摄像机执行拍摄操作;
界面交互模块,用于获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息,并根据所述图像偏移信息修改用户交互页面中的虚拟界面,使虚拟界面中的执行机构与视频画面中的执行机构保持一致;以及
展示模块,用于在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。
7.如权利要求6所述的物联网视频远程控制系统,其特征在于,还包括:一页面生成模块,用于生成用户交互页面;
并且,所述获取模块还用于:响应于生成的所述用户交互页面接收到控制指令,获取所述控制指令。
8.如权利要求6所述的物联网视频远程控制系统,其特征在于,还包括:一数据库管理模块,用于获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据;
并且,所述获取模块还用于:获取查询请求,并根据所述查询请求,对所述实时操作数据进行数据处理,在所述用户交互页面展示经数据处理的所述实时操作数据。
9.如权利要求6所述的物联网视频远程控制系统,其特征在于,还包括:一推流服务器,用于采集所述网络摄像机拍摄的视频画面的画面码流,并向所述用户交互页面进行推流,以展示所述视频画面。
10.如权利要求6~9中任一项所述的物联网视频远程控制系统,其特征在于,还包括一图像处理服务器,用于周期性获取视频画面,对虚拟界面中预先设置的执行机构重新进行定位与标定,并与预先设置的执行机构的定位与标定进行比对,得到图像偏移信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200195.8A CN106817431B (zh) | 2017-03-30 | 2017-03-30 | 物联网视频远程控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200195.8A CN106817431B (zh) | 2017-03-30 | 2017-03-30 | 物联网视频远程控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106817431A true CN106817431A (zh) | 2017-06-09 |
CN106817431B CN106817431B (zh) | 2020-04-10 |
Family
ID=59115818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710200195.8A Expired - Fee Related CN106817431B (zh) | 2017-03-30 | 2017-03-30 | 物联网视频远程控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106817431B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965371A (zh) * | 2017-12-12 | 2018-12-07 | 北京视联动力国际信息技术有限公司 | 一种摄像头的控制方法和装置 |
CN114915647A (zh) * | 2021-01-28 | 2022-08-16 | 复旦大学 | 基于微服务的前沿装备远程互动体验系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090070696A1 (en) * | 2007-09-06 | 2009-03-12 | At&T Knowledge Ventures, Lp | System and Method for Programming a Remote Control Device |
US20130086618A1 (en) * | 2008-06-02 | 2013-04-04 | At&T Intellectual Property I, L.P. | Smart phone as remote control device |
CN103035115A (zh) * | 2012-12-10 | 2013-04-10 | Tcl通力电子(惠州)有限公司 | 一种基于智能终端手势识别的家居设备控制系统及方法 |
CN106412530A (zh) * | 2016-12-08 | 2017-02-15 | 山东省科学院情报研究所 | 一种物联网视频监控系统及方法 |
-
2017
- 2017-03-30 CN CN201710200195.8A patent/CN106817431B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090070696A1 (en) * | 2007-09-06 | 2009-03-12 | At&T Knowledge Ventures, Lp | System and Method for Programming a Remote Control Device |
US20130086618A1 (en) * | 2008-06-02 | 2013-04-04 | At&T Intellectual Property I, L.P. | Smart phone as remote control device |
CN103035115A (zh) * | 2012-12-10 | 2013-04-10 | Tcl通力电子(惠州)有限公司 | 一种基于智能终端手势识别的家居设备控制系统及方法 |
CN106412530A (zh) * | 2016-12-08 | 2017-02-15 | 山东省科学院情报研究所 | 一种物联网视频监控系统及方法 |
Non-Patent Citations (1)
Title |
---|
余雷 等: "基于物联网的远程视频监控优化方法研究", 《科技通报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965371A (zh) * | 2017-12-12 | 2018-12-07 | 北京视联动力国际信息技术有限公司 | 一种摄像头的控制方法和装置 |
CN114915647A (zh) * | 2021-01-28 | 2022-08-16 | 复旦大学 | 基于微服务的前沿装备远程互动体验系统 |
CN114915647B (zh) * | 2021-01-28 | 2023-08-29 | 复旦大学 | 基于微服务的前沿装备远程互动体验系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106817431B (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104333574B (zh) | 电子白板同步方法和系统 | |
CN108762482B (zh) | 一种大屏幕和增强现实眼镜间数据交互方法和系统 | |
CN102750067B (zh) | 一种基于手持设备的大屏幕交互方法 | |
US20050116966A1 (en) | Web imaging serving technology | |
CN103312814B (zh) | 云管理平台和虚拟机终端用户间vnc隐通道的建立方法 | |
JPH1185654A (ja) | 仮想wwwサーバ装置およびカメラ制御可能なwwwサーバ装置 | |
DE19936314A1 (de) | Verfahren und System zur Inhaltskonvertierung von elektronischen Daten unter Verwendung von Konvertierungspräferenzen | |
CN106384388B (zh) | 基于html5和增强现实技术的互联网眼镜实时试戴方法及系统 | |
CN103888840B (zh) | 一种视频移动终端实时拖动与缩放的方法及装置 | |
CN108023918A (zh) | 一种服务信息获取方法、装置及系统 | |
CN106464840A (zh) | 传输终端、传输管理设备、程序,传输方法和传输系统 | |
CN106774820A (zh) | 人体姿态与虚拟场景叠加的方法、装置和系统 | |
Zhang | Application of AI-based real-time gesture recognition and embedded system in the design of English major teaching | |
CN102810109B (zh) | 增强现实视图的存储方法和装置 | |
CN112379815A (zh) | 图像截取方法、装置和存储介质及电子设备 | |
CN106817431A (zh) | 物联网视频远程控制方法及系统 | |
CN107766024A (zh) | 一种基于拼接墙的ppt放映控制方法和系统 | |
CN109753315A (zh) | 一种智能设备交互式内容编辑实现方法及存储介质 | |
CN111710032A (zh) | 变电站三维模型的构建方法、装置、设备和介质 | |
CN110830746A (zh) | 一种基于视频通话和增强现实技术远程手术协助系统 | |
CN110489508A (zh) | 热力图生成方法、装置、设备及计算机可读存储介质 | |
JP2001282673A (ja) | 画像配信システム及びその制御方法並びに情報処理装置 | |
CN109413152A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN106302524A (zh) | 一种操控远端应用软件的方法 | |
CN106412617A (zh) | 远程调试控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200410 Termination date: 20210330 |