CN110223413A - 智能巡检方法、装置、计算机存储介质和电子设备 - Google Patents
智能巡检方法、装置、计算机存储介质和电子设备 Download PDFInfo
- Publication number
- CN110223413A CN110223413A CN201910506895.9A CN201910506895A CN110223413A CN 110223413 A CN110223413 A CN 110223413A CN 201910506895 A CN201910506895 A CN 201910506895A CN 110223413 A CN110223413 A CN 110223413A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- image data
- inspection
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Abstract
本公开涉及人工智能和虚拟现实技术领域,具体公开了一种智能巡检方法及装置、存储介质和电子设备。该智能巡检方法包括:建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令;通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。本公开通过建立巡检平台与监控后台之间的通信连接,以使用户观察到机器的视觉环境,进而通过人机配合的巡检方式提高巡检过程的效率、准确性和安全性。
Description
技术领域
本公开涉及人工智能和虚拟现实技术领域,更具体地,涉及一种智能巡检方法、智能巡检装置、计算机存储介质和电子设备。
背景技术
在人工智能技术领域迅速发展的趋势下,为了提高工作效率和保障劳动力的安全,越来越多的行业,例如电力、石油和化工等高危行业开始利用人工智能替代人类劳动。
为了避免因工作失误和各种意外情况的影响造成的损失,也为了对相关未知环境领域的探索研究,相关技术中,基于人工智能技术利用机器人完成巡检任务,然而由于巡检环境的复杂程度高、巡检路线多、监测目标种类多等,可能导致机器人的运动控制能力差、巡检耗时、效率低和巡检目标定位难等问题。
因此,有必要提供一种新的智能巡检方法。
需要说明的是,在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种智能巡检方法及装置、计算机存储介质和电子设备,进而至少在一定程度上避免了智能巡检的效率低、耗时和巡检目标定位难等问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种智能巡检方法,所述方法包括:建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令;通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
在本公开的一种示例性实施例中,所述影像数据包括多个图像数据;所述对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像,包括:对所述多个图像数据进行图像拼接处理,以获取第一图像;基于预设模型对所述多个图像数据进行目标识别处理,以获取具有定位目标的标记图像;根据所述第一图像和所述标记图像,确定所述影像数据对应的目标影像。
在本公开的一种示例性实施例中,在所述对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像之前,所述方法还包括:获取训练数据,所述训练数据包括图像数据样本及所述图像数据样本对应的标记图像样本;基于所述训练数据,对一机器学习模型进行训练,以生成所述预设模型。
在本公开的一种示例性实施例中,所述根据所述第一图像和所述标记图像,确定所述影像数据对应的目标影像,包括:将所述标记图像中的定位目标映射至所述第一图像,以确定所述影像数据对应的目标影像。
在本公开的一种示例性实施例中,所述将所述标记图像中的定位目标映射至所述第一图像,以确定所述影像数据对应的目标影像,包括:根据所述标记图像的位置和尺寸数据,获取所述定位目标的坐标;根据所述定位目标的坐标,在所述第一图像中确定目标框,并将具有所述目标框的第一图像确定为所述影像数据对应的目标影像。
在本公开的一种示例性实施例中,所述方法还包括:获取所述用户基于所述显示平台的所述目标影像生成的修正指令;根据所述修正指令,对所述目标影像进行修正处理,并保存修正结果。
在本公开的一种示例性实施例中,所述目标影像为VR全景图像格式。
根据本公开的一个方面,提供一种智能巡检装置,所述装置包括:通信模块,用于建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;影像处理模块,用于对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;影像传输模块,用于将所述目标影像输出至显示平台,并接收用户基于所述显示平台的所述目标影像生成的调整指令;指令发送模块,用于通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
根据本公开的一个方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的智能巡检方法。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的智能巡检方法。
本公开的示例性实施方式中的智能巡检方法,建立与巡检平台的通信连接,通过接收巡检平台采集到的影像数据及向该巡检平台发送用户生成的调整指令,实现了人机配合的巡检方式。一方面,将接收到的巡检平台采集到的影像数据对应的目标影像输出至显示平台,可以使用户通过通信连接进入巡检平台的视角,实时观察到巡检平台采集到的影像数据,可有效提高对巡检情况的掌握程度;另一方面,通过接收用户发送的根据该些影像数据生成的状态调整指令,提高了巡检的运动控制效率和目标定位的准确性。因此,通过人机配合的巡检方式,既利用了人工智能的大数据处理能力,也避免了人类劳动力与危险环境的直接接触,还保证了巡检的效率和准确性,进而可促进巡检任务的顺利完成。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示意性示出了本公开的示例性实施方式的智能巡检方法的流程图;
图2示意性示出了本公开的示例性实施方式的一种影像采集设备(VR相机)的示意图;
图3示意性示出了本公开的示例性实施方式的VR相机的配置示意图;
图4示意性示出了本公开的示例性实施方式的获取影像数据对应的目标影像的流程图;
图5示意性示出了本公开的示例性实施方式的确定影像数据对应的目标影像的流程图;
图6示意性示出了本公开的示例性实施方式的智能巡检系统的示意图;
图7示意性示出了本公开的示例性实施方式的智能巡检装置的结构示意图;
图8示意性示出了本公开的示例性实施方式的存储介质的示意图;以及
图9示意性示出了本公开的示例性实施方式的电子设备的框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
现在将参考附图更全面地描述示例性实施方式。然而,示例性实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施例使得本公开将更加全面和完整,并将示例性实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构,因而将省略它们的详细描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本领域的相关技术中,执行巡检任务主要包括两种方式:人工巡检和机器巡检。其中,人工巡检为常用的巡检方式,其主要通过巡视人员定期进行巡检并记录数据;机器巡检是利用人工智能处理大数据的效率高等优势,对任务进行定位和巡检。
相应的,相关技术中的智能巡检方法存在如下缺陷:一方面,巡检过程不可避免的与危险环境接触,难以保障巡检人员的安全性;同时,也难以避免因人为因素导致巡检目标被忽略、巡检数据输入错误和编纂巡检数据等问题。另一方面,基于人工智能的机器巡检方法,机器无法真正实现人工智能,进而无法处理相对复杂的环境和巡检路线,也难以准确定位巡检目标。
基于此,在本公开的示例性实施方式中,首先提供了一种智能巡检方法。图1示出了本公开示例性实施方式的智能巡检方法流程图,其中,所述巡检平台包括但不限于VR(Virtual Reality,虚拟现实)相机等影像采集设备。参考图1,该智能巡检方法包括以下步骤:
步骤S110:建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;
步骤S120:对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;
步骤S130:将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令;
步骤S140:通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
根据本示例性实施方式中的智能巡检方法,一方面,将接收到的巡检平台采集到的影像数据对应的目标影像输出至显示平台,可以使用户通过通信连接进入巡检平台的视角,实时观察到巡检平台采集到的影像数据,可有效提高对巡检情况的掌握程度;另一方面,通过接收用户发送的根据该些影像数据生成的状态调整指令,提高了巡检的运动控制效率和目标定位的准确性。因此,通过人机配合的巡检方式,既利用了人工智能的大数据处理能力,也避免了人类劳动力与危险环境的直接接触,还保证了巡检的效率和准确性,进而可促进巡检任务的顺利完成。
本公开示例性实施方式中的智能巡检方法的执行主体为监控平台,监控平台包括但不限于图像拼接模块、目标识别模块和融合模块等。
下面将结合图1对本公开示例性实施方式中的智能巡检方法进行详细阐述:
在步骤S110中,建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据。
在本公开的示例性实施方式中,监控平台通过无线传输模块建立与巡检平台的通信连接。其中无线传输模块包括但不限于蓝牙传输、4G(the fourth Generation mobilecommunication technology,第四代移动通信技术)无线传输模块和5G(the fifthGeneration mobile communication technology,第五代移动通信技术)无线传输模块等,在可选的实施例中,无线传输模块可置于监控平台内,或者,置于巡检平台内,又或,独立于监控平台和巡检平台,本公开对无线传输模块的设置位置不做特殊限定。巡检平台为包括一个或多个影像采集设备(例如VR照相机等)且具有接收命令进行移动的机械电子设备,例如:无人机、机器车和机器人,等等,本公开对巡检平台的具体形式不做特殊限定。
图2示出了本公开的示例性实施方式的一种影像采集设备(VR相机)的示意图,如图2所示,VR相机可拍摄360°、440或720°范围内的立体画面和视频等影像,该相机可以是如双向箭头所示的环形配置。参见图3所示的本公开的示例性实施方式的VR相机的配置示意图,在可选实施示例中,VR相机可采用水平和垂直角度分别为90°的视角设置,当然,还可以根据实际情况选取其他的影像采集设备及设备配置方式,本公开对此不再一一列举。通过监控平台与巡检平台之间的无线通信,可实时接收巡检平台通过影像采集设备采集到的影像数据,以实现对巡检工作的远程/短距离的监视,以便于实时掌握巡检信息。
此外,在可选的实施例中,根据实际巡检任务情况,巡检平台还可以包括温度传感器、湿度传感器、气体传感器、烟雾传感器、压力传感器、液位传感器和颗粒物传感器等,本公开对此不再一一列举,通过无线通信将无线传感器的数据发送至监控平台,增加巡检任务的广度,减少操作工人的操作步骤,提高巡检任务的效率和安全性。
在步骤S120中,对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像。
在本公开的示例性实施方式中,通过影像采集设备采集到的影像数据包括但不限于多个图像数据,图像转化处理包括图像拼接处理、目标识别处理及图像融合处理。具体而言,图4示出了获取影像数据对应的目标影像的流程图,如图4所示,该过程包括如下步骤:
在步骤S410中,对所述多个图像数据进行图像拼接处理,以获取第一图像。
在本公开的示例性实施方式中,图像拼接处理过程是通过图像拼接模块将影像采集设备采集到的多个有重叠部分的图像数据(可能来自不同时间或不同视角)进行拼接,以获得可供相关显示设备显示的全景图像格式,例如将图像数据对应的画面拼接成可供VR显示设备显示的全景图像格式。在可选的实施例中,可以根据采集到的图像数据的编号将图像数据分为两个组,其中一组的画面进行拼接,并作为透射至VR显示设备的左眼画面,将另一组的画面进行拼接,并作为透射至VR显示设备的右眼画面,例如将编号为奇数的图像数据和编号为偶数的图像数据分别作为一个组进行拼接处理。通过图像的拼接处理,将影像数据拼成一幅全景图像,可以提高影像数据的立体效果,以便提高显示的沉浸感。当然,还可以根据实际需要采用其他拼接方式,本公开对图像拼接的具体方式不做特殊限定。
在步骤S420中,基于预设模型对所述多个图像数据进行目标识别处理,以获取具有定位目标的标记图像。
在本公开的示例性实施方式中,目标识别处理为目标识别模块根据预设模型对图像数据进行特定目标识别,以使该特定目标被区分出来的过程,其识别结果与预设模型及模型的训练过程相关。定位目标为图像数据中需要被巡检的对象,例如电力巡检系统中的某个设备等。具体而言,在对影像数据进行图像转化处理,以获取影像数据对应的目标影像之前,需要首先获取训练数据,该训练数据包括图像数据样本及图像数据样本对应的标记图像样本;然后,将图像数据样本作为输入向量,输入至一机器学习模型,对该机器学习模型进行训练,以生成所述预设模型。其中,可针对不同的巡检任务所面临的具体问题的不同采用不同的数据样本进行训练,例如根据巡检任务是否存在障碍物,障碍物的具体形式、巡检任务是否存在有害气体等,选择相应的数据样本。
在可选的实施例中,机器学习模型可以包括但不限于卷积神经网络或深度残差网络等,本领域技术人员可以根据需求使用相应的机器学习模型,本公开对此不做具体限定。训练过程中,将图像数据样本输入至机器学习模型,设定好学习率、训练次数、损失函数以及优化目标等训练参数后,可自动训练得到所述预设模型。进一步的,基于训练好的预设模型,将获得的图像数据输入至训练好的预设模型进行处理,以输出具有定位目标的标记图像,该过程可快速实现巡检目标的定位,提高定位目标的效率。
在步骤S430中,根据所述第一图像和所述标记图像,确定所述影像数据对应的目标影像。
在本公开的示例性实施方式中,可以将标记图像中的定位目标映射至第一图像,以确定影像数据对应的目标影像。图5示出了确定影像数据对应的目标影像的流程图,如图5所示,该过程包括如下步骤:
在步骤S510中,根据所述标记图像的位置和尺寸数据,获取所述定位目标的坐标。
在本公开的示例性实施方式中,影像采集设备采集到的图像数据均有对应的位置编号和尺寸数据,首先根据图像数据的位置标号确定目标标记图像,然后根据目标标记图像的尺寸数据确定定位目标在目标标记图像中的坐标,例如,可以以目标标记图像的上、下和/或侧边为基准,确定定位目标的坐标,或者,以目标标记图像的中心点为基准,确定定位目标的坐标,本公开对此不做特殊要求。
在步骤S520中,根据所述定位目标的坐标,在所述第一图像中确定一目标框,并将具有所述目标框的第一图像确定为所述影像数据对应的目标影像。
在本公开的示例性实施方式中,选择与目标标记图像的位置编号对应的第一图像,并在该第一图像中将定位目标的坐标框出,以实现将第一图像与目标标记图像的融合。在可选的实施例中,可以将目标框进行突出显示,例如将目标框以区别于第一图像主色调的颜色进行显示、又如将目标框以线条加粗等方式显示,等等,本公开对目标框的显示形式不做特殊限定。通过融合模块将第一图像与标记图像的的融合处理获得的目标影像中可直观的确定出定位目标的当前状态,以便于从采集到的影像数据中快速定位待巡检对象,有效提高了巡检效率。
需要说明的是,上述步骤S120是对影像数据为图像数据的示例性说明,影像数据还可以包括视频数据等,对视频数据的处理过程同样也可以包括图像拼接处理和目标识别处理及图像融合处理等,本公开对此不再赘述。
在步骤S130中,将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令。
在本公开的示例性实施方式中,显示平台为设有显示设备的平台,显示设备为具有显示功能的配件或设备,例如具有VR显示功能的智能配件,其需要结合手机或平板电脑等使用,又如具有显示功能的一体机,其具有独立的数据处理能力,再如连接高性能计算机的显示设备,等等,可根据实际需求选择相应的显示设备,本公开对显示设备的种类不做特殊限定。
在监控平台将目标影像输出至显示平台后,用户可通过该显示平台进入巡检平台的视角,实时观测到巡检过程中的画面,并基于该画面掌握巡检平台的状态,同时,还可以获取用户基于该画面生成的调整指令。在可选的实施例中,当用户得知目标影像中的定位目标有误时,可以通过输入设备对识别结果进行修正,其中,输入设备包括但不限于:鼠标、键盘、语音指令、手柄或数据手套等。进一步的,监控平台获取用户基于目标影像生成的修正指令后,根据该修正指令对目标影像进行修正处理,此外,还可以保存修正结果,以将修正结果作为预设模型的训练样本的数据存储。
在步骤S140中,通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
在本公开的示例性实施方式中,巡检平台的状态调整包括但不限于运动速度的调整和运动方向的调整,在获取用户通过输入设备输入的调整指令后,将该调整指令发送至巡检平台,以使巡检平台根据调整指令对其状态进行自动调整。其中,在可选的实施例中,可以通过巡检平台控制模块连接至无线通信,并将用户生成的调整指令发送至巡检平台,其中巡检平台控制模块可设置于监控平台,也可独立于监控平台,本公开对此不做特殊限定。
通过将调整指令发送至巡检平台,以使巡检平台根据调整指令进行状态的调整,使得巡检过程中,不仅发挥巡检平台的大数据处理能力,也避免了巡检平台在运动状态控制和目标定位不准确等劣势,通过人机配合可有效提高巡检的效率和准确性。
图6示出了本公开的示例性实施方式的智能巡检系统的示意图,下面结合图6对本公开的示例性实施方式的智能巡检方法进行说明。
该智能巡检系统主要包括显示设备600、影像采集设备601、巡检平台602、数据传输模块603、图像拼接模块604、目标识别模块605、巡检平台控制模块606和融合模块607,其中影像采集设备为VR相机、巡检平台为机器人平台、显示设备为VR显示设备,且数据传输模块603、图像拼接模块604、目标识别模块605、巡检平台控制模块606和融合模块607可包含于监控平台。
如图6所示,首先,VR相机601采集巡检现场的图像,并通过无线传输模块603传输至VR图像拼接模块604和目标识别模块605;然后,VR图像拼接模块604将VR相机601采集的画面拼接成可供VR显示设备600展示的全景图像格式,目标识别模块605基于预设模型对VR相机601采集的画面进行目标识别处理,以获取具有定位目标的标记图像;接着,融合模块607将目标识别结果映射到VR拼接后的全景图像上,并输出到VR显示设备600,进而用户就可以通过VR显示设备600看到具有识别结果的全景VR影像。通过上述巡检过程,可提供高沉浸感巡检环境和巡检结果。此外,用户还可以根据需要随时调整机器人运动速度和运动方向,形成调整指令,该调整指令通过机器人控制模块606连接无线传输模块603,传输给机器人平台602,其中可以通过接口调用方式实现调整指令的传输。
综上,本公开示例性实施方式的智能巡检方法通过将接收到的巡检平台采集到的影像数据对应的目标影像输出至显示平台,可以使用户通过通信连接进入巡检平台的视角,实时观察到巡检平台采集到的影像数据,可有效提高对巡检情况的掌握程度;另一方面,通过接收用户发送的根据该些影像数据生成的状态调整指令,提高了巡检的运动控制效率和目标定位的准确性。因此,通过人机配合的巡检方式,既利用了人工智能的大数据处理能力,也避免了人类劳动力与危险环境的直接接触,还保证了巡检的效率和准确性,进而可促进巡检任务的顺利完成。
此外,在本公开的示例性实施方式中,还提供了一种智能巡检装置,该智能巡检装置700包括通信模块710、影像处理模块720、影像传输模块730和指令发送模块740。具体地,
通信模块710,用于建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;
影像处理模块720,用于对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;
影像传输模块730,用于将所述目标影像输出至显示平台,并接收用户基于所述显示平台的所述目标影像生成的调整指令;
指令发送模块740,用于通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
上述装置中各模块/单元的具体细节在方法部分的实施方式中已经详细说明,因此不再赘述。
此外,在本公开的示例性实施方式中,还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
参考图8所示,描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种实施例的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
存储单元9201可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种智能巡检方法,其特征在于,包括:
建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;
对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;
将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令;
通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
2.根据权利要求1所述的智能巡检方法,其特征在于,所述影像数据包括多个图像数据;
所述对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像,包括:
对所述多个图像数据进行图像拼接处理,以获取第一图像;
基于预设模型对所述多个图像数据进行目标识别处理,以获取具有定位目标的标记图像;
根据所述第一图像和所述标记图像,确定所述影像数据对应的目标影像。
3.根据权利要求2所述的智能巡检方法,其特征在于,在所述对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像之前,所述方法还包括:
获取训练数据,所述训练数据包括图像数据样本及所述图像数据样本对应的标记图像样本;
基于所述训练数据,对一机器学习模型进行训练,以生成所述预设模型。
4.根据权利要求2所述的智能巡检方法,其特征在于,所述根据所述第一图像和所述标记图像,确定所述影像数据对应的目标影像,包括:
将所述标记图像中的定位目标映射至所述第一图像,以确定所述影像数据对应的目标影像。
5.根据权利要求4所述的智能巡检方法,其特征在于,所述将所述标记图像中的定位目标映射至所述第一图像,以确定所述影像数据对应的目标影像,包括:
根据所述标记图像的位置和尺寸数据,获取所述定位目标的坐标;
根据所述定位目标的坐标,在所述第一图像中确定目标框,并将具有所述目标框的第一图像确定为所述影像数据对应的目标影像。
6.根据权利要求1所述的智能巡检方法,其特征在于,所述方法还包括:
获取所述用户基于所述显示平台的所述目标影像生成的修正指令;
根据所述修正指令,对所述目标影像进行修正处理,并保存修正结果。
7.根据权利要求1至6任一项所述的智能巡检方法,其特征在于,所述目标影像为VR全景图像格式。
8.一种智能巡检装置,其特征在于,所述装置包括:
通信模块,用于建立与巡检平台的通信连接,并通过所述通信连接接收所述巡检平台采集到的影像数据;
影像处理模块,用于对所述影像数据进行图像转化处理,以获取所述影像数据对应的目标影像;
影像传输模块,用于将所述目标影像输出至显示平台,并获取用户基于所述显示平台的所述目标影像生成的调整指令;
指令发送模块,用于通过所述通信连接将所述调整指令发送至所述巡检平台,以使所述巡检平台根据所述调整指令进行状态调整。
9.一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的智能巡检方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的智能巡检方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910506895.9A CN110223413A (zh) | 2019-06-12 | 2019-06-12 | 智能巡检方法、装置、计算机存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910506895.9A CN110223413A (zh) | 2019-06-12 | 2019-06-12 | 智能巡检方法、装置、计算机存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110223413A true CN110223413A (zh) | 2019-09-10 |
Family
ID=67816627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910506895.9A Pending CN110223413A (zh) | 2019-06-12 | 2019-06-12 | 智能巡检方法、装置、计算机存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110223413A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796738A (zh) * | 2019-09-23 | 2020-02-14 | 北京铂石空间科技有限公司 | 巡检设备状态跟踪的三维可视化方法及装置 |
CN112040175A (zh) * | 2020-07-31 | 2020-12-04 | 深圳供电局有限公司 | 无人机巡检方法、装置、计算机设备和可读存储介质 |
CN112906552A (zh) * | 2021-02-07 | 2021-06-04 | 上海卓繁信息技术股份有限公司 | 一种基于计算机视觉的巡检方法、装置和电子设备 |
CN113301306A (zh) * | 2021-05-24 | 2021-08-24 | 中国工商银行股份有限公司 | 智能巡检方法及系统 |
CN113793442A (zh) * | 2020-08-07 | 2021-12-14 | 北京京东尚科信息技术有限公司 | 巡检方法、装置、电子设备和计算机可读存储介质 |
CN114783188A (zh) * | 2022-05-17 | 2022-07-22 | 阿波罗智联(北京)科技有限公司 | 巡检方法和装置 |
CN115659452A (zh) * | 2022-09-21 | 2023-01-31 | 联通数字科技有限公司 | 一种智能巡视方法、智能巡视系统及计算机可读存储介质 |
-
2019
- 2019-06-12 CN CN201910506895.9A patent/CN110223413A/zh active Pending
Non-Patent Citations (2)
Title |
---|
罗振: "《空中多面手—特种飞机》", 31 August 2013 * |
都伊林: "《智能安防新发展与应用》", 31 May 2018 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796738A (zh) * | 2019-09-23 | 2020-02-14 | 北京铂石空间科技有限公司 | 巡检设备状态跟踪的三维可视化方法及装置 |
CN110796738B (zh) * | 2019-09-23 | 2023-04-25 | 北京铂石空间科技有限公司 | 巡检设备状态跟踪的三维可视化方法及装置 |
CN112040175A (zh) * | 2020-07-31 | 2020-12-04 | 深圳供电局有限公司 | 无人机巡检方法、装置、计算机设备和可读存储介质 |
CN113793442A (zh) * | 2020-08-07 | 2021-12-14 | 北京京东尚科信息技术有限公司 | 巡检方法、装置、电子设备和计算机可读存储介质 |
CN113793442B (zh) * | 2020-08-07 | 2023-11-03 | 北京京东尚科信息技术有限公司 | 巡检方法、装置、电子设备和计算机可读存储介质 |
CN112906552A (zh) * | 2021-02-07 | 2021-06-04 | 上海卓繁信息技术股份有限公司 | 一种基于计算机视觉的巡检方法、装置和电子设备 |
CN113301306A (zh) * | 2021-05-24 | 2021-08-24 | 中国工商银行股份有限公司 | 智能巡检方法及系统 |
CN114783188A (zh) * | 2022-05-17 | 2022-07-22 | 阿波罗智联(北京)科技有限公司 | 巡检方法和装置 |
CN115659452A (zh) * | 2022-09-21 | 2023-01-31 | 联通数字科技有限公司 | 一种智能巡视方法、智能巡视系统及计算机可读存储介质 |
CN115659452B (zh) * | 2022-09-21 | 2024-04-12 | 联通数字科技有限公司 | 一种智能巡视方法、智能巡视系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223413A (zh) | 智能巡检方法、装置、计算机存储介质和电子设备 | |
CN111897332B (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
CN106182027B (zh) | 一种开放式服务机器人系统 | |
CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
JP6900918B2 (ja) | 学習装置及び学習方法 | |
CN110756462B (zh) | 电源适配器测试方法、装置、系统、控制装置及存储介质 | |
CN110977981A (zh) | 一种机器人虚拟现实同步系统及同步方法 | |
CN112414401B (zh) | 基于图神经网络的无人机协同定位系统及方法 | |
CN107160403A (zh) | 一种具有多功能人机接口模块的智能机器人系统 | |
CN111966217A (zh) | 基于手势和眼动的无人机控制方法和系统 | |
CN110187720A (zh) | 无人机导引方法、装置、系统、介质及电子设备 | |
JP2023537080A (ja) | 可動ロボットによる棚の位置姿勢の調整のための方法および装置 | |
CN115659452A (zh) | 一种智能巡视方法、智能巡视系统及计算机可读存储介质 | |
CN109885091B (zh) | 一种无人机自主飞行控制方法及系统 | |
CN112123338A (zh) | 一种支持深度学习加速的变电站智能巡检机器人系统 | |
CN116494201A (zh) | 一种监控一体化的电力机房巡检机器人及无人巡检方法 | |
CN109002633B (zh) | 基于独立空间的设备网络建模方法 | |
CN115661966A (zh) | 一种基于增强现实的巡检系统和方法 | |
CN115576324A (zh) | 机器人巡检方法、装置、存储介质及机器人 | |
CN115793673A (zh) | 一种基于vr技术的天然气场站机器人巡检方法和装置 | |
CN116225213A (zh) | 一种电网元宇宙系统及构建方法 | |
CN114967674A (zh) | 基于变电站全景感知的机器人巡检任务配置方法与系统 | |
CN111660294B (zh) | 一种液压重载机械臂增强现实操控系统 | |
CN114363375A (zh) | 一种基于5g通讯的电气柜ar智能巡检系统及方法 | |
US20210247758A1 (en) | Teleoperation with a wearable sensor system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |
|
RJ01 | Rejection of invention patent application after publication |