CN116405638A - 基于多元传感器的智能巡检装置、巡检系统及巡检方法 - Google Patents

基于多元传感器的智能巡检装置、巡检系统及巡检方法 Download PDF

Info

Publication number
CN116405638A
CN116405638A CN202310347418.9A CN202310347418A CN116405638A CN 116405638 A CN116405638 A CN 116405638A CN 202310347418 A CN202310347418 A CN 202310347418A CN 116405638 A CN116405638 A CN 116405638A
Authority
CN
China
Prior art keywords
module
inspection
patrol
intelligent
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310347418.9A
Other languages
English (en)
Inventor
钱浩东
刘洋
谭宾
曾静
江涛
张帆
刘伟
宋鑫
张觉文
陈星玮
宋泽文
金亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Original Assignee
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Petroleum Corp, CNPC Chuanqing Drilling Engineering Co Ltd filed Critical China National Petroleum Corp
Priority to CN202310347418.9A priority Critical patent/CN116405638A/zh
Publication of CN116405638A publication Critical patent/CN116405638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提供了一种基于多元传感器的智能巡检装置、巡检系统及巡检方法，其中，智能巡检装置包括MR端眼镜、高清副摄像头、传输模组和控制系统；MR端眼镜包括内置摄像头和语音模块，内置摄像头可显示虚拟界面，语音模块可接受语音和手势信号；高清副摄像头可采集巡检现场图像信息；传输模组可传输数据；控制系统包括巡检模块、目标检测模块、三维重建模块和远程交互模块，巡检模块可制定巡检作业流程，目标检测模块可接收图像信息以检测巡检现场目标，三维重建模块可依据图像信息进行3D建模，远程交互模块可通过传输模组进行远程实时交互。本发明将AI、MR技术融入智能巡检装置，提升了巡检效率、也降低了巡检人员主观错误率。

Description

基于多元传感器的智能巡检装置、巡检系统及巡检方法
技术领域
本发明涉及利用人工智能(AI)、介导现实(MR)的智能巡检技术领域，具体来讲，涉及一种基于多元传感器的智能巡检装置、巡检系统及巡检方法。
背景技术
目前智能巡检技术应用前景广阔，特别适用于高危行业(如石油、石化)、人工作业有风险(如电力站)的场景、人不容易去或少去的地方(如隧道、地下管廊等)。
原有的巡检技术大多是传统的人工巡检和简单的手持巡检设备巡检，作业巡检人员需要基于纸质巡检作业表，进行每一项检查确认、记录，作业效率低；巡检过程多依赖于员工的经验主观进行现场判断，缺乏标准性；后端指挥人员也无法对现场巡检人员进行作业监控等各种问题，对于钻井现场的实际情况已经不能完全适用了。
发明内容
本发明的目的在于解决现有技术存在的上述不足中的至少一项。例如，本发明的目的之一在于提供一种基于多元传感器的智能巡检装置、巡检系统及巡检方法，以解决目前钻井现场设备巡检、过程管控等方面存在巡检过程实时性不强、巡检记录留档或记录方式传统、后端对巡检实时监控困难、无法进行远程协助等问题，利用当前AI、MR等日趋成熟的数字技术，将人工智能(AI)、介导现实(MR)技术融入智能巡检装置,提升了整个巡检过程的效率、也减少了巡检人员主观性错误的概率。整体提升钻井现场关键区域的巡检管控水平和助推井场作业数字化转型钻井智能化发展。
为了实现上述目的，本发明一方面提供了一种基于多元传感器的智能巡检装置，所述智能巡检装置可包括MR端眼镜、高清副摄像头、传输模组和控制系统；其中，MR端眼镜包括内置摄像头和语音模块，内置摄像头能够用于显示虚拟界面，语音模块能够用于接受语音和手势信号；高清副摄像头能够用于采集巡检现场图像信息；传输模组能够用于传输数据；控制系统包括巡检模块、目标检测模块、三维重建模块和远程交互模块，巡检模块用于制定巡检作业流程，目标检测模块能够接收高清副摄像头和内置摄像头所采集的巡检现场图像信息以用于对巡检现场目标的检测，三维重建模块能够依据巡检作业场景图像信息进行3D建模，远程交互模块能够通过传输模组以用于在巡检中进行远程实时交互。
可选择地，所述智能巡检装置还可包括巡检头盔，所述MR端眼镜、高清副摄像头和传输模组可设置在巡检头盔上；巡检头盔上还可设置有报警模块和滑轨组件，报警模块能够用于紧急报警，滑轨组件能够搭载多个模组。
可选择地，所述巡检模块中可集成有工种选择、线路选择、锚点放置和异常反馈四种子模块，能够针对不同作业场景、作业路线、不同工种制定并完成相应的数字化巡检任务及流程。
可选择地，所述目标检测模块中可集成有特征码识别和物体识别两种子模块，能够通过智能识别模型和特征码的方式实现钻井作业环境中的多目标的检测识别。
可选择地，所述三维重建模块可基于视觉传感设备和卷积神经网络来针对钻井作业场景进行3D模型构建。
可选择地，所述远程交互模块中可集成有语音交互、视频交互和截屏涂画三种子模块，能够与EISS平台的智能巡检交互系统相连，以实现井场区域智能巡检的远程实时交互和远程专家功能。
可选择地，所述内置摄像头可将获取的巡检设备图像信息传入所述目标检测模块和三维重建模块中；所述目标检测模块能够对巡检目标设备进行物体特征训练提取；所述三维重建模块能够利用人工智能训练算法，对所述目标检测模块所提取的物体特征进行训练形成训练特征模型，并与所述内置摄像头所扫描的物体特征进行比对识别。
可选择地，所述锚点放置中可集成有锚点程序，锚点程序能够通过初始化进行布点，初始化布点按工种排布，相同点位不同工种能够共用。
可选择地，所述MR端眼镜中可植入蓝牙模块、语音识别模块以将所述内置摄像头获取的用户手势输入、语音输入信息进行识别和数据传输。
本发明另一方面提供了一种基于多元传感器的智能巡检系统，所述巡检系统可包括如上所述的基于多元传感器的智能巡检装置，还可包括EISS平台和BIM云管理平台，所述基于多元传感器的智能巡检装置分别与EISS平台、BIM云管理平台相连，能够与EISS平台、BIM云管理平台之间进行巡检数据的双向传输。
本发明再一方面提供了一种基于多元传感器的智能巡检方法，所述巡检方法可、采用如上所述的基于多元传感器的智能巡检装置或基于多元传感器的智能巡检系统来进行。
与现有技术相比，本发明的基于多元传感器的智能巡检装置、巡检系统及巡检方法，可用于解放巡检人员双手，实现巡检智能化、流程符合川庆公司标准、技术支持远程交互。在作业巡检过程中将作业过程数据进行实时记录并进行智能结构化分析，并上传到后端。可以从中提取出设备结构化信息，提供包括智能检索、数据统计、提前预警、任务管理、资源管理、系统校时、日志查询等功能，业务响应敏捷，本发明的有益效果包括以下内容中的至少一项：
1)多点感知：通过MR混合现实技术设备(基于HoloLens2定制的Trimble XR10)包括手眼跟踪传感器、深度传感器等多种传感器，由立体视觉技术形成的视场中带有物体的三维几何信息，形成多维感知一体化。
2)低时延信息传输：通过巡检设备集成的WIFI模块、蓝牙模块等实现跨系统之间的信息数据交互、事件联动响应。5通道麦克风阵列和创新的骨传导耳机，提供晶莹剔透高噪声环境下的双向通信。
3)高识别率、智能化：通过人工智能算法将物体进行模型训练，提取物体特征，将AI算力注入系统前端感知设备，提供边缘侧的目标检测、特征提取、无损建模等智能感知理解能力，提高识别准确率等。
4)便携性和安全性：可穿戴性Trimble连接HoloLens一方面解放了巡检人员双手，同时通过了Class I,Division 2-GroupsA,B,C与D HAZLOC和安全防爆认证，一定程度上保证了巡检过程的安全性。
附图说明
通过下面结合附图进行的描述，本发明的上述和其他目的和/或特点将会变得更加清楚，其中：
图1示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的结构示意图。
图2示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的MR端智能巡检头盔的软件模块示意图。
图3示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的软件流程示意图。
图4示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的MR端巡检架构图。
图5示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的算法过程示意图。
图6示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的巡检流程示意图。
图7示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的锚点程序布点流程示意图。
附图标记说明：
1-MR端眼镜，2-高清副摄像头，3-传输模组，4-SOS按键，5-滑轨组件，6-旋钮，7-电源，8-夹扣，a-先验框一，b-先验框二，c-被检测物，d-输入图像，e-输出数据。
具体实施方式
在下文中，将结合示例性实施例来详细说明本发明的基于多元传感器的智能巡检装置、巡检系统及巡检方法。
在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在相关巡检技术中，大多依靠传统的人工巡检和简单的手持巡检设备巡检，作业巡检人员需要基于纸质巡检作业表，进行每一项检查确认、记录，作业效率低；巡检过程多依赖于员工的经验主观进行现场判断，缺乏标准性；后端指挥人员也无法对现场巡检人员进行作业监控等各种问题，对于钻井现场的实际情况已经不能完全适用了。
基于此，本发明提供了一种基于多元传感器的智能巡检装置、巡检系统及巡检方法，其中，所述基于多元传感器的智能巡检装置包括MR端眼镜、高清副摄像头、传输模组和控制系统；其中，MR端眼镜包括内置摄像头和语音模块，内置摄像头能够用于显示虚拟界面，语音模块能够用于接受语音和手势信号；高清副摄像头能够用于采集巡检现场图像信息；传输模组能够用于传输数据；控制系统包括巡检模块、目标检测模块、三维重建模块和远程交互模块，巡检模块用于制定巡检作业流程，目标检测模块能够接收高清副摄像头和内置摄像头所采集的巡检现场图像信息以用于对巡检现场目标的检测，三维重建模块能够依据巡检作业场景图像信息进行3D建模，远程交互模块能够通过传输模组以用于在巡检中进行远程实时交互。
本发明的基于多元传感器的智能巡检装置、巡检系统及巡检方法，可用于解放巡检人员双手，实现巡检智能化、流程符合川庆公司标准、技术支持远程交互。在作业巡检过程中将作业过程数据进行实时记录并进行智能结构化分析，并上传到后端。可以从中提取出设备结构化信息，提供包括智能检索、数据统计、提前预警、任务管理、资源管理、系统校时、日志查询等功能，业务响应敏捷。
示例性实施例1
本示例性实施例提供了一种基于多元传感器的智能巡检装置。
图1示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的结构示意图；图2示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的MR端智能巡检头盔的软件模块示意图；图3示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的软件流程示意图；图4示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的MR端巡检架构图；图5示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的算法过程示意图；图6示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的巡检流程示意图；图7示出了本发明示例性实施例1的基于多元传感器的智能巡检装置的锚点程序布点流程示意图。
如图1至图7中所示，所述基于多元传感器的智能巡检装置可包括MR端眼镜1、高清副摄像头2、传输模组3和控制系统(图中未示出)，其中，MR端眼镜1采用双目衍射光波导以及DLP光机近眼显示技术，可用于巡检人员佩戴并通过其观察巡检现场画面；MR端眼镜1中还设置有内置摄像头和语音模块(图中未示出)，内置摄像头可用于对巡检现场进行扫描识别并显示虚拟界面，语音模块可用于接收语音和手势信号，例如，巡检人员之间的对话、巡检现场中的背景环境噪音、内置摄像头所捕捉的巡检人员手势等肢体动作等，语音模块均可对上述信号进行识别、分析、传输和存储。
在本实施例中，高清副摄像头2可实现对巡检现场进行图像信息的采集、扫描识别以及信号传输等功能；传输模组3可包括5G模组，可用于将所述基于多元传感器的智能巡检装置中各个模块收集的数据信号进行传输；但本发明不限于此，高清副摄像头2可为单个独立摄像头，也可为由多个摄像头集成设置的摄像头组；传输模组3也可为除5G模组之外的其他任意形式的信号传输模组，本发明不作具体限定。
在本实施例中，控制系统可包括巡检模块、目标检测模块、三维重建模块和远程交互模块，4种模块都设置于控制系统中，其中，巡检模块可用于制定巡检作业流程，具体地，例如当巡检人员需要在油气作业现场开始巡检任务时，可通过操作所述基于多元传感器的智能巡检装置对巡检模块进行调用，选择不同的工种，利用巡检模块针对不同作业场景、作业路线、不同工种制定适用于该场景及相关设备的数字化巡检，完成制定的作业流程以及异常反馈。
进一步地，目标检测模块可用于对巡检现场目标的检测，具体地，目标检测模块可接收高清副摄像头2(用于采集结构光)和内置摄像头(用于采集可见光)所采集的巡检现场图像信息并建立针对钻井作业环境的多目标识别模块，例如实现节控箱、泥浆泵、液面报警器、振动筛等多类型目标的智能识别模型以及通过特征码等方式来实现对目标的检测。
进一步地，三维重建模块可依据高清副摄像头2(用于采集结构光)和内置摄像头(用于采集可见光)所采集的巡检作业场景图像信息进行3D建模，具体地，可基于多种视觉传感设备结合卷积神经网络(CNN)构建针对钻井作业场景下的3D重建模型，对单帧图像或连续多帧视频中所出现的钻井井场关键设备进行高精度精准重建。
进一步地，远程交互模块可用于在巡检中进行远程实时交互，可通过智能巡检头盔中设置的传输模组(即无线模组)与EISS平台的智能巡检交互系统相连，通过语音交互、视频交互、截屏涂画等功能实现井场区域智能巡检的远程专家功能，对现有巡检流程进行优化，尽量做到一次巡检多次运用，减少低效的重复巡检，实现EISS对现场巡检的远程实时交互；但本发明不限于此，控制系统中除可包括上述4种模块之外，也可包括任意其他功能模块，只要各个功能模块之间可各自实现不同的功能即可，本发明不作具体限定。
在本实施例中，所述基于多元传感器的智能巡检装置还可包括巡检头盔，MR端眼镜1、高清副摄像头2和传输模组3都可设置在巡检头盔上，除此之外，巡检头盔上还可设置有报警模块和滑轨组件5，报警模块可用于紧急报警，具体地，报警模块中可设有安装在巡检头盔上的SOS按键4，当巡检人员在巡检路线中发生危险或当巡检现场中的设备出现紧急故障时，巡检人员可通过SOS按键进行紧急报警，报警模块支持GPS、北斗等定位功能，寻求相应帮助及服务；但本发明不限于此，报警模块中除可通过SOS按键4进行触发外，也可与MR端眼镜1中的语音模块进行连接，通过语音模块收集并识别巡检人员在危急状态下的呼救语音信号，并将该语音信号传输至报警模块中，触发报警模块进行报警，本发明对报警模块的触发方式不作具体限定。
进一步地，滑轨组件5中包括多个预留安装空间，可用于搭载除上述模组/模块之外的其他多个模组，例如红外或紫外模组等；但本发明不限于此，滑轨组件5上还可搭载除红外或紫外模组之外的其他任意模组，本发明不作具体限定。
进一步地，所述基于多元传感器的智能巡检装置还可包括安装在巡检头盔上的旋钮6、电源7和夹扣8，其中，旋钮6用于调节音量大小，将实体旋钮配套离线语音实现两种交互模式；电源7可为充电电池，可用于为所述基于多元传感器的智能巡检装置供电；夹扣8可用于将巡检头盔安装在安全帽上以便于巡检人员佩戴使用；但本发明不限于此，电源7也可为除电池之外的其他形式电源，如太阳能电池板，本发明不作具体限定。
在本实施例中，本发明所述基于多元传感器的智能巡检装置整体为MR端眼镜和便携式巡检头盔相结合的一种智能巡检设备，采用双目衍射光波导结合DLP光机近眼显示技术，一体式设计，配套离线语音+实体旋钮两种交互模式，在硬件方面，所述基于多元传感器的智能巡检装置还可配置有5G/WIFI6/蓝牙5.0，支持GPS、北斗等定位，拥有4+128G内存配置，并支持128G内存卡扩展，核心元器件和操作系统全国产化自主可控。
在本实施例中，巡检模块中可集成有工种选择、线路选择、锚点放置和异常反馈4个子模块，可针对不同作业场景、作业路线、不同工种制定并完成相应的数字化巡检任务及流程；可通过软件结合油气行业的特点将工种选择和巡检线路智能化可视化，软件程序通过HoloLens接口植入MR端眼镜1中，可通过MR端眼镜1中设置的蓝牙模块、内置摄像头、语音模块等组件获取用户手势输入、语音输入等信息作为交互信息被软件接收以作出反应，软件可在用户登录后依次经过工种选择、线路选择、锚点放置和异常反馈4个子模块的响应后，最终可针对特定的作业场景、作业路线、作业工种制定完成相应的数字化巡检任务及流程；但本发明不限于此，巡检模块中所集成设置的子模块除上述4种之外还可集成其他类型的子模块执行对应的功能，以进一步细化完善巡检任务和流程的制定，本发明对此不作具体限定。
进一步地，锚点放置中集成有锚点程序，锚点程序能够通过初始化进行布点，初始化布点按工种排布，相同点位不同工种能够共用；具体地，用户可登录软件获取用户信息和对应工种(例如司砖、副司砖、井架工、外钳工、内钳工、记录工等不同工种)，根据用户信息自动获取巡检路线，根据锚点程序识别物体(例如死、活绳头、液气大钳等巡检目标)，获取物体实时数据进行巡检，异常情况反馈包括拍照和文字记录；登录后软件的巡检主界面包括工种选择、巡检线路选择、物体识别、远程专家等模块，各个模块在各个显示界面长显，可随时进行调用(例如进入远程专家界面，只显示远程专家相关界面以及返回界面)。后台服务器配置有各个工种巡检路线，设备实际名称与设备ID对应关系。
如图7中所示，锚点识别可用情况下，通过初始化锚点程序进行布点，并在数据服务器管理中添加锚点数据，主要为设备ID与设备名称的对应关系，程序内部使用的设备ID在布点时不一定是设备直观名称，因此后台需建立设备对应关系，布点程序使用设备名称进行；用户登录：用户为管理员用户，布点后不应变动，因此该程序只能较少的人员使用；布点方式：初始化布点也按工种进行排布，相同点位不同工种可共用，并在实际使用巡检操作中获取锚点列表。
在本实施例中，目标检测模块中可集成设置特征码识别和物体识别两种子模块，目标检测模块和三维重建模块主要的硬件基础是Hololens眼镜(即MR端眼镜)上的内置摄像头，使用内置摄像头将获取的巡检设备图像信息传入目标检测模块和三维重建模块中，再通过目标检测模块传入模型进行特征提取进行设备分类识别；在油气作业现场的巡检过程中，主要针对节控箱、泥浆泵、液面报警器、振动筛等设备进行具体识别，特征码识别和物体识别的主要技术思想是人工智能训练算法，进行物体特征训练提取，形成特征模型。通过眼镜摄像头扫描物体进行物体特征与训练特征模型进行比对，比对成功即实现设备识别成功。
具体地，如图5中所示，上述人工智能训练算法是通过利用先验框一a和先验框二b这两种宽窄两种矩形，扫描每一个网格部分的图像，同时在网格中记录下候选区为所要检测目标的置信度，然后再以置信度为参考标准来明确目标所在的候选区，最后再适当调整先验框，以便框选出需要检测的被检测物c。图中首先输入了一张固定尺寸的输入图像d，例如，输入图像d的尺寸为448×448×3，将其划分为7×7的网格，经过算法变换后得到output的输出数据e，输出数据e的尺寸为7×7×30，其中7×7意味着49个网格，30指的是网格的特征向量，特征向量涵盖了2个边框的置信度和坐标信息(每一个坐标包括4个信息)以及20个对象存在的概率。
在本实施例中，远程交互模块中可集成有语音交互、视频交互和截屏涂画3个子模块，可与EISS平台的智能巡检交互系统相连，以实现井场区域智能巡检的远程实时交互和远程专家功能；具体地，远程交互模块可以实现远程专家协作，远程指导等场景，支持高清视频，利用WiFi技术，蓝牙技术实现先进的实时音视频技术，最高支持1080p分辨率，画面延迟小于300ms，支持跨平台使用，根据网络动态调整码率和帧率，语音中采用主动降噪和回声消除处理，提高通话质量。在巡检作业期间可以进入远程交互模块完成问题反馈、添加好友、语音通话、视频通话、文件存储等功能，远程交互模块主要用于专家实时指导和向专家实时资讯、资料留档的作用。
如图4中所示，MR端巡检架构主要包括前端、网关与服务器，其中前端主要包括管理系统、MR巡检客户端以及远程专家系统，网关主要包含传输组件，包括nginx与反向代理，后端服务器主要包含数据库与各类用户服务。
示例性实施例2
本示例性实施例提供了一种基于多元传感器的智能巡检系统。
本示例性实施例所述的基于多元传感器的智能巡检系统包括示例性实施例1中所述的基于多元传感器的智能巡检装置以及EISS平台和BIM云管理平台，其中，本示例性实施例所述的基于多元传感器的智能巡检系统可结合油气现场具体情况，将示例性实施例1中所述的基于多元传感器的智能巡检装置引入巡检现场，以BIM云管理平台Trimble Connect为核心，将设备信息模型、协同管理与HoloLens混合现实技术有机的结合在一起。将BIM模型导入到Trimble XR10中，就可以结合现场情况做到对比与复合，BIM模型与现场实际情况，以达到检查现场施工成果或者BIM模型精度的效果；将一些巡检点和设备的BIM模型，导入到XR10中，提高了生产效率，让现场施工人员清晰了解到巡检线路，减少传统巡检模式反复查看设备信息的问题，即使是专业知识能力不足的施工人员也能清楚了解巡检流程。减少返工，浪费人力等情况，到达缩短工期，减少成本的效果。最终实现巡检路线流程化、巡检设备实时监控、远程交互等功能，让整个巡检过程智能化数字化；另外还将虚拟现实技术(VR)和人工智能技术(AI)应用于油气巡检现场，通过EISS平台的开放接口，巡检头盔上的传输模组(即wifi模组)可以从EISS平台获取数据，再由MR端眼镜直接显示传输模组所获取的数据，MR端也能通过传输模组(即wifi模组)将巡检数据由传输模组推送到EISS平台，通过软硬件的结合将巡检过程、故障上报、专家咨询功能等形成统一的整体，使巡检过程更加智能化。
示例性实施例3
本示例性实施例提供了一种基于多元传感器的智能巡检方法。
本示例性实施例所述的基于多元传感器的智能巡检方法采用了如示例性实施例1中所述的基于多元传感器的智能巡检装置或示例性实施例2中所述的基于多元传感器的智能巡检系统，所述方法包括了用户可通过登录软件获取用户信息和对应工种(例如司砖、副司砖、井架工、外钳工、内钳工、记录工等不同工种)，根据用户信息自动获取巡检路线，根据锚点程序识别物体(例如死、活绳头、液气大钳等巡检目标)，获取物体实时数据进行巡检，异常情况反馈包括拍照和文字记录；锚点识别可用情况下，通过初始化锚点程序进行布点，并在数据服务器管理中添加锚点数据，主要为设备ID与设备名称的对应关系，程序内部使用的设备ID在布点时不一定是设备直观名称，因此后台需建立设备对应关系，布点程序使用设备名称进行；在巡检作业期间可以进入远程交互模块完成问题反馈、添加好友、语音通话、视频通话、文件存储等功能，远程交互模块主要用于专家实时指导和向专家实时资讯、资料留档的作用。
综上所述，本发明可用于解放巡检人员双手，实现巡检智能化、流程符合川庆公司标准、技术支持远程交互。在作业巡检过程中将作业过程数据进行实时记录并进行智能结构化分析，并上传到后端。可以从中提取出设备结构化信息，提供包括智能检索、数据统计、提前预警、任务管理、资源管理、系统校时、日志查询等功能，业务响应敏捷；通过MR混合现实技术设备(基于HoloLens2定制的Trimble XR10)包括手眼跟踪传感器、深度传感器等多种传感器，由立体视觉技术形成的视场中带有物体的三维几何信息，形成多维感知一体化；通过巡检设备集成的WIFI模块、蓝牙模块等实现跨系统之间的信息数据交互、事件联动响应，实现低时延信息传输，5通道麦克风阵列和创新的骨传导耳机，提供晶莹剔透高噪声环境下的双向通信；通过人工智能算法将物体进行模型训练，提取物体特征，将AI算力注入系统前端感知设备，提供边缘侧的目标检测、特征提取、无损建模等智能感知理解能力，提高识别准确率；可穿戴性Trimble连接HoloLens一方面解放了巡检人员双手，提升了便携性，同时通过了Class I,Division 2-GroupsA,B,C与D HAZLOC和安全防爆认证，一定程度上保证了巡检过程的安全性。
尽管上面已经结合示例性实施例及附图描述了本发明，但是本领域普通技术人员应该清楚，在不脱离权利要求的精神和范围的情况下，可以对上述实施例进行各种修改。

Claims (11)

1.一种基于多元传感器的智能巡检装置，其特征在于，所述智能巡检装置包括MR端眼镜、高清副摄像头、传输模组和控制系统；其中，
MR端眼镜包括内置摄像头和语音模块，内置摄像头能够用于显示虚拟界面，语音模块能够用于接受语音和手势信号；
高清副摄像头能够用于采集巡检现场图像信息；
传输模组能够用于传输数据；
控制系统包括巡检模块、目标检测模块、三维重建模块和远程交互模块，巡检模块用于制定巡检作业流程，目标检测模块能够接收高清副摄像头和内置摄像头所采集的巡检现场图像信息以用于对巡检现场目标的检测，三维重建模块能够依据巡检作业场景图像信息进行3D建模，远程交互模块能够通过传输模组以用于在巡检中进行远程实时交互。
2.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述智能巡检装置还包括巡检头盔，所述MR端眼镜、高清副摄像头和传输模组设置在巡检头盔上；巡检头盔上还设置有报警模块和滑轨组件，报警模块能够用于紧急报警，滑轨组件能够搭载多个模组。
3.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述巡检模块中集成有工种选择、线路选择、锚点放置和异常反馈四种子模块，能够针对不同作业场景、作业路线、不同工种制定并完成相应的数字化巡检任务及流程。
4.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述目标检测模块中集成有特征码识别和物体识别两种子模块，能够通过智能识别模型和特征码的方式实现钻井作业环境中的多目标的检测识别。
5.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述三维重建模块基于视觉传感设备和卷积神经网络来针对钻井作业场景进行3D模型构建。
6.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述远程交互模块中集成有语音交互、视频交互和截屏涂画三种子模块，能够与EISS平台的智能巡检交互系统相连，以实现井场区域智能巡检的远程实时交互和远程专家功能。
7.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述内置摄像头能够将获取的巡检设备图像信息传入所述目标检测模块和三维重建模块中；所述目标检测模块能够对巡检目标设备进行物体特征训练提取；所述三维重建模块能够利用人工智能训练算法，对所述目标检测模块所提取的物体特征进行训练形成训练特征模型，并与所述内置摄像头所扫描的物体特征进行比对识别。
8.根据权利要求3所述的基于多元传感器的智能巡检装置，其特征在于，所述锚点放置中集成有锚点程序，锚点程序能够通过初始化进行布点，初始化布点按工种排布，相同点位不同工种能够共用。
9.根据权利要求1所述的基于多元传感器的智能巡检装置，其特征在于，所述MR端眼镜中能够植入蓝牙模块、语音识别模块以将所述内置摄像头获取的用户手势输入、语音输入信息进行识别和数据传输。
10.一种基于多元传感器的智能巡检系统，所述巡检系统包括如权利要求1至9中任一项所述的基于多元传感器的智能巡检装置，还包括EISS平台和BIM云管理平台，所述基于多元传感器的智能巡检装置分别与EISS平台、BIM云管理平台相连，能够与EISS平台、BIM云管理平台之间进行巡检数据的双向传输。
11.一种基于多元传感器的智能巡检方法，所述巡检方法采用如权利要求1至9中任意一项所述的基于多元传感器的智能巡检装置，或权利要求10所述的基于多元传感器的智能巡检系统来进行。
CN202310347418.9A 2023-04-03 2023-04-03 基于多元传感器的智能巡检装置、巡检系统及巡检方法 Pending CN116405638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310347418.9A CN116405638A (zh) 2023-04-03 2023-04-03 基于多元传感器的智能巡检装置、巡检系统及巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310347418.9A CN116405638A (zh) 2023-04-03 2023-04-03 基于多元传感器的智能巡检装置、巡检系统及巡检方法

Publications (1)

Publication Number Publication Date
CN116405638A true CN116405638A (zh) 2023-07-07

Family

ID=87017350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310347418.9A Pending CN116405638A (zh) 2023-04-03 2023-04-03 基于多元传感器的智能巡检装置、巡检系统及巡检方法

Country Status (1)

Country Link
CN (1) CN116405638A (zh)

Similar Documents

Publication Publication Date Title
CN110212451B (zh) 一种电力ar智能巡检装置
CN107370983B (zh) 用于视频监控系统的行踪轨迹的获取方法和装置
CN110223208A (zh) 一种园区安全监管系统及方法
CN110865917A (zh) 基于ar技术的电力机房巡检作业方法、系统及应用
WO2020034931A1 (zh) 用于激光气体检测仪的数据管理方法及数据管理终端
CN110472858B (zh) 一种建设工程监理信息管理方法
CN110769200A (zh) 一种基于ai的视频监控系统
CN110533771A (zh) 一种变电站的智能巡检方法
CN104483462B (zh) 用于环境监测的水样取样方法及系统
CN104167818B (zh) 一种与gis变电站综合自动化系统联动的远程智能巡检系统及方法
CN108764668A (zh) 一种基于bim技术的设施管理系统及方法
CN105809762A (zh) 一种基于移动式终端充电桩巡检装置和巡检方法
CN111062504A (zh) 一种基于ar技术的智能配电站运维系统及方法
CN112306233A (zh) 一种巡检方法、系统和巡检管理平台
KR20150083480A (ko) 3차원 입체 영상을 활용한, 설비 통합 관리 시스템
CN112929384A (zh) 基于空间锚点的ar智慧点巡检系统
CN109523041A (zh) 核电站管理系统
CN114661026A (zh) 基于增强现实的交互式车辆远程诊断方法、系统及其存储介质
CN116911823A (zh) 一种基于ar眼镜的变电站的巡检交互方法、系统
CN110796754A (zh) 一种基于图像处理技术的机房巡检方法
CN109445388B (zh) 基于图像识别的工业控制系统数据分析处理装置及方法
CN111062679A (zh) 一种全过程智能工程监理信息管控系统
CN110458108A (zh) 手工操作实时监控方法、系统、终端设备和存储介质
CN208705222U (zh) 用于激光气体检测仪的数据管理终端及其系统
CN116405638A (zh) 基于多元传感器的智能巡检装置、巡检系统及巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination