CN113947754A - 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质 - Google Patents

一种基于视觉的船舶机械运行状态监测方法、系统及存储介质 Download PDF

Info

Publication number
CN113947754A
CN113947754A CN202111202675.0A CN202111202675A CN113947754A CN 113947754 A CN113947754 A CN 113947754A CN 202111202675 A CN202111202675 A CN 202111202675A CN 113947754 A CN113947754 A CN 113947754A
Authority
CN
China
Prior art keywords
ship
equipment
state
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111202675.0A
Other languages
English (en)
Inventor
张跃文
曹乐乐
王飞
张鹏
邹永久
姜兴家
杜太利
段绪旭
孙培廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202111202675.0A priority Critical patent/CN113947754A/zh
Publication of CN113947754A publication Critical patent/CN113947754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于视觉的船舶机械运行状态监测方法、系统及存储介质，本发明方法，包括：采集并存储船舶机械图像和视频感知信息；对船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。本发明依据视觉感知信息挖掘和深度分析来实现船舶机械起动、运行和停止等运行状态的监测。结合船舶机械的类型、特性和状态表象，运用灰度模板匹配多点识别算法，实现了船舶机械工作状态的精准识别和特征提取；将基于计算机视觉的船舶机械运行状态与船舶机械智能运维知识库进行深度融合，在监测设备的同时，根据设备的运行状态和累计时间，给出具体视情维护规划和建议。

Description

一种基于视觉的船舶机械运行状态监测方法、系统及存储 介质
技术领域
本发明涉及船舶机械设备监测和维护技术领域，具体而言，尤其涉及一种基于视觉的船舶机械运行状态监测方法、系统及存储介质。
背景技术
①随着船舶智能化和无人化发展、随船人员减少,船舶机械运行状态的监测和视情维护的需求不断增强；
②随着视频监测系统在船舶机械监测上应用的增加，基于视觉感知信息深度分析技术和应用需求不断增加；
③船舶高效、节能、高可靠的管理需求。
发明内容
根据上述提出的技术问题，而提供一种基于视觉的船舶机械运行状态监测方法、系统及存储介质。本发明依据视觉感知信息挖掘和深度分析来实现船舶机械起动、运行和停止等运行状态的监测。本发明方法对采集的船舶机械视角的视频感知信息进行清洗、识别和特征提取，建立具有运行状态分析、识别和统计的智能分析模块，借助船舶机械智能运维知识库中的船舶机械运行状态的知识，实现船舶机械运转状态的监测和智能辅助帮助和决策支持信息的远程推送。
本发明采用的技术手段如下：
一种基于视觉的船舶机械运行状态监测方法，包括：
采集并存储船舶机械图像和视频感知信息；
对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；
对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。
进一步地，所述采集并存储船舶机械图像和视频感知信息，具体包括：
通过分布于船舶机械工作处所的图像或视频感知信息采集的照相机或摄像头，采集船舶推进装置、船舶辅助装置、船舶系统、甲方机械、防污染和自动化设备的视觉感知信息；
通过网络将采集的图像或视频信息汇集到船端的图像或视频服务器中，并按照采集的时间顺序存储视觉感知信息。
进一步地，所述对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息，具体包括：
清洗所述船舶机械图像和视频感知信息：去除由于环境的异常变化、异常的振动或遮挡引起的异常的图像或视频感知信息；
识别设备、提取设备矢量运维信息：运用灰度模板匹配多点识别算法，识别其中的设备，同时分别提取和保存被识别设备的基于位移的矢量运维信息，其中，同一张或一帧图片中可包含多个设备，并可以同时被识别出；
识别设备状态标识、提取设备状态标识矢量运维信息：运用灰度模板匹配多点识别算法，辨析和识别设备运行状态标识，并提取和保存设备运行状态标识的运维矢量化信息。
进一步地，所述对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送，具体包括：
根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总；
在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送。
进一步地，所述识别设备、提取矢量运维信息的方法，具体包括如下步骤：
在第一帧图像中，将所有包含预设的被测目标以模板的形式抽取出来，采用该模板在所建立的检测目标模板库里搜寻匹配目标模板，得到一个相关系数；
设定感兴趣区域ROI，将第一张图像中预先设定的模板在相机后续拍摄的图像中设定的感兴趣区域ROI中进行搜索，并进行模板匹配运算，得到不同的归一化系数βk(i,j)，计算公式如下：
Figure BDA0003305586350000031
其中，fk(x,y)为初始图像g0(x,y)(大小M×N)的子集，
Figure BDA0003305586350000032
表示模板fk(x,y)所有像素点上的灰度值的均值，
Figure BDA0003305586350000033
是模板fk(x,y)与g0(x,y)重合部分所有像素点的均值，
Figure BDA0003305586350000034
为图像子集即感兴趣区域ROI内所有像素点上灰度值的均值；当βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，通过匹配完成对设备的识别。
进一步地，所述识别设备、提取矢量运维信息的方法，还包括由于船舶设备在运行过程中，会产生规律的震动，选择设备上的一点进行监控，利用监测设备推断出船舶设备状态的步骤，具体如下：
从拍摄到的第一帧图像中抽取含有被测目标点的图像子集作为模板，并获得模板中心的初始坐标记为
Figure BDA0003305586350000035
计算目标
Figure BDA0003305586350000036
与标定参照点R0之间实际距离H和像素距离h的比值，得到比例系数r，
Figure BDA0003305586350000037
并将比例系数r作为当前相机拍摄后续的所有图像的标定参数；
当归一化系数βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，从而确定含有监测目标的模板在图像中的中心像素坐标
Figure BDA0003305586350000038
计算匹配到的图像区域的中心像素值与预先制定的模板的中心像素值的差值，得到目标点的像素坐标变化，即
Figure BDA0003305586350000041
利用得到的系数r乘以像素坐标变化差值得到各个目标点在水平和竖直方向的真实位移。
进一步地，所述根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总，包括：
服务器读取一个设备；
读取设备状态标识矢量化信息；
判定读取设备的运转状态；
分析和统计设备状态时间，包括累计运转状态时间、备用状态时间以及故障状态时间；
判断服务器是否继续读取下一个设备信息，若否，则结束分析和统计设备状态时间。
进一步地，所述在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送，包括：
服务器读取一个设备；
融合船舶机械智能运维知识库，读取设备各状态累计时间；
汇总设备视情维护规则；
判断服务器是否继续读取下一个设备信息，若否，则推送设备视情维护信息。
本发明还提供了一种基于视觉的船舶机械运行状态监测系统，包括：
采集存储单元，用于采集并存储船舶机械图像和视频感知信息；
视觉分析单元，用于对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；清洗、识别和特征提取；
状态分析单元，用于对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述的基于视觉的船舶机械运行状态监测方法。
较现有技术相比，本发明具有以下优点：
1、本发明提出一种基于计算机视觉的船舶机械运行状态判定、运转时间的累计和日常维护支持等功能想结合的船舶机械视情维护的方法和系统。
2、本发明提供的基于视觉的船舶机械运行状态监测方法，结合船舶机械的类型、特性和状态表象，运用灰度模板匹配多点识别算法，实现了船舶机械工作状态的精准识别和特征提取；
3、本发明提供的基于视觉的船舶机械运行状态监测方法，将基于计算机视觉的船舶机械运行状态与船舶机械智能运维知识库进行深度融合，在监测设备的同时，根据设备的运行状态和累计时间，给出具体视情维护规划和建议。
基于上述理由本发明可在船舶机械设备监测和维护等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法框图。
图2为本发明实施例提供的判定和汇总船舶设备的各运行状态的时间流程图。
图3为本发明实施例提供的信息推送流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
本发明提供了一种基于视觉的船舶机械运行状态监测方法，包括：
步骤1、采集并存储船舶机械图像和视频感知信息；
具体实施时，作为本发明优选的实施方式，所述采集并存储船舶机械图像和视频感知信息，具体包括：
步骤101、通过分布于船舶机械工作处所的图像或视频感知信息采集的照相机或摄像头，采集船舶推进装置、船舶辅助装置、船舶系统、甲方机械、防污染和自动化设备的视觉感知信息；
步骤102、通过网络将采集的图像或视频信息汇集到船端的图像或视频服务器中，并按照采集的时间顺序存储视觉感知信息。
步骤2、对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；
具体实施时，作为本发明优选的实施方式，所述对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息，具体包括：
步骤201、清洗所述船舶机械图像和视频感知信息：去除由于环境的异常变化、异常的振动或遮挡引起的异常的图像或视频感知信息；以避免错误的识别和辅助决策操作处置。
步骤202、识别设备、提取设备矢量运维信息：运用灰度模板匹配多点识别算法，识别其中的设备，同时分别提取和保存被识别设备的基于位移的矢量运维信息，其中，同一张或一帧图片中可包含多个设备，并可以同时被识别出；
所述识别设备、提取矢量运维信息的方法，具体包括如下步骤：
在第一帧图像中，将所有包含预设的被测目标以模板的形式抽取出来，采用该模板在所建立的检测目标模板库里搜寻匹配目标模板，得到一个相关系数；
设定感兴趣区域ROI，将第一张图像中预先设定的模板在相机后续拍摄的图像中设定的感兴趣区域ROI中进行搜索，并进行模板匹配运算，得到不同的归一化系数βk(i,j)，计算公式如下：
Figure BDA0003305586350000081
其中，fk(x,y)为初始图像g0(x,y)(大小M×N)的子集，
Figure BDA0003305586350000082
表示模板fk(x,y)所有像素点上的灰度值的均值，
Figure BDA0003305586350000083
是模板fk(x,y)与g0(x,y)重合部分所有像素点的均值，
Figure BDA0003305586350000084
为图像子集即感兴趣区域ROI内所有像素点上灰度值的均值；当βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，通过匹配完成对设备的识别。
所述识别设备、提取矢量运维信息的方法，还包括由于船舶设备在运行过程中，会产生规律的震动，选择设备上的一点进行监控，利用监测设备推断出船舶设备状态的步骤，具体如下：
从拍摄到的第一帧图像中抽取含有被测目标点的图像子集作为模板，并获得模板中心的初始坐标记为
Figure BDA0003305586350000085
计算目标
Figure BDA0003305586350000091
与标定参照点R0之间实际距离H和像素距离h的比值，得到比例系数r，
Figure BDA0003305586350000092
并将比例系数r作为当前相机拍摄后续的所有图像的标定参数；
当归一化系数βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，从而确定含有监测目标的模板在图像中的中心像素坐标
Figure BDA0003305586350000093
计算匹配到的图像区域的中心像素值与预先制定的模板的中心像素值的差值，得到目标点的像素坐标变化，即
Figure BDA0003305586350000094
利用得到的系数r乘以像素坐标变化差值得到各个目标点在水平和竖直方向的真实位移。
步骤203、识别设备状态标识、提取设备状态标识矢量运维信息：运用灰度模板匹配多点识别算法，辨析和识别设备运行状态标识，并提取和保存设备运行状态标识的运维矢量化信息。信息提取的方法和流程与设备的基于位移的矢量运维信息提取相同。
步骤3、对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。其中，船舶的机械状态包括运行、备用、故障或维修等运行形态，按照船舶设备的工作规律，根据设备的运行环境和使用情况，应定时对设备进行维护和保养，需统计设备的各运行状态的时间。
具体实施时，作为本发明优选的实施方式，所述对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送，具体包括：
步骤301、根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总；
如图2所示，所述根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总，包括：
服务器读取一个设备；
读取设备状态标识矢量化信息；
判定读取设备的运转状态；
分析和统计设备状态时间，包括累计运转状态时间、备用状态时间以及故障状态时间；
判断服务器是否继续读取下一个设备信息，若否，则结束分析和统计设备状态时间。
步骤302、在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送。
如图3所示，所述在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送，包括：
服务器读取一个设备；
融合船舶机械智能运维知识库，读取设备各状态累计时间；
汇总设备视情维护规则；
判断服务器是否继续读取下一个设备信息，若否，则推送设备视情维护信息。
对应本申请中的基于视觉的船舶机械运行状态监测方法，本申请还提供了一种基于视觉的船舶机械运行状态监测系统，包括采集存储单元、视觉分析单元以及状态分析单元，其中：
采集存储单元，用于采集并存储船舶机械图像和视频感知信息；
视觉分析单元，用于对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；清洗、识别和特征提取；
状态分析单元，用于对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于视觉的船舶机械运行状态监测方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于视觉的船舶机械运行状态监测方法，其特征在于，包括：
采集并存储船舶机械图像和视频感知信息；
对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；
对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。
2.根据权利要求1所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述采集并存储船舶机械图像和视频感知信息，具体包括：
通过分布于船舶机械工作处所的图像或视频感知信息采集的照相机或摄像头，采集船舶推进装置、船舶辅助装置、船舶系统、甲方机械、防污染和自动化设备的视觉感知信息；
通过网络将采集的图像或视频信息汇集到船端的图像或视频服务器中，并按照采集的时间顺序存储视觉感知信息。
3.根据权利要求1所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息，具体包括：
清洗所述船舶机械图像和视频感知信息：去除由于环境的异常变化、异常的振动或遮挡引起的异常的图像或视频感知信息；
识别设备、提取设备矢量运维信息：运用灰度模板匹配多点识别算法，识别其中的设备，同时分别提取和保存被识别设备的基于位移的矢量运维信息，其中，同一张或一帧图片中可包含多个设备，并可以同时被识别出；
识别设备状态标识、提取设备状态标识矢量运维信息：运用灰度模板匹配多点识别算法，辨析和识别设备运行状态标识，并提取和保存设备运行状态标识的运维矢量化信息。
4.根据权利要求1所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送，具体包括：
根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总；
在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送。
5.根据权利要求1所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述识别设备、提取矢量运维信息的方法，具体包括如下步骤：
在第一帧图像中，将所有包含预设的被测目标以模板的形式抽取出来，采用该模板在所建立的检测目标模板库里搜寻匹配目标模板，得到一个相关系数；
设定感兴趣区域ROI，将第一张图像中预先设定的模板在相机后续拍摄的图像中设定的感兴趣区域ROI中进行搜索，并进行模板匹配运算，得到不同的归一化系数βk(i,j)，计算公式如下：
Figure FDA0003305586340000021
其中，fk(x,y)为初始图像g0(x,y)(大小M×N)的子集，
Figure FDA0003305586340000022
表示模板fk(x,y)所有像素点上的灰度值的均值，
Figure FDA0003305586340000023
是模板fk(x,y)与g0(x,y)重合部分所有像素点的均值，
Figure FDA0003305586340000024
为图像子集即感兴趣区域ROI内所有像素点上灰度值的均值；当βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，通过匹配完成对设备的识别。
6.根据权利要求5所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述识别设备、提取矢量运维信息的方法，还包括由于船舶设备在运行过程中，会产生规律的震动，选择设备上的一点进行监控，利用监测设备推断出船舶设备状态的步骤，具体如下：
从拍摄到的第一帧图像中抽取含有被测目标点的图像子集作为模板，并获得模板中心的初始坐标记为
Figure FDA0003305586340000031
计算目标
Figure FDA0003305586340000032
与标定参照点R0之间实际距离H和像素距离h的比值，得到比例系数r，
Figure FDA0003305586340000033
并将比例系数r作为当前相机拍摄后续的所有图像的标定参数；
当归一化系数βk(i,j)达到最大值时，预设的模板在本图像中达到最佳匹配，从而确定含有监测目标的模板在图像中的中心像素坐标
Figure FDA0003305586340000034
计算匹配到的图像区域的中心像素值与预先制定的模板的中心像素值的差值，得到目标点的像素坐标变化，即
Figure FDA0003305586340000035
利用得到的系数r乘以像素坐标变化差值得到各个目标点在水平和竖直方向的真实位移。
7.根据权利要求4所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述根据识别的所述设备和提取的所述设备矢量运维信息以及识别的所述设备状态标识和提取的所述设备状态标识矢量运维信息，判定船舶设备每个运行状态的时间，并统计和汇总，包括：
服务器读取一个设备；
读取设备状态标识矢量化信息；
判定读取设备的运转状态；
分析和统计设备状态时间，包括累计运转状态时间、备用状态时间以及故障状态时间；
判断服务器是否继续读取下一个设备信息，若否，则结束分析和统计设备状态时间。
8.根据权利要求4所述的基于视觉的船舶机械运行状态监测方法，其特征在于，所述在确定船舶设备的运行状态并汇总各状态的运行时间后，融合船舶机械智能运维知识库，实现船舶机械的设备日常操作帮助信息推送和设备视情维修规划信息推送，包括：
服务器读取一个设备；
融合船舶机械智能运维知识库，读取设备各状态累计时间；
汇总设备视情维护规则；
判断服务器是否继续读取下一个设备信息，若否，则推送设备视情维护信息。
9.一种基于视觉的船舶机械运行状态监测系统，其特征在于，包括：
采集存储单元，用于采集并存储船舶机械图像和视频感知信息；
视觉分析单元，用于对所述船舶机械图像和视频感知信息进行处理，获取船舶机械状态矢量信息；清洗、识别和特征提取；
状态分析单元，用于对船舶的机械状态进行分析，并将船舶机械运行状态进行信息推送。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如权利要求1-8任一项所述的基于视觉的船舶机械运行状态监测方法。
CN202111202675.0A 2021-10-15 2021-10-15 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质 Pending CN113947754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111202675.0A CN113947754A (zh) 2021-10-15 2021-10-15 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111202675.0A CN113947754A (zh) 2021-10-15 2021-10-15 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113947754A true CN113947754A (zh) 2022-01-18

Family

ID=79330118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111202675.0A Pending CN113947754A (zh) 2021-10-15 2021-10-15 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113947754A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704372A (zh) * 2023-06-21 2023-09-05 中国科学院空天信息创新研究院 船舶精细化识别方法及装置
CN116967846A (zh) * 2023-09-25 2023-10-31 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法
WO2024099071A1 (zh) * 2022-11-11 2024-05-16 菲尼克斯(南京)智能制造技术工程有限公司 一种设备工况捕捉系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722166A (zh) * 2012-06-29 2012-10-10 山东电力集团公司电力科学研究院 变电站设备智能视觉检测系统及状态检测方法
CN109271844A (zh) * 2018-07-29 2019-01-25 国网上海市电力公司 基于OpenCV的电气柜电气符号识别方法
CN109409395A (zh) * 2018-07-29 2019-03-01 国网上海市电力公司 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法
CN109584238A (zh) * 2018-12-07 2019-04-05 北京航空航天大学 一种基于立体视觉的弓网运行状况在线检测系统及方法
CN109636921A (zh) * 2018-12-17 2019-04-16 武汉理工大学 基于云平台的智能视觉船舶感知系统以及数据处理方法
CN110296659A (zh) * 2019-06-12 2019-10-01 中南大学 一种基于图像识别处理的轨下垫板位移监测系统及方法
CN110533345A (zh) * 2019-09-05 2019-12-03 大连海事大学 一种船舶柴油机状态评估方法及系统
CN110807766A (zh) * 2019-10-17 2020-02-18 西安工程大学 一种基于可见光图像的双防震锤位移识别方法
CN111221996A (zh) * 2019-11-25 2020-06-02 上海华兴数字科技有限公司 仪表屏幕视觉检测方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722166A (zh) * 2012-06-29 2012-10-10 山东电力集团公司电力科学研究院 变电站设备智能视觉检测系统及状态检测方法
CN109271844A (zh) * 2018-07-29 2019-01-25 国网上海市电力公司 基于OpenCV的电气柜电气符号识别方法
CN109409395A (zh) * 2018-07-29 2019-03-01 国网上海市电力公司 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法
CN109584238A (zh) * 2018-12-07 2019-04-05 北京航空航天大学 一种基于立体视觉的弓网运行状况在线检测系统及方法
CN109636921A (zh) * 2018-12-17 2019-04-16 武汉理工大学 基于云平台的智能视觉船舶感知系统以及数据处理方法
CN110296659A (zh) * 2019-06-12 2019-10-01 中南大学 一种基于图像识别处理的轨下垫板位移监测系统及方法
CN110533345A (zh) * 2019-09-05 2019-12-03 大连海事大学 一种船舶柴油机状态评估方法及系统
CN110807766A (zh) * 2019-10-17 2020-02-18 西安工程大学 一种基于可见光图像的双防震锤位移识别方法
CN111221996A (zh) * 2019-11-25 2020-06-02 上海华兴数字科技有限公司 仪表屏幕视觉检测方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024099071A1 (zh) * 2022-11-11 2024-05-16 菲尼克斯(南京)智能制造技术工程有限公司 一种设备工况捕捉系统及方法
CN116704372A (zh) * 2023-06-21 2023-09-05 中国科学院空天信息创新研究院 船舶精细化识别方法及装置
CN116967846A (zh) * 2023-09-25 2023-10-31 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法
CN116967846B (zh) * 2023-09-25 2023-12-12 深圳市磐锋精密技术有限公司 一种智能机器人视觉定位系统及方法

Similar Documents

Publication Publication Date Title
CN113947754A (zh) 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN108198044B (zh) 商品信息的展示方法、装置、介质及电子设备
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN109214280B (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN101957325A (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
CN110084842B (zh) 一种机器人云台伺服二次对准方法及装置
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN113947109B (zh) 一种基于视觉的船舶系统设备泄漏状态监测方法、系统及存储介质
CN109840982B (zh) 排队推荐方法及装置、计算机可读存储介质
CN111126116A (zh) 无人船河道垃圾识别方法及系统
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
WO2019018065A1 (en) THIN OBJECT DETECTION BASED ON VISION BY COMPUTER
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
CN112686162B (zh) 仓库环境整洁状态的检测方法、装置、设备和存储介质
CN110619626B (zh) 图像处理设备、系统、方法以及装置
CN115937950A (zh) 一种多角度人脸数据采集方法、装置、设备及存储介质
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112232113B (zh) 人员识别方法、人员识别装置、存储介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination