CN107944454B - 一种针对变电站的基于机器学习的语义标注方法 - Google Patents
一种针对变电站的基于机器学习的语义标注方法 Download PDFInfo
- Publication number
- CN107944454B CN107944454B CN201711093816.3A CN201711093816A CN107944454B CN 107944454 B CN107944454 B CN 107944454B CN 201711093816 A CN201711093816 A CN 201711093816A CN 107944454 B CN107944454 B CN 107944454B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- video
- image
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 20
- 238000002372 labelling Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 59
- 238000005516 engineering process Methods 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 13
- 238000013106 supervised machine learning method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011068 loading method Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种针对变电站的基于机器学习的语义标注方法。其包括对训练视频和测试视频图像进行特征提取，对特征进行聚类，将生成的视觉单词进行关联和量化，机器模型依据特征描述后的视频和图像进行学习，将最优参数下的半监督或弱监督学习方法用于对测试视频、图片进行标注。本发明可实现现场作业标准化和数据规范化，实现现场侧和中心侧的数据和分析算法互享，提高现场侧的数据分析能力，加强现场运维的远程管控和实时技术支持能力。提高现场运维的专业化、智能化水平，提升运检工作效率、设备状态管控能力，强化状态检修和辅助决策。
Description
技术领域
本发明涉及语义标注技术，具体涉及基于稀疏编码和机器学习的图像视频标注技术。
背景技术
随电力运维检修业务中，带电检测数据在完备性和正确性上很大程度上依赖于现场试验人员的专业水平，可靠性不高；由于带电检测仪器种类繁多，标准不同意，存在数据不规范，可利用效率低的情况；设备状态数据主要依赖人工整理、分析与运用，时效性不足。
发明内容
本发明的目的是：实现现场作业标准化和数据规范化，实现现场侧和中心侧的数据和分析算法互享，提高现场侧的数据分析能力，加强现场运维的远程管控和实时技术支持能力。提高现场运维的专业化、智能化水平，提高运检工作效率、设备状态管控能力，强化状态检修和辅助决策。
为实现本发明之目的，采用以下技术方案予以实现：
一种针对变电站的基于机器学习的语义标注方法，其特征在于：包括：
步骤1、采集数据集的图像并进行预处理；
步骤2、将预处理后的图像进行规范化；对于结构化的数据，如数值数据、参数、变量、录入数据和采样数据等的存储采用XML格式；针对非结构化数据的规范化转化方法主要是利用基于稀疏编码、视觉单词等技术对非结构化图谱、视频数据进行规范化和特征量提取；
步骤3、将训练视频图像类集合所提取的特征信息聚类，生成视觉单词并进行关联，然后量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注；
步骤4、利用变电设备图像结构特征，对步骤3得到的数据进行视频压缩，剔除无关信息并保留特征信息，实现现场视频数据的高效压缩和高速传输；
步骤5、研究各类状态检测数据的高维混合数据标识技术，建立高效多级状态检测数据综合索引模型，实现检测数据的多级多维等快速索引；
步骤6、基于各类检测数据的规范化模型与特征量，研究状态检测数据的分析诊断技术及个性化展示方法。
在上述的一种针对变电站的基于机器学习的语义标注方法，所述步骤1具体包括：
步骤1.1、图像增强；突出图像中感兴趣的信息，使有用信息得到增强，便于区分和解释；
步骤1.2、图像复原；主要任务是去噪声，去模糊。
在上述的一种针对变电站的基于机器学习的语义标注方法，所述步骤2具体包括：
步骤2.1、提出局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性；
步骤2.2、提出有效的具有判决力的图谱描述算子,概括图谱主要内容信息；利用局部不变特征，设计有效的视觉单词索引技术，有效捕获空域及其特征域信息；利用稀疏编码技术，实现有效的图谱结构化描述方法，提取低维的图谱描述符，用于大数据库图谱的有效分类；利用稠密的采样技术，设计基于像素的特征描述，并结合视觉单词技术描述整幅图谱/纹理特征；
步骤2.3、提出有语义的对象及其场景信息描述方法；设计有效的对象检测算法，达到前景和背景信息的可靠分离；利用对象和场景上下文关系，建立有特定语义的图谱统一描述方法；建立有效的数学描述模型，完成对象和场景的语义建模；
步骤2.4、研究具有几何结构的多尺度、多层次的特征描述，挖掘对象的类别空域分布信息，有效提取中层语义信息；对于无法直接进行处理的非结构化图谱数据，通过图谱特征描述技术，实现非结构化图谱数据的结构化转换。
在上述的一种针对变电站的基于机器学习的语义标注方法，所述步骤3具体包括：
步骤3.1、对于相对静态的电力设备图谱，采用局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性；对于可以进行结构化转换的非结构化数据，转换后变成特征向量，可以直接存储在XML结构中，对于不能转换的数据，如复杂的图像和视频数据，将其存储在文件系统中，并且在对应的XML词条中做标记，便于随时查询；
步骤3.2、将训练视频图像类集合所提取的特征信息聚类；聚类过程包括：
1)数据准备：包括特征标准化和降维.
2)特征选择：从最初的特征中选择最有效的特征，并将其存储于向量中.
3)特征提取：通过对所选择的特征进行转换形成新的突出特征.
4)聚类：首先选择合适特征类型的距离函数进行接近程度的度量；而后执行聚类或分组.
5)聚类结果评估：是指对聚类结果进行评估.评估主要有3种：外部有效性评估、内部有效性评估和相关性测试评估.
步骤3.3、聚类后视觉单词生成，再利用概率潜在语义分析模型挖掘视觉单词之间的共生概率，综合这两种关系得到图像块所对应的视觉单词在空间域的上下文语义共生概率，即关联视觉单词；最后综合特征域的相似性和空间域的语义约束性，量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注，可以获得相应的视频和图片标签；
步骤3.4、机器学习模型涉及从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法；半监督学习是有监督学习与无监督学习相结合的一种学习方法，利用有标记样本的信息，利用无标记样本的内在几何结构的信息，从而训练出优良的训练器。
在上述的一种针对变电站的基于机器学习的语义标注方法，所述步骤4具体包括：
步骤4.1、预处理，对输入的视频信号进行一些预处理，可以提高编码器的效率，如对输入信号进行采样和数字化，消除输入视频帧的一些不理想特征，在编码前先对输入帧进行噪声过滤；
步骤4.2、正交变换，对视频信息进行正交变换，可将图像像素转换成不同的空间区域，主要目的是去除视频序列中的统计冗余，正交变换是视频压缩系统的核心；
步骤4.3、量化，量化可以降低变换系数的精度以减少存储空间，可以去掉信号中的高频成分，从而达到压缩数据的目的，量化过程可以消去一些安全的信息而没有损失任何的视觉保真度，可将每个变换过的像素用有限的输出信号集表示；
步骤4.4、编码，编码是将码字分配给量化后的视频数据，重构视频图像的过程是压缩视频图像的反过程，主要有解码、反量化、反变换和后处理。
在上述的一种针对变电站的基于机器学习的语义标注方法，所述步骤5具体包括：建立高效多级状态检测数据综合索引模型，将状态检测数据从电力设备基础数据、电力设备运行数据、检测仪器、检测数据、气象信息维度上建立类型状态检测数据的高维混合数据标识模型，建模过程包括：
步骤5.1、选择有价值的变量作为建模对象；从数据的完整性、集中度、与其他变量的相关性等角度来考虑，选择如图4所示的树状图中设备运行数据、检测数据的特征量、仪器规格信息等作为建模变量；
步骤5.2、选择合适的算法并设定参数；利用K-prototype进行聚类分析，给出希望聚类的类别数量和起始的聚类中心和迭代次数上限，研究各个维度之间的关联性；
步骤5.3、加载算法并验证算法准确性和有效性；
步骤5.4、通过从状态检测数据样本库提取数据指纹来构建索引，有待检索数据后提取其数据指纹，将二者指纹进行搜索匹配，可得到检索结果，即如图5所示的状态检测数据快速索引模型。
因此，本发明具有如下优点：基于机器学习的语义标注能够很好地表达图像的语义内容，缩小图像的高级语义和低级视觉内容之间的差距，使基于大规模图像的语义检索更具有现实性。视频、图像标注系统可以简化为图像到文字的过程，便于分析和解释；多级状态检测数据综合索引模型可以简化为文字到图像的过程，实现对多维数据的快速索引，提高对数据的处理效率。
附图说明
图1为基于机器学习的语义标注流程图。
图2为数据分类整理示意图。
图3为视频压缩算法编解码结构框图。
图4为状态检测数据多维标识技术示意图。
图5为状态检测数据快速索引示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
首先，介绍下本发明的方法原理，本发明主要包括：
(1)收集各种有关输变电状态检测文献资料，到现场进行数据搜集，了解各类型数据的原始格式和基本特点。。
(2)按照设备、检测类型、检测项目、数据类型(数值型、图谱型、图像和视频等)进行层级分类与整理。
(3)对数据集的图像进行预处理，主要是去噪声。
(4)将预处理后的图像进行规范化。对于结构化的数据，如数值数据、参数、变量、录入数据和采样数据等的存储采用XML格式；针对非结构化数据的规范化转化方法主要是利用基于稀疏编码、视觉单词等技术对非结构化图谱、视频数据进行规范化和特征量提取。
(5)将训练视频图像类集合所提取的特征信息聚类，生成视觉单词并进行关联。
(6)量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注。
(7)利用变电设备图像结构特征，研究针对性的视频压缩算法，剔除无关信息并保留特征信息，实现现场视频数据的高效压缩和高速传输。
(8)研究各类状态检测数据的高维混合数据标识技术，建立高效多级状态检测数据综合索引模型，实现检测数据的多级多维等快速索引。
下面结合具体案例对本发明的方法原理进行具体阐述。
图像标注是通过获得已经标注好的图像集，对未标注过的图像进行标注。如图1，数据源主要包括电网统一视频监控平台、输变电设备状态监测系统等，将其电力设备状态图谱库，如自然光图像、红外紫外等有色光谱图像等非结构化数据进行结构化描述，具体过程为，由图像提取关键点，由SIFT描述符加入字典，生成视觉单词，并展示为直方图。结构化描述后，经过稀疏编码对非结构化图谱、视频数据进行规范化和特征量提取。将设备由开关到主变进行标注，通过对正常设备和故障设备进行变化检测，得到变化图谱，并精确分割变化区域，最后进行关键特征区域和帧的提取。本发明的实施例主要包括以下步骤：
1，文献收集与现场调研。收集各种有关输变电状态检测数据规范化、特征量提取有关文献资料，到现场进行各类型状态检测数据的搜集，了解各类型数据的原始格式和基本特点，并组织有关专家讨论献策。
2，电力设备状态检测数据搜集。依托于项目实施的几个省公司和南瑞的状态评价平台(湖北、山西、甘肃、四川已部署应用)开展变压器(电抗器)、断路器/GIS开关设备、输电线路(电缆)的状态检测数据搜集，包括：装置自身信息、设备信息和检测数据信息等，并针对各个网省公司的数据特点有侧重的进行数据搜集，构建项目研究的数据源，本项目中的省公司其设备运行的环境因素覆盖了大多数运行情况，保证研究的数据源包括了各类型数据，具有普遍性和推广性。
3，数据整理，按照设备、检测类型、检测项目、数据类型(数值型、图谱型、图像和视频等)进行层级分类与整理，如图1。
4，对数据集的图像进行预处理，主要是去噪声。根据不同的采集方式，可能还需要对图像做视角的变换，因此需要在图像预处理这步将存在的客观影响去除掉。在预处理中用到的操作有，灰度化、直方图处理、中值滤波、均值滤波等去噪声的方式、边缘提取等图像处理的基本操作，以及可能对待处理图像进行傅立叶变换、小波变换等变换处理。
5，将预处理后的图像进行规范化。对于结构化的数据，如数值数据、参数、变量、录入数据和采样数据等的存储采用XML格式，相比传统规范化建模技术，XML具有良好的可扩展性、兼容性和可移植性，便于不同系统之间信息的传输。
针对图谱、视频等非结构化数据的规范化转化方法主要是利用基于稀疏编码、视觉单词等技术对非结构化图谱、视频数据进行规范化和特征量提取，如图2所示，具体的步骤：
1)提出局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性；
2)提出有效的具有判决力的图谱描述算子,概括图谱主要内容信息。利用局部不变特征，设计有效的视觉单词索引技术，有效捕获空域及其特征域信息。利用稀疏编码技术，实现有效的图谱结构化描述方法，提取低维的图谱描述符，用于大数据库图谱的有效分类。利用稠密的采样技术，设计基于像素的特征描述，并结合视觉单词技术描述整幅图谱/纹理特征；
3)提出有语义的对象及其场景信息描述方法。设计有效的对象检测算法，达到前景和背景信息的可靠分离。利用对象和场景上下文关系，建立有特定语义的图谱统一描述方法。建立有效的数学描述模型，完成对象和场景的语义建模；
4)研究具有几何结构的多尺度、多层次的特征描述，挖掘对象的类别空域分布信息，有效提取中层语义信息。对于无法直接进行处理的非结构化图谱数据，通过图谱特征描述技术，实现非结构化图谱数据的结构化转换。
6，进行特征提取。对于相对静态的电力设备图谱，采用局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性。
对于可以进行结构化转换的非结构化数据，转换后变成特征向量，可以直接存储在XML结构中，对于不能转换的数据，如复杂的图像和视频数据，将其存储在文件系统中，并且在对应的XML词条中做标记，便于随时查询。
7，将训练视频图像类集合所提取的特征信息聚类。聚类过程包括：
1)数据准备：包括特征标准化和降维.
2)特征选择：从最初的特征中选择最有效的特征，并将其存储于向量中.
3)特征提取：通过对所选择的特征进行转换形成新的突出特征.
4)聚类：首先选择合适特征类型的距离函数进行接近程度的度量；而后执行聚类或分组.
5)聚类结果评估：是指对聚类结果进行评估.评估主要有3种：外部有效性评估、内部有效性评估和相关性测试评估.
8，聚类后视觉单词生成，再利用概率潜在语义分析模型挖掘视觉单词之间的共生概率，综合这两种关系得到图像块所对应的视觉单词在空间域的上下文语义共生概率，即关联视觉单词。最后综合特征域的相似性和空间域的语义约束性，量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注，可以获得相应的视频和图片标签。
9，其中机器学习模型涉及从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。半监督学习是有监督学习与无监督学习相结合的一种学习方法，利用有标记样本的信息，利用无标记样本的内在几何结构的信息，从而训练出优良的训练器。
10，利用变电设备图像结构特征，研究针对性的视频压缩算法，该视频压缩算法编解码结构框图如图3所示。该编解码结构主要由正交变换、量化、编码三个单元组成。其中正交变换的任务是尽可能的去掉信号中的相关量，抽取出应予以量化的信息，在变换前先对输入的信息进行预处理；量化的任务是用有限个离散的信息来近似表达已抽取的信息；编码的任务是把这些离散信息转换成二值序列。
该视频压缩的步骤主要有以下四步：①预处理，对输入的视频信号进行一些预处理，可以提高编码器的效率，如对输入信号进行采样和数字化，消除输入视频帧的一些不理想特征，在编码前先对输入帧进行噪声过滤。②正交变换，对视频信息进行正交变换，可将图像像素转换成不同的空间区域，主要目的是去除视频序列中的统计冗余，正交变换是视频压缩系统的核心。③量化，量化可以降低变换系数的精度以减少存储空间，可以去掉信号中的高频成分，从而达到压缩数据的目的，量化过程可以消去一些安全的信息而没有损失任何的视觉保真度，可将每个变换过的像素用有限的输出信号集表示。④编码，编码是将码字分配给量化后的视频数据，重构视频图像的过程是压缩视频图像的反过程，主要有解码、反量化、反变换和后处理。
11，研究现场作业和多维信息的高级应用。本部分的研究主要包括2部分：1)研究各类状态检测数据的高维混合数据标识技术，建立高效多级状态检测数据综合索引模型，实现检测数据的多级多维等快速索引。2)基于各类检测数据的规范化模型与特征量，研究状态检测数据的分析诊断技术及个性化展示方法。
建立高效多级状态检测数据综合索引模型，将状态检测数据从电力设备基础数据、电力设备运行数据、检测仪器、检测数据、气象信息等维度进行状态检测数据建模，利用K-prototypes进行聚类分析，研究各个维度之间的关联性，在此基础上建立类型状态检测数据的高维混合数据标识模型，如图4所示。以此标识模型构建状态检测数据样本库，研究基于指纹搜索的状态检测数据快速索引模型，如图5所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种针对变电站的基于机器学习的语义标注方法，其特征在于：包括：
步骤1、采集数据集的图像并进行预处理；
步骤2、将预处理后的图像进行规范化；对于结构化的数据，包括数值数据、参数、变量、录入数据和采样数据的存储采用XML格式；针对非结构化数据的规范化转化方法是利用基于稀疏编码、视觉单词技术对非结构化图谱、视频数据进行规范化和特征量提取；
步骤3、将训练视频图像类集合所提取的特征信息聚类，生成视觉单词并进行关联，然后量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注；
步骤4、利用变电设备图像结构特征，对步骤3得到的数据进行视频压缩，剔除无关信息并保留特征信息，实现现场视频数据的高效压缩和高速传输；
步骤5、研究各类状态检测数据的高维混合数据标识技术，建立高效多级状态检测数据综合索引模型，实现检测数据的多级多维快速索引；
步骤6、基于各类检测数据的规范化模型与特征量，研究状态检测数据的分析诊断技术及个性化展示方法；
所述步骤2具体包括：
步骤2.1、提出局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性；
步骤2.2、提出有效的具有判决力的图谱描述算子,概括图谱主要内容信息；利用局部不变特征，设计有效的视觉单词索引技术，有效捕获空域及其特征域信息；利用稀疏编码技术，实现有效的图谱结构化描述方法，提取低维的图谱描述符，用于大数据库图谱的有效分类；利用稠密的采样技术，设计基于像素的特征描述，并结合视觉单词技术描述整幅图谱/纹理特征；
步骤2.3、提出有语义的对象及其场景信息描述方法；设计有效的对象检测算法，达到前景和背景信息的可靠分离；利用对象和场景上下文关系，建立有特定语义的图谱统一描述方法；建立有效的数学描述模型，完成对象和场景的语义建模；
步骤2.4、研究具有几何结构的多尺度、多层次的特征描述，挖掘对象的类别空域分布信息，有效提取中层语义信息；对于无法直接进行处理的非结构化图谱数据，通过图谱特征描述技术，实现非结构化图谱数据的结构化转换。
2.根据权利要求1所述的一种针对变电站的基于机器学习的语义标注方法，其特征在于：所述步骤1具体包括：
步骤1.1、图像增强；突出图像中感兴趣的信息，使有用信息得到增强，便于区分和解释；
步骤1.2、图像复原；主要任务是去噪声，去模糊。
3.根据权利要求1所述的一种针对变电站的基于机器学习的语义标注方法，其特征在于：所述步骤3具体包括：
步骤3.1、对于相对静态的电力设备图谱，采用局部不变特征提取技术，提取具有尺度，旋转，光照，模糊和视角不变性的局部关键点特征，实现特征点的高准确度匹配，提取有效的区域不变特征，描述局部区域的相关特性，实现仿射和旋转不变性；对于可以进行结构化转换的非结构化数据，转换后变成特征向量，可以直接存储在XML结构中，对于不能转换的数据，如复杂的图像和视频数据，将其存储在文件系统中，并且在对应的XML词条中做标记，便于随时查询；
步骤3.2、将训练视频图像类集合所提取的特征信息聚类；聚类过程包括：
1) 数据准备：包括特征标准化和降维．
2) 特征选择：从最初的特征中选择最有效的特征，并将其存储于向量中．
3) 特征提取：通过对所选择的特征进行转换形成新的突出特征．
4) 聚类：首先选择合适特征类型的距离函数进行接近程度的度量；而后执行聚类或分组．
5) 聚类结果评估：是指对聚类结果进行评估．评估主要有3种：外部有效性评估、内部有效性评估和相关性测试评估．
步骤3.3、聚类后视觉单词生成，再利用概率潜在语义分析模型挖掘视觉单词之间的共生概率，综合这两种关系得到图像块所对应的视觉单词在空间域的上下文语义共生概率，即关联视觉单词；最后综合特征域的相似性和空间域的语义约束性，量化视觉单词，新的视觉单词作为半监督或弱监督机器学习方法的输入，学习获得最优参数，将最优参数下的半监督或弱监督机器学习方法用于对测试视频、图像进行标注，可以获得相应的视频和图片标签；
步骤3.4、机器学习模型涉及从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法；半监督学习是有监督学习与无监督学习相结合的一种学习方法，利用有标记样本的信息，利用无标记样本的内在几何结构的信息，从而训练出优良的训练器。
4.根据权利要求1所述的一种针对变电站的基于机器学习的语义标注方法，其特征在于：所述步骤4具体包括：
步骤4.1、预处理，对输入的视频信号进行一些预处理，可以提高编码器的效率，如对输入信号进行采样和数字化，消除输入视频帧的一些不理想特征，在编码前先对输入帧进行噪声过滤；
步骤4.2、正交变换，对视频信息进行正交变换，可将图像像素转换成不同的空间区域，主要目的是去除视频序列中的统计冗余，正交变换是视频压缩系统的核心；
步骤4.3、量化，量化可以降低变换系数的精度以减少存储空间，可以去掉信号中的高频成分，从而达到压缩数据的目的，量化过程可以消去一些安全的信息而没有损失任何的视觉保真度，可将每个变换过的像素用有限的输出信号集表示；
步骤4.4、编码，编码是将码字分配给量化后的视频数据，重构视频图像的过程是压缩视频图像的反过程，主要有解码、反量化、反变换和后处理。
5.根据权利要求1所述的一种针对变电站的基于机器学习的语义标注方法，其特征在于：所述步骤5具体包括：建立高效多级状态检测数据综合索引模型，将状态检测数据从电力设备基础数据、电力设备运行数据、检测仪器、检测数据、气象信息维度上建立类型状态检测数据的高维混合数据标识模型，建模过程包括：
步骤5.1、选择有价值的变量作为建模对象；从数据的完整性、集中度、与其他变量的相关性角度来考虑，选择树状图中设备运行数据、检测数据的特征量、仪器规格信息作为建模变量；
步骤5.2、选择合适的算法并设定参数；利用K-prototype 进行聚类分析，给出希望聚类的类别数量和起始的聚类中心和迭代次数上限，研究各个维度之间的关联性；
步骤5.3、加载算法并验证算法准确性和有效性；
步骤5.4、通过从状态检测数据样本库提取数据指纹来构建索引，有待检索数据后提取其数据指纹，将二者指纹进行搜索匹配，可得到检索结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711093816.3A CN107944454B (zh) | 2017-11-08 | 2017-11-08 | 一种针对变电站的基于机器学习的语义标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711093816.3A CN107944454B (zh) | 2017-11-08 | 2017-11-08 | 一种针对变电站的基于机器学习的语义标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107944454A CN107944454A (zh) | 2018-04-20 |
| CN107944454B true CN107944454B (zh) | 2021-09-14 |
Family
ID=61934568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711093816.3A Active CN107944454B (zh) | 2017-11-08 | 2017-11-08 | 一种针对变电站的基于机器学习的语义标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107944454B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11823440B2 (en) | 2021-08-19 | 2023-11-21 | Rehrig Pacific Company | Imaging system with unsupervised learning |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109186973B (zh) * | 2018-08-20 | 2020-03-31 | 东南大学 | 一种无监督深度学习网络的机械故障诊断方法 |
| CN109657087A (zh) * | 2018-11-30 | 2019-04-19 | 平安科技（深圳）有限公司 | 一种数据批量标注方法、装置及计算机可读存储介质 |
| CN109857783B (zh) * | 2019-02-01 | 2023-08-01 | 南京帝坝工程科技有限公司 | 基于深度学习的声纳渗流运动规律发现方法 |
| CN110008924A (zh) * | 2019-04-15 | 2019-07-12 | 中国石油大学(华东) | 一种面向高光谱影像中地物的半监督自动标记方法与装置 |
| CN110458397A (zh) * | 2019-07-05 | 2019-11-15 | 苏州热工研究院有限公司 | 一种核电材料服役性能信息提取方法 |
| CN110674807A (zh) * | 2019-08-06 | 2020-01-10 | 中国科学院信息工程研究所 | 一种基于半监督与弱监督学习的曲形场景文字检测方法 |
| CN110968695A (zh) * | 2019-11-18 | 2020-04-07 | 罗彤 | 基于弱监督技术主动学习的智能标注方法、装置及平台 |
| CN111027565A (zh) * | 2019-12-05 | 2020-04-17 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种光学视觉语义提取的输变电设备报告内容生成方法 |
| CN111652309A (zh) * | 2020-05-29 | 2020-09-11 | 刘秀萍 | 视觉单词和短语共驱动的词袋模型图片分类方法 |
| CN112102443B (zh) * | 2020-09-15 | 2022-07-05 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种适用于变电站设备巡检图像的标注系统及标注方法 |
| CN112668590A (zh) * | 2021-01-05 | 2021-04-16 | 瞬联软件科技(南京)有限公司 | 基于图像特征空间和空域空间的视觉词组构建方法和装置 |
| CN115952312A (zh) * | 2022-12-02 | 2023-04-11 | 北京工业大学 | 一种图像标签的自动标注与排序方法 |
| CN117528085B (zh) * | 2024-01-08 | 2024-03-19 | 中国矿业大学 | 一种基于智能特征聚类的视频压缩编码方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207879A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
| CN103530633A (zh) * | 2013-10-09 | 2014-01-22 | 深圳大学 | 一种图像局部不变特征的语义映射方法及语义映射系统 |
| CN105426930A (zh) * | 2015-11-09 | 2016-03-23 | 国网冀北电力有限公司信息通信分公司 | 一种基于卷积神经网络的变电站属性分割方法 |
| CN105930841A (zh) * | 2016-05-13 | 2016-09-07 | 百度在线网络技术（北京）有限公司 | 对图像进行自动语义标注的方法、装置与计算机设备 |
| CN106227814A (zh) * | 2016-07-22 | 2016-12-14 | 黎海纤 | 用于提供图像存储和检索的系统 |
-
2017
- 2017-11-08 CN CN201711093816.3A patent/CN107944454B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207879A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
| CN103530633A (zh) * | 2013-10-09 | 2014-01-22 | 深圳大学 | 一种图像局部不变特征的语义映射方法及语义映射系统 |
| CN105426930A (zh) * | 2015-11-09 | 2016-03-23 | 国网冀北电力有限公司信息通信分公司 | 一种基于卷积神经网络的变电站属性分割方法 |
| CN105930841A (zh) * | 2016-05-13 | 2016-09-07 | 百度在线网络技术（北京）有限公司 | 对图像进行自动语义标注的方法、装置与计算机设备 |
| CN106227814A (zh) * | 2016-07-22 | 2016-12-14 | 黎海纤 | 用于提供图像存储和检索的系统 |
Non-Patent Citations (4)
| Title |
|---|
| "一种基于上下文语义信息的图像块视觉单词生成算法";刘硕研 等;《电子学报》;20100531;第38卷(第5期);第1156-1161页 * |
| "一种新的基于语义聚类和图算法的自动图像标注方法";芮晓光 等;《中国图象图形学报》;20070228;第12卷(第2期);第239-244页 * |
| "基于ISODATA聚类的词汇树图像检索算法";张婷 等;《计算机科学》;20141130;第41卷(第11A期);第123-127页 * |
| "语义标注研究热点与演进历程的知识图谱分析";肖婷婷 等;《情报理论与实践》;20150131;第38卷(第1期);第1-7页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11823440B2 (en) | 2021-08-19 | 2023-11-21 | Rehrig Pacific Company | Imaging system with unsupervised learning |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107944454A (zh) | 2018-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944454B (zh) | 一种针对变电站的基于机器学习的语义标注方法 | |
| Dong et al. | Domain-size pooling in local descriptors: DSP-SIFT | |
| Cheriyadat | Unsupervised feature learning for aerial scene classification | |
| CN110443293B (zh) | 基于双判别生成对抗网络文本重构的零样本图像分类方法 | |
| CN102693299B (zh) | 一种并行视频拷贝检测系统和方法 | |
| CN111090763B (zh) | 一种图片自动标签方法及装置 | |
| CN113327279B (zh) | 一种点云数据处理方法、装置、计算机设备及存储介质 | |
| CN112367273B (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
| CN106056082A (zh) | 一种基于稀疏低秩编码的视频动作识别方法 | |
| CN104850859A (zh) | 一种基于多尺度分析的图像特征包构建方法 | |
| CN115471216B (zh) | 智慧实验室管理平台的数据管理方法 | |
| Zahradnikova et al. | Image mining: review and new challenges | |
| CN114067286A (zh) | 基于序列化可形变注意力机制的高位相机车辆重识别方法 | |
| CN115205712A (zh) | 一种基于孪生网络的无人机巡检图像快速查重方法和系统 | |
| CN110110120B (zh) | 一种基于深度学习的图像检索方法和装置 | |
| CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
| CN114547968A (zh) | 一种智能变电站图纸的物理回路建模方法 | |
| Zhang et al. | Wood board image processing based on dual-tree complex wavelet feature selection and compressed sensing | |
| CN113408651B (zh) | 基于局部判别性增强的无监督三维物体分类方法 | |
| Sana et al. | PLT‐based spectral features for texture image retrieval | |
| Nayak et al. | Effective PCB Defect Detection Using Stacked Autoencoder with Bi-LSTM Network. | |
| Tomaszewski et al. | Object Description Based on Local Features Repeatability | |
| CN110033082B (zh) | 一种识别ai设备中深度学习模型的方法 | |
| Kabbai et al. | Hybrid local and global descriptor enhanced with colour information | |
| Zhang et al. | Short video fingerprint extraction: from audio–visual fingerprint fusion to multi-index hashing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |