CN111143616B - 一种视频图像数据治理方法 - Google Patents

Abstract

本发明公开了一种视频图像数据治理方法。方法包括数据质量治理，从若干异构视频图像数据源中采集构建业务元数据，包括数据标准、数据模型和数据质量规则；对异构数据源数据进行分类，区分出视频图像基础属性、视频图像描述信息和视频图像原始数据；本发明所述方法的优越效果是：提供了一种视频图像数据治理方法，结合接入汇聚视频图像数据的方式特点和内容特点，对视频图像数据通过一系列数据质量管理手段和数据资产管理功能进行治理，构建出视频图像数据分级分类后的资产目录，为后续围绕视频图像数据的应用提供数据上的支撑。

Description

一种视频图像数据治理方法

技术领域

本发明属于数据治理技术领域，尤其涉及一种视频图像数据治理方法。

背景技术

目前，随着视频监控系统的联网共享应用在公共安全领域的推广普及，关于视频图像的智能化应用也在不断深化，视频图像经过前端智能解析后，以视频图像为核心的视频图像数据也会被广泛的汇聚到中心。申请号为201810888687.5的专利公开了一种基于图像识别的水域污染识别治理方法和系统，该方法包括有以下步骤：获取待检测识别的图像采用语义分割方法进行区域检测；对图像中水域部分进行单独提取然后采用部分卷积方法构造分类网络，对水域进行水质分类；采用神经网络对图像进行目标检测；根据上述水质分类结果、目标检测结果和预设的污染治理分类数据，采用专家系统得到污染治理分类。申请号为201710148177.X的专利公开了一种基于大数据与图像识别的家庭养护杜鹃花的APP，其特征在于用户登录APP后用摄像头扫描杜鹃花的茎叶花部位，APP自动将杜鹃花样本的图片数据和所在地理位置数据发送至云端服务器，云端服务器采用图像识别技术判段出该样本为杜鹃花以及其生长情况和病虫害情况；再在杜鹃花大数据库中调取与该样本地理位置相近生长情况相似的数据进行比对，从而得出针对该样本杜鹃花的养护方法并推送至APP上。由于汇聚数据来源众多，数据质量参差不齐，因此，需要针对视频图像数据进行数据治理以提升数据质量，充分发挥其价值。目前还没有有效的关于视频图像数据的数据治理方法，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的视频图像数据治理方法，本发明所述方法包括以下步骤：

步骤1，数据质量治理：

步骤1.1，从若干异构视频图像数据源中采集构建业务元数据，包括数据标准(比如GB/T 28181)、数据模型和数据质量规则(例如依据GB/T 28181形成的对于数据格式的要求)；

步骤1.2，对异构数据源数据进行分类，区分出视频图像基础属性、视频图像描述信息和视频图像原始数据；

步骤1.3，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据对这两类数据的关键数据项进行校验分析，通过人工校验和自动化校验区分出噪音数据和重要数据，对于校验发现的有问题的重要数据，通过数据覆盖、数据过滤、数据补齐的数据清洗手段，保证数据的规范性、有效性和关联性：

步骤1.3.1，数据覆盖：以视频图像信息数据的唯一标识为基准，对于汇聚的重复数据，使用时间上靠后的数据覆盖较早数据，保证数据的唯一性；

步骤1.3.2，数据过滤：通过业务元数据中设定的过滤规则将脏数据和不完整的数据过滤掉，不允许空值或数值超范围；

步骤1.3.3，数据补齐：基于业务元数据定义，对汇聚的视频图像信息数据中的缺失项、错误项以及数据间的关联关系进行补充或修改；

步骤1.4，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据实现数据转换，包括数据标准转换、数据代码翻译、数据字段归一化：

步骤1.4.1，数据标准转换：将异构源数据中非标准的数据结构转换成标准的实体标签模型，将非标准的数据字典转换为标准的数据字典；

步骤1.4.2，数据翻译：异构源数据中不可避免的存在着大量的引用数据，引用生产环境相关的标准规范甚至自定义的数据字典，引用类型的数据无法为后续的数据统计与分析提供支撑，需要对引用类型的数据基于业务元数据定义进行相应的数据翻译，翻译成可理解的内容；

步骤1.4.3，数据字段归一化：异构源数据中某种类型的数据可能存在不同的表达方式，时间类型数据可能存在“yyyyMMddhhmmss、yyyyMMdd、ssmmhhddMMyyyy”的不同的表现方式，需要对这类数据字段进行归一化，为后续的轨迹、档案均提供准确的时空信息，避免数据分析时垃圾进垃圾出的分析结果；

步骤1.5，对于视频图像基础属性数据、视频图像描述信息数据以及视频图像原始数据分别进行图片质量、设备时间、设备经纬度、数据量异常的方面的关键属性治理，视频图像数据具有时间和空间强关联的特性，采集的人脸/车辆卡口的视频图像数据应具备完整的采集时间、采集位置的信息，当时间或空间数据异常，将会严重影响视频图像相关业务应用的成效，如轨迹分析；在人脸识别应用中，对采集的图片或照片进行质量分析，避免图像智能解析系统对无效图片或照片进行处理，在将人脸、车辆的视频图像相关数据提供给应用系统前，通过各类工具对原始数据进行治理：

步骤1.5.1，图片质量治理：支持对采集的人脸图片或照片进行人脸质量评分，对评分不符合要求的人脸图片进行分类、清洗、整合；支持对采集的车辆的图片进行图像质量评估，对图片像素偏低、清晰度异常、亮度异常的情况进行分析、统计，并对异常图片进行分类、清洗、整合；

步骤1.5.2，设备时间治理：支持对前端视频图像采集设备的时间与标准时间的时间差进行分析、统计，配合系统自动标定或人工标定的方式进行时间异常治理；

步骤1.5.3，设备经纬度治理：支持对前端视频图像采集设备的经纬度缺少、无效、异常的情况进行分析、统计，配合系统自动标定或人工标定的方式实现经纬度异常治理；

步骤1.5.4，数据量异常监测：支持对视频图像点位采集的实时数据量与历史采集数据量进行比对分析，识别采集数据量异常(如大幅减少)点位并告警；

步骤1.6，对数据治理过程中发现的质量问题进行评估，生成评估报告，辅助质量问题定位及预防。

步骤2，数据资产管理：

步骤2.1，结合管理要求，根据视频图像数据的采集位置、内容的敏感程度对视频图像数据进行分级，以确定数据是属于完全开放的、对部分用户开放的、以及不予开放的，对于不同级别的视频图像数据根据视频图像数据来源、业务属性进行分类，比如人脸、车辆；

步骤2.2，在分级分类的基础之上，构建数据资产目录，对外部数据接入方式接入的数据源进行描述，对视频图像数据分级分类后的数据进行描述，构建视频图像技术元数据。对视频图像数据的资产变更情况进行详细记录，查看每类数据的总量情况和变化情况，对数据库及数据表的数据量进行分析；

步骤2.3，设计策略对海量的视频图像信息数据进行自动化数据归档、清理，通过对数据的生命周期管理有效控制在线数据规模，提高数据访问效率以减少系统资源浪费。

本发明所述方法的优越效果是：针对跨级跨域汇聚视频图像数据面临的来源多样、数据量大、非结构化特性、元数据不规范、数据质量参差不齐的技术问题提供了一种视频图像数据治理方法，结合接入汇聚视频图像数据的方式特点和内容特点，对视频图像数据通过一系列数据质量管理手段和数据资产管理功能进行治理，构建出视频图像数据分级分类后的资产目录，为后续围绕视频图像数据的应用提供数据上的支撑。

附图说明

图1是本发明所述方法的流程示意图之一；

图2是本发明所述方法的流程示意图之二；

图3是本发明所述方法的流程示意图之三。

具体实施方式

下面结合附图对本发明的实施方式进行详细描述。如图1所示：本发明所述方法包括以下步骤：

步骤1，数据质量治理：

步骤1.1，从若干异构视频图像数据源中采集构建业务元数据，包括数据标准(比如GB/T 28181)、数据模型和数据质量规则(例如依据GB/T 28181形成的对于数据格式的要求)；

步骤1.2，对异构数据源数据进行分类，区分出视频图像基础属性、视频图像描述信息和视频图像原始数据；

步骤1.3，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据对这两类数据的关键数据项进行校验分析，通过人工校验和自动化校验区分出噪音数据和重要数据，对于校验发现的有问题的重要数据，通过数据覆盖、数据过滤、数据补齐的数据清洗手段，保证数据的规范性、有效性和关联性：

步骤1.3.1，数据覆盖：以视频图像信息数据的唯一标识为基准，对于汇聚的重复数据，使用时间上靠后的数据覆盖较早数据，保证数据的唯一性；

步骤1.3.2，数据过滤：通过业务元数据中设定的过滤规则将脏数据和不完整的数据过滤掉，不允许空值或数值超范围；

步骤1.3.3，数据补齐：基于业务元数据定义，对汇聚的视频图像信息数据中的缺失项、错误项以及数据间的关联关系进行补充或修改；

步骤1.4，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据实现数据转换，包括数据标准转换、数据代码翻译、数据字段归一化：

步骤1.4.1，数据标准转换：将异构源数据中非标准的数据结构转换成标准的实体标签模型，将非标准的数据字典转换为标准的数据字典；

步骤1.4.2，数据翻译：异构源数据中不可避免的存在着大量的引用数据，引用生产环境相关的标准规范甚至自定义的数据字典，引用类型的数据无法为后续的数据统计与分析提供支撑，需要对引用类型的数据基于业务元数据定义进行相应的数据翻译，翻译成可理解的内容；

步骤1.4.3，数据字段归一化：异构源数据中某种类型的数据可能存在不同的表达方式，时间类型数据可能存在“yyyyMMddhhmmss、yyyyMMdd、ssmmhhddMMyyyy”的不同的表现方式，需要对这类数据字段进行归一化，为后续的轨迹、档案均提供准确的时空信息，避免数据分析时垃圾进垃圾出的分析结果；

步骤1.5，对于视频图像基础属性数据、视频图像描述信息数据以及视频图像原始数据分别进行图片质量、设备时间、设备经纬度、数据量异常的方面的关键属性治理，视频图像数据具有时间和空间强关联的特性，采集的人脸/车辆卡口的视频图像数据应具备完整的采集时间、采集位置的信息，当时间或空间数据异常，将会严重影响视频图像相关业务应用的成效，如轨迹分析；在人脸识别应用中，对采集的图片或照片进行质量分析，避免图像智能解析系统对无效图片或照片进行处理，在将人脸、车辆的视频图像相关数据提供给应用系统前，通过各类工具对原始数据进行治理：

步骤1.5.1，图片质量治理：支持对采集的人脸图片或照片进行人脸质量评分，对评分不符合要求的人脸图片进行分类、清洗、整合；支持对采集的车辆的图片进行图像质量评估，对图片像素偏低、清晰度异常、亮度异常的情况进行分析、统计，并对异常图片进行分类、清洗、整合；

步骤1.5.2，设备时间治理：支持对前端视频图像采集设备的时间与标准时间的时间差进行分析、统计，配合系统自动标定或人工标定的方式进行时间异常治理；

步骤1.5.3，设备经纬度治理：支持对前端视频图像采集设备的经纬度缺少、无效、异常的情况进行分析、统计，配合系统自动标定或人工标定的方式实现经纬度异常治理；

步骤1.5.4，数据量异常监测：支持对视频图像点位采集的实时数据量与历史采集数据量进行比对分析，识别采集数据量异常(如大幅减少)点位并告警；

步骤1.6，对数据治理过程中发现的质量问题进行评估，生成评估报告，辅助质量问题定位及预防。

步骤2，数据资产管理：

步骤2.1，结合管理要求，根据视频图像数据的采集位置、内容的敏感程度对视频图像数据进行分级，以确定数据是属于完全开放的、对部分用户开放的、以及不予开放的，对于不同级别的视频图像数据根据视频图像数据来源、业务属性进行分类，比如人脸、车辆；

步骤2.2，在分级分类的基础之上，构建数据资产目录，对外部数据接入方式接入的数据源进行描述，对视频图像数据分级分类后的数据进行描述，构建视频图像技术元数据。对视频图像数据的资产变更情况进行详细记录，查看每类数据的总量情况和变化情况，对数据库及数据表的数据量进行分析；

步骤2.3，设计策略对海量的视频图像信息数据进行自动化数据归档、清理，通过对数据的生命周期管理有效控制在线数据规模，提高数据访问效率以减少系统资源浪费。

如图2所示，对于视频流相关的视频图像数据，包括视频基础属性即视频流点位信息和视频原始数据两部分，数据治理包括以下步骤：

步骤1,获取视频流点位信息，通过国标GB/T 28181协议接入。

步骤2,对获取的点位信息基于国标规定进行校验，发现不合规项。

步骤3,对于不合规项进行数据清洗或转换，对于点位编码不足20位、行政区域编码存在非数字项的不符合标准的数据予以过滤，对于属性内容不是标准规定范围的予以覆盖或者转换，将视频流点位信息通过一系列清洗或转换措施统一成符合标准的内容。

步骤4,对于步骤3的结果数据根据安装位置的敏感度相关属性进行分级分类，区别出面向不同类型用户在不同范围共享的点位信息。

步骤5,构建点位资源目录，对外提供共享。

步骤6,以上是对于视频流点位信息的治理，对于视频流，通过视频质量诊断的措施对视频流的标准符合性和质量进行评估，形成评估报告，为用户对于视频的应用提供参考。

对于对视频图像进行智能分析后形成的视频图像数据，包括视频图像基础属性即点位信息、视频图像描述信息和视频图像原始数据三部分，数据治理的过程包括以下步骤：

步骤1，对于视频图像基础属性：

步骤1.1，获取视频图像基础属性信息，通过国标协议或部门行业标准接入；

步骤1.2，对获取的点位信息基于标准规范规定进行校验，发现不合规项；

步骤1.3，对于不合规项进行数据清洗或转换，对于点位编码不足20位、行政区域编码存在非数字项的不符合标准的数据予以过滤，对于属性内容不是标准规定范围的予以覆盖或者转换，将点位信息通过一系列清洗或转换措施统一成符合标准的内容；

步骤1.4，对于步骤1.3的结果数据根据安装位置的敏感度相关属性进行分级分类，区别出面向不同类型用户在不同范围共享的点位信息；

步骤1.5，构建点位资源目录，对外提供共享。

步骤2，对于视频图像描述信息：

步骤2.1，获取视频图像描述信息，通过国标协议或部门行业标准接入；

步骤2.2，对获取的描述信息基于标准规范规定进行校验，发现不合规项；

步骤2.3，对于不合规项进行数据清洗或转换，对于属性内容有错误的数据予以过滤，对于属性内容不是标准规定范围的予以覆盖或者转换，将描述信息通过一系列清洗或转换措施统一成符合标准的内容；

步骤2.4，对于步骤2.3的结果数据根据安装位置的敏感度相关属性进行分级分类，区别出面向不同类型用户在不同范围共享的描述信息；

步骤2.5，构建数据资产目录，根据标准规范形成元数据资源，对外提供共享。

步骤3，对于视频图像原始数据，通过视频质量诊断的措施对视频图像原始数据的标准符合性和质量进行评估，形成评估报告，为用户对于视频图像的应用提供参考。

视频图像数据由结构化数据和非结构化数据组成，包括：视频图像基础属性(属于结构化数据，指与视频图像内容本身无关的、采集视频图像时即已确定的信息，例如视频源前端设备编码、前端设备安装地址)、视频图像描述信息(属于结构化数据，指视频图像中涵盖内容的描述信息，比如人员、车辆)、视频图像原始数据(属于非结构化数据，指视频流、视频片段或图片数据)。视频图像数据治理在视频图像数据接入的基础之上，围绕数据质量管理和数据资产管理两条主线进行治理，为视频图像处理、视频图像数据服务提供数据上的支撑。其中，数据质量治理是在通过采集设备接入、跨级跨域平台对接的方式接入视频图像数据后，基于相应的标准规范对数据进行检验与清洗、数据转换、图像治理的操作，生成满足标准及质量要求的数据；数据资产管理是在数据质量管理的基础之上，结合部门/行业对于视频图像数据的管理要求，通过对视频图像数据进行分级分类、构建资产目录以及生命周期管理的操作，形成可供不同需求应用的数据。视频图像数据不同于一般的信息系统数据，它的接入汇聚通常是通过某种标准规范规定的统一协议格式接入或者是通过厂商私有SDK协议接入，少部分可能来自数据库表的对接，形成异构的视频图像数据源。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (4)

1.一种视频图像数据治理方法，其特征在于，包括以下步骤：

步骤1，数据质量治理：

步骤1.1，从若干异构视频图像数据源中采集构建业务元数据，包括数据标准、数据模型和数据质量规则；

步骤1.2，对异构数据源数据进行分类，区分出视频图像基础属性、视频图像描述信息和视频图像原始数据；

步骤1.3，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据对这两类数据的关键数据项进行校验分析，通过人工校验和自动化校验区分出噪音数据和重要数据，对于校验发现的有问题的重要数据，通过数据覆盖、数据过滤、数据补齐的数据清洗手段，保证数据的规范性、有效性和关联性；

步骤1.4，对于视频图像基础属性和视频图像描述信息，基于构建的业务元数据实现数据转换，包括数据标准转换、数据代码翻译、数据字段归一化；

步骤1.5，对于视频图像基础属性数据、视频图像描述信息数据以及视频图像原始数据分别进行图片质量、设备时间、设备经纬度、数据量异常的方面的关键属性治理，视频图像数据具有时间和空间强关联的特性，采集的人脸/车辆卡口的视频图像数据应具备完整的采集时间、采集位置的信息，当时间或空间数据异常，将会严重影响视频图像相关业务应用的成效；在人脸识别应用中，对采集的图片或照片进行质量分析，避免图像智能解析系统对无效图片或照片进行处理，在将人脸、车辆的视频图像相关数据提供给应用系统前，通过各类工具对原始数据进行治理；

步骤1.6，对数据治理过程中发现的质量问题进行评估，生成评估报告，辅助质量问题定位及预防；

步骤2，数据资产管理：

步骤2.1，结合管理要求，根据视频图像数据的采集位置、内容的敏感程度对视频图像数据进行分级，以确定数据是属于完全开放的、对部分用户开放的、以及不予开放的，对于不同级别的视频图像数据根据视频图像数据来源、业务属性进行分类；

步骤2.2，在分级分类的基础之上，构建数据资产目录，对外部数据接入方式接入的数据源进行描述，对视频图像数据分级分类后的数据进行描述，构建视频图像技术元数据，对视频图像数据的资产变更情况进行详细记录，查看每类数据的总量情况和变化情况，对数据库及数据表的数据量进行分析；

步骤2.3，设计策略对海量的视频图像信息数据进行自动化数据归档、清理，通过对数据的生命周期管理有效控制在线数据规模，提高数据访问效率以减少系统资源浪费。

2.根据权利要求1所述的一种视频图像数据治理方法，其特征在于，所述步骤1.3包括以下步骤：

步骤1.3.1，数据覆盖：以视频图像信息数据的唯一标识为基准，对于汇聚的重复数据，使用时间上靠后的数据覆盖较早数据，保证数据的唯一性；

步骤1.3.2，数据过滤：通过业务元数据中设定的过滤规则将脏数据和不完整的数据过滤掉，不允许空值或数值超范围；

步骤1.3.3，数据补齐：基于业务元数据定义，对汇聚的视频图像信息数据中的缺失项、错误项以及数据间的关联关系进行补充或修改。

3.根据权利要求1所述的一种视频图像数据治理方法，其特征在于，所述步骤1.4包括以下步骤：

步骤1.4.1，数据标准转换：将异构源数据中非标准的数据结构转换成标准的实体标签模型，将非标准的数据字典转换为标准的数据字典；

步骤1.4.2，数据翻译：异构源数据中不可避免的存在着大量的引用数据，引用生产环境相关的标准规范甚至自定义的数据字典，引用类型的数据无法为后续的数据统计与分析提供支撑，需要对引用类型的数据基于业务元数据定义进行相应的数据翻译，翻译成可理解的内容；

步骤1.4.3，数据字段归一化：异构源数据中某种类型的数据可能存在不同的表达方式，时间类型数据可能存在“yyyyMMddhhmmss、yyyyMMdd、ssmmhhddMMyyyy”的不同的表现方式，需要对这类数据字段进行归一化，为后续的轨迹、档案均提供准确的时空信息，避免数据分析时垃圾进垃圾出的分析结果。

4.根据权利要求1所述的一种视频图像数据治理方法，其特征在于，所述步骤1.5包括以下步骤：

步骤1.5.1，图片质量治理，支持对采集的人脸图片或照片进行人脸质量评分，对评分不符合要求的人脸图片进行分类、清洗、整合；支持对采集的车辆的图片进行图像质量评估，对图片像素偏低、清晰度异常、亮度异常的情况进行分析、统计，并对异常图片进行分类、清洗、整合；

步骤1.5.2，设备时间治理：支持对前端视频图像采集设备的时间与标准时间的时间差进行分析、统计，配合系统自动标定或人工标定的方式进行时间异常治理；

步骤1.5.3，设备经纬度治理：支持对前端视频图像采集设备的经纬度缺少、无效、异常的情况进行分析、统计，配合系统自动标定或人工标定的方式实现经纬度异常治理；

步骤1.5.4，数据量异常监测：支持对视频图像点位采集的实时数据量与历史采集数据量进行比对分析，识别采集数据量异常点位并告警。