CN115795079A - 一种工程造价分析数据采集与处理方法、系统 - Google Patents

Abstract

本发明提供了一种工程造价分析数据采集与处理方法、系统，涉及工程造价技术领域，包括以下步骤：步骤一：收集所有预算报表的格式图像，对图像的字符格式面进行降噪锐化，去除噪点，集成为格式库；步骤二：提取格式库中所有报表上格式的颜色、纹理特征值；步骤三：将格式库中的格式图像融合特征值构建多个格式对比模型；本发明收集所有格式集成为格式库，并提取格式的特征值，作为对比依据，构建格式对比模型，并标记造价数据记录区域，接着获取所需要分析的预算报表图片的特征值，与对比模型对比，确定所属报表格式，以确定记录造价数据的区域，适配多种格式数据，精准确定数据记录区域，方便后续提取文字，节省人力，适用范围广。

Description

一种工程造价分析数据采集与处理方法、系统

技术领域

本发明涉及工程造价技术领域，尤其涉及一种工程造价分析数据采集与处理方法、系统。

背景技术

在工程中，造价数据报表用于为项目投资控制、造价水平分析、工程决策分析等专业技经管理分析工作提供可靠的方法与依据，其中包含了采集到的造价数据、结算数据等一系列数据，由于采集的数据所涉及的业务范围广、背景数据量大，这使人工收集、人工统计分析的难度增加，人工计算非常容易出现无法避免的手误或遗漏，对最终造价分析结果产生一定影响，一定程度上降低了造价分析数据精确性。

现有技术中，一般采用人工收集造价报表上需要的数据，然后进行计算，费时费力，人工劳动强度大，也有的采用机器识别，然而，造价报表格式多样化，不同的格式中，所记录的重要数据位置不同，机器识别难以应对不同格式的报表来提取准确的数值，具有局限性，且报表中可能存在缺漏的情况，机器识别一般会忽略掉，造成数据损失，因此，本发明提出一种工程造价分析数据采集与处理方法、系统以解决现有技术中存在的问题。

发明内容

针对上述问题，本发明提出一种工程造价分析数据采集与处理方法、系统，该工程造价分析数据采集与处理方法、系统适配多种格式数据，精准确定数据记录区域，方便后续提取文字，节省人力，适用范围广。

为实现本发明的目的，本发明通过以下技术方案实现：一种工程造价分析数据采集与处理方法，其特征在于，包括以下步骤：

步骤一：收集所有预算报表的格式图像，对图像的字符格式面进行降噪锐化，去除噪点，集成为格式库；

步骤二：提取格式库中所有报表上格式的颜色、纹理特征值；

步骤三：将格式库中的格式图像融合特征值构建多个格式对比模型，人工在每个对比模块中标记造价数据记录区域；

步骤四：获取预算报表的图片数据，降噪后识别图片的颜色、纹理特征值，与对比模型对比，根据特征值确定所属报表格式；

步骤五：根据相应格式对比模型中人工标记的造价数据记录区域，确定预算报表图片上记录造价数据的区域；

步骤六：联网获取工程造价项目文本，以及多种专业术语，构建验证库；

步骤七：提取造价数据区域的有效文字，以验证库中的项目文本作为有效凭据，确定造价数据有效性，输出造价数据；

步骤八：当提取的文字出现缺漏，无法与验证库中文本完全匹配，则输出异常提醒，并根据缺漏前后文，列举相似的专业术语以供选择。

进一步改进在于：所述步骤一中，采用Lightroom/ACR全局降噪技术和Nik Dfine2局部降噪对格式图像进行处理。

进一步改进在于：所述步骤二中，利用ENVI软件识别格式库中所有报表的图像，并转换为HLS图像，提取颜色特征，然后通过ENVI软件的滤波功能对格式库中所有报表的图像进行滤波，并将其滤波提取的纹理结果置于ARCGIS进行密度分析，确定文字的纹理细密度，接着对图像进行光谱二阶导数的求取，在ENVI IDL中编写二阶导数运算算法，确定图像的特征值。

进一步改进在于：所述步骤三中，用REVIT软件进行建模处理，首先设置标高和轴网，然后将格式库中的格式图像导入，以此为基础，生成平面模型，然后将平面模型和颜色、纹理特征值导入GML中，实现数据可视化，接着，利用SVG进行数据矢量化，形成点、线、面，由点、线、面组成具体矢量化模型，以此构建多个格式对比模型，且步骤三中，人工在每个对比模块中标记造价数据记录区域，设置触发响应。

进一步改进在于：所述步骤四中，预算报表为实体报表或者文档报表，在实体报表情况下，通过拍摄获取其图片数据，在文档报表情况下，将文档转换为PDF图像文件；且步骤四中，采用Lightroom/ACR全局降噪技术和NikDfine2局部降噪对图片数据进行降噪，接着重复步骤二提取的步骤，识别图片的颜色、纹理特征值。

进一步改进在于：所述步骤五中，确定报表格式后，归类于相应的格式对比模型中，触发人工标记的造价数据记录区域，根据预算报表图片数据与相应格式对比模型的比例，确定造价数据记录区域，在预算报表图片数据中，对确定的造价数据记录区域进行高亮标记。

进一步改进在于：所述步骤六中，工程造价项目文本包括所有关乎工程造价的所有项目的文本介绍摘要和工程造价项目术语，多种专业术语包括工程造价项目术语以及与此术语相同或者相似的专业术语，以此作为验证库。

进一步改进在于：所述步骤七中，采用STAR-Net算法，识别预算报表图片的造价数据区域的文字，采用Term-Frequency、Inversedocumentfrequency和TF-IDF算法相结合的手段，以验证库中的项目文本作为有效凭据，提取文字中的专业术语以及专业术语后的造价数字，摒除无用文字，余下有效数据，将数据以列表的形式输出至显示端。

进一步改进在于：所述步骤八中，当提取的文字出现缺漏，缺漏的判断标准为：以验证库作为基础，当提取的文字与工程造价项目文本、多种专业术语达到60％相似，但无法完全匹配时，则判断该文字为缺漏，输出异常提醒信息至显示端，并根据60％及以上相似度，从验证库中进行筛选匹配，在显示端列举出可能匹配的相似专业术语以供选择。

一种工程造价分析数据采集与处理系统，包括存储有计算机程序的计算机可读存储介质和处理器，计算机可读存储介质上存储有能够被处理器加载并执行如上述所述一种工程造价分析数据采集与处理方法。

本发明的有益效果为：

1、本发明收集所有格式集成为格式库，并提取格式的特征值，作为对比依据，构建格式对比模型，并标记造价数据记录区域，接着获取所需要分析的预算报表图片的特征值，与对比模型对比，确定所属报表格式，以确定记录造价数据的区域，适配多种格式数据，精准确定数据记录区域，方便后续提取文字，节省人力，适用范围广。

2、本发明获取工程造价项目文本，以及多种专业术语，构建验证库，在提取所需要分析的预算报表图片的造价数据后，以验证库中的项目文本作为有效凭据，确定造价数据文字的有效性，避免无用文字，提取更加准确。

3、本发明根据60％及以上相似度以及缺漏前后文，提取出缺漏的文字，不忽略，避免数据损失，后续根据相似术语提供匹配选项，便于操作人员及时弥补，保证数据的完整性。

附图说明

图1为本发明的方法流程图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

实施例一

根据图1所示，本实施例提出了一种工程造价分析数据采集与处理方法，其特征在于，包括以下步骤：

步骤一：收集所有预算报表的格式图像，对图像的字符格式面进行降噪锐化，去除噪点，集成为格式库；

步骤二：提取格式库中所有报表上格式的颜色、纹理特征值；

步骤三：将格式库中的格式图像融合特征值构建多个格式对比模型，人工在每个对比模块中标记造价数据记录区域；

步骤四：获取预算报表的图片数据，降噪后识别图片的颜色、纹理特征值，与对比模型对比，根据特征值确定所属报表格式；

步骤五：根据相应格式对比模型中人工标记的造价数据记录区域，确定预算报表图片上记录造价数据的区域；

步骤六：联网获取工程造价项目文本，以及多种专业术语，构建验证库；

步骤七：提取造价数据区域的有效文字，以验证库中的项目文本作为有效凭据，确定造价数据有效性，输出造价数据；

步骤八：当提取的文字出现缺漏，无法与验证库中文本完全匹配，则输出异常提醒，并根据缺漏前后文，列举相似的专业术语以供选择。

本发明收集所有预算报表的格式图像，集成为格式库，并提取格式的颜色、纹理特征值，作为对比依据，来构建多个格式对比模型，并标记造价数据记录区域，然后获取所需要分析的预算报表图片的颜色、纹理特征值，与对比模型对比，确定所属报表格式，以确定预算报表图片上记录造价数据的区域，适配多种格式数据，精准确定数据记录区域，以此提取文字，节省人力，适用范围广。

实施例二

根据图1所示，本实施例提出了一种工程造价分析数据采集与处理方法，其特征在于，包括以下步骤：

收集所有预算报表的格式图像，采用Lightroom/ACR全局降噪技术和Nik Dfine2局部降噪对图像的字符格式面进行降噪锐化，去除噪点，集成为格式库；提高图像的清晰度，使得后续识别更加准确。

提取格式库中所有报表上格式的颜色、纹理特征值；具体为：利用ENVI软件识别格式库中所有报表的图像，并转换为HLS图像，提取颜色特征，然后通过ENVI软件的滤波功能对格式库中所有报表的图像进行滤波，并将其滤波提取的纹理结果置于ARCGIS进行密度分析，确定文字的纹理细密度，接着对图像进行光谱二阶导数的求取，在ENVIIDL中编写二阶导数运算算法，确定图像的特征值；提取颜色，纹理特征值，作为不同报表格式的特征值，方便后续的对比确认。

将格式库中的格式图像融合特征值构建多个格式对比模型，具体为：用REVIT软件进行建模处理，首先设置标高和轴网，然后将格式库中的格式图像导入，以此为基础，生成平面模型，然后将平面模型和颜色、纹理特征值导入GML中，实现数据可视化，接着，利用SVG进行数据矢量化，形成点、线、面，由点、线、面组成具体矢量化模型，以此构建多个格式对比模型，人工在每个对比模块中标记造价数据记录区域，设置触发响应；构建模型，设定触发响应，便于在后续识别预算报表时，对比确认所属格式模型，并触发相应的响应区域，进行精准化提出数据。

获取预算报表的图片数据，预算报表为实体报表或者文档报表，在实体报表情况下，通过拍摄获取其图片数据，在文档报表情况下，将文档转换为PDF图像文件；采用Lightroom/ACR全局降噪技术和NikDfine2局部降噪对图片数据进行降噪，降噪后识别图片的颜色、纹理特征值，与对比模型对比，根据特征值确定所属报表格式；对图片降噪处理，提高图片的清晰度，使得提取的特征值更加准确，使得后续对比更加准确。

根据相应格式对比模型中人工标记的造价数据记录区域，确定预算报表图片上记录造价数据的区域，具体为：确定报表格式后，归类于相应的格式对比模型中，触发人工标记的造价数据记录区域，根据预算报表图片数据与相应格式对比模型的比例，确定造价数据记录区域，在预算报表图片数据中，对确定的造价数据记录区域进行高亮标记；根据模型响应，标记出预算报表图片数据的造价数据记录区域，便于准确提取改格式下的有效数据。

联网获取工程造价项目文本，以及多种专业术语，工程造价项目文本包括所有关乎工程造价的所有项目的文本介绍摘要和工程造价项目术语，多种专业术语包括工程造价项目术语以及与此术语相同或者相似的专业术语，以此作为验证库；作为验证有效数据以及后续弥补缺漏数据的依据。

提取造价数据区域的有效文字，以验证库中的项目文本作为有效凭据，确定造价数据有效性，输出造价数据；根据验证库中的有效文本，验证提取出来文字的有效性，避免无用文字，提取更加准确。

具体为：采用STAR-Net算法，识别预算报表图片的造价数据区域的文字，采用Term-Frequency、Inverse document frequency和TF-IDF算法相结合的手段，以验证库中的项目文本作为有效凭据，提取文字中的专业术语以及专业术语后的造价数字，摒除无用文字，余下有效数据，将数据以列表的形式输出至显示端；具体为：核心算法，包括通过CNN获取图像的视觉特征；通过RNN获取图像的序列特征；以及通过分类器(CTC)或解码器(attention)获取文字序列信息。其次，文字识别的类型，可以基于字符也可以基于词进行识别，基于字符的识别分类数量较少，可以支持自定义词的识别，而基于词的识别其词识别的准确率会更高，目前基于字符进行识别。再次，图像预处理，基于自然语言场景的识别，对于简单的倾斜透视变形，基于文本行检测框进行校正；而对于扭曲变形、弯曲、不同方向的识别，则引入图像空间转换模块或者引用视觉注意力机制(visual attention)来支持。最后，语义推理，文字信息有明显的上下文信息和语义信息，引入语义推理模块来提高整体识别的准确率。STAR-Net：算法说明：Spatial Transformer(空间变换网络)+CRNN。

Term-Frequency：在给定的语料库中，词频指的是，某个词语在语料库中的某个文档中出现的次数/该文档中的总次数。为了避免过长的文件的影响(大概率词语出现的次数多一些)，常考虑为对词数(term count)的归一化，即词频(TF)＝单词在文档中出现的次数/文档的总词数：

假设语料库中包含若干个文档，整个语料库包含多个词。

分子n_i，j表示语料库的第i个词在第j个文件中出现的次数，分母∑_kn_k，j表示文件j中的总词数。在判断关键词时，通常还需要去掉一些停用词，如中文的“的”，“地”。

Inverse document frequency：逆文档频率是一个词语普遍重要性的度量，如果一个词越常见，则分母越大，逆文档概率就越小，越接近0，分母加1是防止分母为0。即逆文档频率(IDF)＝log(语料库中的文档总数/语料库中包含某个词的文档数+1)：

上述公式中，分母|D|表示语料库中的文档总数，分子|j：n_i∈d_j|表示包含语料库中的第i个词的文件个数。更通用的计算公式为：

分母加1是防止出现所有文件中都未出现过该词的情况，log可防止计算的值过大。

TF-IDF：最终TF-IDF＝词频(TF)*逆文档频率(IDF)，即TF-IDF＝TF*IDF。

上式可以看出，TF-IDF与一个词在语料库中的一个文件中出现次数成正比，与语料库中的所有文件中包含该词的文件数成反比。TF-IDF可作为一种提取文件中关键词的算法，即计算出文档中的每一个词的TF-IDF值，然后降序排列，前几个词可看做某个文档中的重要术语。

当提取的文字出现缺漏，缺漏的判断标准为：以验证库作为基础，当提取的文字与工程造价项目文本、多种专业术语达到60％相似，但无法完全匹配时，则判断该文字为缺漏，输出异常提醒信息至显示端，并根据60％及以上相似度以及缺漏前后文，从验证库中进行筛选匹配，在显示端列举出可能匹配的相似专业术语以供选择。根据60％及以上相似度以及缺漏前后文，提取出缺漏的文字，不忽略，避免数据损失，后续提供匹配选项，便于操作人员及时弥补，保证数据的完整性。

实施例三

本实施例提出了一种工程造价分析数据采集与处理系统，包括存储有计算机程序的计算机可读存储介质和处理器，计算机可读存储介质上存储有能够被处理器加载并执行如上述所述一种工程造价分析数据采集与处理方法。

本发明收集所有预算报表的格式图像，集成为格式库，并提取格式的颜色、纹理特征值，作为对比依据，来构建多个格式对比模型，并标记造价数据记录区域，然后获取所需要分析的预算报表图片的颜色、纹理特征值，与对比模型对比，确定所属报表格式，以确定预算报表图片上记录造价数据的区域，适配多种格式数据，精准确定数据记录区域，以此提取文字，节省人力，适用范围广。且本发明获取工程造价项目文本，以及多种专业术语，构建验证库，在提取所需要分析的预算报表图片的造价数据后，以验证库中的项目文本作为有效凭据，确定造价数据文字的有效性，避免无用文字，提取更加准确。同时，本发明根据60％及以上相似度以及缺漏前后文，提取出缺漏的文字，不忽略，避免数据损失，后续根据相似术语提供匹配选项，便于操作人员及时弥补，保证数据的完整性。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种工程造价分析数据采集与处理方法，其特征在于，包括以下步骤：

步骤一：收集所有预算报表的格式图像，对图像的字符格式面进行降噪锐化，去除噪点，集成为格式库；

步骤二：提取格式库中所有报表上格式的颜色、纹理特征值；

步骤三：将格式库中的格式图像融合特征值构建多个格式对比模型，人工在每个对比模块中标记造价数据记录区域；

步骤四：获取预算报表的图片数据，降噪后识别图片的颜色、纹理特征值，与对比模型对比，根据特征值确定所属报表格式；

步骤五：根据相应格式对比模型中人工标记的造价数据记录区域，确定预算报表图片上记录造价数据的区域；

步骤六：联网获取工程造价项目文本，以及多种专业术语，构建验证库；

步骤七：提取造价数据区域的有效文字，以验证库中的项目文本作为有效凭据，确定造价数据有效性，输出造价数据；

步骤八：当提取的文字出现缺漏，无法与验证库中文本完全匹配，则输出异常提醒，并根据缺漏前后文，列举相似的专业术语以供选择。

2.根据权利要求1所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤一中，采用Lightroom/ACR全局降噪技术和NikDfine2局部降噪对格式图像进行处理。

3.根据权利要求2所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤二中，利用ENVI软件识别格式库中所有报表的图像，并转换为HLS图像，提取颜色特征，然后通过ENVI软件的滤波功能对格式库中所有报表的图像进行滤波，并将其滤波提取的纹理结果置于ARCGIS进行密度分析，确定文字的纹理细密度，接着对图像进行光谱二阶导数的求取，在ENVIIDL中编写二阶导数运算算法，确定图像的特征值。

4.根据权利要求3所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤三中，用REVIT软件进行建模处理，首先设置标高和轴网，然后将格式库中的格式图像导入，以此为基础，生成平面模型，然后将平面模型和颜色、纹理特征值导入GML中，实现数据可视化，接着，利用SVG进行数据矢量化，形成点、线、面，由点、线、面组成具体矢量化模型，以此构建多个格式对比模型，且步骤三中，人工在每个对比模块中标记造价数据记录区域，设置触发响应。

5.根据权利要求4所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤四中，预算报表为实体报表或者文档报表，在实体报表情况下，通过拍摄获取其图片数据，在文档报表情况下，将文档转换为PDF图像文件；且步骤四中，采用Lightroom/ACR全局降噪技术和NikDfine2局部降噪对图片数据进行降噪，接着重复步骤二提取的步骤，识别图片的颜色、纹理特征值。

6.根据权利要求5所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤五中，确定报表格式后，归类于相应的格式对比模型中，触发人工标记的造价数据记录区域，根据预算报表图片数据与相应格式对比模型的比例，确定造价数据记录区域，在预算报表图片数据中，对确定的造价数据记录区域进行高亮标记。

7.根据权利要求6所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤六中，工程造价项目文本包括所有关乎工程造价的所有项目的文本介绍摘要和工程造价项目术语，多种专业术语包括工程造价项目术语以及与此术语相同或者相似的专业术语，以此作为验证库。

8.根据权利要求7所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤七中，采用STAR-Net算法，识别预算报表图片的造价数据区域的文字，采用Term-Frequency、Inversedocumentfrequency和TF-IDF算法相结合的手段，以验证库中的项目文本作为有效凭据，提取文字中的专业术语以及专业术语后的造价数字，摒除无用文字，余下有效数据，将数据以列表的形式输出至显示端。

9.根据权利要求8所述的一种工程造价分析数据采集与处理方法，其特征在于：所述步骤八中，当提取的文字出现缺漏，缺漏的判断标准为：以验证库作为基础，当提取的文字与工程造价项目文本、多种专业术语达到60％相似，但无法完全匹配时，则判断该文字为缺漏，输出异常提醒信息至显示端，并根据60％及以上相似度，从验证库中进行筛选匹配，在显示端列举出可能匹配的相似专业术语以供选择。

10.一种工程造价分析数据采集与处理系统，其特征在于：包括存储有计算机程序的计算机可读存储介质和处理器，计算机可读存储介质上存储有能够被处理器加载并执行如权利要求1-9中任一项所述一种工程造价分析数据采集与处理方法。

Images