CN118037133A - 一种城市事件标准化处理分发方法及系统 - Google Patents
一种城市事件标准化处理分发方法及系统 Download PDFInfo
- Publication number
- CN118037133A CN118037133A CN202410421030.3A CN202410421030A CN118037133A CN 118037133 A CN118037133 A CN 118037133A CN 202410421030 A CN202410421030 A CN 202410421030A CN 118037133 A CN118037133 A CN 118037133A
- Authority
- CN
- China
- Prior art keywords
- event
- urban
- verification
- standardized
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012795 verification Methods 0.000 claims abstract description 152
- 238000012216 screening Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 7
- 230000009469 supplementation Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 21
- 238000012797 qualification Methods 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 9
- 238000010606 normalization Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种城市事件标准化处理分发方法及系统。为了克服现有技术仍存在大量形式各异但实质重复的事件，影响城市事件的处理效率的问题；本发明包括以下步骤：S1：接收各业务平台的城市事件，提取城市事件的验证特征，根据验证特征判断城市事件的有效性，筛选剔除重复事件；S2：根据需要分发的目标地址以对应的标准化处理配置处理原始城市事件；S3：将标准化处理后的城市事件采用关于目标对象结合验证特征的唯一编码加密，分发到对应的目标地址。收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
Description
技术领域
本发明涉及城市治理技术领域，尤其涉及一种城市事件标准化处理分发方法及系统。
背景技术
目前城市事件来源于各部门及各区县城市治理事件，导致事件数据散落在各处，难以集中收集和整合。在事件收集过程中，存在大量的重复和不准确事件信息，难以筛选出有效事件，影响后续处理工作。
且大量的事件信息需要人工处理，耗时耗力，信息处理的效率较低，无法及时响应和处理紧急事件。城市事件处理需要涉及多个领域的专业知识，例如公共安全、交通管理等，但处理人员的专业性和能力参差不齐，影响事件处理的质量和效果。不同部门之间在事件处理过程中缺乏有效的沟通和协作机制，导致信息共享不畅，处理效果不佳。
目前也有对城市事件自动分发的方案，例如，一种在中国专利文献上公开的“一种基于深度学习的城市事件自动分类派发方法及装置”，其公告号：CN109325116A，包括收集城市事件数据并预处理；根据收集处理的城市事件数据构建事件分类卷积神经网络模型；计算城市事件发生地的标准地理编码；构建城市事件派发卷积神经网络模型；接收当前输入的城市事件数据，调用所述分类卷积神经网络模型输出分类类别，获取当前城市事件数据的标准地理编码，然后调用派发卷积神经网络模型，输出具体的城市事件派发部门。该发难对比人工处理可以提高事件的分类正确性和派送准确性，但是仍然无法有效对原始事件进行筛选，依旧存在大量形式各异但实质重复的事件，影响城市事件的处理效率。
发明内容
本发明主要解决现有技术仍存在大量形式各异但实质重复的事件，影响城市事件的处理效率的问题；提供一种城市事件标准化处理分发方法及系统，收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种城市事件标准化处理分发方法，包括以下步骤：
S1：接收各业务平台的城市事件，提取城市事件的验证特征，根据验证特征判断城市事件的有效性，筛选剔除重复事件；
S2：缓存原始城市事件并推送到标准化处理队列，根据需要分发的目标地址以对应的标准化处理配置处理原始城市事件；
S3：将标准化处理后的城市事件采用关于目标对象结合验证特征的唯一编码加密，分发到对应的目标地址。
收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
作为优选，在步骤S1中，在接收各业务平台的城市事件之前，验证业务平台的身份，若业务平台的身份存在瑕疵，则直接结束，不再获取该业务平台推送的城市事件。
验证业务平台身份，确保业务平台合法，避免非法信息侵入，保证整个系统网络的安全。
作为优选，在步骤S1中，城市事件的完整性、有效性的验证过程包括：
判断是否所有验证特征均有提取，若是，则判断城市事件完整，否则进行补充提取；
判断提取到的验证特征是否均具有有效数据，若是，则判断城市事件为有效，保存原始城市事件数据；否则，进行补充提取。
确保城市事件的数据有效，避免浪费资源处理、存储。
作为优选，所述的补充提取包括：
实时获取此时其他城市事件内容的验证特征，进行匹配，若事件内容重复度大于等于预设的补充阈值，且其他验证特征匹配相同，则从该对应的城市事件中补充缺失验证特征数据；若补充成功，则返回进行城市事件的完整性和有效性验证，若补充失败，则结束。
能够进行验证特征补充提取的城市事件至少能够提取到事件时间和事件内容的特征，确保存在匹配的基础。通过时间和内容来确定是同一事件。
作为优选，在步骤S1中重复事件的判断过程为：
通过构建完成的城市事件知识图谱，将欲推送的城市事件与数据库中已有的城市事件计算相似度，若相似度大于预设的相似阈值，则认为是同一事件，剔除该事件。
避免实质重复而表达形式不同的事件多次处理，节省资源，提高事件处理的效率。
作为优选，所述的步骤S2具体包括：
S201：在本地数据库中缓存原始城市数据机器对应的验证数据，从验证特征的事件类型和事件地点初步确定分发的目的地址；
S202：根据分发的目标对象设置的标准化处理配置标准化事件信息；
S203：根据标准化处理表格的内容是否填写完善进一步确定是否需要推送到目的地址处。
各不同的目标对象根据其职能要求设置不同的标准处理配置内容，将提取的验证特征内容自动填入到对应的位置，形成城市事件的标准化处理表格。
作为优选，所述的加密过程包括：
获取标准化城市事件中填入的验证特征的字符串；采用字符编码将字符串转换为二进制数；
根据验证特征的特征属性获取其对应的唯一编码，分别将唯一编码转化为二进制数；
将二进制的唯一编码和二进制的验证特征对齐，若二进制的唯一编码为“1”，则对应位置的二进制验证特征取反；若二进制的唯一编码为“0”，则对应位置的二进制验证特征不变；
遍历所有的二进制验证特征，整合后获取标准化城市事件的密文。
一种城市事件标准化处理分发系统，包括：
事件预处理单元对推送平台进行身份认证，对城市事件的有效性、完整性和是否重复进行验证，验证完成后发送到标准化及分发单元；
标准化及分发单元，根据预设的标准化配置，对城市事件标准化处理，将标准化处理后的城市事件推送到对应的平台。
作为优选，所述的事件预处理单元包括：
身份认证模块，对业务平台的身份进行认证，若业务平台的身份存在瑕疵，则直接结束，不再获取该业务平台推送的城市事件；
预处理模块，对城市事件的完整性、合法性以及是否重复进行验证；
事件推送模块，将验证完成的城市事件推送到标准化及分发单元；
和事件回调模块，将城市事件的分发结果通过回调接口反馈给推送事件的业务平台。
作为优选，所述的标准化及分发单元包括：
标准化配置模块，存储有不同目标对象根据其职能设置的标准处理配置内容；
标准化模块，将提取的验证特征内容自动填入到对应的位置，形成城市事件的标准化处理表格；
事件分发模块，将标准化的城市事件采用关于目标对象结合验证特征的唯一编码加密后推送到对应的目的对象处。
本发明的有益效果是：
1. 收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
2. 验证业务平台身份，确保业务平台合法，避免非法信息侵入，保证整个系统网络的安全。
3. 确保城市事件的数据有效，避免浪费资源处理、存储。
4. 通过构建知识图谱剔除重复的事件，避免实质重复而表达形式不同的事件多次处理，节省资源，提高事件处理的效率。
5.根据不同的对象以及不同的特征属性采用对应的唯一编码对标准化事件加密，避免信息的泄露，以及信息被劫取，提高信息安全性。
附图说明
图1是本发明的一种城市事件标准化处理分发方法流程图。
图2是本发明的城市事件标准化处理分发系统结构示意图。
图中1.事件预处理单元，2.标准化及分发单元，1-1.身份认证模块，1-2.预处理模块，1-3.事件推送模块，1-4.事件回调模块，2-1.标准化配置模块，2-2.标准化模块，2-3.事件分发模块。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。
实施例一
本实施例的一种城市事件标准化处理分发方法，如图1所示，包括以下步骤：
S1：接收各业务平台的城市事件，提取城市事件的验证特征，根据验证特征判断城市事件的有效性，筛选剔除重复事件。
S101：业务平台身份认证。
在接收各业务平台的城市事件之前，需要验证业务平台的身份，如果业务平台的身份存在瑕疵，例如平台身份不合法以及平台证书缺失、过期或失效等，则直接结束，不再获取该业务平台推送的城市事件。
对平台身份的合法校验过程包括以下几个方面：
1）业务平台资质验证，获取该业务平台的证书，判断证书是否齐全且有效，若是，则认为该业务平台资质合法，否则判断为其资质审核不通过，直接结束。
若业务平台资质验证失败，则推送“平台资质验证未通过”的反馈信息。
2）通信接口安全验证，包括业务平台的IP地址检验，判断业务平台的IP地址与之前的IP地址或备案的IP地址是否统一，若是，则验证通信接口的安全性，否则，直接结束，推送“通信接口安全存在威胁”的反馈信息；通信接口的安全性验证包括通信协议的验证，判断采用的通信协议是否在预设的通信协议白名单中，若是，则通过通信协议安全验证，否则直接结束，推送“通信接口安全存在威胁”的反馈信息。
3）业务平台信用值验证，根据该平台的历史事件获取传输记录判断其信用值，若在额定时间段内不存在风险记录，则通过信用值验证，否则，存在一条风险记录信用值-1，信用值初始为0，若信用值小于-10，则判断该业务平台存在风险，直接结束，推送“业务平台存在风险”的反馈信息。
S102：接收业务平台的城市事件，提取验证特征，
在业务平台通过身份验证后，基于API接口接收各业务平台的城市事件。
从接收的城市事件中提取验证特征，验证特征为城市事件中的一些特定的特征参数，能够代表该城市事件的特点，验证特征用于验证城市事件的完整性和有效性。通过验证特征与数据库中现有的城市事件匹配对比，能够判断该城市事件是否重复录入。
在本实施例中，验证特征包括事件发生时间、事件地点、事件类型、事件内容以及事件标题等。
S103：验证城市事件的完整性和有效性。
城市事件的完整性、有效性的验证过程包括：
对于不同表现形式的城市事件，通过对应训练好的验证特征提取模型从城市事件中提取各验证特征。
城市事件存在不同的表现形式，包括但不限于文字、图片、语音和视频的一种或多种组合。对于不同的表现形式采用对应不同的特征提取模型，提取后的验证特征均以文字的形式保存。在本实施例中，验证特征提取模型为各神经网络模型，具体的神经网络模型选择和模型训练过程不是本方案的重点，不在本实施例中赘述，例如，以图像形式出现的城市事件，通过文字识别技术识别图像中的文字，并通过图像识别技术识别图像中的对象以及行为，以文字的形式表达保存。
判断是否所有验证特征均有提取，若是，则判断城市事件完整，否则进行补充提取；
判断提取到的验证特征是否均具有有效数据，例如事件标题、事件内容、事件地点等字段是否有值；若是，则判断城市事件为有效，保存原始城市事件数据；否则，进行补充提取。
具体的，能够进行验证特征补充提取的城市事件至少能够提取到事件时间和事件内容的特征，所述的补充提取过程包括：
实时获取此时其他城市事件内容的验证特征，对应进行匹配，若事件内容重复度大于等于预设的补充阈值，在本实施例中为85%，且其他验证特征匹配相同，则从该对应的城市事件中补充缺失验证特征数据；若补充成功，则返回进行城市事件的完整性和有效性验证，若补充失败，则结束。
S104：判断城市事件是否重复。
城市事件重复的判断过程包括：
A：分别从各存储类型的城市事件中抽取包括实体、关系和属性的初始三元组集合。
创建实体、属性、关系的知识模型，具体包括：
A1：定义实体属性集合，为每个实体构造属性值列表；属性具有必选/可选、单值/多值、组合/派生等多种特性。
A2：根据已经定义完成的实体集合及实体属性集合定义出实体之间的关系集合，包括业务关系、时间关系和空间关系。
A3：形成完整的实体、属性、关系的知识模型，包括实体－属性－实体属性值、实体－时间关系－实体、实体－空间关系－实体及实体－业务关系－实体的三元组数据结构。
例如城市事件为车祸，其中的实体包括事故车，其实体属性包括车辆类型、品牌、受损程度以及事故发生地等。
B：利用BERT预训练语言模型对初始三元组集合训练，进行有监督学习的实体对齐，形成标准化三元组数据。
利用BERT预训练语言模型进行实体对齐的过程包括：
B1：构建索引，以城市事件标准库作为对照实体库，对实体进行形象化描述。
B2：获取候选集，对待对齐实体库中每个实体进行对齐并挂载到城市事件标准实体库中。
B3：BERT语义相似度计算，将候选集，利用BERT预训练语言模型计算实体间属性相似度和文本相似度，并进行向量化表示，再利用余弦聚类计算实体的相似度。
B4：筛选对齐实体，将计算的实体相似度的值，按由高到低排序，筛选出相似度最高的作为可对齐实体，并根据相似度分布，利用不同的步长来设置一个相似度阈值，选出大于或低于阈值的实体对。
通过学习实体语义及属性的特性，将其相似度作为实体对齐的筛选标准，能够有效解决多源异构的城市事件依赖人工标注、缺乏语义理解的问题，通过该模型可以将标准的实体对进行对齐，形成标准三元组集合，并将三元组存储于 Neo4j中。
C：根据标准化三元组数据，依次进行知识加工和知识存储，完成城市事件知识图谱构建。
通过构建完成的城市事件知识图谱，将欲推送的城市事件与数据库中已有的城市事件计算相似度，若相似度大于预设的相似阈值，则认为是同一事件，剔除该事件。
运用海量语料和机器学习大模型的知识融合能力，大大减少了很多以往依赖人工完成的基础性、模式化工作，能够有效解决多源异构城市事件知识库的实体对齐问题。运用知识图谱匹配判断城市事件是否重复，能够避免实质内容相同但表现不同的城市事件的重复推送，提高各业务平台的事件处理效率。
S2：缓存原始城市事件并推送到标准化处理队列，根据需要分发的目标地址以对应的标准化处理配置处理原始城市事件。
S201：在本地数据库中缓存原始城市数据机器对应的验证数据，从验证特征的事件类型和事件地点初步确定分发的目的地址。
例如，事件类型为“交通事故”，则将该城市事件应该需要分发到对应辖区的交警部门以及就近的医院，根据事件类型结合时间地址信息能够初步确定需要分发的目的地址。
S202：根据分发的目标对象设置的标准化处理配置标准化事件信息。
各不同的目标对象根据其职能要求设置不同的标准处理配置内容，将提取的验证特征内容自动填入到对应的位置，形成城市事件的标准化处理表格。
例如，交通部门关注的是交通事故造成的损失以及对道路交通的影响，相关的标准处理配置的内容也与此相关；而医院关注的是人员是否受到损害，相关的标准处理配置的内容也与此相关。
S203：根据标准化处理表格的内容是否填写完善进一步确定是否需要推送到目的地址处。
例如，若本次交通事故没有人员受伤，则医院相关的标准化处理表格无法填写完整，也不要将该城市事件推送到医院。避免了资源的浪费，提高了各部门的工作效率。
S3：将标准化处理后的城市事件采用关于目标对象结合验证特征的唯一编码加密，分发到对应的目标地址。
唯一编码为包含目标对象所处的行政区划编码、目标对象的部门编码、验证特征属性编码以及流水号的组合，在本实施例中，唯一编码为行政区划编码、部门编码、特征编码以及流水号的依次组合编码。
具体的，目标对象的行政区划编码为最小具体到街道，最大到区/县/县级市的编码，唯一编码采用的行政区划编码取决于目标对象的行政等级。
目标对象的部门编码为统一的编码，不同地区的同一个部门均采用同一编码，代表目标对象的职能。
验证特征属性编码为对验证特征采用的自然编码，在本实施例中，特征属性为“事件标题”验证特征的特征编码为0001；特征属性为“事件发生时间”验证特征的特征编码为0002；特征属性为“事件地点”验证特征的特征编码为0003；特征属性为“事件类型”验证特征的特征编码为0004； 特征属性为“事件内容”验证特征的特征编码为0005。
流水号为目标对象每日随机发放的流水号码，同一城市事件采用统一流水号。
具体的加密过程包括：
获取标准化城市事件中填入的验证特征的字符串；采用字符编码将字符串转换为二进制数。
字符编码技术可以是ASCII、GB2312、GBK以及Big5中的任意一种，在本实施例中采用的是Big5。
根据验证特征的特征属性获取其对应的唯一编码，分别将唯一编码转化为二进制数。
将二进制的唯一编码和二进制的验证特征对齐，若二进制的唯一编码为“1”，则对应位置的二进制验证特征取反；若二进制的唯一编码为“0”，则对应位置的二进制验证特征不变。
遍历所有的二进制验证特征，整合后获取标准化城市事件的密文。
将加密后的标准化城市事件分发到对应的目标对象的目标地址，目标对象其关于验证特征的唯一编码分别对城市事件中的各验证特征解密，获得的明文即标准化的城市事件。
获得标准化城市事件的目标对象开始对城市事件进行处理。
将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
具体的，以一辆车相撞的交通事故城市事件为例。
第一事件平台收到交通事故的报警电话，内容包括了描述该交通事故的通话内容，但是遗漏了关键的事故发生地点信息。
第二事件平台通过路边的监控摄像头拍摄到了同一起交通事故，内容包括了事故发生前后的监控视频信息。
在对第一事件平台和第二事件平台身份认证完成的前提下，分别接收了上述的两个城市事件，分别提取通话语音和监控视频中的验证特征，
从通话语音中提取了事故发生时间、有无人员受伤和车辆受损程度等验证特征。
从监控视频中提取了事故发生时间、事故发生地点、车辆受损程度、事故规模、车辆车牌以及品牌等信息。
在对第一事件平台的城市事件验证完整性时，发现缺少了关键的事件地点信息，需要补充提取；从实时的数据库中匹配，得到相近内容的第二事件平台的城市事件，两者判断为同一城市事件，将第二事件平台推送的城市事件中的事件地点信息以及其他事件内容信息补充到第一事件平台的城市事件中，缓存原城市事件。
进而，在事件重复验证时，通过城市事件知识图谱对验证特征判断，判断两者事件重复，仅保存一个验证特征用于标准化处理，其余的验证特征删除。
在标准化处理过程中，首先根据事件的类型“交通事故”结合事件的地址，初步确定需要分发到对应辖区的交警部门以及就近的医院。
根据初步确定的交警部门和医院的标准化处理配置信息，将提取的验证特征自动填入到对应的位置；例如，交警部门的标准化表格中需要填入的内容包括事故发生的时间、事故发生的地点、有无人员伤亡、事故涉及的相关对象等；而医院的标准化表格需要填入的内容包括事故发生的时间、事故发生的地点以及是否需要急救等信息。
进一步的，根据填写的内容进一步判断是否需要推送到所有目的对象，例如，本次事故无人员受伤，则不需要将该事件推送到医院，减少资源的浪费，减少无用的工作量。
将标准化城市事件加密后推送到目标对象处，在本实施例中通过唯一编码加密，例如，某地的交警部门关于验证特征属性为“事件标题”的验证特征的唯一编码为：ZJ131-0212-0001-0012。其中“ZJ131”为行政区区划编码代表目标交警部门所处的行政区划；“0212”为部门编码，代表交警部门；“0001”为属性编码，代表事件标题；“00012”为随机的流水号；同理，可以知道该交警部门对于该城市事件的验证特征属性为“事件内容”的唯一编码为：ZJ131-0212-0005-0012。
将标准化城市事件的验证特征转化为二进制后根据其特征属性与对应的二进制唯一编码对齐；将二进制的唯一编码和二进制的验证特征对齐，若二进制的唯一编码为“1”，则对应位置的二进制验证特征取反；若二进制的唯一编码为“0”，则对应位置的二进制验证特征不变。
例如，二进制后的验证特征的前八位为“11010101”；其对应的二进制唯一编码的前八位为“00100101”；则经过加密后的二进制验证特征密文为“11110000”。
遍历所有的二进制验证特征，整合后获取标准化城市事件的密文。对应的交通部门接收到密文后根据唯一编码解密，获得明文。处理对应的交通事故。
本实施例的方案收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
实施例二
本实施例的一种城市事件标准化处理分发系统，如图2所示，包括事件预处理单元1和标准化及分发单元2。
事件预处理单元1对推送平台进行身份认证，对城市事件的有效性、完整性和是否重复进行验证，验证完成后发送到标准化及分发单元2。
标准化及分发单元2根据预设的标准化配置，对城市事件标准化处理，将标准化处理后的城市事件推送到对应的平台。
具体的，事件预处理单元1包括身份认证模块1-1、预处理模块1-2、事件推送模块1-3和事件回调模块1-4；标准化及分发单元包括标准化配置模块2-1、标准化模块2-2和事件分发模块2-3。
身份认证模块1—1对业务平台的身份进行认证。在接收各业务平台的城市事件之前，需要验证业务平台的身份，如果业务平台的身份存在瑕疵，例如平台身份不合法以及平台证书缺失、过期或失效等，则直接结束，不再获取该业务平台推送的城市事件。
对平台身份的合法校验过程包括以下几个方面：
1）业务平台资质验证，获取该业务平台的证书，判断证书是否齐全且有效，若是，则认为该业务平台资质合法，否则判断为其资质审核不通过，直接结束。
若业务平台资质验证失败，则推送“平台资质验证未通过”的反馈信息。
2）通信接口安全验证，包括业务平台的IP地址检验，判断业务平台的IP地址与之前的IP地址或备案的IP地址是否统一，若是，则验证通信接口的安全性，否则，直接结束，推送“通信接口安全存在威胁”的反馈信息；通信接口的安全性验证包括通信协议的验证，判断采用的通信协议是否在预设的通信协议白名单中，若是，则通过通信协议安全验证，否则直接结束，推送“通信接口安全存在威胁”的反馈信息。
3）业务平台信用值验证，根据该平台的历史事件获取传输记录判断其信用值，若在额定时间段内不存在风险记录，则通过信用值验证，否则，存在一条风险记录信用值-1，信用值初始为0，若信用值小于-10，则判断该业务平台存在风险，直接结束，推送“业务平台存在风险”的反馈信息。
预处理模块1—2对城市事件的完整性、合法性以及是否重复进行验证。
在业务平台通过身份认证模块1-1的身份验证后，基于API接口接收各业务平台的城市事件。
从接收的城市事件中提取验证特征，验证特征为城市事件中的一些特定的特征参数，能够代表该城市事件的特点，验证特征用于验证城市事件的完整性和有效性。通过验证特征与数据库中现有的城市事件匹配对比，能够判断该城市事件是否重复录入。在本实施例中，验证特征包括事件发生时间、事件地点、事件类型、事件内容以及事件标题等。
预处理模块1-2包括事件完整性验证子模块、有效性验证子模块、重复验证子模块
完整性验证子模块判断是否所有验证特征均有提取，若是，则判断城市事件完整，否则进行补充提取。
有效性验证子模块判断提取到的验证特征是否均具有有效数据，例如事件标题、事件内容、事件地点等字段是否有值；若是，则判断城市事件为有效，保存原始城市事件数据；否则，进行补充提取。
重复验证子模块通过构建完成的城市事件知识图谱，将欲推送的城市事件与数据库中已有的城市事件计算相似度，若相似度大于预设的相似阈值，则认为是同一事件，剔除该事件。
事件推送模块1-3将验证完成的城市事件推送到标准化及分发单元2。
标准化配置模块2-1存储有不同目标对象根据其职能设置的标准处理配置内容。
标准化模块2-2将提取的验证特征内容自动填入到对应的位置，形成城市事件的标准化处理表格。
事件分发模块2-3将标准化的城市事件推送到对应的目的对象处。
进一步的，事件分发模块2-3中包括加密子模块，加密子模块采用关于目标对象结合验证特征的唯一编码对标准化事件加密。
唯一编码为包含目标对象所处的行政区划编码、目标对象的部门编码、验证特征属性编码以及流水号的组合，在本实施例中，唯一编码为行政区划编码、部门编码、特征编码以及流水号的依次组合编码。
具体的，目标对象的行政区划编码为最小具体到街道，最大到区/县/县级市的编码，唯一编码采用的行政区划编码取决于目标对象的行政等级。
目标对象的部门编码为统一的编码，不同地区的同一个部门均采用同一编码，代表目标对象的职能。
验证特征属性编码为对验证特征采用的自然编码，在本实施例中，特征属性为“事件标题”验证特征的特征编码为0001；特征属性为“事件发生时间”验证特征的特征编码为0002；特征属性为“事件地点”验证特征的特征编码为0003；特征属性为“事件类型”验证特征的特征编码为0004； 特征属性为“事件内容”验证特征的特征编码为0005。
流水号为目标对象每日随机发放的流水号码，同一城市事件采用统一流水号。
具体的加密过程包括：
1）获取标准化城市事件中填入的验证特征的字符串；采用字符编码将字符串转换为二进制数。
字符编码技术可以是ASCII、GB2312、GBK以及Big5中的任意一种，在本实施例中采用的是Big5。
2）根据验证特征的特征属性获取其对应的唯一编码，分别将唯一编码转化为二进制数。
3）将二进制的唯一编码和二进制的验证特征对齐，若二进制的唯一编码为“1”，则对应位置的二进制验证特征取反；若二进制的唯一编码为“0”，则对应位置的二进制验证特征不变。
4）遍历所有的二进制验证特征，整合后获取标准化城市事件的密文。
事件回调模块1-4将城市事件的分发结果通过回调接口反馈给推送事件的业务平台。
本实施例的方案收集筛选并标准化处理城市各业务平台产生的各类海量事件数据，将标准化后的事件数据分发到所属行政区划，筛选实质有效数据，动态配置处理节点以及规则以适应不同城市事件的标准化处理后分发，提高事件处理效率。
实施例三
本实施例的一种存储介质，用于计算机可读存储，该存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例的一种城市事件标准化处理分发方法的步骤。
一种城市事件标准化处理分发系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (10)
1.一种城市事件标准化处理分发方法，其特征在于，包括以下步骤：
S1：接收各业务平台的城市事件，提取城市事件的验证特征，根据验证特征判断城市事件的有效性，筛选剔除重复事件；
S2：缓存原始城市事件并推送到标准化处理队列，根据需要分发的目标地址以对应的标准化处理配置处理原始城市事件；
S3：将标准化处理后的城市事件采用关于目标对象结合验证特征的唯一编码加密，分发到对应的目标地址。
2.根据权利要求1所述的一种城市事件标准化处理分发方法，其特征在于，在步骤S1中，在接收各业务平台的城市事件之前，验证业务平台的身份，若业务平台的身份存在瑕疵，则直接结束，不再获取该业务平台推送的城市事件。
3.根据权利要求1或2所述的一种城市事件标准化处理分发方法，其特征在于，在步骤S1中，城市事件的完整性、有效性的验证过程包括：
判断是否所有验证特征均有提取，若是，则判断城市事件完整，否则进行补充提取；
判断提取到的验证特征是否均具有有效数据，若是，则判断城市事件为有效，保存原始城市事件数据；否则，进行补充提取。
4.根据权利要求3所述的一种城市事件标准化处理分发方法，其特征在于，所述的补充提取包括：
实时获取此时其他城市事件内容的验证特征，进行匹配，若事件内容重复度大于等于预设的补充阈值，且其他验证特征匹配相同，则从该对应的城市事件中补充缺失验证特征数据；若补充成功，则返回进行城市事件的完整性和有效性验证，若补充失败，则结束。
5.根据权利要求1或4所述的一种城市事件标准化处理分发方法，其特征在于，在步骤S1中重复事件的判断过程为：
通过构建完成的城市事件知识图谱，将欲推送的城市事件与数据库中已有的城市事件计算相似度，若相似度大于预设的相似阈值，则认为是同一事件，剔除该事件。
6.根据权利要求1所述的一种城市事件标准化处理分发方法，其特征在于，所述的步骤S2具体包括：
S201：在本地数据库中缓存原始城市数据机器对应的验证数据，从验证特征的事件类型和事件地点初步确定分发的目的地址；
S202：根据分发的目标对象设置的标准化处理配置标准化事件信息；
S203：根据标准化处理表格的内容是否填写完善进一步确定是否需要推送到目的地址处。
7.根据权利要求1或6所述的一种城市事件标准化处理分发方法，其特征在于，所述的加密过程包括：
获取标准化城市事件中填入的验证特征的字符串；采用字符编码将字符串转换为二进制数；
根据验证特征的特征属性获取其对应的唯一编码，分别将唯一编码转化为二进制数；
将二进制的唯一编码和二进制的验证特征对齐，若二进制的唯一编码为“1”，则对应位置的二进制验证特征取反；若二进制的唯一编码为“0”，则对应位置的二进制验证特征不变；
遍历所有的二进制验证特征，整合后获取标准化城市事件的密文。
8.一种城市事件标准化处理分发系统，采用如权利要求1-7中任意一项所述的一种城市事件标准化处理分发方法，其特征在于，包括：
事件预处理单元（1），对推送平台进行身份认证，对城市事件的有效性、完整性和是否重复进行验证，验证完成后发送到标准化及分发单元（2）；
标准化及分发单元（2），根据预设的标准化配置，对城市事件标准化处理，将标准化处理后的城市事件推送到对应的平台。
9.根据权利要求8所述的一种城市事件标准化处理分发系统，其特征在于，所述的事件预处理单元（1）包括：
身份认证模块（1-1），对业务平台的身份进行认证，若业务平台的身份存在瑕疵，则直接结束，不再获取该业务平台推送的城市事件；
预处理模块（1-2），对城市事件的完整性、合法性以及是否重复进行验证；
事件推送模块（1-3），将验证完成的城市事件推送到标准化及分发单元（2）；
和事件回调模块（1-4），将城市事件的分发结果通过回调接口反馈给推送事件的业务平台。
10.根据权利要求8或9所述的一种城市事件标准化处理分发系统，其特征在于，所述的标准化及分发单元（2）包括：
标准化配置模块（2-1），存储有不同目标对象根据其职能设置的标准处理配置内容；
标准化模块（2-2），将提取的验证特征内容自动填入到对应的位置，形成城市事件的标准化处理表格；
事件分发模块（2-3），将标准化的城市事件采用关于目标对象结合验证特征的唯一编码加密后推送到对应的目的对象处。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410421030.3A CN118037133A (zh) | 2024-04-09 | 2024-04-09 | 一种城市事件标准化处理分发方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410421030.3A CN118037133A (zh) | 2024-04-09 | 2024-04-09 | 一种城市事件标准化处理分发方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118037133A true CN118037133A (zh) | 2024-05-14 |
Family
ID=90997150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410421030.3A Pending CN118037133A (zh) | 2024-04-09 | 2024-04-09 | 一种城市事件标准化处理分发方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118037133A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795747A (zh) * | 2019-10-18 | 2020-02-14 | 浪潮电子信息产业股份有限公司 | 一种数据加密存储方法、装置、设备及可读存储介质 |
| CN113744104A (zh) * | 2021-08-17 | 2021-12-03 | 中睿信数字技术有限公司 | 一种基于区块链的城市事件治理平台的系统 |
| CN115600856A (zh) * | 2022-09-27 | 2023-01-13 | 南威软件股份有限公司（Cn） | 一种事件自动审核和分发的方法、装置、设备及介质 |
| CN115983569A (zh) * | 2022-12-16 | 2023-04-18 | 杭州数梦工场科技有限公司 | 一种任务自动派发方法及装置 |
| CN116561436A (zh) * | 2023-07-10 | 2023-08-08 | 江苏数兑科技有限公司 | 一种基于知识图谱的数据需求匹配方法 |
| CN116823155A (zh) * | 2023-06-06 | 2023-09-29 | 朗新数据科技有限公司 | 城市事件调度方法、装置、电子设备及存储介质 |
-
2024
- 2024-04-09 CN CN202410421030.3A patent/CN118037133A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795747A (zh) * | 2019-10-18 | 2020-02-14 | 浪潮电子信息产业股份有限公司 | 一种数据加密存储方法、装置、设备及可读存储介质 |
| CN113744104A (zh) * | 2021-08-17 | 2021-12-03 | 中睿信数字技术有限公司 | 一种基于区块链的城市事件治理平台的系统 |
| CN115600856A (zh) * | 2022-09-27 | 2023-01-13 | 南威软件股份有限公司（Cn） | 一种事件自动审核和分发的方法、装置、设备及介质 |
| CN115983569A (zh) * | 2022-12-16 | 2023-04-18 | 杭州数梦工场科技有限公司 | 一种任务自动派发方法及装置 |
| CN116823155A (zh) * | 2023-06-06 | 2023-09-29 | 朗新数据科技有限公司 | 城市事件调度方法、装置、电子设备及存储介质 |
| CN116561436A (zh) * | 2023-07-10 | 2023-08-08 | 江苏数兑科技有限公司 | 一种基于知识图谱的数据需求匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335187B (zh) | 一种智慧城市操作系统 | |
| CN111428881A (zh) | 识别模型的训练方法、装置、设备及可读存储介质 | |
| JP2021526682A (ja) | ブロックチェーンに基づくスリーブ注入の品質追跡方法、システム及び採集端末 | |
| CN109741482B (zh) | 一种信息共享方法及装置 | |
| CN112036995A (zh) | 基于区块链的大型企业财务数据管理方法、系统和可读存储介质 | |
| CN110866265A (zh) | 一种基于区块链的数据存储方法、设备及存储介质 | |
| CN112667854A (zh) | 虚假保险报案处理方法、装置、计算机设备及存储介质 | |
| CN111476640A (zh) | 认证方法、系统、存储介质及大数据认证平台 | |
| CN111125648B (zh) | 一种设备变更方法和装置 | |
| CN113672654B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| CN112308542B (zh) | 实现数据智能无感录入的方法及系统 | |
| CN114385609A (zh) | 基于标签的政务事件处理系统、方法、设备及存储介质 | |
| CN114049089A (zh) | 一种构建政务大数据平台的方法及系统 | |
| CN118037133A (zh) | 一种城市事件标准化处理分发方法及系统 | |
| Mollah et al. | Proposed e-police system for enhancement of e-government services of Bangladesh | |
| CN107995616A (zh) | 用户行为数据的处理方法以及装置 | |
| KR102562186B1 (ko) | 건물임대관리 기반 공문발송 서비스 제공 시스템 | |
| CN116070191A (zh) | 信息处理方法及其装置、存储介质、程序产品 | |
| CN114240349A (zh) | 一种基于区块链的生态环境监管方法及其系统 | |
| CN113378222A (zh) | 一种基于数据内容识别的文件标密方法及系统 | |
| CN112017066A (zh) | 一种信息处理方法、装置、服务器及存储介质 | |
| CN116129640B (zh) | 一种用于道路数据的数据治理方法及设备 | |
| CN112333199B (zh) | 一种数据处理的方法和装置 | |
| CN117499134A (zh) | 基于区块链的车地协同管理方法、装置、系统及设备 | |
| CN104796290B (zh) | 一种数据安全管控方法及平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |