CN112749354A - 基于人工智能的数据扫描方法、装置、计算机设备及介质 - Google Patents
基于人工智能的数据扫描方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN112749354A CN112749354A CN202011594079.7A CN202011594079A CN112749354A CN 112749354 A CN112749354 A CN 112749354A CN 202011594079 A CN202011594079 A CN 202011594079A CN 112749354 A CN112749354 A CN 112749354A
- Authority
- CN
- China
- Prior art keywords
- data
- paging
- scanning
- database
- network quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 41
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 description 29
- 230000003111 delayed effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及人工智能技术领域，提供一种基于人工智能的数据扫描方法、装置、计算机设备及介质，包括：在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；根据所述数据的落库延时时长标记数据库中的数据扫描范围；获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。本发明能够提高数据的扫描效率。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的数据扫描方法、装置、计算机设备及介质。
背景技术
随着社交网络、物联网等技术的发展，数据以指数的速率在不断的增长，众多生产内容与元素已实现数据化存储与传输，数据规模的增大对数据的检索也提出了更高的要求，数据扫描的时间越长，数据检索的效率越低，数据扫描的时间越短，数据检索的效率越高。
然而，发明人在实现本发明的过程中发现，由于没有记录数据库扫描已经执行的位置，一旦数据扫描的过程被中断，则需要从数据库的第一条数据重新执行数据扫描，如此不仅导致数据扫描效率低下，还需消耗大量的服务器资源；此外，数据落库存在一定的延时，因此，容易造成数据扫描遗漏。
发明内容
鉴于以上内容，有必要提出一种基于人工智能的数据扫描方法、装置、计算机设备及介质，能够提高数据的扫描效率。
本发明的第一方面提供一种基于人工智能的数据扫描方法，所述方法包括：
在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；
根据所述数据的落库延时时长标记数据库中的数据扫描范围；
获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；
计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；
对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
根据本发明的一个可选的实施例，所述利用数据落库延时识别模型识别所述数据的落库延时时长包括：
确定所述数据的业务标识；
计算所述数据的接收时长及计算所述数据的数据总量；
输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。
根据本发明的一个可选的实施例，所述根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：
确定所述数据的开始接收时间；
根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；
标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；
根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。
根据本发明的一个可选的实施例，所述根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：
采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；
匹配所述网络质量与多个网络质量范围；
当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量对应第三网络质量范围时，将所述上一个分页流控阈值作为下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据。
根据本发明的一个可选的实施例，所述计算每页数据的哈希值包括：
将每页中的第一条数据的第一数据ID与每页中的最后一条数据的第二数据ID进行组合得到ID字符串；
采用散列函数计算所述ID字符串的散列值，得到每页数据的哈希值。
根据本发明的一个可选的实施例，所述方法还包括：
接收数据查询请求，其中，所述数据查询请求包括数据查询ID；
确定所述数据查询ID对应的分页ID；
获取所述分页ID中的数据；
从所述分页ID中的数据的起始点开始进行查询，并在查询到与所述数据查询ID对应的目标数据时，显示所述目标数据。
根据本发明的一个可选的实施例，所述方法还包括：
当侦测到数据查询中断信号时，记录中断时的目标数据的目标数据ID；
在接收到中断恢复指令后，从所述目标数据ID对应的目标数据开始进行查询。
本发明的第二方面提供一种基于人工智能的数据扫描装置，所述装置包括：
识别模块，用于在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；
标记模块，用于根据所述数据的落库延时时长标记数据库中的数据扫描范围；
分页模块，用于获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；
计算模块，用于计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；
扫描模块，用于对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
本发明的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于人工智能的数据扫描方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于人工智能的数据扫描方法。
综上所述，本发明所述的基于人工智能的数据扫描方法、装置、计算机设备及介质，在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长，并根据所述数据的落库延时时长标记数据库中的数据扫描范围，借助于人工智能能够识别出不同业务系统的数据的落库延时时长，从而确定数据扫描范围，避免数据扫描遗漏；接着实时获取网络质量并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据，根据网络质量动态的调整分页数据的数据量，便于后续进行数据扫描时，能够提高数据扫描的效率，最后计算每页数据的哈希值并确定所述哈希值为对应页的分页ID，对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描，分页扫描能够进一步提高数据扫描的效率。
附图说明
图1是本发明实施例一提供的基于人工智能的数据扫描方法的流程图。
图2是本发明实施例提供的数据扫描范围的示意图。
图3是本发明实施例二提供的基于人工智能的数据扫描装置的结构图。
图4是本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例提供的基于人工智能的数据扫描方法由计算机设备执行，相应地，基于人工智能的数据扫描装置运行于计算机设备中。
图1是本发明实施例一提供的基于人工智能的数据扫描方法的流程图。所述基于人工智能的数据扫描方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长。
其中，所述数据的扫描指令可以由预先设置的定时任务触发，也可以由业务系统的管理者发送指令触发，本发明不做具体限制。
受网络质量或者具体的业务场景的影响(例如，支付业务场景)，会导致部分数据落库有延迟，计算机设备在接收到数据的扫描指令之后，先确定数据的落库延时时长，以根据所述落库延时时长将延迟落库的数据也扫描到，避免数据的遗漏。
具体实施时，计算机设备根据预先训练好的数据落库延时识别模型根据已经落库的数据识别出数据的落库延时时长。
在一个可选的实施例中，所述利用数据落库延时识别模型识别所述数据的落库延时时长包括：
确定所述数据的业务标识；
计算所述数据的接收时长及计算所述数据的数据总量；
输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。
其中，所述数据落库延时识别模型可以包括，但不限于：支持向量机(SupportVector Machine，SVM)模型。将已落库的数据的业务标识、接收效率及数据总量作为所述数据落库延时识别模型的输入，经过所述数据落库延时识别模型计算后，输出所述数据的落库延时时长。
计算机设备确定所述数据对应的业务系统，根据所述业务系统的业务标识确定所述数据的业务标识，不同的业务系统对应的业务标识不同。
在本发明的一个可选的实施例中，所述数据落库延时识别模型的训练过程包括：
1)获取正常落库的数据的第一历史业务标识、第一历史接收时长及第一历史数据总量，并将所述第一历史业务标识、第一历史接收时长及第一历史数据总量作为第一数据集；获取延时落库的数据的第二历史业务标识、第二历史接收时长及第二历史数据总量及历史落库延时时长，并将所述第二历史业务标识、第二历史接收时长及第二历史数据总量及历史落库延时时长作为第二数据集。
例如，分别选取1000个正常落库和延时落库的数据，并对每个数据标注业务标识，可以以“1”作为正常落库的数据的业务标识，以“0”作为延时落库的数据的业务标识。
2)将所述第一数据集及所述第二数据集分别随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述数据落库延时识别模型，并利用所述验证集验证训练后的所述数据落库延时识别模型的准确率。
先将不同业务标识的训练集中的训练样本分发到不同的文件夹里。例如，将正常落库的训练样本分发到第一文件夹里、延时落库的训练样本分发到第二文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行数据落库延时识别模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的验证样本对训练完成的所述数据落库延时识别模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述数据落库延时识别模型作为分类器识别所述数据的落库延时时长；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述数据落库延时识别模型直至所述准确率大于或者等于预设准确率。
由于事先并不清楚所述数据是否会有延时以及当落库延时时的延时时长，因此使用训练后的所述数据落库延时识别模型作为分类器识别所述数据的落库延时时长，对于正常落库的数据则输出落库延时时长为0，对于延时落库的数据则输出具体的落库延时时长。
S12，根据所述数据的落库延时时长标记数据库中的数据扫描范围。
计算机设备中预先创建有数据库，用于存储业务系统的数据。
示例性的，如图2所示，假设S点为数据的开始接收时间点，A点为当前已经扫描的时间点，B点为待扫描的数据的时间点，则需要将D点作为结束接收时间点，即在B点的基础上延长扫描时间，那么S点至D点为数据扫描范围。
在一个可选的实施例中，所述根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：
确定所述数据的开始接收时间；
根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；
标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；
根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。
其中，所述数据的结束接收时间为从所述开始接收时间开始起算，对已落库的数据进行扫描，并对已落库的数据扫描结束后，加上落库延时时长。
S13，获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据。
计算机设备实时获取网络质量，并根据网络质量对所确定的数据扫描范围内的数据进行分页。网络质量表现为网络运行的可靠性、平稳性及可用性，本实施例中网络质量是指网络状态，可以通过获取网络的信号强度来确定网络质量。
根据网络质量将数据进行分页，使得每个分页数据的数据量是动态的，网络质量较佳时，分页数据的数据量较大，网络质量较差时，分页数据的数据量较小。
示例性的，假设有100000条数据，共分为5个分页，其中，第一个分页的数据为2000条，第二个分页的数据为1900条，第三个分页的数据为1800条，第四个分页的数据为1900条，第五个分页的数据为1400条。
在一个可选的实施例中，所述根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：
采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；
匹配所述网络质量与多个网络质量范围；
当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量对应第三网络质量范围时，将所述上一个分页流控阈值作为下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据。
其中，所述分页流控阈值用以控制分页数据的数据量。
所述网络质量范围为预先定义的信号强度的数值范围，其中，所述第一网络质量范围<第三网络质量范围<第二网络质量范围，示例性，所述第一网络质量范围在负无穷与负100分贝毫瓦之间，第三网络质量范围在-80分贝毫瓦与-100分贝毫瓦之间，所述第二网络质量范围在-50分贝毫瓦与-80分贝毫瓦之间。当所述网络质量与第一网络质量范围匹配时，表明所述网络质量差；当所述网络质量与第二网络质量范围匹配时，表明所述网络质量好；当所述网络质量与第三网络质量范围匹配时，表明所述网络质量正常。
其中，所述第一预设幅度可以是上一个分页流控阈值的1/2。即当前分页流控阈值为上一个分页流控阈值的1/2，下一个分页流控阈值为当前分页流控阈值的1/2。所述第二预设幅度可以是上一个分页流控阈值的1.5倍。即当前分页流控阈值为上一个分页流控阈值的1.5倍，下一个分页流控阈值为当前分页流控阈值的1.5倍。
示例性的，假设所述预先设置的分页流控阈值为1000，即第一个分页流控阈值为1000，则电子设备从所述数据扫描范围内读取第1条至第1000条数据，作为第一分页数据；假设电子设备扫描第1条至第1000条数据的扫描时间为T1，则电子设备计算T1期间的网络质量均值，作为当前的网络质量，并与多个网络质量范围进行匹配，当所述网络质量与第一网络质量范围匹配时，将所述第一个分页流控阈值降低1/2，得到第二个分页流控阈值500，电子设备从所述数据扫描范围内读取第1001条至第1500条数据，作为第二分页数据；假设电子设备扫描第1001条至第1500条数据的扫描时间为T2，则电子设备计算T2期间的网络质量均值，作为当前的网络质量，并与多个网络质量范围进行匹配，当所述网络质量与第二网络质量范围匹配时，将所述第二个分页流控阈值提高1.5倍，得到第三个分页流控阈值1500，电子设备从所述数据扫描范围内读取第1501条至第1300条数据，作为第三分页数据；以此类推，直到扫描完所有数据(包括落库延时的数据)。
在当前网络质量差时，按照所述第一预设幅度降低分页流控阈值，以低分页阈值对所述数据执行分页操作，通过降低分页数据的数据量来保证数据扫描的效率。在当前网络质量好时，按照所述第二预设幅度提高分页流控阈值，以高分页流控阈值对所述数据执行分页操作，在保证分页数据的数据量的基础上，提高数据扫描的速度。另外，当前分页流控阈值是根据当前网络质量自动进行动态调整，不需管理者手动调节，减少了管理者的工作量，避免了因管理者的主观因素导致的调整不精准的问题，可靠性强。
S14，计算每页数据的哈希值并确定所述哈希值为对应页的分页ID。
具体实施时，可以根据每页中的第一条数据的第一数据ID与每页中的最后一条数据的第二数据ID进行组合得到ID字符串，采用散列函数计算所述ID字符串的散列值，得到每页数据的哈希值。
计算机设备在计算得到多个分页ID之后，将分页ID及对应的第一数据ID和第二数据ID关联存储在本地数据库中，便于后续根据每个分页ID对应的第一数据ID和第二数据ID实现数据的完整拼接。
相较于按照顺序确定数据的分页ID，本实施例通过将每页数据的哈希值作为分页ID，能够确保分页ID的保密性，避免恶意攻击造成的数据泄密时，直接根据顺序即可实现对数据的拼接。
S15，对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
计算机设备可以开启多个线程，开启线程的数量可以与分页ID的数量相同。
计算机设备可以控制每个线程扫描一个分页ID的数据。
该实施例中，由于分页数据的数据量是根据网络质量确定的，网络质量好，分页数据的数据量虽较大，但控制一个线程扫描该分页的数据的扫描效率会较佳；网络质量差，虽控制一个线程扫描分页的数据的扫描效率会较差，但由于分页数据的数据量较小，因此，扫描时间不会较长；如此，能够确保计算机设备在同一时间或者时间相差不大的情况下，完成所有分页的数据的扫描。
在一个可选的实施例中，所述方法还包括：
接收数据查询请求，其中，所述数据查询请求包括数据查询ID；
确定所述数据查询ID对应的分页ID；
获取所述分页ID中的数据；
从所述分页ID中的数据的起始点开始进行查询，并在查询到与所述数据查询ID对应的目标数据时，显示所述目标数据。
数据查询请求者可以通过其他设备发送数据查询请求至计算机设备，计算机设备使用NLP自然语言解析所述数据查询请求得到数据查询ID。
其中，所述数据查询ID可以为一个数值，也可以为一个数值范围，用以表明需要查询的数据的数据ID。
计算机设备根据本地数据库中记录的分页ID及对应的第一数据ID和第二数据ID之间的关联关系，确定所述数据查询ID对应的分页ID。
当需要查询的数据涉及到多个分页ID的分页数据时，则分别将每一个分页数据对应的目标数据查询出来，再将所有分页数据对应的目标数据按照分页ID进行排序，最后根据数据的数据ID进行拼接并显示。
在其他实施例中，计算机设备还可以不对目标数据进行拼接，而是将查询结果进行分页显示。
在一个可选的实施例中，所述方法还包括：
当侦测到数据查询中断信号时，记录中断时的目标数据的目标数据ID；
在接收到中断恢复指令后，从所述目标数据ID对应的目标数据开始进行查询。
在查询数据的过程中，如因系统宕机或者其他原因导致数据查询中断，则会触发中断指令。计算机设备中断数据的查询过程，并数据存储ID，在中断恢复之后，根据中断时记录的查询ID开始进行查询，避免从分页数据的第一条数据开始查询，提高了数据的查询效率。
本发明所述的基于人工智能的数据扫描方法，在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长，并根据所述数据的落库延时时长标记数据库中的数据扫描范围，借助于人工智能能够识别出不同业务系统的数据的落库延时时长，从而确定数据扫描范围，避免数据扫描遗漏；接着实时获取网络质量并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据，根据网络质量动态的调整分页数据的数据量，便于后续进行数据扫描时，能够提高数据扫描的效率，最后计算每页数据的哈希值并确定所述哈希值为对应页的分页ID，对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描，分页扫描能够进一步提高数据扫描的效率。
需要强调的是，为进一步保证上述数据落库延时识别模型/多个分页数据的私密性和安全性，上述数据落库延时识别模型/多个分页数据可存储于区块链的节点中。
图3是本发明实施例二提供的基于人工智能的数据扫描装置的结构图。
在一些实施例中，所述基于人工智能的数据扫描装置30可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的数据扫描装置30中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)基于人工智能的数据扫描的功能。
本实施例中，所述基于人工智能的数据扫描装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：识别模块301、训练模块302、标记模块303、分页模块304、计算模块305、扫描模块306、查询模块307及中断模块308。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述识别模块301，用于在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长。
其中，所述数据的扫描指令可以由预先设置的定时任务触发，也可以由业务系统的管理者发送指令触发，本发明不做具体限制。
受网络质量或者具体的业务场景的影响(例如，支付业务场景)，会导致部分数据落库有延迟，计算机设备在接收到数据的扫描指令之后，先确定数据的落库延时时长，以根据所述落库延时时长将延迟落库的数据也扫描到，避免数据的遗漏。
具体实施时，计算机设备根据预先训练好的数据落库延时识别模型根据已经落库的数据识别出数据的落库延时时长。
在一个可选的实施例中，所述识别模块301利用数据落库延时识别模型识别所述数据的落库延时时长包括：
确定所述数据的业务标识；
计算所述数据的接收时长及计算所述数据的数据总量；
输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。
其中，所述数据落库延时识别模型可以包括，但不限于：支持向量机(SupportVector Machine，SVM)模型。将已落库的数据的业务标识、接收效率及数据总量作为所述数据落库延时识别模型的输入，经过所述数据落库延时识别模型计算后，输出所述数据的落库延时时长。
计算机设备确定所述数据对应的业务系统，根据所述业务系统的业务标识确定所述数据的业务标识，不同的业务系统对应的业务标识不同。
所述训练模块302，用于训练数据落库延时识别模型。
在本发明的一个可选的实施例中，所述训练模块302训练数据落库延时识别模型包括：
1)获取正常落库的数据的第一历史业务标识、第一历史接收时长及第一历史数据总量，并将所述第一历史业务标识、第一历史接收时长及第一历史数据总量作为第一数据集；获取延时落库的数据的第二历史业务标识、第二历史接收时长及第二历史数据总量及历史落库延时时长，并将所述第二历史业务标识、第二历史接收时长及第二历史数据总量及历史落库延时时长作为第二数据集。
例如，分别选取1000个正常落库和延时落库的数据，并对每个数据标注业务标识，可以以“1”作为正常落库的数据的业务标识，以“0”作为延时落库的数据的业务标识。
2)将所述第一数据集及所述第二数据集分别随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练所述数据落库延时识别模型，并利用所述验证集验证训练后的所述数据落库延时识别模型的准确率。
先将不同业务标识的训练集中的训练样本分发到不同的文件夹里。例如，将正常落库的训练样本分发到第一文件夹里、延时落库的训练样本分发到第二文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行数据落库延时识别模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的验证样本对训练完成的所述数据落库延时识别模型进行准确性验证。
3)若所述准确率大于或者等于预设准确率时，则结束训练，以训练后的所述数据落库延时识别模型作为分类器识别所述数据的落库延时时长；若所述准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练所述数据落库延时识别模型直至所述准确率大于或者等于预设准确率。
由于事先并不清楚所述数据是否会有延时以及当落库延时时的延时时长，因此使用训练后的所述数据落库延时识别模型作为分类器识别所述数据的落库延时时长，对于正常落库的数据则输出落库延时时长为0，对于延时落库的数据则输出具体的落库延时时长。
所述标记模块303，用于根据所述数据的落库延时时长标记数据库中的数据扫描范围。
计算机设备中预先创建有数据库，用于存储业务系统的数据。
示例性的，如图2所示，假设S点为数据的开始接收时间点，A点为当前已经扫描的时间点，B点为待扫描的数据的时间点，则需要将D点作为结束接收时间点，即在B点的基础上延长扫描时间，那么S点至D点为数据扫描范围。
在一个可选的实施例中，所述标记模块303根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：
确定所述数据的开始接收时间；
根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；
标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；
根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。
其中，所述数据的结束接收时间为从所述开始接收时间开始起算，对已落库的数据进行扫描，并对已落库的数据扫描结束后，加上落库延时时长。
所述分页模块304，用于获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据。
计算机设备实时获取网络质量，并根据网络质量对所确定的数据扫描范围内的数据进行分页。网络质量表现为网络运行的可靠性、平稳性及可用性，本实施例中网络质量是指网络状态，可以通过获取网络的信号强度来确定网络质量。
根据网络质量将数据进行分页，使得每个分页数据的数据量是动态的，网络质量较佳时，分页数据的数据量较大，网络质量较差时，分页数据的数据量较小。
示例性的，假设有100000条数据，共分为5个分页，其中，第一个分页的数据为2000条，第二个分页的数据为1900条，第三个分页的数据为1800条，第四个分页的数据为1900条，第五个分页的数据为1400条。
在一个可选的实施例中，所述分页模块304根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：
采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；
匹配所述网络质量与多个网络质量范围；
当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量对应第三网络质量范围时，将所述上一个分页流控阈值作为下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据。
其中，所述分页流控阈值用以控制分页数据的数据量。
所述网络质量范围为预先定义的信号强度的数值范围，其中，所述第一网络质量范围<第三网络质量范围<第二网络质量范围，示例性，所述第一网络质量范围在负无穷与负100分贝毫瓦之间，第三网络质量范围在-80分贝毫瓦与-100分贝毫瓦之间，所述第二网络质量范围在-50分贝毫瓦与-80分贝毫瓦之间。当所述网络质量与第一网络质量范围匹配时，表明所述网络质量差；当所述网络质量与第二网络质量范围匹配时，表明所述网络质量好；当所述网络质量与第三网络质量范围匹配时，表明所述网络质量正常。
其中，所述第一预设幅度可以是上一个分页流控阈值的1/2。即当前分页流控阈值为上一个分页流控阈值的1/2，下一个分页流控阈值为当前分页流控阈值的1/2。所述第二预设幅度可以是上一个分页流控阈值的1.5倍。即当前分页流控阈值为上一个分页流控阈值的1.5倍，下一个分页流控阈值为当前分页流控阈值的1.5倍。
示例性的，假设所述预先设置的分页流控阈值为1000，即第一个分页流控阈值为1000，则电子设备从所述数据扫描范围内读取第1条至第1000条数据，作为第一分页数据；假设电子设备扫描第1条至第1000条数据的扫描时间为T1，则电子设备计算T1期间的网络质量均值，作为当前的网络质量，并与多个网络质量范围进行匹配，当所述网络质量与第一网络质量范围匹配时，将所述第一个分页流控阈值降低1/2，得到第二个分页流控阈值500，电子设备从所述数据扫描范围内读取第1001条至第1500条数据，作为第二分页数据；假设电子设备扫描第1001条至第1500条数据的扫描时间为T2，则电子设备计算T2期间的网络质量均值，作为当前的网络质量，并与多个网络质量范围进行匹配，当所述网络质量与第二网络质量范围匹配时，将所述第二个分页流控阈值提高1.5倍，得到第三个分页流控阈值1500，电子设备从所述数据扫描范围内读取第1501条至第1300条数据，作为第三分页数据；以此类推，直到扫描完所有数据(包括落库延时的数据)。
在当前网络质量差时，按照所述第一预设幅度降低分页流控阈值，以低分页阈值对所述数据执行分页操作，通过降低分页数据的数据量来保证数据扫描的效率。在当前网络质量好时，按照所述第二预设幅度提高分页流控阈值，以高分页流控阈值对所述数据执行分页操作，在保证分页数据的数据量的基础上，提高数据扫描的速度。另外，当前分页流控阈值是根据当前网络质量自动进行动态调整，不需管理者手动调节，减少了管理者的工作量，避免了因管理者的主观因素导致的调整不精准的问题，可靠性强。
所述计算模块305，用于计算每页数据的哈希值并确定所述哈希值为对应页的分页ID。
具体实施时，可以根据每页中的第一条数据的第一数据ID与每页中的最后一条数据的第二数据ID进行组合得到ID字符串，采用散列函数计算所述ID字符串的散列值，得到每页数据的哈希值。
计算机设备在计算得到多个分页ID之后，将分页ID及对应的第一数据ID和第二数据ID关联存储在本地数据库中，便于后续根据每个分页ID对应的第一数据ID和第二数据ID实现数据的完整拼接。
相较于按照顺序确定数据的分页ID，本实施例通过将每页数据的哈希值作为分页ID，能够确保分页ID的保密性，避免恶意攻击造成的数据泄密时，直接根据顺序即可实现对数据的拼接。
所述扫描模块306，用于对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
计算机设备可以开启多个线程，开启线程的数量可以与分页ID的数量相同。
计算机设备可以控制每个线程扫描一个分页ID的数据。
该实施例中，由于分页数据的数据量是根据网络质量确定的，网络质量好，分页数据的数据量虽较大，但控制一个线程扫描该分页的数据的扫描效率会较佳；网络质量差，虽控制一个线程扫描分页的数据的扫描效率会较差，但由于分页数据的数据量较小，因此，扫描时间不会较长；如此，能够确保计算机设备在同一时间或者时间相差不大的情况下，完成所有分页的数据的扫描。
所述查询模块307，用于接收数据查询请求，其中，所述数据查询请求包括数据查询ID；确定所述数据查询ID对应的分页ID；获取所述分页ID中的数据；从所述分页ID中的数据的起始点开始进行查询，并在查询到与所述数据查询ID对应的目标数据时，显示所述目标数据。
数据查询请求者可以通过其他设备发送数据查询请求至计算机设备，计算机设备使用NLP自然语言解析所述数据查询请求得到数据查询ID。
其中，所述数据查询ID可以为一个数值，也可以为一个数值范围，用以表明需要查询的数据的数据ID。
计算机设备根据本地数据库中记录的分页ID及对应的第一数据ID和第二数据ID之间的关联关系，确定所述数据查询ID对应的分页ID。
当需要查询的数据涉及到多个分页ID的分页数据时，则分别将每一个分页数据对应的目标数据查询出来，再将所有分页数据对应的目标数据按照分页ID进行排序，最后根据数据的数据ID进行拼接并显示。
在其他实施例中，计算机设备还可以不对目标数据进行拼接，而是将查询结果进行分页显示。
所述中断模块308，用于当侦测到数据查询中断信号时，记录中断时的目标数据的目标数据ID。
所述查询模块307，还用于在接收到中断恢复指令后，从所述目标数据ID对应的目标数据开始进行查询。
在查询数据的过程中，如因系统宕机或者其他原因导致数据查询中断，则会触发中断指令。计算机设备中断数据的查询过程，并数据存储ID，在中断恢复之后，根据中断时记录的查询ID开始进行查询，避免从分页数据的第一条数据开始查询，提高了数据的查询效率。
本发明所述的基于人工智能的数据扫描装置，在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长，并根据所述数据的落库延时时长标记数据库中的数据扫描范围，借助于人工智能能够识别出不同业务系统的数据的落库延时时长，从而确定数据扫描范围，避免数据扫描遗漏；接着实时获取网络质量并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据，根据网络质量动态的调整分页数据的数据量，便于后续进行数据扫描时，能够提高数据扫描的效率，最后计算每页数据的哈希值并确定所述哈希值为对应页的分页ID，对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描，分页扫描能够进一步提高数据扫描的效率。
需要强调的是，为进一步保证上述数据落库延时识别模型/多个分页数据的私密性和安全性，上述数据落库延时识别模型/多个分页数据可存储于区块链的节点中。
参阅图4所示，为本发明实施例三提供的计算机设备的结构示意图。在本发明较佳实施例中，所述计算机设备4包括存储器41、至少一个处理器42、至少一条通信总线43及收发器44。
本领域技术人员应该了解，图4示出的计算机设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机设备4还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述计算机设备4是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备4还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述计算机设备4仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器41中存储有计算机程序，所述计算机程序被所述至少一个处理器42执行时实现如所述的基于人工智能的数据扫描方法中的全部或者部分步骤。所述存储器41包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器42是所述计算机设备4的控制核心(Control Unit)，利用各种接口和线路连接整个计算机设备4的各个部件，通过运行或执行存储在所述存储器41内的程序或者模块，以及调用存储在所述存储器41内的数据，以执行计算机设备4的各种功能和处理数据。例如，所述至少一个处理器42执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于人工智能的数据扫描方法的全部或者部分步骤；或者实现基于人工智能的数据扫描装置的全部或者部分功能。所述至少一个处理器42可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线43被设置为实现所述存储器41以及所述至少一个处理器42等之间的连接通信。
尽管未示出，所述计算机设备4还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器42逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于人工智能的数据扫描方法，其特征在于，所述方法包括：
在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；
根据所述数据的落库延时时长标记数据库中的数据扫描范围；
获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；
计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；
对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
2.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述利用数据落库延时识别模型识别所述数据的落库延时时长包括：
确定所述数据的业务标识；
计算所述数据的接收时长及计算所述数据的数据总量；
输入所述业务标识、所述接收时长及所述数据总量至所述数据落库延时识别模型中进行识别得到所述扫描延时时长。
3.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述根据所述数据的落库延时时长标记数据库中的数据扫描范围包括：
确定所述数据的开始接收时间；
根据所述开始接收时间及所述落库延时时长确定所述数据的结束接收时间；
标记所述数据库中与所述开始接收时间对应的第一扫描标识符，及标记所述数据库中与所述结束接收时间对应的第二扫描标识符；
根据所述第一扫描标识符及所述第二扫描标识符确定数据库中的数据扫描范围。
4.如权利要求1所述的基于人工智能的数据扫描方法，其特征在于，所述根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据包括：
采用预先设置的分页流控阈值作为第一个分页流控阈值，并从所述数据扫描范围内读取所述第一个分页流控阈值对应的数据，作为所述第一分页数据；
匹配所述网络质量与多个网络质量范围；
当所述网络质量与第一网络质量范围匹配时，将所述上一个分页流控阈值降低第一预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量与第二网络质量范围匹配时，将所述上一个分页流控阈值提高第二预设幅度，得到下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据；或
当所述网络质量对应第三网络质量范围时，将所述上一个分页流控阈值作为下一个分页流控阈值，并从所述数据扫描范围内读取所述下一个分页流控阈值对应的数据，作为下一分页数据。
5.如权利要求1至4中任意一项所述的基于人工智能的数据扫描方法，其特征在于，所述计算每页数据的哈希值包括：
将每页中的第一条数据的第一数据ID与每页中的最后一条数据的第二数据ID进行组合得到ID字符串；
采用散列函数计算所述ID字符串的散列值，得到每页数据的哈希值。
6.如权利要求1至4中任意一项所述的基于人工智能的数据扫描方法，其特征在于，所述方法还包括：
接收数据查询请求，其中，所述数据查询请求包括数据查询ID；
确定所述数据查询ID对应的分页ID；
获取所述分页ID中的数据；
从所述分页ID中的数据的起始点开始进行查询，并在查询到与所述数据查询ID对应的目标数据时，显示所述目标数据。
7.如权利要求6所述的基于人工智能的数据扫描方法，其特征在于，所述方法还包括：
当侦测到数据查询中断信号时，记录中断时的目标数据的目标数据ID；
在接收到中断恢复指令后，从所述目标数据ID对应的目标数据开始进行查询。
8.一种基于人工智能的数据扫描装置，其特征在于，所述装置包括：
识别模块，用于在接收到数据的扫描指令后，利用数据落库延时识别模型识别所述数据的落库延时时长；
标记模块，用于根据所述数据的落库延时时长标记数据库中的数据扫描范围；
分页模块，用于获取网络质量，并根据所述网络质量对所述数据扫描范围内的数据进行分页，得到多页数据；
计算模块，用于计算每页数据的哈希值并确定所述哈希值为对应页的分页ID；
扫描模块，用于对所述分页ID进行排序并按照排序后的顺序对所述多页数据进行分页扫描。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述基于人工智能的数据扫描方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述基于人工智能的数据扫描方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594079.7A CN112749354B (zh) | 2020-12-29 | 2020-12-29 | 基于人工智能的数据扫描方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011594079.7A CN112749354B (zh) | 2020-12-29 | 2020-12-29 | 基于人工智能的数据扫描方法、装置、计算机设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749354A true CN112749354A (zh) | 2021-05-04 |
| CN112749354B CN112749354B (zh) | 2024-04-02 |
Family
ID=75646700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011594079.7A Active CN112749354B (zh) | 2020-12-29 | 2020-12-29 | 基于人工智能的数据扫描方法、装置、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749354B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110285506A1 (en) * | 2010-05-19 | 2011-11-24 | Joshua Bradley Hillis | System and method for tracking items |
| US20130040574A1 (en) * | 2011-08-12 | 2013-02-14 | Jason Edward Robert Hillyard | Systems and Methods for Low Power Short Range Wireless Device Communication Scanning |
| CN108810917A (zh) * | 2017-05-02 | 2018-11-13 | 普天信息技术有限公司 | 信号处理方法、计算机设备及计算机可读存储介质 |
| CN109187459A (zh) * | 2018-08-22 | 2019-01-11 | 清华大学 | 一种自适应扫描宽视场高通量层析显微成像方法及装置 |
| CN109190650A (zh) * | 2018-07-02 | 2019-01-11 | 昆明理工大学 | 一种不规则形状的时空扫描聚类方法 |
| CN109255062A (zh) * | 2018-07-27 | 2019-01-22 | 昆明理工大学 | 一种基于前瞻性时空重排扫描的区域划分扫描方法 |
| CN110334075A (zh) * | 2019-04-04 | 2019-10-15 | 平安科技（深圳）有限公司 | 基于消息中间件的数据迁移方法及相关设备 |
| CN110474789A (zh) * | 2018-05-11 | 2019-11-19 | 阿里巴巴集团控股有限公司 | 网络状态信息处理方法、装置和系统 |
| CN110730111A (zh) * | 2019-10-23 | 2020-01-24 | 北京锐安科技有限公司 | 一种网络质量监测方法、装置、服务器及介质 |
| CN112039792A (zh) * | 2020-06-30 | 2020-12-04 | 浙江远望信息股份有限公司 | 一种避免拥塞的网络扫描调度方法 |
| CN112098971A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种配置雷达的方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-29 CN CN202011594079.7A patent/CN112749354B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110285506A1 (en) * | 2010-05-19 | 2011-11-24 | Joshua Bradley Hillis | System and method for tracking items |
| US20130040574A1 (en) * | 2011-08-12 | 2013-02-14 | Jason Edward Robert Hillyard | Systems and Methods for Low Power Short Range Wireless Device Communication Scanning |
| CN108810917A (zh) * | 2017-05-02 | 2018-11-13 | 普天信息技术有限公司 | 信号处理方法、计算机设备及计算机可读存储介质 |
| CN110474789A (zh) * | 2018-05-11 | 2019-11-19 | 阿里巴巴集团控股有限公司 | 网络状态信息处理方法、装置和系统 |
| CN109190650A (zh) * | 2018-07-02 | 2019-01-11 | 昆明理工大学 | 一种不规则形状的时空扫描聚类方法 |
| CN109255062A (zh) * | 2018-07-27 | 2019-01-22 | 昆明理工大学 | 一种基于前瞻性时空重排扫描的区域划分扫描方法 |
| CN109187459A (zh) * | 2018-08-22 | 2019-01-11 | 清华大学 | 一种自适应扫描宽视场高通量层析显微成像方法及装置 |
| CN110334075A (zh) * | 2019-04-04 | 2019-10-15 | 平安科技（深圳）有限公司 | 基于消息中间件的数据迁移方法及相关设备 |
| CN110730111A (zh) * | 2019-10-23 | 2020-01-24 | 北京锐安科技有限公司 | 一种网络质量监测方法、装置、服务器及介质 |
| CN112039792A (zh) * | 2020-06-30 | 2020-12-04 | 浙江远望信息股份有限公司 | 一种避免拥塞的网络扫描调度方法 |
| CN112098971A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种配置雷达的方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| APARNA HALBE 等: "A Novel Approach to HTML Page Creation Using Neural Network", 《PROCEDIA COMPUTER SCIENCE》, pages 197 - 204 * |
| 史鹏利: "河北联通移动分组网信令监测系统的研究及设计", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 136 - 713 * |
| 吴颋 等: "CT对比剂的不同参数在肾脏增强扫描中的对照研究", 《赣南医学院学报》, pages 14 - 17 * |
| 强燕: "CORBA对象的动态监控系统", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》, pages 140 - 150 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749354B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108762686B (zh) | 数据一致性校验流控方法、装置、电子设备及存储介质 | |
| CN108804039B (zh) | 自适应的数据恢复流控方法、装置、电子设备及存储介质 | |
| CN112101311A (zh) | 基于人工智能的双录质检方法、装置、计算机设备及介质 | |
| CN112801718B (zh) | 用户行为预测方法、装置、设备及介质 | |
| CN112653760A (zh) | 跨服务器的文件传输方法、装置、电子设备及存储介质 | |
| CN112084486A (zh) | 用户信息验证方法、装置、电子设备及存储介质 | |
| CN111694843B (zh) | 缺失号码检测方法、装置、电子设备及存储介质 | |
| CN111860522A (zh) | 身份证图片处理方法、装置、终端及存储介质 | |
| CN113379391A (zh) | 工单处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112631731A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN113360803A (zh) | 基于用户行为的数据缓存方法、装置、设备及存储介质 | |
| WO2023040145A1 (zh) | 基于人工智能的文本分类方法、装置、电子设备及介质 | |
| CN101770504B (zh) | 数据存储、读取方法及设备 | |
| CN102722506A (zh) | 数据存储方法及设备 | |
| CN112017763B (zh) | 医疗影像数据传输方法、装置、设备及介质 | |
| CN112598135A (zh) | 模型训练处理方法、装置、计算机设备及介质 | |
| CN111651452A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN112749354B (zh) | 基于人工智能的数据扫描方法、装置、计算机设备及介质 | |
| CN112101191A (zh) | 基于边框注意力网络的表情识别方法、装置、设备及介质 | |
| CN108763107B (zh) | 后台写盘流控方法、装置、电子设备及存储介质 | |
| CN115002062B (zh) | 消息处理方法、装置、设备及可读存储介质 | |
| CN116303320A (zh) | 基于日志文件的实时任务管理方法、装置、设备及介质 | |
| CN112328752B (zh) | 基于搜索内容的课程推荐方法、装置、计算机设备及介质 | |
| CN114372082A (zh) | 基于人工智能的数据查询方法、装置、电子设备及介质 | |
| CN113269190A (zh) | 基于人工智能的数据分类方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |