CN103902708A - 一种数据查询方法 - Google Patents

一种数据查询方法 Download PDF

Info

Publication number
CN103902708A
CN103902708A CN201410128450.9A CN201410128450A CN103902708A CN 103902708 A CN103902708 A CN 103902708A CN 201410128450 A CN201410128450 A CN 201410128450A CN 103902708 A CN103902708 A CN 103902708A
Authority
CN
China
Prior art keywords
data
page
protocol
buffer memory
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410128450.9A
Other languages
English (en)
Inventor
徐文政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI XINHUABO INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ANHUI XINHUABO INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI XINHUABO INFORMATION TECHNOLOGY Co Ltd filed Critical ANHUI XINHUABO INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410128450.9A priority Critical patent/CN103902708A/zh
Publication of CN103902708A publication Critical patent/CN103902708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G06F16/902—Indexing; Data structures therefor; Storage structures using directory or table look-up using more than one table in sequence, i.e. systems with three or more layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据查询方法，具体包括以下步骤：初始化查询条件页面；查询；统计；数据导出；查看详细信息；其中查询是通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数。本发明查询协议数据途径多，能够查询出比较全面的协议数据，使用者能够从多种协议数据中查询出非平凡的、隐含的、事先未知的、有潜在使用价值的信息。

Description

一种数据查询方法
技术领域
    本发明主要涉及互联网领域，尤其涉及一种数据查询方法。
背景技术
随着计算机和网络技术的不断进步发展，各联网单位在互联网中的活动也日益频繁，互联网安全也日益严重，同时在整个网络活动中也产生了各种各样的协议数据；因此需要把这些海量的数据收集起来加以解析、分析、挖掘处理，以备需要时查询使用；由此可见数据查询技术起到了很重要的作用，通过对数据的查询就能实时的撑控某个区域的各个联网单位的联网活动是否在进行着危及网络安和社会稳定，为维护网络安全社会稳定提供有力的依据。
本功能解决对联网单位历史上网数据无法查询的空白，能够更清楚的查询出多种协议的数据如：社交网络、网页邮件、即时通讯、电子邮件、游戏等数据，数据查询就相当于实现了一个对历史数据回放的功能。
现有的技术只能是查询单位的协议数据还没法同时查询出多个协议数据，或者对在网络已经产生的数据还没办进行捕获存储起，因此想要查询联网单位历史上网产生的各协议数据的查询还是一片空白地带；本发明的目的是：起到查询历史上网数据、支持多协议数据的查询。
本发明是依赖系统的海量数据仓库为基础，而实现的一种数据查询手段，在日常互联网交互中会产生大量的数据，系统通过布置在各单位中的联网探针实时或定时的把各联网单位在互网活动中产生的数据捕获到数据仓库中，为后期的数据查询、数据分析、数据挖掘提供依据；数据查询就是通过只定的查询条件把某个区域、某个时间段、某个IP段中所有联网单位在互联网中活动中产生的数据一一展现出来，使民警能够从中找出非平凡的、隐含的、事先未知的、有潜在使用价值的信息，起到对互联网数据实时了解撑控功能。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种数据查询方法，系统主要通过设定的基本的查询条件和数据、协议查询条件从数据库中的各个协议表中提取符合条件的协议数据；基本的查询条件包含：捕获时间、IP地址、MAC地址，数据、协议查询条件包含：数据源、数据库、协议类型；协议数据主要包含：网页浏览、Web聊天室、网页论坛、网页邮箱、电子邮件、即时通讯、文件传输、远程登陆、游戏、突防工具、P2P下载、远程控制、多媒体、VoIP、网络视频、VPN、网络视频。
本发明是通过以下技术方案实现的：
一种数据查询方法，其特征在于，具体包括以下步骤：
（1）：初始化查询条件页面
1）把一些必要的数据加载出来如：数据源、协议以及页面上的一些默认的选项；
2）从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源；
3）从协议表、协议类型取得协议的类型以及协议；
（2）：查询
通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数：
1）各协议数据表：网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表；
2）进入查询条件的校验，检查所有的查询条件是否符合要求；如果有条件不符合要求则返回到查询条件设置页面，并给出提示信息；如果有的条件都条件都符合要求则进入查询的下一步的处理阶段；
3）获取缓存对象Cache，判断缓存中是否存在数据，如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2() 方法中进行业务逻辑的处理，如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList（）方法中进行业务处理；
4）进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList（）进行数据的操作执行存储过程取数据，如果是查询缺省库时调用存储过程：hl. get_large_page_query，如果是查询档案库时调用存储过程：hl.get_large_page_query_ar；
5）进入业务处理层统计查询数据的总条件数，通过调用MassDataQueryServiceImpl的getDataCountList()方法完成；
6）通过探针的ID获取对象Device，通过调用DeviceConfig类的getDeviceDetail()完成，把探针信息也封装到查询数据的结果集对象中，方便页面展示；
7）通过HttpServletRequest把查询数据的条件存放到Session中缓存，以便在整个会话的过程中都能使用；
8）生成页面数据的表格，通过动态列表生成，整个处理程主要在DataBean类中的getDataTable()方法内成程，首先通过DataConfig来加载配置方件下的各协议数据要展示的列，然后通过遍历查询出来的协议数据，把它一一的赋值到对应的列中；
9）跳转到查询结果页面展示查询出来的结果；
（3）：统计
1）在查询条件页面中设置好统计的条件；
2）开始执行统计，进入后台程序处理阶段；
3）进入MassDataQueryBean的statistics()方法中，对统计的条件进校验，主要校验数据的非空属性和是否符合要求，校验通过则进入下一步的处理，校验不通过则返页面并给出提示信息；
4）进入DataStatisticsBean的statistics()方法中，获取缓存对象Cache，如果查询条件中的协议类型ID为-1的，则调用缓存的store()方法把查询条件添到缓存中；
5）判断缓存中是否有缓存数据，如果有则从缓存中取统计数据，没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行hl.get_large_query_count存储过程来获得；
6）生成查询统计日志；
7）在页面中展示统计结果；
（4）：数据导出
1）初始化数据导出窗口，通过读取协议数据的配置文件获得可导出的列；
2）执行导出，判断是否勾选了导出的列，如果没有则给出提示信息；
3）判断是批量导出还是全部导出；
4）批量导出时：
a、首先判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
5）全部导出时：
a、判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
6）生成出导日志
（5）：查看详细信息
1）页面点击查详细信息；
2）初始化；
3）获取详细信息；
4）获取协议数据；
5）判断缓存数据是否有改变；
6）得到协议数据的详细信息；
7）初始化数据；
8）重置查询条件；
9）得到详细信息的页面排版；
10）得到详细信息页面的功能操作权限。
本发明的优点是：
本发明查询协议数据途径多，能够查询出比较全面的协议数据，使用者能够从多种协议数据中查询出非平凡的、隐含的、事先未知的、有潜在使用价值的信息。
附图说明
    图1为本发明的总体流程图。
具体实施方式
如图1所示，一种数据查询方法，具体包括以下步骤：
（1）：初始化查询条件页面
1）把一些必要的数据加载出来如：数据源、协议以及页面上的一些默认的选项；
2）从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源；
3）从协议表、协议类型取得协议的类型以及协议；
（2）：查询
通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数：
1）各协议数据表：网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表；
2）进入查询条件的校验，检查所有的查询条件是否符合要求；如果有条件不符合要求则返回到查询条件设置页面，并给出提示信息；如果有的条件都条件都符合要求则进入查询的下一步的处理阶段；
3）获取缓存对象Cache，判断缓存中是否存在数据，如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2() 方法中进行业务逻辑的处理，如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList（）方法中进行业务处理；
4）进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList（）进行数据的操作执行存储过程取数据，如果是查询缺省库时调用存储过程：hl. get_large_page_query，如果是查询档案库时调用存储过程：hl.get_large_page_query_ar；
5）进入业务处理层统计查询数据的总条件数，通过调用MassDataQueryServiceImpl的getDataCountList()方法完成；
6）通过探针的ID获取对象Device，通过调用DeviceConfig类的getDeviceDetail()完成，把探针信息也封装到查询数据的结果集对象中，方便页面展示；
7）通过HttpServletRequest把查询数据的条件存放到Session中缓存，以便在整个会话的过程中都能使用；
8）生成页面数据的表格，通过动态列表生成，整个处理程主要在DataBean类中的getDataTable()方法内成程，首先通过DataConfig来加载配置方件下的各协议数据要展示的列，然后通过遍历查询出来的协议数据，把它一一的赋值到对应的列中；
9）跳转到查询结果页面展示查询出来的结果；
（3）：统计
1）在查询条件页面中设置好统计的条件；
2）开始执行统计，进入后台程序处理阶段；
3）进入MassDataQueryBean的statistics()方法中，对统计的条件进校验，主要校验数据的非空属性和是否符合要求，校验通过则进入下一步的处理，校验不通过则返页面并给出提示信息；
4）进入DataStatisticsBean的statistics()方法中，获取缓存对象Cache，如果查询条件中的协议类型ID为-1的，则调用缓存的store()方法把查询条件添到缓存中；
5）判断缓存中是否有缓存数据，如果有则从缓存中取统计数据，没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行hl.get_large_query_count存储过程来获得；
6）生成查询统计日志；
7）在页面中展示统计结果；
（4）：数据导出
1）初始化数据导出窗口，通过读取协议数据的配置文件获得可导出的列；
2）执行导出，判断是否勾选了导出的列，如果没有则给出提示信息；
3）判断是批量导出还是全部导出；
4）批量导出时：
a、首先判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
5）全部导出时：
a、判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
6）生成出导日志
（5）：查看详细信息
1）页面点击查详细信息；
2）初始化；
3）获取详细信息；
4）获取协议数据；
5）判断缓存数据是否有改变；
6）得到协议数据的详细信息；
7）初始化数据；
8）重置查询条件；
9）得到详细信息的页面排版；
10）得到详细信息页面的功能操作权限。

Claims (1)

1.一种数据查询方法，其特征在于，具体包括以下步骤：
（1）：初始化查询条件页面
1）把一些必要的数据加载出来如：数据源、协议以及页面上的一些默认的选项；
2）从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源；
3）从协议表、协议类型取得协议的类型以及协议；
（2）：查询
通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数：
1）各协议数据表：网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表；
2）进入查询条件的校验，检查所有的查询条件是否符合要求；如果有条件不符合要求则返回到查询条件设置页面，并给出提示信息；如果有的条件都条件都符合要求则进入查询的下一步的处理阶段；
3）获取缓存对象Cache，判断缓存中是否存在数据，如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2() 方法中进行业务逻辑的处理，如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList（）方法中进行业务处理；
4）进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList（）进行数据的操作执行存储过程取数据，如果是查询缺省库时调用存储过程：hl. get_large_page_query，如果是查询档案库时调用存储过程：hl.get_large_page_query_ar；
5）进入业务处理层统计查询数据的总条件数，通过调用MassDataQueryServiceImpl的getDataCountList()方法完成；
6）通过探针的ID获取对象Device，通过调用DeviceConfig类的getDeviceDetail()完成，把探针信息也封装到查询数据的结果集对象中，方便页面展示；
7）通过HttpServletRequest把查询数据的条件存放到Session中缓存，以便在整个会话的过程中都能使用；
8）生成页面数据的表格，通过动态列表生成，整个处理程主要在DataBean类中的getDataTable()方法内成程，首先通过DataConfig来加载配置方件下的各协议数据要展示的列，然后通过遍历查询出来的协议数据，把它一一的赋值到对应的列中；
9）跳转到查询结果页面展示查询出来的结果；
（3）：统计
1）在查询条件页面中设置好统计的条件；
2）开始执行统计，进入后台程序处理阶段；
3）进入MassDataQueryBean的statistics()方法中，对统计的条件进校验，主要校验数据的非空属性和是否符合要求，校验通过则进入下一步的处理，校验不通过则返页面并给出提示信息；
4）进入DataStatisticsBean的statistics()方法中，获取缓存对象Cache，如果查询条件中的协议类型ID为-1的，则调用缓存的store()方法把查询条件添到缓存中；
5）判断缓存中是否有缓存数据，如果有则从缓存中取统计数据，没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行hl.get_large_query_count存储过程来获得；
6）生成查询统计日志；
7）在页面中展示统计结果；
（4）：数据导出
1）初始化数据导出窗口，通过读取协议数据的配置文件获得可导出的列；
2）执行导出，判断是否勾选了导出的列，如果没有则给出提示信息；
3）判断是批量导出还是全部导出；
4）批量导出时：
a、首先判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
5）全部导出时：
a、判断是否有可导出的列，如果没有则从协议配置文件中加载；
b、取得缓存中的键；
c、通过缓存的键从业务层中取得导出的数据；
d、生成导txt文件导出文件或生成Execl导出文件；
6）生成出导日志
（5）：查看详细信息
1）页面点击查详细信息；
2）初始化；
3）获取详细信息；
4）获取协议数据；
5）判断缓存数据是否有改变；
6）得到协议数据的详细信息；
7）初始化数据；
8）重置查询条件；
9）得到详细信息的页面排版；
10）得到详细信息页面的功能操作权限。
CN201410128450.9A 2014-03-31 2014-03-31 一种数据查询方法 Pending CN103902708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410128450.9A CN103902708A (zh) 2014-03-31 2014-03-31 一种数据查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410128450.9A CN103902708A (zh) 2014-03-31 2014-03-31 一种数据查询方法

Publications (1)

Publication Number Publication Date
CN103902708A true CN103902708A (zh) 2014-07-02

Family

ID=50994030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410128450.9A Pending CN103902708A (zh) 2014-03-31 2014-03-31 一种数据查询方法

Country Status (1)

Country Link
CN (1) CN103902708A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708877A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 数据处理方法和装置
CN108733701A (zh) * 2017-04-20 2018-11-02 杭州施强教育科技有限公司 一种应用于在线教育的查询页面缓存控制方法
CN112069207A (zh) * 2020-08-27 2020-12-11 重庆攸亮科技股份有限公司 一种多表联合查询效率提升方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118557A (zh) * 2007-09-17 2008-02-06 腾讯科技（深圳）有限公司 网络信息搜索方法及搜索系统
CN101566995A (zh) * 2008-04-25 2009-10-28 北京搜狗科技发展有限公司 一种互联网信息整合发布的方法和系统
CN101729288A (zh) * 2008-10-31 2010-06-09 中国科学院计算机网络信息中心 一种统计互联网用户网络访问行为的方法和装置
CN101763398A (zh) * 2009-12-10 2010-06-30 上海众恒信息产业有限公司 一种自动匹配人员与岗位的系统及方法
CN101930443A (zh) * 2009-06-22 2010-12-29 金蝶软件（中国）有限公司 数据业务系统及数据业务实现方法
CN103473078A (zh) * 2013-09-30 2013-12-25 南京朗睿软件科技有限公司 一种生成报表的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118557A (zh) * 2007-09-17 2008-02-06 腾讯科技（深圳）有限公司 网络信息搜索方法及搜索系统
CN101566995A (zh) * 2008-04-25 2009-10-28 北京搜狗科技发展有限公司 一种互联网信息整合发布的方法和系统
CN101729288A (zh) * 2008-10-31 2010-06-09 中国科学院计算机网络信息中心 一种统计互联网用户网络访问行为的方法和装置
CN101930443A (zh) * 2009-06-22 2010-12-29 金蝶软件（中国）有限公司 数据业务系统及数据业务实现方法
CN101763398A (zh) * 2009-12-10 2010-06-30 上海众恒信息产业有限公司 一种自动匹配人员与岗位的系统及方法
CN103473078A (zh) * 2013-09-30 2013-12-25 南京朗睿软件科技有限公司 一种生成报表的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708877A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 数据处理方法和装置
CN108733701A (zh) * 2017-04-20 2018-11-02 杭州施强教育科技有限公司 一种应用于在线教育的查询页面缓存控制方法
CN112069207A (zh) * 2020-08-27 2020-12-11 重庆攸亮科技股份有限公司 一种多表联合查询效率提升方法
CN112069207B (zh) * 2020-08-27 2023-10-03 重庆攸亮科技股份有限公司 一种多表联合查询效率提升方法

Similar Documents

Publication Publication Date Title
CN103475637B (zh) 基于ip访问行为的网络访问控制方法及系统
CN104104717B (zh) 投放渠道数据统计方法及装置
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
CN103812849B (zh) 一种本地缓存更新方法、系统、客户端及服务器
CN103902653B (zh) 一种构建数据仓库表血缘关系图的方法和装置
CN103838814B (zh) 一种动态展示人脉图谱关系的方法
US20140304180A1 (en) Method, system and computer-readable storage medium for dividing a user's social network relationship circle
CN102737119B (zh) 统一资源定位符的查找方法、过滤方法和相关设备及系统
CN106534164B (zh) 基于网络空间用户标识的有效虚拟身份刻画方法
CN103338260B (zh) 网络审计中url日志的分布式分析系统及分析方法
CN104394118A (zh) 一种用户身份识别方法及系统
CN103618733B (zh) 一种应用于移动互联网的数据过滤系统及方法
CN104298782B (zh) 互联网用户主动访问行为轨迹的分析方法
CN104021205B (zh) 一种建立微博索引的方法及装置
CN103957282B (zh) 一种域内终端用户域名解析加速系统及其方法
CN106789227B (zh) 一种上网行为分析方法及上网行为分析装置
CN101442558A (zh) 一种为p2sp网络提供索引服务的方法和系统
CN104468752A (zh) 一种提高云计算资源利用率的方法及系统
CN103369015A (zh) 一种便捷的通过Web访问网络摄像机的方法
CN104239353A (zh) 一种web分类控制和日志审计的方法
CN103441859A (zh) 用户计费业务使用标识生成管理方法及系统
CN105681483B (zh) 基于dns服务器测量特定ip范围解析占比的方法及系统
CN103902708A (zh) 一种数据查询方法
KR100906454B1 (ko) 데이터베이스 로그 정보 관리 장치 및 방법
CN104253875B (zh) 一种dns流量分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140702

RJ01 Rejection of invention patent application after publication