CN109492162A - 一种智能化粮情监测方法及其系统 - Google Patents

一种智能化粮情监测方法及其系统 Download PDF

Info

Publication number
CN109492162A
CN109492162A CN201811406307.6A CN201811406307A CN109492162A CN 109492162 A CN109492162 A CN 109492162A CN 201811406307 A CN201811406307 A CN 201811406307A CN 109492162 A CN109492162 A CN 109492162A
Authority
CN
China
Prior art keywords
information
word
matrix
name
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811406307.6A
Other languages
English (en)
Inventor
陈俊宇
孙彪
吴新春
毛天才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Industrial University Chuangxing Big Data Co Ltd
Original Assignee
Sichuan Industrial University Chuangxing Big Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Industrial University Chuangxing Big Data Co Ltd filed Critical Sichuan Industrial University Chuangxing Big Data Co Ltd
Priority to CN201811406307.6A priority Critical patent/CN109492162A/zh
Publication of CN109492162A publication Critical patent/CN109492162A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种智能化粮情监测方法及其系统，该方法包括以下步骤：(1)建立本地品名词和关键词，并将品名词和关键词按照组词矩阵算法进行组词；(2)利用网络爬虫技术收集互联网上与组词相关所有信息并将收集的信息存储到本地服务器；(3)对收集的所有信息进行整理，滤除实质相同的信息，并将整理后的信息按照品名词或/和关键词进行分类和展示。本发明可提供给所有关心关注粮情的用户使用，不需要下载多个互联网产品即可实现全互联网粮情信息监测。

Description

一种智能化粮情监测方法及其系统
技术领域
本发明涉及粮情信息技术领域，具体涉及一种智能化粮情监测方法及其系统。
背景技术
我国是粮食生产和消费大国，也是粮食储备大国，粮食是关乎国计民生的重要战略资源和特殊商品。随着互联网在全球范围内的飞速发展，网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”，网络成为反映事件的主要载体之一。虽然互联网上有许多关于粮情信息的记载并展示，但是没有一个聚合网页对粮情进行展示，不便于专业人士对粮情信息的及时了解。
发明内容
本发明的目的在于提供一种可将互联网上所有的粮情信息进行聚合后展示的智能化粮情监测方法及其系统。
本发明的目的是通过以下技术方案实现的：
一种智能化粮情监测方法，包括以下步骤：
(1)建立本地品名词和关键词，并将品名词和关键词按照组词矩阵算法进行组词；
(2)利用网络爬虫技术收集互联网上与组词相关所有信息并将收集的信息存储到本地服务器；
(3)对收集的所有信息进行整理，滤除实质相同的信息，并将整理后的信息按照品名词或/和关键词进行分类和展示。
进一步地，所述组词矩阵算法是指将品名词构建成对角矩阵N、以及关键词构建成对称矩阵M，将矩阵N和矩阵M相乘得到组词矩阵Y，所述组词矩阵Y具体表现为如下公式
式中，Y代表组词矩阵，N代表品名词矩阵，(a1，a2，…，an)代表不同的品名词，M代表关键词矩阵，(b1，b2，…，bn)代表不同的关键词。
进一步地，所述对收集的所有信息进行整理是指将收集的信息进行两两查重处理，重复率大于60％时即视为实质相同的信息，对实质相同的信息只保留1条，并将其分类存储。
进一步地，所述信息包括新闻、法规和政策。
一种智能化粮情检测系统，包括：
组词模块，将本地的品名词和关键词按照组词矩阵算法进行组词；
信息收集模块，利用网络爬虫技术根据组词收集互联网上所有与组词相关的信息并将收集的信息存储在本地服务器；
信息处理模块，利用文字查重技术将收集的信息两两查重，过滤实质相同的信息，将处理后的信息按照品名词或/和关键词进行分类存储；
展示模块，用于展示已分类的信息。
本发明具有以下有益效果：
(1)通过组词矩阵算法对关键词和品名词进行组词，可以将所有的品名词和关键词两两配对进行信息收集，收集信息更齐全，后期分类更细，阅览更方便；
(2)通过查重技术对实质相同的信息进行过滤，可减少空间占用，消息更准确精简，防止标题不同而内容相同的情况出现，为用户提供信息全且重复率低；
(3)可提供给所有关心关注粮情的用户使用，不需要下载多个互联网产品即可实现全互联网粮情信息。
附图说明
图1为本发明的智能化粮情监测方法流程示意图。
具体实施方式
实施例1
如图1所示，本实施例提供的智能化粮情监测方法包括以下步骤：
(1)建立本地品名词和关键词，并将品名词和关键词按照组词矩阵算法进行组词；所述品名词包括粮食名称，如大米、麦子、大豆、玉米等；所述关键词包括与粮食相关的词语，如价格、数量、出口量等；所述组词矩阵算法是将粮食名称与关键词进行组合，具体地将品名词构建成对角矩阵N、以及关键词构建成对称矩阵M，将矩阵N和矩阵M相乘得到组词矩阵Y，所述组词矩阵Y具体表现为如下公式：
式中，Y代表组词矩阵，N代表品名词矩阵，(a1，a2，…，an)代表不同的品名词，M代表关键词矩阵，(b1，b2，…，bn)代表不同的关键词。例：组词结果有大米价格，大米出口量，小麦价格，小麦出口量。
(2)利用网络爬虫技术收集互联网上与组词相关所有信息并将收集的信息存储到本地服务器；所述网络爬虫技术为现有熟知的网络爬虫技术，爬取互联网所有有关大米价格，大米出口量，小麦价格，小麦出口量相关的新闻、政策或者其他文章，并将爬取相关的新闻、政策或者其他文章保存在本地服务器。
(3)对收集的所有信息进行整理，滤除实质相同的信息，并将整理后的信息按照品名词或/和关键词进行分类和展示。互联网上信息众多，相同的内容再多家信息网站上均由发布，所以对所爬取的相关的新闻、政策或者其他文章进行查重整理，即将两两信息利用已知熟知的查重技术进行查重处理，文字重读率大于60％时即视为实质相同的信息，将相同的实质相同的信息只保留1条，其余的全部滤除，可保证信息全面且无重复；将过滤掉相同信息的信息按照品名词(粮食名称)或/和关键字进行分类保存，并进行展示，便于用户对了解与阅览。
实施例2
本实施例提供的智能化粮情监测系统包括：
组词模块，将本地的品名词和关键词按照组词矩阵算法进行组词；所述品名词包括粮食名称，如大米、麦子、大豆、玉米等；所述关键词包括与粮食相关的词语，如价格、数量、出口量等；所述组词矩阵算法是将粮食名称与关键词进行组合，具体地将品名词构建成对角矩阵N、以及关键词构建成对称矩阵M，将矩阵N和矩阵M相乘得到组词矩阵Y，所述组词矩阵Y具体表现为如下公式：
式中，Y代表组词矩阵，N代表品名词矩阵，(a1，a2，…，an)代表不同的品名词，M代表关键词矩阵，(b1，b2，…，bn)代表不同的关键词。例：组词结果有大米价格，大米出口量，小麦价格，小麦出口量。
信息收集模块，利用网络爬虫技术根据组词收集互联网上所有与组词相关的信息并将收集的信息存储在本地服务器；所述网络爬虫技术为现有熟知的网络爬虫技术，爬取互联网所有有关大米价格，大米出口量，小麦价格，小麦出口量相关的新闻、政策或者其他文章，并将爬取相关的新闻、政策或者其他文章保存在本地服务器。
信息处理模块，利用文字查重技术将收集的信息两两查重，过滤实质相同的信息，将处理后的信息按照品名词或/和关键词进行分类存储；互联网上信息众多，相同的内容在多家信息网站上均由发布，所以对所爬取的相关的新闻、政策或者其他文章进行查重整理，即将两两信息利用已知熟知的查重技术进行查重处理，文字重读率大于60％时即视为实质相同的信息，将相同的实质相同的信息只保留1条，其余的全部滤除，可保证信息全面且无重复，将过滤掉相同信息的信息按照品名词(粮食名称)或/和关键字进行分类保存。
展示模块，用于展示已分类的信息，将其每天爬取的最新的粮情信息进行展示，便于用户阅览与了解。
以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

Claims (5)

1.一种智能化粮情监测方法，其特征在于包括以下步骤：
(1)建立本地品名词和关键词，并将品名词和关键词按照组词矩阵算法进行组词；
(2)利用网络爬虫技术收集互联网上与组词相关所有信息并将收集的信息存储到本地服务器；
(3)对收集的所有信息进行整理，滤除实质相同的信息，并将整理后的信息按照品名词或/和关键词进行分类和展示。
2.根据权利要求1所述的智能化粮情监测方法，其特征在于：所述组词矩阵算法是指将品名词构建成对角矩阵N、以及关键词构建成对称矩阵M，将矩阵N和矩阵M相乘得到组词矩阵Y，所述组词矩阵Y具体表现为如下公式
式中，Y代表组词矩阵，N代表品名词矩阵，(a1，a2，…，an)代表不同的品名词，M代表关键词矩阵，(b1，b2，…，bn)代表不同的关键词。
3.根据权利要求1所述的智能化粮情监测方法，其特征在于：所述对收集的所有信息进行整理是指将收集的信息进行两两查重处理，重复率大于60％时即视为实质相同的信息，对实质相同的信息只保留1条，并将其分类存储。
4.根据权利要求3所述的智能化粮情监测方法，其特征在于：所述信息包括新闻、政策和法规。
5.一种智能化粮情监测系统，其特征在于包括：
组词模块，将本地的品名词和关键词按照组词矩阵算法进行组词；
信息收集模块，利用网络爬虫技术根据组词收集互联网上所有与组词相关的信息并将收集的信息存储在本地服务器；
信息处理模块，利用文字查重技术将收集的信息两两查重，过滤实质相同的信息，将处理后的信息按照品名词或/和关键词进行分类存储；
展示模块，用于展示已分类的信息。
CN201811406307.6A 2018-11-23 2018-11-23 一种智能化粮情监测方法及其系统 Pending CN109492162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811406307.6A CN109492162A (zh) 2018-11-23 2018-11-23 一种智能化粮情监测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811406307.6A CN109492162A (zh) 2018-11-23 2018-11-23 一种智能化粮情监测方法及其系统

Publications (1)

Publication Number Publication Date
CN109492162A true CN109492162A (zh) 2019-03-19

Family

ID=65697722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811406307.6A Pending CN109492162A (zh) 2018-11-23 2018-11-23 一种智能化粮情监测方法及其系统

Country Status (1)

Country Link
CN (1) CN109492162A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204478A1 (en) * 2008-02-08 2009-08-13 Vertical Acuity, Inc. Systems and Methods for Identifying and Measuring Trends in Consumer Content Demand Within Vertically Associated Websites and Related Content
CN102708096A (zh) * 2012-05-29 2012-10-03 代松 一种基于语义的网络智能舆情监测系统及其工作方法
CN103177076A (zh) * 2012-12-28 2013-06-26 中联竞成（北京）科技有限公司 一种基于定点网站的舆情监测系统及方法
CN106383887A (zh) * 2016-09-22 2017-02-08 深圳市博安达信息技术股份有限公司 一种环保新闻数据采集和推荐展示的方法及系统
CN107066585A (zh) * 2017-04-17 2017-08-18 济南大学 一种概率主题计算与匹配的舆情监测方法及系统
CN107908694A (zh) * 2017-11-01 2018-04-13 平安科技（深圳）有限公司 互联网新闻的舆情聚类分析方法、应用服务器及计算机可读存储介质
CN108228565A (zh) * 2018-01-11 2018-06-29 廖良平 一种商品信息关键词的识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204478A1 (en) * 2008-02-08 2009-08-13 Vertical Acuity, Inc. Systems and Methods for Identifying and Measuring Trends in Consumer Content Demand Within Vertically Associated Websites and Related Content
CN102708096A (zh) * 2012-05-29 2012-10-03 代松 一种基于语义的网络智能舆情监测系统及其工作方法
CN103177076A (zh) * 2012-12-28 2013-06-26 中联竞成（北京）科技有限公司 一种基于定点网站的舆情监测系统及方法
CN106383887A (zh) * 2016-09-22 2017-02-08 深圳市博安达信息技术股份有限公司 一种环保新闻数据采集和推荐展示的方法及系统
CN107066585A (zh) * 2017-04-17 2017-08-18 济南大学 一种概率主题计算与匹配的舆情监测方法及系统
CN107908694A (zh) * 2017-11-01 2018-04-13 平安科技（深圳）有限公司 互联网新闻的舆情聚类分析方法、应用服务器及计算机可读存储介质
CN108228565A (zh) * 2018-01-11 2018-06-29 廖良平 一种商品信息关键词的识别方法

Similar Documents

Publication Publication Date Title
CN103914478B (zh) 网页训练方法及系统、网页预测方法及系统
AU2006277608A1 (en) Method and system for extracting web data
Brayshaw Negative publicity about tourism destinations-a Florida case study.
CN103631791B (zh) 信息聚合归类的显示方法及系统
Henseler Network-based filtering for large email collections in e-discovery
Mitra On investigating energy stability for cellular automata based pagerank validation model in green cloud
CN109492162A (zh) 一种智能化粮情监测方法及其系统
Zhang et al. Characterization of inflorescence type in Discorea nipponica.
Zhang et al. Optimization of naphthol green B adsorption and degradation by NZVI/CS/apt using plackett-burman designs and response surface methodology.
Zhao Yang et al. Field evaluation of an electrostatic air filtration system for reducing incoming particulate matter of a hen house.
CN103034667A (zh) 依据网页索引标签建立资料库的系统及其方法
Spurgeon et al. Host-free survival of boll weevils (Coleoptera: Curculionidae) from two regions of Texas
Boykin et al. Unloading system PM10 emission factors and rates for cotton gins: Method 201A PM10 sizing cyclones.
Khan Resistance of two tomato species to five isolates of Alternaria solani
McLeod et al. Synchrony of onset and cessation of breeding activity in brushtail possums (Trichosurus vulpecula) in coastal Otago, New Zealand.
Li YingJie et al. A method for forestry business images classification based on auto-learning features.
Goldman Compendium of bioenergy plants
Tseng et al. Genetic diversity and phylogeny of Sinorhizobium fredii in Taiwan
Togawa et al. Web browsing activity visualization system for administrator assistance
Ciska et al. Decomposition of aquatic pioneer vegetation in newly constructed wetlands
Pirangy et al. Social Interaction and Beer Consumption
Salisbury et al. Current awareness delivery options in food science and technology: Their coverage, timeliness and characteristics
Kritboonyalai et al. Data mining for multi-level marketing planning in e-commerce
Parvez et al. Comparative effect of organic and synthetic fertilizers on the infestation of sucking and bollworms insect pest complex on different varieties of cotton (Gossypium hirsutum L.)
Buntzel After the crisis.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319