CN112258220B - 信息采集及分析方法、系统、电子设备和计算机可读介质 - Google Patents
信息采集及分析方法、系统、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112258220B CN112258220B CN202011084217.7A CN202011084217A CN112258220B CN 112258220 B CN112258220 B CN 112258220B CN 202011084217 A CN202011084217 A CN 202011084217A CN 112258220 B CN112258220 B CN 112258220B
- Authority
- CN
- China
- Prior art keywords
- information
- market
- analyzing
- analysis
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 75
- 238000001914 filtration Methods 0.000 claims abstract description 41
- 238000012795 verification Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 241000238631 Hexapoda Species 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000002354 daily effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013499 data model Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000220259 Raphanus Species 0.000 description 2
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009960 carding Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种信息采集及分析方法,包括:信息采集步骤,对多种格式的信息进行采集以获得原始信息;信息过滤步骤,过滤所述原始信息中的无效的信息,以获得有效信息;信息解析步骤,对所述有效信息进行解析,从而获取数字化的标准信息;信息校验步骤,基于历史数据对所述标准信息进行校验和审核,将校验审核通过的信息作为正常信息;以及行情分析步骤,通过对所述正常信息进行分析,生成市场行情的量化信息。信息采集及分析方法还包括行情预测步骤,通过所述量化信息,综合影响市场行情的因素,预测未来预定时间内市场的行情走势。
Description
技术领域
本发明涉及一种信息采集及分析方法、系统、电子设备和计算机可读介质,特别地,涉及一种农产品市场信息的信息采集及分析方法、系统、电子设备和计算机可读介质。
背景技术
在农产品市场的管理过程中,掌握市场信息(例如,品类、价格等)是十分重要的。
现有技术中公开了一种农产品市场价格预警系统。该农产品市场价格预警系统包括相互关联的用户单元、服务单元、和信息资源单元等。该农产品市场价格预警系统实现农业经营交易各类信息资产的梳理和归类,解决信息统计和分析口径不一致问题,实现了对农产品市场价格的集中预测和预警,可以提供农产品价格预测表供市场参考。
但是,上述农产品市场价格预警系统对信息采集主要来自格式化的信息,对源信息要求高,来源单一,影响信息采集的丰富性及灵活性。另外,该技术实现的信息采集流程缺少信息校验模块,因此对信息的准确度无法进行校准。
现有技术中还公开了一种市场信息采集系统。该系统包括:设置在交易现场每个交易点的信息输入单元,和整理汇总信息输入单元输入的信息得信息采集单元。
但是,上述信息采集依赖特定的信息输入,信息采集形式单一,不支持文本、图片、视频等媒体形式,成本较高,并且实现的信息采集流程缺少信息校验模块,因此对信息的准确度无法进行校准。
综上,现有的信息采集方法依赖专有硬件设备,成本高,可移植性差。
发明内容
有鉴于此,本发明提供一种针对包括但不限于语音、文本、图片、视频等多种格式的信息的信息源的采集及分析方法、系统、电子设备和计算机可读介质,其能提升市场信息采集效率,提升市场信息准确性,并将信息信息化,可用于分析市场不同品类行情。
本发明的第一方面涉及一种信息采集及分析方法,包括:
信息采集步骤,对多种格式的信息进行采集以获得原始信息;
信息过滤步骤,过滤所述原始信息中的无效的信息,以获得有效信息;
信息解析步骤,对所述有效信息进行解析,从而获取数字化的标准信息;
信息校验步骤,基于历史数据对所述标准信息进行校验和审核,将校验审核通过的信息作为正常信息;以及
行情分析步骤,通过对所述正常信息进行分析,生成市场行情的量化信息。
优选地,所述信息采集及分析方法还包括行情预测步骤,通过所述行情分析步骤获得的所述市场行情的量化信息,综合影响市场行情的因素,预测未来一段时间内该市场的行情走势。
优选地,所述多种格式的信息包括文本、图片、视频、格式化信息等。
优选地,所述信息校验步骤还利用所述行情分析步骤所生成的所述市场行情的量化信息而对所述标准信息进行校验。
优选地,所述信息校验步骤包括:基于所述历史数据,判断所述标准信息的变化是否在预定范围内;将相对于所述历史数据波动异常的标准信息作为信息噪音进行审核,如果审核确认该信息噪音属于正常信息,则将该信息噪音更新到所述历史数据中,否则该信息噪音被判定为异常信息,调低该信息噪音在所述历史数据中的权重。
优选地,所述影响市场行情的因素包括天气、政策、品类产出周期、病虫灾害、品类消费特征等。
优选地,所述信息采集及分析方法用于农产品市场的信息采集及分析。
本发明的第二方面涉及一种信息采集及分析系统,包括:
信息采集模块,该信息采集模块用于对多种格式的信息进行采集以获得原始信息;
信息过滤模块,该信息过滤模块过滤所述原始信息中的无效的信息,以获得有效信息;
信息解析模块,该信息解析模块对所述有效信息进行解析,从而获得数字化的标准信息;
信息校验模块,该信息校验模块基于历史数据对所述标准信息进行校验和审核,将校验审核通过的信息作为正常信息;以及
行情分析模块,该行情分析模块通过对所述正常信息进行分析,生成市场行情的量化信息。
优选地,所述信息采集及分析系统还包括行情预测模块,其通过所述行情分析模块获得的所述市场行情的量化信息,综合影响市场行情的因素,预测未来一段时间内该市场的行情走势。
优选地,所述信息采集及分析系统还包括信息存储模块,用于存储所述原始信息、所述有效信息、所述标准信息、所述正常信息以及所述市场行情的量化信息。
本发明的第三方面涉及一种用于信息采集及分析的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如根据本发明的第一方面及其优选方面任一项所述的方法。
本发明的第四方面涉及一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如根据本发明的第一方面及其优选方面任一项所述的方法。
通过本发明,能够实现农产品市场管理信息化、信息采集多样化、行情分析自动化,替代了传统信息分析系统的人工信息提交,既能提升信息的时效性,又能通过信息的多元化提升信息的准确性,同时通过信息的分析,可预测市场未来一段时间内的行情走势。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
图1示出根据本发明一优选实施例的信息采集及分析系统。
图2示出根据本发明一优选实施例的信息采集及分析方法的流程图。
图3是本发明实施例可以应用于其中的示例性系统架构图;
图4是适于用来实现本发明一优选实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
如图1所示,本发明的信息采集及分析系统100包括:
信息采集模块101,支持文本、图片、视频、格式化信息等多种信息格式的采集,以获得原始信息;
信息过滤模块102,利用过滤技术过滤信息采集模块101所采集的原始信息中的无效的信息,以获取有效信息;
信息解析模块103,对信息过滤模块102过滤后的有效信息中各种形式的信息(如文字、语音、视频等信息)进行解析处理,识别其语义,从而获取数字化的标准信息;
信息校验模块104,基于历史数据对信息解析模块103解析后的标准信息进行校验和审核,将校验审核通过的信息作为正常信息;
行情分析模块105,对信息校验模块104校验后的正常信息进行分析,生产市场行情的量化信息;同时生成的市场行情的量化信息也可以作为历史数据而在信息校验模块104中用于校验标准信息。
本发明的信息采集及分析系统100还可以包括:行情预测模块106,通过行情分析模块105生成的市场行情的量化信息,综合影响市场行情的天气、政策、品类产出周期、病虫灾害、品类消费特征等因素,预测未来一段时间内该市场的行情走势。
通过信息采集模块101,在市场中的各个位点(例如市场出入口、卸货点、摊位、通道等)采集文字、语音、图像、视频等多种不同形式的原始信息。文字信息及语音信息通常针对通过市场工作人员人工采集的例如摊位货品品质(诸如优、良、差等)、售价等信息;图像及视频信息通常是关于摊位进货情况、货品库存、货品走货速度、市场人员流动信息等信息。该信息采集模块101可以为一个支持文字、语音、图像、视频等多格式信息的采集、录入和提交的APP或硬件终端。信息采集模块101的具体示例可以为一套应用App以及配套的服务端功能支持,该App支持文字录入、格式化信息采集、语音、图片及视频采集,并通过网络连接将采集到的信息提交到信息采集及分析系统100的后台以供信息采集及分析系统100的其他模块进行后续处理。
信息过滤模块102通过过滤技术等对原始信息进行过滤,以获得有效信息。“过滤技术”包括:对信息采集过程中的用户行为(比如采集信息量/采集时长、多个信息采集的时间间隔等辅助信息)进行分析,过滤其中的无效信息;针对语音信息,通过判断语音时长等,过滤其中的无效(时长过短的)信息;针对图片信息及视频信息,通过判断图片/视频亮度或清晰度、视频时长等,过滤其中的无效、不可用(清晰度差、时长过短的)信息。“信息采集过程中的用户行为”包括单位时间内信息采集量、信息采集间隔时长等。在例如农贸批发市场,通过由市场工作人员负责采集多个摊位的信息。通过“单位时间内信息采集量”过滤无效信息可以例如假设90%的工作人员采集20个摊位的信息需要4~5分钟,而某一个工作人员采集20个摊位的信息只耗时1分钟,那就表示这个工作人员采集的摊位信息可能存在不完整的情况,则将该工作人员该次采集的一组信息作为无效信息过滤。通过“信息采集间隔时长”过滤无效信息可以例如90%工作人员对前后两个摊位采集的信息的提交间隔通常在30秒左右,而某个工作人员的某两次信息的提交间隔为5秒,那说明该工作人员该次采集的信息可能存在提前预置的情况,同样地,将该工作人员该次采集的一组信息作为无效信息过滤。除了上文中示例的单位时间内信息采集量、信息采集间隔时长、图片/视频质量等过滤标准之外,信息过滤模块102采用的过滤标准可以由使用者根据各个市场的具体情况进行设定。
另外,信息过滤模块102可以将过滤的无效信息提交给信息采集及分析系统100的后台,供市场管理者进行管理;和/或将过滤的无效信息通过作为信息采集模块101的APP或硬件终端等推送给负责该次采集的市场工作人员,以提示该工作人员重新采集信息。
信息解析模块103,针对信息过滤模块102过滤后所获得的有效信息,对文字信息进行语义识别、关键信息模式匹配;对语音信息进行语音转文字、文本关键信息解析抽取(TE3T RANK算法);对图像信息进行图像元素识别(目标检测算法4OLO)、分析品类行情;对视频信息进行视频关键帧解析(Conv 3D技术、目标检测算法4OLO),以获取品类、在售情况、客流等信息的数字化信息。信息解析模块103将有效信息数字化,生成信息采集及分析系统100在后续分析中可以使用的标准信息。数字化后的标准信息诸如农产品品类的供货纬度:市场摊位数、每日待销售车次;农产品品类的需求纬度:走货速度、日走货量、市场热度等信息。市场热度通常指市场的关注度,比如市场的日全部客流量,包括买货的和没有买货的;如果日客流量高那说明市场关注度高、市场热度高。具体的,语音信息解析例如用户语音输入“26号摊位,水果萝卜4米2高栏,0.8车”,信息解析模块103将该语音信息解析成“品类:水果萝卜;摊位:26号摊位;销售车次:4米2高栏;余量:0.8车”的格式化信息;图片信息解析例如通过图片(拍照获得的照片等)采集摊位车次的存货情况,将图片中的信息识别为车次对应售卖的产品种类、品质、存货量的数字化信息;视频信息解析例如通过解析市场摊位人流量视频,解析得到市场采购用户流量的数字化信息。
信息校验模块104,基于历史数据对信息解析模块103解析后的标准信息进行校验,判断具体标准信息的准确性、常规性,针对信息噪音进行审核,以获得正常信息。“基于历史数据”的校验包括:基于信息采集及分析系统100中存储的历史数据,比如同市场、同品类相对去年同期、上周同期、前一日的售卖情况、售价信息等,判断该标准信息的变化是否在合理范围内“信息噪音”是指相对于历史数据波动异常的信息。如果经过审核确认该信息噪音属于正常信息,则更新到历史数据模型(历史数据)中;否则被判定为异常信息,调低该信息在历史数据模型(历史数据)中的权重。例如,晚上采集的某个品类售价相比早上采集的该品类售价的差价相比于历史数据中的该差价波动过大,则将该数据认为是异常信息。另外,异常信息并不一定是虚假信息、错误信息,比如某天下大雨了影响了价格走势,该价格信息仍然是真实信息,但由于该价格信息的波动属于特殊情况下的异常波动,所以在历史数据模型中调低该价格信息的权重。历史数据模型是指比如某种农产品的历史价格走势图生成的数学模型。审核可以采取人工审核、系统自动审核或者两者结合的方式。审核信息噪音是否属于“正常信息”的判断标准可以根据市场的需求和具体情况进行规定。例如,通过系统对信息的噪音比进行打分,噪音比超过40%的系统判定为异常信息,噪音比在20%~40%间的通过人工审核二次确认信息的常规性,噪音比低于20%的系统判定为正常信息。
行情分析模块105,对信息校验模块104校验后的正常信息进行分析,生成市场行情的量化信息,并将该量化信息更新至系统的历史数据中,供信息校验模块104后续用于验证信息的常规性。这里的“量化信息”是指基于正常信息中的例如各品类的每日市场报价、供应量、走货速度、市场客户数量等信息,生成的品类行情走势信息。常见的走势信息的展示形式为线性图等。这里的走势信息是包括市场商品品类的销售量、进货量、销售单价、日销售速率、市场客流量等影响或表现产品行情供需关系的信息。“供信息校验模块104后续用于验证信息的常规性”指的是将行情分析模块105生成的市场行情的量化信息,供信息校验模块104后续用于验证经过信息采集模块101采集、信息过滤模块102过滤、信息解析模块103解析后获得的信息(即标准信息)的准确性、常规性。
行情预测模块106,其利用行情分析模块105生成市场行情的量化信息,综合可能影响市场行情的品类产能、政策、运输、消费、时间周期等因素,对未来一段时间内的品类行情进行预测。预测算法一般可以使用基于时间序列的预测算法LSTM。
本发明的生成信息采集及分析系统100还可以包括信息存储模块,用于储存信息采集及分析系统100中各个模块所获得的信息,例如信息采集模块101采集的原始信息、信息过滤模块102获得的有效信息、信息解析模块103获得的标准信息、信息校验模块获得的正常信息以及行情分析模块105生成的市场行情的量化信息等。
下面,将描述本发明的信息采集及分析系统100的应用场景的几个实例。注意,这些实例仅仅是示例,不应对本发明的功能和使用范围带来任何限制。
实例一:
通过信息采集模块101,采集市场工作人员语音提交的摊位某商品品类报价、库存信息。利用信息过滤模块102,对该语音的原始信息进行判断,如果语音时长过短,则该信息被判定为无效信息,否则,该语音作为有效信息,由信息解析模块103解析成数字化信息,提取到该商品品类报价、库存等的数字化的标准信息。利用信息校验模块104,对该标准信息进行校验。在行情分析模块105中,将校验后的正常信息里关于该商品品类的报价、库存的信息进行分析并生产走势图。利用行情预测模块106,结合市场该商品品类总进货情况、市场人流情况等,预测该摊位售卖该商品品类价格的变化,比如市场该商品品类总进货减少、市场人流增加,则预测该商品品类价格会上涨。
实例二:
通过信息采集模块101,采集摊位市场客流量视频。利用信息过滤模块102,通过判断视频体积、视频质量(如亮度、清晰度等)进行过滤,视频体积如果低于2M/每分钟或视频不清晰、亮度不够,则判定该信息为无效信息;否则,该视频作为有效信息,由信息解析模块103对视频流中的人体进行目标识别,统计视频对应的客流量。利用信息校验模块104,对该标准信息进行校验。如果解析所得的客流量异常地少于历史数据中相同时段的客流量,则将该信息作为异常信息,否则,该客流量信息作为正常信息。在行情分析模块105中,利用该市场客流量的正常信息和时间信息生成市场客流量走势图。行情预测模块106结合客流量变化情况,如果客流量相比昨日同期、上周同期增加,则预测摊位售卖商品需求量会增加。
图2是根据本发明实施例的信息采集及分析方法,如图2所示,本发明的信息采集及分析方法包括:
步骤S201:信息采集步骤,对多种格式的信息进行采集,以获得原始信息;
步骤S202:信息过滤步骤,过滤所述信息采集步骤采集到的原始信息中的无效的信息,以获得有效信息;
步骤S203:信息解析步骤,对所述信息过滤步骤过滤后的有效信息进行解析,从而获取数字化的标准信息;
步骤S204:信息校验步骤,基于历史数据对信息解析步骤解析后的标准信息进行校验和审核,将校验审核通过的信息作为正常信息;
步骤S205:行情分析步骤,对信息校验步骤校验后的正常信息进行分析,生产市场行情的量化信息;同时将生成的市场行情的量化信息作为历史数据而在信息校验步骤中用于校验标准信息。
本发明的信息采集及分析方法还可以包括步骤S206:行情预测步骤,通过所述行情分析步骤获得的所述市场行情的量化信息,综合影响市场行情的因素,预测未来一段时间内该市场的行情走势。
图3示出了可以应用本发明实施例的信息采集及分析系统的示例性系统架构300。
如图3所示,系统架构300可以包括终端设备301、302、303,网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互,以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用,例如信息采集及分析系统的客户端应用等。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器,例如对用户利用终端设备301、302、303所使用的信息采集及分析系统提供支持的后台管理服务器。后台管理服务器可以对采集到的信息进行分析等处理,并将处理结果(例如市场行情的量化信息)反馈给终端设备。
需要说明的是,本发明实施例所提供的信息采集及分析方法一般由服务器305执行,相应地,信息采集及分析系统一般设置于服务器305中。
应该理解,图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和信息。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的信息信号,其中承载了计算机可读的程序代码。这种传播的信息信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括信息采集模块、信息校验模块、信息解析模块、信息存储模块、行情分析模块和行情预测模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,信息采集模块还可以被描述为“向所连接的服务端发送所采集的信息的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
信息采集步骤,对多种格式的信息进行采集;
信息校验步骤,对所述信息采集步骤采集到的信息进行校验,过滤无效的信息,以获得原始信息;
信息解析步骤,对所述信息校验步骤校验过滤后的信息中的复杂的信息进行解析,从而获取信息化的标准信息;
信息存储步骤,用于存储所述信息校验步骤获得的原始信息、所述信息解析步骤获得的标准信息以及行情分析步骤基于所述原始信息、所述标准信息分析得出的市场行情的量化信息;
行情分析步骤,通过利用所述信息存储步骤中存储的所述原始信息和所述标准信息进行分析,获得所述市场行情的量化信息;以及
行情预测步骤,通过所述行情分析步骤获得的所述市场行情的量化信息,综合影响市场行情的因素,预测未来一段时间内该市场的行情走势。
根据本发明实施例的技术方案,通过采集多种格式的信息,能够利用手机等工具即可实现对农产品市场行情信息的采集,并能通过对采集的信息的过滤、解析、校验、量化分析而获得例如农产品市场中的不同品类商品的销售行情,并综合其他信息对市场行情信息进行预测,提升农产品市场行情分析的信息化及自动化。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (11)
1.一种信息采集及分析方法,包括:
信息采集步骤,对多种格式的信息进行采集以获得原始信息,所述多种格式的信息包括文本、图片、语音、视频和格式化信息中的至少一种;
信息过滤步骤,过滤所述原始信息中的无效的信息,以获得有效信息;
信息解析步骤,对所述有效信息进行解析,从而获取数字化的标准信息;
信息校验步骤,基于历史数据对所述标准信息进行校验和审核,将校验审核通过的信息作为正常信息;以及
行情分析步骤,通过对所述正常信息进行分析,生成市场行情的量化信息,
其中,所述信息过滤步骤包括:
对信息采集过程中的用户行为进行分析,过滤其中的无效信息,所述信息采集过程中的用户行为包括单位时间内信息采集量和/或信息采集间隔时长;以及
针对语音信息、图片信息及视频信息,通过判断信息的质量而过滤其中的无效信息,
其中,所述信息校验步骤包括:基于所述历史数据,判断所述标准信息的变化是否在预定范围内;将相对于所述历史数据波动异常的标准信息作为信息噪音进行审核,如果审核确认该信息噪音属于正常信息,则将该信息噪音更新到所述历史数据中,否则该信息噪音被判定为异常信息,调低该信息噪音在所述历史数据中的权重。
2.根据权利要求1所述的信息采集及分析方法,还包括:
行情预测步骤,通过所述量化信息,综合影响市场行情的因素,预测未来预定时间内市场的行情走势。
3.根据权利要求1所述的信息采集及分析方法,其中,
将所述信息采集过程中的所述单位时间内信息采集量和/或所述信息采集间隔时长短于预定值的所述信息判定为无效信息并进行过滤。
4.根据权利要求1所述的信息采集及分析方法,其中,
所述判断信息的质量包括:
将时长短于预定值的所述语音信息判定为无效信息;
将时长短于预定值或亮度或清晰度不满足预定标准的所述视频信息判定为无效信息;以及
将亮度或清晰度不满足预定标准的所述图片信息判定为无效信息。
5.根据权利要求1所述的信息采集及分析方法,其中,
所述对所述有效信息进行解析,从而获取数字化的标准信息包括:
对文字信息进行语义识别、关键信息模式匹配;
对语音信息进行语音转文字、文本关键信息解析抽取;
对图像信息进行图像元素识别;以及
对视频信息进行视频关键帧解析。
6.根据权利要求1所述的信息采集及分析方法,其中,
在所述行情分析步骤中,将生成的所述市场行情的量化信息更新到所述历史数据中,以供在所述信息校验步骤中用于验证所述标准信息的常规性。
7.根据权利要求2所述的信息采集及分析方法,其中,
所述影响市场行情的因素包括天气、政策、品类产出周期、病虫灾害和品类消费特征中的至少一种。
8.一种信息采集及分析系统,包括:
信息采集模块,该信息采集模块用于对多种格式的信息进行采集以获得原始信息,所述多种格式的信息包括文本、图片、视频和格式化信息中的至少一种;
信息过滤模块,该信息过滤模块过滤所述原始信息中的无效的信息,以获得有效信息,所述过滤包括对信息采集过程中的用户行为进行分析,过滤其中的无效信息,所述信息采集过程中的用户行为包括单位时间内信息采集量和/或信息采集间隔时长;以及针对语音信息、图片信息及视频信息,通过判断信息的质量而过滤其中的无效信息;
信息解析模块,该信息解析模块对所述有效信息进行解析,从而获得数字化的标准信息;
信息校验模块,该信息校验模块基于历史数据对所述标准信息进行校验和审核,将校验审核通过的信息作为正常信息;以及
行情分析模块,该行情分析模块通过对所述正常信息进行分析,生成市场行情的量化信息,
其中,所述信息校验模块基于所述历史数据,判断所述标准信息的变化是否在预定范围内;将相对于所述历史数据波动异常的标准信息作为信息噪音进行审核,如果审核确认该信息噪音属于正常信息,则将该信息噪音更新到所述历史数据中,否则该信息噪音被判定为异常信息,调低该信息噪音在所述历史数据中的权重。
9.根据权利要求8所述的信息采集及分析系统,还包括:
行情预测模块,通过所述市场行情的量化信息,综合影响市场行情的因素,预测未来一段时间内市场的行情走势。
10.一种用于信息采集及分析的电子设备,其特征在于,包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011084217.7A CN112258220B (zh) | 2020-10-12 | 2020-10-12 | 信息采集及分析方法、系统、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011084217.7A CN112258220B (zh) | 2020-10-12 | 2020-10-12 | 信息采集及分析方法、系统、电子设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258220A CN112258220A (zh) | 2021-01-22 |
CN112258220B true CN112258220B (zh) | 2024-06-07 |
Family
ID=74242871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011084217.7A Active CN112258220B (zh) | 2020-10-12 | 2020-10-12 | 信息采集及分析方法、系统、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258220B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421125A (zh) * | 2021-07-02 | 2021-09-21 | 中农仓农业科技(北京)有限公司 | 一种基于大数据分析的农产品价格监控预警系统 |
CN115238175B (zh) * | 2022-07-18 | 2023-08-15 | 中移互联网有限公司 | 消息审核方法、装置和电子设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929773A (zh) * | 2012-11-07 | 2013-02-13 | 曙光云计算技术有限公司 | 信息采集方法和装置 |
CN104616169A (zh) * | 2015-01-30 | 2015-05-13 | 宁夏回族自治区烟草公司中卫市公司 | 市场信息采集系统 |
CN106204086A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 商品销量的预警方法和装置 |
CN107133221A (zh) * | 2017-06-09 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 信息审核方法、装置、计算机可读介质和电子设备 |
CN109492801A (zh) * | 2018-10-29 | 2019-03-19 | 上海洛筑科技有限公司 | 一种停车价格优化方法及其管理系统 |
CN109725610A (zh) * | 2018-11-30 | 2019-05-07 | 厦门钰德服装有限公司 | 工厂生产信息分析处理方法、装置及设备 |
WO2019136801A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技(深圳)有限公司 | 语音数据库创建方法、声纹注册方法、装置、设备及介质 |
CN110060109A (zh) * | 2019-04-26 | 2019-07-26 | 上海市农业科学院 | 一种用于预测产品价格的方法、装置和计算机介质 |
CN110263827A (zh) * | 2019-05-31 | 2019-09-20 | 中国工商银行股份有限公司 | 基于交易规律识别的异常交易检测方法及装置 |
CN110389963A (zh) * | 2019-06-18 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据的渠道效果识别方法、装置、设备和存储介质 |
CN110751508A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种基于大数据分析的农产品市场价格预警管理系统 |
KR20200048908A (ko) * | 2018-10-31 | 2020-05-08 | 정재원 | 블록체인 기반으로 하는 검증된 여론조사와 광고시스템으로 디지털 가상화폐를 활성화하는 지식정보제공 시스템 및 방법 |
CN111353790A (zh) * | 2020-03-31 | 2020-06-30 | 中国工商银行股份有限公司 | 物品溯源信息采集系统及方法 |
CN111401973A (zh) * | 2020-04-24 | 2020-07-10 | 中储南京智慧物流科技有限公司 | 一种多影响因素下商品需求预测信息预测系统及方法 |
CN111598850A (zh) * | 2020-04-29 | 2020-08-28 | 中国平安财产保险股份有限公司 | 一种数据审核方法及系统 |
-
2020
- 2020-10-12 CN CN202011084217.7A patent/CN112258220B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102929773A (zh) * | 2012-11-07 | 2013-02-13 | 曙光云计算技术有限公司 | 信息采集方法和装置 |
CN104616169A (zh) * | 2015-01-30 | 2015-05-13 | 宁夏回族自治区烟草公司中卫市公司 | 市场信息采集系统 |
CN106204086A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 商品销量的预警方法和装置 |
CN107133221A (zh) * | 2017-06-09 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 信息审核方法、装置、计算机可读介质和电子设备 |
WO2019136801A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技(深圳)有限公司 | 语音数据库创建方法、声纹注册方法、装置、设备及介质 |
CN109492801A (zh) * | 2018-10-29 | 2019-03-19 | 上海洛筑科技有限公司 | 一种停车价格优化方法及其管理系统 |
KR20200048908A (ko) * | 2018-10-31 | 2020-05-08 | 정재원 | 블록체인 기반으로 하는 검증된 여론조사와 광고시스템으로 디지털 가상화폐를 활성화하는 지식정보제공 시스템 및 방법 |
CN109725610A (zh) * | 2018-11-30 | 2019-05-07 | 厦门钰德服装有限公司 | 工厂生产信息分析处理方法、装置及设备 |
CN110060109A (zh) * | 2019-04-26 | 2019-07-26 | 上海市农业科学院 | 一种用于预测产品价格的方法、装置和计算机介质 |
CN110263827A (zh) * | 2019-05-31 | 2019-09-20 | 中国工商银行股份有限公司 | 基于交易规律识别的异常交易检测方法及装置 |
CN110389963A (zh) * | 2019-06-18 | 2019-10-29 | 深圳壹账通智能科技有限公司 | 基于大数据的渠道效果识别方法、装置、设备和存储介质 |
CN110751508A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种基于大数据分析的农产品市场价格预警管理系统 |
CN111353790A (zh) * | 2020-03-31 | 2020-06-30 | 中国工商银行股份有限公司 | 物品溯源信息采集系统及方法 |
CN111401973A (zh) * | 2020-04-24 | 2020-07-10 | 中储南京智慧物流科技有限公司 | 一种多影响因素下商品需求预测信息预测系统及方法 |
CN111598850A (zh) * | 2020-04-29 | 2020-08-28 | 中国平安财产保险股份有限公司 | 一种数据审核方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112258220A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11915195B2 (en) | Systems and methods for intelligent field matching and anomaly detection | |
US20130346329A1 (en) | System and methods for social data sharing capabilities for enterprise information systems | |
US20140012800A1 (en) | Apparatus and method for providing application for processing big data | |
CN107103548A (zh) | 网络行为数据的监控方法和系统以及风险监控方法和系统 | |
US11295324B2 (en) | Method and system for generating disaggregated demand forecasts from ensemble demand forecasts | |
CN112258220B (zh) | 信息采集及分析方法、系统、电子设备和计算机可读介质 | |
CN111242661A (zh) | 优惠券发放方法和装置以及计算机系统和介质 | |
CN110717597B (zh) | 利用机器学习模型获取时序特征的方法和装置 | |
CN112950359B (zh) | 一种用户识别方法和装置 | |
CN112070564B (zh) | 广告拉取方法、装置、系统与电子设备 | |
CN112364086A (zh) | 一种基于大数据平台的业务可视化方法及系统 | |
CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
CN110650170B (zh) | 用于推送信息的方法和装置 | |
CN109978421B (zh) | 信息输出方法和装置 | |
CN112990311A (zh) | 一种准入客户的识别方法和装置 | |
CN112734352A (zh) | 一种基于数据维度的单据审核方法和装置 | |
CN110895761B (zh) | 一种售后服务申请信息的处理方法和装置 | |
CN111144694A (zh) | 基于触点分析的运营流程管理方法和装置 | |
CN114239987A (zh) | 基于数据中台的业务预警管理方法和预警管理系统 | |
CN113450208A (zh) | 贷款风险变动预警、模型训练方法和装置 | |
CN112132689A (zh) | 一种基于时序因子事件的推荐方法和装置 | |
KR102723012B1 (ko) | 빅데이터에 기반한 온-오프라인 재고관리 시스템 및 방법 | |
CN118260335A (zh) | 数据处理方法、装置、设备、介质和程序产品 | |
CN116757833A (zh) | 预授信额度的获取方法、装置和电子设备 | |
CN116957762A (zh) | 信息处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |