CN106934054A - 基于大数据的企业细分行业精准分析方法及其系统 - Google Patents

Abstract

本发明涉及基于大数据的企业细分行业精准分析方法及其系统，该方法包括建立符合投资属性的行业数据库；采用企业全名搜索相关咨讯网站，获取搜索返回内容；对搜索返回内容进行精准分析，获取相应投资属性的关键分词；对关键分词进行匹配、分组统计以及打标签。本发明通过建立符合投资属性的行业数据库，利用大数据分布式并行计算架构，对海量数据进行精准的提取关键词以及匹配和分组，再采用统计法筛选符合的企业，有助于股权投资机构批量筛选企业，提高股权投资机构获取投资标的效率，且成本低。

Description

基于大数据的企业细分行业精准分析方法及其系统

技术领域

本发明涉及大数据分析的技术领域，更具体地说是指基于大数据的企业细分行业精准分析方法及其系统。

背景技术

行业细分是按照一定的方法划分经营领域的过程，并在细分的基础上，把行业分析的方法进一步运用于经营领域，从而为企业经营战略的制定提供依据。行业细分是行业内部结构分析的一种方法，可以帮助企业选择特定的经营领域，行业细分的实质是企业根据自身战略制定的需要，将整个行业的生产领域(产品或服务)和市场领域(顾客或用户)分别按照若干特定的变量划分后再组合，行业细分的基本变量就是用户变量和反映企业行为的产品变量。

对企业细分行业的分析，有助于股权投资机构寻找符合自己投资方向的企业，但是，目前对于企业细分行业的分析只能通过人工分析，无法通过企业名称或者企业经营范围解析到企业的投资行业属性和主要产品，这样，导致股权投资机构只能依靠人工调研、朋友圈推荐或者与第三方合作的方式这三种方式寻找投资标，效率低下，准确率也低下。

因此，有必要设计一种基于大数据的企业细分行业精准分析方法，实现提高股权投资机构获取投资标的效率以及准确率，且成本低。

发明内容

本发明的目的在于克服现有技术的缺陷，提供基于大数据的企业细分行业精准分析方法及其系统。

为实现上述目的，本发明采用以下技术方案：基于大数据的企业细分行业精准分析方法，所述方法包括：

建立符合投资属性的行业数据库；

采用企业全名搜索相关咨讯网站，获取搜索返回内容；

对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词；

对所述关键分词进行匹配、分组统计以及打标签。

其进一步技术方案为：建立符合投资属性的行业数据库的步骤，具体是采用使用机器学习技术,通过对互联网上海量的投资资讯数据进行挖掘以及分类，建立符合投资属性的行业数据库。

其进一步技术方案为：采用企业全名搜索相关咨讯网站，获取搜索返回内容的步骤，包括以下具体步骤：

当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据；

使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

其进一步技术方案为：对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词的步骤，包括以下具体步骤：

对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料；

将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

其进一步技术方案为：对所述关键分词进行匹配、分组统计以及打标签的步骤，包括以下具体步骤：

将所述关键分词与行业数据库内的行业进行匹配和分组统计；

筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。

其进一步技术方案为：将所述关键分词与行业数据库内的行业进行匹配和分组统计的步骤，具体是采用使用大数据MapReduce进行海量数据的匹配及分组统计。

本发明还提供了基于大数据的企业细分行业精准分析系统，包括数据库建立单元、内容获取单元、关键分词获取单元以及分词处理单元；

所述数据库建立单元，用于建立符合投资属性的行业数据库；

所述内容获取单元，用于采用企业全名搜索相关咨讯网站，获取搜索返回内容；

所述关键分词获取单元，用于对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词；

所述分词处理单元，用于对所述关键分词进行匹配、分组统计以及打标签。

其进一步技术方案为：所述内容获取单元包括数据采集模块以及存储模块；

所述数据采集模块，用于当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据；

所述存储模块，用于使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

其进一步技术方案为：所述关键分词获取单元包括语言材料获取模块以及匹配单元；

所述语言材料获取模块，用于对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料；

所述匹配单元，用于将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

其进一步技术方案为：所述分词处理单元包括初步处理模块以及筛选模块；

所述初步处理模块，用于将所述关键分词与行业数据库内的行业进行匹配和分组统计；

所述筛选模块，用于筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。

本发明与现有技术相比的有益效果是：本发明的基于大数据的企业细分行业精准分析方法，通过建立符合投资属性的行业数据库，利用大数据分布式并行计算架构，对海量数据进行精准的提取关键词以及匹配和分组，再采用统计法筛选符合的企业，有助于股权投资机构批量筛选企业，提高股权投资机构获取投资标的效率，且成本低。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1为本发明具体实施例提供的基于大数据的企业细分行业精准分析方法的流程图；

图2为本发明具体实施例提供的获取搜索返回内容的具体流程图；

图3为本发明具体实施例提供的获取相应投资属性的关键分词的具体流程图；

图4为本发明具体实施例提供的对关键分词进行匹配、分组统计以及打标签的具体流程图；

图5为本发明具体实施例提供的基于大数据的企业细分行业精准分析系统的结构框图；

图6为本发明具体实施例提供的内容获取单元的结构框图；

图7为本发明具体实施例提供的关键分词获取单元的结构框图；

图8为本发明具体实施例提供的分词处理单元的结构框图。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

如图1～8所示的具体实施例，本实施例提供的基于大数据的企业细分行业精准分析方法，可以运用在股权投资机构寻找投资标的过程中，实现提高股权投资机构获取投资标的效率以及准确率，且成本低。

本实施例提供了基于大数据的企业细分行业精准分析方法，该方法包括：

S1、建立符合投资属性的行业数据库；

S2、采用企业全名搜索相关咨讯网站，获取搜索返回内容；

S3、对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词；

S4、对所述关键分词进行匹配、分组统计以及打标签。

上述的S1步骤，建立符合投资属性的行业数据库，具体是采用使用机器学习技术,通过对互联网上海量的投资资讯数据进行挖掘以及分类，建立符合投资属性的行业数据库。

对于上述的S1步骤，具体是通过从因果树(http://www.innotree.cn/allProjects)、36KR(www.36kr.com)等网站获得投资咨讯，通过自然语义分析获得投资类词语，与现有数据库进行比对，属于新词加入行业数据。例如：从网站中获取了“三江购物俱乐部股份有限公司是浙江省目前最大的连锁超市之一，中国连锁业百强，是浙江省政府重点扶持大型连锁企业，中国经贸委重点联系企业。公司目前拥有两座大型配送中心，共占地13万多平方米。有员工近万名，会员顾客131多万人，每天有近50多万的顾客在三江的各连锁商场购物消费。”通过自然语义分析，得到“物流运输、连锁超市、超市配送”行业分词，通过大量资讯的分析，发现“物流运输”和“超市配送”呈现上升的趋势，将这两个词与数据库比对后，建立新的行业字段“交通运输、仓储和邮政业”到“物流”再到“超市配送”。

更进一步的，对于S2步骤，采用企业全名搜索相关咨讯网站，获取搜索返回内容的步骤，包括以下具体步骤：

S21、当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据；

S22、使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

对于上述的S21步骤，上述的相关咨讯网站包括百度、百度新闻、网络黄页、企业官网、微博、微信、招聘、工商信息、专利信息和SEO等，基于互联网公开信息收集和处理，不存在敏感信息，数据获取成本较低。

对于上述S21步骤，当需要对一个企业(以深圳市前海XXXX网络科技有限公司为例子)进行行业分析时，从互联网资讯网站获得相应信息。通过以下7种方式获取海量数据：一是知识产权，具体是XX资本智库在线资本教育平台(iOS版)/XX资本智库在线资本教育平台(android版)/XX敲钟游戏软件/XX资本智库在线教育平台(web版)/XX资本智库在线资本教育平台(微信版)/XX虚拟投资软件/智媒会务系统；二是专利；三是经营范围，如计算机软件的技术开发、技术服务、技术转让；电子商务平台的技术开发；财经管理类信息咨询、企业管理咨询(以上均不含限制项目)；文化活动策划；从事广告业务(法律法规、国务院规定需另行办理广告经营审批的，需取得许可后方可经营)；承办展览展示活动；投资管理(不含证券、期货、保险及其他金融业务)；投资兴办实业(具体项目另行申报)；在网上从事商贸活动(不含限制项目)；国内贸易(不含专营、专控、专卖商品)；经营进出口业务。视频、音频制作与在线播放；财经管理类培训；四是SEO信息，如XXXX|中国新四板专业服务商，中国资本在线教育卓越平台智媒,前海股交中心,融智平台,前海智媒,新四板,新四板直通车,智媒课堂,智媒课程,在线教育,在线教育,视频学习,教育视频,胡继之,魏其芳,陈玮,众筹,VC,天使,PE,交易市场,新三板,并购,并购重组,创业板,中小板,主板,境外,投行,资本市场,资本联盟,金融考试，深圳市前海智媒网络科技有限公司是由前海股权交易中心联合投资设立的融智平台。致力于以移动互联网技术结合O2O线下活动为广大中小企业、金融从业者、投资人提供资本市场领域在线咨询培训与服务。智媒的愿景是资本智慧改变中国；五是招聘信息，XXXXXX网络科技有限公司作为前海股权交易中心的下属公司，是中国新四板第一服务商，中国资本在线教育第一平台；六是微信，微信号:qhzhimei，功能介绍资本市场在线培训咨询与服务，帐号主体为深圳市XXXX网络科技有限公司；七是微博，如简介：XXXX为企业提供资本教育、新四板服务、投融资与上市服务，目前已成长为中国四板第一服务商，中国资本在线教育第一平台。

对于上述的S22步骤，采用大数据HDFS技术分布式存储海量数据，基于成熟的大数据技术，保证海量数据的安全存储，效率高，准确度随着数据的积累不断提升。

更进一步的，对于S3步骤，对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词的步骤，对上述信息进行投资语义分词，得出如在线教育、移动互联网、新四板、VC、天使、PE、交易市场、新三板、并购、并购重组、创业板、中小板、主板、境外、投行、直播以及O2O等分词。

对于S3步骤，对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词的步骤，包括以下具体步骤：

S31、对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料；

S32、将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

对于上述S31步骤，具体是基于自然语言处理的理论和技术，对采集返回的海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析。

自然语言处理的技术包括OpenNLP以及FudanNLP，其中，OpenNLP用于处理自然语言文本，支持大多数常用的NLP任务，例如:标识化、句子切分、部分词性标注、名称抽取、组块、解析等。FudanNLP主要是为中文自然语言处理而开发的工具包，也包含为实现这些任务的机器学习算法和数据集，因此在本实施例中，采用的是FudanNLP。使用机器学习和自然语言处理的理论，能智能处理企业相关信息，进行摘要，归类，提取等。

另外，上述的S4步骤，对所述关键分词进行匹配、分组统计以及打标签的步骤，包括以下具体步骤：

S41、将所述关键分词与行业数据库内的行业进行匹配和分组统计；

S42、筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。

上述S41步骤，将所述关键分词与行业数据库内的行业进行匹配和分组统计时，具体是采用使用大数据MapReduce进行海量数据的匹配及分组统计。保证海量数据分布式处理，效率高，准确度随着数据的积累不断提升。以大数据技术驱动，基于分布式并行计算架构，解决海量数据的存储以及计算；将上述分词进行统计，比如，若其中在线教育出现了七次，而且与数据库内的在线教育标签匹配。

另外，上述S42的步骤，筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签时，具体采用通过统计学算法选出排名及权重合理的行业属性。比如，通过算法优化为该企业打上了行业标签，比如互联网/互联网信息服务/在线教育。

基于大数据的企业细分行业精准分析方法的实现基于公开信息评价企业投资价值的基础。

上述的基于大数据的企业细分行业精准分析方法，通过建立符合投资属性的行业数据库，利用大数据分布式并行计算架构，对海量数据进行精准的提取关键词以及匹配和分组，再采用统计法筛选符合的企业，有助于股权投资机构批量筛选企业，提高股权投资机构获取投资标的效率，且成本低。

另外，本实施例还提供了基于大数据的企业细分行业精准分析系统，包括数据库建立单元10、内容获取单元20、关键分词获取单元30以及分词处理单元40。

数据库建立单元10，用于建立符合投资属性的行业数据库。

内容获取单元20，用于采用企业全名搜索相关咨讯网站，获取搜索返回内容。

关键分词获取单元30，用于对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词。

分词处理单元40，用于对所述关键分词进行匹配、分组统计以及打标签。

上述的数据库建立单元10在建立符合投资属性的行业数据库时，具体是采用使用机器学习技术,通过对互联网上海量的投资资讯数据进行挖掘以及分类，建立符合投资属性的行业数据库，具体的，对互联网上海量的投资资讯数据的分类，主要依据投资资讯数据内的行业属性和关键词不同，进行分类。

上述的内容获取单元20包括数据采集模块21以及存储模块22。

数据采集模块21，用于当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据。

存储模块22，用于使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

对于数据采集模块21，使用的相关咨讯网站包括百度、百度新闻、网络黄页、企业官网、微博、微信、招聘、工商信息、专利信息和SEO等，基于互联网公开信息收集和处理，不存在敏感信息，数据获取成本较低。

对于存储模块22采用大数据HDFS技术分布式存储海量数据，基于成熟的大数据技术，保证海量数据的安全存储，效率高，准确度随着数据的积累不断提升。

另外，上述的关键分词获取单元30包括语言材料获取模块31以及匹配单元32。

语言材料获取模块31，用于对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料。

匹配单元32，用于将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

上述的语言材料获取模块31具体是基于自然语言处理的理论和技术，对采集返回的海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析。

在本实施例中，采用的是FudanNLP。使用机器学习和自然语言处理的理论，能智能处理企业相关信息，进行摘要，归类，提取等。

更进一步的，上述的分词处理单元40包括初步处理模块41以及筛选模块42。

初步处理模块41，用于将所述关键分词与行业数据库内的行业进行匹配和分组统计。

筛选模块42，用于筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。

初步处理模块41在将所述关键分词与行业数据库内的行业进行匹配和分组统计时，具体是采用使用大数据MapReduce进行海量数据的匹配及分组统计。保证海量数据分布式处理，效率高，准确度随着数据的积累不断提升。以大数据技术驱动，基于分布式并行计算架构，解决海量数据的存储以及计算。

另外，筛选模块42在筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签时，具体采用通过统计学算法选出排名及权重合理的行业属性。

上述的基于大数据的企业细分行业精准分析系统，通过数据库建立单元10建立符合投资属性的行业数据库，利用大数据分布式并行计算架构，对海量数据进行精准的提取关键词以及匹配和分组，再采用统计法筛选符合的企业，有助于股权投资机构批量筛选企业，提高股权投资机构获取投资标的效率，且成本低。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于大数据的企业细分行业精准分析方法，其特征在于，所述方法包括：

建立符合投资属性的行业数据库；

采用企业全名搜索相关咨讯网站，获取搜索返回内容；

对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词；

对所述关键分词进行匹配、分组统计以及打标签。

2.根据权利要求1所述的基于大数据的企业细分行业精准分析方法，其特征在于，建立符合投资属性的行业数据库的步骤，具体是采用使用机器学习技术,通过对互联网上海量的投资资讯数据进行挖掘以及分类，建立符合投资属性的行业数据库。

3.根据权利要求1所述的基于大数据的企业细分行业精准分析方法，其特征在于，采用企业全名搜索相关咨讯网站，获取搜索返回内容的步骤，包括以下具体步骤：

当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据；

使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

4.根据权利要求3所述的基于大数据的企业细分行业精准分析方法，其特征在于，对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词的步骤，包括以下具体步骤：

对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料；

将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

5.根据权利要求1至4任一项所述的基于大数据的企业细分行业精准分析方法，其特征在于，对所述关键分词进行匹配、分组统计以及打标签的步骤，包括以下具体步骤：

将所述关键分词与行业数据库内的行业进行匹配和分组统计；

筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。

6.根据权利要求5所述的基于大数据的企业细分行业精准分析方法，其特征在于，将所述关键分词与行业数据库内的行业进行匹配和分组统计的步骤，具体是采用使用大数据MapReduce进行海量数据的匹配及分组统计。

7.基于大数据的企业细分行业精准分析系统，其特征在于，包括数据库建立单元、内容获取单元、关键分词获取单元以及分词处理单元；

所述数据库建立单元，用于建立符合投资属性的行业数据库；

所述内容获取单元，用于采用企业全名搜索相关咨讯网站，获取搜索返回内容；

所述关键分词获取单元，用于对所述搜索返回内容进行精准分析，获取相应投资属性的关键分词；

所述分词处理单元，用于对所述关键分词进行匹配、分组统计以及打标签。

8.根据权利要求7所述的基于大数据的企业细分行业精准分析系统，其特征在于，所述内容获取单元包括数据采集模块以及存储模块；

所述数据采集模块，用于当新企业加入后，采用企业全名在互联网采集相关咨讯网站的海量数据；

所述存储模块，用于使用大数据HDFS技术分布式存储海量数据，将所述海量数据作为搜索返回内容。

9.根据权利要求8所述的基于大数据的企业细分行业精准分析系统，其特征在于，所述关键分词获取单元包括语言材料获取模块以及匹配单元；

所述语言材料获取模块，用于对采集返回的所述海量数据进行清洗、归类、提取摘要、提取关键字、分词法以及语义分析，获取精准的语言材料；

所述匹配单元，用于将所述精准的语言材料与语料库进行匹配，获得相应投资属性的关键分词。

10.根据权利要求9所述的基于大数据的企业细分行业精准分析系统，其特征在于，所述分词处理单元包括初步处理模块以及筛选模块；

所述初步处理模块，用于将所述关键分词与行业数据库内的行业进行匹配和分组统计；

所述筛选模块，用于筛选出排名及权重合理的行业属性，给企业打上精准的行业和产品标签。