CN101571934A - 一种基于支持向量机的企业自主创新能力预测方法 - Google Patents

一种基于支持向量机的企业自主创新能力预测方法 Download PDF

Info

Publication number
CN101571934A
CN101571934A CNA2009100850861A CN200910085086A CN101571934A CN 101571934 A CN101571934 A CN 101571934A CN A2009100850861 A CNA2009100850861 A CN A2009100850861A CN 200910085086 A CN200910085086 A CN 200910085086A CN 101571934 A CN101571934 A CN 101571934A
Authority
CN
China
Prior art keywords
expression
key element
element group
parameter layer
svm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009100850861A
Other languages
English (en)
Inventor
赵瑞君
王磊
郑晓齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CNA2009100850861A priority Critical patent/CN101571934A/zh
Publication of CN101571934A publication Critical patent/CN101571934A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于支持向量机的企业自主创新能力预测方法。首先建立动态参数层D的层次结构模型,确立动态参数层D的要素组和指标集合之间的关系;将动态参数层D的要素组和静态参数层S的要素组经过一定预处理后组成样本集,并分为训练集和测试集两部分;然后通过训练集对模型的四个支持向量机分别进行训练,得到四个回归函数,其中,输入是动态参数层D的要素组,输出是S要素组四个要素中的一个;通过测试集对其中的参数进行调整优化,最终确定这四个回归函数;最后应用这个模型对样本自主创新能力的各方面进行预测评价。本方法建立的模型具有精度高、处理速度快、泛化能力强等优点,而且在预测方面也有突破。

Description

一种基于支持向量机的企业自主创新能力预测方法
技术领域
本发明属于人工智能应用领域,具体涉及一种基于支持向量机的企业自主创新能力预测方法。
背景技术
改革开放以来,我国科技发展水平和产业结构的技术构成发生了重大变化,劳动力素质也有了相当提高。但总的来看,面对日新月异的科学技术变革,面对日益强化的资源环境约束,面对以创新和技术升级为主要特征的激烈国际竞争,我国自主创新能力薄弱的问题已经日益成为发展的瓶颈制约。加快提高自主创新能力,是“十一五”时期引导我国经济发展的重要任务,这是加快转变经济增长方式的迫切需要,是推动产业结构优化升级的迫切需要,是增强我国综合国力和竞争力的迫切需要,也是在激烈的国际竞争中从根本上保障国家经济安全的迫切需要。而伴随着自主创新方针的贯彻执行,对于自主创新的主体企业,如何对其自主创新能力进行客观、科学和有效评价则引起了人们的注意。
山西省委党校副教授王翠芳在文章《提高国防科技工业自主创新能力的理念、制度和人才分析》中提出通过对提高国防科技工业能力的影响因素进行的分析,认为理念、制度和人才是影响和制约我国国防科技工业自主创新的主要因素。但是分析的影响因素不够具体,指标体系不够全面;哈尔滨工程大学的刘希宋等在文章《国防科技工业自主创新能力评价关键要素的识别》中提出采用群组决策特征根法对国防科技工业自主创新能力众多评价要素指标进行科学的筛选,理清了评价要素的主从地位,旨在为制定增强我国国防科技创新能力的政策及相关研究提供决策与参考。但是并未对这些具有主从地位的要素进行结构的架构;哈尔滨工程大学的陈伟等在文章《国防科技工业自主创新能力评价指标体系的构建》中提出分析影响国防科技工业自主创新能力的各方面因素的基础上,结合国防科技工业的现实情况,认为其评价指标体系是一个由多个相互联系的指标构成的复杂系统。但是并未具体建立一个方便实用的结构。上述研究中的评估指标体系普遍采用综合评价(Comprehensive Evaluation,筒称为CE)的方法,有专家评价法、层次分析法(Analytic Hierarchy Process,简称为AHP)、多目标决策、数据包络分析(Data Envelope Analytic,简称为DEA)和主成份分析法(PrimaryComponent Analysis,简称为PCA)等。虽然能够对多属性体系结构描述的系统采用的方法做出全局性、整体性的评价,但是具有需要样本多、精度低、处理速度慢、泛化能力差的缺点。同时,自主创新和创造力是动态的过程,既要考虑静态结果指标,如投入产出比、成果转化率等,又有创新过程中能力的动态指标参数,如研发(Research & Develop,简称为R&D)能力、组织管理能力等,如何根据过程数据对结果数据进行预测值得研究。
机器学习(Machine Learning,简称为ML)是预测的一种常用的新兴有效的方法,是继专家系统之后人工智能应用的又一重要研究领域,也是人工智能和神经计算的核心研究课题之一。研究从观测数据即样本出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测。至今,关于机器学习还没有统一的定义,其实现方法大致分为三种:
(1)参数估计方法
现有机器学习方法共同的重要理论基础之一是统计学。在基于传统统计学的参数方法中,参数的形式是已知的,用训练样本来估计参数的值。这种方法有两个缺点:首先,它需要已知样本分布形式,需要花费很多代价,有时是困难的,在低维空间中无法描述;其次,传统统计学研究的样本数目趋于无穷大的渐进理论,现有学习方法也多是基于此假设。但在实际问题中,样本数目往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
(2)经验非线性方法
如人工神经网络(Artificial Neural Network,简称为ANN)等。这种方法利用已知样本进行训练,从而建立起非线性模型。经验非线性方法的优点是克服了传统参数估计方法的困难。不足的是,这种方法缺乏一种统一的数学理论,在实际应用中容易受经验条件的制约,存在着局部极小问题和过拟合问题等。
(3)统计学习理论
统计学习理论是一种专门研究小样本情况下机器学习规律的理论,在这种体系下的统计推理规则不仅考虑了对渐进性能的要求,而且追求在现有有限信息的条件下得到最优结果。Vapnik等从六、七十年代致力于统计学习理论方面的研究,到九十年代中期,随着其理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论开始受到越来越广泛的重视。基于统计学习理论和结构风险最小化原理的支持向量机(SupportVector Machine,简称为SVM)在理论研究和算法实现上都取得了突破性进展,具有小样本、非线性、精度高、处理速度快、泛化能力强等优点,在模式识别、回归分析、控制论等领域得到了应用,开始成为克服“维数灾难”和“过学习”等传统困难的有利手段。目前,将此理论应用到企业自主创新能力预测上尚无先例。
发明内容
本发明在企业自主创新能力评估指标体系建立的基础上,引入SVM的方法,建立企业自主创新能力预测方法,根据创新过程中的动态参数,预测出静态目标指标。
基于SVM的企业自主创新能力预测方法,整个过程分为以下几个步骤:
步骤一,建立动态参数层D的层次结构模型;
利用层次分析法建立动态参数层D的层次结构模型,能够利用其指标集合求出要素组。其中,本发明的指标变量分为创新过程中的动态参数层D和表示创新目标和结果的静态参数层S。动态参数层D又分要素组{D1,D2,D3,D4}与要素组{D1,D2,D3,D4}所分别对应的指标集合{D11,D12,D13,D14,D15,D16,D17,D18,D21,D22,D23,D24,D25,D26,D27,D28,D31,D32,D33,D34,D35,D36,D37,D38,D41,D42,D43,D44,D45,D46,D47,D48}。
要评判企业的自主创新能力,需要明确企业的自主创新能力指标体系的构建,考虑到在创新过程中的如下特点:
其一,以研发(Research and Development,简称为R&D)为核心任务,以研发人员为核心资源的突出特点,重视人的因素在自主创新能力中的作用;
其二,考虑预先研究的投入、核心竞争力构建、领导层面对自主创新的倾向、以及科研成果转化的特殊性与计划性对自主创新的影响;
其三,既考虑到独立创新要素,又要基于国家创新系统的产学研全面协同。
确定了动态参数层D的要素组{D1,D2,D3,D4}。
同时考虑到建立指标体系的以下几个原则:
其一,定性分析与定量分析相结合的原则。设计的指标应具有可采集性、可量化性,同时在可量化的基础上,对各指标的影响程度、来源、变化趋势等要进行定性分析;
其二,科学性原则。国防科研自主创新能力指标的选择要围绕国防科研自主创新的本质,涵盖反映国防科研自主创新能力的重要因素。并把它们有机地联系起来,力求全面、客观地反映和描述国防科研自主创新能力状况;
其三,可操作性原则。评价的目的是要在国防科研技术创新工作中得到应用,这就要求指标选择具有可行性和可操作性,即设计的指标应具有可采集的特点,能从各种统计资料中直接或间接获取。指标选择相对简单,做到指标少而精,计算公式科学合理,利于掌握和推广;
其四,多目标性原则。国防科研自主创新能力是一个复杂的系统,涉及到国防科研的人力、物力、财力,涉及到科技活动投入、组织管理、产学研协同、成果转化等方方面面。所以需要建立一个国防科研自主创新能力指标体系,从多方位、多角度系统地描述国防科研自主创新能力;
其五,简单客观性原则。指标设定尽量利用客观信息,对主观因素要进行科学处理,注意评价方法的可操作性。同时应注意因素数量,选择做能体现自主创新能力的因素指标,减少指标间的交叉重复,指标总量不宜过多。
确立了要素组要素所分别对应的指标集合。
动态参数层D具体内容和动态参数层D的要素组{D1,D2,D3,D4}所分别对应的各指标集合的关系如表1所示:
表1
Figure A20091008508600091
Figure A20091008508600101
其中,层次分析法是美国匹兹堡大学教授A.L.Saaty于20世纪70年代提出的一种系统分析方法,它是一种定性分析与定量分析相结合的多目标决策分析方法。它的基本步骤包括:
(1)建立层次结构模型;
(2)构造成对比较矩阵;
(3)层次单排序及其一致性检验;
(4)层次总排序及其一致性检验。
步骤二,建立SVM样本集;
对动态参数层D的要素组{D1,D2,D3,D4}进行数据归一化处理得到动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},再结合表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4},建立样本集,进而分成训练集和测试集两部分。
其中,表示创新目标和结果的静态参数层S仅包含要素组,要素组{S1,S2,S3,S4}表示:S1为创新效率,S2为创新成果,S3为创新专利,S4为创新产品。其中涵盖了创新目标和目的的各相关方面。
步骤三,SVM的训练与优化;
利用SVM在回归算法上的应用,建立动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}和表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4}间的关系。其中,输入是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出是Sq∈{S1,S2,S3,S4},q∈{1,2,3,4}。
首先确定SVM的核函数K;再对SVM参数进行选择,包括核函数的参数和惩罚因子C;然后利用训练集对SVM进行训练;最后利用测试集对SVM相关参数进行调整优化,从而确定SVM回归函数,其中相关参数包括拉格朗日系数ai,ai *和偏移系数b。
步骤四,模型的应用;
将样本代入此预测模型中,根据动态参数层各指标的评分推导出表示创新目标和结果的静态参数层S各要素的评分,进而对该样本自主创新能力的各方面进行预测评价。
本发明具有如下优点:
1)将指标分为创新过程中的动态参数层D和表示创新目标和结果的静态参数层S。其中,动态参数层中又分为要素组与指标集合。这样多方面、多角度和多层次地设立指标体系,科学性更强,可操作性也更高;
2)利用SVM精度高、处理速度快、泛化能力强等特点进行创新能力评价;
3)利用SVM回归算法上的应用进行了预测功能的实现和模型的建立,模型功能更加全面,相比以往有较大突破。
附图说明
图1为本发明所述方法流程图;
图2为本发明动态参数层D层次结构模型示意图;
图3为本发明应用现有技术SVM的原理示意图;
图4为本发明SVM训练与优化流程示意图;
图5为本发明所述方法应用流程示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式进行详细说明。
本发明所述方法可以分为四个步骤完成,步骤流程如图1所示:
步骤一,建立动态参数层D的层次结构模型;
首先是采集数据,选择g家企业做问卷调查,g≥10,且为整数,分别对动态参数层D的要素组{D1,D2,D3,D4}所分别对应的指标集合{D11,D12,D13,D14,D15,D16,D17,D18,D21,D22,D23,D24,D25,D26,D27,D28,D31,D32,D33,D34,D35,D36,D37,D38,D41,D42,D43,D44,D45,D46,D47,D48}中各量在{1,2,3,4,5}范围内进行评分,其中1分为最低分,5分为最高分。然后如图2所示,确定动态参数层D的层次结构模型。
确定四个权向量ω1、ω2、ω3和ω4的方法如下:对于要素D1,首先要建立其成对比较矩阵。为了要比较各要素组的指标集合对该要素的影响程度,确定在该层中相对于某一准则所占的比重,该矩阵通过进行同一要素的指标之间的两两比较来得到,比较时采用1~9尺度,利用aij表示要素D1的第i个指标相对于第j个指标的比较结果,从而构成成对比较矩阵A1,即
A 1 = ( a ij ) 8 × 8 = a 11 a 12 · · · a 18 a 21 a 22 · · · a 28 · · · · · · · · · · · · a 81 a 82 · · · a 88 ;
然后计算各要素的成对比较矩阵的最大特征值及其对应的特征向量,具体是将判断矩阵A1的每一列元素做归一化处理 a ij ′ = a ij Σ i = 1 8 a ij , 然后将处理后的矩阵按行相加为 W 1 i = Σ j = 1 8 a ij ′ , 对向量W1=(W11,W12,W13,W14,W15,W16,W17,W18)进行归一化处理即得到所要的权向量ω1,其中i,j均为{1,2,3,4,5,6,7,8}间任意正整数。利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验。当一致性比率CR<0.1时,认为A1的一致性程度在容许范围之内,可用此向量ω1作为其权向量,否则需要重新构造成对比较矩阵。其中,一致性指标 CI = κ - n n - 1 , κ为n阶正互反阵的最大特征根,其中n为大于1的正整数,κ∈[1,n],κ也是整数;随机一致性指标 RI = CI 1 + CI 2 + · · · + CI 500 500 是足够多个根据随机发生的判断矩阵计算的一致性指标的平均值,该式中取500个。1~11阶矩阵的RI值可通过查表2得出;其中,CI1,CI2,…,CI500为随机进行的500次测试的一致性指标;一致性比率 CR = CI RI , CI,RI含义同上。
对于要素D2,首先建立成对比较矩阵A2,即
A 2 = b 11 b 12 · · · b 18 b 21 b 22 · · · b 28 · · · · · · · · · · · · b 81 b 82 · · · b 88 .
其中bij表示要素D2的第i个指标相对于第j个指标的比较结果。
然后计算各要素的成对比较矩阵的最大特征值及其对应的特征向量,具体是将判断矩阵A2的每一列元素做归一化处理 b ij ′ = b ij Σ i = 1 8 b ij , 然后将处理后的矩阵按行相加为 W 2 i = Σ j = 1 8 b ij ′ , 对向量W2=(W21,W22,W23,W24,W25,W26,W27,W28)进行归一化处理即得到所要的权向量ω2,其中i,j均为{1,2,3,4,5,6,7,8}间任意正整数。利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验。当一致性比率CR<0.1时,认为A2的一致性程度在容许范围之内,可用此向量ω2作为其权向量,否则需要重新构造成对比较矩阵。
对于要素D3,首先建立成对比较矩阵A3,即
A 2 = c 11 c 12 · · · c 18 c 21 c 22 · · · c 28 · · · · · · · · · · · · c 81 c 82 · · · c 88 .
其中cij表示要素D3的第i个指标相对于第j个指标的比较结果。
然后计算各要素的成对比较矩阵的最大特征值及其对应的特征向量,具体是将判断矩阵A3的每一列元素做归一化处理 c ij ′ = c ij Σ i = 1 8 c ij . 然后将处理后的矩阵按行相加为 W 3 i = Σ j = 1 8 c ij ′ , 对向量W3=(W31,W32,W33,W34,W35,W36,W37,W38)进行归一化处理即得到所要的权向量ω3,其中i,j均为{1,2,3,4,5,6,7,8}间任意正整数。利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验。当一致性比率CR<0.1时,认为A3的一致性程度在容许范围之内,可用此向量ω3作为其权向量,否则需要重新构造成对比较矩阵。
对于要素D4,首先建立成对比较矩阵A4,即
A 4 = d 11 d 12 · · · d 18 d 21 d 22 · · · d 28 · · · · · · · · · · · · d 81 d 82 · · · d 88 .
其中dij表示要素D4的第i个指标相对于第j个指标的比较结果。
然后计算各要素的成对比较矩阵的最大特征值及其对应的特征向量,具体是将判断矩阵A4的每一列元素做归一化处理 d ij ′ = d ij Σ i = 1 8 d ij , 然后将处理后的矩阵按行相加为 W 4 i = Σ j = 1 8 d ij ′ , 对向量W4=(W41,W42,W43,W44,W45,W46,W47,W48)进行归一化处理即得到所要的权向量ω4,其中i,j均为{1,2,3,4,5,6,7,8}间任意正整数。利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验。当一致性比率CR<0.1时,认为A4的一致性程度在容许范围之内,可用此向量ω4作为其权向量,否则需要重新构造成对比较矩阵。
在这个步骤中,最主要的就是确定动态参数层D的要素组{D1,D2,D3,D4}的四个权向量ω1、ω2、ω3和ω4。之后通过将D的各指标{D11,…,D18}、{D21,…,D28}、{D31,…,D38}和{D41,…,D48}分别与权向量ω1、ω2、ω3和ω4矩阵相乘,得到动态参数层D的要素组{D1,D2,D3,D4},即D1={D11,…,D18}·ω1,D2={D21,…,D28}·ω2,D3={D31,…,D38}·ω3和D4={D41,…,D48}·ω4
表2
  n   1   2   3   4   5   6   7   8   9   10   11 ……
  RI   0   0   0.58   0.90   1.12   1.24   1.32   1.41   1.45   1.49   1.51 ……
步骤二,建立SVM样本集;
动态参数层D指标集合通过步骤一的计算得到动态参数层D的要素组{D1,D2,D3,D4},进行数据归一化处理,即 D e ′ = D e - D e min D e max - D e min , 其中,Demin是De中的最小值,Demax是De中的最大值,e=1,2,3,4,得出动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}。根据动态参数层D的指标集合,专家对创新目标和结果的各方面,即表示创新目标和结果的静态参数层S的各要素,进行评分。将动态参数层D的要素组归一化后的结果和表示创新目标和结果的静态参数层S的要素组作为样本集;从该样本集中抽出
Figure A20091008508600142
组样本作为训练集,将样本集剩余的
Figure A20091008508600143
组样本作为测试集,g≥10,且为整数。
步骤三,SVM的训练与优化;
利用SVM在线性回归算法上的应用,建立动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}和表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4}间的关系,从而能够通过动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}求出表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4};其中,SVM的输入是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出是Sq∈{S1,S2,S3,S4},q∈{1,2,3,4};
其中,支持向量机SVM是一种通过用内积函数定义的非线性变换将输入空间变换到一个高维特征空间,把输入空间中线性不可分问题转化为特征空间中的线性可分问题的机器学习方法。在这个高维空间中求广义最优分类面f(w,x)=(w·x)+b,使得两类样本的间隔最大。如图3所示,在原始空间中,可以看出,黑点和白点两类样本利用l′1或者l′2都很难被准确分开,但是通过支持向量机SVM的核函数映射,这些点在特征空间中的映射点可以很好地被l1或者l2分为type1和type2两类。
对于线性回归问题,即假设l个数据{xμ,yμ},μ=1,…,l,l≥2,为整数,xμ∈Rd,Rd表示d维实数向量,yμ∈R,要在精度ε下用线性函数拟合,ε∈R,根据平面间距离的定义,要求两类训练样本间的最大间隔,就等价于求:
min 1 2 | | w | | 2 + C Σ μ = 1 l ( ξ μ + ξ μ * )
s . t y μ - ( w , x μ ) - b ≤ ϵ + ξ μ ( w , x μ ) + b - y μ ≤ ϵ + ξ μ * ξ μ , ξ μ * ≥ 0
其中,w和b分别为线性拟合函数的法向量和偏移系数。C为惩罚因子。ξμ,ξμ *为引进的松弛变量,目的是处理函数在ε精度下不能估计的数据。变量xμ和yμ均为实数。
转化为求二次规划问题,建立拉格朗日方程:
l ( w , ξ μ , ξ μ * ) = 1 2 | | w | | 2 + C Σ μ = 1 l ( ξ μ + ξ μ * ) - Σ μ = 1 l α μ [ ϵ + ξ μ - y μ + ( w , x μ ) + b ] -
Σ μ = 1 l α μ * [ ϵ + ξ μ + y μ - ( w , x μ ) - b ] - Σ μ = 1 l ( η μ ξ μ + η μ * ξ μ * )
其中ημ,ημ *为ξμ,ξμ *的系数。
又通过对偶原理等价于求:
max 1 2 Σ μ , v = 1 l ( α μ - α μ * ) ( α v - α v * ) ( x μ , x v ) + Σ μ = 1 l α μ ( ϵ - y μ ) + Σ μ = 1 l α μ ( ϵ + y μ )
s . t Σ μ = 1 l ( α μ - α μ * ) = 0 α μ , α μ * ∈ [ 0 , C ]
通过这个二次规划可求得aμ,aμ *,偏移系数b为:
b = y - Σ μ = 1 l ( a μ * - a μ ) ( x μ · x )
也可得到回归函数:
y = Σ μ = 1 l ( a μ * - a μ ) ( x μ · x ) + b
对于非线性回归问题,回归函数可表示为:
y = Σ μ = 1 l ( a μ * - a μ ) K ( x , x μ ) + b
其中,b是一个常数而且对于一般带有纯数值项的容许的核函数,该项可以省略;系数aμ,aμ *是拉格朗日系数,非零的aμ,aμ *对应的输入量xμ称为支持向量,支持向量位于分类边界或分类面上;二元函数K(x,y)通常称为核函数。
在训练学习前,首先要确定SVM的核函数K(x,y);
对于给定的核K(x,y),若有实数λ和非零函数ψ(x)使成立 ∫ b a K ( x , y ) ψ ( x ) dx = λψ ( x ) , 则称λ为核的一个特征值,称ψ(x)为核的关于特征值λ的一个特征函数。关于Mercer核有如下定理,Mercer定理:Mercer核K(x,y)可以展开成一致收敛的函数项级数: K ( x , y ) = Σ ρ λ ρ ψ ( x ) ψ ( y ) , 其中λρ,ψ(x)分别为核K(x,y)的特征值和特征向量,他们的个数可能有限或无穷。
常用的核函数有:
1)多项式核函数:
K(x,y)=(μx·y+c)d  d=1,2,…
2)径向基核函数:
K(x,y)=exp(-γ‖x-y‖2)
3)Sigmoid核函数:
K(x,y)=tanh(β(x·y+e)
以上各个核函数的所有参数默认为实数。由于径向基核函数的参数少,分类效果好,所以该发明中支持向量机SVM的核函数选用径向基核函数K(x,y)=exp(-γ‖x-y‖2,其中γ为径向基核函数的宽度参数。
再对SVM参数进行选择,采用网格法选择最优的核函数的参数γ和惩罚因子C。其中,网格法指对于几个在一定范围内的数,在各自区间内按一定间隔分别取值,最后形成网状的取值情况,通过比较最后的结果来选择最优解。本步骤中,选择训练误差最小的一组作为最优解;
然后利用训练集对SVM进行训练,初步确定SVM的aμ,aμ *和b。aμ,aμ *通过二次规划求出,b通过 b = y - Σ μ = 1 l ( a μ * - a μ ) ( x μ · x ) 求出;
最后利用测试集对SVM的相关参数进行调整优化,从而确定SVM回归函数,其中相关参数包括拉格朗日系数aμ,拉格朗日系数aμ *和偏移系数b。
如图4,本发明采用4个SVM建立了4个回归函数 y χ = Σ μ = 1 l ( a μχ * - a μχ ) exp ( - γ χ | | x χ - x μχ | | 2 ) + b χ , χ = 1,2,3,4 . 其中,S1-SVM回归函数 y 1 = Σ μ = 1 l ( a μ 1 * - a μ 1 ) exp ( - γ 1 | | x 1 - x μ 1 | | 2 ) + b 1 的输入x1是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出y1是S1;S2-SVM回归函数 y 2 = Σ μ = 1 l ( a μ 2 * - a μ 2 ) exp ( - γ 2 | | x 2 - x μ 2 | | 2 ) + b 2 的输入x2是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出y2是S2;S3-SVM回归函数 y 3 = Σ μ = 1 l ( a μ 3 * - a μ 3 ) exp ( - γ 3 | | x 3 - x μ 3 | | 2 ) + b 3 的输入x3是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出y3是S3;S4-SVM回归函数 y 4 = Σ μ = 1 l ( a μ 4 * - a μ 4 ) exp ( - γ 4 | | x 4 - x μ 4 | | 2 ) + b 4 的输入x4是动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4},输出y4是S4。第χ个SVM的训练学习,就是要找到最优的径向基核函数的参数γx和惩罚因子Cχ,支持向量集,拉格朗日系数aμχ,aμχ *和偏移系数bχ;其中惩罚因子Cχ为第χ个SVM的惩罚因子。
步骤四,模型的应用;
如图5,利用层次分析法由动态参数层D的指标集合求出动态参数层D的要素组{D1,D2,D3,D4},然后将动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}代入四个回归函数 y χ = Σ μ = 1 l ( a μχ * - a μχ ) exp ( - γ χ | | x χ - x μχ | | 2 ) + b χ , χ = 1,2,3,4 , 求出静态目标层S的要素组{S1,S2,S3,S4},进而对该样本自主创新能力的各方面进行预测评价;
其中,对于一定的变量χ,bχ是一个常数而且对于一般带有纯数值项的容许的核函数,该项可以省略;系数aμχ,aμχ *是拉格朗日系数,非零的aμχ,aμχ *对应的输入量xμχ称为支持向量,支持向量位于分类边界或分类面上;γχ为径向基核函数的宽度参数;以上变量bχ,aμχ,aμχ *,γχ默认为任意实数。
表3为本发明的一组实施实例相关统计数据,可以看出相比层次分析法,神经网络,SVM在精度、处理速度和泛化能力上都有优势。
表3
Figure A20091008508600174
从表3可见,相比现有的自主创新能力预测方法——层次分析法,机器学习方法中的神经网络和SVM在训练时间,训练误差和预测误差上都有很大优势,而神经网络和SVM中,虽然测试误差比训练误差稍高,但后者精度更高、处理速度更快、泛化能力更强的特点,由其在泛化能力上的优势可以看出若利用至预测方面也会有较大优势,为该模型首先提出的预测能力的实现提供了保证。

Claims (2)

1、一种基于支持向量机的企业自主创新能力预测方法,其特征在于,该方法包括如下步骤:
步骤一,建立动态参数层D的层次结构模型;
第一步,采集数据;
选择g家企业做问卷调查,其中g≥10,且为整数,分别对动态参数层D的要素组{D1,D2,D3,D4}所分别对应的指标集合{D11,D12,D13,D14,D15,D16,D17,D18,D21,D22,D23,D24,D25,D26,D27,D28,D31,D32,D33,D34,D35,D36,D37,D38,D41,D42,D43,D44,D45,D46,D47,D48}中各量在{1,2,3,4,5}范围内进行评分;其中1分为最低分,5分为最高分;其中,D11表示研发资金投入强度,D12表示保障资金持续供给,D13表示开发人员素质,D14表示拥有核心研发技术,D15表示知识产权重组与有效管理,D16表示预言投入,D17表示主导产品成本优势,D18表示现金技术动态把握,D21表示协作配合,D22表示交流和共享,D23表示文化交流,D24表示组织结构扁平化和层级淡化,D25表示创新战略协调和协作方式,D26表示利益分配和激励机制,D27表示各部分一致性,D28表示效果整体最优化,D31表示创新系统的完善度,D32表示科学的决策系统,D33表示领导的倾向,D34表示利于创新的组织情景,D35表示激励机制,D36表示技术人员培训的重视,D37表示合适人选的安排,D38表示人员绩效考核,D41表示成果开发设计,D42表示成果转化模式,D43表示产权归属,D44表示成果产权转让模式,D45表示成果转化表现形式,D46表示组织体系影响,D47表示转化形态,D48表示转化的特殊性与计划性;
第二步,确定动态参数层D的层次结构模型;
首先,建立该要素的成对比较矩阵;该矩阵通过进行该要素的指标之间的两两比较来得到,比较时采用1~9尺度,即利用aij表示第i个要素相对于第j个要素的比较结果,其中i,j是任意正整数,从而构成成对比较矩阵;
然后,计算各要素的成对比较矩阵的最大特征值及其对应的特征向量,具体是将判断矩阵的每一列元素做归一化处理,然后将处理后的矩阵按行相加,对新求得的向量进行归一化处理即得到所要的权向量;利用一致性指标CI、随机一致性指标RI和一致性比率CR做一致性检验;当一致性比率CR<0.1时,认为判断矩阵的一致性程度在容许范围之内,选用该判断矩阵对应的向量作为其权向量,否则需要重新构造成对比较矩阵;通过对四个要素的上述运算,要素组的四个要素的四个权向量ω1、ω2、ω3和ω4得以确定;
最后,通过将动态参数层D的要素组{D1,D2,D3,D4}所分别对应的各指标集合{D11,…,D18}、{D21,…,D28}、{D31,…,D38}和{D41,…,D48}分别与权向量ω1、ω2、ω3和ω4矩阵相乘,得到动态参数层D的要素组{D1,D2,D3,D4},其中D1={D11,…,D18}·ω1,D2={D21,…,D28}·ω2,D3={D31,…,D38}·ω3和D4={D41,…,D48}·ω4,D1表示研发,D2表示产学研协同,D3表示组织管理,D4表示科研成果转化;
其中,一致性指标 CI = κ - n n - 1 , κ为n阶正互反阵的最大特征根,其中n为大于1的正整数,κ∈[1,n],κ也是整数;
随机一致性指标 RI = CI 1 + CI 2 + · · · + CI 500 500 是500个根据随机发生的判断矩阵计算的一致性指标的平均值;1~11阶矩阵的RI值通过查表得出,n值表示矩阵的阶数;其中,CI1,CI2,…,CI500为随机进行的500次测试的一致性指标;
一致性比率 CR = CI RI , CI,RI含义同上;
步骤二,建立SVM样本集;
动态参数层D指标集合通过步骤一的计算得到动态参数层D的要素组{D1,D2,D3,D4},进行数据归一化处理,即 D e ′ = D e - D e min D e max - D e min , 其中,Demin是De中的最小值,Demax是De中的最大值,e=1,2,3,4,得出动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4};
根据步骤一中得出的的动态参数层D的指标集合,专家对表示创新目标和结果的静态参数层S的各要素,进行评分;
将动态参数层D的要素组{D1,D2,D3,D4}归一化后的结果{D′1,D′2,D′3,D′4}和表示创新目标和结果的静态参数层S的要素组作为样本集;从该样本集中抽出
Figure A2009100850860003C5
组样本作为训练集,将样本集剩余的
Figure A2009100850860003C6
组样本作为测试集,其中g≥10,且为整数;
其中,静态参数层S的要素组{S1,S2,S3,S4}表示:S1为创新效率,S2为创新成果,S3为创新专利,S4为创新产品;
步骤三,SVM的训练与优化;
利用SVM在回归算法上的应用,建立动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}和表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4}间的关系,从而通过动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}求出表示创新目标和结果的静态参数层S的要素组{S1,S2,S3,S4};其中,SVM的输入是动态参数层D的要素组{D1,D2,D3,D4},输出是Sq∈{S1,S2,S3,S4},q∈{1,2,3,4};
对于线性回归问题,即假设l个数据{xμ,yμ},μ=1,…,l,l≥2,为整数,xμ∈Rd,Rd表示d维实数向量,yμ∈R,在精度ε下用线性函数拟合,ε∈R,求两类训练样本间的最大间隔等价于求:
min 1 2 | | w | | 2 + C Σ μ = 1 l ( ξ μ + ξ μ * )
s . t y μ - ( w , x μ ) - b ≤ ϵ + ξ μ ( w , x μ ) + b - y μ ≤ ϵ + ξ μ * ξ μ , ξ μ * ≥ 0
其中,w和b分别为线性拟合函数的法向量和偏移系数;C为惩罚因子;ζμ,ζμ *为引进的松弛变量;变量xμ和yμ均为实数;
转化为求二次规划问题,建立拉格朗日方程:
l ( w , ξ μ , ξ μ * ) = 1 2 | | w | | 2 + C Σ μ = 1 l ( ξ μ + ξ μ * ) - Σ μ = 1 l α μ [ ϵ + ξ μ - y μ + ( w , x μ ) + b ] -
Σ μ = 1 l α μ * [ ϵ + ξ μ + y μ - ( w , x μ ) - b ] - Σ μ = 1 l ( η μ ξ μ + η μ * ξ μ * )
其中ημ,ημ *为ζμ,ζμ *的系数;
又通过对偶原理等价于求:
max 1 2 Σ μ , v = 1 l ( α μ - α μ * ) ( α v - α v * ) ( x μ , x v ) + Σ μ = 1 l α μ ( ϵ - y μ ) + Σ μ = 1 l α μ ( ϵ + y μ )
s , t Σ μ = 1 l ( α μ - α μ * ) = 0 α μ , α μ * ∈ [ 0 , C ]
通过这个二次规划求得aμ,aμ *,偏移系数b为:
b = y - Σ μ = 1 l ( a μ * - a μ ) ( x μ · x )
得到回归函数:
y = Σ μ = 1 l ( a μ * - a μ ) ( x μ · x ) + b
对于非线性回归问题,回归函数表示为:
y = Σ μ = 1 l ( a μ * - a μ ) K ( x , x μ ) + b
其中,b是一个常数而且对于一般带有纯数值项的容许的核函数,该项能够省略;系数aμ,aμ *是拉格朗日系数,非零的aμ,aμ *对应的输入量xμ称为支持向量,支持向量位于分类边界或分类面上;二元函数K(x,y)为核函数;
首先,确定SVM的核函数K(x,y),本发明中支持向量机SVM的核函数选用径向基核函数K(x,y)=exp(-γ||x-y||2),其中γ为径向基核函数的宽度参数,x,y∈Rd,Rd表示d维实数向量;
再对SVM参数进行选择,采用网格法选择最优的核函数的参数γ和惩罚因子C;其中,网格法是指对于几个在一定范围内的数,在各自区间内按一定间隔分别取值,最后形成网状最优解;
然后,利用训练集对SVM进行训练,初步确定SVM的aμ,aμ *和b;aμ,aμ *通过二次规划求出,b通过 b = y - Σ μ = 1 l ( a μ * - a μ ) ( x μ · x ) 求出;
最后,利用测试集对SVM的相关参数进行调整优化,确定SVM回归函数,其中相关参数包括拉格朗日系数aμ,拉格朗日系数aμ *和偏移系数b;
步骤四,模型的应用;
利用层次分析法由动态参数层D的指标集合求出要素组{D1,D2,D3,D4},然后将动态参数层D的要素组归一化后的结果{D′1,D′2,D′3,D′4}代入四个回归函数 y χ = Σ μ = 1 l ( a μχ * - a μχ ) exp ( - γ χ | | x χ - x μχ | | 2 ) + b χ , χ=1,2,3,4求出静态目标层S的要素组{S1,S2,S3,S4},进而对该样本自主创新能力进行预测评价;
其中,对于一定的变量χ,bχ是一个常数而且对于一般带有纯数值项的容许的核函数,该项能够省略;系数aμχ,aμχ *是拉格朗日系数,非零的aμχ,aμχ *对应的输入量xμχ称为支持向量,支持向量位于分类边界或分类面上;γχ为径向基核函数的宽度参数;以上变量bχ,aμχ,aμχ *,γχ默认为任意实数。
2、根据权利要求1所述的一种基于支持向量机的企业自主创新能力预测方法,其特征在于,步骤三所述的SVM:根据SVM在回归算法上的应用建立变量间的函数关系,利用四个回归函数确定动态参数层D和静态参数层S的四个参数的关系:SVM回归函数即 y = Σ μ = 1 l ( a μ * - a μ ) K ( x , x μ ) + b , 其中,b是一个常数而且对于一般带有纯数值项的容许的核函数,该项能够省略;系数aμ,aμ *是拉格朗日系数,非零的aμ,aμ *对应的输入量xi称为支持向量,支持向量位于分类边界或分类面上;其中K(x,y)=exp(-γ||x-y||2)确定动态参数层D和静态参数层S之间的关系;bχ,aμχ,aμχ *,γχ默认为任意实数。
CNA2009100850861A 2009-05-26 2009-05-26 一种基于支持向量机的企业自主创新能力预测方法 Pending CN101571934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2009100850861A CN101571934A (zh) 2009-05-26 2009-05-26 一种基于支持向量机的企业自主创新能力预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2009100850861A CN101571934A (zh) 2009-05-26 2009-05-26 一种基于支持向量机的企业自主创新能力预测方法

Publications (1)

Publication Number Publication Date
CN101571934A true CN101571934A (zh) 2009-11-04

Family

ID=41231289

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009100850861A Pending CN101571934A (zh) 2009-05-26 2009-05-26 一种基于支持向量机的企业自主创新能力预测方法

Country Status (1)

Country Link
CN (1) CN101571934A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075352A (zh) * 2010-12-17 2011-05-25 北京邮电大学 一种网络用户行为预测的方法和装置
CN102081754A (zh) * 2011-01-26 2011-06-01 王爱民 多专家动态协调评判方法及智能化辅助决策支持系统
CN104057637A (zh) * 2014-05-08 2014-09-24 浙江工业大学 一种基于支持向量机的数控冲床的刹车曲线自学习方法
CN104217296A (zh) * 2014-09-15 2014-12-17 国家电网公司 一种上市公司绩效综合评价方法
CN104318247A (zh) * 2014-10-20 2015-01-28 西安电子科技大学 基于重要采样的深度svm极化sar分类方法
CN104574220A (zh) * 2015-01-30 2015-04-29 国家电网公司 基于最小二乘支持向量机的电力客户信用评估方法
CN104992233A (zh) * 2015-05-29 2015-10-21 上海计算机软件技术开发中心 一种基于svm的科技服务业产出预测方法
CN105824806A (zh) * 2016-06-13 2016-08-03 腾讯科技(深圳)有限公司 一种公众账号的质量评价方法和装置
CN105956472A (zh) * 2016-05-12 2016-09-21 宝利九章(北京)数据技术有限公司 识别网页中是否包含恶意内容的方法和系统
CN106971237A (zh) * 2017-02-27 2017-07-21 中国水利水电科学研究院 一种基于细菌觅食优化算法的中长期径流预报方法
CN108009510A (zh) * 2017-12-12 2018-05-08 中国人民公安大学 安保态势分析方法和装置
CN108694465A (zh) * 2018-05-16 2018-10-23 南京邮电大学 基于svm向量机q学习的城市救援仿真决策优化方法
CN109426902A (zh) * 2017-08-25 2019-03-05 北京国双科技有限公司 企业综合评比方法和装置
CN109543980A (zh) * 2018-11-14 2019-03-29 广州博士信息技术研究院有限公司 一种服务于企业创新能力提升的体检诊疗系统及方法
CN109660474A (zh) * 2018-12-26 2019-04-19 绥化学院 基于hilbert技术的单边带通信系统抗噪性能研究方法
CN110544050A (zh) * 2019-09-12 2019-12-06 南京岳智信息技术有限公司 一种基于机器学习的科技企业创新能力评价方法
CN111724062A (zh) * 2020-06-19 2020-09-29 国家计算机网络与信息安全管理中心 基于知识图谱的生物技术企业创新能力评估装置与方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075352A (zh) * 2010-12-17 2011-05-25 北京邮电大学 一种网络用户行为预测的方法和装置
CN102075352B (zh) * 2010-12-17 2013-10-16 北京邮电大学 一种网络用户行为预测的方法和装置
CN102081754A (zh) * 2011-01-26 2011-06-01 王爱民 多专家动态协调评判方法及智能化辅助决策支持系统
CN102081754B (zh) * 2011-01-26 2014-04-02 王爱民 多专家动态协调评判方法及智能化辅助决策支持系统
CN104057637A (zh) * 2014-05-08 2014-09-24 浙江工业大学 一种基于支持向量机的数控冲床的刹车曲线自学习方法
CN104217296A (zh) * 2014-09-15 2014-12-17 国家电网公司 一种上市公司绩效综合评价方法
CN104318247A (zh) * 2014-10-20 2015-01-28 西安电子科技大学 基于重要采样的深度svm极化sar分类方法
CN104318247B (zh) * 2014-10-20 2018-08-28 西安电子科技大学 基于重要采样的深度svm极化sar分类方法
CN104574220A (zh) * 2015-01-30 2015-04-29 国家电网公司 基于最小二乘支持向量机的电力客户信用评估方法
CN104992233A (zh) * 2015-05-29 2015-10-21 上海计算机软件技术开发中心 一种基于svm的科技服务业产出预测方法
CN105956472A (zh) * 2016-05-12 2016-09-21 宝利九章(北京)数据技术有限公司 识别网页中是否包含恶意内容的方法和系统
CN105956472B (zh) * 2016-05-12 2019-10-18 宝利九章(北京)数据技术有限公司 识别网页中是否包含恶意内容的方法和系统
CN105824806A (zh) * 2016-06-13 2016-08-03 腾讯科技(深圳)有限公司 一种公众账号的质量评价方法和装置
CN105824806B (zh) * 2016-06-13 2018-10-23 腾讯科技(深圳)有限公司 一种公众账号的质量评价方法和装置
CN106971237A (zh) * 2017-02-27 2017-07-21 中国水利水电科学研究院 一种基于细菌觅食优化算法的中长期径流预报方法
CN109426902A (zh) * 2017-08-25 2019-03-05 北京国双科技有限公司 企业综合评比方法和装置
CN108009510A (zh) * 2017-12-12 2018-05-08 中国人民公安大学 安保态势分析方法和装置
CN108009510B (zh) * 2017-12-12 2020-12-15 中国人民公安大学 安保态势分析方法和装置
CN108694465A (zh) * 2018-05-16 2018-10-23 南京邮电大学 基于svm向量机q学习的城市救援仿真决策优化方法
CN109543980A (zh) * 2018-11-14 2019-03-29 广州博士信息技术研究院有限公司 一种服务于企业创新能力提升的体检诊疗系统及方法
CN109660474A (zh) * 2018-12-26 2019-04-19 绥化学院 基于hilbert技术的单边带通信系统抗噪性能研究方法
CN110544050A (zh) * 2019-09-12 2019-12-06 南京岳智信息技术有限公司 一种基于机器学习的科技企业创新能力评价方法
CN111724062A (zh) * 2020-06-19 2020-09-29 国家计算机网络与信息安全管理中心 基于知识图谱的生物技术企业创新能力评估装置与方法

Similar Documents

Publication Publication Date Title
CN101571934A (zh) 一种基于支持向量机的企业自主创新能力预测方法
Aras et al. Multidimensional comprehensive corporate sustainability performance evaluation model: Evidence from an emerging market banking sector
Sumrit et al. Using DEMATEL method to analyze the causal relations on technological innovation capability evaluation factors in Thai technology-based firms
Rosenbloom et al. The effects of research & development funding on scientific productivity: Academic chemistry, 1990-2009
Abramo et al. Career advancement and scientific performance in universities
Villacorta et al. A new fuzzy linguistic approach to qualitative Cross Impact Analysis
Tursunov Mechanism for determining optimal management of use of production capacity at the textile enterprises
Soares et al. Organizational ambidexterity: A study in Brazilian higher education institutions
Khandekar et al. Personnel selection using fuzzy axiomatic design principles
Franke et al. Big data and decision quality: the role of management accountants’ data analytics skills
Nakhkob et al. Predicted increase enrollment in higher education using neural networks and data mining techniques
Jain et al. Identification of critical factors for big data analytics implementation in sustainable supply chain in emerging economies
CN105913327A (zh) 农业科技成果水平评价方法及装置
Yuan et al. Research on AHP-fuzzy comprehensive evaluation method and application
Bakri et al. Machine Learning Algorithms with Parameter Tuning to Predict Students’ Graduation-on-time: A Case Study in Higher Education
Gera et al. A model for predicting the eligibility for placement of students using data mining technique
Le Mai et al. An apache spark-based platform for predicting the performance of undergraduate students
Vanitha Decision support model for prioritization of cotton plant diseases using integrated fahp-topsis approach
Xian A new fuzzy comprehensive evaluation model based on the support vector machine
Fu et al. Prediction of financial economic time series based on group intelligence algorithm based on machine learning
Sun et al. Comparative study on economic contribution rate of education of China and foreign countries based on soft computing method
Yan et al. Analytic Hierarchy Process Based Selection of Leaders of Start-up Enterprises
Zhang et al. Research on maturity of data system based on BP neural network test
Hassanzadeh et al. Developing a new method using Artificial Immune System in order to High Productivity of Inefficient Units in Network DEA approach
Pan Performance Evaluation Method of Enterprise Human Resource Management Based on Machine Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20091104