CN109656141A - 基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 - Google Patents
基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 Download PDFInfo
- Publication number
- CN109656141A CN109656141A CN201910027583.XA CN201910027583A CN109656141A CN 109656141 A CN109656141 A CN 109656141A CN 201910027583 A CN201910027583 A CN 201910027583A CN 109656141 A CN109656141 A CN 109656141A
- Authority
- CN
- China
- Prior art keywords
- data
- identified
- sample
- node
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质,机器行为控制方法包括如下步骤:将待识别数据输入到已经训练好的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出动作控制指令给对应机器,控制机器执行相应动作;若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出动作控制指令给对应机器,控制机器执行相应动作,使机器作出的动作满足要求。
Description
技术领域
本发明属于数据识别以及行为控制领域,尤其涉及一种基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质。
背景技术
现阶段的数据过滤主要使用的方法是关键字核对和人工审查,关键字核对是核对内容中有没有词语在违规关键字库中,而人工审查则是靠人工来判断违规内容。两种方法的缺点也非常明显,关键字核对不仅需要经常更新关键字库,而且误判率和漏判率也比较高;人工审核不仅受制于审核员的知识丰富度,而且效率也非常低。行为控制主要通过工业自动化的方法来控制机器做一些固定的动作,或者是通过传感器获取外界的信息后控制机器实现程序设定好的动作。
人工智能技术就是通过用人工的方法使机器具有与人类智慧有关的功能,如判断、推理、证明、思考、识别、设计、规划、问题求解等思维活动。随着人工智能技术的深入研究和开展,人工智能技术对人类的影响与日俱增,其用用领域也日益扩大,目前,人工智能技术已经用于机器翻译、医疗诊断、图像识别、语音识别、金融分析、无人驾驶等诸多技术领域,人工智能的应用在不断加深、不断成熟,甚至在某些领域已经超越人来。
将人工智能方法使用在内容过滤和动作控制,有着巨大的优势。由于人工智能具有自我学习能力,能解决关键字核对方法中经常要更新关键字库,误判和漏判的问题;还能解决人工审核标准不统一,审核员知识不足,效率低下的问题;也能在动作控制上按照人类的物权管理办法来控制机器对物体的使用。但本领域还没有一种基于人工智能技术的违规识别及机器行为控制方法。
发明内容
本发明的目的在于克服现有技术之缺陷,提供了一种基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质,其能自动识别不符合规定的数据等,效率高,且精确度高。
本发明是这样实现的:本发明提供一种基于人工智能技术的违规数据识别方法,包括如下步骤:
1)构建训练集;
2)构建用于识别违规数据的学习模型;
3)利用训练集中的训练样本训练学习模型,得到训练完成的学习模型;
4)使用训练完成的学习模型对输入的待识别数据进行计算识别,输出分类结果。
通过学习方法对训练集X中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
划分训练集X的属性,设定属性集D={D1,D2,D3},其中,D1、D2、D3为属性子集,
D1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
D2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
D3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},}
一个物体的对象:{{有,有,无,无},}
一个动作的对象:{{30°,5m/s,60牛,东西向}}。
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,
xi=(xi1;xi2;…;xi|D|);|D|代表属性的个数,Xi1代表第i个样本的第一个属性;y为输出,y={y1,y2,…,ym}={人身歧视、人身伤害、物体使用、物体拥有},ym代表第m个样本的输出,X1指的是第一个对象即第一个样本的输入,X2指的是第二个对象即第二个样本的输入,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害,};Xi1指的是第i个对象的第一个属性值,如一个人的样本:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},},那么Xi1就是东亚,xi2是18。
获取训练集为:X={(x1,y1),(x2,y2),……,(xm,ym)}。(X1,y1)为第一个样本。如X1是:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},},y1={无,无,}。表示的是X1这个对象,没有人身歧视,没有人身伤害,空,空。
进一步地,学习模型使用线性模型实现,学习模型为:f(x)=wxi+b,使得
其中:w=(w1;w2;…;w|D|),|D|代表属性的个数;求系数w和b的解w*和b*,根据使用让均方误差最小化,即:
m是样本的个数,Xi是第i个对象,yi是第i个对象的输出;
使用最小二乘法对以上模型求解,得到:
进一步地,学习模型使用决策树模型实现,决策树模型包含一个根结点,若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点对应一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子节点中;根结点包含样本全集;整个决策树模型使用如下算法:
输入:训练集X,属性集D;
设定函数TreeGenerate(X,D);生成结点node;如果X中样本属于同一类别C,则将node标记为C类叶结点;如果D=φor X中样本在D上取值相同,则将node标记为叶结点,其类别标记为X中样本数最多的类;从D中选择最优划分属性a*;
当前样本集合X中第k类样本所占的比例为Pk,其中k=(1,2,|y|),则X中的信息熵定义为:
假设离散属性a有V个可能的取值{a1,a2,……,aV},若使用a来对样本集X进行划分,则会产生V个分支结点,其中第v个分支结点包含了X中所有在属性a上取值为aV的样本,记为Xv,根据计算出Xv的信息熵,考虑到不同的分支结点所包含的样本数不同,分支结点权重为:|Xv|/|X|,即样本数越多的分支结点的影响越大,属性a对样本集X进行划分所获得的信息增益的计算公式为:
一般而言,信息增益越大,意味着使用属性a来进行划分所得的“纯度提升”越大,因此最优划分属性对于a*的每一个值a* v,为node生成一个分支;并令Xv表示X中在a*上取值为的样本子集;如果Xv为空,则将分支结点标记为叶结点,其类别标记为X中样本最多的类;否则,继续按照函数TreeGenerate(Xv,D\{a*})计算;输出以node为根节点的一棵决策树。
进一步地,学习模型使用神经网络模型实现,按照BP算法建立一个拥有|D|个输入神经元,|y|个输出神经元,q个隐层神经元的多层前馈网络结构,其中输出层第j个神经元的阈值用θj表示,隐层第h个神经元的阈值用γh表示,输入层第i个神经元与隐层第h个神经元之间的连接权为vih,隐层第h个神经元与输出层第j个神经元之间的连接权为whj,隐层第h个神经元接收到的输入为其中bh为隐层第h个神经元的输出;
具体的过程采用以下算法:
输入:训练集学习率η;m是样本的个数;Xk指第k个样本的输入,yK第k个样本的输出;
在(0,1)范围内随机初始化网络中所有连接权和阈值;
对于(xk,yk)∈X的每一个值,进行如下处理:
计算当前样本的输出集
计算输出层神经元的梯度项
计算隐层神经元的梯度项
更新连接权whj=ηgjbh,vih=ηehxi与阈值θj=-ηgj,γh=-ηeh;直到累计误差最小化(最小化训练集X上的累积误差,误差越小,说明模型越精确);
输出连接权与阈值确定的多层前馈神经网络。
本发明提供一种基于人工智能技术的机器行为控制方法,包括如下步骤:
1)获取待识别数据,将待识别数据的数据格式转换成用于识别违规数据的学习模型能够识别的数据格式;
2)将待识别数据输入到已经训练好的用于识别违规数据的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;
21)若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等;
22)若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等,使机器输出满足规定;
23)若待识别数据全部不符合预设规定,则过滤掉不符合预设规定的待识别数据,进行提示。
进一步地,待识别数据包括文字、图像、声音、视频、动作等。
本发明提供一种机器设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的机器行为控制方法。
本发明提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如上所述的机器行为控制方法。
与现有技术相比,本发明具有以下有益效果:本发明采用人工智能技术识别违规数据的方法能解决关键字核对方法中经常要更新关键字库,误判和漏判的问题,本发明算法是根据训练集中的数据自动更新,能够实现自我学习;还能解决人工审核标准不统一,审核员知识不足,效率低下的问题。且采用基于人工智能技术的机器行为控制方法也可以对包括对文字、图像、声音、视频、动作等内容进行内容过滤,过滤掉不符合要求的内容,进而指导、控制机器输出符合要求的文字、图像、声音、视频、动作。
附图说明
图1为本发明的基于人工智能技术的违规数据识别方法的流程图;
图2为本发明基于决策树模型的数据识别方法的示意图;
图3为本发明基于神经网络BP算法的数据识别方法示意图;
图4本发明基于人工智能技术的机器行为控制方法的流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
参见图1,本发明提供本发明提供一种基于人工智能技术的违规数据识别方法,包括如下步骤:
1)构建训练集;
2)构建用于识别违规数据的学习模型;
3)利用训练集中的训练样本训练学习模型,得到训练完成的学习模型;
4)使用训练完成的学习模型对输入的待识别数据进行计算识别,输出分类结果即可判断出数据是否违规。
通过学习方法对训练集X中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
实施例一
本实施例提供一种基于线性模型的数据识别方法,具体步骤包括:
划分训练集X的属性,设定属性集D={D1,D2,D3},其中,D1、D2、D3为属性子集,
D1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
D2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
D3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},}
一个物体的对象:{{有,有,无,无},}
一个动作的对象:{{30°,5m/s,60牛,东西向}}。
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,xi=(xi1;xi2;…;xi|D|);|D|代表属性的个数,Xi1代表第i个样本的第一个属性;y为输出,ym代表第m个样本的输出,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害, };Xi1指的是第i个对象的第一个属性值,如一个人的样本:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},},那么Xi1就是东亚,xi2是18。
获取训练集为:X={(x1,y1),(x2,y2),……,(xm,ym)}。(X1,y1)为第一个样本。
通过学习方法对训练集X中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
本实施例学习模型使用线性模型实现,学习模型为:f(x)=wxi+b,使得
其中:w=(w1;w2;…;w|D|);求w和b的解w*和b*,根据使用让均方误差最小化,即:
使用最小二乘法对以上模型求解,得到:
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例二
参见图2,本实施例提供一种基于决策树模型的数据识别方法,具体步骤包括:
划分训练集X的属性,设定属性集D={D1,D2,D3},其中,D1、D2、D3为属性子集,
D1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
D2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
D3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},}
一个物体的对象:{{有,有,无,无},}
一个动作的对象:{{30°,5m/s,60牛,东西向}}。
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,
xi=(xi1;xi2;…;xi|D|);|D|代表属性的个数,Xi1代表第i个样本的第一个属性;y为输出,y={y1,y2,…,ym}={人身歧视、人身伤害、物体使用、物体拥有},ym代表第m个样本的输出,X1指的是第一个对象即第一个样本的输入,X2指的是第二个对象即第二个样本的输入,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害,};Xi1指的是第i个对象的第一个属性值,如一个人的样本:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},},那么Xi1就是东亚,xi2是18。
获取训练集为:X={(x1,y1),(x2,y2),……,(xm,ym)}。
通过学习方法对训练集X中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
本实施例的学习模型使用决策树模型实现,决策树模型包含一个根结点,若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点对应一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子节点中;根结点包含样本全集;整个决策树模型使用如下算法:
输入:训练集X,属性集D;
设定函数TreeGenerate(X,D);生成结点node;如果X中样本属于同一类别C,则将node标记为C类叶结点;如果D=φor X中样本在D上取值相同,则将node标记为叶结点,其类别标记为X中样本数最多的类;从D中选择最优划分属性a*;
当前样本集合X中第k类样本所占的比例为Pk,其中k=(1,2,|y|),则X中的信息熵定义为:
假设离散属性a有V个可能的取值{a1,a2,……,aV},若使用a来对样本集X进行划分,则会产生V个分支结点,其中第v个分支结点包含了X中所有在属性a上取值为aV的样本,记为Xv,根据计算出Xv的信息熵,考虑到不同的分支结点所包含的样本数不同,分支结点权重为:|Xv|/|X|,即样本数越多的分支结点的影响越大,属性a对样本集X进行划分所获得的信息增益的计算公式为:
一般而言,信息增益越大,意味着使用属性a来进行划分所得的“纯度提升”越大,因此最优划分属性对于a*的每一个值为node生成一个分支;并令Xv表示X中在a*上取值为的样本子集;如果Xv为空,则将分支结点标记为叶结点,其类别标记为X中样本最多的类;否则,继续按照函数TreeGenerate(Xv,D\{a*})计算;输出以node为根节点的一棵决策树。
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例三
参见图3,本实施例提供一种基于神经网络BP算法的数据识别方法,具体步骤包括:
划分训练集X的属性,设定属性集D={D1,D2,D3},其中,D1、D2、D3为属性子集,
D1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
D2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
D3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},}
一个物体的对象:{{有,有,无,无},}
一个动作的对象:{{30°,5m/s,60牛,东西向}}。
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,xi=(xi1;xi2;…;xi|D|);|D|代表属性的个数,Xi1代表第i个样本的第一个属性;y为输出,ym代表第m个样本的输出,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害, };Xi1指的是第i个对象的第一个属性值,如一个人的样本:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},},那么Xi1就是东亚,xi2是18。
获取训练集为:X={(x1,y1),(x2,y2),……,(xm,ym)}。
通过学习方法对训练集X中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
学习模型使用神经网络模型实现,按照BP算法建立一个拥有|D|个输入神经元,|y|个输出神经元,q个隐层神经元的多层前馈网络结构,其中输出层第j个神经元的阈值用θj表示,隐层第h个神经元的阈值用γh表示,输入层第i个神经元与隐层第h个神经元之间的连接权为vih,隐层第h个神经元与输出层第j个神经元之间的连接权为whj,隐层第h个神经元接收到的输入为其中bh为隐层第h个神经元的输出;
具体的过程采用以下算法:
输入:训练集学习率η;
在(0,1)范围内随机初始化网络中所有连接权和阈值;
对于(xk,yk)∈X的每一个值,进行如下处理:
计算当前样本的输出集
计算输出层神经元的梯度项
计算隐层神经元的梯度项
更新whj=ηgjbh,vih=ηehxi,θj=-ηgj,γh=-ηeh;直到最小化(指的是累计误差,所有样本和算法计算值之间的累计误差,误差越小,说明算法越精准);
输出连接权与阈值确定的多层前馈神经网络。
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例四
参见图4,本发明提供一种基于人工智能技术的机器行为控制方法,包括如下步骤:
1)获取待识别数据(比如获取用户输入的数据),将待识别数据的数据格式转换成用于识别违规数据的学习模型能够识别的数据格式;例如现有的语音识别,图像识别技术,将声音、图像数据转换成文字或者降维后图像等。
2)将转换数据格式后的待识别数据输入到已经训练好的用于识别违规数据的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;
21)若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等;
22)若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等,使机器输出满足规定;
23)若待识别数据全部不符合预设规定,则过滤掉不符合预设规定的待识别数据,进行提示。
进一步地,待识别数据包括文字、图像、声音、视频、动作等。
实施例五
本发明提供一种机器设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如实施例四所述的机器行为控制方法。
实施例六
本发明提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如实施例四所述的机器行为控制方法。
本发明可以根据需要选择相应的算法实现学习模型,以上所述的几种算法仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于人工智能技术的违规数据识别方法,其特征在于,包括如下步骤:
1)构建训练集;
2)构建用于识别违规数据的学习模型;
3)利用训练集中的训练样本训练学习模型,得到训练完成的学习模型;
4)使用训练完成的学习模型对输入的待识别数据进行计算识别,输出分类结果。
2.根据权利要求1所述的方法,其特征在于:划分训练集X的属性,设定属性集D={D1,D2,D3},其中,D1、D2、D3为属性子集,
D1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,服饰,疾病,视力,私车,住房,住址,职务,职业};
D2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
D3={d”1,d”2,d”3,d”4}={角度,速度,力量,方向};
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,xi=(xi1;xi2;…;xi|D|);|D|代表属性的个数,Xi1代表第i个样本的第一个属性;y为输出,
y={y1,y2,…,ym}={人身歧视、人身伤害、物体使用、物体拥有},
ym代表第m个样本的输出,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;
构建训练集为:X={(x1,y1),(x2,y2),……,(xm,ym)}。
3.根据权利要求1或2所述的方法,其特征在于:
学习模型使用线性模型实现,学习模型为:f(x)=wxi+b,使
其中:w=(w1;w2;…;w|D|);|D|代表属性的个数,求w和b的解w*和b*,根据使用让均方误差最小化,即:
使用最小二乘法对以上模型求解,得到:
将w*和b*带入f(x)=wxi+b,得到最终的学习模型。
4.根据权利要求1或2所述的方法,其特征在于:学习模型使用决策树模型实现,决策树模型包含一个根结点,若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点对应一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子节点中;根结点包含样本全集;整个决策树模型使用如下算法:
输入:训练集X,属性集D;
设定函数TreeGenerate(X,D);生成结点node;如果X中样本属于同一类别C,则将node标记为C类叶结点;如果D=φorX中样本在D上取值相同,则将node标记为叶结点,其类别标记为X中样本数最多的类;从D中选择最优划分属性a*;
当前样本集合X中第k类样本所占的比例为Pk,其中k=(1,2,|y|),|y|指y集合中元素的个数,则X中的信息熵定义为:
假设离散属性a有V个可能的取值{a1,a2,……,aV},若使用a来对样本集X进行划分,则会产生V个分支结点,其中第v个分支结点包含了X中所有在属性a上取值为aV的样本,记为Xv,根据计算出Xv的信息熵,考虑到不同的分支结点所包含的样本数不同,分支结点权重为:|Xv|/|X|,即样本数越多的分支结点的影响越大,属性a对样本集X进行划分所获得的信息增益的计算公式为:
最优划分属性对于a*的每一个值为node生成一个分支;并令Xv表示X中在a*上取值为的样本子集;如果Xv为空,则将分支结点标记为叶结点,其类别标记为X中样本最多的类;否则,继续按照函数TreeGenerate(Xv,D\{a*})计算;输出以node为根节点的一棵决策树。
5.根据权利要求1或2所述的方法,其特征在于:学习模型使用神经网络模型实现,按照BP算法建立一个拥有|D|个输入神经元,|D|代表属性的个数,|y|个输出神经元,q个隐层神经元的多层前馈网络结构,其中输出层第j个神经元的阈值用θj表示,隐层第h个神经元的阈值用γh表示,输入层第i个神经元与隐层第h个神经元之间的连接权为vih,隐层第h个神经元与输出层第j个神经元之间的连接权为whj,隐层第h个神经元接收到的输入为其中bh为隐层第h个神经元的输出;
具体的过程采用以下算法:
输入:训练集学习率η;
在(0,1)范围内随机初始化网络中所有连接权和阈值;对于(xk,yk)∈X的每一个值,进行如下处理:
计算当前样本的输出集
计算输出层神经元的梯度项
计算隐层神经元的梯度项
更新连接权whj=ηgjbh,vih=ηehxi与阈值θj=-ηgj,γh=-ηeh;直到累计误差最小化
输出连接权与阈值确定的多层前馈神经网络。
6.一种基于人工智能技术的机器行为控制方法,其特征在于,包括如下步骤:
1)获取待识别数据,将待识别数据的数据格式转换成权利要求1所述的用于识别违规数据的学习模型能够识别的数据格式;
2)将待识别数据输入到权利要求1所述的已经训练好的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;
21)若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出;
22)若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,使机器输出满足规定;
23)若待识别数据全部不符合预设规定,则过滤掉不符合预设规定的待识别数据,进行提示。
7.根据权利要求6中所述的方法,其特征在于:待识别数据包括文字、图像、声音、视频、动作。
8.一种机器设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求6至7中任一项所述的机器行为控制方法。
9.一种存储介质,其特征在于:所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求6-7任一项所述的机器行为控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910027583.XA CN109656141A (zh) | 2019-01-11 | 2019-01-11 | 基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910027583.XA CN109656141A (zh) | 2019-01-11 | 2019-01-11 | 基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109656141A true CN109656141A (zh) | 2019-04-19 |
Family
ID=66119153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910027583.XA Pending CN109656141A (zh) | 2019-01-11 | 2019-01-11 | 基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109656141A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517469A (zh) * | 2019-08-08 | 2019-11-29 | 武汉兴图新科电子股份有限公司 | 一种适用于音视频融合平台的智能告警收敛方法 |
CN111177502A (zh) * | 2019-12-14 | 2020-05-19 | 贵州电网有限责任公司 | 一种基于决策树算法的电力通信网络冗余数据辨识方法及系统 |
WO2021233209A1 (zh) * | 2020-05-20 | 2021-11-25 | 华为技术有限公司 | 歧视性样本生成方法和电子设备 |
WO2022142986A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 一种人工智能系统中数据处理方法及装置 |
US12013874B2 (en) | 2020-12-14 | 2024-06-18 | International Business Machines Corporation | Bias detection |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101055621A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于内容的敏感网页识别方法 |
CN101281521A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 一种基于多分类器融合的敏感网页过滤方法及系统 |
CN102012985A (zh) * | 2010-11-19 | 2011-04-13 | 国网电力科学研究院 | 一种基于数据挖掘的敏感数据动态识别方法 |
CN102208992A (zh) * | 2010-06-13 | 2011-10-05 | 天津海量信息技术有限公司 | 面向互联网的不良信息过滤系统及其方法 |
CN102609407A (zh) * | 2012-02-16 | 2012-07-25 | 复旦大学 | 一种网络不良文本内容的细粒度语义检测方法 |
CN103336927A (zh) * | 2013-06-07 | 2013-10-02 | 杭州世平信息科技有限公司 | 一种基于数据分类的数据防泄漏方法及其系统 |
CN103617156A (zh) * | 2013-11-14 | 2014-03-05 | 上海交通大学 | 多协议网络文件内容检查方法 |
CN104809108A (zh) * | 2015-05-20 | 2015-07-29 | 成都布林特信息技术有限公司 | 信息监测分析系统 |
CN107992764A (zh) * | 2017-11-28 | 2018-05-04 | 国网河南省电力公司电力科学研究院 | 一种敏感网页识别与检测方法及装置 |
CN108419091A (zh) * | 2018-03-02 | 2018-08-17 | 北京未来媒体科技股份有限公司 | 一种基于机器学习的视频内容审核方法及装置 |
CN108717408A (zh) * | 2018-05-11 | 2018-10-30 | 杭州排列科技有限公司 | 一种敏感词实时监控方法、电子设备、存储介质及系统 |
-
2019
- 2019-01-11 CN CN201910027583.XA patent/CN109656141A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101055621A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于内容的敏感网页识别方法 |
CN101281521A (zh) * | 2007-04-05 | 2008-10-08 | 中国科学院自动化研究所 | 一种基于多分类器融合的敏感网页过滤方法及系统 |
CN102208992A (zh) * | 2010-06-13 | 2011-10-05 | 天津海量信息技术有限公司 | 面向互联网的不良信息过滤系统及其方法 |
CN102012985A (zh) * | 2010-11-19 | 2011-04-13 | 国网电力科学研究院 | 一种基于数据挖掘的敏感数据动态识别方法 |
CN102609407A (zh) * | 2012-02-16 | 2012-07-25 | 复旦大学 | 一种网络不良文本内容的细粒度语义检测方法 |
CN103336927A (zh) * | 2013-06-07 | 2013-10-02 | 杭州世平信息科技有限公司 | 一种基于数据分类的数据防泄漏方法及其系统 |
CN103617156A (zh) * | 2013-11-14 | 2014-03-05 | 上海交通大学 | 多协议网络文件内容检查方法 |
CN104809108A (zh) * | 2015-05-20 | 2015-07-29 | 成都布林特信息技术有限公司 | 信息监测分析系统 |
CN107992764A (zh) * | 2017-11-28 | 2018-05-04 | 国网河南省电力公司电力科学研究院 | 一种敏感网页识别与检测方法及装置 |
CN108419091A (zh) * | 2018-03-02 | 2018-08-17 | 北京未来媒体科技股份有限公司 | 一种基于机器学习的视频内容审核方法及装置 |
CN108717408A (zh) * | 2018-05-11 | 2018-10-30 | 杭州排列科技有限公司 | 一种敏感词实时监控方法、电子设备、存储介质及系统 |
Non-Patent Citations (1)
Title |
---|
周志华: "《机器学习》", 31 January 2016 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517469A (zh) * | 2019-08-08 | 2019-11-29 | 武汉兴图新科电子股份有限公司 | 一种适用于音视频融合平台的智能告警收敛方法 |
CN111177502A (zh) * | 2019-12-14 | 2020-05-19 | 贵州电网有限责任公司 | 一种基于决策树算法的电力通信网络冗余数据辨识方法及系统 |
WO2021233209A1 (zh) * | 2020-05-20 | 2021-11-25 | 华为技术有限公司 | 歧视性样本生成方法和电子设备 |
US12013874B2 (en) | 2020-12-14 | 2024-06-18 | International Business Machines Corporation | Bias detection |
WO2022142986A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 一种人工智能系统中数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109656141A (zh) | 基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质 | |
CN103824054B (zh) | 一种基于级联深度神经网络的人脸属性识别方法 | |
CN110148318A (zh) | 一种数字助教系统、信息交互方法和信息处理方法 | |
CN106295186A (zh) | 一种基于智能推理的辅助疾病诊断的方法与系统 | |
CN104657718A (zh) | 一种基于人脸图像特征极限学习机的人脸识别方法 | |
CN107015983A (zh) | 一种用于智能问答中提供知识信息的方法与设备 | |
CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
CN107644062A (zh) | 一种基于知识图谱的知识内容权重分析系统及方法 | |
CN109935337A (zh) | 一种基于相似性度量的病案查找方法及系统 | |
CN113934824B (zh) | 一种基于多轮智能问答的相似病历匹配系统及方法 | |
Wang et al. | Fuzzy mathematics and machine learning algorithms application in educational quality evaluation model | |
CN111339285B (zh) | 基于bp神经网络的企业简历筛选方法和系统 | |
Li | [Retracted] Application of Intelligent Fuzzy Decision Tree Algorithm in English Teaching Model Improvement | |
CN111104975A (zh) | 一种基于广度学习的信用评估模型 | |
WO2021128704A1 (zh) | 一种基于分类效用的开集分类方法 | |
Katsumata et al. | Spcomapgan: Spatial concept formation-based semantic mapping with generative adversarial networks | |
CN114242168B (zh) | 一种识别生物必需蛋白质方法 | |
CN110033191B (zh) | 一种商业人工智能的分析方法及系统 | |
CN112950414B (zh) | 一种基于解耦法律要素的法律文本表示方法 | |
Wei et al. | (Retracted) Image analysis and pattern recognition method of three-dimensional process in physical education teaching based on big data | |
Xiong | Application of artificial intelligence technology in decision support software | |
Bataev et al. | Artificial intelligence technologies in higher education institutions: a model of adaptive education | |
CN114840679A (zh) | 一种基于乐理知识图谱推理的机器人智能导学方法及应用 | |
Xu et al. | Recognition of Learners’ personality traits for software engineering education | |
Zhu | [Retracted] Analysis of University Education Management Based on Artificial Intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |
|
RJ01 | Rejection of invention patent application after publication |