CN107066633A - 基于人机互动的深度学习方法和装置 - Google Patents
基于人机互动的深度学习方法和装置 Download PDFInfo
- Publication number
- CN107066633A CN107066633A CN201710451464.8A CN201710451464A CN107066633A CN 107066633 A CN107066633 A CN 107066633A CN 201710451464 A CN201710451464 A CN 201710451464A CN 107066633 A CN107066633 A CN 107066633A
- Authority
- CN
- China
- Prior art keywords
- dialogue
- keyword
- human
- data
- computer interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 16
- 238000007418 data mining Methods 0.000 abstract description 9
- 230000002452 interceptive effect Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于人机互动的深度学习方法和装置,以解决人机互动深度学习数据挖掘的效率和互动匹配度较低的问题。所述的方法包括:对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度;根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇;分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中,同一问题簇内的各关键词具有相关性。通过对话数据的相似度分析可以消除对话数据中的噪声,同时减少了对对话数据中不相关数据的处理,有效地量化了问题的相似性,既提高了数据的处理效率,又提高了数据处理的精度。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种基于人机互动的深度学习方法和装置。
背景技术
人机交互技术(Human-Computer Interaction Techniques) 是指通过计算机输入、输出设备,以有效的方式实现人与计算机对话的技术。它包括机器通过语音输出或显示设备给人提供大量有关信息及提示请示等,人通过输入设备给机器输入有关信息,回答问题及提示请示等。而在传统的人机交互系统中,人被认为是操作员,只是对机器进行操作,而无真正的交互活动。
人机互动对话平台为用户提供的一个交流平台,用户可以在人机互动对话平台提出问题,得到网络云平台的搜索帮助,同时系统也可以主动提出预设的问题,得到用户的回答。经过统计和挖掘,可以获得用户的身份相关特征信息和他关注的领域信息。基于人机互动对话平台挖掘相关信息时,通常是抽取人机互动对话平台中对同一个话题的相关信息,然后根据用户针对同一问题的相关回答来挖掘出相关的信息。 例如,有关体育的话题,对于人机互动对话平台中的问题 1“喜欢运动么... ”,用户 在A 时间回答 : “不喜欢跑步”;用户 在B时间回答 : “我喜欢看田径比赛”。 对于问题 2“喜欢看那个体育比赛...”,用户 在A时间回答 : “足球”;用户 在B 时间回答 : “每周看英超联赛。”由此可以得知“跑步”“足球”和“英超”都是相关信息的关键词。
但是,对于同一个话题,各用户的回答可能包含有很多不相关数据或者噪声,会导致人机互动深度学习数据挖掘的效率和精度较低。 其中一种是由于对话数据对应的数据量往往过大,且不易量化答案的相关性,而导致产生很多不相关数据的计算,该计算并过程没有实际价值,进而导致人机互动深度学习数据挖掘的效率较低。 例如,对于上述问题 1,用户可能产生的不相关回答有“实况比赛都在半夜看不了”、“没法看现场比赛”等。 还有一种是由于话题的不明确而导致回答中包含较多噪声答案,进而导致挖掘的精度下降。 例如,对于问题 3“晚上看什么电视... ”,由于问题本身不明确,用户可能回答“电视剧”、“点播看看”、“歌手”等不同信息,在人机互动深度学习数据挖掘中通过统计词频等操作后“电视剧”、“点播看看”、“歌手”等都会被算作是相关信息,产生混淆的概念,使得人机互动深度学习数据挖掘结果不准确,数据分析效率往往偏低。
发明内容
本发明实施例所要解决的技术问题是提供一种基于人机互动的深度学习方法和装置,以解决人机互动深度学习数据挖掘的效率和精度较低的问题。
相应的,本发明实施例还提供了一种基于人机互动的深度学习方法和装置,用以保证上述方法的实现及应用。
为了解决上述问题,本发明公开了一种基于人机互动的深度学习方法和装置,包括 :
对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度 ;根据所述问答平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇 ;
分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中,同一问题簇内的各关键词具有相关性。
可选的,所述对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各答案数据的相似度,包括 :
对从人机互动对话平台获取的属于同一预设类别的各对话数据进行文本特征提取,获取对话数据的特征词汇 ;根据所述特征词汇计算各对话数据之间的相似度。
可选的,所述根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,包括 :
根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,分别查找每个对话数据对应的问题 ;按照所述各答案数据之间的相似度,对预设类别内的各项问题进行聚类,获取所述预设类别下聚类得到的各问题簇。
可选的,所述分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成相关词对,包括 :
按照预设的关键词列表对同一问题簇的各项问题进行文本匹配,提取与所述关键词列表匹配的各关键词构成相关词对。
可选的,所述提取所述问题簇中由各问题的关键词所构成的相关词对,还包括 :
统计问题簇中每个关键词在问题和 / 或对话数据中出现的频次 ;
采用出现的频次达到第一阈值的关键词构成相关词集合 ;
记录各相关词集合,以及所述相关对话集合内每个关键词出现的频次。
可选的,还包括 :从所述相关词对中查找与当前人机对话中提取的关键词具有相关性的相关词,并在所述当前人机对话中推送所述相关词。
可选的,还包括 :
提取当前人机对话中的关键词,以及所述关键词在用户关注度中的位置权重 ;
在相关词对中查找所述当前人机对话中每个关键词所在的相关词集合 ;
将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词 ;
按照所述关键词在用户关注度中的位置权重和所述相关词出现的频次对所述相关词进行排序,按照排序结果在所述当前人机对话中推送所述相关词。
可选的,所述对从人机互动对话平台获取的各对话数据分别进行文本分析之前,还包括 :从人机互动对话平台中获取问题以及问题对应的对话数据 ;对每个问题和对应的对话数据的文本进行特征提取 ;依据提取得到的特征对所述问题和对话数据进行分类,将所述问题和对话数据分别划分到既定的预设类别中。
本发明实施例还公开了一种基于人机互动的深度学习方法和装置,包括 :
分析模块,用于对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度 ;
聚类模块,用于根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇 ;
生成模块,用于分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中同一问题簇内的各关键词具有相关性。
可选的,所述分析模块,包括 :
特征提取子模块,用于对从人机互动对话平台获取的属于同一预设类别的各对话数据进行文本特征提取,获取对话数据的特征词汇 ;
相似度计算子模块,用于根据所述特征词汇计算各对话数据之间的相似度。
可选的,所述聚类模块,包括 :
查找子模块,用于根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,分别查找每个对话数据对应的问题 ;
聚类子模块,用于按照所述各对话数据之间的相似度,对预设类别内的各项问题进行聚类,获取所述预设类别下聚类得到的各问题簇。
可选的,所述生成模块,用于按照预设的关键词列表对同一问题簇的各项问题的文本进行匹配,提取与所述关键词列表匹配的各关键词构成相关词对。
可选的,所述生成模块,还用于统计问题簇中每个关键词在问题和 / 或对话数据中出现的频次 ;采用出现的频次达到第一阈值的关键词构成相关词集合 ;记录各相关词集合,以及所述相关词集合内每个关键词出现的频次。
可选的,还包括 :
推荐模块,用于从所述相关词对中查找与当前人机对话中提取的关键词具有相关性的相关词,并在所述当前人机对话中推送所述相关词。
可选的,还包括 :
提取模块,用于提取当前人机对话中的关键词,以及所述关键词在用户关注度中的位置权重 ;
所述推荐模块,用于在相关词对中查找所述当前人机对话中每个关键词所在的相关词集合 ;将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词;按照所述关键词在用户关注度中的位置权重和所述相关词出现的频次对所述相关词进行排序,按照排序结果在所述当前人机对话中推送所述相关词。
可选的,还包括 :
预处理模块,用于从人机互动对话平台中获取问题以及问题对应的答案数据 ;对每个问题和对应的对话数据的文本进行特征提取 ;依据提取得到的特征对所述问题和对话数据进行分类,将所述问题和对话数据分别划分到既定的预设类别中。
与现有技术相比,本发明实施例包括以下优点 :
通过对人机互动对话平台的对话数据进行文本分析确定各对话数据的相似度,然后根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照相似度分别对各对话数据对应的问题进行聚类,得到各问题簇,再分别从每个问题簇中提取具有相关性的相关词构成相关词对。 对由于问题不精确而导致对话数据中噪声较大的情况,通过对话数据的相似度分析可以消除对话数据中的噪声,同时减少了对对话数据中不相关数据的处理,有效地量化了问题的相似性,既提高了数据的处理效率,又提高了数据处理的精度。
附图说明
图 1 是本发明的一种基于人机互动的深度学习方法和装置实施例的步骤流程图 ;
图 2 是本发明的一种基于人机互动的深度学习方法和装置可选实施例的步骤流程图 ;
图 3 是本发明实施例提供的基于该相关词进行推送的方法流程图 ;
图 4 是本发明一种基于人机互动的深度学习方法和装置实施例的结构框图 ;
图 5 是本发明一种基于人机互动的深度学习方法和装置可选实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一在于,提出一种基于人机互动的深度学习方法和装置,以解决人机互动深度学习数据挖掘的效率和精度较低的问题。 通过对人机互动对话平台的对话数据分别进行文本分析确定各对话数据的相似度,然后根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照相似度分别对各对话数据对应的问题进行聚类,得到各问题簇,再分别从每个问题簇中提取具有相关性的相关词构成相关词对。
对由于问题不精确而导致对话数据中噪声较大的情况,通过对话数据的相似度分析可以消除对话数据中的噪声,同时减少了对答案数据中不相关数据的处理,有效地量化了问题的相似性,既提高了数据的处理效率,又提高了数据处理的精度。
参照图 1,示出了本发明的一种基于人机互动的深度学习方法和装置实施例的步骤流程图,具体可以包括如下步骤 :
步骤 S11,对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度。人机互动对话平台用于对对话内容进行处理和信息检索,用户可以在人机互动对话平台中进行提问,系统也可以主动给用户提出预设的问题。
对于人机互动对话平台中数据的挖掘,可以从人机互动对话平台中获取问题以及对话数据,然后对各对话数据分别进行文本分析,即对对话数据的文本进行分析处理,如分词,又如确定不同对话数据中词条的相似度等,从而通过分析处理获取各对话数据的相似度。
步骤S12,根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇。
人机互动对话平台中各项问题和对话数据之间是具有对应关系的,即对话数据往往是对某一问题的回答,因此从人机互动对话平台中挖掘数据时要记录各项问题与对话数据之间的对应关系,然后按照该对应关系确定对话数据对应的问题,再以各对话数据的之间相似度作为该对话数据对应问题之间的相似度,对问题进行聚类等到同一类别的问题簇,即彼此之间具有相似性的问题的集合。
步骤S13,分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对。提取出具有相关性的问题构成问题簇后,对问题簇中各项问题的文本进行分析,通过对文本的分词等处理获取其中的关键词。由于同一问题簇中各项问题具有相关性,因此从同一问题簇的各项问题中提取的关键词也具有相关性。
综上所述,通过对人机互动对话平台的对话数据分别进行文本分析确定各对话数据的相似度,然后根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照相似度分别对各对话数据对应的问题进行聚类,得到各问题簇,再分别从每个问题簇中提取具有相关性的相关词构成相关词对。
对由于问题不精确而导致对话数据中噪声较大的情况,通过答案数据的相似度分析可以消除对话数据中的噪声,同时减少了对对话数据中不相关数据的处理,有效地量化了问题数据的相似性,既提高了数据的处理效率,又提高了数据处理的精度。
实施例二 在上述实施例的基础上,本实施例进一步论述对人机互动对话平台的人机互动深度学习数据挖掘处理过程。
参照图 2,示出了本发明的一种基于人机互动的深度学习方法和装置可选实施例的步骤流程图,具体可以包括如下步骤 :
步骤S21,从人机互动对话平台中获取问题以及问题对应的对话数据。
步骤S22,对每个问题和对应的对话数据的文本进行特征提取。
步骤 S23,依据提取得到的特征对所述问题和对话数据进行分类,将所述问题和答案数据分别划分到既定的预设类别中。从人机互动对话平台中获取问题及其对应的对话数据,并且采用问题和问题对应所有的答案数据的数据结构进行存储,即按照各项问题与对话数据之间的对应关系对应存储问题和对话数据。
本实施例中以从人机互动对话平台中的各项问题数据中提取关键词为例进行论述,为了提高推送相关词的相关性,预先设定了人机互动对话平台中各项问题的分类类别,如爱好、旅行、行程安排等等。 对获取的每个问题及对应的对话数据的文本进行特征提取,如分别提取问题和答案数据中的特征词汇,依据特征词汇对问题和对应对话数据进行分类,将问题和对应答案数据分至既定的某一预设类别中。 如从问题和对应对话数据中提取出“爱好”、“旅行”、“行程安排”等特征词汇,可以确定将其分入预设类别兴趣中,并将分类后的问题和对应答案数据存入问答数据库中。例如,对于某一人机互动对话平台,系统首先抓取该人机互动对话平台的所有数据,形成问题和对应对话数据的数据结构进行存储。
步骤S24,对从人机互动对话平台获取的属于同一预设类别的各对话数据进行文本特征提取,获取对话数据的特征词汇。
步骤S25,根据所述特征词汇计算各对话数据之间的相似度。
步骤 S26,根据所述人机互动对话平台记录该预设类别内的各项问题与对话数据之间的对应关系,分别查找每个各对话数据对应的问题。
步骤 S27,按照所述各对话数据之间的相似度,对预设类别内的各项问题进行聚类,获取所述预设类别下聚类得到的各问题簇。查找提取数据时记录的各项问题与对话数据之间的对应关系,查找出各对话数据对应的问题,利用各答案特征所计算的对话数据之间的相似度,作为对话数据对应问题之间的相似度。获取问题簇之后,可以分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成相关词对。
实际上从问题簇中提取关键词构成相关词对的方法很多。 例如,对每个问题簇中的各项问题的文本进行的语句进行划分,再对每个语句进行分词提取得到相应的词汇,然后按照各词汇的出现频率等进行权重打分,从而通过复现频率等方式判定各关键词,得到相关词对。 又如采用如下述步骤S28 的方法构成相关词对。
步骤S28,按照预设的关键词列表对同一问题簇的各项问题进行文本匹配,提取与所述关键词列表匹配的各关键词构成相关词对。采用该对话列表对同一问题簇内的各项问题进行文本的匹配抽取,提取与所述关键词列表匹配的各关键词构成相关词对。相关词对为多个关键词构成的集合,其中的各关键词互为相关词,可在被调用时互为推送。
本发明一个可选实施例中,提取关键词构成相关词对的步骤还包括 :
统计问题簇中每个关键词在问题和 / 或对话数据中出现的频次 ;
采用出现的频次达到第一阈值的关键词构成相关词集合 ;
记录各相关词集合,以及所述相关对话集合内每个关键词出现的频次。统计问题簇中每个关键词在问题的频次,以及该关键词在对话数据中出现的频次,将关键词在问题中出现的频次,或关键词在对话数据中出现的频次,或关键词在问题和答案中出现的频次作为该关键词的频次,采用各关键词的频次与第一阈值进行比较,将出现的频次达到第一阈值的关键词构成相关词集合。 并且,在相关词对中记录各相关词集合,以及所述相关词集合内每个关键词出现的频次。
通过上述处理,可以对人机互动对话平台中提取的关联的问题和对话数据进行处理,通过对对话数据的文本特征提取,滤除对话数据中的噪声,并采用特征词汇计算各对话数据之间的相似度,减少对话数据的不相关性。 通过答案的相似度量化问题的相似度,在通过答案数据间的相似度对问题进行聚类,得到具有相关性的问题簇。通过上述人机互动深度学习数据挖掘处理步骤,可以得到基于人机互动对话平台而形成的相关词对,可以将该相关词对应用到很多不同的领域中。
一个可选实施例中,从所述相关词对中查找与用户关注度当前对话中提取的各关键词具有相关性的相关词,并在所述用户关注度中进行推送。 即对当前对话用户关注度进行分析,获取其中的关键词,然后在相关词对中查找该与该关键词具有相关性的相关词,并在所述用户关注度中推送所述相关词。
下面采用实施例论述基于该相关词进行推送的步骤流程,如图 3 所示。
步骤S31,提取当前人机对话中的关键词,以及所述关键词在用户关注度中的位置权重。从对话平台中获得用户正在人机对话的原始内容。获知该用户关注度在所有预设类别中所属的类别。 然后对该原始内容进行分句、分词等操作获取关键词,又如使用该类别既有关键词列表对标题和正文进行匹配,获得用户关注度中的关键词,并记录关键词在文中的位置。
步骤S32,在相关词对中查找所述当前人机对话中每个关键词所在的相关词集合。
步骤 S33,将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词。
本实施例中从问题中提取的关键词限定与输入关键词具有相同的分类,对用户关注度中提取的每个关键词,在相关词对中查找包含该关键词的各个相关词集合。 将所有相关词集合中的各关键词进行合并,分别获取相关词对中存储的每个关键词的频次,选取频次较高的足够数量的相关词作为可能的推送候选。 可以采用关键词的频次与第二阈值进行比较,将频次达到第二预置的关键词作为提取的关键词的相关词。
步骤S34,按照所述关键词在用户关注度中的位置权重和所述相关词出现的频次对所述相关词进行排序,按照排序结果在所述当前人机对话中推送所述相关词。选取频次较高的足够数量的相关词作为可能的推送候选时,可以仅按照频次由高到低对关键词进行排序。 也可以根据关键词的频次,以及提取的关键词在最终页中出现的位置的重要程度对关键词进行排序。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三 在上述实施例的基础上,本实施例还提供了一种基于人机互动的深度学习方法和装置。
参照图 4,示出了本发明一种基于人机互动的深度学习方法和装置实施例的结构框图,具体可以包括如下模块 :
分析模块110,用于对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各答案数据的相似度 ;
聚类模块120,用于根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度对分别各对话数据对应的问题进行聚类,得到各问题簇 ;
生成模块130,用于对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中同一问题簇内的各关键词具有相关性。
综上所述,通过对人机互动对话平台的对话数据进行文本分析确定各对话数据的相似度,然后根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照相似度分别对各对话数据对应的问题进行聚类,得到各问题簇,再分别从每个问题簇中提取具有相关性的相关词构成相关词对。 对由于问题不精确而导致对话数据中噪声较大的情况,通过答案数据的相似度分析可以消除对话数据中的噪声,同时减少了对对话数据中不相关数据的处理,有效地量化了问题的相似性,既提高了数据的处理效率,又提高了数据处理的精度。
参照图 5,示出了本发明一种基于人机互动的深度学习方法和装置可选实施例的结构框图。本发明一个可选实施例中,所述分析模块110,包括 :
特征提取子模块,用于对从人机互动对话平台获取的属于同一预设类别的各对话数据进行文本特征提取,获取对话数据的特征词汇 ;
相似度计算子模块,用于根据所述特征词汇计算各对话数据之间的相似度。
本发明一个可选实施例中,所述聚类模块120,包括 :
查找子模块,用于根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,分别查找所述每个对话数据对应的问题 ;聚类子模块,用于按照所述各对话数据之间的相似度,对预设类别内的各项问题进行聚类,获取所述预设类别下聚类得到的各问题簇。
本发明一个可选实施例中,
所述生成模块130,用于按照预设的关键词列表对同一问题簇的各项问题的文本进行匹配,提取与所述关键词列表匹配的各关键词构成相关词对。
本发明一个可选实施例中,
所述生成模块130,还用于统计问题簇中每个关键词在问题和 / 或对话数据中出现的频次 ;采用出现的频次达到第一阈值的关键词构成相关词集合 ;在相关词对中记录各相关词集合,以及所述相关词集合内每个关键词出现的频次。
本发明一个可选实施例中,所述的装置还包括 :
推荐模块140,用于从所述相关词对中查找与当前人机对话中提取的关键词具有相关性的相关词,并在所述当前人机对话中推送所述相关词。
本发明一个可选实施例中,所述的装置还包括 :
提取模块150,用于提取当前对话用户关注度中的关键词,以及所述关键词在用户关注度中的位置权重 ;
所述推荐模块140,用于在相关词对中查找所述当前人机对话中每个关键词所在的相关词集合 ;将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词 ;按照所述关键词在用户关注度中的位置和所述相关词出现的频次对所述相关词进行排序,按照排序结果在所述当前人机对话中推送 所述相关词。
本发明一个可选实施例中,所述的装置还包括 :
预处理模块160,用于从人机互动对话平台中获取问题以及问题对应的对话数据 ;
对每个问题和对应的对话数据的文本进行特征提取 ;
依据提取得到的特征对所述问题和对话数据进行分类,将所述问题和对话数据分别划分到既定的预设类别中。
综上所述,通过上述人机互动深度学习数据挖掘处理步骤,可以得到基于人机互动对话平台而形成的相关词对,可以将该相关词对应用到很多不同的领域中。
一个可选实施例中,从所述相关词对中查找与用户关注度当前对话中提取的各关键词具有相关性的相关词,并在所述用户关注度中推送所述相关词。 即对当前人机对话进行分析,获取其中的关键词,然后在相关词对中查找该与关键词具有相关性的相关词,并在所述用户关注度中推送所述相关词。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。 因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。 而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质 ( 包括但不限于磁盘存储器、CD-ROM、光学存储器等 ) 上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备 ( 系统 )、和计算机程序产品的流程图和/或方框图来描述的。 应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。 所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个对话或者操作与另一个对话或操作区分开来,而不一定要求或者暗示这些对话或操作之间存在任何这种实际的关系或者顺序。 而且,术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。 在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于人机互动的深度学习方法和装置和一种基于人机互动对话平台的数据处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想 ;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处, 综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于人机互动的深度学习方法和装置,其特征在于,包括 :
对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度 ; 根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇 ;
分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中,同一问题簇内的各关键词具有相关性。
2.根据权利要求 1 所述的方法,其特征在于,所述对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度,包括 :
对从人机互动对话平台获取的属于同一预设类别的各对话数据进行文本特征提取,获取答案数据的特征词汇 ;
根据所述特征词汇计算各对话数据之间的相似度。
3.根据权利要求 1或 2所述的方法,其特征在于,所述根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类, 包括 :
根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,分别查找每个答案数据对应的问题 ;
按照所述各对话数据之间的相似度,对预设类别内的各项问题进行聚类,获取所述预设类别下聚类得到的各问题簇。
4.根据权利要求 1 所述的方法,其特征在于,所述分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成相关词对,包括 :
按照预设的关键词列表对同一问题簇的各项问题进行文本匹配,提取与所述关键词列表匹配的各关键词构成相关词对。
5.根据权利要求 1或 4所述的方法,其特征在于,所述提取所述问题簇中由各问题的关键词所构成的相关词对,还包括 :
统计问题簇中每个关键词在问题和 / 或对话数据中出现的频次 ;
采用出现的频次达到第一阈值的关键词构成相关词集合 ;
记录各相关词集合,以及所述相关对话集合内每个关键词出现的频次。
6.根据权利要求 1 所述的方法,其特征在于,还包括 :
从所述相关词对中查找与当前人机对话中提取的关键词具有相关性的相关词,并在所述当前人机对话中推送所述相关词。
7.根据权利要求 6 所述的方法,其特征在于,还包括 :
提取当前人机对话中的关键词,以及所述关键词在用户关注度中的位置权重 ;
在相关词对中查找所述当前人机对话中每个关键词所在的相关词集合 ;
将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词 ;
按照所述关键词在用户关注度中的位置权重和所述相关词出现的频次对所述相关词进行排序,按照排序结果在所述当前人机对话中推送所述相关词。
8.根据权利要求 1或 2所述的方法,其特征在于,所述对从人机互动对话平台获取的各对话数据分别进行文本分析之前,还包括 :
从人机互动对话平台中获取问题以及问题对应的对话数据 ;
对每个问题和对应的对话数据的文本进行特征提取 ;
依据提取得到的特征对所述问题和对话数据进行分类,将所述问题和对话数据分别划分到既定的预设类别中。
9.一种基于人机互动的深度学习方法和装置,其特征在于,包括 :
分析模块,用于对从人机互动对话平台获取的各对话数据分别进行文本分析,确定各对话数据的相似度 ;
聚类模块,用于根据所述人机互动对话平台记录的各项问题与对话数据之间的对应关系,按照所述相似度分别对各对话数据对应的问题进行聚类,得到各问题簇 ;
生成模块,用于分别对每个问题簇中的各项问题进行文本分析,提取所述问题簇中由各问题的关键词所构成的相关词对,其中同一问题簇内的各关键词具有相关性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710451464.8A CN107066633A (zh) | 2017-06-15 | 2017-06-15 | 基于人机互动的深度学习方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710451464.8A CN107066633A (zh) | 2017-06-15 | 2017-06-15 | 基于人机互动的深度学习方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107066633A true CN107066633A (zh) | 2017-08-18 |
Family
ID=59595603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710451464.8A Pending CN107066633A (zh) | 2017-06-15 | 2017-06-15 | 基于人机互动的深度学习方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107066633A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918640A (zh) * | 2017-10-20 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 样本确定方法及装置 |
CN109492109A (zh) * | 2018-11-22 | 2019-03-19 | 北京神州泰岳软件股份有限公司 | 一种信息热点挖掘方法及装置 |
CN111274378A (zh) * | 2020-02-13 | 2020-06-12 | 南京云问网络技术有限公司 | 用于问答的数据处理方法以及装置、设备、存储介质 |
CN111340218A (zh) * | 2020-02-24 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 一种训练问题识别模型的方法和系统 |
TWI732271B (zh) * | 2018-08-29 | 2021-07-01 | 大陸商騰訊科技(深圳)有限公司 | 人機對話方法、裝置、電子設備及電腦可讀媒體 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008027207A (ja) * | 2006-07-21 | 2008-02-07 | Gunma Univ | 検索装置及び検索方法 |
CN103823844A (zh) * | 2014-01-26 | 2014-05-28 | 北京邮电大学 | 社区问答服务中基于主客观上下文的问题转发系统和方法 |
CN104915447A (zh) * | 2015-06-30 | 2015-09-16 | 北京奇艺世纪科技有限公司 | 一种热点话题追踪及关键词确定方法及装置 |
CN105005564A (zh) * | 2014-04-17 | 2015-10-28 | 北京搜狗科技发展有限公司 | 一种基于问答平台的数据处理方法和装置 |
-
2017
- 2017-06-15 CN CN201710451464.8A patent/CN107066633A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008027207A (ja) * | 2006-07-21 | 2008-02-07 | Gunma Univ | 検索装置及び検索方法 |
CN103823844A (zh) * | 2014-01-26 | 2014-05-28 | 北京邮电大学 | 社区问答服务中基于主客观上下文的问题转发系统和方法 |
CN105005564A (zh) * | 2014-04-17 | 2015-10-28 | 北京搜狗科技发展有限公司 | 一种基于问答平台的数据处理方法和装置 |
CN104915447A (zh) * | 2015-06-30 | 2015-09-16 | 北京奇艺世纪科技有限公司 | 一种热点话题追踪及关键词确定方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918640A (zh) * | 2017-10-20 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 样本确定方法及装置 |
TWI732271B (zh) * | 2018-08-29 | 2021-07-01 | 大陸商騰訊科技(深圳)有限公司 | 人機對話方法、裝置、電子設備及電腦可讀媒體 |
US11775760B2 (en) | 2018-08-29 | 2023-10-03 | Tencent Technology (Shenzhen) Company Limited | Man-machine conversation method, electronic device, and computer-readable medium |
CN109492109A (zh) * | 2018-11-22 | 2019-03-19 | 北京神州泰岳软件股份有限公司 | 一种信息热点挖掘方法及装置 |
CN109492109B (zh) * | 2018-11-22 | 2021-09-17 | 鼎富智能科技有限公司 | 一种信息热点挖掘方法及装置 |
CN111274378A (zh) * | 2020-02-13 | 2020-06-12 | 南京云问网络技术有限公司 | 用于问答的数据处理方法以及装置、设备、存储介质 |
CN111274378B (zh) * | 2020-02-13 | 2021-09-24 | 南京云问网络技术有限公司 | 用于问答的数据处理方法以及装置、设备、存储介质 |
CN111340218A (zh) * | 2020-02-24 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 一种训练问题识别模型的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dzabraev et al. | Mdmmt: Multidomain multimodal transformer for video retrieval | |
CN107066633A (zh) | 基于人机互动的深度学习方法和装置 | |
US9679558B2 (en) | Language modeling for conversational understanding domains using semantic web resources | |
US11790933B2 (en) | Systems and methods for manipulating electronic content based on speech recognition | |
CN105142028B (zh) | 面向三网融合的电视节目内容搜索与推荐方法 | |
CN104765769B (zh) | 一种基于词矢量的短文本查询扩展及检索方法 | |
Brambilla et al. | Extracting emerging knowledge from social media | |
CN110209897B (zh) | 智能对话方法、装置、存储介质及设备 | |
EP2833271A1 (en) | Multimedia question and answer system and method | |
CN105979376A (zh) | 一种推荐方法和装置 | |
WO2020232796A1 (zh) | 多媒体数据匹配方法、装置和存储介质 | |
CN109101479A (zh) | 一种用于中文语句的聚类方法及装置 | |
CN103956169A (zh) | 一种语音输入方法、装置和系统 | |
CN106250553A (zh) | 一种服务推荐方法及终端 | |
CN110557659A (zh) | 视频推荐方法、装置、服务器及存储介质 | |
CN103678668A (zh) | 相关搜索结果的提示方法、服务器及系统 | |
CN108920649B (zh) | 一种信息推荐方法、装置、设备和介质 | |
CN113779381B (zh) | 资源推荐方法、装置、电子设备和存储介质 | |
Medaglia | eParticipation research: A longitudinal overview | |
US20150112683A1 (en) | Document search device and document search method | |
Yang et al. | Lecture video browsing using multimodal information resources | |
US20160196563A1 (en) | Method to expand seed keywords into a relevant social query | |
Roshdy et al. | An efficient content-based video recommendation | |
CN114756646A (zh) | 一种对话方法、对话装置及智能设备 | |
Cardoso Coutinho et al. | Making social media analysis more efficient through taxonomy supported concept suggestion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210707 Address after: Room 1801 2, 321 Jiahe Road, Siming District, Xiamen City, Fujian Province 361000 (Huiteng building) Applicant after: Shengxing (Xiamen) Construction Engineering Co.,Ltd. Address before: 361000 283, unit 604B, Yuntong center, No.95, Xiangyun 1st Road, Xiamen area, Huli Free Trade Zone, Xiamen City, Fujian Province Applicant before: XIAMEN GENESISTALENT HEALTH & TECHNOLOGY Co.,Ltd. |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170818 |