CN117349408A - 一种人机互动结果生成方法及系统 - Google Patents
一种人机互动结果生成方法及系统 Download PDFInfo
- Publication number
- CN117349408A CN117349408A CN202311645870.XA CN202311645870A CN117349408A CN 117349408 A CN117349408 A CN 117349408A CN 202311645870 A CN202311645870 A CN 202311645870A CN 117349408 A CN117349408 A CN 117349408A
- Authority
- CN
- China
- Prior art keywords
- text data
- data
- target
- historical
- target text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种人机互动结果生成方法及系统，涉及人机互动技术领域，包括：分析对对目标用户的个体行为数据转换得到的目标文本数据进行匹配搜索得到的第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则获取目标用户的当前使用服务项目，并调用人机互动引擎进行互动响应；若存在，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。通过判定数据库中存在与用户个体行为数据文本转换得到的目标文本数据相似的历史文本数据时，筛选出最优执行指令并传送至人机互动引擎进行互动响应，若判定不存在则确定目标用户的当前使用服务项目并调用人机互动引擎进行互动响应，来提高人机互动效率与灵活度。
Description
技术领域
本发明涉及人机交互技术领域，特别涉及一种人机互动结果生成方法及系统。
背景技术
近年来，随着国家科技的快速发展，人机交互技术也渗透到日常生活的方方面面，是当前新兴技术的重要发展方向之一。
人机交互技术是研究系统和用户间交互关系的技术，系统不仅只是计算机界面，也可以是各种各样的机器、设备，尤其人工智能技术的进步促使语音交互、触控交互等创新性交互方式产生，且多用于多种交互方式结合运作，而多种交互方式相结合运作又存在数据浪费、交互流程复杂等缺点，很可能会导致用户在与机器交互过程中产生疲惫感。
因此，本发明提供一种人机互动结果生成方法及系统，以实现多种交互方式相结合运作的同时保证人机互动灵活有效。
发明内容
本发明提供一种人机互动结果生成方法及系统，用以通过判定数据库中存在与用户个体行为数据文本转换得到的目标文本数据相似的历史文本数据时，筛选出最优执行指令并传送至人机互动引擎进行互动响应，若判定不存在则确定目标用户的当前使用服务项目并调用人机互动引擎进行互动响应，来提高人机互动效率与灵活度。
本发明提供一种人机互动结果生成方法，如图1所示，包括：
步骤1：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
步骤2：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
步骤3：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
优选的，终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据，包括：
利用所述终端设备的数据采集装置实时接收目标用户的个体行为数据；
对所述目标用户的个体行为数据进行分类识别，得到行为数据类别；
基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据。
优选的，基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据，包括：
基于所述行为数据类别，若个体行为数据为语音数据，则当该语音数据长度小于预设长度阈值时，对该数据进行文本识别得到第一识别结果；
利用上下文语义解析技术对所述第一识别结果进行语义补全后得到第一文本数据；
否则，首先将该语音数据切分为多个短语音后再分别识别得到每个短语音对应的第二识别结果；
利用上下文语义解析技术对第二识别结果进行语义补全得到第一文本数据；
再对所述语音数据进行语义语调相似分析，来获取所述语音数据匹配的语言规则；
利用匹配的语言规则，对所述第一文本数据进行修正，得到目标文本数据；
若个体行为数据为触控数据，则将感知类别、感知过程数据与感应知识信息库相结合进行文本识别得到感应识别结果，并作为目标文本数据输出；
若个体行为数据为图像数据，则对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据。
优选的，对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据，包括：
利用特征提取网络提取个体行为数据的特征图，结合姿态自建数据集，再通过若干卷积层提取关键点置信区以及关键点邻域，从而获取人体行为关键点；
当存在关键点缺失时，前后各追溯3帧，再分别选取前3帧与后3帧内距离缺失关键点最近且距离间隔不大于预设间隔阈值的2个关键点，并组合得到第一组与第二组；
求取第一组与第二组内对应2个关键点所在的直线，再将直线相交的交点作为缺失关键点；
当前后各追溯3帧后，不存在与缺失关键点距离间隔不大于预设间隔阈值的关键点，则放弃寻找缺失关键点；
将获取的所有关键点进行相连得到人体行为关键点连接图；
对所述人体行为关键点连接图通过标准化层进行归一化处理后，利用注意力图卷积网络提取多尺度时空特征，再进行分类识别得到所述个体行为数据的动作文本描述，并作为目标文本数据输出。
优选的，基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果，包括：
对所述目标文本数据进行预处理，形成目标字符串；
利用字符串匹配算法哈希算法对所述目标字符串进行哈希计算，得到哈希值；
从用户行为记录数据库中搜索与所述目标文本数据的哈希值相等的文本数据，作为待选文本数据；
再将所述目标文本数据与待选文本数据进行相似度分析，得到第一相似度；
将第一相似度不小于预设相似度阈值的待选文本数据判定为与所述目标文本数据相似匹配，作为第一匹配结果输出。
优选的，根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应，包括：
根据所述第一匹配结果，确定用户行为记录数据库内不存在与所述目标文本数据相似的历史文本数据时，结合预置关键词字典，对所述目标文本数据进行关键词提取，并将提取结果集合作为第一结果集输出；
若第一结果集为空，则对接收的目标用户的个体行为数据进行重新转换分析，得到新目标文本数据；
若第一结果集中只存在一个关键词或多个相同关键词，则对服务项目池进行搜索，从而获取与所述关键词匹配的服务项目，作为目标用户的当前使用服务项目；
若第一结果集中存在多个不同关键词，则对服务项目池进行搜索，从而获取与每个关键词匹配的服务项目，并按照关键词的获取时间，对关键词对应匹配的服务项目按序构建得到目标用户的当前使用服务项目列表；
生成与目标用户的当前使用服务项目或当前使用服务项目列表内所有服务项目的对应可执行指令，并传送至人机互动引擎；
人机互动引擎根据接收的可执行指令，作出对应互动响应，并生成用户记录数据存储于用户行为记录数据库中。
优选的，若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应，包括：
若根据第一匹配结果得到只存在一个与所述目标文本数据相似的历史文本数据，则生成与该历史文本数据匹配的历史可执行指令相同的可执行指令传送至人机互动引擎进行对应互动响应；
若根据第一匹配结果得到存在多个与所述目标文本数据相似的历史文本数据，且对应匹配的历史可执行指令不一致，则基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，并传送至人机互动引擎，作出对应互动响应。
优选的，基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，包括：
将与所述目标文本数据相似的多个历史文本数据标定为第一历史文本数据；
获取所述第一历史文本数据对应匹配的历史可执行指令的响应频率与误判率；
再结合目标文本数据与第一历史文本数据的第一相似度，构建指令匹配度的计算公式来求取目标文本数据与第一历史文本数据对应匹配的历史可执行指令的匹配度；
其中，指令匹配度的计算公式如下所示：
式中，/>表示为目标文本数据与第i个第一历史文本数据对应匹配的历史可执行指令的匹配度；/>表示为目标文本数据与第i个第一历史文本数据的第一相似度；/>表示为目标文本数据与第一历史文本数据的差异权重；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令的响应频率；表示为第i个第一历史文本数据对应匹配的历史可执行指令的误判率；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令与目标文本数据的可能匹配权重；/>表示标准响应频率且/>表示调节函数；
生成与匹配度最高的历史可执行指令相同的执行指令作为最优执行指令，传送至人机互动引擎，以作出针对所述目标文本数据的互动响应。
本发明提供一种人机互动结果生成系统，包括：
数据转换模块：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
数据匹配模块：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
结果生成模块：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种人机互动结果生成方法的流程图；
图2为本发明实施例中一种人机互动结果生成系统的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种人机互动结果生成方法，包括：
步骤1：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
步骤2：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
步骤3：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
该实施例中，终端设备指的是含有计算机的机器；目标用户指的是想要与机器进行互动的客户；个体行为数据包括有语音数据、触控数据以及图像数据。
该实施例中，目标文本数据指的是根据数据类别选定指定转换方式对该个体行为数据文本转换得到的数据；用户行为记录数据库用于记录用户的历史记录数据，其中历史记录数据包括有用户的历史个体行为数据、历史文本数据、历史文本数据哈希值、历史可执行指令以及互动响应过程数据，比如响应时间点。
该实施例中，第一匹配结果指的是与目标文本数据的第一相似度不小于预设相似度阈值，且哈希值一致的历史文本数据；当前使用服务项目指的是判定不存在与所述目标文本数据相似的历史文本数据时，对目标文本数据提取关键词进行服务项目池搜索，从而获取的服务项目，可表示目标用户的互动意图。
该实施例中，最优执行指令指的是判定存在与所述目标文本数据相似的历史文本数据时，基于目标用户历史使用记录从相似的历史文本数据的对应可执行指令中筛选出的最有可能的可执行指令；人机互动引擎用于响应接收的可执行指令从而控制机器与目标用户互动。
上述技术方案的有益效果是：通过判定数据库中存在与用户个体行为数据文本转换得到的目标文本数据相似的历史文本数据时，筛选出最优执行指令并传送至人机互动引擎进行互动响应，若判定不存在则确定目标用户的当前使用服务项目并调用人机互动引擎进行互动响应，来提高人机互动效率与灵活度。
本发明实施例提供一种人机互动结果生成方法，终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据，包括：
利用所述终端设备的数据采集装置实时接收目标用户的个体行为数据；
对所述目标用户的个体行为数据进行分类识别，得到行为数据类别；
基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据。
该实施例中，终端设备指的是含有计算机的机器；数据采集装置用于采集个体行为数据，包括有摄像头、触控感应器、声音接收器等；目标用户指的是想要与机器进行互动的客户；个体行为数据包括有语音数据、触控数据以及图像数据。
该实施例中，行为数据类别指的是数据类型，比如语音数据、图像数据；指定转换方式用于按照不同数据类别对个体行为数据转换为文本数据的方式；目标文本数据指的是根据数据类别选定指定转换方式对该个体行为数据文本转换得到的数据。
上述技术方案的有益效果是：通过对接收的目标用户的个体行为数据进行分类识别，得到行为数据类别；再基于行为数据类别，以实现对目标用户的个体行为数据的准确文本数据转换，为后续文本数据匹配奠定数据支撑。
本发明实施例提供一种人机互动结果生成方法，基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据，包括：
基于所述行为数据类别，若个体行为数据为语音数据，则当该语音数据长度小于预设长度阈值时，对该数据进行文本识别得到第一识别结果；
利用上下文语义解析技术对所述第一识别结果进行语义补全后得到第一文本数据；
否则，首先将该语音数据切分为多个短语音后再分别识别得到每个短语音对应的第二识别结果；
利用上下文语义解析技术对第二识别结果进行语义补全得到第一文本数据；
再对所述语音数据进行语义语调相似分析，来获取所述语音数据匹配的语言规则；
利用匹配的语言规则，对所述第一文本数据进行修正，得到目标文本数据；
若个体行为数据为触控数据，则将感知类别、感知过程数据与感应知识信息库相结合进行文本识别得到感应识别结果，并作为目标文本数据输出；
若个体行为数据为图像数据，则对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据。
该实施例中，行为数据类别包括有语音数据类别、触控数据类别以及图像数据类别；预设长度阈值是提前设定好的；第一识别结果指的是长度小于预设长度阈值的语音数据进行文本识别得出的数据；第一文本数据是对第一识别结果或第二识别结果基于上下文语义解析技术进行语义信息分析再语义补全处理后得到的数据；第二识别结果指的是长度不小于预设长度阈值的语音数据进行文本识别得出的数据。
该实施例中，语言规则指的是普通话与方言的语义规则和语调规则；语义语调相似分析；目标文本数据是基于语言规则，并结合语音数据语义语调相似分析结果对第一文本数据修正得到的数据。
该实施例中，触控数据指的是目标用户点击终端设备显示屏时，对应感知区域设置的触控感应器同步采集的数据；感知类别指的是单指感应与多指感应；感知过程数据包括有感知视频数据、手势感应时间点以及手势轨迹；感应知识信息库用于存储单指感应与多指感应的触发条件，比如手势轨迹、操作时长；感应识别结果是将感知类别、感知过程数据与感应知识信息库相结合进行文本识别得到的数据；感知时间点指的是手势感应时间点；目标文本数据指的是感应识别结果；图像数据是利用终端设备上设置的摄像头采集到的数据；姿态自建数据集由自建的用户动作数据构成。
上述技术方案的有益效果是：通过确定个体行为数据为语音数据、触控数据或图像数据时的文本指定转换方式，来对目标用户的个体行为数据进行准确文本数据转换，为后续文本数据匹配奠定了关键数据基础。
本发明实施例提供一种人机互动结果生成方法，对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据，包括：
利用特征提取网络提取个体行为数据的特征图，结合姿态自建数据集，再通过若干卷积层提取关键点置信区以及关键点邻域，从而获取人体行为关键点；
当存在关键点缺失时，前后各追溯3帧，再分别选取前3帧与后3帧内距离缺失关键点最近且距离间隔不大于预设间隔阈值的2个关键点，并组合得到第一组与第二组；
求取第一组与第二组内对应2个关键点所在的直线，再将直线相交的交点作为缺失关键点；
当前后各追溯3帧后，不存在与缺失关键点距离间隔不大于预设间隔阈值的关键点，则放弃寻找缺失关键点；
将获取的所有关键点进行相连得到人体行为关键点连接图；
对所述人体行为关键点连接图通过标准化层进行归一化处理后，利用注意力图卷积网络提取多尺度时空特征，再进行分类识别得到所述个体行为数据的动作文本描述，并作为目标文本数据输出。
该实施例中，特征提取网络用于从图像数据中提取目标用户的特征图；姿态自建数据集由自建的用户动作数据构成；关键点置信区；关键点邻区；人体行为关键点是基于关键点置信区以及关键点邻区估计得出的，其中关键点置信区用于表示关键点位置估计区域，关键点邻域用于表示人体躯干位置与方向；
该实施例中，预设间隔阈值是提前设定好的。
该实施例中，第一组指的是特征图前3帧内距离缺失关键点最近且距离间隔不大于预设间隔阈值的2个关键点的组合；第二组指的是特征图后3帧内距离缺失关键点最近且距离间隔不大于预设间隔阈值的2个关键点的组合；人体行为关键点连接图是将所有关键点连接后得到的图；多尺度时空特征指的是利用时间卷积与空间卷积对人体行为关键点连接图多阶采样得到的特征。
该实施例中，比如存在第一组，其中存在关键点a1、a2和第二组，其中存在关键点b1、b2，将a1与a2，b1与b2分别相连得到直线L0、L1，此时缺失关键点是直线L0与L1的交点。
上述技术方案的有益效果是：通过利用特征提取网络提取个体行为数据的特征图，并结合姿态自建数据集实现人体行为关键点提取与补全后，再利用卷积提取人体行为关键点连接图的多尺度时空特征，从而实现对所述个体行为数据的动作文本描述的有效分类识别，保证了文本转换准确性。
本发明实施例提供一种人机互动结果生成方法，基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果，包括：
对所述目标文本数据进行预处理，形成目标字符串；
利用字符串匹配算法哈希算法对所述目标字符串进行哈希计算，得到哈希值；
从用户行为记录数据库中搜索与所述目标文本数据的哈希值相等的文本数据，作为待选文本数据；
再将所述目标文本数据与待选文本数据进行相似度分析，得到第一相似度；
将第一相似度不小于预设相似度阈值的待选文本数据判定为与所述目标文本数据相似匹配，作为第一匹配结果输出。
该实施例中，目标文本数据指的是根据数据类别选定指定转换方式对该个体行为数据文本转换得到的数据；目标字符串是对目标文本数据预处理后得到的；哈希值是利用字符串匹配算法哈希算法对目标字符串进行哈希计算得到的数值；用户行为记录数据库用于记录用户的历史记录数据，其中历史记录数据包括有用户的历史个体行为数据、历史文本数据、历史文本数据哈希值、历史可执行指令以及互动响应过程数据，比如响应时间点。
该实施例中，待选文本数据指的是与目标文本数据的哈希值相等的历史文本数据；第一相似度用于描述目标文本数据与待选文本数据的相似程度；预设相似度阈值是提前设定好的；第一匹配结果指的是与目标文本数据的第一相似度不小于预设相似度阈值，且哈希值一致的历史文本数据。
上述技术方案的有益效果是：通过计算目标文本数据的哈希值来从用户行为记录数据库中获取哈希值一致的待选文本数据；再将待选文本数据与目标文本数据进行相似匹配来得到第一匹配结果，有效提高了文本数据的匹配速率。
本发明实施例提供一种人机互动结果生成方法，根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应，包括：
根据所述第一匹配结果，确定用户行为记录数据库内不存在与所述目标文本数据相似的历史文本数据时，结合预置关键词字典，对所述目标文本数据进行关键词提取，并将提取结果集合作为第一结果集输出；
若第一结果集为空，则对接收的目标用户的个体行为数据进行重新转换分析，得到新目标文本数据；
若第一结果集中只存在一个关键词或多个相同关键词，则对服务项目池进行搜索，从而获取与所述关键词匹配的服务项目，作为目标用户的当前使用服务项目；
若第一结果集中存在多个不同关键词，则对服务项目池进行搜索，从而获取与每个关键词匹配的服务项目，并按照关键词的获取时间，对关键词对应匹配的服务项目按序构建得到目标用户的当前使用服务项目列表；
生成与目标用户的当前使用服务项目或当前使用服务项目列表内所有服务项目的对应可执行指令，并传送至人机互动引擎；
人机互动引擎根据接收的可执行指令，作出对应互动响应，并生成用户记录数据存储于用户行为记录数据库中。
该实施例中，第一匹配结果指的是与目标文本数据的第一相似度不小于预设相似度阈值，且哈希值一致的历史文本数据；用户行为记录数据库用于记录用户的历史记录数据，其中历史记录数据包括有用户的历史个体行为数据、历史文本数据、历史文本数据哈希值、历史可执行指令以及互动响应过程数据，比如响应时间点。
该实施例中，目标文本数据指的是根据数据类别选定指定转换方式对该个体行为数据文本转换得到的数据；预置关键词字典是提前设定好的，用于对目标文本数据关键词提取；第一结果集用于存储提取的关键词。
该实施例中，新目标文本数据是指目标文本数据无法提取出关键词时，对目标用户的个体行为数据再文本转换得到的数据；服务项目池由大量服务项目与对应匹配的关键词构成；当前使用服务项目指的是与第一结果集中只存在一个的关键词或多个相同的关键词所匹配的服务项目；当前使用服务项目列表是按照关键词的获取时间，对第一结果集中存在多个不同的关键词对应匹配的服务项目按序构建得到的列表。
该实施例中，可执行指令指的是指示机器执行实现当前使用服务项目操作的命令；人机互动引擎用于响应接收的可执行指令从而控制机器与目标用户互动；用户记录数据包括有用户个体行为数据、目标文本数据、目标文本数据哈希值、可执行指令以及互动响应过程数据，比如响应时间点。
上述技术方案的有益效果是：通过判定不存在与所述目标文本数据相似的历史文本数据时，对目标文本数据进行关键词提取与服务项目匹配，保证生成的可执行指令的准确性，从而实现人机互动有效。
本发明实施例提供一种人机互动结果生成方法，若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应，包括：
若根据第一匹配结果得到只存在一个与所述目标文本数据相似的历史文本数据，则生成与该历史文本数据匹配的历史可执行指令相同的可执行指令传送至人机互动引擎进行对应互动响应；
若根据第一匹配结果得到存在多个与所述目标文本数据相似的历史文本数据，且对应匹配的历史可执行指令不一致，则基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，并传送至人机互动引擎，作出对应互动响应。
该实施例中，第一匹配结果指的是与目标文本数据的第一相似度不小于预设相似度阈值，且哈希值一致的历史文本数据；历史可执行指令是与历史文本数据匹配的可执行指令；可执行指令指的是指示机器执行实现当前使用服务项目操作的命令。
该实施例中，目标用户历史使用记录指的是目标用户的历史个体行为数据、历史文本数据、历史文本数据哈希值、历史可执行指令数据，比如响应频率以及互动响应过程数据，比如响应时间点；指令匹配度公式用于求取目标文本数据与相似历史文本数据对应匹配的历史可执行指令的匹配程度；最优执行指令指的是判定存在与所述目标文本数据相似的历史文本数据时，基于目标用户历史使用记录从相似的历史文本数据的对应可执行指令中筛选出的最有可能的可执行指令；人机互动引擎用于响应接收的可执行指令从而控制机器与目标用户互动。
上述技术方案的有益效果是：通过判定存在与所述目标文本数据相似的历史文本数据时，基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，进而保证人机互动灵活有效。
本发明实施例提供一种人机互动结果生成方法，基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，包括：
将与所述目标文本数据相似的多个历史文本数据标定为第一历史文本数据；
获取所述第一历史文本数据对应匹配的历史可执行指令的响应频率与误判率；
再结合目标文本数据与第一历史文本数据的第一相似度，构建指令匹配度的计算公式来求取目标文本数据与第一历史文本数据对应匹配的历史可执行指令的匹配度；
其中，指令匹配度的计算公式如下所示：
式中，/>表示为目标文本数据与第i个第一历史文本数据对应匹配的历史可执行指令的匹配度；/>表示为目标文本数据与第i个第一历史文本数据的第一相似度；/>表示为目标文本数据与第一历史文本数据的差异权重；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令的响应频率；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令的误判率；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令与目标文本数据的可能匹配权重；/>表示标准响应频率且/>表示调节函数；
生成与匹配度最高的历史可执行指令相同的执行指令作为最优执行指令，传送至人机互动引擎，以作出针对所述目标文本数据的互动响应。
该实施例中，第一历史文本数据指的是与目标文本数据相似的历史文本数据；历史可执行指令是与第一历史文本数据匹配的可执行指令，其中可执行指令指的是指示机器执行实现当前使用服务项目操作的命令。
该实施例中，响应频率指的是历史可执行指令在单位时间内的执行次数；误判率指的是历史可执行指令在单位时间内的错误执行次数；第一相似度用于描述目标文本数据与第一历史文本数据的相似程度；最优执行指令指的是与匹配度最高的历史可执行指令相同的执行指令；人机互动引擎用于响应接收的可执行指令从而控制机器与目标用户互动。
上述技术方案的有益效果是：通过基于与所述目标文本数据相似的历史文本数据的对应匹配的历史可执行指令的响应频率与误判率构建指令匹配度的计算公式来确定最优执行指令，再传送至人机互动引擎，以作出针对所述目标文本数据的互动响应，保证了人机互动的灵活有效。
本发明实施例提供一种人机互动结果生成系统，如图2所示，包括：
数据转换模块：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
数据匹配模块：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
结果生成模块：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
上述技术方案的有益效果是：通过判定数据库中存在与用户个体行为数据文本转换得到的目标文本数据相似的历史文本数据时，筛选出最优执行指令并传送至人机互动引擎进行互动响应，若判定不存在则确定目标用户的当前使用服务项目并调用人机互动引擎进行互动响应，来提高人机互动效率与灵活度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种人机互动结果生成方法，其特征在于，包括：
步骤1：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
步骤2：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
步骤3：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
2.根据权利要求1所述的一种人机互动结果生成方法，其特征在于，终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据，包括：
利用所述终端设备的数据采集装置实时接收目标用户的个体行为数据；
对所述目标用户的个体行为数据进行分类识别，得到行为数据类别；
基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据。
3.根据权利要求2所述的一种人机互动结果生成方法，其特征在于，基于所述行为数据类别，对目标用户的个体行为数据选择指定转换方式进行转换得到目标文本数据，包括：
基于所述行为数据类别，若个体行为数据为语音数据，则当该语音数据长度小于预设长度阈值时，对该数据进行文本识别得到第一识别结果；
利用上下文语义解析技术对所述第一识别结果进行语义补全后得到第一文本数据；
否则，首先将该语音数据切分为多个短语音后再分别识别得到每个短语音对应的第二识别结果；
利用上下文语义解析技术对第二识别结果进行语义补全得到第一文本数据；
再对所述语音数据进行语义语调相似分析，来获取所述语音数据匹配的语言规则；
利用匹配的语言规则，对所述第一文本数据进行修正，得到目标文本数据；
若个体行为数据为触控数据，则将感知类别、感知过程数据与感应知识信息库相结合进行文本识别得到感应识别结果，并作为目标文本数据输出；
若个体行为数据为图像数据，则对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据。
4.根据权利要求3所述的一种人机互动结果生成方法，其特征在于，对所述个体行为数据进行图像处理与动作识别后，基于姿态自建数据集获取对应目标文本数据，包括：
利用特征提取网络提取个体行为数据的特征图，结合姿态自建数据集，再通过若干卷积层提取关键点置信区以及关键点邻域，从而获取人体行为关键点；
当存在关键点缺失时，前后各追溯3帧，再分别选取前3帧与后3帧内距离缺失关键点最近且距离间隔不大于预设间隔阈值的2个关键点，并组合得到第一组与第二组；
求取第一组与第二组内对应2个关键点所在的直线，再将直线相交的交点作为缺失关键点；
当前后各追溯3帧后，不存在与缺失关键点距离间隔不大于预设间隔阈值的关键点，则放弃寻找缺失关键点；
将获取的所有关键点进行相连得到人体行为关键点连接图；
对所述人体行为关键点连接图通过标准化层进行归一化处理后，利用注意力图卷积网络提取多尺度时空特征，再进行分类识别得到所述个体行为数据的动作文本描述，并作为目标文本数据输出。
5.根据权利要求1所述的一种人机互动结果生成方法，其特征在于，基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果，包括：
对所述目标文本数据进行预处理，形成目标字符串；
利用字符串匹配算法哈希算法对所述目标字符串进行哈希计算，得到哈希值；
从用户行为记录数据库中搜索与所述目标文本数据的哈希值相等的文本数据，作为待选文本数据；
再将所述目标文本数据与待选文本数据进行相似度分析，得到第一相似度；
将第一相似度不小于预设相似度阈值的待选文本数据判定为与所述目标文本数据相似匹配，作为第一匹配结果输出。
6.根据权利要求1所述的一种人机互动结果生成方法，其特征在于，根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应，包括：
根据所述第一匹配结果，确定用户行为记录数据库内不存在与所述目标文本数据相似的历史文本数据时，结合预置关键词字典，对所述目标文本数据进行关键词提取，并将提取结果集合作为第一结果集输出；
若第一结果集为空，则对接收的目标用户的个体行为数据进行重新转换分析，得到新目标文本数据；
若第一结果集中只存在一个关键词或多个相同关键词，则对服务项目池进行搜索，从而获取与所述关键词匹配的服务项目，作为目标用户的当前使用服务项目；
若第一结果集中存在多个不同关键词，则对服务项目池进行搜索，从而获取与每个关键词匹配的服务项目，并按照关键词的获取时间，对关键词对应匹配的服务项目按序构建得到目标用户的当前使用服务项目列表；
生成与目标用户的当前使用服务项目或当前使用服务项目列表内所有服务项目的对应可执行指令，并传送至人机互动引擎；
人机互动引擎根据接收的可执行指令，作出对应互动响应，并生成用户记录数据存储于用户行为记录数据库中。
7.根据权利要求1所述的一种人机互动结果生成方法，其特征在于，若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应，包括：
若根据第一匹配结果得到只存在一个与所述目标文本数据相似的历史文本数据，则生成与该历史文本数据匹配的历史可执行指令相同的可执行指令传送至人机互动引擎进行对应互动响应；
若根据第一匹配结果得到存在多个与所述目标文本数据相似的历史文本数据，且对应匹配的历史可执行指令不一致，则基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，并传送至人机互动引擎，作出对应互动响应。
8.根据权利要求7所述的一种人机互动结果生成方法，其特征在于，基于目标用户历史使用记录构建指令匹配度公式来确定最优执行指令，包括：
将与所述目标文本数据相似的多个历史文本数据标定为第一历史文本数据；
获取所述第一历史文本数据对应匹配的历史可执行指令的响应频率与误判率；
再结合目标文本数据与第一历史文本数据的第一相似度，构建指令匹配度的计算公式来求取目标文本数据与第一历史文本数据对应匹配的历史可执行指令的匹配度；
其中，指令匹配度的计算公式如下所示：
式中，/>表示为目标文本数据与第i个第一历史文本数据对应匹配的历史可执行指令的匹配度；/>表示为目标文本数据与第i个第一历史文本数据的第一相似度；/>表示为目标文本数据与第一历史文本数据的差异权重；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令的响应频率；表示为第i个第一历史文本数据对应匹配的历史可执行指令的误判率；/>表示为第i个第一历史文本数据对应匹配的历史可执行指令与目标文本数据的可能匹配权重；/>表示标准响应频率且/>表示调节函数；
生成与匹配度最高的历史可执行指令相同的执行指令作为最优执行指令，传送至人机互动引擎，以作出针对所述目标文本数据的互动响应。
9.一种人机互动结果生成系统，其特征在于，包括：
数据转换模块：终端设备实时接收目标用户的个体行为数据，并对所述目标用户的个体行为数据进行转换得到目标文本数据；
数据匹配模块：基于用户行为记录数据库对所述目标文本数据进行匹配搜索，得到第一匹配结果；
结果生成模块：根据所述第一匹配结果，若不存在与所述目标文本数据相似的历史文本数据，则分析得到所述目标用户的当前使用服务项目，并调用人机互动引擎基于所述当前使用服务项目进行互动响应；
若存在与所述目标文本数据相似的历史文本数据，则基于目标用户历史使用记录，确定最优执行指令并传送至人机互动引擎进行互动响应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311645870.XA CN117349408B (zh) | 2023-12-04 | 2023-12-04 | 一种人机互动结果生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311645870.XA CN117349408B (zh) | 2023-12-04 | 2023-12-04 | 一种人机互动结果生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117349408A true CN117349408A (zh) | 2024-01-05 |
| CN117349408B CN117349408B (zh) | 2024-02-13 |
Family
ID=89357869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311645870.XA Active CN117349408B (zh) | 2023-12-04 | 2023-12-04 | 一种人机互动结果生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117349408B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034323A (zh) * | 2011-09-30 | 2013-04-10 | 德信互动科技（北京）有限公司 | 人机互动系统和方法 |
| CN107180029A (zh) * | 2016-03-09 | 2017-09-19 | 阿里巴巴集团控股有限公司 | 一种基于咨询业务的信息处理方法及装置 |
| CN109726265A (zh) * | 2018-12-13 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 辅助聊天的信息处理方法、设备及计算机可读存储介质 |
| CN111611452A (zh) * | 2020-05-22 | 2020-09-01 | 上海携程商务有限公司 | 搜索文本的歧义识别方法、系统、设备及存储介质 |
| CN115017918A (zh) * | 2022-04-13 | 2022-09-06 | 蛮牛健康管理服务有限公司 | 基于人工智能的养老照护对话系统 |
| CN115238101A (zh) * | 2022-09-23 | 2022-10-25 | 中国电子科技集团公司第十研究所 | 一种面向多类型知识库的多引擎智能问答系统 |
| CN115424624A (zh) * | 2022-11-04 | 2022-12-02 | 深圳市人马互动科技有限公司 | 一种人机互动的服务处理方法、装置及相关设备 |
-
2023
- 2023-12-04 CN CN202311645870.XA patent/CN117349408B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034323A (zh) * | 2011-09-30 | 2013-04-10 | 德信互动科技（北京）有限公司 | 人机互动系统和方法 |
| CN107180029A (zh) * | 2016-03-09 | 2017-09-19 | 阿里巴巴集团控股有限公司 | 一种基于咨询业务的信息处理方法及装置 |
| CN109726265A (zh) * | 2018-12-13 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 辅助聊天的信息处理方法、设备及计算机可读存储介质 |
| CN111611452A (zh) * | 2020-05-22 | 2020-09-01 | 上海携程商务有限公司 | 搜索文本的歧义识别方法、系统、设备及存储介质 |
| CN115017918A (zh) * | 2022-04-13 | 2022-09-06 | 蛮牛健康管理服务有限公司 | 基于人工智能的养老照护对话系统 |
| CN115238101A (zh) * | 2022-09-23 | 2022-10-25 | 中国电子科技集团公司第十研究所 | 一种面向多类型知识库的多引擎智能问答系统 |
| CN115424624A (zh) * | 2022-11-04 | 2022-12-02 | 深圳市人马互动科技有限公司 | 一种人机互动的服务处理方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117349408B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7877706B2 (en) | Controlling a document based on user behavioral signals detected from a 3D captured image stream | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| US11275906B2 (en) | Natural language text conversion and method therefor | |
| US20200372025A1 (en) | Answer selection using a compare-aggregate model with language model and condensed similarity information from latent clustering | |
| CN105931644A (zh) | 一种语音识别方法及移动终端 | |
| TW200832239A (en) | Method for character recognition | |
| US20200265094A1 (en) | Methods, devices and media for providing search suggestions | |
| US9639633B2 (en) | Providing information services related to multimodal inputs | |
| JP2011018178A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN113051362A (zh) | 数据的查询方法、装置和服务器 | |
| CN113596601A (zh) | 一种视频画面的定位方法、相关装置、设备及存储介质 | |
| CN113434418A (zh) | 知识驱动的软件缺陷检测与分析方法及系统 | |
| CN111209367A (zh) | 信息查找方法、信息查找装置、电子设备及存储介质 | |
| CN113658690A (zh) | 一种智能导医方法、装置、存储介质以及电子设备 | |
| CN117349408B (zh) | 一种人机互动结果生成方法及系统 | |
| CN112541091A (zh) | 图像搜索方法、装置、服务器和存储介质 | |
| CN111400340A (zh) | 一种自然语言处理方法、装置、计算机设备和存储介质 | |
| JP5844375B2 (ja) | 物体検索システムおよび物体検索方法 | |
| CN114970562A (zh) | 语义理解方法、装置、介质及设备 | |
| CN115062131A (zh) | 一种基于多模态的人机交互方法及装置 | |
| KR102642617B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| CN115544218A (zh) | 一种信息搜索方法、装置及存储介质 | |
| CN111506764A (zh) | 音频数据筛选方法、计算机设备和存储介质 | |
| CN111261165A (zh) | 车站名称识别方法、装置、设备及存储介质 | |
| CN111554269A (zh) | 一种语音取号方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |