CN111324206B - 基于手势交互的确认信息识别系统及方法 - Google Patents

基于手势交互的确认信息识别系统及方法 Download PDF

Info

Publication number
CN111324206B
CN111324206B CN202010128632.1A CN202010128632A CN111324206B CN 111324206 B CN111324206 B CN 111324206B CN 202010128632 A CN202010128632 A CN 202010128632A CN 111324206 B CN111324206 B CN 111324206B
Authority
CN
China
Prior art keywords
information
gesture
confirmed
matching
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010128632.1A
Other languages
English (en)
Other versions
CN111324206A (zh
Inventor
吴怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Best Daniel Robot Co ltd
Original Assignee
Chongqing Best Daniel Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Best Daniel Robot Co ltd filed Critical Chongqing Best Daniel Robot Co ltd
Priority to CN202010128632.1A priority Critical patent/CN111324206B/zh
Publication of CN111324206A publication Critical patent/CN111324206A/zh
Application granted granted Critical
Publication of CN111324206B publication Critical patent/CN111324206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及人机交互设备技术领域，为了解决由于咨询者的口音导致识别出的信息有误的问题，提供了一种基于手势交互的确认信息识别系统，包括采集模块，用于采集语音信息；数据库，存储有文字信息；匹配模块，匹配出与采集到的语音信息相对应的文字信息从而得到咨询信息；采集模块还用于采集手势视频；数据库还预存有一一对应的手势信息和文字信息；还包括有处理模块，用于对手势视频进行处理并得到手势信息；匹配模块从数据库中匹配出与手势信息相对应的文字信息；处理模块还根据咨询信息和文字信息进行处理得到待确认信息；匹配模块匹配出与待确认信息相对应的待确认手势视频；显示模块，用于显示待确认信息以及待确认手势视频。

Description

基于手势交互的确认信息识别系统及方法
技术领域
本发明涉及人机交互设备技术领域，具体为一种基于手势交互的确认信息识别系统及方法。
背景技术
随着人工智能化的不断发展以及人们对法律的重视，越来越多搭载有法律咨询系统的机器人出现在人们的生活中。使用法律咨询机器人时，咨询人输入自己的问题后，法律咨询系统根据接收到的问题从数据库中存储的内容中匹配出相应的解答并输出给咨询人，从而帮助咨询者得到答案。
现目前，输入信息的方式多采用键盘输入或语音输入方式，其中，由于语音输入可将咨询人说的话直接转化为文字，与键盘输入相比，操作更为简单方便，因此更多的人都选择使用语音输入的方式。然而，由于语音输入需要咨询人采用较为标准的口音说话，并且在说话时，需要将自己想要表达的想法完整且连续的表达出来，以确保根据语音识别出来的文本内容是准确的，这样一来，就对咨询人的表达能力要求较高。但是由于大多数人或多或少都存在有一些口音或表达不清楚的问题，因此识别出来的文本内容通常都会有所出入，从而降低了匹配出的结果的准确性。
发明内容
本发明意在提供一种基于手势交互的确认信息识别系统及方法，以解决现有的语音输入方式中，由于咨询者的口音导致识别出的信息有误的问题。
本发明提供的基础方案一是：基于手势交互的确认信息识别系统，包括采集模块，用于采集语音信息；
数据库，存储有与语音信息相对应的文字信息；
匹配模块，用于从数据库中匹配出与采集到的语音信息相对应的文字信息从而得到咨询信息；
其中：采集模块还用于采集手势视频；
数据库还预存有一一对应的手势信息和文字信息；
还包括有处理模块，用于对采集到的手势视频进行处理并得到手势信息；
匹配模块还用于从数据库中匹配出与处理得到的手势信息相对应的文字信息；
处理模块还用于根据咨询信息和文字信息进行处理得到待确认信息；
匹配模块还用于从数据库中匹配出与待确认信息相对应的手势信息得到待确认手势视频；
显示模块，用于显示待确认信息以及待确认手势视频；
通信模块，用于接收确认信息、否定信息和修改信息；在接收到确认信息后，通信模块将待确认信息作为最终的匹配信息进行输出；
还包括有修改模块，在接收否认信息后，根据接收到的修改信息对待确认信息进行修改，匹配模块则根据修改后的待确认信息匹配出修改后的待确认手势视频，显示模块显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，通信模块将确认后的待确认信息作为最终的匹配信息进行输出。
基础方案一的工作原理及有益效果是：本方案中，为了保证系统最后匹配出的结果是准确的，在进行匹配前，就还需要咨询者先进行咨询信息的确认，因此采集咨询者语音的同时，也会采集咨询者的手势视频，通过对语音信息和手势信息的综合处理生成待确认信息，并且，在确认环节中，显示模块同时显示待确认信息以及待确认手势视频，通过文字表达和手势表达两种方式供咨询者确认，并经过咨询者的确认后或修改后的再次确认，从而提高了匹配信息的准确性，从而保证最后得到的咨询结果的准确性。
优选方案一：作为基础方案一的优选，还包括有播放模块，用于语音播放待确认信息以及匹配信息。有益效果：本方案中，通过设置播放模块增加了语音播报的模式供咨询者进行信息的确认，操作更简单。
优选方案二：作为基础方案一的优选，还包括有控制模块，用于控制采集模块的启动和关闭。有益效果：考虑到只有在咨询者需要提问时才用对咨询者的语音和手势动作进行采集，因此本方案中还设置有控制模块，在咨询者提问时，通过控制模块控制采集模块的启动，从而保证采集到的语音信息和手势视频都是提问的相关内容，而在提问完后通过操作控制模块来关闭采集模块，则可以减少能源的耗用。
优选方案三：作为基础方案一的优选，通信模块还用于在匹配模块从数据库中没有匹配出与采集到的语音信息相匹配的文字信息时，通信模块用于发送人工求助信息以及接收反馈回来的匹配结果。有益效果：考虑到数据库中存储的信息有限，可能存在有没有存储到与采集到的语音信息相匹配的文字信息，因此本方案中通过设置通信模块，在出现匹配不出文字信息的时候，通信模块则向后台律师发送人工求助信息，通过后台律师的介入完成对语音信息的匹配操作，保证了匹配操作的顺利完成。
优选方案四：作为基础方案一的优选，数据库中根据不同的关键字对文字信息进行分类存储；语音信息包括关键词信息，匹配模块根据关键词信息从数据库中匹配出对应类别的文字信息后再从该类别的文字信息中匹配出咨询信息。有益效果：本方案中，通过设置关键词进行存储，一方面，关键词的设置能够提高匹配结果的准确性，另一方面，先根据关键词进行的匹配可以缩小匹配的范围，从而提高了匹配效率。
本发明提供的基础方案二是，基于手势交互的确认信息识别方法，包括以下步骤：预存步骤，预存有与语音信息相对应的文字信息；
采集步骤，采集语音信息；
匹配步骤，匹配出与采集到的语音信息相对应的文字信息并得到咨询信息；
其中，采集步骤中还包括采集手势视频；
预存步骤中还预存一一对应的手势信息和文字信息；
还包括有处理步骤，对采集到的手势视频进行处理并得到手势信息，并根据咨询信息和文字信息进行处理得到待确认信息；
匹配步骤还匹配出与待确认信息相对应的待确认手势视频；
显示步骤，显示待确认信息以及待确认手势视频；
通信步骤，接收确认信息、否定信息和修改信息；在接收到确认信息后，将待确认信息作为最终的匹配信息进行输出；
修改步骤，在接收否认信息后，根据接收到的修改信息对待确认信息进行修改，根据修改后的待确认信息匹配出修改后的待确认手势视频，显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，将确认后的待确认信息作为最终的匹配信息进行输出。
基础方案二的工作原理及有益效果：本方案中，考虑到对语音的完全准确识别的难度，本方案中通过语音信息和手势视频作为匹配的基础信息，通过在语音输入的基础上加入手势表达的方式共同实现信息的输入，而且还通过通信步骤以及修改步骤对得到的信息进行确认或修改，从而保证了最终匹配出的匹配信息的准确性。
优选方案五：作为基础方案二的优选，还包括有播放步骤，语音播放待确认信息以及匹配信息。有益效果：本方案中，通过设置播放步骤对匹配信息进行语音播放，以供咨询者进行信息的确认，操作更简单。
优选方案六：作为基础方案二的优选，还包括有控制步骤，控制采集步骤的开始和停止。有益效果：本方案中通过控制步骤实现采集步骤的开始和停止，从而保证采集步骤中采集到的语音信息和手势视频都是想要提问的相关内容，从而避免一些无关的信息对匹配过程的干扰。
优选方案七：作为基础方案二的优选，通信步骤还在没有匹配出与采集到的语音信息相匹配的文字信息时，发送人工求助信息以及接收反馈回来的匹配结果。有益效果：考虑到预存的文字信息是有限的，因此本方案中，在没有匹配出文字信息时，通过发送人工求助信息的方式以从其他的途径获取到匹配结果，从而保证整个咨询过程的顺利进行。
优选方案八：作为基础方案二的优选，预存步骤中，根据不同的关键字对文字信息进行分类存储；语音信息包括关键词信息，匹配步骤中根据关键词信息匹配出对应类别的文字信息后再从该类别的文字信息中匹配出咨询信息。有益效果：本方案中，通过将文字信息根据关键词进行分别存储的方式，在匹配时，则可以根据关键词进行匹配从而缩小匹配的范围，从而提高了匹配效率。
附图说明
图1为本发明基于手势交互的确认信息识别系统及方法实施例一种基于手势交互的确认信息识别系统的模块框图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例一
基本如附图1所示：基于手势交互的确认信息识别系统，包括采集模块，用于采集语音信息和手势视频，语音信息包括关键词信息；
数据库，根据不同的关键字分类存储有与语音信息相对应的文字信息以及一一对应的手势信息和文字信息；
控制模块，用于控制采集模块的启动和关闭；
处理模块，用于对采集到的手势视频进行处理并得到手势信息；
匹配模块，用于从数据库中匹配出与采集到的语音信息相对应的文字信息从而得到咨询信息；还从数据库中匹配出与处理得到的手势信息相对应的文字信息；
处理模块还用于根据咨询信息和文字信息进行处理得到待确认信息；匹配模块从数据库中匹配出与待确认信息相对应的手势信息得到待确认手势视频；
显示模块，用于显示待确认信息以及待确认手势视频；
播放模块，用于语音播放待确认信息；
通信模块，用于接收确认信息、否定信息和修改信息；在接收到确认信息后，通信模块将待确认信息作为最终的匹配信息进行输出；
修改模块，在接收否认信息后，根据接收到的修改信息对待确认信息进行修改，匹配模块则根据修改后的待确认信息匹配出修改后的待确认手势视频，显示模块显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，通信模块将确认后的待确认信息作为最终的匹配信息进行输出；播放模块播放匹配信息；
通信模块还用于在匹配模块从数据库中没有匹配出与采集到的语音信息相匹配的文字信息时，通信模块用于发送人工求助信息以及接收反馈回来的匹配结果。
基于上述基于手势交互的确认信息识别系统，本实施例中还提供了一种基于手势交互的确认信息识别方法，包括以下步骤：预存步骤，根据不同的关键字分类存储有与语音信息相对应的文字信息以及一一对应的手势信息和文字信息；
采集步骤，采集语音信息和手势视频，语音信息包括关键词信息；
控制步骤，控制采集步骤的开始和停止；
处理步骤，对采集到的手势视频进行处理并得到手势信息，并根据咨询信息和文字信息进行处理得到待确认信息；
匹配步骤，匹配出与采集到的语音信息相对应的文字信息从而得到咨询信息；还匹配出与处理得到的手势信息相对应的文字信息；
处理步骤还根据咨询信息和文字信息进行处理得到待确认信息，匹配出与待确认信息相对应的待确认手势视频；
显示步骤，显示待确认信息以及待确认手势视频；
播放步骤，语音播放待确认信息；
通信步骤，接收确认信息、否定信息和修改信息；在接收到确认信息后，将待确认信息作为最终的匹配信息进行输出；
修改步骤，在接收否认信息后，根据接收到的修改信息对待确认信息进行修改，根据修改后的待确认信息匹配出修改后的待确认手势视频，显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，将确认后的待确认信息作为最终的匹配信息进行输出并播放匹配信息；
通信步骤还在没有匹配出与采集到的语音信息相匹配的文字信息时，发送人工求助信息以及接收反馈回来的匹配结果。
具体实施过程如下：使用时，咨询者通过控制模块控制采集模块启动，本实施例中控制模块包括启动按钮和关闭按钮，则使用时咨询者按下启动按钮，然后说出自己想要咨询的问题，同时采用手势进行表达。
采集模块采集语音信息和手势视频，其中语音信息包括关键词信息，如关键词Worcd1；在完成采集后，匹配模块首先根据采集到的语音信息从数据库中先匹配到关键词Word1分类下的文字信息，然后从这个分类中的文字信息中匹配出与采集到的语音信息匹配的文字信息从而得到咨询信息a1；处理模块对采集到的手势视频进行处理并得到手势信息后，匹配模块从数据库中匹配出与处理得到的手势信息相对应的文字信息a2，然后根据咨询信息a1和文字信息a2进行处理得到待确认信息b1,匹配模块又匹配出与待确认信息b1相对应的待确认手势视频c1。
显示模块显示待确认信息b1以及待确认手势视频c1，同时播放模块语音播放待确认信息b1。
咨询者通过显示出来的待确认信息b1以及待确认手势视频c1或播放模块播放的待确认信息b1也就可以确认待确认信息b1是否正确，在通信模块接收到确认信息后，通信模块将待确认信息作为最终的匹配信息W进行输出；在接收否认信息后，根据接收到的修改信息对待确认信息a1进行修改，匹配模块则根据修改后的待确认信息a1匹配出修改后的待确认手势视频c1，显示模块显示修改后的待确认信息a1以及待确认手势视频c1，直到接收到确认信息后，通信模块将确认后的待确认信息作为最终的匹配信息W进行输出；播放模块播放匹配信息W。
在上述过程中，当匹配模块从数据库中没有匹配出与采集到的语音信息相匹配的文字信息时，通信模块用于向后台律师发送人工求助信息s，人工求助信息s为采集到的语音信息和手势视频，后台律师则可以根据人工求助信息s向通信模块匹配结果W。
实施例二
与实施例一不同之处在于，本实施例中，在显示模块显示结果后，采集模块还用于采集咨询者的表情图像；数据库中存储有分别与不同表情信息以及不同语调信息对应的情绪信息，所述情绪信息包括急躁、忧虑、高兴等，本实施例中以急躁为例；处理模块对采集到的语音信息以及表情图像分别进行处理得到语调信息和表情信息，匹配模块还用于从数据库中匹配出相应的情绪信息，在匹配出的情绪信息为急躁时，通信模块发送询问信息，在通信模块接收到肯定信息后，通信模块向后台律师通信端发送连线请求，并在接收到接收信息后，通信模块与后台律师的通信端通信连接。
本方案中，处理模块对采集到的语音信息进行处理得到语调信息，并在显示模块显示匹配结果后，采集模块采集咨询者的表情图像，处理模块对表情图像进行处理得到表情信息，设定处理后的语调信息为急促、表情信息为焦躁，则匹配出的情绪信息为急躁，则表明该咨询者咨询的问题的匹配结果对于咨询者来说是不太好的，可能还亟待解决的，导致咨询者出现急躁的情绪，此时通信模块发送询问信息，询问咨询者是否需要进一步的帮助，若需要，则咨询者可以发送肯定信息，此时通信模块向后台律师的通信端发送连线请求，在接收到接收信息后，则连接后台律师的通信端，此时咨询者可能够在线向后台律师进行进一步的咨询。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于手势交互的确认信息识别系统，包括采集模块，用于采集语音信息；
数据库，存储有与语音信息相对应的文字信息；
匹配模块，用于从数据库中匹配出与采集到的语音信息相对应的文字信息从而得到咨询信息；
其特征在于：所述采集模块还用于采集手势视频；
所述数据库还预存有一一对应的手势信息和文字信息；
还包括有处理模块，用于对采集到的手势视频进行处理并得到手势信息；
所述匹配模块还用于从所述数据库中匹配出与处理得到的手势信息相对应的文字信息；
所述处理模块还用于根据咨询信息和文字信息进行处理得到待确认信息；
所述匹配模块还用于从所述数据库中匹配出与所述待确认信息相对应的手势信息得到待确认手势视频；
显示模块，用于显示待确认信息以及待确认手势视频；
通信模块，用于接收确认信息、否定信息和修改信息；在接收到确认信息后，所述通信模块将待确认信息作为最终的匹配信息进行输出；
还包括有修改模块，在接收否认信息后，所述修改模块根据接收到的修改信息对待确认信息进行修改，所述匹配模块则根据修改后的待确认信息匹配出修改后的待确认手势视频，显示模块显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，所述通信模块将确认后的待确认信息作为最终的匹配信息进行输出；
采集模块还用于采集咨询者的表情图像；
数据库中存储有分别与不同表情信息以及不同语调信息对应的情绪信息，所述情绪信息包括急躁、忧虑、高兴；
处理模块对采集到的语音信息以及表情图像分别进行处理得到语调信息和表情信息；
匹配模块还用于从数据库中匹配出相应的情绪信息，在匹配出的情绪信息为急躁时，通信模块发送询问信息，在通信模块接收到肯定信息后，通信模块向后台律师通信端发送连线请求，并在接收到接收信息后，通信模块与后台律师的通信端通信连接。
2.根据权利要求1所述的基于手势交互的确认信息识别系统，其特征在于：还包括有播放模块，用于语音播放待确认信息以及匹配信息。
3.根据权利要求1所述的基于手势交互的确认信息识别系统，其特征在于：还包括有控制模块，用于控制采集模块的启动和关闭。
4.根据权利要求1所述的基于手势交互的确认信息识别系统，其特征在于：所述通信模块还用于在所述匹配模块从所述数据库中没有匹配出与采集到的语音信息相匹配的文字信息时，所述通信模块用于发送人工求助信息以及接收反馈回来的匹配结果。
5.根据权利要求1所述的基于手势交互的确认信息识别系统，其特征在于：所述数据库中根据不同的关键字对文字信息进行分类存储；所述语音信息包括关键词信息，所述匹配模块根据所述关键词信息从数据库中匹配出对应类别的文字信息后再从该类别的文字信息中匹配出咨询信息。
6.基于手势交互的确认信息识别方法，包括以下步骤：预存步骤，预存有与语音信息相对应的文字信息；
采集步骤，采集语音信息；
匹配步骤，匹配出与采集到的语音信息相对应的文字信息并得到咨询信息；
其特征在于：所述采集步骤中还包括采集手势视频；
所述预存步骤中还预存一一对应的手势信息和文字信息；
还包括有处理步骤，对采集到的手势视频进行处理并得到手势信息，并根据咨询信息和文字信息进行处理得到待确认信息；
所述匹配步骤还匹配出与所述手势信息相对应的待确认手势视频；
显示步骤，显示待确认信息以及待确认手势视频；
通信步骤，接收确认信息、否定信息和修改信息；在接收到确认信息后，将待确认信息作为最终的匹配信息进行输出；
修改步骤，在接收否认信息后，根据接收到的修改信息对待确认信息进行修改，根据修改后的待确认信息匹配出修改后的待确认手势视频，显示修改后的待确认信息以及待确认手势视频，直到接收到确认信息后，将确认后的待确认信息作为最终的匹配信息进行输出。
7.根据权利要求6所述的基于手势交互的确认信息识别方法，其特征在于：还包括有播放步骤，语音播放待确认信息以及匹配信息。
8.根据权利要求6所述的基于手势交互的确认信息识别方法，其特征在于：还包括有控制步骤，控制采集步骤的开始和停止。
9.根据权利要求6所述的基于手势交互的确认信息识别方法，其特征在于：所述通信步骤还在没有匹配出与采集到的语音信息相匹配的文字信息时，发送人工求助信息以及接收反馈回来的匹配结果。
10.根据权利要求6所述的基于手势交互的确认信息识别方法，其特征在于：所述预存步骤中，根据不同的关键字对文字信息进行分类存储；所述语音信息包括关键词信息，所述匹配步骤中根据所述关键词信息匹配出对应类别的文字信息后再从该类别的文字信息中匹配出咨询信息。
CN202010128632.1A 2020-02-28 2020-02-28 基于手势交互的确认信息识别系统及方法 Active CN111324206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010128632.1A CN111324206B (zh) 2020-02-28 2020-02-28 基于手势交互的确认信息识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010128632.1A CN111324206B (zh) 2020-02-28 2020-02-28 基于手势交互的确认信息识别系统及方法

Publications (2)

Publication Number Publication Date
CN111324206A CN111324206A (zh) 2020-06-23
CN111324206B true CN111324206B (zh) 2023-07-18

Family

ID=71171155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010128632.1A Active CN111324206B (zh) 2020-02-28 2020-02-28 基于手势交互的确认信息识别系统及方法

Country Status (1)

Country Link
CN (1) CN111324206B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233505A (zh) * 2020-09-29 2021-01-15 浩辰科技(深圳)有限公司 一种新型盲童交互学习系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2840522A1 (en) * 2013-08-20 2015-02-25 Ricoh Company, Ltd. Mobile information gateway for private customer interaction
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN107146607A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 智能设备交互信息的修正方法、装置及系统
CN109002538A (zh) * 2018-07-20 2018-12-14 吴怡 基于数据库的法律咨询云平台及方法
CN109033336A (zh) * 2018-07-20 2018-12-18 吴怡 基于人工智能的法律咨询机器人及商业模式
CN109086371A (zh) * 2018-07-20 2018-12-25 吴怡 一种用于法律咨询的语义网交互系统及交互方法
CN109086372A (zh) * 2018-07-20 2018-12-25 吴怡 一种基于人工智能应用于法律咨询的多轮会话方法及系统
CN109410940A (zh) * 2018-12-05 2019-03-01 湖北安心智能科技有限公司 一种基于显控台的人机交互方法及系统
WO2019054846A1 (en) * 2017-09-18 2019-03-21 Samsung Electronics Co., Ltd. DYNAMIC INTERACTION METHOD AND ELECTRONIC DEVICE THEREOF
CN109635271A (zh) * 2018-10-22 2019-04-16 阿里巴巴集团控股有限公司 一种用户意图识别方法、客服服务系统、装置及电子设备
CN109933198A (zh) * 2019-03-13 2019-06-25 广东小天才科技有限公司 一种语义识别方法及装置
CN110060686A (zh) * 2019-04-15 2019-07-26 广东小天才科技有限公司 语音交互方法及装置、终端设备、计算机可读存储介质
CN111144367A (zh) * 2019-12-31 2020-05-12 重庆百事得大牛机器人有限公司 基于手势识别的辅助语义识别方法
CN111158490A (zh) * 2019-12-31 2020-05-15 重庆百事得大牛机器人有限公司 基于手势识别的辅助语义识别系统
CN111353034A (zh) * 2020-02-28 2020-06-30 重庆百事得大牛机器人有限公司 基于手势采集的法律事实矫正系统及方法
CN111368052A (zh) * 2020-02-28 2020-07-03 重庆百事得大牛机器人有限公司 基于语义识别的法律人工智能咨询系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657834A (zh) * 2006-11-06 2010-02-24 雷访华 一种基于网络平台的商务旅游系统
US20180122025A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Wireless earpiece with a legal engine
CN111094924A (zh) * 2017-09-15 2020-05-01 宝马股份公司 用于执行基于语音的人机交互的数据处理装置和方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2840522A1 (en) * 2013-08-20 2015-02-25 Ricoh Company, Ltd. Mobile information gateway for private customer interaction
CN104965592A (zh) * 2015-07-08 2015-10-07 苏州思必驰信息科技有限公司 基于语音和手势识别的多模态非触摸人机交互方法及系统
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN107146607A (zh) * 2017-04-10 2017-09-08 北京猎户星空科技有限公司 智能设备交互信息的修正方法、装置及系统
WO2019054846A1 (en) * 2017-09-18 2019-03-21 Samsung Electronics Co., Ltd. DYNAMIC INTERACTION METHOD AND ELECTRONIC DEVICE THEREOF
CN109002538A (zh) * 2018-07-20 2018-12-14 吴怡 基于数据库的法律咨询云平台及方法
CN109033336A (zh) * 2018-07-20 2018-12-18 吴怡 基于人工智能的法律咨询机器人及商业模式
CN109086371A (zh) * 2018-07-20 2018-12-25 吴怡 一种用于法律咨询的语义网交互系统及交互方法
CN109086372A (zh) * 2018-07-20 2018-12-25 吴怡 一种基于人工智能应用于法律咨询的多轮会话方法及系统
CN109635271A (zh) * 2018-10-22 2019-04-16 阿里巴巴集团控股有限公司 一种用户意图识别方法、客服服务系统、装置及电子设备
CN109410940A (zh) * 2018-12-05 2019-03-01 湖北安心智能科技有限公司 一种基于显控台的人机交互方法及系统
CN109933198A (zh) * 2019-03-13 2019-06-25 广东小天才科技有限公司 一种语义识别方法及装置
CN110060686A (zh) * 2019-04-15 2019-07-26 广东小天才科技有限公司 语音交互方法及装置、终端设备、计算机可读存储介质
CN111144367A (zh) * 2019-12-31 2020-05-12 重庆百事得大牛机器人有限公司 基于手势识别的辅助语义识别方法
CN111158490A (zh) * 2019-12-31 2020-05-15 重庆百事得大牛机器人有限公司 基于手势识别的辅助语义识别系统
CN111353034A (zh) * 2020-02-28 2020-06-30 重庆百事得大牛机器人有限公司 基于手势采集的法律事实矫正系统及方法
CN111368052A (zh) * 2020-02-28 2020-07-03 重庆百事得大牛机器人有限公司 基于语义识别的法律人工智能咨询系统

Also Published As

Publication number Publication date
CN111324206A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN108000526B (zh) 用于智能机器人的对话交互方法及系统
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN1237505C (zh) 模拟人际交互并利用相关数据装载外部数据库的用户接口/娱乐设备
EP3259754B1 (en) Method and device for providing information
WO2015079669A1 (ja) 制御装置、制御方法およびプログラム
DE102013007502A1 (de) Computer-implementiertes Verfahren zum automatischen Trainieren eins Dialogsystems und Dialogsystem zur Erzeugung von semantischen Annotationen
WO2014083390A1 (ru) Способ обучения информационной диалоговой системы пользователем
CN108009490A (zh) 一种基于识别情绪的聊天机器人系统及该系统的判断方法
CN111324206B (zh) 基于手势交互的确认信息识别系统及方法
CN111179928A (zh) 一种基于语音交互的变配电站智能控制方法
CN109858357A (zh) 一种手势识别方法及系统
Lison et al. Spoken dialogue systems: the new frontier in human-computer interaction
CN111192577B (zh) 交流装置及交流装置的控制程序
CN111695763B (zh) 一种基于语音问答的排产排程系统及方法
CN111353034B (zh) 基于手势采集的法律事实矫正系统及方法
CN111384778A (zh) 一种配电网设备智能运维系统
Hoque et al. Robust recognition of emotion from speech
KR20200092455A (ko) 사용자 의도를 예측하는 서버, 방법 및 컴퓨터 프로그램
US11587571B2 (en) Electronic apparatus and control method thereof
CN109145106A (zh) 一种自学习式法律咨询机器人
CN213119453U (zh) 一种室内热环境控制系统
CN110363278B (zh) 一种亲子互动方法、机器人、服务器及亲子互动系统
CN115098661A (zh) 用于辅助疾病筛查的方法、电子设备及计算机存储介质
Pfleger Fade-an integrated approach to multimodal fusion and discourse processing
TW200525382A (en) Method for interactive computer assistant language learning and system thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant