CN114356275A - 交互控制方法、装置、智能语音设备及存储介质 - Google Patents

交互控制方法、装置、智能语音设备及存储介质 Download PDF

Info

Publication number
CN114356275A
CN114356275A CN202111479136.1A CN202111479136A CN114356275A CN 114356275 A CN114356275 A CN 114356275A CN 202111479136 A CN202111479136 A CN 202111479136A CN 114356275 A CN114356275 A CN 114356275A
Authority
CN
China
Prior art keywords
interactive
instruction
target
scene
object image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111479136.1A
Other languages
English (en)
Other versions
CN114356275B (zh
Inventor
陈轶博
王国旭
金鹿
常镶石
李健龙
徐昭吉
葛瀚丞
陆姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Shanghai Xiaodu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaodu Technology Co Ltd filed Critical Shanghai Xiaodu Technology Co Ltd
Priority to CN202111479136.1A priority Critical patent/CN114356275B/zh
Publication of CN114356275A publication Critical patent/CN114356275A/zh
Application granted granted Critical
Publication of CN114356275B publication Critical patent/CN114356275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种交互控制方法、装置、智能语音设备及存储介质，涉及人工智能技术领域，具体为语音识别和自然语言处理技术领域。具体为：在接收到交互指令时，根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词，以及根据与目标指令词匹配的交互响应方式响应交互指令。可以实现对智能语音设备的交互场景进行判断识别，在交互场景是目标交互场景时，直接控制智能语音设备从交互指令中解析得到目标指令词以进行响应，有效地避免在目标交互场景下对智能语音设备的重复唤醒，降低交互响应时间消耗，有效提升智能语音设备的交互效率，提升智能语音设备的易用性。

Description

交互控制方法、装置、智能语音设备及存储介质
技术领域
本公开涉及人工智能技术领域，具体涉及语音识别和自然语言处理技术领域，尤其涉及一种交互控制方法、装置、智能语音设备及存储介质。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
相关技术中，在一些交互场景下，通常需要反复唤醒智能语音设备对交互指令进行响应，影响智能语音设备的操作效率。
发明内容
本公开提供了一种交互控制方法、装置、电子设备、智能语音设备、存储介质及计算机程序产品。
根据本公开的第一方面，提供了一种交互控制方法，包括：在接收到交互指令时，获取交互场景图像和界面运行内容；根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景；如果所述交互场景是所述目标交互场景，则从所述交互指令中解析得到目标指令词；以及根据与所述目标指令词匹配的交互响应方式响应所述交互指令。
根据本公开的第二方面，提供了一种交互控制装置，包括：获取模块，用于在接收到交互指令时，获取交互场景图像和界面运行内容；第一判断模块，用于根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景；解析模块，用于在所述交互场景是所述目标交互场景时，从所述交互指令中解析得到目标指令词；以及第一响应模块，用于根据与所述目标指令词匹配的交互响应方式响应所述交互指令。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的交互控制方法。
根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开第一方面实施例的交互控制方法。
根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，当计算机程序由处理器执行时实现本公开第一方面实施例的交互控制方法。
根据本公开的第六方面，提出了一种智能语音设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的交互控制方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是本公开实施例中的智能语音设备交互流程示意图；
图5是根据本公开第四实施例的示意图；
图6是根据本公开第五实施例的示意图；
图7示出了可以用来实施本公开的实施例的示例智能语音设备的示意性框图；
图8示出了可以用来实施本公开的实施例的交互控制方法的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开第一实施例的示意图。
其中，需要说明的是，本实施例的交互控制方法的执行主体为交互控制装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备或者智能语音设备中，该电子设备可以包括但不限于终端、服务器端等，该智能语音设备可以例如是智能音箱、智能语音机器人，或者还可以为智能健身镜等任意可以支持语音交互的智能设备，对此不做限制。
本公开实施例涉及人工智能技术领域，具体涉及语音识别和自然语言处理技术领域。
其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
语音识别，是指让机器通过识别和理解过程把语音信号转变为相应的文本或命令，将语音中的词汇内容转化为计算机可读的输入，将话语中的语音信息转化为计算机中的文字信息。
自然语言处理(Natural Language Processing，NLP)，即计算机科学，人工智能，语言学关注计算机和人类(自然)语言之间的相互作用的领域。是以语言为对象，利用计算机技术来分析、理解和处理自然语言，即把计算机作为语言研究工具，在计算机的支持下对语言信息进行定量化的研究处理，并提供可供人与计算机之间能共同使用的语言描写。
如图1所示，该交互控制方法，包括：
S101：在接收到交互指令时，获取交互场景图像和界面运行内容。
本公开实施例的交互控制方法，可以应用于智能语音设备中，智能语音设备是指可以对用户的语音交互指令进行指令识别，并能够进行交互响应的智能设备，该智能语音设备，例如可以为智能音箱或者智能语音机器人等，或者可以为智能健身镜等任意可以支持语音交互的智能设备，对此不做限制。
其中，交互指令是指用于与智能语音设备进行交互的语音指令，智能语音设备可以根据交互指令进行相应的交互响应。
举例而言，该交互指令例如可以为用户对智能语音设备进行提问的语音指令，还可以是对智能语音设备进行音乐播放功能的指令，或者也可以是其他任意对智能语音设备进行控制操作的语音交互指令，对此不做限制。
其中，交互场景图像，是指当前用户与智能语音设备进行交互的场景图像，交互场景图像可以用于对用户与智能语音设备的交互状态进行检验，该交互场景图像，可以具体例如为捕获到的用户与智能语音设备进行交互时的动作图像，或者也可以是用户与智能语音设备进行交互时的背景图像等，对此不做限制。
其中，界面运行内容，是指智能语音设备当前所运行的内容，该界面运行内容，可以例如为屏幕中展示的列表页，或者也可以为屏幕中展示的视频播放页或者信息浏览页面等，对此不做限制。
本公开实施例中，可以利用智能语音设备内置的麦克风设备接收用户发出的语音指令作为交互指令，并控制智能语音设备动态实时监听是否接收到交互指令，在接收到交互指令时，获取交互场景图像和界面运行内容，以辅助控制智能语音设备对交互指令进行相应的响应处理，具体可以参见后续实施例。
本公开实施例中，在获取交互场景图像和界面运行内容时，可以预先在交互控制装置上配置图像采集装置，利用该图像采集装置采集当前用户与智能语音设备进行语音交互时的场景图像作为交互场景图像，采集当前交互场景下智能语音设备的界面运行图像，并对界面运行图像进行识别处理，以得到界面运行内容，或者也可以采用其他任意可能的方式获取交互场景图像和界面运行内容，对此不做限制。
S102：根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景。
其中，目标交互场景，可以是预先设定的交互场景，即如果交互场景是预先设定的交互场景，则可以采取适合于目标交互场景的响应方式对智能语音设备进行响应控制。
本公开实施例中的目标交互场景可以配置为用户以较高频次的交互指令与智能语音设备进行交互的场景，或者，也可以根据实际交互场景的需求，设置其他任意可能形式的目标交互场景，对此不做限制。
举例而言，以目标交互场景配置为用户以较高频次的交互指令与智能语音设备进行交互的场景进行示例，其中，较高频次的交互指令，可以例如用户发出“上一页”或者“下一页”等对当前页面进行翻页处理的指令，或者还可以是“返回”、“退出”等用户可能频繁对智能语音设备发出的交互指令，对此不做限制。
本公开实施例在上述获取交互场景图像和界面运行内容之后，可以根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，能够有效保证目标交互场景判定识别的全面性和准确性。
本公开实施例中，在根据交互场景图像判断交互场景是否是目标交互场景时，可以对交互场景图像中的用户图像信息进行提取，通过用户图像信息对用户与智能语音设备的交互状态进行检验，如果检验结果表明用户当前场景下正在与智能语音设备进行交互，也即是说，用户与智能语音设备的交互状态为有效交互状态，则可以对界面运行内容进行判断，如果当前界面运行内容是列表页或者是待对其进行翻页操作的界面内容，则当前交互场景可以是目标交互场景。
另一些实施例中，也可以联合交互场景图像和界面运行内容对交互场景进行综合判断，结合界面运行内容判断当前交互场景是否为对视频进行切换、返回、等频繁操作的交互场景，如果当前交互场景为待对视频进行切换、返回等频繁操作的交互场景，则判断该交互场景是目标交互场景，或者可以采用其他任意可能的方式联合交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，对此不做限制。
S103：如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词。
其中，目标指令词，是指交互指令中用于对智能语音设备的响应方式进行匹配的词语，目标指令词可以是针对目标交互场景设置的支持高频操作的指令词，或者，也可以是根据实际交互场景需求自适配配置的指令词，对此不做限制。
本公开实施例在上述根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词。
本公开实施例中，在从交互指令中解析得到目标指令词时，可以对麦克风接收到的语音形式的交互指令进行语音识别处理，对交互指令进行语音特征提取以及模式匹配等处理，结合自然语言处理算法对交互指令进行解析处理，以得到交互指令中的目标指令词，而后可以根据与目标指令词匹配的交互响应方式响应交互指令，具体可见后续实施例。
另一些实施例中，可以对交互指令进行语音识别处理，而后可以对识别处理后得到的文本进行分词处理，以得到多个指令词，而后可以在智能语音设备的本地数据库中进行搜索，以得到与交互指令匹配的目标指令词，或者也可以采用其他任意可能的方式从交互指令中解析得到目标指令词，对此不做限制。
S104：根据与目标指令词匹配的交互响应方式响应交互指令。
其中，交互响应方式，是指智能语音设备根据目标指令词所进行的对应应答处理方式，该应答处理方式例如可以为翻页处理以及退出当前界面等交互响应方式。
本公开实施例中，在上述交互指令中解析得到目标指令词之后，可以根据与目标指令词匹配的交互响应方式响应交互指令，可以预先针对智能语音设备本地数据库中预存的指令词设定相应的响应程序，当目标指令词与智能语音设备的本地数据库中存储的预存指令词匹配时，调用与目标指令词对应的响应程序对交互指令进行响应，以实现根据与目标指令词匹配的交互响应方式响应交互指令。
举例而言，当目标指令词为“上一页”时，则将该目标指令词在本地数据库中与预存指令词进行匹配，搜索与目标指令词对应的翻页处理响应程序，调用该翻页处理响应程序对目标指令词进行响应，实现根据与目标指令词匹配的交互响应方式响应交互指令。
本实施例中，通过在接收到交互指令时，获取交互场景图像和界面运行内容，根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词，以及根据与目标指令词匹配的交互响应方式响应交互指令。由此，可以实现智能语音设备在目标交互场景下直接根据目标指令词对交互指令进行响应，减少交互过程的响应时间消耗，有效提升智能语音设备的交互操作效率，以及提升智能语音设备的易用性。
图2是根据本公开第二实施例的示意图。
如图2所示，该交互控制方法，包括：
S201：在接收到交互指令时，获取交互场景图像和界面运行内容。
S201的描述说明可以示例参见上述实施例，在此不再赘述。
S202：获取交互场景图像中的对象图像特征。
其中，对象图像，可以为捕获到的交互场景图像中的用户所在区域的图像，对象图像特征可以为用户面部特征，或者可以是用户的局部特征等，对此不做限制。
其中，用户面部特征，其获取是在符合相关法律、法规的情况下获取的，例如前述数据可以是来自于公开数据集处，还可以是经过相关机构授权后从已授权机构处获取的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本公开实施例中，在获取交互场景图像中的对象图像特征时，可以利用特征提取模型对交互场景图像进行检测处理，以获取交互场景图像中的对象图像区域，并对该对象图像区域进行特征提取处理，以提取到用户面部特征等作为对象图像特征。
另一些实施例中，还可以对多帧交互场景图像进行连续处理，以提取得到对象图像的连续动作特征作为对象图像特征，或者也可以采用其他任意可能方式实现获取交互场景图像中的对象图像特征，对此不做限制。
可选地，一些实施例中，获取交互场景图像中的对象图像特征，可以获取交互场景图像中的用户区域的局部图像特征，并将用户区域的局部图像特征作为对象图像特征，当从交互场景图像中提取用户区域的局部图像特征作为对象图像特征时，能够有效地丰富对象图像特征的表征维度，并采用该对象图像特征对用户与智能语音设备的交互状态进行检验，保证了交互指令的检测的有效性和准确性，从而有效保证智能语音设备的响应处理效果。
其中，局部图像特征用于描述交互场景图像中的用户区域中的用户特征，该局部图像特征例如可以为用户的面部图像特征，或者还可以为用户的视线区域特征以及面部动作特征等，对此不做限制。
本公开实施例中，在获取交互场景图像中的对象图像特征时，可以获取交互场景图像中的用户区域的局部图像，而后利用特征提取模型对局部图像中的图像特征进行提取，可以提取用户区域局部图像中用户的面部特征作为局部图像特征，或者还可以提取局部图像中用户的视线区域特征作为局部图像特征，并将提取得到的用户区域的局部图像特征作为对象图像特征，对此不做限制。
S203：分析界面运行内容的运行内容特征。
其中，运行内容特征，可以用于表征智能语音设备所运行的界面内容情况，该界面内容情况可以例如为界面内容类型、界面内容样式、界面运行的具体内容等，该运行内容特征，可以例如为列表页特征，或者文章浏览页特征，或者还可以是短视频浏览页特征等，对此不做限制。
本公开实施例中，在分析界面运行内容的运行内容特征时，可以对智能语音设备所运行的界面内容情况进行识别，并将识别出的界面内容情况作为界面运行内容的运行内容特征。
S204：根据对象图像特征和运行内容特征，判断交互场景是否是目标交互场景。
本公开实施例在上述获取交互场景图像中的对象图像特征，并分析界面运行内容的运行内容特征之后，可以根据对象图像特征和运行内容特征，判断交互场景是否是目标交互场景。
本公开实施例中，在根据对象图像特征和运行内容特征判断交互场景是否是目标交互场景时，可以对分别对对象图像特征和运行内容特征进行判断，如果对象图像特征中包含用户的正脸图像特征，则根据运行内容特征对界面运行的页面类别进行判断，如果页面类别是列表页或者文章浏览页等待对页面高频次操作的页面，则判定交互场景是目标交互场景，如果对象图像特征中不包含用户的正脸图像特征，则判定交互场景不是目标交互场景。
其中，用户的正脸图像特征，其获取是在符合相关法律、法规的情况下获取的，例如前述数据可以是来自于公开数据集处，还可以是经过相关机构授权后从已授权机构处获取的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本实施例中，通过获取交互场景图像中的对象图像特征，分析界面运行内容的运行内容特征，并根据对象图像特征和运行内容特征，判断交互场景是否是目标交互场景，当联合对象图像特征和运行内容特征判断交互场景是否是目标交互场景时，能够实现对目标交互场景的有效地判定识别，提升目标场景判定的准确性，实现在目标交互场景下，直接利用目标指令词对交互指令进行响应，有效提升智能语音设备的响应处理效率。
S205：如果交互场景不是目标交互场景，则判断交互指令中是否包含设定唤醒词。
其中，设定唤醒词，是指预先设定的用于对智能语音设备进行唤醒控制的词汇，即，该设定唤醒词，被用于在智能语音设备未唤醒时，对其进行唤醒处理，唤醒处理后的智能语音设备可以对交互指令进行响应。
本公开实施例在上述根据对象图像特征和运行内容特征判断交互场景是否是目标交互场景之后，如果交互场景不是目标交互场景，可以对交互指令中是否包含设定唤醒词进行判断，可以对交互指令进行识别解析处理，并对交互指令中是否包含用于对智能语音设备进行唤醒控制的词汇进行判断，如果交互指令中包含用于对智能语音设备进行唤醒控制的词汇，则判定交互指令中包含设定唤醒词，如果交互指令中不包含用于对智能语音设备进行唤醒控制的词汇，则判定交互指令中不包含设定唤醒词。
S206：如果交互指令中不包含设定唤醒词，则持续地监听是否接收到新的交互指令，并在接收到新的交互指令时，根据新的交互指令对交互指令进行更新处理。
本公开实施例中，如果判定交互指令中不包含设定唤醒词，则开启智能语音设备内置的麦克风设备持续接收交互指令，并持续地监听是否接收到新的交互指令，并在接收到新的交互指令时，利用新的交互指令替换处理原交互指令，对交互指令进行更新处理，而后可以对新的交互指令进行响应处理。
本实施例中，通过在交互指令中不包含设定唤醒词时，持续地监听是否接收到新的交互指令，并在接收到新的交互指令时，根据新的交互指令对交互指令进行更新处理，从而可以在交互场景不是目标交互场景且交互指令中不包含设定唤醒词时，对交互指令进行更新处理，避免造成智能语音设备对交互指令的错漏处理现象，保证智能语音设备对交互指令的全面响应，有效提升智能语音设备的易用性。
S207：如果交互指令中包含设定唤醒词，则对智能语音设备进行唤醒处理。
本公开实施例中，在上述对交互指令中是否包含设定唤醒词之后，如果判定交互指令中包含设定唤醒词，则利用设定唤醒词对智能语音设备进行唤醒处理，而后可以控制唤醒后的智能语音设备响应交互指令，具体可见后续实施例。
S208：控制智能语音设备响应交互指令。
本公开实施例中，在控制智能语音设备响应交互指令响应交互指令时，可以将智能语音设备连接至云端服务器，在云端服务器中利用自动语音识别技术(AutomaticSpeech Recognition，ASR)对交互指令进行识别处理，而后根据识别处理结果控制智能语音设备响应交互指令。
本实施例中，通过在交互场景不是目标交互场景时，判断交互指令中是否包含设定唤醒词，在交互指令中包含设定唤醒词时，对智能语音设备进行唤醒处理，并控制智能语音设备响应交互指令，从而可以在非目标交互场景下利用设定唤醒词唤醒智能语音设备，以控制智能语音设备及时地对交互指令进行响应，有效地对基于设定唤醒词的响应方式和基于指令词的响应方式进行解耦处理，辅助提升智能语音设备响应的灵活性，有效地适配于实际交互场景的个性化使用需求。
S209：如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词。
S210：根据与目标指令词匹配的交互响应方式响应交互指令。
S209-S210的描述说明可以示例参见上述实施例，在此不再赘述。
本实施例中，通过获取交互场景图像中的对象图像特征，分析界面运行内容的运行内容特征，并根据对象图像特征和运行内容特征，判断交互场景是否是目标交互场景，当联合对象图像特征和运行内容特征判断交互场景是否是目标交互场景时，能够实现对目标交互场景的有效地判定识别，提升目标场景判定的准确性，实现在目标交互场景下，直接利用目标指令词对交互指令进行响应，有效提升智能语音设备的响应处理效率，通过在交互指令中不包含设定唤醒词时，持续地监听是否接收到新的交互指令，并在接收到新的交互指令时，根据新的交互指令对交互指令进行更新处理，从而可以在交互场景不是目标交互场景且交互指令中不包含设定唤醒词时，对交互指令进行更新处理，避免造成智能语音设备对交互指令的错漏处理现象，保证智能语音设备对交互指令的全面响应，有效提升智能语音设备的易用性，通过在交互场景不是目标交互场景时，判断交互指令中是否包含设定唤醒词，在交互指令中包含设定唤醒词时，对智能语音设备进行唤醒处理，并控制智能语音设备响应交互指令，从而可以在非目标交互场景下利用设定唤醒词唤醒智能语音设备，以控制智能语音设备及时地对交互指令进行响应，有效地对基于设定唤醒词的响应方式和基于指令词的响应方式进行解耦处理，辅助提升智能语音设备响应的灵活性，有效地适配于实际交互场景的个性化使用需求。
图3是根据本公开第二实施例的示意图。
如图3所示，该交互控制方法，包括：
S301：在接收到交互指令时，获取交互场景图像和界面运行内容。
S302：获取交互场景图像中的对象图像特征。
S303：分析界面运行内容的运行内容特征。
S301-S303的描述说明可以示例参见上述实施例，在此不再赘述。
S304：判断对象图像特征是否是目标对象图像特征。
其中，目标对象图像特征是指交互场景图像中与用户相关的对象局部图像特征，包含与用户相关的对象局部图像特征的对象图像特征可以被称为目标对象图像特征，该与用户相关的对象局部图像特征可以为用户的面部特征，或者可以为用户的面部局部特征等，其中，用户的面部局部特征可以为用户的眼部特征等，对此不做限制。
本公开实施例中，在判断对象图像特征是否是目标对象图像特征时，可以对对象图像特征中是否包含用户的面部特征进行检测，如果检测到对象图像特征包含用户的面部特征，或者是检测到对象图像特征中包含用户的面部局部特征，则表明该对象图像特征是目标对象图像特征，如果在对象图像特征中未检测到用户的面部特征或者用户的面部局部特征，则表明该对象图像特征不是目标对象图像特征。
可选地，一些实施例中，判断对象图像特征是否是目标对象图像特征，如果局部图像特征包括用户面部特征，则判定对象图像特征是目标对象图像特征，如果局部图像特征不包括用户面部特征，则判定对象图像特征不是目标对象图像特征，从而可以根据用户面部特征对对象图像特征是否为目标对象图像特征进行判断，实现联合视觉信息与语音识别的声学信息对智能语音设备进行响应前的交互场景判断，有效减少语音识别中的误识别情况，针对目标对象图像特征的检验条件可以进行适应性配置，从而可以提升对交互场景是否为目标交互场景进行判断的灵活性。
其中，用户面部特征用于描述用户与智能语音设备进行交互时的面部朝向情况，举例而言，当用户与智能语音设备进行交互时面部正部朝向智能语音设备，则用户面部特征可以为用户的正脸图像特征，当用户与智能语音设备进行交互时眼睛看向智能语音设备，则用户面部特征还可以为用户的眼部图像特征，或者可以在用户与智能设备进行交互时，捕获多帧图像对用户的唇部动作特征进行识别提取，将该唇部动作特征作为用户面部特征，对此不做限制。
其中，用户的正脸图像特征、用户的眼部图像特征以及用户的唇部动作特征等用户面部特征，其获取均是在符合相关法律、法规的情况下获取的，例如前述数据可以是来自于公开数据集处，还可以是经过相关机构授权后从已授权机构处获取的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本公开实施例中，在判断对象图像特征是否是目标对象图像特征时，可以对对象图像特征中的局部图像特征是否包括用户面部特征进行检测，如果用户在与智能语音设备进行交互时面朝智能语音设备，可以检测到用户的正脸图像特征，则表明局部图像特征中包括用户面部特征，可以判定对象图像特征是目标对象图像特征，如果用户在与智能语音设备进行交互时没有面朝智能语音设备，则检测不到用户的正脸图像特征，表明局部图像特征不包括用户面部特征，则判定对象图像特征不是目标对象图像特征。
另一些实施例中，还可以在用户没有面朝智能语音设备时，检测局部图像特征中是否包含用户的眼部图像特征，如果局部图像特征中包含用户的眼部图像特征，则判定对象图像特征是目标对象图像特征，如果局部图像特征中不包含用户的眼部图像特征，则判定对象图像特征不是目标对象图像特征，或者也可以对局部图像特征中是否包含用户的唇部运动特征等进行检验，以判断对象图像特征是否是目标对象图像特征，对此不做限制。
举例而言，如图4所示，图4是本公开实施例中的智能语音设备交互流程示意图，在智能语音设备接收到交互指令后，可以对交互场景是否满足判断条件进行判断，可以根据局部对象特征中是否包含用户面部图像对用户与智能语音设备的交互有效性进行判断，以检测出交互场景是否为目标交互场景，如果交互场景为目标交互场景，可以在智能语音设备的界面上展示“支持免唤醒快捷词”，并根据交互指令中的指令词控制智能语音设备进行响应。
S305：根据运行内容特征，确定预测交互频次，其中，预测交互频次，是预测得到的用户在设定时间范围内与界面运行内容的交互次数。
本公开实施例在上述分析界面运行内容的运行内容特征之后，可以根据运行内容特征确定预测交互频次，可以预先设置一个时间范围，在设定时间范围内对用户与界面运行内容的交互次数进行统计，并将在设定时间范围内统计得到的用户与界面运行内容的交互次数作为预测交互频次。
可选地，一些实施例中，根据运行内容特征，确定预测交互频次，可以确定多个候选内容特征，其中，多个候选内容特征分别具有对应多个候选交互频次，从多个候选内容特征之中，确定出与运行内容特征匹配的候选内容特征，将匹配的候选内容特征所对应候选交互频次作为预测交互频次，从而可以将匹配的候选内容特征所对应候选交互频次作为预测交互频次，预测交互频次可以用于对界面运行内容是否为目标交互场景进行判断，辅助提升确定目标交互场景的准确性。
其中，候选内容可以是智能语音设备的多个界面运行内容，多个候选内容特征可以为多个候选内容对应的界面运行内容特征。
本公开实施例中，在根据运行内容特征确定预测交互频次时，可以确定多个候选内容特征，并在设定时间范围内对用户与候选内容特征分别对应界面运行内容的交互次数进行统计，以得到与多个候选内容特征分别对应的多个候选交互频次，而后可以对多个候选内容特征进行匹配处理，从多个候选内容特征之中，确定出与运行内容特征匹配的候选内容特征，并将匹配处理得到的候选内容特征所对应的候选交互频次作为预测交互频次。
可选地，一些实施例中，从多个候选内容特征之中，确定出与运行内容特征匹配的候选内容特征，可以分别确定运行内容特征，与多个候选内容特征之间对应的多个相似度值，从多个相似度值之中确定出值最大的相似度值，并将最大的相似度值所属的候选内容特征作为匹配的候选内容特征，从而可以利用相似度值从候选内容特征中选取与运行内容特征匹配的候选内容特征，有效提升候选内容特征的匹配处理效率，提升选取与运行内容特征匹配的候选内容特征的准确性。
本公开实施例中，在分别确定运行内容特征与多个候选内容特征之间对应的多个相似度值时，可以利用相似度处理算法对运行内容特征与多个候选内容特征之间相似度值进行计算处理，并将算法的输出结果作为运行内容特征与多个候选内容特征之间对应的多个相似度值。
本公开实施例在上述确定运行内容特征与多个候选内容特征之间对应的多个相似度值之后，可以对多个相似度值进行排序处理，从多个相似度值之中确定出值最大的相似度值，并将最大的相似度值的候选内容特征作为与运行内容特征匹配的候选内容特征。
S306：如果对象图像特征是目标对象图像特征，且预测交互频次大于或等于频次阈值，则确定交互场景是目标交互场景。
其中，频次阈值可以是预先针对预测交互频次设置的数值阈值，频次阈值可以用于对预测交互频次进行检验，预测交互频次大于或等于频次阈值交互场景为目标交互场景。
本公开实施例在上述判断对对象图像特征是否是目标对象图像特征进行判断，并根据运行内容特征确定预测交互频次之后，可以根据目标对象图像特征和预测交互频次确定交互场景是目标交互场景，如果对象图像特征是目标对象图像特征，且预测交互频次大于或等于频次阈值，则确定交互场景是目标交互场景。
S307：如果对象图像特征不是目标对象图像特征，或预测交互频次小于频次阈值，则确定交互场景不是目标交互场景。
本公开实施例在上述判断对对象图像特征是否是目标对象图像特征进行判断，并根据运行内容特征确定预测交互频次之后，可以根据目标对象图像特征和预测交互频次确定交互场景是目标交互场景，如果对象图像特征不是目标对象图像特征，且预测交互频次小于频次阈值，则确定交互场景不是目标交互场景。
本实施例中，通过判断对象图像特征是否是目标对象图像特征，根据运行内容特征，确定预测交互频次，如果对象图像特征是目标对象图像特征，且预测交互频次大于或等于频次阈值，则确定交互场景是目标交互场景，如果对象图像特征不是目标对象图像特征，或预测交互频次小于频次阈值，则确定交互场景不是目标交互场景，从而可以联合目标对象图像特征和预测交互频次对交互场景是否为目标交互场景进行判断，实现利用较为丰富的检验条件对目标交互场景进行判定，提升对目标交互场景进行判定的准确性。
S308：如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词。
S308的描述说明可以示例参见上述实施例，在此不再赘述。
S309：确定多个候选指令词，其中，多个候选指令词分别对应配置相应多种交互响应方式。
其中，候选指令词是指预先配置的存储于智能语音设备本地数据库中的指令词，智能语音设备可以根据候选指令词直接对所属的交互指令进行响应处理。
本公开实施例中，在确定多个候选指令词时，可以针对多个目标交互场景预先配置多个对应的指令词，将配置的多个指令词作为候选指令词，并将候选指令词存储于智能语音设备的本地数据库中，而后可以根据多个候选指令词分别配置对应的交互响应程序，将配置的多个交互响应程序作为与多个候选指令词分别对应的多种交互响应方式。
S310：从多个候选指令词中，确定出与目标指令词匹配的候选指令词。
本公开实施例在上述确定多个候选指令词并从交互指令中解析出指令词之后，可以确定出与目标指令词匹配的候选指令词。
本公开实施例中，在从多个候选指令词中确定出与目标指令词匹配的候选指令词时，可以在智能语音设备的本地数据库中对目标指令词进行检索处理，以搜索出与目标指令词匹配的候选指令词，而后可以采用与匹配的候选指令词对应的交互响应方式响应交互指令。
S311：采用匹配的候选指令词对应配置的交互响应方式响应交互指令。
本公开实施例中，在从多个候选指令词中，确定出与目标指令词匹配的候选指令词之后，可以调用与匹配得到的候选指令词对应的交互响应程序，使智能语音设备以与匹配的候选指令词对应配置的交互响应方式响应交互指令。
本实施例中，通过确定多个候选指令词，从多个候选指令词中，确定出与目标指令词匹配的候选指令词，并采用匹配的候选指令词对应配置的交互响应方式响应交互指令，从而可以实现在本地数据库中搜索匹配的候选指令词并调用相应的响应程序进行响应，实现根据候选指令词配置的交互响应方式直接对交互指令进行响应，降低对交互指令进行语音识别和交互响应方式匹配处理的时间消耗，有效提升智能语音设备的交互响应处理效率。
本实施例中，通过判断对象图像特征是否是目标对象图像特征，根据运行内容特征，确定预测交互频次，如果对象图像特征是目标对象图像特征，且预测交互频次大于或等于频次阈值，则确定交互场景是目标交互场景，如果对象图像特征不是目标对象图像特征，或预测交互频次小于频次阈值，则确定交互场景不是目标交互场景，从而可以联合目标对象图像特征和预测交互频次对交互场景是否为目标交互场景进行判断，实现利用较为丰富的检验条件对目标交互场景进行判定，提升对目标交互场景进行判定的准确性，通过确定多个候选指令词，从多个候选指令词中，确定出与目标指令词匹配的候选指令词，并采用匹配的候选指令词对应配置的交互响应方式响应交互指令，从而可以实现在本地数据库中搜索匹配的候选指令词并调用相应的响应程序进行响应，实现根据候选指令词配置的交互响应方式直接对交互指令进行响应，降低对交互指令进行语音识别和交互响应方式匹配处理的时间消耗，有效提升智能语音设备的交互响应处理效率。
图5是根据本公开第四实施例的示意图。
如图5所示，该交互控制装置50，包括：
获取模块501，用于在接收到交互指令时，获取交互场景图像和界面运行内容；
第一判断模块502，用于根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景；
解析模块503，用于在交互场景是目标交互场景时，从交互指令中解析得到目标指令词；以及
第一响应模块504，用于根据与目标指令词匹配的交互响应方式响应交互指令。
在本公开的一些实施例中，如图6所示，图6是根据本公开第五实施例的示意图，该交互控制装置60，包括：获取模块601，第一判断模块602，解析模块603，第一响应模块604，其中，还包括：
第二判断模块605，用于在根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景之后，在交互场景不是目标交互场景时，判断交互指令中是否包含设定唤醒词；
处理模块606，用于在交互指令中包含设定唤醒词时，对智能语音设备进行唤醒处理；
第二响应模块607，用于控制智能语音设备响应交互指令。
在本公开的一些实施例中，其中，还包括：
更新模块608，用于在判断交互指令中是否包含设定唤醒词之后，在交互指令中不包含设定唤醒词时，持续地监听是否接收到新的交互指令，并在接收到新的交互指令时，根据新的交互指令对交互指令进行更新处理。
在本公开的一些实施例中，其中，第一判断模块602，包括：
获取子模块6021，用于获取交互场景图像中的对象图像特征；
分析子模块6022，用于分析界面运行内容的运行内容特征；
判断子模块6023，用于根据对象图像特征和运行内容特征，判断交互场景是否是目标交互场景。
在本公开的一些实施例中，其中，判断子模块6023，具体用于：
判断对象图像特征是否是目标对象图像特征；
根据运行内容特征，确定预测交互频次，其中，预测交互频次，是预测得到的用户在设定时间范围内与界面运行内容的交互次数；
如果对象图像特征是目标对象图像特征，且预测交互频次大于或等于频次阈值，则确定交互场景是目标交互场景；
如果对象图像特征不是目标对象图像特征，或预测交互频次小于频次阈值，则确定交互场景不是目标交互场景。
在本公开的一些实施例中，其中，获取子模块6021，具体用于：
获取交互场景图像中的用户区域的局部图像特征，并将用户区域的局部图像特征作为对象图像特征。
在本公开的一些实施例中，其中，判断子模块6023，还用于：
如果局部图像特征包括用户面部特征，则判定对象图像特征是目标对象图像特征；
如果局部图像特征不包括用户面部特征，则判定对象图像特征不是目标对象图像特征。
在本公开的一些实施例中，其中，判断子模块6023，还用于：
确定多个候选内容特征，其中，多个候选内容特征分别具有对应多个候选交互频次；
从多个候选内容特征之中，确定出与运行内容特征匹配的候选内容特征；
将匹配的候选内容特征所对应候选交互频次作为预测交互频次。
在本公开的一些实施例中，其中，判断子模块6023，还用于：
分别确定运行内容特征，与多个候选内容特征之间对应的多个相似度值；
从多个相似度值之中确定出值最大的相似度值，并将最大的相似度值所属的候选内容特征作为匹配的候选内容特征。
在本公开的一些实施例中，其中，第一响应模块604，具体用于：
确定多个候选指令词，其中，多个候选指令词分别对应配置相应多种交互响应方式；
从多个候选指令词中，确定出与目标指令词匹配的候选指令词；
采用匹配的候选指令词对应配置的交互响应方式响应交互指令。
可以理解的是，本实施例附图6中的交互控制装置60与上述实施例中的交互控制装置50，接收模块601与上述实施例中的接收模块501，获取模块602与上述实施例中的获取模块502，解析模块603与上述实施例中的解析模块503，更新模块604与上述实施例中的更新模块504可以具有相同的功能和结构。
需要说明的是，前述对交互控制方法的解释说明也适用于本实施例的交互控制装置，在此不再赘述。
本实施例中，通过在接收到交互指令时，获取交互场景图像和界面运行内容，根据交互场景图像和界面运行内容，判断交互场景是否是目标交互场景，如果交互场景是目标交互场景，则从交互指令中解析得到目标指令词，以及根据与目标指令词匹配的交互响应方式响应交互指令。由此，可以实现对智能语音设备的交互场景进行判断识别，在交互场景是目标交互场景时，直接控制智能语音设备从交互指令中解析得到目标指令词以进行响应，有效地避免在目标交互场景下对智能语音设备的重复唤醒，降低交互响应时间消耗，有效提升智能语音设备的交互效率，提升智能语音设备的易用性。
根据本公开的实施例，本公开还提供了一种智能语音设备、电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例智能语音设备的示意性框图。
该智能语音设备70，包括：
至少一个处理器701；以及
与至少一个处理器701通信连接的存储器702；其中，
存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行上述的交互控制方法。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如交互控制方法。例如，在一些实施例中，交互控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的交互控制方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交互控制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种交互控制方法，应用于智能语音设备，所述方法包括：
在接收到交互指令时，获取交互场景图像和界面运行内容；
根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景；
如果所述交互场景是所述目标交互场景，则从所述交互指令中解析得到目标指令词；以及
根据与所述目标指令词匹配的交互响应方式响应所述交互指令。
2.根据权利要求1所述的方法，在所述根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景之后，还包括：
如果所述交互场景不是所述目标交互场景，则判断所述交互指令中是否包含设定唤醒词；
如果所述交互指令中包含所述设定唤醒词，则对所述智能语音设备进行唤醒处理；以及
控制所述智能语音设备响应所述交互指令。
3.根据权利要求2所述的方法，在所述判断所述交互指令中是否包含设定唤醒词之后，还包括：
如果所述交互指令中不包含所述设定唤醒词，则持续地监听是否接收到新的交互指令，并在接收到所述新的交互指令时，根据所述新的交互指令对所述交互指令进行更新处理。
4.根据权利要求1所述的方法，其中，所述根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景，包括：
获取所述交互场景图像中的对象图像特征；
分析所述界面运行内容的运行内容特征；
根据所述对象图像特征和所述运行内容特征，判断所述交互场景是否是所述目标交互场景。
5.根据权利要求4所述的方法，其中，所述根据所述对象图像特征和所述运行内容特征，判断所述交互场景是否是所述目标交互场景，包括：
判断所述对象图像特征是否是目标对象图像特征；
根据所述运行内容特征，确定预测交互频次，其中，所述预测交互频次，是预测得到的用户在设定时间范围内与所述界面运行内容的交互次数；
如果所述对象图像特征是所述目标对象图像特征，且所述预测交互频次大于或等于频次阈值，则确定所述交互场景是所述目标交互场景；
如果所述对象图像特征不是所述目标对象图像特征，或所述预测交互频次小于所述频次阈值，则确定所述交互场景不是所述目标交互场景。
6.根据权利要求5所述的方法，其中，所述获取所述交互场景图像中的对象图像特征，包括：
获取所述交互场景图像中的用户区域的局部图像特征，并将所述用户区域的局部图像特征作为所述对象图像特征。
7.根据权利要求6所述的方法，其中，所述判断所述对象图像特征是否是目标对象图像特征，包括：
如果所述局部图像特征包括用户面部特征，则判定所述对象图像特征是所述目标对象图像特征；
如果所述局部图像特征不包括所述用户面部特征，则判定所述对象图像特征不是所述目标对象图像特征。
8.根据权利要求5所述的方法，其中，所述根据所述运行内容特征，确定预测交互频次，包括：
确定多个候选内容特征，其中，所述多个候选内容特征分别具有对应多个候选交互频次；
从所述多个候选内容特征之中，确定出与所述运行内容特征匹配的候选内容特征；
将所述匹配的候选内容特征所对应候选交互频次作为所述预测交互频次。
9.根据权利要求8所述的方法，其中，所述从所述多个候选内容特征之中，确定出与所述运行内容特征匹配的候选内容特征，包括：
分别确定所述运行内容特征，与所述多个候选内容特征之间对应的多个相似度值；
从所述多个相似度值之中确定出值最大的相似度值，并将所述最大的相似度值所属的候选内容特征作为所述匹配的候选内容特征。
10.根据权利要求1-9任一项所述的方法，其中，所述根据与所述目标指令词匹配的交互响应方式响应所述交互指令，包括：
确定多个候选指令词，其中，所述多个候选指令词分别对应配置相应多种交互响应方式；
从所述多个候选指令词中，确定出与所述目标指令词匹配的候选指令词；
采用所述匹配的候选指令词对应配置的交互响应方式响应所述交互指令。
11.一种交互控制装置，应用于智能语音设备，包括：
获取模块，用于在接收到交互指令时，获取交互场景图像和界面运行内容；
第一判断模块，用于根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景；
解析模块，用于在所述交互场景是所述目标交互场景时，从所述交互指令中解析得到目标指令词；以及
第一响应模块，用于根据与所述目标指令词匹配的交互响应方式响应所述交互指令。
12.根据权利要求11所述的装置，所述装置还包括：
第二判断模块，用于在所述根据所述交互场景图像和所述界面运行内容，判断交互场景是否是目标交互场景之后，在所述交互场景不是所述目标交互场景时，判断所述交互指令中是否包含设定唤醒词；
处理模块，用于在所述交互指令中包含所述设定唤醒词时，对所述智能语音设备进行唤醒处理；
第二响应模块，用于控制所述智能语音设备响应所述交互指令。
13.根据权利要求12所述的装置，所述装置还包括：
更新模块，用于在所述判断所述交互指令中是否包含设定唤醒词之后，在所述交互指令中不包含所述设定唤醒词时，持续地监听是否接收到新的交互指令，并在接收到所述新的交互指令时，根据所述新的交互指令对所述交互指令进行更新处理。
14.根据权利要求11所述的装置，其中，所述第一判断模块，包括：
获取子模块，用于获取所述交互场景图像中的对象图像特征；
分析子模块，用于分析所述界面运行内容的运行内容特征；
判断子模块，用于根据所述对象图像特征和所述运行内容特征，判断所述交互场景是否是所述目标交互场景。
15.根据权利要求14所述的装置，其中，所述判断子模块，具体用于：
判断所述对象图像特征是否是目标对象图像特征；
根据所述运行内容特征，确定预测交互频次，其中，所述预测交互频次，是预测得到的用户在设定时间范围内与所述界面运行内容的交互次数；
如果所述对象图像特征是所述目标对象图像特征，且所述预测交互频次大于或等于频次阈值，则确定所述交互场景是所述目标交互场景；
如果所述对象图像特征不是所述目标对象图像特征，或所述预测交互频次小于所述频次阈值，则确定所述交互场景不是所述目标交互场景。
16.根据权利要求15所述的装置，其中，所述获取子模块，具体用于：
获取所述交互场景图像中的用户区域的局部图像特征，并将所述用户区域的局部图像特征作为所述对象图像特征。
17.根据权利要求16所述的装置，其中，所述判断子模块，还用于：
如果所述局部图像特征包括用户面部特征，则判定所述对象图像特征是所述目标对象图像特征；
如果所述局部图像特征不包括所述用户面部特征，则判定所述对象图像特征不是所述目标对象图像特征。
18.根据权利要求15所述的装置，其中，所述判断子模块，还用于：
确定多个候选内容特征，其中，所述多个候选内容特征分别具有对应多个候选交互频次；
从所述多个候选内容特征之中，确定出与所述运行内容特征匹配的候选内容特征；
将所述匹配的候选内容特征所对应候选交互频次作为所述预测交互频次。
19.根据权利要求18所述的装置，其中，所述判断子模块，还用于：
分别确定所述运行内容特征，与所述多个候选内容特征之间对应的多个相似度值；
从所述多个相似度值之中确定出值最大的相似度值，并将所述最大的相似度值所属的候选内容特征作为所述匹配的候选内容特征。
20.根据权利要求11-19任一项所述的装置，其中，所述第一响应模块，具体用于：
确定多个候选指令词，其中，所述多个候选指令词分别对应配置相应多种交互响应方式；
从所述多个候选指令词中，确定出与所述目标指令词匹配的候选指令词；
采用所述匹配的候选指令词对应配置的交互响应方式响应所述交互指令。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述方法的步骤。
24.一种智能语音设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
CN202111479136.1A 2021-12-06 2021-12-06 交互控制方法、装置、智能语音设备及存储介质 Active CN114356275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111479136.1A CN114356275B (zh) 2021-12-06 2021-12-06 交互控制方法、装置、智能语音设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111479136.1A CN114356275B (zh) 2021-12-06 2021-12-06 交互控制方法、装置、智能语音设备及存储介质

Publications (2)

Publication Number Publication Date
CN114356275A true CN114356275A (zh) 2022-04-15
CN114356275B CN114356275B (zh) 2023-12-29

Family

ID=81097651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111479136.1A Active CN114356275B (zh) 2021-12-06 2021-12-06 交互控制方法、装置、智能语音设备及存储介质

Country Status (1)

Country Link
CN (1) CN114356275B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
US20190198019A1 (en) * 2017-12-26 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd Method, apparatus, device, and storage medium for voice interaction
US20190251350A1 (en) * 2018-02-15 2019-08-15 DMAI, Inc. System and method for inferring scenes based on visual context-free grammar model
CN110689889A (zh) * 2019-10-11 2020-01-14 深圳追一科技有限公司 人机交互方法、装置、电子设备及存储介质
CN111105792A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 语音交互处理方法及装置
JP2020091405A (ja) * 2018-12-06 2020-06-11 アルパイン株式会社 音声分析システムおよび音声分析方法
CN111312235A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 一种语音交互方法、装置及系统
CN111429902A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 用于唤醒设备的方法和装置
US20200357394A1 (en) * 2019-05-10 2020-11-12 Hyundai Motor Company System and method for providing information based on speech recognition
US20200380040A1 (en) * 2016-10-19 2020-12-03 Mitsubishi Electric Corporation Voice recognition apparatus
US20210012777A1 (en) * 2018-07-02 2021-01-14 Beijing Baidu Netcom Science Technology Co., Ltd. Context acquiring method and device based on voice interaction
CN112272819A (zh) * 2018-06-05 2021-01-26 三星电子株式会社 被动唤醒用户交互设备的方法和系统
CN112397065A (zh) * 2020-11-04 2021-02-23 深圳地平线机器人科技有限公司 语音交互方法、装置、计算机可读存储介质及电子设备
CN112463106A (zh) * 2020-11-12 2021-03-09 深圳Tcl新技术有限公司 基于智能屏幕的语音交互方法、装置、设备及存储介质
CN112511877A (zh) * 2020-12-07 2021-03-16 四川长虹电器股份有限公司 一种智能电视语音连续对话及交互的方法
CN112863508A (zh) * 2020-12-31 2021-05-28 思必驰科技股份有限公司 免唤醒交互方法和装置
US20210174805A1 (en) * 2019-12-04 2021-06-10 Samsung Electronics Co., Ltd. Voice user interface
CN113380241A (zh) * 2021-05-21 2021-09-10 珠海格力电器股份有限公司 语义交互的调整方法、装置、语音设备及存储介质
CN113611316A (zh) * 2021-07-30 2021-11-05 百度在线网络技术（北京）有限公司 人机交互方法、装置、设备以及存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380040A1 (en) * 2016-10-19 2020-12-03 Mitsubishi Electric Corporation Voice recognition apparatus
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
US20190198019A1 (en) * 2017-12-26 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd Method, apparatus, device, and storage medium for voice interaction
US20190251350A1 (en) * 2018-02-15 2019-08-15 DMAI, Inc. System and method for inferring scenes based on visual context-free grammar model
CN112272819A (zh) * 2018-06-05 2021-01-26 三星电子株式会社 被动唤醒用户交互设备的方法和系统
US20210012777A1 (en) * 2018-07-02 2021-01-14 Beijing Baidu Netcom Science Technology Co., Ltd. Context acquiring method and device based on voice interaction
CN111105792A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 语音交互处理方法及装置
JP2020091405A (ja) * 2018-12-06 2020-06-11 アルパイン株式会社 音声分析システムおよび音声分析方法
CN111312235A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 一种语音交互方法、装置及系统
US20200357394A1 (en) * 2019-05-10 2020-11-12 Hyundai Motor Company System and method for providing information based on speech recognition
CN110689889A (zh) * 2019-10-11 2020-01-14 深圳追一科技有限公司 人机交互方法、装置、电子设备及存储介质
US20210174805A1 (en) * 2019-12-04 2021-06-10 Samsung Electronics Co., Ltd. Voice user interface
CN111429902A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 用于唤醒设备的方法和装置
CN112397065A (zh) * 2020-11-04 2021-02-23 深圳地平线机器人科技有限公司 语音交互方法、装置、计算机可读存储介质及电子设备
CN112463106A (zh) * 2020-11-12 2021-03-09 深圳Tcl新技术有限公司 基于智能屏幕的语音交互方法、装置、设备及存储介质
CN112511877A (zh) * 2020-12-07 2021-03-16 四川长虹电器股份有限公司 一种智能电视语音连续对话及交互的方法
CN112863508A (zh) * 2020-12-31 2021-05-28 思必驰科技股份有限公司 免唤醒交互方法和装置
CN113380241A (zh) * 2021-05-21 2021-09-10 珠海格力电器股份有限公司 语义交互的调整方法、装置、语音设备及存储介质
CN113611316A (zh) * 2021-07-30 2021-11-05 百度在线网络技术（北京）有限公司 人机交互方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN114356275B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN114416943B (zh) 对话模型的训练方法、装置、电子设备及存储介质
CN113361363A (zh) 人脸图像识别模型的训练方法、装置、设备及存储介质
CN113836268A (zh) 文档理解方法及装置、电子设备和介质
CN112632987A (zh) 词槽的识别方法、装置及电子设备
CN114360531A (zh) 语音识别方法、控制方法、模型训练方法及其装置
CN113947189A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN116824455A (zh) 事件检测方法、装置、设备和存储介质
CN114490986B (zh) 计算机实施的数据挖掘方法、装置、电子设备及存储介质
CN114219046B (zh) 模型训练方法、匹配方法、装置、系统、电子设备和介质
CN114758649B (zh) 一种语音识别方法、装置、设备和介质
CN114415997B (zh) 显示参数设置方法、装置、电子设备及存储介质
CN115455961A (zh) 一种文本处理方法、装置、设备及介质
CN114356275B (zh) 交互控制方法、装置、智能语音设备及存储介质
CN113051926B (zh) 文本抽取方法、设备和存储介质
CN114490967A (zh) 对话模型的训练方法、对话机器人的对话方法、装置和电子设备
CN114547252A (zh) 文本识别方法、装置、电子设备和介质
CN113361575A (zh) 模型训练方法、装置和电子设备
CN114443197A (zh) 界面处理方法、装置、电子设备及存储介质
CN114118937A (zh) 基于任务的信息推荐方法、装置、电子设备及存储介质
CN112817463A (zh) 输入法获取音频数据的方法、设备和存储介质
CN112669837A (zh) 智能终端的唤醒方法、装置及电子设备
CN112766005A (zh) 文本翻译方法、装置、设备及介质
EP4123639A2 (en) Wake-up control for a speech controlled device
CN113593528B (zh) 语音切分模型的训练方法、装置、电子设备及存储介质
CN114140851B (zh) 图像检测方法和用于训练图像检测模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant