CN106682090B - 主动交互实现装置、方法及智能语音交互设备 - Google Patents

主动交互实现装置、方法及智能语音交互设备 Download PDF

Info

Publication number
CN106682090B
CN106682090B CN201611070706.0A CN201611070706A CN106682090B CN 106682090 B CN106682090 B CN 106682090B CN 201611070706 A CN201611070706 A CN 201611070706A CN 106682090 B CN106682090 B CN 106682090B
Authority
CN
China
Prior art keywords
user
emotion
data
identity
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611070706.0A
Other languages
English (en)
Other versions
CN106682090A (zh
Inventor
何嘉
朱频频
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoi Robot Technology Co Ltd filed Critical Shanghai Xiaoi Robot Technology Co Ltd
Priority to CN201611070706.0A priority Critical patent/CN106682090B/zh
Publication of CN106682090A publication Critical patent/CN106682090A/zh
Application granted granted Critical
Publication of CN106682090B publication Critical patent/CN106682090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0252—Targeted advertisements based on events or environment, e.g. weather or festivals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种主动交互实现装置、方法及智能语音交互设备，所述装置包括：数据采集模块，用于采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；身份和情绪识别模块，用于对用户身份和情绪进行识别，得到用户身份和情绪识别结果；大数据引擎模块，用于根据采集和识别得到的数据，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务。本发明可以按需且主动地为用户提供内容服务和/或设备控制服务，使得设备与人的交互过程更为智能与人性化。

Description

主动交互实现装置、方法及智能语音交互设备
技术领域
本发明涉及智能交互技术领域，尤其涉及一种主动交互实现装置、方法及智能语音交互设备。
背景技术
现阶段由于语音技术的发展，智能语音交互设备越来越多，语音交互成为一种非常重要的人机交互途径，尤其是近些年语音助手的普及，从手机到智能家居再到汽车，都可以进行语音的交互以及服务的获取。但是这些语音的交互以及服务的获取是需要人为发布指令或是用户主动触发的。也就是说，现阶段的智能语音交互设备只能被动的为用户提供服务，无法对用户的行为进行预判，从而实现服务的主动推荐。
发明内容
本发明提供一种主动交互实现装置、方法及智能语音交互设备，用以解决现有技术中的智能语音交互设备无法实现主动推荐服务，影响使用效率的问题。
依据本发明的一个方面，提供一种主动交互实现装置，应用于智能语音交互设备，所述装置包括：数据采集模块、身份和情绪识别模块、以及大数据引擎模块；
所述数据采集模块，用于采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
所述身份和情绪识别模块，用于根据所述数据采集模块采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
所述大数据引擎模块，用于根据所述数据采集模块实时采集的数据以及所述身份和情绪识别模块实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务。
可选地，所述大数据引擎模块，具体用于确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。
可选地，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。
可选地，所述大数据引擎模块，具体用于调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。
可选地，所述装置还包括：
用户模型模块，用于根据所述数据采集模块的历史采集数据、所述用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。
可选地，所述用户模型模块，包括：数据解析单元和学习训练单元：
所述数据解析单元，用于在所述历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；
所述学习训练单元，用于将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。
可选地，所述用于用户身份和情绪识别的数据，包括：用户的图像数据和/或语音数据；
所述身份和情绪识别模块，具体包括：身份识别子模块和情绪识别子模块；
所述身份识别子模块，用于当接收到图像数据或者语音数据时，根据接收到的所述图像数据或者语音数据，对用户的身份进行识别；当接收到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的身份进行识别，得到两种数据类型下的两个初始的身份识别结果，并基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果；
所述情绪识别子模块，用于当接收到图像数据或者语音数据时，根据接收到的所述图像数据或者语音数据，对用户的情绪进行识别；当接收到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的情绪进行识别，得到两种数据类型下的两个初始的情绪识别结果，并基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果。
可选地，所述身份识别子模块，用于在得到两种数据类型下的两个初始的身份识别结果时，提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息，当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；当两个身份识别结果中有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果，其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
可选地，所述情绪识别子模块，用于在得到两种数据类型下的两个初始的情绪识别结果时，提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息，当两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值时，以共同识别出的情绪类型作为最终的情绪识别结果；当两个情绪识别结果中有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果；其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
可选地，所述情绪识别子模块，还用于确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别，并将其输出到所述大数据引擎模块；
所述大数据引擎模块，具体用于根据所述数据采集模块实时采集的数据、所述身份和情绪识别模块实时识别的所述用户身份和情绪识别结果、以及识别出的情绪级别，得到用户、智能语音交互设备及环境的状态信息。
依据本发明的另一个方面，还提供一种智能语音交互设备，包括本发明所述的主动交互实现装置。
依据本发明的第三个方面，还提供一种主动交互实现方法，应用于智能语音交互设备，所述方法包括：
采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
根据实时采集的各数据以及实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务。
可选地，所述根据预判结果，主动向用户提供与预判结果相匹配的服务，具体包括：确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。
可选地，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。
可选地，所述主动向用户提供与预判结果相匹配的服务，包括：调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。
可选地，所述方法还包括：
根据历史采集数据、用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。其中，按用户构建用户行为习惯模型，是指以用户为单位构建各用户的用户行为习惯模型。
可选地，所述根据历史采集数据、用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型，包括：
在所述历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；
将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。
可选地，所述用于用户身份和情绪识别的数据，包括：用户的图像数据和/或语音数据；
根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果，包括：
当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的身份进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的身份进行识别，得到两种数据类型下的两个初始的身份识别结果，并基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果；
以及当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的情绪进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的情绪进行识别，得到两种数据类型下的两个初始的情绪识别结果，并基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果。
可选地，所述基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果，包括：提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息，当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；当两个身份识别结果中有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果，其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
可选地，所述基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果，包括：提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息，当两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值时，以共同识别出的情绪类型作为最终的情绪识别结果；当两个情绪识别结果中有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果；其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
可选地，在得到最终的情绪识别结果后，还包括：确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别；
最终识别出的所述情绪识别结果包括：情绪类型及情绪级别。
本发明有益效果如下：
本发明实施例所述装置、方法及智能语音交互设备，可通过当前用户行为习惯模型，根据用户情绪识别结果、当前的设备状态以及环境信息等数据对用户的行为和/或状态进行预判，并可根据预判结果，主动为用户提供精准的内容服务和/或设备控制服务，使得设备更加了解用户的需求，实现了设备与用户交互过程智能化与人性化方面质的飞越，极大的提升了用户的使用效率。
且本发明实施例所述装置和方法将用户情绪作为用户状态的判定条件之一，在某些场合下，例如开车时，情绪的好坏关乎着生命财产安全，而本发明实施例可对用户的情绪状态进行实时判断，并可根据情绪状态提供针对性的服务，例如在用户为愤怒时，可以通过内容服务进行情绪引导，避免了恶性事件的发生，具有较高的社会意义。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明第一实施例提供的一种主动交互实现装置的结构框图；
图2为本发明第一实施例中用户行为习惯模型构建流程图；
图3为本发明第一实施例中主动交互实现装置实现指令交互的示意图；
图4为本发明第三实施例提供的一种主动交互实现方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中，智能语音交互设备只能被动的为用户提供服务，无法对用户的行为进行预判从而实现服务的主动推荐问题，本发明实施例提供一种主动交互实现装置、方法及智能语音交互设备，旨在主动且准确地为用户提供更加人性化的服务。下面通过几个具体实施例，对本发明的实施过程进行详细说明。
在本发明的第一实施例中，提供一种主动交互实现装置，应用于智能语音交互设备，如图1所示，所述装置包括：数据采集模块110、身份和情绪识别模块120、以及大数据引擎模块130；
数据采集模块110，用于采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
身份和情绪识别模块120，用于根据数据采集模块110采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
大数据引擎模块130，用于根据数据采集模块110实时采集的数据以及所述身份和情绪识别模块120实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务。
基于上述结构框架及实施原理，下面给出在上述结构下的几个具体及优选实施方式，用以细化和优化本发明所述装置的功能，以使本发明方案的实施更方便，准确。具体涉及如下内容：
本发明实施例中，所述智能语音交互设备可以但不限于为：汽车、音箱、玩偶、个人电脑、智能手机、家具中控、无人机、电视机、车载中控、机器人等设备。
进一步地，本发明实施例中，所述的情绪识别结果包括：识别出的情绪类型及识别出该情绪类型的置信度。所述的身份识别结果包括：识别出的用户及识别出该用户的置信度。其中，情绪类型包括但不限于为：高兴、伤心、愤怒、厌烦、疲劳、激动和正常等。
进一步地，本发明实施例中，采集的用于用户身份和情绪识别的数据类型包括图像数据及语音数据。当然，本发明并不仅限于采用这两种类型的数据进行身份和情绪识别，针对不同的智能语音交互设备类型，可用于身份识别的数据还可以为指纹数据等，可用于情绪识别的数据还可以为车辆的行驶数据等(仅针对智能语音交互设备为汽车的情况)。
本实施例中，可以采集单一类型的数据进行身份和情绪识别，但更为优选地，采用多种类型的数据进行身份和情绪识别，从而根据不同类型数据得到的识别结果进行身份和情绪的综合判定。本实施例通过综合判定方式可以提高识别准度度以及环境适应性。
在本发明的一个具体实施例中，采集的用于用户身份和情绪识别的数据包括：用户的图像数据和语音数据。
具体地，本实施例中，数据采集模块110通过摄像头采集驾驶员的图像数据以及通过麦克风采集驾驶员的声音数据。在本发明的一个具体实施例中，身份和情绪识别模块120，根据用户的图像数据对用户的身份和情绪进行识别，具体包括：身份和情绪识别模块120在先需要进行人脸的离线训练，所述离线训练使用人脸的数据库训练人脸的检测器、同时在人脸上标定标记点，根据所述人脸标记点训练标记点拟合器，并且，通过人脸标记点和情绪、身份的关系训练情绪身份分类器；当进行人脸的在线运行时(即需要根据图像数据进行情绪和身份识别时)，通过人脸检测器在图像数据中检测人脸，然后通过标记点拟合器拟合人脸上的标记点，情绪身份分类器根据人脸标记点判断当前用户的身份和情绪，最后给出对应的分类置信度。可选地，本发明实施例中，还对所述图像数据进行用户的动作识别，并在根据人脸标记点进行情绪识别时，可以结合动作识别结果，进行综合识别判断，得到基于图像数据的最终情绪识别结果。
本实施例中，基于图像的身份识别的置信度为情绪身份分类器将获取的面部图像中的人脸标记点与在先训练的已知身份的人脸标记点进行匹配的匹配度，当匹配度(即置信度)达到一定的阈值，判定为识别出用户身份，例如，若匹配度为85％(置信度)以上的检测结果为用户A，则认为“此用户为用户A”。
本实施例中，基于图像的情绪识别的置信度为情绪身份分类器根据获取的面部图像中的人脸标记点而得到的用户面部表情与在先情绪训练得到的用户在不同情绪类型下的面部表情模型进行匹配的匹配度，当匹配度(即置信度)达到一定的阈值，判定为识别出用户的情绪类型，例如，若匹配的结果为90％(置信度)以上的检测结果为“愉悦”，则认为“此用户为愉悦”。
在本发明的一个具体实施例中，身份和情绪识别模块120，根据用户的声音数据对用户的身份和情绪进行识别，具体包括：身份和情绪识别模块120在先需要进行人声的离线训练，所述人声的离线训练，使用语音数据库训练人声检测器，同时训练语音特征向量提取模型用于从人声中提取特征向量的声音，采用已标定好的语音特征向量与身份、情绪的训练集训练身份和情绪分类器。当进行人声的在线运行时(即需要根据语音数据进行情绪和身份识别时)，通过人声检测器在输入的声音流中检测人声数据，并从人声数据中提取语音特征向量，最后使用情绪和身份分类器从语音特征向量分辨当前用户的身份和情绪，并给出识别的置信度。可选地，本发明实施例中，还对所述语音数据中的语义进行识别。当根据语音特征向量进行情绪识别时，可以结合语义识别结果，进行综合识别判断，得到基于语音数据的最终识别结果。
本实施例中，基于语音的身份识别的置信度为身份和情绪分类器将获取的语音数据中的语音特征向量与在先已训练好的已知用户的语音向量模型进行匹配的匹配度，当匹配度大于设定的阈值时，判定出用户的身份，例如，若匹配的结果为85％(置信度)以上的检测结果为用户A，则认为“此用户为用户A”；
本实施例中，基于语音的情绪识别的置信度为身份和情绪分类器将获取的语音数据中的语音特征向量与在先已训练好的用户在不同情绪类型下的语音向量模型进行匹配的匹配度，当匹配度大于设定的阈值时，判定出用户的情绪，例如，若匹配的结果为80％(置信度)以上的检测结果为“愉悦”，则认为“此用户为愉悦”。
进一步的，本发明实施例中，为了根据不同数据类型得到的识别结果进行用户的身份和情绪判定，要预先按照数据类型，进行身份置信度阈值和情绪置信度阈值的设定。具体的，设定与图像数据类型相对应的第一身份置信度阈值和第一情绪置信度阈值、以及设定与语音数据类型相对应的第一身份置信度阈值和第一情绪置信度阈值。其中，不同数据类型下的置信度阈值可以相同，也可以不同，具体值可根据需求灵活设定。
对此，本发明实施例中，身份和情绪识别模块120在得到两种数据类型下的两个初始的身份识别结果时，可以根据两个识别结果进行身份的综合判定，具体判定方式包括：
提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息；
检测是否两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值，并在是的情况下，以共同识别出的用户作为最终的用户身份识别结果；
进一步地，考虑到有些情况下，基于某种数据类型的识别置信度很高，具有很高的可信性，此时，可以直接利用置信度很高的数据类型对应的识别结果作为最终的识别结果，具体实现时，检测两个身份识别结果中是否有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果。其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
进一步地，本发明实施例中，身份和情绪识别模块120在得到两种数据类型下的两个初始的情绪识别结果时，可以根据两个识别结果进行情绪的综合判定，具体判定方式包括：
提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息；
检测是否两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值，并在是的情况下，以共同识别出的情绪类型作为最终的情绪识别结果。
进一步地，考虑到有些情况下，基于某种数据类型的识别置信度很高，具有很高的可信性，此时，可以直接利用置信度很高的数据类型对应的识别结果作为最终的识别结果，具体实现时，检测两个情绪识别结果中是否有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果。其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
进一步地，本发明实施例中，身份和情绪识别模块120还用于在确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别，并将其输出到所述大数据引擎模块130；大数据引擎模块130根据所述数据采集模块实时采集的数据、所述身份和情绪识别模块实时识别的所述用户身份和情绪识别结果、以及识别出的情绪级别，得到用户、智能语音交互设备及环境的状态信息。
进一步地，本发明实施例中，大数据引擎模块130在进行用户的行为和/或状态预判时，要利用用户行为习惯模型，这里的用户行为习惯模型可以由其他设备提供，也可以由本发明实施例所述装置自己构建生成。当由本发明所述装置构建生成时，所述装置还包括用户模型模块140，用于根据所述数据采集模块110的历史采集数据、所述用户身份和情绪识别结果以及智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。所述用户模型模块140可以集成在大数据引擎模块130中，也可以独立于大数据引擎模块进行单独部署。其中，按用户构建用户行为习惯模型，是指以用户为单位构建各用户的用户行为习惯模型。
在一个具体实施例中，用户模型模块140，包括：数据解析单元和学习训练单元，其中：
数据解析单元，用于在历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；
学习训练单元，用于将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。
为了更好的说明用户行为习惯模型的建立过程，下面结合附图2对模型建立过程进行说明。
本发明实施例提供了一种用户行为习惯模型构建方法，用户行为习惯模型的构建过程如图2所示，包括：
首先，用户模型模块同步获取数据采集模块110的历史采集数据、身份和情绪识别模块的身份和情绪识别结果、以及智能语音交互设备的语音交互引擎的历史语音交互数据。
其中，数据采集模块110的历史采集数据包括了环境数据和智能语音交互设备的工作数据。智能语音交互设备的工作数据包括但不仅限于：设备信息、设备被调用的时间段、设备被调用时设备的状态、设备工作后用户环境的物理环境数据、被调用的服务的数据，以及设备的运动路径以及所在位置数据等。其中，被调用的服务的数据包括但不仅限于为服务被调用的时长、时间段、种类、频次等。本实施例中，采集的环境数据包括但不限于：用户所处环境中的温度、湿度、光线强度等，其中环境有家具中的环境、汽车中的环境等。
所述身份和情绪识别模块的身份和情绪识别结果包括但不仅限于：识别出的用户、该用户的情绪种类、情绪发生时的时间点以及持续时间、以及情绪发生所对应的情绪置信度等。
所述语音交互引擎的历史语音交互数据包括但不仅限于：一定时间段的语音交户数量(频次)、语音交互的时长、语音交互的类型、同类型语音交互的频次、语音交互触发以及结束的时间点。
其次，用户模型模块根据获取的各数据，解析出用户的偏好数据；具体的，根据历史工作数据解析出的用户偏好数据为用户设备控制以及服务调用的偏好数据；根据所述身份和情绪识别结果解析出的用户偏好数据为用户情绪偏好数据；根据语音交互引擎的历史语音交互数据解析出的用户偏好数据为语音交互偏好数据。
例如，根据获取的数据，得到一定时间段内，如6个月内，用户都在什么地点什么时间点做使用了设备的什么功能与服务，功能使用的时长，频次，从而根据功能使用时长，频次，时间点，归整出用户喜欢使用什么功能与服务，使用的频率、时长以及时间点，以及归整出用户不喜欢使用什么样的功能与服务；
根据获取的用户各个情绪状态的出现的时间点、时长、置信度、出现的情绪种类以及在各种情绪状态下对应实时的天气、空气质量、设备状态的数据，归整出用户情绪常态是什么，什么极端情绪出现最多，什么样的天气是什么心情，什么样的温度是什么心情，一般什么时间点容易有什么心情，一周中星期几容易有什么心情。
根据获取的目的地的行程与搜索的记录以及一年内的语音交互记录，归整出用户一个月内、一周内以及三个月内的用户搜索频次排序目的地与始发地以及路径排序，并根据语音交互数据归整出用户语音交互的频次、类型、服务需求、时间点、时间长度等。
第三，用户模型模块将所述用户偏好数据添加到预先建立的用户本体模型中，形成用户行为习惯模型。用户本体模型为标准化的数据模型框架，在实例化之前，用户本体模型不具有实际意义。用户行为习惯模型用于记录用户对其所述用户环境中服务与设备的使用偏好、语音交互的偏好、情绪状态的偏好。用户行为习惯模型记录的数据都是针对同一个用户的。
进一步地，本发明实施例中，大数据推荐引擎模块130通过将用户、智能语音交互设备及环境的状态信息输入到与识别出的用户身份匹配的用户行为习惯模型中，可以对用户的状态和/或行为进行预判，并确定与所述预判结果相匹配的服务，并向智能语音交互设备的语音交互引擎发出控制指令，以控制语音交互引擎向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。此处的语音交互可不需要用户主动触发，而是由大数据引擎模块根据当前的用户状态、环境状态以及设备状态的信息主动触发，由语音交互引擎执行。
在本发明的一个具体实施例中，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。
具体的，如图3所示，大数据引擎模块130调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。即，设备控制接口用以传输上述大数据引擎的指令，实现对智能语音交互设备的主动控制，以及对与智能语音交互设备相连接的设备的控制。内容服务接口用以传输上述大数据引擎的指令，实现对内容服务的控制与调用，实现智能语音交互设备的内容服务的主动提供。
其中，设备的控制功能包括但不仅限于音量加减、屏幕亮度加减、音乐控制、灯光控制；调用的内容服务包括但不仅限于：音乐、天气查询、网络电台、故事、新闻、空气质量查询、餐饮服务、快递服务、导航、视频节目、支付服务社交服务等。
下面通过几个具体应用案例对主动提供服务的过程进行说明。
案例一：
用户偏好数据为每天下午18:00-20:30(服务调用时段)，喜欢语音指令(语音指令触发时间点与种类)播放广播(服务种类)，则用户模型模块检测到用户的偏好数据后，记录下，形成用户行为习惯模型。当用户下次在下午18:00-20:30进入车内时，设备则会主动播报语音：“先生，需要为您打开动感101广播吗？”
案列二：
若智能语音交互设备为汽车，且用户每周五上午都会导航去地点A，则用户模型模块检测到用户的偏好数据后，记录下，形成用户行为习惯模型。在周五上午用户进入汽车后，设备会主动语音播报：“黄先生，今天是去地点A吗，需不需要为您导航啊？”进入汽车后目的地的主动询问，随机触发，并不是每次都会有设备的主动询问。
案例三：
用户经常使用智能语音交互设备搜索附近的美食，且搜索频率最高的是四川菜馆，判断出用户的偏好数据是喜欢吃四川菜，用户模型模块根据偏好数据构建用户行为习惯模型，当用户再次搜索附件的餐馆时，则主动推荐四川菜。若根据用户模型模块构建的用户行为习惯模型判断出用户喜欢吃四川菜也可能对山东菜感兴趣，为做到更人性化，则推荐山东菜系，比如用户搜索四川菜时，设备主动播报：“黄先生，您已经吃了好多次四川菜了，要不尝试一下山东菜怎么样”。
案例四：
用户与智能语音交互设备的语音对话可以进行一轮或是多轮。具体的，在进行每轮对话中，可以通过对用户回答进行语音识别得到文本数据，再对文本数据进行语义识别且结合上下文语义，匹配相应的语义模板(如扩展问)进而得到用户的语义意图(如对应标准问)，再结合用户行为习惯模型，通过大数据引擎分析得到的对应的内容服务接口传输控制指令，以实现对所述内容服务的控制与调用。其中，标准问为用来表示某个语义意图的文字，主要目标是表达清晰，便于维护。如“彩铃的资费”就是表达清晰的标准问描述。扩展问，用来表示某个语义意图的语义表达式和自然语句集合，语义表达式主要由词、词类以及他们的“或”关系构成，其核心依赖于“词类”，词类简单的理解，即为一组有共性的词，这些词在语义上可以相似也可以不相似，这些词也可以被标注为重要或不重要。语义表达式与用户问句关系与传统的模板匹配有了很大的不同，在传统模板匹配中，模板和用户问句只是匹配与未匹配的关系，而语义表达式与用户问句之间关系是通过量化的值(相似度)来表示，同时这个量化的值与相似问句和用户问句之间的相似度是可以互相比较的。
例如：
若智能语音交互设备为汽车。比如用户已经一个月没有刷过车了，并且最近一直没有降雨，则汽车会主动询问用户：“黄先生，您今天是不是该刷车了？”
用户：“好的啊，那哪里有洗车的地方”
汽车：“附件10公里有8家洗车店”(屏幕显示)
用户：“那你推荐一家吧”
汽车：“您是要什么价位的呢”
用户：“50元以内都可以的，最好离我公司近点”
汽车“在您公司附件找到一家价格35元的洗车店，需要为您导航吗？”
用户：“好的，导航”
汽车：“导航已开始，目的地……”。
案例五：
大数据引擎模块判断今天会下雨，当用户出门的时候，智能语音交互设备采集到用户的状态为出门状态，并根据采集的环境信息，为用户推送相应的提醒服务，例如，会自动语音播报：“今天会下雨哦，您最好带上伞，以免被淋成落汤鸡”。
综上可知，本发明实施例所述装置，通过历史大数据，构建用户行为习惯模型，并可根据用户行为习惯模型预判用户的需求，进而可以按需且主动地为用户提供内容服务和/或设备控制服务，使得设备与人的交互过程更为智能与人性化，极大的提升了用户的使用体验。
在本发明的第二实施例中提供一种主动交互实现方法，应用于智能语音交互设备，如图4所示，所述方法包括：
步骤S401，采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
步骤S402，根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
步骤S403，根据实时采集的各数据以及实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务。
基于上述原理阐述，下面给出几个具体及优选实施方式，用以细化和优化本发明所述方法的功能，以使本发明方案的实施更方便，准确。需要说明的是，在不冲突的情况下，如下特征可以互相任意组合。
进一步地，本发明实施例中，所述用于用户身份和情绪识别的数据，包括：用户的图像数据和/或语音数据；在该实施例下，根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果，包括：
当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的身份进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的身份进行识别，得到两种数据类型下的两个初始的身份识别结果，并基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果；
以及当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的情绪进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的情绪进行识别，得到两种数据类型下的两个初始的情绪识别结果，并基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果。
在本发明的一个具体实施例中，根据用户的图像数据对用户的身份和情绪进行识别，具体包括：在先需要进行人脸的离线训练，所述离线训练使用人脸的数据库训练人脸的检测器、同时在人脸上标定标记点，根据所述人脸标记点训练标记点拟合器，并且，通过人脸标记点和情绪、身份的关系训练情绪身份分类器；当进行人脸的在线运行时(即需要根据图像数据进行情绪和身份识别时)，通过人脸检测器在图像数据中检测人脸，然后通过标记点拟合器拟合人脸上的标记点，情绪身份分类器根据人脸标记点判断当前用户的身份和情绪，最后给出对应的分类置信度。可选地，本发明实施例中，还对所述图像数据进行用户的动作识别，并在根据人脸标记点进行情绪识别时，可以结合动作识别结果，进行综合识别判断，得到基于图像数据的最终情绪识别结果。
在本发明的一个具体实施例中，根据用户的声音数据对用户的身份和情绪进行识别，具体包括：在先需要进行人声的离线训练，所述人声的离线训练，使用语音数据库训练人声检测器，同时训练语音特征向量提取模型用于从人声中提取特征向量的声音，采用已标定好的语音特征向量与身份、情绪的训练集训练身份和情绪分类器。当进行人声的在线运行时(即需要根据语音数据进行情绪和身份识别时)，通过人声检测器在输入的声音流中检测人声数据，并从人声数据中提取语音特征向量，最后使用情绪和身份分类器从语音特征向量分辨当前用户的身份和情绪，并给出识别的置信度。可选地，本发明实施例中，还对所述语音数据中的语义进行识别。当根据语音特征向量进行情绪识别时，可以结合语义识别结果，进行综合识别判断，得到基于语音数据的最终识别结果。
进一步的，本发明实施例中，为了根据不同数据类型得到的识别结果进行用户的身份和情绪判定，要预先按照数据类型，进行身份置信度阈值和情绪置信度阈值的设定。具体的，设定与图像数据类型相对应的第一身份置信度阈值和第一情绪置信度阈值、以及设定与语音数据类型相对应的第一身份置信度阈值和第一情绪置信度阈值。其中，不同数据类型下的置信度阈值可以相同，也可以不同，具体值可根据需求灵活设定。
对此，本发明实施例中，在得到两种数据类型下的两个初始的身份识别结果时，可以根据两个识别结果进行身份的综合判定，具体判定方式包括：
提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息，当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；
进一步地，考虑到有些情况下，基于某种数据类型的识别置信度很高，具有很高的可信性，此时，可以直接利用置信度很高的数据类型对应的识别结果作为最终的识别结果，具体实现时，检测两个身份识别结果中是否有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果，其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
进一步地，本发明实施例中，基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果，包括：
提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息，检测是否两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值，并在是的情况下，以共同识别出的情绪类型作为最终的情绪识别结果。
进一步地，考虑到有些情况下，基于某种数据类型的识别置信度很高，具有很高的可信性，此时，可以直接利用置信度很高的数据类型对应的识别结果作为最终的识别结果，具体实现时，检测两个情绪识别结果中是否有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果；其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
可选地，本发明实施例中，在得到最终的情绪识别结果后，还包括：确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别。此时，最终识别出的所述情绪识别结果包括：情绪类型及情绪级别。
进一步地，本发明实施例中，根据预判结果，主动向用户提供与预判结果相匹配的服务，具体包括：确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。
进一步地，本发明实施例中，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。具体的，调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。
进一步地，本发明实施例所述方法还包括：根据历史采集数据、用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。在一个具体实施例中，模型构建过程具体包括：在所述历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。本发明实施例中，模型的具体构建过程，可参见图2部分的描述。
综上可知，本发明实施例所述方法，通过历史大数据，构建用户行为习惯模型，并可根据用户行为习惯模型预判用户的需求，进而可以按需且主动地为用户提供内容服务和/或设备控制服务，使得设备与人的交互过程更为智能与人性化，极大的提升了用户的使用体验。
在本发明的第三实施例中提供一种智能语音交互设备，该智能语音交互设备包括第一实施例所述的主动交互实现装置。由于在第一实施例中已经对主动交互实现装置的结构、功能进行了详细阐述，在此不再赘述。
由于本实施例所述智能语音交互设备包括第一实施例所述的装置，所以也能达到第一实施例所述装置所能得到的技术效果，所以关于本实施例所述设备能够达到的技术效果在此也不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是其与其他实施例的不同之处。尤其对于方法实施例而言，由于其基本相似与装置实施例，所以，描述的比较简单，相关之处参见装置实施例的部分说明即可。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种主动交互实现装置，应用于智能语音交互设备，其特征在于，包括：数据采集模块、身份和情绪识别模块、以及大数据引擎模块；
所述数据采集模块，用于采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
所述身份和情绪识别模块，用于根据所述数据采集模块采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
所述大数据引擎模块，用于根据所述数据采集模块实时采集的数据以及所述身份和情绪识别模块实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务；
所述智能语音交互设备的工作数据包括但不限于：设备信息、设备被调用的时间段、设备被调用时设备的状态、设备工作后用户环境的物理环境数据、被调用的服务的数据，设备的运动路径以及设备所在位置数据；
所述环境数据包括但不限于：用户所处环境中的温度、湿度、光线强度。
2.如权利要求1所述的装置，其特征在于，所述大数据引擎模块，具体用于确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。
3.如权利要求1或2所述的装置，其特征在于，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。
4.如权利要求3所述的装置，其特征在于，所述大数据引擎模块，具体用于调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/ 或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。
5.如权利要求1所述的装置，其特征在于，还包括：
用户模型模块，用于根据所述数据采集模块的历史采集数据、所述用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。
6.如权利要求5所述的装置，其特征在于，所述用户模型模块，包括：数据解析单元和学习训练单元：
所述数据解析单元，用于在所述历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；
所述学习训练单元，用于将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。
7.如权利要求1所述的装置，其特征在于，所述用于用户身份和情绪识别的数据，包括：用户的图像数据和/或语音数据；
所述身份和情绪识别模块，具体包括：身份识别子模块和情绪识别子模块；
所述身份识别子模块，用于当接收到图像数据或者语音数据时，根据接收到的所述图像数据或者语音数据，对用户的身份进行识别；当接收到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的身份进行识别，得到两种数据类型下的两个初始的身份识别结果，并基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果；
所述情绪识别子模块，用于当接收到图像数据或者语音数据时，根据接收到的所述图像数据或者语音数据，对用户的情绪进行识别；当接收到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的情绪进行识别，得到两种数据类型下的两个初始的情绪识别结果，并基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果。
8.如权利要求7所述的装置，其特征在于，
所述身份识别子模块，用于在得到两种数据类型下的两个初始的身份识别结果时，提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息，当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；当两个身份识别结果中有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果，其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
9.如权利要求7所述的装置，其特征在于，所述情绪识别子模块，用于在得到两种数据类型下的两个初始的情绪识别结果时，提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息，当两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值时，以共同识别出的情绪类型作为最终的情绪识别结果；当两个情绪识别结果中有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果；其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
10.如权利要求9所述的装置，其特征在于，所述情绪识别子模块，还用于确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别，并将其输出到所述大数据引擎模块。
11.一种智能语音交互设备，其特征在于，包括权利要求 1-10中任一项所述的主动交互实现装置。
12.一种主动交互实现方法，应用于智能语音交互设备，其特征在于，包括：
采集用于用户身份和情绪识别的数据、环境数据和智能语音交互设备的工作数据；
根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果；
根据实时采集的各数据以及实时识别的所述用户身份和情绪识别结果，得到用户、智能语音交互设备及环境的状态信息，并将其输入到预先建立的与识别出的用户身份匹配的用户行为习惯模型中，以对用户的状态和/或行为进行预判，并根据预判结果，主动向用户提供与预判结果相匹配的服务；
所述智能语音交互设备的工作数据包括但不限于：设备信息、设备被调用的时间段、设备被调用时设备的状态、设备工作后用户环境的物理环境数据、被调用的服务的数据，设备的运动路径以及设备所在位置数据；
所述环境数据包括但不限于：用户所处环境中的温度、湿度、光线强度。
13.如权利要求12所述的方法，其特征在于，所述根据预判结果，主动向用户提供与预判结果相匹配的服务，具体包括：确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。
14.如权利要求12或13所述的方法，其特征在于，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音交互设备和/或与所述智能语音交互设备连接的设备到目标状态。
15.如权利要求14所述的方法，其特征在于，所述主动向用户提供与预判结果相匹配的服务，包括：调用内容服务接口传输控制指令，以实现对所述内容服务的控制与调用；和/或，调用设备控制接口传输控制指令，以实现将所述智能语音交互设备和/或与所述智能语音交互设备连接的设备控制到目标状态。
16.如权利要求12所述的方法，其特征在于，还包括：
根据历史采集数据、用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型。
17.如权利要求16所述的方法，其特征在于，所述根据历史采集数据、用户身份和情绪识别结果以及所述智能语音交互设备的历史语音交互数据，按用户构建用户行为习惯模型，包括：
在所述历史采集数据、所述用户身份和情绪识别结果以及历史语音交互数据中，解析出用户的偏好数据；
将所述用户偏好数据添加到为该用户预先建立的用户本体模型中，进行用户行为习惯的学习和训练，形成用户行为习惯模型。
18.如权利要求12所述的方法，其特征在于，所述用于用户身份和情绪识别的数据，包括：用户的图像数据和/或语音数据；
根据采集的用于用户身份和情绪识别的数据，对用户身份和情绪进行识别，得到用户身份和情绪识别结果，包括：
当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的身份进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的身份进行识别，得到两种数据类型下的两个初始的身份识别结果，并基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果；
以及当采集到图像数据或者语音数据时，根据采集的所述图像数据或者语音数据，对用户的情绪进行识别；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对用户的情绪进行识别，得到两种数据类型下的两个初始的情绪识别结果，并基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果。
19.如权利要求18所述的方法，其特征在于，所述基于得到的两个初始的身份识别结果，按照设定的身份判定策略，进行身份判定，得到最终的用户身份识别结果，包括：提取出每个身份识别结果中识别出的用户及识别出该用户的置信度信息，当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；当两个身份识别结果中有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果，其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。
20.如权利要求18所述的方法，其特征在于，所述基于得到的两个初始的情绪识别结果，按照设定的情绪判定策略，进行情绪判定，得到最终的用户情绪识别结果，包括：提取出每个情绪识别结果中识别出的情绪类型及识别出该情绪类型的置信度信息，当两个情绪识别结果中识别出的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值时，以共同识别出的情绪类型作为最终的情绪识别结果；当两个情绪识别结果中有一个情绪识别结果中识别出的情绪类型的置信度大于设定的对应数据类型的第二情绪阈值时，以情绪类型的置信度大于第二情绪阈值的情绪类型，作为最终的情绪识别结果；其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。
21.如权利要求20所述的方法，其特征在于，在得到最终的情绪识别结果后，还包括：确定用户情绪识别结果中情绪类型的置信度，根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到识别出的用户的情绪级别；
最终识别出的所述情绪识别结果包括：情绪类型及情绪级别。
CN201611070706.0A 2016-11-29 2016-11-29 主动交互实现装置、方法及智能语音交互设备 Active CN106682090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611070706.0A CN106682090B (zh) 2016-11-29 2016-11-29 主动交互实现装置、方法及智能语音交互设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611070706.0A CN106682090B (zh) 2016-11-29 2016-11-29 主动交互实现装置、方法及智能语音交互设备

Publications (2)

Publication Number Publication Date
CN106682090A CN106682090A (zh) 2017-05-17
CN106682090B true CN106682090B (zh) 2020-05-15

Family

ID=58867047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611070706.0A Active CN106682090B (zh) 2016-11-29 2016-11-29 主动交互实现装置、方法及智能语音交互设备

Country Status (1)

Country Link
CN (1) CN106682090B (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107293309B (zh) * 2017-05-19 2021-04-30 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法
CN109102801A (zh) * 2017-06-20 2018-12-28 京东方科技集团股份有限公司 语音识别方法和语音识别装置
CN107423364B (zh) * 2017-06-22 2024-01-26 百度在线网络技术（北京）有限公司 基于人工智能的回答话术播报方法、装置及存储介质
CN109215643B (zh) * 2017-07-05 2023-10-24 阿里巴巴集团控股有限公司 一种交互方法、电子设备及服务器
TWI646529B (zh) * 2017-07-25 2019-01-01 雲拓科技有限公司 主動聊天裝置
CN107423722B (zh) * 2017-08-09 2018-03-20 南京易视旦网络技术有限公司 一种身份信息分析方法
US11568265B2 (en) * 2017-08-23 2023-01-31 Sony Interactive Entertainment Inc. Continual selection of scenarios based on identified tags describing contextual environment of a user for execution by an artificial intelligence model of the user by an autonomous personal companion
CN107743083A (zh) * 2017-10-27 2018-02-27 朱秋华 一种智能家居系统
CN109753264A (zh) * 2017-11-08 2019-05-14 阿里巴巴集团控股有限公司 一种任务处理方法和设备
CN109920407A (zh) * 2017-12-12 2019-06-21 上海博泰悦臻网络技术服务有限公司 智能终端及其饮食搜寻方法、及无人驾驶车辆
CN107993665B (zh) * 2017-12-14 2021-04-30 科大讯飞股份有限公司 多人会话场景中发言人角色确定方法、智能会议方法及系统
CN110019848A (zh) * 2017-12-22 2019-07-16 深圳市优必选科技有限公司 对话交互方法、装置及机器人
CN108196862A (zh) * 2017-12-29 2018-06-22 北京声智科技有限公司 语音设备的升级装置及方法
CN108834231A (zh) * 2018-03-30 2018-11-16 上海思愚智能科技有限公司 地垫控制方法及智能设备
US11040851B2 (en) 2018-04-26 2021-06-22 Otis Elevator Company Elevator system passenger frustration reduction
CN108765011A (zh) * 2018-05-30 2018-11-06 平安科技（深圳）有限公司 建立用户画像和建立状态信息分析模型的方法和装置
CN108923808A (zh) * 2018-06-05 2018-11-30 上海博泰悦臻网络技术服务有限公司 车辆及其车载终端和语音交互模式主动触发方法
CN108563941A (zh) * 2018-07-02 2018-09-21 信利光电股份有限公司 一种智能家居设备控制方法、智能音箱及智能家居系统
CN110719544A (zh) * 2018-07-11 2020-01-21 惠州迪芬尼声学科技股份有限公司 提供vui特定回应的方法及其应用在智能音箱
CN109036405A (zh) * 2018-07-27 2018-12-18 百度在线网络技术（北京）有限公司 语音交互方法、装置、设备及存储介质
CN110769341B (zh) * 2018-07-27 2021-06-29 深圳博科智能科技有限公司 一种智能耳机的控制方法及智能耳机
CN109240745B (zh) * 2018-08-01 2023-04-11 福建天泉教育科技有限公司 一种指令分发的方法及装置
CN109346069A (zh) * 2018-09-14 2019-02-15 北京赋睿智能科技有限公司 一种基于人工智能的交互系统及装置
CN109409063A (zh) * 2018-10-10 2019-03-01 北京小鱼在家科技有限公司 一种信息交互方法、装置、计算机设备和存储介质
CN111177329A (zh) * 2018-11-13 2020-05-19 奇酷互联网络科技（深圳）有限公司 一种智能终端的用户交互方法、智能终端及存储介质
CN109547332B (zh) * 2018-11-22 2022-05-13 腾讯科技（深圳）有限公司 通讯会话交互方法、装置、计算机设备
CN111292734B (zh) * 2018-12-06 2024-03-08 阿里巴巴集团控股有限公司 一种语音交互方法和装置
CN109766767A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 行为数据推送方法、装置、计算机设备和存储介质
CN109785057A (zh) * 2018-12-29 2019-05-21 广州慧睿思通信息科技有限公司 基于智能感知的一站式服务方法、装置、系统、平台及介质
CN109859747B (zh) * 2018-12-29 2021-05-04 北京百度网讯科技有限公司 语音交互方法、设备以及存储介质
CN109872722B (zh) * 2019-01-17 2021-08-31 珠海格力电器股份有限公司 一种语音交互方法、装置、存储介质及空调
CN110113646B (zh) * 2019-03-27 2021-09-21 深圳康佳电子科技有限公司 基于ai语音的智能交互处理方法、系统及存储介质
JP6659890B1 (ja) * 2019-03-29 2020-03-04 セコム株式会社 警備システム
CN110287384B (zh) * 2019-06-10 2021-08-31 北京百度网讯科技有限公司 智能服务方法、装置及设备
CN112084814B (zh) * 2019-06-12 2024-02-23 广东小天才科技有限公司 一种学习辅助方法和智能装置
CN110297617B (zh) * 2019-06-28 2021-05-14 北京蓦然认知科技有限公司 一种主动对话的发起方法和装置
CN110516416B (zh) * 2019-08-06 2021-08-06 咪咕文化科技有限公司 身份验证方法、验证端和客户端
CN111182382A (zh) * 2019-10-22 2020-05-19 广东小天才科技有限公司 一种基于音箱的音频播放控制方法及音箱
CN112829763A (zh) * 2019-11-05 2021-05-25 北京新能源汽车股份有限公司 一种语音交互处理方法、系统及汽车
CN110716444A (zh) * 2019-11-21 2020-01-21 三星电子（中国）研发中心 一种基于智能家居的声音控制方法、装置和存储介质
CN111191005A (zh) * 2019-12-27 2020-05-22 恒大智慧科技有限公司 社区查询方法及系统、社区服务器、计算机可读存储介质
CN113488033A (zh) * 2020-03-17 2021-10-08 北京百度网讯科技有限公司 用户被动式语音交互方法、装置、终端、服务器和介质
CN113572798B (zh) * 2020-04-29 2023-03-28 华为技术有限公司 设备控制方法、系统、设备和存储介质
CN111612654A (zh) * 2020-05-08 2020-09-01 快猪侠信息技术(杭州)有限公司 一种智慧酒店信息交互系统及其交互方法
CN111817929B (zh) * 2020-06-01 2024-05-14 青岛海尔智能技术研发有限公司 设备交互方法、装置、家居设备和存储介质
WO2021253217A1 (zh) * 2020-06-16 2021-12-23 曾浩军 用户状态分析方法及相关设备
CN111931945A (zh) * 2020-07-31 2020-11-13 北京百度网讯科技有限公司 基于标签引擎的数据处理方法、装置、设备及存储介质
CN112581967B (zh) * 2020-11-06 2023-06-23 厦门快商通科技股份有限公司 一种声纹检索方法及前端后端服务器、后端服务器
CN112669876A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 情绪识别方法、装置、计算机设备及存储介质
CN113320537A (zh) * 2021-07-16 2021-08-31 北京航迹科技有限公司 一种车辆控制方法和系统
CN113848747A (zh) * 2021-11-03 2021-12-28 珠海格力电器股份有限公司 智能家居设备控制方法及装置
CN113848748A (zh) * 2021-11-15 2021-12-28 苏州蓝赫朋勃智能科技有限公司 一种智能家居控制方法和智能家居系统
CN114995658A (zh) * 2022-08-02 2022-09-02 联友智连科技有限公司 一种应用于驾驶员不同情绪的主动交互推荐方法
CN116767256B (zh) * 2023-07-14 2024-06-11 深圳市哲思特科技有限公司 一种主动式人机交互方法及新能源汽车

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US9476729B2 (en) * 2014-05-29 2016-10-25 GM Global Technology Operations LLC Adaptive navigation and location-based services based on user behavior patterns
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法

Also Published As

Publication number Publication date
CN106682090A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106682090B (zh) 主动交互实现装置、方法及智能语音交互设备
CN106057205B (zh) 一种智能机器人自动语音交互方法
CN108075892B (zh) 一种语音处理的方法、装置和设备
CN105487663B (zh) 一种面向智能机器人的意图识别方法和系统
Chon et al. Automatically characterizing places with opportunistic crowdsensing using smartphones
CN106297789B (zh) 智能机器人的个性化交互方法及交互系统
CN111310019B (zh) 信息推荐方法、信息处理方法、系统及设备
CN106649524B (zh) 一种改进型基于计算机云数据的深度学习智能应答系统
CN106294774A (zh) 基于对话服务的用户个性化数据处理方法及装置
CN108388638B (zh) 语义解析方法、装置、设备及存储介质
CN108351870A (zh) 根据活动模式的计算机语音识别和语义理解
US20160379106A1 (en) Human-computer intelligence chatting method and device based on artificial intelligence
US10204292B2 (en) User terminal device and method of recognizing object thereof
CN106406806A (zh) 一种用于智能设备的控制方法及装置
US11152016B2 (en) Autonomous intelligent radio
US11521111B2 (en) Device and method for recommending contact information
CN109271533A (zh) 一种多媒体文件检索方法
CN106502712A (zh) 基于用户操作的app改进方法和系统
DE112020002531T5 (de) Emotionsdetektion unter verwendung der sprechergrundlinie
CN108922540B (zh) 与老人用户进行连续ai对话的方法及系统
Yu et al. Inferring user profile attributes from multidimensional mobile phone sensory data
KR20190076870A (ko) 연락처 정보를 추천하는 방법 및 디바이스
CN103729476A (zh) 一种根据环境状态来关联内容的方法和系统
CN110019777A (zh) 一种信息分类的方法及设备
CN110348694A (zh) 一种基于大数据的智慧旅游决策系统及决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Active interaction implementation device, method and intelligent voice interaction device

Effective date of registration: 20230223

Granted publication date: 20200515

Pledgee: China Construction Bank Corporation Shanghai No.5 Sub-branch

Pledgor: SHANGHAI XIAOI ROBOT TECHNOLOGY Co.,Ltd.

Registration number: Y2023980033272