CN110516760A - 情境识别方法、装置、终端及计算机可读存储介质 - Google Patents

情境识别方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110516760A
CN110516760A CN201910825313.3A CN201910825313A CN110516760A CN 110516760 A CN110516760 A CN 110516760A CN 201910825313 A CN201910825313 A CN 201910825313A CN 110516760 A CN110516760 A CN 110516760A
Authority
CN
China
Prior art keywords
type
primary data
situation
confidence level
situational
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910825313.3A
Other languages
English (en)
Inventor
黎丁嘉
卢建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201910825313.3A priority Critical patent/CN110516760A/zh
Publication of CN110516760A publication Critical patent/CN110516760A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请属于传感器技术领域,尤其涉及一种情境识别方法、装置、终端及计算机可读存储介质,其中,所述情境识别方法包括:获取一个或多个第一传感器采集的第一初始数据;对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;若所述类型置信度小于第一阈值,则开启一个或多个第二传感器,并获取所述第二传感器采集的第二初始数据;对所述第一初始数据和所述第二初始数据进行融合处理,得到目标情境类型,提高了情境识别的准确度。

Description

情境识别方法、装置、终端及计算机可读存储介质
技术领域
本申请属于传感器技术领域,尤其涉及一种情境识别方法、装置、终端及计算机可读存储介质。
背景技术
随着科学技术的发展,手机等智能终端给人们生活带来了越来越多的便利。为了给用户提供更好地服务,终端需要对不同的使用情境进行识别。
然而,目前,终端在进行情境识别时常常会出现无法准确识别情境类型的情况。
发明内容
本申请实施例提供一种情境识别方法、装置、终端及计算机可读存储介质,可以解决终端无法准确地识别出情境类型的技术问题。
本申请实施例第一方面提供一种情境识别方法,所述情境识别方法包括:
获取一个或多个第一传感器采集的第一初始数据;
对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
若所述类型置信度小于第一阈值,则开启一个或多个第二传感器,并获取所述第二传感器采集的第二初始数据;
对所述第一初始数据和所述第二初始数据进行融合处理,得到目标情境类型。
本申请实施例第二方面提供一种情境识别装置,所述情境识别装置包括:
第一获取单元,用于获取一个或多个第一传感器采集的第一初始数据;
第一融合单元,用于对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
第二获取单元,用于在所述类型置信度小于第一阈值时,开启一个或多个第二传感器,并获取所述第二传感器采集的第二初始数据;
第二融合单元,对所述第一初始数据和所述第二初始数据进行融合处理,得到目标情境类型。
本申请实施例第三方面提供一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现方法的步骤。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现方法的步骤。
本申请实施例中,通过在第一传感器采集的第一初始数据对应的情境类型的类型置信度小于第一阈值时,开启第二传感器,并对第一传感器采集的第一初始数据和第二传感器采集的第二初始数据进行融合处理,得到目标情境类型,使得在第一传感器采集的第一初始数据无法准确地识别出情境类型时,可以通过第二传感器与第一传感器二者相互配合得到准确地情境类型。并且,由于第二传感器是在第一传感器采集的第一初始数据对应的情境类型的类型置信度小于第一阈值时才开启的,而非实时开启的,因此,可以降低终端的运行功耗,实现了在降低功耗的同时,提高情境识别的准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种情境识别方法的第一实现流程示意图;
图2是本申请实施例提供的一种情境识别方法步骤102的第一具体实现流程示意图;
图3是本申请实施例提供的一种情境识别方法步骤102的第二具体实现流程示意图;
图4是本申请实施例提供的执行与目标情境类型对应的情境服务的第一具体实现流程示意图;
图5是本申请实施例提供的执行与目标情境类型对应的情境服务的第二具体实现流程示意图;
图6是本申请实施例提供的执行与目标情境类型对应的情境服务的第三具体实现流程示意图;
图7是本申请实施例提供的情境识别装置的结构示意图;
图8是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
目前,由于手机等终端上的各个传感器采集的数据之间没有相互融合,因此,在进行情境识别时,终端通常只获取一个传感器采集的初始数据,并对该初始数据进行特征识别,得到情境类型。这种方法对于情况复杂的情境识别来说,存在准确性低的问题,常常会出现无法准确识别情境类型的情况。
例如,在使用麦克风采集的语音数据识别用户的交通行为时,由于高铁环境和地铁环境下的声音比较相似,终端很可能无法仅仅根据麦克风采集的语音数据识别出用户是在乘坐高铁还是在乘坐地铁。
基于此,本申请实施例提供了一种情境识别方法、装置、终端及计算机可读存储介质,可以提高终端情境识别的准确性。
为了说明本申请的技术方案,下面通过具体实施例来进行说明。
如图1示出了本申请实施例提供的一种情境识别方法的实现流程示意图,该方法应用于终端,可以由终端上配置的情境识别装置执行,适用于需提高情境识别准确性的情形,并且,该终端可以为手机、平板电脑、可穿戴设备等智能终端。具体的,本申请实施例中,上述情境识别方法可以包括步骤101至步骤104。
步骤101,获取一个或多个第一传感器采集的第一初始数据。
其中,第一传感器可以为实时开启的低功耗传感器。例如,低功耗麦克风、低功耗气压传感器、惯性传感器IMU、温度传感器和地磁传感器等等。
由于第一传感器为低功耗传感器,对终端续航影响较小,因此,可以实现实时开启,并实现终端所处环境情境类型的实时获取。
本申请实施例中,上述第一传感器采集的第一初始数据可以是第一传感器直接采集到的音频数据、气压值、惯性数据和地磁数据等未经融合处理的数据。
步骤102,对第一初始数据进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
在本申请的一些实施方式中,类型置信度是指终端当前所处环境属于某一情境类型的概率值。
例如,对第一初始数据进行融合处理,得到的情境类型有可能包括不同概率的多个情境类型,并不能直接百分之百地确定对第一初始数据进行融合处理得到的情境类型为某一情境类型。
因此,对第一初始数据进行融合处理得到与第一初始数据对应的情境类型时,还需要附加情境类型的类型置信度。又如,某次采集的第一初始数据既存在属于第一情境类型的概率,又存在属于第二情境类型的概率,甚至还存在属于第三情境类型等等情境类型的概率,且概率之和为1,则此时不能直接识别出情境类型。另外,当某一情境类型的类型置信度为1时,表示可以百分之百确定对第一初始数据进行融合处理得到的情境类型为该情境类型;当某一情境类型的类型置信度为1时,表示可以百分之百确定对第一初始数据进行融合处理得到的情境类型不可能为该情境类型。
也就是说,每一个第一初始数据可以只有一个与其对应的情境类型及类型置信度,也可以有多个与其对应的情境类型及类型置信度。
步骤103,若类型置信度小于第一阈值,则开启一个或多个第二传感器,并获取第二传感器采集的第二初始数据。
其中,第二传感器是指有利于提高情境识别准确度,但是,功耗较大的传感器。例如,摄像头等功耗较大的传感器。并且,由于第二传感器为功耗较大的传感器,因此,在第二传感器采集完第二初始数据时,可以控制第二传感器关闭。
同样的,上述第二初始数据可以是第二传感器直接采集到的图片数据或视频数据等未经融合处理的数据。
上述第一阈值的具体取值可以根据实际应用场景进行设定。例如,上述第一阈值可以为0.8、0.85或0.9。
本申请实施例中,当上述类型置信度小于第一阈值时,表示终端无法仅仅通过第一传感器采集的第一初始数据判断出终端当前所处环境的情境类型。因此,需要开启一个或多个第二传感器采集第二初始数据,以便重新确定终端当前所处环境的情境类型。
例如,上述第一阈值为0.8,在使用麦克风采集的语音数据与IMU采集的惯性数据识别用户的交通行为时,通过对麦克风采集的语音数据与IMU采集的惯性数据进行融合处理,得到用户乘坐地铁的置信度为0.4,乘坐高铁的置信度为0.6。由于乘坐地铁的置信度与乘坐高铁的置信度均小于0.8,因此,无法判断出用户是在乘坐地铁还是乘坐高铁。此时,可以开启摄像头采集第二初始数据(图片数据或视频数据),获取到包含车厢的车窗、座椅以及服务人员的视频数据或图片数据,并结合第一初始数据即可以判断出目标情境类型为乘坐高铁或者乘坐地铁(目标情境类型)。
步骤104,对第一初始数据和第二初始数据进行融合处理,得到目标情境类型。
其中,目标情境类型是指终端当前所处环境最有可能属于的情境类型。
需要说明的是,在本申请的一些实施方式中,上述得到与所述第一初始数据对应的情境类型以及类型置信度之后,若类型置信度大于或等于所述第一阈值,则表示终端通过第一传感器采集的第一初始数据即已判断出终端当前所处环境的情境类型,因此,可以直接将与第一初始数据对应的情境类型作为所述目标情境类型,而不需要再开启第二传感器。
还需要说明的是,在本申请的实施方式中,上述情境类型可以包括乘坐飞机、乘坐火车、乘坐汽车、乘坐地铁、乘坐公交、驾驶汽车以及步行中的一种交通行为类型,或者,愉快、感激、痛苦等情绪类型,本领域技术人员应当知道,情境类型可以包括几十种、几百种类型,甚至更多的类型,对应的类型置信度也可以包括几十种甚至几百种数值,根据实际应用场景设定即可。此处仅仅是举例说明,不表示为对本申请保护范围的限定。
例如,在本申请的一些实施方式中,上述情境类型还可以包括:沙漠、高山、河流、草原等景物类型。
本申请实施例中,通过在第一传感器采集的第一初始数据对应的情境类型的类型置信度小于第一阈值时,开启第二传感器,并对第一传感器采集的第一初始数据和第二传感器采集的第二初始数据进行融合处理,得到目标情境类型,使得在第一传感器采集的第一初始数据无法准确地识别出情境类型时,可以通过第二传感器与第一传感器二者相互配合得到准确地情境类型。并且,由于第二传感器是在第一传感器采集的第一初始数据对应的情境类型的类型置信度小于第一阈值时才开启的,而非实时开启的,因此,可以降低终端的运行功耗,实现了在降低功耗的同时,提高情境识别的准确度。
在本申请的一些实施方式中,为了得到与第一初始数据对应的情境类型以及类型置信度,上述步骤102可以包括:对每个第一传感器采集的第一初始数据直接进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
具体的,如图2所示,对每个第一传感器采集的第一初始数据直接进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度,可以包括步骤201至202。
步骤201,对第一初始数据进行对齐变换,得到对齐数据。
在本申请的一些实施方式中,对第一初始数据进行对齐变换,得到对齐数据可以包括:在时间维度和空间维度分别对每个第一传感器采集的第一初始数据进行对齐处理,得到各个传感器的对齐数据。
例如,终端获取的第一初始数据包括低功耗麦克风采集的音频数据与IMU采集的惯性数据,通过对音频数据与惯性数据进行时间同步处理与空间同步处理,得到麦克风的对齐数据与惯性测量单元的对齐数据。
步骤202,对上述对齐数据进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
例如,对对齐数据进行加权平均、卡尔曼滤波、贝叶斯估计等数据融合,得到与第一初始数据对应的情境类型以及类型置信度。
其中,对对齐数据进行卡尔曼滤波,是指根据对齐数据,用测量模型的统计特性递推,决定统计意义下的最优的与第一初始数据对应的情境类型以及类型置信度。对对齐数据进行贝叶斯估计,是指依据概率原则对对齐数据进行组合,测量不确定性,并以条件概率表示。
本申请实施例中,情境类型以及类型置信度是通过对每个第一传感器采集的第一初始数据直接进行融合处理得到的,信息损失量小,具有准确度高的特点。
然而,为了降低对第一初始数据进行融合处理的运算量,在本申请的另一些实施方式中,上述步骤102中还可以包括:对每个第一传感器采集的第一初始数据分别进行情境识别处理,得到初始情境识别结果,并对初始情境识别结果进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
例如,如图3所示,上述对每个第一传感器采集的第一初始数据分别进行情境识别处理,得到初始情境识别结果,并对初始情境识别结果进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度,可以包括步骤301至步骤303。
步骤301,对每个第一传感器采集的第一初始数据分别进行特征提取,得到情境特征数据。
例如,通过对第一初始数据进行特征变换,提取能够判断情境的特征数据。
步骤302,对上述情境特征数据进行识别处理,得到初始情境识别结果。
例如,可以利用聚类算法,或者其他能将情境特征数据变换成初始情境识别结果的统计模式识别法,对情境特征数据进行识别处理,得到初始情境识别结果。
步骤303,对上述初始情境识别结果进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
例如,终端获取的第一初始数据包括低功耗麦克风的音频数据与气压计的气压值,通过对麦克风原始数据进行特征提取,提取到汽车行驶在轨道的声音、不同人说话的声音、语音报站的声音等,作为低功耗麦克风的情境特征数据,对低功耗麦克风的情境特征数据进行识别处理,识别出用户可能在公交车站、火车站、地铁上、高铁上等,作为初始情境识别结果;再对气压值进行特征提取,提取到最大气压值和最低气压值,作为气压计的情境特征数据,在对气压计的情境特征数据进行识别处理,识别出用户可能在地铁上,作为初始情境识别结果;最后对每个初始情境识别结果进行融合处理,可以得到终端所处环境的情境类型为地铁上的类型置信度为0.9,为高铁上的置信度为0.2,从而可以确定出目标情境类型为地铁上。
本实施例中,在得到与第一初始数据对应的情境类型以及类型置信度时,是通过先对每个第一传感器采集的第一初始数据分别进行情境识别处理,得到初始情境识别结果,然后再对初始情境识别结果进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度,因此,不需要同时对所有传感器的数据统一进行融合处理,因此,具有运算量小的特点。
在本申请的另一些实施方式中,上述对第一初始数据进行融合处理,还可以包括:将第一初始数据输入预先训练好的情境识别模型进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
其中,情境识别模型的训练,可以包括:获取初始数据样本、所述初始数据样本对应的情境类型样本以及类型置信度样本;接着,将初始数据样本输入至待训练的情境识别模型,得到待训练的情境识别模型生成的情境类型结果以及类型置信度结果;然后,计算情境类型结果与情境类型样本的第一相似度,计算类型置信度结果与类型置信度样本的第二相似度。若第一相似度小于预设相似度阈值,或,第二相似度小于预设相似度阈值,则调整待训练的情境识别模型的参数,直至第一相似度和第二相似度均大于或等于预设相似度阈值时,得到训练好的情境识别模型。
在本申请的一些实施方式中,为了保证情境识别模型的精度,在对情境识别模型进行训练时,可以利用多组初始数据样本、初始数据样本对应的情境类型样本以及类型置信度样本依次对待训练的情境识别模型进行训练,直至使用预设数量的初始数据样本、初始数据样本对应的情境类型样本以及类型置信度样本,或者,情境识别模型每次生成的情境类型结果与情境类型样本的第一相似度,以及类型置信度结果与类型置信度样本的第二相似度均大于或等于预设相似度阈值时,完成情境识别模型的训练。
本实施例通过将第一初始数据输入预先训练好的情境识别模型进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度,具有情境类型的识别以及类型置信度的判定精度高的特点。
需要说明的是,上述步骤104中,对第一初始数据和第二初始数据进行融合处理的方式可以参照上述步骤102的具体实现方式,两者的差别仅在于传感器的种类数量,此处不再赘述。
在上述各个实施方式中,在得到目标情境类型之后,还可以包括,执行与目标情境类型对应的情境服务。
例如,如图4所示,执行与目标情境类型对应的情境服务,可以包括,步骤401至步骤403。
步骤401,判断终端是否正在采集语音信号。
例如,终端正在接听电话,或者正在使用聊天类应用的语音功能,或者正在运行语音助手,则可以确定终端正在采集语音信号。
步骤402,若终端正在采集语音信号,则获取与目标情境类型对应的噪声模型。
步骤403,利用上述噪声模型对终端采集的语音信号进行去噪处理。
由于目标情境类型的噪声种类不同,因此,为了更好地对终端采集的语音信号进行去噪处理,需要从预先确定好的各个情境类型对应的噪声模型中获取与所述目标情境类型对应的噪声模型对终端采集的语音信号进行去噪处理,使得噪声处理更具有针对性,提高了噪声处理质量。
在本申请的另外一些实施方式中,若目标情境类型为乘坐火车、乘坐汽车和乘坐地铁中的一种交通行为类型,上述执行与目标情境类型对应的情境服务还可以包括:增强终端的通信信号。其中,该通信信号可以包括4G信号、5G信号和Wifi信号。
在本申请的另外一些实施方式中,增强终端的通信信号可以通过将高铁小区的优先级调到非高铁小区的优先级之上或者其他可以能够达到信号增强效果的方法,本申请在此不作限定。
例如,当终端驻留的网络是高铁网络,若邻区不是高铁网络,则将邻区优先级调到终端驻留的网络的服务小区之下;又例如,当终端驻留的网络是公网时,若邻区不是公网,则将邻区优先级调到终端驻留的网络的服务小区之上。使得用户在乘坐高铁时,上网可以更加流畅。
在本申请的另外一些实施方式中,若目标情境类型为驾驶汽车的交通行为类型,执行与目标情境类型对应的情境服务,还可以包括:检测驾驶员是否处于疲劳驾驶,并在驾驶员处于疲劳驾驶时,进行疲劳驾驶提醒。
具体的,如图5所示,检测驾驶员是否处于疲劳驾驶,可以包括:步骤501至步骤502。
步骤501,获取驾驶员的头部运动轨迹信息和驾驶员眼睛开合度信息;其中,头部运动轨迹信息包括驾驶员的头部从第一位置运动到第二位置的轨迹信息,以及在第二位置停留的时间信息;驾驶员眼睛开合度信息包括驾驶员眨眼频率和驾驶员眼睛张开面积的变化率。
步骤502,若驾驶员的头部运动轨迹信息与预设运动轨迹信息匹配成功;和/或驾驶员眨眼频率大于第二预设阈值;和/或驾驶员眼睛张开面积的变化率大于第三预设阈值,则进行疲劳驾驶提醒。
例如,目标情境类型为驾驶汽车的交通行为类型,检测到驾驶员的头部运动轨迹信息符合低头动作,且驾驶员每五秒眨眼次数大于三次,则提醒驾驶员处于疲劳驾驶状态,从而降低了交通事故的发生概率。
本申请的另外一些实施方式中,检测驾驶员是否处于疲劳驾驶还可以通过其他能够检测疲劳驾驶的方法,本申请在此不作限定。
本申请的另外一些实施方式中,执行与目标情境类型对应的情境服务,还可以包括:根据目标情境类型的交通行为类型进行智能提醒,例如地铁到站提醒、路况提醒等。
本申请的一些实施方式中,目标情境类型还可以包括愉快、积极、感激、痛苦、怨恨、嫉妒中的一种情绪类型。
具体的,执行与目标情境类型对应的情境服务,可以包括:输出与情绪类型对应的音乐推荐信息。
在本申请的一些实施方式中,输出与情绪类型对应的音乐推荐信息可以包括通过网页、列表的显示展示给用户;或者通过打开终端的音乐播放软件,播放音乐推荐信息中的音乐,提高了用户的交互体验。
在本申请的另外一些实施方式中,还可以输出与情绪类型对应的电影推荐信息、书本推荐信息等等,本申请在此不作限定。
在本申请的一些实施方式中,如图6所示,上述执行与目标情境类型对应的情境服务,还可以包括:步骤601至步骤602。
步骤601,检测终端的语音助手功能是否已开启。
步骤602,若语音助手功能已开启,则生成与情绪类型对应的对话信息;对话信息包括语音信息、文字信息、图片信息和网页信息中的一种或多种。从而实现根据用户情绪提供相应的智能聊天服务。
在本申请的一些实施例中,执行与目标情境类型对应的情境服务之前,还可以包括:显示与目标情境类型对应的情境服务的选择界面,检测用户在所述选择界面的选择操作,并执行与用户的选择操作对应的情境服务,使得用户可以选择自己所需的情境服务。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为根据本发明,某些步骤可以采用其它顺序进行。
图7示出了本申请实施例提供的一种情境识别装置7的结构示意图,包括第一获取单元71、第一融合单元72、第二获取单元73以及第二融合单元74。
第一获取单元71,用于获取一个或多个第一传感器采集的第一初始数据;
第一融合单元72,用于对第一初始数据进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度;
第二获取单元73,用于在类型置信度小于第一阈值时,开启一个或多个第二传感器,并获取第二传感器采集的第二初始数据;
第二融合单元74,用于对第一初始数据和第二初始数据进行融合处理,得到目标情境类型。
在本申请的一些实施方式中,上述第一获取单元71还用于:对每个第一传感器采集的第一初始数据直接进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度;或者,对每个第一传感器采集的第一初始数据分别进行情境识别处理,得到初始情境识别结果,并对所述初始情境识别结果进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度;或者,将第一初始数据输入预先训练好的情境识别模型进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
在本申请的一些实施方式中,上述第二融合单元74还用于:若类型置信度大于或等于第一阈值,则将与第一初始数据对应的情境类型作为目标情境类型。
在本申请的一些实施方式中,上述情境识别装置还包括情境服务单元,用于执行与目标情境类型对应的情境服务。
在本申请的一些实施方式中,上述情境服务单元还用于:判断终端是否正在采集语音信号;若终端正在采集语音信号,则获取与目标情境类型对应的噪声模型;利用噪声模型对终端采集的语音信号进行去噪处理。
在本申请的一些实施方式中,上述情境服务单元还用于:若目标情境类型为乘坐火车、乘坐汽车和乘坐地铁中的一种交通行为类型,则增强终端的通信信号;或者,若目标情境类型为驾驶汽车的交通行为类型,则检测驾驶员是否处于疲劳驾驶,并在驾驶员处于疲劳驾驶时,进行疲劳驾驶提醒。
在本申请的一些实施方式中,目标情境类型包括愉快、积极、感激、痛苦、怨恨、嫉妒中的一种情绪类型,上述情境服务单元还用于:输出与情绪类型对应的音乐推荐信息;或者,检测终端的语音助手功能是否已开启;若上述语音助手功能已开启,则生成与上述情绪类型对应的对话信息;上述对话信息包括语音信息、文字信息、图片信息和网页信息中的一种或多种。
需要说明的是,为描述的方便和简洁,上述描述的情境识别装置7的具体工作过程,可以参考上述图1至图6中描述的方法的对应过程,在此不再赘述。
如图8所示,本申请提供一种用于实现情境识别方法的终端,包括:处理器81、存储器82、一个或多个输入设备83(图8中仅示出一个)和一个或多个输出设备84(图8中仅示出一个)。处理器81、存储器82、输入设备83和输出设备84通过总线85连接。
应当理解,在本申请实施例中,所称处理器81可以是中央融合单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备83可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备84可以包括显示器、扬声器等。
存储器82可以包括只读存储器和随机存取存储器,并向处理器81提供指令和数据。存储器82的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器82还可以存储设备类型的信息。
上述存储器82存储有计算机程序,上述计算机程序可在上述处理器81上运行,例如,上述计算机程序为情境识别方法的程序。上述处理器81执行上述计算机程序时实现情境识别方法实施例中的步骤,例如图1所示的步骤101至步骤104。或者,上述处理器81执行上述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图7所示单元71至74的功能。
上述计算机程序可以被分割成一个或多个模块/单元,上述一个或者多个模块/单元被存储在上述存储器82中,并由上述处理器81执行,以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序在上述进行情境识别的终端中的执行过程。例如,上述计算机程序可以被分割成第一获取单元、第一融合单元、第二获取单元和第二融合单元,各单元具体功能如下:
第一获取单元,用于获取一个或多个第一传感器采集的第一初始数据。
第一融合单元,用于对第一初始数据进行融合处理,得到与第一初始数据对应的情境类型以及类型置信度。
第二获取单元,用于在类型置信度小于第一阈值时,开启一个或多个第二传感器,并获取第二传感器采集的第二初始数据。
第二融合单元,用于对第一初始数据和第二初始数据进行融合处理,得到目标情境类型。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种情境识别方法,其特征在于,包括:
获取一个或多个第一传感器采集的第一初始数据;
对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
若所述类型置信度小于第一阈值,则开启一个或多个第二传感器,并获取所述第二传感器采集的第二初始数据;
对所述第一初始数据和所述第二初始数据进行融合处理,得到目标情境类型。
2.如权利要求1所述的情境识别方法,其特征在于,所述对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度,包括:
对每个第一传感器采集的第一初始数据直接进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
或者,
对每个第一传感器采集的第一初始数据分别进行情境识别处理,得到初始情境识别结果,并对所述初始情境识别结果进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
或者,
将所述第一初始数据输入预先训练好的情境识别模型进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度。
3.如权利要求1所述的情境识别方法,其特征在于,在所述得到目标情境类型之后,包括:
执行与所述目标情境类型对应的情境服务。
4.如权利要求3所述的情境识别方法,其特征在于,所述执行与所述目标情境类型对应的情境服务,包括:
判断终端是否正在采集语音信号;
若所述终端正在采集语音信号,则获取与所述目标情境类型对应的噪声模型;
利用所述噪声模型对所述终端采集的语音信号进行去噪处理。
5.如权利要求3所述的情境识别方法,其特征在于,所述执行与所述目标情境类型对应的情境服务,包括:
若所述目标情境类型为乘坐火车、乘坐汽车和乘坐地铁中的一种交通行为类型,则增强终端的通信信号;
或者,
若所述目标情境类型为驾驶汽车的交通行为类型,则检测驾驶员是否处于疲劳驾驶,并在驾驶员处于疲劳驾驶时,进行疲劳驾驶提醒。
6.如权利要求3所述的情境识别方法,其特征在于,所述目标情境类型包括愉快、积极、感激、痛苦、怨恨、嫉妒中的一种情绪类型;
所述执行与所述目标情境类型对应的情境服务,包括:
输出与所述情绪类型对应的音乐推荐信息;
或者,
检测终端的语音助手功能是否已开启;
若所述语音助手功能已开启,则生成与所述情绪类型对应的对话信息;所述对话信息包括语音信息、文字信息、图片信息和网页信息中的一种或多种。
7.如权利要求1-6任意一项所述的情境识别方法,其特征在于,在所述得到与所述第一初始数据对应的情境类型以及类型置信度之后,包括:
若所述类型置信度大于或等于所述第一阈值,则将所述与第一初始数据对应的情境类型作为所述目标情境类型。
8.一种情境识别装置,其特征在于,包括:
第一获取单元,用于获取一个或多个第一传感器采集的第一初始数据;
第一融合单元,用于对所述第一初始数据进行融合处理,得到与所述第一初始数据对应的情境类型以及类型置信度;
第二获取单元,用于在所述类型置信度小于第一阈值时,开启一个或多个第二传感器,并获取所述第二传感器采集的第二初始数据;
第二融合单元,用于对所述第一初始数据和所述第二初始数据进行融合处理,得到目标情境类型。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN201910825313.3A 2019-09-02 2019-09-02 情境识别方法、装置、终端及计算机可读存储介质 Pending CN110516760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825313.3A CN110516760A (zh) 2019-09-02 2019-09-02 情境识别方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825313.3A CN110516760A (zh) 2019-09-02 2019-09-02 情境识别方法、装置、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110516760A true CN110516760A (zh) 2019-11-29

Family

ID=68629233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825313.3A Pending CN110516760A (zh) 2019-09-02 2019-09-02 情境识别方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110516760A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887546A (zh) * 2021-12-08 2022-01-04 军事科学院系统工程研究院网络信息研究所 一种提升图像识别准确率的方法和系统
CN114996109A (zh) * 2022-06-20 2022-09-02 中国平安财产保险股份有限公司 用户行为识别方法、装置、设备及存储介质
WO2023130934A1 (zh) * 2022-01-05 2023-07-13 荣耀终端有限公司 乘车工具识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094287A (zh) * 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
CN105051646A (zh) * 2013-03-01 2015-11-11 高通股份有限公司 用于功率高效的情境感知推断的自适应传感器取样
CN107239147A (zh) * 2017-07-12 2017-10-10 广州阿路比电子科技有限公司 一种基于可穿戴设备的人体情境感知方法、装置及系统
CN109741108A (zh) * 2018-12-29 2019-05-10 安徽云森物联网科技有限公司 基于情境感知的流式应用推荐方法、装置和电子设备
CN109995799A (zh) * 2017-12-29 2019-07-09 广东欧珀移动通信有限公司 信息推送方法、装置、终端及存储介质
CN110021308A (zh) * 2019-05-16 2019-07-16 北京百度网讯科技有限公司 语音情绪识别方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094287A (zh) * 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
CN105051646A (zh) * 2013-03-01 2015-11-11 高通股份有限公司 用于功率高效的情境感知推断的自适应传感器取样
CN107239147A (zh) * 2017-07-12 2017-10-10 广州阿路比电子科技有限公司 一种基于可穿戴设备的人体情境感知方法、装置及系统
CN109995799A (zh) * 2017-12-29 2019-07-09 广东欧珀移动通信有限公司 信息推送方法、装置、终端及存储介质
CN109741108A (zh) * 2018-12-29 2019-05-10 安徽云森物联网科技有限公司 基于情境感知的流式应用推荐方法、装置和电子设备
CN110021308A (zh) * 2019-05-16 2019-07-16 北京百度网讯科技有限公司 语音情绪识别方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘钊: "多传感器时空一致及其信息融合技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887546A (zh) * 2021-12-08 2022-01-04 军事科学院系统工程研究院网络信息研究所 一种提升图像识别准确率的方法和系统
CN113887546B (zh) * 2021-12-08 2022-03-11 军事科学院系统工程研究院网络信息研究所 一种提升图像识别准确率的方法和系统
WO2023130934A1 (zh) * 2022-01-05 2023-07-13 荣耀终端有限公司 乘车工具识别方法及装置
EP4231267A4 (en) * 2022-01-05 2023-11-08 Honor Device Co., Ltd. METHOD AND DEVICE FOR IDENTIFYING THE TYPE OF TRANSPORT VEHICLE
CN114996109A (zh) * 2022-06-20 2022-09-02 中国平安财产保险股份有限公司 用户行为识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107633207B (zh) Au特征识别方法、装置及存储介质
CN103038765B (zh) 用于适配情境模型的方法和装置
KR101830767B1 (ko) 사용자의 감정 인식 장치 및 방법
US10504031B2 (en) Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
CN110364144A (zh) 一种语音识别模型训练方法及装置
CN107030691A (zh) 一种看护机器人的数据处理方法及装置
CN111401328B (zh) 数据采集方法、装置、终端及存储介质
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
CN109190487A (zh) 人脸情绪识别方法、装置、计算机设备及存储介质
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
CN110838286A (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN103455472B (zh) 信息处理设备和信息处理方法
CN110853617B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN110265040A (zh) 声纹模型的训练方法、装置、存储介质及电子设备
Xu et al. Leveraging audio signals for early recognition of inattentive driving with smartphones
JP2020109578A (ja) 情報処理装置及びプログラム
WO2011092639A1 (en) Systems, methods, and apparatuses for providing context-based navigation services
CN110972112B (zh) 地铁运行方向的确定方法、装置、终端及存储介质
CN110880328B (zh) 到站提醒方法、装置、终端及存储介质
CN110516760A (zh) 情境识别方法、装置、终端及计算机可读存储介质
EP4390728A1 (en) Model training method and apparatus, device, medium and program product
Cai et al. GBDT‐Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction
WO2022199500A1 (zh) 一种模型训练方法、场景识别方法及相关设备
CN110298850A (zh) 眼底图像的分割方法和装置
CN111009261B (zh) 到站提醒方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129