CN110020576A - 一种居家场景的识别方法、装置及计算机可读存储介质 - Google Patents

一种居家场景的识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110020576A
CN110020576A CN201810021776.XA CN201810021776A CN110020576A CN 110020576 A CN110020576 A CN 110020576A CN 201810021776 A CN201810021776 A CN 201810021776A CN 110020576 A CN110020576 A CN 110020576A
Authority
CN
China
Prior art keywords
scene
house
identification data
recognition
subdivision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810021776.XA
Other languages
English (en)
Inventor
肖其虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810021776.XA priority Critical patent/CN110020576A/zh
Publication of CN110020576A publication Critical patent/CN110020576A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

本发明提供了一种居家场景识别方法,包括:当接收到场景识别请求后,采集识别数据;识别数据包括如下信息中的一个或多个:终端各传感器信息、终端使用状态信息、终端当前运行的应用信息;将识别数据输入到预先训练的居家场景识别模型中;利用居家场景识别模型,对当前场景是否为居家场景进行识别。本发明还提供了一种居家场景识别装置及计算机可读存储介质,利用本发明的技术方案能够智能、准确的判断出当前是否处于居家场景中,大幅提高了居家场景的识别准确度。

Description

一种居家场景的识别方法、装置及计算机可读存储介质
技术领域
本发明涉及无线移动通讯领域,特别涉及一种居家场景的识别方法、装置及计算机可读存储介质。
背景技术
智能场景识别,是近年智能手机、电子设备、软件应用行业非常关注的技术。如果能够识别出用户所处的场景,再识别出根据用户的动作,甚至判断出用户当时的心情、预期,然后给出自动的反馈,甚至推出必要的服务。这样的用户体验会非常棒,给消费者用户贴心的感受,赢得消费者的喜爱和信赖。
居家场景,是指终端(例如手机)所处的地理位置处于家里时的常见场景。居家场景首先是一个物理上的地理位置,同时也是机主一段长时间生活起居的场所的场景;可以是用户自主产权的房屋,也可以是长期租住的房屋,也可以推广到长时间居住的宿舍。其次,在这个地理位置上,由于“居家生活”的特点,还会有很多细分场景,使得用户使用手机的操作、预期会有不同。
因此,识别出“居家”,并不仅仅是指识别出一个固定的位置,而是要识别出用户的手机确实正处于家里,并基于此能识别出更进一步的细分场景。
要判断手机是不是在家里,现在有很多的方法和技术手段,但是都有局限性。下面简单介绍几种常见的方法:
(1)基于地理位置信息判断的方法
这是当前最常见的一种手段,手机上可以借助于移动通信系统的网络定位,GPS定位、或者其他定位技术,结合LBS地理信息应用软件服务,比如百度地图、高德地图等,判断出当前手机所处的位置是否是在一个小区里,如果是居民小区,则可以判断是“居家”。
这种方法非常简单,对于某些特定的电子设备,或者特定应用软件来说就足够用了。比如防老人、小孩走失、汽车被盗的手表和软件,这个识别就能解决问题。但是对于手机这种综合性随身应用的设备来说,这个信息是远远不够的,准确性不够,基于这个场景判断的人机交互操作、服务就是不合适的。
比如:小区里面也可能有办公或者服务场所;机主也有可能只是暂时的访客;一些居民小区的信息并不在LBS应用软件的数据库中;室内接受不到GPS定位信息,导致位置偏差很大等等,运用在手机上误判概率很大。
(2)基于WIFI接入的方法
这是一种很容易想到,但是不常实用的方法,用户用手机,连接家里的wifi上网时,会获取wifi设备的相关信息。手机系统软件根据wifi的信息,再与掌控wifi设备信息的服务商提供的信息查询判断,可以判断出这个wifi是一个家用的wifi,由此断定用户当前在家里使用手机。
这种方法也比较简单,也能解决一些简单实用的问题。比如用户回到家,手机会自动连接家里的wifi。或者一些第三方应用的服务器可以判断用户当前是在家里发出业务连接。
显然,这个方法的局限性很明显。比如:
一些人并不用wifi,或者wifi是关闭的;在使用wifi的情况下,除非用户事先在手机上对自己家里的wifi设备做了一个“家里的wifi”的指定,家用wifi设备与某些小餐馆的wifi设备,从手机端获取的wifi信息上看是没有无法区分的。事实上,很多的手机用户都认得自己手机上的wifi,但是却不会,也没有操作界面去指定家里的wifi是哪一个。手机设备厂商,也不可能获取到哪些wifi设备是属于用户家里的wifi信息。
(3)基于用户设置的方法
这是一种看上去很简单,但是却不智能的方法。就是在手机上,提供某种途径,可以给“家里”这个场所贴上标签。比如手机UI界面上提供一个设置选项:给“家”设置一些信息:wifi名称或者其他信息、地理位置信息等等,即通过用户显性地指定“家”的一些特征信息。
比如一些打车软件,比如滴滴出行,在用户选择出发地点和目的地的界面上,会提供类似这个思路的操作,让用户针对这些地点打上“家”的标签,或者类似地图类应用,会先给出“家”的选项,让用户区填写位置信息。经过用户设置之后,手机软件保存这些信息,应用软件就可以根据上网的信息或者位置信息来判断是不是在家里。
这个方法确实是很简单,对于有特定用图的软件,这个方法就够用。但是对于准确判断手机是否“居家”,还是有明显的局限性:
用户在没有明确用途的情况下,处于隐私顾虑,不会主动去标记家里的信息。所以这种方法,只适用于特定的用途的应用,而特定用户的应用软件并不会把这个信息开放给手机系统,所以手机系统拿不到这个标签。
再换个角度,即使有用户愿意标记,怎样标记才合适,也是问题。
(4)基于图像识别的方法
这是一种常见的方法,并且广泛应用在某些电子设备以及特定场所。就是利用电子设备上的摄像头拍摄的静态图片或者视频片段,基于图像识别技术,判断出是居家场景。当前很多家用的家庭视频监控设备,摄像头都会记录家里的人物、场景,这种方法具备较高的准确性。
但是,在手机上,这种方法的效率不高。几乎没有人会用手机摄像头去不停扫描家里,然后建立家里的图像库,也没有任何手机会与家庭监控视频的图像库进行分析比对。
即使按照现在基于大数据+机器深度学习的思路,让手机摄像头可以智能地识别出用户是在一个“家庭”的环境中使用手机,这个局限性也仍然是存在的,无法判断是否是用户“自己的家”。
(5)基于智能家居的设备互联的方法
这是目前新起运用的方法,一个电子消费品设备厂商,同时推出手机和智能家居设备,从路由器到电视、电源插座、电脑等,由于这些家居电器只能固定放在家里,所以只要用户回到家里,手机自动连接到这些设备,就可以判断出手机当前处于家里。
这个方法非常有效。由于家电本身的“家居”特性,手机连接上了,就说明这个场所是在家里,这个准确性是相当高的。但是对于通用的手机产品来说,这个方法也是具有一些局限性的。
比如:大多数的手机设备厂商,并不同时推出智能家居,即使推出了,很多用户也不会刚好同时购买了手机和智能家居,这些用户的手机是无法判断的;对于同时使用了同一厂家的手机和智能家居设备的用户,这个方法能够判断出“居家”,但是无法判断出更进一步的场景信息。
总结一下目前的技术方案,在特定的应用操作下,可以识别出手机当前是否处于居家场景,但都有着明显的局限性,主要的局限性在于以下三点:
1)、其识别判断的方法比较单一,当一类条件不满足之后,使方法失效;而且单一的识别方法很难识别进一步的细分场景。
2)、用户主动参与标记的居家场景,不适用于通用设置,而第三方应用的信息不全,也不会共享给手机系统;
3)、家居设备互联的方法,能够覆盖的手机用户很少,不具备通用性。
发明内容
为了解决现有技术中居家场景识别方法的局限性,提高居家场景识别的准确性,本发明提供了一种居家场景的识别方法、装置及计算机可读存储介质。
本发明提供的居家场景的识别方法,包括以下步骤:
当接收到场景识别请求后,采集识别数据;所述识别数据包括如下信息中的一个或多个:终端各传感器信息、终端使用状态信息、终端当前运行的应用信息;
将所述识别数据输入到预先训练的居家场景识别模型中;
利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
可选的,在本发明所述的居家场景的识别方法中,将所述识别数据输入到预先训练的居家场景识别模型中,包括:
将识别数据全部输入到所述居家场景识别模型中;
或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;
将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。
可选的,在本发明所述的居家场景的识别方法中,对当前场景是否为居家场景进行识别之后,还包括:
将当前场景的识别结果和所述识别数据组成学习样本;
将所述学习样本输入到所述居家场景识别模型中进行模型训练。
可选的,在本发明所述的居家场景的识别方法中,对当前场景是否为居家场景进行识别之后,还包括:
当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
可选的,在本发明所述的居家场景的识别方法中,确定所述当前场景在居家场景中的细分场景具体包括:
在所述识别数据中,确定出与各细分场景匹配的场景识别数据;
将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;
根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
可选的,在本发明所述的居家场景的识别方法中,在确定所述当前场景在居家场景中的细分场景之后,还包括:
将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;
将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
本发明还提供了一种居家场景的识别装置,包括:场景识别模块、应用信息采集模块、传感器数据采集模块、及场景知识库模块;
所述场景识别模块,用于当接收到场景识别请求后,发出识别数据采集请求;
所述应用信息采集模块,用于根据所述识别数据采集请求,采集终端使用状态信息、及终端当前运行的应用信息;
所述传感器数据采集模块,用于根据所述识别数据采集请求,采集终端各传感器信息;
所述场景知识库模块,用于提供预先训练的居家场景识别模型;
所述场景识别模块,还用于将所述识别数据输入到所述预先训练的居家场景识别模型中,利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
可选的,在本发明所述的居家场景的识别装置中,所述场景识别模块具体用于:
将识别数据全部输入到所述居家场景识别模型中;
或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;
将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。
可选的,在本发明所述的居家场景的识别装置中,所述场景知识库模块还用于:
将当前场景的识别结果和所述识别数据组成学习样本;
将所述学习样本输入到所述居家场景识别模型中进行模型训练。
可选的,在本发明所述的居家场景的识别装置中,所述场景识别模块还用于:当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
可选的,在本发明所述的居家场景的识别装置中,所述场景识别模块具体用于:
在所述识别数据中,确定出与各细分场景匹配的场景识别数据;
将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;
根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
可选的,在本发明所述的居家场景的识别装置中,所述场景知识库模块还用于:
将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;
将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
本发明还提供了一种计算机可读存储介质,所述存储介质上存储有居家场景的识别程序,所述居家场景的识别程序被处理器执行时实现如上所述的居家场景的识别方法的步骤。
本发明的有益效果如下:
本发明实施例提供的居家场景的识别方法、装置及计算机可读存储介质,通过对具体的每个用户使用终端的多方面的数据进行收集,采用预先训练的居家场景识别模型,让终端能够智能、准确的判断出当前是否处于居家场景中,大幅提高了居家场景的识别准确度。
附图说明
图1为本发明第一方法实施例中居家场景识别方法的流程示意图;
图2为本发明第一装置实施例中居家场景识别装置的结构示意图;
图3为实例1中居家场景识别装置的结构示意图;
图4为实例1中居家场景识别方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中居家场景识别方法的局限性,提高居家场景识别的准确性,本发明提供了一种居家场景的识别方法、装置及计算机可读存储介质,以下结合附图对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
本发明所说的居家场景,是指终端所处的地理位置处于家里时的典型场景。本发明实施例以手机为例进行说明,其首先是一个物理上的地理位置,同时也是机主一段长时间生活起居的场所的场景;其次,在这个地理位置上,由于“居家生活”的特点,还会有很多细分场景,使得用户使用手机的操作、预期会有不同。一般而言,虽然具体每个人的家居环境、设备不同,个人喜好、习惯都不同,但是当用户在家里时,手机的使用还是会有一些典型的共性:比如:
如果家里有wifi,手机一般会连接wifi上网;
晚上睡觉时,手机会长时间处于固定位置不动;
早上起床时,起床闹钟会响起;
一段时间会有充电器进行充电;
有些应用会比较集中地在家里使用,比如点餐、购物、出行等;
总结一下在家时对于手机使用环境的特点:1、特定时段手机的状态周期性的重复,这些周期与人在家的生活作息周期高度重合;2、手机的一些常规应用在家里的使用概率很高;3、充电、上网等对设备的基本操作表现出在家的特性。4、用户使用手机应用的内容、频次与居家生活相关度很高。
基于这个特点,本发明提出一个居家场景的识别方法,基于手机状态、应用使用情况、地理位置信息、家居设备连接状态等方面的信息,经过一定的算法,让机器智能地准确识别出当前手机是否处于居家场景中。
根据本发明的第一方法实施例,提供了一种居家场景的识别方法,图1为本发明第一方法实施例中居家场景识别方法的流程示意图,如图1所示,本发明第一方法实施例的居家场景的识别方法,包括以下步骤:
S101:当接收到场景识别请求后,采集识别数据;所述识别数据包括如下信息中的一个或多个:终端各传感器信息、终端使用状态信息、终端当前运行的应用信息。
具体的,所述终端各传感器信息为与终端硬件相关的硬件传感器获取的数据信息,包括但不限于:环境光强度、手机姿势参数、手机运动参数、GPS信号信息、手机屏幕状态、手机充电状态。
所述终端使用状态数据包括但不限于:当前wifi连接信息、当前LBS位置信息、当前时间、当前手机通信连接的设备信息、当前手机的屏幕状态。
所述终端当前运行的应用信息,包括但不限于:当前正在使用的应用软件名称、当前应用软件的使用状态、典型应用的与场景相关的设置参数、打开某个应用的时间。
S102:将所述识别数据输入到预先训练的居家场景识别模型中。
可选的,所述居家场景识别模型的训练方法包括以下步骤:
获取已知场景下的识别数据;
利用多组已知场景下的识别数据,对预设的居家场景识别函数进行训练,得到居家场景识别模型。
可选的,在本发明所述的居家场景的识别方法中,将所述识别数据输入到预先训练的居家场景识别模型中,包括:
将识别数据全部输入到所述居家场景识别模型中;
或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;
将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。
具体的,所述具有一级权重因子的识别数据为在所述居家场景识别模型中所占权重较高、确定性较高的识别数据。所述确定性为根据识别数据能够确定当前场景是否为居家场景。
进一步的,在本发明所述的居家场景的识别方法中,在将所述识别数据输入到预先训练的居家场景识别模型中之前,还包括:将所述识别数据进行预处理,以使所述识别数据的数据格式与所述居家场景识别模型的数据格式相同。
S103:利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
可选的,在本发明所述的居家场景的识别方法中,对当前场景是否为居家场景进行识别之后,还包括:
将当前场景的识别结果和所述识别数据组成学习样本;
将所述学习样本输入到所述居家场景识别模型中进行模型训练。
进一步的,为了验证本次识别是否真正准确,可以开发出验证的应用模块,采用人工干预的方式,对这次识别的结果进行评判。
当采用人工干预的方式,对这次识别的结果进行评判后,再将当前场景的识别结果和所述识别数据组成学习样本,可以使得居家场景识别模型更为准确。
作为本发明方法实施例的成果运用,大多数情况下是直接判断出在居家场景之后,软件做对应的UX设计去改善用户体验,并不需要显性提供用户界面来提醒或者告知用户。同时可以提供场景判断的软件调用API,以及对应的参考用户界面,用来测试其正确性。即具体的,在步骤103之后,还包括将居家场景的识别结果输入到场景识别应用。
在本发明第一方法实施的基础上,给出本发明的第二方法实施。本发明的第二方法实施例为在步骤S103对当前场景是否为居家场景进行识别之后,增加以下步骤:
当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
可选的,确定所述当前场景在居家场景中的细分场景,具体包括以下步骤:
在所述识别数据中,确定出与各细分场景匹配的场景识别数据;
将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;
根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
可选的,可选的,在本发明的第二方法实施例中,在确定所述当前场景在居家场景中的细分场景之后,还包括:
将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;
将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
本发明第二方法实施例提供的居家场景的识别方法,当所述当前场景为居家场景时,能对所述当前场景在居家场景中的细分场景进行识别。
下面对根据本发明第一方法实施例和第二方法实施例得到的场景识别结果的应用举例如下:
1、当用户刚回到家时,手机就会自动连接家中wifi,甚至开始自动把手机上的用户数据自动同步到家中的其他设备上;
2、半夜睡觉来电时,手机铃音会自动调小,手机的屏幕亮度都会调得柔和,语音命令会自动开启,或者免提会自动开启;
3、在家里手机乱放,白天每个几个小时会自动发出声音提醒用户;
4、在家里,手机电量只要降到一定程度,就开始隔一段时间提醒用户充电;
5、家中看照片或者视频时,会自动提醒用户可以把照片同步到电视机或者电脑大屏幕上;
6、手机由于开会等原因设成静音的,到家里自动会打开,一离开家又会恢复成静音;
7、要出门时,自动根据天气预报提醒用户带伞等。
8、一些聊天应用中,一旦涉及识别到“我家里”、“寒舍”、“我们宿舍”之类的词,就能给出对应的LBS位置信息或者地图。尽管用户没有输入过。
9、使用打车软件、外卖软件之类的应用软件,在要求输入自己位置时,会自动填充。尽管用户没有填写过,GPS定位也没有打开。
10、在家里手机收到视频来电时,会在电视上直接来电界面,接听后会转到电视机上。或者手机上直接提示切换到电视机上。而事先用户并没有在手机上进行家里电视的专门设置。
本发明第一方法实施例和第二方法实施例提供的居家场景的识别方法,具有以下优点:
(1)大幅提升了居家场景的识别准确度,也增加了适用手机的范围,基本上可以用确保所有通用的手机,都可以使用本发明方法实施例来识别家居场景。
本发明方法实施例采用多维度多方面关联因素的分析计算,综合了时间、地点、设备互联、应用使用情况、家居生活通用规律的数据信息。这种方法解决了现有产品上一个条件不具备就无法识别的困难。
在本发明方法实施例中,并不需要用户事先设置各项关联因素,而是由机器学习自己去判断,这个可行性更好。
在本发明方法实施例中,并不需要软件工程师去人为确定各项关联因素的权重,而是由场景知识库和场景识别模块持续收集信息,通过学习去确定,这对于具体用户来说,更为准确。工程师能够根据有限的用户研究和测试给出一些判断,但是总是会有一些差异导致认为设定的参数无效。比如wifi设备信息权重如果很重,但是用户家里没有wifi,那么这条因素判断就会失效。
(2)处理运算快,而且是越来越准确,越来越快。
本发明方法实施例的场景识别方法,本质上是机器学习中的神经网络的算法,通过机器学习,会越来越准确。知识库建模时,会对一些影响因子增加人工分析的策略,可以提升识别的效率和准确度。
与本发明的第一方法实施例相对应,本发明的第一装置实施例提供了一种居家场景的识别装置,图2为本发明第一装置实施例中居家场景识别装置的结构示意图,如图2所示,本发明第一装置实施例的居家场景识别装置,包括:应用信息采集模块20、传感器数据采集模块22、及场景知识库模块24、及场景识别模块26:
具体的,所述场景识别模块26,用于当接收到场景识别请求后,发出识别数据采集请求。
具体的,终端需要接收场景识别请求。本发明中发起场景识别请求的可以是某些具体的软件应用,也可以是本发明的场景识别模块26。对于场景识别模块26而言都是一样的,接受请求的都是都是场景识别模块26。
进一步的,触发识别请求的方式有两种:
第一种方式为:场景识别模块26会在手机系统软件中注册一些事件,当这些事件被触发时,会通知到场景识别模块26,启动识别过程。这个过程称作主动识别过程。注册的事件,是专门为场景识别而定义的事件,例如本发明可以定义以下三种事件:手机开关机以及与其他电子设备建立通讯连接事件;比如wifi连接、电脑连接、充电器连接、电视连接等;手机位置、姿态变化事件;比如手机的地理位置信息保持不变8小时,黑屏静止超过3个小时等;特定应用启动事件,比如起床闹钟事件、启动某些打车软件、外卖软件、启动旅游类软件、天气查询类软件时等。
第二种方式为:场景识别模块26提供对外的API接口,供外部应用调用,从而启动识别过程。这个过程称作被动识别过程。
所述应用信息采集模块20,用于根据所述识别数据采集请求,采集终端使用状态信息、及终端当前运行的应用信息。
所述终端使用状态数据包括但不限于:当前wifi连接信息、当前LBS位置信息、当前时间、当前手机通信连接的设备信息、当前手机的屏幕状态。
所述终端当前运行的应用信息,包括但不限于:当前正在使用的应用软件名称、当前应用软件的使用状态、典型应用的与场景相关的设置参数、打开某个应用的时间。
所述传感器数据采集模块22,用于根据所述识别数据采集请求,采集终端各传感器信息。
具体的,所述终端各传感器信息为与终端硬件相关的硬件传感器获取的数据信息,包括但不限于:环境光强度、手机姿势参数、手机运动参数、GPS信号信息、手机屏幕状态、手机充电状态。
所述场景知识库模块24,用于提供预先训练的居家场景识别模型。
所述场景知识库模块还用于:将当前场景的识别结果和所述识别数据组成学习样本;将所述学习样本输入到所述居家场景识别模型中进行模型训练。
所述场景场景知识库模块还用于,在将所述识别数据输入到预先训练的居家场景识别模型中之前,将所述识别数据进行预处理,以使所述识别数据的数据格式与所述居家场景识别模型的数据格式相同。
所述场景识别模块26,还用于将所述识别数据输入到所述预先训练的居家场景识别模型中,利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
所述场景识别模块具体用于:将识别数据全部输入到所述居家场景识别模型中;或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。即,所述场景识别模块26除了在于主动或者被动发起一次场景识别的过程外,还用于判断当前手机是否处于居家场景中,另外还将本次识别出的结果与数据信息,回传给场景知识库模块24更新知识库。本模块接收来自应用信息采集模块20、传感器数据采集模块22的识别数据,并从场景知识库模块24中获取居家场景识别模型,通过一定的算法,判断出当前手机的场景。
与本发明的第二方法实施例相对应,本发明的第二装置实施例提供了一种居家场景的识别装置,与第一装置实施例的不同之处在于以下几点。
在本发明第二装置实施例中,所述场景识别模块还用于:当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
在本发明第二装置实施例中,所述场景识别模块具体用于:在所述识别数据中,确定出与各细分场景匹配的场景识别数据;将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
在本发明第二装置实施例中,所述场景知识库模块还用于:将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
本发明第二装置实施例提供的居家场景的识别装置,当所述当前场景为居家场景时,能对所述当前场景在居家场景中的细分场景进行识别。
本发明第一装置实施例和第二装置实施例提供的居家场景的识别装置,具有以下优点:软件集成应用方案简单,易于扩展。本发明装置实施例提出的居家场景的识别装置,将家居场景的识别做成一个相对独立的子系统,内部有四个子模块构成。这样的构成便于集成进入现有手机系统中,有较好的独立性和结构性。与手机上现有软件模块的接口简单,及所有的数据获取接口都是直接调用手机系统软件上提供的接口,并不直接与硬件模块耦合。同时,随着场景识别知识库的信息不断丰富和调整,内部算法优化改进,都不会改变手机软件系统中的其他部分。
本发明还提供了一种计算机可读存储介质,所述存储介质上存储有居家场景的识别程序,所述居家场景的识别程序被处理器执行时实现如上所述的居家场景的识别方法的步骤。本发明计算机可读存储介质能够达到与本发明方法实施例相同的有益效果,在此不作赘述。
为了更加详细说明本发明的方法实施例和装置实施例,给出实例1。图3为实例1中居家场景识别装置的结构示意图。
本发明对应的硬件换件系统,为通用的手机硬件设备系统,包含并不限于安卓智能手机、IPhone手机、winphone手机,实例1会借用这些手机上的通用软件应用和硬件部件的数据信息实施,对具体的手机硬件没有额外要求。
在软件系统上,要实施实例1的方法,需要在现有通用手机的软件系统上,增加下面四个模块:应用信息采集模块20、传感器数据采集模块22、及场景知识库模块24、及场景识别模块26。
所述应用信息采集模块20的作用在于采集用户使用手机时的与场景相关的信息,比如打开某个应用的时间、地理信息、wifi设备信息、家居设备互联信息、当前应用软件的使用状态、典型应用的与场景相关的设置参数等。不涉及用户个人数据和具体的应用内容数据。
所述传感器数据采集模块22的作用在于采集用户手机上的与手机硬件相关的硬件传感器获取的数据信息,比如环境光强度、手机姿势参数、手机运动参数、GPS信号信息、手机屏幕状态、手机充电状态等等。
所述场景知识库模块24作用在于建立起居家场景的知识库模型(包括居家场景识别模型、各细分场景识别模型),场景知识库模块24中居家场景会细分为一系列细分场景,比如:夜间睡眠、早晨起床、下班回家、手机聊天、手机购物、在家做饭的场景等等,来自于应用信息采集模块20、传感器数据采集模块22的识别数据,每一个类型数据都是一种家居细分的一个关联因素。以每一个细分场景,建立起家居细分场景对应的关联数据信息树(所述关联数据信息树为软件上定义的场景相关的各个关联因素构成的数据结构),每一类型数据都对应有一个权重;所有类型数据权重的和为1。在这些具体场景中,可以抽取出共性的关联因素,作为一级权重因子,用于描述居家场景,比如wifi连接设备信息、LBS位置信息等。这个权重在知识库刚开始建立时,由人为设定。后续随着手机的使用,场景知识库模块24根据一定算法会持续调整和优化参数。考虑到手机上的CPU\GPU计算能力,本发明的参考实施案例采用了机器学习算法中经典的PLA算法。
具体的,所述居家场景识别模型、各细分场景识别模型均含有场景识别函数,每一个场景都可以由一组关联因素共同确定,把每个关联因素进行加权求和的计算表达式即为场景识别函数。
所述场景识别模块26除了在于主动或者被动发起一次场景识别的过程外,还用于判断当前手机所处的场景,是否处于居家场景,并进一步给出具体的细分场景,输出给需要场景识别的应用。同时,将本次识别出的结果与数据信息,回传给场景知识库模块24更新知识库。本模块接收来自应用信息采集模块20、传感器数据采集模块22的当前手机的识别数据,并从场景知识库模块24中获取居家场景识别模型,通过一定的算法,判断出当前手机的场景。
图4为实例1中居家场景识别方法的流程示意图,如图4所示,包括以下步骤:
S1:手机上需要识别场景的应用触发识别请求。本文中发起场景识别的应用,可以是某些具体的软件应用,也可以是本文的场景识别模块。对于场景识别模块而言都是一样的,接受请求的都是都是场景识别模块。
S2:获取当前手机的相关数据信息。场景识别模块26向应用信息采集模块20、通用传感器数据采集模块22发起当前数据查询请求,M1、M2向M4提供应答的数据信息。进一步的,
S201:应用信息采集模块20反馈的信息包含并不限于如下内容:
当前正在使用的应用软件名称;
当前wifi连接信息;
当前LBS位置信息;
当前时间;
当前手机通信连接的设备信息;
当前手机的屏幕状态。
S202:通用传感器数据采集模块22反馈的信息包含并不限于如下内容:
环境光感知数据;
加速度传感器数据;
三轴陀螺仪的数据;
红外摄像头传感器数据;
接近感应传感器数据。
S3:获取居家场景的知识库信息。场景识别模块26向场景知识库模块24发起数据请求,M3返回数据信息给M4。进一步的,
S3-01:场景知识库中,定义有居家场景识别关联信息数结构,以及对应的数据信息,包含每个参数信息的出现频次和权重、确定性参数;场景知识库中,包含有一个居家场景识别模型,以及若干个细分场景的识别模型;场景知识库还包含有一套机器学习的算法模块,能够随着参数的增加、变化而调整识别函数。
S3-02:数据请求是带参数的,会带上S2步骤获得的识别数据,传给场景知识库模块24。
S3-03:场景知识库模块24把场景识别模块26请求传入的识别数据,场景知识库模块24中进行预处理。
S4:分析计算判断当前手机所处的场景是否居家场景。场景识别模块26接收到到场景知识库模块预处理后的场景识别函数后,将S2的结果带入计算,得出当前处于居家场景的判断结果。如果是居家场景,则进入下一步;如果不是;则终止本次场景识别过程。进一步的,
S4-01:新手机使用没多久时,场景识别信息库中定义的关联信息树上,信息数据少,而且每个因子出现的频次很低,确定性并不高。因此在判断是否居家场景时,需要全因素计算。在用户使用手机一段时间之后,关联信息树的信息数据够多,并且一些影响因子的权重已经很高,确定性也很高后,可以优化只需要对一级权重因子进行计算。一级权重因子是场景识别关联信息树上的典型的少数几个因素,比如地理位置信息、wifi设备信息、家居互联设备信息、早晨周期性闹钟等。
S5:进一步细分场景。场景识别模块26判断出当前是居家场景之后,需要对具体的细分场景进行二次计算,以求推断出更为准确的场景。进一步的,
S501:细分场景包含夜间睡眠、早晨起床、下班回家、手机空闲、忙碌中来电、手机购物、手机聊天、手机数据同步家庭设备等等场景。每种场景对应的关联信息因子是有差别的。
S502:细分场景的算法,每一种场景定义一个场细分景识别函数。在具体计算时,只需要带入与这个细分场景相关的参数。
S6:场景识别的结果输出给场景知识库。一次识别计算的结果,就是一次输入输出的过程,把结果返回给知识库,给场景知识库记录。
S7:场景知识库记录下这次计算结果,连同本次输入的信息与结果,构成一个学习样本,供内部机器学习构建场景识别函数时使用。进一步的,
S7-01:为了验证本次识别是否真正准确,可以开发出验证的应用模块,采用人工干预的方式,对这次识别的结果进行评判。这样的结果将使得知识库的机器学习模块识别出的场景识别函数更为准确。
S8:输出场景识别的结果给需要识别场景的应用。结束本次识别过程。
本发明提供了一种居家场景识别方法,通过机器学习的方法,智能地识别出手机所处一类场景:居家场景。能够准确识别出“居家场景”,再根据“居家”的这一场景,可以再辅以其他的技术手段判断出用户对手机终端的操作,做出合适的人机交互响应,使得人机交互的用户体验得以提升。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (13)

1.一种居家场景的识别方法,其特征在于,包括:
当接收到场景识别请求后,采集识别数据;所述识别数据包括如下信息中的一个或多个:终端各传感器信息、终端使用状态信息、终端当前运行的应用信息;
将所述识别数据输入到预先训练的居家场景识别模型中;
利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
2.如权利要求1所述的居家场景的识别方法,其特征在于,将所述识别数据输入到预先训练的居家场景识别模型中,包括:
将识别数据全部输入到所述居家场景识别模型中;
或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;
将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。
3.如权利要求1所述的居家场景的识别方法,其特征在于,对当前场景是否为居家场景进行识别之后,还包括:
将当前场景的识别结果和所述识别数据组成学习样本;
将所述学习样本输入到所述居家场景识别模型中进行模型训练。
4.如权利要求1所述的居家场景的识别方法,其特征在于,对当前场景是否为居家场景进行识别之后,还包括:
当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
5.如权利要求4所述的居家场景的识别方法,其特征在于,确定所述当前场景在居家场景中的细分场景,包括:
在所述识别数据中,确定出与各细分场景匹配的场景识别数据;
将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;
根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
6.如权利要求4所述的居家场景的识别方法,其特征在于,在确定所述当前场景在居家场景中的细分场景之后,还包括:
将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;
将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
7.一种居家场景的识别装置,其特征在于,包括场景识别模块、应用信息采集模块、传感器数据采集模块、及场景知识库模块;
所述场景识别模块,用于当接收到场景识别请求后,发出识别数据采集请求;
所述应用信息采集模块,用于根据所述识别数据采集请求,采集终端使用状态信息、及终端当前运行的应用信息;
所述传感器数据采集模块,用于根据所述识别数据采集请求,采集终端各传感器信息;
所述场景知识库模块,用于提供预先训练的居家场景识别模型;
所述场景识别模块,还用于将所述识别数据输入到所述预先训练的居家场景识别模型中,利用所述居家场景识别模型,对当前场景是否为居家场景进行识别。
8.如权利要求7所述的居家场景的识别装置,其特征在于,所述场景识别模块具体用于:
将识别数据全部输入到所述居家场景识别模型中;
或者将所述识别数据与所述所述居家场景识别模型进行匹配,根据匹配结果确定出所述识别数据中具有一级权重因子的识别数据;
将所述具有一级权重因子的识别数据输入到所述居家场景识别模型中。
9.如权利要求7所述的居家场景的识别装置,其特征在于,所述场景知识库模块还用于:
将当前场景的识别结果和所述识别数据组成学习样本;
将所述学习样本输入到所述居家场景识别模型中进行模型训练。
10.如权利要求7所述的居家场景的识别方法,其特征在于,所述场景识别模块还用于:
当所述当前场景为居家场景时,基于所述识别数据,确定所述当前场景在居家场景中的细分场景。
11.如权利要求10所述的居家场景的识别装置,其特征在于,所述场景识别模块具体用于:
在所述识别数据中,确定出与各细分场景匹配的场景识别数据;
将各细分场景下的场景识别数据分别输入到对应的、预先训练的细分场景识别模型中;
根据所述各个细分场景识别模型,识别出所述居家场景的细分场景。
12.如权利要求10所述的居家场景的识别装置,其特征在于,所述场景知识库模块还用于:
将当前场景在居家场景中的细分场景、及与当前场景在居家场景中的细分场景相匹配的场景识别数据组成学习样本;
将所述学习样本输入到与当前场景在居家场景中的细分场景相匹配的细分场景识别模型中进行模型训练。
13.一种计算机可读存储介质,其特征在于,所述存储介质上存储有居家场景的识别程序,所述居家场景的识别程序被处理器执行时实现如权利要求1~6任一项所述的居家场景的识别方法的步骤。
CN201810021776.XA 2018-01-10 2018-01-10 一种居家场景的识别方法、装置及计算机可读存储介质 Pending CN110020576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810021776.XA CN110020576A (zh) 2018-01-10 2018-01-10 一种居家场景的识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810021776.XA CN110020576A (zh) 2018-01-10 2018-01-10 一种居家场景的识别方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110020576A true CN110020576A (zh) 2019-07-16

Family

ID=67188006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810021776.XA Pending CN110020576A (zh) 2018-01-10 2018-01-10 一种居家场景的识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110020576A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142659A (zh) * 2013-11-12 2014-11-12 珠海优特电力科技股份有限公司 一种智能家居场景切换方法及系统
CN104301534A (zh) * 2014-10-09 2015-01-21 广东小天才科技有限公司 一种智能调整移动终端场景模式的方法及装置
CN104457751A (zh) * 2014-11-19 2015-03-25 中国科学院计算技术研究所 室内外场景识别方法及系统
CN104460326A (zh) * 2014-10-24 2015-03-25 杭州赫智电子科技有限公司 基于重力感应的一键式智能设备管理系统及控制方法
CN104932255A (zh) * 2015-05-13 2015-09-23 上海锳科迩电子股份有限公司 一种智能家居自适应控制的方法
CN105792237A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种终端状态监控方法及装置
CN105974807A (zh) * 2016-08-10 2016-09-28 成都启源电子信息技术有限公司 智能家居控制系统
CN106250435A (zh) * 2016-07-26 2016-12-21 广东石油化工学院 一种基于移动终端噪声地图的用户场景识别方法
KR20170027627A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
CN107169525A (zh) * 2017-06-01 2017-09-15 腾云天宇科技(北京)有限公司 一种确定移动终端应用场景的方法、装置和移动终端
CN107180245A (zh) * 2016-03-10 2017-09-19 滴滴(中国)科技有限公司 一种室内外场景识别方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142659A (zh) * 2013-11-12 2014-11-12 珠海优特电力科技股份有限公司 一种智能家居场景切换方法及系统
CN104301534A (zh) * 2014-10-09 2015-01-21 广东小天才科技有限公司 一种智能调整移动终端场景模式的方法及装置
CN104460326A (zh) * 2014-10-24 2015-03-25 杭州赫智电子科技有限公司 基于重力感应的一键式智能设备管理系统及控制方法
CN104457751A (zh) * 2014-11-19 2015-03-25 中国科学院计算技术研究所 室内外场景识别方法及系统
CN105792237A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种终端状态监控方法及装置
CN104932255A (zh) * 2015-05-13 2015-09-23 上海锳科迩电子股份有限公司 一种智能家居自适应控制的方法
KR20170027627A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
CN107180245A (zh) * 2016-03-10 2017-09-19 滴滴(中国)科技有限公司 一种室内外场景识别方法及装置
CN106250435A (zh) * 2016-07-26 2016-12-21 广东石油化工学院 一种基于移动终端噪声地图的用户场景识别方法
CN105974807A (zh) * 2016-08-10 2016-09-28 成都启源电子信息技术有限公司 智能家居控制系统
CN107169525A (zh) * 2017-06-01 2017-09-15 腾云天宇科技(北京)有限公司 一种确定移动终端应用场景的方法、装置和移动终端

Similar Documents

Publication Publication Date Title
CN108076218B (zh) 一种充电提醒方法及移动终端
CN105025173B (zh) 移动计算设备上的自知简档切换
US8510238B1 (en) Method to predict session duration on mobile devices using native machine learning
CN105227448B (zh) 一种信息推送方法及系统
JP6254726B1 (ja) 生成装置、生成方法、及び生成プログラム
CN110609903A (zh) 信息表示方法及装置
WO2016182712A1 (en) Activity triggers
CN107483493A (zh) 交互式日程提醒方法、装置、存储介质及智能家居系统
CN105683847A (zh) 通过物联网集成平台的物理环境配置
CN110489952A (zh) 身份认证的方法、装置及用户设备
CN108401064A (zh) 一种终端工作控制方法、装置及终端
CN107666540B (zh) 终端控制方法、装置及存储介质
CN110308660A (zh) 智能设备控制方法及装置
CN105912358A (zh) 智能电子设备及其设置方法
CN108153463A (zh) 应用界面显示控制方法、装置及存储介质和移动终端
EP2820569A1 (en) Media tagging
CN110418207A (zh) 信息处理方法、装置及存储介质
CN110110026A (zh) 一种智能提示出行帮助信息的方法、装置及介质
CN105610700A (zh) 群组创建方法、装置及电子设备
CN106403971A (zh) 信息交互方法及装置
CN109151186B (zh) 主题切换方法和装置、电子设备、计算机可读存储介质
CN107395780A (zh) 基于人脸识别的社交通信方法、装置及计算机处理设备
CN110308661A (zh) 基于机器学习的智能设备控制方法及装置
CN109906435A (zh) 移动体控制装置以及移动体控制程序
CN113822460A (zh) 一种交通流量预测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716