CN110599710A - 一种提醒方法及相关设备 - Google Patents
一种提醒方法及相关设备 Download PDFInfo
- Publication number
- CN110599710A CN110599710A CN201910718596.1A CN201910718596A CN110599710A CN 110599710 A CN110599710 A CN 110599710A CN 201910718596 A CN201910718596 A CN 201910718596A CN 110599710 A CN110599710 A CN 110599710A
- Authority
- CN
- China
- Prior art keywords
- information
- personnel
- reminding
- preset
- visiting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
- G08B3/1008—Personal calling arrangements or devices, i.e. paging systems
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种提醒方法及相关设备,本发明通过获取人员的特征信息和行为事件信息,进而根据特征信息获取人员对应的人员类别信息,再根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,并将提醒音频信息进行输出,实现不同的人员类别、不同的行为事件输出不同的提醒音频信息,提高信息提醒的智能程度,有效提高用户体验,克服现有技术中存在门铃提醒的智能程度低下的技术问题。本发明可广泛应用于智能家居等领域。
Description
技术领域
本发明涉及智能家居领域,尤其是一种提醒方法及相关设备。
背景技术
已知技术中,门铃已经成为用户家庭的必需品,访客可通过按下用户屋外的门铃上的按钮以触发开关,访客触发门铃的开关后,用户屋内的相应设备将会发出铃声以提示用户有客人来访,而门铃也将向访客播放一些欢迎语音,例如播放“欢迎来访”等语音,提高了门铃的实用性,并且可以提高访客的来访体验,然而,门铃的智能性低下,有待提高。
发明内容
本发明旨在至少在一定程度上解决相关记述中的技术问题之一。为此,本发明的一个目的是提供一种提醒方法及相关设备。
本发明所采用的技术方案是:
第一方面,本发明提供一种提醒方法,包括:
人员检测步骤,检测门口预设范围内是否有人员;
信息获取步骤,若检测到有人员,获取所述人员的特征信息和行为事件信息;
人员类别信息获取步骤,根据所述人员的特征信息获取所述人员对应的人员类别信息;
提醒音频信息获取步骤,根据所述人员的人员类别信息、所述行为事件信息和提醒数据库获取对应的提醒音频信息,所述提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系;
语音提醒步骤,输出所述提醒音频信息。
进一步地,所述人员类别信息获取步骤包括:
初步对比子步骤,根据所述人员的特征信息和第一人员数据库进行初步对比,并根据初步对比结果获取所述人员对应的人员类别信息,所述第一人员数据库存储有第一预设特征信息和第一预设人员类别信息的对应关系;
二次比对子步骤,若初步对比失败,则根据所述人员的特征信息和第二人员数据库进行二次比对,并根据二次比对结果获取所述人员的人员类别信息,所述第二人员数据库存储有第二预设特征信息和第二预设人员类别信息的对应关系;
智能识别子步骤,若二次比对失败,则根据所述人员的特征信息和预设机器学习模型进行智能类别识别处理获取所述人员对应的人员类别信息。
进一步地,所述提醒方法还包括:
优先级设置步骤,设置不同的人员类别信息对应的人员类别优先级;
在所述语音提醒步骤之前还包括:
数目检测步骤,获取所述提醒音频信息的数目;
数目判断步骤,判断所述提醒音频信息的数目是否大于预设数目;
所述语音提醒步骤,判断所述提醒音频信息的数目大于预设数目时,根据所述人员的人员类别信息和所述人员类别优先级输出所述提醒音频信息。
进一步地,所述提醒方法还包括:
行为判断步骤,根据所述行为事件信息判断所述人员的行为事件是否为来访事件;
留言提示输出步骤,若判断为来访事件,所述人员为来访人员,则输出留言提示信息。
进一步地,所述提醒方法还包括:
留言信息接收步骤,接收所述人员的留言信息;
留言信息输出步骤,输出所述留言信息。
进一步地,所述提醒方法还包括:
人员身份获取步骤,根据所述来访人员的特征信息获取所述来访人员的身份信息;
来访信息获取步骤,获取所述来访人员的来访信息;
来访语音信息获取步骤,根据所述来访人员的身份信息和所述来访信息生成来访语音信息;
来访语音信息输出步骤,输出所述来访语音信息。
进一步地,所述提醒方法还包括:
亲密度获取步骤,获取所述来访人员与家庭成员的亲密度;
所述来访语音信息输出步骤,根据所述亲密度的高低顺序输出所述来访语音信息。
进一步地,所述提醒方法还包括:
室内人员检测步骤,检测室内的家庭成员的人数;
人数判断步骤,判断所述人数是否大于预设人数;
亲密度判断步骤,若所述人数大于预设人数,则判断所述来访人员与所述家庭成员的亲密度是否大于预设亲密度;
统计步骤,计算亲密度大于所述预设亲密度的家庭成员的个数;
所述来访语音信息输出步骤,判断所述个数是否大于预设个数,若判断结果为是,则输出所述来访语音信息,否则,不输出所述来访语音信息。
第二方面,本发明提供一种提醒装置,包括:
人员检测模块,用于检测门口预设范围内是否有人员;
信息获取模块,用于检测到有人员时,获取所述人员的特征信息和行为事件信息;
人员类别信息获取模块,用于根据所述人员的特征信息获取所述人员对应的人员类别信息;
提醒音频信息获取模块,用于根据所述人员的人员类别信息、所述行为事件信息和提醒数据库获取对应的提醒音频信息,所述提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系;
语音提醒模块,用于输出所述提醒音频信息。
第三方面,本发明提供一种计算机可读存储介质,述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行所述的提醒方法。
本发明的有益效果是:
本发明通过获取人员的特征信息和行为事件信息,进而根据特征信息获取人员对应的人员类别信息,再根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,并将提醒音频信息进行输出,实现不同的人员类别、不同的行为事件输出不同的提醒音频信息,提高信息提醒的智能程度,有效提高用户体验,克服现有技术中存在门铃提醒的智能程度低下的技术问题。
附图说明
图1是本发明中提醒方法的一种实施例的流程图;
图2是本发明中智能门铃的一种实施例的结构框图;
图3是本发明中人员类别信息获取步骤的一种实施例的流程图;
图4是本发明中提醒方法的一种实施例的流程图;
图5是本发明中提醒方法的一种实施例的流程图;
图6是本发明中提醒方法的一种实施例的流程图;
图7是本发明中提醒方法的一种实施例的流程图;
图8是本发明中提醒方法的一种实施例的流程图;
图9是本发明中提醒装置的一种实施例的结构框图;
图10是本发明中人员类别信息获取模块的一种实施例的结构框图;
图11是本发明中提醒装置的一种实施例的结构框图;
图12是本发明中提醒装置的一种实施例的结构框图;
图13是本发明中提醒装置的一种实施例的结构框图;
图14是本发明中提醒装置的一种实施例的结构框图;
图15是本发明中提醒装置的一种实施例的结构框图;
其中,201-通信模块,202-第一摄像头,203-虹膜图像传感器,204-触摸按键,205-补光灯,206-门铃按键,207-第一人体红外传感模块,208-指纹识别模块,209-第一麦克风模块,210-第一主控模块,211-第一扬声器,212-存储模块,213-第二主控模块,214-第二麦克风模块,215-第二摄像头,216-第二扬声器,217-第二人体红外传感模块,
91、111-人员检测模块,92、112-信息获取模块,93、113-人员类别信息获取模块,94、114-提醒音频信息获取模块,95、117-语音提醒模块,101-初步对比子模块,102-二次比对子模块,103-智能识别子模块,115-数目检测模块,116-数目判断模块,121-行为判断模块,122-留言提示输出模块,123-留言信息接收模块,124-留言信息输出模块,131、141-人员身份获取模块,132、142-来访信息获取模块,133、143-留言判断模块,134、144-来访语音信息获取模块,135、146、155-来访语音信息输出模块,145-亲密度获取模块,151-室内人员检测模块,152-人数判断模块,153-亲密度判断模块,154-统计模块。
具体实施方式
本部分将详细描述本发明的具体实施例,本发明的较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,从而能够直观地、形象地理解本发明的每个技术特征和整体技术方案,但其不能理解为对本发明保护范围的限制。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
此外,除非另有定义,本发明所使用的技术术语和科学术语均与所属技术领域的技术人员通常理解的含义相同。本发明所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
实施例1
参考图1,图1示例性示出了提醒方法的一种实施例的流程图,提醒方法包括:
人员检测步骤S101,检测门口预设范围内是否有人员,其中,门口预设范围包括室外靠近门一定距离的范围和室内靠近门一定距离的范围,实现门口人员检测,以用于后续人员提醒;
信息获取步骤S102,若检测到有人员,则获取人员的特征信息和行为事件信息,其中,特征信息包括生物识别特征信息和辅助识别特征信息,生物识别特征信息包括人脸、指纹和虹膜等直接用于生物识别的信息,而辅助识别特征信息为辅助生物识别的信息,包括身高、体型和服饰;而行为事件信息是指人员所作出的行为信息,行为事件包括出门事件、进门事件和来访事件;值得注意的是,对特征信息和行为事件信息的获取顺序不做特殊限定;
人员类别信息获取步骤S103,根据人员的特征信息获取人员对应的人员类别信息,人员类别信息是指人员所属的分类类别信息;
提醒音频信息获取步骤S104,根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,通过数据对比查找,可以找到与人员的人员类别信息、行为事件信息对应的预设提醒音频信息作为提醒音频信息;
语音提醒步骤S105,输出提醒音频信息,以提醒人员相应事项,提高生活方便程度。
本实施例通过获取人员的特征信息和行为事件信息,进而根据特征信息获取人员对应的人员类别信息,再根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,并将提醒音频信息进行输出,实现不同的人员类别、不同的行为事件输出不同的提醒音频信息,提高信息提醒的智能程度,有效提高用户体验,提高用户生活的方便程度,克服现有技术中存在门铃提醒的智能程度低下的技术问题。
实施例2
提醒方法可应用于智能家居领域,智能家居包括智能家电控制系统和智能门铃,本实施例中,以智能门铃为例进行说明,参考图2,图2示例性示出了智能门铃的结构框图,智能门铃包括室外机和室内机,室外机一般安装在室外门口处,而室内机一般安装在室内以发出提示铃声实现访客来访提醒。具体地,室内机包括用于播放语音的第二扬声器216、用于存储信息的存储模块212、用于采集图像或视频的第二摄像头215、用于实现人体检测的第二红外传感模块217、用于采集语音的第二麦克风模块214和用做室内机的主控中心的第二主控模块213;而室外机包括用于播放语音的第一扬声器211、用于实现外部通信的通信模块201、用做室外机的主控中心的第一主控模块210、用于采集语音的第一麦克风模块209、用于采集图像或视频的第一摄像头202、用于为第一摄像头202采集图像或视频补光的补光灯205、用于获取人体的虹膜信息的虹膜图像传感器203、用于实现人体检测的第一人体红外传感模块207、用于进行指纹识别的指纹识别模块208、以及用于触发智能门铃的触发开关,在一些应用场景中,触发开关可以是触摸按键204或者是门铃按键206,一旦访客触摸了室外机的触摸按键204或者按压室外机的门铃按键206,就会触发智能门铃控制第二扬声器216发出提示铃声。另外,通信模块201可以是有线通信模块或者无线通信模块,无线通信模块可以是蓝牙模块或WiFi模块或者移动通信模块,例如2G移动通信模块、3G移动通信模块、4G移动通信模块或者5G移动通信模块。利用通信模块201,智能门铃可以实现与外部其他的通信设备之间的通信,其他的通信设备例如手机或服务器。
参考图2,第一主控模块210和第二主控模块213之间具有通信连接,可以是有线连接也可以是无线连接,例如通过WiFi建立通信连接,此处对第一主控模块210和第二主控模块213之间的通信连接方式不做限定。实际使用中,第一麦克风模块209和第二麦克风模块214可以采用麦克风阵列来实现,而补光灯205采用环形补光灯来实现,可以是环形LED补光灯。另外,第一人体红外传感模块207和第二人体红外传感模块217采用人体红外传感器来实现。智能门铃设置了虹膜图像传感器203和指纹识别模块208是用于根据用户的虹膜信息和指纹信息实现开门,因此,智能门铃还包括电子锁模块,在第一主控模块确认了用户为预设的用户后,第一主控模块210控制电子锁模块开锁以实现开门。
基于实施例1提供实施例2,本实施例中,参考图2,下面以智能门铃为例,对步骤S101的具体实现方法做说明,包括但不限于以下几种方法:
第一种检测方法:通过检测智能门铃是否有按压操作,若判断结果为是,则可以确定门口预设范围内有人员;例如检测门铃按键206是否被按下,当室外的门铃按键206被按下后,输出一个按键信号至第一主控模块210,则可以确定门口预设范围有人员。
第二种检测方法:判断室外的智能门铃的触摸按键204是否被触摸,若判断结果为是,则表明门口有人员触摸按键,可以确定门口预设范围内有人员出现。
第三种检测方法:控制智能门铃的第一摄像头202或第一人体红外传感模块207检测室外门口预设范围内是否出现人员,其中,第一摄像头202可以通过图像处理识别技术判断监控画面中是否有人形存在或者是否有移动物体存在,当判断有人形存在或者有移动物体存在时,开始计时以统计停留时长,判断停留时长是否超过第一预设时长,若判断为是,则可以确定有人员出现在预设范围内。第一预设时长可以自由设置,例如设置成5分钟。同理,当第一人体红外传感模块207检测到有人体出现时,开始统计停留时长,判断停留时长是否超过第一预设时长,若判断为是,则确定有人员出现。
同理,室内的人员检测可以利用第二摄像头215和第二人体红外传感模块217来实现,第二摄像头215通过获取室内距离门口一定距离的范围内的图像或视频(画面中可以包含门),通过图像处理识别技术判断画面中是否有人形存在或者是否有移动物体存在,与第一摄像头202类似的,通过停留时长判断是否有人员出现,不再赘述。第二人体红外传感模块217与第一人体红外传感模块207的检测过程相同,不再赘述。
第四种检测方法:控制智能门铃检测门口预设范围内是否出现声音,若出现声音,开始计时以统计持续时长,判断持续时长是否超过第二预设时长,若判断为是,则确定门口预设范围有人员出现。同理,第二预设时长可以自由设置,例如设置成5分钟。这一种检测方法对于室外和室内的情形均可以实现,分别利用室外的第一麦克风模块209和室内的第二麦克风模块214进行声音检测可以实现人员检测。
上述提供人员的检测方法中,多种检测方法可以结合实现检测,以提高人员检测的准确度。
进一步,对信息获取步骤S102做具体说明:
首先,对于人员的特征信息,本实施例中,以智能门铃为例,参考图2,对于生物识别特征信息,可以利用第一摄像头202、第二摄像头215获取人员的人脸图像,而人员的指纹信息可以利用指纹识别模块208来获取,进一步地,人员的虹膜信息利用虹膜图像传感器203来实现。另一方面,对于辅助识别特征信息,可以利用第一摄像头202、第二摄像头215获取人员的全身图像以进行图像识别处理以得到。获取人员的特征信息时,优先获取生物识别特征信息,再获取人员的辅助识别特征信息。以家庭成员为例,当某一家庭成员出现在门口时,第一摄像头202获取其人脸图像,当该家庭成员为了进门而进行指纹识别时,该家庭成员的指纹信息可以被指纹识别模块208获取到,同理,当该家庭成员为了进门而进行虹膜识别时,该家庭成员的虹膜信息可以被虹膜图像传感器203获取到;而该家庭成员的辅助识别特征信息由第一摄像头202获取其全身图像进行识别处理而得到。再以非家庭成员例如亲戚为例,当某一亲戚出现在门口时,第一摄像头202获取其人脸图像,而该亲戚的辅助识别特征信息由第一摄像头202获取其全身图像进行识别处理而得到。
可选的,由于智能门铃获取人员的人脸特征或者服饰特征时,采集的是图像,由于可能出现光线不足等情况,所以支持对图像进行预处理,包括:
当图像的倾斜度超过预设倾斜度阈值时,通过图像校正算法对图像进行处理,其中,图像校正算法包括拉东算法、霍夫变换和线性回归算法的任意一种;
或者,当图像的清晰度低于预设清晰度阈值时,通过图像增强算法对图像进行处理,其中,图像增强算法包括直方图均衡、图像平滑、图像锐化的任意一种。
而对于人员的行为事件信息,可以先判断人员在室内还是在室外,再结合判断开门与否,以判断人员的行为事件是什么。本实施例中,人员的行为事件示例性包括出门事件、进门事件和来访事件,当识别到人员在室内,且判断门被打开,此时可判断人员的行为事件为出门事件,同理,当识别到人员在室外,且判断到门被打开,此时可判断该人员的行为事件为进门事件,而当识别到人员在室外,且未识别到门被打开,此时可判断该人员的行为事件为来访事件。
进一步地,提供两种开门与否的处理判断方法,第一种判断方法,可以利用图像识别技术实现,参考图2,利用室外的第一摄像头202获取包含门在内的门口图像(室外部分),通过图像处理可以判断门是否被打开,例如获取多张门口图像进行对比,可以实现是否开门判断;同理,利用室内的第二摄像头215,可以获取包含门在内的门口图像(室内部分),再利用图像处理判断门是否被打开。
第二种判断方法,利用红外传感器检测电子锁被锁紧或被解锁,具体地,电子锁的锁体包括机械锁舌,机械锁舌可以伸缩,当机械锁舌伸出时,电子锁被锁紧,当机械锁舌缩回时,电子锁被解锁,因此,可以利用红外传感器检测机械锁舌是否伸出,以实现开门与否判断。
下面,将对人员类别信息获取步骤S103做具体说明,参考图3,图3示例性示出了人员类别信息获取步骤的一种实施例的流程图,人员类别信息获取步骤S103包括:
初步对比子步骤S301,根据人员的特征信息和第一人员数据库进行初步对比,并根据初步对比结果获取人员对应的人员类别信息,第一人员数据库存储有第一预设特征信息和第一预设人员类别信息的对应关系;其中,优先选用人员的生物识别特征信息进行数据对比,以提高对比速度;此步骤需要预先建立第一人员数据库,例如预先获取一定数量的人员的特征信息作为第一预设特征信息,并设置这些人员对应的人员类别信息作为第一预设人员类别信息,根据第一预设特征信息和第一预设人员类别信息建立第一人员数据库;
二次比对子步骤S302,若初步对比失败,则根据人员的特征信息和第二人员数据库进行二次比对,并根据二次比对结果获取人员的人员类别信息,第二人员数据库存储有第二预设特征信息和第二预设人员类别信息的对应关系;其中,优先选用人员的生物识别特征信息进行数据对比,以提高对比速度;与第一人员数据库相同,需要预先建立第二人员数据库;
智能识别子步骤S303,若二次比对失败,则根据人员的特征信息和预设机器学习模型进行智能类别识别处理获取人员对应的人员类别信息;其中,优先选用人员的辅助识别特征信息进行数据对比,以提高机器学习的准确度,确保识别到准确的人员类别。
利用双重数据库比对以及智能识别的手段获取人员对应的人员类别信息,提高人员类别信息的准确度和广度。
下面对第一人员数据库的建立过程作说明,以智能门铃为例,第一人员数据库的数据可以是用户手动添加或者智能门铃进行智能识别后添加的,人员类别包括家庭成员、熟人和陌生人三大类,还可以对它们继续进行细分,例如,家庭成员包括用户本人、伴侣(妻子/丈夫)、孩子和父母,而熟人包括朋友、亲戚和邻居,陌生人包括物业人员、快递人员、维修人员、经过人员、可疑人员和警告人员,本实施例中,用户可以预先将不同人员的人脸图像和人员类别信息添加到第一人员数据库中,例如家庭成员和熟人的照片,对于家庭成员,还可以将虹膜和指纹信息录入第一人员数据库中,将人脸图像、虹膜和指纹信息作为第一预设特征信息。还可以由智能门铃进行智能识别后添加,智能门铃通过分析人员的进出门频次和持续时间智能识别出家庭成员,并添加家庭成员的人脸;智能门铃通过分析人员来访时用户与该人员的对话、留言内容或者穿着赋值等,智能识别物业人员、快递人员、维修人员、外卖人员,并添加物业人员、快递人员、维修人员、外卖人员的人脸,智能门铃还可以通过行为识别,识别出经过人员、做出可疑行为的人员(可疑人员)、做出危险动作的人员(警告人员),并添加经过人员、可疑人员、警告人员的人脸至第一人员数据库中,例如多次逗留徘徊、长时间逗留徘徊的人员确定为可疑人员,而识别出拆卸门铃、冲撞门、贴近家门30厘米以内超过10s的人员为警告人员。
本实施例中,第二人员数据库设置在云端服务器中,如果在第一人员数据库中没有查找到匹配的人员类别信息,则智能门铃将该人员的人脸图像发送到云端服务器,云端服务器在第二人员数据库中查找是否有与匹配的人脸,如果查找到了则获取匹配的人脸对应的标签,可以根据人脸对应的标签确定该人员所属的人员类别,例如,获取到的人脸标签为危险人物,例如标签为逃犯,则将该人脸所属的人员类别设置为警告人员。
当第一人员数据库和第二人员数据库均无法匹配到人员的人员类别信息时,利用智能门铃的智能识别功能获取该人员的人员类别。
以下对提醒音频信息获取步骤S104做具体说明:
用户需要提前建立提醒数据库,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,需要获取提醒音频信息作为预设提醒音频信息,以智能门铃为例,可以是智能门铃中已有自带的提醒音频,用户可以直接选用,也可以是用户自己录制的提醒音频,具体地,用户可以在手机、平板电脑、笔记本电脑等终端上或者直接在智能门铃上录制提醒音频,例如,对于“出门事件”录制的提醒音频可以是“出门记得带钥匙”、“出门记得带书包”、“别忘了带上随身物品”等,对于“进门事件”录制的提醒音频可以是“回家后记得遛狗”、“回家后记得完成作业”、“回家后记得锁门”等,对于“来访事件”录制的提醒音频可以是“主人不在家,预计于某时回来”、“主人不在家,请将快递放在快递点”等,录制的音频用于后续发出提醒。
可选的,提醒数据库除了可以设置提醒音频之外,还可以设置不同的提醒音频对应的提醒方式,即提醒数据库还存储有预设提醒音频信息和预设提醒方式的对应关系。例如,对于“出门记得带钥匙”、“别忘了带上随身物品”的提醒方式可以设置为只要人员出门即提醒,“出门记得带书包”的提醒方式可以设置为只在上学日提醒,对于“回家后记得遛狗”的提醒方式可以设置为每天提醒一次,对于“回家后记得完成作业”的提醒方式可以设置为只在上学日提醒并且只提醒一次等,具体配置方式不限定。
用户可以在手机、平板电脑、笔记本电脑等终端上或者直接在智能门铃上针对不同人员;类别设置其对应的提醒音频,同时设置不同提醒音频对应的提醒方式,例如,对于伴侣设置的提醒音频可以是“出门记得带钥匙”,出门即进行提醒;对于孩子设置的提醒音频可以是“出门记得带书包”等,仅在上学日提醒;对于快递人员设置的提醒音频可以是“主人不在家,请将快递放在快递点”;对于冲撞门的警告人员设置的提醒音频可以是“请勿冲撞门,否则将会报警”等;对于亲戚、朋友、邻居发生出门事件时,提醒音频可以是“别忘了带上随身物品”,以提醒亲戚、朋友、邻居带上随身物品,避免遗漏物品。
因此,在获取到人员的人员类别信息、行为事件信息后,根据人员类别信息和行为事件信息可以查找提醒数据库,以获取到对应的提醒音频和提醒方式,以进行后续人员提醒操作。
获取到对应的提醒音频和提醒方式后,以智能门铃为例,参考图2,可以控制智能门铃的第一扬声器211或第二扬声器216工作以播放提醒音频,实现人员提醒,提示人员相关事项,提升人员的生活便捷度。
实施例3
基于实施例1提供实施例3,本实施例中,提醒方法还包括:
优先级设置步骤,设置不同的人员类别信息对应的人员类别优先级,即设置不同的人员类别的人员类别优先级,例如,家庭成员、熟人和陌生人的优先级依次递减,而用户本人、伴侣(妻子/丈夫)、父母、孩子的优先级依次递减,朋友、亲戚和邻居的优先级依次递减,物业人员、快递人员、维修人员、经过人员、可疑人员和警告人员的优先级依次递减。
进一步地,本实施例中,参考图4,图4示例性示出了提醒方法的一种实施例的流程图,提醒方法包括:
人员检测步骤S401,检测门口预设范围内是否有人员,其中,门口预设范围包括室外靠近门一定距离的范围和室内靠近门一定距离的范围,实现门口人员检测,以用于后续人员提醒;
信息获取步骤S402,若检测到有人员,则获取人员的特征信息和行为事件信息,其中,特征信息包括生物识别特征信息和辅助识别特征信息,生物识别特征信息包括人脸、指纹和虹膜等直接用于生物识别的信息,而辅助识别特征信息为辅助生物识别的信息,包括身高、体型和服饰;而行为事件信息是指人员所作出的行为信息,行为事件包括出门事件、进门事件和来访事件;值得注意的是,对特征信息和行为事件信息的获取顺序不做特殊限定;
人员类别信息获取步骤S403,根据人员的特征信息获取人员对应的人员类别信息,人员类别信息是指人员所属的类别;
提醒音频信息获取步骤S404,根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,通过数据对比查找,可以找到与人员的人员类别信息、行为事件信息对应的预设提醒音频信息作为提醒音频信息;
数目检测步骤S405,获取上述提醒音频信息获取步骤S404中获取到的提醒音频信息的数目,也即需要进行输出的提醒音频信息的数目;
数目判断步骤S406,判断提醒音频信息的数目是否大于预设数目;
语音提醒步骤S407,判断提醒音频信息的数目大于预设数目时,根据人员的人员类别信息和人员类别优先级输出提醒音频信息。
其中,示例性地,预设数目设置为1,则当提醒音频信息的数目大于1时,表明有大于1个人出现在门口预设范围内,此时,获取人员类别信息对应的人员类别优先级,可以是按照人员类别优先级的高低顺序输出提醒音频信息;也可以是只输出优先级高的人员类别对应提醒音频信息,例如,当检测到丈夫和孩子同时出门时,可以只输出丈夫的提醒音频信息。此处对根据人员类别优先级输出提醒音频信息的方式不做限定。
实施例4
基于实施例1提供实施例4,参考图5,图5示例性示出了提醒方法的一种实施例的流程图,提醒方法还包括:
行为判断步骤S501,根据行为事件信息判断人员的行为事件是否为来访事件;
留言提示输出步骤S502,若判断为来访事件,人员为来访人员,则输出留言提示信息;
留言信息接收步骤S503,接收人员的留言信息;
留言信息输出步骤S504,输出留言信息。
以智能门铃为例,参考图2,当检测到人员为来访人员时,智能门铃的第一扬声器202发出留言提示语音,例如“主人不在家,请留言”,提示来访人员可以进行留言。智能门铃识别到留言结束后,停止录制留言。智能门铃识别到留言结束的具体识别方式可以是,智能门铃识别到来访人员的声音结束后开始计时,如果计时时长超出预设时长,来访人员还未说话,则停止录制留言,留言录制完成。可选地,智能门铃检测到家庭成员回家时,将留言信息进行输出,通过第二扬声器216进行播放。另外,智能门铃还可以将留言同步到家庭成员的智能移动终端,以便于用户实时查看来访留言,避免遗漏重要来访事件,用户体验好。智能移动终端例如手机、平板电脑等;用户可以预先设置将留言信息同步哪个家庭成员的智能移动终端上,也可以是智能门铃根据留言信息进行智能识别出家庭成员,并将对应的留言信息推送至识别出的家庭成员的智能移动终端上,实现留言自动推送。
可选地,留言的输出方式还可以是将留言信息以邮件的方式发送至家庭成员的邮箱,此处对留言信息的输出方式不做特殊限定。
实施例5
基于实施例1和实施例4提供实施例5,参考图6,图6示例性示出了提醒方法的一种实施例的流程图,提醒方法还包括:
人员身份获取步骤S601,根据来访人员的特征信息获取来访人员的身份信息,具体地,可以根据来访人员的特征信息进行本地或者远程确定来访人员的身份信息,以智能门铃为例,用户可以预先获取不同人员(例如朋友A、朋友B、邻居C等)的特征信息(例如人脸图像等)和身份信息(例如姓名等)作为预设特征信息和预设身份信息,以在智能门铃上建立身份数据库,则本地确定的方式是通过将来访人员的特征信息与身份数据库进行比对以查找到对应的身份信息。同理,也可以是将身份数据设置在云端服务器上,获取身份信息时,智能门铃通过通信模块与云端服务器建立通信连接,则可以在云端服务器上进行对比查找,以远程获取到对应的身份信息;
来访信息获取步骤S602,获取来访人员的来访信息,本实施例中,来访信息包括来访时间、来访次数、来访等待时长等,以智能门铃为例,可以通过获取来访人员的人脸图像,再进行人脸识别以实现统计该人脸的来访次数,而来访时间可以由智能门铃联网获取得到,而来访等待时长可以在来访人员出现时开始计时以获取得到;
留言判断步骤S603,判断来访人员是否留言,当来访人员结束留言时,则将该来访人员的人脸图像标记为已留言,则可以根据该标记判断该来访人员是否录制留言;
来访语音信息获取步骤S604,根据来访人员的身份信息、来访信息以及留言与否信息生成来访语音信息,例如:来访时间xxx,来访人员身份xxx,是否有语音留言xxx,来访次数xx等等;
来访语音信息输出步骤S605,输出来访语音信息。
可选地,智能门铃检测到有家庭成员回家时,将来访语音信息进行输出,通过第二扬声器进行播放。另外,智能门铃还可以将来访语音信息同步到家庭成员的智能移动终端,以便于用户实时查看来访情况,智能移动终端例如手机、平板电脑等;用户可以预先设置将来访语音信息同步哪个家庭成员的智能移动终端上。
实施例6
基于实施例5提供实施例6,参考图7,图7示例性示出了提醒方法的一种实施例的流程图,提醒方法还包括:
人员身份获取步骤S701,根据来访人员的特征信息获取来访人员的身份信息;
来访信息获取步骤S702,获取来访人员的来访信息;
留言判断步骤S703,判断来访人员是否留言;
来访语音信息获取步骤S704,根据来访人员的身份信息、来访信息以及留言与否信息生成来访语音信息;
亲密度获取步骤S705,获取来访人员与家庭成员的亲密度,可以根据来访人员的身份信息获取来访人员与家庭成员之间的亲密度,可选地,根据来访人员的身份信息通过社交网站或者社交应用获得该来访人员与每个家庭成员之间的亲密度;
来访语音信息输出步骤S706,根据亲密度的高低顺序输出来访语音信息。
根据亲密度的高低顺序输出来访语音信息,亲密度高的来访语音信息优先输出;以智能门铃为例,检测到有家庭成员回家时,将来访语音信息进行输出,通过第二扬声器进行播放。
实施例7
基于实施例5提供实施例7,参考图8,图8示例性示出了提醒方法的一种实施例的流程图,提醒方法还包括:
室内人员检测步骤S801,检测室内的家庭成员的人数;
人数判断步骤S802,判断人数是否大于预设人数,本实施例中,预设人数为1,;
亲密度判断步骤S803,若人数大于预设人数,则判断来访人员与家庭成员的亲密度是否大于预设亲密度;
统计步骤S804,计算亲密度大于预设亲密度的家庭成员的个数;
来访语音信息输出步骤S805,判断个数是否大于预设个数,若判断结果为是,则输出来访语音信息和留言信息,否则,不输出来访语音信息,只输出留言信息。
本实施例中,预设个数为1,当亲密度大于预设亲密度的家庭成员的个数大于1个时,将留言信息和来访语音信息输出,否则,只输出留言信息。另外,当同时需要将留言信息和来访语音信息输出,可以设置前后两者的播放优先级,例如,来访语音消息的优先级可高于留言信息,优先播放来访语音信息,以使用户及时知道来访情况。
实施例8
参考图9,图9示例性示出了提醒装置的一种实施例的结构框图,本实施例中,提醒装置包括:
人员检测模块91,用于检测门口预设范围内是否有人员,其中,门口预设范围包括室外靠近门一定距离的范围和室内靠近门一定距离的范围,实现门口人员检测,以用于后续人员提醒;
信息获取模块92,用于检测到有人员时,获取人员的特征信息和行为事件信息,其中,特征信息包括生物识别特征信息和辅助识别特征信息,生物识别特征信息包括人脸、指纹和虹膜等直接用于生物识别的信息,而辅助识别特征信息为辅助生物识别的信息,包括身高、体型和服饰;而行为事件信息是指人员所作出的行为信息,行为事件包括出门事件、进门事件和来访事件;值得注意的是,对特征信息和行为事件信息的获取顺序不做特殊限定;
人员类别信息获取模块93,用于根据人员的特征信息获取人员对应的人员类别信息,人员类别信息是指人员所属的分类类别信息;
提醒音频信息获取模块94,用于根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,通过数据对比查找,可以找到与人员的人员类别信息、行为事件信息对应的预设提醒音频信息作为提醒音频信息;
语音提醒模块95,用于输出提醒音频信息,以提醒人员相应事项,提高生活方便程度。
本实施例通过信息获取模块92获取人员的特征信息和行为事件信息,进而人员类别信息获取模块93根据特征信息获取人员对应的人员类别信息,提醒音频信息获取模块94再根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,最后,语音提醒模块95将提醒音频信息进行输出,实现不同的人员类别、不同的行为事件输出不同的提醒音频信息,提高信息提醒的智能程度,有效提高用户体验,提高用户生活的方便程度,克服现有技术中存在门铃提醒的智能程度低下的技术问题。
实施例9
提醒装置可应用于智能家居领域,智能家居包括智能家电控制系统和智能门铃,本实施例中,以智能门铃为例进行说明,参考图2,图2示例性示出了智能门铃的结构框图,智能门铃包括室外机和室内机,室外机一般安装在室外门口处,而室内机一般安装在室内以发出提示铃声实现访客来访提醒。具体地,室内机包括用于播放语音的第二扬声器216、用于存储信息的存储模块212、用于采集图像或视频的第二摄像头215、用于实现人体检测的第二红外传感模块217、用于采集语音的第二麦克风模块214和用做室内机的主控中心的第二主控模块213;而室外机包括用于播放语音的第一扬声器211、用于实现外部通信的通信模块201、用做室外机的主控中心的第一主控模块210、用于采集语音的第一麦克风模块209、用于采集图像或视频的第一摄像头202、用于为第一摄像头202采集图像或视频补光的补光灯205、用于获取人体的虹膜信息的虹膜图像传感器203、用于实现人体检测的第一人体红外传感模块207、用于进行指纹识别的指纹识别模块208、以及用于触发智能门铃的触发开关,在一些应用场景中,触发开关可以是触摸按键204或者是门铃按键206,一旦访客触摸了室外机的触摸按键204或者按压室外机的门铃按键206,就会触发智能门铃控制第二扬声器216发出提示铃声。
基于实施例8提供实施例9,本实施例中,参考图2,下面以智能门铃为例,对人员检测模块91做说明,人员检测模块91包括但不限于以下几种子模块:
第一人员检测子模块,用于通过检测智能门铃是否有按压操作,若判断结果为是,则可以确定门口预设范围内有人员;例如检测门铃按键206是否被按下,当室外的门铃按键206被按下后,输出一个按键信号至第一主控模块210,则可以确定门口预设范围有人员。
第二人员检测子模块,用于判断室外的智能门铃的触摸按键204是否被触摸,若判断结果为是,则表明门口有人员触摸按键,可以确定门口预设范围内有人员出现。
第三人员检测子模块,用于控制智能门铃的第一摄像头202或第一人体红外传感模块207检测室外门口预设范围内是否出现人员,其中,第一摄像头202可以通过图像处理识别技术判断监控画面中是否有人形存在或者是否有移动物体存在,当判断有人形存在或者有移动物体存在时,开始计时以统计停留时长,判断停留时长是否超过第一预设时长,若判断为是,则可以确定有人员出现在预设范围内。第一预设时长可以自由设置,例如设置成5分钟。同理,当第一人体红外传感模块207检测到有人体出现时,开始统计停留时长,判断停留时长是否超过第一预设时长,若判断为是,则确定有人员出现。
第三人员检测子模块还用于控制智能门铃的第二摄像头215或第二人体红外传感模块217检测室内门口预设范围内是否出现人员,同理,第二摄像头215通过获取室内距离门口一定距离的范围内的图像或视频(画面中可以包含门),通过图像处理识别技术判断画面中是否有人形存在或者是否有移动物体存在,与第一摄像头202类似的,通过停留时长判断是否有人员出现,不再赘述。第二人体红外传感模块217与第一人体红外传感模块207的检测过程相同,不再赘述。
第四人员检测子模块,用于控制智能门铃检测门口预设范围内是否出现声音,若出现声音,开始计时以统计持续时长,判断持续时长是否超过第二预设时长,若判断为是,则确定门口预设范围有人员出现。同理,第二预设时长可以自由设置,例如设置成5分钟。这一种检测方法对于室外和室内的情形均可以实现,分别利用室外的第一麦克风模块209和室内的第二麦克风模块214进行声音检测可以实现人员检测。
上述提供人员检测模块中,多种人员检测子模块可以结合实现检测,以提高人员检测的准确度。
进一步,对信息获取模块92做具体说明:
首先,对于人员的特征信息,本实施例中,以智能门铃为例,参考图2,对于生物识别特征信息,可以利用第一摄像头202、第二摄像头215获取人员的人脸图像,而人员的指纹信息可以利用指纹识别模块208来获取,进一步地,人员的虹膜信息利用虹膜图像传感器203来实现。另一方面,对于辅助识别特征信息,可以利用第一摄像头202、第二摄像头215获取人员的全身图像以进行图像识别处理以得到。获取人员的特征信息时,优先获取生物识别特征信息,再获取人员的辅助识别特征信息。以家庭成员为例,当某一家庭成员出现在门口时,第一摄像头202获取其人脸图像,当该家庭成员为了进门而进行指纹识别时,该家庭成员的指纹信息可以被指纹识别模块208获取到,同理,当该家庭成员为了进门而进行虹膜识别时,该家庭成员的虹膜信息可以被虹膜图像传感器203获取到;而该家庭成员的辅助识别特征信息由第一摄像头202获取其全身图像进行识别处理而得到。再以非家庭成员例如亲戚为例,当某一亲戚出现在门口时,第一摄像头202获取其人脸图像,而该亲戚的辅助识别特征信息由第一摄像头202获取其全身图像进行识别处理而得到。
可选的,由于智能门铃获取人员的人脸特征或者服饰特征时,采集的是图像,由于可能出现光线不足等情况,所以信息获取模块92支持对图像进行预处理,包括:
当图像的倾斜度超过预设倾斜度阈值时,通过图像校正算法对图像进行处理,其中,图像校正算法包括拉东算法、霍夫变换和线性回归算法的任意一种;
或者,当图像的清晰度低于预设清晰度阈值时,通过图像增强算法对图像进行处理,其中,图像增强算法包括直方图均衡、图像平滑、图像锐化的任意一种。
而对于人员的行为事件信息,信息获取模块92可以先判断人员在室内还是在室外,再结合判断开门与否,以判断人员的行为事件是什么。本实施例中,人员的行为事件示例性包括出门事件、进门事件和来访事件,当识别到人员在室内,且判断门被打开,此时可判断人员的行为事件为出门事件,同理,当识别到人员在室外,且判断到门被打开,此时可判断该人员的行为事件为进门事件,而当识别到人员在室外,且未识别到门被打开,此时可判断该人员的行为事件为来访事件。
进一步地,提供两种开门与否的处理判断方法,第一种判断方法,可以利用图像识别技术实现,参考图2,利用室外的第一摄像头202获取包含门在内的门口图像(室外部分),通过图像处理可以判断门是否被打开,例如获取多张门口图像进行对比,可以实现是否开门判断;同理,利用室内的第二摄像头215,可以获取包含门在内的门口图像(室内部分),再利用图像处理判断门是否被打开。
第二种判断方法,利用红外传感器检测电子锁被锁紧或被解锁,具体地,电子锁的锁体包括机械锁舌,机械锁舌可以伸缩,当机械锁舌伸出时,电子锁被锁紧,当机械锁舌缩回时,电子锁被解锁,因此,可以利用红外传感器检测机械锁舌是否伸出,以实现开门与否判断。
下面,将对人员类别信息获取模块93做具体说明,参考图10,图10示例性示出了人员类别信息获取模块的一种实施例的结构框图,人员类别信息获取模块93包括:
初步对比子模块101,用于根据人员的特征信息和第一人员数据库进行初步对比,并根据初步对比结果获取人员对应的人员类别信息,第一人员数据库存储有第一预设特征信息和第一预设人员类别信息的对应关系;其中,优先选用人员的生物识别特征信息进行数据对比,以提高对比速度;初步对比之前需要预先建立第一人员数据库,例如预先获取一定数量的人员的特征信息作为第一预设特征信息,并设置这些人员对应的人员类别信息作为第一预设人员类别信息,根据第一预设特征信息和第一预设人员类别信息建立第一人员数据库;
二次比对子模块102,用于若初步对比失败,则根据人员的特征信息和第二人员数据库进行二次比对,并根据二次比对结果获取人员的人员类别信息,第二人员数据库存储有第二预设特征信息和第二预设人员类别信息的对应关系;其中,优先选用人员的生物识别特征信息进行数据对比,以提高对比速度;与第一人员数据库相同,需要预先建立第二人员数据库;
智能识别子模块103,用于若二次比对失败,则根据人员的特征信息和预设机器学习模型进行智能类别识别处理获取人员对应的人员类别信息;其中,优先选用人员的辅助识别特征信息进行数据对比,以提高机器学习的准确度,确保识别到准确的人员类别。
人员类别信息获取模块93利用双重数据库比对以及智能识别的手段获取人员对应的人员类别信息,提高人员类别信息的准确度和广度。
下面对第一人员数据库的建立过程作说明,以智能门铃为例,第一人员数据库的数据可以是用户手动添加或者智能门铃进行智能识别后添加的,人员类别包括家庭成员、熟人和陌生人三大类,还可以对它们继续进行细分,例如,家庭成员包括用户本人、伴侣(妻子/丈夫)、孩子和父母,而熟人包括朋友、亲戚和邻居,陌生人包括物业人员、快递人员、维修人员、经过人员、可疑人员和警告人员,本实施例中,用户可以预先将不同人员的人脸图像和人员类别信息添加到第一人员数据库中,例如家庭成员和熟人的照片,对于家庭成员,还可以将虹膜和指纹信息录入第一人员数据库中,将人脸图像、虹膜和指纹信息作为第一预设特征信息。还可以由智能门铃进行智能识别后添加,智能门铃通过分析人员的进出门频次和持续时间智能识别出家庭成员,并添加家庭成员的人脸;智能门铃通过分析人员来访时用户与该人员的对话、留言内容或者穿着赋值等,智能识别物业人员、快递人员、维修人员、外卖人员,并添加物业人员、快递人员、维修人员、外卖人员的人脸,智能门铃还可以通过行为识别,识别出经过人员、做出可疑行为的人员(可疑人员)、做出危险动作的人员(警告人员),并添加经过人员、可疑人员、警告人员的人脸至第一人员数据库中,例如多次逗留徘徊、长时间逗留徘徊的人员确定为可疑人员,而识别出拆卸门铃、冲撞门、贴近家门30厘米以内超过10s的人员为警告人员。
本实施例中,第二人员数据库设置在云端服务器中,如果在第一人员数据库中没有查找到匹配的人员类别信息,则智能门铃将该人员的人脸图像发送到云端服务器,云端服务器在第二人员数据库中查找是否有与匹配的人脸,如果查找到了则获取匹配的人脸对应的标签,可以根据人脸对应的标签确定该人员所属的人员类别,例如,获取到的人脸标签为危险人物,例如标签为逃犯,则将该人脸所属的人员类别设置为警告人员。
当第一人员数据库和第二人员数据库均无法匹配到人员的人员类别信息时,人员类别信息获取模块93利用智能门铃的智能识别功能获取该人员的人员类别。
以下对提醒音频信息获取模块94的具体工作过程做说明:
用户需要提前建立提醒数据库,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,需要获取提醒音频信息作为预设提醒音频信息,以智能门铃为例,提醒音频信息可以是智能门铃中已有自带的提醒音频,用户可以直接选用,也可以是用户自己录制的提醒音频,具体地,用户可以在手机、平板电脑、笔记本电脑等终端上或者直接在智能门铃上录制提醒音频,例如,对于“出门事件”录制的提醒音频可以是“出门记得带钥匙”、“出门记得带书包”、“别忘了带上随身物品”等,对于“进门事件”录制的提醒音频可以是“回家后记得遛狗”、“回家后记得完成作业”、“回家后记得锁门”等,对于“来访事件”录制的提醒音频可以是“主人不在家,预计于某时回来”、“主人不在家,请将快递放在快递点”等,录制的音频用于后续发出提醒。
可选的,提醒数据库除了可以设置提醒音频之外,还可以设置不同的提醒音频对应的提醒方式,即提醒数据库还存储有预设提醒音频信息和预设提醒方式的对应关系。例如,对于“出门记得带钥匙”、“别忘了带上随身物品”的提醒方式可以设置为只要人员出门即提醒,“出门记得带书包”的提醒方式可以设置为只在上学日提醒,对于“回家后记得遛狗”的提醒方式可以设置为每天提醒一次,对于“回家后记得完成作业”的提醒方式可以设置为只在上学日提醒并且只提醒一次等,具体配置方式不限定。
用户可以在手机、平板电脑、笔记本电脑等终端上或者直接在智能门铃上针对不同人员;类别设置其对应的提醒音频,同时设置不同提醒音频对应的提醒方式,例如,对于伴侣设置的提醒音频可以是“出门记得带钥匙”,出门即进行提醒;对于孩子设置的提醒音频可以是“出门记得带书包”等,仅在上学日提醒;对于快递人员设置的提醒音频可以是“主人不在家,请将快递放在快递点”;对于冲撞门的警告人员设置的提醒音频可以是“请勿冲撞门,否则将会报警”等;对于亲戚、朋友、邻居发生出门事件时,提醒音频可以是“别忘了带上随身物品”,以提醒亲戚、朋友、邻居带上随身物品,避免遗漏物品。
因此,在获取到人员的人员类别信息、行为事件信息后,提醒音频信息获取模块94根据人员类别信息和行为事件信息可以查找提醒数据库,以获取到对应的提醒音频和提醒方式,以进行后续人员提醒操作。
获取到对应的提醒音频和提醒方式后,以智能门铃为例,参考图2,可以控制智能门铃的第一扬声器211或第二扬声器216工作以播放提醒音频,实现人员提醒,提示人员相关事项,提升人员的生活便捷度。
实施例10
基于实施例8提供实施例10,本实施例中,提醒装置还包括:
优先级设置模块,用于设置不同的人员类别信息对应的人员类别优先级,即设置不同的人员类别的人员类别优先级,例如,家庭成员、熟人和陌生人的优先级依次递减,而用户本人、伴侣(妻子/丈夫)、父母、孩子的优先级依次递减,朋友、亲戚和邻居的优先级依次递减,物业人员、快递人员、维修人员、经过人员、可疑人员和警告人员的优先级依次递减。
进一步地,本实施例中,参考图11,图11示例性示出了提醒装置的一种实施例的结构框图,提醒装置包括:
人员检测模块111,用于检测门口预设范围内是否有人员,其中,门口预设范围包括室外靠近门一定距离的范围和室内靠近门一定距离的范围,实现门口人员检测,以用于后续人员提醒;
信息获取模块112,用于若检测到有人员,则获取人员的特征信息和行为事件信息,其中,特征信息包括生物识别特征信息和辅助识别特征信息,生物识别特征信息包括人脸、指纹和虹膜等直接用于生物识别的信息,而辅助识别特征信息为辅助生物识别的信息,包括身高、体型和服饰;而行为事件信息是指人员所作出的行为信息,行为事件包括出门事件、进门事件和来访事件;值得注意的是,对特征信息和行为事件信息的获取顺序不做特殊限定;
人员类别信息获取模块113,用于根据人员的特征信息获取人员对应的人员类别信息,人员类别信息是指人员所属的类别;
提醒音频信息获取模块114,用于根据人员的人员类别信息、行为事件信息和提醒数据库获取对应的提醒音频信息,提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系,通过数据对比查找,可以找到与人员的人员类别信息、行为事件信息对应的预设提醒音频信息作为提醒音频信息;
数目检测模块115,用于获取上述提醒音频信息获取模块114中获取到的提醒音频信息的数目,也即需要进行输出的提醒音频信息的数目;
数目判断模块116,用于判断提醒音频信息的数目是否大于预设数目;
语音提醒模块117,用于判断提醒音频信息的数目大于预设数目时,根据人员的人员类别信息和人员类别优先级输出提醒音频信息。
其中,示例性地,预设数目设置为1,则当提醒音频信息的数目大于1时,表明有大于1个人出现在门口预设范围内,此时,获取人员类别信息对应的人员类别优先级,可以是按照人员类别优先级的高低顺序输出提醒音频信息;也可以是只输出优先级高的人员类别对应提醒音频信息,例如,当检测到丈夫和孩子同时出门时,可以只输出丈夫的提醒音频信息。此处对根据人员类别优先级输出提醒音频信息的方式不做限定。
实施例11
基于实施例8提供实施例11,参考图12,图12示例性示出了提醒装置的一种实施例的结构框图,提醒装置还包括:
行为判断模块121,用于根据行为事件信息判断人员的行为事件是否为来访事件;
留言提示输出模块122,用于若判断为来访事件,人员为来访人员,则输出留言提示信息;
留言信息接收模块123,用于接收人员的留言信息;
留言信息输出模块124,用于输出留言信息。
以智能门铃为例,参考图2,当检测到人员为来访人员时,智能门铃的第一扬声器202发出留言提示语音,例如“主人不在家,请留言”,提示来访人员可以进行留言。智能门铃识别到留言结束后,停止录制留言。智能门铃识别到留言结束的具体识别方式可以是,智能门铃识别到来访人员的声音结束后开始计时,如果计时时长超出预设时长,来访人员还未说话,则停止录制留言,留言录制完成。可选地,智能门铃检测到家庭成员回家时,将留言信息进行输出,通过第二扬声器216进行播放。另外,智能门铃还可以将留言同步到家庭成员的智能移动终端,以便于用户实时查看来访留言,避免遗漏重要来访事件,用户体验好。智能移动终端例如手机、平板电脑等;用户可以预先设置将留言信息同步哪个家庭成员的智能移动终端上,也可以是智能门铃根据留言信息进行智能识别出家庭成员,并将对应的留言信息推送至识别出的家庭成员的智能移动终端上,实现留言自动推送。
可选地,留言的输出方式还可以是将留言信息以邮件的方式发送至家庭成员的邮箱,此处对留言信息的输出方式不做特殊限定。
实施例12
基于实施例8和实施例11提供实施例12,参考图13,图13示例性示出了提醒装置的一种实施例的结构框图,提醒装置还包括:
人员身份获取模块131,用于根据来访人员的特征信息获取来访人员的身份信息,具体地,可以根据来访人员的特征信息进行本地或者远程确定来访人员的身份信息,以智能门铃为例,用户可以预先获取不同人员(例如朋友A、朋友B、邻居C等)的特征信息(例如人脸图像等)和身份信息(例如姓名等)作为预设特征信息和预设身份信息,以在智能门铃上建立身份数据库,则本地确定的方式是通过将来访人员的特征信息与身份数据库进行比对以查找到对应的身份信息。同理,也可以是将身份数据设置在云端服务器上,获取身份信息时,智能门铃通过通信模块与云端服务器建立通信连接,则可以在云端服务器上进行对比查找,以远程获取到对应的身份信息;
来访信息获取模块132,用于获取来访人员的来访信息,本实施例中,来访信息包括来访时间、来访次数、来访等待时长等,以智能门铃为例,可以通过获取来访人员的人脸图像,再进行人脸识别以实现统计该人脸的来访次数,而来访时间可以由智能门铃联网获取得到,而来访等待时长可以在来访人员出现时开始计时以获取得到;
留言判断模块133,用于判断来访人员是否留言,当来访人员结束留言时,则将该来访人员的人脸图像标记为已留言,则可以根据该标记判断该来访人员是否录制留言;
来访语音信息获取模块134,用于根据来访人员的身份信息、来访信息以及留言与否信息生成来访语音信息,例如:来访时间xxx,来访人员身份xxx,是否有语音留言xxx,来访次数xx等等;
来访语音信息输出模块135,用于输出来访语音信息。
可选地,智能门铃检测到有家庭成员回家时,将来访语音信息进行输出,通过第二扬声器进行播放。另外,智能门铃还可以将来访语音信息同步到家庭成员的智能移动终端,以便于用户实时查看来访情况,智能移动终端例如手机、平板电脑等;用户可以预先设置将来访语音信息同步哪个家庭成员的智能移动终端上。
实施例13
基于实施例12提供实施例13,参考图14,图14示例性示出了提醒装置的一种实施例的结构框图,提醒装置还包括:
人员身份获取模块141,用于根据来访人员的特征信息获取来访人员的身份信息;
来访信息获取模块142,用于获取来访人员的来访信息,本实施例中,来访信息包括来访时间、来访次数、来访等待时长等,以智能门铃为例,可以通过获取来访人员的人脸图像,再进行人脸识别以实现统计该人脸的来访次数,而来访时间可以由智能门铃联网获取得到,而来访等待时长可以在来访人员出现时开始计时以获取得到;
留言判断模块143,用于判断来访人员是否留言;
来访语音信息获取模块144,用于根据来访人员的身份信息、来访信息以及留言与否信息生成来访语音信息;
亲密度获取模块145,用于获取来访人员与家庭成员的亲密度,可以根据来访人员的身份信息获取来访人员与家庭成员之间的亲密度,可选地,根据来访人员的身份信息通过社交网站或者社交应用获得该来访人员与每个家庭成员之间的亲密度;
来访语音信息输出模块146,用于根据亲密度的高低顺序输出来访语音信息。
来访语音信息输出模块146根据亲密度的高低顺序输出来访语音信息,亲密度高的来访语音信息优先输出;以智能门铃为例,检测到有家庭成员回家时,将来访语音信息进行输出,通过第二扬声器进行播放。
实施例14
基于实施例12和实施例13提供实施例14,参考图15,图15示例性示出了提醒装置的一种实施例的结构框图,提醒装置还包括:
室内人员检测模块151,用于检测室内的家庭成员的人数;
人数判断模块152,用于判断人数是否大于预设人数,本实施例中,预设人数为1,;
亲密度判断模块153,用于若人数大于预设人数,则判断来访人员与家庭成员的亲密度是否大于预设亲密度;
统计模块154,用于计算亲密度大于预设亲密度的家庭成员的个数;
来访语音信息输出模块155,用于判断个数是否大于预设个数,若判断结果为是,则输出来访语音信息和留言信息,否则,不输出来访语音信息,只输出留言信息。
本实施例中,预设个数为1,当亲密度大于预设亲密度的家庭成员的个数大于1个时,将留言信息和来访语音信息输出,否则,只输出留言信息。另外,当同时需要将留言信息和来访语音信息输出,可以设置前后两者的播放优先级,例如,来访语音消息的优先级可高于留言信息,优先播放来访语音信息,以使用户及时知道来访情况。
实施例15
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上述实施例所述的提醒方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、模块可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种提醒方法,其特征在于,包括:
人员检测步骤,检测门口预设范围内是否有人员;
信息获取步骤,若检测到有人员,获取所述人员的特征信息和行为事件信息;
人员类别信息获取步骤,根据所述人员的特征信息获取所述人员对应的人员类别信息;
提醒音频信息获取步骤,根据所述人员的人员类别信息、所述行为事件信息和提醒数据库获取对应的提醒音频信息,所述提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系;
语音提醒步骤,输出所述提醒音频信息。
2.根据权利要求1所述的提醒方法,其特征在于,所述人员类别信息获取步骤包括:
初步对比子步骤,根据所述人员的特征信息和第一人员数据库进行初步对比,并根据初步对比结果获取所述人员对应的人员类别信息,所述第一人员数据库存储有第一预设特征信息和第一预设人员类别信息的对应关系;
二次比对子步骤,若初步对比失败,则根据所述人员的特征信息和第二人员数据库进行二次比对,并根据二次比对结果获取所述人员的人员类别信息,所述第二人员数据库存储有第二预设特征信息和第二预设人员类别信息的对应关系;
智能识别子步骤,若二次比对失败,则根据所述人员的特征信息和预设机器学习模型进行智能类别识别处理获取所述人员对应的人员类别信息。
3.根据权利要求1所述的提醒方法,其特征在于,所述提醒方法还包括:
优先级设置步骤,设置不同的人员类别信息对应的人员类别优先级;
在所述语音提醒步骤之前还包括:
数目检测步骤,获取所述提醒音频信息的数目;
数目判断步骤,判断所述提醒音频信息的数目是否大于预设数目;
所述语音提醒步骤,判断所述提醒音频信息的数目大于预设数目时,根据所述人员的人员类别信息和所述人员类别优先级输出所述提醒音频信息。
4.根据权利要求1至3任一项所述的提醒方法,其特征在于,所述提醒方法还包括:
行为判断步骤,根据所述行为事件信息判断所述人员的行为事件是否为来访事件;
留言提示输出步骤,若判断为来访事件,所述人员为来访人员,则输出留言提示信息。
5.根据权利要求4所述的提醒方法,其特征在于,所述提醒方法还包括:
留言信息接收步骤,接收所述人员的留言信息;
留言信息输出步骤,输出所述留言信息。
6.根据权利要求4所述的提醒方法,其特征在于,所述提醒方法还包括:
人员身份获取步骤,根据所述来访人员的特征信息获取所述来访人员的身份信息;
来访信息获取步骤,获取所述来访人员的来访信息;
来访语音信息获取步骤,根据所述来访人员的身份信息和所述来访信息生成来访语音信息;
来访语音信息输出步骤,输出所述来访语音信息。
7.根据权利要求6所述的提醒方法,其特征在于,所述提醒方法还包括:
亲密度获取步骤,获取所述来访人员与家庭成员的亲密度;
所述来访语音信息输出步骤,根据所述亲密度的高低顺序输出所述来访语音信息。
8.根据权利要求6所述的提醒方法,其特征在于,所述提醒方法还包括:
室内人员检测步骤,检测室内的家庭成员的人数;
人数判断步骤,判断所述人数是否大于预设人数;
亲密度判断步骤,若所述人数大于预设人数,则判断所述来访人员与所述家庭成员的亲密度是否大于预设亲密度;
统计步骤,计算亲密度大于所述预设亲密度的家庭成员的个数;
所述来访语音信息输出步骤,判断所述个数是否大于预设个数,若判断结果为是,则输出所述来访语音信息,否则,不输出所述来访语音信息。
9.一种提醒装置,其特征在于,包括:
人员检测模块,用于检测门口预设范围内是否有人员;
信息获取模块,用于检测到有人员时,获取所述人员的特征信息和行为事件信息;
人员类别信息获取模块,用于根据所述人员的特征信息获取所述人员对应的人员类别信息;
提醒音频信息获取模块,用于根据所述人员的人员类别信息、所述行为事件信息和提醒数据库获取对应的提醒音频信息,所述提醒数据库存储有预设人员类别信息、预设行为事件信息和预设提醒音频信息的对应关系;
语音提醒模块,用于输出所述提醒音频信息。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的提醒方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718596.1A CN110599710A (zh) | 2019-08-05 | 2019-08-05 | 一种提醒方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910718596.1A CN110599710A (zh) | 2019-08-05 | 2019-08-05 | 一种提醒方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110599710A true CN110599710A (zh) | 2019-12-20 |
Family
ID=68853524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910718596.1A Pending CN110599710A (zh) | 2019-08-05 | 2019-08-05 | 一种提醒方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110599710A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246170A (zh) * | 2020-01-17 | 2020-06-05 | 珠海格力电器股份有限公司 | 一种监控系统的控制方法、装置、存储介质及设备 |
CN111787264A (zh) * | 2020-07-21 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
CN111826886A (zh) * | 2020-06-15 | 2020-10-27 | 安徽金帅洗衣机有限公司 | 一种智能家居静音控制方法 |
CN112333410A (zh) * | 2020-07-24 | 2021-02-05 | 深圳Tcl新技术有限公司 | 智能门铃及其控制方法和计算机可读存储介质 |
CN113765757A (zh) * | 2021-08-09 | 2021-12-07 | 珠海格力电器股份有限公司 | 一种设备端语音提醒方法、系统及家电设备 |
CN114170710A (zh) * | 2021-12-10 | 2022-03-11 | 杭州萤石软件有限公司 | 基于智能锁设备的人员检测方法、装置、系统及设备 |
CN115065747A (zh) * | 2022-05-24 | 2022-09-16 | 上海传英信息技术有限公司 | 提醒方法、智能终端及存储介质 |
CN115188397A (zh) * | 2022-09-07 | 2022-10-14 | 云丁网络技术(北京)有限公司 | 媒体输出控制方法、装置、设备及可读介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043047A1 (en) * | 2001-08-29 | 2003-03-06 | Braun David A. | Electronic doorbell system |
CN102917148A (zh) * | 2012-09-26 | 2013-02-06 | 孙华 | 一种远程监控门铃 |
CN105187786A (zh) * | 2015-09-02 | 2015-12-23 | 移康智能科技(上海)有限公司 | 智能猫眼的语音提醒方法及智能猫眼 |
CN105337847A (zh) * | 2015-11-17 | 2016-02-17 | 小米科技有限责任公司 | 即时通讯消息处理方法、装置和设备 |
CN107071710A (zh) * | 2017-04-10 | 2017-08-18 | 胡渐佳 | 基于用户识别的进出门语音智能播放系统 |
CN107154124A (zh) * | 2016-03-03 | 2017-09-12 | 美的集团股份有限公司 | 门铃的控制方法、服务器、门铃和门铃系统 |
CN206907113U (zh) * | 2017-05-19 | 2018-01-19 | 合肥荣事达电子电器集团有限公司 | 一种多功能一体化智能锁系统 |
CN108305367A (zh) * | 2018-02-22 | 2018-07-20 | 陕西卓居未来智能科技有限公司 | 一种智能猫眼及智能猫眼与云端管理系统的使用方法 |
CN108810470A (zh) * | 2018-06-14 | 2018-11-13 | 北京奇虎科技有限公司 | 一种智能门铃、智能播报方法及装置 |
-
2019
- 2019-08-05 CN CN201910718596.1A patent/CN110599710A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043047A1 (en) * | 2001-08-29 | 2003-03-06 | Braun David A. | Electronic doorbell system |
CN102917148A (zh) * | 2012-09-26 | 2013-02-06 | 孙华 | 一种远程监控门铃 |
CN105187786A (zh) * | 2015-09-02 | 2015-12-23 | 移康智能科技(上海)有限公司 | 智能猫眼的语音提醒方法及智能猫眼 |
CN105337847A (zh) * | 2015-11-17 | 2016-02-17 | 小米科技有限责任公司 | 即时通讯消息处理方法、装置和设备 |
CN107154124A (zh) * | 2016-03-03 | 2017-09-12 | 美的集团股份有限公司 | 门铃的控制方法、服务器、门铃和门铃系统 |
CN107071710A (zh) * | 2017-04-10 | 2017-08-18 | 胡渐佳 | 基于用户识别的进出门语音智能播放系统 |
CN206907113U (zh) * | 2017-05-19 | 2018-01-19 | 合肥荣事达电子电器集团有限公司 | 一种多功能一体化智能锁系统 |
CN108305367A (zh) * | 2018-02-22 | 2018-07-20 | 陕西卓居未来智能科技有限公司 | 一种智能猫眼及智能猫眼与云端管理系统的使用方法 |
CN108810470A (zh) * | 2018-06-14 | 2018-11-13 | 北京奇虎科技有限公司 | 一种智能门铃、智能播报方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246170A (zh) * | 2020-01-17 | 2020-06-05 | 珠海格力电器股份有限公司 | 一种监控系统的控制方法、装置、存储介质及设备 |
CN111246170B (zh) * | 2020-01-17 | 2020-12-18 | 珠海格力电器股份有限公司 | 一种监控系统的控制方法、装置、存储介质及设备 |
CN111826886A (zh) * | 2020-06-15 | 2020-10-27 | 安徽金帅洗衣机有限公司 | 一种智能家居静音控制方法 |
CN111787264A (zh) * | 2020-07-21 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
CN111787264B (zh) * | 2020-07-21 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 一种远程教学的提问方法、装置、提问终端和可读介质 |
CN112333410A (zh) * | 2020-07-24 | 2021-02-05 | 深圳Tcl新技术有限公司 | 智能门铃及其控制方法和计算机可读存储介质 |
CN113765757A (zh) * | 2021-08-09 | 2021-12-07 | 珠海格力电器股份有限公司 | 一种设备端语音提醒方法、系统及家电设备 |
CN114170710A (zh) * | 2021-12-10 | 2022-03-11 | 杭州萤石软件有限公司 | 基于智能锁设备的人员检测方法、装置、系统及设备 |
CN115065747A (zh) * | 2022-05-24 | 2022-09-16 | 上海传英信息技术有限公司 | 提醒方法、智能终端及存储介质 |
CN115188397A (zh) * | 2022-09-07 | 2022-10-14 | 云丁网络技术(北京)有限公司 | 媒体输出控制方法、装置、设备及可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599710A (zh) | 一种提醒方法及相关设备 | |
US11132881B2 (en) | Electronic devices capable of communicating over multiple networks | |
US11710387B2 (en) | Systems and methods of detecting and responding to a visitor to a smart home environment | |
US11711236B2 (en) | Machine learning for home understanding and notification | |
US11356643B2 (en) | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment | |
CN110598735B (zh) | 一种访客信息提醒方法及装置 | |
US9197867B1 (en) | Identity verification using a social network | |
CN107065586B (zh) | 交互式智能家庭服务系统及方法 | |
US20220207972A1 (en) | Appearance based access verification | |
US10992492B2 (en) | Machine learning for home understanding and notification | |
CN110647797B (zh) | 一种访客检测方法及装置 | |
US11195408B1 (en) | Sending signals for help during an emergency event | |
US10769909B1 (en) | Using sensor data to detect events | |
US11755924B2 (en) | Machine learning for home understanding and notification | |
US12073698B1 (en) | Security device with user-configurable motion detection settings | |
CN110634211A (zh) | 一种来访提醒方法及相关设备 | |
US11659144B1 (en) | Security video data processing systems and methods | |
US10490033B1 (en) | Customized notifications based on device characteristics | |
CA3100879A1 (en) | Machine learning for home understanding and notification | |
US10914811B1 (en) | Locating a source of a sound using microphones and radio frequency communication | |
US10834366B1 (en) | Audio/video recording and communication doorbell devices with power control circuitry | |
US20220351593A1 (en) | Electronic Monitoring System Using Push Notifications with Custom Audio Alerts | |
KR101151719B1 (ko) | 바이오 인식 출입 관리 시스템 | |
US12125369B2 (en) | Systems and methods of detecting and responding to a visitor to a smart home environment | |
WO2023044252A1 (en) | Training an object classifier with a known object in images of unknown objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201023 Address after: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A Applicant after: SHENZHEN HAIQUE TECHNOLOGY Co.,Ltd. Address before: 518000 Room 401, building 14, Shenzhen Software Park, Keji Zhonger Road, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN DANALE TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |
|
RJ01 | Rejection of invention patent application after publication |