CN115131846A - 一种访客识别方法、装置、电子设备及存储介质 - Google Patents
一种访客识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115131846A CN115131846A CN202110336966.2A CN202110336966A CN115131846A CN 115131846 A CN115131846 A CN 115131846A CN 202110336966 A CN202110336966 A CN 202110336966A CN 115131846 A CN115131846 A CN 115131846A
- Authority
- CN
- China
- Prior art keywords
- portrait
- classification label
- library
- homeowner
- visitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种访客识别方法、装置、电子设备及存储介质。方法包括:获取门外访客的图像信息;从图像信息中提取人物的肖像,获得第一肖像;确定第一肖像与预先建立的肖像库中的肖像的相似度,肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及肖像的分类标签,分类标签用于指示肖像属于相关部门发布的人物肖像或者房主亲友;在肖像库中存在第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,第二肖像与第一肖像的相似度大于预设阈值;将第一肖像和目标分类标签发送给房主的终端设备。因此,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,节省了人力,提升了访客识别准确率。
Description
技术领域
本公开涉及通信技术领域,尤其涉及一种访客识别方法、装置、电子设备及存储介质。
背景技术
目前,基于安全考虑,无论是公共场所还是个人场所,往往都会设置针对访客进行识别的设备。例如现有的智能家居可视门铃,可以抓拍门前图片并且将图片上传到云端服务器,使得云端服务器将抓拍图片进行存储并实时发送给用户,进而使得用户可以进行下一步的操作,比如远程开门或报警等。
然而,此种方式一方面需要人工检查,导致人力浪费的问题;另一方面,由于人工检查容易出现纰漏,造成访客的识别准确率较低。
发明内容
本申请实施例的目的是提供一种访客识别方法、装置、电子设备及存储介质,能够解决现有技术中人工识别访客人员准确率较低且浪费人力的问题。
第一方面,本申请实施例提供了一种访客识别方法,应用于云端服务器,所述方法包括:
获取门外访客的图像信息;
从所述图像信息中提取人物的肖像,获得第一肖像;
确定所述第一肖像与预先建立的肖像库中的肖像的相似度,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友;
在所述肖像库中存在第二肖像的情况下,获取所述第二肖像在所述肖像库中的目标分类标签,其中,所述第二肖像与所述第一肖像的相似度大于预设阈值;
将所述第一肖像和所述目标分类标签发送给房主的终端设备。
第一方面,本申请实施例提供了一种访客识别方法,应用于终端设备,所述方法包括:
在预先建立的肖像库中存在第二肖像的情况下,接收云端服务器发送的第一肖像和目标分类标签,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友,所述第一肖像为门前访客的肖像,所述第二肖像与所述第一肖像的相似度大于预设阈值,所述目标分类标签为所述肖像库中的所述第二肖像的分类标签;
显示所述第一肖像和所述目标分类标签。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,预先建立有肖像库,且该肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及用于指示这些肖像属于相关部门发布的人物肖像还是房主亲友的分类标签,从而使得云端服务器在获取到房主的门外访客的图像信息之后,可以从图像信息中提取人物的肖像,获得第一肖像,进而确定第一肖像与肖像库中的肖像的相似度,并在存在与第一肖像的相似度大于预设阈值的第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,从而将该目标分类标签和第一肖像发送至房主的终端设备,使得房主可以从其终端设备上明确了解到其门前的访客属于相关部门发布的人物肖像还是自己的亲友。
其中,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性,即本申请的实施例可以准备识别出访客是否属于相关部门发布的人物肖像,从而提升了访客识别的准确率。并且,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,从而节省了人力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1是本申请实施例提供的应用于云端服务器的访客识别方法的流程图;
图2是本申请实施例提供的应用于终端设备的访客识别方法的流程图;
图3是本申请实施例中访客识别系统的结构示意图;
图4是本申请实施例提供的应用于云端服务器的访客识别装置的结构框图;
图5是本申请实施例提供的应用于终端设备的访客识别装置的结构框图;
图6是本申请实施例提供的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请实施例提供了一种访客识别方法、装置、电子设备及存储介质,以解决现有技术中人工识别访客人员准确率较低且浪费人力的问题。
图1是根据一示例性实施例示出的一种访客识别方法的流程图,该访客识别方法应用于云端服务器,如图1所示,所述方法可以包括以下步骤:
步骤101:获取门外访客的图像信息。
其中,可以通过门铃设备在检测到访客进入门前的预设范围的情况下,获取该访客的图像信息,从而将该图像信息发送至云端服务器。例如该门铃设备可以为可视门铃,则可视门铃可以通过红外探测器探测到有物体靠近的时候,通过互补金属氧化物半导体图像(Complementary Metal-Oxide-Semiconductor,CMOS)传感技术,经过一定的频率(如3秒一次),抓拍门前的实时图像。其中,可视门铃可以通过WIFI连接互联网,并使用超文本传输协议(http)或https(即以安全为目标的http)协议将实时捕捉的图像信息上传到云端服务器。
另外,门铃设备将获取的访客的图像信息发送至云端服务器的过程包括:
门铃设备将获取的访客的图像信息发送给家居设备控制云平台,以使得家居设备控制云平台将该图像信息转发给云端服务器。
步骤102:从所述图像信息中提取人物的肖像,获得第一肖像。
其中,所述图像信息中包括至少一个访客,因此,步骤102中获得的第一肖像可以包括一个肖像或者多个肖像。
由此可知,本申请的实施例中,云端服务器获取到访客的图像信息之后,可以采用人脸识别技术,从该图像信息中提取人脸,并作为第一肖像。
步骤103:确定所述第一肖像与预先建立的肖像库中的肖像的相似度。
其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友。房主的亲友可以包括家人、亲戚、朋友等房主比较熟悉的人。
由此可知,本申请的实施例中,预先收集相关部门发布的人物肖像、房主亲友的肖像,并采用分类标签分别标识各个肖像属于相关部门发布的人物肖像还是房主亲友,从而将这些肖像以及分类标签存储至肖像库中,进而在云端服务器从访客的图像信息中提取第一肖像之后,可以确定第一肖像与该肖像库中储存的各个肖像的相似度,从而选出与第一肖像的相似度大于预设阈值的第二肖像。
其中,确定第一肖像与第三肖像(即肖像库中的其中一个肖像)的相似度时,可以提取第一肖像的人脸特征,生成第一肖像的人脸特征向量;提取第三肖像的人脸特征,生成第三肖像的人脸特征向量;计算第一肖像的人脸特征向量与第三肖像的人脸特征向量的欧氏距离或者余弦距离,以作为第一肖像和第三肖像的相似度。所述人脸特征包括但不限于脸部器官形状、位置。
另外,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性。并且,房主可能并不关注相关部门在网络平台发布的人物相关信息,从而不认识相关部门发布的人物肖像。而本申请的实施例中,即使房主并不认识相关部门发布的人物肖像,仍然可以在相关部门发布的人物出现在房主门前的预设范围之内时,根据预先建立的肖像库识别出相关部门发布的人物肖像,从而将识别结果发送给房主的终端设备,进而避免相关部门发布的人物危害房主的生命或者财产安全。
步骤104:在所述肖像库中存在第二肖像的情况下,获取所述第二肖像在所述肖像库中的目标分类标签。
其中,所述第二肖像与所述第一肖像的相似度大于预设阈值。目标分类标签用于表示第二肖像属于相关部门发布的人物肖像还是房主亲友。
另外,若肖像库中存在第二肖像(即肖像库中存在与第一肖像的相似度大于预设阈值的肖像),且目标分类标签指示第二肖像属于相关部门发布的人物肖像,则表示房主门前的访客是相关部门发布的人物;若肖像库中存在第二肖像,且目标分类标签指示第二肖像属于房主亲友,则表示房主门前的访客是房主亲友;若肖像库中不存在第二肖像,则表示未识别出房主门前的访客。
105:将所述第一肖像和所述目标分类标签发送给房主的终端设备。
由上述步骤101至105可知,在本申请实施例中,预先建立有肖像库,且该肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及用于指示这些肖像属于相关部门发布的人物肖像还是房主亲友的分类标签,从而使得云端服务器在获取到房主的门外访客的图像信息之后,可以从图像信息中提取人物的肖像,获得第一肖像,进而确定第一肖像与肖像库中的肖像的相似度,并在存在与第一肖像的相似度大于预设阈值的第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,从而将该目标分类标签和第一肖像发送至房主的终端设备,使得房主可以从其终端设备上明确了解到其门前的访客属于相关部门发布的人物肖像还是自己的亲友。
其中,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性,即本申请的实施例可以准备识别出访客是否属于相关部门发布的人物肖像,从而提升了访客识别的准确率。并且,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,从而节省了人力。
可选的,所述方法还包括:
在所述肖像库中不存在所述第二肖像的情况下,向所述房主的终端设备发送所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签。
由此可知,本申请的实施例中,在云端服务器无法识别出第一肖像属于相关部门发布的人物肖像还是房主亲友的情况下,还可以将“无法确定第一肖像的分类标签”(即无法识别出第一肖像)的识别结果连同第一肖像发送至房主的终端设备,并在终端设备上进行显示,从而使得房主可以自己对第一肖像进行识别。
可选的,所述方法还包括:
接收所述房主的终端设备发送的所述第一肖像的分类标签;
将所述第一肖像以及所述第一肖像的分类标签存储至所述肖像库中。
即,所述将所述第一肖像和所述目标分类标签发送给房主的终端设备之后,所述方法还包括:
接收所述房主的终端设备发送的所述第一肖像的分类标签;
将所述第一肖像以及所述第一肖像的分类标签存储至所述肖像库中。
其中,房主的终端设备接收到云端服务器发送的第一肖像和目标分类标签之后,若经房主确定第一肖像并不属于目标分类标签所表示的访客类型,则此种情况下,房主可以在终端设备中输入第一肖像的访客的真实分类标签。例如目标分类标签表示相关部门发布的人物肖像,但第一肖像的访客并不是相关部门发布的人物肖像,而是房主亲友,则房主可以在终端设备中输入第一肖像的分类标签为“房主亲友”;或者,目标分类标签表示房主亲友,但第一肖像的访客并不是房主的亲友,而是相关部门发布的人物肖像,则房主可以在终端设备中输入第一肖像的分类标签为“相关部门发布的人物肖像”。
即在本申请的实施例中,在云端服务器对第一肖像的识别出现错误时,可以对识别结果进行纠正,从而将第一肖像和第一肖像的真实分类标签存储至肖像库中。
或者,
所述向所述房主的终端设备发送所述第一肖像和第一指示信息之后,所述方法还包括:
接收所述房主的终端设备发送的所述第一肖像的分类标签;
将所述第一肖像以及所述第一肖像的分类标签存储至所述肖像库中。
由此可知,在本申请的实施例中,在云端服务器无法识别出第一肖像时,房主可以主动添加第一肖像的分类标签,从而将第一肖像和第一肖像的真实分类标签存储至肖像库中。
可选的,所述将所述第一肖像和所述目标分类标签发送给房主的终端设备,包括:
采用消息队列遥测传输协议(mqtt),或者采用极光推送形式,将所述第一肖像和所述目标分类标签发送给所述房主的终端设备。
同理,可以采用消息队列遥测传输协议,或者采用极光推送形式,将所述第一肖像和所述第一指示信息,发送给所述房主的终端设备
其中,可以理解的是,对于云端服务器将第一肖像和目标分类标签发送给房主的终端设备的具体方式并不局限于此。
可选的,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,接收所述房主的终端设备发送的开门指令;
将所述开门指令发送给家居设备控制云平台,以使得所述家居设备控制云平台将所述开门指令转发给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
其中,在目标分类标签指示第二肖像属于房主亲友的情况下,终端设备上可以显示第二图标控件,并在终端设备接收到对第二图标控件的第二操作时,响应于第二操作,显示第一提示信息,提示用户是否远程开门,从而在终端设备接收到开门触发操作时,响应于开门触发操作,向云端服务器发送开门指令,以使得云端服务器将开门指令发送给家居设备控制云平台,并由家居设备控制云平台将开门指令发送给门控设备,使得门控设备执行开门操作。
由此可知,在本申请的实施例中,若云端服务器识别出第一肖像属于房主亲友,则可以在房主的终端设备上显示第二图标控件,从而使得房主可以操作第二图标控件为访客进行远程开门,进而防止访客在门外等候。
图2是根据一示例性实施例示出的一种访客识别方法的流程图,该访客识别方法应用于终端设备,该终端设备可以为房主的终端设备,例如房主的手机、电脑等。
如图2所示,该方法可以包括以下步骤:
步骤201:在预先建立的肖像库中存在第二肖像的情况下,接收云端服务器发送的第一肖像和目标分类标签。
其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友,所述第一肖像为门前访客的肖像,所述第二肖像与所述第一肖像的相似度大于预设阈值,所述目标分类标签为所述肖像库中的所述第二肖像的分类标签。
另外,可以通过门铃设备在检测到访客进入门前的预设范围的情况下,获取该访客的图像信息,从而将该图像信息发送至云端服务器。例如该门铃设备可以为可视门铃,则可视门铃可以通过红外探测器探测到有物体靠近的时候,通过互补金属氧化物半导体图像(Complementary Metal-Oxide-Semiconductor,CMOS)传感技术,经过一定的频率(如3秒一次),抓拍门前的实时图像。其中,可视门铃可以通过WIFI连接互联网,并使用超文本传输协议(http)或https(即以安全为目标的http)协议将实时捕捉的图像信息上传到云端服务器。
其中,门铃设备将获取的访客的图像信息发送至云端服务器的过程包括:
门铃设备将获取的访客的图像信息发送给家居设备控制云平台,以使得家居设备控制云平台将该图像信息转发给云端服务器。
此外,云端服务器获取到访客的图像信息之后,可以采用人脸识别技术,从该图像信息中提取人脸,并作为第一肖像,从而确定第一肖像与肖像库中储存的各个肖像的相似度,进而选出与第一肖像的相似度大于预设阈值的第二肖像,并将获取第二肖像在肖像库中的目标分类标签,将该目标分类标签和第一肖像发送至房主的终端设备。
步骤202:显示所述第一肖像和所述目标分类标签。
由上述步骤201至202可知,本申请的实施例,预先建立有肖像库,且该肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及用于指示这些肖像属于相关部门发布的人物肖像还是房主亲友的分类标签,从而使得云端服务器在获取到房主的门外访客的图像信息之后,可以从图像信息中提取人物的肖像,获得第一肖像,进而确定第一肖像与肖像库中的肖像的相似度,并在存在与第一肖像的相似度大于预设阈值的第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,从而将该目标分类标签和第一肖像发送至房主的终端设备,并通过房主的终端设备显示第一肖像和目标分类标签,使得房主可以从其终端设备上明确了解到其门前的访客属于相关部门发布的人物肖像还是自己的亲友。
其中,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性,即本申请的实施例可以准备识别出访客是否属于相关部门发布的人物肖像,从而提升了访客识别的准确率。并且,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,从而节省了人力。
可选的,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,执行第一提示操作;
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,执行第二提示操作;
其中,所述第一提示操作与所述第二提示操作不同。
另外,第一肖像与第二肖像的相似度大于预设阈值,则目标分类标签指示第二肖像属于相关部门发布的人物肖像时,表示第一肖像属于相关部门发布的人物肖像;目标分类标签指示第二肖像属于房主亲友时,表示第一肖像属于房主亲友。
由此可知,在本申请的实施例中,不同的提示方式表示对第一肖像的不同识别结果,从而使得用户从提示方式上就可以对第一肖像的识别结果进行区分。例如可以采用不同的提示声音进行提示,具体的,可以在目标分类标签指示第一肖像属于相关部门发布的人物肖像的情况下,采用警告的音乐进行提示;在目标分类标签指示第一肖像属于房主亲友的情况下,采用温馨的音乐进行提示。
可选的,所述方法还包括:
在所述肖像库中不存在所述第二肖像的情况下,接收所述云端服务器发送的所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签;
显示所述第一肖像和所述第一指示信息。
由此可知,本申请的实施例中,在云端服务器无法识别出第一肖像属于相关部门发布的人物肖像还是房主亲友的情况下,还可以将“无法确定第一肖像的分类标签”(即无法识别出第一肖像)的识别结果连同第一肖像发送至房主的终端设备,并在终端设备上进行显示,从而使得房主可以自己对第一肖像进行识别。
可选的,所述方法还包括:
接收用户输入的所述第一肖像的分类标签;
将所述第一肖像的分类标签发送给所述云端服务器。
其中,可以在终端设备上显示第一肖像和目标分类标签之后,接收用户输入的所述第一肖像的分类标签,并将所述第一肖像的分类标签发送给所述云端服务器,从而使得云端服务器将肖像库中的第二肖像的分类标签修改为本次接收到的第一肖像的分类标签。
例如房主的终端设备接收到云端服务器发送的第一肖像和目标分类标签之后,若经房主确定第一肖像并不属于目标分类标签所表示的访客类型,则此种情况下,房主可以在终端设备中输入第一肖像的访客的真实分类标签。例如目标分类标签表示相关部门发布的人物肖像,但第一肖像的访客并不是相关部门发布的人物肖像,而是房主亲友,则房主可以在终端设备中输入第一肖像的分类标签为“房主亲友”;或者,目标分类标签表示房主亲友,但第一肖像的访客并不是房主的亲友,而是相关部门发布的人物肖像,则房主可以在终端设备中输入第一肖像的分类标签为“相关部门发布的人物肖像”。
即在本申请的实施例中,在云端服务器对第一肖像的识别出现错误时,可以对识别结果进行纠正,从而将第一肖像和第一肖像的真实分类标签存储至肖像库中。
或者,也可以在终端设备上显示第一肖像和用于指示无法确定第一肖像的分类标签(即无法识别出第一肖像)的第一指示信息之后,接收用户输入的所述第一肖像的分类标签,并将所述第一肖像的分类标签发送给所述云端服务器,从而使得云端服务器存储本次接收到的第一肖像的分类标签。
即在本申请的实施例中,在云端服务器无法识别出第一肖像时,房主可以主动添加第一肖像的分类标签,从而将第一肖像和第一肖像的真实分类标签存储至肖像库中。
可选的,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,显示第一图标控件;
接收对所述第一图标控件的第一操作;
响应于所述第一操作,拨打报警电话,或者接收用户输入的语音信息,并将所述语音信息发送给门铃设备进行播放。
由此可知,在本申请的实施例中,若云端服务器识别出第一肖像属于相关部门发布的人物肖像,则可以在房主的终端设备上显示第一图标控件,从而使得房主可以操作第一图标控件拨打报警电话,或者在终端设备中输入语音信息,从而通过门铃设备播放该语音信息,从而对访客进行警告。
其中,终端设备将语音信息发送给门铃设备的过程包括:
终端设备将语音信息发送给云端服务器,以使得云端服务器将语音信息转发给家居设备控制云平台,从而由家居设备控制云平台将语音信息转发给门铃设备进行播放。
可选的,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,显示第二图标控件;
接收对所述第二图标控件的第二操作;
响应于所述第二操作,显示第一提示信息,其中,所述第一提示信息用于提示用户是否远程开门;
接收开门触发操作;
响应于所述开门触发操作,向所述云端服务器发送开门指令,以使得所述云端服务器将所述开门指令发送给家居设备控制云平台,并由所述家居设备控制云平台将所述开门指令发送给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
由此可知,在本申请的实施例中,若云端服务器识别出第一肖像属于房主亲友,则可以在房主的终端设备上显示第二图标控件,从而使得房主可以操作第二图标控件为访客进行远程开门,进而防止访客在门外等候。
示例性的,本申请实施例提供的访客识别方法可应用于如图3所示的访客识别系统。其中,该访客识别系统包括终端设备、云端服务器、家居设备控制云平台和家居设备,所述家居设备包括可视门铃、门铃设备和门控设备。
其中,本申请实施例提供的访客识别方法应用至如图3所示的访客识别系统时,具体实施方式可如下所述:
预先收集相关部门发布的人物肖像、房主亲友的肖像,并采用分类标签分别标识各个肖像属于相关部门发布的人物肖像还是房主亲友,从而将这些肖像以及分类标签存储至肖像库中。其中,该肖像库存储于云端服务器。
可视门铃通过红外探测器探测到有物体靠近时,通过CMOS图像传感技术经过一定的频率抓拍门前的实时图片,并将实时图片发送至家居设备控制云平台,由家居设备控制云平台将实时图片发送至云端服务器。
首先,云端服务器接收到实时图片后,进行存储,然后使用图片识别技术将图片中的人物的第一肖像提取出来,并保存至前述肖像库中。
其次,云端服务器计算提取出来的第一肖像与前述肖像库中的肖像的相似度,以确定肖像库中是否存在与第一肖像的相似度大于预设阈值的第二肖像,若存在第二肖像,则提取第二肖像的目标分类标签;若不存在第二肖像,则生成用于指示无法确定第一肖像的分类标签的第一指示信息。
再次,云端服务器将第一肖像和目标分类标签,或者将第一肖像和第一指示信息,mqtt或者极光等推送方式推送到房主的终端设备上,并在终端设备上进行显示。其中,推送形式可以采用卡片和声音的形式来提醒,同时可以设置每种分类标签对应不同的语音提示,默认的用于表示相关部门发布的人物肖像的分类标签使用警告的音乐,用于表示房主亲友分类标签使用温馨的门铃提醒。
其中,如果云端服务器并未识别出第一肖像,即在房主的终端设备接收到前述第一指示信息的情况下,可以在终端设备上第一肖像的分类标签的候选选项,例如相关部门发布的人物肖像选项和房主亲友选项,从而使得房主可以自己确定第一肖像的分类标签。
另外,房主的终端设备上显示第一肖像和目标分类标签时,若目标分类标签无法准备表示第一肖像的身份,即云端服务器对第一肖像的识别结果发生错误时,房主可以对第一肖像的识别结果进行纠正,例如房主可以在终端设备上选取新的分类标签,然后由终端设备将新的分类标签发送至云端服务器,从而使得云端服务器存储至肖像库中。
此外,如果识别出第一肖像属于相关部门发布的人物肖像,且经房主在终端设备上确认后,或者未识别出第一肖像,但房主在终端设备上输入第一肖像属于相关部门发布的人物肖像的分类标签,则可在终端设备上显示一键报警图标控件或门铃警告图标控件。其中,房主点击一键报警图标控件后,则直接拨通报警电话,房主点击门铃警告图标控件后,则可以在终端设备上输入语音信息,从而将语音信息发送给云端服务器,由云端服务器转发给家居控制云平台,进而由家居设备控制云平台将语音信息发送给门铃设备进行播放,以警告门前的人员。
如果识别出第一肖像属于房主亲友且经房主在终端设备上确认后,或者未识别出第一肖像,但房主在终端设备上输入第一肖像属于房主亲友的分类标签,则可在终端设备上显示远程开门图标控件。房主点击远程开门图标控件后,则由终端设备向云端服务器发送开门指令,由云端服务器将开门指令转发给家居设备控制云平台,进而使得家居设备控制云平台发送至门控设备,使得门控设备执行开门操作。
并且,若发生威胁房主人身及财产安全等案件,可以从终端设备上拿到对应推送历史的图片以及肖像给相关部门以提供帮助。
综上所述,本申请实施例提供的访客识别方法,可以当房主不在家有人来访时,智能识别来访者身份并给与给予屋主以提示;当无法识别访客身份时发送图像给房主,从而让房主自己来识别来访者身份并更新到肖像库。
图4是根据一示例性实施例示出的一种访客识别装置的框图,该访客识别装置可以应用于云端服务器,如图4所示,该访客识别装置可以包括如下模块:
图像信息获取模块401,用于获取门外访客的图像信息;
肖像提取模块402,用于从所述图像信息中提取人物的肖像,获得第一肖像;
相似度确定模块403,用于确定所述第一肖像与预先建立的肖像库中的肖像的相似度,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友;
标签获取模块404,用于在所述肖像库中存在第二肖像的情况下,获取所述第二肖像在所述肖像库中的目标分类标签,其中,所述第二肖像与所述第一肖像的相似度大于预设阈值;
第一发送模块405,用于将所述第一肖像和所述目标分类标签发送给房主的终端设备。
可选的,所述装置还包括:
第二发送模块,用于在所述肖像库中不存在所述第二肖像的情况下,向所述房主的终端设备发送所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签。
可选的,所述装置还包括:
第二接收模块,用于接收所述房主的终端设备发送的所述第一肖像的分类标签;
存储模块,用于将所述第一肖像以及所述第一肖像的分类标签存储至所述肖像库中。
可选的,所述第一发送模块405具体用于:
采用消息队列遥测传输协议,或者采用极光推送形式,将所述第一肖像和所述目标分类标签发送给所述房主的终端设备。
可选的,所述装置还包括:
第三接收模块,用于在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,接收所述房主的终端设备发送的开门指令;
指令发送模块,用于将所述开门指令发送给家居设备控制云平台,以使得所述家居设备控制云平台将所述开门指令转发给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
由上述可知,本申请的实施例,预先建立有肖像库,且该肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及用于指示这些肖像属于相关部门发布的人物肖像还是房主亲友的分类标签,从而使得云端服务器在获取到房主的门外访客的图像信息之后,可以从图像信息中提取人物的肖像,获得第一肖像,进而确定第一肖像与肖像库中的肖像的相似度,并在存在与第一肖像的相似度大于预设阈值的第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,从而将该目标分类标签和第一肖像发送至房主的终端设备,使得房主可以从其终端设备上明确了解到其门前的访客属于相关部门发布的人物肖像还是自己的亲友。
其中,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性,即本申请的实施例可以准备识别出访客是否属于相关部门发布的人物肖像,从而提升了访客识别的准确率。并且,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,从而节省了人力。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种访客识别装置的框图,该访客识别装置可以应用于终端设备,如图5所示,该访客识别装置可以包括如下模块:
第一接收模块501,用于在预先建立的肖像库中存在第二肖像的情况下,接收云端服务器发送的第一肖像和目标分类标签,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友,所述第一肖像为门前访客的肖像,所述第二肖像与所述第一肖像的相似度大于预设阈值,所述目标分类标签为所述肖像库中的所述第二肖像的分类标签;
第一显示模块502,用于显示所述第一肖像和所述目标分类标签。
可选的,所述装置还包括:
第一提示模块,用于在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,执行第一提示操作;
第二提示模块,用于在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,执行第二提示操作;
其中,所述第一提示操作与所述第二提示操作不同。
可选的,所述装置还包括:
第四接收模块,用于在所述肖像库中不存在所述第二肖像的情况下,接收所述云端服务器发送的所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签;
第二显示模块,用于显示所述第一肖像和所述第一指示信息。
可选的,所述装置还包括:
第五接收模块,用于接收用户输入的所述第一肖像的分类标签;
第三发送模块,用于将所述第一肖像的分类标签发送给所述云端服务器。
可选的,所述装置还包括:
第三显示模块,用于在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,显示第一图标控件;
第六接收模块,用于接收对所述第一图标控件的第一操作;
预警模块,用于响应于所述第一操作,拨打报警电话,或者接收用户输入的语音信息,并将所述语音信息发送给门铃设备进行播放。
可选的,所述装置还包括:
第四显示模块,用于在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,显示第二图标控件;
第七接收模块,用于接收对所述第二图标控件的第二操作;
提示显示模块,用于响应于所述第二操作,显示第一提示信息,其中,所述第一提示信息用于提示用户是否远程开门;
第八接收模块,用于接收开门触发操作;
开门控制模块,用于响应于所述开门触发操作,向所述云端服务器发送开门指令,以使得所述云端服务器将所述开门指令发送给家居设备控制云平台,并由所述家居设备控制云平台将所述开门指令发送给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
由上述可知,本申请的实施例,预先建立有肖像库,且该肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及用于指示这些肖像属于相关部门发布的人物肖像还是房主亲友的分类标签,从而使得云端服务器在获取到房主的门外访客的图像信息之后,可以从图像信息中提取人物的肖像,获得第一肖像,进而确定第一肖像与肖像库中的肖像的相似度,并在存在与第一肖像的相似度大于预设阈值的第二肖像的情况下,获取第二肖像在肖像库中的目标分类标签,从而将该目标分类标签和第一肖像发送至房主的终端设备,并通过房主的终端设备显示第一肖像和目标分类标签,使得房主可以从其终端设备上明确了解到其门前的访客属于相关部门发布的人物肖像还是自己的亲友。
其中,本申请的实施例中,预先建立的肖像库中的相关部门发布的人物肖像具有权威性,因此,本申请的实施例对访客是否属于相关部门发布的人物肖像的识别具有权威性,即本申请的实施例可以准备识别出访客是否属于相关部门发布的人物肖像,从而提升了访客识别的准确率。并且,本申请的实施例,可以自动根据预先建立的肖像库识别访客属于相关部门发布的人物肖像还是房主亲友,从而节省了人力。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例还提供了一种访客识别系统,包括上述所述的应用于云端服务器的访客识别装置,以及应用于终端设备的访客识别装置。
如图6所示,本申请实施例还提供一种电子设备600,包括处理器601,存储器602,存储在存储器602上并可在所述处理器601上运行的程序或指令,该程序或指令被处理器601执行时实现上述方框识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括移动电子设备和非移动电子设备。其中,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA) 等。非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television, TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述访客识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述访客识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (15)
1.一种访客识别方法,应用于云端服务器,其特征在于,所述方法包括:
获取门外访客的图像信息;
从所述图像信息中提取人物的肖像,获得第一肖像;
确定所述第一肖像与预先建立的肖像库中的肖像的相似度,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友;
在所述肖像库中存在第二肖像的情况下,获取所述第二肖像在所述肖像库中的目标分类标签,其中,所述第二肖像与所述第一肖像的相似度大于预设阈值;
将所述第一肖像和所述目标分类标签发送给房主的终端设备。
2.根据权利要求1所述的访客识别方法,其特征在于,所述方法还包括:
在所述肖像库中不存在所述第二肖像的情况下,向所述房主的终端设备发送所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签。
3.根据权利要求1或2所述的访客识别方法,其特征在于,所述方法还包括:
接收所述房主的终端设备发送的所述第一肖像的分类标签;
将所述第一肖像以及所述第一肖像的分类标签存储至所述肖像库中。
4.根据权利要求1所述的访客识别方法,其特征在于,所述将所述第一肖像和所述目标分类标签发送给房主的终端设备,包括:
采用消息队列遥测传输协议,或者采用极光推送形式,将所述第一肖像和所述目标分类标签发送给所述房主的终端设备。
5.根据权利要求1所述的访客识别方法,其特征在于,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,接收所述房主的终端设备发送的开门指令;
将所述开门指令发送给家居设备控制云平台,以使得所述家居设备控制云平台将所述开门指令转发给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
6.一种访客识别方法,其特征在于,应用于终端设备,所述方法包括:
在预先建立的肖像库中存在第二肖像的情况下,接收云端服务器发送的第一肖像和目标分类标签,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友,所述第一肖像为门前访客的肖像,所述第二肖像与所述第一肖像的相似度大于预设阈值,所述目标分类标签为所述肖像库中的所述第二肖像的分类标签;
显示所述第一肖像和所述目标分类标签。
7.根据权利要求6所述的访客识别方法,其特征在于,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,执行第一提示操作;
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,执行第二提示操作;
其中,所述第一提示操作与所述第二提示操作不同。
8.根据权利要求6所述的访客识别方法,其特征在于,所述方法还包括:
在所述肖像库中不存在所述第二肖像的情况下,接收所述云端服务器发送的所述第一肖像和第一指示信息,其中,所述第一指示信息用于指示无法确定所述第一肖像的分类标签;
显示所述第一肖像和所述第一指示信息。
9.根据权利要求6或8所述的访客识别方法,其特征在于,所述方法还包括:
接收用户输入的所述第一肖像的分类标签;
将所述第一肖像的分类标签发送给所述云端服务器。
10.根据权利要求6所述的访客识别方法,其特征在于,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于相关部门发布的人物肖像的情况下,显示第一图标控件;
接收对所述第一图标控件的第一操作;
响应于所述第一操作,拨打报警电话,或者接收用户输入的语音信息,并将所述语音信息发送给门铃设备进行播放。
11.根据权利要求6所述的访客识别方法,其特征在于,所述方法还包括:
在所述目标分类标签指示所述第二肖像属于房主亲友的情况下,显示第二图标控件;
接收对所述第二图标控件的第二操作;
响应于所述第二操作,显示第一提示信息,其中,所述第一提示信息用于提示用户是否远程开门;
接收开门触发操作;
响应于所述开门触发操作,向所述云端服务器发送开门指令,以使得所述云端服务器将所述开门指令发送给家居设备控制云平台,并由所述家居设备控制云平台将所述开门指令发送给门控设备,其中,所述开门指令用于指示所述门控设备执行开门操作。
12.一种访客识别装置,应用于云端服务器,其特征在于,所述装置包括:
图像信息获取模块,用于获取门外访客的图像信息;
肖像提取模块,用于从所述图像信息中提取人物的肖像,获得第一肖像;
相似度确定模块,用于确定所述第一肖像与预先建立的肖像库中的肖像的相似度,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友;
标签获取模块,用于在所述肖像库中存在第二肖像的情况下,获取所述第二肖像在所述肖像库中的目标分类标签,其中,所述第二肖像与所述第一肖像的相似度大于预设阈值;
第一发送模块,用于将所述第一肖像和所述目标分类标签发送给房主的终端设备。
13.一种访客识别装置,应用于终端设备,其特征在于,所述装置包括:
第一接收模块,用于在预先建立的肖像库中存在第二肖像的情况下,接收云端服务器发送的第一肖像和目标分类标签,其中,所述肖像库中包括相关部门发布的人物肖像、房主亲友的肖像,以及所述肖像的分类标签,所述分类标签用于指示所述肖像属于相关部门发布的人物肖像或者房主亲友,所述第一肖像为门前访客的肖像,所述第二肖像与所述第一肖像的相似度大于预设阈值,所述目标分类标签为所述肖像库中的所述第二肖像的分类标签;
第一显示模块,用于显示所述第一肖像和所述目标分类标签。
14.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的访客识别方法的步骤,或者实现如权利要求6-11任一项所述的访客识别方法的步骤。
15.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的访客识别方法的步骤,或者实现如权利要求6-11任一项所述的访客识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110336966.2A CN115131846A (zh) | 2021-03-29 | 2021-03-29 | 一种访客识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110336966.2A CN115131846A (zh) | 2021-03-29 | 2021-03-29 | 一种访客识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115131846A true CN115131846A (zh) | 2022-09-30 |
Family
ID=83375198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110336966.2A Pending CN115131846A (zh) | 2021-03-29 | 2021-03-29 | 一种访客识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115131846A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225235A (zh) * | 2023-05-04 | 2023-06-06 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备以及介质 |
-
2021
- 2021-03-29 CN CN202110336966.2A patent/CN115131846A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225235A (zh) * | 2023-05-04 | 2023-06-06 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备以及介质 |
CN116225235B (zh) * | 2023-05-04 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107065586B (zh) | 交互式智能家庭服务系统及方法 | |
JP6572361B2 (ja) | 行動喚起プログラム及び携帯端末装置 | |
CN107862774B (zh) | 门禁呼叫方法、系统及客户端 | |
CN108540755B (zh) | 身份识别方法和装置 | |
CN109495727B (zh) | 智能监控方法及装置、系统、可读存储介质 | |
CN104038742A (zh) | 一种基于人脸识别技术的门铃系统 | |
CN111489464A (zh) | 身份验证方法和装置、电子设备以及计算机可读存储介质 | |
AU2020309090A1 (en) | Image processing methods and apparatuses, electronic devices, and storage media | |
WO2020044099A1 (zh) | 一种基于对象识别的业务处理方法和装置 | |
TWI724546B (zh) | 用於手機的智慧化報警方法、裝置及包括其的系統 | |
EP3640935B1 (en) | Notification information output method, server and monitoring system | |
CN106911845B (zh) | 来电提醒方法及装置 | |
CN112101216A (zh) | 人脸识别方法、装置、设备及存储介质 | |
CN113688794A (zh) | 身份识别方法、装置、电子设备和计算机可读存储介质 | |
CN110730330B (zh) | 声音处理方法与装置、门铃和计算机可读存储介质 | |
CN112216035A (zh) | 一种快递柜一键解锁方法及装置 | |
CN115131846A (zh) | 一种访客识别方法、装置、电子设备及存储介质 | |
KR20180006016A (ko) | 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템 | |
CN110246292B (zh) | 家庭视频监控方法、装置及存储介质 | |
US20120250953A1 (en) | Door phone device, visitor evaluation method, and door phone system | |
CN107729737B (zh) | 一种身份信息的获取方法及穿戴设备 | |
CN112333553A (zh) | 预警方法、装置、智能电视及计算机可读存储介质 | |
JP2015176220A (ja) | 掲示板装置及び掲示板システム | |
CN110910281A (zh) | 基于机器人的酒店退房办理方法和装置 | |
Khan et al. | Smart Home with Wireless Smart Doorbell with Smart Response |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |