CN113807146A - 门锁识别方法、装置及电子设备 - Google Patents

Abstract

本申请实施例公开了一种门锁识别方法、装置及电子设备，该方法包括：获取待识别图像，并将所述待识别图像输入至第一网络模型；利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果；根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同；如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。本方法通过结合第一网络模型和第二网络模型可更加准确有效的对门锁进行识别。

Description

门锁识别方法、装置及电子设备

技术领域

本申请涉及智能门锁技术领域，更具体地，涉及一种门锁识别方法、装置及电子设备。

背景技术

随着人工智能的不断发展，人们对图像识别技术的要求也越来越高，图像识别是对图像进行对象识别，其可以对各种不同模式的目标或者对象进行识别。目前，机器图像识别技术的应用领域十分广泛，例如，用于军事侦察、危险环境的自主机器人以及用于邮政、医院和家庭服务的智能机器人。此外，机器图像识别技术还可用于工业生产中的工作识别以及定位太空机器人的自动操作等，故如何准确有效的对图像中的目标进行识别是亟待解决的问题。

发明内容

有鉴于此，本申请提出了一种门锁识别方法、装置及电子设备，以改善上述缺陷。

第一方面，本申请实施例提供了一种门锁识别方法，该方法包括：获取待识别图像，并将所述待识别图像输入至第一网络模型；利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果；根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同；如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

第二方面，本申请实施例提供了一种门锁识别装置，所述装置包括：图像获取模块、第一识别模块、第二识别模块和结果输出模块。图像获取模块，用于获取待识别图像，并将所述待识别图像输入至第一网络模型。第一识别模块，用于利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果。第二识别模块，用于根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同。结果输出模块，用于如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；一个或多个应用程序；其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行本申请任意实施例提供的门锁识别的方法。

第四方面，本申请实施例提供了一种计算机系统，计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行本申请任意实施例提供的门锁识别的方法。

相对于现有技术，本申请实施例提出了一种门锁识别方法、装置及电子设备，门锁识别方法可以先获取待识别图像，并将获取的所述待识别图像输入至第一网络模型，利用该第一网络模型对所述待识别图像进行识别，得到第一识别结果，而后可以根据所述第一识别结果确定第二网络模型，并利用该第二网络模型对待识别图像进行识别，得到第二识别结果，其中，第一网络模型和第二网络模型的图像识别算法不相同，然后可以将第一识别结果与第二识别结果进行比较，如果所述第一识别结果与第二识别结果匹配，则根据第一识别结果或者第二识别结果获取门锁识别结果，最后将其获取的门锁识别结果输出。本申请通过结合第一网络模型和第二网络模型可以更加准确有效的对待识别图像中的门锁进行识别。

为使本申请的上述目的、特征和优点能够更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提出的一种门锁识别方法流程图；

图2示出了本申请另一个实施例提出的一种门锁识别方法流程图；

图3示出了本申请另一个实施例提出的一种门锁识别方法中步骤S240的流程图；

图4示出了本申请又一个实施例提出的一种门锁识别方法流程图；

图5示出了本申请又一个实施例提出的一种门锁识别方法中步骤S330的流程图；

图6示出了本申请实施例提出的一种门锁识别装置的结构框图；

图7示出了本申请实施例提出的一种门锁识别装置中第二识别模块430的结构框图。

图8示出了本申请实施例提出的用于执行根据本申请实施例的门锁识别方法的电子设备的结构框图。

图9示出了本申请实施例提出的一种门锁识别方法中用户终端的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

目前，用户在购买到门锁的后通常无法确认其购买的门锁是不是智能门锁，更无法知晓其购买的门锁是何种类型的门锁，为了解决该问题人们引入了人工智能，即通过人工智能对用户输入的包含门锁的图像或者照片进行识别，进而确定用户购买的门锁是不是智能门锁，然而现有的门锁识别技术仅仅是利用一个机器识别算法对门锁图像进行识别，导致门锁识别的准确率低，用户的体验度不高。

因此，为了克服上述缺陷，如图1，本申请实施例提供了一种门锁识别方法，该方法包括步骤S110至步骤S140。

步骤S110：获取待识别图像，并将所述待识别图像输入至第一网络模型。

在一种实施方式中，待识别图像可以包含门锁图像，也可以不包含门锁图像，待识别图像可以是用户通过移动终端的摄像头拍照获取，也可以是用户通过网址查询获取的。用户获取到待识别图像后，可以将其输入至第一网络模型，其中，第一网络模型可以为目标检测模型，本申请中目标检测模型可以为Mobilenet SSD、SSD(Single Shot MultiboxDetector，单阶段多目标检测)算法、YOLO(You only look once，一种单阶段目标检测模型)算法、RCNN、fast-RCNN、faster-RCNN、R-RCN或者mask-RCNN等。确定目标检测模型后，本申请可以利用门锁数据集来对所述目标检测模型进行训练，进而得到第一网络模型。其中，门锁数据集可以包括门锁训练数据集和门锁测试数据集，门锁训练数据集主要用于对目标检测模型进行训练，而门锁测试数据集则主要用于对第一网络模型的性能进行测试。

本申请实施例中，门锁数据集可以来自于门锁识别页面，也可以通过手动拍摄获取，或者可以利用网络爬虫从互联网中获取不同类型门锁的正面图片。利用门锁测试数据集对第一网络模型进行测试时，可以获取到锁体所在的位置以及门锁的类别和得分，其中，门锁的位置指的是门锁图像的坐标位置，其可以是门锁图像的四个坐标点。为了更清楚的说明门锁测试数据集的测试结果，本申请给出了表1。

表1

从表1可以看出门锁类型可以包括标准锁、霸王锁、其他锁和无锁四种类型，其中，标准锁的准确率为93.83％，漏检率为1.27％和误检率为4.90％；霸王锁的准确率为98.72％，漏检率为0.54％和误检率为0.74％；其他锁的准确率为95.90％，漏检率为3.08％和误检率为1.47％；无锁的准确率为32.52％，漏检率为误检率为67.84％。本申请对测试数据集的整体结果进行了统计，其准确率为92.11％，漏检率为1.20％和误检率为6.76％。

步骤S120：利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果。

本申请中待识别图像可以是用户利用移动终端摄像头拍摄获取的，即用户利用移动终端获取到待识别图像后，可以将该待识别图像输入至第一网络模型，利用第一网络模型对待识别图像进行识别，即第一网络模型通过卷积层、池化层以及全连接层等对待识别图像进行特征提取、分类和识别，得到第一识别结果。在一种实施方式中，第一识别结果可以包括门锁的类型和门锁的位置以及得分，其中，门锁的类型可以包括标准锁、霸王锁、其他锁和无锁。门锁的位置指的是门锁在待识别图像中的位置，其可以包括门锁图像四个坐标点的位置，本申请实施例中门锁的坐标点可以是相对待识别图像的中心点而言的，即门锁图像四个坐标点可以以待识别图像的中心为原点，也可以以待识别图像的左上角为坐标原点，或者是以待识别图像的右下角为坐标原点，门锁图像具体以待识别图像的哪个点为原点这里不进行明确限制，可以根据实际情况进行选择。另外，得分指的是识别出门锁的准确率，如对包含霸王锁的待识别图像A进行识别，其输出门锁类型为霸王锁，门锁的位置为[[261，121]，[261，294]，[401,294]，[401，121]]得分为99.53％。

步骤S130：根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果。

在一种实施方式中，当获取到第一识别结果后，可以利用该第一识别结果获取第二网络模型，所述第二网络模型与第一识别结果相对应。例如，第一识别结果为标准锁，则第二网络模型可以为标准锁网络模型，该标准锁网络模型可以是用于识别标准锁的二分类模型；第一识别结果为霸王锁，则第二网络模型可以为霸王锁网络模型，该霸王锁网络模型可以是用于识别霸王锁的二分类模型；第一识别结果为其他锁，则第二网络模型可以为其他锁网络模型，该其他锁网络模型可以是用于识别其他锁的二分类模型；第一识别结果为无锁，则第二网络模型可以为无锁网络模型，该无锁网络模型可以是用于识别无锁的二分类模型。

本申请实施例中，第一网络模型和第二网络模型的图像识别算法不同，第一网络模型为目标检测模型，而第二网络模型则主要为二分类模型，为了更加准确的对门锁进行识别，本申请第二网络模型可以包括标准锁模型、霸王锁模型、其他锁模型以及无锁模型。利用第一识别结果确定第二网络模型后，可以将待识别图像输入至第二网络模型，利用所述第二网络模型对待识别图像进行识别得到第二识别结果。其中，第二识别结果与第一识别结果类似，也可以包括门锁的类型和门锁的位置以及得分，其中，门锁的类型可以包括标准锁、霸王锁、其他锁和无锁。

步骤S140：如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

在一种实施方式中，当得到第二识别结果后电子设备可以判断其获取的第一识别结果和第二识别结果是否匹配，如果第一识别结果和第二识别结果匹配，则根据第一识别结果或者第二识别结果确定门锁识别结果。具体的，本申请可以根据第一识别结果确定门锁识别结果，即可以利用第一识别结果获取门锁识别结果，也可以根据第二识别结果确定门锁识别结果，即利用第二识别结果获取门锁识别结果，或者也可以根据第一识别结果和第二识别结果确定门锁识别结果，即结合第一识别结果和第二识别结果获取门锁识别结果。

本申请实施例提出了一种门锁识别方法，通过结合第一网络模型和第二网络模型对待识别图像进行识别，其中，第二网络模型是根据第一网络模型的识别结果确定的，同时在获取到第一识别结果和第二识别结果之后本申请会将这两个识别结果进行匹配，只有两个识别结果匹配时才输出门锁识别结果，即本申请通过结合第一网络模型和第二网络模型可以使门锁图像的识别更加准确有效。

本申请另一实施例提出了一种门锁识别方法，请参阅图2，从图2可以看出该方法包括步骤S210至步骤S260。

步骤S210：获取待识别图像，并将所述待识别图像输入至第一网络模型。

步骤S220：利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果。

步骤S230：获取预设拍摄框的位置信息，并将所述预设拍摄框的位置信息作为第二位置信息。

在一种实施方式中，根据第一网络模型对待识别图像进行识别，可以得到第一识别结果，所述第一识别结果可以包括门锁候选框的位置信息，可以将所述门锁候选框的位置信息作为第一位置信息。所述门锁候选框的位置即为待识别图像中包含的门锁的位置信息，本申请实施例中门锁候选框的位置信息可以包括门锁四个点的坐标信息分别为候选框左下角的坐标、左上角的坐标、右上角的坐标和右下角的坐标。另外，第一位置信息也可以包括门锁图像其他像素点的坐标，具体包括哪些像素点的坐标这里就不进行一一赘述了。

本申请中预设拍摄框也可以称为前端拍摄框，其主要是用于辅助待识别图像的获取，门锁候选框只有落入到预设拍摄框中，才可以作为标准图像，或者门锁候选框与预设候拍摄框的重合度大于预设阈值时，待识别图像才可以作为标准图像，故预设拍摄框的面积可以比门锁候选框的面积大。在一种实施方式中，预设拍摄框的大小是预先设置好的，即预设拍摄框的位置信息可以是固定的，当得到第一位置信息后，电子设备可以通过查找的方式获取所述预设拍摄框对应的第二位置信息。

步骤S240：根据所述第一位置信息和所述第二位置信息，确定所述待识别图像是否为标准图像。

获取到门锁候选框对应的第一位置信息和预设拍摄框的第二位置信息后，电子设备可以将这两个位置信息进行坐标点的比较，进而确定待识别图像是否为标准图像。具体如图3所示，从图3可以看出步骤S240可以包括步骤S241至步骤S248。

步骤S241：根据所述第一位置信息和第二位置信息获取所述门锁候选框与所述预设拍摄框的重合度。

在一种实施方式中，可以根据第一位置信息获取到门锁候选框的面积，根据第二位置信息获取到预设拍摄框的面积，而后获取所述门锁候选框和预设拍摄框的重合度A。重合度A可以是门锁候选框和预设拍摄框的重叠面积占门锁候选框和预设拍摄框并集的面积比例。

步骤S242：判断所述门锁候选框与所述预设拍摄框的重合度是否大于预设阈值。

获取到门锁候选框和预设拍摄框的重合度后可以判断该重合度是否大于预设阈值，如果所述重合度大于预设阈值，则判定待识别图像为标准图像，即进入步骤S243，而当所述门锁候选框与所述预设拍摄框的重合度小于预设阈值时，则判定所述待识别图像为非标准图像，即进入步骤S244。例如，通过计算得到门锁候选框与所述预设拍摄框的重合度为0.9，而预设阈值为0.7，门锁候选框与所述预设拍摄框的重合度0.9大于预设阈值0.7，此时则可以判定待识别图像为标准图像。

在另一种实施方式中，也可以判断门锁候选框的四个坐标点是否均落入预设拍摄框中，如果门锁候选框的四个坐标点均落入预设候选框中则判定待识别图像为标准图像。例如，门锁候选框的四个点的坐标点分别为[[261，121]，[261，294]，[401,294]，[401，121]]，而预设拍摄框的四个点的坐标点分别为[[231，105]，[231，344]，[433，344]，[433，105]]，显然门锁候选框的四个坐标点均落入了预设候选框的坐标范围内，此时可以判定待识别图像即为标准图像。又如，门锁候选框的四个点的坐标点分别为[[261，121]，[261，294]，[401,294]，[401，121]]，而预设拍摄框的四个点的坐标点分别为[[255，153]，[255，221]，[351，221]，[351，153]]，可以看出门锁候选框有一些坐标点落入了预设候选框的坐标范围内，但是有一些坐标点却未落入预设候选框的坐标范围内，此时可以判定待识别图像为非标准图像。

步骤S243：判定所述待识别图像为标准图像。

本申请实施例中，标准图像指的是待识别图像中包含有完整的门锁图像，用户在利用移动终端拍摄门锁图像时，如果拍摄角度不对或者拍摄时手部晃动等均会导致门锁图像未落入摄像头的范围内，此时移动终端拍摄的待识别图像内则不包含有门锁图像，或者门锁图像模糊无法用于图像识别。

步骤S244：判定所述待识别图像为非标准图像。

通过上述介绍可以知道，当门锁候选框与所述预设拍摄框的重合度小于预设阈值时，则判定所述待识别图像为非标准图像。当门锁候选框和预设拍摄框的重合度很小，且门锁候选框的四个坐标点也没有均落入预设拍摄框内时，待识别图像为非标准图像，表示门锁位置偏移不符合要求，用户拍照质量差，直接识别可能导致识别结果会有误差，此时可以通知用户重新获取待识别图像。需要说明的是，可以通过短信、语音或者震动等形式通知用户其获取的待识别图像不准确需要重新拍摄。在另一种实施方式中，电子设备也可以通知用户是否进入人工审核程序，如果用户决定重新获取待识别图像，则电子设备会获取到重新拍照指令，即进入步骤S245；如果用户决定进入人工审核程序，则进入步骤S247。

步骤S245：检测是否获取到重新拍照指令。

用户获取到非标准信息后，可以决定其是否重新拍照，当选择重新拍照后，即进入步骤S246，当用户决定进行人工审核时，则发送人工审核指令，进入步骤S247。

在另一种实施方式中，判定待识别图像为非标准图像后，电子设备可以直接发送重新拍照的提示信息给用户，同时记录该提示信息发送的次数，当提示信息发送的次数大于N次时，电子设备才发送人工审核指令至用户，以提示用户待识别图像无法正确获取，请进行人工审核。

步骤S246：重新获取待识别图像。

步骤S247：确定是否获取到人工审核指令。

在一种实施方式中，当电子设备检测到其获取的指令不是重新拍照指令后，其可以进一步判断其是否获取到人工审核指令，如果用户获取到人工审核指令则获取所述人工审核指令对应的审核结果，即进入步骤S248。当电子设备未获取到重新拍照指令，也未获取到人工审核指令时，电子设备可以通过震动或者语音的形式通知用户输入操作指令，在预设时间内如果电子设备未收到任何操作指令，则终止门锁识别操作，或者直接输出非标准图像的识别结果至用户，此时可以提醒用户因其未输入操作指令，因此门锁识别结果准确性低。

步骤S248：获取所述人工审核指令对应的审核结果，并将所述审核结果和所述待识别图像按照一一对应的关系进行存储。

在一种实施方式中，如果获取到人工审核指令，则可以获取所述人工审核指令对应的审核结果，并将所述审核结果和所述待识别图像按照一一对应的关系进行存储。然后，可以利用所述审核结果和所述待识别图像对第一网络模型进行优化，即将待识别图像和审核结果按照一一对应的关系输入至第一网络模型，并对第一网络模型进行训练，使得第一网络模型能够更准确的对非标准图像进行识别。

步骤S250：当所述待识别图像为标准图像时，根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果。

步骤S260：如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

本申请实施例提出了一种门锁识别方法，通过结合第一网络模型和第二网络模型可以更加准确有效的对门锁图像进行识别，另外，本申请通过对比预设拍摄框的位置信息和门锁候选框的位置信息使得待识别图像的获取更加准确，如此可以进一步提高门锁识别的准确率，同时人工审核的引入可以使门锁识别更加智能化。

本申请又一实施例提出了一种门锁识别方法，请参阅图4，通过图4可以看出该方法包括步骤S310至步骤S350。

步骤S310：获取待识别图像，并将所述待识别图像输入至第一网络模型。

步骤S320：利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果。

在一种实施方式中，第一识别结果可以包括第一位置信息和第一门锁分类信息，其中，第一位置信息主要指的是利用第一网络模型对待识别图像进行识别后获取到待识别目标在待识别图像中的坐标信息。另外，第一门锁分类信息指的是利用第一网络模型对待识别图像进行识别后，得到待识别目标的类别，本申请实施例中待识别为门锁，而第一门锁分类信息指的是不同类别的门锁，即第一门锁分类信息可以包括标准锁、霸王锁、其他锁和无锁四种类型。

步骤S330：查找与所述第一门锁分类信息对应的门锁分类模型，并将该门锁分类模型作为第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果。

本申请实施例中，门锁的类型不同则其对应的门锁分类模型也并不相同，即每一种门锁均对应一种门锁分类模型，故第一门锁分类信息和门锁分类模型是一一对应的。具体的，当第一门锁分类信息为标准锁时，其对应的门锁分类模型为标准锁分类模型；当第一门锁分类信息为霸王锁时，其对应的门锁分类模型为霸王锁分类模型；当第一门锁分类信息为其他锁时，其对应的门锁分类模型为其他锁分类模型；当第一门锁分类信息为无锁时，其对应的门锁分类模型为无锁分类模型。

在一种具体实施方式中，可以预先训练好四种分类模型，这四种分类模型分别为分类模型A、分类模型B、分类模型C和分类模型D，本申请实施例中分类模型A、分类模型B、分类模型C和分类模型D均可作为第二网络模型，这四种分类模型分别优化对某个锁体的针对性识别，即目标分类模型A可以专门用于识别标准锁，分类模型B可以专门用于识别霸王锁，分类模型C可以专门用于识别其他锁，而分类模型D则可以专门用于识别无锁的情况。其中，分类模型A、分类模型B、分类模型C和分类模型D的数据集不同，即在训练分类模型A、分类模型B、分类模型C和分类模型D时，本申请使用了不同类型的数据集。例如，在训练分类模型A时可以将标准锁对应的数据集标注为正样本，而霸王锁、其他锁和无锁对应的数据集均标注为负样本；训练分类模型B时可以将霸王锁的数据集标注为正样本，而标准锁、其他锁和无锁对应的数据集均标注为负样本；训练分类模型C时可以将其他锁的数据集标注为正样本，而标准锁、霸王锁和无锁对应的数据集均标注为负样本；训练分类模型D时可以将无锁的数据集标注为正样本，而标准锁、霸王锁和其他锁对应的数据集均标注为负样本。因此，本申请可以根据上述标注方法获取的不同数据集分别对四个二分类模型进行训练。

另外，本申请可以将ResNet作为二分类模型，ResNet(Residual Neural Network)通过引入Residual Network残差网络来提高分类的准确性，因为ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptioNNet网络中，因此本申请将其作为二分类的模型。

如图5所示，步骤S330可以包括步骤S331至步骤S332。

步骤S331：根据所述第一识别结果确定所述待识别图像中是否包含门锁图像。

在一种实施方式中，利用第一网络模型对待识别图像进行识别可以得到第一识别结果，其中，第一识别结果可以包括第一门锁分类信息和第一位置信息，而第一门锁分类信息可以为标准锁、霸王锁、其他锁或者无锁。当第一网络模型检测到第一识别结果后，可以先判断该第一识别结果中的第一门锁分类信息是否为无锁，如果是无锁则表示待识别图像中没有门锁图像，此时电子设备可以将该结果发送至用户，以通知用户其在拍摄待识别图像时，没有将门锁拍摄进去。然后，电子设备可以通知用户重新拍摄待识别图像，或者电子设备可以通知用户进行人工审核操作，即用户可以通过其积累的知识来判断门锁是不是智能门锁。在另一种实施方式中，如果第一识别结果中的第一门锁分类信息为标准锁、霸王锁或者其他锁，则根据所述第一门锁分类信息确定第二网络模型，即进入步骤S332。

步骤S332：当所述待识别图像中包含门锁图像时，根据所述第一识别结果确定第二网络模型。

利用第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第二识别结果包括第二门锁分类信息和第二位置信息。其中，第二门锁分类信息指的是门锁的类型，其可以为标准锁、霸王锁或者是其他锁，其也可以包括无锁的情况。换句话说，利用第二网络模型对待识别图像进行识别时，如果待识别图像中没有门锁，则表示拍摄待识别图像时没有将门锁拍摄进去，此时第二识别结果中的第二门锁分类信息即为无门锁。

步骤S340：判断所述第一门锁分类信息与所述第二门锁分类信息是否相同。

通过上述介绍可以知道，第一门锁分类信息可以为标准锁、霸王锁、其他锁和无锁，而第二门锁分类信息也可以为标准锁、霸王锁、其他锁和无锁。判断第一门锁分类信息与第二门锁分类信息是否相同指的是判断第一门锁分类信息和第二门锁分类是不是同一种门锁，如果第一门锁分类信息和第二门锁分类信息相同，则进入步骤S350，如果第一门锁分类信息和第二门锁分类信息不相同则发送提示信息至用户，并提示用户重新获取待识别图像或者提示用户执行人工审核操作。

在一种实施方式中，通过判断第一门锁分类信息与第二门锁分类信息是否相同可以判断第一网络模型目标检测模型和第二网络模型分类模型的输出结果是否相同或者互斥。其中，相同的情况包括：第一门锁分类信息为标准锁，第二门锁分类信息为标准锁；第一门锁分类信息为霸王锁，第二门锁分类信息为霸王锁；第一门锁分类信息为其他锁，第二门锁分类信息为其他锁。通过上述介绍可以知道，第一门锁分类信息为无锁或者第二门锁分类信息为无锁时均需发送通知提示信息至用户，因此相同的情况不包括第一门锁分类信息为无锁和第二门锁分类信息为无锁的情况。不相同的情况包括：第一门锁分类信息为标准锁，第二门锁分类信息为霸王锁；第一门锁分类信息为标准锁，第二门锁分类信息为其他锁；第一门锁分类信息为霸王锁，第二门锁分类信息为标准锁；第一门锁分类信息为霸王锁，第二门锁分类信息为其他锁；第一门锁分类信息为其他锁，第二门锁分类信息为标准锁；第一门锁分类信息为其他锁，第二门锁分类信息为霸王锁。例如，第一网络模型对待识别图像识别后输出的结果是“标准锁”，而第二网络模型对同样的待识别图像进行识别后输出的结果是“霸王锁”，显然，所述第一门锁分类信息和第二门锁分类信息不一致。

在一种实施方式中，第一网络模型和第二网络模型的输出结果不一致，则表示门锁可能介于标准锁、霸王锁之间，判断难度较大，需要人工进行审核。

步骤S350：如果所述第一门锁分类信息与所述第二门锁分类信息相同，则确定所述第一识别结果与所述第二识别结果匹配，根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

在一种实施方式中，当第一门锁分类信息和第二门锁分类信息相同时，则确定第一识别结果与第二识别结果匹配，此时可以根据第一识别结果或者第二识别结果获取门锁识别结果，即可以将第一识别结果作为门锁识别结果，也可以将第二识别结果作为门锁识别结果，或者结合第一识别结果和第二识别结果得到门锁识别结果。通过实验表明，本申请门锁识别最终的准确率达到99.533％，且只有7.364％需要进行人工审核。

本申请实施例提出了一种门锁识别方法，通过结合第一门锁识别结果和第二门锁识别结果来确定最终的门锁识别结果，具体的，通过比较第一门锁识别结果的第一门锁分类信息和第二门锁识别结果的第二门锁分类信息来使门锁图像的识别更加准确，同时当第一门锁分类信息和第二门锁分类信息不相同时，本申请可以利用人工审核来判断，因此，本申请不仅可以提高门锁识别的准确率，而且可以通过人工审核处理网络模型无法判断的数据，使得门锁识别更加智能化。

请参阅图6，本申请实施例提出的一种门锁识别装置400，该装置包括图像获取模块410、第一识别模块420、第二识别模块430和结果输出模块440。

图像获取模块410，用于获取待识别图像，并将所述待识别图像输入至第一网络模型。

第一识别模块420，用于利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果。

第二识别模块430，用于根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同。

如图7所示，第二识别模块430可以包括第二信息获取单元431、标准图像确定单元432和第二模型确定单元433。

第二信息获取单元431，用于获取预设拍摄框的位置信息，并将所述预设拍摄框的位置信息作为第二位置信息。

标准图像确定单元432，用于根据所述第一位置信息和所述第二位置信息，确定所述待识别图像是否为标准图像。

进一步的，标准图像确定单元432还用于根据所述第一位置信息和第二位置信息获取所述门锁候选框与所述预设拍摄框的重合度，判断所述门锁候选框与所述预设拍摄框的重合度是否大于预设阈值，当所述门锁候选框与所述预设拍摄框的重合度大于预设阈值时，则判定所述待识别图像为标准图像。当所述门锁候选框与所述预设拍摄框的重合度小于预设阈值时，则判定所述待识别图像为非标准图像，检测是否获取到重新拍照指令，若获取到重新拍照指令，则重新获取待识别图像。当未获取到重新拍照指令时，则确定是否获取到人工审核指令，如果获取到人工审核指令，则获取所述人工审核指令对应的审核结果，并将所述审核结果和所述待识别图像按照一一对应的关系进行存储。

第二模型确定单元433，用于当所述待识别图像为标准图像时，根据所述第一识别结果确定第二网络模型。

进一步的，第二识别模块430还用于根据所述第一识别结果确定所述待识别图像中是否包含门锁图像，当所述待识别图像中包含门锁图像时，根据所述第一识别结果确定第二网络模型。

结果输出模块440，用于如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

进一步的，结果输出模块440还用于查找与所述第一门锁分类信息对应的门锁分类模型，并将该门锁分类模型作为第二网络模型，判断所述第一门锁分类信息与所述第二门锁分类信息是否相同，如果所述第一门锁分类信息与所述第二门锁分类信息相同，则确定所述第一识别结果与所述第二识别结果匹配。

进一步的，所述门锁识别结果为所述第一门锁分类信息或者所述第二门锁分类信息。

本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的门锁识别方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及门锁识别方法。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图8是本发明实施例提供的一种门锁识别方法的电子设备的硬件结构框图。如图8所示，该电子设备1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(ProcessingUnits，CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，处理器1110可以设置为与存储介质1120通信，在电子设备1100上执行存储介质1120中的一系列指令操作。电子设备1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如WindowsserverTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备1100还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

图9为实现本发明各个实施例的一种用户终端的硬件结构示意图。

该用户终端1200包括但不限于：射频单元1210、网络模块1220、音频输出单元1230、输入单元1240、传感器1250、显示单元1260、用户输入单元1270、用户输入单元1280、存储器1290、处理器1300、以及电源1310等部件。本领域技术人员可以理解，图9中示出的用户终端结构并不构成对用户终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，用户终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载用户终端、可穿戴设备、以及计步器等。

其中，处理器1300，用于获取待识别图像，并将所述待识别图像输入至第一网络模型，利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果，根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同，如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

应理解的是，本发明实施例中，1210可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1300处理；另外，将上行的数据发送给基站。通常，1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，1210还可以通过无线通信系统与网络和其他设备通信。

用户终端通过网络模块1220为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1230可以将1210或网络模块1220接收的或者在存储器1290中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1230还可以提供与用户终端1200执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1230包括扬声器、蜂鸣器以及受话器等。

输入单元1240用于接收音频或视频信号。输入单元1240可以包括图形处理器(GraphicsProcessingUnit，GPU)1041和麦克风1242，图形处理器1241对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1260上。经图形处理器1241处理后的图像帧可以存储在存储器1290(或其它存储介质)中或者经由1210或网络模块1220进行发送。麦克风1242可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由1210发送到移动通信基站的格式输出。

用户终端1200还包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1261的亮度，接近传感器可在用户终端1200移动到耳边时，关闭显示面板1261和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别用户终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1250还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元1260用于显示由用户输入的信息或提供给用户的信息。显示单元1260可包括显示面板1261，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(OrganicLight-EmiTTingDiode，OLED)等形式来配置显示面板1261。

用户输入单元1270可用于接收输入的数字或字符信息，以及产生与用户终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1270包括触控面板1271以及其他输入设备1272。触控面板1271，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1271上或在触控面板1271附近的操作)。触控面板1271可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1300，接收处理器1300发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1271。除了触控面板1271，用户输入单元1270还可以包括其他输入设备1272。具体地，其他输入设备1272可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1271可覆盖在显示面板1261上，当触控面板1271检测到在其上或附近的触摸操作后，传送给处理器1300以确定触摸事件的类型，随后处理器1300根据触摸事件的类型在显示面板1261上提供相应的视觉输出。虽然在图9中，触控面板1271与显示面板1261是作为两个独立的部件来实现用户终端的输入和输出功能，但是在某些实施例中，可以将触控面板1271与显示面板1261集成而实现用户终端的输入和输出功能，具体此处不做限定。

用户输入单元1280为外部装置与用户终端1200连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。用户输入单元1280可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到用户终端1200内的一个或多个元件或者可以用于在用户终端1200和外部装置之间传输数据。

存储器1290可用于存储软件程序以及各种数据。存储器1290可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1290可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1300是用户终端的控制中心，利用各种接口和线路连接整个用户终端的各个部分，通过运行或执行存储在存储器1290内的软件程序和/或模块，以及调用存储在存储器1290内的数据，执行用户终端的各种功能和处理数据，从而对用户终端进行整体监控。处理器1300可包括一个或多个处理单元；优选的，处理器1300可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1300中。

用户终端1200还可以包括给各个部件供电的电源1310(比如电池)，优选的，电源1310可以通过电源管理系统与处理器1300逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，用户终端1200包括一些未示出的功能模块，在此不再赘述。

本发明实施例还提供一种用户终端，包括处理器1300，存储器1290，存储在存储器409上并可在所述处理器1300上运行的计算机程序，该计算机程序被处理器410执行时实现上述信息方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述门锁识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (12)

1.一种门锁识别方法，其特征在于，该方法包括：

获取待识别图像，并将所述待识别图像输入至第一网络模型；

利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果；

根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同；

如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

2.根据权利要求1所述的方法，其特征在于，所述第一识别结果包括门锁候选框的位置信息，所述门锁候选框的位置信息作为第一位置信息；

所述根据所述第一识别结果确定第二网络模型，包括：

获取预设拍摄框的位置信息，并将所述预设拍摄框的位置信息作为第二位置信息；

根据所述第一位置信息和所述第二位置信息，确定所述待识别图像是否为标准图像；

当所述待识别图像为标准图像时，根据所述第一识别结果确定第二网络模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息，确定所述待识别图像是否为标准图像，包括：

根据所述第一位置信息和第二位置信息获取所述门锁候选框与所述预设拍摄框的重合度；

判断所述门锁候选框与所述预设拍摄框的重合度是否大于预设阈值；

当所述门锁候选框与所述预设拍摄框的重合度大于预设阈值时，则判定所述待识别图像为标准图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述门锁候选框与所述预设拍摄框的重合度小于预设阈值时，则判定所述待识别图像为非标准图像；

检测是否获取到重新拍照指令；

若获取到重新拍照指令，则重新获取待识别图像。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当未获取到重新拍照指令时，则确定是否获取到人工审核指令；

如果获取到人工审核指令，则获取所述人工审核指令对应的审核结果，并将所述审核结果和所述待识别图像按照一一对应的关系进行存储。

6.根据权利要求1所述的方法，其特征在于，所述第一识别结果包括第一门锁分类信息；

所述根据所述第一识别结果确定第二网络模型，包括：

查找与所述第一门锁分类信息对应的门锁分类模型，并将该门锁分类模型作为第二网络模型。

7.根据权利要求6所述的方法，其特征在于，所述第二识别结果包括第二门锁分类信息；

所述利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果之后，包括：

判断所述第一门锁分类信息与所述第二门锁分类信息是否相同；

如果所述第一门锁分类信息与所述第二门锁分类信息相同，则确定所述第一识别结果与所述第二识别结果匹配。

8.根据权利要求7所述的方法，其特征在于，所述门锁识别结果为所述第一门锁分类信息或者所述第二门锁分类信息。

9.根据权利要求1-8任一所述的方法，其特征在于，所述根据所述第一识别结果确定第二网络模型，包括：

根据所述第一识别结果确定所述待识别图像中是否包含门锁图像；

当所述待识别图像中包含门锁图像时，根据所述第一识别结果确定第二网络模型。

10.一种门锁识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待识别图像，并将所述待识别图像输入至第一网络模型；

第一识别模块，用于利用所述第一网络模型对所述待识别图像进行识别，得到第一识别结果；

第二识别模块，用于根据所述第一识别结果确定第二网络模型，并利用所述第二网络模型对所述待识别图像进行识别，得到第二识别结果，所述第一网络模型和所述第二网络模型的图像识别算法不同；

结果输出模块，用于如果所述第一识别结果与所述第二识别结果匹配，则根据所述第一识别结果或者所述第二识别结果获取门锁识别结果，并输出所述门锁识别结果。

11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的门锁识别方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的门锁识别方法的步骤。

Images