CN117994121A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法及电子设备，涉及电子设备领域。本申请提供的方法可以获取第一场景图像和第一场景图像对应的第一深度图像，并确定第一场景图像中的目标感兴趣ROI区域。之后基于第一深度图像获取目标ROI区域对应的目标深度数据。根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理。从而能够避免侵犯隐私对象的隐私信息，提升了电子设备的安防效果以及用户的使用体验。

Description

一种图像处理方法及电子设备

技术领域

本申请涉及电子设备领域，尤其涉及一种图像处理方法及电子设备。

背景技术

随着电子设备的普及，很多场所都会使用智能安防设备。如，智能门锁和智能监控摄像头等。其中，智能门锁能够提供用户多种不同的开锁方式、智能猫眼功能、语音提示以及低电量提醒等。用户还可以通过终端设备与智能门锁进行交互。例如，用户可以通过终端设备中的应用程序(Application，APP)实时查看智能门锁的猫眼画面或者回看智能门锁的猫眼视频，用户还可以通过终端中的应用程序和智能门锁进行通讯。

然而，用户在实时查看猫眼画面或者回看猫眼视频的过程中，智能门锁采集的均为用户家门外的图像和视频。这样，从图像和视频中能够看到门外门口附近的其他用户。同样用户自身在其他用户的家门附近时也会被其他用户的智能门锁采集到。这样，容易侵犯其他用户的隐私，而且也容易泄露用户自身的隐私，导致隐私安全性较差。

发明内容

本申请实施例提供一种图像处理方法及电子设备，通过基于目标深度数据对第一场景图像中隐私对象对应的隐私信息进行模糊处理，避免侵犯隐私对象的隐私信息，提升电子设备的安防效果以及用户的使用体验。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种图像处理方法，应用于电子设备，该方法包括：获取第一场景图像和第一场景图像对应的第一深度图像。之后，若确定第一场景图像中包括目标感兴趣ROI区域，则基于第一深度图像获取目标ROI区域对应的目标深度数据；目标ROI区域包括隐私对象对应的隐私信息。最后，根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理。若确定第一场景图像中不包括目标ROI区域，则直接显示第一场景图像。

可见，门外对象与用户的交互可能性与目标深度数据对应的距离相关，比如如果门外对象距离门较远，则门外对象与用户进行交互(比如门外对象来访)的可能性较低，因而可以对该门外对象对应的隐私信息进行模糊处理。再比如，如果门外对象距离门较近，则门外对象与用户进行交互的可能性较高，因而可以不对该门外对象对应的隐私信息进行模糊处理。而且，如果门外对象距离门较近，则门外对象对用户来说安全性较低，存在潜在的安全性问题，因而不需要对其模糊处理。从而使用户可以查看清楚该门外对象。如果门外对象距离门较远，则门外对象对用户来说安全性较高，不存在潜在的安全性问题，因而需要对其模糊处理。从而避免侵犯门外对象的隐私信息。同时也可以对门外对象的隐私信息进行保护，提高电子设备的安全性。

在第一方面的一种可实现方式中，在根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理的过程中，包括：根据目标ROI区域对应的目标深度数据对目标ROI区域中的隐私区域进行模糊处理；其中，隐私区域用于表征隐私信息对应的区域，隐私区域包括隐私对象对应的人脸区域或人形区域。

这样，在目标ROI区域内进行模糊处理的过程中，也可以仅对目标ROI区域内的隐私区域进行模糊处理。本申请无需将整个目标ROI区域进行模糊处理，可以将隐私对象对应的人脸区域或人形区域进行模糊，更为精确地对隐私对象的隐私信息进行保护，提升电子设备的安防效果。

在第一方面的一种可实现方式中，方法还包括：显示模糊处理后的第一场景图像，第一场景图像上包括模糊处理后的目标ROI区域。可见，本申请可以将模糊处理后的第一场景图像在电子设备中显示出来，并且显示的第一场景图像中针对隐私对象的隐私信息是模糊的。这样，即使所拍摄的第一场景图像中携带有隐私信息，用户在使用电子设备时也看不到隐私对象的隐私信息。进而，避免侵犯隐私对象的隐私信息，提高了用户的使用体验。

在第一方面的一种可实现方式中，电子设备包括第一图像传感器和第二图像传感器，第一图像传感器用于采集第一场景图像，第二图像传感器用于采集第一深度图像；在获取第一场景图像和场景图像对应的第一深度图像的过程中，包括：在满足第一预设条件时，控制第一图像传感器和第二图像传感器同步采集的第一场景图像和第一深度图像。其中，第一预设条件包括：电子设备检测到隐私对象的声音分贝大于预设分贝，和/或，电子设备检测到隐私对象针对电子设备的触碰操作，和/或，电子设备检测到隐私对象的停留时间大于预设时间。

可见，虽然电子设备可以实时持续采集并处理第一场景图像和第一深度图像，但为了降低电子设备的使用功耗，电子设备可以在满足第一预设条件时，再采集并处理第一场景图像和第一深度图像。例如，电子设备检测到隐私对象的分贝大于预设分贝，和/或，检测到隐私对象针对电子设备的触碰操作，和/或，检测到隐私对象的停留时间大于预设时间等等。这样，在检测到有隐私对象后，执行对应的图像处理。可以有效地降低电子设备的使用功耗，提高用户的使用体验感。

在第一方面的一种可实现方式中，在根据目标ROI区域对应的目标深度数据对目标ROI区域进行模糊处理的过程中，包括：根据目标ROI区域对应的目标深度数据确定目标ROI区域满足第二预设条件时，对目标ROI区域进行模糊处理。其中，第二预设条件包括：目标ROI区域对应的目标深度数据所对应的目标深度值位于第一预设范围内；或，目标ROI区域对应的目标深度数据所对应的目标深度值位于第二预设范围内，且目标ROI区域对应的目标深度数据的置信度大于第一预设阈值。第二预设条件还包括：目标ROI区域中的隐私信息包括人脸。

可见，在根据目标ROI区域对应的目标深度数据对目标ROI区域进行模糊处理的过程中，可以设定多个不同的第二预设条件来对目标ROI区域进行模糊处理。例如，若目标ROI区域对应的目标深度数据所对应的目标深度值位于第一预设范围内且目标ROI区域中的隐私信息包括人脸，则对目标ROI区域进行模糊处理。再例如，若目标ROI区域对应的目标深度数据所对应的目标深度值位于第二预设范围内，且目标ROI区域对应的目标深度数据的置信度大于第一预设阈值。则对目标ROI区域进行模糊处理。这样，通过设定第二预设条件，可以有效地将隐私对象的隐私信息进行模糊，同时还能够获取到目标访客也就是非隐私对象的隐私信息。保证了电子设备的安防效果，提高用户的使用体验。

在第一方面的一种可实现方式中，在基于第一深度图像获取目标ROI区域对应的目标深度数据的过程中，包括：基于第一深度图像和距离修正参数，获取目标ROI区域对应的目标深度数据；距离修正参数根据第一图像传感器和第二图像传感器的标定结果获得，距离修正参数用于修正第一深度图像上的深度数据。

其中，标定的过程包括：控制第一图像传感器和第二图像传感器同步采集第二场景图像和第二深度图像。之后，基于第二场景图像计算得到第一图像传感器对应的标定参数。最后，根据第一图像传感器对应的标定参数确定标定结果，标定结果包括第二图像传感器对应的距离修正参数；距离修正参数用于建立第一场景图像与第一深度图像之间的映射关系。

可见，为了第二图像传感器采集的深度图像中的的深度数据为用户与电子设备之间垂直方向的距离，本申请通过联合标定第二图像传感器和第一图像传感器，确定标定结果，标定结果包括距离修正参数，以便于保证可见光和红外光波图像的匹配，具有精度高、稳定性好的特点。同时，在基于第一深度图像获取目标ROI区域对应的目标深度数据的过程中，可以利用距离修正参数修正第一深度图像上的深度数据，以得到更为准确的目标ROI区域对应的目标深度数据。便于后续根据目标ROI区域对应的目标深度数据对目标ROI区域进行模糊处理。在第一方面的一种可实现方式中，在确定第一场景图像中的目标ROI区域的过程中，包括：识别第一场景图像中包括目标特征的初始ROI区域；其中，目标特征用于表征隐私对象对应的隐私信息，隐私信息包括隐私对象对应的人脸或人形。之后，基于初始ROI区域，确定目标ROI区域。

在基于初始ROI区域，确定目标ROI区域的过程中，包括：基于第一场景图像，获取初始ROI区域对应的像素数据。之后，基于第一深度图像和像素数据，获取初始ROI区域对应的初始深度数据。接着，基于距离修正参数修正初始ROI区域对应的初始深度数据，得到初始ROI区域对应的目标深度数据。最后，根据初始ROI区域对应的目标深度数据，对初始ROI区域进行筛选，将筛选后的初始ROI区域确定为目标ROI区域。

可见，在确定第一场景图像中的目标ROI区域的过程中，可以预先识别包括目标特征的初始ROI区域，目标特征用于表征隐私对象对应的隐私信息，隐私信息可以包括隐私对象对应的人脸或人形。并且获取并修正初始ROI区域对应的初始深度数据，最后，根据初始ROI区域对应的目标深度数据对初始ROI区域进行筛选，将筛选后的初始ROI区域确定为目标ROI区域。进而，提高数据处理速度以及数据的准确性。在第一方面的一种可实现方式中，在根据初始ROI区域对应的目标深度数据对初始ROI区域进行筛选的过程中，包括：获取初始ROI区域对应的目标深度数据的置信度。之后，根据置信度和第二图像传感器的有效距离范围对初始ROI区域进行筛选；有效距离范围根据第二图像传感器的硬件条件设定。

这样，本申请可以根据目标深度数据以及对应的置信度对初始ROI区域进行筛选。目的是过滤无效ROI区域。通过将不具备空间位置的初始ROI区域进行过滤，提高数据处理速度以及数据的准确性。

第二方面，提供了一种智能门锁，智能门锁包括存储器、一个或多个处理器和摄像头；存储器与处理器耦合；其中，摄像头用于采集第一场景图像和第一深度图像；存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得处理器执行下述步骤：智能门锁获取第一场景图像和第一场景图像对应的第一深度图像。若确定第一场景图像中包括目标感兴趣ROI区域，则基于第一深度图像获取目标ROI区域对应的目标深度数据；目标ROI区域包括隐私对象对应的隐私信息。之后，智能门锁根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理。从而能够避免侵犯隐私对象的隐私信息。同时也可以对隐私对象的隐私信息进行保护，提升了电子设备的安防效果以及用户的使用体验。

在第二方面的一种可实现方式中，处理器执行根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理，包括：智能门锁根据目标ROI区域对应的目标深度数据对目标ROI区域中的隐私区域进行模糊处理；其中，隐私区域用于表征隐私信息对应的区域，隐私区域包括隐私对象对应的人脸区域或人形区域。可见，智能门锁在模糊处理目标ROI区域时，可以仅对目标ROI区域中的隐私区域进行模糊处理，更为精确地对隐私对象的隐私信息进行保护，提高智能门锁的安全性。

在第二方面的一种可实现方式中，处理器还执行下述步骤：显示模糊处理后的第一场景图像，第一场景图像上包括模糊处理后的目标ROI区域。智能门锁可以在显示屏中显示模糊处理后的第一场景图像，第一场景图像上包括模糊处理后的目标ROI区域。这样，即使所拍摄的第一场景图像中携带有隐私信息，用户在使用智能门锁时也看不到隐私对象的隐私信息。避免侵犯隐私对象的隐私信息，提升了电子设备的安防效果以及用户的使用体验。

第三方面，提供了一种电子设备，电子设备包括存储器、一个或多个处理器；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面所述的图像处理方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机可以执行如第一方面所述的图像处理方法。

附图说明

图1为本申请实施例提供的一种图像处理方法的场景示意图；

图2为本申请实施例提供的一种智能门锁的硬件结构示意图；

图3为本申请实施例提供的一种智能门锁的软件结构示意图；

图4为本申请实施例提供的一种标定过程的示意图；

图5为本申请实施例提供的一种第一图像传感器和第二图像传感器标定过程的二维平面示意图；

图6为本申请实施例提供的一种第一图像传感器和第二图像传感器标定过程的三维立体示意图；

图7为本申请实施例提供的一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种第一图像传感器和第二图像传感器标定过程的流程示意图；

图9为本申请实施例提供的一种初始ROI区域以及对应区域类型的示意图；

图10为本申请实施例提供的一种模糊目标ROI区域中局部区域的示意图；

图11为本申请实施例提供的一种模糊全部目标ROI区域的示意图；

图12为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。

此外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

随着电子设备的普及，很多场所都会使用智能安防设备。如，智能门锁和智能监控摄像头等。其中，智能门锁能够提供用户多种不同开锁方式、智能猫眼功能、语音提示以及低电量提醒等。用户还可以通过终端设备与智能门锁进行交互。例如，用户可以通过终端设备中的应用程序(Application，APP)实时查看智能门锁的猫眼画面或者回看智能门锁的猫眼视频。

然而，参见图1，用户在实时查看猫眼画面或者回看猫眼视频的过程中，智能门锁采集的均为用户家门外的图像和视频。从图像和视频中能够看到门口附近的门外用户。其中，门外用户包括家中目标访客以及除目标访客之外的非目标访客。这样，就会容易侵犯到非目标访客的隐私。同样如果用户自身不是目标访客也会被其他用户的智能门锁采集到。这样，也会泄露用户自身的隐私，导致隐私安全性较差。

并且，为了保护用户的隐私信息，如果关闭智能门锁的拍照功能、摄像功能以及上传图像和视频功能并仅保留语音通过功能，那么则无法获取到关于目标访客对应的关键信息。降低了智能门锁的安防效果，降低用户的使用体验。

基于上述内容，为了能够获取到门外目标访客的关键信息的同时避免侵犯非目标访客的隐私信息，本申请提供了一种图像处理方法，可以应用于电子设备中。

需要说明的是，该电子设备可以是具有摄像头的智能设备，比如可以包括智能猫眼、智能门锁、智能监控摄像头等智能安防设备，还可以包括手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、可穿戴设备、人工智能(artificial intelligence，AI)设备或其他设备等。

下面以智能门锁为示例进行阐述。智能门锁具有智能猫眼的功能，比如智能门锁上可以安装有智能猫眼。智能门锁可以采集门外的场景图像并进行模糊等处理，还可以在智能门锁配置的显示屏上显示处理后的图像。

在用户实际使用智能门锁过程中，可以根据门外用户与智能门锁之间的距离，决定是否隐藏门外用户的隐私信息。例如，通过采用智能门锁中的图像传感器(Colorsensor)和深度图像传感器(TOF sensor)联合工作，可以获取到更加丰富的关于门外用户的图像信息。其中，第一图像传感器用于采集场景图像，该第一图像传感器例如可以是RGB传感器；第二图像传感器用于采集深度图像，该第二图像传感器例如可以是TOF传感器。为便于后续描述，将图像传感器称为第一图像传感器，以及将深度图像传感器称为第二图像传感器。

之后，基于图像信息得到门外用户与智能门锁之间的距离。当门外用户距离智能门锁满足特定条件时，例如当门外用户距离智能门锁较远时，智能门锁可以将图像信息中关于门外用户的隐私信息进行隐藏。可以理解的是，需要隐藏隐私信息的门外用户为非目标访客。例如，偶然路过家门的非目标访客。这样，通过将其隐私信息隐藏，避免侵犯非目标访客对应的隐私。而当门外用户距离智能门锁满足第二特定条件时，例如当门外用户距离智能门锁较近时，则确定门外用户为目标访客，不需要隐藏对应的隐私信息。因此，智能门锁既可以获取到目标访客的关键信息，如目标访客的人脸信息、目标访客的动作信息以及目标访客的携带物品信息等等。同时还可以对关键信息进行处理，从而隐藏非目标访客的隐私信息。避免侵犯非目标访客隐私的同时保证了智能门锁的安防效果，提高了智能门锁的安全性能，提高用户的使用体验。为便于后续描述，将非目标访客称为隐私对象，以及将目标访客称为非隐私对象。

下面介绍本申请实施例涉及的智能门锁。

图2示出了智能门锁500的硬件结构示意图。

智能门锁500可以包括处理器510，内部存储器520，通用串行总线(universalserial bus，USB)接口530，充电管理模块540，电源管理模块541，电池542，天线，无线通信模块550，音频模块560，扬声器560A，传感器模块570，按键580，指示器581，摄像头582，显示屏583等。其中，传感器模块570可以包括陀螺仪传感器570A，加速度传感器570B，指纹传感器570C，触摸传感器570D、环境光传感器570E、第一图像传感器570F以及第二图像传感器570G等。

可以理解的是，本发明实施例示意的结构并不构成对智能门锁500的具体限定。在本申请另一些实施例中，智能门锁500可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器510可以包括一个或多个处理单元，例如：处理器510可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器510中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器510中的存储器为高速缓冲存储器。该存储器可以保存处理器510刚用过或循环使用的指令或数据。如果处理器510需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器510的等待时间，因而提高了系统的效率。

在一些实施例中，处理器510可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器510可以包含多组I2C总线。处理器510可以通过I2C接口耦合触摸传感器570D，使处理器510与触摸传感器570D通过I2C总线接口通信，实现智能门锁500的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器510可以包含多组I2S总线。处理器510可以通过I2S总线与音频模块560耦合，实现处理器510与音频模块560之间的通信。在一些实施例中，音频模块560可以通过I2S接口向无线通信模块550传递音频信号，实现通过智能门锁500输入语音指令的功能。

PCM接口也可以用于音频通信，音频模块560也可以通过PCM接口向无线通信模块550传递音频信号，实现通过智能门锁500输入语音指令的功能。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器510与无线通信模块550。例如：处理器510通过UART接口与无线通信模块550中的蓝牙模块通信，实现发送或扫描蓝牙广播等蓝牙功能。

MIPI接口可以被用于连接处理器510与显示屏583，摄像头582等外围器件。在一些实施例中，处理器510和摄像头582通过CSI接口通信，实现智能门锁500的拍摄功能。处理器510和显示屏583通过DSI接口通信，实现智能门锁500的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器510与摄像头582，显示屏583，无线通信模块550，音频模块560，传感器模块570等。

USB接口530是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口530可以用于连接充电器为智能门锁500充电，也可以用于智能门锁500与外围设备之间传输数据。

充电管理模块540用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块540可以通过USB接口530接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块540可以通过智能门锁500的无线充电线圈接收无线充电输入。充电管理模块540为电池542充电的同时，还可以通过电源管理模块541为智能门锁500供电。

电源管理模块541用于连接电池542，充电管理模块540与处理器510。电源管理模块541接收电池542和/或充电管理模块540的输入，为处理器510，内部存储器520，外部存储器，显示屏583，摄像头582，和无线通信模块550等供电。电源管理模块541还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

智能门锁500的无线通信功能可以通过天线和无线通信模块550，调制解调处理器以及基带处理器等实现。

天线用于发射和接收电磁波信号。智能门锁500中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

无线通信模块550可以提供应用在智能门锁500上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络))以及蓝牙(bluetooth，BT)等无线通信的解决方案。无线通信模块550可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块550经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器510。无线通信模块550还可以从处理器510接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。

智能门锁500通过GPU，显示屏583，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏583和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器510可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏583用于显示图像，视频等。显示屏583包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，智能门锁500可以包括1个或N个显示屏583，N为大于1的正整数。

智能门锁500可以通过ISP，摄像头582，视频编解码器，GPU，显示屏583以及应用处理器等实现拍摄功能。

ISP用于处理摄像头582反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头582中。

摄像头582用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，智能门锁500可以包括1个或N个摄像头582，N为大于1的正整数。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现智能门锁500的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器520可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器510通过运行存储在内部存储器520的指令，从而执行智能门锁500的各种功能应用以及数据处理。内部存储器520可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储智能门锁500使用过程中所创建的数据(比如密码数据、音频数据等)等。此外，内部存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

智能门锁500可以通过音频模块560和扬声器560A以及应用处理器等实现音频功能。扬声器560A，也称“喇叭”，用于将音频电信号转换为声音信号。智能门锁500可以通过扬声器560A收听提示音。

陀螺仪传感器570A可以用于确定智能门锁500的运动姿态。在一些实施例中，可以通过陀螺仪传感器570A确定智能门锁500是否处于移动状态。

距离传感器570B，用于测量距离。智能门锁500可以通过红外或激光测量距离。在一些实施例中，拍摄场景，智能门锁500可以利用距离传感器570B测距以实现快速对焦。

环境光传感器570E用于感知环境光亮度。智能门锁500可以根据感知的环境光亮度自适应调节显示屏583亮度。环境光传感器570E也可用于拍照时自动调节白平衡。

指纹传感器570C用于采集指纹。智能门锁500可以利用采集的指纹特性实现指纹解锁。

触摸传感器570D，也称“触控面板”。触摸传感器570D可以设置于显示屏583，由触摸传感器570D与显示屏583组成触摸屏，也称“触控屏”。触摸传感器570D用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏583提供与触摸操作相关的视觉输出。

第一图像传感器570F用于根据接收到的反射光中的可见光信号转换为可见光信息，该可见光信息是以电信号的形式存在，进而基于可见光信息生成可见光图像。可见光图像也可以称为场景图像。在本申请实施例中，第一图像传感器570F可以用于采集门外场景中的场景图像。

第二图像传感器570G通常是通过飞行时间法来测量该被测物体(或被测目标)的深度数据，具体地，飞行时间法(Time Of Flight，TOF)通过测量测量仪器主动发出的脉冲信号从发射到接收的时间间隔T(常被称为脉冲测距法)或激光往返被测物体一次所产生的相位差(相位差测距法)，以换算成被拍摄景物的距离，用于产生深度数据来实现对被测物体(或被测物体检测区域)的三维结构或三维轮廓的测量，进而获得该被测物体的灰度图像和深度数据。同理，第二图像传感器将接收到的反射光中的红外光信号转换为深度信息，该深度信息是以电信号的形式存在，进而基于深度信息生成灰度图像和深度数据。在本申请实施例中，第二图像传感器570G可以用于采集门外用户与智能门锁之间的深度数据。

在另一些实施例中，上述第一图像传感器570F和第二图像传感器570G还可以设置于一个或几个摄像头582中。本申请实施例不对部件布置进行具体限定。

按键580包括开机键，音量键等。按键580可以是机械按键。也可以是触摸式按键。智能门锁500可以接收按键输入，产生与智能门锁500的用户设置以及功能控制有关的键信号输入。

指示器581可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

图3示出了智能门锁500的软件结构示意图。

智能门锁500的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的系统为例，示例性说明智能门锁500的软件结构。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为三层，从上至下分别为应用程序层，硬件抽象层以及内核层。

应用程序层可以包括一系列应用程序包。

如图3所示，应用程序包可以包括第一应用、第二应用以及第三应用等应用程序。其中，第一应用用于进行徘徊逗留检测。第一应用可以检测是否有目标在指定区域内滞留超过一定的时间。第二应用用于与访客进行通话。第三应用用于对指定区域进行智能抓拍。

硬件抽象层(Hardware Abstraction Layer，HAL)位于应用程序层与内核层之间，用于衔接应用程序层与内核层，从而在硬件变更的情况下使得上层业务软件对于硬件变更基本无感知。其中，硬件抽象层可以实现应用程序框架层的功能，例如，为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。因此，硬件抽象层可以包括一些预先定义的函数。

在一些实施例中，硬件抽象层还包括多个模块，每个模块与一类硬件相对应，如视频输入(Video Input，VI)模块、视频处理子系统(Video Process sub-system，VPSS)模块、视频编码(Video Encoder，VENC)模块、感兴趣(region of interest，ROI)区域识别模块、ROI区域处理模块、标定模块以及视频输出(Video Output，VO)模块等等。视频处理子系统模块可以分别与视频输入模块、视频输出模块以及视频编码模块等电连接。

其中，标定模块用于标定第一图像传感器和第二图像传感器。视频输入模块用于接收多路视频信号传输给视频处理子系统模块。视频处理子系统模块用于接收解码后的数据并进行视频处理，将处理后的视频传输至ROI区域识别模块。在一些实施例中，VPSS模块还可以用于实现视频处理功能。例如，支持视频裁剪，设置边框大小和颜色配置，分块处理，视频遮挡，视频叠加以及视频数据压缩等视频处理功能。

ROI区域识别模块用于识别视频中的ROI区域。ROI区域处理模块用于对视频中的ROI区域进行处理，并将处理后的视频传输至视频编码模块。在一些实施例中，ROI区域处理模块可以对识别得到的ROI区域进行筛选，剔除无效ROI区域。还可以对识别得到的ROI区域进行区域划分，得到ROI前景区域和ROI背景区域等。

视频编码模块用于接收到ROI区域处理模块发送处理后的视频，对该视频进行编码处理。在本申请实施例中，视频编码模块可以用于对视频中的ROI区域进行模糊处理。视频输出模块用于将模糊处理后的视频进行输出。

内核层是硬件和软件之间的层。内核层至少包含第一图像传感器驱动和第二图像传感器驱动等等。

需要说明的是，在一些实施例中，电子设备可以包括摄像头、处理器和显示屏，摄像头用于采集场景图像，处理器用于处理摄像头采集的场景图像如进行模块处理等，显示屏用于显示处理器处理完成的场景图像。比如，该电子设备可以是智能猫眼、智能门锁或具有智能猫眼功能的智能门锁。其中，摄像头、处理器和显示屏可以设置在一起，也可以分开设置。比如，当电子设备为智能门锁时，摄像头可以位于门的外侧，显示屏位于门的内侧。

在另一些实施例中，电子设备也可以只包括摄像头和处理器，而不包括显示屏。处理器可以对摄像头采集的场景图像进行模糊等处理。电子设备可以把处理后的场景图像发送给其他设备进行显示。比如电子设备可以是不设有显示屏的智能门锁，智能门锁可以将处理后的场景图像发送给手机进行显示。

在一些实施例中，在同一个摄像头中可以设置多个图像传感器。例如，单镜头双传感器的相机，将第一图像传感器和第二图像传感器均设置在一个相机中。再例如，双镜头双传感器的相机以及单镜头三传感器的相机，这些传感器用于对相同的被拍摄物体成像。当镜头数目少于传感器数目时，在镜头和传感器之间还可以设置分光器，以便把一个镜头进入的光线分解到多个传感器上，确保每个传感器都能接收到光线。同时，在这些摄像头中，处理器的数量可以是一个或多个。多个图像传感器相配合可以采集到被拍摄物体的图像并获取得到被拍摄物体的距离。

例如，在本申请实施例中，智能门锁500中设置有第一图像传感器和第二图像传感器，第二图像传感器和第一图像传感器可以分别设置在各自的深度图像摄像头和图像摄像头中，也可以设置在一个摄像头中。深度图像摄像头也可以称为深度图像相机，图像摄像头也可以称为图像相机。在设置第一图像传感器和第二图像传感器的过程中，可以将第二图像传感器和第一图像传感器的光敏面可以平行设置。由于第二图像传感器采集的为红外光波图像，第一图像传感器采集的为可见光图像。所以，将两者平行设置可以保证可见光和红外光波图像的匹配，以便于获得更加丰富的图像信息。

再例如，在本申请实施例中，智能门锁500中还可以设置有其他类型的图像传感器和距离传感器。其他类型的图像传感器还可以包括色标传感器。其他类型的距离传感器可以包括激光距离传感器、超声波传感器以及红外测距传感器等。可以理解的是，本申请实施例中还可以将其他类型的图像传感器和其他类型的距离传感器设置在智能门锁中，以便于获得更加丰富的图像信息。在一些实施例中，在使用第一图像传感器和第二图像传感器出厂之前，通常会进行相机标定，以使得第一图像传感器采集的图像信息和第二图像传感器采集的深度信息更加精确。

需要说明的是，标定是指确定空间物体表面某点的三维几何位置与第一图像传感器和第二图像传感器采集的图像中对应点之间相互关系的过程。进而，在标定过程中需要建立成像几何模型，这些几何模型参数可以被概括为标定参数。其中，标定参数包括内参、外参以及畸变参数等。在大多数情况下，标定参数可以通过实验和计算才能够求解得到，通过实验和计算求解标定参数的过程被即为标定过程。标定过程是机器视觉/计算机视觉等领域的重要环节，因此，做好标定过程是做好后续工作的前提，快速准确地完成标定过程则是提高后续工作效率的基础。

本申请实施例智能门锁通过确定世界坐标系下三维空间点与像素平面像素点间的转换关系以及在成像过程中的畸变系数，完成第一图像传感器和第二图像传感器的标定过程，以便于后续进行图像处理。并且智能门锁可以将上述第一图像传感器和第二图像传感器采集到的图像数据及深度数据进行配准融合，得到信息丰富的图像。

如图4所示，标定过程中会涉及到的基本原理为：现实空间中的物体是三维的，而其对应的图像中的物体是二维的。因此，从三维场景中的物体到其对应的二维图像之间可以认为存在一个三维到二维的几何模型，该几何模型使得三维场景中的物体到其对应的图像之间形成从三维到二维或者二维到三维的转换。那么，容易理解的是，在第一图像传感器和第二图像传感器对三维场景中的物体进行图像采集时，第一图像传感器和第二图像传感器就可以被认为是这个几何模型，而标定参数就是这个几何模型的参数。因此，只要求得标定参数，就可以由物体在图像中的像素坐标反推出物体在空间中的世界坐标，由此实现视觉检测、生物特征识别、距离测量、三维重建等功能。

本申请实施例提供一种图像处理方法，可以应用于电子设备，方法包括：首先，标定电子设备中的第一图像传感器和第二图像传感器，得到标定结果。之后，同步获取第一图像传感器采集的第一场景图像，以及第二传感器采集的第一深度图像。在确定第一场景图像中包括目标感兴趣ROI区域的情况下，基于第一深度图像获取目标ROI区域对应的目标深度数据。其中，目标ROI区域包括隐私对象对应的隐私信息；之后，根据目标ROI区域对应的目标深度数据，在第一场景图像上的目标ROI区域内进行模糊处理。这样，通过根据目标深度数据在目标ROI区域内进行模糊处理。可以隐藏第一场景图像中隐私对象对应的隐私信息，避免侵犯隐私对象的隐私信息，同时也可以对隐私对象的隐私信息进行保护。

下面将以智能门锁为例，对本申请实施例提供的图像处理方法进行具体说明。图7为本申请实施例示出的一种图像处理方法的流程示意图，如图7所示，该方法可以包括如下步骤S701-S708。

步骤S701、智能门锁标定第一图像传感器和第二图像传感器。

在一些实施例中，通常第一图像传感器和第二图像传感器安装于同一平面，安装位置不能重叠。因此，第一图像传感器和第二图像传感器会根据自身可视角度形成两个圆锥体视场，两个视场在平面投影参见图6。需要说明的是，第一图像传感器的接收镜头视场角可以大于第二图像传感器的接收镜头的视场角。也就是说，第一图像传感器视场β可以覆盖第二图像传感器视场γ。目的是可以在可见光的视场范围内截取出红外光波的视场，使第一图像传感器采集的可见光图像和第二图像传感器采集红外光波图像中的深度数据能够一一对应，便于后续图像处理。

在实际场景中，参见图5，图5为本申请实施例示出的用户在门外的俯视图。可以理解的是，位置1即为用户站在门外，且距离智能门锁有一定距离的位置。示例性的，用户在位置1时，第二图像传感器采集深度图像并解析，可以得到智能门锁与用户之间的深度值L2为3米。同时，第一图像传感器采集场景图像并解析，可以得到场景图像中智能门锁与用户之间的距离为L1。可以看出L1等于L2也为3米。也就是说，只要第一图像传感器采集场景图像为用户所在平面的图像。无论用户向左平移或者向右平移，解析场景图像中智能门锁与用户之间的距离均为空间内用户与智能门锁之间垂直方向的距离，即3米。

然而，当用户向左平移到位置2时，此时，解析第二图像传感器采集的深度图像，得到智能门锁与用户之间的距离为L3。可以看出，L3大于L2，且应等于L2/sin(ɑ)。但实际上，用户即使向左平移到位置2时，智能门锁与用户之间的距离也应该为3米。因此，为了使第二图像传感器采集的深度数据为用户与智能门锁之间垂直方向的距离。本申请实施例可以通过联合标定第二图像传感器和第一图像传感器，以便于保证可见光和红外光波图像的匹配，具有精度高、稳定性好的特点。

由此，本申请实施例提供的标定过程可以包括：首先，控制第一图像传感器和第二图像传感器同步采集第二场景图像和第二深度图像。之后，基于第二场景图像计算得到第一图像传感器对应的标定参数。最后，根据第一图像传感器对应的标定参数确定标定结果，标定结果包括第二图像传感器对应的距离修正参数；其中，距离修正参数用于建立第一图像传感器采集的第一场景图像与第二图像传感器采集的第一深度图像之间的映射关系。

下面结合图8对本申请实施例提供的标定第一图像传感器和第二图像传感器的过程进行具体详细描述。参见图8，标定第一图像传感器和第二图像传感器的过程包括如下步骤：

步骤S801、智能门锁控制第一图像传感器和第二图像传感器同步采集第二场景图像和第二深度图像。

其中，第二场景图像可以包括红绿蓝(Red Green Blue，RGB)图像。第二场景图像和第二深度图像为同一平面上沿同一拍摄方向同步采集的同一幅图像。第二深度图像包括第二场景图像上各个像素点对应的拍摄对象到上述平面的深度数据。

在一种可实现方式中，通常在第一图像传感器和第二图像传感器共同的视场区域内配置标定板。配置标定板的目的是为了使得第一图像传感器和第二图像传感器能够同时对标定板进行拍摄，进而获得标定板对应的第二场景图像和第二深度图像。以便于后续对第一图像传感器和第二图像传感器进行标定。

在配置标定板的过程中，可以对标定板进行无约束的放置。例如，任意改变标定板的位置。例如，将标定板沿同一平面左右平移，并在每次改变标定板的位置后，可以重复采集第二场景图像和第二深度图像。应当理解的是，后续第一图像传感器和第二图像传感器的标定参数是需基于第二场景图像和第二深度图像计算的。因此，在本申请实施例中可以同时对不同位置的标定板进行多组采集。这样，可以基于多组第二场景图像和第二深度图像标定第一图像传感器和第二图像传感器，提高标定精度。

需要说明的是，标定板上可以设置预设图案，如印制棋盘格图案、圆点图案、二维码图案或者其他特定图案。对于标定板来说，其中的任意一个图案单元。例如，棋盘格图案的任意一个方格、圆点图案的任意一个圆点或者位于中心的任意形状区域，均可以称作一个标志点，以用于后续计算标定参数。

在一些可实现方式中，第一图像传感器和第二图像传感器同步采集第二场景图像和第二深度图像中，需要保持同一幅图像且尺寸大小相等。也就是说，第二场景图像和第二深度图像的分辨率(即像素)要保持相同。通常情况下，如果第二图像传感器采集的第二深度图像分辨率大于第一图像传感器采集的第二场景图像的分辨率，那么，可以在进行第一图像传感器和第二图像传感器标定之前，可以预先对第一图像传感器采集的第二场景图像进行降采样等处理方式，以获得与第二深度图像分辨率相同的第二场景图像。

步骤S802、智能门锁基于第二场景图像计算得到第一图像传感器对应的标定参数。

步骤S803、智能门锁基于第一图像传感器对应的标定参数确定标定结果，标定结果包括第二图像传感器对应的距离修正参数。

在本申请实施例中，选取每组第二场景图像中位于中心的圆点为标志点。进而，通过采集的多组第二场景图像中的标志点以及各个坐标系之间的转换矩阵，可以计算得到第一图像传感器对应的标定参数。其中，标定参数可以包括第一图像传感器对应的内参矩阵、第一图像传感器对应的外参矩阵以及第一图像传感器对应的畸变系数等。需要说明的是，本申请实施例对标志点和计算标定参数的方法不作具体的限定，本领域技术人员可以根据实际需求自行选择标志点以及计算方法，这些设计都没有超出本申请实施例的保护范围。

进一步地，本申请实施例可以根据第一图像传感器对应的标定参数确定第二图像传感器对应的距离修正参数。示例性的，当采集到的第二场景图像存在畸变时，如该第二场景图像中的标志点相对于标定板图像中的标志点向左平移了20个像素的距离。同时，第二图像传感器由于自身结构原因，在采集对应的深度图像后，该深度图像中标志点对应的深度值也会与标定板图像中标志点对应的深度值不同。因此，可以根据第二场景图像对应的标定参数对第二图像传感器进行标定，以完成第一图像传感器与第二图像传感器之间的联合标定。

为了便于理解，参见图6，可以将采集到的第二场景图像中的标志点定义为图中的用户。当第一图像传感器采集的第二场景图像中用户沿第一方向移动20个像素的距离后，解析第二场景图像。可以得出无论用户处于未移动状态或移动后状态，在空间范围内与第一图像传感器之间的距离是不变的，均为垂直方向距离即L4。

由于第二图像传感器的测距原理是确定第二图像传感器与物体或周围环境之间的距离，即通过第二图像传感器测量发射光到达物体并反射回第二图像传感器所用的时间，并将其转换为距离。因此，解析第二图像传感器采集的深度图像后，可以得出用户与第二图像传感器之间的距离为L6。而在实际空间范围内第二图像传感器与用户之间的距离应为L5。而L5也应垂直方向的距离，且等于即L4。

在本申请实施例中，可以基于第二场景图像中标志点的坐标和第一图像传感器对应的标定参数，计算得到距离修正参数，以便于将用户处于移动后状态与第二图像传感器之间的距离L6修正为用户处于未移动状态与第二图像传感器之间的距离L5。在一种可实现方式中，距离修正参数可以包括标志点相对于第二图像传感器偏移角度ɑ的正弦值。

步骤S804、智能门锁根据距离修正参数校正第二深度图像中的深度数据，以完成第一图像传感器和第二图像传感器的标定过程。

在本申请实施例中，可以根据距离修正参数校正第二图像传感器输出的第二深度图像对应的深度数据，进而完成第一图像传感器和第二图像传感器的联合标定。继续参见图5，例如，标志点相对于第二图像传感器偏移的角度ɑ为30°，第二图像传感器与用户之间垂直方向的深度值为0.5米，第二图像传感器输出的深度数据即深度值为1米。那么，将偏移角度30°的正弦值与深度值1米相乘，即可得到校正后的深度值0.5米。这样，校正后第二图像传感器输出的深度数据与在实际空间范围内第二图像传感器与用户之间垂直方向的深度值相同，完成标定过程。

可见，通过上述标定过程，本申请实施例可以将第二深度图像中的深度值映射至第二场景图像中，进而，建立可见光图像到红外光波图像之间的映射关系。并为后续第二图像传感器采集的深度数据(如第一深度图像)和第一图像传感器采集的图像数据(如第一场景图像)建立相互之间的对应关系。在第一图像传感器采集第二场景图像后，即可同步获取同一视场内第二场景图像对应的深度数据。同时，通过采用第一图像传感器和第二图像传感器的联合标定，能够实现快速精确配准场景图像数据与深度数据，提高标定精确度以及简化标定流程。

可以理解的是，通常第一图像传感器和第二图像传感器在标定过程中或在实际使用过程中采集的图像是不同的。示例性的，第一图像传感器和第二图像传感器在标定过程中采集的为包括标定板的图像，而第一图像传感器和第二图像传感器在实际使用过程中采集的为门外的图像。因此，为便于描述，在标定过程中第一图像传感器和第二图像传感器采集的为第二场景图像和第二深度图像。在后续实际使用过程中，第一图像传感器和第二图像传感器采集的为第一场景图像和第一深度图像。

步骤S702、若智能门锁满足第一预设条件，则控制第一图像传感器和第二图像传感器同步采集第一场景图像和第一深度图像。

在实际应用场景中，智能门锁可以一直持续采集用户家门外的场景图像。但当门外不存在用户时，智能门锁无需对采集图像进行关键信息处理并隐藏隐私信息。

为了确定门外是否存在用户，本申请实施例可以通过设置第一预设条件，若智能门锁满足第一预设条件，即可确定门外存在用户。之后控制第一图像传感器和第二图像传感器同步采集第一场景图像和第一深度图像，并基于采集第一场景图像和第一深度图像进行关键信息处理，以隐藏隐私信息。

在一种可实现方式中，第一预设条件包括：智能门锁检测到隐私对象的声音分贝大于预设分贝，和/或，智能门锁检测到隐私对象针对智能门锁的触碰操作，和/或，智能门锁检测到隐私对象的停留时间大于预设时间。

例如，门外用户声音超过预设分贝等。再例如，门外用户针对智能门锁的触碰操作。这样，当智能门锁检测到门外用户针对智能门锁的触碰操作，再或者检测到门外用户声音超过预设分贝时，可以确定门外存在用户，即满足第一预设条件。

或者，当门外出现的用户为短暂路过的情况下，如该门外用户在下楼梯的过程中短暂路过用户家门。此时，智能门锁也无需隐藏图像中的隐私信息。

再例如，门外用户在智能门锁前停留大于或等于3秒。这样，当智能门锁检测到门外用户在智能门锁前停留大于或等于3秒时，可以确定门外用户并非短暂路过用户家门，即满足第一预设条件。

在一些实施例中，智能门锁中可以设置有距离传感器和单片机。距离传感器可以用于测量距离，单片机用于计时。智能门锁可以通过距离传感器中的红外或激光测量距离。例如，当距离传感器检测到门外用户后，距离传感器持续发送第一信号至单片机，第一信号用于触发单片机进行计时。单片机接收到第一信号开始计时。若单片机计时超过预设阈值后，仍能持续接收到距离传感器发送的第一信号，即可确定门外用户在门外停留。

由此，智能门锁在满足第一预设条件后，可以采集图像并对图像进行关键信息处理，以便于隐藏隐私信息。其中，关键信息如门外用户的人脸信息、动作信息以及携带物品信息等等。

在一种实现方式中，为了减少智能门锁的功耗，在一直持续采集场景图像的过程中，智能门锁可以采用功耗较低的摄像头来采集图像，如使用除第一图像传感器和第二图像传感器之外清晰度较差的摄像头等。而在智能门锁满足第一预设条件后，再控制第一图像传感器和第二图像传感器采集第一场景图像和第一深度图像，以实现后续对图像中隐私信息的隐藏。当然，智能门锁还可以按照预设间隔周期性采集用户家门外的场景图像，以降低功耗。

在另一种实现方式中，智能门锁可以一直利用第一图像传感器和第二图像传感器采集图像。当智能门锁满足第一预设条件后，需要将采集的第一场景图像和第二深度图像进行关键信息处理，比如隐藏隐私信息。而在智能门锁未满足第一预设条件时，无需对采集的第一场景图像和第二深度图像进行关键信息处理。

可见，智能门锁通过设置第一预设条件，并在满足第一预设条件后采集第一场景图像和第二深度图像，以执行后续隐藏门外用户的隐私信息的操作/任务。可以对门外用户的关键信息进行处理，以达到保护用户隐私信息的目的。而在智能门锁未满足第一预设条件时，则无需采集第一场景图像和第二深度图像，并执行后续处理。这样，既可以提高门外存在用户的场景识别度，同时还可以降低智能门锁的使用功耗。

步骤S703、智能门锁识别第一场景图像中包括目标特征的初始感兴趣区域(region of interest，ROI)。

其中，包括目标特征的初始ROI区域表示门外用户对应隐私信息的区域。例如，目标特征包括人脸特征和人形特征等。

在智能门锁检测满足第一预设条件后，得到第一场景图像和第一深度图像。以及基于第一场景图像识别包括目标特征的初始ROI区域，初始ROI区域表示门外用户对应隐私信息的区域。由此，通过识别和处理包括目标特征的初始ROI区域，可以避免泄露门外用户的隐私信息的同时保护用户自身的隐私信息。同时，无需对第一场景图像中除初始ROI区域之外的其他部分进行处理，提高处理效率。

在本申请实施例中，可以将第一场景图像输入至目标模型中进行检测，得到包含人脸特征或者人形特征等目标特征的检测框以及对应的区域类型。其中，区域类型用于表征初始ROI区域中包括的是人脸区域或人形区域。之后，将检测框中的区域确定为初始ROI区域。为了考虑第一场景图像中的人体和/或物体拥有不同的几何特征，且由于透视关系，当人体和/或物体距离智能门锁越远时在图像中的尺寸越小。因此，如果赋予所有初始ROI区域为统一大小的矩形区域容易造成兴趣区域的信息缺失或冗余。由此，本申请中的检测框可以为适当大小的矩形，且初始ROI区域可以为尺寸不同的矩形区域。

可以理解的是，初始ROI区域指的是从图像中选择的一个图像区域，该区域是图像分析所关注的重点。本申请实施例通过圈定包括目标特征的区域作为对图像进一步处理的前提，可以减少图像处理时间，提高图像处理精度。需要说明的是，初始ROI区域可以是矩形区域、圆形区域或任意形状区域，在本申请实施例中可以为矩形区域，该初始ROI区域中包括目标特征指的是该初始ROI区域包括人脸区域和人形区域。

下面结合图9，对本申请实施例中的初始ROI区域以及对应的区域类型进行详细阐述。

在本申请实施例中，智能门锁基于采集的第一场景图像，可以对第一场景图像中包含人脸特征或者人形特征的初始ROI区域以及对应的区域类型进行识别。其中，区域类型用于表征初始ROI区域中包括的是人脸区域或人形区域。人脸区域用于表征门外用户对应的人脸信息。人形区域用于表征门外用户的外形轮廓信息。可以理解的是，本申请识别的包含目标特征的初始ROI区域均可以表征门外用户对应的隐私信息。以便于后续对初始ROI区域执行隐藏或不隐藏门外用户的隐私信息的操作/任务。

在另一些实施例中，门外用户对应的隐私信息包括但不局限于上述初始ROI区域中的人脸区域和人形区域。同样的，在识别初始ROI区域的过程中包括但不限于上述人脸特征和人形特征等目标特征。目标特征还可以包括用户携带的特定物品、特定物品的标识以及携带的宠物对应的特征等。例如，特定物品可以为工牌。再例如，特定物品还可以为背包，特定物品的标识可以为背包对应的品牌等。再例如，特定物品还可以为使用的智能设备。由此，上述与隐私信息对应的目标特征均可以作为识别的对象。

参见图9，可以看到，第一场景图像中可以包括一个或几个初始ROI区域。每个初始ROI区域均对应有区域类型。例如，初始ROI区域A人脸、初始ROI区域B人脸以及初始ROI区域C人形等。其中，每个初始ROI区域对应的区域类型可以相同也可以不同。再例如，初始ROI区域A对应的区域类型包括人脸区域、初始ROI区域B对应的区域类型包括人脸区域以及初始ROI区域C对应的区域类型包括人形区域。那么，初始ROI区域A对应的区域类型可以与初始ROI区域B对应的区域类型相同，并且与初始ROI区域C对应的区域类型不同。智能门锁可以通过每个初始ROI区域对应的区域类型确定初始ROI区域中包括人脸区域或人形区域。

在一些实施例中，不同的初始ROI区域之间还可以存在包含关系。示例性的，一个主初始ROI区域可以包含有一个子初始ROI区域。例如，初始ROI区域C的区域类型为人形区域。并且人形区域中有很大可能包括一个人脸区域。也就是说，初始ROI区域C作为主初始ROI区域，且还可以包含一个子初始ROI区域。该子初始ROI区域的区域类型为人脸。那么，子初始ROI区域也可以对应有一个检测框。可以理解的是，在后续对初始ROI区域处理过程中，可以以主初始ROI区域对应的区域类型执行隐藏或不隐藏的操作。

在一些实施例中，智能门锁在识别初始ROI区域以及对应的区域类型的过程中，可以基于目标特征对应的特征参数对初始ROI区域进行识别。例如，人脸对应有目标人脸特征以及人形对应有目标人形特征。目标人脸特征和目标人形特征均对应有特有的特征参数。

示例性的，智能门锁可以提取每个初始ROI区域的特征数据。根据提取的特征数据与目标人脸特征和目标人形特征对应的特征参数进行相似度匹配。例如，若特征数据与目标人脸特征的特征参数匹配后的相似度最高。那么，该初始ROI区域对应的区域类型中即包括人脸区域。再例如，根据提取的特征数据在人脸数据库中进行检索，以匹配出的与特征数据特征相似的数据样本。例如，匹配出相似度最高的为人脸样本。那么，该初始ROI区域对应的区域类型中即包括人脸区域。进而，智能门锁对每个初始ROI区域进行识别后，生成对应的区域类型。并且可以通过对应区域类型确定初始ROI区域包括哪种类型区域。

在另一些实施例中，区域类型还可以用于表示人脸区域或人形区域在初始ROI区域中的所占位置和所占面积。并且智能门锁还可以将其在初始ROI区域中的所占位置和所占面积同步标记显示在检测框内并且记录在本地存储器中，以便于后续基于初始ROI区域及其对应的区域类型更精确地确定哪些具体区域需要隐藏。

在一些实施例中，对于初始ROI区域的提取，可以采用卷积神经网络(Convolutional Neural Networks，CNN)、区域选取网络(Region Proposal Network，RPN)、基于卷积功能的区域选取网络(Regions with CNN features，RCNN)、快速RCNN网络(Faster-RCNN)、MobileV2网络以及残差网络等，或多种网络的结合来进行ROI区域以及对应区域类型的提取。需要说明的是，本申请实施例提供的目标模型可以包括YOLO算法、SSD算法以及DenseBox算法中一种或几种。这些算法均具有速度快、精度高的优点。本申请实施例不对目标模型的具体形态进行限定。

在一种实现方式中，本申请实施例还会对目标模型进行训练。在训练目标模型时，可以将大量的第一场景图像作为训练样本进行训练。以使得目标模型能学习到识别第一场景图像中包括目标特征的初始ROI区域以及对应区域类型的能力。

可见，由于本申请实施例需要确定是否要隐藏门外访客的关键信息，以达到保护隐私的目地。因此，对于原始的第一场景图像，该图像中除了包括关键信息对应的区域，还包括其他不必要的区域。

因而，为了提高处理效率，以及后续步骤中避免对图像中不必要的区域进行处理，故进行初始ROI区域以及对应区域类型的提取。进而可以得到初始ROI区域中包括哪种类型区域。例如，初始ROI区域中包括人脸区域或者初始ROI区域中包括人形区域。相比直接从第一场景图像获得人脸区域以及人形区域的方式，可以使得实现该整体过程的处理复杂度低，减少时间成本，提高智能门锁的运行效率。

本申请中可以基于初始ROI区域，确定目标ROI区域。具体基于初始ROI区域，确定目标ROI区域的过程，包括：基于第一场景图像，获取初始ROI区域对应的像素数据。之后，基于第一深度图像和像素数据，获取初始ROI区域对应的初始深度数据。并基于距离修正参数修正初始ROI区域对应的初始深度数据，得到初始ROI区域对应的目标深度数据。最后，根据初始ROI区域对应的目标深度数据，对初始ROI区域进行筛选，将筛选后的初始ROI区域确定为目标ROI区域。具体实现方式可以参见下述步骤。

步骤S704、智能门锁基于第一场景图像获取初始ROI区域对应的像素数据。

步骤S705、智能门锁基于第一深度图像和像素数据获取初始ROI区域对应的初始深度数据。

在本申请实施例中，智能门锁能够建立第一深度图像和第一场景图像之间的对应关系，以确定第一场景图像中的每个像素的三维空间信息。可以理解的是，第一深度图像和第一场景图像之间的对应关系指的是将第一深度图像中的深度数据映射至第一场景图像中而形成的映射关系。在本申请实施例中，可以通过坐标转换的方式实现将第一深度图像中的深度值映射至第一场景图像。

例如，将第一场景图像划分为多个像素区域，将第一深度图像中的每个深度数据定义成一个深度值。这样，基于第一深度图像和第一场景图像之间的对应关系，每个像素区域均对应有一个深度值。进而，可以确定第一场景图像中每个像素区域对应的深度值，生成每个像素区域的三维空间信息。

再例如，将第一场景图像中每个图像区域中的每个像素定义成一个像素点，将第一深度图像中的每个深度数据定义成一个深度值。这样，基于第一深度图像和第一场景图像之间的对应关系，每个像素点均对应有一个深度值。进而，可以确定第一场景图像中每个像素点对应的深度值，生成每个像素区域的三维空间信息。

由此，智能门锁可以首先基于第一场景图像获取上述识别到的初始ROI区域的像素数据。可以理解的是，每个初始ROI区域包括多个像素，初始ROI区域中的每个像素被定义为一个像素点。那么每个初始ROI区域对应的像素数据包括多个像素点以及对应的像素值。之后，智能门锁基于第一深度图像和第一场景图像之间的对应关系，获取初始ROI区域对应的初始深度数据。由于第一深度图像和第一场景图像的采集位置和采集时刻是相同的。因此，像素数据中的每个像素点均在第一深度图像中对应有一个深度值。那么，多个像素点对应的多个深度值即构成初始ROI区域对应的初始深度数据。

可以理解的是，在本申请实施例中，由于每个初始ROI区域中均为一个整体区域，且区域内包括多个像素点。因此，本申请实施例中可以将每个初始ROI区域中的每个像素点对应有一个深度值。需要说明的是，本申请实施例仅以一个像素点对应有一个深度值为例，本领域技术人员可根据实际情况自行进行设计。

步骤S706、智能门锁对初始ROI区域对应的初始深度数据进行校正，生成初始ROI区域对应的目标深度数据。

在本申请实施例中，初始ROI区域对应的初始深度数据包括多个深度值。在空间场景下，因为第二图像传感器距离初始ROI区域的左侧端面以及右侧端面的直线距离不同，第二图像传感器拍摄初始ROI区域的左侧端面以及右侧端面的像素点对应的深度值也是不同的。然而初始ROI区域中无论任何位置的像素点均位于同一平面。因此，为了提高数据的精准度，智能门锁需要对初始深度数据进行校正。

在智能门锁对初始深度数据进行校正的过程中，为了提高数据处理速度，可以只选取初始ROI区域中的中心区域进行校正，以生成目标深度数据。其中，目标深度数据包括校正后的目标深度值。

可以理解的是，该中心区域对应的目标深度数据即可代表该中心区域对应初始ROI区域的目标深度数据。并且该中心区域为包围初始ROI区域中中心点的区域。同样地，该中心区域对应的初始深度数据同样也包括有多个深度值。之后，智能门锁可以通过计算该中心区域对应的初始深度数据的算术平均数，得到目标深度值。最后，基于距离修正参数校正目标深度值，完成校正过程。其中，距离修正参数是由上述联合标定第二图像传感器和第一图像传感器过程中得到的。由于一个初始ROI区域对应有一个校正后的目标深度值。因此，可以将一个或几个初始ROI区域中对应校正后的目标深度值构成目标深度数据。

示例性的，该中心区域为3×3的正方形区域。该正方形区域包括9个像素点以及对应有9个深度值。9个深度值分别为：1.5米、1.6米、1.5米、1.2米、0.8米、0.7米、0.5米、0.6米以及0.6。距离修正参数包括标志点相对于第二图像传感器偏移角度ɑ的正弦值，ɑ为30°。之后，将上述9个深度值计算算数平均数等于1米，即目标深度值为1米。最后，将偏移角度30°的正弦值与目标深度值1米相乘，即可得到校正后的目标深度值0.5米。由此，即可生成在实际空间范围内第二图像传感器与该初始ROI区域之间垂直方向的目标深度值为0.5米。

在一种可实现方式中，智能门锁还可以将初始ROI区域等分成多个子区域，并分别计算每个子区域的目标深度值。此时，每个子区域的目标深度值可被认为是每个子区域相对应的与第二图像传感器之间的深度值。然后，再通过计算多个子区域对应的目标深度值的算术平均数，即可得到该初始ROI区域对应的目标深度值。最后，基于距离修正参数校正目标深度值，完成校正过程。

可以理解的是，上述计算初始ROI区域对应的目标深度值可采用多种方法或公式。例如，每个子区域)的目标深度值的计算方法通过计算该区域内所有像素点对应的初始深度数据的中位数得到。再例如，还可以通过计算全部子区域内所有像素点对应的初始深度数据的算术平均数得到。再例如，还可以通过确定每个子区域中的平面中心的像素点和以该像素点对应的初始深度数据作为该区域的目标深度值。

步骤S707、智能门锁基于目标深度数据以及对应的置信度对初始ROI区域进行筛选，将筛选后的初始ROI区域确定为目标ROI区域。

在一些实施例中，为了进一步提高数据处理速度以及数据的准确性，智能门锁可以获取初始ROI区域对应的目标深度数据的置信度；并根据置信度和第二图像传感器的有效距离范围对初始ROI区域进行筛选；有效距离范围根据第二图像传感器的硬件条件设定。目的是过滤无效初始ROI区域。

可以理解的是，由于第二图像传感器自身根据器件的硬件条件，通常在采集深度数据时会对应有相应的有效距离范围。示例性的，智能门锁可以根据第二图像传感器的设定位置，设定近端阈值以及远端阈值。基于近端阈值和远端阈值确定有效距离范围。例如，第二图像传感器最近的采集距离为0.02米，即近端阈值为0.02米。第二图像传感器最远的采集距离为8米，即远端阈值为8米。进而，有效距离范围即为0.02米-8米。那么，也就是说如果第二图像传感器采集的深度数据位于有效距离范围之外，即可确定该深度数据为无效深度数据。

例如，如果在距离第二图像传感器10米处存在人脸区域或人形区域，且该区域已被识别成初始ROI区域。那么，由于距离第二图像传感器10米已超出第二图像传感器的有效距离范围，那么该初始ROI区域将不存在对应的深度数据，即为无效初始ROI区域。由此，可以通过将不具备空间位置的初始ROI区域进行过滤，提高数据处理速度。

在一些实施例中，置信度可以用于表示深度数据的可靠性，该置信度与接收到的反射光脉冲的光强呈正比，即接收到的反射光脉冲的光强越大，置信度值越大，深度数据的可靠性也越大。接收到的反射光脉冲的光强越小，置信度值越小，深度数据的可靠性也越小。在一种可实现方式中，置信度大小均在0-1之间(包括0和1)。

由于，第二图像传感器所采集的深度数据会存在噪声或者基于材质、遮挡以及距离等因素导致深度数据的缺失，形成空洞，使数据质量低。对后续的工作很有可能会造成影响。因此，还可以通过获取到初始ROI区域对应目标深度数据的置信度对初始ROI区域进行筛选，剔除无效初始ROI区域。

在一种可实现方式中，可以将初始ROI区域对应目标深度数据的置信度与第三预设阈值进行比对。如果初始ROI区域对应目标深度数据的置信度大于或者等于第三预设阈值，则可以确定该初始ROI区域为有效初始ROI区域。如果初始ROI区域对应目标深度数据的置信度小于第三预设阈值，则可以确定该初始ROI区域为无效初始ROI区域。最终，将筛选完成的初始ROI区域确定为目标ROI区域。

例如，特定阈值为20。如果初始ROI区域对应目标深度数据的置信度大于或者等于20，则可以确定该初始ROI区域为有效初始ROI区域。如果初始ROI区域对应目标深度数据的置信度小于20，则可以确定该初始ROI区域为无效初始ROI区域，并剔除该初始ROI区域。

可见，本申请实施例通过进一步对识别到的初始ROI区域进行筛选，剔除置信度较低的初始ROI区域以及深度数据位于有效距离范围之外的初始ROI区域，得到目标ROI区域。以便于更能精确地获取到门外用户的区域类型以及门外用户与智能门锁之间的距离。同时在后续对门外用户的区域类型进行处理的过程中，减少不必要的处理工作量，只需对目标ROI区域进行数据处理。提高了数据处理的效率，降低了智能门锁的功耗。

并且，上述通过基于第一深度图像和距离修正参数，可以获取目标ROI区域对应的目标深度数据；其中，距离修正参数根据第一图像传感器和第二图像传感器的标定结果获得，距离修正参数用于修正第一深度图像上的深度数据。进而，根据目标深度数据在目标ROI区域内进行模糊处理，能够精确根据目标深度数据对隐私对象的隐私区域进行隐藏。

步骤S708、智能门锁根据目标ROI区域对应的目标深度数据确定目标ROI区域满足第二预设条件时，对目标ROI区域进行模糊处理。

在本申请实施例中，根据门外用户与智能门锁之间的距离，可以设定多个并列的第二预设条件，从而决定是否隐藏门外用户的隐私信息。可以理解的是，需要隐藏隐私信息的门外用户应不是真正来家中到访的访客即非目标访客。同时，该非目标访客通常会距离智能门锁有一定的距离。

在一些实施例中，第二预设条件包括：目标ROI区域对应的目标深度数据所对应的目标深度值位于第一预设范围内；或，目标ROI区域对应的目标深度数据所对应的目标深度值位于第二预设范围内，且目标ROI区域对应的目标深度数据的置信度大于第一预设阈值。

示例性的，第二预设条件包括：目标ROI区域对应的目标深度数据所对应的目标深度值位于第一预设范围内，且目标ROI区域中的隐私信息包括人脸。

例如，当目标ROI区域对应的目标深度数据满足第二预设条件时，对目标ROI区域执行模糊处理任务。参见图10，例如，第一预设范围为大于1.5米且小于3米。那么，当目标ROI区域B对应的目标深度数据大于1.5米且小于3米时，并且目标ROI区域B包括人脸区域，则对目标ROI区域B进行模糊处理。也就是说，为了获取到门外目标访客的图像信息，并隐藏非目标访客的隐私信息。可以根据目标ROI区域对应的目标深度数据确定门外用户是目标访客还是非目标访客。当目标ROI区域对应的目标深度数据所对应的目标深度值在第一预设范围内，可以认为目标ROI区域中表征的用户为非目标访客。因此，需要把非目标访客的关键信息进行隐藏，如隐藏目标ROI区域中包括的人脸区域，避免侵犯非目标访客的隐私信息。

在另一些实施例中，智能门锁还可以根据目标ROI区域的区域信息，对目标ROI区域进行模糊处理。其中，区域信息可以包括目标ROI区域对应的区域类型。

在一种可实现方式中，上述第二预设条件还可以包括目标ROI区域对应的目标深度数据的置信度大于第二预设阈值。例如，第二预设阈值为50。那么，当目标ROI区域B对应的目标深度数据大于1.5米且小于3米且对应的置信度大于50，以及目标ROI区域B包括人脸区域，则对目标ROI区域B进行模糊处理。

在一些实施例中，第二预设条件包括目标ROI区域对应的目标深度数据所对应的目标深度值位于第二预设范围内且置信度大于第一预设阈值。

示例性的，当目标ROI区域对应的目标深度数据在第二预设范围内，且置信度大于第一预设阈值时，对目标ROI区域执行模糊处理任务。继续参见11，例如，第二预设范围为大于且等于3米。那么，当目标ROI区域C对应的目标深度数据大于且等于3米时，并且目标深度数据对应的置信度大于80，则对目标ROI区域C进行模糊处理。可以理解的是，当目标ROI区域对应的目标深度数据在第二预设范围内，可以表征门外用户与智能门锁的距离更远，更精确确定需要对该目标ROI区域进行模糊处理。并且还可以结合置信度进行筛选。当目标深度数据的置信度大于第一预设阈值时，可以说明该目标深度数据的可靠性更高以及该目标深度数据为有效深度数据。因此，需要将目标ROI区域进行隐藏，避免侵犯非目标访客的隐私信息。

在本申请实施例中，智能门锁在目标ROI区域对应的目标深度数据满足第三预设条件时，不对目标ROI区域执行模糊处理任务。

示例性的，第三预设条件可以包括目标ROI区域对应的目标深度数据所对应的目标深度值位于第三预设范围内。例如，第三预设范围为小于或者等于1.5米。那么，当目标ROI区域对应的目标深度数据所对应的目标深度值小于或者等于1.5米时，则不对该ROI区域进行模糊处理。也就是说，当目标ROI区域对应的目标深度数据在第三预设范围内时，可以认为目标ROI区域中表征的用户为目标访客。因此，需要获取目标访客的关键信息，无需隐藏目标ROI区域。需要说明的是，本申请实施例并不对第二预设条件和第三预设条件进行具体限定。

由此，当智能门锁对目标ROI区域进行模糊处理之后，显示模糊处理后的第一场景图像；第一场景图像上包括模糊处理后的目标ROI区域。并且将模糊处理后的第一场景图像进行本地存储。示例性的，当用户查看智能门锁的猫眼画面时，即可看到如图10所示的第一场景图像。用户可以在第一场景图像中获取目标访客的关键信息，但无法获取非目标访客的关键信息。同样地，智能门锁也可以将多帧第一场景图像中的目标ROI区域进行模糊处理，生成多个模糊处理后的第一场景图像。以及将多个模糊处理后的第一场景图像进行叠加，生成目标视频，并存储在本地。这样，当用户回看目标视频时，可以在目标视频中获取目标访客的关键信息，但无法获取非目标访客的关键信息。避免侵犯非目标用户的隐私，提升智能门锁的安防效果。

在一些实施例中，上述模糊处理可以是对目标ROI区域进行像素值更改，也可以是对目标ROI区域进行马赛克算法。其中，像素值更改可以是将目标ROI区域内的像素点用同一个像素值进行替换，也可以是将目标ROI区域内的像素点对应的像素值进行高斯变换，以更改对应的像素值。马赛克算法可以是将目标ROI区域分为多个像素块，每个像素块包含多个像素点。在每个像素块中随机取一个像素点的像素值，用该像素值替换对应像素块中其他像素点的像素值。

在一些实施例中，为了便于美观以及提升用户的使用体验，上述模糊处理还可以利用预设图案将目标ROI区域进行遮挡。其中，预设图案可以是卡通头像、物品图案以及表情包等。例如，对目标ROI区域中的人脸区域采用卡通头像进行遮挡。再例如，对目标ROI区域中的人形区域采用表情包进行遮挡。本申请实施例不对模糊处理的实现方式进行具体限定。

在一种可实现方式中，上述模糊处理可以是对整个目标ROI区域进行模糊。示例性的，参见图11，可以将目标ROI区域B和目标ROI区域C对应的检测框中的全部区域进行模糊。

在另一些实施例中，根据目标ROI区域对应的目标深度数据对目标ROI区域中的隐私区域进行模糊处理；其中，隐私区域用于表征隐私信息对应的区域，隐私区域包括隐私对象对应的人脸区域或人形区域。示例性的，还可以是对目标ROI区域中的局部进行模糊。继续参见图10，可以将目标ROI区域对应的检测框中的局部区域进行模糊。例如，仅将目标ROI区域B中的人脸区域进行模糊处理。再例如，仅将目标ROI区域C中的人形区域进行模糊处理。

可见，本申请实施例的智能门锁可以联合标定第一图像传感器和第二图像传感器。在联合标定第一图像传感器和第二图像传感器之后，实时采集第一场景图像和第一深度图像，并且识别包括人脸区域或人形区域的初始ROI区域。之后，再对初始ROI区域进行筛选，得到目标ROI区域。最后，若目标ROI区域对应的深度数据满足预设条件后，则对目标ROI区域进行模糊处理。由此，本申请实施例可以获取目标访客的区域类型，还可以隐藏非目标访客对应的隐私信息。避免侵犯非目标访客隐私的同时保证了智能门锁的安防效果，提高了智能门锁的安全性能，提高用户的使用体验。

需要说明的是，本申请实施例提供的图像处理方法并不仅局限应用于用户家中的智能门锁中。还可以应用于其他电子设备中。例如，应用于安装在汽车车门的智能门锁以及各种场所中的智能监控摄像头。再例如，还可以应用在手机中，当用户在户外使用手机进行视频通话时，手机中的摄像头很有可能采集到除了用户之外其他用户。再例如，还可以应用在笔记本电脑中，当用户在户外使用笔记本电脑进行视频会议时，笔记本电脑的摄像头也有可能采集到除了用户之外的其他用户。那么，无论用户在进行视频通话、视频会议过程中或者录制上述过程的屏幕，基于本申请实施例提供的图像处理方法可以提高隐私安全性。

在另一些实施例中，在对目标ROI区域模糊处理之前，智能门锁还可以对第一场景图像进行非安全元素的识别。如在第一场景图像中识别到非安全元素，则直接给予用户安全提醒。例如，智能门锁控制显示屏显示提醒信息以进行安全提醒。再例如，智能门锁还可以通过设置报警器并采用语音提示等方式对用户进行安全提醒。

在另一些实施例中，在对目标ROI区域模糊处理的过程中，如在第一场景图像中识别到非安全元素且该非安全元素存在目标ROI区域中，则不对该ROI区域进行模糊处理。

在另一些实施例中，在对目标ROI区域进行模糊处理的过程中，智能门锁还可以预先将未模糊的图像存储在本地，并自动设置该未模糊图像的查看权限。例如，查看权限包括仅能特定用户查看。特定用户可以为警察等。这样，既可以有效管理涉及门外用户隐私信息的查看权限，确保信息安全。还可以在使用智能门锁的用户侧隐藏非目标访客对应的隐私信息，提高用户的使用体验。

本申请实施例还提供一种智能门锁，智能门锁包括存储器、一个或多个处理器和摄像头；存储器与处理器耦合；其中，摄像头用于采集场景图像和深度图像；存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得处理器执行上文所提供的对应的方法。

本申请实施例还提供一种电子设备，如图12所示，该电子设备可以包括一个或者多个处理器1010、存储器1020和通信接口1030。

其中，存储器1020、通信接口1030与处理器1010耦合。例如，存储器1020、通信接口1030与处理器1010可以通过总线1040耦合在一起。

其中，通信接口1030用于与其他设备进行数据传输。存储器1020中存储有计算机程序代码。计算机程序代码包括计算机指令，当计算机指令被处理器1010执行时，使得电子设备执行本申请实施例中的图像处理方法。

其中，处理器1010可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。

其中，总线1040可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。上述总线1040可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例还提供一种计算机可读存储介质，该计算机存储介质中存储有计算机程序代码，当上述处理器执行该计算机程序代码时，电子设备执行上述方法实施例中的相关方法步骤。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例中的相关方法步骤。

其中，本申请提供的智能门锁、电子设备、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

获取第一场景图像和所述第一场景图像对应的第一深度图像；

若确定所述第一场景图像中包括目标感兴趣ROI区域，则基于所述第一深度图像获取所述目标ROI区域对应的目标深度数据；所述目标ROI区域包括隐私对象对应的隐私信息；

根据所述目标ROI区域对应的目标深度数据，在所述第一场景图像上的所述目标ROI区域内进行模糊处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标ROI区域对应的目标深度数据，在所述第一场景图像上的所述目标ROI区域内进行模糊处理，包括：

根据所述目标ROI区域对应的目标深度数据对所述目标ROI区域中的隐私区域进行模糊处理；其中，所述隐私区域用于表征所述隐私信息对应的区域，所述隐私区域包括隐私对象对应的人脸区域或人形区域。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

显示模糊处理后的所述第一场景图像，所述第一场景图像上包括模糊处理后的所述目标ROI区域。

4.根据权利要求3所述的方法，其特征在于，所述电子设备包括第一图像传感器和第二图像传感器，所述第一图像传感器用于采集所述第一场景图像，所述第二图像传感器用于采集所述第一深度图像；所述获取第一场景图像和所述场景图像对应的第一深度图像，包括：

在满足第一预设条件时，控制所述第一图像传感器和所述第二图像传感器同步采集的所述第一场景图像和所述第一深度图像；

其中，所述第一预设条件包括：所述电子设备检测到隐私对象的声音分贝大于预设分贝，和/或，所述电子设备检测到隐私对象针对所述电子设备的触碰操作，和/或，所述电子设备检测到隐私对象的停留时间大于预设时间。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标ROI区域对应的目标深度数据对所述目标ROI区域进行模糊处理，包括：

根据所述目标ROI区域对应的目标深度数据确定所述目标ROI区域满足第二预设条件时，对所述目标ROI区域进行模糊处理；

其中，所述第二预设条件包括：

所述目标ROI区域对应的目标深度数据所对应的目标深度值位于第一预设范围内；

或，所述目标ROI区域对应的目标深度数据所对应的目标深度值位于第二预设范围内，且所述目标ROI区域对应的目标深度数据的置信度大于第一预设阈值。

6.根据权利要求5所述的方法，其特征在于，所述第二预设条件还包括：所述目标ROI区域中的所述隐私信息包括人脸。

7.根据权利要求4-6任一项所述的方法，其特征在于，所述基于所述第一深度图像获取所述目标ROI区域对应的目标深度数据，包括：

基于所述第一深度图像和距离修正参数，获取所述目标ROI区域对应的目标深度数据；所述距离修正参数根据所述第一图像传感器和所述第二图像传感器的标定结果获得，所述距离修正参数用于修正所述第一深度图像上的深度数据。

8.根据权利要求7所述的方法，其特征在于，所述确定所述第一场景图像中的目标ROI区域，包括：

识别所述第一场景图像中包括目标特征的初始ROI区域；其中，所述目标特征用于表征隐私对象对应的所述隐私信息，所述隐私信息包括隐私对象对应的人脸或人形；

基于所述初始ROI区域，确定所述目标ROI区域。

9.根据权利要求8所述的方法，其特征在于，所述基于所述初始ROI区域，确定所述目标ROI区域，包括：

基于所述第一场景图像，获取所述初始ROI区域对应的像素数据；

基于所述第一深度图像和所述像素数据，获取所述初始ROI区域对应的初始深度数据；

基于所述距离修正参数修正所述初始ROI区域对应的初始深度数据，得到所述初始ROI区域对应的目标深度数据；

根据所述初始ROI区域对应的目标深度数据，对所述初始ROI区域进行筛选，将筛选后的所述初始ROI区域确定为所述目标ROI区域。

10.根据权利要求9所述的方法，其特征在于，所述根据所述初始ROI区域对应的目标深度数据对所述初始ROI区域进行筛选，包括：

获取所述初始ROI区域对应的目标深度数据的置信度；

根据所述置信度和所述第二图像传感器的有效距离范围对所述初始ROI区域进行筛选；所述有效距离范围根据所述第二图像传感器的硬件条件设定。

11.根据权利要求7-10任一项所述的方法，其特征在于，所述方法还包括：

控制所述第一图像传感器和所述第二图像传感器同步采集第二场景图像和第二深度图像；

基于所述第二场景图像计算得到所述第一图像传感器对应的标定参数；

根据所述第一图像传感器对应的标定参数确定标定结果，所述标定结果包括所述第二图像传感器对应的所述距离修正参数；所述距离修正参数用于建立所述第一场景图像与所述第一深度图像之间的映射关系。

12.一种智能门锁，其特征在于，所述智能门锁包括存储器、一个或多个处理器和摄像头；所述存储器与所述处理器耦合；其中，所述摄像头用于采集第一场景图像和第一深度图像；所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行下述步骤：

获取所述第一场景图像和所述第一场景图像对应的所述第一深度图像；

若确定所述第一场景图像中包括目标感兴趣ROI区域，则基于所述第一深度图像获取所述目标ROI区域对应的目标深度数据；所述目标ROI区域包括隐私对象对应的隐私信息；

根据所述目标ROI区域对应的目标深度数据，在所述第一场景图像上的所述目标ROI区域内进行模糊处理。

13.根据权利要求12所述的智能门锁，其特征在于，所述处理器执行所述根据所述目标ROI区域对应的目标深度数据，在所述第一场景图像上的所述目标ROI区域内进行模糊处理，包括：

根据所述目标ROI区域对应的目标深度数据对所述目标ROI区域中的隐私区域进行模糊处理；其中，所述隐私区域用于表征所述隐私信息对应的区域，所述隐私区域包括隐私对象对应的人脸区域或人形区域。

14.根据权利要求12或13所述的智能门锁，其特征在于，所述处理器还执行下述步骤：

显示模糊处理后的所述第一场景图像，所述第一场景图像上包括模糊处理后的所述目标ROI区域。

15.一种电子设备，其特征在于，所述电子设备包括存储器、一个或多个处理器；所述存储器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1-11任一项所述的图像处理方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机可以执行如权利要求1-11任一项所述的图像处理方法。