CN113301240A - 控制拍照的方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种控制拍照的方法和装置、电子设备、计算机可读存储介质。方法包括当启动摄像头时，向被拍摄对象发射第一毫米波信号；接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号；根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定；当判断主体对象的姿态稳定时，控制摄像头对被拍摄对象进行拍照。上述控制拍照的方法和装置、电子设备、计算机可读存储介质，可以提高控制拍照的准确性。

Description

控制拍照的方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及摄像领域，特别是涉及一种控制拍照的方法、装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，出现了拍照技术。在当前的技术中，通常是依赖于用户主动点击拍照按钮进行拍照，或者通过设置预设的时长，当达到预设的时长时进行拍照。

然而，在摄像头拍摄的过程中，可能由于被拍摄对象移动而造成拍摄的照片效果不好，存在控制拍照的时机不准确的问题。

发明内容

本申请实施例提供一种控制拍照的方法、装置、电子设备、计算机可读存储介质，可以提高控制拍照的时机的准确性。

一种控制拍照的方法，包括：

当启动摄像头时，向被拍摄对象发射第一毫米波信号；

接收所述被拍摄对象反射的与所述第一毫米波信号对应的第二毫米波信号；

根据所述第二毫米波信号从所述被拍摄对象中确定主体对象；

当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，向所述主体对象发射第三毫米波信号；

接收所述主体对象反射的与所述第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的所述第四毫米波信号判断所述主体对象的姿态是否稳定；

当判断所述主体对象的姿态稳定时，控制所述摄像头对所述被拍摄对象进行拍照。

一种控制拍照的装置，包括：

发射模块，用于当启动摄像头时，向被拍摄对象发射第一毫米波信号；

接收模块，用于接收所述被拍摄对象反射的与所述第一毫米波信号对应的第二毫米波信号；

主体对象确定模块，用于根据所述第二毫米波信号从所述被拍摄对象中确定主体对象；

所述发射模块，用于当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，向所述主体对象发射第三毫米波信号；

所述接收模块，用于接收所述主体对象反射的与所述第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的所述第四毫米波信号判断所述主体对象的姿态是否稳定；

控制模块，用于当判断所述主体对象的姿态稳定时，控制所述摄像头对所述被拍摄对象进行拍照。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的控制拍照的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述控制拍照的方法、装置、电子设备、计算机可读存储介质，当启动摄像头时，向被拍摄对象发射第一毫米波信号；接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号；根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定；主体对象为摄像头主要拍摄的对象，而当判断主体对象与摄像头之间的距离稳定之后，再判断主体对象的姿态稳定时，表示主体对象处于稳定状态，则控制摄像头对被拍摄对象进行拍照，即在主体对象处于稳定状态时控制摄像头进行拍照，可以准确地控制拍照的时机，提高了控制拍照的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的示意图；

图2为一个实施例中控制拍照的方法的流程图；

图3为一个实施例中控制拍照的方法的应用环境图；

图4为一个实施例中步骤判断主体对象的姿态是否稳定的流程图；

图5为另一个实施例中控制拍照的方法的流程图；

图6为一个实施例中控制拍照的装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一毫米波信号称为第二毫米波信号，且类似地，可将第二毫米波信号称为第一毫米波信号。第一毫米波信号和第二毫米波信号两者都是毫米波信号，但其不是同一毫米波信号。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，毫米波收发器160可以发射毫米波信号，并将接收的毫米波信号发送至ISP处理器140。控制逻辑器150可以控制毫米波收发器160，例如，增大或减小毫米波收发器160的发射频率。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，当启动成像设备110(摄像头)时，电子设备控制毫米波收发器160向被拍摄对象发射第一毫米波信号；通过毫米波收发器160接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号，并将接收的第二毫米波信号发送至ISP处理器140。ISP处理器140接收到第二毫米波信号时，根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于第四毫米波信号判断主体对象的姿态是否稳定；主体对象为摄像头主要拍摄的对象，而当判断主体对象与摄像头之间的距离稳定之后，再判断主体对象的姿态稳定时，表示主体对象处于稳定状态，则生成拍照指令，并将拍照指令发送至控制逻辑器150。控制逻辑器150控制成像设备110(摄像头)对被拍摄对象进行拍照，拍摄得到的照片中主体对象更加清晰，提高了拍照的准确性。

图2为一个实施例中控制拍照的方法的流程图。如图2所示，控制拍照的方法包括步骤202至步骤212。

步骤202，当启动摄像头时，向被拍摄对象发射第一毫米波信号。

摄像头安装在电子设备上，可以安装在电子设备的屏幕一侧作为前置摄像头，也可以安装在电子设备的背面一侧作为后置摄像头，也可以安装在电子设备的左右侧，还可以安装在电子设备中作为旋转摄像头，不限于此。

摄像头的数量并不限定，可以是一个，也可以是多个。摄像头的类型也不限定，可以是长焦摄像头、广角摄像头中的一种，也可以是红外摄像头、深度摄像头、激光摄像头、RGB摄像头中的一种。

可以理解的是，在电子设备中，包括有毫米波收发器，可以向被拍摄对象发射第一毫米波信号。其中，被拍摄对象可以是人物、动物、景物等，不限于此。毫米波(MillimeterWave)指的是波长为1～10毫米的电磁波，它位于微波与远红外波相交叠的波长范围，因而兼有两种波谱的特点。

步骤204，接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号。

可以理解的是，当毫米波信号接触到物体时会进行反射。电子设备向被拍摄对象发射第一毫米波信号，当第一毫米波信号接触到被拍摄对象时，会进行反射，反射的第一毫米波信号即第二毫米波信号。

通过毫米波收发器可以接收被拍摄对象反射的第一毫米波信号对应的第二毫米波信号。

步骤206，根据第二毫米波信号从被拍摄对象中确定主体对象。

被拍摄对象的数量可以是一个，也可以是多个。当被拍摄对象的数量为一个时，则该被拍摄对象为主体对象。当被拍摄对象的数量为多个时，则从多个被拍摄对象中确定至少一个主体对象。

将接收的第二毫米波信号导入到主体检测模型进行检测，可以得到候选对象，可以根据对象所占面积、对象与毫米波收发器之间的距离等从候选对象确定主体对象。

步骤208，当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号。

可以理解的是，基于主体对象发射回来的第二毫米波信号的接收时刻，以及该第二毫米波信号对应的第一毫米波信号的发射时刻，可以确定该毫米波信号(第一毫米波信号或者第二毫米波信号)在空气中传播的时长，再获取毫米波信号在空气中的传播速度，则可以确定出该毫米波信号(第一毫米波信号或者第二毫米波信号)的传播路程，该传播路程的一半即是主体对象与摄像头之间的距离。

主体对象与摄像头之间的距离稳定，指的是主体对象与摄像头之间的距离处于一个预设的范围内。基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定，表示主体对象与摄像头之间的距离保持在一个预设的范围内，该距离处于稳定状态。

步骤210，接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定。

在一种实施方式种，电子设备可以将主体对象分割为多个子部分，依次获取各个子部分对应的第四毫米波信号，从而判断主体对象的各个子部分的姿态是否稳定，从而判断主体对象的姿态是否稳定。

例如，主体对象为人物，可以将人物分割为腿部、躯干、手部和头部4个子部分，依次对各个子部分的姿态进行判断，当各个子部分的姿态均稳定时，主体对象的姿态稳定。

步骤212，当判断主体对象的姿态稳定时，控制摄像头对被拍摄对象进行拍照。

在第四毫米波信号中包括有主体对象的各个反射点的位置信息，因此，基于接收的各个第四毫米波信号，可以判断主体对象的姿态是否发生变化。

主体对象的姿态稳定指的是主体对象的姿态变化在预设范围内。例如，主体对象为人物，当主体对象的手臂摆动在10度以内，则主体对象的姿态稳定；当主体对象为宠物狗，当主体对象的头部在预设的区域内转动，则主体对象的姿态稳定。

当判断主体对象的姿态不稳定时，返回执行向主体对象发射第三毫米波信号步骤。也就是说，在判断主体对象与摄像头之间的距离稳定之后，当判断主体对象的姿态不稳定时，则仅需要再次向主体对象发射第三毫米波信号，判断主体对象的姿态是否稳定即可，避免重新再对主体对象与摄像头之间的距离是否稳定进行判断，可以节约处理资源。

上述控制拍照的方法，当启动摄像头时，向被拍摄对象发射第一毫米波信号；接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号；根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定；主体对象为摄像头主要拍摄的对象，而当判断主体对象与摄像头之间的距离稳定之后，再判断主体对象的姿态稳定时，表示主体对象处于稳定状态，则控制摄像头对被拍摄对象进行拍照，即在主体对象处于稳定状态时控制摄像头进行拍照，可以准确地控制拍照的时机，提高了控制拍照的准确性。

在一个实施例中，上述控制拍照的方法可以应用于暗光场景。暗光场景指的是的环境光亮度较暗的场景，例如，在晚上拍照时、室内场景等。

具体地，当启动摄像头时，检测环境光亮度；当环境光亮度低于亮度阈值时，向被拍摄对象发射第一毫米波信号。

在一个实施例中，上述控制拍照的方法还可以应用于拍摄至少两个对象的场景中。例如，在拍摄集体照时，可以应用上述拍照方法，确定主体对象和非主体对象，从而可以对主体对象进行更准确地拍照。

在其他实施例中，当启动摄像头时，向被拍摄对象发射第一毫米波信号；接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号；根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定；当判断主体对象的姿态稳定时，执行预设操作。其中，预设操作可以是拍摄视频、扫描等操作，不限于此。

在一个实施例中，如图3所示，电子设备302中包括有摄像头和毫米波收发器，可以通过毫米波收发器发射和接收毫米波信号。304为被拍摄对象，通过电子设备302中的毫米波收发器发射第一毫米波信号(第三毫米波信号)至被拍摄对象，第一毫米波信号(第三毫米波信号)接触到被拍摄对象会进行反射，通过电子设备302中的毫米波收发器可以接收反射回来的第二毫米波信号(第四毫米波信号)。

在一个实施例中，根据第二毫米波信号从被拍摄对象中确定主体对象，包括：根据第二毫米波信号生成被拍摄对象的毫米波图像；生成与毫米波图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将毫米波图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的毫米波图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图从被拍摄对象中确定候选对象；从候选对象中确定主体对象。

可以理解的是，向被拍摄对象发射第一毫米波信号，当第一毫米波信号接触到不同的被拍摄对象时，反射回不同的第二毫米波信号，则基于各个第二毫米波信号可以生成被拍摄对象的毫米波图像。

中心权重图是指用于记录毫米波图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征第二毫米波信号的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据毫米波图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的毫米波图像、中心权重图及已标注的主体掩膜图。其中，毫米波图像和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别毫米波图像中主体对象的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体对象。主体检测模型可训练能够识别检测各种主体对象，如人、花、猫、狗、背景等。

ISP处理器或中央处理器可将该毫米波图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体对象属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

从候选对象中确定主体对象。在一种实施方式中，获取各个候选对象分别与摄像头之间的距离，将距离最小的候选对象作为主体对象，也可以将距离次小的候选对象作为主体对象，不限于此。

在另一种实施方式中，获取各个候选对象在毫米波图像中的面积大小，将面积最大的候选对象作为主体对象，也可以将面积最小的候选对象作为主体对象，不限于此。

在另一种实施方式中，获取各个候选对象在毫米波图像中的位置，将处于毫米波图像中的最中间位置的候选对象作为主体对象，也可以将处于毫米波图像中的其他位置的候选对象作为主体对象，不限于此。

在本实施例中，根据第二毫米波信号生成被拍摄对象的毫米波图像；生成与毫米波图像对应的中心权重图后，将毫米波图像和中心权重图输入到对应的主体检测模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到毫米波图像中的候选对象，再从候选对象中确定主体对象，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的毫米波图像、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确地从毫米波图像中识别出候选对象，从而可以确定更准确的主体对象。

在一个实施例中，上述方法还包括：当判断主体对象的姿态稳定时，检测主体对象的动作；当检测到主体对象的动作与预设的动作相同时，执行控制摄像头对被拍摄对象进行拍照步骤。

预设的动作例如人物的“剪刀手”、人物的“超人”动作、宠物狗的“吐舌头微笑”动作等。

当检测到主体对象的动作与预设的动作相匹配时，表示主体对象已经做好了拍照的姿态，则执行控制摄像头对被拍摄对象进行拍照步骤，可以更准确、更及时地进行拍照。

在一个实施例中，上述方法还包括：将第四毫米波信号输入目标模型中，输出目标对象；根据目标对象确定目标拍照模式，并将摄像头切换至目标拍照模式。当判断主体对象的姿态稳定时，对被拍摄对象进行拍照，包括：当判断主体对象的姿态稳定时，基于目标拍照模式对被拍摄对象进行拍照。

目标模型可以用于识别出儿童、人脸、风景、蓝天、白云、猫、狗等多种类别的对象。目标模型是根据需要选择对应的训练样本进行训练得到的。当将第四毫米波输入到目标模型后输出所能识别的所属类别的概率，选择概率最大的类别对象作为目标对象。

可以理解的是，不同的被拍摄对象，通过目标模型输出的目标对象不同，所对应的拍照模式也不同。根据目标对象的不同选取更合适的拍照模式，可以对目标对象进行更准确地拍摄。例如，当目标对象为人物时，则开启人像模式；当目标对象为人脸时，则开启人脸模式；当目标对象为景物时，则开启风景模式。当目标对象为人物或者人脸时，人像模式以及人脸模式包括美颜功能；当目标对象为景物时，风景模式可以调整摄像头的参数，拍摄出更好看的风景照片；当目标对象为儿童时，则开启儿童拍摄模式；当目标对象为多个对象时，则开启集体照模式。

在一个实施例中，当通过目标模型输出至少两个目标对象时，可以将至少两个目标对象的其中一个目标对象所对应的拍照模式作为目标拍照模式。

例如，通过目标模型输出目标对象分别为景物和人脸，则目标拍照模式可以为风景模式，也可以为人脸模式。

在另一个实施例中，当通过目标模型输出至少两个目标对象时，可以获取至少两个目标对象的优先级；根据至少两个目标对象的优先级确定目标拍照模式。

目标对象的优先级可以根据目标对象的深度距离、目标对象的大小等来确定。例如，通过目标模型输出至少两个目标对象为景物和人脸，人脸的深度距离比景物的深度距离更小，则将人脸的拍照模式作为目标拍照模式，即人脸模式。

在一个实施例中，上述方法还包括：从第二毫米波信号中提取距离特征信息；基于距离特征信息判断主体对象与摄像头之间的距离是否稳定。

距离特征信息指的是用于表征距离特征的信息。例如，距离特征信息可以是第二毫米波信号的强度，当接收的第二毫米波信号的强度越强，表示反射该第二毫米波信号的对象距离摄像头越近。距离特征信息也可以是第二毫米波信号的反射时长，反射时长越长，表示反射该第二毫米波信号的对象距离摄像头越远。

在本实施例中，从第二毫米波信号中提取距离特征信息，基于距离特征信息可以更准确判断主体对象与摄像头之间的距离是否稳定。

在一个实施例中，距离特征信息包括第二毫米波信号的强度和第二毫米波信号的反射时长中的至少一种，第二毫米波信号的反射时长是第二毫米波信号接收的时刻与第二毫米波信号对应的第一毫米波信号发送的时刻之间的时长。

接收的第二毫米波信号的强度越强，表示反射该第二毫米波信号的对象距离摄像头越近。反射时长越长，表示反射该第二毫米波信号的对象距离摄像头越远。

当连续至少两次的第二毫米波信号的强度之差均处于预设强度范围内时，主体对象与摄像头之间的距离稳定。

当连续至少两次的第二毫米波信号的强度之差均处于预设强度范围内时，即连续至少两次的第二毫米波信号的强度稳定，表示主体对象与摄像头之间的距离稳定。

当连续至少两次的第二毫米波信号的反射时长之差均处于预设时长范围内时，主体对象与摄像头之间的距离稳定。

当连续至少两次的第二毫米波信号的反射时长之差均处于预设时长范围内时，即连续至少两次的第二毫米波信号的强度反射时长稳定，表示主体对象与摄像头之间的距离稳定。

在一个实施例中，当距离特征信息包括第二毫米波信号的强度和第二毫米波信号的反射时长时，当连续至少两次的第二毫米波信号的强度之差均处于预设强度范围内，且连续至少两次的第二毫米波信号的反射时长之差均处于预设时长范围内时，主体对象与摄像头之间的距离稳定。

在本实施例中，距离特征信息包括第二毫米波信号的强度和第二毫米波信号的反射时长中的至少一种；当连续至少两次的第二毫米波信号的强度之差均处于预设强度范围内时，主体对象与摄像头之间的距离稳定；和/或当连续至少两次的第二毫米波信号的反射时长之差均处于预设时长范围内时，主体对象与摄像头之间的距离稳定，可以更准确地判断出主体对象与摄像头之间的距离是否稳定。

在一个实施例中，基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定，包括：从各个第四毫米波信号中分别确定主体对象的特征点；基于各个第四毫米波信号中确定的主体对象的特征点，判断主体对象的姿态是否稳定。

根据各个第四毫米波信号可以确定主体对象的姿态，再从主体对象的姿态中确定主体对象的特征点。特征点例如主体对象的眼睛、嘴巴、鼻子、景物的中心、角点等。

基于各个第四毫米波中确定的主体对象的特征点，可以准确判断主体对象的姿态是否稳定，同时避免了对整个主体对象的各个点进行处理，可以提高判断的效率。

在一个实施例中，如图4所示，基于各个第四毫米波信号中确定的主体对象的特征点，判断主体对象的姿态是否稳定，包括：

步骤402，从各个第四毫米波信号中确定连续至少两次的目标毫米波信号。

目标毫米波信号指的是确定的用于判断主体对象的姿态是否稳定的第四毫米波信号。

步骤404，获取各个目标毫米波信号中对应的特征点。

例如，确定连续的3个目标毫米波信号，第一个目标毫米波信号中的特征点为嘴巴，第二个目标毫米波信号中的特征点也为对应的嘴巴，第三个目标毫米波信号中的特征点也为对应的嘴巴。

每个目标毫米波信号中确定的特征点的数量可以是一个，也可以是多个。

步骤406，当各个目标毫米波信号中对应的特征点均处于预设位置范围内时，判断主体对象的姿态稳定。

当各个目标毫米波信号中对应的特征点均处于预设位置范围内，则判断主体对象的姿态稳定。例如，当各个目标毫米波信号中对应的特征点A1为眼睛，均处于预设位置范围B1内，各个目标毫米波信号中对应的特征点A2为嘴巴，均处于预设位置范围B2内，各个目标毫米波信号中对应的特征点A3为鼻子，均处于预设位置范围B3内时，表示主体对象人脸的姿态稳定。

步骤408，当各个目标毫米波信号中对应的特征点存在不处于预设位置范围内的特征点时，判断主体对象的姿态不稳定。

当各个目标毫米波信号中对应的特征点存在不处于预设位置范围内的特征点时，则判断主体对象的姿态不稳定。例如，当目标毫米波信号1的特征点处于预设位置范围内，目标毫米波信号2的特征点不处于预设位置范围内，目标毫米波信号3的特征点处于预设位置范围内时，表示该特征点发生了移动，即主体对象发生了移动，主体对象的姿态不稳定。

在本实施例中，从各个第四毫米波信号中确定连续至少两次的目标毫米波信号；获取各个目标毫米波信号中对应的特征点；根据各个目标毫米波信号中对应的特征点的位置，可以更准确判断主体对象的姿态是否稳定。

在一个实施例中，如图5所示，当启动摄像头时，电子设备执行步骤502，向被拍摄对象发射第一毫米波信号。电子设备执行步骤504，接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号。电子设备执行步骤506，根据第二毫米波信号从被拍摄对象中确定主体对象。电子设备执行步骤508，从第二毫米波信号中提取距离特征信息；执行步骤510，基于距离特征信息判断主体对象与摄像头之间的距离是否稳定。当判断为否时，即主体对象与摄像头之间的距离不稳定，返回执行步骤502。当判断为是时，即主体对象与摄像头之间的距离稳定，执行步骤512，向主体对象发射第三毫米波信号；执行步骤514，接收主体对象反射的与第三毫米波信号对应的第四毫米波信号；执行步骤516，从各个第四毫米波信号中分别确定主体对象的特征点；执行步骤518，利用姿态检测模型对特征点进行姿态判断；执行步骤520，判断主体对象的姿态是否稳定。当判断为是时，即主体对象的姿态稳定，执行步骤522，将快门控制指令传送给摄像头，执行拍照操作。当判断为否时，即主体对象的姿态不稳定时，返回执行步骤512。

在一个实施例中，上述当启动摄像头时，向被拍摄对象发射第一毫米波信号，包括：当启动摄像头时，采用第一频率向被拍摄对象发射第一毫米波信号。当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号，包括：当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，采用第二频率向主体对象发射第三毫米波信号；第二频率大于第一频率。

当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，则进一步判断主体对象的姿态稳定，即可对被拍摄对象进行拍照。也就是说，当判断主体对象与摄像头之间的距离稳定时，表示即将可以控制摄像头对被拍摄对象进行拍照。因此，采用更大的第二频率向主体对象发射第三毫米波信号，从而可以在后续抓取更准确的时机进行拍照，更准确地控制拍照。

在一个实施例中，上述当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，采用第二频率向主体对象发射第三毫米波信号之前，还包括：当基于连续至少两次的所述第二毫米波信号判断主体对象与摄像头之间的距离大于距离阈值时，或者当接收的第二毫米波信号的强度小于强度阈值时，采用第三频率向被拍摄对象发射第一毫米波信号；第三频率大于第一频率。

当主体对象与摄像头之间的距离大于距离阈值时，或者当接收的第二毫米波信号的强度小于强度阈值时，表示主体对象与摄像头之间的距离较远，则电子设备接收到的第二毫米波信号的强度较弱。因此，当主体对象与摄像头之间的距离大于距离阈值时，或者当接收的第二毫米波信号的强度小于强度阈值时，采用更大的第三频率向被拍摄对象发射第一毫米波信号，可以在单位时间内接收更多的第二毫米波信号，从而更准确地确定出主体对象，判断主体摄对象与摄像头之间的距离是否稳定。

在一个实施例中，上述方法还包括：根据被拍摄对象和主体对象确定非主体对象；当主体对象符合第一稳定条件，且非主体对象符合第二稳定条件时，控制摄像头对被拍摄对象进行拍照；第一稳定条件和第二稳定条件均包括与摄像头之间的距离变化量、姿态变化量，第一稳定条件中距离变化量的阈值小于第二稳定条件中的距离变化量的阈值；第一稳定条件中的姿态变化量的阈值小于第二稳定条件中的姿态变化量的阈值。

从被拍摄对象中确定主体对象之后，将被拍摄对象与主体对象进行差分处理，可以得到非主体对象。

第一稳定条件和第二稳定条件均包括与摄像头之间的距离变化量、姿态变化量，也就是说，第一稳定条件包括主体对象与摄像头之间的距离变化量、主体对象的姿态变化量；第二稳定条件包括非主体对象与摄像头之间的距离变化量、非主体对象的姿态变化量。

第一稳定条件中距离变化量的阈值小于第二稳定条件中的距离变化量的阈值；第一稳定条件中的姿态变化量的阈值小于第二稳定条件中的姿态变化量的阈值。例如，第一稳定条件中主体对象与摄像头之间的距离在±5的误差范围内，表示该距离稳定；第二稳定条件中非主体对象与摄像头之间的距离在±10的误差范围内，表示该距离稳定。又如，第一稳定条件中主体对象的摆动幅度在5度以内，表示主体对象的姿态稳定；第二稳定条件中非主体对象的摆动幅度在10度以内，表示主体对象的姿态稳定。

在本实施例中，当主体对象符合更高要求的第一稳定条件，且非主体对象符合第二稳定条件时，控制摄像头对被拍摄对象进行拍照，则拍摄得到的照片中主体对象更加清晰，更准确控制摄像头抓取对主体对象进行拍照的时机。

应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的控制拍照的装置的结构框图。如图6所示，提供了一种控制拍照的装置600，包括：发射模块602、接收模块604、主体对象确定模块606和控制模块608，其中：

发射模块602，用于当启动摄像头时，向被拍摄对象发射第一毫米波信号。

接收模块604，用于接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号。

主体对象确定模块606，用于根据第二毫米波信号从被拍摄对象中确定主体对象。

发射模块602还用于当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号。

接收模块604还用于接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第二毫米波信号判断主体对象的姿态是否稳定。

控制模块608，用于当判断主体对象的姿态稳定时，控制摄像头对被拍摄对象进行拍照。

上述控制拍照的装置，当启动摄像头时，向被拍摄对象发射第一毫米波信号；接收被拍摄对象反射的与第一毫米波信号对应的第二毫米波信号；根据第二毫米波信号从被拍摄对象中确定主体对象；当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，向主体对象发射第三毫米波信号；接收主体对象反射的与第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的第四毫米波信号判断主体对象的姿态是否稳定；主体对象为摄像头主要拍摄的对象，而当判断主体对象与摄像头之间的距离稳定之后，再判断主体对象的姿态稳定时，表示主体对象处于稳定状态，则控制摄像头对被拍摄对象进行拍照，即在主体对象处于稳定状态时控制摄像头进行拍照，可以准确地控制拍照的时机，提高了控制拍照的准确性。

在一个实施例中，上述主体对象确定模块606还用于根据第二毫米波信号生成被拍摄对象的毫米波图像；生成与毫米波图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将毫米波图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的毫米波图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图从被拍摄对象中确定候选对象；从候选对象中确定主体对象。

在一个实施例中，上述控制模块608还用于当判断主体对象的姿态稳定时，检测主体对象的动作；当检测到主体对象的动作与预设的动作相匹配时，执行控制摄像头对被拍摄对象进行拍照步骤。

在一个实施例中，上述控制拍照的装置还包括拍照模式切换模块，用于将第四毫米波信号输入目标模型中，输出目标对象；根据目标对象确定目标拍照模式，并将摄像头切换至目标拍照模式。当判断主体对象的姿态稳定时，控制摄像头对被拍摄对象进行拍照，包括：当判断主体对象的姿态稳定时，基于目标拍照模式控制摄像头对被拍摄对象进行拍照。

在一个实施例中，上述接收模块604还用于从第二毫米波信号中提取距离特征信息；基于距离特征信息判断主体对象与摄像头之间的距离是否稳定。

在一个实施例中，距离特征信息包括第二毫米波信号的强度和第二毫米波信号的反射时长中的至少一种，第二毫米波信号的反射时长是第二毫米波信号接收的时刻与第二毫米波信号对应的第一毫米波信号发送的时刻之间的时长。上述接收模块604还用于当连续至少两次的第二毫米波信号的强度之差均处于预设强度范围内时，主体对象与摄像头之间的距离稳定；和/或当连续至少两次的第二毫米波信号的反射时长之差均处于预设时长范围内时，主体对象与摄像头之间的距离稳定。

在一个实施例中，上述接收模块604还用于从各个第四毫米波信号中分别确定主体对象的特征点；基于各个第四毫米波信号中确定的主体对象的特征点，判断主体对象的姿态是否稳定。

在一个实施例中，上述接收模块604还用于从各个第四毫米波信号中确定连续至少两次的目标毫米波信号；获取各个目标毫米波信号中对应的特征点；当各个目标毫米波信号中对应的特征点均处于预设位置范围内时，判断主体对象的姿态稳定；当各个目标毫米波信号中对应的特征点存在不处于预设位置范围内的特征点时，判断主体对象的姿态不稳定。

在一个实施例中，上述发射模块602还用于当启动摄像头时，采用第一频率向被拍摄对象发射第一毫米波信号。上述第三毫米波信号接收模块610还用于当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离稳定时，采用第二频率向主体对象发射第三毫米波信号；第二频率大于第一频率。

在一个实施例中，上述发射模块602还用于当基于连续至少两次的第二毫米波信号判断主体对象与摄像头之间的距离大于距离阈值时，或者当接收的第二毫米波信号的强度小于强度阈值时，采用第三频率向被拍摄对象发射第一毫米波信号；第三频率大于第一频率。

在一个实施例中，上述控制模块608还用于根据被拍摄对象和主体对象确定非主体对象；当主体对象符合第一稳定条件，且非主体对象符合第二稳定条件时，控制摄像头对被拍摄对象进行拍照；第一稳定条件和第二稳定条件均包括与摄像头之间的距离变化量、姿态变化量，第一稳定条件中距离变化量的阈值小于第二稳定条件中的距离变化量的阈值；第一稳定条件中的姿态变化量的阈值小于第二稳定条件中的姿态变化量的阈值。

上述控制拍照的装置中各个模块的划分仅用于举例说明，在其他实施例中，可将控制拍照的装置按照需要划分为不同的模块，以完成上述控制拍照的装置的全部或部分功能。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种控制拍照的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的控制拍照的装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行控制拍照的方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行控制拍照的方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种控制拍照的方法，其特征在于，包括：

当启动摄像头时，向被拍摄对象发射第一毫米波信号；

接收所述被拍摄对象反射的与所述第一毫米波信号对应的第二毫米波信号；

根据所述第二毫米波信号从所述被拍摄对象中确定主体对象；

当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，向所述主体对象发射第三毫米波信号；

接收所述主体对象反射的与所述第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的所述第四毫米波信号判断所述主体对象的姿态是否稳定；

当判断所述主体对象的姿态稳定时，控制所述摄像头对所述被拍摄对象进行拍照。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二毫米波信号从所述被拍摄对象中确定主体对象，包括：

根据所述第二毫米波信号生成所述被拍摄对象的毫米波图像；

生成与所述毫米波图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述毫米波图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的毫米波图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图从所述被拍摄对象中确定候选对象；

从所述候选对象中确定主体对象。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当判断所述主体对象的姿态稳定时，检测所述主体对象的动作；

当检测到所述主体对象的动作与预设的动作相匹配时，执行控制所述摄像头对所述被拍摄对象进行拍照步骤。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第四毫米波信号输入目标模型中，输出目标对象；

根据所述目标对象确定目标拍照模式，并将所述摄像头切换至所述目标拍照模式；

所述当判断所述主体对象的姿态稳定时，控制所述摄像头对所述被拍摄对象进行拍照，包括：

当判断所述主体对象的姿态稳定时，基于所述目标拍照模式控制所述摄像头对所述被拍摄对象进行拍照。

5.根据权利要求1所述的方法，其特征在于，所述基于连续至少两次的所述第四毫米波信号判断所述主体对象的姿态是否稳定，包括：

从各个所述第四毫米波信号中分别确定所述主体对象的特征点；

基于各个所述第四毫米波信号中确定的所述主体对象的特征点，判断所述主体对象的姿态是否稳定。

6.根据权利要求5所述的方法，其特征在于，所述基于各个所述第四毫米波信号中确定的所述主体对象的特征点，判断所述主体对象的姿态是否稳定，包括：

从各个所述第四毫米波信号中确定连续至少两次的目标毫米波信号；

获取各个所述目标毫米波信号中对应的特征点；

当各个所述目标毫米波信号中对应的特征点均处于预设位置范围内时，判断所述主体对象的姿态稳定；

当各个所述目标毫米波信号中对应的特征点存在不处于预设位置范围内的特征点时，判断所述主体对象的姿态不稳定。

7.根据权利要求1所述的方法，其特征在于，所述当启动摄像头时，向被拍摄对象发射第一毫米波信号，包括：

当启动摄像头时，采用第一频率向被拍摄对象发射第一毫米波信号；

所述当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，向所述主体对象发射第三毫米波信号，包括：

当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，采用第二频率向所述主体对象发射第三毫米波信号；所述第二频率大于所述第一频率。

8.根据权利要求7所述的方法，其特征在于，所述当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，采用第二频率向所述主体对象发射第三毫米波信号之前，还包括：

当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离大于距离阈值时，或者当接收的所述第二毫米波信号的强度小于强度阈值时，采用第三频率向所述被拍摄对象发射第一毫米波信号；所述第三频率大于所述第一频率。

9.一种控制拍照的装置，其特征在于，包括：

发射模块，用于当启动摄像头时，向被拍摄对象发射第一毫米波信号；

接收模块，用于接收所述被拍摄对象反射的与所述第一毫米波信号对应的第二毫米波信号；

主体对象确定模块，用于根据所述第二毫米波信号从所述被拍摄对象中确定主体对象；

所述发射模块，用于当基于连续至少两次的所述第二毫米波信号判断所述主体对象与所述摄像头之间的距离稳定时，向所述主体对象发射第三毫米波信号；

所述接收模块，用于接收所述主体对象反射的与所述第三毫米波信号对应的第四毫米波信号，并基于连续至少两次的所述第四毫米波信号判断所述主体对象的姿态是否稳定；

控制模块，用于当判断所述主体对象的姿态稳定时，控制所述摄像头对所述被拍摄对象进行拍照。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的控制拍照的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images