CN103079034A - 一种感知拍摄方法及系统 - Google Patents

Abstract

本发明提供了一种感知拍摄方法及系统，该方法包括：交互模块展示后置摄像头采集的场景；控制模块判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；后置摄像头对采集的场景执行所述拍摄指令对应的拍摄操作。本发明提供的技术方案用以解决手部抖动带来的拍摄结果与预选场景差异较大的问题。

Description

一种感知拍摄方法及系统

【技术领域】

本发明涉及拍摄技术，尤其涉及一种感知拍摄方法及系统。

【背景技术】

目前，用户在利用照相机或手机选择好拍摄角度和拍摄时间后，按下快门触发拍摄时，往往会出现手部抖动的情况，从而导致拍摄效果与预想效果差距较大，例如拍摄出的照片不清楚，或抖动导致的场景变化，使拍摄出的场景不是预选的拍摄场景等。

现有技术中都是利用运动补偿去抖动的方法来解决拍摄中抖动带来的问题，例如，拍摄照片的过程就是提取视频流中的某一帧，因此运动补偿去抖动的方法就是利用相邻帧之间的信息得到当前帧的全局运动参数，利用全局运动参数进行滤波，就可以消除抖动对照片的影响。但是，抖动造成的拍摄不清楚本身就是一个信息混淆和损失的过程，因而无法获得正确的全局运动参数，对于损失或混淆的信息往往是无法完全恢复的，因此，最好的方法是尽可能在拍摄过程中不产生抖动。

【发明内容】

本发明提供了一种感知拍摄方法及系统，用以解决手部抖动带来的拍摄结果与预选场景差异较大的问题。

本发明的具体技术方案如下：

根据本发明一优选实施例，一种感知拍摄系统，包括：交互模块、前置摄像头、控制模块、后置摄像头；其中，

交互模块，用于展示后置摄像头采集的场景；

控制模块，用于判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；

后置摄像头，用于对采集的场景执行所述拍摄指令对应的拍摄操作。

上述系统中，该系统还包括：人脸检测模块和表情分析模块；其中，

所述前置摄像头，用于实时获取图像，并将实时获取的图像发送给控制模块；

所述控制模块，还用于将当前时刻T的图像发送给人脸检测模块；

所述人脸检测模块，用于从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块；

所述控制模块，还用于将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块；

所述表情分析模块，用于依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块。

上述系统中，所述面部表情列表为拍摄指令与人脸表情类别的对应关系；其中，每个拍摄指令对应一个以上人脸表情类别。

上述系统中，所述拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令和关闭闪光灯指令。

上述系统中，所述控制模块，还用于判断出在面部表情列表中没有与识别出的人脸表情类别一致的人脸表情类别时，触发人脸检测模块继续从图像中识别人脸区域。

上述系统中，所述控制模块，还用于将所述人脸表情类别发送给交互模块；

所述交互模块，还用于展示人脸表情的动态图示或人脸表情的描述信息。

一种感知拍摄方法，包括：

交互模块展示后置摄像头采集的场景；

控制模块判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；

后置摄像头对采集的场景执行所述拍摄指令对应的拍摄操作。

上述方法中，该方法还包括：

前置摄像头实时获取图像，并将实时获取的图像发送给控制模块；

控制模块将当前时刻T的图像发送给人脸检测模块；

人脸检测模块从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块；

控制模块将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块；

表情分析模块依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块。

上述方法中，所述面部表情列表为拍摄指令与人脸表情类别的对应关系；其中，每个拍摄指令对应一个以上人脸表情类别。

上述方法中，所述拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令和关闭闪光灯指令。

上述方法中，该方法还包括：控制模块判断出在面部表情列表中没有与识别出的人脸表情类别一致的人脸表情类别时，触发人脸检测模块继续从图像中识别人脸区域。

上述方法中，该方法还包括：

控制模块将所述人脸表情类别发送给交互模块；

交互模块展示人脸表情的动态图示或人脸表情的描述信息。

由以上技术方案可以看出，本发明提供的具有以下有益效果：

本发明的上述技术方案中，利用前置摄像头捕获的用户的面部表情来触发后置摄像头的拍摄操作，而面部表情的变化不会使得手部发送运动，从而使得拍摄的图像与用户的预选场景相符，从而解决手部抖动带来的拍摄结果与预选场景差异较大的问题，对于没有拍摄经验，拍摄时手易抖动的用户更加有帮助。

【附图说明】

图1是本发明实现感知拍摄系统的优选实施例的结构示意图；

图2是本发明实现感知拍摄方法的优选实施例的流程示意图。

【具体实施方式】

本发明的技术方案的应用前提是设备具有前置摄像头和后置摄像头，一般地，设备具有这两个摄像头，那么就可以同时通过两个摄像头采集图像，可以将前置摄像头采集的图像和后置摄像头采集的图像分别导入，并协调两个图像同时展示在交互模块上，或不予显示其中的一个图像。对于不支持同时开启前置摄像头和后置摄像头的设备，可以通过分时打开前置摄像头和后置摄像头的方法来模拟同时开启前置摄像头和后置摄像头的情况，例如，以1ms为周期，轮流打开前置摄像头和后置摄像头，这样以极短的间隔轮流开启前置摄像头和后置摄像头，就相当于前置摄像头和后置摄像头是同时开启的。基于具有前置摄像头和后置摄像头，且前置摄像头和后置摄像头能同时开启的设备，本发明提供一种感知拍摄方法及系统，其基本思想是：交互模块展示后置摄像头采集的场景；控制模块判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；后置摄像头对采集的场景执行所述拍摄指令对应的拍摄操作。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提供一种感知拍摄系统，图1是本发明实现感知拍摄系统的优选实施例的结构示意图，如图1所示，该系统包括：交互模块10、前置摄像头11、控制模块12、人脸检测模块13、表情分析模块14、数据库15、后置摄像头16。

基于上述方法，本发明还提供一种感知拍摄方法，图2是本发明实现感知拍摄方法的优选实施例的流程示意图，如图2所示，该优选实施例包括以下步骤：

步骤201，交互模块展示后置摄像头采集的场景。

具体的，后置摄像头开启后采集场景，然后发送给交互模块进行展示，用户依据交互模块展示的场景可以移动后置摄像头以获取想要的拍摄场景。

步骤202，前置摄像头实时获取图像，并将实时获取的图像发送给控制模块。

具体的，用户可以在选好后置摄像头需要拍摄的场景后，开启前置摄像头，然后场景实时通过前置摄像头中的镜头生成的光学图像投射到前置摄像头中的图像传感器表面，然后转为电信号，经过模数转换处理后转换后变为数字图像信号，再送到前置摄像头的数字信号处理芯片中加工处理后得到图像信息，前置摄像头将实时捕获的图像信息发送给控制模块；可选的，前置摄像头在捕获图像信息时，为了获得较好的图像质量，如捕获清晰度较高的图像信息以及保证人脸在图像信息中占有合适的比例，本优选实施例中，前置摄像头可以自动调节摄像机参数，例如自动调节前置摄像头的焦距，校正前置摄像头的拍摄角度等。

步骤203，控制模块实时接收前置摄像头发送的图像，并将当前时刻T的图像发送给人脸检测模块，所述人脸检测模块从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块。

具体的，控制模块实时接收前置摄像头发送的图像信息，然后将收到的场景信息中当前时刻T的图像信息发送给人脸检测模块；人脸检测模块基于控制模块提供的当前时刻T的图像信息，在该图像信息中识别出人脸的区域位置，将人脸区域信息返回给控制模块，控制模块将从时刻T开始的连续N帧图像和人脸区域信息转发给表情分析模块；其中，N可以依据表情检测模块的检测性能进行预先配置，N为正整数。

本优选实施例中，人脸检测模块识别出人脸的具体位置是基于Harr特征的Adaboost人脸检测算法；其实现方法为：首先，利用Harr-like特征表示人脸，使用积分图实现特征数值的快速计算；然后，使用Adaboost算法挑选出一些最能代表人脸的矩形特征，称为弱分类器，按照加权投票的方式将该弱分类器构造为一个强分类器；最后，将得到的一个以上强分类器串联组成一个级联结构的分类器，这里，采用级联结构能有效地提高分类器的检测速度；对于一个图像区域，将该图像的Harr特征输入级联结构的分类器进行分析，分类器输出该图像区域是不是人脸属性；利用滑动窗口的方法对所有可能出现人脸的图像区域利用上述方法进行检测，就获得了图像中所有被判断出是人脸的区域，从而检测到图像中出现的人脸。

步骤204，控制模块将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块，所述表情分析模块依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块。

具体的，表情分析模块接收到控制模块提供的从时刻T开始的连续N帧图像和人脸区域信息后，优选的，可以先利用人脸跟踪技术和人脸对齐技术进行人脸表情类别的预处理，这样可以保证人脸区域中的人脸不晃动，从而模拟出静止的人脸，只有在人脸不晃动的前提下，人脸表情类别的识别才有意义。本优选实施例中，对人脸表情类别的预处理的方法是：基于人脸跟踪技术，利用目标跟踪方法，持续跟踪前置摄像头捕获的从时刻T开始的连续N帧图像中的人脸区域，然后基于人脸对齐技术调整人脸区域的位置获得较好外切人脸矩形区域；这里，人脸跟踪和人脸对齐的处理目的是在从时刻T开始的连续N帧图像中获得持续稳定的外切人脸矩形区域，从而使得后面的人脸表情类别识别处理不受人脸在前置摄像头中的运动导致的人脸表情识别误差的影响，经过人脸跟踪和人脸对齐处理后的人脸区域，在视觉上相当于人脸是静止的。

表情分析模块在利用人脸跟踪技术和人脸对齐技术进行人脸表情类别的预处理后，依据时刻T的图像和人脸区域信息，对人脸面部表情进行识别；实现方法为：对人脸区域的左眉、右眉、左眼、右眼、鼻子、上唇、下唇和下巴尖共8个关键点进行定位，然后依据从时刻T开始的连续N帧图像，对人脸区域的8个关键点进行人脸跟踪，且基于每个关键点有水平和竖直两个运动维度，因此获得对应的N*8*2个运动变化数据，将获得的运动变化数据输入到预设的表情分类器，该表情分类器依据输入的运动变化数据输出对应的人脸表情类别；表情分析模块将表情分类器输出的人脸表情类别发送给控制模块。

其中，预设表情分类器的方法为：首先选出常见的M个人脸表情类别，然后对应每个人脸表情类别分别采集L组N*8*2个运动变化数据，最后依据M*L组运动变化数据，利用统计机器学习分类技术进行学习，获得表情分类器；其中，采用的统计机器学习分类技术可以为SVM、Adaboost等常用的分类技术。

步骤205，控制模块判断出人脸表情类别属于预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头。

具体的，数据库中预先存储面部表情列表，该面部表情列表用于保存拍摄指令与人脸表情类别的对应关系，每个拍摄指令可以对应一个以上的人脸表情类别，一个人脸表情类别只能对应一个拍摄指令；其中，拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令、关闭闪光灯指令等；例如，人脸表情类别可以是眨左眼、皱眉头等。

控制模块收到表情分析模块识别出的人脸表情类别后，从数据库提取预设的面部表情列表，判断面部表情列表中的人脸表情类别是否包含识别出的人脸表情类别，如果在面部表情列表中找到与识别出的人脸表情类别一致的人脸表情类别，则依据面部表情列表中拍摄指令与人脸表情类别的对应关系，找到该人脸表情类别对应的拍摄指令，控制模块将找到的拍摄指令发送给后置摄像头；如果在面部表情列表中没有找到与识别出的人脸表情类别一致的人脸表情类别，则执行步骤203，人脸检测模块重新从收到的图像中识别出人脸区域。

本优选实施例中，预先存储的面部表情列表可以在系统开发时就配置在数据库中，作为默认的面部表情列表；该面部表情列表中有一系列可以触发拍摄指令的人脸表情类别，用户可以利用前置摄像头输入包含这些人脸表情类别的图像，从而触发控制模块向后置摄像头发送对应的拍摄指令，触发后置摄像头拍摄当前场景；对于默认的面部表情列表，也可以由用户自定义进行删除、修改或增加，例如，用户需要在面部表情列表中为某拍摄指令增加自定义的人脸面部表情时，打开前置摄像头，前置摄像头捕获用户的图像信息，然后将图像信息通过控制模块发送给人脸检测模块，人脸检测模块从图像信息中获得人脸区域信息，然后将人脸区域信息通过控制模块发送给表情分析模块，表情分析模块依据人脸区域信息和从时刻T开始的连续N帧图像分析出人脸面部表情，并返回给控制模块，控制模块从数据库的面部表情列表中获取所有的拍摄指令，然后通过交互模块进行显示，用户依据显示的拍摄指令选出当前人脸面部表情对应的拍摄指令，交互模块将用户选出的拍摄指令返回给控制模块，控制模块在面部表情列表中该拍摄指令对应的一个以上人脸面部表情中增加当前人脸表情类别。

可选的，控制模块在收到人脸表情类别后，可以发送给交互模块进行展示，交互模块依据人脸表情类别可以展示该表情的动态图示或展示该表情的描述信息。

步骤206，后置摄像头对采集的场景执行拍摄指令对应的拍摄操作。

具体的，后置摄像头收到控制模块发送的拍摄指令后，依据拍摄指令指示的操作，对采集的场景执行拍摄指令对应的拍摄操作，例如，拍摄指令为开始摄像指令，则开始对场景进行摄像，拍摄指令为拍照指令，则捕获采集的场景；后置摄像头可以将捕获的场景信息发送控制模块，再由控制模块转发给交互模块，交互模块向用户显示拍摄的图像。

为实现上述方法，如图1所示，本发明的感知拍摄系统中：

交互模块10，用于展示后置摄像头采集的场景；

前置摄像头11，用于实时获取图像，并将实时获取的图像发送给控制模块12；

控制模块12，用于将当前时刻T的图像发送给人脸检测模块13；

人脸检测模块13，用于从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块12；

控制模块12，用于将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块14；

表情分析模块14，用于依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块12；

控制模块12，用于判断出前置摄像头11获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头16；

后置摄像头16，用于对采集的场景执行所述拍摄指令对应的拍摄操作。

其中，所述面部表情列表为拍摄指令与人脸表情类别的对应关系；其中，每个拍摄指令对应一个以上人脸表情类别；所述拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令和关闭闪光灯指令。

上述系统中，所述控制模块，还用于判断出在面部表情列表中没有与识别出的人脸表情类别一致的人脸表情类别时，触发人脸检测模块继续从图像中识别人脸区域。

上述系统中，所述控制模块，还用于将所述人脸表情类别发送给交互模块；所述交互模块，还用于展示人脸表情的动态图示或人脸表情的描述信息。

本发明的上述技术方案中，利用前置摄像头捕获的用户的面部表情来触发后置摄像头的拍摄操作，而面部表情的变化不会使得手部发送运动，从而使得拍摄的图像与用户的预选场景相符，从而解决手部抖动带来的拍摄结果与预选场景差异较大的问题，对于没有拍摄经验，拍摄时手易抖动的用户更加有帮助。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种感知拍摄系统，其特征在于，该系统包括：交互模块、前置摄像头、控制模块、后置摄像头；其中，

交互模块，用于展示后置摄像头采集的场景；

控制模块，用于判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；

后置摄像头，用于对采集的场景执行所述拍摄指令对应的拍摄操作。

2.根据权利要求1所述的系统，其特征在于，该系统还包括：人脸检测模块和表情分析模块；其中，

所述前置摄像头，用于实时获取图像，并将实时获取的图像发送给控制模块；

所述控制模块，还用于将当前时刻T的图像发送给人脸检测模块；

所述人脸检测模块，用于从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块；

所述控制模块，还用于将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块；

所述表情分析模块，用于依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块。

3.根据权利要求1所述的系统，其特征在于，

所述面部表情列表为拍摄指令与人脸表情类别的对应关系；其中，每个拍摄指令对应一个以上人脸表情类别。

4.根据权利要求1所述的系统，其特征在于，所述拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令和关闭闪光灯指令。

5.根据权利要求1所述的系统，其特征在于，所述控制模块，还用于判断出在面部表情列表中没有与识别出的人脸表情类别一致的人脸表情类别时，触发人脸检测模块继续从图像中识别人脸区域。

6.根据权利要求1所述的系统，其特征在于，

所述控制模块，还用于将所述人脸表情类别发送给交互模块；

所述交互模块，还用于展示人脸表情的动态图示或人脸表情的描述信息。

7.一种感知拍摄方法，其特征在于，该方法包括：

交互模块展示后置摄像头采集的场景；

控制模块判断出前置摄像头获取的图像中人脸表情类别属于数据库中预设的面部表情列表时，将所述人脸表情类别对应的拍摄指令发送给后置摄像头；

后置摄像头对采集的场景执行所述拍摄指令对应的拍摄操作。

8.根据权利要求7所述的方法，其特征在于，该方法还包括：

前置摄像头实时获取图像，并将实时获取的图像发送给控制模块；

控制模块将当前时刻T的图像发送给人脸检测模块；

人脸检测模块从收到的图像中识别出人脸区域，将人脸区域信息返回给控制模块；

控制模块将人脸区域信息和从时刻T开始的连续N帧图像发送给表情分析模块；

表情分析模块依据人脸区域信息和从时刻T开始的连续N帧图像识别出人脸表情类别，将所述人脸表情类别返回给控制模块。

9.根据权利要求7所述的方法，其特征在于，

所述面部表情列表为拍摄指令与人脸表情类别的对应关系；其中，每个拍摄指令对应一个以上人脸表情类别。

10.根据权利要求7所述的方法，其特征在于，所述拍摄指令包括：拍照指令、开始摄像指令、停止摄像指令、连续拍照指令、放大指令、缩小指令、打开闪光灯指令和关闭闪光灯指令。

11.根据权利要求7所述的方法，其特征在于，该方法还包括：控制模块判断出在面部表情列表中没有与识别出的人脸表情类别一致的人脸表情类别时，触发人脸检测模块继续从图像中识别人脸区域。

12.根据权利要求7所述的方法，其特征在于，该方法还包括：

控制模块将所述人脸表情类别发送给交互模块；

交互模块展示人脸表情的动态图示或人脸表情的描述信息。

Images