CN104883494B - 一种图像抓拍的方法及装置 - Google Patents

Abstract

本发明公开了一种图像抓拍的方法及装置，属于数字成像技术领域。方法流程包括：实时提取预览图像中的拍摄对象的骨骼模型；当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对所述拍摄对象进行抓拍。采用本发明能够一次性准确的获取期望的拍摄图像，无需反复拍摄，不仅节省了便携终端的资源，而且减轻了用户的工作量，提高了用户的体验。

Description

一种图像抓拍的方法及装置

技术领域

本发明涉及数字成像领域，尤其涉及一种图像抓拍的方法及装置。

背景技术

相机是便携式设备中不可或缺的一部分，目前采用便携式设备如移动终端进行拍照时，提供了许多的人性化拍照方式，如笑脸拍照、V字拍照、延迟拍照等各种方式。但这些拍照方式的改进都是针对于被拍者的静态状态进行拍照，如要想在拍摄到被拍者在跳跃等动作中最佳的状态，仍然只能依靠的拍摄者肉眼判断被拍者的最佳状态，同步按下拍照键，以扑捉最佳的影像，但这种拍摄方式的具有较大的随机性，而且不能保证在被拍者的最佳状态下及时按下拍照键，很可能导致被拍者多次重复动作才有可能获取最佳的拍摄图像，不仅浪费资源，而且加大了用户的工作量，导致用户的体验不佳。

发明内容

本发明的主要目的在于提出一种图像抓拍的方法及装置，旨在解决现有技术不能在动态拍照中准确抓拍预取的动作姿势的缺陷。

为实现上述目的，本发明提供的一种图像抓拍的方法，所述方法包括步骤：

实时提取预览图像中的拍摄对象的骨骼模型；

当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对所述拍摄对象进行抓拍。

提供一种如上所述的方法，所述实时提取预览图像中的骨骼模型，包括：

拍摄所述预览图像的背景图像；

对所述预览图像及所述背景图像进行差分处理，提取所述拍摄对象的图像；

根据所述图像提取所述拍摄对象的骨骼模型。

提供一种如上所述的方法，所述实时提取预览图像中的人体骨骼模型，包括：

获取所述预览图像的拍摄对象的深度信息；

根据所述深度信息提取所述拍摄对象的图像；

根据所述图像提取所述拍摄对象的骨骼模型。

提供一种如上所述的方法，所述提取预览图像中的骨骼模型之前，所述方法还包括：

利用至少两段相连的线段或曲线模拟所述拍摄对象的动作造型；

将所述动作造型作为所述预设骨骼模型进行保存。

提供一种如上所述的方法，所述当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，保存所述预览图像，包括：

将所述骨骼模型与所述预存骨骼模型进行相似度比对；

当所述相似度大于预设阀值时，或者当预设的连续长时间内所述相似度达到预设峰值时，获取所述预览图像中的拍摄对象的位置信息；

根据所述位置信息进行自动对焦并执行拍摄动作。

此外，为实现上述目的，本发明还提出一种图像抓拍的装置，所述装置包括：

模型提取单元，用于提取预览图像中的拍摄对象的骨骼模型；

拍摄单元，用于在当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对所述拍摄对象进行抓拍。

提供一种如上所述的装置，

所述拍摄单元，还用于拍摄所述预览图像的背景图像；

所述模型提取单元包括：

图像提取模块，用于对所述预览图像及所述背景图像进行差分处理，提取所述拍摄对象的图像；

模型提取模块，用于根据所述图像提取所述拍摄对象的骨骼模型。

提供一种如上所述的装置，

所述模型提取单元包括：

深度获取模块，用于获取所述预览图像的拍摄对象的深度信息；

图像提取模块，用于根据所述深度信息提取所述拍摄对象的图像；

模型提取模块，用于根据所述图像提取所述拍摄对象的骨骼模型。

提供一种如上所述的装置，所述装置还包括：

设计单元，用于利用至少两段相连的线段模拟所述拍摄对象的动作造型；

存储单元，用于将所述动作造型作为所述预设骨骼模型进行保存。

提供一种如上所述的装置，所述装置还包括：

对比单元，用于将所述骨骼信息与所述预存骨骼模型进行相似度比对；

位置获取单元，用于在所述相似度大于预设阀值时，或者在预设连续时间内所述相似度达到预设峰值时，获取所述预览图像中的拍摄的位置信息；

拍摄单元，还用于根据所述位置信息进行自动对焦并执行拍摄动作。

本发明提出的图像抓拍的方法及装置，通过实时提取预览图像中拍摄对象的骨骼模型，能够在该骨骼模型与预设骨骼模型的相似度达到预设的阀值时进行抓拍，从而一次性准确的获取期望的拍摄图像，无需反复拍摄，不仅节省了便携终端的资源，而且减轻了用户的工作量，提高了用户的体验。

附图说明

图1为实现本发明各个实施例的相机的主要电气结构的框图；

图2为本发明实施例提供的一种图像抓拍的方法的流程图；

图3为图3所示实施例中预设骨骼模型的示意图；

图4为根据图4预设骨骼模型抓拍的图像的示意图；

图5为本发明实施例提供的一种图像抓拍的装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，″模块″与″部件″可以混合地使用。

图1是表示本发明的一个实施方式的相机的主要电气结构的框图。摄影镜头101由用于形成被摄体像的多个光学镜头构成，是单焦点镜头或变焦镜头。摄影镜头101能够通过镜头驱动部111在光轴方向上移动，根据来自镜头驱动控制部112的控制信号，控制摄影镜头101的焦点位置，在变焦镜头的情况下，也控制焦点距离。镜头驱动控制电路112按照来自微型计算机107的控制命令进行镜头驱动部111的驱动控制。

在摄影镜头101的光轴上、由摄影镜头101形成被摄体像的位置附近配置有摄像元件102。摄像元件102发挥作为对被摄体像摄像并取得摄像图像数据的摄像部的功能。在摄像元件102上二维地呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。

摄像元件102与摄像电路103连接，该摄像电路103在摄像元件102中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。

摄像电路103与A/D转换部104连接，该A/D转换部104对模拟图像信号进行模数转换，向总线199输出数字图像信号(以下称之为图像数据)。

总线199是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线199连接着上述A/D转换部104，此外还连接着图像处理器105、JPEG处理器106、微型计算机107、SDRAM(Synchronous DRAM)108、存储器接口(以下称之为存储器I/F)109、LCD(液晶显示器：Liquid Crystal Display)驱动器110。

图像处理器105对基于摄像元件102的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器106在将图像数据记录于记录介质115时，按照JPEG压缩方式压缩从SDRAM108读出的图像数据。此外，JPEG处理器106为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质115中的文件，在JPEG处理器106中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM108中并在LCD116上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微型计算机107发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机107连接着操作单元113和闪存114。

操作单元113包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部材，检测这些操作部材的操作状态，。

将检测结果向微型计算机107输出。此外，在作为显示部的LCD116的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机107输出。微型计算机107根据来自操作单元113的操作部材的检测结果，执行与用户的操作对应的各种处理序列。(同样，可以把这个地方改成计算机107根据LCD116前面的触摸面板的检测结果，执行与用户的操作对应的各种处理序列。)

闪存114存储用于执行微型计算机107的各种处理序列的程序。微型计算机107根据该程序进行相机整体的控制。此外，闪存114存储相机的各种调整值，微型计算机107读出调整值，按照该调整值进行相机的控制。

SDRAM108是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM108暂时存储从A/D转换部104输出的图像数据和在图像处理器105、JPEG处理器106等中进行了处理后的图像数据。

存储器接口109与记录介质115连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质115和从记录介质115中读出的控制。记录介质115例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器110与LCD116连接，将由图像处理器105处理后的图像数据存储于SDRAM，需要显示时，读取SDRAM存储的图像数据并在LCD116上显示，或者，JPEG处理器106压缩过的图像数据存储于SDRAM，在需要显示时，JPEG处理器106读取SDRAM的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD116进行显示。

LCD116配置在相机主体的背面等上，进行图像显示。该LCD116设有检测用户的触摸操作的触摸面板。另外，作为显示部，在本实施方式中配置的是液晶表示面板(LCD116)，然而不限于此，也可以采用有机EL等各种显示面板。

基于上述相机的硬件结构以及通信系统，提出本发明方法各个实施例。

如图2所示，本发明第一实施例提出一种图像抓拍的方法，包括如下步骤：

S210、实时提取预览图像中的拍摄对象的骨骼模型；

S220、当该骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对该拍摄对象进行抓拍。

进一步的，在一个优选的方案中，步骤S210包括：

拍摄该预览图像的背景图像；

对该预览图像及该背景图像进行差分处理，提取该拍摄对象的图像；

根据该图像提取该拍摄对象的骨骼模型。

具体的，可以先由用户在当前拍摄点，提前拍摄一张不包含拍对象(比如被拍摄的目标人物)的图像作为背景图像；然后在后续拍摄的过程中，将拍摄对象作为前景图像。需要说明的是，为在后续拍摄过程中，精确的提取到前景图像，在拍摄对象进行预设的抓拍动作比如跳跃动作时，便携终端的有效显示区域显示的预览图像中的拍摄对象的位置应当处于背景图像中。较佳的方案是在拍摄背景图像与抓拍动作时，便携式移动终端的拍摄位置保持不变。

当从便携终端中获取当前的预览图像之后，可以对预览图像与背景图像进行匹配、校准。考虑到便携终端在进行两次拍摄的时候背景图像与当前的图像可能有所差别，所以优选的在对拍摄对象的图像进行提取之前，对两者的图像进行匹配、校准，以便准确的获取拍摄对象的图像信息。一般情况下将校准后的预览图像与背景图像进行差分处理后，便可获得拍摄对象的图像，实际应用中还可以进一步进行形态学处理，使得到的图像更为准确。

当提取到拍摄对象的图像之后，可以根据该图像对拍摄对象的轮廓信息以及掩模信息进行提取，并依此进行中轴细化等操作，就可得到人体骨架信息。实际应用中，可以直接将提取的人体骨架信息作为骨骼模型与预设骨骼模型进行比对，也可以以首次提取的人体骨架信息为基础，捕捉不同时刻骨骼信息的变化，从而提取不同时刻的骨骼模型。

进一步的，在一个优选的方案中，如果便携式终端上配置了深度感应摄像头或者双目摄像头，步骤S210也通过如下方式实现：

获取该预览图像的拍摄对象的深度信息；

根据该深度信息提取该拍摄对象的图像；

根据该图像提取该拍摄对象的骨骼模型。

具体的，可以通过摄像头的参数，获取到拍摄对象的深度信息。实际应用中，可以将深度信息附近范围内距离该深度信息一定阈值的部分设置为前景对象(即拍摄对象)。比如，在获取了该深度信息之后，将大于该深度信息一定阀值的部分作为前景对象，此时可以将位于拍摄对象后的物体排除掉；或者将小于该深度信息一定阀值的部分作为前景对象，此时可以将位于拍摄对象前的物体排除掉。具体的阀值的确定可以根据用户在预览图像上手动选择的拍摄对象确定，也可以根据预设的条件确定。

进一步的，在一个优选的方案中，在步骤S210之前，该方法还包括：

利用至少两段相连的线段或曲线模拟该拍摄对象的动作造型；

将该动作造型作为该预设骨骼模型进行保存。

具体的，可以采用线条的方式，按照被拍者的期望的动作进行预设，并保留当前预设动作。在对被拍者的所期望拍摄到的动作进行采用线条的方式进行表述或预设时，该线条可以采用n条线段组成的人体模型形式，如图3所示，可以利用7条线段首位相连的方式，设定期望对拍摄者跳跃时进行抓拍的动作造型，该动作造型为双腿弯曲，此时该7条线段组成的图形即为预设的骨骼模型。实际应用中，线段的段数可以根据需要进行调整，也可采用多段曲线模拟该拍摄对象的动作造型。

具体的，预设骨骼模型可以由用户根据期望抓拍的动作造型进行设置，用户可按照自己的意愿进行拍照。实际应用中，便携式终端也可以直接提供一些常用动作造型的骨骼模型作为预设骨骼模型，方便拍摄者选择。

进一步的，在一个优选的方案中，步骤S220包括：

将该骨骼模型与该预存骨骼模型进行相似度比对；

当该相似度大于预设阀值时，或者当预设连续时间内该相似度达到预设峰值时，获取该预览图像中的拍摄对象的位置信息；

根据该位置信息进行自动对焦并执行拍摄动作。

具体的，可以将实时获取的骨骼模型与预设骨骼模型动作的进行实时相似度对比，如相似度达到预设阈值或者在预设的连续长的时间内，两者的相似度处于峰值，则启动自动对焦并执行拍照动作。否则，继续对实时获取的骨架模型与预设骨骼模型进行对比，直至满足上述条件。

如需要抓拍如图3所示的预设骨骼模型对应的动作造型时，实时获取预览图像中的拍摄对象的骨骼模型，并将获取的骨骼模型与预设骨骼模型进行相似度对比，直到相似度大于预设的阀值时，启动自动对焦进行抓拍，获取的图片如图4所示。

在自动对焦时，可以根据拍摄对象的中心获取拍摄对象的位置信息，然后将该位置信息作为自动对焦的焦点位置，并调用便携终端的相关接口进行设置，实现自动对拍摄对象进行对焦。

需要说明的是，本实施例也可以应用在静态拍摄场景中。

本实施例的图像抓拍的方法，通过实时提取预览图像中拍摄对象的骨骼模型，能够在该骨骼模型与预设骨骼模型的相似度达到预设的阀值时进行抓拍，从而一次性准确的获取期望的拍摄图像，无需反复拍摄，不仅节省了便携终端的资源，而且减轻了用户的工作量，提高了用户的体验。

本发明进一步提供一种图像抓拍的装置。参照图5，该装置包括：

模型提取单元510，用于提取预览图像中的拍摄对象的骨骼模型；

抓拍单元520，用于在当该骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对该拍摄对象进行抓拍。

进一步的，在一个优选的方案中，该拍摄单元520，还用于拍摄该预览图像的背景图像。

该模型提取单元510包括：

图像提取模块，用于对该预览图像及该背景图像进行差分处理，提取该拍摄对象的图像；

模型提取模块，用于根据该图像提取该拍摄对象的骨骼模型。

具体的，图像提取模块可以在对该预览图像及该背景图像进行差分处理后，再进行形态学处理。

模型提取模块，则可以在图像提取模块提取到拍摄对象的图像之后，根据该图像对拍摄对象的轮廓信息以及掩模信息进行提取，并依此进行中轴细化等操作，就可得到人体骨架信息。

进一步的，在一个优选的方案中，如果便携式终端上配置了深度感应摄像头或者双目摄像头，则该模型提取单元510包括：

深度获取模块，用于获取该预览图像的拍摄对象的深度信息；

图像提取模块，用于根据该深度信息提取该拍摄对象的图像；

模型提取模块，用于根据该图像提取该拍摄对象的骨骼模型。

具体的，深度获取模块可以通过摄像头的参数，获取到拍摄对象的深度信息。

进一步的，在一个优选的方案中，该装置还包括：

设计单元530，用于利用至少两段相连的线段模拟该拍摄对象的动作造型；

存储单元540，用于将该动作造型作为该预设骨骼模型进行保存。

具体的，可以采用线条的方式，按照被拍者的期望的动作造型进行预设，并保留当前预设动作。在对被拍者的所期望拍摄到的动作造型进行采用线条的方式进行表述或预设时，该线条可以采用n条线段组成的人体骨骼模型形式。实际应用中，线段的段数可以根据需要进行调整，也可采用多段曲线模拟该拍摄对象的动作造型。

实际应用中，预设骨骼模型可以由用户根据期望抓拍的动作造型进行设置，用户可按照自己的意愿进行拍照。实际应用中，便携式终端也可以直接提供一些常用动作造型的骨骼模型作为预设骨骼模型，方便拍摄者选择。

进一步的，在一个优选的方案中，该装置还包括：

对比单元550，用于将该骨骼信息与该预存骨骼模型进行相似度比对；

位置获取单元560，用于在该相似度大于预设阀值时，或者在预设连续时间内该相似度达到预设峰值时，获取该预览图像中的拍摄的位置信息；

拍摄单元520，还用于根据该位置信息进行自动对焦并执行拍摄动作。

具体的，对比单元550将实时获取的骨骼模型与预设骨骼模型动作的进行实时相似度对比，如相似度达到预设阈值或者在预设的连续长的时间内，两者的相似度处于峰值，则启动自动对焦并执行拍照动作。否则，对比单元550继续对实时骨架模型与预设骨骼模型进行对比，直至满足上述条件。

位置获取单元560可以根据拍摄对象的中心获取拍摄对象的位置信息。

拍摄单元520将位置获取单元560获取的位置信息作为自动对焦的焦点位置，并调用便携终端的相关接口进行设置，实现自动对拍摄对象进行对焦。

本实施例的图像抓拍的装置，通过实时提取预览图像中拍摄对象的骨骼模型，能够在该骨骼模型与预设骨骼模型的相似度达到预设的阀值时进行抓拍，从而一次性准确的获取期望的拍摄图像，无需反复拍摄，不仅节省了便携终端的资源，而且减轻了用户的工作量，提高了用户的体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像抓拍的方法，其特征在于，所述方法包括步骤：

实时提取预览图像中的拍摄对象的骨骼模型；

当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对所述拍摄对象进行抓拍，所述预设骨骼模型由用户根据期望抓拍的动作造型进行设置。

2.根据权利要求1所述的方法，其特征在于，所述实时提取预览图像中的骨骼模型，包括：

拍摄所述预览图像的背景图像；

对所述预览图像及所述背景图像进行差分处理，提取所述拍摄对象的图像；

根据所述图像提取所述拍摄对象的骨骼模型。

3.根据权利要求1所述的方法，其特征在于，所述实时提取预览图像中的人体骨骼模型，包括：

获取所述预览图像的拍摄对象的深度信息；

根据所述深度信息提取所述拍摄对象的图像；

根据所述图像提取所述拍摄对象的骨骼模型。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述提取预览图像中的骨骼模型之前，所述方法还包括：

利用至少两段相连的线段或曲线模拟所述拍摄对象的动作造型；

将所述动作造型作为所述预设骨骼模型进行保存。

5.根据权利要求4所述的方法，其特征在于，所述当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，保存所述预览图像，包括：

将所述骨骼模型与所述预存骨骼模型进行相似度比对；

当所述相似度大于预设阀值时，或者当预设的连续长时间内所述相似度达到预设峰值时，获取所述预览图像中的拍摄对象的位置信息；

根据所述位置信息进行自动对焦并执行拍摄动作。

6.一种图像抓拍的装置，其特征在于，所述装置包括：

模型提取单元，用于提取预览图像中的拍摄对象的骨骼模型；

拍摄单元，用于在当所述骨骼模型与预设骨骼模型的相似度达到预设的阀值时，对所述拍摄对象进行抓拍，所述预设骨骼模型由用户根据期望抓拍的动作造型进行设置。

7.根据权利要求6所述的装置，其特征在于，

所述拍摄单元，还用于拍摄所述预览图像的背景图像；

所述模型提取单元包括：

图像提取模块，用于对所述预览图像及所述背景图像进行差分处理，提取所述拍摄对象的图像；

模型提取模块，用于根据所述图像提取所述拍摄对象的骨骼模型。

8.根据权利要求6所述的装置，其特征在于，所述模型提取单元包括：

深度获取模块，用于获取所述预览图像的拍摄对象的深度信息；

图像提取模块，用于根据所述深度信息提取所述拍摄对象的图像；

模型提取模块，用于根据所述图像提取所述拍摄对象的骨骼模型。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：

设计单元，用于利用至少两段相连的线段模拟所述拍摄对象的动作造型；

存储单元，用于将所述动作造型作为所述预设骨骼模型进行保存。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

对比单元，用于将所述骨骼信息与所述预存骨骼模型进行相似度比对；

位置获取单元，用于在所述相似度大于预设阀值时，或者在预设连续时间内所述相似度达到预设峰值时，获取所述预览图像中的拍摄的位置信息；

拍摄单元，还用于根据所述位置信息进行自动对焦并执行拍摄动作。