CN103731583A - 用于拍照智能化合成、打印的一体化设备及其处理方法 - Google Patents

Abstract

本发明公开了一种用于拍照智能化合成、打印的一体化设备及其处理方法，包括摄像机、LCD触摸屏、服务器和激光打印机，所述摄像机与服务器通过USB接口电通信连接，所述LCD触摸屏与服务器通过DVI接口电通信连接，所述激光打印机与服务器通过RS232接口电通信连接；所述服务器（1）包括有二维编码识别解密模块、人脸识别模块、三维场景识别模块、3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块。本发明能够将虚拟场景元素与真实人物或环境素材结合在一起，能够达到虚拟与现实自然融合的拍摄效果，增强现实环境的拍照效果，最终满足客户对卡通拍照等新奇拍照效果的需求，并且能够非常方便地打印出来。

Description

用于拍照智能化合成、打印的一体化设备及其处理方法

技术领域

本发明涉及拍照特效处理设备及其处理方法，尤其涉及一种用于拍照智能化合成、打印的一体化设备及其处理方法。

背景技术

目前国内所有的拍照特效设备都是先拍摄照片，然后再通过软件技术或者人工干预针对静态照片进行特效处理，目前以智能手机拍照应用为主要形态，例如目前流行的一款拍照特效手机应用“魔漫相机”。

魔漫相机可以把拍下来的用户照片进行手动或者自动的人脸识别（手动识别的准确率相对高一些，目前安卓用户需要点击设置将人脸识别调成手动），选择男女性别以后，系统会自动在1～2秒钟内为用户绘制出一张图像，用户可以通过移动自己的脸部，调整脸型、发型（可移动）、眼镜、眉毛来改变面部的效果。然后，回到主页继续挑选自己更喜欢的背景模板（包括环境，着装风格和动作）。

国外的另一个产品Bitstrips也进入了我们的视野，Bitstrips已经蝉联苹果应用商店美国区榜首三周且仍在继续，Bitstrips主打的功能跟魔漫相机相差无几，用户可以通过Bitstrips制作自己的卡通形象，为自己的形象选择一个卡通场景，也可以通过这个场景来描述自己的生活并跟Facebook上的社交好友分享，和魔漫相机刷屏朋友圈一样，用Bitstrips制作的卡通形象也瞬间刷屏了Facebook用户的时间线，满屏都是卡通，时间线上也全是卡通漫画，用户仿佛进入了一个漫画的社交网络。

目前所有的拍照应用都是基于后期通过软件技术或者人工干预针的特效处理，并且基本是以虚拟场景元素为主，结合极少量真实人物或环境素材生成的卡通或其他效果照片，不能满足用户希望在特定真实场景中增加部分虚拟元素，并且不能实时的调整内容，进而就不能得到最满意的照片需求。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种用于拍照智能化合成、打印的一体化设备及其处理方法，能够将虚拟场景元素与真实人物或环境素材结合在一起，最终生成所需的卡通效果照片，并能够非常方便地打印出来，能够有效地解决上述技术问题。

本发明的目的通过下述技术方案实现：

一种用于拍照智能化合成、打印的一体化设备，包括摄像机、LCD触摸屏、服务器和激光打印机，所述摄像机与服务器通过USB接口电通信连接，所述LCD触摸屏与服务器通过DVI接口电通信连接，所述激光打印机与服务器通过RS232接口电通信连接。

本发明提供一种优选的服务器技术方案是：所述服务器为计算机。

本发明提供一种优选的摄像机技术方案是：所述摄像机为高清摄像机。

本发明提供一种优选的激光打印机技术方案是：所述激光打印机为彩色激光打印机。

本发明提供一种优选的服务器结构技术方案是：所述服务器包括有二维编码识别解密模块、人脸识别模块、三维场景识别模块、3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块；所述二维编码识别解密模块与摄像机电通信连接，人脸识别模块和三维场景识别模块均分别与二维编码识别解密模块电通信连接，人脸识别模块和三维场景识别模块均分别与3D素材实时渲染引擎模块电通信连接；3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块依次电通信连接。

一种用于拍照智能化合成、打印处理方法，其方法如下：

A、摄像机实时采集现场的视频图像信息，该视频图像信息构成图像数据流；

B、所述服务器的二维编码识别解密模块从摄像机获取图像数据流，并监测每一帧图像信息，如果出现特定格式的二维码，则解析该二维码并读取数据流，然后启用BASE64解码包对该图像数据流进行解码处理，若获得正确的信息则发送启动信号到人脸识别模块和三维场景识别模块；

C、人脸识别模块接收到启动信号后，开始接收图像数据流并检测每一帧图像，采用Adaboost挑选算法，首先使用Harr-like特征表示人脸，使用“积分图法”实现特征数值的快速计算，然后使用Adaboost算法挑选出一些最能代表人脸的矩形特征，该矩形特征即为弱分类器；按照加权投票的方式将弱分类器构造为一个强分类器，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，然后通过服务器的学习算法挑选出若干个有效的haar特征来组成人脸检测器；

D、三维场景识别模块检测分析服务器的人脸识别模块每帧图像的特征点，与三维场景识别数据模块的数据库进行特征点对比和模式匹配，找到真实环境中的识别点，并将其位置和角度信息发送到3D素材实时渲染引擎模块中；

E、3D素材实时渲染引擎模块会根据接收到的人脸信息及用户选择的3D素材信息，加载3D模型文件并使用Unity3D游戏引擎对其进行实时贴图及灯光渲染；接收到三维场景识别模块的三维空间特征信号后，3D素材实时渲染引擎模块自动选择匹配数据库中对应的3D模型素材，并加装渲染，处理完成后将发送所有素材内容信息打包成素材包并传输到增强现实合成引擎模块中；

F、增强现实合成引擎模块接收到方法E中的素材包后，将实时采集到的人脸位置与3D服装模型进行匹配位置设计，并计算出其位置匹配特征点，然后计算、调整其重合度，将三维模型的空间位置与现实世界的空间关系相重叠，计算光线关系及亮度关系，并合成其合成帧图像，并将该合成帧图像发送到显示模块中；

H、显示模块根据不同显示设备的分辨率调整方法F中的合成帧图像像素并显示到屏幕上，并且将合成帧图像传输至拍照打印模块中；

I、拍照打印模块将方法H中的合成帧图像保存，并发送打印指令给激光打印机打印出合成帧图像的照片。

为了更好地实现方法C步骤，本发明提供了如下优选的技术方案是：所述方法C中的人脸识别模块包括有训练系统总体框架，该训练系统总体框架由训练部分和补充部分构成；训练部分采集人脸样本集，补充部分采集非人脸样本集；人脸样本集与非人脸样本集组合在一起计算样本积分图，并进一步得出矩形特征原型，根据矩形特征原型计算出矩形特征值；若干个矩形特征值即可组成特征集，再确定阈值，由矩形特征生成对应的弱分类器，并得到弱分类器集；接着挑选最优的弱分类器，调用Adaboost挑选算法得到强分类器，由此获得类器集，将若干强分类器串联即可一个级联分类器。

本发明较现有技术相比，具有以下优点及有益效果：

本发明能够将虚拟场景元素与真实人物或环境素材结合在一起，能够达到虚拟与现实自然融合的拍摄效果，增强现实环境的拍照效果，最终满足客户对卡通拍照等新奇拍照效果的需求，并且能够非常方便地打印出来。

附图说明

图1为本发明硬件的连接结构示意图；

图2为人脸识别模块中优选的训练系统总体框架的工作原理框图；

图3为本实施例常用的四种haar特征；

图4为AdaBoost算法的示意图；

图5为本发明的服务器的内部原理结构框图；

图6为本发明工作原理的流程示意图。

其中，附图中的附图标记所对应的名称为：

1－服务器，2－摄像机，3－LCD触摸屏，4－激光打印机。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

如图1～图6所示，一种用于拍照智能化合成、打印的一体化设备，包括摄像机2、LCD触摸屏3、服务器1和激光打印机4，摄像机2与服务器1通过USB接口电通信连接，LCD触摸屏3与服务器1通过DVI接口电通信连接，激光打印机4与服务器1通过RS232接口电通信连接。

如图1所示，本实施例优选的服务器1为计算机。

如图1所示，本实施例优选的摄像机2为高清摄像机。

如图1所示，本实施例优选的激光打印机4为彩色激光打印机。

如图5所示，服务器1包括有二维编码识别解密模块、人脸识别模块、三维场景识别模块、3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块；二维编码识别解密模块与摄像机2电通信连接，人脸识别模块和三维场景识别模块均分别与二维编码识别解密模块电通信连接，人脸识别模块和三维场景识别模块均分别与3D素材实时渲染引擎模块电通信连接；3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块依次电通信连接。

如图1～图6所示，一种用于拍照智能化合成、打印处理方法，其方法如下：

A、摄像机2实时采集现场的视频图像信息，该视频图像信息构成图像数据流；

B、服务器1的二维编码识别解密模块从摄像机2获取图像数据流，并监测每一帧图像信息，如果出现特定格式的二维码，则解析该二维码并读取数据流，然后启用BASE64解码包对该图像数据流进行解码处理，若获得正确的信息则发送启动信号到人脸识别模块和三维场景识别模块；

C、人脸识别模块接收到启动信号后，开始接收图像数据流并检测每一帧图像，采用Adaboost挑选算法，首先使用Harr-like特征表示人脸，使用“积分图法”实现特征数值的快速计算，然后使用Adaboost算法挑选出一些最能代表人脸的矩形特征，该矩形特征即为弱分类器；按照加权投票的方式将弱分类器构造为一个强分类器，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，然后通过服务器1的学习算法挑选出若干个有效的haar特征来组成人脸检测器；

如图4所示，每个Haar特征对应看一个弱分器，Adaboost算法从大量的Haar特征中挑选出最优Haar特征并制作成分类器用于人脸检测，daboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，对于h1分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布U2。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器h2。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。

作为本发明在方法C中的优选实施方式是：方法C中的人脸识别模块包括有训练系统总体框架，该训练系统总体框架由训练部分和补充部分构成；训练部分采集人脸样本集，补充部分采集非人脸样本集；人脸样本集与非人脸样本集组合在一起计算样本积分图，并进一步得出矩形特征原型，根据矩形特征原型计算出矩形特征值；若干个矩形特征值即可组成特征集，再确定阈值，由矩形特征生成对应的弱分类器，并得到弱分类器集；接着挑选最优的弱分类器，调用Adaboost挑选算法得到强分类器，由此获得类器集，将若干强分类器串联即可一个级联分类器。

如图2所示，训练系统总体框架由“训练部分”和“补充部分”构成。依据系统框架，本文的训练系统可分为以下几个模块:

1、以样本集为输入，在给定的矩形特征原型下，计算并获得矩形特征集;

2、以特征集为输入，根据给定的弱学习算法，确定闽值，将特征与弱分类器一一对应，获得弱分类器集;

3、以弱分类器集为输入，在训练检出率和误判率限制下，使用A d a B oo s t算法

4、挑选最优的弱分类器构成强分类器;

5、以强分类器集为输入，将其组合为级联分类器;

6、以非人脸图片集为输入，组合强分类器为临时的级联分类器，筛选并补充非人脸样本。

训练样本要求是面部特写图像，图1是一簇训练样本，大小被归一化为24×24像素，其中正训练样本要求是面部特写图像，但是人脸形态千差万别，所以训练样本选取过程中要考虑到样本的多样性。负训练样本，大小被归一化为24×24像素，其中各样本不完全相同，分别具有一定的代表性。

训练过程分为3个步骤：首先需要提取Haar特征；然后将Haar特征转化成对应的弱分类器；最后从大量的弱分类器中迭代选择出最优弱分类器。

提取Haar特征的过程如下：

如图3所示，常用的Haar特征有4种。当然也可以在这4种特征的基础上设计出更多、更复杂的特征。以大小为24X24像素的训练样本为例，上述4种特征的总个数超过了160000个。这样庞大的数字给后续的迭代训练工作带来了庞大的计算量，直接导致AdaBoost算法训练过程极为费时，这恰恰是算法需要改进的关键问题之一。

生成弱分类器的工作原理如下：

每一个Haar特征都对应着一个弱分类器，每一个弱分类器都是根据它所对应的Haar特征的参数来定义的。利用上述Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数。AdaBoost算法中所训练的弱分类器是任何分类器，包括决策树，神经网络，隐马尔科夫模型，如果弱分类器是线性神经网络，那么AdaBoost算法每次将构造多层感知器的一个节点。

采用AdaBoost算法选取优化的弱分类器的原理如下：

daBoost算法训练过程就是挑选最优弱分类器，并赋予权重过程，图4是AdaBoost算法训练示意图。

D、三维场景识别模块检测分析服务器1的人脸识别模块每帧图像的特征点，与三维场景识别数据模块的数据库进行特征点对比和模式匹配，找到真实环境中的识别点，并将其位置和角度信息发送到3D素材实时渲染引擎模块中；

E、3D素材实时渲染引擎模块会根据接收到的人脸信息及用户选择的3D素材信息，加载3D模型文件并使用Unity3D游戏引擎对其进行实时贴图及灯光渲染；接收到三维场景识别模块的三维空间特征信号后，3D素材实时渲染引擎模块自动选择匹配数据库中对应的3D模型素材，并加装渲染，处理完成后将发送所有素材内容信息打包成素材包并传输到增强现实合成引擎模块中；

F、增强现实合成引擎模块接收到方法E中的素材包后，将实时采集到的人脸位置与3D服装模型进行匹配位置设计，并计算出其位置匹配特征点，然后计算、调整其重合度，将三维模型的空间位置与现实世界的空间关系相重叠，计算光线关系及亮度关系，并合成其合成帧图像，并将该合成帧图像发送到显示模块中；

H、显示模块根据不同显示设备的分辨率调整方法F中的合成帧图像像素并显示到屏幕上，并且将合成帧图像传输至拍照打印模块中；

I、拍照打印模块将方法H中的合成帧图像保存，并发送打印指令给激光打印机打印出合成帧图像的照片。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于拍照智能化合成、打印的一体化设备，其特征在于：包括摄像机（2）、LCD触摸屏（3）、服务器（1）和激光打印机（4），所述摄像机（2）与服务器（1）通过USB接口电通信连接，所述LCD触摸屏（3）与服务器（1）通过DVI接口电通信连接，所述激光打印机（4）与服务器（1）通过RS232接口电通信连接。

2.按照权利要求1所述的用于拍照智能化合成、打印的一体化设备，其特征在于：所述服务器（1）为计算机。

3.按照权利要求1所述的用于拍照智能化合成、打印的一体化设备，其特征在于：所述摄像机（2）为高清摄像机。

4.按照权利要求1所述的用于拍照智能化合成、打印的一体化设备，其特征在于：所述激光打印机（4）为彩色激光打印机。

5.按照权利要求1～4任一项所述的用于拍照智能化合成、打印的一体化设备，其特征在于：所述服务器（1）包括有二维编码识别解密模块、人脸识别模块、三维场景识别模块、3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块；所述二维编码识别解密模块与摄像机（2）电通信连接，人脸识别模块和三维场景识别模块均分别与二维编码识别解密模块电通信连接，人脸识别模块和三维场景识别模块均分别与3D素材实时渲染引擎模块电通信连接；3D素材实时渲染引擎模块、增强现实合成引擎模块、显示模块和拍照打印模块依次电通信连接。

6.一种用于拍照智能化合成、打印处理方法，其特征在于：其方法如下：

A、摄像机（2）实时采集现场的视频图像信息，该视频图像信息构成图像数据流；

B、所述服务器（1）的二维编码识别解密模块从摄像机（2）获取图像数据流，并监测每一帧图像信息，如果出现特定格式的二维码，则解析该二维码并读取数据流，然后启用BASE64解码包对该图像数据流进行解码处理，若获得正确的信息则发送启动信号到人脸识别模块和三维场景识别模块；

C、人脸识别模块接收到启动信号后，开始接收图像数据流并检测每一帧图像，采用Adaboost挑选算法，首先使用Harr-like特征表示人脸，使用“积分图法”实现特征数值的快速计算，然后使用Adaboost算法挑选出一些最能代表人脸的矩形特征，该矩形特征即为弱分类器；按照加权投票的方式将弱分类器构造为一个强分类器，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，然后通过服务器（1）的学习算法挑选出若干个有效的haar特征来组成人脸检测器；

D、三维场景识别模块检测分析服务器（1）的人脸识别模块每帧图像的特征点，与三维场景识别数据模块的数据库进行特征点对比和模式匹配，找到真实环境中的识别点，并将其位置和角度信息发送到3D素材实时渲染引擎模块中；

E、3D素材实时渲染引擎模块会根据接收到的人脸信息及用户选择的3D素材信息，加载3D模型文件并使用Unity3D游戏引擎对其进行实时贴图及灯光渲染；接收到三维场景识别模块的三维空间特征信号后，3D素材实时渲染引擎模块自动选择匹配数据库中对应的3D模型素材，并加装渲染，处理完成后将发送所有素材内容信息打包成素材包并传输到增强现实合成引擎模块中；

F、增强现实合成引擎模块接收到方法E中的素材包后，将实时采集到的人脸位置与3D服装模型进行匹配位置设计，并计算出其位置匹配特征点，然后计算、调整其重合度，将三维模型的空间位置与现实世界的空间关系相重叠，计算光线关系及亮度关系，并合成其合成帧图像，并将该合成帧图像发送到显示模块中；

H、显示模块根据不同显示设备的分辨率调整方法F中的合成帧图像像素并显示到屏幕上，并且将合成帧图像传输至拍照打印模块中；

I、拍照打印模块将方法H中的合成帧图像保存，并发送打印指令给激光打印机打印出合成帧图像的照片。

7.按照权利要求6所述的用于拍照智能化合成、打印处理方法，其特征在于：所述方法C中的人脸识别模块包括有训练系统总体框架，该训练系统总体框架由训练部分和补充部分构成；训练部分采集人脸样本集，补充部分采集非人脸样本集；人脸样本集与非人脸样本集组合在一起计算样本积分图，并进一步得出矩形特征原型，根据矩形特征原型计算出矩形特征值；若干个矩形特征值即可组成特征集，再确定阈值，由矩形特征生成对应的弱分类器，并得到弱分类器集；接着挑选最优的弱分类器，调用Adaboost挑选算法得到强分类器，由此获得类器集，将若干强分类器串联即可一个级联分类器。

Images