CN103679204A - 基于智能移动设备平台的图像识别与创作应用系统及方法 - Google Patents

Abstract

本发明揭示了一种基于智能移动设备平台的图像识别与创作应用系统及方法，所述系统包括实境增强应用子系统；所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。本发明可以在智能移动设备上实现基于AR实境与3D内置影像结合。方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

Description

基于智能移动设备平台的图像识别与创作应用系统及方法

技术领域

本发明属于增强现实技术领域，涉及一种增强现实系统，尤其涉及一种基于智能移动设备平台的图像识别与创作应用系统；同时，本发明还涉及一种基于智能移动设备平台的图像识别与创作应用方法。

背景技术

AR增强现实(AR全称是Augmented Reality，即扩增现实或增强现实)是一种将虚拟内容和真实存在的内容进行实时融合，形成虚拟、现实之间互动的技术。AR技术分为手机AR，人脸识别，定点识别，卡片识别，体感AR技术等。AR实景是虚拟现实的延伸和发展，在虚拟现实的基础上增加了真实环境，从而创造出全新的体验。AR实景必须是将虚幻、现实两者进行实时融合，静态的合成不能属于AR实景的范畴。

AR增强现实至少应该满足三个要素。首先它所呈现的内容必须包含虚拟和现实两个部分，这也是AR实景最基本的条件。其次虚拟和现实的融合必须是实时进行的；如果是静态的画面，不能随着环境的改变而变化，则为PS。最后，AR实景应该创造出三维环境，这种三维环境不是指视觉上的3D立体画面，而是指屏幕中创造出空间范围，屏幕会随着你的移动而呈现不同内容。

目前，基于智能移动终端的AR应用技术目前较多应用于广告和游戏等领域，日本索尼公司就公布了名为Smart AR的无标签版扩增实境技术。

索尼公司指出，此次研发的加强版扩增实境技术Smart AR，与现有的靠大标签当“锚”才能使用的技术相比，最大的进步在于它不再需要标签，就可以将虚拟的信息应用到真实世界，使真实的环境和虚拟的物体叠加到同一个画面。

Smart AR还够更快更准确的识别并追踪对象，即使光线或对象物体发生变化，它也能够及时感应到并配合改变。这就不会出现使用现有技术时因动作太快而导致的3D物与锚点分离的情况。

除了无标签化外，Smart AR另外一个显著的优点是，它可以应用在大范围的3D空间内，可以随着锚点的变化而准确的判断出锚点在空间内的位置。而拥有触摸屏智能手机的用户只要轻触屏幕上的虚拟物，就可直观又便捷的获取需要的信息。

原有的AR实境增强技术，并没有最大化的为用户服务，在智能移动设备上的用户无法自由参与使用AR相关技术创作及应用，缺少参与感，无法利用该技术产生内容，无法而成利用移动设备无线网络技术快速分享。

有鉴于此，如今迫切需要设计一种新的增强现实系统，以克服现有系统的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种基于智能移动设备平台的图像识别与创作应用系统，可以在智能移动设备上实现基于AR实境与3D内置影像结合。方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

此外，本发明还提供一种基于智能移动设备平台的图像识别与创作应用方法，可以在智能移动设备上实现基于AR实境与3D内置影像结合。方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

为解决上述技术问题，本发明采用如下技术方案：

一种基于智能移动设备平台的图像识别与创作应用系统，所述系统包括：实境增强应用子系统、用户交互展示系统；

所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品，同时能对影像内容的删除、更新及修改；

所述实境增强应用子系统主要包括：标识物识别模块、创作模块、图像处理模块、素材库模块、统一格式模块；

所述标识物识别模块利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景；

所述创作模块用以通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；

所述图像处理模块用以利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

所述统一格式模块将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放；

所述用户交互展示子系统用以将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放；所述用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性；所述用户交互展示子系统包括：交互模块、用户接口模块；

所述交互模块用以实时查找好友，并与好友一起分享作品，参与作品的评论与关注；将自己制作完成的实境增强图像分享，包括脚本的解码及多媒体内容的解析、展示；

所述用户接口模块用以为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口；包括XML与JSON通用API接口。

一种基于智能移动设备平台的图像识别与创作应用系统，所述系统包括：实境增强应用子系统；

所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。

作为本发明的一种优选方案，所述图像识别与创作应用系统还包括用户交互展示系统，用以将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放。

作为本发明的一种优选方案，所述实境增强应用子系统主要包括：标识物识别模块、创作模块、图像处理模块、素材库模块、统一格式模块；

所述标识物识别模块利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

所述创作模块用以通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；

所述图像处理模块用以利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；所述图像处理模块的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

所述统一格式模块将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放。

作为本发明的一种优选方案，所述标识物识别模块的阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景；

作为本发明的一种优选方案，所述用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性；所述用户交互展示子系统包括：交互模块、用户接口模块；

所述交互模块用以实时查找好友，并与好友一起分享作品，参与作品的评论与关注；将自己制作完成的实境增强图像分享，包括脚本的解码及多媒体内容的解析、展示；

所述用户接口模块用以为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口；包括XML与JSON通用API接口。

一种上述图像识别与创作应用系统的图像识别与创作应用方法，所述方法包括如下步骤：

步骤S1、实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。

作为本发明的一种优选方案，所述步骤S1具体包括：标识物识别步骤、创作步骤、图像处理步骤、统一格式步骤；

标识物识别步骤中，利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

创作步骤中，通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；所述3D模型存储于素材库模块中，所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

图像处理步骤中，利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；所述图像处理步骤的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

统一格式步骤中，将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放。

作为本发明的一种优选方案，所述标识物识别步骤中，阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景；

作为本发明的一种优选方案，所述方法还包括步骤S2：用户交互展示子系统将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放。

用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性。

本发明的有益效果在于：本发明提出的基于智能移动设备平台的图像识别与创作应用系统及方法，可以在智能移动设备上实现基于AR实境与3D内置影像结合，方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

随着用户增加，利用本发明还可以与企业合作共同推出企业应用，开发基于增强现实AR技术的移动应用，以用于推广企业的产品，实现崭新的营销推广模式。

本发明中是在智能移动终端的虚拟影像可以是图片、视频也可以是动态3D效果，通过与AR识别的实境内容增强，让用户通过智能设备对现实世界有更直观、更丰富的视觉信息，实时互动体验更真实。

附图说明

图1为本发明系统中加入3D模型的AR创作平台工作流程图。

图2为本发明系统的软件框架设计图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

AR增强现实至少应该满足三个要素：首先它所呈现的内容必须包含虚拟和现实两个部分，这也是AR实景最基本的条件；其次虚拟和现实的融合必须是实时进行的，如果是静态的画面，不能随着环境的改变而变化(叫PS)；最后，AR实景应该创造出三维环境，这种三维环境不是指视觉上的3D立体画面，而是指屏幕中创造出空间范围，屏幕会随着你的移动而呈现不同内容。

本发明中是在智能移动终端的虚拟影像可以是图片、视频也可以是动态3D效果，通过与AR识别的实境内容增强，让用户通过智能设备对现实世界有更直观、更丰富的视觉信息，实时互动体验更真实。

本发明具体提供一套基于智能移动设备平台的图像识别与创作应用方法，让用户利用利用智能终端的图像传感器，将用户在移动状态中的真实情景与相关信息数据库进行关联，为用户创造所见即所得的用户体验，并利用此信息创建可交互并分享内容的解决方法。

本发明具体包括：移动设备的实现AR图像识别过程、智能移动终端创作平台架构、用户内容交互分享的移动应用程序。具体实现过程如下：

【步骤S1】移动设备实现AR图像识别过程；

增强现实(Augmented Reality，简称AR)，又称增强实景、混合现实、扩增现实等，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。它将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。是一种综合了图像识别、动作捕捉、虚拟现实等学科，将数字信息、三维虚拟模型精确地叠加显示到真实场景的创新人机交互技术。增强现实提供了在一般情况下，不同于人类可以感知的信息。把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，可以采用图像的阈值分割方法，根据像素的灰度等特性判别像素是以属于背景还是标识物。

阈值分割基于图像灰度值的相似性原理，它也是图像分割技术的最重要方法之一。假设灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式。从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开。对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则可以认为该像素点为背景点，否则认为该点为标识物点。

一幅经过阈值化处理的图像可以定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

被标记为1的像素属于标识物，而被标记为0的像素则属于背景。阈值的选择很重要，阈值选择过高，则部分属于标识物的像素点会误划分为背景；阈值选择过低，则部分属于背景的像素点会被误划分为标识物。

增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。增强现实技术是数字化技术的发展和延伸，它通过对实时的视频图像进行信息传输和处理，形成交互式的三维图像画面，给客户带来更真实的全新体验与感受。

【步骤S2】利用智能移动设备进行创作的过程；

请参阅图1，本发明通过用特别标志物进行识别，并将智能移动设备摄像头获取的图像标志信息转化为平面图形、立体结构、高清视频等等，例如一只栩栩如生的巨龙从用户手中腾空而起等，由于采用先进的视觉算法识别技术，系统可以跟踪定位任意多个标志点而互相之间没有影响。通过先进的标志图像识别技术，将真实的内置3D模型(如恐龙、3D建筑物等)置于展台之上，当参观者使用智能设备后，屏幕展示的内容如图片、视频等会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容，同时还可以添加自己的内容，利用无线互联网分享与其他用户。

【步骤S3】用户内容交互分享的过程；

通过本发明的技术方法，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。并呈现给使用者一个感官效果真实的新环境。因此增强现实系统具有虚实结合、实时交互、三维注册的新特点。增强现实的新技术，将通过增强我们的所见、所听、所感和所闻，进一步模糊真实世界与计算机所生成的虚拟世界之间的界线。

实施例二

请参阅图2，本发明基于智能移动设备平台的图像识别与创作应用主要包括两部分内容——实境增强应用系统及用户交互展示系统两大部分。以下分别介绍两个系统的组成。

1、实境增强应用系统

实境增强应用系统是一个强大的用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，用户通过手机能够记录这些影像，生成独特的创作作品，用户可以对影像内容的删除、更新及修改。它主要有以下几个模块：

标识物识别模块：移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

所述创作模块：通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；

图像处理模块：首先利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度等。所述图像处理模块的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成。

素材库模块：软件内置多项图像效果、边框、3D模型、视频、序列帧图片等丰富素材，让用户在制作更多作品。

统一格式模块：将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分。形成一个完整的文档格式，可以方便用户保存与分享，同时解析后，影像作品可以在软件中还原并播放。

2、用户交互展示系统

用户将制作的内容通过WIFI或3G等移动互联网技术，快速将自己的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放。

通过开放的、基于互联网标准的分布式同步或异步信息传递内容。使用XML、Web服务接口以及标准化基于规则的路由选择文档等支持，为移动终端程序提供安全互用性。它主要有以下几个模块：

交互模块：指用户使用移动设备终端实时查找好友，并与好友一起分享作品，参与作品的评论与关注。将自己制作完成的实境增强图像分享，它包括脚本的解码及多媒体内容的解析、展示。

用户接口模块：为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口。包括XML与JSON等通用API接口。

一种上述图像识别与创作应用系统的图像识别与创作应用方法，所述方法包括如下步骤：

【步骤S1】实境增强应用系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。

作为本发明的一种优选方案，所述步骤S1具体包括：标识物识别步骤、创作步骤、图像处理步骤、统一格式步骤；

标识物识别步骤中，利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物。所述标识物识别步骤中，阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景。

创作步骤中，通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；所述3D模型存储于素材库模块中，所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

图像处理步骤中，利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；所述图像处理步骤的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

统一格式步骤中，将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放。

【步骤S2】用户交互展示系统将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放。用户交互展示系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性。

综上所述，本发明提出的基于智能移动设备平台的图像识别与创作应用系统及方法，可以在智能移动设备上实现基于AR实境与3D内置影像结合，方便用户创作新型多媒体内容，并利用无线互联网交互分享，适用于智能移动设备应用领域推广使用。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (10)

1.一种基于智能移动设备平台的图像识别与创作应用系统，其特征在于，所述系统包括：实境增强应用子系统、用户交互展示系统；

所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品，同时能对影像内容的删除、更新及修改；

所述实境增强应用子系统主要包括：标识物识别模块、创作模块、图像处理模块、素材库模块、统一格式模块；

所述标识物识别模块利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景；

所述创作模块用以通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；

所述图像处理模块用以利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度，具体方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

所述统一格式模块将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放；

所述用户交互展示子系统用以将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放；所述用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性；所述用户交互展示子系统包括：交互模块、用户接口模块；

所述交互模块用以实时查找好友，并与好友一起分享作品，参与作品的评论与关注；将自己制作完成的实境增强图像分享，包括脚本的解码及多媒体内容的解析、展示；

所述用户接口模块用以为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口；包括XML与JSON通用API接口。

2.一种基于智能移动设备平台的图像识别与创作应用系统，其特征在于，所述系统包括实境增强应用子系统；

所述实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。

3.根据权利要求2所述的基于智能移动设备平台的图像识别与创作应用系统，其特征在于：

所述图像识别与创作应用系统还包括用户交互展示系统，所述用户交互展示子系统用以将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放。

4.根据权利要求2所述的基于智能移动设备平台的图像识别与创作应用系统，其特征在于：

所述实境增强应用子系统主要包括：标识物识别模块、创作模块、图像处理模块、素材库模块、统一格式模块；

所述标识物识别模块利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

所述创作模块用以通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；

所述图像处理模块用以利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；所述图像处理模块的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

所述统一格式模块将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放。

5.根据权利要求4所述的基于智能移动设备平台的图像识别与创作应用系统，其特征在于：

所述标识物识别模块的阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景。

6.根据权利要求3所述的基于智能移动设备平台的图像识别与创作应用系统，其特征在于：

所述用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性；所述用户交互展示子系统包括：交互模块、用户接口模块；

所述交互模块用以实时查找好友，并与好友一起分享作品，参与作品的评论与关注；将自己制作完成的实境增强图像分享，包括脚本的解码及多媒体内容的解析、展示；

所述用户接口模块用以为用户提供与其他用户或平台中心实现网络环境中分享内容转换接口；包括XML与JSON通用API接口。

7.一种权利要求1至6之一所述图像识别与创作应用系统的图像识别与创作应用方法，其特征在于，所述方法包括如下步骤：

步骤S1、实境增强应用子系统作为用户影像内容制作中心，利用移动设备的图像捕捉及处理能力，将虚拟影像融入到现实环境中，通过移动设备记录这些影像，生成独特的创作作品。

8.根据权利要求6所述的图像识别与创作应用方法，其特征在于：

所述步骤S1具体包括：标识物识别步骤、创作步骤、图像处理步骤、统一格式步骤；

标识物识别步骤中，利用移动设备的图像获取单元获取标识物的视频帧，对标识物进行图像识别；对标识物进行识别的过程就是将标识物从背景中抽取出来的过程，采用图像的阈值分割方法，根据像素的特性判别像素属于背景还是标识物；

创作步骤中，通过标识图像识别技术，将真实的内置3D模型置于展台之上，当参观者使用智能设备后，屏幕展示的内容会立刻投影到标志处，真实现实与虚拟内容相结合，使观众在感受新奇互动效果的同时观看到多媒体的展示内容；所述3D模型存储于素材库模块中，所述素材库模块中内置多项图像效果、边框、3D模型、视频、序列帧图片，便于用户再制作更多作品；

图像处理步骤中，利用智能移动设备的摄像头录制或识别现实世界影像，再利用虚实合成技术的图像处理引擎，通过算法调整图像色彩通道、清晰度、曝光度、对比度；所述图像处理步骤的具体处理方法包括：摄像头录制或识别到标识物后，为与场景更真实，需要在跟踪定位过程进行准确的标注，同时还需要实现虚拟物体与真实物体之间的遮挡、阴影和光照一致性效果，虚拟物体即3D模型；在阴影处理方面，考虑虚拟物体与真实物体之间的阴影，计算方法从摄像头中心点采集图像点的周围16个扩散点平均值为依据，以此为基础计算光景和反射信息；采用两种方法计算：使用标识物估计光照参数或者动态范围的光照获取平均法；标识物为预先设置图像，在一定光照亮度下参数已知，通过此参数能与摄像头实时获取的数据对比计算现实环境的光亮及阴影参数；在环境光的检测方面，系统利用摄像头获取一组不同视角照片重构几何物体，用另外一组在不同光照条件下拍摄的同一视角的照片构的光学模型；最后根据图像中标识物的明暗状况逆推出真实环境中的光照情况，进而构造一个虚拟淘汰来实现光照一致性效果，完成调整图像色彩通道、清晰度、曝光度、对比度等效果，实现虚实合成；

统一格式步骤中，将用户创作的内容以特殊格式保存，包含了声音层、虚拟层、现实图像层三个部分；形成一个完整的文档格式，方便用户保存与分享，同时解析后，影像作品能在软件中还原并播放。

9.根据权利要求7所述的图像识别与创作应用方法，其特征在于：

所述标识物识别步骤中，阈值分割方法包括：设定灰度直方图与一幅图像f(x，y)对应，该图像由位于亮背景上的暗物体构成，并且结成物体和背景的像素构成其两个主要的模式；从图像的背景中提取物体的方法之一就是选择一个阈值T来将这两个模式分开；对于任意一点(x，y)，如果其灰度值f(x，y)≥T，则认为该像素点为背景点，否则认为该点为标识物点；一幅经过阈值化处理的图像定义为：

$g(x,y)=\left\{\begin{array}{cc}1& f(x,y)<T\\ 0& f(x,y)\&GreaterEqual;T\end{array}\right.---\left(2.1\right)$

其中，被标记为1的像素属于标识物，而被标记为0的像素则属于背景。

10.根据权利要求6所述的图像识别与创作应用方法，其特征在于：

所述方法还包括步骤S2：用户交互展示子系统将用户的作品上传到服务器中心，并且分享给自己其他的好友，在移动设备上还原并播放；

用户交互展示子系统通过开放的、基于互联网标准的分布式同步或异步信息传递内容；使用XML、Web服务接口以及标准化基于规则的路由选择文档支持，为移动终端程序提供安全互用性。

Images