CN102110379A - 多媒体增强现实读物 - Google Patents

多媒体增强现实读物 Download PDF

Info

Publication number
CN102110379A
CN102110379A CN201110041630XA CN201110041630A CN102110379A CN 102110379 A CN102110379 A CN 102110379A CN 201110041630X A CN201110041630X A CN 201110041630XA CN 201110041630 A CN201110041630 A CN 201110041630A CN 102110379 A CN102110379 A CN 102110379A
Authority
CN
China
Prior art keywords
image
module
reading matter
multimedia
reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110041630XA
Other languages
English (en)
Inventor
黄振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201110041630XA priority Critical patent/CN102110379A/zh
Publication of CN102110379A publication Critical patent/CN102110379A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明多媒体增强现实读物，涉及一种影像处理技术，它包括识别标记、影像处理模块、影像定位模块、影像生成模块。摄像头采集到识别标记，通过影像识别模块、影像处理模块进行分析比对和处理后，由影像定位模块准确分析定位识别标记的三维坐标，再通过影像生成模块产生现实环境中不存在的虚拟对象并准确放置到读物上，并经显示设备显示出来，将传统读物以多媒体的内容表现出来，虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实时交互、三维定位的特点。

Description

多媒体增强现实读物
技术领域
本发明涉及一种新型的印刷读物，具体的说是多媒体增强现实读物。
背景技术
传统的书籍、印刷品因为只能进行平面的印刷，信息量有限，且缺乏互动性。如一个家具产品说明书，虽然有组装的图纸，但是因为局限于平面纸张而无法表现出其组装过程和多个视角的立体效果。如果能够在这些图纸中加入一个预设好的识别标记，将图纸置于摄像头下，摄像头可以识别这个标记并且把三维的立体图和动画等叠加展示到图纸上的相应位置，还可以随用户旋转、移动图纸而同步展示立体模型和动画的各个角度，这样会大大方便阅读者了解图纸。用户如果还可以进一步通过虚拟触摸等形式来控制立体图像的展示，那将能达到更佳逼真的体验效果。这些应用的实现可以带来传统印刷行业的革新，将多媒体交互式阅读与传统阅读完美地结合在一起，你既可以像查看传统报纸、刊物、手册那样地阅读，也可以用一个带有摄像头和增强现实处理系统的辅助阅读器来查看他的立体效果，阅读到更丰富的信息。
发明内容
本发明的目的在于实现上述发明目的而提供了一种基于实时互动影像技术，产生现实环境中不存在的虚拟对象，并将虚拟对象准确定位于真实环境中，借助显示设备将虚拟对象与真实环境融为一体，呈现给使用者一个感官效果真实的新环境。具有虚实结合、实时交互、三维定位的特点。
本发明的目的可以通过以下技术方案来实现：
多媒体增强现实读物，它包括识别标记、影像识别模块、影像处理模块、影像定位模块、影像生成模块。识别标记是根据一定图像规则预设好的图形，每个识别标记与影像识别模块中的标记库是唯一匹配的。识别标记印制或者粘贴于纸质等印刷品上，影像识别模块与影像处理模块相连，影像处理模块与影像定位模块相连，影像定位模块与影像生成模块相连。
本发明的优点是：本发明是一种新型的多媒体读物。通过对传统读物的改进使其可以提供更加丰富海量的信息并且能够与读物结合起来展示立体动态的内容，还可以与阅读者进行交互。不但能够广泛用于展览展示、教学，还可以应用于娱乐、游戏、广告等多个用途。
附图说明
图1图2图3图4是本发明实施例一的结构示意图。
图5是本发明的工作流程图。
具体实施方式
实施例一
本实施例的结构如图1所示，本实施例中，摄像头1采集实时的视频信号，影像识别模块2、影像处理模块3、影像定位模块4、影像生成模块5均集成在计算机6中，识别标记7印制在读物8上。当读者9翻看读物8时，可以如阅览普通印刷品一样，但是当读者9将刊物8置于摄像头1的捕捉区域内时，摄像头1所将采集的画面传递给影像识别模块2，影像识别模块2比对并识别读物8上的识别标记7是否与其预设的标记对应，并将识别结果传递给影像处理模块3，由影像处理模块3来进行画面处理，同时经过影像定位模块4的空间坐标计算和定位，将需要叠加在读物8上的立体模型或画面等内容通过影像生成模块5生成，并输出到显示屏11上，显示为多媒体读物10。当读者9移动读物8时，多媒体读物10也会相应地产生角度、空间位置的同步变化。如图2所示当读者9将几个不同的识别标记7放置在一起时，影像生成模块5还可以根据其位置组合的不同生成新的多媒体读物10的内容。如图3图4所如果读者9触碰识别标记7，影像生成模块5还可以根据预设的命令进行播放特定多媒体读物10的功能，从而给读者9以生动的互动体验。
本实施例中的计算机6亦可是其他可以运行影像识别模块、处理模块、影像定位模块、影像生成模块的设备，如手机、平板电脑、集成上述模块的专用阅读器等。
根据需要的不同，本实施例中的显示屏11亦可是投影画面、手机屏幕等。
本发明的工作原理是，在发明中，摄像头进行实时视频采集并将采集的真实影像信息输入计算机中。影像处理模块对采集到的影像内的每一帧进行矫正滤波等初步处理，再由影像定位模块做进一步分析得到目标物体的２维坐标及透视形状并计算出摄像头空间的3D变换矩阵，影像生成模块根据3D变换矩阵将预置好的虚拟影像渲染到真实影像上，并输出到显示屏上。
影像处理装置通过3个模块对采集到的原始影像做初步的处理，以供分析。1、转为灰度图像模块201，这里把原始图像转为单通道灰度图，以提高后面的图像处理效率。2、图像变形矫正模块202，这里使用摄像头的标定数据对图像做变形矫正，以减小识别误差。3、滤波处理模块203，这个模块主要使用模糊算法进行滤波，可以去除图像中的噪点，降低干扰。
影像定位模块对预处理过的图像作进一步分析。首先阈值处理模块301使用适当的阈值把图像二值化，然后搜索连通域模块302分析二值图像中的连通域,提取轮廓模块303提取连通域的轮廓再由四边形识别模块304分析每一个连通域的轮廓得到四条线段相连的轮廓坐标。透视变换模块305根据四边形的四个顶点计算出透视变换矩阵，对四边形图像做透视变换得到一个正方形图像。模板匹配模块306再把正方形图像与预设的图像模板做模板匹配，匹配度最高的即为识别的目标。逆投影模块把四边形的2维顶点坐标反向投影至摄像头空间，计算出目标物体的3D变换矩阵。
影像生成模块根据影像定位模块得到的目标ID及3D变换矩阵渲染出预设的三维或二维图像，再与摄像头采集到的原始影像合成，因为渲染出的三维或二维图像已经过摄像头空间的３D变换，最终虚拟的图像与现实的图像形成一样的视角，让人感觉虚拟的图像就像真实出现在现实中一样。整个处理过程是实时的，虚拟图像会和真实图像同步发生视角及平移变化。最终的合成图像输出到显示屏上。
本发明还可以有其它实施方式，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (4)

1.多媒体增强现实读物，其特征是，包括识别标记、影像识别模块、影像处理模块、影像定位模块、影像生成模块。
2.如权利要求1所述的多媒体增强现实读物，其特征在于：识别标记可以被影像识别模块识别，由影像处理模块、影像定位模块、影像生成模块将预设的相对应的虚拟影像叠加输出显示在显示屏上。
3.如权利要求1所述的多媒体增强现实读物，其特征在于：使用者可以与影像生成模块所生成的虚拟影像进行互动式点播。
4.如权利要求1所述的多媒体增强现实读物，其特征在于：当读物进行移动的时候，显示屏上所显示的叠加在其上的虚拟影像也会进行空间位置的同步移动。
CN201110041630XA 2011-02-22 2011-02-22 多媒体增强现实读物 Pending CN102110379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110041630XA CN102110379A (zh) 2011-02-22 2011-02-22 多媒体增强现实读物

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110041630XA CN102110379A (zh) 2011-02-22 2011-02-22 多媒体增强现实读物

Publications (1)

Publication Number Publication Date
CN102110379A true CN102110379A (zh) 2011-06-29

Family

ID=44174521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110041630XA Pending CN102110379A (zh) 2011-02-22 2011-02-22 多媒体增强现实读物

Country Status (1)

Country Link
CN (1) CN102110379A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
CN102915234A (zh) * 2011-08-04 2013-02-06 中国移动通信集团公司 一种应用程序中程序界面的实现方法及装置
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
CN103049630A (zh) * 2011-10-12 2013-04-17 萧玉婷 虚拟对象交往情境系统及用以执行该系统的电子设备
CN103164690A (zh) * 2011-12-09 2013-06-19 金耀有限公司 利用运动趋势跟踪增强现实三维多标记的方法和装置
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN103513753A (zh) * 2012-06-18 2014-01-15 联想(北京)有限公司 信息处理方法和电子设备
WO2014019498A1 (zh) * 2012-08-01 2014-02-06 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN103646571A (zh) * 2013-12-11 2014-03-19 步步高教育电子有限公司 一种物体信息识别展示的方法和设备
CN103765867A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于成像对象特性的增强的真实性
WO2014186972A1 (en) * 2013-05-24 2014-11-27 Thomson Licensing Method and apparatus for rendering object for multiple 3d displays
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
CN104321681A (zh) * 2012-06-29 2015-01-28 英特尔公司 使用透明显示装置的增强的信息递送
CN105468159A (zh) * 2016-01-11 2016-04-06 湖北视纪印象科技股份有限公司 一种基于ar增强现实的旅游指示系统及其方法
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
CN106527695A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种信息输出方法及装置
CN106560866A (zh) * 2016-07-02 2017-04-12 广州书达信息科技有限公司 有ar增强现实功能的图书个性化定制系统与方法
CN106776732A (zh) * 2016-11-21 2017-05-31 湖南拓视觉信息技术有限公司 虚拟电子说明书的实现方法及装置
CN106875494A (zh) * 2017-03-22 2017-06-20 朱海涛 基于影像和定位的模型vr操作方法
CN107241610A (zh) * 2017-05-05 2017-10-10 众安信息技术服务有限公司 一种基于增强现实的虚拟内容插入系统和方法
CN108053489A (zh) * 2017-12-08 2018-05-18 快创科技（大连）有限公司 基于ar技术的商品的商标展示系统
CN109035906A (zh) * 2018-07-19 2018-12-18 李建勋 一种基于混合现实可视化的中文朗读培训方法
US10169921B2 (en) 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915234A (zh) * 2011-08-04 2013-02-06 中国移动通信集团公司 一种应用程序中程序界面的实现方法及装置
CN102411854B (zh) * 2011-09-01 2014-01-29 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN102411854A (zh) * 2011-09-01 2012-04-11 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
CN103765867A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于成像对象特性的增强的真实性
CN103049630A (zh) * 2011-10-12 2013-04-17 萧玉婷 虚拟对象交往情境系统及用以执行该系统的电子设备
CN103164690A (zh) * 2011-12-09 2013-06-19 金耀有限公司 利用运动趋势跟踪增强现实三维多标记的方法和装置
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
CN103513753B (zh) * 2012-06-18 2017-06-27 联想(北京)有限公司 信息处理方法和电子设备
CN103513753A (zh) * 2012-06-18 2014-01-15 联想(北京)有限公司 信息处理方法和电子设备
CN104321681A (zh) * 2012-06-29 2015-01-28 英特尔公司 使用透明显示装置的增强的信息递送
US9646522B2 (en) 2012-06-29 2017-05-09 Intel Corporation Enhanced information delivery using a transparent display
WO2014019498A1 (zh) * 2012-08-01 2014-02-06 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US9384588B2 (en) 2012-08-01 2016-07-05 Chengdu Idealsee Technology Co., Ltd. Video playing method and system based on augmented reality technology and mobile terminal
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
US10275933B2 (en) 2013-05-24 2019-04-30 Thomson Licensing Method and apparatus for rendering object for multiple 3D displays
WO2014186972A1 (en) * 2013-05-24 2014-11-27 Thomson Licensing Method and apparatus for rendering object for multiple 3d displays
CN105210116A (zh) * 2013-05-24 2015-12-30 汤姆逊许可公司 用于对于多个3d显示器呈现对象的方法和装置
CN103366610B (zh) * 2013-07-03 2015-07-22 央数文化(上海)股份有限公司 基于增强现实的三维互动学习系统及方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN103646571A (zh) * 2013-12-11 2014-03-19 步步高教育电子有限公司 一种物体信息识别展示的方法和设备
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
CN105468159A (zh) * 2016-01-11 2016-04-06 湖北视纪印象科技股份有限公司 一种基于ar增强现实的旅游指示系统及其方法
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
CN106560866A (zh) * 2016-07-02 2017-04-12 广州书达信息科技有限公司 有ar增强现实功能的图书个性化定制系统与方法
US10169921B2 (en) 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
CN106527695A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种信息输出方法及装置
CN106527695B (zh) * 2016-10-31 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种信息输出方法及装置
CN106776732A (zh) * 2016-11-21 2017-05-31 湖南拓视觉信息技术有限公司 虚拟电子说明书的实现方法及装置
CN106776732B (zh) * 2016-11-21 2019-09-06 湖南拓视觉信息技术有限公司 虚拟电子说明书的实现方法及装置
CN106875494A (zh) * 2017-03-22 2017-06-20 朱海涛 基于影像和定位的模型vr操作方法
CN107241610A (zh) * 2017-05-05 2017-10-10 众安信息技术服务有限公司 一种基于增强现实的虚拟内容插入系统和方法
CN108053489A (zh) * 2017-12-08 2018-05-18 快创科技（大连）有限公司 基于ar技术的商品的商标展示系统
CN109035906A (zh) * 2018-07-19 2018-12-18 李建勋 一种基于混合现实可视化的中文朗读培训方法
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置

Similar Documents

Publication Publication Date Title
CN102110379A (zh) 多媒体增强现实读物
CN101923809A (zh) 交互式增强现实点播机
Sodhi et al. LightGuide: projected visualizations for hand movement guidance
CN102693005B (zh) 使用3d深度相机和3d投影仪来提供交互式体验
JP4663077B2 (ja) オブジェクト検証方法及び拡張現実感ディスプレイシステム
US9077846B2 (en) Integrated interactive space
Cheng et al. Construction of interactive teaching system for course of mechanical drawing based on mobile augmented reality technology
Huang et al. Piano ar: A markerless augmented reality based piano teaching system
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
Zillner et al. 3D-board: a whole-body remote collaborative whiteboard
WO2015000286A1 (zh) 基于增强现实的三维互动学习系统及方法
Alcañiz et al. Augmented reality technology for education
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
CN104820497A (zh) 一种基于增强现实的3d交互显示系统
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
CN106293099A (zh) 手势识别方法及系统
Yee et al. Augmented reality in-situ 3D sketching of physical objects
CN106875461A (zh) 一种涂色平面图像3d模型变换系统及方法
Margetis et al. A smart environment for augmented learning through physical books
KR101643569B1 (ko) 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법
KR20170006219A (ko) 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
Kim et al. Haptic interaction with objects in a picture based on pose estimation
Hsu et al. HoloTabletop: an anamorphic illusion interactive holographic-like tabletop system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110629