CN107833266A - 一种基于色块匹配和仿射校正的全息图像获取方法 - Google Patents

一种基于色块匹配和仿射校正的全息图像获取方法 Download PDF

Info

Publication number
CN107833266A
CN107833266A CN201711062463.0A CN201711062463A CN107833266A CN 107833266 A CN107833266 A CN 107833266A CN 201711062463 A CN201711062463 A CN 201711062463A CN 107833266 A CN107833266 A CN 107833266A
Authority
CN
China
Prior art keywords
color lump
texture
chromatic graph
color
scaling algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711062463.0A
Other languages
English (en)
Other versions
CN107833266B (zh
Inventor
周秀芝
陈洋
李宝潭
王晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Qing Eagle Information Technology Co Ltd
Original Assignee
Qingdao Qing Eagle Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Qing Eagle Information Technology Co Ltd filed Critical Qingdao Qing Eagle Information Technology Co Ltd
Priority to CN201711062463.0A priority Critical patent/CN107833266B/zh
Publication of CN107833266A publication Critical patent/CN107833266A/zh
Application granted granted Critical
Publication of CN107833266B publication Critical patent/CN107833266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于色块匹配和仿射校正的全息图像获取方法，其特征在于，包括以下步骤：扫描涂色图；读取扫描色块图和纹理色块图；统计不同色块的像素，计算出扫描色块图和纹理色块图中相同色块的仿射对应矩阵；计算出涂色图和扫描色块图的仿射对应矩阵；得到涂色图中各部分到纹理色块图的仿射对应矩阵；将涂色图的像素映射到纹理图上，生成新的纹理图；根据涂色图上的二维码信息将新的纹理图附着于对应模型上，得到附有该纹理的三维模型；该方法的映射成功率达到98％以上，获得的全息图像更逼真。

Description

一种基于色块匹配和仿射校正的全息图像获取方法
技术领域
本发明涉及增强现实技术领域，具体而言，涉及一种基于色块匹配和仿射校正的全息图像获取方法。
背景技术
全息投影技术(front-projected holographic display)也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻像，还可以使幻像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。适用范围产品展览、汽车服装发布会、舞台节目、互动、酒吧娱乐、场所互动投影等。现有的涂鸦绘画一般是儿童在纸上用彩笔进行绘制，生动性、趣味性都不是很强，近年来，随着增强现实技术的快速发展，其在儿童娱乐和教育领域展现了巨大的优势，对于增强现实技术而言，将现实环境中的二维卡通画转化成虚拟的三维动态影像已经能够实现，但是儿童在绘画过程中往往会将画纸折皱，或者转化方法不能适用恶劣拍摄条件，造成图像的识别率低。
发明内容
针对上述现有技术中存在的问题，本发明提供一种基于色块匹配和仿射校正的全息图像获取方法，该方法识别率高，形成的三维图像更生动形象。
为实现上述目的，本发明提供如下技术方案：
一种基于色块匹配和仿射校正的全息图像获取方法，包括以下步骤：
(1)在带有图像的轮廓图上进行涂色，对涂过色的图像进行扫描或拍照，得到涂色图；
(2)读取图像的扫描色块图和图像的纹理色块图；
(3)统计扫描色块图和纹理色块图中不同色块的像素，得到不同色块的最小旋转外接矩形，计算出相同色块的仿射对应矩阵Fbc；
(4)提取涂色图和扫描色块图的轮廓，根据所包围面积最大原则，得到涂色图的轮廓Ea和扫描色块图的轮廓Eb，取Ea和Eb的最小旋转外接矩形，得到两个矩形之间的仿射对应矩阵Fab；
(5)利用矩阵乘法，得到涂色图中各部分到纹理色块图的仿射对应矩阵Fac；
(6)根据仿射对应矩阵Fac，将涂色图的像素映射到纹理图上，生成新的纹理图；
(7)根据涂色图上的二维码信息将新的纹理图附着于对应模型上，得到附有该纹理的三维模型。
进一步，步骤(6)和步骤(7)之间，还包括以下步骤：利用ROI区域图像叠加技术，将局部细节叠加到新的纹理图上。
本发明的有益效果如下：
该方法对扫描原图的依赖性低，在各种恶劣拍摄条件下，映射成功率达98％以上，正常拍摄条件下，映射成功率达100％，形成的三维图像更形象生动。
附图说明
图1为本发明的工作流程框图；
图2为本发明的轮廓图制作流程框图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
实施例一：
如图1所示，一种基于色块匹配和仿射校正的全息图像获取方法，包括以下步骤：
(1)在带有图像的轮廓图进行涂色，对涂过色的图像进行扫描或拍照，得到涂色图；
(2)读取图像的扫描色块图和图像的纹理色块图；
(3)统计扫描色块图和纹理色块图中不同色块的像素，得到不同色块的最小旋转外接矩形，计算出相同色块的仿射对应矩阵Fbc；
(4)提取涂色图和扫描色块图的轮廓，根据所包围面积最大原则，得到涂色图的轮廓Ea和扫描色块图的轮廓Eb，取Ea和Eb的最小旋转外接矩形，得到两个矩形之间的仿射对应矩阵Fab；
(5)利用矩阵乘法，得到涂色图中各部分到纹理色块图的仿射对应矩阵Fac；
(6)根据仿射对应矩阵Fac，将涂色图的像素映射到纹理图上，生成新的纹理图，利用ROI区域图像叠加技术，将局部细节叠加到新的纹理图上；
(7)根据涂色图上的二维码信息将新的纹理图附着于对应模型上，得到附有该纹理的三维模型，即获得全息图像。
另外，本发明还提供空白轮廓图的制作方法，如图2所示，包括以下步骤：
(1)建立图像的模型，得到模型纹理贴图；
(2)根据图像的不同部分得到模型纹理贴图的色块图，将模型纹理图中不同的色块涂上不同的颜色；
(3)将步骤(2)得到的色块进行挪动，拼接成能表示出模型形状的一整幅图；
(4)为步骤(3)得到的图加入外边框，需要确保外边框能够包围整个图形；
(5)提取外边框内的图形的外轮廓，得到轮廓图，并在轮廓图上加入识别码，该识别码优先选择为二维码。
具体工作时，空白轮廓图(如鱼形轮廓)由厂商按照上述制作方法进行提前制作，并得到纸质的轮廓图，儿童涂色之后，按照上述基于色块匹配和仿射校正的全息图像获取方法将纸质绘图转化为三维模型，然后将该三维模型生成在场景中的指定位置，生成的同时添加该三维模型的动画效果，按照预先设定的路径移动，并显示在全息鱼缸中。
表1为本发明方法的在不同恶劣拍摄环境下拾取率，实验组1-4中图像为不同动物，拾取率均达到98％以上，本方法对扫描原图的依赖性低。
表1
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种基于色块匹配和仿射校正的全息图像获取方法，其特征在于，包括以下步骤：
(1)在带有图像的轮廓图上进行涂色，对涂过色的图像进行扫描或拍照，得到涂色图；
(2)读取图像的扫描色块图和图像的纹理色块图；
(3)统计扫描色块图和纹理色块图中不同色块的像素，得到不同色块的最小旋转外接矩形，计算出相同色块的仿射对应矩阵Fbc；
(4)提取涂色图和扫描色块图的轮廓，根据所包围面积最大原则，得到涂色图的轮廓Ea和扫描色块图的轮廓Eb，取Ea和Eb的最小旋转外接矩形，得到两个矩形之间的仿射对应矩阵Fab；
(5)利用矩阵乘法，得到涂色图中各部分到纹理色块图的仿射对应矩阵Fac；
(6)根据仿射对应矩阵Fac，将涂色图的像素映射到纹理图上，生成新的纹理图；
(7)根据涂色图上的二维码信息将新的纹理图附着于对应模型上，得到附有该纹理的三维模型。
2.根据权利要求1所述的基于色块匹配和仿射校正的全息图像获取方法，其特征在于，步骤(6)和步骤(7)之间，还包括以下步骤：利用ROI区域图像叠加技术，将局部细节叠加到新的纹理图上。
CN201711062463.0A 2017-11-02 2017-11-02 一种基于色块匹配和仿射校正的全息图像获取方法 Active CN107833266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711062463.0A CN107833266B (zh) 2017-11-02 2017-11-02 一种基于色块匹配和仿射校正的全息图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711062463.0A CN107833266B (zh) 2017-11-02 2017-11-02 一种基于色块匹配和仿射校正的全息图像获取方法

Publications (2)

Publication Number Publication Date
CN107833266A true CN107833266A (zh) 2018-03-23
CN107833266B CN107833266B (zh) 2021-01-15

Family

ID=61651515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711062463.0A Active CN107833266B (zh) 2017-11-02 2017-11-02 一种基于色块匹配和仿射校正的全息图像获取方法

Country Status (1)

Country Link
CN (1) CN107833266B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765566A (zh) * 2018-05-21 2018-11-06 瞪羚实训（北京）科技有限公司 图像处理方法和装置、存储介质、3d建模系统和方法
CN110335321A (zh) * 2019-07-01 2019-10-15 上海外高桥造船有限公司 色块匹配度的评估方法、系统、存储介质以及电子设备
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1668919A1 (en) * 2003-09-30 2006-06-14 Eric Belk Lange Stereoscopic imaging
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
JP2012160120A (ja) * 2011-02-02 2012-08-23 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1668919A1 (en) * 2003-09-30 2006-06-14 Eric Belk Lange Stereoscopic imaging
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
JP2012160120A (ja) * 2011-02-02 2012-08-23 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. MEMMOLO .ET AL: "Multi-wavelengths digital holography: reconstruction synthesis and display of holograms using adaptive transformation", 《OPTICS LETTERS》 *
贾建华 等: "一种基于质心不变特性的仿射不变纹理特征提取算法", 《电子学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765566A (zh) * 2018-05-21 2018-11-06 瞪羚实训（北京）科技有限公司 图像处理方法和装置、存储介质、3d建模系统和方法
CN110335321A (zh) * 2019-07-01 2019-10-15 上海外高桥造船有限公司 色块匹配度的评估方法、系统、存储介质以及电子设备
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统
CN116958332B (zh) * 2023-09-20 2023-12-22 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Also Published As

Publication number Publication date
CN107833266B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
Tang et al. Make-it-3d: High-fidelity 3d creation from a single image with diffusion prior
CN103426163B (zh) 用于渲染受影响的像素的系统和方法
CN107316340B (zh) 一种基于单张照片的快速人脸建模方法
US8922628B2 (en) System and process for transforming two-dimensional images into three-dimensional images
CN107330964B (zh) 一种复杂三维物体的显示方法及系统
US20100315424A1 (en) Computer graphic generation and display method and system
CN104469179A (zh) 一种将动态图片结合到手机视频中的方法
US20110075922A1 (en) Apparatus and method for removing ink lines and segmentation of color regions of A 2-D image for converting 2-D images into stereoscopic 3-D images
CA2391670A1 (en) Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering
EP3533218B1 (en) Simulating depth of field
CN109993824B (zh) 图像处理方法、智能终端及具有存储功能的装置
CN107833266A (zh) 一种基于色块匹配和仿射校正的全息图像获取方法
CN106204746B (zh) 一种可实现3d模型实时上色的增强现实系统
CN111199573B (zh) 一种基于增强现实的虚实互反射方法、装置、介质及设备
CN110689626A (zh) 游戏模型渲染方法和装置
CN104217461B (zh) 一种基于深度图模拟实时凹凸效果的视差映射方法
Suenaga et al. A practical implementation of free viewpoint video system for soccer games
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
Martin-Brualla et al. Gelato: Generative latent textured objects
CN111354067A (zh) 一种基于Unity3D引擎的多模型同屏渲染方法
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
Zhang et al. A generative adversarial network to denoise depth maps for quality improvement of DIBR-synthesized stereoscopic images
CN115908755A (zh) 一种ar投影方法、系统及ar投影仪
Chong et al. Per garment capture and synthesis for real-time virtual try-on
De Sorbier et al. Augmented reality for 3D TV using depth camera input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant