CN108447032A - 一种基于增强现实的绘画作品临摹和再创作方法 - Google Patents

一种基于增强现实的绘画作品临摹和再创作方法 Download PDF

Info

Publication number
CN108447032A
CN108447032A CN201810187920.7A CN201810187920A CN108447032A CN 108447032 A CN108447032 A CN 108447032A CN 201810187920 A CN201810187920 A CN 201810187920A CN 108447032 A CN108447032 A CN 108447032A
Authority
CN
China
Prior art keywords
picture frame
paint
augmented reality
coordinate system
copied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810187920.7A
Other languages
English (en)
Other versions
CN108447032B (zh
Inventor
甄佳楠
姜伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810187920.7A priority Critical patent/CN108447032B/zh
Publication of CN108447032A publication Critical patent/CN108447032A/zh
Application granted granted Critical
Publication of CN108447032B publication Critical patent/CN108447032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

本发明公开了一种基于增强现实的绘画作品临摹和再创作方法，该方法可以在移动终端上实现，通过移动终端配带的摄像头实时识别绘画作品的画框，从而指定绘画区域；通过画框外沿的四个顶点计算画框三维姿态；基于增强现实原理，保证虚拟作画与实际绘画作品的姿态关系不变，从而实现临摹绘画作品或在其上增加绘画元素的效果。本发明可以用于绘画爱好者学习绘画，也可以用于创造力的开发，并且可以在移动终端上实现，使用方便，易于推广。

Description

一种基于增强现实的绘画作品临摹和再创作方法
技术领域
本发明涉及计算机人机交互领域和计算机绘图领域，尤其涉及一种基于增强现实(Augmented Reality，AR)的绘画作品临摹和再创作方法。
背景技术
增强现实是人机交互领域中比较新的概念，随着移动终端的普及，基于移动终端的增强现实应用越来越受到人们的欢迎，不断丰富人们的日常生活。
当人们在欣赏别人的绘画作品时，如果产生想要临摹作品或在原作品基础上再创作的想法，以前是无法实现的，增强现实概念为这种想法的实现带来了可能性。修改、临摹别人的作品，一方面可以提升绘画水平，另一方面可以开发创造力，这在儿童教育领域也越来越具有重要性。使用移动终端实现对现实中绘画作品随时随地的临摹或再创作，并且具有在实际作品上再创作的真实性和立体感，既可以满足人们对作品欣赏和创作的需求，也可以为生活增添乐趣。
发明内容
本发明的目的在于针对现有应用的需求，提供一种基于增强现实的绘画作品临摹和再创作方法，具体技术方案如下：
一种基于增强现实的绘画作品临摹和再创作方法，其特征在于，该方法基于移动终端来实现，该方法包括如下步骤：
步骤一：利用移动终端的摄像头实时识别绘画作品的画框外沿，获得画框外沿的四个顶点；
步骤二：建立画框坐标系和相机坐标系，根据识别到的画框外沿的四个顶点获得画框在相机坐标系中的实时的三维姿态，即得到从相机坐标系到画框坐标系的实时的转移矩阵；
步骤三：在绘画区域内进行虚拟绘画创作，然后使用所述的转移矩阵计算当前绘画内容在画框坐标系中的坐标表示并存储，然后根据所述的转移矩阵的逆矩阵和标定得到的相机的参数矩阵，将之前存储的画框坐标系上的虚拟绘画内容转换到相机坐标系中，并将三维的虚拟绘画内容投影到相机的投影平面上，并使投影后的虚拟绘画内容叠加在实际绘画作品的前方，生成临摹和再创作的绘画作品。
进一步地，所述的利用移动终端的摄像头实时识别实际绘画作品的画框的步骤具体如下：
步骤一：使用摄像头获取实际绘画作品的实时图片；
步骤二：对获取到的图片进行中值滤波处理和形态学开运算，去除噪声；
步骤三：提取图片中所有的物体的轮廓，删除长度小于设定阈值的轮廓；
步骤四：对保留的轮廓进行多边形拟合，取周长最大且边长数目为四的轮廓为画框外沿的轮廓，记录该轮廓的四个顶点。
进一步地，所述的步骤二的具体步骤如下：
步骤一：以画框外沿的左上顶点为原点，画框外沿的上边沿为x轴，画框外沿的左侧边沿为y轴，垂直画框向内为z轴，建立画框坐标系，根据画框外沿的边长获得画框外沿的四个顶点在画框坐标系中的坐标；
步骤二：结合画框外沿的四个顶点分别在相机坐标系和画框坐标系中的坐标，计算相机坐标系到画框坐标系的转移矩阵。
进一步地，所述的虚拟绘画创作具体为：先提取实际绘画作品的颜色和纹理，或者从虚拟调色盘中选取所需颜色，然后进行绘画创作。
进一步地，所述的提取实际绘画作品的颜色和纹理的方法具体为：
提取颜色和纹理的采样区域根据虚拟画笔的大小调整，如果采样区域面积小于设定的阈值，则默认提取采样区域中所占面积最大的颜色，如果采样区域面积大于等于设定的阈值，则默认提取整个采样区域的纹理。
进一步地，所述的绘画区域为实际绘画作品画框内部区域。
进一步地，所述的绘画区域为包含实际绘画作品画框内部区域的移动终端的显示屏区域。
本发明的有益效果如下：
本发明的基于增强现实的绘画作品临摹和再创作方法保证了实际绘画作品和虚拟绘画作品的相对三维姿态不变，实现了在原作品上进行再创作的效果，与在实际作品中进行真实创作的效果相近；可以通过颜色和纹理的采样功能实现与原画风格相近的绘画创作。该方法既有益于创造力的开发，也可增加绘画乐趣，可用于绘画技能的训练。
附图说明
图1是画框坐标系示意图；
图2是在移动终端上使用该方法的效果图；
图3是移动终端相对于绘画作品有相对三维姿态变化后的效果图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于增强现实的绘画作品临摹和再创作方法，其特征在于，该方法基于移动终端来实现，该方法包括如下步骤：
步骤一：利用移动终端的摄像头实时识别绘画作品的画框外沿，获得画框外沿的四个顶点；
(1)使用摄像头获取实际绘画作品的实时图片；
(2)对获取到的图片进行中值滤波处理和形态学开运算，去除噪声；
(3)提取图片中所有的物体的轮廓，删除长度小于设定阈值的轮廓；
(4)对保留的轮廓进行多边形拟合，取周长最大且边长数目为四的轮廓为画框外沿的轮廓，记录该轮廓的四个顶点；
步骤二：建立画框坐标系(如图1所示)和相机坐标系，根据识别到的画框外沿的四个顶点获得画框在相机坐标系中的实时的三维姿态，即得到从相机坐标系到画框坐标系的实时的转移矩阵；
(1)以画框外沿的左上顶点为原点，画框外沿的上边沿为x轴，画框外沿的左侧边沿为y轴，垂直画框向内为z轴，建立画框坐标系，根据画框外沿的边长获得画框外沿的四个顶点在画框坐标系中的坐标；
(2)结合画框外沿的四个顶点分别在相机坐标系和画框坐标系中的坐标，计算相机坐标系到画框坐标系的转移矩阵。
步骤三：在绘画区域内进行虚拟绘画创作，此处的虚拟绘画创作具体为：先提取实际绘画作品的颜色和纹理，或者从虚拟调色盘中选取所需颜色，然后进行绘画创作；提取颜色和纹理的采样区域根据虚拟画笔的大小调整，如果采样区域面积小于设定的阈值，则默认提取采样区域中所占面积最大的颜色，如果采样区域面积大于等于设定的阈值，则默认提取整个采样区域的纹理；
使用所述的转移矩阵计算当前绘画内容在画框坐标系中的坐标表示并存储，然后根据所述的转移矩阵的逆矩阵和标定得到的相机的参数矩阵，将之前存储的画框坐标系上的虚拟绘画内容转换到相机坐标系中，并将三维的虚拟绘画内容投影到相机的投影平面上，并使投影后的虚拟绘画内容叠加在实际绘画作品的前方，生成临摹和再创作的绘画作品。
本发明的绘画区域可以为实际绘画作品画框内部区域，也可以为包含实际绘画作品画框内部区域的移动终端的显示屏区域。
在移动终端上使用该方法进行再创作的示意图如图2所示，其中，1为实际绘画作品，2为再创作的虚拟绘画内容；图3为移动终端相对于绘画作品有相对三维姿态变化后的效果图，从图中可以看到，实际绘画作品和虚拟绘画作品产生了相同的三维姿态变化，即它们的相对三维姿态不变，实现了在原作品上进行再创作的效果，与在实际作品中进行真实创作的效果相近。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于增强现实的绘画作品临摹和再创作方法，其特征在于，该方法基于移动终端来实现，该方法包括如下步骤：
步骤一：利用移动终端的摄像头实时识别绘画作品的画框外沿，获得画框外沿的四个顶点。
步骤二：建立画框坐标系和相机坐标系，根据识别到的画框外沿的四个顶点获得画框在相机坐标系中的实时的三维姿态，即得到从相机坐标系到画框坐标系的实时的转移矩阵。
步骤三：在绘画区域内进行虚拟绘画创作，然后使用所述的转移矩阵计算当前绘画内容在画框坐标系中的坐标表示并存储，然后根据所述的转移矩阵的逆矩阵和标定得到的相机的参数矩阵，将之前存储的画框坐标系上的虚拟绘画内容转换到相机坐标系中，并将三维的虚拟绘画内容投影到相机的投影平面上，并使投影后的虚拟绘画内容叠加在实际绘画作品的前方，生成临摹和再创作的绘画作品。
2.根据权利要求1所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的利用移动终端的摄像头实时识别实际绘画作品的画框的步骤具体如下：
步骤一：使用摄像头获取实际绘画作品的实时图片；
步骤二：对获取到的图片进行中值滤波处理和形态学开运算，去除噪声；
步骤三：提取图片中所有的物体的轮廓，删除长度小于设定阈值的轮廓；
步骤四：对保留的轮廓进行多边形拟合，取周长最大且边长数目为四的轮廓为画框外沿的轮廓，记录该轮廓的四个顶点。
3.根据权利要求2所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的步骤二的具体步骤如下：
步骤一：以画框外沿的左上顶点为原点，画框外沿的上边沿为x轴，画框外沿的左侧边沿为y轴，垂直画框向内为z轴，建立画框坐标系，根据画框外沿的边长获得画框外沿的四个顶点在画框坐标系中的坐标；
步骤二：结合画框外沿的四个顶点分别在相机坐标系和画框坐标系中的坐标，计算相机坐标系到画框坐标系的转移矩阵。
4.根据权利要求1所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的虚拟绘画创作具体为：先提取实际绘画作品的颜色和纹理，或者从虚拟调色盘中选取所需颜色，然后进行绘画创作。
5.根据权利要求4所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的提取实际绘画作品的颜色和纹理的方法具体为：
提取颜色和纹理的采样区域根据虚拟画笔的大小调整，如果采样区域面积小于设定的阈值，则默认提取采样区域中所占面积最大的颜色，如果采样区域面积大于等于设定的阈值，则默认提取整个采样区域的纹理。
6.根据权利要求1所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的绘画区域为实际绘画作品画框内部区域。
7.根据权利要求1所述的基于增强现实的绘画作品临摹和再创作方法，其特征在于，所述的绘画区域为包含实际绘画作品画框内部区域的移动终端的显示屏区域。
CN201810187920.7A 2018-03-07 2018-03-07 一种基于增强现实的绘画作品临摹和再创作方法 Active CN108447032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810187920.7A CN108447032B (zh) 2018-03-07 2018-03-07 一种基于增强现实的绘画作品临摹和再创作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810187920.7A CN108447032B (zh) 2018-03-07 2018-03-07 一种基于增强现实的绘画作品临摹和再创作方法

Publications (2)

Publication Number Publication Date
CN108447032A true CN108447032A (zh) 2018-08-24
CN108447032B CN108447032B (zh) 2021-10-08

Family

ID=63193626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810187920.7A Active CN108447032B (zh) 2018-03-07 2018-03-07 一种基于增强现实的绘画作品临摹和再创作方法

Country Status (1)

Country Link
CN (1) CN108447032B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599601A (zh) * 2019-09-17 2019-12-20 深圳传音控股股份有限公司 绘画图像的生成方法、装置、终端及存储介质
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学（浙江）研究院有限公司 虚实融合系统及其方法
CN111223337A (zh) * 2020-03-12 2020-06-02 燕山大学 一种基于机器视觉和增强现实的书法教学机
CN112394815A (zh) * 2020-11-20 2021-02-23 歌尔科技有限公司 基于增强现实的绘画辅助方法、增强现实设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214044A1 (en) * 2010-01-15 2011-09-01 Davis Bruce L Methods and Arrangements Relating to Signal Rich Art
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
US8922590B1 (en) * 2013-10-01 2014-12-30 Myth Innovations, Inc. Augmented reality interface and method of use
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106534801A (zh) * 2016-12-12 2017-03-22 大连文森特软件科技有限公司 基于ar增强现实技术和数据挖掘的绘画辅助系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214044A1 (en) * 2010-01-15 2011-09-01 Davis Bruce L Methods and Arrangements Relating to Signal Rich Art
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
US8922590B1 (en) * 2013-10-01 2014-12-30 Myth Innovations, Inc. Augmented reality interface and method of use
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106534801A (zh) * 2016-12-12 2017-03-22 大连文森特软件科技有限公司 基于ar增强现实技术和数据挖掘的绘画辅助系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENRY BEEN-LIRN DUH 等: "An intuitional interface for invocation of Chinese painting", 《2009 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY - ARTS, MEDIA AND HUMANITIES》 *
路玲玉: "增强现实技术在小学美术教学中的实践研究", 《中国优秀博硕士学位论文全文数据库(硕士)社会科学Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学（浙江）研究院有限公司 虚实融合系统及其方法
CN110599601A (zh) * 2019-09-17 2019-12-20 深圳传音控股股份有限公司 绘画图像的生成方法、装置、终端及存储介质
CN111223337A (zh) * 2020-03-12 2020-06-02 燕山大学 一种基于机器视觉和增强现实的书法教学机
CN112394815A (zh) * 2020-11-20 2021-02-23 歌尔科技有限公司 基于增强现实的绘画辅助方法、增强现实设备和存储介质

Also Published As

Publication number Publication date
CN108447032B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN107018336B (zh) 图像处理的方法和装置及视频处理的方法和装置
CN108447032A (zh) 一种基于增强现实的绘画作品临摹和再创作方法
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
CN109035373A (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
CN109064387A (zh) 图像特效生成方法、装置和电子设备
CN111324334B (zh) 一种基于叙事油画作品开发虚拟现实体验系统的设计方法
CN109147023A (zh) 基于人脸的三维特效生成方法、装置和电子设备
CN103700134A (zh) 基于可控制纹理烘焙的三维矢量模型实时光影延迟着色渲染方法
CN106204746A (zh) 一种可实现3d模型实时上色的增强现实系统
CN108919955A (zh) 一种基于多体感设备的虚拟沙画交互结合方法
US10269165B1 (en) Facial animation models
WO2014170757A2 (en) 3d rendering for training computer vision recognition
Jiang et al. VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality
CN116596985B (zh) 一种自适应光照模型建模方法与系统
CN113706709A (zh) 文本特效生成方法及相关装置、设备、存储介质
CN109191505A (zh) 静态生成人脸三维模型的方法、装置、电子设备
CN112891954A (zh) 虚拟对象的模拟方法、装置、存储介质及计算机设备
CN109636888B (zh) 2d特效制作方法及装置、电子设备、存储介质
CN108038900A (zh) 倾斜摄影模型单体化方法、系统及计算机可读存储介质
CN110136238B (zh) 一种结合物理光照模型的ar绘画方法
CN111915479A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN104537704B (zh) 一种鸟类躯干模型的羽毛实时动态生成方法
CN106157313A (zh) 一种线条粉笔画艺术风格模拟方法
Xu Face reconstruction based on multiscale feature fusion and 3d animation design
CN107103646B (zh) 一种表情合成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant