CN112394815A - 基于增强现实的绘画辅助方法、增强现实设备和存储介质 - Google Patents

基于增强现实的绘画辅助方法、增强现实设备和存储介质 Download PDF

Info

Publication number
CN112394815A
CN112394815A CN202011309996.6A CN202011309996A CN112394815A CN 112394815 A CN112394815 A CN 112394815A CN 202011309996 A CN202011309996 A CN 202011309996A CN 112394815 A CN112394815 A CN 112394815A
Authority
CN
China
Prior art keywords
image
information
live
action
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011309996.6A
Other languages
English (en)
Inventor
朱晓佳
张晓滨
张廷宾
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202011309996.6A priority Critical patent/CN112394815A/zh
Publication of CN112394815A publication Critical patent/CN112394815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的绘画辅助方法,该方法包括:获取目标图像的绘制流程信息,获取实景图像;所述实景图像为对真实场景执行拍摄操作得到的图像;根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示。本发明还公开了一种增强现实设备和计算机可读存储介质。本发明旨在实现用户可知晓图画的绘制过程,提高用户学习绘画效果。

Description

基于增强现实的绘画辅助方法、增强现实设备和存储介质
技术领域
本发明涉及增强现实技术领域,尤其涉及基于增强现实的绘画辅助方法、增强现实设备和计算机可读存储介质。
背景技术
目前,人们在学习绘画时,一般是先找到一幅想要绘制的成品图画,通过肉眼观察或临摹的方式模仿该图画的沟通线条和颜色填充。然而,这样的绘画学习方式,学习者无法知晓图画的绘制过程,存在学习绘画效果不佳的问题。
发明内容
本发明的主要目的在于提供一种基于增强现实的绘画辅助方法,旨在实现用户可知晓图画的绘制过程,提高用户学习绘画效果。
为实现上述目的,本发明提供一种基于增强现实的绘画辅助方法,所述绘画辅助方法包括以下步骤:
获取目标图像的绘制流程信息,获取实景图像;所述实景图像为对真实场景执行拍摄操作得到的图像;
根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示。
可选地,所述根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示的步骤包括:
识别所述实景图像中的绘制区域;
在所述实景图像中除所述绘制区域以外的图像区域内,确定用于显示所述目标图像的目标区域;
根据所述绘制流程信息,依次将所述多个图像特征信息与所述目标区域内的实景子图像叠加显示。
可选地,所述根据所述绘制流程信息,依次将所述多个图像特征信息与所述目标区域内的实景子图像叠加显示的步骤包括:
根据所述绘制流程信息确定所述多个图像特征信息的显示次序,获取进度切换指令;
根据所述进度切换指令和所述显示次序依次将所述多个图像特征信息与所述实景子图像叠加显示。
可选地,所述根据所述进度切换指令和所述显示次序依次将所述多个图像特征信息与所述实景子图像叠加显示的步骤包括:
获取当前在所述实景子图像上叠加显示的图像特征信息,并确定为第一图像特征信息;
若所述进度切换指令为显示下一个图像特征信息的指令,则按照所述显示次序确定所述第一图像特征信息对应的下一个图像特征信息,并确定为第二图像特征信息;
将所述第一图像特征信息、第二图像特征信息与所述实景子图像叠加显示;或,
若所述进度切换指令为图像特征信息的回放指令,则确定所述回放指令对应的所述第一图像特征信息为第三图像特征信息;
将当前实景图像上显示的所述第三图像特征信息删除;
将所述第三图像特征信息与所述实景子图像叠加显示。
可选地,所述获取进度切换指令的步骤包括:
获取环境中的语音信息;
提取所述语音信息中的所述进度切换指令;或,
识别所述实景图像中的手势信息;
提取所述手势信息中的所述进度切换指令;且/或,
所述识别所述实景图像中的绘制区域的步骤包括:
在所述实景图像中识别区域角点的标识信息;
根据所述标识信息确定所述绘制区域的角点位置;
根据所述角点位置确定所述绘制区域。
可选地,所述在所述实景图像中除所述绘制区域以外的图像区域内,确定用于显示所述目标图像的目标区域的步骤之后,还包括:
识别所述实景图像中的手势信息;
确定所述手势信息对应的区域调整指令;
根据所述区域调整指令调整所述实景图像中所述目标区域的位置或大小。
可选地,所述图像特征信息包括所述目标图像的构图线条信息,所述根据所述区域调整指令调整所述实景图像中所述目标区域的位置或大小的步骤之后,还包括:
若调整后的所述目标区域与所述绘制区域重叠,则获取所述绘制区域内图像线条的第一颜色;
根据所述第一颜色设置所述构图线条信息的显示颜色,以使所述显示颜色不同于所述第一颜色。
可选地,所述获取目标图像的绘制流程信息的步骤包括:
获取图像扫描信息;
提取所述图像扫描信息包含的特征图画;
在设定数据库内的多个预存图画中,确定与所述特征图画匹配的预存图画为所述目标图像;
获取所述设定数据库内所述目标图像关联存储的绘制流程信息;且/或,
所述图像特征信息包括所述目标图像的构图线条信息和颜色填充信息,所述获取目标图像的绘制流程信息的步骤之后,还包括:
若将所述构图线条信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为透明;
若将所述颜色填充信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为白色。
此外,为了实现上述目的,本申请还提出一种增强现实设备,所述增强现实设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的绘画辅助程序,所述绘画辅助程序被所述处理器执行时实现如上任一项所述的绘画辅助方法的步骤。
此外,为了实现上述目的,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有空调控制程序,所述空调控制程序被处理器执行时实现如上任一项所述的基于增强现实的绘画辅助方法的步骤。
本发明提出的一种基于增强现实的绘画辅助方法,该方法按照目标图像对应的绘制流程信息,将目标图像对应的多个图像特征信息与对真实场景执行拍摄操作得到的实景图像叠加显示,从而使用户在学习绘画时通过实景图像上依次显示的目标图像的图像特征信息,可知晓目标图像的绘制过程,有利于帮助用户分析自己实际图像绘制过程与目标图像的标准绘制过程之间的差异,实现用户学习绘画效果的有效提高。
附图说明
图1为本发明增强现实设备一实施例运行涉及的硬件结构示意图;
图2为本发明基于增强现实的绘画辅助方法一实施例的流程示意图;
图3为图2中步骤S10的细化流程示意图;
图4为本发明基于增强现实的绘画辅助方法另一实施例的流程示意图;
图5为本发明基于增强现实的绘画辅助方法又一实施例的流程示意图;
图6为本发明基于增强现实的绘画辅助方法再一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:获取目标图像的绘制流程信息,获取实景图像;所述实景图像为对真实场景执行拍摄操作得到的图像;根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示。
由于现有技术中,人们在学习绘画时,学习者无法知晓图画的绘制过程,存在学习绘画效果不佳的问题。
本发明提供上述的解决方案,旨在实现用户可知晓图画的绘制过程,提高用户学习绘画效果。
本发明实施例提出一种增强现实设备,用于将虚拟的图像与设备所在环境的实景图像进行叠加显示。
在本发明实施例中,参照图1,增强现实设备包括:处理器1001(例如CPU)和存储器1002等。其中,处理器1001与存储器1002通信连接。存储器1002可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。
其中,处理器1001可通过增强现实设备所在空间内的摄像头1连接,摄像头可用于采集实景图像。具体的,摄像头1可内置于增强现实设备内,也可独立设于增强现实设备的外部。
本领域技术人员可以理解,图1中示出的装置结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1002中可以包括空调控制程序。在图1所示的装置中,处理器1001可以用于调用存储器1002中存储的空调控制程序,并执行以下实施例中基于增强现实的绘画辅助方法的相关步骤操作。
本发明实施例还提供一种基于增强现实的绘画辅助方法,应用于上述增强现实设备。
参照图2,提出本申请基于增强现实的绘画辅助方法一实施例。在本实施例中,所述基于增强现实的绘画辅助方法包括:
步骤S10,获取目标图像的绘制流程信息,获取实景图像;所述实景图像为对真实场景执行拍摄操作得到的图像;
绘制流程信息具体为表征所述目标图像中的不同图像特征信息绘制过程的特征信息。绘制流程信息包括目标图像的图像特征信息的分解原则、分解得到的多个图像特征信息的绘制次序、分解得到的多个图像特征信息所在的图像位置和/或每个图像特征信息绘制的细化流程信息(如绘制方法、绘制工具、注意事项等)等。
其中,这里的图像特征信息具体为基于目标图像的绘制流程将目标图像分解得到的构图特征信息。图像特征信息包括目标图像的构图线条信息(如轮廓图对应的线条、线稿图对应的线条)和颜色填充信息(如调色流程信息和上色信息)。
这里的多个图像特征信息和绘制流程信息可由目标图像的创作者提供,也可来自于网络。
实景图像具体通过获取增强现实设备所在空间内摄像头实时采集的图像得到。在用户学习绘画时,可将摄像头的拍摄范围覆盖其在空间内用于绘制目标图像的空间区域(如纸张或设备上的绘画界面等),基于此,实景图像包括该空间区域对应的图像区域(即绘制区域)。
步骤S20,根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示。
具体的,可根据绘制流程信息确定目标对象对应的多个图像特征信息,并按照绘制流程信息确定每个图像特征信息对应的显示次序,按照所确定的显示次序将目标图像对应的多个图像特征信息依次与实景图像叠加显示,以使用户从增强现实设备看到其绘画时的真实场景的同时通过叠加显示的图像特征信息看到目标图像的绘制流程。其中,多个图像特征信息在实景图像中的相对显示位置可根据绘制流程信息确定,以使多个图像特征信息全部叠加显示于实景图像后在实景图像中相互配合呈现目标图像。
在多个图像特征信息依次显示时,可基于设定时间间隔进行显示,例如显示一个图像特征信息后间隔设定时长显示下一个图像特征信息。此外,也可基于用户的指令控制多个图像特征信息的显示进度。需要说明的是,显示后面的图像特征信息时,前面显示的图像特征信息维持与实景图像叠加显示的状态。
进一步的,步骤S10之后,在显示图像特征信息的同时,还可同步输出包括对应的绘制流程信息(如每个图像特征信息绘制的细化流程信息)的语音信息,以使用户可通过视觉和听觉进行多维度的绘画学习,进一步提高绘画学习的效果。此外,在其他实施例中,绘制流程信息中每个图像特征信息绘制的细化流程信息也可通过文字信息叠加显示于实景图像中除了目标图像的目标区域、绘制区域以外的其他区域内。
本发明实施例提出的一种基于增强现实的绘画辅助方法,该方法按照目标图像对应的绘制流程信息,将目标图像对应的多个图像特征信息与实景图像叠加显示,从而使用户在学习绘画时通过实景图像上依次显示的目标图像的图像特征信息,可知晓目标图像的绘制过程,有利于帮助用户分析自己实际图像绘制过程与目标图像的标准绘制过程之间的差异,例如在构图、调色、上色等各步骤与目标图像的绘制过程的差异,实现用户学习绘画效果的有效提高。
进一步的,在上述实施例中,参照图3,所述获取目标图像的绘制流程信息的步骤包括:
步骤S11,获取图像扫描信息;
用户可通过与增强现实设备连接的终端(如手机、平板电脑等)的摄像头或直接采用增强现实设备上的安装的摄像头扫描其所需要学习绘制的图像,形成这里的图像扫描信息。基于此,增强现实设备的处理器可在接收到设定指令时进行图像扫描得到图像扫描信息,或者在从其连接的终端接收到的图像数据包含设定指令时,从接收到的图像数据解析得到图像扫描信息。
步骤S12,提取所述图像扫描信息包含的特征图画;
按照设定规则从图像扫描信息中提取得到的图画作为这里的特征图画。
步骤S13,在设定数据库内的多个预存图画中,确定与所述特征图画匹配的预存图画为目标图像;
设定数据库具体为存储有多个预存图画及其对应的绘制流程信息的数据库。其中,预存图画及其绘制流程信息可来自于网络或图画的创作者。设定数据库可存储于增强现实设备内,也可存储于与增强现实设备通信连接的设备。
目标图像具体为与设定数据库内与所述特征图画的相似度大于或等于设定阈值的预存图画。也就是说,与特征图画的相似度大于或等于设定阈值的预存图画为与特征图画匹配的预存图画;与特征图画的相似度小于设定阈值的预存图画为与特征图画不匹配的预存图画。
在本实施例中,设定数据库保存于远程服务器,在得到特征图画后,可通过增强现实设备或增强现实设备绑定的终端基于网络发送至远程服务器,远程服务器基于接收到的特征图画与设定数据库内的预存图画进行比对。将与所述特征图画的相似度大于或等于设定阈值的预存图画,确定为与所述特征图像匹配的预存图画并发送至增强现实设备,增强现实设备可基于特征图画返回的图画确定为目标图像。
其中,若与特征图画的相似度大于或等于设定阈值的预存图画有多个,可将相似度最高的预存图画确定为目标图像;也将与特征图画匹配的多个预存图画形成显示信息显示给用户,获取用户反馈的选择信息确定其中一个作为目标图像。此外,若设定数据库内不存在与特征图画匹配的预存图画,则输出对应的提示信息提示用户。
步骤S14,获取所述设定数据库内所述目标图像关联存储的绘制流程信息。
将设定数据库内与特征图画匹配的预存图像所关联存储的信息确定为目标图像所对应的绘制流程信息。
在本实施例中,通过上述步骤S11至步骤S14,可使用户通过图像扫描其想学习的任意图画便可获取到相类似的图画的绘制流程信息进行学习,在提高用户学习绘画的效果的同时进一步提高用户学习绘画的便利性。
进一步的,基于上述实施例,提出本申请基于增强现实的绘画辅助方法另一实施例。在本实施例中,参照图4,所述步骤S20包括:
步骤S21,识别所述实景图像中的绘制区域;
绘制区域具体指的是用户在现实空间中绘制图画的空间区域对应在所述实景图像中形成的图像区域。绘制区域可通过对实景图像中用于绘制图像的物件进行自动识别得到,也可基于用户操作对实景图像进行识别得到绘制区域。
实景图像除了包括绘制区域以外,还可包括用户绘制图画的空间区域所处周围环境对应形成的图像区域。
在本实施例中,在所述实景图像中识别区域角点的标识信息;根据所述标识信息确定所述绘制区域的角点位置;根据所述角点位置确定所述绘制区域。具体的,对实景图像中角点的标识信息(如直角、用于标识角点的图像标识等)进行识别,将标识信息所在位置确定为绘制区域的角点位置,将角点位置连接形成的图像区域确定为绘制区域。其中,区域角点的标识信息可基于用户操作形成,也可基于预先设置的规则确定。在本实施例中,用户可在现实空间中其绘制图画区域的角点画上特定的符号(如画圆圈),通过识别实景图像中用户绘制的特定符号对应的图像便可得到这里的标识信息。用户所绘制的特定符号可由用户预先根据实际需求进行设置,也可以是系统默认设置。基于此,无论用户指定任何的空间区域作为其绘制区域,后续也可准确的分析到用于目标图像显示的目标区域。此外,在其他实施例中,也可将绘制区域的区域形状预先设置为长方形等形状,基于预先设置的区域形状对应的角点特征(如直角)对实景图像进行区域角点对应的图像进行识别得到标识信息。
步骤S22,在所述实景图像中除所述绘制区域以外的图像区域内,确定用于显示所述目标图像的目标区域;
实景图像中除所述绘制区域以外的图像区域可定义为备选区域。在备选区域中可自动识别区域范围最大的区域作为目标区域;也可基于用户输入的区域选择指令(如通过手势或语音输入)在备选区域中选择相应的区域作为目标区域。
步骤S23,根据所述绘制流程信息,依次将所述多个图像特征信息与所述目标区域内的实景子图像叠加显示。
实景子图像具体指的是实景图像位于所述目标区域内的图像。按照绘制流程依次将多个图像特征信息与实景子图像叠加显示,以使目标图像按照其绘制流程在目标区域内逐步显示。
在本实施例中,在绘制区域以外的其他区域显示目标图像对应的图像特征信息,从而保证目标图像的图像特征信息不会与用户实际绘制的图像重叠,避免目标图像对应的虚拟图像与现实用户绘制的图像的混乱,以确保用户绘画学习效果。
进一步的,基于上述任一实施例,提出本申请基于增强现实的绘画辅助方法又一实施例。在本实施例中,参照图5,所述步骤S23包括:
步骤S231,根据所述绘制流程信息确定所述多个图像特征信息的显示次序,获取进度切换指令;
多个图像特征信息及其对应的显示次序可从所述绘制流程信息中进行提取。
进度切换指令具体为用于控制多个图像特征信息的显示进度的指令。进度切换指令具体包括显示下一个图像特征信息的指令(用于切换至显示下一个未显示的图像特征信息)、图像特征信息的回放指令(用于重新显示已叠加显示的图像特征信息)及/或图像特征信息显示暂停的第三指令(用于暂停切换至下一个图像特征信息的显示)等。
进度切换指令具体可按照设定规则进行生成,也可获取用户输入的参数得到。在本实施例中,获取进度切换指令的步骤包括:获取环境中的语音信息,提取所述语音信息中的所述进度切换指令;或,识别所述实景图像中的手势信息,提取所述手势信息中的所述进度切换指令。例如,用户可主观对比子机的绘画与当前显示的图像特征信息的区别,若认为效果不理想,需要重新学习,则可输入回放的进度切换指令,重新回放相应的绘制流程;若认为效果理想,则可输入切换至下一个图像特征信息显示的进度切换指令,以学习下一步绘制流程;又或者,在多个图像特征信息自动切换显示的过程中,显示到某一步较难的绘制流程对应的图像特征信息而需要更长的时间绘制时,可通过输入暂停的进度切换指令,维持当前图像特征信息的显示。这里通过语音信息或图像中手势信息的识别来获取进度切换指令,从而使用户可通过语音或手势快捷地对目标图像的绘制进度的显示过程按照实际需求进行控制,便于多个图像特征信息的显示过程可与用户的实际学习进度匹配,以进一步提高用户学习绘画的效果。
步骤S232,根据所述进度切换指令和所述显示次序依次将所述多个图像特征信息与所述实景子图像叠加显示。
在按照显示次序将多个图像特征信息与实景子图像进行叠加显示的过程中,基于进度切换指令对多个图像特征信息显示的进度进行切换、回放和/或暂停的控制。
具体的,获取当前在所述实景子图像上叠加显示的图像特征信息,并确定为第一图像特征信息;若所述进度切换指令为显示下一个图像特征信息的指令,则按照所述显示次序确定所述第一图像特征信息对应的下一个图像特征信息,并确定为第二图像特征信息;将所述第一图像特征信息、第二图像特征信息与所述实景子图像叠加显示。
例如,按照绘制流程信息确定目标图像中的A线条、B线条和C线条按照A、B、C的显示次序依次显示,基于此,在当前实景子图像上叠加显示有目标图像的A线条而B线条和C线条未显示时,若接收到的进度切换指令为显示下一个图像特征信息的指令,则A线条和B线条同时与实景子图像叠加显示;在当前实景子图像上叠加显示有目标图像的A线条和B线条而C线条未显示时,若接收到的进度切换指令为显示下一个图像特征信息的指令,则A线条、B线条和C线条同时与实景子图像叠加显示。
若所述进度切换指令为图像特征信息的回放指令,则确定所述回放指令对应的所述第一图像特征信息为第三图像特征信息;将当前实景图像上显示的所述第三图像特征信息删除;将所述第三图像特征信息与所述实景子图像叠加显示。具体的,若第三图像特征信息的数量多于一个,则将当前实景图像上显示的所述第三图像特征信息删除后,按照显示次序依次将每个第三图像特征信息与所述实景子图像叠加显示,其中第三图像特征信息依次显示时可为自动切换,也可通过用户输入的进度切换指令进行切换。
例如,按照绘制流程信息确定目标图像中的A线条、B线条和C线条按照A、B、C的显示次序依次显示,基于此,在当前实景子图像上叠加显示有目标图像的A线条而B线条和C线条未显示时,若接收到图像特征信息的回放指令,且回放指令对应的已显示的图像特征信息为A线条,则将当前显示于实景图像的A线条删除,再重新将A线条叠加显示于实景子图像;在当前实景子图像上叠加显示有目标图像的A线条、B线条和C线条时,若接收到图像特征信息的回放指令,且回放指令对应的已显示的图像特征信息为B线条和C线条,则将当前显示于实景图像的B线条和C线条删除、并维持A线条再实景图像中的叠加显示,然后先将B线条与A线条同时与实景图像叠加显示,再将A线条、B线条和C线条同时与实景图像叠加显示。
在本实施例中,通过上述方式,可使用户可通过输入进度切换指令来控制多个图像特征信息依次显示的进度,保证目标图像绘制流程的显示可与用户的实际学习进度相匹配,进一步提高用户学习绘画的效果。
需要说明的是,在其他实施例中,多个图像特征信息对应的目标区域也可与绘制区域重叠,在此基础上,在多个图像特征信息显示的进度也可根据上述步骤S231至步骤S232及其对应的具体流程进行控制。
进一步的,基于上述任一实施例,提出本申请基于增强现实的绘画辅助方法再一实施例。在本实施例中,参照图6,所述步骤S22之后,还包括:
步骤S201,识别所述实景图像中的手势信息;
步骤S202,确定所述手势信息对应的区域调整指令;
具体的,可预先设置区域调整指令及其对应的设定手势信息。将实景图像中识别得到的手势信息与设定手势进行匹配,匹配一致的设定手势信息所对应的区域调整指令确定为当前区域调整指令。
步骤S203,根据所述区域调整指令调整所述实景图像中所述目标区域的位置或大小。
例如,当检测到用户的一个指尖对应的图像在目标区域停留设定时长后朝向设定方向运动,可认为存在关于区域位置的区域调整指令。当设定方向为向左时,将目标区域的位置朝向实景图像的左侧图像区域移动;当设定方向为向右时,将目标区域的位置朝向实景图像的右侧图像区域移动;其他方向如此类推,不作赘述。其中,目标区域的移动距离可根据指尖移动对应的图像距离确定。
又如,将检测到用户的两个指尖对应的图像与目标区域的边缘重叠时长达到设定时长后两个指尖之间的图像距离发生变化时,可认为存在关于区域大小的区域调整指令。当两个指尖之间的图像距离变小,缩小目标区域的区域大小;当两个指尖之间的图像距离变大时,增大目标区域的区域大小。
在本实施例中,基于上述步骤S201至步骤S203,可实现用户可通过手势将显示目标图像对应的绘制流程的目标区域的位置或大小按照实际需求进行调整,以使用户可以更舒适的方式进行绘画学习,以提高用户学习绘画的效率。具体的,用户可通过手势将目标图像对应的多个图像特征信息与自己在绘制区域绘制的图像进行重叠对比,从而使用户基于重叠对比更直观地清楚自身绘制的图画与目标图像的图像特征信息之间的偏差,使用户可更准确调整绘制的图像,实现用户学习绘画效果的进一步提高。
其中,所述图像特征信息包括所述目标图像的构图线条信息,基于此,在上述步骤S203之后,还包括:若调整后的所述目标区域与所述绘制区域重叠,则获取所述绘制区域内图像线条的第一颜色;根据所述第一颜色设置所述构图线条信息的显示颜色,以使所述显示颜色不同于所述第一颜色。基于此,从而保证用户通过重叠显示比对绘制效果时,有效避免用户将目标图像的线条与自身绘制的线条混淆,使用户可基于不同颜色的线条更直观准确的知晓自身学习效果的好坏,使用户可更准确调整绘制的图像,实现用户学习绘画效果的进一步提高。
进一步的,基于上述任一实施例,提出本发明基于增强现实的绘画辅助方法的再另一实施例,在本实施例中,所述图像特征信息包括所述目标图像的构图线条信息和颜色填充信息,步骤S10之后,还包括:若将所述构图线条信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为透明,也就是说,用户在看到目标图像的构图线条信息的同时可看到实景子图像。基于此,可方便用户将目标图像的构图线条信息与绘制区域内用户绘制的线条重叠显示时,用户可直观清楚的看出两种图像线条的差异。此外,步骤S10之后,还包括:若将所述颜色填充信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为白色,也就是说,在颜色填充时用户看到的目标图像的显示区域内的实景子图像被白色背景覆盖,颜色填充信息在白色的背景上显示,有效避免目标图像对应的虚拟图像中的颜色与实景图像中的颜色叠加导致颜色变化,从而保证用户视觉上所看到的目标图像所填充颜色的准确性,进一步保证用户学习绘制目标图像的效果。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有绘画辅助程序,所述绘画辅助程序被处理器执行时实现如上基于增强现实的绘画辅助方法任一实施例的相关步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,增强现实设备,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于增强现实的绘画辅助方法,其特征在于,所述绘画辅助方法包括以下步骤:
获取目标图像的绘制流程信息,获取实景图像;所述实景图像为对真实场景执行拍摄操作得到的图像;
根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示。
2.如权利要求1所述的基于增强现实的绘画辅助方法,其特征在于,所述根据所述绘制流程信息,依次将所述目标图像对应的多个图像特征信息与所述实景图像叠加显示的步骤包括:
识别所述实景图像中的绘制区域;
在所述实景图像中除所述绘制区域以外的图像区域内,确定用于显示所述目标图像的目标区域;
根据所述绘制流程信息,依次将所述多个图像特征信息与所述目标区域内的实景子图像叠加显示。
3.如权利要求2所述的基于增强现实的绘画辅助方法,其特征在于,所述根据所述绘制流程信息,依次将所述多个图像特征信息与所述目标区域内的实景子图像叠加显示的步骤包括:
根据所述绘制流程信息确定所述多个图像特征信息的显示次序,获取进度切换指令;
根据所述进度切换指令和所述显示次序依次将所述多个图像特征信息与所述实景子图像叠加显示。
4.如权利要求3所述的基于增强现实的绘画辅助方法,其特征在于,所述根据所述进度切换指令和所述显示次序依次将所述多个图像特征信息与所述实景子图像叠加显示的步骤包括:
获取当前在所述实景子图像上叠加显示的图像特征信息,并确定为第一图像特征信息;
若所述进度切换指令为显示下一个图像特征信息的指令,则按照所述显示次序确定所述第一图像特征信息对应的下一个图像特征信息,并确定为第二图像特征信息;
将所述第一图像特征信息、第二图像特征信息与所述实景子图像叠加显示;或,
若所述进度切换指令为图像特征信息的回放指令,则确定所述回放指令对应的所述第一图像特征信息为第三图像特征信息;
将当前实景图像上显示的所述第三图像特征信息删除;
将所述第三图像特征信息与所述实景子图像叠加显示。
5.如权利要求3所述的基于增强现实的绘画辅助方法,其特征在于,所述获取进度切换指令的步骤包括:
获取环境中的语音信息;
提取所述语音信息中的所述进度切换指令;或,
识别所述实景图像中的手势信息;
提取所述手势信息中的所述进度切换指令;且/或,
所述识别所述实景图像中的绘制区域的步骤包括:
在所述实景图像中识别区域角点的标识信息;
根据所述标识信息确定所述绘制区域的角点位置;
根据所述角点位置确定所述绘制区域。
6.如权利要求2所述的基于增强现实的绘画辅助方法,其特征在于,所述在所述实景图像中除所述绘制区域以外的图像区域内,确定用于显示所述目标图像的目标区域的步骤之后,还包括:
识别所述实景图像中的手势信息;
确定所述手势信息对应的区域调整指令;
根据所述区域调整指令调整所述实景图像中所述目标区域的位置或大小。
7.如权利要求6所述的基于增强现实的绘画辅助方法,其特征在于,所述图像特征信息包括所述目标图像的构图线条信息,所述根据所述区域调整指令调整所述实景图像中所述目标区域的位置或大小的步骤之后,还包括:
若调整后的所述目标区域与所述绘制区域重叠,则获取所述绘制区域内图像线条的第一颜色;
根据所述第一颜色设置所述构图线条信息的显示颜色,以使所述显示颜色不同于所述第一颜色。
8.如权利要求2至7中任一项所述的基于增强现实的绘画辅助方法,其特征在于,所述获取目标图像的绘制流程信息的步骤包括:
获取图像扫描信息;
提取所述图像扫描信息包含的特征图画;
在设定数据库内的多个预存图画中,确定与所述特征图画匹配的预存图画为所述目标图像;
获取所述设定数据库内所述目标图像关联存储的绘制流程信息;且/或,
所述图像特征信息包括所述目标图像的构图线条信息和颜色填充信息,所述获取目标图像的绘制流程信息的步骤之后,还包括:
若将所述构图线条信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为透明;
若将所述颜色填充信息与所述实景子图像叠加显示,则将所述目标区域的显示背景设置为白色。
9.一种增强现实设备,其特征在于,所述增强现实设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的绘画辅助程序,所述绘画辅助程序被所述处理器执行时实现如权利要求1至8中任一项所述的绘画辅助方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有绘画辅助程序,所述绘画辅助程序被处理器执行时实现如权利要求1至8中任一项所述的绘画辅助方法的步骤。
CN202011309996.6A 2020-11-20 2020-11-20 基于增强现实的绘画辅助方法、增强现实设备和存储介质 Pending CN112394815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011309996.6A CN112394815A (zh) 2020-11-20 2020-11-20 基于增强现实的绘画辅助方法、增强现实设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011309996.6A CN112394815A (zh) 2020-11-20 2020-11-20 基于增强现实的绘画辅助方法、增强现实设备和存储介质

Publications (1)

Publication Number Publication Date
CN112394815A true CN112394815A (zh) 2021-02-23

Family

ID=74606019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011309996.6A Pending CN112394815A (zh) 2020-11-20 2020-11-20 基于增强现实的绘画辅助方法、增强现实设备和存储介质

Country Status (1)

Country Link
CN (1) CN112394815A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344181A (zh) * 2022-05-04 2022-11-15 杭州格沃智能科技有限公司 一种人机交互系统及其实现方法和应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106803366A (zh) * 2016-12-30 2017-06-06 武汉市马里欧网络有限公司 基于ar的儿童舞蹈学习系统及方法
US20170213387A1 (en) * 2016-01-21 2017-07-27 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
CN108182730A (zh) * 2018-01-12 2018-06-19 北京小米移动软件有限公司 虚实对象合成方法及装置
CN108447032A (zh) * 2018-03-07 2018-08-24 浙江大学 一种基于增强现实的绘画作品临摹和再创作方法
CN109784180A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 基于增强现实的绘图方法、装置、计算机设备及存储介质
CN111651043A (zh) * 2020-05-29 2020-09-11 北京航空航天大学 一种支持定制化多通道交互的增强现实系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213387A1 (en) * 2016-01-21 2017-07-27 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
CN106128212A (zh) * 2016-08-27 2016-11-16 大连新锐天地传媒有限公司 基于增强现实技术的书法学习系统及方法
CN106803366A (zh) * 2016-12-30 2017-06-06 武汉市马里欧网络有限公司 基于ar的儿童舞蹈学习系统及方法
CN108182730A (zh) * 2018-01-12 2018-06-19 北京小米移动软件有限公司 虚实对象合成方法及装置
CN108447032A (zh) * 2018-03-07 2018-08-24 浙江大学 一种基于增强现实的绘画作品临摹和再创作方法
CN109784180A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 基于增强现实的绘图方法、装置、计算机设备及存储介质
CN111651043A (zh) * 2020-05-29 2020-09-11 北京航空航天大学 一种支持定制化多通道交互的增强现实系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344181A (zh) * 2022-05-04 2022-11-15 杭州格沃智能科技有限公司 一种人机交互系统及其实现方法和应用

Similar Documents

Publication Publication Date Title
CN107484428B (zh) 用于显示对象的方法
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN112839141B (zh) 图像处理系统、图像处理方法和存储介质
CN112394815A (zh) 基于增强现实的绘画辅助方法、增强现实设备和存储介质
CN115454365A (zh) 图片处理方法、装置、电子设备及介质
CN113918070B (zh) 同步显示方法、装置、可读存储介质及电子设备
CN106202359B (zh) 拍照搜题的方法及装置
CN111913343B (zh) 一种全景图像显示方法及装置
CN111540060B (zh) 增强现实设备的显示校准方法、装置、电子设备
JP2020014075A (ja) 画像投影システム、画像投影方法、及びプログラム
KR20120035322A (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
CN107992256B (zh) 窗口控制方法、装置及系统
KR100858138B1 (ko) 원격 포인팅 장치를 이용한 제어 시스템
KR101582225B1 (ko) 인터랙티브 증강현실 서비스 시스템 및 방법
CN113223186B (zh) 实现增强现实的处理方法、设备、产品和装置
CN114885140A (zh) 一种多屏拼接沉浸式投影画面处理方法及系统
US10762344B2 (en) Method and system for using whiteboard changes as interactive directives for vectorization software
KR101709529B1 (ko) 휴대 단말을 이용한 영상 화면 제어 방법 및 장치
CN113225428A (zh) 影像临摹处理方法、装置、设备和计算机可读存储介质
CN111915683A (zh) 图像位置标定方法、智能设备及存储介质
CN113434059A (zh) 书面文档处理方法、装置、电子设备及计算机可读介质
US20150062657A1 (en) Image formation apparatus and method of forming image
CN109800652A (zh) 文字翻译方法及装置
CN106527774A (zh) 非接触式输入笔迹的处理方法和装置
CN113569821B (zh) 手势识别方法、装置、设备与计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination