CN110597442A - 一种手机ar绘画方法及装置 - Google Patents

一种手机ar绘画方法及装置 Download PDF

Info

Publication number
CN110597442A
CN110597442A CN201910891877.7A CN201910891877A CN110597442A CN 110597442 A CN110597442 A CN 110597442A CN 201910891877 A CN201910891877 A CN 201910891877A CN 110597442 A CN110597442 A CN 110597442A
Authority
CN
China
Prior art keywords
gesture
instruction
image information
depth image
information frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910891877.7A
Other languages
English (en)
Other versions
CN110597442B (zh
Inventor
毛守迪
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201910891877.7A priority Critical patent/CN110597442B/zh
Publication of CN110597442A publication Critical patent/CN110597442A/zh
Application granted granted Critical
Publication of CN110597442B publication Critical patent/CN110597442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种手机AR绘画方法及装置，方法包括：在接收到深度图像信息帧时，利用手势识别技术识别深度图像信息帧中是否存在用户手势；若存在，将识别出的手势作为目标手势；在手势与绘画指令的对应关系中，查找是否存在与目标手势对应的绘画指令；若存在，则按照与目标手势对应的绘画指令，执行绘画操作，得到绘画图形；将绘画图形与深度图像信息帧中真实对象进行叠加。在本申请中，通过以上方式可以简化操作，提高效率。

Description

一种手机AR绘画方法及装置
技术领域
本申请涉及AR技术领域，特别涉及一种手机AR绘画方法及装置。
背景技术
目前，手机作为日常生活必不可少的工具，其已经渗透到了人们生活的多个方面。其中，基于手机的AR(Augmented Reality，增强现实)应用也日渐丰富。
通常，在手机的AR应用中，需要用户在AR场景中进行绘画时，一般需要使用额外的特定控制设备(如手柄，感应笔等)来完成绘画，但是，需要对额外的特定控制设备进行预先设置及佩戴，操作比较繁琐，效率低。
发明内容
为解决上述技术问题，本申请实施例提供一种手机AR绘画方法及装置，以达到简化操作，提高效率的目的，技术方案如下：
一种手机AR绘画方法，包括：
在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；
若存在，将识别出的手势作为目标手势；
在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；
若存在，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；
将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
优选的，所述利用手势识别技术识别所述深度图像信息帧中是否存在用户手势之前，还包括：
判断是否接收到手机屏幕触控指令；
若是，按照所述手机屏幕触控指令，执行触控操作；
若否，则执行所述在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势的步骤。
优选的，所述将所述绘画图形与所述深度图像信息帧中真实对象进行叠加，包括：
利用SLAM同步定位和建图技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标；
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
优选的，所述与所述目标手势对应的绘画指令，包括：
绘制指令、拖曳指令或缩放指令。
优选的，所述手机屏幕触控指令，包括：
撤销指令、修改画笔属性指令、打开文件指令或保存文件指令。
一种手机AR绘画装置，包括：
识别模块，用于在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；
确定模块，用于若所述深度图像信息帧中存在用户手势，则将识别出的手势作为目标手势；
查找模块，用于在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；
绘画指令，用于若所述手势与绘画指令的对应关系中存在与所述目标手势对应的绘画指令，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；
叠加模块，用于将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
优选的，所述装置还包括：判断模块及执行模块；
所述判断模块，用于判断是否接收到手机屏幕触控指令；
所述执行模块，用于若接收到手机屏幕触控指令，则按照所述手机屏幕触控指令，执行触控操作；
所述识别模块，具体用于若未接收到手机屏幕触控指令，则在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
优选的，所述叠加模块，具体用于：
利用SLAM同步定位和建图技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标；
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
优选的，所述与所述目标手势对应的绘画指令，包括：
绘制指令、拖曳指令或缩放指令。
优选的，所述手机屏幕触控指令，包括：
撤销指令、修改画笔属性指令、打开文件指令或保存文件指令。
一种智能设备，包括：深度摄像头、存储器和处理器；
所述深度摄像头，用于采集深度图像信息帧；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序时实现上述任一项所述手机AR绘画方法的步骤。
优选的，所述智能设备还包括：
显示器，用于显示所述处理器将绘画图形与所述深度图像信息帧中真实对象进行叠加后得到的图像。
与现有技术相比，本申请的有益效果为：
在本申请中，在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；若存在，将识别出的手势作为目标手势；在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；若存在，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；将所述绘画图形与所述深度图像信息帧中真实对象进行叠加，以此可以支持用户将手作为画笔，通过比划手势来完成AR绘画，不需要额外的特定控制设备，减少了预先设置特定控制设备及佩戴控制设备的过程，简化了操作，提高了效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种手机AR绘画方法实施例1的流程图；
图2是本申请提供的一种手机AR绘画在实际应用场景下的示意图；
图3是本申请提供的一种手机AR绘画方法实施例2的流程图；
图4是本申请提供的一种手机AR绘画方法实施例3的流程图；
图5是本申请提供的一种手机AR绘画装置的逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种手机AR绘画方法，包括：在接收到深度图像信息帧时，用手势识别技术识别所述深度图像信息帧中是否存在用户手势；若存在，将识别出的手势作为目标手势；在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；若存在，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。在本申请中，可以简化操作，提高效率。
接下来对本申请实施例公开的手机AR绘画方法进行介绍，如图1所示的，为本申请提供的一种手机AR绘画方法实施例1的流程图，可以包括但不局限于以下步骤：
步骤S11、在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
若存在，则执行步骤S12。
在进行手机AR绘画时，用户可以单手持手机，将手机彩色摄像头和深度摄像头对准用户前方区域，手机屏幕置于眼睛前方。手机通过SLAM技术识别用户前方区域信息，定位手机在真实世界中的位置和姿态。在手机完成定位后，用户将另一只手作为画笔，放置于深度摄像头能够拍摄到的范围内进行绘画，如图2所示，深度摄像头则拍摄用户绘画过程中的图像。
深度摄像头可以将拍摄到的图像发送至手机中的处理器，手机中的处理器则在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
用户手势可以包括但不局限于：手势骨架各个关节点的位置及位移、静态手势和动态手势。
通过深度摄像头拍摄图像，可以保证拍摄到的深度图像中具有完整的手部三维运动信息，使利用手势识别技术进行手势识别时，可以更精确的识别静态和动态手势，能够识别的手势范围也更广。
步骤S12、将识别出的手势作为目标手势。
步骤S13、在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令。
本实施例中，需要预先建立手势与绘画指令的对应关系。在预先建立手势与绘画指令的对应关系的基础上，在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令。
与所述目标手势对应的绘画指令可以包括但不局限于：绘制指令、拖曳指令或缩放指令。
若存在，则执行步骤S14。
步骤S14、按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形。
绘画图形可以理解为虚拟的绘画图形。
步骤S15、将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
将所述绘画图形与所述深度图像信息帧中真实对象进行叠加，完成手机AR绘画，实现虚拟互动。
在本申请中，在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；若存在，将识别出的手势作为目标手势；在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；若存在，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；将所述绘画图形与所述深度图像信息帧中真实对象进行叠加，以此可以支持用户将手作为画笔，通过比划手势来完成AR绘画，不需要额外的特定控制设备，减少了预先设置特定控制设备及佩戴控制设备的过程，简化了操作，提高了效率。
作为本申请另一可选实施例，参照图3，为本申请提供的一种手机AR绘画方法实施例2的流程图，本实施例主要是对上述实施例1描述的手机AR绘画方法的扩展方案，如图3所示，该方法可以包括但并不局限于以下步骤：
步骤S21、判断是否接收到手机屏幕触控指令。
手机屏幕触控指令可以理解为绘画辅助指令，可以包括但不局限于：撤销指令、修改画笔属性(如，样式、颜色等)指令、打开文件指令或保存文件指令。
若是，则执行步骤S22；若否，则执行步骤S23。
步骤S22、按照所述手机屏幕触控指令，执行触控操作。
在按照所述手机屏幕触控指令，执行触控操作之后，等待下一帧深度图像信息的输入。
步骤S23、在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
若存在，则执行步骤S24。
步骤S24、将识别出的手势作为目标手势。
步骤S25、在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令。
若存在，则执行步骤S26。
步骤S26、按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形。
步骤S27、将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
步骤S23-S27的详细过程可以参见实施例1中步骤S11-S15的相关介绍，在此不再赘述。
作为本申请另一可选实施例，参照图4，为本申请提供的一种手机AR绘画方法实施例3的流程图，本实施例主要是对上述实施例1描述的手机AR绘画方法的细化方案，如图4所示，该方法可以包括但并不局限于以下步骤：
步骤S31、在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
若存在，则执行步骤S32。
步骤S32、将识别出的手势作为目标手势。
步骤S33、在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令。
若存在，则执行步骤S34。
步骤S34、按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形。
步骤S31-S34的详细过程可以参见实施例1中步骤S11-S14的相关介绍，在此不再赘述。
步骤S35、利用SLAM技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标。
真实世界坐标可以理解为：在世界坐标系下的坐标。
可以理解的是，所有绘制点的真实世界坐标是不随时间变化而变化的，但是若手机的深度摄像头在不断发生移动，绘制点在图像坐标下的坐标会随时间的推移而改变，但是为了达到虚拟对象与真实对象产生联系的目的，需要将绘画图形在图像坐标系下的坐标转换为真实世界坐标，保证绘画图形不会随着手机移动与真实对象发生脱离。比如上一刻，用户将手机拍摄茶杯，用户在茶杯上绘制了一个圆，下一刻，用户用手机拍摄茶杯旁边的笔架，上一刻所画的圆就随着手机的移动叠加到了笔架上。这种并不是AR应用，因为虚拟物体(圆)并没有与真实物体(茶杯、笔架)产生联系。为了实现AR应用，就需要利用SLAM(simultaneous localization and map，同步定位和建图)技术，实时获得手机在真实世界的姿态，从而将虚拟物体(圆)在图像坐标系下的坐标转换到真实世界坐标。这样，即使手机位置发生了变化(从拍茶杯变成拍笔架)，虚拟物体(圆)在真实世界的位置也不会发生变化，上一刻所画的圆仍然在茶杯上。
手机上搭载的SLAM技术能够提供手机在真实世界中的位置和姿态(朝向)。利用手机在真实世界的位置和姿态信息，可以将绘画图形在图像坐标系下的坐标转换到真实世界坐标。
步骤S36、利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标，保证显示的图像能够被用户所感知。
步骤S35-S36为实施例1中步骤S11的一种具体实施过程。
接下来对本申请提供的手机AR绘画装置进行介绍，下文介绍的手机AR绘画装置与上文介绍的手机AR绘画方法可相互对应参照。
请参见图5，手机AR绘画装置包括：识别模块11、确定模块12、查找模块13、绘画模块14和叠加模块15。
识别模块11，用于在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；
确定模块12，用于若所述深度图像信息帧中存在用户手势，则将识别出的手势作为目标手势；
查找模块13，用于在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；
绘画指令14，用于若所述手势与绘画指令的对应关系中存在与所述目标手势对应的绘画指令，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；
本实施例中，所述与所述目标手势对应的绘画指令，可以包括但不局限于：
绘制指令、拖曳指令或缩放指令。
叠加模块15，用于将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
本实施例中，手机AR绘画装置还可以包括：判断模块及执行模块。
所述判断模块，用于判断是否接收到手机屏幕触控指令；
本实施例中，手机屏幕触控指令，可以包括但不局限于：
撤销指令、修改画笔属性指令、打开文件指令或保存文件指令。
所述执行模块，用于若接收到手机屏幕触控指令，则按照所述手机屏幕触控指令，执行触控操作；
所述识别模块，具体用于若未接收到手机屏幕触控指令，则在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
本实施例中，所述叠加模块15，具体可以用于：
利用SLAM同步定位和建图技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标；
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
在本申请的另一个实施例中，提供一种智能设备，可以包括：深度摄像头、存储器和处理器。
所述深度摄像头，用于采集深度图像信息帧；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序时实现实施例1至3任一实施例所述手机AR绘画方法的步骤。
本实施例中，智能设备还可以包括：
显示器，用于显示所述处理器将绘画图形与所述深度图像信息帧中真实对象进行叠加后得到的图像。
需要说明的是，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种手机AR绘画方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种手机AR绘画方法，其特征在于，包括：
在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；
若存在，将识别出的手势作为目标手势；
在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；
若存在，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；
将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
2.根据权利要求1所述的方法，其特征在于，所述利用手势识别技术识别所述深度图像信息帧中是否存在用户手势之前，还包括：
判断是否接收到手机屏幕触控指令；
若是，按照所述手机屏幕触控指令，执行触控操作；
若否，则执行所述在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势的步骤。
3.根据权利要求1所述的方法，其特征在于，所述将所述绘画图形与所述深度图像信息帧中真实对象进行叠加，包括：
利用SLAM同步定位和建图技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标；
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述与所述目标手势对应的绘画指令，包括：
绘制指令、拖曳指令或缩放指令。
5.根据权利要求2所述的方法，其特征在于，所述手机屏幕触控指令，包括：
撤销指令、修改画笔属性指令、打开文件指令或保存文件指令。
6.一种手机AR绘画装置，其特征在于，包括：
识别模块，用于在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势；
确定模块，用于若所述深度图像信息帧中存在用户手势，则将识别出的手势作为目标手势；
查找模块，用于在手势与绘画指令的对应关系中，查找是否存在与所述目标手势对应的绘画指令；
绘画指令，用于若所述手势与绘画指令的对应关系中存在与所述目标手势对应的绘画指令，则按照与所述目标手势对应的绘画指令，执行绘画操作，得到绘画图形；
叠加模块，用于将所述绘画图形与所述深度图像信息帧中真实对象进行叠加。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：判断模块及执行模块；
所述判断模块，用于判断是否接收到手机屏幕触控指令；
所述执行模块，用于若接收到手机屏幕触控指令，则按照所述手机屏幕触控指令，执行触控操作；
所述识别模块，具体用于若未接收到手机屏幕触控指令，则在接收到深度图像信息帧时，利用手势识别技术识别所述深度图像信息帧中是否存在用户手势。
8.根据权利要求6所述的装置，其特征在于，所述叠加模块，具体用于：
利用SLAM同步定位和建图技术将所述绘画图形在图像坐标系下的坐标转换为真实世界坐标；
利用所述SLAM技术将所述绘画图形的真实世界坐标及所述深度图像信息帧中真实对象的真实世界坐标转换为在图像坐标系下的坐标。
9.一种智能设备，其特征在于，包括：深度摄像头、存储器和处理器；
所述深度摄像头，用于采集深度图像信息帧；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序时实现权利要求1至5任一项所述手机AR绘画方法的步骤。
10.根据权利要求9所述的智能设备，其特征在于，所述智能设备还包括：
显示器，用于显示所述处理器将绘画图形与所述深度图像信息帧中真实对象进行叠加后得到的图像。
CN201910891877.7A 2019-09-20 2019-09-20 一种手机ar绘画方法及装置 Active CN110597442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891877.7A CN110597442B (zh) 2019-09-20 2019-09-20 一种手机ar绘画方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891877.7A CN110597442B (zh) 2019-09-20 2019-09-20 一种手机ar绘画方法及装置

Publications (2)

Publication Number Publication Date
CN110597442A true CN110597442A (zh) 2019-12-20
CN110597442B CN110597442B (zh) 2021-03-16

Family

ID=68861700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891877.7A Active CN110597442B (zh) 2019-09-20 2019-09-20 一种手机ar绘画方法及装置

Country Status (1)

Country Link
CN (1) CN110597442B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124228A (zh) * 2019-12-23 2020-05-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN111347813A (zh) * 2020-03-26 2020-06-30 杭州艺旗网络科技有限公司 一种ar雕塑方法
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
CN107728792A (zh) * 2017-11-17 2018-02-23 浙江大学 一种基于手势识别的增强现实三维绘图系统及绘图方法
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108735052A (zh) * 2018-05-09 2018-11-02 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
CN109725733A (zh) * 2019-01-25 2019-05-07 中国人民解放军国防科技大学 一种基于增强现实的人机交互方法及人机交互设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN107728792A (zh) * 2017-11-17 2018-02-23 浙江大学 一种基于手势识别的增强现实三维绘图系统及绘图方法
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
CN108735052A (zh) * 2018-05-09 2018-11-02 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN109725733A (zh) * 2019-01-25 2019-05-07 中国人民解放军国防科技大学 一种基于增强现实的人机交互方法及人机交互设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124228A (zh) * 2019-12-23 2020-05-08 联想(北京)有限公司 一种信息处理方法及电子设备
CN111347813A (zh) * 2020-03-26 2020-06-30 杭州艺旗网络科技有限公司 一种ar雕塑方法
CN112184852A (zh) * 2020-09-10 2021-01-05 珠海格力电器股份有限公司 基于虚拟成像的辅助绘图方法和装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN110597442B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110597442B (zh) 一种手机ar绘画方法及装置
US9651782B2 (en) Wearable tracking device
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN112684894A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US9298267B2 (en) Method and terminal device for controlling content by sensing head gesture and hand gesture, and computer-readable recording medium
US20140300542A1 (en) Portable device and method for providing non-contact interface
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
CN112198962B (zh) 一种与虚拟现实设备交互的方法及虚拟现实设备
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN103544724A (zh) 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
CN104571823A (zh) 一种基于智能电视的非接触式虚拟人机交互方法
CN110580024A (zh) 基于增强现实的车间辅助作业实现方法、系统及存储介质
JP2017505965A (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
CN106909871A (zh) 手势指令识别方法
US20200326783A1 (en) Head mounted display device and operating method thereof
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN111598996A (zh) 一种基于ar技术的物品3d模型展示方法和系统
CN111160308A (zh) 手势动作识别方法、装置、设备及可读存储介质
CN112085795A (zh) 物品定位方法、装置、设备及存储介质
Abdallah et al. An overview of gesture recognition
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
KR20110125524A (ko) 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
CN110069126B (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant