CN111782053B - 模型编辑方法、装置、设备及存储介质 - Google Patents

模型编辑方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111782053B
CN111782053B CN202010794519.7A CN202010794519A CN111782053B CN 111782053 B CN111782053 B CN 111782053B CN 202010794519 A CN202010794519 A CN 202010794519A CN 111782053 B CN111782053 B CN 111782053B
Authority
CN
China
Prior art keywords
editing
model
target
head
sliding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010794519.7A
Other languages
English (en)
Other versions
CN111782053A (zh
Inventor
蒋燚
马标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010794519.7A priority Critical patent/CN111782053B/zh
Publication of CN111782053A publication Critical patent/CN111782053A/zh
Application granted granted Critical
Publication of CN111782053B publication Critical patent/CN111782053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请实施例公开了一种模型编辑方法、装置、设备及存储介质,属于AR领域。该方法用于头戴式AR设备,该方法包括:展示至少一个AR模型;响应于对至少一个AR模型中目标AR模型的选择操作,将目标AR模型设置为编辑状态;响应于对目标AR模型的模型编辑操作,根据模型编辑操作编辑目标AR模型。本申请实施例不受限于光照等外界条件,头戴式AR设备对作用于触控区域的触控操作的敏感度高,能够准确捕捉到选择操作和模型编辑操作,提高了操作识别的准确率以及模型编辑效率;头戴式AR设备和与头戴式AR设备相连的控制设备均能接收模型编辑操作,方便用户根据情况选择合适的设备进行模型编辑,提高了模型编辑的便捷性。

Description

模型编辑方法、装置、设备及存储介质
技术领域
本申请实施例涉及AR技术领域,特别涉及一种模型编辑方法、装置、设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界融合的技术,将计算机设备生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。在一种可能的实现方式中,用户可以利用AR技术对平面模型、立体模型进行平移、缩放、旋转、添加和删除等编辑操作。
相关技术中,用户佩戴AR设备后,能够在环境中观察到计算机设备所生成的模型,并通过特定的姿态对模型进行编辑,例如通过向左或向右挥手平移模型。
然而,相关技术中通过检测用户手部动作对模型进行编辑的方法,对环境中的光照条件以及用户的动作要求较高,若环境条件较差或用户的动作不规范则会导致设备无法识别或误识别,其姿态识别的准确率较低,模型编辑效率低。
发明内容
本申请实施例提供了一种模型编辑方法、装置、设备及存储介质。所述技术方案如下:
一方面,本申请实施例提供了一种模型编辑方法,所述方法用于头戴式AR设备,所述方法包括:
展示至少一个AR模型,所述AR模型用于叠加显示在真实环境画面中;
响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态;
响应于对所述目标AR模型的模型编辑操作,根据所述模型编辑操作编辑所述目标AR模型,所述模型编辑操作通过所述头戴式AR设备的触控区域触发,或者,通过与所述头戴式AR设备相连的控制设备触发。
另一方面,本申请实施例提供了一种模型编辑装置,所述装置包括:
所述装置用于头戴式AR设备,所述装置包括:
第一显示模块,用于展示至少一个AR模型,所述AR模型用于叠加显示在真实环境画面中;
设置模块,用于响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态;
编辑模块,用于响应于对所述目标AR模型的模型编辑操作,根据所述模型编辑操作编辑所述目标AR模型,所述模型编辑操作通过所述头戴式AR设备的触控区域触发,或者,通过与所述头戴式AR设备相连的控制设备触发。
另一方面,本申请实施例提供了一种可穿戴式AR设备,所述可穿戴式AR设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的模型编辑方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的模型编辑方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该设备执行上述方面的各种可选实现方式中提供的模型编辑方法。
本申请实施例提供的技术方案的有益效果至少包括:
本申请实施例中,通过设置在头戴式AR设备或与头戴式AR设备相连的控制设备的触控区域,接收对目标AR模型的选择操作和模型编辑操作,能够不受限于光照等外界条件,相比于用户的肢体动作,头戴式AR设备对作用于触控区域的触控操作的敏感度高,能够准确捕捉到选择操作和模型编辑操作,从而提高了操作识别的准确率,进而提高模型编辑效率;并且,头戴式AR设备和与头戴式AR设备相连的控制设备均能接收模型编辑操作,方便用户根据情况选择合适的设备进行模型编辑,提高了模型编辑的便捷性。
附图说明
图1是本申请一个示例性实施例提供的头戴式AR设备的示意图;
图2是本申请另一个示例性实施例提供的头戴式AR设备的示意图;
图3是本申请一个示例性实施例提供的头戴式AR设备和控制设备的示意图;
图4是本申请一个示例性实施例提供的模型编辑方法的流程图;
图5是本申请一个示例性实施例提供的头戴式AR设备显示内容的示意图;
图6是本申请一个示例性实施例提供的触控区域的示意图;
图7是本申请另一个示例性实施例提供的模型编辑方法的流程图;
图8是本申请一个示例性实施例提供的确定目标AR模型的示意图;
图9是本申请一个示例性实施例提供的对目标AR模型进行角度编辑的示意图;
图10是本申请一个示例性实施例提供的显示编辑控件的示意图;
图11是本申请一个示例性实施例提供的编辑控件的示意图;
图12是本申请另一个示例性实施例提供的对目标AR模型进行角度编辑的示意图;
图13是本申请一个示例性实施例提供的模型编辑装置的结构框图;
图14是本申请一个示例性实施例提供的可穿戴式AR设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
可穿戴式AR设备按照显示原理可以大致划分为三种:一种为设置有显示屏和摄像头的AR设备,其通过摄像头采集周围的真实环境画面,再将AR信息与真实环境画面叠加,通过显示屏展示叠加后的画面;一种为设置有投影组件和透明镜片的AR设备,其通过投影组件将AR信息投影到透明镜片上,则用户可以通过透明镜片同时观察到真实环境和AR信息,从而获得在真实环境中编辑AR信息的体验;另一种设置有投影组件和透明镜片的AR设备,其投影组件设置在设备内侧,可以通过投影组件将AR信息直接投影至用户的眼球,从而使用户得到在真实环境中编辑AR信息的使用感受。
如图1所示,其示出了一种可穿戴式AR设备110,该设备110为头盔显示器(Head-Mounted Display,HMD)AR设备,可穿戴式AR设备110通过摄像头111实时采集真实环境画面,将AR信息与真实环境画面进行叠加,并将叠加后的画面通过显示屏112进行展示,用户将可穿戴式AR设备110佩戴在头部后,即可通过显示屏112观察到AR信息与真实环境画面融合的场景。
如图2所示,其示出了另一种可穿戴式AR设备210,该设备210为眼镜式AR设备,可穿戴式AR设备210的镜片外侧设置有投影组件211,可穿戴式AR设备210通过投影组件211将AR信息投影至镜片212,用户佩戴可穿戴式AR设备210后,通过镜片212即可同时观察到真实环境画面和AR信息。
本申请实施例以头戴式AR设备为上述示例中设置有显示屏和摄像头的AR设备为例进行说明。如图3所示,头戴式AR设备310设置有摄像头组件311和显示屏组件312,其通过摄像头组件311实时拍摄周围的真实环境画面,并将真实环境画面与AR信息融合后,通过显示屏组件312在头戴式AR设备310内侧进行展示。在一种可能的实现方式中,头戴式AR设备310中设置有触控区域,例如在AR眼镜的镜腿处的条形触控区域,用户通过改变头戴式AR设备310的设备姿态,并结合对触控区域的触控操作实现模型编辑操作,头戴式AR设备310根据接收到的模型编辑操作编辑目标AR模型,并将编辑后的目标AR模型展示给用户。
在一种可能的实施方式中,头戴式AR设备310可以被单独使用进行模型编辑,也可以与控制设备320配合使用。
控制设备320与头戴式AR设备310相连,其设备类型包括:AR手柄、智能手机、平板电脑中的至少一种。控制设备320中设置有触控区域和触控按键中的至少一种,用户通过改变控制设备320的设备姿态选择目标AR模型,并通过触控区域或触控按键触发模型编辑操作。在一种可能的实现方式中,当控制设备320与头戴式AR设备310连接时,头戴式AR设备310同步接收作用于控制设备320触控区域或触控按键的模型编辑操作。
在一种可能的实施方式中,头戴式AR设备310与控制设备320通过数据线、无线保真(Wireless Fidelity,WiFi)热点或蓝牙等方式建立连接。用户可以选择单独佩戴头戴式AR设备310进行模型编辑,也可以佩戴头戴式AR设备310并操控控制设备320进行模型编辑。
请参考图4,其示出了本申请一个示例性实施例提供的模型编辑方法的流程图。本实施例以该方法用于图3所示的头戴式AR设备310为例进行说明,该方法包括如下步骤:
步骤401,展示至少一个AR模型,AR模型用于叠加显示在真实环境画面中。
在一种可能的实施方式中,头戴式AR设备开启后,实时采集真实环境画面,并根据用户输入确定需要展示的AR信息。本申请实施例中,头戴式AR设备运行模型编辑应用,上述AR信息为至少一个AR模型。
可选地,头戴式AR设备通过摄像头组件采集设备正前方的真实环境画面,并将至少一个AR模型融合在真实环境画面后通过显示屏组件进行展示,例如,显示屏组件位于头戴式AR设备的前部,使用户佩戴头戴式AR设备后正视前方即可观察到AR模型。
示意性的,请参考图5,其示出了一种通过头戴式AR设备观察AR模型的示意图,用户501佩戴有头戴式AR设备,并控制其展示AR模型503,墙面502为真实环境中用户正前方的墙面,用户501能够通过头戴式AR设备观察到位于自身与正前方的墙面502之间的AR模型503,而未佩戴头戴式AR设备的人无法观察到AR模型503,只能观察到用户501和包含墙面502的真实环境。
可选地,头戴式AR设备为AR眼镜,镜片外侧设置有投影组件,头戴式AR设备通过投影组件将AR模型投影至镜片上,用户通过镜片可以观察到真实环境画面与AR模型融合后的场景;或者,头戴式AR设备在镜片内侧设置有投影组件,通过投影组件将AR模型直接投影至用户眼球,从而使用户产生AR模型存在于真实环境画面中的使用感受,本申请实施例对此不作限定。
步骤402,响应于对至少一个AR模型中目标AR模型的选择操作,将目标AR模型设置为编辑状态。
在一种可能的实施方式中,头戴式AR设备根据接收到的选择操作确定出目标AR模型,并将目标AR模型设置为编辑状态,当目标AR模型处于编辑状态时,用户能够对其进行单独编辑。其中,当目标AR模型处于编辑状态时,头戴式AR设备改变其显示方式(例如高亮显示、显示特殊标记等),使用户得知当前处于编辑状态的AR模型。
可选地,若用户保持在一定的位置不移动,则头戴式AR设备所展示的AR模型与用户的相对位置固定,且头戴式AR设备将设备正前方向所在直线(例如垂直于镜片的直线)与用户正前方竖直平面的交点确定为聚焦位置,当聚焦位置落在某一AR模型上时,将该AR模型确定为目标AR模型。其中,用户通过轻微转动头部改变聚焦位置。
可选地,头戴式AR设备具有眼球识别功能,其对用户进行眼球识别,并实时根据用户的视线方向确定聚焦位置。
步骤403,响应于对目标AR模型的模型编辑操作,根据模型编辑操作编辑目标AR模型,模型编辑操作通过头戴式AR设备的触控区域触发,或者,通过与头戴式AR设备相连的控制设备触发。
在一种可能的实施方式中,用户通过头戴式AR设备观看其展示的AR模型,并在头戴式AR设备的触控区域触发模型编辑操作进行模型编辑。但受限于头戴式AR设备的形状和尺寸,其触控区域面积较小,为了方便用户的模型编辑操作,该头戴式AR设备还连接有控制设备,该触控设备中的触控区域面积较大,用户可以根据需求选择任一触控区域进行模型编辑。
示意性的,请参考图6,其示出了一种触发模型编辑操作的示意图。如图所示,头戴式AR设备601为一AR眼镜,其左侧镜腿外侧设置有矩形触控区域602,与头戴式AR设备601相连的触控设备603中设置有触控区域604,头戴式AR设备601能够同步接收作用于触控区域604的模型编辑操作。
综上所述,本申请实施例中,通过设置在头戴式AR设备或与头戴式AR设备相连的控制设备的触控区域,接收对目标AR模型的选择操作和模型编辑操作,能够不受限于光照等外界条件,相比于用户的肢体动作,头戴式AR设备对作用于触控区域的触控操作的敏感度高,能够准确捕捉到选择操作和模型编辑操作,从而提高了操作识别的准确率,进而提高模型编辑效率;并且,头戴式AR设备和与头戴式AR设备相连的控制设备均能接收模型编辑操作,方便用户根据情况选择合适的设备进行模型编辑,提高了模型编辑的便捷性。
在一种可能的实施方式中,模型的编辑方式存在多种,不同的编辑方式需要对应不同的模型编辑操作,从而避免模型编辑混乱,造成模型编辑结果与用户期望的编辑方式不匹配的情况。由于用户可以通过头戴式AR设备和控制设备中任一设备的触控区域触发模型编辑操作,为了方便用户快速学习到各种编辑方式对应的模型编辑操作,二者对应同一编辑方式的模型编辑操作应尽量保持统一。
请参考图7,其示出了本申请另一个示例性实施例提供的模型编辑方法的流程图。本实施例以该方法用于图3所示的头戴式AR设备310为例进行说明,该方法包括如下步骤:
步骤701,展示至少一个AR模型,AR模型用于叠加显示在真实环境画面中。
步骤701的实施方式可以参考上述步骤401,本申请实施例在此不再赘述。
步骤702,响应于通过头戴式AR设备的触控区域触发的选择操作,将聚焦位置处的AR模型确定为目标AR模型,并将目标AR模型设置为编辑状态,聚焦位置根据头戴式AR设备的设备姿态或人眼注视方向确定。
在一种可能的实施方式中,当用户通过头戴式AR设备选择目标AR模型时,头戴式AR设备根据垂直于镜片的直线与所用户正前方竖直平面的交点确定聚焦位置,若聚焦位置位于某一AR模型内,则确定该AR模型为目标AR模型,并对其进行高亮显示。
可选地,用户通过转动头部改变头戴式AR设备的设备姿态,从而改变头戴式AR设备的聚焦位置,或者头戴式AR设备具有眼球识别功能,用户通过改变人眼注视方向改变头戴式AR设备的聚焦位置,从而选择目标AR模型。
可选地,当聚焦位置位于某一AR模型,并接收到作用于触控区域的长按操作时,头戴式AR设备将该AR模型确定为目标AR模型,并设置为编辑状态。
示意性的,请参考图8,其示出了一种确定目标AR模型的示意图。头戴式AR设备叠加显示在真实环境画面的AR模型中包含有AR模型801和AR模型802,头戴式AR设备的聚焦位置处于AR模型801处,此时AR模型801为目标AR模型。当用户向下低头时,聚焦位置随着头戴式AR设备803的设备姿态的改变而向下移动,当聚焦位置移动至AR模型802时,确定AR模型802目标AR模型。
步骤703,响应于通过控制设备触发的选择操作,将聚焦位置处的AR模型确定为目标AR模型,并将目标AR模型设置为编辑状态,聚焦位置根据控制设备的设备姿态或人眼注视方向确定。
在另一种可能的实施方式中,控制设备与头戴式AR设备连接后,通过发出的射线(例如红外射线)与用户正前方竖直平面的交点确定聚焦位置,用户通过手持控制设备并进行挥动、转动操作或改变注视方向,改变控制设备的聚焦位置,从而选择目标AR模型,若聚焦位置位于某一AR模型内,则确定该AR模型为目标AR模型,并对其进行高亮显示。
步骤704,根据模型编辑操作确定编辑方式和编辑量,编辑方式包括尺寸编辑、位置编辑和角度编辑中的至少一种。
在一种可能的实施方式中,头戴式AR设备根据模型编辑操作的操作类型确定编辑方式,并根据模型编辑操作的幅度确定编辑量。其中,编辑方式包括尺寸编辑、位置编辑和角度编辑中的至少一种,通过尺寸编辑改变目标AR模型的大小,通过位置编辑改变AR模型在空间中的位置,通过角度编辑旋转AR模型。
可选地,不同编辑方式对应不同的编辑操作,并且同一编辑方式针对不同设备的编辑操作可能不同。头戴式AR设备根据模型编辑操作确定编辑方式和编辑量存在如下几种可能的情况:
A、当编辑方式为在参考平面内的位置编辑时,步骤704包括如下步骤:
步骤一,响应于模型编辑操作为长按操作,且聚焦位置位于目标AR模型,根据长按操作持续时长内头戴式AR设备或控制设备的聚焦变化数据,确定位置编辑量,聚焦位置根据模型编辑操作对应触发设备的设备姿态或人眼注视方向确定,聚焦变化数据为设备姿态或人眼注视方向发生变化时聚焦位置的变化数据。
其中,聚焦变化数据用于描述聚焦位置的变化情况。例如,聚焦变化数据包括聚焦位置变化前后的坐标,或者包括聚焦位置变化后相对于变化前的方向和距离等,本申请实施例对此不作限定。
在一种可能的实施方式中,当接收到作用于触控区域的长按操作,且操作时长达到第一时长阈值,且聚焦位置位于目标AR模型时,头戴式AR设备确定编辑方式为位置编辑,且该位置编辑是基于参考平面的位置编辑。例如参考平面为用户正前方的竖直平面,则该位置编辑能够改变目标AR模型在水平和竖直方向上的位置,但无法改变目标AR模型在垂直于参考平面方向上的位置,即无法改变目标AR模型与用户之间的垂直距离。
在一种可能的实施方式中,若用户的长按操作作用于头戴式AR设备的触控区域,则通过转动头部改变头戴式AR设备的设备姿态,使头戴式AR设备确定目标AR模型的位置编辑量;若用户的长按操作作用于控制设备的触控区域,则通过转动或挥动手中握持的控制设备改变控制设备的姿态,从而使头戴式AR设备确定位置编辑量;若头戴式AR设备或控制设备具有眼球识别功能,则用户通过改变人眼注视方向,使头戴式AR设备根据聚焦变化数据确定位置编辑量。
可选地,当接收到作用于触控区域的长按操作,且操作时长达到第一时长阈值,且聚焦位置位于目标AR模型时,头戴式AR设备确定编辑方式为位置编辑,并将目标AR模型吸附在头戴式AR设备或控制设备发出的射线与参考平面的交点处,即目标AR模型实时跟随设备姿态或人眼注视方向的变化而移动,当用户松手停止长按操作时,目标AR模型即固定放置在操作停止时刻的聚焦位置处。
步骤二,根据位置编辑量,调整目标AR模型在参考平面内的位置。
在一种可能的实施方式中,头戴式AR设备根据头戴式AR设备或控制设备在长按操作前后的聚焦位置,确定位置编辑量,并将目标AR模型放置在参考平面内位置编辑量所指示的位置处。例如,模型编辑前目标AR模型的参考点在竖直参考平面内的坐标为(20cm,60cm,0cm),长按操作结束时聚焦位置在竖直参考平面内的坐标为(40cm,60cm,0cm),则确定位置编辑量为向x轴正方向上移动20cm。
B、当编辑方式为角度编辑时,步骤703之后,模型编辑方法还包括如下步骤:
步骤一,响应于聚焦位置位于目标AR模型,显示目标AR模型对应的旋转轴。
在一种可能的实施方式中,为了方便用户对目标AR模型进行旋转,当聚焦位置位于目标AR模型时,头戴式AR设备显示目标AR模型的旋转轴,例如水平方向上的x轴,竖直方向上的y轴和垂直于x轴与y轴所在平面的z轴。当聚焦位置位于AR模型之外时,头戴式AR设备隐藏AR模型的旋转轴。
步骤704还包括如下步骤:
步骤二,响应于模型编辑操作为滑动操作,且聚焦位置位于目标AR模型的目标旋转轴,根据滑动操作的滑动方向和滑动距离,确定角度编辑量。
在一种可能的实施方式中,用户通过改变头戴式AR设备或控制设备的设备姿态,或者通过改变人眼注视方向,使聚焦位置位于目标旋转轴上,当聚焦位置位于某一旋转轴上时,头戴式AR设备将其确定为目标旋转轴,并对目标旋转轴进行高亮显示,方便提示用户后续的角度编辑操作将基于该旋转轴进行。
可选地,当聚焦位置位于目标AR模型的目标旋转轴,且接受到作用于头戴式AR设备或控制设备的触控区域的滑动操作时,确定编辑方式为角度编辑,其中,作用于控制设备对应触控区域的滑动操作为在预定滑动方向上的滑动操作,例如,在控制设备对应触控区域中向上或向下的滑动操作,本申请实施例对此不作限定。
其中,角度编辑量为编辑后的目标AR设备与编辑前的目标AR设备的角度偏移量,包含旋转方向和旋转角度值。在一种可能的实施方式中,头戴式AR设备中预设有滑动方向与旋转方向的对应关系,以及滑动距离与旋转角度值的对应关系。
示意性的,请参考图9,其示出了一种对目标AR模型进行角度编辑的示意图。以竖直平面903为参考平面,用户通过头戴式AR设备901确定目标AR模型904,并在显示旋转轴后将头戴式AR设备901的聚焦位置905移动至z轴,则z轴为目标旋转轴,当用户对头戴式AR设备901中的触控区域902进行向前滑动的滑动操作时,目标AR模型904绕目标旋转轴z轴逆时针旋转。
步骤三,根据角度编辑量控制目标AR模型沿目标旋转轴转动。
在一种可能的实施方式中,在用户对触控区域进行滑动操作的过程中,目标AR模型实时跟随滑动操作绕目标旋转轴进行旋转,当用户松手停止滑动操作时,头戴式AR设备将目标AR模型固定显示在操作停止时刻对应的状态。
C、在其它可能的实施方式中,对目标AR模型的编辑方式还包括模型添加和模型删除。
可选地,头戴式AR设备将AR模型选择列表叠加显示在真实环境画面中,AR模型选择列表中包括至少一个AR模型的图标。当聚焦位置位于AR模型选择列表中的某一图标,且接收到作用于头戴式AR设备或控制设备的触控区域的单击操作时,将该图标对应的AR模型确定为目标AR模型,并将目标AR模型吸附在头戴式AR设备或控制设备发出的射线与参考平面的交点处,即目标AR模型实时跟随设备姿态或人眼注视方向的变化而移动,当再次接收到单击操作时,目标AR模型即固定放置在操作停止时刻的聚焦位置处。
可选地,当目标AR模型处于编辑状态时,若接收到作用于头戴式AR设备或控制设备的触控区域的双击操作,确定编辑方式为模型删除,即头戴式AR设备停止将目标AR模型叠加显示在真实环境画面中。
步骤705,根据编辑方式和编辑量编辑目标AR模型。
在一种可能的实施方式中,当模型编辑操作停止时,头戴式AR设备根据模型编辑操作对应的编辑方式和编辑量,将编辑后的目标AR模型叠加显示在真实环境画面中。
本申请实施例中,根据头戴式AR设备或控制设备的设备姿态确定聚焦位置,使用户可以通过转动头部或手部轻易地确定目标AR模型;此外,用户可以通过头戴式AR设备和控制设备中任一设备的触控区域触发模型编辑操作,且两种触控区域对应同一编辑方式的模型编辑操作统一,提高了模型编辑的便捷性和模型编辑效率。
上述实施例中列举的几种编辑方式是两种触控区域的模型编辑操作的一一对应的情况,而由于存在更多的编辑方式,但外形为眼镜的头戴式AR设备中的触控区域(例如位于镜腿外侧的矩形触控区域)面积较小,其可接收的操作类型较少(例如滑动操作只能在单一方向上进行),而触控设备的触控区域通常面积较大,能够接收多种触控操作,因此对于其他编辑方式,在两种触控区域中的触控编辑操作存在一定区别。以下列举了几种模型编辑操作在两种触控区域存在区别的编辑方式:
D、当编辑方式为尺寸编辑,且模型编辑操作通过头戴式AR设备的触控区域触发时,步骤704包括如下步骤:
步骤一,响应于模型编辑操作为滑动操作,确定聚焦位置,聚焦位置根据头戴式AR设备的设备姿态或人眼注视方向确定。
由于头戴式AR设备的触控区域面积较小,通常为一长条形触控区域,只能接收在单一方向(例如前后方向)上的滑动操作,因此在一种可能的实施方式中,头戴式AR设备通过聚焦位置的不同将尺寸编辑和其他模型编辑操作为滑动操作的编辑方式进行区分。
可选地,当模型编辑操作为滑动操作时,头戴式AR设备确定聚焦位置。
步骤二,响应于聚焦位置位于目标AR模型,根据滑动操作的滑动方向和滑动距离,确定尺寸编辑量。
在一种可能的实施方式中,当聚焦位置位于目标AR模型时,确定编辑方式为尺寸编辑,尺寸编辑用于改变目标AR模型的大小。其中,尺寸编辑量包括尺寸编辑方式和尺寸变化值,尺寸编辑方式包括放大和缩小两种,滑动操作的滑动方向决定目标AR模型的放大和缩小,滑动操作的滑动距离决定目标AR模型的尺寸变化值。
可选地,用户在触控区域中向前滑动使目标AR模型放大,向后滑动使目标AR模型缩小。
可选地,头戴式AR设备中预先设置有目标AR模型的尺寸区间,当用户的滑动操作使目标AR模型的尺寸超出尺寸区间时,头戴式AR设备通过预定方式(例如显示提示信息、振动等)提醒用户停止尺寸编辑操作,方式目标AR模型过大或过小,导致显示不清晰等异常情况。
步骤三,根据尺寸编辑量对目标AR模型进行缩放处理。
在一种可能的实施方式中,用户在进行滑动操作的过程中,头戴式AR设备实时根据滑动操作确定目标AR模型的尺寸,即头戴式AR设备所展示的画面中,目标AR模型随着用户的滑动操作不断变化。当用户的滑动操作结束时,目标AR模型的尺寸固定在操作结束时刻的尺寸。
E、当编辑方式为垂直于参考平面的位置编辑,且模型编辑操作通过头戴式AR设备的触控区域触发时,在上述实施例D的步骤一之后,步骤704还包括如下步骤:
步骤四,响应于聚焦位置位于目标AR模型之外,根据滑动操作的滑动方向和滑动距离,确定位置编辑量。
在一种可能的实施方式中,当聚焦位置位于目标AR模型之外时,确定编辑方式为垂直于参考平面方向上的位置编辑。其中,位置编辑量包括位置变化方向和位置变化值,头戴式AR设备根据滑动操作的滑动方向确定位置变化方向,并根据滑动距离确定位置变化值。
在另一种可能的实施方式中,对于垂直于参考平面方向上的位置编辑,用户不需要通过作用于触控区域的模型编辑操作进行编辑,只需在确定目标AR模型后,直接向前或向后走动即可改变目标AR模型与参考平面之间的垂直距离。
步骤五,根据位置编辑量,调整目标AR模型与参考平面之间的垂直距离。
在一种可能的实施方式中,头戴式AR设备实时根据用户的滑动操作确定目标AR模型与参考平面之间的垂直距离,即头戴式AR设备所展示的画面中,目标AR模型与参考平面之间的垂直距离随着用户的滑动操作不断变化。当用户的滑动操作结束时,目标AR模型与参考平面之间的垂直距离固定在操作结束时刻的垂直距离。
可选地,当参考平面为x轴与y轴组成的竖直平面时,用户在触控区域中向前滑动使目标AR模型远离用户,向后滑动使目标AR模型靠近用户;当参考平面为x轴与z轴组成的竖直平面时,用户在触控区域中向前滑动使目标AR模型向左移动,向后滑动使目标AR模型向右移动;当参考平面为y轴与z轴组成的水平平面时,用户在触控区域中向前滑动使目标AR模型向上移动,向后滑动使目标AR模型向下移动,本申请实施例对此不作限定。
F、当编辑方式为尺寸编辑,且模型编辑操作通过控制设备的触控区域触发时,步骤704包括如下步骤:
步骤一,响应于模型编辑操作为第一滑动操作,且聚焦位置位于目标AR模型,根据第一滑动操作的滑动方向和滑动距离,确定尺寸编辑量,聚焦位置根据控制设备的设备姿态或人眼注视方向确定。
由于控制设备的触控区域的面积较大,因此可以通过滑动方向区分不同的滑动操作,从而区分不同的模型编辑操作。在一种可能的实施方式中,当接收到作用于控制设备的触控区域的第一滑动操作,且聚焦位置位于目标AR模型时,确定编辑方式为尺寸编辑。其中,尺寸编辑量包括尺寸编辑方式和尺寸变化值,尺寸编辑方式包括放大和缩小两种,滑动操作的滑动方向决定目标AR模型的放大和缩小,滑动操作的滑动距离决定目标AR模型的尺寸变化值。
可选地,第一滑动操作为在触控区域中左右滑动的滑动操作,用户在触控区域中向左滑动缩小目标AR模型,向右滑动放大目标AR模型,本申请实施例对此不作限定。
步骤二,根据尺寸编辑量对目标AR模型进行缩放处理。
步骤二的实施方式可以参考上述实施例D中的步骤三,本申请实施例在此不再赘述。
G、当编辑方式为垂直于参考平面的位置编辑,且模型编辑操作通过控制设备的触控区域触发时,步骤704包括如下步骤:
步骤一,响应于模型编辑操作为第二滑动操作,且聚焦位置位于目标AR模型,根据第二滑动操作的滑动方向和滑动距离,确定位置编辑量,第二滑动操作的滑动方向与第一滑动操作的滑动方向垂直。
在一种可能的实施方式中,为了区分尺寸编辑和位置编辑,控制设备设置位置编辑的模型编辑操作的滑动方向与尺寸编辑的滑动方向垂直。例如,第一滑动操作为在触控区域中左右滑动的滑动操作,第二滑动操作为在触控区域中上下滑动的滑动操作。
可选地,当参考平面为x轴与y轴组成的竖直平面时,用户在触控区域中向上滑动使目标AR模型远离用户,向下滑动使目标AR模型靠近用户;当参考平面为x轴与z轴组成的竖直平面时,用户在触控区域中向上滑动使目标AR模型向左移动,向下滑动使目标AR模型向右移动;当参考平面为y轴与z轴组成的水平平面时,用户在触控区域中向上滑动使目标AR模型向上移动,向下滑动使目标AR模型向下移动,本申请实施例对此不作限定。
步骤二,根据位置编辑量,调整目标AR模型与参考平面之间的垂直距离。
步骤二的实施方式可以参考上述实施例E中的步骤五,本申请实施例在此不再赘述。
上述实施例中的模型编辑操作的操作对象均为目标AR模型,这种编辑方式需要用户在一定程度上了解各种编辑方式对应的模型编辑操作,因此需要用户花费一定时间学习使用头戴式AR设备,为了提高模型编辑效率,使用户快速掌握模型编辑操作,在另一种可能的实施方式中,目标AR模型对应有编辑控件,用户可以通过对编辑控件进行模型编辑操作,使头戴式AR设备编辑目标AR模型。步骤703之后,模型编辑方法还包括如下步骤:
显示编辑控件,编辑控件包括位置编辑控件和角度编辑控件中的至少一种。
在一种可能的实施方式中,当接收到对目标AR模型的选择操作时,显示目标AR模型对应的编辑控件。例如,当头戴式AR设备检测到聚焦位置位于某一AR模型时,将该AR模型确定为目标AR模型,并在目标AR模型的四周显示编辑控件。
可选地,编辑控件还包括其他类型的编辑控件,例如删除控件、复制控件、缩放控件等,本申请实施例对此不作限定。
示意性的,请参考图10,其示出了一种显示编辑控件的示意图。参考平面1001为水平平面,参考平面1001上放置有AR模型1002和AR模型1003,当头戴式AR设备检测到聚焦位置位于AR模型1003时,确定AR模型1003为目标AR模型,并在其周围显示编辑控件,而AR模型1002四周并不显示编辑控件。
上述步骤704包括:响应于模型编辑操作为滑动操作,且聚焦位置位于编辑控件中的目标编辑控件,确定目标编辑控件对应的编辑方式,并根据滑动操作的滑动方向和滑动距离,确定编辑量。
在一种可能的实施方式中,编辑控件上显示有编辑方式对应的图标,例如删除控件中显示有垃圾回收图标,位置编辑控件中显示有包含位置变化方向的图标,角度编辑控件中显示有包含旋转方向的图标等,方便用户快速掌握各个编辑图标对应的编辑方式。
可选地,头戴式AR设备根据滑动操作的滑动方向和滑动距离,确定编辑量。例如,当目标编辑控件为绕y轴旋转的编辑控件时,头戴式AR设备根据滑动操作的滑动方向确定旋转方向,根据滑动距离确定旋转角度。
可选地,对同一编辑控件的模型编辑操作再不同设备中的触控区域内可能不同,例如,当目标编辑控件为绕y轴旋转的编辑控件时,若模型编辑操作作用于头戴式AR设备,则向前滑动为将目标AR模型绕y轴顺时针旋转,向后滑动为将目标AR模型绕y轴逆时针旋转;若模型编辑操作作用于控制设备,则向右滑动为将目标AR模型绕y轴顺时针旋转,向左滑动为将目标AR模型绕y轴逆时针旋转。
示意性的,请参考图11,其示出了一种编辑控件的示意图。目标AR模型1101的参考平面为水平面,目标AR模型1101的下方显示有绕y轴旋转的角度编辑控件1102,上方显示有用于改变在y轴位置的位置编辑控件1103以及删除控件1104,左侧显示有绕x轴旋转的角度编辑控件1105。
可选地,当聚焦位置处于目标编辑控件,且接受到滑动操作时,根据目标编辑控件的编辑方式,以及滑动操作的滑动方向和滑动距离对目标AR控件进行编辑。
示意性的,请参考图12,其示出了一种对目标编辑控件进行角度编辑的示意图。目标编辑控件1201的下方显示有绕y轴旋转的角度编辑控件1203,当聚焦位置1202处于该角度编辑控件1203,且接收到作用于触控区域的滑动操作时,确定编辑方式为角度编辑,且为绕y轴旋转的角度编辑。
在另一种可能的实施方式中,模型编辑操作还包括单击操作、长按操作等。例如,响应于模型编辑操作为单击操作,且聚焦位置位于编辑控件中的删除控件,确定编辑方式为删除。本申请实施例对此不作限定。
本申请实施例中,在目标AR模型的四周显示编辑控件,根据作用于目标编辑控件的模型编辑操作确定编辑方式和编辑量,使用户能够通过编辑控件对应的图标快速掌握模型编辑操作,提高了模型编辑效率。
图14是本申请一个示例性实施例提供的模型编辑装置的结构框图,该装置可以设置于图3所示的头戴式AR设备310中,该装置包括:
第一显示模块1301,用于展示至少一个AR模型,所述AR模型用于叠加显示在真实环境画面中;
设置模块1302,用于响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态;
编辑模块1303,用于响应于对所述目标AR模型的模型编辑操作,根据所述模型编辑操作编辑所述目标AR模型,所述模型编辑操作通过所述头戴式AR设备的触控区域触发,或者,通过与所述头戴式AR设备相连的控制设备触发。
可选的,所述编辑模块1303,包括:
第一确定单元,用于根据所述模型编辑操作确定编辑方式和编辑量,所述编辑方式包括尺寸编辑、位置编辑和角度编辑中的至少一种;
编辑单元,用于根据所述编辑方式和所述编辑量编辑所述目标AR模型。
可选的,所述编辑方式为所述位置编辑,所述第一确定单元,还用于:
响应于所述模型编辑操作为长按操作,且聚焦位置位于所述目标AR模型,根据所述长按操作持续时长内所述头戴式AR设备或所述控制设备的聚焦变化数据,确定位置编辑量,所述聚焦位置根据所述模型编辑操作对应触发设备的设备姿态或人眼注视方向确定,所述聚焦变化数据为所述设备姿态或所述人眼注视方向发生变化时所述聚焦位置的变化数据;
根据所述位置编辑量,调整所述目标AR模型在参考平面内的位置。
可选的,所述模型编辑操作通过所述头戴式AR设备的触控区域触发,所述编辑方式为所述尺寸编辑,所述第一确定单元,还用于:
响应于所述模型编辑操作为滑动操作,确定聚焦位置,所述聚焦位置根据所述头戴式AR设备的设备姿态或人眼注视方向确定;
响应于所述聚焦位置位于所述目标AR模型,根据所述滑动操作的滑动方向和滑动距离,确定尺寸编辑量;
根据所述尺寸编辑量对所述目标AR模型进行缩放处理。
可选的,所述编辑方式为所述位置编辑,所述装置还包括:
确定模块,用于响应于所述聚焦位置位于所述目标AR模型之外,根据所述滑动操作的滑动方向和滑动距离,确定位置编辑量;
调整模块,用于根据所述位置编辑量,调整所述目标AR模型与参考平面之间的垂直距离。
可选的,所述模型编辑操作通过所述控制设备触发,所述编辑方式为所述尺寸编辑,所述第一确定单元,还用于:
响应于所述模型编辑操作为第一滑动操作,且聚焦位置位于所述目标AR模型,根据所述第一滑动操作的滑动方向和滑动距离,确定尺寸编辑量,所述聚焦位置根据所述控制设备的设备姿态或人眼注视方向确定;
根据所述尺寸编辑量对所述目标AR模型进行缩放处理。
可选的,所述编辑方式为所述位置编辑,所述第一确定单元,还用于:
响应于所述模型编辑操作为第二滑动操作,且所述聚焦位置位于所述目标AR模型,根据所述第二滑动操作的滑动方向和滑动距离,确定位置编辑量,所述第二滑动操作的滑动方向与所述第一滑动操作的滑动方向垂直;
根据所述位置编辑量,调整所述目标AR模型与参考平面之间的垂直距离。
可选的,所述编辑方式为所述角度编辑,所述装置还包括:
第二显示模块,用于响应于聚焦位置位于所述目标AR模型,显示所述目标AR模型对应的旋转轴;
所述第一确定单元,还用于:
响应于所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型的目标旋转轴,根据所述滑动操作的滑动方向和滑动距离,确定角度编辑量;
根据所述角度编辑量控制所述目标AR模型沿所述目标旋转轴转动。
可选的,所述装置还包括:
第三显示模块,用于显示编辑控件,所述编辑控件包括位置编辑控件和角度编辑控件中的至少一种;
所述第一确定单元,还用于:
响应于所述模型编辑操作为滑动操作,且聚焦位置位于所述编辑控件中的目标编辑控件,确定所述目标编辑控件对应的所述编辑方式,并根据所述滑动操作的滑动方向和滑动距离,确定所述编辑量。
可选的,所述设置模块1302,包括:
第二确定单元,用于响应于通过所述头戴式AR设备的触控区域触发的所述选择操作,将聚焦位置处的所述AR模型确定为所述目标AR模型,并将所述目标AR模型设置为编辑状态,所述聚焦位置根据所述头戴式AR设备的设备姿态或人眼注视方向确定;
或,
第三确定单元,用于响应于通过所述控制设备触发的所述选择操作,将聚焦位置处的所述AR模型确定为所述目标AR模型,并将所述目标AR模型设置为编辑状态,所述聚焦位置根据所述控制设备的设备姿态或人眼注视方向确定。
综上所述,本申请实施例中,通过设置在头戴式AR设备或与头戴式AR设备相连的控制设备的触控区域,接收对目标AR模型的选择操作和模型编辑操作,能够不受限于光照等外界条件,相比于用户的肢体动作,头戴式AR设备对作用于触控区域的触控操作的敏感度高,能够准确捕捉到选择操作和模型编辑操作,从而提高了操作识别的准确率,进而提高模型编辑效率;并且,头戴式AR设备和与头戴式AR设备相连的控制设备均能接收模型编辑操作,方便用户根据情况选择合适的设备进行模型编辑,提高了模型编辑的便捷性。
如图14所示,本申请实施例提供一种可穿戴式AR设备1400,所述可穿戴式AR设1400可以包括以下一个或多个组件:处理器1401,存储器1402,电源组件1403,多媒体组件1404,音频组件1405,输入/输出(Input/Output,I/O)接口1406,传感器组件1407以及通信组件1408。
处理器1401通常控制可穿戴式AR设备的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理器1401可以包括一个或者多个处理核心。处理器1401利用各种接口和线路连接整个设备1400内的各个部分,通过运行或执行存储在存储器1402内的指令、程序、代码集或指令集,以及调用存储在存储器1402内的数据,执行终端1400的各种功能和处理数据。可选地,处理器1401可以采用数字信号处理(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1401可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics ProcessingUnit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责屏幕所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1401中,单独通过一块通信芯片进行实现。
存储器1402被配置为存储各种类型的数据以支持在可穿戴式AR设备的操作。这些数据的示例包括用于在可穿戴式AR设备上操作的任何应用程序或方法的指令,,模型,联系人数据,电话簿数据,消息,图片,视频等。存储器1402可以包括随机存储器(Random AccessMemory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选地,该存储器1402包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1402可用于存储指令、程序、代码、代码集或指令集。存储器1402可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储终端1400在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
电源组件1403为可穿戴式AR设备1400的各种组件提供电力。电源组件1403可以包括电源管理系统,一个或多个电源,及其他与为可穿戴式AR设备1400生成、管理和分配电力相关联的组件。
多媒体组件1404包括在所述可穿戴式AR设备1400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,LCD)和触摸面板(Touch Panel,TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1404包括一个前置摄像头和/或后置摄像头。当可穿戴式AR设备1400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1405被配置为输出和/或输入音频信号。例如,音频组件1405包括一个麦克风(Microphone,MIC),当可穿戴式AR设备1400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1402或经由通信组件1408发送。在一些实施例中,音频组件1405还包括一个扬声器,用于输出音频信号。
I/O接口1406为处理器1401和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1407包括一个或多个传感器,用于为可穿戴式AR设备1400提供各个方面的状态评估。例如,传感器组件1407可以检测到可穿戴式AR设备1400的打开/关闭状态,组件的相对定位,例如所述组件为可穿戴式AR设备1400的显示屏和小键盘,传感器组件1407还可以检测可穿戴式AR设备1400或可穿戴式AR设备1400一个组件的位置改变,用户与可穿戴式AR设备1400接触的存在或不存在,可穿戴式AR设备1400方位或加速/减速和可穿戴式AR设备1400的温度变化。传感器组件1407可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1407还可以包括光传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1407还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1408被配置为便于可穿戴式AR设备1400和其他设备(例如控制设备)之间有线或无线方式的通信。可穿戴式AR设备1400可以接入基于通信标准的无线网络。在一个示例性实施例中,通信组件1408经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1408还包括近场通信(Near FieldCommunication,NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RadioFrequency Identification,RFID)技术,红外数据协会(Infrared Data Association,IrDA)技术,超宽带(Ultra Wide Band,UWB)技术,蓝牙(BlueTooth,BT)技术和其他技术来实现。
除此之外,本领域技术人员可以理解,上述附图所示出的设备1400的结构并不构成对设备1400的限定,设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上各个实施例所述的模型编辑方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该设备执行上述方面的各种可选实现方式中提供的模型编辑方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种模型编辑方法,其特征在于,所述方法用于头戴式增强现实AR设备,所述方法包括:
展示至少一个AR模型,所述AR模型用于叠加显示在真实环境画面中;
响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态;
响应于对所述目标AR模型的模型编辑操作,根据所述模型编辑操作确定编辑方式和编辑量,所述编辑方式包括尺寸编辑、位置编辑和角度编辑中的至少一种,所述编辑方式基于所述模型编辑操作的操作类型以及聚焦位置确定得到,所述聚焦位置根据设备姿态或人眼注视方向确定,所述模型编辑操作通过所述头戴式增强现实AR设备的触控区域触发,或者,通过与所述头戴式增强现实AR设备相连的控制设备触发;
根据所述编辑方式和所述编辑量编辑所述目标AR模型,其中,模型编辑操作停止时,编辑后的所述目标AR模型叠加显示在所述真实环境画面中;
其中,对于所述头戴式增强现实AR设备,在所述模型编辑操作为长按操作,且所述聚焦位置位于所述目标AR模型时,或者,在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型之外时,所述编辑方式为所述位置编辑;在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型时,所述编辑方式为所述尺寸编辑;在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型的旋转轴时,所述编辑方式为所述角度编辑。
2.根据权利要求1所述的方法,其特征在于,所述编辑方式为所述位置编辑;
所述根据所述模型编辑操作确定编辑方式和编辑量,包括:
响应于所述模型编辑操作为长按操作,且聚焦位置位于所述目标AR模型,根据所述长按操作持续时长内所述头戴式增强现实AR设备或所述控制设备的聚焦变化数据,确定位置编辑量,所述聚焦位置根据所述模型编辑操作对应触发设备的设备姿态或人眼注视方向确定,所述聚焦变化数据为所述设备姿态或所述人眼注视方向发生变化时所述聚焦位置的变化数据;
根据所述位置编辑量,调整所述目标AR模型在参考平面内的位置。
3.根据权利要求1所述的方法,其特征在于,所述模型编辑操作通过所述头戴式增强现实AR设备的触控区域触发,所述编辑方式为所述尺寸编辑;
所述根据所述模型编辑操作确定编辑方式和编辑量,包括:
响应于所述模型编辑操作为滑动操作,确定聚焦位置,所述聚焦位置根据所述头戴式增强现实AR设备的设备姿态或人眼注视方向确定;
响应于所述聚焦位置位于所述目标AR模型,根据所述滑动操作的滑动方向和滑动距离,确定尺寸编辑量;
根据所述尺寸编辑量对所述目标AR模型进行缩放处理。
4.根据权利要求3所述的方法,其特征在于,所述编辑方式为所述位置编辑;
所述确定聚焦位置之后,所述方法还包括:
响应于所述聚焦位置位于所述目标AR模型之外,根据所述滑动操作的滑动方向和滑动距离,确定位置编辑量;
根据所述位置编辑量,调整所述目标AR模型与参考平面之间的垂直距离。
5.根据权利要求1所述的方法,其特征在于,所述模型编辑操作通过所述控制设备触发,所述编辑方式为所述尺寸编辑;
所述根据所述模型编辑操作确定编辑方式和编辑量,包括:
响应于所述模型编辑操作为第一滑动操作,且聚焦位置位于所述目标AR模型,根据所述第一滑动操作的滑动方向和滑动距离,确定尺寸编辑量,所述聚焦位置根据所述控制设备的设备姿态或人眼注视方向确定;
根据所述尺寸编辑量对所述目标AR模型进行缩放处理。
6.根据权利要求5所述的方法,其特征在于,所述编辑方式为所述位置编辑;
所述根据所述模型编辑操作确定编辑方式和编辑量,还包括:
响应于所述模型编辑操作为第二滑动操作,且所述聚焦位置位于所述目标AR模型,根据所述第二滑动操作的滑动方向和滑动距离,确定位置编辑量,所述第二滑动操作的滑动方向与所述第一滑动操作的滑动方向垂直;
根据所述位置编辑量,调整所述目标AR模型与参考平面之间的垂直距离。
7.根据权利要求1所述的方法,其特征在于,所述编辑方式为所述角度编辑;
所述将所述目标AR模型设置为编辑状态之后,所述方法还包括:
响应于聚焦位置位于所述目标AR模型,显示所述目标AR模型对应的旋转轴;
所述根据所述模型编辑操作确定编辑方式和编辑量,包括:
响应于所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型的目标旋转轴,根据所述滑动操作的滑动方向和滑动距离,确定角度编辑量;
根据所述角度编辑量控制所述目标AR模型沿所述目标旋转轴转动。
8.根据权利要求1至7任一所述的方法,其特征在于,所述将所述目标AR模型设置为编辑状态之后,所述方法还包括:
显示编辑控件,所述编辑控件包括位置编辑控件和角度编辑控件中的至少一种;
所述根据所述模型编辑操作确定编辑方式和编辑量,包括:
响应于所述模型编辑操作为滑动操作,且聚焦位置位于所述编辑控件中的目标编辑控件,确定所述目标编辑控件对应的所述编辑方式,并根据所述滑动操作的滑动方向和滑动距离,确定所述编辑量。
9.根据权利要求1至7任一所述的方法,其特征在于,所述响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态,包括:
响应于通过所述头戴式增强现实AR设备的触控区域触发的所述选择操作,将聚焦位置处的所述AR模型确定为所述目标AR模型,并将所述目标AR模型设置为编辑状态,所述聚焦位置根据所述头戴式增强现实AR设备的设备姿态或人眼注视方向确定;
或,
响应于通过所述控制设备触发的所述选择操作,将聚焦位置处的所述AR模型确定为所述目标AR模型,并将所述目标AR模型设置为编辑状态,所述聚焦位置根据所述控制设备的设备姿态或所述人眼注视方向确定。
10.一种模型编辑装置,其特征在于,所述装置用于头戴式AR设备,所述装置包括:
第一显示模块,用于展示至少一个AR模型,所述AR模型用于叠加显示在真实环境画面中;
设置模块,用于响应于对至少一个所述AR模型中目标AR模型的选择操作,将所述目标AR模型设置为编辑状态;
编辑模块,用于响应于对所述目标AR模型的模型编辑操作,根据所述模型编辑操作确定编辑方式和编辑量,所述编辑方式包括尺寸编辑、位置编辑和角度编辑中的至少一种,所述编辑方式基于所述模型编辑操作的操作类型以及聚焦位置确定得到,所述聚焦位置根据设备姿态或人眼注视方向确定,所述模型编辑操作通过所述头戴式AR设备的触控区域触发,或者,通过与所述头戴式AR设备相连的控制设备触发;根据所述编辑方式和所述编辑量编辑所述目标AR模型,其中,模型编辑操作停止时,编辑后的所述目标AR模型叠加显示在所述真实环境画面中;
其中,对于所述头戴式AR设备,在所述模型编辑操作为长按操作,且所述聚焦位置位于所述目标AR模型时,或者,在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型之外时,所述编辑方式为所述位置编辑;在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型时,所述编辑方式为所述尺寸编辑;在所述模型编辑操作为滑动操作,且所述聚焦位置位于所述目标AR模型的旋转轴时,所述编辑方式为所述角度编辑。
11.一种可穿戴式AR设备,其特征在于,所述可穿戴式AR设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的模型编辑方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的模型编辑方法。
CN202010794519.7A 2020-08-10 2020-08-10 模型编辑方法、装置、设备及存储介质 Active CN111782053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010794519.7A CN111782053B (zh) 2020-08-10 2020-08-10 模型编辑方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010794519.7A CN111782053B (zh) 2020-08-10 2020-08-10 模型编辑方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111782053A CN111782053A (zh) 2020-10-16
CN111782053B true CN111782053B (zh) 2023-04-28

Family

ID=72762491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010794519.7A Active CN111782053B (zh) 2020-08-10 2020-08-10 模型编辑方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111782053B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286362B (zh) * 2020-11-16 2023-05-12 Oppo广东移动通信有限公司 真实环境画面中虚拟道具的显示方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038726A (zh) * 2017-12-11 2018-05-15 北京小米移动软件有限公司 物品展示方法及装置
CN108510597A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技(深圳)有限公司 一种在虚拟现实中对象编辑的方法、相关设备及系统
CN110244839A (zh) * 2019-05-20 2019-09-17 联想(上海)信息技术有限公司 控制方法、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
IL270002B2 (en) * 2017-04-19 2023-11-01 Magic Leap Inc Multimodal task execution and text editing for a wearable system
CN109241900B (zh) * 2018-08-30 2021-04-09 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN110444211A (zh) * 2019-08-23 2019-11-12 青岛海信电器股份有限公司 一种语音识别方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技(深圳)有限公司 一种在虚拟现实中对象编辑的方法、相关设备及系统
CN108038726A (zh) * 2017-12-11 2018-05-15 北京小米移动软件有限公司 物品展示方法及装置
CN108510597A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
CN110244839A (zh) * 2019-05-20 2019-09-17 联想(上海)信息技术有限公司 控制方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN111782053A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US20220084279A1 (en) Methods for manipulating objects in an environment
US11714592B2 (en) Gaze-based user interactions
US10948993B2 (en) Picture-taking within virtual reality
CN112286362B (zh) 真实环境画面中虚拟道具的显示方法、系统及存储介质
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN108604175B (zh) 装置和关联方法
EP3291061B1 (en) Virtual reality control method, apparatus and electronic equipment
CN107977083B (zh) 基于vr系统的操作执行方法及装置
CN112073767B (zh) 一种显示设备
CN112585564A (zh) 用于为头戴式图像显示设备提供输入的方法和装置
JP6757404B2 (ja) シースルー・グラス用の補助アイテム選択
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
CN112965773A (zh) 用于信息显示的方法、装置、设备和存储介质
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
CN107918514B (zh) 展示方法及装置、电子设备、计算机可读存储介质
KR20170046947A (ko) 이동 단말기 및 제어 방법
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20230095282A1 (en) Method And Device For Faciliating Interactions With A Peripheral Device
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20230405475A1 (en) Shooting method, apparatus, device and medium based on virtual reality space
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240104819A1 (en) Representations of participants in real-time communication sessions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant