CN115657851B - 一种虚拟现实中基于双手操作的三维绘画方法及系统 - Google Patents

Abstract

本发明涉及一种虚拟现实中基于双手操作的三维绘画方法及系统，其方法包括：S1：解析各个VR(Virtual Reality)头盔厂商提供的SDK获取事件抽象层的数据指令，获取交互的元数据；步骤S2：通过处理元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时可对虚拟画板进行各种操作，对绘画元数据进行插值操作，使其产生与虚拟画板相同的变化；其中，绘画元数据为一系列的离散点组成的空间线段；步骤S3：根据绘画笔刷的类型将绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。本发明提供的方法可使得虚拟现实环境下绘制出三维的轮廓线更加精准，具有平滑感，减少空间中缺乏支点所带来的抖动后果。

Description

一种虚拟现实中基于双手操作的三维绘画方法及系统

技术领域

本发明涉及计算机人机交互、虚拟现实领域，具体涉及一种虚拟现实中基于双手操作的三维绘画方法及系统。

背景技术

传统的绘画模式是在二维空间有限的画布上进行创作，创作者通过虚实对比、大小对比以及透视等绘画方法可以使得画面呈现立体的效果，力图还原真实世界与真实空间。虚拟现实绘画是虚拟现实技术发展到现阶段的艺术创作的新技术，也是一种新的艺术形式。在计算机生成的三维空间作画，用立体的无限的虚拟空间替代平面的有限的画布画纸，创作者通过虚拟现实头戴显示器，配合绘画手柄，在计算机生成的空间中进行创作，从不同角度描绘三维对象。

目前随着VR技术的日益发展，Tilt Brush和Gravity Sketch等商业素描应用程序被广泛使用，并激发了用户对三维绘画方式的想象力。尽管虚拟现实绘画已经开始普及，但虚拟现实绘画并不易于上手，因为人们习惯于在二维平面上进行绘画，而在三维空间中，将会面临着诸如深度感知错误和缺少物理表面支撑而难以进行控制绘画等挑战。这些限制导致绘图精度较低，同时认知和感觉运动负荷较高。过去的研究发现三维草图在设计领域的应用具有广泛前景，设计师通过学习和训练，可实现高质量草图绘制。但是三维绘图存在更高的错误倾向和更高的认知感觉运动要求，从而严重降低了使用者的三维绘制效率和质量。如何在虚拟现实中增强用户的绘画能力成为亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种虚拟现实中基于双手操作的三维绘画方法。

本发明技术解决方案为：一种虚拟现实中基于双手操作的三维绘画方法，包括：

步骤S1：解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令.获取交互的元数据；其中，所述元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

步骤S2：通过处理所述元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时可对虚拟画板进行各种操作，对所述绘画元数据进行插值操作，使其产生与所述虚拟画板相同的变化；其中，所述绘画元数据为一系列的离散点组成的空间线段；

步骤S3：根据绘画笔刷的类型将所述绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。

本发明与现有技术相比，具有以下优点：

1、本发明公开了一种虚拟现实中基于双手操作的三维绘画方法，在现有的虚拟现实绘画方法的基础上增加易于控制可放置在空间中的虚拟画板；并针对虚拟画板可进行多种操作，使得虚拟现实中的绘画创作更易上手。

2、目前的空间环境的双手交互是将双手分成左手、右手两个相互独立的交互通道，本发明提供的方法可实现双手协同对虚拟画板进行操作，双手协同操作具有降低认知负荷、缩短任务切换时间的优势，使得虚拟现实环境下绘制出的三维轮廓线更加精准，具有平滑感，有效解决空间绘画的感知负荷过重的问题。

附图说明

图1为本发明实施例中一种虚拟现实中基于双手操作的三维绘画方法的流程图；

图2为本发明实施例中虚拟画板的动态旋转呼叫的示意图；

图3为本发明实施例中虚拟画板的简谐运动呼叫的示意图；

图4为本发明实施例中虚拟画板的摆线运动呼叫的示意图；

图5为本发明实施例中虚拟画板的形变控制的示意图；

图6为本发明实施例中部分绘画实例示意图；

图7为本发明实施例中一种虚拟现实中基于双手操作的三维绘画系统的结构框图。

具体实施方式

本发明提供了一种虚拟现实中基于双手操作的三维绘画方法，使得虚拟现实环境下绘制出的三维轮廓线更加精准，具有平滑感，有效克服用户在进行空间绘画的疲惫感，有效减少空间中缺乏支点所带来的抖动后果。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种虚拟现实中基于双手操作的三维绘画方法，包括下述步骤：

步骤S1：解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令.获取交互的元数据；其中，元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

步骤S2：通过处理元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时可对虚拟画板进行各种操作，对绘画元数据进行插值操作，使其产生与虚拟画板相同的变化；其中，绘画元数据为一系列的离散点组成的空间线段；

步骤S3：根据绘画笔刷的类型将绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。

在一个实施例中，上述步骤S1：解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令.获取交互的元数据；其中，元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

通过解析各个VR厂商提供的SDK获取硬件抽象层的数据指令，在虚拟现实场景中生成统一的交互对象，从而获取交互的元数据。元数据是头戴显示器、控制器在虚拟场景中的交互对象，交互对象包括头戴显示器、控制器在虚拟场景下的空间坐标、形状、方向以及各个控制器的按键响应。

在一个实施例中，上述步骤S2：通过处理元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时可对虚拟画板进行各种操作，对绘画元数据进行插值操作，使其产生与虚拟画板相同的变化；其中，绘画元数据为一系列的离散点组成的空间线段，具体包括：

将主手控制器作为虚拟画笔的代理，通过处理主手控制器的元数据，将元数据中的交互对象转化为虚拟画笔，以实现绘画操作，当触发绘画开关后，对虚拟画笔的笔尖的坐标位置以预定频率进行采样，通过获取一系列的离散点来生成绘画元数据；

其中，主手控制器有下述三种代理模式：

a)代理方式1：将虚拟画笔隐喻为现实中的喷枪，绘画过程中，通过主手控制器上的指定按键来触发绘画开关以启动绘画；当触发绘画开关后，开始记录绘画元数据；当虚拟画笔指向阈值范围内的虚拟画板时，绘画元数据会采用该虚拟画板的坐标系进行记录，同时绘画元数据中的离散点会记录虚拟画板绘画时的朝向，为后续的绘画数据显示提供方向信息；即，当虚拟画笔指向预定范围内的虚拟画板时，会进行射线检测，绘画元数据会基于射线在虚拟画板上的指向点作为绘画笔尖并在该虚拟画板的坐标系下进行采样记录，同时以射线方向作为采样记录点的方向；

b)代理方式2：将虚拟画笔隐喻为现实中的笔，绘画过程中，无需绘画开关，当虚拟画笔接触虚拟画板时，开始记录绘画元数据，绘画元数据中的离散点方向记录为虚拟画板上对应点的法线方向；

c)代理方式3：将主手控制器投影到虚拟画板上，绘画过程中，通过绘画开关来触发绘画，当触发绘画开关后，开始计算主手控制器在虚拟画板上的投影点，由投影点来记录绘画元数据，绘画元数据中的离散点方向为投影点在虚拟画板上的法线方向。

此外，副手控制器作为述虚拟画板的代理，通过下述三种方式对虚拟画板实现抓取、呼叫和形变操作，以影响绘画过程中的绘画元数据：

a)虚拟画板的抓取交互：通过副手控制器在虚拟环境中的交互，通过交互开关，控制虚拟画板在空间中的摆放；在面对多个虚拟画板时，副手控制器对虚拟画板的抓取有辅助控制：当使用副手控制器抓取一个虚拟画板，并靠近另外一个虚拟画板时，当两个虚拟画板之间的角度小于预设的阙值，则被抓取的虚拟画板强制变为平行或垂直状态，即在两个虚拟画板所呈夹角接近直角时，强制被抓取的虚拟画板变为垂直状态；当两个虚拟画板接近平行时，则强制被抓取的虚拟画板变为平行状态；抓取虚拟画板在控制过程中，当两个虚拟画板之间的角度大于阙值时，则被抓取的虚拟画板恢复原始方向；

b)虚拟画板的呼叫：通过副手控制器在虚拟环境中的手势动作，呼叫虚拟画板，并让虚拟画板产生规律运动：

动态旋转呼叫：呼叫手势为圆形，使虚拟画板在角运动上产生旋转惯性；如图2所示，当左侧的副手控制器接触虚拟画板时，虚拟画板会保持中心坐标不变，并随副手控制器一同旋转；当副手控制器离开虚拟画板时，虚拟画板会产生惯性运动，继续旋转，直至惯性消失或者使用副手控制器重新接触虚拟画板时，旋转结束；同时，右侧的主手控制器所代理的虚拟画笔不会受到该运动影响，可在该惯性运动过程中，持续记录绘画元数据，快速绘制圆、螺旋线等形状。

简谐运动呼叫：呼叫手势为直线，使虚拟画板产生往复运动，快速绘制直线图案，如图3所示；

摆线运动呼叫：呼叫手势为弧线，使虚拟画板产生摆动，快速绘制曲线图案，如图4所示；

c)虚拟画板的形变控制：如图5所示，在虚拟环境中，主手控制器和副手控制器同时对虚拟画板进行操作，所产生的形变会同时对绘画元数据中的点数据进行插值计算；

弯曲形变控制：双手同时握住虚拟画板的两端，同时旋转对虚拟画板进行弯折，根据主手控制器和副手控制器不同的旋转变化，可弯曲成非对称圆弧；

卷曲形变控制：双手握住画板任意两端，对虚拟画板所选定的两点进行圆弧弯折，两点外不受影响；

拉升形变控制：双手握住虚拟画板的任意两端，对虚拟画板所选定的两点进行拉伸，两点外不受影响。

在一个实施例中，上述步骤S3：根据绘画笔刷的类型将绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能，具体包括：

使用面片笔刷时，将离散点数据扩充为相连接的直角三角形，直角的临边长即为离散点的间距和虚拟画笔的笔刷粗细。三角形的空间朝向为绘画时记录的向量方向。使用立体笔刷时，将离散点扩充为多个正多边形相连的近似圆柱，正多变形朝向为相邻离散点所组成的向量方向，从而将绘画元数据的离散点数据转换为渲染所用的网格数据。

图6展示了部分绘画实例，依次为中国结、柳树、花瓶、森林。

本发明公开了一种虚拟现实中基于双手操作的三维绘画方法，在现有的虚拟现实绘画方法的基础上增加易于控制可放置在空间中的虚拟画板；并针对虚拟画板的可进行多种操作，使得虚拟现实中的绘画创作更易上手。此外，目前的空间环境的双手交互是将双手分成左手、右手两个相互独立的交互通道，本发明提供的方法可实现双手协同对虚拟画板进行操作，双手协同操作具有降低认知负荷、缩短任务切换时间的优势，使得虚拟现实环境下绘制出的轮廓线更加精准，具有平滑感，有效解决空间绘画的感知负荷过重的问题。

实施例二

如图7所示，本发明实施例提供了一种虚拟现实中基于双手操作的三维绘画系统，包括下述模块：

获取元数据模块41，用于解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令.获取交互的元数据；其中，元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

三维绘画模块42，用于通过处理元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时可对虚拟画板进行各种操作，对绘画元数据进行插值操作，使其产生与虚拟画板相同的变化；其中，绘画元数据为一系列的离散点组成的空间线段；

转换绘画元数据模块43，用于根据绘画笔刷的类型将绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种虚拟现实中基于双手操作的三维绘画方法，其特征在于，包括：

步骤S1：解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令，获取交互的元数据；其中，所述元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

步骤S2：通过处理所述元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时对虚拟画板进行各种操作，对所述绘画元数据进行插值操作，使其产生与所述虚拟画板相同的变化；其中，所述绘画元数据为一系列的离散点组成的空间线段；

其中，主手控制器操作，具体包括：

在绘画过程中，所述主手控制器作为虚拟画笔的代理，在虚拟现实环境中进行绘画；其中，所述主手控制器有下述三种代理模式：

a)代理方式1：将所述虚拟画笔隐喻为现实中的喷枪，绘画过程中，通过绘画开关来触发绘画；当触发所述绘画开关后，开始记录所述绘画元数据；当所述虚拟画笔指向阈值范围内的所述虚拟画板时，所述绘画元数据会采用该虚拟画板的坐标系进行记录，同时所述绘画元数据中的离散点会记录所述虚拟画板绘画时的朝向，为后续的绘画数据显示提供方向信息；

b)代理方式2：将所述虚拟画笔隐喻为现实中的笔，绘画过程中，无需所述绘画开关，当所述虚拟画笔接触所述虚拟画板时，开始记录所述绘画元数据，所述绘画元数据中的离散点方向记录为所述虚拟画板上对应点的法线方向；

c)代理方式3：将所述主手控制器投影到所述虚拟画板上，绘画过程中，通过所述绘画开关来触发绘画，当触发所述绘画开关后，开始计算所述主手控制器在所述虚拟画板上的投影点，由所述投影点来记录所述绘画元数据，所述绘画元数据中的离散点方向为所述投影点在所述虚拟画板上的法线方向；

副手控制器操作，具体包括：

在绘画过程中，副手控制器作为述虚拟画板的代理，通过下述方式对所述虚拟画板实现抓取、呼叫和形变操作，以影响绘画过程中的所述绘画元数据：

a)虚拟画板的抓取交互：通过所述副手控制器在虚拟环境中的交互，通过交互开关，控制所述虚拟画板在空间中的摆放；在面对多个虚拟画板时，所述副手控制器对所述虚拟画板的抓取有辅助控制：当使用所述副手控制器抓取一个所述虚拟画板，并靠近另外一个所述虚拟画板时，当两个所述虚拟画板之间的角度小于预设的阙值，则被抓取的所述虚拟画板强制变为平行或垂直状态，即两个所述虚拟画板接近平行或垂直；抓取所述虚拟画板在控制过程中，当两个所述虚拟画板之间的角度大于所述阙值时，则被抓取的所述虚拟画板恢复原始方向；

b)虚拟画板的呼叫：通过所述副手控制器在虚拟环境中的手势动作，呼叫所述虚拟画板，并让所述虚拟画板产生规律运动：

动态旋转呼叫：呼叫手势为圆形，使所述虚拟画板在角运动上产生旋转惯性；当所述副手控制器接触所述虚拟画板时，所述虚拟画板会保持中心坐标不变，并随所述副手控制器一同旋转；当所述副手控制器离开所述虚拟画板时，所述虚拟画板会产生惯性运动，继续旋转，直至惯性消失或者使用所述副手控制器重新接触所述虚拟画板时，旋转结束；同时，所述主手控制器所代理的所述虚拟画板不会受到该运动影响，在该惯性运动过程中，持续记录绘画元数据，快速绘制圆、螺旋线形状；

简谐运动呼叫：呼叫手势为直线，使所述虚拟画板产生往复运动，快速绘制直线图案；

摆线运动呼叫：呼叫手势为弧线，使所述虚拟画板产生摆动，快速绘制曲线图案；

c)虚拟画板的形变控制：在虚拟环境中，所述主手控制器和所述副手控制器同时对所述虚拟画板进行操作，所产生的形变会同时对所述绘画元数据中的点数据进行插值计算；

弯曲形变控制：双手同时握住所述虚拟画板的两端，同时旋转对所述虚拟画板进行弯折，根据所述主手控制器和所述副手控制器不同的旋转变化，弯曲成非对称圆弧；

卷曲形变控制：双手握住所述虚拟画板的任意两端，对所述虚拟画板所选定的两点进行圆弧弯折，两点外不受影响；

拉升形变控制：双手握住画板任意两端，对所述虚拟画板所选定的两点进行拉伸，两点外不受影响；

步骤S3：根据绘画笔刷的类型将所述绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。

2.一种虚拟现实中基于双手操作的三维绘画系统，其特征在于，包括下述模块：

获取元数据模块，用于解析各个VR头盔厂商提供的SDK获取事件抽象层的数据指令.获取交互的元数据；其中，所述元数据是通过适配不同VR头盔厂商的VR硬件抽象为头戴显示器、控制器在虚拟场景中的互动中产生的交互对象；

三维绘画模块，用于通过处理所述元数据，使用主手控制器和副手控制器实现双手交互操作，生成绘画元数据，同时对虚拟画板进行各种操作，对所述绘画元数据进行插值操作，使其产生与所述虚拟画板相同的变化；其中，所述绘画元数据为一系列的离散点组成的空间线段；

其中，主手控制器操作，具体包括：

在绘画过程中，所述主手控制器作为虚拟画笔的代理，在虚拟现实环境中进行绘画；其中，所述主手控制器有下述三种代理模式：

a)代理方式1：将所述虚拟画笔隐喻为现实中的喷枪，绘画过程中，通过绘画开关来触发绘画；当触发所述绘画开关后，开始记录所述绘画元数据；当所述虚拟画笔指向阈值范围内的所述虚拟画板时，所述绘画元数据会采用该虚拟画板的坐标系进行记录，同时所述绘画元数据中的离散点会记录所述虚拟画板绘画时的朝向，为后续的绘画数据显示提供方向信息；

b)代理方式2：将所述虚拟画笔隐喻为现实中的笔，绘画过程中，无需所述绘画开关，当所述虚拟画笔接触所述虚拟画板时，开始记录所述绘画元数据，所述绘画元数据中的离散点方向记录为所述虚拟画板上对应点的法线方向；

c)代理方式3：将所述主手控制器投影到所述虚拟画板上，绘画过程中，通过所述绘画开关来触发绘画，当触发所述绘画开关后，开始计算所述主手控制器在所述虚拟画板上的投影点，由所述投影点来记录所述绘画元数据，所述绘画元数据中的离散点方向为所述投影点在所述虚拟画板上的法线方向；

副手控制器操作，具体包括：

在绘画过程中，副手控制器作为述虚拟画板的代理，通过下述方式对所述虚拟画板实现抓取、呼叫和形变操作，以影响绘画过程中的所述绘画元数据：

a)虚拟画板的抓取交互：通过所述副手控制器在虚拟环境中的交互，通过交互开关，控制所述虚拟画板在空间中的摆放；在面对多个虚拟画板时，所述副手控制器对所述虚拟画板的抓取有辅助控制：当使用所述副手控制器抓取一个所述虚拟画板，并靠近另外一个所述虚拟画板时，当两个所述虚拟画板之间的角度小于预设的阙值，则被抓取的所述虚拟画板强制变为平行或垂直状态，即两个所述虚拟画板接近平行或垂直；抓取所述虚拟画板在控制过程中，当两个所述虚拟画板之间的角度大于所述阙值时，则被抓取的所述虚拟画板恢复原始方向；

b)虚拟画板的呼叫：通过所述副手控制器在虚拟环境中的手势动作，呼叫所述虚拟画板，并让所述虚拟画板产生规律运动：

动态旋转呼叫：呼叫手势为圆形，使所述虚拟画板在角运动上产生旋转惯性；当所述副手控制器接触所述虚拟画板时，所述虚拟画板会保持中心坐标不变，并随所述副手控制器一同旋转；当所述副手控制器离开所述虚拟画板时，所述虚拟画板会产生惯性运动，继续旋转，直至惯性消失或者使用所述副手控制器重新接触所述虚拟画板时，旋转结束；同时，所述主手控制器所代理的所述虚拟画板不会受到该运动影响，在该惯性运动过程中，持续记录绘画元数据，快速绘制圆、螺旋线形状；

简谐运动呼叫：呼叫手势为直线，使所述虚拟画板产生往复运动，快速绘制直线图案；

摆线运动呼叫：呼叫手势为弧线，使所述虚拟画板产生摆动，快速绘制曲线图案；

c)虚拟画板的形变控制：在虚拟环境中，所述主手控制器和所述副手控制器同时对所述虚拟画板进行操作，所产生的形变会同时对所述绘画元数据中的点数据进行插值计算；

弯曲形变控制：双手同时握住所述虚拟画板的两端，同时旋转对所述虚拟画板进行弯折，根据所述主手控制器和所述副手控制器不同的旋转变化，弯曲成非对称圆弧；

卷曲形变控制：双手握住所述虚拟画板的任意两端，对所述虚拟画板所选定的两点进行圆弧弯折，两点外不受影响；

拉升形变控制：双手握住画板任意两端，对所述虚拟画板所选定的两点进行拉伸，两点外不受影响；

转换绘画元数据模块，用于根据绘画笔刷的类型将所述绘画元数据由离散点扩充为三维网格，为渲染提供三维显示功能。