CN111176427B - 基于手持式智能设备的三维空间绘画方法和手持式智能设备 - Google Patents
基于手持式智能设备的三维空间绘画方法和手持式智能设备 Download PDFInfo
- Publication number
- CN111176427B CN111176427B CN201811338334.4A CN201811338334A CN111176427B CN 111176427 B CN111176427 B CN 111176427B CN 201811338334 A CN201811338334 A CN 201811338334A CN 111176427 B CN111176427 B CN 111176427B
- Authority
- CN
- China
- Prior art keywords
- data
- real environment
- virtual
- environment
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 29
- 238000010422 painting Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 17
- 230000000704 physical effect Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于手持式智能设备的三维空间绘画方法和手持式智能设备。该三维空间绘画方法包括步骤：采集现实环境的信息，以获得该现实环境的环境数据；获取该手持式智能设备在该现实环境中的位姿，以获得该手持式智能设备相对于该现实环境的位姿数据；追踪绘画工具在该手持式智能设备的触摸装置上的位置，以获得该绘画工具相对于该触摸装置的运动轨迹数据；通过对该位姿数据和该运动轨迹数据进行处理，获得相对于该现实环境的虚拟线条数据；以及基于该虚拟线条数据和该环境数据，通过该手持式智能设备融合显示虚拟线条和现实环境，使得该虚拟线条相对于通过该手持式智能设备可见的现实环境看起来是真实的。
Description
技术领域
本发明涉及绘画技术领域，特别是涉及一种基于手持式智能设备的三维空间绘画方法和手持式智能设备。
背景技术
在传统的绘画领域，现有的绘画方法主要是二维平面绘画，例如在纸面或平板上绘制画作。空间雕塑作为对传统平面绘画的拓展，可以将绘画创作在一定程度上拓展到三维空间。然而，现有的雕塑技术虽然可以进行三维表达，但是受限于雕刻载体的空间属性，并不能在现实环境中自由地创作。
此外，现有的实体绘画技术虽然可以通过透视关系绘图，以产生空间感，但是这种绘图仍然只是在二维平面上的表达，并不能真正摆脱二维平面的限制。因此，急需一种在现实环境中进行三维空间绘画的方法，以便摆脱具象化载体对绘画创作的限制。
发明内容
本发明的一个目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够借助手持式智能设备将绘画创作由二维平面拓展到三维空间，极大地拓展了绘画的空间属性。
本发明的另一目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够遵循传统的绘画形式，使得用户可以按照原有的绘画习惯进行创作，并不需要额外的学习成本，上手快。
本发明的另一目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够为用户提供一种全新的体验，可以激发用户的绘画热情。
本发明的另一目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够使用户在绘画过程中实时看到所绘制的虚拟线条，有助于及时得到反馈。
本发明的另一目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够使用常用的手持式智能设备进行三维空间绘画，而不需要额外添加设备，有助于降低实现成本。
本发明的另一目的在于提供一种基于手持式智能设备的三维空间绘画方法和手持式智能设备，其能够为将绘制的虚拟线条与现实环境有机融合，有助于增强画作的信息表达能力。
为了实现上述至少一发明目的或其他目的和优点，本发明提供了一基于手持式智能设备的三维空间绘画方法，包括步骤：
采集现实环境的信息，以获得该现实环境的环境数据；
获取该手持式智能设备在该现实环境中的位姿，以获得该手持式智能设备相对于该现实环境的位姿数据；
追踪绘画工具在该手持式智能设备的触摸装置上的位置，以获得该绘画工具相对于该触摸装置的运动轨迹数据；
通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于该现实环境的虚拟线条数据；以及
基于所述虚拟线条数据和所述环境数据，通过该手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的。
在本发明的一实施例中，所述通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于现实环境的虚拟线条数据的步骤，包括步骤：
虚设一绘画虚面，并获得该绘画虚面与该手持式智能设备的该触摸装置之间的映射关系；
基于所述映射关系，将所述相对于该触摸装置的运动轨迹数据映射至该绘画虚面，以获得该绘画工具相对于该绘画虚面的运动轨迹数据；
基于所述位姿数据，对所述相对于该绘画虚面的运动轨迹数据进行位姿变换，以获得相对于该现实环境的运动轨迹数据；以及
对所述相对于该现实环境的运动轨迹数据进行样条化处理，以获得所述虚拟线条数据。
在本发明的一实施例中，所述绘画虚面为虚设的平面或曲面。
在本发明的一实施例中，所述绘画虚面位于该手持式智能设备的环境采集模块的采集范围内。
在本发明的一实施例中，所述通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于现实环境的虚拟线条数据的步骤，还包括步骤：
基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。
在本发明的一实施例中，所述真实物理属性选自由体积属性、重力属性、光照属性以及材质属性所组成的群组中的任一种或几种的组合。
在本发明的一实施例中，所述的三维空间绘画方法，还包括步骤：
融合显示预制的虚拟物体与该现实环境，其中所述预制的虚拟物体相对于通过该手持式智能设备可见的现实环境而言看起来是真实的。
在本发明的一实施例中，所述的三维空间绘画方法，还包括步骤：
保存所述环境数据和所述虚拟线条数据，使得所述虚拟线条能够与该现实环境被融合输出。
在本发明的一实施例中，所述的三维空间绘画方法，还包括步骤：
保存所述虚拟线条数据，使得所述虚拟线条能够被单独输出。
根据本发明的另一方面，本发明进一步提供了一手持式智能设备，用于通过绘画工具在现实环境中进行绘画，包括：
一环境采集模块，用于采集现实环境的信息，以获得该现实环境的环境数据；
一位姿估计模块，用于获取该手持式智能设备在该现实环境中的位姿，以获得该手持式智能设备相对于该现实环境的位姿数据；
一触摸装置，用于追踪该绘画工具在所述触摸装置上的位置，以获得该绘画工具相对于所述触摸装置的运动轨迹数据；
一处理模块，用于对所述位姿数据和所述运动轨迹数据进行处理，以获得相对于该现实环境的虚拟线条数据；以及
一显示模块，用于基于所述虚拟线条数据和所述环境数据，通过该手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的。
在本发明的一实施例中，所述处理模块包括一虚设模块、一映射模块、一位姿变换模块以及一样条化模块，其中所述虚设模块用于虚设一绘画虚面，并获得所述触摸装置与所述绘画虚面之间的映射关系；所述映射模块用于基于所述映射关系，将所述相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以获得相对于所述绘画虚面的运动轨迹数据；所述位姿变换模块用于基于所述位姿数据，对所述相对于所述绘画虚面的运动轨迹数据进行位姿变换，以获得相对于该现实环境的运动轨迹数据；所述样条化模块用于通过对所述相对于该现实环境的运动轨迹数据进行样条化处理，获得所述相对于该现实环境的虚拟线条数据。
在本发明的一实施例中，所述处理模块还包括一赋值模块，用于基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。
在本发明的一实施例中，所述处理模块还包括一叠加模块，用于将预制的虚拟物体数据叠加至所述环境数据，使得所述显示模块能够融合显示预制的虚拟物体和该现实环境。
在本发明的一实施例中，所述触摸装置和所述显示模块为一触摸屏。
在本发明的一实施例中，所述绘画虚面为被虚设于所述环境采集模块的采集范围内的平面或曲面。
在本发明的一实施例中，所述的手持式智能设备，还包括一存储模块，其中所述存储模块用于保存所述虚拟线条数据，使得所述虚拟线条能够单独输出。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一实施例的基于手持式智能设备的三维空间绘画方法的流程示意图。
图2是根据本发明的上述实施例的基于手持式智能设备的三维空间绘画方法的处理步骤的流程示意图。
图3是根据本发明的一实施例的手持式智能设备的系统示意图。
图4A和图4B示出了根据本发明的一实施例的手持式智能设备的示例。
图5示出了根据本发明的一实施例的计算系统的示例。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
目前，现有的手持式智能设备通常具有绘画功能，并且在绘画过程中，通过追踪手指在现有手持式智能设备的屏幕上滑动的轨迹，在手持式智能设备的屏幕上绘制出相应的虚拟线条。然而，虽然现有的手持式智能设备可以方便地绘制虚拟线条以进行绘画创作，但是由于手持式智能设备的屏幕的平面属性，仍不能摆脱屏幕的限制，只能进行二维平面的绘画，而无法实现在三维空间中绘画的功能。
参考附图1和图2所示，根据本发明的一实施例的基于手持式智能设备的三维空间绘画方法被阐明。具体地，如图1所示，所述基于手持式智能设备的三维空间绘画方法包括步骤：
S110：采集所述现实环境的信息，以获得所述现实环境的环境数据；
S120：获取所述手持式智能设备在现实环境中的位姿，以获得所述手持式智能设备相对于所述现实环境的位姿数据；
S130：追踪绘画工具在所述手持式智能设备的触摸装置上的位置，获得所述绘画工具相对于所述触摸装置的运动轨迹数据；
S140：对所述位姿数据和所述运动轨迹数据进行处理，以获得相对于所述现实环境的虚拟线条数据；以及
S150：基于所述虚拟线条数据和环境数据，通过所述手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的。
值得注意的是，为了最终能够通过所述手持式智能设备融合显示虚拟线条和现实环境，就需要采集现实环境的信息，以获得所述现实环境的环境数据，以便进行三维环境的构建。具体地，在所述三维空间绘画方法的所述步骤S110中，藉由所述手持式智能设备的环境采集模块来采集所述手持式智能设备所处的现实环境的信息，以获得所述现实环境的环境数据。
示例性地，所述手持式智能设备的所述环境采集模块可以但不限于被实施为诸如单目相机、双目相机或RGB-D相机等等之类的摄像头传感器，以通过采集环境的图像信息来进行三维环境的构建。例如，对于配置有单目相机的手持式智能设备而言，可以采用单目Slam算法进行环境构件；而对于配置有RGB-D相机的手持式智能设备而言，可以直接从相机数据中得到环境的深度信息，进而快速地进行环境构建。可以理解的是，不同类型的摄像头传感器通过不同的环境构建算法都能进行环境构建，本发明对摄像头传感器的类型不做限制。换句话说，所述手持式智能设备的所述环境采集模块可以是任意类型的摄像头传感器，本发明对此不作进一步限制。
此外，当用户平移或旋转所述手持式智能设备，以使所述手持式智能设备在现实环境中的位姿发生变化时，所述绘画工具也将随着所述手持式智能设备一起平移或旋转，导致所述绘画工具在所述现实环境中的位置也发生变化，进而改变所述绘画工具在所述现实环境中的运动轨迹。因此，需要实时获取所述手持式智能设备在现实环境中的位姿，以获得所述手持式智能设备相对于所述现实环境的位姿数据，进而掌握所述手持式智能设备在现实环境中的位姿信息，以便根据所述位姿数据来获得所述绘画工具相对于所述现实环境的运动轨迹数据，以便将绘画从二维空间拓展至三维空间。
示例性地，在所述步骤S120中，可以采用视觉位姿估计方法来估计所述手持式智能设备在现实环境中的位姿，以获得所述手持式智能设备相对于所述所述现实环境的位姿数据。例如，所述视觉位姿估计方法可以对通过被配置于所述手持式智能设备的摄像头传感器实时获得的视频帧或图像进行特征点匹配分析，进而获得帧间的运动估计，以获得摄像头传感器的位姿估计。而由于所述摄像头传感器相对静止于所述手持式智能设备，所以能够估计所述手持式智能设备的运动，以获得所述手持式智能设备的所述位姿数据(诸如相对于所述所述现实环境的位移向量和旋转向量)。当然，所述视觉位姿估计方法也可以通过未配置于所述手持式智能设备的摄像头传感器来进行视觉位姿估计，例如，通过被固定于所述现实环境中的摄像头传感器来实时拍摄所述手持式智能设备的图像，以通过多帧图像来分析并估计所述手持式智能设备的位姿，本发明对此不作进一步限制。
当然，根据本发明的其他示例，在所述步骤S120中，也可以采用惯性位姿估计方法来估计所述手持式智能设备在所述现实环境中的位姿，以获得所述手持式智能设备相对于所述所述现实环境的位姿数据。例如，所述惯性位姿估计方法可以通过被配置于所述手持式智能设备的惯性测量单元(英文：Inertial measurement unit，以下简称IMU)来获取所述手持式智能设备在现实环境中的旋转和加速度信息，接着进行旋转和位移的运动估计，以获得IMU的位姿估计。而由于IMU相对静止于所述手持式智能设备，所述也能够估计出所述手持式智能设备的运动，以获得所述手持式智能设备的所述位姿数据(诸如相对于所述所述现实环境的位移向量和旋转向量)。
此外，虽然所述视觉位姿估计方法和所述惯性位姿估计方法均能够估计出所述手持式智能设备的位姿，但这两种方法都有一定的估计误差，导致所述手持式智能设备的位姿估计不够精确。因此，在本发明的一些其他示例中，所述步骤S120还可以采用所述视觉位姿估计方法和所述惯性位姿估计方法相结合的方法(视觉惯性位姿估计方法)来进行综合性的运动估计，以获得较为准确的位姿估计结果。可以理解的是，实现位姿估计的方案有很多种，并不局限于上面所描述的技术方案，也就是说，本发明所涉及的位姿估计方法可以是任意种类，均在本发明的保护范围内。
当然，为了实现绘画目的，还需要通过所述手持式智能设备的触摸装置追踪所述绘画工具在所述触摸装置上的位置，获得所述绘画工具相对于所述触摸装置的运动轨迹数据，以作为绘画的输入数据。随后，再对所述位姿数据和所述运动轨迹数据进行处理，以通过虚拟线条来模拟所述绘画工具在现实环境中的运动轨迹，从而在现实环境中绘制出虚拟线条。可以理解的是，通过所述相对于所述触摸装置的运动轨迹数据可以在所述触摸装置上绘制虚拟线条，以模拟所述绘画工具在所述触摸装置上的运动轨迹。
示例性地，在所述步骤S130中，利用触摸感应技术来追踪所述绘画工具在所述触摸装置上的运动轨迹，以获得相对于所述触摸装置的运动轨迹数据。例如，所述触摸感应技术可以利用诸如电容屏、电阻屏、触摸屏、触摸板等等之类的触摸装置来实时感应所述绘画工具在所述触摸装置上的位置，从而精确地获得所述绘画工具相对于触摸装置的运动轨迹数据。
值得注意的是，所述绘画工具是绘画的输入设备，其功能跟传统绘画的画笔类似，但是所述绘画工具的形态却是多种多样的。特别地，所述绘画工具可以但不限于被实施为诸如手指、电容笔或指套等等物体作为自然的绘画输入。例如，当用户的手指作为所述绘画工具时，用户仅需要挥舞手指在所述手持式智能设备的所述触摸装置上滑动，所述手持式智能设备就能够感知手指在所述触摸装置上的位置，以获得手指相对于触摸装置的运动轨迹数据，以实现绘画创作。这样用户在使用本发明的所述三维空间绘画方法进行绘画创作时，仍能够保留原有的创作习惯，这就像创作者在纸面上绘制画作那样，并不需要额外的学习成本，上手快，也可以激发用户的绘画热情。
然而，对于大多数手持式智能设备而言，所述手持式智能设备的触摸装置并不处于所述手持式智能设备的所述环境采集模块(诸如各种摄像头传感器)的采集范围(如视场范围)之内，也就是说，基于所述相对于所述触摸装置的运动轨迹数据所绘制的虚拟线条和所述现实环境通过所述手持式智能设备融合显示时，所述虚拟线条在现实环境中的位置处于所述手持式智能设备的所述环境采集模块的采集范围之外，导致无法直接观看到所述虚拟线条。因此不得不移动所述手持式智能设备以使所述虚拟线条在现实环境中的位置处于所述手持式智能设备的所述环境采集模块的采集范围之内，这样才能观看到所述虚拟线条。
为了保证在不移动所述手持式智能设备的情况下，通过所述手持式智能设备同时观看到融合显示的现实环境和虚拟线条。这就需要在所述手持式智能设备的所述环境采集模块的采集范围内虚设一绘画虚面，接着通过将相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以获得相对于所述绘画虚面的运功轨迹数据，从而得到在所述绘画虚面上的虚拟线条，以便在绘画的过程中实时观看到所绘制的虚拟线条。
具体地，如图2所示，在本发明的这个实施例中，所述三维空间绘画方法的所述步骤140包括步骤：
S141：虚设一绘画虚面，并获得所述手持式智能设备的所述触摸装置与所述绘画虚面之间的映射关系；
S142：基于所述映射关系，将所述相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以获得相对于所述绘画虚面的运动轨迹数据；
S143：基于所述位姿数据，对所述相对于所述绘画虚面的运动轨迹数据进行位姿变换，以获得相对于所述现实环境的运动轨迹数据；以及
S144：通过对所述相对于所述现实环境的运动轨迹数据进行样条化处理，获得所述相对于所述现实环境的虚拟线条数据。
示例性地，在所述步骤S141中，在所述手持式智能设备的所述环境采集模块的采集范围内虚设所述绘画虚面，并获得所述手持式智能设备的所述触摸装置与所述绘画虚面之间的映射关系。例如，所述绘画虚面可以但不限于被实施为与所述手持式智能设备的显示屏幕相距一预定距离(如0.2米)的无限大平面，使得所述绘画虚面处于所述手持式智能设备的所述环境采集模块的采集范围之内。当然，在本发明的其他示例中，所述绘画虚面还可以被实施为诸如曲面、球面或任一物体的表面等等，也就是说，所述绘画虚面的面型不受限制，可根据需要进行设计或设定。
接着，在所述步骤S142中，基于所述绘画虚面与所述触摸装置之间的映射关系，将所述相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以便获得相对于所述绘画虚面的运动轨迹数据。这样，当所述绘画工具在所述触摸装置上滑动时，就能够在所述绘画虚面上绘制虚拟线条。值得注意的是，当所述绘画虚面为非平面(如曲面)时，在所述触摸装置上的二维空间绘画将会被拓展至三维空间，也就是说，虽然触摸装置本身是二维平面，但是被映射至非平面的所述绘画虚面上的虚拟线条则是三维空间的线条，从而在一定程度上将二维空间绘画拓展至三维空间绘画。
之后，在所述步骤S143中，基于所述位姿数据，对所述相对于所述绘画虚面的运动轨迹数据进行位姿变换，以获得相对于所述现实环境的运动轨迹数据。这是由于一旦所述手持式智能设备在现实环境中的位姿放生变化，该绘画工具在现实环境中的位置也将发生改变，此时该绘画工具在现实环境中的运动轨迹就与该绘画工具相对于所述绘画虚面的运动轨迹不同，因此需要通过位姿变换，将相对于所述绘画虚面的运动轨迹数据转换成相对于所述现实环境的运动轨迹数据。正是由于用户在所述手持式智能设备的所述触摸装置上绘画时，可以随意移动或旋转所述手持式智能设备，以改变所述手持式智能设备的位姿，使得所述绘画工具在现实环境中的运动轨迹摆脱了所述手持式智能设备的所述触摸装置的限制，以便将绘画空间拓展至三维空间(现实环境)中，从而实现三维空间的绘画。
值得注意的是，当所述手持式智能设备的位姿不发生变化时，所述绘画工具相对于所述虚设平面的运动轨迹数据就等于所述绘画工具相对于所述现实环境的运动轨迹数据，从而不经过位姿变换就能够获得相对于所述现实环境的运动轨迹数据。
最后，在所述步骤S144中，获得了相对于所述现实环境的运动轨迹数据之后，就需要对所述运动轨迹数据进行样条化处理，以获得相对于所述现实环境的虚拟线条，以通过一条或多条虚拟线条来构建出虚拟物体作为画作。换句话说，将诸如线条颜色、线条粗细和/或线条类型等等之类的线条参数赋予所述运动轨迹数据，以获得相对于所述现实环境的虚拟线条数据，从而能够基于所述虚拟线条数据绘制相应的虚拟线条，以通过所述虚拟线条模拟映射至所述绘画虚面的所述绘画工具在所述现实环境中的运动轨迹。
可以理解的是，虽然本发明利用目标跟踪技术来追踪所述绘画工具在所述触摸装置上的位置，以获得二维的运动轨迹，但是所述手持式智能设备自身的位姿可以发生变化，从而将所述绘画工具的运动轨迹拓展到现实环境中，并基于所述绘画工具在所述现实环境中的运动轨迹数据来绘制虚拟线条，以完成绘画操作。因此本发明的绘画方法并不会受到具象化载体(如纸面、触摸装置等等)的限制，可以将绘画空间拓展到整个现实环境中去，以实现在三维空间中自由绘画的目的。
值得一提的是，在所述步骤S140中，所述步骤S141、所述S142、所述S143以及所述S144之间的先后次序不局限于上述示例所描述的次序。在本发明的其他示例中，在将相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面之前，也可以先基于所述位姿数据，对所述相对于所述触摸装置的运动轨迹数据进行位姿变换，然后再进行映射处理，最后进行样条化处理，以获得相对于现实环境的虚拟线条。也就是说，在所述步骤S140中各步骤的先后次序可以调整，只要在不违背所述三维空间绘画方法的原理，都属于本发明的保护范围。
值得一提的是，为了在所述现实环境中更好地融合显示所述虚拟线条，如图2所示，所述三维空间绘画方法的所述步骤S140还可以包括步骤：
S145：基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。这样有助于改善所述虚拟线条与所述现实环境的融合显示效果，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的，以便为用户提供更具代入感的创作环境，有助于改善用户体验。
示例性地，所述真实物理属性可以但不限于被实施为体积属性、重力属性、光照属性或/和材质属性等等真实物体的物理属性。例如，当将所述重力属性赋予所述虚拟线条数据，则所述虚拟线条将具备真实物体的重量，也就是说，所述虚拟线条因重力的作用而不能悬浮在所述现实环境中，而会在重力的作用下下落，直至被其他真实物体支持以满足受力平衡才会静止，使得所述虚拟线条与所述现实环境之间的融合更加逼真。
根据本发明的上述实施例，在所述步骤S140完成以获得相对于所述现实环境的所述虚拟线条数据之后，基于所述虚拟线条数据和所述环境数据，通过所述手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的。可以理解的是，由于所述虚拟线条数据为通过所述手持式智能设备的位姿变换而获得的相对于所述现实环境的数据，因此，无论所述手持式智能设备的位姿是否发生变化，通过所述手持式智能设备显示的所述虚拟线条相对于所述现实环境看起来总是固定不动的。
值得注意的是，所述虚拟线条在所述手持式智能设备的显示屏幕上显示出来，是通过位姿变换(即空间坐标变换)实现的。由于通过所述手持式智能设备的所述位姿估计模块可以将所述手持式智能设备与所述现实环境之间的变换关系对应起来，因此，每所述虚拟线条都有一个现实环境下的映射，以便使所述虚拟线条在现实环境中的坐标不变，从而保证所述虚拟线条与所述现实环境之间逼真地融合。
可以理解的是，当所述手持式智能设备移动时，虚拟线条在现实环境中的坐标不变，必然导致虚拟线条相对于所述手持式智能设备的坐标随之所述手持式智能设备的移动而变化，而这种变化可以通过所述步骤S120中的位姿估计而获得，从而确保通过所述手持式智能设备的显示屏幕显示的所述虚拟线条相对于所述现实环境是固定不动的。例如，将所述环境采集模块所采集的现实环境作为背景，将所绘制的虚拟线条置入所述现实环境中作为前景，实时渲染绘制出虚拟融合的图像，以通过所述手持式智能设备的显示屏幕显示，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境是固定不动的。
当然，在本发明的其他示例中，所绘制的虚拟线条还可以通过回退、删除等控制方法进行删减，以允许用户修改所绘制的画作。
此外，在本发明的上述实施例中，如图1所示，所述三维空间绘画方法还可以包括步骤：
S160：保存所述虚拟线条数据，使得所述虚拟线条能够单独输出。这样，在获得所述虚拟线条数据之后，所述手持式智能设备通过将所述虚拟线条数据以诸如三维点云数据集、三维模型、视频流、图片等等格式保存起来作为数字化的绘画作品，以供人们随时欣赏或进行二次创作。
值得注意的是，所述三维空间绘画方法所绘制的画作为数字形式，其内容可以是单独的虚拟线条，也可以是单独的现实环境，又可以是虚拟线条与现实环境的三维数据集合，即所绘制的虚拟线条与特定的现实环境相融合的画作。例如，在本发明的其他示例中，所述三维空间绘画方法也可以包括步骤：保存所述环境数据和所述虚拟线条数据，使得所述虚拟线条能够与所述现实环境融合输出。
进一步地，在本发明的其他示例中，所述三维空间绘画方法还可以包括步骤：通过所述手持式智能设备将预制的虚拟物体与所述现实环境融合显示，其中所述预制的虚拟物体的位置相对于通过所述手持式智能设备可见的现实环境而言看起来是真实的。这样，在进行三维绘画的过程中，不仅可以将实时绘制的虚拟线条在现实环境中融合显示，还可以将预先绘制好的虚拟物体模块化，以便连同所述实时绘制的虚拟线条在现实环境中融合显示，从而有助于丰富绘画内容，降低绘画难度。
示例性地，通过所述手持式智能设备的所述环境采集模块采集所述现实环境的深度数据，以获取所述现实环境中的平面信息(即相对于所述手持式智能设备的位姿数据)；接着，选择预制好的虚拟物体，通过手指拖动所述虚拟物体将加载至所述现实环境中；在选定位置以移开手指之后，所述虚拟物体将停靠在与手指离开位置所对应的平面位置。这里，由于所述手持式智能设备在现实环境中的位姿是可获取的，因此可通过位姿变换可以获得相对于现实环境的位置数据，以便使所述预制的虚拟物体的位置相对于通过所述手持式智能设备可见的现实环境是固定不变的。
参考附图3所示，根据本发明的一实施例的手持式智能设备被阐明，其中所述手持式智能设备300可包括所述环境采集模块310、一位姿估计模块320、一触摸装置330、一处理模块340以及一显示模块350，使得用户能够借助所述手持式智能设备300在现实环境中进行三维空间绘画。
具体地，所述环境采集模块310用于采集所述现实环境的信息，以获得所述现实环境的环境数据；所述位姿估计模块320用于获取所述手持式智能设备300在现实环境中的位姿，以获得所述手持式智能设备相对于所述现实环境的位姿数据；所述触摸装置330用于追踪绘画工具在所述手持式智能设备300的触摸装置上的位置，以获得所述绘画工具相对于所述触摸装置的运动轨迹数据；所述处理模块340用于对所述位姿数据和所述运动轨迹数据进行处理，以获得相对于所述现实环境的虚拟线条数据；以及所述显示模块350用于基于所述虚拟线条数据和环境数据，通过所述手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的。
进一步地，在本发明的上述实施例中，如图3所示，所述手持式智能设备300的所述处理模块340包括一虚设模块341、一映射模块342、一位姿变换模块343以及一样条化模块344，其中所述虚设模块341用于虚设一绘画虚面，并获得所述手持式智能设备的所述触摸装置与所述绘画虚面之间的映射关系；所述映射模块342用于基于所述映射关系，将所述相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以获得相对于所述绘画虚面的运动轨迹数据；所述位姿变换模块343用于基于所述位姿数据，对所述相对于所述绘画虚面的运动轨迹数据进行位姿变换，以获得相对于所述现实环境的运动轨迹数据；以及所述样条化模块344用于通过对所述相对于所述现实环境的运动轨迹数据进行样条化处理，获得所述相对于所述现实环境的虚拟线条数据。
此外，在本发明的上述实施例中，如图3所示，所述处理模块340还可以包括一赋值模块345，用于基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。
值得一提的是，在本发明的上述实施例中，如图3所示，所述手持式智能设备300的所述处理模块340还可以包括一叠加模块346，用于将预制的虚拟物体数据叠加至所述环境数据，以使所述显示模块350还用于融合显示预制的虚拟物体和现实环境，其中所述预制的虚拟物体相对于通过所述手持式智能设备可见的现实环境而言看起来是真实的。
在本发明的上述实施例中，如图3所示，所述手持式智能设备300还包括一存储模块360，用于保存所述虚拟线条数据，使得所述虚拟线条能够被单独输出而作为绘画作品。
在本发明的一示例中，所述存储模块360还用于同时保存所述虚拟线条数据和所述环境数据，以便将所述虚拟线条和所述现实环境融合输出以作为完整的绘画作品。
现在参考附图4A和图4B，本发明提供了配置有触摸屏410的手持式智能设备400的一个示例，其中所述手持式智能设备400被实施为一智能手机。这样所述手持式智能设备400的所述触摸屏410不仅能够作为所述手持式智能设备400的触摸装置，用于追踪所述绘画工具在所述触摸屏410上的位置，而且还能够作为所述手持式智能设备400的显示模块，用于融合显示所述现实环境和所述虚拟线条。换句话说，所述手持式智能设备400的所述触摸装置和所述显示模块可以合二为一，从而被实施为触摸屏。可以理解的是，在本发明的其他示例中，所述手持式智能设备400的所述触摸装置和所述显示模块可以分别被实施为触摸板和显示屏，当用户在所述触摸板上移动所述绘画工具时，所述显示屏将显示所绘制的虚拟线条。
值得注意的是，虽然在本发明的这个示例中，所述手持式智能设备400被实施为智能手机，但是在本发明的其他示例中，所述手持式智能设备400也可以被实施为平板电脑等等，只要能够实现上述三维空间绘画方法即可，本发明对此不作进一步限制。
示例性地，如附图4A和图4B所示，所述手持式智能设备400包括一触摸屏410(相当于所述手持式智能设备300中的触摸装置330和显示模块350)、一摄像头传感器420(相当于所述手持式智能设备300中的环境采集模块310)、一惯性测量单元430(相当于所述手持式智能设备300中的位姿估计模块320)、一处理器440(相当于所述手持式智能设备300中的处理模块340)以及一存储器450(相当于所述手持式智能设备300中的存储模块360)，以便实现上述三维空间绘画方法的全部或部分步骤，允许用户在所述现实环境中进行自由绘画。
值得一提的是，在本发明的其他示例中，所述手持式智能设备还可以包括在所述手持式智能设备上的计算系统，以通过所述计算系统执行上述方法或过程中的部分步骤。具体地，上述方法或过程可被实现为应用程序或服务、应用编程接口、库和/或其他计算机程序产品。
示例性地，附图5示出了可执行上述方法或过程中的一个或多个的计算系统500的非限制性实施例，并以简化形式示出了一计算系统500。所述计算系统500可采取以下形式：一个或多个手持式智能设备，或与手持式智能设备合作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能手机)和/或其他计算设备)。
如图5所示，所述计算系统500包括一逻辑机501和一存储机502。所述计算系统500可任选地包括一显示子系统503、一输入子系统504、一通信子系统505和/或在图5中未示出的其他组件。
所述逻辑机501包括被配置成执行指令的一个或多个物理设备。例如，所述逻辑机501可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
所述逻辑机501可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述逻辑机501可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述逻辑机501的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述逻辑机501的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述逻辑机501的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
所述存储机502包括被配置成保存可由所述逻辑机501执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储机502的状态(例如，保存不同的数据)。
所述存储机502可以包括可移动和/或内置设备。所述存储机502可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储机502可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，所述存储机502包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
所述逻辑机501和所述存储机502的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
值得注意的是，当所述计算系统500包括所述显示子系统503时，所述显示子系统503可用于呈现由所述存储机502保存的数据的视觉表示。所述视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了所述存储机502的状态，因此同样可以转变所述显示子系统503的状态以视觉地表示底层数据的改变。所述显示子系统503可包括利用实际上任何类型的技术的一个或多个显示设备。可将这样的显示设备与所述逻辑机501和/所述或所述存储机502组合在共享封装中，或者这样的显示设备可以是外围显示设备。
此外，在所述计算系统500包括所述输入子系统504时，所述输入子系统504可以包括诸如键盘、鼠标、触摸装置或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入子系统504可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。
而当所述计算系统500包括所述通信子系统505时，所述通信子系统505可被配置成将所述计算系统500与一个或多个其他计算设备通信地耦合。所述通信子系统505可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信子系统505可允许所述计算系统500经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (14)
1.一基于手持式智能设备的三维空间绘画方法，其特征在于，包括步骤：
采集现实环境的信息，以获得该现实环境的环境数据；
实时获取该手持式智能设备在该现实环境中的位姿，以获得该手持式智能设备相对于该现实环境的位姿数据；
追踪绘画工具在该手持式智能设备的触摸装置上的位置，以获得该绘画工具相对于该触摸装置的运动轨迹数据；
通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于该现实环境的虚拟线条数据；以及
基于所述虚拟线条数据和所述环境数据，通过该手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的；
其中，所述通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于现实环境的虚拟线条数据的步骤，包括步骤：
虚设一绘画虚面，并获得该绘画虚面与该手持式智能设备的该触摸装置之间的映射关系；
基于所述映射关系，将所述相对于该触摸装置的运动轨迹数据映射至该绘画虚面，以获得该绘画工具相对于该绘画虚面的运动轨迹数据；
基于所述位姿数据，对所述相对于该绘画虚面的运动轨迹数据进行位姿变换，以获得相对于该现实环境的运动轨迹数据；以及
对所述相对于该现实环境的运动轨迹数据进行样条化处理，以获得所述虚拟线条数据。
2.如权利要求1所述的三维空间绘画方法，其中，所述绘画虚面为虚设的平面或曲面。
3.如权利要求1所述的三维空间绘画方法，其中，所述绘画虚面位于该手持式智能设备的环境采集模块的采集范围内。
4.如权利要求1所述的三维空间绘画方法，其中，所述通过对所述位姿数据和所述运动轨迹数据进行处理，获得相对于现实环境的虚拟线条数据的步骤，还包括步骤：
基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。
5.如权利要求4所述的三维空间绘画方法，其中，所述真实物理属性选自由体积属性、重力属性、光照属性以及材质属性所组成的群组中的任一种或几种的组合。
6.如权利要求1至5中任一所述的三维空间绘画方法，还包括步骤：
融合显示预制的虚拟物体与该现实环境，其中所述预制的虚拟物体相对于通过该手持式智能设备可见的现实环境而言看起来是真实的。
7.如权利要求1至5中任一所述的三维空间绘画方法，还包括步骤：
保存所述环境数据和所述虚拟线条数据，使得所述虚拟线条能够与该现实环境被融合输出。
8.如权利要求1至5中任一所述的三维空间绘画方法，还包括步骤：
保存所述虚拟线条数据，使得所述虚拟线条能够被单独输出。
9.一手持式智能设备，用于通过绘画工具在现实环境中进行绘画，其特征在于，包括：
一环境采集模块，用于采集现实环境的信息，以获得该现实环境的环境数据；
一位姿估计模块，用于实时获取该手持式智能设备在该现实环境中的位姿，以获得该手持式智能设备相对于该现实环境的位姿数据；
一触摸装置，用于追踪该绘画工具在所述触摸装置上的位置，以获得该绘画工具相对于所述触摸装置的运动轨迹数据；
一处理模块，用于对所述位姿数据和所述运动轨迹数据进行处理，以获得相对于该现实环境的虚拟线条数据；以及
一显示模块，用于基于所述虚拟线条数据和所述环境数据，通过该手持式智能设备融合显示虚拟线条和现实环境，使得所述虚拟线条相对于通过所述手持式智能设备可见的现实环境看起来是真实的；
其中，所述处理模块包括一虚设模块、一映射模块、一位姿变换模块以及一样条化模块，其中所述虚设模块用于虚设一绘画虚面，并获得所述触摸装置与所述绘画虚面之间的映射关系；所述映射模块用于基于所述映射关系，将所述相对于所述触摸装置的运动轨迹数据映射至所述绘画虚面，以获得相对于所述绘画虚面的运动轨迹数据；所述位姿变换模块用于基于所述位姿数据，对所述相对于所述绘画虚面的运动轨迹数据进行位姿变换，以获得相对于该现实环境的运动轨迹数据；所述样条化模块用于通过对所述相对于该现实环境的运动轨迹数据进行样条化处理，获得所述相对于该现实环境的虚拟线条数据。
10.如权利要求9所述的手持式智能设备，其中，所述处理模块还包括一赋值模块，用于基于所述环境数据，将真实物理属性赋予所述虚拟线条数据，使得所述虚拟线条具有真实物体的物理属性。
11.如权利要求9所述的手持式智能设备，其中，所述处理模块还包括一叠加模块，用于将预制的虚拟物体数据叠加至所述环境数据，使得所述显示模块能够融合显示预制的虚拟物体和该现实环境。
12.如权利要求9至11中任一所述的手持式智能设备，其中，所述触摸装置和所述显示模块为一触摸屏。
13.如权利要求12所述的手持式智能设备，其中，所述绘画虚面为被虚设于所述环境采集模块的采集范围内的平面或曲面。
14.如权利要求9至11中任一所述的手持式智能设备，还包括一存储模块，其中所述存储模块用于保存所述虚拟线条数据，使得所述虚拟线条能够单独输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811338334.4A CN111176427B (zh) | 2018-11-12 | 2018-11-12 | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811338334.4A CN111176427B (zh) | 2018-11-12 | 2018-11-12 | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111176427A CN111176427A (zh) | 2020-05-19 |
| CN111176427B true CN111176427B (zh) | 2023-07-18 |
Family
ID=70649813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811338334.4A Active CN111176427B (zh) | 2018-11-12 | 2018-11-12 | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111176427B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328075B (zh) * | 2020-11-03 | 2023-04-07 | 上海镱可思多媒体科技有限公司 | 三维空间绘画方法、系统、终端以及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110071211A (ko) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | 가상낙서 시스템 및 그 인터페이스 장치 |
| CN108109207A (zh) * | 2016-11-24 | 2018-06-01 | 中安消物联传感（深圳）有限公司 | 一种可视化立体建模方法及系统 |
| CN108663979A (zh) * | 2018-05-08 | 2018-10-16 | 江南大学 | 物联网技术与3d集成的高塔综合监控系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8817017B2 (en) * | 2010-06-01 | 2014-08-26 | Vladimir Vaganov | 3D digital painting |
| US8633947B2 (en) * | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US10019130B2 (en) * | 2013-04-21 | 2018-07-10 | Zspace, Inc. | Zero parallax drawing within a three dimensional display |
| DE102014115363A1 (de) * | 2014-10-22 | 2016-04-28 | Bitsea Gmbh | Virtuelles Zeichen in realer Umgebung |
| JP2017033294A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社イメージソース | ３次元描画システム及び３次元描画プログラム |
| WO2017201162A1 (en) * | 2016-05-17 | 2017-11-23 | Google Llc | Virtual/augmented reality input device |
| US20180101986A1 (en) * | 2016-10-10 | 2018-04-12 | Aaron Mackay Burns | Drawing in a 3d virtual reality environment |
| US20180210628A1 (en) * | 2017-01-23 | 2018-07-26 | Snap Inc. | Three-dimensional interaction system |
| CN107728792B (zh) * | 2017-11-17 | 2020-08-11 | 浙江大学 | 一种基于手势识别的增强现实三维绘图系统及绘图方法 |
| CN108257208B (zh) * | 2018-01-22 | 2022-02-25 | 维沃移动通信有限公司 | 一种三维图形绘制方法、移动终端 |
-
2018
- 2018-11-12 CN CN201811338334.4A patent/CN111176427B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110071211A (ko) * | 2009-12-21 | 2011-06-29 | 한국전자통신연구원 | 가상낙서 시스템 및 그 인터페이스 장치 |
| CN108109207A (zh) * | 2016-11-24 | 2018-06-01 | 中安消物联传感（深圳）有限公司 | 一种可视化立体建模方法及系统 |
| CN108663979A (zh) * | 2018-05-08 | 2018-10-16 | 江南大学 | 物联网技术与3d集成的高塔综合监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111176427A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11237625B2 (en) | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments | |
| US11875012B2 (en) | Throwable interface for augmented reality and virtual reality environments | |
| US20230016490A1 (en) | Systems and methods for virtual and augmented reality | |
| Zhang et al. | Recent developments in game-based virtual reality educational laboratories using the microsoft kinect | |
| CN107430437B (zh) | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 | |
| US9591295B2 (en) | Approaches for simulating three-dimensional views | |
| CN105637559B (zh) | 使用深度传感器的结构建模 | |
| JP6013583B2 (ja) | 有効インターフェース要素の強調のための方式 | |
| US9224237B2 (en) | Simulating three-dimensional views using planes of content | |
| US11328481B2 (en) | Multi-resolution voxel meshing | |
| US8854362B1 (en) | Systems and methods for collecting data | |
| WO2014200781A1 (en) | Locating and orienting device in space | |
| CN109313821A (zh) | 三维对象扫描反馈 | |
| CN109255749A (zh) | 自主和非自主平台中的地图构建优化 | |
| KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
| Kulik et al. | Virtual Valcamonica: collaborative exploration of prehistoric petroglyphs and their surrounding environment in multi-user virtual reality | |
| Colombo et al. | Mixed reality to design lower limb prosthesis | |
| Huang et al. | Network algorithm real-time depth image 3D human recognition for augmented reality | |
| JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
| CN111176427B (zh) | 基于手持式智能设备的三维空间绘画方法和手持式智能设备 | |
| CN111176426A (zh) | 基于近眼显示设备的三维空间绘画方法和近眼显示设备 | |
| KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
| US20240127538A1 (en) | Scene understanding using occupancy grids | |
| CN111679806A (zh) | 播放控制方法、装置、电子设备及存储介质 | |
| CN116645495A (zh) | 虚拟化妆方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200519 Assignee: Zhejiang Shunwei Technology Co.,Ltd. Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd. Contract record no.: X2024330000055 Denomination of invention: A 3D space drawing method based on handheld smart devices and handheld smart devices Granted publication date: 20230718 License type: Common License Record date: 20240515 |
|
| EE01 | Entry into force of recordation of patent licensing contract |