CN117853320B - 一种基于多媒体操控的图像映射方法、系统及存储介质 - Google Patents
一种基于多媒体操控的图像映射方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117853320B CN117853320B CN202410258771.4A CN202410258771A CN117853320B CN 117853320 B CN117853320 B CN 117853320B CN 202410258771 A CN202410258771 A CN 202410258771A CN 117853320 B CN117853320 B CN 117853320B
- Authority
- CN
- China
- Prior art keywords
- point
- expandable
- mapping
- image
- expandable surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 238000009795 derivation Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 9
- 238000013178 mathematical model Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 5
- 230000007480 spreading Effects 0.000 claims description 5
- 238000003892 spreading Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于多媒体操控的图像映射方法、系统及存储介质，所述系统包括可展面数学库和多媒体工具，所述多媒体工具与可展面数学库内联交互；所述可展面数学库包括可展面建模模块、图像映射模块和变形操控模块；所述可展面建模模块用于对目标可展面模型进行建模，所述图像映射模块用于将图像内容映射到目标可展面模型的曲面上；所述变形操控模块用于对目标可展面进行变形操作，以实现图像映射的交互控制。本发明将图像内容映射到可展面的曲面上，利用可展面的固有属性可以完美实现图像映射。本发明通过对曲面模型的变形操作来实现图像映射的交互控制，从而实现更灵活、直观和沉浸式的互动体验，具有较好的实用性。
Description
技术领域
本发明属于图像映射的技术领域，具体涉及一种基于多媒体操控的图像映射方法、系统及存储介质。
背景技术
现有的图像映射技术常用于多媒体软件（3DMax、Maya）、引擎（unity3d，虚幻引擎）中几何模型上的点与贴图之间的UV坐标映射。然而，该方法操作复杂，需要设计师手动调整UV坐标。此外，曲面几何模型映射时还会因为曲率等因素而导致纹理映射失真，影响映射效果，例如：纹理贴图被局部放大失真。其次，现有的对于可展面模型的变形操控技术都是基于CAD技术，即面向电脑平台的辅助设计，其操作通常使用鼠标键盘等方式来实现，操作复杂，需要通过对曲面的控制曲线“测地线”进行控制。这早已无法满足多媒体操控技术高速发展下人们对操控感与操控自由度的需求，特别是元宇宙背景下的多媒体技术VR/AR/XR。
发明内容
本发明的目的在于提供一种基于多媒体操控的图像映射方法、系统及存储介质，旨在解决上述的问题，改进现有技术中存在的操控感、自由度不够以及映射效果失真的缺陷。
本发明主要通过以下技术方案实现：
一种基于多媒体操控的图像映射方法，包括以下步骤：
步骤S100：建立可展面数学库；
步骤S110：对目标可展面进行建模；
步骤S111：根据目标曲线的形状，设定若干个控制点来定义曲线的路径；
步骤S112：根据目标曲线的特性，定义测地线的参数；根据步骤S111中设定的起始曲线和定义的测地线的参数，生成可展面模型中的测地线；
步骤S113：对测地线进行二阶求导与三阶求导，计算出母线的方向；再根据预先设定的边界投影计算出母线的长度，最后，将母线转换为可展面模型的网格表示，实现可展面的网格化显示；
步骤S114：进行固有可展面数学模型拓扑组合式建模，将若干个网格化显示的可展面模型进行组合和连接，构建几何体或者曲面；在组合的过程中，保持可展面模型的固有拓扑性质；
步骤S120：将图像内容映射到步骤S110中构建的目标可展面的曲面上；
步骤S200：将步骤S100中的可展面数学库与多媒体工具进行内联交互，基于多媒体工具对可展面数学库进行调用和交互操作，交互实现通过控制参数变化的方法或直接控制的方法对目标可展面进行控制和变形。
为了更好地实现本发明，进一步地，所述步骤S120中，基于圆锥体将图像内容映射到目标可展面的曲面上，且包括以下步骤：
步骤SA1：将3D空间中平面上一点p的位置，通过几何变换映射到空间曲面上，映射后的点位置为p'；
步骤SA2：若p点位于圆锥体圆心角B展开的覆盖区域内，则映射公式如下：
s为圆锥体与平面的切线上的一点，即为平面点映射到圆锥体锥面上位置的中间枢纽点；其中s点的坐标为；
步骤SA3：若p点位于圆锥体圆心角B展开的覆盖区域外，则映射公式如下：
步骤SA4：若p点位于圆锥体圆心角B展开的覆盖区域交界处，则映射公式如下：
α=βsinθ
其中：Rx为p点以x轴为旋转轴的旋转函数；
Ry为p点以y轴为旋转轴的旋转函数；
Rz为p点以z为旋转轴的旋转函数；
θ为p点围绕x轴旋转的角度值；
β为p点围绕y轴旋转的角度值；
α为p点在平面上绕z轴旋转到s点的旋转角度值；
为圆心角B展开平铺到平面上的角度；
x为平面上点p的x坐标；
y为平面上点p的y坐标。
为了更好地实现本发明，进一步地，所述步骤S120中，基于圆柱体将图像内容映射到目标可展面的曲面上，且包括以下步骤：
步骤SB1：将3D空间中平面上一点p的位置，通过几何变换映射到空间曲面上，映射后的点位置为p'；
步骤SB2：若p点位于圆柱体圆心角B展开的覆盖区域内，则映射公式如下：
s为圆柱体与平面的切线上的一点，即为平面点映射到圆柱体面上位置的中间枢纽点；其中s点的坐标为（0，y，0）；
步骤SB3：若p点位于圆柱体圆心角B展开的覆盖区域外，则映射公式如下：
步骤SB4：若p点位于圆柱体圆心角B展开的覆盖区域交界处，则映射公式如下：
d=rβ
其中：T为移动变化函数；
Ry为p点以y为旋转轴的旋转函数；
r为p点沿z轴方向移动变换的距离；
β为p点围绕y轴旋转的角度值；
d为平面上点p到s点的距离；
x为平面上点p的x坐标；
y为平面上点p的y坐标。
为了更好地实现本发明，进一步地，所述步骤S200中，交互实现通过调整测地线的参数及控制点的位置对目标可展面进行变形：
使用Bezier曲线或者有理B样条曲线模型拟合可展曲面上的测地线，并对该测地线进行二阶求导与三阶求导，计算母线组的方向；最后利用与测地线相垂直的母线组来组建可展面的网格模型并构成曲面；通过控制测地线的控制点的位置信息，实现控制可展面的网格模型所构成的曲面的形态。
为了更好地实现本发明，进一步地，所述步骤S200中，在对目标可展面进行变形的过程中，排除变形所产生的曲面拉伸、撕裂的错误；然后，进行像素级的图像增强后处理：在排除光照、透视投影因素的影响下，直接对图形渲染管道后期的结果图像进行画面整体像素增强。
为了更好地实现本发明，进一步地，所述步骤S200中，多媒体工具包括Unity3D引擎，所述Unity3D引擎与可展面数学库内联交互，所述Unity3D引擎为可展面模型提供物理属性和约束，并实现模拟其在仿真环境中的动力学行为；所述可展面数学库通过自定义脚本以及将组件集成到游戏或仿真内容中，实现可展面模型的创建和变形。
本发明主要通过以下技术方案实现：
一种基于多媒体操控的图像映射系统，基于上述的图像映射方法进行，包括可展面数学库和多媒体工具，所述多媒体工具与可展面数学库内联交互；所述可展面数学库包括可展面建模模块、图像映射模块和变形操控模块；所述可展面建模模块用于对目标可展面模型进行建模，所述图像映射模块用于将图像内容映射到目标可展面模型的曲面上；所述变形操控模块用于对目标可展面进行变形操作，以实现图像映射的交互控制。
为了更好地实现本发明，进一步地，所述图像映射模块包括像素映射单元和纹理映射单元，所述像素映射单元用于基于像素映射方法将图像内容映射到目标可展面的曲面上，所述纹理映射单元用于基于纹理映射方法将图像内容映射到目标可展面的曲面上；所述变形操控模块包括调参操控单元和直接操控单元，所述调参操控单元用于基于控制参数的变化来实现对可展面的控制和变形，所述直接操控单元用于基于直接控制可展面的几何位置和方向来实现对可展面的控制和变形。
为了更好地实现本发明，进一步地，应用于形成基于XR操控技术的折纸工具和/或基于人体工学设计的3D电子文档阅读器。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像映射方法。
本发明的有益效果如下：
（1）本发明利用可展面模型的固有属性，通过计算UV坐标，减轻了设计师的工作量。其次，本发明利用可展面模型的特性实现了映射效果更完美的图像映射，并大大提高了映射的正确性和逼真度。本发明在对目标可展面进行建模时，在将可展面参数化处理后进行了网格化显示，实现了高效的模型压缩，对于大型且结构复杂的可展面模型存储读取非常高效，只需要记录这些可展面片面所对应的参数即可，无需考虑模型上具体点的属性情况，具有较好的实用性。
（2）本发明将图像内容映射到可展面的曲面上，利用可展面的固有属性——任何一点高斯曲率为0，可以完美实现图像映射。与此同时，本发明通过对曲面模型的变形操作来实现图像映射的交互控制，从而实现更灵活、直观和沉浸式的互动体验，可以适应不同的应用场景和用户需求，具有较好的实用性。
（3）本发明对目标可展面进行建模和参数化，确保曲面上的点与图像中的像素能够精确对应。其次，本发明利用模型映射的方法将平面图像映射到可展开的表面，实现图像的高质量展示。其图像映射的对象可以是传统显示设备类的实体表面，也可以是浮空投影类的虚拟表面。本发明支持多种交互方式，包括但不限于直接触摸、手势识别、虚拟现实（VR）、增强现实（AR）和混合现实（XR），用户可以根据需求选择最适合的交互方式。
（4）本发明实现了用户可以通过操控映射表面上的图像元素来实现直观的控制，而无需额外的控制设备，应用形成的基于XR技术的折纸艺术工具和基于人体工学设计的3D电子文档阅读器可以为教育和培训领域提供更直观、舒适的显示方案，其翻页、备注、搜索等操控也极为便利。本发明具有广泛的适用性，可以在智能家居、娱乐体验、虚拟现实、医疗卫生、数字孪生等多个领域中灵活应用。
（5）本发明实现了多媒体技术与图像映射的融合，使得音频、视频、3D模型等多媒体元素可以与图像映射结合，以创建更丰富的数字体验。本发明通过可展面的图像映射技术，使用户能够获得更沉浸、直观和互动性强的体验。本发明改进了用户与数字内容的互动方式，提供了更丰富和多样化的交互体验，从而增强了用户的参与感和满意度。在工业和生产领域，可展面的图像映射技术可以改进生产和操作流程，提高生产效率。本发明可以融合多媒体技术，以允许音频、视频、3D模型等多媒体元素与图像映射结合，从而提供更丰富和引人入胜的展示效果。本发明为技术融合提供了可能性，可以与人工智能、智能制造、物联网等领域的技术相结合，创造更多创新的应用场景，提高产品的智能化和个性化，具有较好的实用性。
附图说明
图1为实施例3中基于多媒体操控的图像映射系统的原理框图。
具体实施方式
实施例1：
一种基于多媒体操控的图像映射方法，以改进现有技术中存在的操控感、自由度不够以及映射效果失真的缺陷。本发明将图像内容映射到可展面的曲面上，利用可展面的固有属性——任何一点高斯曲率为0，可以完美实现图像映射。与此同时，本发明通过对曲面模型的变形操作来实现图像映射的交互控制，从而实现更灵活、直观和沉浸式的互动体验，适应不同的应用场景和用户需求。
优选地，本发明具体包括以下步骤：
1）首先，研发可展面数学库，该库包含可展面数学模型及模型编辑器，以面向对象编程语言C++来实现。
a.对目标可展面进行建模，主要采用参数化建模和网格建模两种方法。所述参数化建模是将可展面映射到参数空间，以便描述和控制其形状。而网格建模则表示曲面由许多网格单元组成的结构。
b.接下来，选择适当的图像映射技术，将图像映射到可展面上，可选的技术包括纹理映射、投影映射、环境映射等，以实现细节和视觉效果。
c.然后，通过精确调整参数或直接控制的方法，对可展面进行变形和控制。
2）将可展面数学库与多媒体引擎（Unity3D）整合，以创建、渲染、模拟和进行碰撞检测，提供了跨平台的性能输出。允许用户通过手势来实时操控可展面或绘制可展面的测地线，增加了交互性。
优选地，可以通过映射算法的优化和像素级的图像增强后处理，提高了映射质量和效率。进一步地，所述映射算法的优化是指在模型变形过程中排除变形所产生的曲面拉伸、撕裂等错误，提高映射准确率。所述像素级的图像增强后处理是指在排除光照、透视投影等因素的影响下，直接对图形渲染管道后期的结果图像进行画面整体像素增强的方法。
本发明利用可展面模型的固有属性，通过计算UV坐标，减轻了设计师的工作量。本发明利用可展面模型的特性实现了映射效果更完美的图像映射，并大大提高了映射的正确性和逼真度。本发明利用多媒体操控技术的优势，实现了基于可展面模型的变形操控，提供了更高自由度和更灵活的操控体验，适应了多样化的应用场景和用户需求。本发明包括可展面建模、图像映射、变形操作、数学库整合、手势交互以及性能优化等多个关键步骤，可应用于游戏、数字孪生、工业仿真等领域，为多种设备和应用场景提供了丰富的创新应用可能性。
实施例2：
一种基于多媒体操控的图像映射方法，包括可展面的基本库开发、图像映射，以及通过用户的交互操作来控制图像的显示，从而创造出一种新的数字体验模式。
优选地，所述可展面的基本库开发是在Window平台下，以C++面向对象编程实现可展面数学库的数学模型定义及方法函数编辑，具体包括以下步骤：
1)设定控制点：首先，根据需要的曲线形状，在软件中设定一系列控制点来定义曲线的路径。这些控制点可以通过直接输入坐标或通过绘制曲线来实现。曲线可以选择样条线、贝塞尔曲线（默认）。
2)定义测地线参数并构建测地线：根据需要的曲线特性，如曲率、弧长等，确定测地线的参数设置。这些参数可以根据实际情况进行调整，以满足设计要求。根据设定的起始曲线和参数，生成可展面模型中的测地线。测地线的形状和特征将根据控制点和参数的变化而变化。
3)母线生成：完成测地线的创建后，对测地线进行二阶求导、与三阶求导，计算出母线的方向，再根据预先设定好的边界投影计算出母线的长度，最后将这些母线转换为可展面模型的网格表示。通过在母线上采样和连接点来实现，生成多边形网格或三角面片等表示。
4)在固有可展面数学模型拓扑组合式建模中，通过将多个基本的可展面模型进行组合和连接，来构建更复杂的几何体或曲面。这些基本模型可以是常见的几何体，如圆锥，圆柱体等，或者由开发者自定义的可展面曲面模型。
在组合过程中，需要保持模型的固有拓扑性质，即确保模型的连续性、闭合性和光滑性等特征。这意味着在组合过程中，需要考虑模型表面的连接和拓扑关系，以确保整个模型在特定的拓扑规则下保持良好的几何特性。
通过固有可展面数学模型拓扑组合式建模，开发者可以灵活地创建复杂的几何形状和曲面，如建筑物、车身、角色模型等。这种建模方法可以提供更高级别的自定义性和控制性，同时保持模型的几何完整性和可展面性质。
由于该技术核心是将可展面参数化处理后再进行网格化显示，因此对于大型且结构复杂的可展面模型存储读取非常高效（高效的模型压缩），只需要记录这些可展面片面所对应的参数即可，无需考虑模型上具体点的属性情况。
优选地，所述图像映射包括以下步骤：
圆柱和圆锥均能实现可展面映射，计算量小且位置精确。该方法主要是通过圆柱或者圆锥体，将3D空间中平面上一点p的位置，通过几何变换映射到空间曲面上，映射后的点位置为p’。
①其中，圆锥体映射情况分为三种：
a）当p点位于圆锥体圆心角B展开的覆盖区域内时，其映射公式为：
s为圆锥体与平面的切线上的一点，即为平面点映射到圆锥体锥面上位置的中间枢纽点；其中s点的坐标为；
b）当p点位于圆锥体圆心角B展开的覆盖区域外时，其映射公式为：
c）当p点位于圆锥体圆心角B展开的覆盖区域交界处时，其映射公式为：
α=βsinθ
其中：Rx为p点以x轴为旋转轴的旋转函数；
Ry为p点以y轴为旋转轴的旋转函数；
Rz为p点以z为旋转轴的旋转函数；
θ为p点围绕x轴旋转的角度值；
β为p点围绕y轴旋转的角度值；
α为p点在平面上绕z轴旋转到s点的旋转角度值；
为圆心角B展开平铺到平面上的角度；
x为平面上点p的x坐标；
y为平面上点p的y坐标。
②其中，圆柱体映射情况也分为三种：
a）当p点位于圆柱体圆心角B展开的覆盖区域内时，其映射公式为：
s为圆柱体与平面的切线上的一点，即为平面点映射到圆柱体面上位置的中间枢纽点；其中s点的坐标为（0，y，0）；
b）当p点位于圆柱体圆心角B展开的覆盖区域外时，其映射公式为：
c）当p点位于圆柱体圆心角B展开的覆盖区域交界处时，其映射公式为：
d=rβ
其中：T为移动变化函数；
Ry为p点以y为旋转轴的旋转函数；
r为p点沿z轴方向移动变换的距离；
β为p点围绕y轴旋转的角度值；
d为平面上点p到s点的距离；
x为平面上点p的x坐标；
y为平面上点p的y坐标。
优选地，在交互操作时，可以进行可展面变形操控，包括精确调整参数的方法和直接控制方法，择一适应。
所述精确调整参数的方法是通过控制参数的变化来实现对可展面的控制和变形。可以基于多项式、三角函数、Bezier曲线和有理B样条曲线中的任意一种或多种方式，调整测地线参数及控制点位置，精确控制可展面变形。
例如：使用Bezier曲线或有理B样条曲线模型拟合可展曲面上的一条测地线，并对该测地线分别进行2阶求导与3阶求导，计算其测地线前进的方向与母线组的方向。最后利用这些与测地线相垂直的母线组来组建网格模型构成曲面。此时只需要通过控制测地线的多个控制点的位置信息，便能控制网格模型所构成的曲面的形态。本发明还可以借助一些固有的数学模型，如圆柱体和圆锥体，可以通过控制其大小、位置和主线等参数来实现可展面的变形操作。
所述直接控制方法主要是通过直接控制可展面的几何位置和方向来实现变形操作。通常使用一些固有的可展面数学模型作为基础，通过输入直观的3D空间点的位置来调整模型的几何位置和方向，从而实现对可展面的直接控制。
优选地，本发明可以利用多媒体工具“Unity3D引擎”，对数学库的基本调用和交互操作，主要是通过内联交互模式IPC（Inter Process Communication）来实现算法库与多媒体引擎的内联。
在Unity3D引擎中调用编译好的静态数学库中的函数方法，是国外很多图形研究室常用的仿真测试方法，可展面数学库可以为多媒体引擎提供丰富的数学模型创建和交互算法。在Unity3D中，可展面数学库可以通过自定义脚本和组件集成到游戏或仿真内容中，以实现可展面相关的模型创建和变形，特别是游戏内容中涉及到地形、大型建筑造型等，而且游戏中的内容往往都存在交互需求，可展面的直接控制方法能很好地帮助实现交互，以及部分动画内容。通过对曲面进行纹理映射，将纹理图像或者绘制算法应用到曲面上，使得曲面个体在游戏或者其他仿真内容中具有更真实的细节（为曲面绘制图案、颜色和特效等）和视觉效果。
Unity3D还可以为可展面模型提供物理属性和约束，并实现模拟其在仿真环境中的动力学行为，这点对于工业仿真是非常有用的，特别是将来的研究中可能进行的数字孪生工厂仿真（智能制造相关）。通过可展面数学库的算法和方法，可以对模型进行碰撞检测、物体运动和碰撞响应的计算，并保证在不同平台上的一致性和性能。
Unity3D作为跨平台的游戏引擎，通过合理地设计和优化数学库的算法和计算性能，可展面数学库在不同平台上都能提供稳定和高效的性能输出。而且关于图形渲染管道部分的具体处理，还能通过修改Shader图形着色器，加速渲染提高性能。本研究计划尝试利用Vertex Shader顶点着色器探索可展面模型变形，以及利用Fragment Shader片段着色器，增强图像映射效果。
本发明将图像内容映射到可展面的曲面上，利用可展面的固有属性——任何一点高斯曲率为0，可以完美实现图像映射。与此同时，本发明通过对曲面模型的变形操作来实现图像映射的交互控制，从而实现更灵活、直观和沉浸式的互动体验，可以适应不同的应用场景和用户需求，还可以与其他先进技术融合，形成更具创新性和综合性的解决方案，具有较好的实用性。
实施例3：
一种基于多媒体操控的图像映射系统，如图1所示，包括可展面数学库、多媒体工具和多媒体应用，所述多媒体工具与可展面数学库内联交互，以实现算法库与多媒体引擎以及硬件设备的API与多媒体引擎的内联，进而构成了多媒体应用，所述多媒体应用包括基于XR技术的折纸艺术工具和基于人体工学设计的3D电子文档阅读器。所述多媒体工具包括多媒体引擎、手势识别设备及API、摄像头，可以应用形成基于XR技术的折纸艺术工具和基于人体工学设计的3D电子文档阅读器。
所述可展面数学库包括可展面建模模块、图像映射模块和变形操控模块；所述可展面建模模块用于对目标可展面模型进行建模；所述图像映射模块用于将图像内容映射到目标可展面模型的曲面上；所述变形操控模块用于对曲面模型进行变形操作，以实现图像映射的交互控制。
优选地，所述可展面建模模块包括测地线建模单元和圆柱、圆锥建模单元，任选其一进行可展面建模。所述图像映射模块包括像素映射单元和纹理映射单元，所述像素映射单元用于基于像素映射方法将图像内容映射到目标可展面的曲面上，所述纹理映射单元用于基于纹理映射方法将图像内容映射到目标可展面的曲面上；所述变形操控模块包括调参操控单元和直接操控单元，所述调参操控单元用于基于控制参数的变化来实现对可展面的控制和变形，所述直接操控单元用于基于直接控制可展面的几何位置和方向来实现对可展面的控制和变形。本发明利用手势识别设备并结合可展面数学库，可以在基于XR技术的折纸艺术工具的应用程序中，让用户通过手势来绘制可展面的测地线。用户可以利用手势在空间中划出曲线形状，可展面数学库可以将手势中产生的二维或三维数据转化为可展面测地线，并在创建出对应可展面，在应用程序中进行实时展示和交互。此外，还可以利用直接操控方法实现简单、快捷的折纸操作。
本发明在使用过程中，首先，使用C/C++面向对象编程语言进行，搭建可展面数学库，具体包括可展面建模模块、图像映射模块和变形操控模块三大板块。其次，利用多媒体工具对数学库的基本调用和交互操作，主要是通过内联交互模式IPC（Inter ProcessCommunication）来实现算法库与多媒体引擎的内联，以及多种硬件设备的API与多媒体引擎的内联。最终，在多媒体引擎与可展面数学库内联模式的交互下，在多种影像输入设备硬件的加持下，例如：手势识别设备leap motion、kinect、普通摄像头等，产出基于XR技术的折纸艺术工具和基于人体工学设计的3D电子文档阅读器的创新型应用。
本发明可以结合Unity3D引擎与手势识别设备（Leap-Motion）、摄像头等传感器，产出基于XR技术的折纸艺术工具和基于人体工学设计的3D电子文档阅读器，实现对可展面模型变形的实时手势操控。针对基于XR技术的折纸艺术工具，用户可以通过手势来操控和变形可展面模型，如手指捏合来缩放、手势划动来旋转和平移等，让用户更直接地交互和控制可展面模型。在XR环境下，虚拟的3D手被设备（LEAP-MOTION）识别后，可以与虚拟的电子书实现交互体验。针对基于人体工学设计的3D电子文档阅读器，可以利用摄像头进行人脸追踪，利用图像处理技术计算出人脸与显示器屏幕的夹角，如果夹角为0度，则此时人脸平行于显示屏，只需要将虚拟3D电子文档的曲面背离视线方向倾斜一定角度，初始设定30度，角度可调，让阅读体验更舒适。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (8)
1.一种基于多媒体操控的图像映射方法，其特征在于，包括以下步骤：
步骤S100：建立可展面数学库；
步骤S110：对目标可展面进行建模；
步骤S111：根据目标曲线的形状，设定若干个控制点来定义曲线的路径；
步骤S112：根据目标曲线的特性，定义测地线的参数；根据步骤S111中设定的起始曲线和定义的测地线的参数，生成可展面模型中的测地线；
步骤S113：对测地线进行二阶求导与三阶求导，计算出母线的方向；再根据预先设定的边界投影计算出母线的长度，最后，将母线转换为可展面模型的网格表示，实现可展面的网格化显示；
步骤S114：进行固有可展面数学模型拓扑组合式建模，将若干个网格化显示的可展面模型进行组合和连接，构建几何体或者曲面；在组合的过程中，保持可展面模型的固有拓扑性质；
步骤S120：将图像内容映射到步骤S110中构建的目标可展面的曲面上；
步骤S200：将步骤S100中的可展面数学库与多媒体工具进行内联交互，基于多媒体工具对可展面数学库进行调用和交互操作，交互实现通过控制参数变化的方法或直接控制的方法对目标可展面进行控制和变形；
所述步骤S120中，基于圆锥体将图像内容映射到目标可展面的曲面上，且包括以下步骤：
步骤SA1：将3D空间中平面上一点p的位置，通过几何变换映射到空间曲面上，映射后的点位置为p'；
步骤SA2：若p点位于圆锥体圆心角B展开的覆盖区域内，则映射公式如下：
p′＝Rx(θ)R,(-β)R(-0)s
β＝中/sinθ
s为圆锥体与平面的切线上的一点，即为平面点映射到圆锥体锥面上位置的中间枢纽点；其中s点的坐标为
步骤SA3：若p点位于圆锥体圆心角B展开的覆盖区域外，则映射公式如下：
p′＝R,(0)R,(-β)Rx(-0)R(α)p
步骤SA4：若p点位于圆锥体圆心角B展开的覆盖区域交界处，则映射公式如下：
α＝βsinθ
所述步骤S120中，基于圆柱体将图像内容映射到目标可展面的曲面上，且包括以下步骤：
步骤SB1：将3D空间中平面上一点p的位置，通过几何变换映射到空间曲面上，映射后的点位置为p′；
步骤SB2：若p点位于圆柱体圆心角B展开的覆盖区域内，则映射公式如下：
p′＝T(0，0，r)R，(-β)T(0，0，-r)s
β＝x/r
s为圆柱体与平面的切线上的一点，即为平面点映射到圆柱体面上位置的中间枢纽点；其中s点的坐标为(0，y，0)；
步骤SB3：若p点位于圆柱体圆心角B展开的覆盖区域外，则映射公式如下：
p′＝T(0，0，r)R，(-β)T(-d，0，-r)p
步骤SB4：若p点位于圆柱体圆心角B展开的覆盖区域交界处，则映射公式如下：
d＝rβ
其中：
Rx为p点以x轴为旋转轴的旋转函数；
Ry为p点以y轴为旋转轴的旋转函数；
Rz为p点以z为旋转轴的旋转函数；
θ为p点围绕x轴旋转的角度值；
α为p点在平面上绕z轴旋转到s点的旋转角度值；
β为p点围绕y轴旋转的角度值；
φ为圆心角B展开平铺到平面上的角度；
T为移动变化函数；
r为p点沿z轴方向移动变换的距离；
d为平面上点p到s点的距离；
x为平面上点p的x坐标；
y为平面上点p的y坐标。
2.根据权利要求1所述的一种基于多媒体操控的图像映射方法，其特征在于，所述步骤S200中，交互实现通过调整测地线的参数及控制点的位置对目标可展面进行变形：
使用Bezier曲线或者有理B样条曲线模型拟合可展曲面上的测地线，并对该测地线进行二阶求导与三阶求导，计算母线组的方向；最后利用与测地线相垂直的母线组来组建可展面的网格模型并构成曲面；通过控制测地线的控制点的位置信息，实现控制可展面的网格模型所构成的曲面的形态。
3.根据权利要求1或2所述的一种基于多媒体操控的图像映射方法，其特征在于，所述步骤S200中，在对目标可展面进行变形的过程中，排除变形所产生的曲面拉伸、撕裂的错误；然后，进行像素级的图像增强后处理：在排除光照、透视投影因素的影响下，直接对图形渲染管道后期的结果图像进行画面整体像素增强。
4.根据权利要求1所述的一种基于多媒体操控的图像映射方法，其特征在于，所述步骤S200中，多媒体工具包括Unity3D引擎，所述Unity3D引擎与可展面数学库内联交互，所述Unity3D引擎为可展面模型提供物理属性和约束，并实现模拟其在仿真环境中的动力学行为；所述可展面数学库通过自定义脚本以及将组件集成到游戏或仿真内容中，实现可展面模型的创建和变形。
5.一种基于多媒体操控的图像映射系统，基于权利要求1-4任一项所述的图像映射方法进行，其特征在于，包括可展面数学库和多媒体工具，所述多媒体工具与可展面数学库内联交互；所述可展面数学库包括可展面建模模块、图像映射模块和变形操控模块；所述可展面建模模块用于对目标可展面模型进行建模，所述图像映射模块用于将图像内容映射到目标可展面模型的曲面上；所述变形操控模块用于对目标可展面进行变形操作，以实现图像映射的交互控制。
6.根据权利要求5所述的一种基于多媒体操控的图像映射系统，其特征在于，所述图像映射模块包括像素映射单元和纹理映射单元，所述像素映射单元用于基于像素映射方法将图像内容映射到目标可展面的曲面上，所述纹理映射单元用于基于纹理映射方法将图像内容映射到目标可展面的曲面上；所述变形操控模块包括调参操控单元和直接操控单元，所述调参操控单元用于基于控制参数的变化来实现对可展面的控制和变形，所述直接操控单元用于基于直接控制可展面的几何位置和方向来实现对可展面的控制和变形。
7.根据权利要求5或6所述的一种基于多媒体操控的图像映射系统，其特征在于，应用于形成基于XR操控技术的折纸工具和/或基于人体工学设计的3D电子文档阅读器。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一项所述的图像映射方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410258771.4A CN117853320B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多媒体操控的图像映射方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410258771.4A CN117853320B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多媒体操控的图像映射方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117853320A CN117853320A (zh) | 2024-04-09 |
| CN117853320B true CN117853320B (zh) | 2024-05-28 |
Family
ID=90529063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410258771.4A Active CN117853320B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多媒体操控的图像映射方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117853320B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005149245A (ja) * | 2003-11-17 | 2005-06-09 | Mitsubishi Heavy Ind Ltd | Ｃａｄシステム、曲面解析装置、曲面再生装置、その方法及びそのプログラム |
| CN101711371A (zh) * | 2007-06-07 | 2010-05-19 | 帕拉戴姆地球物理有限公司 | 用于显示全方位角域图像数据的设备和方法 |
| CN102208025A (zh) * | 2011-05-27 | 2011-10-05 | 中国科学院自动化研究所 | 一种文本图像几何畸变的矫正方法 |
| CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技（深圳）有限公司 | 具有增强现实效果的投影方法及系统 |
| CN105335552A (zh) * | 2015-09-29 | 2016-02-17 | 浙江大学 | 不可伸展带状物体的几何性质描述模型及动力学模拟方法 |
| CN111127492A (zh) * | 2020-03-27 | 2020-05-08 | 北京智拓视界科技有限责任公司 | 用于脑图像注册的方法、装置和计算机可读存储介质 |
| CN114565742A (zh) * | 2022-02-16 | 2022-05-31 | 青岛科技大学 | 小天体表面动态模拟与着陆视景仿真系统及方法 |
| CN116187125A (zh) * | 2022-12-29 | 2023-05-30 | 南京航空航天大学无锡研究院 | 一种大宽度带料铺放轨迹规划算法 |
| DE102023112256A1 (de) * | 2022-05-19 | 2023-11-23 | Nvidia Corporation | Neuronale Netze zur Anzeige von Datenabhängigkeiten |
| CN117250909A (zh) * | 2023-10-25 | 2023-12-19 | 合肥工业大学 | 一种基于测地线的自由曲面数控加工路径规划方法 |
| CN117522902A (zh) * | 2024-01-04 | 2024-02-06 | 齐鲁工业大学(山东省科学院) | 一种基于测地线模型的自适应割方法及设备 |
| CN117611774A (zh) * | 2023-12-14 | 2024-02-27 | 深圳微盐红创设计院有限公司 | 一种基于增强现实技术的多媒体展示系统及方法 |
-
2024
- 2024-03-07 CN CN202410258771.4A patent/CN117853320B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005149245A (ja) * | 2003-11-17 | 2005-06-09 | Mitsubishi Heavy Ind Ltd | Ｃａｄシステム、曲面解析装置、曲面再生装置、その方法及びそのプログラム |
| CN101711371A (zh) * | 2007-06-07 | 2010-05-19 | 帕拉戴姆地球物理有限公司 | 用于显示全方位角域图像数据的设备和方法 |
| CN102208025A (zh) * | 2011-05-27 | 2011-10-05 | 中国科学院自动化研究所 | 一种文本图像几何畸变的矫正方法 |
| CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技（深圳）有限公司 | 具有增强现实效果的投影方法及系统 |
| CN105335552A (zh) * | 2015-09-29 | 2016-02-17 | 浙江大学 | 不可伸展带状物体的几何性质描述模型及动力学模拟方法 |
| CN111127492A (zh) * | 2020-03-27 | 2020-05-08 | 北京智拓视界科技有限责任公司 | 用于脑图像注册的方法、装置和计算机可读存储介质 |
| CN114565742A (zh) * | 2022-02-16 | 2022-05-31 | 青岛科技大学 | 小天体表面动态模拟与着陆视景仿真系统及方法 |
| DE102023112256A1 (de) * | 2022-05-19 | 2023-11-23 | Nvidia Corporation | Neuronale Netze zur Anzeige von Datenabhängigkeiten |
| CN116187125A (zh) * | 2022-12-29 | 2023-05-30 | 南京航空航天大学无锡研究院 | 一种大宽度带料铺放轨迹规划算法 |
| CN117250909A (zh) * | 2023-10-25 | 2023-12-19 | 合肥工业大学 | 一种基于测地线的自由曲面数控加工路径规划方法 |
| CN117611774A (zh) * | 2023-12-14 | 2024-02-27 | 深圳微盐红创设计院有限公司 | 一种基于增强现实技术的多媒体展示系统及方法 |
| CN117522902A (zh) * | 2024-01-04 | 2024-02-06 | 齐鲁工业大学(山东省科学院) | 一种基于测地线模型的自适应割方法及设备 |
Non-Patent Citations (4)
| Title |
|---|
| FRP圆环压力容器纤维缠绕运动规律分析;范立耘;武汉理工大学学报;20001230(06);全文 * |
| 刘骊 ; 王若梅 ; 罗笑南 ; 付晓东 ; 刘利军 ; .数据驱动的三维服装快速建模.软件学报.(10),全文. * |
| 基于测地线活动轮廓模型的图像除噪和增强;石澄贤;赵志新;林红章;;江苏工业学院学报;20081225(04);全文 * |
| 曲面片的可展切曲面及其映射分析;毛昕等;《图学学报》;20121215;第33卷(第6期);31-37 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117853320A (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Feature based 3D garment design through 2D sketches | |
| US8345044B2 (en) | Indirect binding with segmented thin layers to provide shape-preserving deformations in computer animation | |
| US7570264B2 (en) | Rig baking | |
| US20090213131A1 (en) | Mesh transfer | |
| Michalik et al. | Sketch-and constraint-based design of B-spline surfaces | |
| EP1808814B1 (en) | Wrap deformation using subdivision surfaces | |
| US20100053172A1 (en) | Mesh transfer using uv-space | |
| JP2005505060A (ja) | ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 | |
| Jin et al. | General constrained deformations based on generalized metaballs | |
| WO2005024728A1 (ja) | 形態変形装置、物体動作符号化装置および物体動作復号化装置 | |
| Miranda et al. | Sketch express: A sketching interface for facial animation | |
| US8358311B1 (en) | Interpolation between model poses using inverse kinematics | |
| Sandnes | Sketching 3D immersed experiences rapidly by hand through 2D cross sections | |
| You et al. | Fast character modeling with sketch-based PDE surfaces | |
| Yan et al. | A non-photorealistic rendering method based on Chinese ink and wash painting style for 3D mountain models | |
| Yang et al. | Conformal freeform surfaces | |
| EP2260403B1 (en) | Mesh transfer | |
| CN115908664B (zh) | 人机交互的动画生成方法、装置、计算机设备、存储介质 | |
| CN117853320B (zh) | 一种基于多媒体操控的图像映射方法、系统及存储介质 | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| JP2002352270A (ja) | モデルの適応的サンプル距離フィールドを訂正する方法 | |
| Qi | Computer aided design simulation of 3D garden landscape based on virtual reality | |
| Thalmann et al. | The Making of the Xian terra-cotta Soldiers | |
| US8890889B1 (en) | System and method for generating a pose of an object | |
| Camba et al. | Computer-Aided Design, Computer-Aided Engineering, and Visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |