CN113962979A - 一种基于深度图像的布料碰撞仿真增强呈现方法及装置 - Google Patents

一种基于深度图像的布料碰撞仿真增强呈现方法及装置 Download PDF

Info

Publication number
CN113962979A
CN113962979A CN202111271781.4A CN202111271781A CN113962979A CN 113962979 A CN113962979 A CN 113962979A CN 202111271781 A CN202111271781 A CN 202111271781A CN 113962979 A CN113962979 A CN 113962979A
Authority
CN
China
Prior art keywords
cloth
collision
image
particle
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111271781.4A
Other languages
English (en)
Inventor
李毅
钮倩倩
叶修梓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202111271781.4A priority Critical patent/CN113962979A/zh
Publication of CN113962979A publication Critical patent/CN113962979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/12—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于深度图像的布料碰撞仿真增强呈现方法，包括获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在布料的深度图中定位出目标区域空间；确定目标区域空间中的布料二维图像特征，并根据布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；将模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。实施本发明，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。

Description

一种基于深度图像的布料碰撞仿真增强呈现方法及装置
技术领域
本发明涉及图像处理技术领域和虚拟现实技术领域，尤其涉及一种基于深度图像的布料碰撞仿真增强呈现方法及装置。
背景技术
随着5G商用和虚拟现实产业的发展，增强现实以空间虚实融合的增强场景呈现，将虚拟模型与现实场景有机的统一，并结合多媒体技术、实时跟踪和注册、三维重建、虚实场景融合等技术，广泛应用于教育教学、游戏娱乐、医疗培训、工业诊断以及军事训练等多个领域。例如，在教育教学领域，利用增强现实技术将书本上的文字图片等静态信息在虚拟空间三维立体化，带给读者不一样的视觉感受，通过多模态的信息引导，从而更加有利于读者对于知识的理解；又如，在游戏娱乐领域，增强现实技术将玩家、现实环境以及游戏中的虚拟物体关联起来，带给玩家新颖奇特的游戏体验和新的交互手段；又如，在医疗培训领域，增强现实以其较好的虚实结合技术、实时交互能力、三维空间中添加虚拟物体等优点成为医疗培训领域的新兴技术；又如，在工业诊断领域，结合机器视觉和机器学习等技术，能够辅助工作人员对设备进行检修，甚至设备操作方面的辅助操作提示；又如，在军事训练领域，利用增强现实技术构建的训练模型系统，既能够反映真实世界的基本特征，又能够将真实世界中不存在的各种要素以虚拟方式叠加到真实世界中，从而构造出了一种超越真实的模拟训练环境。
增强现实技术主要的表现形式为将虚拟模型和信息展示于真实的空间场景中，首先要做的工作就是调用摄像设备(传统摄像头或红外雷达摄像头等)，进行数字图像和视频的目标采集，进而通过识别码或自然特征的准确识别并定位，将现实世界的场景投影到摄像机平面上，最后利用图形建模技术驱动展示虚拟模型信息。
当前，诸多增强现实的应用领域中存在着不少以物体自然特征为主要研究对象的应用，用以弥补传统识别码带来的视觉感觉不佳等体验。通过实时计算机图形学仿真技术，能够模拟虚拟物体与现实物体的碰撞检测响应效果，从而推动了增强现实技术向更宽更广的应用衍生。随着用户交互需求的增长，进一步在复杂场景下推动这类技术的发展。
随着增强现实应用场景的发展，对于衣帽鞋服等传统制造业和装饰展示也带来了新的创新发展思路。虚拟试衣、增强现实AR化妆、雷达摄影AR鞋码测量等应用也给消费者带来了全新的技术体验，网上购物、物联网和5G高速网络传输的技术背景下，也给消费者带来了新颖的生活方式改变。
然而，真实场景下的现有柔性布料仿真效果并不佳。因此，有必要对真实场景下的现有柔性布料仿真效果进行改进，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于深度图像的布料碰撞仿真增强呈现方法及装置，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
为了解决上述技术问题，本发明实施例提供了一种基于深度图像的布料碰撞仿真增强呈现方法，所述方法包括以下步骤：
获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
其中，所述布料的深度图是通过摄像设备或固定位置的多摄像头对含有布料的目标场景进行深度图像采集，并结合深度图像采集时摄像设备或多摄像头的标定信息和视差信息计算出来的。
其中，所述感兴趣模型区域的包围盒为AABB包围盒。
其中，所述面向特征点或纹理的模板识别自然特征图为根据所述目标区域空间中的布料二维图像颜色或纹理特征，随机构建的简单几何形体图像。
其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
其中，所述柔性布料三维模型通过以下公式(1)～(5)来表达；
Figure RE-GDA0003402365730000031
Figure RE-GDA0003402365730000032
Figure RE-GDA0003402365730000033
Figure RE-GDA0003402365730000034
Figure RE-GDA0003402365730000035
式(1)中，fout(X，t)表示质点在时刻t所受的外力的总和，fint(X，t)表示质点在时刻t所受的布料内部质点之间作用力的总和；质点之间的内力为弹簧产生的弹性形变力和阻尼力；外力为重力G和设定的恒定外力fexternal；
式(2)中，ce，表示质点P0与Pi两点间弹簧的弹性变形系数，
Figure 1
表示时刻t质点P0与Pi之间的距离，
Figure RE-GDA0003402365730000042
表示零时刻粒子P0与Pi的最初设定的距离，
Figure RE-GDA0003402365730000043
表示Pi指向P0的单位向量；
式(3)中，fdamp表示弹簧阻尼力；Cd表示阻尼系数；
式(4)中，fevey表示质点所受的重力；
式(5)中，Δt表示时间步长；
Figure RE-GDA0003402365730000044
表示质点[i，j]在时刻t所受到的合力；
Figure RE-GDA0003402365730000045
表示质点[i，j]在时刻t的加速度；
Figure RE-GDA0003402365730000046
表示质点[i，j]在时刻t的速度；
Figure RE-GDA0003402365730000047
表示质点[i，j]在时刻t的位置。
其中，所述柔性布料三维模型所设计的碰撞处理架构为采用AABB和 Sphere包围盒相结合构造碰撞区域层次化碰撞检测的结构树；其中，该结构树的叶子节点利用Sphere包围盒，根节点利用AABB包围盒。
其中，所述柔性布料三维模型所设计的碰撞响应算法具体为：
若质点和球体碰撞之间检测到了碰撞，即质点与球体的球心距离小于球体的半径时需要进行碰撞响应，则需将质点的位置调整为质点沿速度方向与球体发生碰撞的第一个点，并且将质点的速度修正为只保留与球体的切向速度。
本发明实施例还提供了一种基于深度图像的布料碰撞仿真增强呈现装置，包括：
目标区域图像分割单元，用于获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
自然特征图像生成单元，用于确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
碰撞仿真增强图像呈现单元，用于将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
实施本发明实施例，具有如下有益效果：
本发明引用图像目标特征区域进行增强现实图像匹配，采用实时的柔性布料仿真增强呈现以及采用高效的碰撞检测和响应方法，从而结合了深度图像特征空间的定位和特征匹配来驱动布料与真实目标区域的碰撞响应，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的基于深度图像的布料碰撞仿真增强呈现方法的流程图；
图2为本发明实施例中提供的一种基于深度图像的布料碰撞仿真增强呈现方法中柔性布料碰撞检测模型的碰撞处理架构内质点与层次包围盒树的遍历过程图；
图3为本发明实施例中提供的一种基于深度图像的布料碰撞仿真增强呈现方法中柔性布料碰撞检测模型的碰撞响应算法内质点的碰撞响应图；
图4为本发明实施例提供的基于深度图像的布料碰撞仿真增强呈现装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提供的一种基于深度图像的布料碰撞仿真增强呈现方法，所述方法包括以下步骤：
步骤S1、获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
步骤S2、确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
步骤S3、将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
具体过程为，在步骤S1之前，预先构建感兴趣模型区域的包围盒为AABB 包围盒以及预先定义柔性布料碰撞检测模型。
第一步，鉴于包围盒是最灵活的一种方法，且AABB包围盒的目的在于增强呈现仿真目标的定位，不用精确进行多边形碰撞检测，从而可以用来提高后续碰撞响应的实时性呈现。应当说明的是，AABB相较于OBB具有更高效的碰撞检测，从而可以进一步提高后续碰撞响应的实时性呈现。
第二步，柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且该柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
(I)质点-弹簧模型是应用最广泛的模型之一，也是本发明所采用的柔性布料物理建模方法。基于四边形网格的质点弹簧模型，根据质点之间不同的连接方式，将弹簧分为结构弹簧、弯曲弹簧和剪切弹簧。结构弹簧可以维持布料网格的基本形状；弯曲弹簧可以防止布料网格出现过度弯曲；剪切弹簧可以防止布料网格的对角线方向过度扭曲。所有的弹簧均为理想的线性弹簧。
力学模型的设计基于较高的实时性和逼真性两方面的考量。采用力学法建立力学模型，质点的活动规律可以用式(1)来表示。
Figure RE-GDA0003402365730000071
在式(1)中，fout(X，t)表示质点在时刻t所受的外力的总和，fint(X，t)表示质点在时刻t所受的布料内部质点之间作用力的总和，这两个力受质点的位置和时间决定。质点-弹簧模型中质点之间的内力为弹簧产生的弹性形变力和阻尼力；外力为重力G和设定的恒定外力fexternal。
鉴于本发明采用理想的质点-弹簧模型，可以利用Hooke定律计算弹簧的弹性形变力。
假设质点P0其相邻质点的集合为R，则P0所受的弹性变形力如式(2)表示。
Figure RE-GDA0003402365730000072
式(2)中，ce表示质点P0与Pi两点间弹簧的弹性变形系数，
Figure RE-GDA0003402365730000073
表示时刻t质点P0与Pi之间的距离，
Figure RE-GDA0003402365730000074
表示零时刻粒子P0与Pi的最初设定的距离，
Figure RE-GDA0003402365730000075
表示Pi指向P0的单位向量。P0与Pi按照连接方向和中间间隔质点个数来决定是结构弹簧、剪切弹簧和弯曲弹簧中的哪一种，然后再计算响应的力的大小。
形变力的变化可能引起布料质点的震荡，为了防止质点过度震荡，从而降低仿真的真实性，故加入弹簧阻尼力fdamp，该力与质点的速度成一次函数，如式(3)所示。
Figure RE-GDA0003402365730000081
式(3)中，Cd是阻尼系数。阻尼力与质点速度成正相关，可以有效果地防止因质点震荡过快而引起的布料不真实地拉长变形的现象发生，从而提升仿真的逼真性。
模型使用的是理想的质点-弹簧模型，柔性织物上的质点分布平均且质量一致，设布料的总质量为M，则布料所受的重力为G＝Mg。因此，模型中每个质点所受的重力如式(4)所示。通过恒定外力fexternal可以模拟类似风力的效果，其力的大小通过仿真系统来设定。
Figure RE-GDA0003402365730000082
结合以上质点-弹簧模型，可建立力学方程。在模型中质点[i，j]随时间变化的加速度、速度和位移表示如式(5)所示。
Figure RE-GDA0003402365730000083
式(5)中，Δt表示时间步长；
Figure RE-GDA0003402365730000084
表示质点[i，j]在时刻t所受到的合力；
Figure RE-GDA0003402365730000085
表示质点[i，j]在时刻t的加速度；
Figure RE-GDA0003402365730000086
表示质点[i，j]在时刻t的速度；
Figure RE-GDA0003402365730000087
表示质点[i，j]在时刻t的位置。
更进一步的，本发明采用龙格-库塔方法求解时间积分。相较于欧拉法o(h2) 的截断误差，中值法o(h3)的截断误差，龙格-库塔法能够获得更高的截断误差，其思想为在(xn，xn+1)中预测出多个点的斜率，借此构造出更精细的时间积分公式。四阶龙格-库塔积分法是在每个时间步长内去预测出四个斜率，其截断误差为o(h5)
k1＝f(xn，yn)
Figure RE-GDA0003402365730000091
Figure RE-GDA0003402365730000092
k4＝f(xn+h，yn+hk3))
Figure 2
由上述公式可见，四阶龙格-库塔积分法比欧拉法要进行更多的运算，占用更多的内存空间，但是它的优点是能够提高仿真的精确性和稳定性，非常适合大时间步长的仿真。
(II)该柔性布料三维模型设计有并行处理的着色器。
计算着色器(Compute shader)是一种可以运用在任意着色阶段的着色器。它为一般任务提供了并行性。为了提高实时性，本发明使用了计算着色器来并行实现弹簧-质点模型的碰撞处理算法。计算着色器的调用次数由用户定义的计算空间控制，计算空间可以定义为一维、二维或三维空间，计算空间又被分成若干组，每个组都包含许多对计算着色器的调用。
对于每个不同的计算着色器，可以定义不同的全局空间和局部空间，本发明使用了三个计算着色器来加速仿真流程，如下表1展示了每个计算着色器的名字、功能及所使用的全局空间和局部空间。
表1
Figure RE-GDA0003402365730000101
计算着色器没有任何直接用户定义的输入和输出。计算着色器直接从内存中获取数据通过图像访问函数或者通过使用着色器缓冲区对象(Shader Storage BufferObjects，SSBO)获取数据。着色器缓冲区对象是一个可以在GLSL shader中进行写入和读取的一种特殊的缓冲区对象。它们的大小受可用GPU内存量的限制，其大小可以高达16KB。
本发明创建了多个SSBO来方便信息的存取，如下表2展示了为每个着色器定义的SSBO。
表2
Figure RE-GDA0003402365730000102
计算着色器NodeUpdate所启用的线程数与柔体质点的数目相同，每个线程会获得一个全局的ID，之后用这个ID去获取所处理的质点的坐标、速度等信息。它也有一个能够将模型局部坐标系转换为世界坐标系的矩阵。这个着色器会更新质点局部坐标系中位置和速度以及世界坐标系中的位置和速度。
计算着色器CollisionDectionWithBVH所启用的线程和着色器NodeUpdate 一样，与柔体质点的数目相同，每个线程先获取自己的全局ID，然后根据这个全局ID去获得自己所需处理的质点信息，然后用这个质点以非递归的深度优先的方法遍历模型的BVH，如果质点与球体碰撞器发生碰撞，则进行碰撞响应，去更新质点的位置和速度。
在计算着色器normalShader所启用的线程个数与质点数相同，每个线程计算先获取自己在全局中的ID，并读取质点的坐标，整体的行数和列数，然后使用着色器计算这个质点所连接的所有面的法向量，并将向量归一化处理，求出质点的法线。
(III)该柔性布料三维模型设计有碰撞处理架构，具体为采用AABB和 Sphere包围盒相结合构造碰撞区域层次化碰撞检测的结构树；其中，该结构树的叶子节点利用Sphere包围盒，根节点利用AABB包围盒。
在柔体仿真中，物体之间的碰撞类型可以分为柔体-刚体之间的碰撞和柔体- 柔体之间的自碰撞。本发明主要对柔体与刚体之间的碰撞进行重点处理。
(a)对刚体模型的预处理
相对以往对于模型的每个三角面构造包围盒来保证仿真过程所带来的真实性，本发明提出了一种通过构造一组BVH结构碰撞器，来简化模型的方法，该方法首先为模型的整体构造一个AABB，然后将AABB根据情况所需划分成多个体素，为每个体素求出一个球体碰撞器，该碰撞器能够将该体素内所含的所有顶点包围起来，球体碰撞器即为BVH(包围盒层次结构)结构树中的叶子节点，代表了刚体模型的实际参与碰撞的部分。AABB碰撞器即为非叶子节点，柔体质点不必再去和模型的每个面进行碰撞检测，用来快速剔除无碰撞区域。
(b)包围盒的选择和并行构造BVH
Sphere包围盒构造简单，但是其紧密性很差，适用于旋转量较大的场景。 OBB在紧密型上要比AABB和Sphere强上许多，但是繁杂的构造方法会降低实时性。K-DOP对于K值的选择十分重要，需要多次测试来选择出最佳的K值，较为麻烦。虽然AABB的紧密性没有OBB好，但是构造方法简单，所以本发明选择使用AABB和Sphere包围盒构造BVH。本发明采用基于Morton码的自顶向下的方法构造BVH树。自顶向下方法是指碰撞过程先对整个目标碰撞物构建包围盒作为根节点，将目标碰撞物按照一定的规则细分成小的几何体，对几何体进行构造包围盒，这些几何体还可以细分成更小的几何体。就这样依次细分下去的构造方式类似于树状结构，叶子节点构成目标碰撞物的最小几何单元。
首先根据每个图元的中心点计算它们的Morton码。本发明构建的BVH是一个满二叉树结构，即如果有N个叶子节点，则会有N-1个非叶节点。对每个非叶节点并行处理，根据Morton码的最大差异位进行包围盒层次结构的划分。该方法只需分配一个由N-1个非叶节点组成的数组，然后并行处理所有非叶节点。每一个线程首先需要确定其节点对应的对象范围，然后用相同的方式继续分割这个范围。最后，根据节点各自的子范围为节点选择子节点。如果子范围里只有一个对象，则必须是叶子节点。否则，引用数组中的另一个非叶节点。
(c)层次包围盒的遍历
质点以非递归的深度优先的方法遍历模型的BVH。在质点对刚体模型的 BVH进行遍历时，质点对BVH的某一层的所有节点进行相交测试，如果都不相交，那么该质点与模型不相交，遍历过程如图2所示。
(IV)柔性布料三维模型设计有碰撞响应算法。
该算法具体为：若质点和球体碰撞之间检测到了碰撞，即质点与球体的球心距离小于球体的半径时需要进行碰撞响应，则需将质点的位置调整为质点沿速度方向与球体发生碰撞的第一个点，并且将质点的速度修正为只保留与球体的切向速度。
如图3所示，质点在时刻t0的位置为P0，速度为V0，经过一个步长的时间积分后，在时刻t1的位置为P1，速度为V1，此时质点与球心的距离小于球体的半径，质点与球体发生碰撞，求出质点与球体发生碰撞的点P′1，将质点为位置修改为P′1，再将速度改为原速度沿球壳方向的切向速度。由此便完成了碰撞响应。
在步骤S1中，通过摄像设备(如深度摄像头)或固定位置的多摄像头对含有布料的目标场景进行深度图像采集，并结合深度图像采集时摄像设备或多摄像头的标定信息和视差信息计算出来布料的深度图，并通过上述预先构建的感兴趣模型区域的AABB包围盒，在布料的深度图中定位出目标区域空间。
应当说明的是，由于深度摄像头能够通过单目RGB摄像和红外线摄像头的共同作用，直接获取目标物体的深度信息，故较多摄像头更为灵活。同样也适用于多摄像头条件，目的都是为了获取初始相机标定内外参数据和视差值，故依据实现场景条件选取。
在步骤S2中，确定目标区域空间中的布料二维图像特征，并根据布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图，为后续交互过程中的增强呈现虚拟模型进行识别匹配与定位。相对于直接实用目标区域内二维图像特征进行模板匹配，为后续增强呈现的实时性效率会造成一定的影响，因此根据目标区域的二维图像颜色或纹理特征，随机使用简单几何形体作为识别，可以高效进行识别匹配和增强呈现模型的定位，即该面向特征点或纹理的模板识别自然特征图为根据目标区域空间中的布料二维图像颜色或纹理特征，随机构建的简单几何形体图像。
在步骤S3中，将模板识别自然特征图导入上述预先定义的柔性布料碰撞检测模型中进行碰撞仿真，就可以得到布料增强呈现的视觉图像。
如图4所示，为本发明实施例中，提供的一种基于深度图像的布料碰撞仿真增强呈现装置，包括：
目标区域图像分割单元110，用于获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
自然特征图像生成单元120，用于确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
碰撞仿真增强图像呈现单元130，用于将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
其中，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
实施本发明实施例，具有如下有益效果：
本发明引用图像目标特征区域进行增强现实图像匹配，采用实时的柔性布料仿真增强呈现以及采用高效的碰撞检测和响应方法，从而结合了深度图像特征空间的定位和特征匹配来驱动布料与真实目标区域的碰撞响应，使得增强现实环境中更为直观，通过布料增强呈现来得到更好的仿真效果。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述方法包括以下步骤：
获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
2.如权利要求1所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述布料的深度图是通过摄像设备或固定位置的多摄像头对含有布料的目标场景进行深度图像采集，并结合深度图像采集时摄像设备或多摄像头的标定信息和视差信息计算出来的。
3.如权利要求2所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述感兴趣模型区域的包围盒为AABB包围盒。
4.如权利要求1所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述面向特征点或纹理的模板识别自然特征图为根据所述目标区域空间中的布料二维图像颜色或纹理特征，随机构建的简单几何形体图像。
5.如权利要求1所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
6.如权利要求5所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述柔性布料三维模型通过以下公式(1)～(5)来表达；
Figure RE-FDA0003402365720000021
Figure RE-FDA0003402365720000022
Figure RE-FDA0003402365720000023
Figure RE-FDA0003402365720000024
Figure RE-FDA0003402365720000025
式(1)中,fout(X，t)表示质点在时刻t所受的外力的总和，fint(X，t)表示质点在时刻t所受的布料内部质点之间作用力的总和；质点之间的内力为弹簧产生的弹性形变力和阻尼力；外力为重力G和设定的恒定外力fexternal；
式(2)中，Ce表示质点P0与Pi两点间弹簧的弹性变形系数，
Figure RE-FDA0003402365720000026
表示时刻t质点P0与Pi之间的距离，
Figure RE-FDA0003402365720000027
表示零时刻粒子P0与Pi的最初设定的距离，
Figure RE-FDA0003402365720000028
表示Pi指向P0的单位向量；
式(3)中，fdamp表示弹簧阻尼力；Cd表示阻尼系数；
式(4)中，fevey表示质点所受的重力；
式(5)中，Δt表示时间步长；
Figure RE-FDA0003402365720000031
表示质点[i,j]在时刻t所受到的合力；
Figure RE-FDA0003402365720000032
表示质点[i,j]在时刻t的加速度；
Figure RE-FDA0003402365720000033
表示质点[i,j]在时刻t的速度；
Figure RE-FDA0003402365720000034
表示质点[i,j]在时刻t的位置。
7.如权利要求6所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述柔性布料三维模型所设计的碰撞处理架构为采用AABB和Sphere包围盒相结合构造碰撞区域层次化碰撞检测的结构树；其中，该结构树的叶子节点利用Sphere包围盒，根节点利用AABB包围盒。
8.如权利要求7所述的基于深度图像的布料碰撞仿真增强呈现方法，其特征在于，所述柔性布料三维模型所设计的碰撞响应算法具体为：
若质点和球体碰撞之间检测到了碰撞，即质点与球体的球心距离小于球体的半径时需要进行碰撞响应，则需将质点的位置调整为质点沿速度方向与球体发生碰撞的第一个点，并且将质点的速度修正为只保留与球体的切向速度。
9.一种基于深度图像的布料碰撞仿真增强呈现装置，其特征在于，包括：
目标区域图像分割单元，用于获取布料的深度图，并通过预先构建的感兴趣模型区域的包围盒，在所述布料的深度图中定位出目标区域空间；
自然特征图像生成单元，用于确定所述目标区域空间中的布料二维图像特征，并根据所述布料二维图像特征，随机构建出面向特征点或纹理的模板识别自然特征图；
碰撞仿真增强图像呈现单元，用于将所述模板识别自然特征图导入预先定义的柔性布料碰撞检测模型中进行碰撞仿真，以得到布料增强呈现的视觉图像。
10.如权利要求9所述的基于深度图像的布料碰撞仿真增强呈现装置，其特征在于，所述柔性布料碰撞检测模型为采用弹性力学方程创建的柔性布料三维模型，且所述柔性布料三维模型设计有并行处理的着色器、碰撞处理架构和碰撞响应算法。
CN202111271781.4A 2021-10-29 2021-10-29 一种基于深度图像的布料碰撞仿真增强呈现方法及装置 Pending CN113962979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271781.4A CN113962979A (zh) 2021-10-29 2021-10-29 一种基于深度图像的布料碰撞仿真增强呈现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271781.4A CN113962979A (zh) 2021-10-29 2021-10-29 一种基于深度图像的布料碰撞仿真增强呈现方法及装置

Publications (1)

Publication Number Publication Date
CN113962979A true CN113962979A (zh) 2022-01-21

Family

ID=79468333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271781.4A Pending CN113962979A (zh) 2021-10-29 2021-10-29 一种基于深度图像的布料碰撞仿真增强呈现方法及装置

Country Status (1)

Country Link
CN (1) CN113962979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529604A (zh) * 2022-01-25 2022-05-24 广州极点三维信息科技有限公司 一种空间物体定向碰撞检测方法、系统装置及介质
CN116612825A (zh) * 2023-07-19 2023-08-18 四川省产品质量监督检验检测院 分子静电势等值面点云的碰撞点检测和碰撞体积计算方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529604A (zh) * 2022-01-25 2022-05-24 广州极点三维信息科技有限公司 一种空间物体定向碰撞检测方法、系统装置及介质
CN116612825A (zh) * 2023-07-19 2023-08-18 四川省产品质量监督检验检测院 分子静电势等值面点云的碰撞点检测和碰撞体积计算方法
CN116612825B (zh) * 2023-07-19 2023-10-13 四川省产品质量监督检验检测院 分子静电势等值面点云的碰撞点检测和碰撞体积计算方法

Similar Documents

Publication Publication Date Title
Noh et al. A review on augmented reality for virtual heritage system
Mario A. Gutiérrez A. et al. Stepping into virtual reality
Davis et al. Image-space modal bases for plausible manipulation of objects in video
JP2016218999A (ja) ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム
JP2006506744A (ja) 区間解析を使用するコンピュータ・グラフィックスの際の可視面決定システムおよび方法
CN113962979A (zh) 一种基于深度图像的布料碰撞仿真增强呈现方法及装置
US9519988B2 (en) Subspace clothing simulation using adaptive bases
CN102402792A (zh) 一种实时浅水模拟方法
JP2012190428A (ja) 立体映像視覚効果処理方法
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
US11625888B2 (en) Methods and apparatus for modifying a bounding volume hierarchy for raytracing
CN106530384B (zh) 一种三维模型的外观纹理合成方法及装置
CN111739134B (zh) 虚拟角色的模型处理方法、装置及可读存储介质
Zhang et al. Real-time 3D reconstruction for facilitating the development of game-based virtual laboratories
CN114254501B (zh) 一种大规模草地渲染与仿真方法
Sunar et al. Improved View Frustum Culling Technique for Real-Time Virtual Heritage Application.
Wegen et al. A Survey on Non-photorealistic Rendering Approaches for Point Cloud Visualization
González et al. based ambient occlusion
Jens et al. GPU-based responsive grass
Tonnesen Spatially coupled particle systems
CN116109756B (zh) 光线追踪方法、装置、设备及存储介质
Jha et al. Parallax engine for 2D animation in cinematography
WO2020203368A1 (ja) 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
Nakamura et al. Improving collision detection for real-time video avatar interaction
Sunar et al. Crowd rendering optimization for virtual heritage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination