CN109935318B - 三维脉波的显示方法、装置、计算机设备及存储介质 - Google Patents
三维脉波的显示方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109935318B CN109935318B CN201910166745.8A CN201910166745A CN109935318B CN 109935318 B CN109935318 B CN 109935318B CN 201910166745 A CN201910166745 A CN 201910166745A CN 109935318 B CN109935318 B CN 109935318B
- Authority
- CN
- China
- Prior art keywords
- pulse wave
- dimensional
- display
- dimensional pulse
- animation file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及三维脉波的显示方法、装置、计算机设备及存储介质,属于信号处理技术领域。方法包括:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据图像获取设定空间区域的特征点;若根据特征点得到目标平面区域,根据目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的显示位置上输出脉波动画文件,以显示三维脉波。上述技术方案,解决了传统的三维脉波影像的显示中人机交互不够智能化的问题。能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。
Description
技术领域
本发明涉及信号处理技术领域,特别是涉及三维脉波的显示方法、装置、计算机设备及存储介质。
背景技术
在传统中医学诊断中,切诊得到的脉象可用于分析病人全局的健康状况。随着脉诊仪的不断普及推广,用户对脉象可视化的需求不断增加。三维脉波影像是一种三维动态形式的图像,能够把人工把脉时的指下感觉转换为视觉体验。在实现本发明过程中,发明人发现现有技术中至少存在如下问题:三维脉波影像由设计者预先设定好观察路径,用户只能通过设定好的观察路径来查看三维脉波,这就使得人机交互不够智能化。
发明内容
基于此,本发明实施例提供了三维脉波的显示方法、装置、计算机设备及存储介质,能根据增强现实技术来显示三维脉波,有效提高人机交互的智能性。
本发明实施例的内容如下:
一种三维脉波的显示方法,包括以下步骤:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;若根据所述特征点得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波。
在一个实施例中,所述根据所述特征点得到目标平面区域的步骤,包括:获取所述特征点的位置信息;若所述多个所述特征点在同一平面上,根据多个所述特征点的位置信息,得到目标平面区域。
在一个实施例中,所述根据所述目标平面区域确定显示屏中的显示位置的步骤,包括:确定所述目标平面区域的中心点的坐标;根据所述中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。
在一个实施例中,所述根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件的步骤之后,还包括:根据所述显示位置设置锚点;所述锚点用于在显示屏发生位置变动时,控制所述三维脉波与所述显示位置的相对位置在所述显示区域中保持不变。
在一个实施例中,所述根据所述图像获取所述设定空间区域的特征点的步骤,包括:根据所述图像,按照设定的算法计算所述设定空间区域中各个像素点的特征值;将特征值满足预设条件的像素点确定为特征点。
在一个实施例中,所述获取脉搏的三维脉波对应的脉波动画文件的步骤,包括:获取脉象的空间分布信息;所述脉象的空间分布信息根据脉搏的脉象感测信息确定;根据所述空间分布信息生成设定格式的空间曲面信息,得到所述三维脉波;将所述三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到所述脉波动画文件。
在一个实施例中,所述将所述三维脉波按照时间顺序进行排列的步骤,包括:按照所述三维脉波的波形高低,对所述三维脉波进行颜色渲染;将渲染后的三维脉波按照时间顺序进行排列。
在一个实施例中,所述根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件步骤之后,还包括:若根据所述特征点确定所述目标平面区域消失,停止输出所述脉波动画文件。
相应的,本发明实施例提供一种三维脉波的显示装置,包括:动画文件获取模块,用于获取脉搏的三维脉波对应的脉波动画文件;特征点获取模块,用于获取设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;显示位置确定模块,用于若根据所述特征点得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;以及,脉波显示模块,用于根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波。
上述三维脉波的显示方法及装置,确定设定空间区域的图像中的特征点,并根据这些特征点确定是否捕捉到目标平面区域,如果是,则根据增强现实技术在显示屏的显示位置上显示三维脉波。能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;若根据所述特征点得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波。上述计算机设备,能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;若根据所述特征点得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波。上述计算机可读存储介质,能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。
附图说明
图1为一个实施例中三维脉波的显示方法的应用环境图;
图2为一个实施例中三维脉波的显示方法的流程示意图;
图3为一个实施例中在显示屏上显示三维脉波的结构示意图;
图4为一个实施例中特征点的示意图;
图5为一个实施例中三维脉波和平面网格的示意图;
图6为一个实施例中传感器阵列的结构示意图;
图7为一个实施例中空间曲面信息对应的曲面结构示意图;
图8为一个实施例中三维脉波的显示装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该网络接口用于与外部的终端通过网络连接通信,例如:与某一服务器连接,用于接收从该服务器中发出的脉波动画文件。该计算机程序被处理器执行时以实现一种三维脉波的显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明实施例提供一种三维脉波的显示方法、装置、计算机设备及存储介质。以下分别进行详细说明。
在一个实施例中,如图2所示,提供了一种三维脉波的显示方法。以该方法应用于计算机设备为例进行说明。
其中,计算机设备指的是对三维脉波进行显示的终端,可以指带有显示屏的终端,例如:电视机、个人计算机、笔记本电脑、智能手机、平板电脑和头戴显示设备等。当计算机设备为智能手机时,手机的系统可以为Android、IOS、Windows等,手机上可以集成ARKit、ARCore(Google发布的一套构建增强现实应用程序的平台,为Android Studio、Unity 3D等多种流行开发环境提供SDK,通过运动跟踪、环境理解、光照估计等原生API就能够轻松建立增强现实功能应用)等AR实现工具。当计算机设备为头戴显示设备时,可以为Hololens、Magic Leap Lightwear等设备。计算机设备上可以设置有摄像头,该摄像头可以是具有深度感测功能的摄像头,这种具有深度感测功能的摄像头能对空间区域进行三维特征点的抓取,进而判断是否捕捉到平面区域。如果计算机设备上未设置具有深度感测功能的摄像头,而是平面摄像头,则可以在桡动脉等位置上粘贴贴纸,通过贴纸的识别来确定是否捕捉到平面区域。
本实施例的三维脉波的显示方法包括以下步骤:
S201、获取脉搏的三维脉波对应的脉波动画文件。
其中,脉搏可以指人体上各种类型的脉搏,例如:寸脉、关脉、尺脉(寸脉、关脉和尺脉一起可以简称为寸关尺)等。三维脉波指的是脉象信息的立体展现,在一些实施例中三维脉波也可以称为脉象模型。脉波动画文件指的是表征三维脉波的形状、尺寸、幅值、播放速率等信息的动画文件,其中的脉波动画是指三维脉波对应的动画。
S202、获取设定空间区域的图像;根据图像获取设定空间区域的特征点。
其中,设定空间区域可以是计算机设备的摄像头所对应的空间区域,此时用户可以不断移动计算机设备,计算机设备在持续变动的空间区域中确定特征点。特征点指的是设定空间区域的图像中具有一定特征的点,可以是图像的频率、对比度、亮度等满足一定条件的点。
S203、若根据特征点得到目标平面区域,根据目标平面区域确定显示屏中的显示位置。
由于特征点代表了设定空间区域的图像特征,因此可以根据这些特征点确定出设定空间区域的图像中是否存在平面区域。当然,设定空间区域中可能不止一个平面区域,因此在计算机设备识别出这些平面区域时,可以从中选择一个或多个平面区域作为目标平面区域(也可以称为可追踪平面)。
根据目标平面区域确定显示屏中的显示位置,可以是将显示位置确定在目标平面区域对应的某个位置上,例如将目标平面区域附近的某个位置确定为显示位置。由于三维脉波往往是曲面区域,而且所显示的三维脉波可能包括多个脉搏对应的脉波,因此三维脉波显示所需的位置空间可能是一个“立体的空间区域”,因此这个显示位置可以是一个空间区域。当然,显示位置也可以为一个点,使得三维脉波以该点为中心进行显示;显示位置还可以为一个面,可以将三维脉波显示在平面区域上方、下方等位置。
进一步地,三维脉波为多个脉搏对应的脉波时,可以分别确定这些脉波的显示位置。
S204、根据增强现实技术在显示屏的显示位置上输出脉波动画文件,以显示三维脉波。
增强现实技术(Augmented Reality,AR)是一种将真实世界信息和虚拟世界信息叠加集成的新技术。通过电子信息科学技术及相应设备,AR技术将原本现实世界中受时间空间范围所限且很难体验到的客观信息(如视觉信息、触觉或其他信息等)模拟仿真后再叠加应用到真实世界,使人类感官产生该事物信息存在于现实世界中的错觉,从而达到超越现实的感官体验。目前常通过AR眼镜以及支持AR功能的手机来实现增强现实技术。
以智能手机为例,假设人体手腕寸关尺区域为平面,则通过增强现实技术在智能手机上显示的三维脉波可以如图3所示(图中三维脉波代表的是脉搏跳动时被鼓起的皮肤表面)。图3在人体手腕寸关尺的位置附近显示了对应的三维脉波,所显示的三维脉波非常直观。另外,由于所显示的三维脉波是实时变化的脉象曲面,不同脉象在形态上的不同能在所显示的三维脉波中得到很好的体现,例如:平脉的三维脉波呈现为近似锥状曲面,而弦脉在血流方向有明显的拉长,呈现出“弦”的形状,两种脉象的三维脉波中区别明显,一目了然。
在显示三维脉波之前,可以通过特定的工具(例如Unity 3D等)对脉波动画文件进行处理,使得其能在计算机设备上更好地进行AR显示。
本实施例,能在用户移动计算机设备的过程中查找平面区域,并在平面区域附近显示三维脉波,即可以根据用户的要求来进行三维脉波的显示,有效提高人机交互的智能性。
在一个实施例中,三维脉波包括单个脉搏周期的三维脉波;其中,单个脉搏周期包括多个时刻。这个多个时刻可以根据传感器阵列的采样频率来确定。脉波信号从整体上而言可看作周期性信号。研究表明在测量条件稳定的情况下,量得的脉波信号中的非线性成分占比不超过5%,故在保证播放效果的前提下,为了节省运算量,提高计算机设备的效能,可以从脉波原始信号中截取单一脉搏周期进行动画制作,并以循环的方式实现三维脉波的周期性跳动。进一步地,根据增强现实技术在显示屏的显示位置上输出脉波动画文件的步骤,包括:根据增强现实技术,在显示位置上多次输出脉波动画文件,以周期性地显示单个脉搏周期的三维脉波。当然,为了提高所显示的三维脉波的准确性,也可以获取多个脉搏周期的脉波动画文件,还可以获取持续的脉波动画文件并进行实时显示。
在通过计算机设备显示三维脉波之前,可以通过特定的工具(例如Unity 3D等)对脉波动画文件进行处理,使得其能在手机等计算机设备上更好地进行AR显示。即,对于配置有ARCore的计算机设备,可以引入Unity3D工具,以获得更加强大逼真的增强现实功能。以安卓手机为例,在Unity上开发基于ARCore的安卓应用的过程中,可以包括以下几个步骤:
1、开发环境与ARCore SDK配置。下载Unity3D后,导入Android Build Support组件并切换构造平台为安卓,使得Unity可以成功编译项目并将其打包为支持安卓设备运行的APK文件。由于ARCore对硬件和软件都具有较严格的要求,想要使程序正常编译,还需在Player Setting选项中设置正确的Android SDK路径和最低API版本,修改项目名称为Android项目标准格式,关闭多线程渲染功能并开启ARCore权限,否则之后会在编译的过程中报错。配置完毕后,在新建的3D模式项目中导入ARCore SDK包,开始增强现实应用的开发。
2、基础模型动画播放效果的实现。将摄像头组件与制作的脉波动画文件一起拖进Unity工作台,摆放好位置,调整脉象模型的大小、坐标和旋转角度,接着创建一个动画控制器。这个动画控制器中包含一个状态机,有开始、退出、平时三种状态,用来控制在程序运行不同阶段中模型的具体活动。将对应的脉象模型动画设置为无限循环模式,匹配链接给开始状态,然后将这个控制器与脉象模型绑定,这样就成功创建出一个简单的三维脉象应用。当运行这个项目时,开启设备摄像机权限后,会看到手机屏幕中的桌面上立刻会出现一个随时间周期动态变化的三维脉象图像。此时,结合Unity和ARCore,在手机上实现了三维脉波的AR显示。
在一个实施例中,根据图像获取设定空间区域的特征点的步骤,包括:根据图像,按照设定的算法计算设定空间区域中各个像素点的特征值;将特征值满足预设条件的像素点确定为特征点(当然,也可以将满足条件的多个像素点确定为一个特征点)。这个设定的算法可以是计算像素频率、RGB值等的算法。获取到特征点的位置信息之后,可以在显示屏的对应位置上为特征点进行标记,例如通过一定颜色的小圆点指示各个特征点,特征点的示意图如图4(a)所示(图中的小黑点即为特征点),在实际环境中所确定的特征点如图4(b)所示(图中的小白点即为特征点)。
根据特征点得到目标平面区域的步骤,包括:获取特征点的位置信息;若多个特征点在同一平面上,根据多个特征点的位置信息,得到目标平面区域。
通过对特征点的相对位置关系、分布密集度等进行分析,就能确定出哪些特征点是在同一个平面上,进而可以从设定空间区域中确定出平面区域,并从这些平面区域中确定出目标平面区域。以图4(a)所示,通过对特征点分析,确定出区域①为不规则面,②为水平平面,③为竖直平面,则可以将②和③中的一个确定为目标平面区域。
另外,也可以在某一个平面上粘贴特征贴纸,通过对特征点的分析就能确定出贴纸所在的位置,进而确定出对应的平面,得到目标平面区域。
在一些实施例中,计算机设备的显示区域底部会显示“正在查找平面”的字样(如图4(b)底部显示的“Searching for surfaces…”);当成功找到目标平面区域,函数会传递对应参数给Seekbar监听器,通知其隐藏底部通知栏。
上述实施例,根据特征点确定目标平面区域,能实现终端对平面区域的确定,实现三维脉波在平面上的显示。
ARCore在移动设备上运行主要依靠三大关键技术:
一、运动跟踪。ARCore通过并发测距与映射(COM)进程来了解和跟踪手机在周围世界的相对位置。随着设备在现实世界中移动,ARCore从摄像头捕获的图像中检测出不同的视觉特征(即特征点),从而利用这些点计算得到自身的位置变化。这些特征点信息与来自设备IMU传感器的惯性测量数据相结合,可以判断设备的姿态(由位置与方向两个元素组成)。通过将负责建立虚拟对象的虚拟相机与ARCore提供的设备相机姿态对齐,可以从正确的角度渲染虚拟对象,将渲染的3D模型精准覆盖在从摄像头所获图像上,使得虚拟对象在视觉上融入真实世界。此外,ARCore还使用vps(visual positioning service)室内导航对周围对象进行定位,使虚拟对象保持在初始位置,增强真实度。
二、环境理解。通过检测稀疏特征点和平面不断提高对现实世界环境的理解,ARCore可以查找位于水平面上(例如桌面、表格)的特征点集群,并将这些检测得到的平面提供给开发者进行应用。除此之外,ARCore还可以确定每个平面的边界,通过这些信息可以实现虚拟物体在平坦表面上的放置。
三、光照检测技术。ARCore可对当前场景光照情况进行简单的估计,为用户提供图像的单像素强度值(Android Studio API)或shader(Unity API),并对图像颜色进行校正。通过这些信息,虚拟对象模型可以根据周围环境调整自身亮度,从而增强真实感。
因此,在一个实施例中,可以通过配置有ARCore的计算机设备进行目标平面区域的识别。当执行命中测试并返回一个特征点F0时,ARCore将查看附近的特征点群{Fi},并使用它们估算出特征点F0处的曲面角度。最后ARCore将这个曲面角度和特征点F0坐标整合成一个点姿态信息返回给计算机设备。计算机设备据此确定是否有平面区域的存在,并确定目标平面区域。
在一个实施例中,一旦检测到目标平面区域的存在,便获取其中心坐标、宽度高度、旋转角度等信息,调用Mesh的函数为平面区域绘制特定颜色的网格(所绘制的网格可以如图5中下半部分的网格所示),并不断跟踪平面变化情况以进行绘制补充。
进一步地,根据目标平面区域确定显示屏中的显示位置的步骤,包括:确定目标平面区域的中心点的坐标;根据中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。其中,预设的距离可以根据实际情况确定,本发明实施例对预设的距离的数值不做限制。
具体的,可以在确定目标平面区域中心点的坐标之后,在预设的距离处确定一个与目标平面区域相平行的平面,将该平面的位置确定为显示位置,并控制三维脉波显示在该平面上。所显示出的三维脉波可以如图5上半部分所示(图5中带有网格的区域表示目标平面区域)。根据目标平面区域的中心点位置确定显示位置,能使得所显示的三维脉波在目标平面区域附近,实现在平面区域上显示三维脉波的效果。
进一步地,对比到人体上,计算机设备的摄像头对准人体特定区域,计算机设备从中识别出平面(例如,将寸关尺所在的区域识别为目标平面区域),则可以在该平面区域附近显示三维脉波。这种方式能实现在人体特定位置上显示三维脉波的效果。
在一个实施例中,以配置有ARCore的手机为例,当ARCore不断对自身位置和环境进行理解时,点姿态信息(特征点的信息)会相应发生改变。所以为稳定放置一个虚拟对象,需要定义锚点来确保ARCore持续跟踪对象的位置。通常情况下,锚点会在用户交互和命中测试返回姿态后被创建。姿态信息可以改变,这意味着ARCore可能会随着时间更新环境对象(如平面和特征点)的位置。平面和点被称为可跟踪对象。用户可以将虚拟对象与特定的可追踪对象固定,以确保即使设备四处移动,虚拟对象和可跟踪对象之间的关系也能保持稳定。
进一步地,根据增强现实技术在显示屏的显示位置上输出脉波动画文件的步骤之后,还包括:根据显示位置设置锚点;锚点用于在显示屏发生位置变动时,控制三维脉波与显示位置的相对位置在显示区域中保持不变。
根据显示位置设置锚点,可以是将显示区域作为锚点区域,也可以是将显示区域附近或者与显示区域相关的某个区域确定为锚点区域。另外,由于显示位置是根据目标平面区域确定的,因此也可以根据目标平面区域来确定锚点区域,例如:根据目标平面区域中的特征点来确定锚点区域,进而设置锚点,使得锚点区域在显示屏中保持位置不变的状态。
当三维脉波为多个脉搏对应的脉波时,可以分别为每个脉波设置锚点,使得各个脉波在显示环境(所显示内容所处的虚拟环境)中保持在固定的位置上。即给每个脉象模型(三维脉波)建立并绑定一个平面锚点,当设备自身相对坐标发生位移变换,脉象模型的坐标也会进行相应的计算改变,使得在镜头图像中三维脉象模型可以保持平面的虚拟固定,不会随着镜头移动。
本实施例能实现对计算机设备的运动跟踪,即在计算机设备发生位置变动时,保证所显示的三维脉波在屏幕中相对于显示位置保持不变,即可以这样理解:无论显示屏怎么旋转,三维脉波在显示环境中的位置是固定的,而屏幕旋转的过程可以理解为从不同角度来观察三维脉波,这样的方式能有效提高三维脉波显示的智能交互。
在一个实施例中,获取脉搏的三维脉波对应的脉波动画文件的步骤,包括:获取脉象的空间分布信息;脉象的空间分布信息根据脉搏的脉象感测信息确定;根据空间分布信息生成设定格式的空间曲面信息,得到三维脉波;将三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到脉波动画文件。
脉象感测信息可以指通过脉象感测器件测量的脉象信息。由于脉搏在人体表面对应的往往是一个区域,因此通过脉象感测器件需要获取一个区域的感测信息。基于此,根据一个区域的脉象感测信息就能确定出脉象的空间分布信息,即脉象在特定空间位置上的信息(例如:某一个位置上的压力数据)。
其中,脉象感测器件可以是各种类型的传感器,这些传感器可以设置在脉诊仪上。多个传感器排列在一起构成传感器阵列,因此可以通过传感器阵列来获取脉象感测信息。传感器阵列可以如图6所示,多个传感器纵横排布构成传感器阵列,使得传感器阵列能获取到脉搏所在区域中各个位置的脉象信息。传感器可以为压力传感器等。具体的,可以为电容式压力传感器(对应的脉象感测信息为压力值信息)。同时传感器阵列可以具有一定的弹性。
进一步地,获取脉象的空间分布信息的步骤,包括:接收传感器阵列发送的脉搏所在区域的脉象感测信息;获取传感器阵列的排列关系;按照排列关系对脉象感测信息进行整合,得到脉象的空间分布信息。其中,脉搏所在区域指的是皮肤表面上能感受到脉搏跳动的小范围区域(区域的边界可以根据传感器是否能感测到脉象信息来确定)。
由于空间分布信息是一定空间内的脉象信息,而脉搏上下跳动的过程在小范围内会形成一个曲面,如图7所示。对所得到的空间分布信息进行整合,就能得到对应的空间曲面信息;这个整合过程可以是对空间分布信息进行一定的运算或者格式转换。另外,设定格式可以是FBX、DAE、STL、OBJ等格式,所选择的具体格式可以根据具体情况确定。
进一步地,某一个时刻的空间曲面信息对应的可以是一个曲面,那多个时刻的空间曲面信息就可以对应一个持续跳动的曲面。这个持续跳动的曲面对应的信息就是三维脉波。
在一个实施例中,根据设定格式的空间曲面信息得到三维脉波的步骤之前,还包括:根据空间分布信息生成STL格式的空间曲面信息。进一步地,确定空间分布信息以及对空间分布信息进行格式转换可以通过matlab工具实现。本实施例确定STL格式的空间曲面信息,而STL格式能在matlab等工具中得到良好的使用,提高三维脉波显示的效率。
当然,确定空间分布信息以及对空间分布信息进行格式转换的过程可以通过Rhinoceros、solidworks、maya等软件实现。此时,可以生成其他格式的空间曲面信息。
在一个实施例中,将三维脉波按照时间顺序进行排列的步骤,包括:按照三维脉波的波形高低,对三维脉波进行颜色渲染;将渲染后的三维脉波按照时间顺序进行排列。其中,将三维脉波按照时间顺序进行排列的步骤,包括:按照三维脉波的波形高低,对三维脉波进行颜色渲染;将渲染后的三维脉波按照时间顺序进行排列。进一步地,对三维脉波进行颜色渲染可以通过一定的算法实现;也可以通过特定的工具实现,例如:matlab、maya等工具。其中,通过maya进行颜色渲染的过程可以为:逐帧对三维脉波进行颜色渲染(例如:波形幅值越高颜色越红,幅值越低颜色越蓝,即波形自高到低的颜色以红橙黄绿蓝顺序过度);也可以将matlab和maya结合起来实现颜色渲染:利用matlab生成三维脉波的空间曲面信息;将空间曲面信息的每一帧对应的colormap,在maya中添加上对应的脉波动画信息块(多个脉波动画信息块组成脉波动画文件)。
进一步地,maya对渲染后的三维脉波按照时间顺序进行排列,即可得到脉波动画文件,此时可以到处fbx(fbx格式的脉波动画文件可以方便地在手机等工具上播放,当然,也可以为其他格式)格式的脉波动画文件。
根据排列后的三维脉波得到脉波动画文件的步骤,包括:对排列后的三维脉波的设定参数进行调整,得到脉波动画文件;设定参数包括显示尺寸和播放速率。其中,显示尺寸大小决定了AR播放时三维脉波与锚点的比例关系,所以要设置一个合理的初始值;而播放速率的初始值则是三维脉波的真实播放速率。
本实施例提供的三维脉波的显示方法,在生成脉波动画文件之前对空间曲面信息进行颜色渲染、按照时间排列、参数调整等处理,能使得所显示的三维脉波更加直观,提高三维脉波的交互显示的智能性。
在一个实施例中,根据增强现实技术在显示屏的显示位置上输出脉波动画文件步骤之后,还包括:若根据特征点确定目标平面区域消失,停止输出脉波动画文件。本实施例提供的三维脉波的显示方法,能实时监测目标平面区域是否存在,当捕捉到目标平面区域时,在目标平面区域附近显示三维脉波,而当目标平面区域消失,则停止显示三维脉波。即用户计算机设备扫描周围的环境,当发现平面时,则显示三维脉波,如果此时用户继续将计算机设备的摄像头对准该平面,则继续显示三维脉波,而当用户将计算机设备的摄像头从该平面移开,则不再显示三维脉波,能有效提高三维脉波显示过程中的智能人机交互。
在一个实施例中,获取脉搏的三维脉波对应的脉波动画文件的步骤,包括:从ftp服务器中下载脉波动画文件。ftp服务器的作用是存储脉波动画文件并为计算机设备的显示提供网络支持。计算机设备从ftp服务器中下载脉波动画文件后,可以将其存储在内存中,在需要进行三维脉波显示时再读取内存中的脉波动画文件。当然,计算机设备也可以在线实时从ftp服务器中获取并播放脉波动画文件。这个ftp服务器可以是生成脉波动画文件的服务器,也可以不是生成脉波动画文件的服务器。当ftp服务器不是生成脉波动画文件的服务器时,这个ftp服务器可以接收从生成脉波动画文件的服务器中发送的脉波动画文件。本实施例提供的三维脉波显示方法,计算机设备获取脉波动画文件并根据增强现实技术显示对应的三维脉波,可以实现计算机设备对三维脉波的实时显示,提高三维脉波显示的便利性。
在一些实施例中,ftp服务器可以替换为web服务器、nntp服务器和smtp服务器等。另外,生成脉波动画文件的设备也可以不是服务器,而是终端设备,例如可以是智能手机等。
在一个实施例中,用户可以在计算机设备上登录预先设定的APP,该APP上预先配置有增强显示技术的相关实现程序。基于此,用户登录APP之后,获取对应的脉波动画文件就能进行三维脉波的AR显示。为方便用户更好地观察学习AR脉象模型,可以在APP中增加旋转、缩放、速度变更等基础操作功能;为满足用户查看当前账号中不同的脉象模型样例(这个模型样例可以指用户预先存储的不同位置或不同显示模式的脉象模型,当然,APP也可以实时地从ftp服务器等获取脉波动画文件)的需求,提供模型变换的功能;在APP的初始登录界面输入正确的用户名与密码后,如果用户名下存在多组模型,就可跳转进入模型选择界面;为适应未来用户大量数据需求并保护个人隐私,支持多用户账号切换;最后,考虑到单手操作APP的因素,设计出便于单手操作并可切换左右手模式的UI界面,为用户提供了良好的交互体验。以下以在人体手腕上显示寸关尺的三维脉波为例,对这些功能进行描述:
一、基础操作功能
1、缩放。缩放是指改变当前所播放模型的大小,可以使用Unity UGUI组件包中的Slider滑动条来实现。可以通过移动横向滑动条(如图3所示)来改变模型的大小尺寸,模型尺寸改变之后,脉波与脉波间的相对位置保持不变。
2、旋转。旋转是指改变当前所播放脉象模型的角度,使三个脉象模型围绕中间点进行旋转。为了使用户能够更加直观地确定当前模型旋转程度,可以用一个可旋转360°的环形滑动条组件RadialSlider来实现这一功能。还可以将组件与模型的事件进行绑定。另外,点击圆形滑动条中间的方形按钮,可以将脉象模型恢复为初始状态。
3、播放速度。模型播放速度这一功能同样是用UGUI中的组件Slider滑动条实现,方法与缩放中相似。用户可以旋转如图3中的竖向滑动条来调节播放速度,图3(a)为原始的三维脉波播放速度,图3(b)为最快播放速率,图3(c)为最慢播放速率。同时,可以读取模型对应的心率文件,计算得到当前脉象模型的实际心率速度和播放速度,通过Text显示在屏幕上。
4、模型重置。可以通过Button组件完成这一功能。首先每当一组模型被选中并绘制在手腕正确的位置,会记录下当前模型所处的空间坐标、旋转四元向量、大小与播放速率等参数(如图3(a)所示),当用户点击按钮,触发按钮点击监听,会将所有绘制的模型参数恢复初始化。另外,每位用户可能会有多组不同的脉象模型,当用户登录后,他们需要在主界面选择自己想要观看的脉象。这个功能的实现可以利用Unity UGUI中提供的上拉弹框组件DropDown。
进一步地,ARCore通过命中测试的方式支持用户交互:首先获取手机屏幕被交互位置相对应的二维平面坐标(x,y),向相机视图发出射线,会返回所有与射线相交的平面、特征点的姿态点信息,这允许用户使用多种方式如屏幕点击、手指滑动来与环境中的对象进行交互,如实现对3D虚拟模型的放大缩小功能。因此,可以通过在手机上配置ARCore,实现对三维脉波的显示控制,提高三维脉波显示的智能化。
二、用户习惯
设计便于单手操作的UI界面,布局简洁美观,旋转、缩放等操作可以只用一指完成,且所有交互组件都被放置在单手可以轻易到达的范围。考虑到不同用户的用手习惯,可以使用一个Button完成组件的左右切换与界面自适应功能(图3为右手界面)。用户通过界面右下方的方形按钮,可以对UI界面进行左右切换。点击屏幕左上角的设置按钮,还可跳转至设置界面,选择习惯布局或登出用户。
本实施例提供的三维脉波的显示方法,设置了多种可供用户控制的功能,可以根据用户的需求来进行三维脉波的显示,提供了非常良好的交互体验。
为了更好地理解上述方法,假设计算机设备为手机,以下详细阐述一个本发明三维脉波的显示方法的应用实例。
1、检测摄像头所拍摄的场景,获取该场景的图像,识别图像中存在的特征点,特征点用于进行平面检测,为后续绘制与模型的投放做好准备。
2、特征点云与平面的可视化实现。获取并遍历每个特征点云的序列,得到点云的空间坐标,将其绘制为蓝色的点;根据这些特征点确定对应的场景中是否存在平面。一旦检测到可追踪平面存在,便获取其中心坐标、宽度高度、旋转角度等信息,绘制特定颜色的网格。
3、运动跟踪。在获得当前帧可追踪平面的信息并成功命中检测后,根据平面的中心点坐标信息计算得出三个三维脉象模型的显示位置,将其放置在对应的显示位置上进行显示。最后给每个脉象模型绑定一个平面锚点,当设备自身相对坐标发生位移变换,脉象模型的坐标也会进行相应的计算改变。
本实施例,能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。且实施例提供的三维脉波的显示方法比Unity自带AR具有更加逼真和稳定的效果。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的三维脉波的显示方法相同的思想,本发明还提供三维脉波的显示装置,该装置可用于执行上述三维脉波的显示方法。为了便于说明,三维脉波的显示装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图8所示,三维脉波的显示装置包括动画文件获取模块801、特征点获取模块802、显示位置确定模块803和脉波显示模块804,详细说明如下:动画文件获取模块801,用于获取脉搏的三维脉波对应的脉波动画文件;特征点获取模块802,用于获取设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;显示位置确定模块803,用于若根据所述特征点得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;以及,脉波显示模块804,用于根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波。本实施例,能查找平面区域并在平面区域上显示三维脉波,有效提高人机交互的智能性。
在一个实施例中,还包括:位置信息获取模块,用于获取特征点的位置信息;平面区域确定模块,用于若多个特征点在同一平面上,根据多个特征点的位置信息,得到目标平面区域。
在一个实施例中,显示位置确定模块803,包括:坐标确定子模块,用于确定目标平面区域的中心点的坐标;显示位置确定子模块,用于根据中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。
在一个实施例中,还包括:锚点设置模块,用于根据显示位置设置锚点;锚点用于在显示屏发生位置变动时,控制三维脉波与显示位置的相对位置在显示区域中保持不变。
在一个实施例中,特征点获取模块802,包括:特征值计算子模块,用于根据图像,按照设定的算法计算设定空间区域中各个像素点的特征值;特征点确定子模块,用于将特征值满足预设条件的像素点确定为特征点。
在一个实施例中,动画文件获取模块801,包括:分布信息获取子模块,用于获取脉象的空间分布信息;脉象的空间分布信息根据脉搏的脉象感测信息确定;三维脉波确定子模块,用于根据空间分布信息生成设定格式的空间曲面信息,得到三维脉波;排序子模块,用于将三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到脉波动画文件。
在一个实施例中,排序子模块,包括:颜色渲染单元,用于按照三维脉波的波形高低,对三维脉波进行颜色渲染;排序单元,用于将渲染后的三维脉波按照时间顺序进行排列。
在一个实施例中,排序子模块,还用于对排列后的三维脉波的设定参数进行调整,得到脉波动画文件;设定参数包括显示尺寸和播放速率。
在一个实施例中,分布信息获取子模块,包括:感测信息接收单元,用于接收传感器阵列发送的脉搏所在区域的脉象感测信息;排列关系获取单元,用于获取传感器阵列的排列关系;信息整合单元,用于按照排列关系对脉象感测信息进行整合,得到空间分布信息。
在一个实施例中,还包括:停止输出模块,用于若根据特征点确定目标平面区域消失,停止输出脉波动画文件。
在一个实施例中,动画文件获取模块801,还用于从ftp服务器中下载脉波动画文件。
需要说明的是,本发明的三维脉波的显示装置与本发明的三维脉波的显示方法一一对应,在上述三维脉波的显示方法的实施例阐述的技术特征及其有益效果均适用于三维脉波的显示装置的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述示例的三维脉波的显示装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将三维脉波的显示装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
在一个实施例中,提供了一种计算机设备,可以为手机、头戴显示设备等。该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据图像获取设定空间区域的特征点;若根据特征点得到目标平面区域,根据目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的显示位置上输出脉波动画文件,以显示三维脉波。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取特征点的位置信息;若多个特征点在同一平面上,根据多个特征点的位置信息,得到目标平面区域。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定目标平面区域的中心点的坐标;根据中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据显示位置设置锚点;锚点用于在显示屏发生位置变动时,控制三维脉波与显示位置的相对位置在显示区域中保持不变。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据图像,按照设定的算法计算设定空间区域中各个像素点的特征值;将特征值满足预设条件的像素点确定为特征点。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取脉象的空间分布信息;脉象的空间分布信息根据脉搏的脉象感测信息确定;根据空间分布信息生成设定格式的空间曲面信息,得到三维脉波;将三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到脉波动画文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:按照三维脉波的波形高低,对三维脉波进行颜色渲染;将渲染后的三维脉波按照时间顺序进行排列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对排列后的三维脉波的设定参数进行调整,得到脉波动画文件;设定参数包括显示尺寸和播放速率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:接收传感器阵列发送的脉搏所在区域的脉象感测信息;获取传感器阵列的排列关系;按照排列关系对脉象感测信息进行整合,得到空间分布信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:若根据特征点确定目标平面区域消失,停止输出脉波动画文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从ftp服务器中下载脉波动画文件。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取脉搏的三维脉波对应的脉波动画文件;获取设定空间区域的图像;根据图像获取设定空间区域的特征点;若根据特征点得到目标平面区域,根据目标平面区域确定显示屏中的显示位置;根据增强现实技术在显示屏的显示位置上输出脉波动画文件,以显示三维脉波。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取特征点的位置信息;若多个特征点在同一平面上,根据多个特征点的位置信息,得到目标平面区域。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定目标平面区域的中心点的坐标;根据中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据显示位置设置锚点;锚点用于在显示屏发生位置变动时,控制三维脉波与显示位置的相对位置在显示区域中保持不变。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据图像,按照设定的算法计算设定空间区域中各个像素点的特征值;将特征值满足预设条件的像素点确定为特征点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取脉象的空间分布信息;脉象的空间分布信息根据脉搏的脉象感测信息确定;根据空间分布信息生成设定格式的空间曲面信息,得到三维脉波;将三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到脉波动画文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:按照三维脉波的波形高低,对三维脉波进行颜色渲染;将渲染后的三维脉波按照时间顺序进行排列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对排列后的三维脉波的设定参数进行调整,得到脉波动画文件;设定参数包括显示尺寸和播放速率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:接收传感器阵列发送的脉搏所在区域的脉象感测信息;获取传感器阵列的排列关系;按照排列关系对脉象感测信息进行整合,得到空间分布信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:若根据特征点确定目标平面区域消失,停止输出脉波动画文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从ftp服务器中下载脉波动画文件。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,作为独立的产品销售或使用。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,不能理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种三维脉波的显示方法,其特征在于,应用于计算机设备,所述计算机设备上设置有具有深度感测功能的摄像头,包括以下步骤:
获取脉搏的三维脉波对应的脉波动画文件;
通过具有深度感测功能的摄像头获取持续变动的设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;所述设定空间区域为摄像头所对应的空间区域;
当执行命中测试并返回一个特征点F0时,使用特征点F0的特征点群估算出特征点F0处的曲面角度,将曲面角度和特征点F0坐标整合成点姿态信息;
若根据所述特征点的点姿态信息得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;
根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波;
若根据所述特征点确定所述目标平面区域消失,停止输出所述脉波动画文件。
2.根据权利要求1所述的三维脉波的显示方法,其特征在于,所述根据所述特征点得到目标平面区域的步骤,包括:
获取所述特征点的位置信息;
若多个所述特征点在同一平面上,根据多个所述特征点的位置信息,得到目标平面区域。
3.根据权利要求2所述的三维脉波的显示方法,其特征在于,所述根据所述目标平面区域确定显示屏中的显示位置的步骤,包括:
确定所述目标平面区域的中心点的坐标;
根据所述中心点的坐标以及预设的距离,在显示屏的显示区域上确定显示位置。
4.根据权利要求3所述的三维脉波的显示方法,其特征在于,所述根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件的步骤之后,还包括:
根据所述显示位置设置锚点;所述锚点用于在显示屏发生位置变动时,控制所述三维脉波与所述显示位置的相对位置在所述显示区域中保持不变。
5.根据权利要求1所述的三维脉波的显示方法,其特征在于,所述根据所述图像获取所述设定空间区域的特征点的步骤,包括:
根据所述图像,按照设定的算法计算所述设定空间区域中各个像素点的特征值;
将特征值满足预设条件的像素点确定为特征点。
6.根据权利要求1所述的三维脉波的显示方法,其特征在于,所述获取脉搏的三维脉波对应的脉波动画文件的步骤,包括:
获取脉象的空间分布信息;所述脉象的空间分布信息根据脉搏的脉象感测信息确定;
根据所述空间分布信息生成设定格式的空间曲面信息,得到所述三维脉波;
将所述三维脉波按照时间顺序进行排列,根据排列后的三维脉波得到所述脉波动画文件。
7.根据权利要求6所述的三维脉波的显示方法,其特征在于,所述将所述三维脉波按照时间顺序进行排列的步骤,包括:
按照所述三维脉波的波形高低,对所述三维脉波进行颜色渲染;
将渲染后的三维脉波按照时间顺序进行排列。
8.根据权利要求6所述的三维脉波的显示方法,其特征在于,所述根据排列后的三维脉波得到所述脉波动画文件的步骤,包括:
对所述排列后的三维脉波的设定参数进行调整,得到所述脉波动画文件;所述设定参数包括显示尺寸和播放速率。
9.根据权利要求6所述的三维脉波的显示方法,其特征在于,所述获取脉象的空间分布信息的步骤,包括:
接收传感器阵列发送的脉搏所在区域的脉象感测信息;
获取所述传感器阵列的排列关系;
按照所述排列关系对所述脉象感测信息进行整合,得到所述空间分布信息。
10.根据权利要求1至9任一项所述的三维脉波的显示方法,其特征在于,所述获取脉搏的三维脉波对应的脉波动画文件的步骤,包括:
从ftp服务器中下载所述脉波动画文件。
11.一种三维脉波的显示装置,其特征在于,应用于计算机设备,所述计算机设备上设置有具有深度感测功能的摄像头,包括:
动画文件获取模块,用于获取脉搏的三维脉波对应的脉波动画文件;
特征点获取模块,用于通过具有深度感测功能的摄像头获取持续变动的设定空间区域的图像;根据所述图像获取所述设定空间区域的特征点;所述设定空间区域为摄像头所对应的空间区域;
执行以下步骤的模块:当执行命中测试并返回一个特征点F0时,使用特征点F0的特征点群估算出特征点F0处的曲面角度,将曲面角度和特征点F0坐标整合成点姿态信息;
显示位置确定模块,用于若根据所述特征点的点姿态信息得到目标平面区域,根据所述目标平面区域确定显示屏中的显示位置;
以及,脉波显示模块,用于根据增强现实技术在显示屏的所述显示位置上输出所述脉波动画文件,以显示所述三维脉波;
停止输出模块,用于若根据所述特征点确定所述目标平面区域消失,停止输出所述脉波动画文件。
12.根据权利要求11所述的三维脉波的显示装置,其特征在于,所述显示位置确定模块,包括:
位置信息获取子模块,用于获取所述特征点的位置信息;
平面区域确定子模块,用于若多个所述特征点在同一平面上,根据多个所述特征点的位置信息,得到目标平面区域。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910166745.8A CN109935318B (zh) | 2019-03-06 | 2019-03-06 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910166745.8A CN109935318B (zh) | 2019-03-06 | 2019-03-06 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109935318A CN109935318A (zh) | 2019-06-25 |
CN109935318B true CN109935318B (zh) | 2021-07-30 |
Family
ID=66986514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910166745.8A Active CN109935318B (zh) | 2019-03-06 | 2019-03-06 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109935318B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110109588B (zh) * | 2019-04-23 | 2022-03-11 | 深圳易帆互动科技有限公司 | 基于Unity的无限拖拉循环列表显示方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915555A (zh) * | 2011-08-03 | 2013-02-06 | 通用电气公司 | 用于裁剪三维医疗数据集的方法和系统 |
CN104380338A (zh) * | 2012-05-22 | 2015-02-25 | 索尼电脑娱乐公司 | 信息处理器以及信息处理方法 |
CN105653876A (zh) * | 2016-01-22 | 2016-06-08 | 中国科学院微电子研究所 | 基于三维成像的脉搏波图像采集与存储方法 |
CN106249423A (zh) * | 2015-06-12 | 2016-12-21 | 群创光电股份有限公司 | 显示装置及其操作方法 |
CN106462370A (zh) * | 2014-04-29 | 2017-02-22 | 微软技术许可有限责任公司 | 基于注视位置的稳定性平面确定 |
CN206611520U (zh) * | 2017-04-11 | 2017-11-03 | 深圳市光场视觉有限公司 | 带摄像头的反射式显示装置 |
CN207266187U (zh) * | 2017-08-28 | 2018-04-20 | 国网甘肃省电力公司电力科学研究院 | 一种带测量功能的空中全景巡查系统 |
CN207337934U (zh) * | 2017-10-30 | 2018-05-08 | 成都极致空觉科技有限公司 | 实时检测身体状况的ar穿戴装置 |
CN109271021A (zh) * | 2018-08-28 | 2019-01-25 | 北京七鑫易维信息技术有限公司 | 头戴式设备的控制方法、装置、头戴式设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202920160U (zh) * | 2012-11-29 | 2013-05-08 | 芜湖圣美孚科技有限公司 | 中医脉象采集系统 |
US20170323374A1 (en) * | 2016-05-06 | 2017-11-09 | Seok Hyun Park | Augmented reality image analysis methods for the virtual fashion items worn |
CN107506040A (zh) * | 2017-08-29 | 2017-12-22 | 上海爱优威软件开发有限公司 | 一种空间路径规划方法及系统 |
CN108324246B (zh) * | 2018-01-19 | 2021-06-22 | 上海联影医疗科技股份有限公司 | 医疗诊断辅助系统及方法 |
CN108551519B (zh) * | 2018-03-05 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置、存储介质及系统 |
CN108769535B (zh) * | 2018-07-04 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
CN109124595A (zh) * | 2018-07-20 | 2019-01-04 | 南开大学 | 基于动态三维脉搏波图像的智能脉搏诊断方法 |
CN109363646A (zh) * | 2018-11-14 | 2019-02-22 | 中山大学 | 一种三维脉波影像的基面预处理方法及系统 |
-
2019
- 2019-03-06 CN CN201910166745.8A patent/CN109935318B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915555A (zh) * | 2011-08-03 | 2013-02-06 | 通用电气公司 | 用于裁剪三维医疗数据集的方法和系统 |
CN104380338A (zh) * | 2012-05-22 | 2015-02-25 | 索尼电脑娱乐公司 | 信息处理器以及信息处理方法 |
CN106462370A (zh) * | 2014-04-29 | 2017-02-22 | 微软技术许可有限责任公司 | 基于注视位置的稳定性平面确定 |
CN106249423A (zh) * | 2015-06-12 | 2016-12-21 | 群创光电股份有限公司 | 显示装置及其操作方法 |
CN105653876A (zh) * | 2016-01-22 | 2016-06-08 | 中国科学院微电子研究所 | 基于三维成像的脉搏波图像采集与存储方法 |
CN206611520U (zh) * | 2017-04-11 | 2017-11-03 | 深圳市光场视觉有限公司 | 带摄像头的反射式显示装置 |
CN207266187U (zh) * | 2017-08-28 | 2018-04-20 | 国网甘肃省电力公司电力科学研究院 | 一种带测量功能的空中全景巡查系统 |
CN207337934U (zh) * | 2017-10-30 | 2018-05-08 | 成都极致空觉科技有限公司 | 实时检测身体状况的ar穿戴装置 |
CN109271021A (zh) * | 2018-08-28 | 2019-01-25 | 北京七鑫易维信息技术有限公司 | 头戴式设备的控制方法、装置、头戴式设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
面向移动增强现实的屏幕外对象可视化方法;陈岭等;《计算机辅助设计与图形学学报》;20120727;第24卷(第6期);第832-838页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109935318A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11030237B2 (en) | Method and apparatus for identifying input features for later recognition | |
CN102915112B (zh) | 用于近距离动作跟踪的系统和方法 | |
CN104508709B (zh) | 使用人体对对象进行动画化 | |
US10607413B1 (en) | Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments | |
KR101453815B1 (ko) | 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치 | |
US9355574B2 (en) | 3D virtual training system and method | |
KR101823182B1 (ko) | 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과 | |
WO2020125785A1 (zh) | 毛发渲染方法、装置、电子设备和存储介质 | |
CN107636585A (zh) | 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生 | |
CN111862333B (zh) | 基于增强现实的内容处理方法、装置、终端设备及存储介质 | |
US20140267311A1 (en) | Interacting with user interface via avatar | |
CN109949900B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
CN108876934A (zh) | 关键点标注方法、装置和系统及存储介质 | |
CN106325509A (zh) | 三维手势识别方法及系统 | |
KR100971667B1 (ko) | 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치 | |
CN112313605A (zh) | 增强现实环境中对象的放置和操纵 | |
Şen et al. | A novel gesture-based interface for a VR simulation: Re-discovering Vrouw Maria | |
CN106980378A (zh) | 虚拟显示方法和系统 | |
CN109935318B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
Mihaľov et al. | Potential of low cost motion sensors compared to programming environments | |
CN109938705B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
Tiefenbacher et al. | Augmented reality evaluation: A concept utilizing virtual reality | |
WO2020114395A1 (zh) | 虚拟画面的控制方法、终端设备及存储介质 | |
CN109949928B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201211 Address after: Room 1001, unit 3, building 1, No. 145, Mingzhu North Road, Xiangzhou District, Zhuhai City, Guangdong Province Applicant after: Zhimei Kangmin (Zhuhai) Health Technology Co., Ltd Address before: Room 702-2, 7th floor, No. 18 Futian Road, Xiangzhou District, Zhuhai City, Guangdong Province Applicant before: ZHUHAI WANNAOTE HEALTH TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |