CN105740623B - 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法 - Google Patents

一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法 Download PDF

Info

Publication number
CN105740623B
CN105740623B CN201610065789.8A CN201610065789A CN105740623B CN 105740623 B CN105740623 B CN 105740623B CN 201610065789 A CN201610065789 A CN 201610065789A CN 105740623 B CN105740623 B CN 105740623B
Authority
CN
China
Prior art keywords
texture
video
image
mapping
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610065789.8A
Other languages
English (en)
Other versions
CN105740623A (zh
Inventor
赖蘋华
刘小平
程强强
胡凌燕
李春泉
邹艳妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201610065789.8A priority Critical patent/CN105740623B/zh
Publication of CN105740623A publication Critical patent/CN105740623A/zh
Application granted granted Critical
Publication of CN105740623B publication Critical patent/CN105740623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Generation (AREA)

Abstract

一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法，包括将图像分割为光斑区域Us和脑组织区域Ub、光斑区域线性放大为Us'图像、光斑图像Us与Us'进行质心配准、脑组织区域进行图像修复为Ub'图像、Us'与Ub'进行视频合成、视频解帧生成纹理、消除首尾帧跳变、手术背景动态纹理循环映射、手术肿瘤镜面环境映射等步骤。本发明通过采用摄像机获得的视频序列进行动态纹理映射方法建立高真实感场景信息，通过进行镜面环境映射获得手术的虚拟器官的真实感纹理，极大地提升了手术仿真的真实感和沉浸感，实习医生在训练过程中可以更身临其境地体验到真实手术一样的动态视觉效果，有助于更快速高效的提升实习医生的手术操作水平。

Description

一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法
技术领域
本发明涉及图象处理、虚拟现实技术领域，具体涉及一种高沉浸感的虚拟手术仿真视觉呈现方法。
背景技术
虚拟融合在医学手术上有极为重要的应用价值。高仿真的系统允许医生或实习生通过练习掌握系统提供的操作，他们可以反复进行尽可能多次数的操作。但是，系统的保真度和触觉现实感仍然是目前亟待解决的问题。虚实手术的前沿问题在于：增强真实环境和虚拟环境的一致呈现性，以及增强人与虚实环境的力触觉和体感交互的真实感。
目前国内外不少大学和科研机构都陆续开发了虚实融合的手术仿真系统，但大多数系统无背景直接显示虚拟病灶器官，或者采用简单的静态背景图片。这些虚拟现实系统虽然对虚拟的组织器官部分进行了较为精细的仿真，但却没有真实的环境与之融合，单一孤立的模型缺乏真实感，很难使用户在视觉上产生沉浸感。针对上述问题，本发明提出了一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法。在对脑肿瘤器官模拟仿真的基础上，该方法对虚拟脑瘤周围建立大脑组织环境，并对环境背景进行基于手术视频的动态纹理渲染，对虚拟脑肿瘤模型进行镜面纹理映射，实现虚实在纹理上的同步效果。相比传统脑外科虚拟手术的视觉显示方法，该方法极大的增强了手术视觉效果的真实感和沉浸感，并将虚拟器官与环境进行了高度融合，增强了真实环境和虚拟环境的一致呈现性。
发明内容
本发明的目的是提供一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法。
为了提升仿真系统的真实感和沉浸感，本发明在虚拟脑肿瘤模型的基础上建立大脑组织环境，通过采用摄像机获得的视频序列对其进行动态纹理映射，建立高度真实感的场景信息，通过进行镜面环境映射获得待手术的虚拟脑肿瘤的真实感纹理，实现虚拟模型与真实场景在纹理上的同源性与同步效果。
本发明是通过以下技术方案实现的。
本发明所述的一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法，按如下步骤：
步骤1：对脑外科手术视频进行区域分割，并分别进行预处理：以便于突破时间长度的限制，对脑组织区域背景进行实时动态环境映射以及对虚拟脑肿瘤模型进行镜面环境纹理映射。
(a)对手术视频进行图像分割：设视频单帧图像为U，U＝Us+Ub(Us为光斑区域图像，Ub为脑组织区域图像)。利用Otsu法计算出两个区域的类间方差，获得分界阈值k，根据k值将图像U分离为光斑区域Us与脑组织区域Ub。
(b)对光斑区域Us进行线性放大和质心配准：采用双线性插值将光斑区域Us放大1.1倍获得Us'图像。设源图像Us大小为M×N，则目标图像Us'大小为1.1M×1.1N，通过对四邻域点的像素值进行加权求和获得Us'图像的像素值。分别计算原光斑区域Us的质心点p1，和放大区域Us'的质心点p2，通过重叠p1和p2两点对两个区域进行质心配准，使用Us'覆盖Us区域。
(c)对脑组织区域Ub进行图像修复：对Ub中移除光斑后的剩余区域进行图像修复，获得完整的脑组织图像Ub'。对视频中每帧图像，通过对相邻帧画面像素采用加权求和窗口，获得第k帧图像中的修复区域各点的像素值。
步骤2：动态纹理映射渲染高仿真脑组织区域背景：脑肿瘤切除手术中，通过对视频文件解帧生成纹理，对肿瘤区域外的大脑组织结构进行实时动态映射，该区域作为仿真手术背景，无需与训练者进行交互操作。
(a)从完成预处理的视频中解出帧画面、生成纹理图像：从视频中提取video流、获取视频信息，利用视频流时长信息计算出每帧持续时间mpf，选取适当间隔时间t，将视频离散为有限帧画面序列。获取帧信息，利用帧的边界信息计算帧画面的尺寸，将帧处理为符合映射规则的纹理格式位图，大小为2N×2N，以便进行纹理映射。
(b)进行动态纹理映射、消除循环点跳变：对手术中的大脑组织区域进行不限时长的实时动态映射循环作为仿真手术系统的环境背景，将结束点画面跳变引起的图像差分散到整个循环周期中从而消除视觉跳变。对帧图像进行帧剖，分成若干网格，考察网格的运动轨迹，提取具有完整运动轨迹的网格，找出视频停止点的中断缺损网格，将其替换为具有完整轨迹的网格序列，保证初始网格完成运动。
步骤3：对虚拟脑肿瘤模型进行镜面环境纹理映射：采用立方体镜面环境映射，将脑肿瘤的表面纹理模拟为周围大脑组织环境的反射效果，保持脑瘤纹理与周围的纹理同源，进行实时同步的准确映射。建立边长为D的立方体模型，在纹理平面的中间区域取正方形纹理覆盖至立方体顶面，再取正方形纹理之外的环形区域覆盖到立方体剩余的侧面，纹理映射前后的面积之比为K，建立纹理平面上的点P(u,v)到立方体上的点Q(x,y,z)之间的映射f(u,v,x,y,z)。
发明的技术效果：本发明通过对视频序列进行动态纹理映射和镜面环境映射获得真实感纹理，极大地提升了手术仿真的真实感和沉浸感，相比现有的其他虚拟手术仿真系统，实习医生在训练过程中可以更身临其境地体验到真实手术一样的动态视觉效果，有助于更快速高效的提升实习医生的手术操作水平。
附图说明
图1为本发明方法的流程示意图。
图2为本发明动态纹理映射流程图。
图3为本发明帧跳变消除流程框架图。
具体实施方式
本发明采用基于跳变的视频纹理合成方法，将视频处理为全局或局部的重复的周期性动态纹理。由于视频中的大脑组织结构和光斑的运动规律非一致，将脑组织图像与光斑区域图像进行分离，对脑组织图像进行修复，对光斑区域进行放大，然后进行分区域动态纹理合成，将合成的纹理映射为环境背景，并对虚拟脑膜瘤进行镜面环境映射，保证脑瘤纹理与大脑组织的视觉一致性。
下面结合附图对本发明进一步说明。
步骤1：对脑肿瘤切除手术视频进行区域分割，并分别进行预处理：以便于突破时间长度的限制，对脑组织区域背景进行实时动态环境映射以及对虚拟脑肿瘤模型进行镜面环境纹理映射。
(a)对手术视频进行图像分割：设视频单帧图像为U，U＝Us+Ub(Us为光斑区域图像，Ub为脑组织区域图像)。利用Otsu法进行图像分割，设k为分割阈值，Ps(k)为k阈值下像素点分为Us区域的概率，Pb(k)为同阈值下分为Ub区域的概率，g为图像U的灰度均值，gs为Us区域的灰度均值，gb为Ub区域的灰度均值，g(k)为累加灰度均值，计算两个区域的类间方差σ2(k)，使其最大化获得最佳分界阈值k，根据k值将图像U分离为光斑区域Us与脑组织区域Ub。
(b)对光斑区域Us进行线性放大和质心配准：采用双线性插值将光斑区域Us放大1.1倍获得Us'图像。设源图像Us大小为M×N，则目标图像Us'大小为1.1M×1.1N。通过对四邻域点的像素值进行加权求和获得Us'图像的像素值：离点p(i,j)最近的四个邻域像素点为pi(i＝1,2,3,4)，wi(i＝1,2,3,4)为各点相应权值。则Us'中点p的灰度值为f(i,j)＝w1*p1+w2*p2+w3*p3+w4*p4。分别计算原光斑区域Us和放大区域Us'的质心点p。Us区域质心为p1，Us'区域质心为p2：通过重叠p1和p2两点对两个区域进行质心配准，使用Us'覆盖Us区域。
(c)对脑组织区域Ub进行图像修复：对Ub中移除光斑后的剩余区域进行图像修复，获得完整的脑组织图像Ub'。对视频中每帧图像，通过对相邻帧画面像素采用加权求和窗口，获得第k帧图像中的修复区域各点的像素值，Ws为各帧图像的权值，离第k帧越近则权值越大。
步骤2：动态纹理映射渲染高仿真脑组织区域背景：脑肿瘤切除手术中，通过对视频文件解帧生成纹理，对肿瘤区域外的大脑组织结构进行实时动态映射，该区域作为仿真手术背景，无需与训练者进行交互操作。
(a)从完成预处理的视频中解出帧画面、生成纹理图像：从视频中提取video流、获取视频流时长信息，利用AVIStreamLength，AVIStreamSampleToTime计算出视频总帧数lastframe和视频持续时间sampletime，每帧持续时间mpf＝sampletime/lastframe，选取适当间隔时间t，将视频离散为有限帧画面序列。获取帧信息，psi为视频流信息结构，rcFrame为帧信息属性，帧右边缘fr＝psi.rcFrame.right，左边缘fl＝psi.rcFrame.Left，上边缘ft＝psi.rcFrame.top，下边缘fb＝psi.rcFrame.bottom，利用帧的边界信息计算帧画面的尺寸width＝fr-fl，height＝ft-fb，将帧处理为符合映射规则的纹理格式，即大小为2N×2N的位图，以便进行纹理映射。
(b)进行动态纹理映射、消除循环点跳变：对手术中的大脑组织区域进行不限时长的实时动态映射循环作为仿真手术系统的环境背景，将结束点画面跳变引起的图像差分散到整个循环周期中从而消除视觉跳变。对帧图像进行帧剖，分成若干网格，考察网格的运动轨迹，提取具有完整运动轨迹的网格，找出视频停止点的中断缺损网格，将其替换为具有完整轨迹的网格序列，保证初始网格完成运动。视频的连续性与划分的网格数量呈正比、大小呈反比，网格划分地越多越细，最终跳变被人眼发觉的概率越低。网格数的最大划分ng取决于视频的帧数frames和分辨率的最小值。设按水平方向对视频画面进行划分，rh为水平方向分辨率，则ng≤min((frames+1)/2,rh)。对于剖分后相邻网格间的重复区域，计算重复区域中相邻像素点的最小图像距离，找出最优分割精化图像，保留纹理细节的同时平滑纹理的跳变，合成并输出最终视频结果。
步骤3：对虚拟脑肿瘤模型进行镜面环境纹理映射：采用立方体镜面环境映射，将脑肿瘤的表面纹理模拟为周围大脑组织环境的反射效果，保持脑瘤纹理与周围的纹理同源，进行实时同步的准确映射。建立边长为D的立方体模型，在纹理平面的中间区域取正方形纹理覆盖至立方体顶面，再取正方形纹理之外的环形区域覆盖到立方体剩余的侧面，纹理映射前后的面积之比为K，建立纹理平面上的点P(u,v)到立方体上的点Q(x,y,z)之间的映射f(u,v,x,y,z)。

Claims (1)

1.一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法，其特征是按如下步骤：
步骤1：对脑外科手术视频进行区域分割，并分别进行预处理：
(a)对手术视频进行图像分割：设视频单帧图像为U，U＝Us+Ub，其中，Us为光斑区域图像，Ub为脑组织区域图像；利用Otsu法计算出两个区域的类间方差，获得分界阈值k，根据k值将图像U分离为光斑区域Us与脑组织区域Ub；
(b)对光斑区域Us进行线性放大和质心配准：采用双线性插值将光斑区域Us放大1.1倍获得Us'图像；设源图像Us大小为M×N，则目标图像Us'大小为1.1M×1.1N，通过对四邻域点的像素值进行加权求和获得Us'图像的像素值；分别计算原光斑区域Us的质心点p1，和放大区域Us'的质心点p2，通过重叠p1和p2两点对两个区域进行质心配准，使用Us'覆盖Us区域；
(c)对脑组织区域Ub进行图像修复：对Ub中移除光斑后的剩余区域进行图像修复，获得完整的脑组织图像Ub'；对视频中每帧图像，通过对相邻帧画面像素采用加权求和窗口，获得第k帧图像中的修复区域各点的像素值；
步骤2：动态纹理映射渲染高仿真脑组织区域背景：
(a)从完成预处理的视频中解出帧画面、生成纹理图像：从视频中提取video流、获取视频信息，利用视频流时长信息计算出每帧持续时间mpf，选取适当间隔时间t，将视频离散为有限帧画面序列；获取帧信息，利用帧的边界信息计算帧画面的尺寸，将帧处理为符合映射规则的纹理格式位图，大小为2N×2N，以便进行纹理映射；
(b)进行动态纹理映射、消除循环点跳变：对手术中的大脑组织区域进行不限时长的实时动态映射循环作为仿真手术系统的环境背景，将结束点画面跳变引起的图像差分散到整个循环周期中从而消除视觉跳变；对帧图像进行帧剖，分成若干网格，考察网格的运动轨迹，提取具有完整运动轨迹的网格，找出视频停止点的中断缺损网格，将其替换为具有完整轨迹的网格序列，保证初始网格完成运动；
步骤3：对虚拟脑肿瘤模型进行镜面环境纹理映射：采用立方体镜面环境映射，将脑肿瘤的表面纹理模拟为周围大脑组织环境的反射效果，保持脑瘤纹理与周围的纹理同源，进行实时同步的准确映射；建立边长为D的立方体模型，在纹理平面的中间区域取正方形纹理覆盖至立方体顶面，再取正方形纹理之外的环形区域覆盖到立方体剩余的侧面，纹理映射前后的面积之比为K，建立纹理平面上的点P(u,v)到立方体上的点Q(x,y,z)之间的映射f(u,v,x,y,z)。
CN201610065789.8A 2016-02-01 2016-02-01 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法 Active CN105740623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610065789.8A CN105740623B (zh) 2016-02-01 2016-02-01 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065789.8A CN105740623B (zh) 2016-02-01 2016-02-01 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法

Publications (2)

Publication Number Publication Date
CN105740623A CN105740623A (zh) 2016-07-06
CN105740623B true CN105740623B (zh) 2018-05-25

Family

ID=56247070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065789.8A Active CN105740623B (zh) 2016-02-01 2016-02-01 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法

Country Status (1)

Country Link
CN (1) CN105740623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506634B (zh) * 2021-07-15 2024-04-09 南京易爱医疗设备有限公司 脑部仿真系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404046A (zh) * 2008-10-07 2009-04-08 华南师范大学 虚拟手术图像处理系统及其处理方法
CN101710420A (zh) * 2009-12-18 2010-05-19 华南师范大学 一种医学图像反分割方法
CN102982238A (zh) * 2012-11-13 2013-03-20 深圳市环球博洋机电科技有限公司 一种基于ct胶片的三维肾肿瘤手术模拟方法及其平台
CN103051915A (zh) * 2013-01-14 2013-04-17 清华大学 一种交互式立体视频关键帧的制作方法及制作装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404046A (zh) * 2008-10-07 2009-04-08 华南师范大学 虚拟手术图像处理系统及其处理方法
CN101710420A (zh) * 2009-12-18 2010-05-19 华南师范大学 一种医学图像反分割方法
CN102982238A (zh) * 2012-11-13 2013-03-20 深圳市环球博洋机电科技有限公司 一种基于ct胶片的三维肾肿瘤手术模拟方法及其平台
CN103051915A (zh) * 2013-01-14 2013-04-17 清华大学 一种交互式立体视频关键帧的制作方法及制作装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A non-linear viscoelastic tensor-mass model for surgery simulation;Shaoping Xu等;《IEEE International Workshop on Haptic Audio Visual Enviroments & Games》;20091231;第48-53页 *
沉浸式手术环境的研究与实现;潘伟洲等;《计算机仿真》;20131231;第30卷(第12期);第411-415页 *
虚拟手术系统开发软件平台研究;沙聪雪等;《计算机技术与发展》;20140331;第24卷(第3期);第12-14页 *

Also Published As

Publication number Publication date
CN105740623A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN106993195A (zh) 虚拟人物角色直播方法及系统
CN109409348A (zh) 一种用户体征的确定方法、装置、设备和存储介质
CN104915978A (zh) 基于体感相机Kinect的真实感动画生成方法
CN110473266A (zh) 一种基于姿态指导的保留源场景人物动作视频生成方法
CN109427080A (zh) 快速生成大量复杂光源人脸图像的方法
CN104599305B (zh) 一种二三维结合的动画生成方法
EP1150254A3 (en) Methods for creating an image for a three-dimensional display, for calculating depth information, and for image processing using the depth information
CN109255843A (zh) 三维重建方法、装置及增强现实ar设备
CN106056650A (zh) 基于快速表情信息提取和泊松融合的人脸表情合成方法
CN101276482A (zh) 基于动态Billboard技术的三维场景绘制简化方法
CN107230250A (zh) 一种参照实体标本进行直接三维建模的成型方法
CN112530005A (zh) 一种三维模型直线结构识别与自动修复方法
CN105740623B (zh) 一种适用于脑外科虚拟手术仿真的高沉浸感视觉呈现方法
Weir et al. BurnAR: Feel the heat
CN112381913B (zh) 基于3d建模与口腔解剖的动态发音教学模型构建方法
KR101339452B1 (ko) 가상 관절경 수술 시뮬레이션장치
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
Kawai et al. Data-driven speech animation synthesis focusing on realistic inside of the mouth
CN110782529B (zh) 一种基于三维人脸实现眼球转动效果的方法和设备
CN102800121B (zh) 一种交互编辑虚拟人群场景中虚拟个体的方法
CN206039650U (zh) 一种基于虚拟现实的建筑设计交互应用系统
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
CN106817578A (zh) 一种分析裸眼3d显示系统立体深度影响因素的方法
Jiawei et al. A special edutainment system based on somatosensory game
Liu Application research of virtual reality technology in rural tourism promotion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant