CN103035026B - 基于视觉感知增强的最大密度投影方法 - Google Patents

Abstract

本发明公开一种基于视觉感知增强的最大密度投影方法，包括：获取目标对象的体数据，对体数据做第一次光线投射而获得当前视线方向的最大密度特征，并获得体数据的绘制结果图像；以最大密度特征所在空间位置为终点，沿当前视线方向对体数据做第二次光线投射，根据用户交互设置的相似性阈值，获得最大密度特征之前的相似特征，并获得相似特征的绘制结果图像；以相似特征所在位置为起点，沿当前视线方向的反方向对体数据做第三次光线投射，查找拥有最大梯度模的采样点，并以该采样点为最大密度特征的最佳法向特征，并获得最佳法向特征的绘制结果图像；利用最佳法向特征的法向信息，对最大密度特征做光照处理，以获得最大密度特征的形状感知增强图像。

Description

基于视觉感知增强的最大密度投影方法

技术领域

本发明涉及一种增强最大密度投影方法绘制结果的视觉感知的方法，属于体数据可视化及图像处理技术领域。

背景技术

直接体绘制方法（DVR）是科学计算可视化研究领域中的一种经典的算法（Max N..Optical Models for Direct Volume Rendering[J].IEEE Transactions onVisualization and Computer Graphics,1995,1(2):99–108），通过传输函数（TF）定义采样点的光学属性（即颜色、不透明度），进而累加获得二维图像中对应像素的颜色值。绘制的结果图像能够揭示体数据中的隐含特征，为用户理解和分析初始体数据提供了有效的手段。然而，DVR的绘制结果过分依赖于TF定义的全局分类标准，即便对于经验丰富的用户，调节并获得有效的TF依然是一个复杂而耗时的过程，这很大程度上制约了DVR在不同应用领域的拓展与普及。经典的最大密度投影算法（简称“MIP算法”）则避免了复杂的TF调节过程，将视线方向上的最大密度值直接投影至对应的像素位置（相关技术可参考Anderson C.M.,Saloner D.,Tsuruda J.S.,et al..Artifacts in Maximum Intensity ProjectionDisplay of MR Angiograms[J].American Journal of Roentgenology,1990,154(3):623-629）。该方法简单、实用，能够快速地将体数据中最明显的特征展示给用户，因此广泛应用于医学领域，如血管造影。虽然MIP算法一定程度上能够满足用户的特定需求，但尚存在如下两点不足：（1）绘制的结果图像仅由最大密度值构成，丢失背景补偿信息，因此绘制结果缺乏深度感知；（2）绘制的结果图像缺少特征的朝向信息，即没有对特征进行光照处理，形状感知不足。

为了增强MIP绘制结果的深度感知，Diaz提出了一种增强深度感知的最大密度投影算法DEMIP（Diaz,J.,Vazquez,P..Depth-enhanced Maximum IntensityProjection[C].In:8th IEEE/EG International Symposium on Volume Graphics,2010,93-100）。该方法通过最大密度值与其相似特征深度的加权，并提供了一种基于颜色球的深度提示方式以获得深度感知增强的绘制结果。尽管DEMIP有效地展示了特征的先后关系，一定程度上增强了感兴趣特征的深度提示，但是结果图像的深度感知依然容易产生歧义，且缺乏特征的形状感知。Stefan等学者则提出了一种最大标量差累积的体绘制算法MIDA（Stefan B.,Eduard M.G..InstantVolume Visualization using Maximum Intensity Difference Accumulation[J].Eurographics/IEEE-VGTC Symposium on Visualization 2009,28(3):775-782）。该算法有效结合了DVR与MIP算法的优势，不需要调节复杂的传输函数便可以展示最大密度特征，而且经过颜色累积能够获得丰富的背景信息。但是，颜色累加值的动态调整一定程度上影响了光照的效果，减弱了特征的形状感知。

发明内容

本发明的目的是提供一种视觉感知增强的最大密度投影方法。

为实现上述目的，本发明所采取的技术方案是：本发明基于视觉感知增强的最大密度投影方法包括如下步骤：

（1）获取目标对象的体数据，对体数据做第一次光线投射而获得当前视线方向的最大密度特征，并获得所述体数据的绘制结果图像；以所述最大密度特征所在的空间位置为终点，沿所述当前视线方向对体数据做第二次光线投射，根据用户交互设置的相似性阈值，获得最大密度特征之前的相似特征，并获得所述相似特征的绘制结果图像；以所述相似特征所在的位置为起点，沿所述当前视线方向的反方向对体数据做第三次光线投射，查找拥有最大梯度模的采样点，并以该采样点为所述最大密度特征的最佳法向特征，并获得所述最佳法向特征的绘制结果图像；

（2）利用所述最佳法向特征的法向信息，对所述最大密度特征做光照处理，以获得所述最大密度特征的形状感知增强图像。

进一步地，本发明利用所述最佳法向特征的深度信息，更新所述光照处理中所用的光照模型的环境光系数、漫反射系数和镜面高光系数，以获得所述最大密度特征的深度感知增强图像。

进一步地，本发明利用HSV颜色模型将所述最佳法向特征的深度信息映射为不同颜色，以增强最大密度特征的深度提示，获得所述最大密度特征的深度感知增强图像。

进一步地，本发明利用色调映射方法将所述形状感知增强图像映射至显示设备的显示范围中，以保留形状感知增强图像的对比度。

进一步地，在本发明中，用户利用鼠标在所述体数据的绘制结果图像中交互指定感兴趣特征，根据所述最佳法向特征的空间位置相似性和所述相似特征的密度值相似性，对所述最大密度特征的绘制结果图像做区域增长，以确定所述最大密度特征的感兴趣特征区域及背景特征区域，进而利用所述视觉感知增强的最大密度投影方法对所述最大密度特征的感兴趣区域进行绘制，而对所述最大密度特征的背景特征区域则利用MIP算法进行绘制。

进一步地，本发明在步骤（2）中，所述光照处理中所用的光照模型为Phong光照模型。

与现有技术相比，本发明的有益效果是：（1）本发明精确查找沿视线方向的最大密度特征的最佳法向信息，并根据最佳法向特征的深度信息对最大密度特征做基于深度自适应地Phong光照处理，有效增强了最大密度特征的视觉感知，无需调节复杂的传输函数；（2）利用HSV颜色模型将最佳法向的深度信息动态映射为颜色信息，进一步丰富了最大密度特征的深度提示信息；（3）引入图形处理领域的色调映射（Tone reduction）技术，在保留最大密度特征的对比度的前提下，将最大密度特征的光照结果图像映射至显示设备的显示范围中；（4）提供了一种基于密度值和深度的双阈值区域增长策略，有效确定感兴趣特征的边界信息，保证了感兴趣特征的密度属性相似性及空间相近性，进而通过不同的绘制策略以突出感兴趣特征的增强展示。

综上，本发明相比于经典的最大密度投影方法（即MIP算法，相关技术可参考Anderson C.M.,Saloner D.,Tsuruda J.S.,et al..Artifacts in MaximumIntensity Projection Display of MR Angiograms[J].American Journal ofRoentgenology,1990,154(3):623-629），提供了深度信息和形状信息更加丰富的绘制结果。相比于经典的直接体绘制方法（相关技术可参考Max N..OpticalModels for Direct Volume Rendering[J].IEEE Transactions on Visualization andComputer Graphics,1995,1(2):99-108），无需调节复杂的传输函数，便可以获得视觉感知增强的体绘制结果，提高了体数据可视分析的效率，丰富了体数据内部最大密度特征的信息。

附图说明

图1是本发明方法的流程示意图；

图2是基于双阈值区域增长的感兴趣区域特征边界确定的流程图；

图3是本发明方法与经典的MIP算法的绘制结果对比图，其中图3（a）示出了经典的MIP算法的绘制结果；图3（b）示出了DEMIP算法的绘制结果；图3（c）示出了本发明对最大密度特征，利用Phong模型做光照处理的形状感知增强结果图像；图3（d）示出了本发明对形状感知结果图像，根据所述最佳法向特征的深度信息，自适应更新光照系数后获得视觉感知增强结果图像。

具体实施方式

下面结合附图，对本发明的基于视觉感知增强的最大密度投影方法作进一步的说明。

参见图1，本发明方法的具体步骤如下：

步骤1）：读入体数据，利用经典的最大密度投影方法（即MIP算法），对体数据做第一次光线投射而获得当前视线方向的最大密度特征；并将所述最大密度特征的密度值作为颜色分量，直接投影至当前视线所对应的屏幕像素，记录所述最大密度特征的深度信息和密度值信息，进而获得所述体数据的最大密度投影方法的绘制结果图像。以所述最大密度特征所在的空间位置为终止点，对所述体数据沿所述当前视线方向做第二次光线投射，根据用户交互设置的相似性阈值，获得所述最大密度特征之前的相似特征，记录所述相似特征的深度信息和密度值信息，进而获得所述相似特征的绘制结果图像。以所述相似特征所在的空间位置为起点，沿所述当前视线方向的反方向做第三次光线投射，在用户交互指定的深度范围内，查找具有最大梯度模的采样点，以该采样点为最大密度特征的最佳法向特征，记录所述最佳法向特征的深度信息与密度值信息，进而获得所述最佳法向特征的绘制结果图像。

步骤2）：根据所述最佳法向特征的法向信息，利用Phong光照模型，按照公式（1）所示的方法对所述最大密度特征做光照处理，获得光照结果图像，通过最大密度特征表面的明暗变化，增强最大密度特征的形状感知（参见图3（c））。

C=(k_a+k_d(N_valid·L))*C_MIP+k_s(N_valid·L)ⁿ           （1）

式（1），k_a表示环境光系数，通常设置为1.0；k_d表示漫反射系数，通常设置为0.5；k_s表示镜面高光系数，通常设置为0.75；N_valid表示所述最佳法向特征的法向；L表示光线的方向；C_MIP表示最大密度特征对应的颜色值；C表示绘制结果图像中的与光线对应的像素的颜色值；n近似表示特征表面的光滑程度，通常设置为40。

作为本发明的优选实施方式，可根据所述最佳法向特征的深度信息，按公式（2）所示方法自适应地更新Phong光照模型中的环境光系数k_a、漫反射系数k_d及镜面高光系数k_s，进而增强最佳法向特征的绘制结果图像中的最大密度特征的深度感知（参见图3（d））。

C=（(1-D）*k_a+(1-D）*k_d(N_optimal·L))*C_MIP+(1-D）*k_s(N_optimal·L)ⁿ    （2）

式（2）中，k_a表示环境光系数，通常设置为1.0；k_d表示漫反射系数，通常设置为0.5；k_s表示镜面高光系数，通常设置为0.75；n近似表示特征表面的光滑程度，通常设置为40；N_valid表示所述最佳法向特征的法向；L表示所述光线的方向；C_MIP表示最大密度特征对应的颜色值；D表示最佳法向特征的深度信息，C表示绘制结果图像中的与所述光线对应的像素的颜色值。

作为本发明的优选实施方式，可利用HSV颜色模型，将所述最佳法向特征的深度信息映射为对应的颜色，进而按公式（3）所示的方法对所述最大密度特征的视觉感知增强结果做加权处理，进一步增强了所述最大密度特征的深度提示；

C=m*C_Depth+(1-m)*C_Shape           （3）

式（3）中，m表示加权系数，可以根据用户需求定义；C_Dcpth表示所述最佳法向深度信息映射而得的颜色分量；C_Shape表示所述最大密度特征经光照处理后获得的视觉感知增强的颜色分量；C表示基于视觉感知增强的结果颜色分量。

最大密度特征具有当前视线方向最大的密度值属性，经Phong模型光照计算获得的颜色值通常超出标准显示设备的显示范围，故所述形状感知增强的绘制结果图像是一幅高动态图像，在标准的显示设备中呈现出对比度不强，视觉感知较弱的结果图像。因此，作为优选方案，本发明进一步引入图像处理领域中的经典色调映射技术（Tone Reduction），由用户交互调节映射阈值，利用公式（4）所示方法将高动态范围的形状感知增强的绘制结果图像映射为标准显示设备显示范围内的图像，有效保留了最大密度特征的对比度：

$C_{\mathrm{new}}=(D_{\max }-D_{\min })*\frac{\log (C+\mathrm{\γ})-\log (C_{\min }+\mathrm{\γ})}{\log (C_{\max }+\mathrm{\γ})-\log (C_{\min }+\mathrm{\γ})}+D_{\min }----\left(4\right)$

式（4）中，D_max表示标准显示设备的最大显示亮度，通常为255；D_min表示标准显示设备的最小显示亮度，通常为0；C表示当前视线方向的光线在绘制结果图像中对应像素的颜色值；C_max为所有光线在绘制结果图像中对应像素颜色值中的最大值；C_min为所有光线在绘制结果图像中对应像素颜色值中的最小值；γ为用户交互设定的色调映射阈值；C_new为高动态颜色值量化至标准显示设备中的对应颜色值。

进一步地，本发明可利用GPU提供的MRT（Multiple Render Targets）技术分别将最大密度特征的密度值信息、所述相似特征的密度值信息及所述最佳法向特征的深度信息保存于不同的二维纹理，根据用户交互定义的感兴趣区域及密度相似性阈值和深度相似性阈值，对步骤1）中利用MIP算法获得的体数据的绘制结果图像做区域增长策略，以有效确定最大密度特征的感兴趣特征区域及背景特征区域，具体步骤如下（参见图2）：

（a）在特定应用领域，用户已经习惯于根据MIP可视化结果对初始体数据做进一步的观察与处理，例如医学诊断、工业检测等。因此，将MIP算法获得的体数据的绘制结果图像视为用户交互接口，用户在该结果图像中通过移动鼠标动态选取种子点，在初步浏览基于不同种子点区域增长的绘制结果之后，单击鼠标左键以确定所述最大密度特征结果图像的感兴趣特征区域；

（b）根据所述种子点的二维坐标信息，交互定义密度相似阈值，在所述相似特征密度值纹理对应的二维图像中做区域增长，以获得基于密度值阈值的感兴趣特征区域；

（c）为保证所述感兴趣特征具有较强的空间相关性，交互定义深度相似阈值，在所述最佳法向特征的深度值纹理对应的二维图像中做区域增长，以获得基于深度阈值的感兴趣特征区域，进而有效更新所述感兴趣特征区域。

进一步地，可在以上基于密度和深度双阈值区域增长的基础上，有效确定感兴趣特征区域的区域信息。所述感兴趣特征区域不仅具有相似的密度值，而且具有相近的空间位置。对所述感兴趣特征区域，利用所述视觉感知增强的最大密度投影法对其进行绘制，而对于最大密度特征的背景特征区域则采用目前经典的最大密度投影方法（即MIP算法）对其进行绘制，使感兴趣特征区域的视觉感知得到进一步的突出显示。

使用本发明方法后，用户无需调节复杂的传输函数，便可以获得视觉感知增强的最大密度特征绘制结果。深度自适应的Phong光照模型能够有效增强最大密度特征的形状感知，而不同的颜色映射能够进一步地丰富最大密度特征的深度信息，进而色调映射技术的有效引入能够保留特征的对比度，双阈值的区域增长策略能够准确的获得感兴趣特征的密度值范围和空间范围，不同的绘制策略能够突出感兴趣特征的展示，方便用户对体数据最大密度特征做进一步的分析与处理。

Claims (4)

1.一种基于视觉感知增强的最大密度投影方法，其特征在于包括如下步骤：

（1）获取目标对象的体数据，对体数据做第一次光线投射而获得当前视线方向的最大密度特征，并获得所述体数据的绘制结果图像；以所述最大密度特征所在的空间位置为终点，沿所述当前视线方向对体数据做第二次光线投射，根据用户交互设置的相似性阈值，获得最大密度特征之前的相似特征，并获得所述相似特征的绘制结果图像；以所述相似特征所在的位置为起点，沿所述当前视线方向的反方向对体数据做第三次光线投射，查找拥有最大梯度模的采样点，并以该采样点为所述最大密度特征的最佳法向特征，并获得所述最佳法向特征的绘制结果图像；

（2）利用所述最佳法向特征的法向信息，对所述最大密度特征做光照处理，以获得所述最大密度特征的形状感知增强图像；并且，利用所述最佳法向特征的深度信息，通过采取以下方案一或方案二获得所述最大密度特征的深度感知增强图像：

方案一：利用所述最佳法向特征的深度信息，更新所述光照处理中所用的光照模型的环境光系数、漫反射系数和镜面高光系数，以获得所述最大密度特征的深度感知增强图像；

方案二：利用HSV颜色模型将所述最佳法向特征的深度信息映射为不同颜色，以增强最大密度特征的深度提示，获得所述最大密度特征的深度感知增强图像。

2.根据权利要求1所述的基于视觉感知增强的最大密度投影方法，其特征在于：利用色调映射方法将所述形状感知增强图像映射至显示设备的显示范围中，以保留形状感知增强图像的对比度。

3.根据权利要求1或2所述的基于视觉感知增强的最大密度投影方法，其特征在于：用户利用鼠标在所述体数据的绘制结果图像中交互指定感兴趣特征，根据所述最佳法向特征的空间位置相似性和所述相似特征的密度值相似性，对所述最大密度特征的绘制结果图像做区域增长，以确定所述最大密度特征的感兴趣特征区域及背景特征区域，进而利用所述视觉感知增强的最大密度投影方法对所述最大密度特征的感兴趣区域进行绘制，而对所述最大密度特征的背景特征区域则利用MIP算法进行绘制。

4.根据权利要求1或2所述的基于视觉感知增强的最大密度投影方法，其特征在于：在步骤（2）中，所述光照处理中所用的光照模型为Phong光照模型。