CN102289840B - 面向色盲设计颜色传输函数用于体绘制的方法 - Google Patents

Abstract

本发明公开一种面向色盲设计颜色传输函数用于体绘制的方法。它是在体绘制系统中导入体数据，设计颜色传输函数和不透明度传输函数，用基于光线投射算法的体绘制方法绘制得到结果图像；用面向色盲的重新着色方法对所述结果图像重新着色；令颜色传输函数包含的颜色值未知，采样窗口中的部分非背景像素并对这些像素分别投射光线并累积关于未知颜色的权值，得到未知颜色的线性组合；令每个所述的线性组合等于重新着色后图像在相应像素位置处的颜色，求解得到未知的颜色并构造新的颜色传输函数；使用新的颜色传输函数，并使用新的面向色盲的颜色融合算子，绘制体数据得到适合色盲观察者探索的结果图像。

Description

面向色盲设计颜色传输函数用于体绘制的方法

技术领域

本发明涉及一种辅助用户设计适合色盲观察者的颜色传输函数用于直接体绘制的方法，属于体数据可视化及图像处理领域。

背景技术

体数据可视化作为一种有效的交流与分析体数据的工具被广泛使用，然而约总人口的8％面临着不同程度的视觉障碍(色盲和色弱)，这部分观察者同样有浏览与探索体数据的需求。传统的面向色盲观察者的改进方法主要是基于图像重新着色的，主要分为两类：1)通过设置一些参数进行部分颜色偏移；2)对图像包含的整体颜色种类进行颜色对比度增强优化，然后重新着色图像的每个像素。前者需要通过调节参数，交互复杂而效果一般；后者最优化一个目标方程，通常能得到最优化的对比度增强方案。由于对体数据的浏览是一个交互的过程，用户需要通过旋转、平移等操作观察体绘制的结果，而基于图像的重新着色的方案需要针对每一帧绘制结果进行优化，因此它通常面临着性能问题而无法使用户得到满意的交互体验。另外，在不同视角的两帧之间，不同的图像内容生成不同的优化结果，而优化结果的变化导致重新着色后的体绘制结果中的相同结构部分产生颜色不一致现象(颜色偏移问题)；而当相邻两帧的优化结果不同的时候，可能会造成颜色色调被反转的现象(时序不一致问题)。特别地，传统的颜色加法算子是针对两个RGB颜色空间中颜色的融合，即两个颜色的R、G、B分量分别线性插值后得到一个新的颜色，而色盲观察者的视觉颜色感知空间是在LMS颜色空间中两个相交的半平面(相关技术可参考H.Brettel，F.Vienot，and J.D.Mollon.，1997，Computerized simulation of color appearance fordichromats)，使得线性插值后得到的融合颜色与输入的两个颜色之间的关系在色盲观察者的视觉感知中不再是线性的，因此会一定程度上导致融合后的颜色丢失其本应表达的信息，干扰色盲观察者对图像内容的探索(例如，使用传统方法将两个颜色按照一定的不透明度进行融合后得到的颜色，在色盲观察者的视觉感知中，可能会与原来的两个颜色之一的颜色感知距离太近，导致无法区分三个不同颜色的情况，造成对结果图像的不正确理解)。

发明内容

本发明的目的是提供一种面向色盲设计颜色传输函数用于体绘制的方法，它可辅助用户设计适合色盲观察者的颜色传输函数用于直接体绘制。

为实现上述目的，本发明所采取的技术方案是：

所述面向色盲设计颜色传输函数用于体绘制的方法包括如下步骤：

(1)根据体数据、包含不同颜色的颜色传输函数和不透明度传输函数，在当前视角下通过基于光线投射的体绘制方法绘制得到体绘制的初步结果图像；

(2)对所述初步结果图像进行重新着色，以将所述初步结果图像中的色盲观察者所不能区分的颜色替换为色盲观察者能够区分的颜色；

(3)保持所述不透明度传输函数不变，从绘制窗口中随机采样非背景的像素位置，所采样的非背景的像素位置的数量大于等于所述颜色传输函数中的颜色种类；在所采样的非背景的各像素位置上分别投射一条从视点出发的光线，通过光线投射方法累积该条光线上的所述颜色传输函数中的各种颜色所对应的权重值，相应得到关于所述颜色传输函数中的各种颜色的线性组合，所述线性组合以对应的所述权重值为系数；

(4)令各所述线性组合分别等于经步骤(2)重新着色得到的结果图像在所采样的非背景的各所述像素位置处的颜色，得到相应的方程并组成一个线性方程组，所述线性方程组以所述颜色传输函数中的各种颜色的分量作为未知数，且各未知数的取值范围符合其所在的颜色空间所定义的取值范围；后使用带约束条件的最小二乘法对所述线性方程组求解，得到新的颜色传输函数中的各种颜色；

(5)根据所述体数据、所述新的颜色传输函数和所述不透明度传输函数，在当前视角下使用基于光线投射的体绘制方法绘制得到最终的体绘制的结果图像。

进一步地，本发明在步骤(5)中，使用所述基于光线投射的体绘制方法时，在颜色累积过程中，按以下步骤进行两个颜色的融合：

1)先将处于同一颜色空间的第一颜色和第二颜色相应地转化为LMS颜色空间的第三颜色和第四颜色；将所述第三颜色和第四颜色分别通过色盲模拟模型相应地转化为第五颜色和第六颜色；在所述色盲模拟模型中，色盲观察者的LMS颜色空间由两个相交的半平面组成；

2)在所述两个相交的半平面上寻找一条连接所述第五颜色和第六颜色的最短路径；在所述最短路径上寻找一个目标点，使得该目标点与所述第五颜色和第六颜色所对应的点满足以下关系式(I)，

d(G，C₅)∶d(G，C₆)＝α₂∶(1一α₂)    (I)

式(I)中，C₅、C₆、G分别表示第五颜色、第六颜色、所述目标点在所述色盲观察者的LMS颜色空间的位置，d(G，C₅)和d(G，C₆)分别表示目标点沿着所述最短路径到C₅和C₆的距离，α₂表示所述第二颜色对应的不透明度；

3)将目标点所对应的颜色转换为第一颜色和第二颜色所在的颜色空间的第七颜色；

4)将所述第一颜色、第二颜色和第七颜色分别相应地转换为L^*a^*b^*颜色空间中的第八颜色、第九颜色和第十颜色；保持第十颜色的a^*通道和b^*通道的分量值不变，按以下式(II)对第十颜色的L^*通道的分量值进行修改，

L^* ₁₀＝(1-α₂)×L^* ₈+α₂×L^* ₉，   (II)

式(II)中，L^* ₈、L^* ₉和L^* ₁₀分别表示第八颜色、第九颜色和第十颜色的L^*通道分量的值，α₂表示所述第二颜色对应的不透明度；

5)将经步骤4)修改的第十颜色转换为第一颜色和第二颜色所在的颜色空间的颜色。

与现有技术相比，本发明的有益效果是：

首先，本发明方法得到的是一个优化的颜色传输函数，因而避免了在每一帧都需要进行优化求解的步骤，提高了绘制效率，也提升了用户在浏览体数据时的交互体验；其次，由于使用了一个优化的颜色传输函数，在用户进行交互体数据浏览过程中就避免了因对不同帧的体绘制结果图像进行单独的全局优化而造成的颜色偏移问题和时序一致性的问题；最后，使用本发明的新的颜色融合算子，可以避免当两个颜色融合后产生的颜色与原来的两个颜色之一的颜色感知距离太近而造成无法区分的情况，有效降低色盲观察者对体绘制结果图像所包含信息的不正确理解。

附图说明

图1是本发明方法的流程示意图；

图2是色盲LMS颜色空间中对两个颜色进行颜色融合的示意图。

具体实施方式

下面结合附图，对本发明的面向色盲设计体绘制颜色传输函数的方法作进一步说明，具体步骤如下：

步骤1)：首先按照传统的体绘制框架流程，读入体数据；然后，用户通过系统提供的传输函数设计界面设计一个包含M种不同颜色的颜色传输函数和一个不透明度传输函数，或者从磁盘导入一个已保存的传输函数的配置文件；接着，根据体数据、包含M种不同颜色的颜色传输函数和不透明度传输函数，通过基于光线投射的直接体绘制方法(如图1中的步骤a)绘制得到在当前视角下的体绘制的初步结果图像。

步骤2)：对于步骤1)得到的当前视角下的体绘制的初步结果图像，使用面向色盲的基于图像的重新着色的方法，对其进行重新着色(如图1中的步骤b)，以将初步结果图像中的色盲观察者不易区分的颜色替换为色盲观察者容易区分的颜色，使得重新着色后的结果图像尽可能多地包含色盲观察者容易区分的颜色分类信息，以利于色盲观察者更容易地理解图像所包含的信息。其中，面向色盲的基于图像的重新着色的方法可以是Kuhn等人提出的基于带约束的全局优化重新着色方法(相关技术可参考G.R.Kuhn，M.M.Oliveira，and L. A.F.Fernandes.，2008，An efficient naturalness-preserving image-recoloring method fordichromats)、Machado等人提出的实时的时序一致的对比增强方法(相关技术可参考G. M.Machado and M.M.Oliveira.，2010，Real-time temporal-coherent colorcontrast enhancement for dichromats)等。

步骤3)：保持步骤1)所述的不透明度传输函数不变，将步骤1)所述的颜色传输函数定义为一组由M种不同的未知颜色组成的集合{C_i|i＝1，2，...，M}(如图1中的步骤c)；随机采样绘制窗口中的数量为N(N≥M)的非背景的像素位置，记作{P_k|k＝1，2，...，N}；在各个采样得到的非背景的像素位置P_k(k＝1，2，...，N)上，分别投射一条从视点出发的光线，通过光线投射方法累积该条光线上的M种不同的颜色值所对应的权重值，相应得到关于所述未知颜色集合中的M种不同颜色的线性组合如下：

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,i}{C}_i,k=\mathrm{1,2},...,N---\left(1\right)$

其中，ω_k，i是第k(k＝1，2，...，N)条光线上累积的关于第i种未知颜色C_i的权重值，该权重值的计算仅与不透明度传输函数有关，因此它可以被预先计算。

步骤4)：把步骤2)得到的重新着色后的结果图像在所述对应采样得到的非背景的像素位置{P_k|k 1，2，...，N}的颜色记作{C_k ^*|k 1，2，...，N}，令步骤3)得到的各个线性组合分别与颜色集合{C_k ^*|k＝1，2，...，N}中的元素对应相等，得到相应的方程并组成一个线性方程组(如图1中的步骤d)

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,i}{C}_i={C_k}^{*},k=\mathrm{1,2},...,N---\left(2\right)$

通常，颜色是由三元向量表示的(如RGB颜色由R、G、B三个分量表示，HSV颜色有H、S、V三个分量表示)，且表示颜色的三元向量的每个分量在其所处的颜色空间中具有合法取值范围(如在RGB颜色空间中，R、G、B三个分量的取值范围是[0.0，1.0]；在HSV颜色空间中，H的取值范围是[0，359]，S、V两个分量的取值范围是[0，255]，因此需要对未知颜色C_i(i＝1，2，...，M)的分量的取值范围进行约束。

当N M时，方程组公式(2)具有唯一解。为了避免随机采样导致求解结果的不稳定性，在本发明的实现中通常N会比M大一到两个数量级，因此方程组公式(2)成为一个超定方程组，一般采用其最小二乘意义下的最优近似解。结合颜色在其颜色空间中各分量取值范围的约束，求解带约束的方程组公式(2)就转化为分别求解如下3个优化问题(当使用RGB颜色空间时)：

$\arg \underset{R_i}{\min }\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,i}{R}_i-{R_k}^{*})}^2---\left(3\right)$

s.t.R_i∈[0.0，1.0]，i＝1，2，...，M

$\arg \underset{G_i}{\min }\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,i}{G}_i-{G_k}^{*})}^2---\left(4\right)$

s.t.G_i∈[0.0，1.0]，  i＝1，2，...，M

$\arg \underset{B_i}{\min }\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,i}{B}_i-{B_k}^{*})}^2---\left(5\right)$

s.t.B_i∈[0.0，1.0]，i＝1，2，...，M

公式(3)至公式(5)中，R_i，G_i，B_i分别表示颜色C_i的R、G、B三个颜色分量，R_k ^*，G_k ^*，B_k ^*分别表示颜色C_k ^*的R、G、B三个颜色分量。优化求解公式(3)至公式(5)表示的优化问题后(如图1中的步骤e)，分别得到优化的各颜色分量的解；将得到的优化后的颜色分量对应地组合成颜色，得到一组优化后的颜色{C_i|i＝1，2，...，M}，用这组优化后的颜色对应地替换步骤1)所述的颜色传输函数中包含的颜色，由此构造出新的优化的颜色传输函数。

步骤5)：使用所述优化后的新的颜色传输函数和原先的不透明度传输函数，用基于光线投射的体绘制方法绘制在当前视角下或在其他视角下的体数据，得到优化的体绘制结果图像。本方法将求解颜色传输函数中颜色配置的问题转化为一个最优化问题，确保了在得到高对比度体绘制结果图像的同时也避免了传统基于图像重新着色方法带来的对比度增强过度的问题。由于本方法得到一个优化的颜色传输函数后进行体绘制，从而避免了传统的基于图像重新着色方法需要对每帧进行优化而造成的颜色偏移问题和时序一致性问题，同时不影响体绘制的效率，确保了用户在体数据浏览过程中的交互体验。在利用光线投射方法进行颜色累积的过程中，对于两个颜色的融合，可采用Porter and Duff融合算子(相关技术可参考T.Porter and T.Duff，1984，Compositing digital images)将两个颜色按照离观察者更近的颜色对应的不透明度作为权重进行加权求和。考虑到色盲模拟模型中将颜色映射为色盲观察者感知的颜色时的非线性变换，本发明优选按照以下步骤的融合算法得到两个颜色融合后产生的颜色(输入的两个颜色的颜色空间和输出颜色的颜色空间以RGB颜色空间为例，其他颜色空间仅需改变相应的转化算法，如可以把其他颜色空间的颜色转化到RGB颜色空间后再按照如下步骤进行)：

步骤5a)：对于给定的两个在RGB颜色空间的颜色C₁和C₂以及对应C₂的不透明度α₂，其中C₂表示离观察者更近的颜色；将C₁和C₂通过RGB到LMS颜色空间的转化算法相应地转化为LMS颜色空间的颜色C₃和C₄；将C₃和C₄通过色盲颜色模拟算法相应地转化为LMS颜色空间的颜色C₅和C₆。在色盲模拟模型中，正常人的LMS颜色空间是一个平行六面体，而色盲观察者的LMS颜色空间由两个相交的半平面组成，因此C₅和C₆必然落于所述的两个半平面中的其中一个半平面上，或分别落于所述的两个半平面上。

步骤5b)：在所述的两个相交的半平面上，寻找一条连接颜色C₅和C₆的最短路径，C₅和C₆是该最短路径的两个端点。在该最短路径上寻找一个目标点G，使得该目标点G沿着最短路径到颜色C₅和C₆所表示的端点的距离满足以下关系式(如图2所示)：

d(G，C₅)∶d(G，C₆)＝α₂∶(1-α₂)      (6)

公式(6)中，d(G，C₅)和d(G，C₆)分别表示目标点G沿着所述最短路径到颜色C₅和C₆所表示的端点的距离，α₂表示所述颜色C₂对应的不透明度。

步骤5c)：将目标点G所对应的颜色通过LMS到RGB颜色空间的转化算法转化为RGB颜色空间的颜色C₇。

步骤5d)：将所述RGB颜色空间的颜色C₁、C₂和C₇分别通过RGB到L^*a^*b^*颜色空间的转化算法转化到L^*a^*b^*颜色空间对应的颜色C₈、C₉和C₁₀；保持颜色C₁₀的a^*通道和b^*通道的分量值不变，按以下公式(7)修改颜色C₁₀的L^*通道的分量值：

$L_{10}^{*}=(1-{\mathrm{\α}}_2)\×L_8^{*}+{\mathrm{\α}}_2\×L_9^{*}---\left(7\right)$

公式(7)中，L^* ₈、L^* ₉和L^* ₁₀分别表示颜色C₈、颜色C₉和颜色C₁₀的L^*通道的分量值，α₂表示所述颜色C₂对应的不透明度。

步骤5e)：将步骤5d)修改的颜色C₁₀通过L^*a^*b^*到RGB颜色空间的转化算法转化到RGB颜色空间的颜色C₁₁。

本发明可采用Porter and Duff融合算子，将RGB颜色空间中的两个颜色C₁和C₂以及对应于C₂的不透明度α₂，按照公式(8)进行融合：

C_x＝(1-α₂)×C₁+α₂×C₂        (8)

由于色盲模拟模型中存在非线性变换，因此对于某些特定的颜色C₁和C₂，在使用特定的不透明度α₂进行融合时，得到的融合颜色C_x对于色盲观察者而言可能难以与输入颜色C₁或C₂进行区分。此时若采用前述步骤5a)至步骤5e)所述的融合算法，则由于颜色的融合直接在色盲观察者的视觉感知颜色空间进行，因此能够确保融合后的颜色C₁₁与输入颜色C₁和C₂的线性关系。

使用本发明方法后，普通用户可以面向色盲设计一个优化的传输函数用于体绘制，生成适于色盲观察者浏览和探索体数据的体绘制结果图像，并且保证体数据浏览过程中的时序一致性和良好的交互体验。

Claims (2)

1.一种面向色盲设计颜色传输函数用于体绘制的方法，其特征在于，包括如下步骤：

(1)根据体数据、包含不同颜色的颜色传输函数和不透明度传输函数，在当前视角下通过基于光线投射的体绘制方法绘制得到体绘制的初步结果图像；

(2)对所述初步结果图像进行重新着色，以将所述初步结果图像中的色盲观察者所不能区分的颜色替换为色盲观察者能够区分的颜色；

(3)保持所述不透明度传输函数不变，从绘制窗口中随机采样非背景的像素位置，所采样的非背景的像素位置的数量大于等于所述颜色传输函数中的颜色种类；在所采样的非背景的各像素位置上分别投射一条从视点出发的光线，通过光线投射方法累积该条光线上的所述颜色传输函数中的各种颜色所对应的权重值，相应得到关于所述颜色传输函数中的各种颜色的线性组合，所述线性组合以对应的所述权重值为系数；

(4)令各所述线性组合分别等于经步骤(2)重新着色得到的结果图像在所采样的非背景的各所述像素位置处的颜色，得到相应的方程并组成一个线性方程组，所述线性方程组以所述颜色传输函数中的各种颜色的分量作为未知数，且各未知数的取值范围符合其所在的颜色空间所定义的取值范围；后使用带约束条件的最小二乘法对所述线性方程组求解，得到新的颜色传输函数中的各种颜色；

(5)根据所述体数据、所述新的颜色传输函数和所述不透明度传输函数，在当前视角下使用基于光线投射的体绘制方法绘制得到最终的体绘制的结果图像。

2.根据权利要求1所述的面向色盲设计颜色传输函数用于体绘制的方法，其特征在于，在步骤(5)中，使用所述基于光线投射的体绘制方法时，在颜色累积过程中，按以下步骤进行两个颜色的融合：

1)先将处于同一颜色空间的第一颜色和第二颜色相应地转化为LMS颜色空间的第三颜色和第四颜色；将所述第三颜色和第四颜色分别通过色盲模拟模型相应地转化为第五颜色和第六颜色；在所述色盲模拟模型中，色盲观察者的LMS颜色空间由两个相交的半平面组成；

2)在所述两个相交的半平面上寻找一条连接所述第五颜色和第六颜色的最短路径；在所述最短路径上寻找一个目标点，使得该目标点与所述第五颜色和第六颜色所对应的点满足以下关系式(I)，

d(G，C₅)∶d(G，C₆)＝α₂∶(1-α₂)    (I)

式(I)中，C₅、C₆、G分别表示第五颜色、第六颜色、所述目标点在所述色盲观察者的LMS颜色空间的位置，d(G，C₅)和d(G，C₆)分别表示目标点沿着所述最短路径到C₅和C₆的距离，α₂表示所述第二颜色对应的不透明度；

3)将目标点所对应的颜色转换为第一颜色和第二颜色所在的颜色空间的第七颜色；

4)将所述第一颜色、第二颜色和第七颜色分别相应地转换为L^*a^*b^*颜色空间中的第八颜色、第九颜色和第十颜色；保持第十颜色的a^*通道和b^*通道的分量值不变，按以下式(II)对第十颜色的L^*通道的分量值进行修改，

L^* ₁₀＝(1-α₂)×L^* ₈+α₂×L^* ₉，    (II)

式(II)中，L^* ₈、L^* ₉和L^* ₁₀分别表示第八颜色、第九颜色和第十颜色的L^*通道分量的值，α₂表示所述第二颜色对应的不透明度；

5)将经步骤4)修改的第十颜色转换为第一颜色和第二颜色所在的颜色空间的颜色。

Images