CN101756696A - 多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法 - Google Patents

Abstract

本发明提供一种多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法，其中图像自动分析系统由多光子皮肤镜成像装置(一)和图像分析装置(二)连接组成，其中多光子皮肤镜成像装置的结构为：皮肤镜的光学镜头压片组件(2)后面依次连接装有多光路同步控制器(10)的多光子或激光LED(4)、可自动变焦(11)的皮肤镜光学镜头(5)和安装有蓝牙无线集电器(12)，蓝牙适配器(13)的面阵CCD或CMOS系统(8)，其中在装置的一侧装有充电接口(6)，充电接口(6)和锂电池(7)相连并连接开关(9)；图像分析装置的结构为：安装有数据采集控制部件(14)，图像预处理部件(15)和自动分析软件包(17)的微型计算机(16)，该微型计算机(16)通过数据线或蓝牙适配器(13)与面阵CCD或CMOS系统(8)相连。

Description

多光子皮肤镜图像自动分析系统及其应用于恶性黑素瘤的诊断方法

技术领域

本发明属于医疗器械领域，涉及一种多光子皮肤镜图像自动分析系统及其应用于皮肤恶性黑素瘤的非侵入性早期快速诊断仪器和方法。

技术背景

黑素细胞肿瘤(Melanocytic Tumor MT)，由良性和恶性黑素细胞肿瘤组成；目前，研究者关注最多的是恶性黑素细胞肿瘤，简称：恶性黑素瘤或恶黑(Malignant Melanoma MM)，多发生于皮肤，是一种恶性程度高、易转移、危险性大的皮肤首位致死性疾病之一；近年，中国人的MM发病率以3％-8％的比例逐年上升，并且高达每10年增加两倍，已成为日益关注的一个公共卫生问题；虽然中国MM发病率低于国外，但近年由于空气污染，大气臭氧层破坏严重，使更多的紫外线辐射到地球，众所周知，日光曝晒已被公认为是导致MM的最重要的危险因素之一；Dr.Marks认为可能与社会发展中多种因素有关。

色素痣，几乎每人都有，是一种含有痣细胞的良性肿瘤。经国内外研究证实，大约半数MM患者发生于原先存在的皮肤色素痣，起源于痣细胞的MM患者多见于较年轻人，生长迅速，恶性程度高，易早期转移；余下MM患者发生于原先外观似乎正常的皮肤。

目前最有效的治疗方法仍然是MM的早期诊断加积极有效手术切除原发灶，对预后和降低死亡率起决定性作用。另外，籍于国情，除了加强科普知识教育提高大家的防癌意识以外，更重要的是建立高危人群的普查制度，只有早期发现早期有效的治疗，其生存率高达到了92％，而发现较晚的MM的生成率不到5％。因此，预防和早期发现、早期治疗对于降低MM的死亡率不仅完全可能，也是至关重要的。

目前，临床MM的诊断主要依靠肉眼ABCDE准则判断(皮损具有不对称性、边界不规则、界限不清楚、颜色不一致，直径大于0.6cm等)，其可靠性仅为60％-75％，并且存在诸多问题：其一，缺乏量化指标，受人为主观因素影响较大；其二，未考虑到小于0.6cm的早期MM；其三，有些良性黑素瘤临床表现与MM相似；其四，虽然病理活检是确诊MM的金标准，由于盲目地进行手术活检(需诊断报告时间较长，2-3天完成)或外科手术切除治疗，尤其趾、指甲下病变会给患者带来许多不必要的痛苦和医源性创伤，更严重的是MM患者易发生淋巴和因手术创伤所至的血行转移或因手术切除范围而造成复发等危险，这些，无疑影响预后和增加死亡率。

国外于九十年代中期用计算机数字图像分析(CDIA)在皮肤病的形态学诊断中已得到应用，按照临床MM早期诊断ABCDE准则，将多家医院既往的MT彩色照片或幻灯片汇总，经扫描仪或彩色CCD获取图像，进行大小、形状、颜色、质地及对称性等测量分析，使MM的早期诊断准确率提高到85％。不足之处是：这些回顾性MT的照片信息受无法统一的光源、摄像条件等诸多人为因素干扰，直接影响测量精度和组间数据的可比性，所制订的良、恶性黑素瘤的诊断参数值难免存在偏差性。

随着光电技术的发展，国外研制了一种电子皮肤镜检查技术对MT进行无创性检查，在使用中首先向皮损表面滴加油脂等浸润液，然后用玻片将皮肤压平，以增加皮肤的透光性，在普通光源照明下，借助特定放大镜观察到肉眼看不见的皮损形态特征，1994年由Stolz等为了半定量描述MT的良性、可疑或恶性，首先提出皮肤镜诊断MT的ABCD规则法，基于分析皮损的不对称性、边缘、颜色和不同的皮肤镜结构进行记分。本法与肉眼诊断比较提高了MT诊断的准确率，易掌握，特别适用于经验不足者操作，但准确率不够理想。另外，Menzies打分法和七点检测列表法，提高了MM诊断的敏感性和早期诊断率。但是，这些方法也存在主观性，其诊断准确率与操作者与经验有关。

自九十年代以来，随着数字图像处理技术在皮肤黑素细胞瘤诊断中研究不断地深入，此方面的文献报道也越来越多，无疑在辅助诊断MM上具发挥了重要价值，已为大量的研究所证实。对于MM图像的处理与识别是决定MM自动诊断的关键，而MM图像边界的确定直接影响MM的定量精度测量，目前已经有很多文献对白色人种黑素细胞瘤图像的分割算法进行研究。但是，与黄色人种的皮肤镜图像相比，白色人种的黑素细胞瘤目标与皮周和非皮损边界的图像信息远比黄色人种的反差大，在进行边界的确定与分割时相对较容易。因此，两种肤色的黑素细胞瘤目标在分割方法和结果上存在较大差异，适合于白色人种的皮肤镜图像分割方法并不能直接应用于黄色人种的皮肤镜图像分割。由此，本课题针对黄色人种的皮肤镜图像，在跟踪国外最新研究动态的基础上，对黑素细胞瘤图像的非监督分割技术进行研究，旨在实现黄色人种黑素细胞瘤图像的有效分割，并与特征提取和识别等进行系统的分析和优化，提高黑素细胞瘤图像诊断系统的分类识别率和自动化程度。该课题的研究可以将黄色人种的皮肤镜黑素细胞瘤图像分析诊断系统提高到一个新的研究水平。

恶性黑素瘤多发生于皮肤和皮肤粘膜处，按照肿瘤细胞在皮肤的侵袭程度分为浅表性恶黑和侵袭性恶黑，前者是瘤细胞在表皮内水平方向生长称非侵袭性水平生长期，预后好，很少发生转移，后者瘤细胞向真皮垂直方向生长称侵袭性垂直生长期，侵袭深，预后差，易发生转移。表明恶黑深度Clark分级法：I级黑素瘤细胞局限于表皮基底膜以上；II级侵入真皮乳头层；III级侵入真皮乳头层下血管丛；IV级侵入真皮网状层；V级侵入皮下脂肪层，这些与肿瘤的诊断、恶性程度和预期后有着密切关系。本方法提出了，在皮肤镜观察过程中，如何处理好皮肤表面反射光系数、表皮和真皮组分的光吸收系数、皮肤各层及MM皮损的光散射系数和厚度等问题，直接影响在体皮肤的微细结构、形态、颜色的观察和图像信息的获取。因此，采用皮肤镜的光学镜头压片组件(由高分子透明材料聚甲基丙烯酸甲酯制作，一次性使用，防交叉感染；优点：透光率比玻璃高，达到92％，机械强度高，易于加工，存本低)防皮肤杂光干扰折射的方法，利用多光子包括激光LED光动力学在生物组织中的光穿透深度的原理，从波长400nm至1000nm问跨越可见光和不可见红外光的多波段光谱作为皮损光动力光源，由于，不同波长的光子可发出各自的光谱信息，它可以不同程度地穿透皮肤组织各层，使皮肤组织的形态、颜色和纹理在MM生物代谢中所自发的光子信息等特征，均产生不同程度的光谱吸收和反射，从而形成了皮肤各层次间的光学信息反差图像，经高灵敏度的面阵CCD或COMS技术，分别记录或获取不同谱信息MM在皮肤生长期的侵袭深度各层次的光学图像，进行三维重构、分割和定量分析，这些量化指标对MM的无创性早期诊断和预后判断具有重要意义。

综上所述，目前国内外尚未见到将多光子成像技术应用于黄色人种的皮肤黑素细胞肿瘤的皮肤镜图像的分割、特征提取和自动识别的报导及能够快速，准确的诊断在体皮肤恶性黑素瘤的仪器。

发明内容

本发明目的在于提供一种能够快速，准确诊断人体皮肤恶性黑素瘤的仪器。

本发明所述的仪器应用多光子皮肤镜成像技术，对黄色人种的皮肤黑素细胞肿瘤的图像分割、特征提取和自动分析与识别。

为此，本发明提供一种用于诊断恶性黑素细胞肿瘤大多光子皮肤镜图像自动分析仪器，由多光子皮肤镜成像装置(一)和图象分析装置(二)连接组成。

其中，多光子皮肤镜成像装置的结构为：皮肤镜的光学镜头压片组件(2)后面依次连接装有多光路同步控制器(10)的多光子或激光LED(4)、可自动变焦(11)的皮肤镜光学镜头(5)和安装有蓝牙无线集电器(12)，蓝牙适配器(13)的面阵CCD或CMOS系统(8)，其中在装置的一侧装有充电接口(6)，充电接口(6)和锂电池(7)相连并连接开关(9)；图象分析装置的结构为：安装有数据采集控制部件(14)，图像预处理部件(15)和自动分析软件包(17)的微型计算机(16)，该微型计算机(16)通过数据线或蓝牙适配器(13)与面阵CCD或CMOS系统(8)相连。

根据本发明各装置的工作流程为：靶目标(1)是皮肤镜物镜侧所针对的感兴趣区域，根据MT所发生的解剖位置和病灶的需要采用皮肤镜的光学镜头压片组件防皮肤杂光干扰折射方法，在压片组件与皮损间滴加藕合剂，其功能是减少皮损反射光的干扰；启动开关(9)；经白炽光LED(45)照明，面阵CCD或COMS系统(22)开始工作，在数据采集控制系统(14)的作用下进行自动变焦(11)和标准白板图像校准(25)与图像齐焦；当图像校准完成后此时可进行靶目标(1)观察，选择感兴趣区(24)经由微型计算机(系统工作站)(16)与多光路同步控制器(10)共同控制多光子或激光LED组件(4)从波长400nm至1000nm间跨越可见光和不可见红外光的10组不同波长的光子组件对靶目标(1)皮肤表面和各层组织间分别进行交替照明，使面阵CCD或COMS系统(8)及时感应到靶目标(1)的各条光谱带信息；经数据采集控制系统(14)实时有线采集到靶目标(1)的图像；或经蓝牙无线集电器(12)和蓝牙适配器(13)进行图像无线传输，由锂电池(7)提供电源，当图像采集完成后在微型计算机系统工作站(16)中进行图像预处理(15)，获取理想图像(32)，后由自动分析软件包(17)，进行图像聚类分割(36)，图像特征提取(37)、组合神经网络分类器(38)分类，自动识别MT的性质真阴性(良性)(39)和真阳性(可疑恶性)(40)，最后给出诊断报告输出(18)。

各装置的工作流程为：多光子图像采集开始(33)、由多光路同步控制器(10)有序控制多光子或激光LED从400nm至1000nm共分成10组(4)对靶目标进行照射，经面阵CCD或COMS系统(8)及时感应到靶目标(1)的各条光谱带信息，获取新图像10幅(34)，分别按照各自采集顺序进行存储备用；对备用的图像也称感兴趣区域(24)图像，先经图像预处理(35)后获取理想的图像。自动分析软件包(17)针对获取理想的图像进行图像聚类分割(36)、图像特征提取(37)、组合神经网络分类器(38)，识别真阴性(良性)(39)和真阳性(可疑恶性)(40)的先后操作顺序进行。

本发明还提供本发明的图像自动分析仪器对皮肤恶性黑素细胞肿瘤进行识别诊断的方法。本发明的方法包括获取黑素细胞肿瘤图像，进行图像聚类分割，特征提取，组合神经网络分类器分类，识别黑素细胞肿瘤的性质，给出诊断报告的步骤。

其中所述获取图像，是通过皮肤镜物镜对准靶目标采用皮肤镜的光学镜头压片组件成像，获得的图像进行图像校正，所述校正是用多光子或激光LED照明前的图像采集，先以白炽光光子组件为照明条件下进行面阵CCD或COMS系统以标准白板作为背景进行图像校正。图像聚类分割后，需进行图像特征提取，所述提取是根据黄色人种皮肤黑素细胞瘤图像的特点，将黑素细胞瘤图像直接分割为内皮损区、过渡区和背景皮肤区三个部分，并针对皮损目标在RGB彩色空间进行颜色、纹理、形状特征的提取。所述组合神经网络分类器分类是以形状、颜色和纹理特征作为BP网络的特征输入矢量，以颜色、纹理和边界凹陷率等作为模糊神经网络的特征输入矢量，采用投票法作为结论生成方式，将组合BP神经网络、组合模糊神经网络和组合异构神经网络的合神经网络进行集成，实现了黑素细胞瘤的分类。

所述图像聚类分割为皮肤黑素细胞肿瘤图像自适应聚类分割，采用区域生长法对图像进行粗分割，把每一个小的区域看作一个训练样本，定义包括颜色和空间特征在内的节点属性，进而以自生成神经网络为基本工具来实现黑素细胞瘤图像的聚类，对自生成神经树推广扩展为自生成神经森林，运用改进的遗传算法进行求解。

本发明所述的微型计算机中，数据采集控制系统与皮肤镜成像装置经有线或蓝牙无线传输连接，有效地进行图像采集控制；

所述图像预处理功能为图像校正：在多光子包括激光LED照明前的图像采集，先以白炽光光子组件为照明条件下进行面阵CCD或COMS系统以标准白板作为背景进行图像校正；

所述自动分析软件包包括：

a、自适应聚类分割：皮肤黑素细胞肿瘤图像自适应聚类分割，采用区域生长法对图像进行粗分割，把每一个小的区域看作一个训练样本，定义包括颜色和空间特征在内的节点属性，进而以自生成神经网络(SGNN)为基本工具来实现黑素细胞瘤图像的聚类。对自生成神经树(SGNT)原有的连接规则进行了改进，并将其推广扩展为自生成神经森林(SGNF)，从而将基于SGNN的聚类问题转化为一个优化问题，运用改进的遗传算法(IGAs)进行求解，有效实现了皮肤黑素细胞瘤图像自适应聚类分割。

b、特征提取：根据黄色人种皮肤黑素细胞瘤图像的特点，将黑素细胞瘤图像直接分割为内皮损区、过渡区和背景皮肤区三个部分，并针对皮损目标(包括内皮损和过渡区)在RGB彩色空间进行颜色、纹理、形状等特征的提取。实现黑素细胞瘤目标的特征提取和优选。

1)颜色特征提取：①颜色均值和均方差；②三维直方图颜色数；③LUV直方图距离；

2)纹理特征提取：统计图像的灰度共生矩阵，计算对比度、能量、相关性、熵和局部均匀性等5个特征参数来量化黑素细胞瘤图像的纹理特征。

3)形状特征提取：

①目标边界凹陷率R_cancave如下：

$R_{\mathrm{cancave}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{RA}}_i}{l_i}---\left(1\right)$

②过渡区辐射不均匀度：

$d_i=\underset{j}{\min }\left(D(p_i,p_j)\right),p_i\∈{\mathrm{\Γ}}_{\mathrm{outer},}{p}_j\∈{\mathrm{\Γ}}_{\mathrm{inner}}---\left(2\right)$

则外边界像素点到内边界距离的平均值和均方差分别为：

$m=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i---\left(3\right)$

$\mathrm{\δ}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d_i-m)}^2}---\left(4\right)$

③形状不对称：

$\mathrm{Asymmetry}\_\mathrm{Rate}=\max \{\frac{A_x}{A},\frac{A_y}{A}\}---\left(5\right)$

④形状偏心率：

$\mathrm{\ϵ}=\frac{{({\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{20})}^2+4{\mathrm{\μ}}_{11}}{{({\mathrm{\μ}}_{02}+{\mathrm{\μ}}_{20})}^2}---\left(6\right)$

4)特征的优选：首先提取原始特征，在原始特征中优选出最优特征子集，采用欧氏距离作为类别可分离性判据，采用遗传算法来实现最优特征组合的搜索问题，结合相关性特征分析，实现最优特征子集的优选。

C组合神经网络分类器

组合神经网络分类器按一定的法则集成多个相互独立的神经网络分类器，能够得到比分类器集成中的每一个元素性能均好的结果。针对皮肤黑素细胞瘤目标的分类识别问题，以BP神经网络和模糊神经网络作为基本学习分类器，将不同的特征组合作为两种神经网络的输入矢量，采用Adaboost算法训练生成个体子网，并对个体子网分类器的加权回归和优化，设计了适用于皮肤黑素细胞瘤分类的神经网络分类器的组合集成模型。

我们以形状、颜色和纹理特征作为BP网络的特征输入矢量，以颜色、纹理和边界凹陷率等作为模糊神经网络的特征输入矢量，采用投票法作为结论生成方式，将组合BP神经网络、组合模糊神经网络和组合异构神经网络的合神经网络进行集成，实现了黑素细胞瘤的分类。为黄色人种的皮肤黑素细胞瘤的自动辅助诊断奠定了基础。

因此本发明的图像自动分析仪器具有准确快捷，操作简单，成本低廉的优点，值得推广应用。

附图说明：

图1多光子皮肤镜图像自动分析系统的组成示意图。

图中所述：靶目标(1)、皮肤镜的光学镜头压片组件防皮肤杂光干扰的折射方法(2)、多光子或激光LED(4)、皮肤镜光学镜头(5)、充电接口(6)、锂电池(7)面阵CCD或CMOS系统(8)、开关(9)、多光路同步控制器(10)、自动变焦(11)、蓝牙无线集电器(12)、蓝牙适配器(13)、数据采集控制(14)、图像预处理(15)、微型计算机(系统工作站)(16)、自动分析软件包(17)、诊断报告输出(18)。

图2图像采集与图像预处理组成示意图。

图中所述：图像采集开始(19)、多光路同步控制器(10)、多光子或激光LED(4)、白炽光LED(45)、CCD或COMS(8)、自动变焦(11)、选择感兴趣区(24)、图像校准(25)、蓝牙无线集电器(12)、微型计算机系统工作站(16)、获取理想图像(32)。

图3多光子皮肤镜图像自动分析系统流程示意图。

图中所述：多光子图像采集开始(33)、多光路同步控制器(10)、多光子或激光LED从400nm至1000nm共分成10组(4)、新图像10幅(34)，分别进行图像预处理(35)、图像聚类分割(36)、图像特征提取(37)、组合神经网络分类器(38)，识别真阴性(良性)(39)和真阳性(可疑恶性)(40)。

图4多光子皮肤镜图像在波长430nm下的恶黑图像聚类分割效果图。

图5类别数指定为c时，基于改进遗传算法的SGNN聚类优化流程

图6多种组合神经网络的综合集成

具体实施方式

本文所使用特定的术语，只是为了方便内容的说明，并不作为对本发明的限制。此外，在图表中所描述的特征是以示意图的形式表示，下面结合附图对本发明的技术方案及原理进一步说明如下：

图1、图2是本发明多光子皮肤镜图像自动分析系统的组成实施图例。它有一个靶目标(1)是皮肤镜物镜侧所针对的感兴趣区域，根据MT所发生的解剖位置和病灶的需要采用皮肤镜的光学镜头压片组件(由高分子透明材料聚甲基丙烯酸甲酯制作，一次性使用，防交叉感染)在压片组件与皮肤间滴加藕合剂可防皮肤杂光反射干扰折射的方法；启动开关(9)；经白炽光LED(45)照明，面阵CCD或COMS系统(22)开始工作，在数据采集控制系统(14)的作用下进行自动变焦(11)和标准白板图像校准(25)与图像齐焦；当图像校准完成后此时可进行靶目标(1)观察，选择感兴趣区(24)经由微型计算机(系统工作站)(16)与多光路同步控制器(10)共同控制多光子包括激光LED组件(4)从波长400nm至1000nm间跨越可见光和不可见红外光的10组不同波长的光子组件对靶目标(1)皮肤表面和各层组织间分别进行交替照明，使面阵CCD或COMS系统(8)及时感应到靶目标(1)的光学信息；经数据采集控制系统(14)实时有线采集到靶目标(1)的图像；或经蓝牙无线集电器(12)和蓝牙适配器(13)进行图像无线传输，由锂电池(7)提供电源。当图像采集完成后在微型计算机系统工作站(16)中进行图像预处理(15)，获取理想图像(32)。后由自动分析软件包(17)，进行图像聚类分割(36)，图像特征提取(37)、组合神经网络分类器(38)分类，自动识别MT的性质真阴性(良性)(39)和真阳性(可疑恶性)(40)，最后给出诊断报告输出(18)。

图3多光子皮肤镜图像自动分析系统流程示意图。图中所述：多光子图像采集开始(33)、由多光路同步控制器(10)有序控制多光子包括激光LED从400nm至1000nm共分成10组(4)对靶目标进行照射，经面阵CCD或COMS系统(8)及时感应到靶目标(1)的各光谱带信息，获取新图像10幅(34)，分别按照各自采集顺序进行存储备用；对备用的图像也称感兴趣区域(24)图像，先经图像预处理(35)后获取理想的图像。

本发明自动分析软件包主要针对获取理想的图像进行图像聚类分割(36)、图像特征提取(37)、组合神经网络分类器(38)，识别真阴性(良性)(39)和真阳性(可疑恶性)(40)的先后操作顺序进行。

为了有效的进行自动识别，必须先进行图像聚类分割(36)，如，图5多光子皮肤镜图像在波长430nm下的恶黑图像聚类分割效果图。采用区域生长法对图像进行粗分割，把每一个小的区域看作一个训练样本，定义包括颜色和空间特征在内的节点属性，进而以自生成神经网络(SGNN：Self-Generating Neural Network)为基本工具来实现黑素细胞瘤图像的聚类。对自生成神经树(SGNT：Self-Generating Neural Tree)原有的连接规则进行了改进，并将其推广扩展为自生成神经森林(SGNF：Self-Generating Neural Forest)，从而将基于SGNN的聚类问题转化为一个优化问题，运用改进的遗传算法(IGAs)进行求解，有效实现了皮肤黑素细胞瘤图像自适应聚类分割，具体描述：

1)自生成神经网络

SGNN利用基于SGNT的竞争学习算法，在对样本的直接学习过程中自动生成一棵神经树SGNT，并用该SGNT对数据进行聚类。以这种方法进行聚类，聚类的类别数即是根节点的子节点数，整个聚类过程都是由算法自动确定的。从SGNN的组织结构和算法功能可知，将图像的像素看作待聚类样本，各像素的颜色或位置信息代表样本的属性，即可运用SGNN算法对其进行聚类分析。

2)自生成神经森林

SGNT的概念可以被进一步推广到SGNF。假设某图像要聚类为c个类属，则SGNF生成算法的主要过程可以概括为：

①从像素样本集中随机抽取c个样本作为种子，并由其生成c个初始SGNT，这样就形成了包括c个初始SGNT的初始SGNF；

②针对每一个剩余的待训练样本，对当前的SGNF进行搜索，找到当前SGNF中与该样本具有最近距离的获胜节点n_win；

③按照节点连接规则将该训练样本连接到n_win所在的SGNT中，当样本集中所有样本均被连接进入SGNF时，算法结束。

最终生成的SGNF是由c个SGNT组成的森林。在此森林中，一棵树代表一个类，每棵树中的叶节点就是相应类的元素。与SGNT不同，此时聚类的类别数是事先指定的。

3)SGNN聚类的进化寻优策略

采用SGNF进行聚类的结果与建立初始森林的c个种子样本的分布有关。假设样本集X被分为c个聚类X₁，X₂，Λ，X_c，各类的聚类中心为v₁，v₂，Λ，v_c，则各聚类样本与其中心v₁，v₂，Λ，v_c之间的误差平方总和为：

$J_e=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{y\∈X_i}{\mathrm{\Σ}}{\left|\right|y-v_i\left|\right|}^2---\left(1\right)$

对于不同的c个种子样本，生成的SGNF结构也不同，也就有不同的聚类结果。而对于不同的聚类，J_e的值也不同，根据误差平方和聚类准则，使J_e极小的聚类是误差平方和准则下的最优结果。因此，建立初始森林的这c个种子样本的选取即为一个优化问题。

采用进化式的聚类寻优策略，针对式(1)给出的目标函数，采用一种改进的遗传算法来对c个种子样本进行搜索寻优，以主导和优化后续的聚类效果，实现基于SGNN的进化寻优聚类。

4)基于改进遗传算法的SGNN聚类优化

在标准的遗传算法(GAs)中，种群规模是固定的。实际上，在进化的初期，种群中个体是多样的，随着群体向最优状态进化，群体的多样性就会减弱，也会有大量的重复个体出现。这些重复个体同时进入下一次的进化，往往会导致早熟现象，从而影响算法的全局收敛性，而如果将这些重复个体在进入下一次进化前进行必要的滤除，则可以改善收敛效果，提高优化效率。

采用一种改进的遗传算法(IGAs)，使种群规模动态化，并对交叉概率和变异概率也进行动态调节，从而在一定程度上避免了早熟，保证了算法的全局收敛性，也提高了优化效率。当类别数指定为c时，基于改进遗传算法的SGNN聚类优化算法(CO-IGAs-SGNN)，图6类别数指定为c时，基于改进遗传算法的SGNN聚类优化流程。见图6类别数指定为c时，基于改进遗传算法的SGNN聚类优化流程。

5)基于改进遗传算法和SGNN的自适应聚类

采用SD有效性函数来评估不同类别数目条件下的聚类质量。

SD有效性函数是基于聚类平均散布性和聚类间总体分离性的一种相对度量方法。令σ(X)为数据集X的方差，σ(v_i)为第i个聚类的方差，则聚类的平均散布性和聚类间总体分离性分别定义为：

$\mathrm{Scat}\left(c\right)=1/c\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left|\right|\mathrm{\σ}\left(v_i\right)\left|\right|/\left|\right|\mathrm{\σ}\left(X\right)\left|\right|---\left(2\right)$

$\mathrm{Dis}\left(c\right)=D_{\max }/D_{\min }\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{\left(\underset{j=1}{\overset{c}{\mathrm{\Σ}}}\right||v_i-v_j|\left|\right)}^{-1}---\left(3\right)$

其中，D_max＝max(||v_i-v_j||)，D_min＝min(||v_i-v_j||)

分别是聚类中心的最大和最小距离。

则可得到SD聚类有效性函数：

SD(c)＝αScat(c)+Dis(c)  (4)

其中α是加权因子。

具有最小SD(c)的聚类数c*即是最优聚类数目。假设黑素瘤图像数据最少分为2类，最多分为c_max类，则本文基于改进遗传算法和SGNN的自适应聚类(ACO-IGAs-SGNN)的算法描述为：

Algorithm 2(ACO-IGAs-SGNN)：

For c＝2to c_maxdo

i)指定类别数为c，运行CO-IGAs-SGNN算法

ii)根据公式(7)计算有效性函数SD(c)的值

iii)记录具有最小SD(c)值的类别数c*

End for

本发明提出的ACO-IGAs-SGNN算法能够自适应地确定聚类的类别数，且整个算法过程完全自动，不需要任何人工干预。实验结果表明，本方法聚类的效果符合人眼判别的要求，同时在算法稳定性以及算法运算速度方面有良好的性能。

对MM的图像聚类分割(36)后，需进行图像特征提取(37)。根据黄色人种皮肤黑素细胞瘤图像的特点，将黑素细胞瘤图像直接分割为内皮损区、过渡区和背景皮肤区三个部分，并针对皮损目标(包括内皮损和过渡区)在RGB彩色空间进行颜色、纹理、形状等特征的提取。实现黑素细胞瘤目标的特征提取和优选。

1)颜色特征

①颜色均值和均方差：对每个区域在RGB彩色空间的每个通道内计算均值和方差。

②三维直方图颜色数：将RGB彩色空间重新量化成16×16×16，对皮损目标统计三维直方图。令p(i，j，k)表示R、G、B三个分量为i、j、k时的颜色统计概率，则三维直方图上颜色分布的数量ColorNum为：

$\mathrm{ColorNum}=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\underset{k=1}{\overset{16}{\mathrm{\Σ}}}h(i,j,k)---\left(1\right)$

其中

对于恶性皮损目标，其颜色多样，ColorNum的值会偏大，而良性皮损目标该值会偏小。

③LUV直方图距离：在CIE L*u*v*空间中，将三个通道量化到4*8*8个箱中，计算内皮损区和过渡区的直方图距离来衡量两个区域之间颜色差异度。

2)纹理特征

统计图像的灰度共生矩阵，计算对比度、能量、相关性、熵和局部均匀性等5个特征参数来量化黑素细胞瘤图像的纹理特征。对于灰度级L的选取问题，过分增加L的大小除了会增加计算量，同时会使共生矩阵的特征参数区别不同纹理的能力或维持不变或降低，因此本文将L的大小定为64。d的值为1，θ的值分别为0°、45°、90°、135°，由此得到4个表示不同方向的灰度共生矩阵。当计算每一种特征参数时，将分别在4个方向上计算求平均，从而使特征值对图像旋转不再敏感。

灰度共生矩阵

反映了图像灰度分布关于方向、邻域和变化幅度的综合信息。共生矩阵的相关性能够被用来衡量灰度共生矩阵的元素在行的方向或列的方向的相似程度。

$C(d,\mathrm{\θ})=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\mathrm{ij}\hat{P}(i,j|d,\mathrm{\θ})-{\mathrm{\μ}}_1{\mathrm{\μ}}_2}{{\mathrm{\σ}}_1^2{\mathrm{\σ}}_2^2}---\left(3\right)$

其中，

${\mathrm{\σ}}_1^2=\underset{i}{\mathrm{\Σ}}{(i-{\mathrm{\μ}}_1)}^2\underset{j}{\mathrm{\Σ}}\hat{P}(i,j|d,\mathrm{\θ}),$ ${\mathrm{\σ}}_2^2=\underset{j}{\mathrm{\Σ}}{(j-{\mathrm{\μ}}_2)}^2\underset{i}{\mathrm{\Σ}}\hat{P}(i,j|d,\mathrm{\θ})$

对于良性肿瘤，纹理均匀一致，该值偏大，对于恶性肿瘤，纹理变化大，该值偏小。

3)形状特征

由于本文数据集中有相当部分图像目标没有被完整采集下来，因此常用的形状特征描述方法并不能适用于本文数据集，本论文根据数据集特点，自定义了两种形状特征，分别描述如下：

①目标边界凹陷率

定义皮损的边界凹陷率R_cancave如下：

$R_{\mathrm{cancave}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{RA}}_i}{l_i}---\left(4\right)$

其中，n为一个目标所包含凹区的个数，l_i为第i个凹区的跨度，RA为凹区的面积，具体含义如图13(b)所示。

公式(11)代表了一个目标所有凹区的平均深度。相对于良性皮损而言，恶性皮损目标的凹区深度较大，其边界凹陷率R_cancave的值偏大。另一方面，对于皮损目标没有被完全采集的情况，由于目标在图像边界处不会出现凹区，因此该部分数据的丢失不会影响整个目标的边界凹陷率的计算结果。因此公式(4)即可以描述皮损目标的形状特征，又能够适用于目标不被完全采集的情况。

②过渡区辐射不均匀度

如果将皮损过渡区看作黑素细胞瘤目标向外辐射的一种状态，则我们用目标的外边界到内边界距离均方差的大小来表征过渡区辐射的不均匀度。

令Γ_outer和Γ_inner分别表示外边界和内边界的像素集合，D(p_i，p_j)表示像素点p_i到像素点p_j的距离，则外边界上一点p_i到内边界的距离为该点到内边界所有点的最小距离，即：

$d_i=\underset{j}{\min }\left(D(p_i,p_j)\right),p_i\∈{\mathrm{\Γ}}_{\mathrm{outer},}{p}_j\∈{\mathrm{\Γ}}_{\mathrm{inner}}---\left(5\right)$

则外边界像素点到内边界距离的平均值和均方差分别为：

$m=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i---\left(6\right)$

$\mathrm{\δ}=\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d_i-m)}^2}---\left(7\right)$

其中，n表示外边界像素点的个数。

我们将外边界到内边界的距离均方差公式(7)作为衡量皮损过渡区辐射是否均匀的准则，其中距离D(p_i，p_j)采用欧式距离公式。公式(7)表达了皮损目标外边界到内边界距离的分散程度，对于恶性黑素瘤目标，由于过渡区的不规则性，辐射不均匀，因此该值比较大，与之相比，良性黑素细胞瘤过渡区条带宽度相近，具有均匀的辐射性，其距离均方差值较小。另一方面，公式(7)是边界像素上的概率统计平均值，可以由皮损过渡区到内皮损和背景皮肤区域的邻接点计算得到，其结果不受外边界是否完整的限制，因此，与边界凹陷率相同，该特征参数同样适用于目标不被完全采集的情况。

③形状不对称

计算不对称率时，首先将目标区域的二值图以形心(i，j)为原点，逆时针旋转θ度(θ是目标区域所对应椭圆的倾斜角)。然后分别以穿过目标形心的横、纵轴为对称轴，假想沿对称轴对折图像，计算目标区域的重叠面积，相对于纵向对称轴的重叠区域的面积记为A_x，相对于横向对称轴的重叠区域的面积记为A_y，其中灰色表示相对于对称轴重叠的区域。则不对称率(Asymmetry Rate)定义为：

$\mathrm{Asymmetry}\_\mathrm{Rate}=\max \{\frac{A_x}{A},\frac{A_y}{A}\}---\left(8\right)$

其中，A为目标的面积。

对于恶性黑素瘤，目标比较不对称，该值偏大。

④形状偏心率

目标所在区域，偏心圆的中心与圆轴间的距离即为偏心率。

二值离散图像f(x，y)，若其目标物体取值为1，背景为0，则图像的中心矩：

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{i}^p{j}^q---\left(9\right)$

该函数只反映了物体的形状而忽略其内部的灰度级细节。

则目标形状的偏心率公式为：

$\mathrm{\ϵ}=\frac{{({\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{20})}^2+4{\mathrm{\μ}}_{11}}{{({\mathrm{\μ}}_{02}+{\mathrm{\μ}}_{20})}^2}---\left(10\right)$

对于恶性肿瘤，目标形状不规则，该值偏大，良性肿瘤，形状较规则，该值偏小。

4)特征的优选

首先提取原始特征，在原始特征中优选出最优特征子集，采用欧氏距离作为类别可分离性判据，采用遗传算法来实现最优特征组合的搜索问题，结合相关性特征分析，实现最优特征子集的优选。

对MM的图像聚类分割(36)和经图像特征提取(37)后，必须进行组合神经网络分类器(38)。由图6组合神经网络分类器与集成，得知，组合神经网络分类器按一定的法则集成多个相互独立的神经网络分类器，能够得到比分类器集成中的每一个元素性能均好的结果。针对皮肤黑素细胞瘤目标的分类识别问题，以BP神经网络和模糊神经网络作为基本学习分类器，将不同的特征组合作为两种神经网络的输入矢量，采用Adaboost算法训练生成个体子网，并对个体子网分类器的加权回归和优化，设计了适用于皮肤黑素细胞瘤分类的神经网络分类器的组合集成模型。

普通的神经网络集成采用神经网络作为基本学习分类器，各神经网络的输出组合为网络集成的输出；神经网络组合集成则采用组合神经网络作为基本学习分类器，即神经网络集成的每个个体是一个由若干个神经网络加权组合而成的组合神经网络，各个组合神经网络的输出再通过简单平均或投票多数等方法组合为神经网络集成的输出。在普通的神经网络集成中，要调整各个体的差异度关系则必须对神经网络的结构或内部参数调整，十分困难；而在神经网络组合集成中，可以通过对每个个体(组合神经网络)中各神经网络加权系数的调整方便地调节各个体(组合神经网络)之间的差异程度，而不必涉及神经网络内部结构，从而可以方便有效地改善神经网络组合集成的性能。

以本发明以上所述的形状特征、颜色特征和纹理特征作为BP网络的特征输入矢量，以颜色特征、纹理特征和边界凹陷率等作为模糊神经网络的特征输入矢量，采用投票法作为结论生成方式，将组合BP神经网络、组合模糊神经网络和组合异构神经网络的合神经网络进行集成，实现黑素细胞瘤的分类。在提高MT分类的准确率和分类结果的稳定性方面均取得了满意的效果，达到97.1％的平均分类准确率，这一结果均以先期经组织病理金标准证实，认为本发明对MM的诊断具有较高的敏感度与特异度，为黄色人种的MM自动辅助诊断奠定了基础。

最后，根据组合神经网络分类器(38)对MT的分类结果确认真阴性(良性)(39)或真阳性(可疑恶性)(40)，给出诊断报告输出(18)。由于该方法是无创性检测，自动化程度高和操作简单等优点，可以满足临床各级医务人员操作。

根据本发明的以上描述，本领域技术人员将有可能不断地进行技术改进和完善，这类技术人员在本技术范围内改进，均被认为是本专利权要求所涵盖的内容。

Claims (10)

1.一种用于诊断恶性黑素细胞肿瘤的多光子皮肤镜图像自动分析仪器，其特征在于，由多光子皮肤镜成像装置(一)和图象分析装置(二)连接组成。

2.权利要求1的图像自动分析仪器，其特征在于，其中多光子皮肤镜成像装置的结构为：皮肤镜的光学镜头压片组件(2)后面依次连接装有多光路同步控制器(10)的多光子或激光LED(4)、可自动变焦(11)的皮肤镜光学镜头(5)和安装有蓝牙无线集电器(12)，蓝牙适配器(13)的面阵CCD或CMOS系统(8)，其中在装置的一侧装有充电接口(6)，充电接口(6)和锂电池(7)相连并连接开关(9)；图象分析装置的结构为：安装有数据采集控制部件(14)，图像预处理部件(15)和自动分析软件包(17)的微型计算机(16)，该微型计算机(16)通过数据线或蓝牙适配器(13)与面阵CCD或CMOS系统(8)相连。

3.权利要求2的图像自动分析仪器，其特征在于，各装置的工作流程为：靶目标(1)是皮肤镜物镜侧所针对的感兴趣区域，根据MT所发生的解剖位置和病灶的需要采用皮肤镜的光学镜头压片组件(由高分子透明材料聚甲基丙烯酸甲酯制作，一次性使用，防交叉感染)在压片组件与皮肤间滴加藕合剂可防皮肤杂光反射干扰折射的方法；启动开关(9)；经白炽光LED(45)照明，面阵CCD或COMS系统(22)开始工作，在数据采集控制系统(14)的作用下进行自动变焦(11)和标准白板图像校准(25)与图像齐焦；当图像校准完成后此时可进行靶目标(1)观察，选择感兴趣区(24)经由微型计算机(16)与多光路同步控制器(10)共同控制多光子或激光LED组件(4)从波长400nm至1000nm间跨越可见光和不可见红外光的10组不同波长的光子组件对靶目标(1)皮肤表面和各层组织间分别进行交替照明，使面阵CCD或COMS系统(8)及时感应到靶目标(1)的各光谱带信息；经数据采集控制系统(14)实时有线采集到靶目标(1)的图像；或经蓝牙无线集电器(12)和蓝牙适配器(13)进行图像无线传输，由锂电池(7)提供电源，当图像采集完成后在微型计算机系统工作站(16)中进行图像预处理(15)，获取理想图像(32)，后由自动分析软件包(17)，进行图像聚类分割(36)，图像特征提取(37)、组合神经网络分类器(38)分类，自动识别MT的性质真阴性(良性)(39)和真阳性(可疑恶性)(40)，最后给出诊断报告输出(18)。

4.权利要求2的图像自动分析仪器，其特征在于，各装置的工作流程为：多光子图像采集开始(33)、由多光路同步控制器(10)有序控制多光子包括激光LED从400nm至1000nm共分成10组(4)对靶目标进行照射，经面阵CCD或COMS系统(8)及时感应到靶目标(1)的各光谱带信息，获取新图像10幅(34)，分别按照各自采集顺序进行存储备用；对备用的图像也称感兴趣区域(24)图像，先经图像预处理(35)后获取理想的图像。

5.权利要求2的图像自动分析仪器，其特征在于，自动分析软件包(17)针对获取理想的图像进行图像聚类分割(36)、图像特征提取(37)、组合神经网络分类器(38)，识别真阴性(良性)(39)和真阳性(可疑恶性)(40)的先后操作顺序进行。

6.使用权利要求1的图像自动分析仪器对皮肤恶性黑素细胞肿瘤进行识别诊断的方法。

7.权利要求6的的方法，其特征在于，所述方法包括获取黑素细胞肿瘤图像，进行图像聚类分割，特征提取，组合神经网络分类器分类，识别黑素细胞肿瘤的性质，给出诊断报告的步骤。

8.权利要求6的的方法，其特征在于，所述获取图像，是通过皮肤镜物镜对准靶目标采用皮肤镜的光学镜头压片组件成像，获得的图像进行图像校正，所述校正是用多光子或激光LED照明前的图像采集，先以白炽光光子组件为照明条件下进行面阵CCD或COMS系统以标准白板作为背景进行图像校正。

9.权利要求6的的方法，其特征在于，图像聚类分割后，需进行图像特征提取，所述提取是根据黄色人种皮肤黑素细胞瘤图像的特点，将黑素细胞瘤图像直接分割为内皮损区、过渡区和背景皮肤区三个部分，并针对皮损目标在RGB彩色空间进行颜色、纹理、形状特征的提取，所述组合神经网络分类器分类是以形状、颜色和纹理特征作为BP网络的特征输入矢量，以颜色、纹理和边界凹陷率等作为模糊神经网络的特征输入矢量，采用投票法作为结论生成方式，将组合BP神经网络、组合模糊神经网络和组合异构神经网络的合神经网络进行集成，实现了黑素细胞瘤的分类。

10.权利要求6的的方法，其特征在于，所述图像聚类分割为皮肤黑素细胞肿瘤图像自适应聚类分割，采用区域生长法对图像进行粗分割，把每一个小的区域看作一个训练样本，定义包括颜色和空间特征在内的节点属性，进而以自生成神经网络为基本工具来实现黑素细胞瘤图像的聚类，对自生成神经树推广扩展为自生成神经森林，运用改进的遗传算法进行求解。

Images