CN105393252B - 生理数据采集和分析 - Google Patents

Abstract

智能手机和其他便携式装置上高质量成像器的可用性易于创建大的、源自人群的图像参考库，该图像参考库描绘皮疹和其他皮肤状况。使用相关联的诊断或其他信息，一些图像被上传，或者之后所述图像被注解(例如，“当我停止喝牛奶时，这个皮疹消失”)。用户向该库上传未知皮肤状况的新图像。图像分析技术经采用来识别上传图像的特征与这个参考库中的图像特征之间的显著相似性。假设数据集足够大，可形成可能要考虑的用户的某些诊断、可能要被排除的其他诊断和/或来自其他用户类似皮肤状况的传闻信息的识别的统计相关性。类似布置可以采用音频和/或其他生理导出的信号。本发明也详述大量的各种其他特征和布置。

Description

生理数据采集和分析

相关申请数据

在美国，本申请要求2014年4月11日提交的临时专利申请 61/978,632的优先权。本申请也是2014年3月12日提交的专利申请 14/206,109的部分继续申请，该专利申请要求2013年4月18日提交的临时专利申请61/813,295、2013年6月7日提交的临时专利申请 61/832,715、2013年6月18日提交的临时专利申请61/836,560以及2013 年8月30日提交的临时专利申请61/872,494的优先权。

引言

医学诊断是不确定的技术，这在很大程度上取决于医生的技能和经验。例如，皮肤病的诊断往往基于非常随意的技术，如医生观察或基于微创技术，如活组织切片检查。皮肤状况随着年龄下降。区分人的正常老化和疾病的影响是很困难的。这导致很多担心和不必要的访视医生。更严格的诊断技术可应用于教育公众、协助医疗专业人员并降低医疗成本。

一个示例是通过皮疹和其他皮肤症状证明的疾病的诊断。熟练的皮肤科医生可通过看其外表准确识别几十种模糊的情况，而全科医生可能会发现甚至是一些常见的易被混淆的皮疹。但高技能医生有时会疑惑，例如，当最近从热带返回的旅行者身上出现皮疹时，以及医生对热带医学没有经验。

皮肤病差别诊断的一些维度包括身体上的位置、颜色、纹理、形状和分布。其他相关的因素包括人的年龄、种族、性别、家谱和地理；以及环境因素包括饮食、药物、暴露在阳光下和职业。许多皮肤状况具有可以以包括广度、颜色和纹理的各种维度映射的地志和地理。

现有技术包括据称可用于诊断皮肤癌的智能手机应用。某些依赖计算机化图像分析。其他的是指供护士或医生查看的智能手机快照。已发现前者性能很差。例如，参见Wolf等人在2013年4月在《JAMA Dermatology》卷149第四期发表的“Diagnostic Inaccuracy ofSmartphone Applications for Melanoma Detection”(附上临时专利申请61/872,494)。

根据本技术的一个实施例，皮肤状况和其他登记信息的成像与相关联的诊断信息一起在源自人群的数据库中编译。这个参考信息可由医生和其他医疗人员捐助，但是也可由普通公众提供(例如，传递医生提供的诊断)。

用户向系统提交查询图像(通常匿名登记/关联信息，诸如年龄、性别、位置和可能的病史等)。基于图像确定查询图像的导数(例如，颜色柱状图，基于FFT的度量等)，并与参照图像的类似的导数比较。在一种布置中，导数最密集对应于查询图像的参考图像被确定，以及它们相关联的诊断被识别。这个信息以可能病状的分类列表呈现给用户。在一些实施例中，当用户提交的查询图像和相关联的信息经系统分析并且几种可能的诊断被识别时，系统可向用户提供具体的问题(通过当前分析的结果引导)或请求另外的图像以帮助区分候选诊断。

在可变的布置中，分析识别与查询图像和关联信息不一致的疾病。再者，这个信息报告给用户(明确地；不是简单遗漏)并且可包括传达关于此类信息的危险的统计和/或定性度量的危险简档。

在一些实施例中，图像用高于皮肤的表面拓扑的3D信息补充，并且这个信息用在匹配过程中。此类3D信息可以从图像导出，或可单独感测。

根据数据的特异性以及源自人群数据库的规模，90％、98％或更多的候选状况可以通过此类方法有效排除。使用此类技术的专业人员可因此能够节约患者的花费和痛苦试验(例如，活组织检查)，因为受试状况可以通过参考参照图像的大型语料库和由系统生成的关联知识来可靠筛查。同样，担心的用户可放心地快速知道例如前臂上的小病变的形成图案可能不是由带状疱疹、臭虫、疟疾或艾滋病造成的。

在一些实施例中，知识库包括描述皮肤状况的受试者的简档信息 (profileinfomation)。该简档信息可以包括例如他们正服用的药物、这些天他们所访问导致症状突然开始的地方、医疗历史、生活习惯等。当用户提交查询图像时，则系统识别具有匹配导数的参照图像，系统也可以报告从简档信息导出的统计显著的同现信息。例如，系统可报告服用维生素A补充剂的人中有27％的人具有像在用户查询图像报告中描述的皮肤状况。

在一些实施例中，同现的信息通过候选诊断细分。例如，系统可报告顶部候选诊断是粟疹X(42％的机会)。具有该诊断报告的35％人在症状突发之前的30天内在回归线内，以及25％的人报告偶尔使用热水浴缸或桑拿浴。下一顶部候选诊断是癣Y(28％的机会)。具有该诊断报告的60％人在小孩时具有水痘。此类同现信息可以帮助在所提供的选项中进行区分诊断。

有时候患者较少关注诊断而是简单地想摆脱痛苦。因此，该技术的一些实施例未尝试识别或排除特定的诊断。相反，他们简单寻求从用户信息、图像分析和源自人群的数据形成的知识库识别相关因素，以便可找到可能成为原因的因素(例如，在上面给出的示例中，通过暂停进食补充维生素A)。

通常，用户提交的信息被添加到知识库，并形成分析未来提交的参考信息的一部分。

虽然主要在皮肤图像的背景下描述，本技术的原理同样适用于任何生理导出信号。一个示例是音频。音频信号包括心脏声音和其他心血管疾病声音(包括心脏杂音、动脉杂音和其他血液流动噪声)、肺和其他呼吸声音(包括湿啰音、啰音、干啰音、哮鸣、咳嗽、打鼾等其他空气流动噪声)、肠道和消化系统声音(例如，噼噗声和吱嘎声)以及说话和其他发声。

通过下列参考附图的具体实施方式，本技术的前述和其他特征和优点将变得更加明显。

附图说明

图1示出本技术和一个或多个中心系统的一个具体实施的部件，该部件包括多个远程终端(例如，智能手机)。

图2示出使用本文公开的技术的示例性诊断系统的概念性组织。

图3A示出钞票，以及图3B示出钞票的摘录。

图4示出图3B钞票摘录以及白信封的归一化反射曲线图。

图5是全身成像小室的示意性剖面图。

图6A和图6B是示出另选成像小室的特征部的视图。

图7、8和9示出从相对于智能手机照相机的不同位置提供不同光谱特性的照明的智能手机屏幕显示的详细序列。

图10详细示出来自智能手机屏幕显示器的不同部位的光如何从不同角度照射皮肤上的特征部。

具体实施方式

图1示出采用本技术的原理的一个实施例的硬件概述。其包括一个或多个用户终端(例如，智能手机)和中心系统。

众所周知，智能手机包括在矩形中示出的各个功能模块。这些功能模块包括一个或多个处理器、存储器、照相机和闪存。后面的两个元件由处理器根据存储在存储器中的操作系统软件和应用软件来控制。

中心系统同样包括一个或多个处理器、存储器和其他常规部件。具体地，在图1中示出的是知识库-有利于用于本方法的数据存储和检索的数据库数据结构。

本技术的一个方面包括接收第一图像的中心系统，第一图像描述证明病理状况的症状的人体一部分(例如，皮疹或隆起块)。第一图像(及其图像元数据)可以使用常用的图像提交方式和登记从一个用户终端上传给中心系统。图像随后经处理导出一个或多个图像参数。包含参考信息的数据结构被搜索以用于图像数据，该参考图像数据在参数上类似于该第一图像。基于这个搜索结果，识别出一个或多个特定病理状况，该一个或多个特定病理状况不是由所描绘的人体所述部位来证明的病理状况。所得信息随后传送给初始用户终端。

在一些情况下，与所附的诊断一起向用户呈现“类似”图像可能是有用的。在这些情况下，确保所呈现的图像与用户相关是很重要的。在许多具体实施中，机器学习方法将适用于确定候选终端。许多特征部，无论是原始用户图像还是其处理版本，呈现给机器学习算法。表示年龄、性别、种族、身高、重量等的另外特征也有可能输入给算法。机器学习算法可以输出最佳匹配用户的图像和另外信息的一组候选终端。如果表示诊断的代表性图像呈现给用户，该图像应该能从数据库中被选出，这不仅仅基于视觉相似性，而且基于数据库图像的关联另外特征(年龄、性别等)如何更好地匹配用户。

(为了方便说明，术语图像、成像、图像数据以及类似字组/表达用于包含场景的传统空间亮度/色度表示，而且也包含从受试者光学捕获的其他信息。这可以包括例如3D微拓扑。此类术语也包含在非空间域中表示的此类信息，例如，FFT数据，FFT数据表示该信息是频谱域。)

导出的图像参数可以是各种类型，其中，一些类型与一些病状更容易区分，而其他类型与其他病状更容易区分。

一个样品导出图像参数是颜色柱状图。这个柱状图可通过参考例如从表现出症状的区域外围采样的“正常的”皮肤颜色被归一化。

特定类型的合适颜色柱状图在Digimarc的专利8004576中详细描述。一个此类柱状图是3D柱状图，其中，第一和第二柱状图维度是量化的色度(例如，红-绿以及蓝-黄)，以及第三柱状图维度是亮度的量化二阶导数。

有利地，图像是光谱精确的，以便基于色度的图像导数对诊断有用。采集此类图像的一个低成本方法是在不同的光谱调谐照明条件下采集图像的多个帧，并如同在2013年3月15日提交的共同未决专利申请 13/840,451(现在公布为20130308045)和2014年3月8日提交的专利申请14/201,852中所详细描述的一样来处理。

另一类导出的图像参数是图像至空间频域表示中的转换(例如，FFT 数据)。此类表示将图像分解为不同频率、角取向、相位和量级(根据表示的方式)。这类参数在区别皮肤肌理时是特别有用的，其作为诊断标准往往是有用的。图像在此类空间频率分量的分解可以在不同的通道中单独传导，例如，产生不同图像色度和亮度层的两级、三级或更多级的分级表示。(可以使用多于平常三色的图像表示。例如，图像可以用 4-20个不同的颜色通道表示。)

另一图像导数是小波变换数据。此类信息是图像信息在正交基函数集合中的分解-在这个小波的情况下。

各种其他域变换可以同样应用于图像，以用作图像匹配度量的基础。

又一图像导数是色斑分析。此类分析的一种形式涉及“区域生长”。在像素域中操作的特定方法涉及选择种子像素，并向其值在种子像素的阈值范围内的所有连续像素添加色斑，例如，在0-255标度上加或减亮度的三位数。这个过程可以重复用于整个图像的种子像素。种子像素可以基于颜色或其他参数(例如，图像红色或对比度的最大值)来选择，或可随机选择。结果是形状和标度参数可用作诊断标记的2D区域的图案。

从色斑分析导出的特定图像度量是识别不同形状发生频率的柱状图。形状可以以各种方式分类。例如，简单的双级划分可将具有唯一凸边界(例如，圆圈和卵形体)的形状与在它们外围的一部分具有凹外观的形状区分(例如，具有一个或多个指向内部的凹坑的色斑)。更为复杂的技术常常用于色斑分析；一个示例是定向梯度(oriented gradients) 的柱状图。(例如，参见Dalai等人2005年在IEEE关于计算机视觉与模式识别会议发表的“Histograms of Oriented Gradients for Human Detection”，第886-893页。)

(一般地，此类色斑分析使用支持向量机方法来执行，支持向量机方法基于一组参考训练数据对形状进行分类。)

虽然亮度用在前述示例中，该技术也可以在特定颜色通道中操作，或在颜色通道的布尔逻辑组合中操作(例如，添加至在500纳米光谱波段中的值在种子值的三位数内或在530纳米光谱波段中的值在种子值的五位数内的像素的色斑区域)。

类似的方法可以在其他域中操作，诸如使用空间频率域中的图像的表示。

所有此类图像导数(度量metrics)可以在不同的标度上计算。一个标度跨越总体图像。另一种方法是将图像划分为几百个部分，并且计算每个此类部分的度量。相同的图像可以再划分为数万个部分，再重新计算度量。这些部分可以是任何形状；矩形往往能有效计算，但是也可以使用其他形状。所述部分可以是不相交的、平铺或重叠。如果需要计算约束，可以在所有此类区域的子集，诸如在100000个区域随机选择的 1％区域上计算细小的标度度量。

如图所示，图像导数可以在不同的颜色通道上计算。例如，通过使用在待审的专利申请13/840451(现公布为20130308045)和14/201852 中详细描述的方法，图像可以被捕获并精确分解为五或十个或更多个不同的光谱带-每个光谱带可具有诊断实用性。此类基于光谱的分析并不局限于可见光谱；红外和紫外线数据也是可用的。

(紫外光被黑色素吸收。因此，紫外光的照明可以显示出不规则的颜料分布，这可以帮助例如定义黑素瘤的边界。)

(用于常规数字相机的CMOS和CCD传感器通常很好响应于红外线，前提条件是不存在IR滤波。)

图像和图像导数也可以基于偏振光摄影。

特征袋技术可以应用于图像导数，例如，如由Csurka等人在2004 年的“VisualCategorization with Bags of Keypoints，ECCV，Workshop on Statistical Learningin Computer Vision”中所详细描述的。

另一图像导数是特征大小。病变的尺寸(例如，直径)和其他的视觉可区分皮肤特征能够从图像来进行估算，并且这个数据包括导数图像数据。(特征部的诊断简档往往取决于其大小。)

图2是参考数据库的概念视图的摘录。它包括多个记录(行)，每个记录由与参考受试者相关的一组数据组成。

第一列包含描述受试者的皮肤状况的图像(或一组图像)。图像可以包括例如10兆字节的颜色TIF文件。

第二列示出从图像计算的一些图像导数。命名惯例给出关于数据类型的语义信息，例如，指示数据是否是柱状图或FFT数据，以及导出数据的图像的平铺子区域的坐标。

第三列示出由此捕获图像的受试者身体上的位置。

第四列示出参考受试者痛苦的诊断(如果可用的话)。至于一些条目，不提供诊断。

第五列示出另外的用户元数据。示例包括受试者的人口统计信息(例如，年龄、性别、重量、身高、种族、按邮政编码的户籍所在地)以及其他简档数据。这可以包括在过去三十天服用的药物、任何正在进行的医疗状况、过去三十天内引入受试者饮食中的食物、过去六十天内的旅行、生活方式活动、环境暴露、家族病史等。

可以看出，在第四和第五列中的信息使用XML式描述符标记，以提供可扩展性并有利于文本语法分析。

由用户提交的查询图像同样可以附有身体位置和在图2中示出的其他用户元数据信息。

(未在图2中示出，但是通常在知识库中呈现用于每个图像的是，涉及图像捕获参数的元数据，例如以标准EXIF格式。)

在示例性实施例中，服务器系统确定查询图像和许多参考图像中的一个参考图像之间的相似性得分。此类得分的一个分量可以基于图像导数特征空间中查询图像的图像导数与参考图像的对应图像导数之间的欧几里德距离的倒数。既然每个图像可具有数以千计的导数(例如，基于不同区域和颜色通道)，那么可以存在许多数以千计此类分量(例如，比较查询图像的区域1的柱状图和参考图像的区域1-1000的柱状图，同样适用于查询图像的区域2，等)。通常，忽略落在低于统计显著阈值以下的此类特征相似性度量。

在计算参考图像的相似性得分(即，相对于查询图像)时，一些图像导数比其他的图像导数赋以更大的权重。例如，给予一对图像导数之间的特定对应的权重可以取决于发现相似性的部分的标度。特征部越大，通常给予的权重越大(例如，与特征部大小成线性或指数比例)。同样，一些标记比其他标记更有诊断意义。在500纳米的光谱数据可能比在700纳米的光谱数据更有鉴别意义，并可成比例给予更大的权重，等等。权重可以通过考虑系统用户对相关性的反馈递归计算。

因此，数据库中的参考图像的采样或其全部相对于查询图像被打分。在示例性实施例中，得分在所评估的参考图像整体的顶部5％或0.5％的参考图像由此被识别。用于这组参考图像的关联用户元数据随后被分析。

很自然，顶部匹配的很多用户元数据将是错误的。数据库中的一些信息可能也是不正确的。在信息理论意义上说，数据会有干扰的。但是在大数据集上面的聚集中，统计显著和有用的相关性将是显而易见的。

例如，参考图像的顶部得分集的分析可以发现40％与指示描述被称为花斑癣的病症相关联，以及23％可同样标记为描述玫瑰糠疹。顶部得分参考图像的25％可以与指示参考受试者在服用降压药阿替洛尔 (Atenolol)的诊断标记相关联。

当然，一个人可能具有症状或不具有症状。一个人可能不在忍受“40％的花斑癣，23％的玫瑰糠疹等”。但是候选者的排序的呈现提供能够随后进一步调查的具体假定。

此类相关性的统计排除通常提供给用户-在一个或多个分类排序集合中。例如，可向用户呈现顶部五个或十个可能诊断的分类排序列表- 每个包括基于顶部匹配参考图像集合的发生频率的声明的概率。类似列表可经呈现用于人口统计信息和其他简档数据(例如，药物相关性、饮食相关性、生活方式相关性等)。

应当理解，许多皮肤状况是非皮肤疾病的自身症状。熟悉的示例是皮肤黄疸病，这可能与肝脏失效相关联。此类非皮肤诊断也应当在知识库以及报告给用户的结果中反映。

明显不存在的相关性可以另外或另选报告给用户。如果顶部得分集合中少于0.03％的参考图像与花斑癣相关联，但是这种情况在完全参考图像集合中具有更大的发生频率(例如，1.5％)，则用户可以被通知皮肤状况不大可能是花斑癣。同样适用于药物、饮食、生活习惯。(用于此类评估的特定阈值可以凭经验确定。)

呈现给用户的信息还可以包括紧密匹配参考图像的样品-以及与每个样品相关联的诊断(如果有的话)。

另一种方法使用用户描述症状随时间的变化。在此类方法中，用户向系统提交两个图像-一个是初始图像，以及第二个图像是在稍后时间拍摄的图像。系统基于所提交的图像确定所述皮肤症状在这两个时间之间的变化的数据。这个确定的数据随后用于进一步提炼的诊断信息。

因此，例如，如果皮肤上的紫癜在疾病期间尺寸放大，这是支持某些候选诊断的证明，以及如果相反，则是其他候选诊断。同样可以使用三个或更多个基于时间的图像。

使用本文所述的随后的得分和统计计算，源自人群的数据采集应当是初始以及在演化时进行管理。专业执业医生具有用已知的各种痛苦的图像示例“播种”此类数据库，倾注精力确保范围广泛的角度、照明条件、身体的部位、照相机型号等。这可以涉及数百、数千或甚至更多临床得出的主要和少量痛苦主类别的示例的图像的提交。同样，甚至源自人群的图像随着时间增加并可能很快矮化任何初始的“地面实况(ground truth)”图像，专业医生仍然可以如上所述将已知的痛苦示例提交到最新的源自人群的服务中，目击返回信息的结果，随后调节或更改各种加权因素、得分方案、至XML字段的扩展等。从而在越来越多的客户开始使用该服务时，管理整个服务的诊断精确性。

应当认识到，该技术的某些实施例不同于较早的以各种方式对源自人群的皮肤病的尝试。例如，一些较早的工作编译源自人群的图像集合，其中，每个图像附有专业诊断数据。示例性实施例没有此类要求。同样，其他较早的工作采用“人群”来提供所提交图像的多个人的评估，并由此得出共有结论。示例性实施例不需要此类多个人的评估。

在本系统变成很大规模时，将显示出没有先例的知识。在普通数据变得很大时，错误趋向零。

数据捕获

从皮肤捕获数据可以采用已知和可得到的成像技术。简单的技术是使用智能手机照相机。可采用辅助光学器件以提供更好的接近能力。也可以使用其他数字照相机-包括那些头戴式装置。

示例性智能手机包括苹果的iPhone 5；遵循谷歌安卓规范的智能手机(例如，由三星公司制造的Galaxy S5手机、以及由摩托罗拉公司制造的Google Moto X手机)以及Windows 8移动手机(例如，带有41兆像素照相机的Nokia Lumia 1020)。

一些实施例采用模块化的移动装置技术，诸如谷歌的Project Ara(其从由DaveHakkens开发的Phonebloks概念得出；例如参见YouTube视频oDAw7vW7H0c以及phonebloks.com网站)。在此类布置中，移动装置由可拆卸的部件构成，所述部件可以根据需要添加、改变或升级。通过此类技术，可以装配包括在本公开中详细描述尤其是适用于捕获生理学数据的排序传感器的装置。

本技术采用的图像可以是JPEG格式，但是优选可以是更高质量的形式-诸如RAW或TIF。

智能手机或其他用户装置可以在向远端数据库发送数据之前，基于所提供的传感器数据计算部分或全部感应数据的导数信息，或中心系统可以执行此类计算。或这些任务可以分发-部分在一个平台上执行，以及部分在另一平台上执行。

除了智能手机照相机以外，图像捕获可以采用专用硬件。示例在专利公布20110301441中公开。商业产品包括MySkin公司的Dermograph imager以及FotoFinderSystems公司的Handyscope。后者是苹果iPhone 5 装置的附件并且包括内置照明-可选交叉极化。其能够捕获接触图像(该装置接触皮肤)和非接触图像两者。各种其他的皮肤病(又名epi发光显微镜)硬件系统是已知的。

在一些布置中，物理夹具可以设置在成像装置上，以帮助建立至皮肤的一致成像距离。例如，坚硬的黑色、白色或透明塑料罩可以在摄像机镜头(以及可选地，闪光灯)一端延伸至放置在皮肤上的开口，以用于受控的距离成像。

智能手机上的软件可以采用已知的自动聚焦技术设置初始的图像焦点，并且如果照相机不能实现适当的焦点，则可以警告用户。不过，一些自动对焦的算法很容易被愚弄，对焦在可能在皮肤表面上出现的深色毛发上。因此，捕获几个静止图像曝光是优选的-一个在标称的自动对焦设置，以及其他图像在软件控制下改变位置，例如，在聚焦层从自动对焦设置加和减2和4毫米。已知的计算摄影技术可以组合此类图像以产生具有扩展景深的组合图像，例如，在Jacobs等人在附在专利申请 61/872，494中的斯坦福计算机图形学实验室技术报告2012-1中发表的“Focal Stack Compositing for Depth of Field Control”所详述的。(还可以采用其他扩展景深技术，例如，如在专利7,218,448、7,031,054和5,748,371中所详述的。)

同样，软件可以采用包围曝光，因为一些特征部可能更容易在自动曝光设置之上或之下的一个或两个光圈曝光中区分。可以采用已知的高动态距离方法以将此类图像组合为加强的图像帧。

在一些布置中，照相机的帧捕获基于稳定性触发。稳定性度量可以基于智能手机传感器(例如，加速计)的数据。或它可以基于取景器图像数据的分析。(苹果的iPhone装置包括运动估计硬件，其往往用于 MPEG视频压缩，但是也可以跟踪图像帧中的特征部以评估图像稳定性。)

虽然由移动照相机捕获的图像是本公开的焦点，但是应当认识到，同样可以采用由整体扫描系统捕获的图像。Canfield Scientific公司是整体扫描器的商业提供商。

在智能手机和整体扫描器之间是中间成像系统的范围。一个是可以在医生办公室或药房发现的自动化设备，其用于捕获用户的图像并提交给中心系统供分析，如本文所述的。此类设备(其可以是例如独立的信息亭，或集成到医生办公室中的体重秤中-在每次患者称重时捕获额面和颈部图像)可以比在大多数智能手机中发现的更为复杂，例如，提供受控的光谱照明(例如，如专利申请13/840,451(现公布为20130308045) 以及14/201,852)、热成像等。此类设备可向用户提供硬拷贝打印件的结果。此类设备可适用于自由使用，或收取名义费用(例如，通过硬币、美元或信用卡)。

正如技术人员所熟悉的，各种光敏剂(例如，氨基酮戊酸)可以施用到皮肤上，诸如通过改变它们的吸收和荧光谱来突出某些肿块等。

在一些方法中，在照相机捕获图像的多个图像帧时，用户在身体区域上方移动智能手机。通过不同的视点视角，例如，通过使用熟悉的立体显示技术，可识别皮肤表面起伏度(拓扑)的3D信息。谷歌的专利公布20130201301详述用于形成在不同视点捕获的3D图像。也可以采用已知的同时定位与建图(SLAM)以及运动结构(SFM)技术-显示标度以及形状。通过使用用于分析和向用户显示的地图技术，此类3D数据表示几乎能够是变平的。

2013年3月15日提交的专利申请13/842，282详述在移动装置中的传感器可以如何安装在MEMS致动的基座上，并且以与帧捕获同步的环状方式移动，以抵消模糊运动。在此类捕获布置中收集的图像的多个帧可以组合以产生增强分辨率的图像(例如，如在Digimarc的公布专利申请20080036886和专利6,570,613以及5,767,987中所教导的)。

其他3D感应布置是已知的，例如，如在2013年1月25日提交的共同未决专利申请13/750,752中所识别的(现公布为20130223673)。

上述的专利申请13/842,282详述特别有利的3D照相机传感器，其采用光谱调谐的图素-通常比现有技术的典型三刺激(红/绿/蓝色-滤色器阵列)传感器在更多不同波长提供光谱响应(例如，在八个不同的波长- 一些可能在可见光范围之外)。

3D感应的另一方法是经由接触皮肤的仪器，致使膜响应于皮肤表面纹理而变形，从而形成可称之为皮肤印。公布的专利申请20130033595 详述此类布置，其包括在强调纹理形貌特征的间接照明下捕获膜背面图像的照相机，也参见Johnson等人在2009年的IEEE计算机视觉与模式识别会议上发表的“Retrographic Sensing for the Measurement ofSurface Texture and Shape”(附在专利申请61/872,494上)。此类设备现可从马萨诸塞州剑桥的GelSight公司商购获得，并可最终集成到蜂窝手机和其他可穿戴计算机系统中。

使用此类皮肤印技术测量的皮肤拓扑据信对于某些皮肤状况的机器类识别，比2D彩色图像具有更高的灵敏度和特异性。虽然还达不到“地面实况”的皮肤形貌特征，皮肤形貌特征与特定的专业医生评估的特定形貌特征相关联，但是希望当此类测量的实用性变得众所周知时，这些可以很快到来。因此，本技术的另一方面包括在参考数据库中聚集各种医疗条件下的皮肤印记-至少一些也包括相关的专家诊断。相关方面涉及从此类参考印记获得特征部，并随后在判断由用户提交的查询皮肤印记和参考皮肤印记之间的统计相似性时使用此类特征部，以识别候选诊断和其他相关的信息-如较早所述的。

皮肤表面细节还可以其他方式，诸如通过用于捕获人的指纹的系统来感测。示例可从AuthenTec公布的专利申请(随后由苹果公司获得) 得知，包括专利申请20120085822和20110309482。此类传感器已经包括在许多膝上型计算机中，毫无疑问将很快出现在智能手机等中。

另一种图像数据采集技术包括具有有机晶体管电路的柔性片。该电路可以包括光电探测器，例如，在Fuketa等人在2013年的第五届IEEE 英特尔传感器和接口的进展研讨会上发表的“Large-Area and Flexible Sensors with Organic Transistors”以及Baeg等人在2013年8月21日第31 期卷25第4267-4295页发表的“Organic Light Detectors-Photodiodes and Phototransistors Advanced Materials”(两个文献均附在专利申请61/872,494)，并通过引用并入本文。此类介质还可以包括集成的OLED 光电探测器-提供受控的照明。

如前所述，偏振光摄影对于本技术也是有用的。这可以用偏振照明，或照相机或图像传感器上的一个或多个偏振片来实现。(例如，参见 Grnev等人在《Optics Express》18.18(2010)：19087-19094发表的“CCD Polarization Imaging Sensor with AluminumNano wire Optical Filters”，其详述具有与每个像素相关联的偏振滤光器的传感器。滤光器具有偏离45 度的四个不同方向。通过读取像素差别滤光集的数据，感测到不同的图像偏振。)通过感测在不同偏振的图像，可以显示不同的图像特征并实现不同的图像效果(例如，增加的对比度)。一些研究也表明当反射时，偏振光具有两个正交分量-一个是由于皮肤表面形态，以及另一个是由于组织内的“背部散射”。

虽然详细系统的用户可以提交供分析的单一图像，但是有时候提交几个图像是优选的。如上所述，这些可以包括不同聚焦的或不同曝光的图像。它们还可以包括来自不同观察距离的病变居中图像，例如，靠近 (例如，病变跨度在图像宽度的25％或更多)、中间距离观察(例如，病变跨度在图像宽度的5％和25％之间)以及远距离观察(例如，病变跨度小于图像宽度的5％)。

远距离通常将显示足够大的病变的位置(例如，臂部、足部、手部、脸部)可以使用已知的解剖分类技术来确定的本体摘录。(包括来自苹果公司的许多智能手机操作系统包括面部识别功能-其通过识别图像中的面部开始。)此类病变位置数据随后可以被自动输入到知识库中，无需用户输入此类信息。(在其他实施例中，软件可以向用户呈现3D体现，用户可以在3D体现上事实绘制或轻击以指出皮肤病变的位置。) 观察可识别身体部位的背景下的病变也提供可以估算病变的大小的背景。例如，男人手掌的平均对径是3.05英寸，从而允许减少在相同帧中示出的病变的大小。

随着照相机和传感器继续演化，所有三个此类视图可从单一照相机位置捕获。例如，摄远镜头可渐进式缩小以捕获三个只引用的视图。或高分辨率传感器可具有足以使前面两个视图可以从远程视图图像帧提取的分辨率。软件应用可自动获得三个图像-在适当时控制缩放或修剪高分辨率图像。(有利地，每个视图的宽度是至少1000个像素。)

在一些实施例中，智能手机软件向用户提供捕获图像的指引，例如，引导用户将照相机从身体移开直到软件的身体部位分类器能够识别第三视图中的身体部位。也可以提供例如关注照明和焦点的其他方向。

有时候，考虑身体不同部位的图像对诊断也是有用的。如果病变在用户的前臂上出现，可提交描述用户其他前臂或诸如在上臂下未正常暴露给太阳的皮肤斑的第二图像。随后可以计算比较病变部位周围的皮肤参数和其他部位的皮肤参数的不同的度量。这些数据也可以提交给知识库，其中，其他参考数据的相似性可能变得很明显。

在个人设备上，设置额外的传感器将很快变得非常普通。已出现的是例如配备多个麦克风的智能手机。如下面结合智能手机扬声器进一步详述的，此类装置等于超声波成像仪。此类装置可以压在用户皮肤上，以及被超声波刺激的皮肤自身通过扬声器发出声音(或通过其他换能器- 诸如压电致动器)。感测来自身体内部此类声波反射到不同麦克风位置的麦克风提供可以构建图像的信息。此类超声图像对人是非常有利的。

同样，液体镜头(例如，在飞利浦的fluidfocus品牌下销售的)可能很快出现在智能手机上，并启用新照相机接近和形貌特征感测功能。

在接触类成像时(即，成像设备接触皮肤)，捕获图像的身体位置可以使用可穿戴计算机装置-诸如谷歌眼镜装置或腕戴式装置的可插入身体中的小幅度电场波形来电感测。具体地，如果在身体内的两个位置引入不同的信号，在感测部位的可区别叠加可以精确定位此类部位的位置。

环境光、姿势、标度等

颜色是评估皮肤病症的重要诊断特征。不过，如在捕获图像中显示的皮肤颜色强烈依赖于照射皮肤“颜色”。虽然皮肤科医生可以在他们的办公室控制照明条件，但是大多数消费者图像捕获在各种各样的照明条件下执行。为优化详细技术的性能，应当减轻这种波动。

数字照相机常常执行自动的白平衡(AWB)调节。各种技术被使用。一种技术是检查图像中的像素，并识别最亮的一个像素。假设该像素对应于图像中的白或发光特征，即，反射所有入射光没有吸收任何特定颜色的特征。该像素的分裂颜色值随后经调节变成真正的白(例如，将RGB 表示调节至{255，255，255})，并且图像中的所有其他像素以类似的比例再映射。另一技是术求图像中所有像素的均值，并假设该均值应当是灰色的色调(例如，等于红、绿和蓝分量-如果在RGB颜色空间中表示的话)。对所有的图像像素进行对应的调节，以便均值被再映射至灰色的真实色调。

前者技术不适合皮肤摄影，因为图像中通常没有白色或光谱像素。后者技术不适合，因为其前提，即像素均值是灰色的，不是真实的皮肤图像。

专业人像摄影师有时在家庭小组的边缘放置校准卡，在打印前校准卡被修掉。该卡包括各种参考颜色，包括白色和其他已知的色调。在打印前，对图像进行数字调节，以将校准卡上的颜色描述引入它们的初始色调-从而也颜色补偿人像受试者。

因此，环境光问题的一种方法是用户捕获校准卡的图像，并向中心系统发送这个附上皮肤图像的图像。该系统随后可以基于校准卡图像中的颜色描述颜色补偿皮肤图像。

不过，此类校准卡是不容易获得的，并且由于消费者打印机之间的颜色波动，通常不能电子传播给用户来打印。

本申请人已发现能够足以替代校准卡的各种其他材料。

一种是白信封。颜色校准卡上的“白”是色度学真实白，而在普通公众之间传递的白色有很大的变异性。但是本申请人已发现白色邮政信封在颜色上趋于一致-具体地，在对于皮肤摄影是很重要的光谱红色端(在范围的紫色端有更多的项对项变异性)。虽然不是色度学意义中的“真实白”，此类信封通常一致足以用作颜色参考。

因此，在消费者皮肤摄影中环境光问题的一种方法是在与皮肤照片相同的照明条件下，引导用户捕获白色信封的图像。该图像可以发送给中心系统，皮肤照片可以在该中心系统基于信封照片进行颜色校正。

不需要对整个信封成像-仅对其片段成像。在一个方法中，信封基质的一部分被撕掉或切除并放置在照相机视域内的皮肤上。但是此类布置单一图像捕获可以是足够的。与此同时，在中心系统，照明校正的从分类白色邮政信封反射的颜色光谱被捕获和均匀化，并用作从终端用户收到的图像是颜色校正的参考数据。

(应当明白，在皮肤照片的视场中放置一张白色信封可以允许照相机图像的自动白平衡校正-如果照相机在使用上述两种AWB技术的前者的话。不过，特定照相机的AWB算法的细节是不清楚的。不过，中央服务可调查由流行智能手机照相机使用的AWB技术。通过检查常常封装智能手机图像的元数据，例如，图像文件中的EXIF标头数据，中心系统可以确定捕获用户图像的照相机的类型。如果图像使用前者的AWB 技术从一种照相机捕获，并且自动化的图像分析发现图像包括紧邻皮肤色调的白色区域，则系统可以推断出照相机已应用适当的颜色校正。)

对于如此倾向的，另一种常用的颜色参考是含氧血。血液表现出一致的颜色光谱而不管种族和其他可变因素。如果血液的液滴厚到足以掩蔽下面的皮肤色彩，它的颜色可以感测并再用于显示出照明的颜色信息。

颜色校准也可以用纸币来执行。纸币通常以极高的公差印刷，并和油墨颜色一致。有利地，采用具有接近皮肤色调范围的颜色的纸币摘录。虽然美国货币常常被视为绿色，但实际上美国20美元的钞票在杰克森肖像的左边和右边具有皮肤类色调的区域。(美国10美元具有微红色调的区域。)

根据这个方法，用户在相同的照明条件下捕获皮肤以及美国20美元的图像。皮肤图像和纸币图像两者随后发送给中心系统。中心系统再比较收到纸币图像中发现的光谱和参考图像，并确定详细说明收到纸币图像和参考数据之间差异的光谱校正函数。系统随后将这个校正函数应用于收到的皮肤图像以影响颜色校正。

由于颜色校正主要是皮肤色调所需要的，纸币缺乏此类颜色的区域可以在执行光谱测量和校正时被省略。中心系统可以通过参考图像特征或其他图案匹配技术来实质地识别纸币原图的相关区域-诸如SURF或 SIFT关键点。由此类点界定的区域可以从艺术品实质地“修剪”，并用作与类似修剪参考数据集合比较的基础。图3A和3B示出纸币原图，以及跨越大多数皮肤色调区域的代表性修剪区域。这个区域由初始原图中的“拐角”特征定义(例如，在“…PUBLIC AND PRIVATE(公用和私人)”中字母E的右上角；在“AMERICA(美国)”中字母A的左下角；等)，并且忽略可以在纸币之间改变的原图，即，序列号。

参考数据通过反射光谱技术来采集，该技术涉及用扁平黑色面具掩蔽纸币-只显示修剪区域-并用光谱经测量或以其他方式已知的光源照射。反射光通过光谱仪感测，从而产生一组指示作为波长函数的强度的数据。这个测得的数据随后经调节补偿光源的已知光谱。

图4示出经测量用于如图3B所示的杰克森(Jackon)肖像摘录(下面的线)和用于样品白色邮政信封的此类参考光谱。

设想的系统可以服务不同国家的用户。有利地，合适的校准对象被识别，以便一个或多个校准对象可用于这些国家中的每个国家。中心系统可以检查输入的图像，并且与校准对象的类别比较以识别正在使用的对象。因此，顾客可选择使用墨西哥100比索标记为参考，以及中心系统将识别相同并应用对应的校正函数。

应当明白，上述用于影响由于环境照明可变性的颜色校正的步骤也影响由于照相机传感器变异性的颜色校正。就是说，如果一个照相机趋于增强绿色，以及另一照相机趋于增强红色，来自两者的图像将通过使用上述的布置被归一化为一致的标准。

采用在皮肤的图像帧中已打印对象的步骤(与白色对象相反)也允许系统评估成像场景的亮度。照相机具有受限的动态范围。如果被照的太亮，照相机的分量红、蓝和绿传感器可能不再感测图像不同部分之间的可变性。相反，每个输出其完整的最大信号(例如在8比特传感器中，为255)。正确可靠的颜色感测丢失。同样适用于太弱的照明；不同颜色的区域也不易区分。通过对已知的打印对象诸如纸币进行成像，可以感测此类曝光过度和曝光不足(通过比较感测图像的细节和参考图像的细节)，并且用户可以被提示改变照明并根据需要提交图像。

如果将已知的已打印对象用作颜色参考对象，则对象原图也允许侦测其他的信息诸如标度，其前提条件是对象在用作皮肤状况的相同图像帧中已描绘出。为此说明，在美国20美元上的杰克森眼睛中心之间的距离是9毫米。如果此类纸币紧邻病变拍摄，并且杰克森眼睛之间的距离跨越225个像素，以及病变跨越400个像素，那么可知病变具有16毫米的宽度。图像中其他特征的尺寸可以类似确定。

如果已打印对象位于和皮肤的相同平面中，那么照相机相对于皮肤的姿势也可以确定-基于对象的明显几何畸变。就是说，如果照相机轴线不垂直于皮肤，那么透视畸变将导致帧的相同部位中示出的特征比垂直姿势的情况变得更大或更小。通过参考打印对象上特征的已知长宽比，并且与已捕获图像的长宽比比较，可以侦测出捕获图像的角度，并且可以应用矫正反畸变。(在分析中也可以考虑照相机的光学功能，以说明特征从图像帧中心移位的期望明显畸变。例如，在纸币左面上美国联邦储备系统的圆形密封件从圆形微妙地扭曲-即使照相机是垂直的姿势-如果密封件不在图像中心的话。此类畸变是期望的，并且分析考虑此类垂直姿势的正常原图。)

在纸币的情况下，可以基于在不同视角具有不同外观的安全特征确定更精细的姿势。变色油墨、微观镜头下的安全线和动态图像均是这种类别。中心系统可以采集在不同视角量化这些特征的外观的参考信息。当用户提交的图像经识别具有此类所示纸币安全特征时，其在图像中的呈现可以与参考信息匹配，以确定观察的角度-接着皮肤病变的观察角度可以藉此确定。(在许多此类测量中，安全特征的颜色随着观察角度转变。因此，在以这种方式分析姿势之前，在用户提交的图像上首先执行颜色校正是可取的。)

可以放置在用于图像捕获的皮肤上的另一种校准符号是硬币。同样，各种不同的硬币可以通过中心系统从它们的已知属性来识别-以及可以确定标度和姿势-仅利用上述的纸币布置。而且，许多硬币表现出许多照相机自动白平衡所使用的镜面反射。

可以放置在用作颜色校正和/或标度测量的图像帧中的其他常用项包括苹果USB电缆的白色线和耳机以及USB插头自身。用户的拇指(或其他手指)也可以放置在图像帧中-提供标度参考和也提供皮肤色调信息。

处理环境光可变性的另一方法是采用智能手机的前向照相机。

智能手机常常配备两个照相机-一个在前面面向用户，以及另一个在后面。后者通常用于捕获皮肤图像。但是前者可用于捕获可评估环境照明的图像数据。前向照相机的视场可以包括各种受试者-其使得自动白平衡测定比后向照相机更可信(视场可填充皮肤)。

根据该技术的这个方面，自动白平衡评估使用前向照相机来进行，并且接着所得信息用在AWB中-处理由后向照相机捕获的皮肤图像。

处理环境光可变性的又一方法是使用闪光照明。用于照相机闪光灯的发光二极管(LED)在特定型号的实例之间具有相对一致的光谱(例如，iPhone 5照相机)。关于流行照相机型号的闪光灯光谱的参考数据可以在中心系统编译。接着用户经指导在低环境光条件下通过激活的照相机闪光灯捕获皮肤图像。当中心系统接收此类图像时，其检查报头数据以确定涉及的照相机型号和闪光灯使用。接着系统应用对应于该照相机型号的闪光灯光谱的颜色校正。

有时候低的环境光难以获得。以及使技术方法适应用户而不是使用户行为适应技术通常是优选的。根据该技术的另一方面，闪光灯结合用于颜色校正的环境照明来使用。

在一个此类方法中，两个图像快速连续拍摄-一个包括LED闪光灯，以及另一个不包括。(可以使用视频模式，但是分辨率通常比静态图像捕获模式更好。)两个图像包括环境光，但是只有一个图像包括闪光灯。两个图像相减留下单独通过LED闪光灯照明的差值图像-从而减轻由于未知环境照明的不确定性。(图像在减去之前可以被空间对准，以说明图像之间的轻微移动。)同样，所得图像可以经调节补偿LED闪光灯的光谱。用户装置上的软件可以影响此类图像捕获、闪光灯控制和差分运算。

用于颜色补偿的又一技术是通过参考皮肤着色的基于标准的规范。虽然皮肤有多种颜色，这些颜色包括可能颜色范围的微小分数。这在当皮肤颜色在CIELAB颜色空间中表示时是特别真实的。如果用户的种族是已知的，例如经由智能手机应用程序的用户界面输入或从所存储的用户简档数据调用，这个范围还进一步缩小。

(在配有前向和后向照相机的智能手机中，前者可以用于捕获用户的照片-因为用户通常操作面向屏幕的手机。已知的技术可以从面部图像评估用户的种族(和性别)-从而避免需要用户输入这个信息。例如，参见Lyons等人在1999年的《IEEE Trans，on PatternAnalysis and Machine Intelligence》第12期卷21第1357-1362页发表的“AutomaticClassification of Single Facial Images”(附在专利申请61/872,494上)，并引用其中的文献。种族评估可以通过智能手机应用程序软件来执行，以便用户的面部图像不从手机发送。)

由于用户通常将制定捕获的图像，以便关注的皮肤状况在中心处，用户正常皮肤颜色的更好指示可以通过例如在边缘处远离中心的处采样。可以基于从各个外围图像位置采集的样品计算平均颜色。(应检查样品以确保位置不对应于衣服或其他非皮肤特征。可以使用颜色一致性和/或分割技术。)接着这个基线皮肤颜色可以就用于用户种族的统计颜色规范进行检查，如果用户种族已知的话。如果这个基线颜色在统计规范之外(例如，落在99％或99.9％的群体内)，接着对捕获的图像进行调节以移位图像颜色，以便均值落入规范内。(移外可以将平均皮肤色调移到如在CIELAB颜色空间中定义的标准区域的最近边缘或移到标准区域的中心。)

至于皮肤颜色规范和相关信息的更多描述请参见例如，Zeng等人在 2010年的“Color and Imaging Conference，Society for Imaging Science and Technology”发表的“Colour and Tolerance of Preferred Skin Colours”(附在专利申请61/872,494上)，并引用其中的文献。

虽然通过参考图像帧中的另一物品(例如，硬币)来参考评估皮肤特征的大小，但是也可以使用其他技术。

一种是使用照相机和图像数据的照相测量法。例如，如果图像元数据指出照相机自动对焦(受试者距离)设置在6英寸，但是已知照相机捕获在焦平面的四英寸大的视场，那么，跨越帧的宽度的十分之一的图像特征具有0.4英寸的宽度。(取代自动对焦信息，可以另选使用智能手机近侧检测器的数据。此类检测器主要依赖电容式技术并且目前是短距离，例如2cm，但是更远距离的传感器在开放中。)

也来自照相测量法领域的联合技术是束调节。(例如，参见Triggs 等人在1999年的《Springer-Verlag.》第298-372页发表的“Bundle Adjustment—A Modern Synthesis，Proceedings of the International Workshop on Vision Algorithms”)。在束调节算法中，从不同位置和/或方向拍摄的多个图像用于共同产生照相机的光学视图参数和成像场景的 2D或3D模型的估算。虽然束调节起源于照相测量法领域，但是最近已发现用在计算机科学领域，该领域是运动算法中形状的基本组成。照相机的特性的局部知识可用于提高场景模型的精确度。在用智能手机捕获皮肤图像的情况下，通过照相机在皮肤斑上面经过可拍摄多个图像。通过利用从不同视角拍摄的图像所提供的冗余度，向图像提供标度是可能的。由于智能手机通常也具有IMU和/或陀螺仪，通过馈送作为侧面信息的传感器信息，提高这些算法的性能是可能的。

另一标度技术依赖已知的生物统计规范。例如，在成人中，瞳孔间距(从一个眼瞳中心到另一眼瞳中心的距离)是约62毫米。各种其他一致的生物统计测量是已知的(回到远古木匠的“拇指规则”)，或可以从数据分析采集。一些是绝对的度量(例如，瞳孔间距是62毫米)，以及其他是成比率的(例如，前臂长度对前臂假手的长度的比率约0.58)。基于用户的性别和高度，一些此类度量是紧密聚集的。图像分类技术可以应用于用户图像以识别瞳孔、拇指、指甲、前臂、手指等。从已知的生物统计度量可以推断出皮肤病变的大小。

其他标度技术依赖此类结合前向和后向照相机的生物统计规范。考虑在其前臂拍摄病变照片的用户。前臂可以从智能手机照相机捕获的图像识别。智能手机被定位在用户面部和前臂之间的某处，但是其到臂的距离是未知的(忽视自对对焦和其他估算技术)。不过，先前的实验显示出当观察前臂时，典型用户趋向于据其面部约12英寸的位置保持其智能手机照相机。

前向照相机可以捕获用户面部的图像。虽然手机到前臂的距离是未知的，但是从手机到面部的距离可以从瞳孔间距的像素大小推断。(手机越靠近脸部，用户瞳孔间距变得越大-就像素间距而言。)基于先前的实验或基于照相机光学器件的分析，所示瞳孔之间的像素间距与前向照相机和用户面部之间的距离直接相关。从12英寸减去这个值产生智能手机和用户的前臂之间的观察距离。从这个观察距离和关于照相机光学器件的信息可以推断出皮肤上的特征部的大小。

同样，在由前向照相机捕获的图像中示出的面部皮肤的颜色可以用于评估在由后向照相机捕获的图像中示出的皮肤的颜色。在一种情形中，面部皮肤可用作参考皮肤颜色。(面部识别技术可以经应用识别眼睛和鼻子，并且从此类信息可以确定示出面颊和前额的图像的部分。皮肤面部颜色可以从这些位置采样。)

相关地，眼睛颜色是形成期望的皮肤颜色的有用工具。例如，灰色虹膜最常见与北方和东欧血统的人关联，可以形成他们的皮肤色泽规范。与其他眼睛颜色的种族关联也是众所周知的。(例如参见维基百科文章“眼睛颜色”。)

如果由后向照相机捕获的受试者皮肤状况的图像表现出不同于这个参考颜色的皮肤颜色，则差异可以用作诊断标记。同样，参考面部皮肤颜色可以用于分割由后向照相机捕获的皮肤图像的特征。

在一些情况下，由后向照相机成像的皮肤(例如，在用户的前臂上) 可以以与由前向照相机成像面部皮肤的亮度不同的亮度照明。例如，用户可使荧光台灯朝向他的臂以提供更多的光。如上所述，此类照明改变皮肤的明显颜色。相关地，由后向照相机成像的皮肤可能在手机的投射阴影内。通过比较由前向和后向照相机成像的皮肤颜色，可以检测出此类照明问题(例如，色度或亮度差异)，并接着应用纠正补偿。

纵向研究

如上所述，皮肤状况随时间的演化在其评估中是有用的。在不同时间拍摄的皮肤状况的图像可以以不同的方式示出以说明状况的演化。

有利地，图像被标度并空间比对(即，对准)，以便一致大小和朝向的参考帧表征所有的图像。这允许在通常未改变背景的环境下使病变的生长或其他变化是明显的。

图像可以使用已知的技术来标度和比对。通过引用方式示例为SIFT 或SURF特征，其中，在整个图像中是共同的稳健特征关键点被识别，以及接着图像被歪曲(例如，通过仿射变换)并旋转，以便这些点变成定位在每个图像帧的相同位置。(一种此类布置在本申请人的专利申请 20120208592中详述。)

为便于这个操作，首先识别每个帧中的病变的程度是可取的(虽然不是必不可少的)。已知的边界发现算法可以应用于这个任务(有时候假设在图像帧的中心发现感兴趣的病变来判定)。一旦在每个图像中的病变边界被识别，病变可以被掩蔽(或以统一颜色满溢)，以便关键点识别方法不识别病变或其边界的关键点。这减少关键点计数，并简化以后图像之间共同关键点的匹配。

身体毛发也可以是不同图像帧中的许多过多关键点的来源-通常对图像登记过程没有帮助或可能弄混的关键点。因此，在确定关键点之前处理图像以去除毛发是可取的。(存在可应用于这个任务的各种图像处理算法。例如，参见Abbas等人在2011年《BiomedicalSignal Processing and Control 6.4》第395-404页发表的“Hair Removal Methods：aComparative Study for Dermoscopy Images”(附在专利申请61/872494 上)，并且引用其文献。)

接着，关键点从图像提取。根据图像的放大倍数，这些点可与痣、毛囊、皱纹、孔、色素沉着、纹理等相关联。如果成像光谱延伸超出可见光，那么在皮肤最外层下面的特征可能是明显的，并且也可用作关键点。

接下来进行关键点匹配搜索以识别图像中的对应关键点。

接下来一个图像被选为参考。这可以是例如最近的图像。通过使用所提取的关键点数据，将每个其他图像变换到正确地对准的参考图像所需的旋转和扭曲被确定。接着这些图像根据此类参数来变换，以便它们的关键点与参考图像中的对应关键点空间比对。一组变换的图像结果，即，初始参考图像，以及至其他图像的旋转/扭曲同行。

(如果病变在扁平刚性表面上，那么通过简单的旋转和仿射变换，每个皮肤图像将与其他图像相关。这对于所有情况通常是有用的近似法。不过，由于一些皮肤表面的曲率以及皮肤会拉伸的事实，可采用更一般化的变换以允许此类变异。)

可以呈现变换图像的一种形式如停止动作胶片。图像通过日期排序，并按顺序呈现。每个图像的日期元数据可在图像角落明显呈现，以便日期进展是明显的。该顺序可在软件控制下自动地取得进展，或者每个图像可被呈现直到用户输入(例如，在屏幕上轻击)触发前进到下一个图像的展示。

在一些自动化呈现中，软件显示与日期跨度相称的时间间隔的图像，直到下一个图像。例如，如果图像#1-4在在连续的星期一捕获，并且接着在捕获图像#5-8之前落空两个星期一(继续在连续星期一)，那么图像#1-3中的每个可呈现1秒，以及图像#4可呈现3秒，接着图像#5-7中的每个可呈现1秒。(图像#8-最后的图像-可保留在屏幕上直到用户采取进一步的动作。)用户界面控件可以由用户操作以设置显示速度(例如，显示图像的最短间隔-诸如前述示例中的1秒，或应当显示的总时间间隔，等)。

可查看的变换图像集合的不同形式是转换演示。在该布置中，采用视频效果转换以在显示器屏幕上同时示出两个或更多个图像帧的信息。在单一布置中，显示图像#1(最旧的图像)。在间隔后，图像#2开始出现-首先显示为(即，图像#1上的低对比度叠层)，并逐渐变得更明确(即，增加对比度)直到该图像以完全对比度呈现。在进一步的间隔后，图像 #3开始以类似方式出现。可选地，在更新的图像重影进入视野时，较旧的图像可以淡出视图(例如，通过减弱对比度)。在不同的时间，可有来自一个、两个或更多个图像的数据同时显示。如前面所述，进展可以在软件或用户的控制下。

在上述示例中，呈现可采用毛发被数字去除的图像(从其提取关键点)。另选地，呈现可采用不受毛发干扰的图像。

在一些布置中，呈现顺序可以附有测量数据。例如，添加到展示图拐角的纹理或图形叠层可指出所示病变的宽度或面积，例如，第一图像 12平方毫米的面积、第二图像15平方毫米的面积，第三图像21平方毫米的面积等。同样，对于每个帧，病变的颜色或暗度或其边界不规则性或其纹理可被量化并表达给用户。

在其他布置中，此类信息未用序列中的每个图像呈现。相反，在呈现结束时，信息经呈现细化病变从第一帧到最后帧的变化(例如，在7 个星期中，病变面积增加83％)。

此类关于病变及其变化的统计数据也可以作为纹理或图形(例如，笛卡尔图表)呈现，例如，通过电子邮件发给用户的医生。

应当明白，提取关键点的皮肤特征定义特征部的特性群，所述特性群允许这个皮肤区域与其他皮肤区域-皮肤区域的指纹区分开，以便表达用户的指纹及其扩展。因此，即使皮肤图像提交给识别用户的中央服务器数据，这个特征指纹信息允许系统使图像与正确用户相关联。一旦皮肤特征的特性群已初步与用户相关联，这可用作隐私保护功能。(特征的这个区别群也可以用作一个人可被识别的生物特征-更少受传统生物特征蒙骗，诸如指尖和虹膜图案时的摩擦脊。)

还应当认识到，围绕皮肤上感兴趣区域的特征部有效用作其他图像可以被标度和取向并实时重叠的锚定点的网络。这允许增强的现实类型功能，其中，用户用智能手机观看他们的皮肤，并且作为增强皮肤的先前图像在对准比对中重叠(例如，幻影)。(用户界面控件允许用户从此类图像集合选择期望的先前图像，此类图像集合可存储在用户装置上或其他地方。)在用户将手机移向或移开皮肤时-改变在照相机平面上示出的病变的大小，重叠增强的大小同样改变。

在知识库的大小增加时，其实用性也增加。在充分大的规模时，知识库应当允许在病状变得明显或出现症状之前检测病状。例如，皮肤状况的微秒变化可预示黑素瘤的摩尔偏移。皮肤毛细管网络中的非一致性的生长可能是癌细胞生长的前体。皮肤图像中所显示的太小难以吸引人注意的信号可被识别-使用机器分析技术-很快将要出现情况的警告信号。随着成像技术进步，它们能提供越来越有用的弱信号。在知识库规模增加时，这些弱信号的含义变得更清楚。

为影响知识库中的纵向信息，描述特定用户随时间的状况的图像信息必须可从数据结构识别。如上所述，与用户皮肤特定区域相关联的唯一特征群允许描述这个用户皮肤斑的所有图像是一起关联的-即使当初始提交时，未如此明确识别。图2的数据结构可以通过包含每个此类皮肤斑的唯一标识符(UID)的另一个列(字段)来增强。在包含关于皮肤斑的信息的数据结构中的所有记录通过这另一列中的相同UID来标注。(UID可以是随机的，或可基于用户相关信息的一个或多个要素来导出，诸如一个用户图像文件名称的哈希值或基于唯一的皮肤特征点群。)

在数据处理资源允许时，中心系统可以分析纵向信息以辨别与以后出现的不同状况相关的特征(例如，图像导数)。例如，如果系统在较早的图像中发现用黑素瘤诊断的一百个用户-其中，在摩尔下生长的毛细管网络以后变成癌，并且该毛细管网络更稠密，是皮肤周围毛细管密度的两倍或三倍，则此类相关性可以是有意义的信号。如果新用户图像显示毛细管在摩尔下生长的类似密度，即，用户可以在以后出现黑素瘤时被警告此类毛细管生长的历史相关性。此类早期警告可以是成功治疗的关键。

在刚给出的示例中，相关性在单一信号(稠密毛细管生长)和癌结果之间。而且重要的是信号的组合(例如，稠密的毛细管生长，与摩尔区域中毛发的相继死去直至死光相关)已知的数据挖掘技术(包括监督机器学习方法)可以分析知识库信息以发现此类预示信号。

自然地，通过知识库信息的此类分析发现的信息以及知识库信息自身添加到知识库中供未来使用。在发现新的相关性时，先前提交的图像会出现新的洞察。中心系统可以向先前的用户发出电子邮件或其他警告，向他们建议已显示的后续数据和/或分析的信息。

虽然前述讨论涉及单一皮肤部位的研究，早前指出，在身体上其他地方的皮肤状况的信息也可能是相关的。因此，在进行此类纵向研究时，也可以考虑知识库以及用户数据中关于其他皮肤部位的信息。(如较早所述，此类其他皮肤部位信息可认为是用户元数据的另一要素，在发现相关性团时应当采用所有此类信息。)

用于癌症预测的机器学习技术的应用是不断增长的努力领域。例如，参见Cruz等人在2006年的《Cancer Infom.》第二期第59-77页发表的“Applications of MachineLearning in Cancer Prediction and Prognosis”； Bellazzi等人在2008年的《Int'lJ.of Medical Informatics》卷77第81-97 页发表的“Predictive Data Mining inClinical Medicine-Current Issues and Guidelines”；以及Vellido等人在2007年的《Springer》第964-971页发表的“Neural Networks and Other Machine LearningMethods in Cancer Research，in Computational and Ambient Intelligence”(附在专利申请 61/872494上)，以及其引用的文献。

使用多个光谱和高光谱图像的图像对准

当这些图像可能包含不止彩色图像的标准RGB层时，概述用于在纵向研究中对准图像的方法的先前讨论可以进一步收益。原因是皮肤纹理、毛发、病变边界-以及比这些更长的皮肤属性列表-全部可以在它们的区别和对比度方面通过它们作为更高维度的数据结构的表示得到加强。在标准颜色图像上尝试执行这些对准技术遇到的许多现实挑战-诸如在某人的皮肤斑干燥和出现不同线特征的一天和敷用皮肤润肤膏并有效去除这些线特征的第二天之间褪色的特征点，可以通过查找和测量更高维度的图像特征来克服。详细的扭曲布置也可以使用此类更高维度的高光谱特征，在一个图像中由此被拉伸的皮肤必须被再次拉伸以匹配另一图像。

通过运动的图像对准

加强皮肤斑和/或病变对准的另一方式是通过教导用户使用此类应用程序并在照相机采集皮肤图像时使照相机的移动完美。往往与几乎所有智能手机共同的照相机运动信息数据组合所得的图像本身表现的皮肤区域的运动允许信息在一些给定皮肤样品和几周、几个月甚至几年前拍摄的相同皮肤的图像在精确毫米和亚毫米尺度的匹配中的进一步应用。许多详细的特征往往在如此长的时间段内发生显著变化，其中，使用运动图像和所得视差数据信息可以帮助导出另外的形状和视角信息，所有这些都有助于稳定观看通用任务以及解释颇具动态的皮肤状况和病变。

按时间顺序的手指滑动查看

如在某些智能手机用户界面中所熟悉的，查看随时间变化的皮肤状况的另一方法是手指及时来回滑动对准的图像。这不必限于观看病理状况；它可以简单作为一个十几岁孩子简单查看他们在过去的几个星期内化妆外观的变化或者复查他们在两个星期前所采用的是什么颜色的眼线的愿望。在这种技术的此类非疾病应用中，一旦用户想要一些特定的较早图像，则可以向他们呈现进一步的用户界面选择，诸如非常特殊的品牌和类型的商业产品的显示可以具有与特定较早日期的关联。同样，返回病理背景，用户可尝试痤疮的各种治疗，并且他们将能够在他们尝试品牌X时拍摄的图像和当我们在初始品牌Y时的图像之间手指滑动。

在自动筛查和计算机辅助诊断(CAD)中管理固有的文化紧张

那些熟悉21世纪初使用计算机检测和诊断疾病增长的人也同样熟悉大型部门培养接受这一必然趋势。很难不同意该提法，“双方都是正确的”。如果我们作为正确声称计算机能够扩大远远超出了富裕阶级和国家的医疗保健的支持者讽刺一个阵营，以及对方阵营不一定是对手但批评正确声称欠佳卫生服务往往违反了希波克拉底誓言，然后我们发现自己陷于困境，只有时间和市场会慢慢向上突破。

本公开提出了旨在直接解决这些紧张关系而不是试图忽略他们、等待他们干脆跨开的不起眼但明确的技术部件。那将花些时间。具体地，先前公开的许多源自人群的方面都应该从临床许可的来源得到的信息与其他每个事情明确划分实施。颜色设计，具体地，设计的徽标和文本处理...此类技术实现的图形线索应当全部用作区别回送给这些系统的用户的“结果”信息的模板。例如，如果自动化处理产生倾向于指出一些皮肤斑或斑块上的关注的概率结果，回送给用户的任何实证结果应当以唯一可识别的图形形式包装，所述唯一可识别的图形形式与“...比较的结果和成千上万个倾向于建议你需求许可的医学检查”的传统响应相关联。在另一个极端，如果结果对所有提交的图像强烈趋向于“正常”或良性分类，图形格式和语言可以显示空的结果，但仍然加强用户应该仍然使用自己的直觉寻求许可的医疗援助的想法，尽管有一些特定会话的空结果。

这些想法能够很容易地通过将它们视作坐落在软件/分析引擎之间的离散滤波器级和用户交互的图形用户界面级来实现，其中，所述软件/ 分析引擎的任务是在所提交的图像上产生概率结果。这种过滤根本不是一个GUI问题；它基本上是关于确保几个世纪以来一直常见的在与用户沟通时遵循的医疗行为。这种离散过滤决不会解决隐藏在这些行为中的深层培养张力，但他们可以形成上述两个阵营的真理之间的高度明确的平衡。最广泛的目标是达到了一组更广泛的实际高危人群，提供寻求许可就医的指导。同样，对于实际上未处于他们所担心的风险状况的人群，自动服务仍然无法做任何事情，仅仅是显示空的结果。没有任何迹象表明“保证”是响应的一部分，除非执照医生正在积极参与会话，参与的完整公开是指参与的专业接受。所有这一切，那么，这种离散过滤器可能被命名为“最好的医疗实践”过滤器，以及有关测试结果的所有通信应当得到授权以通过这种离散过滤器传送。

传统术语“筛查”已使用了几十年，其主要是处理这些更广泛的概念。虽然局外的公众经常混淆筛查和诊断，但是医疗专业人员已做出巨大努力来教育公众它们之间的差异。此外，许多医疗专业人员会认为并不是医疗专业人员涉及到的所有案例的任何自动化服务值得称为术语“筛查”。这是一个合法的观点，尤其是法律允许任何解决方案供应商和医药产品制造商做出对医疗功效的通用要求。但是简单通过在导出这些结果的完全公开背景下呈现结果，这里所述的术语“筛查”能够成为本公开描述的源自人群要素的技术实现要素。具体而言，特意借用已知的培养规范，结果可以表述为“1000个其他个人已提交与你的图像非常相似的图像，并根据这些人的特定调查显示，73％的人征求医生的意见......”。关于这些主题的变化和排列是巨大的。

同样，从技术上讲，这种类型的数据和此类陈述的产生需要如上所述的实际的源自人群的数据采集和存储，然后链接到结果过滤器。这种特定类型的筛查的实际过程在其方法以及在结果的措辞中均充分地公开。因此，赢得术语筛查是因为这正是源自人群的筛查现象。其最终效果将由其最终结果的质量和其用户群的增长来确定。

快速和经济的全身皮肤筛查-早期黑色素瘤筛查室

结束筛查的话题，本公开接下来详细介绍了全身皮肤摄影的现有技术如何可以过渡到完全许可的皮肤科筛查试验，效法子宫颈抹片检查和结肠镜检查的培养规范。

全身扫描的现有技术通过坎菲尔德成像系统示出，坎菲尔德成像系统在整个美国的城市中运行成像中心。在这些设施中，患者可以获得全身图像，全身图像随后被传送给他们的医生供审查。坎菲尔德技术的各方面在专利文献8,498,460、8,218,862、7,603,031和20090137908中详细描述。

示例性的早期黑素瘤筛查室(EMSR)的基本方面是简单的：构建用照相机和同步照明环绕的透明手机小室(或圆柱体)。例如，小室可包括照明，照明具有例如16-32个LED光谱带(一些接近IR)，以及一打或两打RGB和/或黑白照相机。(例如，参见专利申请文献20130308045 和14/201,852。)在一些情况下，可以采用剃须，或酒精或其他皮肤处理。人们裸体或换上泳装，进入成像小室中，并在TSA成像小室中举起他们的手臂。五秒或十五秒后完成。如果喜欢他们可以佩戴小的护目镜，但是闭合眼睛或甚至睁开眼睛或许是很好的(并且或许不得不经过FDA 批准)。正常的额外数据采集也许需要两种或三种姿势，处理奇怪的反射和眩光，不同的皮肤表面法线，所以在所有的非手术中，只是不到一分钟的事。

计算机处理另外30秒钟进行图像分析和与参考数据比较，并给出绿色的光-或者，也许是以非报警的方式并仍然例行公事“设置”低阈值，使得患者被要求进入第二室，技术人员可以在此使用精确区域的现有最先进的数据采集方法专注于“关注区域”包括简单的刮活检。(技术人员通过软件的“指导”观看扫描结果，以便标记患者，指出关注区域并引发第二室筛查。)临床医生也可以或多或少涉及此步骤。

这是巴氏涂片、结肠镜检查、培养101种思维方式…在你25岁的时候先做一次，然后每隔5年做一次，或者不管怎样想做就做一次。让它接近测试成本明智的巴氏涂片，该房间姿势不应超过5美元或1万美元的全部制造成本；不需要因为硬件技术而疯狂。

当然市场需求是区别正常皮肤和黑素瘤以及其他病症。明确的目标是更早和更早检测出黑素瘤，看到如何得到早期的黑素瘤。受试者工作特征(ROC)曲线的研究是行业规范的下一步，可看到在令人讨厌的假阳性水平开始启动前如何可以出现快速真正的阳性检测。由于这意味着非常早期的筛查方法，这有利于ROC曲线向“检测更多”倾斜，以便再次检测，技术人员可以使用现有的方法做“没有大的交易”的二次筛选，并清除由于较高的ROC阈值造成稍微大的假阴性水平。因此，这也是一个以成本为基础的措施，提供更好的“谁”应该求助于更昂贵的现有的筛查方法的指导。

EMSR的现实点是早期检测。在目前质量水平和目前成本水平的增加护理数量也是现实点，避免死亡率也作为延长一个人的生命的直接成本效益。甚至六个月但更好是1至2年的高级检测将产生惊人和明显的生存率增长。

图5示出俯视圆柱形小室的示意性剖面图(例如，七英尺的高度和三英尺的直径，有一个进入门，未具体示出)。在小室周围排列的(里面、外面或整合到侧壁中)是多个光源52和照相机54。

所示光源和照相机的水平环阵列可以沿小室的高度以垂直增量重复，诸如6或18英寸(或小于6或超过18)。灯和照相机可以彼此垂直对准(即，通过一个光源的垂直线在连续水平行中经过一系列其他光源)，或它们可交错布置。此类交错布置在图6A中示出，其中，灯/照相机的连续行彼此偏离约11度。

图6B示出另一交错布置，其示出“展开的”侧壁。在这里，光源52 (和照相机54)的连续水平行相对于彼此偏离。此外，在这个布置中，光源52不是居中在水平相邻的照相机直接，而是偏移的。

虽然未示出，但是光源和照相机中的每个不需要以相同的编号交替。相反，可存在比比照相机更多或更少数量的光源。

同样，光源不需要以与照相机的水平对准相同的对准来布置；它们可以处在不同的垂直高度。

光源和照相机也可安置在人的下面，例如在透明地板下。

有利地，光源是在专利申请20130308045和14/201,852中详述的种类。它们可以以向人类视觉表现出白色照明的足够高频率(例如，40-280 Hz)来操作。照相机向计算机传送它们捕获的图像，计算机根据在刚列出的专利文献中的方法确定光谱测量(例如，每个像素或图像的其他区域)。有利地，通过在这些文献中详述的技术，减少这些测量中的误差。图像接着被划分为斑(例如，一边为1、2或5cm)并与参考图像比较，或应用于另一形式的分离器。所有图像以这种方式处理，或人或专家系统可以识别潜在感兴趣的斑供分析。

在其他实施例中，患者可以站立在照相机和光源前面的转盘上，在连续捕获图像帧时，所述转盘以比照相机和光源更少的转数旋转。因此，并不需要完整的“小室”。此类布置也以不同的照相机观看和光照明角度范围来捕获图像，如此能显示出在静止姿势捕获图像时可能不明显的特征。(转盘也允许在照相机中采用高光谱线传感器，在转盘转动时，连续线产生2D图像。此类线传感器可从比利时的IMEC国际公司商购获得，并在600-1000纳米范围内捕获100个光谱带。当然，也可以使用2D 传感器-包括高光谱传感器。有时候称为成像光谱仪的超光谱2D传感器的一个供应商是芬兰的Spectral Imaging公司。)

在一些实施例中，3D重构技术(例如，SLAM)应用于捕获的图像以形成数字身体图。在此类图/模型中，每个可疑位置的不仅大小而且图像随着时间进行记录。在一些具体实施中，可以记录整个身体表面的图像，从而允许体检医生如谷歌地球状事实飞翔在患者建模身体表面，在感兴趣的位置暂停。如果历史图像可用，则医生可以根据需要检查每个位置变化的时间推移视图。光谱带的一些有用子集可用于映射。如果需要，患者身体地图可以被变换(拉伸和收拢和挤压等)至标准化的3D 身体形状/姿势(可以存在一打或更多)以帮助自动化处理和所述特征的分类。

用户界面和其他特征

在向用户回报源自人群的数据储存库的结果时，应注意不要犯错。在一个方面，用户软件包括用户可以选择以便系统不表示某些图像类型的选项，例如，生殖器、发病状况、外科手术等图像类型(此类图像的标记可以在知识库中保存，以便图像可以以这个标记为基础过滤。)

用户界面也可以允许用户浏览数据库中的图像。例如，如果系统呈现描述类似于用户腿部病变的腿部病变的参考图像，用户可选择查看相同参考病变在较晚日期拍摄的后续图像，该后续图像显示参考病变随时间推移的发展。同样，如果在腿部发现参考病变的先前用户也提交在她的手臂上显示皮疹的图像，则当前用户可浏览初始腿部参考图像以查看显示先前用户手臂皮疹的参考图像。

图像浏览也可基于图像属性，图像属性通过一个或多个参数来判断。简单参数是颜色。例如，可经计算用于知识库中的一些或全部图像的一阶导数是在图像中间出现的病变的平均颜色(或在图像中间的像素的颜色-如果推断的皮肤状况诸如皮疹在该处示出)。用户可以通过定义此类颜色查询数据库(例如，指出用户提交图像中的病变，或诸如在Photoshop 软件中采用的通过颜色拾取器界面)，并且接着，软件在知识库中呈现最接近这个度量的图像。用户可操作控件以在每个步骤继续此类探索- 其中，每个步骤呈现这个属性最接近该图像之前图像的图像(但是先前未显示)。

同样，用户界面可以允许用户基于病变大小、形状、纹理等的相似性浏览参考图像。

皮肤上的毛发可以是有用的诊断标准。例如，黑素瘤是毛发的聚集阴性；很少看到毛发的此类生长。因此，毛发描述应当包括在知识库图像中。

不过，毛发有时候就是这样。因此，某些处理可使用较早所述已实际去除毛发的图像数据来执行。

用户界面可以允许用户标记所捕获皮肤图像内的一个或多个位置，以识别用户好奇或关注的部分。这个信息传送给中心系统-避免图像中的特征应当是系统处理焦点的不明确性。用户界面可以允许用户输入关于特征的注解(例如，“我认为是当我在2013年5月在拉斯维加斯度假时首先注意到这个”)。

另外或另选地，当中心系统接收用户图像，并用知识库信息进行处理时，可返回具有一个或多个图解标记以指出它已发现的信号的图像。例如，可向所示病变添加彩色边界(例如，以红色添加-指出应当注意，或以绿色添加)，或使屏幕发光或频闪的区域。当这个图像呈现给用户时，并且用户接触或以其他方式选择图解标记时，呈现链接至该特征的信息，该信息详细描述系统的关联发现。一系列此类图像-每个图像具有系统添加的图解标记(例如，彩色边界)-可如较早所述再现以示出皮肤状况随时间推移的演化。

皮肤是我们的身体与外面世界之间的界面；我们与外面环境的互动很大程度记录在这个薄层上。本技术帮助挖掘这个记录所提供的一些丰富信息。

彩虹模式

现参考在不同的光谱调谐照明条件下，诸如通过使用调谐到不同波长的照明源(例如，LED)，所采集的多个图像帧。

如在所引用的公布专利20130308045和专利申请14/201,852所详细描述的，N个不同的光谱照明源与M个不同的光谱检测器(例如，涂覆在智能手机光电探测器阵列中的三个不同颜色滤光器)组合以产生N*M 个不同的图像数据集合。从不同图像数据的丰富度，可以区分出丰富的不同特征集合。

这些专利申请进一步详述如何很大程度去除环境照明效果，即使光谱调谐的照明量调节到总照明的10％左右。

根据本技术的另外方面，由智能手机屏幕的照明提供不同光谱波长的照明。一种此类方法使用智能手机的前向照相机捕获图像(即，照相机与手机的触摸屏在相同面上)，而不是使用平常的后向照相机。由前向照相机捕获的视场随后通过智能手机屏幕的光-至少部分-照射。这个屏幕经软件控制在捕获不同的图像帧期间呈现不同的照明图案或颜色(“彩虹模式”)。

智能手机和其他屏幕常常发出“红”、“绿”和“蓝”光-每种光具有特定的光谱分布图。(这种分布图通常随着一种类型智能手机到另一种智能手机改变-由于不同的显示技术，并且有时候由于处理差异在相同类型的智能手机之间改变。)重要的是，这些光谱分布从未与红、绿和蓝拜耳传感器像素光谱分布图完全匹配-从而引发如上所述的倍增效应。

例如，显示屏幕上的一些“蓝”照明将轻微“点亮”绿色拜耳滤光像素。显示屏上的“绿”照明将激励所有三种(R/G/B)拜耳滤光光敏器件。显示器上的“红”将激励红和绿滤光光敏器件。该示例给出七种交叉组合或“通道”，所引用的专利公开详细讨论所述交叉组合或“通道”，例如描述和表征这些通道如何改变质量和信息内容。(虽然有屏幕颜色和光敏器件颜色的九种组合，但是蓝和红足以光谱去除耦合效果基本是零的一些组合。)

OLED显示器正广泛使用(例如，三星Galaxy SIII、S4和S5)并且与先前的技术相比，提供增加的亮度和更宽的色域。

柔性显示器也开始出现商用。这些对于在显示器经操作从一面到另一面扫描时，在近的成像距离照射3D波动特征是有吸引力的。

也可以使用自动立体显示器(常常包括视差光栅)，并且可以形成结构化的照明。

一个示例性实施例在捕获个处理用户面部的图像数据时采用彩虹模式。在特定具体实施(可以称为面部检查)中，智能手机的运动和/或姿势被感测并用于在数据采集和数据呈现模式之间切换。

正如所熟悉的，智能手机的运动和姿势可以通过参考机载加速计、磁力仪和陀螺仪的数据来区分-每种数据往往是3D的。(运动也可以通过参考手机照相机捕获的图像的明显移动来评估。)

在数据采集模式，用户在头部(并且可选地头皮)周围舞动手机，前向照相机从不同有利位置捕获图像帧。在此类运动期间，手机屏幕正显示不同照明图案/颜色的序列。软件分析在这些不同照明/视点条件下捕获的图像以识别潜在关注的特征、按类型分类、形成例示特定特征变化的纵向图像序列等。当装置此后由用户保持静态供观看时，呈现这个信息。(这个静态姿势通常是屏幕向上倾斜的姿势，潜在，屏幕基部是基本水平的，即在水平线的十度以内)。

屏幕照明可以是各种类型。以一定速率更新，人的视觉持久性致使照明看上去是一致的，例如完全白色。以较慢的速率更新，不同颜色或图案毛边跨越屏幕。

简单的布置以循环的方式按顺序显示全红、全绿、全蓝的屏幕。在变体中，手机的“喷灯”(即，照明闪光灯)在第四象限序列下运行，给出四种不同的照明状态。

在另一布置中，仍然采用实屏幕颜色，但是这次采用与红/绿/蓝原色的组合(产生称之为青、品红和黄的颜色)。

在一些布置中，颜色的过渡是不连贯的。例如，红屏可以保持六分之一秒，并接着切换到蓝屏保持第二个六分之一秒等。在其他布置中，过渡是混合的。例如，所显示的实色可一秒更新三十次。在第一帧，呈现红色。在第二帧，20％的红色像素改变为绿色。以及在第三帧，超过 20％的红色像素改变为绿色。颜色结果看似是连续涂抹的，但实际是15 种不同的颜色。一秒两次显示为全红。同样，是全蓝和全绿。

照相机的图像帧捕获同步于不同的照明帧。在刚给出的示例中，照相机可每秒捕获六个图像帧(即，两个具有全红照明，两个具有全蓝照明，以及两个具有全绿照明)。

皮肤拓扑特征最好以各种不同角度倾斜照射皮肤来显示。这可以通过操作屏幕以在不同时间呈现不同部分的照明来完成。屏幕的其余部分可保持暗(黑)。

一种此类布置在图7中示出。在该图顶部的显示屏幕为全暗(黑)。在固定间隔后，色彩带沿屏幕的左边缘出现。在进一步间隔后，向右边位移一个带宽。颜色带以类似方式跨过屏幕。(虽然示出两个分立的步骤，但是可以使用更多或更少的步骤。)

在色彩带完成跨过屏幕后，接着呈现暗屏幕，后面接着类似跨过不同颜色带。

在一些实施例中，颜色顺序(例如，图7的色带)是按顺序的，例如，红、绿、蓝(或红、绿、蓝、青、品红、黄等)。在其他实施例中，颜色的顺序是随机的。

同样，图7示出从左到右的色彩带的累进。在一些布局中，这个图案以不同的颜色重复。在其他布局中，色带移动的方向从一个循环改变到下一个循环。例如，在图7的红色带在一个循环中已跨至屏幕的右边时，下一循环可具有从顶部跨到底部的色带。或从右边跨到左边。或从底部跨到顶部。同样，顺序可以重复，或可以使用随机的方向和/或颜色。

图8示出不同颜色的两个色带移过屏幕的变体。如在刚刚描述的布置中，在不同循环中的水平带的颜色可以遵循重复图案，或可以随机选择。水平带移动(顶部至底部，或底部至顶部)的方向同样如此。垂直带同样如此。

图9示出又一变体，其中，不同颜色块出现在屏幕上的不同位置。如先前所述，颜色的顺序以及块的位置可以遵循重复图案或可以以随机顺序行进，或上述两种中的任一种或两种全部方式行进。

(在本文讨论的这个和其他实施例中，所述装置可以是iPhone 5， iPhone 5具有对角测量为四英寸的显示器，并且具有1136x 640像素的分辨率，即每英寸具有326个点。)

图10进一步考虑照明几何结构的某些方面。在该图的顶部，在智能手机屏幕的一端显示颜色带。来自这个颜色带的光以21度的角度(相对于皮肤表面的切线104)照射皮肤上的位置102。

一些时刻之后，色带已移到接近屏幕的中间，如该图的中间所示。在这里，来自这个色带的光(现在可以是不同的颜色或不是)以40度的角度照射皮肤位置102。

一些时刻之后，色带已移到接近屏幕的相对端，如图10的底部所示。在这里，来自这个色带的光以103度的角度照射皮肤位置。

如先前所述，手机使用照相机106在这些不同照明条件的每个照明条件下捕获图像帧。

因此，应当认识到图10布置收集在从各种不同角度照射时的皮肤位置102的图像。如果色带在其跨过显示器时改变，此类布置收集以各种不同的角度和光谱照射的皮肤位置的颜色。

虽然手机在图10中是静态的，但是在实践中，在色带跨过显示屏幕时，手机可以被用户移到相对于皮肤位置102的不同位置。因此，在一些实施例中，图像以不同的照明角度、照明光谱和视点捕获。

(为拟合图10例证的三种照明情形，手机被示为更接近皮肤而不是通常的情况。更典型的成像距离是4-6英寸。)

由在屏幕的不同部位呈现的颜色提供的倾斜照明以及将照相机移到不同视点的运动一起帮助显示皮肤的毫米级3D分布图。此类分布图信息可以有助于分类某些皮肤状况，例如干燥、剥落、年龄皱纹、晒斑等。

通过例如在一秒的时间段内产生30个图像帧的序列，其中，例如，在该一秒时间段内出现10种不同的彩虹照明状态，刚好在显示器RGB 和传感器RGB光谱组合时形成信息多样性的情况；照明角度的效果现在也包括在采集的这个大图像数据中。正如在机器学习和对象分类的广泛领域中众所周知的，可能不总是能够解析理解数据所代表的这种更大复杂性。不过，这种额外复杂性的存在将允许高维度区分一类“事物”与另外一类“事物”。在这种技术和皮肤的情况下，这可以涉及最简单的问题诸如“这个皮肤比那个皮肤更干燥或更潮湿？”完成的方式是通过传统训练，其中，干燥皮肤的已知样品以及更潮湿皮肤的已知样品全部经由这些彩虹照明方式获得采样，并且它们所得更高维度的差异和唯一特性全部通过这种费解的数据集“训练”。现代的分类方法按惯例处理具有100 或甚至1000或更多维度的相关信息的数据向量。已用所有这些光谱组合和这些各种空间方向照明的皮肤斑可以很容易引发照相机像素在毫米- 毫米标度的数十种或数百种束数据属性。这些数据的空间导数，例如，“左边像素数据的红光”如何从这个像素更改为天生携带新的红色皮疹和吻痕之间的区别信息的十个像素，其中，红色皮疹与不怎么凹凸不平性质的吻痕相比可能是凹凸不平的，使用有意的示例。因此，男朋友和女朋友或许能够快速检查任何年轻的不忠，但这作为彩虹导出数据捕获的一个很小应用。

晒斑分析是另一应用。空间光谱彩虹多样性可以增强捕获图像的识别和区别能力。或许难以用放大镜看见的甚至非常小的起泡的出现将表现出不同的远视场光学特性，即，虽然不是起泡但尽管如此仍然是较小程度的灼伤疼。已提到过皮肤干燥度的检测，以及由此的彩虹多样性，构建干燥度的“标度系统”使得用户可以自己选择何时应用和何时不应用各种皮肤保湿剂是可能的。皮肤的老化是数量庞大的人群有兴趣更好了解不能简单地如何处理老化皮肤而且要了解自己的肌肤状况并了解如何能够治疗并跟踪在与衰老斗争时他们所采用的各种补救措施的另外领域。本文所述的彩虹谱空间多样性也可以提供一组更丰富的凭经验从范围广泛的皮肤状况直接采样的样品，毕竟，所述样品从非常复杂的三维结构即人体皮肤导出。

在空间中的一些角度发亮的光谱成形灯的一般原理当然可以通过 LED完成，LED某种程度是准直或甚至可调谐激光器。本文所教导的最广泛的原则是，虽然具体的皮肤状况的微生物或皮肤拓扑可能过于复杂，难以从不同的照明角度和光谱形成可识别的图案，尽管如此，仍然可以测量并用于区分状况A和状况B，或者甚至一些奇异状况的进展阶段。如机器学习从业者所理解的，所得数据向量群体在更高维度向量空间以一定方式分散，所述一定方式使得通过训练已知状况类型，产生这些类型的边界条件的a la SVM类型群体的标记，然后未知的测试案例和这些群体比较，这是用于区分未采用这些彩虹采样技术的普通彩色摄像机看起来完全一样的状况的方法。

(关于从多视点图像采集数据的另外信息，例如详细表面属性在专利公布20080112596中详述。)

音频等

根据本技术的其他方面，音频(和其他生理数据)以类似于本文的皮肤图像类似的方式采集和使用。

例如，一个特定实施例对一组音频数据采用回归分析以表征应当被取出的错误结论。(拣选错误帮助识别真相。)另外比较提取特征和“正常”特征模板以识别应当由称职医生审查的反常信号。

专利公布2002085724、2005078533、2008046276、2008062389、2010045210、2011009759、2011021939、2011096820、2011076328、 2012043018、2012090303、2013016584、2013061484、2014012149、 W00209396和W013156999详述可用于采集和处理生理声音信号的各种技术，上述专利适用于本文所述的布置。

在不同的音频数据采集布置中的一种是铃声和隔膜式拾取，其声耦合至一个或多个麦克风。此类拾取可以设置在通过导线(例如，采用耳机/MIC插口)或无线(例如，采用蓝牙)耦合至便携式装置(例如，智能手机)的独立单元中。另选地，此类拾取可以永久或通过可拆卸附接至装置体的附件单元形成便携式装置的部件。后者的示例是向下开口的漏斗状构件(例如，塑料做的)，其摩擦安装在低英寸或半英寸智能手机本体，将声音从漏斗的广角端引导至通常用于手机通信的麦克风。

在其他布置中，音频感测可以通过佩戴的麦克风完成。在一些实施例中，一个或多个麦克风设置在由用户(或由探测用户的临床医生)佩戴的带中(例如，腕带或腰带)。在其他实施例中，声传感器集成到衣服或其他服装中。通过在身体上的不同位置放置麦克风，可以更好确定不同声音的空间起源，这有助于诊断的显著性。仍在其他布置中，有时候可以采用头戴麦克风(例如，谷歌眼镜类布置)。

为降低在周围环境中发现的假(即，非生理)音频的影响，可以采用一个或多个其他麦克风以感测周围音频，因此周围音频可以使用已知的噪声消除技术从感测的生理音频去除。(智能手机逐渐增加设置多个麦克风；这些麦克风中的一个或多个可以用于加强所感测的生理信号。)

可以感测各种诊断相关的声学信号。这些声学信号包括心脏声音和其他心血管疾病声音(包括心脏杂音、动脉杂音和其他血液流动噪声)、肺和其他呼吸声音(包括湿啰音、啰音、干啰音、哮鸣、咳嗽、打鼾等其他空气流动噪声)、肠道和消化系统声音(例如，噼噗声和吱嘎声)以及说话和其他发声。

在采集用于分析和用于与参考数据比较的数据时，可以采用各种处理技术。

一种处理技术表征和去掉定位声音，例如，在麦克风定位在用于数据采集的最终位置之前被移动并摩擦人的皮肤时的声音。分类器可以经训练识别此类定位声音，以便它们不用于诊断处理。

另一处理技术是例如，上述以及在某些引用的专利文献中的噪声消除。合适的小波类去噪声布置在Messer等人在《Microelectronics Journal》32.12 第931-941页(2001)中发表的“Optimal Wavelet Denoising for Phonocardiograms”。当基于测量背景期望去除相同噪声时，也可以采用光谱过滤。

可用于生理信号的其他信号处理技术可广泛分类为下列重叠区域：

1.具有预测(重复)结构的预测类技术-可用于心血管和呼吸声音

a.预测误差可以用于检测心跳的异常并且也隔离噪声类信号，例如，在存在强烈的心跳信号时的咕哝声。

b.瞬时信号也是不易预测的。因此，在分析湿咳信号时，可能有存在于干咳中的瞬时分量，但是湿咳也会有在干咳中不存在的可预测分量(基于咳嗽的激励模型)。

2.时频技术-FFT，光谱图等。

a.光谱图可以经分析用于高频对低频信号-噪声类信号具有更高的频率含量-空气流声音、咕哝声等。

3.瞬态分析-短帧分析

a.砰砰声和劈啪声是瞬态信号，并且它们可以使用短帧音频分析来检测/分析。

b.能量包络也可用于瞬时信号分析

4.指纹技术

a.通过足够训练的示例，音频指纹特征以及来自音乐和视频识别的匹配技术可以为生理声音服务。(音频指纹和匹配的示例这专利公布20070250716、20070174059和20080300011(Digimarc)、20080276265、 20070274537和20050232411(Nielsen)、20070124756(谷歌)、7516074 (Auditude)、6990453和7359889(Shazam)、20050141707、20050259819 和20060075237(Gracenote)以及8656441(Cox)中详述。)

b.指纹类诊断的一个示例是采集“健康的”音频数据(当患者健康时)并随后分析与这个健康数据的标记或指纹偏差的任何数据以确定未来诊断检查的病状。

此类处理可以提供能够与参考数据比较的各种“特征”，所述参考数据评估信号是正常还是异常的(并且如果是后者，用于帮助识别是什么异常- 或不是什么异常)。

一种方法是使用自动回归模型以参数化所感测的声音。这是例如由 Harma等人在2000年的《Proc.of the EUSIPCO》第2037-2040页发表的“Time-Varying AutoregressiveModeling of Audio and Speech Signals”中采用的方法。

另一方法使用包括用于自动语音识别领域的的MFCC(Mel频率倒谱系数)和PLP(感知线性预测器)的功能。

咳嗽、鼾声、心脏杂音和其他可隔离或循环再现声音可以被参数化，在一个方面，通过识别表示光谱能量阈值(例如，80％)部分的时间间隔，以及表示光谱能量阈值(例如，90％)部分的最小频率带宽(通过低频和高频表征)。(这些低频和高频界定也可以独立运作有用的特征。)

更大量的其他参数和特征同样可以从音频的光谱图导出，如下面的表格1所例示，该表格改编自Glaeser在波特兰州立大学2009年出版的“Analysis and Classificationof Sounds Produced by Asian Elephants(Elephas Maximus)”。(在这个表格中，刚才提到的特征是分别是基本特征M5、 M6、M3和M4。)

表格1

刚才所述的一些或全部二十个奇参数的集合(以及其他参数)可以计算为感测声音，并与参考数据比较以区分参考参数集合的相似性(或偏差)-或者单独或在以统计的方式(例如，特殊的呼吸音与可能被视为相似年龄、体重和性别的受试者的中值偏离两个标准偏差)。参考数据可能随着时间推移仅从单一个人采集(例如，该人较早感测的生理声音的纵向记录)，或是常常按人口统计相似性分组的个体的集合(例如， 40-50岁，健康的男性，体重在170和190磅之间)。

一个特定示例涉及主要动脉中杂音的检测。这可以是冲击的预测用户可定期将手机或其他音频传感器放置在股骨(或颈动脉)动脉上。如上所述，五秒或十秒采集的信号可以转换为特征，并且这些特征可以与从已知杂音导出的特征比较。如果比较指示相似性超出阈值程度(例如，低于阈值的特征距离)，用户可以被建议检查动脉是否被堵塞。

专利公布20070265508、20110021939、20110196820和20130261484 详述生物识别信号可以被处理例如用于比较的各种其他方式。

如上所述，语音和其他发声也具有诊断值。音调、音色、节奏、步调和音量(和偏差相同)是可被监测的一些发声属性。从历史规范改变有时是症状或不同病状的前体，例如抑郁症、中风、酒精中毒、呼吸系统疾病等。

例如抑郁症往往伴随更慢和更安静的语音，以及减小的音调变化。呼吸系统疾病可以从较低的讲话音调看出端倪，其具有更粗糙/更粗重的音色(例如，由于肿的声带)。

咳嗽可通过诸如频率和类型的特性来表征(例如，干咳-断奏的性质，用锋利的发病，持续时间短和高频分量主导；以及湿咳-常常是相反的)。用户的咳嗽可基于“指纹”匹配典型的咳嗽(用户自己的，或其他人)，诸如采用上面表1中详述的特征的集合。用户当前的咳嗽可与用户在早先日期的先前咳嗽情形匹配。回顾早先日期附近的其他生理信息可能预示着即将到来的症状，例如体温升高、流鼻涕等。

咳嗽的更细分类可用参考数据的足够大集合来实现。源自上气道发炎(例如，在大支气管中的粘液)的湿咳表现出一组特征，而源自下气道的咳嗽(例如，肺中的肺炎)表现出一组不同的特征。可以采用距离度量来评估表征用户咳嗽的该组特征是否更接近前者还是后者；相对距离提供置信度。也可以采用更复杂的分类布置。

(咳嗽的音频特性-尤其是音调-依赖，部分依赖涉及发声体的尺寸。因此，在选择用于比较的参考数据时，理想的是拾取从相同性别以及相同年龄、体重、身高和肺活量(如果已知的话)的人捕获的声音。如果一组此类紧密匹配的参考数据不可用，则特征的匹配操作可以较少依赖绝对音调相关的特征，和更多依赖其他特征。)

明确的距离度量的替代方法由传统的机器学习方法提供。在这种情况下，采集数据库，所述数据库由适当的音频捕获连同指示特定类型的要被识别的咳嗽的存在的标记数据一起构成。接着音频经处理提供一组丰富的特征，该特征形成至机器学习范例(例如，支持向量机(SVM) 或人工神经网络(ANN)的输入。另外，该数据库应包括指示性别、年龄、身高、体重等的元数据。接着该元数据作为要学习的附加特征提供。因此，学习过程自动将这些变量考虑在内(数据库改变到足以跨越这个元数据空间的范围)。在ANN的情况下，单一网络输出可经设置用于要被识别的每个咳嗽类型；接着通过选择在预定阈值内具有最强响应的咳嗽类型(假设咳嗽类型之间的排他性)，可识别特定咳嗽类型。在SVM 的情况下，咳嗽可基于若干二进制分类器的设计分为许多(>2)类。两种常见的方法是“一对其余”和“一对一”。

医疗实践中，迄今为止，已趋向于将咳嗽仅分类为在总值感官(例如，湿/干)。通过本发明的技术以及咳嗽声音的广泛收集，可发现咳嗽的更细致区别-例如，允许更准确确定特定咳嗽的因果关系。因此，本技术可以帮助揭示以前未发现的知识。

同样，音频生理数据(及其导数)的大型语料库分析和诊断地面实况的相关性(例如，来自医生的评估)可以发现可靠指出大问题的小线索。例如，可发现一氧化碳中毒的结果是从下部肺感测到的吸入声音的高频分量的特定变化。同样，可发现某些类型的冲击通常通过双元音的读音的变化(例如，如在“油”中)来预示。当用户音频和诊断信息成为可用于大数据感应的分析时，有可能发现此类统计可靠的总体相关性。此后，用户的便携式装置可以监测用于此类线索(例如，与历史数据比较当前的声音信号)的所感测的声音(和其他感测到的生理数据)，并向用户提醒用户可能无法识别目前和未来的弊病。

参考音频数据采集尚未与例如参考摩尔图像采集一样一应俱全。然而，此类参考信息可以如同图像一样的方式源自人群。由于音频信息以连续的方式直接转发，每个用户的智能手机(或其它装置)可以用作采集代理，并且在相对短的时间向云存储转发大量音频数据(或从音频数据导出的特征)。

关于此类音频的地面实况诊断数据很难编译。患者一般不咨询不熟悉咳嗽的医生(因为他们可能不熟悉摩尔)；只有当一个人的呼吸系统症状变得严重时，医生才会参与其中。此外，肺、肠和其他音频信号逃避用户的正常关注，因此，这些信号的不规律通常不提示专业的咨询。

更进一步地，医生通常不记录患者的生理声音-不像拍摄患者皮肤状况的实践。相反，医生通常只是听咳嗽，或聆听通过听诊器听到的声音，并基于刚听到的东西提供诊断。不过，随着电子病历的激增以及对数据驱动医疗协议和审计结果的运动，有望更广泛实践数字采集和感测患者数据的归档的，所述患者数据包括咳嗽、听诊器声音以及其他生理信号的所有方式(例如，通过各种放射技术解剖成像)。因此，电子病历可能很快同时提供捕获数据和相关的诊断信息，所述数据和信息可作为联系本技术的地面实况，最终导致附带大数据的可靠统计知识。

(在其它布置中，不采用医生的医疗记录。取而代之的是，用户可在个人生日志中输入详述去看医生以及医生诊断的数据。接着此类信息与是看医生前和/或后的用户生活日志的音频相关联。训练音频的小语料以及相关的诊断结论也可从医学院获得，医学院用于培训新的医生。)

虽然本讨论的焦点集中在音频，但应当认识到，相同的原理可以应用于采集和处理其他生理信息。如果没有限制，这包括血压和血糖、心脏、大脑和神经系统等的电信号。可以采用不同范围的传感器，其包括电动、振动、光学、应力、应变、化学传感器等。

各种多传感器、基于手机的医疗装置可从现有技术得知，例如，如在专利公布20050124375、20090030286、20100056880、20120059271 和W02013156999中所示。Scanadu已公布其Scout和Scanaflo产品，它们可以感测温度、血压、心脏速率、血氧饱和度、心电图、心脏心率变异性、应力和尿中的化学物-很多使用光学技术。(专利公布 W02013066642、W02013116316、W02013116253和W02014025415详述Scanadu技术的某些方面。)Azoi公司同样已公布其将面世的Wello 产品，其中，传感器集成到智能手机外壳中，并通过蓝牙向手机上的健康跟踪应用程序传送。该应用程序记录心脏速率、血压、血氧、呼吸、心脏心率变异(应力的指标)、心电图、温度和肺功能(带附件肺量计)。

自动化的咳嗽检测和基本的信号分析是Larson等人在2011年的《Proc.of the13th Int’l Conf on Ubiquitous Computing，ACM》发表的“Accurate and PrivacyPreserving Cough Sensing Using a Low-Cost Microphone”以及Birring等人在《European Respiratory Journal》31.5 (2008)第1013-1018页发表的“PreliminaryValidation of an Automated Cough Detection System in Chronic Cough”的主题。

本技术的许多实施例有利地一起考虑用于诊断相关(例如，以相干方式共同出现的多个信号的集合)或用于信号处理目的的多个生理信号。例如，在处理具有重复结构(例如，许多呼吸和循环信号)的信号时，可以对不同重复波形周期的信号求平均值、组合、相关、比较、过滤或触发脉冲。虽然可以例如从音频自身推断周期性，但是有时候可以独立地确定。例如，对于血液流动的声音，周期性可通过参考从心脏感测的电信号(例如，QRS复波或EKG信号的T波)来确定。因此，从电信号导出的定时可用于处理声信号。

应当理解，有时身体可以在一个位置用音频信号或压力波形来刺激，并且信号可以在另一位置感测，以识别关于所述居间传输介质的信息。可以以这种方式感测鼓膜后面的流体。脱水也可以基于皮肤拉伸或松动的程度如此指示。肝脏和便秘的放大也可以以这种方式通过检测皮肤下的固体(密实)质量来识别。

敲击分析被医生用于临床诊断腹部和胸部。声刺激所产生的声波形的谐振特性可以经检查将声音分类为正常、超共振、共振受损或沉闷。捕获波形的共振峰分析产生有关声共鸣的信息。关于相关症状(例如，疼痛)的信息可以结合所捕获的声信号用于自动分析。

虽然“声音”和“音频”通常是指人可感知的刺激，这些术语在本文中用于包括可能低于和/或高于人的听觉频率范围的刺激。在众多智能手机中使用的MEMS麦克风和众多扬声器可在人的听觉范围之外很好运行。因此，本技术感测数据的一些实施例例如在超声波范围内。(刺激也可以在该范围内提供。)用户装置感测超出人的听觉范围的声音的能力提供超越无助医生的能力。

例如，具有超声波能力的麦克风和扬声器的智能手机可用作基本的超声心动图装置-用超声波音频刺激身体的一部分，感测返回信号的相位 (和幅度)，并在显示屏上呈现所得信号。通过此类布置，可以进行各种家庭测试/监测，包括检测某些扩张主动脉的状况。

在分类感测到的生理数据时，可以采用隐马尔可夫模型、人工神经网络和深神经网络，借用图案识别领域已知的技术。(已知隐马尔可夫模型也用于动物发声分析；参见Ren等人在2009年的《Algorithms 2》第4号发表的“Framework for BioacousticVocalization Analysis Using Hidden Markov Models”。)也可以采用分类树、支持向量机以及其他区别分类技术。此类分类器使用来自生理声学数据的特征数据和已知作为训练集的诊断。

上面概述的参数(或特征)集合也可以用于学习多维底层数据的复杂的、非线性模型的无监督学习方法。此类技术的示例包括深层信念网络和稀疏编码。(例如参见Raina等人在2009年的《Int’l Conf.on Machine Learning》卷9发表的“Large-Scale DeepUnsupervised Learning Using Graphics Processors”。)这些技术适用于高维输入数据并且可以推断潜变量或状况。此类深度学习方法可以挖掘使用各种生理声学数据的大量(甚至上百万)采集样本的新模式或诊断工具。这些技术的有价值的输入是生理声学数据随时间的变化。此类数据可以通过感测在多天的不同时间(或更长的时间间隔)的生理现象(例如，心跳、咳嗽、杂音等) 而获得。

需要指出，声学特征可以与其他可用的诊断信息(脉搏率、体温、血压等)组合，并作为自动学习和分类方法(包括监督和无监督)的输入来提供。

其他布置

根据本技术的一种具体实施的保健应用程序采用捕获和记录生理信号的历史的穿戴式传感器网络，并将相关信息传送给一个或多个远程处理器(例如，“云”)供大规模系统分析。

许多现有的传感器可以用在此类布置中。一个是腕戴的活动跟踪器，诸如FitbitForce、Basis、Larklife、Jawbone UP和Nike Fuelband产品。正如所熟悉的，在这些装置中的各种传感器感测心脏速率、温度、出汗(通常基于皮肤电导率)和移动(例如，基于加速计、磁力计或陀螺仪传感器数据)。可以从这些数据导出包括卡路里消耗和睡眠阶段的其他数据。

另一类型传感器是通过胸部、腰部或腹部穿戴的皮带或肩带(通常是水平方向，但是另选地是垂直或对角线方向)，其可以监控这些相同的参数，以及呼吸、尺寸(例如，胸部/腰部/腹围)和身体的声音。(肥胖症似乎可通过腰部或腹部对身高的比率而不是体重对身高的比率来衡量。)也可以采用在上臂(例如，横跨二头肌)或腿/大腿上的带，因为传感器可以部署在脖子(例如，以项链的形式)或手指上(例如，以环的形式)。隐藏在衣服下的许多此类传感器

也可以感测血压、血液化学、皮肤图像数据、心电图、脑电图等。如上所述，一些传感器可以集成到所穿的衣服中。

一些传感器可以响应-部分响应引入身体中的刺激，诸如小电流、音频、振动等。例如，在身体上两点之间的电导率取决于居间脂肪、肌肉和水的量以及皮肤接触电阻(随出汗改变)。用于测量身体成分的一些系统包括站在两个电垫上、感测电阻的用户；较小的阻抗表示较少的身体脂肪和较低的身体脂肪百分比。

可以使用音频、振动、交流电流和电波束赋形阵列-无论是发射体 (例如，压电致动器)还是接受体(例如，MEMS麦克风)，并且结合身体另一部位上的一个或多个互补接受体/发射体来使用，以使用从其他学科得知的相控阵/合成孔径技术来探测和定位身体中间质量的特性(例如，密度、导电率等)。(可以使用ID阵列或2D；传感器在空间上规则或随机隔开。)通过此类方法，例如，特定呼吸音的起源可以定位在上肺或下肺或气管。同样定位杂音或其他血液流动的声音。(一些杂音基于杂音起源的位置或者相对于心脏阶段行动的时间是不正常的。)

也可以采用其他非穿戴传感器，例如体重秤、照相机、麦克风、皮褶厚度卡钳、血压计、血糖传感器等等。一些此类传感器可以内置在用户的家庭或办公室环境中。例如，体重秤可内置在浴室水槽前面的地板中，以及照相机可以经定位在当用户凝视浴室镜时查看他的脸部。

仍然有其他传感器可敷用于人体，例如，如情况需要，可在短时间内粘合或以其他方式。这些传感器包括脑电图和心电图电极，压电发射体/接受体等。可采用如此定位的传感器以跟踪特定关注部位例如擦伤或其他创伤、癌症部位等的状况。在一些情况下，可植入传感器。

所有此类感测设备可取是无线链接的，例如，在用户的智能手机之间传达数据或向监测服务传送数据。

当示例性传感器网络的用户参与监控服务时，登录参数或基于此的导出信息最终发送给云。远程服务针对不同的活动场景(例如，基于传感器数据的特定集合分类的睡眠、办公室工作、散步、剧烈运动等)以一天的每个时间和一周的每天为基准形成的记录来监控该数据。这些基准也可以与不同的地理位置相关联，例如通过GPS或WiFi或者以其他方式来确定。

每当感测数据明显偏离预期规范时，此类监控服务可向用户报告。如果一个人的REM睡眠脉搏正常在每秒56次和60次之间，以及一晚存在脉搏变化偏离这个范围达阈值量的情形(例如，超过5％、15％、 30％或75％)，那么消息可发送至记录该事件的用户(例如，通过电子邮件、文本或其他方式)。紊乱的可能原因也可传送给用户。这些因果关系的假设可以是基于备考的与存储的规则数据区别的记录现象的教科书理解(如睡前的咖啡因)，或也可以根据用户-诸如考虑到可能相关的其他用户或环境传感器的信息(例如，不规则呼吸、暗示性睡眠呼吸暂停等；或异常温暖房间-由智能手机传感器记录的温度数据所指示的与历史标准对比-导致用于对流体冷却的血流增加)。此类信息也记录在历史数据存储中，并且还可以向用户的医生发送电子制图。

健康和保健协议的一部分可能会涉及用户每天向相关的麦克风传感器讲用于采集基线语音信息的特定短语(例如，“早上好fitband”)。在一些情况下，互动对话可能随之而来，向系统(例如，用户的智能手机) 咨询用户可用的生物识别信号并提示-如果适当的话-“你看上去不是很好”(以显示或口头文本)，并提出一些后续问题，以帮助确定用户的弊病是否是需要就医。通过此类探测(可口头进行，利用语音识别技术)，用户可能会发现，她是昨天晚上用强溶剂修补家具，或者是在有很多二手烟的场所。基于所采集的传感器和口头信息，系统可以咨询存储的知识库信息以建议用户是否应咨询医务人员。

本技术的另一种应用是睡眠分析。商业睡眠研究往往涉及患者安装几种不同的传感器，诸如在胸部周围感测呼吸努力的带；手指上的氧气传感器；鼻子下检测鼻流平滑度的传感器；感测通常伴随打鼾的振动的加速计等。所有此类信息被发送到数据记录装置。所采集的信息最终被送给专业人员供分析。

尽管此类布置可能是睡眠分析的黄金标准，很多有用的信息可以从更简单的设置得到，诸如驻留在智能手机中的一种采用传感器，并且- 如果需要的话-无线耦合至所述智能手机的附件传感器。例如，振动可通过定位床上的手机来感测。打鼾振动将从用户耦合至床上，然后耦合至手机。(振动幅度会减弱并且会出现一些衰减，但仍然产生有用的信息。如果需要的话，这些因素可被颠倒或近似。)参数的其他因素可从捕获音频的分析导出。而且，人类的经验并不具有辨别证明呼吸努力、鼻流的平滑度等体现打鼾的声音的线索的洞察力。但此类声音的大数据简档与地面实况相结合(例如，从像刚刚审核的黄金标准设置捕获的)的分析允许感测此类线索并和适当地解释。

本技术的另一应用包括用户关节的敲击和其他噪声分析(是退行性关节炎还是简单的捻发音？)。还有一个应用涉及胃和肠的声音(例如，是与健康蠕动相关联的小肠音还是可能预示障碍的高的叮当声？)。又一应用涉及伴随尿流的声音。又一应用涉及当血液开始流动接着释放血压测量袖带时血液湍流的声音。等等。而且，局外的人通常不能从此类声音辨别对他们很有意义的数据；许多医生在这方面要好得多。但是，随着所采集的此类声音不断增加，并辅之以医生的地面实况的解释由，其含义出现。显著线索可能在原始音频中并不明显；只有通过处理(例如，通过计算在表格1中详述的一个或多个特征)可以认出信号变得显而易见。但随着参考数据的容量上升，可以导出的含义同步上升。

在当前详述的许多方法中，历史用户数据往往是判断当前用户数据的最佳基线。然而，庞大人群的统计总数也形成有用的比较标准。例如，即使没有历史信息，系统可以提醒用户，她熟睡时每分钟25次的呼吸速率只有1％的类似人口统计简档的人在该时间遇到，可能值得专业的关注。

如上所述，每个用户的感测信息(或导出数据)可取经发送存储在云数据库服务中，云数据库可能是数千或数百万人的聚集数据。正如健身跟踪手表(有时称为“活动记录器”)具有社会网络组件(例如，张贴 GPS路线的用户在日常慢跑、速度跑、行驶距离、卡路里和心脏速率等的Facebook报告)，所以也可以是生理监控服务。默认隐私设置可以匿名上传的数据，但用户可选择不同的设置-包括不匿名与网络朋友共享选定的皮肤图像类别、生物识别信息、活动状态更新等。

在一些布置中，感测到的数据与位置信息相关联-采集数据的身体位置以及感测到信息的地理定位(例如，纬度和经度)两者。随后数据可以回顾和基于此类位置信息进行分析、过滤、呈现等。例如，用户可以比较在工作时提取的休眠脉搏测量平均值和在家提取的平均值。感测到的信息也可以以地图的形式呈现。例如，用户可以查询存档数据以获得地图显示，其标识休眠脉搏超过80的位置(详述由用户感测到的某些数据的一种合适的地图显示在本申请人的公开专利申请20130324161中说明。)而且，此类信息和地图可以通过社交网络服务共享。

历史用户数据用作用户衰老过程的统计年表。而且，用户的生理信号可以与相关群组的生理信号比较(例如，同一性别、体重、位置等的类似老年人)，以反映用户是否比正常老化的更快还是更慢。相关的老化可通过相关的生理状况来判断。

通常，衰老伴随包括更高的体重、身高下降、BMI较高、瘦体重下降(肌肉和骨量)、高血压(收缩压和舒张压)、劳累下较低的最大氧气使用(VO2最大值-最大耗氧量)(例如，在跑步机上应力测试)、视力下降(如老花眼-减少专注于近处物体的能力)、听力视力下降、减少皮肤紧密度等等的现象。

此类现象可以感测并用于以已知的方式与实足年龄对比来评估生理年龄。在比较用户的指标与相关群组时，方差表示用户生理上比同辈更年轻或更老。这个方差可以随时间跟踪。如果用户经统计判断为50 岁的生理年龄而实际为40岁时，后来为52岁的生理年龄而实际为44 岁时，则用户在生理上比同辈老，但倾向于更健康的方向。

以类似的方式，其他生物统计信号随时间推移的趋势，例如与统计规范相比表明一个人的健康轨迹。

随着采集的参考数据和采集的地面实况诊断信息变得更大，与它们的使用相关联的错误的频率和/或范围变小。在某些时候，此类系统用作未来的统计上可靠的预测。用户可与系统的用户界面互动以提出某些变动(例如，在饮食、锻炼或其他生活方式)，以避免某些不良的预测结果，并且系统可以预测各自的作用。

许多应用程序被下载到用户的手机，并在一个星期左右的时间后仍保留未使用。在某种程度上，这是由于无论何时在需要使用该应用程序时必须从睡眠模式唤醒手机的障碍。技术不论如何产生，(诸如，本申请人在2013年12月24日提交的专利申请61/920,722)，其中，便携式用户装置可以维持一些功能-诸如音频响应能力-即使当“睡眠模式”。(在一些实施例中，这种能力依赖于使用在所有时间处于活动状态的辅助处理器，辅助处理器仅消耗手机的主处理器所消耗的功率的一小部分。)

按照本技术的另一方面，本文描述的音频和/或其他生理信号感测是正在进行的，即使当装置的画面是暗并且该装置处于“睡眠”模式。为减少电池消耗，在此模式下采集的数据不传输到云中，而是被缓存在存储器中，直到手机被下一次唤醒。同样，所捕获的数据的处理产生可能要排队的导数数据，例如，等待直到装置的主处理器再次可用。因此，健康应用程序的数据采集方面可以在一天的24小时、一周的7天都是正在进行的。

如前所述，个人隐私是此类技术的关注。所以，形成共享信息的大到足以带来规模效益和有意义的统计的池也是重要的。用户有时候充当他们自己的信息提供者和其他信息的消费者。在此类情况下，可以有生理信息交流的市场。那些消费与他们的分享不成比例的人可能被要求为自己的相对高消费支付或提供其他考虑(或者，换句话说，他们相对高度的隐私)。这些分享比他们消费更多的人可能会收到现金或其他考虑以奖励他们的相对开放性。市场可以形成给予和接受之间的平衡点，在此不需要考虑交换。

(一些类型的信息，例如，颈动脉的声音，可能比其它稀少。同样，一定目标人群，例如在北达科他州的年轻女性的信息可能会比其他人更稀少。交易市场可以把这些因素考虑在内，建立信息的价格。)

在一些布置中，一个人对医生的会诊可能不被提示使用本技术；相反，向医生咨询可能会被提示使用本技术。

例如，患者可能在其呼吸发作喘鸣时被提示访问医生。在调查中，医生可检测杂音(其可与气喘有关)。医生可通过将手机定位在患者胸部上的某个位置来指导患者每天捕获两次杂音声音。此类在家数据采集可以随后告知医生有关进一步治疗的判断。

同样，诊断患者可能的抑郁症的医生可以使用在家数据采集的语音数据来确定病状是趋向更好还是更坏。(医生不必审查实际录制的声音。表示同一音量、音调和偏差的参数可以从患者的感测声音来导出，并且简洁地报道供医生审查。)

一百年前，医生并没有可以分析一下体液以产生完整定量数据的页面的实验室；他们依靠自己的眼睛、耳朵和他们的手指。实验室数据提供了了解患者病状的更大洞察力，但当实验室分析代替体检时，有些东西失去了-因为往往现在看来是这样的。本技术的应用纠正这一缺点，采用比任何医生的感官更加敏锐和准确的数字传感器。再加上大数据的洞察力，数字传感器辅助的体检可能再次脱颖而出成为诊断医学的主要工具。

(如在别处指出的-但它值得重复，基于感测数据和统计信息的自动诊断是坏习惯。但是，此类信息允许根据本技术的系统断定一些东西看起来不同或有毛病，使得可以揭示此类事实并由专业人员采取行动。)

回顾

本文详述的极少数新颖布置以粗略总结的方式回顾如下。

本技术的一个方面涉及采集数据结构中的生理信息，其中，所采集的信息对应于由多个非专业用户采集的生理传感器数据。还在该数据结构中采集对应于至少一些生理信息的专业评估信息。其后，接收对应于由非专业用户采集的生理传感器数据的查询信息。在确定结果信息时咨询该数据结构，并且该结果信息的至少一部分传送给所述非专业用户。此结果信息取决于所采集的生理信息的查询信息和专业评估信息之间的相关性。

另一布置采用便携式装置，其被移动到相对于皮肤位置的多个不同视点位置。在这些视点位置的第一位置，皮肤位置用所述便携式装置的第一光谱的光照射。在如此照射时，皮肤位置的图像使用便携装置中的照相机捕获。在这些视点位置的第二位置，皮肤位置用所述便携式装置的第二光谱的光照射。同样，在如此照射时，皮肤位置的图像使用便携装置捕获。因此，皮肤位置通过便携式装置从多个不同的视点位置并用多个不同的照射光谱成像。接着所捕获的图像可以被处理，并且基于此类处理，用户可以被告知是否寻求该皮肤位置的专业评估。

在相关方法中，在捕获皮肤位置的图像时，皮肤位置用便携式装置的显示器的第一区域的第一光谱的光照射。同样，皮肤位置用便携式装置的显示器的第二区域的第二光谱的光照射。同样，在用光的这个第二光谱照射时，捕获该皮肤位置的图像。通过此类布置，皮肤位置的图像用多个不同的照明角度和多个不同的照明光谱捕获。

另一相关方法涉及在第一时间从便携式装置显示屏向受试者呈现第一照明，并且当它被如此照射时，捕获所述受试者的第一图像。同样，在第二时间从显示屏向受试者呈现第二照明，并且如此照射时，捕获所述受试者的第二图像。在此类布置中，照明不包括捕获图象的取景器渲染。

该技术的另一个方面涉及使用照相机从参考受试者捕获图像信息，以及处理所捕获的图像信息以产生参考颜色信息。描绘皮疹或病变的图像也用照相机捕获。接着通过使用参考颜色信息对后者图像进行颜色校正。(参考受试者可以包括，例如血液或纸币)。

本技术的另一方面涉及接收描绘皮疹或病变的包括多个帧的图像。请求对多个帧进行处理操作，以产生增强的静止图像(例如，(a)超分辨率图像，(b)噪声降低的图像，(c)多光谱图像，(d)环境光补偿图像，或(e)3D图像)。增强的静止图像(或由其导出的数据)提交给数据库用于和描绘皮疹或病变的参考图像或从此类参考图像导出的数据进行相似性匹配。此类数据库包括对应于本身已从多帧图像处理过的增强静止图像的参考数据。

根据本技术的又一布置涉及获得多组专业数据，其中，每组包括皮肤图像数据和患者简档数据。患者简档数据包括由医疗专业人员提供的意见信息和事实信息两者。从皮肤图像数据提取第一特征信息(例如，使用经配置执行上述行为的硬件处理器)。也获得多组局外数据，其中，该局外数据包括皮肤图像数据和患者简档数据(例如，事实数据)，但缺少由医疗专业人员提供的信息。从局外数据中的皮肤图像数据提取第二特征信息。然后使第一和第二提取出的特征信息可用作与从查询皮肤图像数据提取的特征信息进行相似性匹配的参考特征信息。

本技术的另一方面涉及接收数据，所述数据包括皮肤图像数据和来自团体的关联元数据。所收到的数据和参考数据之间的相似性被确定。该参考数据包括多组数据，每组数据包括皮肤图像数据和相关联的元数据。包含在参考数据中的是已被专业策划过的数据集，以及尚未被专业地策划过的数据集。

另一种方法涉及从第一提交者接收一组第一信息，其中该组第一信息包括描绘能证明第一病理状况的症状的第一受试者身体一部分的图像，并且还包括指示第一受试者服用药物的药物简档数据。一组第二信息从第二提交者接收。该组第二信息包括描绘能证明第二病理状况的症状的第二受试者身体一部分的图像，并且还包括指示第二受试者服用药物的药物简档数据。此类信息集通过第N个提交者从3d接收。然后收到对应于由用户提交的查询图像的信息。从该查询图像计算一个或多个图像参数，并比较经计算用于从第一到第N提交者接收的图像的参数的对应性。标识与皮肤图像(例如，皮肤症状)相关的一种或多种药物的信息随后被发送给用户，其中，所述皮肤图像具有类似于查询图像的外观。

另一种方法涉及从第一提交者接收一组第一信息，其中，该组第一信息包括描绘能证明第一病理状况的症状的第一受试者身体一部分的图像，并且还包括第一病理状况的诊断。此类信息同样从第二提交者接收，其中，此类信息包括描绘能证明第二病理状况的症状的第二受试者身体一部分的图像，并且还包括第二病理状况的诊断。这被重复用于从第三到第N个提交者接收的第三到第N组的信息。然后收到对应于由用户提交的查询图像的信息。从查询图像计算一个或多个参数。进行搜索以识别从第一到第N个提交者收到的与所计算的图像参数具有对应性的图像。基于此类图像搜索，信息(例如，关于候选诊断的信息，或关于与可用信息一致的诊断)随后发送给用户。

另一种方法涉及获得描绘能证明可能病理状况的症状的哺乳动物身体的一部分的第一图像。这个图像经处理导出一个或多个图像参数。基于所导出的图像参数，数据结构经搜索用于参考信息。结果信息被确定为此类搜索的结果。这个参考信息包括识别出不是由人体的描绘部位证明的病理状况的一种或多种特定病理状况。该结果信息的至少一部分传送给用户。

本技术的另一方面涉及感测移动装置是处于静止还是观察姿势。当移动装置不是时，采集描绘用户的图像帧。当移动装置处于静态观看姿势时，信息呈现供用户审查。该呈现的信息基于至少部分基于所采集的图像帧。在此类布置中，移动装置在数据采集和数据呈现模式之间自动切换(例如，基于姿态和/或运动)。

本技术的另一方面涉及使用由用户手持的便携式装置捕获用户身体的音频声音。多个特征从所捕获的音频导出；这些特征包括对应于所捕获声音的指纹信息。该指纹信息被提供给知识库(数据结构)，数据库包含参考指纹数据和相关联的元数据。与知识库中一个或多个参考指纹数据相关联的元数据随后由该装置收回。基于这个收到的元数据的信息(例如，生理或健康相关的信息)被呈现给用户。

1.本技术的另一方面涉及由一个或多个侧壁定义的成像小室。多个照相机沿一个或多个侧壁布置，朝向小室的内部，并且这些照相机连接到图像处理器。该小室还包括多个朝向小室内部耦合到驱动电子装置的光源。这些光源的多个光源中的每个光源被光谱调谐到不同的波长，并且所述驱动电子装置经适配，以便不同的照明元件在不同的时间照明，致使照相机在多个不同光谱的照明条件下捕获图像。图像处理器经适配产生基于照相机的图像的光谱测量。

结束语

虽然已经参考示例性示例描述和说明本发明的工作原理，但应该认识到，本技术并不局限于此。

例如，医学诊断往往很大程度上依赖于患者的病史。此类历史信息可以从医疗记录提取，并用于评估不同的生理信号或信号组合的可能诊断相关性。

为说明肺部湿啰音或啰音，对于大多数人来说，可能表明肺炎-即使伴随着体重的增益。但是，如果这些症状出现在已知经受慢性心脏衰竭的痛苦的人中，那么肺音承担新的含义-提示需要去看医生的含义。

同样，DNA检测正变得越来越普遍。当在特定DNA结果(这可能表明例如易患特殊的病毒性疾病)的背景下解释时，生理信号(例如，湿啰音或啰音)可承担新的含义。

虽然本公开的重点是捕获图像、音频和更熟悉的生理数据，但也应提到触觉。触觉技术允许捕获的数据涉及触觉信息-诸如身体部位的牢固性、拉紧、弹性或回弹性。(例如，参见Murayama等人在2008年的《Sensors and Actuators A：Physical 143.2》第430-438页发表的“Development of a New Instrument for Examination of Stiffness in theBreast Using Haptic Sensor Technology”。)除了触觉传感器以外，还可以采用触觉致动器-以受控方向、强度和时间模式向身体施加物理力，以便可以感测到响应于此类刺激的测量数据。同样，通过采集身体的触觉信息以及医生的诊断地面实况的相关性，某些触觉数据(或其导数)可以经发现具有诊断意义。

虽然上面的脸部检查模式提到彩虹模式的照明，但应当认识到脸部检查模式也可以使用其他的照明装置，例如，简单的环境光。

所述的某些装置可捕获照相机装置(例如，智能手机)的主体在其中投出可见阴影的图像。用于详述此类阴影的布置在本申请人的专利 8,488,900中详述。

虽然上述详细皮肤病学实施例之一采用蛮力的彻底搜索知识库来评估与参考图像数据的相似性，但是自然可以采用更复杂的方法。

一种方法是提供由不同参数排序的至数据库的索引。因此，在0-100 范围的简单标量参数的情况下，如果查询图像具有37的参数，那么可以在该索引进行二进制或其他优化的搜索，以快速识别具有类似参数值的参考图像。这个参数不需要考虑具有远程值的参考图像。(最详细的图像导数是向量参数，其包括多个分量。可以应用类似的数据库优化方法。)

更进一步地，已知的机器学习技术可以应用于参考数据，以辨别哪些图像导数最可用作不同状况的诊断判别式。当收到查询图像时，这些判别参数可以经测试以更快速执行不同的候选诊断假设的贝叶斯评价。

也可以采用特征袋技术(有时称为“字句袋”技术)以易于某种程度上易于图像匹配操作(但此类技术凭借“欺骗”数据量化-在某些情况下- 使结果偏离)。

经开发用于自动痣诊断的其他图案识别技术同样可适用于识别类似于查询图像的数据库图像。

本技术的某些实施例可以采用描绘不同皮肤症状和相关诊断的现有在线图像分类。示例包括Derm Atlas(www.dermatlas.org-在约翰斯·霍普金斯大学由医生管理的源自群体的成果)以及DermNet NZ (www.dermnetnz.org-由新西兰皮肤科学会管理的类似成果。类似后者命名的是Dermnet，其是基于各种学术机构提交的由新罕布什尔州的医生组织的皮肤疾病图册，www.dermnet.com。也相关的是皮肤病鉴别诊断网站，www.dderm.blogspot.com，以及国际皮肤病学会， www.dermoscopy-ids.org。

有时候患者的隐私权(例如，HIPAA)构成源自人群应用采集图像的妨碍，即使是匿名的。如上文所述，采集源自人群图像的一种方法是向患者提供经济刺激以引诱他们分享自己的痣图像或其他生理信息。

虽然一种详细布置呈现出要考虑(或排除)可能病变的分级列表，但是其它实施例可以以其他方式呈现信息，例如，其他置信度表示。直方图、热图和发育图均是示例。

在一些实施例中，该技术作为医疗专业人员的顾问-提供建议的诊断或考虑进一步的测试。所提供的建议可根据专业人员的愿望量身定做，例如，在对应于该专业人员的存储简档数据中表示。例如，一个医生可表达一个保守的医疗理念，在此情况下，此类咨询服务可能只提供由高置信度的意见/建议。相反，另一个医生可能对新颖的理论和方法更开放，在此情况下，系统也可能呈现更具推测性的候选诊断(和进一步测试建议)。

同样，一些医生可以具体说明他们往往更多(或更少)倾向于达成特定结论的诊断标准。例如，在皮肤科，一个医生可以把跨痣的色多样性视作特别相关于恶性黑素瘤的诊断。另一个医生可能不支持此类高度重视标准，但可能会发现齿痕边缘轮廓是此类诊断的高度证据。同样，所存储的不同专业人士的简档数据可以指示此类偏好，并相应量身定制系统响应。(在一些布置中，此类偏好未明确指定为医生的简档信息，而是通过详述先前诊断的电子病历的分析以及分析推导所基于的临床数据来推断。)

例如，在处理痣的图像时，最好采用已知的摄影技术以减轻姿势变形和照相机镜头所产生的正射图像(又名正视图像)。如此做增强了用户提交的皮肤图像和先前提交图像的统计匹配。

虽然上面讨论的皮肤状况性质是有机性的，但是，同样的原理可以应用于造成外伤包括蚊虫叮咬和创伤的皮肤状况。从假期返回遭受腿咬伤痛苦的用户可能想知道：蜘蛛咬的？跳骚？臭虫？未很好愈合并转红和使人愤怒的擦伤可能引起另一关注：那是金黄色葡萄球菌感染？如在上面详述的情况下，适当的大型知识库可以揭示答案。

引用感测到的信息，以及由此导出的其他信息。这后一种信息在本说明书中被不同引用，例如，作为特征、参数、指纹、导出的数据等引用。应当理解，这些后者术语是可互换的。

可与感测到的用户数据(例如，皮肤图像)相关联的元数据的另一种形式是指示用户已尝试治疗的信息以及他们的成功评估(例如，在0-10 刻度)。总体上，此类数据可以揭示不同类型的皮疹、痤疮等的有效的治疗。

皮肤也可以作为包括情绪的其他状况的晴雨表。每种情绪激活身体系统的不同采集，引发各种身体反应，例如，增加的流至不同区域的血流量(血管充血)，有时可经感测推断情绪的独特图案。(例如，参见 Nummenmaa等人在2014年的《Proceedings of theNational Academy of Sciences of the United States of America》第646-651页发表的“Bodily Maps of Emotions”。)正如用在一些谎言探测器中的皮肤电导率，所以也可用在皮肤图像中。

在一些系统中，感测到的生理信息及其导数以关联数据的形式表示 -无论是用于个人还是用于聚合数据，两者均用于存储和为共享-为了促进此类信息的语义推理。(假定本领域的技术人员熟悉关联数据和相关的结构，例如，如由Tim Bemers-Lee所推广的，如由万维网联盟标准化的，并如在受让人的包括20110098056和20120154633的专利公布中所讨论的。)

在其他实施例中，图像、图像导数和元数据信息根据用于医疗图像记录的DICOM标准来存储(例如，参见， www.dclunie.com/dicom-status/status.html)。

本技术的某些实施例识别用户的前臂或身体其他成员(例如，通过分类方法)，并在后续处理中使用该信息(例如，在评估皮肤特征的规模中)。在一些此类布置中，分析应用于在用户在将智能手机照相机移到捕获皮肤图像的位置时捕获的视频信息。此类“天桥”视频是常用的较低分辨率，并且可能有一些模糊，但是足以用于识别身体成员的目的。例如，如果，手从此类视频的一个或多个帧被识别出，并且智能手机此后以与用于成像的最终目标的手一致(如由加速计和/或陀螺仪感测到的)的方式移动(例如，智能手机以垂直于手机屏幕的平面的方向移动 -移动它使其更靠近手)，则可知图像的主题是手，即使所捕获的诊断图像本身是从其中无法被推断出身体位置的特写。

结合人类所描述的许多技术也可以应用于动物。异常的皮肤状况可扩展到动物皮、毛皮和羽毛(尽管假阳性和隐藏的状况可能更可能类似于复杂的皮肤覆盖)。兽医往往会面临比医生更艰巨的挑战，因为动物不能描述可能帮助诊断的症状，使得提供候选疾病列表的意图并能够快速测试其他症状变得更有价值。宠物主人往往需要决定症状理由是否要看兽医以及特别明显的症状是否可以通过宠物最近的已知活动来解释。此外，家畜主人面临传染病流行的挑战，并需要经常检查他们的动物以尽早发现此类疾病。宠物和家畜主人可以极大地受益于检查和诊断病状的本技术。

对于家畜主人，自动化的预警系统可以设置在家畜经过门或牧场的地方，需要例行检查建议仔细检查的异常的皮肤变化。家畜往往配备射频标签供识别，允许此类监测系统随着时间的推移比较比较各家畜，以排除那些已经得到解决的健康状况并且要注意新出现的状况。野生动物管理人员也可以通过在经常走过的路径上设置成像系统来受益，该成像系统通过经过的动物触发。同样，传染性状况或危险害虫的早期发现和识别是保持健康人群的关键。

另一诊断有用的特征是血液流过皮肤病症区域的时间观察。由于由心跳调节的局部血压引起的微妙颜色变化可以用来区分或评估一些皮肤状况的严重程度。观察这些微妙颜色变化的一种方法在下面引用的吴的论文中给出(“Eulerian Video Magnificationfor Revealing Subtle Changes in the World”)，其中，小的差异通过时空信号处理来放大。区域的弹性可以通过弯曲皮肤的方式施加压力(通过机器或通过触摸)来测量。通过比较在变形(理想情况下，重复变形的图案以便求平均值)之前和之后在皮肤上的不同点，皮肤的局部弹性特性可以包括在诊断中。

而如上所述的3D考虑因素(例如，对于来自运动的结构方法)，皮肤状况区域的局部3D纹理也可以通过使用3D成像技术(包括光场和全光照相机)来评估。一种可以考虑入射光相对于成像传感器以及透镜群两者的照射角度，所述照射角度提供作为成像方法的副产物的深度变化。

在Lab颜色空间中的图像分析往往优于基于RGB的分析，因为正常皮肤颜色是在(a，b)中相对较小的区域。L值(亮度)取决于黑素瘤的浓度、皮肤颜色染料。

参考表面拓扑结构和关于该结构的方法。通过用结构化的光图案照射患者的感兴趣区域，可以从单个照相机系统获得准确的三维信息。在结构化光图案中的失真被用来以熟悉的方式确定该区域的三维结构。该图案可以被投影，例如，通过与照相机系统相关联的投影机。(例如，移动手机或头戴装置可以包括微型数据投影机。)

可用在诊断分析中的另一组图像处理技术是数学形态学(例如，参见该名称的维基百科文章)，其中，图像的拓扑根据空间曲面的描述来描述。这用于例如计数在显微镜下的小动物/结构。此类技术非常适合于计数皮肤病变中的“隆起”或其他结构。它还允许通过归属关系图来表示，归属关系图描述可以比较为独立取向图形的结构和特定构造之间的详细关系。

应当认识到，术语“病变”在本说明书中用于一般含义，例如，其指的是皮肤的任何特征，包括斑、痣、皮疹、痣等。

虽然参考了在用户的智能手机上执行某些详细功能的应用软件，但是在其他实施例中，这些功能都可以自然地以其他方式执行-包括在智能手机上的操作系统软件，由远程服务器，由另一个智能手机或计算机设备，分布在此类装置之间等等。

虽然已经参考了智能手机，但应认识到，这一技术发现装置的所有方式-包括便携式和固定装置的实用性。平板电脑、膝上型电脑、数码相机、腕式和头戴式系统以及其他可穿戴装置、服务器等都可以利用本文详述的原理。(术语“智能手机”应该在本文解释为包括所有此类装置备，即使不是手机的那些装置。)

参考了“特征袋”的技术。此类方法提取图像斑(例如，SIFT点)的额外局部特征，并自动将特征聚集为N个组(例如，168个基团)-每个对应于原型局部特征。随后确定每个基团出现次数的向量(即，直方图)，并用作图像的参考签名，或者用于其子部分。确定查询图像是否匹配参考图像，再从图像斑提取局部特征，并分配给之前定义N基团中的一个 (例如，基于对应原型局部特征的距离度量)。再次进行向量出现计数，并检查与参考签名的相关性。更多信息例如在Nowak等人在斯普林格柏林海德堡出版的《Computer Vision—ECCV2006》第490-503页发表的“Sampling strategies for bag-of-features imageclassification”；以及Fei-Fei 等人在2005年的《IEEE Conference on Computer Visionand Pattern Recognition》发表的“A Bayesian Hierarchical Model for LearningNatural Scene Categories”中详述；并参考所引用的论文。

本申请人的一些相关工作，例如，涉及成像、图像处理系统和相关的智能手机应用程序在专利公布20110212717、20110161076、 20120284012、20120046071、20140052555、20130329006、20140057676 以及2013年3月15日提交的未决专利申请13/842,282、214年4月11 日提交的专利申请14/251,229、2013年8月2日提交的专利申请 61/861,931和2013年8月16日提交的专利申请13/969,422中详述。

有几篇参考文献已作出专利申请14/201,852。除了广泛公开的几种多光谱成像技术以外，该文献教导各种各样的可结合本技术一起使用的其他布置。这些技术包括用于减少光谱测量中的误差、补偿场角的非均匀性、各种分类方法的技术(包括矢量量化、支持向量机和神经网络技术)、不同对象识别技术和基于祛斑变换数据的图像比较，等等。

SIFT是尺度不变特征变换的缩写，由David Lowe首创并在他的论文中描述的计算机视觉技术包括《International Journal of Computer Vision》60.2(2004)第91-110页的“Distinctive Image Features from Scale-Invariant Keypoints”；以及在希腊科孚岛(1999年9月)在“International Conference on Computer Vision”发表的“ObjectRecognition from Local Scale-Invariant Features”以及在专利6,711,293。 SIFT(以及类似的技术SURF和ORB)的另外信息在本文引用的专利文献中提供。

在引用SIFT时，其它鲁棒特征点可优选用于皮肤图像。例如，SIFT 通常在灰度图像上执行；颜色被忽略。与此相反，皮肤的特征点可以有利地采用颜色。专用于特写皮肤图像的一组示范性特征点可以包括皮肤毛孔(或毛囊)。确定每个此类特征的质心，以及每个的像素坐标随后与数据结构中的特征相关联。在其他布置中，可以另外或另选地使用三维特征。特征也可以从由红外线感测显示的图像提取，例如，在真皮层中的特征，包括血管细节。(例如，参见Seal等人在2013年的《Int.J. Computational Intelligence Studies》第133-156页发表的“Automated Thermal Face Recognition Based on MinutiaeExtraction”，该论文附在专利申请61/872,494上，并引用其中的参考文献。)

本文参考的智能手机和其他此类装置的设计对于本领域的技术人员来说是熟知的。一般来讲，每种装置包括一个或多个处理器、一个或多个存储器(例如，RAM)、存储(例如，磁盘或闪存)、用户接口(其可以包括，例如，小键盘，TFT液晶或OLED显示屏、触摸或其他手势传感器、照相机或其他光学传感器、罗盘传感器、三维磁力计、3轴加速计、3轴陀螺仪、一个或多个麦克风等，连同用于提供图形用户界面的软件指令)、这些元件之间的互连件(例如，总线)以及用于连通其他装置的接口(其可以是无线的，诸如GSM、3G、4G、CDMA、WiFi、WiMax、Zigbee或蓝牙，和/或有线的，诸如通过以太网局域网，T-1互联网连接，等等)。

在本说明书中详细描述的过程和系统组件可以实现为用于计算装置的指令，包括用于各种可编程处理器的通用处理器指令，各种可编程处理器包括微处理器(例如，英特尔Atom、ARM A5和高通Snapdragon 以及nVidia Tegra 4；后者包括CPU、GPU以及nVidia的嵌合计算摄影架构)、图形处理单元(GPU，诸如nVidia Tegra APX 2600，以及Adreno 330-高通Snapdragon处理器的一部分)以及数字信号处理器(例如，德州仪器的TMS320和OMAP系列器件)等。这些指令可实现为软件、固件等。这些指令也可以在各种形式的处理器电路包括可编程逻辑器件、现场可编程门阵列(例如，Xilinx Virtex系列器件)、现场可编程对象阵列和专用电路-包括数字、模拟和混合模拟/数字电路中实现。指令的执行可以在处理器之间分配和/或跨装置内的处理器或跨装置的网络并行分配。信号数据的处理也可以在不同的处理器和存储器装置之间分配。也可以使用“云”计算资源。提及“处理器”、“模块”或“组件”应理解为是指功能性，而不是需要实现的一种特殊形式。

用于实现详细功能的软件指令可以在没有不适当的本文描述的实验的情况下由本领域的技术人员创作，软件指令例如以C、C++、Visual Basic、Java、Python、Tel、Perl、Ruby等编写。根据本技术的某些具体实施的智能手机和其他装置可以包括用于执行不同的功能和行为的软件模块。

软件和硬件配置数据/指令通常作为指令存储在通过有形介质传送的一个或多个数据结构中，所述有形介质包括诸如磁盘或光盘、存储卡、 ROM等，其可以通过网络访问。一些实施例可实现为嵌入式系统-专用计算机系统，其中的操作系统软件和应用软件对于用户是不可区分的 (例如，常见的是基本蜂窝手机的情况)。在本说明书中详述的功能可以在操作系统软件、应用软件和/或嵌入式系统软件中实现。

本文所引用的数据库和其他数据结构可以是单片也可以是分布式的。因此，参照数据可存储在任何地方，例如，用户装置、远程装置设备、在云中、在多个位置之间划分等。

虽然本说明书将某些行为描述为由用户装置(手机)或由中心系统来执行，但应认识到，任何处理器通常可以执行任何功能。例如，图像导数计算和颜色校正可以由用户的智能手机或由中心系统来完成-分布在各个装置之间。因此，描述为由一个装置所执行的操作的事实应理解为示例性的而非限制性的。

以类似的方式，存储在特定装置上的数据的描述也是示例性的；数据可以存储在任何地方：本地装置、远程装置、在云中、分布式等。

如上所述，本技术可以结合可穿戴计算系统包括头戴式装置来使用。此类装置通常包括一个或多个传感器(例如，麦克风、照相机、加速计等)，以及用户可以查看的计算机信息的显示技术要么覆盖在用户前面的场景(有时称为增强现实)或阻挡该场景(有时称为虚拟现实) 或者干脆在用户的周边视觉。头戴式装置还可以包括用于检测面部和头皮或其附近的电或磁活动以及肌电信号的传感器，诸如EEG和EMG- 有时称为脑计算机接口或BCI。(BCI的简单示例是NeuroSky公司的 Mindwave Mobile产品)。典型的可穿戴技术在专利文献7397607、 20100045869、20090322671、20090244097和20050195128中详细介绍。除了谷歌眼镜产品以外，商业产品包括Vuzix智能眼镜M100，Wrap 1200AR和Star 1200XL系统。即将出现的另一种技术是增强现实隐形眼镜。此类技术在例如专利文献20090189830中详述并在2009年9月在帕尔维兹在《Augmented Reality in a Contact Lens，IEEE Spectrum》的“Augmented Reality in a Contact Lens”中详述。一些或所有此类装置可例如以无线方式与其他计算装置通信(由用户携带或以其他方式进行)，或者他们可以包括自包含的处理能力。同样，它们可并入已知智能手机和专利文献存在的其它功能，包括电子罗盘、加速计、陀螺仪、照相机、投影仪、GPS等。

如上所述，本技术的实施例也可以采用神经处理技术(有时称为“机器学习”、“深度学习”或“神经网络技术”)。如本领域的技术人员所熟悉的，此类技术采用人工神经元大阵列-互连至模仿生物神经键。这些方法采用不同于传统冯·诺依曼型号的编程。具体地，电路元件之间的连接根据处理器先前学习(或被教导)的数据的相关性被加权。

每个人工神经元，无论是物理实现的还是在计算机程序中模拟的，接收多个输入并且产生使用神经元输入的加权总数的非线性激活函数 (例如双曲正切)计算出的单一输出。人工神经网络(ANN)内的神经元在由针对特定应用的设计师选择的拓扑结构中互连。在一个常见的称为前馈网络的拓扑中，ANN由不同层的有序序列组成，每层包含多个神经元。在第一层或输入层中的神经元有它们连接至问题数据的输入端，所述问题数据可以由图像或其他传感器数据或此类数据的处理版本组成。第一层的输出端连接至第二层的输入端，其中，每个第一层神经元的输出端通常连接至第二层中的多个神经元。重复此模式，其中，一个层的输出端连接至下一层的输入端。最后层或输出层产生ANN输出。 ANN的常见应用是输入信号分类为N类中的一类(例如，分类痣的类型)。在这种情况下，输出层可以由与要被识别的类别一对一对应的N 个神经元组成。通常使用前馈ANN，但反馈布置也是可能的，其中，一层的输出端连接至相同层或先前层。

与ANN内的每个连接相关联的是权重，其由输入神经元用在计算其输入加权总和。学习(或训练)过程在这些权重中实施，这不由ANN 设计师直接选择。一般来说，这种学习过程涉及确定网络中在一些方面优化ANN的输出的一组连接权重。两种主要类型的学习，监督和无监督的，涉及使用训练算法，以向ANN重复呈现训练集的输入数据并相应调节连接权重。在监督学习中，训练集包括所需的对应于每个输入数据实例的ANN输出端，而用于无监督学习的训练集只包含输入数据。在称为强化学习的第三种类型学习中，在ANN用于应用时其适应上线。可以使用学习类型的组合；在前馈ANN中，流行的方法是先用输入和内部层的无监督学习，然后使用监督学习以训练输出层中的权重。

当多维数据的模式应用于训练的ANN的输入时，输入层的每个神经元处理输入数据的不同的加权总和。相应地，输入层内某些神经元可能在峰值(具有高输出电平)，而其他神经元可能保持相对空闲。输入信号的这个处理版本同样通过网络的其余部分传播，其中，网络的内部神经元的活动水平取决于前体神经元的加权活动水平。最终，输出神经元呈现表示ANN被训练用于例如模式识别的任务的活动水平。本领域的技术人员应熟悉与不同ANN拓扑、学习类型和具体学习算法相关联的权衡，并且可以这些权衡可以应用于本技术。

非常适用于本技术的实施例的另一种机器学习布置是支持向量机 (SVM)。SVM例如在专利文献6,157,921、6,714,925、7,797,257和 8,543,519中详细描述。

此类技术的另外信息，在关于“机器学习”、“深度学习”和“神经网络技术”的维基百科文章以及在Le等人的“Building High-Level Features Using Large ScaleUnsupervised Learning，arXiv preprint arXiv：1112.6209 (2011)”以及Coates等人在2013年的“Proceedings of the 30th International Conference on Machine Learning(ICML-13)”的“Deep Learning with COTS HPC Systems”中详述。这些期刊论文以及“机器学习”和“神经网络技术”文章的当前版本作为附件附在2013年8月2日提交的共同待批的专利申请61/861,931上。专利申请14/201,852也具有可用于本技术的机器学习的讨论。

参考了基于参考数据的统计结果。假定本领域的技术人员熟悉统计和它们的使用。

在一些前述示例中，参考了统计上不太可能或不可能的状况。用于此类确定的特定阈值可以基于特定应用的要求由实施者设置。在一些布置中，小于1％的概率可认为统计上不太可能。在其他布置中，可能需要小于0.3％、0.1％、0.03％或0.01％的概率。

可穿戴服装和装置的脉搏检测在例如Polar Electro Oy公司的专利 5,622,180、6,104,947和7,324,841中教导。

其他相关著述包括专利文献6,021,344、6,606,628、6,882,990、 7,233,693、20020021828、20080194928、20110301441、2012008838、 20120308086和W013070895，以及下列其他出版物(全部附在专利申请 61/832715中)：Arafini在《2012Int'l Conf onMachine Learning and Cybernetics》发表的“Dermatological disease diagnosisusing color-skin images”；

Bersha在2010年在东芬兰大学《Master’s Thesis》发表的“Spectral Imagingand Analysis of Human Skin”；

Cavalcanti等人在2011年在《IEEE Int'l Conf on Engineering in Medicineand Biology Society》发表的“An ICA-based method for the segmentation ofpigmented skin lesions in macroscopic images”；

Cavalcanti等人在2013年在斯普林格荷兰出版的《Color Medical ImageAnalysis》第15-39页发表的“Macroscopic pigmented skin lesion segmentation andits influence on lesion classification and diagnosis”。

Korotkov等人在《Artificial Intelligence in Medicine 56》(2012)第 69-90页发表的“Computerized analysis of pigmented skin lesions-a review”；

Parolin等人在《201023rd IEEE SIBGRAPI Conference on Graphics， Patternsand Images》发表的“Semi-automated diagnosis of melanoma through the analysisof dermatological images”；

Sadeghi等人在2013年在《IEEE Trans，on Medical Imaging》预印本发表的“Detection and analysis of irregular streams in dermoscopic images of skinlesions”；

Sadeghi等人在2011年的《22nd World Congress of Dermatology》发表的“Automated Detection and Analysis of Dermoscopic Structures on DermoscopyImages”；以及

Wu在《ACM Transactions on Graphics》卷31第4期(2012)第65 页(后面8页)发表的“Eulerian Video Magnification for Revealing Subtle Changes in the World”。

其他相关的著述包括下列文献，每个附在专利申请61/872494上：

Abbas等人在2011年《Biomedical Signal Processing and Control 6.4》第395-404页发表的“Hair Removal Methods：a Comparative Study for Dermoscopy Images”；

Armstrong等人在2012年3月的《Dermatology Online Journal》卷 18第3期发表的“Crowdsourcing for Research Data Collection in Rosacea”；

Baeg等人在2013年8月21日卷25第31期发表的“Organic Light Detectors-Photodiodes and Phototransistors Advanced Materials”；

Bellazzi等人在2008年《Int'l J.of Medical Informatics》卷77第81-97 页发表的“Predictive Data Mining in Clinical Medicine-Current Issues andGuidelines”；

BioGames在2012年10月1日的《Games Health》第373-376页发表的“A Platformfor Crowd-Sourced Biomedical Image Analysis and Telediagnosis”；

Cruz等人在2006年的《Cancer Infom.》第2期第59-77页发表的“Applications ofMachine Learning in Cancer Prediction and Prognosis”；

Csurka等人在2004年的《ECCV：Workshop on Statistical Learning inComputer Vision》发表的“Visual Categorization with Bags of Keypoints”；

Dalai等人2005年在IEEE关于计算机视觉与模式识别会议发表的“Histograms ofOriented Gradients for Human Detection”，第886-893页；

di Leo在2010年在《Proc.43d Hawaii Int'l Conf.on System Sciences》发表的“Automatic Diagnosis of Melanoma：A Software System Based on the 7-PointCheck-List”；

Foncubierta-Rodriguez等人在《Proc.of the ACM Multimedia 2012 workshopon Crowdsourcing for Multimedia》第9-14页发表的“Ground Truth Generation inMedical Imaging”；

Fuketa等人在2013年的《5th IEEE Int'l Workshop on Advances in Sensorsand Interfaces》发表的“Large-Area and Flexible Sensors with OrganicTransistors”；

Jacobs等人在《Stanford Computer Graphics Laboratory Technical Report2012-1》发表的“Focal Stack Compositing for Depth of Field Control”；

Johnson等人在2009年的IEEE计算机视觉与模式识别会议上发表的“Retrographic Sensing for the Measurement of Surface Texture and Shape”；

Kaliyadan在2013年5月2日在《World Journal of Dermatology》第 11-15页发表的“Teledermatology Update-Mobile Teledermatology”；

Liu等人在2013年7月31日《British Journal of Dermatology》预印本发表的“Incorporating Clinical Metadata with Digital Image Features for AutomatedIdentification of Cutaneous Melanoma”；

Lyons等人在1999年的《IEEE Trans，on Pattern Analysis and MachineIntelligence》卷21第12期第1357-1362页发表的“Automatic Classification of SingleFacial Images”；

Parsons等人在2011年9月在《US Agency for Healthcare Research andQuality》第11期发表的“Noninvasive Diagnostic Techniques for the Detection ofSkin Cancers，in Comparative Effectiveness Technical Briefs”；

Seal等人在2013年的《Int.J.Computational Intelligence Studies》第 2期发表的“Automated Thermal Face Recognition Based on Minutiae Extraction”；

Vellido等人在2007年在Springer出版的《Neural Networks and Other MachineLearning Methods in Cancer Research，in Computational and AmbientIntelligence》第964-971页；

Wadhawan等人在2011年3月30日在《Proc.IEEE Int'l Symp.on BiomedicalImaging》第133-136页发表的“SkinScan：A Portable Library for Melanoma Detectionon Handheld Devices”；

Wolf等人在2013年4月在《JAMA Dermatology》卷149第四期发表的“DiagnosticInaccuracy of Smartphone Applications for Melanoma Detection”；以及

Zeng等人在2010年的《Color and Imaging Conference，Society for ImagingScience and Technology》发表的“Colour and Tolerance of Preferred SkinColours”。

假定本领域技术人员熟悉此类现有技术。

本说明书详细说明各种布置。但是应当理解，结合一种布置详述的方法、要素和概念可以与结合其他实施例详述的方法、要素和概念组合。 (例如，结合图像描述的方法、原理和布置可以结合音频等应用，反之亦然。同样，偏振光可以有利地用在采用SLAM或SFM技术以及检测鲁棒特征点等的实施例中)。同样用于引用文献的特征。虽然一些此类布置已具体描述，但是许多没有实现-由于大量排列和组合。然而，实现所有此类组合对于学习所提供教义的本领域技术人员来说是很简单的。

虽然本公开已经详述行为的特定顺序和要素的特定组合，但应当认识到，其它设想的方法可重新排序行为(可省略一些和添加等)，以及其他设想的组合可省略一些要素并添加其它要素等。

虽然披露为完整的系统，也可以分别考虑详细布置的子组合(例如，省略完整系统的各种功能)。

虽然本技术的某些方面通过参考示例性方法进行了说明，但应该认识到，经配置执行此类方法的行为的装置也被认为是本申请人的发明工作的一部分。同样，其他方面已通过参考示例性装置进行了描述，并且，由此类装置执行的方法同样在本技术的范围之内。更进一步地，包含用于配置执行此类方法的处理器或其它可编程系统的指令的有形计算机可读介质也明确包括在内。

本说明书中应在引用参考文献的上下文中来阅读。(假定读者熟悉此类现有的工作。)本申请人有意并入到本技术的实施例以及并入本文详述的技术和教义中的那些参考文献公开的技术和教义被并入。

为提供全面的公开，同时符合法定的简洁要求，本申请人并入本文引用的每个文献。(此类材料并入其全部内容，即使上面结合其教义的特定部分引用。例如，虽然专利公布20110301441结合特制成像硬件引用，在该公布中公开的其他技术也可有利地用于本发明。)

鉴于上面讨论的原理和特征可以应用于范围广泛的实施例，应当明白所述实施例只是示例性的，不应视为限制本技术的范围。相反，本申请人要求保护落入附属权利要求及其当量的范围和实质内的所有此类更改。

Claims (7)

1.一种用于图像采集和分析的方法，包括：

接收第一图像，所述第一图像描绘能证明可能病理状况的症状的哺乳动物身体的一部分；

处理收到的图像以导出至少第一图像参数和第二图像参数；

使用来自数据库的参考信息处理所导出的图像参数以生成相似性得分，所述参考信息包括从描绘特定病理状况的参考图像导出的参数，这种处理包括：

(a)确定导出的第一图像参数和导出的第二图像参数之间的第一相似性得分以及从描绘第一病理状况的参考图像导出的对应第一图像参数和第二图像参数；

(b)确定导出的第一图像参数和导出的第二图像参数之间的第二相似性得分以及从描绘第二病理状况的参考图像导出的对应第一图像参数和第二图像参数，所述第二病理状况不同于所述第一病理状况；

(c)确定导出的第一图像参数和导出的第二图像参数之间的第三相似性得分以及从描绘第三病理状况的参考图像导出的对应第一图像参数和第二图像参数，所述第三病理状况不同于所述第一病理状况和所述第二病理状况；

从相似性得分确定结果信息，所述确定包括：识别与由所描绘的所述身体一部分证明的病理状况不一致的第一病理状况、第二病理状况和第三病理状况中的两种或更多种特定病理状况；以及

向用户传送所述结果信息的至少一部分，其中，所述传送包括：对所述用户识别与由所描绘的身体的一部分证明的病理状况不一致的两种或更多种特定病理状况。

2.根据权利要求1所述的方法，其中，所述第一图像在第一时间描绘所述身体的所述部分，并且所述方法还包括：

接收在第二时间描绘所述身体的所述部分的第二图像，所述第二时间晚于所述第一时间；

基于所述第一图像和第二图像，确定所述症状在所述第一时间和第二时间之间的变化的数据；并且

在所述识别与由所描绘的所述身体一部分证明的病理状况不一致的两种或更多种特定病理状况的情况下，使用已确定的数据。

3.根据权利要求1所述的方法，其中，所述处理包括下列中的一个或多个：

确定或执行颜色柱状图、色斑分析以及频域变换。

4.根据权利要求1所述的方法，其中，所述参考信息包括多组参考数据，每组参考数据对应于在参考受试者中的已报告的病理状况的诊断，并且每组参考数据包括基于参考图像的信息。

5.根据权利要求4所述的方法，还包括：识别与所述收到的第一图像一致的多个候选病理状况，并向所述用户呈现按照概率排名的所述状况的列表。

6.根据权利要求1所述的方法，其中，所述哺乳动物身体是非人类身体。

7.根据权利要求1所述的方法，其中，所述第一图像包括与所述身体不同的已知对象，并且所述处理包括：基于所述对象在所述图像中的明显几何畸变来确定相对于所述身体的照相机姿势。