CN115668178A - 用于追溯性数据挖掘的方法、系统和计算机程序产品 - Google Patents

Abstract

提供了用于收集、存储和分发获取的受试者图像的集成系统。所述系统包括：图像和数据储存库，其包括源自图像生成设备的多个图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；以及工作流程管理模块，其与图像和数据储存库以及与存储所成像的受试者的图像的图像生成设备和/或存储设备直接通信，工作流程管理模块被配置成将所述图像从图像生成设备和/或存储设备直接传送到图像和数据储存库，并且管理图像和数据储存库中的图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的整理和分发。工作流程管理模块包括数据集成模块、数据管理模块、预处理引擎和数据利用模块。

Description

用于追溯性数据挖掘的方法、系统和计算机程序产品

优先权的要求

本申请是2019年9月4日提交的题为“Methods, Systems and Computer ProgramProducts for Retrospective Data Mining”的序列号为PCT/US19/49472的PCT申请的部分继续申请，该PCT申请要求在2018年9月5日提交的题为“Methods, Systems andComputer Program Products for Retrospective Data Mining”的第62/727,072号美国临时申请的优先权，并且要求在2019年4月5日提交的第62/829,790号和第62/829,797号两者的美国临时申请的优先权，所述申请的内容通过引用在此并入本文中，如同以其全部内容来阐述一样。

政府支持的声明

本发明概念是在政府支持下根据由美国国立卫生研究院和美国国立眼科研究所授予的合同号IR43EY030408而作出的。政府具有本发明中的某些权利。

背景技术

图像在疾病的诊断、治疗和管理中发挥着越来越重要的作用。特别地，在疾病的诊断和管理中使用图像的方式正在快速演变。在最基本的级别处，图像被呈现给专家用于解释。这常常是放射照片、声谱图（sonogram）和照片下的情况。专家可以是例如护理点医师、放射科医师、病理学家和经训练的技术专家。越来越多地，定量分析被应用于个体图像，并且与规范性数据相比，或者与趋势数据相比，定量信息可以被直接解释。在此类情况下，诊断结论和对治疗的影响仍然掌握在专业护理给予者手中。人工智能（AI）的大数据和方法对于诊断标志物或成像生物标志物的发现越来越重要。用于开发、验证和部署用于临床护理的新诊断标志物或作为新治疗的临床试验中的后果度量的过程需要端到端的框架，以用于对越来越大量的图像和数据进行收集、管理和操作。

发明内容

本发明概念的一些实施例提供了一种用于收集、存储和分发在研究或临床环境中获取的受试者图像的集成系统。所述系统包括：图像和数据储存库，其包括源自一个或多个图像生成设备的多个图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；以及工作流程管理模块，其与图像和数据储存库以及与存储所成像的受试者的图像的一个或多个图像生成设备和/或存储设备直接通信，工作流程管理模块被配置成将所述图像从一个或多个图像生成设备和/或存储设备直接传送到图像和数据储存库，并且管理图像和数据储存库中的图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的整理和分发。工作流程管理模块包括数据集成模块、数据管理模块、预处理引擎和数据利用模块。数据集成模块结合工作流程管理模块从一个或多个用户选择的电子数据源接收数据；数据管理模块将通过数据集成模块接收到的数据解析成图像和数据储存库内的记录；预处理引擎被配置成在将图像或数据存储在储存库中之前在图像和数据上运行一个或多个自动算法；并且数据利用模块将来自储存库的图像和数据分发给授权用户，以用于根据工作流程管理模块内定义的自动化规则进行分析。所述自动化规则包括用于人类注释、标记和分级的数据掩蔽的规则、以及用于将数据解析成分级集、算法训练集、算法测试集和算法验证集的规则。工作流程管理模块进一步包括：用于在与图像和数据储存库通信的工作流程管理模块的框架内记录并追踪与应用于图像和数据的自动处理例程相关联的活动的自动记入日志（automated logging）、以及在与图像和数据储存库通信的工作流程管理模块的框架内对所有图像和数据的用户访问记录的自动记入日志。包括特定工作流程的过程和自动化的有序组合由用户使用可用操作的库来配置。

在进一步的实施例中，所述工作流程管理模块可以进一步包括数据分析模块，数据分析模块被配置成与多个库通信，所述多个库中的每一个涉及与图像和数据一起传输的元数据、与图像和数据相关联的所有权和许可、以及适用于图像和数据的类的自动化过程。

在更进一步的实施例中，所述多个库可以基于在研究或临床环境中执行的演变的检查及其细节被不断地用新的库和子库来更新。

在一些实施例中，数据分析模块可以包括多个分离的模块，所述多个分离的模块涉及图像和数据清理、注释和分级；自动图像和数据分析；以及分析方法和生物标志物开发和验证。

在进一步的实施例中，数据分析模块可以被配置成根据配方来分析通过数据利用模块提供的可用图像和/或数据的集合，其中所述配方被配置成根据指派给方案的规则的库来隔离、掩蔽和分配数据；将数据汇集到可跟踪的集合中，并且分配所述数据以供审查。

在更进一步的实施例中，所述系统可以进一步包括与所述系统中的模块通信的移动设备，所述移动设备被配置成通过一系列一个或多个图像或数据生成检查来跟踪受试者；记录所述检查期间的相关信息和结果；将所记录的信息和结果从所述移动设备传递到数据分析模块和/或储存库，并且向一个或多个用户提供检查已经完成并且图像和数据已经被传递的通知。

在一些实施例中，预处理引擎可以进一步配置成：通过工作流程管理模块来接收图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；确定特定指令集，所述特定指令集关联于从工作流程管理模块接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；并且基于关联于从工作流程管理模块接收到的图像和数据的所述特定指令集来处理接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；存储具有到输入图像和数据的可追踪性的经处理的图像和数据，将应用于所述图像和数据的操作记入日志。

在进一步的实施例中，关联于接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据的所述特定指令集可以由数据字段中的指示符集来确定，所述指示符将预处理引擎涉及用于来自特定数据生成设备的接收到的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的所述特定指令集。

在更进一步的实施例中，预处理引擎可以进一步配置成对从工作流程管理模块接收到的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据进行验证、量化、注释和分类中的至少一个。

在一些实施例中，预处理引擎可以被配置成：从原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据中移除非必需或私有数据；存储所移除的非必需或私有数据；以及在回收所述非必需或私有数据之前，从与原始图像和数据相关联的用户请求许可。

在进一步的实施例中，工作流程管理模块可以使用关系或结构化查询语言（SQL）数据库以结构化方式来存储图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据，并且其中云存储模块使用非关系或非SQL数据库以非结构化方式来存储被去标识、经处理的图像和数据。

在更进一步的实施例中，所述系统可以进一步包括云中的以下模块中的至少一个：与云存储模块通信的算法模块，算法模块被配置成将规则集合应用于存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分；与云存储模块通信的配方模块，配方模块被配置成将一系列算法应用于存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分；以及与云存储模块通信的导出模块，导出模块被配置成使用存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分，并且从中导出新的图像和数据。

在一些实施例中，导出模块可以被配置成评估被去标识、经处理的图像和数据的质量；减少被去标识、经处理的图像和数据中的噪声；分割所述图像和数据；和/或测量被去标识、经处理的图像和数据。

在进一步的实施例中，存储在云存储模块中的被去标识、经处理的图像和数据可以由云中的各种模块来自动更新。

在更进一步的实施例中，云中的模块可以利用人工智能（AI）、统计抽象；图像抽象和图像提取中的一个或多个。

在一些实施例中，存储在云存储模块中的被去标识、经处理的图像和数据可以包括以下各项中的至少一个：统计数据；经处理的图像；缩减的图像；追溯性图像；体内图像；体外图像；功能测试结果；以及生物样本测试结果。

在进一步的实施例中，可以被应用于原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的交易和操作、以及应用于由所述交易和操作得到的随后经处理的图像和数据的交易和操作被记录在区块链类分类账中。

在更进一步的实施例中，被记录在所述分类帐中的交易和操作可以包括用于训练、测试和验证操作的图像和数据的子集的分配。

还提供了相关方法和计算机程序产品。

附图说明

图1是图示了根据本发明概念的一些实施例的示例深度学习系统的部件的图。

图2是根据本发明概念的一些实施例的集成系统的框图。

图3是图示根据本发明概念的一些实施例的各种数据类别的图。

图4和5是根据本发明概念的一些实施例的数据流的图。

图6是根据本发明概念的一些实施例的集成系统的图。

图7是根据本发明概念的一些实施例的集成系统的框图。

图8是图示根据本发明概念的一些实施例的操作的流程图。

图9是围绕以下三层工作流程设计的系统架构的框图：数据集成、数据管理和数据利用。

图10是图示了根据本发明概念的一些实施例的系统架构的框图。

图11是图示了由本发明概念的实施例实现的逻辑库的表示的框图。

图12是图示根据本发明概念的一些实施例的使用应用方案接口（API）来控制图像数据从本地临时储存库的移动的示例通信接口的框图。

图13是图示了根据本发明概念的一些实施例的工作流程的框图，该工作流程是数据输入、用户动作、自动配方的应用、以及数据输出的定序组合。

图14是图示了根据本发明概念的一些实施例的并行工作流程的框图。

图15是图示了根据本发明概念的一些实施例的数据请求工作流程的框图。

图16是图示了根据本发明概念的一些实施例的各种类型的“管理”的框图。

图17是根据本发明概念的一些实施例的系统的框图，该系统包括通过应用和服务耦合的多个用户、多个云环境。

图18是根据本发明概念的一些实施例的系统的框图，该系统包括通过应用和服务耦合的多个用户、多个云环境、自定义联网计算机和本地预置（on premise）环境。

图19是根据本发明概念的一些实施例的数据处理器的框图。

具体实施方式

现在将在下文参考附图对本发明概念进行更完整地描述，附图中示出了本发明概念的说明性实施例。然而，本发明的概念可以以许多不同的形式来具体实施，并且不应当被解释为限于本文中阐述的实施例；更确切地说，这些实施例被提供以便本公开将是透彻且完整的，并且将使本发明概念的范围完整地传达给本领域技术人员。遍及本文，类似的数字指的是类似的元件。如本文中所使用，术语“和/或”包括相关联的列出项中的一个或多个的任何和所有组合。

本文中使用的术语仅用于描述特定实施例的目的，并且不意图限制本发明概念。如本文中所使用的，单数形式“一”、“一个”和“该”意图也包括复数形式，除非上下文清楚地另行指示。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时指定所声明的特征、整数、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。

除非另行定义，否则本文中使用的所有术语（包括技术和科学术语）具有与本发明概念所属领域的普通技术人员通常所理解的相同含义。将进一步理解的是，术语（诸如在常用词典中定义的那些）应当被解释为具有与它们在相关领域和本说明书的上下文中的含义一致的含义，并且将不会被以理想化或过于正式的意义来解释，除非本文中明确如此定义。

如本领域技术人员将领会的，本发明概念可以具体实施为方法、数据处理系统或计算机程序产品。因此，本发明概念可以采取完全硬件实施例的形式，或者采取组合了软件和硬件方面的实施例的形式，这在本文中全部统称为“电路”或“模块”。此外，本发明概念可以采取计算机可使用存储介质上的计算机程序产品的形式，该计算机可使用存储介质具有包含在该介质中的计算机可使用程序代码。可以利用任何合适的计算机可读介质，包括硬盘、CD-ROM、光学存储设备、传输介质（诸如支持互联网或内联网的那些）、或磁存储设备。

用于执行本发明概念的操作的计算机程序代码可以以面向对象的编程语言（诸如Java®、Smalltalk或C++）来编写。然而，用于执行本发明概念的操作的计算机程序代码也可以以常规的程序性编程语言（诸如“C”编程语言）来编写，或者以视觉导向的编程环境（诸如VisualBasic）来编写。

程序代码可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立软件包，部分地在用户的计算机上执行并且部分地在远程计算机上执行，或者完全在远程计算机上执行。在后一场景中，远程计算机可以通过局域网（LAN）或广域网（WAN）连接到用户的计算机，或者可以作出到外部计算机的连接（例如，通过使用互联网服务提供商的互联网）。

下文参考根据本发明概念的实施例的方法、系统和计算机程序产品的流程图和/或框图来对本发明概念进行部分描述。将理解的是，图示的每个框以及框的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在一个或多个框中指定的功能/动作的装置。

这些计算机程序指令也可以被存储在计算机可读存储器中，该指令可以引导计算机或其他可编程数据处理装置以特定方式运作，使得存储在计算机可读存储器中的指令产生制品，包括实现在一个或多个框中指定的功能/动作的指令装置。

计算机程序指令也可以加载到计算机或其他可编程数据处理装置上，以使一系列操作步骤在该计算机或其他可编程装置上执行，以产生计算机实现的过程，使得在该计算机或其他可编程装置上执行的指令提供用于实现在一个或多个框中指定的功能/动作的步骤。

如背景技术中所讨论，图像在疾病的诊断和管理中发挥着越来越重要的作用。随着人工智能（AI）、机器学习和深度学习技术的出现，通过针对专家分级的示例的训练图像来丰富图像的诊断内容变得可行。例如，联邦药品管理局（FDA）已经开发并批准了一种使用眼底照片（视网膜照片）来提供糖尿病视网膜病变的自动诊断的产品。这个基于图像的诊断应用突出了用于深度学习的方法的前景和局限性两者。首先，诊断的准确度通常少于百分之九十，并且归属于具有中间等级到高级等级的糖尿病视网膜病变的患者。虽然对诊断制度的重要贡献，但是该技术未准备好用于疾病或疾病进展的早期预测。此外，与这个产品相关的监管许可被限制到使用来自一个制造商的一种型号的一个眼底相机获取的图像。因此，虽然深度学习的这个应用是AI在基于图像的医学诊断中的未来的迹象，但是要求改进。

技术行业正在提供非常先进的系统和解决方案，以提供对云存储和计算设施以及对用于深度学习的计算系统的用户访问。例如，基于云的服务由谷歌、亚马逊、微软、国际商业机器公司（IBM）等提供。这些服务正在对跨包括医学应用的多种应用的深度学习技术的发展产生快速影响。

深度学习概念的研究和证明是有用的，但是目标是将研究转化到临床。这通常需要通过严格的监管过程来移动算法。FDA表明了支持此类数字进步的意图。为了成功地应对监管环境，遵循结构化的、可再现的且经验证的设计控制过程并且为数字医学解决方案的证实和验证提供清晰的证据仍然是非常重要的。这个过程早早开始，其中明确定义了新医学设备（包括数字医学设备）的预期使用，从而导出与预期使用一致的该设备的性能和部署要求，将市场要求转化到技术规范，开发该设备，冻结开发，并且分别根据所述要求和预期使用来完成证实和验证。

关键的是，证实和验证步骤必须可追踪到所述要求。在从医学图像导出的预后（prognostic）和诊断设备中，通过成功的监管许可指导新产品的工作流程是非常复杂和繁琐的过程，其涉及临床试验方案的开发、患者同意和患者隐私的管理、安排患者、以及在图像数据和相关联元数据的收集、存储和管理中遵循正式方案。为了开发诊断指示物、生物标志物或端点，研究团队将需要通过多个步骤来迭代。

因此，本发明概念的一些实施例使用中央应用作为用于基于前瞻性和追溯性图像的生物医学研究的平台，此外还使用数百万个图像和图像处理算法的图像储库（bank）而通过结构化工作流程管理来增加成像驱动的生物医学研究和临床试验的效率；建立并管理被去标识的图像储库，作为用于共享和重复使用昂贵研究和临床图像的平台；提供用于前瞻性和生物标志物两者、端点以及临床试验结果度量的平台；为图像处理和深度学习的算法的第三方开发提供平台；并且通过在严格、透明、可再现且经验证的过程中构建这些活动来增加将这些活动转化到临床和市场的效力。

LATTICE是在威斯康星医学院处开发的电子研究记录，以增加视觉和眼科的转化研究的效率。如所实现的，该软件对视网膜成像具有特定的效用。作为架构，它是灵活的软件即服务（SaaS）平台，用于基于活体图像和数据的转化研究。LATTICE以及其相关功能可以用于本发明概念的一些实施例中，并且因此，这些教导通过引用并入本文中，如同以其全部内容来阐述一样。

LATTICE是一种软件系统，其用于管理受试者的安排、在研究会面期间跟踪受试者、以及收集临床图像，以用于在眼科中运行高效的前瞻性临床试验。这个平台具有显著的商业化潜力，因为眼科和转化医学中的趋势强烈地有利于临床试验的效率，最大化对在联邦资助下收集的图像的重复使用和共享、以及深度学习技术的快速发展，所述深度学习技术需要公共卫生信息（PHI）保护图像的储库来训练和验证新的诊断算法。

如上面所讨论以及图1中所图示，本发明概念的实施例组合了工作流程管理系统110（例如LATTICE）；图像数据库（图像和数据储库）120（例如大约3,000,000个或更多视网膜图像的库）；以及处理算法130（执行这些算法的模块），例如，如部署在容纳智能图像量化算法的MOSAIC内，该算法是利用深度学习原理（AI）140来开发的，以提供商业平台，该商业平台用于管理基于图像的临床试验、最大化用于追溯性研究的图像的许可重复使用、以及开发用于推进临床诊断的学习算法。根据本发明概念的一些实施例的集成系统在本文中被称为数据和工作流程管理系统（DWMS）。

将理解的是，虽然本文中讨论的DWMS是关于视网膜图像的LATTICE、MOSAIC和特定数据库来讨论的，但是本发明概念的实施例不限于这个配置。例如，可以使用任何工作流程管理系统、图像储库或处理算法以及相关联模块来提供本文中讨论的结果，而不脱离本发明概念的范围。

如本文中所使用，“图像储库”可以包括本发明概念的实施例所需的图像的任何集合。例如，图像储库可以包括光学相干断层摄影（OCT）、OCTA摄影和自适应光学图像以及相关联元数据的集合，其是在基于内部评级（IRB）的批准下收集的，具有允许图像重复使用的知情同意。如本文中所使用的，“元数据”指代但不限于任何患者人口统计数据、医学历史、告知图像的诊断，其经受适用的美国和国际患者隐私法规下的任何和所有保护。元数据还可以包括提供关于其他数据的信息的任何数据。换句话说，它是“关于数据的数据”。存在许多不同类型的元数据，包括描述性元数据、结构元数据、管理元数据、参考元数据和统计元数据。例如，在数据库中，当添加或删除信息时，这些动作在元数据中接收到不可见的踪迹。这个元数据可以被发现并用于告知该系统中的可见数据。

如将在本文中进一步讨论的，根据本发明概念的实施例的DWMS使用工作流程管理系统以及图像和数据储库来创建用于临床前和临床图像数据的收集、挖掘、共享和探索的统一平台。目标是为基于图像的研究创建“设计控制”系统，该系统最大化研究洞察和新诊断模态到市场的转化，以推进眼部医疗保健并且降低医疗保健成本。

这个产品的用户可以包括学术研究者、开发新疗法的生物技术和制药领域的研究者、代表工业合作伙伴进行临床试验的合同研究组织（CRO）、以及寻求销售云服务并在医疗保健中建立其自己的足迹的大数据公司。本发明概念的实施例可以被配置成链接到web工具，以供研究者加速他们自己的算法开发、训练和测试。

将关于图2来进一步讨论根据本文中讨论的实施例的完全集成平台。如其中所图示，该平台包括工作流程管理解决方案110，例如LATTICE，以用于收集、管理和挖掘基于图像的研究和临床数据。在一些实施例中，可以提供用于LATTICE或其他解决方案的使用的订阅服务。本发明概念的一些实施例可以将以图像为中心的领域扩展到眼科之外，而不脱离本发明概念的范围。换句话说，根据本文中讨论的实施例，可以使用包括任何类型图像的图像储库。如图2中所图示，工作流程管理功能110耦合多个图像储库、源A 150、源B 151和源C152、多个研究客户端161和162、处理算法130和相关联的模块，例如MOSAIC和深度学习模块140，以提供集成系统。

在一些实施例中，图像储库120、150、151和152可以包括在十年研究内收集的大约3,000,000个图像的集合、或在任何时间段内收集的任何其他数量的图像和相关联数据。如图2中所图示，工作流程管理系统110可以具有对多于一个图像储库，源A 150、源B 151和源C 152的访问。在一些实施例中，可以对图像储库进行编策、归类、匿名化和验证，以用于与授权在所定义的情况下对图像的追溯性使用的出处、IRB批准和患者同意的证据共享和重复使用。

现在参考图3，将讨论图示根据本发明概念的一些实施例的各种数据类别的图。如所图示，图像储库可以包括原始图像121，所述原始图像121可以：被处理以提供符合患者隐私标准122（匿名化123、患者健康信息（PHI）保险库（vault）124）的图像；被预处理125以允许注释等（量化126、注释127和分类128）；被挖掘129以找到满足特定准则的特定图像（选择131、隔离132和调节（condition）133）；并且在训练134、测试135和验证136中被使用。

提供关于图3所讨论的各种经处理的图像可以向服务增加价值。例如，预处理125图像可以包括手动、自动或半自动标记、分割和量化126。这可以包括层分割、单元计数（如利用MOSAIC那样）、或将原始图像缩减到适合于进一步分析的导出数据集的其他标记。医学注释127可以涉及向图像添加专家意见，标识病理学或疾病，或者根据标准对疾病进行分级。分类128可以涉及建立用于对图像进行归类的纲要，以进行挖掘和追溯性分析。在每种情况下，原始的原始图像和数据被保留，并且关于图像和数据而采取的动作被记录为交易，并且来自交易的结果被存储为链接回原始图像和数据以及处理交易的导出结果。

本发明概念的一些实施例被提供用于在深度学习研究（AI）中使用。在这些实施例中，从图像储库120汲取的图像可以进一步被隔离成用于算法的训练134、测试135和验证136的随机独立集合，如图3中所图示。在本发明概念的一些实施例中，这些动作可以自动执行。为了增加深度学习算法的鲁棒性，训练图像134可以被进一步调节以增加图像的代表性真实世界可变性。例如，本发明概念的一些实施例可以向图像提供自动可变性以增加训练集。工作流程能够被越标准化和再现，研究效率就越高。此外，工作流程越标准化和可再现，就越容易生成可信的、可再现的结果，并且结果得到的临床解决方案的监管许可过程也越快。因此，实施例可以提供用于可再现性和可证实性的可共享工作流程方案。

MOSAIC容纳了用于分析自适应光学增强眼底图像中的光感受器的特定算法。自适应光学（AO）成像系统还不是眼科中的护理的标准，但是在研究和临床试验中使用。根据本发明概念的一些实施例的通过MOSAIC来拓宽AO图像的分析可以帮助标识临床端点，所述临床端点可以驱动自适应光学器件的采用，并且解决与遗传性视网膜疾病和年龄相关的退化性疾病相关的公开临床问题。在一些实施例中，MOSAIC可以适当地应用于图像储库120中的图像，以提供缩减的数据集（光感受器的位置和计数）来用于进一步分析。替代地， MOSAIC可以被应用于图像储库120，以提供对图像的注释，作为本体的一部分，以用于对图像进行归类，如将在本文中进一步讨论的。例如，图像可以根据本体（受试者区域或域中的一组概念和类别，该受试者区域或域示出了它们的性质和它们之间的关系）来注释，并且基于对本体的添加来自动扩展注释。

如上面所讨论，本发明概念的实施例提供了一种多用途（例如，训练、测试、验证和诊断）的集成系统。图4是图示了根据本发明概念的一些实施例的如何收集、分析和使用数据来创建并再制订（reformulate）假设的测试环境中的数据流的图。如图4中所图示，工作流程470从数据储库480收集数据471，包括例如统计数据481、经处理/缩减的图像482、追溯性图像483、体内数据484、体外数据485等。可以使用配方来分析472这个数据。例如，在一些实施例中，多步骤配方可以被自动应用于数据以创建一系列所存储且可追踪的中间步骤，并且配方可以被修改和重新运行以提供被自动组织的不同结果。

再次参考图4，分析472数据480可以包括深度学习490，深度学习490包括AI 491、统计抽象492、图像抽象493、图像提取493等。使用这个分析，可以生成、测试并再制订474假设473。由此，可以使用方案等来创建实验计划475。如由图4中的箭头所图示，这些步骤可以被反反复复地重复，以不断完善并重新定义结果。对于本发明概念的实施例来说另外且独特的地方是，每个步骤维持完全的可追踪性。换句话说，从任何步骤，可以找到起点（原始图像和/或数据），从而维持每段数据的可预见性（providence）——向前和向后。

如本文中所使用，术语“配方”指代可以由在处理器上运行的本发明概念的模块应用于原始数据以提供新数据集的各种算法。例如，一个“配方”可以用于匿名化该数据，即移除指向该数据所涉及的特定患者的所有“元数据”。其他配方可涉及图像处理、统计等。配方可以是用户可定制的，并且通常不存在对可以被创建的配方的数目的限制。

现在参考图5，现在将讨论图示根据本发明概念的一些实施例的用于患者诊断的诊断工作流程的框图。如所图示，诊断工作流程560包括诊断测试模块561，诊断测试模块561提供关于患者的初始数据。这个数据被提交给诊断算法562。如上面所讨论，这个算法可以具有对以任何形式的数据储库中的历史数据以及各种深度学习模块或其他算法配方的访问。数据也可以被存储在电子健康记录（EHR）535中，或者被匿名化并存储以供重复使用555，如本文中所讨论。一旦被数据已经通过诊断算法562而运行，就可以创建治疗计划563。可以观察患者对治疗564的反应的细节，并且可以相应地修订诊断方案565。因此，本发明概念的一些实施例并入了反应函数模块来测量治疗计划的结果。然后，反应函数可以用于修改治疗计划，以产生不同的或更有利的结果。

如上面关于图4所讨论，该过程可以被反反复复地重复以完善结果，直到找到患者对其作出反应的专门治疗计划。如上面进一步讨论的，在不脱离本发明概念的范围的情况下，可以向前和向后两者来追踪这些步骤中的每一个。

图6是图示了根据本发明概念的一些实施例的集成系统的框图。如上面所讨论，本发明概念的实施例使用包括大量图像的图像数据库，并且这个图像数据库可以是原始图像621的数据库。这些原始图像621可以包括患者机密信息622和元数据。本发明概念的实施例提供了各种引擎来应用“配方”以处理该数据，因此该数据可以用于不同的应用。例如，匿名化引擎/模块623可以应用“配方I”来移除所有“私有”患者数据。这个匿名化数据可以将原始数据621划分成图像691和元数据692，该两个数据集可以通过机密密钥来连接。此时，图像可以由各种引擎、分类引擎、挖掘引擎、训练引擎、测试引擎和验证引擎来进一步处理。这些不同的引擎可以在一系列连续步骤中处理该数据，并且以可追踪到原始数据和附加引入的数据以及处理引擎或规则的形式来存储所导出的结果，这对于各种目的是有用的，并且关于事件的次序是透明的。因此，本发明概念的实施例提供了如下过程：该过程用于将“配方”与数据和中间结果集成到最终结果，并且在附加数据被添加时或在配方被修改时自动重新处理所有步骤。

例如，在一些实施例中，所存储的图像可以利用来自专家（诸如医生和研究者）的注解来注释。例如，专家可以利用诸如青光眼之类的诊断来注释图像。图像也可以被移位、旋转、去噪等，并且这样导出的数据可以与扰动一起存储，优选地作为新的副本，使得原始图像和数据的出处被完全保留。如图6中进一步所图示的，“配方II”可以是图像处理625配方，并且可以提供缩减的图像693和附加元数据694。缩减的图像的示例可以是与原始图像完全相关但是没有原始图像的像素值的分割图。“配方III”可以是应用深度学习的统计配方695，并且提供洞察696和附加元数据697。在每个步骤处提供的元数据（692、694、697）的保留允许根据本文中讨论的实施例的算法将其步骤一直追溯回到原始图像日期621。任何阶段处的所有这个数据可以用于创建和完善方案665。该数据可以用于临床、临床试验、临床研究、临床前试验、所应用的临床前试验、基础研究等中。

因此，在特定引擎已经执行其功能之后，数据被累积、分类、匿名化、提取并注释和存储。一旦被存储，就可以使得图像在（多个）数据库中对各种用户可用。图像可以被存储成具有各种隐私级别，所述隐私级别从公开和开放到专有、私有和封闭。私有数据可被存储在接口后面，并且需要密钥来进入。

如上面所讨论，图像可以被制备和研究。可以基于包括分类的许多因素来挖掘（查询）图像的数据库。可以根据各种规则将所分类的数据隔离成集合，并且所述规则可以随时间而改变。因此，算法随时间来学习。例如，随着数据隐私法规改变，在处理该数据时应用于该数据的规则（“配方”）也将改变。各种数据集可以用于训练/教导、证实测试和验证。验证集可以优选地与训练集和测试集隔离，以便确认被验证的算法或配方没有被对验证数据集的先前访问所偏向或污染。当对先前在训练和测试期间尚未使用的数据进行测试时，只有当所有测试都被满足时，算法或配方才是经验证的。该数据可以被存储在对于云可访问的数据库中，使得该数据可以被云上的其他人使用。

为了提供对大量交易、算法和配方的可追踪性，所述交易、算法和配方可以用于生物标志物或诊断开发、验证、监管许可和部署的目的被应用于图像数据集，必须维持与该数据的所有交互和对该数据的所有操作的清晰、可追踪的记录。例如，可以生成包括与相关联的输出组合的操作序列的日志。这可能与提供交互时间戳但不提供相关联数据记录的日志相区分。

此外，活体数据通常要求安全性、对患者隐私权的尊重、以及限制直接涉及该数据或涉及从该数据导出的洞察的使用、披露和财务交易的协定。必须维持所有用户交互和该数据的使用的记录，其中考虑了支配该数据的合法使用的合同。这些目标指向分类帐的两个分离的（如果相关的话）用途，即记录数据的用户访问的历史、以及记录应用于数据的操作过程，以用于验证来自该数据的新洞察、诊断和生物标志物等的发现和开发的目的。因此，区块链分类账有益于记录数据合同和访问以及在算法和配方开发和验证期间追踪对数据的操作。

特别地，区块链是增长的记录（被称为区块）列表，所述记录是使用密码学技术来链接的。每个区块包含前一个区块的密码学哈希、时间戳和交易数据。换句话说，区块链是用于存储交易记录的分布式分类账的系统。将它视为数据库，而不是在一个计算机或服务器上存储数据库的单一版本，参与区块链的每个人具有同一分类账的其自己的副本。区块链之所以如此命名，是因为它由一系列的“区块”组成。随着交易完成，新的区块被添加到链。因此，如果有人想要改变区块链中的某些事物，所有（或通常所有）分类帐必须在能够作出该改变之前达成一致。因此，在区块链中的存储是安全的，并且安全性是难以突破的。因此，在所提出的工作流程、图像管理和图像处理平台的情境中的区块链结构在分布式多站点环境中特别有用，该分布式多站点环境是临床研究和开发中的规范。

再次参考图6，本发明概念的实施例可以允许图像数据以各种形式对于各种用户易得到（accessible），例如诊所、临床试验、临床研究、临床前试验、所应用的临床前研究、基础研究等。在数据被存储之前提供各种引擎来处理该数据允许该数据以对于每个用户可使用的格式被提供，而不违反隐私法规。

本发明概念的一些实施例提供了一种用于开发和验证诊断端点的图像管理系统。在一些实施例中，该系统包括静态数据库，该静态数据库包含个体图像的静态记录。记录可以包括：参考代码，该参考代码对于该图像是唯一的并且不同于患者标识信息；定义从其获取了该图像的装备的一系列字段；定义在其处获取了该图像的站点的一系列字段；定义该图像的受试者的人口统计数据的一系列字段；以及定义已知受试者条件属性的一系列字段。

在进一步的实施例中，可以提供包含个体图像的动态记录的数据库。该记录可以包括对该图像的访问的历史、用于从该图像中导出缩减数据集的目的而应用于该图像的算法的历史；从该图像中导出的缩减数据集的存在和位置；用于对该图像应用专家注解的目的而应用于该图像的注释的历史；以及应用于该图像的专家注解的存在和位置。

更进一步的实施例提供了一种处理引擎，以验证受试者隐私的去标识和保护。隐私引擎包括针对静态或动态数据库记录应用的规则集合，所述规则测试受试者可标识内容的存在，并且将标志应用于该图像、静态数据库或动态数据库，该标志指示受试者标识内容的缺少的存在。

一些实施例提供了一种处理引擎，以从一个或多个算法中进行选择以及应用一个或多个算法，以根据一组算法目标来修改图像，导出对于该图像唯一的缩减数据集，或从图像中提取所导出的属性，并且存储算法步骤、经修改的图像、缩减的数据集、或所导出的属性，以用于在不修改原始图像的情况下调用（recall）。

本发明概念的另外的实施例提供了一种引擎，以向主题专家提供所选的图像引擎、原始图像、或由图像预处理引擎修改的图像，并且收集由主题专家提供的注释。注释变成静态或动态数据库内的记录。

本发明概念的更进一步的实施例提供了一种处理引擎，以针对来自一个或多个数据库的各种各样的字段对一个或多个图像进行分类和索引，包括基于通过专家注释引擎中的预处理开发的注释。该分类描述了属性的共性，未来的受试者会针对所述属性被测试。

一些实施例提供了一种随机化引擎，以根据分类来选择各种各样的图像，根据随机化算法来选择图像，将各种各样的随机化图像中的每一个唯一地标示成三个或更多集合中的一个。一个图像集合用于自动图像处理算法的训练，一个图像集合用于测试经训练的算法，并且一个图像集合用于验证经训练的算法。

可以定义各种群体。例如，群体1（可选的）是正常或对照群体；群体2（必需的）是在相似分类中和在不相似群体中的受试者的训练群体，用于开发用于将未来受试者包括到分类中的算法；群体3（必需的）是在相似分类中和在不相似群体中的受试者的测试群体，用于在开发期间测试用于将未来受试者包括到分类中的算法；以及群体4（必需的）是验证群体；被分级成在目标分类内或不在目标分类内的受试者的盲群体，可以使用已知的分析方法针对其测试最终经训练的算法的准确度（灵敏度和特异度）。在一些实施例中，本发明概念的实施例在用户定义的将被搁置（set aside）到各种群体中的数据群体的支持下使用随机指派将可用数据自动隔离到这些各种群体中。数据的使用然后被追踪和记录，例如被记录在交易和操作的区块链分类账中。

更进一步的实施例提供了一种交互式预处理引擎，其对从深度学习随机化引擎聚集的训练群体集进行操作，以执行一个或多个步骤，从而从原始图像、经修改的图像、或从指示将由深度学习引擎自动化的分类的图像导出的数据集来建立特征或属性。

一些实施例提供了一种批处理引擎，其将由并行地、顺序地或组合地应用的一个或多个算法组成的配方应用到图像的至少一个集合，所述图像是由随机化引擎选择的完整图像集合、或此类集合的子集。

另外的实施例提供了一种处理引擎，以创建自动图像分类算法，该算法使用由主题系统的处理引擎定义的一系列预处理步骤来对图像进行操作，以匹配于该系统中定义的分类方案的方式对图像进行分类，并且由主题专家来验证或者由主题专家可验证，该主题专家基本上等同于训练图像集的注释。

更进一步的实施例提供了决策引擎，其提供二元输出，该二元输出声明了分类测试返回关于目标分类的肯定或否定结果。

一些实施例提供了一种可视化引擎，其显示一个或多个图像、从静态或动态数据库中汲取的图像的分类的指示、以及算法或配方的结果。

本发明概念的另外的实施例提供了一种统计测试引擎，其执行对应用于图像集合或子集的配方或算法的结果的一个或多个统计测试。

更进一步的实施例提供了一种工作流程记录引擎，其维持并记录在去标识、分类、随机化、批处理、决策制定、可视化和统计测试的过程当中使用的一系列操作。换句话说，一些实施例提供了存储数据、图像、过程、算法、决策等的工作流程数据库。

一些实施例提供了一种工作流程编辑引擎，其将所记录的工作流程步骤的有序集合的视觉表示呈现为列表或一组图形元素，该列表或一组图形元素可以被编辑、删减、添加或重新排序，以创建不同的工作流程。编辑可以包括不同的步骤，或者可以允许选择不同的数据，或者应用不同的算法，或者应用不同的统计测试等。因此，一些实施例允许工作流程的图形可视化以及用于重新处理的事件序列的图形重新排序被并入到工作流程数据库本身中。

另外的实施例提供了一种工作流程复制引擎，其对先前的、经修改的或新的数据集重新运行原始或经编辑的工作流程。

更进一步的实施例提供了一种验证累积引擎，其对新的数据集运行先前的工作流程，并且将结果组合成新的统计测试，该新的统计测试总体包括先前的数据集和新的数据集。

现在参考图7，现在将讨论根据本发明概念的一些实施例的用于处理并使用在研究或临床环境中获取的受试者图像的集成系统的示例实施例。虽然图7图示了包括云内部和外部的各种模块/设备的系统，但是本发明概念的实施例不限于这个配置。例如，在不脱离本发明概念的范围的情况下，可以存在多于或少于三个私有数据源。

如图7中所图示，系统700包括多个私有系统701，包括通信装备704和私有数据存储装置703；移动连接模块705、私有系统和云存储模块707之间的多个预处理引擎706、以及云708中的各种模块（算法、所导出的数据、历史数据、研究文档、被去标识的数据等）和数据存储装置（匿名数据和图像储库）。如上面所讨论，图7中所图示的系统700仅用于示例来提供，并且不应限制本发明概念的实施例。将进一步理解的是，关于系统700讨论的信息可以被存储在区块链环境中并相应地使用。

参考图7，多个私有系统701包括存储在图像和数据储库703中的私有数据。这个数据和相关联的图像通常是原始数据，所述原始数据包括指示了数据的源、数据被收集的时间等的信息（元数据）。换句话说，图像和数据储库可以包括例如源自一个或多个图像生成设备和/或存储设备的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据。图像生成设备可以是本领域技术人员已知的任何设备，而不脱离本发明概念的范围。私有数据703与工作流程管理模块（例如LATTICE）相关联，该工作流程管理模块被配置成将原始图像从一个或多个图像生成设备和/或存储设备直接传送到图像和数据储库，并且管理并分析图像和数据储库中的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据。在利用LATTICE的实施例中，其功能是已知的，并且因此，本文中将进一步讨论LATTICE模块的细节。

如图7中进一步图示，预处理引擎706定位在私有系统中的工作流程管理模块与云存储模块707之间。预处理引擎706被配置成从工作流程管理模块接收原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据，并且处理原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据，以在经处理的图像和数据被推送到云存储模块707中之前提供经处理的图像和数据。云存储模块707被配置成存储来自工作流程管理模块的经处理的图像和数据。

在本发明概念的一些实施例中，至少，预处理引擎706对原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据进行匿名化（去标识），以向云存储模块707提供被去标识的图像和数据，并且创建将原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据与被去标识、经处理的图像和数据进行关联的密钥709。密钥709保持与云存储模块707中的被去标识、经处理的图像和数据分离并且不连接。密钥709允许被去标识、经处理的图像和数据维持至所成像的受试者和对图像和数据的所有随后操作的可追踪性。

换句话说，在操作中，各种私有系统701（或站点）使用工作流程管理系统（例如LATTICE）来将数据推送到云中。然而，本发明概念的实施例在私有系统701中的工作流程管理系统之间提供预处理引擎706，以在数据被提供给云存储系统707之前对该数据进行去标识（对该数据进行匿名化）。存储在私有系统/工作流程管理系统处的数据被结构化，例如，存储在文件夹和子文件夹中。这个数据可以以关系或结构化查询语言（SQL）来存储。被推送到云中的数据可以使用非结构化数据方法（NOSQL、MongoDB、Cassandra等）被存储在云存储模块707中。每个特定的成像或数据获取设备可以具有在该设备与工作流程管理系统之间通信的独特应用方案接口（API），其中工作流程管理系统作为与云的通信的媒介。例如，LATTICE可以具有用于每个独特设备的API，该设备诸如如不同于Heidelberg Spectral is光学相干断层摄影成像系统、如进一步不同于Optos Optomap宽视场眼底成像系统的ZeissCirrus光学相干断层摄影成像系统，其包括用于那个设备的特定指令。在一些实施例中，可以在数据字段中设置指示符，该指示符告诉该系统应当使用哪个API。在一些实施例中，API可以被存储在预处理引擎706处，使得API可以被及时更新。然而，在某些实施例中，API可以作为应用来提供，而不脱离本发明概念的范围。

预处理引擎706不限于仅匿名化（使数据去标识）。预处理引擎706被配置成从工作流程管理模块接收原始图像和数据，确定与从工作流程管理模块接收到的原始图像和数据相关联的特定指令集（如上面所讨论）；并且基于与从工作流程管理模块接收到的原始图像和数据相关联的特定指令集来处理接收到的原始图像和数据。根据本文中讨论的实施例，该数据在被分发到云存储模块707之前可以被验证、量化、注释、分类、匿名化以及经历其他预处理步骤。如上面所讨论，存储在云存储模块707中的数据是被去标识且非结构化的，即没有文件夹、子文件夹等。在一些实施例中，预处理可以不止包括去标识，例如，可以根据对于外部观察者来说将不明显的规则来存储数据。

如上面所讨论，当数据被去标识时，创建密钥709，所述密钥709保留在云外部。密钥可以在预处理引擎中创建，但是它与数据本身分开地存储。本发明概念的一些实施例包含污染控制功能/模块，该功能/模块包括移除所有“非必需”数据的规则列表。数据是必需的还是非必需的可以在逐案的基础上来确定。被移除的数据可以不被丢弃或回收，而是被保留，直到用户指示该数据应当被存储、丢弃等。

预处理引擎706允许对数据的完全控制和可预见性。预处理引擎可以被视为邮箱。用户提供数据，并且预处理引擎706进行匿名化、重构等，并且将该数据放在它应当去的地方，例如，放在云中或放回结构化数据库中。将数据存储在结构化和非结构化数据库两者中是有利的，因为一些数据适合于结构化数据库，并且其他类型的数据适合于非结构化数据。例如，图像适合于非结构化格式。如果将图像放在文件夹中，除非执行特定搜索，否则不可能找到正在寻找的特定数据/图像。

如上面所讨论，云可以包括各种模块，所述模块可以访问存储在云存储模块707中的数据，并且将那个数据用于各种目的。例如，与云存储模块707通信的一个模块可以被配置成将规则集合应用于存储在云存储模块中的图像和数据的至少一部分（方法和算法）。这个规则列表可以是由该系统中的模块实现的算法。这个相同的模块或不同的模块可以被配置成将一系列算法（配方）应用于存储在云存储模块中的图像和数据的至少一部分。另一模块可以被配置成使用存储在云存储模块中的图像和数据的至少一部分，并且从中导出新的图像和数据（导出模块或以算法方式导出的数据）。例如，导出模块可以被配置成例如评估图像和数据的质量；减少图像和数据中的噪声；分割图像和数据；和/或测量图像和数据。在分发到存储装置之前，可以检查数据的质量。

如图7中进一步图示，其他模块可以包括涉及研究文档、操作历史等的模块，而不脱离本发明概念范围。如图7中的模块的圆形布置所图示（以及上面讨论的图4和图5）。存储在云存储模块中的图像和数据由云中的各种模块不断地更新。换句话说，数据被重复使用和复制，并且所导出的数据被反反复复地修改（其中原始数据保留完整原始出处）。在一些实施例中，云中的模块利用人工智能（AI）、统计抽象；图像抽象和图像提取中的一个或多个来提供所导出的数据。在一些实施例中，云中的模块之一可以由MOSAIC提供。存储在云存储模块707中的图像和数据可以包括例如统计数据；经处理的图像；缩减的图像；追溯性图像；体内图像；体外图像；功能测试结果；以及生物样本测试结果。

系统维持完全可追踪性（操作历史）、即维持所有数据的可预见性的能力是有利的。换句话说，任何数据可以被向后和向前地重新创建，并且因此，原始图像可以始终被重新创建。如上面所讨论，在本发明概念的一些实施例中，其一个或多个方面可以被存储在区块链中。使用区块链将使得能够实现对数据的所有操作的可追踪性，以及简化监管审计。此外，区块链还可以使得能够保存已经访问该数据或者具有对该数据的访问的任何人的记录。如果未经授权的人看到了该数据、取得了该数据、或被给予该数据，则该系统记录这个信息以供用户消费。

如上面所讨论，本发明概念的一些实施例使用MOSAIC来处理数据，例如，随机化、分割等。在一些实施例中，MOSAIC可以用于创建新的算法和配方，并且将它们推送到云中的用于算法和配方的模块。然而，将理解的是，本发明概念的实施例不限于这个配置。

在一些实施例中，图像和数据储库包括眼科图像和数据，然而，将理解的是，本发明概念的实施例不限于这个配置。在不脱离本发明概念的范围的情况下，可以使用任何类型的图像和数据。

如上面所讨论，本发明概念的一些实施例提供了一种集成系统，用于收集、管理和挖掘可以被定期更新和完善的图像和数据，并且将图像和数据连同任何随后导出的数据一起用于算法的训练、测试和验证。这些算法可以用于例如开发疾病和疾病进展的标志物、对包括治疗干预的内部和外部因素的生理反应的标志物、表型与基因型的相关性、以及诊断和预后测量和方法的开发。

现在参考图8的流程图，将讨论用于在预处理引擎处处理数据的高级操作。图8的流程图中所图示的操作涉及一种用于在系统中处理并使用图像的方法。该系统包括：图像和数据储库，其包括多个原始图像和相关联的数据；工作流程管理模块，其与图像和数据储库通信并且被配置成管理并分析图像和数据储库中的原始图像和数据；以及在云中的云存储模块，其被配置成存储来自工作流程管理模块的图像和数据。操作在框800处通过从工作流程管理模块接收图像和数据来开始。如上面所讨论，结构化数据被存储在该系统中的私有站点处。工作流程管理模块（LATTICE）处理该数据并且将结构数据转发给预处理引擎。预处理引擎在图像和数据被推送到云存储模块中之前处理图像和数据（框810和820）。云存储模块被配置成接收经处理的图像和数据。至少，处理该数据包括对图像和数据进行匿名化以向云存储模块提供被去标识的数据，并且创建与经处理的图像和数据保持分离的密钥。该密钥允许图像和数据维持向前和向后两者的可追踪性。

预处理引擎可以从工作流程管理模块接收原始图像和数据；确定与从工作流程管理模块接收到的原始图像和数据相关联的特定指令集；并且基于与从工作流程管理模块接收到的原始图像和数据相关联的特定指令集来处理接收到的原始图像和数据。与接收到的原始图像和数据相关联的特定指令集可以由数据字段中的指示符集来确定。该指示符可以标识用于从特定设备接收到的原始图像和数据的特定指令集。

在一些实施例中，预处理引擎可以从原始图像和数据中移除非必需或私有数据；存储所移除的非必需或私有数据；并且在回收非必需或私有数据之前从与原始图像和数据相关联的用户请求许可。用于这个匿名化的规则可以是流行的健康保险便携性和责任法案（HIPAA）规则（美国）、GDPR规则（EU）等，并且所应用的规则集合本身可以被存储为可追踪的数据元素，使得数据可以在规则随时间改变时被重新匿名化。

在数据被处理并推送到云之后，数据可以由各种模块使用，模块可以将规则集合应用于存储在云存储模块中的图像和数据的至少一部分；将一系列算法应用于存储在云存储模块中的图像和数据的至少一部分；和/或使用存储在云存储模块中的图像和数据的至少一部分来从中导出新的图像和数据。

如上面进一步所讨论，数据在被不断地更新，因此，重复该方法的步骤，以不断地提供更新的图像和数据。

现在将讨论上面讨论的系统的示例实施例。在这些实施例中，该系统在具有公共访问点的统一平台下集成了期望的数据结构和工作流程。本发明概念的这些实施例允许集成源数据，包括方案和批准、受试者同意、受试者元数据和历史医学历史、检查管理、检查测试结果和图像、保护健康信息管理、数据清理和预处理、用于诊断和研究应用的自动和定向数据收集管理、多模态数据可视化、通过算法库的可视化和量化、连同用于基于许可库的共享和协作的工作流程、图像处理的开发和验证、人工智能和深度学习算法、具有共享和重复使用的工作流程定义、用于监视数据访问和数据操作的交易记录的多维集合、支持分析项目以满足出版或监管目标的历史文件的自动组织，全部在一个可互操作的平台内，该平台根据与基于图像的转化研究、临床管理和视觉自主决策支持相关联的多种角色来服务于最广泛的用户主体。

本文中讨论的系统的架构提供了优于一般临床试验管理软件（CTMS）解决方案的优势，该解决方案诸如是在Park等人的“Utilization of a Clinical Trial Management System for the Whole Clinical Trial Process as an Integrated Database: System Development”中所讨论的系统，其公开内容在此通过引用并入本文中，如同以其全部内容来阐述一样。Park讨论了与开发和利用CTMS解决方案相关联的益处和挑战的非常详细的分析。如Park中所指出的，由于高管理负担、功能失调的通信、实时数据访问的缺乏、有限的资源、方案和监管非遵从性的风险、以及准确报告的困难，在其中数据被收集的站点级别处的临床试验管理中的效率是具有挑战性的。

现在参考图9，将讨论Park中讨论的系统。如图9中所图示，Park中部署的系统架构是围绕以下3层工作流程来设计的：数据集成901、数据管理911和数据利用921。数据集成901包括数据输入源，包括电子机构审查委员会（e-IRB）、健康信息系统（HIS）、企业资源规划系统（ERP）和条形码系统。数据集成901通过它们之间的接口与数据管理911进行通信。数据管理911包括研究管理、受试者管理、临床监视、外部请求管理、资源管理和用户管理。数据利用921包括报告生成、可视化、通知和任务管理。

如Park中所指出，这样的CTMS简化了管理和跟踪站点（例如，学术医学中心）内的临床试验进展的过程，从而改进了任何试验中涉及的多种利益相关者之间的通信。LATTICE（本文中讨论的实施例的前身）执行这样的CTMS的角色。如Park中暗指的，CTMS解决方案旨在将用于分析的数据移交给管理合同研究组织（CRO）或赞助商，并且由此CTMS解决方案通常不是用于分析研究数据的有效工具（除了商业分析之外），并且当然不适合开发新的试验结果度量和端点。此外，这些系统通常不适合对在特定项目或试验期间积累的数据进行追溯性部署。

形成鲜明对比的是，根据本发明概念的实施例的系统反映了对CTMS架构的显著扩展，该扩展解决了常规系统的这些上述缺陷中的许多，如将关于图10讨论的那样。将关于图10来讨论根据本发明概念的一些实施例的示例架构，图10聚焦于本发明概念的实施例所提供的优于诸如CTMS之类的常规系统的附加能力。这些附加能力可以在用粗体线勾勒的框中捕获。然而，将理解的是，在不脱离本发明概念的范围的情况下，也可以改进其他框中的操作。

如图10中所图示，根据本发明概念的实施例的工作流程包括与图9的常规系统类似的数据集成1002、数据管理1012和数据利用1022，但是本文讨论的系统进一步包括数据分析1032。此外，类似标记的元素数据集成1002、数据管理1012和数据利用1022中的每一个包括附加的粗体部分，该粗体部分提供了根据本文中讨论的实施例的各种功能。例如，以数据集成1002开始，除了项目管理1004（IRB/方案、HIS、ERP和条形码系统）之外，本发明概念的实施例还包括结果管理1005，其包括功能测试、成像和生物试样。在常规的CTMS系统中，结果被制表并记录在表格上，所述表格可以上传到CTMS数据表。本发明概念的实施例被配置成从设备捕获原始数据，并且管理原始数据（源数据）连同制表数据。宽泛地说，原始数据的源在图10中被描述为功能测试、成像和生物试样。因为使用中的极其广泛种类的测试，所以捕获原始数据的通用系统一般地已经是不可能的。

如图10中进一步中所图示，除了项目管理1014（研究、受试者、会面和资源/用户）之外，那个数据管理1012工作流程进一笔包括结果管理部分1015，其包括设备转移、PHI管理和存储。类似地，除了项目管理、分析和报告之外，数据利用工作流程还包括前瞻性数据分配1024和追溯性数据分配1025。数据分析1032的新工作流程包括三个模块1034、1035和1036。第一模块1034包括图像和数据清理、注释和分级。第二模块包括自动图像和数据分析。第三模块1036包括分析方法和生物标志物开发和验证。

如图10中进一步所图示，数据集成1002、数据管理1012、数据利用1022和数据分析1032的各种模块与包括访问和接口、工作流程定义、交易和可追踪性、许可和准许、信息支配和安全性的其他模块对接，以提供本发明概念的各种方面。

在本发明概念的一些实施例中，库可以用于通知实施例，由本发明概念的实施例启用的逻辑库的表示在图11中图示。例如，检查1183的库可以附接到特定试验方案1187。检查1183可以指定模态，并且特定于设备（图11）。如所图示，在一些实施例中，检查1183可以进一步包括指令、配置和结果（图11）。如本文中所使用，“模态”1189可以指代技术、主观功能评估和客观功能评估、结构和化验或组学。“设备”1184可以指代用于执行检查的特定仪器，并且可以包括关于制造商、型号、软件版本、特定设置、配置、输出类型等的信息。检查1183还可以伴随有干预1190。本发明概念的实施例包括层级式信息结构，以允许在逻辑库中管理方案特定的检查1183，例如通过模态1189、设备1184、干预1190等，如例如图11中所示。这个库可以被构建成支持特定域，诸如眼科或验光，但是在可扩展和可伸缩的架构内。图11包括库架构，该库架构涉及实体1180；研究1181；受试者1182；检查1183；设备1184；会面1185；调查者1186；方案1187；预后1188；模态1189；干预1190和许可1191。类别中的每个具有一个或多个与其相关联的子类别。图12提供了示例库架构，并且因此，本发明概念的实施例不限于此。在不脱离本发明概念的范围的情况下，可以提供其他类别和子类别。

现在将讨论示例。在一个示例中，检查1183可以是视网膜的光学相干断层扫描（OCT）。在这个示例中，模态是OCT。OCT提供了视网膜结构的图像。OCT设备可以是具有当前软件修订的Zeiss（制造商）Cirrus（型号），其被配置成获得光栅体积，其具有便携式文档格式（PDF）报告输出和指定数值结果的表。OCT检查前面可能是用于扩张眼睛的干预。

在本发明概念的一些实施例中，可以使用拖和放图形用户接口元件将反映要求的特定OCT检查附接到试验方案，并且可以捕获结果，如下面将讨论的。该方案可以具有检查库中不存在的特定要求。在这样的实施例中，检查信息的层级结构使得方案协调者可以根据OCT（模态）模板、或Zeiss OCT模板（模态加制造商）或Zeiss Cirrus OCT（模态加制造商加型号）来设计检查，并且在必要时构建出剩余的细节。结果得到的特定检查可以成为检查库的一部分，并且该库可以被共享。因此，该架构基于实时测试等的各种方面不断地改变和更新。

检查规范的重要部分是“输出”的定义。输出可以包括特定的数字结果，该结果被录入到表格中，或者被保存到设备1184上的文件，或者被保存到外部存储装置上。输出还可以包括由设备1184生成和存储的原始数据、经预处理的原始数据、或完全处理的数据。例如，关于OCT，并且特别是关于谱域OCT，原始数据可以包括在光谱仪（spectrometer）的检测器处获取的波长相关的数据。经预处理的原始数据可以包括线性化或归一化之后的谱信息。完全处理的原始数据可以包括在应用了包括傅立叶变换的各种过程之后从谱数据导出的结构图像。原始数据的可用性和实用性取决于模态1189、设备1184和设备制造商和方案中的规范、以及可能对研究有用的信息内容。为原始数据定义对于所有利益相关者将可接受的通用模板可能几乎是不可能的，并且因此用于管理灵活且可追踪的原始数据的系统是高度有价值的。最常见的输出形式是特定于设备的报告，频繁地被存储在图像文件（诸如PDF或便携式网络图形（PNG））中，或者也许被存储在更易得到的医学数字成像和通信（DICOM）文件中。因此，本发明概念的实施例提供了一种灵活且对于文件格式不可知的集成平台。

如在例如Park中所指示，电子接口可以是可用的，该电子接口允许CTMS与电子IRB、健康信息系统或ERP系统等集成。对于结果管理，通常不存在通用的集成系统。这并不是说不存在用于管理诊断测试、成像和生物试样的系统。然而，这些系统倾向于是非常具体的工作流程的一部分，并且倾向于不与CTMS集成。就这些系统能够对接而言，它们通常没有被配备成管理原始数据的交换，并且因此在功能中留下了宽的差距。例如，图像存档和通信系统（PAC）和实验室信息系统（LIMS）分别管理医学成像器的视觉显示和生物试样测试结果的记载。

为了概括对不可能由或通过PACS、LIMS或此类类似系统连接的结果数据的访问，本发明概念的实施例将检查1183规范记录与解决数据收集功能中的重要差距的数据管理工作流程引擎相耦合。具有软件应用的移动设备可以在数据获取会面期间使用，会面通常指代根据方案对受试者的一个或多个检查的序列。移动设备（例如平板电脑、移动电话、移动手表等）包括在计数器中跟踪通过各种检查的受试者。如Lattice中所设计的，移动设备允许跟踪特定检查的开始和停止时间，并且如利用表格那样记载特定的定量数据和注解。如最初设计的那样，Lattice不提供用于从设备传递原始数据或其他数据的预备。本发明概念的一些实施例包括通信载具，以便于和/或记录设备数据到存储位置的传递。这个通信载具可以包括例如与设备的有线或无线通信，该设备发起从该设备到存储位置的传递序列。通信载具记录附加信息，包括传递的发起和结束，并且唯一地标记数据和数据库记录，以跟踪和验证该数据最终处于目标位置中。

这个通信载具/方法的重要且有用的特征是：负责检查的协调者不需要知道数据将被存储的地方的细节，或者无需维护动作的书面日志。与检查相关的这个信息被维持在方案、会面和检查的记录中。活动记录可以是在用户发起的开始和停止命令下半自动的，但是期望的行为是自动的。本发明概念的这个方面进一步适合于自动记录生成，以验证检查的完成和期望数据的传递。此类记录可以是完全自动的，或者在请求时被发起。

在许多情况下，检查的协调者将不能够触发该设备来将数据传递到期望的存储位置。这可能是因为该设备内缺少协作效用，或者是因为缺少到存储位置的网络连接。在本发明概念的一些实施例中，随着执行检查的人将数据从该设备物理地传递到本地临时存储（LTS）设施，与检查相协调的动作的时间和地理跟踪遵循结果记录。类比于邮政递送系统，LTS是其中文件被递送的邮箱，并且与本发明的数据和工作流程管理系统（DWMS）通信的LTS利用方案指令和动作记录来确定数据的目的地。将理解的是，与邮政递送系统形成对照，执行检查的人不需要“寻址”数据。该地址可以嵌入在用于试验的方案-会面-检查指令内。

在将数据递送至其目标目的地之前，LTS可以应用一系列处理步骤，所述步骤进一步简化试验和数据的管理。首先，LTS使用嵌入在方案和检查的规范内的指令来从数据中移除受保护的健康信息（PHI）。例如，PHI可以存在于文件名中，存在于数字文件的标题信息内，或者作为图像嵌入在图像内。可以针对特定检查的特定输出开发PHI移除指令，并且将该移除指令存储在适当地可访问的库中。可以从数据源下游的网络访问适当的PHI移除引擎，并且在LTS处接收时将该PHI移除引擎应用于数据。

现在参考图12，将讨论根据本发明概念的实施例的系统的模型。特别地，图12图示了根据本发明概念的一些实施例的通信接口，该通信接口用于控制图像数据通过LATTICEAPI从本地临时存储装置到储存库的移动。将理解的是，虽然该系统用LATTICE元件来图示，但是本发明概念的实施例不限于这个配置。

如所图示，该系统包括与该系统集成的一个或多个设备I-1至I-n，n是任何整数。如所图示，设备I-1至I-n耦合到本地临时存储装置1205。来自设备I-1至I-n的数据可以被提供给验证盒1215，该验证盒1215被配置成在分发之前移除PHI和应用于数据的其他指令。API 1225是各种编程接口，该接口允许指令和方法到数据和工作流程管理系统（DWMS）系统的灵活和功能性集成。在这些实施例中，Lattice提供了数据管理系统，并且储存库作为数据存储系统来存储该数据。图12的系统将移动设备1255图示为Lattice平板电脑。然而，将理解的是，在不脱离本发明概念的范围的情况下，可以使用可用于会面管理的任何移动通信设备。

随着患者隐私需求继续演变，PHI移除的状态（即PHI引擎的算法定义）可以被存储在数据的关系记录中。当法规改变时，或者当数据将被用于具有不同法规的位置中时，可以读取PHI日志以评估对新标准的遵从性，并且可以应用新的PHI移除引擎。

其内包含的生物统计信息是潜在的关注。指纹当前被识别为是可标识的PHI。面部识别是明确的关注。此外，存在潜在的其他图像数据或组学数据（基因组），其今天不被认为是标识性的，未来可能被认为是受保护的信息。因此，PHI移除引擎可以包括抽取引擎等，以将数据掩饰成分开地存储的分数元素。此类分数元素可以用于保护患者、便于数据传递或便于过程自动化。在本发明概念的一些实施例中，生物统计抽取引擎可以针对特定的检查被独立地定义，并且在检查库内被维护，并且根据方案的规则被自动应用。

将理解的是，储存库1245可以存储结果数据以及用于检查的库、PHI移除引擎、工作流程指令、试验文件记录和任何分析结果、动作等，其形成与数据的交互历史。Lattice提供了方案、检查和用于支配和管理的各种方法之间的连接。实际上，Lattice和储存库可以由单个关系数据库来维护。然而，在本发明概念的一些实施例中，Lattice是关系或混合数据库，并且储存库是数据库的集合，并且这些数据库通常是具有键值对的非关系数据库，该键值对允许可扩展性和可伸缩性、以及与Lattice的互操作性的维持。在多云架构中，储存库项可以被隔离成各类型，并且独立地存储在分开的物理位置处。此类系统为成本管理提供了灵活性，同时将安全性最大化。

可以在LTS的验证引擎1215中部署附加操作。第一个操作可以是对照检查的期望来验证数据。在错误验证的情况下，Lattice可以向检查者发出信号来解决问题。这个期望集合可能是纯结构性的：文件是期望类型并且大小是期望大小吗

或者，可能存在对数据质量（例如图像质量）的更多的技术要求。用于特定检查的验证引擎1215可以包括用于评估图像质量的算法，或者可以包括用于确定结果满足试验要求的可能性的更复杂的配方。这个数据验证活动是临床试验中的延迟和成本超支的重要原因，因为验证在CRO处发生，并且在检查与验证之间可能存在显著的延迟。本发明的概念极大地改进了这个反馈过程的效率，减少了错误和遵从性验证，并且降低了安排患者来重新检查的成本和难度。

再次参考图11，数据和工作流程管理系统（DWMS）架构的数据利用层1022特别地在临床试验管理的情境内提供了全新类型的功能，并且更一般地在基于图像的自主决策支持的图像管理的一般情境内提供了全新类型的功能。虽然更传统的CTMS或图像管理系统可以被认为是状态机，例如，用于临床试验的标量或通用会计系统，但是根据本发明概念的实施例的系统提供了一种工作流程引擎，该工作流程引擎支持定义、发起、执行和验证从状态机驱动的可扩展的工作流程集合，并且驱动创建新状态的复杂活动集合。

Park的常规CTMS适当地反映了临床试验管理过程的错综混杂性和复杂性。CTMS系统停止在算法分析开始的地方。CTMS系统当然可以从它们相应的数据库中生成报告，但是它们不能够并且也不会扩展到包括专家注释或标记、专家分级、图像处理算法的应用、或新算法、配方、结果度量或生物标志物的开发的分析种类。但是这个分析活动是针对该研究中的投资的原因。从CTMS到分析的这个切换本身是成本高昂的，易于出错，不可伸缩，并且极其低效。

在本发明概念的一些实施例中，可以根据方案规范自动将数据分配到专家。例如，方案可以指定要由一个或多个人类专家来注释、标记或分级的一类或多类数据。配方是预定义的，其根据方案来查询和过滤数据，将所有相关数据（其可以属于单个或混合模态）整合成可跟踪的集合，并且将用于审查的数据分配给专家小组。当专家与所呈现的数据交互时，该系统跟踪交易，并且将专家注释、标签和等级记录为单独的项目，以用于随后的质量审查和分析。该系统可以将数据随机化，使得交互的次序没有被偏向，并且该系统可以包括测试数据和重复数据以添加到质量控制。所有这个都可以在数据和工作流程管理系统（DWMS）系统的工作流程层内自动进行，并且交易和结果在图11的数据和工作流程管理系统（DWMS）的交易和可追踪性层中被记入日志。

在本发明概念的一些实施例中，根据方案规范自动将数据分配到自动分析工具（算法和配方）。类似地，方案可以指定一个或多个被批准的计算算法以被应用于数据的类。配方是预定义的，其根据方案来查询和过滤数据，将所有相关数据（其可以属于单个或混合模态）整合成可跟踪的集合，并且分配用于算法计算的数据。该系统跟踪交易并记录结果。该系统可以包括测试数据和重复数据以添加到质量控制。所有这个都在数据和工作流程管理系统（DWMS）的工作流程层内自动进行，并且交易和结果在图11的数据和工作流程管理系统（DWMS）的交易和可追踪性层内被记入日志。

在本发明概念的一些实施例中，工作流程是数据输入、用户动作、自动配方的应用和数据输出的定序组合，例如，如图13中所示。工作流程是数据和工作流程管理系统（DWMS）中定义的条目，并且是可定义的、可复制的、可编辑的和可共享的。如所图示，工作流程1300的执行通过应用接口1310来实现，通过交易和可追踪性层1340被跟踪，并且在数据和工作流程管理系统（DWMS）的许可和准许层1350中被认证。

在本发明概念的一些实施例中，配方1330是数据输入1320、自动算法1325和数据输出1335的定序组合，并且在图13中示出。配方1330是DWMS中定义的条目，并且是可定义的、可复制的、可编辑的和可共享的。配方1330的执行使得能够被工作流程1300调取，通过交易和可追踪性层1340被跟踪，并且在DWMS的许可和准许层1350中被认证。

在本发明概念的一些实施例中，配方1330是数据输入1320、自动算法1325和数据输出1335的定序组合，如图13中所示。配方1330是DWMS中定义的条目，并且是可定义的、可复制的、可编辑的和可共享的。配方1330的执行由工作流程1330调用，通过交易和可追踪性层1340被跟踪，并且在DWMS的许可和准许层1350中被认证。明确地说，配方1330是完全自动的，并且由可以包括用户动作的工作流程1300调用。

在本发明概念的一些实施例中，由模块实现的算法1370是一组计算操作，所述计算操作依赖于一组数据输入1360，并且产生一组数据输出1380。算法1370是DWMS中定义的条目，并且是可定义的、可复制的、可编辑的和可共享的。算法1370的执行由配方1330调用，通过交易和可追踪性层1340被跟踪，并且在DWMS的许可和准许层1350中被认证。明确地说，算法1370是完全自动的，并且由配方1330调用。

在本发明概念的一些实施例中，可以通过绑定到独特配方1330中来针对独特应用定制算法1370。算法和配方可以是开发中的或经验证的，并且可以在DWMS中被如此标记，并且通过DWMS的许可和准许层1350被如此管理。

在本发明概念的一些实施例中，数据收集和项目可以用于调用多个并行工作流程，如图14中所图示。如所图示，集合1400内的数据可以被分配给并行的项目集，这里是项目集A、B和C。在这些实施例中，项目集A是需要用户交互来注释图像的一个或多个工作流程。如所图示，自动化步骤1410用于向用户呈现数据，并且应用接口使得用户能够注释图像1420，并且自动化步骤聚集并分析注释1430。可以存在多个这样的项目，例如以从多个专家积累数据来评估相似注释指令的可再现性，或者可以针对不同的注释指令被呈现给不同类的专家。所有这个活动都在DWMS内被管理，从而极大地简化了工作流程，并且生成后果结果。我们注意到，取决于问题解决的复杂性，注释工作流程1420可以接着是附加配方，并且原则上接着是附加用户交互工作流程；集成的集合输入、动作、配方和输出是完整的工作流程，并且提供了初步结果1440。

并行地，项目集B可以向经验证的配方1450呈现数据，该经验证的配方1450在没有任何用户动作的情况下自动计算结果度量。自动配方的这样的并行应用可以生成相对于项目集A的唯一的一组输出1460，或者可以以相同的一组输出作为目标用于比较性目的。出于解释的目的，项目集B的关键在于配方经验证被指定供方案使用。

并行地，项目集C可以用于新配方1470的训练中。训练配方1470可以生成与项目A和/或B的初步结果相比较的结果，并且反馈1490被应用以改进训练配方1480的性能。

开发新配方的过程涉及为自动分析、诊断或自主决策支持来创建经验证的生物标志物或客观结果度量。算法以及因此配方开发的一般过程涉及训练、测试和验证。算法验证的关键要求是对照从目标数据群体汲取的先前未检查的验证数据集来进行测试。

在本发明概念的一些实施例中，DWMS控制数据向训练集、测试集和验证集的分配。图14的图可以扩展到项目集D和E，其中项目集D用于测试，并且项目集E用于验证。用于开发配方的工作流程可以被独立地定义，或者与当前接受的工作流程并行地定义，从而允许用户在训练被认为成功时从测试集移动，并且在测试被认为验证了该训练时移动到验证集。

在本发明概念的一些实施例中，DWMS自动将数据分配到这些开发中的测试集，并且在验证步骤之前留出用户和配方不能够访问的验证集。对数据分配的访问作为审计踪迹被保留在DWMS的交易和可追踪性层中。一旦配方被验证，它就可以被锁定和保管（escrow），以用于重复使用。

这个过程可以在从DWMS汲取的数据上可追溯地使用。可能会问新的问题，所创建的集合、以及利用新的或修改的工作流程、配方和算法创建的新项目。在配方开发过程之后，可以分析、开发和验证新的分析方法和生物标志物。

追溯性数据分析的关键方面是管理所有者权利和保护人类受试者隐私。DWMS的许可和准许层提供了数据分配的关键，其中数据被广义地定义为受试者数据，以及可以针对追溯性研究被调用的任何工作流程、配方和算法库。

在本发明概念的一些实施例中，DWMS包括如图15中所示的数据请求工作流程1500。前瞻性数据用户（被许可方）通过DWMS查询来作出针对满足研究准则的数据的请求1505。DWMS管理员、数据所有者（许可方）或工作流程自动化基于许可和准许层内的准许来批准查询1530。许可方可以确认数据可用性1555/1535，确认对访问数据的授权1540，并且批准数据请求1545。自动配方然后可以创建特定于该请求的数据目录1560，并且将目录1565呈现给被许可方。具有对批准数据1515访问的被许可方然后可以控制研究，从该目录创建集合1520，并且如前面所描述的那样继续分析工作流程1510（创建分析项目1525）。

DWMS可以使用自动化来跟踪被许可方的数据访问1570和数据操作1575，以监视数据访问1550。然后，许可方可以从事会计工作流程1580来使数据访问可视化，确保关于许可的遵从性，或者执行传统的会计功能，诸如开发票。

在本发明概念的一些实施例中，可以根据方案中的规定来自动聚集来自专家和算法的分析。在一些实施例中，分析的诊断解释可以是自动化的。

在本发明概念的一些实施例中，可以自动将数据分配到算法测试库，该算法测试库可以用于与方案相关联的规定测试之外的比较性研究。

在本发明概念的一些实施例中，可以自动记载与数据相关联的交易日志中的分析（并且因此通过数据结构内的所有维度而是可追踪的）。

数据分配发生在数据利用层，以用于呈现给数据分析层。前瞻性数据分配是方案研究计划所规定的那些分配。任何前瞻性研究计划、并且特别是任何前瞻性转化医学研究计划中的最佳实践要具有充分定义的假设、数据处理计划、统计计划和假设成功量度。这个计划必须在设计试验或分析任何结果之前被准备，以避免解释偏差。数据分配策略和处理步骤必须是完全可再现的，并且是有意地可修订的，以测试输入和工作流程条件的可再现性和敏感性。在本发明概念的一些实施例中，处理配方可以被开发为驱动了研究的工作流程层内的库。配方可以由步骤序列组成，其中一些是完全自动化的，其中一些是由系统的用户触发的，其中一些需要专家交互，并且其中一些是完全自主的。

例如，可以将用于测试减少视网膜水肿的药物干预的配方附接到指定了两个检查的方案：具有黄斑厚度（结构性）的结果度量的OCT检查以及视觉敏度测试（主观功能）。使用Lattice来安排和跟踪会面，使用移动通信载具、本地临时存储装置、验证处理器处的数据质量评估引擎和PHI移除引擎来收集、验证检查数据并将检查数据传递到储存库，并且分发到储存库。配方是利用以下步骤来调用的：（1）根据预定义过滤器来创建输入数据的集合，例如将性别、年龄组、潜在健康状况分离到集合中；（2）将集合内的数据分配给项目；以及（3）将项目分配给一个或多个处理路径，其中处理可以是新配方，该新配方其本身是步骤序列，作为一个示例，其中这样的步骤可以包括专家解释、注释或标记、自动计算、可视化和校正、从校正结果自动生成定量量度、生成图形输出、生成制表输出、以及生成集成报告。这个情境中的项目可以用来管理沿着平行路径的数据的盲处理，以用于统计目的和比较性目的。如本文中所定义的，项目包含相似的数据集，尽管它们可包括集合的随机化子集。集合被用于管理数据集，以回答不同的问题，诸如性别、年龄、干预等的影响。

在本发明概念的一些实施例中，数据元素可以包括医学健康信息和医学图像，并且工作流程可以与医学研究、临床试验、临床诊断或手术干预相关联。这些数据元素可以特定于特定学科（诸如眼科），可以特定于特定疾病（诸如青光眼），或者可以特定于特定器官（诸如眼睛）。

然而，数据元素可以更广泛地应用于更通用的数据架构内，该数据架构包括元数据和联合元数据本体、或术语库、任何类型的图像和联合图像本体、其他定量客观数据、主观数据、工作流程、数据分配引擎、许可和准许模块、交易分类帐、配方和算法，其全部可以被应用于基于图像的自主决策制定和自主决策支持的开发和应用。用于此类DWMS的在医学之外的应用包括但不限于自主载具、机器人和安全性。

在本发明概念的一些实施例中，数字基础设施提供数据、数据处理、数据传递和相关联的处理资源的逻辑和物理分离两者，所述处理资源是跨多个公共云、私有云和/或本地“预置”环境运行、安装和管理前面提到的应用和服务所需要的。这些基础设施能力允许本发明的概念部署在如例如图16中所图示的“多云”环境中。如图16中所图示，多云环境提供了其中数字基础设施和计算在多个联网的公共和私有云提供商之间被共享的环境。特别地，图16图示了多个用户1601、1602和1603；多个云环境1611、1612、1613和1614，其全部通过应用和数据服务1631来耦合。根据本文中讨论的实施例的基础设施能力还允许本发明的概念部署在如例如图17中所图示的“混合云”环境中。如图17中所图示，混合云环境提供了其中数字基础设施和计算在多个联网的公共和私有云提供商以及本地“预置”服务器和/或计算机之间被共享的环境。特别地，图17图示了如下环境：该环境包括多个用户1701、1702、1703和1704；多个云1711和1712、定制的联网环境1721、以及由应用和服务1731耦合的本地“预置”环境。

参考图18，可能与本发明概念的各方面相关的各种管理模块包括实体管理模块、角色管理模块、数据管理模块、通知管理模块、受试者管理模块、会面管理模块、PHI管理模块、项目管理模块、研究管理模块、财务管理模块、工作流程管理模块、注释管理模块、检查管理模块、设备管理模块、许可管理模块和集合项目管理模块。将理解的是，这些管理模块仅作为示例提供，并且因此，这个列表不是详尽的。

如根据上面讨论的实施例是清楚的，本发明概念的一些方面可以通过数据处理系统来实现。数据处理系统可以被包括在该系统的任何模块处，而不脱离本发明概念的范围。将关于图19来讨论根据本发明概念的实施例而配置的数据处理系统1930的示例性实施例。数据处理系统1930可以包括用户接口1944，包括例如与处理器1938通信的（多个）输入设备（诸如键盘或键区、显示器、扬声器和/或扩音器）、以及存储器1936。数据处理系统1930可以进一步包括也与处理器1938通信的（多个）I/O数据端口1946。I/O数据端口1946可以用于使用例如互联网协议（IP）连接来在数据处理系统1930和另一计算机系统或网络之间传递信息。这些部件可以是常规部件，诸如在许多常规数据处理系统中使用的那些，其可以被配置成如本文中描述的那样来操作。

在附图和说明书中，已经公开了本发明概念的示例性实施例。然而，在基本上不脱离本发明概念的原理的情况下，可以对这些实施例作出许多变化和修改。因此，虽然使用了特定术语，但是它们仅在一般和描述性的意义上来使用，并且不是为了限制的目的，本发明概念的范围由以下权利要求来限定。

Claims (20)

1.一种用于收集、存储和分发在研究或临床环境中获取的受试者图像的集成系统，所述集成系统包括：

图像和数据储存库，其包括源自一个或多个图像生成设备的多个图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；

工作流程管理模块，其与图像和数据储存库以及与存储所成像的受试者的图像的一个或多个图像生成设备和/或存储设备直接通信，工作流程管理模块被配置成将所述图像从一个或多个图像生成设备和/或存储设备直接传送到图像和数据储存库，并且管理图像和数据储存库中的图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的整理和分发；

其中工作流程管理模块包括数据集成模块、数据管理模块、预处理引擎和数据利用模块；

其中数据集成模块结合工作流程管理模块从一个或多个用户选择的电子数据源接收数据；数据管理模块将通过数据集成模块接收到的数据解析成图像和数据储存库内的记录；预处理引擎被配置成在将图像或数据存储在储存库中之前在图像和数据上运行一个或多个自动算法；并且数据利用模块将来自储存库的图像和数据分发给授权用户，以用于根据工作流程管理模块内定义的自动化规则进行分析；

其中所述自动化规则包括用于人类注释、标记和分级的数据掩蔽的规则、以及用于将数据解析成分级集、算法训练集、算法测试集和算法验证集的规则；

其中工作流程管理模块进一步包括：用于在与图像和数据储存库通信的工作流程管理模块的框架内记录并追踪与应用于图像和数据的自动处理例程相关联的活动的自动记入日志、以及在与图像和数据储存库通信的工作流程管理模块的框架内对所有图像和数据的用户访问记录的自动记入日志；以及

其中包括特定工作流程的过程和自动化的有序组合由用户使用可用操作的库来配置。

2.根据权利要求1所述的集成系统，其中工作流程管理模块进一步包括数据分析模块，数据分析模块被配置成与多个库通信，所述多个库中的每一个涉及与图像和数据一起传输的元数据、与图像和数据相关联的所有权和许可、以及适用于图像和数据的类的自动化过程。

3.根据权利要求2所述的集成系统，其中所述多个库基于在研究或临床环境中执行的演变的检查及其细节被不断地用新的库和子库来更新。

4.根据权利要求2所述的集成系统，其中数据分析模块包括多个分离的模块，所述多个分离的模块涉及图像和数据清理、注释和分级；自动图像和数据分析；以及分析方法和生物标志物开发和验证。

5.根据权利要求2所述的系统，其中数据分析模块被配置成根据配方来分析通过数据利用模块提供的可用图像和/或数据的集合，其中所述配方被配置成根据指派给方案的规则的库来隔离、掩蔽和分配数据；将数据汇集到可跟踪的集合中，并且分配所述数据以进行审查。

6.根据权利要求1所述的集成系统，进一步包括与所述系统中的模块通信的移动设备，所述移动设备被配置成通过一系列一个或多个图像或数据生成检查来跟踪受试者；记录所述检查期间的相关信息和结果；将所记录的信息和结果从所述移动设备传递到数据分析模块和/或储存库，并且向一个或多个用户提供检查已经完成并且图像和数据已经被传递的通知。

7.根据权利要求1所述的集成系统，其中预处理引擎进一步被配置成：

通过工作流程管理模块来接收图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；

确定特定指令集，所述特定指令集关联于从工作流程管理模块接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；以及

基于关联于从工作流程管理模块接收到的图像和数据的所述特定指令集来处理接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据；

存储具有到输入图像和数据的可追踪性的经处理的图像和数据；

将应用于所述图像和数据的操作记入日志。

8.根据权利要求7所述的集成系统，其中关联于接收到的图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据的所述特定指令集由数据字段中的指示符集来确定，所述指示符将预处理引擎涉及用于来自特定数据生成设备的接收到的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的所述特定指令集。

9.根据权利要求7所述的集成系统，其中预处理引擎进一步被配置成对从工作流程管理模块接收到的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据进行验证、量化、注释和分类中的至少一个。

10.根据权利要求1所述的集成系统，其中预处理引擎被配置成：

从原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据中移除非必需或私有数据；

存储所移除的非必需或私有数据；以及

在回收所述非必需或私有数据之前，从与原始图像和数据相关联的用户请求许可。

11.根据权利要求1所述的集成系统，其中工作流程管理模块使用关系或结构化查询语言（SQL）数据库以结构化方式来存储图像、与所述图像相关联的数据、以及与所成像的受试者相关联的数据，并且其中云存储模块使用非关系或非SQL数据库以非结构化方式来存储被去标识、经处理的图像和数据。

12.根据权利要求1所述的集成系统，进一步包括云中的以下模块中的至少一个：

与云存储模块通信的算法模块，算法模块被配置成将规则集合应用于存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分；

与云存储模块通信的配方模块，配方模块被配置成将一系列算法应用于存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分；以及

与云存储模块通信的导出模块，导出模块被配置成使用存储在云存储模块中的被去标识、经处理的图像和数据的至少一部分，并且从中导出新的图像和数据。

13.根据权利要求12所述的集成系统，其中导出模块被配置成评估被去标识、经处理的图像和数据的质量；减少被去标识、经处理的图像和数据中的噪声；分割所述图像和数据；和/或测量被去标识、经处理的图像和数据。

14.根据权利要求1所述的集成系统，其中存储在云存储模块中的被去标识、经处理的图像和数据由云中的各种模块来自动更新。

15.根据权利要求14所述的集成系统，其中云中的模块利用人工智能（AI）、统计抽象；图像抽象和图像提取中的一个或多个。

16.根据权利要求1所述的集成系统，其中存储在云存储模块中的被去标识、经处理的图像和数据包括以下各项中的至少一个：统计数据；经处理的图像；缩减的图像；追溯性图像；体内图像；体外图像；功能测试结果；以及生物样本测试结果。

17.根据权利要求1所述的集成系统，其中应用于原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据的交易和操作、以及应用于由所述交易和操作得到的随后经处理的图像和数据的交易和操作被记录在类似区块链的分类账中。

18.根据权利要求17所述的集成系统，其中被记录在所述分类帐中的交易和操作包括用于训练、测试和验证操作的图像和数据的子集的分配。

19.一种用于处理并使用在研究或临床环境中获取的受试者图像的方法，所述环境包括：图像和数据储库，其包括源自一个或多个图像生成设备的多个原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据；以及工作流程管理模块，其与图像和数据储库以及与存储所成像的受试者的原始图像的一个或多个图像生成设备和/或存储设备直接通信，工作流程管理模块被配置成将原始图像从一个或多个图像生成设备和/或存储设备直接传送到图像和数据储库，并且管理并分析图像和数据储库中的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据，其中工作流程管理模块包括数据集成模块、数据管理模块、预处理引擎和数据利用模块，所述方法包括：

结合工作流程管理模块从一个或多个用户选择的电子数据源接收数据；

将通过数据集成模块接收到的数据解析成图像和数据储存库内的记录；

在将图像或数据存储在储存库中之前在图像和数据上运行一个或多个自动算法；以及

将来自储存库的图像和数据分发给授权用户，以用于根据工作流程管理模块内定义的自动化规则进行分析，

其中所述自动化规则包括用于人类注释、标记和分级的数据掩蔽的规则、以及用于将数据解析成分级集、算法训练集、算法测试集和算法验证集的规则；

其中工作流程管理模块进一步包括：用于在与图像和数据储存库通信的工作流程管理模块的框架内记录并追踪与应用于图像和数据的自动处理例程相关联的活动的自动记入日志、以及在与图像和数据储存库通信的工作流程管理模块的框架内对所有图像和数据的用户访问记录的自动记入日志；以及

其中包括特定工作流程的过程和自动化的有序组合由用户使用可用操作的库来配置。

20.一种用于处理并使用在研究或临床环境中获取的受试者图像的计算机程序产品，所述环境包括：图像和数据储库，其包括源自一个或多个图像生成设备的多个原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据；工作流程管理模块，其与图像和数据储库以及与存储所成像的受试者的原始图像的一个或多个图像生成设备和/或存储设备直接通信，工作流程管理模块被配置成将原始图像从一个或多个图像生成设备和/或存储设备直接传送到图像和数据储库，并且管理并分析图像和数据储库中的原始图像、与原始图像相关联的数据、以及与所成像的受试者相关联的数据，其中工作流程管理模块包括数据集成模块、数据管理模块、预处理引擎和数据利用模块，所述计算机程序产品包括：

非暂时性计算机可读存储介质，其具有包含在所述介质中的计算机可读程序代码，所述计算机可读程序代码包括：

用于结合工作流程管理模块从一个或多个用户选择的电子数据源接收数据的计算机可读程序代码；

用于将通过数据集成模块接收到的数据解析成图像和数据储存库内的记录的计算机可读程序代码；

用于在将图像或数据存储在储存库中之前在图像和数据上运行一个或多个自动算法的计算机可读程序代码；以及

用于将来自储存库的图像和数据分发给授权用户以用于根据工作流程管理模块内定义的自动化规则进行分析的计算机可读程序代码，

其中所述自动化规则包括用于人类注释、标记和分级的数据掩蔽的规则、以及用于将数据解析成分级集、算法训练集、算法测试集和算法验证集的规则；

其中工作流程管理模块进一步包括：用于在与图像和数据储存库通信的工作流程管理模块的框架内记录并追踪与应用于图像和数据的自动处理例程相关联的活动的自动记入日志、以及在与图像和数据储存库通信的工作流程管理模块的框架内对所有图像和数据的用户访问记录的自动记入日志；以及

其中包括特定工作流程的过程和自动化的有序组合由用户使用可用操作的库来配置。

Images