CN113972000A - 用于数据处理的方法、设备和介质 - Google Patents

Abstract

本公开的实施例涉及用于数据处理的方法、设备和介质。根据各种实施例，获取患者的放射学胶片的第一数字化图像以及与放射学胶片相关联的放射学报告的第二数字化图像。从第一数字化图像提取至少一个子图像，至少一个子图像呈现在放射学胶片中捕获的患者的部位。从第二数字化图像提取医学文本信息。至少基于至少一个子图像和医学文本信息来生成格式化的医学图像文件。通过这个方案，可以自动将放射学胶片中的图像信息和相关联的放射学报告中的文本信息融合到统一文件中，使患者的医学信息的存储和访问更方便。

Description

用于数据处理的方法、设备和介质

技术领域

本公开的实施例总体上涉及医学数据处理，并且更具体地，涉及用于数据处理的方法、设备和介质。

背景技术

各种放射学成像技术已广泛用于医学诊断、放射治疗计划、手术计划和其他医疗过程，例如X射线摄影、磁共振成像(MRI)、计算机断层扫描(CT)、正电子发射断层扫描(PET)等。虽然已经存在一些医学信息的电子系统能够提供和存储医学数据，但在很多医院，特别是欠发达地区的医院或者较低级别的医院可能仍然没有硬件和软件基础架构能够支持这样的电子系统。此外，跨医院，特别是跨地区的医院之间的患者医学信息共享也存在局限性。因此，当前很多患者在进行放射学检查后会获得打印出来的硬拷贝形式的放射学胶片以及相关联的放射学报告。

除硬拷贝形式的放射学胶片外，电子放射学胶片技术已经开始被应用。电子放射学胶片指的是通过虚拟打印实现的放射学胶片。虽然电子放射学胶片不需要实体胶片承载，但胶片中的具体信息仍不能够被方便地呈现和分析。对于医生而言，电子放射学胶片只是换了一种存储介质的放射学胶片。

在后续医学诊断和治疗过程中，患者需要随身携带放射学胶片和报告，以供临床医生对患者的疾病状态和诊断历史进行追踪，从而正确评估后续的诊断和治疗。然而，当前的放射学胶片和报告不利于保存和携带，并且也不利于医生方便地查看。特别是对于诸如癌症之类的复杂且治疗周期长的疾病，患者的相关放射学胶片和报告数量非常多，而且同一个患者跨医院、跨地区转诊的情况经常发生。因此，期望能够更智能的系统来更好地管理和存储患者的医学信息。

发明内容

根据本公开的实施例，提供一种用于数据处理的方案。

在本公开的第一方面，提供了一种数据处理的方法。该方法包括：获取患者的放射学胶片的第一数字化图像以及与放射学胶片相关联的放射学报告的第二数字化图像。该方法还包括从第一数字化图像提取至少一个子图像，至少一个子图像呈现在放射学胶片中捕获的患者的部位，以及从第二数字化图像提取医学文本信息。该方法进一步包括至少基于至少一个子图像和医学文本信息来生成格式化的医学图像文件。

根据一些可选实施例，至少一个图像包括多个子图像，其中方法还包括：确定多个子图像对应的至少一个成像序列。根据一些可选实施例，生成格式化的医学图像文件包括以下至少一项：在医学图像文件中，标识多个子图像各自对应的至少一个成像序列中的相应成像序列，和在医学图像文件中，将多个子图像中对应于至少一个成像序列中同一成像序列的子图像相关联，以使在医学图像文件被显示时同一成像序列的子图像相关联地被显示。

根据一些可选实施例，多个子图像在第一数字化图像中按顺序排列，并且确定多个子图像对应的至少一个成像序列包括：确定多个子图像中多对相邻子图像中各个相邻子图像之间的多个相似度；将多个相似度与相似度阈值相比较；根据确定多对相邻子图像中第一对相邻子图像的相似度小于相似度阈值，将第一对相邻子图像划分到不同成像序列；以及根据确定多对相邻子图像中第二对相邻子图像的相似度超过相似度阈值，将第二对相邻子图像划分到相同成像序列。

根据一些可选实施例，该方法还包括：检测至少一个子图像中的文本区域；以及从文本区域识别文本以作为至少一个子图像的注释文本信息。根据一些可选实施例，格式化的医学图像文件包括：还基于注释文本信息来生成医学图像文件。

根据一些可选实施例，医学文本信息指示以下至少一项：诊断结果，放射学胶片中的影像表现的描述，患者的临床症状，放射学胶片的特征描述，对后续医学治疗或检查的建议，以及生成放射学胶片的医师或医疗部门。

根据一些可选实施例，该方法还包括：获取与患者的另外的医学检查相关联的医学检查报告，医学检查报告是数字化图像或可读文本格式；以及从医学检查报告提取另外的医学文本信息。根据一些可选实施例，生成格式化的医学图像文件包括：还基于另外的医学文本信息来生成医学图像文件。

根据一些可选实施例，该方法还包括：基于医学文本信息的至少一部分来标识至少一个子图像中的特定子图像中的感兴趣区域；以及在特定子图像的感兴趣区域上添加视觉标注，带有视觉标注的特定子图像被用于生成格式化的医学图像文件。

根据一些可选实施例，生成格式化的医学图像文件包括：生成医学数字成像和通信(DICOM)格式的医学图像文件，至少一个子图像和医学文本信息在医学图像文件的不同字段。

在本公开的第二方面，提供了一种电子设备。该设备包括：处理单元；以及存储器，耦合至处理单元并且包含存储于其上的指令。指令在由处理单元执行时使设备：获取患者的放射学胶片的第一数字化图像以及与放射学胶片相关联的放射学报告的第二数字化图像；从第一数字化图像提取至少一个子图像，至少一个子图像呈现在放射学胶片中捕获的患者的部位；从第二数字化图像提取医学文本信息；以及至少基于至少一个子图像和医学文本信息来生成格式化的医学图像文件。

根据一些可选实施例，至少一个图像包括多个子图像，其中方法还包括：确定多个子图像对应的至少一个成像序列。根据一些可选实施例，生成格式化的医学图像文件包括以下至少一项：在医学图像文件中，标识多个子图像各自对应的至少一个成像序列中的相应成像序列，和在医学图像文件中，将多个子图像中对应于至少一个成像序列中同一成像序列的子图像相关联，以使在医学图像文件被显示时同一成像序列的子图像相关联地被显示。

根据一些可选实施例，多个子图像在第一数字化图像中按顺序排列，并且确定多个子图像对应的至少一个成像序列包括：确定多个子图像中多对相邻子图像中各个相邻子图像之间的多个相似度；将多个相似度与相似度阈值相比较；根据确定多对相邻子图像中第一对相邻子图像的相似度小于相似度阈值，将第一对相邻子图像划分到不同成像序列；以及根据确定多对相邻子图像中第二对相邻子图像的相似度超过相似度阈值，将第二对相邻子图像划分到相同成像序列。

根据一些可选实施例，动作还包括：检测至少一个子图像中的文本区域；以及从文本区域识别文本以作为至少一个子图像的注释文本信息。根据一些可选实施例，生成格式化的医学图像文件包括：还基于注释文本信息来生成医学图像文件。

根据一些可选实施例，医学文本信息指示以下至少一项：诊断结果，放射学胶片中的影像表现的描述，患者的临床症状，放射学胶片的特征描述，对后续医学治疗或检查的建议，以及生成放射学胶片的医师或医疗部门。

根据一些可选实施例，动作还包括：获取与患者的另外的医学检查相关联的医学检查报告，医学检查报告是数字化图像或可读文本格式；以及从医学检查报告提取另外的医学文本信息。根据一些可选实施例，生成格式化的医学图像文件包括：还基于另外的医学文本信息来生成医学图像文件。

根据一些可选实施例，动作还包括：基于医学文本信息的至少一部分来标识至少一个子图像中的特定子图像中的感兴趣区域；以及在特定子图像的感兴趣区域上添加视觉标注，带有视觉标注的特定子图像被用于生成格式化的医学图像文件。

根据一些可选实施例，生成格式化的医学图像文件包括：生成医学数字成像和通信(DICOM)格式的医学图像文件，至少一个子图像和医学文本信息在医学图像文件的不同字段。

在本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据第一方面的方法的各种实施例。

附图说明

通过参考附图阅读下文的详细描述，本公开的上述以及其他目的、结构和特征将更加清楚。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：

图1示出了根据本公开的一些实施例的用于实现医学数据处理的环境的示意图；

图2示出了根据本公开的一些实施例的图1中的数据处理系统的胶片处理模块的示例结构的框图；

图3示出了根据本公开的一些实施例的子图像对之间的相似度的曲线的示意图；

图4示出了根据本公开的一些实施例的图1中的数据处理系统的文本处理模块的示例结构的框图；

图5示出了根据本公开的一些实施例的对子图像的文本区域定位的示例的示意图；

图6示出了根据本公开的一些实施例的图1中的数据处理系统的文件生成模块的示例结构的框图；

图7示出了根据本公开的一些实施例的在子图像中标注感兴趣区域的示例的示意图；

图8示出了根据本公开的另一些实施例的数据处理系统的示例结构的框图；

图9示出了根据本公开的一些实施例的数据处理方法的流程图；以及

图10示出了适于实现本公开的实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如上文简述，诸如放射学胶片和放射学报告等医学信息的当前承载方式对于患者和医生都会带来不便。在一些现实场景中，可能需要医学助理手动将放射学胶片和放射学报告进行数字化。例如，通过扫描仪来将放射学胶片和放射学报告扫描成JPG、TIFF或PNG等格式的数字图像。通过手动操作，这些数字图像可以被链接到患者的电子病历(EMR)以供医生查看。然而，这个过程耗费较大人力。此外，通常放射学胶片的尺寸较大，而扫描时为了保留足够清晰度，数字图像的尺寸也会较大，导致后续查看不便。此外，放射学胶片和放射学报告的数字图像互相分离，在查看时将需要在多个图像之间来回切换，非常繁琐且费时。

根据本公开的实施例，提出了一种改进的用于医学数据处理的方案。根据该方案，从患者的放射学胶片的数字化图像中提取呈现放射学胶片中捕获的患者的部位的一个或多个子图像，并且从与放射学胶片相关联的放射学报告提取医学文本信息。通过使用适当的文件格式，将一个或多个子图像和医学文本信息一起用于生成格式化的医学图像文件。通过这个方案，可以自动将放射学胶片中的图像信息和相关联的放射学报告中的文本信息融合到统一文件中，使患者的医学信息的存储和访问更方便。

图1示出了根据本公开的一些实施例的用于实现医学数据处理的环境100的示意图。应当理解，图1示出的实体、元素和模块的数目和布置仅是示例，环境100中可以包括不同数目和不同布置方式的实体、元素和模块。

在图1的环境100中，数据处理系统105被配置为对患者的放射学胶片142的数字化图像102和放射学报告152的数字化图像104进行处理，以生成具有适当格式的医学图像文件。在本文中，有时为方便于讨论，数字化图像102也称为“第一数字化图像”，数字化图像104称为“第二数字化图像”。

在本文中，放射学胶片可以是硬拷贝的胶片，或者可以是电子胶片。放射学胶片142通常是对患者的一个或多个部位进行适当的放射学检查而得到。放射学胶片142捕获到患者的一个或多个部位，例如腹部、脑部、胸部、颈部、以及任何其他器官/组织。放射学胶片142例如可以是透射计算机断层摄影(CT)胶片、磁共振(MR)影像胶片、正电子发射断层摄影(PET)胶片、PET-CT胶片、单光子发射计算机断层摄影(SPECT)胶片等等。

放射学报告152通常是由放射科医生根据放射学胶片142准备的报告，其主要作用是将对放射学胶片142的医学发现传达给其他医学专家，诸如患者的临床医师、肿瘤学家等。因此，放射学报告152与放射学胶片142相关联。放射学报告152是基于文本的报告，其主要或完全包括文本，并且也是硬拷贝的形式。

为了执行后续处理，放射学胶片142经由胶片数字化设备140转换成数字化图像102，放射学报告152也经由报告数字化设备150转换成数字化图像104。在一些实施例中，胶片数字化设备140例如可以是任何胶片扫描仪，特别是高清胶片扫描仪，例如支持200dpi(每英寸点数)、2000dpi、3000dpi等分辨率的扫描仪。胶片数字化设备140也可以是其他能够将硬拷贝转换成数字化图像的图像数字化仪，例如是高速摄像设备。对于电子放射学胶片，胶片数字化设备140可以是支持将电子放射学胶片转换为数字图像格式的设备。类似的，报告数字化设备150也可以是任何适当的扫描仪或摄像设备。数字化图像102和104可以是任何格式的图像，例如JPG、TIFF、PNG格式等。

数字化后得到的数字化图像102和104被提供给数据处理系统105。如图1所示，数据处理系统105包括胶片处理模块110、文本处理模块120和文件生成模块130。胶片处理模块110被配置为获取和处理放射学胶片142的数字化图像102。胶片处理模块110主要是从数字化图像102提取一个或多个子图像112，其中呈现放射学胶片142中捕获的患者的部位。文本处理模块120被配置为获取和处理放射学报告152的数字化图像102，以提取其中的医学文本信息122。可选地，如下文一些实施例中所描述的，文本处理模块120还可以被配置为处理数字化图像102中的一个或多个子图像112，以从中提取辅助文本信息。

文件生成模块130被配置为至少基于一个或多个子图像112和医学文本信息122来生成格式化的医学图像文件132。医学图像文件132的格式可以被选择为能够合并图像信息和文本信息的适当电子格式。在本文中，文件的“格式”或“电子格式”指的是按预定的标准化方式来将信息组织或编码到计算机文件中，使文件中的信息能够被存储、通信和按预定方式被显示。文件生成模块130可以按照所选择的格式来将各个子图像112以及医学文本信息122组织到单个计算机文件中，得到格式化的医学图像文件132。格式化的医学图像文件132是计算机可读、可传输和可显示的。

根据本公开的实施例，数字处理系统105不仅能够将放射学胶片和放射学报告转换成电子格式的文件，而且还能够自动将放射学报告中的有用文本信息与放射学胶片中的图像信息融合在单个格式化文件中，便于医学信息存储以及后续的查看。

所生成的医学图像文件132可以被存储到对应的数据存储系统160。数据存储系统160是适合于存储医学图像文件132的对应格式数据的任何数据存储系统，例如服务器、数据管理中心、文件系统等。医学图像文件132作为患者的医学数据，其被归档到数据存储系统160后可以作为后续诊断和治疗的参考。患者已有的或后续的其他电子化医学数据也可以被关联到医学图像文件132，从而建立患者的完善医疗信息集成。

在一些应用中，终端设备170可以通过发起文件获取请求172来查看数据存储系统160中的医学图像文件132。终端设备170例如可以是医学观察站的设备，医院或医生的终端设备等。在一些实施例中，由数据处理系统105生成的医学图像文件132也可以从数据处理系统105直接提供给终端设备170，使医学图像文件132可以被本机查看。终端设备170可以利用适合显示医学图像文件132的格式的工具来进行文件显示。

下文将对数字处理系统105中各个模块的具体实施例进行详细描述。

图2示出了根据一些实施例的数据处理系统105的胶片处理模块110的示例结构的框图。胶片处理模块110包括子图像划分模块210，被配置为从数字化图像102中划分捕获患者的成像部位的一个或多个子图像112。放射学胶片142可能由一个或多个呈现部分构成。为便于说明，图2示出了一个示例数字化图像102，其中包括多个子图像，每个子图像对应于放射学胶片142中的一个呈现部分。注意，该示例数字化图102不对本公开的范围有任何限制。如图所示，数字化图像102中的子图像通常按特定顺序排列，例如在图2的示例中是以网格形式排布。

子图像划分模块210可以被配置为检测数字化图像102中的各个网格区域。这些网格区域的网格线通常是由垂直线和水平线来指示。子图像划分模块210可以被配置为利用线条检测算法来检测数字化图像102中的网格线，进而定位各个网格区域。子图像划分模块210可以按网格区域提取数字化图像102中的一个或多个子图像112。

放射学胶片142的尺寸通常较大，特别是如果其中的呈现部分数目较多时。为了保留足够的清晰度，数字化图像102也会比较大，如果直接保存和显示整个数字化图像102，终端设备170的显示界面一次性仅能显示数字化图像102的一部分，从而查看者可能需要通过缩放或者拖拽的方式才能查看完整图像。在本公开的实施例中，通过将数字化图像102进行自动图像划分，使基于子图像的呈现具有更大灵活度，方便查看。在一些实施例中，按网格划分得到的每个子图像的边缘区域可能还存在注释文本信息，在这种情况下，子图像划分模块210可以将边缘注释文本信息通过图像处理手段删除，或者通过选择子图像的边界区域而将注释文本信息排除在子图像112之外。

在一些实施例中，数字化图像102中的多个子图像可能对应于放射学胶片142中按不同成像方式生成的呈现部分，例如以不同解剖角度或在造影剂的不同阶段捕获的影像。按不同成像方式生成的呈现部分以及它们的数字化子图像被认为对应于不同成像序列。作为示例，在放射学检查中，不同成像序列包括T1加权(T1W)成像序列、T2加权(T2W)成像序列、扩散加权成像(DWI)序列、磁共振灌注加权成像(PWI)序列等，以及造影扫描、动脉期、门静脉期、延迟期、平衡期等造影剂的不同扫描期对应的成像序列，等等。

为了方便后续查看时更好地区分不同成像序列，胶片处理模块110还包括序列确定模块220，其被配置为确定数字化图像102中划分的多个子图像112对应的一个或多个成像序列。在图2的示例中，多个子图像112被划分为成像序列222-1、222-2、……、222-N(为便于讨论，统称为或单独称为成像序列222，其中N大于等于1的整数)。每个成像序222可以包括一个或多个子图像112。

在一些实施例中，序列确定模块220可以通过判断相邻子图像112之间的相似度来确定如何划分成像序列。在数字化图像102中，子图像112通常按顺序排列，例如按网格图案排列。因此，序列确定模块220可以按数字化图像102中的子图像的排布方式，以特定顺序对多个子图像112进行排序。例如，序列确定模块220可以从按从上到下、从左到右的顺序将多个子图像112排序成一个队列。

基于排序，序列确定模块220可以确定多个子图像112中每对相邻子图像之间的相似度。每对子图像之间的相似度也可以称为这两个子图像的互相关度。序列确定模块220可以利用图像处理算法来确定每对相邻子图像之间的相似度。相似度例如可以用特定数值范围(例如，0-1)来表示，更大的值可以指示更高的相似度，而更小的值可以指示更低的相似度。通常，同一成像序列中的子图像之间的相似度可能相似度变化比较小，而不同成像序列的子图像相比于同一成像序列而言会呈现更显著的差异。例如，同一成像序列中的两个相邻子图像之间的相似度可能大致接近于1，而属于不同成像序列的两个相邻子图像之间的相似度可能更接近于0。

因此，序列确定模块220可以观察连续多对相邻子图像的相似度的变化趋势，检测变化趋势中的突降点。突降点对应的相似度显著低于前后两个相似度。序列确定模块220可以基于突降点可以确定不同成像序列的划分点。

图3示出了根据本公开的一些实施例的子图像对之间的相似度的曲线300的示意图。从曲线300可以看出，相比于第2对相邻子图像和第4对相邻子图像之间的相似度，第3对相邻子图像之间的相似度存在突降。因此，第3对相邻子图像中的两个子图像分别属于不同成像序列，特别地，第3对相邻子图像中前一个子图像与第1对和第2对相邻子图像属于同一成像序列，而第3对相邻子图像中后一个子图像至少与第4对和第5对子图像属于同一成像序列。此外，还发现第6对相邻子图像之间的相似度存在突降，因此，第6对相邻子图像中前一个子图像与第4对和第5对子图像属于同一成像序列，而后一个子图像与后续子图像组成其他图像序列。以此类推，可以确定将全部子图像划分到对应的图像序列。

在一些实施例中，序列确定模块220可以将各个相邻子图像之间的相似度与相似度阈值相比较。相似度阈值例如可以被设置为0到1之间的某个值，例如可以被设置为0.5(当前其他合理的值也是可以的)。如果确定某对相邻子图像之间的相似度低于相似度阈值，序列确定模块220可以将该对相邻子图像划分到不同成像序列。也就是说，每当检测到低于相似度阈值的相似度，序列确定模块220可以标识两个相邻子图像对应的两个成像序列。同时，如果确定某对相邻子图像之间的相似度超过相似度阈值，序列确定模块220可以将这对相邻子图像划分到同一个成像序列。如果该对相邻子图像中的一个子图像已经被标识为对应于一个成像序列，那么另一个子图像也可以被标识为属于这一个成像序列。

以上讨论了通过图像相似度来划分成像序列。在其他实施例中，序列确定模块220还可以基于其他辅助信息来对子图像112的成像序列进行划分。例如，序列确定模块220可以获取每个子图像112上呈现的注释文本信息(注释文本信息的提取在下文中将会讨论)中的成像序列信息，该成像序列信息例如可以是文本形式，用于描述每个子图像112的成像序列。序列确定模块220可以基于成像序列信息来划分多个子图像112。

在一些实施例中，由胶片处理模块110在输出子图像112的同时，还可以标识每个子图像112对应的成像序列。例如，胶片处理模块110的序列确定模块220可以为每个成像序列分配对应的序列号，以作为成像序列的序列标识。在从子图像112的注释文本信息获得成像序列信息的实施例中，序列确定模块220还可以将成像序列信息作为成像序列的序列表示。

接下来将参考图4来继续讨论图1中的数据处理系统105中的文本处理模块120。如图4所示，文本处理模块120包括文本区域检测模块410，其被配置为检测和定位数字化图像104中的文本区域。图4示意性示出了一个示例数字化图像104，但注意该示例不对本公开的实施例有任何限制。文本处理和处理模块120还包括文本识别和处理模块420，其被配置为从文本区域检测模块410定位的文本区域中检测其中的文本信息，并确定哪些文本信息适合作为医学文本信息122以用于生成医学图像文件。文本区域检测模块410和文本识别和处理模块420例如可以利用图像文本检测技术，诸如光学字符识别技术来执行文本信息的提取。此外，文本识别和处理模块420还可以利用自然语言处理技术来确定所提取的文本信息中的语义，并基于语义来确定哪些文本信息可以作为医学文本信息122以用于生成医学图像文件132。

放射学报告152的数字化图像104中的文本信息通常特定模板进行编写。在一些实施例中，数字化图像104中的文本信息可以包括患者的基本信息，诸如姓名、性别、年龄、历史疾病等；诸如患者的就诊科室、就诊编号等就诊信息；和/或放射学诊断的执行信息，其指示生成放射学胶片142的医师或医疗部门、放射学检查的日期/时间、诊断日期/时间等。此外，数字化图像104中的文本信息还包括对放射学胶片142中的影像表现的描述；患者的临床症状；放射学诊断医生给出的诊断结果，该诊断结果主要是基于放射学胶片142给出；和/或对后续医学治疗或检查的建议等。备选地或附加地，数字化图像104中的文本信息还可以包括放射学胶片142的特征描述。特征描述可以指示放射学胶片142的检查名称，诸如CT、MRI、PET等；放射学胶片142的成像方法，诸如上腹部平扫、平扫后补增强等；和/或放射学胶片142的检查部位和位置，诸如腹部、脑部、胸部、颈部等。

在一些实施例中，在数字化图像104呈现的所有文本信息中，文本识别和处理模块420可以选择全部信息或其中一部分重要信息作为医学文本信息122。作为示例，诊断结果、放射学胶片142中的影像表现的描述、患者的临床症状、放射学胶片142中的特征描述、对后续医学治疗或检查的建议、和/或生成放射学胶片142的医师或医疗部门，这些文本信息可以被确定为医学文本信息122。应当理解，这里仅给出了医学文本信息122的一些示例，数字化图像104中的其他文本信息也可以被附加地或备选地确定为医学文本信息122。

在一些实施例中，数字化图像102的一个或多个子图像112中可能也包括文本信息，这样的文本信息作为注释文本信息(也称为元数据)而被标注到放射学胶片142中，从而被呈现到对应的子图像112。在子图像112中呈现的注释文本信息的示例可以包括但不限于以下一项或多项：患者姓名、患者的就诊编号、放射学检查的日期/时间、放射学检查的医疗部门、检查设备的厂家和型号、检查所采用的模态、成像序列好、图像编号和总图像数、观察视野、切片厚度或间隔、图像大小、扫描参数等等。

文本处理模块120也可以被配置为从由数字化图像102划分的一个或多个子图像112中提取文本信息。类似地，文本处理模块120中的文本区域检测模块410被配置为检测每个子图像112中的文本区域。通常，子图像112中文本区域位于子图像112的上下左右四个角中的一个或多个角落区域。文本区域检测模块410可以优先从子图像112的四个角开始检测文本区域。图5示出了对子图像112的文本区域定位的示例，其中从子图像112的左上角和右上角可以检测文本区域510和520。文本识别和处理模块420被配置为识别文本区域中的文本信息，并将识别出的部分或全部文本信息确定为注释文本信息422。对文本信息的识别和对语义的检测方法可以类似于对数字化图像104所采用的方法，在此不再赘述。

注释文本信息422可以与医学文本信息122一起被提供给文件生成模块130，以用于生成医学图像文件132。

图6示出了根据本公开的一些实施例的图1中的数据处理系统105的文件生成模块130的示例结构的框图。如图6所示，文件生成模块130包括信息合成模块610，其被配置为基于子图像112和从放射学报告152的数字化图像104中提取医学文本信息122来生成格式化的医学图像文件132。在一些实施例中，信息合成模块610还可以获得从子图像112提取的注释文本信息422，并且也将注释文本信息422合并到医学图像文件132中。

医学图像文件132的格式可以是适合于合并图像信息和文本信息的格式。作为示例，医学图像文件132的格式可以是医学数字成像和通信(DICOM)格式。DICOM格式是是用于存储、打印和通信医学图像信息的标准，其支持多图像以及文本信息的整合。DICOM格式的医学图像文件132可以被存储到图像存档及通信系统(PACS)，例如图1的数据存储系统160可以包括PACS系统。在一些实施例中，在DICOM格式的医学图像文件132中，子图像112、医学文本信息122以及可能的注释文本信息422可以被格式化到文件的不同字段。例如，注释文本信息422可以被放置在医学图像文件132的报头字段作为文件元数据，子图像112可以被放置在医学图像文件132的图像正文字段、医学文本信息122可以被放置在可扩展的私有字段。当然，这些字段仅是示例。还可以定义其他字段用于格式化相应的图像信息和文本信息。除DICOM格式之外，其他适合用于同时合并图像信息和文本信息的文件格式也是可行的。

在上文讨论的一些实施例中，子图像112可以被划分到一个或多个成像序列。在生成医学图像文件132时，信息合成模块610可以在医学图像文件132中标识每个子图像112对应的成像序列，例如在文件的报头字段中添加成像序列的序列标识信息。在医学图像文件132被显示时，子图像112对应的序列标识信息也可以被相应呈现。备选地或附加地，信息合成模块610可以在医学图像文件132中将对应于同一成像序列的子图像112相关联，例如将同一成像序列的子图像封装在文件的相邻位置。这样，在医学图像文件132被显示时，同一成像序列的子图像相关联地被显示，例如被显示在相邻区域，或者可以用视觉标注(例如，用方框标注)来指示同一成像序列。通过在医学图像文件132中指示子图像112的成像序列，使在医学图像文件132被查看时，查看者能够方便地区分不同成像序列的子图像，从而可以进行序列内和序列间的图像对比。

在一些实施例中，文件生成模块130可以包括感兴趣区域标注模块620，其被配置为确定在子图像112的感兴趣区域中添加的标注信息。虽然医学文本信息122已经被合成在医学图像文件132中，但为了更直观地在图像中显示放射学诊断涉及的重要信息，还可以通过在特定子图像112中添加视觉标注，来修改子图像112，使得从子图像112的显示中可以看出需要重点注意的诊断内容。具体地，感兴趣区域标注模块620可以基于医学文本信息122的至少一部分来标注一个或多个特定子图像112中的感兴趣区域。感兴趣区域可以是医学文本信息122的诊断结果或放射学胶片的特征描述中所提及的，需要重点注意的区域。例如，感兴趣区域可以是某个部位或组织的具体特征例如部位或组织的名称、病变位置、病变区域大小等。

感兴趣区域标注模块620可以在特定子图像所确定的感兴趣区域上添加视觉标注。利用带有视觉标注的特定子图像112被提供用于生成医学图像文件132。视觉标注主要是用于着重强调该感兴趣区域。视觉标注例如可以是对感兴趣区域的位置和/或轮廓的指示，该指示可以包括是文字指示、线条指示、和/或颜色指示等。备选地或附加地，视觉标注例如还可以包括医学文本信息122中对感兴趣区域的文字描述。其他用于强调子图像112中的感兴趣区域的标注方式都是可行的。因为放射学胶片的图像对于非医学人员或者缺乏经验的医学人员而言比较难懂，通过在子图像中添加视觉标注，特别有助于患者、或者基础医护人员获得从子图像中获取有用信息，例如应重点关注的区域。

图7示出了根据本公开的一些实施例的在子图像122中标注感兴趣区域的示例的示意图。如图7所示，在数字化图像104的医学文本信息122中，关于放射学胶片的特征描述中，部分文本信息710指示了检查部位“肝部”右侧的可能病变区域。因此，在与“门静脉期”对应的子图像112中，病变区域作为感兴趣区域，由线条轮廓720进行视觉标注。

在一些实施例中，在生成医学图像文件132时，还可以借助用户输入来确保更准确的医学信息整合。如图6所示，文件生成模块130还可以包括用户交互模块630，其可以将一个或多个子图像112、医学文本信息122、注释文本信息422等呈现给用户，并用户对这些图像/文本信息的编辑和确定630。例如，用户可以选择删除、修改和/或增加一些医学文本信息或注释文本信息。备选地或附加地，用户还可以调整或确认子图像112的成像序列，添加关于成像序列的描述。此外，用户还可以输入其他期望的信息。在对感兴趣区域进行标注时，也可以依赖用户输入来确定或调整子图像112中要标注的感兴趣区域，视觉标注的方式等等。通过在文件生成阶段的用户辅助输入，可以使医学图像文件132中的信息更准确、更符合用户预期。此外，由于前期的自动信息处理过程，用户无需进行大量人工操作，只需要进行微小调整或确认操作就可以完成医学图像文件132。

在一些实施例中，除将医学文本信息122和注释文本信息422合并到医学图像文件132之外，信息合成模块610还可以基于医学文本信息122和注释文本信息422输出另外的格式化医学文件622，医学文件622的格式可以是适合呈现文本信息的任何格式，例如是电子病历(EMR)系统支持的文件格式。这样的医学文件622例如可以被存储到EMR系统中，即图1的数据存储系统160可以包括EMR系统。

在一些实施例中，除与放射学胶片142相关联的放射学报告152被用于生成医学图像文件132之外，患者的其他医学报告也可以与从放射学胶片142处理得到的子图像112一起整合到医学图像文件132中。图8示出了根据这样的实施例的数据处理系统105的示例结构的框图。与图1的数据处理系统105相比，在图8的示例实施例中，文本处理模块120还获得患者的一个或多个医学检查报告812-1、……、812-M(统称为或单独称为医学检查报告812，其中M是大于等于1的整数)。医学检查报告812可以包括患者的病理诊断报告，例如对患者的体液、切片等进行显微镜观察或者以其他手段检查得到的诊断报告。医学检查报告812可以是从硬拷贝转换的数字化图像，或者可以直接是计算机可读文本格式。例如，一些医疗系统可以提供患者的病理诊断报告的电子记录。

医学检查报告812可以被提供给文本处理模块120。如果医学检查报告812是数字化图像，文本处理模块120可以基于参考图4所描述的实施例对医学检查报告812进行文本信息提取，并将部分或全部文本信息确定为附加的医学文本信息822。如果医学检查报告812是可读文本格式，文本处理模块120可以基于图4的文本识别和处理模块420来从中选择部分或全部文本信息作为附加的医学文本信息822。医学文本信息822可以包括医学检查报告812中的诊断结果，患者的病理学特征描述，对后续医学治疗或检查的建议，患者的临床症状，和/或生成医学检查报告812的医师或医疗部门等。

医学文本信息822可以与来自数字化图像104的医学文本信息122一起被提供给文件生成模块130。文件生成模块130可以利用对医学文本信息122类似的处理方式来将医学文本信息822整合到医学图像文件132中。

因为放射学检查是一种医疗检查手段，患者可能还会进行其他病理检查，以更准确确定对疾病可能的诊断。例如，从患者的放射学胶片和放射学报告中可能可以粗略确定患者具有腺癌的风险，而从患者的病理诊断报告可能更准确显示患者具有滤泡装腺癌。因此，从患者的其他医学检查报告中提取文本信息可以作为放射学诊断的补充信息，帮助临床医师、其他医学人员或患者能够从单个医学检查文件中快速、方便获得多方面的医学信息。

上文中描述的各个模块可以用硬件、软件、固件或前述的任意组合来实现。在一些实现中，各个模块可以被集中在具有计算能力的单个计算设备中实现。在一些实现中，不同模块还可以被实现在具有计算能力的多个计算设备上。在一些情况下，单个模块的功能也可以被分布到多个设备上来实现。

图9示出了根据本公开实施例的数据处理方法900的流程图。方法900可以由图1的数据处理系统105实现。在框910，数据处理系统105获取患者的放射学胶片的第一数字化图像以及与放射学胶片相关联的放射学报告的第二数字化图像。在框920，数据处理系统105从第一数字化图像提取至少一个子图像，至少一个子图像呈现在放射学胶片中捕获的患者的部位。在框930，数据处理系统105从第二数字化图像提取医学文本信息。在框940，数据处理系统105至少基于至少一个子图像和医学文本信息来生成格式化的医学图像文件。例如，数据处理系统105可以生成DICOM格式的医学图像文件，至少一个子图像和医学文本信息在医学图像文件的不同字段。

在一些可选实施例中，第一数字化图像包括多个子图像。数据处理系统105可以确定多个子图像对应的至少一个成像序列。在生成医学图像文件式，数据处理系统105可以在医学图像文件中标识多个子图像各自对应的至少一个成像序列中的相应成像序列。备选地或附加地，数据处理系统105可以在医学图像文件中，将多个子图像中对应于至少一个成像序列中同一成像序列的子图像相关联，以使在医学图像文件被显示时同一成像序列的子图像相关联地被显示。

在一些可选实施例中，多个子图像在第一数字化图像中按顺序排列。数据处理系统105在确定多个子图像对应的至少一个成像序列时，可以确定多个子图像中多对相邻子图像中各个相邻子图像之间的多个相似度。数据处理系统105可以将多个相似度与相似度阈值相比较，并基于比较结果来划分成像序列。如果多对相邻子图像中第一对相邻子图像的相似度小于相似度阈值，数据处理系统105将第一对相邻子图像划分到不同成像序列。如果多对相邻子图像中第二对相邻子图像的相似度超过相似度阈值，数据处理系统105将第二对相邻子图像划分到相同成像序列。

在一些可选实施例中，数据处理系统105还可以检测至少一个子图像中的文本区域，并且从文本区域识别文本以作为至少一个子图像的注释文本信息。数据处理系统105还可以利用注释文本信息来生成医学图像文件。

在一些可选实施例中，医学文本信息指示以下至少一项：诊断结果，放射学胶片中的影像表现的描述，患者的临床症状，放射学胶片的特征描述，对后续医学治疗或检查的建议，以及生成放射学胶片的医师或医疗部门。

在一些可选实施例中，数据处理系统105还可以获取与患者的另外的医学检查相关联的医学检查报告，医学检查报告是数字化图像或可读文本格式。数据处理系统105从医学检查报告提取另外的医学文本信息，并且还附加地基于所提取的另外的医学文本信息来生成医学图像文件。

在一些可选实施例中，数据处理系统105还可以基于医学文本信息的至少一部分来标识至少一个子图像中的特定子图像中的感兴趣区域。然后，数据处理系统105在特定子图像的感兴趣区域上添加视觉标注，并利用带有视觉标注的特定子图像来生成格式化的医学图像文件。

应理解，虽然在图中以特定顺序示出各个步骤，但这些步骤中的一些或全部可以以其他顺序或者并行执行。例如，在图9中，框910可以由多个步骤执行，框920和930的操作可以并行执行或者框920的操作可以先于框910的操作被执行。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。图1的数据处理系统105的全部或部分组件可以被实现在设备1000。如图所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001可以执行上文所描述的各个方法和处理，例如方法900。例如，在一些实施例中，方法900可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的方法900的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法900。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

1.一种数据处理方法，包括：

获取患者的放射学胶片的第一数字化图像以及与所述放射学胶片相关联的放射学报告的第二数字化图像；

从所述第一数字化图像提取至少一个子图像，所述至少一个子图像呈现在所述放射学胶片中捕获的所述患者的部位；

从所述第二数字化图像提取医学文本信息；以及

至少基于所述至少一个子图像和所述医学文本信息来生成格式化的医学图像文件。

2.根据权利要求1所述的方法，其中所述至少一个图像包括多个子图像，所述方法还包括：

确定所述多个子图像对应的至少一个成像序列；并且

其中生成格式化的医学图像文件包括以下至少一项：

在所述医学图像文件中，标识所述多个子图像各自对应的所述至少一个成像序列中的相应成像序列，和

在所述医学图像文件中，将所述多个子图像中对应于所述至少一个成像序列中同一成像序列的子图像相关联，以使在所述医学图像文件被显示时同一成像序列的子图像相关联地被显示。

3.根据权利要求2所述的方法，其中所述多个子图像在所述第一数字化图像中按顺序排列，确定所述多个子图像对应的至少一个成像序列包括：

确定所述多个子图像中多对相邻子图像中各个相邻子图像之间的多个相似度；

将所述多个相似度与相似度阈值相比较；

根据确定所述多对相邻子图像中第一对相邻子图像的相似度小于所述相似度阈值，将所述第一对相邻子图像划分到不同成像序列；以及

根据确定所述多对相邻子图像中第二对相邻子图像的相似度超过所述相似度阈值，将所述第二对相邻子图像划分到相同成像序列。

4.根据权利要求1所述的方法，还包括：

检测所述至少一个子图像中的文本区域；以及

从所述文本区域识别文本以作为所述至少一个子图像的注释文本信息；并且

其中生成格式化的医学图像文件包括：

还基于所述注释文本信息来生成所述医学图像文件。

5.根据权利要求1所述的方法，其中所述医学文本信息指示以下至少一项：诊断结果，所述放射学胶片中的影像表现的描述，所述患者的临床症状，所述放射学胶片的特征描述，对后续医学治疗或检查的建议，以及生成所述放射学胶片的医师或医疗部门。

6.根据权利要求1所述的方法，还包括：

获取与所述患者的另外的医学检查相关联的医学检查报告，所述医学检查报告是数字化图像或可读文本格式；以及

从所述医学检查报告提取另外的医学文本信息，并且

其中生成格式化的医学图像文件包括：

还基于所述另外的医学文本信息来生成所述医学图像文件。

7.根据权利要求1所述的方法，还包括：

基于所述医学文本信息的至少一部分来标识所述至少一个子图像中的特定子图像中的感兴趣区域；以及

在所述特定子图像的所述感兴趣区域上添加视觉标注，带有所述视觉标注的所述特定子图像被用于生成所述格式化的医学图像文件。

8.根据权利要求1所述的方法，其中生成格式化的医学图像文件包括：

生成医学数字成像和通信(DICOM)格式的医学图像文件，所述至少一个子图像和所述医学文本信息在所述医学图像文件的不同字段。

9.一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作：

获取患者的放射学胶片的第一数字化图像以及与所述放射学胶片相关联的放射学报告的第二数字化图像；

从所述第一数字化图像提取至少一个子图像，所述至少一个子图像呈现在所述放射学胶片中捕获的所述患者的部位；

从所述第二数字化图像提取医学文本信息；以及

至少基于所述至少一个子图像和所述医学文本信息来生成格式化的医学图像文件。

10.根据权利要求9所述的设备，其中所述至少一个图像包括多个子图像，所述动作还包括：

确定所述多个子图像对应的至少一个成像序列；并且

其中生成格式化的医学图像文件包括以下至少一项：

在所述医学图像文件中，标识所述多个子图像各自对应的所述至少一个成像序列中的相应成像序列，和

在所述医学图像文件中，将所述多个子图像中对应于所述至少一个成像序列中同一成像序列的子图像相关联，以使在所述医学图像文件被显示时同一成像序列的子图像相关联地被显示。

11.根据权利要求10所述的设备，其中所述多个子图像在所述第一数字化图像中按顺序排列，确定所述多个子图像对应的至少一个成像序列包括：

确定所述多个子图像中多对相邻子图像中各个相邻子图像之间的多个相似度；

将所述多个相似度与相似度阈值相比较；

根据确定所述多对相邻子图像中第一对相邻子图像的相似度小于所述相似度阈值，将所述第一对相邻子图像划分到不同成像序列；以及

根据确定所述多对相邻子图像中第二对相邻子图像的相似度超过所述相似度阈值，将所述第二对相邻子图像划分到相同成像序列。

12.根据权利要求9所述的设备，其中所述动作还包括：

检测所述至少一个子图像中的文本区域；以及

从所述文本区域识别文本以作为所述至少一个子图像的注释文本信息；并且

其中生成格式化的医学图像文件包括：

还基于所述注释文本信息来生成所述医学图像文件。

13.根据权利要求9所述的设备，其中所述医学文本信息指示以下至少一项：诊断结果，所述放射学胶片中的影像表现的描述，所述患者的临床症状，所述放射学胶片的特征描述，对后续医学治疗或检查的建议，以及生成所述放射学胶片的医师或医疗部门。

14.根据权利要求9所述的设备，其中所述动作还包括：

基于所述医学文本信息的至少一部分来标识所述至少一个子图像中的特定子图像中的感兴趣区域；以及

在所述特定子图像的所述感兴趣区域上添加视觉标注，带有所述视觉标注的所述特定子图像被用于生成所述格式化的医学图像文件。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法。

Images