CN114820590B - 图像处理方法、装置、电子设备及介质 - Google Patents

图像处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114820590B
CN114820590B CN202210635893.1A CN202210635893A CN114820590B CN 114820590 B CN114820590 B CN 114820590B CN 202210635893 A CN202210635893 A CN 202210635893A CN 114820590 B CN114820590 B CN 114820590B
Authority
CN
China
Prior art keywords
coordinate system
image
image sequence
breast
body position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210635893.1A
Other languages
English (en)
Other versions
CN114820590A (zh
Inventor
王子腾
张可欣
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202210635893.1A priority Critical patent/CN114820590B/zh
Publication of CN114820590A publication Critical patent/CN114820590A/zh
Application granted granted Critical
Publication of CN114820590B publication Critical patent/CN114820590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备及介质。该图像处理方法包括获得乳腺断层影像，该乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；以乳头位置为原点建立坐标系；经过旋转、长度归一化的操作统一不同体位下的乳腺断层影像中的坐标系，以建立不同体位影像序列中的位置映射。

Description

图像处理方法、装置、电子设备及介质
技术领域
本说明书涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及介质。
背景技术
在医学成像领域中，经常显示来自患者的医学图像序列。计算机断层摄影，例如乳腺断层影像(DBT，Digital Breast Tomosynthesis)，可以提供患者乳房结构或组织的三维重建，可以将三维重建显示为二维截面的序列。同一乳腺可以在不同体位的状态下进行拍摄，以避免漏检或判断不清的情况。头足轴位(CC)和内外侧斜位(MLO)都是乳腺摄影的常规体位。如果能够提供不同体位之间的位置映射关系，将对临床工作提供很大帮助。
CN112561908A公开了一种病灶匹配方法，对不同体位的单张二维影像中的病灶进行位置匹配。然而，二维影像中缺乏三维信息，只能在病灶之间尝试匹配，无法构建完善的位置映射关系，结果可靠性不足。
发明内容
为解决相关技术中的问题，本公开实施例提供了一种图像处理方法、装置、电子设备及介质。
本公开的一个方面提供了一种图像处理方法，包括：获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
本公开的另一个方面提供了一种图像处理装置，包括获得模块、建立模块、第一旋转模块、长度变换模块和第二旋转模块。其中，获得模块，被配置为获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列。建立模块，被配置为以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系。第一旋转模块，被配置为检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系。长度变换模块，被配置为基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系。第二旋转模块，被配置为基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
本公开的另一个方面提供了一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
本公开的另一个方面提供了一种计算机可读存储介质，存储有计算机可读指令，所述指令在被处理器执行时用于实现如上所述的图像处理方法。
本公开的另一个方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的图像处理方法。
本公开实施例提供的图像处理方法，以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系，并经过旋转、长度归一化、再旋转，统一两个坐标系，用于建立第一体位影像序列和第二体位影像序列中的位置映射，从而为临床工作提供辅助信息。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示意性示出应用本公开实施例的图像处理方法的系统架构示意图；
图2示意性示出本公开实施例的图像处理方法的流程图；
图3A示意性示出本公开实施例的MLO体位的乳腺影像的示意图；
图3B示意性示出本公开实施例的CC体位的乳腺影像的示意图；
图4示意性示出本公开实施例的坐标轴长度归一化的流程图；
图5示意性示出本公开实施例的病灶区域图像预测的流程图；
图6示意性示出本公开实施例的病灶区域图像预测过程的示意图；
图7示意性示出本公开实施例的图像处理装置的框图；以及
图8示意性示出适于实现本公开实施例的图像处理方法和装置的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
本公开的实施例提供了一种图像处理方法，以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系，并经过旋转、长度归一化、再旋转，统一两个坐标系，用于建立第一体位影像序列和第二体位影像序列中的位置映射，从而为临床工作提供辅助信息。
以下结合附图，详细说明本公开各实施例提供的技术方案。
图1示意性示出应用本公开实施例的图像处理方法的系统架构示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如浏览器类应用、搜索类应用、即时通信类工具等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。
服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
本公开实施例提供的图像处理方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的图像处理方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意出本说明书实施例的图像处理方法的流程图。
如图2所示，该图像处理方法包括操作S202、S204、S206、S208和S210。
在操作S202，获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
在操作S204，以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
在操作S206，检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
在操作S208，基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
在操作S210，基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
乳腺断层影像(DBT)是数字乳腺X线摄影术的创新。乳腺断层影像技术使用X射线源在乳房周围以弧形移动，从乳房组织中获取信息，以厚度为0.5-1.0毫米乳房组织“切片”重建高分辨率图像。通过呈现乳房内特定平面的图像，乳腺断层影像可以消除重叠的乳房组织，当三维乳房投影到二维图像平面上时，这些组织可能会在标准乳房X光检查中掩盖病灶，因此，乳腺断层影像技术更清晰地可视化乳房病变，并减少由于相邻正常乳房组织叠加而导致的假阳性结果。
乳腺断层影像包括由多个影像构成的影像序列。例如，可以以1毫米的厚度拍摄乳腺每一层的影像，拍摄100毫米厚度的乳房腺体将得到100张二维图像。根据本公开实施例，可以针对左乳和右乳分别拍摄乳腺断层影像。还可以在不同体位下拍摄同一乳腺的乳腺断层影像结合使用，以获得更加准确的医学信息。本公开实施例的图像处理方法用于处理同一乳腺在不同体位下拍摄的两个二维图像序列。
内外侧斜位(MLO)是以30-70度角(通常是45度)从斜上方向下方投射乳腺X射线摄影常规体位，示例性的拍摄影像如图3A所示。头足轴位(CC)是将乳腺上下压迫的摄影常规体位，示例性的拍摄影像如图3B所示。根据本公开实施例，第一体位例如可以是头足轴位，第二体位例如可以是内外侧斜位。或者，第一体位可以是内外侧斜位，第二体位可以是头足轴位。
根据本公开实施例，在操作S204，可以通过自动检测或手工标注的方式确定乳头位置，以乳头位置为原点，在两组图像序列中分别以一定规则建立三维空间坐标系。
根据本公开实施例，例如可以定义乳腺断层影像中的水平方向为x轴方向，乳腺断层影像中的竖直方向为y轴方向，垂直于乳腺断层影像平面的方向为z轴方向。这样，对于第一体位影像序列或第二体位影像序列上的任意一个位置，都可以用三维坐标(x，y，z)表示，但两个坐标系需要转换后才能匹配位置关系。
根据本公开实施例，不同体位的影像序列中，胸大肌的可以近似为一条直线，通过检测胸大肌的方向，可以以z轴为轴，旋转坐标系，以对齐x轴的方向。在操作S206，检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系。例如，在第一体位影像序列中，胸大肌与y轴方向一致，在第二体位影像序列中，检测到胸大肌的直线(x0，y0，dx，dy)，则第一旋转角θ可以确定为胸大肌与y轴的夹角，即tanθ＝dx/dy。逆时针旋转矩阵为：
Figure BDA0003680301850000071
经过上述旋转后得到第三坐标系，在第一坐标系和第三坐标系中，x轴方向均为从乳头指向胸大肌的方向。
根据本公开实施例，在操作S208，基于第一体位影像序列和第二体位影像序列，根据第一坐标系在三个坐标轴方向的单位长度，对第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系。可以利用第一体位影像序列和第二体位影像序列中的长度信息，包括乳腺的宽度和厚度等，对两个坐标系的长度归一化，统一两个坐标系的长度单位。
根据本公开实施例，在操作S210，基于第二旋转角旋转所述第四坐标系，得到第五坐标系。第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角。
例如。头足轴位是将乳腺上下压迫的体位，而内外侧斜位是以45度角从斜上方向下方拍摄的体位，则第二旋转角φ为45度，需要绕z轴将xy平面旋转45度。由于左乳和右乳的拍摄方向不一致，对于右乳做逆时针旋转，对于左乳做顺时针旋转。以右乳为例，逆时针的旋转矩阵为：
Figure BDA0003680301850000072
经上述旋转得到的第五坐标系与第一坐标系一致，可用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
本公开的实施例提供的图像处理方法，以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系，并经过旋转、长度归一化、再旋转，统一两个坐标系，用于建立第一体位影像序列和第二体位影像序列中的位置映射，从而为临床工作提供辅助信息。
根据本公开实施例，三个坐标轴方向包括深度方向(x轴方向)、宽度方向(y轴方向)和高度方向(z轴方向)，其中，深度方向为乳腺断层影像中从乳头到胸大肌的方向，宽度方向为乳腺断层影像平面内垂直于深度方向的方向，高度方向为垂直于乳腺断层影像平面的方向。
图4示意性示出本公开实施例的坐标轴长度归一化的流程图。
如图4所示，操作S208可以进一步包括操作S402、S404和S406。
在操作S402，基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度。
例如，在第二体位影像序列中，对于x轴的单位长度x，乳头到胸大肌的距离r，可以使用x/r与第一坐标系进行归一化。其中：
Figure BDA0003680301850000081
在操作S404，基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度。
例如，可以确定不同体位影像序列的最大宽度w，使用y/w进行归一化。或者，可以将乳房简化为一个半球，定义x轴与y轴的单位长度相等，同样利用y/r进行归一化。
在操作S406，基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。由于每一层影像代表相同的厚度，对于z轴，例如可以使用z/f进行归一化，其中，f为不同体位影像序列的总层数。
通过上述方法可以将不同坐标系的坐标轴长度进行统一，从而更好地建立不同体位影像序列之间的位置映射关系。
在临床中，部分病灶只在某一个体位更容易分辨，而在另一个体位下不容易分辨，因此结合两个体位的信息来加强病灶检测能力是有利的。本公开实施例还提供了基于上述位置映射关系进行病灶区域图像预测的方法，下面结合图5和图6所示意的实施例进行说明。
图5示意性示出本公开实施例的病灶区域图像预测的流程图。
如图5所示，该方法在图2的基础上，还包括操作S502、S504、S506、S508、S510和S512。
在操作S502，获得多个病灶区域图像以及每个所述病灶区域图像在所述乳腺断层影像中的位置信息，所述多个病灶区域图像包括来自第一体位影像序列的病灶区域图像和来自第二体位影像序列的病灶区域图像。
如图6所示，可以使用任意可能的病灶检测算法分别处理MLO体位乳腺影像序列和CC体位乳腺影像序列以获得检测框，按照检测框可以分别截取多个病灶区域图像。
根据本公开实施例，每个病灶区域图像带有检测框的位置信息，该位置信息分别基于上文描述的第一坐标系和第二坐标系确定。
图6所示的模型包括主干网络602、特征融合层604、自注意力-交叉注意力单元606以及预测单元608，用于实现以下描述的各个操作。
在操作S504，分别提取所述病灶区域图像的第一图像特征。可以通过主干网络602提取病灶区域图像的第一图像特征，该主干网络为卷积神经网络。可以使用两个共享参数的主干网络分别处理来自第一体位影像序列的病灶区域图像和来自第二体位影像序列的病灶区域图像。
在操作S506，基于所述第一坐标系和第五坐标系对所述位置信息进行位置编码，得到位置特征。
根据本公开实施例，通过上文图2所示的方法，对于来自第二体位影像序列的病灶区域图像，可以对基于第二坐标系确定的位置信息进行变换，得到其在第五坐标系下的位置信息，如此可以统一不同体位的病灶区域图像的位置信息。在得到统一的空间坐标之后，可以采用例如余弦编码的方式，对病灶区域图像的位置信息进行编码。
在操作S508，融合所述第一图像特征和位置特征，得到第二图像特征。特征融合层604可以将第一图像特征与位置特征融合，得到第二图像特征。融合的方式可以是向量拼接(concatenate)，也可以是逐位相加(point-wise addition)。如此，可以将病灶的位置信息融合到图像特征中。
在操作S510，将来自第一体位影像序列的病灶区域图像产生的第二图像特征分为第一组，将来自第二体位影像序列的病灶区域图像产生的第二图像特征分为第二组，通过交叉注意力单元处理所述第一组和第二组的第二图像特征，得到第三图像特征。
根据本公开实施例，交叉注意力单元将第一组数据的特征X1通过三个变换矩阵变换得到Q1、K1、V1，将第二组数据的特征X2通过三个变换矩阵变化得到Q2、K2、V2，而后利用Q1、K2、V2计算得到第一组输出Z1，利用Q2、K1、V1计算得到第二组输出Z2。
根据本公开实施例，交叉注意力单元也可以包括如图6所示的自注意力-交叉注意力单元606(SA-CA，Self Attention-Cross Attention)。在SA-CA中，将第一组数据的特征X1通过三个变换矩阵变换得到Q11、K11、V11，进而计算第一组的第一次输出Z11，再通过三个变换矩阵变换得到Q12、K12、V12；另一方面，将第二组数据的特征X2通过三个变换矩阵变化得到Q21、K21、V21，进而计算第二组的第一次输出Z21，再通过三个变换矩阵变换得到Q22、K22、V22；而后利用Q12、K22、V22计算得到第一组的第二次输出Z12，利用Q22、K12、V12计算得到第二组的第二次输出Z22。
根据本公开实施例的技术方案，通过交叉注意力单元，可以利用不同体位的病灶信息之间的联系。
在操作S512，基于所述第三图像特征确定所述病灶区域图像的类别预测信息。预测单元608可以是全连接层，用于预测病灶区域图像的类别，例如肿块或钙化，甚至恶性程度分级等。预测单元608可以实现为两个共享参数的全连接层，分别用于处理来自不同体位的病灶区域图像的第三图像特征。根据本公开实施例，预测单元608还可以用于检测框位置的回归，即基于第三图像特征确定病灶区域图像的位置预测信息。
根据本公开实施例，通过建立三维空间映射，将位置信息编码到特征中，有效利用位置信息，提高病灶识别的准确性。
基于同一发明构思，本公开还提供了一种图像处理装置，下面参照图7对本公开实施例的图像处理装置进行说明。
图7示意性示出本公开实施例的图像处理装置700的框图。其中，该装置700可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图7所示，该图像处理装置700包括获得模块702、建立模块704、第一旋转模块706、长度变换模块708以及第二旋转模块710。该图像处理装置700可以执行上文描述的各种方法。
获得模块702，被配置为获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
建立模块704，被配置为以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
第一旋转模块706，被配置为检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
长度变换模块708，被配置为基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
第二旋转模块710，被配置为基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射。
根据本公开实施例的技术方案，以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系，并经过旋转、长度归一化、再旋转，统一两个坐标系，用于建立第一体位影像序列和第二体位影像序列中的位置映射，从而为临床工作提供辅助信息。
根据本公开实施例，所述三个坐标轴方向包括深度方向、宽度方向和高度方向，所述深度方向为所述乳腺断层影像中从乳头到胸大肌的方向，所述宽度方向为所述乳腺断层影像平面内垂直于所述深度方向的方向，所述高度方向为垂直于所述乳腺断层影像的方向。
根据本公开实施例，所述长度变换模块708包括深度变换单元、宽度变换单元和高度变换单元。其中，深度变换单元被配置为基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度。宽度变换单元被配置为基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度。高度变换单元被配置为基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。
根据本公开实施例，该装置还可以包括信息获取模块、特征提取模块、位置编码模块、特征融合模块、特征加工模块以及类别预测模块。
其中，信息获取模块被配置为获得多个病灶区域图像以及每个所述病灶区域图像在所述乳腺断层影像中的位置信息，所述多个病灶区域图像包括来自第一体位影像序列的病灶区域图像和来自第二体位影像序列的病灶区域图像。
特征提取模块被配置为分别提取所述病灶区域图像的第一图像特征。
位置编码模块被配置为基于所述第一坐标系和第五坐标系对所述位置信息进行位置编码，得到位置特征。
特征融合模块被配置为融合所述第一图像特征和位置特征，得到第二图像特征。
特征加工模块被配置为将来自第一体位影像序列的病灶区域图像产生的第二图像特征分为第一组，将来自第二体位影像序列的病灶区域图像产生的第二图像特征分为第二组，通过交叉注意力单元处理所述第一组和第二组的第二图像特征，得到第三图像特征。
类别预测模块被配置为基于所述第三图像特征确定所述病灶区域图像的类别预测信息。
根据本公开实施例，该装置还可以包括位置预测模块，被配置为基于所述第三图像特征确定所述病灶区域图像的位置预测信息。
本公开还公开了一种电子设备，该电子设备包括存储器和处理器，其中，该存储器用于存储支持电子设备执行上述任一实施例中的图像处理方法的程序，该处理器被配置为用于执行该存储器中存储的程序，以实现如上文图2-图6任一实施例描述的图像处理方法。
图8示意性示出适于实现本公开实施例的图像处理方法的计算机系统的结构示意图。
如图8所示，计算机系统800包括处理单元801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施例中的各种处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。处理单元801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种图像处理方法，包括：
获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射，
其中，所述三个坐标轴方向包括深度方向、宽度方向和高度方向，所述深度方向为所述乳腺断层影像中从乳头到胸大肌的方向，所述宽度方向为所述乳腺断层影像平面内垂直于所述深度方向的方向，所述高度方向为垂直于所述乳腺断层影像平面的方向，
所述基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系包括：
基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度；
基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度；
基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。
2.根据权利要求1所述的方法，还包括：
获得多个病灶区域图像以及每个所述病灶区域图像在所述乳腺断层影像中的位置信息，所述多个病灶区域图像包括来自第一体位影像序列的病灶区域图像和来自第二体位影像序列的病灶区域图像；
分别提取所述病灶区域图像的第一图像特征；
基于所述第一坐标系和第五坐标系对所述位置信息进行位置编码，得到位置特征；
融合所述第一图像特征和位置特征，得到第二图像特征；
将来自第一体位影像序列的病灶区域图像产生的第二图像特征分为第一组，将来自第二体位影像序列的病灶区域图像产生的第二图像特征分为第二组，通过交叉注意力单元处理所述第一组和第二组的第二图像特征，得到第三图像特征；
基于所述第三图像特征确定所述病灶区域图像的类别预测信息。
3.根据权利要求2所述的方法，还包括：
基于所述第三图像特征确定所述病灶区域图像的位置预测信息。
4.一种图像处理装置，包括：
获得模块，被配置为获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
建立模块，被配置为以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
第一旋转模块，被配置为检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
长度变换模块，被配置为基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
第二旋转模块，被配置为基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射，
其中，所述三个坐标轴方向包括深度方向、宽度方向和高度方向，所述深度方向为所述乳腺断层影像中从乳头到胸大肌的方向，所述宽度方向为所述乳腺断层影像平面内垂直于所述深度方向的方向，所述高度方向为垂直于所述乳腺断层影像平面的方向，
所述基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系包括：
基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度；
基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度；
基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。
5.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：
获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射，
其中，所述三个坐标轴方向包括深度方向、宽度方向和高度方向，所述深度方向为所述乳腺断层影像中从乳头到胸大肌的方向，所述宽度方向为所述乳腺断层影像平面内垂直于所述深度方向的方向，所述高度方向为垂直于所述乳腺断层影像平面的方向，
所述基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系包括：
基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度；
基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度；
基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。
6.根据权利要求5所述的电子设备，其中，所述处理器还用于执行：
获得多个病灶区域图像以及每个所述病灶区域图像在所述乳腺断层影像中的位置信息，所述多个病灶区域图像包括来自第一体位影像序列的病灶区域图像和来自第二体位影像序列的病灶区域图像；
分别提取所述病灶区域图像的第一图像特征；
基于所述第一坐标系和第五坐标系对所述位置信息进行位置编码，得到位置特征；
融合所述第一图像特征和位置特征，得到第二图像特征；
将来自第一体位影像序列的病灶区域图像产生的第二图像特征分为第一组，将来自第二体位影像序列的病灶区域图像产生的第二图像特征分为第二组，通过交叉注意力单元处理所述第一组和第二组的第二图像特征，得到第三图像特征；
基于所述第三图像特征确定所述病灶区域图像的类别预测信息。
7.根据权利要求6所述的电子设备，其中，所述处理器还用于执行：
基于所述第三图像特征确定所述病灶区域图像的位置预测信息。
8.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行：
获得乳腺断层影像，所述乳腺断层影像包括由多个影像组成的第一体位影像序列和第二体位影像序列；
以乳头位置为原点，基于第一体位影像序列建立第一坐标系，基于第二体位影像序列建立第二坐标系；
检测所述第二体位影像序列中胸大肌的位置以确定第一旋转角，并基于所述第一旋转角旋转所述第二坐标系，得到第三坐标系；
基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系；
基于第二旋转角旋转所述第四坐标系，得到第五坐标系，所述第二旋转角为第一体位和第二体位乳腺断层影像的拍摄方向之间的夹角，所述第五坐标系用于建立所述第一体位影像序列和第二体位影像序列中的位置映射，
其中，所述三个坐标轴方向包括深度方向、宽度方向和高度方向，所述深度方向为所述乳腺断层影像中从乳头到胸大肌的方向，所述宽度方向为所述乳腺断层影像平面内垂直于所述深度方向的方向，所述高度方向为垂直于所述乳腺断层影像平面的方向，
所述基于所述第一体位影像序列和第二体位影像序列，根据所述第一坐标系在三个坐标轴方向的单位长度，对所述第三坐标系在三个坐标轴方向的单位长度归一化，得到第四坐标系包括：
基于第一体位影像序列和第二体位影像序列中乳头到胸大肌的距离，以及第一坐标系在深度方向的单位长度，调整第三坐标系在第一坐标轴方向的单位长度；
基于第一体位影像序列和第二体位影像序列中乳房的宽度，以及第一坐标系在宽度方向的单位长度，调整第三坐标系在宽度方向的单位长度；
基于第一体位影像序列和第二体位影像序列的影像层数，以及第一坐标系在高度方向的单位长度，调整第三坐标系在高度方向的单位长度。
CN202210635893.1A 2022-06-06 2022-06-06 图像处理方法、装置、电子设备及介质 Active CN114820590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210635893.1A CN114820590B (zh) 2022-06-06 2022-06-06 图像处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210635893.1A CN114820590B (zh) 2022-06-06 2022-06-06 图像处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114820590A CN114820590A (zh) 2022-07-29
CN114820590B true CN114820590B (zh) 2023-04-07

Family

ID=82521680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210635893.1A Active CN114820590B (zh) 2022-06-06 2022-06-06 图像处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114820590B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429406A (zh) * 2020-03-05 2020-07-17 北京深睿博联科技有限责任公司 结合多视图推理的乳腺x射线影像病变检出方法和装置
CN113222038A (zh) * 2021-05-24 2021-08-06 北京安德医智科技有限公司 基于核磁图像的乳腺病灶分类和定位方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129362B2 (en) * 2013-05-22 2015-09-08 Siemens Aktiengesellschaft Semantic navigation and lesion mapping from digital breast tomosynthesis
CN108392215B (zh) * 2018-02-09 2021-07-27 南方医科大学 一种同侧异位乳腺钼靶图像的点位置关联方法
CN109410130B (zh) * 2018-09-28 2020-12-04 华为技术有限公司 图像处理方法和图像处理装置
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110974286B (zh) * 2019-12-11 2023-11-17 北京华健蓝海医疗科技有限责任公司 乳腺x线影像肿块检出方法和装置
CN112053325A (zh) * 2020-08-12 2020-12-08 华东交通大学 一种乳腺肿块图像处理和分类系统
CN114092463A (zh) * 2021-11-29 2022-02-25 杭州电子科技大学 数字乳腺断层影像病灶定位装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429406A (zh) * 2020-03-05 2020-07-17 北京深睿博联科技有限责任公司 结合多视图推理的乳腺x射线影像病变检出方法和装置
CN113222038A (zh) * 2021-05-24 2021-08-06 北京安德医智科技有限公司 基于核磁图像的乳腺病灶分类和定位方法及装置

Also Published As

Publication number Publication date
CN114820590A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP3726467B1 (en) Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
US9129362B2 (en) Semantic navigation and lesion mapping from digital breast tomosynthesis
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US20090074276A1 (en) Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images
CN111275825B (zh) 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置
CN108701170A (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
EP2943913B1 (en) System and method for reducing data transmission volume in tomosynthesis
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
KR20160117807A (ko) 유방 병변 진단을 위한 영상 판독 보조 방법 및 장치
CN108392215A (zh) 一种同侧异位乳腺钼靶图像的点位置关联方法
JP4964191B2 (ja) 画像処理装置および方法ならびにプログラム
US10893844B1 (en) Method and apparatus for performing 3D imaging examinations of a structure under differing configurations and analyzing morphologic changes
EP3518182B1 (en) Tilted slices in dbt
CN114820590B (zh) 图像处理方法、装置、电子设备及介质
Van Schie et al. Correlating locations in ipsilateral breast tomosynthesis views using an analytical hemispherical compression model
Zenteno et al. Volumetric monitoring of cutaneous leishmaniasis ulcers: can camera be as accurate as laser scanner?
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
JP6614861B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US6760469B1 (en) Flipping stereoscopic radiographs
Sato et al. Geometry calibration between X-ray source and detector for tomosynthesis with a portable X-ray system
Tan et al. A novel enhanced intensity‐based automatic registration: Augmented reality for visualization and localization cancer tumors
WO2020217807A1 (ja) 画像の向き設定装置、方法およびプログラム
JP2017042423A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN114820592B (zh) 图像处理装置、电子设备及介质
CA3133082A1 (en) Monoscopic radiographic image and three-dimensional model registration methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: 100000 floor 12, building a, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.