CN115546174A - 图像处理方法、装置、计算设备及存储介质 - Google Patents

图像处理方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN115546174A
CN115546174A CN202211288426.2A CN202211288426A CN115546174A CN 115546174 A CN115546174 A CN 115546174A CN 202211288426 A CN202211288426 A CN 202211288426A CN 115546174 A CN115546174 A CN 115546174A
Authority
CN
China
Prior art keywords
image
sequence
images
image sequence
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211288426.2A
Other languages
English (en)
Other versions
CN115546174B (zh
Inventor
肖月庭
阳光
郑超
朱胤恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shukun Technology Co.,Ltd.
Original Assignee
Shukun Beijing Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shukun Beijing Network Technology Co Ltd filed Critical Shukun Beijing Network Technology Co Ltd
Priority to CN202211288426.2A priority Critical patent/CN115546174B/zh
Publication of CN115546174A publication Critical patent/CN115546174A/zh
Priority to KR1020230055668A priority patent/KR20230066526A/ko
Application granted granted Critical
Publication of CN115546174B publication Critical patent/CN115546174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了一种图像处理方法、装置、计算设备及存储介质。方法可以包括：获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集；以及基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。

Description

图像处理方法、装置、计算设备及存储介质
技术领域
本公开涉及图像处理领域，特别是涉及一种图像处理方法、装置、计算设备及存储介质。
背景技术
在当前医生常常借助医学扫描设备(如核磁共振成像扫描仪、磁共振成像扫描仪、计算机断层扫描仪等)扫描得到的医学图像序列或者图像集合进行医疗诊断。在经过医学扫描设备获取到原始的一个或多个图像后，还可以对原始的一个或多个图像进行处理以方便医生的查看，以使得医生可以参考处理结果进行更方便的诊断。
发明内容
根据本公开的一方面，提供了一种图像处理方法，包括：获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集；以及基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。
根据本公开的另一方面，提供了一种图像处理装置，包括：图像序列获得单元，用于获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集；以及图像序列生成单元，用于基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。
根据本公开的另一方面，提供了一种计算设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现根据本公开的一个或多个实施例的图像处理方法。
根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本公开的一个或多个实施例的图像处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的图像处理方法。
根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
图2是图示出根据示例性实施例的图像处理方法的流程图；
图3A-3D是图示出根据本公开的示例性实施例的一些示例性图像；
图4是图示出根据示例性实施例的图像处理装置的示意性框图；
图5是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面结合附图详细描述本公开的示例性实施例。
图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
参考图1，该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。
客户端设备110包括显示器114和可经由显示器114显示的客户端应用(APP)112。客户端应用112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(liteapp)。在客户端应用112为运行前需要下载和安装的应用程序的情况下，客户端应用112可以被预先安装在客户端设备110上并被激活。在客户端应用112为小程序的情况下，用户102可以通过在宿主应用中搜索客户端应用112(例如，通过客户端应用112的名称等)或扫描客户端应用112的图形码(例如，条形码、二维码等)等方式，在客户端设备110上直接运行客户端应用112，而无需安装客户端应用112。在一些实施例中，客户端设备110可以是任何类型的移动计算机设备，包括移动计算机、移动电话、可穿戴式计算机设备(例如智能手表、头戴式设备，包括智能眼镜，等)或其他类型的移动设备。在一些实施例中，客户端设备110可以替换地是固定式计算机设备，例如台式机、服务器计算机或其他类型的固定式计算机设备。在一些可选的实施例中，客户端设备110还可以是或者可以包括医学图像打印设备。
服务器120典型地为由互联网服务提供商(ISP)或互联网内容提供商(ICP)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个客户端设备110通信，但是服务器120可以同时为多个客户端设备提供后台服务。
网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中，使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来处理通过网络130交换的数据。此外，还可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、网际协议安全(IPsec)等加密技术来加密所有或者一些链路。在一些实施例中，还可以使用定制和/或专用数据通信技术来取代或者补充上述数据通信技术。
系统100还可以包括图像采集设备140。在一些实施例中，图1所示出的图像采集设备140可以是医学扫描设备，包括但不限于在正子发射断层扫描计算机成像系统(Positronemission tomography，PET)、正子发射电脑断层扫描计算机成像系统(Positron emissiontomography with computerized tomography，PET/CT)、单一光子发射电脑断层扫描计算机成像系统(Single photon emission computed tomography with computerizedtomography，SPECT/CT)、计算机断层扫描系统(Computerized tomography，CT)、医学超音波检查计算机成像系统(Medical ultrasonography)、核磁共振成像系统(Nuclearmagnetic resonance imaging，NMRI)、磁共振成像系统(Magnetic Resonance Imaging，MRI)、心血管造影成像系统(Cardiac angiography，CA)、数字放射显影系统(Digitalradiography，DR)等中使用的扫描或成像设备。例如，图像采集设备140可以包括数字减影血管造影扫描仪、磁共振血管造影扫描仪、断层血管扫描仪、正子发射断层扫描仪、正子发射电脑断层扫描仪、单一光子发射电脑断层扫描仪、计算机断层扫描仪、医学超音波检查设备、核磁共振成像扫描仪、磁共振成像扫描仪、数字放射显影扫描仪等。图像采集设备140可以与服务器(例如，图1中的服务器120或者图中未示出的、成像系统的单独服务器)相连接，以实现图像数据的处理，包括但不限于将扫描数据进行转换(例如，转换为医学图像序列)、压缩、像素修正、三维重建等。
图像采集设备140可以例如通过网络130与客户端设备110相连接，或者以其他方式直接连接到客户端设备以与客户端设备通信。
可选地，系统还可以包括智能计算设备或者计算卡150。图像采集设备140可以包括或者连接(例如，可拆除地连接)到这样的计算卡150等。作为一个示例，计算卡150可以实现图像数据的处理，包括但不限于转换、压缩、像素修正、重建等。作为另一个示例，计算卡150可以实现根据本公开的实施例的图像处理方法。
系统还可以包括其他未示出的部分，例如数据存储部。数据存储部可以是数据库、数据存储库或其他形式的用于数据存储的一个或多个装置，可以是常规数据库，也可以包括云端数据库、分布式数据库等。例如，由图像采集设备140形成的直接图像数据或者经过图像处理获得的医学图像序列或三维影像数据等可存储到数据存储部中，以供后续服务器120以及客户端设备110从数据存储部中调取。另外，上述图像采集设备140还可直接图像数据或者经过图像处理获得的医学图像序列或三维影像数据等直接提供给服务器120或者客户端设备110等。
用户可以使用客户端设备110查看采集到的图像或影像，包括初步图像数据或者经过分析处理的图像等，查看分析结果，与采集图像或分析结果进行交互，输入采集指令、配置数据等等。客户端设备110可以将配置数据、指令或者其他信息发送到图像采集设备140以控制图像采集设备的采集与数据处理等。
为了本公开实施例的目的，在图1的示例中，客户端应用112可以为图像序列管理应用程序，该图像序列管理应用程序可以提供各种功能，例如，对采集到的图像序列进行存储管理、索引、排序、分类等等。与此相应，服务器120可以是与图像序列管理应用程序一起使用的服务器。该服务器120可以基于用户请求或者根据本公开的实施例所生成的指令等向客户端设备110中运行的客户端应用112提供图像序列管理服务，例如管理云端的图像序列存储，按照指定索引(包括例如但不限于序列类型、病人标识、人体部位、采集目标、采集阶段、采集机器、是否有病灶检出、严重程度等等)对图像序列进行存储与归类，以及按照指定索引检索并向客户端设备提供图像序列，等等。替换地，服务器120也可以将这样的服务能力或者存储空间提供或分配给客户端设备110，由客户端设备110中运行的客户端应用112根据用户请求或者根据本公开的实施例所生成的指令等提供对应的图像序列管理服务，等等。可以理解的是，以上仅给出了一个示例，并且本公开不限于此。
图2是图示出根据示例性实施例的图像处理方法200的流程图。方法200可以在客户端设备(例如，图1中所示的客户端设备110)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中，方法200可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法200可以由客户端设备(例如，客户端设备110)和服务器(例如，服务器120)相组合地执行。
在下文中，以执行主体为客户端设备110为例，详细描述方法200的各个步骤。
参考图2，在步骤210处，获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集。
在步骤220，基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。
根据这样的实施例，能够基于三维图像序列对时序上的二维图像序列进行三维重建。
在医学图像采集领域，已经存在一些生成三维图像表示的方案，例如对CT图像、MR图像进行三维增强等。然而，虽然已经存在基于二维图像生成三维图像的各种技术方案，由于针对人体区域采集的二维图像随人体呼吸、血管跳动等，在时序上是变化的，这样的方案难以直接移植到时序采集的二维图像序列。相反，根据本公开的实施例，能够利用针对相同人体区域采集的三维图像序列作为参考，从而生成时序二维图像的至少一个不同角度的重建。
可以理解的是，所述第一图像序列中的图像彼此之间关于采集位置、采集深度或采集角度中的至少一项不同，可以意指图像序列包括在不同位置(例如，不同的探头位置)采集的图像、在相同的位置但是不同的成像深度采集的图像和/或以不同的角度采集的图像，和/或其组合。作为一个非限制性示例，第一图像序列可以包括一组在同样的角度但是不同的位置或深度采集的图像，并且包括另一组在基本上类似的位置但是不同的角度采集的图像，并且本公开不限于此。可以理解的是，这可以意指第一图像序列能够对第一人体区域进行三维表示。作为一个非限制性示例，第一图像序列可以是冠状动脉CT血管造影(CTA)、静脉CT血管造影(CTV)、磁共振脑血管成像(MRA)，或者可以是本领域技术人员能够理解的其他能够具有三维表示能力的图像序列。可以理解的是，所述第一图像序列是针对第一人体区域的三维表示并不需要第一图像序列中的图像是三维图像、具有特定的三维表现能力等等；相反，第一图像序列可以包括针对第一人体区域采集的多个二维图像，其可以包含一定的深度或者三维空间信息。例如，第一图像序列在通过后处理、渲染、增强等而能够以三维形式展现，但本公开不限于此。
此外可以理解的是，所述第二图像序列中的图像具有基本相同的采集角度这样的表述可以意指第二图像序列中的图像的采集角度满足预定的阈值，例如探头的抖动误差阈值。换言之，第二图像序列可以是针对第一人图区域的时序二维图像序列，示例性地可以用于向用户示出该人体区域中的某些特征随时间的变化，并且一般而言在应用本公开的实施例的方法之前，不具有三维表现能力。示例性地，第二图像序列中的图像还可以具有基本相同的采集位置和/或采集深度(例如，相同的采集切面)。作为一个非限制性示例，第二图像序列可以是数字减影血管造影(DSA)图像，但是本公开不限于此。
可以理解的是，贯穿本文中，对“第一图像序列针对第一人体区域”和“第二图像序列针对第一人体区域”的描述并非意指第一图像序列和第二图像序列具有完全相同的成像或采集范围。对“第一图像序列针对第一人体区域”和“第二图像序列针对第一人体区域”的描述甚至不需要第一图像序列和第二图像序列具有基本上相同的成像或采集范围，而只需要第一图像序列包含足够多的该人体区域中的拓扑、人体组织、人体器官、病灶等信息，以供针对第二图像序列中的特定拓扑、人体组织、人体器官、病灶、造影剂等数据生成三维数据作为参考即可。又例如，第一图像序列可以针对第一人体区域的某一空间范围采集，而第二图像序列中的图像可以仅位于所述第一人体区域中的一个切面。
此外，可以理解的是，“观看角度”可以意指图像的视角，其可以用图像所在二维平面的方向、其法向量的方向等来标识。在图像是直接采集获得的图像或者仅进行了平面处理的图像的情况下，观看角度可以等于采集角度。在其他情况下，观看角度可以对应于空间中某一个特定的采集角度，并且观看角度对应于以该角度对采集对象(例如，第一人体部位或者其一部分)进行查看，虽然图像可能并未以该角度被采集。
在一些示例中，第三图像序列可以包括多个更新图像。作为一个非限制性示例，第三图像序列可以包括一组更新图像，该组更新图像的图像数量与第二图像序列的图像数量相同。换言之，在这样的示例中，第三图像序列可以包括对第二图像序列的全部图像进行更新角度的时序图像序列。在其他的示例中，一组更新图像的数量可以等于第二图像序列中的满足预定条件的图像的数量，预定条件例如但不限于间隔预定时间的图像、满足质量要求的图像、每隔几张选取一帧图像……等等。作为另外的非限制性示例，第三图像序列可以包括多组更新图像，其中每组更新图像对应于一个观看角度，并且由此，能够获得多个在不同角度观看的时序序列。在一些示例中，第三图像序列可以除了更新角度的一个或多个图像、一组或多组图像之外，还包括第二图像序列本身或者经处理的第二图像序列。可以理解的是，以上仅为示例，本公开不限于此。
根据一些实施例，第二图像序列中的图像是造影剂辅助成像的图像。
根据本公开的方法对与造影剂辅助成像的图像序列格外有利。一方面，由于造影剂成像的图像序列往往需要时间顺序采集的多个图像以观察造影剂在人体内的移动情况，因此图像在时序上的变化格外明显，包括造影剂的增长和和血管在不同的时刻的跳动。另一方面，由于已有的造影剂成像设备的限制，往往难以在足够多的不同的角度、位置采集足够多的二维图像以能够按照常规方法进行二维图像到三维图像的重建。至少基于以上原因，目前尚未有针对造影剂成像的图像序列进行三维化的方法或产品。相反，根据本公开的实施例，能够生成造影图像的三维辅助图像。
根据一些实施例，基于所述第一图像序列和所述第二图像序列获得第三图像序列包括：基于所述第一图像序列和所述第二图像序列确定下列两项之间的对应关系：所述第一图像序列的至少一个图像中呈现的、所述第一人体区域中的至少一个人体器官、部位或组织，以及所述第二图像序列的至少一个图像中呈现的、所述第一人体区域中的至少一个人体器官、部位或组织；以及基于所述对应关系、所述第一图像序列和所述第二图像序列生成所述第三图像序列。
根据这样的实施例，能够基于对应关系来方便地在三维的第一图像序列的基础上，生成基于第二图像序列的、不同观看角度的图像，从而实现三维视觉辅助或者三维重建。
可以理解的是，贯穿本文，对“器官”“组织”“人体部位”等术语的使用并非旨在限于其严格的医学含义，而是可以包括例如一个或多个器官的集合、一个或多个组织的集合、器官的一部分、组织的一部分，并且旨在涵盖各种能够被理解为人体部位或人体部分的最广阔含义。例如，内脏器官或其一部分、病变组织或其一部分、一小段血管、几根血管构成的拓扑等等均可以被称为人体部位，并且本公开不限于此。
作为一个示例，可以将第二图像序列中的血管段区域、形态、造影剂数值以及其他参数分别映射到第一图像序列的三维拓扑结构中的对应的血管段区域，从而能够基于所述对应关系、所述第一图像序列和所述第二图像序列生成所述第三图像序列中的至少一个图像。例如，可以基于所述第一图像序列中的与所述第二图像序列中的对应图像观看角度不同的图像，或者通过将第一图像序列的三维表示映射到与所述第二图像序列中的对应图像观看角度不同的角度，并且基于该二维视图中的拓扑来生成第三图像序列中的对应图像。作为另一个示例，所生成的第三图像序列可以相对于第一图像序列具有更简单的拓扑。例如，第二图像序列中有两条血管在二维平面存在交叉，而方法可以包括利用所述第一图像序列，将该两条血管在第二图像序列的对应图像的二维平面上区分开来，从而达到三维化的目的；在这样的示例中，可以无需生成与第一图像序列完全一致的血管拓扑。也可以采用本领域技术人员能够理解的其他图像生成或者三维重建方式，并且本公开不限于此。作为一个示例，如将在下文进一步描述的，至少一个更新图像的观看角度可以被选取以使得第二图像序列中对应图像的拓扑结构被更新，以弥补图像中存在的交叉、重叠或遮挡等。
作为另外的示例，可以根据对应图像中存在的病灶或异常区域的角度、位置、CT值信息等来选择第三图像序列中的更新图像的角度、尺寸(窗宽)、位置(窗位)等。
在这样的示例中，方法可以包括对第一图像序列和第二图像序列中的至少一个进行处理以识别其中的病灶或者异常区域。例如，方法可以包括对第一图像序列进行处理以识别其中的病灶或异常区域，并且例如基于两个图像所建立的对应关系，将识别的病灶或异常区域投射到第二图像序列的至少一个图像中的对应位置。又例如，方法可以包括对第二图像序列进行处理以识别其中的病灶或者异常区域。方法还可以包括将第一图像序列和第二图像序列进行组合地处理，并且可以示例性地将从两者中分别提取的病灶或异常数据进行相互印证、组合、补充等。在其他的示例中，所获取的第一图像序列和第二图像序列中的至少一个可以已经带有预处理或预识别的病灶或异常信息，并且方法可以包括基于这些信息来生成更新图像，而不需要额外的处理步骤。
根据一个或多个示例，方法可以包括生成至少一个更新图像以使得能够更好地显示识别的或者预先识别的病灶或异常区域。例如，可以选取使得病灶或异常区域截面最大化的观看角度来生成更新图像，可以调整更新图像的尺寸、中心位置以使得病灶或异常区域被显示在图像中间或其他适于观察者观看的位置，等等。作为其他的示例，可以基于病灶或异常信息的形态、大小、复杂程度、严重程度来调整生成的更新图像的数量、分辨率等。例如，在确定所识别的病灶具有较高的重要等级(例如，与更加严重的病变相关联)、具有较复杂的形态和/或具有较小的尺寸的情况下，可以针对病变区域生成多于两个观看角度的图像，或者生成更高分辨率、更精细的图像。
根据一个或多个实施例，能够基于识别的病灶以及其他信息来智能地选择第三图像的角度、数量、分辨率等，使得所生成的第三图像更有利于显示病灶或者异常区域的信息。
参考图3A-图3B描述根据本公开的更具体的非限制性示例。如图3A所示，其中示出了可以包含多个图像的第二图像序列(未示出)中的某个图像310，其中示出血管311、312、313、314，并且其中，血管313与血管314在该图像310的二维平面存在交叉。
图3B是基于图像310生成的第三图像序列中的对应图像320。可以理解的是，在第三图像序列采用三维数据格式的情况下，图像320也可以是第三图像序列的对应的一个二维投影，并且本公开不限于此。如图3B所示，其中示出了可以包含多个图像的第二图像序列中的某个图像320，其中示出血管321、322、323、324，其可以分别对应于图3A中的血管311、312、313、314。在图3B的视图中，血管323与血管324在该图像320的二维平面不再交叉。
作为一个示例，根据本公开的实施例的方法可以包括基于确定图像310中存在交叉的血管，确定其中对应血管不再交叉的角度(例如，图像320的角度)，并且生成并呈现图像320以供用户查看。示例性地，还可以基于所确定的角度，生成包含图像320的时序上的图像序列(未示出)，以在该血管不存在交叉的角度上完整地呈现造影剂在人体血管中的变化。例如，所生成的图像序列可以具有与第二图像相同的时间范围、数量等。在这样的情况下，第三图像序列可以意指所生成的新的二维图像序列，其可以采用二维图像序列的形式，但可以提供第二图像序列的不同视角的信息。在一些情况下，第三图像序列可以提供时序的三维信息，并且因此可以被称为第二图像序列的三维表示，但本公开不限于此。作为另一个示例，第三图像序列可以包括第二图像序列和所生成的新的角度的图像序列的组合，这样的第三图像序列在至少一个采集时刻针对人体区域具有至少两个角度的图像。在其他示例中，可以确定多于一个角度并且生成多于一个图像(或者，多于一个图像序列)，第三图像序列可以包括所生成的图像或者图像序列，并且本公开不限于此。
作为另一个示例，根据本公开的实施例的方法可以包括基于第一图像序列和第二图像序列，针对第二图像序列中的至少一个时刻生成三维影像，也即，对于第二图像序列中的多个图像或每个图像生成三维影像。因此，用户通过拖动、旋转等操作，对于第二图像序列中的至少一个时刻甚至全部时刻的图像进行不同角度的查看。可以理解的是，在这样的示例中，图像310和320可以是在用户选择的特定角度下的呈现视图，并且本公开不限于此。
在一些示例中，还可以视觉地向用户呈现造影剂浓度值。参考图3C所示，其中示出了采集到的示例第二图像序列中的一个图像的局部图像330，其中血管331和血管332存在交叉。在图像330中，以不同的深度示出了区域3311、3312、3321和3322和333的造影剂的浓度。可以理解的是，在这样的二维图像中，所采集到的交叉区域333的造影剂浓度将是血管331和血管332两者的造影剂浓度值的叠加。此外，可以理解的是，虽然图中以阴影分别表示每个区域的浓度，但图示仅为示例，不同区域的浓度可以以颜色、明暗、深浅、渐变、数值、数值范围、等级等各种形式表示，不同区域之间的浓度可以彼此相等，或者同一区域中的不同位置的浓度可以不同，并且本公开不限于此。
继续参考图3D，根据本公开的一个或多个实施例，通过生成基于第二图像序列的、不同观看角度的图像，可以生成包括局部图像340的图像或图像序列。图像340中的血管341和血管342可以分别对应于图像330中的血管331和血管332，并且图像340的角度使得血管341和血管342不再交叉。在这样的示例中，可以分别计算出区域3411、3412、3413、3421、3422、3423的造影值浓度，并以任何所需的方式——包括并不限于图案、阴影、明暗、色彩、数值等——进行显示。区域3411、3412、3421、3422可以分别对应于第二图像序列中的区域3311、3312、3321和3322，并且其浓度值可以由此获得，例如，直接获得，或基于角度、血管形态改变而调整等。区域3413和区域3423的区域可以通过区域333的浓度而获得，例如通过将交叉部分的浓度综合减去非交叉部分的相邻区域的浓度而确定，或者通过其他方法、包括但不限于仿真计算、神经网络分析等方式来获得。可以理解的是，本公开不限于此。
可以理解的是，虽然参考图3A-图3D围绕是否存在交叉血管描述了本公开的实施例的一些具体示例，但是本公开并不限于此。本公开旨在能够基于三维的图像序列而对二维图像时序序列生成至少一个其他角度的图像作为参考以达到视觉辅助或三维重建的效果，这样的技术目的并不必然要求第二图像序列中的图像一定存在血管交叉，也并不必然要求所生成的更新图像中不存在血管交叉，而只要生成不同观看角度的图像以使得用户(例如，医生、诊断者)能够更方便查看该人体区域的血管形态、造影剂浓度等等即可。
根据一些实施例，所述第一图像序列的至少一个图像包括一个或多个已识别的血管段区域，所述已识别的血管段区域具有相应的命名；并且所述对应关系是从所述第一图像序列的所述至少一个图像中的所述已识别的血管段区域到所述第二图像序列的所述至少一个图像中的至少一个血管段区域的命名映射。
根据这样的实施例，能够有效地利用第一图像序列中已经识别的信息，从而方便地获得第二图像序列的变换视角的表示形式。例如，在相关领域，已经存在能够提供每个血管的命名的CTA图像的呈现方案。因此，可以进一步获得与该命名对应的血管的三维空间范围，并且利用命名将第一图像序列映射到时序采集的(例如但不限于造影剂成像的)第二图像序列。作为一些非限制性示例，通过CTA或者MRA采集的图像可以包括已经识别的血管名称RCA、LM、LCX、LAD等，并且可以通过这些命名，在对应的第二图像序列(例如但不限于DSA影像)中识别对应的一个或多个血管，由此完成不同形态的图像序列之间的映射。
根据一些实施例，所述第一图像序列的至少一个图像包含识别的病灶区域，并且其中，基于所述对应关系、所述第一图像序列和所述第二图像序列生成所述第三图像序列包括：基于所述对应关系，在所述第三图像序列的至少一个图像中，生成与所述识别的病灶区域对应的图像部分。
在这样的实施例中，所生成的第三图像序列可以方便用户将第一图像序列识别的病灶与第二图像序列的时序情况一起查看。尤其是，用户可以时序地并且三维地(例如，至少两个角度地)查看随时间的变化的第二图像序列，从而方便用户对采集结果进行查看，例如不需要反复跳转查看和比对不同的图像序列。例如，这样的显示方式有助于做出更准确的诊断。作为一个示例，识别的病灶可以是识别的CTA斑块，但是本公开不限于此。例如，在第二图像序列是造影剂辅助成像序列的情况下，所生成的第三图像序列可以方便用户将病灶与造影剂情况一起查看，尤其是，用户可以时序地并且至少两个角度地查看造影剂随时间的变化，并且可以结合病灶形态来查看造影剂的时间变化，但本公开不限于此。
根据一些实施例，确定所述对应关系包括：确定所述第二图像序列中的参考图像；基于所述参考图像获得所述第一图像序列的基准二维视图；以及基于所述基准二维视图和所述参考图像确定所述对应关系。
根据这样的实施例，能够通过从时序图像序列中确定一个图像作为参考，基于第一图像序列确定一个二维图像作为基准视图，并且将参考图像与基准视图进行比较，来获得两个图像序列中对应血管的对应关系(例如，命名对应关系等)。从而，能够简单准确地在不同数据格式的两个图像序列之间建立映射关系。例如，在建立了参考图像和基准视图之间的映射关系之后，可以在基准图像和第二图像序列中的其他图像之间建立映射或者对应关系。
示例性地，基于所述参考图像获得所述第一图像序列的基准二维视图可以使得所述基准二维视图与所述关键图像帧具有基本上相同的角度，例如完全相同或者偏差角度在阈值范围内的角度。基准二维视图可以是第一图像序列所包含的图像中的某个图像。或者，可以通过将基于第一图像序列所生成的三维空间数据投影到某个二维平面，来获得该基准二维视图。
基于所述基准二维视图和所述参考图像确定所述对应关系可以基于基准二维视图与参考图像中的血管的形态而获得。作为一个示例，参考图像也可以被称为关键图像帧。可以基于一个或多个判断标准确定参考图像，并且一些示例将在下文进行描述。
根据一些实施例，基于所述参考图像获得所述第一图像序列的基准二维视图包括：基于所述第二图像序列的采集角度获得所述基准二维视图。
根据这样的实施例，能够通过直接获取或者间接计算第二图像序列的采集角度来获得第一图像序列的基准二维视图。例如，对于某些采集装置，或者在某些采集参数设定下，第一图像序列的三维空间中的角度所对应的现实世界中的角度是已知的，和/或，第二图像序列的采集角度是已知的。或者，可以基于图像数据确定这些采集角度，例如通过图像中的特定人体器官、组织的定位和朝向，基于光源位置等，从图像数据计算获得采集角度。
可以理解的是，获得所述基准二维视图可以包括从第一图像序列中选取与第二图像序列的采集角度对应、接近或者在一定角度范围内的图像，但是“获得所述基准二维视图”的表述并不要求基准二维视图必然是原始采集的第一图像序列中的一个图像。如前文已经叙述的，在某些示例中，可以基于第一图像序列生成全角度的三维空间数据，并且由此获得的基准二维视图可以是这样的三维空间数据在某一个角度的二维投影图。
根据一些实施例，基于所述第一图像序列获得具有不同的多个观看角度的多个观看视图；以及通过与所述参考图像进行比较，从所述多个观看视图中确定所述基准二维视图。
根据这样的实施例，可以通过将第一图像序列的多个观看视图与第二图像序列(具体地，第二图像序列的参考视图)进行比较，从而在无需获得或者无法获得第一图像序列或第二图像序列的采集角度的情况下，仍然能够确定所需的基准二维视图。例如，可以将多个观看视图中的每个观看视图中的血管形态或者其他人体组织器官的形态与参考图像中的血管形态等进行比较，从而确定形态最接近的图像作为基准二维视图。
如前文已经叙述的，基于所述第一图像序列获得具有不同的多个观看角度的多个观看视图可以包括从第一图像序列中获得多个采集角度不同的图像，也可以包括对所述第一图像序列的三维表示按照多个投影角度进行投影以生成多个投影结果，并且本公开不限于此。
根据一些实施例，确定所述第二图像序列中的满足第一标准的第一血管段区域，其中所述第一标准包括关于以下各项中的至少一项：血管段长度、造影剂的显影度、采集清晰度；以及将所述第一血管段区域所在的图像帧确定为所述参考图像。
在这样的实施例中，可以从第二图像序列中选择血管最长、显影最好和/或最清晰的图像作为参考图像，从而获得更加准确的对应关系。
在一些示例中，可以首先识别图像中特定的血管，例如与当前采集目标有关的特定血管、主动脉、图像中最粗的血管、显影剂最初到达的血管、显影剂浓度最高或者高于一定阈值的血管，等等，并且通过将该特定的血管作为“第一血管段区域”，来选择符合标准的图像作为参考图像。在另一些示例中，可以在所有的图像和所有的血管中进行选取，并且将最符合第一标准要求的血管段区域(例如，所有的图像中最长的一根血管、清晰度最好的一根血管)标定为第一血管段区域，并且基于该第一血管段区域选择参考图像。可以理解的是，以上均为示例，并且本公开不限于此。
在另外一些示例中，第一标准可以附加地或者替代性地包括血管数量最多和/或血管分叉点最清晰等。根据又另一些示例，第一标准可以包括显影剂的总浓度超过特定阈值或者距离摄入显影剂已经经过了特定时间，以选择那些图像中包括显影剂的血管路径较长或者最长的图像作为参考，并且本公开不限于此。
根据一些实施例，确定所述第二图像序列中的参考图像包括：获得所述第二图像序列中的第一形态点，所述第一形态点对应于血管的分叉点、连接点和转折点中的至少一个；以及将所述第一形态点所在的图像帧确定为所述参考图像。
根据这样的实施例，所选取的参考图像将具有一些期望的标志性特征，例如分叉和转折点。在三维重建过程中，这样的标志点将是很重要的，至少因为相对于直线区段而言，包含分叉、连接、转折等血管之间关系的形态点往往具有一定的角度和特殊形态，因而基于这样的参考点，更容易在第一图像序列中识别对应的角度，确定对应的基准二维视图，并且由此能够准确地建立第一图像序列与第二图像序列的对应关系。
在一些示例中，可以通过对所识别的图像中的拓扑进行分析来识别这样的形态点。在一些示例中，形态点的识别可以进一步基于采集目的、采集的人体区域等参数(例如，基于当前采集对象是冠状动脉，着重识别与冠状动脉相对应的特定的分叉点，等等)。在另一些示例中，可以通过预训练的神经网络模型来识别形态点。在又另外的实施例中，或者在现有的算法识别形态点未能满足准确度要求时，还可以输入人工标注形态点的提示，以使得用户(例如医师)辅助确定最关键的形态点。可以理解的是，本公开不限于此。
根据一些实施例，方法还可以包括获得所述基准二维视图中的、与所述第一形态点对应的第二形态点，并且其中，基于所述基准二维视图和所述参考图像确定所述对应关系包括：确定所述基准二维视图中与所述第二形态点关联的一个或多个血管段区域和所述参考图像中与所述第一形态点关联的一个或多个血管段区域之间的对应关系。
根据这样的实施例，通过类似地在基准二维视图中识别具有一定角度或朝向的形态点，能够更简单和准确地建立第一图像序列与第二图像序列之间的对应关系。
根据一些实施例，在第二图像包含造影值信息的情况下，方法200还可以包括生成增强的第一图像序列，所述增强的第一图像序列包括基于所述第二图像序列的造影值。在这样的实施例中，不仅可以基于三维的图像序列(例如，CTA、MRA等)对时序的图像序列进行变化角度重建，还可以基于第二图像序列中的造影值对第一图像序列进行增强和渲染，由此进一步减轻了用户例如诊断医生需要反复对比不同序列的需求，方便用户在当前查看的图像序列中获得更全面的信息，更有助于用户的诊断等。
可以理解的是，虽然各个操作在附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。
可以理解的是，贯穿本公开，图像序列可以是直接采集并存储或以其它方式发送到终端设备以供用户使用的图像数据。图像序列也可以是经过各种图像处理之后的经处理的图像数据。图像序列还可以经过其他分析过程(例如，是否存在病变特征或者病灶的分析过程)并且包含分析结果(例如，感兴趣区域的圈出、组织的分割结果等等)。可以理解的是，本公开不限于此。
图4是图示出根据示例性实施例的图像处理装置400的示意性框图。图像处理装置400可以包括图像序列获得单元410和图像序列生成单元420。图像序列获得单元410可以用于获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集。图像序列生成单元420可以用于基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。
应当理解，图4中所示装置400的各个模块可以与参考图2描述的方法200中的各个步骤相对应。由此，上面针对方法200描述的操作、特征和优点同样适用于装置400及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
根据本公开的实施例，还公开了一种计算设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现根据本公开的实施例的图像处理方法及其变型例的步骤。
根据本公开的实施例，还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现根据本公开的实施例的图像处理方法及其变型例的步骤。
根据本公开的实施例，还公开了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现根据本公开的实施例的图像处理方法及其变型例的步骤。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。例如，上文中描述的多个模块在一些实施例中可以组合成单个模块，或反之亦然。如本文使用的，短语“实体A发起动作B”可以是指实体A发出执行动作B的指令，但实体A本身并不一定执行该动作B。
还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，本文所描述的模块中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的一方面，提供了一种计算设备，其包括存储器、处理器以及存储在存储器上的计算机程序。该处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
在下文中，结合图5描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
图5示出了可以被用来实施本文所描述的方法的计算机设备500的示例配置。举例来说，图1中所示的服务器120和/或客户端设备110可以包括类似于计算机设备500的架构。上述图像处理设备/装置也可以全部或至少部分地由计算机设备500或类似设备或系统实现。
计算机设备500可以是各种不同类型的设备，例如服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统、和/或任何其它合适的计算机设备或计算系统。计算机设备500的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如，平板电脑、蜂窝或其他无线电话(例如，智能电话)、记事本计算机、移动台)、可穿戴设备(例如，眼镜、手表)、娱乐设备(例如，娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。因此，计算机设备500的范围可以从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限的存储器和/或处理资源的低资源设备(例如，传统的机顶盒、手持游戏控制台)。
计算机设备500可以包括能够诸如通过系统总线514或其他适当的连接彼此通信的至少一个处理器502、存储器504、(多个)通信接口506、显示设备508、其他输入/输出(I/O)设备510以及一个或更多大容量存储设备512。
处理器502可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器502可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器502可以被配置成获取并且执行存储在存储器504、大容量存储设备512或者其他计算机可读介质中的计算机可读指令，诸如操作系统516的程序代码、应用程序518的程序代码、其他程序520的程序代码等。
存储器504和大容量存储设备512是用于存储指令的计算机可读存储介质的示例，所述指令由处理器502执行来实施前面所描述的各种功能。举例来说，存储器504一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备512一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器504和大容量存储设备512在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器502作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
多个程序模块可以存储在大容量存储设备512上。这些程序包括操作系统516、一个或多个应用程序518、其他程序520和程序数据522，并且它们可以被加载到存储器504以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：方法200(包括方法200的任何合适的步骤)、和/或本文描述的另外的实施例。
虽然在图5中被图示成存储在计算机设备500的存储器504中，但是模块516、518、520和522或者其部分可以使用可由计算机设备500访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机存储介质和通信介质。
计算机存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。
与此相对，通信介质可以在诸如载波或其他传送机制之类的已调数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机存储介质不包括通信介质。
计算机设备500还可以包括一个或更多通信接口506，以用于诸如通过网络、直接连接等等与其他设备交换数据，正如前面所讨论的那样。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等。通信接口506可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如LAN、电缆等等)和无线网络(例如WLAN、蜂窝、卫星等等)、因特网等等。通信接口506还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。
在一些示例中，可以包括诸如监视器之类的显示设备508，以用于向用户显示信息和图像。其他I/O设备510可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。
虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，并且词语“一”或“一个”不排除多个。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。

Claims (16)

1.一种图像处理方法，包括：
获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集；以及
基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像并且与所述至少一个图像具有不同的观看角度。
2.根据权利要求1所述的方法，其中，所述第二图像序列中的图像是造影剂辅助成像的图像。
3.根据权利要求1或2所述的方法，其中，基于所述第一图像序列和所述第二图像序列生成第三图像序列包括：
基于所述第一图像序列和所述第二图像序列确定下列两项之间的对应关系：所述第一图像序列的至少一个图像中呈现的、所述第一人体区域中的至少一个人体器官、部位或组织，以及所述第二图像序列的至少一个图像中呈现的、所述第一人体区域中的至少一个人体器官、部位或组织；以及
基于所述对应关系、所述第一图像序列和所述第二图像序列生成所述第三图像序列。
4.根据权利要求3所述的方法，其中，所述第一图像序列的至少一个图像包括一个或多个已识别的血管段区域，所述已识别的血管段区域具有相应的命名；并且
所述对应关系是从所述第一图像序列的所述至少一个图像中的所述已识别的血管段区域到所述第二图像序列的所述至少一个图像中的至少一个血管段区域的命名映射。
5.根据权利要求3或4所述的方法，其中，所述第一图像序列的至少一个图像包含识别的病灶区域，并且其中，基于所述对应关系、所述第一图像序列和所述第二图像序列生成所述第三图像序列包括：基于所述对应关系，在所述第三图像序列的至少一个图像中，生成与所述识别的病灶区域对应的图像部分。
6.根据权利要求3-5中任一项所述的方法，其中，确定所述对应关系包括：
确定所述第二图像序列中的参考图像；
基于所述参考图像获得所述第一图像序列的基准二维视图；以及
基于所述基准二维视图和所述参考图像确定所述对应关系。
7.根据权利要求6所述的方法，其中，基于所述参考图像获得所述第一图像序列的基准二维视图包括：
基于所述第二图像序列的采集角度获得所述基准二维视图。
8.根据权利要求6所述的方法，其中，基于所述参考图像获得所述第一图像序列的基准二维视图包括：
基于所述第一图像序列获得具有不同的多个观看角度的多个观看视图；以及
通过与所述参考图像进行比较，从所述多个观看视图中确定所述基准二维视图。
9.根据权利要求6-8中任一项所述的方法，其中，确定所述第二图像序列中的参考图像包括：
确定所述第二图像序列中的满足第一标准的第一血管段区域，其中所述第一标准包括关于以下各项中的至少一项：血管段长度、造影剂的显影度、采集清晰度；以及
将所述第一血管段区域所在的图像帧确定为所述参考图像。
10.根据权利要求6-8中任一项所述的方法，其中，确定所述第二图像序列中的参考图像包括：
获得所述第二图像序列中的第一形态点，所述第一形态点对应于血管的分叉点、连接点和转折点中的至少一个；以及
将所述第一形态点所在的图像帧确定为所述参考图像。
11.根据权利要求10所述的方法，还包括获得所述基准二维视图中的、与所述第一形态点对应的第二形态点，并且其中，基于所述基准二维视图和所述参考图像确定所述对应关系包括：确定所述基准二维视图中与所述第二形态点关联的一个或多个血管段区域和所述参考图像中与所述第一形态点关联的一个或多个血管段区域之间的对应关系。
12.根据权利要求2-10中任一项所述的方法，还包括生成增强的第一图像序列，所述增强的第一图像序列包括基于所述第二图像序列的造影值。
13.一种图像处理装置，包括：
图像序列获得单元，用于获得对应于第一人体区域的第一图像序列和对应于所述第一人体区域的第二图像序列，其中，所述第一图像序列中的图像彼此之间关于以下各项中的至少一项不同：采集位置、采集深度或采集角度，所述第二图像序列中的图像具有基本相同的采集角度，并且所述第二图像序列中的图像依次在不同的时刻被采集；以及
图像序列生成单元，用于基于所述第一图像序列和所述第二图像序列生成第三图像序列，所述第三图像序列包含至少一个更新图像，所述至少一个更新图像对应于所述第二图像序列中的至少一个图像，并且与所述至少一个图像具有不同的观看角度。
14.一种计算设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-12中任一项所述方法的步骤。
15.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
16.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
CN202211288426.2A 2022-10-20 2022-10-20 图像处理方法、装置、计算设备及存储介质 Active CN115546174B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211288426.2A CN115546174B (zh) 2022-10-20 2022-10-20 图像处理方法、装置、计算设备及存储介质
KR1020230055668A KR20230066526A (ko) 2022-10-20 2023-04-27 이미지 처리 방법, 장치, 컴퓨팅 디바이스 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211288426.2A CN115546174B (zh) 2022-10-20 2022-10-20 图像处理方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN115546174A true CN115546174A (zh) 2022-12-30
CN115546174B CN115546174B (zh) 2023-09-08

Family

ID=84736455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211288426.2A Active CN115546174B (zh) 2022-10-20 2022-10-20 图像处理方法、装置、计算设备及存储介质

Country Status (2)

Country Link
KR (1) KR20230066526A (zh)
CN (1) CN115546174B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150131886A1 (en) * 2013-11-13 2015-05-14 Pie Medical Imaging B.V. Method and System for Registering Intravascular Images
CN105005998A (zh) * 2015-08-05 2015-10-28 大连理工大学 一种基于多角度序列化图像空间特征点集的脑血管图像分割方法
US20180000430A1 (en) * 2016-06-29 2018-01-04 Siemens Healthcare Gmbh Generating an image sequence
US20200029916A1 (en) * 2018-07-25 2020-01-30 Siemens Healthcare Gmbh Method for operating an x-ray device, x-ray device, computer program and electronically readable storage medium
CN110766735A (zh) * 2019-10-21 2020-02-07 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质
CN111368787A (zh) * 2020-03-17 2020-07-03 浙江大学 视频处理方法及装置、设备和计算机可读存储介质
CN112168346A (zh) * 2020-11-02 2021-01-05 沈阳蓝软智能医疗科技有限公司 三维医学影像与患者实时重合的方法及手术辅助系统
CN112749611A (zh) * 2020-07-27 2021-05-04 腾讯科技（深圳）有限公司 人脸点云模型生成方法及装置、存储介质、电子设备
CN113066064A (zh) * 2021-03-29 2021-07-02 郑州铁路职业技术学院 基于人工智能的锥束ct图像生物结构识别及三维重建系统
US20210217187A1 (en) * 2020-06-30 2021-07-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for image processing and computer storage medium
CN113657430A (zh) * 2021-06-30 2021-11-16 浙江大华技术股份有限公司 行人聚类方法、设备及存储介质
CN113808179A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像的配准方法、装置及可读存储介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
CN113920114A (zh) * 2021-12-13 2022-01-11 杭州太美星程医药科技有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113920314A (zh) * 2021-09-30 2022-01-11 北京百度网讯科技有限公司 语义分割、模型训练方法，装置，设备以及存储介质
CN114331992A (zh) * 2021-12-23 2022-04-12 数坤(北京)网络科技股份有限公司 图像序列处理方法、装置、计算设备及存储介质
CN114663381A (zh) * 2022-03-17 2022-06-24 西安大医集团股份有限公司 图像配准方法、装置、终端设备和计算机可读存储介质
CN114708583A (zh) * 2022-02-24 2022-07-05 广州文远知行科技有限公司 目标物的检测方法、装置、设备及存储介质
CN114764767A (zh) * 2020-12-30 2022-07-19 上海联影医疗科技股份有限公司 血管提取方法和计算机设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150131886A1 (en) * 2013-11-13 2015-05-14 Pie Medical Imaging B.V. Method and System for Registering Intravascular Images
CN105005998A (zh) * 2015-08-05 2015-10-28 大连理工大学 一种基于多角度序列化图像空间特征点集的脑血管图像分割方法
US20180000430A1 (en) * 2016-06-29 2018-01-04 Siemens Healthcare Gmbh Generating an image sequence
US20200029916A1 (en) * 2018-07-25 2020-01-30 Siemens Healthcare Gmbh Method for operating an x-ray device, x-ray device, computer program and electronically readable storage medium
CN110766735A (zh) * 2019-10-21 2020-02-07 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质
CN111368787A (zh) * 2020-03-17 2020-07-03 浙江大学 视频处理方法及装置、设备和计算机可读存储介质
US20210217187A1 (en) * 2020-06-30 2021-07-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for image processing and computer storage medium
CN112749611A (zh) * 2020-07-27 2021-05-04 腾讯科技（深圳）有限公司 人脸点云模型生成方法及装置、存储介质、电子设备
CN112168346A (zh) * 2020-11-02 2021-01-05 沈阳蓝软智能医疗科技有限公司 三维医学影像与患者实时重合的方法及手术辅助系统
CN114764767A (zh) * 2020-12-30 2022-07-19 上海联影医疗科技股份有限公司 血管提取方法和计算机设备
CN113066064A (zh) * 2021-03-29 2021-07-02 郑州铁路职业技术学院 基于人工智能的锥束ct图像生物结构识别及三维重建系统
CN113657430A (zh) * 2021-06-30 2021-11-16 浙江大华技术股份有限公司 行人聚类方法、设备及存储介质
CN113808179A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像的配准方法、装置及可读存储介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
CN113920314A (zh) * 2021-09-30 2022-01-11 北京百度网讯科技有限公司 语义分割、模型训练方法，装置，设备以及存储介质
CN113920114A (zh) * 2021-12-13 2022-01-11 杭州太美星程医药科技有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
CN114331992A (zh) * 2021-12-23 2022-04-12 数坤(北京)网络科技股份有限公司 图像序列处理方法、装置、计算设备及存储介质
CN114708583A (zh) * 2022-02-24 2022-07-05 广州文远知行科技有限公司 目标物的检测方法、装置、设备及存储介质
CN114663381A (zh) * 2022-03-17 2022-06-24 西安大医集团股份有限公司 图像配准方法、装置、终端设备和计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENGCHENG ZHU等: "3D high-resolution contrast enhanced MRI of carotid atheroma — a technical update", 《MAGNETIC RESONANCE IMAGING》, vol. 32, no. 5, pages 594 - 597 *
姬东岑: "医学图像配准算法的研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2022, pages 060 - 41 *
李荣: "基于冠脉造影图像序列的血管分离技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2017, pages 138 - 3323 *
肖小娇: "基于无造影剂MRI图像的肝癌智能诊断方法研究", 《中国博士学位论文全文数据库 医药卫生科技辑》, no. 2022, pages 072 - 253 *
赵全等: "基于手术医生头位姿的三维人体部位显示技术", 《软件》, vol. 39, no. 9, pages 58 - 63 *

Also Published As

Publication number Publication date
CN115546174B (zh) 2023-09-08
KR20230066526A (ko) 2023-05-16

Similar Documents

Publication Publication Date Title
US9082231B2 (en) Symmetry-based visualization for enhancing anomaly detection
US10867375B2 (en) Forecasting images for image processing
US8682051B2 (en) Smoothing of dynamic data sets
US11526994B1 (en) Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images
US20130135307A1 (en) Medical image processing apparatus
US9691157B2 (en) Visualization of anatomical labels
US11132793B2 (en) Case-adaptive medical image quality assessment
US11978137B2 (en) Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks
US10964074B2 (en) System for harmonizing medical image presentation
CN111462139A (zh) 医学图像显示方法、装置、计算机设备和可读存储介质
CN114331992A (zh) 图像序列处理方法、装置、计算设备及存储介质
CN107170021B (zh) 时变数据的细化重构
CN115546174B (zh) 图像处理方法、装置、计算设备及存储介质
US10467497B2 (en) System and method for providing assistance in surgery in presence of tissue deformation
CN114048738A (zh) 基于症状描述的数据采集方法、装置、计算设备、介质
CN113971754A (zh) 图像数据采集方法、装置、计算设备及存储介质
Huang et al. CT-MR image registration in liver treatment by maximization of mutual information
US20230030618A1 (en) Making measurements in images
CN117541742A (zh) 图像处理方法、装置、计算设备及存储介质
CN116327239A (zh) 用于辅助超声扫描的方法、装置、计算设备及存储介质
CN114334093A (zh) 图像序列处理方法、装置、计算设备及存储介质
KR20230049589A (ko) 혈액 유속 결정 방법, 장치, 컴퓨팅 디바이스 및 저장 매체
CN118415668A (zh) 用于辅助超声扫描的方法、装置、计算设备及存储介质
CN115546154A (zh) 图像处理方法、装置、计算设备及存储介质
CN117153344A (zh) 数据处理方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing

Patentee after: Shukun Technology Co.,Ltd.

Address before: Rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing

Patentee before: Shukun (Beijing) Network Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder