CN115546154A - 图像处理方法、装置、计算设备及存储介质 - Google Patents
图像处理方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN115546154A CN115546154A CN202211241516.6A CN202211241516A CN115546154A CN 115546154 A CN115546154 A CN 115546154A CN 202211241516 A CN202211241516 A CN 202211241516A CN 115546154 A CN115546154 A CN 115546154A
- Authority
- CN
- China
- Prior art keywords
- images
- rendering
- reference data
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000009877 rendering Methods 0.000 claims abstract description 258
- 238000000034 method Methods 0.000 claims abstract description 90
- 210000000746 body region Anatomy 0.000 claims abstract description 62
- 230000000977 initiatory effect Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
提供了一种图像处理方法、装置、计算设备及存储介质。方法可以包括获得包括针对第一人体区域采集的多个图像的图像集合；发起向服务器发送所述图像集合的发送操作；从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及基于所述渲染参考数据生成渲染结果。
Description
技术领域
本公开涉及图像处理领域，特别是涉及一种图像处理方法、装置、计算设备及存储介质。
背景技术
在当前医生常常借助医学扫描设备(如核磁共振成像扫描仪、磁共振成像扫描仪、计算机断层扫描仪等)扫描得到的医学图像序列或者图像集合进行医疗诊断。在经过医学扫描设备获取到原始的一个或多个图像后，还可以对原始的一个或多个图像进行处理，例如增强、渲染等，以使得医生可以参考处理结果进行更方便的诊断。
发明内容
根据本公开的一方面，提供了一种图像处理方法，包括：获得包括针对第一人体区域采集的多个图像的图像集合；发起向服务器发送所述图像集合的发送操作；从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及基于所述渲染参考数据生成渲染结果。
根据本公开的另一方面，提供了一种图像处理方法，包括：从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及向所述第一设备发送所述渲染参考数据。
根据本公开的又另一方面，提供了一种图像处理装置，包括：获得单元，用于获得包括针对第一人体区域采集的多个图像的图像集合；发送单元，用于发起向服务器发送所述图像集合的发送操作；接收单元，用于从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及渲染单元，用于基于所述渲染参考数据生成渲染结果。
根据本公开的再另一方面，提供了一种图像处理装置，包括：接收单元，用于从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；处理单元，用于对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及发送单元，用于向所述第一设备发送所述渲染参考数据。
根据本公开的另一方面，提供了一种计算设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现根据本公开的一个或多个实施例的图像处理方法。
根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本公开的一个或多个实施例的图像处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的图像处理方法。
根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
图2是图示出根据示例性实施例的图像处理方法的流程图；
图3A-图3E是图示出根据示例形式示例的渲染结果的示意性视图；
图4是图示出根据本公开的另外的示例性实施例的图像处理方法的流程图；
图5是图示出根据示例性实施例的图像处理装置的示意性框图；
图6是图示出根据本公开的另外的示例性实施例的图像处理装置的示意性框图；
图7是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面结合附图详细描述本公开的示例性实施例。
图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
参考图1，该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。
客户端设备110包括显示器114和可经由显示器114显示的客户端应用(APP)112。客户端应用112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(liteapp)。在客户端应用112为运行前需要下载和安装的应用程序的情况下，客户端应用112可以被预先安装在客户端设备110上并被激活。在客户端应用112为小程序的情况下，用户102可以通过在宿主应用中搜索客户端应用112(例如，通过客户端应用112的名称等)或扫描客户端应用112的图形码(例如，条形码、二维码等)等方式，在客户端设备110上直接运行客户端应用112，而无需安装客户端应用112。在一些实施例中，客户端设备110可以是任何类型的移动计算机设备，包括移动计算机、移动电话、可穿戴式计算机设备(例如智能手表、头戴式设备，包括智能眼镜，等)或其他类型的移动设备。在一些实施例中，客户端设备110可以替换地是固定式计算机设备，例如台式机、服务器计算机或其他类型的固定式计算机设备。在一些可选的实施例中，客户端设备110还可以是或者可以包括医学图像打印设备。
服务器120典型地为由互联网服务提供商(ISP)或互联网内容提供商(ICP)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个客户端设备110通信，但是服务器120可以同时为多个客户端设备提供后台服务。
网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中，使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来处理通过网络130交换的数据。此外，还可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、网际协议安全(IPsec)等加密技术来加密所有或者一些链路。在一些实施例中，还可以使用定制和/或专用数据通信技术来取代或者补充上述数据通信技术。
系统100还可以包括图像采集设备140。在一些实施例中，图1所示出的图像采集设备140可以是医学扫描设备，包括但不限于在正子发射断层扫描计算机成像系统(Positronemission tomography，PET)、正子发射电脑断层扫描计算机成像系统(Positron emissiontomography with computerized tomography，PET/CT)、单一光子发射电脑断层扫描计算机成像系统(Single photon emission computed tomography with computerizedtomography，SPECT/CT)、计算机断层扫描系统(Computerized tomography，CT)、医学超音波检查计算机成像系统(Medical ultrasonography)、核磁共振成像系统(Nuclearmagnetic resonance imaging，NMRI)、磁共振成像系统(Magnetic Resonance Imaging，MRI)、心血管造影成像系统(Cardiac angiography，CA)、数字放射显影系统(Digitalradiography，DR)等中使用的扫描或成像设备。例如，图像采集设备140可以包括数字减影血管造影扫描仪、磁共振血管造影扫描仪、断层血管扫描仪、正子发射断层扫描仪、正子发射电脑断层扫描仪、单一光子发射电脑断层扫描仪、计算机断层扫描仪、医学超音波检查设备、核磁共振成像扫描仪、磁共振成像扫描仪、数字放射显影扫描仪等。图像采集设备140可以与服务器(例如，图1中的服务器120或者图中未示出的、成像系统的单独服务器)相连接，以实现图像数据的处理，包括但不限于将扫描数据进行转换(例如，转换为医学图像序列)、压缩、像素修正、三维重建等。
图像采集设备140可以例如通过网络130与客户端设备110相连接，或者以其他方式直接连接到客户端设备以与客户端设备通信。
可选地，系统还可以包括智能计算设备或者计算卡150。图像采集设备140可以包括或者连接(例如，可拆除地连接)到这样的计算卡150等。作为一个示例，计算卡150可以实现图像数据的处理，包括但不限于转换、压缩、像素修正、重建等。作为另一个示例，计算卡150可以实现根据本公开的实施例的图像处理方法，例如根据本公开的一个或多个实施例中的由客户端侧执行的图像处理方法。
系统还可以包括其他未示出的部分，例如数据存储部。数据存储部可以是数据库、数据存储库或其他形式的用于数据存储的一个或多个装置，可以是常规数据库，也可以包括云端数据库、分布式数据库等。例如，由图像采集设备140形成的直接图像数据或者经过图像处理获得的医学图像序列或图像集合或三维影像数据等可存储到数据存储部中，以供后续服务器120以及客户端设备110从数据存储部中调取。另外，上述图像采集设备140还可直接图像数据或者经过图像处理获得的医学图像序列或图像集合或三维影像数据等直接提供给服务器120或者客户端设备110等。
用户可以使用客户端设备110查看采集到的图像或影像，包括初步图像数据或者经过分析处理的图像等，查看分析结果，与采集图像或分析结果进行交互，输入采集指令、配置数据以及等等。客户端设备110可以将配置数据、指令或者其他信息发送到图像采集设备140以控制图像采集设备的采集与数据处理等。
为了本公开实施例的目的，在图1的示例中，客户端应用112可以为图像管理应用程序，该图像管理应用程序可以提供各种功能，例如，对采集到的图像序列或者图像集合进行存储管理、索引、排序、分类等等。与此相应，服务器120可以是与图像管理应用程序一起使用的服务器。该服务器120可以基于用户请求或者根据本公开的实施例所生成的指令等向客户端设备110中运行的客户端应用112提供图像管理服务，例如管理云端的图像序列或图像存储，按照指定索引(包括例如但不限于序列类型、病人标识、人体部位、采集目标、采集阶段、采集机器、是否有病灶检出、严重程度等等)对图像序列或者图像进行存储与归类，以及按照指定索引检索并向客户端设备提供图像序列或者图像，等等。替换地，服务器120也可以将这样的服务能力或者存储空间提供或分配给客户端设备110，由客户端设备110中运行的客户端应用112根据用户请求或者根据本公开的实施例所生成的指令等提供对应的图像管理服务，等等。可以理解的是，以上仅给出了一个示例，并且本公开不限于此。
图2是图示出根据示例性实施例的图像处理方法200的流程图。方法200可以在客户端设备(例如，图1中所示的客户端设备110)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中，方法200可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法200可以由客户端设备(例如，客户端设备110)和服务器(例如，服务器120)相组合地执行。
在下文中，以执行主体为客户端设备110为例，详细描述方法200的各个步骤。
在步骤210处，获得包括针对第一人体区域采集的多个图像的图像集合。
在步骤220处，发起向服务器发送所述图像集合的发送操作。
在步骤230处，从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据。
在步骤240处，基于所述渲染参考数据生成渲染结果。
通过上述方法，能够综合利用云端计算资源和本地计算资源，并且能够获得较高的计算和传输效率。
根据本公开的技术方案，尤其是客户端侧向云端发送图像，从云端接收渲染参考数据作为中间结果，并且基于渲染参考数据生成渲染结果的方法步骤，尤其有利于一些资源受限的场景。例如，在一些基层的医院或者诊断部门，本地设备计算能力有限，为了对所采集的图像、图像集合或者图像序列进行处理，使用云计算的服务可能是更加可取的。然而，如果从云端接收全部的渲染结果，对于网络资源的消耗可能是巨大的。此外，也将会引起令人不愉快的等待时间。作为对比，根据本公开的技术方案，将计算处理和图像后处理(渲染)过程进行解耦，将计算量较大的工作交给云端，本地处理设备仅需要基于接收到的中间计算结果(“参考数据”)进行一些后处理和渲染以呈现给用户，因而，能够充分利用云端和本地的计算资源的特点，并且减少了所需的等待时间。
依然作为示例，在某些基层医院或者诊断部门，尤其是条件不佳的医院或诊断部门，网络资源可能也是受限的。在这样的受限网络条件下非常常见的一种情况是，上传速度相对可以得到保障，然而下载速度非常缓慢。根据本公开的方案尤其有利于这样的场景，因为不再需要下载大量的图像数据或者渲染结果。
虽然各个操作在附图中被描绘为按照特定的顺序，但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行，也不应理解为要求必须执行所有示出的操作以获得期望的结果。
可以理解的是，虽然描述为在发起向服务器发送所述图像集合的发送操作后，从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据，但这并不意味着需要在发送操作完成后才能接受渲染参考数据。如下文中将要描述的，可以在发送至少一个图像之后，接收基于该至少一个图像的渲染参考数据，等等。
根据一些实施例，所述发送操作可以包括依次发送所述多个图像。在这样的实施例中，接收基于所述图像集合中的至少一个图像生成的渲染参考数据可以包括：接收基于所述图像集合的第一图像子集而生成的第一渲染参考数据，所述第一图像子集小于所述图像集合，并且在这样的实施例中，基于所述渲染参考数据生成渲染结果可以包括：基于所述第一图像子集生成第一渲染结果以进行显示。
能够获得基于部分图像的参考数据，并且基于部分参考数据生成渲染结果，由此，可以获得实时性和较低的延迟，无需等到所有数据都上传并处理之后即可生成和显示
根据一些实施例，所述第一渲染结果对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域。
在这样的实施例中，本地可以生成仅对应于第一图像子集的部分结果。作为一个具体的非限制性示例，假设图像集合包括300张图像，对应于第一人体区域所在的三维空间，并且假设第一图像子集包括30张图像，对应于该三维空间中的一个子空间区域(例如，一个连续的子空间区域)，并且因此，第一渲染参考数据和第一渲染结果可以均对应于该子空间区域。
参考图3A作为示例，其中示出了在客户端显示的画面的示例。显示画面可以包括对第一渲染结果对应的区域311，以及与所述第一人体区域对应的、未显示的区域312。可以理解的是，虽然在图3A为了说明目的示出灰色区域312，但本公开不限于此。例如，可以只显示区域311，而不显示尚未获得数据的部分312。
根据一些实施例，所述第一渲染结果包括精细渲染部分和粗糙渲染部分，所述精细渲染部分对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域，并且所述粗糙渲染部分对应于所述第一人体区域中的除所述第一子区域之外的子区域，所述精细渲染部分具有高于所述粗糙渲染部分的精度。
在这样的实施例中，本地可以基于不完整的第一渲染结果生成完整结果，包括高分辨率部分和低分辨率部分。例如，参考图3B，其中示出了第一子区域321和第二子区域(“其他子区域”)322，第一子区域321对应于第一图像子集的人体区域的、具有较高分辨率的精细渲染部分，第二子区域322对应于其他人体区域的、具有较低的分辨率、较为粗糙、或者在其他方面可能具有一些不准确的粗糙渲染部分。由此，在这样的实施例中，可以在尚未获得准确数据时生成较为粗糙的渲染结果以供用户进行预估，进一步缩短在设备侧的用户的等待时间，提高用户体验。
如将在下文中详细描述的，粗糙渲染部分可以随后(例如，在服务器接收到更多的图像并且生成进一步的渲染参考数据之后)被更新、修正或替代。可以通过多种方式来预先生成粗糙渲染部分。
作为一个示例，粗糙渲染部分可以也是基于第一渲染参考数据而生成的。例如，可以在发送第一图像子集之前或者与第一图像子集一起发送整个图像集合的描述信息，包括但不限于图像集合的压缩版本、人体范围、数量信息，或者其他设备获取或者生成的用于对整个图像集合进行描述的其他信息。由此，服务器可以基于整体的描述信息和第一图像集合生成第一渲染参考数据，使得第一渲染参考数据不仅能够反映第一图像集合所在的人体区域的较为准确的信息，还能够反映其他部分的信息(例如，在图3B的示例中，大致的中心线形状，或者在其他示例中，大致的人体分割、区域命名等等)。
作为另一个示例，粗糙渲染部分可以是设备端生成的。例如，设备端可以进行简单的处理，以较低的精度和较低的运算量生成粗糙渲染部分以弥补当前未从云端接收到参考数据的部分，以使得呈现给用户的结果尽量完整。
根据一些实施例，方法200还可以包括在接收所述第一渲染参考数据之后：接收基于所述图像集合的第二图像子集的第二渲染参考数据，其中所述第二图像子集中的至少一个图像未被包括在所述第一图像子集中；以及至少基于所述第二渲染参考数据生成第二渲染结果。
在这样的实施例中，能够分批量接收渲染参考数据，并且更新渲染结果。
可以理解的是，至少基于所述第二渲染参考数据生成第二渲染结果可以包括但不限于以下情形。
在一个示例情形中，第二渲染参考数据是基于不同于第一图像子集的第二图像子集生成的，并且第二渲染参考数据描述与第二图像子集所对应的新的一部分子区域，由此“至少基于”所述第二渲染参考数据生成第二渲染结果可以基于第二渲染参考数据生成差分部分也即新的区域。继续前文的非限制性示例，例如，图像集合包括300张图像，对应于第一人体区域所在的三维空间，第一图像子集包括编号为1-30的图像，对应于该三维空间中的一个子空间区域，并且第二图像子集包括编号为31-60的图像，对应于该三维空间中的另一个子空间区域。可以理解的是，以上数值仅为示例，并且在这样的示例情形中，并不要求第一图像子集与第二图像子集具有相同的图像数量。例如，第二图像子集可以包括编号为31-100的图像，并且本公开不限于此。
参考图3C，其是对应于图3A的进一步渲染结果示意图，在这样的示例中，第一渲染结果可以对应于区域331，第一图像子集可以是与区域331所在的区域对应的多个图像，第二渲染结果可以对应于区域332，并且第二图像子集可以是与区域332所在的区域对应的多个图像。此外，可以理解的是，虽然为了说明目的示出灰色区域333，但也可以只显示区域331和区域332，而不显示尚未获得数据的区域333。
或者，参考图3D，其是对应于图3B的进一步渲染结果示意图，在这样的示例中，第一图像子集可以是与区域341所在的区域对应的多个图像，第二渲染结果可以对应于区域342，并且第二图像子集可以是与区域342所在的区域对应的多个图像，并且其余部分被示出为粗糙渲染部分343。可以理解的是，如前文中已经叙述的，粗糙渲染部分343可以是根据由服务器基于第二图像子集和描述信息而生成的第二子渲染参考信息而更新的。或者粗糙渲染部分343可以与粗糙渲染部分322的对应部分一致，而仅仅被更新了精细渲染部分。
在另一个示例情形中，第二图像子集包括第一图像子集中的至少一个图像，并且还包括至少一个新的图像。由此，第二渲染参考数据既能够描述一部分与第一图像子集对应的区域，也能够描述与第二图像子集所对应的新的一部分子区域。继续前文的非限制性示例，例如，图像集合包括300张图像，对应于第一人体区域所在的三维空间，第一图像子集包括编号为1-30的图像，并且第二图像子集可以包括编号为1-60的图像、编号为20-60的图像、编号为28-60的图像，等等。可以理解的是，以上数值仅为示例，并且在这样的示例情形中，并不要求第二图像子集的新增部分与第一图像子集具有相同的图像数量。例如，第二图像子集可以包括编号为1-80、20-80、25-100等等的图像，并且本公开不限于此。
根据这样的实施例，继续参考图3C，此时的第二渲染结果可以包括区域332以及区域331的至少一部分(未示出)。换言之，在这样的示例中，可以根据后续图像对先前获得的渲染参考结果(例如，中心线、分割等)进行修正和更新。作为一个具体的非限制性示例，可以对331和332边缘部分进行更新。例如，第二图像子集可以除了新增的图像(例如，编号为31-60)之外，还包括一定数量的与其衔接的之前的图像(例如，编号为25-30、编号为28-30等等)，以使得生成的渲染结果具有光滑的边缘，而不会在不同的渲染部分之前产生明显的偏离。
换言之，在这样的示例中，可以基于第二渲染参考数据对第一渲染结果的区域也进行更新。
根据一些实施例，根据权利要求5所述的方法200还可以包括：使得显示所述第二渲染结果以替代所述第一渲染结果的至少一部分；或者使得显示所述第二渲染结果与所述第一渲染结果的组合。
例如，如果第一渲染结果包括精细部分和粗糙部分，第二渲染结果可以是第二图像子集所在区域的精细渲染结果(例如，图3D中的区域342)以替代原有的第一渲染结果(例如，图3B中的区域322)中的一部分。又例如，第二渲染结果可以是区域341和342的精细渲染结果，并且示例性地还可以包括区域343的粗糙渲染结果。作为另一个示例，如果第一结果仅包括精细部分，第二渲染结果可以包括第二图像子集的精细部分，并且可以包第一渲染结果的某些区域(例如，边缘或连接部分)的修正数据。
在其他的示例中，例如在第二渲染参考数据仅表示更新区域的数据的示例中，可以由设备对第一渲染参考数据和第二渲染参考数据进行合并和拼接以生成第二渲染结果等。根据一些实施例，至少基于所述第二图像子集生成第二渲染结果可以包括基于所述第一渲染参考数据和所述第二渲染参考数据生成所述第二渲染结果。
根据一些实施例，方法200还可以包括：获得经压缩的图像集合；以及在发送所述图像集合之前或者与所述图像集合同时地，向服务器发送所述经压缩的图像集合。例如，在这样的实施例中，可以由设备生成或者以其他方式获取压缩的图像，并且向服务器发送压缩图像以作为参考，以使得服务器返回的渲染参考数据可以包括完整区域的结果(例如，用于一部分区域的精细渲染结果和另一部分区域的粗糙渲染结果的参考数据)。
根据一些实施例，方法200还可以包括：在发起向服务器发送所述图像集合的发送操作之前，获得感兴趣区域范围；以及依次发送所述多个图像包括使得对应于所述感兴趣区域范围的一个或多个图像被优先发送。例如，在已知与第26-50张图像描述的区域是感兴趣区域的情况下，可以优先从第26或者第50张图像开始传输，以使得服务器首先接收到感兴趣区域相关的图像，并且将其作为第一图像集合中的图像首先进行处理，并且首先返回渲染参考数据以供显示。由此，基于感兴趣区域范围优先发送图像，以使得能够优先处理并且优先显示感兴趣区域范围相关的图像的结果。
根据一些实施例，获得感兴趣区域范围可以包括生成感兴趣区域范围，并且所述方法200还可以包括将所述感兴趣区域范围发送到所述服务器。在这样的实施例中，以是客户端基于完整数据生成感兴趣区域范围。
在其他的实施例中，可以由服务器生成感兴趣区域范围，例如基于描述数据或者经压缩的图像集合来生成感兴趣区域范围，并且将感兴趣区域范围发送到客户端设备。由此，客户端设备可以先发送与感兴趣区域范围相关的一个或多个图像。根据一些实施例，方法200还可以包括，在发起向服务器发送所述图像集合的发送操作之前：获得经压缩的图像集合；以及向服务器发送所述经压缩的图像集合；并且其中，获得感兴趣区域范围可以包括：从所述服务器接收基于所述经压缩的图像集合获得的感兴趣区域范围。在这样的实施例中，可以预先向服务器发送压缩的图像，压缩的图像数据大小较小，耗时短，以使得服务器基于压缩图像生成感兴趣区域范围，并且减少总体的处理与显示延迟。
根据一些实施例，方法200还可以包括：获得经压缩的图像集合；以及在发送所述感兴趣区域范围之前或者与所述感兴趣区域范围同时地，向服务器发送所述经压缩的图像集合。
在这样的实施例中，将感兴趣范围与压缩的图像一起发送，使得服务器能够结合压缩的图像(整体数据)与感兴趣区域，而在接收全部完整图像之前即可获得对该人体区域的整体知识，更有助于处理。
在其他的实施例中，服务器也可以基于其他数据来获得对人体区域的整体知识，例如基于接收的此次采集区域的描述数据、先前采集或存储的相似区域的图像数据，等等。
根据一些实施例，所述渲染参考数据可以包括以下各项中的至少一项：所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。根据其他实施例，渲染参考数据可以包括识别的病症位置、病症类型等。可以理解的是，在这样的示例中，渲染结果可以包括根据中心线生成的血管后处理图像、根据分割生成的虚拟现实(VR)图像、根据病症位置生成的多序列整合图像等。此外，可以理解的是，基于图像序列的类型、采集目的、处理需求等，渲染结果也可以是本领域技术人员能够理解的其他类型的渲染图像或者后处理结果。
已经结合图3A-图3D以参考数据为中心线为例描述了本公开的实施例。例如，这在与冠脉、头颈、血管等相关的图像采集中可能是格外需要的。例如，命名数据和分割数据可以是压缩率很高的掩码(mask)数据，并且因此方便传输，尤其是在本地网络较差的情况下，也不会需要很高的传输时长。根据其他示例，渲染参考数据可以是其他在生成新图像时所需的中间参量，包括但不限于组织边界、参考点、序列名称、配准参考信息等。
根据本公开的一个或多个实施例，还可以在接收所述第二渲染参考数据之后：接收基于所述图像集合的第三图像子集的第三渲染参考数据，其中所述第三图像子集中的至少一个图像未被包括在所述第二图像子集中，并且至少基于所述第三渲染参考数据生成第三渲染结果……以此类推，直至服务器已经接收全部图像子集，并且从服务器接收到能够生成完整的渲染结果。例如，如图3E所示，其中示出了完整的渲染结果350的示例。可以理解的是，本公开不限于此。
下面参考图4，以执行主体为服务器为例，描述根据本公开的实施例的数据处理方法400。
在步骤410处，从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像。
在步骤420处，对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果。
在步骤430处，向所述第一设备发送所述渲染参考数据。
根据这样的实施例，服务器接收图像，生成中间参考数据并且发送，由此，能够充分利用云端和本地的处理资源，获得较高的处理效率。尤其是，发送渲染参考数据而非发送渲染结果还可以节省传输资源，从而进一步提高设备侧所能实现的处理效率。
根据一些实施例，从第一设备接收第一图像集合可以包括依次接收所述多个图像。在这样的实施例中，对所述图像集合中的至少一个图像进行处理以生成渲染参考数据可以包括：响应于在所述多个图像被全部接收前的第一时刻满足第一条件，基于在所述第一时刻已接收的图像生成第一渲染参考数据；并且向所述第一设备发送所述渲染参考数据可以包括：向所述第一设备发送所述第一渲染参考数据。
根据这样的实施例，可以在全部接收之前即处理、生成并发送渲染参考数据，由此，可以获得实时性和较低的延迟，无需等到所有数据都获得之后才开始分析计算。
根据一些实施例，所述第一条件可以包括在所述第一时刻已接收的图像的数量满足第一数量条件。
可以理解的是，第一条件可以是绝对值(例如，必须要接收到1张、3张、5张、20张……)图像才能开始处理，也可以是相对值(例如，接收到总数的1％，5％，10％等等)。总数可以是从第一设备接收的。或者，第一条件可以包含其他条件，例如图像的清晰度，或者已接收的图像覆盖特定人体区域等等，并且本公开不限于此。
根据一些实施例，所述第一条件可以包括已经接收到第二图像集合，所述第二图像集合是所述第一图像集合的经压缩版本。
在这样的实施例中，可以基于经压缩的图像获得人体区域的整体知识，更有助于处理。根据一些示例性实施例，可以基于经压缩的图像所获得的人体知识，除了基于当前接收的完整图像生成用于精细渲染的精细渲染参考数据外，还生成其余部分的粗糙渲染参考数据以用于粗糙(例如，低分辨率或者低精度)的渲染。根据一些实施例，基于在所述第一时刻已接收的图像生成第一渲染参考数据可以包括基于在所述第一时刻已接收的图像和所述第二图像集合生成第一渲染参考数据。
根据一些示例性实施例，可以基于经压缩的图像所获得的人体知识，优先对感兴趣区域所对应的图像进行处理等。
根据一些实施例，方法400还可以包括：响应于在第一时刻之后的第二时刻满足第二条件，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据；并且向所述第一设备发送所述渲染参考数据包括：向所述第一设备发送所述第二渲染参考数据。
第二条件包括在所述第二时刻已接收的数量条件，可以是绝对值、相对值，可以是总数也可以是相对于第一时刻的增量等。例如，也可以基于第二时刻已经接收的全部图像并且可以基于第二图像集合来生成第二渲染参考数据(更新的精细部分和更新的粗糙部分)，等等。
根据一些实施例，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据可以包括：基于在所述第一时刻之后并且在所述第二时刻之前接收的图像生成所述第二渲染参考数据。在这样的实施例中，可以仅基于新接收到的图像生成差分数据，以减少传输量。在其他的实施例中，在生成第二渲染参考数据时，可以部分或全部地参考之前接收的图像，并且第二渲染参考数据也可以包括对于第一图像集合所对应的人体部位的渲染参考数据(例如，用于修正第一渲染参考数据中不准确的部分)。
根据一些实施例，所述渲染参考数据可以包括以下各项中的至少一项：所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。
可以理解的是，贯穿本公开，图像序列或者图像集合可以是或可以包括二维图像数据，也可以是或者包括三维图像数据。图像序列或者图像集合可以是直接采集并存储或以其它方式发送到终端设备以供用户使用的图像数据。图像序列或者图像集合也可以是经过各种图像处理之后的经处理的图像数据。图像序列或者图像集合还可以经过其他分析过程(例如，是否存在病变特征或者病灶的分析过程)并且包含分析结果(例如，感兴趣区域的圈出、组织的分割结果等等)。可以理解的是，本公开不限于此。
根据本公开的一个或多个实施例，能够基于本地上传的数据，在云端进行计算或预测。
根据一些实施例，可以基于经压缩的完整数据和部分上传的原图进行计算。例如，压缩的数据可以是在x、y维度上均压缩到原图的1/2等，但是本公开不限于此。云端可以基于经压缩的数据，将小尺寸的数据进行上采样以还原到原图，因此获得较好的区域和不太精细的其他区域(例如，原图还未被接收到的区域)。云端可以向本地回传部分区域的计算数据(例如，中心线)，并且因而本地可以先基于部分区域的数据(例如，中心线)进行后处理和计算。在一些实施例中，云端给本地回传可以只传精细计算部分。在另外一些实施例中，可以将包括粗糙计算的区域的数据全部回传。在这样的情况下，本地可以以较高和较低的分辨率来分别显示不同的区域。
示例性地，云端在接收到经压缩的图像集合时，可以基于经压缩的图像集合先进行分割，识别感兴趣区域，例如关键的起始切片、范围等，并且向终端设备发送指令、信号、标识符等以使得终端设备先发送与感兴趣区域相关的图像。示例性地，感兴趣区域也可以由终端设备来识别。
根据另外一些实施例，本地可以不向云端发送经压缩的数据。示例性地，本地可以向云端发送每个图像的编号，并且附加地可以发送(例如，预先发送)图像的总数。
作为一个具体的非限制性示例，根据本公开的一个或多个实施例可以应用于冠脉图像，并且对应的图像集合(图像序列)可以是三维图像序列，并且对应的人体区域或部分可以是三维体积部分。可以理解的是，本公开不限于此。
图5是图示出根据示例性实施例的图像处理装置500的示意性框图。图像处理装置500可以包括获得单元510、发送单元520、接收单元530和渲染单元540。获得单元510可以用于获得包括针对第一人体区域采集的多个图像的图像集合。发送单元520可以用于发起向服务器发送所述图像集合的发送操作。接收单元530可以用于从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据。渲染单元540可以用于基于所述渲染参考数据生成渲染结果。
应当理解，图5中所示装置500的各个模块可以与参考图2描述的方法200中的各个步骤相对应。由此，上面针对方法200描述的操作、特征和优点同样适用于装置500及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
图6是图示出根据示例性实施例的图像处理装置600的示意性框图。图像处理装置600可以包括接收单元610、处理单元620和发送单元630。
接收单元610可以用于从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像。处理单元620可以用于对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果。发送单元630可以用于向所述第一设备发送所述渲染参考数据。
应当理解，图6中所示装置600的各个模块可以与参考图4描述的方法400中的各个步骤相对应。由此，上面针对方法400描述的操作、特征和优点同样适用于装置600及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
根据本公开的实施例，还公开了一种计算设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现根据本公开的实施例的图像处理方法及其变型例的步骤。
根据本公开的实施例，还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现根据本公开的实施例的图像处理方法及其变型例的步骤。
根据本公开的实施例，还公开了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现根据本公开的实施例的图像处理方法及其变型例的步骤。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。如本文使用的，短语“实体A发起动作B”可以是指实体A发出执行动作B的指令，但实体A本身并不一定执行该动作B。
还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图5和图6描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital SignalProcessor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的一方面，提供了一种计算设备，其包括存储器、处理器以及存储在存储器上的计算机程序。该处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
在下文中，结合图7描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
图7示出了可以被用来实施本文所描述的方法的计算机设备700的示例配置。举例来说，图1中所示的服务器120和/或客户端设备110可以包括类似于计算机设备700的架构。上述图像处理设备/装置也可以全部或至少部分地由计算机设备700或类似设备或系统实现。
计算机设备700可以是各种不同类型的设备，例如服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统、和/或任何其它合适的计算机设备或计算系统。计算机设备700的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如，平板电脑、蜂窝或其他无线电话(例如，智能电话)、记事本计算机、移动台)、可穿戴设备(例如，眼镜、手表)、娱乐设备(例如，娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。因此，计算机设备700的范围可以从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限的存储器和/或处理资源的低资源设备(例如，传统的机顶盒、手持游戏控制台)。
计算机设备700可以包括能够诸如通过系统总线714或其他适当的连接彼此通信的至少一个处理器702、存储器704、(多个)通信接口706、显示设备708、其他输入/输出(I/O)设备710以及一个或更多大容量存储设备712。
处理器702可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器702可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器702可以被配置成获取并且执行存储在存储器704、大容量存储设备712或者其他计算机可读介质中的计算机可读指令，诸如操作系统716的程序代码、应用程序718的程序代码、其他程序720的程序代码等。
存储器704和大容量存储设备712是用于存储指令的计算机可读存储介质的示例，所述指令由处理器702执行来实施前面所描述的各种功能。举例来说，存储器704一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备712一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器704和大容量存储设备712在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器702作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
多个程序模块可以存储在大容量存储设备712上。这些程序包括操作系统716、一个或多个应用程序718、其他程序720和程序数据722，并且它们可以被加载到存储器704以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：客户端应用112(包括发送模块、接收模块和用于计算的模块等)、服务器计算平台(包括发送模块、接收模块和用于计算的模块等)、方法200和/或方法400(包括方法400、300的任何合适的步骤)、和/或本文描述的另外的实施例。
虽然在图7中被图示成存储在计算机设备700的存储器704中，但是模块716、718、720和722或者其部分可以使用可由计算机设备700访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机存储介质和通信介质。
计算机存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。
与此相对，通信介质可以在诸如载波或其他传送机制之类的已调数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机存储介质不包括通信介质。
计算机设备700还可以包括一个或更多通信接口706，以用于诸如通过网络、直接连接等等与其他设备交换数据，正如前面所讨论的那样。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等。通信接口706可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如LAN、电缆等等)和无线网络(例如WLAN、蜂窝、卫星等等)、因特网等等。通信接口706还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。
在一些示例中，可以包括诸如监视器之类的显示设备708，以用于向用户显示信息和图像。其他I/O设备710可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。
虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，并且词语“一”或“一个”不排除多个。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。
下面给出了根据本公开的一些方面的示例：
示例1是一种图像处理方法，包括：
获得包括针对第一人体区域采集的多个图像的图像集合；
发起向服务器发送所述图像集合的发送操作；
从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及
基于所述渲染参考数据生成渲染结果。
示例2是根据示例1所述的方法，其中：
所述发送操作包括依次发送所述多个图像；
接收基于所述图像集合中的至少一个图像生成的渲染参考数据包括：接收基于所述图像集合的第一图像子集而生成的第一渲染参考数据，所述第一图像子集小于所述图像集合；以及
基于所述渲染参考数据生成渲染结果包括：基于所述第一图像子集生成第一渲染结果以进行显示。
示例3是根据示例2所述的方法，其中，所述第一渲染结果对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域。
示例4是根据示例2所述的方法，其中，所述第一渲染结果包括精细渲染部分和粗糙渲染部分，所述精细渲染部分对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域，并且所述粗糙渲染部分对应于所述第一人体区域中的除所述第一子区域之外的子区域，所述精细渲染部分具有高于所述粗糙渲染部分的精度。
示例5是根据示例2-4中任一项所述的方法，还包括，在接收所述第一渲染参考数据之后：
接收基于所述图像集合的第二图像子集的第二渲染参考数据，其中所述第二图像子集中的至少一个图像未被包括在所述第一图像子集中；以及
至少基于所述第二渲染参考数据生成第二渲染结果。
示例6是根据示例5所述的方法，还包括：
使得显示所述第二渲染结果以替代所述第一渲染结果的至少一部分；或者
使得显示所述第二渲染结果与所述第一渲染结果的组合。
示例7是根据示例5或6所述的方法，其中，至少基于所述第二图像子集生成第二渲染结果包括基于所述第一渲染参考数据和所述第二渲染参考数据生成所述第二渲染结果。
示例8是根据示例4所述的方法，还包括：
获得经压缩的图像集合；以及
在发送所述图像集合之前或者与所述图像集合同时地，向服务器发送所述经压缩的图像集合。
示例9是根据示例1-7中任一项所述的方法，还包括：在发起向服务器发送所述图像集合的发送操作之前，获得感兴趣区域范围；以及
依次发送所述多个图像包括使得对应于所述感兴趣区域范围的一个或多个图像被优先发送。
示例10是根据示例9所述的方法，其中，获得感兴趣区域范围包括生成感兴趣区域范围，并且所述方法还包括将所述感兴趣区域范围发送到所述服务器。
示例11是根据示例9所述的方法，还包括，在发起向服务器发送所述图像集合的发送操作之前：
获得经压缩的图像集合；以及
向服务器发送所述经压缩的图像集合；并且
其中，获得感兴趣区域范围包括：从所述服务器接收基于所述经压缩的图像集合获得的感兴趣区域范围。
示例12是根据示例9或10所述的方法，还包括：
获得经压缩的图像集合；以及
在发送所述感兴趣区域范围之前或者与所述感兴趣区域范围同时地，向服务器发送所述经压缩的图像集合。
示例13是根据示例1-12中任一项所述的方法，其中，所述渲染参考数据包括以下各项中的至少一项：
所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。
示例14是一种图像处理方法，包括：
从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；
对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及
向所述第一设备发送所述渲染参考数据。
示例15是根据示例14所述的方法，其中，
从第一设备接收第一图像集合包括依次接收所述多个图像；
对所述图像集合中的至少一个图像进行处理以生成渲染参考数据包括：响应于在所述多个图像被全部接收前的第一时刻满足第一条件，基于在所述第一时刻已接收的图像生成第一渲染参考数据；并且
向所述第一设备发送所述渲染参考数据包括：向所述第一设备发送所述第一渲染参考数据。
示例16是根据示例15所述的方法，其中，所述第一条件包括在所述第一时刻已接收的图像的数量满足第一数量条件。
示例17是根据示例15或16所述的方法，其中，所述第一条件包括已经接收到第二图像集合，所述第二图像集合是所述第一图像集合的经压缩版本。
示例18是根据示例17所述的方法，其中，基于在所述第一时刻已接收的图像生成第一渲染参考数据包括基于在所述第一时刻已接收的图像和所述第二图像集合生成第一渲染参考数据。
示例19是根据示例14-19中任一项所述的方法，还包括：
响应于在第一时刻之后的第二时刻满足第二条件，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据；并且
向所述第一设备发送所述渲染参考数据包括：向所述第一设备发送所述第二渲染参考数据。
示例20是根据示例19所述的方法，其中，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据包括：
基于在所述第一时刻之后并且在所述第二时刻之前接收的图像生成所述第二渲染参考数据。
示例21是根据示例14-20中任一项所述的方法，其中，所述渲染参考数据包括以下各项中的至少一项：
所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。
示例22是一种图像处理装置，包括：
获得单元，用于获得包括针对第一人体区域采集的多个图像的图像集合；
发送单元，用于发起向服务器发送所述图像集合的发送操作；
接收单元，用于从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及
渲染单元，用于基于所述渲染参考数据生成渲染结果。
示例23是一种图像处理装置，包括：
接收单元，用于从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；
处理单元，用于对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及
发送单元，用于向所述第一设备发送所述渲染参考数据。
示例24是一种计算设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现示例1-13或14-21中任一项所述方法的步骤。
示例25是一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现示例1-13或14-21中任一项所述方法的步骤。
示例26是一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现示例1-13或14-21中任一项所述方法的步骤。
Claims (26)
1.一种图像处理方法，包括：
获得包括针对第一人体区域采集的多个图像的图像集合；
发起向服务器发送所述图像集合的发送操作；
从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及
基于所述渲染参考数据生成渲染结果。
2.根据权利要求1所述的方法，其中：
所述发送操作包括依次发送所述多个图像；
接收基于所述图像集合中的至少一个图像生成的渲染参考数据包括：接收基于所述图像集合的第一图像子集而生成的第一渲染参考数据，所述第一图像子集小于所述图像集合；以及
基于所述渲染参考数据生成渲染结果包括：基于所述第一图像子集生成第一渲染结果以进行显示。
3.根据权利要求2所述的方法，其中，所述第一渲染结果对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域。
4.根据权利要求2所述的方法，其中，所述第一渲染结果包括精细渲染部分和粗糙渲染部分，所述精细渲染部分对应于所述第一人体区域中的、由所述第一图像子集中的图像描述的第一子区域，并且所述粗糙渲染部分对应于所述第一人体区域中的除所述第一子区域之外的子区域，所述精细渲染部分具有高于所述粗糙渲染部分的精度。
5.根据权利要求2-4中任一项所述的方法，还包括，在接收所述第一渲染参考数据之后：
接收基于所述图像集合的第二图像子集的第二渲染参考数据，其中所述第二图像子集中的至少一个图像未被包括在所述第一图像子集中；以及
至少基于所述第二渲染参考数据生成第二渲染结果。
6.根据权利要求5所述的方法，还包括：
使得显示所述第二渲染结果以替代所述第一渲染结果的至少一部分；或者
使得显示所述第二渲染结果与所述第一渲染结果的组合。
7.根据权利要求5或6所述的方法，其中，至少基于所述第二图像子集生成第二渲染结果包括基于所述第一渲染参考数据和所述第二渲染参考数据生成所述第二渲染结果。
8.根据权利要求4所述的方法，还包括：
获得经压缩的图像集合；以及
在发送所述图像集合之前或者与所述图像集合同时地，向服务器发送所述经压缩的图像集合。
9.根据权利要求1-7中任一项所述的方法，还包括：在发起向服务器发送所述图像集合的发送操作之前，获得感兴趣区域范围；以及
依次发送所述多个图像包括使得对应于所述感兴趣区域范围的一个或多个图像被优先发送。
10.根据权利要求9所述的方法，其中，获得感兴趣区域范围包括生成感兴趣区域范围，并且所述方法还包括将所述感兴趣区域范围发送到所述服务器。
11.根据权利要求9所述的方法，还包括，在发起向服务器发送所述图像集合的发送操作之前：
获得经压缩的图像集合；以及
向服务器发送所述经压缩的图像集合；并且
其中，获得感兴趣区域范围包括：从所述服务器接收基于所述经压缩的图像集合获得的感兴趣区域范围。
12.根据权利要求9或10所述的方法，还包括：
获得经压缩的图像集合；以及
在发送所述感兴趣区域范围之前或者与所述感兴趣区域范围同时地，向服务器发送所述经压缩的图像集合。
13.根据权利要求1-12中任一项所述的方法，其中，所述渲染参考数据包括以下各项中的至少一项：
所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。
14.一种图像处理方法，包括：
从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；
对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及
向所述第一设备发送所述渲染参考数据。
15.根据权利要求14所述的方法，其中，
从第一设备接收第一图像集合包括依次接收所述多个图像；
对所述图像集合中的至少一个图像进行处理以生成渲染参考数据包括：响应于在所述多个图像被全部接收前的第一时刻满足第一条件，基于在所述第一时刻已接收的图像生成第一渲染参考数据；并且
向所述第一设备发送所述渲染参考数据包括：向所述第一设备发送所述第一渲染参考数据。
16.根据权利要求15所述的方法，其中，所述第一条件包括在所述第一时刻已接收的图像的数量满足第一数量条件。
17.根据权利要求15或16所述的方法，其中，所述第一条件包括已经接收到第二图像集合，所述第二图像集合是所述第一图像集合的经压缩版本。
18.根据权利要求17所述的方法，其中，基于在所述第一时刻已接收的图像生成第一渲染参考数据包括基于在所述第一时刻已接收的图像和所述第二图像集合生成第一渲染参考数据。
19.根据权利要求14-19中任一项所述的方法，还包括：
响应于在第一时刻之后的第二时刻满足第二条件，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据；并且
向所述第一设备发送所述渲染参考数据包括：向所述第一设备发送所述第二渲染参考数据。
20.根据权利要求19所述的方法，其中，基于在所述第二时刻已接收的图像中的至少一个图像生成第二渲染参考数据包括：
基于在所述第一时刻之后并且在所述第二时刻之前接收的图像生成所述第二渲染参考数据。
21.根据权利要求14-20中任一项所述的方法，其中，所述渲染参考数据包括以下各项中的至少一项：
所述第一人体区域中的血管中心线数据；所述第一人体区域中的人体结构的分割数据；或所述第一人体区域中的人体结构的命名数据。
22.一种图像处理装置，包括：
获得单元，用于获得包括针对第一人体区域采集的多个图像的图像集合；
发送单元，用于发起向服务器发送所述图像集合的发送操作；
接收单元，用于从所述服务器接收基于所述图像集合中的至少一个图像生成的渲染参考数据；以及
渲染单元，用于基于所述渲染参考数据生成渲染结果。
23.一种图像处理装置，包括：
接收单元，用于从第一设备接收第一图像集合，所述第一图像集合包括针对第一人体区域采集的多个图像；
处理单元，用于对所述图像集合中的至少一个图像进行处理以生成渲染参考数据，所述渲染参考数据用于针对所述第一人体区域生成渲染结果；以及
发送单元，用于向所述第一设备发送所述渲染参考数据。
24.一种计算设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-13或14-21中任一项所述方法的步骤。
25.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-13或14-21中任一项所述方法的步骤。
26.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-13或14-21中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211241516.6A CN115546154B (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211241516.6A CN115546154B (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546154A true CN115546154A (zh) | 2022-12-30 |
| CN115546154B CN115546154B (zh) | 2024-02-06 |
Family
ID=84733662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211241516.6A Active CN115546154B (zh) | 2022-10-11 | 2022-10-11 | 图像处理方法、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546154B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001037220A1 (en) * | 1999-11-18 | 2001-05-25 | Info Assets, Inc. | Rendering image data |
| US20050074150A1 (en) * | 2003-10-03 | 2005-04-07 | Andrew Bruss | Systems and methods for emulating an angiogram using three-dimensional image data |
| JP2011110282A (ja) * | 2009-11-27 | 2011-06-09 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| US20160110861A1 (en) * | 2014-10-20 | 2016-04-21 | Microsoft Corporation | Visualization for blood flow in skin image data |
| US20170249744A1 (en) * | 2014-12-02 | 2017-08-31 | Shanghai United Imaging Healthcare Co., Ltd. | A Method and System for Image Processing |
| CN108463837A (zh) * | 2016-01-12 | 2018-08-28 | 高通股份有限公司 | 用于渲染多个细节等级的系统和方法 |
| US20200034993A1 (en) * | 2018-07-24 | 2020-01-30 | Apical Ltd | Processing image data using different data reduction rates |
| CN112419462A (zh) * | 2020-11-25 | 2021-02-26 | 苏州润迈德医疗科技有限公司 | 三维血管的渲染合成方法、系统及存储介质 |
| CN113342527A (zh) * | 2021-06-09 | 2021-09-03 | 炫我信息技术(北京)有限公司 | 用于渲染的方法、装置、电子设备和计算机可读存储介质 |
| WO2022022729A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 渲染控制方法、设备以及系统 |
| CN114048738A (zh) * | 2021-11-16 | 2022-02-15 | 数坤(北京)网络科技股份有限公司 | 基于症状描述的数据采集方法、装置、计算设备、介质 |
| CN114331992A (zh) * | 2021-12-23 | 2022-04-12 | 数坤(北京)网络科技股份有限公司 | 图像序列处理方法、装置、计算设备及存储介质 |
| CN114648604A (zh) * | 2022-02-28 | 2022-06-21 | 北京旷视科技有限公司 | 一种图像渲染方法、电子设备、存储介质及程序产品 |
-
2022
- 2022-10-11 CN CN202211241516.6A patent/CN115546154B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001037220A1 (en) * | 1999-11-18 | 2001-05-25 | Info Assets, Inc. | Rendering image data |
| US20050074150A1 (en) * | 2003-10-03 | 2005-04-07 | Andrew Bruss | Systems and methods for emulating an angiogram using three-dimensional image data |
| JP2011110282A (ja) * | 2009-11-27 | 2011-06-09 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| US20160110861A1 (en) * | 2014-10-20 | 2016-04-21 | Microsoft Corporation | Visualization for blood flow in skin image data |
| US20170249744A1 (en) * | 2014-12-02 | 2017-08-31 | Shanghai United Imaging Healthcare Co., Ltd. | A Method and System for Image Processing |
| CN108463837A (zh) * | 2016-01-12 | 2018-08-28 | 高通股份有限公司 | 用于渲染多个细节等级的系统和方法 |
| US20200034993A1 (en) * | 2018-07-24 | 2020-01-30 | Apical Ltd | Processing image data using different data reduction rates |
| WO2022022729A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 渲染控制方法、设备以及系统 |
| CN112419462A (zh) * | 2020-11-25 | 2021-02-26 | 苏州润迈德医疗科技有限公司 | 三维血管的渲染合成方法、系统及存储介质 |
| WO2022109906A1 (zh) * | 2020-11-25 | 2022-06-02 | 苏州润迈德医疗科技有限公司 | 三维血管的渲染合成方法、系统及存储介质 |
| CN113342527A (zh) * | 2021-06-09 | 2021-09-03 | 炫我信息技术(北京)有限公司 | 用于渲染的方法、装置、电子设备和计算机可读存储介质 |
| CN114048738A (zh) * | 2021-11-16 | 2022-02-15 | 数坤(北京)网络科技股份有限公司 | 基于症状描述的数据采集方法、装置、计算设备、介质 |
| CN114331992A (zh) * | 2021-12-23 | 2022-04-12 | 数坤(北京)网络科技股份有限公司 | 图像序列处理方法、装置、计算设备及存储介质 |
| CN114648604A (zh) * | 2022-02-28 | 2022-06-21 | 北京旷视科技有限公司 | 一种图像渲染方法、电子设备、存储介质及程序产品 |
Non-Patent Citations (5)
| Title |
|---|
| ROSELL TORRES 等: "Hands-On Deformation of Volumetric Anatomical Images on a Touchscreen", 《APPLIED SCIENCES》, pages 1 - 20 * |
| SONALI DASH 等: "A Hybrid Method to Enhance Thick and Thin Vessels for Blood Vessel Segmentation", 《DIAGNOSTICS》, pages 1 - 19 * |
| 王黛薇: "基于变异分析的医疗图像扩增系统设计与实现", 《中国优秀硕士学位论文全文数据库 基础科学辑》, pages 006 - 375 * |
| 薛林飞: "基于Mesos的分布式医学影像系统研究", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》, pages 060 - 8 * |
| 闫晓丹: "虚拟现实技术辅助眼底血管疾病教学的效果分析", 《齐齐哈尔医学院学报》, pages 1442 - 1446 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546154B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615878B2 (en) | Systems and methods for integrating neural network image analyses into medical image viewing applications | |
| US8238624B2 (en) | Hybrid medical image processing | |
| US8867812B2 (en) | Image segmentation of organs and anatomical structures | |
| US11093699B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| US20240194325A1 (en) | Systems and Methods for Processing Medical Images For In-Progress Studies | |
| WO2008092744A2 (en) | Universal image processing | |
| CN114331992A (zh) | 图像序列处理方法、装置、计算设备及存储介质 | |
| US20210035676A1 (en) | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program | |
| EP4123661A1 (en) | Systems and methods for processing medical images using relevancy rules | |
| CN115546154B (zh) | 图像处理方法、装置、计算设备及存储介质 | |
| CN114048738A (zh) | 基于症状描述的数据采集方法、装置、计算设备、介质 | |
| US12089976B2 (en) | Region correction apparatus, region correction method, and region correction program | |
| CN113971754A (zh) | 图像数据采集方法、装置、计算设备及存储介质 | |
| US9842121B2 (en) | Medical information processing apparatus to apply image processing to received medical images | |
| CN115546174B (zh) | 图像处理方法、装置、计算设备及存储介质 | |
| CN117499544A (zh) | 用于图像扫描的方法、装置、计算设备及存储介质 | |
| CN117541742A (zh) | 图像处理方法、装置、计算设备及存储介质 | |
| JP7204781B2 (ja) | 画像処理装置、方法及びプログラム | |
| CN117499545A (zh) | 用于图像扫描的方法、装置、计算设备及存储介质 | |
| CN117116485A (zh) | 数据处理方法、装置、计算设备及存储介质 | |
| JP2024110159A (ja) | 情報処理装置、情報処理装置の作動方法及びプログラム | |
| JP2004187802A (ja) | 画像診断システム、医用画像処理装置、医用画像保存方法、および、プログラム | |
| CN117153344A (zh) | 数据处理方法、装置、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing Applicant after: Shukun Technology Co.,Ltd. Address before: Rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing Applicant before: Shukun (Beijing) Network Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |