CN102549622B - 用于处理体图像数据的方法 - Google Patents

用于处理体图像数据的方法 Download PDF

Info

Publication number
CN102549622B
CN102549622B CN201080043589.3A CN201080043589A CN102549622B CN 102549622 B CN102549622 B CN 102549622B CN 201080043589 A CN201080043589 A CN 201080043589A CN 102549622 B CN102549622 B CN 102549622B
Authority
CN
China
Prior art keywords
frame
picture
data
image data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080043589.3A
Other languages
English (en)
Other versions
CN102549622A (zh
Inventor
袁晓如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Publication of CN102549622A publication Critical patent/CN102549622A/zh
Application granted granted Critical
Publication of CN102549622B publication Critical patent/CN102549622B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Abstract

公开了用于处理体图像数据的方法、装置以及存储计算机可读指令的计算机可读媒体。所述方法包括如下步骤:采集三维数据点;从所述三维数据点获取多个二维(2D)图像映射;提取所述多个二维图像映射中的至少一个二维图像映射来形成至少一个图像帧;以及根据所述至少一个图像帧来创建帧图库。

Description

用于处理体图像数据的方法
相关申请的交叉引用
本申请要求于2009年9月29日提交的、题为“VolumetricImageDataProcessing”的美国申请No.12/569,480的优先权,其由此通过引用并入本文。
背景技术
三维(“3D”)数据集可以根据跨越诸如球面的三维空间的测量点生成。对数据集进行处理,以提供关于该三维空间的有用信息。例如,从定位在人的头皮的不同位置处的电极测量在认知神经科学中的时变事件相关电位(“ERP”)数据。所采集的ERP数据使得科学家能够观测在特定的时刻反映特定的认知过程的人类大脑活动。对时变ERP的复杂时空相关性的全面理解依赖于如何在功能上解释并处理所述数据集以用于可视化,特别是在存在有随时间生成的来自三维空间的多个数据集的情况下。
发明内容
本公开的一个实施例描述了一种用于处理体图像数据(volumetricimagedata)的方法。所述方法包括:从三维数据点获取多个二维图像映射(2-dimensionalimagemap);提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及根据所述至少一个图像帧来创建帧图库(framegallery)。
另外,上述方法或上述方法的任意部分可以通过计算设备并在包含在计算机可读媒体上的计算机程序的控制下来执行。
另外,上述方法或上述方法的任意部分可以被执行以获取复合图像数据。
本公开的可替代实施例描述了一种用于处理体图像数据的装置,所述装置包括:获取单元,所述获取单元从三维数据点获取多个二维图像映射;提取单元,所述提取单元提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及创建单元,所述创建单元根据所述至少一个图像帧来创建帧图库。
本公开的另一个可替代实施例描述了一种用于处理体图像数据的方法。该方法包括如下步骤:从三维数据点获取多个二维图像映射;提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及确定完全不同帧(radicallydifferentframe)和代表帧中的至少一个。
另外,上述方法或上述方法的任意部分可以通过计算设备并在包含在计算机可读媒体上的计算机程序的控制下来执行。
本公开的另一个可替代实施例描述了一种用于处理体图像数据的装置,所述装置包括:获取单元,所述获取单元从三维数据点获取多个二维图像映射;提取单元,所述提取单元提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及确定单元,所述确定单元确定完全不同帧和代表帧中的至少一个。
本公开的另一个可替代实施例描述了一种用于处理体图像数据的方法。所述方法包括如下步骤:从三维数据点获取多个二维图像映射;基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据;以及向所述体图像数据应用关键点曲线图(criticalpointgraph)。
另外,上述方法或上述方法的任意部分可以通过计算设备并在包含在计算机可读媒体上的计算机程序的控制下来执行。
另外,上述方法或上述方法的任意部分可以被执行,以获取复合图像数据。
本公开的另一个可替代实施例描述了一种用于处理体图像数据的装置,所述装置包括:获取单元,所述获取单元从三维数据点获取多个二维图像映射;构建单元,所述构建单元基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据;以及应用单元,所述应用单元向所述体图像数据应用关键点曲线图。
上述是发明概要,因而必然会包含细节的简化、概括和省略;因此,本领域的普通技术人员将会理解,上述发明概要只是说明性的并且不意在以任何方式进行限制。文中描述的设备和/或方法和/或其他主题的其他方面、特征和优点通过文中所描述的教导将会变得明显。本发明内容部分被提供来以简单的方式介绍所选的构思,这些构思会在下面的具体实施方式部分中进一步进行描述。本发明内容部分既不意在标识所要求保护的主题的关键特征或必要特征,也不意在用于协助确定所要求保护的主题的范围。
附图说明
根据下面的描述和所附权利要求并结合附图,本公开的上述和其他特征将会变得更加明显。应当理解的是,这些附图只是描绘了根据本公开的若干实施例,因此并不被理解为限制本公开的范围,通过使用附图,将会额外具体地且详细地描述本公开。
图1是示出了示例性的网络环境的框图。
图2是示出根据本公开的一些实施例的、设置成处理体图像数据的示例性计算设备的框图。
图3是示出根据本公开的一些实施例的示例性体图像数据处理方法的流程图。
图4是示出了根据本公开的一些实施例的提取二维图像映射以形成图像帧的示例性方法的流程图。
图5是示出了根据本公开的一些实施例的提取二维图像映射以形成图像帧的示例性方法的流程图。
图6描绘了根据本公开的一些实施例的帧图库的图像数据的示例性图示。
图7描绘了根据本公开的一些实施例的具有帧图库的体图像数据的复合图像数据的示例性图示。
图8是示出根据本公开的一些实施例的体图像数据处理方法的示例性流程图。
图9描绘了根据本公开的一些实施例的应用了等值面处理的体图像数据的示例性图示。
图10描绘了根据本公开的一些实施例的应用了关键点曲线图的体图像数据的示例性图示。
图11描绘了根据本公开的一些实施例的应用了等值面处理和关键点曲线图两者的体图像数据的示例性图示。
具体实施方式
在下面的具体实施方式中,参照了形成具体实施方式的一部分的附图。在附图中,除非上下文另有说明,相似的附图标记通常标识相似的部件。在具体实施方式部分中描述的例示实施例、附图和权利要求不意在限制。在不脱离文中所呈现的主题的精神或范围的情况下,可以采用其他实施例,并且可以进行其他变化。容易理解的是,文中总体上描述的和在附图中示出的本公开的方面可以以各种不同的配置方式进行设置、替换、组合和设计,所有的这些被予以明确地考虑并构成本公开的一部分。
介绍
本公开特别涉及关于处理体图像数据以进行可视化的方法、装置以及存储计算机程序的计算机可读媒体。具体地,本公开描述了一种用于可视化来自球面的数据集(例如ERP数据)的架构。本公开描述了体图像数据可以由从三维数据集获取的二维图像映射构建而成。可以通过从体图像数据提取二维图像映射来形成关键图像帧。可以基于所述图像帧来创建帧图库。根据体图像数据和用于渲染的帧图库来生成图像数据和复合图像数据。
体图像数据的可视化可以被实现成进一步包括分析体图像数据的关键点曲线图和等值面。从而,可以通过检查帧图库、关键点曲线图、等值面以及具有互动渲染和可视化特征的体图像数据来提供对于时变数据集的复杂时空相关性的全面理解。此外,与传输整体体图像数据的情况相比,当只传送关键图像帧时,在网络中传送用于体图像数据的可视化的数据所需的带宽显著减小。
网络环境的综述
图1是示出网络环境100的框图,在该网络环境100中可以实现关于处理体图像数据的方法、计算机程序以及装置。网络环境100包括网络102,所述网络102提供各种设备之间的通信链接,由此在网络环境内将设备连接到一起。网络100可以实施成例如广域网、局域网等,并且可以包括是有线或无线连接的连接。图1还示出了连接到网络102的计算设备104。此外,存储器106、输出设备108和其他计算设备110也连接到网络102。网络环境100可以包括未示出的、连接到网络102的另外的设备。在图2中示出了计算设备104、110的示例,即,计算设备200。可以理解的是,可替代地,系统环境可以包括如下的计算设备:所述计算设备包括不需要网络连接的计算设备处的所有部件。
装置的实施方式的示例
图2是示出了根据本公开的、可以被设置成用于体图像数据处理的示例性计算设备200的框图。在非常基本的配置201中,计算设备200通常包括一个或更多个处理器210和系统存储器220。可以使用存储器总线230来进行处理器210、系统存储器220和处理单元290之间的通信。
取决于期望的配置,处理器210可以具有任何类型,包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或它们的任意组合。处理器210可以包括一级或更多级高速缓存(例如一级高速缓存211和二级高速缓存212)、处理器核213、以及寄存器214。处理器核213可以包括算法逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或它们的任意组合。存储器控制器215还可以与处理器210一起使用,或者在一些实施例中,存储器控制器215可以是处理器210的内部部件。
取决于期望的配置,系统存储器220可以具有任何类型,包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪速存储器等)或它们的任意组合。系统存储器220通常包括操作系统221、一个或更多个应用222以及程序数据224。应用222包括图像处理算法223,所述图像处理算法223可被设置成处理三维数据点以产生体图像数据。程序数据224包括图像处理数据225,所述图像处理数据225可以用于处理体图像数据,这将会在下面进一步描述。在一些实施例中,应用222可以被设置成与操作系统221上的程序数据224一起操作,以使得可以产生体图像数据。所述基本配置在图2中由虚线内的部件201示出。
取决于期望的配置,处理单元290可以包括:采集单元291,所述采集单元291用于采集三维数据点;获取单元292,所述获取单元292用于从三维数据点获取多个二维图像映射;构建单元293,所述构建单元293基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据;提取单元294,所述提取单元294提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;确定单元295,所述确定单元295确定完全不同帧和代表帧中的至少一个;创建单元296,所述创建单元296根据所述至少一个图像帧来创建帧图库;生成单元297,所述生成单元297生成图像数据或复合图像数据;以及应用单元298,所述应用单元298向体数据应用关键点曲线图。
计算设备200可以具有另外的特征或功能、以及另外的接口以便利基本配置201与任何所需设备和接口之间的通信。例如,总线/接口控制器240可以用于经由存储器接口总线241来便利基本配置201与一个或更多个数据存储设备250之间的通信。数据存储设备250可以是可移除存储设备251、非可移除存储设备252或它们的组合。可移除存储设备和非可移除存储设备的示例包括:磁盘设备,如软盘驱动器和硬盘驱动器(HDD);光盘驱动器,如压缩盘(CD)驱动器或数字多功能盘(DVD)驱动器;固态驱动器(SSD);以及磁带驱动器等。示例性的计算机存储媒体可以包括以任何方法或技术实现的用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的易失性和非易失性的、可移除和非可移除的媒体。
系统存储器220、可移除存储器251和非可移除存储器252是计算机存储媒体的全部示例。计算机存储媒体包括但不限于RAM、ROM、EERPOM、闪速存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备或可以用于存储期望的信息并且可以被计算设备200访问的任何其他媒体。任何这样的计算机存储媒体可以是设备200的一部分。
计算设备200还可以包括接口总线242,所述接口总线242用于通过总线/接口控制器240来便利从各种接口设备(例如,输出接口、外围接口以及通信接口)到基本配置201的通信。示例性的输出设备260包括图形处理单元261和音频处理单元262,所述图形处理单元261和音频处理单元262可以被配置成通过一个或更多个A/V端口263与各种外部设备例如显示器或扬声器通信。示例性的外围接口270包括串行接口控制器271或并行接口控制器272,所述串行接口控制器271或并行接口控制器272可以被配置成通过一个或更多个I/O端口273与外部设备例如输入设备(例如,键盘、鼠标、笔、语音输入设备、触控输入设备等)或其他外围设备(例如,打印机、扫描仪等)通信。示例性的通信设备280包括网络控制器281,所述网络控制器281可以被设置成便利经由一个或更多个通信端口282与图1中的网络102通信。通信连接是通信媒体的一个示例。通信媒体通常可以由以下内容表现:计算机可读指令、数据结构、程序模块或在调制数据信号(例如载波或其他传输机构)中的其他数据,并且包括任何信息传递媒体。“调制数据信号”可以是使信号的一个或更多个特征被设置或改变以将信息编码到该信号中的信号。作为举例而非限制:通信媒体可以包括有线媒体(例如有线网络或直接有线连接)以及无线媒体(例如声学、射频(RF)、红外(IR)以及其他无线媒体)。文中使用的术语“计算机可读媒体”可以既包括存储媒体又包括通信媒体。
计算设备200可以实现为小型便携式(或移动)电子设备的一部分,小型便携式(或移动)电子设备例如是移动电话、个人数字助理(PDA)、个人媒体播放设备、无线网络观看设备、个人耳机设备、应用专用设备或包括上述功能中的任何功能的混合设备。计算设备200还可以实现为个人计算机,包括膝上型计算机配置和非膝上型计算机配置两者。
流程处理的实施方式的示例-帧图库
图3是描绘了根据一个实施例的体图像数据处理的流程图。参照处理流程300,在步骤302中,采集三维数据点的数据集,以在步骤304中获取二维(“2D”)图像映射。在步骤302中,三维数据点302可以采集自对跨越在三维空间中的测量点执行的测量。三维数据集可以产生自球面,例如事件相关电位(ERP)数据、地面测量数据、大气温度数据等。出于讨论的目的,可以将随着时间生成的ERP数据集用作特定示例。然而,应当理解的是,文中描述的方法、计算机程序和装置可以应用于来自球面的其他数据集。ERP数据可以被视为包括三个空间维度和时间的四维数据集。ERP数据是在人的头皮上的各种传感器处测量的一组电位。
在步骤304中,可以使用表面参数化方法通过将三维空间中的原始点投影到二维平面来将特定时间的ERP数据的测量点的位置映射到二维平面。可以有利地选择能够使失真最小化或使计算工作最小化的表面参数化方法。在二维平面上的矩形可以被定义成可以刚好覆盖所有的投影点的矩形。还可以使用能够覆盖所有的投影点的其他形状。所述矩形具有一定的分辨率以形成二维图像映射,该分辨率可以通过获得来自例如用户的输入来定义。图像映射可以是黑白的。通常的分辨率可以为N×N或M×N,例如512×512、512×256以及256×256作为一些示例。每个投影点在二维图像映射上具有位置,即坐标。没有标绘在二维图像映射上的像素的数据值可以基于指定了值的相邻像素来进行插值。一个选项可以是首先使用德洛内三角测量(DelaunayTriangulation)将所有的已标绘点进行三角测量、然后使用重心插值在二维图像映射上执行插值。整个过程可以使用在芯片级处提供的OpenGLAPI来执行,以节省处理时间。ERP电位可以被标绘成在二维图像映射的不同点处的亮度/灰度,其中所有的电位值经历标定处理,以落入从0%到100%的灰度范围。
步骤302和304基于不同时间采集的ERP数据来执行。在步骤306中,根据在步骤304中生成的二维图像映射来构建体图像数据。对于每个ERP体切片,即生成的每个图像,可以通过将所有的数据切片沿着时间维度堆叠到一起来构建ERP体。ERP体数据包括整个时间范围的ERP数据的信息。因为ERP技术的高时间分辨率,ERP数据集通常包括数千采样时间点。可以执行对数据集的截断和在时间坐标上对数据均匀采样,以降低数据集的大小。还可以对该数据体执行三维高斯滤波以降低噪声。
ERP范例还可以涉及至少两个实验条件,并且可以针对每个实验条件来生成ERP体。可以通过计算在不同实验条件下的ERP体之间的差异来生成差异体。另外,在构建体图像数据中,可以应用等值面提取处理来生成特定值的等值面。可以针对根据单个ERP数据集生成的体和差异体两者来执行等值面提取。可以实施经典的步进立方体算法(marchingcubealgorithm)。
另外,还可以向体图像数据应用关键点曲线图(CPG)。可以计算原始数据体的梯度场。可以基于雅克比(Jacobian)矩阵的特征值和特征向量来计算关键点。关键点曲线图(CPG)可以使用所计算的关键点和在关键点之间的流线来生成。流线正切于在每个给定点中定义的向量场方向。在ERP的情况下,计算的CPG的结构可以是潜在的大脑活动的指示。
在一个实施例中,处理流程可以进行到步骤314以基于在步骤306中获取的体图像数据来生成图像数据。图像数据可以通过可应用的体渲染方法例如体射线投射方法、抛雪球(splatting)方法、错切-变形(shearwarp)方法、纹理映射方法等进行渲染。可以考虑处理速度和计算复杂度来选择体渲染方法。当执行体渲染时,可以采用转换函数。例如,转换函数可以是将像素的值映射成颜色或透明度的查询表。在转换函数中,接近零的值可以由例如在大部分人的感知中为“中性”色的绿色来表示。正的值可以由“暖”色例如黄色和红色来表示,而负的值由“冷”色例如蓝色和青色来表示。转换函数还可以被设计成使得大量的接近零的数据成为更透明的,而接近两个极端的数据被指定较高的不透明度。转换函数可以由用户定义和输入。体图像数据的渲染可以实时地执行,并且用户可以互动地检查和分析渲染的体图像数据。
在流程处理300中,在步骤308中,通过从体图像数据中提取二维图像映射来形成图像帧。具体地,形成两种类型的帧(即,关键帧)。第一种类型的关键帧可以是能够与在该帧之前的帧和之后的帧完全不同的完全不同帧。所述不同可以是基于噪声、重要的特征等。另一种类型的关键帧可以是代表帧。在图4和图5中示出了用于提取所述两种类型的关键帧中的每一种的处理。
图4描绘了用于提取完全不同帧的流程处理400。在步骤402中,可以通过两个帧的每两个对应像素之间的差的平方和来计算在所述两个帧之间的差总和。在步骤404中,可以将在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和。在步骤406中,基于在步骤404中计算的帧的重要性值来生成重要性值曲线。在步骤408中,将重要性值大于预定阈值的帧提取为完全不同帧。所述预定阈值可以由用户设置。
图5描绘了用于提取代表帧的流程处理500。在步骤502中,可以通过在两个帧的每两个对应像素之间的差的平方和来计算在所述两个帧之间的差总和。在步骤504中,可以将在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和。在步骤506中,基于在步骤504中计算的帧的重要性值来生成重要性值曲线。在步骤508中,可以通过以相等的重要性值曲线的整合值划分随着时间的整个数据序列来将体图像数据划分到区段中。要划分的区段的数量可以由用户输入。在步骤510中,从每个区段中提取代表帧来作为第二类型关键帧。对每个区段提取的代表帧的数量可以由用户输入。如果提取了多于一个的代表帧,则可以对每个区段进行细分,并且然后从每个细分的区段中提取代表帧。像这样,基于区段的重要性值的整合来提取代表帧,并且每个代表帧表示特定量的重要性。
在流程处理300的步骤310中,可以根据所确定的两种类型的关键帧来创建帧图库。在另一个实施例中,处理流程可以进行到步骤312以基于在步骤310中获取的帧图库来生成图像数据。图6(a)示出了帧图库的示例,其中示出了ERP体图像数据的代表帧。图6(b)示出了帧图库的示例,其中示出了两种类型的关键帧的组合。
在另一个实施例中,处理流程可以进行到步骤316,以根据体图像数据和帧图库来生成复合图像。具体地,可以以如下方式生成复合图像:当可以渲染复合图像时,可以在体图像数据内渲染帧图库,如图7(a)中的示例所示。图7(b)示出了应用到图7(a)的帧图库的放大处理。此外,可以围绕体图像数据来渲染帧图库,如图7(c)中的示例所示。此外,可以沿着帧图库的底部来渲染重要性值曲线。从而,用户可以通过比较提取的帧来探测整个ERP时间序列数据。该方法还使得用户能够通过输入设备来动态地改变渲染的复合图像的焦点或背景区域的采样率。默认地,所有的帧具有相同的大小。用户可以通过输入设备来对渲染的复合图像的帧或一部分执行放大或缩小处理。另外,如图7(a)、7(b)和7(c)中示出的,整个ERP体可以三维变形并形成马蹄形状以在帧之间闭合。
流程处理的实施方式的示例-关键点曲线图
图8是描绘根据另一个实施例的体图像数据处理的流程图。参照处理流程800,在步骤802中,采集三维数据点的数据集以在步骤804中获取二维图像映射。在步骤802中,可以根据对于跨越三维空间的测量点所执行的测量来采集三维数据点。三维数据集可以从球面产生,例如事件相关电位(ERP)数据、地面测量数据、大气温度数据等。出于讨论的目的,将使用随着时间生成的ERP数据集来作为具体示例。然而,应当理解的是,文中描述的方法、计算机程序和装置可以应用于来自球面的其他数据集。ERP数据可以被视为包括三个空间维度和时间的四维数据集。ERP数据是在人的头皮上的不同传感器处测量的一组电位。
在步骤804中,可以使用表面参数化方法通过将三维空间中的原始点投影到二维平面来将特定时间的ERP数据的测量点的位置映射到二维平面。可以有利地选择能够使失真最小化或使计算工作最小化的表面参数化方法。在二维平面上的矩形可以被定义成刚好覆盖所有的投影点的矩形。也可以使用能够覆盖所有的投影点的其他形状。所述矩形具有一定的分辨率以形成二维图像映射,该分辨率可以通过获得来自例如用户的输入来定义。图像映射可以是黑白的。通常的分辨率可以为N×N或M×N,例如512×512、512×256以及256×256作为一些示例。每个投影点在二维图像映射上具有位置,即坐标。没有绘制在二维图像映射上的像素的数据值可以基于指定了值的相邻像素进行插值。一个选项可以是首先使用德洛内三角测量将所有的已绘制点进行三角测量、然后通过使用重心插值在二维图像映射上执行插值。整个处理可以使用在芯片级处提供的OpenGLAPI来执行,以节省处理时间。ERP电位可以被绘制成在二维图像映射的不同点处的亮度/灰度,其中所有的电位值经历标定处理,以落入从0%到100%的灰度范围。
对于不同时间收集的ERP数据执行步骤802和804。在步骤806中,根据在步骤804中产生的二维图像映射来构建体图像数据。对于每个ERP体切片,即生成的每个图像,可以通过将所有的数据切片沿着时间维度堆叠到一起来构建ERP体。ERP体数据包括整个时间范围的ERP数据的信息。因为ERP技术的高时间分辨率,ERP数据集通常包括数千采样时间点。可以执行对数据集的截断和在时间坐标上对数据均匀采样,以降低数据集的大小。还可以对该数据体执行三维高斯滤波以降低噪声。
在步骤808中,向体图像数据应用关键点曲线图(CPG)。在步骤810中,计算原始数据体的梯度场,然后基于雅克比矩阵的特征值和特征向量来计算关键点。在步骤812中,基于计算的关键点和在关键点之间的流线来生成关键点曲线图(CPG)。
流线正切于在每个给定点中定义的向量场方向。在ERP的情况中,计算的CPG的结构可以是潜在的大脑活动的指示。
ERP范例还可以涉及至少两个实验条件,并且可以针对每个实验条件来生成ERP体。可以通过计算在不同实验条件的ERP体之间的差异来产生差异体。此外,在构建体图像数据中,可以应用等值面提取处理来产生特定值的等值面。在图9中示出了应用了等值面处理的体图像数据。可以针对根据单个ERP数据集生成的体和差异体两者来执行等值面提取。可以实施经典的步进立方体算法。
在图10中示出了具有CPG的体图像数据的示例。此外,图11示出了应用了等值面处理和CPG两者的体图像数据的示例。
另外的实施方式
系统的各方面的硬件实施与软件实施之间几乎没有区别,使用硬件还是软件通常是代表成本与效率权衡的设计选择(但不总是这样,这是因为在某些环境中,硬件与软件之间的选择会变得很重要)。存在可以实现本文中所描述的处理和/或系统和/或其他技术的各种载体(例如,硬件、软件和/或固件),而且,优选的载体将会随着部署所述处理和/或系统和/或其他技术的环境而变化。例如,如果实施者确定速度和精度最重要,那么实施者可以选择主要为硬件和/或固件的载体;如果灵活性最重要,那么实施者可以选择主要为软件的实施方式;或者,又可替代地,实施者可以选择硬件、软件和/或固件的一些组合。
前述具体实施方式部分已通过使用框图、流程图和/或示例阐述了设备和/或处理的多种实施例。只要这样的框图、流程图和/或示例包括一个或更多个功能和/或操作,本领域的普通技术人员将会理解:可以通过各种硬件、软件、固件和/或它们的几乎任意组合来单独和/或共同地实施这样的框图、流程图和/或示例内的每个功能和/或操作。在一个实施例中,可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式来实施本文中所描述的主题的一些部分。然而,本领域的普通技术人员将认识到,本文中所公开的实施例的一些方面可以完全或部分地在集成电路中等同地实现为在一个或更多个计算机上运行的一个或更多个计算机程序(例如,在一个或更多个计算机系统上运行的一个或更多个程序)、在一个或更多个处理器上运行的一个或更多个程序(例如,在一个或更多个微处理器上运行的一个或更多个程序)、固件、或它们的几乎任意组合,而且还认识到:鉴于本公开,设计电路和/或为软件和/或固件编写代码将完全在本领域普通技术人员的技能范围内。此外,本领域普通技术人员将会理解:文中所描述的主题的机构能够被分发为各种形式的程序产品,文中所描述的主题的示例性实施例适用,而不管用于实际执行分发的信号承载媒体的特定类型。信号承载媒体的示例包括但不限于:可记录型媒体,如软盘、硬盘驱动器、压缩盘(CD)、数字多功能盘(DVD)、数字磁带、计算机存储器等;以及传输型媒体,如数字和/或模拟通信媒体(例如光纤光缆、波导、有线通信链路、无线通信链路等)。
本领域的普通技术人员将认识到:以本文中所陈述的方式来描述装置和/或处理,并且据此使用工程实践将这样描述的装置和/或处理集成到数据处理系统中在本领域中是常见的。也就是说,可以通过合理数量的试验将文中所描述的装置和/或处理的至少一部分集成到数据处理系统中。本领域的普通技术人员将认识到,典型的数据处理系统通常包括:系统单元外壳、视频显示设备、存储器(例如易失性和非易失性存储器)、处理器(例如微处理器和数字信号处理器)、计算实体(例如操作系统、驱动器、图形用户界面和应用程序)、一个或更多个交互设备(例如触摸板或屏)和/或包括反馈回路和控制电机(例如用于感测位置和/或速度的反馈设备;用于移动和/或调节部件和/或量的控制电机)的控制系统中的一个或更多个。可以采用任何合适的商业可用部件(例如在数据计算/通信和/或网络计算/通信系统中的那些常见部件)来实施典型的数据处理系统。
文中所描述的主题有时示出了包括在其他不同部件内的不同部件或与其他不同部件相连接的不同部件。应当理解的是,这样描绘的架构仅是示例性的,并且还应当理解的是,实际上可以实施实现相同功能的许多其他架构。在概念意义上,实现相同功能的部件的任意布置是有效地“相关联的”,以使得实现期望的功能。因此,文中被组合以获得特定功能的任意两个部件可以被视为是彼此“相关联的”,以实现期望的功能,而不管架构或中间部件。类似地,这样相关联的任意两个部件还可以被视为是彼此“可操作地连接的”或“可操作地耦接的”,以实现期望的功能,并且,能够这样相关联的任意两个部件还可以被视为是彼此“可操作地耦接的”,以实现期望的功能。“可操作地耦接的”的具体示例包括但不限于:物理地可联结和/或物理地相互作用的部件和/或无线地可相互作用的和/或无线地相互作用的部件和/或逻辑地相互作用的和/或逻辑地可相互作用的部件。
关于文中基本上任何复数和/或单数术语的使用,只要对于上下文和/或应用是合适的,本领域的普通技术人员可以将复数变换成单数,和/或将单数变换成复数。为了清晰起见,各种单数/复数置换会在文中清楚地阐明。
本领域的普通技术人员将会理解,通常,文中所使用的术语,特别是在所附权利要求(例如,所附权利要求中的主体)中所使用的术语通常意在作为“开放性”的术语(例如,术语“包括”应当被解释为“包括但不限于”,术语“具有”应当被解释为“至少具有”,术语“包含”应当被解释为“包含但不限于”等)。本领域的普通技术人员还将理解,如果意在所介绍的权利要求陈述对象的具体数目,则这样的意图将会明确地陈述在权利要求中,在缺乏这样的陈述的情况下,不存在这样的意图。例如,为了帮助理解,所附权利要求可以包括使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求陈述对象。然而,这样的短语的使用不应当被解释为:用不定冠词“一个(a)”或“一个(an)”的权利要求陈述对象的介绍将包括这样介绍的权利要求陈述对象的任何权利要求限制于只包含一个这样的陈述对象的公开方式,即使在同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及诸如“一个(a)”或“一个(an)”之类的不定冠词的情况下(例如,“一个(a)”和/或“一个(an)”应当通常被解释为意味着“至少一个”或“一个或更多个”)也如此;上述对以定冠词来介绍权利要求陈述对象的情况同样适用。另外,即使明确地陈述了介绍的权利要求陈述对象的具体数目,但本领域的普通技术人员也会认识到:这样的陈述通常应当被解释为意味着至少所陈述的数目(例如,仅有“两个陈述对象”而没有其他修饰语的陈述通常意味着至少两个陈述对象,或两个或更多个陈述对象)。在使用类似于“A、B或C中的至少一个等”的惯用语的情况下,通常这样的结构意在本领域普通技术人员所理解的该惯用语的含义(例如,“具有A、B或C中的至少一个的系统”将包括但不限于具有单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起和/或A、B和C一起的系统等)。本领域普通技术人员将进一步理解,不管在说明书、权利要求书中还是在附图中,表示两个或更多个可替换的术语的几乎任意析取词和/或短语应当理解成考虑包括术语中的一个、术语中的任一个或所有两个术语的可能性。例如,短语“A或B”应当被理解成包括“A”、“B”、或“A和B”的可能性。
尽管文中描述了多个方面和实施例,但是其他方面和实施例对本领域的普通技术人员来说将是明显的。文中公开的多个方面和实施例是出于说明的目的而非意在进行限制,并且真正的范围和精神由所附权利要求来表示。

Claims (16)

1.一种用于处理体图像数据的方法,包括:
从三维数据点获取多个二维图像映射;
提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及
根据所述至少一个图像帧创建帧图库,
其中,所述至少一个图像帧是完全不同帧,
其中,所述完全不同帧通过如下步骤确定:
通过在两个图像帧的所有对应像素之间的差的平方和来计算所述两个图像帧之间的差总和;
基于所计算的差总和来计算每一个图像帧的重要性值,在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和;
基于计算的帧的重要性值来生成重要性值曲线;以及
将重要性值大于预定阈值的帧提取为所述完全不同帧。
2.根据权利要求1所述的方法,还包括:基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据。
3.根据权利要求2所述的方法,还包括:对于使用所述体图像数据渲染所述帧图库,生成复合图像数据。
4.根据权利要求2所述的方法,其中,所述构建体图像数据包括:向所述体图像数据应用等值面可视化处理。
5.根据权利要求3所述的方法,其中,在所述体图像数据内渲染所述帧图库。
6.根据权利要求3所述的方法,其中,围绕所述体图像数据来渲染所述帧图库。
7.一种用于处理体图像数据的方法,包括:
从三维数据点获取多个二维图像映射;
提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及
根据所述至少一个图像帧创建帧图库,
其中,所述至少一个图像帧是代表帧,
其中,所述代表帧通过如下步骤来确定:
通过在两个图像帧的所有对应像素之间的差的平方和来计算在所述两个图像帧之间的差总和;
基于所计算的差总和来计算每一个图像帧的重要性值,在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和;
基于计算的帧的重要性值来生成重要性值曲线;
通过以相等的重要性值曲线的整合值划分随着时间的整个数据序列来将所述体图像数据划分到区段中;以及
将来自每一个区段的一个帧提取为所述代表帧。
8.一种用于处理体图像数据的装置,包括:
获取单元,所述获取单元从三维数据点获取多个二维图像映射;
提取单元,所述提取单元提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及
创建单元,所述创建单元根据所述至少一个图像帧来创建帧图库,
其中,所述至少一个图像帧是完全不同帧,
其中,所述提取单元还包括确定单元,所述确定单元通过如下方式确定所述完全不同帧:
通过在两个图像帧的所有对应像素之间的差的平方和来计算所述两个图像帧之间的差总和;
根据所计算的差总和来计算每一个图像帧的重要性值,在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和;
基于计算的帧的重要性值来生成重要性值曲线;以及
将重要性值大于预定阈值的帧提取为所述完全不同帧。
9.根据权利要求8所述的装置,还包括构建单元,所述构建单元基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据。
10.根据权利要求9所述的装置,还包括生成单元,所述生成单元对于使用所述体图像数据渲染所述帧图库,生成复合图像数据。
11.根据权利要求9所述的装置,其中,所述构建单元向所述体图像数据应用等值面可视化处理。
12.根据权利要求10所述的装置,其中,在所述体图像数据内渲染所述帧图库。
13.根据权利要求10所述的装置,其中,围绕所述体图像数据来渲染所述帧图库。
14.一种用于处理体图像数据的装置,包括:
获取单元,所述获取单元从三维数据点获取多个二维图像映射;
提取单元,所述提取单元提取所述多个二维图像映射中的至少一个二维图像映射,以形成至少一个图像帧;以及
创建单元,所述创建单元根据所述至少一个图像帧来创建帧图库,
其中,所述至少一个图像帧是代表帧,
其中,所述提取单元还包括确定单元,所述确定单元通过如下方式确定所述代表帧:
通过在两个图像帧的所有对应像素之间的差的平方和来计算所述两个图像帧之间的差总和;
基于所计算的差总和来计算每一个图像帧的重要性值,在t时刻的帧的重要性值计算为在检测下的帧与其前帧和后帧的帧差的高斯加权和;
基于计算的帧的重要性值来生成重要性值曲线;
通过以相等的重要性值曲线的整合值划分随着时间的整个数据序列来将所述体图像数据划分到区段中;以及
将来自每一个区段的一个帧提取为所述代表帧。
15.一种用于处理体图像数据的方法,包括:
从三维数据点获取多个二维图像映射;
基于所述多个二维图像映射和与所述多个二维图像映射中的每一个二维图像映射相关联的时间数据来构建体图像数据;以及
向所述体图像数据应用关键点曲线图。
16.根据权利要求15所述的方法,其中,所述应用关键点曲线图的步骤还包括:
基于雅克比矩阵的特征值和特征向量来计算所述体图像数据的梯度场和关键点;以及
基于所计算的关键点和在所述关键点之间的流线来产生所述关键点曲线图。
CN201080043589.3A 2009-09-29 2010-05-20 用于处理体图像数据的方法 Expired - Fee Related CN102549622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/569,480 2009-09-29
US12/569,480 US8437538B2 (en) 2009-09-29 2009-09-29 Volumetric image data processing
PCT/CN2010/073001 WO2011038592A1 (en) 2009-09-29 2010-05-20 Method for processing volumetric image data

Publications (2)

Publication Number Publication Date
CN102549622A CN102549622A (zh) 2012-07-04
CN102549622B true CN102549622B (zh) 2016-08-03

Family

ID=43780445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080043589.3A Expired - Fee Related CN102549622B (zh) 2009-09-29 2010-05-20 用于处理体图像数据的方法

Country Status (7)

Country Link
US (2) US8437538B2 (zh)
EP (1) EP2483867A4 (zh)
JP (1) JP5557918B2 (zh)
KR (1) KR101589172B1 (zh)
CN (1) CN102549622B (zh)
BR (1) BR112012006918A2 (zh)
WO (1) WO2011038592A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063207B (zh) * 2013-03-20 2018-11-09 腾讯科技(深圳)有限公司 一种逻辑窗口的点击命中方法及系统
KR101691476B1 (ko) 2014-05-13 2016-12-30 국방과학연구소 방향 벡터 보간에 의한 3차원 형상의 온도-적외선 신호 계산 방법 및 장치
WO2016004902A1 (en) 2014-07-11 2016-01-14 Shanghai United Imaging Healthcare Co., Ltd. System and method for image processing
CN104463941B (zh) * 2014-12-05 2019-05-31 上海联影医疗科技有限公司 体绘制方法和装置
US11403809B2 (en) 2014-07-11 2022-08-02 Shanghai United Imaging Healthcare Co., Ltd. System and method for image rendering
KR102267060B1 (ko) * 2014-08-19 2021-06-21 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
JP6089133B1 (ja) 2016-05-23 2017-03-01 三菱日立パワーシステムズ株式会社 三次元データ表示装置、三次元データ表示方法、およびプログラム
KR102019174B1 (ko) * 2017-09-04 2019-09-09 유메디칼 주식회사 관심영역의 이동 및 영상 확대가 가능한 영상 처리 시스템 및 방법
CN108886616A (zh) * 2017-12-27 2018-11-23 深圳市大疆创新科技有限公司 视频编码的方法、装置和计算机系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606091B2 (en) * 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
CN1650329A (zh) * 2002-05-03 2005-08-03 皇家飞利浦电子股份有限公司 三维体积图像的产生和显示方法
CN101331406A (zh) * 2005-12-15 2008-12-24 皇家飞利浦电子股份有限公司 实时3d体绘制图像的更快速率
CN101517618A (zh) * 2006-09-13 2009-08-26 奈科斯迪姆公司 用于显示经颅磁刺激在大脑生成的电场的方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP3834365B2 (ja) * 1996-10-16 2006-10-18 アロカ株式会社 超音波診断装置
EP0864999A3 (de) * 1997-03-13 1999-09-08 Philips Patentverwaltung GmbH Bildverarbeitungs-Verfahren für die medizinische Diagnostik
JP2001252262A (ja) * 2000-03-13 2001-09-18 Hitachi Medical Corp Mri差分画像処理方法及びmri装置
FR2863085B1 (fr) * 2003-11-28 2006-05-05 Ge Med Sys Global Tech Co Llc Procede et outil d'analyse d'images radiologiques en vue de la detection de thrombus
CN101227857B (zh) * 2005-06-29 2011-10-19 电脑医师有限公司 具有导电桥的传感器组件
GB0523084D0 (en) * 2005-11-11 2005-12-21 Cancer Res Inst Royal Imaging method and apparatus
US20100278405A1 (en) * 2005-11-11 2010-11-04 Kakadiaris Ioannis A Scoring Method for Imaging-Based Detection of Vulnerable Patients

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606091B2 (en) * 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
CN1650329A (zh) * 2002-05-03 2005-08-03 皇家飞利浦电子股份有限公司 三维体积图像的产生和显示方法
CN101331406A (zh) * 2005-12-15 2008-12-24 皇家飞利浦电子股份有限公司 实时3d体绘制图像的更快速率
CN101517618A (zh) * 2006-09-13 2009-08-26 奈科斯迪姆公司 用于显示经颅磁刺激在大脑生成的电场的方法和系统

Also Published As

Publication number Publication date
JP5557918B2 (ja) 2014-07-23
US8437538B2 (en) 2013-05-07
US8934708B2 (en) 2015-01-13
BR112012006918A2 (pt) 2016-12-06
EP2483867A4 (en) 2017-02-08
EP2483867A1 (en) 2012-08-08
JP2013506212A (ja) 2013-02-21
KR20120083891A (ko) 2012-07-26
WO2011038592A1 (en) 2011-04-07
US20110075885A1 (en) 2011-03-31
US20130279798A1 (en) 2013-10-24
CN102549622A (zh) 2012-07-04
KR101589172B1 (ko) 2016-01-27

Similar Documents

Publication Publication Date Title
CN102549622B (zh) 用于处理体图像数据的方法
JP7238139B2 (ja) 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN100407798C (zh) 三维几何建模系统和方法
JP5645842B2 (ja) スケールスペースを使用した画像処理装置及び方法
CN110705448A (zh) 一种人体检测方法及装置
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
CN113689373B (zh) 图像处理方法、装置、设备及计算机可读存储介质
US20160232420A1 (en) Method and apparatus for processing signal data
CN110020600A (zh) 生成用于训练人脸对齐模型的数据集的方法
CN111860485A (zh) 图像识别模型的训练方法、图像的识别方法、装置、设备
CN108509830B (zh) 一种视频数据处理方法及设备
CN111612792A (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
Tang et al. SDRNet: An end-to-end shadow detection and removal network
CN110288691B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116569218A (zh) 图像处理方法和图像处理装置
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN112115900A (zh) 图像处理方法、装置、设备及存储介质
CN116452748A (zh) 一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端
CN113205148B (zh) 一种迭代层间信息融合的医学图像帧插值方法及终端机
Balzer et al. Volumetric reconstruction applied to perceptual studies of size and weight
CN113724191A (zh) 图像识别方法、装置、设备及存储介质
Radhika et al. 3D modelling of a jewellery and its virtual try-on
CN116486090B (zh) 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN115861667A (zh) 自注意力多尺度金字塔双目立体匹配方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

Termination date: 20190520

CF01 Termination of patent right due to non-payment of annual fee