CN110033455A - 一种从视频中提取目标物体信息的方法 - Google Patents

一种从视频中提取目标物体信息的方法 Download PDF

Info

Publication number
CN110033455A
CN110033455A CN201810026076.XA CN201810026076A CN110033455A CN 110033455 A CN110033455 A CN 110033455A CN 201810026076 A CN201810026076 A CN 201810026076A CN 110033455 A CN110033455 A CN 110033455A
Authority
CN
China
Prior art keywords
video
image
foreground
target object
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810026076.XA
Other languages
English (en)
Other versions
CN110033455B (zh
Inventor
秦斌杰
靳明新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810026076.XA priority Critical patent/CN110033455B/zh
Publication of CN110033455A publication Critical patent/CN110033455A/zh
Application granted granted Critical
Publication of CN110033455B publication Critical patent/CN110033455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种从视频中提取目标物体信息的方法,应用于透射成像视频,在所述视频的成像过程中,所述目标物体对成像光线有衰减作用,该方法包括以下步骤:S1、在原始视频中的每一帧图像中,考虑背景低秩特性和目标前景稀疏异常特性,结合低秩稀疏分解算法和目标特征细节增强及局部自适应滤波算法,分割出包含所述目标物体的目标区域;S2、根据所述原始视频,通过背景补全估算所述目标区域中像素的背景灰度值;S3、用所述原始视频在所述目标区域中像素的原始灰度值,减去或除以所述目标区域中像素的所述背景灰度值,得到所述目标区域中像素的前景灰度值。与现有技术相比,本发明具有有效去除噪声影响、目标复原精度高等优点。

Description

一种从视频中提取目标物体信息的方法
技术领域
本发明涉及信息提取技术领域,尤其是涉及一种从视频中提取目标物体信息的方法。
背景技术
在信息领域,经常需要在带有噪声的视频序列的基础上提取有用信息。如X射线视频序列是一种视频序列,其中准确的血管图像是技术人员需要获取的对象,准确提取显影前景运动物的路径轨迹以及运动物灰度浓度信息是包括X射线血管造影医学成像在内的各种运动成像的本质核心。由于X射线投影成像机理,该造影投影图像中包含了除造影剂流经血管以外的众多结构,包括骨骼、肺、隔膜等人体组织的投影以及成像过程中的噪声。这些背景及噪声干扰了对血管的识别,从而影响医学研究以及对血管图像的进一步分析。因此需要将背景层与血管层分离,以得到更易识别血管的血管图像。
目前,以鲁棒主成分分析(robust principle component analysis)为代表的一类低秩稀疏分解(low-rank and sparse decomposition)算法是进行前景运动物提取,包括造影剂流经血管层提取效果最好的算法[Jin,M.,Li,R.,Jiang,J.and Qin,B.,2017.Extracting contrast-filled vessels in X-ray angiography by graduatedRPCA with motion coherency constraint.Pattern Recognition,63,pp.653-666.]。该算法将动态成像的视频数据矩阵分解为一个低秩背景矩阵和一个稀疏前景矩阵的和,该低秩矩阵反映了视频序列中相似性较大、运动变化较小的低秩背景,稀疏矩阵则对应视频中剧烈运动变化的前景运动物体。对应到X射线血管造影成像,流经造影剂的血管层运动变化最剧烈,因此可以通过鲁棒主成分分析将血管层作为稀疏分量和具有低秩特性的背景矩阵分离开。该血管层图像中,背景噪声极大减弱,血管得到了增强。但是,各种运动成像场景中,也存在了背景的运动变化。如X射线血管造影成像背景中的人体组织和器官也存在着运动;而运动成像时,前景运动物路径轨迹上的部分信号也有一定的低秩特性。如,血管层中紧贴血管壁的造影剂部分在各帧图像中运动变化相对缓慢,在各帧图像中也反映出一定的低秩特性。因此,基于鲁棒主成分分析模型,单纯利用低秩加稀疏分解对前景运动和背景层进行分离,也会有部分前景运动物物信息残留在背景层。如,X射线血管成像中也会有部分造影剂流经血管的残余信息遗留在背景层,因此单纯基于低秩稀疏矩阵分解原理的鲁棒主成分分析方法还无法精确地分离开前景运动物和背景层。
此外,也有一些图像增强技术被用于凸显前景运动物,提高前景运动图像的视觉质量。常用的方法有Gabor滤波、匹配滤波、形态学方法等。这些方法通常是基于前景运动物的形状特征,如血管的管状结构形态特征,对血管形状特征进行提取,从而得到更加清晰的血管结构。这些方法注重于提取前景运动物体的结构信息或形态学特征,但运动物的灰度信息往往被忽略。同时,背景中的部分噪声也具有类运动物的结构,无法被区分。
因此,现有前景运动物提取方法都无法精确地还原出前景运动物路径形状及灰度信息,因而也难以开展基于前景运动物路径形状及灰度浓度复原的量化及功能分析,如流动造影剂的流量分析,基于造影剂流量分析的心肌灌注功能分析等等。总体而言,现有的前景运动物提取算法的缺陷归纳如下:
1、提取出的前景运动物路径形状中仍然包含许多噪声和复杂背景干扰,如血管造影血管图像提取的血管形状还不够准确全面
2、提取出的前景运动物图像中,前景运动物的灰度浓度信息复原不准确,无法反映真实的前景运动物流量分布。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种从视频中提取目标物体信息的方法。
本发明的目的可以通过以下技术方案来实现:
一种从视频中提取目标物体信息的方法,应用于透射成像视频,在所述视频的成像过程中,所述目标物体对成像光线有衰减作用,该方法获取所述目标物体在视频中的区域和灰度信息,具体包括以下步骤:
S1、在原始视频中的每一帧图像中,分割出包含所述目标物体的目标区域;
S2、根据所述原始视频,通过背景补全估算所述目标区域中像素的背景灰度值;
S3、用所述原始视频在所述目标区域中像素的原始灰度值,减去或除以所述目标区域中像素的所述背景灰度值,得到所述目标区域中像素的前景灰度值,所述目标区域中所有像素的前景灰度值构成的物体图像即为提取出的目标物体图像。
其中,步骤S1中的图像分割方法包括人工分割、自动分割、人工与自动相结合等多种分割方式。
进一步地,步骤S1中,基于背景减除技术,从所述原始视频分解出一个前景视频,并在所述前景视频中的每一帧前景图像中,分割出包含所述目标物体的目标区域。
进一步地,步骤S1具体包括:
S101、将所述原始视频包含的每个数据进行灰度变换,得到变换域视频图像,在变换域上视频图像表示为由前景目标和背景图像叠加形式;
S102、使用背景减除技术从所述变换域视频中分解出一个前景变换域视频;
S103、对所述前景变换域视频包含的每个数据进行灰度变换逆运算,得到前景视频;
S104、在所述前景视频中的每一帧前景图像中,分割出包含所述目标物体的目标区域。
在灰度变换域上视频图像的每一帧图像中,各帧图像中相似和缓慢变化背景具有低秩特性,而目标物体具有稀疏异常特性。
其中,背景减除技术(Background subtraction)是一种从动态视频中检测运动前景物的技术,该技术通过对背景建模,首先得到相对静止的背景图像序列,然后对原始视频与背景视频做差得到前景视频。具体地,背景减除中的背景建模手段包括但不限于多帧图像均值、多帧图像中值、高斯混合模型、鲁棒主成分分析、张量鲁棒主成分分析、矩阵补全、张量补全、神经网络算法等。
进一步地,所述灰度变换为对数运算,所述灰度变换逆运算为与所述对数运算底数相同的指数运算。
进一步地,所述灰度变换也可采用本征图像分解灰度变换,灰度变换后总图像是前景目标和背景图像灰度的和形式。
进一步地,原视频不变也可以理解为一种灰度变换。
进一步地,步骤S1中,也可使用背景减除技术从所述变换域视频中分解出一个背景变换域视频,对所述背景变换域视频包含的每个数据进行灰度变换逆运算,得到背景视频,用原始视频除以背景视频,得到前景视频。
进一步地,所述背景减除技术为低秩稀疏分解算法。
具体地,一种低秩稀疏分解算法的数学模型为:
s.t.D1=L+S
其中,矩阵D1代表原始视频的数据矩阵,其每一个列向量为原始视频的一帧图像的向量化,矩阵L代表待求解的低秩矩阵,是待求解的背景视频的数据矩阵,矩阵S代表待求解的低秩矩阵,是待求解的前景视频的数据矩阵,‖L‖*代表矩阵L的核范数,‖S‖1代表矩阵S的L1范数,λ为一个正的常数。
进一步地,步骤S104具体包括:
S141、对所述前景视频中的每一帧前景图像进行细节增强目标特征提取,得到特征图像序列;
S142、根据所述特征图像序列,对所述前景视频的每一帧前景图像进行图像分割,得到目标物体区域图像序列。
其中,细节增强目标特征提取为图像特征提取方法,包括但不限于边缘提取、脊检测、斑点检测等。
进一步地,步骤S141中,采用类Radon特征提取方法进行所述前景图像的细节增强目标特征提取。
进一步地,步骤S142具体包括:
S1421、对所述特征图像序列中的每一帧特征图像,进行基于目标物体灰度分布的自适应局部阈值分割,得到第一分割图序列,所述第一分割图序列的每一帧分割图中,所有的像素被分为前景区域与背景区域这两个类别;
S1422、对所述第一分割图序列中的每一帧分割图,去除图中面积小于设定阈值的连通前景区域,得到第二分割图序列;
S1423、对所述前景视频中的每一帧前景图像,进行自适应全局阈值分割,得到第三分割图序列;
S1424、将所述第二分割图序列中的每一帧分割图的前景区域在所述第三分割图序列中对应帧的分割图的前景区域内做形态学条件膨胀,得到第四分割图序列;
S1425、将所述第二分割图序列与所述第四分割图序列的每个对应的帧中的前景区域融合,得到目标物体分割图像序列。
步骤S1421中,自适应局部阈值分割方法对图像中每个局部区域或每个像素分别自动计算其阈值,包括但不限于Phansalkar自适应局部阈值法,步骤1423中,自适应全局阈值分割方法对整幅图像自动计算阈值,包括但不限于Otsu自适应全局阈值法。
进一步地,步骤S2具体为:将所述原始视频在所述目标区域以外的像素的原始灰度值视作这些像素的背景灰度值,使用矩阵补全或张量补全算法,估算所述目标区域中像素的背景灰度值。
进一步地,估算所述背景灰度值使用的算法为基于张量核范数的张量补全算法。
其中,所述基于张量核范数的张量补全算法包括但不限于TNN(tensor nuclearnorm,张量核范数)张量补全算法与t-TNN(twist tensor nuclear norm,扭转张量核范数)张量补全算法。所述t-TNN张量补全求解模型为:
s.t.PΩ(X)=PΩ(M0)
其中,Ω为表示已知像素区域的二值张量,这里Ω的零值区域即为所述目标区域,X为待求解的补全张量,即背景层数据张量,PΩ(X)为补全张量X在张量Ω上的投影,‖X‖t-TNN为张量X的t-TNN范数。
对于尺寸为n1×n2×n3的三维张量X,定义它的分块循环矩阵为bcirc(X):
其中,X(k)表示X的第k个切片矩阵。
则X的TNN定义为:
‖X‖TNN=‖bcirc(X)‖*
其中,‖A‖*表示矩阵A的核范数,即矩阵A的所有奇异值之和。
X的t-TNN范数定义为
‖X‖t-TNN=‖bcirc(twist(X))‖*
其中,twist(X)表示X的扭转张量,即将X的第二维度与第三维度交换得到的张量。
本发明还提供一种所述的从视频中提取目标物体信息的方法在X射线血管造影图像视频中的应用。
与现有技术相比,本发明具有以下有益效果:
第一,本发明首次提出对视频进行前景检测(层分离)之前,首先分割出包含前景目标物体的大致区域,然后根据目标区域以外的像素值,来计算目标区域内像素灰度的前景/背景划分,再通过背景补全的方法提取精度更高的前景目标图像。传统的前景检测或层分离算法全局地对整个视频中所有的数据进行处理,每一个像素的计算结果都包含着不确定性,因此得到的前景图像中包含许多噪声,前景目标物体的灰度也不准确。本发明则首先确定包含前景目标物体的大致区域,这样一来,该区域以外的像素都直接确定为背景,在计算中只有目标区域内的像素包含着不确定性。因此,未知量的个数大大减少,提取出的前景图像中,噪声更少,同时前景目标物体的灰度也更加精确。当视频为射线投影成像视频、或者目标物体为半透明物体时,该方法尤其有效,能准确地提取出目标物体的灰度信息。
第二,本发明首次提出对视频进行低秩稀疏分解算法之前,首先对视频图像数据进行灰度映射变换求和建模,并在进行低秩稀疏分解算法后通过逆变换将数据转化为图像,对于含有目标物体的图像,以及利用投影成像得到的图像,该计算得到的结果更加准确。该图像灰度映射变换空间求和建模方法依据成像路径上前景目标物和背景层信号的累加组合成像原理。
在X射线血管造影图像序列中应用时,图像对数空间求和建模方法依据X射线投影路径上物体对X射线的吸收衰减系数求和成像原理,从数学上契合了后续开展背景/前景层分解的图像分解模型。在对数空间上造影图像为血管层与背景层吸收衰减的和,相应地,在原始图像空间上,造影图像为血管层图像与背景层图像的乘积。根据对数空间求和建模,血管层的精确提取可以通过对数空间总造影图像减去背景层,或通过在原始图像空间上用造影图像除以背景层图像而得到。
第三,本发明首次提出了一个将低秩稀疏分解算法、特征增强提取与阈值分割结合的目标物体形状分割方案,即:首先对图像序列数据进行低秩稀疏分解算法,然后对得到的每帧前景层图像进行类Radon特征提取(也可改为其他特征增强提取方法),再对提取出的特征图像进行Phansalkar自适应局部阈值分割(也可改为其他自适应阈值分割方法)和全局Ostu阈值分割。该方案对整个视频序列进行处理,相比现有的对单张图像进行的分割方法,更有效地利用了图像序列中不同帧的联系,分割出的图像中包含更少的噪声,能识别更多的目标物体,动物形状更准确。
第四,本发明首次提出将张量补全算法应用于视频序列的目标物体提取的框架方案,即:视频序列中的每幅图像进行图像分割,在分割出的表示目标物体区域的分割图像基础上,使用张量补全算法(如t-TNN算法或其他矩阵补全算法和张量补全算法)对视频序列中目标物体区域内的像素进行补全,从而得到背景层图像序列,进而提取出前景层(目标物体)图像序列,该框架能更准确的提取出更能反映真实的物理信息的灰度值,同时图像中具有更少的噪声。
根据灰度映射变换空间上,运动图像为背景层和前景运动层的成像信号累加求和,因此用运动图像灰度值减去补全得到的背景层图像灰度值,就可以复原得到精确的前景运动层图像序列。相比现有的前景运动提取方法,通过该方案提取出的前景图像中前景运动物路径区域具有更准确的、更能反映真实物理信息的灰度浓度值,同时图像中具有更少的噪声。
在X射线血管造影图像序列中应用时,根据对数空间上,造影图像为背景层和血管层X射线吸收衰减和,对应到原始图像空间上,造影图像为背景血管层和前景血管层的乘积,因此用血管造影图像灰度值除以补全得到的背景层图像灰度值,就可以复原得到精确的血管层图像序列,提取出的血管图像中血管具有更准确的、更能反映真实的物理信息的灰度值,同时图像中具有更少的噪声。
第五,本发明利用背景张量在建模时空上下文一致性和低秩背景特性时的多维建模优势,对前景目标物路径区域内的背景像素进行张量补全,构建准确不包括前景目标物路径区域的背景层图像序列,再利用运动图像是前景运动和背景运动层的求和模型,从运动图像相减背景张量补全获得的多维精确背景信息,得到前景目标物路径区域形状和灰度浓度精确提取信息。
第六,本发明首次提出运动图像中稀疏的前景层灰度复原,可以利用掩模区域上精确重建背景信息,再通过从运动图像精确分离出背景图像的方式,来得到准确的前景层精确提取效果,从而复原出精确的目标物体灰度信息。
在X射线血管造影图像序列中应用时,基于血管造影图像中低秩背景层图像在各帧图像时空上存在了很大的一致性和相似性,通过周围其他区域上具有时空一致性和相似性的邻域像素信息来精确补全重建血管掩模区域上的背景信息。该方法能更精确地复原稀疏血管区域的背景信息,再利用造影图像在图像空间除以背景层的X射线成像物理机制,可以复原出精确的血管层灰度信息。
第七,本发明方法应用于X射线血管造影图像的血管提取中,将血管精确提取体现为血管形状和血管灰度复原两个核心步骤:首先利用基于低秩稀疏分解的低秩稀疏矩阵分解,结合后续基于血管管状结构特征滤波和全局/自适应局部阈值法的图像分割算法,开展血管形状的精确掩模区域提取;其次利用除血管区域之外背景张量的时空一致性和低秩特性,再对这些血管掩模区域进行基于低秩背景张量补全的背景灰度信息重建,再从总造影血管图像除以补全后全部背景张量,精确分离出前景血管的灰度信息。
附图说明
图1为本发明实施例1的血管分割过程示意图;
图2为本发明实施例1的血管提取过程示意图;
图3为本发明实施例1的整个实施过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明提供一种从视频中提取目标物体信息的方法,应用于透射成像视频,在所述视频的成像过程中,所述目标物体对成像光线有衰减作用,该方法获取所述目标物体在视频中的区域和灰度信息。透射成像视频中,背景具有低轶特性,前景具有稀疏特性。该方法首先在原始视频中的每一帧图像中分割出包含所述目标物体的目标区域;然后根据所述原始视频,通过背景补全估算所述目标区域中像素的背景灰度值;最后用所述原始视频在所述目标区域中像素的原始灰度值,减去或除以所述目标区域中像素的所述背景灰度值,得到所述目标区域中像素的前景灰度值,所述目标区域中所有像素的前景灰度值构成的物体图像即为提取出的目标物体图像。分割出包含所述目标物体的目标区域可基于背景减除技术实现,也可在背景减除技术之前对视频执行灰度变换等操作,以提高分割精度。
在某些实施例中,所述灰度变换为对数运算,所述灰度变换逆运算为与所述对数运算底数相同的指数运算。
在某些实施例中,所述灰度变换采用本征图像分解灰度变换,灰度变换后总图像是前景目标和背景图像灰度的和形式。
在某些实施例中,原视频不变也可以理解为一种灰度变换。
在某些实施例中,结合目标特征细节增强及局部自适应滤波算法进行包含所述目标物体的目标区域的分割,具体地:
对所述前景视频中的每一帧前景图像进行细节增强目标特征提取,得到特征图像序列;根据所述特征图像序列,对所述前景视频的每一帧前景图像进行图像分割,得到目标物体区域图像序列。
其中,细节增强目标特征提取为图像特征提取方法,包括但不限于边缘提取、脊检测、斑点检测等。
在某些实施例中,通过背景补全估算所述目标区域中像素的背景灰度值具体为:将所述原始视频在所述目标区域以外的像素的原始灰度值视作这些像素的背景灰度值,使用矩阵补全或张量补全算法,估算所述目标区域中像素的背景灰度值。
在某些实施例中,使用的补全算法为基于张量核范数的张量补全算法。其中,所述基于张量核范数的张量补全算法包括但不限于TNN(tensor nuclear norm,张量核范数)张量补全算法与t-TNN(twist tensor nuclear norm,扭转张量核范数)张量补全算法。
在某些实施例中,从视频中提取目标物体信息的方法具体包括以下步骤:
1、利用背景减除技术对原始视频进行低轶背景层和稀疏前景层的分离,得到二值化的目标物体区域图像序列。
背景减除技术(Background subtraction)是一种从动态视频中检测运动前景物的技术,该技术通过对背景建模,首先得到相对静止的背景图像序列,然后对原始视频与背景视频做差得到前景视频。具体地,背景减除中的背景建模手段包括但不限于多帧图像均值、多帧图像中值、高斯混合模型、鲁棒主成分分析、张量鲁棒主成分分析、矩阵补全、张量补全、神经网络算法等。
对原始视频进行分离的图像分割方法包括人工分割、自动分割、人工与自动相结合等多种分割方式。
本发明提供了清除噪声和复杂背景层干扰的运动图像序列中前景目标物路径形状和灰度浓度信息精确提取方法。各种运动成像模式本质是具有异常稀疏特性的前景目标物和具有层间相似性的低秩背景层信息的累加组合。具体来说,X射线血管造影成像投影路径上,造影剂快速流经的血管层和复杂背景层累加的低剂量X射线吸收衰减总和,构成了X射线血管造影成像;造影剂流经血管层和包括噪声、骨头、横膈膜、肺及其他复杂结构的背景层在空间上重叠。上述方法的创新点体现在:首先,本发明对原始成像信号进行灰度变换,以使得在变换域上图像信号是前景运动层和背景层的和形式成立,以契合后续基于低秩加稀疏分解模型及基于低秩最小化背景补全模型,开展对图像序列进行前景目标物和背景层的准确分离。如可以对归一化X射线图像序列灰度进行全局的对数变换,在对数变换域X射线图像就成为流经造影剂血管层和背景层的和。其次,本发明利用前景目标物的异常和稀疏运动特性,根据鲁棒主分量分析(robust principal component analysis)等低秩加稀疏分解思想,对前景目标物路径区域进行分离提取。再利用细节保持图像滤波对目标物进行特征细节增强降噪,并结合局部自适应和全局阈值分割方法对前景目标物路径掩模区域进行精确提取。最后,本发明利用背景图像序列在时空上下文一致性以及相似背景层的低秩特性,基于数据补全思路利用其他邻域区域的背景像素对前景目标物路径掩模区域进行背景补全,构成总的背景层图像。再在图像灰度变换空间从造影图像减去背景层的方法,最终得到对目标物路径形状和灰度浓度都具有很好复原性能的前景目标物精确提取效果。
在某些实施例中,低轶背景层和稀疏前景层的分离具体包括以下步骤:
101、将原始视频的每一帧图像数据作为一列向量或行向量,构造一个原始视频的运动图像序列数据矩阵D0
102、将所述运动图像序列数据矩阵D0中的每个元素进行灰度变换,得到灰度变换矩阵D1
103、基于所述灰度变换矩阵D1构建低秩稀疏分解模型。
在某些实施例中,低秩稀疏分解模型为:
s.t.D1=L+S
其中,‖L‖*代表矩阵L的核范数,等于矩阵L的所有奇异值之和,‖S‖1代表矩阵S的L1范数,等于矩阵S的所有元素的绝对值之和,λ为一个正的常数。
在某些实施例中,低秩稀疏分解模型的目标函数中‖L‖*也可采用矩阵L符合低秩背景先验特性的其它约束形式,‖S‖1也可采用矩阵S的其它稀疏约束形式。
104、对低秩稀疏分解模型进行求解。
105、对所述稀疏前景矩阵S中每个元素进行与步骤102相对应的灰度变换逆运算,得到前景视频数据矩阵S0
106、将所述前景层图像序列数据矩阵S0的每一个列向量或行向量矩阵化,得到前景视频。
在某些实施例中,灰度变换为对数运算,灰度变换逆运算为与所述对数运算底数相同的指数运算。
在某些实施例中,在步骤105中,对对数低秩矩阵L中每个元素进行与步骤102相对应的灰度变换逆运算,得到背景景视频数据矩阵,将背景景视频数据矩阵的每一个列向量或行向量矩阵化,得到背景视频,用原始视频除以背景视频,得到前景视频。
107、对所述前景视频中的每一帧前景图像进行特征提取,获得特征图像序列。
在某些实施例中,采用类Radon特征提取方法进行所述前景层图像序列的特征增强提取。类Radon特征使用下式计算:
Ψ(p,l,ti,ti+1)[I(x,y)]=T(I,l(t)),t∈[ti,ti+1],
该式计算图像I中点p的类Radon特征,(x,y)为点的坐标,l为一条经过图像的直线,可任意设定,ti,ti+1为直线l上的两个结点,函数T为提取函数,可任意设定。
根据所述特征图像序列,对所述前景视频的每一帧前景图像进行图像分割,得到目标物体区域图像序列,具体包括:
108、对所述特征图像序列中的每一帧特征图像,进行基于目标物体灰度分布的自适应局部阈值分割,得到第一分割图序列,所述第一分割图序列的每一帧分割图中,灰度值大于阈值的像素值设为1,表示前景区域,灰度值小于局部阈值的像素设为0,表示背景区域。
在某些实施例中,采用Phansalkar自适应局部阈值分割法对所述特征图像序列进行自适应局部阈值分割。
Phansalkar自适应局部阈值分割使用下式确定每个像素的灰度阈值:
其中,(x,y)为像素坐标,对该像素周围的一个大小为w×w的局部窗口,窗口内所有像素的灰度平均值为m(x,y),灰度的标准差为s(x,y),R为所有像素的局部标准差s(x,y)的最大值,k,p,q为常数。
109、对所述第一分割图序列中的每一帧分割图,去除图中面积小于设定阈值的连通前景区域,实现精炼,得到第二分割图序列。
110、对所述前景视频中的每一帧前景图像,进行Otsu自适应全局阈值分割,得到第三分割图序列。
111、将所述第二分割图序列中的每一帧分割图的前景区域在所述第三分割图序列中对应帧的分割图的前景区域内做形态学条件膨胀,得到第四分割图序列。
112、将所述第二分割图序列与所述第四分割图序列的每个对应的帧中的前景区域融合在一起,得到前景目标物路径区域掩模分割图像序列,即目标物体分割图像序列。
在某些实施例中,直接利用对原始视频构建低秩稀疏分解模型,进行低轶背景层和稀疏前景层的分离。
2、基于所述目标物体分割图像序列,对原始视频进行灰度提取,得到具有目标物体形状、位置与灰度信息的目标物体图像序列,即最终提取结果,具体包括:
201、将原始视频的每一帧图像数据作为张量的一个切片矩阵,构造原始视频数据张量M0
202、将所述目标物体分割图像序列中的每帧目标物体分割图像作为一个切片矩阵,得到分割二值化张量Ω1,其每个元素值为0或1。
203、对所述原始视频数据张量M0,将其在分割二值化张量Ω1背景区域内的像素视为已知,前景区域内的像素视为未知,构建张量补全模型。
在某些实施例中,采用的张量补全模型为t-TNN(twist tensor nuclear norm)张量补全模型:
s.t.PΩ(X)=PΩ(M0)
其中,Ω为将分割二值化张量Ω1前景背景置换后得到的张量,即Ω=1-Ω1,X为待求解的补全张量,即背景层数据张量,PΩ(X)为补全张量X在张量Ω上的投影,‖X‖t-TNN为张量X的t-TNN范数。
204、对t-TNN张量补全模型进行求解,得到背景层数据张量。
205、用所述原始视频数据张量M0中的每个元素除以所述背景层数据张量中相同位置的元素,得到目标物体数据张量。
206、将目标物体数据张量的每一个切片矩阵转化为一张图像,得到目标物体图像序列。
实施例1
本实施例基于上述方法实现X射线血管造影图像序列的血管精确提取,包括:
步骤一,利用血管造影图像序列中背景具有低秩性和造影血管具有稀疏特性,从X射线血管造影图像序列中进行低秩背景层和稀疏血管层分离,结合血管层的类Radon特征血管管状结构增强提取和整体及自适应局部阈值操作,得到二值化的血管形状分割图像序列。如图1所示,具体包括以下步骤:
101)将X射线血管造影图像序列的每一帧图像数据作为列向量,所有图像数据构成原始图像序列数据矩阵D0
102)将原始图像序列数据矩阵D0中的每个元素进行对数运算,从而把血管造影图像灰度值转化为血管层和背景层的X射线吸收衰减和值,得到血管造影图像序列对数矩阵D1。该对数空间上血管层和背景的求和模型,准确契合下一步血管造影图像求和分解成血管层和背景层的图像分解模型。在对数空间上造影图像为血管层衰减与背景层吸收衰减的和,相应地,在原始图像空间上,造影图像为血管层图像与背景层图像的乘积。
103)对血管造影图像序列对数矩阵D1构建鲁棒主成分分析模型,即:
s.t.D1=L+S
其中,‖L‖*代表矩阵L的核范数,等于矩阵L的所有奇异值之和,‖S‖1代表矩阵S的L1范数,等于矩阵S的所有元素的绝对值之和,λ为一个正的常数。
104)对鲁棒主成分分析模型进行图像分解,分解得到对数低秩矩阵L和对数稀疏矩阵S。
105)对稀疏矩阵S中每个元素进行与步骤102)中底数相同的指数运算,得到血管层图像序列数据矩阵S0
106)将血管层图像序列数据矩阵S0的每一个列向量矩阵化,得到血管层图像序列。
107)对血管层图像序列中的每一幅血管层图像,采用基于管状结构特征增强的血管特征增强提取。本实施例采用类Radon特征(Radon-Like feature)提取,得到类Radon特征图像序列。
108)对类Radon特征图像序列中的每一幅类Radon特征图像,进行基于血管灰度分布空间局部自适应阈值分割,将图像分割为两部分得到一张二值化的掩模图像,其中灰度值大于阈值的像素值设为1,表示血管区域,灰度值小于局部阈值的像素设为0,就是背景区域。本实施例采用Phansalkar自适应局部阈值分割,得到Phansalkar分割图序列。
109)对Phansalkar分割图序列中的每一幅Phansalkar分割图,去除图中面积小于一定阈值的连通前景区域,得到精炼的Phansalkar分割图序列。
110)对血管层图像序列中的每一幅血管层图像,进行Otsu自适应全局阈值分割,得到Otsu分割图序列。
111)对每一幅精炼的Phansalkar分割图序列中的每一幅精炼的Phansalkar分割图,将其前景区域在Otsu分割图序列中对应的Otsu分割图的前景区域内做形态学条件膨胀,得到条件膨胀的Phansalkar分割图序列。
112)将精炼的Phansalkar分割图序列与条件膨胀的Phansalkar分割图序列,其每个对应的帧中的前景区域融合在一起,得到血管分割图像序列。
步骤二,使用步骤一中得到的血管形状分割图像序列,对X射线血管造影图像序列进行灰度提取,得到具有血管形状与灰度的血管图像序列。如图2所示,具体包括以下步骤:
201)将X射线造影图像序列的每一帧图像数据作为张量的一个切片矩阵,所有图像数据构成原始图像序列数据张量M0
202)将步骤一中得到的血管分割图像序列中的每帧血管分割图像作为一个切片矩阵,得到血管分割二值化张量Ω1,其每个元素值为0或1。
203)对原始图像序列数据张量M0,将其在血管分割二值化张量Ω1背景区域内的像素视为已知,前景区域内的像素视为未知,构建张量补全模型。本实施例采用t-TNN张量补全模型。
204)对t-TNN张量补全模型进行求解,得到背景层数据张量。
205)用原始图像序列数据张量中的每个元素除以背景层数据张量中相同位置的元素,得到血管数据张量。
206)将血管数据张量的每一个切片矩阵转化为图像的形式,得到血管图像序列,该血管图像序列就是最终的血管提取结果。
上述X射线血管造影图像序列的血管精确提取的整体实施过程如图3所示。
本实施例以12个临床血管造影图像序列为例进一步说明上述方法,每一个血管造影图像序列包含80帧图像,每帧图像分辨率为512×512,每个像素代表的实际大小为0.3mm×0.3mm,像素的位深度为8。
方案中,鲁棒主成分分析算法的参数为λ=1/512。
对类Radon特征,首先计算图像I的高斯二阶微分滤波响应,即:
其中,ΔG(σ,φ)代表尺度为σ,方向为φ的边界增强高斯二阶微分(GaussianSecond Derivtive,GSD)滤波器,为卷积操作。然后,通过对R(x,y)用阈值参数为0.01的Canny边缘提取算子计算得到图像的边缘图,该边缘图中的边缘作为计算类Radon特征时的结点。提取函数T定义为:
t∈[ti,ti+1]
其中,‖l(ti+1)-l(ti)‖2表示结点ti,ti+1之间的距离。
对Phansalkar自适应局部阈值分割,其参数为,局部窗口大小w×w等于16×16,p=3,q=10,k=1。
步骤109)中,具体为去除图中面积小于300像素的连通前景区域。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种从视频中提取目标物体信息的方法,应用于透射成像视频,其特征在于,在所述视频的成像过程中,所述目标物体对成像光线有衰减作用,该方法获取所述目标物体在视频中的区域和灰度信息,具体包括以下步骤:
S1、在原始视频中的每一帧图像中,分割出包含所述目标物体的目标区域;
S2、根据所述原始视频,通过背景补全估算所述目标区域中像素的背景灰度值;
S3、用所述原始视频在所述目标区域中像素的原始灰度值,减去或除以所述目标区域中像素的所述背景灰度值,得到所述目标区域中像素的前景灰度值,所述目标区域中所有像素的前景灰度值构成的物体图像即为提取出的目标物体图像。
2.根据权利要求1所述的从视频中提取目标物体信息的方法,其特征在于,步骤S1中,基于背景减除技术,从所述原始视频分解出一个前景视频,并在所述前景视频中的每一帧前景图像中,分割出包含所述目标物体的目标区域。
3.根据权利要求1所述的从视频中提取目标物体信息的方法,其特征在于,步骤S1具体包括:
S101、将所述原始视频包含的每个数据进行灰度变换,得到变换域视频图像,在变换域上视频图像表示为由前景目标和背景图像叠加形式;
S102、使用背景减除技术从所述变换域视频中分解出一个前景变换域视频;
S103、对所述前景变换域视频包含的每个数据进行灰度变换逆运算,得到前景视频;
S104、在所述前景视频中的每一帧前景图像中,分割出包含所述目标物体的目标区域。
4.根据权利要求3所述的从视频中提取目标物体信息的方法,其特征在于,所述灰度变换为对数运算,所述灰度变换逆运算为与所述对数运算底数相同的指数运算。
5.根据权利要求2或3所述的从视频中提取目标物体信息的方法,其特征在于,所述背景减除技术为低秩稀疏分解算法。
6.根据权利要求3所述的从视频中提取目标物体信息的方法,其特征在于,步骤S104具体包括:
S141、对所述前景视频中的每一帧前景图像进行细节增强目标特征提取,得到特征图像序列;
S142、根据所述特征图像序列,对所述前景视频的每一帧前景图像进行图像分割,得到目标物体区域图像序列;
步骤S141中,优选采用类Radon特征提取方法进行所述前景图像的细节增强目标特征提取。
7.根据权利要求6所述的从视频中提取目标物体信息的方法,其特征在于,步骤S142具体包括:
S1421、对所述特征图像序列中的每一帧特征图像,进行基于目标物体灰度分布的自适应局部阈值分割,得到第一分割图序列,所述第一分割图序列的每一帧分割图中,所有的像素被分为前景区域与背景区域这两个类别;
S1422、对所述第一分割图序列中的每一帧分割图,去除图中面积小于设定阈值的连通前景区域,得到第二分割图序列;
S1423、对所述前景视频中的每一帧前景图像,进行自适应全局阈值分割,得到第三分割图序列;
S1424、将所述第二分割图序列中的每一帧分割图的前景区域在所述第三分割图序列中对应帧的分割图的前景区域内做形态学条件膨胀,得到第四分割图序列;
S1425、将所述第二分割图序列与所述第四分割图序列的每个对应的帧中的前景区域融合,得到目标物体分割图像序列。
8.根据权利要求1所述的从视频中提取目标物体信息的方法,其特征在于,步骤S2具体为:将所述原始视频在所述目标区域以外的像素的原始灰度值视作这些像素的背景灰度值,使用矩阵补全或张量补全算法,估算所述目标区域中像素的背景灰度值。
9.根据权利要求8所述的从视频中提取目标物体信息的方法,其特征在于,估算所述背景灰度值使用的算法为基于张量核范数的张量补全算法。
10.一种如权利要求1-9任一所述的从视频中提取目标物体信息的方法在X射线血管造影图像视频中的应用。
CN201810026076.XA 2018-01-11 2018-01-11 一种从视频中提取目标物体信息的方法 Active CN110033455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810026076.XA CN110033455B (zh) 2018-01-11 2018-01-11 一种从视频中提取目标物体信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810026076.XA CN110033455B (zh) 2018-01-11 2018-01-11 一种从视频中提取目标物体信息的方法

Publications (2)

Publication Number Publication Date
CN110033455A true CN110033455A (zh) 2019-07-19
CN110033455B CN110033455B (zh) 2023-01-03

Family

ID=67234273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810026076.XA Active CN110033455B (zh) 2018-01-11 2018-01-11 一种从视频中提取目标物体信息的方法

Country Status (1)

Country Link
CN (1) CN110033455B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598712A (zh) * 2019-08-28 2019-12-20 万维科研有限公司 物体位置识别方法、装置、计算机设备及存储介质
CN111311644A (zh) * 2020-01-15 2020-06-19 电子科技大学 一种基于视频sar的运动目标检测方法
CN113052805A (zh) * 2021-03-09 2021-06-29 西北工业大学 X射线血管造影序列图像的静态背景分离方法
CN115205163A (zh) * 2022-09-15 2022-10-18 深圳前海量子云码科技有限公司 一种标识图像的处理方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799857A (zh) * 2012-06-19 2012-11-28 东南大学 一种视频多车辆轮廓检测方法
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
CN103793715A (zh) * 2014-02-13 2014-05-14 电子科技大学 基于场景信息挖掘的井下人员目标跟踪方法
CN104463903A (zh) * 2014-06-24 2015-03-25 中海网络科技股份有限公司 一种基于目标行为分析的行人图像实时检测方法
CN104616290A (zh) * 2015-01-14 2015-05-13 合肥工业大学 一种统计矩阵模型和自适应阈值相结合的目标检测算法
US20150130953A1 (en) * 2013-11-13 2015-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for Video Background Subtraction Using Factorized Matrix Completion
CN105551062A (zh) * 2015-12-21 2016-05-04 电子科技大学 一种夜间物体检测的方法
CN106600625A (zh) * 2016-12-13 2017-04-26 广东沅朋网络科技有限公司 检测小型生物的图像处理方法及装置
CN106934789A (zh) * 2015-12-30 2017-07-07 航天信息股份有限公司 基于三帧差分法的包装动态检测方法及装置
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799857A (zh) * 2012-06-19 2012-11-28 东南大学 一种视频多车辆轮廓检测方法
CN103325112A (zh) * 2013-06-07 2013-09-25 中国民航大学 动态场景中运动目标快速检测方法
US20150130953A1 (en) * 2013-11-13 2015-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for Video Background Subtraction Using Factorized Matrix Completion
CN103793715A (zh) * 2014-02-13 2014-05-14 电子科技大学 基于场景信息挖掘的井下人员目标跟踪方法
CN104463903A (zh) * 2014-06-24 2015-03-25 中海网络科技股份有限公司 一种基于目标行为分析的行人图像实时检测方法
CN104616290A (zh) * 2015-01-14 2015-05-13 合肥工业大学 一种统计矩阵模型和自适应阈值相结合的目标检测算法
CN105551062A (zh) * 2015-12-21 2016-05-04 电子科技大学 一种夜间物体检测的方法
CN106934789A (zh) * 2015-12-30 2017-07-07 航天信息股份有限公司 基于三帧差分法的包装动态检测方法及装置
CN106600625A (zh) * 2016-12-13 2017-04-26 广东沅朋网络科技有限公司 检测小型生物的图像处理方法及装置
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI SUN等: "Small Moving Object Tracking in Dynamic Video", 《IEEE》 *
郭达洁: "监控视频中的前景提取和目标检测跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598712A (zh) * 2019-08-28 2019-12-20 万维科研有限公司 物体位置识别方法、装置、计算机设备及存储介质
CN111311644A (zh) * 2020-01-15 2020-06-19 电子科技大学 一种基于视频sar的运动目标检测方法
CN111311644B (zh) * 2020-01-15 2021-03-30 电子科技大学 一种基于视频sar的运动目标检测方法
CN113052805A (zh) * 2021-03-09 2021-06-29 西北工业大学 X射线血管造影序列图像的静态背景分离方法
CN115205163A (zh) * 2022-09-15 2022-10-18 深圳前海量子云码科技有限公司 一种标识图像的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110033455B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
EP0990222B1 (en) Image processing method and system involving contour detection steps
Saha et al. Topomorphologic separation of fused isointensity objects via multiscale opening: Separating arteries and veins in 3-D pulmonary CT
Tyrrell et al. Robust 3-D modeling of vasculature imagery using superellipsoids
Tariq et al. Lung nodule detection in CT images using neuro fuzzy classifier
CN111091573B (zh) 基于深度学习的ct影像肺血管的分割方法及系统
Campadelli et al. A segmentation framework for abdominal organs from CT scans
CN110033455A (zh) 一种从视频中提取目标物体信息的方法
US9875570B2 (en) Method for processing image data representing a three-dimensional volume
Masutani et al. Region-growing based feature extraction algorithm for tree-like objects
Boldak et al. An improved model-based vessel tracking algorithm with application to computed tomography angiography
Kitasaka et al. A method for extraction of bronchus regions from 3D chest X-ray CT images by analyzing structural features of the bronchus
Van Dongen et al. Automatic segmentation of pulmonary vasculature in thoracic CT scans with local thresholding and airway wall removal
Duggan et al. A technique for lung nodule candidate detection in CT using global minimization methods
Khachnaoui et al. Deep learning for automatic pulmonary embolism identification using CTA images
Vera et al. Similarity enhancement for automatic segmentation of cardiac structures in computed tomography volumes
Subašić et al. Model-based quantitative AAA image analysis using a priori knowledge
Holtzman-Gazit et al. Hierarchical segmentation of thin structures in volumetric medical images
Samet et al. A new methodology for blood vessel segmentation on lung CT images
Leonardi et al. 3D reconstruction from CT-scan volume dataset application to kidney modeling
Singh et al. ROI based detection of abnormalities in lungs using medical image processing
Flores et al. Segmentation, reconstruction and visualization of the pulmonary artery and the pulmonary vein from anatomical images of the visible human project
Li et al. Accurate curvilinear modelling for precise measurements of tubular structures
Deng et al. 3D interactive coronary artery segmentation using random forests and Markov random field optimization
CN114463279B (zh) 一种基于计算机视觉的肺区区域分割系统
Pana et al. 3D Brain Tumor Volume Reconstruction and Quantification using MRI Multi-modalities Brain Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant