CN110866873A - 内腔镜图像的高光消除方法及装置 - Google Patents
内腔镜图像的高光消除方法及装置 Download PDFInfo
- Publication number
- CN110866873A CN110866873A CN201910995568.4A CN201910995568A CN110866873A CN 110866873 A CN110866873 A CN 110866873A CN 201910995568 A CN201910995568 A CN 201910995568A CN 110866873 A CN110866873 A CN 110866873A
- Authority
- CN
- China
- Prior art keywords
- data
- highlight
- image
- image data
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008030 elimination Effects 0.000 title claims description 42
- 238000003379 elimination reaction Methods 0.000 title claims description 42
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 104
- 239000013598 vector Substances 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种内腔镜图像的高光消除方法及装置,通过获取原始图像中的高光区域数据,根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同,根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像,可使得获得的高光消除图像中高光消除的更加彻底,提高了高光消除的精确性。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种内腔镜图像的高光消除方法及装置。
背景技术
镜面反射是一种非常普遍的现象,贯穿于整个手术过程。腹部器官表面通常光滑湿润,纹理稀疏,组织结构罕见。在、腹腔镜照明条件下会发生大面积的镜面反射。器官表面的镜面反射不仅干扰了外科医生的观察和判断,而且影响了基于AR的手术导航的性能。它可能导致目标漂移和配准不准确。因此,消除高光的影响成为基于AR的外科导航系统重要任务。
现有技术中,内镜图像的高光去除方法通常采用图像的拼接、修复方法,这些方法可以在一定条件下恢复高光区域的实际信息,即完成高光消除的工作。
然而,现有技术中对内镜图像的高光消除不够精确。
发明内容
本发明实施例提供一种内腔镜图像的高光消除方法及装置,提高了对内镜图像的高光消除的精确性。
本发明实施例的第一方面,提供一种内腔镜图像的高光消除方法,包括:
获取原始图像中的高光区域数据;
根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同;
根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
可选地,在第一方面的一种可能实现方式中,所述预设的分解模型包括预设的自适应鲁棒性主成分分析分解模型;
相应地,所述根据预设的分解模型分解所述原始图像,获取稳定图像数据和干扰图像数据,包括:
根据所述预设的自适应鲁棒性主成分分析分解模型分解所述原始图像,获取所述稳定图像数据。
可选地,在第一方面的一种可能实现方式中,
所述根据预设的分解模型分解所述原始图像,获取稳定图像数据,包括:
根据预设的分解模型分解所述原始图像,获取中间图像数据和干扰图像数据;
获取所述高光区域数据和所述干扰图像数据之间的相似度数据;
若所述相似度数据小于预设相似度阈值,则对所述分解模型的迭代参数进行更新,返回执行所述根据预设的分解模型分解所述原始图像,获取稳定图像数据;
若所述相似度数据大于或等于预设相似度阈值,则将所述中间图像数据,作为稳定图像数据。
可选地,在第一方面的一种可能实现方式中,
所述获取所述高光区域数据和所述干扰图像数据之间的相似度数据,包括:
获取所述高光区域数据的高光特征向量,获取所述干扰图像数据的干扰特征向量;
根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据;
根据所述欧式距离数据,获取所述高光区域数据和所述干扰图像数据之间的相似度数据。
可选地,在第一方面的一种可能实现方式中,
所述根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据,包括:
根据以下公式获取欧式距离数据,具体如下:
其中,Sf代表所述干扰特征向量,Gf代表所述高光特征向量,Sim代表所述欧式距离数据。
可选地,在第一方面的一种可能实现方式中,
所述根据所述预设的分解模型迭代分解所述原始图像,获取稳定图像数据,包括:
获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据;
根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向,所述迭代方向用于指示所述预设的分解模型中所述迭代参数的变化方向;
根据所述预设的分解模型和所述迭代方向迭代分解所述原始图像,获取稳定图像数据。
可选地,在第一方面的一种可能实现方式中,
所述根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像,包括:
获取所述高光区域数据对应的坐标数据;
根据所述稳定图像数据和所述坐标数据对所述高光区域数据进行替换处理,获取所述高光消除图像。
可选地,在第一方面的一种可能实现方式中,所述获取原始图像中的高光区域数据,包括:
根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值;
根据所述分割阈值对所述原始图像进行遍历处理,获取高光像素点数据;
根据所述高光像素点数据获取所述高光区域数据。
可选地,在第一方面的一种可能实现方式中,所述根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,包括:
根据以下公式对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,具体如下:
ts=Means(S)+Std(S)×α
tv=Means(V)-Std(V)×β
其中,Means是均值计算函数,Std是方差计算函数,S代表S颜色通道的矩阵,V代表V颜色通道的矩阵,ts代表S颜色通道的高光像素点分割阈值,tv代表V颜色通道的高光像素点分割阈值,α,β分别代表两个权重,取值范围为:0.6<α<=1,1.5<β<=1.8。
本发明实施例的第二方面,提供一种内腔镜图像的高光消除装置,包括:
高光模块,用于获取原始图像中的高光区域数据;
分解模块,用于根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同;
替换模块,用于根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
可选地,在第二方面的一种可能实现方式中,所述预设的分解模型包括预设的自适应鲁棒性主成分分析分解模型;
相应地,所述分解模块具体用于:
根据所述预设的自适应鲁棒性主成分分析分解模型分解所述原始图像,获取所述稳定图像数据。
可选地,在第二方面的一种可能实现方式中,所述分解模块具体用于:
根据预设的分解模型分解所述原始图像,获取中间图像数据和干扰图像数据;
获取所述高光区域数据和所述干扰图像数据之间的相似度数据;
若所述相似度数据小于预设相似度阈值,则对所述分解模型的迭代参数进行更新,返回执行所述根据预设的分解模型分解所述原始图像,获取稳定图像数据;
若所述相似度数据大于或等于预设相似度阈值,则将所述中间图像数据,作为稳定图像数据。
可选地,在第二方面的一种可能实现方式中,所述分解模块具体用于:
获取所述高光区域数据的高光特征向量,获取所述干扰图像数据的干扰特征向量;
根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据;
根据所述欧式距离数据,获取所述高光区域数据和所述干扰图像数据之间的相似度数据。
可选地,在第二方面的一种可能实现方式中,所述分解模块具体用于:
根据以下公式获取欧式距离数据,具体如下:
其中,Sf代表所述干扰特征向量,Gf代表所述高光特征向量,Sim代表所述欧式距离数据。
可选地,在第二方面的一种可能实现方式中,所述分解模块具体用于:
获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据;
根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向,所述迭代方向用于指示所述预设的分解模型中迭代参数的变化方向;
根据所述预设的分解模型和所述迭代方向迭代分解所述原始图像,获取稳定图像数据。
可选地,在第二方面的一种可能实现方式中,所述替换模块具体用于:
获取所述高光区域数据对应的坐标数据;
根据所述稳定图像数据和所述坐标数据对所述高光区域数据进行替换处理,获取所述高光消除图像。
可选地,在第二方面的一种可能实现方式中,所述高光模块具体用于:
根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值;
根据所述分割阈值对所述原始图像进行遍历处理,获取高光像素点数据;
根据所述高光像素点数据获取所述高光区域数据。
可选地,在第二方面的一种可能实现方式中,所述高光模块具体用于:
根据以下公式对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,具体如下:
ts=Means(S)+Std(S)×α
tv=Means(V)-Std(V)×β
其中,Means是均值计算函数,Std是方差计算函数,S代表S颜色通道的矩阵,V代表V颜色通道的矩阵,ts代表S颜色通道的高光像素点分割阈值,tv代表V颜色通道的高光像素点分割阈值,α,β分别代表两个权重,取值范围为:0.6<α<=1,1.5<β<=1.8。
本发明实施例的第三方面,提供一种图像的高光消除设备,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述方法。
本发明实施例的第四方面,提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种内腔镜图像的高光消除方法及装置,通过获取原始图像中的高光区域数据;根据预设的分解模型分解所述原始图像,获取稳定图像数据和干扰图像数据,图像数据有稳定性数据和干扰数据,例如,干扰数据包括高光等一些噪声数据,影响图像的清晰度,其中,所述预设的分解模型每次迭代的迭代参数不同,即每次的迭代结果不同,根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。本发明利用预设的模型,对原始图像多次分解,将原始图像分解为稳定图像数据和干扰图像数据,然后利用与高光区域数据对应的稳定图像数据替换掉高光区域的高光像素点,完成高光消除,其中,多次分解是为了使得稳定图像数据更加的精确,可使得获得的高光消除图像中高光消除的更加彻底,提高了高光消除的精确性。
附图说明
图1是本发明实施例提供的一种应用场景示意图;
图2是本发明实施例提供的一种内腔镜图像的高光消除方法的流程示意图;
图3是本发明实施例提供的一种内腔镜图像的高光消除装置的结构示意图;
图4是本发明实施例提供的一种图像的高光消除设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
首先对本发明涉及到的词汇进行解释:
HSV颜色模型:是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。HSV颜色模型是指H、S、V三维颜色空间中的一个可见光子集,它包含某个颜色域的所有颜色。
自适应鲁棒性主成分分析分解模型:其能够自适应内窥镜图像序列中的各种变化和挑战性情况,比如说:光照变化、抖动、烟雾等情况,其能够根据每一张内窥镜图像中的高光含量的变化,来自适应计算获得最优分解参数,并实现最优化低秩+稀疏分解。
镜面反射是一种非常普遍的现象,贯穿于整个手术过程。腹部器官表面通常光滑湿润,纹理稀疏,组织结构罕见。在腹腔镜照明条件下会发生大面积的镜面反射。器官表面的镜面反射不仅干扰了外科医生的观察和判断,而且影响了基于AR的手术导航的性能。它可能导致目标漂移和配准不准确。因此,消除高光的影响成为基于AR的外科导航系统重要任务。现有技术中,内镜图像的高光去除方法通常采用图像的拼接、修复方法,这些方法可以在一定条件下恢复高光区域的实际信息,即完成高光消除的工作。然而,现有技术中大多侧重于处理单个图像或静态场景,通常需要经验阈值,因此对内镜图像的高光消除不够精确。
参见图1,是本发明实施例提供的一种应用场景示意图。其中的拍摄设备10用于拍摄原始图像,例如,可以是内腔镜,即原始图像可以是内腔镜拍摄到的,原始图像例如可以是器官的图像。而内腔镜照明条件下会发生大面积的镜面反射,形成高光图像,影响对图像的观测。服务器11用于从拍摄设备10获取原始图像,然后对原始图像进行一系列高光消除的处理,最终获取到高光消除图像,然后传输给显示设备13,显示设备13显示高光消除图像。本发明可使得获得的高光消除图像中高光消除的更加彻底,提高了高光消除的精确性。
参见图2,是本发明实施例提供的一种内腔镜图像的高光消除方法的流程示意图,图2所示方法的执行主体可以是软件和/或硬件装置。本申请的执行主体可以是具有图片显示功能的软件和/或硬件,例如是图片显示处理装置。图片显示处理装置例如可以是手机、个人数字助理(PersonalDigitalAssistant,简称:PDA)、平板电脑、便携设备(例如,便携式计算机、袖珍式计算机或手持式计算机)等具有图像显示功能的移动设备,也可以是门禁、智能固定电话、控制台等具有图像显示功能的固定设备。另外,图片显示处理装置还可以是存储于这些设备中提供有图像显示功能的应用程序。本申请实施例对图片显示处理装置的形式并不限定。包括步骤S101至步骤S103,具体如下:
S101,获取原始图像中的高光区域数据。
具体地,原始图像例如可以是图1所述实施例中拍摄设备拍摄到的图像,拍摄设备例如可以是内腔镜,即原始图像可以是内腔镜拍摄到的,原始图像例如可以是器官的图像。而由于内腔镜在拍摄过程中,可能出现一些镜面反射的情况,导致原始图像会出现高光区域,其中的高光区域数据就是从原始图像的高光区域获取到的数据。
在实际应用中,在步骤S101之前,还可以包括利用拍摄设备获取到原始图像。
在一些实施例中,可以利用以下方式来获取到高光区域数据,具体如下:
首先获取到HSV颜色模型,采用一些预设的训练样本,来对HSV颜色模型进行训练,获取到预设的预设的HSV颜色模型。然后根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,然后根据所述分割阈值对所述原始图像进行遍历处理,即遍历整个原始图像检测高光像素点,获取高光像素点数据,最后根据所述高光像素点数据获取所述高光区域数据,可以理解,遍历处理是利用阈值计算公式计算获得的在S和V两个通道的阈值结果,遍历原始的图像,然后通过两个阈值,找到哪些属于高光像素点,哪些不属于高光像素点,其中,原始图像的颜色模式也要转换到HSV颜色模式下。
其中,获取S颜色和V颜色通道下的分割阈值,可以根据获得的S和V颜色通道下颜色值得分布情况,分别计算S和V颜色通道下矩阵的均值和方差大小,通过阈值生成函数来自适应获得S和V颜色通道下的分割阈值。
例如,可以根据以下公式对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,具体如下:
ts=Means(S)+Std(S)×α
tv=Means(V)-Std(V)×β
其中,Means是均值计算函数,Std是方差计算函数,S代表S颜色通道的矩阵,V代表V颜色通道的矩阵,ts代表S颜色通道的高光像素点分割阈值,tv代表V颜色通道的高光像素点分割阈值,α,β分别代表两个权重,取值范围为:0.6<α<=1,1.5<β<=1.8。
S102,根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同。
具体地,由于图像数据有稳定性数据和干扰数据,例如,干扰数据包括高光等一些噪声数据,影响图像的清晰度,而预设的分解模型就是为了将像数据分解为稳定性数据和干扰数据。其中,每次迭代的迭代参数不同,是为了使得稳定图像数据更加的精确,可使得获得的高光消除图像中高光消除的更加彻底。
其中,所述预设的分解模型可以是预设的自适应鲁棒性主成分分析分解模型,利用预设的自适应鲁棒性主成分分析分解模型可以将原始图像分解为低秩图像数据和稀疏图像数据,其中的低秩图像数据可以理解为稳定图像数据,稀疏图像数据可以理解为干扰图像数据,其中,预设的自适应鲁棒性主成分分析分解模型分解过程的约束方程可以如下:
式中,Y代表一个包含噪声的矩阵,可以是一个基于残差:M-L-S的拉格朗日乘子矩阵,L是低秩图像数据,S是稀疏图像数据,M代表矩阵,λl是低秩参数,λs是稀疏参数,||·||1代表1范数,||·||*代表核范数,||·||F代表Frobenius范数,代表M-L-S结果矩阵的Frobenius范数,u代表拉格朗日项的一个参数,通常取值为1,||S||1=∑i,j|Si,j|,||L||*=∑iσi(L),i,j分别代表矩阵的行数和列数,σ(L)是L的奇异值的向量,ξ是迭代阈值条件,Φ是相似度度量函数,η是相似度度量函数Φ的迭代条件。
其中,预设的自适应鲁棒性主成分分析分解模型迭代收敛过程为:
Lk+1=Du(M-Sk-u-1Yk),
Sk+1=Sλu(M-Lk+1+u-1Yk),
Yk+1=Yk+u(M-Lk+1-Sk+1).
式中,Dτ(x)是表示奇异值阈值算子,Dτ(x)=USτ(Σ)V*,Sτ:R→R代表收缩算子,Sτ[x]=sgn(x)max(|x|-τ,0),通过将它应用于每个元素,将它扩展到矩阵:对于矩阵X,代表奇异值分解,X=UΣV*Σ,
在实际应用中,整个迭代过程通过固定其中一个L或S最小化l来最小化另一个参数值,然后基于M-L-S来更新朗格朗日乘子矩阵,根据上述迭代收敛的公式迭代求解,直至满足约束条件。
在一些实施例中,所述根据预设的分解模型分解所述原始图像,获取稳定图像数据,可以包括:根据预设的分解模型分解所述原始图像,获取中间图像数据和干扰图像数据;获取所述高光区域数据和所述干扰图像数据之间的相似度数据;若所述相似度数据小于预设相似度阈值,则对所述分解模型的迭代参数进行更新,返回执行所述根据预设的分解模型分解所述原始图像,获取稳定图像数据;若所述相似度数据大于或等于预设相似度阈值,则将所述中间图像数据,作为稳定图像数据。
其中,相似度数据是指干扰图像数据和高光区域数据之间的相似度,可以理解,干扰图像数据和高光区域数据之间的相似度越大,则干扰图像数据越趋向于高光区域数据,使得稳定性图像数据会越来越精确。
在一些实施例中,可以获取所述高光区域数据的高光特征向量,获取所述干扰图像数据的干扰特征向量,根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据,根据所述欧式距离数据,获取所述高光区域数据和所述干扰图像数据之间的相似度数据。在实际应用中,所述根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据,具体如下:
首先,将高光区域数据和干扰图像数据进行二值化,然后将二值化后的两类图像划分n×n的网格,n的数值取决于图像的大小,统计高光区域数据和干扰图像数据中每个网格中高光像素点的个数,并分别按照列的方式形成两个特征向量,两个特征向量可以如下:
Sf={S1,S2,S3,...,Sn}
Gf={G1,G2,G3,...,Gn}
式中,Si代表稀疏图像所划分的第i个网格中的高光像素点个数,Gi代表高光检测结果图像所划分的第i个网格中的高光像素点个数,n代表划分网格的数量,n的大小由图像的大小决定,Sf代表所述干扰特征向量,Gf代表所述高光特征向量。
最后,根据以下公式获取欧式距离数据,具体如下:
式中,Sim代表所述欧式距离数据,即所述高光区域数据和所述干扰图像数据之间的相似度数据。
在另一些实施例中,所述根据所述预设的分解模型分解所述原始图像,获取稳定图像数据,包括:获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据;根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向,所述迭代方向用于指示所述预设的分解模型中所述迭代参数的变化方向,根据所述预设的分解模型和所述迭代方向迭代分解所述原始图像,获取稳定图像数据。
其中,迭代方向用于指示所述预设的分解模型中迭代参数的变化方向,使得分解模型的分解结果越来越精确,例如,可以是预设的自适应鲁棒性主成分分析分解模型中稀疏参数的变化方向。获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据,根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向。例如,可以根据以下公式来计算稀疏参数的变化方向:
δ=signal(poriginal-psparse),
κ=||poriginal-psparse||1,
λs=λs±Δd,
式中,δ是获得二者相差结果的符号,κ是获得二者相差的大小,Δd代表增量参数。
每一次迭代过程中,都要重新稀疏参数λs的值,作为下一次迭代过程的初始参数,不断迭代计算,直至满足迭代终止条件,最终获得低秩图像数据和稀疏图像数据,即稳定图像数据和干扰图像数据。
S103,根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
具体地,在获取到精确的稳定图像数据后,找到高光区域对应的区域,利用稳定图像数据对高光区域的高光像素点进行替换处理,以完成高光消除。
在一些实施例中,可以获取所述高光区域数据对应的坐标数据,根据所述稳定图像数据和所述坐标数据对所述高光区域数据进行替换处理,获取所述高光消除图像。在另一些实施例中,可以重建所有高光区域的连通域,例如,根据所获得的高光区域数据,检测高光区域数据中高光连通区域的坐标信息和边界信息,然后对所有连通区域用进行膨胀,膨胀系数可以为4-8个像素点大小,膨胀后获得新的连通区域坐标和边界信息,最后根据所获得的精确的稳定图像数据,利用连通区域的坐标信息,逐像素替换膨胀后的高光连通区域,实现高光去除。
在实际应用中,在获取到高光消除图像后,可以输出高光消除图像,例如,可以向用户显示高光消除图像。
上述实施例提供的内腔镜图像的高光消除方法,通过获取原始图像中的高光区域数据;根据预设的分解模型分解所述原始图像,获取稳定图像数据,图像数据有稳定性数据和干扰数据,例如,干扰数据包括高光等一些噪声数据,影响图像的清晰度,其中,所述预设的分解模型每次迭代的迭代参数不同,即每次的迭代结果不同,根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。本发明利用预设的模型,对原始图像多次分解,将原始图像分解为稳定图像数据,然后利用与高光区域数据对应的稳定图像数据替换掉高光区域的高光像素点,完成高光消除,其中,多次分解是为了使得稳定图像数据更加的精确,可使得获得的高光消除图像中高光消除的更加彻底,提高了高光消除的精确性。
参见图3,图3是本发明实施例提供的一种内腔镜图像的高光消除装置的结构示意图,该内腔镜图像的高光消除装置30包括:
高光模块31,用于获取原始图像中的高光区域数据;
分解模块32,用于根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同;
替换模块33,用于根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
图3所示实施例的内腔镜图像的高光消除装置对应地可用于执行图2所示方法实施例中的步骤,其实现原理和技术效果类似,此处不再赘述。
可选地,所述预设的分解模型包括预设的自适应鲁棒性主成分分析分解模型;
相应地,所述分解模块32用于:
根据所述预设的自适应鲁棒性主成分分析分解模型分解所述原始图像,获取所述稳定图像数据。
可选地,所述分解模块32具体用于:
根据预设的分解模型分解所述原始图像,获取中间图像数据和干扰图像数据;
获取所述高光区域数据和所述干扰图像数据之间的相似度数据;
若所述相似度数据小于预设相似度阈值,则对所述分解模型的迭代参数进行更新,返回执行所述根据预设的分解模型分解所述原始图像,获取稳定图像数据;
若所述相似度数据大于或等于预设相似度阈值,则将所述中间图像数据,作为稳定图像数据。
可选地,所述分解模块32具体用于:
获取所述高光区域数据的高光特征向量,获取所述干扰图像数据的干扰特征向量;
根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据;
根据所述欧式距离数据,获取所述高光区域数据和所述干扰图像数据之间的相似度数据。
可选地,所述分解模块32具体用于:
根据以下公式获取欧式距离数据,具体如下:
其中,Sf代表所述干扰特征向量,Gf代表所述高光特征向量,Sim代表所述欧式距离数据。
可选地,所述分解模块32具体用于:
获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据;
根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向,所述迭代方向用于指示所述预设的分解模型中迭代参数的变化方向;
根据所述预设的分解模型和所述迭代方向迭代分解所述原始图像,获取稳定图像数据。
可选地,所述替换模块33具体用于:
获取所述高光区域数据对应的坐标数据;
根据所述稳定图像数据和所述坐标数据对所述高光区域数据进行替换处理,获取所述高光消除图像。
可选地,所述获取原始图像中的高光区域数据,包括:
根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值;
根据所述分割阈值对所述原始图像进行遍历处理,获取高光像素点数据;
根据所述高光像素点数据获取所述高光区域数据。
可选地,所述替换模块33具体用于:
根据以下公式对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,具体如下:
ts=Means(S)+Std(S)×α
tv=Means(V)-Std(V)×β
其中,Means是均值计算函数,Std是方差计算函数,S代表S颜色通道的矩阵,V代表V颜色通道的矩阵,ts代表S颜色通道的高光像素点分割阈值,tv代表V颜色通道的高光像素点分割阈值,α,β分别代表两个权重,取值范围为:0.6<α<=1,1.5<β<=1.8。
参见图4,是本发明实施例提供的一种图像的高光消除设备的硬件结构示意图,该设备包括:处理器41、存储器42和计算机程序;其中
存储器42,用于存储所述计算机程序,该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器41,用于执行所述存储器存储的计算机程序,以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器42既可以是独立的,也可以跟处理器41集成在一起。
当所述存储器42是独立于处理器41之外的器件时,所述设备还可以包括:
总线43,用于连接所述存储器42和处理器41。
本发明还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述设备的实施例中,应理解,处理器可以是中央处理单元(英文:CentralProcessing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application Specific IntegratedCircuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种内腔镜图像的高光消除方法,其特征在于,包括:
获取原始图像中的高光区域数据;
根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同;
根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
2.根据权利要求1所述的方法,其特征在于,所述预设的分解模型包括预设的自适应鲁棒性主成分分析分解模型;
相应地,所述根据预设的分解模型分解所述原始图像,获取稳定图像数据和干扰图像数据,包括:
根据所述预设的自适应鲁棒性主成分分析分解模型分解所述原始图像,获取所述稳定图像数据。
3.根据权利要求1或2所述的方法,其特征在于,所述根据预设的分解模型分解所述原始图像,获取稳定图像数据,包括:
根据预设的分解模型分解所述原始图像,获取中间图像数据和干扰图像数据;
获取所述高光区域数据和所述干扰图像数据之间的相似度数据;
若所述相似度数据小于预设相似度阈值,则对所述分解模型的迭代参数进行更新,返回执行所述根据预设的分解模型分解所述原始图像,获取稳定图像数据;
若所述相似度数据大于或等于预设相似度阈值,则将所述中间图像数据,作为稳定图像数据。
4.根据权利要求3所述的方法,其特征在于,所述获取所述高光区域数据和所述干扰图像数据之间的相似度数据,包括:
获取所述高光区域数据的高光特征向量,获取所述干扰图像数据的干扰特征向量;
根据所述高光特征向量和所述干扰特征向量,获取欧式距离数据;
根据所述欧式距离数据,获取所述高光区域数据和所述干扰图像数据之间的相似度数据。
6.根据权利要求4所述的方法,其特征在于,所述根据所述预设的分解模型分解所述原始图像,获取稳定图像数据,包括:
获取所述干扰图像数据中干扰高光像素点含量数据,并获取所述原始图像中的原始高光像素点含量数据;
根据所述干扰高光像素点含量数据、所述原始高光像素点含量数据和所述相似度数据获取所述预设的分解模型的迭代方向,所述迭代方向用于指示所述预设的分解模型中所述迭代参数的变化方向;
根据所述预设的分解模型和所述迭代方向迭代分解所述原始图像,获取稳定图像数据。
7.根据权利要求1所述的方法,其特征在于,所述根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像,包括:
获取所述高光区域数据对应的坐标数据;
根据所述稳定图像数据和所述坐标数据对所述高光区域数据进行替换处理,获取所述高光消除图像。
8.根据权利要求1所述的方法,其特征在于,所述获取原始图像中的高光区域数据,包括:
根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值;
根据所述分割阈值对所述原始图像进行遍历处理,获取高光像素点数据;
根据所述高光像素点数据获取所述高光区域数据。
9.根据权利要求1所述的方法,其特征在于,所述根据预设的HSV颜色模型对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,包括:
根据以下公式对所述原始图像进行处理,获取S颜色和V颜色通道下的分割阈值,具体如下:
ts=Means(S)+Std(S)×α
tv=Means(V)-Std(V)×β
其中,Means是均值计算函数,Std是方差计算函数,S代表S颜色通道的矩阵,V代表V颜色通道的矩阵,ts代表S颜色通道的高光像素点分割阈值,tv代表V颜色通道的高光像素点分割阈值,α,β分别代表两个权重,取值范围为:0.6<α<=1,1.5<β<=1.8。
10.一种内腔镜图像的高光消除装置,其特征在于,包括:
高光模块,用于获取原始图像中的高光区域数据;
分解模块,用于根据预设的分解模型分解所述原始图像,获取稳定图像数据,其中,所述预设的分解模型每次迭代的迭代参数不同;
替换模块,用于根据所述稳定图像数据对所述高光区域数据进行处理,获取并输出高光消除图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995568.4A CN110866873A (zh) | 2019-10-18 | 2019-10-18 | 内腔镜图像的高光消除方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995568.4A CN110866873A (zh) | 2019-10-18 | 2019-10-18 | 内腔镜图像的高光消除方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110866873A true CN110866873A (zh) | 2020-03-06 |
Family
ID=69652215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910995568.4A Pending CN110866873A (zh) | 2019-10-18 | 2019-10-18 | 内腔镜图像的高光消除方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866873A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508806A (zh) * | 2020-11-24 | 2021-03-16 | 北京航空航天大学 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
CN112561830A (zh) * | 2020-12-23 | 2021-03-26 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
CN115861520A (zh) * | 2023-02-02 | 2023-03-28 | 深圳思谋信息科技有限公司 | 高光检测方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130004070A1 (en) * | 2011-06-28 | 2013-01-03 | Huanzhao Zeng | Skin Color Detection And Adjustment In An Image |
CN103455977A (zh) * | 2012-06-04 | 2013-12-18 | 中国科学院深圳先进技术研究院 | 一种消除内窥镜图像光照不均的方法及系统 |
CN105957042A (zh) * | 2016-06-07 | 2016-09-21 | 北京理工大学 | 内镜图像的高光区域消除方法 |
CN106650794A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 一种受物体表面高光反射影响的图像高光消除方法及系统 |
CN109801239A (zh) * | 2019-01-14 | 2019-05-24 | 浙江未来技术研究院(嘉兴) | 一种显微手术影像的高光区域消除方法及装置 |
-
2019
- 2019-10-18 CN CN201910995568.4A patent/CN110866873A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130004070A1 (en) * | 2011-06-28 | 2013-01-03 | Huanzhao Zeng | Skin Color Detection And Adjustment In An Image |
CN103455977A (zh) * | 2012-06-04 | 2013-12-18 | 中国科学院深圳先进技术研究院 | 一种消除内窥镜图像光照不均的方法及系统 |
CN105957042A (zh) * | 2016-06-07 | 2016-09-21 | 北京理工大学 | 内镜图像的高光区域消除方法 |
CN106650794A (zh) * | 2016-11-24 | 2017-05-10 | 北京理工大学 | 一种受物体表面高光反射影响的图像高光消除方法及系统 |
CN109801239A (zh) * | 2019-01-14 | 2019-05-24 | 浙江未来技术研究院(嘉兴) | 一种显微手术影像的高光区域消除方法及装置 |
Non-Patent Citations (1)
Title |
---|
RANYANG LI 等: "Specular Reflections Removal for Endoscopic Image Sequences With Adaptive-RPCA Decomposition", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508806A (zh) * | 2020-11-24 | 2021-03-16 | 北京航空航天大学 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
CN112508806B (zh) * | 2020-11-24 | 2022-06-07 | 北京航空航天大学 | 一种基于非凸低秩矩阵分解的内镜图像高光去除方法 |
CN112561830A (zh) * | 2020-12-23 | 2021-03-26 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
CN112561830B (zh) * | 2020-12-23 | 2022-11-18 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
CN115861520A (zh) * | 2023-02-02 | 2023-03-28 | 深圳思谋信息科技有限公司 | 高光检测方法、装置、计算机设备和存储介质 |
CN115861520B (zh) * | 2023-02-02 | 2023-04-28 | 深圳思谋信息科技有限公司 | 高光检测方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984556B2 (en) | Method and apparatus for calibrating relative parameters of collector, device and storage medium | |
CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
KR20180105876A (ko) | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 | |
CN110866873A (zh) | 内腔镜图像的高光消除方法及装置 | |
CN107346414B (zh) | 行人属性识别方法和装置 | |
Jellal et al. | LS-ELAS: Line segment based efficient large scale stereo matching | |
US20200051228A1 (en) | Face Deblurring Method and Device | |
CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
US9846974B2 (en) | Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition | |
WO2013190862A1 (ja) | 画像処理装置及び画像処理方法 | |
CN105934757B (zh) | 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
JP5901447B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
WO2019128676A1 (zh) | 过滤光斑的方法和装置 | |
US11741615B2 (en) | Map segmentation method and device, motion estimation method, and device terminal | |
CN105678778A (zh) | 一种图像匹配方法和装置 | |
WO2017120794A1 (zh) | 一种图像匹配方法和装置 | |
CN113298870B (zh) | 一种物体的姿态跟踪方法、装置、终端设备和存储介质 | |
WO2024022301A1 (zh) | 视角路径获取方法、装置、电子设备及介质 | |
CN110856014B (zh) | 动态图像生成方法、装置、电子设备及存储介质 | |
CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
WO2019058487A1 (ja) | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
CN114723973A (zh) | 大尺度变化鲁棒的图像特征匹配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200306 |
|
RJ01 | Rejection of invention patent application after publication |