发明内容
本发明实施方式旨在至少解决相关技术中存在的技术问题之一或者至少提供一种可选择的实用方案。
依据本发明的一个实施方式,提供一种对图像上的亮斑进行检测的方法,所称的图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分所称的核酸分子在图像上表现为亮斑,该方法包括:利用k1*k2矩阵对图像上的亮斑进行检测,判定该矩阵的中心像素值不小于第一预设值、该矩阵非中心任一像素值不小于第二预设值并且该矩阵的中心像素值不小于该矩阵非中心任一像素值的矩阵对应一个候选亮斑,k1和k2均为大于1的奇数,k1*k2矩阵包含k1*k2个像素点,所称的第一预设值和/或第二预设值与图像的平均像素值相关;以及确定所称的候选亮斑是否为亮斑。
依据本发明的一个实施方式,提供一种图像配准方法,包括利用图像上的亮斑实现配准,所称图像上的亮斑利用上述本发明实施方式中的亮斑检测方法确定。在一个实施方式中,该配准方法包括:基于参考图像对待配准图像进行第一配准,所述参考图像和所述待配准图像对应相同视野,包括确定所述待配准图像上的预定区域和所述参考图像上的相应预定区域的第一偏移量,基于所述第一偏移量移动所述待配准图像上的所有亮斑,获得第一配准后的待配准图像;基于所述参考图像对第一配准后的待配准图像进行第二配准,包括合并所述第一配准后的待配准图像和所述参考图像,获得合并图像,计算所述合并图像上的预定区域的所有重合亮斑的偏移量,以确定第二偏移量,距离小于预定像素的两个或多个亮斑为一个所述重合亮斑,基于该第二偏移量移动所述第一配准后的待配准图像上的所有亮斑,以实现对所述待配准图像的配准。
依据本发明的一个实施方式,提供一种计算机可读存储介质,用于存储供计算机执行的程序,执行所述程序包括完成上述任一实施方式中的图像上的亮斑检测和/或图像配准方法。计算机可读存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
依据本发明的又一个实施方式,提供一种计算机程序产品,该产品包括实现图像上的亮斑的检测的指令,该指令在计算机执行程序时,使计算机执行上述本发明实施方式中的亮斑检测方法的部分或所有步骤。
依据本发明的再一个实施方式,提供一种计算机程序产品,该产品包括实现图像配准的指令,指令在计算机执行程序时,使计算机执行上述本发明实施方式中的图像配准方法的部分或所有步骤。
所称的“亮点”或“亮斑”,指图像上的发光点,一个发光点占有至少一个像素点。所称“像素点”同“像素”。
在本发明的实施方式中,图像来自利用光学成像原理进行序列测定的测序平台,所称的测序平台包括但不限于华大基因、Illumina/Solexa、ThermoFisher/LifeTechnologies/ABI SOLiD、Roche 454和PacBio等公司或机构的测序平台,对所称的“亮斑”的检测为对延伸碱基或碱基簇的光学信号的检测。
依据上述本发明任一实施方式提供的检测图像上的亮斑的方法、装置和系统/计算机程序产品,能够快速有效地实现图像上的亮斑(spots)的检测,特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制,适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析,包括用以对焦追焦的图像质量评估,包括用以碱基识别的图像处理分析等,具有高准确性和高效的特点,能从图像中获取更多的代表序列的信息。
需要说明的,目前已知的测序图像上的亮斑识别定位方法和/或系统基本是针对来自二代测序平台的图像开发的,由于二代测序使用的测序芯片多数是阵列型的,即测序芯片上的探针是规则排列的,拍照获得的图像是模式(pattern)图像,通常图像上的信号是有规则的,有效信号的准确识别相对容易;另外,由于二代测序一般包含核酸模板的信号放大(例如扩增),一般一个核酸模板是以一个包含至少成百上千个拷贝的簇(cluster)的形式存在,即该核酸模板的信号是大量的该核酸模板分子的信号集,可以理解地,体现到图像上的信号较强和/或具有特定形态特征,也可以说与非目标信号差异较明显,相对易于识别定位。因此,一般的二代测序的图像上的亮斑检测不需要特别的图像处理以及不要求对对应序列信息的亮斑的识别进行全面和高准确的识别判断,就能获得大量的对应序列的亮斑信号,继而识别转化亮斑信号为序列信息。
而对于三代测序即单分子测序,受限于目前芯片表面处理相关技术的发展,其使用的测序芯片是随机型的,即测序芯片上的探针是无规则排列,拍照获得的图像是随机(random)图像,不易处理分析;而且,一般的单分子测序由于不包含核酸模板的方法,核酸模板以单个分子或少数几个分子的形式存在,体现在图像上是微弱的、易被干扰/淹没的信号,对应核酸分子的亮斑的准确识别以及识别得的亮斑的量,直接决定下机通量和有效数据量的高低,一般地,单分子测序对图像处理、亮点定位的要求高,希望图像上的所有有效亮斑都能被识别出以及准确定位,以使能够获得尽可能多的准确数据。所称的“单分子”指一个或少数几个分子,例如不超过10个分子。
本发明的实施方式的图像上的亮斑的检测方法、装置和/或相应的计算机产品,适应用于测序图像上的亮斑检测,特别是对于随机图像及高准确度要求的信号识别,尤其具有优势。
另外,上述本发明实施方式的图像配准方法、装置和/或终端产品,包含基于图像上的亮斑,对图像进行配准/纠偏,能够利用较少的数据量实现高精确纠偏,特别适用于高准确度/高精度要求的图像信息的获取和转化,例如对来自于测序平台的图像的纠偏。
本发明实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实施方式的实践了解到。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者顺序。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本发明实施方式所称的测序,也称为序列测定,指核酸序列测定,包括DNA测序和/或RNA测序,包括长片段测序和/或短片段测序。
测序可以通过测序平台进行,测序平台可选择但不限于Illumina公司的Hisq/Miseq/Nextseq测序平台、Thermo Fisher/Life Technologies公司的Ion Torrent平台、华大基因的BGISEQ平台和单分子测序平台;测序方式可以选择单端测序,也可以选择双末端测序;获得的测序结果/数据即测读出来的片段,称为读段(reads)。读段的长度称为读长。
请参阅图1,本发明实施方式的一种对图像上的亮斑进行检测的方法,所称的图像来自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该方法包括:S10利用k1*k2矩阵对图像上的亮斑进行检测,判定矩阵的中心像素值不小于第一预设值、矩阵非中心任一像素值不小于第二预设值并且矩阵的中心像素值不小于矩阵非中心任一像素值的矩阵对应一个候选亮斑,k1和k2均为大于1的奇数,k1*k2矩阵包含k1*k2个像素点;以及S20确定候选亮斑是否为亮斑。
上述检测图像上的亮斑的方法,能够快速有效地实现图像上的亮斑(spots)的检测,特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制,适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析,包括但不限于二代和三代测序,具有高准确性和高效的特点,能从图像中获取更多的代表序列的信息。特别是对于随机图像及高准确度要求的信号识别,尤其具有优势。
在某些具体实施方式中,图像来自核酸序列测定反应,核酸分子上带有光学可检测标记,利如荧光标记,荧光分子在特定波长激光照射下能够被激发发出荧光,通过成像系统采集图像。采集到的图像包括可能与荧光分子所在位置相对应的光斑/亮斑。可以理解地,当处于焦面位置时,所采集到的图像中的与荧光分子所在位置相对应的亮斑的尺寸较小且亮度较高;当位于非焦面位置时,所采集到的图像中的与荧光分子所在位置相对应的亮斑的尺寸较大且亮度较低。另外,视野中的可能存在其它非目标或者后续难以利用的物质/信息,比如杂质等;进一步地,在对单分子视野进行拍照中,大量分子聚集(簇)等也会干扰目标单分子信息采集。所称的单分子为一个少数几个分子,例如分子数目不大于10,例如为一个、两个、三个、四个、五个、六个、八个或者十个。
在某些具体实施方式中,S10可以利用k1*k2矩阵对图像上的亮斑进行遍历识别检测,所称的第一预设值和/或第二预设值的设置与该图像的平均像素值相关。对于灰度图像,像素值同灰度值。k1*k2矩阵,k1、k2可以相等也可以不相等。在一个示例中,成像系统相关参数为:物镜60倍,电子传感器的尺寸为6.5μm,经过显微镜成的像再经过电子传感器,能看到的最小尺寸为0.1μm,获得的图像或者输入的图像可为512*512、1024*1024或2048*2048的16位的灰度或彩色图像,k1和k2的取值范围均为大于1且小于10。在一个示例中,k1=k2=3;在另一个示例中,k1=k2=5。若图像是彩色图像,彩色图像的一个像素点具有三个像素值,可以将彩色图像转化为灰度图像,再进行亮斑检测,以降低图像检测过程的计算量和复杂度。可选择但不限于利用浮点算法、整数方法、移位方法或平均值法等将非灰度图像转换成灰度图像。
在一个示例中,发明人经过大量图像处理统计,取第一预设值为该图像的平均像素的1.4倍,取第二预设值为该图像的平均像素值的1.1倍,能够排除干扰、获得来自于光学检测标记的光斑检测结果。
可利用大小、与理想亮斑的相似程度和/或强度来对候选亮斑进一步进行筛选判断。在某些具体实施方式中,利用候选亮斑对应的连通域的大小来定量反映比较图像上候选亮斑的大小,以此来筛选判断候选亮斑是否为要的亮斑。
在一个示例中,S20确定候选亮斑是否为亮斑包括:计算一个候选亮斑对应的连通域的大小Area=A*B,判定对应的连通域的大小大于第三预设值的候选亮斑为一个亮斑,A表示以该候选亮斑对应的矩阵的中心的所在行的相连像素/连通像素的大小,B表示以该候选亮斑对应的矩阵的中心的所在列的相连像素/连通像素的大小,定义一个k1*k2矩阵中大于平均像素值的相连像素为一个所称的候选亮斑对应的连通域。如此,能够能够有效获得对应标记分子且符合后续序列识别的亮斑,获得核酸序列信息。
在一个例子中,以该图像的平均像素值作为基准,相邻的不小于平均像素值的两个或多个像素为所称的相连像素/连通像素(pixel connectivity),如图2所示,加粗加大的表示亮斑对应的矩阵的中心,粗线框表示候选亮斑对应的3*3矩阵,标记为1的像素为不小于该图像的平均像素值的像素点,标记为0的像素为小于平均像素值的像素点,可看出A=3,B=6,该候选亮斑对应的连通域的大小为A*B=3*6。
所称的第三预设值可依据该图像上所有候选亮斑对应的连通域的大小这一信息来确定。例如通过计算该图上各候选亮斑对应的连通域的大小,取亮斑的连通域大小的平均值代表该图像一个特性,作为第三预设值;又例如,可将该图像上各个候选亮斑对应的连通域大小按从小到大排序,取第50、第60、第70、第80或第90分位数连通域大小作为该第三预设值。如此,可有效获得亮斑信息,利于后续识别核酸序列。
在某些具体实施方式中,通过统计设置参数来定量反映比较候选亮斑的强度特征,以此来筛选候选亮斑。在一个示例中,S20确定候选亮斑是否为亮斑包括:计算一个候选亮斑的分值Score=((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2)),判定分值大于第四预设值的候选亮斑为一个亮斑,CV表示候选亮斑对应的矩阵的中心像素值,EV表示亮斑对应的矩阵的非中心像素值的总和。如此,能够能够有效获得对应标记分子且符合后续序列识别的亮斑,获得核酸序列信息。
所称的第四预设值可依据该图像上所有候选亮斑的分值的大小这一信息来确定。例如,当该图像上的候选亮斑的数量大于一定数目符合统计上对量的要求,例如该图像上候选亮斑的数目大于30,可计算且将该图像的所有候选亮斑的Score值按升序排序,第四预设值可设置为第50、第60、第70、第80或90分位数Score值,如此,可排除掉小于第50、第60、第70、第80或第90分位数Score值的候选亮斑,利于有效获得目标亮斑,利于后续碱基序列准确识别。进行该处理或者说该筛选设置的依据是,一般地,认为中心与边缘强度/像素值差异大且汇聚的亮斑为与待检分子所在位置相对应的亮斑。一般情况下,图像上的候选亮斑的数量大于50、大于100或大于1000。
在某些具体实施方式中,结合形态和强度/亮度对候选亮斑进行筛选。在一个示例中,S20确定候选亮斑是否为亮斑包括:计算一个候选亮斑对应的连通域的大小Area=A*B,以及计算一个候选亮斑的分值Score=((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2)),A表示以该候选亮斑对应的矩阵的中心的所在行的相连像素/连通像素的大小,B表示以该候选亮斑对应的矩阵的中心的所在列的相连像素/连通像素的大小,定义一个k1*k2矩阵中大于平均像素值的相连像素为一个所称的候选亮斑对应的连通域,CV表示候选亮斑对应的矩阵的中心像素值,EV表示亮斑对应的矩阵的非中心像素值的总和;判定对应的连通域的大小大于第三预设值且分值大于第四预设值的候选亮斑为一个亮斑。如此,能够有效地获得对应核酸分子且利于后续序列识别的亮斑信息。对于所称的第三预设值和/或第四预设值,可以参照前面具体实施方式进行考虑和设置。
在某些具体实施方式中,图像为预处理后的图像,预处理包括去背景和/或墨西哥帽变换。对实现去背景和/或墨西哥帽变换的方式或利用的工具方法不作限定,例如可参考CN107945150A、CN107918931A记载的进行。例如,对图像进行去背景,包括先进行开运算以估计图像的背景,再利用原图减去该背景,以获得去背景后的图像。利用开运算用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变图像面积,利于后续对图像进一步处理分析。例如,在进行墨西哥帽滤波时,设置预定大小的窗口/矩阵对滤波处理前的图像进行高斯滤波,对高斯滤波后的图像进行二维拉普拉斯锐化。如此,通过两步骤实现墨西哥帽滤波。
在某些具体实施方式中,图像预处理包括去背景,基于图像的至少一部分区域的灰度均值来估计该图像的背景。如此,能更简单有效地保留且突出图像上的目标信息。
在某些具体实施方式中,图像为二值化图像。在一个示例中,可参考CN107945150A、CN107918931A记载的二值化方法进行。在另一示例中,基于预定大小的像素矩阵利用图像墨西哥帽滤波后的结果除以图像开运算后的结果,获得一组对应于预定大小的像素矩阵的噪声,基于该组噪声设定阈值,以实现图像二值化。在一个例子中,所称的预定大小的像素矩阵为15*15。如此利于二值化阈值计算和实现亮斑检测。
在某些具体实施方式中,图像为二值化图像,判定对应的相连像素的大小不小于第五预设值的候选亮斑为一个亮斑。相连像素也称为连通像素,在一个示例中,第五预设值为不小于矩阵的三分之二,如此,能有效获得对应核酸分子且利于后续快速分析的亮斑信息。
在某些具体实施方式中,该方法还包括:若判定候选亮斑为亮斑,计算亮斑的亚像素中心坐标和/或亚像素中心坐标的强度值,若判定候选亮斑非为亮斑,丢弃候选亮斑。在一个示例中,计算亮斑的亚像素中心坐标和/或亚像素中心坐标的强度值包括:采用二次函数插值计算亮斑的亚像素中心坐标,和/或采用二次样条插值计算亚像素中心坐标的强度值。如此,采用二次函数和/或二次样条的方法能够进一步提高判断图像亮斑和定位亮斑的准确性。
本发明实施方式还提供一种图像配准方法,包括利用图像上的亮斑实现配准,图像上的亮斑为利用上述任一具体实施方式中的检测图像上的亮斑的方法获得。上述任一具体实施方式对图像上亮斑的检测方法的优点和技术特征的描述,同样适用本实施方式中的图像配准方法,在此不再赘述。
请参阅图3,在某些具体实施方式中,所称图像配准方法方法包括:S100基于参考图像对待配准图像进行第一配准,参考图像和待配准图像对应相同视野,包括,确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量,基于第一偏移量移动待配准图像上的所有亮斑,获得第一配准后的待配准图像;S200基于参考图像对第一配准后的待配准图像进行第二配准,包括,合并第一配准后的待配准图像和参考图像,获得合并图像,计算合并图像上的预定区域的所有重合亮斑的偏移量,以确定第二偏移量,距离小于预定像素的两个或多个亮斑为一个重合亮斑,基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑,以实现对待配准图像的配准。如此,通过两次配准,可相对地称为粗配准(粗纠偏)和细配准(细纠偏),包括基于亮斑的细配准,能够减少运算动作的时间以及高精度的实现图像的配准,特别适用于对图像纠偏/配准高要求的应用情景。
所称的图像上的预定区域,可以是整个图像,也可以是图像的至少一部分。在一个示例中,图像上的预定区域为图像的一部分,例如为图像中心的512*512区域。所称的图像中心,为该视野的中心,成像系统的光轴与成像平面的交点可称为图像中心点,以该中心点为中心的区域可视为图像中心区域。
在某些具体实施方式中,待配准图像来自核酸测序平台,该平台包括成像系统和核酸样本承载系统,带有光学检测标记的待测核酸分子固定于反应器中,该反应器也称为芯片,芯片装载在一个可移动台子上,通过该移动台子带动芯片运动来实现对位于芯片不同位置(不同视野)的待测核酸分子进行图像采集。一般地,光学系统和/或移动台子的运动存在精度限制,例如,指令指定运动至某个位置和该机械结构实际运动达到的位置存在偏差,特别是在对精度高要求的应用情景,由此,在依据指令移动硬件以对不同时间点的同一位置(视野)进行多次图像采集的过程中,不同时间点采集的同一视野的多个图像难以完全对齐,对该些图像进行纠偏对齐,有利于基于该多个时间点采集的多个图像中的信息的变化来准确确定核酸分子碱基顺序。
在某些具体实施方式中,所称的参考图像是通过构建获得的。构建所称的参考图像包括:获取第一图像和第二图像,第一图像和第二图像与待配准图像对应相同视野;基于第一图像对第二图像进行粗配准,包括确定第二图像和第一图像的偏移量,基于该偏移量移动第二图像,获得粗配准后的第二图像;合并第一图像和粗配准后的第二图像,以获得参考图像。对于核酸序列测定得到的图像,利用多个图像进行参考图像构建,利于使得该参考图像获得完整的对应核酸分子的亮斑信息,利于基于亮斑的图像纠偏。
在某些具体实施方式中,参考图像和待配准图像为二值化图像。如此,利于减少运算量快速纠偏。
在某些具体实施方式中,利用二维离散傅里叶变换确定第一偏移量和/或第二图像和第一图像的偏移量。如此,可快速准确地确定第一偏移量和/或第二图像和第一图像的偏移量。
在一个示例中,待纠偏图像和参考图像均为二值化图像,即图像中的各个像素非a即b,例如a为1,b为0,像素标记为1的较像素标记为b的亮,或者说强度大;核酸测序过程中,定义待测核酸分子延伸一个碱基或者一种碱基称为一轮(cycle),参考图像是利用第1-4轮的图像cycle1-cycle4构建的,第一图像、第二图像选自图像cycle1-cycle4中的任一个、两个或三个。在一个示例中,第一图像为图像cycle1,图像cycle2-4为第二图像,基于图像图像cycle1依次对图像cycle2-4进行粗配准,分别获得粗配准后的图像cycle2-4;合并图像cycle1和粗配准后的图像cycle2-4,获得参考图像。所称的合并图像为合并图像中的重合亮斑。主要基于对应核酸分子的亮斑的大小和成像系统分辨率,在一个示例中,设定两个图像上距离不大于1.5个像素的两个亮斑为重合亮斑。这里,采用4个cycle的合成的图像中心区域作为参考图像,一来利于使得参考图像具有足够量的亮斑,利于后续配准,二来检测及定位出的图像中心区域中的亮斑,亮斑信息是相对更准确的,利于准确配准。
在一个示例中,进行如下步骤对图像进行纠偏:1)对采集自第五轮反应的某个视野的图cycle5进行粗纠偏,cycle5为二值化后的图像,取该图像中心例如512*512区域,与cycle1-cycle4合成的中心图像(相应参考图像的中心512*512区域),进行二维离散傅里叶变换,使用频域配准,得到偏移量offset(x0,y0),即实现图像粗配准,x0、y0能达到1pixel的精度;2)将上述粗配准后的图像和参考图像基于图像上的亮斑进行合并(merge),包括计算cycle5图像的中心区域内与参考图像相应区域内的重合亮斑的偏移量offset(x1,y1)=待纠偏图像的该亮斑的坐标位置-参考图像上的相应亮斑的坐标位置,可表示为offset(x1,y1)=curCyclePoints-basePoints;求取所有重合亮斑的平均偏移量,从而得到[0,0]到[1,1]范围内的细偏移量。在一个示例中,设定两个图像上距离不大于1.5个像素的两个亮斑为重合亮斑;3)综上,得到一个视野图像(fov)不同cycle的偏移量(x0,y0)-(x1,y1),对于一个亮斑(peak)可表示为:curCyclePoints+(x0,y0)-(x1,y1),curCyclePoints表示该亮斑原始坐标,即在纠偏前的图像中的坐标。上述图像纠偏获得的纠偏结果具有较高的准确性,且纠偏精度小于或等于0.1像素。图4示意纠偏过程及结果,图4中,基于图像A对图像C进行纠偏,图像A和图像C中的圆圈表示亮斑、相同数字标记的亮斑为重合亮斑,图像C->A表示纠偏结果,即图像C对齐至图像A的结果。
上述在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的序列表,可以具体实现在任何计算机可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
请参阅图5,本发明的实施方式提供一种检测图像上的亮斑的装置1000,该装置用以实施上述任一具体实施方式中的检测图像上的亮斑的方法,所称的图像对应发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该装置包括:候选亮斑判定模块1010,候选亮斑判定模块用于利用k1*k2矩阵对图像上的亮斑进行检测,判定矩阵的中心像素值不小于第一预设值、矩阵非中心任一像素值不小于第二预设值并且矩阵的中心像素值不小于矩阵非中心任一像素值的矩阵对应一个候选亮斑,k1和k2均为大于1的奇数,k1*k2矩阵包含k1*k2个像素点,第一预设值和/或第二预设值与图像的平均像素值相关;以及亮斑确定模板1020,用于确定来自候选亮斑判定模块的候选亮斑是否为亮斑。上述对任一具体实施方式中的检测图像上的亮斑的方法的优点和技术特征的描述他,同样适用本发明该实施方式的检测图像上的亮斑的装置,在此不再赘述。
例如,亮斑确定模板1020用于:计算一个候选亮斑对应的连通域的大小Area=A*B,判定对应的连通域的大小大于第三预设值的候选亮斑为一个亮斑,A表示以候选亮斑对应的矩阵的中心的所在行的连通大小,B表示以候选亮斑对应的矩阵的中心的所在列的连通大小,定义大于平均像素值的相连像素点为一个连通域,和/或计算一个候选亮斑的分值Score=((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2)),判定分值大于第四预设值的候选亮斑为一个亮斑,CV表示候选亮斑对应的矩阵的中心像素值,EV表示亮斑对应的矩阵的非中心像素值的总和。
例如,亮斑确定模板1020用于判定对应的相连像素的大小不小于第五预设值的候选亮斑为一个亮斑。
例如,装置1000还包括图像预处理模块1030,图像预处理模块1030用于对图像进行去背景和/或墨西哥帽变换。进而,在候选亮斑判定模块1010中,对来自图像预处理模块1030的图像进行候选亮斑检测。
在某些具体实施方式中,在图像预处理模块1030中,基于图像的至少一部分区域的灰度均值进行去背景。
在某些具体实施方式中,图像为二值化图像。
在某些具体实施方式中,该检测图像上的亮斑的装置1000还包括亮斑坐标确定模块1040,该坐标确定模块用于:若在亮斑确定模块中确定候选亮斑为亮斑,计算亮斑的亚像素中心坐标和/或亚像素中心坐标的强度值,若在亮斑确定模块中确定候选亮斑非为亮斑,丢弃候选亮斑。
本发明的实施方式还提供一种图像配准装置2000,该装置利用图像上的亮斑实现配准,包括上述任一实施例中的检测图像上的亮斑的装置1000。上述对本发明任一实施例中的图像上的亮斑的检测装置以及对图像配准方法的优点和技术特征的描述,同样适用本发明实施方式的图像配准装置1000,在此不再赘述。
具体地,在某些具体实施方式中,请参阅图6,该图像配准装置2000包括:第一配准模块2010,用于基于参考图像对待配准图像进行第一配准,参考图像和待配准图像对应相同视野,包括,确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量,基于第一偏移量移动待配准图像上的所有亮斑,获得第一配准后的待配准图像;第二配准模块2020,用于基于参考图像对来自第一配准模块的第一配准后的待配准图像进行第二配准,包括,合并第一配准后的待配准图像和参考图像,获得合并图像,计算合并图像上的预定区域的所有重合亮斑的偏移量,以确定第二偏移量,距离小于预定像素的两个或多个亮斑为一个重合亮斑,基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑,以实现对待配准图像的配准。
在某些具体实施方式中,图像配准装置2000还包括参考图像构建模块2030,参考图像构建模块2030用于构建参考图像,包括:获取第一图像和第二图像,第一图像和第二图像与待配准图像对应相同视野;基于第一图像对第二图像进行粗配准,包括确定第二图像和第一图像的偏移量,基于该偏移量移动第二图像,获得粗配准后的第二图像;合并第一图像和粗配准后的第二图像,以获得参考图像。进而,第一配准模块2010依据来自参考图像构建模块的2030的参考图像进行第一配准。
在某些具体实施方式中,参考图像和待配准图像为二值化图像。
在某些具体实施方式中,利用二维离散傅里叶变换确定第一偏移量和/或第二图像和第一图像的偏移量。
上述各个实施方式中的各功能单元/模块可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
另外,本发明的实施方式还提供一种计算机程序产品,该程序产品包括实现检测图像上的亮斑的指令,指令在计算机执行程序时,使计算机执行上述本发明任一实施例中的检测图像上的亮斑的方法。上述任一实施例中对检测图像上的亮斑的方法的优点和技术特征的描述,同样适用本发明这一实施方式的计算机程序产品,在此不再赘述。
本发明的实施方式还提供另一种计算机程序产品,该产品包括实现图像配准的指令,指令在计算机执行程序时,使计算机执行上述本发明任一实施例中的图像配准方法。述任一实施例中对图像配准方法的优点和技术特征的描述,同样适用本发明这一实施方式的计算机程序产品,在此不再赘述。
本发明实施方式提供一种检测图像上的亮斑的系统,包括数据输入装置,用以输入数据;数据输出模块,用以输出数据;存储装置,用以存储数据,包括计算机可读程序;以及处理器,用以执行计算机可读程序,执行计算机可读程序包括实现上述本发明任一实施例中的检测图像上亮斑的方法的全部或部分步骤。
本发明实施方式提供一种图像配准系统,包括数据输入装置,用以输入数据;数据输出模块,用以输出数据;存储装置,用以存储数据,包括计算机可读程序;以及处理器,用以执行计算机可读程序,执行计算机可读程序包括实现上述本发明任一实施例中的图像配准方法的全部或部分步骤。
本领域技术人员知晓,除了以纯计算机可读程序代码方式实现控制器/处理器外,完全可以通过将方法步骤进行逻辑变成来使得控制器以逻辑门、开关、专用集成电路、可编辑逻辑控制器和嵌入微控制器等的形式来实现相同的功能。因此,这种控制器/处理器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的的软件模块又可以是硬件部件内的结构。
在本说明书的描述中,一个实施方式、一些实施方式、一个或一些具体实施方式、一个或一些实施例、示例等的描述意指结合该实施方式或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构等特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同限定。