CN108537830A - 图像配准方法和系统及图像拍摄对位方法和系统 - Google Patents
图像配准方法和系统及图像拍摄对位方法和系统 Download PDFInfo
- Publication number
- CN108537830A CN108537830A CN201710120018.9A CN201710120018A CN108537830A CN 108537830 A CN108537830 A CN 108537830A CN 201710120018 A CN201710120018 A CN 201710120018A CN 108537830 A CN108537830 A CN 108537830A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- target
- region
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Genetics & Genomics (AREA)
- Molecular Biology (AREA)
- Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
图像配准方法和系统及图像拍摄对位方法和系统，本发明涉及一种图像配准方法，包括多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，第二图像的搜寻区域包括多个第二靶点；依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。本发明方法计算较快。
Description
技术领域
本发明涉及基因测序领域，更具体地说，本发明涉及一种图像配准方法和系统，以及使用所述图像配准方法和系统的图像拍摄对位方法和系统。
背景技术
基因测序领域通常需要对样本进行图像拍摄和识别，由于拍摄装置的镜头观测范围远小于样本的面积，因此镜头每次只能对样本的局部进行拍摄。现有技术通常采用连续步进的方式依次拍摄适配成像装置的观测范围的多个小区域，在后续数据处理时，需要对不同次数拍摄的相同小区域的图像进行配准，以获得基因测序分析结果，现有技术方法对图像配准的计算量较大。
发明内容
本发明的目的在于提供一种图像配准方法和系统，旨在解决现有技术图像配准计算量大的问题。
本发明的目的在于提供一种图像拍摄对位方法和系统，旨在解决现有技术图像拍时载物平台移动误差的问题。
一种图像配准方法，包括：
多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
进一步地，所述第一图像和第二图像为基因测序图像。
进一步地，所述第一图像为荧光图，所述第二图像为杂交图。
进一步地，第一图像和第二图像包括多个磁珠，所述第一靶点和第二靶点为磁珠的中心。
进一步地，所述磁珠的中心通过高斯模板匹配法分别根据第一图像和第二图像中的磁珠图像获得。
进一步地，所述特征区域位于第一图像的中心，所述搜寻区域位于第二图像的中心。
进一步地，多次投影定义的所述匹配区域以像素距离步进遍历所述搜寻区域。
进一步地，所述搜索匹配区域内每个第一靶心最接近的第二靶点的方法包括，
确定第一靶心所在位置是否有第二靶点；以及
搜索围绕第一靶心的第n圈像素是否有第二靶点，如果没有则搜索围绕第一靶心的第n+1圈像素是否有第二靶点,n为自然数。
一种图像配准系统，包括：
投影模块，用于控制多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的搜寻区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
配准值计算模块，用于依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，计算并定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
配准偏移确定模块，用于获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
一种图像拍摄对位方法，其特征在于包括：
提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；
分割所述矩形拍照区域为多个子区域；
移动载物平台对预定子区域进行两次图像拍摄，以获得第一图像和第二图像；
多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；
获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量；以及
根据所述配准偏移量校正拍摄装置对位每个子区域时载物平台的移动误差。
一种图像拍摄对位系统，其特征在于包括：
成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
拍照区域确定模块，用于控制放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；
拍照区域分割模块，用于控制分割所述矩形拍照区域为多个呈矩阵排列的子区域，呈矩阵排列子区域包括沿X坐标轴方向排列的多行子区域；
校正参考拍摄模块，用于移动载物平台对预定子区域进行两次图像拍摄，以获得第一图像和第二图像；
投影模块，用于多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
配准值计算模块，用于依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
配准偏移确定模块，用于获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
进一步地，所述图像拍摄对位系统还包括移动坐标校正模块，用于根据配准偏移量校正拍摄装置对位每个子区域时载物平台的移动坐标。
相对于现有技术，本发明图像配准方法和系统通过计算第一图像中特征区域在第二图像投影后所有靶心的偏移总和的最小值来确定第二图像中具有所述特征区域相同图案的特征配准区域，进而获取准确的配准偏移量并对第一第二图像进行配准，当第一图像的特征区域的磁珠确定的靶点数量较少或第二图像中的磁珠确定的靶点数量较多时，获取结果所需要的计算非常迅速，效率较高。本发明采用的邻域搜索法确定靶心最接近的靶点，方法简单直观，且计算量少。另外，本发明的图像拍摄对位方法和系统在对多个子区域正式拍摄图像之前，先对预定子区域（对位参考子区域）进行两次图像拍摄，并根据两次图像拍摄结果校正载物平台的移动误差，可以最大限度消除或减少平台移动误差导致相同子区域前后拍摄的多幅图像之间发生较大的偏移，提高基因测序后续图像数据处理的准确性。
附图说明
图1为本发明第一实施方式图像配准方法的流程示意图。
图2为第一图像的特征区域示意图。
图3为第二图像的搜寻区域示意图。
图4为多次投影第一图像内的特征区域至第二图像内的搜寻区域的示意图。
图5为本发明图像配准方法的靶心偏移值的计算示意图。
图6为本发明邻域搜索法的搜索示意图。
图7为发明第二实施方式提供一种图像配准方法的流程示意图。
图8为图7图像配准方法中第一图像示意图。
图9为图7图像配准方法中第二图像示意图。
图10为图7图像配准方法中第一图像和第二图像之间的配准偏移量的计算方法的流程示意图。
图11为本发明提供的一种图像拍摄对位方法的流程示意图。
图12为图11图像拍摄对位方法载物平台移动路线示意图。
图13为图11图像拍摄对位方法中获得第一图像和第二图像步骤的具体流程示意图。
图14为图11中配准偏移量的示意图。
图15为本发明一实施方式图像拍摄对位系统的方框示意图。
图16为图15中校正参考拍摄模块的方框示意图。
图17为图15中图像偏移计算模块的方框示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。
参考图1,本发明提供一种图像配准方法，包括步骤S11-S13。
步骤S11，多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的搜寻区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点。
请一并参考图2-3，一实施方式中，所述第一图像和第二图像为基因测序图像。较佳地，所述第一图像20是对基因测序样本的矩形区域拍摄的荧光图，所述第二图像30是基于第一图像20对应的基因测序样本的相同矩形区域拍摄的杂交图。所述第一图像20和第二图像30分别包括多个磁珠，所述第一靶点22和第二靶点32分别为磁珠的中心。较佳实施方式中，所述磁珠的中心通过高斯模板匹配法分别根据第一图像和第二图像中的磁珠图像获得。本实施方式中，所述特征区域24是位于第一图像20中心的矩形区域，所述搜寻区域34是位于第二图像30中心的矩形区域，且所述搜寻区域34的长宽分别比特征区域24的长宽多200-600个像素单位距离。较佳实施方式中，所述搜寻区域34和特征区域24为正方形区域，且所述搜寻区域34的长宽分别比特征区域24的长宽多400个像素单位距离。请参考图3，将每次投影在第二图像30的特征区域24定义为匹配区域24’，所述第一靶点22投影至匹配区域24’后定义为第一靶心22’。一较佳实施方式中，如图4所示，将所述特征区域24多次投影至所述搜索区域34内，多次投影定义的匹配区域24’以像素距离步进遍历所述搜寻区域34，以便准确查找到第二图像30中具有所述特征区域24图案的特征配准区域。
步骤S12，依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值。
请参考图5，一实施方式中，以三个第一靶心221、222、223为例进行描述，其他第一靶心22’原理相同。用邻域搜索法确定匹配区域24’内第一靶心221最接近的第二靶点321，第一靶心242最接近的第二靶点322，第一靶心243最接近的第二靶点323。设第一靶心221的坐标为A(x1，y1), 最接近的第二靶点321的坐标为B(m1,n1), 则第一靶心221和最接近的第二靶点321之间的距离所定义的靶心偏移值；第一靶心222的坐标为A(x2，y2), 其最接近的第二靶点322的坐标为B(m2,n2),则第一靶心222和最接近的第二靶点322之间的距离所定义的靶心偏移值；第一靶心223的坐标为A(x3，y3), 其最接近的第二靶点323的坐标为B(m3,n3), 则第一靶心223和最接近的第二靶点323之间的距离所定义的靶心偏移值为。定义所述匹配区域24’内所有靶心偏移值的总和LAB1+LAB2+LAB3……LABn为所述匹配区域24’的配准值。
步骤S13，获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
请参考图4，根据步骤S12计算的每个匹配区域24’的配准值比较后确定最小配准值对应的匹配区域，将具有最小配准值的匹配区域定义为特征配准区域，例如图4中的特征配准区域24A，根据图2中第一图像20的特征区域24和第二图像30的特征配准区域24A之间位移差作为第一图像20和第二图像30进行配准的配准偏移量。
相对于现有技术，本发明的图像配准方法通过计算第一图像20中特征区域24在第二图像30投影后所有靶心的偏移总和的最小值来确定第二图像30中具有所述特征区域24相同图案的特征配准区域，进而获取准确的配准偏移量并对第一第二图像进行配准，当由第一图像的特征区域的磁珠确定的靶点数量较少或第二图像中的磁珠确定的靶点数量较多时，获取结果所需要的计算非常迅速，效率较高。
请参阅图6，关于用邻域搜索法，本发明提供一具体实施方式：确定第一靶心所在位置是否有第二靶点；搜索围绕第一靶心的第n圈像素是否有第二靶点，如果没有则搜索围绕第一靶心的第n+1圈像素是否有第二靶点,n为自然数。
较佳实施方式中，所述邻域搜索法包括步骤S121-S124。
步骤S121，确定第一靶心所在位置是否有第二靶点，如果没有则执行步骤S122;本实施方式中，第二图像中像素位置灰度为非零值即表示该像素位置存在第二靶点。
步骤S122，确定第一靶心221上下左右四个方向一个像素单位的距离是否有第二靶点，如果没有则分别从上下左右四个方向一个像素单位的距离开始朝八个方向F1-F8搜素是否有第二靶点，即搜索围绕第一靶心221的第一圈像素（8邻域像素）61是否有第二靶点，如果没有则执行步骤S123。
步骤S123，确定第一靶心221上下左右四个方向两个像素单位的距离是否有第二靶点，如果没有则分别从上下左右四个方向两个像素单位的距离开始朝八个方向搜素是否有第二靶点，即搜索围绕第一靶心221的第二圈像素（16邻域像素）62是否有第二靶点，如果没有则执行步骤S124。一实施方式中，如果在围绕第一靶心221的第二圈像素62中找到了第二靶点321，则停止搜素并计算出第一靶心221和最接近的第二靶点321之间的距离所定义的靶心偏移值为=
……
步骤S124，确定第一靶心221上下左右四个方向n个像素单位的距离是否有第二靶点，如果没有则分别从上下左右四个方向n个像素单位的距离开始朝八个方向搜素是否有第二靶点，即搜索围绕第一靶心221的第n圈像素6n（8n邻域像素）是否有第二靶点，如果有则停止搜素，如果没有则增加一个像素距离继续搜素围绕第一靶心221的第n+1圈像素是否有第二靶点。
相对于现有技术，本发明采用的邻域搜索法确定靶心最接近的靶点，方法简单直观，且计算量少。
请参考图7-9，本发明第二实施方式提供一种图像配准方法，所述图像配准方法包括步骤S71-S73。
步骤S71，提供第一图像和第二图像。本实施方式中，所述第一图像80和第二图像90为对相同标样进行拍摄的基因测序图像。
步骤S72，在第一图像定义至少两个不同面积的同心特征区域，在第二图像定义对应的至少两个不同面积的同心特征区域。一实施方式中，所述同心特征区域的数量为两个，如图8-图9中所示的实线方框。第一图像80定义的同心特征区域包括图8所示的第一特征区域82和第一特征扩大区域83。第二图像90定义的同心特征区域包括图9所示的第二特征区域92和第二特征扩大区域93。本实施方式中，所述第一图像80和第二图像90为方形，且包括对相同目标进行拍摄的基因测序图像。第一图像80中，所述第一特征区域82位于第一特征扩大区域83的中心，第一特征扩大区域83位于第一图像80的中心。第二图像90中，所述第二特征区域92位于第二特征扩大区域93的中心，第二特征扩大区域位于第二图像90的中心。第一特征区域82和第二特征区域92大小和面积相同，第一特征扩大区域83和第二特征扩大区域93大小和面积相同。
步骤S73，计算第一图像和第二图像对应特征区域之间的偏移量，以获得第一图像和第二图像之间的配准偏移量。一实施方式中，步骤S73进一步包括图10所示的步骤S101-S104 。
步骤S101，识别第一特征区域和第二特征区域之间的第一偏移量。本实施方式，第一特征区域和第二特征区域之间的第一偏移量的识别采用第一实施方式提供的图像配准方法进行。
步骤S102，识别第一特征扩大区域和第二特征扩大区域之间的第二偏移量。本实施方式中，所述第一特征扩大区域和第二特征扩大区域之间的第二偏移量的识别采用第一实施方式提供的图像配准方法进行。
步骤S103，当第一偏移量小于等于第一偏移阈值，第二偏移量小于等于第二偏移阈值，且第一偏移量和第二偏移量之间的差值小于等于第一误差阈值，将第二偏移量定义为第一图像80和第二图像90之间的配准偏移量。
步骤S104，当第一偏移量大于第一偏移阈值或第二偏移量大于第二偏移阈值，进一步在第一图像80中定义第一特征增大区域84作为同心特征区域，在第二图像90中定义对应的第二特征增大区域94作为同心特征区域，识别第一特征增大区域84和第二特征增大区域94之间的第三偏移量，当第三偏移量小于等于第三偏移阈值，且第二偏移量和第三偏移量之间的差值小于等于第二误差阈值，将第三偏移量定义为第一图像80和第二图像90之间的配准偏移量。本实施方式中，所述第三偏移量的识别采用第一实施方式提供的图像配准方法进行。
一实施方式中，所述第一图像80和第二图像90包括对相同目标进行拍摄的基因测序图像，所述第一图像80和第二图像90为大小相同的方形，包括沿第一方向X的第一边长和第二方向Y的第二边长，第一方向X垂直于第二方向Y。较佳实施方式中，所述特征区域、特征扩大区域和特征增大区域为方形，分别包括沿第一方向X的第一边长和第二方向Y的第二边长。所述特征区域、特征扩大区域、特征增大区域都位于对应图像的中心，且对应边长依次递增，最好是倍增，即所述第一特征区域82位于第一特征扩大区域83的中心，第一特征扩大区域83位于第一特征增大区域84的中心，所述第一特征增大区域84位于第一图像80的中心。所述第二特征区域92位于第二特征扩大区域93的中心，第二特征扩大区域93位于第二特征增大区域94的中心，所述第二特征增大区域94位于第二图像90的中心。
一实施方式中，所述第一偏移量、第二偏移量和第三偏移量为沿第一方向X或第二方向Y的偏移量，所述第一偏移阈值为特征区域第一边长或第二边长的一半，所述第二偏移阈值为特征扩大区域第一边长或第二边长的一半，所述第三偏移阈值为特征增大区域第一边长或第二边长的一半。
较佳实施方式中，如果所述第一偏移量、第二偏移量和第三偏移量为沿第一方向X的偏移量，所述第一偏移阈值为特征区域第一边长的一半，所述第二偏移阈值为特征扩大区域第一边长的一半，所述第三偏移阈值为特征增大区域第一边长的一半。如果所述第一偏移量、第二偏移量和第三偏移量为沿第二方向Y的偏移量，所述第一偏移阈值为特征区域第二边长的一半，所述第二偏移阈值为特征扩大区域第二边长的一半，所述第三偏移阈值为特征增大区域第二边长的一半。
较佳实施方式中，所述第一误差阈值和第二误差阈值为第一图像80或第二图像90中2个像素点的距离。
较佳实施方式中，所述特征区域的第一或第二边长、特征扩大区域第一或第二边长、以及特征增大区域第一或第二边长都小于所述第一图像80或第二图像90对应的第一边长的一半。
请一并参考图11-图13，本发明还提供一种图像拍摄对位方法，其包括步骤S111-S116。
步骤S111, 提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台120，载物平台120可从复位点o开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动。本实施方式中，拍摄装置包括镜头和获取图像的CCD图像传感器。
步骤S112,放置样本121于载物平台120上，移动载物平台120使拍摄装置步进扫描样本121，以确定样本区域内一矩形拍照区域122。一实施方式中，所述样本121为高通量基因测序样本，所述样本121包括多个待识别磁珠，由于磁珠体积较小且在边缘附近有不易识别的情况，因此选定高通量基因测序样本的中心附近矩形区域作为矩形拍照区域122，以便准确识别矩形拍照区域122对应图像的信息。本实施中，所述复位点位于拍照区域122之外。
步骤S113，分割所述矩形拍照区域为多个连续排列的子区域。
一实施方式中，拍摄装置的聚焦范围远小于标样121的面积，对基因测序样本的拍摄以预先选择的成像效果较好的矩形拍照区域122进行。实际拍摄时，将预先选好的矩形拍照区域122分割为多个适配成像装置的聚焦范围的子区域123，然后移动成像装置分别对每个子区域123进行拍摄。本实施方式中，多个子区域123呈矩阵排列且包括沿X坐标轴方向排列的多行子区域，例如A1-A5……D1-D5。其他实施中，所述多个子区域123也可呈条状分布。
步骤S114，移动载物平台对预定子区域进行两次图像拍摄，以获得第一图像和第二图像。一并参考图13，本实施方式中，所述步骤S114包括步骤S1141-S1143。
步骤S1141，将一预定子区域定义为对位参考子区域，本实施方式中定义图12中距离复位点o最近的子区域A1为对位参考子区域。
步骤S1142，从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像。
一实施方式中，请继续参考图12，从复位点o沿Y轴方向移动载物平台120，如图12中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台120，如图12中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台120,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行第一次拍摄，以获得第一图像，本实施方式所述右边界子区域A1作为预定子区域为第一行距离复位点的X坐标最近的子区域123。较佳实施方式中，所述第一条件为使用灯光照亮样本区域。
步骤S1143，从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像。
一实施方式中，请参考图12，再次从复位点o沿Y轴方向移动载物平台120，如图12中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台120，如图12中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台120,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行第二次拍摄，以获得第二图像。较佳实施方式中，所述第一条件为使用灯光照亮样本区域。
步骤S115，计算第一图像和第二图像之间的配准偏移量。本实施方式中，所述配准偏移量的计算采用第一实施方式或第二实施方式提供的图像配准方法进行。所述图像配准方法包括：多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
步骤S116，根据配准偏移量校正拍摄装置对位每个子区域时载物平台的移动坐标。替代实施方式中，步骤S116之后进一步包括在第二条件下对每个子区域进行图像拍摄，完成整个矩形拍照区域的图像拍摄。本实施方式中，所述第二条件为样本区域自发荧光。本实施方式中，所述第二条件为样本区域自发荧光。
本实施方式中，根据图像和样本放大比例关系k将配准偏移量换算为载物平台的移动误差。一实施方式中，载物平台从复位点o沿X轴、Y轴方向移动并校正移动误差，使拍摄装置依次对位每个子区域并进行图像拍摄。一实施方式中，设原来每个子区域的坐标为（x,y）, 第一图像和第二图像之间的配准偏移量如图14所示为（w1,h1），则校正移动误差后每个子区域的坐标为（x-kw1,y-kh1）。
请一并参考图15-17，本发明还提供一种图像拍摄对位系统1500，所述图像拍摄对位系统1500包括成像装置1510、拍照区域确定模块1520、拍照区域分割模块1530、校正参考拍摄模块1540、图像偏移计算模块1550、移动坐标校正模块1560、以及荧光图拍摄模块1580。
请一并参考图12，所述成像装置1510包括获取图像的拍摄装置以及正对拍摄装置的载物平台120，载物平台120可从复位点o开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动。本实施方式中，拍摄装置包括镜头和获取图像的CCD图像传感器。
所述拍照区域确定模块1520用于控制移动载物平台120使拍摄装置步进扫描位于载物平台120上的样本121，进而确定样本区域内一矩形拍照区域122。一实施方式中，所述样本121为高通量基因测序样本，所述样本121包括多个待识别磁珠，由于磁珠体积较小且在边缘附近有不易识别的情况，因此选定高通量基因测序样本的中心附近矩形区域作为矩形拍照区域122，以便准确识别矩形拍照区域122对应图像的信息。本实施中，所述复位点位于拍照区域122之外。
所述拍照区域分割模块1530用于控制分割所述矩形拍照区域122为多个子区域123，多个子区域123包括沿X坐标轴方向排列的多行子区域。一实施方式中，拍摄装置的聚焦范围远小于标样121的面积，对基因测序样本的拍摄以预先选择的成像效果较好的矩形拍照区域122进行。实际拍摄时，将预先选好的矩形拍照区域122分割为多个适配成像装置的聚焦范围的子区域123，然后移动成像装置分别对每个子区域123进行拍摄，最后合成将整个矩形拍照区域122的图像。本实施方式中，多个子区域123呈矩阵排列。替代实施方式中，所述多个子区域123呈条状排列。
所述校正参考拍摄模块1540用于控制移动载物平台120对预定子区域123进行两次图像拍摄，以获得第一图像20和第二图像30。本实施方式中，所述校正参考拍摄模块1540进一步包括参考定义模块1541、第一图像拍摄模块1542以及第二图像拍摄模块1543。
所述参考定义模块1541将一预定子区域例如距离复位点o最近的子区域123定义为对位参考子区域。第一图像拍摄模块1542用于控制从复位点开始移动载物平台120，第一条件下使拍摄装置对位所述预定子区域123并进行第一次图像拍摄，获得第一图像。所述第二图像拍摄模块1543用于控制从复位点开始移动载物平台120，第一条件下使拍摄装置对位所述预定子区域123并进行二次图像拍摄，获得第二图像。
所述图像偏移计算模块1550用于计算第一图像20和第二图像30对应特征区域的偏移量，以获得第一图像和第二图像之间的配准偏移量。
本实施方式中，所述图像偏移计算模块1550进一步包括投影模块1551、配准值计算模块1552以及配准偏移确定模块1553。
所述投影模块1551用于控制多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的搜寻区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点。
请一并参考图2-3，一实施方式中，所述第一图像20是对基因测序样本的矩形区域拍摄的荧光图，所述第二图像30是基于第一图像20对应的基因测序样本的相同矩形区域拍摄的杂交图。所述第一图像20和第二图像30分别包括多个磁珠，所述第一靶点22和第二靶点32分别为磁珠的中心。较佳实施方式中，所述磁珠的中心通过高斯模板匹配法分别根据第一图像和第二图像中的磁珠图像获得。本实施方式中，所述特征区域24是位于第一图像20中心的矩形区域，所述搜寻区域34是位于第二图像30中心的矩形区域，且所述搜寻区域34的长宽分别比特征区域24的长宽多200-600个像素单位距离。较佳实施方式中，所述搜寻区域34和特征区域24为正方形区域，且所述搜寻区域34的长宽分别比特征区域24的长宽多400个像素单位距离。请参考图3，将每次投影在第二图像30的特征区域24定义为匹配区域24’，所述第一靶点22投影至匹配区域24’后定义为第一靶心22’。一较佳实施方式中，如图4所示，将所述特征区域24多次投影至所述搜索区域34内，多次投影定义的匹配区域24’以像素距离步进遍历所述搜寻区域34，以便准确查找到第二图像30中具有所述特征区域24图案的特征配准区域24A。
所述配准值计算模块1552用于依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，计算并定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值。
请参考图5，一实施方式中，以三个第一靶心221、222、223为例进行描述，其他第一靶心22原理相同。用邻域搜索法确定匹配区域24’内第一靶心221最接近的第二靶点321，第一靶心242最接近的第二靶点322，第一靶心243最接近的第二靶点323。设第一靶心221的坐标为A(x1，y1), 最接近的第二靶点321的坐标为B(m1,n1), 则第一靶心221和最接近的第二靶点321之间的距离所定义的靶心偏移值；第一靶心222的坐标为A(x2，y2), 其最接近的第二靶点322的坐标为B(m2,n2),则第一靶心222和最接近的第二靶点322之间的距离所定义的靶心偏移值；第一靶心223的坐标为A(x3，y3), 其最接近的第二靶点323的坐标为B(m3,n3), 则第一靶心223和最接近的第二靶点323之间的距离所定义的靶心偏移值为。定义所述匹配区域24’内所有靶心偏移值的总和LAB1+LAB2+LAB3……LABn为所述匹配区域24’的配准值。
所述配准偏移确定模块1553用于获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。请参考图4，根据步骤S12计算的每个匹配区域24’的配准值比较后确定最小配准值对应的匹配区域，将具有最小配准值的匹配区域定义为特征配准区域，例如图4中的特征配准区域24A，根据图2中第一图像20的特征区域24和第二图像30的特征配准区域24A之间位移差作为第一图像20和第二图像30进行配准的配准偏移量。
替代实施方式中，所述图像偏移计算模块1550也可独立为图像配准系统并应用于其他需要对两幅图像进行配准或偏移计算的装置中，例如具有照相功能的手机、笔记本、平板电脑。
所述平台移动校正模块1560用于根据配准偏移量校正拍摄装置对位每个子区域时载物平台的移动坐标。一实施方式中，载物平台从复位点o沿X轴、Y轴方向移动并校正移动误差，使拍摄装置依次对位每个子区域。一实施方式中，设原来每个子区域的坐标为（x,y）, 第一图像和第二图像之间的配准偏移量如图6所示为（w1,h1），则校正移动误差后每个子区域的坐标为（x-kw1,y-kh1）。
所述荧光图拍摄模块180用于控制校正移动坐标后的移动载物平台依次对每个子区域进行在第二条件下的图像拍摄，完成整个拍照区域的图像拍摄。本实施方式中，所述第二条件为样本区域自发荧光。
相对于现有技术，本发明图像配准方法和系统通过计算第一图像20中特征区域24在第二图像30投影后所有靶心的偏移总和的最小值来确定第二图像30中具有所述特征区域24相同图案的特征配准区域24A，进而获取准确的配准偏移量并对第一第二图像进行配准，当第一图像的特征区域的磁珠确定的靶点数量较少或第二图像中的磁珠确定的靶点数量较多时，获取结果所需要的计算非常迅速，效率较高。本发明采用的邻域搜索法确定靶心最接近的靶点，方法简单直观，且计算量少。另外，在需要配准的图像中选取至少两个不同面积的同心特征区域一一进行图像偏移计算，进一步提高了图像配准的准确度。本发明的图像拍摄对位方法和系统在对多个子区域正式拍摄图像之前，先对预定子区域（对位参考子区域）进行两次图像拍摄，并根据两次图像拍摄结果校正载物平台的移动误差，可以最大限度消除或减少平台移动误差导致相同子区域前后拍摄的多幅图像之间发生较大的偏移，提高基因测序后续图像数据处理的准确性。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像配准方法，包括：
多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
2.根据权利要求1所述的图像配准方法，其特征在于，所述第一图像和第二图像为基因测序图像。
3.根据权利要求2所述的图像配准方法，其特征在于，第一图像为荧光图，第二图像为杂交图。
4.根据权利要求2所述的图像配准方法，其特征在于，第一图像和第二图像包括多个磁珠，所述第一靶点和第二靶点为磁珠的中心。
5.根据权利要求4所述的图像配准方法，其特征在于，所述磁珠的中心通过高斯模板匹配法分别根据第一图像和第二图像中的磁珠图像获得。
6.根据权利要求1所述的图像配准方法，其特征在于，所述特征区域位于第一图像的中心，所述搜寻区域位于第二图像的中心。
7.根据权利要求1所述的图像配准方法，其特征在于，多次投影定义的所述匹配区域以像素距离步进遍历所述搜寻区域。
8.根据权利要求1所述的图像配准方法，其特征在于，所述搜索匹配区域内每个第一靶心最接近的第二靶点的方法包括，
确定第一靶心所在位置是否有第二靶点；
搜索围绕第一靶心的第n圈像素是否有第二靶点，如果没有则搜索围绕第一靶心的第n+1圈像素是否有第二靶点,n为自然数。
9.一种图像配准系统，包括：
投影模块，用于控制多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的搜寻区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
配准值计算模块，用于依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，计算并定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
配准偏移确定模块，用于获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
10.一种图像拍摄对位方法，其特征在于包括：
提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；
分割所述矩形拍照区域为多个子区域；
移动载物平台对预定子区域进行两次图像拍摄，以获得第一图像和第二图像；
多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；
获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量；以及
根据所述配准偏移量校正拍摄装置对位每个子区域时载物平台的移动误差。
11.一种图像拍摄对位系统，其特征在于包括：
成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
拍照区域确定模块，用于控制放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；
拍照区域分割模块，用于控制分割所述矩形拍照区域为多个呈矩阵排列的子区域，呈矩阵排列子区域包括沿X坐标轴方向排列的多行子区域；
校正参考拍摄模块，用于移动载物平台对预定子区域进行两次图像拍摄，以获得第一图像和第二图像；
投影模块，用于多次投影第一图像内的特征区域至第二图像内的搜寻区域，每次投影在第二图像的特征区域定义一匹配区域，所述第一图像的特征区域包括多个第一靶点，所述第一靶点投影至匹配区域后定义为第一靶心，所述搜寻区域的面积大于所述特征区域的面积，且第二图像的搜寻区域包括多个第二靶点；
配准值计算模块，用于依次搜索匹配区域内每个第一靶心最接近的第二靶点，定义每个第一靶心和最接近的第二靶点之间的距离为靶心偏移值，定义所述匹配区域内所有靶心偏移值的总和为所述匹配区域的配准值；以及
配准偏移确定模块，用于获取搜寻区域中具有最小配准值的匹配区域作为特征配准区域，计算第一图像的特征区域和第二图像的特征配准区域之间位移差作为第一图像和第二图像进行配准的配准偏移量。
12.根据权利要求11所述的图像拍摄对位系统，进一步包括移动坐标校正模块，用于根据配准偏移量校正拍摄装置对位每个子区域时载物平台的移动坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710120018.9A CN108537830A (zh) | 2017-03-02 | 2017-03-02 | 图像配准方法和系统及图像拍摄对位方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710120018.9A CN108537830A (zh) | 2017-03-02 | 2017-03-02 | 图像配准方法和系统及图像拍摄对位方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108537830A true CN108537830A (zh) | 2018-09-14 |
Family
ID=63489124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710120018.9A Pending CN108537830A (zh) | 2017-03-02 | 2017-03-02 | 图像配准方法和系统及图像拍摄对位方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537830A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930451A (zh) * | 2019-10-18 | 2020-03-27 | 广州点图识别信息科技有限公司 | 一种基于二维图像的三维空间定位方法、系统和存储介质 |
| WO2020155043A1 (zh) * | 2019-01-31 | 2020-08-06 | 深圳华大生命科学研究院 | 荧光图像配准方法、基因测序仪及系统、存储介质 |
| CN112435283A (zh) * | 2020-11-04 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像的配准方法、电子设备以及计算机可读存储介质 |
| CN112927276A (zh) * | 2021-03-10 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 图像配准方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625022A (zh) * | 2011-01-29 | 2012-08-01 | 麦克奥迪实业集团有限公司 | 一种带有像方补偿运动的快速显微切片扫描方法及装置 |
| CN103399015A (zh) * | 2013-08-14 | 2013-11-20 | 宁波江丰生物信息技术有限公司 | 病理切片扫描仪及其载片平台定位精度测量方法及装置 |
-
2017
- 2017-03-02 CN CN201710120018.9A patent/CN108537830A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625022A (zh) * | 2011-01-29 | 2012-08-01 | 麦克奥迪实业集团有限公司 | 一种带有像方补偿运动的快速显微切片扫描方法及装置 |
| CN103399015A (zh) * | 2013-08-14 | 2013-11-20 | 宁波江丰生物信息技术有限公司 | 病理切片扫描仪及其载片平台定位精度测量方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孙超: "图像配准算法研究及文档图像配准中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155043A1 (zh) * | 2019-01-31 | 2020-08-06 | 深圳华大生命科学研究院 | 荧光图像配准方法、基因测序仪及系统、存储介质 |
| CN110930451A (zh) * | 2019-10-18 | 2020-03-27 | 广州点图识别信息科技有限公司 | 一种基于二维图像的三维空间定位方法、系统和存储介质 |
| CN110930451B (zh) * | 2019-10-18 | 2022-04-22 | 广州点图识别信息科技有限公司 | 一种基于二维图像的三维空间定位方法、系统和存储介质 |
| CN112435283A (zh) * | 2020-11-04 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像的配准方法、电子设备以及计算机可读存储介质 |
| CN112927276A (zh) * | 2021-03-10 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| CN112927276B (zh) * | 2021-03-10 | 2024-03-12 | 杭州海康威视数字技术股份有限公司 | 图像配准方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11503275B2 (en) | Camera calibration system, target, and process | |
| CN108537830A (zh) | 图像配准方法和系统及图像拍摄对位方法和系统 | |
| CN104142157B (zh) | 一种标定方法、装置及设备 | |
| US9063283B2 (en) | Pattern generation using a diffraction pattern that is a spatial fourier transform of a random pattern | |
| CN111179358A (zh) | 标定方法、装置、设备及存储介质 | |
| CN110660107A (zh) | 平面标定板、标定数据采集方法及系统 | |
| CN107666546B (zh) | 图像拍摄对位方法和系统 | |
| US20110222734A1 (en) | Methods for evaluating distances in a scene and apparatus and machine readable medium using the same | |
| CN104089628B (zh) | 光场相机的自适应几何定标方法 | |
| JP4055998B2 (ja) | 距離検出装置、距離検出方法、及び距離検出プログラム | |
| CN108195305B (zh) | 一种双目检测系统及其深度检测方法 | |
| CN113034612B (zh) | 一种标定装置、方法及深度相机 | |
| CN109341537A (zh) | 基于双目视觉的尺寸测量方法和装置 | |
| CN113465573A (zh) | 单目测距方法、装置及智能装置 | |
| CN107101584A (zh) | 基于图像识别的物体位移测量方法、装置及系统 | |
| CN114187363A (zh) | 一种获取径向畸变参数值的方法、装置以及移动终端 | |
| JP6425406B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN107730541A (zh) | 图像配准方法和系统及图像拍摄对位方法和系统 | |
| CN108320276A (zh) | 图像拍摄对位方法和系统 | |
| JP2004028811A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JPH11194027A (ja) | 三次元座標計測装置 | |
| CN108573466A (zh) | 图像配准方法和系统及图像拍摄对位方法和系统 | |
| WO2002077922A1 (fr) | Procede de detection d'image, appareil de detection d'image et appareil de traitement de plaquette | |
| JP2001229388A (ja) | 画像データのマッチング方法 | |
| CN112734721A (zh) | 一种光轴偏转角度检测方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180914 |
|
| WD01 | Invention patent application deemed withdrawn after publication |