CN107958445B - 视网膜图像的拼接方法及拼接装置 - Google Patents
视网膜图像的拼接方法及拼接装置 Download PDFInfo
- Publication number
- CN107958445B CN107958445B CN201711470629.2A CN201711470629A CN107958445B CN 107958445 B CN107958445 B CN 107958445B CN 201711470629 A CN201711470629 A CN 201711470629A CN 107958445 B CN107958445 B CN 107958445B
- Authority
- CN
- China
- Prior art keywords
- retina
- images
- feature points
- image
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004256 retinal image Effects 0.000 claims abstract description 117
- 238000002372 labelling Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 22
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 15
- 230000003902 lesion Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 208000006550 Mydriasis Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种视网膜图像的拼接方法，所述拼接方法包括：获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；在所述多张视网膜图像中每张视网膜图像的血管上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像。本发明还公开了一种视网膜图像的拼接装置。
Description
技术领域
本发明涉及医疗诊断领域，具体地涉及一种视网膜图像的拼接方法及一种视网膜图像的拼接装置。
背景技术
由于光学医疗诊断仪器的发展和普及，对于患者病情的诊断可以通过医疗诊断仪器首先采集患者的病情信息，医生根据该病情信息对患者的病情进行进一步的诊断，例如在需要对患者的视网膜进行病情诊断的时候，可以首先通过摄像机通过不同角度拍摄患者眼球的多张视网膜图片，并将拍摄的图片拼接到一起，获取患者的视网膜完整图像。
现有技术中的普通摄像机往往只具有拍摄功能，无法提供进一步的图像拼接以及在图像上进行病灶测量之后进行病灶信息量化的功能，无法满足医生的实际需求。目前开发出了一种视网膜图像拼接系统，需要采用提供商提供专用于视网膜图片拼接的特定相机进行拍摄，针对散瞳后的患者，在固定的拍摄位置上按照固定角度一次性拍摄固定数量的视网膜图片，由于拍摄的位置以及时间固定，因此该拼接系统直接对拍摄的图片进行拼接来获得患者的视网膜完整图像。
由于采用直接拼接的方式，该拼接系统对拍摄图片的精准要求非常高，在图片拼接过程中，一旦任一张拍摄图片与视网膜的真实情况出现细微偏差(例如患者在拍摄瞬间轻微动摇或由于医生不熟练造成拍摄误操作)，该拼接系统直接拼接出来的视网膜图像都可能会与视网膜的真实情况出现很大偏差，对医生的诊断造成较大困扰；同时，由于拍摄的位置以及时间必须固定，因此一方面无法根据医生的实际需求对视网膜的特定区域进行专门的拍摄，另一方面若完成一次性拍摄之后发现其中任一张拍摄图片不合格，都需要对本次的所有视网膜图片重新进行拍摄，对于医生和患者来说都费时费力，同时对视网膜图像中的病灶的量化也需要将视网膜图像传输到其他软件来进一步完成，效率低下。
发明内容
为解决现有技术中视网膜图像拼接不便、精确度不高的技术问题，本发明实施例提供了一种视网膜图像的拼接方法及一种视网膜图像的拼接装置，通过提取视网膜图片的特征进行拼接，从而可以简单、方便、准确的对视网膜图片进行拼接以得到与视网膜的真实情况相吻合的视网膜完整图像，并且可以量化病灶信息，操作灵活，提升了工作效率。
为了实现上述目的，本发明实施例提供一种视网膜图像的拼接方法，所述拼接方法包括：获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像。
优选地，所述多个特征点标注在所述每张视网膜图像中的血管上。
优选地，所述在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，包括：获取所述多张视网膜图像的二值图；对所述二值图进行处理得到与所述视网膜图像对应点集；基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
优选地，所述拼接方法还包括：在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
优选地，所述依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点，包括：获取所述多个特征点的特征信息；基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
优选地，所述拼接方法还包括：判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点。
优选地，所述拼接方法还包括：对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
优选地，所述拼接方法还包括：获取所述多张视网膜图像中每张视网膜图像上的病灶区域；基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；基于所述病灶轮廓获得视网膜的病灶信息。
相应的，本发明还提供一种视网膜图像的拼接装置，所述拼接装置包括：采集单元，用于获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；标注单元，用于在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；匹配单元，用于依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；拼接单元，用于将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像。
优选地，所述多个特征点标注在视网膜图像中的血管上。
优选地，所述标注单元包括：获取子单元，用于获取所述多张视网膜图像的二值图；处理子单元，用于对所述二值图进行处理得到与所述视网膜图像对应的点集；标注子单元，用于基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
优选地，所述拼接装置还包括：操作获取单元，用于在所述标注单元在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；操作响应单元，用于基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
优选地，所述匹配单元包括：获取特征子单元，用于获取所述多个特征点的特征信息；匹配子单元，用于基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
优选地，所述拼接装置还包括：提示单元，用于判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点。
优选地，所述拼接装置还包括：调整单元，用于对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
优选地，所述拼接装置还包括病灶信息获取单元，所述病灶信息获取单元包括：病灶区域获取子单元，用于获取所述多张视网膜图像中每张视网膜图像上的病灶区域；病灶区域处理子单元，用于基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；病灶信息获取子单元，用于基于所述病灶轮廓获得视网膜的病灶信息。
进一步地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的方法。
通过本发明提供的技术方案，本发明至少具有如下技术效果：
通过从视网膜图像中提取血管的特征点，并基于血管的特征点获取到不同的视网膜图像的对应拼接关系，从而完成拼接，因此本发明与现有技术相比，拼接的视网膜完整图像精确度很高。采用本发明的方案不需要设定固定的拍摄角度或拍摄位置，可以根据医生的实际需要来选择实际的拍摄角度或拍摄位置，且不需要一次性完成所有图像的拍摄，操作更为灵活方便，提高了医生的工作效率，也方便患者。
同时，由于本发明的拍摄角度或拍摄位置不固定，因此无需采用专业的拍摄相机，而可以采用一般的相机进行拍摄，因此降低了运营成本，同时对不同时间拍摄的视网膜照片也能准确的进行拼接，因此当拍摄的任一张视网膜照片不合格时，只需要将不合格的视网膜照片进行重新拍摄，而不需要对所有视网膜照片都进行重新拍摄，进一步降低了成本。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明实施例提供的视网膜图像拼接方法的具体实现流程图；
图2是本发明实施例提供的视网膜图像拼接方法中采集多张视网膜图像的示意图；
图3是本发明实施例提供的视网膜图像拼接方法中在相似中心特征点中获取控制点的示意图；
图4是本发明实施例提供的视网膜图像拼接方法中视网膜图像的标注有多个特征点的血管的二值图；
图5是本发明实施例提供的视网膜图像拼接方法中对视网膜图像进行处理以获得特征点的示意图；
图6是本发明实施例提供的视网膜图像拼接方法中对视网膜拼接图像的图层叠加顺序进行调整的示意图；
图7是本发明实施例提供的视网膜图像拼接方法中在视网膜拼接图像中获得病灶信息的示意图；
图8是本发明实施例提供的视网膜图像拼接装置的结构示意图；
图9是本发明实施例提供的视网膜图像拼接装置中标注单元的结构示意图；
图10是本发明实施例提供的视网膜图像拼接装置中匹配单元的结构示意图；
图11是本发明另一实施例提供的视网膜图像拼接装置的结构示意图；
图12是本发明再一实施例提供的视网膜图像拼接装置的结构示意图；
图13是本发明又一实施例提供的视网膜图像拼接装置的结构示意图。
具体实施方式
为解决现有技术中视网膜图像拼接不便、精确度不高的技术问题，本发明实施例提供了一种视网膜图像的拼接方法及一种视网膜图像的拼接装置，该方法通过提取视网膜图片的特征进行拼接，从而可以简单、方便、准确的对视网膜图片进行拼接以得到与视网膜的真实情况相吻合的视网膜完整图像，并且可以量化病灶信息，操作灵活，提升了工作效率。
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
请参见图1，为本发明实施例提供的视网膜图像的拼接方法的具体流程图。所述视网膜图像的拼接方法包括以下步骤：
S10)获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；
S20)在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；
S30)依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；
S40)将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像。
在本发明实施例中，用户采用普通的摄像机作为采集装置，以不固定的拍摄方式拍摄到多张所述视网膜图像，并从所述多张视网膜图像中确定至少一张视网膜图像作为中心区域图像，由于采用的是普通的摄像机，因此相比专业摄像机来说大大降低了拼接方法的实现成本，降低了企业的运营成本，同时采用不固定的方式进行拍摄，操作灵活，可以根据医生的实际需求进行拍摄，能够进一步满足医生的诊断需求，为医生提供准确性更高的视网膜图像信息，辅助医生进行更精确的病情诊断，提高医生的工作效率。
请参见图2，在一种可能的实施方式中，用户通过普通摄像机采集到七张视网膜图像(例如根据糖网国际科研分级标准，通过拍摄七张视网膜图像能够更完整的采集视网膜图像细节，从而更好的展示视网膜中的病情信息)，并将该七张视网膜图像分别以1区-7区进行标注，从该七张视网膜图像中确定两张视网膜图像作为中心区域图像，例如拍摄角度为左边的左中心区域图像(1区)以及拍摄角度为右边的右中心区域图像(2区)。
在本发明实施例中，通过其他拍摄张数，例如拍摄五张、九张或十一张等数量的视网膜图像，也能够应用本发明技术方案，因此也应该属于本发明实施例的保护范围，在此不做过多赘述。
在本发明实施例中，优选地，所述多个特征点标注在所述每张视网膜图像中的血管上。
进一步地，根据计算机预设程序，从所述多张视网膜图像中提取每张视网膜图像中的血管的特征点并进行标注，在一种可能的实施方式中，计算机在1区提取了5个特征点、在2区中提取了6个特征点、在3区中提取了8个特征点、在4区中提取了6个特征点、在5区中提取了7个特征点、在6区中提取了5个特征点以及在7区中提取了6个特征点，并分别标注在对应的视网膜图像上，其中1区和2区中的特征点为中心特征点，其余区中的特征点为边缘特征点。
在本发明实施例中，通过计算机程序自动获取符合预设程序特征点并标注在对应的视网膜图像上，而不需要用户手动进行特征点的标注，减少了用户的工作量，提升了用户的工作效率，同时避免了因用户主观因素导致的标注误差，从而保证了特征点的标注的准确性，即保证了在后续拼接过程中的拼接准确性。
在本发明实施例中，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。请参见图3，在一种可能的实施方式中，将1区和2区中的特征点进行匹配后，获得在1区和2区中一一对应的控制点1、控制点2和控制点3，此时，基于控制点1、控制点2和控制点3将1区和2区对应的视网膜图像拼接到一起。
在本发明实施例中，由于确定出的控制点的关系是一一对应的，因此通过确定的多个一一对应的控制点就能够确定视网膜图像的拼接关系，从而自动实现视网膜图像的拼接，简单方便，提高了工作效率。同时，视网膜图像的拼接是基于视网膜图像中的控制点进行的，因此不会因为拍摄的图像角度偏差或拍摄的时间不同而无法进行拼接，可以在任何时间以及任何拍摄角度对不合格的视网膜图像进行重新拍摄或另外拍摄额外的视网膜图像，因此进一步提升了视网膜图像拼接的灵活性，降低了因拍摄不合格导致的额外的花费，降低了成本，提升了用户的工作效率。
在本发明实施例中，所述在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，包括：获取所述多张视网膜图像的二值图；对所述二值图进行处理得到与所述视网膜图像对应的点集；基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
请参见图4，在一种可能的实施方式中，在获取到5区视网膜图像后，首先对该5区视网膜图像进行处理以得到5区视网膜图像的血管的二值图，对血管进行形态学细化得到血管中心线的点集，此时对这些点集的邻域信息进行分析，从而提取出中心线的端点或交叉点，例如若血管中心线的点集上某个点的附近有1个点，则确定该点是端点；若某个点的附近有2个点，则确定该点是血管上的普通点，若某个点的附近有3个点，则确定该点是交叉点。此时，对这些端点或交叉点的特征信息进行提取，例如，提取这些端点或交叉点的SIFT特征、信号强度信息以及分支角度信息等具有特异性的信息然后将具有特征信息的端点或交叉点作为特征点，并将特征点标注在对应的视网膜图像上。
在本发明实施例中，在对视网膜图像的特征点进行提取时，首先是获得视网膜图像中血管的中心线的端点或交叉点，即在血管中心线的点集中对能作为特征点的点进行了进一步的限定，保证了特征点具有足够的特异性，然后再对这些端点或交叉点的特征信息进行提取，由于特征信息包括了不止一种信息，因此进一步的对这些端点或交叉点的特征进行了限定，从而保证在不同角度以及不同时间拍摄的视网膜图像，都能准确且唯一的得到相同的特征点，从而允许用户能够在不同时间和不同角度对视网膜图像进行拍摄，都能准确的进行视网膜图像拼接，大大提升了拼接的灵活性，提高了拼接的准确性。
进一步地，在本发明实施例中，所述拼接方法还包括：在所述标注单元在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
在一个可能的实施方式中，计算机通过上述技术方案在所述视网膜图像上标注多个特征点之后，用户发现其中有一个特征点的位置标注有偏差，因此通过向计算机输入拖动信息，计算机基于该拖动信息对特征点进行移动，从而根据用户的拖动信息将该特征点拖动到准确位置。
在本发明实施例中，所述依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点，包括：获取所述多个特征点的特征信息；基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
请参见5，在一种可能的实施方式中，在1区的视网膜图像中获得5个特征点(以1a、1b、1c、1d和1e表示)，同时在2区的视网膜图像中获得6个特征点(以2a、2b、2c、2d、2e和2f表示)，将1区的视网膜图像中5个特征点的特征信息和2区的视网膜图像中6个特征点的特征信息组合成特征向量，根据每一个特征点的特征向量计算相似度，发现1a和2c、1b和2d、1d和2a这3组特征点具有相似性，因此将1a和2c、1b和2d、1d和2a这三组特征点均作为控制点，并以相同标号进行标注，例如将1a和2c均标为1，将1b和2d均标为2，将1d和2a均标为3，如图3所示。
进一步地，在本发明实施例中，所述拼接方法还包括：判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点。
在一种可能的实施方式中，所述预设值为3，在1区的视网膜图像中获得4个特征点(以1a、1b、1c和1d表示)，同时在4区的视网膜图像中获得6个特征点(以4a、4b、4c、4d、4e和4f表示)，在将1区的视网膜图像中4个特征点的特征信息和4区的视网膜图像中6个特征点的特征信息进行相似度匹配后发现，只有1a和4c以及1c和4f这两组特征点具有相似性，将1a和4c视为一个控制点以及将1c和4f视为一个控制点后，即只能确定2个控制点，控制点的数量小于预设值3，因此系统向用户发出提示信息，提示用户手动再添加一个额外的控制点。
在本发明实施例中，所述预设值为大于1的正整数。
由于对图像的拼接实际上是将两个平面进行拼接，在本发明实施例中，由于在不同视网膜图像上确定的控制点是一一对应的，因此通过至少2个控制点，能够唯一确定视网膜图像之间的拼接关系，而不会受到视网膜图像的拍摄时间、拍摄角度以及拍摄内容的变化的影响，从而进一步允许用户可以将在任何时间以任何角度拍摄的视网膜图像进行拼接，提升了操作的灵活性，且能够保证拼接的结果一致，因此进一步提高了视网膜图像拼接的精确性。
在本发明实施例中，所述拼接方法还包括：对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
在通过控制点对视网膜图像进行拼接后，由于不同的视网膜图像可能具有不同的清晰度，因此拼接后的效果并不是最优效果，医生可能无法从拼接的视网膜图像中获取到足够的病灶信息，因此通过对拼接后的视网膜图像的图层叠加顺序进行调整，能够进一步优化视网膜图像拼接的效果，使得视网膜图像中的病灶信息能够以最佳的方式向医生展示。
需要说明的是，对视网膜图像的图层叠加顺序调整可以通过手动调整，也可以通过计算机根据视网膜图像的清晰度等特征进行自动调整，请参见图6，在一种可能的实施方式中，用户通过对拼接后的视网膜图像的图层顺序进行手动调整，从而获得调整后的视网膜拼接图像。
进一步地，请参见图7，在本发明实施例中，所述拼接方法还包括：获取所述多张视网膜图像中每张视网膜图像上的病灶区域；基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；基于所述病灶轮廓获得视网膜的病灶信息。
由于通过本发明实施例的技术方案，获得的视网膜拼接图像仅仅是拼接图像，但并不对拼接图像中的病灶信息进行统计，而需要用户再做大量的工作量进行手动计算或统计，因此为了进一步降低用户的工作量，提升用户的工作效率，通过自动获取视网膜图像中的病灶区域，并对病灶区域进行处理就能获得病灶轮廓，此时基于该病灶轮廓自动计算出视网膜图像中的病灶信息，而不用医生手动去计算或统计视网膜图像中的病灶信息，极大的减少了医生的工作量，提高了医生的工作效率，同时消除了医生手动计算或统计所带来的主观误差，进一步提高了精确性。
下面结合附图对本发明实施例所提供的视网膜图像的拼接装置进行说明。
请参见图8，基于同一发明构思，本发明实施例提供一种视网膜图像的拼接装置，所述拼接装置包括：采集单元，用于获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；标注单元，用于在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；匹配单元，用于依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；拼接单元，用于将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像。
优选地，所述多个特征点标注在视网膜图像中的血管上。
请参见图9，在本发明实施例中，所述标注单元包括：获取子单元，用于获取所述多张视网膜图像的二值图；处理子单元，用于对所述二值图进行处理得到与所述视网膜图像对应的点集；标注子单元，用于基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
在本发明实施例中，所述拼接装置还包括：操作获取单元，用于在所述标注单元在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；操作响应单元，用于基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
请参见图10，在本发明实施例中，所述匹配单元包括：获取特征子单元，用于获取所述多个特征点的特征信息；匹配子单元，用于基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
请参见图11，在本发明实施例中，所述视网膜图像的拼接装置还包括：提示单元，用于判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点。
请参见图12，在本发明实施例中，所述视网膜图像的拼接装置还包括：调整单元，用于对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
请参见图13，在本发明实施例中，所述视网膜图像的拼接装置还包括病灶信息获取单元，所述病灶信息获取单元包括：病灶区域获取子单元，用于获取所述多张视网膜图像中每张视网膜图像上的病灶区域；病灶区域处理子单元，用于基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；病灶信息获取子单元，用于基于所述病灶轮廓获得视网膜的病灶信息。
进一步地，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的方法。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (13)
1.一种视网膜图像的拼接方法，其特征在于，所述拼接方法包括：
获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；
在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；
依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；
将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像；
判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点；
所述拼接方法还包括：
基于所述视网膜图像中病灶区域的清晰度对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
2.根据权利要求1所述的拼接方法，其特征在于，所述多个特征点标注在视网膜图像中的血管上。
3.根据权利要求1所述的拼接方法，其特征在于，所述在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，包括：
获取所述多张视网膜图像的二值图；
对所述二值图进行处理得到与所述视网膜图像对应的点集；
基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
4.根据权利要求1所述的拼接方法，其特征在于，所述拼接方法还包括：
在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；
基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
5.根据权利要求1所述的拼接方法，其特征在于，所述依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点，包括：
获取所述多个特征点的特征信息；
基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
6.根据权利要求1所述的拼接方法，其特征在于，所述拼接方法还包括：
获取所述多张视网膜图像中每张视网膜图像上的病灶区域；
基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；
基于所述病灶轮廓获得视网膜的病灶信息。
7.一种视网膜图像的拼接装置，其特征在于，所述拼接装置包括：
采集单元，用于获取由采集装置采集的多张视网膜图像，并将所述多张视网膜图像中的至少一张视网膜图像作为中心区域图像；
标注单元，用于在所述多张视网膜图像中的每张视网膜图像上标注多个特征点，其中所述中心区域图像上的特征点为中心特征点，所述多张视网膜图像中的其他视网膜图像上的特征点为边缘特征点；
匹配单元，用于依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行匹配处理，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点；
拼接单元，用于将所述控制点所在的视网膜图像拼接到一起，以获得视网膜拼接图像；
所述拼接装置还包括：
提示单元，用于判断所述控制点的数量是否小于预设值，在所述控制点的数量小于预设值的情况下，向用户发出提示信息，以提示用户手动添加额外的控制点；
所述拼接装置还包括：
调整单元，用于基于所述视网膜图像中病灶区域的清晰度对所述视网膜拼接图像进行图层叠加顺序调整，获得调整后的视网膜拼接图像。
8.根据权利要求7所述的拼接装置，其特征在于，所述多个特征点标注在视网膜图像中的血管上。
9.根据权利要求7所述的拼接装置，其特征在于，所述标注单元包括：
获取子单元，用于获取所述多张视网膜图像的二值图；
处理子单元，用于对所述二值图进行处理得到与所述视网膜图像对应的点集；
标注子单元，用于基于所述点集，在所述多张视网膜图像中的每张视网膜图像上标注多个特征点。
10.根据权利要求7所述的拼接装置，其特征在于，所述拼接装置还包括：
操作获取单元，用于在所述标注单元在所述多张视网膜图像中的每张视网膜图像上标注多个特征点之后，获取用户的操作信息；
操作响应单元，用于基于所述操作信息，对与所述操作信息对应的特征点的位置进行调整。
11.根据权利要求7所述的拼接装置，其特征在于，所述匹配单元包括：
获取特征子单元，用于获取所述多个特征点的特征信息；
匹配子单元，用于基于所述特征信息，依次将每一中心区域图像中的中心特征点作为基准点与指定的其他视网膜图像中的特征点进行相似度匹配，在其他视网膜图像中具有与所述基准点一一对应的相似特征点的情况下，将所述基准点以及与所述基准点一一对应的其他视网膜图像中的相似特征点均作为控制点。
12.根据权利要求7所述的拼接装置，其特征在于，所述拼接装置还包括病灶信息获取单元，所述病灶信息获取单元包括：
病灶区域获取子单元，用于获取所述多张视网膜图像中每张视网膜图像上的病灶区域；
病灶区域处理子单元，用于基于所述调整后的视网膜拼接图像对所述病灶区域进行处理，获得病灶轮廓；
病灶信息获取子单元，用于基于所述病灶轮廓获得视网膜的病灶信息。
13.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请权利要求1-6中任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711470629.2A CN107958445B (zh) | 2017-12-29 | 2017-12-29 | 视网膜图像的拼接方法及拼接装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711470629.2A CN107958445B (zh) | 2017-12-29 | 2017-12-29 | 视网膜图像的拼接方法及拼接装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107958445A CN107958445A (zh) | 2018-04-24 |
| CN107958445B true CN107958445B (zh) | 2022-02-25 |
Family
ID=61957230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711470629.2A Active CN107958445B (zh) | 2017-12-29 | 2017-12-29 | 视网膜图像的拼接方法及拼接装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958445B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803994B (zh) * | 2018-06-14 | 2022-10-14 | 四川和生视界医药技术开发有限公司 | 视网膜血管的管理方法及视网膜血管的管理装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140160264A1 (en) * | 2012-12-10 | 2014-06-12 | The Johns Hopkins University | Augmented field of view imaging system |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
-
2017
- 2017-12-29 CN CN201711470629.2A patent/CN107958445B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140160264A1 (en) * | 2012-12-10 | 2014-06-12 | The Johns Hopkins University | Augmented field of view imaging system |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
Non-Patent Citations (3)
| Title |
|---|
| 优化的多幅眼底图像拼接方法;魏丽芳 等;《中国图象图形学报》;20111216;第16卷(第12期);第2175-2182页 * |
| 视网膜血管图像特征点自动提取和分类;赵晓芳 等;《计算机工程与应用》;20110311;第47卷(第8期);第14-17页 * |
| 魏丽芳 等.优化的多幅眼底图像拼接方法.《中国图象图形学报》.2011,第16卷(第12期),第2175-2182页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107958445A (zh) | 2018-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| US9164583B2 (en) | Method and apparatus for gaze point mapping | |
| CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN107920722B (zh) | 针对自胶囊相机所撷取的图像通过对象检测进行重建 | |
| US7848547B2 (en) | Apparatus for detecting feature point and method of detecting feature point | |
| WO2019037676A1 (zh) | 图像处理方法及装置 | |
| EP3164851A1 (en) | A method for acquiring and processing images of an ocular fundus by means of a portable electronic device | |
| JP2017501005A (ja) | 広視野網膜画像取得システム及び方法 | |
| JP2010279440A (ja) | 画像処理装置及びその制御方法、コンピュータプログラム | |
| CN108022228A (zh) | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 | |
| CN108510493A (zh) | 医学图像内目标对象的边界定位方法、存储介质及终端 | |
| CN108804547A (zh) | 超声图像教学方法、装置及计算机可读存储介质 | |
| JP7335925B2 (ja) | デバイス対画像レジストレーションの方法、装置及び記憶媒体 | |
| CN109171817A (zh) | 三维乳腺超声扫描方法及超声扫描系统 | |
| US10726548B2 (en) | Confidence determination in a medical imaging video clip measurement based upon video clip image quality | |
| CN106326856A (zh) | 一种手术图像处理方法及装置 | |
| CN106951144A (zh) | 医学图像处理方法、装置及设备 | |
| CN107958445B (zh) | 视网膜图像的拼接方法及拼接装置 | |
| JP2007252707A (ja) | 画像解析装置及び画像解析プログラム | |
| KR102034648B1 (ko) | 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN110766682A (zh) | 肺结核定位筛查装置及计算机设备 | |
| JP2008073280A (ja) | 眼底画像処理装置 | |
| Motta et al. | Fundus image transformation revisited: Towards determining more accurate registrations | |
| CN109345632B (zh) | 一种获取图像的方法、相关装置及可读存储介质 | |
| WO2023169108A1 (zh) | 目标区域的定位方法、电子设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230627 Address after: No. 303, 3rd Floor, Unit 3, Building 7, No. 399, West Section of Fucheng Avenue, High tech Zone, Chengdu, Sichuan, 610095 Patentee after: Chengdu Yinhai Qiming Hospital Management Co.,Ltd. Address before: No. 903, floor 9, building 2, No. 88 Keyuan South Road, Chengdu high tech Zone, Chengdu, Sichuan 610084 Patentee before: SICHUAN HEALTHSUN VISION MEDICAL TECHNOLOGY DEVELOPMENT CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230902 Address after: Room 302-305, Building 6B, No. 2 Fenghuangsan Road, Huangpu District, Guangzhou City, Guangdong Province, 510000 Patentee after: Yinhai Aperture (Guangzhou) Group Co.,Ltd. Address before: No. 303, 3rd Floor, Unit 3, Building 7, No. 399, West Section of Fucheng Avenue, High tech Zone, Chengdu, Sichuan, 610095 Patentee before: Chengdu Yinhai Qiming Hospital Management Co.,Ltd. |
|
| TR01 | Transfer of patent right |