CN117893496A - 用于评估无针注射器的注射效果的图像的处理方法和处理装置 - Google Patents
用于评估无针注射器的注射效果的图像的处理方法和处理装置 Download PDFInfo
- Publication number
- CN117893496A CN117893496A CN202410051696.4A CN202410051696A CN117893496A CN 117893496 A CN117893496 A CN 117893496A CN 202410051696 A CN202410051696 A CN 202410051696A CN 117893496 A CN117893496 A CN 117893496A
- Authority
- CN
- China
- Prior art keywords
- image
- measurement object
- measurement
- needleless injector
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002347 injection Methods 0.000 title claims abstract description 68
- 239000007924 injection Substances 0.000 title claims abstract description 68
- 230000000694 effects Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 239000003814 drug Substances 0.000 claims description 30
- 239000007788 liquid Substances 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 22
- 238000009792 diffusion process Methods 0.000 claims description 20
- 241001465754 Metazoa Species 0.000 claims description 12
- PYWVYCXTNDRMGF-UHFFFAOYSA-N rhodamine B Chemical group [Cl-].C=12C=CC(=[N+](CC)CC)C=C2OC2=CC(N(CC)CC)=CC=C2C=1C1=CC=CC=C1C(O)=O PYWVYCXTNDRMGF-UHFFFAOYSA-N 0.000 claims description 12
- 229940043267 rhodamine b Drugs 0.000 claims description 12
- 239000012530 fluid Substances 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000011158 quantitative evaluation Methods 0.000 abstract description 4
- 210000003491 skin Anatomy 0.000 description 20
- 241000699666 Mus <mouse, genus> Species 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 239000000975 dye Substances 0.000 description 6
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 5
- 239000001045 blue dye Substances 0.000 description 5
- 229960000907 methylthioninium chloride Drugs 0.000 description 5
- 241000700159 Rattus Species 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 230000035515 penetration Effects 0.000 description 3
- 229920002401 polyacrylamide Polymers 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于评估无针注射器的注射效果的图像的处理方法和处理装置。图像中具有无针注射器测试所产生的测量对象，方法包括以下步骤：对由摄像机捕获到的图像进行预处理，以去除图像中不相关的部分并且通过图像增强突出图像中的关键信息；通过阈值分割和区域分割的组合从预处理后的图像中提取所述测量对象，并且根据图像的类型，利用相应的阈值分割法以得到测量对象；测量提取到的测量对象的形状信息，并且根据图像的类型，利用相应的形状信息测量方法以得到测量对象的至少一部分形状信息。本发明能够实现无针注射器注射效果的定量评估。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及用于评估无针注射器的注射效果的图像的处理方法和图像处理装置。
背景技术
目前，对于无针注射器注射效果的评估主要在于四个指标的定量考量：皮丘直径、药液扩散深度、药液扩散直径和深入孔长度。除了直接使用动物实验，还使用聚丙烯酰胺凝胶作为模型来模拟皮肤，目前使用的测量方法主要是使用游标卡尺测量，这种测量方法受主观因素影响、效率低且不可复核。
图像处理是指在计算机上使用算法和代码自动处理、操作、分析和解释图像，其广泛应用于诸多学科和领域，诸如电视、摄影、机器人、遥感、医学诊断和工业检验。图像处理方法通过提取图像数据，对图像数据进行预处理、增强、复原、表示、分割、分类、检测和识别(对象)，从而更好地分析、理解和解释数据。因此，可以基于图像处理来获得上述指标，从而可以评估无针注射器的注射效果。
上述对背景技术的陈述仅是为了方便对本发明技术方案(使用的技术手段、解决的技术问题以及产生的技术效果等方面)的深入理解，而不应当被视为承认或以任何形式暗示该消息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提供一种用于评估无针注射器的注射效果的图像的处理方法和处理装置，其能够实现无针注射器注射效果的定量评估。
根据本发明的一个实施方案，提供了一种用于评估无针注射器的注射效果的图像的处理方法，所述图像中具有无针注射器测试所产生的测量对象，所述用于评估无针注射器的注射效果的图像的处理方法包括以下步骤：对由摄像机捕获到的图像进行预处理，以去除图像中不相关的部分并且通过图像增强突出图像中的关键信息；通过阈值分割和区域分割的组合从预处理后的图像中提取所述测量对象，并且根据图像的类型，利用相应的阈值分割法以得到测量对象；测量提取到的测量对象的形状信息，并且根据图像的类型，利用相应的形状信息测量方法以得到测量对象的至少一部分形状信息。
所述图像可以分类为第一类型图像、第二类型图像和第三类型图像，并且第一类型图像中具有的测量对象的边缘清晰程度强于第二类型图像和第三类型图像中具有的测量对象的边缘清晰程度，第三类型图像中的测量对象的所有形状信息在测量时不需要提取测量对象的边缘，而第一类型图像和第二类型图像中的测量对象的至少一部分形状信息在测量时需要提取测量对象的边缘。
根据图像的类型利用相应的阈值分割法的步骤可以包括：确定图像是否是第一类型图像；当确定出图像是第一类型图像时，利用迭代阈值法进行阈值分割；当确定出图像不是第一类型图像时，利用最大熵阈值分割法进行阈值分割。
在对图像进行阈值分割之后，可以利用区域生长法对图像进行区域分割。
根据图像的类型利用相应的形状信息测量方法的步骤可以包括：确定图像是否是第三类型图像；当确定出图像是第三类型图像时，直接测量提取到的测量对象的形状信息；当确定出图像不是第三类型图像时，提取测量对象的边缘，接收对测量起点和测量终点的选择，并且所述测量起点和测量终点的至少一个在测量对象的边缘上，测量测量起点与测量终点之间的距离，以测量出测量对象的至少一部分形状信息。
直接测量提取到的测量对象的形状信息的步骤可以包括：调用regionprops函数，测量出测量对象的形状信息。
提取测量对象的边缘的步骤可以包括：对测量对象的边缘进行平滑处理，并且利用canny边缘提取法提取测量对象的边缘。
接收对测量起点和测量终点的选择的步骤可以包括：调用距离绘制函数，通过用户单击的鼠标操作来接收对测量起点的选择，通过用户再次单击的鼠标操作来接收对测量终点的选择。
所述图像中可以进一步具有已知尺寸的参照物，测量测量起点与测量终点之间的距离的步骤包括：接收对测量标签比例尺的修改，根据修改后的测量标签比例尺来计算测量起点与测量终点之间的实际距离。
所述第一类型图像是向用于模拟皮肤的物质中注射药液的图像；所述第二类型图像是向动物体皮肤注射药液后的皮肤的剖视图像；所述第三类型图像是向动物体皮肤注射药液后所产生的皮丘的图像。
所述第一类型图像中的测量对象的所有形状信息包括：测量对象的最小外接矩形的长度和宽度、测量对象上端点沿测量对象的长度方向至测量对象内部特定一点的长度，测量对象的最小外接矩形的长度表明药液扩散深度，测量对象的最小外接矩形的宽度表明药液扩散直径，测量对象上端点沿测量对象的长度方向至测量对象内部特定一点的长度表明深入孔长度；所述第二类型图像中的测量对象的所有形状信息包括：测量对象在横向方向上的最长距离和在纵向方向上的最长距离，测量对象在横向方向上的最长距离表明皮内注射扩散宽度，测量对象在纵向方向上的最长距离表明皮内注射扩散深度；所述第三类型图像中的测量对象的所有形状信息包括测量对象的直径，测量对象的直径表明皮丘直径。
图像的预处理的步骤可以包括：接收由摄像机捕获到的图像，并且显示图像；裁剪图像；对裁剪后的图像进行RGB分离；通过调整分离出的G通道图像或R通道图像的对比度和/或灰度值来使图像增强。
对裁剪后的图像进行RGB分离的步骤可以包括：确定无针注射器测试时所注射的药液是否是罗丹明B染色剂；当确定出无针注射器测试时所注射的药液是罗丹明B染色剂时，使裁剪后的图像分离为G通道图像；当确定出无针注射器测试时所注射的药液不是罗丹明B染色剂时，使裁剪后的图像分离为R通道图像。
根据本发明的另一个实施方案，提供了一种用于评估无针注射器的注射效果的图像的处理装置，其包括：至少一个数据处理器；以及至少一个存储器，其存储指令，当由所述至少一个数据处理器执行所述指令时，使得执行上述的用于评估无针注射器的注射效果的图像的处理方法。
本发明采取以上技术方案，其具有以下有益效果：本发明通过对无针注射器测试后的图像进行处理，可以自动测量出注射在物质或动物体中的药液的形状信息，通过这些形状信息可以对无针注射器的注射效果进行评估，进而可以实现无针注射器注射效果的定量评估。
附图说明
下文将结合附图对本发明的示例性实施方案进行更为详细的说明。为清楚起见，不同附图中相同的部件以相同标记示出。需要说明的是，附图仅起到示意作用，其并不必然按照比例绘制。在这些附图中：
图1A示例性地示出了用于评估无针注射器的注射效果的图像中的第一类型图像。
图1B示出了图1A在预处理后的图像。
图1C示出了从图1B中提取到的测量对象的边缘。
图1D示出了提取到的测量对象的边缘与图1A叠加后的图像。
图2A示例性地示出了用于评估无针注射器的注射效果的图像中的第二类型图像。
图2B示出了图2A在预处理后的图像。
图2C示出了从图2B中提取到的测量对象的边缘。
图2D示出了提取到的测量对象的边缘与图2A叠加后的图像。
图3A示例性地示出了用于评估无针注射器的注射效果的图像中的第三类型图像。
图3B示出了图3A在预处理后的图像。
图3C示出了绘制出的边界框与图3A叠加后的图像。
图4是根据本发明的各种实施方案的用于评估无针注射器的注射效果的图像的处理方法的流程图。
图5是根据本发明的示例性实施方案的用于评估无针注射器的注射效果的图像的处理方法的详细流程图。
具体实施方式
下面对本发明的实施方案作详细说明，本实施方案在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施方案。
在本发明的实施方案中，图像中具有无针注射器测试所产生的测量对象。图1A、图2A和图3A示例性示出了用于评估无针注射器的注射效果的图像中的三种类型的图像。
图1A示例性地示出了第一类型图像，第一类型图像是向用于模拟皮肤的物质中注射药液的图像。具体地，在图1A所示的情况下，无针注射器将罗丹明B染色剂注入用于模拟皮肤的聚丙烯酰胺凝胶中，图1A示出的桃红色区域(即，在聚丙烯酰胺凝胶中扩散的罗丹明B染色剂)为测量对象。
图2A示例性地示出了第二类型图像，第二类型图像是向动物体皮肤注射药液后的皮肤的剖视图像。“动物体”可以包括脊椎动物，但不限于农场或生产型的动物(例如猪、牛、家禽、马)、宠物、灵长类、小鼠和大鼠。具体地，在图2A所述的情况下，无针注射器将亚甲基蓝染色剂注入大鼠的皮内(即皮肤的表皮层和真皮层内)，图2A示出的蓝色区域(即，在大鼠皮内扩散的亚甲基蓝染色剂)为测量对象。
图3A示例性地示出了第三类型图像，第三类型图像是向动物体皮肤注射药液后所产生的皮丘的图像。具体地，在图3A所示的情况下，无针注射器将亚甲基蓝染色剂注入大鼠的皮内，图3A示出的蓝色区域(即，皮丘)为测量对象。
在无针注射器的注射效果的测试中，测量对象(例如，图1A、图2A和图3A示出的测量对象)的形状信息能够评估无针注射器的注射效果。例如，图1A、图2A和图3A示出的测量对象的长度、宽度或直径等均能够用于评价无针注射器的注射效果。
图像(例如，图1A、图2A和图3A)可以由摄像机捕获。图4是根据本发明的各种实施方案的用于评估无针注射器的注射效果的图像的处理方法的流程图。如图4所示，根据本发明的各种实施方案的用于评估无针注射器的注射效果的图像的处理方法包括以下步骤：对由摄像机捕获到的图像进行预处理(S10)，以去除图像中不相关的部分并且使图像增强。通过阈值分割和区域分割的组合从预处理后的图像中提取测量对象(S20)，并且根据图像的类型，利用相应的阈值分割法以得到测量对象。测量提取到的测量对象的形状信息(S30)，并且根据图像的类型，利用相应的形状信息测量方法以得到测量对象的至少一部分形状信息。
图5是根据本发明的示例性实施方案的用于评估无针注射器的注射效果的图像的处理方法的详细流程图。如图5所示，图像的预处理的步骤(S10)可以包括接收由摄像机捕获到的图像，并且显示图像(S11)。
接下来，裁剪图像(S12)，从而可以去除图像中不相关的部分。具体地，确定图像的行数、列数及像素点数，根据所需大小调用函数(例如，imcrop函数)将图像裁剪为矩形的局部区域。例如，在裁剪图像之后，可以得到如图1A、图2A和图3A所示的图像。
随后，对裁剪后的图像进行红绿蓝(Red Green Blue，RGB)通道分离。RGB通道分离是指将图像分离为红(R)、绿(G)、蓝(B)三个通道。
根据三原色原理，红色在R通道中明亮，在G、B通道中黑暗；绿色在G通道中明亮，在R、B通道中黑暗；蓝色在B通道中明亮，在R、G通道中黑暗。由图1A、图2A和图3A可知，无针注射器的测试可以选用不同颜色的染色剂，不同颜色的染色剂造成图像中的测量对象的颜色也不同，如果利用同样的RGB通道分离标准，则不能使每一个图像中的测量对象和非测量对象区域均得到明显地区分。
因此，根据本发明的实施方案，对裁剪后的图像进行RGB分离的步骤可以包括：确定无针注射器测试时所注射的药液是否是罗丹明B染色剂(S13)，当确定出无针注射器测试时所注射的药液是罗丹明B染色剂时(S13的“是”)，可以使裁剪后的图像分离为G通道图像(S14)。当确定出无针注射器测试时所注射的药液不是罗丹明B染色剂(S13的“否”)，表明无针注射器所注射的药液为亚甲基蓝染色剂，可以使裁剪后的图像分离为R通道图像(S15)。因此，测量对象可以作为黑暗的区域出现在分离出的G通道图像或R通道图像中，与非测量对象区域有明显地区分。
具体地，可以通过识别图像中携带的人工标签(该人工标签标记了图像中的药液是罗丹明B染色剂还是亚甲基蓝染色剂)来确定无针注射器测试时所注射的药液的类别。在其它实施方案中，可以将图像输入到经训练的机器学习模型来确定无针注射器测试时所注射的药液的类别。
此外，当图像分离为G通道图像或R通道图像时，分离出的G通道图像或R通道图像是灰度图。在这种情况下，可以通过调整分离出的G通道图像或R通道图像的对比度和/或灰度值来使图像增强(S16)，从而突出图像中的关键信息。具体地，可以先调用函数(例如，imadjust函数)对图像进行对比度增强，然后通过调整灰度值进一步增强图像。
图1B示出了图1A在预处理后的图像。图2B示出了图2A在预处理后的图像。图3B示出了图3A在预处理后的图像。通过对比图1B和图1A、图2B和图2A以及图3B和图3A可以看出，原始图像中细节比较模糊，亮度不均匀，但是经过预处理后，图像中的细节明显变得清晰了，亮度也变均匀了，各灰度级的比例更加平衡，图像质量得到改善，为后面的图像分割建立了良好的基础。
根据本发明的实施方案，通过阈值分割和区域分割的组合从预处理后的图像中提取测量对象的步骤可以包括：先进行阈值分割，再进行区域分割，从而提取测量对象。
此外，在阈值分割中，根据图像的类型，利用相应的阈值分割法。具体地，回到图5，在使图像增强(S16)之后，确定图像是否是第一类型图像(S21)，当确定出图像是第一类型图像时(S21的“是”)，利用迭代阈值法进行阈值分割(S22)。当确定出图像不是第一类型图像时(S21的“否”)，即，确定出图像是第二类型图像或第三类型图像时，利用最大熵阈值分割法进行阈值分割(S23)。
具体地，可以通过识别图像中携带的人工标签(该人工标签标记了图像是第一类型图像、第二类型图像还是第三类型图像)来确定图像的类型。在其它实施方案中，可以将图像输入到经训练的机器学习模型来确定图像的类型。
其中，第一类型图像(例如，图1A)中具有的测量对象的边缘清晰程度强于第二类型图像(例如，图2A)和第三类型图像(例如，图3A)中具有的测量对象的边缘清晰程度。例如，图1A中在凝胶中注射的染色液的边缘清晰，而图2A和图3A中在动物体内注射的染色液的边缘会晕染扩散到皮肤组织中。
阈值分割法的基本假设是图像由多个子区域组成，多个子区域分别由灰度相似的像素组成。阈值分割法以此为出发点，通过选取合适的阈值，将高于该阈值的像素划分到一个区域，而低于该阈值的像素则被归为另一区域。阈值分割法的关键在于阈值的选取，选取阈值的方法有很多，例如，本发明的实施方案中所利用的迭代阈值法和最大熵阈值分割法。
迭代阈值法的基本原理是：首先选取一个初始阈值T0(一般取所有灰度中的最大值与最小值的平均)，利用该阈值，将高于该阈值的像素划分到一个组，而低于该阈值的像素则被归为另一组，从而将图像分割成两组，再分别对两组图像内的像素灰度取平均值，将这两组图像的平均灰度的中间值作为新的阈值T，并重复上述过程，直到前后两次迭代的阈值的差不大于某个比较小的预先定义的参数δT。
最大熵阈值分割法的基本原理是：首先对图像中各像素灰度级的数量进行统计，计算出各像素灰度级的概率值，然后计算出概率值之积最大的熵值，表示信息熵最大，并且熵值最大的阈值为最优的阈值。
由于最大熵阈值分割法能更好地保留边缘和弱对象的信息。因此，边缘清晰程度较弱的第二类型图像和第三类型图像可以利用最大熵阈值分割法，而边缘清晰程度较高的第一类型图像可以利用迭代阈值法。
优选地，在对图像进行阈值分割之后，可以调用开运算函数，以平滑测量对象的轮廓、断开较窄的狭颈并消除细的突出物。
如上所述，阈值分割可以根据灰度特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。然而，阈值分割法仅仅通过某个阈值来实现对图像的分割，没有考虑图像像素的空间关系，这可能造成分割后的图像除了测量对象以外仍包含一些不需要的干扰信息。根据本发明的实施方案，利用区域分割对图像进行二次分割，具体地，利用区域生长法对图像进行区域分割(S24)，并且不管图像的类型。
与阈值分割法不同，区域分割法以图像的空间性质为出发点，直接在图像中寻找具有某些相似性质的像素划为一子区域。其中的区域生长法是根据某种预先定义的生长准则来把像素或子区域集合成为较大区域的处理方法。该方法的基本原理是：在图像中选取某些特定的像素作为“种子”，并以此作为生长的起点，通过某种预先定义的相似性准则，对与“种子”相邻的小区域内的像素与“种子”进行对比，若足够相似，则将它们合并为一类，将合并后的小区域作为新的“种子”，继续上述的生长过程，直到不再生长为止，这样就实现了对图像的分割处理。
即，在二次分割中，通过区域生长法对图像进行测量对象的提取，根据选取生长点提取出所需的测量对象，并且可以根据选取生长点的数量进行批量分析。
根据本发明的实施方案，在图像分割完成后，测量提取到的测量对象的形状信息。在测量提取到的测量对象的形状信息中，根据图像的类型，利用相应的形状信息测量方法。
具体地，在利用区域生长法对图像进行区域分割(S24)之后，确定图像是否是第三类型图像(S31)。
第三类型图像(例如，图3A)中的测量对象的所有形状信息在测量时不需要提取测量对象的边缘，然而，第一类型图像(例如，图1A)和第二类型图像(例如，图2A)中的测量对象的至少一部分形状信息在测量时需要提取测量对象的边缘。在下文中，结合图1A、图2A和图3A对不同的形状信息测量方法进行详细说明。
当确定出图像是第三类型图像时(S31的“是”)，直接测量提取到的测量对象的形状信息。
以图3A所为示例，期望测量出的测量对象的所有形状信息包括测量对象的直径，测量对象的直径表明皮丘直径，皮丘直径可以用于评价无针注射器的注射效果。
由于regionprops函数可以测量图像中每一个连通区域(即，图像中具有相同的像素值且相邻的区域)的属性，例如面积、中心和边界框。因此，可以直接调用regionprops函数(S32)，从而测量出测量对象的圆心坐标和直径，即皮丘直径(S33)。
此外，regionprops函数可以绘制出测量对象的边界框，图3C示出了绘制出的边界框与图3A叠加后的图像。
当确定出图像不是第三类型图像时(S31的“否”)，即确定出图像是第一类型图像或第二类型图像时，提取测量对象的边缘，接收对测量起点和测量终点的选择，并且测量起点和测量终点的至少一个在测量对象的边缘上，测量测量起点与测量终点之间的距离，以测量出测量对象的至少一部分形状信息。
以图1A作为示例，期望测量出的测量对象的所有形状信息包括：测量对象的最小外接矩形的长度和宽度、测量对象上端点沿测量对象的长度方向至测量对象内部特定一点的长度(在下文中，称为穿刺通道的长度)。
图1A示出了无针注射器向用于模拟皮肤的物质(例如，凝胶)中注射药液的最终状态。在无针注射器注射的第一阶段，药液喷射并穿过凝胶形成圆柱形通道，该圆柱形通道称为深入孔。在第二阶段，由于凝胶的弹性阻力，进入的射流在靠近孔深的地方聚集，药液聚集形成一个三维球体，然后药液会向四周逐渐扩散，直到扩散终止，形态不再变化，从而可以捕获到图1A。
因此，测量对象的最小外接矩形的长度表明药液扩散深度，测量对象的最小外接矩形的宽度表明药液扩散直径。除了药液扩散深度和药液扩散直径以外，由于深入孔长度是射流实际穿刺深度，因此深入孔长度也是评估无针注射器注射效果的指标，并且穿刺通道的长度表明深入孔长度，穿刺通道的末端(即上述测量对象内部特定一点)表明球状溶液的聚集点。在这些测量对象的形状信息之中，由于穿刺通道的测量起点和测量终点在同一个连通区域的内部，因而不能通过调用regionprops函数直接测量出穿刺通道的长度。
因此，对于图1A所示的第一类型图像，需要提取测量对象的边缘。具体地，对测量对象的边缘进行平滑处理，并且利用canny边缘提取法提取测量对象的边缘(S33)。图1C示出了从图1B中提取到的测量对象的边缘。图1D示出了提取到的测量对象的边缘与图1A叠加后的图像。如图1D所示，测量对象的周围存在蓝色的边界线，该蓝色的边界线即为测量对象的边缘。
在测量穿刺通道的长度时，如上所述，穿刺通道的长度不能由regionprops函数直接测量，而需要调用距离绘制函数(S34)，以接收对测量起点和测量终点的选择。
具体地，可以设置感兴趣区域(region of interest，ROI)来测量图像中的距离，并且设置的ROI是以线的形式。通过实例化线对象的函数结合鼠标单击回调函数实现绘制线对象，其中绘制线对象函数同时设置两个侦听器可以对线对象点击和移动做出反应，一个侦听器负责使用线的长度更新标签，并根据线的长度更改线的颜色，另一个侦听器负责修改更新测量的已知距离和单位。在具有边缘的图像(例如，图1D)中调用该绘制线对象的函数，可以通过用户单击的鼠标操作来接收对测量起点的选择，通过用户再次单击的鼠标操作来接收对测量终点的选择。测量出的距离默认为像素点，可以通过接收用户双击线条的鼠标操作来弹出对话框，从而像素点可以修改为需要的单位。
优选地，图像中可以进一步具有已知尺寸的参照物，测量测量起点与测量终点之间的距离的步骤包括：接收对测量标签比例尺的修改，根据修改后的测量标签比例尺来计算测量起点与测量终点之间的实际距离。从而，用户可以根据参照物的已知尺寸修改测量标签比例尺，当参照物达到已知尺寸时，此时的测量标签比例尺设置正确，从而测量出的测量起点与测量终点之间的距离为实际距离。
以图1D作为示例，穿刺通道的测量起点在测量对象的边缘(具体地，上端点)上，穿刺通道的测量终点在测量对象的内部。用户可以根据孔道尽头的从圆柱形至线性针尖状的收缩趋势、凝胶开裂的辐射线向四周发散的起始点或者注射瞬间形成的球状溶液聚集小泡的中心点等多个判断依据来选择穿刺通道的测量终点。在接收到对穿刺通道的测量起点和测量终点的选择之后，可以测量出穿刺通道的长度为30mm，即深入孔长度为30mm(S36)。
在测量对象的最小外接矩形的长度和宽度时，可以通过直接调用regionprops函数提取测量对象的最小外接矩形，并且将具体的长度和宽度显示在图像中。例如，图1D示出了测量对象的最小外接矩形的边界框，以及测量对象的最小外接矩形的长度和宽度为633mm×882mm。
以图2A作为示例，期望测量出的测量对象的所有形状信息包括：测量对象在横向方向上的最长距离和在纵向方向上的最长距离。测量对象在横向方向上的最长距离表明皮内注射扩散宽度，测量对象在纵向方向上的最长距离表明皮内注射扩散深度。皮内注射扩散宽度和深度可以用于评价无针注射器的注射效果。测量对象在横向方向上的最长距离和在纵向方向上的最长距离不一定是测量对象的最小外接矩形的长度和宽度，因而不能通过调用regionprops函数测量。
图2A的处理方法与图1A的处理方法相同，例如，提取测量对象的边缘(S34)，图2C示出了从图2B中提取到的测量对象的边缘。图2D示出了提取到的测量对象的边缘与图2A叠加后的图像。如图2D所示，测量对象的周围存在红色的边界线，该红色的边界线即为测量对象的边缘。在提取测量对象的边缘(S34)之后，调用距离绘制函数以接收对测量起点和测量终点的选择(S35)。如图2D所示，选择的测量起点和测量终点都在测量对象的边缘上，测量出的一组测量起点与测量终点之间的距离为3.4mm，即皮内注射扩散深度为3.4mm，另一组测量起点与测量终点之间的距离为10.0mm，即皮内注射扩散宽度为10.0mm(S36)。
根据本发明的实施方案的用于评估无针注射器的注射效果的图像的处理方法通过对无针注射器测试后的图像进行处理，可以自动测量出注射在物质或动物体中的药液的形状信息，通过这些形状信息可以对无针注射器的注射效果进行评估，进而可以实现无针注射器注射效果的定量评估。
本发明还提供一种用于评估无针注射器的注射效果的图像的处理装置，其包括至少一个数据处理器和至少一个存储器，至少一个存储器存储指令，当由至少一个数据处理器执行指令时，使得执行上述的用于评估无针注射器的注射效果的图像的处理方法。
本发明的各种实施方案并非所有可能组合的穷举性列表，而是旨在描述本发明的代表性方面，并且以各种实施方案描述的内容可以独立地或以两种或更多种的组合来应用。
以上示例性实施方案所呈现的描述仅用以说明本发明的技术方案，并不想要成为毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，本领域的普通技术人员根据上述教导做出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。
Claims (14)
1.一种用于评估无针注射器的注射效果的图像的处理方法，所述图像中具有无针注射器测试所产生的测量对象，所述用于评估无针注射器的注射效果的图像的处理方法包括以下步骤：
对由摄像机捕获到的图像进行预处理，以去除图像中不相关的部分并且通过图像增强突出图像中的关键信息；
通过阈值分割和区域分割的组合从预处理后的图像中提取所述测量对象，并且根据图像的类型，利用相应的阈值分割法以得到测量对象；
测量提取到的测量对象的形状信息，并且根据图像的类型，利用相应的形状信息测量方法以得到测量对象的至少一部分形状信息。
2.根据权利要求1所述的用于评估无针注射器的注射效果的图像的处理方法，其中：
所述图像分类为第一类型图像、第二类型图像和第三类型图像，并且第一类型图像中具有的测量对象的边缘清晰程度强于第二类型图像和第三类型图像中具有的测量对象的边缘清晰程度，第三类型图像中的测量对象的所有形状信息在测量时不需要提取测量对象的边缘，而第一类型图像和第二类型图像中的测量对象的至少一部分形状信息在测量时需要提取测量对象的边缘。
3.根据权利要求2所述的用于评估无针注射器的注射效果的图像的处理方法，其中：根据图像的类型利用相应的阈值分割法的步骤包括：
确定图像是否是第一类型图像；
当确定出图像是第一类型图像时，利用迭代阈值法进行阈值分割；
当确定出图像不是第一类型图像时，利用最大熵阈值分割法进行阈值分割。
4.根据权利要求3所述的用于评估无针注射器的注射效果的图像的处理方法，其中：在对图像进行阈值分割之后，利用区域生长法对图像进行区域分割。
5.根据权利要求2所述的用于评估无针注射器的注射效果的图像的处理方法，其中：根据图像的类型利用相应的形状信息测量方法的步骤包括：
确定图像是否是第三类型图像；
当确定出图像是第三类型图像时，直接测量提取到的测量对象的形状信息；
当确定出图像不是第三类型图像时，提取测量对象的边缘，接收对测量起点和测量终点的选择，并且所述测量起点和测量终点的至少一个在测量对象的边缘上，测量测量起点与测量终点之间的距离，以测量出测量对象的至少一部分形状信息。
6.根据权利要求5所述的用于评估无针注射器的注射效果的图像的处理方法，其中，直接测量提取到的测量对象的形状信息的步骤包括：调用regionprops函数，测量出测量对象的形状信息。
7.根据权利要求5所述的用于评估无针注射器的注射效果的图像的处理方法，其中，提取测量对象的边缘的步骤包括：对测量对象的边缘进行平滑处理，并且利用canny边缘提取法提取测量对象的边缘。
8.根据权利要求5所述的用于评估无针注射器的注射效果的图像的处理方法，其中：接收对测量起点和测量终点的选择的步骤包括：调用距离绘制函数，通过用户单击的鼠标操作来接收对测量起点的选择，通过用户再次单击的鼠标操作来接收对测量终点的选择。
9.根据权利要求5所述的用于评估无针注射器的注射效果的图像的处理方法，其中：
所述图像中进一步具有已知尺寸的参照物，
测量测量起点与测量终点之间的距离的步骤包括：接收对测量标签比例尺的修改，根据修改后的测量标签比例尺来计算测量起点与测量终点之间的实际距离。
10.根据权利要求5所述的用于评估无针注射器的注射效果的图像的处理方法，其中：
所述第一类型图像是向用于模拟皮肤的物质中注射药液的图像；
所述第二类型图像是向动物体皮肤注射药液后的皮肤的剖视图像；
所述第三类型图像是向动物体皮肤注射药液后所产生的皮丘的图像。
11.根据权利要求10所述的用于评估无针注射器的注射效果的图像的处理方法，其中：
所述第一类型图像中的测量对象的所有形状信息包括：测量对象的最小外接矩形的长度和宽度、测量对象上端点沿测量对象的长度方向至测量对象内部特定一点的长度，测量对象的最小外接矩形的长度表明药液扩散深度，测量对象的最小外接矩形的宽度表明药液扩散直径，测量对象上端点沿测量对象的长度方向至测量对象内部特定一点的长度表明深入孔长度；
所述第二类型图像中的测量对象的所有形状信息包括：测量对象在横向方向上的最长距离和在纵向方向上的最长距离，测量对象在横向方向上的最长距离表明皮内注射扩散宽度，测量对象在纵向方向上的最长距离表明皮内注射扩散深度；
所述第三类型图像中的测量对象的所有形状信息包括测量对象的直径，测量对象的直径表明皮丘直径。
12.根据权利要求1所述的用于评估无针注射器的注射效果的图像的处理方法，其中，图像的预处理的步骤包括：
接收由摄像机捕获到的图像，并且显示图像；
裁剪图像；
对裁剪后的图像进行RGB分离；
通过调整分离出的G通道图像或R通道图像的对比度和/或灰度值来使图像增强。
13.根据权利要求12所述的用于评估无针注射器的注射效果的图像的处理方法，其中：对裁剪后的图像进行RGB分离的步骤包括：
确定无针注射器测试时所注射的药液是否是罗丹明B染色剂；
当确定出无针注射器测试时所注射的药液是罗丹明B染色剂时，使裁剪后的图像分离为G通道图像；
当确定出无针注射器测试时所注射的药液不是罗丹明B染色剂时，使裁剪后的图像分离为R通道图像。
14.一种用于评估无针注射器的注射效果的图像的处理装置，其包括：
至少一个数据处理器；以及
至少一个存储器，其存储指令，当由所述至少一个数据处理器执行所述指令时，使得执行根据权利要求1至13的任意一项所述的用于评估无针注射器的注射效果的图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051696.4A CN117893496A (zh) | 2024-01-12 | 2024-01-12 | 用于评估无针注射器的注射效果的图像的处理方法和处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051696.4A CN117893496A (zh) | 2024-01-12 | 2024-01-12 | 用于评估无针注射器的注射效果的图像的处理方法和处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117893496A true CN117893496A (zh) | 2024-04-16 |
Family
ID=90650576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410051696.4A Pending CN117893496A (zh) | 2024-01-12 | 2024-01-12 | 用于评估无针注射器的注射效果的图像的处理方法和处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893496A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590324A (zh) * | 2016-02-03 | 2016-05-18 | 上海联影医疗科技有限公司 | 医学图像的分割方法及其装置 |
| CN106421994A (zh) * | 2016-08-29 | 2017-02-22 | 南昌禾雅堂贸易有限公司 | 一种具有光学扫描反馈的自动无针注射装置 |
| CN107301405A (zh) * | 2017-07-04 | 2017-10-27 | 上海应用技术大学 | 自然场景下的交通标志检测方法 |
| US20180147351A1 (en) * | 2016-11-29 | 2018-05-31 | Portal Instruments, Inc. | Method and device for delivering a subcutaneous dose through multiple injections |
| WO2022175923A1 (en) * | 2021-02-22 | 2022-08-25 | Cae Healthcare Canada Inc. | Method and system for assessing an injection of a pharmaceutical product |
-
2024
- 2024-01-12 CN CN202410051696.4A patent/CN117893496A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590324A (zh) * | 2016-02-03 | 2016-05-18 | 上海联影医疗科技有限公司 | 医学图像的分割方法及其装置 |
| CN106421994A (zh) * | 2016-08-29 | 2017-02-22 | 南昌禾雅堂贸易有限公司 | 一种具有光学扫描反馈的自动无针注射装置 |
| US20180147351A1 (en) * | 2016-11-29 | 2018-05-31 | Portal Instruments, Inc. | Method and device for delivering a subcutaneous dose through multiple injections |
| CN107301405A (zh) * | 2017-07-04 | 2017-10-27 | 上海应用技术大学 | 自然场景下的交通标志检测方法 |
| WO2022175923A1 (en) * | 2021-02-22 | 2022-08-25 | Cae Healthcare Canada Inc. | Method and system for assessing an injection of a pharmaceutical product |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kothari et al. | Automatic batch-invariant color segmentation of histological cancer images | |
| CN110472616B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| US8098907B2 (en) | Method and system for local adaptive detection of microaneurysms in digital fundus images | |
| CN104094118B (zh) | 通过显微图像自动识别全血样品中血小板的方法和设备 | |
| WO2021093451A1 (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
| CN108510502A (zh) | 基于深度神经网络的黑色素瘤图片组织分割方法和系统 | |
| Landini et al. | Automatic thresholding from the gradients of region boundaries | |
| US20150262356A1 (en) | Information processing apparatus, information processing system, information processing method, program, and recording medium | |
| CN106780522B (zh) | 一种基于深度学习的骨髓液细胞分割方法 | |
| US20040264749A1 (en) | Boundary finding in dermatological examination | |
| US9916515B2 (en) | Image processing | |
| Barbosa et al. | Towards automatic quantification of the epicardial fat in non-contrasted CT images | |
| CN108961250A (zh) | 一种目标物统计方法、装置、终端以及存储介质 | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| Ali et al. | Optic Disc Localization in Retinal Fundus Images Based on You Only Look Once Network (YOLO). | |
| DE112019004112T5 (de) | System und verfahren zur analyse mikroskopischer bilddaten und zur erzeugung eines annotierten datensatzes zum training der klassifikatoren | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| CN110189327A (zh) | 基于结构化随机森林编码器的眼底视网膜血管分割方法 | |
| CN117893496A (zh) | 用于评估无针注射器的注射效果的图像的处理方法和处理装置 | |
| CN110363762A (zh) | 细胞检测方法、装置、智能显微镜系统和可读存储介质 | |
| Feng et al. | An advanced automated image analysis model for scoring of ER, PR, HER-2 and Ki-67 in breast carcinoma | |
| Campanile et al. | An open source plugin for image analysis in biology | |
| Skodras et al. | Object recognition in the ovary: quantification of oocytes from microscopic images | |
| CN114648509A (zh) | 一种基于多分类任务的甲状腺癌检出系统 | |
| KR102220574B1 (ko) | 영상 데이터 필터링을 위한 품질 점수 임계값 산출 방법, 장치 및 컴퓨터프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |