CN113434718A - 确定关联图像的方法、装置、电子设备及存储介质 - Google Patents
确定关联图像的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113434718A CN113434718A CN202110729033.XA CN202110729033A CN113434718A CN 113434718 A CN113434718 A CN 113434718A CN 202110729033 A CN202110729033 A CN 202110729033A CN 113434718 A CN113434718 A CN 113434718A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- medical image
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003902 lesion Effects 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 13
- 206010061218 Inflammation Diseases 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004054 inflammatory process Effects 0.000 claims description 5
- 208000010201 Exanthema Diseases 0.000 claims description 4
- 201000005884 exanthem Diseases 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 206010037844 rash Diseases 0.000 claims description 4
- 206010028980 Neoplasm Diseases 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 42
- 210000004072 lung Anatomy 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 208000003149 Bone Malalignment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种确定关联图像的方法、装置、电子设备及存储介质，该方法包括：当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。本发明实施例的技术方案，提高了确定出的目标关联图像与待处理医疗图像的相似性以及准确性的技术效果。
Description
技术领域
本发明实施例涉及医疗技术领域，尤其涉及一种确定关联图像的方法、装置、电子设备及存储介质。
背景技术
以图搜图也称图搜，是利用计算机视觉技术判断要搜索的图像，与数据索引库中保存图片的相似程度，来召回其相似图片以及附属内容。该技术通常应用于人工智能系统等领域。
有效利用多种信息资源进行决策和估计的体制、方法和系统实现，可以提高决策和估计的准确性、可靠性。图片中通常存在丰富多样的信息，往往存在局部信息与整体信息，综合利用不同的信息，对图片进行描述与说明，从而能更明确地表达图片的意义。
通常，医学图像检索提供以图(用户query图)搜图(结果图)的识别。主要是基于离线训练好深度特征模型进行特征匹配，从而召回相似的图片，反馈至用户。经过分析发现，很多图片整体是很相似的，但是其实际来源的科室、涉及的病种等却不一样，导致搜索出的图像与预期图像存在较大的差异，进而引起用户体验差的问题。
发明内容
本发明提供一种确定关联图像的方法、装置、电子设备及存储介质，以实现提高确定出的关联图像与待处理医疗图像之间的相似性以及高效性的技术效果。
第一方面，本发明实施例提供了一种确定关联图像的方法，该方法包括：
当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；
基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；
基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；
基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
第二方面，本发明实施例还提供了一种确定关联图像的装置，该装置包括：
待处理医疗图像确定模块，用于当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；
部位关联信息确定模块，用于基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；
病灶关联信息确定模块，用于基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；
目标关联图像确定模块，用于基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的确定关联图像的方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的确定关联图像的方法。
本发明实施例的技术方案，在接收到目标请求时，确定与目标请求相对应的待处理医疗图像，并基于预选训练的部位检测模型对待处理医疗图像进行处理，得到待处理医疗图像中的部位关联信息，同时，基于预先训练的目标检测器确定待处理医疗图像的病灶关联信息，进而基于病灶关联信息和部位关联信息，从数据库中调取与待处理医疗图像相似的图像，即目标关联图像，提高了确定出的目标关联图像与待处理医疗图像的相似性以及准确性，在基于相似图像进行病灶分析处理时，可以提高处理的准确性，进而提高治疗效率的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种确定关联图像的方法流程示意图；
图2为本发明实施例二所提供的一种确定关联图像的方法流程示意图；
图3为本发明实施例三所提供的一种确定关联图像的装置结构示意图；
图4为本发明实施例四所提供的一种确定电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种确定关联图像的方法流程示意图，本实施例可适用于查找与待处理医疗图像相似的关联图像的情况，该方法可以由确定关联图像的装置来执行，该装置可以通过软件和/或硬件的形式实现，硬件可以是电子设备，如，移动终端或PC端等。
如图1所述，本实施例的方法包括：
S110、当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像。
需要说明的，本发明实施例的技术方案可以集成在应用程序中，可以查找与待处理医疗图像相似的图像。
其中，目标请求是基于用户的触发操作生成的，例如，在将待处理医疗图像导入至应用程序后，可以触发确认按键，此时可以生成目标请求。如果用户想要查找与某个图像相似的图像，可以将某个图像作为待处理医疗图像。待处理医疗图像中包括病灶类型和器官信息。
具体的，在接收到目标请求时，可以确定与目标请求相对应的待处理医疗图像，以便基于待处理医疗图像确定相似医疗图像。
在本实施例中，在所述当接收到目标请求时，确定与所述目标请求相对应的待处理医疗图像之前，还包括：当检测到触发图像导入控件时，导入所述待处理医疗图像，并在检测到触发目标搜索控件时，生成所述目标请求，并根据所述目标请求，确定所述待处理医疗图像。
其中，当检测到触发图像导入控件时，可以弹出相应的弹窗，用户可以导入相应的图像，可以将导入的图像作为待处理医疗图像。目标搜索控件可以是确认按键。当检测到用户触发目标搜索控件时，可以生成目标请求，以使服务器接收到目标请求时，根据与目标请求相对应的待处理医疗图像确定相应的关联图像，即相似图像。
具体的，当检测到用户触发图像导入控件，可以弹出相应的弹窗，可以将待处理医疗图像导入至弹窗中。用户可以触发目标搜索控件，并基于导入的待处理医疗图像生成目标处理请求，并将目标处理请求发送至服务器。服务器在接收到目标处理请求时，可以确定与目标处理请求相对应的待处理医疗图像。
S120、基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息。
其中，部位检测模型为预先训练的，用于确定待处理医疗图像中显示的部位为哪一个部位，可选的，部位可以是心脏、肺部等。部位关联信息可以是部位形状，以及部位标签。
具体的，将待处理医疗图像输入至部位检测模型后，部位检测模型可以对待处理医疗图像进行处理，得到待处理医疗图像的部位关联信息，如，部位标签和部位形状。
在本实施例中，部位关联信息包括部位形状以及部位标签信息，相应的，基于预先训练的部位检测模型对待处理医疗图像进行处理，得到与待处理医疗图像相对应的部位关联信息，包括：将待处理医疗图像输入至部位检测模型中，得到待处理医疗图像中的部位形状信息和部位标签信息。
其中，部位形状可以是部位的轮廓。部位可以是待检查的包围，可选的，心脏、肺部等。部位标签信息可以是与心脏相对应的标签，与肺部相对应的标签。
具体的，可以将待处理医疗图像输入至部位检测模型中，可以输出部位标签，以及部位形状信息。
在本实施例中，部位检测模型为预先训练的，对部位检测模型的训练方式可以是：获取训练样本集合，样本集合中包括多个训练样本。训练样本中包括待训练医疗图像，与待训练医疗图像相对应的部位形状和部位标签。可以将待训练医疗图像作为待训练部位检测模型的输入，将部位形状和部位标签作为待训练部位检测模型的输出，训练得到所述部位检测模型，以基于所述部位检测模型对待处理医疗图像进行处理，得到部位形状和部位标签。
S130、基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息。
其中，目标检测器为预先训练的，用于对待处理医疗图像进行处理，得到病灶关联信息。病灶关联信息中包括病灶类型信息和病灶位置信息。病灶类型可以是阴影、白斑、红疹、骨裂、错位等，主要是疾病中可能遇到的类型，均为本实施例中所限定的病灶类型，其具体的名称在此不再一一列出。病灶位置信息可以是病灶在待处理医疗图像中的像素点信息或者是具体坐标信息。
具体的，可以将待处理医疗图像输入至目标检测器中，基于目标检测器可以识别出待处理医疗图像中的病灶类型和病灶位置信息。
可以理解为：所述基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信，包括：基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到所述待处理医疗图像中的病灶类型和病灶位置信息；其中，所述病灶类型信息包括阴影、肿瘤、斑点、红疹、硬块以及炎症中的至少一种。
S140、基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
其中，目标关联图像是与待处理医疗图像相似的图像，例如，目标关联图像中的病灶部位可以是待处理医疗图像中的病灶部位相一致，病灶类型可以与待处理医疗图像中的病灶类型也相一致。
具体的，根据病灶关联信息和部位关联信息，可以从预先建立的图片库中调取至少一幅目标关联图像。
需要说明的，图片库中包括至少一幅图像，每幅图像可以按照部位标签进行存储，也可以是统一存储在数据库中。每幅图像均存在与其关联的信息，例如，部位标签和病灶类型信息，在确定待处理医疗图像的病灶关联信息和部位关联信息后，可以从图片库中调取与待处理医疗图像相似的医疗图像，并将待处理医疗图像作为图片库中的一幅图像。
本发明实施例的技术方案，在接收到目标请求时，确定与目标请求相对应的待处理医疗图像，并基于预选训练的部位检测模型对待处理医疗图像进行处理，得到待处理医疗图像中的部位关联信息，同时，基于预先训练的目标检测器确定待处理医疗图像的病灶关联信息，进而基于病灶关联信息和部位关联信息，从数据库中调取与待处理医疗图像相似的图像，即目标关联图像，提高了确定出的目标关联图像与待处理医疗图像的相似性以及准确性，在基于相似图像进行病灶分析处理时，可以提高处理的准确性，进而提高治疗效率的技术效果。
实施例二
图2为本发明实施例二所提供的一种确定关联图像的方法流程示意图，在前述实施例的基础上，部位关联信息中包括部位位置信息，根据部位关联信息和病灶关联信息，确定至少一幅目标关联图像的具体实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示，所述方法包括：
S210、当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像。
示例性的，根据用户在客户端上的触发操作，生成目标请求，并将目标请求发送至服务器，以使服务器根据接收到的目标请求确定相应的待处理医疗图像。
S220、基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息。
示例性的，可以将待处理医疗图像输入至部位检测模型中，部位检测模型可以输出待处理医疗图像中的部位形状region_Bbox和部位标签region_category，即待处理医疗图像中显示的是哪一个部位，即显示的是哪一个器官或者哪几个器官，部位可以是头部、肺部等。
S230、基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息。
示例性的，同时，可以将待处理医疗图像输入至目标检测器中，确定待处理医疗图像中的病灶类型target_Bbox和病灶位置信息。
S240、如果所述病灶位置信息在所述部位位置信息之内，则从所述数据库中调取与所述部位标签信息相关联的至少一幅待匹配关联图像。
需要说明的，部位关联信息中包括部位位置信息。
其中，待匹配关联图像是根据部位标签从图片库中调取出的图像，此时，待匹配图像中的部位与待处理医疗图像中的部位相同，但是病灶是否与待处理医疗图像中的病灶类型是否相一致，还需要进一步确认。待匹配关联图像也是医疗图像。
具体的，根据病灶位置信息和部位位置信息，可以确定病灶是否在部位内部，如果是，则说明病灶位于某个器官之内，此时想获取都的关联图像可能是此器官中包括此病灶的相似图像。
示例性的，如果根据部位形状的位置信息和病灶的位置信息，确定病灶位于部位内部时，则可以根据部位标签从图片库中调取相应的待匹配图像，如，region_Bbox的区域包含target_Bbox，即target_Bbox U region_Bbox＝target_Bbox，则说明可以基于部位标签从图片库中调取相应的图像，并作为待匹配图像。
S250、基于目标分类器中的各个子分类器对所述病灶关联信息进行处理，得到与所述待处理医疗图像相关联的至少一幅待使用关联图像。
其中，目标分类器也是预先训练得到的，该目标分类器中包括多个子分类器，每个子分类器用于执行不同的功能。目标分类器用于对病灶关联信息处理，确定与病灶类型相关联的至少一幅待使用关联图像，即待使用关联图像是图片库中与病灶关联信息相适配的图像。
具体的，基于目标分类器中的每个子分类器对病灶关联信息进行处理，可以得到至少一幅图像待使用关联图像。
在本实施例中，所述病灶关联信息中还包括基于病灶位置信息裁剪的病灶图像，所述基于目标分类器中的各个子分类器对所述病灶关联信息进行处理，得到与所述待处理医疗图像相关联的至少一幅待使用关联图像，包括：当基于所述目标分类器中的类别子分类器，确定所述病灶图像的病灶类别为合理标签，则基于所述目标分类器中的特征提取子分类器确定所述病灶图像的病灶特征向量；从数据库中调取与所述病灶特征向量相关联的至少一幅待使用关联图像。
其中，目标分类器可以根据病灶关联信息中的病灶位置信息，对待处理医疗图像进行剪裁，得到与病灶位置信息相匹配的病灶图像。即病灶图像是根据病灶位置信息裁剪出的图像。类别分类器为确定病灶位于某个部位是否合理的分类器。合理标签可以理解为病灶位于某个部位中是合理的，反之，如何病灶位于某个位置中是不合理的，则为不合理标签。示例性的，病灶类型为炎症，部位是肺部，可以根据病灶类型炎症和肺部，确定此病灶类型位于肺部是否为合理的，如果是，则为合理标签，如果不是，则为不合理标签，此时可以定义图像匹配不成功，可以将基于部位关联信息确定出的待匹配图像作为最终的图像。
其中，特征提取子分类器用于提取病灶图像中的病灶特征向量。为了提高搜索图像的高效性，可以依据病灶特征向量从图片库中各图像的病灶特征向量进行相似度处理，并将相似度高于预设相似度阈值的图像作为待使用关联图像。
具体的，基于目标分类器中的类别子分类器，确定病灶位于部位中是否合理，如果是合理的，则基于目标分类器中的特征提取子分类器提取待处理医疗图像的病灶特征，并确定与病灶特征相对应的病灶特征向量。采用余弦相似度发确定图片库中各个病灶的病灶特征向量与待处理医疗图像中病灶特征向量之间的相似度值，并将相似度值高于预设相似度阈值的图像作为待使用关联图像。
也就是说，待使用关联图像中是病灶特征类似的图像。
S260、基于所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像，确定所述目标关联图像。
基于上述可知，待匹配关联图像是与部位标签相一致的图像，待使用关联图像是与病灶类型相一致的图像。为了确定与待处理医疗图像高度相似的图像，可以根据待匹配关联图像和待使用关联图像，确定目标关联图像。
在本实施例中，所述基于所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像，确定所述目标关联图像，包括：将所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像中的重合图像，作为待选择关联图像；将所述待选择关联图像中相似度值高于预设相似度阈值的图像，作为目标关联图像。
可以理解为，待匹配关联图像和待使用关联图像中可以包括重合的图像，将重合的图像作为待选择关联图像。可以将所有待选择关联图像作为目标关联图像。
为了进一步提高确定出的目标关联图像与待处理医疗图像之间的相似度，可以确定待选择关联图像和待处理医疗图像之间的相似度值，并将相似度值高于预设相似度阈值的图像作为目标关联图像，或者，根据相似度值，确定预设数量的图像作为目标关联图像。
本发明实施例的技术方案，在接收到目标请求时，确定与目标请求相对应的待处理医疗图像，并基于预选训练的部位检测模型对待处理医疗图像进行处理，得到待处理医疗图像中的部位关联信息，同时，基于预先训练的目标检测器确定待处理医疗图像的病灶关联信息，进而基于病灶关联信息和部位关联信息，从数据库中调取与待处理医疗图像相似的图像，即目标关联图像，提高了确定出的目标关联图像与待处理医疗图像的相似性以及准确性，在基于相似图像进行病灶分析处理时，可以提高处理的准确性，进而提高治疗效率的技术效果。
实施例三
图3为本发明实施例三提供的一种确定关联图像的装置结构示意图，一该装置包括：待处理医疗图像确定模块310、部位关联信息确定模块320、病灶关联信息确定模块330以及目标关联图像确定模块340。
其中，待处理医疗图像确定模块310，用于当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；部位关联信息确定模块320，用于基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；病灶关联信息确定模块330，用于基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；目标关联图像确定模块340，用于基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
在上述技术方案的基础上，所述待处理医疗图像确定模块，还用于：
当检测到触发图像导入控件时，导入所述待处理医疗图像，并在检测到触发目标搜索控件时，生成所述目标请求，并根据所述目标请求，确定所述待处理医疗图像。
在上述技术方案的基础上，，所述部位关联信息包括部位形状信息以及部位标签信息，所述部位关联信息确定模块，还用于：将所述待处理医疗图像输入至所述部位检测模型中，得到所述待处理医疗图像中的部位形状信息和所述部位标签信息。
在上述技术方案的基础上，所述病灶关联信息包括病灶类型信息和病灶位置信息，所述基病灶关联信确定模块，还用于：
基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到所述待处理医疗图像中的病灶类型和病灶位置信息；其中，所述病灶类型信息包括阴影、肿瘤、斑点、红疹、硬块以及炎症中的至少一种。
在上述技术方案的基础上，所述部位关联信息中包括部位位置信息，所述目标关联图像确定模块，包括：
待匹配关联图像确定单元，用于如果所述病灶位置信息在所述部位位置信息之内，则从所述数据库中调取与所述部位标签信息相关联的至少一幅待匹配关联图像；
待使用关联图像确定单元，用于基于目标分类器中的各个子分类器对所述病灶关联信息进行处理，得到与所述待处理医疗图像相关联的至少一幅待使用关联图像；
目标关联图像确定单元，用于基于所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像，确定所述目标关联图像。
在上述技术方案的基础上，所述病灶关联信息中还包括基于病灶位置信息裁剪的病灶图像，所述待使用关联图像确定单元，还包括：
病灶特征向量确定子单元，用于当基于所述目标分类器中的类别子分类器，确定所述病灶图像的病灶类别为合理标签，则基于所述目标分类器中的特征提取子分类器确定所述病灶图像的病灶特征向量；
待使用关联图像确定子单元，用于从数据库中调取与所述病灶特征向量相关联的至少一幅待使用关联图像。
在上述技术方案的基础上，所述目标关联图像确定子单元，用于：
将所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像中的重合图像，作为待选择关联图像；将所述待选择关联图像中相似度值高于预设相似度阈值的图像，作为目标关联图像。
本发明实施例的技术方案，在接收到目标请求时，确定与目标请求相对应的待处理医疗图像，并基于预选训练的部位检测模型对待处理医疗图像进行处理，得到待处理医疗图像中的部位关联信息，同时，基于预先训练的目标检测器确定待处理医疗图像的病灶关联信息，进而基于病灶关联信息和部位关联信息，从数据库中调取与待处理医疗图像相似的图像，即目标关联图像，提高了确定出的目标关联图像与待处理医疗图像的相似性以及准确性，在基于相似图像进行病灶分析处理时，可以提高处理的准确性，进而提高治疗效率的技术效果。
本发明实施例所提供的确定关联图像的装置可执行本发明任意实施例所提供的确定关联图像的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图4显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图4中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的确定关联图像的方法。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行确定关联图像的方法。
其中，该方法包括：
当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；
基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；
基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；
基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种确定关联图像的方法，其特征在于，包括：
当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；
基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；
基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；
基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
2.根据权利要求1所述的方法，其特征在于，在所述当接收到目标请求时，确定与所述目标请求相对应的待处理医疗图像之前，还包括：
当检测到触发图像导入控件时，导入所述待处理医疗图像，并在检测到触发目标搜索控件时，生成所述目标请求，并根据所述目标请求，确定所述待处理医疗图像。
3.根据权利要求1所述的方法，其特征在于，所述部位关联信息包括部位形状信息以及部位标签信息，所述基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息，包括：
将所述待处理医疗图像输入至所述部位检测模型中，得到所述待处理医疗图像中的部位形状信息和所述部位标签信息。
4.根据权利要求1所述的方法，其特征在于，所述病灶关联信息包括病灶类型信息和病灶位置信息，所述基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信，包括：
基于预先训练的目标检测器对所述待处理医疗图像进行处理，得到所述待处理医疗图像中的病灶类型和病灶位置信息；
其中，所述病灶类型信息包括阴影、肿瘤、斑点、红疹、硬块以及炎症中的至少一种。
5.根据权利要求4所述的方法，其特征在于，所述部位关联信息中包括部位位置信息，所述基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像，包括：
如果所述病灶位置信息在所述部位位置信息之内，则从数据库中调取与所述部位标签信息相关联的至少一幅待匹配关联图像；
基于目标分类器中的各个子分类器对所述病灶关联信息进行处理，得到与所述待处理医疗图像相关联的至少一幅待使用关联图像；
基于所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像，确定所述目标关联图像。
6.根据权利要求5所述的方法，其特征在于，所述病灶关联信息中还包括基于病灶位置信息裁剪的病灶图像，所述基于目标分类器中的各个子分类器对所述病灶关联信息进行处理，得到与所述待处理医疗图像相关联的至少一幅待使用关联图像，包括：
当基于所述目标分类器中的类别子分类器，确定所述病灶图像的病灶类别为合理标签，则基于所述目标分类器中的特征提取子分类器确定所述病灶图像的病灶特征向量；
从数据库中调取与所述病灶特征向量相关联的至少一幅待使用关联图像。
7.根据权利要求5所述的方法，其特征在于，所述基于所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像，确定所述目标关联图像，包括：
将所述至少一幅待匹配关联图像和所述至少一幅待使用关联图像中的重合图像，作为待选择关联图像；
将所述待选择关联图像中相似度值高于预设相似度阈值的图像，作为目标关联图像。
8.一种确定关联图像的装置，其特征在于，包括：
待处理医疗图像确定模块，用于当接收到目标请求时，确定与所述目标请求相对应待处理医疗图像；
部位关联信息确定模块，用于基于预先训练的部位检测模型对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的部位关联信息；
病灶关联信息确定模块，用于基于预先训练的目标检测器确定对所述待处理医疗图像进行处理，得到与所述待处理医疗图像相对应的病灶关联信息；
目标关联图像确定模块，用于基于所述病灶关联信息和所述部位关联信息，调取与所述待处理医疗图像相关联的至少一幅目标关联图像。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的确定关联图像的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的确定关联图像的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110729033.XA CN113434718A (zh) | 2021-06-29 | 2021-06-29 | 确定关联图像的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110729033.XA CN113434718A (zh) | 2021-06-29 | 2021-06-29 | 确定关联图像的方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434718A true CN113434718A (zh) | 2021-09-24 |
Family
ID=77757654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110729033.XA Pending CN113434718A (zh) | 2021-06-29 | 2021-06-29 | 确定关联图像的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434718A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219978A (zh) * | 2021-11-17 | 2022-03-22 | 浙江大华技术股份有限公司 | 目标多部位关联方法及装置、终端、计算机可读存储介质 |
| CN115831324A (zh) * | 2022-11-29 | 2023-03-21 | 北京医准智能科技有限公司 | 一种医学图像筛选方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN110728673A (zh) * | 2019-10-21 | 2020-01-24 | 上海联影医疗科技有限公司 | 一种目标部位分析方法、装置、计算机设备及存储介质 |
| CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
| CN111666993A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN111899848A (zh) * | 2020-08-05 | 2020-11-06 | 中国联合网络通信集团有限公司 | 图像识别方法及设备 |
| CN112634309A (zh) * | 2020-11-30 | 2021-04-09 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-29 CN CN202110729033.XA patent/CN113434718A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136103A (zh) * | 2019-04-24 | 2019-08-16 | 平安科技（深圳）有限公司 | 医学影像解释方法、装置、计算机设备及存储介质 |
| CN110751179A (zh) * | 2019-09-18 | 2020-02-04 | 无锡祥生医疗科技股份有限公司 | 病灶信息获取方法、病灶预测模型的训练方法及超声设备 |
| CN110728673A (zh) * | 2019-10-21 | 2020-01-24 | 上海联影医疗科技有限公司 | 一种目标部位分析方法、装置、计算机设备及存储介质 |
| CN111666993A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN111899848A (zh) * | 2020-08-05 | 2020-11-06 | 中国联合网络通信集团有限公司 | 图像识别方法及设备 |
| CN112634309A (zh) * | 2020-11-30 | 2021-04-09 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219978A (zh) * | 2021-11-17 | 2022-03-22 | 浙江大华技术股份有限公司 | 目标多部位关联方法及装置、终端、计算机可读存储介质 |
| CN115831324A (zh) * | 2022-11-29 | 2023-03-21 | 北京医准智能科技有限公司 | 一种医学图像筛选方法、装置、设备及存储介质 |
| CN115831324B (zh) * | 2022-11-29 | 2023-12-15 | 浙江医准智能科技有限公司 | 一种医学图像筛选方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832662B (zh) | 一种获取图片标注数据的方法和系统 | |
| CN108683937B (zh) | 智能电视的语音交互反馈方法、系统及计算机可读介质 | |
| JP7265034B2 (ja) | 人体検出用の方法及び装置 | |
| CN109299320B (zh) | 一种信息交互方法、装置、计算机设备和存储介质 | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| JP2019212290A (ja) | ビデオを処理する方法及び装置 | |
| CN109034069B (zh) | 用于生成信息的方法和装置 | |
| CN110740389B (zh) | 视频定位方法、装置、计算机可读介质及电子设备 | |
| WO2019080411A1 (zh) | 电子装置、人脸图像聚类搜索方法和计算机可读存储介质 | |
| US11475588B2 (en) | Image processing method and device for processing image, server and storage medium | |
| CN111209431A (zh) | 一种视频搜索方法、装置、设备及介质 | |
| CN110610127B (zh) | 人脸识别方法、装置、存储介质及电子设备 | |
| CN111985241B (zh) | 医学信息查询方法、装置、电子设备及介质 | |
| CN113434718A (zh) | 确定关联图像的方法、装置、电子设备及存储介质 | |
| JP2021034003A (ja) | 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム | |
| CN111506771A (zh) | 一种视频检索方法、装置、设备及存储介质 | |
| CN110609879B (zh) | 兴趣点判重方法、装置、计算机设备及存储介质 | |
| CN111881681A (zh) | 实体样本获取方法、装置及电子设备 | |
| CN113177479B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN113269125B (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
| CN111552780B (zh) | 医用场景的搜索处理方法、装置、存储介质及电子设备 | |
| CN110378378B (zh) | 事件检索方法、装置、计算机设备及存储介质 | |
| CN114385891A (zh) | 数据搜索方法、装置、电子设备及存储介质 | |
| CN112925942A (zh) | 一种数据搜索方法、装置、设备及存储介质 | |
| CN108304080B (zh) | 输入法换算货币的方法、装置、设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |