CN107341189A - 一种辅助人工对图像进行筛查、分类和存储的方法及系统 - Google Patents
一种辅助人工对图像进行筛查、分类和存储的方法及系统 Download PDFInfo
- Publication number
- CN107341189A CN107341189A CN201710434071.6A CN201710434071A CN107341189A CN 107341189 A CN107341189 A CN 107341189A CN 201710434071 A CN201710434071 A CN 201710434071A CN 107341189 A CN107341189 A CN 107341189A
- Authority
- CN
- China
- Prior art keywords
- image
- medical science
- pending
- template
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
公开了一种辅助人工对图像进行筛查、分类和存储的方法及系统，所述方法包括：获取和输出待处理图像；获取该待处理图像所对应的待处理图像特征向量；分别计算待处理图像特征向量与各个医学或非医学模板图像特征向量之间的相似度指示值；将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；提取选定待处理图像的缩略图；向用户显示包含缩略图等的信息；用户根据显示信息产生经人工确认的医学模板图像类的类别；将选定待处理图像按照经人工确认的类别存储在医疗图像数据库中。能够辅助人工对图像进行筛查、分类和存储。
Description
技术领域
本发明涉及图像处理和存储，特别涉及一种辅助人工对图像进行筛查、分类和存储的方法及系统。
背景技术
随着互联网和数据库技术的发展，人们通过检索获取信息的方式更加方便快捷。而且，随着照相机和摄像头等图像和视频采集设备的日益普及，网络中的图像和视频数据也日益增多，由此进入了大数据的时代。因此，出现了基于图像和视频数据的各种应用和服务，比如互联网上使用的基于图像内容的图像搜索应用和服务。这种互联网上使用的搜索应用和服务对数据库中存储的数据源的内容可以不进行严格认证，但是，利用经过认证存储后的数据源进行搜索的结果应该更利于用户获得期望的结果。
然而，当针对就诊患者本人的医疗图像在医疗图像专家库中进行检索以获取相似病例的诊断结果并辅助医生进行诊断时，所使用的医疗图像专家库的数据源应当是经过人工认证的数据源，以保证准确性。
现有技术中已经存在基于网格平台和分布式医疗图像专家库的医学图像检索系统。而且，也已知德国亚琛大学已经开发出了用于医学图像分类的IRMA系统，按照成像类型、拍摄部位等将医学图像分类存储在图像库中。
如果医疗图像专家库中的医疗图像的分类和存储操作完全依赖于人工分类和存储的话，虽然能够保证数据源的准确性，但是工作量较大。
另外，随着大数据时代的到来，存储在图像专家库中的认证数据源的数据来源也可能会不限于医院提供的类似于X射线、CT、MRI等的传统医疗图像，而是将数据来源扩展至通过互联网或移动互联网采集的可以用于诊断的其它形式的图像或视频数据，这就需要先人工排除非医疗图像，然后再对医疗图像进行分类和存储。在这种情况下，单纯靠人工进行分类和存储的工作量将更大。而且，完全自动的图像分类算法也会存在一定的错误分类的概率。
因此，有必要提供一种方法和系统来辅助人工对将要被存储在特定应用和服务所使用的图像数据库中的图像进行筛查、分类和存储，从而保证该图像数据库中的数据源自身和数据源所属类别等的准确性。同时，也为自动图像分类算法提供正确的反馈信息，从而基于反馈信息来进行算法优化。
发明内容
至少为了部分解决上述技术问题，本发明提出了以下技术方案。
根据本发明的一种辅助人工对图像进行筛查、分类和存储的方法，包括以下步骤：步骤1：获取和输出待处理图像；步骤2：对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；步骤3：分别计算待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；步骤4：将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；步骤5：在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图；步骤6：向用户显示包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息；步骤7：用户根据显示信息确认或修改待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别；步骤8：将选定待处理图像按照经人工确认的医学模板图像类的类别存储在医疗图像数据库中。
根据本发明的辅助人工对图像进行筛查、分类和存储的方法，在步骤1之前还包括：步骤1’：建立或更新图像特征数据库。
根据本发明的辅助人工对图像进行筛查、分类和存储的方法，其中的待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
根据本发明的一种辅助人工对图像进行筛查、分类和存储的系统，所述系统包括：图像特征数据库，用于存储与多个医学模板图像一一对应的多个医学模板图像特征向量和与多个非医学模板图像一一对应的多个非医学模板图像特征向量；待处理图像获取模块，用于获取和输出待处理图像；特征提取模块，其与待处理图像获取模块连接，用于对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；相似度计算模块，其与特征提取模块和图像特征数据库连接，用于分别计算待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；待人工确认的医学模板图像类确定模块，其与相似度计算模块连接，用于将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；缩略图提取模块，其与待人工确认的医学模板图像类确定模块和待处理图像获取模块连接，用于在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图；信息显示模块，其与相似度计算模块、待人工确认的医学模板图像类确定模块和缩略图提取模块连接，用于向用户显示包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息；人工确认或修改模块，用于用户根据显示信息确认或修改待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别；待处理图像存储模块，其与待处理图像获取模块和人工确认或修改模块连接，用于将选定待处理图像按照经人工确认的医学模板图像类的类别存储在医疗图像数据库中；医疗图像数据库，其与待处理图像获取模块和待处理图像存储模块连接，用于分类存储医疗图像。
根据本发明的辅助人工对图像进行筛查、分类和存储的系统还包括：图像特征数据库建立或更新模块，其与图像特征数据库连接，用于建立或更新图像特征数据库。
根据本发明的辅助人工对图像进行筛查、分类和存储的系统，其中的待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
根据本发明的另一种辅助人工对图像进行筛查、分类和存储的方法，包括以下步骤：步骤1：获取和输出待处理图像；步骤2：对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；步骤3：分别计算待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；步骤4：将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；步骤5：在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图；步骤6：将选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库中；步骤7：将选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库中。
根据本发明的另一种辅助人工对图像进行筛查、分类和存储的系统，所述系统包括：图像特征数据库，用于存储与多个医学模板图像一一对应的多个医学模板图像特征向量和与多个非医学模板图像一一对应的多个非医学模板图像特征向量；待处理图像获取模块，用于获取和输出待处理图像；特征提取模块，其与待处理图像获取模块连接，用于对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；相似度计算模块，其与特征提取模块和图像特征数据库连接，用于分别计算待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；待人工确认的医学模板图像类确定模块，其与相似度计算模块连接，用于将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；缩略图提取模块，其与待人工确认的医学模板图像类确定模块和待处理图像获取模块连接，用于在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图；待处理图像自动存储模块，其与待处理图像获取模块、待人工确认的医学模板图像类确定模块和医疗图像数据库连接，用于将选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库中；医疗图像数据库，其与待处理图像获取模块和待处理图像自动存储模块连接，用于分类存储医疗图像；自动分类和保存信息生成和存储模块，其与相似度计算模块、待人工确认的医学模板图像类确定模块、缩略图提取模块和待处理图像自动存储模块连接，用于将选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库中；自动分类和保存信息暂存数据库，其与自动分类和保存信息生成和存储模块连接，用于暂存选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识。
本发明的优点在于：通过图像特征数据库中存储的医学模板图像的医学模板图像特征向量和非医学模板图像的非医学模板图像特征向量来进行筛查，从而排除待处理图像中不需要的非医学图像。然后根据待处理图像与各个医学模板图像特征向量之间的相似度进行医学图像分类，并产生用于进行人工核查的显示信息，所述显示信息包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值，方便人工核查和对分类错误的医学图像的类别进行修改和存储。同时，也为自动图像分类算法提供正确的反馈信息，从而基于反馈信息来进行算法优化。
附图说明
通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不能被认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第一种示例方法的流程图。
图2示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第二种示例方法的流程图。
图3示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第一种示例系统的框图。
图4示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第二种示例系统的框图。
图5示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第三种示例系统的框图。
图6示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第四种示例系统的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第一种示例方法100的流程图。
如图1所示，辅助人工对图像进行筛查、分类和存储的方法100包括以下步骤：
步骤S101：获取和输出待处理图像。
例如，待处理图像可以是自动获取的批量图像。
步骤S103：对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量。
步骤S105：分别计算待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值。
例如，相似度指示值可以根据如下公式计算：
其中，X＝[X1,X2,…,Xn]T是与多个医学模板图像一一对应的医学模板图像特征向量Xi＝[xi1,xi2,…xim],(i＝1,…,n)或者与多个非医学模板图像一一对应的非医学模板图像特征向量组成的集合，但是，所选取的医学模板图像和非医学模板图像的个数可以不同。X'j＝[x1j,…,xnj]T,(j＝1,…,m)是n个医学模板图像或非医学模板图像的相同特征组成的集合；Yinput＝[y1,y2,…ym]是待处理图像所对应的待处理图像特征向量；Max(yj,X'j)和Min(yj,X'j)分别求取||xij-yj||(i＝1,…,n)序列的最大值和最小值，θj是不同的特征对应的权值，且所有权值之和为1。
方法100所使用的待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
可选地，颜色特征包括颜色直方图(例如，灰度直方图)、颜色相关图(例如，灰度相关图)、颜色矩(例如，平均灰度值、灰度方差)等。
可选地，形状特征包括基于边缘检测提取的轮廓(例如，心脏、肺部的形状、交通标识指示牌的形状等)。
可选地，纹理特征包括利用灰度共生矩阵产生的纹理信息。
通常情况下，形状特征(例如，边缘曲线的曲率特征)的权值最低、颜色特征(例如，灰度特征和透光度特征)的权值较高，而纹理特征的权值最高。
步骤S107：将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类。
例如，将待处理图像确定为属于第i个(即，最大值所对应的)医学模板图像类。
可选地，如果想排除医学图像而保留非医学图像，用于诸如日常人物或环境照片之类的搜索应用时，可以使用类似的方法针对待处理图像与非医学模板图像特征向量之间的相似度指示值来确定非医学图像的类别。
步骤S109：在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图。
缩略图可以是最终的显示尺寸远远小于原始待处理图像的显示尺寸的缩小的图像。例如，可以是使用诸如降采样或尺度变换等图像处理算法获得的待处理图像的概貌图像。虽然这些概貌图像的尺寸较小，但是仍然能够提供通过人眼正确进行图像分类所需要的诸如结构、形状、纹理、色彩、位置关系等必要的信息。
步骤S111：向用户显示包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息。
由于显示信息仅仅包含缩略图和关于通过自动分类所获得的图像类别的必要显示信息，信息量很少，能够在有限的显示空间显示大量的条目，方便用户进行人工确认。
步骤S113：用户根据显示信息确认或修改待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别。
如果用户发现自动分类错误的图像，可以将其修改为正确的图像类别。
步骤S115：将选定待处理图像按照经人工确认的医学模板图像类的类别存储在医疗图像数据库中。
可选地，在步骤S101之前，辅助人工对图像进行筛查、分类和存储的方法100还包括步骤S101’：建立或更新图像特征数据库。
例如，在不存在图像特征数据库时建立图像特征数据库，以保证辅助人工对图像进行筛查、分类和存储的方法100的执行。或者，在步骤S113中用户根据显示信息确认待人工确认的医学模板图像类的类别出现错误，并且将错误的图像类别修改为正确的图像类别之后，将分类错误的待处理图像和正确的图像类别反馈给算法人员，用于算法人员优化算法或者更新图像特征数据库(例如，修改或者增加医学模板图像的医学模板图像特征向量)。
图2示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第二种示例方法200的流程图。
如图2所示，辅助人工对图像进行筛查、分类和存储的方法200除了包括与方法100中的步骤S101至步骤S109相同的步骤S201至步骤S209之外，还包括以下步骤：
步骤S211：将选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库中。
在自动分类的正确率较高时，对于批量待处理图像可以自动分类存储。步骤S211和步骤S209的顺序也可以互换。
步骤S213：将选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库中。
对于自动分类存储的图像，用户后续可以通过查看步骤S213中保存的信息来进行人工核查和修改。例如，可以根据相似度指示值来检索自动分类和保存信息暂存数据库，从而批量显示待处理图像的缩略图和分类信息。快速检索、显示和定位分类错误的图像，从而使用人工确认的正确分类结果来更新医疗图像数据库。可选地，将人工核查过的待处理图像的相关信息(缩略图、所属图像的类别和相似度指示值、唯一标识)从自动分类和保存信息暂存数据库中删除。
可选地，当自动分类正确率足够高时，用户可以不进行人工核查和修改。
可选地，在步骤S201之前，辅助人工对图像进行筛查、分类和存储的方法200还包括步骤S201’：建立或更新图像特征数据库。
例如，在不存在图像特征数据库时建立图像特征数据库，以保证辅助人工对图像进行筛查、分类和存储的方法200的执行。或者，如上所述，对于自动分类存储的图像，用户后续可以通过查看步骤S213中保存的信息来进行人工核查和修改。在用户确认待人工确认的医学模板图像类的类别出现错误，并且将错误的图像类别修改为正确的图像类别之后，将分类错误的待处理图像和正确的图像类别反馈给算法人员，用于算法人员优化算法或者更新图像特征数据库(例如，修改或者增加医学模板图像的医学模板图像特征向量)。
图3示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第一种示例系统300的框图。系统300可以结合图1所示的方法100使用。
如图3所示，系统300包括图像特征数据库301、待处理图像获取模块303、特征提取模块305、相似度计算模块307、待人工确认的医学模板图像类确定模块309、缩略图提取模块311、信息显示模块313、人工确认或修改模块315、待处理图像存储模块317、医疗图像数据库319。
图像特征数据库301，用于存储与多个医学模板图像一一对应的多个医学模板图像特征向量和与多个非医学模板图像一一对应的多个非医学模板图像特征向量。
待处理图像获取模块303，用于获取和输出待处理图像。
例如，待处理图像可以是自动获取的批量图像。
特征提取模块305，其与待处理图像获取模块303连接，用于对待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量。
相似度计算模块307，其与特征提取模块305和图像特征数据库301连接，用于分别计算待处理图像特征向量与图像特征数据库301中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值。
例如，相似度指示值可以根据如下公式计算：
其中，X＝[X1,X2,…,Xn]T是与多个医学模板图像一一对应的医学模板图像特征向量Xi＝[xi1,xi2,…xim],(i＝1,…,n)或者与多个非医学模板图像一一对应的非医学模板图像特征向量组成的集合，但是，所选取的医学模板图像和非医学模板图像的个数可以不同。X'j＝[x1j,…,xnj]T,(j＝1,…,m)是n个医学模板图像或非医学模板图像的相同特征组成的集合；Yinput＝[y1,y2,…ym]是待处理图像所对应的待处理图像特征向量；Max(yj,X'j)和Min(yj,X'j)分别求取||xij-yj||(i＝1,…,n)序列的最大值和最小值，θj是不同的特征对应的权值，且所有权值之和为1。
系统300所使用的待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
可选地，颜色特征包括颜色直方图(例如，灰度直方图)、颜色相关图(例如，灰度相关图)、颜色矩(例如，平均灰度值、灰度方差)等。
可选地，形状特征包括基于边缘检测提取的轮廓(例如，心脏、肺部的形状、交通标识指示牌的形状等)。
可选地，纹理特征包括利用灰度共生矩阵产生的纹理信息。
通常情况下，形状特征(例如，边缘曲线的曲率特征)的权值最低、颜色特征(例如，灰度特征和透光度特征)的权值较高，而纹理特征的权值最高。
待人工确认的医学模板图像类确定模块309，其与相似度计算模块307连接，用于将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类。
例如，待人工确认的医学模板图像类确定模块309将待处理图像确定为属于第i个(即，最大值所对应的)医学模板图像类。
可选地，如果想排除医学图像而保留非医学图像，用于诸如日常人物或环境照片之类的搜索应用时，可以使用类似的方法针对待处理图像与非医学模板图像特征向量之间的相似度指示值来确定非医学图像的类别。
缩略图提取模块311，其与待人工确认的医学模板图像类确定模块309和待处理图像获取模块303连接，用于在确定了选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取选定待处理图像的缩略图。
缩略图可以是最终的显示尺寸远远小于原始待处理图像的显示尺寸的缩小的图像。例如，可以是使用诸如降采样或尺度变换等图像处理算法获得的待处理图像的概貌图像。虽然这些概貌图像的尺寸较小，但是仍然能够提供通过人眼正确进行图像分类所需要的诸如结构、形状、纹理、色彩、位置关系等必要的信息。
信息显示模块313，其与相似度计算模块307、待人工确认的医学模板图像类确定模块309和缩略图提取模块311连接，用于向用户显示包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息。
由于显示信息仅仅包含缩略图和关于通过自动分类所获得的图像类别的必要显示信息，信息量很少，能够在有限的显示空间显示大量的条目，方便用户进行人工确认。
人工确认或修改模块315，用于用户根据显示信息确认或修改待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别。
如果用户发现自动分类错误的图像，可以将其修改为正确的图像类别。
待处理图像存储模块317，其与待处理图像获取模块303和人工确认或修改模块315连接，用于将选定待处理图像按照经人工确认的医学模板图像类的类别存储在医疗图像数据库319中。
医疗图像数据库319，其与待处理图像获取模块303和待处理图像存储模块317连接，用于分类存储医疗图像。
图4示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第二种示例系统400的框图。系统400可以结合包含步骤S101’的图1所示的方法100使用。
如图4所示，系统400比图3所示的系统300增加了图像特征数据库建立或更新模块421，其与图像特征数据库401连接，用于建立或更新图像特征数据库401。
例如，图像特征数据库建立或更新模块421用于在不存在图像特征数据库时建立图像特征数据库，以保证方法100的执行。或者，在用户根据显示信息确认待人工确认的医学模板图像类的类别出现错误，并且将错误的图像类别修改为正确的图像类别之后，将分类错误的待处理图像和正确的图像类别反馈给算法人员，用于算法人员优化算法或者更新图像特征数据库(例如，修改或者增加医学模板图像的医学模板图像特征向量)。
图5示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第三种示例系统500的框图。系统500可以结合图2所示的方法200使用。
类似于图3所示的系统300的框图，图5所示的系统500包括图像特征数据库501、待处理图像获取模块503、特征提取模块505、相似度计算模块507、待人工确认的医学模板图像类确定模块509、缩略图提取模块511、医疗图像数据库513。此外，系统500还包括待处理图像自动存储模块515、自动分类和保存信息生成和存储模块517和自动分类和保存信息暂存数据库519。
待处理图像自动存储模块515与待处理图像获取模块503、待人工确认的医学模板图像类确定模块509和医疗图像数据库513连接，用于将选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库513中。
自动分类和保存信息生成和存储模块517，其与相似度计算模块507、待人工确认的医学模板图像类确定模块509、缩略图提取模块511和待处理图像自动存储模块515连接，用于将选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库519中。
自动分类和保存信息暂存数据库519与自动分类和保存信息生成和存储模块517连接，用于暂存选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、选定待处理图像的唯一标识。
对于自动分类存储的图像，用户后续可以通过检索自动分类和保存信息暂存数据库519中保存的相关信息来进行人工核查和修改。例如，可以根据相似度指示值来检索自动分类和保存信息暂存数据库，从而批量显示待处理图像的缩略图和分类信息。快速检索、显示和定位分类错误的图像，从而使用人工确认的正确分类结果来更新医疗图像数据库513。可选地，将人工核查过的待处理图像的相关信息(缩略图、所属图像的类别和相似度指示值、唯一标识)从自动分类和保存信息暂存数据库519中删除。
可选地，当自动分类正确率足够高时，用户可以不进行人工核查和修改。
图6示出了根据本发明实施方式的辅助人工对图像进行筛查、分类和存储的第四种示例系统600的框图。系统600可以包含步骤S201’结合图2所示的方法200使用。
如图6所示，系统600比图5所示的系统500增加了图像特征数据库建立或更新模块621，其与图像特征数据库601连接，用于建立或更新图像特征数据库601。
例如，图像特征数据库建立或更新模块621用于在不存在图像特征数据库时建立图像特征数据库，以保证方法200的执行。或者，如上所述，对于自动分类存储的图像，用户后续可以通过查看步骤S213中保存的信息来进行人工核查和修改。在用户根据显示信息确认待人工确认的医学模板图像类的类别出现错误，并且将错误的图像类别修改为正确的图像类别之后，将分类错误的待处理图像和正确的图像类别反馈给算法人员，用于算法人员优化算法或者更新图像特征数据库(例如，修改或者增加医学模板图像的医学模板图像特征向量)。
以上所述，仅为本发明示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种辅助人工对图像进行筛查、分类和存储的方法，其特征在于，包括：
步骤1：获取和输出待处理图像；
步骤2：对所述待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；
步骤3：分别计算所述待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；
步骤4：将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；
步骤5：在确定了所述选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取所述选定待处理图像的缩略图；
步骤6：向用户显示包含选定待处理图像的缩略图、选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息；
步骤7：用户根据所述显示信息确认或修改待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别；
步骤8：将选定待处理图像按照所述经人工确认的医学模板图像类的类别存储在医疗图像数据库中。
2.根据权利要求1所述的辅助人工对图像进行筛查、分类和存储的方法，其特征在于，在所述步骤1之前还包括：
步骤1’：建立或更新所述图像特征数据库。
3.根据权利要求1或2所述的辅助人工对图像进行筛查、分类和存储的方法，其特征在于，待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
4.一种辅助人工对图像进行筛查、分类和存储的系统，其特征在于，所述系统包括：
图像特征数据库，用于存储与多个医学模板图像一一对应的多个医学模板图像特征向量和与多个非医学模板图像一一对应的多个非医学模板图像特征向量；
待处理图像获取模块，用于获取和输出待处理图像；
特征提取模块，其与所述待处理图像获取模块连接，用于对所述待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；
相似度计算模块，其与所述特征提取模块和所述图像特征数据库连接，用于分别计算所述待处理图像特征向量与所述图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；
待人工确认的医学模板图像类确定模块，其与所述相似度计算模块连接，用于将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；
缩略图提取模块，其与所述待人工确认的医学模板图像类确定模块和所述待处理图像获取模块连接，用于在确定了所述选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取所述选定待处理图像的缩略图；
信息显示模块，其与所述相似度计算模块、所述待人工确认的医学模板图像类确定模块和所述缩略图提取模块连接，用于向用户显示包含所述选定待处理图像的缩略图、所述选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值的显示信息；
人工确认或修改模块，用于用户根据显示信息确认或修改所述待人工确认的医学模板图像类的类别，产生经人工确认的医学模板图像类的类别；
待处理图像存储模块，其与所述待处理图像获取模块和所述人工确认或修改模块连接，用于将所述选定待处理图像按照所述经人工确认的医学模板图像类的类别存储在医疗图像数据库中；
医疗图像数据库，其与所述待处理图像获取模块和所述待处理图像存储模块连接，用于分类存储医疗图像。
5.根据权利要求4所述的辅助人工对图像进行筛查、分类和存储的系统，其特征在于，所述系统还包括：
图像特征数据库建立或更新模块，其与所述图像特征数据库连接，用于建立或更新图像特征数据库。
6.根据权利要求4或5所述的辅助人工对图像进行筛查、分类和存储的系统，其特征在于，待处理图像特征向量、医学模板图像特征向量和非医学模板图像特征向量包括下列特征中的至少一项：颜色特征、形状特征、纹理特征。
7.一种辅助人工对图像进行筛查、分类和存储的方法，其特征在于，包括：
步骤1：获取和输出待处理图像；
步骤2：对所述待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；
步骤3：分别计算所述待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；
步骤4：将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；
步骤5：在确定了所述选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取所述选定待处理图像的缩略图；
步骤6：将所述选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库中；
步骤7：将所述选定待处理图像的缩略图、所述选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、所述选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库中。
8.一种辅助人工对图像进行筛查、分类和存储的系统，其特征在于，所述系统包括：
图像特征数据库，用于存储与多个医学模板图像一一对应的多个医学模板图像特征向量和与多个非医学模板图像一一对应的多个非医学模板图像特征向量；
待处理图像获取模块，用于获取和输出待处理图像；
特征提取模块，其与所述待处理图像获取模块连接，用于对所述待处理图像进行特征提取，获取该待处理图像所对应的待处理图像特征向量；
相似度计算模块，其与所述特征提取模块和所述图像特征数据库连接，用于分别计算所述待处理图像特征向量与图像特征数据库中存储的与多个医学模板图像一一对应的各个医学模板图像特征向量和与多个非医学模板图像一一对应的各个非医学模板图像特征向量之间的相似度表示的相似度指示值；
待人工确认的医学模板图像类确定模块，其与所述相似度计算模块连接，用于将与某个医学模板图像特征向量之间的相似度指示值最大的待处理图像特征向量所对应的选定待处理图像确定为属于该医学模板图像特征向量所对应的待人工确认的医学模板图像类；
缩略图提取模块，其与所述待人工确认的医学模板图像类确定模块和所述待处理图像获取模块连接，用于在确定了所述选定待处理图像属于某个医学模板图像特征向量所对应的待人工确认的医学模板图像类之后，提取所述选定待处理图像的缩略图；
待处理图像自动存储模块，其与所述待处理图像获取模块、所述待人工确认的医学模板图像类确定模块和所述医疗图像数据库连接，用于将所述选定待处理图像按照待人工确认的医学模板图像类的类别自动存储在医疗图像数据库中；
医疗图像数据库，其与所述待处理图像获取模块和所述待处理图像自动存储模块连接，用于分类存储医疗图像；
自动分类和保存信息生成和存储模块，其与所述相似度计算模块、所述待人工确认的医学模板图像类确定模块、所述缩略图提取模块和所述待处理图像自动存储模块连接，用于将所述选定待处理图像的缩略图、所述选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、所述选定待处理图像的唯一标识存储在自动分类和保存信息暂存数据库中；
自动分类和保存信息暂存数据库，其与所述自动分类和保存信息生成和存储模块连接，用于暂存所述选定待处理图像的缩略图、所述选定待处理图像所属的待人工确认的医学模板图像类的类别和相似度指示值、所述选定待处理图像的唯一标识。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710434071.6A CN107341189A (zh) | 2017-06-09 | 2017-06-09 | 一种辅助人工对图像进行筛查、分类和存储的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710434071.6A CN107341189A (zh) | 2017-06-09 | 2017-06-09 | 一种辅助人工对图像进行筛查、分类和存储的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341189A true CN107341189A (zh) | 2017-11-10 |
Family
ID=60220650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710434071.6A Pending CN107341189A (zh) | 2017-06-09 | 2017-06-09 | 一种辅助人工对图像进行筛查、分类和存储的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341189A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101525A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于图像对比识别的医疗图像比对方法 |
| CN109686110A (zh) * | 2019-01-17 | 2019-04-26 | 蜂寻（上海）信息科技有限公司 | 车位空满状态判别方法及设备 |
| CN113178248A (zh) * | 2021-04-28 | 2021-07-27 | 联仁健康医疗大数据科技股份有限公司 | 医学图像数据库建立方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441658A (zh) * | 2008-10-22 | 2009-05-27 | 中国科学院上海技术物理研究所 | 面向pacs数据库中放射图像的基于内容的检索方法和系统 |
| CN103106265A (zh) * | 2013-01-30 | 2013-05-15 | 北京工商大学 | 相似图像分类方法及系统 |
| CN105183857A (zh) * | 2015-09-10 | 2015-12-23 | 成都品果科技有限公司 | 一种自动的图片训练样本提取方法及系统 |
-
2017
- 2017-06-09 CN CN201710434071.6A patent/CN107341189A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441658A (zh) * | 2008-10-22 | 2009-05-27 | 中国科学院上海技术物理研究所 | 面向pacs数据库中放射图像的基于内容的检索方法和系统 |
| CN103106265A (zh) * | 2013-01-30 | 2013-05-15 | 北京工商大学 | 相似图像分类方法及系统 |
| CN105183857A (zh) * | 2015-09-10 | 2015-12-23 | 成都品果科技有限公司 | 一种自动的图片训练样本提取方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 梁静国: "《决策支持系统与决策知识发现》", 31 May 2007, 哈尔滨工程大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101525A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于图像对比识别的医疗图像比对方法 |
| CN109686110A (zh) * | 2019-01-17 | 2019-04-26 | 蜂寻（上海）信息科技有限公司 | 车位空满状态判别方法及设备 |
| CN113178248A (zh) * | 2021-04-28 | 2021-07-27 | 联仁健康医疗大数据科技股份有限公司 | 医学图像数据库建立方法、装置、设备及存储介质 |
| CN113178248B (zh) * | 2021-04-28 | 2024-07-23 | 联仁健康医疗大数据科技股份有限公司 | 医学图像数据库建立方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| US10452899B2 (en) | Unsupervised deep representation learning for fine-grained body part recognition | |
| CN110148142B (zh) | 图像分割模型的训练方法、装置、设备和存储介质 | |
| CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| EP1530157B1 (en) | Image matching system using 3-dimensional object model, image matching method, and image matching program | |
| CN107851194A (zh) | 用于脑肿瘤分类的视觉表示学习 | |
| CN110689025A (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| CN113743463B (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 | |
| CN112101162A (zh) | 图像识别模型的生成方法、装置、存储介质和电子设备 | |
| Patel | Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN107341189A (zh) | 一种辅助人工对图像进行筛查、分类和存储的方法及系统 | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN111583385A (zh) | 一种可变形数字人解剖学模型的个性化变形方法及系统 | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
| CN113192028B (zh) | 人脸图像的质量评价方法、装置、电子设备及存储介质 | |
| CN117523356A (zh) | 医学影像组学多视图半监督表征学习方法 | |
| Valério et al. | Deepmammo: deep transfer learning for lesion classification of mammographic images | |
| CN109886320B (zh) | 一种人体股骨x光片智能识读方法及系统 | |
| He et al. | Midcn: A multiple instance deep convolutional network for image classification | |
| US20230297646A1 (en) | System and methods for classifying magnetic resonance imaging (mri) image characteristics | |
| CN111459050B (zh) | 一种基于双网互联的智慧仿真型护理教学系统及教学方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |