CN111986217A - 一种图像处理方法、装置及设备 - Google Patents
一种图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN111986217A CN111986217A CN202010913292.3A CN202010913292A CN111986217A CN 111986217 A CN111986217 A CN 111986217A CN 202010913292 A CN202010913292 A CN 202010913292A CN 111986217 A CN111986217 A CN 111986217A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- image
- detection result
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 24
- 238000012986 modification Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 description 51
- 210000000214 mouth Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000002925 dental caries Diseases 0.000 description 3
- 230000003239 periodontal effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 208000006386 Bone Resorption Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000004763 bicuspid Anatomy 0.000 description 1
- 230000024279 bone resorption Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000003464 cuspid Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000004086 maxillary sinus Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像处理方法、装置及设备，所述图像处理方法包括：获取目标图像；将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果；接收对所述检测结果的反馈信号；根据所述反馈信号和所述检测结果，生成预设形式的检测报告。本申请实现了有效提高阅片效率和准确率。
Description
技术领域
本申请涉计算机技术领域，具体而言，涉及一种图像处理方法、装置及设备。
背景技术
在口腔临床实践中，X线片是对口腔常见病变进行检查和诊断的重要工具。目前，口腔X线根尖片的阅片和文字报告几乎都是由接诊的医生完成。一张X线根尖片中大约有2-3颗清晰成像的完整牙齿，而一位患者全口有28-32颗牙齿，如果都需要拍片，则可多达14张/人，阅片分析工作量巨大，为口腔医生的工作增加了很大的负担，且人工阅片易受到情绪、疲劳等因素影响，有可能出现误诊、漏诊问题。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置及设备，用以实现自动阅片并生成报告，有效提高阅片效率和准确率。
本申请实施例第一方面提供了一种图像处理方法，包括：获取目标图像；将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果；接收对所述检测结果的反馈信号；根据所述反馈信号和所述检测结果，生成预设形式的检测报告。
于一实施例中，所述将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果，包括：对所述目标图像进行特征提取，得到特征图像；根据所述特征图像，生成多个第一候选区域，计算每个所述第一候选区域内存在所述第一目标的第一概率；根据所述第一概率大于第一阈值的所述第一候选区域，生成多个第二候选区域，计算每个所述第二候选区域内存在所述第二目标的第二概率；在所述第一概率大于第二阈值的所述第一候选区域内，确定所述第一目标的检测结果；在所述第二概率大于第三阈值的所述第二候选区域内，确定所述第二目标的检测结果。
于一实施例中，还包括：获取样本图像，所述样本图像预先标注有所述第一目标和所述第二目标的标注信息；将所述样本图像输入所述预设检测模型，得到所述第一目标和所述第二目标的检测结果；根据所述标注信息和所述检测结果，计算损失函数；根据所述损失函数，更新所述预设检测模型的模型参数。
于一实施例中，所述根据所述反馈信号和所述检测结果，生成预设形式的检测报告，包括：根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比；根据所述交并比，确定所述第一目标和所述第二目标的位置关系；根据所述位置关系，生成预设形式的检测报告。
于一实施例中，所述根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比之前，包括：判断所述反馈信号是否为错误信号；当所述反馈信号为错误信号时，接收修改信息；根据所述修改信息，调整所述检测结果。
本申请实施例第二方面提供了一种图像处理装置，包括：获取模块，用于获取目标图像；检测模块，用于将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果；接收模块，用于接收对所述检测结果的反馈信号；生成模块，用于根据所述反馈信号和所述检测结果，生成预设形式的检测报告。
于一实施例中，所述检测模块包括：提取单元，用于对所述目标图像进行特征提取，得到特征图像；第一计算单元，用于根据所述特征图像，生成多个第一候选区域，计算每个所述第一候选区域内存在所述第一目标的第一概率；第二计算单元，用于根据所述第一概率大于第一阈值的所述第一候选区域，生成多个第二候选区域，计算每个所述第二候选区域内存在所述第二目标的第二概率；第一确定单元，用于在所述第一概率大于第二阈值的所述第一候选区域内，确定所述第一目标的检测结果；第二确定单元，用于在所述第二概率大于第三阈值的所述第二候选区域内，确定所述第二目标的检测结果。
于一实施例中，还包括训练模块，用于获取样本图像，所述样本图像预先标注有所述第一目标和所述第二目标的标注信息；将所述样本图像输入所述预设检测模型，得到所述第一目标和所述第二目标的检测结果；根据所述标注信息和所述检测结果，计算损失函数；根据所述损失函数，更新所述预设检测模型的模型参数。
于一实施例中，所述生成模块用于：根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比；根据所述交并比，确定所述第一目标和所述第二目标的位置关系；根据所述位置关系，生成预设形式的检测报告。
于一实施例中，所述生成模块还用于：判断所述反馈信号是否为错误信号；当所述反馈信号为错误信号时，接收修改信息；根据所述修改信息，调整所述检测结果。
本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法。
在本申请中，采用预设检测模型对目标图像中的目标进行自动检测并生成文字报告，减少了人工投入，有效提高阅片诊断的效率和准确率，通过反馈交互，不断扩充数据库，为预设检测模型的机器学习提供样本，通过训练不断优化预设检测模型的检测效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例的电子设备的结构示意图；
图2为本申请一实施例的图像识别方法的流程示意图；
图3为本申请另一实施例的图像识别方法的流程示意图；
图4为本申请一实施例的预设检测模型训练的流程示意图；
图5为本申请一实施例的图像处理装置的结构示意图。
附图标记：
100-电子设备，110-总线，120-处理器，130-存储器，500-图像处理装置，510-获取模块，520-检测模块，530-接收模块，540-生成模块，550-训练模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。
在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“设有”、“连接”、“配置为”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或整体式构造；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
请参看图1，其为本申请一实施例的电子设备100的结构示意图，包括至少一个处理器120和存储器130，图1中以一个处理器为例。处理器120和存储器130通过总线110连接，存储器130存储有可被至少一个处理器120执行的指令，指令被至少一个处理器120执行，以使至少一个处理器120执行如下述实施例中的图像识别方法。
如图2所示，其为本申请一实施例的图像识别方法的流程示意图，该方法可应用于口腔X线片诊断场景中，由图1所示的电子设备100来执行，以实现自动阅片并生成报告。该方法包括如下步骤：
步骤210：获取目标图像。
在上述步骤中，可以通过口腔临床实践中的影像设备获取目标图像，该目标图像可以是患者的口腔X线根尖片。
步骤220：将目标图像输入预设检测模型，得到第一目标和第二目标的检测结果。
在上述步骤中，目标图像是口腔X线片，其中牙齿就是第一目标，病损就是第二目标，预设检测模型包括一个或多个深度神经网络，在经过有监督的学习训练后，预设检测模型具有对口腔X线片中的牙齿和病损进行自动检测的能力。
于一实施例中，步骤220：将目标图像输入预设检测模型，得到第一目标和第二目标的检测结果，可以包括：
步骤221：对目标图像进行特征提取，得到特征图像。
在上述步骤中，通过对目标图像进行卷积计算生成特征图像。
步骤222：根据特征图像，生成多个第一候选区域，计算每个第一候选区域内存在第一目标的第一概率。
在上述步骤中，在目标图像的尺寸范围内，选取多个不同位置不同尺寸的区域，在特征图像上截取与这些区域对应的特征区域，做为第一候选区域，计算每个第一候选区域内存在第一目标(牙齿)的第一概率。
步骤223：根据第一概率大于第一阈值的第一候选区域，生成多个第二候选区域，计算每个第二候选区域内存在第二目标的第二概率。
在上述步骤中，由于口腔最常见的三种病变，即龋损、根尖周病变、牙周病变在影像学上与牙齿位置存在密切关系，龋损发生于牙齿内部，根尖周病变发生于根尖周围，牙周病变发生于牙根周围，因此可以在可能存在牙齿的第一候选区域及其附近区域进一步识别病损，提高病损识别效率。将第一概率大于第一阈值的第一候选区域及其周围预设范围内的区域作为第二候选区域，计算每个第二候选区域内存在第二目标(病损)的第二概率。
步骤224：在第一概率大于第二阈值的第一候选区域内，确定第一目标的检测结果。
在上述步骤中，第一目标的检测结果包括第一位置信息和第一属性信息，第一位置信息为牙齿位置，第一属性信息可以是牙齿的类别和/或具体编号，类别包括切牙、尖牙、前磨牙、磨牙等，编号可以根据FDI(Federation Dentaire Internationale，国际牙科联盟)牙位表示法、帕尔默牙位表示法、通用记录法等进行。
步骤225：在第二概率大于第三阈值的第二候选区域内，确定第二目标的检测结果。
在上述步骤中，第二目标的检测结果包括第二位置信息和第二属性信息，第二位置信息为病损位置，第二属性信息可以是病损性质和/或严重程度，病损性质包括但不限于对应于龋损的冠部低密度影像、根部低密度影像和冠根部低密度影像，对应于牙周病变的牙槽骨吸收，对应于根尖周病变的根尖周低密度影像，病损严重程度可以为定性描述，如轻度、中度、重度等，也可以为定量描述，如病损影像的面积、长度、宽度等，可以是绝对数值，也可以是相对于牙齿、牙根的面积比例或长度比例等相对数值。
于一实施例中，预设检测模型包括特征提取网络、第一目标定位网络、第二目标定位网络和目标分类网络。特征提取网络由多层卷积神经网络组成，例如可以是VGG，Resnet等，目标图像经过特征提取网络的卷积计算后生成特征图像。第一目标定位网络用于生成多个第一候选区域，计算每个第一候选区域内存在牙齿的第一概率，并将第一概率大于第一阈值的第一候选区域及其周围预设范围内的区域送入第二目标定位网络，第二目标定位网络用于生成多个第二候选区域，计算每个第二候选区域内存在病损的第二概率。
牙齿在X线片中，形态特征明显，易于识别，准确性高，而病变区域通常表现为低密度影像，口腔内一些正常的解剖结构，如上颌窦、切牙孔等，以及一些骨质疏松区域也都会表现为低密度影像，从而产生混淆。第一目标定位网络和第二目标定位网络串联工作，通过牙齿的定位辅助病损定位，可以有效排除混淆区域，提高识别准确性。
牙齿的形态尺寸较大，尺寸大小和宽长比例较为稳定，而病损尺寸较小，并且尺寸大小和宽长比例变异很大，可以在第一目标定位网络设置多个符合牙齿通常形态范围的第一候选区域尺寸，在第二目标定位网络设置多个合病损通常形态范围的第二候选区域尺寸，从而更加准确高效的进行牙齿和病损的区域定位。
将第一概率大于第二阈值的第一候选区域和第二概率大于第三阈值的第二候选区域送入目标分类网络，从而确定牙齿的具体牙位或名称，病损的具体类别或严重程度，目标分类网络可以是全连接神经网络、支持向量机等。该第一阈值、第二阈值和第三阈值均可以根据多次实验设定，第一阈值、第二阈值和第三阈值三者可以取相同值，也可以取不同值，于一实施例中，第一阈值、第二阈值和第三阈值的取值范围可以是0.5至0.8。
步骤230：接收对检测结果的反馈信号。
在上述步骤中，阅片人可以通过人机交互界面对检测结果进行反馈，接收对检测结果的反馈信号。
步骤240：根据反馈信号和检测结果，生成预设形式的检测报告。
在上述步骤中，根据反馈信号和检测结果，确定牙齿和病损的位置关系，即各个病损分别属于哪个牙齿，按照预设形式生成检测报告并输出，该预设形式可以是根据实际需要设定的模板，例如：牙齿T可见D1，其程度为L1,可见D2,其程度为L2，…，可见Dn，其程度为Ln，其中，T为具体的牙齿编号，D1-Dn为属于牙齿T的病损性质，L1-Ln为病损对应的严重程度。
如图3所示，其为本申请一实施例的图像识别方法的流程示意图，该方法可应用于口腔X线片诊断场景中，由图1所示的电子设备100来执行，以实现自动阅片并生成报告。该方法包括如下步骤：
步骤310：获取目标图像。详细参见上述实施例中对步骤210的描述。
步骤320：将目标图像输入预设检测模型，得到第一目标和第二目标的检测结果。详细参见上述实施例中对步骤220的描述。
步骤330：接收对检测结果的反馈信号。详细参见上述实施例中对步骤230的描述。
步骤340：判断反馈信号是否为错误信号。
在上述步骤中，判断反馈信号是否为错误信号，若反馈信号为错误信号，则执行步骤350，若反馈信号不是错误信号，则执行步骤370。
步骤350：接收修改信息。
在上述步骤中，若检测结果存在错误，阅片人可以通过交互界面对检测结果进行相应的修改。接收修改信息，该修改信息包括对牙齿或病损区域边界的重新绘制，对牙齿编号、病损性质、病损程度的修正，对错误识别的目标的删除，对未能识别的目标新增人工标注等。
步骤360：根据修改信息，调整检测结果。
在上述步骤中，按照接收到的修改信息，调整检测结果，进一步提高检测结果的准确率。
于一实施例中，可以将目标图像，以及根据修改信息调整后的检测结果存入数据库，作为新增的样本图像，经过预设时间后或新增的样本图像达到预设数量后，启动对预设检测模型进行训练的流程，以不断提升预设检测模型的准确性。
步骤370：根据检测结果，计算每个第二目标与所有第一目标的交并比。
在上述步骤中，交并比为两个区域的交集区域面积与这两个区域的并集区域面积的比值，计算每个病损与所有牙齿的交并比。
步骤380：根据交并比，确定第一目标和第二目标的位置关系。
在上述步骤中，若某一病损与某个牙齿的交并比最大，则可以确定这个病损属于该牙齿，根据每个病损的交并比，可以确定每个病损所归属的牙齿，牙齿上可能不存在病损，也可能存在一个或多个病损。
步骤390：根据位置关系，生成预设形式的检测报告。
如图4所示，其为本申请一实施例中对预设检测模型进行训练的流程示意图。在利用预设检测模型对目标图像进行检测之前，还需要对预设检测模型进行训练，以保证预设检测模型的准确率，训练预设检测模型的方法包括如下步骤：
步骤410：获取样本图像。
在上述步骤中，数据库中预存有多张样本图像，每张样本图像上都预先标注有第一目标和第二目标上的标注信息，标注信息包括牙齿和病损的位置、牙齿的类别和/或具体编号、病损性质和/或严重程度。
于一实施例中，牙齿和病损的位置可以是包围矩形，以左上角点、右下角点的坐标定义，或者中心点坐标和长、宽定义，也可以是包围圆，以中心点和半径定义，或者中心点和直径定义，还可以是多边形边框，由序列的连接点坐标定义。
步骤420：将样本图像输入预设检测模型，得到第一目标和第二目标的检测结果。
在上述步骤中，检测结果包括第一位置信息、第一属性信息、第二位置信息和第二属性信息，第一位置信息为牙齿位置，第一属性信息可以是牙齿的类别和/或具体编号，第二位置信息为病损位置，第二属性信息可以是病损性质和/或严重程度。
步骤430：根据标注信息和检测结果，计算损失函数。
在上述步骤中，根据第一位置信息与标注的牙齿位置之间的差异，计算第一损失函数，根据第一属性信息与标注的牙齿类别之间的差异，计算第二损失函数，根据第二位置信息与标注的病损位置之间的差异，计算第三损失函数，根据第二属性信息与标注的病损性质之间的差异，计算第四损失函数。
于一实施例中，损失函数可以采用以下公式计算：
其中，N表示检测样本图像得到的区域结果的数量，K表示可能的标签值的数量，yi，k的值取决于第i个区域结果预先标注的标签值是否为第k个标签值，若第i个区域结果预先标注的标签值为第k个标签值，则yi，k＝1，否则yi，k＝0，pi，k表示第i个区域结果被预测为第k个标签值的概率。该标签值可以根据实际情况确定，例如在计算第一损失函数时，根据区域结果是否为牙齿位置，该标签值可以取0或1，此时K＝2，在计算第二损失函数时，该标签值可以为牙齿类别编号数字，此时K＝32，在计算第三损失函数时，根据区域结果是否为病损位置，该标签值可以取0或1，此时K＝2，在计算第四损失函数时，该标签值可以为对应于病损性质的数值。
步骤440：根据损失函数，更新预设检测模型的模型参数。
在上述步骤中，根据损失函数，采用随机梯度下降算法和反向传播算法更新预设检测模型的模型参数，使得第一损失函数、第二损失函数、第三损失函数和第四损失函数达到最小。
如图5所示，其为本申请一实施例的图像处理装置500的结构示意图，该装置可应用于图1所示的电子设备100，包括：获取模块510、检测模块520、接收模块530和生成模块540。各个模块的原理关系如下：
获取模块510，用于获取目标图像。
检测模块520，用于将目标图像输入预设检测模型，得到第一目标和第二目标的检测结果。
接收模块530，用于接收对检测结果的反馈信号。
生成模块540，用于根据反馈信号和检测结果，生成预设形式的检测报告。
于一实施例中，图像处理装置500还包括训练模块550，用于获取样本图像，样本图像预先标注有第一目标和第二目标的标注信息；将样本图像输入预设检测模型，得到第一目标和第二目标的检测结果；根据标注信息和检测结果，计算损失函数；根据损失函数，更新预设检测模型的模型参数。
于一实施例中，检测模块520包括：提取单元，用于对目标图像进行特征提取，得到特征图像；第一计算单元，用于根据特征图像，生成多个第一候选区域，计算每个第一候选区域内存在第一目标的第一概率；第二计算单元，用于根据第一概率大于第一阈值的第一候选区域，生成多个第二候选区域，计算每个第二候选区域内存在第二目标的第二概率；第一确定单元，用于在第一概率大于第二阈值的第一候选区域内，确定第一目标的检测结果；第二确定单元，用于在第二概率大于第三阈值的第二候选区域内，确定第二目标的检测结果。
于一实施例中，生成模块540用于：根据检测结果，计算每个第二目标与所有第一目标的交并比；根据交并比，确定第一目标和第二目标的位置关系；根据位置关系，生成预设形式的检测报告。
于一实施例中，生成模块540还用于：判断反馈信号是否为错误信号；当反馈信号为错误信号时，接收修改信息；根据修改信息，调整检测结果。
上述图像处理装置500的详细描述，请参见上述实施例中相关方法步骤的描述。
本发明实施例还提供了一种电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。
以上仅为本申请的优选实施例而已，并不用于限制本申请。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果；
接收对所述检测结果的反馈信号；
根据所述反馈信号和所述检测结果，生成预设形式的检测报告。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果，包括：
对所述目标图像进行特征提取，得到特征图像；
根据所述特征图像，生成多个第一候选区域，计算每个所述第一候选区域内存在所述第一目标的第一概率；
根据所述第一概率大于第一阈值的所述第一候选区域，生成多个第二候选区域，计算每个所述第二候选区域内存在所述第二目标的第二概率；
在所述第一概率大于第二阈值的所述第一候选区域内，确定所述第一目标的检测结果；
在所述第二概率大于第三阈值的所述第二候选区域内，确定所述第二目标的检测结果。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取样本图像，所述样本图像预先标注有所述第一目标和所述第二目标的标注信息；
将所述样本图像输入所述预设检测模型，得到所述第一目标和所述第二目标的检测结果；
根据所述标注信息和所述检测结果，计算损失函数；
根据所述损失函数，更新所述预设检测模型的模型参数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述反馈信号和所述检测结果，生成预设形式的检测报告，包括：
根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比；
根据所述交并比，确定所述第一目标和所述第二目标的位置关系；
根据所述位置关系，生成预设形式的检测报告。
5.根据权利要求4所述的方法，其特征在于，所述根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比之前，包括：
判断所述反馈信号是否为错误信号；
当所述反馈信号为错误信号时，接收修改信息；
根据所述修改信息，调整所述检测结果。
6.一种图像处理装置，其特征在于，包括：
获取模块，用于获取目标图像；
检测模块，用于将所述目标图像输入预设检测模型，得到第一目标和第二目标的检测结果；
接收模块，用于接收对所述检测结果的反馈信号；
生成模块，用于根据所述反馈信号和所述检测结果，生成预设形式的检测报告。
7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：
提取单元，用于对所述目标图像进行特征提取，得到特征图像；
第一计算单元，用于根据所述特征图像，生成多个第一候选区域，计算每个所述第一候选区域内存在所述第一目标的第一概率；
第二计算单元，用于根据所述第一概率大于第一阈值的所述第一候选区域，生成多个第二候选区域，计算每个所述第二候选区域内存在所述第二目标的第二概率；
第一确定单元，用于在所述第一概率大于第二阈值的所述第一候选区域内，确定所述第一目标的检测结果；
第二确定单元，用于在所述第二概率大于第三阈值的所述第二候选区域内，确定所述第二目标的检测结果。
8.根据权利要求6所述的装置，其特征在于，还包括训练模块，用于：
获取样本图像，所述样本图像预先标注有所述第一目标和所述第二目标的标注信息；
将所述样本图像输入所述预设检测模型，得到所述第一目标和所述第二目标的检测结果；
根据所述标注信息和所述检测结果，计算损失函数；
根据所述损失函数，更新所述预设检测模型的模型参数。
9.根据权利要求6所述的装置，其特征在于，所述生成模块用于：
根据所述检测结果，计算每个所述第二目标与所有所述第一目标的交并比；
根据所述交并比，确定所述第一目标和所述第二目标的位置关系；
根据所述位置关系，生成预设形式的检测报告。
10.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010913292.3A CN111986217B (zh) | 2020-09-03 | 2020-09-03 | 一种图像处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010913292.3A CN111986217B (zh) | 2020-09-03 | 2020-09-03 | 一种图像处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986217A true CN111986217A (zh) | 2020-11-24 |
| CN111986217B CN111986217B (zh) | 2024-01-16 |
Family
ID=73447353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010913292.3A Active CN111986217B (zh) | 2020-09-03 | 2020-09-03 | 一种图像处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986217B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561865A (zh) * | 2020-12-04 | 2021-03-26 | 深圳格瑞健康管理有限公司 | 恒磨牙位置的检测模型训练方法、系统和存储介质 |
| CN117152238B (zh) * | 2023-10-25 | 2024-02-09 | 天津医科大学口腔医院 | 基于深度学习的前牙区牙槽骨面积自动测量方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016097261A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社東芝 | 画像処理装置、画像処理プログラム、画像処理方法及び治療システム |
| US10115197B1 (en) * | 2017-06-06 | 2018-10-30 | Imam Abdulrahman Bin Faisal University | Apparatus and method for lesions segmentation |
| CN109360196A (zh) * | 2018-09-30 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习处理口腔放射图像的方法及装置 |
| CN109859203A (zh) * | 2019-02-20 | 2019-06-07 | 福建医科大学附属口腔医院 | 基于深度学习的缺陷牙齿图像识别方法 |
| CN109961427A (zh) * | 2019-03-12 | 2019-07-02 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的全景片根尖周炎识别的方法和装置 |
| CN110517262A (zh) * | 2019-09-02 | 2019-11-29 | 上海联影医疗科技有限公司 | 目标检测方法、装置、设备及存储介质 |
| KR20200023225A (ko) * | 2018-08-24 | 2020-03-04 | 이재우 | 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技（深圳）有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
-
2020
- 2020-09-03 CN CN202010913292.3A patent/CN111986217B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016097261A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社東芝 | 画像処理装置、画像処理プログラム、画像処理方法及び治療システム |
| US10115197B1 (en) * | 2017-06-06 | 2018-10-30 | Imam Abdulrahman Bin Faisal University | Apparatus and method for lesions segmentation |
| KR20200023225A (ko) * | 2018-08-24 | 2020-03-04 | 이재우 | 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 |
| CN109360196A (zh) * | 2018-09-30 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习处理口腔放射图像的方法及装置 |
| WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技（深圳）有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
| CN109859203A (zh) * | 2019-02-20 | 2019-06-07 | 福建医科大学附属口腔医院 | 基于深度学习的缺陷牙齿图像识别方法 |
| CN109961427A (zh) * | 2019-03-12 | 2019-07-02 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的全景片根尖周炎识别的方法和装置 |
| CN110517262A (zh) * | 2019-09-02 | 2019-11-29 | 上海联影医疗科技有限公司 | 目标检测方法、装置、设备及存储介质 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111310616A (zh) * | 2020-02-03 | 2020-06-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| HU CHEN ET AL.: "A deep learning approach to automatic teeth detection and numbering based on object detection in dental periapical films", SCIENTIFIC REPORTS, vol. 09, no. 01, pages 1 - 11 * |
| JEONG-HEE LEE ET AL.: "Application of a fully deep convolutional neural network to the automation of tooth segmentation on panoramic radiographs", ORAL SURGERY, ORAL MEDICINE, ORAL PATHOLOGY AND ORAL RADIOLOGY, vol. 129, no. 06, pages 635 - 642, XP086169191, DOI: 10.1016/j.oooo.2019.11.007 * |
| LEE J H ET AL.: "Detection and Diagnosis of Dental Caries Using a Deep Learning- Based Convolutional Neural NetworkAlgorithm", JOURNAL OF DENTISTRY, pages 106 - 111 * |
| 王昌淼: "基于胸部影像的肺结节检测与分类关键技术研究", 中国博士学位论文全文数据库 (医药卫生科技辑), no. 01, pages 072 - 151 * |
| 青晨等: "深度卷积神经网络图像语义分割研究进展", 中国图象图形学报, vol. 25, no. 06, pages 1069 - 1090 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561865A (zh) * | 2020-12-04 | 2021-03-26 | 深圳格瑞健康管理有限公司 | 恒磨牙位置的检测模型训练方法、系统和存储介质 |
| CN112561865B (zh) * | 2020-12-04 | 2024-03-12 | 深圳格瑞健康科技有限公司 | 恒磨牙位置的检测模型训练方法、系统和存储介质 |
| CN117152238B (zh) * | 2023-10-25 | 2024-02-09 | 天津医科大学口腔医院 | 基于深度学习的前牙区牙槽骨面积自动测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986217B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11553874B2 (en) | Dental image feature detection | |
| US10997727B2 (en) | Deep learning for tooth detection and evaluation | |
| US11587184B2 (en) | Computer vision-based claims processing | |
| US10984529B2 (en) | Systems and methods for automated medical image annotation | |
| US11676701B2 (en) | Systems and methods for automated medical image analysis | |
| US20220304646A1 (en) | Systems and methods for processing of dental images | |
| Kaya et al. | Proposing a CNN method for primary and permanent tooth detection and enumeration on pediatric dental radiographs | |
| CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
| CN113516639B (zh) | 基于全景x光片的口腔异常检测模型的训练方法及装置 | |
| CN111986217B (zh) | 一种图像处理方法、装置及设备 | |
| Silva et al. | Boosting research on dental panoramic radiographs: a challenging data set, baselines, and a task central online platform for benchmark | |
| US20240046456A1 (en) | Systems and methods for dental image analysis | |
| CN113688942A (zh) | 基于深度学习的头侧片腺样体图像自动评估方法和装置 | |
| Brahmi et al. | Automatic tooth instance segmentation and identification from panoramic X-Ray images using deep CNN | |
| CN116993712A (zh) | 一种基于深度学习处理口腔cbct图像的方法和装置 | |
| Sadr et al. | Deep learning for tooth identification and enumeration in panoramic radiographs | |
| Carneiro | Enhanced tooth segmentation algorithm for panoramic radiographs | |
| US20220351813A1 (en) | Method and apparatus for training automatic tooth charting systems | |
| Silva et al. | OdontoAI: A human-in-the-loop labeled data set and an online platform to boost research on dental panoramic radiographs | |
| CN118262220B (zh) | 放射影像报告的质量评估方法、装置和设备 | |
| US20240212153A1 (en) | Method for automatedly displaying and enhancing AI detected dental conditions | |
| CN112801114B (zh) | 确定乳腺图像的投照位信息的方法及装置 | |
| CN117218052A (zh) | 基于端到端回归卷积神经网络的多生牙自动检测方法 | |
| Juneja et al. | A comprehensive review on artificial intelligence-driven preprocessing, segmentation, and classification techniques for precision furcation analysis in radiographic images | |
| Hejazi | Deep Learning-based System for Automated Classification and Detection of Lesions in Dental Panoramic Radiography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |