CN110119738A - 齿痕检测方法、装置、电子设备及可读存储介质 - Google Patents
齿痕检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110119738A CN110119738A CN201910423543.7A CN201910423543A CN110119738A CN 110119738 A CN110119738 A CN 110119738A CN 201910423543 A CN201910423543 A CN 201910423543A CN 110119738 A CN110119738 A CN 110119738A
- Authority
- CN
- China
- Prior art keywords
- indentation
- tongue image
- shift value
- coordinate shift
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供了一种齿痕检测方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。本申请的齿痕检测方法基于深度学习神经网络，通过样本舌头图像对深度学习神经网络进行训练，使得深度学习神经网络具备识别舌头图像中齿痕区域的能力，从而可以对待识别图像中的齿痕区域进行识别。本申请采用经过训练后的深度学习神经网络作为齿痕识别的主体，在识别过程中无需人工参与，不必依赖经验值，能够自动完成齿痕区域的检测，检测准确率相比采用决策分类器、曲线拟合方法以及凹点检测方法要更高。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种齿痕检测方法、装置、电子设备及可读存储介质。
背景技术
在医疗领域中，舌头上是否存在齿痕以及齿痕的数量、位置等信息，都可以用以确定人体的健康状态。可以通过人工观察的方式确定舌头上是否存在齿痕，但面对大量的舌像数据，人工观察方式的效率就较为低下。目前，可以采用决策分类器、基于曲线拟合的齿痕提取方法以及基于凹点检测的齿痕识别方法，来对舌像数据进行齿痕识别。但采用决策分类器的识别方法准确率低，只能达到80％准确率，如此低的准确率是无法满足智能检测的要求的。基于曲线拟合的齿痕提取方法中，对边缘分割要求高，并且与拟合曲线拟合度要高，而正确识别率只有60％左右。在基于凹点检测的齿痕识别方法中，虽然准确率比曲线拟合高，但识别过程严重依赖于阈值的选取，而阈值选择的一般是经验值，准确率依然不能达到较高的水平。因此，亟需一种准确度更高的齿痕识别方法。
发明内容
有鉴于此，本发明提供了一种齿痕检测方法、装置、电子设备及可读存储介质，能够实现更高精度的齿痕识别。
本发明提供的技术方案如下：
一种齿痕检测方法，包括：
将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练；
检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成；
将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
进一步地，所述方法还包括，标定所述样本舌头图像中的齿痕区域，具体步骤包括：
建立与所述样本舌头图像对应的二维坐标系；
响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域；
根据所述标定框的多个角点在所述样本舌头图像中的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。
进一步地，建立深度学习神经网络，使用标定后的所述样本舌头图像对所述深度学习神经网络进行训练的步骤包括：
建立包含PNet、RNet和ONet的深度学习神经网络；
使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值；
将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差；
当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度；
使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域；
使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
进一步地，基于所述深度学习神经网络的训练结果，对待识别舌头图像进行识别，确定所述待识别的舌头图像中的齿痕区域的步骤包括：
将所述待识别的舌头图像输入至经过训练的所述深度学习神经网络中；
通过所述深度学习神经网络确定所述待识别的舌头图像中齿痕区域的坐标偏移值；
根据所述待识别的舌头图像中齿痕区域的坐标偏移值，通过标定框标定所述待识别的舌头图像中的齿痕区域。
本申请还提供了一种基于深度学习的齿痕检测装置，包括：
神经网络训练模块，用于将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练；
训练结果确定模块，用于检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成；
结果识别模块，用于将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
进一步地，所述齿痕检测装置还包括，样本标定模块，用于标定所述样本舌头图像中的齿痕区域，具体用于：
建立与所述样本舌头图像对应的二维坐标系；
响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域；
根据所述标定框的多个角点在所述样本舌头图像上的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。
进一步地，所述神经网络训练模块用于：
建立包含PNet、RNet和ONet的深度学习神经网络；
使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值；
将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差；
当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度；
使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域；
使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
进一步地，所述结果识别模块用于：
将所述待识别的舌头图像输入至经过训练的所述深度学习神经网络中；
通过所述深度学习神经网络确定所述待识别的舌头图像中齿痕区域的坐标偏移值；
根据所述待识别的舌头图像中齿痕区域的坐标偏移值，通过标定框标定所述待识别的舌头图像中的齿痕区域。
本申请还提供了一种电子设备，所述电子设备包括：处理器及可读存储介质，所述可读存储介质存储有可执行计算机指令，所述可执行计算机指令由所述处理器读取并运行时，执行上述齿痕检测方法。
本申请还提供了一种可读存储介质，所述可读存储介质上存储有可执行计算机指令，所述可执行计算机指令被处理器执行时实现上述齿痕检测方法。
本申请实施例中通过样本舌头图像先对深度学习神经网络进行训练，使得深度学习神经网络具备识别舌头图像中齿痕区域的能力，从而可以对待识别图像中的齿痕区域进行识别。本申请采用经过训练后的深度学习神经网络作为齿痕识别的主体，在识别过程中无需人工参与，不必依赖经验值，能够自动完成齿痕区域的检测，检测准确率相比采用决策分类器、曲线拟合方法以及凹点检测方法要更高。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种齿痕检测方法的流程示意图。
图2为本发明实施例提供的一种齿痕检测方法中步骤S101的子步骤的流程示意图。
图3和图4为本发明实施例提供的一种齿痕检测方法中对舌头图像进行齿痕区域识别的示意图。
图5为本发明实施例提供的一种齿痕检测装置的功能模块示意图。
图标：10-齿痕检测装置；11-神经网络训练模块；12-训练结果确定模块；13-结果识别模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本申请实施例提供了一种基于深度学习的齿痕检测方法，可以实现对舌头图像中齿痕的检测，如图1所示，该齿痕检测方法包括以下步骤。
步骤S101，将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练。
可以先对包含人体舌头部分的图像进行预处理，提取出图像中舌头区域的图像，这些舌头区域的图像可以作为对深度学习神经网络进行训练的样本舌头图像。在本申请实施例中，选取的样本舌头图像可以是都具有齿痕的图像，在训练之前，可以通过人工筛查确定每个样本舌头图像中齿痕所在的区域，同时可以对样本舌头图像中的齿痕区域进行标定。
在对齿痕区域进行标定时，可以先建立与所述样本舌头图像对应的二维坐标系。再响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域。最后根据所述标定框的多个角点在所述样本舌头图像上的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。为了使多个样本舌头图像中的齿痕区域具有相同维度下的坐标偏移值，在对图像进行预处理时，可以将所有的样本舌头图像处理为相同大小的图像。同时针对样本舌头图像建立的二维坐标系也可以使用同一二维坐标系，从而使得不同样本舌头图像中齿痕区域的标定坐标偏移值都是基于相同的坐标系。在标定过程中，可以使用不同形式的标定框框选齿痕区域，在本申请实施例中，可以采用矩形方框对齿痕区域进行标定，在确定齿痕区域的坐标偏移值时，可以将矩形方框的左上角点和右下角点在二维坐标系中的坐标偏移值数据，作为该齿痕区域在二维坐标系中的标签值，该标签值即作为齿痕区域的标定坐标偏移值。
在本申请中，如图2所示，对深度学习神经网络进行训练可以通过以下子步骤进行。
步骤S201，建立包含PNet、RNet和ONet的深度学习神经网络。
在本申请实施例中，可以采用MTCNN(Multi-task convolutional neuralnetworks，多任务卷积神经网络)作为齿痕检测训练的神经网络。使用MTCNN建立包含PNet、RNet和ONet的训练系统。
步骤S202，使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值。
在对样本舌头图像进行识别时，可以先通过PNet预测得到样本舌头图像中的齿痕区域，预测得到的齿痕区域也可以使用标定框选定后，将该标定框的角点在二维坐标系中的坐标偏移值数据作为该预测得到的齿痕区域的预测坐标偏移值。
步骤S203，将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差。
在PNet预测得到多个齿痕区域后，可以将预测得到的齿痕区域的预测坐标偏移值与样本舌头图像中预先标定的标定坐标偏移值做交叉熵损失，并通过梯度下降法不断优化网络参数，不断调整预测坐标偏移值与标定坐标偏移值之间的误差。
步骤S204，当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度。
在通过梯度下降法将预测坐标偏移值和标定坐标偏移值之间的误差调整为小于预设阈值时，即可结束PNet训练，此时可以粗略的检测出样本舌头图像中可能存在齿痕的区域的置信度以及坐标偏移值，即通过PNet找到了样本舌头图像中所有可能是齿痕的区域，这些区域可以作为预测区域，但这些预测区域中可能存在有大量的误差区域，即PNet可能将不是齿痕的位置识别为齿痕。
步骤S205，使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域。
为了得到更精确的训练结果，可以再使用RNet对所有的预测区域进行非极大值抑制，从而将所有预测区域中准确度低的区域筛除。
步骤S206，使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
在筛除掉准确度低的预测区域后，可以再使用ONet进行精细化预测和进一步的非极大值抑制，经过了精细化的预测后，即保留下更为准确的预测结果，得到准确的目标区域以及对应的置信度。第一预设阈值和第二预设阈值的数值可以根据实际情况确定。
步骤S102，检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成。
通过上述训练网络不断的进行学习训练，在损失值小于预设值时结束训练，该损失值对应的预设阈值可以为0.001。通过上述学习，使得深度学习神经网络具有了预测图像中齿痕区域的能力。
步骤S103，将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
在对深度学习神经网络完成训练后，就可以使用该深度学习神经网络对待识别的舌头图像进行识别，深度学习神经网络可以确定待识别的舌头图像中齿痕位置的坐标偏移值，并且为了方便展示，可以将识别到的区域使用矩形框框选出来，例如，为了在待识别的舌头图像上明确的展示齿痕区域，可以使用红色的矩形框将齿痕区域进行框选。
图3和图4为样本舌头图像，其中的阴影部分为舌头区域的影像，舌头上的白色点状区域为齿痕区域，通过深度学习神经网络的识别，可以使用虚线所示的标定框将齿痕区域标定出来。
综上所述，本申请实施例中通过样本舌头图像先对深度学习神经网络进行训练，使得深度学习神经网络具备识别舌头图像中齿痕区域的能力，从而可以对待识别图像中的齿痕区域进行识别。本申请采用经过训练后的深度学习神经网络作为齿痕识别的主体，在识别过程中无需人工参与，不必依赖经验值，能够自动完成齿痕区域的检测，检测准确率相比采用决策分类器、曲线拟合方法以及凹点检测方法要更高。
本申请实施例还提供了一种基于深度学习的齿痕检测装置10，如图5所示，包括：
神经网络训练模块11，用于将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练；
训练结果确定模块12，用于检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成；
结果识别模块13，用于将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
进一步地，所述齿痕检测装置10还包括，样本标定模块，用于标定所述样本舌头图像中的齿痕区域，具体用于：
建立与所述样本舌头图像对应的二维坐标系；
响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域；
根据所述标定框的多个角点在所述样本舌头图像中的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。
进一步地，所述神经网络训练模块11用于：
建立包含PNet、RNet和ONet的深度学习神经网络；
使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值；
将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差；
当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度；
使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域；
使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
进一步地，所述结果识别模块13用于：
将所述待识别的舌头图像输入至经过训练的所述深度学习神经网络中；
通过所述深度学习神经网络确定所述待识别的舌头图像中齿痕区域的坐标偏移值；
根据所述待识别的舌头图像中齿痕区域的坐标偏移值，通过标定框标定所述待识别的舌头图像中的齿痕区域。
本申请实施还提供了一种电子设备，所述电子设备包括：处理器及可读存储介质，所述可读存储介质存储有可执行计算机指令，所述可执行计算机指令由所述处理器读取并运行时，执行上述齿痕检测方法。
本申请实施还提供了一种可读存储介质，所述可读存储介质上存储有可执行计算机指令，所述可执行计算机指令被处理器执行时实现上述齿痕检测方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种齿痕检测方法，其特征在于，包括：
将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练；
检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成；
将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
2.根据权利要求1所述的齿痕检测方法，其特征在于，所述方法还包括，标定所述样本舌头图像中的齿痕区域，具体步骤包括：
建立与所述样本舌头图像对应的二维坐标系；
响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域；
根据所述标定框的多个角点在所述样本舌头图像中的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。
3.根据权利要求2所述的齿痕检测方法，其特征在于，将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练的步骤包括：
建立包含PNet、RNet和ONet的深度学习神经网络；
使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值；
将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差；
当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度；
使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域；
使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
4.根据权利要求1所述的齿痕检测方法，其特征在于，将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域的步骤包括：
将所述待识别的舌头图像输入至经过训练的所述深度学习神经网络中；
通过所述深度学习神经网络确定所述待识别的舌头图像中齿痕区域的坐标偏移值；
根据所述待识别的舌头图像中齿痕区域的坐标偏移值，通过标定框标定所述待识别的舌头图像中的齿痕区域。
5.一种齿痕检测装置，其特征在于，包括：
神经网络训练模块，用于将标定有齿痕区域的样本舌头图像输入深度学习神经网络进行训练；
训练结果确定模块，用于检测所述深度学习神经网络的损失值是否小于预设阈值，在小于预设阈值时，判定所述深度学习神经网络训练完成；
结果识别模块，用于将待识别的舌头图像输入训练完成的深度学习神经网络进行识别，确定所述待识别的舌头图像中的齿痕区域。
6.根据权利要求5所述的齿痕检测装置，其特征在于，所述齿痕检测装置还包括，样本标定模块，用于标定所述样本舌头图像中的齿痕区域，具体用于：
建立与所述样本舌头图像对应的二维坐标系；
响应用户输入的标定指令，在所述二维坐标系中使用标定框选定所述样本舌头图像中的齿痕区域；
根据所述标定框的多个角点在所述样本舌头图像上的坐标偏移值，确定所述齿痕区域在所述二维坐标系中的标定坐标偏移值。
7.根据权利要求6所述的齿痕检测装置，其特征在于，所述神经网络训练模块用于：
建立包含PNet、RNet和ONet的深度学习神经网络；
使用所述PNet对所述样本舌头图像中的齿痕区域进行预测，确定预测得到的齿痕区域在所述二维坐标系中的预测坐标偏移值；
将所述预测坐标偏移值与所述标定坐标偏移值之间的差值做交叉熵损失，采用梯度下降法调整所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差；
当所述预测坐标偏移值与所述标定坐标偏移值之间的训练误差小于预设阈值时，结束所述PNet识别训练，得到所述样本舌头图像中存在齿痕的预测区域以及所述预测区域的置信度；
使用所述RNet对所述预测区域进行进一步检测，提取所述预测区域中置信度高于第一预设阈值的预测区域，并进行非极大值抑制得到准确率更高的预测区域；
使用所述ONet对经过RNet筛选的预测区域进行预测，提取出预测区域中置信度高于第二预设阈值的区域，进行非极大值抑制得到最终预测区域的坐标偏移值，并将所述最终预测区域的坐标偏移值映射回所述样本舌头图像得到目标区域。
8.根据权利要求5所述的齿痕检测装置，其特征在于，所述结果识别模块用于：
将所述待识别的舌头图像输入至经过训练的所述深度学习神经网络中；
通过所述深度学习神经网络确定所述待识别的舌头图像中齿痕区域的坐标偏移值；
根据所述待识别的舌头图像中齿痕区域的坐标偏移值，通过标定框标定所述待识别的舌头图像中的齿痕区域。
9.一种电子设备，其特征在于，所述电子设备包括：处理器及可读存储介质，所述可读存储介质存储有可执行计算机指令，所述可执行计算机指令由所述处理器读取并运行时，执行权利要求1-4中任意一项所述的齿痕检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有可执行计算机指令，所述可执行计算机指令被处理器执行时实现权利要求1-4中任意一项所述的齿痕检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910423543.7A CN110119738A (zh) | 2019-05-21 | 2019-05-21 | 齿痕检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910423543.7A CN110119738A (zh) | 2019-05-21 | 2019-05-21 | 齿痕检测方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110119738A true CN110119738A (zh) | 2019-08-13 |
Family
ID=67522928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910423543.7A Pending CN110119738A (zh) | 2019-05-21 | 2019-05-21 | 齿痕检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105397A (zh) * | 2019-12-19 | 2020-05-05 | 天津慧医谷科技有限公司 | 一种基于深度学习的中医舌象数据快速标注方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038455A (zh) * | 2017-12-19 | 2018-05-15 | 中国科学院自动化研究所 | 基于深度学习的仿生机器孔雀图像识别方法 |
| KR20180059188A (ko) * | 2016-11-25 | 2018-06-04 | 연세대학교 산학협력단 | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 |
| CN109637660A (zh) * | 2018-12-19 | 2019-04-16 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络的舌诊分析方法及系统 |
| CN109700433A (zh) * | 2018-12-28 | 2019-05-03 | 深圳铁盒子文化科技发展有限公司 | 一种舌象诊断系统和舌诊移动终端 |
-
2019
- 2019-05-21 CN CN201910423543.7A patent/CN110119738A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180059188A (ko) * | 2016-11-25 | 2018-06-04 | 연세대학교 산학협력단 | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 |
| CN108038455A (zh) * | 2017-12-19 | 2018-05-15 | 中国科学院自动化研究所 | 基于深度学习的仿生机器孔雀图像识别方法 |
| CN109637660A (zh) * | 2018-12-19 | 2019-04-16 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络的舌诊分析方法及系统 |
| CN109700433A (zh) * | 2018-12-28 | 2019-05-03 | 深圳铁盒子文化科技发展有限公司 | 一种舌象诊断系统和舌诊移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| 汤一平等: ""基于多任务卷积神经网络的舌象分类研究"", 《计算机科学》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105397A (zh) * | 2019-12-19 | 2020-05-05 | 天津慧医谷科技有限公司 | 一种基于深度学习的中医舌象数据快速标注方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9704017B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
| US10169861B2 (en) | Image processing apparatus, non-transitory computer readable medium, and image processing method | |
| CN105096307B (zh) | 在成对的立体图像中检测物体的方法 | |
| CN110490181B (zh) | 一种基于ocr识别技术的表单填写审核方法、装置、设备以及计算机存储介质 | |
| US11282226B2 (en) | Water level measurement device and shoreline extraction method | |
| CN111126366B (zh) | 一种活体人脸的判别方法、装置、设备及存储介质 | |
| CN113377888B (zh) | 训练目标检测模型和检测目标的方法 | |
| EP2797051A2 (en) | Image saliency map determination device, method, program, and recording medium | |
| CN113688957A (zh) | 一种基于多模型融合的目标检测方法、装置、设备及介质 | |
| CN111914665A (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
| CN108090486A (zh) | 一种台球比赛中的图像处理方法及装置 | |
| KR20180090756A (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
| CN104574312A (zh) | 标靶图像求圆心的方法和装置 | |
| CN111862040B (zh) | 人像图片质量评价方法、装置、设备及存储介质 | |
| CN102323281B (zh) | 液体性质检测方法和系统 | |
| CN110390261A (zh) | 目标检测方法、装置、计算机可读存储介质及电子设备 | |
| CN114897655B (zh) | 基于视觉的防疫控制方法及装置、存储介质、电子设备 | |
| CN110119738A (zh) | 齿痕检测方法、装置、电子设备及可读存储介质 | |
| CN108520263A (zh) | 一种全景图像的识别方法、系统及计算机存储介质 | |
| CN111881706A (zh) | 活体检测、图像分类和模型训练方法、装置、设备及介质 | |
| CN114565908A (zh) | 车道线的检测方法、装置、电子设备及存储介质 | |
| CN107844803B (zh) | 一种图片比对的方法和装置 | |
| CN113808135A (zh) | 图像亮度异常检测方法、电子设备及存储介质 | |
| US20170309040A1 (en) | Method and device for positioning human eyes | |
| US10146042B2 (en) | Image processing apparatus, storage medium, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Duan Shaojie Inventor after: Yao Shukun Inventor after: Chen Jialiang Inventor after: Yang Qingchuan Inventor after: Chao Dai Inventor after: He Fan Inventor after: Zhou Zhen Inventor before: Yang Qingchuan Inventor before: Chao Dai Inventor before: He Fan Inventor before: Zhou Zhen |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210302 Address after: 610200 Sichuan Chengdu Shuangliu District Dongsheng Street Chengdu core Valley Industrial Park concentrated area Applicant after: CHINA POWER HEALTH CLOUD TECHNOLOGY Co.,Ltd. Applicant after: China Japan Friendship Hospital (China Japan Friendship Institute of clinical medicine) Address before: 610200 Sichuan Chengdu Shuangliu District Dongsheng Street Chengdu core Valley Industrial Park concentrated area Applicant before: CHINA POWER HEALTH CLOUD TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |