CN113057593A - 图像识别方法、可读存储介质及电子设备 - Google Patents

图像识别方法、可读存储介质及电子设备 Download PDF

Info

Publication number
CN113057593A
CN113057593A CN202110292769.5A CN202110292769A CN113057593A CN 113057593 A CN113057593 A CN 113057593A CN 202110292769 A CN202110292769 A CN 202110292769A CN 113057593 A CN113057593 A CN 113057593A
Authority
CN
China
Prior art keywords
lesion
image
recognition method
image recognition
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110292769.5A
Other languages
English (en)
Inventor
徐青松
李青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruisheng Software Co Ltd
Original Assignee
Hangzhou Ruisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruisheng Software Co Ltd filed Critical Hangzhou Ruisheng Software Co Ltd
Priority to CN202110292769.5A priority Critical patent/CN113057593A/zh
Publication of CN113057593A publication Critical patent/CN113057593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40Animals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一图像识别方法、可读存储介质及电子设备,包括:通过构建的病变分类模型,直接获得病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图来确定具体病变位置信息,进而根据所述病变类型信息和所述病变位置信息输出病变提示信息;或者,通过构建的病变颜色分类模型和病变纹理分类模型,获得该病变区域皮肤的纹理和颜色,再通过病变区域皮肤的纹理和颜色来确定病变类型信息,并基于病变类型信息生成所述病变图像的热力图来确定具体病变位置信息,进而根据所述病变类型信息和所述病变位置信息输出病变提示信息。所述病变提示信息可作为动物喂养中皮肤疾病问题的初步判断,从而使得饲养者能随时了解动物的健康状况。

Description

图像识别方法、可读存储介质及电子设备
技术领域
本发明涉及人工智能技术领域,特别涉及一种图像识别方法、可读存储介质及电子设备。
背景技术
对于动物而言,皮肤病属于高发的患病类型,对其及时发现与治疗显得尤为重要。对于家养宠物而言,在宠物医院进行检查是常见的诊断治疗方法,通过检查然后进行诊断的方式,需要花费大量的宝贵时间,而且通常情况下,大多数的皮肤病是随着时间不断加重的,如果在去医院之前,没有及时进行初步的诊断治疗,容易造成病情的延误,影响到后期的治疗康复;对于普通禽类而言,目前大多数情况下饲养者会根据经验判断其皮肤病类型而后用药,如此,可能因不恰当的处理,而延误病情,若为传染性皮肤病,还可能传染给其它动物。
发明内容
本发明的目的在于提供一种图像识别方法、可读存储介质及电子设备,以通过识别皮肤病变图片,输出病变提示信息,作为动物喂养中皮肤病问题的初步判断,以便饲养者能随时了解动物的健康状况。
为解决上述技术问题,本发明提供一种图像识别方法,所述图像识别方法包括:
获取动物皮肤的病变部位的病变图像;
将所述病变图像输入至预设的第一病变分类模型,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;以及,
根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
可选的,在所述的图像识别方法中,确定所述病变位置信息的步骤包括:
在所述热力图上找到所述病变图像的兴趣点;
根据所述兴趣点所处位置获得所述病变部位具体的病变位置信息。
可选的,在所述的图像识别方法中,所述图像识别方法还包括:
将获取的所述病变类型信息输入至预设的第二病变分类模型中,获取所述病变部位的病理分期;以及,
根据所述病变类型信息、所述病变位置信息及所述病理分期,输出病变提示信息。
可选的,在所述的图像识别方法中,所述第一病变分类模型和所述第二病变分类模型均为预先训练好的神经网络模型。
可选的,在所述的图像识别方法中,在获取所述皮肤病变图像后,所述图像识别方法还包括:
对所述皮肤病变图像进行预处理,所述预处理包括:去噪和增强。
可选的,在所述的图像识别方法中,在获取动物病变部位的皮肤病变图像之前,所述图像识别方法还包括:
判定待识别动物的种类及品种;
根据动物的种类及品种匹配所述第一病变分类模型。
本发明还提供另一种图像识别方法,所述图像识别方法包括:
获取动物皮肤的病变部位的病变图像;
将所述病变图像输入至预设的病变颜色分类模型,获取所述病变部位的颜色;
将所述病变图像输入至预设的病变纹理分类模型,获取所述病变部位的纹理及形状;
根据获取的所述病变部位的颜色、纹理及形状,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;
根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
可选的,在所述的另一种图像识别方法中,确定所述病变位置信息的步骤包括:
在所述热力图上找到所述病变图像的兴趣点;
根据所述兴趣点所处位置获得所述病变部位具体的病变位置信息。
可选的,在所述的另一种图像识别方法中,获取所述病变类型信息的步骤包括:
提取所述病变图像上各个区域的颜色特征;
提取所述病变图像上各个区域的纹理及形状特征;
根据所述病变图像上各个区域的所述颜色特征和/或所述纹理及形状特征进行区域分类,区分出皮肤区域和非皮肤区域,并获取所述皮肤区域的所述病变类型信息。
可选的,在所述的另一种图像识别方法中,采用高斯混合模型进行所述区域分类。
可选的,在所述的另一种图像识别方法中,所述病变颜色分类模型和所述病变纹理分类模型均为预先训练好的神经网络模型。
可选的,在所述的另一种图像识别方法中,在获取所述皮肤病变图像后,所述图像识别方法还包括:
对所述皮肤病变图像进行预处理,所述预处理包括:去噪和增强。
可选的,在所述的另一种图像识别方法中,在获取动物病变部位的皮肤病变图像之前,所述图像识别方法还包括:
判定动物的种类及品种;
根据动物的种类及品种匹配所述病变颜色分类模型和所述病变纹理分类模型。
本发明还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被执行时,实现如上所述的图像识别方法。
本发明还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如上所述的图像识别方法。
综上所述,在本发明提供的一种图像识别方法中,获取动物皮肤病变部位的皮肤病变图像;将所述病变图像输入至预设的第一病变分类模型中,获取所述病变部位的病变类型,并基于所述病变部位的病变类型生成所述病变图像的热力图,以确定具体病变位置;根据所述病变类型及所述具体病变位置,输出病变提示信息。即通过构建的病变分类模型,直接获得病变部位的病变类型,并基于病变类型生成所述病变图像的热力图来确定具体病变位置,从而使得可输出准确的病变提示信息,以作为动物喂养中皮肤病问题的初步判断。
在本发明提供的另一种图像识别方法中,获取动物病变部位的皮肤病变图像;将所述病变图像输入至预设的病变颜色分类模型,获取所述病变部位的颜色;将所述病变图像输入至预设的病变纹理分类模型,获取所述病变部位的纹理及形状;根据获取的所述病变部位的颜色、纹理及形状,获取所述病变部位的病变类型,并基于所述病变部位的病变类型生成所述病变图像的热力图,以确定具体病变位置;根据所述病变类型及所述具体病变位置,输出病变提示信息。即,通过构建的病变颜色分类模型和病变纹理分类模型,获得该病变区域皮肤的纹理和颜色,再通过病变区域皮肤的纹理和颜色来确定病变的类型,并基于病变类型生成所述病变图像的热力图来确定具体病变位置,从而使得可输出准确的病变提示信息,以作为动物喂养中皮肤病问题的初步判断。
附图说明
图1为本实施例一提供的图像识别方法的流程图;
图2为本实施例二提供的图像识别方法的流程图。
具体实施方式
本发明的核心思想在于,通过识别动物皮肤病变图片输出病变提示信息,作为动物喂养中皮肤疾病问题的初步判断,以便饲养者能随时了解动物的健康状况。
基于上述思想,本发明通过将动物皮肤病变图像输入至通过机器学习构建的病变分类模型中,来获取病变提示信息。
以下结合附图和具体实施例对本发明提出的图像识别方法、可读存储介质及电子设备作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。还应当理解的是,除非特别说明或者指出,否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等,而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
【实施例一】
如图1所示,本实施例提供一种图像识别方法,包括如下步骤:
S11,获取动物皮肤的病变部位的病变图像;
S12,将所述病变图像输入至预设的第一病变分类模型,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;
S13,根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
本实施例提供的所述图像方法,通过构建的病变分类模型,直接获得病变部位的病变类型信息,并基于病变类型信息生成所述病变图像的热力图来确定具体病变位置信息,进而可根据病变类型信息及具体病变位置信息输出病变提示信息,作为动物喂养中皮肤疾病问题的初步判断,从而使得饲养者能随时了解动物的健康状况。
以下对上述各步骤进行详细说明。
步骤S11中,动物病变部位的皮肤病变图像可以通过带拍照功能的手机、相机、摄像头等终端进行采集。采集了原始图像后,为了保证后续步骤图像识别的精度,可以对原始图像进行预处理,所述预处理包括去噪和增强等。
在获取皮肤病变图像之前,可先判定待识别动物的种类及品种,具体的,可通过物种识别模型来进行动物种类及品种的识别,进而,根据动物的种类及品种匹配不同的病变分类模型,包括所述第一病变分类模型的匹配,还可包括下文中第二病变分类模型的匹配。
动物种类包括猫、狗、马、牛、羊等。由于同一种类不同品种的动物,皮肤病的发病率不同,为了使得识别结果更准确,在利用物种识别模型识别出动物种类的同时,还需要输出该种类对应的品种。例如,如果识别出是猫,则品种可以是长毛犬猫、短毛犬猫,长毛犬猫皮肤病的发病率要明显高于短毛犬猫。另外,长耳朵的动物,耳病和耳边缘的皮肤病的发病率要高于立耳和短耳朵的;比如,纯种犬比土狗的抵抗力低很多,相对来说,皮肤病的发病率也相对较高。耳朵长短,最典型的一个动物,就是可卡,可卡犬的耳病,是非常普遍,也是比较严重的,尤其是老年犬,长期慢性的皮肤病会导致耳朵的增生。
步骤S12中,所述第一病变分类模型可采用预先训练得到的神经网络模型。例如,基于深度卷积神经网络(Convolutional Neural Networks,CNN)的模型,可通过神经网络预先对动物皮肤病变图像样本训练集中的样本进行训练得到。
在利用所述第一病变分类模型获取所述病变部位的病变类型信息后,可基于所述病变类型信息生成所述病变图像的热力图来确定具体病变位置;具体过程如下:
根据所述病变图像获取所述病变部位的病变类型信息;
根据所述病变类型信息生成所述病变图像的热力图;
在所述热力图上找到所述病变图像的兴趣点;
根据所述兴趣点所处位置获得所述病变部位的具体病变位置信息。
不同的病变类型,因病变产生的颜色及其深浅可能不同,故而可以根据病变类型信息而找到具体病变位置信息。而在获取的所述病变图像上,可能会包括很多干扰点,例于,对于白色的猫而言,获取的所述病变图像上,除了病变点,可能还会有有色杂点,通过所述第一病变分类模型,识别出病变类型信息后,可排除所述有色杂点的干扰,如此便可基于热力图的兴趣点获得所述病变部位的具体病变位置信息。
进一步的,所述根据所述病变类型信息生成所述病变图像的热力图的方法可包括:
获取与所述病变类型信息相对应的第一图像单元的第一热力分布数据,以及,获取围绕所述第一图像单元分布的第二图像单元的第二热力分布数据;
利用所述第一热力分布数据和所述第二热力分布数据,生成所述病变图像的热力图。
例如,若获取的病变类型信息为“猫癣”,则找到与“猫癣”的颜色、深浅及形状相对应的第一图像单元的第一热力分布数据,以及在所述第一图像单元周围的第二图像单元的第二热力分布数据,进而生成所述病变图像的热力图,根据所述热力图,即可找到兴趣点,进而找到“猫癣”在所述病变图像上的具体位置。所述二图像单元例如可为猫的正常皮肤所对应的图像单元,还可包括皮肤上干扰点所对应的图像单元。
其中,可通过注意力模型来生成热力图。注意力模型可以被配置为获取图像中的每个图像单元的受关注程度,且图像单元的热力值随其受关注程度的增大而增大,病变点所在区域相较于其它区域,受关注程度具有更大受关注程度,故而热力值相对更大。具体而言,注意力模型可以模仿人脑的注意力,利用有限的注意力从图像所包含的大量信息中获取更关键的信息,以降低图像处理过程给计算资源带来的负担,改善图像处理的效果。
另外,还可通过对象标识模型来生成热力图。通过对象标识模型可以确定出图像中病变点的轮廓。进一步地,病变点所在的区域内的图像单元可以具有较大的热力值,位于没有病变点的区域内的图像单元可以具有较小的热力值,而某个图像单元或区域的热力值还可以随其与病变点所在区域之间的距离的增大而减小。
为了进一步提高诊断精度,步骤S12还可进一步包括:将获取的所述病变类型输入至预设的第二病变分类模型中,获取所述病变部位的病理分期;进而,步骤S13中,根据所述病变类型、所述具体病变位置及所述病理分期,输出病变提示信息。
其中,病理分期可以分为进行期、稳定期、消退期。所述第二病变分类模型可采用预先训练得到的神经网络模型。例如,基于深度卷积神经网络的模型,可通过神经网络预先对包括不同病理分期的皮肤病变图像样本训练集中的样本进行训练得到。
步骤S13中,结合第一病变分类模型的输出结果(病变类型、具体病变位置)与第二病变分类模型的输出结果(所处病理期),还可结合物种品种,输出所述病变提示信息。
本实施例中,输出的所述病变提示信息例如可包括:皮肤病类型、感染情况等级、用药方案、护理方案及注意事项等。
其中,皮肤病种类可包括:皮癣、过敏、寄生虫引发的感染、皮屑、痤疮等。感染情况等级可包括:重度、中度、轻度。用药方案可包括:用药的种类,用药的多少与用药的次数等。护理方案及注意事项包括皮肤的包扎、清洁、用药以及饮食的注意事项等。
本实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被执行时,实现如本实施例所述的图像识别方法。
所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备,例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。这里所描述的计算机程序可以从可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。另外,用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在一些实施例中,通过利用计算机程序的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
本实施例还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如本实施例所述的图像识别方法。
所述存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离所述处理器的存储装置。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述电子设备可以包括用于捕获静态图像或记录视频流的一个或多个相机、以及用于将这些元件彼此连接的所有组件。虽然所述电子设备可以包括全尺寸的个人计算装置,但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动计算装置。举例来说,所述电子设备可以是智能手机,或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中,所述电子设备可以是可穿戴式计算系统。
所述电子设备还可包括通信接口和通信总线,其中所述处理器、所述通信接口、所述存储器通过通信总线完成相互间的通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。所述通信接口用于上述电子设备与其他设备之间的通信。
【实施例二】
本实施例提供一种图像识别方法,所述图像识别方法包括:
S21,获取动物皮肤的病变部位的病变图像;
S22,将所述病变图像输入至预设的病变颜色分类模型,获取所述病变部位的颜色;将所述病变图像输入至预设的病变纹理分类模型,获取所述病变部位的纹理及形状;
S23,根据获取的所述病变部位的颜色、纹理及形状,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;
S24,根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
本实施例提供的图像识别方法,通过构建的病变颜色分类模型及病变纹理分类模型,来获得病变部位的病变类型信息,并基于病变类型信息生成所述病变图像的热力图来确定具体病变位置,进而可根据病变类型信息及具体病变位置信息输出病变提示信息,作为动物喂养中皮肤疾病问题的初步判断,从而使得饲养者能随时了解动物的健康状况。
以下对上述各步骤进行详细说明。
步骤S21中,动物病变部位的皮肤病变图像可以通过带拍照功能的手机、相机、摄像头等终端进行采集。采集了原始图像后,为了保证后续步骤图像识别的精度,可以对原始图像进行预处理,所述预处理包括去噪和增强等。
在获取皮肤病变图像之前,可先判定待识别动物的种类及品种,具体的,可通过物种识别模型来进行动物种类及品种的识别,进而,根据动物的种类及品种匹配不同的病变分类模型,包括所述病变颜色分类模型及所述病变纹理分类模型。
动物种类包括猫、狗、马、牛、羊等。由于同一种类不同品种的动物,皮肤病的发病率不同,为了使得识别结果更准确,在识别出种类的同时,还需要输出该种类对应的品种。例如,如果识别出是猫,则品种可以是长毛犬猫、短毛犬猫。长毛犬猫,皮肤病的发病率要明显高于短毛犬猫。另外,长耳朵的动物,耳病和耳边缘的皮肤病的发病率要高于立耳和短耳朵的;比如,纯种犬比土狗的抵抗力低很多,相对来说,皮肤病的发病率也相对较高。耳朵长短,最典型的一个动物,就是可卡,可卡犬的耳病,是非常普遍,也是比较严重的,尤其是老年犬,长期慢性的皮肤病会导致耳朵的增生。
步骤S22中,所述病变颜色分类模型及所述病变纹理分类模型均可采用预先训练得到的神经网络模型。例如,基于深度卷积神经网络(Convolutional Neural Networks,CNN)的模型,所述病变颜色分类模型可通过神经网络预先对包括不同颜色皮肤病变图像样本训练集中的样本进行训练得到,所述病变纹理分类模型可通过神经网络预先对包括不同纹理皮肤病变图像样本训练集中的样本进行训练得到。病变部位的颜色可以是红色、白色、咖啡色、黑色等。病变部位的纹理及形状可以是:圆形或椭圆形的癣斑、丘疹、脓疱、溃烂、脱皮、脱毛、结痂等。
步骤S23中,获取所述病变类型信息的步骤具体可如下:
提取所述病变图像上各个区域的颜色特征(不同的颜色对应不同的皮肤病类型);
提取所述病变图像上各个区域的纹理及形状特征(不同的皮肤病类型纹理及形状有所不同);
根据所述病变图像上各个区域的所述颜色特征和/或所述纹理及形状特征进行区域分类,区分出皮肤区域和非皮肤区域,并获取所述皮肤区域的所述病变类型。
其中,提取的所述颜色特征具体可以包括颜色的类型、颜色的面积区域等。颜色特征的提取首先需要选择合适的颜色空间,本实施例可采用与眼睛视觉一致的CIELUV颜色空间,以计算每个区域的平均色差,从而以进行皮肤区域与非皮肤区域的区分。
纹理反映了图像中的一块区域的像素灰度级的空间分布属性。纹理分析在计算机视觉、模型识别以及数字图像处理中起着重要的作用。纹理结构反映图像亮度的空间变化。主要表现为:a)某种局部的序列性在比该序列更大的区域内不断重复出现;b)序列是由基本部分,即纹理基元,非随机排列组成的。与图像中的其他区域相比,皮肤区域具有不同的纹理特征,通常看上去比较光滑,可以利用这个特征区分皮肤区域与非皮肤区域。
进一步的,具体可采用高斯混合模型(Gaussian Mixture Model,GMM)进行区域分类,所述高斯混合模型可通过对样本进行训练得到。
在样本的训练阶段,将提取的皮肤颜色特征和非皮肤颜色特征作为高斯混合模型的输入向量,由此可建立皮肤颜色分布模型、非皮肤颜色分布模型、皮肤纹理分布模型和非皮肤纹理分布模型。
在样本测试阶段,对于每个测试区域,根据训练阶段建立的模型,计算它是皮肤或非皮肤区域的概率,并根据一定的判断准则进行分类。
本实施例中,获取所述具体病变位置的方法与实施例一一致,具体步骤可参见实施一,在此不再赘述。
步骤S24中,根据病变类型和具体病变位置,还可结合物种品种,输出所述病变提示信息。
本实施例与实施例一类似的,输出的所述病变提示信息可包括皮肤病类型、感染情况等级、用药方案、护理方案及注意事项等。
其中,皮肤病的种类可以包括:皮癣、过敏、寄生虫引发的感染、皮屑、痤疮等。感染情况等级可以包括:重度、中度、轻度;治疗可以包括:用药的种类,用药的多少与用药的次数等护理方案包括皮肤的包扎、清洁、用药以及饮食的注意事项等。
以得了猫癣的猫为例,本实施例提供的图像识别方法,其具体实施过程如下:
获取病变部位的病变图像;
通过物种识别模型确定为猫物种中的***类别;
通过颜色分类模型获得病变位置的颜色为粉红色;
通过纹理分类模型获得病变位置的纹理特征;如:片状脱皮、脱毛,环形病变(圆形脱毛斑在向外扩散的同时,中心已经开始愈合,脱毛斑边缘可见结痂),感染毛发断裂,参差不齐,毛茬可能变粗等特征;
综合物种识别模型、颜色分类模型、纹理分类模型的识别结果输出病变类型为“猫癣”,感染情况等级为中度感染,同时还输出治疗及护理方案。
治疗方案为:先将猫病区及部份周边的毛剃掉,用热肥皂水浸泡、擦洗患处,以软化硬皮。用棉签沾酒精擦拭,将病区的皮屑及硬痂去掉,再涂药,以使药物能直接渗透患处的皮肤,同时吃一些维生素B辅助治疗。
注意事项:
(1)因为猫癣可传染给人,请注意消毒。猫咪的主人应该口服复合维生素预防。
(2)不可以给猫咪使用达克宁霜,效果很不好,而且还很容易扩展。
(3)猫咪用药期间,必须加强营养,多晒太阳。这期间应该加强猫粮的营养,另外给猫咪服用动物用的维生素。
(4)家中环境要勤消毒,尤其是猫咪常睡的窝,垫子,家中的地板,家具也经常消毒。
(5)一定要注意及时发现猫咪身上新长出来的猫癣。猫咪皮肤上新长的硬的小疙瘩或突起,旁边还有一点皮屑,就是新长的猫癣,这些部位千万别忘了上药。
(6)潮湿、高温、不通风的环境容易滋生真菌,要让猫咪的环境干燥和通风。
本实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被执行时,实现如本实施例所述的图像识别方法。
本实施例中,与实施例一类似的,所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。对于所述可读存储介质和所述计算机程序的具体描述请参见实施例一,在此不再赘述。
本实施例还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如本实施例的图像识别方法。
同样的,本实施例中,与实施例一类似的,所述存储器可以包括RAM,也可包括NVM,或者是一位于远离所述处理器的存储装置。所述处理器,可以是CPU,还可以其他通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。对于本实施例提供的所述电子设备的进步描述,以及对于所包含的所述存储器和所述处理器的具体描述请参见实施例一,在此亦不再赘述。
综上所述,本发明实施例提供的图像识别方法、可读存储介质及电子设备,通过构建的病变分类模型,直接获得病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图来确定具体病变位置信息,进而根据所述病变类型信息和所述病变位置信息输出病变提示信息;或者,通过构建的病变颜色分类模型和病变纹理分类模型,获得该病变区域皮肤的纹理和颜色,再通过病变区域皮肤的纹理和颜色来确定病变类型信息,并基于病变类型信息生成所述病变图像的热力图来确定具体病变位置信息,进而根据所述病变类型信息和所述病变位置信息输出病变提示信息。所述病变提示信息可作为动物喂养中皮肤疾病问题的初步判断,以便饲养者能随时了解动物的健康状况,解决了动物皮肤病就医花费时间,且可能因就医不及时造成病情延误的问题。
需要说明的是,需要说明的是,本发明实施例所提供的所述图像识别方法不仅适用于对动物皮肤病变图片的识别还可适用于对人类皮肤病变图片的识别,具有很好的普适性。另外,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可,此外,各个实施例之间不同的部分也可互相组合使用,本发明对此不作限定。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (15)

1.一种图像识别方法,其特征在于,所述图像识别方法包括:
获取动物皮肤的病变部位的病变图像;
将所述病变图像输入至预设的第一病变分类模型,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;以及,
根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
2.如权利要求1所述的图像识别方法,其特征在于,确定所述病变位置信息的步骤包括:
在所述热力图上找到所述病变图像的兴趣点;
根据所述兴趣点所处位置获得所述病变部位具体的病变位置信息。
3.如权利要求1所述的图像识别方法,其特征在于,所述图像识别方法还包括:
将获取的所述病变类型信息输入至预设的第二病变分类模型中,获取所述病变部位的病理分期;以及,
根据所述病变类型信息、所述病变位置信息及所述病理分期,输出病变提示信息。
4.如权利要求3所述的图像识别方法,其特征在于,所述第一病变分类模型和所述第二病变分类模型均为预先训练好的神经网络模型。
5.如权利要求1所述的图像识别方法,其特征在于,在获取所述皮肤病变图像后,所述图像识别方法还包括:
对所述皮肤病变图像进行预处理,所述预处理包括:去噪和增强。
6.如权利要求1所述的图像识别方法,其特征在于,在获取动物病变部位的皮肤病变图像之前,所述图像识别方法还包括:
判定待识别动物的种类及品种;
根据动物的种类及品种匹配所述第一病变分类模型。
7.一种图像识别方法,其特征在于,所述图像识别方法包括:
获取动物皮肤的病变部位的病变图像;
将所述病变图像输入至预设的病变颜色分类模型,获取所述病变部位的颜色;
将所述病变图像输入至预设的病变纹理分类模型,获取所述病变部位的纹理及形状;
根据获取的所述病变部位的颜色、纹理及形状,获取所述病变部位的病变类型信息,并基于所述病变类型信息生成所述病变图像的热力图,以确定所述病变部位具体的病变位置信息;
根据所述病变类型信息及所述病变位置信息,输出病变提示信息。
8.如权利要求7所述的图像识别方法,其特征在于,确定所述病变位置信息的步骤包括:
在所述热力图上找到所述病变图像的兴趣点;
根据所述兴趣点所处位置获得所述病变部位具体的病变位置信息。
9.如权利要求7所述的图像识别方法,其特征在于,获取所述病变类型信息的步骤包括:
提取所述病变图像上各个区域的颜色特征;
提取所述病变图像上各个区域的纹理及形状特征;
根据所述病变图像上各个区域的所述颜色特征和/或所述纹理及形状特征进行区域分类,区分出皮肤区域和非皮肤区域,并获取所述皮肤区域的所述病变类型信息。
10.如权利要求9所述的图像识别方法,其特征在于,采用高斯混合模型进行所述区域分类。
11.如权利要求7所述的图像识别方法,其特征在于,所述病变颜色分类模型和所述病变纹理分类模型均为预先训练好的神经网络模型。
12.如权利要求7所述的图像识别方法,其特征在于,在获取所述皮肤病变图像后,所述图像识别方法还包括:
对所述皮肤病变图像进行预处理,所述预处理包括:去噪和增强。
13.如权利要求7所述的图像识别方法,其特征在于,在获取动物病变部位的皮肤病变图像之前,所述图像识别方法还包括:
判定动物的种类及品种;
根据动物的种类及品种匹配所述病变颜色分类模型和所述病变纹理分类模型。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被执行时,实现如权利要求1~13任一项所述的图像识别方法。
15.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1~13任一项所述的图像识别方法。
CN202110292769.5A 2021-03-18 2021-03-18 图像识别方法、可读存储介质及电子设备 Pending CN113057593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110292769.5A CN113057593A (zh) 2021-03-18 2021-03-18 图像识别方法、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110292769.5A CN113057593A (zh) 2021-03-18 2021-03-18 图像识别方法、可读存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113057593A true CN113057593A (zh) 2021-07-02

Family

ID=76562210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110292769.5A Pending CN113057593A (zh) 2021-03-18 2021-03-18 图像识别方法、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113057593A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114983712A (zh) * 2022-06-01 2022-09-02 郑州大学第一附属医院 一种老年人护理用防褥疮床垫分区控制系统
CN115482914A (zh) * 2022-09-14 2022-12-16 武汉一格美容咨询有限公司 一种医疗影像数据处理方法,设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103459974A (zh) * 2011-04-06 2013-12-18 爱克发医疗保健公司 用于光学相干断层扫描的方法和系统
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技(深圳)有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN109363640A (zh) * 2018-12-04 2019-02-22 北京贝叶科技有限公司 基于皮肤病理图像的识别方法及系统
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
WO2019091509A1 (de) * 2017-11-09 2019-05-16 FotoFinder Systems GmbH Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb
CN110517771A (zh) * 2019-08-29 2019-11-29 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
CN111292318A (zh) * 2020-03-12 2020-06-16 深圳智信生物医疗科技有限公司 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
JP6734457B1 (ja) * 2019-10-28 2020-08-05 アニコム ホールディングス株式会社 疾患予測システム、保険料算出システム及び疾患予測方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103459974A (zh) * 2011-04-06 2013-12-18 爱克发医疗保健公司 用于光学相干断层扫描的方法和系统
WO2019091509A1 (de) * 2017-11-09 2019-05-16 FotoFinder Systems GmbH Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技(深圳)有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN109363640A (zh) * 2018-12-04 2019-02-22 北京贝叶科技有限公司 基于皮肤病理图像的识别方法及系统
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN110517771A (zh) * 2019-08-29 2019-11-29 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
JP6734457B1 (ja) * 2019-10-28 2020-08-05 アニコム ホールディングス株式会社 疾患予測システム、保険料算出システム及び疾患予測方法
CN111292318A (zh) * 2020-03-12 2020-06-16 深圳智信生物医疗科技有限公司 内窥镜系统及内窥镜图像识别方法、设备、可存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114983712A (zh) * 2022-06-01 2022-09-02 郑州大学第一附属医院 一种老年人护理用防褥疮床垫分区控制系统
CN115482914A (zh) * 2022-09-14 2022-12-16 武汉一格美容咨询有限公司 一种医疗影像数据处理方法,设备及存储介质
CN115482914B (zh) * 2022-09-14 2023-10-24 湖南提奥医疗科技有限公司 一种医疗影像数据处理方法,设备及存储介质

Similar Documents

Publication Publication Date Title
Wurtz et al. Recording behaviour of indoor-housed farm animals automatically using machine vision technology: A systematic review
Neethirajan The role of sensors, big data and machine learning in modern animal farming
US10482317B2 (en) Image analysis for determining characteristics of humans
US20240161286A1 (en) Animal health assessment
US9521829B2 (en) Livestock identification and monitoring
Coulon et al. Do lambs perceive regular human stroking as pleasant? Behavior and heart rate variability analyses
CN109255297B (zh) 动物状态监测方法、终端设备、存储介质及电子设备
CN113057593A (zh) 图像识别方法、可读存储介质及电子设备
WO2021104007A1 (zh) 一种动物状态监测方法、装置、电子设备及存储介质
Zin et al. A general video surveillance framework for animal behavior analysis
JP2021140754A (ja) 家畜疾病管理システム、家畜疾病管理サーバ、家畜疾病管理方法、及び家畜疾病管理プログラム
US20230073738A1 (en) Method for Determining Biometric Data Relating to an Animal Based on Image Data
Schanz et al. Sex and age don't matter, but breed type does—Factors influencing eye wrinkle expression in horses
Regan et al. Clinical abnormalities in working donkeys and their associations with behaviour
CN115035570A (zh) 宠物放松的方法、装置、计算机设备以及存储介质
Malhotra et al. Application of AI/ML approaches for livestock improvement and management
Xue et al. An analytical framework to predict slaughter traits from images in fish
JP7360489B2 (ja) 個体識別システム及び個体識別方法
ting Liu et al. Development process of animal image recognition technology and its application in modern cow and pig industry
Habal et al. Dog skin disease recognition using image segmentation and GPU enhanced convolutional neural network
Kahl Enhancing animal welfare and improving production performance of feedlot cattle by introducing forms of environmental enrichment
Bak A new advisory tool to help practitioners reduce antibiotic consumption in pig herds
Christensen et al. Mouth movements during competition is a potential indicator of oral lesions in dressage horses
WO2023008571A1 (ja) 個体識別システム及び個体識別方法
Roberts Socially responsible facial recognition of animals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702