图像数据分类方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像数据分类方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的高速发展,人工智能技术和图像处理技术也在迅速发展。人们每天都在接触各种各样的图片,图片中也包含了各式各样的信息。例如,一些患者可能会出现一些皮肤疾病。当皮肤疾病并不严重时,患者可能会采用拍照发送给医生终端以向网络医生等进行咨询,或者医生在看诊时,拍摄患者的皮肤图片后,直接初步诊断对应的皮肤疾病。同一种皮肤疾病在不同阶段可能出现不同的皮肤损害表现,医生仅能凭经验做出诊断,会导致误诊概率较高。
这种仅靠主观因素识别的方式并不能准确地识别特定图片中的各类信息,且无法明确得知该类信息代表何种含义。因此当用户想要根据图片中的信息判断图片所对应的图片类别时,往往会造成结果的不准确等,无法便捷有效且客观准确的获取特定图片所属的类型。因此,如何有效提高特定图片的识别准确性成为目前需要解决的技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够准确有效地识别待测图片的目标类型的图像数据分类方法、装置、计算机设备和存储介质。
一种图像数据分类方法,所述方法包括:
获取终端发送的目标待测图片;
将所述目标待测图片输入已训练的特征识别模型中,识别所述目标待测图片的特征字段,输出与所述目标待测图片对应的目标特征字段;
将所述目标特征字段输入已训练的特征加权模型中,输出与所述目标特征字段对应的目标加权字段;
获取预设的关联映射表,在所述关联映射表中查找与所述目标加权字段相似值高于预设阈值的比对加权字段;
获取与所述比对加权字段对应的第一候选图片类型;
根据所述第一候选图片类型确定所述目标待测图片的目标类型。
在其中一个实施例中,所述在所述关联映射表中查找与所述目标加权字段相似值高于预设阈值的比对加权字段之前,还包括:获取与比对图片类型对应的多个比对样本图片;所述比对图片类型为至少一种;将多个比对样本图片输入已训练的特征识别模型中,输出与所述比对样本图片对应的比对特征字段;将所述比对特征字段输入已训练的特征加权模型中,输出与所述比对特征字段对应的比对加权字段;将所述比对加权字段与所述比对图片类型进行关联存储,生成关联映射表。
在其中一个实施例中,所述识别所述目标待测图片的特征字段的步骤包括:通过所述特征识别模型提取出所述目标待测图片中的多维度特征信息;将所述多维度特征信息与所述特征识别模型中的特征库进行匹配,计算多维度特征信息与特征库中多个特征字段之间的匹配度;将所述匹配度满足预设阈值的特征字段作为所述目标待测图片对应的目标特征字段。
在其中一个实施例中,将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,包括:获取所述特征加权模型中与各个目标特征字段对应的预设加权算法;根据预设加权算法对各个目标特征字段进行加权处理,得到与所述目标特征字段对应的目标加权字段。
在其中一个实施例中,所述方法还包括:获取目标待测信息;所述目标待测信息包括比对图片类型;获取与所述比对图片类型对应的比对样本信息;所述比对图片类型包括至少一种;将所述目标待测信息和所述比对样本信息输入已训练的文本识别模型中,输出文本相似度高于预设阈值的比对样本信息;确定与比对样本信息对应的第二候选图片类型;若所述第一候选图片类型与所述第二候选图片类型的图片类型一致,将所述第一候选图片类型作为所述目标待测图片的目标类型;若所述第一候选图片类型与所述第二候选图片类型的图片类型不一致,将所述第一候选图片类型与所述第二候选图片类型发送至所述终端,以使所述终端根据所述第一候选图片类型与所述第二候选图片类型确定所述目标待测图片的目标类型。
一种图像数据分类装置,所述装置包括:
图片获取模块,用于获取终端发送的目标待测图片;
特征识别模块,用于将所述目标待测图片输入已训练的特征识别模型中,识别所述目标待测图片的特征字段,输出与所述目标待测图片对应的目标特征字段;
特征加权模块,用于将所述目标特征字段输入已训练的特征加权模型中,输出与所述目标特征字段对应的目标加权字段;
图片分类模块,用于获取预设的关联映射表,在所述关联映射表中查找与所述目标加权字段相似值高于预设阈值的比对加权字段;获取与所述比对加权字段对应的第一候选图片类型;根据所述第一候选图片类型确定所述目标待测图片的目标类型。
在其中一个实施例中,所述特征识别模块还用于通过所述特征识别模型提取出所述目标待测图片中的多维度特征信息;将所述多维度特征信息与所述特征识别模型中的特征库进行匹配,计算多维度特征信息与特征库中多个特征字段之间的匹配度;将所述匹配度满足预设阈值的特征字段作为所述目标待测图片对应的目标特征字段。
在其中一个实施例中,所述装置还包括待测信息分类模块,用于获取目标待测信息;所述目标待测信息包括比对图片类型;获取与所述比对图片类型对应的比对样本信息;所述比对图片类型包括至少一种;将所述目标待测信息和所述比对样本信息输入已训练的文本识别模型中,输出文本相似度高于预设阈值的比对样本信息;确定与比对样本信息对应的第二候选图片类型;所述图片分类模块还用于若所述第一候选图片类型与所述第二候选图片类型的图片类型一致,将所述第一候选图片类型作为所述目标待测图片的目标类型;若所述第一候选图片类型与所述第二候选图片类型的图片类型不一致,将所述第一候选图片类型与所述第二候选图片类型发送至所述终端,以使所述终端根据所述第一候选图片类型与所述第二候选图片类型确定所述目标待测图片的目标类型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本申请任意一个实施例中提供的图像数据分类方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的图像数据分类方法的步骤。
上述图像数据分类方法、装置、计算机设备和存储介质,服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中,输出与目标待测图片对应的目标特征字段,通过提取图片中的特征信息,并将特征信息与服务器中预先存储的特征信息进行比对,以此进一步确定目标待测图片的类型,再将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,将图片中的各个维度的特征信息进行赋权,能够使得比对结果更加客观准确,并在关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,服务器获取与比对加权字段对应的第一候选图片类型,并将第一候选图片类型作为目标待测图片的目标类型,能够便捷有效且客观的获取目标待测图片所属的类型,从而能够有效提高目标待测图片的分类识别准确率。
附图说明
图1为一个实施例中图像数据分类方法的应用场景图;
图2为一个实施例中图像数据分类方法的流程示意图;
图3为一个实施例中特征识别步骤的流程示意图;
图4为另一个实施例中图像数据分类方法的流程示意图;
图5为一个实施例中图像数据分类装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像数据分类方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102可以向服务器上传目标待测图片,服务器104获取目标待测图片后,服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中,输出与目标待测图片对应的目标特征字段,再将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,将图片中的各个维度的特征信息进行赋权,并在关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,服务器获取与比对加权字段对应的第一候选图片类型,并将第一候选图片类型作为目标待测图片的目标类型。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑便,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像数据分类方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取终端发送的目标待测图片。
其中,目标待测图片是指需要获取其图片类型的图片。终端可以是个人用户对应的用户终端,也可以是医护人员对应的医疗终端。终端还可以向服务器发送图像识别请求,图像识别请求中包括了目标待测图片。服务器接收终端发送的图像识别请求,并获取图像识别请求中携带的目标待测图片。
步骤204,将目标待测图片输入已训练的特征识别模型中,识别目标待测图片的特征字段,输出与目标待测图片对应的目标特征字段。
其中,特征识别模型是指用于识别图片中的特征信息的模型,特征识别模型为预先利用大量训练样本数据训练构建得到的模型,特征识别模型可以是基于神经网络的模型。目标特征字段是指通过特征识别模型提取出的目标待测图片中的特征信息,目标特征字段包括多个维度的字段信息。
在一个实施例中,目标待测图片可以是实时拍摄的图片信息,也可以是预先存储于终端并由终端发送至服务器的图片数据。当目标待测图片为实时拍摄的皮肤照片时,与目标待测图片对应的目标特征字段包括但不限于宽度、质地、高度、颜色、边界、形状、范围、部位、内容物、透明度、间隔部皮肤形状、卫星灶等字段信息。服务器可以根据预设预设打分标准对每个维度下的特征信息进行打分,进而对不同的皮肤损害特征进行打分。
在一个实施例中,特征识别模型为模式识别模型,模式识别模型是指用于获取图像中特征信息的模型,模式识别中进行匹配识别或者分类器分类识别时,判断的依据则为图像特征。其中,服务器提取出的特征信息可以表示整幅图像内容,根据特征信息匹配或者分类图像的目标类型。例如,可以采用以下3种特征提取算法对目标待测图片进行特征提取:①基于颜色特征:如颜色直方图、颜色集、颜色矩、颜色聚合向量等;②基于纹理特征:如Tamura纹理特征、自回归纹理模型、Gabor变换、小波变换、MPEG7边缘直方图等;③基于形状特征:如傅立叶形状描述符、不变矩、小波轮廓描述符等。
步骤206,将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段。
其中,特征加权模型是指用于对各个目标特征字段进行加权处理的模型,特征加权模型为预先利用大量训练样本数据训练构建得到的模型。加权处理是指对各个目标特征字段进行赋予权重,该赋予权重的形式包括但不限于数值形式、百分比形式或概率形式。目标加权字段是指携带有权重信息的目标特征字段,可以理解的是,目标特征字段为至少一个,目标加权字段为至少一个。
在其中一个实施例中,客观加权模型可采用客观赋权法,客观赋权法包括但不限于主成份分析法和熵值法等,服务器根据主成份分析法确定参考权重主要包括以下步骤:(1)首先将数据标准化,这是考虑到不同数据间的量纲不一致,因而需要无量纲化。(2)对标准化后的数据进行因子分析(主成分方法),使用方差最大化旋转。(3)写出主因子得分和每个主因子的方程贡献率。(4)求出特征权重,即各个网络环境参考数据的参考权重。熵值法是指用来判断某个特征的离散程度的数学方法。离散程度越大,则对该特征对综合评价的影响越大。服务器可以用熵值判断某个特征的离散程度,根据该离散程度进一步确定各个目标特征字段对应的参考权重,并将该参考权重赋予对应的目标特征字段,得到目标加权字段。
步骤208,获取预设的关联映射表,在关联映射表中查找与目标加权字段相似值高于预设阈值的比对加权字段。
其中,关联映射表是指存储于比对加权字段与第一候选图片类型间对应的关系的映射表。可以理解的是,第一候选图片类型为至少一种,各个第一候选图片类型所对应的比对加权字段为至少一个。
在其中一个实施例中,当第一候选图片类型为皮肤类图片时,比对加权字段包括但不限于宽度、质地、高度、颜色、边界、形状、范围、部位、内容物、透明度、间隔部皮肤形状、卫星灶等。比对加权字段是指预先存储至服务器的关联映射表中的特征字段信息,第一候选图片类型是指预先存储至服务器的已存在图片类型信息的图片。具体地,服务器再关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,该预设条件可自定义设置。
举例说明,当目标加权字段为宽度5分、质地5分、高度3分、颜色2分时,服务器将逐一将各个目标加权字段与同一类型的候选图片对应的比对加权字段进行比对,只有在同一类型的候选图片对应的各个比对加权字段与各个目标加权字段达到预设相似条件时,服务器获取与该组比对加权字段对应的第一候选图片类型。
步骤210,获取与比对加权字段对应的第一候选图片类型。
步骤212,根据第一候选图片类型确定目标待测图片的目标类型。
服务器在关联映射表中查找到与目标加权字段相似值高于预设阈值的比对加权字段后,获取与该组比对加权字段对应的第一候选图片类型,并根据第一候选图片类型确定目标待测图片的目标类型。
其中,服务器将第一候选图片类型作为目标待测图片的类型。即通过将逐一将各个目标加权字段与同一类型的候选图片对应的比对加权字段进行比对,得到相似值高于预设条件的比对加权字段,并将该组比对加权字段对应的第一候选图片类型确定为目标待测图片的目标类型。通过提取目标待测图片中的特征信息,并将特征信息与服务器中预先存储的特征信息进行比对,以此进一步确定目标待测图片的类型,并将图片中的各个维度的特征信息进行赋权后,在关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,由此能够准确有效地识别出标待测图片的类型。
上述图像数据分类方法中,服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中,输出与目标待测图片对应的目标特征字段,通过提取图片中的特征信息,并将特征信息与服务器中预先存储的特征信息进行比对,以此进一步确定目标待测图片的类型,再将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,将图片中的各个维度的特征信息进行赋权,能够使得比对结果更加客观准确,并在关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,服务器获取与比对加权字段对应的第一候选图片类型,并将第一候选图片类型作为目标待测图片的目标类型,能够便捷有效且客观的获取目标待测图片所属的类型,从而能够有效提高目标待测图片的分类识别准确率。
在一个实施例中,如图3所示,在关联映射表中查找与目标加权字段相似值高于预设阈值的比对加权字段之前,还包括生成关联映射表的步骤,该步骤具体包括以下内容:
步骤302,获取与比对图片类型对应的多个比对样本图片;比对图片类型为至少一种。
步骤304,将多个比对样本图片输入已训练的特征识别模型中,输出与比对样本图片对应的比对特征字段。
步骤306,将比对特征字段输入已训练的特征加权模型中,输出与比对特征字段对应的比对加权字段。
步骤308,将比对加权字段与比对图片类型进行关联存储,生成关联映射表。
其中,比对样本图片是指与各个比对图片类型对应的预先存储至服务器中的图片信息,可以理解的是,比对图片类型为至少一种,比对图片类型对应的比对样本图片为至少一种。
服务器将比对样本图片输入已训练的特征识别模型中,用于提取出比对样本图片中的特征信息,输出与比对样本图片对应的比对特征字段。服务器进一步将比对特征字段输入已训练的特征加权模型中以对各个特征信息进行权重的赋予,并输出与比对特征字段对应的比对加权字段。服务器将比对加权字段与比对图片类型进行关联存储,生成关联映射表。
具体地,各个比对图片类型对应的比对加权字段为多个。当服务器将比对加权字段与比对图片类型进行关联存储时,将同一比对样本图片对应的比对加权字段作为一组,并将各组比对加权字段与比对图片类型进行一一对应的关联存储,生成关联映射表,由此能够有效地建立关联映射表。服务器通过生成关联映射表,能够在使用过程中便捷地查找与目标加权字段相似值高于预设条件的比对加权字段,并将比对加权字段对应的第一候选图片类型作为目标待测图片的类型,从而能够准确有效地识别目标待测图片的类型。
在一个实施例中,识别目标待测图片的特征字段的步骤包括:通过特征识别模型提取出目标待测图片中的多维度特征信息;将多维度特征信息与特征识别模型中的特征库进行匹配,计算多维度特征信息与特征库中多个特征字段之间的匹配度;将匹配度满足预设阈值的特征字段作为目标待测图片对应的目标特征字段。
服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中。特征识别模型首先对目标待测图片进行特征提取,提取出目标待测图片中的特征信息。
具体地,服务器通过特征识别模型根据预设多个特征维度对目标待测图片进行特征提取。其中,特征维度包括宽度、质地、高度、颜色、边界、形状、范围、部位、内容物、透明度、间隔部皮肤形状、卫星灶等维度信息。服务器根据则通过特征识别模型提取出目标待测图片中的多维度特征信息,并将多维度特征信息与特征识别模型中的特征库进行匹配识别,计算多维度特征信息与特征库中多个特征字段之间的匹配度,获取匹配度满足预设阈值的特征字段,并将满足预设阈值的特征字段作为目标待测图片对应的目标特征字段,从而能够准确有效地提取出目标待测图片中多维度的目标特征字段。
举例说明,目标待测图片可以为皮肤损害类型对应的待测皮肤图片,服务器可以通过对待测皮肤图片进行识别处理,识别待测皮肤图片的皮肤损害程度类型。具体地,服务器可以利用特征识别模型对不同疾病的待测皮肤图片进行特征提取,提取出多个维度的特征维度字段。其中,特征维度可以包括宽度、质地、高度、颜色、边界、形状、范围、部位、内容物、透明度、间隔部皮肤形状、卫星灶等。服务器可以预先配置每个特征维度对应的打分标准,对不同皮肤损害进行打分。通过对待测皮肤图片中不同疾病的皮肤损害进行分析,建立各种皮肤损害图片特征数据库,利用大数据模型和数据治理与优化模型,对每个特征分值范围进行处理分析,例如可以将每个特征分值标化为0-1。比较不同疾病同一特征的分值范围,分值范围差异越大,该疾病的此特征特异度越高,则表示此皮肤损害特征在此疾病中为主要区别特征,给予相关标记,以此作为皮肤损害疾病的识别特征。
在一个实施例中,将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,包括:获取特征加权模型中与各个目标特征字段对应的预设加权算法;根据预设加权算法对各个目标特征字段进行加权处理,得到与目标特征字段对应的目标加权字段。
服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中。特征识别模型首先对目标待测图片进行特征提取,提取出目标待测图片中的特征信息。具体地,服务器通过特征识别模型根据预设多个特征维度对目标待测图片进行特征提取,将多维度特征信息与特征识别模型中的特征库进行匹配,计算多维度特征信息与特征库中多个特征字段之间的匹配度;将匹配度满足预设阈值的特征字段作为目标待测图片对应的目标特征字段。
服务器通过特征识别模型识别出目标待测图片对应的目标特征字段后,进一步将目标特征字段输入已训练的特征加权模型中,服务器根据特征加权模型中的预设加权算法对各个目标特征字段进行加权处理,得到与目标字段对应的目标加权字段,并通过特征加权模型输出与目标特征字段对应的目标加权字段。
其中,预设加权算法是指用于对各个目标特征进行加权时所使用的规则算法。预设加权算法包括但不限于客观加权模型可采用客观赋权法,客观赋权法包括但不限于主成份分析法和熵值法等,预设加权算法用于服务器根据预设加权算法对各个目标特征字段进行加权处理,得到与目标特征字段对应的目标加权字段。通过特征加权模型对提取出的目标特征字段进行加权处理,由此能够有效得到目标待测图片对应的目标加权字段,从而能够进一步准确有效地识别目标待测图片对应的目标类型。
在一个实施例中,如图4所示,提供了一种图像数据分类方法,以该方法应用于图1中的服务器为例进行说明,具体包括以下步骤:
步骤402,获取目标待测信息;目标待测信息包括比对图片类型。
步骤404,获取与比对图片类型对应的比对样本信息;比对图片类型包括至少一种。
步骤406,将目标待测信息和比对样本信息输入已训练的文本识别模型中,输出文本相似度高于预设阈值的比对样本信息。
步骤408,确定与比对样本信息对应的第二候选图片类型。
步骤410,若第一候选图片类型与第二候选图片类型的图片类型一致,将第一候选图片类型作为目标待测图片的目标类型。
步骤412,若第一候选图片类型与第二候选图片类型的图片类型不一致,将第一候选图片类型与第二候选图片类型发送至终端,以使终端根据第一候选图片类型与第二候选图片类型确定目标待测图片的目标类型。
其中,目标待测信息可以指针对目标图片类型所输入的文字信息,目标待测信息可由终端在发送目标待测图片时,将该目标待测信息同步发送至服务器。比对样本信息是指预先存储至服务器的用于与比对图片类型对应的文本信息。文本相似度模型是指预先训练的用于进行文本间相似度比较的模型。
在其中一个实施例中,文本相似度模型可基于词频方式进行文本相似度的比较,基于词频方式时一般用于句子段落这些较大粒度文本。其中,粒度可以表示数据细化和综合程度。服务器首先对文本进行分词,同时去除一些无关紧要的停用词;再对已经分好的词进行出现次数的统计,提取合适数量的高频词;通过高频词构建文本向量;最后通过余弦相似度算法得出两个文本的相似度。
在其中一个实施例中,文本相似度模型可使用至少一种算法对目标待测信息和比对样本信息进行相似度比较。其中,算法包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、夹角余弦、汉明距离、杰卡德距离&杰卡德相似系数、相关系数&相关距离和信息熵等。第二候选图片类型是指当文本相似度高于预设条件时的比对样本信息所对应的图片类型。可以理解的是,服务器可以预先将各个比对样本信息与候选图片类型进行关联存储。
在其中一个实施例中,比对样本信息和目标待测信息主要为图片不能获取的特征信息,如发病时间、伴随症状等。少部分图片可获取的特征信息亦可提取,用来优化图片获取的特征信息。对不同特征进行打分,建立各种皮肤损害的非图片特征数据库,且同样对每个特征分值范围亦进行处理(标化为0-1);
具体地,获取终端发送的目标待测图片的同时,还可以获取终端发送的目标待测信息,其中,目标待测信息包括比对图片类型。服务器获取目标待测图片后,将目标待测图片输入已训练的特征识别模型中,输出与目标待测图片对应的目标特征字段,通过提取图片中的特征信息,并将特征信息与服务器中预先存储的特征信息进行比对,以此进一步确定目标待测图片的类型,再将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段,将图片中的各个维度的特征信息进行赋权,能够使得比对结果更加客观准确,并在关联映射表中查找与目标加权字段相似值高于预设条件的比对加权字段,服务器获取与比对加权字段对应的第一候选图片类型。
于此同时,服务器还可以对目标待测信息进行识别。具体地,服务器将目标待测信息和比对样本信息输入已训练的文本相似度模型中,输出文本相似度高于预设条件的比对样本信息,并确定与比对样本信息对应的第二候选图片类型。当第一候选图片类型与第二候选图片类型的图片类型一致时,即说明利用图片提取特征信息进行赋权对比与文本信息进行对比时所得出的结论相同,因此将第一候选图片类型作为目标待测图片的目标类型。
当第一候选图片类型与第二候选图片类型的图片类型不一致时,将第一候选图片类型与第二候选图片类型发送至医生终端,以使医生终端根据第一候选图片类型与第二候选图片类型确定目标待测图片的目标类型,能够使得最后确定的目标待测图片的类型更加准确,从而能够有效提高目标待测图片的分类识别准确率。
在一个实施例中,当目标待测图片为皮肤损害类型对应的待测皮肤图片时,皮肤科医师通过对应的终端按照摄片要求拍摄待测皮肤图片。其中,待测皮肤图片可以为多张,例如可以可拍摄1至3张。其中可以包括:一张局部皮肤图,局部皮肤图可以是在设定框内拍摄单个皮肤损害及周围一定范围的皮肤图片,局部皮肤图必要待测皮肤图片;一张整体图,整体图可以为拍摄的包含发生部位或发生范围对应的皮肤损害整体图片;还可以包括一张包含其他特异信息的待测皮肤图片。
终端还可以按提示选项信息输入非图片特征的待测信息,其中,非图片特征可以为文本信息。终端可以同时将拍摄的待测皮肤图片和待测信息上传至服务器。服务器则利用图片识别模型自动抓取图片中的有效特征,识别待测皮肤图片的图片类型。服务器同时利用文本识别模型对待测信息进行文本特征抽取和分类,得到对应的文本类型。通过结合图片类型和文本类型,快速准确识别与相关特征匹配的所有皮肤损害类型,按照匹配相似度排序,获取匹配度满足阈值条件的皮肤损害类型。例如可以获取匹配度值位于前三个的皮肤损害类型,并将获取的皮肤损害类型发送至皮肤科医师对应的终端。使得皮肤科医师对应的终端根据识别结果进一步确定最终的皮肤损害类型,从而能够准确有效地识别待测皮肤图片的目标类型。
进一步地,服务器中还预先存储了将所有皮肤疾病与常用药相互关联构建的疾病药品库。当皮肤科医师对应的终端确定最终的皮肤损害类型后,可以进一步根据皮肤损害类型在疾病药品库获取对应的药品数据,由此能够有效地获取皮肤损害类型对应的药品数据。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种图像数据分类装置,包括:图片获取模块502、特征识别模块504、特征加权模块506和图片分类模块508,其中:
图片获取模块502,用于获取终端发送的目标待测图片;
特征识别模块504,用于将目标待测图片输入已训练的特征识别模型中,识别目标待测图片的特征字段,输出与目标待测图片对应的目标特征字段;
特征加权模块506,用于将目标特征字段输入已训练的特征加权模型中,输出与目标特征字段对应的目标加权字段;
图片分类模块508,用于获取预设的关联映射表,在关联映射表中查找与目标加权字段相似值高于预设阈值的比对加权字段;获取与比对加权字段对应的第一候选图片类型;根据第一候选图片类型确定目标待测图片的目标类型。
在一个实施例中,该装置还包括关联映射表构建模块,用于获取与比对图片类型对应的多个比对样本图片;比对图片类型为至少一种;将多个比对样本图片输入已训练的特征识别模型中,输出与比对样本图片对应的比对特征字段;将比对特征字段输入已训练的特征加权模型中,输出与比对特征字段对应的比对加权字段;将比对加权字段与比对图片类型进行关联存储,生成关联映射表。
在一个实施例中,特征识别模块504还用于通过特征识别模型提取出目标待测图片中的多维度特征信息;将多维度特征信息与特征识别模型中的特征库进行匹配,计算多维度特征信息与特征库中多个特征字段之间的匹配度;将匹配度满足预设阈值的特征字段作为目标待测图片对应的目标特征字段。
在一个实施例中,特征加权模块506还用于获取特征加权模型中与各个目标特征字段对应的预设加权算法;根据预设加权算法对各个目标特征字段进行加权处理,得到与目标特征字段对应的目标加权字段。
在一个实施例中,该装置还包括待测信息分类模块,用于获取目标待测信息;目标待测信息包括比对图片类型;获取与比对图片类型对应的比对样本信息;比对图片类型包括至少一种;将目标待测信息和比对样本信息输入已训练的文本识别模型中,输出文本相似度高于预设阈值的比对样本信息;确定与比对样本信息对应的第二候选图片类型;图片分类模块508还用于若第一候选图片类型与第二候选图片类型的图片类型一致,将第一候选图片类型作为目标待测图片的目标类型;若第一候选图片类型与第二候选图片类型的图片类型不一致,将第一候选图片类型与第二候选图片类型发送至终端,以使终端根据第一候选图片类型与第二候选图片类型确定目标待测图片的目标类型。
关于图像数据分类装置的具体限定可以参见上文中对于图像数据分类方法的限定,在此不再赘述。上述图像数据分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标待测图片、关联映射表等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请任意一个实施例中提供的图像数据分类方法的步骤。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本申请任意一个实施例中提供的图像数据分类方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。