CN111767923B - 一种图像数据检测方法、装置以及计算机可读存储介质 - Google Patents
一种图像数据检测方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111767923B CN111767923B CN202010737098.4A CN202010737098A CN111767923B CN 111767923 B CN111767923 B CN 111767923B CN 202010737098 A CN202010737098 A CN 202010737098A CN 111767923 B CN111767923 B CN 111767923B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- sample
- identity
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 579
- 238000000605 extraction Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 19
- 238000012550 audit Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像数据检测方法、装置以及计算机可读存储介质,该方法包括:获取包含检测对象的检测图像,将所述检测图像转换为灰度图,获取所述灰度图的颜色直方图特征;将所述检测图像输入检测模型,基于所述检测模型提取所述检测图像的图像提取特征;对所述颜色直方图特征和所述图像提取特征进行特征融合,得到所述检测图像的目标图像特征;基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测类型。采用本申请,可提高针对检测图像中检测对象的身份类型的检测效率。
Description
技术领域
本申请涉及图像数据处理的技术领域,尤其涉及一种图像数据检测方法、装置以及计算机可读存储介质。
背景技术
随着计算机网络的发展,计算机网络还可以应用在医疗诊断领域中,用户足不出户就能在网络中搜索到病症相关的诊断数据。该诊断数据通常是医疗问答平台中已经认证的医生所答复的,用户可以在该医疗问答平台中查看到答复该诊断数据的医生的认证肖像照。
而在用户的直观感受中,若某个医生的认证肖像照中的着装是医生专用的白大褂,则会认为该医生会比没有身穿白大褂的医生,具有更高的权威性和信赖度。因此,当医生在医疗问答平台中进行认证时,通常需要医生上传的肖像照中的着装是医生专用的白大褂。
现有技术中,当医生向医疗问答平台中提交了肖像照后,相关审核人员可以在医疗问答平台中对医生所提交的肖像照进行人工审核,审核的内容就包括审核医生在所提交的肖像照中的着装是否是白大褂。若不是,则审核人员会退回该肖像照给医生,让医生再重新上传着装为白大褂的肖像照。当医生再次上传肖像照后,又需要审核人员重新对医生上传的肖像照进行审核。由此可见,现有技术中,针对医生所上传的肖像照的审核效率低。
发明内容
本申请提供了一种图像数据检测方法、装置以及计算机可读存储介质,可提高针对检测图像中检测对象的身份类型的检测效率。
本申请一方面提供了一种图像数据检测方法,该方法包括:
获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;
将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;
对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;
基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。
本申请一方面提供了一种图像数据检测方法,该方法包括:
获取包含样本检测对象的样本图像,将样本图像转换为样本灰度图,获取样本样本灰度图的样本颜色直方图特征;样本图像携带有样本检测对象的身份类型标签;
将样本图像输入初始检测模型,基于初始检测模型提取样本图像的样本图像提取特征;
对样本颜色直方图特征和样本图像提取特征进行特征融合,得到样本图像的样本图像特征;
基于样本图像特征,在初始检测模型中输出针对样本检测对象的样本身份预测结果;
根据样本身份预测结果和身份类型标签所指示的样本检测对象的实际身份类型,修正初始检测模型的模型参数,得到检测模型;检测模型用于对检测图像中的检测对象的身份类型进行检测。
本申请一方面提供了一种图像数据检测装置,包括:
直方图特征获取模块,用于获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;
提取特征获取模块,用于将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;
特征融合模块,用于对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;
类型预测模块,用于基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。
其中,直方图特征获取模块,包括:
遍历单元,用于遍历灰度图中的至少两个图像像素点,得到至少两个图像像素点的像素点灰度值;
匹配灰度值获取单元,用于获取至少两个匹配灰度值;
统计单元,用于在至少两个图像像素点的像素点灰度值中,统计属于每个匹配灰度值的像素点灰度值的灰度值数量;
特征确定单元,用于根据每个匹配灰度值分别对应的灰度值数量,确定检测图像的颜色直方图特征。
其中,特征确定单元,包括:
数量获取子单元,用于获取至少两个图像像素点的像素点总数量;
比值获取子单元,用于获取每个匹配灰度值对应的灰度值数量分别与像素点总数量之间的数量比值;
特征生成子单元,用于根据每个匹配灰度值分别对应的数量比值,生成颜色直方图特征。
其中,特征融合模块,用于:
将颜色直方图特征和图像提取特征进行特征拼接融合,得到检测图像的目标图像特征;目标图像特征的特征维度,等于颜色直方图特征的特征维度和图像提取特征的特征维度之和;
类型预测模块,包括:
类型结果输出单元,用于基于目标图像特征,在检测模型中输出针对检测对象的身份预测结果;身份预测结果中包括检测对象属于每种预备身份类型的预测概率;
类型确定单元,用于将类型预测结果中,具有最大值的预测概率所对应的预备身份类型,确定为检测对象的身份预测类型。
其中,类型预测模块,包括:
对象结果输出单元,用于根据目标图像特征,在检测模型中输出针对检测对象的对象检测结果;对象检测结果中包括检测对象具有医生制服的第一概率、以及检测对象不具有医生制服的第二概率;
制服类型确定单元,用于当第一概率大于第二概率时,将制服身份类型确定为检测对象的身份预测类型;
非制服类型确定单元,用于当第一概率小于第二概率时,将非制服身份类型确定为检测对象的身份预测类型。
其中,直方图特征获取模块,用于:
获取客户端提交的检测图像;
上述装置还包括:
成功提示模块,用于当检测对象的身份预测类型为制服身份类型时,向客户端返回提交成功提示信息;
失败提示模块,用于当检测对象的身份预测类型为非制服身份类型时,向客户端返回提交失败提示信息,以使客户端重新提交检测图像。
其中,直方图特征获取模块,包括:
答复信息获取单元,用于获取医疗问答平台中的询问信息,检索询问信息对应的至少两个答复信息;一个答复信息属于一个答复医生;
答复医生确定单元,用于在医疗问答平台中,获取每个答复信息分别所属的答复医生的医生肖像图像,作为检测图像;检测图像中的检测对象为至少两个答复医生;
上述装置还用于:
根据每个答复医生所属的医生肖像图像的身份预测类型,对至少两个答复信息进行排序输出;具有制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级,大于具有非制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级。
其中,检测对象具有对象着装;
直方图特征获取模块,包括:
局部图像获取单元,用于获取检测图像中对象着装所在的局部着装图像;
局部图像转换单元,用于将检测图像中的局部着装图像转换为灰度图,获取灰度图的颜色直方图特征;
提取特征获取模块,包括:
图像输入单元,用于将携带有局部着装图像的图像区域位置的检测图像,输入检测模型;
局部特征提取单元,用于根据局部着装图像的图像区域位置,在检测模型中提取检测图像中局部着装图像的图像提取特征。
其中,局部图像获取单元,包括:
位置检测子单元,用于检测检测图像中对象着装所在的图像区域位置;
图像分割子单元,用于从检测图像中分割出图像区域位置所指示的局部图像,作为对象着装所在的局部着装图像。
本申请一方面提供了一种图像数据检测装置,该装置包括:
转换获取模块,用于获取包含样本检测对象的样本图像,将样本图像转换为样本灰度图,获取样本样本灰度图的样本颜色直方图特征;样本图像携带有样本检测对象的身份类型标签;
样本特征提取模块,用于将样本图像输入初始检测模型,基于初始检测模型提取样本图像的样本图像提取特征;
样本特征融合模块,用于对样本颜色直方图特征和样本图像提取特征进行特征融合,得到样本图像的样本图像特征;
样本类型预测模块,用于基于样本图像特征,在初始检测模型中输出针对样本检测对象的样本身份预测结果;
模型参数修正模块,用于根据样本身份预测结果和身份类型标签所指示的样本检测对象的实际身份类型,修正初始检测模型的模型参数,得到检测模型;检测模型用于对检测图像中的检测对象的身份类型进行检测。
其中,模型参数修正模块,包括:
损失值获取单元,用于根据样本身份预测结果和实际身份类型,获取初始检测模型针对样本图像的类型预测损失值;
损失函数确定单元,用于根据类型预测损失值,确定初始检测模型的损失函数;
模型确定单元,用于基于损失函数修正初始检测模型的模型参数,当类型预测损失值小于损失值阈值时,将修正后的初始检测模型确定为检测模型。
本申请一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面中的方法。
本申请一方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时使该处理器执行上述一方面中的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请可以获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。由此可见,本申请提出的方法可以通过引入检测图像的颜色直方图特征,来快速检测得到检测图像中的检测对象的身份预测类型,提高了针对检测图像中的检测对象的身份预测类型的获取效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请提供的一种图像检测的场景示意图;
图3是本申请提供的一种图像数据检测方法的流程示意图;
图4是本申请提供一种图像检测的场景示意图;
图5是本申请提供的一种图像检测的场景示意图;
图6是本申请提供的一种答复排序的场景示意图;
图7是本申请提供的一种图像数据检测方法的流程示意图;
图8是本申请提供的一种模型训练的场景示意图;
图9是本申请提供的一种图像数据检测装置的结构示意图;
图10是本申请提供的一种图像数据检测装置的结构示意图;
图11是本申请提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请中主要涉及到了人工智能中的机器学习。其中,机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请中所涉及到的机器学习主要指,通过机器学习来训练得到检测模型,该检测模型可以用于识别检测图像中的检测对象的身份类型。通过机器学习得到检测模型的具体过程可以参见下述图3对应的实施例中的描述。
需要进行说明的是,本申请所采集的所有数据(如检测对象的检测图像以及身份类型等相关数据)都是在该数据所属对象(如用户、机构或者企业)同意并授权的情况下进行采集的,且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,网络架构可以包括服务器200和终端设备集群,终端设备集群可以包括一个或者多个终端设备,这里将不对终端设备的数量进行限制。如图1所示,多个终端设备具体可以包括终端设备100a、终端设备101a、终端设备102a、…、终端设备103a;如图1所示,终端设备100a、终端设备101a、终端设备102a、…、终端设备103a均可以与服务器200进行网络连接,以便于每个终端设备可以通过网络连接与服务器200之间进行数据交互。
如图1所示的服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等智能终端。下面以终端设备100a与服务器200之间的通信为例,进行本申请实施例的具体描述。
请一并参见图2,图2是本申请提供的一种图像检测的场景示意图。终端设备100a可以获取到用户录入的肖像照100b。其中,终端设备100a中可以安装有医疗问答平台的应用或者通过终端设备100a中的浏览器可以进入医疗问答平台。该肖像照100b可以是用户在终端设备100a中的医疗问答平台上所录入的,用户在医疗问答平台中录入该肖像照100b,可以是为了在该医疗问答平台中认证为医生,用户在该医疗问答平台中认证为医生之后,就可以对网友在该医疗问答平台中所提交的问题进行专业性的答复等。
其中,当用户在医疗问答平台中提交肖像照100b时,医疗问答平台需要对用户所提交的肖像照100b进行检测审核,审核的目的可以是检测该肖像照100b中的用户的着装是否是医生专用的白大褂,以此来保证用户在进行医生认证时,其在肖像照100b中的着装的规范性。换句话说,若用户在肖像照100b中的着装是白大褂,则认为用户在该肖像照100b中的着装是规范的,若用户在肖像照100b中的着装不是白大褂,则认为用户在该肖像照100b中的着装不是规范的。
其中,医疗问答平台对肖像照100b进行检测的过程为:终端设备100a在通过医疗问答平台获取到用户提交的肖像照100b之后,可以将该肖像照100b发送给服务器200。服务器200在获取到该肖像照100b之后,可以将该肖像照100b输入到检测模型101b中,通过该检测模型101b提取得到该肖像照100b中的图像特征。其中,可以将检测模型101b提取得到的肖像照100b的图像特征,称之为图像提取特征,此处,检测模型101b提取到的肖像照100b的图像提取特征即为图像提取特征102b。其中,该检测模型101b为训练完成的可以提取图像中的图像特征,并可以根据所提取到的图像特征检测出图像中的用户的着装是否为白大褂。其中,检测模型101b的训练过程可以参见下述图3对应的实施例中的步骤S102。
此外,服务器200还可以获取到肖像照100b的颜色直方图特征。其中,获取肖像照100b的颜色直方图特征的过程为:服务器200可以对该肖像照100b进行灰度转化,得到灰度图像103b,其中灰度图像也可以称之为灰度图。接着,服务器200就可以遍历该灰度图像103b中的像素点,得到灰度图像103b中的每个图像像素点的灰度值。一个图像像素点对应于一个灰度值。其中,由于灰度值的维度一共是256维,该256维对应于灰度值为0、灰度值为1、灰度值为2、……以及灰度值取255的维度。因此,服务器200可以统计灰度图像103b中的所有图像像素点的灰度值中,分别属于灰度值的每个维度的数量。接着,服务器200可以根据每个维度对应的数量,计算得到每个维度的灰度值在灰度图像103b中的所有图像像素点的灰度值中所占的比例。最后,服务器即可根据每个维度对应的比例,来生成肖像照100b的颜色直方图特征104b。
举个例子,若肖像照100b中灰度值为1的图像像素点的个数为5,灰度值为2的图像像素点的个数为10,灰度值为3的图像像素点的个数为20,肖像照100b中的所有图像像素点的个数为100,。那么,灰度值1对应的比例即为5/20,灰度值2对应的比例即为10/100,灰度值3对应的比例即为20/100,那么256维的灰度值中除灰度值1、灰度值2和灰度值3之外的灰度值所对应的比例均为0。继而,可以将每个维度的灰度值所对应的比例,组合为一个向量[0,5/20,10/100,20/100,0,0,……,0],该向量[0,5/20,10/100,20/100,0,0,……,0]中的元素依次为每个维度的灰度值对应的比例。该向量[0,5/20,10/100,20/100,0,0,……,0]即为服务器200所获取到的肖像照100b的颜色直方图特征104b。
接着,服务器200可以将该颜色直方图特征104b和检测模型101b所得到的图像提取特征102b进行拼接,得到目标图像特征105b。该目标图像特征105b即为获取到的表征肖像照100b最终的图像特征。可以将该目标图像特征105b给到检测模型101b,检测模型101b可以根据该目标图像特征105b输出针对肖像照100b最终的识别结果。该识别结果包括两种,一种为识别结果106b,一种为识别结果107b。其中,识别结果106b即为检测模型101b识别出肖像照100b中的用户的着装是白大褂,识别结果107b即为检测模型101b识别出肖像照100b中的用户的着装不是白大褂。
当服务器200通过检测模型101b检测出肖像照100b中用户的着装是白大褂,则表明服务器200对肖像照100b的审核成功(即得到审核结果108b),那么服务器200可以向终端设备100a发送审核成功提示信息,以通过该审核成功提示信息告知终端设备100a中的医疗问答平台,对用户所提交的肖像照100b审核成功。当终端设备100a的医疗问答平台得知对肖像照100b审核成功之后,则可以在终端设备100a的终端页面中输出提交成功提示信息,以通过该提交成功提示信息告知用户其所提交的肖像照100b是合格的,可以继续进行后续的医生认证流程。
当服务器200通过检测模型101b检测出肖像照100b中用户的着装不是白大褂,则表明服务器200对肖像照100b的审核失败(即得到审核结果109b),那么服务器200可以向终端设备100a发送审核失败提示信息,以通过该审核失败提示信息告知终端设备100a中的医疗问答平台,对用户所提交的肖像照100b审核失败。当终端设备100a的医疗问答平台得知对肖像照100b审核失败之后,则可以在终端设备100a的终端页面中输出提交失败提示信息,以通过该提交失败提示信息告知用户其所提交的肖像照100b是不合格的,需要用户重新提交自己的肖像照。
其中,用户在医疗问答平台中重新提交了自己的肖像照之后,医疗问答平台可以通过上述相同的过程,再次对用户所提交的肖像照进行审核,直至用户所提交的肖像照是合格的为止,也就是直至医疗问答平台检测出用户在所提交的肖像照中的着装是白大褂为止。
可选的,上述通过检测模型101b检测肖像照100b中用户的着装是否为白大褂的过程,除了可以是服务器200所执行的之外,还可以是由终端设备100a所执行的,或者是由终端设备100a和服务器100共同执行的。通过检测模型101b检测肖像照100b中用户的着装是否为白大褂的过程的执行主体,具体根据实际应用场景确定,对此不做限制。
通过本申请所提供的方法,由于白大褂具有很明显的颜色特征,即大部分都为白色,因此,在对用户所提交的肖像照进行检测时,引入该肖像照的颜色直方图特征进行检测,可以实现对用户所提交的肖像照的合格性的快速准确的检测。并且,当用户所提交的肖像照不合格时,还提高了用户重新提交肖像照和医疗问答平台重新审核肖像照的效率。
请参见图3,图3是本申请提供的一种图像数据检测方法的流程示意图。如图3所示,该方法可以包括:
步骤S101,获取包含检测对象的检测图像,将检测图像转化为灰度图,获取灰度图的颜色直方图特征;
具体的,本申请实施例中的执行主体可以是任意一个终端设备。终端设备可以获取到包含检测对象的检测图像,该检测图像可以是用户在终端设备的医疗问答平台中所提交的,例如该检测图像可以是上述图2中的肖像照100b,此时,检测图像中的检测对象就为该检测图像中进行医生认证的用户。其中,检测图像还可以是包含具有很明显的颜色分布特征的检测对象的任意一个图像。
接下来,终端设备就可以获取该检测图像的颜色直方图特征,请参见下述。
终端设备在获取到该检测图像之后,可以将该检测图像转化为灰度图(也可以称之为灰度图像)。其中,将该检测图像转化为灰度图之后,该灰度图中的每个图像像素点都具有一个灰度值。终端设备可以对该灰度图中的每个图像像素点进行遍历,得到该灰度图中的每个图像像素点的灰度值,可以将该灰度图中的每个图像像素点的灰度值称之为像素点灰度值。
终端设备还可以获取到至少两个匹配灰度值,实际上,一共存在256个匹配灰度值。由于灰度值一共有256维,也就是灰度值的取值范围中一共包括256个取值,该256个取值就为256个匹配灰度值,一个取值对应于一个匹配灰度值。该256个灰度值的取值分别为0、1、2、3、……和255,即0到255。换句话说,匹配灰度值的取值包括0、1、2、3、……和255。
终端设备还可以统计检测图像的灰度图中的每个图像像素点的像素点灰度值中,属于每个匹配灰度值的像素点灰度值的灰度值数量。其中,一个像素点灰度值属于一个匹配灰度值,是指该像素点灰度值等于该匹配灰度值。
举个例子,若终端设备所获取到的检测图像中的所有图像像素点的灰度值中,等于灰度值0的灰度值的数量为5,表明匹配灰度值0对应的灰度值数量为5;等于灰度值3的灰度值的数量为10,表明匹配灰度值3对应的灰度值数量为10;等于灰度值6的灰度值的数量为20,表明匹配灰度值6对应的灰度值数量为20;等于256个灰度值的取值中,除上述灰度值0、灰度值3和灰度值6之外的灰度值的数量为0,表明256个匹配灰度值中,除上述匹配灰度值0、匹配灰度值3和匹配灰度值6之外的匹配灰度值对应的灰度值数量为0。一个匹配灰度值对应于一个灰度值数量。
其中,在得到每个匹配像素值分别对应的灰度值数量之后,终端设备可以根据每个匹配像素值分别对应的灰度值数量,进一步获取到每个匹配灰度值对应的数量比值,请参见下述。
首先,终端设备可以获取到上述检测图像中的图像像素点的总数量,可以将该总数量称之为像素点总数量。其中,每个匹配灰度值对应的数量比值,等于每个匹配灰度值对应的灰度值数量分别与该像素点总数量之间的比值。举个例子,若检测图像中的图像像素点的像素点总数量为100,匹配灰度值0对应的灰度值数量为1,那么,匹配灰度值0对应的数量比值就为1/100。再举个例子,若检测图像中的图像像素点的像素点总数量为200,匹配灰度值3对应的灰度值数量为20,那么,匹配灰度值3对应的数量比值就为20/200。
在获取到每个匹配灰度值对应的数量比值之后,终端设备可以根据每个匹配灰度值对应的数量比值,生成检测图像的颜色直方图特征。例如,若匹配灰度值0对应的数量比值为a0、匹配灰度值1对应的数量比值为a1、匹配灰度值2对应的数量比值为a2、……、匹配灰度值255对应的数量比值为a255。那么,终端设备所生成的检测图像的颜色直方图特征就为一个256维的特征向量,该特征向量就为[a0,a1,a2,……,a255]。
其中,获取检测图像的颜色直方图的过程还可以通过下述公式(1)进行说明:
其中,上述H(k)为匹配灰度值k对应的数量比值,nk表示匹配灰度值k对应的灰度值数量,N表示检测图像中的图像像素点的总数量。L表示灰度值一共的维数,L等于256。
其中,可以理解的是,终端设备也可以将所获取到的检测图像发送给服务器,由服务器通过上述相同的过程来获取检测图像的颜色直方图特征。服务器在获取到检测图像的颜色直方图特征之后,可以再将该颜色直方图特征发送给终端设备。
通过上述过程,终端设备即可获取到检测图像的颜色直方图特征。
步骤S102,将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;
具体的,终端设备还可以将上述检测图像输入检测模型,通过该检测图像来提取检测图像中的图像特征,可以将检测模型提取到的图像的图像特征称之为图像提取特征。其中,该检测模型也是通过样本图像的图像提取特征和样本图像的颜色直方图特征训练得到,该检测模型可以用于提取检测图像中的图像特征,还可以用于对检测图像中的检测对象的身份类型进行检测(即预测)。其中,检测模型的具体训练过程可以参见下述图7对应的实施例中的描述。检测模型的模型结构可以是CNN网络(一种深度学习网络)结构,检测模型提取到的检测图像的图像提取特征也可以为一个特征向量。
步骤S103,对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;
具体的,终端设备可以将上述检测图像的颜色直方图特征和检测图像的图像提取特征进行特征融合,该特征融合的方式可以是将检测图像的颜色直方图特征和检测图像的图像提取特征进行拼接,得到检测图像的目标图像特征。其中,对检测图像的颜色直方图特征和检测图像的图像提取特征进行拼接的方式,可以称之为对检测图像的颜色直方图特征和检测图像的图像提取特征进行特征拼接融合的方式。
例如,若检测图像的颜色直方图特征为一个256维的特征向量,检测图像的图像提取特征为一个512维的特征向量,那么将检测图像的颜色直方图特征和检测图像的图像提取特征进行特征后,所得到的目标图像特征可以为一个256维加上512维一共768维的特征向量。该目标图像特征即为终端设备所获取到的检测图像最终的图像特征。
其中,可以理解的是,上述检测模型可以是终端设备进行调用,以获取到检测图像的图像提取特征,进而获取到检测图像的目标图像特征的。也可以是终端设备将检测图像发送给服务器,由服务器来实现对检测模型的调用,以获取到检测图像的图像提取特征,进而获取到检测图像的目标图像特征的。若是由服务器来获取到检测图像的目标图像特征的,那么,服务器在获取到检测图像的目标图像特征之后,可以将所获取到的检测图像的目标图像特征发送给终端设备。
通过上述过程,终端设备即可获取到检测图像的目标图像特征,该目标图像特征中同时包括了检测图像的模型提取特征和检测图像的颜色直方图特征。
步骤S104,基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型;
具体的,终端设备可以将上述目标图像特征给到检测模型,检测模型可以通过全连接层对该目标图像特征进行识别,进而输出针对检测图像中的检测对象的身份预测类型。若检测图像为用于进行医生认证的医生的肖像照,那么,该身份预测类型可以包括两种,一种为检测图像中的医生的着装是白大褂的类型,一种为检测图像中的医生的着装不是白大褂的类型。
请参见图4,图4是本申请提供一种图像检测的场景示意图。如图4所示,区域100f中描述了如何获取检测图像的颜色直方图特征,灰度图像101f为检测图像的灰度图,终端设备可以对灰度图像101f中的每个图像像素点的灰度值进行统计,即统计灰度图像101f中的每个图像像素点的灰度值中,属于每个匹配灰度值的灰度值的灰度值数量。其中,式子102f中包括256维的灰度值,即包括256个匹配灰度值,该256个匹配灰度值分别为0、1、2、……以及255。
其中,假设终端设备统计出灰度图像101f中,属于匹配灰度值0的灰度值的灰度值数量为m0,属于匹配灰度值1的灰度值的灰度值数量为m1,属于匹配灰度值2的灰度值的灰度值数量为m2,属于匹配灰度值3的灰度值的灰度值数量为m3,……,属于匹配灰度值254的灰度值的灰度值数量为m254,属于匹配灰度值255的灰度值的灰度值数量为m255。
其中,若上述灰度图像101f中的图像像素点的总数量为N,那么,终端设备可以根据该总数量N和每个匹配灰度值对应的灰度值数量,计算出每个匹配灰度值对应的数量比值,每个匹配灰度值对应的数量比值就为每个匹配灰度值对应的灰度值数量与总数量N之间的比值。此处,计算出匹配灰度值0对应的数量比值为s0,匹配灰度值1对应的数量比值为s1,匹配灰度值2对应的数量比值为s2,匹配灰度值3对应的数量比值为s3,……,匹配灰度值254对应的数量比值为s254,匹配灰度值255对应的数量比值为s255。可以理解的是,上述s0=m0/N,s1=m1/N,s2=m2/N,s3=m3/N,……,s254=m254/N,s255=m255/N。因此,终端可以根据每个匹配灰度值对应的数量比值,生成检测图像的颜色直方图特征104f,颜色直方图特征104f为一个1*256维的特征向量。
如图4所示,区域114f中展示了检测模型的一种网络结构。如区域114f所示,首先,可以将检测图像105f输入检测模型的第一个卷积层106f,通过该卷积层106f可以得到检测模型的特征图,该特征图即为卷积层106f提取得到的检测图像的图像特征。接着,可以将卷积层106f得到的检测图像的特征图给到检测模型的第一个采样层107f,通过该采样层107f可以对卷积层106f所得到的检测图像105f的特征图进行降维,得到检测图像降维后的特征图。
接着,可以将采样层107f所得到的检测图像的特征图给到检测模型的第二个卷积层108f,通过该卷积层108f可以再次对采样层107f所得到的检测图像的特征图进行卷积运算,得到检测图像105f新的特征图。接着,可以将卷积层108f所得到的检测图像的特征图给到检测模型的第二个采样层109f。通过该采样层109f可以对卷积层108f所得到的检测图像的特征图再次进行降维,得到检测图像降维后的特征图。
接着,检测模型中可以包括两个全连接层,可以将采样层109f所得到的检测图像的特征图给到检测模型中的第一个全连接层,得到检测图像的一个特征向量110f,该特征向量110f可以是1024维的。接着,可以将特征向量110f给到检测模型中的第二个全连接层,得到检测模型最终得到的检测图像的图像提取特征111f,该图像提取特征111f可以是512维的。
接着,如区域114f所示,可以将上述所得到的检测图像的颜色直方图特征104f、和检测模型所得到的检测图像的图像提取特征进行拼接,得到检测图像的目标图像特征104f。检测模型可以通过该目标图像特征输出针对检测图像中的检测对象的身份预测类型,即执行区域113f中的操作,也就是判断检测图像中的检测对象的对象着装是否为白大褂。
其中,检测模型输出针对检测图像中的检测对象的身份预测类型时,可以是通过输出针对检测对象的身份预测结果进行输出的。该身份预测结果中包括检测对象属于每种预备身份类型的预测概率。其中,若检测图像为用于进行医生认证的医生的肖像照,那么,预备身份类型一共可以有两种,第一种为检测图像中的医生的着装是白大褂的类型(可以称之为第一预备身份类型),第二种为检测图像中的医生的着装不是白大褂的类型(可以称之为第二预备身份类型)。其中,可以将身份预测结果中,具有最大值的预测概率所对应的预备身份类型,作为检测对象的身份预测类型。
例如,若身份预测结果中,检测对象为上述第一预备身份类型的预测概率为0.3,检测对象为上述第二预备身份类型的预测概率为0.7,那么检测模型检测出来的检测对象的身份预测类型就为第二预备身份类型,因为0.7大于0.3。
更多的,检测模型输出针对检测图像中的检测对象的身份预测类型时,还可以是通过输出针对检测对象的对象检测结果进行输出的。该对象检测结果中可以包括检测对象具有医生制服的第一概率、以及检测对象不具有医生制服的第二概率。其中,制服指医生专用的白大褂,检测对象具有医生制服即是指检测图像中的检测对象的着装是白大褂,检测对象不具有医生制服即是指检测图像中的检测对象的着装不是白大褂。
当上述第一概率大于第二概率时,则可以将制服身份类型作为检测模型检测出来的检测对象的身份预测类型。该制服身份类型即是指检测图像中的检测对象的着装是白大褂。反之,当第一概率小于第二概率时,则可以将非制服身份类型作为检测对象的身份预测类型。该非制服身份类型即是指检测图像中的检测对象的着装不是白大褂。
其中,上述检测图像还可以是客户端向终端设备所提交的。当终端设备检测到检测对象的身份预测类型为上述制服身份类型时,终端设备可以向客户端返回提交成功提示信息,通过该提交成功提示信息,以告知用户对其通过客户端所提交的检测图像(例如医生认证时所提交的医生的肖像照)审核成功且提交成功。当终端设备检测到检测对象的身份预测类型为上述非制服身份类型时,终端设备可以向客户端返回提交失败提示信息,通过该提交失败提示信息,以告知用户对其通过客户端所提交的检测图像(例如医生认证时所提交的医生的肖像照)审核失败且提交失败,需要用户通过客户端重新向终端设备提交检测图像,即重新提交用于进行医生认证的肖像照。
请参见图5,图5是本申请提供的一种图像检测的场景示意图。如图5所示,终端页面100d为医生认证的页面,终端页面100d中包括一个控件101d,该控件101d用于终端设备获取用户提交的肖像照。终端设备可以响应用户针对该控件101d的触发操作(例如点击操作、声控操作或者手势操作等),获取到用户在终端页面101d中提交的肖像照,并跳转到终端页面102d。如终端页面102d所示,终端设备获取到用户在终端页面100d中提交的肖像照为肖像照103d,可以将该肖像照103d作为检测图像。
终端设备可以响应用户针对终端页面102d中的“确认提交”按钮104d的点击操作,将肖像照103d输入到检测模型105d中。通过该检测模型105d可以得到肖像照103d中的检测对象(即用户)的身份预测类型,如区域106d所示,该身份预测类型可以是身份预测类型107d,或者也可以是身份预测类型108d。其中,身份预测类型107d即检测出肖像照103d中的检测对象的对象着装是白大褂,身份预测类型108d即检测出肖像照103d中的检测对象的对象着装不是白大褂。
当终端设备通过检测模型检测出的检测对象的身份预测类型为身份预测类型107d时,终端设备可以从终端页面102d跳转显示到终端页面110d。如终端页面110d所示,终端页面110d中包括用于提示用户其肖像照提交成功的提交成功提示信息111d(即“您已成功提交肖像照!”)。当终端设备通过检测模型检测出的检测对象的身份预测类型为身份预测类型108d时,终端设备可以从终端页面102d跳转显示到终端页面112d。如终端页面112d所示,终端页面112d中包括用于提示用户其肖像照提交失败的提交失败提示信息113d(即“肖像照不符合规定,请点击下方重新上传!”)。终端页面112d中还包括一个提示信息“提示:肖像照着装需为白大褂”,用以提示用户需要上传着装为白大褂的肖像照。
终端设备可以响应用户针对终端页面112d中的控件114d的触发操作,获取到用户重新上传的肖像照,并通过与上述相同的过程再次对用户所提交的肖像照进行审核检测。
更多的,上述检测图像还可以是终端设备在医疗问答平台中所获取到的:其中,终端设备可以获取到网友在该医疗问答平台中所提交的询问信息,该询问信息可以是网友所提交的想要搜索答案的问题,例如该询问信息可以是“小儿龋齿怎么治?”。终端设备可以通过文本相似性,检索到该询问信息对应的多个答复信息,该答复信息可以是医疗问答平台中已经认证的医生针对与该询问信息相同或者相似的问题进行答复的。一个答复信息属于一个答复医生,即一个答复信息可以是一个答复医生所答复的,或者多个答复信息也可以是同一个答复医生所答复的。
该医疗问答平台中已经认证的医生,在该医疗问答平台中有其已经认证过的肖像照(可以称之为医生肖像图像)。因此,终端设备可以在该医疗问答平台中,获取到上述询问信息对应的多个答复信息中的每个答复信息所属的答复医生的医生肖像图像,作为上述检测图像。假设,该医疗问答平台中当前已经认证过的医生在认证时,并没有对其医生肖像图像中的着装进行审核,那么,此处获取到的多个检测图像(即多个答复医生的医生肖像图像)中可能存在检测对象的着装并不是白大褂的检测图像。
因此,终端设备可以通过上述过程检测到每个医生肖像图像中的检测对象(即答复医生)的身份预测类型,该身份预测类型包括上述非制服身份类型和上述制服身份类型。一个医生肖像图像对应于一种身份预测类型,终端设备可以根据每个医生肖像图像中的检测对象的身份预测类型,对每个医生肖像图像所属的答复医生的答复信息进行排序输出,具有制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级,要大于具有非制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级。换句话说,具有制服身份类型的医生肖像图像所属答复医生的答复信息,在终端页面中可以显示在,具有非制服身份类型的医生肖像图像所属答复医生的答复信息的前面。
或者,也可以将上述检测出的医生肖像图像中的检测对象的身份预测类型,作为上述询问信息对应的多个答复信息进行排序时的多个排序要素中的其中一个排序要素。例如该多个排序要素还可以包括询问信息与每个答复信息之间的文本相似度,可以对该文本相似度和身份预测类型分别设置一个权重,共同决定多个答复信息在终端页面中进行排序输出的顺序。可以理解的是,文本相似度越大的答复信息,具有比文本相似度越小的答复信息更高的排序优先级,身份预测类型为制服身份类型的答复信息,具有比身份预测类型为非制服身份类型的答复信息更高的排序优先级。
请参见图6,图6是本申请提供的一种答复排序的场景示意图。如图6所示,此处浏览器可以作为上述医疗问答平台,终端页面101e中包括一个询问信息102e(即“呼吸不畅是怎么回事”)。终端设备可以搜索到该询问信息102e对应的多个答复信息,此处假设搜索到询问信息102e的多个答复信息包括答复信息103e和答复信息104e。其中,答复信息103e为答复医生“王一”所答复的,答复信息104e为答复医生“王二”所答复的。终端设备可以在医疗问答平台中获取到答复医生“王一”的肖像照107e和答复医生“王二”的肖像照105e。
终端设备可以将上述肖像照107e和肖像照105e输入检测模型106e,通过该检测模型检测出答复医生“王一”在肖像照107e中的着装是白大褂,检测出答复医生“王二”在肖像照105e中的着装不是白大褂。那么,如终端页面108e所示,终端设备在终端页面中对上述询问信息102e的答复信息103e和答复信息104e进行显示输出时,可以将答复信息103e显示在答复信息104e的前面,因为,答复信息103e所属的答复医生在其肖像照107e中的着装是规范的白大褂,而答复信息104e所属的答复医生在其肖像照105e中的着装不是规范的白大褂。
可选的,上述检测对象的身份预测类型,还可以是只通过检测对象在检测图像中的对象着装所得到的:上述步骤S101中,若检测图像为进行医生认证的医生所提交的肖像照,检测对象为检测图像中进行医生认证的医生,则终端设备在获取到检测图像之后,可以检测该检测图像中检测对象的对象着装所在的图像区域位置。该检测对象的对象着装即为检测对象在检测图像中的着装(即服装)。其中,终端设备可以通过RCNN(一种基于深度学习的目标检测模型)对检测图像做目标检测(即检测检测图像中检测对象的对象着装的图像区域位置),并根据检测到的对象着装的图像区域位置,从检测图像中切割出该图像区域位置所指示的局部图像,可以将该局部图像称之为局部着装图像,该局部着装图像也就是检测图像中检测对象的对象着装所在的局部图像。
接着,终端设备可以以上述步骤S101中相同的原理,获取到该局部着装图像的颜色直方图特征,并将该颜色直方图特征就作为上述步骤S101中检测图像的颜色直方图特征。终端设备可以在检测图像中标注出局部着装图像的图像区域位置,终端设备可以将标注有局部着装图像的图像区域位置的检测图像输入检测模型,检测模型可以通过该检测图像所标注的局部着装图像的图像区域位置,只提取该检测图像中检测对象的对象着装所在的局部着装图像的图像特征,作为上述步骤S101中检测图像的图像提取特征。
进而,终端设备可以将上述所得到的检测图像的颜色直方图特征(仅包括局部着装图像的颜色直方图特征)和检测图像的图像提取特征(仅包括局部着装图像的图像特征)进行拼接,得到检测图像的目标图像特征。进而,检测模型可以根据该目标图像特征输出针对检测对象的身份预测类型。
本申请可以获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。由此可见,本申请提出的方法可以通过引入检测图像的颜色直方图特征,来快速检测得到检测图像中的检测对象的身份预测类型,提高了针对检测图像中的检测对象的身份预测类型的获取效率。
请参见图7,图7是本申请提供的一种图像数据检测方法的流程示意图,如图7所示,该方法可以包括:
步骤S201,获取包含样本检测对象的样本图像,将样本图像转换为样本灰度图,获取样本样本灰度图的样本颜色直方图特征;样本图像携带有样本检测对象的身份类型标签;
具体的,本实施例中的执行主体可以是服务器,也可以是终端设备,此处假设本实施例的执行主体为服务器进行说明。服务器可以获取到包含样本检测对象的样本图像,样本图像的具体数量根据实际应用场景决定,对比不作限制,例如样本图像的数量可以是1万个或者10万个等。其中,若本实施例中是想要训练得到可以识别图像中的用户的着装是否为白大褂的检测模型,则样本图像中的样本检测对象可以是对象着装为白大褂的用户,样本图像中的样本检测对象还可以是对象着装不为白大褂的用户。
其中,可以将样本检测对象的对象着装为白大褂的样本图像作为正样本图像,将样本检测对象的对象着装不为白大褂的样本图像作为负样本图像。样本图像携带的样本检测对象的身份类型标签也可以为两种,一种为正样本标签,一种负样本标签。正样本图像携带正样本标签,负样本图像携带负样本标签,一个样本图像携带有一个正样本标签或者一个负样本标签。正样本标签表明对应的样本图像中的样本检测对象的对象着装为白大褂,负样本标签表明对应的样本图像中的样本检测对象的对象着装不为白大褂。
服务器可以获取到样本图像的颜色直方图特征,可以将样本图像的颜色直方图特征称之为样本颜色直方图特征。其中,服务器获取样本图像的颜色直方图特征的过程,与上述步骤S101中终端设备获取检测图像的颜色直方图特征的过程相同,具体过程可以参见上述S101中所描述的内容,此处不再进行赘述。
步骤S202,将样本图像输入初始检测模型,基于初始检测模型提取样本图像的样本图像提取特征;
具体的,服务器可以将样本图像输入初始检测模型,该初始检测模型可以为一个CNN(一种深度学习网络)模型。通过该初始检测模型可以提取到样本图像的图像特征,可以将初始检测模型提取到的样本图像的图像特征,称之为样本图像提取特征。
步骤S203,对样本颜色直方图特征和样本图像提取特征进行特征融合,得到样本图像的样本图像特征;
具体的,服务器可以对样本图像的样本颜色直方图特征和样本图像提取特征进行特征融合,特征融合的方式可以是将样本颜色直方图特征和样本图像提取特征进行拼接。通过对样本颜色直方图特征和样本图像提取特征进行特征融合,可以得到样本图像的样本图像特征。获取样本图像的样本图像特征的过程,与获取上述检测图像的目标图像特征的过程相同。
步骤S204,基于样本图像特征,在初始检测模型中输出针对样本检测对象的样本身份预测结果;
具体的,可以将该样本图像特征给到初始检测模型,初始检测模型中具有全连接层,初始检测模型可以通过该样本图像特征,在全连接层中输出针对样本图像中的样本检测对象的样本身份预测结果。该样本身份预测结果中可以包括样本检测对象的对象着装为白大褂的预测概率(可以称之为第一预测概率)、以及样本检测对象的对象着装不为白大褂的预测概率(可以称之为第二预测概率)。一个样本图像对应于一个样本身份预测结果。
步骤S205,根据样本身份预测结果和身份类型标签所指示的样本检测对象的实际身份类型,修正初始检测模型的模型参数,得到检测模型;检测模型用于对检测图像中的检测对象的身份类型进行检测;
具体的,服务器可以调用初始检测模型,初始检测模型所执行的操作可以理解为是服务器所执行的。初始检测模型可以通过所得到的样本身份预测结果、和样本图像所携带的身份类型标签所指示的样本检测对象的实际身份类型,修正初始检测模型的模型参数。其中,实际身份类型包括两种,一种为样本检测对象的对象着装为白大褂,一种为样本检测对象的对象着装不为白大褂。其中,修正初始检测模型的模型参数的方向就是,让样本身份预测结果中,对应于样本检测对象的实际身份类型的预测概率最大,让样本身份预测结果中,不是对应于样本检测对象的实际身份类型的预测概率最小。
例如,当某个样本图像所携带的身份类型标签为上述正样本标签时,则修正初始检测模型的模型参数的目的,就是让该个样本图像对应的样本身份预测结果中,第一预测概率达到最大值(例如趋近于概率1),第二预测概率达到最小值(例如趋近于概率0)。反之,当某个样本图像所携带的身份类型标签为上述负样本标签时,则修正初始检测模型的模型参数的目的,就是让该个样本图像对应的样本身份预测结果中,第一预测概率达到最小值(例如趋近于概率0),第二预测概率达到最大值(例如趋近于概率1)。
可以将若干个样本图像依次输入初始检测模型,通过每个样本图像对应的样本身份预测结果和实际身份类型,以上述的方式不断修正初始检测模型的模型参数。当对初始检测模型的模型参数修正完成时,即可将此时的初始检测模型,称之为检测模型。其中,对初始检测模型的模型参数修正完成,可以指通过了指定的足够数量的样本图像对初始检测模型训练完成。或者,对初始检测模型训练至收敛状态,则可以认为对初始检测模型的模型参数修正完成。
或者,可以换种说法,初始检测模型可以根据所得到的样本身份预测结果和样本检测对象的实际身份类型,获取到初始检测模型针对样本图像的类型预测损失值。可以将样本身份预测结果中最大的预测概率所对应的样本身份类型,作为初始检测模型预测到的样本检测对象的样本身份预测类型,其中,样本身份类型可以包括样本检测对象的对象着装为白大褂的类型、以及样本检测对象的对象着装不为白大褂的类型。该类型预测损失值表征了初始检测模型所检测出的样本身份预测类型与样本检测对象的实际身份类型之间的预测偏差。
初始检测模型可以将所得到的类型预测损失值,作为初始检测模型的损失函数。初始检测模型可以通过该损失函数修正自己的模型参数,训练的目的就是使得损失函数达到最小值,也就是使得类型预测损失值达到最小值。其中,可以设定一个损失值阈值(可以自行设置),当类型预测损失值小于损失值阈值时,则认为初始检测模型预测得到的样本身份预测结果最准确(即预测偏差最小),最趋近于样本检测对象的实际对象类型,可以将此时的初始检测模型作为检测模型。
请参见图8,图8是本申请提供的一种模型训练的场景示意图。如图8所示,正样本集合100h中包括多个正样本图像,该多个正样本图像统一的特性,就是正样本图像中的样本检测对象(用户)的对象着装均为白大褂。正样本集合100h中的每个正样本图像均携带有正样本标签。负样本集合101h中包括多个负样本图像,该多个负样本图像统一的特性,就是负样本图像中的样本检测对象(用户)的对象着装均不为白大褂。负样本集合100h中的每个负样本图像均携带有负样本标签。
可以将正样本集合100h中的正样本图像和负样本集合101h中的负样本图像101h,输入初始检测模型102h中。通过初始检测模型102h可以预测得到针对每个样本图像(包括每个正样本图像和每个负样本图像)中的样本检测对象的样本身份预测结果。初始检测模型102h在获取到每个样本图像对应的样本身份预测结果后,均可以将该样本身份预测结果进行反向传播,以通过该样本身份预测结果以及每个样本图像携带的身份类型标签(包括正样本标签和负样本标签),修正初始检测模型102h的模型参数。当对初始检测模型102h的模型参数修正完成之后,即可将此时的初始检测模型作为检测模型104h。
本申请可以通过样本图像的样本颜色直方图特征和样本图像的样本图像特征来训练得到检测模型,进而通过该检测模型可以快速检测得到检测图像中的检测对象的身份预测类型,提高了针对检测图像中的检测对象的身份预测类型的获取效率。
请参见图9,图9是本申请提供的一种图像数据检测装置的结构示意图。如图9所示,该图像数据检测装置1可以包括:直方图特征获取模块11、提取特征获取模块12、特征融合模块13和类型预测模块14;
直方图特征获取模块11,用于获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;
提取特征获取模块12,用于将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;
特征融合模块13,用于对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;
类型预测模块14,用于基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。
其中,直方图特征获取模块11、提取特征获取模块12、特征融合模块13和类型预测模块14的具体功能实现方式请参见图3对应的实施例中的步骤S101-步骤S104,这里不再进行赘述。
其中,直方图特征获取模块11,包括:遍历单元111、匹配灰度值获取单元112、统计单元113和特征确定单元114;
遍历单元111,用于遍历灰度图中的至少两个图像像素点,得到至少两个图像像素点的像素点灰度值;
匹配灰度值获取单元112,用于获取至少两个匹配灰度值;
统计单元113,用于在至少两个图像像素点的像素点灰度值中,统计属于每个匹配灰度值的像素点灰度值的灰度值数量;
特征确定单元114,用于根据每个匹配灰度值分别对应的灰度值数量,确定检测图像的颜色直方图特征。
其中,遍历单元111、匹配灰度值获取单元112、统计单元113和特征确定单元114的具体功能实现方式请参见图3对应的实施例中的步骤S101,这里不再进行赘述。
其中,特征确定单元114,包括:数量获取子单元1141、比值获取子单元1142和特征生成子单元1143;
数量获取子单元1141,用于获取至少两个图像像素点的像素点总数量;
比值获取子单元1142,用于获取每个匹配灰度值对应的灰度值数量分别与像素点总数量之间的数量比值;
特征生成子单元1143,用于根据每个匹配灰度值分别对应的数量比值,生成颜色直方图特征。
其中,数量获取子单元1141、比值获取子单元1142和特征生成子单元1143的具体功能实现方式请参见图3对应的实施例中的步骤S101,这里不再进行赘述。
其中,特征融合模块13,用于:
将颜色直方图特征和图像提取特征进行特征拼接融合,得到检测图像的目标图像特征;目标图像特征的特征维度,等于颜色直方图特征的特征维度和图像提取特征的特征维度之和;
类型预测模块14,包括:类型结果输出单元141和类型确定单元142;
类型结果输出单元141,用于基于目标图像特征,在检测模型中输出针对检测对象的身份预测结果;身份预测结果中包括检测对象属于每种预备身份类型的预测概率;
类型确定单元142,用于将类型预测结果中,具有最大值的预测概率所对应的预备身份类型,确定为检测对象的身份预测类型。
其中,类型结果输出单元141和类型确定单元142的具体功能实现方式请参见图3对应的实施例中的步骤步骤S104,这里不再进行赘述。
其中,类型预测模块14,包括:对象结果输出单元143、制服类型确定单元144和非制服类型确定单元145;
对象结果输出单元143,用于根据目标图像特征,在检测模型中输出针对检测对象的对象检测结果;对象检测结果中包括检测对象具有医生制服的第一概率、以及检测对象不具有医生制服的第二概率;
制服类型确定单元144,用于当第一概率大于第二概率时,将制服身份类型确定为检测对象的身份预测类型;
非制服类型确定单元145,用于当第一概率小于第二概率时,将非制服身份类型确定为检测对象的身份预测类型。
其中,对象结果输出单元143、制服类型确定单元144和非制服类型确定单元145的具体功能实现方式请参见图3对应的实施例中的步骤S104,这里不再进行赘述。
其中,直方图特征获取模块11,用于:
获取客户端提交的检测图像;
上述装置1还包括:成功提示模块15和失败提示模块16;
成功提示模块15,用于当检测对象的身份预测类型为制服身份类型时,向客户端返回提交成功提示信息;
失败提示模块16,用于当检测对象的身份预测类型为非制服身份类型时,向客户端返回提交失败提示信息,以使客户端重新提交检测图像。
其中,成功提示模块15和失败提示模块16的具体功能实现方式请参见图3对应的实施例中的步骤S104,这里不再进行赘述。
其中,直方图特征获取模块11,包括:答复信息获取单元115和答复医生确定单元116;
答复信息获取单元115,用于获取医疗问答平台中的询问信息,检索询问信息对应的至少两个答复信息;一个答复信息属于一个答复医生;
答复医生确定单元116,用于在医疗问答平台中,获取每个答复信息分别所属的答复医生的医生肖像图像,作为检测图像;检测图像中的检测对象为至少两个答复医生;
上述装置1还用于:
根据每个答复医生所属的医生肖像图像的身份预测类型,对至少两个答复信息进行排序输出;具有制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级,大于具有非制服身份类型的医生肖像图像所属答复医生的答复信息的排序优先级。
其中,答复信息获取单元115和答复医生确定单元116的具体功能实现方式请参见图3对应的实施例中的步骤S104,这里不再进行赘述。
其中,检测对象具有对象着装;
直方图特征获取模块11,包括:局部图像获取单元117和局部图像转换单元118;
局部图像获取单元117,用于获取检测图像中对象着装所在的局部着装图像;
局部图像转换单元118,用于将检测图像中的局部着装图像转换为灰度图,获取灰度图的颜色直方图特征;
提取特征获取模块12,包括:图像输入单元121和局部特征提取单元122;
图像输入单元121,用于将携带有局部着装图像的图像区域位置的检测图像,输入检测模型;
局部特征提取单元122,用于根据局部着装图像的图像区域位置,在检测模型中提取检测图像中局部着装图像的图像提取特征。
其中,局部图像获取单元117和局部图像转换单元118的具体功能实现方式请参见图3对应的实施例中的步骤S104,图像输入单元121和局部特征提取单元122的具体功能实现方式请参见图3对应的实施例中的步骤S104,这里不再进行赘述。
其中,局部图像获取单元117,包括:位置检测子单元1171和图像分割子单元1172;
位置检测子单元1171,用于检测检测图像中对象着装所在的图像区域位置;
图像分割子单元1172,用于从检测图像中分割出图像区域位置所指示的局部图像,作为对象着装所在的局部着装图像。
其中,位置检测子单元1171和图像分割子单元1172的具体功能实现方式请参见图3对应的实施例中的步骤S104,这里不再进行赘述。
本申请可以获取包含检测对象的检测图像,将检测图像转换为灰度图,获取灰度图的颜色直方图特征;将检测图像输入检测模型,基于检测模型提取检测图像的图像提取特征;对颜色直方图特征和图像提取特征进行特征融合,得到检测图像的目标图像特征;基于目标图像特征,在检测模型中输出针对检测对象的身份预测类型。由此可见,本申请提出的方法可以通过引入检测图像的颜色直方图特征,来快速检测得到检测图像中的检测对象的身份预测类型,提高了针对检测图像中的检测对象的身份预测类型的获取效率。
请参见图10,图10是本申请提供的一种图像数据检测装置的结构示意图。如图10所示,该图像数据检测装置2可以包括:转换获取模块21、样本特征提取模块22、样本特征融合模块23、样本类型预测模块24和模型参数修正模块25;
转换获取模块21,用于获取包含样本检测对象的样本图像,将样本图像转换为样本灰度图,获取样本样本灰度图的样本颜色直方图特征;样本图像携带有样本检测对象的身份类型标签;
样本特征提取模块22,用于将样本图像输入初始检测模型,基于初始检测模型提取样本图像的样本图像提取特征;
样本特征融合模块23,用于对样本颜色直方图特征和样本图像提取特征进行特征融合,得到样本图像的样本图像特征;
样本类型预测模块24,用于基于样本图像特征,在初始检测模型中输出针对样本检测对象的样本身份预测结果;
模型参数修正模块25,用于根据样本身份预测结果和身份类型标签所指示的样本检测对象的实际身份类型,修正初始检测模型的模型参数,得到检测模型;检测模型用于对检测图像中的检测对象的身份类型进行检测。
其中,转换获取模块21、样本特征提取模块22、样本特征融合模块23、样本类型预测模块24和模型参数修正模块25的具体功能实现方式请参见图3对应的实施例中的步骤S201-步骤S205,这里不再进行赘述。
其中,模型参数修正模块25,包括:损失值获取单元251、损失函数确定单元252和模型确定单元253;
损失值获取单元251,用于根据样本身份预测结果和实际身份类型,获取初始检测模型针对样本图像的类型预测损失值;
损失函数确定单元252,用于根据类型预测损失值,确定初始检测模型的损失函数;
模型确定单元253,用于基于损失函数修正初始检测模型的模型参数,当类型预测损失值小于损失值阈值时,将修正后的初始检测模型确定为检测模型。
其中,损失值获取单元251、损失函数确定单元252和模型确定单元253的具体功能实现方式请参见图3对应的实施例中的步骤S205,这里不再进行赘述。
本申请可以通过样本图像的样本颜色直方图特征和样本图像的样本图像特征来训练得到检测模型,进而通过该检测模型可以快速检测得到检测图像中的检测对象的身份预测类型,提高了针对检测图像中的检测对象的身份预测类型的获取效率。
请参见图11,图11是本申请提供的一种计算机设备的结构示意图。如图11所示,计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现前文图3和图7任一个所对应实施例中对图像数据检测方法的描述。应当理解,本申请中所描述的计算机设备1000也可执行前文图9所对应实施例中对图像数据检测装置1的描述、以及前文图10所对应实施例中对图像数据检测装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的图像数据检测装置1和图像数据检测装置2所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3和图7任一个所对应实施例中对图像数据检测方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖范围。
Claims (15)
1.一种图像数据检测方法,其特征在于,包括:
获取包含检测对象的检测图像,将所述检测图像转换为灰度图,获取所述灰度图的颜色直方图特征;
将所述检测图像输入检测模型,基于所述检测模型提取所述检测图像的图像提取特征;
对所述颜色直方图特征和所述图像提取特征进行特征融合,得到所述检测图像的目标图像特征;
基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测类型,该身份预测类型为制服身份类型或非制服身份类型,对所述检测对象的身份预测包括预测所述检测对象是否具有特定的颜色分布特征;
其中,所述检测图像包括询问信息对应的多个答复信息各自所属的答复医生的医生肖像图像,所述检测图像中的检测对象为对应的答复医生;
获取每个答复信息分别与所述询问信息之间的文本相似度,并获取针对文本相似度设置的排序权重以及针对身份预测类型设置的排序权重;
基于所述每个答复信息与所述询问信息之间的文本相似度、针对文本相似度设置的排序权重、针对所述每个答复信息所属答复医生的身份预测类型、以及针对身份预测类型设置的排序权重,对所述多个答复信息进行排序输出;
其中,所述制服身份类型的答复医生的答复信息的排序优先级,大于所述非制服身份类型的答复医生的答复信息的排序优先级;以及,与所述询问信息之间的文本相似度越高的答复信息具有越高的排序优先级。
2.根据权利要求1所述的方法,其特征在于,所述获取所述灰度图的颜色直方图特征,包括:
遍历所述灰度图中的至少两个图像像素点,得到所述至少两个图像像素点的像素点灰度值;
获取至少两个匹配灰度值;
在所述至少两个图像像素点的像素点灰度值中,统计属于每个匹配灰度值的像素点灰度值的灰度值数量;
根据所述每个匹配灰度值分别对应的灰度值数量,确定所述检测图像的所述颜色直方图特征。
3.根据权利要求2所述的方法,其特征在于,所述根据所述每个匹配灰度值分别对应的灰度值数量,确定所述检测图像的所述颜色直方图特征,包括:
获取所述至少两个图像像素点的像素点总数量;
获取所述每个匹配灰度值对应的灰度值数量分别与所述像素点总数量之间的数量比值;
根据所述每个匹配灰度值分别对应的数量比值,生成所述颜色直方图特征。
4.根据权利要求1所述的方法,其特征在于,所述对所述颜色直方图特征和所述图像提取特征进行特征融合,得到所述检测图像的目标图像特征,包括:
将所述颜色直方图特征和所述图像提取特征进行特征拼接融合,得到所述检测图像的所述目标图像特征;所述目标图像特征的特征维度,等于所述颜色直方图特征的特征维度和所述图像提取特征的特征维度之和;
所述基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测类型,包括:
基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测结果;所述身份预测结果中包括所述检测对象属于每种预备身份类型的预测概率;
将所述类型预测结果中,具有最大值的预测概率所对应的预备身份类型,确定为所述检测对象的所述身份预测类型。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测类型,包括:
根据所述目标图像特征,在所述检测模型中输出针对所述检测对象的对象检测结果;所述对象检测结果中包括所述检测对象具有医生制服的第一概率、以及所述检测对象不具有所述医生制服的第二概率;
当所述第一概率大于所述第二概率时,将制服身份类型确定为所述检测对象的所述身份预测类型;
当所述第一概率小于所述第二概率时,将非制服身份类型确定为所述检测对象的所述身份预测类型。
6.根据权利要求5所述的方法,其特征在于,所述获取包含检测对象的检测图像,包括:
获取客户端提交的所述检测图像;
所述方法还包括:
当所述检测对象的身份预测类型为所述制服身份类型时,向所述客户端返回提交成功提示信息;
当所述检测对象的身份预测类型为所述非制服身份类型时,向所述客户端返回提交失败提示信息,以使所述客户端重新提交所述检测图像。
7.根据权利要求1所述的方法,其特征在于,所述获取包含检测对象的检测图像,包括:
获取医疗问答平台中的所述询问信息,检索所述询问信息对应的至少两个答复信息;一个答复信息属于一个答复医生;
在所述医疗问答平台中,获取每个答复信息分别所属的答复医生的医生肖像图像,作为所述检测图像。
8.根据权利要求1所述的方法,其特征在于,所述检测对象具有对象着装;
所述将所述检测图像转换为灰度图,获取所述灰度图的颜色直方图特征,包括:
获取所述检测图像中所述对象着装所在的局部着装图像;
将所述检测图像中的所述局部着装图像转换为所述灰度图,获取所述灰度图的所述颜色直方图特征;
所述将所述检测图像输入检测模型,基于所述检测模型提取所述检测图像的图像提取特征,包括:
将携带有所述局部着装图像的图像区域位置的所述检测图像,输入所述检测模型;
根据所述局部着装图像的所述图像区域位置,在所述检测模型中提取所述检测图像中所述局部着装图像的所述图像提取特征。
9.根据权利要求8所述的方法,其特征在于,所述获取所述检测图像中所述对象着装所在的局部着装图像,包括:
检测所述检测图像中所述对象着装所在的所述图像区域位置;
从所述检测图像中分割出所述图像区域位置所指示的局部图像,作为所述对象着装所在的所述局部着装图像。
10.一种图像数据检测方法,其特征在于,包括:
获取包含样本检测对象的样本图像,将所述样本图像转换为样本灰度图,获取所述样本灰度图的样本颜色直方图特征;所述样本图像携带有所述样本检测对象的身份类型标签;
将所述样本图像输入初始检测模型,基于所述初始检测模型提取所述样本图像的样本图像提取特征;
对所述样本颜色直方图特征和所述样本图像提取特征进行特征融合,得到所述样本图像的样本图像特征;
基于所述样本图像特征,在所述初始检测模型中输出针对所述样本检测对象的样本身份预测结果,所述样本身份预测类型为制服身份类型或非制服身份类型;
根据所述样本身份预测结果和所述身份类型标签所指示的所述样本检测对象的实际身份类型,修正所述初始检测模型的模型参数,得到检测模型;所述检测模型用于对检测图像中的检测对象的身份类型进行检测;对所述检测对象的身份预测包括预测所述检测对象是否具有特定的颜色分布特征;
其中,所述检测图像包括询问信息对应的多个答复信息各自所属的答复医生的医生肖像图像,所述检测图像中的检测对象为对应的答复医生;
获取每个答复信息分别与所述询问信息之间的文本相似度,并获取针对文本相似度设置的排序权重以及针对身份预测类型设置的排序权重;
基于所述每个答复信息与所述询问信息之间的文本相似度、针对文本相似度设置的排序权重、针对所述每个答复信息所属答复医生的身份预测类型、以及针对身份预测类型设置的排序权重,对所述多个答复信息进行排序输出;
其中,所述制服身份类型的答复医生的答复信息的排序优先级,大于所述非制服身份类型的答复医生的答复信息的排序优先级;以及,与所述询问信息之间的文本相似度越高的答复信息具有越高的排序优先级。
11.根据权利要求10所述的方法,其特征在于,所述根据所述样本身份预测结果和所述身份类型标签所指示的所述样本检测对象的实际身份类型,修正所述初始检测模型的模型参数,得到检测模型,包括:
根据所述样本身份预测结果和所述实际身份类型,获取所述初始检测模型针对所述样本图像的类型预测损失值;
根据所述类型预测损失值,确定所述初始检测模型的损失函数;
基于所述损失函数修正所述初始检测模型的模型参数,当所述类型预测损失值小于损失值阈值时,将修正后的初始检测模型确定为所述检测模型。
12.一种图像数据检测装置,其特征在于,包括:
直方图特征获取模块,用于获取包含检测对象的检测图像,将所述检测图像转换为灰度图,获取所述灰度图的颜色直方图特征;
提取特征获取模块,用于将所述检测图像输入检测模型,基于所述检测模型提取所述检测图像的图像提取特征;
特征融合模块,用于对所述颜色直方图特征和所述图像提取特征进行特征融合,得到所述检测图像的目标图像特征;
类型预测模块,用于基于所述目标图像特征,在所述检测模型中输出针对所述检测对象的身份预测类型,该身份预测类型为制服身份类型或非制服身份类型,对所述检测对象的身份预测包括预测所述检测对象是否具有特定的颜色分布特征;
其中,所述检测图像包括询问信息对应的多个答复信息各自所属的答复医生的医生肖像图像,所述检测图像中的检测对象为对应的答复医生;
获取每个答复信息分别与所述询问信息之间的文本相似度,并获取针对文本相似度设置的排序权重以及针对身份预测类型设置的排序权重;
基于所述每个答复信息与所述询问信息之间的文本相似度、针对文本相似度设置的排序权重、针对所述每个答复信息所属答复医生的身份预测类型、以及针对身份预测类型设置的排序权重,对所述多个答复信息进行排序输出;
其中,所述制服身份类型的答复医生的答复信息的排序优先级,大于所述非制服身份类型的答复医生的答复信息的排序优先级;以及,与所述询问信息之间的文本相似度越高的答复信息具有越高的排序优先级。
13.一种图像数据检测装置,其特征在于,包括:
转换获取模块,用于获取包含样本检测对象的样本图像,将所述样本图像转换为样本灰度图,获取所述样本灰度图的样本颜色直方图特征;所述样本图像携带有所述样本检测对象的身份类型标签;
样本特征提取模块,用于将所述样本图像输入初始检测模型,基于所述初始检测模型提取所述样本图像的样本图像提取特征;
样本特征融合模块,用于对所述样本颜色直方图特征和所述样本图像提取特征进行特征融合,得到所述样本图像的样本图像特征;
样本类型预测模块,用于基于所述样本图像特征,在所述初始检测模型中输出针对所述样本检测对象的样本身份预测结果,所述样本身份预测类型为制服身份类型或非制服身份类型;
模型参数修正模块,用于根据所述样本身份预测结果和所述身份类型标签所指示的所述样本检测对象的实际身份类型,修正所述初始检测模型的模型参数,得到检测模型;所述检测模型用于对检测图像中的检测对象的身份类型进行检测,对所述检测对象的身份预测包括预测所述检测对象是否具有特定的颜色分布特征;
其中,所述检测图像包括询问信息对应的多个答复信息各自所属的答复医生的医生肖像图像,所述检测图像中的检测对象为对应的答复医生;
获取每个答复信息分别与所述询问信息之间的文本相似度,并获取针对文本相似度设置的排序权重以及针对身份预测类型设置的排序权重;
基于所述每个答复信息与所述询问信息之间的文本相似度、针对文本相似度设置的排序权重、针对所述每个答复信息所属答复医生的身份预测类型、以及针对身份预测类型设置的排序权重,对所述多个答复信息进行排序输出;
其中,所述制服身份类型的答复医生的答复信息的排序优先级,大于所述非制服身份类型的答复医生的答复信息的排序优先级;以及,与所述询问信息之间的文本相似度越高的答复信息具有越高的排序优先级。
14.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-11中任一项所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010737098.4A CN111767923B (zh) | 2020-07-28 | 2020-07-28 | 一种图像数据检测方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010737098.4A CN111767923B (zh) | 2020-07-28 | 2020-07-28 | 一种图像数据检测方法、装置以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767923A CN111767923A (zh) | 2020-10-13 |
CN111767923B true CN111767923B (zh) | 2024-02-20 |
Family
ID=72727481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010737098.4A Active CN111767923B (zh) | 2020-07-28 | 2020-07-28 | 一种图像数据检测方法、装置以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767923B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112162930B (zh) * | 2020-10-21 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 一种控件识别的方法、相关装置、设备及存储介质 |
CN115049968B (zh) * | 2022-08-12 | 2022-11-11 | 武汉东信同邦信息技术有限公司 | 动态规划视频自动裁剪方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079109A (zh) * | 2007-06-26 | 2007-11-28 | 北京中星微电子有限公司 | 基于制服特征的身份识别方法和系统 |
CN104504121A (zh) * | 2014-12-29 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种视频检索方法及装置 |
CN105354554A (zh) * | 2015-11-12 | 2016-02-24 | 西安电子科技大学 | 基于颜色和奇异值特征的人脸活体检测方法 |
CN107025283A (zh) * | 2017-04-05 | 2017-08-08 | 竹间智能科技(上海)有限公司 | 基于用户资料进行候选答案排序的回答方法及系统 |
-
2020
- 2020-07-28 CN CN202010737098.4A patent/CN111767923B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079109A (zh) * | 2007-06-26 | 2007-11-28 | 北京中星微电子有限公司 | 基于制服特征的身份识别方法和系统 |
CN104504121A (zh) * | 2014-12-29 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种视频检索方法及装置 |
CN105354554A (zh) * | 2015-11-12 | 2016-02-24 | 西安电子科技大学 | 基于颜色和奇异值特征的人脸活体检测方法 |
CN107025283A (zh) * | 2017-04-05 | 2017-08-08 | 竹间智能科技(上海)有限公司 | 基于用户资料进行候选答案排序的回答方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于特征融合网络的行人重识别;种衍杰 等;《计算机系统应用》;第28卷(第1期);第127-133页 * |
种衍杰 等.基于特征融合网络的行人重识别.《计算机系统应用》.2019,第28卷(第1期),第127-133页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111767923A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3989104A1 (en) | Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium | |
CN111783902B (zh) | 数据增广、业务处理方法、装置、计算机设备和存储介质 | |
CN111709409A (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN111414946B (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
CN111652087B (zh) | 验车方法、装置、电子设备和存储介质 | |
CN111931585A (zh) | 一种课堂专注度的检测方法及装置 | |
CN111310613B (zh) | 一种图像检测方法、装置以及计算机可读存储介质 | |
CN113656582B (zh) | 神经网络模型的训练方法、图像检索方法、设备和介质 | |
CN111767923B (zh) | 一种图像数据检测方法、装置以及计算机可读存储介质 | |
CN110018823B (zh) | 交互式应用程序的处理方法及系统、生成方法及系统 | |
US20240005211A1 (en) | Data processing method and apparatus | |
CN110489747A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
CN111444850A (zh) | 一种图片检测的方法和相关装置 | |
CN113190444B (zh) | 一种测试方法、装置及存储介质 | |
US11967416B2 (en) | Image analysis and insight generation | |
CN116935441A (zh) | 图像检测方法以及装置 | |
CN112560728B (zh) | 目标对象识别方法及装置 | |
CN111414609B (zh) | 一种对象验证方法和装置 | |
CN114462539A (zh) | 一种内容分类模型的训练方法、内容分类的方法及装置 | |
CN114049973A (zh) | 对话质检方法、电子设备、计算机存储介质及程序产品 | |
KR102451492B1 (ko) | 크라우드 펀딩을 통한 다국어 자막 서비스를 제공하는 서버 및 그 서버의 제어 방법 | |
CN112446360A (zh) | 目标行为检测方法、装置及电子设备 | |
KR102568875B1 (ko) | 멘토 추천 서비스 및 강의 추천 서비스를 제공하는 서버 및 그 동작 방법 | |
US11966712B2 (en) | Server and method for providing multilingual subtitle service using artificial intelligence learning model, and method for controlling server | |
CN114708044B (zh) | 虚拟物品信息处理及模型训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030077 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |