CN112989087A - 一种图像处理方法、设备以及计算机可读存储介质 - Google Patents

一种图像处理方法、设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN112989087A
CN112989087A CN202110104435.0A CN202110104435A CN112989087A CN 112989087 A CN112989087 A CN 112989087A CN 202110104435 A CN202110104435 A CN 202110104435A CN 112989087 A CN112989087 A CN 112989087A
Authority
CN
China
Prior art keywords
candidate
image
labeling
region
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110104435.0A
Other languages
English (en)
Other versions
CN112989087B (zh
Inventor
伍健荣
朱艳春
熊俊峰
钱天翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110104435.0A priority Critical patent/CN112989087B/zh
Publication of CN112989087A publication Critical patent/CN112989087A/zh
Application granted granted Critical
Publication of CN112989087B publication Critical patent/CN112989087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Abstract

本申请实施例公开一种图像处理方法、装置、设备以及计算机可读存储介质,其中,方法包括:获取由至少两个第一标注用户所提供的至少两张候选区域图像;根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;将初始标注图像发送至至少两个第二标注用户分别对应的标注终端;根据至少两个候选对象标签,确定至少两个候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像。采用本申请,可以提高标注数据的精确度,进而可以保证模型识别的精确度。

Description

一种图像处理方法、设备以及计算机可读存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种图像处理方法、设备以及计算机可读存储介质。
背景技术
近年来,随着以深度学习为代表的新一代人工智能技术的突破,计算机视觉(Computer Vision,CV)取得了突破性的进展,借助深度学习所构建的算法模型不仅可以对图像中的目标对象进行分类,还可以确定目标对象的位置信息。一个优秀的算法模型依赖于海量具有代表性的高质量标注数据,以充分学习目标特征,若数据标注质量差,则无法生成强稳定性和高准确率的算法模型。
在现有技术中,由单一标注人员对单一图像中的目标对象进行区域标注以及对象标签标注。上述单一标注人员标注单一图像的方式使得标注数据存在精确不高的问题,一方面,如果目标对象的区域标注出错,那么该区域对应的对象标签标注也会出错;另一方面,由于各类内镜影像具有明显的个体差异性与复杂性,相比较一般图像数据的标注难度更大,所以现有标注方法无法保证标注数据的精确度。
发明内容
本申请实施例提供一种图像处理方法、设备以及计算机可读存储介质,可以提高标注数据的精确度。
本申请实施例一方面提供了一种图像处理方法,包括:
获取由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
将初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;
根据至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
本申请实施例一方面提供了一种图像处理方法,包括:
获取区域标注审核规则以及由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;区域标注审核规则是指基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果的规则;
通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
获取对象标注审核规则以及由至少两个第二标注用户所提供的至少两张候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;对象标注审核规则是指基于至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果的规则;
通过对象标注审核规则所指示的对象审核候选结果,获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量中,存在不相同的候选区域数量时,区域标注审核规则指示区域审核候选结果为至少两张候选区域图像;
通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像,包括:
通过区域标注审核规则所指示的至少两张候选区域图像,将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选标注区域确定发送至第二审核终端的候选区域审核图像;第二审核终端用于根据候选区域审核图像返回与原始图像对应的初始标注图像。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量均相同,且每两张候选区域图像所分别包括的候选标注区域之间的重合度中,存在至少一个重合度小于重合度阈值时,区域标注审核规则指示区域审核候选结果为至少两张候选区域图像;
通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像,包括:
通过区域标注审核规则所指示的至少两张候选区域图像,将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选标注区域确定发送至第二审核终端的候选区域审核图像;第二审核终端用于根据候选区域审核图像返回与原始图像对应的初始标注图像。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量均相同,且每两张候选区域图像所分别包括的候选标注区域之间的重合度均等于或大于重合度阈值时,区域标注审核规则指示区域审核候选结果为目标候选区域图像;目标候选区域图像属于至少两张候选区域图像;
通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像,包括:
通过区域标注审核规则所指示的目标候选区域图像,将区域审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选区域图像所包括的候选标注区域返回与原始图像对应的初始标注图像。
其中,当数量比例小于数量比例阈值时,对象标注审核规则指示对象审核候选结果为至少两张候选对象图像;数量比例是指,最大对象标签数量与至少两个候选对象标签对应的对象标签数量之间的数量比例;最大对象标签数量是指在n个对象标签组分别对应的对象标签数量中的最大数量;其中,n个对象标签组是对至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中所生成的;
通过对象标注审核规则所指示的对象审核候选结果,获取与初始标注图像对应的目标标注图像,包括:
通过对象标注审核规则所指示的至少两张候选对象图像,将对象审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选对象标签确定发送至第二审核终端的候选对象审核图像;第二审核终端用于根据候选对象审核图像返回与初始标注图像对应的目标标注图像。
其中,当数量比例等于或大于数量比例阈值时,对象标注审核规则指示对象审核候选结果为目标候选对象图像;目标候选对象图像属于至少两张候选对象图像;
通过对象标注审核规则所指示的对象审核候选结果,获取与初始标注图像对应的目标标注图像,包括:
通过对象标注审核规则所指示的目标候选对象图像,将对象审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选对象图像所包括的候选对象标签返回与初始标注图像对应的目标标注图像。
本申请实施例一方面提供了一种图像处理装置,包括:
第一获取模块,用于获取由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
第一确定模块,用于根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
发送图像模块,用于将初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;
第二确定模块,用于根据至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
其中,第一确定模块,包括:
第一确定单元,用于确定每张候选区域图像所包括的候选标注区域对应的候选区域数量;
第一对比单元,用于对至少两个候选区域数量进行数量对比;至少两个候选区域数量包括候选区域数量Sa;a为正整数,且a小于或等于至少两张候选区域图像的图像数量;
第二确定单元,用于若剩余候选区域数量中存在与候选区域数量Sa不相同的候选区域数量,则将至少两张候选区域图像分别确定为区域审核候选结果;剩余候选区域数量包括,在至少两个候选区域数量中除了候选区域数量Sa之外的候选区域数量;
第三确定单元,用于若剩余候选区域数量均与候选区域数量Sa相同,则根据至少两个候选标注区域确定区域审核候选结果。
其中,第三确定单元,包括:
区域获取子单元,用于获取至少两张候选区域图像中每两张候选区域图像所分别包括的候选标注区域;
第一确定子单元,用于确定每两张候选区域图像所分别包括的候选标注区域之间的重合度;
第二确定子单元,用于将重合度与重合度阈值进行对比,根据对比结果确定区域审核候选结果。
其中,至少两张候选区域图像包括候选区域图像Pi以及候选区域图像Pj,候选区域图像Pi包括候选标注区域K(i,z),候选区域图像Pj包括候选标注区域K(j,x);其中,i和j均为正整数,且i和j均小于或等于至少两张候选区域图像的图像数量;其中,z和x均为正整数,且z和x均小于或等于候选区域图像Pi所包括的候选标注区域的区域数量;
第一确定子单元,包括:
第一重合子单元,用于分别确定候选标注区域K(i,z)与候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z),将候选重合度C(i,z)中的最大候选重合度确定为候选标注区域K(i,z)的第一重合度;
第二重合子单元,用于分别确定候选标注区域K(j,x)与候选区域图像Pi所包括的候选标注区域之间的候选重合度C(j,x),将候选重合度C(j,x)中的最大候选重合度确定为候选标注区域K(j,x)的第二重合度;
第三重合子单元,用于将候选区域图像Pi中的每个候选标注区域的第一重合度和候选区域图像Pj中的每个候选标注区域的第二重合度,确定为候选区域图像Pi以及候选区域图像Pj所分别包括的候选标注区域之间的重合度。
其中,第一重合子单元,具体用于获取候选标注区域K(i,z)在候选区域图像Pi中的位置信息L(i,z),获取候选标注区域K(j,x)在候选区域图像Pj中的位置信息L(j,x)
第一重合子单元,还具体用于根据位置信息L(i,z)以及位置信息L(j,x),确定候选标注区域K(i,z)以及候选标注区域K(j,x)之间的重合位置信息Lzx
第一重合子单元,还具体用于根据位置信息L(i,z)、位置信息L(j,x)以及重合位置信息Lzx,确定候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度;
第一重合子单元,还具体用于根据候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度生成候选重合度C(i,z)
其中,第二确定子单元,包括:
对比阈值子单元,用于将候选区域图像Pi中的每个候选标注区域的第一重合度分别与重合度阈值进行对比,将候选区域图像Pj中的每个候选标注区域的第二重合度分别与重合度阈值进行对比;
第一候选子单元,用于若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度中,存在小于重合度阈值的重合度,则将至少两张候选区域图像分别确定为区域审核候选结果;
第二候选子单元,用于若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度,均等于或大于重合度阈值,则从至少两张候选区域图像中获取目标候选区域图像,将目标候选区域图像确定为区域审核候选结果。
其中,第一确定模块,包括:
第一发送单元,用于若区域审核候选结果为至少两张候选区域图像,则将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选区域标签确定发送至第二审核终端的候选区域审核图像;第二审核终端用于根据候选区域审核图像返回与原始图像对应的初始标注图像;
第二发送单元,用于若区域审核候选结果为目标候选区域图像,则将区域审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选区域图像所包括的候选标注区域返回与原始图像对应的初始标注图像。
其中,第二确定模块,包括:
标签划分单元,用于将至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中,得到n个对象标签组;n为正整数;
第一获取单元,用于统计n个对象标签组分别包括的候选对象标签的对象标签数量,在n个对象标签组分别对应的对象标签数量中获取最大对象标签数量;
第四确定单元,用于确定最大对象标签数量与至少两个候选对象标签对应的对象标签数量之间的数量比例;
第二对比单元,应用于将数量比例与数量比例阈值进行对比,若数量比例小于数量比例阈值,则将至少两张候选对象图像分别确定为对象审核候选结果;
第二获取单元,用于若数量比例等于或大于数量比例阈值,则将数量比例所对应的对象标签组确定为目标对象标签组,从与目标对象标签组相关联的候选对象图像中获取目标候选对象图像,将目标候选对象图像确定为对象审核候选结果。
其中,第二确定模块,包括:
第三发送单元,用于若对象审核候选结果为至少两张候选对象图像,则将对象审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选对象标签确定发送至第二审核终端的候选对象审核图像;第二审核终端用于根据候选对象审核图像返回与初始标注图像对应的目标标注图像;
第四发送单元,用于若对象审核候选结果为目标候选对象图像,则将对象审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选对象图像所包括的候选对象标签返回与初始标注图像对应的目标标注图像。
其中,图像处理装置,还包括:
第二获取模块,用于获取原始图像,将原始图像输入至初始图像识别模型;
第二获取模块,还用于根据初始图像识别模型获取原始图像的第一图像特征,根据第一图像特征确定目标对象的预测区域信息;
第三获取模块,用于将初始标注图像输入至初始图像识别模型,根据初始图像识别模型获取初始标注图像的第二图像特征,根据第二图像特征确定标准标注区域的预测对象信息;
则第一获取模块,包括:
第一标注单元,用于根据预测区域信息对原始图像进行区域标注,生成预测区域图像;预测区域图像包括用于标注目标对象的预测标注区域;
第五发送单元,用于将预测区域图像发送至至少两个第一标注用户分别对应的标注终端,以使至少两个第一标注用户分别对应的标注终端分别根据预测区域图像以及原始图像确定候选区域图像;
第三获取单元,用于获取至少两个第一标注用户分别对应的标注终端分别返回的候选区域图像;
则发送图像模块,包括:
第二标注单元,用于根据预测对象信息对初始标注图像进行对象标签标注,生成预测对象图像;预测对象图像包括用于标注标准标注区域的预测对象标签;
第六发送单元,用于将预测对象图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别根据预测对象图像以及初始标注图像,确定候选对象图像;
第四获取单元,用于获取至少两个第二标注用户分别对应的标注终端所返回的候选对象图像。
其中,图像处理装置,还包括:
第四获取模块,用于获取目标标注图像中标准标注区域的标准区域信息,以及标准对象标签的标准对象信息;
第三确定模块,用于根据预测区域信息以及标准区域信息确定初始图像识别模型的区域损失值;
第三确定模块,还用于根据预测对象信息以及标准对象信息确定初始图像识别模型的对象损失值;
第三确定模块,还用于根据区域损失值以及对象损失值确定初始图像识别模型的总损失值;
第三确定模块,还用于根据总损失值对初始图像识别模型中的模型参数进行调整,当调整后的初始图像识别模型满足模型收敛条件时,将调整后的初始图像识别模型确定为图像识别模型。
其中,图像处理装置,还包括:
第五获取模块,用于获取待检测图像;待检测图像包括待识别对象;
第五获取模块,还用于将待检测图像输入图像识别模型,在图像识别模型中获取待检测图像的图像特征;
第五获取模块,还用于根据图像特征确定待识别对象的识别区域信息以及识别对象信息;
第五获取模块,还用于根据识别区域信息生成针对待识别对象的识别标注区域,根据识别对象信息生成针对识别标注区域的识别对象标签;
第五获取模块,还用于在待检测图像中,显示识别标注区域以及识别对象标签。
本申请实施例一方面提供了一种图像处理装置,包括:
第一获取模块,用于获取区域标注审核规则以及由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;区域标注审核规则是指基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果的规则;
第二获取模块,用于通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
第三获取模块,用于获取对象标注审核规则以及由至少两个第二标注用户所提供的至少两张候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;对象标注审核规则是指基于至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果的规则;
第四获取模块,用于通过对象标注审核规则所指示的对象审核候选结果,获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量中,存在不相同的候选区域数量时,区域标注审核规则指示区域审核候选结果为至少两张候选区域图像;
第二获取模块,具体用于通过区域标注审核规则所指示的至少两张候选区域图像,将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选标注区域确定与原始图像对应的初始标注图像。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量均相同,且每两张候选区域图像所分别包括的候选标注区域之间的重合度中,存在至少一个重合度小于重合度阈值时,区域标注审核规则指示区域审核候选结果为至少两张候选区域图像;
第二获取模块,具体用于通过区域标注审核规则所指示的至少两张候选区域图像,将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选标注区域确定与原始图像对应的初始标注图像。
其中,当每张候选区域图像所包括的候选标注区域对应的候选区域数量均相同,且每两张候选区域图像所分别包括的候选标注区域之间的重合度均等于或大于重合度阈值时,区域标注审核规则指示区域审核候选结果为目标候选区域图像;目标候选区域图像属于至少两张候选区域图像;
第二获取模块,具体用于通过区域标注审核规则所指示的目标候选区域图像,将区域审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选区域图像所包括的候选标注区域返回与原始图像对应的初始标注图像。
其中,当数量比例小于数量比例阈值时,对象标注审核规则指示对象审核候选结果为至少两张候选对象图像;数量比例是指,最大对象标签数量与至少两个候选对象标签对应的对象标签数量之间的数量比例;最大对象标签数量是指在n个对象标签组分别对应的对象标签数量中的最大数量;其中,n个对象标签组是对至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中所生成的;
第四获取模块,具体用于通过对象标注审核规则所指示的至少两张候选对象图像,将对象审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选对象标签确定与初始标注图像对应的目标标注图像。
其中,当数量比例等于或大于数量比例阈值时,对象标注审核规则指示对象审核候选结果为目标候选对象图像;目标候选对象图像属于至少两张候选对象图像;
第四获取模块,具体用于通过对象标注审核规则所指示的目标候选对象图像,将对象审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选对象图像所包括的候选对象标签返回与初始标注图像对应的目标标注图像。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使得计算机设备执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,上述计算机程序适于由处理器加载并执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中的方法。
上述可知,本申请首先基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,对基于原始图像所生成的至少两张候选区域图像进行区域审核处理,在确定目标对象的标准标注区域之后,再基于至少两个候选对象标签,对基于初始标注图像所生成的至少两张候选对象图像进行对象审核处理,即确定标准标注区域的标准对象标签,上述过程不仅可以弥补单一标注人员个体能力不足或能力差异的问题,还可以避免由于目标对象的区域标注出错,导致该区域对应的对象标签标注也会出错的问题,故可以提高标注图像(如目标标注图像)中针对目标对象的标注数据(包括区域标注数据以及对象标签标注数据)的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构示意图;
图2是本申请实施例提供的一种图像处理的场景示意图;
图3是本申请实施例提供的一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种图像处理的场景示意图;
图5是本申请实施例提供的一种图像处理的场景示意图;
图6是本申请实施例提供的一种图像处理的场景示意图;
图7是本申请实施例提供的一种图像处理的场景示意图;
图8是本申请实施例提供的一种图像处理的场景示意图;
图9是本申请实施例提供的一种图像处理方法的流程示意图;
图10是本申请实施例提供的一种图像处理方法的流程示意图;
图11是本申请实施例提供的一种图像处理装置的结构示意图;
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的计算机视觉技术以及深度学习等技术,具体通过如下实施例进行说明。
请参见图1,图1是本申请实施例提供的一种系统架构示意图。如图1所示,该系统可以包括至少两个第一标注终端、至少两个第二标注终端、计算机设备103、第一审核终端集群以及第二审核终端集群。其中,至少两个第一标注终端可以为至少两个第一标注用户分别对应的标注终端,至少两个第一标注终端可以包括第一标注终端101a、…、第一标注终端101n,可以理解的是,上述至少两个第一标注终端可以包括一个或者多个第一标注终端,这里将不对第一标注终端的数量进行限制。
至少两个第二标注终端可以为至少两个第二标注用户分别对应的标注终端,至少两个第二标注终端可以包括第二标注终端102a、…、第二标注终端102n,可以理解的是,上述至少两个第二标注终端可以包括一个或者多个第二标注终端,这里将不对第二标注终端的数量进行限制。
可以理解的是,第一标注用户与第二标注用户可以为同一个标注用户,故第一标注终端与第二标注终端可以为同一个标注终端,此处不限定标注用户以及标注终端之间的等同性。
计算机设备103可以为获取由至少两个第一标注用户所提供的至少两张候选区域图像、确定至少两张候选区域图像的区域审核候选结果、获取与原始图像对应的初始标注图像等的终端。可以理解的是,上述计算机设备103可以包括一个或者多个目标终端,这里将不对目标终端的数量进行限制。
第一审核终端集群可以包括审核至少两张候选区域图像或/与至少两张候选对象图像的审核终端,第一审核终端集群可以包括第一审核终端104a、…、第一审核终端104n,可以理解的是,上述第一审核终端集群可以包括一个或者多个第一审核终端,这里将不对第一审核终端的数量进行限制。
第二审核终端集群可以包括审核目标候选区域图像或/与目标候选对象图像的审核终端,第二审核终端集群可以包括第二审核终端105a、…、第二审核终端105n,可以理解的是,上述第二审核终端集群可以包括一个或者多个第二审核终端,这里将不对第二审核终端的数量进行限制。
其中,至少两个第一标注终端之间可以存在通信连接,例如第一标注终端101a与第一标注终端101n之间存在通信连接;至少两个第二标注终端之间可以存在通信连接,例如第二标注终端102a与第二标注终端102n之间存在通信连接;第一审核终端集群中的第一审核终端之间可以存在通信连接,例如第一审核终端104a与第一审核终端104n之间存在通信连接;第二审核终端集群中的第二审核终端之间可以存在通信连接,例如第二审核终端105a与第二审核终端105n之间存在通信连接。
其中,上述的标注终端(包括至少两个第一标注终端以及至少两个第二标注终端)与上述的审核终端集群(包括第一审核终端以及第二审核终端)之间可以存在通信连接,例如第二标注终端102a与第一审核终端104a之间存在通信连接,第二标注终端102n与第一审核终端104n之间存在通信连接,第一标注终端101a与第二审核终端105n之间存在通信连接。
其中,上述的标注终端与计算机设备103之间可以存在通信连接,例如第二标注终端102a与计算机设备103之间存在通信连接,第一标注终端101n与计算机设备103之间存在通信连接;上述的审核终端与计算机设备103之间可以存在通信连接,例如第二审核终端105a与计算机设备103之间存在通信连接,第一审核终端104n与计算机设备103之间存在通信连接。
可以理解的是,上述的通信连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其他连接方式,本申请在此不做限制。
其中,图1中的第一标注终端101a、…、第一标注终端101n、第二标注终端102a、…、第二标注终端102n、计算机设备103、第一审核终端104a、…、第一审核终端104n、第二审核终端105a、…、第二审核终端105n可以包括手机、平板电脑、笔记本电脑、掌上电脑、智能音响、移动互联网设备(MID,mobile internet device)、POS(Point Of Sales,销售点)机、可穿戴设备(例如智能手表、智能手环等)等。
可以理解的是,本申请实施例所提供的图像处理方法可以由计算机设备103执行,计算机设备103包括但不限于终端或服务器。上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
请一并参见图2,图2是本申请实施例提供的一种图像处理的场景示意图。计算机设备将原始图像20a发送至至少两个第一标注用户分别对应的标注终端,本申请实施例以第一标注用户201b以及第一标注用户201b对应的标注终端(图2中也称作第一标注终端20b)为例,叙述候选区域图像的生成过程。如图2所示,第一标注终端20b获取计算机设备发送的原始图像20a,第一标注用户201b可以通过第一标注终端20b所安装的标注应用软件打开原始图像20a。可以理解的是,原始图像20a可以包括非标注信息,非标注信息可以包括图像名称、图像标识码、采集设备型号、采集日期、图像大小、采集帧率等,本实施例以结直肠标注为例示意图像名称,以患者编号123854为例示意图像识别码,该图像标识码具有唯一性,实际应用时,非标注信息可以根据应用场景进行设定,此处不进行限制。
为了避免标注人员个体能力不足或个体能力存在差异等问题,本申请由至少两个第一标注用户独立对原始图像20a中的目标对象进行勾画标注(即勾画候选标注区域),第一标注用户201b首先确认原始图像20a是否包含目标对象,如果包含,则以多边形的形式标注出目标对象的位置与形状,如图2所示的候选标注区域,标注时尽可能地贴近目标对象的边缘,并将目标对象全部勾勒在区域中,被标注的区域(即候选标注区域)可以称作感兴趣的区域(Region of Interest,ROI)。
可以理解的是,在本申请实施例中以原始图像20a存在一个目标对象(则勾画一个候选标注区域)为例进行叙述,实际标注时,原始图像20a可以存在一个或者多个目标对象,则生成的候选区域图像201c可以包括一个或者多个候选标注区域。
需要理解的是,上述提及的目标对象可以包括一种类型或多种类型的对象,例如目标对象包括自行车,则候选区域图像包括的一个或多个候选标注区域均针对自行车,例如目标对象包括自行车和小汽车,则需要对原始图像中的自行车以及小汽车进行区域勾画,生成多个候选标注区域。
请再参见图2,候选区域图像201c可以包括原始图像20a所包括的非标注信息,以及标注信息,标注信息可以包括独立标注结果、性质标注、标注用户信息、标注日期、独立标注结果编号。独立标注结果可以指代图2中所示的候选标注区域,也可以指代上述候选标注区域的位置信息,此处不限定;性质标注可以包括勾画目标对象的勾画工具、勾画基本形状等;本申请实施例以khy752为例示意标注用户信息,以结果编号5588943为例命名独立标注结果编号,该编号亦要求唯一性;实际应用时,标注信息可以根据应用场景进行设定,此处不限制。
当第一标注用户201b触发“提交”键时,第一标注终端20b可以将候选区域图像201c传输至图像数据库20d,以作为图像数据库20d中的图像数据。
同理,其他第一标注用户也可以通过各自的第一标注终端对原始图像20a进行区域标注,得到各自的候选区域图像(如图2示例的候选区域图像202c、…、候选区域图像203c),同样,每个候选区域图像均可以包括原始图像20a包括的非标注信息,以及自身的标注信息,最后通过数据传输将候选区域图像存储至图像数据库20d,根据原始图像20a的图像标识码,图像数据库20d可以将这些候选区域图像、候选区域图像201c以及原始图像20a关联存储,如图2所示。
其中,图像数据库20d可以是计算机设备专门用于存储图像的数据库,即可以存储由至少两个第一标注用户所提供的至少两张候选区域图像,如图2所示的原始图像20a、候选区域图像201c、候选区域图像202c、…、候选区域图像203c。上述图像数据库20d可视为电子化的文件柜——存储电子文件(本申请可以包括原始图像20a、至少两张候选区域图像、至少两张候选对象图像、初始标注图像以及目标标注图像)的处所,计算机设备可以对文件中的原始图像20a、至少两张候选区域图像、至少两张候选对象图像、初始标注图像以及目标标注图像进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
请再参见图2,计算机设备基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,其中,候选区域数量是指每张候选区域图像中的候选标注区域对应的数量,例如候选区域图像201c包括一个候选标注区域,故候选区域图像201c对应的候选区域数量为1;上述的至少两个候选标注区域可以包括图2中的候选区域图像201c、候选区域图像202c、…、候选区域图像203c分别包括的候选标注区域。
计算机设备可以将区域审核候选结果发送至审核终端(可以包括第一审核终端以及第二审核终端),审核终端根据区域审核候选结果返回与原始图像20a对应的初始标注图像20e,该初始标注图像20e包括用于标注目标对象的标准标注区域。需要理解的是,本申请实施例是将区域标注与对象标签标注分开处理的,上述的标准标注区域视为目标对象的标准勾画区域,基于该标准标注区域,确定目标对象的标准对象标签,可以避免由于目标对象的标注区域出错,导致该区域对应的对象标签标注也会出错的问题。
区域审核候选结果的确定过程以及初始标注图像20e的生成过程请参见下文图3所对应的实施例的描述。
请再参见图2,计算机设备得到初始标注图像20e之后,同理,为了避免标注人员个体能力不足或个体能力存在差异等问题,将初始标注图像20e发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像,本申请实施例以第二标注用户201f以及第二标注用户201f对应的标注终端(图2中也称作第二标注终端20f)为例叙述候选对象图像的生成过程。
如图2所示,第二标注终端20f获取计算机设备发送的初始标注图像20e,第二标注用户201f可以通过第二标注终端20f所安装的标注应用软件查看初始标注图像20e,第二标注用户201f首先确认初始标注图像20e是否包含待标注的标准标注区域,如果包含,则对标准标注区域进行对象标签标注。针对对象标签,本申请实施例以肠镜类型、图像异常情况以及类别判断为例进行叙述,如图2所示,第二标注用户201f确认初始标注图像20e通过白光肠镜探测生成的,确认初始标注图像20e中的标准标注区域是息肉,且确认该息肉的类别是非腺瘤性息肉。
可以理解的是,实际应用时,对象标签的内容可以根据目标对象的对象属性进行设置,不局限于本申请实施例所述的对象类型以及类型类别。
在确认初始标注图像20e所包括的标准标注区域的对象标签后,第二标注终端20f对应的显示屏上可以显示候选对象图像20g,如图2所示,候选对应图像20g不仅包括初始标注图像20e中的标准标注区域,还可以包括针对该标准标注区域的候选对象标签20h,即图2中所示的“肠镜类型:白光,类别判断:非腺瘤性息肉”。
后续,第二标注终端20f可以通过通信连接将候选对象图像20g传输至上述的图像数据库20d,以作为图像数据库20d中的图像数据。
同理,其他第二标注用户也可以通过各自的第二标注终端对初始标注图像20e进行对象标签标注,得到各自的候选对象图像,根据原始图像20a的图像标识码,图像数据库20d可以将其他候选对象图像、候选对象图像20g以及原始图像20a关联存储。
计算机设备可以根据至少两个候选对象标签(包括图2所示的候选对象标签20h),确定至少两张候选对象图像(包括图2所示的候选对象图像20g)的对象审核候选结果,将对象审核候选结果发送至对应的审核终端(可以包括第一审核终端以及第二审核终端),让其根据对象审核候选结果确定与初始标注图像20e对应的目标标注图像,该目标标注图像包括用于标注初始标注图像20e所包括的标准标注区域的标准对象标签。其中,对象审核候选结果的确定过程以及目标标注图像的生成过程请参见下文图3所对应的实施例的描述。
进一步地,请参见图3,图3是本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由图1所述的计算机设备执行,也可以由计算机设备以及审核终端(可以包括第一审核终端以及第二审核终端)共同执行,在本申请实施例中,以该方法由计算机设备执行为例进行说明。如图3所示,该图像处理过程可以包括如下步骤。
步骤S101,获取由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域。
具体的,请一并参见图4,图4是本申请实施例提供的一种图像处理的场景示意图。如图4所示,本申请实施例设定至少两张候选区域图像的图像数量为3,即图4中的候选区域图像401a、候选区域图像402a以及候选区域图像403a,当至少两张候选区域图像的图像数量等于2或者其他数量时,可以参照本实施例。
如图4所示,原始图像401d可以包括房屋、行人、扶梯以及大厦等物体,本实施例设定目标对象包括行人以及房屋。计算机设备402d获取3个第一标注用户所提供的候选区域图像401a、候选区域图像402a以及候选区域图像403a,上述3张候选区域图像均基于原始图像401d生成,例如候选区域图像401a是由第一标注用户101A对原始图像401d中的行人以及房屋分别进行区域标注所生成的图像,候选区域图像402a是由第一标注用户102A对原始图像401d中的行人以及房屋分别进行区域标注所生成的图像,候选区域图像403a是由第一标注用户103A对原始图像401d中的行人以及房屋分别进行区域标注所生成的图像。至少两个第一标注用户对原始图像401d中的目标对象进行区域标注的详细过程,可以参见上文图2所对应的实施例中的描述,此处不再进行赘述。
如图4所示,候选区域图像401a包括两个候选标注区域,分别为标注房屋的候选标注区域401c,以及标注行人的候选标注区域401b;候选区域图像402a包括两个候选标注区域,分别为标注房屋的候选标注区域402c,以及标注行人的候选标注区域402b;候选区域图像403a也包括两个候选标注区域,分别为标注房屋的候选标注区域403c,以及标注行人的候选标注区域403b。可以理解的是,3个第一标注用户的标注方式可能存在不同,例如第一标注用户101A采用椭圆形状对目标对象进行区域标注,第一标注用户102A采用线条对目标对象进行区域标注,第一标注用户103A采用矩形形状对目标对象进行区域标注,此处不限定第一标注用户对目标对象进行区域标注的方式,可以根据实际应用场景,选择合适的标注方式。
可以理解的是,上述的至少两张候选区域图像可以是计算机设备402d本地存储的图像,也可以是其他终端发送至计算机设备402d的图像,还可以是计算机设备402d从图像数据库中获取的图像,此处不限定至少两张候选区域图像的来源。
可选的,获取原始图像,将原始图像输入至初始图像识别模型;根据初始图像识别模型获取原始图像的第一图像特征,根据第一图像特征确定目标对象的预测区域信息;根据预测区域信息对原始图像进行区域标注,生成预测区域图像;预测区域图像包括用于标注目标对象的预测标注区域;将预测区域图像发送至至少两个第一标注用户分别对应的标注终端,以使至少两个第一标注用户分别对应的标注终端分别根据预测区域图像以及原始图像确定候选区域图像;获取至少两个第一标注用户分别对应的标注终端分别返回的候选区域图像。
除了将原始图像发送至至少两个第一标注用户分别对应的标注终端外,还可以先获取原始图像的预测区域信息,后续,可以将预测区域信息作为训练样本训练初始图像识别模型,获取预测区域信息的具体过程可以如下。请一并参见图5,图5是本申请实施例提供的一种图像处理的场景示意图。如图5所示,计算机设备将原始图像401d输入至初始图像识别模型50a,根据初始图像识别模型50a中的特征提取层获取原始图像401d的第一图像特征50d;根据第一图像特征50d确定目标对象(包括行人以及房屋)的预测区域信息,如图5所示,针对原始图像401d,初始图像识别模型50a获取到3个预测区域信息,分别为预测区域信息1、预测区域信息2以及预测区域信息3。计算机设备根据3个预测区域信息对原始图像401d进行区域标注,生成预测区域图像50e,该预测区域图像50e可以包括用于标注目标对象的预测标注区域,如图5所示的预测标注区域501e、预测标注区域502e以及预测标注区域503e。
明显地,初始图像识别模型50a初期提取的第一图像特征不完整,导致获取的预测区域信息与真实的区域信息存在误差,例如,将图5中的大厦理解成目标对象进行区域标注,且没有正确标注目标对象中的行人。
此时,计算机设备可以将预测区域图像50e发送至至少两个第一标注用户分别对应的标注终端,例如图1中的第一标注终端101a以及第一标注终端101n。至少两个第一标注用户可以根据预测区域图像50e以及原始图像401d分别确定候选区域图像,例如图4所示的候选区域图像401a、候选区域图像402a以及候选区域图像403a,然后分别将各自确定的候选区域图像返回至计算机设备。
步骤S102,根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域。
具体的,确定每张候选区域图像所包括的候选标注区域对应的候选区域数量;对至少两个候选区域数量进行数量对比;至少两个候选区域数量包括候选区域数量Sa;a为正整数,且a小于或等于至少两张候选区域图像的图像数量;若剩余候选区域数量中存在与候选区域数量Sa不相同的候选区域数量,则将至少两张候选区域图像分别确定为区域审核候选结果;剩余候选区域数量包括,在至少两个候选区域数量中除了候选区域数量Sa之外的候选区域数量;若剩余候选区域数量均与候选区域数量Sa相同,则根据至少两个候选标注区域确定区域审核候选结果。
请再参见图4,计算机设备402d获取到3张候选区域图像,即上述的候选区域数量Sa可以分别为候选区域图像401a、候选区域图像402a以及候选区域图像403a。首先确定每张候选区域图像分别包括几个候选标注区域,进而可以确定每张候选区域图像对应的候选区域数量,如图4所示,候选区域图像401a包括两个候选标注区域,分别为标注房屋的候选标注区域401c,以及标注行人的候选标注区域401b;候选区域图像402a包括两个候选标注区域,分别为标注房屋的候选标注区域402c,以及标注行人的候选标注区域402b;候选区域图像403a也包括两个候选标注区域,分别为标注房屋的候选标注区域403c,以及标注行人的候选标注区域403b。所以候选区域图像401a、候选区域图像402a以及候选区域图像403a分别对应的候选区域数量均为2,即3个候选区域数量相同,此时计算机设备402d需要确定每张候选区域图像中的每个候选标注区域,与其他候选区域图像中的候选标注区域之间的重合度,然后根据重合度确定3张候选区域图像的区域审核候选结果。在候选区域数量均相同的情况下,确定区域审核候选结果的具体过程请参见下文图9所对应的实施例中的描述,此处暂不展开叙述。
可以理解的是,若上述3个候选区域数量不相同,例如1个候选区域数量为1,另外2个候选区域数量为2,此时,计算机设备402d分别将上述的3张候选区域图像作为区域审核候选结果,如图4所示。
具体的,若区域审核候选结果为至少两张候选区域图像,则将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选区域标签确定发送至第二审核终端的候选区域审核图像;第二审核终端用于根据候选区域审核图像返回与原始图像对应的初始标注图像;若区域审核候选结果为目标候选区域图像,则将区域审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选区域图像所包括的候选标注区域返回与原始图像对应的初始标注图像。
计算机设备确定区域审核候选结果后,需要将区域审核候选结果发送至审核终端(包括第一审核终端以及第二审核终端),以使审核终端对该结果进行确认,并返回初始标注图像,具体过程请一并参见图6,图6是本申请实施例提供的一种图像处理的场景示意图。如图6所示,若区域审核候选结果为至少两张候选区域图像,则计算机设备402d将区域审核候选结果(即图6所示的至少两张候选区域图像)发送至第一审核终端104a(等同于上文图1中所述的第一审核终端104a),上述第一审核终端104a在整个图像处理过程中具备仲裁的功能。
第一审核终端104a获取到至少两张候选区域图像后,其对应的仲裁用户10a可以查看原始图像以及至少两张候选区域图像,若仲裁用户10a确认至少两张候选区域图像分别包括的候选标注区域均不理想,则可以对原始图像进行区域标注,仲裁用户10a对原始图像进行区域标注的过程,与至少两个第一标注用户对原始图像进行区域标注的过程一致,故请参见上文图2中所描述的区域标注内容。后续,仲裁用户10a可以通过第一审核终端104a将自身重新标注的候选区域图像作为仲裁结果(即候选区域审核图像),发送至第二审核终端105n(等同于上文图1中所述的第二审核终端105n),以使第二审核终端105n对应的审核用户10b对仲裁结果进行审核。
若仲裁用户10a认可至少两张候选区域图像中的某一张候选区域图像,例如图6中所示的候选区域图像402a(等同于上文图4中所述的候选区域图像402a),则可以直接将候选区域图像402a作为仲裁结果(即候选区域审核图像)发送至第二审核终端105n,以使审核用户10b对仲裁结果进行审核。
上述的仲裁结果(例如图6所示的候选区域图像402a)除了可以包括上文所提及的非标注信息以及标注信息,还可以包括仲裁信息,该仲裁信息可以包括仲裁标注结果、性质标注、仲裁用户信息、仲裁日期、仲裁结果编号等。
请再参见图6,若区域审核候选结果为目标候选区域图像,则将区域审核候选结果发送至第二审核终端105n,上述第二审核终端105n在整个图像处理过程中具备审核的功能。当第二审核终端105n获取到目标候选区域图像后,审核用户10b可以通过第二审核终端105n审核该图像。
若审核用户10b认可目标候选区域图像或第一审核终端104a发送的仲裁结果,则可以将其保存在与计算机设备402d相关联的图像数据库40e(等同于图2中的图像数据库20d)中,如图6所示,该图像数据库40e可以存储原始图像401d。以第一审核终端104a发送的仲裁结果(即图6所示的候选区域图像402a)为例叙述,当审核用户10b认可该图像时,则可以将候选区域图像402a作为初始标注图像发送至计算机设备402d。当候选区域图像402a作为初始标注图像时,其所包括的候选标注区域402c以及候选标注区域402b可以分别作为标准标注区域。
若审核用户10b不认可目标候选区域图像或第一审核终端104a发送的仲裁结果,则可以丢弃现有的区域标注数据,让其他的第一标注用户对原始图像进行区域标注,或者,将原始图像重新转发至第一审核终端104a,以使仲裁用户10a对原始图像进行区域标注。然后审核用户10b对重新生成的候选区域图像进行审核处理,该审核过程与上述审核过程一致,故不再进行赘述。
上述的审核结果(即是否认可计算机设备402d发送的目标候选区域图像,或第一审核终端104a发送的仲裁结果)除了可以包括上文所提及的非标注信息、标注信息以及仲裁信息,还可以包括审核信息,该审核信息可以包括审核结果(认可、发回仲裁或标注终端)、审核用户信息、审核日期、审核结果编号等。
步骤S103,将初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签。
具体的,请一并参见图7,图7是本申请实施例提供的一种图像处理的场景示意图。如图7所示,本申请实施例设定至少两个第二标注用户的用户数量为3,则至少两个第二标注用户分别对应的标注终端(也可以称作第二标注终端)的终端数量可以为3,可以理解的是,至少两个第一标注用户的用户数量可以与至少两个第二标注用户的用户数量可以相同,也可以不相同,本申请不做限定,实际应用时,可以根据实际场景设定。
如图7所示,初始标注图像40f包括两个标准标注区域,分别为标准标注区域401f以及标准标注区域402f。计算机设备402d将初始标注图像40f分别发送至第二标注终端401g、第二标注终端402g以及第二标注终端403g。其中,第二标注终端对初始标注图像40f中的标准标注区域进行对象标签标注的具体过程,请参见上文图2所对应的实施例中的描述,此处不再进行赘述。
请再参见图7,计算机设备402d获取第二标注终端401g返回的候选对象图像401h,针对初始标注图像40f中的标准标注区域401f,候选对象图像401h中的对象标签为大厦,针对标准标注区域402f,候选对象图像401h中的对象标签为行人;获取第二标注终端402g返回的候选对象图像402h,针对初始标注图像40f中的标准标注区域401f,候选对象图像402h中的对象标签为房屋,针对标准标注区域402f,候选对象图像401h中的对象标签为行人;计算机设备402d获取第二标注终端403g返回的候选对象图像403h,针对初始标注图像40f中的标准标注区域401f,候选对象图像403h中的对象标签为房屋,针对标准标注区域402f,候选对象图像401h中的对象标签为行人。
可选的,将初始标注图像输入至初始图像识别模型,根据初始图像识别模型获取初始标注图像的第二图像特征,根据第二图像特征确定标准标注区域的预测对象信息;根据预测对象信息对初始标注图像进行对象标签标注,生成预测对象图像;预测对象图像包括用于标注标准标注区域的预测对象标签;将预测对象图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别根据预测对象图像以及初始标注图像,确定候选对象图像;获取至少两个第二标注用户分别对应的标注终端所返回的候选对象图像。
该可选内容与上文步骤S101中的可选内容,工作原理一致,计算机设备先利用初始图像识别模型提取初始标注图像对应的第二图像特征;根据第二图像特征对初始标注图像进行对象标签标注,生成预测对象图像,计算机设备将预测对象图像以及初始标注图像,一起发送至至少两个第二标注用户分别对应的标注终端,让第二标注用户可以参考预测对象图像,对初始标标注图像进行对象标签标注,生成候选对象图像,后续,每个第二标注用户返回自己标注的候选对象图像至计算机设备。
步骤S104,根据至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
具体的,将至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中,得到n个对象标签组;n为正整数;统计n个对象标签组分别包括的候选对象标签的对象标签数量,在n个对象标签组分别对应的对象标签数量中获取最大对象标签数量;确定最大对象标签数量与至少两个候选对象标签对应的对象标签数量之间的数量比例;将数量比例与数量比例阈值进行对比,若数量比例小于数量比例阈值,则将至少两张候选对象图像分别确定为对象审核候选结果;若数量比例等于或大于数量比例阈值,则将数量比例所对应的对象标签组确定为目标对象标签组,从与目标对象标签组相关联的候选对象图像中获取目标候选对象图像,将目标候选对象图像确定为对象审核候选结果。
根据图7以及步骤S103的描述可知,候选对象图像402h以及候选对象图像403h分别包括的候选对象标签相同,即针对初始标注图像40f中的标准标注区域401f,两者均标注为房屋,针对标准标注区域402f,两者均标注为行人;但候选对象图像401h包括的候选对象标签,与候选对象图像402h以及候选对象图像403h分别包括的候选对象标签不相同,主要是针对标准标注区域401f,候选对象图像401h标注的对象标签为大厦。
综合上述,计算机设备402d可以将候选对象图像401h所包括的候选对象标签分在一个对象标签组,如图7所示的A组;计算机设备402d可以将候选对象图像402h所包括的候选对象标签,以及候选对象图像403h所包括的候选对象标签,分在另一个对象标签组,如图7所示的B组,其中,A组中的“401f=大厦”用于表征候选对象标签401f是大厦,两个对象标签组中的其他等于关系可以参考“401f=大厦”的含义,此处不再一一进行赘述。
明显地,A组包括2个候选对象标签,该2个候选对象标签也可以理解成一组候选对象标签,因为均来自候选对象图像401h;B组包括4个候选对象标签,该4个候选对象标签也可以理解成2组候选对象标签,因为候选对象图像402h包括一组,候选对象图像403h包括一组。计算机设备402d将A组中的对象标签数量与B组中的对象标签数量进行对比,可知最大对象标签数量为4,AB两组总的对象标签数量为6,得出数量比例为2/3。
请再参见图7,计算机设备402d将数量比例与数量比例阈值进行对比,若数量比例小于数量比例阈值(例如数量比例阈值为4/5),则将图7中所示的候选对象图像401h、候选对象图像402h以及候选对象图像403h分别确定为对象审核候选结果;若数量比例等于或大于数量比例阈值,例如数量比例阈值为1/2,则计算机设备402d将数量比例所对应的对象标签组(即图7所示的B组)确定为目标对象标签组,从与目标对象标签组相关联的候选对象图像中(即候选对象图像402h以及候选对象图像403h)获取任一候选对象图像,将其作为目标候选对象图像,最后将目标候选对象图像确定为对象审核候选结果。
具体的,若对象审核候选结果为至少两张候选对象图像,则将对象审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选对象标签确定发送至第二审核终端的候选对象审核图像;第二审核终端用于根据候选对象审核图像返回与初始标注图像对应的目标标注图像;若对象审核候选结果为目标候选对象图像,则将对象审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选对象图像所包括的候选对象标签返回与初始标注图像对应的目标标注图像。
计算机设备根据对象审核候选结果确定目标标注图像的方法,与上文步骤S102中根据区域审核候选结果确定初始标注图像的方法一致,首先确定对象审核候选结果的类型,根据其对应的类型将对象审核候选结果发送至对应的审核终端(包括第一审核终端以及第二审核终端),让对应的审核用户根据对象审核候选结果确定结果(包括仲裁结果以及审核结果),最后根据结果返回与初始标注图像对应的目标标注图像至计算机设备,其具体的过程可以参见上文步骤S102中根据区域审核候选结果确定初始标注图像的描述,或者下文图10所对应的实施例中的描述。
可选的,获取目标标注图像中标准标注区域的标准区域信息,以及标准对象标签的标准对象信息;根据预测区域信息以及标准区域信息确定初始图像识别模型的区域损失值;根据预测对象信息以及标准对象信息确定初始图像识别模型的对象损失值;根据区域损失值以及对象损失值确定初始图像识别模型的总损失值;根据总损失值对初始图像识别模型中的模型参数进行调整,当调整后的初始图像识别模型满足模型收敛条件时,将调整后的初始图像识别模型确定为图像识别模型;图像识别模型用于标注图像中目标对象的区域以及对象标签。
可以理解的是,初始图像识别模型初期提取的图像特征不完整,因此预测的对象标签与真实的对象标签会存在误差,即初始图像识别模型存在较大的对象损失值,同理,预测的位置信息与真实的位置信息也会存在误差,即初始图像识别模型存在较大的区域损失值,如上文步骤S101中的可选内容所述。请一并参见图8,图8是本申请实施例提供的一种图像处理的场景示意图。如图8所示,目标标注图像50f包括两个标准标注区域(等于初始标注图像中的标准标注区域),其中标准标注区域501f的标准对象标签为房屋,标准标注区域502f的标准对象标签为行人。图8所示例的预测区域图像50e等于图5中所示例的预测区域图像50e,该图像包括3个预测标注区域,分别为预测标注区域501e、预测标注区域502e以及预测标注区域503e。图8所示例的预测对象图像50g包括两个标准标注区域,该两个标准标注区域等于目标标注图像50f所包括的两个标准标注区域,但在预测对象图像50g中,针对标准标注区域501f的预测对象标签为大厦,针对标准标注区域502f的预测对象标签为行人。
请再参见图8,计算机设备可以根据目标标注图像50f中的标准区域信息,以及预测区域图像50e中的预测区域信息,确定初始图像识别模型50a(等同于图5所示例的初始图像识别模型50a)的区域损失值;根据预测对象图像50g中的预测对象信息以及目标标注图像50f中的标准对象信息,计算机设备可以确定初始图像识别模型50a的对象损失值。根据区域损失值以及对象损失值,计算机设备可以确定初始图像识别模型50a的总损失值,根据总损失值对初始图像识别模型50a中的模型参数进行调整,当调整后的初始图像识别模型满足模型收敛条件时,将调整后的初始图像识别模型确定为图像识别模型50h,如图8所示。
可选的,获取待识别图像;待识别图像包括目标对象;将待识别图像输入图像识别模型,在图像识别模型中获取待识别图像的第三图像特征;根据第三图像特征确定目标对象的识别区域信息以及识别对象信息;根据识别区域信息生成针对目标对象的识别标注区域,根据识别对象信息生成针对识别标注区域的识别对象标签;在待识别图像中,显示识别标注区域以及识别对象标签。
请再参见图8,计算机设备获取待识别图像50i,该待识别图像50i可以包括小汽车、树木以及行人,设定目标对象为行人。将待识别图像50i输入上文训练好的图像识别模型50h,通过图像识别模型50h获取待识别图像50i的图像特征;计算机设备可以根据图像特征确定目标对象(即行人)的识别区域信息以及识别对象信息;根据识别区域信息生成针对目标对象的识别标注区域,如图8所勾画的针对行人的标注区域,根据识别对象信息生成针对识别标注区域的识别对象标签,如图8所示例的行人标签。
上述可知,本申请首先基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,对基于原始图像所生成的至少两张候选区域图像进行区域审核处理,在确定目标对象的标准标注区域之后,再基于至少两个候选对象标签,对基于初始标注图像所生成的至少两张候选对象图像进行对象审核处理,即确定标准标注区域的标准对象标签,上述过程不仅可以弥补单一标注人员个体能力不足或能力差异的问题,还可以避免由于目标对象的区域标注出错,导致该区域对应的对象标签标注也会出错的问题,故可以提高标注图像(如目标标注图像)中针对目标对象的标注数据(包括区域标注数据以及对象标签标注数据)的精确度;当将精确度高的标注图像作为训练样本输入至算法模型时,可以促进算法模型更好地学习训练样本中的目标特征,进而可以提高模型的识别精度。
进一步地,请参见图9,图9是本申请实施例提供的一种图像处理方法的流程示意图。如图9所示,该图像处理方法可以包括以下步骤S1021-步骤S1023,且步骤S1021-步骤S1023为图3所对应实施例中步骤S102的一个具体实施例。
步骤S1021,获取至少两张候选区域图像中每两张候选区域图像所分别包括的候选标注区域。
具体的,至少两张候选区域图像包括候选区域图像Pi以及候选区域图像Pj,候选区域图像Pi包括候选标注区域K(i,z),候选区域图像Pj包括候选标注区域K(j,x);其中,i和j均为正整数,且i和j均小于或等于至少两张候选区域图像的图像数量;其中,z和x均为正整数,且z和x均小于或等于候选区域图像Pi所包括的候选标注区域的区域数量。
请一并参见图4以及上文图3所对应的实施例中步骤S102在的描述,此处不再进行赘述。
步骤S1022,确定每两张候选区域图像所分别包括的候选标注区域之间的重合度。
具体的,分别确定候选标注区域K(i,z)与候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z),将候选重合度C(i,z)中的最大候选重合度确定为候选标注区域K(i,z)的第一重合度;分别确定候选标注区域K(j,x)与候选区域图像Pi所包括的候选标注区域之间的候选重合度C(j,x),将候选重合度C(j,x)中的最大候选重合度确定为候选标注区域K(j,x)的第二重合度;将候选区域图像Pi中的每个候选标注区域的第一重合度和候选区域图像Pj中的每个候选标注区域的第二重合度,确定为候选区域图像Pi以及候选区域图像Pj所分别包括的候选标注区域之间的重合度。其中,候选标注区域K(i,z)中的下标i表示该区域属于候选区域图像Pi,下标中的z表示该区域属于第z个候选标注区域。其他下标字母所表示的含义可以参照候选标注区域K(i,z)中的下标i以及下标z,此处不再一一进行赘述。
其中,分别确定候选标注区域K(i,z)与候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z)的具体过程可以包括:获取候选标注区域K(i,z)在候选区域图像Pi中的位置信息L(i,z),获取候选标注区域K(j,x)在候选区域图像Pj中的位置信息L(j,x);根据位置信息L(i,z)以及位置信息L(j,x),确定候选标注区域K(i,z)以及候选标注区域K(j,x)之间的重合位置信息Lzx;根据位置信息L(i,z)、位置信息L(j,x)以及重合位置信息Lzx,确定候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度;根据候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度生成候选重合度C(i,z)
本申请实施例为了弥补单一标注图像存在的标注区域质量不稳定的缺陷,让多个第一标注用户独立标注同一张原始图像,得到多张候选区域图像,请再参见图4,计算机设备402d获取候选区域图像401a、候选区域图像402a以及候选区域图像403a中每两张候选区域图像中的候选标注区域,如图4所示,候选区域图像401a以及候选区域图像402a包括候选标注区域401c、候选标注区域401b、候选标注区域402c以及候选标注区域402b;候选区域图像401a以及候选区域图像403a包括候选标注区域401c、候选标注区域401b、候选标注区域403c以及候选标注区域403b;候选区域图像402a以及候选区域图像403a包括候选标注区域402c、候选标注区域402b、候选标注区域403c以及候选标注区域403b。下面以确定候选区域图像401a以及候选区域图像402a所分别包括的候选标注区域之间的重合度为例叙述,其余每两张候选区域图像所分别包括的候选标注区域之间的重合度可以参照下文的描述。
由上文图3所包含的步骤S101以及步骤S102可知,图4中的3张候选区域图像(即候选区域图像401a、候选区域图像402a以及候选区域图像403a)除了分别包括的候选标注区域存在差异,其他并无差异(因为3张候选区域图像均基于原始图像401d生成),故以上述4张图像(即原始图像401d、候选区域图像401a、候选区域图像402a以及候选区域图像403a)的左上角为坐标原点,原点往右为x轴,原点往下为y轴所分别生成的坐标是一致的,因此,4张图像中的目标对象分别对应的4个位置信息是一致的。
根据上述的坐标,计算机设备402d获取候选区域图像401a中候选标注区域401c的位置信息L401c,以及候选标注区域401b的位置信息L401b;获取候选区域图像402a中候选标注区域402c的位置信息L402c,以及候选标注区域402b的位置信息L402b;计算机设备402d确定候选标注区域401c的位置信息L401c以及候选标注区域402c的位置信息L402c的交集位置信息L401c∩402c(即重合位置信息),确定位置信息L401c以及位置信息L402c的并集位置信息L401c∪402c;计算机设备402d确定候选标注区域401b的位置信息L401b以及候选标注区域402c的位置信息L402c的交集位置信息L401b∩402c(即重合位置信息),确定位置信息L401b以及位置信息L402c的并集位置信息L401b∪402c;计算机设备402d确定候选标注区域401c的位置信息L401c以及候选标注区域402b的位置信息L402b的交集位置信息L401c∩402b(即重合位置信息),确定位置信息L401c以及位置信息L402b的并集位置信息L401c∪402b;计算机设备402d确定候选标注区域401c的位置信息L401b以及候选标注区域402b的位置信息L402b的交集位置信息L401b∩402b(即重合位置信息),确定位置信息L401b以及位置信息L402b的并集位置信息L401b∪402b
下面以确定候选区域图像401a中候选标注区域401c的第一重合度为例叙述,确定候选区域图像401a中候选标注区域401b的第一重合度可以参见下面的过程。
如图4所示,计算机设备402d可以根据公式(1)确定候选标注区域401c以及候选标注区域402c之间的候选重合度C(401c,402c)
Figure BDA0002916788110000311
其中,ROI401c可以表示候选标注区域401c,且可以由位置信息L401c确定,ROI402c可以表示候选标注区域402c,且可以由位置信息L402c确定,ROI401c∩ROI402c可以表示候选标注区域401c以及候选标注区域402c的交集区域,且可以由交集位置信息L401c∩402c确定,ROI401c∪ROI402c可以表示候选标注区域401c以及候选标注区域402c的并集区域,且可以由并集位置信息L401c∪402c确定。
计算机设备402d可以根据公式(2)确定候选标注区域401c以及候选标注区域402b之间的候选重合度C(401c,402b)
Figure BDA0002916788110000312
其中,ROI402b可以表示候选标注区域402b,且可以由位置信息L402b确定,ROI401c∩ROI402b可以表示候选标注区域401c以及候选标注区域402b的交集区域,且可以由交集位置信息L401c∩402b确定,ROI401c∪ROI402b可以表示候选标注区域401c以及候选标注区域402b的并集区域,且可以由并集位置信息L401c∪402b确定。
计算机设备将候选重合度C(401c,402c)以及候选重合度C(401c,402b)进行对比,针对候选区域图像401a以及候选区域图像402a,显然候选标注区域401c与候选标注区域402b无交集区域,故候选标注区域401c的第一重合度为候选重合度C(401c,402c)
下面以确定候选区域图像402a中候选标注区域402b的第二重合度为例叙述,确定候选区域图像402a中候选标注区域402c的第二重合度可以参见下面的过程。
如图4所示,计算机设备402d可以根据公式(3)确定候选标注区域402b以及候选标注区域401b之间的候选重合度C(401b,402b)
Figure BDA0002916788110000321
其中,ROI401b可以表示候选标注区域401b,且可以由位置信息L401b确定,ROI401b∩ROI402b可以表示候选标注区域401b以及候选标注区域402b的交集区域,且可以由交集位置信息L401b∩402b确定,ROI401b∪ROI402b可以表示候选标注区域401b以及候选标注区域402b的并集区域,且可以由并集位置信息L401b∪402b确定。
计算机设备将候选重合度C(401b,402b)以及候选重合度C(401c,402b)进行对比,针对候选区域图像401a以及候选区域图像402a,显然候选标注区域401c与候选标注区域402b无交集区域,故候选标注区域402b的第二重合度为候选重合度C(401b,402b)
计算机设备402d将候选区域图像401a中的每个候选标注区域(包括候选标注区域401c以及候选标注区域401b)的第一重合度,和候选区域图像402a中的每个候选标注区域(包括候选标注区域402c以及候选标注区域402b)的第二重合度,确定为候选区域图像401a以及候选区域图像402a所分别包括的候选标注区域之间的重合度。
请再参见图4,根据候选区域图像401a以及候选区域图像402a所分别包括的候选标注区域之间的重合区域,计算机设备402d可以显示重合区域图像40z,其中,候选标注区域401c与候选标注区域402c之间的黑色区域为该两者的重合区域,候选标注区域401b与候选标注区域402b之间的黑色区域为该两者的重合区域。
步骤S1023,将重合度与重合度阈值进行对比,根据对比结果确定区域审核候选结果。
具体的,将候选区域图像Pi中的每个候选标注区域的第一重合度分别与重合度阈值进行对比,将候选区域图像Pj中的每个候选标注区域的第二重合度分别与重合度阈值进行对比;若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度中,存在小于重合度阈值的重合度,则将至少两张候选区域图像分别确定为区域审核候选结果;若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度,均等于或大于重合度阈值,则从至少两张候选区域图像中获取目标候选区域图像,将目标候选区域图像确定为区域审核候选结果。
请再参见图4,每两张候选区域图像所分别包括的候选标注区域之间的重合度,可以包括候选区域图像401a(可以理解成上述的候选区域图像Pi)与候选区域图像402a(可以理解成上述的候选区域图像Pj)中,候选标注区域401c的第一重合度、候选标注区域401b的第一重合度、候选标注区域402c的第二重合度以及候选标注区域402b的第二重合度,以及候选区域图像401a(可以理解成上述的候选区域图像Pi)与候选区域图像403a(可以理解成上述的候选区域图像Pj)中,候选标注区域401c的第一重合度、候选标注区域401b的第一重合度、候选标注区域403c的第二重合度以及候选标注区域403b的第二重合度,以及候选区域图像402a(可以理解成上述的候选区域图像Pi)与候选区域图像403a(可以理解成上述的候选区域图像Pj)中,候选标注区域402c的第一重合度、候选标注区域402b的第一重合度、候选标注区域403c的第二重合度以及候选标注区域403b的第二重合度。
计算机设备402d将上述重合度与重合度阈值进行对比,若上述重合度均大于或等于重合度阈值,则从候选区域图像401a、候选区域图像402a以及候选区域图像403a中任意获取一张候选区域图像作为目标候选区域图像,然后将目标候选区域图像确定为区域审核候选结果;若上述重合度中存在至少一个重合度小于重合度阈值,例如在候选区域图像401a与候选区域图像402a中,候选标注区域401c的第一重合度小于上述重合度阈值,则计算机设备402d将候选区域图像401a、候选区域图像402a以及候选区域图像403a分别确定为区域审核候选结果。
上述可知,本申请首先基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,对基于原始图像所生成的至少两张候选区域图像进行区域审核处理,在确定目标对象的标准标注区域之后,再基于至少两个候选对象标签,对基于初始标注图像所生成的至少两张候选对象图像进行对象审核处理,即确定标准标注区域的标准对象标签,上述过程不仅可以弥补单一标注人员个体能力不足或能力差异的问题,还可以避免由于目标对象的区域标注出错,导致该区域对应的对象标签标注也会出错的问题,故可以提高标注图像(如目标标注图像)中针对目标对象的标注数据(包括区域标注数据以及对象标签标注数据)的精确度;当将精确度高的标注图像作为训练样本输入至算法模型时,可以促进算法模型更好地学习训练样本中的目标特征,进而可以提高模型的识别精度。
近年来,随着以深度学习为代表的新一代人工智能技术的突破,医学图像的自动识别领域取得了飞跃性的进展,人工智能对医学图像实时地检测与分类有望助力临床医生提高检查质量和减少病变漏诊。在医学图像中,内镜影像的检测尤为困难,在众多消化内镜人工智能研究中,又以结直肠息肉智能检测或鉴别的关注度最高,研究最为深入。
卓越的图像识别模型依赖于海量具有代表性的高质量标注数据,数据标注质量决定了算法模型的稳定性和准确率。然而,由于各类内镜影像病灶具有明显的个体差异性与复杂性,较一般医疗数据的标注难度更大,有效采集大样本高质量标注数据成为内镜影像开发的首要基础与前提。在本申请中,至少两个第一标注用户以及至少两个第二标注用户均由至少3年以上内镜操作经验的医生担任,同时满足注册单位为二级或三级医院、医师及以上职称、消化内科专业,并通过标注需求单位的标注医生相关的培训与考核。第一审核用户(也可以理解成仲裁专家)是由至少10年以上内镜操作经验的医生担任,同时满足注册单位为三级甲等医院、副主任及以上职称、消化内科专业,并通过标注需求单位的仲裁专家相关的培训与考核。第二审核专家(也可以理解成审核专家)由至少10年以上内镜操作经验的医生担任,同时满足注册单位为三级甲等医院、主任医师及以上职称、消化内科专业,并通过标注需求单位的审核专家相关的培训与考核。通过以上用户提高标注图像中标注区域的精确率,进而可以保证模型识别的精确度。
考虑到单一用户标注原始内镜图像,标注数据无法保证准确率的缺陷,本申请实施例提出一种图像处理流程方法,下面将结合图10,分别对图像处理过程中的各个过程进行详细介绍,图10是本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由图1所述的计算机设备执行,也可以由计算机设备以及审核终端(可以包括第一审核终端以及第二审核终端)共同执行,在本申请实施例中,以该方法由计算机设备以及审核终端共同执行为例进行说明。如图10所示,该图像处理过程包括如下。
第一过程:至少两个第一标注用户独立勾画原始图像中目标对象的区域。
如图10所示,原始图像为一张结直肠内镜图像,目标对象可以包括息肉等,结合上文可知,至少两个第一标注用户可以包括医生1、医生2、…、医生n,其中,n为大于1的正整数。n位医生分别确认该结直肠内镜图像(即原始图像)是否包含目标对象,如果有,则以多边形的形式标注出目标对象的位置与形状,区域标注时尽可能地贴近目标对象的边缘,并将目标对象全部勾勒在ROI范围内。则计算机设备可以获取到至少2位医生分别勾画目标对象所生成的候选区域图像,每张候选区域图像均包括候选标注区域。
第二过程:确定区域审核候选结果。
如图10所示,计算机设备首先确定每张候选区域图像包括的候选标注区域对应的候选区域数量,即每位医生独立勾画的ROI个数是否一致,若独立标注的ROI个数不一致,则将至少2位医生分别勾画的候选区域图像确定为区域审核候选结果;若独立标注的ROI个数一致,则对每位医生勾勒的ROI两两确认交并比区域(包括上文图9所对应的实施例中步骤S1022所述的交集区域以及并集区域),当存在至少一个ROI(例如医生1勾画的ROI-1)在另一张候选区域图像中找不到交并比(Intersection over union,IOU)大于交并比阈值(等于上文描写的重合度阈值)的ROI时,则认为至少两张候选区域图像勾画不一致,则将至少两张候选区域图像分别确定为区域审核候选结果;若任意一个ROI均与另一张候选区域图像中的ROI之间的IOU大于或等于交并比阈值,则确认至少两位医生针对原始图像标注的是同一个区域且对边界高度认同一致,此时,计算机设备选取包括满足大于或等于交并比阈值的任一ROI的候选区域图像,为目标候选区域图像,将目标候选区域图像确定为区域审核候选结果。
第三过程:确定初始标注图像。
该过程主要包括两部分,一部分为仲裁标注区域,一部分为审核标注区域。
仲裁标注区域,当独立标注的ROI个数不一致或,独立标注的ROI个数一致但存在某些ROI对应的最大重合度小于重合度阈值时,区域审核候选结果为至少两张候选区域图像,该至少两张候选区域图像转向仲裁终端(即上文叙述的第一审核终端),由仲裁专家基于至少两个候选标注区域进行候选标注区域选取或者重新标注目标对象,生成候选区域审核图像,将候选区域审核图像作为仲裁结果发送至第二审核终端。
审核标注区域:由审核专家(即第二审核用户)对目标候选区域图像或仲裁终端发送的仲裁结果进行逐一质控,通过质控的图像成为初始标注图像,该初始标注图像包括标准标注区域;未通过质控的图像发回独立标注终端(即第一标注终端)或仲裁终端,从被发回的终端重新执行区域标注任务。
如上所述,本申请实施例通过至少两个标注医生独立标注区域、仲裁标注区域以及审核标注区域,可以弥补标注人员个体能力差异,导致标注质量波动过大的问题,进而可以提高区域标注的精确性以及可靠度。
上述三个过程可以一并总结为如下:计算机设备获取区域标注审核规则以及由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;区域标注审核规则是指基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果的规则。
计算机设备通过区域标注审核规则所指示的区域审核候选结果,获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域。
其中,区域标注审核规则如图10中表述,计算机设备先确定每张候选区域图像所包括的候选标注区域个数(即候选区域数量)是否一致,在一致的条件下,对每两张候选区域图像所分别包括的候选标注区域进行交并比计算,具体的过程可以参见上文图3所对应的实施例中的描述。
实现上述三个过程的伪代码可以参见表1,表1是本申请实施例提供的一种确定初始标注图像的伪代码。
表1
Figure BDA0002916788110000371
在表1所示例的伪代码中,n等于2,即由2位医生对原始图像进行独立勾画,则生成2张候选区域图像;目标对象为病灶,交并比阈值设置为0.3,注释中的候选标注金标准为目标候选区域图像中的候选标注区域,标注金标准为初始标注图像中的标准标注区域。
值得注意的是,上述三个过程只确定原始图像中目标对象的标准标注区域,并未对目标对象的对象属性进行标注,即未标注对象标签。请参见下述三个过程,本申请实施例是在完成勾画标注流程后,再对勾画标注的标注金标准进行逐一的对象标签标注。
第四过程:至少两个第二标注用户独立标注标准标注区域的对象标签。
请再参见图10,至少两个第二标注用户可以包括医生1、医生2、…、医生m,可以理解的是,第二标注用户与第一过程中的第一标注用户可以为同一个标注用户,也可以不是同一个标注用户,m为大于1的正整数。
其中,对标准标注区域(也可以称作图10中的区域标注金标准)进行对象标签标注,该对象标签可以包括疾病类型,例如息肉、其他疾病、无法确认等,还可以包括息肉类别,例如非腺瘤性息肉、腺瘤性息肉、腺瘤等,目标对象以及对象标签可以根据实际应用场景进行设定,本申请不进行限制。
第五过程:确定对象审核候选结果。
如图10所示,计算机设备统计每张候选对象图像中的对象标签,若对象标签多数不一致,则将至少两张候选对象图像确定为对象审核候选结果,若对象标签多数一致,则在对象标签多数一致的候选对象图像中,任意选择一张候选对象图像作为目标候选对象图像,将目标候选对象图像作为对象审核候选结果。该过程的具体步骤,请参见上文图3所对应的实施例中步骤S104的描述,此处不再进行赘述。
第六过程:确定目标标注图像。
该过程主要包括两部分,一部分为仲裁对象标签,一部分为审核对象标签。
仲裁对象标签:当对象审核候选结果为至少两张候选对象图像时,该对象审核候选结果转向仲裁专家,由仲裁专家基于至少两个候选对象标签进行选取或者重新标注对象标签,生成候选对象审核图像,将候选对象审核图像作为仲裁结果发送至第二审核终端。
审核对象标签:由审核专家对目标候选对象图像或仲裁终端发送的仲裁结果进行逐一质控,通过质控的成为目标标注图像,未通过质控的发回独立标注终端或仲裁终端,从被发回的终端重新执行标注任务。
标注结直肠内镜图像的对象标签时,仲裁与审核应遵循以下规则:
1)检验标准标注区域是否为息肉,可以通过ROI以及诊断报告一起确认;
2)检验标注的息肉性质是否正确,可以通过原始图像、初始标注图像与病理报告一起确认;
3)检验标注的内容(即标准标注区域)是否存在明显的乱标注,医生标注时态度不认真,经常出现低级错误等,例如医生经常把结肠皱襞、结肠瓣误判成息肉,或勾勒ROI面积远远大于实际病灶面积,若出现上述现象,及时告知对应的医生,使其进行修改并加以注意,若持续出现错误,则不再分发原始图像至该标注医生。
上述第四过程-第六过程可以一并总结为如下:计算机设备获取对象标注审核规则以及由至少两个第二标注用户所提供的至少两张候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;对象标注审核规则是指基于至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果的规则。
计算机设备通过对象标注审核规则所指示的对象审核候选结果,获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
其中,对象标注审核规则如图10中表述,计算机设备确定每张候选对象图像所包括的候选对象标注是否一致,具体的过程可以参见上文图3所对应的实施例中的描述。
实现上述第四过程至第六过程的伪代码可以参见表2,表2是本申请实施例提供的一种确定目标标注图像的伪代码。
表2
Figure BDA0002916788110000391
Figure BDA0002916788110000401
在表2所示例的伪代码中,m等于2,即由2位医生对初始标注图像进行独立对象标签标注,则生成2张候选对象图像;注释中的候选标注金标准为目标候选对象图像中的候选对象标签,标注金标准为目标标注图像中的标准对象标签。
可以理解的是,上文图2-图10所述的原始图像可以是任意一种类型的图像,例如各类内镜影像,本申请不对图像类型进行限定;上文图2-图10所述的目标对象可以是任意一种对象,例如各类内镜影像中的病灶,本申请不对目标对象的对象类别进行限定;上文图2等图所述的方法可以应用于任意一种图像标注场景,例如对各类内镜影像中的病灶进行数据标注,本申请不对数据标注场景进行限定。
上述可知,本申请首先基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,对基于原始图像所生成的至少两张候选区域图像进行区域审核处理,在确定目标对象的标准标注区域之后,再基于至少两个候选对象标签,对基于初始标注图像所生成的至少两张候选对象图像进行对象审核处理,即确定标准标注区域的标准对象标签,上述过程不仅可以弥补单一标注人员个体能力不足或能力差异的问题,还可以避免由于目标对象的区域标注出错,导致该区域对应的对象标签标注也会出错的问题,故可以提高标注图像(如目标标注图像)中针对目标对象的标注数据(包括区域标注数据以及对象标签标注数据)的精确度;当将精确度高的标注图像作为训练样本输入至算法模型时,可以促进算法模型更好地学习训练样本中的目标特征,进而可以提高模型的识别精度。
进一步地,请参见图11,图11是本申请实施例提供的一种图像处理装置的结构示意图。上述图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示,该图像处理装置1可以包括:第一获取模块11、第一确定模块12、发送图像模块13以及第二确定模块14。
第一获取模块11,用于获取由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
第一确定模块12,用于根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
发送图像模块13,用于将初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;
第二确定模块14,用于根据至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
其中,第一获取模块11、第一确定模块12、发送图像模块13以及第二确定模块14的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S104,这里不再进行赘述。
再请参见图11,第一确定模块12可以包括:第一确定单元121、第一对比单元122、第二确定单元123以及第三确定单元124。
第一确定单元121,用于确定每张候选区域图像所包括的候选标注区域对应的候选区域数量;
第一对比单元122,用于对至少两个候选区域数量进行数量对比;至少两个候选区域数量包括候选区域数量Sa;a为正整数,且a小于或等于至少两张候选区域图像的图像数量;
第二确定单元123,用于若剩余候选区域数量中存在与候选区域数量Sa不相同的候选区域数量,则将至少两张候选区域图像分别确定为区域审核候选结果;剩余候选区域数量包括,在至少两个候选区域数量中除了候选区域数量Sa之外的候选区域数量;
第三确定单元124,用于若剩余候选区域数量均与候选区域数量Sa相同,则根据至少两个候选标注区域确定区域审核候选结果。
其中,第一确定单元121、第一对比单元122、第二确定单元123以及第三确定单元124的具体功能实现方式可以参见上述图3对应实施例中的步骤S102,这里不再进行赘述。
再请参见图11,第三确定单元124可以包括:区域获取子单元1241、第一确定子单元1242以及第二确定子单元1243。
区域获取子单元1241,用于获取至少两张候选区域图像中每两张候选区域图像所分别包括的候选标注区域;
第一确定子单元1242,用于确定每两张候选区域图像所分别包括的候选标注区域之间的重合度;
第二确定子单元1243,用于将重合度与重合度阈值进行对比,根据对比结果确定区域审核候选结果。
其中,区域获取子单元1241、第一确定子单元1242以及第二确定子单元1243的具体功能实现方式可以参见上述图9对应实施例中的步骤S1021-步骤S1023,这里不再进行赘述。
再请参见图11,至少两张候选区域图像包括候选区域图像Pi以及候选区域图像Pj,候选区域图像Pi包括候选标注区域K(i,z),候选区域图像Pj包括候选标注区域K(j,x);其中,i和j均为正整数,且i和j均小于或等于至少两张候选区域图像的图像数量;其中,z和x均为正整数,且z和x均小于或等于候选区域图像Pi所包括的候选标注区域的区域数量;
第一确定子单元1242可以包括:第一重合子单元12421、第二重合子单元12422以及第三重合子单元12423。
第一重合子单元12421,用于分别确定候选标注区域K(i,z)与候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z),将候选重合度C(i,z)中的最大候选重合度确定为候选标注区域K(i,z)的第一重合度;
第二重合子单元12422,用于分别确定候选标注区域K(j,x)与候选区域图像Pi所包括的候选标注区域之间的候选重合度C(j,x),将候选重合度C(j,x)中的最大候选重合度确定为候选标注区域K(j,x)的第二重合度;
第三重合子单元12423,用于将候选区域图像Pi中的每个候选标注区域的第一重合度和候选区域图像Pj中的每个候选标注区域的第二重合度,确定为候选区域图像Pi以及候选区域图像Pj所分别包括的候选标注区域之间的重合度。
其中,第一重合子单元12421、第二重合子单元12422以及第三重合子单元12423的具体功能实现方式可以参见上述图9对应实施例中的步骤S1022,这里不再进行赘述。
再请参见图11,第一重合子单元12421,具体用于获取候选标注区域K(i,z)在候选区域图像Pi中的位置信息L(i,z),获取候选标注区域K(j,x)在候选区域图像Pj中的位置信息L(j,x)
第一重合子单元12421,还具体用于根据位置信息L(i,z)以及位置信息L(j,x),确定候选标注区域K(i,z)以及候选标注区域K(j,x)之间的重合位置信息Lzx
第一重合子单元12421,还具体用于根据位置信息L(i,z)、位置信息L(j,x)以及重合位置信息Lzx,确定候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度;
第一重合子单元12421,还具体用于根据候选标注区域K(i,z)与候选标注区域K(j,x)之间的候选重合度生成候选重合度C(i,z)
其中,第一重合子单元12421的具体功能实现方式可以参见上述图9对应实施例中的步骤S1022,这里不再进行赘述。
再请参见图11,第二确定子单元1243可以包括:对比阈值子单元12431、第一候选子单元12432以及第二候选子单元12433。
对比阈值子单元12431,用于将候选区域图像Pi中的每个候选标注区域的第一重合度分别与重合度阈值进行对比,将候选区域图像Pj中的每个候选标注区域的第二重合度分别与重合度阈值进行对比;
第一候选子单元12432,用于若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度中,存在小于重合度阈值的重合度,则将至少两张候选区域图像分别确定为区域审核候选结果;
第二候选子单元12433,用于若候选区域图像Pi中的每个候选标注区域的第一重合度以及候选区域图像Pj中的每个候选标注区域的第二重合度,均等于或大于重合度阈值,则从至少两张候选区域图像中获取目标候选区域图像,将目标候选区域图像确定为区域审核候选结果。
其中,对比阈值子单元12431、第一候选子单元12432以及第二候选子单元12433的具体功能实现方式可以参见上述图9对应实施例中的步骤S1023,这里不再进行赘述。
再请参见图11,第一确定模块12可以包括:第一发送单元125以及第二发送单元126。
第一发送单元125,用于若区域审核候选结果为至少两张候选区域图像,则将区域审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选区域标签确定发送至第二审核终端的候选区域审核图像;第二审核终端用于根据候选区域审核图像返回与原始图像对应的初始标注图像;
第二发送单元126,用于若区域审核候选结果为目标候选区域图像,则将区域审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选区域图像所包括的候选标注区域返回与原始图像对应的初始标注图像。
其中,第一发送单元125以及第二发送单元126的具体功能实现方式可以参见上述图3对应实施例中的步骤S102,这里不再进行赘述。
再请参见图11,第二确定模块14可以包括:标签划分单元141、第一获取单元142、第四确定单元143、第二对比单元144以及第二获取单元145。
标签划分单元141,用于将至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中,得到n个对象标签组;n为正整数;
第一获取单元142,用于统计n个对象标签组分别包括的候选对象标签的对象标签数量,在n个对象标签组分别对应的对象标签数量中获取最大对象标签数量;
第四确定单元143,用于确定最大对象标签数量与至少两个候选对象标签对应的对象标签数量之间的数量比例;
第二对比单元144,应用于将数量比例与数量比例阈值进行对比,若数量比例小于数量比例阈值,则将至少两张候选对象图像分别确定为对象审核候选结果;
第二获取单元145,用于若数量比例等于或大于数量比例阈值,则将数量比例所对应的对象标签组确定为目标对象标签组,从与目标对象标签组相关联的候选对象图像中获取目标候选对象图像,将目标候选对象图像确定为对象审核候选结果。
其中,标签划分单元141、第一获取单元142、第四确定单元143、第二对比单元144以及第二获取单元145的具体功能实现方式可以参见上述图3对应实施例中的步骤S104,这里不再进行赘述。
再请参见图11,第二确定模块14可以包括:第三发送单元146以及第四发送单元147。
第三发送单元146,用于若对象审核候选结果为至少两张候选对象图像,则将对象审核候选结果发送至第一审核终端,以使第一审核终端根据至少两个候选对象标签确定发送至第二审核终端的候选对象审核图像;第二审核终端用于根据候选对象审核图像返回与初始标注图像对应的目标标注图像;
第四发送单元147,用于若对象审核候选结果为目标候选对象图像,则将对象审核候选结果发送至第二审核终端,以使第二审核终端根据目标候选对象图像所包括的候选对象标签返回与初始标注图像对应的目标标注图像。
其中,第三发送单元146以及第四发送单元147的具体功能实现方式可以参见上述图3对应实施例中的步骤S104,这里不再进行赘述。
再请参见图11,图像处理装置1还可以包括:第二获取模块15以及第三获取模块16。
第二获取模块15,用于获取原始图像,将原始图像输入至初始图像识别模型;
第二获取模块15,还用于根据初始图像识别模型获取原始图像的第一图像特征,根据第一图像特征确定目标对象的预测区域信息;
第三获取模块16,用于将初始标注图像输入至初始图像识别模型,根据初始图像识别模型获取初始标注图像的第二图像特征,根据第二图像特征确定标准标注区域的预测对象信息;
则第一获取模块11可以包括:第一标注单元111、第五发送单元112以及第三获取单元113。
第一标注单元111,用于根据预测区域信息对原始图像进行区域标注,生成预测区域图像;预测区域图像包括用于标注目标对象的预测标注区域;
第五发送单元112,用于将预测区域图像发送至至少两个第一标注用户分别对应的标注终端,以使至少两个第一标注用户分别对应的标注终端分别根据预测区域图像以及原始图像确定候选区域图像;
第三获取单元113,用于获取至少两个第一标注用户分别对应的标注终端分别返回的候选区域图像;
则发送图像模块13可以包括:第二标注单元131、第六发送单元132以及第四获取单元133。
第二标注单元131,用于根据预测对象信息对初始标注图像进行对象标签标注,生成预测对象图像;预测对象图像包括用于标注标准标注区域的预测对象标签;
第六发送单元132,用于将预测对象图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别根据预测对象图像以及初始标注图像,确定候选对象图像;
第四获取单元133,用于获取至少两个第二标注用户分别对应的标注终端所返回的候选对象图像。
其中,第二获取模块15、第三获取模块16、第一标注单元111、第五发送单元112、第三获取单元113、第二标注单元131、第六发送单元132以及第四获取单元133的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S103,这里不再进行赘述。
再请参见图11,图像处理装置1还可以包括:第四获取模块17以及第三确定模块18。
第四获取模块17,用于获取目标标注图像中标准标注区域的标准区域信息,以及标准对象标签的标准对象信息;
第三确定模块18,用于根据预测区域信息以及标准区域信息确定初始图像识别模型的区域损失值;
第三确定模块18,还用于根据预测对象信息以及标准对象信息确定初始图像识别模型的对象损失值;
第三确定模块18,还用于根据区域损失值以及对象损失值确定初始图像识别模型的总损失值;
第三确定模块18,还用于根据总损失值对初始图像识别模型中的模型参数进行调整,当调整后的初始图像识别模型满足模型收敛条件时,将调整后的初始图像识别模型确定为图像识别模型。
其中,第四获取模块17以及第三确定模块18的具体功能实现方式可以参见上述图3对应实施例中的步骤S104,这里不再进行赘述。
再请参见图11,图像处理装置1还可以包括:第五获取模块19。
第五获取模块19,用于获取待检测图像;待检测图像包括待识别对象;
第五获取模块19,还用于将待检测图像输入图像识别模型,在图像识别模型中获取待检测图像的图像特征;
第五获取模块19,还用于根据图像特征确定待识别对象的识别区域信息以及识别对象信息;
第五获取模块19,还用于根据识别区域信息生成针对待识别对象的识别标注区域,根据识别对象信息生成针对识别标注区域的识别对象标签;
第五获取模块19,还用于在待检测图像中,显示识别标注区域以及识别对象标签。
其中,第五获取模块19的具体功能实现方式可以参见上述图3对应实施例中的步骤S104,这里不再进行赘述。
上述可知,本申请首先基于每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,对基于原始图像所生成的至少两张候选区域图像进行区域审核处理,在确定目标对象的标准标注区域之后,再基于至少两个候选对象标签,对基于初始标注图像所生成的至少两张候选对象图像进行对象审核处理,即确定标准标注区域的标准对象标签,上述过程不仅可以弥补单一标注人员个体能力不足或能力差异的问题,还可以避免由于目标对象的区域标注出错,导致该区域对应的对象标签标注也会出错的问题,故可以提高标注图像(如目标标注图像)中针对目标对象的标注数据(包括区域标注数据以及对象标签标注数据)的精确度;当将精确度高的标注图像作为训练样本输入至算法模型时,可以促进算法模型更好地学习训练样本中的目标特征,进而可以提高模型的识别精度。
进一步地,请参见图12,图12是本申请实施例提供的一种计算机设备的结构示意图。如图12所示,该计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图12所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取由至少两个第一标注用户所提供的至少两张候选区域图像;至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定至少两张候选区域图像的区域审核候选结果,根据区域审核候选结果获取与原始图像对应的初始标注图像;初始标注图像包括用于标注目标对象的标准标注区域;
将初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注标准标注区域的候选对象标签;
根据至少两个候选对象标签,确定至少两张候选对象图像的对象审核候选结果,根据对象审核候选结果获取与初始标注图像对应的目标标注图像;目标标注图像包括用于标注标准标注区域的标准对象标签。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3、图9、以及图10所对应实施例中对图像处理方法的描述,也可执行前文图11所对应实施例中对图像处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图3、图9、以及图10中各个步骤所提供的图像处理方法,具体可参见上述图3、图9、以及图10各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图3、图9、以及图10所对应实施例中对图像处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
获取由至少两个第一标注用户所提供的至少两张候选区域图像;所述至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定所述至少两张候选区域图像的区域审核候选结果,根据所述区域审核候选结果获取与所述原始图像对应的初始标注图像;所述初始标注图像包括用于标注所述目标对象的标准标注区域;
将所述初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使所述至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注所述标准标注区域的候选对象标签;
根据至少两个候选对象标签,确定所述至少两张候选对象图像的对象审核候选结果,根据所述对象审核候选结果获取与所述初始标注图像对应的目标标注图像;所述目标标注图像包括用于标注所述标准标注区域的标准对象标签。
2.根据权利要求1所述的方法,其特征在于,所述根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定所述至少两张候选区域图像的区域审核候选结果,包括:
确定每张候选区域图像所包括的候选标注区域对应的候选区域数量;
对至少两个候选区域数量进行数量对比;所述至少两个候选区域数量包括候选区域数量Sa;a为正整数,且a小于或等于所述至少两张候选区域图像的图像数量;
若剩余候选区域数量中存在与所述候选区域数量Sa不相同的候选区域数量,则将所述至少两张候选区域图像分别确定为所述区域审核候选结果;所述剩余候选区域数量包括,在所述至少两个候选区域数量中除了所述候选区域数量Sa之外的候选区域数量;
若所述剩余候选区域数量均与所述候选区域数量Sa相同,则根据所述至少两个候选标注区域确定所述区域审核候选结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述至少两个候选标注区域确定所述区域审核候选结果,包括:
获取所述至少两张候选区域图像中每两张候选区域图像所分别包括的候选标注区域;
确定每两张候选区域图像所分别包括的候选标注区域之间的重合度;
将所述重合度与重合度阈值进行对比,根据对比结果确定所述区域审核候选结果。
4.根据权利要求3所述的方法,其特征在于,所述至少两张候选区域图像包括候选区域图像Pi以及候选区域图像Pj,所述候选区域图像Pi包括候选标注区域K(i,z),所述候选区域图像Pj包括候选标注区域K(j,x);其中,i和j均为正整数,且i和j均小于或等于所述至少两张候选区域图像的图像数量;其中,z和x均为正整数,且z和x均小于或等于所述候选区域图像Pi所包括的候选标注区域的区域数量;
所述确定每两张候选区域图像所分别包括的候选标注区域之间的重合度,包括:
分别确定所述候选标注区域K(i,z)与所述候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z),将所述候选重合度C(i,z)中的最大候选重合度确定为所述候选标注区域K(i,z)的第一重合度;
分别确定所述候选标注区域K(j,x)与所述候选区域图像Pi所包括的候选标注区域之间的候选重合度C(j,x),将所述候选重合度C(j,x)中的最大候选重合度确定为所述候选标注区域K(j,x)的第二重合度;
将所述候选区域图像Pi中的每个候选标注区域的第一重合度和所述候选区域图像Pj中的每个候选标注区域的第二重合度,确定为所述候选区域图像Pi以及候选区域图像Pj所分别包括的候选标注区域之间的重合度。
5.根据权利要求4所述的方法,其特征在于,所述分别确定所述候选标注区域K(i,z)与所述候选区域图像Pj所包括的候选标注区域之间的候选重合度C(i,z),包括:
获取所述候选标注区域K(i,z)在所述候选区域图像Pi中的位置信息L(i,z),获取所述候选标注区域K(j,x)在所述候选区域图像Pj中的位置信息L(j,x)
根据所述位置信息L(i,z)以及所述位置信息L(j,x),确定所述候选标注区域K(i,z)以及所述候选标注区域K(j,x)之间的重合位置信息Lzx
根据所述位置信息L(i,z)、所述位置信息L(j,x)以及所述重合位置信息Lzx,确定所述候选标注区域K(i,z)与所述候选标注区域K(j,x)之间的候选重合度;
根据所述候选标注区域K(i,z)与所述候选标注区域K(j,x)之间的候选重合度生成所述候选重合度C(i,z)
6.根据权利要求4所述的方法,其特征在于,所述将所述重合度与重合度阈值进行对比,根据对比结果确定所述区域审核候选结果,包括:
将所述候选区域图像Pi中的每个候选标注区域的第一重合度分别与所述重合度阈值进行对比,将所述候选区域图像Pj中的每个候选标注区域的第二重合度分别与所述重合度阈值进行对比;
若所述候选区域图像Pi中的每个候选标注区域的第一重合度以及所述候选区域图像Pj中的每个候选标注区域的第二重合度中,存在小于所述重合度阈值的重合度,则将所述至少两张候选区域图像分别确定为所述区域审核候选结果;
若所述候选区域图像Pi中的每个候选标注区域的第一重合度以及所述候选区域图像Pj中的每个候选标注区域的第二重合度,均等于或大于所述重合度阈值,则从所述至少两张候选区域图像中获取目标候选区域图像,将所述目标候选区域图像确定为所述区域审核候选结果。
7.根据权利要求6所述的方法,其特征在于,所述根据所述区域审核候选结果获取与所述原始图像对应的初始标注图像,包括:
若所述区域审核候选结果为所述至少两张候选区域图像,则将所述区域审核候选结果发送至第一审核终端,以使所述第一审核终端根据所述至少两个候选标注区域确定发送至第二审核终端的候选区域审核图像;所述第二审核终端用于根据所述候选区域审核图像返回与所述原始图像对应的初始标注图像;
若所述区域审核候选结果为所述目标候选区域图像,则将所述区域审核候选结果发送至第二审核终端,以使所述第二审核终端根据所述目标候选区域图像所包括的候选标注区域返回与所述原始图像对应的初始标注图像。
8.根据权利要求1所述的方法,其特征在于,所述根据至少两个候选对象标签,确定所述至少两张候选对象图像的对象审核候选结果,包括:
将所述至少两个候选对象标签中相同的候选对象标签划分在同一个对象标签组中,得到n个对象标签组;n为正整数;
统计所述n个对象标签组分别包括的候选对象标签的对象标签数量,在所述n个对象标签组分别对应的对象标签数量中获取最大对象标签数量;
确定所述最大对象标签数量与所述至少两个候选对象标签对应的对象标签数量之间的数量比例;
将所述数量比例与数量比例阈值进行对比,若所述数量比例小于所述数量比例阈值,则将所述至少两张候选对象图像分别确定为所述对象审核候选结果;
若所述数量比例等于或大于所述数量比例阈值,则将所述数量比例所对应的对象标签组确定为目标对象标签组,从与所述目标对象标签组相关联的候选对象图像中获取目标候选对象图像,将所述目标候选对象图像确定为所述对象审核候选结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述对象审核候选结果获取与所述初始标注图像对应的目标标注图像,包括:
若所述对象审核候选结果为所述至少两张候选对象图像,则将所述对象审核候选结果发送至第一审核终端,以使所述第一审核终端根据所述至少两个候选对象标签确定发送至第二审核终端的候选对象审核图像;所述第二审核终端用于根据所述候选对象审核图像返回与所述初始标注图像对应的目标标注图像;
若所述对象审核候选结果为所述目标候选对象图像,则将所述对象审核候选结果发送至第二审核终端,以使所述第二审核终端根据所述目标候选对象图像所包括的候选对象标签返回与所述初始标注图像对应的目标标注图像。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述原始图像,将所述原始图像输入至初始图像识别模型;
根据所述初始图像识别模型获取所述原始图像的第一图像特征,根据所述第一图像特征确定所述目标对象的预测区域信息;
将所述初始标注图像输入至所述初始图像识别模型,根据所述初始图像识别模型获取所述初始标注图像的第二图像特征,根据所述第二图像特征确定所述标准标注区域的预测对象信息;
则所述获取由至少两个第一标注用户所提供的至少两张候选区域图像,包括:
根据所述预测区域信息对所述原始图像进行区域标注,生成预测区域图像;所述预测区域图像包括用于标注所述目标对象的预测标注区域;
将所述预测区域图像发送至所述至少两个第一标注用户分别对应的标注终端,以使所述至少两个第一标注用户分别对应的标注终端分别根据所述预测区域图像以及所述原始图像确定候选区域图像;
获取所述至少两个第一标注用户分别对应的标注终端分别返回的候选区域图像;
则所述将所述初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使所述至少两个第二标注用户分别对应的标注终端分别返回候选对象图像,包括:
根据所述预测对象信息对所述初始标注图像进行对象标签标注,生成预测对象图像;所述预测对象图像包括用于标注所述标准标注区域的预测对象标签;
将所述预测对象图像发送至所述至少两个第二标注用户分别对应的标注终端,以使所述至少两个第二标注用户分别对应的标注终端分别根据所述预测对象图像以及所述初始标注图像,确定候选对象图像;
获取所述至少两个第二标注用户分别对应的标注终端所返回的候选对象图像。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
获取所述目标标注图像中所述标准标注区域的标准区域信息,以及所述标准对象标签的标准对象信息;
根据所述预测区域信息以及所述标准区域信息确定所述初始图像识别模型的区域损失值;
根据所述预测对象信息以及所述标准对象信息确定所述初始图像识别模型的对象损失值;
根据所述区域损失值以及所述对象损失值确定所述初始图像识别模型的总损失值;
根据所述总损失值对所述初始图像识别模型中的模型参数进行调整,当调整后的初始图像识别模型满足模型收敛条件时,将调整后的初始图像识别模型确定为图像识别模型。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
获取待识别图像;所述待识别图像包括所述目标对象;
将所述待识别图像输入所述图像识别模型,在所述图像识别模型中获取所述待识别图像的第三图像特征;
根据所述第三图像特征确定所述目标对象的识别区域信息以及识别对象信息;
根据所述识别区域信息生成针对所述目标对象的识别标注区域,根据所述识别对象信息生成针对所述识别标注区域的识别对象标签;
在所述待识别图像中,显示所述识别标注区域以及所述识别对象标签。
13.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取由至少两个第一标注用户所提供的至少两张候选区域图像;所述至少两张候选区域图像分别包括用于标注原始图像中目标对象的候选标注区域;
第一确定模块,用于根据每张候选区域图像所包括的候选标注区域对应的候选区域数量,以及至少两个候选标注区域,确定所述至少两张候选区域图像的区域审核候选结果,根据所述区域审核候选结果获取与所述原始图像对应的初始标注图像;所述初始标注图像包括用于标注所述目标对象的标准标注区域;
发送图像模块,用于将所述初始标注图像发送至至少两个第二标注用户分别对应的标注终端,以使所述至少两个第二标注用户分别对应的标注终端分别返回候选对象图像;至少两张候选对象图像分别包括用于标注所述标准标注区域的候选对象标签;
第二确定模块,用于根据至少两个候选对象标签,确定所述至少两张候选对象图像的对象审核候选结果,根据所述对象审核候选结果获取与所述初始标注图像对应的目标标注图像;所述目标标注图像包括用于标注所述标准标注区域的标准对象标签。
14.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-12任一项所述的方法。
CN202110104435.0A 2021-01-26 2021-01-26 一种图像处理方法、设备以及计算机可读存储介质 Active CN112989087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110104435.0A CN112989087B (zh) 2021-01-26 2021-01-26 一种图像处理方法、设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110104435.0A CN112989087B (zh) 2021-01-26 2021-01-26 一种图像处理方法、设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112989087A true CN112989087A (zh) 2021-06-18
CN112989087B CN112989087B (zh) 2023-01-31

Family

ID=76345445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110104435.0A Active CN112989087B (zh) 2021-01-26 2021-01-26 一种图像处理方法、设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112989087B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326901A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像的标注方法和装置
CN113420149A (zh) * 2021-06-30 2021-09-21 北京百度网讯科技有限公司 数据的标注方法和装置
CN115705678A (zh) * 2021-08-09 2023-02-17 腾讯科技(深圳)有限公司 一种图像数据处理方法、计算机设备以及介质
WO2023109631A1 (zh) * 2021-12-13 2023-06-22 腾讯科技(深圳)有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108463814A (zh) * 2015-12-17 2018-08-28 北京安宁福祉科技有限公司 一种医学图像标注方法及系统
CN108536662A (zh) * 2018-04-16 2018-09-14 苏州大学 一种数据标注方法及装置
CN109035187A (zh) * 2018-07-10 2018-12-18 杭州依图医疗技术有限公司 一种医学图像的标注方法及装置
CN109902672A (zh) * 2019-01-17 2019-06-18 平安科技(深圳)有限公司 图像标注方法及装置、存储介质、计算机设备
CN110750694A (zh) * 2019-09-29 2020-02-04 支付宝(杭州)信息技术有限公司 数据标注实现方法及装置、电子设备、存储介质
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质
CN111783863A (zh) * 2020-06-23 2020-10-16 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112016053A (zh) * 2020-08-25 2020-12-01 北京金山云网络技术有限公司 数据标注的考核方法、装置和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108463814A (zh) * 2015-12-17 2018-08-28 北京安宁福祉科技有限公司 一种医学图像标注方法及系统
CN108536662A (zh) * 2018-04-16 2018-09-14 苏州大学 一种数据标注方法及装置
CN109035187A (zh) * 2018-07-10 2018-12-18 杭州依图医疗技术有限公司 一种医学图像的标注方法及装置
CN109902672A (zh) * 2019-01-17 2019-06-18 平安科技(深圳)有限公司 图像标注方法及装置、存储介质、计算机设备
CN110750694A (zh) * 2019-09-29 2020-02-04 支付宝(杭州)信息技术有限公司 数据标注实现方法及装置、电子设备、存储介质
CN110991486A (zh) * 2019-11-07 2020-04-10 北京邮电大学 多人协作图像标注质量控制的方法和装置
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质
CN111783863A (zh) * 2020-06-23 2020-10-16 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112016053A (zh) * 2020-08-25 2020-12-01 北京金山云网络技术有限公司 数据标注的考核方法、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326901A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像的标注方法和装置
CN113420149A (zh) * 2021-06-30 2021-09-21 北京百度网讯科技有限公司 数据的标注方法和装置
CN115705678A (zh) * 2021-08-09 2023-02-17 腾讯科技(深圳)有限公司 一种图像数据处理方法、计算机设备以及介质
WO2023109631A1 (zh) * 2021-12-13 2023-06-22 腾讯科技(深圳)有限公司 数据处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN112989087B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN112989087B (zh) 一种图像处理方法、设备以及计算机可读存储介质
US20190392587A1 (en) System for predicting articulated object feature location
CN109035187A (zh) 一种医学图像的标注方法及装置
CN111783863A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
US8244002B2 (en) System and method for performing rapid facial recognition
CN109284729A (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
WO2023109631A1 (zh) 数据处理方法、装置、设备、存储介质及程序产品
EP3623998A1 (en) Character recognition
US20230052133A1 (en) Medical image processing method and apparatus, device, storage medium, and product
CN112507701A (zh) 待纠错医疗数据的识别方法、装置、设备和存储介质
WO2023015935A1 (zh) 一种体检项目推荐方法、装置、设备及介质
CN111860522B (zh) 身份证图片处理方法、装置、终端及存储介质
CN111986744B (zh) 医疗机构的患者界面生成方法、装置、电子设备及介质
CN111898538A (zh) 证件鉴伪方法、装置、电子设备及存储介质
CN111931628B (zh) 人脸识别模型的训练方法、装置及相关设备
McCullough et al. Convolutional neural network models for automatic preoperative severity assessment in unilateral cleft lip
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN111738080A (zh) 一种人脸检测和对齐的方法及装置
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN110162757A (zh) 一种表格结构提取方法及系统
CN111507405A (zh) 图片标注方法、装置、电子设备及计算机可读存储介质
KR102145858B1 (ko) 문서 이미지로부터 인식된 용어를 표준화하기 위한 방법
CN116469127A (zh) 牛脸关键点检测方法、装置、电子设备及存储介质
CN115705678A (zh) 一种图像数据处理方法、计算机设备以及介质
CN116205723A (zh) 基于人工智能的面签风险检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046013

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant