CN113515981A - 识别方法、装置、设备和存储介质 - Google Patents

识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113515981A
CN113515981A CN202010442689.9A CN202010442689A CN113515981A CN 113515981 A CN113515981 A CN 113515981A CN 202010442689 A CN202010442689 A CN 202010442689A CN 113515981 A CN113515981 A CN 113515981A
Authority
CN
China
Prior art keywords
target
image area
target object
target image
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010442689.9A
Other languages
English (en)
Inventor
刘双瑞
唐喆
郭文超
马建强
许敏丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010442689.9A priority Critical patent/CN113515981A/zh
Priority to US17/325,777 priority patent/US11907838B2/en
Priority to PCT/US2021/033424 priority patent/WO2021236939A1/en
Publication of CN113515981A publication Critical patent/CN113515981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明实施例提供一种识别方法、装置、设备和存储介质,该方法包括:响应于用户触发的输入操作,获取原始图像,并从原始图像中提取出目标部位对应的目标图像区域,其中,目标图像区域中可以包含目标对象。在第一条件下,根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象的位置。在第二条件下,可以利用分割模型来识别目标图像区域中目标对象的位置。可见,上述方法提供了两种不同的目标对象识别方式。将两种识别方式结合,可以满足在不同条件下的识别需求,能够准确识别出目标对象在原始图像中的位置,保证目标对象识别的效率和精度。

Description

识别方法、装置、设备和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种识别方法、装置、设备和存储介质。
背景技术
随着计算机视觉的发展,利用计算机的图像处理技术识别图像中是否存在目标对象也已经广泛应用到多种领域。比如,在智能交通领域中,可以通过对当前时段内道路上车辆的识别确定当前的车辆密度,以了解实时路况。又比如,在医学领域,需要识别医学影像中是否存在病灶。
因此,在上述场景下,如何保证识别的准确性就成为一个亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供一种识别方法、装置、设备和存储介质,用以保证目标对象识别的准确性。
第一方面,本发明实施例提供一种识别方法,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置;
展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
第二方面,本发明实施例提供一种识别装置,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置;
输入模块,用于在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置;
展示模块,用于展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
第三方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的识别方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第一方面所述的识别方法。
第五方面,本发明实施例提供一种识别方法,包括:
获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象;
在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
第六方面,本发明实施例提供一种识别装置,包括:
获取模块,用于获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象;
计算模块,用于在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置;
输入模块,用于在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
第七方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的识别方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第八方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第五方面中的识别方法。
第九方面,本发明实施例提供一种识别方法,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
分别展示包含所述第一位置和所述第二位置的识别结果。
第十方面,本发明实施例提供一种识别装置,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
输入模块,用于将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
展示模块,用于分别展示包含所述第一位置和所述第二位置的识别结果。
第十一方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的识别方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第十二方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第九方面中的识别方法。
第十三方面,本发明实施例提供一种识别方法,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述第一位置和所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
根据所述第一位置和所述第二位置,确定修正后位置;
展示包含修正后位置的识别结果。
第十四方面,本发明实施例提供一种识别装置,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
发送模块,用于将所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
修正模块,用于根据所述第一位置和所述第二位置,确定修正后位置;
展示模块,用于展示包含修正后位置的识别结果。
第十五方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的识别方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第十六方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第十三方面中的识别方法。
第十七方面,本发明实施例提供一种识别方法,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
将所述目标图像区域发送至第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同;
分别展示包含所述第一位置和所述第二位置的识别结果。
第十八方面,本发明实施例提供一种识别装置,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
输入模块,用于将所述目标图像区域输入第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置;
发送模块,用于将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同;
展示模块,用于分别展示包含所述第一位置和所述第二位置的识别结果。
第十九方面,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十七方面中的识别方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
第二十方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如第十七方面中的识别方法。
本发明实施例提供的识别方法,响应于用户触发的输入操作,获取原始图像,并从原始图像中提取出目标部位对应的目标图像区域,其中,目标图像区域中可以包含目标对象。在第一条件下,根据目标图像区域中各像素点的像素点以及各像素点之间的位置关系,估计目标对象的位置。在第二条件下,可以利用分割模型来识别目标图像区域中目标对象的位置。可见,上述方法提供了两种不同的目标对象识别方式。两种识别方式结合使用,可以满足在不同条件下的识别需求,能够准确识别出目标对象在原始图像中的位置,保证目标对象识别的效率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种识别方法的流程图;
图2a为本发明实施例提供的医学场景下原始图像中图像区域的示意图;
图2b为本发明实施例提供的医学场景下原始图像中图像区域的示意图;
图3为本发明实施例提供的另一种识别方法的流程图;
图4为本发明实施例提供的又一种识别方法的流程图;
图5为本发明实施例提供的医学场景下原始图像中图像区域的示意图;
图6为本发明实施例提供的又一种识别方法的流程图;
图7为本发明实施例提供的又一种识别方法的流程图;
图8为本发明实施例提供的又一种识别方法的流程图;
图9为本发明实施例提供的又一种识别方法的流程图;
图10为本发明实施例提供的识别方法在医学场景下的示意图;
图11为本发明实施例提供的一种模型训练方法的流程图;
图12为本发明实施例提供的一种识别装置的结构示意图;
图13为与图12所示实施例提供的识别装置对应的电子设备的结构示意图;
图14为本发明实施例提供的另一种识别装置的结构示意图;
图15为与图14所示实施例提供的识别装置对应的电子设备的结构示意图;
图16为本发明实施例提供的又一种识别装置的结构示意图;
图17为与图16所示实施例提供的识别装置对应的电子设备的结构示意图;
图18为本发明实施例提供的又一种识别装置的结构示意图;
图19为与图18所示实施例提供的识别装置对应的电子设备的结构示意图;
图20为本发明实施例提供的又一种识别装置的结构示意图;
图21为与图20所示实施例提供的识别装置对应的电子设备的结构示意图;
图22为本发明实施例提供的一种模型训练装置的结构示意图;
图23为与图22所示实施例提供的模型训练装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地,取决于语境,短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
对于背景技术提及的多种场景,在智能交通场景下,需要及时了解当前道路上的车辆行驶状况,因此,就存在识别道路上车辆的需求。此时,下述实施例中提及的目标对象可以车辆,原始图像可以是道路上的摄像头拍得的图像。
除了上述需求,由于近几个月肆虐全球的新冠肺炎,为了更好的分析新型冠状病毒,制定对新冠肺炎的相关策略,因此,另一个较为迫切的使用场景就是医学影像中的病灶部位进行识别、分析的需求。在这种医学场景下,原始图像可以是人体某一部位的医学影像,目标对象可以是此部位中存在的病灶。
除了上述场景外,本发明提供的识别方法可以适用于任何存在目标对象识别需求的场景,以完成目标对象的识别。
下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本发明实施例提供的一种识别方法的流程图,本发明实施例提供的该识别方法可以由识别设备来执行。可以理解的是,该识别设备可以实现为软件、或者软件和硬件的组合。本实施例以及下述各实施例中的识别设备具体来说可以是用户的使用终端设备。如图1所示,该方法包括如下步骤:
S101,响应于用户触发的输入操作,获取原始图像。
S102,从原始图像中提取目标部位对应的目标图像区域,目标图像区域中可能包含目标对象。
用户可以在识别设备提供的界面上触发输入操作,使得识别设备获取到用户输入的原始图像。比如在智能交通场景下,原始图像可以是包含车辆以及道路环境的图像。又比如在医学场景下,原始图像可以是人体某一部位的医学影像,比如人体肝脏、肺部等部位的X光图像、CT图像或者核磁共振图像等等。
容易理解的,原始图像中通常会同时包含目标部位以及非目标部位,可以结合图2a理解。非目标部位通常会对目标对象的识别产生干扰,因此,还可以先确定目标部位在原始图像中的位置,再将目标部位对应的目标图像区域提取出来,将非目标部分对应的图像区域的滤除,且目标对象只会存在于目标图像区域中。
对于目标对象对应的目标图像区域的提取,可选地,一种像素层面的提取方式,可以将原始图像中像素值处于预设范围内的像素点所在的位置初步估计为目标部位的位置,再根据像素点之间的关系进行形态学操作。其中,像素值的预设范围可以根据历史经验设置。
另一种可选地方式,还可以将原始图像输入一训练至收敛的分割模型,以由此模型确定目标部位在原始图像中的位置。其中,相比于像素层面的提取方式,使用分割模型能够更加准确的得到目标部位的位置。
其中,上述步骤中提及的原始图像、目标部位、目标图像区域以及目标对象,它们之间的关系可以理解为:目标图像区域是原始图像的一部分,且目标图像区域中包含目标部位;目标对象又是目标部位的一部分,即目标对象对应的图像区域包含于目标图像区域。
在智能交通场景中,原始图像可以是包含车辆以及道路环境的图像,目标部位为车辆,车辆所在的图像区域即为目标图像区域,目标对象可以为车辆的车牌号。
在医学场景中,原始图像可以为肺部CT图像,目标部位是肺部,目标图像区域即为CT图像中肺部所对应的图像区域,目标对象为肺部内部的病灶,可以结合图2b理解。
S103,在第一条件下,根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象在目标图像区域中的位置。
S104,在第二条件下,将目标图像区域输入分割模型,以由分割模型输出目标对象在目标图像区域中的位置。
接着,判断当前情况满足哪种条件。可选地,若在预设时间段内获取的历史图像的数量小于预设数量,也即是若在获取到原始图像之前,已经得到了若干张历史图像,且历史图像的数量小于预设数量,则确定当前满足第一条件。
其中,历史图像可以包含用户在预设时间段内输入的,也可以包含用户在预设时间段内通过其他方式得到的,此时历史图像的数量不足以训练出准确的分割模型。目标对象在历史图像中的位置已经被标注出来,具体的标注方式可以是人为或者其他方式。
满足第一条件时,可以进一步根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象在目标图像区域中的位置。
对于位置的估计,具体来说,先确定目标图像区域中像素值满足预设范围的多个目标像素点,其中,预设范围可以根据历史经验设定。由于目标像素点是根据像素点的像素值估计出来的,因此,很容易出现孤立的目标像素点或者孤立的像素块。而用于描述目标对象的像素点通常来又都是像素坐标距离相近的多个像素点或多个像素块,此时,此孤立的目标像素点或者像素块可以认为是噪点,可以直接将其滤除。同时,还有可能出一非目标像素点A被目标像素点包围的情况,此时,可以直接将此非目标像素点A也假设为目标像素点。通过上述两种方式等完成像素点的修正。最终,根据修正后目标像素点的位置估计目标对象的位置。
可选地,若在预设时间段内获取的历史图像的数量大于或等于预设数量,即若在获取到原始图像之前,得到的历史图像的数量大于或等于预设数量,则确定当前满足第二条件。此时,已经可以根据数量足够的历史图像训练出分割模型。其中,目标对象同样被标注于历史图像中。
在满足第二条件时,可以将原始图像对应的目标图像区域输入分割模型,以由分割模型确定目标对象所在的位置。
其中,分割模型的训练方式大致可以描述为:获取历史图像,从历史图像中提取出目标部位对应的历史图像区域,由于目标对象在历史图像中的位置已经标注出来,因此,可以以目标对象在历史图像区域中的位置为监督信息,将历史图像区域输入分割模型,以训练得到分割模型。
可选地,对于如何使用分割模型确定目标对象的位置,也可结合图3~图6所示实施例进行。
S105,展示目标对象在目标图像区域中的位置。
无论根据上述哪种方式得到目标对象在目标图像区域中的位置后,其都会通过识别设备提供的界面展示给用户。
本实施例中,响应于用户触发的输入操作,获取原始图像,并从原始图像中提取出目标部位对应的目标图像区域,其中,目标图像区域中可能包含目标对象。在第一条件下,根据目标图像区域中各像素点的像素点以及各像素点之间的位置关系,估计目标对象的位置。在第二条件下,可以利用分割模型来识别目标图像区域中目标对象的位置。可见,上述方法实际上是提供了两种不同的目标对象的识别方式。两种识别方式结合使用,可以满足在不同条件下的识别需求,能够准确识别出目标对象在原始图像中的位置,保证目标对象识别的效率和精度。
另外,需要说明的有,上述步骤103~步骤104中已经提及可以根据图像中像素点的像素值估计目标对象的位置,也可以使用分割模型来确定目标对象的位置,二者是两种完全独立的位置确定方式。一般情况下,分割模型能够更加准确的确定出目标对象在图像中的位置。
但在实际应用的不同阶段,比如提出目标对象识别需求的早期,由于历史图像数量较少,不足以训练出识别结果准确的分割模型,因此,在获取原始图像后,往往是根据图像中各像素点的像素值估计目标对象所在位置的。
而随着图像的不断累积,对于提取检测需求的中后期,当历史图像数量已经足够训练出准确的分割模型时,则可以直接使用分割模型来实现目标对象的精确识别。
需要说明的还有,上述步骤102中使用的分割模型与步骤104中使用的分割模型,二者的作用都是目标对象的识别,只不过识别的对象不同,一个用于识别原始图像中的目标部位,一个用于识别目标图像区域中的目标对象。
为了上述实施例以及下述各实施例描述的清晰、简洁,可以将步骤102中使用的分割模型称为第一分割模型,步骤104中使用的模型称为第二分割模型。并且在实际应用中,两个分割模型都可以是神经网络模型,比如卷积神经网络(Convolutional NeuralNetworks,简称CNN)模型。
第二分割模型可以输出原始图像中是否存在目标对象,以及目标对象所在的位置。而在一些特殊的场景下,比如医学场景,目标对象的尺寸也是实现医学影像分析的一项重要指标。
基于上述描述,图3为本发明实施例提供的另一种识别方法的流程图。如图3所示,图1所示实施例的步骤105之后,该方法还可以包括如下步骤:
S201,确定目标对象的尺寸。
S202,根据尺寸,确定目标对象在目标图像区域中的占比值。
S203,展示包含占比值的识别结果。
在第二分割模型确定出目标对象的位置后,还可以进一步确定目标对象的尺寸。再计算目标对象的尺寸与整个目标图像区域的尺寸之间的比值,即目标对象在目标部位对应的目标图像区域中的占比值。此占比值也可以认为是识别结果的一部分,用以展示给用户。
本实施例中,在分割模型输出目标对象所在位置的基础上,还可进一步输出目标对象对应的占比值。借助此两部分内容可以实现对目标部位、目标对象更加全面的分析,保证分析效果。
正如图2a、图2b所示的,目标图像区域的形状与目标部位相同,通常是一个不规则的形状。为了使其满足分割模型(即第二分割模型)的输入要求,图4为本发明实施例提供的又一种识别方法的流程图。如图4所示,该方法可以包括如下步骤:
S301,响应于用户触发的输入操作,获取原始图像。
S302,从原始图像中提取对应于目标部位的目标图像区域,目标图像区域中包含目标对象。
S303,在第一条件下,根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象在目标图像区域中的位置。
上述步骤301~303的执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S304,在第二条件下,对目标图像区域进行膨胀处理。
S305,在原始图像中确定具有预设尺寸且包含膨胀结果的图像区域,预设尺寸大于目标图像区域的尺寸。
S306,将包含膨胀结果的图像区域输入分割模型,以由分割模型输出目标对象的位置。
先对不规则的目标图像区域进行膨胀处理,以得到膨胀结果。经过膨胀处理可以一定程度上弥补目标图像区域中细节信息的缺失,比如使肺部区域中的血管造成的内侧分割不完整,使这些细节信息不会影响后续的目标对象检测过程,保证检测准确性。
然后,在原始图像中截取出具有预设尺寸或者预设规则形状,比如矩形、正方形等等的图像区域,且截取的图像区域需要完整包含膨胀结果。最终,将提取出的包含完整膨胀结果的图像区域输入第二分割模型,以由第二分割模型输出目标对象的位置。可选地,可以直接将分割模型输出识别结果展示给用户。
需要说明的有,经过步骤306之后,第二分割模型有可能确定出原始图像中包含至少一个目标对象。而为了满足第二分割模型的输入要求,步骤404确定出的图像区域中会同时包含目标部位以及少量非目标部位,可以如图5所示。因此,分割模型确定出的目标对象有可能对应于非目标部位,还需要将其滤除,以进一步保证目标对象识别的准确性。
则可选地,在步骤306之后,还可以执行以下步骤:
S307,根据目标对象的尺寸和/或目标对象在包含膨胀结果的图像区域中的位置,对目标对象进行滤除。
S308,展示包含剩余目标对象在目标图像区域中的位置的识别结果。
具体的,判断目标对象的尺寸以及其在图像中的位置,若目标对象的尺寸小于预设阈值,表明目标对象在图像中对应的像素点或像素块可能是噪点,则直接滤除此目标对象。
由于第二分割模型是在包含完整膨胀结果的图像区域中确定目标对象,则很有可能出现以下情况,目标对象全部不位于经过膨胀处理前的目标图像区域内。举例来说,目标对象可以是肺部的病灶,目标图像区域可以是肺部,容易理解的,只有位于肺部的目标对象才是病灶,因此,若第二分割模型确定出肺部病灶全部不位于肺部,则会直接滤除此目标对象。
还有可能出现目标对象不全部位于目标图像区域内的情况,此时,可以目标对象所在的区域与目标图像区域比对,以目标对象中确定超出目标图像区域的部分,并将超出部分滤除。
上述根据尺寸以及位置滤除目标对象的方式可以择一或者同时进行。且最终,展示给用户的是包含剩余目标对象在目标图像区域中位置的检测结果。
本实施例中,通过对目标部位对应的目标图像区域进行相应处理,从而能够使其满足分割模型的输入要求,从而保证目标对象识别的准确性。同时,还可以从不同的角度对分割模型输出的目标对象进行滤除,滤除明显错误的识别结果,从而进一步保证目标对象识别的准确性。
图1~图5所示实施例中,原始图像可以由用户输入,并且分割模型输出的结果也可以展示给用户,从而实现一个人机交互过程。除此之外,也可以不限定原始图像的获取方式,单独提供一种识别方法。则图6为本发明实施例提供的又一种识别方法的流程图,如图6所示,该方法可以包括如下步骤:
S401,获取原始图像,其中,原始图像包括目标图像区域,目标图像区域包括目标对象。
S402,在第一条件下,根据目标图像区域中至少部分像素点的像素值以及像素点之间的位置关系,计算目标对象在目标图像区域中的位置。
S403,在第二条件下,将目标图像区域输入分割模型,以由分割模型输出目标对象在目标图像区域中的位置。
上述步骤401~步骤403的执行过程与前述实施例的相应步骤相似,可以参见上述各实施例中的相关描述,在此再不赘述。
可选地,分割模型可以是卷积神经网络。
可选地,分割模型还可以确定目标对象的尺寸,并进一步得到目标对象的尺寸与目标样本图像之间的占比值。
本实施例中未详细说明的内容可以参见上述图1~图5所示实施例中的相关内容,在此不再赘述。
本实施例未详细描述的部分,可参考对图1~图5所示实施例的相关说明。该技术方案的执行过程和技术效果也参见图1~图5所示实施例中的描述,在此不再赘述。
上述图1~图6所示实施例中提供的识别方法实际上是满足在不同的条件下,使用不同方式确定目标对象位置的方案。可选地,在实际应用中,为了满足用户需求,还可以分别执行使用两种方式确定目标对象的位置。
则图7为本发明实施例提供的又一种识别方法的流程图,如图7所示,该方法可以包括如下步骤:
S501,响应于用户触发的输入操作,获取原始图像。
S502,从原始图像中提取目标部位对应的目标图像区域,目标图像区域中包含目标对象。
S503,根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象在目标图像区域中的第一位置。
S504,将目标图像区域输入分割模型,以由分割模型输出目标对象在目标图像区域中的第二位置。
S505,分别展示包含第一位置和第二位置的识别结果。
本实施例中各步骤的具体实现过程可以参见图1~图6所示实施例中的相关描述,在此不再赘述。本实施例中的分割模型也即是上述实施例中的第二分割模型。
本实施例中,使用不同方式得到的两个识别结果都会展示给用户,这样便于用户对两个识别结果进行比较,以了解不同方式的目标对象的识别精准度。
容易理解的,上述两种确定目标对象位置的方式各有特点。具体来说,根据像素点的像素值和位置识别目标对象位置的方式虽然准确性一般,但不存在模型训练过程。而根据分割模型虽然能够较为准确的识别出目标对象的位置,但前期需要收集图像样本并对其进行标注,成本较高。
在实际应用中,可以将两种方式结合使用以保证目标对象识别的准确性。特别是当图像样本不充足难以训练出准确的分割模型时,这种结合使用的方式能够具有更好的效果。
则图8为本发明实施例提供的又一种识别方法的流程图,如图8所示,该方法可以包括如下步骤:
S601,响应于用户触发的输入操作,获取原始图像。
S602,从原始图像中提取目标部位对应的目标图像区域,目标图像区域中包含目标对象。
S603,根据目标图像区域中各像素点的像素值以及各像素点之间的位置关系,估计目标对象在目标图像区域中的第一位置。
用户可以在识别设备中触发输入操作,以使识别设备获取原始图像,此识别设备可以是用户使用的终端设备。此时,用户使用的终端设备通过执行步骤602~步骤603,以得到目标对象的第一位置。
S604,将目标图像区域发送分割模型,以由分割模型输出目标对象在目标图像区域中的第二位置。
S605,根据第二位置和第一位置,确定修正后位置。
S606,展示包含修正后位置的识别结果。
接着,终端设备还可以将目标图像区域发送至部署于远端服务器上的分割模型中,以使分割模型输出目标对象的第二位置。当然,远端服务器的处理能力是高于用户使用的终端设备的。远端服务器可以将此第二位置重新发送至终端设备上。进一步的,终端设备则可以根据上述两个位置进行位置修正。可选地,可以将两位置的交集确定为修正后位置,并将此修正后的位置展示给用户。
其中,本实施例中的分割模型也即是上述实施例中的第二分割模型。
可选地,终端设备还可以计算目标对象对应的占比值,并将占比值也展示给用户。
可选地,对于位置的修正和占比值的计算也可以由远端服务器执行,并最终将执行结果发送给终端设备,
本实施例中,可以先通过两种方式分别得到目标对象的第一位置和第二位置,再利用此两位置进行位置修正,得到的修正后位置能够更加准确的反映目标对象在目标图像区域中的位置。
图9为本发明实施例提供的又一种识别方法的流程图,如图9所示,该方法可以包括如下步骤:
S701,响应于用户触发的输入操作,获取原始图像。
S702,从原始图像中提取目标部位对应的目标图像区域,目标图像区域中包含目标对象。
S703,将目标图像区域输入第一分割模型,以由分割模型输出目标对象在目标图像区域中的第一位置。
S704,将目标图像区域发送至第二分割模型,以由分割模型输出目标对象在目标图像区域中的第二位置,第一分割模型与第二分割模型的识别精度不同。
S705,分别展示包含第一位置和第二位置的识别结果。
用户可以在识别设备中触发输入操作,以使识别设备获取原始图像,可选地,此识别设备可以是用户使用的终端设备。
可选地,可以根据不同数量的样本图像预先训练出识别精度不同的分割模型。比如,第一分割模型的识别精度可以低于第二分割模型的识别精度,此时第一分割模型可以部署于用户使用的终端设备上,第二分割模型可以部署于远端服务器上。
用户使用的终端设备中配置的第一分割模型可以输出目标对象的第一位置。接着,终端设备可以将目标图像区域发送至第二分割模型中,以使分割模型输出目标对象的第二位置。最终,将分别包含第一位置和第二位置的识别结果展示给用户。
需要说明的有,本实施例中的第一分割模型和第二分割模型与图1~图8所示实施例中提及的第一分割模型和第二分割模型不同。
本实施例中的第一分割模型和第二分割模型都可以认为是图1~图8所示实施例中的第二分割模型,本实施例中的第一分割模型和第二分割模型可以认为是两个识别精度不同的分割模型。
本实施例中,通过展示不同精准度的分割模型输出的识别结果,可以使用户确定识别精准度的差异,以便在具有不同的精度要求的场景中使用恰当的分割模型进行目标对象的识别。
为便于理解,结合如下的医学场景对以上提供的识别方法方法的具体实现过程进行示例性说明。下面内容可以结合图10理解。
用户可以借助识别设备提供的操作界面输入人体肺部对应的医学影像,即原始图像。识别设备先从医学影像中提取出目标部位即肺部对应的目标图像区域,此时的,目标图像区域的形状与肺部相近,是不规则的形状。
若此时已经获得有足够的历史图像,分割模型已经训练收敛,即满足第二条件,则可以直接利用此分割模型确定出目标对象即肺部中病灶所在的位置。
当分割模型具有接收不规则形状的图像的能力时,可以直接将此目标图像区域输入分割模型,以由分割模型输出目标对象即肺部中病灶所在的位置。
对于不能接收不规则形状的图像的分割模型,还可以对医学影像中的肺部区域进行膨胀处理,然后在此经过膨胀处理后的医学影像中截取出预设尺寸的图像区域,此预设尺寸是满足分割模型的输入要求的。将此时截取出的图像区域输入至分割模型中,以由到分割模型输出的病灶所在的位置。
若此时还没有训练出分割模型即满足第一条件,则可以直接利用目标图像区域中各像素点之间的位置关系以及各像素点的像素值确定出目标对象即肺部中病灶所在的位置。具体来说就是根据修正后的目标像素点确定病灶位置。
同时,在得到病灶的位置后,还可以进一步计算病灶在整个肺部的占比值。最终,病灶在医学影像中的位置以及病灶对应的占比值可以同时展示给用户,以使用户了解到肺部当前的状况。
除了上述医学场景外,本发明提供的上述识别方法还可以应用于遥感领域。此场景下,原始图像即为遥感图像,遥感图像可以对应于一个城市,此遥感图像中的目标部位可以是整个城市中的工业区域,目标对象可以是工业区中的污染设备,比如冶金设备、炼煤设备等等。
基于上述内容,用户可以借助识别设备提供的操作界面输入遥感图像,识别设备可以从遥感图像中提取出工业区域对应的目标图像区域,此区域通常是形状不规则的。
此时,若此时还没有训练出分割模型即满足第一条件,则可以直接利用目标图像区域中各像素点之间的位置关系以及各像素点的像素值确定出目标对象即工业区域中污染设备所在的位置。
若此时已经获得有足够的历史图像,分割模型已经训练收敛,即满足第二条件,则可以直接利用此分割模型确定出工业区域中污染设备所在的位置。
而当分割模型不能直接输入不规则形状的图像时,还可以对形状不规则的目标图像区域进行膨胀、截取处理,以得到形状规则的包含工业区域的图像,并将其输入至分割模型,以由分割模型输出工业区域中污染设备所在的位置。
同时,在得到污染设备的位置后,还可以进一步计算污染设备在整个工业区域内的占比值。污染设备在工业区域中的位置以及占比值还可以同时展示给用户,以使用户了解到当前城市的工业分布情况,可以根据此分布情况进行城市的规划建设。
当然,本实施例中没有具体描述的内容,还可以对比图7所示实施例中的相关描述进行理解。
基于上述各实施例提供的识别方法,图11为本发明实施例提供的一种模型训练方法的流程图,用于训练上述图1~图8所示实施例中提及的第二分割模型,还可以用于训练图9所示实施例中提及的第一分割模型和第二分割模型。
如图11所示,该方法可以包括如下步骤:
S801,获取样本图像。
S802,从样本图像中提取目标部位对应的样本图像区域,样本图像区域中包含目标对象。
对于样本图像,可以在实际应用中不断收集,也可以通过和医院等医疗机构的合作得到。然后,一种可选地方式,可以根据样本图像中各像素点的像素值从中提取样本图像区域。另一种可选地方式,可以将样本图像输入至分割模型,即上述的第一分割模型,以由分割模型确定目标部位的位置,并提取出目标部位对应的样本图像区域。此步骤中未详细描述的内容,可以参见图1所示实施例中的相关内容。
S803,根据目标对象在样本图像中对应的各像素点的像素值以及各像素点之间的位置关系,估计目标对象在样本图像区域中的位置。
S804,以位置作为监督信息,将样本图像区域输入分割模型,以训练分割模型。
接着,再根据样本图像中各像素点的像素值确定目标对象在样本图像区域中的位置。具体的,将样本图像区域中像素值处于预设范围内的像素点确定为目标像素点,多个目标像素点所在的位置即为目标对象的位置。进一步地,对于此时得到的目标对象的位置,还会进行人工修正,并将修正后的位置作为监督信息,将样本图像区域输入分割模型,以训练分割模型。
可选地,为了保证描述的简洁清晰,可以将步骤801中获取的称为第一样本图像,此时,用户还可以人工对通过其他方式得到的第二样本图像,同时对此第二样本图像的目标样本区域中的目标对象的位置也进行标注,以得到其的监督信息。再利用两个样本图像以及和各自的监督信息训练分割模型。
也就是说,在训练分割模型使用到的样本图像中,一部分是完全由人工标注的,另一部分是自动标注后经过人工修正的,这样可以提高样本图像的标注效率,也即是提高了模型训练的效率。
另外,由于监督信息的准确性会影响到模型的训练效果,因此,对于步骤803得到的目标对象素点,在进行人工修正之前,还可以根据多个目标像素点之间在样本图像区域中的位置,对目标像素点进行修正,最终由修正后的目标像素点确定目标对象在样本图像区域中的位置。
具体来说,由于目标像素点是根据像素点的像素值确定的,因此,很容易出现孤立的目标像素点。而用于描述目标对象的像素点通常来又都是像素坐标距离相近的多个像素点,此时,此孤立的目标像素点可以认为是样本图像中的噪点,可以直接将其滤除。
同时,还有可能出非目标像素点B被目标像素点包围的情况,此时,可以将此非目标像素点B假设为目标像素点,从而完成像素点的修正。
需要说明的有,本实施例提供的模型训练方法可以在执行本发明提供的识别方法之前执行,也可以脱离于本发明实施例提供的识别方法单独执行。
本实施例中,在得到样本图像后,可以从中提取与模型训练有关的、目标部位对应的样本图像区域。然后,再根据样本图像区域中各像素点的像素值确定目标对象的位置,将位置进行人工修正后,此修正后的位置也即是模型训练过程中使用到的监督信息。相比于传统的人工对样本图像中的目标对象进行标注以得到监督信息的方式,上述方式能够大大提升效率,进一步提高模型训练的效率。
可选地,上述的模型训练方式可以部署于服务器上,用于提供一个模型训练的服务平台。则对于存在模型训练需求的用户,用户可以将自身收集的样本图像直接输入至服务平台,服务平台可以自动按照上述方式进行分割模型的训练。则在步骤804后,上述模型训练方法还可以以下步骤:
S805,输出分割模型的模型参数。
经过训练后,可以输出分割模型的模型参数。可选地,可以每经过预设轮数训练后即输出模型参数,也可以在分割模型收敛后,将此模型的模型参数输出给用户,从而实现用户的模型训练需求。若用户对模型参数不满足,还可以通过触发重训练操作,以重新进行模型训练。
可选地,在步骤801获取到样本图像后,用户还可以对样本图像缩放、点击等操作,触发上述操作的位置也即是用户关注的区域,也即是在训练过程中需要重点关注的位置。因此,还可以将此关注区域作为一种反馈信息引入到模型训练过程中,也即是将注意力机制引入模型训练过程中。
以下将详细描述本发明的一个或多个实施例的识别装置。本领域技术人员可以理解,这些识别装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图12为本发明实施例提供的一种识别装置的结构示意图,如图12所示,该装置包括:
获取模块11,用于响应于用户触发的输入操作,获取原始图像。
提取模块12,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象。
估计模块13,用于在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置。
输入模块14,用于在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
展示模块15,用于展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
可选地,所述装置还包括:占比确定模块16,用于确定所述目标对象的尺寸;以及根据所述尺寸,确定所述目标对象在所述目标图像区域中的占比值。
所述展示模块15,还用于展示包含所述占比值的识别结果。
可选地,所述第一条件为:在预设时间段内获取的历史图像的数量小于预设数量,所述历史图像中标注有所述目标对象在所述历史图像中的位置。
所述第二条件为:在预设时间段内获取的历史图像的数量大于或等于预设数量,所述历史图像中标注有所述目标对象在所述历史图像中的位置。
所述装置还包括:训练模块17。
所述提取模块12,用于在所述历史图像中,提取目标部位对应的历史图像区域,所述历史图像区域中包含目标对象;
所述训练模块17,用于以所述目标对象在历史图像区域中的位置为监督信息,将所述历史图像区域输入分割模型,以训练得到所述分割模型。
可选地,所述估计模块13具体包括:
确定单元131,用于确定所述目标图像区域中像素值满足预设范围的多个目标像素点。
修正单元132,根据所述多个目标像素点之间的位置关系,修正所述多个目标像素点。
估计单元133,用于根据修正后的目标像素点的位置,估计所述目标对象在所述目标图像区域中的位置。
其中,所述原始图像为医学影像。
可选地,所述输入模块14具体包括:
处理单元141,用于对所述目标图像区域进行膨胀处理。
确定单元142,用于在所述原始图像中确定具有预设尺寸且包含膨胀结果的图像区域,所述预设尺寸大于所述目标图像区域的尺寸。
输入单元143,用于将所述包含膨胀结果的图像区域输入所述分割模型,以由所述分割模型输出所述目标对象的位置。
可选地,所述装置还包括:滤除模块18,用于根据所述目标对象的尺寸和/或所述目标对象在所述包含膨胀结果的图像区域中的位置,对所述目标对象进行滤除。
所述展示模块15,还用于展示包含剩余目标对象在所述目标图像区域中的位置的识别结果。
可选地,所述滤除模块18具体用于:若所述目标对象的尺寸小于预设阈值,则滤除所述目标对象;和/或,
若所述目标对象不位于所述目标图像区域,则滤除所述目标对象。
图12所示装置可以执行图1至图5所示实施例的方法,本实施例未详细描述的部分,可参考对图1至图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图5所示实施例中的描述,在此不再赘述。
以上描述了目标检测装置的内部功能和结构,在一个可能的设计中,目标检测装置的结构可实现为一电子设备,如图13所示,该电子设备可以包括:处理器21和存储器22。其中,所述存储器22用于存储支持该电子设备执行上述图1至图5所示实施例中提供的目标检测方法的程序,所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置;
展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
可选地,所述处理器21还用于执行前述图1至图5所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口23,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图1至图5所示方法实施例中目标检测方法所涉及的程序。
图14为本发明实施例提供的另一种识别装置的结构示意图,如图14所示,该装置包括:
获取模块31,用于获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象。
计算模块32,用于在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置。
输入模块33,用于在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
其中,分割模块包括:
图14所示装置可以执行图6所示实施例的方法,本实施例未详细描述的部分,可参考对图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6所示实施例中的描述,在此不再赘述。
以上描述了识别装置的内部功能和结构,在一个可能的设计中,识别装置的结构可实现为一电子设备,如图15所示,该电子设备可以包括:处理器41和存储器42。其中,所述存储器42用于存储支持该电子设备执行上述图6所示实施例中提供的目标检测方法的程序,所述处理器41被配置为用于执行所述存储器42中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器41执行时能够实现如下步骤:
获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象;
在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
可选地,所述处理器41还用于执行前述图6所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口43,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图6所示方法实施例中识别方法所涉及的程序。
图16为本发明实施例提供的又一种识别装置的结构示意图,如图16所示,该装置包括:
获取模块51,用于响应于用户触发的输入操作,获取原始图像。
提取模块52,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象。
估计模块53,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置。
输入模块54,用于将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置。
展示模块55,用于分别展示包含所述第一位置和所述第二位置的识别结果。
图16所示装置可以执行图7所示实施例的方法,本实施例未详细描述的部分,可参考对图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图7所示实施例中的描述,在此不再赘述。
以上描述了识别装置的内部功能和结构,在一个可能的设计中,识别装置的结构可实现为一电子设备,如图17所示,该电子设备可以包括:处理器61和存储器62。其中,所述存储器62用于存储支持该电子设备执行上述图7所示实施例中提供的目标检测方法的程序,所述处理器61被配置为用于执行所述存储器62中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器61执行时能够实现如下步骤:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
分别展示包含所述第一位置和所述第二位置的识别结果。
可选地,所述处理器61还用于执行前述图7所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口63,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图7所示方法实施例中识别方法所涉及的程序。
图18为本发明实施例提供的又一种识别装置的结构示意图,如图18所示,该装置包括:
获取模块71,用于响应于用户触发的输入操作,获取原始图像。
提取模块72,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象。
估计模块73,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置。
发送模块74,用于将所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置。
修正模块75,用于根据所述第一位置和所述第二位置,确定修正后位置。
展示模块76,用于展示包含修正后位置的识别结果。
图18所示装置可以执行图8所示实施例的方法,本实施例未详细描述的部分,可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图5所示实施例中的描述,在此不再赘述。
以上描述了识别装置的内部功能和结构,在一个可能的设计中,识别装置的结构可实现为一电子设备,如图19所示,该电子设备可以包括:处理器81和存储器82。其中,所述存储器82用于存储支持该电子设备执行上述图8所示实施例中提供的目标检测方法的程序,所述处理器81被配置为用于执行所述存储器82中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器81执行时能够实现如下步骤:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述第一位置和所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
根据所述第二位置修正所述第一位置,以得到修正后位置;
展示包含修正后位置的识别结果。
可选地,所述处理器81还用于执行前述图8所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口83,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图8所示方法实施例中识别方法所涉及的程序。
图20为本发明实施例提供的又一种识别装置的结构示意图,如图20所示,该装置包括:
获取模块91,用于响应于用户触发的输入操作,获取原始图像。
提取模块92,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象。
输入模块93,用于将所述目标图像区域输入第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置。
发送模块,用于将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述94目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同。
展示模块95,用于分别展示包含所述第一位置和所述第二位置的识别结果。
图20所示装置可以执行图9所示实施例的方法,本实施例未详细描述的部分,可参考对图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9所示实施例中的描述,在此不再赘述。
以上描述了识别装置的内部功能和结构,在一个可能的设计中,识别装置的结构可实现为一电子设备,如图21所示,该电子设备可以包括:处理器96和存储器97。其中,所述存储器97用于存储支持该电子设备执行上述图9所示实施例中提供的目标检测方法的程序,所述处理器96被配置为用于执行所述存储器97中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器96执行时能够实现如下步骤:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
将所述目标图像区域发送至第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同;
分别展示包含所述第一位置和所述第二位置的识别结果。
可选地,所述处理器96还用于执行前述图9所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口98,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图9所示方法实施例中识别方法所涉及的程序。
图22为本发明实施例提供的一种模型训练方法装置的结构示意图,如图22所示,该装置包括:
获取模块101,用于获取样本图像。
提取模块102,用于从所述样本图像中提取目标部位对应的样本图像区域,所述样本图像区域中包含所述目标对象。
确定模块103,用于根据所述目标对象在所述样本图像中对应的各像素点的像素值以及所述各像素点之间的位置关系,确定所述目标对象在所述样本图像区域中的位置。
输入模块104,用于以所述位置作为监督信息,将所述样本图像区域输入所述分割模型,以训练所述分割模型。
输出模块105,用于输出所述分割模型的模型参数。
图22所示装置可以执行图11所示实施例的方法,本实施例未详细描述的部分,可参考对图11所示实施例的相关说明。该技术方案的执行过程和技术效果参见图11所示实施例中的描述,在此不再赘述。
以上描述了模型训练装置的内部功能和结构,在一个可能的设计中,模型训练装置的结构可实现为一电子设备,如图23所示,该电子设备可以包括:处理器106和存储器107。其中,所述存储器107用于存储支持该电子设备执行上述图8所示实施例中提供的模型训练方法的程序,所述处理器106被配置为用于执行所述存储器107中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器106执行时能够实现如下步骤:
获取样本图像;
从所述样本图像中提取目标部位对应的样本图像区域,所述样本图像区域中包含所述目标对象;
根据所述目标对象在所述样本图像中对应的各像素点的像素值以及所述各像素点之间的位置关系,确定所述目标对象在所述样本图像区域中的位置;
以所述位置作为监督信息,将所述样本图像区域输入所述分割模型,以训练所述分割模型;
输出所述分割模型的模型参数。
可选地,所述处理器106还用于执行前述图11所示实施例中的全部或部分步骤。
其中,所述电子设备的结构中还可以包括通信接口108,用于该电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存上述电子设备所用的计算机软件指令,其包含用于执行上述图11所示方法实施例中模型训练方法所涉及的程序。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (30)

1.一种识别方法,其特征在于,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置;
展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述目标对象的尺寸;
根据所述尺寸,确定所述目标对象在所述目标图像区域中的占比值;
展示包含所述占比值的识别结果。
3.根据权利要求1所述的方法,其特征在于,所述第一条件为:在预设时间段内获取的历史图像的数量小于预设数量,所述历史图像中标注有所述目标对象在所述历史图像中的位置。
4.根据权利要求1所述的方法,其特征在于,所述第二条件为:在预设时间段内获取的历史图像的数量大于或等于预设数量,所述历史图像中标注有所述目标对象在所述历史图像中的位置;
所述方法还包括:
在所述历史图像中,提取目标部位对应的历史图像区域,所述历史图像区域中包含目标对象;
以所述目标对象在历史图像区域中的位置为监督信息,将所述历史图像区域输入分割模型,以训练得到所述分割模型。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置,包括:
确定所述目标图像区域中像素值满足预设范围的多个目标像素点;
根据所述多个目标像素点之间的位置关系,修正所述多个目标像素点;
根据修正后的目标像素点的位置,估计所述目标对象在所述目标图像区域中的位置。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述原始图像为医学影像。
7.根据权利要求1所述的方法,其特征在于,所述将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置,包括:
对所述目标图像区域进行膨胀处理;
在所述原始图像中确定具有预设尺寸且包含膨胀结果的图像区域,所述预设尺寸大于所述目标图像区域的尺寸;
将所述包含膨胀结果的图像区域输入所述分割模型,以由所述分割模型输出所述目标对象的位置。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述目标对象的尺寸和/或所述目标对象在所述包含膨胀结果的图像区域中的位置,对所述目标对象进行滤除;
所述展示包含所述目标对象在所述目标图像区域中位置的检测结果,包括:展示包含剩余目标对象在所述目标图像区域中的位置的检测结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标对象的尺寸和/或所述目标对象在所述包含膨胀结果的图像区域中的位置,对所述目标对象进行滤除,包括:
若所述目标对象的尺寸小于预设阈值,则滤除所述目标对象;和/或,
若所述目标对象不位于所述目标图像区域,则滤除所述目标对象。
10.一种识别方法,其特征在于,包括:
获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象;
在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置;
在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
11.根据权利要求10所述的方法,其特征在于,所述分割模型包括卷积神经网络。
12.一种识别方法,其特征在于,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
分别展示包含所述第一位置和所述第二位置的识别结果。
13.一种识别方法,其特征在于,应用于终端设备,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
根据所述第一位置和所述第二位置,确定修正后位置;
展示包含修正后位置的识别结果。
14.一种识别方法,其特征在于,包括:
响应于用户触发的输入操作,获取原始图像;
从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
将所述目标图像区域输入第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置;
将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同;
分别展示包含所述第一位置和所述第二位置的识别结果。
15.根据权利要求14所述的方法,其特征在于,所述第一分割模型配置于所述用户使用的移动终端上,所述第二分割模型配置于远程服务器上;所述第一分割模型的识别精度小于所述第二分割模型识别精度。
16.一种识别装置,其特征在于,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于在第一条件下,根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的位置;
输入模块,用于在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置;
展示模块,用于展示包含所述目标对象在所述目标图像区域中的位置的识别结果。
17.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至9中任一项所述的识别方法。
18.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至9中任一项所述的识别方法。
19.一种识别装置,其特征在于,包括:
获取模块,用于获取原始图像,其中,所述原始图像包括目标图像区域,所述目标图像区域包括目标对象;
计算模块,用于在第一条件下,根据所述目标图像区域中至少部分像素点的像素值以及所述所述像素点之间的位置关系,计算所述目标对象在所述目标图像区域中的位置;
输入模块,在第二条件下,将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的位置。
20.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求10或11所述的识别方法。
21.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求10或11所述的识别方法。
22.一种识别装置,其特征在于,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
输入模块,用于将所述目标图像区域输入分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
展示模块,用于分别展示包含所述第一位置和所述第二位置的识别结果。
23.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求12述的识别方法。
24.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求12所述的识别方法。
25.一种识别装置,其特征在于,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
估计模块,用于根据所述目标图像区域中各像素点的像素值以及所述各像素点之间的位置关系,估计所述目标对象在所述目标图像区域中的第一位置;
发送模块,用于将所述目标图像区域发送至分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置;
修正模块,用于根据所述第一位置和所述第二位置,确定修正后位置;
展示模块,用于展示包含修正后位置的识别结果。
26.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求13述的识别方法。
27.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求13所述的识别方法。
28.一种识别装置,其特征在于,包括:
获取模块,用于响应于用户触发的输入操作,获取原始图像;
提取模块,用于从所述原始图像中提取目标部位对应的目标图像区域,所述目标图像区域中包含目标对象;
输入模块,用于将所述目标图像区域输入第一分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第一位置;
发送模块,用于将所述目标图像区域发送至第二分割模型,以由所述分割模型输出所述目标对象在所述目标图像区域中的第二位置,所述第一分割模型与所述第二分割模型的识别精度不同;
展示模块,用于分别展示包含所述第一位置和所述第二位置的识别结果。
29.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求14述的识别方法。
30.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求14所述的识别方法。
CN202010442689.9A 2020-05-22 2020-05-22 识别方法、装置、设备和存储介质 Pending CN113515981A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010442689.9A CN113515981A (zh) 2020-05-22 2020-05-22 识别方法、装置、设备和存储介质
US17/325,777 US11907838B2 (en) 2020-05-22 2021-05-20 Recognition method, apparatus, and device, and storage medium
PCT/US2021/033424 WO2021236939A1 (en) 2020-05-22 2021-05-20 Recognition method, apparatus, and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442689.9A CN113515981A (zh) 2020-05-22 2020-05-22 识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113515981A true CN113515981A (zh) 2021-10-19

Family

ID=78061068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442689.9A Pending CN113515981A (zh) 2020-05-22 2020-05-22 识别方法、装置、设备和存储介质

Country Status (3)

Country Link
US (1) US11907838B2 (zh)
CN (1) CN113515981A (zh)
WO (1) WO2021236939A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372980A (zh) * 2022-03-21 2022-04-19 视睿(杭州)信息科技有限公司 一种工业缺陷检测方法及系统
CN115965829A (zh) * 2022-11-24 2023-04-14 阿里巴巴(中国)有限公司 对象检测模型训练方法以及对象检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
CN115063323B (zh) * 2022-08-16 2022-11-15 威海凯思信息科技有限公司 一种基于自适应网络的图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819841A (zh) * 2012-07-30 2012-12-12 中国科学院自动化研究所 用于目标图像分割的全局阈值分割方法
US20130121592A1 (en) * 2010-08-20 2013-05-16 Canon Kabushiki Kaisha Position and orientation measurement apparatus,position and orientation measurement method, and storage medium
CN108520247A (zh) * 2018-04-16 2018-09-11 腾讯科技(深圳)有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111091132A (zh) * 2020-03-19 2020-05-01 腾讯科技(深圳)有限公司 基于人工智能的图像识别方法、装置、计算机设备及介质
CN111161275A (zh) * 2018-11-08 2020-05-15 腾讯科技(深圳)有限公司 医学图像中目标对象的分割方法、装置和电子设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035461B2 (en) 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
WO2004055735A1 (ja) 2002-12-16 2004-07-01 Canon Kabushiki Kaisha パターン識別方法、その装置及びそのプログラム
EP1650711B1 (en) 2003-07-18 2015-03-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP5036534B2 (ja) 2004-04-26 2012-09-26 ヤンケレヴィッツ,デヴィット,エフ. 標的病変における変化の精密な測定評価のための医療用撮像システム
US7330604B2 (en) 2006-03-02 2008-02-12 Compulink Management Center, Inc. Model-based dewarping method and apparatus
WO2009078957A1 (en) 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8452108B2 (en) 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8111923B2 (en) 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
DE102008052928A1 (de) 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US20120170852A1 (en) 2009-09-25 2012-07-05 Wei Zhang Face recognition apparatus and methods
US8391590B2 (en) 2010-03-04 2013-03-05 Flashscan3D, Llc System and method for three-dimensional biometric data feature detection and recognition
US8638993B2 (en) 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US8391602B2 (en) 2010-04-08 2013-03-05 University Of Calcutta Character recognition
JP2011221812A (ja) 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
US8369614B2 (en) * 2010-04-09 2013-02-05 Xerox Corporation Edge control in a digital color image via tone and size dependent dilation of pixels
WO2011152841A1 (en) 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
JP5615088B2 (ja) 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
US8718375B2 (en) 2010-12-03 2014-05-06 Massachusetts Institute Of Technology Sketch recognition system
US8781221B2 (en) 2011-04-11 2014-07-15 Intel Corporation Hand gesture recognition system
US8873812B2 (en) 2012-08-06 2014-10-28 Xerox Corporation Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers
US9928406B2 (en) 2012-10-01 2018-03-27 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system
US9740925B2 (en) 2012-11-19 2017-08-22 Imds America Inc. Method and system for the spotting of arbitrary words in handwritten documents
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9626594B2 (en) 2015-01-21 2017-04-18 Xerox Corporation Method and system to perform text-to-image queries with wildcards
US9940539B2 (en) 2015-05-08 2018-04-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN105120144A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 图像拍摄方法和装置
US10393872B2 (en) * 2015-12-08 2019-08-27 Garmin Switzerland Gmbh Camera augmented bicycle radar sensor system
US9760807B2 (en) 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9424494B1 (en) 2016-01-28 2016-08-23 International Business Machines Corporation Pure convolutional neural network localization
US10839573B2 (en) 2016-03-22 2020-11-17 Adobe Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN110169055B (zh) * 2017-01-20 2021-06-15 华为技术有限公司 一种生成镜头信息的方法和装置
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
US11080830B2 (en) * 2018-04-25 2021-08-03 Perkinelmer Cellular Technologies Germany Gmbh Systems and methods for segmentation and analysis of 3D images
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
WO2020090897A1 (ja) * 2018-11-01 2020-05-07 日本電気株式会社 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
CN114820654A (zh) * 2018-12-28 2022-07-29 上海联影智能医疗科技有限公司 血管分割方法、装置、医疗影像设备及存储介质
CN110174093B (zh) * 2019-05-05 2022-10-28 腾讯科技(深圳)有限公司 定位方法、装置、设备和计算机可读存储介质
CN112073748B (zh) * 2019-06-10 2022-03-18 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121592A1 (en) * 2010-08-20 2013-05-16 Canon Kabushiki Kaisha Position and orientation measurement apparatus,position and orientation measurement method, and storage medium
CN102819841A (zh) * 2012-07-30 2012-12-12 中国科学院自动化研究所 用于目标图像分割的全局阈值分割方法
CN108520247A (zh) * 2018-04-16 2018-09-11 腾讯科技(深圳)有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
CN111161275A (zh) * 2018-11-08 2020-05-15 腾讯科技(深圳)有限公司 医学图像中目标对象的分割方法、装置和电子设备
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111091132A (zh) * 2020-03-19 2020-05-01 腾讯科技(深圳)有限公司 基于人工智能的图像识别方法、装置、计算机设备及介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
I. BECHAR ET AL.: "Object segmentation from a dynamic background using a pixelwise rigidity criterion and application to maritime target recognition", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
刘光孟: "基于医学CT序列图像的分割与重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
叶小琴: "基于图像边界提取的果园作业机器人自主导航系统", 《农机化研究》 *
孙志恒: "基于深度学习的稻米垩白识别算法研究与应用", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
张海涛: "基于超像素方法的腹部CT影像多目标器官分割研究", 《中国医疗设备》 *
徐思行: "《病理诊断与技术规范》", 31 March 2003 *
王瑞: "多模态MRI脑肿瘤图像分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372980A (zh) * 2022-03-21 2022-04-19 视睿(杭州)信息科技有限公司 一种工业缺陷检测方法及系统
CN115965829A (zh) * 2022-11-24 2023-04-14 阿里巴巴(中国)有限公司 对象检测模型训练方法以及对象检测方法

Also Published As

Publication number Publication date
US20210366151A1 (en) 2021-11-25
US11907838B2 (en) 2024-02-20
WO2021236939A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN113515981A (zh) 识别方法、装置、设备和存储介质
EP3806064A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN106815574B (zh) 建立检测模型、检测接打手机行为的方法和装置
EP2426643A1 (en) Object position inference device, object position inference method, and program
EP3843036B1 (en) Sample labeling method and device, and damage category identification method and device
CN112085952A (zh) 监控车辆数据方法、装置、计算机设备及存储介质
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
WO2023116641A1 (zh) 车位检测模型训练方法、车位检测方法及其装置
CN111400550A (zh) 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
CN113420692A (zh) 生成方向识别模型的方法、装置、设备、介质及程序产品
CN113409393B (zh) 用于识别交通标志牌的方法及装置
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN109903308B (zh) 用于获取信息的方法及装置
CN110738077B (zh) 一种异物检测方法及装置
KR100631095B1 (ko) 지아이에스를 이용한 건축 구조물 정보 수집 및 관리 시스템
US11551379B2 (en) Learning template representation libraries
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN113591580B (zh) 图像标注方法、装置、电子设备和存储介质
CN114419564A (zh) 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN113569829A (zh) 集装箱编码数据识别方法及系统
CN111582278B (zh) 人像分割方法、装置及电子设备
JP7160763B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム、およびアプリケーションプログラム
CN112861940A (zh) 双目视差估计方法、模型训练方法以及相关设备
CN110378241A (zh) 作物生长状态监控方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination