CN111898622B - 信息处理、信息显示与模型训练方法、系统及设备 - Google Patents

信息处理、信息显示与模型训练方法、系统及设备 Download PDF

Info

Publication number
CN111898622B
CN111898622B CN201910366687.3A CN201910366687A CN111898622B CN 111898622 B CN111898622 B CN 111898622B CN 201910366687 A CN201910366687 A CN 201910366687A CN 111898622 B CN111898622 B CN 111898622B
Authority
CN
China
Prior art keywords
result
image
processed
network layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910366687.3A
Other languages
English (en)
Other versions
CN111898622A (zh
Inventor
江涛
王宇
迟颖
谢宣松
华先胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910366687.3A priority Critical patent/CN111898622B/zh
Publication of CN111898622A publication Critical patent/CN111898622A/zh
Application granted granted Critical
Publication of CN111898622B publication Critical patent/CN111898622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种信息处理、信息显示与模型训练方法、系统及设备。其中，方法包括如下的步骤：利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。本申请实施例提供的技术方案能够有效提高检测准确度和检测效率，降低人力成本。

Description

信息处理、信息显示与模型训练方法、系统及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种信息处理、信息显示与模型训练方法、系统及设备。
背景技术
在一些应用领域中，通常会通过影像方式进行问题检测。例如：在医学关节炎诊断领域，通常需要医生通过肉眼对关节医学影像进行检测，以确定关节炎严重程度；再例如：在机械连接部位的损伤检测领域，通常需要技术人员通过肉眼对机械连接部分的影像进行检测，以确定损伤位置及损伤程度。
可见，现有技术中人工检测方式需要大量的人力物力，且检验的准确度也受限于工作人员的从业水平，准确度难以保证。
发明内容
鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的信息处理、信息显示与模型训练方法、系统及设备。
于是，在本申请的一个实施例中，提供了一种信息处理方法。该方法包括：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：
至少一个第一网络层，用于对所述待处理图像进行图像分类，得到第一结果；
至少一个第二网络层，用于对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
确定模块，用于根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：
利用神经网络模型中至少一个第一网络层对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级。
在本申请的另一实施例中，提供了一种信息处理系统。该系统，包括：客户端和服务端；
所述客户端，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端；
所述服务端，用于利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；并将所述输出结果返回至所述客户端。
在本申请的另一实施例中，提供了一种信息显示方法。该方法，包括：
显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：
利用神经网络模型中至少一个第一网络层，对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级。
在本申请的另一实施例中，提供了一种信息处理系统。该系统，包括：客户端和服务端；
所述客户端，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端；
所述服务端，用于利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；并将所述输出结果返回至所述客户端。
在本申请的另一实施例中，提供了一种信息显示方法。该方法，包括：
显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器、处理器和显示器，其中，
所述存储器，用于存储程序；
所述处理器，与所述显示器耦合；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
控制所述显示器显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级。
在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器、处理器和显示器，其中，
所述存储器，用于存储程序；
所述处理器，与所述显示器耦合；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
控制所述显示器显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。此外，利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，结合图像分类结果和目标定位与目标属性分级结果来确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
本申请实施例提供的技术方案中，提供了一种电子设备，该电子设备通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型对待处理图像进行关节炎检测，能够比较准确地检测出关节位置以及关节炎严重程度级别，可降低医院的人工成本及医生的误诊风险。此外，利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并结合图像分类结果和关节定位与关节炎分级结果确定神经网络模型的输出结果，可进一步降低神经网络模型的误检率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的信息处理方法的流程示意图；
图2为至少一个第一网络层的概略图；
图3a为ResNet网络的概略图；
图3b为第六残差子网络的概略图；
图4为DownsampleResBlock模块内部的概略图；
图5为ResBlock模块内部的概略图；
图6为神经网络模型内部的概略图；
图7为上采样子网络的概略图；
图8为目标定位与目标属性分级子网络的概略图；
图9为本申请另一实施例提供的模型训练方法的流程示意图；
图10为本申请一实施例提供的信息处理系统的结构框图；
图11为本申请另一实施例提供的信息显示方法的流程示意图；
图12为本申请另一实施例提供的电子设备的结构框图；
图13为本申请一实施例提供的模型训练方法的流程示意图；
图14为本申请另一实施例提供的信息显示方法的流程示意图；
图15为本申请一实施例提供的信息处理装置的结构框图；
图16为本申请一实施例提供的信息显示装置的结构框图；
图17为第一界面状态图；
图18为第二界面状态图；
图19为第三界面状态图；
图20为原始样本图像；
图21、图22、图23、图24均为图20中的原始样本图像经不同处理后得到的图像；
图25为第四界面状态图；
图26为第五界面状态图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
目前，医生只能通过肉眼对关节医学影像进行检测，以确定患者的关节炎严重程度。这种人工检测方法的准确度完全依赖于医生的从业水平，当医生的从业水平不高时，很容易出现误诊的情况。此外，这种人工检测方式效率低下，耗费大量的人力物力。
基于此，发明人通过研究，提出了一种基于神经网络模型进行关节炎检测的电子设备。该电子设备通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型对待处理图像进行关节炎检测，能够比较准确地检测出关节位置以及关节炎严重程度级别，可降低医院的人工成本及医生的误诊风险。此外，利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并结合图像分类结果和关节定位与关节炎分级结果，确定神经网络模型的输出结果，可进一步降低神经网络模型的误检率。
图1示出了本申请一实施例提供的信息处理方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。如图1所示，该方法包括：
101、利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果。
102、利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果。
103、所述第一结果满足第一预设条件时，确定所述神经网络模型针对所述待处理图像的输出结果。
上述101中，神经网络模型中包括至少一个第一网络层和至少一个第二网络层。该神经网络模型是事先训练好的神经网络模型，将在下述各实施例中详细介绍一种该神经网络模型的训练方法。
在一实例中，对待处理图像进行图像分类可以是对待处理图像进行图像二分类，即进行前景图像类别和背景图像类别的图像分类。属于前景图像类别的图像中包含有目标影像或包含有满足第二预设条件的目标影像；属于背景图像类别的图像中不包含目标影像或不包含满足第二预设条件的目标影像。
例如：在机械连接结构的损伤检测应用场景中，前景图像类别即为机械连接结构图像类别，背景图像类别即为非机械连接结构图像类别。其中，属于机械连接结构图像类别的图像中包含有机械连接结构影像或包含有满足第二预设条件的机械连接结构影像；属于非机械连接结构图像类别的图像中不包含机械连接结构影像或不包含满足第二预设条件的机械连接结构影像。在实际应用中，可根据实际需要来设定第二预设条件，例如：第二预设条件为：机械连接结构影像需为X光影像或为超声波影像。
再例如：在产品的品质检测应用场景中，前景图像类别即为产品图像类别，背景图像类别即为非产品图像类别。其中，属于产品图像类别的图像中包含有产品影像或包含有满足第二预设条件的产品影像；属于非产品图像类别的图像中不包含产品影像或不包含满足第二预设条件的产品影像。在实际应用中，可根据实际需要来设定第二预设条件，例如：第二预设条件为红外热图像。
又例如：在关节炎诊断应用场景中，前景图像类别即为关节图像类别，背景图像类别即为非关节图像类别。其中，属于关节图像类别的图像中包含有关节影像或包含有满足第二预设条件的关节影像；属于非关节图像类别的图像中不包含关节影像或不包含满足第二预设条件的关节影像。在实际应用中，可根据实际需要来设定第二预设条件，例如：第二预设条件为：关节影像需为X光影像或者关节影像需为X光正位影像。
待处理图像可以为JPGE格式或医疗DICOM格式，本申请对此不做具体限定。除以上应用场景以外，本申请实施例提供的技术方案还可应用在其他应用场景中，本申请实施例对此不做具体限定。
第一结果中可包括待处理图像所属图像类别，或者，第一结果中可包括待处理图像属于前景图像类别的概率和/或属于背景图像类别的概率。
需要说明的是，神经网络模型中第一网络层的数量以及至少一个第一网络层之间的连接关系可根据实际需要来设定，本实施例对此不做具体限定。
至少一个第一网络层的具体结构可根据实际需要来设置，本实施例对此不做具体限定。在一实例中，如图2所示，至少一个第一网络层中可包括：池化层(Pooling)、全连接层(Fullyconnect)和归一化层(Softmax)级连构成。图2中的箭头方向为数据流转方向。池化层可为最大化池化(maxpooling)层或平均池化(averagepooling)层，图2中s为池化操作的窗口大小或步长，c为全连接层输出通道数，本实施例中c＝2，全连接层输出计作[Y1，Y2]。Softmax层对全连接层输出做归一化操作，如公式(1)所示，其中Pg表示待处理图像属于前景图像类别的概率。在本实施例中，第一结果中包括的是待处理图像属于前景图像类别的概率。
Figure BDA0002048432330000111
上述102中，在机械连接结构的损伤检测应用领域中，所述目标指的是机械连接结构，属性分级指的是损伤分级，属性级别即为损伤级别，损伤级别越高，损伤越严重；在产品的品质检测应用领域中，所述目标指的是产品，属性分级指的是品质分级，属性级别即为品质级别，品质级别越高，品质越好。在关节炎检测应用领域，所述目标指的是关节，属性分级指的是关节炎分级，属性级别即为关节炎级别，关节炎级别越高，关节炎越严重。
第二结果中可包括目标位置与目标所属属性级别，或者，第二结果中可包括多个预测区域对应的定位参数与多个预设区域中各预测区域属于多个不同的属性级别的概率。所述多个不同的属性级别中包括第一属性级别，第一属性级别即为：背景类别(可设置对应的标签值为0)。在机械连接结构的损伤检测应用场景中，可根据实际情况，预先设置：损伤级别除上述背景类别以外，还包括零级(可设置对应的标签值为1)、一级(可设置对应的标签值为2)、二级(可设置对应的标签值为3)、三级(可设置对应的标签值为4)、四级(可设置对应的标签值为5)，零级可表示正常、未损伤。
在一实例中，定位参数具体可以为4个平移缩放参数。例如：多个预测区域包括第一预测区域，第一预测区域对应的anchor区域的边界框通过第一预测区域对应的4个平移缩放参数可变换到第一预测区域的边界框。利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级的过程中，会在待处理图像上生成大量的anchor区域，每个anchor区域都会对应生成一个预测区域。
当然，在另一实例中，第一预测区域对应的定位参数具体可以为第一预测区域的中心点横纵坐标以及高宽，第一预测区域的中心点横纵坐标以及宽高可以根据第一预测区域对应的anchor区域的边界框以及第一预测区域对应的4个平移缩放参数确定的，具体确定方式将在下述各实施例中详细介绍。
上述103中，考虑到：当待处理图像为背景图像类别时，待处理图像中不包含目标影像或不包含满足第二预设条件的目标影像。若直接基于至少一个第二网络层对待处理图像进行目标定位与目标属性分级得到的第二结果，确定神经网络模型的输出结果，输出结果的准确率是较低的，甚至会错误引导用户，很可能会造成用户的财产或人身损失。
为了提高输出结果的准确率以及避免上述不合理情况的出现，需要对待处理图像进行图像分类，综合图像分类得到的第一结果和目标定位与目标属性分级得到的第二结果，来确定神经网络模型的输出，可有效提高输出结果的可靠性，减低误检率。
在一实例中，可基于第二结果，确定出目标位置和目标属性级别；根据第一结果，确定出图像类别；将图像类别以及目标位置和目标属性级别作为神经网络模型的输出结果，以提供给用户。这样用户可自己基于图像类别，来判断目标位置和目标属性级别是否可信的。例如：若神经网络模型的输出结果显示图像类别为前景图像类别，则可判断神经网络模型输出的目标位置和目标属性级别是可信的；若神经网络模型的输出结果显示图像类别为背景图像类别，则可判断神经网络模型输出的目标位置和目标属性级别是不可信的。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。此外，利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并结合图像分类结果和目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
在一种可实现的方案中，上述103中“根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果”，可包括：
1031、所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
上述1031中，第一结果满足第一预设条件，即判断出待处理图像属于前景图像类别，第一结果不满足第一预设条件，可判断出待处理图像属于背景图像类别。
在实际应用中，第一预设条件可根据实际需要来设定。在一实例中，当第一结果中包括的是待处理图像所属图像类别时，可将第一预设条件设置为前景图像类别，第一结果中包括的待处理图像所属图像类别为前景图像类别时，即第一结果满足第一预设条件。在另一实例中，当第一结果中包括的是待处理图像属于前景图像类别的概率时，可将第一预设条件设置为大于或等于预设阈值，第一结果中包括的待处理图像属于前景图像类别的概率大于或等于预设阈值时，即第一结果满足第一预设条件。具体的，上述方法，还可包括：所述第一概率大于或等于所述预设阈值时，确定所述第一结果满足所述第一预设条件；所述第一概率小于所述预设阈值时，确定所述第一结果不满足所述第一预设条件。其中，预设阈值可根据实际情况来设定，本实施例对此不做具体限定，例如，可设置为0.5。
在一种可实现的方案中，上述103中“根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果”，还可包括：
1032、所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
上述1032中，第一结果不满足第一预设条件时，可判定第二结果是不准确的，直接过滤掉第二结果，神经网络模型输出为空的结果。
通常，神经网络模型中至少一个第二网络层对待处理图像进行目标定位与目标属性分级得到的第二结果中包括多个预测区域对应的定位参数以及所述多个预测区域中各预测区域属于多个不同的属性级别的概率。这多个预测区域中存在一些冗余的重复预测区域，这些冗余的重复预测区域是需要过滤掉的。具体地，上述1031中“基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果”，可采用如下步骤来实现：
S11、根据所述多个预测区域对应的定位参数，对所述多个预测区域进行重复预测区域的过滤处理。
S12、根据过滤处理后剩下的预测区域对应的定位参数及其属于多个不同的属性级别的概率，确定所述输出结果。
上述S11中，在具体实施时，可采用NMS(非极大值抑制，Non-MaximumSuppression)过滤掉重复预测区域，采用NMS过滤掉重复预测区域的具体实现方式可参见现有技术，在此不再详述。当然，还可采用其他方式过滤掉重复预测区域，本实施例对此不做具体限定。
上述S12中，通常，过滤处理后剩下的预测区域的数量与待处理图像中目标的数量一致，例如：待处理图像中目标的数量为两个，则过滤处理后剩下的预测区域的数量为两个。根据过滤处理后剩下的预测区域对应的定位参数及其属于多个不同的属性级别的概率，确定所述输出结果。过滤处理后剩下的预测区域属于多个不同的属性级别的概率为：Pl，其中，下标l的取值为多个不同的属性级别对应的标签值，例如为：0、1、2、3、4和5。其中，标签值为0，表示背景类别。
pl＝argmax Pl (2)
上述公式(2)中argmax为取预测区域的概率最大属性级别。
当过滤处理后剩下的预测区域对应的定位参数为4个平移缩放参数(ox，oy，ow，oh)时，可根据该预测区域对应的anchor区域边界框的中心点横纵坐标(ax，ay)及宽高(aw，ah)和这4个平移缩放参数(ox，oy，ow，oh)，计算得到预测区域边界框的中心点横纵坐标
Figure BDA0002048432330000141
及宽高
Figure BDA0002048432330000142
其中，ox为横轴的平移参数，oy为纵轴的平移参数，ow为宽的缩放参数，oh为高的缩放参数。具体计算方法可参见下述公式(3)至(8)：
Figure BDA0002048432330000151
Figure BDA0002048432330000152
Figure BDA0002048432330000153
Figure BDA0002048432330000154
Figure BDA0002048432330000155
Figure BDA0002048432330000156
其中，AS为anchor区域面积，AR为高宽比。
这样，神经网络模型的输出结果为pl以及
Figure BDA0002048432330000157
考虑到第二结果中的多个预测区域中存在背景类别的预测区域，这样的预测区域也是需要过滤掉的。具体地，在对所述多个预测区域进行重复预测区域的过滤处理之前，上述方法，还包括：
104a、将所述各预测区域的概率最大属性级别确定为所述各预测区域所属属性级别。
104b、过滤掉所述多个预测区域中所属属性级别为第一属性级别的预测区域。
其中，第一属性级别即为背景类别。将多个预测区域中所属属性级别为背景类别的预测区域过滤掉。
在实际应用中，上述神经网络模型中还可包括：至少一个第三网络层。具体地，上述方法，还可包括：
105、利用所述至少一个第三网络层对所述待处理图像进行特征提取，得到多个不同尺度大小的特征图。
106、根据所述多个不同尺度大小的特征图，确定所述至少一个第一网络层和所述至少一个第二网络层的输入数据。
上述105中，所述至少一个第三网络层可对待处理图像进行逐级特征提取，以得到多个不同尺度大小的特征图。尺度大小越小的特征图具有越高级的语义信息，尺度大小越大的特征图具有越多的细节信息。
至少一个第三网络层的具体结构可根据实际需要来设定，本实施例对此不做具体限定。至少一个第三网络层可构成卷积网络。由于卷积网络具有不需要手工设计复杂的特征，提取的特征对缩放、平移、旋转等具有不变性，特征表达能力强和泛化性好的优点，被选用提取图片特征。例如：至少一个第三网络层构成：ResNet网络，具体可以构成Resnet101网络。
在一实例中，图3a示出了Resnet101网络的概略图，Resnet101网络由第一残差子网络301、第二残差子网络302、第三残差子网络303第四残差子网络304、第五残差子网络305级连构成，其中，第五残差子网络305的层级最高。第一残差子网络301由卷积convolution、归一化操作batchnormalization、激活函数relu和池化maxpooling级连构成；第二残差子网络302、第三残差子网络303、第四残差子网络304、第五残差子网络305均由DownsampleResBlock模块和N个ResBlock模块级连构成。图3中，k为卷积操作中卷积核尺寸，s为卷积或池化操作中步长，p为卷积操作中padding值，c为卷积操作中通道数，C、S和N均为当前残差子网络的设置值。
为了进一步提高神经网络模型的感受野和模型的表达能力，可在ResNet网络基础上增加一个残差子网络，即所述至少一个第三网络层构成：ResNet网络以及与所述ResNet网络中层级最高残差子网络连接的第六残差子网络。
具体地，本实施例在Resnet101基础增加与第五残差子网络连接的第六残差子网络306。第六子残差网络由DownsampleResBlock模块和1个ResBlock模块级连构成，如图3b所示。
图4示出了DownsampleResBlock模块的概略图，图5示出了ResBlock模块的概略图。图4和图5中的Expandsion为通道数扩展倍数(具体数值可以为4)，+号为element-wise加法操作。
上述106中，可在多个不同尺度大小的特征图中选取至少一个特征图作为至少一个第一网络层和至少一个第二网络层的输入数据。这样，至少一个第一网络层的图像分类处理和至少一个第二网络层的目标定位与目标属性分级处理可共享至少一个第三网络层的特征提取结果，可提高模型处理速度。
上述106中“根据所述多个不同尺度大小的特征图，确定所述至少一个第一网络层的输入数据”，具体为：将所述多个不同尺度大小的特征图中尺度大小最小的特征图作为所述至少一个第一网络层的输入数据。尺度大小最小的特征图具有泛化性好以及表达能力强的优点，将其作为至少一个第一网络层的输入数据，可提供至少一个第一网络层的图像分类的准确率。
为了提高神经网络模型对不同尺度大小的目标定位与目标属性分级能力，可将多个不同尺度大小的特征图中至少两个尺度大小的特征图作为至少一个第二网络层的输入。这样，至少一个第二网络层可分别基于不同尺度大小的特征图进行目标定位与目标属性分级。通常来说，尺度大小小的特征图，由于感受野大，因此利于检测出尺度较大的目标；尺度大小大的特征图，由于感受野小，因此，有利于检测出尺度较小的目标。
为了进一步提高至少一个第二网络层对待处理图像的目标定位与目标属性分级的准确率，上述神经网络模型中还可包括至少一个第四网络层，以对多个不同尺度大小的特征图进行高低级语义特征融合，得到多个融合特征图。具体地，上述105中“根据所述多个不同尺度大小的特征图，确定所述至少一个第二网络层的输入数据”，具体可采用如下步骤来实现：
1051、从所述多个不同尺度大小的特征图中，确定出至少两个特征图。
1052、将所述至少两个特征图输入至所述至少一个第四网络层中，得到至少两个不同尺度大小的融合特征图。
1053、将所述至少两个不同尺度大小的融合特征图作为所述至少一个第二网络层的输入数据。
上述1052中，至少一个第四网络层的具体结构可根据实际需要来设置。例如：至少一个第四网络层构成FPN(feature pyramid networks，特征金字塔网络)。通过FPN网络得到至少两个不同尺度大小的融合特征图。至少一个第四网络层的输出融合特征图的数量等于输入至所述至少一个第四网络层的特征图的数量。由于融合特征图中即包含高级的语义信息又包含低级的细节信息，可有效提高至少一个第二网络层的目标定位与目标属性分级的准确度。
在一实例中，如图6所示，该FPN网络中可包括级连的4个上采样子网络：第一上采样子网络(即图中的UpSample1)，第二上采样子网络(即图中的UpSample2)，第三上采样子网络(即图中的UpSample3)和第四上采样子网络(即图中的UpSample4)。图7中示出了每一个上采样子网络的内部概略图，每一个上采样子网络有两个输入：input1和input2，图7中Deconv对应于Deconvolution，即反卷积层。
如图6所示，本发明中第一上采样子网络(即图中的UpSample1)以第六残差子网络(即图6中block6)的输出作为其输入input1，其input2输入为空。第二上采样子网络(即图中的UpSample2)以第五残差子网络(即图6中block5)的输出作为其输入input1，第一上采样子网络(即图中的UpSample1)的输出作为其input2。第三上采样子网络(即图中的UpSampl3)以第四残差子网络(即图6中block4)的输出作为其输入input1，第二上采样子网络(即图中的UpSample2)的输出作为其input2。第四上采样子网络(即图中的UpSample4)以第三残差子网络(即图6中block3)的输出作为其input1，第三上采样子网络(即图中的UpSample3)的输出作为其input2。图6中block1指代的是第一残差子网络，block2指代的是第二残差子网络。block1和block2输出的特征图的语义较低，故不作为至少一个第二网络层的输入。
如图6所示，至少一个第二网络层构成了四个目标定位与目标属性分级子网络：第一目标定位与目标属性分级子网络(即图中的LocateAndClassify1)、第二目标定位与目标属性分级子网络(即图中的LocateAndClassify2)、第三目标定位与目标属性分级子网络(即图中的LocateAndClassify3)以及第四目标定位与目标属性分级子网络(即图中的LocateAndClassify4)。图8示出了每一个目标定位与目标属性分级子网络的内部结构。Clocate为anchornums*4，Cclass为anchornums*classnums，其中，anchornums为Anchor区域的不同高宽比例的种数，通常为3，具体的高宽比分别为1:1，1:2，2:1。classnums为属性级别数量。
可将第一上采样子网络的输出作为第一目标定位与目标属性分级子网络的输入，可将第二上采样子网络的输出作为第二目标定位与目标属性分级子网络的输入，可将第三上采样子网络的输出作为第三目标定位与目标属性分级子网络的输入，可将第四上采样子网络的输出作为第四目标定位与目标属性分级子网络的输入。
需要说明的是，第一目标定位与目标属性分级子网络(即图中的LocateAndClassify1)、第二目标定位与目标属性分级子网络(即图中的LocateAndClassify2)、第三目标定位与目标属性分级子网络(即图中的LocateAndClassify3)以及第四目标定位与目标属性分级子网络(即图中的LocateAndClassify4)对应的优选anchor区域面积依次减小，例如：分别为64*64，32*32，16*16，8*8。
需要补充的是，图2到图8中图中的箭头均表示数据流转方向。
为了提供神经网络模型的处理速度，上述各目标定位与目标属性分级子网络可设计成端到端one-stage结构。
下面将详细介绍一种神经网络模型系统，该神经网络模型系统具体包括：至少一个第一网络层、至少一个第二网络层和确定模块。其中，至少一个第一网络层，用于对所述待处理图像进行图像分类，得到第一结果；至少一个第二网络层，用于对所述待处理图像进行目标定位与目标属性分级，得到第二结果；确定模块，用于根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
上述至少一个第一网络层、至少一个第二网络层和确定模块的处理过程具体可参见上述各实施例中相应内容，在此不再赘述。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络系统，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。此外，利用神经网络系统中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并结合图像分类结果和目标定位与目标属性分级结果确定神经网络系统的最终输出结果，可进一步降低神经网络系统的误检率。
进一步的，上述系统，还包括：至少一个第三网络层，用于对所述待处理图像进行特征提取，得到用于确定所述至少一个网络层和所述至少一个第二网络层的输入数据的多个不同尺度大小的特征图。
其中，至少一个第三网络层的处理过程以及至少一个第三网络层的具体结构可参见上述各实施例中相应内容，在此不再赘述。
进一步的，所述至少一个第三网络层中用于输出所述多个不同尺度大小的特征图中尺度大小最小的特征图的第三网络层与所述至少一个第一网络层中用于接收所述尺度大小最小的特征图的第一网络层连接，即将尺度大小最小的特征图作为至少一个第一网络层的输入。
进一步的，所述至少一个第三网络层构成：ResNet网络以及与所述ResNet网络中层级最高残差子网络连接的第六残差子网络。
进一步的，上述系统还可包括：至少一个第四网络层，用于对所述至少一个第三网络层输出的多个不同尺度大小的特征图中至少两个特征图进行特征融合，得到至少两个不同尺度大小的融合特征图；并将所述至少两个不同尺度大小的融合特征图作为所述至少一个第二网络层的输入；所述至少一个第三网络层中用于分别输出所述至少两个特征图的至少两个第三网络层与所述至少一个第四网络层中用于分别接收所述至少两个特征图的至少两个第四网络层一一对应连接；所述至少一个第四网络层中用于分别输出所述至少两个不同尺度大小的融合特征图的至少两个第四网络层与所述至少一个第二网络层中用于分别接收所述至少两个不同尺度大小的融合特征图的至少两个第二网络层一一对应连接。
其中，至少一个第四网络层的处理过程以及具体结构可参见上述各实施例中相应内容，在此不再赘述。
下面将结合图9介绍一种上述神经网络模型的模型训练方法，如图9所示，该训练方法包括：
901、利用神经网络模型中至少一个第一网络层对所述样本图像进行图像分类。
902、利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级。
903、基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层。
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级。
上述901中，在训练阶段，至少一个第一网络层对样本图像进行图像分类的处理过程与在应用阶段对待处理图像进行图像分类的处理过程是一样的，因此，至少一个第一网络层对样本图像进行图像分类的处理过程可参照上述各实施例中对待处理图像进行图像分类的处理过程，在此不做赘述。
上述902中，至少一个第二网络层在训练阶段对样本图像进行目标定位与目标属性分级的处理过程与在应用阶段对待处理图像进行目标定位与目标属性分级的处理过程是一样的，因此，至少一个第二网络层对样本图像进行目标定位与目标属性分级的处理过程可参照上述各实施例中对待处理图像进行目标定位与目标属性分级的处理过程，在此不做赘述。
上述903中，与样本图像相关的样本信息可理解为样本图像的标注信息。在样本信息中可包含有样本图像的真实图像类别。当样本图像为前景图像类别时，样本信息中还会包括：目标标注区域的中心点横纵坐标与宽高，以及目标标注区域所属的真实属性级别。当样本图像为背景图像类别时，样本信息中则不会包括目标标注区域的中心点横纵坐标与宽高，以及目标标注区域所属的真实属性级别等相关信息。
可根据样本信息中的样本图像的真实图像类别或样本信息中是否存在有关目标标注区域的相关信息，来确定需要被优化的网络层。
在一实例中，上述903中“基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层”，具体可采用如下步骤来实现：
9031、根据所述样本信息，确定所述样本图像的真实图像类别。
9032、所述样本图像的真实图像类别为背景图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层。
9033、所述样本图像的真实图像类别为前景图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
当所述样本图像的真实图像类别为背景图像类别时，用于目标定位与目标属性分级的所述至少一个第二网络层无需进行优化，避免了错误优化导致的网络收敛慢的问题。
所述样本图像的真实图像类别为前景图像类别时，由于预测的最终结果由所述至少一个第一网络层和所述至少一个第二网络层共同来决定，故需要对所述至少一个第一网络层和所述至少一个第二网络层都进行优化。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并在图像分类结果满足第一预设条件时，再基于目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
进一步的，在将所述至少一个第一网络层确定为需要被优化的网络层之后，上述方法，还包括：根据图像分类得到的第一预测结果与所述样本图像的第一期望结果，计算第一损失值。根据第一损失值，对至少一个第一网络层进行参数优化。第一损失值Lg可采用交叉墒损失函数来计算，具体可参见公式(9)：
Lg＝-I(label1＞0)*logPg-I(label1＝＝0)*log(1-Pg) (9)
其中，I()函数为条件判断函数，条件为真时，其函数值为1，条件为假时，其函数值为0。Pg为第一预测结果中样本图像属于前景图像类别的概率。
进一步的，在将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层之后，所述方法，还包括：
904、根据所述图像分类得到的第一预测结果与所述样本图像的第一期望结果，计算第一损失值。
905、根据所述目标定位与目标属性分级得到的第二预测结果与所述样本图像的第二期望结果，计算第二损失值。
906、结合所述第一损失值和所述第二损失值，对所述至少一个第一网络层和所述至少一个第二网络层进行参数优化。
上述904中计算第一损失值的方法可上述实施例中相应内容，在此不再赘述。
上述905中，所述第二预测结果中包括预测区域对应的预测定位参数以及预测区域属于多个不同的属性级别的预测概率。第二期望结果中包括所述预测区域的期望属性级别以及预测区域对应的期望定位参数。需要说明的是，预测区域的期望属性级别可采用如下方式来确定：预测区域对应的anchor区域与目标标注区域之间的重叠度超过第一设定阈值(例如：0.7)，则认为该预测区域为正样本，且该预测区域的期望属性级别即为目标标注区域的真实属性级别；预测区域对应的anchor区域与目标标注区域之间的重叠度低于第二设定阈值(例如：0.3)，则认为该预测区域为负样本，且该预测区域的期望属性级别即为背景类别。第一设定阈值大于第二设定阈值。若预测区域对应的anchor区域与目标标注区域之间的重叠度介于第一设定阈值和第二设定阈值之间，则忽略该预测区域，不计算该预测区域对应的任何损失值。以定位参数为4个平移缩放参数为例，介绍预测区域对应的期望定位参数的确定方式：根据目标标注区域边界框的中心点横纵坐标(boxtx、boxty)与宽高(boxw、boxh)以及预测区域对应的anchor区域边界框的中心点横纵坐标(ax，ay)及宽高(aw，ah)，确定预测区域对应的期望定位参数(tx，ty，tw，th)。具体可利用如下公式(10)(11)、(12)和(13)来实现：
Figure BDA0002048432330000241
Figure BDA0002048432330000242
tw＝log(boxw/aw) (12)
th＝log(boxh/ah) (13)
可根据现有技术的计算方法，来计算第二损失值，本实施例对此不做限定。
上述906中，可计算预测区域对应的总损失值L，可对第一损失值L1和第二损失值L2进行求和，以得到总损失值L，或者将第一损失值和第二损失值进行加权求和，得到总损失值L。根据总损失值L，对所述至少一个第一网络层和所述至少一个第二网络层进行参数优化。具体优化方式可参见现有技术，在此不再赘述。
在本实施例中，设计图像分类、目标定位与目标属性分级联合损失函数，实现图像分类、目标定位与目标属性分级的联合优化，这种多任务的联合优化能够提升模型表达能力。
在一实例中，所述第二预测结果中包括预测区域属于多个不同的属性级别的预测概率以及所述预测区域的预测定位参数；所述第二期望结果中包括所述预测区域的期望属性级别以及所述预测区域的期望定位参数。上述905中“根据所述目标定位与目标属性分级得到的第二预测结果与所述样本图像的第二期望结果，计算第二损失值”，具体可采用如下步骤来实现：
9051、将所述预测区域的预测概率最大属性级别确定为所述预测区域的预测属性级别。
9052、计算所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的偏离程度，以得到第三损失值。
9053、根据所述预测区域属于多个不同的属性级别的预测概率以及所述期望属性级别，计算第四损失值。
9054、计算所述预测区域的预测定位参数与所述预测区域的期望定位参数的欧式距离，得到第五损失值。
9055、综合所述第三损失值、所述第四损失值和所述第五损失值，确定所述第二损失值。
上述9052中，属性级别之间具有序数关系，例如：损伤级别越高，表征损伤越严重；品质级别越高，表征品质越好；关节炎级别越高，表征关节炎越严重。属性级别间具有相关性，即相邻属性级别之间的属性相似。属性级别距离越近，属性越相似；属性级别距离越远，属性差异性越大。例如：典型关节炎分级方案中，属性级别划分为0(其中，0代表背景类别)、1、2、3、4、5类，数字增加表征炎症严重性增加。为了利用这种属性级别之间的相关性，抑制属性级别错分，本发明关节炎分级损失函数包括交叉墒损失和距离损失ldistance，距离损失ldistance通过计算预测属性级别p_l和真实属性级别label2的偏离程度得到，可使得神经网络模型在训练后，预测的属性级别与真实实现级别越靠近。偏离程度可以为所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的绝对差或平分差。平分差也即是所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的欧式距离Ldistance，可采用如下公式(14)来计算。
上述9053中，可采用交叉墒损失函数来计算第四损失值。具体可利用如下公式(15)来计算。
上述9054中，可采用如下公式(16)来计算第五损失值Llocation。
Ldistance＝(label2-pl)2 (14)
Figure BDA0002048432330000261
Llocation＝I(label2＞0)*((ox-tx)2+(oy-ty)2+(ow-tw)2+(oh-th)2) (16)
其中，pl为预测区域的预测属性级别，label2为预测区域的期望属性级别。Pl预测区域属于l类别的预测概率。l＝0，表示背景类别。I(label2＞0)表明当预测区域为正样本时，按照公式16来计算第五损失值，当预测区域为负样本时，预测区域的第五损失值为0。需要说明的是，本处未定义的字母可参见上述各实施例中相应内容，在此不再赘述。
上述9055中，可对第三损失值、所述第四损失值和所述第五损失值进行求和或加权求和，得到第二损失值L2。具体可采用如下公式来实现：
L2＝Llocation+Lclassify+λLdistance (17)
其中，λ的值可根据实际需要来设定，本申请实施例对此不做具体限定，例如：λ可大于0且小于1。
需要补充的是，第二预测结果中的预测区域的数量通常为多个。可按照上述实施例中的方法，从多个预测区域中确定出多个正样本预测区域和多个负样本预测区域。可将第一损失值L1以及多个正样本预测区域和多个负样本预测区域各预测区域对应的第二损失值L2进行求和，得到总损失值L。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
需要补充的是，为提高网络收敛速度以及处理速度，对样本图像或待处理图的像素值进行归一化处理，具体可采用如下公式(18)(19)和(20)来实现：
V′XY＝(VXY-V)/S2 (18)
Figure BDA0002048432330000271
Figure BDA0002048432330000272
其中V表示训练集中像素均值，S表示训练集中像素标准差，N为训练集中样本的数量。W为样本图像或待处理图的宽像素值，H为样本图像或待处理图的高像素值，vnxy为第n个样本图像中横坐标为x，纵坐标为y处像素点的像素值。
此外，在训练阶段和应用阶段，都可将待处理图像或样本图像缩放至指定尺寸，例如：512*512。
可采用随机数据增强的方式来增加训练集中的样本图像的数量，能够有效提升模型的效果。下面列出了几种典型的数据增强方法：
假设随机数据增强处理的输入图像宽和高分别为width和height，(如图20所示)。
随机Expand：
产生(min_expand_ratio,max_expand_ratio)区间的随机整数ratio；以width*ratio、height*ratio为宽、高生成一张背景图片，背景图片中像素填充值为0；产生(0,width*ratio-width)区间的随机整数left，产生(0,height*ratio-height)区间的随机整数top；将输入影像中像素值复制至背景图片中以(left，top)为起始点至(left+width，top+height)为终止点区域。随机Expand过程中min_expand_ratio,max_expand_ratio优选值分别为1和4，生成的随机Expand影像结果如图21所示。
随机Crop：
产生(0，width*ratio)区间随机数left_crop,产生(0，height*ratio)区间随机数top_crop；产生(left_crop，width*ratio)区间随机数right_crop,产生(top_crop，height*ratio)区间随机数down_crop；裁剪区域左上角(left_crop，top_crop)至右下角(right_crop，down_crop)区域，记生成影像宽、高分别为width1和height1，width1＝right_crop-left_crop，height1＝down_crop-top_crop；如图22所示。
随机Mirror：
以概率P对图片做镜像操作，输出图片为原图或镜像后的影像，镜像图片如下图所示。P优选值为0.5。如图23所示。
随机Rotate：
生成[0,4)区间随机整数count，顺时针旋转图片90*count；图展示count＝1的情况。如图24所示。
随机仿射变化：
为进一步扩充训练样本的数量和增加训练样本的多样性，同时为适应拍摄影像时由于相机相对影像距离、方位等变化造成呈像结果的不同，采用随机仿射变化影像。
公式21描述了仿射变化矩阵，A为仿射变化矩阵，表示将原坐标系中点(x,y)变化至目标坐标系中点(X，Y)。其中x为原坐标系的横坐标，y为原坐标系的纵坐标。X为目标坐标系的横坐标，Y为目标坐标系的纵坐标。
Figure BDA0002048432330000281
根据所述目标坐标系的横坐标、纵坐标及原坐标系的像素值，通过下述公式(22)、(23)和(24)获取目标坐标系的像素值。其中VXY表述目标坐标系中横坐标为X，纵坐标为Y的点像素值，vxy表述源坐标系中横坐标为x，纵坐标为y的点像素值，I(condition)进行条件判断，条件condition为真时，I(condition)为1，否则为0。W、H分别为原坐标系中图片的宽和高。
Figure BDA0002048432330000282
Figure BDA0002048432330000291
Figure BDA0002048432330000292
下面将结合图10介绍一种信息处理系统，该系统包括：客户端100和服务端200。
所述客户端100，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端200；
所述服务端200，用于利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；并将所述输出结果返回至所述客户端100。
其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。
客户端100可显示操作界面，以供用户输入待处理图像。
上述服务端200的具体处理过程可参见上述各实施例中相应内容，在此不再赘述。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并结合图像分类结果和目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
图11示出了一种信息显示方法的流程示意图。如图11所示，该方法，包括：
1201、显示操作界面，以供用户输入待处理图像。
1202、第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息。
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
上述1201中，用户可通过手机、电脑等终端设备显示的操作结果输入待处理图像。
可在操作界面上点击按钮“上传我的影像”，操作界面弹出选择框：“从相册选择”和“拍照”这两个选择框，用户从相册中选择影像或者拍摄图片后，点击开始检测后，终端设备通过网络上传待处理图像至服务端以由服务端进行检测，或由终端设备自己进行检测。
上述1202中，第一结果满足第二预设条件，也即是第一结果不满足第一预设条件；第一结果不满足第二预设条件，也即是第一结果满足第一预设条件。可根据上述各实施例中第一预设条件的内容，来相应设置第二预设条件的内容，在此不再赘述。
显示有关目标定位与目标属性分级失败的提示信息。所述提示信息中包括：导致目标定位与目标属性分级失败的原因。在不同的应用场景中，提示信息内容也会有所不同。例如：机械连接结构的损伤检测应用场景中，提示信息可以为：待处理图像不是机械连接结构图像，待处理图像不是超声波图像等等。再例如：关节炎诊断应用场景中，提示信息可以为：“您上次的不是膝关节部位X光片”，“您上次的是膝关节侧位片，目前系统只能读取膝关节正位片”以及拍摄的图片不清晰或包含背景杂物，干扰了智能算法的视线。
此外，还可在提示信息的周围显示用于重新选择图片的控件，这样用户可通过点击该控件即可重新选择图片。
在本实施例中，第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息，而不是去显示错误的目标位置和目标属性级别，可避免对用户产生错误的诱导，影响用户体验。
进一步的，上述方法，还可包括：
1203、所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中标注目标位置及目标属性级别。
其中，所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行目标定位与目标属性分级得到的第二结果确定的。
上述1203中，可用边界框框出目标位置，在边界框的周围显示目标属性级别。
除此之外，还可在待处理图像的周围显示有关目标属性级别的报告分析内容，以帮助用户进一步了解。具体地，可响应于用户针对待处理图像周围显示的报告分析控件的触发操作，显示相关的报告分析内容。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并在图像分类结果满足第一预设条件时，再基于目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
图12示出了一种电子设备的结构框图。如图12所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
其中，神经网络模型中包括至少一个第一网络层和至少一个第二网络层。该神经网络模型是事先训练好的神经网络模型，将在下述各实施例中详细介绍一种该神经网络模型的训练方法。
在一实例中，对待处理图像进行图像分类可以是对待处理图像进行图像二分类，即进行关节图像类别和非关节图像类别的图像分类。属于关节图像类别的图像中包含有关节影像或包含有满足第二预设条件的关节影像；属于非关节图像类别的图像中不包含关节影像或不包含满足第二预设条件的关节影像。在实际应用中，可根据实际需要来设定第二预设条件，例如：第二预设条件为：关节影像需为X光影像或者关节影像需为X光正位影像。
第一结果中可包括待处理图像所属图像类别，或者，第一结果中可包括待处理图像属于关节图像类别的概率和/或属于非关节图像类别的概率。
需要说明的是，神经网络模型中第一网络层的数量以及至少一个第一网络层之间的连接关系可根据实际需要来设定，本实施例对此不做具体限定。
关节炎级别越高，关节炎越严重。第二结果中可包括关节位置与关节所属关节炎级别，或者，第二结果中可包括多个预测区域对应的定位参数与多个预设区域中各预测区域属于多个不同的关节炎级别的概率。所述多个不同的关节炎级别中包括第一属性级别，第一关节炎级别即为：背景类别(可设置对应的标签值为0)。可根据实际情况，预先设置关节炎级别，关节炎级别除上述背景类别以外，还可包括零级(可设置对应的标签值为1)、一级(可设置对应的标签值为2)、二级(可设置对应的标签值为3)、三级(可设置对应的标签值为4)、四级(可设置对应的标签值为5)，零级表示正常。
考虑到：当待处理图像为非关节图像类别时，待处理图像中不包含关节影像或不包含满足第二预设条件的关节影像。若直接基于至少一个第二网络层对待处理图像进行关节定位与关节炎分级得到的第二结果，确定神经网络模型的输出结果，输出结果的准确率是较低的，甚至会错误引导用户，很可能造成用户的人身损失。
为了提供输出结果的可信度，需要对待处理图像进行图像分类，综合第一结果和第二结果，确定神经网络模型的输出，可有效提高神经网络模型的输出结果的可信度。
本申请实施例提供的技术方案中，提供了一种电子设备，该电子设备通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型对待处理图像进行关节炎检测，能够比较准确地检测出关节位置以及关节炎严重程度级别，可降低医院的人工成本及医生的误诊风险。此外，利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并结合图像分类结果和关节定位与关节炎分级结果确定神经网络模型的输出结果，可进一步降低神经网络模型的误检率。
在具体应用时，上述关节具体可以为膝关节。本申请中电子设备通过上述模型能准确地预测膝关节炎级别及关节位置，大大减少医生的诊断时间，降低漏诊和误诊。
其中，所述处理器，具体用于：
所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
第一结果满足第一预设条件，即判断出待处理图像属于关节图像类别；第一结果不满足第一预设条件，可判断出待处理图像属于非关节图像类别。
在实际应用中，第一预设条件可根据实际需要来设定。在一实例中，当第一结果中包括的是待处理图像所属图像类别时，可将第一预设条件设置为关节图像类别，第一结果中包括的待处理图像所属图像类别为关节图像类别时，即第一结果满足第一预设条件。
在另一实例中，当第一结果中包括的是待处理图像属于关节图像类别的概率时，可将第一预设条件设置为大于或等于预设阈值，第一结果中包括的待处理图像属于关节图像类别的概率大于或等于预设阈值时，即第一结果满足第一预设条件。具体的，上述方法，还可包括：所述第一概率大于或等于所述预设阈值时，确定所述第一结果满足所述第一预设条件；所述第一概率小于所述预设阈值时，确定所述第一结果不满足所述第一预设条件。其中，预设阈值可根据实际情况来设定，本实施例对此不做具体限定，例如，可设置为0.5。
通常，神经网络模型中至少一个第二网络层对待处理图像进行关节定位与关节炎分级得到的第二结果中包括多个预测区域对应的定位参数以及所述多个预测区域中各预测区域属于多个不同的关节炎级别的概率。这多个预测区域中存在一些冗余的重复预测区域，这些冗余的重复预测区域是需要过滤掉的。
具体过滤过程可参见上述各实施例中相应内容，在此不再赘述。
在本实施例中，是将上述各实施例中提供的神经网络模型的应用场景限定在关节定位与关节炎分级这样的应用场景中。本实施例中神经网络模型的具体处理过程以及具体结构可参照上述各实施例中相应内容，在此不再赘述。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参照前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现：利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。所述计算机程序被计算机执行时能够实现其它功能，具体可参照前面各实施例的描述。
图13示出了一种模型训练方法的流程示意图。如图13所示，该方法，包括：
1301、利用神经网络模型中至少一个第一网络层，对所述样本图像进行图像分类。
1302、利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级。
1303、基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层。
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级。
上述1301中，在训练阶段，至少一个第一网络层对样本图像进行图像分类的处理过程与在应用阶段对待处理图像进行图像分类的处理过程是一样的，因此，至少一个第一网络层对样本图像进行图像分类的处理过程可参照上述各实施例中对待处理图像进行图像分类的处理过程，在此不做赘述。
上述1302中，至少一个第二网络层在训练阶段对样本图像进行关节定位与关节炎分级的处理过程与在应用阶段对待处理图像进行关节定位与关节炎分级的处理过程是一样的，因此，至少一个第二网络层对样本图像进行关节定位与关节炎分级的处理过程可参照上述各实施例中对待处理图像进行关节定位与关节炎分级的处理过程，在此不做赘述。
上述1303中，与样本图像相关的样本信息可理解为样本图像的标注信息。在样本信息中可包含有样本图像的真实图像类别。当样本图像为关节图像类别时，样本信息中还会包括：关节标注区域的中心点横纵坐标与宽高，以及目标标注区域所属的真实属性级别。当样本图像为非关节图像类别时，样本信息中则不会包括关节标注区域的中心点横纵坐标与宽高，以及目标标注区域所属的真实属性级别等相关信息。
可根据样本信息中的样本图像的真实图像类别或样本信息中是否存在有关关节标注区域的相关信息，来确定需要被优化的网络层。
在一实例中，上述1303中“基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层”，具体可采用如下步骤来实现：
S1、根据所述样本信息，确定所述样本图像的真实图像类别。
S2、所述样本图像的真实图像类别为非关节图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层。
S3、所述样本图像的真实图像类别为关节图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
当所述样本图像的真实图像类别为非关节图像类别时，用于关节定位与关节炎分级的所述至少一个第二网络层无需进行优化，避免了错误优化导致的网络收敛慢的问题。
所述样本图像的真实图像类别为关节图像类别时，由于预测的最终结果由所述至少一个第一网络层和所述至少一个第二网络层共同来决定，故需要对所述至少一个第一网络层和所述至少一个第二网络层都进行优化。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并在图像分类结果满足第一预设条件时，再基于关节定位与关节炎分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
在本实施例中，是将上述各实施例中提供的神经网络模型的应用场景限定在关节定位与关节炎分级这样的应用场景中。本实施例中神经网络模型的训练过程以及具体结构可参照上述各实施例中相应内容，在此不再赘述。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述各实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
下面将结合图10介绍一种信息处理系统，该系统包括：客户端100和服务端200。
所述客户端100，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端200；
所述服务端200，用于利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；并将所述输出结果返回至所述客户端100。
其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。
客户端100可显示操作界面，以供用户输入待处理图像。
上述服务端200的具体处理过程可参见上述各实施例中相应内容，在此不再赘述。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并结合图像分类结果和关节定位与关节炎分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
图14示出了一种信息显示方法的流程示意图。如图14所示，该方法，包括：
1401、显示操作界面，以供用户输入待处理图像。
1402、第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息。
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
上述1401中，用户可通过手机、电脑等终端设备显示的操作结果输入待处理图像。
响应于用户在操作界面上针对第一控件1701(如图17所示的“上传我的影像”)的触发操作，在操作界面弹出多个选择框以供用户选择一种获取待处理图像的方式，例如：图18中所示的：“从相册选择”和“拍照”这两个选择框，响应于用户从相册中选择图片的选择操作或者拍摄图片的拍摄操作后，界面发生跳转，跳转至检测界面，响应于用户对检测界面上的第三控件(例如，图19所示“开始检测”)的触发操作，终端设备通过网络上传待处理图像至服务端以由服务端进行检测，或由终端设备自己进行检测。此外，还可在上述操作界面显示第二控件1702(如图17中所示的“如何用手机拍摄清晰的X线片”)，还可在上述检测界面上显示重选照片控件1902，以及第四控件1903(如图19中所示的“如何用手机拍摄清晰的X线片”)，响应于用户对第四控件或第二控件的触发，可向用户展示如何用手机拍摄清晰的X线片，以提高检测准确率。
上述1402中，第一结果满足第二预设条件，也即是第一结果不满足第一预设条件；第一结果不满足第二预设条件，也即是第一结果满足第一预设条件。可根据上述各实施例中第一预设条件的内容，来相应设置第二预设条件的内容，在此不再赘述。
如图25所示，显示有关关节定位与关节炎分级失败的提示信息。所述提示信息中包括：导致目标定位与目标属性分级失败的原因。例如：“您上次的不是膝关节部位X光片”，“您上次的是膝关节侧位片，目前系统只能读取膝关节正位片”以及拍摄的图片不清晰或包含背景杂物，干扰了智能算法的视线。还可在提示信息的周围显示重新选择图片控件，这样用户可通过点击该控件即可重新选择图片。
在本实施例中，第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息，而不是去显示错误的关节位置和关节炎级别，可避免对用户产生错误的诱导，影响用户体验。
进一步的，上述方法，还可包括：
1403、所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中显示关节位置及关节炎级别。
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行关节定位与关节炎分级得到的第二结果确定的。
上述1403中，可用边界框框出关节位置，并在边界框周围显示关节炎级别。如图26所示，用第一边界框263和第二边界框264分别框出左右膝关节位置，并在第一边界框263和第二边界框264的周围显示对应的关节炎级别，图26中所示的KL4级对应于上述标签值为5的关节炎级别。
除此之外，还可在待处理图像的周围显示有关关节炎级别的报告分析内容，以帮助用户进一步了解。具体地，可响应于用户针对待处理图像周围显示的报告分析控件的触发操作，显示相关的报告分析内容。如图26所示，还可在待处理图像的周围显示检查结果查看按钮261，响应于用户针对该检测结果查看按钮261，显示检查结果。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并在图像分类结果满足第一预设条件时，再基于关节定位与关节炎分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
图15示出了一种信息处理装置的结构框图。该信息处理装置，包括：分类模块1501、定位分级模块1502以及第一确定模块1503。其中，
分类模块1501，用于利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
定位分级模块1502，用于利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
第一确定模块1503，用于根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。此外，利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并在图像分类结果满足第一预设条件时，再基于目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
进一步的，第一确定模块1503，具体用于：
所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；
所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
进一步的，所述第一结果中包括所述待处理图像属于前景图像类别的第一概率；第一确定模块1503，还用于：
所述第一概率大于或等于所述预设阈值时，确定所述第一结果满足所述第一预设条件；
所述第一概率小于所述预设阈值时，确定所述第一结果不满足所述第一预设条件。
进一步的，所述第二结果中包括多个预测区域对应的定位参数以及所述多个预测区域中各预测区域属于多个不同的属性级别的概率；
第一确定模块1503，具体用于：
根据所述多个预测区域对应的定位参数，对所述多个预测区域进行重复预测区域的过滤处理；
根据过滤处理后剩下的预测区域对应的定位参数及其属于多个不同的属性级别的概率，确定所述输出结果。
进一步的，第一确定模块1503，在对所述多个预测区域进行重复预测区域的过滤处理之前，还具体用于：
将所述各预测区域的概率最大属性级别确定为所述各预测区域所属属性级别；
过滤掉所述多个预测区域中所属属性级别为第一属性级别的预测区域。
进一步的，所述神经网络模型还包括：至少一个第三网络层；以及
所述装置，还包括：
特征提取模块，用于利用所述至少一个第三网络层对所述待处理图像进行特征提取，得到多个不同尺度大小的特征图；
第二确定模块，用于根据所述多个不同尺度大小的特征图，确定所述至少一个第一网络层和所述至少一个第二网络层的输入数据。
进一步的，第二确定模块，具体用于：
将所述多个不同尺度大小的特征图中尺度大小最小的特征图作为所述至少一个第一网络层的输入数据。
进一步的，所述神经网络模型中还包括至少一个第四网络层；第二确定模块，具体用于：
从所述多个不同尺度大小的特征图中，确定出至少两个特征图；
将所述至少两个特征图输入至所述至少一个第四网络层中，得到至少两个不同尺度大小的融合特征图；
将所述至少两个不同尺度大小的融合特征图作为所述至少一个第二网络层的输入数据。
进一步的，所述至少一个第三网络层构成：ResNet网络以及与所述ResNet网络中层级最高残差子网络连接的第六残差子网络。
这里需要说明的是：上述实施例提供的信息处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图15示出了一种模型训练装置的结构框图。该信息处理装置，包括：分类模块1501、定位分级模块1502以及第一确定模块1503。其中，
分类模块1501，用于利用神经网络模型中至少一个第一网络层对所述样本图像进行图像分类。
定位分级模块1502，用于利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级。
第一确定模块1503，用于基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层。
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。此外，利用神经网络模型中不同网络层分别得到图像分类结果和目标定位与目标属性分级结果，并在图像分类结果满足第一预设条件时，再基于目标定位与目标属性分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
进一步的，所述第一确定模块1503，具体用于：
根据所述样本信息，确定所述样本图像的真实图像类别；
所述样本图像的真实图像类别为背景图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层；
所述样本图像的真实图像类别为前景图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
进一步的，在将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层之后，所述装置，还包括：
第一计算模块，用于根据所述图像分类得到的第一预测结果与所述样本图像的第一期望结果，计算第一损失值；
第二计算模块，用于根据所述目标定位与目标属性分级得到的第二预测结果与所述样本图像的第二期望结果，计算第二损失值；
优化模块，用于结合所述第一损失值和所述第二损失值，对所述至少一个第一网络层和所述至少一个第二网络层进行参数优化。
进一步的，所述第二预测结果中包括预测区域属于多个不同的属性级别的预测概率以及所述预测区域的预测定位参数；所述第二期望结果中包括所述预测区域的期望属性级别以及所述预测区域的期望定位参数；以及
第二计算模块，具体用于：
将所述预测区域的预测概率最大属性级别确定为所述预测区域的预测属性级别；
计算所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的偏离程度，以得到第三损失值；
根据所述预测区域属于多个不同的属性级别的预测概率以及所述期望属性级别，计算第四损失值；
计算所述预测区域的预测定位参数与所述预测区域的期望定位参数的欧式距离，得到第五损失值；
综合所述第三损失值、所述第四损失值和所述第五损失值，确定所述第二损失值。
进一步的，第二计算模块，具体用于：
计算所述预测区域的预测属性级别与所述预测区域对应的期望属性级别之间的欧式距离，以得到所述第三损失值。
这里需要说明的是：上述实施例提供的模型训练装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图16示出了一种信息显示装置的结构框图。如图16所示，该装置，包括：第一显示模块1601和第二显示模块1602。其中，
第一显示模块1601，用于显示操作界面，以供用户输入待处理图像；
第二显示模块1602，用于第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
在本实施例中，第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息，而不是去显示错误的目标位置和目标属性级别，可避免对用户产生错误的诱导，影响用户体验。
进一步的，所述第二显示模块1602，还用于：
所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中标注目标位置及目标属性级别；
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行目标定位与目标属性分级得到的第二结果确定的。
进一步的，所述提示信息中包括：导致目标定位与目标属性分级失败的原因。
这里需要说明的是：上述实施例提供的信息显示装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图15示出了一种模型训练装置的结构框图。该信息处理装置，包括：分类模块1501、定位分级模块1502以及第一确定模块1503。其中，
分类模块1501，用于利用神经网络模型中至少一个第一网络层，对所述样本图像进行图像分类；
定位分级模块1502，用于利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
第一确定模块1503，用于基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级。
本申请实施例提供的技术方案中，通过包括至少一个第一网络层和至少一个第二网络层的神经网络模型，对待处理图像进行检测，可有效提高检测准确度和检测效率，降低人力成本。利用神经网络模型中不同网络层分别得到图像分类结果和关节定位与关节炎分级结果，并在图像分类结果满足第一预设条件时，再基于关节定位与关节炎分级结果确定神经网络模型的最终输出结果，可进一步降低神经网络模型的误检率。
进一步的，第一确定模块1503，具体用于：
根据所述样本信息，确定所述样本图像的真实图像类别；
所述样本图像的真实图像类别为非关节图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层；
所述样本图像的真实图像类别为关节图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
这里需要说明的是：上述实施例提供的模型训练装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图16示出了一种信息显示装置的结构框图。如图16所示，该装置，包括：第一显示模块1601和第二显示模块1602。其中，
第一显示模块1601，用于显示操作界面，以供用户输入待处理图像；
第二显示模块1602，用于第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
在本实施例中，第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息，而不是去显示错误的关节位置和关节炎级别，可避免对用户产生错误的诱导，影响用户体验。
进一步的，第二显示模块1602，还用于：
所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中显示关节位置及关节炎级别；
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行关节定位与关节炎分级得到的第二结果确定的。
这里需要说明的是：上述实施例提供的信息显示装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
图12示出了本申请一实施例提供的电子设备的结构示意图。如图12所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的分割方法步骤或功能。
图12示出了本申请一实施例提供的电子设备的结构示意图。如图12所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的分割方法步骤或功能。
图12示出了本申请一实施例提供的电子设备的结构示意图。如图12所示，所述电子设备包括存储器1101以及处理器1102、显示器1104。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述显示器1104耦合；
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
控制所述显示器1104显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器1104显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的分割方法步骤或功能。
图12示出了本申请一实施例提供的电子设备的结构示意图。如图12所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对所述样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的分割方法步骤或功能。
图12示出了本申请一实施例提供的电子设备的结构示意图。如图12所示，所述电子设备包括存储器1101以及处理器1102、显示器1104。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
所述处理器1102，与所述显示器1104耦合；
所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于：
控制所述显示器1104显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器1104显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的。
其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
进一步，如图12所示，电子设备还包括：通信组件1103、电源组件1105、音频组件1106等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的分割方法步骤或功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (31)

1.一种信息处理方法，其特征在于，包括：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
2.根据权利要求1所述的方法，其特征在于，所述第一结果中包括所述待处理图像属于前景图像类别的第一概率；
所述方法，还包括：
所述第一概率大于或等于预设阈值时，确定所述第一结果满足所述第一预设条件；
所述第一概率小于所述预设阈值时，确定所述第一结果不满足所述第一预设条件。
3.根据权利要求1所述的方法，其特征在于，所述第二结果中包括多个预测区域对应的定位参数以及所述多个预测区域中各预测区域属于多个不同的属性级别的概率；
基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：
根据所述多个预测区域对应的定位参数，对所述多个预测区域进行重复预测区域的过滤处理；
根据过滤处理后剩下的预测区域对应的定位参数及其属于多个不同的属性级别的概率，确定所述输出结果。
4.根据权利要求3所述的方法，其特征在于，在对所述多个预测区域进行重复预测区域的过滤处理之前，所述方法，还包括：
将所述各预测区域的概率最大属性级别确定为所述各预测区域所属属性级别；
过滤掉所述多个预测区域中所属属性级别为第一属性级别的预测区域。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述神经网络模型还包括：至少一个第三网络层；以及
所述方法，还包括：
利用所述至少一个第三网络层对所述待处理图像进行特征提取，得到多个不同尺度大小的特征图；
根据所述多个不同尺度大小的特征图，确定所述至少一个第一网络层和所述至少一个第二网络层的输入数据。
6.根据权利要求5所述的方法，其特征在于，根据所述多个不同尺度大小的特征图，确定所述至少一个第一网络层的输入数据，包括：
将所述多个不同尺度大小的特征图中尺度大小最小的特征图作为所述至少一个第一网络层的输入数据。
7.根据权利要求5所述的方法，其特征在于，所述神经网络模型中还包括至少一个第四网络层；以及，
根据所述多个不同尺度大小的特征图，确定所述至少一个第二网络层的输入数据，包括：
从所述多个不同尺度大小的特征图中，确定出至少两个特征图；
将所述至少两个特征图输入至所述至少一个第四网络层中，得到至少两个不同尺度大小的融合特征图；
将所述至少两个不同尺度大小的融合特征图作为所述至少一个第二网络层的输入数据。
8.根据权利要求5所述的方法，其特征在于，所述至少一个第三网络层构成：ResNet网络以及与所述ResNet网络中层级最高残差子网络连接的第六残差子网络。
9.一种神经网络系统，其特征在于，包括：
至少一个第一网络层，用于对待处理图像进行图像分类，得到第一结果；
至少一个第二网络层，用于对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
确定模块，用于根据所述第一结果和所述第二结果，确定所述神经网络系统针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
10.根据权利要求9所述的系统，其特征在于，还包括：
至少一个第三网络层，用于对所述待处理图像进行特征提取，得到用于确定所述至少一个第一网络层和所述至少一个第二网络层的输入数据的多个不同尺度大小的特征图。
11.根据权利要求10所述的系统，其特征在于，所述至少一个第三网络层中用于输出所述多个不同尺度大小的特征图中尺度大小最小的特征图的第三网络层与所述至少一个第一网络层中用于接收所述尺度大小最小的特征图的第一网络层连接。
12.根据权利要求10或11所述的系统，其特征在于，所述至少一个第三网络层构成：ResNet网络以及与所述ResNet网络中层级最高残差子网络连接的第六残差子网络。
13.根据权利要求10或11所述的系统，其特征在于，还包括：
至少一个第四网络层，用于对所述至少一个第三网络层输出的多个不同尺度大小的特征图中至少两个特征图进行特征融合，得到至少两个不同尺度大小的融合特征图；并将所述至少两个不同尺度大小的融合特征图作为所述至少一个第二网络层的输入；
所述至少一个第三网络层中用于分别输出所述至少两个特征图的至少两个第三网络层与所述至少一个第四网络层中用于分别接收所述至少两个特征图的至少两个第四网络层一一对应连接；
所述至少一个第四网络层中用于分别输出所述至少两个不同尺度大小的融合特征图的至少两个第四网络层与所述至少一个第二网络层中用于分别接收所述至少两个不同尺度大小的融合特征图的至少两个第二网络层一一对应连接。
14.一种模型训练方法，其特征在于，包括：
利用神经网络模型中至少一个第一网络层对样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级，包括：
利用所述神经网络模型中所述至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
15.根据权利要求14所述的方法，其特征在于，基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层，包括：
根据所述样本信息，确定所述样本图像的真实图像类别；
所述样本图像的真实图像类别为背景图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层；
所述样本图像的真实图像类别为前景图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
16.根据权利要求15所述的方法，其特征在于，在将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层之后，所述方法，还包括：
根据所述图像分类得到的第一预测结果与所述样本图像的第一期望结果，计算第一损失值；
根据所述目标定位与目标属性分级得到的第二预测结果与所述样本图像的第二期望结果，计算第二损失值；
结合所述第一损失值和所述第二损失值，对所述至少一个第一网络层和所述至少一个第二网络层进行参数优化。
17.根据权利要求16所述的方法，其特征在于，所述第二预测结果中包括预测区域属于多个不同的属性级别的预测概率以及所述预测区域的预测定位参数；所述第二期望结果中包括所述预测区域的期望属性级别以及所述预测区域的期望定位参数；以及
根据所述目标定位与目标属性分级得到的第二预测结果与所述样本图像的第二期望结果，计算第二损失值，包括：
将所述预测区域的预测概率最大属性级别确定为所述预测区域的预测属性级别；
计算所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的偏离程度，以得到第三损失值；
根据所述预测区域属于多个不同的属性级别的预测概率以及所述期望属性级别，计算第四损失值；
计算所述预测区域的预测定位参数与所述预测区域的期望定位参数的欧式距离，得到第五损失值；
综合所述第三损失值、所述第四损失值和所述第五损失值，确定所述第二损失值。
18.根据权利要求17所述的方法，其特征在于，计算所述预测区域的预测属性级别与所述预测区域的期望属性级别之间的偏离程度，以得到第三损失值，包括：
计算所述预测区域的预测属性级别与所述预测区域对应的期望属性级别之间的欧式距离，以得到所述第三损失值。
19.一种信息处理系统，包括：客户端和服务端；
所述客户端，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端；
所述服务端，用于利用神经网络模型中至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空；并将所述输出结果返回至所述客户端。
20.一种信息显示方法，其特征在于，包括：
显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的；所述神经网络模型针对所述待处理图像的输出结果是根据所述第一结果和第二结果确定的；所述第二结果是利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级得到的；
所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中标注目标位置及目标属性级别；
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行目标定位与目标属性分级得到的第二结果确定的。
21.根据权利要求20所述的方法，其特征在于，所述提示信息中包括：导致目标定位与目标属性分级失败的原因。
22.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
23.一种模型训练方法，其特征在于，包括：
利用神经网络模型中至少一个第一网络层，对样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级，包括：
利用所述神经网络模型中所述至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
24.根据权利要求23所述的方法，其特征在于，基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层，包括：
根据所述样本信息，确定所述样本图像的真实图像类别；
所述样本图像的真实图像类别为非关节图像类别时，将所述至少一个第一网络层确定为需要被优化的网络层；
所述样本图像的真实图像类别为关节图像类别时，将所述至少一个第一网络层和所述至少一个第二网络层均确定为需要被优化的网络层。
25.一种信息处理系统，其特征在于，客户端和服务端；
所述客户端，用于响应于用户针对待处理图像的输入事件，将所述待处理图像发送至所述服务端；
所述服务端，用于利用神经网络模型中至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空；并将所述输出结果返回至所述客户端。
26.一种信息显示方法，其特征在于，包括：
显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的；所述神经网络模型针对所述待处理图像的输出结果是根据所述第一结果和第二结果确定的；所述第二结果是利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级得到的；
所述第一结果不满足所述第二预设条件时，显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中显示关节位置及关节炎级别；
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行关节定位与关节炎分级得到的第二结果确定的。
27.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
28.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层对样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行目标定位与目标属性分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行目标定位与目标属性分级，包括：
利用所述神经网络模型中所述至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
29.一种电子设备，其特征在于，包括：存储器、处理器和显示器，其中，
所述存储器，用于存储程序；
所述处理器，与所述显示器耦合；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
控制所述显示器显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器显示有关目标定位与目标属性分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的；所述神经网络模型针对所述待处理图像的输出结果是根据所述第一结果和第二结果确定的；所述第二结果是利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行目标定位与目标属性分级得到的；
所述第一结果不满足所述第二预设条件时，控制所述显示器显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中标注目标位置及目标属性级别；
所述输出结果为所述神经网络模型基于其至少一个第二网络层对所述待处理图像进行目标定位与目标属性分级得到的第二结果确定的。
30.一种电子设备，其特征在于，包括：存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
利用神经网络模型中至少一个第一网络层，对样本图像进行图像分类；
利用神经网络模型中至少一个第二网络层，对所述样本图像进行关节定位与关节炎分级；
基于与所述样本图像相关的样本信息，从所述至少一个第一网络层和所述至少一个第二网络层中确定需要被优化的网络层；
其中，所述神经网络模型用于对待处理图像进行关节定位与关节炎分级，包括：
利用所述神经网络模型中所述至少一个第一网络层，对所述待处理图像进行图像分类，得到第一结果；
利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级，得到第二结果；
根据所述第一结果和所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果，包括：所述第一结果满足第一预设条件时，基于所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果；所述第一结果不满足所述第一预设条件时，过滤掉所述第二结果，确定所述神经网络模型针对所述待处理图像的输出结果为空。
31.一种电子设备，其特征在于，包括：存储器、处理器和显示器，其中，
所述存储器，用于存储程序；
所述处理器，与所述显示器耦合；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
控制所述显示器显示操作界面，以供用户输入待处理图像；
第一结果满足第二预设条件时，控制所述显示器显示有关关节定位与关节炎分级失败的提示信息；
其中，所述第一结果是利用神经网络模型中至少一个第一网络层对所述待处理图像进行图像分类得到的；所述神经网络模型针对所述待处理图像的输出结果是根据所述第一结果和第二结果确定的；所述第二结果是利用所述神经网络模型中所述至少一个第二网络层，对所述待处理图像进行关节定位与关节炎分级得到的；
所述第一结果不满足所述第二预设条件时，控制所述显示器显示所述待处理图像，并根据所述神经网络模型的输出结果在所述待处理图像中显示关节位置及关节炎级别；
所述输出结果为所述神经网络模型基于所述第二结果确定的。
CN201910366687.3A 2019-05-05 2019-05-05 信息处理、信息显示与模型训练方法、系统及设备 Active CN111898622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910366687.3A CN111898622B (zh) 2019-05-05 2019-05-05 信息处理、信息显示与模型训练方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910366687.3A CN111898622B (zh) 2019-05-05 2019-05-05 信息处理、信息显示与模型训练方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111898622A CN111898622A (zh) 2020-11-06
CN111898622B true CN111898622B (zh) 2022-07-15

Family

ID=73169060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910366687.3A Active CN111898622B (zh) 2019-05-05 2019-05-05 信息处理、信息显示与模型训练方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111898622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724185A (zh) * 2021-03-08 2021-11-30 腾讯科技（深圳）有限公司 用于图像分类的模型处理方法、装置及存储介质
CN115579109A (zh) * 2022-11-24 2023-01-06 合肥心之声健康科技有限公司 医疗环境下心电图图像分析方法、装置和终端设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788349A (zh) * 2014-12-22 2016-07-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN107423721A (zh) * 2017-08-08 2017-12-01 珠海习悦信息技术有限公司 人机交互动作检测方法、装置、存储介质及处理器
KR20180020724A (ko) * 2016-08-19 2018-02-28 주식회사 케이티 나선형 신경망 네트워크 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵 생성 방법 및 특징맵 생성 방법
CN108268822A (zh) * 2016-12-30 2018-07-10 深圳光启合众科技有限公司 人脸识别方法、装置及机器人
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN108520229A (zh) * 2018-04-04 2018-09-11 北京旷视科技有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN108805004A (zh) * 2018-04-12 2018-11-13 深圳市商汤科技有限公司 功能区域检测方法和装置、电子设备、存储介质、程序
CN108921086A (zh) * 2018-06-29 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109102025A (zh) * 2018-08-15 2018-12-28 电子科技大学 基于深度学习联合优化的行人重识别方法
CN109241880A (zh) * 2018-08-22 2019-01-18 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109523015A (zh) * 2018-11-09 2019-03-26 上海海事大学 一种神经网络中图像处理方法
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109670452A (zh) * 2018-12-20 2019-04-23 北京旷视科技有限公司 人脸检测方法、装置、电子设备和人脸检测模型

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154222B (zh) * 2016-12-02 2020-08-11 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
US10534613B2 (en) * 2017-04-28 2020-01-14 Intel Corporation Supporting learned branch predictors
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN108416440A (zh) * 2018-03-20 2018-08-17 上海未来伙伴机器人有限公司 一种神经网络的训练方法、物体识别方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788349A (zh) * 2014-12-22 2016-07-20 联想(北京)有限公司 一种信息处理方法及电子设备
KR20180020724A (ko) * 2016-08-19 2018-02-28 주식회사 케이티 나선형 신경망 네트워크 기반의 딥러닝에서 특징맵의 계산을 위한 피라미드 히스토리 맵 생성 방법 및 특징맵 생성 방법
CN108268822A (zh) * 2016-12-30 2018-07-10 深圳光启合众科技有限公司 人脸识别方法、装置及机器人
CN107423721A (zh) * 2017-08-08 2017-12-01 珠海习悦信息技术有限公司 人机交互动作检测方法、装置、存储介质及处理器
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN108520229A (zh) * 2018-04-04 2018-09-11 北京旷视科技有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN108805004A (zh) * 2018-04-12 2018-11-13 深圳市商汤科技有限公司 功能区域检测方法和装置、电子设备、存储介质、程序
CN108573238A (zh) * 2018-04-23 2018-09-25 济南浪潮高新科技投资发展有限公司 一种基于双网络结构的车辆检测方法
CN108921086A (zh) * 2018-06-29 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109102025A (zh) * 2018-08-15 2018-12-28 电子科技大学 基于深度学习联合优化的行人重识别方法
CN109241880A (zh) * 2018-08-22 2019-01-18 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109523015A (zh) * 2018-11-09 2019-03-26 上海海事大学 一种神经网络中图像处理方法
CN109670452A (zh) * 2018-12-20 2019-04-23 北京旷视科技有限公司 人脸检测方法、装置、电子设备和人脸检测模型

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
B-CNN: Branch Convolutional Neural Network for Hierarchical Classification;Xinqi Zhu 等;《arXiv:1709.09890v2》;20171005;第1-9页 *
Focal Loss for Dense Object Detection;Tsung-Yi Lin 等;《arXiv:1708.02002v2》;20180207;第1-4节 *
Generic Pixel Level Object Tracker Using Bi-Channel Fully Convolutional Network;Zijing Chen 等;《International Conference on Neural Information Processing》;20171024;第666-676页 *
Region Proposal by Guided Anchoring;Jiaqi Wang 等;《arXiv:1901.03278v2》;20190412;第1-12页 *
一种基于前景与背景划分的区域图像检索方法及实现;朱远清 等;《第十三届全国图像图形学学术会议》;20061106;第570-574页 *
改进的RetinaNet模型的车辆目标检测;宋欢欢 等;《计算机工程与应用》;20190315;第55卷(第13期);第225-230页 *

Also Published As

Publication number Publication date
CN111898622A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
JP2022518939A (ja) 検出モデルのトレーニング方法、装置、コンピュータデバイス及びコンピュータプログラム
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN101930611B (zh) 多视图面部追踪
JP5263694B2 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
WO2022000862A1 (zh) 鱼眼图像中的对象检测方法、装置及存储介质
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN111898622B (zh) 信息处理、信息显示与模型训练方法、系统及设备
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN113891072B (zh) 基于亿级像素数据的视频监测与异常分析系统与方法
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN111008561A (zh) 一种牲畜的数量确定方法、终端及计算机存储介质
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
US20220164952A1 (en) Capture and Storage of Magnified Images
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
KR102653485B1 (ko) 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법
Haibo et al. An improved yolov3 algorithm for pulmonary nodule detection
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN112001963A (zh) 消防通道的排查的方法、系统和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant