CN110874836A - 一种图像处理方法、装置、智能终端及存储介质 - Google Patents

一种图像处理方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN110874836A
CN110874836A CN201911049060.1A CN201911049060A CN110874836A CN 110874836 A CN110874836 A CN 110874836A CN 201911049060 A CN201911049060 A CN 201911049060A CN 110874836 A CN110874836 A CN 110874836A
Authority
CN
China
Prior art keywords
image
detection
abnormal
images
category information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911049060.1A
Other languages
English (en)
Other versions
CN110874836B (zh
Inventor
黄访
廖静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Original Assignee
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Technology Research Institute Co Ltd filed Critical Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority to CN201911049060.1A priority Critical patent/CN110874836B/zh
Publication of CN110874836A publication Critical patent/CN110874836A/zh
Application granted granted Critical
Publication of CN110874836B publication Critical patent/CN110874836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、智能终端及存储介质，其中方法包括：获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息，和用于表示所述检测对象所处环境的清洁等级；根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像，可有效提升对图像的辅助分析效率。

Description

一种图像处理方法、装置、智能终端及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、智能终端及存储介质。
背景技术
随着计算机技术的不断发展，采用计算机技术辅助人工进行人工检测，或者采用计算机技术直接替代人工的检测过程成为了当前的主要发展趋势，如可采用计算机技术辅助用户进行图像的选取，如在医学领域中，可采用计算机技术辅助医生进行医学图像的检阅，可有效提升医生的工作效率，从而提升对检测对象的检测效率。而当前采用的辅助用医生进行医学图像的检阅的方法，基于检测部位的不同，需采用不同的检测算法对得到的医学图像进行分析，由于在不同检测算法下的检测结果需要二次整合过程，使得对医学图像的辅助分析效果欠佳。
发明内容
本发明实施例提供了一种图像处理方法、装置、智能终端及存储介质，可有效提升对图像的辅助分析效率。
一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像。
另一方面，本发明实施例提供了一种图像检测装置，所述装置包括：
获取单元，用于获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定单元，用于确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
所述确定单元，还用于根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
所述确定单元，还用于根据所述第一图像集和所述第二图像集确定异常图像；
输出单元，用于输出所述异常图像。
再一方面，本发明实施例提供了一种智能终端，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序指令，所述处理器配置用于执行所述程序指令，执行如下步骤：
获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像。
再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当处理器执行时使所述处理器执行上述第一方面的方法。
在本发明实施例中，智能终端在获取到检测图像集后，可进一步确定出所述检测图像中每张检测图像对应的标签信息，根据所述标签信息，可将所述检测图像集中包括异常图像类别信息，且清洁等级指示为第一清洁等级的图像确定为第一图像集，并根据正常图像类别信息和异常图像类别信息通过目标检测算法确定出第二图像集，并在确定出所述第一图像集和所述第二图像集后，根据所述第一图像集和所述第二图像集确定出用于检测对象进行异常检测的异常图像，并将所述异常图像输出到用户界面中，使得分析人员可基于用户界面中输出的异常图像对检测对象进行异常检测，可提升对检测对象的异常分析效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种智能终端的模块示意图；
图2是本发明实施例提供的一种图像处理方法的示意流程图；
图3是本发明另一实施例提供的一种图像处理方法的示意流程图；
图4是本发明实施例提供的一种训练得到标签分类模型的示意图；
图5是本发明实施例提供的一种训练得到检测分析模型的示意图；
图6是本发明实施例提供的一种图像检测装置的示意性框图；
图7是本发明实施例提供的一种智能终端的示意性框图。
具体实施方式
本发明实施例提出了一种图像处理方法，可辅助用户进行图像数据的查看，从而可减轻用户对图像数据的查看压力，可有效提升对图像数据的处理效率。在一个实施例中，智能终端可通过配置的图像处理装置对获取的大量图像数据进行预先识别，并从所述大量图像数据中确定出异常图像，从而可将该异常图像输出到用户终端，以便分析用户可通过对异常图像的分析，确定出引起被检测对象异常的原因，由于分析用户仅对检测过程中产生的部分图像进行分析，而不用对全部检测图像进行分析，可有效减少分析用户的工作压力，从而提升分析用户的工作效率，此外，由于分析用户参考进行分析的图像是经由筛选过的具有代表性的异常图像，所以分析用户可基于异常图像准确分析出导致检测对象异常的原因。
在一个实施例中，如图1所示，所述智能终端包括图像采集模块，图像接收模块，图像分类模块，目标检测模块，信息融合模块和人机交互模块，所述图像采集模块用于进行图像采集，所述图像接收模块用于接收所述图像采集模块采集到的检测图像，所述目标检测模块用于对各检测图像进行检测，所述信息融合模块用于删除相同的检测图像，所述人机交互模块用于将确定出的异常图像输出到用户界面。
在一个实施例中，所述智能终端可先从图像采集模块获取对检测对象进行检测过程中产生的大量检测图像作为检测图像集，其中，所述智能终端可通过进程间网络通讯或者共享内存的方法，从所述图像采集模块中获取检测过程中产生的检测图像，所述图像采集模块可以为所述智能终端的内置设备，如摄像头等，也可以为所述智能终端的外接设备，在本发明实施例中不做限定。在所述智能终端获取到所述检测图像集后，可根据所述智能终端可按照顺序逐帧接收并缓存所述图像采集模块采集到的检测图像，并可基于获取该检测图像的顺序，可为所述检测图像集中的每张检测图像添加唯一的图像编码，其中，所述检测图像集中的任意两张检测图像对应的图像编码不同，所以，基于所述检测图像编码，可对检测图像集中的检测图像进行区别。在一个实施例中，所述检测图像对应的图像编码还可是由所述图像采集模块在采集到检测图像时生成的，所述智能终端在缓存(或获取)所述检测图像时，将同时获取到该检测图像对应的图像编码。
在所述智能终端获取到所述检测图像集后，所述智能终端可调用经过训练的标签分类模型对所述检测图像集中的每一张检测图像进行多标签分类，以确定所述每一张检测图像对应的标签信息，其中，所述标签信息包括：检测图像包括的检测对象，用于表示所述检测对象正常的正常图像类别信息，用于表示所述检测对象异常的异常图像类别信息，以及用于表示所述检测对象所处环境的清洁等级，其中，所述清洁等级包括第一清洁等级，第二清洁等级以及第三清洁等级，所述第一清洁等级为高清洁等级，第二清洁等级为中清洁等级，第三清洁级等级为低清洁等级。
所述高清洁等级是指所述检测对象所处环境为无漂杂质遮挡的环境，所述中清洁等级为有部分杂质遮挡，但仍能看清所述检测对象的检测特征的环境，所述低清洁等级为全部被杂质遮挡，无法看清所述检测对象的检测特征的环境。在一个实施例中，所述标签分类模型例如可以是多标签卷积神经网络模型，所述图像采集模块例如可以是对病人消化道进行检测的内窥镜或者胶囊内窥镜等，得到的所述检测图像集则可为针对消化道的检测图像集，对应的，高清洁等级包括为无漂浮物、粘液、水泡、粪便等杂质的检测环境，中清洁等级则包括有部分杂质遮挡，但仍能看清部分消化道黏膜的检测环境，低清洁等级则为全部被杂质遮挡，无法看清消化道黏膜的检测环境。
在一个实施例中，智能终端在确定所述检测图像集中每张检测图像对应的标签信息后，所述智能终端可根据所述每张检测图像的标签信息包括的正常图像类别信息、异常图像类别信息，以及所述每张检测图像的标签信息所包括的清洁等级，从所述检测图像集中分别确定出第一图像集和第二图像集，其中，所述智能终端可将所述检测图像集中包括所述异常图像类别信息，且清洁等级为第一清洁等级和第二清洁等级(即高清洁等级及中清洁等级)的检测图像作为所述第一图像集中的图像，并可根据所述检测图像集中包括所述正常图像类别信息，所述异常图像类别信息，且清洁等级为第二清洁等级(即中清洁等级)的检测图像，以及所述检测图像集中清洁等级为第一清洁等级的图像，确定出所述第二图像集。
在所述智能终端根据所述检测图像集中包括所述正常图像类别信息，所述异常图像类别信息，且清洁等级为第二清洁等级(即中清洁等级)的检测图像，以及所述检测图像集中清洁等级为第一清洁等级的图像确定出所述第二图像集时，所述智能终端可调用预设的检测分析模型分别对所述检测图像集中清洁等级为第一清洁等级，以及清洁等级为第二清洁等级，且包括所述正常图像类别信息，所述异常图像类别信息的图像进行检测，从而可对所述清洁等级为第一清洁等级的检测图像，以及清洁等级为第二清洁等级，且包括所述正常图像类别信息，所述异常图像类别信息的图像中的异常区域进行检测，并对检测到的异常区域进行异常区域标记，如打框标记，从而可将所述清洁等级为第一清洁等级，以及清洁等级为第二清洁等级且包括所述正常图像类别信息，所述异常图像类别信息的检测图像中，将存在所述异常区域标记的图像作为第二图像集，其中，所述预设的检测分析模型例如可以是检测神经网络模型。
在一个实施例中，在所述智能终端确定出第一图像集和第二图像集后，可将所述第一图像集中的检测图像和所述第二图像集中的检测图像进行图像融合，从而将融合后的图像作为异常图像输出到用户界面中，以便于分析用户可对用户界面中输出的异常图像进行分析，从而快速确定出检测对象的异常情况，可有效提升分析用户的读片(即分析检测图像)的效率。其中，对所述第一图像集和所述第二图像集进行图像融合的过程，即是对所述第一图像集和所述第二图像集中分别包括的图像编号取并集的计算过程，以避免分析用户对同样地检测图像进行多次重复分析的过程。
请参见图2，是本法实施例提出的一种图像处理方法的示意流程图，如图2所述，该方法包括：
S201，获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像。
S202，确定所述检测图像集中每张检测图像对应的标签信息。
在步骤S201和步骤S202中，图像采集模块可对检测对象进行检测，从而得到多张检测图像，智能终端则可从所述图像采集模块中逐帧获取检测得到的检测图像，其中，所述图像采集模块可以是胶囊内窥镜，所述胶囊内窥镜可用于对消化道或者肠道等进行检测，以确定所述消化道或者肠道的异常情况。在一个实施例中，所述智能终端可通过网络通讯或者内存共享的方式从所述图像采集模块中获取检测图像集，所述检测图像集中的各检测图像用于体现检测对象(如消化道或者肠道等)的异常情况，具体地，所述智能终端在获取到所述检测图像集后，可在步骤S202中，确定出所述检测图像集中每张检测图像对应的标签信息。
在一个实施例中，所述智能终端在获取到检测图像集后，可调用预设的标签分类模型对所述检测图像集中的各检测图像进行分类计算，以确定所述检测图像集中各检测图像对应的标签信息，其中，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息，和用于表示所述检测对象所处环境的清洁等级，所述清洁等级包括第一清洁等级(或高清洁等级)，第二清洁等级(或中清洁等级)，以及第三清洁等级(或低清洁等级)，此外，所述标签信息还包括所述检测对象的部位，当所述检测对象为消化道时，对应的所述检测对象的部位包括消化道的各个部位，如口腔、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部、回盲瓣等。在一个实施例中，所述预设的分类模型例如可以是关于深度残差网络(Deep residual network50，ResNet50)模型，或者是关于分类型的网络模型，如inceptionV1等多层卷积神经网络模型。
在所述智能终端确定所述检测图像集中各检测图像的标签信息后，可根据所述标签信息中用于表示所述检测对象所处环境的清洁等级，由于处于第三清洁等级的检测图像为全部被杂质遮挡，无法看清检测图像所处环境的图像，所以基于处于第三清洁等级的检测图像，不能确定出检测对象的异常情况，所以，处于第三清洁等级的检测图像为不具有参考价值的图像，为了减轻分析用户对检测图像的分析工作量，所述智能终端可将清洁等级处于第三清洁等级的检测图像删除，以使得发送到分析用户的检测图像是不包含处于所述第三清洁等级的检测图像的，从而可有效提升分析用户对检测对象的异常分析效率。
S203，根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集。
在一个实施例中，所述智能终端可根据所述每张检测图像的异常图像类别信息和所述清洁等级从所述检测图像中确定出第一图像集时，具体的，所述智能终端可先根据所述检测图像集中每张检测图像的标签信息，确定包括所述异常图像类别的信息，进一步地，所述智能终端可从包括所述异常图像类别的信息中，选取清洁等级表示检测对象所处环境为第一清洁等级以及第二清洁等级的图像，也就是说，所述智能终端可选取标识检测对象异常且所处环境为高清洁等级和中清洁等级的图像作为第一图像集中的检测图像。或者，所述智能终端可先根据所述标签信息，从检测图像集中确定出清洁等级表示检测对象为第一清洁等级和第二清洁等级的图像，并从表示检测对象为第一清洁等级和第二清洁等级的图像中选取包括所述异常图像类别信息的图像作为所述第一图像集中的检测图像。
在所述智能终端根据清洁等级从所述检测图像集中确定出第二图像集时，所述智能终端可先根据所述检测图像集中各检测图像的标签信息，确定出清洁等级表示所述检测对象的所处环境为第一清洁等级的图像，进一步地，所述智能终端还可确定出表示检测对象的所处环境为第二清洁等级的图像，并将表示所述检测对象的所处环境为第二清洁等级的图像中，包括正常图像类别信息和异常图像类别信息的图像作为备选图像。也就是所，所述备选图像包括：所述检测图像集中表示所述检测对象所处环境为第一清洁等级的所有图像，以及所述检测图像集中表示所述检测对象所处环境为第二清洁等级，且标识检测对象异常的图像。
在一个实施例中，在所述智能终端确定出所述备选图像后，所述智能终端可调用预设的检测分析模型对所述备选图像进行分析，以确定出所述备选图像集是否包括异常区域，并对所述备选图像的异常区域进行异常区域标记，进一步地，所述智能终端可将所述备选图像中，包括所述异常区域标记的图像作为所述第二图像集的检测图像。其中，所述预设的检测分析模型是一个对图像的异常目标进行识别的模型，所述检测分析模型可以是基于深度神经网络算法的模型，所述深度神经网络算法例如可以是目标检测算法，具体可以是YOLO V3算法等。
在确定出所述第一图像集和所述第二图像集后，所述智能终端可根据所述第一图像集和所述第二图像集确定出用于输出到用户终端的异常图像，即转而执行步骤S204。
S204，根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像。
在一个实施例中，智能终端在确定出第一图像集和第二图像集后，可对所述第一图像集和所述第二图像集中的各检测图像进行融合，并将融合后的图像作为异常图像输出到用户界面中，以便于对分析用户对所述异常图像进行分析，从而确定出检测对象的异常情况。具体地，所述智能终端在对所述第一图像集和所述第二图像集中的各检测图像进行融合时，可根据所述第一图像集与所述第二图像集中各检测图像对应的图像编号，在所述智能终端确定出所述第一图像集和所述第二图像集中各检测图像对应的图像编号后，可对所述第一图像集和所述第二图像集中的各检测图像对应的图像编号做取并集运算，从而确定出两个图像集中的重复图像编号，从而所述智能终端可在所述第一图像集中删除所述重复图像编号对应的检测图像，或者，所述智能终端可在所述第二图像集中删除所述重复图像编号对应的检测图像。
在一个实施例中，若所述智能终端检测的检测对象的异常分布情况是散在性或弥漫性的，如消化道中弥漫分布的点或斑，则所述智能终端在确定出所述第一图像集与所述第二图像集中的重复编号后，可保留所述第一图像集中的该重复编号对应的检测图像，并删除所述第二图像集中该重复编号对应的检测图像；或者，在所述智能终端检测的检测对象的异常分布情况是局灶性的，如消化道中局部的隆起型异常，则所述智能终端在确定出所述第一图像集与所述第二图像集中的重复编号后，可保留所述第二图像集中的该重复编号对应的检测图像，并删除所述第一图像集中该重复编号对应的检测图像。
在所述智能终端确定出异常图像后，在将异常图像输出到用户界面中时，可确定所述异常图像对应的标签信息以及图像编码，以便于分析用户可结合所述标签信息对所述异常图像进行异常分析，从而快速排查导致所述检测对象异常的原因。在一个实施例中，若所述异常图像还包括异常标记，所述智能终端在用户界面中输出所述异常图像的同时，还将输出所述异常图像中的异常标记，以作为分析用户进行异常分析的辅助说明，帮助分析用户对检测对象的异常情况进行快速的确定。
在本发明实施例中，智能终端在获取到检测图像集后，可进一步确定出所述检测图像中每张检测图像对应的标签信息，根据所述标签信息，可将所述检测图像集中包括异常图像类别信息，且清洁等级指示为第一清洁等级和第二清洁等级的图像确定为第一图像集，并根据正常图像类别信息和异常图像类别信息通过目标检测算法确定出第二图像集，并在确定出所述第一图像集和所述第二图像集后，根据所述第一图像集和所述第二图像集确定出用于检测对象进行异常检测的异常图像，并将所述异常图像输出到用户界面中，使得分析人员可基于用户界面中输出的异常图像对检测对象进行异常检测，可提升对检测对象的异常分析效率。
请参见图3，是本发明另一实施例提出的一种图像处理方法的示意流程图，如图3所示，该方法可包括：
S301，获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像。
S302，确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级。
在步骤S301和步骤S302中，智能终端可预先对标签分类模型进行训练，训练完成的所述标签分类模型可用于对图像进行多标签分类，并可将输入的图像进行多个属性标签的判断，确定出输入图像所包括的检测部位，正常图像类别信息，异常图像类别信息以及清洁等级等针对检测对象的标签信息，在一个实施例中，在对所述标签分类模型进行训练时，首先需要获取一定数量的已标注多标签信息的样本图像集，从而可将所述样本图像集输入神经网络算法，确定出所述多标签分类模型，所述预设的神经网络算法包括上述的resnet50以及inceptionV1等多层卷积神经网络算法。
在所述智能终端将所述样本图像集输入神经网络算法，以确定出所述多标签分类模型时，如图4所示，所述神经网络在接收到所述样本图像集中的每张样本图像后，可先选取所述和所述样本图像的标签信息对应的候选区域，并将所述候选区域发送到卷积神经网络(Convolutional Neural Networks,CNN)进行分类训练，CNN在接收到各个样本图像发送的候选区域后，可基于多个候选区域的分类训练结果，并在进一步融合各个候选区域的分类结果够，可得到多标签信息的完成图像，从而实现完成对标签分类模型的训练过程。
在训练得到所述标签分类模型后，在调用所述标签分类模型对所述检测图像集中的每张图像进行分类计算时，所述标签分类模型可对所述检测图像中的各个图像区域进行检测，以确定该图像区域对应的分类结果，从而将根据各个图像区域对应的分类结果，得到对应检测图像的标签信息，得到的所述标签信息包括：所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级，以及标识所述检测对象的部位信息。
S303，根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集。
在一个实施例中，智能终端在根据所述每张检测图像的异常信息从所述检测图像集中确定出第一图像集时，可先从所述检测图像集中筛选出包括所述异常图像类别信息的检测图像，进一步地，所述智能终端可从包括所述异常图像类别信息的检测图像中确定出清洁等级指示为第一清洁等级和第二清洁等级的图像作为第一图像集，所以，所述智能终端确定出的第一图像信息集中的各检测图像为：包括异常图像类别信息，且清洁等级为第一清洁等级和第二清洁等级的检测图像。
在一个实施例中，所述智能终端在根据所述每张检测图像的清洁等级从所述检测图像集中确定出第二图像信息集时，可先从所述检测图像集中筛选出包括所述正常图像类别信息和所述异常图像类别信息的检测图像，作为备选图像；进一步地，所述智能终端可通过所述目标检测算法对所述备选图像进行检测，以确定所述备选图像中是否包括局灶性异常区域；其中，局灶性异常区域是指具有聚集性的病理特征的异常区域，在所述智能终端确定出包括局灶性异常区域的图像后，可将包括所述局灶性异常区域的作为第二图像集。
所述智能终端确定出的第二图像集为包括正常图像类别信息，异常图像类别信息，且清洁等级指示检测对象所处环境的清洁等级为第一清洁等级或第二清洁等级的图像，在所述智能终端确定第二图像集时，可调用预设的检测分析模型对所述检测图像集中清洁等级处于所述第一清洁等级或第二清洁等级，且包括正常图像类别信息，异常图像类别信息的图像进行检测分析，从而可根据检测分析结果对所述清洁等级处于所述第一清洁等级或第二清洁等级，且包括正常图像类别信息，异常图像类别信息的图像中的异常区域进行标记。在一个实施例中，所述预设的检测分析模型是包括对检测图像中的异常目标进行识别的算法模型。如图5所示，所述检测分析模型可先获取预先标注有异常区域的图像训练集，从而可使用神经网络算法对所述图像训练集中的各个训练图像进行训练，使得训练后的检测分析模型可进行图像的异常区域检测。其中，所述异常区域是指图像中和周围图像存在明显差异的区域，如进行消化道疾病检测时的检测图像中，肿瘤等在检测图像中的区域则为异常区域，所述神经网络算法也可以是深度神经网络算法，所述深度神经网络算法可以是如YOLO V3的目标检测算法等。
在所述智能终端根据检测分析结果对所述清洁等级处于所述第一清洁等级或第二清洁等级，且包括正常图像类别信息，异常图像类别信息的图像中的异常区域进行标记，进一步地，可将所述清洁等级处于所述第一清洁等级且存在异常区域标记的图像，以及表示所述检测对象异常并表示所述检测对象的清洁等级为第二清洁等级的图像，作为第二图像集。在所述智能终端确定出第一图像集和第二图像集后，可转而执行步骤S304，以从大量的检测图像中确定出异常图像。
S304，对所述第一图像集中的各检测图像和所述第二图像集中的各检测图像进行融合处理，得到异常图像，并输出所述异常图像。
在一个实施例中，所述智能终端对所述第一图像集中的各检测图像，以及第二图像集中的各检测图像进行融合处理的过程，即是删除所述第一图像集和所述第二图像集中存在相同图像编号的重复图像的过程，具体地，所述智能终端可先获取所述第一图像集中各检测图像对应的图像编号，并获取所述第二图像集中各检测图像对应的图像编号；进一步地，所述智能终端可对所述第一图像集中各检测图像对应的图像编号和所述第二图像集中各检测图像对应的图像编号进行取并集运算，得到目标图像编号，其中，对所述第一图像集中各图像编号和所述第二图像集中各图像编号进行取并集运算的过程，即是确定所述第一图像集和所述第二图像集中重复图像编号的过程，得到的所述目标图像编号则是删除所述重复图像编号之后的至少一个图像编号。在所述智能终端确定所述目标图像编号后，则可将所述目标图像编号对应的图像作为异常图像，并将所述异常图像输出到用户界面中，以便于分析用户基于所述异常图像对检测对象进行异常分析。其中，所述异常图像包括以下至少一种：局灶性图像以及弥散性图像，所述第二图像集不包括异常图像类别信息中的弥散性图像。
在一个实施例中，在所述检测对象为消化道时，所述智能终端可对应为胶囊内窥镜的图像辅助筛查装置，所述胶囊内窥镜配置有图像采集模块，以使得所述胶囊内窥镜可对消化道进行检测，并得到多张检测图像。所述智能终端在获取到所述多张检测图像后，通过标签分类模型对每张检测图像的分类检测，可得到所述每张检测图像对应的标签信息，进一步地，可将所述标签信息包括异常图像类别信息且所处检测环境对应清洁等级为第一清洁等级和第二清洁等级的作为第一图像集，将所述标签信息包括正常图像类别信息，和异常图像类别信息，且表示检测对象异常且所述环境对应清洁等级为第二清洁等级(或第一清洁等级)的图像，并调用预设的检测分析模型对所述备选图像进行分析，从而确定出备选图像中的异常区域后，在将所述备选图像中的异常区域进行异常区域标记后，将存在所述异常区域标记的图像作为第二图像集。
在所述智能终端确定出第一图像集和第二图像集后，可对所述第一图像集和第二图像集中的图像进行融合，得到最终用于确定消化道是否异常的异常图像，并将该异常图像输出到分析用户(如医生)的用户界面，以使得医生可快速确定出消化道是否异常，并能快速定位到异常区域。
在本发明实施例中，智能终端在获取到检测图像集后，可调用预设的标签分类模型对该检测图像集中的每张检测图像进行分类计算，并可根据分类结果确定出每张检测图像对应的标签信息，进一步地，所述智能终端可根据所述每张检测图像的异常信息从该检测图像集中确定出第一图像集和第二图像集，基于两个图像集，所述智能终端可在确定出异常图像后，将异常图像输出到用户界面中，由于所述异常图像是基于两个图像集确定的，所以，可避免对异常图像漏诊的可能性，实现了在保障诊疗准确度的同时，可大幅度提升对检测对象异常情况的确定效率，也可实现对检测对象异常情况的精准定位。
基于上述图像处理方法实施例的描述，本发明实施例还提出了一种图像检测装置，该图像检测装置可以是运行于上述智能终端中的一个计算机程序(包括程序代码)。该图像检测装置可用于执行如图2和图3所述的图像处理方法，请参见图6，该图像检测装置可包括：获取单元601、确定单元602和输出单元603。
获取单元601，用于获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定单元602，用于确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息，和用于表示所述检测对象所处环境的清洁等级；
所述确定单元602，还用于根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
所述确定单元602，还用于根据所述第一图像集和所述第二图像集确定异常图像；
输出单元603，用于输出所述异常图像。
在一个实施例中，所述异常图像包括以下至少一种：局灶性图像以及弥散性图像。
在一个实施例中，所述第二图像集不包括异常图像类别信息中的弥散性图像。
在一个实施例中，所述确定单元602，具体用于：
从所述检测图像集中筛选出包括所述异常图像类别信息的检测图像，并从包括所述异常图像类别信息的检测图像中确定出清洁等级指示为第一清洁等级和第二清洁等级的图像作为第一图像集。
在一个实施例中，所述确定单元602，具体用于：
从所述检测图像集中筛选出包括所述正常图像类别信息和所述异常图像类别信息的检测图像，作为备选图像；
通过所述目标检测算法对所述备选图像进行检测，以确定所述备选图像中是否包括局灶性异常区域；
将包括所述局灶性异常区域的作为第二图像集。
在一个实施例中，所述确定单元602，具体用于：
对所述第一图像集中的各检测图像和所述第二图像集中的各检测图像进行融合处理，得到异常图像。
在一个实施例中，所述确定单元602，具体用于：
获取所述第一图像集中各检测图像对应的图像编号，并获取所述第二图像集中各检测图像对应的图像编号；
对所述第一图像集中各检测图像对应的图像编号和所述第二图像集中各检测图像对应的图像编号进行取并集运算，得到目标图像编号；
将所述目标图像编号对应的图像作为异常图像。
在本发明实施例中，获取单元601在获取到检测图像集后，确定单元602可进一步确定出所述检测图像中每张检测图像对应的标签信息，根据所述标签信息，确定单元602可将所述检测图像集中包括异常图像类别信息，且清洁等级指示为第一清洁等级和第二清洁等级的图像确定为第一图像集，并根据正常图像类别信息和异常图像类别信息通过目标检测算法确定出第二图像集，并在确定出所述第一图像集和所述第二图像集后，所述确定单元602从而可根据所述第一图像集和所述第二图像集确定出用于检测对象进行异常检测的异常图像，输出单元603则可将所述异常图像输出到用户界面中，使得分析人员可基于用户界面中输出的异常图像对检测对象进行异常检测，可提升对检测对象的异常分析效率。
请参见图7，是本发明实施例提供的一种智能终端的结构示意性框图。如图7所示的本实施例中的智能终端可包括：一个或多个处理器701；一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行所述存储器704存储的程序指令。
所述存储器704可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器704也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器704还可以包括上述种类的存储器的组合。
所述处理器701可以是中央处理器(central processing unit，CPU)。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器701也可以为上述结构的组合。
本发明实施例中，所述存储器704用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器704存储的程序指令，用来实现上述如图2和图3中相应方法的步骤。
在一个实施例中，所述处理器701配置调用所述程序指令，用于执行：
获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像。
在一个实施例中，所述异常图像包括以下至少一种：局灶性图像以及弥散性图像。
在一个实施例中，其特征在于，所述第二图像集不包括异常图像类别信息中的弥散性图像。
在一个实施例中，所述处理器701配置调用所述程序指令，用于执行：
从所述检测图像集中筛选出包括所述异常图像类别信息的检测图像，并从包括所述异常图像类别信息的检测图像中确定出清洁等级指示为第一清洁等级和第二清洁等级的图像作为第一图像集。
在一个实施例中，所述处理器701配置调用所述程序指令，用于执行：
从所述检测图像集中筛选出包括所述正常图像类别信息和所述异常图像类别信息的检测图像，作为备选图像；
通过所述目标检测算法对所述备选图像进行检测，以确定所述备选图像中是否包括局灶性异常区域；
将包括所述局灶性异常区域的作为第二图像集。
在一个实施例中，所述处理器701配置调用所述程序指令，用于执行：
对所述第一图像集中的各检测图像和所述第二图像集中的各检测图像进行融合处理，得到异常图像。
在一个实施例中，所述处理器701配置调用所述程序指令，用于执行：
获取所述第一图像集中各检测图像对应的图像编号，并获取所述第二图像集中各检测图像对应的图像编号；
对所述第一图像集中各检测图像对应的图像编号和所述第二图像集中各检测图像对应的图像编号进行取并集运算，得到目标图像编号；
将所述目标图像编号对应的图像作为异常图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
根据所述第一图像集和所述第二图像集确定异常图像，并输出所述异常图像。
2.根据权利要求1所述的方法，其特征在于，所述异常图像包括以下至少一种：局灶性图像以及弥散性图像。
3.根据权利要求2所述的方法，其特征在于，所述第二图像集不包括异常图像类别信息中的弥散性图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，包括：
从所述检测图像集中筛选出包括所述异常图像类别信息的检测图像，并从包括所述异常图像类别信息的检测图像中确定出清洁等级指示为第一清洁等级和第二清洁等级的图像作为第一图像集。
5.根据权利要求1所述的方法，其特征在于，所述根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集，包括：
从所述检测图像集中筛选出包括所述正常图像类别信息和所述异常图像类别信息的检测图像，作为备选图像；
通过所述目标检测算法对所述备选图像进行检测，以确定所述备选图像中是否包括局灶性异常区域；
将包括所述局灶性异常区域的作为第二图像集。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像集和所述第二图像集确定异常图像，包括：
对所述第一图像集中的各检测图像和所述第二图像集中的各检测图像进行融合处理，得到异常图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述第一图像集中的各检测图像和所述第二图像集中的各检测图像进行融合处理，得到异常图像，包括：
获取所述第一图像集中各检测图像对应的图像编号，并获取所述第二图像集中各检测图像对应的图像编号；
对所述第一图像集中各检测图像对应的图像编号和所述第二图像集中各检测图像对应的图像编号进行取并集运算，得到目标图像编号；
将所述目标图像编号对应的图像作为异常图像。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取检测图像集，所述检测图像集包括对检测对象进行检测时所产生的检测图像；
确定单元，用于确定所述检测图像集中每张检测图像对应的标签信息，所述标签信息包括：用于表示所述检测对象的正常图像类别信息，异常图像类别信息和用于表示所述检测对象所处环境的清洁等级；
所述确定单元，还用于根据所述检测图像的异常图像类别信息以及所述清洁等级确定第一图像集，并根据检测图像的正常图像类别信息和所述异常图像类别信息通过目标检测算法确定第二图像集；
所述确定单元，还用于根据所述第一图像集和所述第二图像集确定异常图像；
输出单元，用于输出所述异常图像。
9.一种智能终端，其特征在于，包括处理器、存储器和通信接口，所述处理器、所述存储器和所述通信接口相互连接，其中，所述存储器用于存储计算机程序指令，所述处理器配置用于执行所述程序指令，实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN201911049060.1A 2019-10-30 2019-10-30 一种图像处理方法、装置、智能终端及存储介质 Active CN110874836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911049060.1A CN110874836B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911049060.1A CN110874836B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN110874836A true CN110874836A (zh) 2020-03-10
CN110874836B CN110874836B (zh) 2023-04-07

Family

ID=69717998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911049060.1A Active CN110874836B (zh) 2019-10-30 2019-10-30 一种图像处理方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN110874836B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111493805A (zh) * 2020-04-23 2020-08-07 重庆金山医疗技术研究院有限公司 一种状态检测装置、方法、系统及可读存储介质
WO2021114638A1 (zh) * 2020-05-20 2021-06-17 平安科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491790A (zh) * 2017-08-25 2017-12-19 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN109191451A (zh) * 2018-09-11 2019-01-11 百度在线网络技术（北京）有限公司 异常检测方法、装置、设备和介质
CN110083727A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
US20190325259A1 (en) * 2018-04-12 2019-10-24 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491790A (zh) * 2017-08-25 2017-12-19 北京图森未来科技有限公司 一种神经网络训练方法及装置
US20190325259A1 (en) * 2018-04-12 2019-10-24 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis
CN109191451A (zh) * 2018-09-11 2019-01-11 百度在线网络技术（北京）有限公司 异常检测方法、装置、设备和介质
CN110083727A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111493805A (zh) * 2020-04-23 2020-08-07 重庆金山医疗技术研究院有限公司 一种状态检测装置、方法、系统及可读存储介质
WO2021114638A1 (zh) * 2020-05-20 2021-06-17 平安科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110874836B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
WO2019037676A1 (zh) 图像处理方法及装置
CN113015476A (zh) 用于生成和显示体内图像流的研究的系统和方法
CN109697719B (zh) 一种图像质量评估方法、装置及计算机可读存储介质
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
KR102222547B1 (ko) 인공지능 기반의 대장내시경 영상 분석 방법
CN110874836B (zh) 一种图像处理方法、装置、智能终端及存储介质
CN111161848B (zh) Ct图像的病灶标注方法及装置、存储介质
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
KR20230104083A (ko) 안구 이미지 기반의 진단 보조 이미지 제공 장치
CN112465763B (zh) 一种图像处理方法、装置、设备、介质和内窥镜系统
JP2008047664A (ja) パターン検査装置及び半導体検査システム
CN110163850B (zh) 贴胶质量检测方法、装置、计算机设备和存储介质
US11010893B2 (en) Image identifying method and image identifying device
CN112991343B (zh) 眼底图像黄斑区域的识别检测方法和装置及设备
CN113066080A (zh) 切片组织识别方法、装置，细胞识别模型及组织分割模型
CN109446627A (zh) 内窥镜图像识别方法及装置
CN113506243A (zh) Pcb焊接缺陷检测方法、装置及存储介质
CN114399764A (zh) 一种病理切片的扫描方法及系统
JPS59192945A (ja) 配線パターン欠陥検出方法及びその装置
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN110197722B (zh) Ai-cpu系统平台
CN113724218A (zh) 图像识别芯片焊接缺陷的方法、装置及存储介质
CN112969402B (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
CN114565611B (zh) 医学信息获取方法及相关设备
CN113570585A (zh) 小肠状态异常检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant