CN110569698A - 一种图像目标检测及语义分割方法和装置 - Google Patents

一种图像目标检测及语义分割方法和装置 Download PDF

Info

Publication number
CN110569698A
CN110569698A CN201811015498.3A CN201811015498A CN110569698A CN 110569698 A CN110569698 A CN 110569698A CN 201811015498 A CN201811015498 A CN 201811015498A CN 110569698 A CN110569698 A CN 110569698A
Authority
CN
China
Prior art keywords
image
semantic segmentation
result
target detection
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811015498.3A
Other languages
English (en)
Other versions
CN110569698B (zh
Inventor
郭昕
程远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811015498.3A priority Critical patent/CN110569698B/zh
Publication of CN110569698A publication Critical patent/CN110569698A/zh
Application granted granted Critical
Publication of CN110569698B publication Critical patent/CN110569698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种用于图像的目标检测或语义分割方法和装置，所述方法包括：获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；计算第一图像与第二图像之间的关联关系；以及基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。

Description

一种图像目标检测及语义分割方法和装置
技术领域
本说明书实施例涉及图像处理方法，更具体地，涉及一种图像目标检测及语义分割方法和装置。
背景技术
在常规的车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，拍摄现场照片，并将定损照片留档以供核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期较长。
随着互联网的发展，出现一种理赔方案，其中，通过用户在现场拍摄车损照片，并将所述照片上传至服务器，从而通过算法或人工基于所述车损照片进行定损和理赔。然而，在该方案中，通常对拍摄的照片有一定的要求，而用户通常很难做到符合这些要求。因此，需要一种引导用户拍摄定损照片的技术，以满足上述需求。在该引导用户拍摄定损照片的技术中，通常需要快速地在镜头采集的视频流中对车辆部件进行目标检测或语义分割，识别出不同部件的位置，以通过示出与车辆部件或车辆损伤对应的目标框或语义分割信息，从而达到引导的目的。对于该需求，现有技术中通常的做法是通过目标检测及语义分割模型获取视频的每一帧的目标检测或语义分割结果。
因此，需要一种更有效地获取图像的目标检测或语义分割结果的方法。
发明内容
本说明书实施例旨在提供一种更有效的获取图像的目标检测或语义分割结果的方法，以解决现有技术中的不足。
为实现上述目的，本说明书一个方面提供一种用于图像的目标检测或语义分割方法，包括：
获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
计算第一图像与第二图像之间的关联关系；以及
基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，在所述用于图像的目标检测或语义分割方法中，所述第一图像的目标检测结果或语义分割结果通过将所述第一图像输入预定目标检测及语义分割模型获取。
在一个实施例中，在所述用于图像的目标检测或语义分割方法中，所述关联关系包括光流或映射矩阵。
在一个实施例中，所述用于图像的目标检测或语义分割方法还包括，在计算第一图像与第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；基于所述第二图像与所述预测图像，计算预测误差，其中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果包括，在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割方法，还包括，在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割方法还包括，在获取所述第二图像的目标检测结果或语义分割结果之后，对所述第二图像的目标检测结果或语义分割结果进行平滑处理。
在一个实施例中，在所述用于图像的目标检测或语义分割方法中，所述第一图像和第二图像为视频流中的相邻帧图像。
在一个实施例中，在所述用于图像的目标检测或语义分割方法中，所述视频流为事故车辆的视频流。
在一个实施例中，在所述用于图像的目标检测或语义分割方法中，所述方法在移动设备端执行，所述移动设备包括摄像头和显示屏，其中，所述视频流为根据用户指令通过所述摄像头采集的视频流，所述第二图像为所述视频流的当前帧，所述方法还包括，在获取所述第二图像的目标检测结果或语义分割结果之后，在所述显示屏上示出所述目标检测结果或所述语义分割结果。
本说明书另一方面提供一种用于图像的目标检测或语义分割装置，包括：
第一获取单元，配置为，获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
第一计算单元，配置为，计算所述第一图像与所述第二图像之间的关联关系；以及
第二获取单元，配置为，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括：第三获取单元，配置为，在计算第一图像与第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；第二计算单元，配置为，基于所述第二图像与所述预测图像，计算预测误差，其中，所述第二获取单元还配置为，在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括输入单元，配置为，在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括平滑单元，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，对所述第二图像的目标检测结果或语义分割结果进行平滑处理。
在一个实施例中，在所述用于图像的目标检测或语义分割装置中，所述装置在移动设备端实施，所述移动设备包括摄像头和显示屏，其中，所述视频流为根据用户指令通过所述摄像头采集的视频流，所述第二图像为所述视频流的当前帧，所述装置还包括示出单元，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，在所述显示屏上示出所述目标检测结果或所述语义分割结果。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项用于图像的目标检测或语义分割方法。
在根据本说明书实施例的图像目标检测或语义分割方法中，通过充分利用图像之间的关联关系，通过算法自动判定当前帧是否需要调用目标检测或语义分割算法，在不需要调用目标检测或语义分割算法的情况中，通过图像间的关联关系获取当前帧图像的目标检测结果或语义分割结果，减少了不必要的计算，节省了计算资源，提高了计算速度，同时还保持了较高的精度，从而改善了用户体验。
附图说明
通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：
图1示意示出根据本说明书实施例的图像目标检测及语义分割系统100；
图2示出根据本说明书实施例的一种用于图像的目标检测或语义分割方法的流程图；
图3示出映射矩阵的映射效果；
图4示出了基于第一图像的目标框以及第一图像与第二图像的关联关系获取第二图像的目标框的示意图；以及
图5示出根据本说明书实施例的一种用于图像的目标检测或语义分割装置500。
具体实施方式
下面将结合附图描述本说明书实施例。
图1示意示出根据本说明书实施例的图像目标检测及语义分割系统100。如图1所示，系统100包括关联关系获取单元11、误差确定单元12、映射单元13、目标检测及语义分割模型14和显示屏15。系统100例如为用于进行车辆定损的移动设备，如手机、智能设备等。所述关联关系获取单元11例如用于获取图像之间的光流或图像之间的映射矩阵，其基于其获取的具体关联关系，而具有相应的模型、算法。例如，在关联关系获取单元11用于获取图像之间的光流的情况中，关联关系获取单元11中包括多个FlowNet以用于获取图像之间的光流。
例如，在通过上述系统100对第二图像进行目标检测或语义分割的情况中，首先将第一图像和第二图像输入关联关系获取单元11，其中，第一图像与第二图像包括至少一个相同的目标检测对象或语义分割类别，例如，第一图像和第二图像是车险事故车辆视频流中的相邻两帧图像，在该情况中，第一图像和第二图像中包括的目标检测对象或语义分割类别(如车辆部件、车辆损伤等)基本相同。另外，在APP中已经获取第一图像的例如车辆部件的目标框或语义分割信息，例如，可通过将第一图像输入目标检测及语义分割模型14，从而获取其上的目标框和语义分割信息。
在关联关系获取单元11中，计算第一图像与第二图像之间的关联关系，并将第一图像、第二图像和所述关联关系发送给误差确定单元12。在误差确定单元12中，基于第一图像和所述关联关系，获取与第二图像对应的预测图像，并基于第二图像和预测图像，计算预测误差。在预测误差小于预定阈值的情况中，误差确定单元12将第二图像和关联关系发送给映射单元13。同时，APP对映射单元13输入第一图像的目标检测结果或语义分割结果。在映射单元13中，基于第一图像的目标检测结果或语义分割结果、第二图像、以及第一图像与第二图像之间的关联关系，将第一图像的目标检测结果或语义分割结果映射到第二图像上，从而获取第二图像的目标检测结果或语义分割结果。在上述预测误差大于预定阈值的情况中，例如通过误差确定单元12将第二图像发送给目标检测及语义分割模型14，从而通过将第二图像输入目标检测及语义分割模型14，从而获取第二图像的目标检测结果或语义分割结果。在获取第二图像的目标检测结果或语义分割结果之后，例如可在显示屏中实时显示所述第二图像的目标检测结果或语义分割结果。
图1所示的系统100的结构只是示意性的，并不限制根据本说明书实施例的系统的结构。例如，图1中所示的误差确定单元12、显示屏15都不是本说明书实施例必需的。再例如，第一图像上的目标框和语义分割信息不一定通过目标检测及语义分割模型14获取，而是也可以通过上述方法获取。
图2示出根据本说明书实施例的一种用于图像的目标检测或语义分割方法的流程图。所述方法包括：
在步骤S202，获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
在步骤S204，计算第一图像与第二图像之间的关联关系；以及
在步骤S206，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
首先，在步骤S202，获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别。
在一个实施例中，该方法在移动设备(例如手机)端执行，下文将以手机为例说明该方法。然而，可以理解，根据本说明书实施例的方法不限于在例如手机的移动设备端执行，例如，该方法也可以在服务器端执行。
在一个实施例中，所述第一图像和第二图像例如为视频流中的相邻帧图像，从而第一图像和第二图像包括基本相同的目标检测对象或语义分割类别。在一个实施例中，所述视频流为事故车辆的视频流，所述目标检测对象、语义分割类别为车辆部件和/或车辆损伤。
在例如手机端，用户(例如事故车辆车主)可打开用于车辆定损的APP，并打开APP中的拍摄界面，同时将摄像头对准事故车辆。在打开拍摄界面之后，APP调用手机摄像头采集事故车辆的视频流，同时在手机屏上显示该视频流。所述第一图像例如为该视频流的第一帧图像。所述第二图像例如为该视频流的第二帧图像。当APP获取该视频流的第一帧图像之后，APP将该第一帧图像输入手机中部署的目标检测及语义分割模型中，以获取该第一帧图像的目标检测结果和/或语义分割结果。
所述目标检测及语义分割模型是用于移动端的轻量化的模型，其例如通过MobileNet v2+SSDLite而实现，或者还可以通过MobileNet v2+DeepLab v3、MaskRCNN等实现。在一个实施例中，所述目标检测及语义分割模型可通过大量加标注(目标框或分割信息)的车辆损伤图像进行训练获得。其中，在所述训练样本中针对车辆的部件、或损伤区域进行标注，从而可训练出用于针对车辆部件和车辆损伤的目标检测及语义分割模型。
本领域技术人员可以理解，上述对步骤S202的说明只是示例说明，并不用于限制该方法，例如，所述方法不限于在手机端执行，所述第一图像和第二图像不限于视频流中的相邻帧的图像，也不限于为事故车辆视频流中的图像。另外，第一图像的目标检测结果或语义分割结果不限于通过目标检测及语义分割模型获取，而是例如可通过本说明书实施例的方法获取。例如，第一图像为上述事故车辆视频流的第二帧图像，其上目标框和/或语义分割信息通过图2所示方法获取。
在步骤S204，计算第一图像与第二图像之间的关联关系。
所述关联关系例如为图像间的光流、映射矩阵等。可以理解，所述关联关系还可包括其它各种关联关系，例如，图像间的拍摄位置角度变换等。
在一个实施例中，所述关联关系包括通过多个FlowNet构建的帧与帧之间的动态信息。例如，通过FlowNet1处理第一图像，获得与第一图像对应的图像特征，通过FlowNet2处理第二图像，获得与第二图像对应的图像特征，通过融合FlowNet1与FlowNet2的输出，从而获得第一图像与第二图像之间的光流。可以理解，获取图像间光流的方法不限于上述方法，而可以包括本领域技术人员可获取的其它方法，例如，可通过将第一图像与第二图像同时输入一种FlowNet网络，同时对第一图像和第二图像进行处理，从而获取第一图像与第二图像的光流。
在一个实施例中，所述关联关系包括图像间的映射矩阵。在一种用于获取图像之间的映射矩阵的算法中，首先计算第一图像与第二图像之间的图像梯度和图像差值，然后，通过最小二乘优化和Cholesky分解，获取第一图像与第二图像之间的映射矩阵。可以理解，用于获取映射矩阵的方法不限于上述所述方法，而包括本领域技术人员可获取的其它方法，如RANSAC方法、LmeDS方法等。图3示出映射矩阵的映射效果。如图3所示，(a)为第一图像，(c)为第二图像，(b)为使用映射矩阵变换第一图像所获得的第二图像’，该映射矩阵为第一图像到第二图像的映射矩阵。可见经过映射矩阵的变换的第二图像’与第二图像基本一致。其中，如图所示，即第一图像和第二图像包括多个相同的车辆部件、车辆损伤，如车轮、车门等。
在步骤S206，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
图4示出了基于第一图像的目标框以及第一图像与第二图像的关联关系获取第二图像的目标框的示意图。在图4中，图4(a)为与图3(a)所示相同的第一图像，不同的是，其中包括目标框标出车辆损伤，图4(b)为通过上述图3(a)与图3(c)之间的映射关系对图4(a)进行映射所获取的图像。从而，通过第一图像与第二图像之间的映射关系，可将第一图像中的目标框映射到第二图像的相同车辆损伤所在的位置，从而获取了对第二图像的目标检测结果。同样地，对于第一图像上的语义分割信息，例如，对车轮、车门的分割等，可同样地通过上述映射矩阵，映射到第二图像上，从而获取对第二图像的语义分割结果。
这里虽然以映射矩阵为例进行了说明，可以理解，对于其它关联关系，可类似地通过上述转换步骤，将第一图像上的目标检测结果或语义分割结果相应地转换到第二图像上，从而可以较小的计算量获取第二图像的目标检测结果或语义分割结果。
在一个实施例中，在计算第一图像与第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；基于所述第二图像与所述预测图像，计算预测误差。在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述关联关系为第一图像与第二图像之间的光流。在该情况中，由于光流表示的是第一图像与第二图像之间的位移向量，因此，基于第一图像与第二图像之间的光流，以及第一图像，可获取与第二图像对应的预测图像。在获取预测图像之后，可进行预测图像与第二图像之间的比较，以计算预测误差。例如，通过计算预测图像与第二图像的每对对应像素的差值的平方和，从而计算预测误差，其中，像素的差值例如为像素灰度值(在图像为灰度图的情况下)的差值，或者，像素的差值为RGB向量距离(在图像为彩色图的情况下)。该预测误差的计算不限于上述方式，例如，通过将预测图像和第二图像各自包括的多个像素的像素值转换为与预测图像和第二图像分别对应的两个向量，从而通过计算两个向量之间的高维欧氏距离，获取所述预测误差。在该预测误差小于预定阈值的情况中，说明第一图像与第二图像之间的光流的预测质量较高，因此，可通过该光流将第一图像上的目标框(或分割信息)转换到第二图像上。从而相比于直接输入目标检测及语义分割模型，可以较少的计算量获取目标检测结果或语义分割结果。
在一个实施例中，所述关联关系为第一图像与第二图像之间的映射矩阵，如图3所示，可基于该映射矩阵和第一图像，获取对第二图像的预测图像，即图3(b)。与上文类似地，可通过计算预测图像与第二图像之间的预测误差，确定该映射矩阵的预测质量，即如图3所示，可通过如上所述计算图3(b)与图3(c)之间的预测误差，确定映射矩阵的映射质量。在预测误差较小的情况中，可如图4(b)所示，例如将第一图像中的目标框等映射到第二图像上，从而获取第二图像的目标检测结果或语义分割结果。
在一个实施例中，在通过图2所示的方法获取第二图像的目标检测结果或语义分割结果的情况中，由于在与关联关系(如光流)相关的计算中，会增加较多的噪声，因此，在获取的第二图像的目标框或语义分割上会出现锯齿状边界。因此，在如上所述获取第二图像的目标检测结果或语义分割结果之后，还对该目标检测结果或语义分割结果进行平滑处理，以改善显示效果。
如前文所述，根据本说明书实施例的该方法可用于手机端，用户在打开APP中的拍摄界面之后，APP调用手机摄像头采集事故车辆的视频流，同时在手机屏上显示该视频流。在通过目标检测及语义分割模型对该视频流的第一帧进行目标检测和/或语义分割之后，对于该视频流的后面的帧，例如第二帧，都可以用上述方法进行目标检测或语义分割，以获取目标检测结果或语义分割结果。由于该方法相比于直接输入目标检测及语义分割模型，计算量大大降低，从而可基本实时地获取对视频流当前帧图像的目标检测或语义分割，并实时地显示在手机屏上，从而可以通过目标框、语义分割信息以及与其相关的信息实时对用户的拍摄进行提示。
图5示出根据本说明书实施例的一种用于图像的目标检测或语义分割装置500，包括：
第一获取单元51，配置为，获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
第一计算单元52，配置为，计算所述第一图像与所述第二图像之间的关联关系；以及
第二获取单元53，配置为，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括：第三获取单元54，配置为，在计算第一图像与第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；第二计算单元55，配置为，基于所述第二图像与所述预测图像，计算预测误差，其中，所述第二获取单元53还配置为，在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括输入单元56，配置为，在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
在一个实施例中，所述用于图像的目标检测或语义分割装置还包括平滑单元57，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，对所述第二图像的目标检测结果或语义分割结果进行平滑处理。
在一个实施例中，在所述用于图像的目标检测或语义分割装置中，所述装置在移动设备端实施，所述移动设备包括摄像头和显示屏，其中，所述视频流为根据用户指令通过所述摄像头采集的视频流，所述第二图像为所述视频流的当前帧，所述装置还包括示出单元58，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，在所述显示屏上示出所述目标检测结果或所述语义分割结果。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项用于图像的目标检测或语义分割方法。
在根据本说明书实施例的图像目标检测或语义分割方法中，通过充分利用图像之间的关联关系，通过算法自动判定当前帧是否需要调用目标检测或语义分割算法，在不需要调用目标检测或语义分割算法的情况中，通过图像间的关联关系获取当前帧图像的目标检测结果或语义分割结果，减少了不必要的计算，节省了计算资源，提高了计算速度，同时还保持了较高的精度，从而改善了用户体验。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种用于图像的目标检测或语义分割方法，包括：
获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
计算所述第一图像与所述第二图像之间的关联关系；以及
基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
2.根据权利要求1所述的用于图像的目标检测或语义分割方法，其中，所述第一图像的目标检测结果或语义分割结果通过将所述第一图像输入预定目标检测及语义分割模型获取。
3.根据权利要求1所述的用于图像的目标检测或语义分割方法，其中所述关联关系包括光流或映射矩阵。
4.根据权利要求1所述的用于图像的目标检测或语义分割方法，还包括，在计算所述第一图像与所述第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；基于所述第二图像与所述预测图像，计算预测误差，其中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果包括，在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
5.根据权利要求4所述的用于图像的目标检测或语义分割方法，还包括，在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
6.根据权利要求1所述的用于图像的目标检测或语义分割方法，还包括，在获取所述第二图像的目标检测结果或语义分割结果之后，对所述第二图像的目标检测结果或语义分割结果进行平滑处理。
7.根据权利要求1所述的用于图像的目标检测或语义分割方法，其中，所述第一图像和所述第二图像为视频流中的相邻帧图像。
8.根据权利要求7所述的用于图像的目标检测或语义分割方法，其中，所述视频流为事故车辆的视频流。
9.根据权利要求7或8所述的用于图像的目标检测或语义分割方法，其中，所述方法在移动设备端执行，所述移动设备包括摄像头和显示屏，其中，所述视频流为根据用户指令通过所述摄像头采集的视频流，所述第二图像为所述视频流的当前帧，所述方法还包括，在获取所述第二图像的目标检测结果或语义分割结果之后，在所述显示屏上示出所述目标检测结果或所述语义分割结果。
10.一种用于图像的目标检测或语义分割装置，包括：
第一获取单元，配置为，获取第一图像、第二图像及第一图像的目标检测结果或语义分割结果，其中，所述第一图像和第二图像包括至少一个相同的目标检测对象或语义分割类别；
第一计算单元，配置为，计算所述第一图像与所述第二图像之间的关联关系；以及
第二获取单元，配置为，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
11.根据权利要求10所述的用于图像的目标检测或语义分割装置，其中，所述第一图像的目标检测结果或语义分割结果通过将所述第一图像输入预定目标检测及语义分割模型获取。
12.根据权利要求10所述的用于图像的目标检测或语义分割装置，其中所述关联关系包括光流或映射矩阵。
13.根据权利要求10所述的用于图像的目标检测或语义分割装置，还包括：第三获取单元，配置为，在计算第一图像与第二图像之间的关联关系之后，基于所述第一图像和所述关联关系，获取与第二图像对应的预测图像；第二计算单元，配置为，基于所述第二图像与所述预测图像，计算预测误差，其中，所述第二获取单元还配置为，在所述预测误差小于预定阈值的情况中，基于所述第一图像的目标检测结果或语义分割结果、及所述关联关系，获取所述第二图像的目标检测结果或语义分割结果。
14.根据权利要求13所述的用于图像的目标检测或语义分割装置，还包括输入单元，配置为，在所述预测误差大于预定阈值的情况中，将所述第二图像输入预定目标检测及语义分割模型，以获取所述第二图像的目标检测结果或语义分割结果。
15.根据权利要求10所述的用于图像的目标检测或语义分割装置，还包括平滑单元，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，对所述第二图像的目标检测结果或语义分割结果进行平滑处理。
16.根据权利要求10所述的用于图像的目标检测或语义分割装置，其中，所述第一图像和所述第二图像为视频流中的相邻帧图像。
17.根据权利要求16所述的用于图像的目标检测或语义分割装置，其中，所述视频流为事故车辆的视频流。
18.根据权利要求16或17所述的用于图像的目标检测或语义分割装置，其中，所述装置在移动设备端实施，所述移动设备包括摄像头和显示屏，其中，所述视频流为根据用户指令通过所述摄像头采集的视频流，所述第二图像为所述视频流的当前帧，所述装置还包括示出单元，配置为，在获取所述第二图像的目标检测结果或语义分割结果之后，在所述显示屏上示出所述目标检测结果或所述语义分割结果。
19.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
CN201811015498.3A 2018-08-31 2018-08-31 一种图像目标检测及语义分割方法和装置 Active CN110569698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811015498.3A CN110569698B (zh) 2018-08-31 2018-08-31 一种图像目标检测及语义分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811015498.3A CN110569698B (zh) 2018-08-31 2018-08-31 一种图像目标检测及语义分割方法和装置

Publications (2)

Publication Number Publication Date
CN110569698A true CN110569698A (zh) 2019-12-13
CN110569698B CN110569698B (zh) 2023-05-12

Family

ID=68772340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811015498.3A Active CN110569698B (zh) 2018-08-31 2018-08-31 一种图像目标检测及语义分割方法和装置

Country Status (1)

Country Link
CN (1) CN110569698B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340101A (zh) * 2020-02-24 2020-06-26 广州虎牙科技有限公司 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN112232971A (zh) * 2020-10-14 2021-01-15 太平金融科技服务（上海）有限公司 反欺诈检测方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914267A (zh) * 2012-09-27 2013-02-06 无锡天授信息科技有限公司 一种运动目标尺寸检测系统及方法
CN104685540A (zh) * 2013-09-27 2015-06-03 华为技术有限公司 图像语义分割的方法和装置
CN105095838A (zh) * 2014-05-20 2015-11-25 中国移动通信集团广东有限公司 一种目标检测方法及装置
US20160035107A1 (en) * 2013-04-25 2016-02-04 Wenming Zheng Moving object detection
CN106875406A (zh) * 2017-01-24 2017-06-20 北京航空航天大学 图像引导的视频语义对象分割方法及装置
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN108230346A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 用于分割图像语义特征的方法和装置、电子设备
CN108229575A (zh) * 2018-01-19 2018-06-29 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108280844A (zh) * 2018-02-05 2018-07-13 厦门大学 一种基于区域候选框跟踪的视频目标定位方法
CN108427951A (zh) * 2018-02-08 2018-08-21 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914267A (zh) * 2012-09-27 2013-02-06 无锡天授信息科技有限公司 一种运动目标尺寸检测系统及方法
US20160035107A1 (en) * 2013-04-25 2016-02-04 Wenming Zheng Moving object detection
CN104685540A (zh) * 2013-09-27 2015-06-03 华为技术有限公司 图像语义分割的方法和装置
CN105095838A (zh) * 2014-05-20 2015-11-25 中国移动通信集团广东有限公司 一种目标检测方法及装置
CN106875406A (zh) * 2017-01-24 2017-06-20 北京航空航天大学 图像引导的视频语义对象分割方法及装置
CN108230346A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 用于分割图像语义特征的方法和装置、电子设备
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN108229575A (zh) * 2018-01-19 2018-06-29 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108280844A (zh) * 2018-02-05 2018-07-13 厦门大学 一种基于区域候选框跟踪的视频目标定位方法
CN108427951A (zh) * 2018-02-08 2018-08-21 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340101A (zh) * 2020-02-24 2020-06-26 广州虎牙科技有限公司 稳定性评估方法、装置、电子设备和计算机可读存储介质
CN112232971A (zh) * 2020-10-14 2021-01-15 太平金融科技服务（上海）有限公司 反欺诈检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110569698B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110569695B (zh) 基于定损图像判定模型的图像处理方法和装置
Li et al. PDR-Net: Perception-inspired single image dehazing network with refinement
EP3777122B1 (en) Image processing method and apparatus
CN108921782B (zh) 一种图像处理方法、装置及存储介质
CN108269254B (zh) 图像质量评估方法和装置
CN109377494B (zh) 一种用于图像的语义分割方法和装置
CN110570358A (zh) 基于gan网络的车损图像增强方法和装置
CN110650292B (zh) 辅助用户拍摄车辆视频的方法及装置
CN110570435B (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
US20140126808A1 (en) Recursive conditional means image denoising
US9286663B2 (en) Method and apparatus for filtering an image using a guidance image
CN108010059B (zh) 电子防抖算法的性能分析方法及装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN110349161B (zh) 图像分割方法、装置、电子设备、及存储介质
CN108241855B (zh) 图像生成方法和装置
CN110569698A (zh) 一种图像目标检测及语义分割方法和装置
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN110738576A (zh) 为受损车辆生成定损文件的方法及装置
CN111126493B (zh) 深度学习模型的训练方法、装置、电子设备及存储介质
CN110349108B (zh) 处理图像的方法、装置、电子设备、及存储介质
CN115439734A (zh) 质量评估模型训练方法、装置、电子设备及存储介质
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN114187245A (zh) 视频污损检测方法、装置、电子设备及存储介质
US11120269B2 (en) Method and apparatus for determining target rotation direction, computer readable medium and electronic device
CN112258563A (zh) 图像对齐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018798

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant