CN114550062A - 图像中运动对象的确定方法、装置、电子设备和存储介质 - Google Patents

图像中运动对象的确定方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114550062A
CN114550062A CN202210179846.0A CN202210179846A CN114550062A CN 114550062 A CN114550062 A CN 114550062A CN 202210179846 A CN202210179846 A CN 202210179846A CN 114550062 A CN114550062 A CN 114550062A
Authority
CN
China
Prior art keywords
image
frame
determining
candidate
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210179846.0A
Other languages
English (en)
Inventor
郑少杰
于伟
陈智勇
王林芳
杨琛
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202210179846.0A priority Critical patent/CN114550062A/zh
Publication of CN114550062A publication Critical patent/CN114550062A/zh
Priority to PCT/CN2022/134488 priority patent/WO2023160061A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像中运动对象的确定方法、装置、电子设备和存储介质，其中，该方法包括：在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。

Description

图像中运动对象的确定方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种图像中运动对象的确定方法、装置、电子设备和存储介质。
背景技术
近年来，随着物流行业的不断发展，在对物品进行分拣的过程中，频繁出现暴力分拣的现象。相关技术中，通常对分拣过程进行视频采集，并对视频中每一帧静态图像进行对象检测，并根据对象检测结果，确定是否属于“暴力分拣行为”。在确定暴力分拣行为的过程中，仅对每一帧静态图像进行对象检测，对象检测结果中存在无用数据，且不够准确，容易导致很多运动包裹被漏检，容易遗漏“暴力分拣行为”。因此，如何准确确定出每一帧图像中所需的目标对象，对于实现准确检测暴力分拣行为是十分重要的。
发明内容
本申请提出一种图像中运动对象的确定方法、装置、电子设备和存储介质。
本申请第第一方面实施例提出了一种图像中运动对象的确定方法，所述方法包括：确定当前帧视频图像中目标对象的多个第一候选框，其中，所述第一候选框用于标注所述目标对象在所述当前帧图像中所占用的图像区域；确定所述当前帧视频图像的运动前景图像；根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框；根据所述运动前景图像，对多个所述第一候选框进行过滤，以得到第三候选框，其中，所述第三候选框中运动前景像素点的面积大于第一预设阈值；根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框。
在本申请的一个实施例中，所述根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框，包括：确定所述第二候选框和所述第三候选框之间的重叠区域；在所述重叠区域的面积大于第二预设阈值的情况下，将所述第二候选框或者所述第三候选框作为所述运动的目标对象的目标框。
在本申请的一个实施例中，所述方法还包括：在所述重叠区域的面积小于或者等于第二预设阈值的情况下，将所述第二候选框和所述第三候选框均作为所述运动的目标对象的目标框。
在本申请的一个实施例中，所述运动前景图像为多个，所述根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框，包括：确定每个所述运动前景图像的连通区域，并计算每个所述运动前景图像中连通区域的总面积；确定每个所述运动前景图像的最大外接矩形框；从多个所述运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像；将所述目标运动前景图像所对应的最大外接矩形框，确定为所述运动的目标对象的第二候选框。
在本申请的一个实施例中，所述确定所述当前帧视频图像的运动前景图像，包括：获取所述当前帧视频图像的上一帧视频图像；根据所述上一帧视频图像，确定所述当前帧视频图像的背景图像；根据所述背景图像对所述当前帧视频图像进行前景识别，以得到所述当前帧视频图像的运动前景图像，其中，所述运动前景图像用于表征所述当前帧视频图像相对于所述背景图像的变化。
本申请提出一种图像中运动对象的确定方法，在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，对确定当前帧视频图像中运动的目标对象所对应的目标框的影响，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。
本申请第第二方面实施例提出了一种图像中运动对象的确定装置，所述装置包括：第一确定模块，用于确定当前帧视频图像中目标对象的多个第一候选框，其中，所述第一候选框用于标注所述目标对象在所述当前帧图像中所占用的图像区域；第二确定模块，用于确定所述当前帧视频图像的运动前景图像；第三确定模块，用于根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框；过滤模块，用于根据所述运动前景图像，对多个所述第一候选框进行过滤，以得到第三候选框，其中，所述第三候选框中运动前景像素点的面积大于第一预设阈值；第四确定模块，用于根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框。
在本申请的一个实施例中，所述第四确定模块，包括：确定单元，用于确定所述第二候选框和所述第三候选框之间的重叠区域；第一生成单元，用于在所述重叠区域的面积大于第二预设阈值的情况下，将所述第二候选框或者所述第三候选框作为所述运动的目标对象的目标框。
在本申请的一个实施例中，所述第四确定模块还包括：第二生成单元，用于在所述重叠区域的面积小于或者等于第二预设阈值的情况下，将所述第二候选框和所述第三候选框均作为所述运动的目标对象的目标框。
在本申请的一个实施例中，所述运动前景图像为多个，所述第二确定模块，具体用于：确定每个所述运动前景图像的连通区域，并计算每个所述运动前景图像中连通区域的总面积；确定每个所述运动前景图像的最大外接矩形框；从多个所述运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像；将所述目标运动前景图像所对应的最大外接矩形框，确定为所述运动的目标对象的第二候选框。
在本申请的一个实施例中，所述第一确定模块，具体用于：获取所述当前帧视频图像的上一帧视频图像；根据所述上一帧视频图像，确定所述当前帧视频图像的背景图像；根据所述背景图像对所述当前帧视频图像进行前景识别，以得到所述当前帧视频图像的运动前景图像，其中，所述运动前景图像用于表征所述当前帧视频图像相对于所述背景图像的变化。
本申请提出一种图像中运动对象的确定装置，在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，对确定当前帧视频图像中运动的目标对象所对应的目标框的影响，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。
本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时实现本申请实施例中的图像中运动对象的确定方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时本申请实施例中的图像中运动对象的确定方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
图1是本申请实施例所提供的一种图像中运动对象的确定方法的流程示意图；
图2是本申请实施例所提供的另一种图像中运动对象的确定方法的流程示意图；
图3是本申请实施例所提供的另一种图像中运动对象的确定方法的流程示意图；
图4是本申请实施例所提供一种运动前景图像的示例图；
图5是本申请实施例所提供一种图像中运动对象的确定装置的结构示意图；
图6是本申请实施例所提供另一种图像中运动对象的确定装置的结构示意图；
图7是本申请一个实施例的电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像中运动对象的确定方法、装置和电子设备。
图1是本申请实施例所提供的一种图像中运动对象的确定方法的流程示意图。其中，需要说明的是，本实施例提供的图像中运动对象的确定方法的执行主体为图像中运动对象的确定装置，该图像中运动对象的确定装置可以由软件和/或硬件的方式实现，该实施例中的图像中运动对象的确定装置可以配置电子设备中，本实施例中的电子设备可以包括服务器，该实施例对电子设备不作具体限定。
图1是本申请实施例所提供的一种图像中运动对象的确定方法的流程示意图。
如图1所示，该图像中运动对象的确定方法可以包括：
步骤101，确定当前帧视频图像中目标对象的多个第一候选框，其中，第一候选框用于标注目标对象在当前帧图像中所占用的图像区域。
在一些实施例中，在物流场景下进行“暴力分拣”识别时,为了检测是否处于“暴力分拣”，可对分拣包裹的过程进行视频采集，并对采集到的视频中的每一帧视频图像，采用本实施例提出的方法进行处理。其中，需要说明的是，上述目标对象可以为包裹对象。
在一些实施例中，上述确定当前帧视频图像中目标对象的多个第一候选框可以通过多种方式实现，示例性说明如下：
作为一种示例性的实施方式，可将当前帧视频图像输入到预先训练的神经网络模型中，以通过神经网络模型得到当前帧视频图像中目标对象的多个第一候选框。
作为另一种示例性的实施方式，可基于目标对象的特征，对当前帧视频图像进行处理，以获取与目标对象的特征匹配的区域，并根据该区域，确定目标对象的候选框。
步骤102，确定当前帧视频图像的运动前景图像。
其中，确定当前帧视频图像的运动前景图像可以通过多种方式实现，例如帧差法、背景建模法、光流法，但不仅限于此。
步骤103，根据运动前景图像，确定当前帧视频图像中运动的目标对象的第二候选框。
在一些实施例中，在暴力分拣时，当前包裹处于运动包裹时，由于包裹处于高速运动状态，会导致运动模糊，为了避免基于一帧视频图像无法准确检测到运动的目标对象的候选框，在本实施例中可以获取到包裹的当前帧视频图像的运动前景图像以及当前帧的视频图像，并根据图像的变化信息，进行分割，再通过分割后的区域计算结果，以确定出当前帧视频图像中运动的目标对象的第二候选框，从而基于运动前景图像，准确确定出当前帧视频图像中运动的目标对象的第二候选框。
步骤104，根据运动前景图像，对多个第一候选框进行过滤，以得到第三候选框，其中，第三候选框中运动前景像素点的面积大于第一预设阈值。
在一些实施例中，根据运动前景图像，对多个第一候选框进行过滤，以得到第三候选框的一种实施方式为，针对每个第一候选框，根据运动前景图像，确定该第一候选框内部像素点为1的面积，在该面积小于设定第一预设阈值的情况下，则判断出该第一候选框内没有运动的目标对象，并过滤掉该第一候选框，以此对多个第一候选框进行过滤，以得到过滤后的第三候选框，从而在对包裹暴力分拣的检测过程中，有效的减少大量静态包裹的无用计算，节约计算资源。
其中，该第一预设阈值可以是结合实际场景设定的，该实施例对此不做具体限定。
步骤105，根据第二候选框和第三候选框，确定出运动的目标对象的目标框。
在一些实施例中，将第二候选框与第三候选框进行融合，并根据第二候选框和第三候选框的重合面积，以确定出运动的目标对象的目标框，即通过将静态图像的检测结果和动态的运动信息相结合，过滤掉对于“暴力分拣”识别的大量无用的静止物体，有效减少了计算量，提高了计算效率。
本申请提出一种图像中运动对象的确定方法，在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，对确定当前帧视频图像中运动的目标对象所对应的目标框的影响，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。
图2是本申请实施例所提供的另一种图像中运动对象的确定方法的流程示意图。
步骤201，确定当前帧视频图像中目标对象的多个第一候选框，其中，第一候选框用于标注目标对象在当前帧图像中所占用的图像区域。
其中，需要说明的是，关于步骤201的具体实现方式，可参见上述实施例中的相关描述。
步骤202，确定当前帧视频图像的运动前景图像。
在一些实施例中，确定当前帧视频图像的运动前景图像，的一种实施方式为，获取当前帧视频图像的上一帧视频图像，并根据上一帧视频图像，确定当前帧视频图像的背景图像，在根据背景图像对当前帧视频图像进行前景识别，以得到当前帧视频图像的运动前景图像，其中，运动前景图像用于表征当前帧视频图像相对于背景图像的变化，从而有效、准确的从静止图像中提取出作为前景的运动物体。
步骤203，根据运动前景图像，确定当前帧视频图像中运动的目标对象的第二候选框。
在一些实施例中，运动前景图像为多个，根据运动前景图像，确定当前帧视频图像中运动的目标对象的第二候选框的一种实施方式为,确定每个运动前景图像的连通区域，并计算每个运动前景图像中连通区域的总面积,并确定每个运动前景图像的最大外接矩形框，以从多个运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像，在将目标运动前景图像所对应的最大外接矩形框，确定为运动的目标对象的第二候选框，从而基于对运动前景图像进行连通计算，以准确确定到当前帧视频图像中运动的目标对象的第二候选框。
步骤204，根据运动前景图像，对多个第一候选框进行过滤，以得到第三候选框，其中，第三候选框中运动前景像素点的面积大于第一预设阈值。
在一些实施例中，可以根据运动前景图像，确定出每个第一候选框中运动前景像素点的面积，并将该第一候选框中运动前景像素点的面积与该目标对象对应的第一预设阈值进行比较，在该第一候选框中运动前景像素点的面积大于第一预设阈值的情况下，则将该第一候选框作为第三候选框。
其中，可以理解的是，根据运动前景图像，确定每个第一候选框中运动前景像素点的面积，具体方式可以为：通过获取第一候选框在当前帧视频图像中的位置信息，从运动前景图像中确定位于该位置信息内的运动前景像素的面积，以得到该第一候选框中运动前景像素点的面积。
步骤205，确定第二候选框和第三候选框之间的重叠区域。
步骤206，在重叠区域的面积大于第二预设阈值的情况下，将第二候选框或者第三候选框作为运动的目标对象的目标框。
在一些实施例中，在重叠区域的面积小于或者等于第二预设阈值的情况下，将第二候选框和第三候选框均作为运动的目标对象的目标框，从而根据第二候选框和第三候选框之间的重叠区域，准确确定出目标对象目标框。
本申请提出一种图像中运动对象的确定方法，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，在第二候选框和第三候选框之间的重叠区域的面积大于第二预设阈值的情况下，将第二候选框或者第三候选框作为运动的目标对象的目标框。由此，在检测目标对象运动的过程中，基于静态图像的筛选和动态的运动信息，以准确确定出目标对象的目标框。
图3是本申请实施例所提供的另一种图像中运动对象的确定方法的流程示意图。
步骤301，获取视频图像序列。
在一些实施例中，可以将输入的视频流或本地视频文件，进行视频解码抽帧，以提取为图像序列，作为目标对象检测的输入。
步骤302，单张静态图片的物体检测。
在一些实施例中，获取上述采集的图像序列中的每一帧静态图片，进行目标检测，以提取出每一帧图像中包裹的目标框Bmodel(t)，可以理解的是，提取出每一帧图像中包裹的目标框的方式可以包括但不仅限于目标检测和深度学习神经网络模型。
其中，Bmodel(t)表示由模型预测的静态图片的目标框结果,t为图像序列的帧索引，每一项元素为目标框的左上角和右下角的坐标(x1,y1,x2,y2)。
步骤303，运动前景区域分割。
在一些实施例中，运动前景区域分割可以采用但不限于采用帧差法、背景建模法、光流法，该实施例对此不做具体限定。
其中，帧差法以及光流法都是以当前帧的图片和上一帧图片作为输入，计算得到图像的变化信息，然后根据一个对应环境的经验阈值，对帧差法或光流法的结果进行图像二值分割，以得到运动的前景图像，如图4所示，可以理解的是，图4左侧为某一帧静态彩色(red-green-blue，RGB)图像，图4右侧除去虚线框部分为运动前景分割结果，灰色区域为运动前景图像F(x,y,t)。
其中，可以理解的是，运动前景分割是指在序列特征多种运动中，标记出与每一独立运动相关联的像素，并对这些像素按照各自所属的对象进行聚类，其主要目的是从静止背景之中提取出作为前景的运动物体。
步骤304，生成额外的运动物体目标框。
在一些实施例中，根据步骤303得到的运动前景分割结果，对于图4右侧灰色的运动前景图像，进行连通区域计算，并对每个连通区域的最外侧边缘求取最大外接矩形框，如图4右侧的矩形框c、矩形框d，由于包裹本身的高速运动特性，所以在运动前景分割结果图上，体现出包裹运动变化区域经常呈现出一片内部很少空洞的连通区域。此外，在物流场景中，大多数包裹都为矩形体状，因此，可以通过计算连通区域的总面积Sroi和外侧最大外接框面积Srec之比ratio＝Srio/Srec，作为生成额外运动包裹目标框的约束，当ratio大于某个阈值时，可以认为该候选框为运动的包裹目标，如图4右侧候选框c为真正运动的包裹，而候选框d是由人手臂局部运动引起。
此外，还可以过滤掉连通区域的总面积小于某个阈值的候选框，以滤除噪点，提高检测结果的准确性。
步骤305，结果融合。
在一些实施例中，先根据步骤303得到的运动分割前景图像，将静态图片的目标检测结果中的静止目标对象过滤掉，其中，步骤303中的得到的运动分割前景图像为二值图像，运动前景区域像素为1，背景像素为0。
基于每一帧静态图片的包裹检测中得到的第一候选框，并计算内部像素为1的面积，如果小于某个阈值，可以认为该第一候选框内没有运动目标，以此过滤掉大量静止的第一候选框，然后对过滤后的第一候选框和生成额外的运动物体目标框进行融合，对于互相重合区域面积大于某一个阈值的两个框，随机删除其中一个，只保留其中一个作为最终的目标候选框结果，对于互相重合区域面积小于或等于某一个阈值的两个框，则将两个都作为最终的目标候选框。
步骤306，输出运动物体检测结果。
本申请提出一种图像中运动对象的确定方法，通过将获取的视频的图像序列作为输入，以对每一帧静态图片进行包裹检测，并进行运动前景区域分割，从而生成额外的运动包裹目标框，再将运动包裹目标框和静态目标检测结果的检测框进行融合，以得到目标候选框，并输出运动物体检测结果。由此，在检测目标对象运动的过程中，将静态图像的检测结果和动态的运动信息相融合，以准确得到运动物体检测结果并输出。
图5是本申请实施例所提供一种图像中运动对象的确定装置的结构示意图。
如图5所示，该图像中运动对象的确定装置500包括：
第一确定模块501，用于确定当前帧视频图像中目标对象的多个第一候选框，其中，第一候选框用于标注目标对象在当前帧图像中所占用的图像区域。
第二确定模块502，用于确定当前帧视频图像的运动前景图像。
第三确定模块503，用于根据运动前景图像，确定当前帧视频图像中运动的目标对象的第二候选框。
过滤模块504，用于根据运动前景图像，对多个第一候选框进行过滤，以得到第三候选框，其中，第三候选框中运动前景像素点的面积大于第一预设阈值。
第四确定模块505，用于根据第二候选框和第三候选框，确定出运动的目标对象的目标框。
本申请提出一种图像中运动对象的确定装置，在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，对确定当前帧视频图像中运动的目标对象所对应的目标框的影响，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。
在本申请的一个实施例中，如图6，第四确定模块505，包括：
确定单元5051，用于确定第二候选框和第三候选框之间的重叠区域。
第一生成单元5052，用于在重叠区域的面积大于第二预设阈值的情况下，将第二候选框或者第三候选框作为运动的目标对象的目标框。
在本申请的一个实施例中，如图6，第四确定模块505，还包括：
第二生成单元5053，用于在重叠区域的面积小于或者等于第二预设阈值的情况下，将第二候选框和第三候选框均作为运动的目标对象的目标框。
在本申请的一个实施例中，如图6，第二确定模块502，具体用于：
确定每个运动前景图像的连通区域，并计算每个运动前景图像中连通区域的总面积。
确定每个运动前景图像的最大外接矩形框框。
从多个运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像。
将目标运动前景图像所对应的最大外接矩形框，确定为运动的目标对象的第二候选框。
在本申请的一个实施例中，如图6，第一确定模块501，具体用于：
获取当前帧视频图像的上一帧视频图像。
根据上一帧视频图像，确定当前帧视频图像的背景图像。
根据背景图像对当前帧视频图像进行前景识别，以得到当前帧视频图像的运动前景图像，其中，运动前景图像用于表征当前帧视频图像相对于背景图像的变化。
本申请提出一种图像中运动对象的确定方法，在确定当前帧视频图像中运动的目标对象的目标框的过程中，确定出当前帧视频图像中目标对象的多个第一候选框，并确定当前帧视频图像的运动前景图像，以根据运动前景图像，确定出当前帧视频图像中运动的目标对象的第二候选框，并对多个第一候选框进行过滤，得到第三候选框，以根据第二候选框和第三候选框，确定出运动的目标对象的目标框。由此，结合当前帧视频图像的运动前景图像，对当前帧视频图像中目标对象的候选框的过滤，减少了大量无用的候选框，对确定当前帧视频图像中运动的目标对象所对应的目标框的影响，实现准确确定出当前帧视频图像中运动的目标对象的目标框的同时，提高了计算效率。
如图7所示，是根据本申请一个实施例的电子设备的框图。
如图7所示，该电子设备包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机指令。
处理器702执行指令时实现上述实施例中提供的图像中运动对象的确定方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机指令。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器702，用于执行程序时实现上述实施例的图像中运动对象的确定方法。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像中运动对象的确定方法，其特征在于，所述方法包括：
确定当前帧视频图像中目标对象的多个第一候选框，其中，所述第一候选框用于标注所述目标对象在所述当前帧图像中所占用的图像区域；
确定所述当前帧视频图像的运动前景图像；
根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框；
根据所述运动前景图像，对多个所述第一候选框进行过滤，以得到第三候选框，其中，所述第三候选框中运动前景像素点的面积大于第一预设阈值；
根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框。
2.如权利要求1所述的方法，其特征在于，所述根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框，包括：
确定所述第二候选框和所述第三候选框之间的重叠区域；
在所述重叠区域的面积大于第二预设阈值的情况下，将所述第二候选框或者所述第三候选框作为所述运动的目标对象的目标框。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
在所述重叠区域的面积小于或者等于第二预设阈值的情况下，将所述第二候选框和所述第三候选框均作为所述运动的目标对象的目标框。
4.如权利要求2所述的方法，其特征在于，所述运动前景图像为多个，所述根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框，包括：
确定每个所述运动前景图像的连通区域，并计算每个所述运动前景图像中连通区域的总面积；
确定每个所述运动前景图像的最大外接矩形框；
从多个所述运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像；
将所述目标运动前景图像所对应的最大外接矩形框，确定为所述运动的目标对象的第二候选框。
5.如权利要求1-4任一项所述的方法，其特征在于，所述确定所述当前帧视频图像的运动前景图像，包括：
获取所述当前帧视频图像的上一帧视频图像；
根据所述上一帧视频图像，确定所述当前帧视频图像的背景图像；
根据所述背景图像对所述当前帧视频图像进行前景识别，以得到所述当前帧视频图像的运动前景图像，其中，所述运动前景图像用于表征所述当前帧视频图像相对于所述背景图像的变化。
6.一种图像中运动对象的确定装置，其特征在于，所述装置包括：
第一确定模块，用于确定当前帧视频图像中目标对象的多个第一候选框，其中，所述第一候选框用于标注所述目标对象在所述当前帧图像中所占用的图像区域；
第二确定模块，用于确定所述当前帧视频图像的运动前景图像；
第三确定模块，用于根据所述运动前景图像，确定所述当前帧视频图像中运动的目标对象的第二候选框；
过滤模块，用于根据所述运动前景图像，对多个所述第一候选框进行过滤，以得到第三候选框，其中，所述第三候选框中运动前景像素点的面积大于第一预设阈值；
第四确定模块，用于根据所述第二候选框和所述第三候选框，确定出所述运动的目标对象的目标框。
7.如权利要求6所述的装置，其特征在于，所述第四确定模块，包括：
确定单元，用于确定所述第二候选框和所述第三候选框之间的重叠区域；
第一生成单元，用于在所述重叠区域的面积大于第二预设阈值的情况下，将所述第二候选框或者所述第三候选框作为所述运动的目标对象的目标框。
8.如权利要求7所述的装置，其特征在于，所述第四确定模块还包括：
第二生成单元，用于在所述重叠区域的面积小于或者等于第二预设阈值的情况下，将所述第二候选框和所述第三候选框均作为所述运动的目标对象的目标框。
9.如权利要求7所述的装置，其特征在于，所述运动前景图像为多个，所述第二确定模块，具体用于：
确定每个所述运动前景图像的连通区域，并计算每个所述运动前景图像中连通区域的总面积；
确定每个所述运动前景图像的最大外接矩形框；
从多个所述运动前景图像中，获取连通区域的总面积与最大外接矩形框的面积之比大于第三预设阈值的目标运动前景图像；
将所述目标运动前景图像所对应的最大外接矩形框，确定为所述运动的目标对象的第二候选框。
10.如权利要求6-9任一项所述的装置，其特征在于，所述第一确定模块，具体用于：
获取所述当前帧视频图像的上一帧视频图像；
根据所述上一帧视频图像，确定所述当前帧视频图像的背景图像；
根据所述背景图像对所述当前帧视频图像进行前景识别，以得到所述当前帧视频图像的运动前景图像，其中，所述运动前景图像用于表征所述当前帧视频图像相对于所述背景图像的变化。
11.一种电子设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的图像中运动对象的确定法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像中运动对象的确定方法。
CN202210179846.0A 2022-02-25 2022-02-25 图像中运动对象的确定方法、装置、电子设备和存储介质 Pending CN114550062A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210179846.0A CN114550062A (zh) 2022-02-25 2022-02-25 图像中运动对象的确定方法、装置、电子设备和存储介质
PCT/CN2022/134488 WO2023160061A1 (zh) 2022-02-25 2022-11-25 图像中运动对象的确定方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210179846.0A CN114550062A (zh) 2022-02-25 2022-02-25 图像中运动对象的确定方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114550062A true CN114550062A (zh) 2022-05-27

Family

ID=81678660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210179846.0A Pending CN114550062A (zh) 2022-02-25 2022-02-25 图像中运动对象的确定方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN114550062A (zh)
WO (1) WO2023160061A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160061A1 (zh) * 2022-02-25 2023-08-31 京东科技信息技术有限公司 图像中运动对象的确定方法、装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600625A (zh) * 2016-12-13 2017-04-26 广东沅朋网络科技有限公司 检测小型生物的图像处理方法及装置
WO2019184604A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种检测目标图像的方法及装置
CN110363790A (zh) * 2018-04-11 2019-10-22 北京京东尚科信息技术有限公司 目标追踪方法、装置和计算机可读存储介质
CN110798592A (zh) * 2019-10-29 2020-02-14 普联技术有限公司 基于视频图像的物体移动侦测方法、装置、设备及存储介质
CN110879951A (zh) * 2018-09-06 2020-03-13 华为技术有限公司 一种运动前景检测方法及装置
CN112347967A (zh) * 2020-11-18 2021-02-09 北京理工大学 一种复杂场景下融合运动信息的行人检测方法
CN112749590A (zh) * 2019-10-30 2021-05-04 上海高德威智能交通系统有限公司 目标检测方法、装置、计算机设备和计算机可读存储介质
CN113192057A (zh) * 2021-05-21 2021-07-30 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN113780119A (zh) * 2021-08-27 2021-12-10 华雁智能科技(集团)股份有限公司 基于静止摄像机应用场景的高精度运动目标检测方法
CN113822110A (zh) * 2021-01-07 2021-12-21 北京京东振世信息技术有限公司 一种目标检测的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647649B (zh) * 2018-05-14 2021-10-01 中国科学技术大学 一种视频中异常行为的检测方法
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN114550062A (zh) * 2022-02-25 2022-05-27 京东科技信息技术有限公司 图像中运动对象的确定方法、装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600625A (zh) * 2016-12-13 2017-04-26 广东沅朋网络科技有限公司 检测小型生物的图像处理方法及装置
WO2019184604A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种检测目标图像的方法及装置
CN110363790A (zh) * 2018-04-11 2019-10-22 北京京东尚科信息技术有限公司 目标追踪方法、装置和计算机可读存储介质
CN110879951A (zh) * 2018-09-06 2020-03-13 华为技术有限公司 一种运动前景检测方法及装置
CN110798592A (zh) * 2019-10-29 2020-02-14 普联技术有限公司 基于视频图像的物体移动侦测方法、装置、设备及存储介质
CN112749590A (zh) * 2019-10-30 2021-05-04 上海高德威智能交通系统有限公司 目标检测方法、装置、计算机设备和计算机可读存储介质
CN112347967A (zh) * 2020-11-18 2021-02-09 北京理工大学 一种复杂场景下融合运动信息的行人检测方法
CN113822110A (zh) * 2021-01-07 2021-12-21 北京京东振世信息技术有限公司 一种目标检测的方法和装置
CN113192057A (zh) * 2021-05-21 2021-07-30 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN113780119A (zh) * 2021-08-27 2021-12-10 华雁智能科技(集团)股份有限公司 基于静止摄像机应用场景的高精度运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈直;郑娟娟;沈剑峰;施柏煊;: "微球动态涂敷状态实时监测系统的实现", 光学仪器, no. 02, 30 April 2006 (2006-04-30) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160061A1 (zh) * 2022-02-25 2023-08-31 京东科技信息技术有限公司 图像中运动对象的确定方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2023160061A1 (zh) 2023-08-31

Similar Documents

Publication Publication Date Title
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN107358149B (zh) 一种人体姿态检测方法和装置
CN110008809B (zh) 表格数据的获取方法、装置和服务器
CN110309824B (zh) 文字检测方法、装置以及终端
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
WO2021051604A1 (zh) Osd的文字区域的识别方法、装置及存储介质
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
US20060029276A1 (en) Object image detecting apparatus, face image detecting program and face image detecting method
EP2709039A1 (en) Device and method for detecting the presence of a logo in a picture
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN105894464A (zh) 一种中值滤波图像处理方法和装置
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
JP7026165B2 (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
CN114937086B (zh) 多图像目标检测的训练方法、检测方法及相关产品
CN109783680B (zh) 图像推送方法、图像获取方法、装置及图像处理系统
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN113129298A (zh) 文本图像的清晰度识别方法
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN115223173A (zh) 对象识别方法、装置、电子设备及存储介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination