CN112446384B - 快速实例分割 - Google Patents

快速实例分割 Download PDF

Info

Publication number
CN112446384B
CN112446384B CN202011408978.3A CN202011408978A CN112446384B CN 112446384 B CN112446384 B CN 112446384B CN 202011408978 A CN202011408978 A CN 202011408978A CN 112446384 B CN112446384 B CN 112446384B
Authority
CN
China
Prior art keywords
frequency hopping
high frequency
low frequency
depth
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011408978.3A
Other languages
English (en)
Other versions
CN112446384A (zh
Inventor
李杰夫
王冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Publication of CN112446384A publication Critical patent/CN112446384A/zh
Application granted granted Critical
Publication of CN112446384B publication Critical patent/CN112446384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种实例分割的方法，包括：限定边框，对边框进行深度绘图，得到深度图，对深度图进行排序，对因排序后的深度图的噪声引起的稳定性进行估计，基于所估计的稳定性检测排序后的深度图的低频跳变，检测排序后的深度图的高频跳变，将所检测到的低频跳变与所检测到的高频跳变进行比较，基于比较来检测最大对象和最接近对象中的至少一个，并且对最大对象和最接近对象中的至少一个进行像素掩码。

Description

快速实例分割
技术领域
本公开涉及实例分割(instance segmentation)，并且具体地提供了可以与自动代客停车一起使用的快速实例分割。
背景技术
实例分割是用于机器人应用(例如自动驾驶、无人机、大规模增强现实等)的基本功能。实例分割的目标是限定边框(bounding box)、针对边框的标记以及针对检测对象的逐像素掩码(pixel-wise mask)。大多数实例分割技术仅使用红蓝绿(RGB)图像并利用神经网络来将背景与底层对象(underlying object)区分开来。
在基于嵌入式系统的系统中，非常希望降低计算成本和运行时间。
发明内容
实例分割的第一示例方法，包括以下步骤中的至少一个：限定边框，对边框进行深度绘图(depth mapping)，得到深度图，对深度图进行排序，对因排序后的深度图的噪声引起的稳定性进行估计，基于所估计的稳定性来检测排序后的深度图的低频跳变，检测排序后的深度图的高频跳变，将所检测到的低频跳变和所检测到的高频跳变进行比较，基于所述比较来检测所述最大对象和所述最接近对象中的至少一个，并且对所述最大对象和所述最接近对象中的至少一个进行像素掩码。
实例分割的第二示例方法，包括以下步骤中的至少一个：限定边框，对边框进行深度绘图，得到深度图，对深度图进行排序，对因排序后的深度图的噪声引起的稳定性进行估计，基于所估计的稳定性检测排序后的深度图的低频跳变，基于所检测到的低频跳变确定低频跳变指数(jump index)，基于高通滤波来检测排序后的深度图的高频跳变，基于所检测到的高频跳变来确定高频跳变指数，基于局部最小值和最大值对低频跳变指数和高频跳变指数进行分组，以形成分组跳变指数，将深度图与分组跳变指数进行比较，基于所述比较来检测最大对象和最接近对象中的至少一个，并且对最大对象和最接近对象中的至少一个进行像素掩码。
附图说明
在附图中：
图1是根据本公开的一个实施例的第一示例系统图；
图2是根据本公开的一个实施例的第二示例系统图；
图3是根据本公开的一个实施例的实例分割的第一示例流程图；
图4是根据本公开的一个实施例的实例分割的第二示例流程图；和
图5是根据本发明一个实施例的实例分割的第三示例流程图。
具体实施方式
下面列出的实施例仅为了说明该装置和方法的应用，而不是为了限制范围。对这种装置和方法的等同形式的修改将被归在权利要求的范围内。
贯穿以下说明书和权利要求，使用某些术语来指代特定系统部件。如本领域技术人员将理解的，不同的公司可以用不同的名称来指代部件和/或方法。本文无意区分名称不同但功能相同的部件和/或方法。
在以下讨论以及在权利要求中，术语“包括”和“包含”以开放式方式使用，因此可以被解释为“包括但不限于…”。此外，术语“耦合”旨在表示间接或直接连接。因此，如果第一设备耦合到第二设备，则该连接可以是通过直接连接或者通过经由其它设备和连接的间接连接。
图1描述了示例混合计算系统100，其可用于实施与过程300、400和500的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理单元(CPU)118。
处理单元118、120和122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，其通用性导致执行多个不同任务的能力，然而，其对多个数据流的处理是有限的，并且其关于神经网络的功能是非常有限的。GPU是一种图像处理器，其具有能够依次处理多个并行任务的许多小处理内核。FPGA是现场可编程设备，它具有被重新配置并可以以硬连线电路的方式来执行任何可以被编程到CPU或GPU中的功能的能力。由于FPGA的编程是电路形式，因此其速度比CPU快许多倍，并且明显快于GPU。
还存在系统可以包含的其他类型的处理器，例如加速处理单元(APU)(其包括CPU并且在芯片上具有GPU元件)和专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用集成电路(ASIC)还可以执行FPGA的硬连线功能；但是，设计和生产ASIC的交付时间大约为三个月，而不是FPGA编程中可用的快速周转实施方式。
图形处理器单元120、中央处理单元118和现场可编程门阵列122彼此连接并连接到存储器接口和控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口。使用该附加设备，是因为FPGA在非常大的带宽下运行的事实，并且是为了将FPGA的用于执行存储器任务的电路最小化。存储器接口和控制器112还连接到永久存储器盘110、系统存储器114和只读存储器(ROM)116。
图2的系统可用于编程和训练FPGA。GPU针对非结构化数据工作，并且可以用于训练，一旦已训练了数据，就可以找到确定性推理模型，并且CPU可以使用由GPU确定的模型数据对FPGA进行编程。
存储器接口和控制器连接到中央互连124，中央互连还连接到GPU 120、CPU 118和FPGA122。中央互连124还连接到输入和输出接口128和网络接口126。
图2描述了第二示例混合计算系统200，其可用于实施与过程500的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元(CPU)220。
FPGA电连接到与直接存储器存取(DMA)218接口连接的FPGA控制器212。DMA连接到输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都耦合到FPGA以分别将数据缓存进入FPGA和将数据从FPGA缓存出来。DMA 218具有两个先进先出(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA；DMA允许将数据写入适当的缓冲器和从适当的缓冲器读取数据。
在DMA的CPU侧是主交换机228，主交换机228将数据和命令往返传送到DMA。DMA还连接到同步动态随机存取存储器(SDRAM)控制器224，其允许数据在FPGA和CPU 220之间往返传送，并且SDRAM控制器还连接到外部SDRAM 226和CPU 220。主交换机228连接到外围设备接口230。闪存控制器222控制永久存储器并连接到CPU 220。
当前的实例分割是基于神经网络解决方案，例如Mask-RCNN。与使用纯神经网络解决方案相关联的一个可能的问题是实例分割可能花费大约两秒的时间，这对于在汽车决策中使用来说太长了。描述了可以提供解决方案的一种融合的对象检测和深度绘图方法。
在本公开中，限定了对象边框。在一个实例中，确定排序的深度图的边框对象，并确定阿伦偏差(Allen deviation)。阿伦偏差方差(Allen deviation variance)被用作对排序后的深度图内具有低频跳变指数的低频跳变进行检测的阈值。高频跳变是利用导致两个高频跳变指数的巴特沃斯高通滤波器来确定的。对低频跳变指数和高频跳变指数进行局部最小化-最大化，以对跳变指数进行分组。在每个跳变指数之间确定深度值的直方图，并进行比较以识别最大对象或最接近对象。在背景占据大部分边框的情况下，利用描述性统计来将背景与对象区分开。
本公开描述了快速传感器融合实例分割。数字信号处理流水线具有O(3n)的计算复杂度，对于每帧其花费0.05秒来确定。O(3n)表示函数的复杂度，该函数线性地增加，并且是输入数量的三倍。相比之下，像Mask-RCNN的神经网络解决方案每帧花费大约2秒。所公开的融合实例分割实现了与Mask-RCNN相当的掩码对象精度。当前的非神经网络实例分割，通过利用移动网或其它较小的模型，牺牲了精度以实施每秒更高的帧，所公开的方法利用根本上不同的方法获得了高性能和高精度的平衡。
所描述的方法是对象检测和深度绘图的融合以确定对象掩码。所描述的方法是数字信号和神经网络处理的组合，以实施高速的高性能。
图3描述了快速实例分割的第一示例流程图。在该示例中，来自后处理深度图310和边框312的数据被馈送到深度图排序器中，其中该排序器对所限定的边框内的深度图的深度值进行排序314。低频跳变检测器利用阿伦偏差检测器来检测非高频跳变316。阿伦偏差被用于设置阈值，该阈值被用于确定低频跳变。来自低频跳变检测器的输出是第一跳变指数，第一跳变指数是低频跳变指数。深度图的深度值被输入到高通滤波器以检测高频跳变318。在该示例中，高频滤波器是3阶巴特沃斯滤波器，具有500赫兹的采样频率和1赫兹的截止频率。所检测到的来自高频检测器的跳变被用于形成第二跳变指数，该第二跳变指数是高频跳变指数。比较器利用来自低频跳变指数(第一跳变指数)的数据和来自高频跳变指数(第二跳变指数)的数据来进行跳变指数的直方图比较320。比较器的输出是一组有效的深度点。通过后处理器利用有效的深度点来确定针对掩码对象(masked object)的一组深度质心322。以这种方式，将对象掩码(object masking)和有效的深度绘图进行组合来确定对象掩码。
图4描述了实例分割的第二示例方法，包括：限定410边框；对边框进行深度绘图412，得到深度图；对深度图进行排序414；并且对因排序的深度图的噪声引起的稳定性进行估计416。该方法还包括：基于所估计的稳定性，检测418排序后的深度图的低频跳变，检测420排序后的深度图的高频跳变，并且将所检测到的低频跳变和所检测到的高频跳变进行比较422。该方法基于该比较，检测424最大对象和最接近对象中的至少一个，并且对最大对象和最接近对象中的至少一个进行像素掩码426。
该方法还可以包括：标记边框；基于统计的比较在背景与最大对象和最接近对象中的至少一个之间进行确定；并且确定最大对象和最接近对象中的至少一个的深度质心。
对稳定性的估计可以基于阿伦偏差，并且低频跳变的检测利用阿伦偏差作为阈值。高频跳变的检测可以基于巴特沃斯滤波器，其具有3阶，500赫兹的采样频率和1赫兹的截止频率。低频跳变和高频跳变的比较可以基于直方图分析。
图5描述了实例分割的第三示例方法，包括：限定510边框，对边框进行深度绘图512，得到深度图，对深度图进行排序514，并且对因排序后的深度图的噪声引起的稳定性进行估计516。该方法还包括：基于所估计的稳定性，检测518排序后的深度图的低频跳变；基于所检测到的低频跳变，确定520低频跳变指数；基于高通滤波，检测522排序后的深度图的高频跳变；并且基于所检测到的高频跳变，确定524高频跳变指数。该方法包括：基于局部最小值和最大值对低频跳变指数和高频跳变指数进行分组526，以形成分组的跳变指数，并将深度图与分组的跳变指数进行比较528。该方法基于该比较来检测530最大对象和最接近对象中的至少一个，并且对最大对象和最接近对象中的至少一个进行像素掩码532。
该方法还可以包括：标记边框；基于统计的比较，在背景与最大对象和最接近对象中的至少一个之间进行确定；并且确定最大对象和最接近对象中的至少一个的深度质心。
对稳定性的估计可以基于阿伦偏差，并且低频跳变的检测利用阿伦偏差作为阈值。高频跳变的检测可以基于3阶巴特沃斯滤波器，其具有500赫兹的采样频率和1赫兹的截止频率。低频跳变和高频跳变的比较可以基于直方图分析。
本领域的技术人员将了解，本文描述的各种说明性块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上面已经在它们的功能方面总体描述了各种说明性的块、模块、元件、部件、方法和算法。这种功能是实施为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。本领域技术人员可针对每一特定应用以不同方式实施所描述的功能。在不脱离本主题技术的范围的情况下，各种部件和块可以被不同地布置(例如，以不同的顺序布置，或者以不同的方式划分)。
应当理解，所公开的过程中的步骤的特定顺序或层次是示例方法的说明。基于设计偏好，可以理解，可以重新安排过程中步骤的特定顺序或层级。一些步骤可以同时执行。所附方法权利要求以样本顺序呈现各个步骤的元素，并且不意味着限制于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域的任何技术人员能够实践本文描述的各个方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且本文限定的一般原理可以应用于其它方面。因此，权利要求不旨在限于本文中所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中，除非具体声明，否则以单数形式提及的元素并非旨在表示“一个且只有一个”，而是表示“一个或多个”。除非另有具体说明，术语“一些”是指一个或多个。男性的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然。标题和副标题(如果有的话)仅是为了方便起见，并不限制本发明。谓语词“被配置用以”、“可操作用以”和“编程用以”并不意味着对主语进行任何特定的有形或无形修饰，而是旨在互换使用。例如，被配置以监视和控制操作或部件的处理器，还可以意味着，处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样，被配置以执行代码的处理器可以被解释为，被编程以执行代码或可操作以执行代码的处理器。
诸如“方面”之类的短语并不意味着该方面对于本主题技术是必不可少的，也不意味着该方面适用于本主题技术的所有配置。与一方面有关的公开可以应用于所有配置，或者一个或多个配置。一个方面可以提供一个或多个示例。诸如方面的短语可以指一个或多个方面，反之亦然。诸如“实施例”的短语并不意味着该实施例对于本主题技术是必不可少的，也不意味着该实施例适用于本主题技术的所有配置。与实施例有关的公开可以适用于所有实施例或一个或多个实施例。实施例可以提供一个或多个示例。诸如“实施例”的短语可以指一个或多个实施例，反之亦然。诸如“配置”之类的短语并不意味着该配置对于本主题技术是必不可少的，也不意味着该配置适用于本主题技术的所有配置。与配置有关的公开可以适用于所有配置或一个或多个配置。一种配置可以提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。
本文使用的词语“示例”意味着“用作示例或说明”。本文中被描述为“示例”的任何方面或设计不必被解释为比其他方面或设计优选或有利。
本领域普通技术人员已知或以后将知道的，贯穿本公开所描述的各个方面的元件的所有结构和功能等同物均通过引用明确地并入本文，并且意在由权利要求所涵盖。而且，无论在权利要求中是否明确记载了这种公开，都不打算将本文公开的内容捐献给公众。除非使用短语“用于……的装置”明确叙述权利要求中的元素，或者在方法权利要求的情况下，使用短语“用于……的步骤”叙述权利要求中的元素，否则任何权利要求的要素均不得根据35U.S.C.§112第六段的规定进行解释。此外，关于在说明书或权利要求中使用术语“包含”、“具有”等术语，这样的术语旨在意味为包括，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“一实施例”、“一些实施例”、“各种实施例”或类似表述的引用指示特定要素或特征被包括在本发明的至少一个实施例中。尽管这些短语可以出现在各个地方，但是这些短语不一定指的是同一实施例。结合本公开，本领域技术人员将能够设计和结合适于实施上述功能的各种机制中的任何一种。
应当理解，本公开仅教导了说明性实施例的一个示例，并且本领域技术人员在阅读了本公开之后可以容易地设计出本发明的许多变型，并且本发明的范围将由以下权利要求确定。

Claims (18)

1.一种实例分割的方法，包括：
限定边框；
对所述边框进行深度绘图，得到深度图；
对所述深度图进行排序；
对因排序后的深度图的噪声引起的稳定性进行估计；
基于所估计的稳定性，检测所述排序后的深度图的低频跳变；
检测所述排序后的深度图的高频跳变；
将所检测到的低频跳变与所检测到的高频跳变进行比较；
基于所述比较，检测最大对象和最接近对象中的至少一个；以及
对所述最大对象和所述最接近对象中的至少一个进行像素掩码。
2.根据权利要求1所述的方法，还包括标记所述边框。
3.根据权利要求1所述的方法，还包括：基于统计的比较，在背景与所述最大对象和所述最接近对象中的至少一个之间进行确定。
4.根据权利要求1所述的方法，还包括：确定所述最大对象和所述最接近对象中的至少一个的深度质心。
5.根据权利要求1所述的方法，其中对因噪声引起的稳定性进行估计是基于阿伦偏差。
6.根据权利要求5所述的方法，其中对所述低频跳变的检测利用所述阿伦偏差作为阈值。
7.根据权利要求1所述的方法，其中对所述高频跳变的检测是基于巴特沃斯滤波器。
8.根据权利要求7所述的方法，其中所述巴特沃斯滤波器是3阶巴特沃斯滤波器，具有500赫兹的采样频率和1赫兹的截止频率。
9.根据权利要求1所述的方法，其中对所述低频跳变和所述高频跳变的所述比较是基于直方图分析。
10.一种实例分割的方法，包括：
限定边框；
对所述边框进行深度绘图，得到深度图；
对所述深度图进行排序；
对因排序后的深度图的噪声引起的稳定性进行估计；
基于所估计的稳定性，检测所述排序后的深度图的低频跳变；
基于所检测到的低频跳变来确定低频跳变指数；
基于高通滤波来检测所述排序后的深度图的高频跳变；
基于所检测到的高频跳变来确定高频跳变指数；
基于局部最小值和最大值对所述低频跳变指数和所述高频跳变指数进行分组，以形成分组跳变指数；
将所述深度图与所述分组跳变指数进行比较；
基于所述比较来检测最大对象和最接近对象中的至少一个；以及
对所述最大对象和所述最接近对象中的至少一个进行像素掩码。
11.根据权利要求10所述的方法，还包括标记所述边框。
12.根据权利要求10所述的方法，还包括基于统计的比较，在背景与所述最大对象和所述最接近对象中的至少一个之间进行确定。
13.根据权利要求10所述的方法，还包括确定所述最大对象和所述最接近对象中的至少一个的深度质心。
14.根据权利要求10所述的方法，其中对因噪声引起的稳定性进行估计是基于阿伦偏差。
15.根据权利要求14所述的方法，其中对所述低频跳变的检测利用所述阿伦偏差作为阈值。
16.根据权利要求10所述的方法，其中对所述高频跳变的检测基于巴特沃斯滤波器。
17.根据权利要求16所述的方法，其中所述巴特沃斯滤波器是3阶巴特沃斯滤波器，具有500赫兹的采样频率和1赫兹的截止频率。
18.根据权利要求10所述的方法，其中对所述低频跳变和所述高频跳变的所述比较是基于直方图分析。
CN202011408978.3A 2019-12-06 2020-12-04 快速实例分割 Active CN112446384B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/706,301 US10902607B1 (en) 2019-12-06 2019-12-06 Fast instance segmentation
US16/706,301 2019-12-06

Publications (2)

Publication Number Publication Date
CN112446384A CN112446384A (zh) 2021-03-05
CN112446384B true CN112446384B (zh) 2024-05-31

Family

ID=74191000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408978.3A Active CN112446384B (zh) 2019-12-06 2020-12-04 快速实例分割

Country Status (2)

Country Link
US (1) US10902607B1 (zh)
CN (1) CN112446384B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113871B1 (en) * 2020-02-25 2021-09-07 Autodesk, Inc. Scene crop via adaptive view-depth discontinuity
US11657512B2 (en) * 2021-02-02 2023-05-23 Black Sesame Technologies Inc. Fast instance segmentation
US12014508B2 (en) 2021-10-18 2024-06-18 Ford Global Technologies, Llc Distance determination from image data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
CN103996199A (zh) * 2014-03-26 2014-08-20 北京大学深圳研究生院 一种基于深度信息的运动检测方法
WO2018053952A1 (zh) * 2016-09-26 2018-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法
CN108701376A (zh) * 2016-02-09 2018-10-23 英特尔公司 三维图像的基于识别的对象分割
CN110428460A (zh) * 2019-07-21 2019-11-08 天津大学 一种基于正交相移条纹的不连续区域分割方法
CN111428711A (zh) * 2020-03-18 2020-07-17 北华航天工业学院 一种基于傅里叶变换的双频正交条纹深度分割方法
CN114638836A (zh) * 2022-02-18 2022-06-17 湖北工业大学 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN116503836A (zh) * 2023-04-24 2023-07-28 同济大学 一种基于深度补全和图像分割的3d目标检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922485B2 (en) * 2001-12-06 2005-07-26 Nec Corporation Method of image segmentation for object-based image retrieval
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
JP2013172190A (ja) * 2012-02-17 2013-09-02 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9589327B2 (en) * 2015-06-10 2017-03-07 Samsung Electronics Co., Ltd. Apparatus and method for noise reduction in depth images during object segmentation
US10554956B2 (en) * 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
WO2017139516A1 (en) * 2016-02-10 2017-08-17 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US10839573B2 (en) * 2016-03-22 2020-11-17 Adobe Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
US10867430B2 (en) * 2018-11-19 2020-12-15 Intel Corporation Method and system of 3D reconstruction with volume-based filtering for image processing
EP3680858A1 (en) * 2019-01-11 2020-07-15 Tata Consultancy Services Limited Dynamic multi-camera tracking of moving objects in motion streams

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
CN103996199A (zh) * 2014-03-26 2014-08-20 北京大学深圳研究生院 一种基于深度信息的运动检测方法
CN108701376A (zh) * 2016-02-09 2018-10-23 英特尔公司 三维图像的基于识别的对象分割
WO2018053952A1 (zh) * 2016-09-26 2018-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法
CN110428460A (zh) * 2019-07-21 2019-11-08 天津大学 一种基于正交相移条纹的不连续区域分割方法
CN111428711A (zh) * 2020-03-18 2020-07-17 北华航天工业学院 一种基于傅里叶变换的双频正交条纹深度分割方法
CN114638836A (zh) * 2022-02-18 2022-06-17 湖北工业大学 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN116503836A (zh) * 2023-04-24 2023-07-28 同济大学 一种基于深度补全和图像分割的3d目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improved Depth Estimation Algorithm via Superpixel Segmentation and Graph-cut;Da-Yun Nam，等;《2021 IEEE International Conference on Consumer Electronics (ICCE)》;第1-7页 *
不连续相位跳变点的三维深度分割;邓吉，等;《光学精密工程》;第27卷(第11期);第2459-2466页 *

Also Published As

Publication number Publication date
US10902607B1 (en) 2021-01-26
CN112446384A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN112446384B (zh) 快速实例分割
CN106778705B (zh) 一种行人个体分割方法及装置
KR101854554B1 (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
CN106960195A (zh) 一种基于深度学习的人群计数方法及装置
US20200242777A1 (en) Depth-aware object counting
KR20170056860A (ko) 이미지 생성 방법 및 장치
US9536174B2 (en) Fault-aware matched filter and optical flow
CN105308618B (zh) 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
CN110245579A (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN114419029A (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
Meus et al. Embedded vision system for pedestrian detection based on HOG+ SVM and use of motion information implemented in Zynq heterogeneous device
JP7119197B2 (ja) 車線属性検出
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN109800684A (zh) 一种视频中对象的确定方法及装置
CN111369524A (zh) 结节识别模型训练方法、结节识别方法及装置
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN112948765A (zh) 用于确定在第一组分和第二组分之间的水平延伸界面的竖直位置的方法和设备
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
CN110796115A (zh) 图像检测方法、装置、电子设备及可读存储介质
US11657512B2 (en) Fast instance segmentation
CN115512406A (zh) 年龄和性别估计
CN106441282B (zh) 一种星敏感器星跟踪方法
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置
EP4002270A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation device, and evaluation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant