CN106716450B - 利用边缘向量的基于图像的特征检测 - Google Patents

利用边缘向量的基于图像的特征检测 Download PDF

Info

Publication number
CN106716450B
CN106716450B CN201580030670.0A CN201580030670A CN106716450B CN 106716450 B CN106716450 B CN 106716450B CN 201580030670 A CN201580030670 A CN 201580030670A CN 106716450 B CN106716450 B CN 106716450B
Authority
CN
China
Prior art keywords
edge
anchor point
similarity
edges
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580030670.0A
Other languages
English (en)
Other versions
CN106716450A (zh
Inventor
宋斌
N.维基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nant Holdings IP LLC
Original Assignee
Nant Holdings IP LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nant Holdings IP LLC filed Critical Nant Holdings IP LLC
Publication of CN106716450A publication Critical patent/CN106716450A/zh
Application granted granted Critical
Publication of CN106716450B publication Critical patent/CN106716450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种在数字图像内检测多个边缘的技术。选择位于该多个边缘中的一个边缘的锚点。生成与该锚点相关联的分析网格，该分析网格包括多个单元。计算在该锚点处包括该边缘的正向量的锚点法向量。计算边缘像素法向量，该边缘像素法向量包括沿该分析网格的单元内的边缘位置的边缘的法向量。为该分析网格的一个或多个单元中的每一个生成相似度直方图，每个相似度直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量，并且基于相似度直方图为分析网格生成描述符。

Description

利用边缘向量的基于图像的特征检测
交叉引用
本申请要求2014年5月6日提交的美国临时申请号61/989,445的权利。该申请以其全部内容通过引用并入本文。
技术领域
本申请公开部分一般涉及基于图像的目标识别，更具体地，涉及用于基于图像的目标识别的特征识别技术。
背景技术
多种特征检测算法用于基于图像的目标识别。从最基本的层面上讲，特征检测算法生成描述符，该描述符提供用于特征化、汇总和索引图像的区别特征(例如，形状，目标等)的手段，以用于基于图像的目标识别、搜索和检索。基于图像的目标识别的特征检测算法的一个示例为尺度不变特征变换(Scale Invariant Feature Transform，SIFT)特征检测算法，如在Lowe的美国专利No.6,711,293中所描述的。例如，SIFT特征检测算法可以应用于图像中，以生成图像内的多个特征的描述符。
基于机械的目标识别通常包括两个不同的步骤。首先，使用特征检测算法(例如SIFT特征检测算法)来分析已知目标的训练图像，其产生与图像数据中的特征相关联的描述符。与许多不同目标相关联的描述符可以被打包为用于部署在识别设备(例如智能手机)上的识别库或数据库。第二，识别设备捕捉目标的新的“查询”图像。设备将相同的特征检测算法应用于查询图像，从而生成查询图像描述符。然后，设备将查询图像描述符与识别库中的训练图像描述符进行比较。如果有足够的匹配，通常是最近邻域匹配，则查询图像被认为包含至少一个已知目标的表示。
发明内容
该多个特征检测算法通常基于不同的底层原理。因此，某些描述符可特别用于某些目标识别情形。例如，一些描述符一般在描述跟踪跨越视子区段据的帧的特征(例如FAST角点描述符)中有效，而其他描述符一般在描述各种目标几何结构时有效。理想的描述符应当用作基于多个图像的目标识别目的。
很多图像识别技术难以在一幅图像中区分开纹理丰富的目标(如动作人偶玩具或砖墙)和纹理不良的目标(例如纯色域标识、金属扁坯或者金属片)。例如，边缘特征梯度基本上如从一个视频帧到另一个视频帧发生改变，从而绝对信息(例如沿边缘的仅一个点上获得的信息)可能无法解释相对信息，例如关于一边缘的一部分和该边缘的另一部分之间的关系的信息。不需要多种类型的目标识别描述符，仅一个类型的描述符为纹理丰富以及纹理不良的图像提供有效的基于图像的目标识别能力是有益的。
本文描述了生成数字图像的边缘特征描述符的方法、系统以及制品。该多个实施例可以为纹理丰富的图像以及纹理不良的图像提供有效的基于图像的目标识别能力。在一实施例中，可以识别一个数字图像中的多个边缘。该数字图像可以是视频流的视频帧和渲染图像中的一项。可以基于张量投票和Canny边缘检测算法中的一个检测该多个边缘。可以沿该多个边缘的一个边缘选择锚点。该锚点可以是对应于SIFT(Scale-Invariant FeatureTransform，尺度不变特征变换)、FREAK(Fast Retina Keypoint，快速视网膜关键点)、HOG(Histograms of Oriented Gradient，梯度方向直方图)、SURF(Speeded Up RobustFeatures，加速鲁棒特征)、DAISY、BRISK(Binary Robust Invariable ScalableKeypoints，二进制鲁棒尺度不变特征关键点)、FAST(Features from AcceleratedSegment Test，基于加速分割的检测特征)、BRIEF(Binary Robust IndependentElementary Features，二进制鲁棒独立基元特征)、哈里斯角点、边缘(Edges)、GLOH(Gradient Location and Orientation Histogram，梯度位置方向直方图)、EOG(Energyof image Gradient，图像梯度能量)或TILT(Transform Invariant Low-rank Textures，变换不变低秩纹理)特征中的至少一项的特征。生成与该锚点相关联的分析网格，该分析网格包括多个单元。与该锚点相关联的分析网格在该锚点处具有几何中心，并且可包括极坐标网络、径向极坐标网格或者直线网格中的一项。计算包括在锚点处的边缘的法向量的锚点法向量。该锚点法向量可以是哈里斯矩阵特征向量或者与该锚点处的像素坐标处的边缘正交的几何法向量中的一个。计算一个或多个边缘像素法向量，该边缘像素法向量包括沿着该分析网络的单元内的边缘的一个或多个位置处的边缘的法向量。边缘像素法向量可以是哈里斯矩阵特征向量或与像素坐标处的边缘正交的几何法向量中的一项。为分析网格的一个或多个单元格中的每一个生成相似度直方图，每个相似度直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量，并且基于相似度直方图为分析网格生成描述符。生成描述符可以包括连接来自分析网格的一个或多个单元的相似度直方图的数据。利用该分析表格的该描述符可有利于基于图像的目标识别搜索。
在一些实施例中，可以从多个边缘处消除至少一个退化边缘。
在一些实施例中，该数字图像可以通过缩放因子进行缩放，并且该多个边缘可以在该缩放数字图像内被检测到。在一些实施例中，该缩放因子可以至少为1.5。在一些实施例中，该缩放因子可以至少为2.0。
在一些实施例中，该锚点包括该边缘的检测角点。
在一些实施例中，可以基于该锚点法向量对该分析网格进行定向。
在一些实施例中，该分析网格包括至少5个单元。在一些实施例中，该分析网格包括至少9个单元。
在一些实施例中，相似度度量可以基于单元内的每个边缘像素法向量与锚点法向量之间的相对角度或点积中的一个。
在一些实施例中，相似度度量可以基于单元内每个边缘像素法向量的幅值与锚点法向量的幅值之间的比较。该单元内每个边缘像素法向量的幅值和锚点法向量的幅值可以基于非定向测量。
在一些实施例中，该相似度度量可以基于一个或多个权重因素。该一个或多个权重因素可以基于欧几里德距离因子和高斯权重中的一个。
在一些实施例中，每个相似度直方图可以包括多个子区段(bins)。在一些实施例中，每个相似度直方图包括至少4个子区段或至少16个子区段。多个子区段的子区段值可以基于最大的子区段值归一化，并且范围可介于0和255之间。
在一些实施例中，可以确定来自相似度直方图的数据的级联顺序。级联顺序可以基于分析网格的单元相对于锚点法向量的方向。
在一些实施例中，该描述符可以是多维向量，该多维向量具有基于该分析网格内的多个单元的多个维度。在一些实施例中，该描述符可以是多维向量，该多维向量具有基于该分析网格的相似度直方图的子区段的总数量的多个维度。
在一些实施例中，可以选择沿着该边缘定位的多个锚点，其中该锚点沿着边缘相对于彼此等距。在一些实施例中，可以根据沿着该边缘的分析网格的确定分布、每单位面积的分析网格的确定数量、每单位体积确定的分析网格的数量、所选的目标模型或与该数字图像相关联的深度场信息中的至少一项选择沿该边缘定位的多个锚点。
通过下面的说明，并结合附图，本发明主题的多个目的、特征、方面以及有益效果会更加清楚，其中附图中相同的附图标记表示相同的组件。
附图说明
图1示出了根据一实施例的数字图像的示例；
图2示出了根据一实施例的数字图像内检测的多个边缘的示例；
图3A示出了根据一实施例中选择的一锚点的示例；
图3B示出了根据一实施例生成的与锚点相关联的分析网格的示例；
图4示出了根据一实施例的在分析网格的单元内计算的边缘像素法向量的示例；
图5示出了根据一实施例的生成的分析网格的单元的相似度直方图的示例；
图6示出了根据一实施例的基于相似度直方图生成的分析网格的描述符的示例；
图7示出了根据一实施例的用于生成数字图像的边缘特征描述符的系统的框图；
图8示出了根据一实施例的用于生成数字图像的边缘特征描述符的示例操作的流程图；
图9示出了根据一实施例的为纹理不良目标的图像生成边缘特征描述符的示例；
图10示出了根据一实施例的纹理不良目标的图像的基于图像的目标识别的示例；
图11示出了根据一实施例的纹理良好目标的图像的基于图像的目标识别的示例；
图12示出了根据一实施例的纹理不良三维目标的图像的基于图像的目标识别的示例；以及
图13示出了可用于执行多个实施例的一个或多个方面的分布式计算机系统的框图。
虽然本发明结合上述附图进行描述，然而这些附图都是描述性目的，其他实施例与本发明思想具一致性，并且在本发明保护范围之内。
具体实施方式
下面结合附图对多个实施例进行更全面的描述，该附图构成本申请的一部分，并且作为描述目的，显示了实现该实施例的具体示例。然而，该说明书可以以多种不同的形式实现，并且不应该理解为受本文中实施例的限制；相反地，提供这些实施例的目的在于使说明书更加透彻和完整，并且向本领域技术人员完全地传达发明范围。此外，该说明书可以体现为方法或者装置。因此，上述多个实施例中的任意一个都可以完全采用硬件实施例，完全采用软件实施例，或者结合软件和硬件方面的实施例。因此，下述说明不作限定目的。
整个说明书和权利要求书中，对本文下述术语明确定义如下，除非上下文明确说明表示其他意思。
文中使用的词组“在一实施例中”不一定表示同一个实施例，虽然也可以表示如此。因此，如下文所描述的，本发明的多个实施例可以容易地组合，而不会超出本发明保护范围。
如文中描述的，术语“或”为包括性的“或”描述符，并且等同于术语“和/或”，除非上下文明确说明表示其他意思。
术语“基于”并非排他性的，并且允许基于其他未描述的特征，除非上下文明确说明表示其他意思。
除非上下文明确表示其他意思，在文中应用的术语“连接到”既表示直接连接(其中互相连接的两个元件互相接触)也表示间接连接(至少一个其他元件位于该两个元件之间)。因此，术语“连接到”和“与……连接”为同意的。在网络环境的语境中，如果两个或多个元件或设备可以交换数据，则术语“连接到”和“与……连接”也表示“可通信地与……连接”，可能通过一个或多个中介设备。
此外，说明书全篇，“一”和“一个”包括多个引用，并且“在……中”的意思包括“在……中”和“在……上”。
尽管本文呈现的多个实施例中的一些构成了发明要素的单一组合，然而应该理解的是，发明主题应被理解为包括该公开要素的所有可能的组合。因此，如果一个实施例包括要素A、B和C，而另一实施例包括要素B和D，则发明主题就能被理解为还包括A、B、C和D的其他剩余的组合，即使这在本文中没有明确讨论。
如在本文说明书以及下面的权利要求书中使用的，当系统、引擎、服务器、装置、模块或其他计算元件被描述为可配置为实施或执行存储器内数据的函数时，该“配置为”或者“编程为”被定义为被一组存储在计算元件的存储器内的一组软件指令编程的计算元件的一个或多个处理器或者核，以对存储在存储器中的目标数据或者数据目标执行一组函数。
应该注意的是，任何针对计算机的语言应该被解读为包括计算设备的任意合适的组合，包括独立或共同操作的服务器、接口、系统、数据库、代理、对等点、引擎、控制器、模块或其他类型的计算设备结构。应该理解的是，计算设备包括配置为执行存储于有形的永久性计算机可读存储介质(例如硬盘、FPGA、PLA、固态驱动、RAM、flash、ROM等)内的软件指令。该软件指令配置或程序化该计算设备以提供作用、责任或其他如下文讨论的相对于已公开装置的功能。此外，该公开的技术可以体现为计算机程序产品，包括用于存储可使处理器执行与实现基于计算机算法、流程、方法或其他指令相关的公开步骤。在一些实施例中，该多个服务器、系统、数据库或者接口使用标准协议或算法交换数据，可能基于HTTP、HTTPS、AES、公私密钥交换、网络服务APIs、已知的财务交易协议或者其他电子信息交换方法。设备间的数据交换可以通过包交换网络、因特网、LAN、WAN、VPN或其他类型的包交换网络；电路切换网络、单元切换网络或其他类型的网络执行。
公开的具独创性的主题的焦点在于可以构建或者配置计算设备，以对超出人力能力范围的大量的数字数据进行操作。然而，在一些实施例中，该数字数据表示目标的图像，应该理解的是，该数字数据为该目标的表征，而不一定是目标本身。通过将这种数字模型或者数字图像安装到该计算设备的存储器中，该计算设备可以管理该数字数据或者模型，管理方式为可以向该计算设备的用户提供实用性，如果没有该工具，则无法向用户提供该实用性。因此，根据公开的技术，该公开的设备可以以更有效的方式处理该数字数据。
应该理解的是，该公开技术提供了很多有益技术效果，包括改进了基于数字图像的目标识别和检索技术的范围、精度、紧凑性、效率以及速度。应该理解的是，下述说明不旨在作为广泛的概述，因此为了清楚和简明目的，对概念进行简化。
根据多个实施例，在图像检索、图像识别和/或基于图像的目标识别的上下文中提及的目标实例检索涉及响应于给定检索图像的图像数据库(在本文中分别表示“图像”和“数字图像”)的特征检测的系统和方法。通过使用表征、总结和检索图像的区别特征的描述符，图像识别成为可能。大型图像识别涉及并行运行的多个服务器以及每个服务器处理一千万或者更多图像的图像数据库(相对于中型图像识别中每个服务器处理约1百万图像的图像数据库)。然而，由于响应于大图像数据库的描述符的存储要求，通常需要在图像描述符的内存占用和例如由mAP(mean average precision，平均准确率)测得的图像检索性能之间做权衡。因此，对于执行大型图像识别，优选的是利用更少的图像描述符去特征化图像。
图1显示了根据一实施例的数字图像的示例。在图1中，数字图像100显示了一个或多个目标的图像或数字表示。数字图像100可以是一个或多个目标的红外滤波图像、X射线图像、360度视角图像、合成图像、机器视觉图像、视频数据帧、图形渲染、三维立体图中的一个，或者其他类型的数字图像。数字图像100还可以显示已经通过缩放因子缩放的数字图像，例如按比例放大或按比例缩小。数字图像100内的一个或多个目标可以包括纹理丰富、纹理中等或纹理不良的目标的任何组合，例如医疗信息、人、动物、植物、玩具、建筑物、产品、条形码、印刷品或其它类型的目标。
在一些实施例中，数字图像100可以是一图像的一部分或者是更大的图像结构的一部分(例如，一图像的局部，社交媒体网站公布的显示一群人的照片中提取的人脸图片，或视频序列的帧)。例如，可以通过捕捉视频流的视频帧来获得数字图像100，例如通过图像捕捉设备或通过广播(例如，电视，电影等)。
描述符可以是对应于图像的一个或多个可区分特征(例如，形状，目标等)的矢量。存在多种用于检测图像特征和生成描述符的方法。例如，尺度不变特征变换(SIFT)是当前普遍的用于检测和描述图像特征的图像识别算法。SIFT描述符为128维从而具有高分辨率(即，对于匹配目的是可区分性)并且至少部分可容忍诸如照明，三维(3D)视点等变化。例如，与生成SIFT描述符相关的一个参考文献为D.Lowe(劳氏博士)，“Distinctive imageFeatures from Scale-Invariant Keypoints(来自尺度不变关键点的特有图像特征)”，International Journal of Computer(计算机国际国际期刊)版本60(2)，第91-110页(2004)。除了SIFT描述符之外，其他可选择的描述符包括FREAK(Fast Retina Keypoint，快速视网膜关键点)描述符、HOG(Histograms of Oriented Gradient，梯度方向直方图)描述符、SURF(Speeded Up Robust Features，加速鲁棒特征)描述符、DAISY描述符、BRISK(Binary Robust Invariable Scalable Keypoints，二进制鲁棒尺度不变特征关键点)描述符、FAST描述符、BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立基元特征)描述符、哈里斯角点描述符、边缘描述符、GLOH(Gradient Location andOrientation Histogram，梯度位置方向直方图)描述符、EOG(Energy of image Gradient，图像梯度能量)描述符或TILT(Transform Invariant Low-rank Textures，变换不变低秩纹理)描述符。通常，图像数据集的每个图像可以包括由描述符表示的数百或数千个特征。因此，实际的系统约束通常需要采用即能够压缩用于描述图像数据集的描述符的数量，并且减小存储描述符中包含的信息所需的存储器的大小的方法。
基于边缘的特征描述符有利于为各种数字图像(例如，纹理丰富的，纹理不良的)提供有效的基于图像的目标识别能力。例如，边缘检测算法可应用于检测数字图像(例如数字图像100)内的多个边缘。可以选择沿着多个边缘的一边缘定位的锚点，并且可以生成包括与该锚点相关联的多个单元的分析网格。然后可以基于锚点处的边缘信息和与该锚点相关联的分析网格的网络单元内的边缘信息之间的相似性的直方图来确定用于该分析网格的基于边缘的特征描述符。因此，用于数字图像100的基于边缘的特征描述符的库可以与已知目标(例如，人、建筑物、车辆、条形码、打印介质等)相关联，以促进基于图像的目标识别搜索。
图2示出了根据公开主题的实施例的在数字图像内检测到的多个边缘的示例。如图2所示，数字图像200可以包括多个边缘，例如边缘202。可以基于多种边缘检测技术在数字图像200内检测该多个边缘202。一般来说，边缘检测的目标在于识别图像中具有的被确定为重要性的不连续性的位置。
在一示例性实施例中，可通过将张量投票概念应用到数字图像200中，来检测多个边缘202，例如将边缘像素(即边缘像素(edgels))分组到边缘。张量投票是一种对点云中结构进行提取和分组的技术，例如在数字图像内。一般来说，张量投票包括估计一个点(例如，图像像素)位于表面、曲线或结点上或者该点是否是噪声的可能性的显著性测量，并且基于通过张量编码的最可能的法向传播和聚集。在第一阶段中，利用法向的第一估计，或者如果预定义信息不可用，则利用球形张量初始化云中的每个点处的张量。接下来，每个张量被分解成三个分量：棒，板和球。每个分量投射投票，该投票即通过考虑由该分量中的投票者编码的信息，选择对相邻点处法向的最可能的方向编码的张量。然后将投票相加并分析以估计每个点所处的表面，曲线和交点测量。显著性低的点被认为是噪声。
在另一示例性实施例中，可以通过将canny边缘检测算法应用于数字图像200来检测该多个边缘202。通常，canny边缘检测算法包括应用高斯滤波器以平滑图像，从而去除噪声，确定图像的强度梯度，应用非最大抑制(例如，边缘稀疏技术)以消除边缘检测的寄生响应，应用双阈值以确定可能的边缘，以及通过滞后跟踪边缘，例如通过消除未连接到强边缘的弱边缘，来完成边缘检测。这样，在各种实施例中，canny边缘检测算法可以用于检测边缘像素，而张量投票概念可以用于将边缘像素分组到边缘。
在一些实施例中，可以通过将一个或多个小边特征连接在一起以形成边缘来在数字图像200内检测多个边缘。例如，小边特征可以由具有曲率半径的圆弧表示，并且每个小边特征可以包括能够被定位为沿着边缘的边缘像素(例如，图像的像素)。
在一些实施例中，边缘检测可以包括提供尺度不变性的技术。例如，数字图像200可以通过缩放因子缩放，以在多个比例中的每一个比例提取边缘集合。因此，数字图像200可以被多次缩小(例如，因子为2)，直到达到实际的下限。例如，缩放因子可以包括1.5、1.75、2.25、2.5或其他因子。在一个实施例中，缩放因子优选为至少1.5或至少2.0，以提供一般足够的尺度不变性和相对于其他缩放因子的更大的计算效率。
本领域技术人员应当理解，这里描述的边缘检测技术是示例性的，还可以应用多种其他边缘检测技术来确定数字图像内的多个边缘。例如，用于边缘检测的示例性系统和方法在2015年2月16日递交的名称为“基于边缘的识别、系统及方法”的美国专利申请No.14/623341中有所描述，其全部内容通过引用并入本文。本领域技术人员应该理解，某些边缘，例如数字图像200内的退化边缘208可以从该多个边缘中消除，从而减少噪声。例如，附近没有缺少其他边缘的单点线(例如具有非常低曲率并且具有较大半径的圆弧)可能会从该多个边缘中被消除，例如由于其缺少基于图像的目标识别搜索的分辨能力。
图3A示出了根据一实施例选择的锚点的示例。在图3A中，在数字图像(例如数字图像200)内选择沿边缘302的锚点300。例如，边缘302可以是使用诸如上述的边缘检测技术检测到的多个边缘中的一个边缘。锚点300可以被选择为在沿边缘302的任何位置(例如像素位置)。在实施例中，可以利用特征检测算法来选择锚点300。例如，在一些实施例中，锚点300可以是对应于尺度不变特征变换(SIFT)、快速视网膜关键点(FREAK)、定向梯度直方图(HOG)、加速鲁棒特征(SURF)、DAISY、二进制鲁棒不变可缩放关键点(BRISK)、FAST、二进制鲁棒独立基本特征(BRIEF)、哈里斯角点、边缘、梯度位置和定向直方图(GLOH)、图像梯度能量(EOG)或变换不变低秩纹理(TILT)特征中的至少一个特征。此外，在一些实施例中，锚点300可以被选择为位于沿边缘302的特定兴趣点。例如，锚点300可以位于边缘302中的检测角点处，或者位于沿着边缘302的另一类型的被检测到的特征处(例如拐点，高于阈值的边缘曲率变化等)。在一些实施例中，诸如边缘中检测角点的特征可能是特别兴趣点，因为可以在视频流数据的实时或逐帧分析期间跟踪这些特征。此外，边缘中检测角点处的特征可以包括与图像数据相关的纹理信息。因此，本领域技术人员将会理解，锚点可以被选择为位于基本上沿被检测到的边缘上的任何点处，或者离检测到的边缘在阈值距离内。
应当可以理解，尽管图3A仅示出了一个锚点，但是可以沿着边缘302选择多个锚点，例如用以生成用于图像的多个描述符。在一些实施例中，可以根据沿着边缘的分析网格中的确定分布、每个单元面积内分析网格的确定数量、每个单位体积内分析网格的确定数量(如下文描述的)、被选择的目标模型、与数字图像相关的深度场信息中的至少一项来选择沿边缘定位的多个锚点。例如，沿边缘302定位的多个锚点可以选择为沿边缘相互等间距。
在一实施例中，可以计算锚点法向量304，该锚点法向量包括在该锚点处边缘的法向量。例如，锚点法向量304示出了法向量，如包括与锚点300处的边缘302相关联的信息的单位法向量。在一实施例中，锚点法向量304可以是正交于该锚点的像素坐标处的边缘的哈里斯矩阵特征向量或几何法向量中的一项。例如，锚点法向量304可以对应于从高亮度指向低亮度的哈里斯矩阵特征向量，其中哈里斯矩阵可以被确定为具有如九个像素的平均窗口大小(即，锚点和八个相邻像素的像素坐标)以减少噪声，同时保持计算效率。在另一示例中，锚点法向量304可以是与锚点300处的边缘302基本上正交的几何法向量(例如在与锚点300相关联的像素坐标处)。例如，锚点300处的几何法向量可以基于与边缘302相关联的曲率半径信息来计算，如果与边缘302的小边特征或边缘像素相关联的曲率半径信息已知，也可以基于该与边缘302的小边特征或边缘像素相关联的曲率半径信息计算。
图3B示出了一个根据一实施例的与锚点关联生成的分析网格的示例。一般来说，分析网格表示一个可以用于分析在相关联的锚点周围的区域中的曲线的人工建构。例如，在图3B中，分析网格310与锚点300相关联，而分析网格340与锚点330相关联。在多个实施例中，分析网格可以是极坐标网格，径向极坐标网格或直线网格中的一个。例如，分析网格310和分析网格340是极坐标网格或径向极坐标网格。在一些实施例中，根据在边缘上识别的特征的数量，分析网格可以针对沿着边缘的多个锚点中的至少一些均匀分布。例如，多个锚点的分布可以满足沿着边缘彼此等间距。然后，与多个锚点相对应的分析网格可以是重叠的或者被限制为不重叠生成的(如图所示)。此外，锚点和对应的分析网格可以基于数字图像内每单位面积的分析网格期望数量、3D空间内(例如，在3D目标模型的透视图内)每单位体积的分析网格的期望数量、基于预定义(即先前已知的)目标模型或基于图像数据导出的景深信息来均匀分布。
在一个实施例中，分析网格可以包括多个单元(即分区)。例如，示例性分析网格310包括五个单元(即由弧形单元314、316、318和320围绕中心网络单元312)，而同样为示例性的分析网格340包括九个单元(即，中心单元342，位于内壳的弧形单元344、346、348和350和位于外壳的弧形单元352、354、356和358)。应当理解，分析网格可以包括任何数量的单元或分区。因此，虽然包括至少五个单元或包括至少九个单元的分析网格是示例性的，但是单元还可能具有多种布置，配置和数量。
在一些实施例中，可以基于相关联的锚点的一个或多个特性来按比例增加或减少分析网格，包括该分析网络内的单元的数量。例如，可以基于相关联的锚点的确定尺寸来缩放分析网格，其中相关联的锚点的尺寸可以涉及与锚点相关联的特征(例如SIFT特征)的一个或多个特点。因此，分析网格可以相对于其相关联的锚点(以及相对于彼此)按比例缩放，使得数字图像内的分析网格可以是尺度不变的，例如，相对于数字图像的不同缩放版本。
在一个实施例中，分析网格可以基于锚点法向量来定向。例如，分别基于锚点300和锚点330的锚点法向量来定向分析网格310和分析网格340。因此，分析网格310和分析网格340可以分别相对于锚点300和锚点330的锚点法向量不变地旋转。类似地，分析网格可以在与锚点相关联的位置处具有几何中心(例如，在与锚点相关联的像素坐标处的几何中心)。
图4示出了一个根据一实施例的在分析网格的网络单元内计算的边缘像素法向量的示例。图4包括径向极线分析网格400的一部分的特写表示，其一般类似于图3B中的分析网格310。例如，分析网格400基于锚点法向量402定向以提供定向不变性。例如，可以选择这样的对准以允许特征到特征(feature-to-feature)的分析网格的一致表示，以及提供基于本文的实施例的计算描述符的一致方法。分析网格400包括中心单元404和弧形单元406-410。为了清楚起见，未示出分析网格400的其他弧形单元。此外，分析网格400内的单元的排序是在分析网格中对单元排序的一种可能的方法，该排序具体包括中心单元404(即围绕锚点法向量402)和以相对于锚点法向量402以0至90度的角度弧排列于外壳中的弧形单元406,408和410。然而，可以调整单元尺寸(例如像素的径向距离)。因此，在多个实施例中可以采用所有实际的单元尺寸，配置，取向或顺序。
边缘420和430穿过分析网格400。具体地，边缘420穿过弧形单元406和中心单元404，而边缘430穿过弧形单元408和中心单元404。应当注意，穿过多于一个单元的边缘可以基于文中实施例增加生成的特征描述符的分辨能力。此外，例如可以基于边缘检测技术确定的边缘420和边缘430的路径分别包括分析网格400内的多个像素440和450。为了清楚起见，仅示出了少量的像素。
在一实施例中，可以使用边缘信息(例如，来自小边特征或哈里斯矩阵的曲率信息)来计算位于分析网格的单元内的边缘上的每个像素的边缘像素法向量，该分析网格如分析网格400。例如，可以为沿边缘420的每个边缘像素450计算边缘像素法向量460，其中边缘像素法向量460中的每一个可以是正交于像素矩阵中边缘420的哈里斯矩阵特征向量或几何法向量中的一个。
图5示出了根据一实施例中的分析网格的单元生成的相似度直方图的示例。可以为分析网格的一个或多个单元中的每一个生成相似度直方图500。例如，图3B中的五单元分析网格310可以具有五单元的相似度直方图(或具有较少单元的相似度直方图)，而九单元分析网格340可以具有九单元的相似度直方图(或具有较少单元的相似度直方图)。
在一个实施例中，相似度直方图500基于单位内的每个边缘像素法向量和锚点法向量之间的相似度度量。例如，相似度度量可以是锚点法向量502与边缘像素法向量中的每一个法向量之间(例如边缘像素法向量504)的相对角度θ(如图所示)。因此，相似度度量可以是相对角度范围在0度和360度之间(即0到2π弧度)的相对角度。在另一示例中，相似度度量可以基于锚点法向量和每个边缘像素法向量之间的cos(θ)或点积。因此，相似度度量可以是范围在-1和1之间的点积值。在优选实施例中，该相似度度量允许值在相似度直方图中均匀分布，以便表示锚点法向量和每个边缘像素法向量相对彼此有多相似。因此，在优选实施例中，相似度直方图将表示锚点法向量和每个边缘像素法向量之间的相对相似度相关的信息，而不是绝对信息(例如像素坐标)。
在一些实施例中，相似度度量可以基于其他向量信息，如单元内各边缘像素法向量的幅值与锚点法向量的幅值之间的比较。例如，单元内的每个边缘像素法向量的幅值和锚点法向量的幅值可以基于非定向测量。因此，单位内的边缘像素法向量和每个锚点法向量可以包括基于例如像素位置处的边缘的多个性质的幅值，而不是具有一个的归一化幅值，该性质包括边缘曲率信息，颜色(例如相对RGB强度)信息等。因此，相似度度量可以表示幅度的相对比较，例如向量幅度比的对数值。例如，对数值0(即log(1))可以指示具有相同幅值的向量，而正值或负值可以指示相对向量幅值的差。
在一些实施例中，相似度度量可以基于一个或多个加权因子。例如，可以基于锚点和每个边缘像素之间的欧几里得距离(d)来调整相似度度量。在另一示例中，可以基于可包括1/欧几里德距离(d)因子或高斯权重的加权因子来调整相似度度量。本领域技术人员能够理解，可以采用多种相似度度量。因此，本文描述的相似度度量的示例尽管是示例性的，但不应被解释为对各种实施例的限制。
相似度直方图可以包括在角范围上均匀间隔的多个子区段。在一实施例中，相似度直方图优选包括至少四个子区段，更优选地包括至少16个子区段。然而，应当理解，相似度直方图可以包括任何实际数量的子区段。例如，相似度直方图500包括均匀间隔(例如，每22.5度)的16个子区段以覆盖0度和360度之间的整个可能角度范围。应当理解为，考虑到各种因素，可以调整相似度直方图内的二进制的数量和间隔，包括基于图像的目标识别搜索期间的分辨能力和基于图像的目标识别搜索时间。
在一实施例中，可以对相似度子区段值的直方图进行归一化，使得它们不超过定义的最大值。例如，子区段值的范围可以在0和255之间，从而这些值在计算机存储器中可容易地被表示。因此，0和255之间的子区段值可以由单个字节表示，这意味着16子区段相似度直方图可以由16个字节表示。
图6示出了根据一实施例的基于相似度直方图针对分析网格生成的描述符的示例。例如，对于五单位分析网格(例如，图3B中的分析网格310)，网格描述符600可以基于五个单位中的每一个的相似度信息的直方图。如果每个相似度直方图包括16个子区段，则网格描述符600将具有80个维度(即，5×16)。同样地，对于其中每个单元的相似度直方图包括16个子区段的9个单元分析网格(例如图3B中的分析网格340)，网格描述符将具有144个维度(即16×9)。
在一实施例中，可以通过将分析网格中一个或多个单元的相似度直方图的数据联系起来生成网格描述符600。这样，生成网格描述符可以包括确定相似度直方图中数据的级联顺序。在一些实施例中，级联顺序可以基于该分析网格的单元相对于锚点法向量的方向。例如，与分析网格310相关联的相似度直方图的数据的级联可以基于单元相对于锚点法向量的相对方向来排序，使得描述符首先包括来自中心单元312的数据，之后来自单元314、单元316、单元318和单元320的数据。应当理解，来自相似度直方图的数据可以以多种方式中的任何一种方式级联，例如包括对进行优先级排序或降低某些数据的重要性的方式(例如基于主成分分析(PCA)或其他尺寸缩减技术)。例如，描述符可以被排序，使得某些数据(例如与分析网格310中的单元320相关联的相似度数据的直方图)出现在描述符的开始附近，例如以最大化该数据在多个相似度直方图内相对于基于图像的目标识别搜索的分辨能力，和/或增加数据相对于关联数字图像的某些仿射变换的鲁棒性。
图7示出了根据一实施例的生成用于数字图像的基于边缘的特征描述符的系统的框图。在框图700中，用于生成基于边缘的特征描述符的元素包括特征检测器710、图像捕捉设备720、永久存储设备730和主存储器设备740。然而，应当注意，图7中的元件以及归因于该每个该元件的各种功能虽然是示例性的，但是该描述仅为了便于理解的目的。本领域技术人员应该理解，归因于各个元件的一个或多个功能可以由任何其他元件和/或由被配置为执行各种功能的组合的一个元件(未示出)来执行。
在一实施例中，特征检测器710被配置为生成一个或多个用于数字图像750的基于边缘的特征描述符。在一些实施例中，数字图像750代表目标702的二维(2D)表示，这可见于典型的照片、图像或视频帧。或者，数字图像750可以通过利用非典型滤波器或透镜(例如，鱼眼透镜)生成的失真图像。此外，数字图像750可以是基于红外(IR)滤波器、X射线、360度透视图等中的一个或多个的目标的机器或机器人视图。因此，数字图像750可以是未失真图像、红外滤波图像、X射线图像、360度视图图像、机器视图图像、视子区段据帧、图形渲染和三维目标的透视图中的一个，并且可以通过经由图像捕捉设备，如图像捕捉设备720，捕捉视频流的视频帧来获得。
在一些实施例中，图像捕捉设备720可以是在特征检测器710外部(如图所示)或内部的设备，用于生成或以其他方式获得目标702的图像。例如，图像捕捉设备720可以包括远程服务器(例如平台即服务(PaaS)服务器、基础设施即服务(IaaS)服务器、软件即服务(SaaS)服务器或基于云的服务器)，或者经由通信网络耦合到该特征检测器710的远程图像数据库。在另一示例中，图像捕捉设备720可以包括被配置为捕捉视频数据的图像和/或帧的数字静止图像或视频相机(例如，CCD、CMOS或超声光学传感器)。在另一示例中，图像捕捉设备720可以包括图形渲染/建模引擎(例如，游戏系统，图像渲染软件等)，其中数字图像是目标的生成图像而不是捕捉图像。
在一实施例中，特征检测器710被配置为检测数字图像内的多个边缘752。例如，特征检测器710可以基于张量投票和canny边缘检测算法中的一个来检测该多个边缘。在另一示例中，特征检测器710可以应用一种或多种方法进行边缘检测，如在2015年2月16日提交的名称为“基于边缘的识别、系统和方法”的美国专利申请No.14/623341中所描述的，其全部内容以引用形式并入本文。在一些实施例中，特征检测器710可从多个边缘中消除至少一个退化边缘。此外，在一些实施例中，特征检测器710可以通过缩放因子缩放数字图像，并且可以在缩放的数字图像内检测多个边缘。例如，缩放因子可以是至少1.5或至少2.0。
特征检测器710还被配置为选择位于沿该多个边缘中的一个边缘的锚点754。例如，特征检测器710可以应用特征检测算法来检测数字图像内的多个特征，然后从被确定为位于沿着多个边缘的一个边缘的多个特征中选择锚点。因此，在一些实施例中，锚点可以是对应于尺度不变特征变换(SIFT)、快速视网膜关键点(FREAK)、定向梯度直方图(HOG)、加速鲁棒特征(SURF)、DAISY、二进制鲁棒独立基本特征(Brief)、哈里斯角、边缘、梯度位置和方向直方图(GLOH)、图像梯度能量(EOG)或变换不变低秩纹理(TILT)特征中的至少一项的特征。在一些实施例中，锚点还可以包括边缘的检测到的拐角或沿着边缘的其它检测角点。
在一些实施例中，特征检测器710可以被进一步配置为选择沿着边缘定位的多个锚点，其中该锚点沿着边缘相对于彼此等距。在一些实施例中，可以根据沿着边缘的分析网格的确定分布、每单位面积的分析网格的确定数量、每单位体积确定的分析网格的数量、所选的目标模型或与该数字图像相关联的深度场信息中的至少一项选择沿边缘定位的多个锚点。
特征检测器710还被配置为生成与锚点相关联并且包括多个单元的分析网格756。例如，分析网格可以在锚点处具有几何中心，并且可以是极坐标网格、径向极坐标网格或直线网格中的一种。在一些实施例中，特征检测器710可以被进一步配置为基于锚点法向量来定向分析网格，例如，出于方向不变性的目的。
特征检测器710还被配置为计算在锚点处包括边缘的法向量的锚点法向量758。例如，锚点法向量可以是哈里斯矩阵特征向量或与锚点的像素坐标处的边缘正交的几何法向量中的一项。
同样地，特征检测器710还被配置为计算包括沿该分析网络的单元内边缘的一个或多个位置处的边缘的法向量的一个或多个边缘像素法向量760。该边缘像素法向量也可以是哈里斯矩阵特征向量或与像素的边缘正交的几何法向量。
特征检测器710还用来为分析网格的一个或多个单元中的每一个生成相似度直方图762，每个相似直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量。在一些实施例中，相似度度量可以基于单元内的每个边缘像素法向量与锚点法向量之间的相对角度或点积之一。在一些实施例中，相似度测量可以基于单元内的每个边缘像素法向量的幅值与锚点法向量的幅值之间的比较。例如，单元内的每个边缘像素法向量的幅值和锚点法向量的幅值可以基于非定向的测量。相似度度量还可以基于一个或多个加权因子。例如，一个或多个加权因子可以基于欧几里德距离和高斯权重中的一个。在一些实施例中，每个相似度直方图可以包括多个子区段，例如，至少4个子区段或至少16个子区段。此外，特征检测器710可进一步配置为以基于例如最大子区段值(例如，其中子区段值被归一化为在0与255之间的范围)而归一化所述多个子区段的子区段值。
然后，特征检测器710被配置为基于相似度直方图来生成用于分析网格的描述符764。生成描述符可以包括级联来自分析网格的一个或多个单元的相似度直方图的数据。在一些实施例中，特征检测器710可以被进一步配置为确定来自相似度直方图的数据的级联顺序。例如，级联顺序可以基于分析网格的单元相对于锚点法向量的方向。在一些实施例中，特征检测器710可以被配置为将描述符存储在永久存储设备730和/或主存储器设备740中，以例如便于基于图像的目标识别搜索。
图8示出了根据一实施例的生成数字图像的基于边缘的特征描述符的示例操作的流程图。应当理解，方法800由配置为或编程为具有特征检测器(例如特征检测器710)的公开角色或职责的一个或多个计算设备执行。例如，特征检测器可以包括计算机服务器场，每个服务器配置有例如基于SIFT的图像分析包。因此，在一些实施例中，特征检测器可以根据方法800摄取数百万个数字图像以用于处理。此外，特征检测器可以包括被配置为根据方法800捕捉视频的图像帧的图像捕捉设备(例如，视频摄像机或游戏控制台)数据，例如实时捕捉。
在步骤802，在数字图像内检测多个边缘。例如，数字图像可以是视频流的视频帧和渲染图像中的一个。可以基于张量投票和canny边缘检测算法中的一项来检测该多个边缘。
在步骤804，选择位于沿多个边缘中的一个边缘的锚点。该锚点可以是对应于比例不变特征变换(SIFT)、快速视网膜关键点(FREAK)、定向梯度直方图(HOG)、加速鲁棒特征(SURF)、DAISY、二进制鲁棒不变可扩展关键点(BRISK)、FAST、二进制鲁棒独立基本特征(BRIEF)、哈里斯角、边缘、梯度位置和定向直方图(GLOH)、图像梯度能量(EOG)或变换不变低阶纹理(TILT)特征。
在步骤806，生成与锚点相关联的分析网格，分析网格包括多个单元。分析网格可以在锚点处具有几何中心，并且可以包括极坐标网格，径向极坐标网格或直线网格中的一个。
在步骤808处计算包括在锚点处的边缘的法向量的锚点法向量。该锚点可以是哈里斯矩阵特征向量或者在锚点的像素坐标处与该边缘正交的几何法向量中的一个。
在步骤810，计算一个或多个边缘像素法向量，该边缘像素法向量包括沿着该分析网络的单元内的边缘的一个或多个位置处的边缘的法向量。边缘像素法向量可以是哈里斯矩阵特征向量或在像素坐标处与边缘正交的几何法向量中的一项。
在步骤812，为分析网格的一个或多个单元中的每一个生成相似度直方图，所述每个相似度直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量，并且在步骤814中，基于相似度直方图为分析网格生成描述符。生成描述符可以包括级联来自分析网格的一个或多个单元的相似度直方图的数据。在步骤816，可以存储描述符，例如用以改进基于图像的目标识别搜索。
图9-12示出了根据一实施例的用于生成基于边缘的特征描述符的数字图像的示例。具体地，图9-12示出了本文的实施例可用于生成对于纹理不良和纹理丰富的目标识别搜索均有用的基于边缘的特征描述符。
图9示出了根据一实施例的生成纹理不良目标的图像的基于边缘的特征描述符的示例。在图9中，数字图像900示出了纹理不良的目标(即数字2)的图像。图像910示出了本文的各种实施例在数字图像900中的应用。在数字图像910中，已经选择了多个锚点(例如锚点902)，并且可以为每个锚点计算相关的锚点法向量(例如，法向量904)。例如，法向量904可以是哈里斯特征向量或单位法向量。可以生成与该锚点相关的一个或多个分析网格，例如分析网格906。例如，分析网格为包括多个基于锚点908的法向量定向的多个单元的径向极分析网格。例如，多个锚点以及进而多个分析网格可以沿着数字图像910的边缘基本上均匀地分布。
数字图像920和930示出了在原始数字图像900的各种比例下选择的锚点。例如，数字图像900可以通过缩放因子缩放，并且可以在缩放的数字图像920内检测多个边缘。在缩放的数字图像920中，已经选择多个锚点(例如，锚点912)，并且可以为每个锚点计算相关的锚点法向量(例如，法向量914)。在缩放的数字图像930中，已经选择了多个锚点(例如，锚点922)，并且可以为每个锚点计算相关联的锚点法向量(例如，法向量924)。因此，在实施例中，可以以多个比例为数字图像900生成基于边缘的特征描述符，例如以便于基于图像的目标识别搜索。例如，基于沿着缩放的数字图像930的边缘均匀分布的分析网格的基于边缘的特征描述符可以提供更紧凑的用于图像900的特征描述符集合，例如相比于基于沿着(未缩放的)数字图像的边缘均匀分布的网格的特征描述符集合。因此，为可缩放数字图像生成基于边缘的特征描述符可以实现更紧凑的图像识别库，例如，实际用于存储在移动设备上的图像识别库。
图10示出了根据一实施例的纹理不良的目标的图像的基于图像的目标识别的示例。在图10中，已经生成了目标的纹理不良的图像1000的基于边缘的特征描述符(例如描述符1002)，并且已经计算了相关的法向量1004。例如，图像1000可以是来自特征检测设备(例如智能电话或平板计算机)的屏幕捕捉。如图所示，纹理不良图像1000示出了特征检测设备已经检测到多个边缘，例如边缘1008和1010。然而，在纹理不良的图像1000中已经识别到目标号码2，如边界框1006所示。例如，基于边缘的特征描述符，如描述符1002，可以与从数字图像900生成的存储的基于边缘的特征描述符相匹配。如图所示，生成的纹理不良图像1000的基于边缘的特征描述符可以沿着图像的一个或多个检测到的边缘基本均匀分布。此外，应当注意，基于径向极坐标分析网格生成的基于边缘的特征描述符为正确地识别纹理不良的图像1000内的目标号提供了条件，该径向极坐标分析网格基于锚点的法向量进行定位，例如法向量1004，尽管图像相对于数字图像900的方向发生了改变。还应当注意，为了特征检测的目的，图像1000的退化边缘(例如1010)已被忽略。
图11示出了根据一实施例的用于纹理丰富目标的图像的基于图像的目标识别的示例。图11示出了基于本文的实施例生成的基于边缘的特征检测器而识别的纹理丰富目标1100的示例。例如，纹理丰富目标1100可以是包括多个特征和纹理的打印广告，其可以产生多个边缘。例如，可以基于由一个或多个数字图像生成的存储的基于边缘的特征描述符来识别基于边缘的特征描述符(例如描述符1102)，如边界框1104所指示的。因此，图10和11示出了此处公开的基于边缘的特征描述符适用于在不同的周围环境中解析纹理不良的目标以及纹理丰富的目标。
图12示出了根据一实施例的纹理不良的三维目标的图像的基于图像的目标识别的示例。多个实施例还可以用于完整的3D目标。例如，当从不同的视角观看时，3D目标(例如，动作人偶玩具，车辆等)可以包括不同的特征。可以从不同的视角捕捉3D目标的视频。然后可以将视频的帧视为数字图像。在图12中，这里描述的基于边缘的特征描述符的相对边缘信息可以用于识别低纹理3D目标(除了诸如图10和11所示的2D目标之外)。图12示出了包括相对较少的观察到的特征，例如特征1202的3D纹理不良的玩具面具，但是可以基于由围绕面具建立的3D边界框1204所示的那些特征来识别3D目标。此外，在一些实施例中，可以在检测到的边缘特征中的一个或多个与目标的3D结构(例如，诸如可以在目标摄取期间确定的)之间确定关系，以计算所识别的3D目标的大小。
因此，本文的实施例可用于解决与基于图像的目标识别相关联的各种效率，存储器占用和精度的问题。
在一些实施例中，基于边缘的特征描述符的生成可以是自动的。例如，特征检测器710和/或图像捕捉设备720可以像网络机器人程序抓取网站一样来摄取图像，例如人的图像，社交媒体档案等。此外，机器人程序可以对城市景观，或建筑内部图像(例如，
Figure BDA0001174449430000221
街景图像)或地图以产生与建筑物，地点或地图特征(例如，街道网格图案或地形特征)相关联的基于边缘的特征描述符。在一些实施例中，特征检测器710和/或图像捕捉设备720可以被配置为在网络机器人程序或另一类型的自动化系统捕捉图像或视频时实时生成基于边缘的特征描述符。
此外，各个实施例可以使大规模图像识别系统的整个基础结构，包括主存储器和永久存储设备，服务器和用户设备更有效地用于处理图像识别查询。
可以使用数字电路或者使用采用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的一个或多个计算机来实现这里描述的系统、装置和方法。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
本文描述的系统、装置和方法可以使用有形地呈现在信息载体中的计算机程序产品来实现，例如在非瞬时性机器可读存储设备中，用于被可编程处理器执行；并且可以使用可由该处理器执行的一个或多个计算机程序来实现这里描述的方法步骤，包括图8的一个或多个步骤。计算机程序可以是直接或间接用于计算机中以执行某活动或者带来某种结果的计算机程序集合。计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用在计算环境中的其他单元。
图13中示出了一个可用于实现本文所描述的系统，装置和方法的示例性装置的高级框图。装置1300包括可操作地连接到永久存储设备1320和主存储器设备1330的处理器1310。处理器1310通过执行定义这些操作的计算机程序指令来控制设备1300的总体操作。当需要执行计算机程序指令时，计算机程序指令可以存储在永久存储设备1320或其他计算机可读介质中，并且加载到主存储设备1330内。例如，特征检测器710和图像捕捉设备720可以包括计算机1300的一个或多个组件。因此，图8的方法步骤可以由存储在主存储设备1330和/或永久存储设备1320中的计算机程序指令来定义，并且由执行计算机程序指令的处理器1310控制。例如，计算机程序指令可以为本领域技术人员编写的计算机可执行代码，以执行由图8的方法步骤定义的算法。因此，通过执行计算机程序指令，处理器1310执行由图8的方法步骤定义的算法。装置1300还包括用于经由网络与其他设备通信的一个或多个网络接口1380。装置1300还可以包括使得用户能够与装置1300(例如，显示器、键盘、鼠标、扬声器、按钮等)交互的一个或多个输入/输出设备1390。
处理器1310可以包括通用和专用微处理器，并且可以是装置1300的单个处理器或多个处理器之一。处理器1310可以包括例如一个或多个中央处理单元(CPUs)。处理器1310/、永久性存储设备1320和/或主存储器设备1330可以包括，补充有或者包含在一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)。
永久存储设备1320和主存储器设备1330均包括有形的非瞬时性计算机可读存储介质。永久存储设备1320和主存储器设备1330可以各自包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双数据速率同步动态随机存取存储器(DDR RAM)或其它随机存取固态存储器设备，且可包含非易失性存储器，例如一个或一个以上磁盘存储设备，如内部硬盘以及可换式磁盘、磁光盘存储设备、光盘存储设备、闪存设备，半导体存储器设备，如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPRPM)、光盘只读存储器(CD-ROM)、数字通用盘只读存储器(DVD-ROM)盘或其它非易失性固态存储设备。
输入/输出设备1390可以包括外围设备，例如打印机、扫描仪、显示屏等。例如，输入/输出设备1390可以包括诸如阴极射线管(CRT)、(例如，供选择的多个图像变换)的等离子体或液晶显示器(LCD)监视器的用于向用户显示信息的显示设备、键盘和诸如鼠标或轨迹球的定点设备，用户可以通过该定点设备向装置1300提供输入。
本文讨论的任何或所有系统和装置，包括特征检测器710和图像捕捉装置720，可以由诸如装置1300的装置执行和/或结合在装置1300中。
本领域技术人员将认识到，实际的计算机或计算机系统可以具有其他结构，并且还可以包含其他组件，并且图13是这种计算机的一些该组件的高级表示，用于说明目的。
上述说明应被理解为在每一方面都是说明性和示例性的，而不是限制性的，并且本文公开的本发明的范围不是由说明书确定的，而是在专利法允许下的整个范围从权利要求书角度进行解释。应当理解，本文所示和所述的实施例仅仅是对本发明原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (36)

1.一种在特征检测设备中生成数字图像的边缘特征描述符的方法，所述方法包括：
通过所述特征检测设备，检测所述数字图像内的多个边缘；
通过所述特征检测设备，选择沿所述多个边缘中的一边缘的锚点；
通过所述特征检测设备，生成与所述锚点相关联的分析网格，所述分析网格包括多个单元；
通过所述特征检测设备，计算锚点法向量，所述锚点法向量包括所述锚点处的边缘的法向量；
通过所述特征检测设备，计算一个或多个边缘像素法向量，所述一个或多个边缘像素法向量包括沿所述分析网络的所述单元内的边缘的一个或多个位置处的边缘的法向量；
通过所述特征检测设备，生成所述分析网格的一个或多个单元中的每一个的相似度直方图，所述每个相似度直方图基于单元内的每个边缘像素法向量和所述锚点法向量之间的相似度度量；以及
通过所述特征检测设备，基于所述相似度直方图，生成所述分析网格的描述符。
2.根据权利要求1所述的方法，其特征在于，所述数字图像为视频流的视频帧和渲染图像中的一项。
3.根据权利要求1所述的方法，其特征在于，基于张量投票和canny边缘检测算法中的一项检测所述多个边缘。
4.根据权利要求1所述的方法，其特征在于，还包括从所述多个边缘处消除至少一个退化边缘。
5.根据权利要求1所述的方法，其特征在于，还包括：
通过缩放因子缩放所述数字图像；并且
在缩放数字图像内检测该多个边缘。
6.根据权利要求5所述的方法，其特征在于，所述缩放因子至少为1.5。
7.根据权利要求5所述的方法，其特征在于，所述缩放因子至少为2。
8.根据权利要求1所述的方法，其特征在于，所述锚点是对应于尺度不变特征变换SIFT、快速视网膜关键点FREAK、定向梯度直方图HOG、加速鲁棒特征SURF、DAISY、二进制鲁棒不变可缩放关键点BRISK、FAST、二进制鲁棒独立基本特征BRIEF、哈里斯角点、边缘、梯度位置和定向直方图GLOH、图像梯度能量EOG或变换不变低秩纹理TILT特征中的至少一项的特征。
9.根据权利要求1所述的方法，其特征在于，所述锚点包括所述边缘的检测角点。
10.根据权利要求1所述的方法，其特征在于，所述分析网格在所述锚点处具有几何中心。
11.根据权利要求1所述的方法，其特征在于，所述分析网格包括极坐标网格，径向极坐标网格或直线网格中的一项。
12.根据权利要求11所述的方法，其特征在于，所述分析网格基于所述锚点法向量定向。
13.根据权利要求1所述的方法，其特征在于，所述分析网格包括至少5个单元。
14.根据权利要求1所述的方法，其特征在于，所述分析网格包括至少9个单元。
15.根据权利要求1所述的方法，其特征在于，所述锚点法向量是哈里斯矩阵特征向量或者与所述锚点的像素坐标处的边缘正交的几何法向量中的一个。
16.根据权利要求1所述的方法，其特征在于，每一个所述的边缘像素法向量是哈里斯矩阵特征向量或者与像素坐标处的边缘正交的几何法向量中的一个。
17.根据权利要求1所述的方法，其特征在于，所述相似度度量基于单元内的每个所述边缘像素法向量与所述锚点法向量之间的相对角度或点积之一。
18.根据权利要求1所述的方法，其特征在于，所述相似度度量基于单元内每个所述边缘像素法向量的幅值与所述锚点法向量的幅值之间的比较。
19.根据权利要求18所述的方法，其特征在于，单元内每个所述边缘像素法向量的幅值和所述锚点法向量的幅值基于非定向测量。
20.根据权利要求1所述的方法，其特征在于，所述相似度度量基于一个或多个权重因素。
21.根据权利要求20所述的方法，其特征在于，所述一个或多个权重因素基于欧几里德距离因子和高斯权重中的一个。
22.根据权利要求1所述的方法，其特征在于，每个相似度直方图包括多个子区段。
23.根据权利要求22所述的方法，其特征在于，每个相似度直方图包括至少4个子区段。
24.根据权利要求22所述的方法，其特征在于，每个相似度直方图包括至少16个子区段。
25.根据权利要求22所述的方法，其特征在于，所述多个子区段的子区段值基于最大的子区段值归一化。
26.根据权利要求25所述的方法，其特征在于，所述多个子区段的子区段值的范围介于0到255之间。
27.根据权利要求1所述的方法，其特征在于，生成描述符包括级联来自所述分析网格的一个或多个所述单元的所述相似度直方图的数据。
28.根据权利要求27所述的方法，其特征在于，还包括确定来自所述相似度直方图的数据的级联顺序。
29.根据权利要求28所述的方法，其特征在于，所述级联顺序基于所述分析网格的所述单元相对于所述锚点法向量的方向。
30.根据权利要求1所述的方法，其特征在于，所述描述符是多维向量，所述多维向量具有基于所述分析网格内的多个单元的多个维度。
31.根据权利要求1所述的方法，其特征在于，所述描述符是多维向量，所述多维向量具有基于所述分析网格的相似度直方图的子区段的总数量的多个维度。
32.根据权利要求1所述的方法，其特征在于，还包括选择沿所述边缘定位的多个锚点，其中所述多个锚点沿所述边缘相对于彼此等距。
33.根据权利要求1所述的方法，其特征在于，还包括根据沿着边缘的分析网格中的确定分布、每个单元面积内分析网格的确定数量、每个单位体积内分析网格的确定数量、被选择的目标模型、与数字图像相关的深度场信息中的至少一项来选择沿边缘定位的多个锚点。
34.根据权利要求1所述的方法，其特征在于，还包括利用所述分析网格的描述符促进基于图像的目标识别检索。
35.一种生成用于数字图像的基于边缘的特征描述符的系统，其特征在于，所述系统包括：
处理器；
存储设备；以及
特征检测器，所述特征检测器根据存储在所述存储设备内的软件指令在所述处理器上可执行；所述特征检测器被配置为：
在所述数字图像内检测多个边缘；
选择位于沿所述多个边缘的一个边缘的锚点；
生成与所述锚点相关的分析网格；该分析网格包括多个单元；
计算在锚点处包括边缘的法向量的锚点法向量；
计算包括沿该分析网络的单元内边缘的一个或多个位置处的边缘的法向量的一个或多个边缘像素法向量；
为分析网格的一个或多个单元中的每一个生成相似度直方图；每个相似直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量；以及
基于相似度直方图来生成用于分析网格的描述符。
36.一种包括可在计算机处理器上可执行的指令的非瞬时性计算机可读介质，用于生成用于数字图像的基于边缘的特征描述符；所述指令可由计算机处理器执行，用于处理一过程，该过程包括：
在所述数字图像内检测多个边缘；
选择位于沿所述多个边缘的一个边缘的锚点；
生成与所述锚点相关的分析网格；该分析网格包括多个单元；
计算在锚点处包括边缘的法向量的锚点法向量；
计算包括沿该分析网络的单元内边缘的一个或多个位置处的边缘的法向量的一个或多个边缘像素法向量；
为分析网格的一个或多个单元中的每一个生成相似度直方图；每个相似直方图基于单元内的每个边缘像素法向量与锚点法向量之间的相似度度量；以及
基于相似度直方图来生成用于分析网格的描述符。
CN201580030670.0A 2014-05-06 2015-05-06 利用边缘向量的基于图像的特征检测 Active CN106716450B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461989445P 2014-05-06 2014-05-06
US61/989,445 2014-05-06
PCT/US2015/029538 WO2015171815A1 (en) 2014-05-06 2015-05-06 Image-based feature detection using edge vectors

Publications (2)

Publication Number Publication Date
CN106716450A CN106716450A (zh) 2017-05-24
CN106716450B true CN106716450B (zh) 2020-05-19

Family

ID=54368294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580030670.0A Active CN106716450B (zh) 2014-05-06 2015-05-06 利用边缘向量的基于图像的特征检测

Country Status (4)

Country Link
US (6) US9412176B2 (zh)
JP (2) JP6334735B2 (zh)
CN (1) CN106716450B (zh)
WO (1) WO2015171815A1 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
WO2015123647A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
US9460366B2 (en) 2014-02-19 2016-10-04 Nant Holdings Ip, Llc Invariant-based dimensional reduction of object recognition features, systems and methods
JP6334735B2 (ja) 2014-05-06 2018-05-30 ナント・ホールデイングス・アイ・ピー・エル・エル・シー エッジベクトルを利用した画像特徴検出
US9235775B2 (en) 2014-06-08 2016-01-12 Uber Technologies, Inc. Entrance detection from street-level imagery
JP6660313B2 (ja) * 2014-06-30 2020-03-11 ベンタナ メディカル システムズ， インコーポレイテッド 画像解析を用いた核のエッジの検出
WO2016014020A1 (en) 2014-07-21 2016-01-28 Hewlett-Packard Development Company, L.P. Radial histogram matching
US10426372B2 (en) * 2014-07-23 2019-10-01 Sony Corporation Image registration system with non-rigid registration and method of operation thereof
WO2016183020A1 (en) 2015-05-11 2016-11-17 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
US9785817B2 (en) * 2015-05-29 2017-10-10 Datalogic Usa, Inc. Region of interest location and selective image compression
US10019848B2 (en) * 2015-07-31 2018-07-10 Adobe Systems Incorporated Edge preserving color smoothing of 3D models
WO2017131744A1 (en) * 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Radial histogram verification
AU2017230184B2 (en) 2016-03-11 2021-10-07 Magic Leap, Inc. Structure learning in convolutional neural networks
RU2632272C1 (ru) 2016-04-04 2017-10-03 Общество С Ограниченной Ответственностью "Яндекс" Способ создания синтетического изображения
CN106248058B (zh) * 2016-07-29 2018-12-21 感知控股集团有限公司 一种对于仓储运输工具的定位方法、装置及系统
CA3036691A1 (en) 2016-09-14 2018-03-22 Vbc Holdings Llc Systems, apparatus and methods for controlling a movement of a cell culture to optimize cell growth
US10395408B1 (en) * 2016-10-14 2019-08-27 Gopro, Inc. Systems and methods for rendering vector shapes
EP3555851B1 (en) * 2016-12-14 2021-09-22 Eyes Ltd Edge detection in digitized images
CN107730521B (zh) * 2017-04-29 2020-11-03 安徽慧视金瞳科技有限公司 一种图像中屋脊型边缘的快速检测方法
CN107330966B (zh) * 2017-06-21 2021-02-02 杭州群核信息技术有限公司 一种高维空间特征回归的快速渲染方法、装置和设备
CN107292900A (zh) * 2017-07-05 2017-10-24 黄河科技学院 一种基于Canny算法的图像边缘检测方法和装置
CN107370909A (zh) * 2017-07-11 2017-11-21 中国重型机械研究院股份公司 一种基于机器视觉技术的钢板矫直机自动控制方法
US10434451B2 (en) 2017-07-26 2019-10-08 Nant Holdings Ip, Llc Apparatus and method of harvesting airborne moisture
JP6889865B2 (ja) * 2017-09-22 2021-06-18 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
US10460446B2 (en) 2017-10-16 2019-10-29 Nant Holdings Ip, Llc Image-based circular plot recognition and interpretation
US10918441B2 (en) 2017-11-22 2021-02-16 Canon U.S.A., Inc. Devices, systems, and methods for ablation-zone simulation and visualization
US10751128B2 (en) 2017-11-22 2020-08-25 Canon U.S.A., Inc. Devices, systems, and methods for ablation-zone simulation and visualization
CN109934216B (zh) * 2017-12-19 2021-05-11 华为技术有限公司 图像处理的方法、装置、计算机可读存储介质
CN108171771A (zh) * 2017-12-25 2018-06-15 天津科技大学 一种结合外部边缘信息和内部聚合笔道的线描画生成算法
WO2019183277A1 (en) * 2018-03-20 2019-09-26 Nant Holdings Ip, Llc Volumetric descriptors
CN108389155B (zh) * 2018-03-20 2021-10-01 北京奇虎科技有限公司 图像处理方法、装置及电子设备
CN108399599B (zh) * 2018-03-20 2021-11-26 北京奇虎科技有限公司 图像处理方法、装置及电子设备
CN108447023B (zh) * 2018-03-20 2021-08-24 北京奇虎科技有限公司 图像处理方法、装置及电子设备
CN108416880B (zh) * 2018-03-26 2021-09-14 成都信达智胜科技有限公司 一种基于视频的识别方法
CN109508727B (zh) * 2018-04-23 2021-07-16 北京航空航天大学 一种基于加权欧氏距离的度量功能间相似性的方法
CN108564591B (zh) * 2018-05-18 2021-07-27 电子科技大学 一种保留局部边缘方向的图像边缘提取方法
CN108957438B (zh) * 2018-06-23 2022-08-26 西安电子科技大学 一种基于随机距离的滞后航迹关联融合方法及系统和应用
CN109389031B (zh) * 2018-08-27 2021-12-03 浙江大丰实业股份有限公司 演出人员自动定位机构
US10846552B1 (en) * 2018-09-06 2020-11-24 A9.Com, Inc. Universal object recognition
US10878299B2 (en) 2018-09-12 2020-12-29 Cognex Corporation Methods and apparatus for testing multiple fields for machine vision
US10825199B2 (en) 2018-09-12 2020-11-03 Cognex Corporation Methods and apparatus for processing image data for machine vision
US10846563B2 (en) * 2018-09-12 2020-11-24 Cognex Corporation Methods and apparatus for generating a dense field of three dimensional data for machine vision
CN110956603B (zh) * 2018-09-25 2023-04-21 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN109272050B (zh) * 2018-09-30 2019-11-22 北京字节跳动网络技术有限公司 图像处理方法和装置
KR102528453B1 (ko) * 2018-10-18 2023-05-02 삼성전자주식회사 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법
CN109636822B (zh) * 2018-12-13 2021-03-16 大连理工大学 一种基于新构建隶属度函数的改进Canny自适应边缘提取方法
CN109657717A (zh) * 2018-12-17 2019-04-19 罗世彬 一种基于多尺度密集结构特征提取的异源图像匹配方法
CN109520678B (zh) * 2018-12-26 2021-01-19 浙江工业大学 一种用于压力容器气密性试验的保压检测方法
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
CN109949252B (zh) * 2019-04-15 2020-12-25 北京理工大学 一种基于补偿系数拟合的红外图像光斑去除方法
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
CN110287161B (zh) * 2019-07-02 2022-09-23 北京字节跳动网络技术有限公司 图像处理方法和装置
US20200020090A1 (en) * 2019-07-31 2020-01-16 Intel Corporation 3D Moving Object Point Cloud Refinement Using Temporal Inconsistencies
JP2022545112A (ja) 2019-08-22 2022-10-25 ナントジー モバイル，エルエルシー 仮想及び現実世界のコンテンツ作成、装置、システム及び方法
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN111127498B (zh) * 2019-12-12 2023-07-25 重庆邮电大学 一种基于边缘自生长的Canny边缘检测方法
TWI753332B (zh) * 2019-12-12 2022-01-21 萬里雲互聯網路有限公司 圖片處理方法
US20230005157A1 (en) * 2020-01-10 2023-01-05 Tasmit, Inc. Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection
JP7451384B2 (ja) 2020-01-10 2024-03-18 東レエンジニアリング先端半導体Ｍｉテクノロジー株式会社 パターンエッジ検出方法、パターンエッジ検出装置、パターンエッジ検出をコンピュータに実行させるためのプログラムが記録された記録媒体
CN113311006A (zh) * 2020-02-26 2021-08-27 乐达创意科技股份有限公司 自动光学检测系统及其检测隐形眼镜边缘瑕疵的方法
CN111524165B (zh) * 2020-04-22 2023-08-25 北京百度网讯科技有限公司 目标跟踪方法和装置
WO2022093255A1 (en) * 2020-10-30 2022-05-05 Hewlett-Packard Development Company, L.P. Filterings of regions of object images
CN112348837B (zh) * 2020-11-10 2023-06-09 中国兵器装备集团自动化研究所 一种点线检测融合的物体边缘检测方法及系统
CN112406706B (zh) * 2020-11-20 2022-07-22 上海华兴数字科技有限公司 车辆景象的显示方法、装置、可读存储介质及电子设备
CN112506972B (zh) * 2020-12-15 2023-06-13 中国联合网络通信集团有限公司 用户常驻区域定位方法、装置、电子设备以及存储介质
CN112560818B (zh) * 2021-02-22 2021-07-27 深圳阜时科技有限公司 应用于窄条形指纹传感器的指纹识别方法及存储介质
WO2022249217A1 (en) * 2021-05-23 2022-12-01 Jordan University Of Science And Technology A system and method for detecting varicocele using ultrasound images in supine position
US11948687B2 (en) 2021-05-24 2024-04-02 Nantcell, Inc. Deep learning models for region-of-interest determination
US20220406079A1 (en) 2021-06-17 2022-12-22 Vbc Holdings Llc Segmentation-Based Image Processing For Confluency Estimation
US11765306B2 (en) 2021-08-05 2023-09-19 Nant Holdings Ip, Llc Distributed command execution in multi-location studio environments
CN113487633A (zh) * 2021-08-17 2021-10-08 熵智科技(深圳)有限公司 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN113989313B (zh) * 2021-12-23 2022-03-22 武汉智博通科技有限公司 基于图像多维分析的边缘检测方法及系统
US20230386007A1 (en) * 2022-05-31 2023-11-30 Lawrence Livermore National Security, Llc Manufacturing process monitoring and inspection based on coregistration of diverse sensor data
CN114743008B (zh) * 2022-06-09 2022-09-23 西南交通大学 一种单株植被点云数据分割方法、装置及计算机设备
CN116681721B (zh) * 2023-06-07 2023-12-29 东南大学 一种基于视觉的直线轨迹检测与跟踪方法
CN116452589B (zh) * 2023-06-16 2023-10-20 山东伟国板业科技有限公司 基于图像处理的人造板表面缺陷智能检测方法
CN116664613B (zh) * 2023-07-24 2023-10-31 合肥埃科光电科技股份有限公司 一种基于fpga的像素边缘位置检测方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1350252A (zh) * 2000-10-21 2002-05-22 三星电子株式会社 形状描述符抽取方法
CN102292979A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频描述符生成装置
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
US8422782B1 (en) * 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
CN103582884A (zh) * 2011-04-14 2014-02-12 高通股份有限公司 用于视觉搜索的稳健特征匹配

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
WO2008060580A2 (en) * 2006-11-15 2008-05-22 24Eight Llc Image-based searching apparatus and method
US7672531B2 (en) * 2007-04-26 2010-03-02 Geostudio Consultants Limited System and method for determining edges of objects in an image
US8212812B2 (en) * 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification
WO2009071106A1 (en) * 2007-12-05 2009-06-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Image analysis method, image analysis system and uses thereof
JP5075646B2 (ja) * 2008-01-09 2012-11-21 株式会社日立ハイテクノロジーズ 半導体欠陥検査装置ならびにその方法
US8189866B1 (en) * 2008-08-26 2012-05-29 Adobe Systems Incorporated Human-action recognition in images and videos
KR101350335B1 (ko) 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법
JP5289412B2 (ja) * 2010-11-05 2013-09-11 株式会社デンソーアイティーラボラトリ 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法
US8842916B2 (en) * 2011-02-22 2014-09-23 Hewlett-Packard Development Company, L.P. Method and system for model-based signature profile extraction
WO2013138846A1 (en) * 2012-03-22 2013-09-26 Silverbrook Research Pty Ltd Method and system of interacting with content disposed on substrates
JP5930806B2 (ja) * 2012-03-30 2016-06-08 富士通テン株式会社 検知装置、及び検知方法
WO2013158750A2 (en) * 2012-04-17 2013-10-24 Wittich David System and method for providing recursive feedback during an assembly operation
US9053551B2 (en) * 2012-05-23 2015-06-09 International Business Machines Corporation Vessel identification using shape and motion mapping for coronary angiogram sequences
WO2014023338A1 (en) * 2012-08-07 2014-02-13 Metaio Gmbh A method of providing a feature descriptor for describing at least one feature of an object representation
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US9704059B2 (en) * 2014-02-12 2017-07-11 International Business Machines Corporation Anomaly detection in medical imagery
US9665606B2 (en) 2014-02-14 2017-05-30 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
JP6334735B2 (ja) 2014-05-06 2018-05-30 ナント・ホールデイングス・アイ・ピー・エル・エル・シー エッジベクトルを利用した画像特徴検出
US9418283B1 (en) * 2014-08-20 2016-08-16 Amazon Technologies, Inc. Image processing using multiple aspect ratios

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1350252A (zh) * 2000-10-21 2002-05-22 三星电子株式会社 形状描述符抽取方法
CN102292979A (zh) * 2009-01-23 2011-12-21 日本电气株式会社 视频描述符生成装置
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
US8422782B1 (en) * 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
CN103582884A (zh) * 2011-04-14 2014-02-12 高通股份有限公司 用于视觉搜索的稳健特征匹配

Also Published As

Publication number Publication date
US10229342B2 (en) 2019-03-12
CN106716450A (zh) 2017-05-24
US10679093B2 (en) 2020-06-09
US20190272441A1 (en) 2019-09-05
US9858497B2 (en) 2018-01-02
WO2015171815A1 (en) 2015-11-12
JP2018113080A (ja) 2018-07-19
JP6616862B2 (ja) 2019-12-04
US11210550B2 (en) 2021-12-28
JP6334735B2 (ja) 2018-05-30
US20180107894A1 (en) 2018-04-19
US20150324998A1 (en) 2015-11-12
US9542593B2 (en) 2017-01-10
US20200293812A1 (en) 2020-09-17
JP2017519277A (ja) 2017-07-13
US20170076174A1 (en) 2017-03-16
US9412176B2 (en) 2016-08-09
US20160314339A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
CN106716450B (zh) 利用边缘向量的基于图像的特征检测
US10719731B2 (en) Robust feature identification for image-based object recognition
Holte et al. A local 3-D motion descriptor for multi-view human action recognition from 4-D spatio-temporal interest points
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
Mohamad et al. Generalized 4-points congruent sets for 3d registration
Prakhya et al. 3DHoPD: A fast low-dimensional 3-D descriptor
Tombari et al. Evaluation of stereo algorithms for 3d object recognition
Lin et al. Scale invariant point feature (SIPF) for 3D point clouds and 3D multi-scale object detection
Lin et al. Scale alignment of 3D point clouds with different scales
Proença et al. SHREC’15 Track: Retrieval of Oobjects captured with kinect one camera
Lin et al. Boundary points based scale invariant 3D point feature
Banerjee et al. Development of speed up robust feature algorithm for aerial image feature extraction
Qiu et al. An adaptive kernel‐based target tracking method based on multiple features fusion
Huang et al. BALG: An alternative for fast and robust feature matching
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
Trujillo Scene Representation and Matching for Visual Localization in Hybrid Camera Scenarios
May Data Analytics and Methods for Improved Feature Selection and Matching
Park et al. Pedestrian proposal generation using depth-aware scale estimation
CN116957999A (zh) 深度图优化方法、装置、设备及存储介质
González Delgado Features for 3D Object Retrieval
Tomono 3d object modeling and segmentation based on edge-point matching with local descriptors
Rukkanchanunt Model-based metrics for assessing completeness and accuracy for 3D image-based reconstruction methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant