CN106447592A - 每个特征描述符的在线个性化服务 - Google Patents

每个特征描述符的在线个性化服务 Download PDF

Info

Publication number
CN106447592A
CN106447592A CN201610602128.4A CN201610602128A CN106447592A CN 106447592 A CN106447592 A CN 106447592A CN 201610602128 A CN201610602128 A CN 201610602128A CN 106447592 A CN106447592 A CN 106447592A
Authority
CN
China
Prior art keywords
descriptor
image
mask
test point
error vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610602128.4A
Other languages
English (en)
Other versions
CN106447592B (zh
Inventor
安德鲁·理查森
爱德温·奥尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
University of Michigan
Original Assignee
Ford Global Technologies LLC
University of Michigan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC, University of Michigan filed Critical Ford Global Technologies LLC
Publication of CN106447592A publication Critical patent/CN106447592A/zh
Application granted granted Critical
Publication of CN106447592B publication Critical patent/CN106447592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Abstract

本发明是每个特征描述符的在线个性化服务。一种图像处理系统包括具有用于存储计算机可执行指令的存储装置的处理装置。该处理装置编程为在第一图像中限定第一描述符，从第一描述符生成掩码，以及在第二图像中限定第二描述符。该处理装置进一步编程为将第一描述符和第二描述符进行比较以限定第一误差矢量，通过应用掩码来确定第二误差矢量，以及计算第二误差矢量的总的误差以确定第一描述符和第二描述符之间的误差。

Description

每个特征描述符的在线个性化服务
技术领域
本申请涉及一种每个特征描述符的在线个性化服务。
背景技术
由两个像素强度比较的序列产生的特征描述符能够简单快速地呈现图像特征。这些以一位存储比较结果的二进制或布尔数学体系(Boolean)字符串描述符要求每个特征对应少量内存，以便减少内存占用及网络传输带宽。在可比较的精确度的情况下，计算并且匹配这些描述符需要比像尺度不变量特征变换(SIFT)算法及加速鲁棒特征(SURF)算法这样的替换方案更少的运行时间。
由于二进制鲁棒独立基本特征(BRIEF)方法通过使用矢量指令来获得运行时间改善的能力，所以该方法是值得注意的。内存使用量及运行时间的减少适于高-FPS(FramesPer Second，每秒帧数)实时视觉应用的需要。
发明内容
根据本发明，提供一种图形处理系统，该图形处理系统包含：
处理装置，该处理装置具有用于存储计算机可执行指令的存储装置，其中该处理装置编程为：
在第一图像中限定第一描述符；
从第一图像生成掩码；
在第二图像中限定第二描述符；
将第一描述符和第二描述符进行比较以限定第一误差矢量；
通过应用掩码来确定第二误差矢量；以及
使用第二误差矢量来确定述第一描述符和第二描述符之间的误差。
根据本发明的一个实施例，其中处理装置编程为在限定第一描述符之前模糊第一图像，并且在限定第二描述符之前模糊第二图像。
根据本发明的一个实施例，其中第一描述符使用多个第一测试点被计算，并且其中第二描述符包括多个第二测试点。
根据本发明的一个实施例，其中掩码允许多个第一测试点的子集。
根据本发明的一个实施例，其中掩码包括用于多个第一测试点中的每一个子集的位值。
根据本发明的一个实施例，其中生成掩码包括：
为视点变化的稳健性测试多个第一测试点；以及
抑制多个第一测试点中不可靠的测试点。
根据本发明的一个实施例，其中将第一描述符和第二描述符进行比较包括将异或(XOR)运算应用于第一描述符及第二描述符。
根据本发明的一个实施例，其中确定第二误差矢量包括将AND运算应用于掩码及第一误差矢量。
根据本发明的一个实施例，其中应用AND运算抑制第一误差矢量中的误差。
根据本发明的一个实施例，其中将第一描述符和第二描述符进行比较包括将种群计数(POPCNT)运算应用于第二误差矢量。
根据本发明的一个实施例，进一步包含配置为捕获第一图像和第二图像的摄像机，其中第二图像表示摄像机相对于第一图像的视点变化。
根据本发明的一个实施例，其中第一图像用于生成多个描述符和掩码，并且第二图像用于生成多个描述符，并且其中将由第一图像生成的描述符和掩码与由多个随后的图像确定的描述符进行比较。
根据本发明，提供一种方法，该方法包含：
在第一图像中限定第一描述符；
从第一描述符生成掩码；
在第二图像中限定第二描述符；
将第一描述符和第二描述符进行比较以限定第一误差矢量；
通过应用掩码来确定第二误差矢量；以及
根据第二误差矢量来确定第一描述符和第二描述符之间的误差。
根据本发明的一个实施例，该方法进一步包含：
在限定第一描述符之前模糊第一图像；以及
在限定第二描述符之前模糊第二图像。
根据本发明的一个实施例，其中第一描述符包括多个第一测试点，并且其中第二描述符包括多个第二测试点。
根据本发明的一个实施例，其中掩码允许多个第一测试点的子集。
根据本发明的一个实施例，其中生成掩码包括：
为视点变化稳健性测试多个第一测试点；以及
从多个第一测试点中过滤不可靠的测试点。
根据本发明的一个实施例，其中将第一描述符和第二描述符进行比较包括将异或(XOR)运算应用于第一描述符和第二描述符。
根据本发明的一个实施例，其中确定第二误差矢量包括将AND运算应用于掩码及第一误差以抑制第一误差矢量中的误差。
根据本发明的一个实施例，其中将第一描述符和第二描述符进行比较包括将种群计数(POPCNT)运算应用于第二误差矢量。
附图说明
图1是用于比较图像中视点变化的示例图像处理系统的框图；
图2A示出了由图1的处理系统处理的示例图像；
图2B示出了与模糊之后图2A的示例图像相关的具有多个第一测试点的示例第一描述符；
图2C示出了包括第一测试点的子集的示例被掩码的描述符，从模糊之后的图2B的示例图像中示出的第一描述符中生成该掩码。
图2D示出了与来自模糊之后的不同视点的图2A的示例图像相关的具有多个第二测试点的示例第二描述符；
图3是可以由图像处理系统执行的示例过程的流程图。
具体实施方式
BRIEF的比较是固定的并且不适于独立特征的图像内容。因此，由于在固定的取样模式下强度值改变可能引起测试结果的变化，一些测试对于视点变化将是敏感的。这可能导致增加的错误匹配率，因为一些测试结果将不是稳健的。
在运行时间为图像中的每个特征学习独特的描述符结构能够应对视点变化影响。这包括为布尔数学体系(Boolean)字符串描述符裁剪图像处理，使该方法适于实时系统。可以应对视点变化的示例图像处理系统包括处理装置，该处理装置具有用于存储计算机可执行的指令的存储装置。该处理装置编程为在第一图像中限定第一描述符，从第一图像中生成掩码，以及在第二图像中限定第二描述符。该处理装置进一步编程为比较第一描述符和第二描述符以限定第一误差矢量，将该掩码应用于第一误差矢量以确定第二误差矢量，并且计算第二误差矢量中的非零条目以确定第一描述符和第二描述符之间的误差。
所建议的系统使用参考特征和询问特征之间的不对称分工。参考特征可以包含在关键帧或地图中，而询问特征可以从实况影像中提取。另外，可以使用参考特征及询问特征的不对称描述符表示。
尽管该不对称，但与所建议的系统匹配的运行时间可以类似地改善准确率和召回率。模拟视点变化对参考特征的影响以及限定适当的权重矢量以抑制不可靠的强度测试获得准确率及召回率的改善。
所建议的系统通过综合观察图像分块来实施用于计算描述符权重矢量的过程，并且向权重描述符提供有效的距离函数。因此，所建议的系统包括允许每个特征定制化以稳健地描述特征的BRIEF的扩展。在此被称为裁剪的BRIEF的该系统在检测到新的特征时聚焦于描述符及匹配方面，并且在线运行。
BRIEF描述符通过围绕图像特征的数对像素之间的强度测试来概述局部外观。该测试的布尔数学体系输出以每一位有效地存储在内存中。通过该方式的存储，异或(XOR)及种群计数(POPCNT)指令可以被用于有效地计算两个描述符之间的位误差数量，也已知为汉明间距。该简洁描述符可以相对快速地被匹配，尤其当与像SURF这样的系统相比时。
在计算BRIEF描述符之前，必需使用例如高斯分布或其他参数化随机分布来限定一组测试点。测试点一旦被限定，相同的测试点可以被重复使用。可以根据特征的尺度通过调整测试点的位置大小来获得尺度不变量。
为了根据BRIEF为给定的特征确定描述符，对于每一对尺度测试点，查找相对于特征位置的两个图像强度。如果第二强度较大，则在描述符中设置适合的位。当计算两个描述符之间的误差时，通过区分描述符与XOR指令并且计算与POPCNT的误差来确定汉明间距从而生成误差矢量。
特征匹配可以通过计算描述符空间内最近邻的特征矢量来获得，但是可以被由于像传感器噪音、照明变化及视点变化这样的大量的影响导致的图像特征外观变化混淆。对于由两点强度比较组成的描述符，这些视点变化可以改变穿过图像分块的测试点并且可以导致特定强度比较的不同的结果。这可能增加真实对应的匹配误差，其可能增加误差匹配率。
通过变换测试位置及在原始图像上提取描述符来模拟描述符上视点变化的影响。这对应于在描述符提取之前向图像应用逆向变换，但是这更加简单，因为一整组被变换的测试位置将被缓存。在模拟的视点变化下计算得到的描述符然后可以与原始描述符进行比较。
通过在线学习，可以提高基于描述符的特征匹配的精确度。这可以主要通过考虑单个特征描述符的一致性的外观变化的影响来实现。这可以包括模拟这些外观变化的结果来生成训练数据，该训练数据可以相应地用于生成被称为描述符掩码的布尔数学体系权重向量。在为一对特定的特征计算匹配误差时，该掩码可以在匹配过程的内循环中被重复使用。
强度测试并非同样可靠。甚至对于优化的测试点位置，一些图像分块针对一组给定的测试点存在，在小的扰动下该测试点将产生不同的结果。如果针对单个图像分块情况学习测试，则该影响将被最小化。
每个参考特征的多组独特的测试点可以用于为每个询问特征提取多个描述符。然而，这将增加计算时间。一种替换方案包括为每个图像特征提取单个描述符并且为每个测试学习权重。假设测试是独立的并且根据伯努利分布产生误差，可以通过取样视点变化参数及适当地扭曲图像分块或测试点而为每个测试i估算概率pi。可以根据测试误差及伯努利概率来计算真实匹配的概率。然而，这可能使BRIEF的重要特性无效，因为其将增加计算两个描述符之间的误差所需的操作的次数。一替换方案可以包括学习布尔数学体系权重矢量及将其与误差矢量进行AND(与运算)以抑制噪音测试。通过这种方式，可以选择对特定图像分块可靠的测试子集。在匹配期间该布尔数学体系权重矢量可以被有效应用。该布尔数学体系权重可以像在BRIEF描述符中一样被存储为位组合(bit-packed)。
可以为两组而非一组特征学习掩码。然而，对于许多系统，这可能是不必要的。对于像视觉测程法和视觉SLAM(Simultaneous Localization and Mapping，即时定位和地图创建)，可以只周期地增加参考特征。利用该不对称的优势，在参考特征上执行另外的处理可能不会影响询问特征的描述符提取时间。另外，可以仅仅为参特征增加内存使用量，参考特征需要两倍的内存，然而询问特征的内存可以保持不变。
可以通过从尺度均匀分布及3轴旋转中取样视点变化来收集训练数据，可以根据该训练数据计算描述符掩码。全部变换在等式1中示出，其中R表示从零均值分布中取样的平面内及平面外旋转项生成的3D旋转矩阵。原始测试点坐标x和y在范围[-0.5，0.5]内旋转。结果可以由具有焦距s的摄像机投影犹如单位距离，其中s从具有均值1的分布中取样。
尽管只有少量的视点变化参数被取样，但像附加噪音的其他项可以容易地整合到等式(1)中。可以使用其他视点变化参数。
变换的测试点坐标xp可以被计算一次并被存储。学习描述符掩码可以包括：1)计算所有变换的描述符；2)比较原始描述符与每个变换的描述符并且为每个测试i计算误差数量；3)为每个测试估算取样概率pi(误差)；以及4)如果pi(误差)大于阈值，则通过将其权重设置为0来拒绝测试i。
在学习描述符掩码之前模糊图形可能在测试的可重复性上产生显著差异。可以使用例如箱式过滤器来模糊该图像。模糊图像不会抑制对视点变化的所有敏感度，并且模糊和描述符掩码学习的好处不是唯一的。
示出的元件可以采取不同的形式并且包括多个和/或可替换的部件及设备。说明的示例性部件并不旨在限制性的。事实上，可以使用额外的或可替换的部件和/或实施方式。
图1是用于比较图像中的视点变化的示例图像处理系统100的框图。如所示的，图像处理系统100包括处理装置105及存储装置110。存储装置110可以包括具有用于存储计算机可执行指令的易失性或非易失性介质的电子装置。处理装置105可以包括配置并编程为访问并执行存储在存储装置110中的计算机可执行指令的任意电子装置。该指令可以包括与处理由摄像机115捕获的图像相关的指令，该摄像机可以并入或可以不并入该图像处理系统100中。摄像机115可以包括配置为从例如相对于参考图像不同的视点中捕获各种(例如连续的)图像的任意图像捕获装置。不同的视点可以包括参考图像中的但是相距不同距离或角度的物体的视图。因此，该物体可以相对于参考图像中描述的相同物体被缩放或旋转。如上所讨论的，可以根据间距、原始值(raw)等相对于参考图像限定不同的视点。
根据对裁剪的BRIEF图像处理系统100的描述，处理装置105可以编程为接收由摄像机115捕获的第一图像。下面参照图2A示出并描述示例“第一图像”或“参考图像”。如上所述，处理装置105编程为模糊第一图像。模糊第一图像可以包括，例如将箱式过滤器技术应用于第一图像。处理装置105可以编程为根据被模糊的第一图像或第一图像的原始版本限定第一描述符。如下面参照图2B示出并描述的第一描述符可以包括多个第一测试点。
如之前所描述的，对于第一描述符，处理装置105可以编程为生成掩码。该掩码可以允许多个第一测试点的子集。该子集可以包括，例如可能稳健的那些测试点。因此，处理装置105可以编程为针对稳健性测试多个第一测试点并且生成掩码以抑制非稳健测试点。掩码可以包括用于每个测试点的位值。通过掩码该测试点的位值可以允许包括例如1的位值。
处理装置105可以进一步编程为接收第二图像。如上所述，该第二图像可以表示摄像机115相对于在第一图像中呈现的物体的视点变化。与第一图像类似，处理装置105可以编程为模糊第二图像并且基于第二图像的模糊的版本限定第二描述符。模糊第二图像可以包括，例如将箱式过滤器技术应用于第二图像。处理装置105可以编程为根据第二图像的模糊的或原始的版本来限定第二描述符。第二描述符可以包括多个第二测试点。
处理装置105然后可以限定第一误差矢量。限定第一误差矢量可以包括比较第一描述符和第二描述符。例如，处理装置105可以编程为将异或(XOR)运算应用于第一描述符及第二描述符。为了确定第二误差矢量例如抑制第一误差矢量中的误差，处理装置105可以编程为将AND运算应用于掩码和第一误差矢量。处理装置105可以进一步编程为识别第一描述符和第二描述符之间的误差。计算该误差的一种方式可以包括例如将种群计数(POPCNT)运算应用于第二误差矢量。
图2A-2D示出了可以由处理装置105确定的第一和第二描述符之间的示例关系。图2A说明了可以由参照图1描述的图像处理系统100处理的示例图像200(例如图中仅作为示例示出的DO NOT ENTER，请勿进入)。现在参照图2B，图像200可以被模糊并且可以使用之前描述的技术确定由线205表示的第一描述符。为简单起见，只有很少表示第一描述符的线205被标示在图2B中。图2C说明了可以由参照图2B示出的第一描述符205生成的被掩码的描述符210。为了简单起见，只有很少表示被掩码的描述符的线210被标示在图2C中。图2D说明了与图2A的示例图像相关的犹如由不同的视点计算的由线215示出的示例第二描述符。如之前解释的，处理装置105可以根据由图2B-2D所述的第一描述符、第二描述符及掩码来确定第一和第二误差矢量。
图3是可以由图像处理系统100执行的示例过程300的流程图。例如，过程300可以由处理装置105执行以便例如评估由摄像机115捕获的图像。该图像可以表示共同的物体但却来自不同视点。
在框305，图像处理系统100可以接收第一图像。第一图像可以包括，例如由摄像机115捕获的物体的图像。第一图像还可以被称为“参考图像”。第一图像可以例如由处理装置105接收。
在框310，图像处理系统100可以模糊第一图像。例如，处理装置105可以通过将箱式过滤器技术应用于第一图像来模糊该第一图像。
在框315，图像处理系统100可以限定与第一图像相关的第一描述符。在一个可能的途径中，处理装置105可以根据第一图像的模糊的或原始的版本来限定第一描述符。第一描述符可以包括多个第一测试点。
在框320，图像处理系统100可以生成掩码。在一个可行的实施方式中，处理装置105可以生成掩码以例如允许第一描述符中的测试点的子集。处理装置105可以生成掩码以包括很可能最稳健的那些测试点。例如，处理装置105可以为视点变化的稳健性测试第一测试点并且过滤不可靠的测试点(即，具有大于预定阈值的误差率的测试点)。任何剩余的测试点(即，最可靠的测试点)可以是用于生成掩码的测试点。掩码可以包括每个测试点的位值。通过掩码允许的测试点的位值可以包括例如1的位值。
在框325，图像处理系统100可以接收第二图像。例如，处理装置105可以接收来自摄像机115的第二图像。该第二图像可以表示摄像机115相对于表示在第一图像中的内容的视点变化。
在框330，图像处理系统100可以模糊第二图像。在一个可行的途径中，处理装置105可以通过将箱式过滤器技术应用到第二图像来模糊第二图像。
在框335，图像处理系统100可以基于第二图像的模糊的或原始的版本来限定第二描述符。可以由处理装置105根据多个第二测试点限定第二描述符。
在框340，图像处理系统100可以根据第一和第二描述符来确定第一误差矢量。限定第一误差矢量可以包括处理装置105比较第一描述符和第二描述符。例如，处理装置105可以将异或(XOR)运算应用于第一描述符和第二描述符。
在框345，图像处理系统100可以确定例如抑制第一误差矢量中的误差的第二误差矢量(即掩码误差矢量)。为了确定第二误差矢量，处理装置105可以将AND运算应用于掩码及第一误差矢量。
在框350，图像处理系统100可以从第二误差矢量识别误差值以便例如识别第一和第二描述符之间的误差。例如，处理装置105可以将种群计数(POPCNT)运算应用于第二误差矢量。
总之，所述的处理系统和/或装置可以使用任意数量的计算机操作系统，这些计算机操作系统包括但是不绝不限于以下版本和/或变型：Ford操作系统、Microsoft操作系统、Unix操作系统(例如由加利福尼亚，红木海岸的甲骨文公司发布的操作系统)、由纽约阿蒙克国际商业机器公司发布的AIXUNIX操作系统、Linux操作系统、由加利福尼亚库比蒂诺的苹果公司发布的MacOSX及iOS操作系统、由加拿大滑铁卢的黑莓公司发布的黑莓OS及由谷歌公司和开放收集联盟开发的安卓操作系统。处理装置的示例包括但是不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型便携式或手持式计算机或一些其他处理系统和/或装置。
处理装置总体上包括计算机可执行指令，其中该指令可以由一个或多个上面列出的那些处理装置执行。计算机可执行指令可以从使用多种编程语言和/或技术建立的计算机程序中编译或翻译，这些编程语言和/或技术包括但是不限于单独的或组合的JavaTM、C、C++、Visual Basic、JavaScript、Perl等。总之，处理器(例如微处理器)例如从存储器、计算机可读介质等接收指令并且执行这些指令，由此实施包括一个或多个在此描述的过程的一个或多个过程。可以使用各种计算机可读指令存储并传输这样的指令及其他数据。
计算机可读介质(也被称为处理器可读介质)包括任何参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如指令)的永久介质。这样的介质可以采取多种形式，包括但是不限于非易失性介质、易失性介质等。非易失性介质包括，例如光盘或磁盘以及其它永久存储器。易失性介质包括，例如通常形成主存储器的动态随机存取存储器(DRAM)。这些指令可以由一个或多个传输介质传输，这些传输介质包括，包括包含连接至计算机的处理器的系统总线的电线的同轴电缆、铜线及光纤。计算机可读介质的常见形式包括，例如软盘(floppy disk)、可折叠磁盘(flexible disk)、硬盘、磁带、任何其它磁性介质，CD-ROM(光盘只读存储器)、DVD(数字化视频光盘)、任何其它光学介质，穿孔卡片、纸带、任何其它具有孔排列模式的物理介质，RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、FLASH-EEPROM(闪速电可擦除可编程只读存储器)、任何其它存储芯片或内存盒，或任何其它计算机可读的介质。
数据库、数据存储库或在此描述的其他数据存储器可以包括用于存储、访问并检索各种类型的数据的各种类型的机构，这些类型的数据包括分层式数据库、文件系统中的文件集，专有格式的应用数据库，关系数据库管理系统(RDBMS)等。每一个这样的数据存储器通常包括在使用例如上面提到的那些中的一个计算机操作系统的计算装置中，并且通过网络以各种方式中的任意一种或多种被访问。可以从计算机操作系统访问文件系统，并且文件系统可以包括以各种格式存储的文件。除了用于创建、存储、编辑及执行存储程序的语言之外，RDBMS(关系型数据库管理系统)通常使用结构查询语言(SQL)，例如上面提到的PL/SQL(过程化SQL)语言。
在一些示例中，系统元件可以实施为存储在于其相关的计算机可读介质(例如硬盘、存储器等)上的一个或多个计算机装置(例如服务器、个人计算机等)上的计算机可读指令(例如软件)。计算机编程产品可以包含这些存储在计算机可读介质上的指令用于执行在此描述的功能。
对于在此描述的过程、系统、方法、探索法等，应该理解的是，尽管这些过程的步骤等已经描述为按照特定的顺序发生，但这些过程可以以不同于在此描述的顺序的顺序实施所描述的步骤。还应该理解的是，可以同时实施某些步骤，可以增加其他步骤或可以省略在此描述的某些步骤。换句话说，为了说明某些实施例的目的提供这里的过程的描述，并且绝不应该解释为限制权利要求。
相应地，应该理解的是以上说明书旨在说明性的而非限制性的。在阅读以上说明书的基础上，除了提供的示例以外的许多实施例和应用将是显而易见的。本发明的范围不应该参照以上说明书确定，而是应该参照所附的权利要求连同这些权利要求享有的全部等同范围确定。可以领会并预期的是，未来的发展将出现在在此讨论的技术中，以及所描述的系统和方法将合并入这样的未来的实施例中。总之，应该理解的是本申请能够修改及变型。
权利要求中使用的所有术语旨在被给予由所属领域的技术人员理解的它们最广义的普通含义，除非在此做出明确相反的指示。具体地，像“一”、“这个”、“所述”等单一冠词的使用应该解读为列举一个或多个指示的元件，除非权利要求列举了明确相反的限定。
提供摘要以允许读者快速确定技术公开的本质。提交该摘要的情况下伴随着其将不会用于解释或限制权利要求的保护范围或意义的理解。另外，在前述具体实施方式中，可以看出为了简化公开而在各种实施例中将各种特征组合在一起。该公开的方法不被解释为反映要求的实施例需要比每个权利要求中明确引用的更多的特征的目的。相反，如下面的权利要求反映的，创造性主题在于少于单个公开的实施例的所有特征。因此下面的权利要求在此合并于具体实施例中，每个权利要求自身作为单独要求保护的主题。

Claims (20)

1.一种图形处理系统，包含：
处理装置，所述处理装置具有用于存储计算机可执行指令的存储装置，其中所述处理装置编程为：
在第一图像中限定第一描述符；
从所述第一图像生成掩码；
在第二图像中限定第二描述符；
将所述第一描述符和所述第二描述符进行比较以限定第一误差矢量；
通过应用所述掩码来确定第二误差矢量；以及
使用所述第二误差矢量来确定所述第一描述符和所述第二描述符之间的误差。
2.根据权利要求1所述的图像处理系统，其中所述处理装置编程为在限定所述第一描述符之前模糊所述第一图像，并且在限定所述第二描述符之前模糊所述第二图像。
3.根据权利要求1所述的图像处理装置，其中所述第一描述符使用多个第一测试点被计算，并且其中所述第二描述符包括多个第二测试点。
4.根据权利要求3所述的图像处理系统，其中所述掩码允许所述多个第一测试点的子集。
5.根据权利要求4所述的图像处理系统，其中所述掩码包括用于所述多个第一测试点中的每一个所述子集的位值。
6.根据权利要求3所述的图像处理系统，其中生成所述掩码包括：
为视点变化的稳健性测试所述多个第一测试点；以及
抑制所述多个第一测试点中不可靠的测试点。
7.根据权利要求1所述的图像处理系统，其中将所述第一描述符和所述第二描述符进行比较包括将异或(XOR)运算应用于所述第一描述符及所述第二描述符。
8.根据权利要求1所述的图像处理系统，其中确定所述第二误差矢量包括将AND运算应用于所述掩码及所述第一误差矢量。
9.根据权利要求8所述的图像处理系统，其中应用所述AND运算抑制所述第一误差矢量中的误差。
10.根据权利要求1所述的图像处理系统，其中将所述第一描述符和所述第二描述符进行比较包括将种群计数(POPCNT)运算应用于所述第二误差矢量。
11.根据权利要求1所述的图像处理系统，进一步包含配置为捕获所述第一图像和所述第二图像的摄像机，其中所述第二图像表示所述摄像机相对于所述第一图像的视点变化。
12.根据权利要求11所述的图像处理系统，其中所述第一图像用于生成多个描述符和掩码，并且所述第二图像用于生成多个描述符，并且其中将由所述第一图像生成的所述描述符和掩码与由多个随后的图像确定的描述符进行比较。
13.一种方法，包含：
在第一图像中限定第一描述符；
从所述第一描述符生成掩码；
在第二图像中限定第二描述符；
将所述第一描述符和所述第二描述符进行比较以限定第一误差矢量；
通过应用所述掩码来确定第二误差矢量；以及
根据所述第二误差矢量来确定所述第一描述符和所述第二描述符之间的误差。
14.根据权利要求13所述的方法，进一步包含：
在限定所述第一描述符之前模糊所述第一图像；以及
在限定所述第二描述符之前模糊所述第二图像。
15.根据权利要求13所述的方法，其中所述第一描述符包括多个第一测试点，并且其中所述第二描述符包括多个第二测试点。
16.根据权利要求15所述的方法，其中所述掩码允许所述多个第一测试点的子集。
17.根据权利要求16所述的方法，其中生成所述掩码包括：
为视点变化稳健性测试所述多个第一测试点；以及
从所述多个第一测试点中过滤不可靠的测试点。
18.根据权利要求13所述的方法，其中将所述第一描述符和所述第二描述符进行比较包括将异或(XOR)运算应用于所述第一描述符和所述第二描述符。
19.根据权利要求13所述的方法，其中确定所述第二误差矢量包括将AND运算应用于所述掩码及所述第一误差以抑制所述第一误差矢量中的误差。
20.根据权利要求13所述的方法，其中将所述第一描述符和所述第二描述符进行比较包括将种群计数(POPCNT)运算应用于所述第二误差矢量。
CN201610602128.4A 2015-07-31 2016-07-27 每个特征描述符的在线个性化服务 Active CN106447592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/814,630 2015-07-31
US14/814,630 US9811760B2 (en) 2015-07-31 2015-07-31 Online per-feature descriptor customization

Publications (2)

Publication Number Publication Date
CN106447592A true CN106447592A (zh) 2017-02-22
CN106447592B CN106447592B (zh) 2021-10-15

Family

ID=57795742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610602128.4A Active CN106447592B (zh) 2015-07-31 2016-07-27 每个特征描述符的在线个性化服务

Country Status (5)

Country Link
US (1) US9811760B2 (zh)
CN (1) CN106447592B (zh)
DE (1) DE102016113904A1 (zh)
MX (1) MX362765B (zh)
RU (1) RU2708955C2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100345602B1 (ko) * 1999-11-03 2002-07-27 엘지정보통신주식회사 무선전화기에서 내부 호의 음성 및 데이터 신호의 확장방법
US11087200B2 (en) 2017-03-17 2021-08-10 The Regents Of The University Of Michigan Method and apparatus for constructing informative outcomes to guide multi-policy decision making
EP4165476A1 (en) 2020-07-01 2023-04-19 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
JP2023553980A (ja) 2020-12-14 2023-12-26 メイ モビリティー，インコーポレイテッド 自律車両安全プラットフォームシステム及び方法
WO2022133242A1 (en) 2020-12-17 2022-06-23 May Mobility, Inc. Method and system for dynamically updating an environmental representation of an autonomous agent
WO2022212944A1 (en) 2021-04-02 2022-10-06 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
US11565717B2 (en) 2021-06-02 2023-01-31 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
CN113408608A (zh) * 2021-06-17 2021-09-17 四川大学 一种基于计算机视觉的同类铜币的相似度分析方法
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969200A (en) * 1988-03-25 1990-11-06 Texas Instruments Incorporated Target autoalignment for pattern inspector or writer
EP0889642A2 (en) * 1997-07-04 1999-01-07 SAMSUNG ELECTRONICS Co. Ltd. Image processing apparatus and method
CN1350252A (zh) * 2000-10-21 2002-05-22 三星电子株式会社 形状描述符抽取方法
US20020102010A1 (en) * 2000-12-06 2002-08-01 Zicheng Liu System and method providing improved head motion estimations for animation
US20050238198A1 (en) * 2004-04-27 2005-10-27 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US20090316993A1 (en) * 2007-01-10 2009-12-24 Mitsubishi Electric Corporation Image identification
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE470912T1 (de) 2006-04-28 2010-06-15 Toyota Motor Europ Nv Robuster detektor und deskriptor für einen interessenspunkt
US8774498B2 (en) 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
EP2695106B1 (en) 2011-04-08 2023-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Feature descriptor for image sections
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
CN108022252A (zh) 2012-01-19 2018-05-11 索尼公司 图像处理设备和方法
US9747521B2 (en) 2012-10-11 2017-08-29 VideoGorillas LLC Frequency domain interest point descriptor
KR20140102038A (ko) 2013-02-13 2014-08-21 삼성전자주식회사 영상 정합 장치 및 영상 정합 방법
US20140310314A1 (en) * 2013-04-16 2014-10-16 Samsung Electronics Co., Ltd. Matching performance and compression efficiency with descriptor code segment collision probability optimization
RU2541918C2 (ru) * 2013-06-18 2015-02-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство автоматизированного распознавания лиц при обработке групповой фотографии
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969200A (en) * 1988-03-25 1990-11-06 Texas Instruments Incorporated Target autoalignment for pattern inspector or writer
EP0889642A2 (en) * 1997-07-04 1999-01-07 SAMSUNG ELECTRONICS Co. Ltd. Image processing apparatus and method
CN1350252A (zh) * 2000-10-21 2002-05-22 三星电子株式会社 形状描述符抽取方法
US20020102010A1 (en) * 2000-12-06 2002-08-01 Zicheng Liu System and method providing improved head motion estimations for animation
US20050238198A1 (en) * 2004-04-27 2005-10-27 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US20090316993A1 (en) * 2007-01-10 2009-12-24 Mitsubishi Electric Corporation Image identification
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合

Also Published As

Publication number Publication date
RU2016129943A (ru) 2018-01-29
US9811760B2 (en) 2017-11-07
DE102016113904A1 (de) 2017-02-02
RU2708955C2 (ru) 2019-12-12
CN106447592B (zh) 2021-10-15
MX2016009706A (es) 2017-04-25
MX362765B (es) 2019-02-07
RU2016129943A3 (zh) 2019-09-27
US20170032217A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN106447592A (zh) 每个特征描述符的在线个性化服务
US11462007B2 (en) System for simplified generation of systems for broad area geospatial object detection
US10380788B2 (en) Fast and precise object alignment and 3D shape reconstruction from a single 2D image
CN108280477B (zh) 用于聚类图像的方法和装置
EP2907082B1 (en) Using a probabilistic model for detecting an object in visual data
Schiele et al. Transinformation for active object recognition
EP3475879A1 (en) Domain separation neural networks
US20170323149A1 (en) Rotation invariant object detection
CN104331899B (zh) 一种sar图像配准方法及装置
US9129152B2 (en) Exemplar-based feature weighting
US20150371396A1 (en) Constructing a 3d structure
CN111428805B (zh) 显著性物体的检测方法、模型、存储介质及电子设备
CN107341768B (zh) 网格降噪
CN111127558B (zh) 确定装配体检测角度的方法、装置、电子设备及存储介质
KR102166117B1 (ko) 시멘틱 매칭 장치 및 방법
CN110135428B (zh) 图像分割处理方法和装置
CN113284237A (zh) 一种三维重建方法、系统、电子设备及存储介质
Garcia-Salguero et al. A tighter relaxation for the relative pose problem between cameras
Di Castro et al. Object detection and 6D pose estimation for precise robotic manipulation in unstructured environments
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN113762292B (zh) 一种训练数据获取方法、装置及模型训练方法、装置
CN110148205A (zh) 一种基于众包影像的三维重建的方法和装置
CN114898350A (zh) 一种银行卡识别方法、识别系统、电子设备及存储介质
CN114663714A (zh) 图像分类、地物分类方法和装置
JP7357454B2 (ja) 特徴特定装置、特徴特定方法及び特徴特定プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant