CN111507164A - 实时更新可检测类的类别的对象检测系统的方法和设备 - Google Patents

实时更新可检测类的类别的对象检测系统的方法和设备 Download PDF

Info

Publication number
CN111507164A
CN111507164A CN202010072012.0A CN202010072012A CN111507164A CN 111507164 A CN111507164 A CN 111507164A CN 202010072012 A CN202010072012 A CN 202010072012A CN 111507164 A CN111507164 A CN 111507164A
Authority
CN
China
Prior art keywords
specific
update
vector
short
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010072012.0A
Other languages
English (en)
Other versions
CN111507164B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507164A publication Critical patent/CN111507164A/zh
Application granted granted Critical
Publication of CN111507164B publication Critical patent/CN111507164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于实时更新对象检测系统以检测具有未训练的类别的对象的方法。该方法包括以下步骤：(a)如果获取到至少一个输入图像，则对象检测系统指示其包括的识别器生成特定特征映射之后再生成特定查询向量；(b)对象检测系统指示相似性确定单元(i)将特定查询向量与数据向量进行比较，从而计算特定查询向量与数据向量之间的第一相似度得分的每一个，并且(ii)如果特定第一相似度得分小于预定的第一阈值，则将特定局部图像追加到未知图像数据库；(c)如果获取到特定类别信息，则对象检测系统指示短期更新单元生成与特定短期更新向量，然后更新特征指纹数据库。

Description

实时更新可检测类的类别的对象检测系统的方法和设备
技术领域
本发明涉及一种用于自动驾驶车辆的方法和设备；更具体地，涉及一种用于提供能够实时更新可检测类的类别的对象检测系统的方法和设备。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks，Deep CNN)是深度学习中显著发展的核心。CNN在上世纪90年代已经用于解决字符识别问题，但是由于最近的研究，它们的使用变成像现在这样广泛。在2012年ImageNet图像分类比赛中，CNN击败了其他竞争对手取得胜利。之后，卷积神经网络成为机器学习(Machine Learning)领域中非常有用的工具。
最近，CNN已广泛应用于自动驾驶。CNN可以执行各种功能以支持自动驾驶汽车的自动驾驶，例如，语义分割(Semantic Segmentation)、目标检测等，这些功能通过使用成千上万的训练数据集来学习，然后安装到自动驾驶汽车上。
同时，当自动驾驶汽车被长时间使用后，可能会出现问题。其中一个问题是，在学习期间未出现的新对象会随着时间推移而在增加到路上，因此， CNN无法正常用作目标检测器。例如，每年都会发布新车辆，并且它们的设计会发生变化，在这种情况下，目标检测器可能无法将这些新车辆检测为车辆。因此，需要定期更新安装在自动驾驶车辆上的CNN。然而，更新CNN 的参数的学习过程是昂贵的，并且将参数和相关信息传输到每个自动驾驶车辆以进行更新的过程也是昂贵的。
发明内容
本发明的一个目的是解决前面所述的问题。
本发明的另一个目的是，通过提供一种能够实时更新可检测类的类别的对象检测系统，允许已经长时间运行的自动驾驶车辆安全驾驶。
为了达到如上所述的本发明的目的，实现如下所述的本发明的特定效果，本发明的特定构成如下。
根据本发明的一实施方式，本发明提供了一种用于实时更新对象检测系统以检测具有未学习的类的对象，包括以下步骤：(a)如果获取到至少一个输入图像，对象检测系统指示其包括的识别器生成特定特征映射(Feature Map)，该特定特征映射与包括所述输入图像的特定目标的特定ROI相对应，并通过使用所述特定特征映射生成特定查询向量(Query Vector)，该特定查询向量与特定目标相对应；(b)对象检测系统指示相似性确定单元(Similarity Determining Unit)(i)将所述特定查询向量与至少一个特征指纹数据库(Feature Fingerprint DB、特征指纹DB)所包括的一个或多个数据向量进行比较，该特征指纹数据库用于检测向所述对象检测系统输入的图像目标，从而计算特定查询向量与每一个数据向量之间的一个或多个第一相似度得分 (Similarity Score)，(ii)如果特定第一相似度得分(在第一相似度得分中最高) 小于预定的第一阈值，将与特定ROI相对应的特定局部图像(Partial Image)添加到用于更新特征指纹数据库的未知图像数据库(Unknown-Image DB、未知图像DB)；(c)如果获取到与所述特定局部图像相对应的特定类别信息，则对象检测系统指示短期更新单元(Short-Term Update Unit)通过使用特定类别信息和与所述特定目标对应的、由识别器生成的特定分量向量，生成与特定目标对应的特定短期更新向量，然后使用特定短期更新向量更新特征指纹数据库。
作为一个示例，在步骤(c)中，所述对象检测系统指示所述短期更新单元(i)计算数据向量中其类别信息与所述特定短期更新向量的类别信息相同的特定数据向量与特定短期更新向量之间的各自的一个或多个第二相似度得分，(ii)在第二相似度得分中选择最大值，(iii-1)如果最大第二相似度得分大于或等于预定的第二阈值，则通过使用特定短期更新向量更新与所述最大第二相似度得分对应的目标数据向量(Target Data Vector)，(iii-2)如果最大第二相似度得分小于第二阈值，将特定短期更新向量添加到特征指纹数据库，以更新特征指纹数据库。
作为一个示例，在步骤(c)中，如果所述最大第二相似度得分大于或等于第二阈值，则所述对象检测系统(1)指示所述短期更新单元将包括在目标数据向量中的、包括第一目标分量到第N目标分量的各目标分量，与包括在特定短期更新向量中的、包括第一更新分量到第N更新分量的各更新分量进行比较，(2)指示所述短期更新单元，(i)如果第K个目标分量对应于代表数据不存在的第一符号(Notation)，而第K个更新分量对应于代表某个值的第二符号，则将所述第K目标分量替换为所述第K个更新分量，其中，K为 1到N之间的整数，(ii)如果所述第K个目标分量对应于第二符号，而第K 个更新分量对应于第一符号，则保持第K个目标分量，(iii)如果所述第K 个目标分量和所述第K个更新分量均对应于第二符号，则用第K个目标分量和第K个更新分量的加权和(Weighted Sum)来更新第K个目标分量，以及 (iv)如果所述第K个目标分量和所述第K个更新分量均对应于第一符号，则保持所述第K个目标分量。
作为一个示例，在步骤(c)中，如果在数据向量中不存在其类别信息与特定短期更新向量的类别信息相同的特定数据向量，则对象检测系统指示短期更新单元将所述特定短期更新向量添加到特征指纹数据库。
作为一个示例，该方法还包括步骤：(d)所述对象检测系统指示长期更新单元(Long-Term Update Unit)生成一个或多个长期更新向量，所述长期更新向量对应于与所述短期更新单元使用之后存储在至少一个已知图像数据库(已知图像DB)中的、包括所述特定局部图像的一个或多个局部图像以及与其相对应的类别信息，所述类别信息表示所述对象检测系统所包括的一个或多个对象类别，，通过使用长期更新向量来更新特征指纹数据库，其中，每个所述长期更新向量包括：基准部分，其包括由所述识别器使用每一个所述局部图像而生成的一个或多个值；以及类别部分，其包括表示每个所述类别信息的一个或多个值。
作为一个示例，在步骤(d)中，对象检测系统指示所述长期更新单元(i) 计算每个所述长期更新向量之间的一个或多个第三相似度得分，(ii)合并其类别信息彼此相同的所述长期更新向量的一部分，以生成一个或多个整合的长期更新向量(Integrated Long-Term Update Vector)，并将整合后的长期更新向量和未合并的剩余长期更新向量(Remaining Long-Term Update Vector)添加到特征指纹数据库，从而更新所述特征指纹数据库。
作为一个例子，在步骤(b)中，所述对象检测系统指示所述相似度确定单元通过使用以下公式来计算第一相似度得分中的一个：
S＝e-|Q-D|
其中Q为特定查询向量，D为数据向量中的一个。
作为一个示例，在步骤(a)中，对象检测系统(i)指示与所述识别器相对应的RPN检测所述输入图像中包括的特定ROI，之后(ii)指示与所述识别器相对应的一个或多个关键点检测器(Keypoint Detector)检测在特定局部图像上与所述特定ROI相对应的一个或多个关键区域(Key Region)，(iii) 指示与所述识别器相对应的特征提取器(FeatureExtractor)通过使用所述特定局部图像来生成所述特定特征映射，之后(iv)指示所述识别器通过使用与所述特定特征映射中的关键区域相对应的值来生成所述特定查询向量。
作为一个示例，所述特征提取器包括一个或多个卷积层，其具有一个或多个卷积神经元(Convolutional Neuron)，通过指示每个卷积神经元使用其自身的参数对它们的输入值进行卷积运算并将其结果传递给下一个神经元，从而从特定的局部图像中提取所述特定的特征映射，其中，所述参数是通过在步骤(a)之前执行的训练过程确定的。
根据本发明的另一方面，提供了一种对象检测系统，其能够更新自身以实时检测具有未经训练的类别的对象，其包括：至少一个存储指令的存储器；和至少一个处理器，该处理器配置为执行指令以进行以下处理：(I)如果获取到至少一个输入图像，则指示包括在所述对象检测系统中的识别器生成与包括输入图像的特定对象的特定ROI相对应的特定特征映射，并通过使用所述特定特征映射来生成与特定对象相对应的特定查询向量；(II)指示相似性确定单元(i)将特定查询向量与至少一个特征指纹数据库中包括的一个或多个数据向量进行比较，该特征指纹数据库用于检测要输入到所述对象检测系统中的图像的对象，从而计算出每个特定查询向量和每个数据向量之间的一个或多个第一相似度得分，(ii)如果在第一相似度得分中最大的特定第一相似度得分小于预设的第一阈值，则将与特定ROI相对应的特定局部图像追加到用于更新所述特征指纹数据库的未知图像数据库；(III)如果获取到与所述特定局部图像相对应的特定类别信息，则指示短期更新单元通过使用所述特定类别信息与对应于由所述识别器生成的所述特定对象的特定分量向量，生成与所述特定对象相对应的特定短期更新向量，然后使用所述特定的短期更新向量来更新特征指纹数据库。
作为一个示例，在(III)的处理中，所述处理器指示短期更新单元(i) 计算在所述数据向量中具有与所述特定短期更新向量相同的类别信息的特定数据向量和所述特定短期更新向量之间的一个或多个第二相似度得分中的，(ii)在所述第二相似度得分中选择最大值，(iii)(iii-1)如果最大第二相似性得分大于或等于预定的第二阈值，则通过使用所述特定短期更新向量来更新与最大第二相似度得分对应的目标数据向量，以及(iii-2)如果所述最大第二相似性得分小于所述第二阈值，则将所述特定短期更新向量追加到特征指纹数据库，从而更新特征指纹数据库。
作为一个示例，在(III)的处理中，如果所述最大第二相似度得分大于或等于第二阈值，则处理器(I)指示短期更新单元将包括在目标数据向量中的、包括第一目标分量到第N目标分量的目标分量的每一个，与包括在特定短期更新向量中的、包括第一更新向量到第N更新向量的更新分量的每一个进行比较，(II)指示所述短期更新单元，(i)如果第K个目标分量对应于代表数据不存在的第一符号，而第K个更新分量对应于代表某个值的第二符号，则将第K目标分量替换为所述第K个更新分量，其中，K为1到N之间的整数，(ii)如果第K个目标分量对应于第二符号，而第K个更新分量对应于第一符号，则保持第K个目标分量，(iii)如果第K个目标分量和第 K个更新分量均对应于第二符号，则用所述第K个目标分量和所述第K个更新分量的加权和来更新第K个目标分量，以及(iv)如果所述第K个目标分量和第K个更新分量都均应于第一符号，则保持第K个目标分量。
作为一个示例，在(III)的处理中，如果在数据向量中不存在具有与所述特定短期更新向量相同的类别信息的所述特定数据向量，则所述处理器指示所述短期更新单元将所述特定短期更新向量添加到特征指纹数据库。
作为一个示例，所述处理器进一步执行以下过程：(IV)指示长期更新单元生成一个或多个长期更新向量，所述长期更新向量对应于与所述短期更新单元使用之后存储在至少一个已知图像数据库中的、包括所述特定局部图像的一个或多个局部图像以及与其相对应的类别信息，所述类别信息表示所述对象检测系统所包括的一个或多个对象类别，，通过使用长期更新向量来更新特征指纹DB，其中，每个所述长期更新向量包括：基准部分，其包括由所述识别器使用每一个所述局部图像而生成的一个或多个值；以及类别部分，其包括表示每个所述类别信息的一个或多个值。
作为一个示例，在(IV)的处理中，所述处理器指示长期更新单元(i) 计算每个所述长期更新向量之间的一个或多个第三相似度得分，(ii)合并其类别信息彼此相同的长期更新向量的一部分，以生成一个或多个整合的长期更新向量，并将整合后的长期更新向量和未合并的剩余长期更新向量添加到所述特征指纹数据库，从而更新特征指纹数据库。
作为一个示例，在(II)的处理中，所述处理器指示相似度确定单元通过使用以下公式来计算第一相似度得分中的一个：
S＝e-|Q-D|
其中Q为特定查询向量，D为所述数据向量中的一个。
作为一个示例，在(I)的处理中，所述处理器(i)指示与所述识别器相对应的RPN检测所述输入图像中包括的特定ROI，之后(ii)指示与所述识别器相对应的一个或多个关键点检测器检测在所述特定局部图像上与所述特定ROI相对应的一个或多个关键区域，(iii)指示与所述识别器相对应的特征提取器通过使用所述特定局部图像来生成上述特定特征映射，之后(iv) 指示所述识别器通过使用与所述特定特征映射中的所述关键区域相对应的值来生成所述特定查询向量。
作为一个示例，所述特征提取器包括一个或多个卷积层，其具有一个或多个卷积神经元，通过指示每个卷积神经元使用其自身的参数对它们的输入值进行卷积运算并将其结果传递给下一个神经元，从而从所述特定的局部图像中提取所述特定的特征映射，其中，所述参数是通过在(I)处理之前执行的训练过程确定的。
另外，还提供了可由计算机读取以用于存储计算机程序以执行本发明的方法的可记录介质。
发明效果
本发明提供一种能够实时更新可检测类的类别的对象检测系统，从而具有允许长时间运行的自动驾驶车辆的安全驾驶的效果。
附图说明
以下用于解释本公开的示例性实施例的附图仅是本公开的示例性实施例的一部分，并且本领域技术人员无需进行创造性劳动即可基于这些附图获得其他附图。
图1为示意性地示出了根据本发明的一个示例实施例的对象检测系统的配置的图，该对象检测系统执行用于提供能够实时更新可检测类的类别的对象检测系统的方法。
图2为示意性地示出了根据本发明的一个示例实施例的，通过能够实时更新可检测类的类别的对象检测系统来检测至少一个图像中的每个物体的类别的过程的图。
图3为示意性地示出了根据本发明的一个示例性实施例的，执行能够实时更新可检测类的类别的对象检测系统的短期更新的过程的图。
图4为示意性地示出了根据本发明的一个示例性实施例的，执行能够实时更新可检测类的类别的对象检测系统的长期更新的过程的图。
具体实施方式
下面对本发明进行的详细说明参照作为能够实施本发明的特定实施例示例示出的附图。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明。。应当理解，本发明的各种实施例是不同的，但是不必相互排斥。例如，在此记载的某些形状，结构和特性可以在不偏离一个实施例的本发明的精神和范围内，在其他实施例中体现。另外，应当理解，在不脱离本发明的精神和范围的情况下，可以改变每个公开的实施例中的各个组件的位置或布置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围，如果适当地描述，仅由所附权利要求书以及这些权利要求书所享有的等同物的全部范围来限定。在各个方面，附图中相似的附图标记指代相同或相似的功能。
此外，在本发明的详细描述和权利要求中，术语“包括”及其变体并不旨在排除其他技术特征、添加物、组件或步骤。本发明的其他目的、好处和特征将部分地从说明书中并且部分地从本公开的实施中向本领域技术人员揭示。以下示例和附图将作为示例提供，但是它们并不意图限制本公开。
本公开内容中提及的任何图像都可以包括与任何已铺设或未铺设的道路有关的图像，在这种情况下，能够假设为可能出现在与道路有关的场景中的物体可能包括车辆、人员、动物、植物、物体、建筑物、飞行物体 (例如飞机或无人机)，或其他障碍物，但是本发明的范围不限于此。作为另一示例，本发明中提及的所述任何图像可以包括与任何道路都不相关的图像，诸如与土路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或任何室内空间有关的图像，在这种情况下，能够假设为土路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或任何室内场景中的物体(例如、车辆、人员、动物、植物、物体、建筑物、飞机或无人机等飞行物体、任何其他障碍物)，但是本发明的范围不限于此。
为了使本领域技术人员能够容易地实施本公开，将通过参考附图详细说明本发明的示例实施方式，如下所示。
图1为示意性地示出了根据本发明的一个示例实施例的对象检测系统的配置的图，该对象检测系统执行用于提供能够实时更新可检测类的类别的对象检测系统的方法。
通过参考图1，对象检测系统100可以包括稍后描述的识别器110、特征指纹数据库120、未知图像数据库130和已知图像数据库140。识别器 110、特征指纹数据库120、未知图像数据库130和已知图像数据库140的输入/输出处理和计算可以分别由对象检测系统100包括的通信部分和处理器来执行。此外，对象检测系统100中的存储器(未示出)可以已经存储了稍后将描述的各种指令，处理器(未示出)可以执行存储在存储器(未示出)中的指令(Instruction)，并且可以通过执行稍后将发明的指令来执行本发明的处理。对对象检测系统100的这种描述不排除包括处理器，介质、存储器或任何其他计算组件的任何组合的集成设备。
此外，对象检测系统100可以包括相似性确定单元(未示出)，短期更新单元(未示出)和长期更新单元(未示出)。
具体地，识别器110可以生成(i)在至少一个输入图像上的目标的位置信息和(ii)包括该位置信息的ROI的至少一个特征映射，然后可以通过参考每个特征映射来生成每个对象的每个查询向量。特征指纹数据库120 可以存储数据向量，以通过数据向量和查询向量之间的比较来推导与查询向量相对应的对象的类别信息。在特征指纹数据库120不具有与对应于所述对象的查询向量的相似性得分等于或大于预定的第一阈值的数据向量的情况下，未知图像数据库130可存储与所述对象相对应的输入图像的一部分，用于更新将来由对象检测系统100检测到的类的类别。已知图像数据库140可存储(i)输入到对象检测系统100中的一个或多个局部图像，其每个图像精确地包围未识别的对象，(ii)由程序员确认并输入其中的它们的相应信息，以供稍后描述的长期更新使用。
此外，对象检测系统100可包括(i)相似性确定单元(未示出)，该相似性确定单元可将查询向量与特征指纹数据库120中包括的数据向量进行比较，这将在后面说明，(ii)短期更新单元(未示出)，以及(iii)长期更新单元(未示出)。这些单元可配置为软件或硬件。
上面描述了根据本发明的一个示例实施例的能够实时更新可检测类的类别的对象检测系统100的配置，将要描述的是物体检测系统100检测输入图像中的对象的方法，以及进行短期更新以及长期更新的方法。参考图2 对此进行解释。
图2是示意性地示出了根据本发明的一个示例性实施例的，通过能够实时更新可检测类的类别的对象检测系统100来检测至少一个图像中的每个物体的类别的过程的图。
参照图2，示出了识别器110中包括的N个关键点检测器111和特征提取器112。关键点检测器111可以检测其输入图像中的至少一个关键区域。该关键区域对于检测物体来说是非常重要的部分。这是因为类别的检测是通过比较关键区域的至少一个特征和存储在特征指纹数据库120中的特征来进行的，如稍后将描述的。这样的关键点检测器111可以是预先学习的。特征提取器112可以将一个或多个卷积运算应用于输入图像，从而生成至少一个特征映射。该特征提取器也可以是预先学习的。例如，特征提取器可包括一个或多个卷积层，其包括一个或多个卷积神经元。并且特征提取器可以通过指示每个卷积神经元通过使用其自己的参数对它们的输入值应用卷积运算，将其结果传递给下一个神经元，从而从其输入图像中提取特征映射，并。参数可以在开始本发明的处理步骤之前通过训练过程来确定。
如果获取到输入图像，则对象检测网络可指示至少一个RPN生成输入图像的一个或多个ROI，并且可通过在输入图像上裁剪(Crop)与每个ROI 相对应的每个区域来生成每个局部图像。或者，输入图像本身可以是包括单个对象的图像，类似于每个局部图像。此后，识别器110可以生成与特定局部图像相对应的特定查询向量，并且为了这个目的，识别器110可指示其中包括的关键点检测器111(包括在识别器110中)检测特定局部图像上的关键区域。另外，识别器110可以指示特征提取器生成与特定局部图像相对应的至少一个特定特征映射。此后，识别器110可指示查询单元通过关键点检测器检测到的特定局部图像中的每个关键区域相对应的特定特征映射的值来生成特定查询向量。此时，与每个关键点检测器相对应的每个值可位于特定查询向量上的每个对应位置上。图2中也可以确认这种过程的一个例子。图2的查询向量中表示“不存在(Not Present)”的查询向量的示例的构成要素是指与每个构成要素相对应的每个关键点检测器111无法在输入图像上找到与每个关键点检测器相对应的每个关键区域。与除特定局部图像之外的局部图像相对应的其他查询向量可通过与如上所述的特定查询向量的生成处理步骤类似的处理步骤来生成。
此后，可将这样生成的特定查询向量发送到特征指纹数据库120，然后将其与存储在特征指纹数据库120中的数据向量进行比较。在比较的过程中，可生成每个数据向量和特定查询向量之间的每个第一相似度得分，其可以是向量之间的欧几里德距离(Euclideandistance)的绝对值的负幂的指数，即，e-|euclidean distance|，或者可以是向量之间的余弦距离(Cosine Distance)。如果使用欧几里得距离生成相似度得分，则如下式所示。
S＝e-|Q-D|
在这里，Q可以是特定查询向量，而D可以是数据向量之一。
在查询向量中，表示为“不存在”的分量不用于计算第一相似性得分，并且仅将包括与查询向量中的“不存在”对应的所有构成要素的数据向量用于计算第一相似度得分。
以图2中的示例为例，比较图2中的示例查询向量和存储在特征指纹数据库120中的与每个汽车品牌相对应的数据向量。在特征指纹数据库120中，存储了现代(Hyundai)类的重复数据向量，这些是具有从各个角度拍摄的图像的现代类中所包括的车辆的数据向量。这是因为特征指纹数据库120的这种配置在不考虑物体的角度的情况下就可以执行物体的检测。如上所述，图 2中的查询向量的示例，如上所述，与雪铁龙和奥迪的数据向量一起可用于第一相似性得分的计算。
在计算出特定查询向量的相似性得分之后，如果第一相似度得分中的最大值等于或大于预定的第一阈值，则对象检测系统100可以输出与最大值相对应的类别作为与特定查询向量相对应的特定对象的类别。如果第一相似度得分的最大值小于预定的第一阈值，则特定局部图像可以存储在未知图像数据库130中，并且对象检测系统100可以将代表输入图像的对象检测的结果不成功的日志(Log)发送给程序员。
如果如上所述在未知图像数据库130中存储与输入图像相同的局部图像，则对象检测系统可以执行短期更新。参考图3对此进行解释。
图3为示意性地示出了根据本发明的一个示例性实施例的，执行能够实时更新可检测类的类别的对象检测系统的短期更新的过程的图。
通过参考图3，程序员可确认存储在未知图像数据库130中的图像，并且可确定并输入图像的类别。这种包括存储在未知图像数据库130中的图像及其相应的附加类别信息的更新集(Update Set)可发送到已知图像数据库140，并且在稍后将描述的长期更新期间使用。另外，可以将更新集发送到识别器 110，并用于短期更新。
识别器110可以获取更新集并生成短期更新向量。具体地，识别器110 可以将附加类别信息追加在分量向量中，该分量向量通过前述生成查询向量的方式相同或相似的方式生成，从而通过使用更新集中的图像来生成短期更新向量。在一实施例中，查询向量可以一起存储在已知图像数据库140中，并且当执行短期更新时可以使用这样的查询向量。即，查询向量和分量向量基本相同。此后，可将短期更新向量传送到特征指纹数据库120。
首先，如果附加类别信息所包括的类别中不存在对应于存储在针对特定短期更新向量的特征指纹数据库120中的任何数据向量，则意味着第一次检测到与特定短期更新向量的类别相对应的特定对象，因此为了将来检测相同类别的对象，可将特定的短期更新向量作为与新类别相对应的新数据向量存储在特征指纹数据库中。
但是，如果附加类别信息中所包括的类别对应于存储在特征指纹数据库 120中的数据向量之一，则该类别属于之前已经被检测到，但是由于其不合适的数据向量而未被检测的类别，因此可以更新与该类别相对应的一组数据向量。此时，将特定短期更新向量作为与该类别相对应的新的数据向量来进行追加，还是更新现有的数据向量，此确认步骤通过下述说明的方法来决定。
对象检测系统100可以将特定短期更新向量中包括的每个值与数据向量中包括的的与其相对应值进行比较，从而以与前述方式类似的方式生成与每个数据向量相对应的每个第二相似度得分。在此，如果不存在具有等于或大于预定的第二阈值的第二相似度得分的数据向量，则可以将短期更新向量作为与该类别相对应的新数据向量来追加。然而，如果存在等于或大于预定的第二阈值的相似度得分的目标数据向量，则可以通过使用短期更新向量来更新目标数据向量。
更具体地，对象检测系统100可指示短期更新单元在第二相似性得分中选择最大值。并且，如果所选择的最大第二相似性得分大于或等于第二阈值，则对象检测系统100可以指示短期更新单元通过使用特定的短期更新向量来更新与最大的第二相似性得分相对应的目标数据向量。相反，如果最大的第二相似性得分小于第二阈值，则对象检测系统100可以指示短期更新向量将特定的短期更新向量追加到特征指纹数据库0。
将说明如何通过使用短期更新向量来更新目标数据向量。目标数据向量包括N个目标分量，特定短期更新向量包括N个更新分量的情况下，如果第K个目标分量对应于代表数据不存在的第一符号，而第K个更新分量对应于代表某个值的第二符号，则对象检测系统100可指示短期更新单元用第 K个更新分量替换第K个目标分量，其中K是1到N之间的整数。或者，如果第K个目标分量对应于第二符号，而第K个更新分量对应于第一符号，则对象检测系统100可以指示短期更新单元保持第K个目标分量。在其他情况下，例如，如果第K个目标分量和第K个更新分量都对应于第二符号，则对象检测系统100可指示短期更新单元以第K个目标分量和第K个更新分量的加权和来更新第K个目标分量，如果第K个目标分量和第K个更新分量均与第一符号相对应，则对象检测系统100可指示短期更新单元保持第 K个目标分量。
简言之，如果数据向量中表示“不存在”的分量在短期更新向量中不是“不存在”，则可以更新数据向量的分量以具有短期更新向量的对应值。如果分量都不是“不存在”，则可以通过使用两个分量的加权和来更新这些分量。尽管可以通过短期更新来检测新类别的对象和改善现有类别的对象的检测，但是为了进一步优化而进行长期更新的方法描述如下。
图4为示意性地示出了根据本发明的一实施例的，执行能够实时更新可检测类的类别的对象检测系统的长期更新的过程的图。
通过参考图4，可通过使用存储在已知图像数据库140中的图像来执行长期更新。已知图像数据库140可以具有已经用于短期更新的几个更新集。为了长期更新，对象检测系统100可指示识别器110通过使用更新集来生成至少一个长期更新向量。这里，可以以类似于生成短期更新向量的方式来生成长期更新向量。即，每个长期更新向量还可包括(i)与关键点检测器111 相对应的值和(ii)包括图像的类别信息。
这样的长期更新向量可经过整合对应于相同类别的向量的过程。即，在对应于相同类别的向量中，可通过使用它们的加权和来更新和整合它们的每个分量。例如，假设对应于特定类别的三个向量分别是(1a，0，3a，0，5a)， (1b，2b，0，0，5b)和(0，2c，0，0，5c)。类别信息的部分已省略，“不存在”显示为0。在此，例如，可以将整合向量计算为((1a+2b)/2，(2b+ 2c)/2，(3a)，0，(5a+5b+5c)/3)。可通过更新特征指纹数据库120来优化特征指纹数据库120，使得对于每个类别整合的向量存储在特征指纹数据库120中。这里，可选择一些具有相同类别信息的长期更新向量的一部分且大于预定的第三阈值的长期更新向量之间的第三相似性得分进行合并，以便优化更新过程。计算第三相似度得分的过程可以与计算第一相似度得分和第二相似度得分的过程相同或相似。
因此，可通过优化特征指纹数据库120并更新新检测到的类别来安全地运行自动驾驶车辆。
如上所述的本发明的实施例可以通过可记录到计算机可读记录介质的各种计算机装置以可执行程序命令的形式来实现。计算机可读介质可以单独地或组合地包括程序命令、数据文件和数据结构等。记录到所述计算机可读记录介质的程序命令可以是专门为本发明设计并构成的命令，可以是对计算机软件领域的技术人员公知的可用的命令。计算机可读记录介质包括磁性介质(例如硬盘、软盘和磁带)、光学介质(例如CD-ROM和DVD)、磁光介质(例如光磁软盘(floptical disk))和硬件设备(例如专门设计用于存储和执行程序命令的ROM，RAM以及闪存)。所述程序命令不仅包括由编译器生成的机器语言代码，而且包括可由计算机使用解释器等执行的高级语言代码。上述硬件设备可以作为至少一个软件模块来执行本发明的处理，反之亦然。
如上所述，本发明已通过诸如详细的构成要素等特定事项以及有限的实施例和附图来进行说明。提供它们仅仅是为了帮助对本发明的进一步整体上的理解。然而，可以在不背离如所附权利要求所限定的本发明的主旨和范围的前提下，根据说明书进行各种改变和修改。
因此，本发明的思想不应该限于所解释的实施例，并且以下权利要求书以及包括与权利要求书的范围等同或等价的变型在内的所有内容都属于本发明的思想范畴。

Claims (18)

1.一种用于实时更新对象检测系统以检测具有未训练的类别的对象的方法，包括以下步骤：
(a)如果获取到至少一个输入图像，则所述对象检测系统指示其包括的识别器生成特定特征映射，所述特定特征映射与包括所述输入图像的特定目标的特定ROI相对应，并通过使用所述特定特征映射生成与所述特定目标相对应的特定查询向量；
(b)所述对象检测系统指示相似性确定单元(i)将特定查询向量与至少一个特征指纹数据库所包括的一个或多个数据向量进行比较，所述特征指纹数据库用于检测向所述对象检测系统输入的图像目标，从而计算所述特定查询向量与每一个所述数据向量之间的每一个一个或多个第一相似度得分，并且(ii)如果在所述第一相似度得分中最大的特定第一相似度得分小于预定的第一阈值，将与所述特定ROI相对应的特定局部图像追加到未知图像数据库，以用于更新所述特征指纹数据库；
(c)如果获取到与所述特定局部图像相对应的特定类别信息，所述对象检测系统指示短期更新单元通过使用所述特定类别信息和与所述特定目标对应的、由识别器生成的特定分量向量，生成与特定目标对应的特定短期更新向量，然后使用所述特定短期更新向量更新特征指纹数据库。
2.如权利要求1所述的方法，其特征在于，在步骤(c)中，所述对象检测系统指示所述短期更新单元(i)计算在数据向量中与特定短期更新向量的类别信息相同的特定数据向量和所述特定短期更新向量之间的一个或多个第二相似度得分的每一个，(ii)在所述第二相似度得分中选择最大值，(iii)(iii-1)如果所述最大第二相似度得分大于或等于预定的第二阈值，通过使用所述特定短期更新向量更新与所述最大第二相似度得分对应的目标数据向量，(iii-2)如果所述最大第二相似度得分小于所述第二阈值，则将所述特定短期更新向量追加到所述特征指纹数据库，从而更新所述特征指纹数据库。
3.如权利要求2所述的方法，其特征在于，在步骤(c)中，如果所述最大第二相似度得分大于或等于所述第二阈值，所述对象检测系统(1)指示所述短期更新单元将包括在所述目标数据向量中的、包括第一目标分量到第N目标分量的目标分量的每一个，与包括在特定短期更新向量中的、包括第一更新分量到第N更新分量的更新分量的每一个进行比较，(2)指示所述短期更新单元，(i)如果第K个目标分量对应于代表数据不存在的第一符号，而第K个更新分量对应于代表某个值的第二符号，则将所述第K个目标分量替换为所述第K个更新分量，其中，K为1到N之间的整数，(ii)如果所述第K个目标分量对应于所述第二符号，而所述第K个更新分量对应于所述第一符号，则保持所述第K个目标分量，(iii)如果所述第K个目标分量和所述第K个更新分量均对应于所述第二符号，则用所述第K个目标分量和所述第K个更新分量的加权和来更新第K个目标分量，(iv)如果所述第K个目标分量和所述第K个更新分量均对应于第一符号，则保持所述第K个目标分量。
4.如权利要求1所述的方法，其特征在于，在步骤(c)中，如果在数据向量中不存在与特定短期更新向量相同的类别信息的特定数据向量，则所述对象检测系统指示所述短期更新单元将所述特定短期更新向量追加到所述特征指纹数据库。
5.如权利要求1所述的方法，其特征在于，该方法还包括步骤：
(d)所述对象检测系统指示长期更新单元生成一个或多个长期更新向量，所述长期更新向量对应于与所述短期更新单元使用之后存储在至少一个已知图像数据库中的、包括所述特定局部图像的一个或多个局部图像以及与其相对应的类别信息，所述类别信息表示所述对象检测系统所包括的一个或多个对象类别，通过使用所述长期更新向量来更新所述特征指纹数据库，
其中，每个所述长期更新向量包括：基准部分，其包括由所述识别器使用每一个所述局部图像而生成的一个或多个值；以及类别部分，其包括表示每个所述类别信息的一个或多个值。
6.如权利要求5所述的方法，其特征在于，在步骤(d)中，所述对象检测系统指示所述长期更新单元(i)计算每个所述长期更新向量之间的一个或多个第三相似度得分，(ii)合并其类别信息彼此相同的所述长期更新向量的部分，以生成一个或多个整合的长期更新向量，并将所述整合的长期更新向量和未合并的剩余长期更新向量追加到所述特征指纹数据库，从而更新所述特征指纹数据库。
7.如权利要求1所述的方法，其特征在于，在步骤(b)中，所述对象检测系统指示所述相似度确定单元通过使用以下公式来计算第一相似度得分中的一个：
S＝e-|Q-D|
其中Q为特定查询向量，D为数据向量中的一个。
8.如权利要求1所述的方法，其特征在于，在步骤(a)中，所述对象检测系统(i)指示与所述识别器相对应的RPN检测所述输入图像中包括的所述特定ROI，之后(ii)指示与所述识别器相对应的一个或多个关键点检测器检测在所述特定局部图像上与特定ROI相对应的一个或多个关键区域，(iii)指示与所述识别器相对应的特征提取器通过使用特定局部图像来生成特定特征映射，之后(iv)指示所述识别器通过使用与所述特定特征映射中的所述关键区域相对应的值来生成所述特定查询向量。
9.如权利要求1所述的方法，其特征在于，所述特征提取器包括一个或多个卷积层，所述卷积层具有一个或多个卷积神经元，通过指示每个卷积神经元使用其自身的参数对它们的输入值进行卷积运算并将其结果传递给下一个神经元，从而从所述特定局部图像中提取所述特定特征映射，
所述参数是通过在步骤(a)之前执行的训练过程确定的。
10.一种对象检测系统，该系统实时更新自身以检测具有未训练的类别的对象，其包括：
至少一个存储指令的存储器；和
至少一个处理器，其配置为执行指令以进行以下处理：(I)如果获取到至少一个输入图像，则指示包括在所述对象检测系统中的识别器生成与包括输入图像的特定对象的特定ROI相对应的特定特征映射，并通过使用所述特定特征映射来生成与特定对象相对应的特定查询向量；(II)指示相似性确定单元(i)将特定查询向量与至少一个特征指纹数据库中包括的一个或多个数据向量进行比较，该特征指纹数据库用于检测要输入到所述对象检测系统的图像的对象，从而计算出每个特定查询向量和每个数据向量之间的一个或多个第一相似度得分，(ii)如果在第一相似度得分中最大的特定第一相似度得分小于预定的第一阈值，则将与特定ROI相对应的特定局部图像追加到用于更新特征指纹数据库的未知图像数据库；以及(III)如果获取到与所述特定局部图像相对应的特定类别信息，则指示短期更新单元通过使用与所述特定类别信息和由所述识别器生成的所述特定对象相对应的特定分量向量，生成与所述特定对象相对应的特定短期更新向量，然后使用该特定的短期更新向量来更新所述特征指纹数据库。
11.如权利要求10所述的对象检测系统，其特征在于，在(III)的处理中，所述处理器指示所述短期更新单元(i)计算在所述数据向量中具有与所述特定短期更新向量相同的类别信息的特定数据向量和所述特定短期更新向量之间的一个或多个第二相似度得分中的每一个，(ii)在所述第二相似度得分中选择最大值，(iii)(iii-1)如果最大第二相似性得分大于或等于预定的第二阈值，则通过使用所述特定的短期更新向量来更新与所述最大第二相似度得分对应的目标数据向量，(iii-2)如果所述最大第二相似性得分小于第二阈值，则将特定的短期更新向量追加到特征指纹数据库，从而更新特征指纹数据库。
12.如权利要求10所述的对象检测系统，其特征在于，在(III)的处理中，如果所述最大第二相似度得分大于或等于第二阈值，则所述处理器(I)指示所述短期更新单元将包括在目标数据向量中的、包括第一目标分量到第N目标分量的目标分量的每一个，与包括在所述特定短期更新向量中的、包括第一更新分量到第N更新分量的更新分量的每一个进行比较，(II)指示短期更新单元，(i)如果第K个目标分量对应于代表数据不存在的第一符号，而第K个更新分量对应于代表某个值的第二符号，则将第K目标分量替换为第K个更新分量，其中，K为1到N之间的整数，(ii)如果第K个目标分量对应于第二符号，而第K个更新分量对应于第一符号，则保持第K个目标分量，(iii)如果第K个目标分量和第K个更新分量均对应于第二符号，则用第K个目标分量和第K个更新分量的加权和来更新第K个目标分量，以及(iv)如果第K个目标分量和第K个更新分量都对应于第一符号，则保持第K个目标分量。
13.如权利要求10所述的对象检测系统，其特征在于，在(III)的处理中，如果在所述数据向量中不存在具有与所述特定短期更新向量的类别信息相同的所述特定数据向量，则所述对象检测系统指示短期更新单元将特定短期更新向量追加到特征指纹数据库。
14.如权利要求10所述的对象检测系统，其特征在于，所述处理器被配置为进一步执行以下步骤：
(IV)指示长期更新单元生成一个或多个长期更新向量，所述长期更新向量对应于与所述短期更新单元使用之后存储在至少一个已知图像数据库中的、包括所述特定局部图像的一个或多个局部图像以及与其相对应的类别信息，所述类别信息表示所述对象检测系统所包括的一个或多个对象类别，通过使用所述长期更新向量来更新所述特征指纹数据库，
其中，每个所述长期更新向量包括：基准部分，其包括由所述识别器使用每一个所述局部图像而生成的一个或多个值；以及类别部分，其包括表示每个所述类别信息的一个或多个值。
15.如权利要求14所述的对象检测系统，其特征在于，在(IV)的处理中，所述处理器指示所述长期更新单元(i)计算每个所述长期更新向量之间的一个或多个第三相似度得分，(ii)合并其类别信息彼此相同的一些长期更新向量，以生成一个或多个整合的长期更新向量，并将整合后的长期更新向量和未合并的剩余长期更新向量追加到特征指纹数据库，从而更新特征指纹数据库。
16.如权利要求10所述的对象检测系统，其特征在于，在(II)的处理中，所述处理器指示所述相似度确定单元通过使用以下公式来计算所述第一相似度得分中的一个：
S＝e-|Q-D|
其中Q为所述特定查询向量，D为所述数据向量中的一个。
17.如权利要求10所述的对象检测系统，其特征在于，在(I)的处理中，所述处理器(i)指示与所述识别器相对应的RPN检测输入图像中包括的特定ROI，之后(ii)指示与所述识别器相对应的一个或多个关键点检测器检测在特定局部图像上与特定ROI相对应的一个或多个关键区域，(iii)指示与所述识别器相对应的特征提取器通过使用所述特定局部图像来生成所述特定特征映射，之后(iv)指示所述识别器通过使用与所述特定特征映射中的关键区域相对应的值来生成所述特定查询向量。
18.如权利要求10所述的对象检测系统，其特征在于，所述特征提取器包括一个或多个卷积层，所述卷积层具有一个或多个卷积神经元，通过指示每个所述卷积神经元使用其自身的参数对它们的输入值进行卷积运算并将其结果传递给下一个神经元，从而从特定的局部图像中提取特定的特征映射，
所述参数是通过在所述步骤(I)之前执行的训练过程确定的。
CN202010072012.0A 2019-01-30 2020-01-21 实时更新可检测类的类别的对象检测系统的方法和设备 Active CN111507164B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798761P 2019-01-30 2019-01-30
US62/798,761 2019-01-30
US16/723,652 2019-12-20
US16/723,652 US10621473B1 (en) 2019-01-30 2019-12-20 Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same

Publications (2)

Publication Number Publication Date
CN111507164A true CN111507164A (zh) 2020-08-07
CN111507164B CN111507164B (zh) 2023-11-07

Family

ID=70223677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010072012.0A Active CN111507164B (zh) 2019-01-30 2020-01-21 实时更新可检测类的类别的对象检测系统的方法和设备

Country Status (5)

Country Link
US (1) US10621473B1 (zh)
EP (1) EP3690710A1 (zh)
JP (1) JP6962605B2 (zh)
KR (1) KR102349927B1 (zh)
CN (1) CN111507164B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095401A (ko) * 2020-12-29 2022-07-07 고려대학교 산학협력단 인공지능을 이용한 안면부 골절 판독 장치 및 방법
KR102637170B1 (ko) * 2021-03-16 2024-02-14 현대모비스 주식회사 설명가능 ai 기반 불량검출 장치 및 방법
CN113609323B (zh) * 2021-07-20 2024-04-23 上海德衡数据科技有限公司 基于神经网络的图像降维方法及系统
CN113297411B (zh) * 2021-07-26 2021-11-09 深圳市信润富联数字科技有限公司 轮形图谱相似性的度量方法、装置、设备及存储介质
KR20230029258A (ko) 2021-08-24 2023-03-03 한국과학기술연구원 다중 카메라에서 대상 객체를 추적하기 위한 질의 정보를 업데이트하는 방법 및 이를 수행하는 다중 카메라 시스템

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025596A1 (en) * 2006-06-12 2008-01-31 D&S Consultants, Inc. System and Method for Machine Learning using a Similarity Inverse Matrix
US20110103694A1 (en) * 2009-10-30 2011-05-05 Canon Kabushiki Kaisha Object identification apparatus and object identification method
US20110158536A1 (en) * 2009-12-28 2011-06-30 Canon Kabushiki Kaisha Object identification apparatus and control method thereof
CN102473305A (zh) * 2009-08-18 2012-05-23 公立大学法人大阪府立大学 用于检测物体的方法
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
US8532400B1 (en) * 2009-12-07 2013-09-10 Google Inc. Scene classification for place recognition
US20150178581A1 (en) * 2013-12-20 2015-06-25 Fujitsu Limited Biometric authentication device and reference data verification method
CN106326927A (zh) * 2016-08-24 2017-01-11 大连海事大学 一种鞋印新类别检测方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法
US20170308427A1 (en) * 2016-04-26 2017-10-26 Nec Laboratories America, Inc. System Fault Diagnosis via Efficient Temporal and Dynamic Historical Fingerprint Retrieval
CN108431809A (zh) * 2015-12-21 2018-08-21 电子湾有限公司 使用语义含义向量的跨语言搜索
JP2018528525A (ja) * 2015-08-04 2018-09-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 未知クラスの検出および未知クラスのための分類器の初期化

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426436B2 (ja) * 2004-12-27 2010-03-03 株式会社日立製作所 車両検知装置
JP4594945B2 (ja) * 2007-02-13 2010-12-08 株式会社東芝 人物検索装置および人物検索方法
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP6161271B2 (ja) * 2011-12-22 2017-07-12 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
US9767385B2 (en) * 2014-08-12 2017-09-19 Siemens Healthcare Gmbh Multi-layer aggregation for object detection
WO2016054778A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Generic object detection in images
US9996768B2 (en) * 2014-11-19 2018-06-12 Adobe Systems Incorporated Neural network patch aggregation and statistics
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
US10223612B2 (en) * 2016-09-01 2019-03-05 Microsoft Technology Licensing, Llc Frame aggregation network for scalable video face recognition
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
US10394881B2 (en) * 2017-03-31 2019-08-27 Google Llc Automatic suggestions to share images
CN108875491B (zh) * 2017-10-11 2021-03-23 北京旷视科技有限公司 人脸解锁认证的数据更新方法、认证设备和系统以及非易失性存储介质
US11295140B2 (en) * 2018-03-14 2022-04-05 Comcast Cable Communications, Llc Methods and systems for determining object activity within a region of interest
CN110633604B (zh) * 2018-06-25 2023-04-25 富士通株式会社 信息处理方法和信息处理装置
US10452959B1 (en) * 2018-07-20 2019-10-22 Synapse Tehnology Corporation Multi-perspective detection of objects
US11080542B2 (en) * 2018-07-27 2021-08-03 International Business Machines Corporation Sparse region-of-interest pooling for object detection

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080025596A1 (en) * 2006-06-12 2008-01-31 D&S Consultants, Inc. System and Method for Machine Learning using a Similarity Inverse Matrix
CN102473305A (zh) * 2009-08-18 2012-05-23 公立大学法人大阪府立大学 用于检测物体的方法
US20110103694A1 (en) * 2009-10-30 2011-05-05 Canon Kabushiki Kaisha Object identification apparatus and object identification method
US8532400B1 (en) * 2009-12-07 2013-09-10 Google Inc. Scene classification for place recognition
US20110158536A1 (en) * 2009-12-28 2011-06-30 Canon Kabushiki Kaisha Object identification apparatus and control method thereof
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
US20150178581A1 (en) * 2013-12-20 2015-06-25 Fujitsu Limited Biometric authentication device and reference data verification method
JP2018528525A (ja) * 2015-08-04 2018-09-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 未知クラスの検出および未知クラスのための分類器の初期化
CN108431809A (zh) * 2015-12-21 2018-08-21 电子湾有限公司 使用语义含义向量的跨语言搜索
US20170308427A1 (en) * 2016-04-26 2017-10-26 Nec Laboratories America, Inc. System Fault Diagnosis via Efficient Temporal and Dynamic Historical Fingerprint Retrieval
CN106326927A (zh) * 2016-08-24 2017-01-11 大连海事大学 一种鞋印新类别检测方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERDAL ORUKLU ET AL.: ""Real-time traffic sign detection and recognition for in-car driver assistance systems"", pages 976 - 979 *

Also Published As

Publication number Publication date
KR20200094640A (ko) 2020-08-07
KR102349927B1 (ko) 2022-01-12
JP6962605B2 (ja) 2021-11-05
JP2020123340A (ja) 2020-08-13
US10621473B1 (en) 2020-04-14
CN111507164B (zh) 2023-11-07
EP3690710A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN111507164B (zh) 实时更新可检测类的类别的对象检测系统的方法和设备
US10628688B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
US10373026B1 (en) Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US10325201B1 (en) Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
US10890916B2 (en) Location-specific algorithm selection for optimized autonomous driving
EP3687152B1 (en) Learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
JP6847463B2 (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
CN114194180A (zh) 一种辅助泊车信息的确定方法、装置、设备及介质
EP3623991B1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
CN111508253A (zh) 提供自动行驶服务平台的方法及利用其的服务器
US20230350418A1 (en) Position determination by means of neural networks
CN111507151A (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
US20230025770A1 (en) Method and apparatus for detecting an object based on identification information of the object in continuous images
CN115240056A (zh) 一种基于深度学习的序列图像场景识别方法
CN116883879B (zh) 一种闭环检测的方法、装置及可读存储介质
CN113670310B (zh) 视觉语音导航方法、装置、设备及存储介质
CN117011335B (zh) 一种基于自适应双解码器的多目标跟踪方法及系统
KR101918820B1 (ko) 장면 인식을 이용한 무인 비행체 회귀 제어 방법
Dogruer et al. Novel solutions for Global Urban Localization
Anjitha et al. Road segmentation from satellite images using FCNN for autonomous driving vehicles
KR20240063573A (ko) 경로 예측모델 학습 장치 및 그 방법
KR20220077439A (ko) 객체 검색 모델 및 그 학습 방법
Tan Technical Report of Civil Drone for the IARC 2019

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant