CN103679696B - 基于图像金字塔的自适应图像处理设备和方法 - Google Patents

基于图像金字塔的自适应图像处理设备和方法 Download PDF

Info

Publication number
CN103679696B
CN103679696B CN201310390518.6A CN201310390518A CN103679696B CN 103679696 B CN103679696 B CN 103679696B CN 201310390518 A CN201310390518 A CN 201310390518A CN 103679696 B CN103679696 B CN 103679696B
Authority
CN
China
Prior art keywords
scale level
image
scale
matching
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310390518.6A
Other languages
English (en)
Other versions
CN103679696A (zh
Inventor
全材烈
李活石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN103679696A publication Critical patent/CN103679696A/zh
Application granted granted Critical
Publication of CN103679696B publication Critical patent/CN103679696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种基于图像金字塔的自适应图像处理设备和方法。一种自适应图像处理设备包括：第一匹配单元，从包括在图像金字塔中的多个图像中选择代表候选图像，并计算所述代表候选图像中的每个代表候选图像和目标模型之间的第一匹配分数；第二匹配单元，基于第一匹配分数从代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像和目标模型之间的第二匹配分数；代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。

Description

基于图像金字塔的自适应图像处理设备和方法
本申请要求于2012年8月30提交到韩国知识产权局的第10-2012-0095960号韩国专利申请的优先权，其中，所述申请的公开通过引用整体合并于此。
技术领域
与本构思的示例性实施例一致的方法和设备涉及图像金字塔中的自适应图像处理，更具体地说，涉及以下自适应图像处理设备和方法：根据图像金字塔（在图像金字塔中根据尺度等级对具有不同尺度等级的多个图像进行排列）的尺度等级从图像金字塔稀疏地提取样本，在从提取的样本中选择的尺度等级周围搜索合适的尺度等级，并在所述合适的尺度等级上执行图像处理。
背景技术
从图像（例如，由相机获得的图像）提取特征点的技术被广泛用于包括个人认证、三维（3D）重建和跟踪的计算机视觉领域中。用于从图像提取特征点的算法的代表示例包括以尺度不变方式来检测对象的加速鲁棒特征（SURF）算法和尺度不变特征变换（SIFT）算法。针对这种尺度不变特征，可使用图像金字塔技术。
图像金字塔技术涉及以下处理：把将被匹配的模型和输入图像转换为具有各种尺度的图像，并根据用于提取特征点的算法执行操作或执行其他图像处理。例如，当作为用于以尺度不变方式提取特征点的代表算法的SIFT算法被使用时，图像金字塔技术可使滤波的图像经过具有各种尺度的方差的高斯滤波器以获得结果图像，从而根据相邻尺度对结果图像进行平滑以得到高斯平滑图像，用因素二（2）对高斯平滑图像进行子抽样以获得结果图像，使结果图像重复经过具有各种尺度的方差的高斯滤波器以形成由高斯平滑图像组成的图像金字塔，并对图像金字塔执行关于图像处理的一系列操作。
这种图像金字塔技术具有操作时间太长的缺点。这是因为，在输入图像被调整大小以获得具有各种尺度等级的图像之后，从每个图像的整个区域检测特征点或需要重复执行其他图像处理。由于在具有各种尺度等级的图像上检测特征点并且重复执行关于图像处理的操作，因此操作时间增加并且误判率增加。
发明内容
一个或多个示例性实施例提供一种用于图像金字塔的自适应图像处理设备和方法，其中，通过选择将自适应执行图像处理的图像的尺度等级，而无需对具有包括在图像金字塔中的各种尺度等级的所有图像执行图像处理的情况下，所述设备和方法可提高运算速度并降低误判率。
将由本发明构思解决的技术问题不限于上述技术问题，并且本领域的普通技术人员将从以下描述理解其他技术问题。
根据示例性实施例的一方面，提供一种自适应图像处理设备，包括：第一匹配单元，从包括在图像金字塔中的多个图像中选择多个代表候选图像，并计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数；第二匹配单元，基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数；代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。
根据另一示例性实施例的一方面，提供一种自适应图像处理方法，包括：从包括在图像金字塔中并具有不同尺度等级的多个图像中选择多个代表候选图像；计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数；基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级；计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数；基于第二匹配分数选择包括在密集尺度等级范围中的至少一个作为代表尺度等级；基于具有代表尺度等级的图像来执行图像处理。
附图说明
通过参照附图详细描述本发声明构思的示例性实施例，本发明构思的以上和其他方面将变得更清楚，其中：
图1是示出根据示例性实施例的用于图像金字塔的自适应图像处理设备的框图；
图2是示出根据示例性实施例的用于图像金字塔的自适应图像处理方法的流程图；
图3A和图3B是根据示例性实施例的用于解释从图像金字塔选择将被执行操作的图像的尺度等级的处理的示图；
图4A是根据示例性实施例的用于解释将具有图像金字塔的各种尺度等级的图像中的每个与人体模型进行匹配的测试的视图；
图4B是示出根据示例性实施例的图4A的测试的结果的曲线图。
具体实施方式
如本文中使用的，术语“和/或”包括相关列出项中的一个或多个的任意和全部组合。诸如“…中的至少一个”的表示在位于一列元素之后时修饰整列元素，而不修饰列表中的单个元素。
以下仅示出本发明构思的原理。因此将理解，虽然在此没有明确地描述或示出，但是本领域的普通技术人员将能够设计出实现本发明构思的原理并被包括在本发明构思的精神和范围内的各种配置。另外，在此阐述的所有示例和条件语言主要旨在明确地仅用于教导目的并帮助读者理解由发明人提供的本发明构思的原理来推动本领域，并将被解释为不限于这些具体阐述的示例和条件。另外，在此叙述本发明构思的原理、方面和示例性实施例的所有陈述以及本发明构思的特定示例旨在包含其结构性和功能性等价物两者。另外，其目的是，这些等价物包括当前已知的等价物和将来研发的等级物两者，即，研发的执行相同功能而不考虑结构的任何元件。
包括指示为处理器或指示为类似于处理器的概念的功能块的附图中所示出的各种装置的功能不仅可用专用硬件来提供，而且可用能执行相关软件的通用硬件来提供。当这些功能由处理器提供时，所述功能可由单个专用处理器、单个可共享处理器或能够在其间进行共享的多个处理器来提供。此外，术语（诸如处理器、控制器等）的使用不应被解释为受限于能够执行软件的硬件，而应该被解释为直接包括数字信号处理器（DSP）硬件、只读存储器（ROM）、随机存取存储器（RAM）和用于存储软件的非易失性存储器。其他已知相关技术的硬件可被包括。
以下，当与示例性实施例相关的公知技术或结构会不必要地使本发明构思不清楚时，将省略详细描述。
还应理解，术语“包括”和/或“包含”在本文中使用时说明所述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合的存在和添加。
现在将参照示出本发明构思的示例性实施例的附图更加全面地描述本发明构思。
图1是示出根据示例性实施例的用于图像金字塔的自适应图像处理设备100的框图。
参照图1，自适应图像处理设备100包括图像输入单元110、第一匹配单元120、第二匹配单元130、代表尺度等级选择单元140和图像处理单元150。
图像输入单元110接收包括具有不同尺度等级的多个图像的图像金字塔，以根据具有尺度不变特性算法进行图像处理。这里，所述多个图像可以是以不同尺度等级捕获的相同场景的图像。
可将根据尺度等级排列具有不同尺度等级的多个图像的图像金字塔输入到图像输入单元110。
第一匹配单元120从输入到图像输入单元110的图像金字塔稀疏地选择多个代表候选图像，并将选择的每个代表候选图像与目标模型匹配。
当代表候选图像被稀疏地选择时，这意味着图像以图像金字塔的排列顺序按相同间隔被隔开选择。例如，当不同尺度等级的45幅图像在图像金字塔中根据尺度等级被排列时，从所述45幅图像中选择四（4）幅图像，也就是，第10、第20、第30和第40幅图像。换句话说，可通过使用统计样本提取方法中的系统抽样方法来选择代表候选图像。
第一匹配单元120通过将选择的代表候选图像与目标模型进行匹配，来计算代表候选图像中的每个候选图像和目标模型之间的匹配分数。在此情况下，用于计算匹配分数的算法的代表示例可包括但不限于卷积算法和基于相关系数的算法。
第二匹配单元130基于针对代表候选图像计算的匹配分数从代表候选图像中选择一个尺度等级。在此情况下，可从代表候选图像中选择具有最高匹配分数的代表候选图像的尺度等级是优选的，但不是必需的。
在基于一个尺度等级的匹配分数选择了该尺度等级之后，第二匹配单元130通过对包括在密集尺度等级范围中的尺度等级的每个图像与目标模型进行匹配，来计算包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的匹配分数。
密集尺度等级范围以具有不同尺度等级的图像在图像金字塔中根据尺度等级被排列的排列顺序，包括在针对由第二匹配单元130选择的尺度等级的预定范围内所包括的尺度等级。例如，当第二匹配单元130从具有不同尺度等级的45幅图像中选择了第10尺度等级的图像时，密集尺度等级范围可包括从第7尺度等级到第13尺度等级的尺度等级。这里，第7尺度等级和第13尺度等级从第10尺度等级被分别按三（3）个等级隔开。可预先定义密集尺度等级范围的大小。密集尺度等级范围的大小可根据但不限于系统设置、具有被包括在图像金字塔中的不同尺度等级的图像的数量、代表候选图像的数量以及在排列顺序中的代表候选图像之间的间隔而不同。
代表尺度等级选择单元140基于由第二匹配单元130计算的匹配分数，选择在密集尺度等级范围中包括的尺度等级中的至少一个作为代表尺度等级。
在此情况下，作为用于选择代表尺度等级的基准的值可以是随后将执行的图像处理算法的唯一阈值。可选地，可将具有最高匹配分数的尺度等级选为代表尺度等级。
图像处理单元150基于由代表尺度等级选择单元140选择的代表尺度等级的图像来执行图像处理。图像处理的示例可包括：提取特征点以从代表尺度等级的图像提取与目标模型相关的对象（例如，人类、非人类动物或车辆），以及执行其他图像处理。
本实施例的自适应图像处理设备100可被安装在使用图像金字塔技术的任何视频处理系统（诸如被用作在安全、监控以及有关国土安全和反恐系统中使用的闭路电视（CCTV）系统的一部分的或与CCTV系统结合使用的智能视频监控（IVS）系统、处理零售机构中的监控视频以建立用于市场研究目的的商店内人类行为趋势的IVS系统、监视交通情况以检测逆行交通、车辆抛锚、事故和道路阻塞的IVS系统）以及视频压缩系统上。
每个IVS系统是在视频分割步骤之后进一步处理视频以执行对象分类的系统，其中，在对象分类中，前景对象可被分类为总的种类（诸如动物、车辆或其他运动但未分类的对象）或者可被分类为更具体的种类（诸如人类、小型或大型非人类动物、汽车、飞机、船、货车、树、旗或水域）。在每个IVS系统中，一旦这种视频分割和分类发生，就处理检测到的对象以确定它们的位置、运动和行为与用户定义的虚拟视频绊网和感兴趣的虚拟区域（感兴趣的区域可以是整个视场或场景）的关系如何。发生的用户定义的事件随后将被标记为将被传达给值班的安全人员或专业人员的感兴趣的事件。这种事件的示例包括穿过虚拟视频绊网的人类或车辆、闲逛的或进入场景或感兴趣的虚拟区域的人或车辆、或被留下或从虚拟区域或场景带走的对象。本发明构思可与使用包括视频帧的区域的统计特性来将视频帧分割为其组成部分的处理相关。
如此，通过仅对自适应选择的图像执行匹配或图像处理，而没有对包括在图像金字塔中的尺度等级的所有图像执行匹配或图像处理的情况下，安装有本实施例的自适应图像处理设备100的视频处理系统可减少操作时间并减少误判率。
图2是示出根据示例性实施例的用于图像金字塔的自适应图像处理方法的流程图。图2的自适应图像处理方法可由图1的自适应图像处理设备100执行。因此，将不解释与图1的自适应图像处理设备100的元件和操作相同的元件和操作。
首先，在操作S201，选择以图像金字塔的排列顺序按相同抽样间隔隔开的多个代表候选图像，其中，在图像金字塔中，具有不同尺度等级的多个图像根据尺度等级被排列。可通过使用系统抽样方法来选择代表候选图像。
在操作S202，计算在操作S201选择的所述多个代表候选图像中的每个代表候选图像与目标模型之间的匹配分数。
目标模型可以是与将通过图像处理提取的对象相关的模型。一般而言，目标模型是通过统计学习特征信息（诸如将被检测图像的人类、非人类动物或车辆）而形成的模型。可通过在目标模型和每个所述图像之间进行匹配从图像提取与目标模型相关的对象。
在此情况下，用于计算每个代表候选图像与目标模型之间的匹配分数的算法的代表示例可包括但不限于卷积算法和基于相关系数的算法。
在操作S203，基于在操作S202计算的匹配分数，从代表候选图像选择一个尺度等级。优选地，但不必需地，可从代表候选图像选择具有最高匹配分数的代表候选图像的尺度等级。
在操作S204，计算包括在针对在步骤S203中选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的匹配分数。所述密集尺度等级范围可以以排列顺序包括在针对在步骤S203中选择的尺度等级的预定范围中包括的尺度等级，其中，具有不同尺度等级的图像以所述排列顺序在图像金字塔中根据尺度等级被排列。可预先定义密集尺度等级范围的大小，并且可根据但不限于系统设置、具有包括在图像金字塔中的不同尺度等级的图像的数量、代表候选图像的数量以及在排列顺序中的代表候选图像之间的间隔来设置预先定义的范围。
在操作S205，基于在操作S204中计算的匹配分数从包括在密集尺度等级范围内的尺度等级中选择至少一个尺度等级作为代表尺度等级。
在此情况下，可将在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据图像处理算法设置的阈值的匹配分数的尺度等级，或在包括在密集尺度等级范围中的尺度等级中的具有最高匹配分数的尺度等级，选择作为代表尺度等级，并且当存在满足上述条件的多个尺度等级时，可存在多个代表尺度等级。
在操作S206，基于在操作S205中选择的代表尺度等级的图像来执行图像处理。在操作S206，可提取特征点以从代表尺度等级的图像中提取与目标模型相关的对象（例如，人类、非人类动物或车辆），或可执行其他图像处理。
图3A和图3B是根据示例性实施例的用于解释从图像金字塔选择将被执行操作的图像的尺度等级的处理的示图。
参照图3A，输入包括具有不同尺度等级的45幅图像的图像金字塔，并按预定尺度等级间隔稀疏地提取具有1x、2x、3x和4x尺度等级的四幅图像，作为所述45幅图像中的代表候选图像。
对提取的四幅图像执行匹配，发现具有最高匹配分数的图像是具有1x尺度等级的图像，并且从所述四幅图像中选择具有1x尺度等级的图像。
参照图3B，当对在包括在图3A中选择的图像的尺度等级1x周围的从0.7x尺度等级到1.3x尺度等级的尺度等级的密集尺度等级范围中的图像执行匹配时，发现具有最高匹配分数的尺度等级是1.3x尺度等级。通过图3A和图3B的一系列处理而提取的1.3x尺度等级等于将从图像金字塔的图像中检测的图像的大小。
图4A和图4B是根据实施例的用于解释将具有图像金字塔的各种尺度等级的图像中的每个自适应地与人体模型430进行匹配的测试和示出所述测试的结果的视图。
参照图4A，从包括具有不同尺度等级的45幅图像的图像金字塔中以图像金字塔的排列顺序稀疏地提取四幅代表候选图像411、412、413和414，并通过使用卷积算法将代表候选图像411、412、413和414中的每个代表候选图像与人体模型430进行匹配来计算分割匹配分数。
参照图4B，当比较图4A的四幅代表候选图像411、412、413和414的匹配分数时，具有尺度等级11的代表候选图像411具有最高匹配分数。此外，在图4B的曲线图中，在具有尺度等级11的代表候选图像411（在代表候选图像411、412、413和414中具有最高匹配分数）周围的具有尺度等级15的图像在具有图像金字塔的代表候选图像的45幅图像中具有最高匹配值。也就是说，在被稀疏提取的样本中具有最高值的样本周围的局部最大值是全局最大值。具体地讲，如图4B中所示，因为匹配分数与金字塔图像的尺度等级处于线性关系，所以可算术地证明上述结论。
根据图4A和图4B的测试，当通过计算45个尺度等级的匹配分数在选择的尺度等级上执行图像处理时，速度将比使用传统方法的速度高约75%。
根据以上示例性实施例，当根据图像金字塔的尺度等级稀疏地提取样本，搜索关于从提取的样本中选择的尺度等级的具有最高匹配分数的尺度等级，并在该尺度等级上执行图像处理时，可大大减少根据SIFT算法、SURF算法等基于图像金字塔的提取特征点或执行其他图像处理所花费的时间。由于可有效地过滤不需要考虑的尺度等级，因此可增加准确度并可降低误判率。
示例性实施例可被实现为计算机可读记录介质中的计算机可读代码，或实现为通过传输介质传输的计算机可读代码。计算机可读记录介质可以是能够存储由计算机系统读取的数据的任何记录设备。计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读介质可被分布在通过网络互相连接的计算机系统中，并且本发明可被存储和实现为分布式系统中的计算机可读代码。示例性实施例所述技术领域的程序员可容易地获得用于实现示例性实施例的功能程序、代码和代码段。
虽然已参照本发明构思的示例性实施例具体地示出和描述了本发明构思，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在示例性实施例中进行形式和细节上的各种改变。

Claims (18)

1.一种自适应图像处理设备，包括：
第一匹配单元，从包括在图像金字塔中的多个图像中稀疏地选择多个代表候选图像，并计算在所述多个代表候选图像中的每个代表候选图像和目标模型之间的第一匹配分数；
第二匹配单元，基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的第二匹配分数，密集尺度等级范围被确定包括以图像金字塔中的排列顺序在由第二匹配单元选择的尺度等级以上和以下的预先定义的数量的尺度等级；
代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；
图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。
2.如权利要求1所述的设备，其中，第一匹配单元选择以图像金字塔中的排列顺序按相同间隔被隔开的多个代表候选图像。
3.如权利要求1所述的设备，其中，基于具有图像金字塔中的不同尺度等级的多个图像的数量、多个代表候选图像的数量以及以图像金字塔中的排列顺序在所述多个代表候选图像之间的间隔中的至少一个，来确定包括在密集尺度等级范围中的尺度等级。
4.如权利要求1所述的设备，其中，第一匹配单元通过使用统计抽样方法提取代表候选图像作为样本。
5.如权利要求1所述的设备，其中，第二匹配单元从所述多个代表候选图像的尺度等级中选择具有最高匹配分数的代表候选图像的尺度等级。
6.如权利要求1所述的设备，其中，代表尺度等级选择单元选择以下尺度等级作为代表尺度等级：
在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据用于图像处理的算法设置的阈值的第二匹配分数的尺度等级；
在包括在密集尺度等级范围中的尺度等级中的具有最高第二匹配分数的尺度等级。
7.如权利要求1所述的设备，其中，通过使用卷积算法或基于相关系数的算法将所述多个代表候选图像中的每个代表候选图像与目标模型进行匹配来计算第一匹配分数。
8.如权利要求1所述的设备，其中，图像处理单元从代表尺度等级的图像提取与目标模型相关的对象。
9.如权利要求1所述的设备，其中，目标模型是通过统计学习人类、非人类动物和车辆中的至少一个对象的特征信息而形成的模型。
10.一种自适应图像处理方法，包括：
从包括在图像金字塔中并具有不同尺度等级的多个图像中稀疏地选择多个代表候选图像；
计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数；
基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级；
计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数，密集尺度等级范围被确定包括以图像金字塔中的排列顺序在基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级的过程中所选择的尺度等级以上和以下的预先定义的数量的尺度等级；
基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；
基于具有代表尺度等级的图像来执行图像处理。
11.如权利要求10所述的方法，其中，选择以图像金字塔中的排列顺序按相同间隔隔开的多个代表候选图像。
12.如权利要求10所述的方法，其中，基于具有图像金字塔中的不同尺度等级的多个图像的数量、多个代表候选图像的数量以及以图像金字塔中的排列顺序在所述多个代表候选图像之间的间隔中的至少一个，来确定包括在密集尺度等级范围中的尺度等级。
13.如权利要求10所述的方法，其中，所述多个代表候选图像是通过使用统计抽样方法提取的样本。
14.如权利要求10所述的方法，其中，在基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级的过程中所选择的尺度等级是在所述多个代表候选图像的尺度等级中具有最高的第一匹配分数的代表候选图像的尺度等级。
15.如权利要求10所述的方法，其中，所述代表尺度等级是：
在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据用于图像处理算法设置的阈值的第二匹配分数的尺度等级；
在包括在密集尺度等级范围中的尺度等级中的具有最高第二匹配分数的尺度等级。
16.如权利要求10所述的方法，其中，通过使用卷积算法或基于相关系数的算法将所述多个代表候选图像中的每个与目标模型进行匹配来计算第一匹配分数。
17.如权利要求10所述的方法，其中，执行图像处理的步骤包括从代表尺度等级的图像提取与目标模型相关的对象。
18.如权利要求10所述的方法，其中，目标模型是通过统计学习人类、非人类动物和车辆中的至少一个对象的特征信息而形成的模型。
CN201310390518.6A 2012-08-30 2013-08-30 基于图像金字塔的自适应图像处理设备和方法 Active CN103679696B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0095960 2012-08-30
KR1020120095960A KR101747220B1 (ko) 2012-08-30 2012-08-30 이미지 피라미드의 적응적 이미지 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103679696A CN103679696A (zh) 2014-03-26
CN103679696B true CN103679696B (zh) 2018-02-13

Family

ID=50187700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310390518.6A Active CN103679696B (zh) 2012-08-30 2013-08-30 基于图像金字塔的自适应图像处理设备和方法

Country Status (3)

Country Link
US (1) US9189867B2 (zh)
KR (1) KR101747220B1 (zh)
CN (1) CN103679696B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035131A (zh) * 2014-05-23 2014-09-10 中国科学院电子学研究所 一种地壳偏移量估计方法及装置
CN104036477A (zh) * 2014-06-06 2014-09-10 上海大学 基于仿生双眼的大视场图像拼接装置及方法
CN104036480B (zh) * 2014-06-20 2017-03-08 天津大学 基于surf算法的快速消除误匹配点方法
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
CN106960097B (zh) * 2017-03-27 2020-06-16 北京图安世纪科技股份有限公司 一种构建三维城市级路网及微观交通流仿真方法及系统
CN107240130B (zh) * 2017-06-06 2020-12-04 苍穹数码技术股份有限公司 遥感影像配准方法、装置及系统
US10386851B2 (en) * 2017-09-22 2019-08-20 Locus Robotics Corp. Multi-resolution scan matching with exclusion zones
CN107798115A (zh) * 2017-11-03 2018-03-13 深圳天珑无线科技有限公司 移动终端的图像识别搜索方法、系统及移动终端
CN107944455B (zh) * 2017-11-15 2020-06-02 天津大学 一种基于surf的图像匹配方法
CN107845096B (zh) * 2018-01-24 2021-07-27 西安平原网络科技有限公司 基于图像的行星三维信息测定方法
US12288346B2 (en) 2019-01-15 2025-04-29 Portland State University Feature pyramid warping for video frame interpolation
US11397869B2 (en) * 2020-03-04 2022-07-26 Zerofox, Inc. Methods and systems for detecting impersonating social media profiles
KR102215811B1 (ko) * 2020-09-04 2021-02-16 주식회사 랑데뷰 파티클 이미지와 icp매칭을 이용하여 오브젝트 인식속도를 향상시킨 피라미드 이미지 기반의 영상 분석 방법 및 이를 위한 영상 분석 장치
CN112150464B (zh) * 2020-10-23 2024-01-30 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备及存储介质
CN114926659B (zh) * 2022-05-16 2023-08-08 上海贝特威自动化科技有限公司 一种基于sift和cm的变形目标定位算法
KR102712708B1 (ko) * 2023-08-16 2024-10-02 주식회사 딥바이오 고해상도 병리 슬라이드 이미지 피라미드를 압축하는 방법, 압축된 병리 슬라이드 이미지 피라미드를 복원하는 방법, 및 이를 수행하는 컴퓨팅 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024444A2 (en) * 1999-01-28 2000-08-02 Kabushiki Kaisha Toshiba Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
CN101739658A (zh) * 2008-11-06 2010-06-16 索尼株式会社 图像处理装置、图像处理方法及程序
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
CN102592294A (zh) * 2011-01-05 2012-07-18 苏州巴米特信息科技有限公司 基于可控金字塔分解的纹理合成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574771B2 (ja) 1999-01-28 2010-11-04 株式会社東芝 画像情報記述方法
US8126291B2 (en) 2007-07-16 2012-02-28 Ecole Centrale De Paris System and method for dense image registration using Markov Random Fields and efficient linear programming
EP2081133B1 (en) 2008-01-18 2010-05-19 MVTec Software GmbH System and method for deformable object recognition
US8340415B2 (en) 2010-04-05 2012-12-25 Microsoft Corporation Generation of multi-resolution image pyramids

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024444A2 (en) * 1999-01-28 2000-08-02 Kabushiki Kaisha Toshiba Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
CN101739658A (zh) * 2008-11-06 2010-06-16 索尼株式会社 图像处理装置、图像处理方法及程序
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
CN102592294A (zh) * 2011-01-05 2012-07-18 苏州巴米特信息科技有限公司 基于可控金字塔分解的纹理合成方法

Also Published As

Publication number Publication date
US9189867B2 (en) 2015-11-17
CN103679696A (zh) 2014-03-26
US20140064626A1 (en) 2014-03-06
KR20140028809A (ko) 2014-03-10
KR101747220B1 (ko) 2017-06-15

Similar Documents

Publication Publication Date Title
CN103679696B (zh) 基于图像金字塔的自适应图像处理设备和方法
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
CA3077517A1 (en) Method and system for classifying an object-of-interest using an artificial neural network
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN108875456B (zh) 目标检测方法、目标检测装置和计算机可读存储介质
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
CN111401215B (zh) 一种多类别目标检测的方法及系统
CN109934216A (zh) 图像处理的方法、装置、计算机可读存储介质
WO2023159898A1 (zh) 一种动作识别系统、方法、装置及模型训练方法、装置、计算机设备及计算机可读存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
Ma et al. Scene invariant crowd counting using multi‐scales head detection in video surveillance
Michel et al. Class-aware object counting
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
Thi et al. Human action recognition and localization in video using structured learning of local space-time features
CN108780576B (zh) 使用对象边界框的视频片段中的重影去除的系统和方法
Bhattacharya et al. CNN based drone detection in infrared images
Yousif et al. Object detection from dynamic scene using joint background modeling and fast deep learning classification
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
Negri Estimating the queue length at street intersections by using a movement feature space approach
Hogan et al. Firewarn: Fire hazards detection using deep learning models
Mittal et al. A feature pyramid based multi-stage framework for object detection in low-altitude UAV images
US12322123B2 (en) Visual object detection in a sequence of images
Pava et al. Object Detection and Motion Analysis in a Low Resolution 3-D Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190226

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA AEROSPACE Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.