CN105554441B - 用于配准图像的设备和方法 - Google Patents
用于配准图像的设备和方法 Download PDFInfo
- Publication number
- CN105554441B CN105554441B CN201510696860.8A CN201510696860A CN105554441B CN 105554441 B CN105554441 B CN 105554441B CN 201510696860 A CN201510696860 A CN 201510696860A CN 105554441 B CN105554441 B CN 105554441B
- Authority
- CN
- China
- Prior art keywords
- image
- transformation model
- changing
- transformation
- registrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009466 transformation Effects 0.000 claims abstract description 173
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000000205 computational method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Abstract
提供一种用于配准图像的设备和方法。所述设备包括被配置为实现以下项的至少一个处理器：第一变换模型估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；第二变换模型估计器，被配置为基于第一图像的第一部分图像与第二图像的第二部分图像之间的相应的特征点来生成第二变换模型，其中，第二部分图像基于第一部分图像被生成；以及配准器，被配置为通过使用第一变换模型和第二变换模型变换第一部分图像来配准第一图像和第二图像。
Description
本申请要求于2014年10月23提交到韩国知识产权局的第10-2014-0144291号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的方法和设备涉及一种用于配准(registering)图像的设备和方法。
背景技术
在图像处理的技术应用(诸如，监控系统和医学摄影)中，已经对使用两个或多个传感器的互补信息融合技术进行了大量的研究以提高变化检测、运动检测、高分辨率图像恢复、目标识别和跟踪等算法的准确性和可靠性。
发明内容
一个或多个示例性实施例涉及一种用于在没有位于不同距离处的对象之间的视差(parallax errors)的情况下配准图像的设备和方法。
本发明构思的各个方面将在下面的描述中部分阐述，部分从该描述将是清楚的，或者可以通过呈现的实施例的实践而获知。
根据示例性实施例的一个方面，提供一种用于配准图像的设备，所述设备包括：第一变换模型估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；第二变换模型估计器，被配置为基于第一图像的第一部分图像与第二图像的第二部分图像之间的相应的特征点来生成第二变换模型，第二部分图像基于第一部分图像被生成；以及配准器，被配置为通过使用第一变换模型和第二变换模型变换第一部分图像来配准第一图像和第二图像。
第二变换模型估计器可包括：第一部分图像生成器，被配置为生成第一部分图像，第一部分图像是包括从第一图像检测到的对象的第一图像的分割；第二部分图像生成器，被配置为从第二图像生成第二部分图像，第二部分图像是与通过使用第一变换模型变换第一部分图像所获得的第一变换图像相应的第二图像的分割；以及估计器，被配置为基于第一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
第一部分图像和第二部分图像可包括对象的区域以及根据预定因素大于对象的区域的周围区域。
第一部分图像生成器还可被配置为基于在分割中包括的对象是否满足预设条件来确定分割。
所述预设条件可指示对象温度和对象运动中的至少一个。
配准器还可被配置为：使用第一变换模型将第一部分图像变换为第一变换图像，使用第二变换模型将第一变换图像变换为第二变换图像，并且配准第二变换图像和第二图像。
第一图像可以是热图像，并且第二图像可以是可见光图像。
根据示例性实施例的另一方面，提供一种用于配准图像的设备，所述设备包括：第一估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；部分图像生成器，被配置为通过从使用第一变换模型变换第一图像所获得的初步变换图像提取包括对象的图像来生成第一部分图像，并且通过从第二图像提取与第一部分图像相应的图像来生成第二部分图像；第二估计器，被配置为基于第一部分图像与第二部分图像之间的相应的特征点来生成第二变换模型；以及配准器，被配置为通过使用第二变换模型变换第一部分图像来配准第一图像和第二图像。
第一部分图像和第二部分图像可包括对象的区域以及根据预定因素大于对象的区域的周围区域。
配准器还可被配置为：使用第一变换模型将第一图像变换为初步变换图像，使用第二变换模型将第一部分图像变换为最终变换图像，并且配准最终变换图像和第二图像。
第一图像可以是热图像，并且第二图像可以是可见光图像。
根据示例性实施例的另一方面，提供一种配准图像的方法，所述方法包括：基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；基于第一图像的第一部分图像与第二图像的第二部分图像之间的相应的特征点来生成第二变换模型，第二部分图像基于第一部分图像被生成；以及通过使用第一变换模型和第二变换模型变换第一部分图像来配准第一图像和第二图像。
估计第二变换模型的步骤可包括：生成第一部分图像，第一部分图像是包括从第一图像检测到的对象的第一图像的分割；从第二图像生成第二部分图像，第二部分图像是与通过使用第一变换模型变换第一部分图像所获得的第一变换图像相应的第二图像的分割；以及基于第一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
第一部分图像和第二部分图像可包括对象的区域以及根据预定因素大于对象的区域的周围区域。
配准第一图像和第二图像的步骤可包括：使用第一变换模型将第一部分图像变换为第一变换图像；使用第二变换模型将第一变换图像变换为第二变换图像；以及配准第二变换图像和第二图像。
第一图像可以是热图像，并且第二图像可以是可见光图像。
根据示例性实施例的另一方面，提供一种配准图像的方法，所述方法包括：基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；通过从使用第一变换模型变换第一图像所获得的初步变换图像提取包括对象的图像来生成第一部分图像，并且通过从第二图像提取与第一部分图像相应的图像来生成第二部分图像；基于第一部分图像与第二部分图像之间的相应的特征点来生成第二变换模型；以及通过使用第二变换模型变换第一部分图像来配准第一图像和第二图像。
第一部分图像和第二部分图像可包括对象的区域以及根据预定因素大于对象的区域的周围区域。
配准第一图像和第二图像的步骤可包括：使用第一变换模型将第一图像变换为初步变换图像；使用第二变换模型将第一部分图像变换为最终变换图像；以及配准最终变换图像和第二图像。
第一图像可以是热图像，并且第二图像可以是可见光图像。
附图说明
从以下结合附图对实施例进行的描述，这些和/或其他方面将变得清楚和更容易理解，其中：
图1是示出根据示例性实施例的用于执行图像配准方法的相机系统的示图；
图2是示出根据示例性实施例的控制装置的配置的框图；
图3是示出根据示例性实施例的第二变换模型估计器的框图；
图4是示出根据示例性实施例的配准器的框图；
图5是示出根据示例性实施例的配准图像的方法的流程图；
图6是示出根据示例性实施例的估计第一变换模型的方法的流程图；
图7是示出根据示例性实施例的估计第二变换模型的方法的流程图；
图8是示出根据示例性实施例的使用多个变换模型配准图像的方法的流程图；
图9至图12是根据示例性实施例的用于示出改善的图像配准(registration)的结果的图像；
图13是示出根据另一示例性实施例的配准图像的方法的流程图。
具体实施方式
现在，将详细描述示例性实施例，示例性实施例的示例在附图中示出，其中，相同的参考标号始终表示相同的元件。就这一点而言，示例性实施例可具有不同的形式，并且不应该被解释为受限于这里所阐述的描述。以下通过参照附图描述示例性实施例。如这里所使用的，术语“和/或”包括一个或多个相关所列项的任意和所有组合。当诸如“...中的至少一个”的表述在一列元素之后时，该表述修饰整列元素，而不是修饰列的单个元素。
为了清楚理解本发明构思而提供以下描述和附图，然而，本领域普通技术人员能够容易想到的配置可不被描述。
此外，提供以下的示例性实施例和附图仅为了解释的目的，并且不意在限制本发明构思的范围。本发明构思的范围和精神应该通过所附的权利要求被限定。这里所使用的术语应该被解释为具有符合本发明构思的含义和概念，使得本发明构思能够被正确地解释。
将理解，尽管在这里使用术语“第一”和“第二”来描述各种元件，但是这些元件不应被这些术语所限制。这些术语仅被用于区分一个元件与另一元件。
本公开的发明构思可被实现为功能块以及各种处理操作。功能块可使用执行特定功能的多种硬件和/或软件配置被实施。例如，本公开的示例性实施例可采用能够通过微处理器或其他控制装置的控制执行多种功能的集成电路结构(诸如，存储器、处理单元、逻辑单元、查找表等)。以与能够使用软件编程或软件元件执行示例性实施例的元件的方式相似的方式，示例性实施例可使用包括通过数据结构、处理、进程、例行程序或其他编程配置的组合所实施的各种算法的脚本语言或编程语言(诸如，C、C++、Java、汇编语言等)而被实施。功能的各个方面可通过在一个或多个处理器中执行的算法来实施。此外，示例性实施例可采用现有技术以建立电子环境、处理信号和/或处理数据。诸如“机制”、“元件”、“装置”和“配置”的术语可被广泛地使用并且不限于机械和物理配置。这样的术语可具有与处理器等关联的一系列软件例程的含义。
现在，将参照附图描述示例性实施例。
图1是示出根据示例性实施例的用于执行图像配准方法的相机系统的示图。
参照图1，相机系统可包括第一图像传感器101和第二图像传感器102。第一图像传感器101和第二图像传感器102可以是具有不同特性的相机，并且被配置为通过拍摄相同场景来提供图像信息。第一图像传感器101和第二图像传感器102可均具有平移/倾斜/变焦(PTZ)功能，并且可在平移和倾斜的同时以不同的变焦倍率拍摄相同对象的图像。例如，第一图像传感器101和第二图像传感器102可被安装在出于进入控制或犯罪预防的目的而要求安全性的办公室、住宅、医院、银行或公共建筑物的外部或内部的墙上。第一图像传感器101和第二图像传感器102可根据其安装场所或者目的而具有各种形状，例如，线性形状或圆顶形状。
第一图像传感器101可以是热成像相机。第一图像传感器101可根据对象的温度分布来拍摄对象(被摄体)的热图像，并且可输出热图像作为第一图像I1。第二图像传感器102可以是可见光相机。第二图像传感器102可拍摄对象的可见光图像，并且可输出可见光图像作为第二图像I2。
控制装置103，即，配准装置，可配准并融合从第一图像传感器101输出的第一图像I1和从第二图像传感器102输出的第二图像I2。术语“配准”表示：匹配两个或更多个图像的位置信息，以在单个坐标系中布置图像。术语“融合”表示：调整通过配准原始图像所获得的图像的原始图像的灰度级。现在，将描述使用控制装置103的配准方法。
控制装置103将通过配准并融合第一图像I1和第二图像I2所获得的图像Imix提供给显示装置104或客户端。此外，控制装置103可将第一图像I1、第二图像I2或图像Imix存储在存储器(例如，内存)中。
图2是示出根据示例性实施例的控制装置103的配置的框图。
参照图2，控制装置103可包括第一变换模型估计器201、第二变换模型估计器203和配准器205。
变换模型H是指示两个图像之间的地理变换关系的矩阵。变换模型H是诸如公式1的3×3的2维(2D)单应性矩阵，公式1表示在3维(3D)空间中存在的两个2D图像之间的变换关系。
变换模型H的元素h11至h33包括：指示旋转角度的旋转信息，指示在x轴、y轴和z轴上的运动量的平移信息，以及指示在x轴、y轴和z轴上的缩放程度的缩放信息。
第一变换模型估计器201可基于关于从使用第一图像传感器101拍摄的第一图像I1提取的特征点以及从使用第二图像传感器102拍摄的第二图像I2提取的特征点的信息来估计第一变换模型H1。第一变换模型H1可以是基于第一图像I1和第二图像I2估计的全局变换模型。第一变换模型H1可使用位于参考距离处的参考对象被预先估计，或者可从实时拍摄的每个图像帧被估计或者周期地从实时拍摄的图像帧被估计。
第一变换模型估计器201从第一图像I1和第二图像I2中的每个检测特征点。第一变换模型估计器201可使用用于从图像提取特征点的算法从第一图像I1和第二图像I2中的每个提取特征点(诸如，角点、边缘、轮廓或相交线)。例如，可使用尺度不变特征变换(SIFT)算法、哈里斯(Harris)角点算法或最小核值相似区(SUSAN)算法。本公开的示例性实施例不受限于特定的特征点提取算法。也就是说，各种特征点提取算法可被用于本公开的示例性实施例中。
第一变换模型估计器201可选择第一图像I1与第二图像I2之间的相应的特征点。例如，第一变换模型估计器201可将第一图像I1和第二图像I2中的一个确定为参考图像，并且可选择与参考图像的特征点相应的另一图像的特征点。
第一变换模型估计器201可基于选择的特征点来估计第一变换模型H1。第一变换模型估计器201可通过与线性代数计算方法(诸如，奇异值分解方法或最小平方误差方法)结合地使用采样方法(诸如，随机采样一致性(RANSAC)算法)来估计诸如以上说明的公式1的第一变换模型H1。这里所使用的采样方法或线性代数计算方法不限于特定的一种，并且在其他示例性实施例中，可使用其他的采样方法或线性代数计算方法来估计第一变换模型H1。
第二变换模型估计器203可基于从第一图像I1生成的第一部分图像I1p提取的特征点以及从第二图像I2生成的第二部分图像I2p提取的特征点来估计第二变换模型H2。第二变换模型H2可以是基于第一部分图像I1p和第二部分图像I2p估计的局部变换模型。
图3是示出第二变换模型估计器203的框图。
参照图3，第二变换模型估计器203可包括部分图像生成器213和估计器253。部分图像生成器213可包括第一部分图像生成器223和第二部分图像生成器233。
第一部分图像生成器223可从第一图像I1生成第一部分图像I1p。
第一部分图像生成器223可从第一图像I1确定一个或多个对象，并通过分割第一图像I1来从第一图像I1分离对象。第一部分图像生成器223可使用分割算法从背景(第一图像I1)分离对象。例如，使用第一图像I1的亮度等级的阈值方法、使用对象的轮廓的分割方法或分水岭算法可被使用。将从第一图像分离的对象可基于各种标准被确定。例如，第一部分图像生成器223可通过运动检测方法确定在运动的一个或多个对象。
第一部分图像生成器223可标记从第一图像I1分离的对象。标记的对象可以是包括对象并具有预定的宽度和高度的块图像，或者，标记的对象可以是具有与对象的形状相应的形状的图像。除了对象之外的第一图像I1的其余区域可以是掩模图像。也就是说，对象的所有标记的图像可以是第一部分图像I1p。第一部分图像I1p可包括关于包含对象的图像的信息以及关于对象的中心坐标的信息。第一部分图像I1p可使用关于对象的中心坐标的信息被访问。
可选地，第一部分图像生成器223可基于预定的一个或多个标准在标记的图像中选择第一部分图像I1p。例如，如果一些图像具有等于或大于参考温度的对象温度，如果一些图像具有运动量等于或者大于参考运动量的对象，或者如果一些图像具有等于或大于参考温度变化量的温度变化量，则这些图像可被选择作为第一部分图像I1p。
第一部分图像I1p可包括对象的区域以及在水平方向和垂直方向上根据预定因素大于对象的周围区域。
第二部分图像生成器233可基于第一部分图像I1p从第二图像I2生成第二部分图像I2p。第二部分图像生成器233可将与第一部分图像I1p相应的第二图像I2的区域设置为第二部分图像I2p，并且可从第二图像I2提取设置的第二部分图像I2p。配准器205可将第一变换模型H1应用于第一部分图像I1p以生成第一变换图像I1pt。第二部分图像生成器233可从配准器205接收第一变换图像I1pt。然后，与第一变换图像I1pt相应的第二图像I2的区域以及在水平方向和垂直方向上根据预定因素大于所述区域的周围区域可由第二部分图像生成器233选择为第二部分图像I2p。
估计器253可通过匹配第一变换图像I1pt和第二部分图像I2p的特征点来估计第二变换模型H2。估计器253从第一变换图像I1pt和第二部分图像I2p检测特征点。估计器253可使用诸如SIFT算法、Harris角点算法或SUSAN算法的算法来提取特征点(诸如，角点、边缘、轮廓或者相交线)。本公开的示例性实施例不限于特定的特征提取算法。也就是说，各种特征点提取算法可被用于本公开的示例性实施例中。
估计器253可选择第一变换图像I1pt与第二部分图像I2p之间的相应的特征点。估计器253可将第一变换图像I1pt或第二部分图像I2p中的任何一个设置为参考图像，并且可选择参考图像与另一图像之间的相应的特征点。估计器253可基于选择的相应的特征点来估计第二变换模型H2。估计器253可通过与线性代数计算方法(诸如，奇异值分解方法或最小平方误差方法)结合地使用采样方法(诸如，RANSAC算法)来估计诸如以上说明的公式1的第二变换模型H2。这里所使用的采样方法或线性代数计算方法不限于特定的一种，并且在其他示例性实施例中，其他的采样方法或线性代数计算方法可被用于估计第二变换模型H2。
图4是示出根据示例性实施例的配准器205的框图。
配准器205可使用第一变换模型H1和第二变换模型H2来配准第一部分图像I1p和第二图像I2。参照图4，配准器205可包括第一变换器215和第二变换器235。第一变换器215可通过使用第一变换模型H1从第一部分图像I1p生成第一变换图像I1pt。第二变换器235可通过使用第二变换模型H2从第一变换图像I1pt生成第二变换图像I1ptt。然后，配准器205可配准第二变换图像I1ptt和第二图像I2。
在一个示例性实施例中，可针对图像的每个对象估计第二变换模型H2，并且图像的对象可被独立地变换，以没有视差(parallax error)地配准对象。
图5是示出根据示例性实施例的配准图像的方法的流程图。这里，将不重复和以上参照图1至图4所给出的描述相同的描述。
在操作S301中，控制装置103可基于第一图像I1和第二图像I2来估计第一变换模型H1。第一变换模型估计器201可基于关于从使用第一图像传感器101拍摄的第一图像I1和使用第二图像传感器102拍摄的第二图像I2提取的特征点的信息来估计第一变换模型H1。如前面提及的，第一图像I1可以是热图像，并且第二图像I2可以是可见光图像。
在操作S303中，控制装置103可基于从第一图像I1生成的第一部分图像I1p以及从第二图像I2生成的第二部分图像I2p来估计第二变换模型H2。
在操作S305中，控制装置103可配准I1p和I2。具体地，控制装置103可通过多个变换操作(例如，使用第一变换模型H1和第二变换模型H2的两个变换操作)从第一部分图像I1p生成最终的变换图像I1ptt。
图6是示出根据示例性实施例的估计第一变换模型的方法的流程图。
在操作S311中，第一变换模型估计器201获得第一图像I1和第二图像I2。
在操作S331中，第一变换模型估计器201从第一图像I1和第二图像I2检测特征点。
在操作S351中，第一变换模型估计器201可通过匹配第一图像I1的特征点和第二图像I2的特征点来估计诸如以下公式2的第一变换模型H1。
H1＝Transform_Model_Estimation(I1,I2) (2)
再次参照图5，第二变换模型估计器203可基于从自第一图像I1生成的第一部分图像I1p提取的特征点以及从基于第一部分图像I1p自第二图像I2生成的第二部分图像I2p提取的特征点来估计第二变换模型H2(图5的S303)。
图7是示出根据示例性实施例的估计第二变换模型的方法的流程图。
在操作S313中，第二变换模型估计器203可从第一图像I1生成第一部分图像I1p。第二变换模型估计器203可分割第一图像I1以从第一图像I1分离对象。第二变换模型估计器203可标记对象：object_1、object_2、…object_n。以这种方式，第二变换模型估计器203可生成n个第一部分图像I1p，第一部分图像I1p中的每个包括一个对象。n个第一部分图像I1p可包括对象以及在水平方向和垂直方向上根据预定因素大于对象的周围区域。
在操作S333中，第二变换模型估计器203可基于n个第一部分图像I1p从第二图像I2生成第二部分图像I2p。
在操作S353中，第二变换模型估计器203可通过匹配第一变换图像I1pt的特征点和第二部分图像I2p的特征点来估计第二变换模型H2。
图8是示出根据示例性实施例的使用多个变换模型配准图像的方法的流程图。
在操作S315中，首先，配准器205可使用第一变换模型H1变换n个第一部分图像I1p，以生成第一变换图像I1pt。例如，如下面公式3所表示的，首先，配准器205可使用第一变换模型H1变换n个第一部分图像I1p，以生成n个第一变换图像I1pt。
I1pt_object_1＝Transform(I1p_object_1,H1)
I1pt_object_2＝Transform(I1p_object_2,H1)
…
I1pt_object_n＝Transform(I1p_object_n,H1) (3)
如以下公式4所表示的，第二变换模型估计器203可选择分别与n个第一变换图像I1pt的对象相应的第二图像I2的区域，以及在水平方向和垂直方向上根据预定因素大于所述区域的周围区域。然后，第二变换模型估计器203可将所述区域和周围区域设置为第二部分图像I2p。
I2p_1＝Crop(I2,surrounding_area_1)
I2p_2＝Crop(I2,surrounding_area_2)
…
I2p_n＝Crop(I2,surrounding_area_n) (4)
如前面提及的，第二变换模型估计器203可通过匹配第一变换图像I1pt的特征点和第二部分图像I2p的特征点来估计第二变换模型H2(图7的S353)。具体地，第二变换模型估计器203可通过从第一变换图像I1pt和第二部分图像I2p提取特征点并匹配第一变换图像I1pt的特征点和第二部分图像I2p的特征点来估计第二变换模型H2。如以下公式5所表示的，第二变换模型估计器203可通过将n个第一变换图像I1pt的特征点与相应于n个第一变换图像I1pt的n个第二部分图像I2p的特征点进行匹配来估计n个第二变换模型H2。
H2_1＝Transform_Model_Estimation(I2p_1,I1pt_object_1)
H2_2＝Transform_Model_Estimation(I2p_2,I1pt_object_2)
…
H2_n＝Transform_Model_Estimation(I2p_n,I1pt_object_n) (5)
如前面提及的，配准器205可从第一部分图像I1p和第二图像I2配准第二变换图像(图5的S305)。
返回图8，在操作S335中，其次，配准器205可使用第二变换模型H2变换第一变换图像I1pt，以生成第二变换图像I1ptt。如以下公式6所表示的，其次，配准器205可使用n个第二变换模型H2变换n个第一变换图像I1pt以生成n个第二变换图像I1ptt。
I1ptt_object_1＝Tramsform(Tramsform(I1p_object_1,H1),H2_1)
I1ptt_object_2＝Tramsform(Tramsform(I1p_object_2,H1),H2_2)
…
I1ptt_object_n＝Tramsform(Tramsform(I1p_object_n,H1),H2_n) (6)
配准器205可分别配准n个第二变换图像I1ptt以及第二图像I2。
第一图像I1和第二图像I2中的每个是通过将3D空间信息映射到2D图像传感器表面上而获得的图像。因此，如果多个对象位于不同的距离处，则使用全局变换模型的图像配准的精度可根据对象的距离而变化。也就是说，靠近相机的对象比远离相机的对象具有更大的视差(parallax)。
图9是示例性的第一图像I1，图10是示例性的第二图像I2，图11是通过使用全局变换模型配准第一图像I1和第二图像I2，然后融合第一图像I1和第二图像I2所获得的图像。如图11所示，视差程度根据到对象的距离而变化，从而降低配准的精度。
图12是根据示例性实施例的通过针对对象估计局部变换模型并独立地使用局部变换模型配准对象所获得的图像。如图12所示，与图11的图像相比，由对象的不同距离引起的配准误差被大大地降低。
如果从第一图像I1识别的对象具有较高的重要程度和较小的尺寸，则控制装置103可控制第二图像传感器102的变焦功能以进行放大。另一方面，如果从第一图像I1识别的对象具有较高的重要程度和较大的尺寸，则控制装置103可控制第二图像传感器102的变焦功能以进行缩小。控制装置103可使用利用第二图像传感器102拍摄的放大或缩小的图像来监控对象。
图13是示出根据另一示例性实施例的配准图像的方法的流程图。
图13中所示出的示例性实施例与图5中所示出的示例性实施例的不同之处在于，通过使用第一变换模型H1对第一图像I1进行变换来生成初步变换图像，并且针对第二图像I2和初步变换图像的相应区域来估计局部变换模型。
在操作S401中，控制装置103通过使用第一变换模型H1对第一图像I1进行变换来生成初步图像。控制装置103可基于第一图像I1和第二图像I2估计第一变换模型H1作为对第一图像I1的像素位置进行变换的全局变换模型。控制装置103可使用第一变换模型H1从第一图像I1生成初步变换图像。可使用位于参考距离处的参考对象预先地估计第一变换模型H1。可选地，可针对拍摄的对象实时地估计第一变换模型H1。第一图像I1可以是热图像，并且第二图像I2可以是可见光图像。
在操作S402中，控制装置103可设置初步变换图像和第二图像I2中的至少一个重要局部区域。重要局部区域可基于一个或多个预定的标准被确定。例如，具有等于或者大于预定温度的温度的第一图像I1的区域和/或检测到运动的第一图像I1的区域可被确定为重要局部区域。控制装置103可将与第一图像I1的重要局部区域相应的初步变换图像的局部区域设置为初步变换图像的重要局部区域。控制装置103可将与初步变换图像的重要局部区域相应的第二图像I2的局部区域设置为第二图像I2的重要局部区域。
在设置第二图像I2和初步变换图像的重要局部区域之后，在操作S403中，控制装置103可估计用于将第二图像I2和初步变换图像的相应的重要局部区域进行配准的第二变换模型H2。与重要局部区域的数量同样多的第二变换模型H2可被估计。
在操作S404中，控制装置103可通过使用作为局部变换模型的第二变换模型H2对初步变换图像进行变换来生成最终变换图像。控制装置103可使用第二变换模型H2来对初步变换图像的n个重要局部区域的坐标进行变换，并且可通过将n个重要局部区域应用于初步变换图像来生成最终变换图像。
控制装置103可将最终变换图像与第二图像进行配准。
根据以上示例性实施例中的一个或多个，互补图像(诸如，计算机断层扫描(CT)图像、磁共振成像(MRI)图像和正电子发射断层扫描(PET)图像)可被配准以进行精确且准确的诊断。此外，以上示例性实施例中的一个或多个可被应用于在监控和安全应用中所使用的对象识别和跟踪系统，从而通过对使用具有不同工作波长带的装置(诸如，可见光传感器和长波长红外传感器)拍摄的图像进行配准和融合来改善系统的可靠性和精度。此外，以上示例性实施例中的一个或多个可被应用于汽车安全驾驶系统。
如以上所描述的，根据以上示例性实施例中的一个或多个，可通过使用多个变换模型的估计方法在没有因对象的不同距离引起的对象之间的视差的情况下配准多个对象的图像。
根据一个示例性实施例，如图1-4示出的框图所代表的组件、元件、模块或单元中的至少一个可被实现为执行以上描述的各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可使用直接电路结构(例如，存储器、处理、逻辑、查找表等)，所述直接电路结构可通过一个或者多个微处理器或其他控制设备的控制执行各个功能。此外，这些组件、元件或者单元中的至少一个可由包括用于执行特定逻辑功能的一个或者多个可执行指令的模块、程序或者代码段具体实现并且可由一个或多个微处理器或者其他控制设备来执行。此外，这些组件、元件或者单元中的至少一个还可包括执行各个功能的处理器(例如，中央处理单元(CPU))、微处理器等。这些组件、元件或者单元中的两个或更多个可组合在一个单独的组件、元件或单元中，所述一个单独的组件、元件或单元执行组合的两个或更多个组件、元件或单元的所有操作或者功能。此外，这些组件、元件或单元中的至少一个的至少部分功能可由这些组件、元件或者单元的另一个执行。此外，虽然以上的框图中没有示出总线，但是组件、元件或者单元之间的通信可通过总线来执行。以上示例性实施例的功能性方面可被实现为在一个或多个处理器上执行的算法。此外，框或处理步骤所表示的组件、元件或者单元可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等相关领域的技术。
以上描述的方法或算法的操作或步骤能够被实现为计算机可读记录介质上的计算机可读代码，或者将通过传输介质传输。计算机可读记录介质是可存储其后可由计算机系统读取的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)-ROM、数字通用盘(DVD)、磁带、软盘和光数据存储装置，但不限于此。传输介质可包括通过因特网或者各种类型的通信信道进行传输的载波。计算机可读记录介质还可分布于网络连接的计算机系统中，使得计算机可读代码以分布式方式存储和执行。
应理解，这里描述的示例性实施例应仅被认为是描述性意义，而不是限制的目的。对每个示例性实施例中的特征或方面的描述通常应被认为可用于其他示例性实施例中的其他类似特征或方面。
尽管已经参照附图描述了一个或者多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离权利要求所限定的本发明构思的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
Claims (20)
1.一种用于配准图像的设备，所述设备包括：
第一变换模型估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；
第二变换模型估计器，被配置为基于第一图像的第一部分图像与第二图像的第二部分图像来生成第二变换模型，其中，第二部分图像基于第一部分图像被生成；
配准器，被配置为通过使用第一变换模型和第二变换模型变换第一部分图像来配准第一图像和第二图像，
其中，第二变换模型估计器包括：
第二部分图像生成器，被配置为从第二图像生成第二部分图像，第二部分图像是与通过使用第一变换模型变换第一部分图像所获得的第一变换图像相应的第二图像的分割；
估计器，被配置为基于第一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
2.如权利要求1所述的设备，其中，第二变换模型估计器包括：
第一部分图像生成器，被配置为生成第一部分图像，第一部分图像是包括从第一图像检测到的对象的第一图像的分割。
3.如权利要求2所述的设备，其中，第一部分图像和第二部分图像包括对象的区域以及根据预定因素大于对象的区域的周围区域。
4.如权利要求2所述的设备，其中，第一部分图像生成器还被配置为基于在分割中包括的对象是否满足预设条件来确定分割。
5.如权利要求4所述的设备，其中，所述预设条件指示对象温度和对象运动中的至少一个。
6.如权利要求1所述的设备，其中，配准器还被配置为：使用第一变换模型将第一部分图像变换为第一变换图像，使用第二变换模型将第一变换图像变换为第二变换图像，并且配准第二变换图像和第二图像。
7.如权利要求1所述的设备，其中，第一图像是热图像，并且第二图像是可见光图像。
8.一种用于配准图像的设备，所述设备包括：
第一估计器，被配置为基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；
部分图像生成器，被配置为通过从使用第一变换模型变换第一图像所获得的初步变换图像提取包括对象的图像来生成第一部分图像，并且通过从第二图像提取与第一部分图像相应的图像来生成第二部分图像；
第二估计器，被配置为基于第一部分图像与第二部分图像之间的相应的特征点来生成第二变换模型；
配准器，被配置为通过使用第二变换模型变换第一部分图像来配准第一图像和第二图像。
9.如权利要求8所述的设备，其中，第一部分图像和第二部分图像包括对象的区域以及根据预定因素大于对象的区域的周围区域。
10.如权利要求8所述的设备，配准器还被配置为：使用第一变换模型将第一图像变换为初步变换图像，使用第二变换模型将初步变换图像变换为最终变换图像，并且配准最终变换图像和第二图像。
11.如权利要求8所述的设备，其中，第一图像是热图像，并且第二图像是可见光图像。
12.一种配准图像的方法，所述方法包括：
由至少一个处理器基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；
由处理器基于第一图像的第一部分图像与第二图像的第二部分图像来生成第二变换模型，其中，第二部分图像基于第一部分图像被生成；
由处理器通过使用第一变换模型和第二变换模型变换第一部分图像来配准第一图像和第二图像，
其中，生成第二变换模型的步骤包括：
从第二图像生成第二部分图像，第二部分图像是与通过使用第一变换模型变换第一部分图像所获得的第一变换图像相应的第二图像的分割；
基于第一变换图像与第二部分图像之间的相应的特征点来生成第二变换模型。
13.如权利要求12所述的方法，其中，生成第二变换模型的步骤包括：
生成第一部分图像，第一部分图像是包括从第一图像检测到的对象的第一图像的分割。
14.如权利要求13所述的方法，其中，第一部分图像和第二部分图像包括对象的区域以及根据预定因素大于对象的区域的周围区域。
15.如权利要求12所述的方法，其中，配准第一图像和第二图像的步骤包括：
使用第一变换模型将第一部分图像变换为第一变换图像；
使用第二变换模型将第一变换图像变换为第二变换图像；
配准第二变换图像和第二图像。
16.如权利要求12所述的方法，其中，第一图像是热图像，并且第二图像是可见光图像。
17.一种配准图像的方法，所述方法包括：
由至少一个处理器基于第一图像与第二图像之间的相应的特征点来生成第一变换模型；
由处理器通过从使用第一变换模型变换第一图像所获得的初步变换图像提取包括对象的图像来生成第一部分图像，并且通过从第二图像提取与第一部分图像相应的图像来生成第二部分图像；
由处理器基于第一部分图像与第二部分图像之间的相应的特征点来生成第二变换模型；
由处理器通过使用第二变换模型变换第一部分图像来配准第一图像和第二图像。
18.如权利要求17所述的方法，其中，第一部分图像和第二部分图像包括对象的区域以及根据预定因素大于对象的区域的周围区域。
19.如权利要求17所述的方法，其中，配准第一图像和第二图像的步骤包括：
使用第一变换模型将第一图像变换为初步变换图像；
使用第二变换模型将初步变换图像变换为最终变换图像；
配准最终变换图像和第二图像。
20.如权利要求17所述的方法，其中，第一图像是热图像，并且第二图像是可见光图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140144291A KR101932547B1 (ko) | 2014-10-23 | 2014-10-23 | 카메라 시스템 및 이의 영상 정합 방법 |
| KR10-2014-0144291 | 2014-10-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105554441A CN105554441A (zh) | 2016-05-04 |
| CN105554441B true CN105554441B (zh) | 2019-11-19 |
Family
ID=55792370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510696860.8A Active CN105554441B (zh) | 2014-10-23 | 2015-10-23 | 用于配准图像的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9934585B2 (zh) |
| KR (1) | KR101932547B1 (zh) |
| CN (1) | CN105554441B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11240403B2 (en) * | 2017-02-24 | 2022-02-01 | Avigilon Corporation | Compensation for delay in PTZ camera system |
| WO2019087404A1 (ja) * | 2017-11-06 | 2019-05-09 | 富士通株式会社 | 算出方法、算出プログラムおよび情報処理装置 |
| CN109389630B (zh) * | 2018-09-30 | 2020-10-23 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| JP7218215B2 (ja) * | 2019-03-07 | 2023-02-06 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
| CN110533006B (zh) * | 2019-09-11 | 2022-03-25 | 北京小米智能科技有限公司 | 一种目标跟踪方法、装置及介质 |
| CN112150564A (zh) * | 2020-08-21 | 2020-12-29 | 哈尔滨理工大学 | 基于深度卷积神经网络医学图像融合算法 |
| CN112200002B (zh) * | 2020-09-11 | 2023-12-01 | 深圳市优必选科技股份有限公司 | 一种体温测量方法、装置、终端设备及存储介质 |
| WO2022198526A1 (en) * | 2021-03-24 | 2022-09-29 | Nec Corporation | Methods, devices and computer readable media for image processing |
| US11561678B1 (en) * | 2021-10-28 | 2023-01-24 | Micro Focus Llc | Automatic zoom on device screen to improve artificial intelligence identification rate |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923709A (zh) * | 2009-06-16 | 2010-12-22 | 日电（中国）有限公司 | 图像拼接方法与设备 |
| CN102428707A (zh) * | 2010-03-19 | 2012-04-25 | 松下电器产业株式会社 | 立体视用图像对位装置，立体视用图像对位方法及其程序 |
| CN103188442A (zh) * | 2011-12-29 | 2013-07-03 | 三星泰科威株式会社 | 用于图像稳定的系统和方法及使用该方法的变焦相机 |
| CN103473565A (zh) * | 2013-08-23 | 2013-12-25 | 华为技术有限公司 | 一种图像匹配方法和装置 |
| KR20140015892A (ko) * | 2012-07-26 | 2014-02-07 | 삼성테크윈 주식회사 | 영상 정합 장치 및 방법 |
| KR20140017222A (ko) * | 2012-07-31 | 2014-02-11 | 주식회사 제론헬스케어 | 감시시스템의 영상 융합을 통한 객체 감시 방법 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3599639B2 (ja) | 2000-05-26 | 2004-12-08 | 松下電器産業株式会社 | 画像処理装置 |
| KR20050063991A (ko) | 2003-12-23 | 2005-06-29 | 한국전자통신연구원 | 영상 피라미드를 이용한 영상정합 처리방법 및 장치 |
| JP4464360B2 (ja) | 2006-03-27 | 2010-05-19 | 富士フイルム株式会社 | 監視装置、監視方法、及びプログラム |
| KR100986809B1 (ko) | 2008-07-17 | 2010-10-08 | 인하대학교 산학협력단 | 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법 |
| KR100945307B1 (ko) | 2008-08-04 | 2010-03-03 | 에이알비전 (주) | 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치 |
| US8452081B2 (en) * | 2011-01-11 | 2013-05-28 | Eastman Kodak Company | Forming 3D models using multiple images |
| US8447099B2 (en) * | 2011-01-11 | 2013-05-21 | Eastman Kodak Company | Forming 3D models using two images |
| KR101299237B1 (ko) * | 2011-11-23 | 2013-08-22 | 서울대학교산학협력단 | 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 |
| JP6071257B2 (ja) * | 2012-06-07 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
| KR102144394B1 (ko) * | 2013-08-20 | 2020-08-13 | 한화테크윈 주식회사 | 영상 정합 장치 및 이를 이용한 영상 정합 방법 |
| US9400939B2 (en) * | 2014-04-13 | 2016-07-26 | International Business Machines Corporation | System and method for relating corresponding points in images with different viewing angles |
| US10313656B2 (en) * | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
| KR102149276B1 (ko) * | 2014-10-23 | 2020-08-28 | 한화테크윈 주식회사 | 영상 정합 방법 |
| KR102225617B1 (ko) * | 2014-11-03 | 2021-03-12 | 한화테크윈 주식회사 | 영상 정합 알고리즘을 설정하는 방법 |
| US10129490B2 (en) * | 2015-04-05 | 2018-11-13 | Hema Imaging Llc | Systems and approaches for thermal image corrections |
-
2014
- 2014-10-23 KR KR1020140144291A patent/KR101932547B1/ko active IP Right Grant
-
2015
- 2015-10-01 US US14/872,642 patent/US9934585B2/en active Active
- 2015-10-23 CN CN201510696860.8A patent/CN105554441B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923709A (zh) * | 2009-06-16 | 2010-12-22 | 日电（中国）有限公司 | 图像拼接方法与设备 |
| CN102428707A (zh) * | 2010-03-19 | 2012-04-25 | 松下电器产业株式会社 | 立体视用图像对位装置，立体视用图像对位方法及其程序 |
| CN103188442A (zh) * | 2011-12-29 | 2013-07-03 | 三星泰科威株式会社 | 用于图像稳定的系统和方法及使用该方法的变焦相机 |
| KR20140015892A (ko) * | 2012-07-26 | 2014-02-07 | 삼성테크윈 주식회사 | 영상 정합 장치 및 방법 |
| KR20140017222A (ko) * | 2012-07-31 | 2014-02-11 | 주식회사 제론헬스케어 | 감시시스템의 영상 융합을 통한 객체 감시 방법 |
| CN103473565A (zh) * | 2013-08-23 | 2013-12-25 | 华为技术有限公司 | 一种图像匹配方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105554441A (zh) | 2016-05-04 |
| US9934585B2 (en) | 2018-04-03 |
| US20160117821A1 (en) | 2016-04-28 |
| KR20160047847A (ko) | 2016-05-03 |
| KR101932547B1 (ko) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105554441B (zh) | 用于配准图像的设备和方法 | |
| US9165190B2 (en) | 3D human pose and shape modeling | |
| US20190188533A1 (en) | Pose estimation | |
| CN105531995B (zh) | 用于使用多个摄像机进行对象和事件识别的系统和方法 | |
| CN105574847B (zh) | 相机系统及其图像配准方法 | |
| JP2019194616A (ja) | 画像に基づく位置検出方法、装置、機器及び記憶媒体 | |
| Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
| JP2008506953A5 (zh) | ||
| CN104966062B (zh) | 视频监视方法和装置 | |
| JP2023015989A (ja) | 物品識別および追跡システム | |
| CN107368790B (zh) | 行人检测方法、系统、计算机可读存储介质及电子设备 | |
| JP5027758B2 (ja) | 画像監視装置 | |
| Angladon et al. | The toulouse vanishing points dataset | |
| Zingoni et al. | Real-time 3D reconstruction from images taken from an UAV | |
| Chen et al. | On registration of regions of interest (ROI) in video sequences | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| JP6409769B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| JP4914870B2 (ja) | 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体 | |
| Knyaz et al. | Robust object tracking techniques for vision-based 3D motion analysis applications | |
| Pollok et al. | A visual SLAM-based approach for calibration of distributed camera networks | |
| Lee et al. | Extrinsic camera calibration from a moving person | |
| Neves et al. | A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology | |
| Scoleri et al. | View-independent prediction of body dimensions in crowded environments | |
| JP2005031044A (ja) | 三次元誤差測定装置 | |
| KR102050418B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171106 Address after: Gyeongnam Changwon City, South Korea Applicant after: Hanwha Techwin Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: HANWHA TECHWIN Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: Gyeongnam Changwon City, South Korea Applicant after: HANWHA AEROSPACE Co.,Ltd. Applicant after: HANWHA LAND SYSTEMS Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: Hanwha Techwin Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190328 Address after: Gyeonggi Do city of South Korea Applicant after: HANWHA TECHWIN Co.,Ltd. Applicant after: HANWHA LAND SYSTEMS Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: HANWHA AEROSPACE Co.,Ltd. Applicant before: HANWHA LAND SYSTEMS Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221228 Address after: Gyeonggi Do city of South Korea Patentee after: HANWHA TECHWIN Co.,Ltd. Patentee after: HANWHA AEROSPACE Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. Patentee before: HANWHA LAND SYSTEMS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do city of South Korea Patentee after: Hanhua Vision Co.,Ltd. Patentee after: HANWHA AEROSPACE Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. Patentee before: HANWHA AEROSPACE Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |