CN101924872B - 用于图像配准的方法和系统 - Google Patents
用于图像配准的方法和系统 Download PDFInfo
- Publication number
- CN101924872B CN101924872B CN201010148952.XA CN201010148952A CN101924872B CN 101924872 B CN101924872 B CN 101924872B CN 201010148952 A CN201010148952 A CN 201010148952A CN 101924872 B CN101924872 B CN 101924872B
- Authority
- CN
- China
- Prior art keywords
- test pattern
- tab assembly
- locating tab
- reduction factor
- benchmark image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及用于图像配准的方法和系统,尤其是,涉及用于计算高效和鲁棒的图像对准的方法和系统。起初,较大的图像特征可被用于近似对准测量。初步测量的结果可被用于缩小随后的对准测量中的结合较高分辨率图像一起使用的搜索范围。被缩小的搜索范围能确保如果使用精细细节图像的所述对准测量失败,则所述测量结果会具备由先前的、基于缩减的图像的测量所指示的精确度。
Description
技术领域
本发明的实施例总体上涉及用于图像处理的方法和系统,且尤其涉及用于图像对准的方法和系统。
背景技术
随着视频格式和设备的增多,图像尺寸、配准和裁切方面的改变会更加频繁地出现。为了再利用而进行的视频重新格式化也会比过去更加常见。例如,将每条线路具有720个采样的601SD(标准清晰度)视频信号发送为704ATSC(高级电视系统委员会)数字广播信号将需要重新格式化。作为另一个例子,720SD视频信号到1920HD(高清晰度)视频信号的转换(这是SD和HD同时联播所必需的)也会需要重新格式化。除了由于改变广播选择而会引起的重新格式化,用于移动设备和其他手持设备上的消费的视频格式转换(例如,HD到QCIF(四分之一通用图像格式)的转换)可能需要重新格式化。该重新格式化可能需要图像尺寸、空间偏移(也称为空间配准)、图像边界附近的图像内容损失(也称为裁切)方面的变化或其他格式化变化。这样的重新格式化可能要求图像适合一个新的纵横比,例如16∶9相对于4∶3,其表示宽高比。重新格式化可能需要在图像的侧边上切断或裁切,或在图像的侧边上增加空白的边界部分(也称为侧幅),或类似地在图像的顶部和底部也一样,例如,在宽银幕式(letterbox)图像的情况下。对于设备制造商、广播员、编辑和其他视频专业人员而言重新格式化可能引起问题。处理设备可能被设置为非正确模式或出现故障,或者标准可能改变,例如,如前面所提及的720像素到704像素的例子。
能够执行用于测量空间畸变、缩放、偏移或转换的方法以及对视频输出进行裁切的测量工具可能是有用的。此外,图片测量可以从用于全基准测量的视频基准序列图像和视频测试序列图像之间的空间对准中受益。
过去,已经至少部分地使用原始视频图像上的专有条纹位置而实现了对准。这是侵入性的,并且要求测试和基准视频均具有条纹,这就要求在传输或存储所要求的视频压缩或其他处理之前添加条纹。在一些应用中,一旦出现测量需要就增加条纹是不切实际的或不理想的,并且这对于自动化的图片质量测量应用而言是一种限制。
一直针对自动视频测量(VM)应用的用于测量空间畸变的自动化方法(诸如消费性电子产品视频输出确认)可能是有用的。与自动图片质量(PQ)测量一起使用的自动化的空间对准方法也是有用的。该方法在存在数字压缩伪像、随机噪声、量化错误、非线性畸变、线性畸变、干扰和可能损害视频信号的质量的其他处理的情况下具有鲁棒性可能是令人期望的。该方法无需对视频内容的先验知识即可运行也可能是令人期望的,所述先验知识包括添加到所述视频信号的任意条纹、纵横比、DUT(受测设备)像素时钟、或可能的水平或垂直缩放比例、偏移或裁切的其他指示。
此外,所述方法既精确又计算高效也是令人期望的。随着多媒体数字信号编解码器(编码器/解码器)技术的改进,主要随着H.264多媒体数字信号编解码器的部署和改进,1920像素乘1080像素的HD视频日益倾向于具有较多的客观测量的误差(该误差引起很差的细节相关性),但在正常的观看条件下在观看者开来与原始的基准视频几乎相同。尤其是,测量HD视频多媒体数字信号编解码器(例如,H.264多媒体数字信号编解码器)的空间畸变的改进的精度以及像素级测试视频可能被损害的其他应用可能是受益的。像素级测试视频可能被损坏到具有低局部相关性的程度(但在正常观看条件下在普通观众开来具有好的质量)。另外保持有上述有用特征的计算高效且精确的方法可能是有利的。
发明内容
因此,本发明的实施例包括用于图像对的计算高效且精确的配准的方法和系统。
在本发明的一些实施例中,可以确定与第一方向相关联的第一缩减因子,并且可以确定与第二方向相关联的第二缩减因子。可以根据第一缩减因子和第二缩减因子缩放基准图像。在一些实施例中,可以根据第一缩减因子和第二缩减因子缩放测试图像。在这些实施例的一部分中,测试图像可以是相关联测试图像的粗略对准版本。在可选实施例中,测试图像除了可根据在基准图像和测试图像之间进行的粗略对准测量而被粗略对准外,还可根据第一缩减因子和第二缩减因子被缩放。可使用经缩放的测试图像和经缩放的基准图像确定第一对准测量。在根据第一对准测量调整测试图像后,基准图像和经调整的测试图像可以被用来测量第二对准测量。第一对准测量可能具有与第一缩减因子及第二缩减因子相关的精确度,并且第二对准测量的搜索范围可能与第一缩减因子及第二缩减因子相关。
在本发明的可选实施例中,通过连续地使用较高分辨率的图像和较小的搜索范围可以获得对准测量的相继改进。在一个示例性实施例中,可以确定与第一方向相关联的第一缩减因子,并且可以确定与第二方向相关联的第二缩减因子。可以根据第一缩减因子和第二缩减因子缩放基准图像。在一些实施例中,可以根据第一缩减因子和第二缩减因子缩放测试图像。在这些实施例的一部分中,测试图像可以是相关联测试图像的粗略对准版本。在可选实施例中,测试图像除了可根据在基准图像和测试图像之间进行的粗略对准测量被粗略对准外,还可以根据第一缩减因子和第二缩减因子被缩放。通过使用经缩放的测试图像和经缩放的基准图像可以确定第一对准测量。在根据第一对准测量调整测试图像后,可以根据与第一方向相关联的第三缩减因子和与第二方向相关联的第四缩减因子进一步缩放基准图像和经调整的测试图像。通过使用缩减的基准图像和缩减的经调整的测试图像可以确定第二对准测量。可以根据第二对准测量对经调整的测试图像作进一步调整,并且该经过两次调整的测试图像和基准图像可被用于确定完成的对准测试结果。
本发明的可选实施例可包括用于垂直对准和水平对准的分别的对准处理。在这种类型的示例性实施例中,垂直对准处理可以在第一程(pass)中被省略,使得仅水平对准被处理以完成。然后可以进行第二程,在第二程中没有水平对准处理被进行,使得仅有垂直对准被处理以完成。
通过对结合附图的对本发明的以下详细描述的考虑会更容易理解本发明的前述以及其他目的、特征和优点。
附图说明
图1是示出本发明的示例性实施例的图表,包括使用了缩减分辨率的基准图像和缩减分辨率的测试图像的对准测量的初始确定,在此之后跟随着初始对准测量的后续改进,其中后续改进使用原始基准图像以及根据初始对准测量进行了调整的测试图像。
图2是示出本发明的示例性实施例的图表,包括用于改进对准测量的多个改进阶段;以及
图3是示出本发明的示例性实施例的图表,包括使用缩减分辨率的基准图像和缩减分辨率的测试图像的在一个方向上的对准测量的初始确定,在此之后跟随着初始对准测量的后续改进,其中后续改进使用原始基准图像以及根据初始对准测量进行了调整的测试图像。
具体实施方式
通过参考附图将充分地理解本发明的实施例,其中相同部件始终由相同的附图标记标注。前面所列的图被特意合并为本详细描述的一部分。
容易理解的是,本发明的部件(如在此的图中一般地被描述和说明的)可以以广泛多样的不同配置被布置和设计。因此,对本发明的方法和系统的实施例的以下更详细的描述并不旨在限制本发明的范围,而仅仅代表本发明的实施例。
本发明的实施例可以在测试和测量装置中实施。例如,本发明的实施例可以在视频测试装置中实施,诸如图片质量分析器。图片质量分析器(诸如TEKTRONIXPQA500)可以包含本发明的实施例。
本发明实施例的元件可以被包含在硬件、固件和/或软件中。虽然在这里揭示的示例性实施例可能仅描述了这些形式中的一种,但应当明白,本领域技术人员在不脱离本发明的范围的情况下可以以这些形式中的任何一种来实现这些元件。
本发明的实施例可被用于处理源自视频设备的信号。这些视频信号可由重放装置产生,例如DVD播放器,机顶盒或由播音员或由在内容传送至终端用户之前的其他内容提供者使用的产生装置。
可以关于示例性场景来描述本发明的一些实施例,在该场景中已获得的视频测试序列图像被空间对准至视频基准序列图像。可根据由本发明的发明人Kevin M.Ferguson开发的、且在美国专利申请序列号11/944,050中描述的方法和系统来执行空间对准测量,该美国专利申请在下文中称为‘050申请,标题为“Measurement Apparatus and Method of Measurement of Video Spatial Scale,Offsetand Cropping”,在2007年11月21日提交,且其全部内容由此通过引用被合并于此。‘050申请要求于2006年11月22日提交的美国临时专利申请序列号60/867,087的优先权,且该临时专利申请的全部内容由此通过引用被合并于此。
在‘050申请中描述的本发明的一些实施例可以使用具有持续局部测试和基准互相关性的图像的线性Hough变换来测量空间畸变参数,例如,相对于基准图像而言的、来自经历线性和非线性畸变的已获得的测试图像的水平缩放、垂直缩放、偏移、裁切以及其他空间畸变参数。示例性的线性和非线性畸变可以包括数字压缩和模拟传输伪像以及其他畸变。
在这里可以关于空间配准和对准测量来描述本发明的实施例,但也可将本发明的实施例应用于时间配准和其他应用,其中在偏移(例如,延迟、超前、平移和其他偏移参数)和缩放(例如,采样率、增益、乘数和其他缩放参数)的参数上,可能需要匹配、映射、相关、识别、搜索和其他类似的查找方法。此外,本发明的实施例可被用于旋转、转换和其他处理可能已发生在基准和测试信号或数据之间的应用中。
在此可以关于视频测试序列图像与视频基准序列图像的对准来描述本发明的实施例,但应当理解本发明的实施例也可应用于与视频序列不相关联的图像的对准。
可以关于图1和图2来描述本发明的一些实施例。在这些实施例中,视频测试序列图像(又称为测试帧)可以被空间对准到视频基准序列图像,视频基准序列图像又称为基准帧。初始,较大的图像特征被用于近似对准测量。初始测量结果可以被用于缩小随后的对准测量中的结合高分辨率图像一起使用的搜索范围。被缩小的搜索范围可确保:如果使用精细细节图像的对准测量失败,则测量结果可以具备由先前的、基于缩减图像的测量所指示的精确度。
关于图1被描述的本发明的一些实施例可包含与对准测量搜索范围2相关联的缩减因子6的计算5。在一些实施例中,缩减因子6可包含第一方向(例如,水平方向)上的第一方向缩减因子,以及第二方向(例如,垂直方向)上的第二方向缩减因子。在可选实施例中,缩减因子6在两个方向(例如,垂直和水平方向)中的每个方向上可以是相同的。在本发明的一些实施例中,第一方向上的缩减因子可根据以下公式确定:
其中FirstDirectionReductionFactor可以表示在第一方向上的缩减因子,FirstDirectionSearchRange可以表示在第一方向上的搜索范围,以及可以表示最大的整数、或基数、函数。第二方向上的缩减因子可根据以下公式确定:
其中SecondDirectionReductionFactor可以表示在第二方向上的缩减因子,SecondDirectionSearchRange可以表示在第二方向上的搜索范围。
在本发明的一些实施例中,其中第一方向可与水平图像方向相关联,而第二方向可与垂直图像方向相关联,可由Rh表示的水平缩减因子,以及可由Rv表示的垂直缩减因子可分别根据以下公式确定:
以及
其中,SRH和SRV分别表示水平和垂直搜索范围。
在本发明的一些实施例中,缩减因子的确定可包括优化关于缩减因子的整个处理时间。在本发明可选的实施例中(未示出),缩减因子可被设置为预定值。在本发明的又一可选实施例中(未示出),可以根据其他图像参数或特征计算缩减因子。
在图1中示出的本发明的一些实施例中,可分别根据确定5的水平缩减因子6和确定5的垂直缩减因子6将当前基准帧10水平地缩减12和垂直地缩减14。可分别根据确定的水平缩减因子和确定的垂直缩减因子将当前测试帧水平地缩减和垂直地缩减。在图1示出的本发明的一些实施例中,可按照水平缩减因子6和根据按照‘050申请或本领域已知的其他对准方法而获得的粗略对准所确定的粗略水平缩放来水平地缩减22当前测试帧20。可按照垂直缩减因子6和根据粗略对准确定的粗略垂直缩放来垂直地缩减24当前测试帧20。可根据与粗略对准相关联的粗略偏移移动被缩减的测试图像。在可选的实施例中(未示出),测试图像可以是根据粗略对准而形成的结果图像,且可根据水平和垂直缩减因子缩减测试图像。
在一些实施例中,可根据‘050申请的方法执行图像缩减,又称为下采样。在可选的实施例中,其他下采样方法可以被用于图像缩减。
可以使用经缩减的基准图像15和经缩减的测试图像25执行改进的对准测量16。在本发明的一些实施例中,根据‘050申请可以执行16改进的对准测量。在本发明的可选实施例中,可根据其他对准方法执行16改进的对准测量。搜索范围可与改进的对准测量相关联。在本发明的一些实施例中,图像尺寸的搜索范围可以是相关联的尺寸中的图像大小的百分之三十。由于测试和基准图像的缩减后的大小,相对于利用具有相同百分比值的搜索范围在较大大小的图像上所做的测量而言,可以以增大的计算速度执行改进的对准测量。
所得到的对较低分辨率图像的对准测量结果17可包含水平缩放测量结果(可由RHscale表示)、垂直缩放测量结果(可由RVscale表示)、水平偏移测量结果(可由RHoffset表示),以及垂直偏移测量结果(可由RVoffset表示)。该较低分辨率图像测量可与具有较低精确度的较高分辨率图像的测量相对应,所述较高分辨率图像的测量可基于与较高分辨率图像相关联的缩减因子。尤其是,对准在水平方向上的±Rh个像素以及垂直方向上的±Rv个像素的精度内可以是正确的。
然后可根据对准测量结果17缩减26,28当前测试图像20。可使用对准的经调整的测试图像29和当前基准帧10执行18改进的对准测量。可以将与先前的缩减因子相对应的被缩小的搜索范围用于改进的对准测量18。因此,可对较大的图像执行对准18,但是搜索范围可被缩减,从而提供增大的计算速度。所得到的对准测量结果19可精确到像素精度。
关于图2可以理解本发明的可选实施例。在这些实施例中,通过连续使用较高分辨率的图像和较小的搜索范围可获得对准测量的连续改进。图2中示出的本发明的示例性实施例包含图像大小的两个连续的缩减。本领域普通技术人员应当认识到该方法到另外的嵌套级别的扩展。如图2示出的示例性实施例应当被视为是本发明的方法和系统的示例,而不应被解释为对本发明的限制。
关于图2而描述的本发明的一些实施例可包含与对准测量搜索范围32相关联的初始缩减因子36的计算35。在一些实施例中,初始缩减因子36可包含第一方向(例如水平方向)上的初始第一方向缩减因子,以及第二方向(例如垂直方向)上的初始第二方向缩减因子。在可选的实施例中,初始缩减因子36在两个方向(例如垂直和水平方向)中的每个方向上可以是相同的。在本发明的一些实施例中,第一方向上的初始缩减因子可根据以下公式确定:
其中InitialFirstDirectionReductionFactor可表示在第一方向上的初始缩减因子,FirstDirectionSearchRange可表示在第一方向上的搜索范围,以及可表示最大的整数、或基数、函数。第二方向上的初始缩减因子可根据以下公式确定:
其中InitialSecondDirectionReductionFactor可表示在第二方向上的初始缩减因子,以及SecondDirectionSearchRange可表示在第二方向上的搜索范围。
在本发明的一些实施例中,其中第一方向可与水平图像方向相关联,而第二方向可与垂直图像方向相关联,初始水平缩减因子(可由Rh0表示)和初始垂直缩减因子(可由Rv0表示)可分别根据以下公式确定:
以及
其中,SRH和SRV分别表示水平和垂直搜索范围。
在本发明的一些实施例中,初始缩减因子的确定可包括优化关于初始缩减因子的整个处理时间。在本发明可选的实施例中(未示出),初始缩减因子可被设置为预定值。在本发明的另一可选实施例中(未示出),可根据其他图像参数或特征计算初始缩减因子。
在图2中示出的本发明的一些实施例中,可分别根据确定35的初始水平缩减因子36和确定35的初始垂直缩减因子36将当前基准帧40水平地缩减42和垂直地缩减44。可分别根据确定的初始水平缩减因子和确定的初始垂直缩减因子将当前测试帧水平地缩减和垂直地缩减。在图2示出的本发明的一些实施例中,可按照初始水平缩减因子36和根据按照‘050申请或本领域已知的其他对准方法而获得的粗略对准所确定的粗略水平缩放来水平地缩减52当前测试帧50。可按照垂直缩减因子36和根据粗略对准确定的粗略垂直缩放来垂直地缩减54当前测试帧50。可根据与粗略对准相关联的粗略偏移来移动被缩减的测试图像。在可选的实施例中(未示出),测试图像可以是根据粗略对准而形成的结果图像,且可根据水平和垂直缩减因子缩减测试图像。
在一些实施例中,可根据‘050申请的方法执行图像缩减,又称为下采样。在可选的实施例中,其他下采样方法可以被用于图像缩减。
可使用经缩减的基准图像45和经缩减的测试图像55执行改进的对准测量46。在本发明的一些实施例中,可根据‘050申请执行改进的对准测量46。在本发明的可选实施例中,可根据其他对准方法执行改进的对准测量46。搜索范围可以与改进的对准测量相关联。在本发明的一些实施例中,图像尺寸的搜索范围可以是相关联尺寸中的图像大小的百分之三十。由于测试和基准图像的缩减后的大小,相对于利用具有相同百分比值的搜索范围在较大大小的图像上所做的测量而言,可以以增大的计算速度执行改进的对准测量。
所得到的对较低分辨率图像的对准测量结果47可包含第一结果水平缩放测量结果(可由RH0scale表示)、第一结果垂直缩放测量结果(可由RV0scale表示)、第一结果水平偏移测量结果(可由RH0offset表示),以及第一结果垂直偏移测量结果(可由RV0offset表示)。该较低分辨率图像对准测量可与具有较低精确度的较高分辨率图像的测量相对应,其所述较高分辨率图像的测量基于与较高分辨率图像相关的缩减因子。尤其是,对准可以在水平方向上的±Rh0个像素以及垂直方向上的±Rv0个像素的精度内是正确的。
可根据对准测量46的结果47调整56,58当前测试帧50。根据第二水平缩减因子Rh1以及第二垂直缩减因子Rv1,当前基准帧40和被调整的测试帧59可被分别水平地缩减62,72和垂直地缩减64,74。第二水平缩减因子和第二垂直缩减因子可分别与所确定的初始水平缩减因子和所确定的初始垂直缩减因子有关。在本发明的一些实施例中,第二缩减因子可以为初始缩减因子的大约一半。所得到的被缩减的基准65和测试75图像可被用于获取66改进的对准测量67,在水平方向上使用±Rh0个像素的水平搜索范围,并且在垂直方向上使用±Rv0个像素的垂直搜索范围。
所得到的对较低分辨率图像的对准测量结果67可包含第二结果水平缩放测量结果(可由RH1scale表示)、第二结果垂直缩放测量结果(可由RV1scale表示)、第二结果水平偏移测量结果(可由RH1offset表示)以及第二结果垂直偏移测量结果(可由RV1offset表示)。该较低分辨率图像对准测量可与具有较低精确度的较高分辨率图像的测量相对应,所述较高分辨率图像的测量基于与较高分辨率图像相关的缩减因子。尤其是,对准可以在水平方向上的±Rh1个像素以及垂直方向上的±Rv1个像素的精度内是正确的。
然后可根据对准测量结果77来缩减76,78先前被校正的测试图像59。可通过使用对准的经调整的测试图像79和当前基准帧10执行改进的对准测量68。可将与先前的缩减因子相对应的被缩小的搜索范围用于改进的对准测量68。因此,可对较大的图像执行对准68,但是搜索范围可被缩减,从而提供增大的计算速度。所得到的对准测量结果69可精确到像素精度。
本发明的可选的实施例可包括用于垂直对准和水平对准的分别的对准处理。在这种类型的示例性实施例中,垂直对准处理在第一程中可被省略,使得仅水平对准被处理以完成。然后可进行第二程,在第二程中没有水平对准处理被进行,使得仅有垂直对准可被处理以完成。这些可选的实施例可关于图3被描述。
关于图3描述的本发明的一些实施例可包含与第一方向(可由D表示)上的对准测量搜索范围(可由SR表示)82相关联的缩减因子(可由Rd表示)86的计算85。在一些实施例中,缩减因子86可与水平或垂直方向相关联。在本发明的一些实施例中,在第一方向上的缩减因子可根据以下公式确定:
其中表示最大的整数、或基数、函数。
在本发明的一些实施例中,第一方向上的缩减因子的确定包含优化关于第一方向上的缩减因子的整个处理时间。在本发明可选的实施例中(未示出),第一方向上的缩减因子可被设置为预定值。在本发明的又一可选实施例中(未示出),可根据其他图像参数或特征计算第一方向上的缩减因子。
在图3中示出的本发明的一些实施例中,根据确定85的方向缩减因子86可使当前基准帧90在第一方向D上被缩减92。根据确定的方向缩减因子可使当前测试帧在第一方向D上被缩减。在图3示出的本发明的一些实施例中,按照方向缩减因子86和根据按照‘050申请或本领域已知的其他对准方法而获得的粗略对准所确定的粗略的基于方向的缩放可使当前测试帧100在第一方向D上被缩减102。可根据与粗略对准相关联的粗略偏移移动被缩减的测试图像。在可选的实施例中(未示出),测试图像可以是根据粗略对准而形成的结果图像,且可根据方向缩减因子缩减测试图像。
在一些实施例中,可根据‘050申请的方法执行图像缩减,又称为下采样。在可选的实施例中,其他下采样方法可以被用于图像缩减。
可使用经缩减的基准图像95和经缩减的测试图像105执行改进的对准测量96。在本发明的一些实施例中,可根据‘050申请执行改进的对准测量96。在本发明的可选实施例中,可根据其他对准方法执行改进的对准测量96。搜索范围可与改进的对准测量相关联。在本发明的一些实施例中,第一方向上的搜索范围可以是相关联尺寸中的图像大小的百分之三十。由于测试和基准图像的缩减后的大小,相对于利用具有相同百分比值的搜索范围在较大大小的图像上所做的测量而言,可以以增大的计算速度执行改进的对准测量。
所得到的对较低分辨率图像的对准测量结果97可包含第一方向缩放测量结果(可由RDscale表示)以及第一方向偏移测量结果(可由RDoffset表示)。该较低分辨率图像测量可与具有较低精确度的较高分辨率图像的测量相对应,所述较高分辨率图像的测量基于与较高分辨率图像相关的缩减因子。尤其是,对准可以在第一方向上的±RD个像素的精度内是正确的。
然后可根据对准测量结果97将当前测试图像100在第一方向上缩减106。通过使用对准的经调整的测试图像109和当前基准帧90可执行改进的对准测量98。可将与先前的缩减因子相对应的被缩小的搜索范围用于改进的对准测量98。因此,可对较大的图像执行对准98,但是搜索范围可被缩减,从而提供增大的计算速度。所得到的对准测量结果99可精确到像素精度。
在本发明的一些实施例中,根据关于图3描述的实施例的对准处理可在第一方向上执行以完成。然后根据关于图3描述的实施例的对准处理可在第二方向上执行以完成。在一些实施例中,第二程的当前测试帧和来自第一程的当前测试帧可以相同。在可选的实施例中,第二程的当前测试帧可以是根据在第一方向上进行的完整的对准测量而经调整的第一程的当前测试帧。
包含独立的方向程的本发明的可选实施例可包含根据被修改为仅处理一个方向的图2的多个嵌套改进阶段。
本发明的可选的实施例可包含自适应的连续的改进。在这些实施例中,可通过在每个改进的对准测量中使用经评估的相关系数以确定是否需要更多处理来自适应地平衡速度、精度和鲁棒性。在一些实施例中,检查与经缩减的图像级别相关联的最大相关性,如果该最大相关性值不是足够大,则在不缩小搜索范围的情况下测量下一级别。这种情况会反复出现直至最大相关性值超过阈值或者直至分辨率达到原始图像的分辨率。
在前述说明书中使用过的术语和表达在那里作为描述术语使用,而非限制,且在使用这样的术语和表达时并不旨在排除与示出的和描述的特征或其部分的等价物,应当认识到,本发明的范围仅由所附的权利要求定义和限制。
Claims (15)
1.一种用于对准测试图像和基准图像的方法,所述方法包括:
a)确定与第一方向相关联的第一缩减因子;
b)确定与第二方向相关联的第二缩减因子;
c)根据所述第一缩减因子和所述第二缩减因子缩放基准图像;
d)根据所述第一缩减因子和所述第二缩减因子缩放测试图像;
e)通过使用经缩放的测试图像和经缩放的基准图像来确定在测试图像和基准图像之间的第一对准测量;
f)根据所述第一对准测量调整测试图像;以及
g)通过使用经调整的测试图像和基准图像来确定在测试图像和基准图像之间的第二对准测量;
其中:
a)所述第一缩减因子基于所述第一方向上的第一搜索范围;以及
b)所述第二缩减因子基于所述第二方向上的第二搜索范围;
以及其中:
a)根据计算所述第一缩减因子,其中FirstSearchRange表示所述第一搜索范围;以及
b)根据计算所述第二缩减因子,其中SecondSearchRange表示所述第二搜索范围。
2.如权利要求1所述的方法,其中:
a)所述第一方向是从由垂直和水平组成的组中选出的方向;以及
b)所述第二方向是来自由垂直和水平组成的组中的另一个没有被选中的方向。
3.如权利要求1所述的方法,进一步包括根据所述第二对准测量调整测试图像。
4.如权利要求1所述的方法,进一步包括:
a)针对测试图像和基准图像接收粗略的对准测量;以及
b)其中:
i)所述缩放测试图像进一步包括根据粗略的对准测量调整测试图像;以及
ii)所述根据所述第一对准测量调整测试图像进一步包括根据粗略的对准测量调整测试图像。
5.如权利要求1所述的方法,其中测试图像包括与测试图像相关联的图像的粗略对准的版本。
6.一种用于对准测试图像和基准图像的方法,所述方法包括:
a)确定与第一方向相关联的第一缩减因子;
b)根据所述第一缩减因子在所述第一方向上缩放基准图像;
c)根据所述第一缩减因子在所述第一方向上缩放测试图像;
d)通过使用所述第一方向缩放后的测试图像和所述第一方向缩放后的基准图像确定所述测试图像和所述基准图像之间的在所述第一方向上的第一方向第一对准测量;
e)根据所述第一方向第一对准测量调整测试图像;以及
f)通过使用根据所述第一方向第一对准测量调整后的测试图像和基准图像来确定测试图像和基准图像之间的在所述第一方向上的第一方向第二对准测量;
进一步包括:
a)确定与第二方向相关联的第二缩减因子;
b)根据所述第二缩减因子在所述第二方向上缩放基准图像;
c)根据所述第二缩减因子在所述第二方向上缩放测试图像;
d)通过使用所述第二方向缩放后的测试图像和所述第二方向缩放后的基准图像确定测试图像和基准图像之间的在所述第二方向上的第二方向第一对准测量;
e)根据所述第二方向第一对准测量调整测试图像;以及
f)通过使用根据所述第二方向第一对准测量调整后的测试图像和基准图像来确定测试图像和基准图像之间的在所述第二方向上的第二方向第二对准测量;
其中:
a)所述第一缩减因子基于在所述第一方向上的第一搜索范围;以及
b)所述第二缩减因子基于在所述第二方向上的第二搜索范围;
以及其中:
a)根据计算所述第一缩减因子,其中FirstSearchRange表示所述第一搜索范围;以及
b)根据计算所述第二缩减因子,其中SecondSearchRange表示所述第二搜索范围。
7.如权利要求6所述的方法,其中:
a)所述第一方向是从由垂直和水平组成的组中选出的方向;以及
b)所述第二方向是来自由垂直和水平组成的组中的另一个没有被选中的方向。
8.如权利要求6所述的方法,进一步包括根据所述第一方向第二对准测量和所述第二方向第二对准测量调整测试图像。
9.如权利要求6所述的方法,进一步包括:
a)针对测试图像和基准图像接收粗略的对准测量;以及
b)其中:
i)所述在第一方向上缩放测试图像进一步包括根据粗略的对准测量调整测试图像;
ii)所述根据第一方向第一对准测量调整测试图像进一步包括根据粗略的对准测量调整测试图像;
iii)所述在第二方向上缩放测试图像进一步包括根据粗略的对准测量调整测试图像;以及
iv)所述根据第二方向第一对准测量调整测试图像进一步包括根据粗略的对准测量调整测试图像。
10.如权利要求6所述的方法,其中测试图像包括与测试图像相关联的图像的粗略对准的版本。
11.如权利要求6所述的方法,其中所述第一缩减因子基于在所述第一方向上的第一搜索范围。
12.如权利要求11所述的方法,其中根据计算所述第一缩减因子,其中FirstSearchRange表示所述第一搜索范围。
13.如权利要求6所述的方法,进一步包括:
a)针对测试图像和基准图像接收粗略的对准测量;以及
b)其中:
i)所述在第一方向上缩放测试图像进一步包括根据粗略的对准测量调整测试图像;以及
ii)所述根据第一方向第一对准测量调整测试图像进一步包括根据粗略的对准测量调整测试图像。
14.如权利要求6所述的方法,其中测试图像包括与测试图像相关联的图像的粗略对准的版本。
15.一种用于对准测试图像和基准图像的方法,所述方法包括:
a)确定与第一方向相关联的第一缩减因子;
b)确定与第二方向相关联的第二缩减因子;
c)根据所述第一缩减因子和所述第二缩减因子缩放基准图像,从而生成第一缩放后的基准图像;
d)根据所述第一缩减因子和所述第二缩减因子缩放测试图像,从而生成第一缩放后的测试图像;
e)通过使用第一缩放后的基准图像和第一缩放后的测试图像确定测试图像和基准图像之间的第一对准测量;
f)根据所述第一对准测量调整测试图像;
g)确定与所述第一方向相关联的第三缩减因子;
h)确定与所述第二方向相关联的第四缩减因子;
i)根据所述第三缩减因子和所述第四缩减因子缩放基准图像,从而生成第二缩放后的基准图像;
j)根据所述第三缩减因子和所述第四缩减因子缩放第一对准测量调整后的测试图像,从而生成缩放后的第一调整测试图像;
k)通过使用所述第二缩放后的基准图像和所述缩放后的第一调整测试图像确定测试图像和基准图像之间的第二对准测量;
l)根据所述第二对准测量调整所述第一对准测量调整后的测试图像;以及
m)通过使用所述基准图像和所述第二对准测量调整后的第一对准测量调 整后的测试图像确定测试图像和基准图像之间的第三对准测量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/398703 | 2009-03-05 | ||
US12/398,703 US8437577B2 (en) | 2009-03-05 | 2009-03-05 | Methods and systems for image registration |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101924872A CN101924872A (zh) | 2010-12-22 |
CN101924872B true CN101924872B (zh) | 2014-08-20 |
Family
ID=42226652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010148952.XA Expired - Fee Related CN101924872B (zh) | 2009-03-05 | 2010-03-05 | 用于图像配准的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8437577B2 (zh) |
EP (1) | EP2227030B1 (zh) |
JP (1) | JP5545565B2 (zh) |
KR (1) | KR101725167B1 (zh) |
CN (1) | CN101924872B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336596B2 (en) | 2010-12-28 | 2016-05-10 | Tektronix, Inc. | System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images |
EP2490458B1 (en) | 2011-02-15 | 2016-09-21 | Nxp B.V. | Control of a loudspeaker unit |
US8963998B2 (en) | 2011-04-15 | 2015-02-24 | Tektronix, Inc. | Full reference system for predicting subjective quality of three-dimensional video |
US8942512B2 (en) | 2011-12-24 | 2015-01-27 | Ecole De Technologie Superieure | Methods and systems for processing a first image with reference to a second image |
TWI485632B (zh) * | 2012-02-24 | 2015-05-21 | Htc Corp | 影像校準方法及影像校準系統 |
KR102190619B1 (ko) * | 2013-04-22 | 2020-12-14 | 삼성전자주식회사 | 데이터 정합 방법 및 데이터 정합 모듈 |
JP6573894B2 (ja) * | 2014-02-04 | 2019-09-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 少なくとも二画像をレジストレーション及び視覚化するための方法 |
JP6478686B2 (ja) * | 2015-02-12 | 2019-03-06 | キヤノン株式会社 | 画像処理装置、印刷装置、画像処理装置の制御方法、印刷装置の制御方法、及びプログラム |
CN107465940B (zh) * | 2017-08-30 | 2019-10-25 | 苏州科达科技股份有限公司 | 视频对准方法、电子设备及存储介质 |
WO2021116444A1 (en) | 2019-12-12 | 2021-06-17 | Iltoo Pharma | Interleukin 2 chimeric constructs |
US11210862B1 (en) * | 2020-06-25 | 2021-12-28 | Microsoft Technology Licensing, Llc | Data selection for spatial reconstruction |
AU2022360645A1 (en) | 2021-10-06 | 2024-05-02 | Assistance Publique - Hôpitaux De Paris | Interleukin 2 chimeric constructs with targeting specificity to inflamed tissues |
CA3146594A1 (en) * | 2022-01-24 | 2023-07-24 | Techinsights Inc. | Image registration methods and systems |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1235684A (zh) * | 1996-10-29 | 1999-11-17 | 匹兹堡大学高等教育联邦体系 | 匹配x射线图像与基准图像的设备 |
US6738532B1 (en) * | 2000-08-30 | 2004-05-18 | The Boeing Company | Image registration using reduced resolution transform space |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850466A (en) * | 1995-02-22 | 1998-12-15 | Cognex Corporation | Golden template comparison for rotated and/or scaled images |
JPH1173510A (ja) * | 1997-08-29 | 1999-03-16 | Matsushita Electric Works Ltd | 位置検出装置 |
JP3524819B2 (ja) * | 1999-07-07 | 2004-05-10 | 株式会社日立製作所 | 画像比較によるパターン検査方法およびその装置 |
US6690840B1 (en) * | 2000-02-08 | 2004-02-10 | Tektronix, Inc. | Image alignment with global translation and linear stretch |
JP2005292018A (ja) * | 2004-04-02 | 2005-10-20 | Dainippon Screen Mfg Co Ltd | 欠陥検出装置、位置ずれ量取得装置および欠陥検出方法 |
US8005301B2 (en) * | 2006-08-25 | 2011-08-23 | Q5 Innovations Inc. | Method of difference sensing through optical coherent change detection |
US7920758B2 (en) * | 2006-11-22 | 2011-04-05 | Tektronix, Inc. | Measurement apparatus and method of measurement of video spatial scale, offset and cropping |
US8184163B2 (en) * | 2009-03-05 | 2012-05-22 | Tektronix, Inc. | Methods and systems for detecting and locating skipped frames in a video sequence |
-
2009
- 2009-03-05 US US12/398,703 patent/US8437577B2/en not_active Expired - Fee Related
-
2010
- 2010-03-04 JP JP2010048108A patent/JP5545565B2/ja not_active Expired - Fee Related
- 2010-03-05 CN CN201010148952.XA patent/CN101924872B/zh not_active Expired - Fee Related
- 2010-03-05 KR KR1020100019919A patent/KR101725167B1/ko active IP Right Grant
- 2010-03-05 EP EP10155694.2A patent/EP2227030B1/en not_active Not-in-force
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1235684A (zh) * | 1996-10-29 | 1999-11-17 | 匹兹堡大学高等教育联邦体系 | 匹配x射线图像与基准图像的设备 |
US6738532B1 (en) * | 2000-08-30 | 2004-05-18 | The Boeing Company | Image registration using reduced resolution transform space |
Also Published As
Publication number | Publication date |
---|---|
US8437577B2 (en) | 2013-05-07 |
KR20100100704A (ko) | 2010-09-15 |
JP2010206800A (ja) | 2010-09-16 |
EP2227030A3 (en) | 2012-11-21 |
JP5545565B2 (ja) | 2014-07-09 |
EP2227030A2 (en) | 2010-09-08 |
CN101924872A (zh) | 2010-12-22 |
KR101725167B1 (ko) | 2017-04-10 |
US20100226592A1 (en) | 2010-09-09 |
EP2227030B1 (en) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101924872B (zh) | 用于图像配准的方法和系统 | |
EP0808059B1 (en) | Motion compensation apparatus | |
US8144255B2 (en) | Still subtitle detection apparatus and image processing method therefor | |
US8385422B2 (en) | Image processing apparatus and image processing method | |
US6614484B1 (en) | Deinterlacing method for video signals based on edge-directional interpolation | |
US9210445B2 (en) | Method and apparatus for periodic structure handling for motion compensation | |
EP3258687A1 (en) | Image processor correcting color misregistration, image processing method, and electronic camera | |
US20090085846A1 (en) | Image processing device and method performing motion compensation using motion estimation | |
KR100939736B1 (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
JP4904502B2 (ja) | ビデオ・フレーム測定装置及び方法 | |
CN102177726A (zh) | 用于音频和视频签名生成和检测的特征优化和可靠性估计 | |
US11146746B2 (en) | Image processing device, image capturing device, image processing method, and storage medium | |
JPWO2018220711A1 (ja) | 画像処理装置 | |
US9270870B2 (en) | Motion estimation with variable spatial resolution | |
US8611612B2 (en) | Block matching method | |
US20080031338A1 (en) | Interpolation frame generating method and interpolation frame generating apparatus | |
JPH09229635A (ja) | 撮像手段による実空間長測定方法及び光学系の校正方法、並びに光学系の校正に用いる基準ゲージ | |
US20100231611A1 (en) | Image processing apparatus and image processing method thereof | |
CN1197036C (zh) | 整体平移和线性延伸情况下的图像校准 | |
US20140126639A1 (en) | Motion Estimation Method | |
US8351705B2 (en) | Defining image features and using features to monitor image transformations | |
JP2008017241A (ja) | 高解像度画像処理装置 | |
US20070248287A1 (en) | Pattern detecting method and related image processing apparatus | |
JP2008293388A (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
JP2009044456A (ja) | 画像符号化装置および画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190916 Address after: oregon Patentee after: Giant Plan Co., Ltd. Address before: oregon Patentee before: Tektronix Inc. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140820 Termination date: 20190305 |