CN103190078B - 用于估计信号间的变换的信号处理器及方法 - Google Patents
用于估计信号间的变换的信号处理器及方法 Download PDFInfo
- Publication number
- CN103190078B CN103190078B CN201180052657.7A CN201180052657A CN103190078B CN 103190078 B CN103190078 B CN 103190078B CN 201180052657 A CN201180052657 A CN 201180052657A CN 103190078 B CN103190078 B CN 103190078B
- Authority
- CN
- China
- Prior art keywords
- signal
- conversion
- phase
- suspect
- reference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 132
- 230000006870 function Effects 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims 8
- 238000012545 processing Methods 0.000 abstract description 44
- 238000013519 translation Methods 0.000 abstract description 37
- 238000005259 measurement Methods 0.000 abstract description 36
- 230000010363 phase shift Effects 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 141
- 230000014616 translation Effects 0.000 description 36
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000007670 refining Methods 0.000 description 12
- 239000000523 sample Substances 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010008 shearing Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 241000638935 Senecio crassissimus Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/02—Digital function generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
信号处理装置和方法使用最小二乘法来估计信号之间的变换。一种直接最小二乘法将种子变换候选者应用于参考信号、并随后测量变换后的参考信号和待检信号之间的相关性。对每个候选者,在待检信号中鉴别出参考信号特征的更新坐标、并将其提供为对最小二乘法的输入以计算对变换候选者的更新。在该处理结束时,该方法基于对相关性的进一步分析来鉴别出一个变换或者由排名最前的变换构成的集合。相位估计方法使用点扩散函数来估计待检信号中的参考信号成分的相位。相位偏差方法通过分析相位偏差表面来确定参考信号和待检信号之间的平移,所述相位偏差表面通过计算相移估计值的偏差度量而生成。
Description
技术领域
本发明涉及信号处理,并且特别涉及在信号检测、鉴别、信号匹配和识别等应用场合使用的确定信号之间的变换的信号处理。
背景技术
有许多种信号处理应用场合需要准确且高效地计算待检信号和参考信号之间的仿射变换。对图像信号检测和识别应用场合而言,情况尤其是这样,对其他类型的信号而言,情况也是如此。在信号检测和信号识别的情况下,计算装置的目标是确定在待检信号中是否存在特定的参考信号。当参考信号存在、但是由于坐标空间的变换而发生畸变时,所述目标将更难实现。在图像处理过程中,这样的变换是通过借助图像编辑(放大,收缩,旋转,数字采样(和重新采样),格式转换,等等)对参考信号进行操作而引起的。当参考图像或参考图像所表现的对象通过摄像机从相对于所述参考图像或所述对象的原始状态的不同参考点被拍摄时,所得结果就是包含处于变换后的状态的参考信号的待检图像。除非有一种手段来确定和补偿参考信号的仿射变换,否则将更难准确地检测、识别参考信号或者将参考信号与其在待检图像中的对应物匹配。
该信号处理问题对于多种领域都很重要。一些实例包括机器视觉、医学影像分析、对象和信号识别、生物统计信号分析和匹配(例如,面部、声音、虹膜/视网膜、指纹匹配)、监视应用场合等。在这些应用场合中,目标可以是检测输入的待检信号或将输入的待检信号与一个特定参考信号匹配,或者将输入的待检信号与许多不同的参考信号匹配(例如在数据库搜索中,某查询包括一待检信号(探头(probe)或模板),将该待检信号对照参考信号数据库进行匹配)。各种类型的图像和声音可以使用信号识别和检测技术来鉴别。这些技术包括:基于信号固有的属性进行识别,以及基于特意嵌入另一信号中从而提供附加数据承载能力的数据进行识别,例如类似条形码和数字水印的机器可读代码的情况。
近年来,计算装置正在越来越多地配备有各种传感器,包括图像和音频传感器。为了向这些装置提供与其周围的世界交互的能力,这些装置需要能够识别和鉴别它们通过传感器捕获的信号。
电子器件的进步已经使这些先进传感功能的应用范围扩展得超出了专用装置(例如机器视觉装备、监视和探查装备、以及医学成像工具),从而扩展到消费电子装置(例如个人计算机和移动电话手持机)。在这些装置中捕获的信号经常会由于变换而发生畸变。如果这些变换可以用仿射变换或者至少在局部用仿射变换来近似估计,那么就有可能确定使待检信号与参考信号最为匹配的仿射变换(包括在信号的一部分中发生的局部仿射变换)。
使参考信号与其在待检信号中的对应物配准的仿射变换可以表示为y=Ax+b,其中x和y是表示参考信号的向量和表示参考信号的变换后版本的向量,A是线性变换矩阵,并且b是平移。仿射变换通常包括线性变换(旋转、缩放或剪切)和平移(即,移位)。对于二维信号来说,线性变换矩阵是由定义旋转、缩放和剪切的参数构成的二乘二(2x 2)的矩阵。平移组分是由定义水平和垂直移位的参数构成的二乘一(2x 1)的矩阵。如下文更详细描述的那样,平移与相移是相关的。因此,对两个信号进行配准的处理可以包括线性变换以及平移的近似。线性变换有时是通过确定信号相关性运算来进行近似估计的,所述信号相关性运算经常采用傅立叶变换和反傅立叶变换。平移组分是通过确定傅立叶表示形式的相移(例如,使用信号相关性)来进行近似估计的。
当信号变换在通用处理单元或专用数字逻辑电路的数字计算环境中计算时,许多挑战会出现。这些挑战中的一些包括由于采用离散数字逻辑表示信号而引起的误差。不仅在通过传感器对模拟信号进行采样时会引入量化误差,而且在这些信号被变换到不同的坐标空间中(例如,傅立叶变换和反傅立叶变换)时对这些信号进行重新采样时也会引入量化误差。在用于存储信号的离散值和相关变换参数的电路的精度或精度限制方面会引入额外误差。另一个挑战是,信号识别和信号配准通常会涉及变换和逆变换,这些变换和逆变换除了会引入误差之外,还在硬件实现方面计算成本昂贵,需要额外的存储空间,并且会在离散信号中的每个值被变换、重新采样或者根据邻近的采样值进行近似估计时由于对存储器进行读/写操作的需求的增多而引入存储器带宽限制。
鉴于这些挑战,就需要准确且仍然能高效地在数字计算环境中实现的用于确定信号之间的变换的方法。这包括用于估计线性变换以及确定平移或相移的更有效的方法。
发明内容
本发明的一个方面是一种使用直接最小二乘法来计算离散参考信号与待检信号之间的变换的方法。该方法提供表示离散参考信号的特征位置的集合,并且提供初始变换参数的种子集合。特征位置和变换参数被表示为电子存储器中的数字电子信号。使用种子集合,该方法计算能够找出线性变换候选者的最小二乘法最小化,所述线性变换候选者使利用线性变换将离散参考信号的特征位置和待检信号中的对应特征位置配准时的误差最小化。这包括计算与线性变换候选者相对应的相关性度量。该方法对每个种子评估线性变换候选者以鉴别候选者的子集,该子集表示线性变换候选者的精炼后的估计结果。
本发明的另一方面是一种直接最小二乘法电路。该电路包括存储器,用于存储待检信号表示形式。该电路包括相关性模块,用于接收线性变换候选者的种子集合,并确定每个候选者的相关性度量作为在线性变换候选者被应用时参考信号和待检信号表示形式之间的相关性的度量。
该电路还包括坐标更新模块,用于在通过应用线性变换候选者而确定的位置处确定与参考信号的特征相对应的特征在待检信号表示形式内的特征位置。该模块确定参考信号的组分在待检信号中的位置,并提供输入至最小二乘法计算器以确定参考信号和待检信号之间的变换。
该电路包括最小二乘法计算器,用于对每个候选者确定更新后的线性变换,所述更新后的线性变换提供参考信号特征位置和由坐标更新模块确定的待检信号内的对应特征位置之间的最小二乘匹配。该电路被实现为使用相关性度量以鉴别最有希望的线性变换候选者。例如,该电路迭代进行更新所述变换的处理,只要相关性度量在变换所具有的配准参考信号和待检信号的能力方面显示出改进迹象。
本发明的另一方面是一种计算变换后的信号的相位的估计值的方法。该方法提供表示离散参考信号的特征位置的集合,接收待检信号,并将变换应用于参考信号以提供变换后的位置的集合。该方法在变换后的位置周围的邻近区域中的离散采样位置对待检信号的相位进行采样。该方法将点扩散函数应用于这些采样的相位,以提供待检信号在与变换后的位置相对应的位置处的相位的估计值。
本发明的另一方面是一种电路,其包括用于存储待检信号的相位的存储器和用于将参考信号的坐标变换为变换后的坐标位置的变换模块。该电路还包括点扩散函数模块,用于从存储器中读取待检信号在变换后的坐标位置周围的位置处的选定相位,并将点扩散函数应用于选定相位以提供估计相位。
本发明的另一方面是一种计算参考信号和待检信号之间的平移偏移的估计值的方法,该方法提供待检信号的相位估计值的集合。对于由平移偏移构成的阵列中的每个元素,该方法提供参考信号在平移偏移下的预期相位的集合。该方法计算在平移偏移下的预期相位的集合中的每个预期相位和对应的相位估计值的相位偏差度量,并计算在平移偏移下的相位偏差度量的总和。该方法提供与由平移偏移构成的阵列相对应的相位偏差表面。该方法确定由平移偏移构成的阵列的相位偏差度量的峰值(例如,相位偏差表面中的峰值),其中峰值的位置提供平移偏移的估计值。
本发明的另一方面是一种相位偏差电路。该相位偏差电路包括用于存储待检信号的相位估计值的集合和参考信号的已知相位的集合的存储器。该相位偏差电路还包括相位偏差模块,用于对由平移偏移构成的阵列计算参考信号的已知相位的集合中的每个已知相位和参考信号的对应相位估计值的相位偏差度量,并且用于计算在平移偏移下的相位偏差度量的总和。该电路包括峰值确定模块,用于对由平移偏移构成的阵列确定相位偏差度量的峰值。峰值的位置提供参考信号和待检信号之间的平移偏移的估计值。
上面概述的方法被完全或部分地实现为指令(例如,用于在一个或多个可编程处理器上执行的软件或固件)、电路、或者电路与可编程处理器上执行的指令的组合。
参考下面的详细说明和附图,更多特征将会变得明了。
附图说明
图1是示出用于确定参考信号和待检信号之间的变换的处理的实现方案的框图。
图2是示出计算参考信号和待检信号之间的仿射变换的硬件装置的图。
图3是示出计算最佳匹配变换的最小二乘法的流程图,所述最佳匹配变换使参考信号与其在待检信号中的对应物配准。
图4是数字逻辑电路实现方案中的处理流程的框图。
图5是示出用于计算为其确定线性变换的近似估计结果的待检信号的相位估计值的方法的框图。
图6是示出用于计算待检信号的相位估计值的备选方法的框图。
图7是示出离散参考信号的变换后的频率成分未落到傅立叶域的整数坐标上、并且由此需要根据邻近频率位置估计相位的相位估计方法的图。
图8是示出推导相位估计方法的过程和支持该推导的相关数学运算的图。
图9是示出用于在给定线性变换和参考信号的情况下计算相位的相位估计方法的流程图。
图10是示出相位估计的数字逻辑电路实现方案的框图。
图11是示出相位偏差方法的概述的流程图。
图12是用于估计线性变换的数字逻辑电路的框图。
图13是用于相位估计和相位偏差的数字逻辑电路的框图。
图14是示出基于偏差度量的相位偏差方程的图。
图15是示出直接最小二乘法的实现方案的图。
具体实施方式
图1是示出用于确定参考信号和待检信号之间的变换的处理的实现方案的框图。我们将该处理称为变换恢复处理,因为该处理根据在装置内捕获的待检信号来恢复出参考信号的变换。尤其是,我们已经实现了该方法来恢复出使待检信号与参考信号配准所需的变换。该处理采取已知参考信号和捕获待检信号100的离散表示形式作为输入,并确定在被应用于参考信号时能近似得出待检信号的变换的估计结果。该变换恢复处理可以被细分为阶段102-106,其中第一阶段提供变换的估计结果(例如,用线性变换参数的4-D向量(或2x2线性变换矩阵)描述的线性变换),并且后续阶段通过首先估计用阶段102的估计变换所变换出的参考信号的相位、并随后在阶段106中求出相移和平移(因此,提供平移的两个额外的参数)来对所述估计结果进行精炼。在我们的特定实现方案中,阶段102提供多个候选线性变换,每个候选线性变换对应于一个2x 2的线性变换矩阵。接下来的两个阶段提供(垂直和水平方向的)二维(2D)平移,该二维平移在与2x 2的线性变换矩阵组合时能够提供仿射变换候选者。在该背景环境中,相移和平移是在不同的域中表示的相关的量——相移被表示为频域(例如傅立叶变换域)中的信号成分的相位角的变化,并且平移是在空间域(例如,图像的空间域)或时间域(类似音频的时变信号的时间域)中表示的。阶段102-106中的每个阶段包括独立于其他阶段的新颖元素,并且我们将更详细地说明这些新颖元素。这些阶段被实现在用于计算信号间的仿射变换的系统中,并且当如下面进一步说明的那样被组合使用时会提供额外的优点。所述方法和相关联的硬件实现方案可以应用于多种信号检测以及对象识别和匹配应用场合。我们将在数字水印检测的背景环境中说明各方法的实例,但是这些方法并不局限于该背景环境。
所述方法也可以应用于多种信号类型。所述方法被设计为对由传感器捕获的二维内容信号(例如,利用摄像机拍摄的图像或视频帧)进行操作。所述方法也可以应用于一维以及2维或多维信号。尤其是,一种实现方案适于确定图像内容中的参考信号的几何变换。参考信号采取嵌入主图像中的二维图像水印信号的形式。参考信号可以被一般化为包括用于不同应用场合的各种信号类型。这样,软件和硬件实现方案可以应用于各种信号处理应用场合,例如对象识别、模式识别和匹配、内容指纹识别、机器视觉和其他需要计算信号间变换的应用场合。我们的方法特别适于处理在传感器中捕获的信号,特别是在数字扫描仪、摄像机、移动电话手持机等装置中使用的那种类似CCD和CMOS阵列的图像传感器。
作为为所述方法提供背景环境的实例,我们从水印信号检测硬件的概述开始。我们随后会描述各个阶段的实现方案。图2是示出计算参考信号和待检信号之间的仿射变换的硬件装置的图。该特定设计方案适于恢复所嵌入的二维水印信号的仿射变换。该设计方案在存储器(RAM)120中缓冲所拍摄的数字化电子图像的一部分(待检图像信号)。滤波和傅立叶变换处理模块122对待检图像进行滤波、并计算2D傅立叶变换。线性变换估计模块124接收待检图像的离散频率表示形式、并计算参考信号和经滤波的待检信号之间的线性变换的估计结果。仿射变换恢复模块126使用线性变换估计结果、以及参考信号和待检信号表示形式来计算参考信号和待检信号之间的相移/平移,并因此产生把参考信号变换成待检信号的仿射变换。
图2的下部提供了模块122-126内的子模块的分解。这些子模块的实现方案将在下文进一步描述。
图1的变换估计可以用许多备选方法实现。一种方法是执行参考信号和待检信号之间的匹配滤波相关运算。用于确定参考信号相对于待检信号的旋转和缩放的一种这样的方法是傅立叶梅林相关运算。通过将待检信号和参考信号都转换到傅立叶梅林坐标空间(对数极坐标空间),两个信号之间的旋转和缩放变换被转换为平移偏移,从而使匹配滤波相关运算的应用能够找出与信号之间的旋转和缩放的估计结果相对应的相关峰值的位置。另一种方法是执行最小二乘法,尤其是直接最小二乘法。下面我们将描述最小二乘法的实现方案。这些实现方案特别有益于用硬件和软件实现,其中在用硬件实现的情况下,处理可以通过顺序的管道化的硬件逻辑阶段实现,并且在用软件实现的情况下,处理可以在专用硬件处理单元上并行地执行。仅举几个例子,所述专用硬件处理单元例如是图形处理单元(GPU)、数字信号处理器(DSP)或多核中央处理单元(CPU)。
最小二乘
最小二乘法
最小二乘法可以在线性变换的初始猜测被给定的情况下估计出产生最小二乘误差的线性变换(即,最大似然估计)。其运算由乘法和加法组成,并且有益于硬件实现。
图3是示出最小二乘法的流程图。一种实现方案采取参考位置(处于频域或空间域中)所构成的集合的坐标、和与变换后的位置(同样,处于频域或空间域中)所构成的集合相对应的坐标集合作为输入。出于举例说明的目的,我们描述用于如下实现方案的技术:参考位置对应于频域中的特征,特别是对应于频域中的峰值。
该最小二乘法被迭代地执行、并且每次迭代包括三个步骤。这三个步骤在图3中的处理框130、132和134中示出。
变换后的频率坐标的计算130——在该阶段,使用初始变换和信号的原始(即,未经变换的)频率坐标来计算变换后的频率坐标。
坐标更新132——在该阶段,通过在频率量值平面上搜索变换后的频率的小邻域内的峰值来寻找每个变换后的频率的更适合的位置。在该步骤结束时,如果对于每个变换后的频率找到了更适合的峰值位置,则更新该频率的坐标。在该处理中计算出的最佳频率坐标会产生无法再由单个线性变换同时确定的位置。
变换更新134——在该阶段,使用最小二乘公式根据更新后的坐标来计算更新后的线性变换。该更新后的变换被用作下一次迭代的初始猜测。最小二乘法提供使原始坐标和变换后的坐标之间的均方误差最小化的变换。特别地,最小二乘法提供使位置误差的总和在最小均方误差的意义上被最小化的变换。根据所述误差计算新变换的处理按照如下方式实现:
对每一次迭代计算被称为相关性强度的相关性量度。相关性强度度量可以被用来确定迭代的提前终止或者提供规则化。
在理论上,最小二乘法可以通过从线性变换参数的任何初始猜测开始来找到参考信号和待检信号之间的实际线性变换。然而,从实际的观点来看(为了防止坐标更新过度复杂),线性变换参数的初始猜测必须在某种程度上接近实际线性变换。因此,最小二乘法对于初始猜测是敏感的。
变换的初始猜测可以如同由旋转和缩放构成的配对那样简单。
该最小二乘法可以确定任何任意的线性变换(即,包括旋转、缩放、剪切和差动缩放(differential scale))。
直接最小二乘法(DLS)
DLS是高效地应用最小二乘法来确定待检信号和参考信号之间的线性变换。我们的特定实现方案应用于图像,特别地,待检图像是带有水印的图像,并且参考信号是假定被嵌入带有水印的图像中的水印信号。在这种情况下,任务是确定已知的原始参考信号和该原始参考信号的假定被嵌入待检信号中的对应物之间的线性变换。
在DLS中,将最小二乘法应用于由初始猜测的线性变换构成的稀疏集合。
DLS比傅立叶梅林型相关运算需要更少的计算,同时提供比傅立叶梅林型相关运算更准确的变换。如上所述,傅立叶梅林域中的参考信号和待检信号之间的相关性可提供旋转和缩放的估计。与此对比,最小二乘法可以提供任何任意的线性变换(例如,由线性变换参数构成的4D向量)。
利用DLS,可以采用跨越稀疏的二维子空间的初始猜测来极度高效地评估由2x 2的线性变换矩阵覆盖的四维空间。
每个DLS评估都使用最小二乘法,并且独立于2D子空间上的其他DLS评估。因此,DLS评估可以用硬件或者在多核处理器架构上高效地执行。每个评估会产生估计的线性变换和对应的相关性强度值。将候选者线性变换确定为与最大相关性强度值相对应的那些变换。进一步处理这些候选者线性变换中的一个或更多以便恢复出仿射变换。
DLS允许初始猜测任意地覆盖2D子空间。例如,如果初始猜测包括旋转/缩放配对,则沿着旋转坐标轴和缩放坐标轴的间隔可以是任意的。相较而言,傅立叶梅林方法需要缩放坐标轴上的间隔是对数的。使用任意间隔有两个优点——使鲁棒性得到提高,以及使计算高效。在通常情况下,理想化地选择一组初始猜测,使得它们被均匀地分布在旋转和缩放值的稀疏子集中。例如,缩放坐标轴上的均匀间隔(均匀的缩放增量)可以高效地得到计算、并且还会减少人为噪声。DLS收敛于适当的线性变换的能力和估计出的变换的准确性会受到初始猜测的数量和最小二乘迭代的次数的影响。这些参数的最佳值被确定为硬件成本、计算速度和所需的鲁棒性之间的折衷。更复杂的策略包括使用由初始猜测构成的非常稀疏的集合以及自适应的迭代次数。对于由后续迭代产生的变换展现出收敛性的情况,执行更多的迭代。该策略能提供计算效率而不会牺牲鲁棒性。
在某些应用场合中,待检信号可能会经历一组受限的变换。例如,旋转可能会被限制在-30度和+30度之间的范围内。在这样的情况下,在稀疏的初始猜测的进一步受限的范围上执行DLS评估。
由于噪声和失真,DLS估计出的线性变换可能会带有噪声。在我们的特定情况下,当根据带有弱水印信号的图像的单个图像块进行估计时,变换会带有噪声。为了减少估计出的变换中的噪声,我们利用DLS输出的特性。请注意,DLS会对每个初始猜测产生估计出的线性变换和相关性强度值。对于精心设计的一组初始猜测,多个初始猜测会导致相似的线性变换。换言之,所输出的线性变换被聚簇化。为了减少线性变换估计结果中的噪声,识别线性变换的聚簇,并且对这些聚簇的构成元素适当地求平均。可以通过用相关性强度的某种函数(例如,非线性函数)对每个线性变换赋予权重来进行适当的平均。
图4是数字逻辑电路实现方案中的处理流程的框图。傅立叶变换模块140从存储器取得输入信号(例如,由图像传感器捕获的图像数据块),并计算傅立叶变换和傅立叶幅度数据。傅立叶幅度滤波器142对2D傅立叶幅度数据进行滤波。一种这样的滤波器是非线性滤波器,将采样值与其8个邻居中的每个邻居进行比较、并将该采样值替换为以这些比较结果为基础的合计值。在一种实现方案中,滤波器使用采样值与其8个邻居(处于傅立叶幅度域中)的平均值的比率。滤波器的输出于是成为该比率的函数(在这种情况下,为非线性函数)。滤波器在提取参考信号特征(例如,在把参考信号嵌入待检信号的数字水印化)时特别有用。滤波器的输出于是形成对直接最小二乘法144的输入。
更新坐标(图3的块132)
坐标更新处理包括搜索感兴趣的变换后的位置(频率)周围的小邻域内的峰值(或者诸如转角或特征之类的期望特性)的局部搜索。
邻域一般被定义为3x 3或2x 2的采样区域、或者可以取决于待解决的域和应用场合而大很多。
如果峰值或期望特征处于与变换后的位置不同的位置,则将变换后的位置的坐标更新为该位置。
最小二乘法提供待检信号和参考信号之间的线性变换的估计结果。为了恢复出完整的仿射变换,需要计算这两个信号之间的相移(或平移)。一种方法是在考虑线性变换的情况下计算参考信号和待检信号的相位表示形式之间的相位相关性。我们已经开发出特别有利于恢复仿射变换的处理模块。图1中的如上所述的这些处理模块是相位估计和相位偏差。
相位估计
我们的相位估计方法是有利的,因为该相位估计方法根据变换后的信号的快速傅立叶变换(FFT)来计算相位,而不是对图像执行逆变换后执行额外的FFT来计算和提取相位。相位估计使用参考信号已经在待检信号内经历过的线性变换。虽然举例说明直接最小二乘法作为一种用于计算该线性变换的方法,但是还存在其他方法来计算该线性变换,例如使用匹配滤波器(例如,使用傅立叶梅林相关来近似估计线性变换)。
为了使该优点突出显现,图5和6是示出计算相位信息的不同方法的框图:一种方法不进行相位估计(图5),另一种方法进行相位估计(图6,166)。两种方法都使用直接最小二乘法154,、164来估计信号之间的线性变换。执行第一FFT150、160以获得直接最小二乘法所要作用于的幅度信息。如图4所示,傅立叶幅度滤波器152、162可对傅立叶幅度数据进行滤波。图6的方法使用我们的相位估计技术,而图5执行逆线性变换156并随后执行第二FFT158来计算相位。相位估计166能够避免逆线性变换156和第二FFT158这两者的额外处理。
图7是示出相位估计所解决的问题的图。当将线性变换应用于参考信号坐标时,该参考信号坐标很可能不会映射到离散坐标。所述相位估计方法提供高效的方法来计算非离散(即,实数值)坐标位置处的相位。
为了理解相位估计如何解决该问题,我们从相位估计方法的推导开始。图8是示出推导相位估计方法的过程和支持该推导的相关数学运算的图。如图7以及图8的块180所示,推导过程的第一步骤假定由处于傅立叶平面中的实数位置v的复数频率构成的函数。
图8的块182和对应的数学表达式示出用于相位估计的点扩散函数(PSF)的推导过程。通过用整复数频率分解处于傅立叶平面中的实数位置的复数频率来推导该PSF。该PSF的值为复数。
如块184所示,推导过程的最后步骤在傅立叶平面中执行与PSF的卷积。图8的块182的内积是针对傅立叶基函数进行的——这会提供PSF。然后在块184中使用该PSF以便与傅立叶平面中的值卷积。
图9是示出在给定线性变换和参考信号的情况下计算相位的相位估计方法的流程图。在我们的相位估计处理中有两个主要阶段。在第一阶段中,所述实现方案根据线性变换对已知的参考信号坐标(特别是处于已知频率坐标的一组正弦曲线)进行变换。在第二阶段中,所述实现方案使用变换后的坐标和待检信号的频域中的这些变换后的坐标周围的相位信息,来获得变换后的频率坐标的相位估计值。对该处理的输入是:以根据2D FFT获得的复数频率平面的形式存储在存储器中的离散待检信号,以及假定的变换(例如,先前计算的线性变换)和参考信号的频率规格(这是参考信号的正弦曲线的已知频率位置的集合)。对于每个实复数频率,相位估计处理应用以下步骤:
a.使用所提供的线性变换来计算频率的变换后的实数位置(例如,非整数位置)(块190);
b.用整数坐标傅立叶基函数表示处于实数位置的复数频率。这会提供复数PSF(块192);
c.获得来自待检图像块的FFT的期望实数频率周围的整数频率的相位(块194)。PSF在Delta=0处达到峰值,因此非整数峰值会(如预期的那样)在小邻域中显现。特别地,函数(sin(pi Delta)/N sin(pi Delta/N))在0点具有峰值(在极限情况下)。
d.计算处于整数频率的复数值与PSF的对应复数值的乘积的总和(块196)。这会给出处于实复数频率的估计相位值。
PSF值可以被预先计算并存储在表格中以提高效率。另外,也可以对相位进行量化(从而量化成一些相位角)以提高效率。相位估计的第一阶段的实现方案执行变换,以将参考信号的每个频率位置移动到各离散频率采样之间的适当的“小数”位置。变换后的参考信号的相位的特性独立于信号频率。对于每个小数频率位置,PSF表格包含最靠近的离散频率位置的预先计算的相位信息。
为了简化计算,所述实现方案使用每个整数频率之间的小数频率位置的有限分辨率。所述实现方案利用小数频率位置的数量上的这种减少来进一步减小PSF表格的大小。该PSF表格仅针对每个容许的小数频率位置包含预先计算的相位信息。
随后将该PSF相位信息重复用于所有将来的估计(在处理的第二阶段)。在一种特定实现方案中,预先计算相位信息、并将其值存储在小的离散表格中。这些表格对于水平和垂直频率方向是相同的,因此所述实现方案访问这些表格两次、并对其值进行组合以产生2D频率位置的预期相位。
我们的相位估计操作是高效的并且有益于硬件实现。除了消除逆变换和额外的FFT之外,该方法不需要如图5的方法所示的那样对待检信号数据(例如,输入的待检图像)进行操作。而是,该方法使用已经计算出的待检信号的频率数据,如图6所示。因此,相位估计适用于硬件的管道化结构。
通常,该相位估计技术可以用于在复数频率域中执行旋转或其他变换,而无需首先借助于空间域数据。
图10是示出相位估计的数字逻辑电路实现方案的框图。图10所示的相位估计实现方案在数据输入模块200处接收待检信号块的相位信息流。在控制模块202的控制下,所述相位估计实现方案将相位信息(根据待检信号块的2D FFT获得的相位半平面)存储在RAM存储器204中。线性变换候选者也通过数据输入模块200被接收、并直接存储在模块206、208和212中(可替换地,也可以存储在RAM 204中)。
线性变换候选者矩阵模块206以矩阵形式形成线性变换候选者,并将这些线性变换候选者提供给矩阵求逆模块208和数据输出模块210。矩阵求逆模块208求线性变换矩阵的逆矩阵。在该实现方案中,线性变换用于对图像进行空间变换。为了将参考信号坐标映射到待检图像频域,要取得线性变换的逆转置。变换坐标模块212随后从存储器(只读存储器(ROM)214)取得规定参考信号成分的位置的参考信号坐标、并将该位置转换成待检信号块的坐标空间中的坐标。控制模块216对参考信号成分的每个位置顺次进行操作,从而提供频域中的坐标。对于每个参考信号坐标,控制模块218对2x 2矩阵中的点扩散函数(PSF)点顺次进行操作。在控制模块218进行该操作时,控制模块218控制对参考信号成分的变换后的坐标进行操作的坐标取顶/取整函数模块220,并且控制模块218在PSF表格222中为该坐标选择PSF。坐标取顶/取整模块220随后在相位信息RAM 204中选择邻近频率位置,相位信息RAM 204继而将处于邻近位置的相位信息输出给乘积与求和逻辑运算器224。该乘积与求和逻辑运算器224将来自表格222的点扩散函数应用于相位信息以计算估计相位。数据输出模块210随后输出参考信号的每个参考坐标的估计相位、以及对应的线性变换候选者。该相位估计实现方案循环应用于所有线性变换候选者,从而为每个LT(线性变换)候选者提供每个参考信号成分的估计相位的集合。
相位偏差
返回来参考图1,跟随在相位估计之后的处理是,使用变换后的参考信号的相位的该估计值以确定参考信号和待检信号之间的平移。存在着用于计算该点处的平移的备选方法。一种方法是执行变换后的参考信号和待检信号的相位表示形式之间的相位相关运算(这需要逆FFT操作)。下面,我们描述一种被称为相位偏差的备选方法。
2D相位偏差
相位偏差是一种一般用于估计两个图像或信号之间的平移的备选方法。与相位相关方法相比,相位偏差法不需要逆FFT操作。
图11是示出相位偏差法的概述的流程图。相位偏差法首先在步骤230中获得参考信号和待检信号之间的一组第一细节级别(例如,整数偏移)的候选平移值(被称为平移偏移)。在图11的步骤232中,相位偏差法通过使用上述第一组候选平移周围的更高细节级别(例如,小数偏移)来确定提供参考信号和待检信号之间的更好匹配的平移值,来对这些候选者进行精炼。
对于指定的平移偏移而言的相位偏差是,处于感兴趣的所有参考信号成分处的测量相位和预期相位之间的偏差的总和。在参考信号包括一组各自具有特定相位的正弦曲线的情况下,预期参考信号相位是所述正弦曲线在已知平移偏移下的相位。对可以用相位角或平移值规定的若干平移偏移(例如,在特定图像分辨率下的像素偏移)中的每一个提供这些预期相位。换言之,对于每个可能的平移偏移,存在着对应于参考信号的一组预期相位。另外,其他输入是根据待检信号预先计算的测量相位。对每个平移偏移计算预期相位和测量相位之间的偏差。可以使用诸如测量相位和预期相位之间的欧氏距离之类的距离度量来计算每个频率处的偏差。对所有可能的平移偏移计算的相位偏差构成2D相位偏差表面。该2D相位偏差表面中的最小值的位置表示平移偏移的位置。
一种2D相位偏差法可以仅使用加法(没有乘法)来实现,并且可以以2D FFT的计算成本的一小部分成本实现。此外,对每个偏移和对每个频率进行的相位偏差计算可以独立地进行,从而产生高效的并行实现方案。这是比类似于相位相关运算的备选方法有利的优点。
相位差值和相位偏差可以被计算为复数值、或者可以直接用角度计算。利用角度进行计算可以提供改善的计算效率。
也可以使用除欧氏距离以外的距离度量。例如,L1范数或非线性度量可以取决于所涉及的信号和噪声的细节而提供改善。
特别地,偏差的总和可以被计算为测量相位角度和预期相位角度之间的绝对差值的总和,其中每个差值被包裹在-pi和+pi之间(该范围的模为2*pi)。该计算可以高效地用硬件实现。
子采样平移估计
可以对任何任意的实数值平移偏移计算相位偏差。与利用相位相关法的整数值平移估计相对比,这会提供子采样平移估计。
计算子采样平移下的相位偏差度量的能力可以被用于实现如下的平移精练技术:首先评估出整数平移以确定适合的平移偏移,在所述适合的平移偏移周围通过评估出子采样(即,对于图像内容而言的一小部分子像素)平移偏移来执行进一步的精炼。
一维(1D)相位偏差
可以修改基本相位偏差公式以利用各频率模式。使一个维度(水平或垂直维度)中的坐标值的线性组合为零的多组频率会导致正交维度中的1D相位偏差公式。从概念上讲,这会导致正交维度中的假想1D信号,该假想1D信号是2D空间中的多组2D正弦曲线的乘积。假想1D信号的频率通过正交维度中的频率的总和来给出。随后可以以2D相位偏差的成本的一小部分成本,使用1D相位偏差公式在每个维度中独立地估计平移。此外,对最小相位偏差度量的搜索是沿着1D空间进行的(即,在一维的数据集合上进行),从而进一步减少总计算成本。
在一些情况下,所述线性组合会导致处于原始信号的支持长度(例如,128点)以外的假想1D信号。这些假想1D信号具有比奈奎斯特频率更高的频率。在这种情况下,1D相位偏差法可以用更大的人为支持长度(例如,使用256点来确保更高的采样率)来规定以避免混叠。避免混叠可以提高噪声环境下的平移估计的可靠性。
当正交方向上的所有产生的假想频率的值为偶数时,1D相位偏差会引起平移的模糊性。例如,当2D空间中的长度为128x128的象限对称频率构成的配对(例如,[-45,9]和[45,9]以及[-44,6]和[44,6])相乘时,所产生的1D相位偏差具有长度为64的周期性。通过把具有相同值的两个频率组合起来而引起的频率加倍会导致值为偶数的1D信号频率(例如18和12),从而引入模糊性。作为混叠的必然结果,将两个频率A和B混合会产生新频率A+B和A-B。周期性所引起的模糊性可以通过使用2D相位偏差对特定平移进行进一步评估来解决。可替换地,该模糊性可以通过确保相当多数量(大约一半)的假想频率的值为奇数来避免。
可以采用1D相位偏差和2D相位偏差的组合以便利用1D相位偏差的微弱计算负担和2D相位偏差的鲁棒性。
图12和13是更详细地示出硬件实现方案的框图。图12是用于估计线性变换的数字逻辑电路(例如,图1中的块102和图2中的块122-124)的框图。图13是用于相位估计和相位偏差的数字逻辑电路(例如,图1中的块102-104和图2中的块126)的框图。
如图12所示,对所述实现方案的输入是来自待检图像的图像数据分组。所述实现方案计算嵌入作为待检图像的输入图像中的数字水印信号相对于作为参考信号的数字水印的初始坐标空间的仿射变换。在该特定实例中,参考信号是与水印信号相对应的一组频率峰值(即,一组相对于彼此具有已知的伪随机相位的正弦曲线)。在该处理中的该时刻,待检图像可能已经经历过由于采样(扫描、打印、等等)而引起的各种形式的畸变、以及几何畸变(例如,由于图像编辑和/或由于扫描仪或摄像机在变换后的状态下捕获图像而引起的几何畸变)。由于该畸变,最好地近似估计出已知参考信号和其嵌入待检图像中的对应物之间的变换的仿射变换是未知的。目标是计算最好地近似估计出嵌入时的参考信号和待检图像内的嵌入参考信号之间的变换的仿射变换。
在描述电路实现方案之前,提供关于参考信号和待检信号的属性的背景是有帮助的,因为这些属性支配着硬件的设计考虑因素。数字水印已经在信号的邻近块内被重复(例如,以铺瓦的方式被重复)。数字硬件电路对输入分组的流进行操作。输入分组包括待检图像的相互重叠的块,这些相互重叠的块粗略地对应于水印最初被嵌入于的块的原始尺寸。每个块是128x128的像素阵列。基于这些信号属性来使存储器和FFT滤波器等的大小得到适应,并且存储器和FFT滤波器等的大小可以随着应用场合和用于这些应用场合的信号规格而变化。
预滤器300使用前面描述的方法对图像块内的像素值进行滤波。即,将每个采样与其八个邻居进行比较,并将其替换为作为这些比较结果的函数的值,以提供一种试图使嵌入的参考信号与待检图像数据隔离的非线性滤波。
窗口操作部302为2D FFT准备经滤波的图像数据。所产生的经滤波的图像数据块由FFT2D(304)接收、并被存储在RAM中。在这种情况下,RAM(306)与图12中所示的其他硬件部件一起被实现在ASIC内。FFT2D处理空间输入数据块以生成复数频率数据。该复数频率数据的实部和虚部在输出时被交织从而成为单管道输出流。
CORDIC 308将交织的实部(Re)流和虚部(Im)流转换成交织的幅度流和相位流。如本领域已知的那样,CORDIC是用于三角函数的高效数字信号处理实现方案的方法。傅立叶幅度滤波器310仅对数据的傅立叶幅度部分进行滤波。滤波器使用采样值与该采样值的(傅立叶幅度域中的)8个邻居的平均值的比率。滤波器的输出于是成为该比率的函数(在这种情况下,为非线性函数)。滤波器使相位不经改变地通过该滤波器。
直接最小二乘(DLS)模块312接收经滤波的傅立叶幅度和相位数据的交织流。这些数据流中的每个数据流被存储在显示为RAM块314和316的RAM中。
DLS计算并精炼每个潜在的线性变换候选者以获得最大相关性强度。DLS模块312的输出首先是存储的相位块,接着是线性变换(LT)候选者构成的流。用于相位估计的相位数据以准备好被采样使得可以对每个候选线性变换估计相位的形式被存储。
块318基于相关性量度对线性变换候选者的输入流进行排序以找出排名最前的10个候选者。在该实现方案中,该相关性量度是相关性强度,该相关性强度被计算为在使用线性变换候选者来配准参考信号和待检信号之后这些信号之间的点积。RAM 320是用于存储排名第一的线性变换候选者和对应的相关性度量的存储器。
图13在图12结束的地方开始于排名第一的线性变换候选者。相位估计模块322接收相位数据流、并将其存储到RAM 324中。相位估计模块322使用每个线性变换候选者来为待检图像中的与参考信号中的每个频率位置相对应的信号成分估计一组相位。对于每个线性变换候选者,相位估计模块提供线性变换候选者和与参考信号中的频率位置相对应的一组相位。这些相位表示嵌入待检信号中的参考信号成分的相位的度量。特别地,对于把参考信号作为数字水印嵌入待检信号中的这种实现方案,上述的一组相位表示与具有随机相位的正弦曲线相对应的嵌入参考信号成分的相位的估计值。
在其他实现方案中,相位估计模块可以被包含在DLS模块内,因为用于对参考信号坐标进行变换的大量矩阵计算已经在DLS模块内被计算,并且相位数据也已随时可用。这将导致DLS模块输出线性变换和对应于这些线性变换中的每个变换的估计相位。
尽管相位估计方法是针对数字水印检测器实现方案描述的,但是该方法也可应用于信号处理器试图找出待检信号内的已知参考信号的其他应用场合。其实例包括对象识别和模式匹配,在这些应用场合中信号处理器试图找出图像中的已知参考信号。相位估计方法使信号处理器能够计算被怀疑是待检图像的组成部分的参考信号的相位估计值。这些相位估计值可以在另外的匹配或识别操作中使用,以检测参考信号是否存在于待检信号中。在这些方法中,相同的一般方法如下所述:相位估计处理使用预期的信号模式和待检信号中的对应成分之间的变换的估计结果、以及待检信号的相位,以计算所述信号模式在待检图像中的相位的估计值。
返回到图13,相位偏差模块326接收每个线性变换候选者和参考信号在待检信号中的对应的一组估计相位。相位偏差模块326为每个线性变换候选者计算相位偏差表面。该表面是由相位偏差构成的阵列,其中阵列中的每个构成元素对应于一个平移偏移,并且所述构成元素的值是对应的预期相位差值和测量相位差值之间的相位偏差度量的总和。对于2D相位偏差,这是与所有由平移偏移构成的配对相对应的相位偏差值的2D阵列(例如,由128x128个值构成的表面)。如前所述,对于特定平移偏移而言的相位偏差被计算为差值度量的总和,所述差值度量计算处于特定参考信号成分处的预期相位差值和测量相位差值之间的偏差。在我们的实现方案中,对于每个线性变换候选者存在着四个取向,对应于0度、90度、180度和270度。在对一个取向计算相位偏差表面的处理结束时,使相位寄存器的取向再变更90度。
2D相位偏差模块的目标是提供与相位偏差的最小值相对应的一个或多个平移偏移候选者。换言之,该目标是找出利用预期相位差值和测量相位差值之间的最小偏差确定的、最匹配预期相位差值和测量相位差值的平移偏移。所述实现方案从一大常量中减去相位偏差,以便为了便利性而将搜索最小值的问题转换成搜索峰值的问题(在这种情况下,峰值表示相位偏差表面中的最小相位偏差度量)。由于目标是找出预期信号和测量信号(即,已知参考信号和其在待检图像中的对应物)之间的最佳匹配,所以硬件试图找出这二者之间的偏差的峰值。为了获得计算效率,对整数平移偏移计算初始2D相位偏差表面。然而,实际平移可能是小数(即,子像素)偏移。结果,位于倒转的相位偏差表面中的峰值可能遍布在2x1的像素区域上(或者沿水平方向,或者沿垂直方向)。为了克服该影响,在最高2x1模块328中在各2x1区域上搜索峰值。
为了克服噪声和失真的影响,使用精炼模块332对排名最前的N个峰值候选者进行进一步评估。
精炼模块从在倒转的2D相位偏差表面中识别出的排名最前的N个峰值(例如,2x1的峰值)(例如,相位偏差表面中的最大的幅度极小值)开始操作。N的值被确定为计算效率和鲁棒性之间的折衷结果、并且通常在2到10之间。然后,对于这N个峰值中的每一个,精炼模块在与峰值相对应的平移偏移周围的邻域中计算精炼后的相位偏差表面。为子像素平移偏移计算这些精炼后的相位偏差。特别地,为峰值的整数平移偏移位置周围的MxM阵列中的每个子像素平移计算预期相位差值。基于期望的计算吞吐量和鲁棒性来确定M的值和平移的小数(即,子像素)增量。M的典型值为16,而典型的小数增量为四分之一像素。计算相位偏差的总和以提供子像素相位偏差表面。如果存在具有更高峰值的子像素偏移,则将该子像素偏移包含在排名最前的峰值的列表中。
2D相位偏差模块的输出首先是线性变换候选者,随后是与相位偏差表面(包括在精炼阶段计算出的任何表面)中的极小值相对应的峰值坐标的列表。
平移校正模块330校正为每个线性变换候选者计算的平移偏移。校正的性质对于实现方案而言是特定的、并且取决于实现方案的细节,例如被用作输入的参考信号相位是相对于傅立叶表示形式的块中心表示的还是相对于块拐角表示的,傅立叶处理和表示形式是相对于块中心进行的还是相对于块拐角进行的,以及平移的差值取决于所述平移是相对于变换后的待检信号的坐标系表示的还是相对于参考信号的坐标系表示的。
图14是示出基于偏差度量的相位偏差方程的图。该图提供相位偏差度量的实例。该度量是说明如何计算相位偏差表面中的相位偏差值的一个实例。如图14所示,相位偏差表示参考信号的特定频率成分i的测量相位差值和预期相位差值之间的偏差。测量相位差值是(例如,由相位估计处理确定的)参考信号在待检信号中所具有的估计相位在频率成分i处的相位角、和参考信号成分的已知相位角之间的差值。如前所述,相位估计处理为处于变换后的状态的待检信号提供相位角度估计值。在所述实现方案中,用于已知参考信号的相位角度处于其原始的未经变换的状态。
预期相位差值是根据水平和垂直平移偏移直接计算的。如上所述,这些偏移以整数偏移开始,随后因为精炼而成为子整数(sub-integer)(例如,子像素)。
请注意,在该方程中,在参考信号中存在M个频率成分。偏差度量是每个频率成分的各个单独的偏差的总和。尽管示出的是欧氏距离度量,但是也可以如前面指示的那样使用其他偏差度量。
根据图14的描绘可以看出,通过使用如下参考信号可以将所示的2D情况简化为2个分立的1D相位偏差的情况:具有关于垂直坐标轴对称的多对频率成分、从而使水平成分相互抵消的参考信号;以及同样地,具有关于水平坐标轴对称的多对频率成分、从而使垂直成分相互抵消的参考信号。如上所述,这使得垂直和水平平移偏移能够在搜索相应的1D相位偏差阵列中的峰值的相互独立的搜索中分别得到确定。
图15是示出DLS法的实现方案的图。这是例如图12中的块312内的处理的实现方案。如前所述,DLS模块在块350中开始于一组种子线性变换候选者。例如,该实现方案开始于由旋转-缩放候选者构成的稀疏集合(如上面的一个实例中所述),所述旋转-缩放候选者包括用2x2的线性变换矩阵表示的线性变换参数的子集。用2x2的矩阵表示的其他线性变换参数包括差动缩放(例如,水平和垂直缩放)和剪切(例如,水平和垂直剪切)。当DLS法开始于旋转和缩放候选者时,其他参数在初始被假定为不提供任何额外的变换,并且该方法的后续迭代以如下方式更新线性变换:使其他线性变换参数能够变化从而提供参考信号和待检信号之间的更佳的匹配。在其他实现方案中,稀疏的线性变换候选者的不同子集或公式可以被选作种子候选者。
对于起始的一组种子候选者中的每个线性变换候选者,DLS模块中的变换模块对参考信号中的频率成分的频率位置进行变换(352)。采样模块随后对待检信号在每个变换后的位置周围的邻域中的各位置处的频率平面进行采样(354)。所述邻域是围绕变换后的频率位置的区域,并且在实践中所述邻域包含待检信号的FFT中的一定数目的离散频率位置。接着,DLS模块中的相关性模块对待检信号中的处于参考信号的每个变换后的成分周围的这些区域计算信号相关性度量(356),该信号相关性度量提供参考信号和待检信号之间的相关性的度量。在该处理结束时,DLS模块具有线性变换候选者的信号相关性度量。DLS模块确定该度量相对于先前存储的先前迭代的度量是否得到了改善(358)。只要在相关性度量方面有改善(358)并且迭代极限尚未达到(360),DLS模块就继续进行操作。
存在多种方法来计算各区域和为这些区域计算的信号相关性度量。在DLS模块从四个最近的邻近位置采样的一个实现方案中,信号相关性度量被计算为待检信号内的处于每个变换后的位置的那些邻近位置的频率幅度的双线性插值的总和。替代方案包括使用双三次插值、并使用每个变换后的频率成分的位置周围的3x3采样区域来计算相关性。在这种情况下,待检信号中的相位是使用相位估计方法估计的。
在DLS模块找出使信号相关性得到改善、并且处于迭代极限之下的线性变换候选者的情况下,DLS模块继续建立一组对最小二乘法计算器的输入,所述最小二乘法计算器继而计算新的候选线性变换。这组输入包括与每个变换后的频率成分位置相对应的、使频率幅度出现最大值的一组频率成分位置。为参考信号的每个成分找出这些新位置的处理被反映在块362中。特别地,坐标更新模块计算变换后的坐标位置周围的邻域中的特征坐标(例如,峰值)。接着,最小二乘法计算器(364)通过使用最小二乘法找出把参考信号成分从其原始位置最佳地映射到块362中找出的新位置的线性变换,来计算新的线性变换候选者。
块362中描绘的处理是上面讨论的“坐标更新”的实现方案。用于更新参考信号的频率成分的坐标的一种方法是选择邻近区域(例如变换后的频率位置周围的2x2、3x3、5x5等采样区域)中具有最大幅度的邻近频率位置的坐标。该处理不需要插值处理来找出新坐标。在一些实现方案中,我们已经发现3x3邻域会覆盖高达2~3%、有时高达5%的差动缩放。在使用更大的邻域和由于参考信号的相邻频率成分的噪声而引起的潜在混乱之间存在着折衷。一种实现方案使用M处于35-75的范围中的参考信号,以大约每英寸100点(DPI)的分辨率对待检图像进行采样,并且块尺寸和FFT尺寸为128x128个采样。邻域尺寸和形状可以被定制成适合参考信号的独特特性。邻域尺寸可以随着频率的增大而增大。邻域尺寸和形状可以被定制成避免由于参考信号中的相邻频率成分的噪声而引起的冲突。邻域尺寸和形状也可以被定制为线性变换候选者的函数(例如,由LT候选者变换出来)。对变换后的位置的坐标的更新也可以被计算为邻近值的组合,例如通过找出邻近峰值的中心(例如,归一化质心)、质心、二次拟和、或邻近值的其他插值来计算。
块364的最小二乘法计算器实现图中所示的表达式以便求出该表达式左侧的2x2线性方程的解。这可通过使用乘法和加法逻辑电路的硬件实现,当然也可以用软件(包括固件指令)实现。如图所示,所述输入是参考信号成分的坐标、以及由前面的块(362)确定的参考信号在待检信号中所具有的对应的更新坐标。
在块364中计算线性变换候选者的更新结果之后,DLS模块添加该线性变换作为新候选者、并返回到块352。
当DLS模块根据判定块358-360中的确定结果而结束时,存储作为结果而得到的线性变换候选者及其相关的信号相关性度量以用于进一步的处理(366)。DLS模块如块368所示的那样对另外的种子线性变换候选者重复进行操作。当初始候选者已经如图所示得到处理和精炼时,DLS模块对每个初始种子候选者具有精炼后的线性变换候选者。DLS模块在这组精炼后的线性变换候选者中搜索最强相关性(370)。基于相关性得出的排名最前的候选者所构成的子集随后可以如上所述在进一步的处理中得到使用。此外,如前所述,线性变换候选者可以被聚簇化并组合起来从而形成新的线性变换候选者。
结束语
尽管已经参考特定实现方案描述和阐明了本技术的原理,但应认识到的是,本技术可以以许多其他不同的形式得到实现。为了提供全面的公开而不会过度加长本说明书,申请人通过引用把上面提及的专利和专利申请结合在本文中。
上述方法、处理和系统可以用硬件、软件或者硬件和软件的组合来实现。例如,用于DLS、相位估计和相位偏差的信号处理操作可以被实现为存储在存储器中并且在可编程计算机中执行的指令(包括软件和固件指令),实现为专用数字电路中的数字逻辑电路,或者实现为在一个或多个处理器中执行的指令和数字逻辑电路模块的组合。上述方法和处理可以被实现在从系统的存储器(计算机可读介质,例如电子、光学或磁存储装置)执行的程序中。上述方法、指令和电路对电子信号或其它电磁形式的信号进行操作。这些信号进一步表示各种物理信号,例如在图像传感器中捕获的图像信号、在音频传感器中捕获的音频、以及在用于其他信号类型的传感器中捕获的其他类型的物理信号。这些电磁信号表示形式如上面详述的那样被变换成不同的状态以确定信号之间的线性变换、相移和平移。
上述方法、指令和硬件对参考信号成分和待检信号成分进行操作。由于信号可以被表示为通过将信号投影到基函数上而形成的信号成分的总和,所以上述方法可以一般地应用于各种信号类型。例如,傅立叶变换将信号表示为该信号在一组基函数上的投影的总和。
上面详述的实施例中的元素和特征的特定组合仅是示例性的;这些教导与本申请和通过引用结合在本文中的专利/申请中的其他教导的互换和替换也是可预期到的。
Claims (25)
1.一种从待检信号计算变换后的信号的相位的估计值的方法,所述方法包括:
获得变换后的信号的变换后的位置,所述变换后的位置为非整数位置;
在所述变换后的信号的所述变换后的位置周围的邻近区域中的离散采样位置对所述待检信号进行采样;
在所述变换后的位置处使用点扩散函数确定所述变换后的信号在所述离散采样位置的点扩散函数值;以及
通过采样后得到的整数频率的复数值和点扩散函数值的对应的复数值的乘积的总和来获得所述变换后的信号的相位的估计值。
2.如权利要求1所述的方法,其中所述待检信号包括图像信号。
3.如权利要求2所述的方法,其中所述待检信号包括从图像传感器采样的图像信号。
4.如权利要求1所述的方法,其中所述变换后的信号包括信号成分的集合,并且所述变换后的位置包括所述信号成分的位置。
5.如权利要求4所述的方法,其中所述信号成分是频率成分,并且所述信号成分的位置是所述频率成分的频率位置。
6.如权利要求1所述的方法,其中所述待检信号包括一种版本的参考信号,并且使用所述点扩散函数来确定所述一种版本的参考信号在所述待检信号中的相位。
7.如权利要求6所述的方法,其中使用所述一种版本的参考信号在所述待检信号中的相位来确定所述待检信号中的所述一种版本的参考信号和原始状态的参考信号之间的变换。
8.如权利要求6所述的方法,其中所述参考信号与嵌入所述待检信号中的数字水印信号相对应,并且使用所述一种版本的参考信号在所述待检信号中的相位来检测所述待检信号中的所述数字水印信号。
9.一种电路,包括:
用于存储待检信号的相位的存储器;
用于获得变换后的信号的变换后的坐标位置的变换模块,所述变换后的坐标位置为非整数坐标位置;以及
点扩散函数模块,用于从所述存储器中读取所述待检信号在变换后的坐标位置周围的位置处的选定相位,并在所述变换后的坐标位置处将点扩散函数应用于所述选定相位以提供估计相位,
其中,所述点扩散函数模块在所述变换后的坐标位置处使用所述点扩散函数确定所述变换后的信号在所述变换后的坐标位置周围的位置处的点扩散函数值;并通过在所述变换后的坐标位置周围的位置处的复数值和所述点扩散函数的对应的复数值的乘积的总和来获得所述变换后的信号的相位的估计值。
10.如权利要求9所述的电路,其中所述待检信号包括图像信号。
11.如权利要求10所述的电路,其中所述待检信号包括从图像传感器采样的图像信号。
12.如权利要求9所述的电路,其中所述变换后的信号包括信号成分的集合,并且所述变换后的坐标位置包括所述变换后的信号的信号成分的变换后的位置。
13.如权利要求12所述的电路,其中所述信号成分是频率成分,并且所述变换后的坐标位置包括所述变换后的信号的频率成分的频率位置。
14.如权利要求9所述的电路,其中所述待检信号包括一种版本的参考信号,并且使用所述点扩散函数来确定所述一种版本的参考信号在所述待检信号中的相位。
15.如权利要求14所述的电路,其中使用所述一种版本的参考信号在所述待检信号中的相位来确定所述待检信号中的所述一种版本的参考信号和原始状态的参考信号之间的变换。
16.如权利要求14所述的电路,其中所述参考信号与嵌入所述待检信号中的数字水印信号相对应,并且使用所述一种版本的参考信号在所述待检信号中的相位来检测所述待检信号中的所述数字水印信号。
17.如权利要求9所述的电路,其中所述点扩散函数模块包括:点扩散函数表,以及将所述点扩散函数应用于所述选定相位的乘积与求和运算器。
18.一种非瞬时性计算机可读介质,在所述计算机可读介质上存储有指令,当所述指令被一个或多个处理器执行时,所述指令执行从待检信号计算变换后的信号的相位的估计值的方法,所述方法包括:
获得变换后的信号的变换后的位置,所述变换后的位置为非整数位置;
在所述变换后的信号的所述变换后的位置周围的邻近区域中的离散采样位置对所述待检信号进行采样;
在所述变换后的位置处使用点扩散函数确定所述变换后的信号在所述离散采样位置的点扩散函数值;以及
通过采样后得到的整数频率的复数值和点扩散函数值的对应的复数值的乘积的总和来获得所述变换后的信号的相位的估计值。
19.如权利要求18所述的非瞬时性计算机可读介质,其中所述待检信号包括图像信号。
20.如权利要求19所述的非瞬时性计算机可读介质,其中所述待检信号包括从图像传感器采样的图像信号。
21.如权利要求18所述的非瞬时性计算机可读介质,其中所述变换后的信号包括信号成分的集合,并且所述变换后的位置包括所述信号成分的位置。
22.如权利要求21所述的非瞬时性计算机可读介质,其中所述信号成分是频率成分,并且所述信号成分的位置是所述频率成分的频率位置。
23.如权利要求18所述的非瞬时性计算机可读介质,其中所述待检信号包括一种版本的参考信号,并且使用所述点扩散函数来确定所述一种版本的参考信号在所述待检信号中的相位。
24.如权利要求23所述的非瞬时性计算机可读介质,其中使用一种版本的参考信号在所述待检信号中的所述相位来确定所述待检信号中的所述一种版本的参考信号和原始状态的参考信号之间的变换。
25.如权利要求23所述的非瞬时性计算机可读介质,其中所述参考信号与嵌入所述待检信号中的数字水印信号相对应,并且使用所述一种版本的参考信号在所述待检信号中的相位来检测所述待检信号中的所述数字水印信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711070330.8A CN107608447B (zh) | 2010-09-03 | 2011-09-01 | 用于估计信号间的变换的信号处理器及方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US38018010P | 2010-09-03 | 2010-09-03 | |
US61/380,180 | 2010-09-03 | ||
PCT/US2011/050250 WO2012031152A1 (en) | 2010-09-03 | 2011-09-01 | Signal processors and methods for estimating transformations between signals |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711070330.8A Division CN107608447B (zh) | 2010-09-03 | 2011-09-01 | 用于估计信号间的变换的信号处理器及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103190078A CN103190078A (zh) | 2013-07-03 |
CN103190078B true CN103190078B (zh) | 2017-12-08 |
Family
ID=45773278
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180052657.7A Active CN103190078B (zh) | 2010-09-03 | 2011-09-01 | 用于估计信号间的变换的信号处理器及方法 |
CN201711070330.8A Active CN107608447B (zh) | 2010-09-03 | 2011-09-01 | 用于估计信号间的变换的信号处理器及方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711070330.8A Active CN107608447B (zh) | 2010-09-03 | 2011-09-01 | 用于估计信号间的变换的信号处理器及方法 |
Country Status (5)
Country | Link |
---|---|
US (7) | US8750560B2 (zh) |
EP (2) | EP2612442B1 (zh) |
JP (4) | JP6092105B2 (zh) |
CN (2) | CN103190078B (zh) |
WO (1) | WO2012031152A1 (zh) |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9749607B2 (en) | 2009-07-16 | 2017-08-29 | Digimarc Corporation | Coordinated illumination and image signal capture for enhanced signal detection |
EP2612442B1 (en) | 2010-09-03 | 2018-04-18 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals |
US9652821B2 (en) | 2010-09-03 | 2017-05-16 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals with phase deviation |
EP2565667A1 (en) * | 2011-08-31 | 2013-03-06 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Direction of arrival estimation using watermarked audio signals and microphone arrays |
EP2849641A4 (en) | 2012-05-16 | 2016-06-01 | Wollin Ventures Inc | DEVICE AND METHOD FOR MAPPING AND MEASURING SPATIALLY AND TEMPORARILY INDUCED LOW-PHASE DEVIATIONS IN MAGNETIC RESONANCE BY DEFENSE |
US10324068B2 (en) * | 2012-07-19 | 2019-06-18 | Carnegie Mellon University | Temperature compensation in wave-based damage detection systems |
US9401153B2 (en) | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
US20140257727A1 (en) * | 2013-03-11 | 2014-09-11 | Mitsubishi Electric Research Laboratories, Inc. | Method for Angle-Preserving Phase Embeddings |
WO2014182963A2 (en) | 2013-05-08 | 2014-11-13 | Digimarc Corporation | Methods and arrangements involving substrate marking |
KR20150010860A (ko) * | 2013-07-19 | 2015-01-29 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
US9569850B2 (en) | 2013-10-16 | 2017-02-14 | Cognex Corporation | System and method for automatically determining pose of a shape |
US11962876B2 (en) * | 2014-01-31 | 2024-04-16 | Digimarc Corporation | Recycling methods and systems, and related plastic containers |
US9635378B2 (en) | 2015-03-20 | 2017-04-25 | Digimarc Corporation | Sparse modulation for robust signaling and synchronization |
US20190306385A1 (en) | 2014-01-31 | 2019-10-03 | Digimarc Corporation | Concerning digital marking and reading of plastic items, useful in recycling |
US10424038B2 (en) | 2015-03-20 | 2019-09-24 | Digimarc Corporation | Signal encoding outside of guard band region surrounding text characters, including varying encoding strength |
CN104202209B (zh) * | 2014-08-05 | 2017-12-22 | 北京遥测技术研究所 | 一种基于cuda的多体制信号频率快速捕获实现方法 |
US20160188972A1 (en) * | 2014-08-12 | 2016-06-30 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals with phase estimation |
US9858681B2 (en) | 2014-10-27 | 2018-01-02 | Digimarc Corporation | Signal detection, recognition and tracking with feature vector transforms |
US9747656B2 (en) | 2015-01-22 | 2017-08-29 | Digimarc Corporation | Differential modulation for robust signaling and synchronization |
US9892478B2 (en) | 2015-03-06 | 2018-02-13 | Digimarc Corporation | Digital watermarking applications |
US9754341B2 (en) | 2015-03-20 | 2017-09-05 | Digimarc Corporation | Digital watermarking and data hiding with narrow-band absorption materials |
JP6741347B2 (ja) | 2015-03-20 | 2020-08-19 | ディジマーク コーポレイション | ロバストなシグナリング及び同期のためのスパース変調 |
US10783601B1 (en) | 2015-03-20 | 2020-09-22 | Digimarc Corporation | Digital watermarking and signal encoding with activable compositions |
US10169704B2 (en) | 2015-04-13 | 2019-01-01 | Research New Group, Inc. | Artificially intelligent communication generation in complex computing networks |
US10552933B1 (en) | 2015-05-20 | 2020-02-04 | Digimarc Corporation | Image processing methods and arrangements useful in automated store shelf inspections |
US10007964B1 (en) | 2015-05-20 | 2018-06-26 | Digimarc Corporation | Image processing methods and arrangements |
US10593007B1 (en) | 2015-06-11 | 2020-03-17 | Digimarc Corporation | Methods and arrangements for configuring industrial inspection systems |
US9922220B2 (en) | 2015-06-11 | 2018-03-20 | Digimarc Corporation | Image block selection for efficient time-limited decoding |
EP3107067A1 (en) * | 2015-06-16 | 2016-12-21 | Thomson Licensing | Method and apparatus for computing an estimate position of a micro-image produced by a micro-lens of an array of micro-lenses of an optical acquisition system |
US9819950B2 (en) | 2015-07-02 | 2017-11-14 | Digimarc Corporation | Hardware-adaptable watermark systems |
CN105046644B (zh) * | 2015-07-06 | 2021-08-13 | 嘉恒医疗科技(上海)有限公司 | 基于线性相关性的超声与ct图像配准方法和系统 |
EP3311360B1 (en) * | 2015-07-16 | 2023-07-19 | Digimarc Corporation | Signal processors and methods for estimating geometric transformations of images for digital data extraction |
US10303988B1 (en) | 2015-08-14 | 2019-05-28 | Digimarc Corporation | Visual search methods and systems |
US10594689B1 (en) | 2015-12-04 | 2020-03-17 | Digimarc Corporation | Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication |
CN105681623A (zh) * | 2016-02-24 | 2016-06-15 | 无锡南理工科技发展有限公司 | 图像信号增强的处理方法 |
CN105792254A (zh) * | 2016-02-27 | 2016-07-20 | 无锡南理工科技发展有限公司 | 采用窄脉冲信号对无线数据进行预处理的方法 |
US10242434B1 (en) | 2016-05-05 | 2019-03-26 | Digimarc Corporation | Compensating for geometric distortion of images in constrained processing environments |
US10373299B1 (en) * | 2016-05-05 | 2019-08-06 | Digimarc Corporation | Compensating for geometric distortion of images in constrained processing environments |
US10783618B2 (en) * | 2016-05-05 | 2020-09-22 | Digimarc Corporation | Compensating for geometric distortion of images in constrained processing environments |
US10686963B1 (en) | 2016-05-20 | 2020-06-16 | Digimarc Corporation | Encoding and decoding digital signals in conductive ink structures |
US10580103B1 (en) | 2016-08-15 | 2020-03-03 | Digimarc Corporation | Signal encoding for difficult environments |
US10255649B2 (en) | 2016-08-15 | 2019-04-09 | Digimarc Corporation | Signal encoding for difficult environments |
US10445849B1 (en) | 2016-08-15 | 2019-10-15 | Digimarc Corporation | Signal encoding based on spectral requirements |
US10304149B2 (en) | 2016-08-15 | 2019-05-28 | Digimarc Corporation | Signal encoding for difficult environments |
US10853903B1 (en) | 2016-09-26 | 2020-12-01 | Digimarc Corporation | Detection of encoded signals and icons |
US10803272B1 (en) | 2016-09-26 | 2020-10-13 | Digimarc Corporation | Detection of encoded signals and icons |
CN106780281B (zh) * | 2016-12-22 | 2019-12-03 | 辽宁师范大学 | 基于柯西统计建模的数字图像水印方法 |
US10783602B1 (en) | 2017-02-24 | 2020-09-22 | Digimarc Corporation | Signal encoding for inks with low reflectivity |
US10657636B1 (en) * | 2017-03-24 | 2020-05-19 | Digimarc Corporation | Methods and systems to ensure correct printing plate usage for encoded signals |
US11257198B1 (en) | 2017-04-28 | 2022-02-22 | Digimarc Corporation | Detection of encoded signals and icons |
CN108876826B (zh) * | 2017-05-10 | 2021-09-21 | 深圳先进技术研究院 | 一种图像匹配方法及系统 |
US10986245B2 (en) | 2017-06-16 | 2021-04-20 | Digimarc Corporation | Encoded signal systems and methods to ensure minimal robustness |
US10506128B1 (en) | 2017-06-16 | 2019-12-10 | Digimarc Corporation | Encoded signal systems and methods to ensure minimal robustness |
US10853968B2 (en) | 2017-09-29 | 2020-12-01 | Digimarc Corporation | Watermark sensing methods and arrangements |
US10896307B2 (en) | 2017-11-07 | 2021-01-19 | Digimarc Corporation | Generating and reading optical codes with variable density to adapt for visual quality and reliability |
US11062108B2 (en) | 2017-11-07 | 2021-07-13 | Digimarc Corporation | Generating and reading optical codes with variable density to adapt for visual quality and reliability |
US10872392B2 (en) | 2017-11-07 | 2020-12-22 | Digimarc Corporation | Generating artistic designs encoded with robust, machine-readable data |
US10958807B1 (en) | 2018-02-08 | 2021-03-23 | Digimarc Corporation | Methods and arrangements for configuring retail scanning systems |
US11995511B2 (en) | 2018-02-08 | 2024-05-28 | Digimarc Corporation | Methods and arrangements for localizing machine-readable indicia |
EP3913570B1 (en) | 2018-02-25 | 2024-08-07 | Digimarc Corporation | Generating and reading optical codes with variable density to adapt for visual quality and reliability |
JP6919758B2 (ja) * | 2018-03-05 | 2021-08-18 | 日本電気株式会社 | 画像照合装置 |
US10880451B2 (en) | 2018-06-08 | 2020-12-29 | Digimarc Corporation | Aggregating detectability metrics to determine signal robustness |
JP7472413B2 (ja) | 2018-06-08 | 2024-04-23 | ディジマーク コーポレイション | 点描法、ボロノイ法、及びドロネー法を使用して信号運搬アートを生成すること、並びにこれを読み取ること |
US10990865B2 (en) | 2018-06-18 | 2021-04-27 | Digimarc Corporation | Methods and arrangements for reconciling data from disparate data carriers |
RU2694023C1 (ru) * | 2018-07-11 | 2019-07-08 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" | Способ нахождения сопряженных векторов направлений на движущиеся объекты |
US10559052B1 (en) | 2018-08-02 | 2020-02-11 | Digimarc Corporation | Signal encoding for physical objects including dark ink |
WO2020055397A1 (en) | 2018-09-12 | 2020-03-19 | Digimarc Corporation | Generating artistic designs encoded with robust, machine-readable data |
US11055805B1 (en) | 2018-11-09 | 2021-07-06 | Digimarc Corporation | Utilizing dependency between watermark visibility and location of image sample in color space for embedded signal color direction |
US11250535B1 (en) | 2019-02-08 | 2022-02-15 | Digimarc Corporation | Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data, and robustness checks |
US10789438B1 (en) | 2019-02-08 | 2020-09-29 | Digimarc Corporation | Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data |
JP2022525396A (ja) | 2019-03-13 | 2022-05-13 | ディジマーク コーポレイション | リサイクルのための物品のデジタルマーキング |
US11568165B1 (en) | 2019-04-15 | 2023-01-31 | Digimarc Corporation | Methods and arrangements for optical code classification |
US11350239B2 (en) * | 2019-07-17 | 2022-05-31 | Ford Global Technologies, Llc | Smart mmWave c-V2X antenna |
US11070701B2 (en) | 2019-10-11 | 2021-07-20 | Digimarc Corporation | Color managed embedding system for embedding signals in color artwork |
US11233918B1 (en) | 2019-10-11 | 2022-01-25 | Digimarc Corporation | PDF embedder for artwork elements with PDF files |
WO2021072346A1 (en) | 2019-10-11 | 2021-04-15 | Digimarc Corporation | Color managed embedding system for embedding signals in color artwork |
US11188996B2 (en) | 2019-10-11 | 2021-11-30 | Digimarc Corporation | Color managed embedding system for embedding signals in color artwork |
US11922532B2 (en) | 2020-01-15 | 2024-03-05 | Digimarc Corporation | System for mitigating the problem of deepfake media content using watermarking |
WO2022026847A1 (en) | 2020-07-31 | 2022-02-03 | Digimarc Corporation | Encoding signals on flexographic printing plates to enable tracking and management |
US11643253B1 (en) | 2020-12-15 | 2023-05-09 | Digimarc Corporation | Signal encoding for aluminum alloy containers |
US11665302B1 (en) | 2020-12-15 | 2023-05-30 | Digimarc Corporation | Signal encoding for aluminum alloy containers |
US12079677B2 (en) | 2021-01-08 | 2024-09-03 | Digimarc Corporation | Determining spatial distance using encoding signals |
US11875218B1 (en) | 2021-03-04 | 2024-01-16 | Digimarc Corporation | 2D code reading in presence of local inversion |
US12008795B1 (en) | 2021-05-28 | 2024-06-11 | Digimarc Corporation | Methods and arrangements for configuring object localizers |
US11900497B1 (en) | 2021-06-04 | 2024-02-13 | Digimarc Corporation | Encoding signals with printed clear topcoats |
US12094025B1 (en) | 2021-08-27 | 2024-09-17 | Digimarc Corporation | Scanner agnostic symbol print quality tool |
WO2023096924A1 (en) | 2021-11-23 | 2023-06-01 | Evrythng Ltd | Factory activation of active digital identities |
CN118151225A (zh) * | 2022-12-07 | 2024-06-07 | 中国石油天然气集团有限公司 | 稳定收敛的最小二乘偏移反演方法及装置 |
CN116074170B (zh) * | 2022-12-15 | 2024-08-20 | 珠海中慧微电子有限公司 | 一种ofdm信号的降峰均比方法 |
WO2024137146A1 (en) | 2022-12-23 | 2024-06-27 | Digimarc Corporation | Digital watermarking for link between nft and associated digital content |
WO2024187192A1 (en) | 2023-03-09 | 2024-09-12 | Digimarc Corporation | Digital watermarking for validation of authenticity |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1402586A (zh) * | 2001-08-22 | 2003-03-12 | 华为技术有限公司 | 一种利用信号到达时间估计位置的方法和装置 |
CN101227440A (zh) * | 2008-02-14 | 2008-07-23 | 北京创毅视讯科技有限公司 | 一种用于信道估计中消除零频干扰的装置及方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3987243A (en) * | 1975-11-03 | 1976-10-19 | Sanders Associates, Inc. | Image enhancement method and apparatus |
US7158654B2 (en) * | 1993-11-18 | 2007-01-02 | Digimarc Corporation | Image processor and image processing method |
US6408082B1 (en) * | 1996-04-25 | 2002-06-18 | Digimarc Corporation | Watermark detection using a fourier mellin transform |
US5756990A (en) | 1996-04-17 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Army | Simplified simulation of effects of turbulence on digital imagery |
US5949055A (en) | 1997-10-23 | 1999-09-07 | Xerox Corporation | Automatic geometric image transformations using embedded signals |
JPH11355547A (ja) * | 1998-05-22 | 1999-12-24 | Internatl Business Mach Corp <Ibm> | 幾何変換特定システム |
US6535617B1 (en) * | 2000-02-14 | 2003-03-18 | Digimarc Corporation | Removal of fixed pattern noise and other fixed patterns from media signals |
US6385329B1 (en) * | 2000-02-14 | 2002-05-07 | Digimarc Corporation | Wavelet domain watermarks |
US20020103104A1 (en) * | 2000-03-21 | 2002-08-01 | Christy Cheever | Methods using the SRP polynucleotides and polypeptides and compounds modulating their activity |
EP1173001A3 (en) * | 2000-07-11 | 2004-05-06 | Eastman Kodak Company | Authenticatable image with an embedded image having a discernible physical characteristic |
US6483927B2 (en) * | 2000-12-18 | 2002-11-19 | Digimarc Corporation | Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes |
US8301453B2 (en) * | 2000-12-21 | 2012-10-30 | Digimarc Corporation | Watermark synchronization signals conveying payload data |
US8050452B2 (en) * | 2001-03-22 | 2011-11-01 | Digimarc Corporation | Quantization-based data embedding in mapped data |
DE60218190T2 (de) * | 2001-05-17 | 2008-03-20 | Koninklijke Philips Electronics N.V. | Verfahren und vorrichtung zur ausführung einer affinen oder nicht affinen transformation |
US6525302B2 (en) * | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
US6975745B2 (en) * | 2001-10-25 | 2005-12-13 | Digimarc Corporation | Synchronizing watermark detectors in geometrically distorted signals |
US7065237B2 (en) * | 2001-12-10 | 2006-06-20 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US6904151B2 (en) * | 2002-01-17 | 2005-06-07 | Deguillaume Frederic | Method for the estimation and recovering of general affine transform |
JP3754403B2 (ja) * | 2002-07-26 | 2006-03-15 | 株式会社東芝 | 電子透かし検出方法及び装置 |
AU2002951815A0 (en) * | 2002-10-03 | 2002-10-24 | Canon Kabushiki Kaisha | Mark embedding and detection using projective transforms |
DE10322722B4 (de) * | 2003-05-20 | 2005-11-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Synchronisieren eines Audiossignals mit einem Film |
WO2005045763A1 (en) * | 2003-11-04 | 2005-05-19 | Canon Kabushiki Kaisha | Method of estimating an affine relation between images |
US7480393B2 (en) * | 2003-11-19 | 2009-01-20 | Digimarc Corporation | Optimized digital watermarking functions for streaming data |
US7590306B2 (en) * | 2003-11-26 | 2009-09-15 | Ge Medical Systems Global Technology Company, Llc | Resolution adaptive image filtering system and method |
US8014625B2 (en) * | 2004-11-10 | 2011-09-06 | Agfa Healthcare | Method of performing measurements on digital images |
JP4961564B2 (ja) * | 2005-07-25 | 2012-06-27 | 庸一郎 伊藤 | 標識認証システム及び標識認証方法 |
KR100723528B1 (ko) * | 2006-04-21 | 2007-05-30 | 삼성전자주식회사 | 옵셋 주파수 추정 방법 및 장치 |
EP2439728A3 (en) * | 2006-06-02 | 2013-09-04 | Samsung Display Co., Ltd. | High dynamic contrast display system having multiple segmented backlight |
JP4668220B2 (ja) * | 2007-02-20 | 2011-04-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP4793875B2 (ja) * | 2007-03-16 | 2011-10-12 | 株式会社リコー | 情報処理装置、情報処理方法、及びプログラム並びに記録媒体 |
US9466307B1 (en) | 2007-05-22 | 2016-10-11 | Digimarc Corporation | Robust spectral encoding and decoding methods |
JP5181350B2 (ja) * | 2009-02-02 | 2013-04-10 | セイコーインスツル株式会社 | 画像処理装置、及び画像処理プログラム |
US9652821B2 (en) | 2010-09-03 | 2017-05-16 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals with phase deviation |
EP2612442B1 (en) | 2010-09-03 | 2018-04-18 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals |
US20160188972A1 (en) | 2014-08-12 | 2016-06-30 | Digimarc Corporation | Signal processors and methods for estimating transformations between signals with phase estimation |
EP3311360B1 (en) | 2015-07-16 | 2023-07-19 | Digimarc Corporation | Signal processors and methods for estimating geometric transformations of images for digital data extraction |
-
2011
- 2011-09-01 EP EP11822684.4A patent/EP2612442B1/en active Active
- 2011-09-01 WO PCT/US2011/050250 patent/WO2012031152A1/en active Application Filing
- 2011-09-01 CN CN201180052657.7A patent/CN103190078B/zh active Active
- 2011-09-01 EP EP18159735.2A patent/EP3396621B1/en active Active
- 2011-09-01 JP JP2013527327A patent/JP6092105B2/ja active Active
- 2011-09-01 CN CN201711070330.8A patent/CN107608447B/zh active Active
- 2011-09-02 US US13/224,752 patent/US8750560B2/en active Active
- 2011-09-02 US US13/224,673 patent/US8867860B2/en active Active
- 2011-09-02 US US13/224,608 patent/US9182778B2/en active Active
-
2014
- 2014-10-21 US US14/520,160 patent/US9836807B2/en active Active
-
2015
- 2015-11-09 US US14/936,359 patent/US9953390B2/en active Active
-
2017
- 2017-02-08 JP JP2017021211A patent/JP6336638B2/ja active Active
-
2018
- 2018-04-23 US US15/959,992 patent/US10402929B2/en active Active
- 2018-05-02 JP JP2018088758A patent/JP6567127B2/ja active Active
-
2019
- 2019-07-30 JP JP2019140162A patent/JP6904544B2/ja active Active
- 2019-08-30 US US16/557,929 patent/US11410262B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1402586A (zh) * | 2001-08-22 | 2003-03-12 | 华为技术有限公司 | 一种利用信号到达时间估计位置的方法和装置 |
CN101227440A (zh) * | 2008-02-14 | 2008-07-23 | 北京创毅视讯科技有限公司 | 一种用于信道估计中消除零频干扰的装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US8867860B2 (en) | 2014-10-21 |
CN107608447A (zh) | 2018-01-19 |
JP6336638B2 (ja) | 2018-06-06 |
US20180308193A1 (en) | 2018-10-25 |
JP2019200812A (ja) | 2019-11-21 |
US20150106416A1 (en) | 2015-04-16 |
US9953390B2 (en) | 2018-04-24 |
CN103190078A (zh) | 2013-07-03 |
JP2018125038A (ja) | 2018-08-09 |
US20120076435A1 (en) | 2012-03-29 |
US20120078989A1 (en) | 2012-03-29 |
JP6567127B2 (ja) | 2019-08-28 |
US20160132986A1 (en) | 2016-05-12 |
US9182778B2 (en) | 2015-11-10 |
US9836807B2 (en) | 2017-12-05 |
JP6904544B2 (ja) | 2021-07-21 |
CN107608447B (zh) | 2020-10-23 |
US20200065933A1 (en) | 2020-02-27 |
EP3396621B1 (en) | 2020-08-19 |
EP2612442B1 (en) | 2018-04-18 |
JP6092105B2 (ja) | 2017-03-08 |
EP3396621A1 (en) | 2018-10-31 |
JP2013544448A (ja) | 2013-12-12 |
US10402929B2 (en) | 2019-09-03 |
US20120082398A1 (en) | 2012-04-05 |
JP2017091580A (ja) | 2017-05-25 |
EP2612442A1 (en) | 2013-07-10 |
WO2012031152A1 (en) | 2012-03-08 |
US8750560B2 (en) | 2014-06-10 |
EP2612442A4 (en) | 2015-12-09 |
US11410262B2 (en) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103190078B (zh) | 用于估计信号间的变换的信号处理器及方法 | |
CN107924557A (zh) | 用于数字数据提取的估计图像的几何变换的信号处理器和方法 | |
US10664946B2 (en) | Signal processors and methods for estimating transformations between signals with phase deviation | |
JP4382797B2 (ja) | 対応点探索方法および3次元位置計測方法 | |
US20160188972A1 (en) | Signal processors and methods for estimating transformations between signals with phase estimation | |
WO2015035462A1 (en) | Point feature based 2d-3d registration | |
CN110660022A (zh) | 一种基于曲面拟合的图像超分辨率重建方法 | |
Jackson et al. | Adaptive registration of very large images | |
Yasein et al. | A feature-based image registration technique for images of different scale | |
Huang et al. | Multi-modal medical image registration based on gradient of mutual information and morphological Haar wavelet | |
Mondal et al. | An accelerated approach of template matching for rotation, scale and illumination invariance | |
Sirisha et al. | Formulation of fractional affine feature detector for TerraSAR-X (TSX) images | |
Gupta et al. | Keren-FFTGAN: A Novel Technique for Super-resolution Image Reconstruction Using Keren and FFT Image Registration with Generative Adversarial Networks | |
Liu | Regularized Quadrature Filters for Local Frequency Estimation: Application to Multimodal Volume Image Registration. | |
CN117372485A (zh) | 基于相位谱与幅度谱重组的一维相位相关图像配准方法 | |
Jiao et al. | A new multi-stage sub-pixel precision SAR image registration algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |