CN100373393C - 基于运动估计的扫描指纹图像重构方法 - Google Patents
基于运动估计的扫描指纹图像重构方法 Download PDFInfo
- Publication number
- CN100373393C CN100373393C CNB200510012049XA CN200510012049A CN100373393C CN 100373393 C CN100373393 C CN 100373393C CN B200510012049X A CNB200510012049X A CN B200510012049XA CN 200510012049 A CN200510012049 A CN 200510012049A CN 100373393 C CN100373393 C CN 100373393C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- image
- frame
- search
- match block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 78
- 230000015654 memory Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 230000001133 acceleration Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 2
- 241001331845 Equus asinus x caballus Species 0.000 description 1
- 101100489867 Mus musculus Got2 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
Images
Abstract
本发明涉及图像处理和匹配技术领域，一种基于运动估计的扫描指纹图像重构方法，包括步骤：分割定位手指扫过传感器的起始和结束位置；缓存并实时地更新连续扫描的图像；假定在局部范围内，滑动的手指以匀速或匀加速运动，预测图像的运动向量；根据预测运动向量，动态地选取参考宏块，并预测匹配块所在的帧及其位置，进行亚像素精度的运动估计的像素插值，在预测匹配块邻域内搜索最佳匹配块，得到运动向量；以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围；变换连续帧图像的运动向量，拼接指纹图像。
Description
技术领域
本发明涉及图像处理和匹配技术领域，特别涉及视频编码的运动补偿预测技术，采用亚像素精度的可变块匹配多帧运动估计的方法，实现滑动式指纹传感器的图像重构。
背景技术
由于指纹特征的唯一性和稳定性，指纹识别技术很早便应用在刑侦领域，并且已经取得了巨大的成功。近年来各种领域身份认证的需求不断增长，并且随着公众地逐步接受和认可，自动指纹识别系统(AFIS)技术必将在民用市场得到更为广泛的应用。自动指纹识别技术的应用和推广又是和指纹传感器技术的发展密切相关的。传统的指纹传感器一般通过将手指靠近或按压在传感器上来检测指纹，因此传感器的尺寸一般相对于指纹要大一些。为了满足结构紧凑、体积更小的需求，一种通过在传感器表面滑动手指检测指纹的微型传感器便应运而生。滑动式指纹传感器作为传统型传感器的”缩微”版本，横向尺寸不变(300或256像素)，纵向仅取2～32行，利用整个手指扫过传感器来形成连续的图像，再用软件重建指纹图像。这种传感器体积小、功耗低、价格便宜且耐受汗渍影响，适于应用在手机、智能电话、PDA或移动存储设备等场合。但是，目前已有的软件重构的指纹图像，存在不同程度的失真和变形，影响了后续识别算法的精度，因此限制着滑动式指纹传感器进一步的推广应用。
发明内容
本发明采用亚像素精度的可变块匹配多帧运动估计的方法，实时地、准确地计算出连续扫描图像的运动向量，变换得到不同的帧之间离散的相对位移，重建指纹图像。
基于运动估计的扫描指纹图像重构方法，包括步骤：缓存并实时地更新连续扫描的图像；预测图像的运动向量，动态地选取参考宏块，确定预测匹配块所在的帧及其位置，对预测匹配块所在的帧图像作插值，在预测匹配块的邻域内搜索最佳匹配块，得到亚像素精度的运动估计的运动向量；自适应调整运动搜索范围；变换连续帧图像的运动向量，拼接指纹图像。
还包括步骤：缓存连续扫描的图像，并且实时地更新，这种方式实时地清除已完成拼接的图像，只保存相应帧的运动向量和重建的指纹图像，有效地减轻了存储的压力，并且满足实时性要求。
还包括步骤：假定在局部范围内，滑动的手指以匀速或匀加速运动，预测图像的运动向量。
还包括步骤：根据预测运动向量的数值，动态地选取参考宏块，这种选取宏块的方法，可以得到更加精确的分数形式的运动向量。
还包括步骤：亚像素精度的运动估计的像素插值，这种方法可以得到半像素或1/4像素精度的运动向量。
还包括步骤：以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围，这种方法的优势在于，当手指滑动的速度变化较大时，既能够保证快速地搜索到最佳匹配块，又能够避免搜索陷入局部最优点。还包括步骤：变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，拼接指纹图像，这种方法充分利用了扫描图像有限的垂直分辨率，有效地解决了因运动向量水平分量较小而难以准确描述扫描图像左右偏移的问题。
附图说明
图1是基于运动估计的扫描指纹图像重构方法的实现过程图。
图2是可变块匹配多帧运动估计示意图。
图3是运动向量计算流程图。
图4是扫描指纹图像重构结果1的图。
图5是扫描指纹图像重构结果2的图。
具体实施方式
这种基于运动估计的扫描指纹图像重构方法的实现过程如图1所示，具体步骡如下：
(1-1)分割定位手指扫过传感器的起始位置，方法是统计连续扫描图像的对比度直方图，迭代选取阈值，以此判断是背景还是指纹图像，辅助硬件检测定位扫描指纹图像的起始位置；
(1-2)缓存连续扫描的图像。以8行传感器为例，缓存10帧连续扫描的图像，并且实时地更新；
(1-3)计算缓存的连续图像的运动向量；
(1-4)拼接指纹图像。充分利用扫描图像有限的垂直分辨率，变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，根据位移关系拼接相应的帧，重建指纹图像。以8行传感器为例，表1所示为运动向量垂直分量转换的结果，对应帧的水平分量叠加，即可得到水平分量的转换结果。实际上，根据一般人手指的滑动速度，可以设定扫描图像的采样频率，使得运动向量的垂直分量在
之间，即用户手指的滑动速度差异为12倍，可以满足多数应用场合的需要。本发明对8行传感器的最大适用范围在之间，即可以容忍最大差别为63倍的速度范围。
(1-5)更新缓存并判断手指扫描是否终止。清除已完成拼接的图像，更新缓存，采用同步骤(1)动态阈值分割的方法，并结合运动向量判断，如手指停止滑动，则重构过程结束，否则转步骤(2)。
图2的可变块匹配多帧运动估计，利用两幅扫描图像来说明——当前帧和预测匹配块所在的帧，亚像素精度的运动估计需要对预测匹配块所在的帧进行像素插值，参考宏块在当前帧动态地选取，搜索最佳匹配块的范围选取在插值得到的像素阵上预测匹配块的邻域，在下面的运动向量计算步骤中，将会详细地描述这种运动估计的过程。
运动向量计算：
假定每帧图像中的所有像素做同一运动，则当前帧的运动向量可以用图像宏块的运动向量来表示。
图3是运动向量计算流程。具体实现步骤如下：
(3-1)计算初始运动向量。在图像的当前帧选取M×N像素的子块，作为初始运动估计的参考宏块，设传感器的分辨率为C×L，则可以取M=C-2P，N=1～L.1，其中P＝8～16。采用全搜索算法(FSA)，在上一帧搜索到与参考宏块最匹配的宏块，块匹配的准则为绝对平均误差准则(MAE)，即寻找灰度绝对平均误差最小的图像宏块。参考宏块与匹配块在二维平面上的位移即为初始运动向量。如果预测运动向量的垂直分量小于或等于1，则重新选取参考宏块，隔帧搜索匹配块，参考宏块与匹配块在二维平面上的位移除以间隔的帧数即得到初始运动向量。
(3-2)预测运动向量。假定在局部范围内，滑动的手指以匀速或匀加速运动。以8行传感器为例，在当前帧以前1～18帧的局部范围内，若假定为匀速运动，则预测运动向量为局域内运动向量的加权平均值；若假定为匀加速运动，则首先加权平均局域内运动向量的前向差值，结果再与当前帧前1～6帧的运动向量的均值求和，得到预测运动向量。由于在下面的步骤中，采用动态地选取宏块和搜索反馈的机制，这两种假定是等效的，实验结果亦证明了这两种假定的有效性。如果当前帧为初始3次缓存的帧，则预测运动向量选取初始运动向量。
(3-3)动态地选取参考宏块。由于采用亚像素精度和多帧运动估计的方法，可以根据预测运动向量的数值，选取合适的可变参考宏块。
(3-4)根据预测运动向量和参考宏块的大小确定预测匹配块所在的帧及其位置。
(3-5)对预测匹配块所在的帧图像作亚像素精度的运动估计的像素插值。采用双线性插值法，得到半像素或像素位置的点，形成以
像素或
像素为间距的像素阵。
(3-6)计算运动向量。采用绝对平均误差准则，在插值得到的像素阵上预测匹配块的邻域内搜索最佳匹配块。参考宏块与最佳匹配块在二维平面上的位移即为亚像素精度的多帧运动估计的运动向量。对于隔帧搜索的匹配块，运动向量需除以间隔的帧数。
(3-7)自适应调整运动搜索范围。以运动向量和预测向量的差值作为反馈量，自适应地调整运动估计搜索最佳匹配块的范围。
图4的扫描指纹图像重构结果1，平均运动向量垂直分量为1.49像素/帧，根据我们设定的扫描图像的采样频率，这个数据接近于一般人的手指滑动速度，水平分量为0.02像素/帧，表示左右偏移较小，图示左侧为原始的连续扫描图像及其局部放大图，右侧为利用我们的方法重构指纹图像的结果。
图5的扫描指纹图像重构结果2，平均运动向量垂直分量为2.02像素/帧，相对于一般人的手指滑动速度较快，水平分量为0.35像素/帧，表明左右偏移较大，图示左侧为原始的连续扫描图像及其局部放大图，右侧为利用我们的方法重构指纹图像的结果。
由图4和图5的图像重构结果可以看出，本发明适应手指扫描变化的范围较大，重构指纹图像的效果好，具有很强的实用性。
| 运动向量垂直分量Vver(像素) | 变换结果 | |
| 垂直相对位移(像素) | 间隔的帧 | |
| 2.25<Vver≤2.75 | 5 | 2 |
| 1.75<Vver≤2.25 | 4 | 2 |
| 1.425<Vver≤1.75 | 3 | 2 |
| 1.29<Vver≤1.425 | 4 | 3 |
| 1.125<Vver≤1.29 | 5 | 4 |
| 0.875≤Vver≤1.125 | 4 | 4 |
| 0.708<Vver<0.875 | 3 | 4 |
| 0.583<Vver≤0.708 | 2 | 3 |
| 0.45≤Vver≤0.583 | 2 | 4 |
| 0.366<Vver<0.45 | 2 | 5 |
| 0.31≤Vver≤0.366 | 1 | 3 |
| 0.268≤Vver<0.31 | 2 | 7 |
| 0.236≤Vver<0.268 | 1 | 4 |
| 0.211<Vver<0.236 | 2 | 9 |
表1运动向量垂直分量变换表
Claims (5)
1.基于运动估计的扫描指纹图像重构方法，包括步骤：假定在局部范围内，滑动的手指以匀速或匀加速运动；根据一般人手指滑动的速度变化范围缓存并实时地更新连续扫描的图像；预测图像的运动向量，动态地选取参考宏块，确定预测匹配块所在的帧及其位置，对预测匹配块所在的帧图像作插值，在预测匹配块的邻域内搜索最佳匹配块，得到亚像素精度的运动估计的运动向量；以运动向量和预测向量的差值作为反馈量，自适应调整运动搜索范围；变换连续帧图像的运动向量，拼接指纹图像。
2.按权利要求1所述的方法，其特征在于，还包括步骤：根据一般人手指滑动的速度变化范围缓存连续扫描的图像，并且实时地更新，实时地清除已完成拼接的图像，只保存相应帧的运动向量和重建的指纹图像，有效地减轻存储的压力，并且满足实时性要求。
3.按权利要求1所述的方法，其特征在于，还包括步骤：以运动向量和预测向量的差值作为反馈量，自适应调整搜索匹配块的范围，当手指滑动的速度变化较大时，既能够保证快速地搜索到最佳匹配块，又能够避免搜索陷入局部最优点。
4.按权利要求1所述的方法，其具体步骤如下：
步骤1-1：分割定位手指扫过传感器的起始位置，统计连续扫描图像的对比度直方图，迭代选取阈值，以此判断是背景还是指纹图像；
步骤1-2：缓存连续扫描的图像；
步骤1-3：计算缓存的连续图像的运动向量；
步骤1-4：拼接指纹图像，充分利用扫描图像有限的垂直分辨率，变换连续帧图像的运动向量，得到不同的帧之间离散的相对位移，根据位移关系拼接相应的帧，重建指纹图像；
步骤1-5：更新缓存并判断手指扫描是否终止，清除已完成拼接的图像，更新缓存，采用同步骤1-1动态阈值分割的方法，并结合运动向量判断，如手指停止滑动，则重构过程结束，否则转步骤1-2。
5.按权利要求4所述的方法，运动向量计算：
假定每帧图像中的所有像素做同一运动，则当前帧的运动向量用图像宏块的运动向量来表示，具体实现步骤如下：
步骤3-1：计算初始运动向量，在图像的当前帧选取M×N像素的子块，作为初始运动估计的参考宏块，设传感器的分辨率为C×L，则取M＝C-2P，N＝1～L-1，其中P＝8～16，采用全搜索算法，在上一帧搜索到与参考宏块最匹配的宏块，块匹配的准则为绝对平均误差准则，即寻找灰度绝对平均误差最小的图像宏块，参考宏块与匹配块在二维平面上的位移即为初始运动向量，如果预测运动向量的垂直分量小于或等于1，则重新选取参考宏块，隔帧搜索匹配块，参考宏块与匹配块在二维平面上的位移除以间隔的帧数即得到初始运动向量；
步骤3-2：预测运动向量；
步骤3-3：动态地选取参考宏块；
步骤3-4：根据预测运动向量和参考宏块的大小确定预测匹配块所在的帧及其位置；
步骤3-5：对预测匹配块所在的帧图像作亚像素精度的运动估计的像素插值，采用双线性插值法，得到半像素或
像素位置的点，形成以
像素或
像素为间距的像素阵；
步骤3-6：计算运动向量，采用绝对平均误差准则，在插值得到的像素阵上预测匹配块的邻域内搜索最佳匹配块，参考宏块与最佳匹配块在二维平面上的位移即为亚像素精度的多帧运动估计的运动向量，对于隔帧搜索的匹配块，运动向量需除以间隔的帧数；
步骤3-7：自适应调整运动搜索范围，以运动向量和预测向量的差值作为反馈量，自适应地调整运动估计搜索最佳匹配块的范围。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB200510012049XA CN100373393C (zh) | 2005-06-30 | 2005-06-30 | 基于运动估计的扫描指纹图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB200510012049XA CN100373393C (zh) | 2005-06-30 | 2005-06-30 | 基于运动估计的扫描指纹图像重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1889092A CN1889092A (zh) | 2007-01-03 |
| CN100373393C true CN100373393C (zh) | 2008-03-05 |
Family
ID=37578368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200510012049XA Expired - Fee Related CN100373393C (zh) | 2005-06-30 | 2005-06-30 | 基于运动估计的扫描指纹图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100373393C (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100580706C (zh) * | 2008-02-01 | 2010-01-13 | 中国科学院上海技术物理研究所 | 凝视型相机运动点目标定位方法与系统 |
| CN104281841A (zh) * | 2014-09-30 | 2015-01-14 | 深圳市汇顶科技股份有限公司 | 一种指纹识别系统及其指纹处理方法和装置 |
| US9836635B2 (en) | 2014-10-09 | 2017-12-05 | Cognex Corporation | Systems and methods for tracking optical codes |
| KR20180098058A (ko) * | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 디스플레이에 포함된 픽셀을 이용하여 센서의 위치를 확인하는 방법 및 전자 장치 |
| CN109544591B (zh) * | 2018-10-31 | 2021-05-28 | 北京金山云网络技术有限公司 | 一种运动估计方法、装置、电子设备及存储介质 |
| CN110263751B (zh) * | 2019-06-27 | 2021-07-06 | Oppo广东移动通信有限公司 | 指纹识别方法及相关产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1172308A (zh) * | 1996-06-14 | 1998-02-04 | 汤姆森-无线电报总公司 | 指纹读取系统 |
| US20030081683A1 (en) * | 2001-10-29 | 2003-05-01 | Samsung Electronics Co., Ltd. | Motion vector estimation method and apparatus thereof |
-
2005
- 2005-06-30 CN CNB200510012049XA patent/CN100373393C/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1172308A (zh) * | 1996-06-14 | 1998-02-04 | 汤姆森-无线电报总公司 | 指纹读取系统 |
| US20030081683A1 (en) * | 2001-10-29 | 2003-05-01 | Samsung Electronics Co., Ltd. | Motion vector estimation method and apparatus thereof |
Non-Patent Citations (2)
| Title |
|---|
| 基于运动检测的夜视图像时域滤波技术研究. 朱丽娟.南京理工大学硕士学位论文. 2004 * |
| 新一代视频编码标准H.26L及其特性分析. 张晓峰，张晔.中国图象图形学报，第8卷第8期. 2003 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1889092A (zh) | 2007-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100373393C (zh) | 基于运动估计的扫描指纹图像重构方法 | |
| US7999856B2 (en) | Digital image stabilization method for correcting horizontal inclination distortion and vertical scaling distortion | |
| CN106600536B (zh) | 一种视频图像超分辨率重建方法及装置 | |
| Giachetti | Matching techniques to compute image motion | |
| EP2839389B1 (en) | Image retargeting quality assessment | |
| US9189700B2 (en) | Device and method for analyzing the correlation between an image and another image or between an image and a video | |
| CN110223330B (zh) | 一种可见光和红外图像的配准方法及系统 | |
| CN101267493B (zh) | 透视变形文档图像的校正装置和校正方法 | |
| CN101551900B (zh) | 一种视频马赛克图像检测方法 | |
| US20060285729A1 (en) | Fingerprint recognition system and method | |
| CN100517371C (zh) | 基于波形匹配的指纹图像帧序列的拼接方法 | |
| US20060002609A1 (en) | Hierarchical optimization method and system for pattern recognition and edge detection | |
| CN101945284A (zh) | 一种运动估计的装置和方法 | |
| US20160292887A1 (en) | Apparatus and method of extracting keypoint and image matching system for analyzing distribution state of contents using the same | |
| CN101620678B (zh) | 生物测量信息读取装置和生物测量信息读取方法 | |
| CN101556694B (zh) | 一种旋转图像的匹配方法 | |
| EP3338249B1 (en) | Video image alignment for video stabilization | |
| CN105792131A (zh) | 一种定位方法及系统 | |
| KR101713197B1 (ko) | 서버 컴퓨팅 장치 및 이를 이용한 콘텐츠 인식 기반의 영상 검색 시스템 | |
| Alba et al. | Phase-correlation guided area matching for realtime vision and video encoding | |
| CN115272428A (zh) | 图像对齐方法、装置、计算机设备和存储介质 | |
| KR20110038971A (ko) | 스케일을 고려한 이미지 패치 추적 장치 및 방법 | |
| CN113344905A (zh) | 一种带材跑偏量检测方法及系统 | |
| CN111814624A (zh) | 视频中行人步态识别训练方法、步态识别方法及存储装置 | |
| CN109816685A (zh) | 一种在视频中针对快速移动物体跟踪的位置补偿方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080305 Termination date: 20150630 |
|
| EXPY | Termination of patent right or utility model |