CN114758346A - 高精度影像全局显微的打印文书鉴定系统 - Google Patents
高精度影像全局显微的打印文书鉴定系统 Download PDFInfo
- Publication number
- CN114758346A CN114758346A CN202210428752.2A CN202210428752A CN114758346A CN 114758346 A CN114758346 A CN 114758346A CN 202210428752 A CN202210428752 A CN 202210428752A CN 114758346 A CN114758346 A CN 114758346A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- upper left
- line
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007639 printing Methods 0.000 title claims description 41
- 238000000034 method Methods 0.000 claims abstract description 117
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 26
- 230000003321 amplification Effects 0.000 claims abstract description 24
- 238000006073 displacement reaction Methods 0.000 claims description 52
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 230000000087 stabilizing effect Effects 0.000 claims description 27
- 238000013461 design Methods 0.000 claims description 21
- 238000012417 linear regression Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000000386 microscopy Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 239000000843 powder Substances 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 239000003381 stabilizer Substances 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 39
- 230000007547 defect Effects 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007640 computer printing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000009347 mechanical transmission Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请将自动显微镜平台系统与影像链接结合,首先对影像全局高倍放大扫描系统进行升级,克服系统采集范围小、采集效率低、需要人工辅助、系统误差大等缺点,确保采集影像质量和系统控制精度,更换更合理的部件和更新系统架构,使仪器功能更强大、使用更方便,其次,对于获取的字符局部显微影像,根据影像的特征设计链接算法,并采用针对大规模影像链接的坐标定位全局模型完成影像链接,最后,提取文书与检材文书中相同字体字号的同一字符显微影像来分析不同打印机打印相同字符的纹理差异并分类。基于字符纹理差异开发辅助检验模块帮助文检人员高效准确对打印文书进行辅助检验,增强文检工作的效率和准确性。
Description
技术领域
本申请涉及一种高精度打印文书鉴定系统,特别涉及一种高精度影像全局显微的打印文书鉴定系统,属于打印文书鉴定技术领域。
背景技术
打印文书逐渐代替手写文书,成为记录信息的主要媒介,并与我们每个人的生活息息相关。但与此同时,有关打印文书的违法行为也日益增多,主要是篡改打印文书,对重要文书的非法复制(盗版)等。因此,打印文书鉴定问题迫在眉睫。打印文书鉴定有两种应用场景:一种是一对一鉴定,即鉴定两份打印文书是否由同一台打印机打印生成。第二种是一对多检索,通过比对找到目标文书在打印文书库中最相近的文书,从而追查到打印文书的打印机来源。传统文书检验依靠人工比对,效率低且检验方法和检验对象有限,而且人工检验费时费力,加上信息的相似性,人工检验的效率和准确度十分低下。当前亟需利用模式识别人工智能对打印文书进行自动准确的鉴别,或利用计算机软硬件技术为打印文书检验提供有力的辅助手段。
打印文书检验是一个影像处理与模式识别过程,首先通过影像采集仪器获取字符影像,其次通过预处理来消除影像获取中带来的噪声,然后对打印文书影像进行特征提取,最后计算两份打印文书的特征距离得出鉴别结果。在计算机打印文书检验中,影像采集是首要,影像的采集质量会影响影像的特征提取和分类识别。因此,本申请的目标快速准确的获取体现打印文书字符丰富细节信息的影像。
即使是很高精度的扫描仪获取的影像也不能达到文书检验要求的清晰度,再通过软件放大仍不能有效提取影像可鉴别的特征。而且打印文档字符较规范,当不同打印机打印相同内容时,用肉眼或在低倍显微镜下观察,几乎难以发现有任何的差异。只有在高倍显微镜下才能观察到真正能够反映打印机身份信息的纹理特征。但高倍显微镜视场有限,经过高倍显微放大后只能看到一个字符的局部影像,而打印文书检验的特征提取需要影像的全局信息。因此需要进一步研发带动镜头平稳移动的机械传动装置,以及多幅放大影像的拼接问题。而且当显微镜的放大倍数调的越高,显微镜的镜像亮度反而越低。为了能够拍摄到细节清晰的影像,普通相机在拍照时相应的曝光时间需要延长,一整张A4纸的采集需要上万个镜头,会造成采集效率严重降低,将低速相机换成高速帧曝光相机抓拍影像,才能提高采集效率。
综上所述,现有技术的打印文书鉴定仍存在若干问题和缺陷,本申请的难点和待解决的问题主要集中在以下方面:
(1)现有技术的打印文书检验主要依靠人工比对,效率低且检验方法和检验对象有限,而且人工检验费时费力,加上信息的相似性,人工检验的效率和准确度十分低下,缺少利用模式识别人工智能对打印文书进行自动准确的鉴别,或利用计算机软硬件技术为打印文书检验提供有力的辅助手段,缺少通过影像采集仪器获取字符影像,对打印文书影像进行特征提取,计算两份打印文书的特征距离得出鉴别结果的方法;在计算机打印文书检验中,影像采集是首要,影像的采集质量会影响影像的特征提取和分类识别,现有技术无法快速准确的获取体现打印文书字符丰富细节信息的影像;给后续的打印文书鉴定带来较大难度。
(2)当前高精度的扫描仪获取的影像也不能达到文书检验要求的清晰度,再通过软件放大仍不能有效提取影像可鉴别的特征,当不同打印机打印相同内容时,用肉眼或低倍显微镜几乎难以发现有任何的差异,只有在高倍显微镜下才能观察到真正能够反映打印机身份信息的纹理特征,但高倍显微镜视场有限,经过高倍显微放大后只能看到一个字符的局部影像,而打印文书检验的特征提取需要影像的全局信息,现有技术缺少带动镜头平稳移动的机械传动装置,无法解决多幅放大影像的拼接问题,而且当显微镜的放大倍数调的越高,显微镜的镜像亮度反而越低,曝光时间需要延长,一整张A4纸的采集需要上万个镜头,会造成采集效率严重降低,无法清晰完整快速精确的采集打印文档上各区域的显微放大影像,后续的打印文书鉴定困难重重,无法推广到实际应用中;
(3)现有技术缺少对影像全局高倍放大扫描系统架构的优化,文书放大扫描系统升级的显微放大硬件结构、驱控电路板、硬件驱动程序的设计都存在较大缺陷,也缺少快速精确的影像显微扫描方案和模型,缺少精细的计算扫描参数、扫描稳定台偏角、显微扫描流程,系统所使用的电控云台不够长,系统进行二维区域扫描时,不能覆盖整张A4纸的内容,需要依靠人工移动文书辅助采集,造成采集效率低下;系统所使用的相机是低速相机,曝光时间长,自动采集效率低,而且相机前后拍摄的影像曝光差异大,配准误差大甚至错误;硬件工艺设计简单粗糙,系统关键部件电控云台暴露在空气中,水分、灰尘、杂物等会落入电控游标云台的精密螺杆上,严重影响电控游标云台的精度,缺少必要的外部包装设计。
(4)缺少大规模局部显微影像链接方法、影像局部显微配准策略、坐标定位的全局链接模型,缺少打印文书辅助鉴定模块;现有技术的系统无法全自动扫描能够覆盖到整张A4纸内容,而且相机拍摄的二维影像序列中相邻影像之间未设定重叠区域,不仅影响采集的影像数量,而且影响链接的质量;现有技术采集速度慢,高倍显微镜视场有限,只能拍摄到字符的局部影像,采集完一整张A4纸需要上万个镜头,采用步进停顿相机拍摄的方法加上低速相机曝光时间很长,对一整张A4纸的采集将耗费几天时间,严重影响采集的效率;显微镜聚焦不清晰,显微放大文书只要出现很小的位移变动就可能造成显微镜下不能观察到清晰影像,无法满足采集要求;缺少快速准确的自动链接算法,几乎每张影像都与周边四幅影像链接,影像的两两配准速度和精确度达不到,缺少兼顾链接速度和精度的链接算法。
发明内容
本申请将自动显微镜平台系统与影像链接技术结合起来,首先对原影像全局高倍放大扫描系统进行升级,克服系统采集范围小、采集效率低、需要人工辅助、系统误差大等缺点,确保采集影像质量和系统控制精度以及选择和更换更合理的各主要部件和更新系统架构,使仪器功能更强大、使用更方便,其次,对于获取的字符局部显微影像,根据影像的特征选择链接算法,并采用针对大规模影像链接的坐标定位全局模型完成影像链接,最后,提取文书与检材文书中相同字体字号的同一字符显微影像来分析不同打印机打印的相同字符的纹理差异,并对纹理差异进行分类。基于字符纹理差异开发辅助检验模块帮助文检人员高效准确对打印文书进行辅助检验,增强文检工作的效率和准确性。
为实现以上技术效果,本申请所采用的技术方案如下:
高精度影像全局显微的打印文书鉴定系统,一是影像全局高倍放大扫描系统架构;二是文书放大扫描系统升级设计,包括:显微放大硬件结构升级、驱控电路板升级设计、硬件驱动程序设计;三是影像显微扫描方案加强设计,包括:计算扫描参数、计算扫描稳定台偏角、显微扫描流程;四是大规模局部显微影像链接方法,包括:影像局部显微配准策略、坐标定位的全局链接模型;五是打印文书辅助鉴定模块设计;
首先,采用对采集文书进行显微放大后再拍照的方式获取影像,将采集的多幅局部影像链接成完整字符影像,采用区域扫描并在此基础上设计坐标定位的全局链接模型;
其次,进行硬件结构工艺升级,通过增加游标云台长度,使仪器进行二维区域扫描时能够扫描到A4纸全部;重新设计扫描方法即相机随步进电机移动时等时间间隔抓拍影像,相机采用高速帧曝光相机使相机在快速移动中每次都能抓拍到清晰静止的影像,提高采集速率且保证采集影像质量;保证相邻影像重叠区域大小相同,将步进电机细分驱动器细分数调到32细分以上,使曝光时间内游标云台移动位移趋近0;
再次,采用基于平滑瓣的特征关联匹配方法进行配准,在进行影像配准时采用标量增强学习法来寻找特征关联匹配的最佳匹配位置;根据二维影像序列的空间排列特征,设计基于线性回归的全局对准模型,对大规模影像进行快速配准并消除影像两两配准时的匹配误差,采用渐进渐出法对影像进行融合,使影像重叠区域实现平滑过渡;
最后,实现影像全局显微放大系统的的打印文书鉴定应用,分别提取文书中相同字体字号的同一字符的显微放大影像进行纹理差异比较,基于打印差异开发打印文书辅助鉴定模块。
优选地,显微放大硬件结构升级,改进包括:X轴电控游标云台固定有支架,支架上固定有相机和高倍显微镜头,Y轴电控游标云台上固定有稳固台,用于放置文书,其中,X方向游标云台的行程超过A4纸的宽度,Y方向游标云台的行程超过A4纸的长度,当X、Y轴电控游标云台近端复位之后,A4纸的右上方位于高倍显微镜头的正下方,X轴方向游标云台在步进电机带动下做横向匀速运动,Y轴方向游标云台在步进电机带动下做步进运动,X轴游标云台搭载相机匀速运动过程中相机按等时间间隔抓拍影像,每次拍摄的影像依次传送到计算机命名、保存,采集链接系统算法对保存的影像序列进行链接,获得打印文书大视野全局显微影像;
显微放大硬件系统分为两个部分,一是驱动控制部分,二是影像采集部分,驱动控制模块控制游标云台做二维平面运动,包括对游标云台速度和方向控制,计算机端传送控制指令、速度和步进指令到控制电路,驱动程序实现速度设定、归零操作、方向设定、位移量设定;
在对打印文档进行采集时,将打印文档放置在稳固台上,调节LED灯的光照强度,显微镜的放大倍数,设定横向游标云台的移动速度和抓拍时间间隔,纵向游标云台的步距参数,并使影像聚焦清晰,选定所要采集的字符区域,X、Y轴电机复位到采集区域的起始点,采集开始,X轴游标云台搭载高速相机以较高的速度匀速运动,在运动过程中相机按照等时间间隔抓拍影像,高速相机曝光帧率大确保每次抓拍到静止的影像且不出现拖影模糊,X轴电机带动相机完成一行扫描后,Y轴步进电机向上步进运动,使下一行位于高倍显微镜头的下方,X轴电机带动相机再反向运动扫描影像,循环往复直到采集完指定区域的影像。
优选地,硬件驱动程序设计:游标云台由步进电机驱动程序控制,步进电机驱动程序通过RS232接口进行电平信号的发送与控制,通过计算机向驱动程序输入指令来控制游标云台的行程与影像采集;
(1)查询指令
归零查询与限位查询均通过串口DCD线来查询,如果步进电机走到机械行程的边界处,则触发限位开关接通,使DCD为低电平,而归零点是步进电机负方向上的限位点,远端限位查询通过CTS线来查询,如果步进电机走到机械行程的远端边界处,则触发限位开关接通,使CTS为低电平;归零查询或近端限位查询,通过SerialPort类的CDHolding方法来读取DCD线上的电平信号,从而查询归零信号;远端限位查询,通过CTSHolding方法来读取CTS线上的电平信号,从而查询限位信号;
近端限位(归零)查询:if(serialPort1.CDHolding(O));
远端限位查询:if(serialPort1.CTSHoldingO));
(2)设置指令
速度设置:输出脉冲数的PPS决定步进电机的速度,速度设置有两方面设置:
a)字符串二进制码:最快速度serialPort1.Write(“Ox55”);
中等速度serialPort1.Write(“Ox3Ox3”);
低等速度serialPort1.Write(“Ox0Ox15”);
b)串口波特率:高波特率serialPort1.BaudRate=br115200;
中波特率serialPort1.BaudRate=br19200;
低波特率serialPort1.BaudRate=br9600;
其中Ox5即为二进制数0101,Ox3为二进制数0011,依据字符串内容设定速度时最快速度为中等速度的2倍,同理中等速度为低等速度的2倍。
步进电机的移动速度分为采集速度和复位速度,步进电机在复位时相机并没有拍摄,在细分驱动器细分数设定下,通过设置不同的波特率和发送数据实现对步进电机采集速度和复位速度的设定;
方向设置:通过RS232串口的Dtr引脚向细分驱动器芯片DMD402A的Dir引脚发送电平控制信号控制电机的运转方向;
正向位移:serialPort1.DtrEnable(false);反向位移:serialPort1.DtrEnable(true);
归零设置:首先由归零查询指令得到归零状态,如果机器没有归零,则启动归零设置,结合DCD限位信号进行位移归零;
查询是否归零:if(serialPortl.CDHolding());
归零设置:serialPort1.CDHolding(false);
while(serialPort1.CDHolding())
serialPort1.Write(byte[]buffer,intoffset,intcount);
(3)控制指令
影像采集控制过程为:1、初始化相机(CameraInit(intindex));2、运行相机,开始捕获影像数据(CameraPlay);3、设置影像的分辨率(CameraSetResolution);4、显示影像(CameraShowImage);5、获取影像保存为BMP文书(CameraSavelmage);6、关闭相机采集模式与数据连接(CameraFree);
位移轴切换:用串口的RTS线来向三级管的基极发送高低电平,实现X轴与Y轴位移间的切换:X轴位移:serialPort1.RtsEnable(true);Y轴位移:seriaiPort1.RtsEnable(false);
位移控制:X轴游标云台带动相机和高倍显微镜头匀速运动,相机按等时间间隔抓拍影像,完成一行扫描后,Y轴步进电机带动纸张稳固台步进一次,X轴电机带动相机再反向扫描,直到完成指定区域的扫描。
优选地,计算扫描参数:采集影像大小640*480,像素尺寸3.2μm*3.2μm,60fps最高帧率,光学放大倍数=0.5×4.5=2.25(倍),电子放大倍数=21×25.4-=8=66.68(倍),,游标云台在行向运动时,相机抓拍时间间隔内游标云台的位移小于2.650mm,游标云台在步进运动时,游标云台的步进量小于1.970mm;
高速工业相机最高帧率为60fps,步进电机在行扫描时最快速率不能超过2.650*60=159(mm/s);
步进电机固有步距角为1.8度,螺杆导程为2mm,将步进电机细分驱动器细分数设定为32,即步进电机转动一圈需要6400个脉冲,同时设定串口的波特率为19200,发送的二进制编码为0x55,则游标云台移动速度为:
曝光时间选取1300us,细分驱动器的细分数设定为32,游标云台在曝光时间内移动的位移为:
3000μm×1300×10-6=3.9(μm)
设定影像重叠区大小为10%,即每次X方向与Y方向的步进距离是实际影像对应区域大小的90%,即:
自动采集时,设置串口波特率为19200,发送二进制编码为0x55,计算出发送脉冲频率为9600;细分驱动器细分数设定为32,即步进电机每转一周或是游标云台每移动2mm需要6400个脉冲。
设定X方向步进电机等时间间隔内位移量所需脉冲数为7680,即相邻影像的间隔是2.40mm,设定Y方向步进脉冲数为5760,垂直方向上相邻影像的间隔是1.80mm,X轴游标云台匀速运动的速度是3mm/s,相机的抓拍时间间隔是0.8s;
将采集的区域大小设定为180mm*270mm,将X,Y轴步进电机的复位点设定在纸张左上角字符正对镜头的位置,并以此为起点,将采集区域分成一个个单元格,每行单元格数量75个,每列单元格数量150个,影像采集只须移动到采集区域的起点,再标定采集区域,实现对标定采集区域的自动采集。
优选地,计算扫描稳定台偏角:设偏角为α,CMOS相机采集的影像宽高为M×N,相邻影像没有重叠区域的偏角为:
通过调整旋转CCD摄相机的安装位置来减小相机与游标云台之间的偏角,将影像像素与物理长度之间的数量关系定义为游标尺,表示每个影像像素对应到实际采集区域的物理长度,高倍显微镜头的光学放大倍数记为m,CMOS影像传感器的像素尺寸为x(μm),该放大倍数下的游标尺就是x/m;
设偏角为α,该倍数下的游标尺为f,则影像对应的采集区域的物理大小是宽为M×f,高为N×f,影像坐标系和电控游标云台坐标系是同一坐标系,则偏角的计算方法是:
第一步:将文书放置在纸张稳固台上,采集影像I1;
第二步:驱动电控游标云台沿X轴方向移动距离△x,采集影像I2,,其中M×f×10%<△x<M×f×90%,使相邻两幅影像有重叠区域;
第三步:采用链接算法计算两幅影像的重合位置为(xp,yp),夹角计算式:
计算出偏角之后,在机械安装中通过不断调整高清摄像机和电控游标云台的相对位置来减小偏角,将偏角降低到最小。
优选地,显微扫描流程:显微影像扫描采用二维扫描方式,显微镜通过镜头架固定在X轴游标云台的支架上,位于纸张稳固台的上方,游标云台搭载CMOS相机做二维平面运动扫描文书;
自由选择采集区域后,游标云台自动运行进行影像采集,假定在某个采集区域采集的影像数量为(m+1)*(n+1)幅,则代表采集m+1行影像,每一行有n+1列;电控游标云台首先从采集区域的起点沿水平方向运动,CMOS相机抓拍影像,从左到右移动依次采集n+1幅影像,完成指定采集区域的第一行的扫描,Y轴电机向上步进一步,电控游标云台沿着相反的方向继续对第二行进行扫描,采集路线为”Z”字形,直到完成对指定区域的影像采集,影像的编号代表采集顺序,给影像按采集顺序编号方便后续的影像处理。
优选地,影像局部显微配准策略:采用在同一坐标系下对采集的二维序列影像进行坐标定位的方法进行影像配准,选择定位影像左上角像素点坐标,采取对一行一行的影像进行逐行的配准策略,影像配准均在同一坐标系下,首先采用配准算法对第一行影像进行两两配准,通过基于平滑瓣配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出影像左上角像素点的间距和第一行影像左上角像素点所在直线方程,然后通过坐标定位的全局链接算法对第一列影像进行两两配准,通过配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出垂直方向影像左上角像素点的间距和第一列影像左上角像素点所在直线方程,然后以第一列每行影像左上角像素点坐标为参考点计算出每行影像左上角像素点所在直线方程,在根据行向影像左上角像素点间距计算出每行影像在坐标系下的影像左上角像素点坐标,至此采集的二维影像序列每幅影像左上角像素点在坐标系下的位置确定,影像配准完成后再通过影像融合方法对重叠区域进行融合就得到重叠区平滑过渡的影像;
配准策略基于系统采集的影像在水平方向上相邻影像重叠区大小和位置相同,在垂直方向上相邻影像重叠区大小和位置也相同,采用计算影像左上角像素点所在直线方程并对影像左上角像素点坐标进行线性回归的方法,消除影像间两两配准时在影像序列闭合处产生的累积误差。
优选地,坐标定位的全局链接模型:采用基于平滑瓣的特征关联匹配对第一行和第一列两两相邻的影像进行配准,在进行影像配准时采用标量增强学习法来寻找特征关联匹配的最佳匹配位置;
在采集区域内,第一行和第一列影像数量并不多,采用特征关联匹配法计算量并不大,准确的计算出第一行和第一列影像在坐标系下的影像左上角像素点位置,进而计算出行、列方向影像左上角像素点的间距和行、列方向影像左上角像素点所在的直线方程,通过以每行第一幅影像左上角像素点坐标为参考点能够计算出每行影像左上角像素点所在直线方程,该方程采用基于最小二乘法的一元线性回归的方法估算;
假设一元线性回归函数为Y=aX+b其中Y和X均为随机变量,a、b为待估参数,采用最小二乘法来估算参数a和b的值,令:
yi=axi+b+εi
式中参数a、b相互独立,εi为随机误差,将上式移项平方,得:
当上式取最小值时,与axi+b的误差最小,构造函数:
n为对应参数,令P(a,b)取最小值,即取P分别关于参数a、b的偏导数并使之为零:
得方程组:
xi不全相同,上述方程组的系数行列式为:
因此方程组(3.12)有唯一的一组解,并解得a,b的模型参数估算值为:
对于给定的x值,取a*x+b*作为回归函数Y=aX+b的估算值,得到模型参数估算值y*,对影像进行全局坐标定位,以第一幅影像左上角像素点为坐标原点,以影像上边界为X轴,左边界为Y轴建立坐标系;
对第一行影像左上角像素点进行坐标定位和左上角像素点线方程估算,对第一行影像采用特征关联匹配法两两配准,得到该行影像左上角像素点的坐标(x1j,ylj),其中j表示影像位于该行的j列,将(x1j,ylj)作为文书值,采用最小二乘法进行一元线性回归函数的参数估算后,得到行影像左上角像素点线方程为:
y*1i=a*1x1j+b*1
其中a*1、b*1为估算后得到的参数值,y*1j为根据行影像左上角像素点线方程估算所得的纵坐标值,当把每行的第一幅影像左上角像素点作为坐标原点,均根据行影像左上角像素点线方程进行水平方向上的链接;
对第一列影像左上角像素点进行坐标定位和列影像左上角像素点方程估算,对第一列影像采用特征关联匹配的方法进行两两配准,得到该列影像左上角像素点的坐标(x2i,y2 i),其中i表示影像位于该列的第i行,根据行影像左上角像素点线与列影像左上角像素点线垂直特征,列影像左上角像素点线的斜率为:
a*2=1/a*1
将该列第一行的影像左上角像素点坐标值带入列影像左上角像素点线回归方程,求得:
b*2=y21-a*2x2j
列影像左上角像素点线方程为:
y*2i=a*2x2i+b*2
当把每列的第一幅影像左上角像素点作为坐标原点,均根据列影像左上角像素点线方程进行垂直方向的链接,在确定第一列影像的位置后,每一行影像的链接均以该行第一幅影像为基准,根据行影像左上角像素点线方程确定该行每幅影像的位置,确定每幅影像左上角像素点基于全局对准坐标系的坐标:
(x2i+x1i,y*2i+y*1j)
上式为影像左上角像素点的坐标。
至此,基于线性回归的全局对准模型构造完成,根据所有影像左上角像素点在全局对准坐标系中的位置,进行准确的影像链接。
影像配准完成后,二维序列影像左上角像素点在坐标系中位置固定,为完成影像链接,接下来进行影像融合,即修正影像重叠部分的平滑瓣值,使影像重叠部分平滑过渡,采用渐进渐出的图像融合法进行配准后的融合。
优选地,打印文书辅助鉴定模块设计:辅助检验可供鉴别的特征包括:字符边缘多余喷溅、空白处喷溅、笔画边缘粗糙度、局部笔画形态、墨粉堆积致密度、打印文书特征稳定度、全局字符形态;辅助鉴定别的途径是:分别提取检材与文书申请书中相同字体字号的同一字符,通过打印文书辅助鉴定模块对字符影像轮廓化、旋转、调色、拖动比对、调透明度方式比对字符影像的纹理差异。
与现有技术相比,本申请的创新点和优势在于:
(1)本申请将显微镜置于步进电机游标云台上并结合高速工业相机,开发了自动显微扫描数码显微镜,首先通过影像采集仪器获取字符影像,其次通过预处理来消除影像获取中带来的噪声,然后对打印文书影像进行特征提取,最后计算两份打印文书的特征距离得出鉴别结果,影像的采集质量会影响影像的特征提取和分类识别,本申请能够快速准确的获取体现打印文书字符丰富细节信息的影像,在计算机软件控制下,相机随着步进电机游标云台的运动拍摄影像并能够在计算机软件的视频窗口上实时的显示视频影像,从而大大降低采集工作的强度和避免人工采集造成的采集错误。再将采集到的相邻影像间有重叠区的大规模影像序列通过链接算法进行链接,能够获得大视野的显微放大影像,在后续的计算机打印文书检验中能够用来提取完整的字符特征,本申请的影像全局显微放大采集仪器能够清晰、完整、快速、精确的采集打印文档上各区域的显微放大影像,使得丰富的打印细节特征能清晰的被拍摄获取,直接用于打印文书鉴定,具有巨大的实际意义和广泛的应用前景。
(2)本申请将自动显微镜平台系统与影像链接技术结合起来,首先对原影像全局高倍放大扫描系统进行升级,克服系统采集范围小、采集效率低、需要人工辅助、系统误差大等缺点,确保采集影像质量和系统控制精度以及选择和更换更合理的各主要部件和更新系统架构,使仪器功能更强大、使用更方便,其次,对于获取的字符局部显微影像,根据影像的特征选择链接算法,并采用针对大规模影像链接的全局对准模型完成影像链接,最后,提取文书与检材文书中相同字体字号的同一字符显微影像来分析不同打印机打印的相同字符的纹理差异,并对纹理差异进行分类。基于字符纹理差异开发辅助检验模块帮助文检人员高效准确对打印文书进行辅助检验,增强文检工作的效率和准确性。
(3)针对现有系统具有采集速率慢、影像曝光差异大、系统误差较大的缺陷,对现有系统进行了硬件结构工艺升级,通过增加游标云台长度,使仪器进行二维区域扫描时能够扫描到A4纸全部;针对采集速率慢和影像曝光差异大的问题,重新设计扫描方法即相机随步进电机移动时等时间间隔抓拍影像,相机采用高速帧曝光相机使相机在快速移动中每次都能抓拍到清晰静止的影像,不仅提高采集速率而且保证采集影像的质量;为降低系统误差,保证相邻影像重叠区域大小相同,将步进电机细分驱动器细分数调到32细分以上,使曝光时间内游标云台移动位移趋近0,有效降低系统误差,设计采集系统控制软件通过实验验证采集方案的实用性,具有较高的采集速度,显微镜聚焦清晰。
(4)采用特征关联匹配的方法进行配准,根据二维影像序列的空间排列特征,设计基于线性回归的全局对准模型,对大规模影像进行快速配准并有效消除影像两两配准时的匹配误差,影像的两两配准具有很高的速度和精确度,提出兼顾链接速度和精度的链接算法,最后采用渐进渐出法对影像进行融合,使影像重叠区域实现平滑过渡。实现影像全局显微放大系统的应用即打印文书辅助检验,基于打印差异开发辅助检验软件模块,提供影像旋转、轮廓化、调色、透明度、拖动比对等功能,辅助检验软件模块具备科学性,易用性,可接受性等特征,是文检人员完成人工验证快捷而专业的有力的辅助工具。
附图说明
图1是驱控电路板升级设计的驱控电路接线图。
图2是计算扫描稳定台偏角过程示意图。
图3是计算扫描稳定台偏角过大时扫描影像示意图。
图4是影像显微扫描方案加强设计的自动扫描流程示意图。
图5是影像显微扫描方案加强设计的自动扫描路线图。
图6是影像采集实验所采集的文书示例图。
图7是影像局部显微配准策略示意图。
图8是估算行影像左上角像素点方程示意图。
图9是基于线性回归的全局对准模型构造示意图。
图10是实验中抽样间隔为1、2、4、6、8时影像配准时间图。
图11是显微影像链接实验的局部待配准影像序列图。
图12是链接模型抽样间隔为4的局部配准结果示意图。
图13是渐进渐出法进行影像融合结果示意图。
图14是辅助检验功能模块结构和界面设计示意图。
具体实施方法
下面结合附图,对本申请提供的高精度影像全局显微的打印文书鉴定系统的技术方案进行进一步描述,使本领域技术人员能够更好的理解本申请并能够予以实施。
要获取满足文书检验要求的影像,扫描仪分辨率太低,不能真实显现打印文书的细节,而影像的丰富细节信息在高倍显微镜下才能显现,因此,需要对打印文书中字符显微放大后再拍照。但显微镜视场十分有限,高倍显微镜下显现的只是一个字符的局部,对一个小范围的文书的采集需要非常多的镜头,如果通过人工移动镜头采集的方式十分费时,而且获得的局部字符影像并不能直接用于打印文书鉴定,必须将局部影像链接成完整字符影像,提取完整字符特征。由于不同打印机的电子系统、关键部件、墨粉等存在差异,这些差异都体现在输出的打印图形中,通过提取文书与检材文书中相同字体字号的同一字符的显微影像并比较纹理差异,能够在视觉上进行辅助检验。
首先,采用对采集文书进行显微放大后再拍照的方式获取影像,再将采集的多幅局部影像链接成完整字符影像的采集方式,采用区域扫描设计并再此基础上设计链接算法。
其次,针对现有系统具有采集范围小、采集速率慢、影像曝光差异大、系统误差较大的缺陷,对现有系统进行了硬件结构工艺升级,通过增加游标云台长度,使仪器进行二维区域扫描时能够扫描到A4纸全部;针对采集速率慢和影像曝光差异大的问题,重新设计扫描方法即相机随步进电机移动时等时间间隔抓拍影像,相机采用高速帧曝光相机使相机在快速移动中每次都能抓拍到清晰静止的影像,不仅提高采集速率而且保证采集影像的质量;为降低系统误差,保证相邻影像重叠区域大小相同,将步进电机细分驱动器细分数调到32细分以上,使曝光时间内游标云台移动位移趋近0,有效降低系统误差,设计采集系统控制软件通过实验验证采集方案的实用性。
再次,采用特征关联匹配的方法进行配准,根据二维影像序列的空间排列特征,设计基于线性回归的全局对准模型,对大规模影像进行快速配准并有效消除影像两两配准时的匹配误差,最后采用渐进渐出法对影像进行融合,使影像重叠区域实现平滑过渡。并将新的配准方法和融合方法应用到现有系统采集的影像同样取得了良好的链接效果。
最后,实现影像全局显微放大系统的应用即打印文书辅助检验,分别提取文书和检材文书中相同字体字号的同一字符的显微放大影像进行纹理差异比较,实现视觉上辅助检验,基于打印差异开发辅助检验软件模块,为文检工作提供高效的辅助工具。
本申请升级开发的影像全局显微放大采集系统结构合理,能够选定A4纸上任意大小的采集区域,通过采集系统控制软件驱动步进电机进行复位从而定位到采集区域起点并对所选采集区域的字符实现快速准确的影像采集,很好的满足打印文书的大规模显微影像采集及链接需求,而且开发的辅助检验软件模块在文书与检材文书中存在相同字体字号的同一字符条件下具有良好的鉴别能力。
一、影像全局高倍放大扫描系统架构
对打印或印刷文书进行全局高倍放大扫描,包括高倍显微镜头、高清摄像机、游标云台和稳固台,稳固台置于固定有支撑杆的游标云台下,在杆上装有和高倍显微镜头嵌套组合在一起的高清摄像机,并将环形光源环绕于高倍显微镜头四周,通过游标云台水平方向或垂直方向移动,高清摄像机在步进移动中拍摄显微影像,并将所拍影像传送到计算机进行保存,影像链接算法再将局部影像链接成为区域文档影像,兼顾打印细节的显微和字符影像的完整。
文书影像采集控制过程是:将文书放置在稳固台上,用玻璃覆盖,打开高清摄像机预览,观察影像清晰度,调节相机连接杆上的聚焦旋钮使影像达到最大清晰度,移动文书进行字符影像定位,选择影像采集方案,影像采集方案包括自动采集和单步采集两种方式,自动采集是预先设定游标云台的横向移动步数和纵向移动步数,相机按设定的速度、等间距拍摄影像;单步采集是为采集单幅影像,设置控制游标云台按照前、后、左、右四个方向单步运行,相机单步采集单幅影像,多幅影像通过链接获得全局显微放大影像。
但以上系统还存在许多不足之处,可以进一步的改进。包括:系统所使用的电控游标云台不够长,系统进行二维区域扫描时,不能覆盖整张A4纸的内容,需要依靠人工移动文书辅助采集,造成采集效率低下;系统所使用的相机是低速相机,曝光时间长,自动采集效率低,而且相机前后拍摄的影像曝光差异大,配准误差大甚至错误;硬件工艺设计简单粗糙,系统关键部件电控游标云台暴露在空气中,水分、灰尘、杂物等会落入电控游标云台的精密螺杆上,严重影响电控游标云台的精度,缺少必要的外部包装设计。
二、文书放大扫描系统升级设计
(1)确保全自动扫描能够覆盖到整张A4纸内容。而且相机拍摄的二维影像序列中相邻影像之间需要有重叠区域,重叠区域是为了下一步的影像链接。重叠区域的设定不仅影响采集的影像数量,而且影响链接的质量。(2)具有较高的采集速度。在进行文书扫描时,需要将高倍显微镜头的放大倍数调节到最大(本系统适配镜的放大倍数是0.5X,物镜的放大倍数调节到最大4.5X),由于高倍显微镜视场有限,只能拍摄到字符的局部影像,采集完一整张A4纸需要上万个镜头,采用步进停顿相机拍摄的方法加上低速相机曝光时间很长,对一整张A4纸的采集将耗费几天时间,严重影响采集的效率,为克服采集速率慢的问题,设定电控游标云台搭载相机以较高的速度运动,采用高速工业相机抓拍影像,高速工业相机的帧率很高每次抓拍到的都是静止影像。(3)显微镜聚焦清晰,显微放大文书只要出现很小的位移变动就可能造成显微镜下不能观察到清晰的影像,无法满足采集要求,因而需要承载显微镜的电控游标云台非常平行,承载文书的稳固台十分平整和覆盖文书的玻璃平面非常平整。(4)自动链接算法快速准确。由于采集的是二维序列影像,几乎每张影像都与周边四幅影像链接,影像的两两配准需要很高的速度和精确度,需要兼顾链接速度和精度的链接算法。
根据以上性能要求,设计放大扫描系统升级升级方案。
(一)显微放大硬件结构升级
改进包括:X轴电控游标云台固定有支架,支架上固定有相机和高倍显微镜头,Y轴电控游标云台上固定有稳固台,用于放置文书,其中,X方向游标云台的行程超过A4纸的宽度,Y方向游标云台的行程超过A4纸的长度,当X、Y轴电控游标云台近端复位之后,A4纸的右上方位于高倍显微镜头的正下方,因此扫描能覆盖到整张A4纸,X轴方向游标云台在步进电机带动下做横向匀速运动,Y轴方向游标云台在步进电机带动下做步进运动,X轴游标云台搭载相机匀速运动过程中相机按等时间间隔抓拍影像,每次拍摄的影像依次传送到计算机命名、保存,采集链接系统算法对保存的影像序列进行链接,获得打印文书大视野全局显微影像。
显微放大硬件系统的工作原理划分为两个部分,一是驱动控制部分,二是影像采集部分,驱动控制模块控制游标云台做二维平面运动,包括对游标云台速度和方向控制,计算机端传送控制指令、速度和步进指令到控制电路,驱动程序实现速度设定、归零操作、方向设定、位移量设定。
在对打印文档进行采集时,将打印文档放置在稳固台上,调节LED灯的光照强度,显微镜的放大倍数,设定横向游标云台的移动速度和抓拍时间间隔,纵向游标云台的步距参数,并使影像聚焦清晰,选定所要采集的字符区域,X、Y轴电机复位到采集区域的起始点,采集开始,X轴游标云台搭载高速相机以较高的速度匀速运动,在运动过程中相机按照等时间间隔抓拍影像,高速相机曝光帧率很大保证每次抓拍到静止的影像且不会出现拖影模糊,X轴电机带动相机完成一行扫描后,Y轴步进电机向上步进运动,使下一行位于高倍显微镜头的下方,X轴电机带动相机再反向运动扫描影像,循环往复直到采集完指定区域的影像。
(二)驱控电路板升级设计
电控游标云台由步进电机驱动精密螺杆旋转带动滑块沿导轨移动,对步进电机发送一定频率的脉冲控制步进电机的运动速度大小,通过步进电机控制游标云台的速度和位移量,而且步进电机提供细分驱动方式来驱动电机运行,通过设置细分驱动数,实现对步进电机的精准控制。
细分驱动芯片采用DMD402A,其中A+、A-、B+、B-为双向四线步进电机的输入电流,利用RS232串口的电气特征,采用DCD线来检测步进电机的近端限位信号,实现步进电机的归零与近端限位控制,采用CTS线来检测步进电机的远端限位信号,实现步进电机的远端限位控制,采用DTR控制步进电机的运动方向,采用RTS控制X/Y轴电机切换,采用TXD发送数字脉冲到步进电机细分驱动芯片DMD402A。
在进行采集工作时,X轴与Y轴电机运动分时独立,对于两个轴向电机只需一个驱动芯片完成,利用电磁继电器在X与Y轴之间切换,完成不同轴向驱动电流的传送,控制系统采用MJE13007型号NPN型三级管,控制系统需要三种输入电压,分别是0V,5V和24V由开关电源提供,驱控电路的接线图如图1。
(三)硬件驱动程序设计
游标云台由步进电机驱动程序控制,步进电机驱动程序通过RS232接口进行电平信号的发送与控制,通过计算机向驱动程序输入指令来控制游标云台的行程与影像采集。
(1)查询指令
归零查询与限位查询均通过串口DCD线来查询,如果步进电机走到机械行程的边界处,则触发限位开关接通,使DCD为低电平,而归零点是步进电机负方向上的限位点,远端限位查询通过CTS线来查询,如果步进电机走到机械行程的远端边界处,则触发限位开关接通,使CTS为低电平;归零查询或近端限位查询,通过SerialPort类的CDHolding方法来读取DCD线上的电平信号,从而查询归零信号;远端限位查询,通过CTSHolding方法来读取CTS线上的电平信号,从而查询限位信号;
近端限位(归零)查询:if(serialPort1.CDHolding(O));
远端限位查询:if(serialPort1.CTSHoldingO));
(2)设置指令
速度设置:输出脉冲数的PPS决定步进电机的速度,速度设置有两方面设置:
a)字符串二进制码:最快速度serialPort1.Write(“Ox55”);中等速度serialPort1.Write(“Ox3Ox3”);低等速度serialPort1.Write(“Ox0Ox15”);
b)串口波特率:高波特率serialPort1.BaudRate=br115200;中波特率serialPort1.BaudRate=br19200;低波特率serialPort1.BaudRate=br9600;
其中Ox5即为二进制数0101,Ox3为二进制数0011,依据字符串内容设定速度时最快速度为中等速度的2倍,同理中等速度为低等速度的2倍。
步进电机的移动速度分为采集速度和复位速度,步进电机在复位时相机并没有拍摄,在细分驱动器细分数设定下,通过设置不同的波特率和发送数据实现对步进电机采集速度和复位速度的设定;
方向设置:通过RS232串口的Dtr引脚向细分驱动器芯片DMD402A的Dir引脚发送电平控制信号控制电机的运转方向;
正向位移:serialPort1.DtrEnable(false);反向位移:serialPort1.DtrEnable(true);
归零设置:首先由归零查询指令得到归零状态,如果机器没有归零,则启动归零设置,结合DCD限位信号进行位移归零;
查询是否归零:if(serialPortl.CDHolding());
归零设置:serialPort1.CDHolding(false);
while(serialPort1.CDHolding())
serialPort1.Write(byte[]buffer,intoffset,intcount)。
(3)控制指令
影像采集控制过程为:
1、初始化相机(CameraInit(intindex));2、运行相机,开始捕获影像数据(CameraPlay);3、设置影像的分辨率(CameraSetResolution);4、显示影像(CameraShowImage);5、获取影像保存为BMP文书(CameraSavelmage);6、关闭相机采集模式与数据连接(CameraFree);
位移轴切换:用串口的RTS线来向三级管的基极发送高低电平,实现X轴与Y轴位移间的切换:X轴位移:serialPort1.RtsEnable(true);Y轴位移:seriaiPort1.RtsEnable(false);
位移控制:X轴游标云台带动相机和高倍显微镜头匀速运动,相机按等时间间隔抓拍影像,完成一行扫描后,Y轴步进电机带动纸张稳固台步进一次,X轴电机带动相机再反向扫描,直到完成指定区域的扫描。
三、影像显微扫描方案加强设计
(一)计算扫描参数
采集影像大小640*480,相机CMOS影像传感器光学尺寸1/2”,像素尺寸3.2μm*3.2μm,60fps最高帧率,
光学放大倍数=0.5×4.5=2.25(倍),电子放大倍数=21×25.4-=8=66.68(倍),,游标云台在行向运动时,相机抓拍时间间隔内游标云台的位移小于2.650mm,游标云台在步进运动时,游标云台的步进量小于1.970mm。
高速工业相机参数可知相机最高帧率为60fps,为确保高速工业相机在快速运动中能够抓拍到静止的影像且不会出现拖影模糊的现象,步进电机在行扫描时最快速率不能超过2.650*60=159(mm/s),否则不能捕捉到清晰的静止影像。
步进电机固有步距角为1.8度,螺杆导程为2mm,为实现对步进电机高精度的位移控制,将步进电机细分驱动器细分数设定为32,即步进电机转动一圈需要6400个脉冲,同时设定串口的波特率为19200,发送的二进制编码为0x55,则游标云台移动速度为:
曝光时间选取1300us,细分驱动器的细分数设定为32,游标云台在曝光时间内移动的位移为:
3000μm×1300×10-6=3.9(μm)
设定影像重叠区大小为10%,即每次X方向与Y方向的步进距离是实际影像对应区域大小的90%,即:
自动采集时,设置串口波特率为19200,发送二进制编码为0x55,计算出发送脉冲频率为9600;细分驱动器细分数设定为32,即步进电机每转一周或是游标云台每移动2mm需要6400个脉冲。
设定X方向步进电机等时间间隔内位移量所需脉冲数为7680,即相邻影像的间隔是2.40mm,设定Y方向步进脉冲数为5760,垂直方向上相邻影像的间隔是1.80mm,X轴游标云台匀速运动的速度是3mm/s,相机的抓拍时间间隔是0.8s。
将采集的区域大小设定为180mm*270mm,将X,Y轴步进电机的复位点设定在纸张左上角字符正对镜头的位置,并以此为起点,将采集区域分成一个个单元格,每行单元格数量75个,每列单元格数量150个,影像采集只须移动到采集区域的起点,再标定采集区域,实现对标定采集区域的自动采集。
(二)计算扫描稳定台偏角
采集影像时,CMOS相机套接在高倍显微镜头上,环形LED光源中的光线垂直照射到稳固台上的文书表面,通过光学放大后成像被CMOS相机拍摄下来,CMOS相机在随着X轴游标云台移动中所拍摄的文书的不同区域,这个矩形的区域作为采集区,文书稳固台,游标云台和CMOS相机安装的机械误差不可避免,导致CMOS相机拍摄的矩形影像区域的边界和游标云台的运动方向不会完全平行,存在计算扫描稳定台偏角。如图2(a),当矩形影像区域的边界和游标云台的偏角大于0时,扫描的重叠影像会产生错位,这样会使采集文书在覆盖扫描过程中产生扫描空白,从而丢失必要的影像信息;当不存在偏角时(偏角=0),如图2(b),就不会出现扫描重叠影像间有错位的情况,而且采集到更多影像,保留必要的影像信息,非有利于影像链接。在安装过程中,如果机械误差过大,则会导致扫描影像没有重叠区域,丢失大量的影像信息,即偏角过大,如图2。
设偏角为α,CMOS相机采集的影像宽高为M×N。图3相邻影像没有重叠区域的偏角为:
通过调整旋转CCD摄相机的安装位置来减小相机与游标云台之间的偏角,但偏角仍无法避免,在自动链接算法中考虑如何消除偏角影响。
CMOS相机通过套接显微放大镜头拍摄的影像的像素大小与实际文书采集区域物理长度之间存在数量关系,本申请将影像像素与物理长度之间的数量关系定义为游标尺,表示每个影像像素对应到实际采集区域的物理长度,高倍显微镜头的光学放大倍数记为m,CMOS影像传感器的像素尺寸为x(μm),该放大倍数下的游标尺就是x/m;
设偏角为α,该倍数下的游标尺为f,则影像对应的采集区域的物理大小是宽为M×f,高为N×f,影像坐标系和电控游标云台坐标系是同一坐标系,则偏角的计算方法是:
第一步:将文书放置在纸张稳固台上,采集影像I1;
第二步:驱动电控游标云台沿X轴方向移动距离△x,采集影像I2,,其中M×f×10%<△x<M×f×90%,使相邻两幅影像有重叠区域;
第三步:采用链接算法计算两幅影像的重合位置为(xp,yp),夹角计算式:
计算出偏角之后,在机械安装中通过不断调整高清摄像机和电控游标云台的相对位置来减小偏角,将偏角降低到最小。
(三)显微扫描流程
显微影像扫描采用二维扫描方式,显微镜通过镜头架固定在X轴游标云台的支架上,位于纸张稳固台的上方,游标云台搭载CMOS相机做二维平面运动扫描文书。如图4是自动扫描流程。
自由选择采集区域后,游标云台自动运行进行影像采集,假定在某个采集区域采集的影像数量为(m+1)*(n+1)幅,则代表采集m+1行影像,每一行有n+1列。图5(a)是自动扫描的过程。电控游标云台首先从采集区域的起点沿水平方向运动,CMOS相机抓拍影像,从左到右移动依次采集n+1幅影像,完成指定采集区域的第一行的扫描,Y轴电机向上步进一步,电控游标云台沿着相反的方向继续对第二行进行扫描,采集路线为”Z”字形如图5(b),直到完成对指定区域的影像采集,影像的编号代表采集顺序,给影像按采集顺序编号方便后续的影像处理。
采用这种扫描方案采集影像,每行两两相邻影像有相同大小重叠区,每列两两相邻影像也有相同大小的重叠区,不仅保证了影像链接所需的重叠区而且有利于建立大规模影像链接的数学模型,从而进一步提高链接速度。
(四)影像采集实验
在设计了系统硬件结构、驱动程序和设定扫描参数之后,通过实验验证采集方案的可行性。进行了一次采集实验。采集实验所采集的文书的范围大小是5行8列,如图6。
从第一次采集影像结果发现拍摄的影像在内容上并不是刚好对齐的,在垂直方向上字符笔画明显不在一条直线上,采集的结果并不能满足采集的要求。进一步分析出现字符内容上下笔画不能对齐的原因,当CMOS相机在曝光时间内拍照时,电控游标云台在这段时间内运动到限位开关处而停止,原来的方案认为电控游标云台在触碰到限位开关时游标云台和CMOS相机同时停止,在对下一行扫描时,游标云台和CMOS相机同时启动,进行下一行的影像采集。这样会使相机在下一行拍摄的起始仍处在上一行相机最后一次曝光时间内,即游标云台运动的水平位移并不是单幅影像宽度的整数倍因此拍摄的上下相邻两行的影像在内容上不对齐,而且在游标云台停止处没有抓拍到影像。采集的在字符内容上出现严重错位影像,造成在影像配准时误差很大甚至配准失败,并且会造成采集影像的缺失。采集方案需使相机抓拍时机与电控游标云台移动状态协调一致。
因此,本申请改进采集方案,在选定采集区域之后也确定水平方向移动的距离,将该距离除以影像长度并取整加1,让步进电机和相机同时启动,并且相机曝光完成之后步进电机停止运行,从而使相机抓拍时机与电控游标云台移动状态协调一致,拍摄的影像在水平和垂直方向上内容对齐。
从采集实验结果可以得出,采用高速相机按等时间间隔抓拍影像,影像的亮度很高,影像显示很清晰。相比于按步进移动方式拍摄影像,能兼顾采集速率和采集质量,而且每一行影像在水平方向上笔画对齐工整,每一列影像在垂直方向上笔画对齐也很工整,拍出来的影像在内容上是对齐的,基本消除了偏角的影响,非常有利于后续的影像链接,影像采集的结果符合设计的要求。
四、大规模局部显微影像链接方法
系统获取的每幅影像与四周影像都存在水平或垂直方向的重叠区域,沿任何一张影像的任意方向都可以链接,由于影像分辨率大,且待链接影像数量多,如果进行两两影像之间的配准不仅会使链接效率严重下降,而且会在影像序列闭合处产生严重的匹配积累误差,这些积累误差会导致后续的影像配准错误。因此,本申请设计兼顾链接效果和链接效率的链接模型。
(一)影像局部显微配准策略
采用在同一坐标系下对采集的二维序列影像进行坐标定位的方法进行影像配准,选择定位影像左上角像素点坐标,采取对一行一行的影像进行逐行的配准策略。配准策略示意图如图7所示。影像配准均在同一坐标系下,首先采用配准算法对第一行影像进行两两配准,通过基于平滑瓣配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出影像左上角像素点的间距和第一行影像左上角像素点所在直线方程,然后通过坐标定位的全局链接算法对第一列影像进行两两配准,通过配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出垂直方向影像左上角像素点的间距和第一列影像左上角像素点所在直线方程,然后以第一列每行影像左上角像素点坐标为参考点计算出每行影像左上角像素点所在直线方程,在根据行向影像左上角像素点间距计算出每行影像在坐标系下的影像左上角像素点坐标,至此采集的二维影像序列每幅影像左上角像素点在坐标系下的位置确定,影像配准完成后再通过影像融合方法对重叠区域进行融合就得到重叠区平滑过渡的影像。
配准策略基于系统采集的影像在水平方向上相邻影像重叠区大小和位置相同,在垂直方向上相邻影像重叠区大小和位置也相同,采用计算影像左上角像素点所在直线方程并对影像左上角像素点坐标进行线性回归的方法,消除影像间两两配准时在影像序列闭合处产生的累积误差。本申请中的游标云台在抓拍时间间隔内的位移几乎是0,游标云台的精度高,影像左上角像素点坐标误差很小,有效提高影像配准的速度和精度。
(二)坐标定位的全局链接模型
由采集的影像的特征,影像间在水平和垂直方向上有固定大小的重叠区域,影像间只存在水平或者垂直方向的平移变换,而且高速帧曝光相机获取的影像亮度高,曝光差异小,因此,为充分利用影像的全局信息,提高匹配精度,本申请采用基于平滑瓣的特征关联匹配对第一行和第一列两两相邻的影像进行配准,在进行影像配准时采用标量增强学习法来寻找特征关联匹配的最佳匹配位置。
在采集区域内,第一行和第一列影像数量并不多,采用特征关联匹配法计算量并不大,准确的计算出第一行和第一列影像在坐标系下的影像左上角像素点位置,进而计算出行、列方向影像左上角像素点的间距和行、列方向影像左上角像素点所在的直线方程,通过以每行第一幅影像左上角像素点坐标为参考点能够计算出每行影像左上角像素点所在直线方程,该方程采用基于最小二乘法的一元线性回归的方法估算;
假设一元线性回归函数为Y=aX+b其中Y和X均为随机变量,a、b为待估参数,采用最小二乘法来估算参数a和b的值,令:
yi=axi+b+εi
式中参数a、b相互独立,εi为随机误差,将上式移项平方,得:
当上式取最小值时,与axi+b的误差最小,构造函数:
n为对应参数,令P(a,b)取最小值,即取P分别关于参数a、b的偏导数并使之为零:
得方程组:
xi不全相同,上述方程组的系数行列式为:
因此方程组(3.12)有唯一的一组解,并解得a,b的模型参数估算值为:
对于给定的x值,取a*x+b*作为回归函数Y=aX+b的估算值,得到模型参数估算值y*,对影像进行全局坐标定位,以第一幅影像左上角像素点为坐标原点,以影像上边界为X轴,左边界为Y轴建立坐标系。
对第一行影像左上角像素点进行坐标定位和左上角像素点线方程估算,对第一行影像采用特征关联匹配法两两配准,得到该行影像左上角像素点的坐标(x1j,ylj),其中j表示影像位于该行的j列,将(x1j,ylj)作为文书值,采用最小二乘法进行一元线性回归函数的参数估算后,得到行影像左上角像素点线方程为:
y*1j=a*1x1j+b*1
其中a*1、b*1为估算后得到的参数值,y*1j为根据行影像左上角像素点线方程估算所得的纵坐标值,当把每行的第一幅影像左上角像素点作为坐标原点,均根据行影像左上角像素点线方程进行水平方向上的链接。图8为估算行影像左上角像素点方程示意图。
对第一列影像左上角像素点进行坐标定位和列影像左上角像素点方程估算,对第一列影像采用特征关联匹配的方法进行两两配准,得到该列影像左上角像素点的坐标(x2i,y2i),其中i表示影像位于该列的第i行,根据行影像左上角像素点线与列影像左上角像素点线垂直特征,列影像左上角像素点线的斜率为:
a*2=1/a*1
将该列第一行的影像左上角像素点坐标值带入列影像左上角像素点线回归方程,求得:
b*2=y21-a*2x2j
列影像左上角像素点线方程为:
y*2i=a*22x2i+b*2
当把每列的第一幅影像左上角像素点作为坐标原点,均根据列影像左上角像素点线方程进行垂直方向的链接,在确定第一列影像的位置后,每一行影像的链接均以该行第一幅影像为基准,根据行影像左上角像素点线方程确定该行每幅影像的位置,确定每幅影像左上角像素点基于全局对准坐标系的坐标:
(x2i+x1j,y*2i+y*1j)
上式为影像左上角像素点的坐标。
至此,基于线性回归的全局对准模型构造完成。如图9所示。根据所有影像左上角像素点在全局对准坐标系中的位置,进行准确的影像链接。
影像配准完成后,二维序列影像左上角像素点在坐标系中位置固定,为完成影像链接,接下来进行影像融合,即修正影像重叠部分的平滑瓣值,使影像重叠部分平滑过渡,采用渐进渐出的图像融合法进行配准后的融合。
(三)显微影像链接实验
为了验证本申请提出的配准方案,采集17行17列的大规模影像序列做配准实验。
所有待配准原图大小为640*480,影像重叠区域为整幅影像大小的10%,根据线性回归全局对准模型,在对第一行和第一列影像进行特征关联匹配的时候,如果重叠区域的像素点都参与运算,则计算量较大会影响系统的实时性。因此,对重叠区域进行块抽样,隔几个像素点抽取像素点的值。计算抽样矩阵的相关匹配系数,再结合抽样间隔计算出原图的配准位置。为了研究在配准速度下能否兼顾到链接质量的问题,分别统计了抽样间隔为1、2、4、6、8时影像配准时间,如图10所示。
抽样间隔为1时配准时间超过50s,抽样间隔为4、6、8时配准时间在5s左右,配准时间比较短能满足系统实时性要求,而且它们之间的配准时间差别很小但与前者配准时间相差很大。因此,分别对比在抽样间隔为4、8时和抽样间隔为1时影像全局配准结果和局部配准结果,从而确定在缩短配准时间的条件下配准质量能否得到保证,并且选择一个最优的抽样间隔。本申请选择的待配准影像序列,局部待配准影像序列如图11所示。
分别测试抽样间隔为1时影像全局配准结果和局部配准结果,可以观察到,全局配准结果和局部配准结果中每个字符都能够链接完整,没有笔画错位而且字符影像的纹理细节信息得到完整的保留。
分别测试抽样间隔为8时影像全局配准结果和局部配准结果,抽样间隔为8时,全局配准结果中字符笔画粗细出现变化,内部纹理信息冗余或者丢失,即配准结果不能保留字符的完整、准确的纹理信息,不能用于鉴别时的特征提取。同样,局部配准结果也出现了字符笔画错位。
综合以上分析,将最优抽样间隔设定为4个像素,在这个抽样间隔条件下,影像配准时间和配准质量都得到保证,非常具有实用性。同时将本申请的链接模型(抽样间隔为4)应用于影像全局高倍放大扫描系统获取的影像,局部配准结果如图12所示。
由于现有系统采用低速相机拍摄的影像亮度差异很大,但通过实验将本申请的链接模型应用到现有系统获取的影像序列,实现了良好的配准结果。在对新系统完成影像配准之后,接着进行影像融合以完成影像链接。采用渐进渐出法进行影像融合,如图13所示,新系统采用高速帧曝光相机拍照,而且影像采集处光照稳定、均匀,影像间曝光差异小,融合后的效果非常好,已经消除了链接痕迹。
通过显微影像链接实验,采用本申请的大规模影像链接模型能够对新系统采集的影像进行良好的配准,并通过渐进渐出方法对配准影像进行良好的融合,具有非常好的实用性。
五、打印文书辅助鉴定模块设计
计算机打印文书辅助鉴定的结果能为相关案件提供线索,如图14开发了辅助检验功能模块,对计算机鉴别结论进行人工验证,以保证准确性。本申请辅助检验可供鉴别的特征包括:字符边缘多余喷溅、空白处喷溅、笔画边缘粗糙度、局部笔画形态、墨粉堆积致密度、打印文书特征稳定度、全局字符形态。辅助鉴定别的途径是:分别提取检材与文书申请书中相同字体字号的同一字符,通过打印文书辅助鉴定模块对字符影像轮廓化、旋转、调色、拖动比对、调透明度方式比对字符影像的纹理差异。辅助检验软件模块具备了科学性,易用性,可接受性等特征,成为文检人员完成人工验证快捷而专业的有力的辅助工具。
Claims (9)
1.高精度影像全局显微的打印文书鉴定系统,其特征在于:一是影像全局高倍放大扫描系统架构;二是文书放大扫描系统升级设计,包括:显微放大硬件结构升级、驱控电路板升级设计、硬件驱动程序设计;三是影像显微扫描方案加强设计,包括:计算扫描参数、计算扫描稳定台偏角、显微扫描流程;四是大规模局部显微影像链接方法,包括:影像局部显微配准策略、坐标定位的全局链接模型;五是打印文书辅助鉴定模块设计;
首先,采用对采集文书进行显微放大后再拍照的方式获取影像,将采集的多幅局部影像链接成完整字符影像,采用区域扫描并在此基础上设计坐标定位的全局链接模型;
其次,进行硬件结构工艺升级,通过增加游标云台长度,使仪器进行二维区域扫描时能够扫描到A4纸全部;重新设计扫描方法即相机随步进电机移动时等时间间隔抓拍影像,相机采用高速帧曝光相机使相机在快速移动中每次都能抓拍到清晰静止的影像,提高采集速率且保证采集影像质量;保证相邻影像重叠区域大小相同,将步进电机细分驱动器细分数调到32细分以上,使曝光时间内游标云台移动位移趋近0;
再次,采用基于平滑瓣的特征关联匹配方法进行配准,在进行影像配准时采用标量增强学习法来寻找特征关联匹配的最佳匹配位置;根据二维影像序列的空间排列特征,设计基于线性回归的全局对准模型,对大规模影像进行快速配准并消除影像两两配准时的匹配误差,采用渐进渐出法对影像进行融合,使影像重叠区域实现平滑过渡;
最后,实现影像全局显微放大系统的的打印文书鉴定应用,分别提取文书中相同字体字号的同一字符的显微放大影像进行纹理差异比较,基于打印差异开发打印文书辅助鉴定模块。
2.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,显微放大硬件结构升级,改进包括:X轴电控游标云台固定有支架,支架上固定有相机和高倍显微镜头,Y轴电控游标云台上固定有稳固台,用于放置文书,其中,X方向游标云台的行程超过A4纸的宽度,Y方向游标云台的行程超过A4纸的长度,当X、Y轴电控游标云台近端复位之后,A4纸的右上方位于高倍显微镜头的正下方,X轴方向游标云台在步进电机带动下做横向匀速运动,Y轴方向游标云台在步进电机带动下做步进运动,X轴游标云台搭载相机匀速运动过程中相机按等时间间隔抓拍影像,每次拍摄的影像依次传送到计算机命名、保存,采集链接系统算法对保存的影像序列进行链接,获得打印文书大视野全局显微影像;
显微放大硬件系统分为两个部分,一是驱动控制部分,二是影像采集部分,驱动控制模块控制游标云台做二维平面运动,包括对游标云台速度和方向控制,计算机端传送控制指令、速度和步进指令到控制电路,驱动程序实现速度设定、归零操作、方向设定、位移量设定;
在对打印文档进行采集时,将打印文档放置在稳固台上,调节LED灯的光照强度,显微镜的放大倍数,设定横向游标云台的移动速度和抓拍时间间隔,纵向游标云台的步距参数,并使影像聚焦清晰,选定所要采集的字符区域,X、Y轴电机复位到采集区域的起始点,采集开始,X轴游标云台搭载高速相机以较高的速度匀速运动,在运动过程中相机按照等时间间隔抓拍影像,高速相机曝光帧率大确保每次抓拍到静止的影像且不出现拖影模糊,X轴电机带动相机完成一行扫描后,Y轴步进电机向上步进运动,使下一行位于高倍显微镜头的下方,X轴电机带动相机再反向运动扫描影像,循环往复直到采集完指定区域的影像。
3.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,硬件驱动程序设计:游标云台由步进电机驱动程序控制,步进电机驱动程序通过RS232接口进行电平信号的发送与控制,通过计算机向驱动程序输入指令来控制游标云台的行程与影像采集;
(1)查询指令
归零查询与限位查询均通过串口DCD线来查询,如果步进电机走到机械行程的边界处,则触发限位开关接通,使DCD为低电平,而归零点是步进电机负方向上的限位点,远端限位查询通过CTS线来查询,如果步进电机走到机械行程的远端边界处,则触发限位开关接通,使CTS为低电平;归零查询或近端限位查询,通过SerialPort类的CDHolding方法来读取DCD线上的电平信号,从而查询归零信号;远端限位查询,通过CTSHolding方法来读取CTS线上的电平信号,从而查询限位信号;
近端限位(归零)查询:if(serialPort1.CDHolding(O));
远端限位查询:if(serialPort1.CTSHoldingO));
(2)设置指令
速度设置:输出脉冲数的PPS决定步进电机的速度,速度设置有两方面设置:
a)字符串二进制码:最快速度serialPort1.Write(“Ox55”);
中等速度serialPort1.Write(“Ox3Ox3”);
低等速度serialPort1.Write(“Ox0Ox15”);
b)串口波特率:高波特率serialPort1.BaudRate=br115200;
中波特率serialPort1.BaudRate=br19200;
低波特率serialPort1.BaudRate=br9600;
其中Ox5即为二进制数0101,Ox3为二进制数0011,依据字符串内容设定速度时最快速度为中等速度的2倍,同理中等速度为低等速度的2倍;
步进电机的移动速度分为采集速度和复位速度,步进电机在复位时相机并没有拍摄,在细分驱动器细分数设定下,通过设置不同的波特率和发送数据实现对步进电机采集速度和复位速度的设定;
方向设置:通过RS232串口的Dtr引脚向细分驱动器芯片DMD402A的Dir引脚发送电平控制信号控制电机的运转方向;
正向位移:serialPort1.DtrEnable(false);反向位移:serialPort1.DtrEnable(true);
归零设置:首先由归零查询指令得到归零状态,如果机器没有归零,则启动归零设置,结合DCD限位信号进行位移归零;
查询是否归零:if(serialPortl.CDHolding());
归零设置:serialPort1.CDHolding(false);
while(serialPort1.CDHolding())
serialPort1.Write(byte[]buffer,intoffset,intcount);
(3)控制指令
影像采集控制过程为:
1、初始化相机(CameraInit(intindex))
2、运行相机,开始捕获影像数据(CameraPlay)
3、设置影像的分辨率(CameraSetResolution)
4、显示影像(CameraShowImage)
5、获取影像保存为BMP文书(CameraSavelmage)
6、关闭相机采集模式与数据连接(CameraFree);
位移轴切换:用串口的RTS线来向三级管的基极发送高低电平,实现X轴与Y轴位移间的切换:X轴位移:serialPort1.RtsEnable(true);Y轴位移:seriaiPort1.RtsEnable(false);
位移控制:X轴游标云台带动相机和高倍显微镜头匀速运动,相机按等时间间隔抓拍影像,完成一行扫描后,Y轴步进电机带动纸张稳固台步进一次,X轴电机带动相机再反向扫描,直到完成指定区域的扫描。
4.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,计算扫描参数:采集影像大小640*480,像素尺寸3.2μm*3.2μm,60fps最高帧率,光学放大倍数=0.5×4.5=2.25(倍),电子放大倍数=21×25.4-=8=66.68(倍),,游标云台在行向运动时,相机抓拍时间间隔内游标云台的位移小于2.650mm,游标云台在步进运动时,游标云台的步进量小于1.970mm;
高速工业相机最高帧率为60fps,步进电机在行扫描时最快速率不能超过2.650*60=159(mm/s);
步进电机固有步距角为1.8度,螺杆导程为2mm,将步进电机细分驱动器细分数设定为32,即步进电机转动一圈需要6400个脉冲,同时设定串口的波特率为19200,发送的二进制编码为0x55,则游标云台移动速度为:
曝光时间选取1300us,细分驱动器的细分数设定为32,游标云台在曝光时间内移动的位移为:
3000μm×1300×10-6=3.9(μm)
设定影像重叠区大小为10%,即每次X方向与Y方向的步进距离是实际影像对应区域大小的90%,即:
自动采集时,设置串口波特率为19200,发送二进制编码为0x55,计算出发送脉冲频率为9600;细分驱动器细分数设定为32,即步进电机每转一周或是游标云台每移动2mm需要6400个脉冲;
设定X方向步进电机等时间间隔内位移量所需脉冲数为7680,即相邻影像的间隔是2.40mm,设定Y方向步进脉冲数为5760,垂直方向上相邻影像的间隔是1.80mm,X轴游标云台匀速运动的速度是3mm/s,相机的抓拍时间间隔是0.8s;
将采集的区域大小设定为180mm*270mm,将X,Y轴步进电机的复位点设定在纸张左上角字符正对镜头的位置,并以此为起点,将采集区域分成一个个单元格,每行单元格数量75个,每列单元格数量150个,影像采集只须移动到采集区域的起点,再标定采集区域,实现对标定采集区域的自动采集。
5.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,计算扫描稳定台偏角:设偏角为α,CMOS相机采集的影像宽高为M×N,相邻影像没有重叠区域的偏角为:
通过调整旋转CCD摄相机的安装位置来减小相机与游标云台之间的偏角,将影像像素与物理长度之间的数量关系定义为游标尺,表示每个影像像素对应到实际采集区域的物理长度,高倍显微镜头的光学放大倍数记为m,CMOS影像传感器的像素尺寸为x(μm),该放大倍数下的游标尺就是x/m;
设偏角为α,该倍数下的游标尺为f,则影像对应的采集区域的物理大小是宽为M×f,高为N×f,影像坐标系和电控游标云台坐标系是同一坐标系,则偏角的计算方法是:
第一步:将文书放置在纸张稳固台上,采集影像I1;
第二步:驱动电控游标云台沿X轴方向移动距离△x,采集影像I2,,其中M×f×10%<△x<M×f×90%,使相邻两幅影像有重叠区域;
第三步:采用链接算法计算两幅影像的重合位置为(xp,yp),夹角计算式:
计算出偏角之后,在机械安装中通过不断调整高清摄像机和电控游标云台的相对位置来减小偏角,将偏角降低到最小。
6.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,显微扫描流程:显微影像扫描采用二维扫描方式,显微镜通过镜头架固定在X轴游标云台的支架上,位于纸张稳固台的上方,游标云台搭载CMOS相机做二维平面运动扫描文书;
自由选择采集区域后,游标云台自动运行进行影像采集,假定在某个采集区域采集的影像数量为(m+1)*(n+1)幅,则代表采集m+1行影像,每一行有n+1列;电控游标云台首先从采集区域的起点沿水平方向运动,CMOS相机抓拍影像,从左到右移动依次采集n+1幅影像,完成指定采集区域的第一行的扫描,Y轴电机向上步进一步,电控游标云台沿着相反的方向继续对第二行进行扫描,采集路线为”Z”字形,直到完成对指定区域的影像采集,影像的编号代表采集顺序,给影像按采集顺序编号方便后续的影像处理。
7.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,影像局部显微配准策略:采用在同一坐标系下对采集的二维序列影像进行坐标定位的方法进行影像配准,选择定位影像左上角像素点坐标,采取对一行一行的影像进行逐行的配准策略,影像配准均在同一坐标系下,首先采用配准算法对第一行影像进行两两配准,通过基于平滑瓣配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出影像左上角像素点的间距和第一行影像左上角像素点所在直线方程,然后通过坐标定位的全局链接算法对第一列影像进行两两配准,通过配准算法计算出每幅影像在坐标系下的影像左上角像素点坐标,并计算出垂直方向影像左上角像素点的间距和第一列影像左上角像素点所在直线方程,然后以第一列每行影像左上角像素点坐标为参考点计算出每行影像左上角像素点所在直线方程,在根据行向影像左上角像素点间距计算出每行影像在坐标系下的影像左上角像素点坐标,至此采集的二维影像序列每幅影像左上角像素点在坐标系下的位置确定,影像配准完成后再通过影像融合方法对重叠区域进行融合就得到重叠区平滑过渡的影像;
配准策略基于系统采集的影像在水平方向上相邻影像重叠区大小和位置相同,在垂直方向上相邻影像重叠区大小和位置也相同,采用计算影像左上角像素点所在直线方程并对影像左上角像素点坐标进行线性回归的方法,消除影像间两两配准时在影像序列闭合处产生的累积误差。
8.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,坐标定位的全局链接模型:采用基于平滑瓣的特征关联匹配对第一行和第一列两两相邻的影像进行配准,在进行影像配准时采用标量增强学习法来寻找特征关联匹配的最佳匹配位置;
在采集区域内,第一行和第一列影像数量并不多,采用特征关联匹配法计算量并不大,准确的计算出第一行和第一列影像在坐标系下的影像左上角像素点位置,进而计算出行、列方向影像左上角像素点的间距和行、列方向影像左上角像素点所在的直线方程,通过以每行第一幅影像左上角像素点坐标为参考点能够计算出每行影像左上角像素点所在直线方程,该方程采用基于最小二乘法的一元线性回归的方法估算;
假设一元线性回归函数为Y=aX+b其中Y和X均为随机变量,a、b为待估参数,采用最小二乘法来估算参数a和b的值,令:
yi=axi+b+εi
式中参数a、b相互独立,εi为随机误差,将上式移项平方,得:
当上式取最小值时,与axi+b的误差最小,构造函数:
n为对应参数,令P(a,b)取最小值,即取P分别关于参数a、b的偏导数并使之为零:
得方程组:
xi不全相同,上述方程组的系数行列式为:
因此方程组(3.12)有唯一的一组解,并解得a,b的模型参数估算值为:
对于给定的x值,取a*x+b*作为回归函数Y=aX+b的估算值,得到模型参数估算值y*,对影像进行全局坐标定位,以第一幅影像左上角像素点为坐标原点,以影像上边界为X轴,左边界为Y轴建立坐标系;
对第一行影像左上角像素点进行坐标定位和左上角像素点线方程估算,对第一行影像采用特征关联匹配法两两配准,得到该行影像左上角像素点的坐标(x1j,ylj),其中j表示影像位于该行的j列,将(x1j,ylj)作为文书值,采用最小二乘法进行一元线性回归函数的参数估算后,得到行影像左上角像素点线方程为:
y*1j=a*1x1j+b*1
其中a*1、b*1为估算后得到的参数值,y*1j为根据行影像左上角像素点线方程估算所得的纵坐标值,当把每行的第一幅影像左上角像素点作为坐标原点,均根据行影像左上角像素点线方程进行水平方向上的链接;
对第一列影像左上角像素点进行坐标定位和列影像左上角像素点方程估算,对第一列影像采用特征关联匹配的方法进行两两配准,得到该列影像左上角像素点的坐标(x2i,y2i),其中i表示影像位于该列的第i行,根据行影像左上角像素点线与列影像左上角像素点线垂直特征,列影像左上角像素点线的斜率为:
a*2=1/a*1
将该列第一行的影像左上角像素点坐标值带入列影像左上角像素点线回归方程,求得:
b*2=y2i-a*2x2i
列影像左上角像素点线方程为:
y*2i=a*2x2i+b*2
当把每列的第一幅影像左上角像素点作为坐标原点,均根据列影像左上角像素点线方程进行垂直方向的链接,在确定第一列影像的位置后,每一行影像的链接均以该行第一幅影像为基准,根据行影像左上角像素点线方程确定该行每幅影像的位置,确定每幅影像左上角像素点基于全局对准坐标系的坐标:
(x2i+x1j,y*2i+y*1j)
上式为影像左上角像素点的坐标;
至此,基于线性回归的全局对准模型构造完成,根据所有影像左上角像素点在全局对准坐标系中的位置,进行准确的影像链接;
影像配准完成后,二维序列影像左上角像素点在坐标系中位置固定,为完成影像链接,接下来进行影像融合,即修正影像重叠部分的平滑瓣值,使影像重叠部分平滑过渡,采用渐进渐出的图像融合法进行配准后的融合。
9.根据权利要求1所述高精度影像全局显微的打印文书鉴定系统,其特征在于,打印文书辅助鉴定模块设计:辅助检验可供鉴别的特征包括:字符边缘多余喷溅、空白处喷溅、笔画边缘粗糙度、局部笔画形态、墨粉堆积致密度、打印文书特征稳定度、全局字符形态;辅助鉴定别的途径是:分别提取检材与文书申请书中相同字体字号的同一字符,通过打印文书辅助鉴定模块对字符影像轮廓化、旋转、调色、拖动比对、调透明度方式比对字符影像的纹理差异。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210428752.2A CN114758346A (zh) | 2022-04-22 | 2022-04-22 | 高精度影像全局显微的打印文书鉴定系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210428752.2A CN114758346A (zh) | 2022-04-22 | 2022-04-22 | 高精度影像全局显微的打印文书鉴定系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114758346A true CN114758346A (zh) | 2022-07-15 |
Family
ID=82330901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210428752.2A Pending CN114758346A (zh) | 2022-04-22 | 2022-04-22 | 高精度影像全局显微的打印文书鉴定系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758346A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309079A (zh) * | 2023-05-10 | 2023-06-23 | 南京凯视迈科技有限公司 | 一种动态图像采集拼接优化系统 |
-
2022
- 2022-04-22 CN CN202210428752.2A patent/CN114758346A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309079A (zh) * | 2023-05-10 | 2023-06-23 | 南京凯视迈科技有限公司 | 一种动态图像采集拼接优化系统 |
CN116309079B (zh) * | 2023-05-10 | 2023-08-04 | 南京凯视迈科技有限公司 | 一种动态图像采集拼接优化系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7155049B2 (en) | System for creating microscopic digital montage images | |
US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
US20090196526A1 (en) | Microscopy system having automatic and interactive modes for forming a magnified mosaic image and associated method | |
US20120076411A1 (en) | Digital microscope slide scanning system and methods | |
CN103175469A (zh) | 增强型边缘聚焦工具及利用该工具的聚焦方法 | |
CN112912783B (zh) | 用于自动映射基板上的流动对象的方法和系统 | |
CN101226052A (zh) | 三维微观形貌斜扫描方法及装置 | |
CN208207914U (zh) | 基于快速几何对准的pcb表面缺陷检测装置 | |
JP2015230393A (ja) | 撮像装置の制御方法および撮像システム | |
CN114113114A (zh) | 一种大口径元件表面微缺陷检测与修复的自动化工艺方法 | |
CN114331995A (zh) | 一种基于改进2d-icp的多模板匹配实时定位方法 | |
CN113134683A (zh) | 基于机器学习的激光标刻方法及装置 | |
CN114758346A (zh) | 高精度影像全局显微的打印文书鉴定系统 | |
TWI388797B (zh) | Three - dimensional model reconstruction method and its system | |
CN113219622A (zh) | 一种用于面板缺陷检测的物镜对焦方法、装置及系统 | |
CN104842074A (zh) | 一种带有面阵相机的激光雕刻系统 | |
US20050281484A1 (en) | System and method of registering field of view | |
CN117761060A (zh) | 一种视觉检测系统及其检测方法 | |
CN110044296B (zh) | 3d形状的自动跟踪方法和测量机 | |
CN114113112B (zh) | 一种基于三光源显微系统的表面微缺陷定位与识别方法 | |
US20220113525A1 (en) | Method and microscope for generating an overview image of a sample | |
CN112839168B (zh) | 一种自动调整aoi检测系统中相机成像分辨率的方法 | |
JPS6249481A (ja) | イメ−ジのデイジタル化方法および装置 | |
JP2004125708A (ja) | 三次元形状測定装置及び三次元形状測定方法 | |
CN115684165B (zh) | 载玻片检测仪的定位方法及检测仪和载玻片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |