CN109754365B - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN109754365B CN109754365B CN201711086512.4A CN201711086512A CN109754365B CN 109754365 B CN109754365 B CN 109754365B CN 201711086512 A CN201711086512 A CN 201711086512A CN 109754365 B CN109754365 B CN 109754365B
- Authority
- CN
- China
- Prior art keywords
- image
- porous
- target object
- aperture
- spots
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 181
- 238000012937 correction Methods 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 60
- 239000012634 fragment Substances 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 98
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000003702 image correction Methods 0.000 claims description 25
- 239000000126 substance Substances 0.000 claims description 25
- 239000011148 porous material Substances 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 15
- 230000001678 irradiating effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 23
- 230000000903 blocking effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003754 machining Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种图像处理方法及装置。所述图像由矩阵式多孔成像系统获得，包括多个目标物小孔像斑。该方法首先对目标物小孔像斑进行倒像纠正，再从倒像纠正后的目标物小孔像斑中取出图像片段，再对所述图像片段进行拼接，从而由目标物多孔图像获得能够真实反映目标物外貌的目标图像。本申请还提供了一种用于处理多孔图像的装置。所述装置能够应用所述图像处理方法将所述目标物多孔图像处理为能够真实反映目标物表面形貌的目标图像。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种处理矩阵式小孔成像系统所获取图像的方法及装置。
背景技术
矩阵式小孔成像系统(Matrix Pinhole Imaging System，MAPIS)用于近距离采集物体表面图像，如指纹图像等。其包括图像采集器，在图像采集器的上方设置有阻光层，在所述阻光层上矩阵式排布有多个成像小孔。待检测物体被放置于阻光层上方，图像采集器中的内置光源或者外置光源对待检测物体的表面进行照射。根据小孔成像原理，如图19所示，来自物体表面的光线经过小孔，在图像采集器上相应地形成矩阵式排布的反映待检测物体表面的小孔像斑图像。利用矩阵式小孔成像系统采集到的图像如图3所示，在所述图像上矩阵式分布有近似圆形的多个小孔像斑。
然而，所述图像上的小孔像斑需要进一步的处理才能获得亮度均匀、无畸变、连续完整的目标图像，原因在于：矩阵式小孔成像系统采集到的图像包括多个小孔像斑，每个小孔像斑仅包含目标物的部分信息；每个小孔像斑为倒立的像；由于成像过程中光线经过不同折射率的透明介质层，使得小孔像斑中的物像存在几何畸变；根据光学原理可知，由于多目视觉造成多个像之间存在视差，小孔像斑存在从中心向外周亮度逐渐降低的亮度畸变。
发明内容
本申请提出一种图像处理方法和装置，以进一步处理由矩阵式小孔成像系统获得的多孔图像，获得连续完整的目标图像。
本申请的目的是，提供一种对MAPIS图像采集器获得的多孔图像进行倒像纠正和拼接等在线处理的方法。本申请利用矩阵式小孔成像系统的拼接参数，首先对由该系统获得的目标物图像上的目标物小孔像斑进行倒像纠正，再从倒像纠正后的目标物小孔像斑中选取尺寸为大于或者等于最大无重叠像方视场尺寸的图像片段，再对所述图像片段进行拼接，获得目标图像，可选地，在对目标物小孔像斑进行倒像纠正前，对所述目标物小孔像斑进行畸变校正、亮度校正等校正。本申请的方法通过在拼接前对小孔像斑进行倒像纠正、畸变校正、亮度校正等处理，使得拼接所得为畸变较小、亮度均匀的完整无缺的目标图像。
本申请提供一种图像处理方法，包括：利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑；基于矩阵式多孔成像系统的拼接参数，对所述目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑；基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像。
在一种可能的实现方式中，在对所述目标物小孔像斑进行倒像纠正之前还包括获取拼接参数。
在一种可能的实现方式中，所述获取拼接参数包括：获取计算参数；使用所述计算参数计算得到拼接参数。
在一种可能的实现方式中，所述计算参数为在设计所述矩阵式多孔成像系统时预设的参数。
在一种可能的实现方式中，所述获取计算参数包括：获取标准多孔图像，所述标准多孔图像包括预设模式多孔图像或者面光源多孔图像；根据所述标准多孔图像测算所述计算参数。
在一种可能的实现方式中，获取预设模式多孔图像包括：利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像，所述预设模式多孔图像含有多个预设模式小孔像斑。
在一种可能的实现方式中，获取面光源多孔图像包括：利用矩阵式多孔成像系统在均匀面光源发光条件下形成面光源多孔图像，所述面光源多孔图像含有多个亮场小孔像斑。
在一种可能的实现方式中，所述预设模式由包含两个方向或者多个方向线条的单个模式按照周期长度有规律重复排布构成。
在一种可能的实现方式中，所述周期长度是小孔周期的正整数倍。
在一种可能的实现方式中，所述利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像包括：将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用外置光源照射所述具有预设模式的标准物使之透射成像，获得所述预设模式多孔图像；或者，在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，利用具有预设模式的外置结构光源照射所述矩阵式多孔成像系统的图像采集器上表面，使所述外置结构光源通过所述矩阵式多孔成像系统成像，获得所述预设模式多孔图像；或者，将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用内置光源照射所述具有预设模式的标准物使之反射成像，获得所述预设模式多孔图像；或者，在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，使具有显示功能的内置光源发出具有预设模式的光线照射所述矩阵式多孔成像系统的图像采集器上表面反射成像，获得所述预设模式多孔图像。
在一种可能的实现方式中，使用显示屏作为所述外置光源、所述具有预设模式的外置结构光源、所述内置光源或所述具有显示功能的内置光源。
在一种可能的实现方式中，使用所述计算参数计算得到拼接参数包括：使用所述计算参数计算得到小孔位置和最大无重叠像方视场尺寸；使用所述最大无重叠像方视场尺寸计算成像分辨率。
在一种可能的实现方式中，所述使用所述计算参数计算得到小孔位置包括：利用矩阵式多孔成像系统获取面光源多孔图像；在所述面光源多孔图像上，以所述面光源多孔图像上任意一点为原点建立直角坐标系；确定小孔位置，所述小孔位置为所述亮场小孔像斑的几何中心在所述直角坐标系中对应的坐标。
在一种可能的实现方式中，所述使用所述计算参数的计算最大无重叠像方视场尺寸包括：从预设模式多孔图像中测量得到最大无重叠像方视场尺寸；或者，利用所述计算参数中的物距和像距计算得到最大无重叠像方视场尺寸；或者，对所述预设模式小孔像斑的拼接效果进行最优估计得到最大无重叠像方视场尺寸。
在一种可能的实现方式中，对所述目标物小孔像斑进行倒像纠正包括：根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；获取所述目标物小孔像斑上的像素在以所述目标物小孔像斑的中心为原点的直角坐标系中的位置坐标；将所述像素的位置坐标做关于所述原点的中心对称翻转，得到倒像纠正后的目标物小孔像斑。
在一种可能的实现方式中，所述对倒像纠正后的目标物小孔像斑进行拼接包括：从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸为最大无重叠像方视场尺寸；根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段。
在一种可能的实现方式中，所述对倒像纠正后的目标物小孔像斑进行拼接包括：从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸大于最大无重叠像方视场尺寸；根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段。
在一种可能的实现方式中，根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段包括：对于相邻图像片段中不重叠的信息，保留原信息；对于相邻图像片段中重叠的信息，做加权平均或根据拼接效果保留最优。
在一种可能的实现方式中，所述使用矩阵式多孔成像系统的计算参数计算得到拼接参数还包括：使用所述计算参数计算得到亮度矫正参数和畸变矫正参数。
在一种可能的实现方式中，使用所述计算参数计算得到亮度矫正参数包括：根据所述计算参数中的像距和图像传感器的像元尺寸计算得到亮度矫正参数；或者，用矩阵式多孔成像系统获取标准多孔图像；从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；从所述目标物小孔像斑中获取目标物像素；测量所述预设模式像素和所述目标物像素并对比分析，获得亮度矫正参数。
在一种可能的实现方式中，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前，还包括：根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；使用亮度矫正参数调整所述目标物小孔像斑中像素的灰度值，以消除所述子图中目标物小孔像斑由中心向外周的亮度衰减，使得所述子图中目标物小孔像斑由中心向外周的亮度均匀。
在一种可能的实现方式中，所述使用所述计算参数计算得到畸变矫正参数包括：利用所述计算参数中的物距、像距、透明介质折射率计算获得畸变矫正参数；或者，用矩阵式多孔成像系统获取标准多孔图像；从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；从所述目标物小孔像斑中获取目标物像素；对所述预设模式像素与所述目标物像素进行几何特征匹配，获得匹配点对；获得匹配点对的位置；对所述匹配点对的位置差异进行分析测量，获得每个像素的畸变矫正参数。
在一种可能的实现方式中，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前还包括：根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；使用畸变矫正参数调整所述子图中目标物小孔像斑中像素的位置，以消除所述子图中目标物小孔像斑由中心向外周的几何畸变。
在一种可能的实现方式中，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前还包括归一化处理，所述归一化处理包括：将拼接后的目标图像进行亮度、对比度及成像分辨率标准化归一化，使得所述目标图像的平均亮度以及对比度方差在预设范围内，使得成像分辨率为标准值。
在一种可能的实现方式中，在基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接之前还包括：基于多目视觉方法的三维重建过程，所述三维重建过程包括根据小孔排布信息及视差恢复出目标物上各点的深度信息。
本申请还提供一种图像处理装置，包括：目标物多孔图像获取单元，用于利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑；目标图像纠正单元，用于基于矩阵式多孔成像系统的拼接参数，对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑；目标图像拼接单元，用于基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像。
附图说明
图1为一种矩阵式小孔成像系统的成像原理示意图
图2为拼接后的完整的目标图像
图3为MAPIS获得的目标物多孔图像
图4使用外置光源及预设模式成像原理示意图
图5使用外置结构光源成像原理示意图
图6使用内置光源及预设模式成像原理示意图
图7使用具有显示功能的内置光源成像原理示意图
图8内置光源显示模式示例
图9定标多孔中心位置的亮斑图像示例
图10预设模式的定标图案示例1
图11预设模式的定标图案示例2
图12预设模式的定标图案示例3
图13以图3作为输入图像，利用不正确的Si参数拼接得到的图像
图14小孔成像产生的亮度衰减示意图
图15穿透不同折射率的介质层成像引起的几何畸变示意图
图16MAPIS光路中几何畸变的产生原理示意图
图17yi随yo的变化曲线
图18a为本实施例提供的一种目标物多孔图像处理流程图
图18b为对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正的流程图
图18c为拼接倒像纠正后的目标物小孔像斑的流程图
图18d为本实施例提供的另一种目标物多孔图像处理过程流程图(其中虚线框内的过程为可选步骤)
图19小孔成像中倒像的产生原理示意图
图20小孔图像的倒像纠正方法示意图
图21多孔成像时，物面上的视场及重叠区示意图
图22亮度矫正后的目标物多孔图像(原始图像为图3)
图23几何畸变矫正后的目标物多孔图像(原始图像为图3)
图24倒像纠正后的目标物多孔图像(原始图像为图3)
图25图像增强后的拼接图像(原始图像为图3)
图26为本实施例提供的多孔图像处理装置的结构示意图
图27为本实施例所述倒像纠正模块200的结构示意图
图28为本实施例所述拼接参数获取模块400的结构示意图。
附图标记说明
1-物面，2-成像小孔，3-阻光层，4-像面，6-物方视场，7-最大无重叠物方视场，8-小孔周期， 9-最大无重叠像方视场，10-小孔像斑，11-矩阵式多孔成像系统不具有内置光源的图像采集器， 12-具有预设模式的第一标准物，13-外置光源，14-具有预设模式的外置结构光源，15-矩阵式多孔成像系统具有内置光源的图像采集器，16-具有预设模式的第二标准物，17-矩阵式多孔成像系统具有显示功能的内置光源的图像采集器。
具体实施方式
图1是本实施例中MAPIS多孔图像的成像原理图。矩阵式多孔成像系统包括矩阵式排布有多个成像小孔2的阻光层3。图1中以两个相邻的成像小孔为例示出。物面1(ObjectPlane) 上目标物体的光线照射至阻光层3上，一部分光线被阻挡于阻光层3外部，另一部分光线经过成像小孔2照射至像面4(Image Plane)上，形成小孔像斑。因此，使用该矩阵式多孔成像系统进行图像采样，得到的是一幅矩阵式排布有多个小孔像斑的多孔图像。本实施例用该矩阵式多孔成像系统获得的图像为例说明本申请的技术方案。
图3为用图1所示的矩阵式多孔成像系统采集到的目标物多孔图像，是一枚指纹的多孔图像。如图3所示，该多孔图像中矩阵式排布有多个圆形的小孔像斑。具体地，在多孔图像中每行有6个小孔像斑，每列有6个小孔像斑，每个小孔像斑呈圆形。每个小孔像斑能够反映一部分物方视场，而不是全部的物方视场。相邻两个甚至相邻多个小孔像斑存在重叠信息。为了得到如图2所示完整无重叠无遗漏的目标图像，需要将各个小孔像斑进行拼接。
具体地，在一种可实现的方式中，在对目标物多孔图像进行处理前，还包括获取矩阵式多孔成像系统的拼接参数的步骤，获取所述拼接参数的方法包括：获取计算参数；使用所述计算参数计算得到拼接参数。所述计算参数为在设计所述矩阵式多孔成像系统时预设的参数，或者，所述计算参数通过包括以下步骤的方法获取，获取计算参数包括：获取标准多孔图像，所述标准多孔图像包括预设模式多孔图像或者面光源多孔图像；根据所述标准多孔图像测算所述计算参数。
所述计算参数包括小孔位置、物距、像距、图像传感器的像元尺寸、相邻小孔间距和透明介质折射率等。
在本申请中，获取预设模式多孔图像包括：利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像，所述预设模式多孔图像含有多个预设模式小孔像斑。
在一种可能的实现方式中，所述预设模式由包含两个方向或者多个方向线条的单个模式按照周期长度有规律重复排布构成，所述周期长度是小孔周期的正整数倍。
在一种可能的实现方式中，所述利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像包括：将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用外置光源照射所述具有预设模式的标准物使之透射成像，获得所述预设模式多孔图像；或者，在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，利用具有预设模式的外置结构光源照射所述矩阵式多孔成像系统的图像采集器上表面，使所述具有预设模式的外置结构光源通过所述矩阵式多孔成像系统成像，获得所述预设模式多孔图像；或者，将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用内置光源照射所述具有预设模式的标准物使之反射成像，获得所述预设模式多孔图像；或者，在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，使具有显示功能的内置光源发出具有预设模式的光线照射所述矩阵式多孔成像系统的图像采集器上表面反射成像，获得所述预设模式多孔图像。
在一种可能的实现方式中，使用显示屏作为所述外置光源、所述具有预设模式的外置结构光源、所述内置光源或所述具有显示功能的内置光源。
所述利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像包括：使用外置光源及预设模式成像，使用具有预设模式的外置结构光源成像，使用内置光源及预设模式成像，或者使用具有显示功能的内置光源成像。
图4为使用外置光源及预设模式成像的示意图。结合图4，所述使用外置光源及预设模式成像包括：
将具有预设模式的第一标准物12放置于矩阵式多孔成像系统不具有内置光源的图像采集器11上表面，
利用外置光源13照射所述具有预设模式的第一标准物12使之透射成像，获得包括透射像斑的图像，将包括透射像斑的图像作为所述预设模式多孔图像。
所述预设模式是指特定图形。所述具有预设模式的标准物为通过一定的工艺，如蒸镀、刻蚀、打印等，在表面形成特定图形的标准物，如打印有特定几何图形的胶片，刻蚀有特定几何图形的玻璃片。
所述外置光源为通用的点光源或面光源。
图5为使用具有预设模式的外置结构光源成像的示意图。结合图5，所述具有预设模式的使用外置结构光源成像包括：
在矩阵式孔成像系统不具有内置光源的图像采集器表面11不放置任何物体，利用具有预设模式的外置结构光源14照射矩阵式孔成像系统不具有内置光源的图像采集器表面11，所述具有预设模式的外置结构光源14为可产生预设模式的点光源或面光源。
使所述具有预设模式的外置结构光源通过所述矩阵式多孔成像系统成像，输出所述预设模式多孔图像。
图6为使用内置光源及预设模式成像的示意图。结合图6，所述使用内置光源及预设模式成像包括：
将具有预设模式的第二标准物16放置于矩阵式多孔成像系统具有内置光源的图像采集器15表面。利用内置光源照射所述具有预设模式的标准物使之反射成像，输出所述预设模式多孔图像，所述内置光源为设置于矩阵式多孔成像系统的图像采集器内部的点光源或面光源。
图7为使用具有显示功能的内置光源成像的示意图。结合图7，所述使用具有显示功能的内置光源成像包括：
在矩阵式多孔成像系统具有显示功能的内置光源的图像采集器17表面不放置任何物体，使具有显示功能的内置光源发出反映预设模式的光线通过矩阵式多孔成像系统的图像采集器表面反射成像，输出所述预设模式多孔图像。
具有显示功能的内置光源指置于MAPIS采集器内部的可显示预设模式的光源。
可选地，所述有显示功能的内置光源可以是手机显示屏幕。
图8为有显示功能的内置光源显示模式示例。图8中，有显示功能的内置光源所显示的预设模式设置为规则的“田”字。
受加工误差影响，与设计的小孔位置相比，所有成像小孔的真实小孔位置可能会有整体的平移或者旋转误差，因此拼接参数中小孔位置可以使用在设计所述矩阵式多孔成像系统时预设的参数，也可以利用计算参数通过计算来确定。
在本申请中，使用所述计算参数计算得到拼接参数包括：使用所述计算参数计算得到小孔位置和最大无重叠像方视场尺寸；使用所述最大无重叠像方视场尺寸计算成像分辨率。
图9为含有多个亮场小孔像斑的面光源多孔图像的示例。具体地，结合图9，所述使用所述计算参数计算得到小孔位置包括：利用矩阵式多孔成像系统获取面光源多孔图像；在所述面光源多孔图像上，以所述面光源多孔图像上任意一点为原点建立直角坐标系；确定小孔位置，所述小孔位置为所述亮场小孔像斑的几何中心在所述直角坐标系中对应的坐标。
在一种可实现的方式中，以所述面光源多孔图像左上角顶点作为原点建立直角坐标系，以便直观表示各成像小孔的小孔位置。
可选的，可用实心圆来拟合各成像小孔的像斑，以实心圆的圆心作为小孔像斑的几何中心，从而获得小孔位置。
在本申请中，获取面光源多孔图像包括：利用矩阵式多孔成像系统在均匀面光源发光条件下形成面光源多孔图像，所述面光源多孔图像含有多个亮场小孔像斑。
结合图1，将水平或垂直方向上相邻两个成像小孔2的中心之间的距离定义为小孔周期8，记为Ppinhole。将每个小孔像斑10在像面4上的区域定义为像方视场(Field of Viewon Image Plane,FOVI)。每个小孔像斑10对应了物面上的一块区域，记为物方视场6(Fieldof View on Object Plane,FOVO)。按照MAPIS的设计原则，相邻成像小孔的物方视场6是有重叠的，即相邻小孔像斑上的信息是有冗余的，如图21所示。将整个物方视场按成像小孔进行均匀划分，使得物方视场中的每个点被分配到距离最近的成像小孔，用这种方式划分得到的成像小孔的物方视场区域定义为最大无重叠物方视场7(Maximum Non-overlappingFOV on Object Plane, MNFOVO)，其尺寸记为So。每个最大无重叠物方视场7对应的像方视场定义为最大无重叠像方视场9(Maximum Non-overlapping FOV on Image Plane,MNFOVI)，其尺寸记为Si。图1显示了它们之间的关系。
MAPIS产品在出厂时会对Si值进行定标。在实际使用过程中像距ID不发生变化，但用户的一些操作却会改变物距OD，在这种情况下需要对Si值重新定标。例如，当MAPIS与手机屏幕结合构成图像采集设备时，或者在手机屏幕下贴装MAPIS图像采集设备的情况下，如果用户在手机屏幕表面贴膜则会改变物距，这会改变系统的Si值。
在本申请中，所述使用所述计算参数的计算最大无重叠像方视场尺寸包括：从预设模式多孔图像中测量得到最大无重叠像方视场尺寸；或者，利用所述计算参数中的物距和像距计算得到最大无重叠像方视场尺寸；或者，对所述预设模式小孔像斑的拼接效果进行最优估计得到最大无重叠像方视场尺寸。
具体地，所述从预设模式多孔图像中测量得到最大无重叠像方视场尺寸Si包括：
使用具有预设模式的标准物在所述MAPIS系统中成像，获取预设模式多孔图像，所述预设模式具有预设尺寸S′o，设定S′o＝c*So，其中，c为已知常数；
在所述预设模式多孔图像中测量出该预设模式成像的尺寸S′i，那么S′i＝c*Si。
因此，可根据公式(1)计算Si。
Si＝So×S′i/S′o 公式(1)
在一种可实现的方式中，所述预设模式可以是由包含两个方向或者多个方向线条的单个模式按照周期长度有规律重复排布构成，如图10、图11、图12所示的模式，以便于测量所述预设模式多孔图像中预设模式的成像尺寸。可选的，所述周期长度是小孔周期8的正整数倍，例如在图10中，周期长度为相邻两个正方形各自的几何中心的距离，所述周期长度是小孔周期8的正整数倍。
可选地，物距OD和像距ID用下面的公式(2)和公式(3)表示，
ID＝ID0+δID 公式(2)
OD＝OD0+δOD+ΔOD 公式(3)
其中，ID0表示预设像距值，OD0表示预设物距值，δID为像距在生产过程中的加工误差，δOD为物距在生产过程中的加工误差，ΔOD为物距在出厂后的变化量。
如果能够准确获知MAPIS的物距OD和像距ID，或者已知ID0、OD0的设计参数和出厂后物距变化量ΔOD，并且加工误差δID、δOD可以忽略，则可利用根据第一预设规则计算Si。
在一种可能的实现方式中，所述利用所述计算参数中的物距和像距计算得到最大无重叠像方视场尺寸，具体地根据如下公式(4)进行计算：
Si＝So×ID/OD， 公式(4)
对于公式(4)，由于本实施例中所用的图像采集设备为矩阵式等周期分布的MAPIS，而且小孔周期Ppinhole在实际生产MAPIS时的加工误差可忽略，因此，可以用小孔周期Ppinhole作为最大无重叠物方视场，即，So＝Ppinhole。
在某些情况下虽然不能准确获知物距OD和像距ID，在已知ID0、OD0的前提下，出厂后物距变化量ΔOD和加工误差δID、δOD的取值范围如果可以较为准确地知道，可以用最优拼接法估计Si。即对具有明显对比度的实际目标物(如指纹)成像，尝试用Si的各种可能值进行拼接，对拼接效果进行评价，挑选最优值，即，对所述预设模式小孔像斑的拼接效果进行最优估计得到最大无重叠像方视场尺寸。Si的可能值依据物距变化量ΔOD和加工误差δID、δOD的取值范围确定。
在进行拼接时，如果Si准确，则得到的拼接图像在各个小孔像斑相接的地方过渡自然平滑，相反，如果Si错误，则在各个小孔像斑相接的地方会存在明显的错位和瑕疵，如图13所示。通过对拼接效果的评估，选择最佳拼接效果对应的Si作为该MAPIS图像采集设备的Si。
在一种可实现的方式中，所述MAPIS的成像分辨率利用最大无重叠像方视场尺寸根据下式公式(5)获取。
R＝Si/(SpSo)＝ID/(SpOD) 公式(5)
其中，R为所述MAPIS的成像分辨率，Sp为图像传感器的像元尺寸，所述Sp是在矩阵式多孔成像系统设计时预设的参数。
在一种可实现的方式中，所述使用矩阵式多孔成像系统的计算参数计算得到拼接参数还包括：使用所述计算参数计算得到亮度矫正参数和畸变矫正参数。
由于小孔成像本身会引起每个小孔像斑由中心向周边的亮度衰减，因此，用MAPIS图像采集设备采集到的多孔图像上每个小孔像斑由中心向周边的亮度不一致，如图14所示。如果不对多孔图像进行亮度矫正，则拼接得到的目标图像会存在亮度不均的问题。
可选地，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前，还包括：根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；使用亮度矫正参数调整所述目标物小孔像斑中像素的灰度值，以消除所述子图中目标物小孔像斑由中心向外周的亮度衰减，使得所述子图中目标物小孔像斑由中心向外周的亮度均匀。
可选地，所述使用所述计算参数计算得到亮度矫正参数包括：
根据所述计算参数中的像距和图像传感器的像元尺寸计算得到亮度矫正参数，具体地，
对光路进行理论分析可知，使用均匀面光源成像时，在小孔像斑上的关系如公式(6)所示：
Ex＝Eocos4θ 公式(6)
其中，Ex表示小孔像斑上与小孔中心距离为x的点X的照度，Eo表示小孔像斑中心处的照度，θ为X点与小孔中心的连线和小孔光轴的夹角，即图16中的θ2，小孔图像上每一点的θ可根据物距OD、像距ID、透明介质的折射率n1、n2及当前点在像面上与小孔中心的距离yi计算得到。记1/cos4θ为亮度矫正参数，从而，X点校正后的亮度根据公式(7)计算获得：
I′x＝Ix/cos4θ 公式(7)
其中，I′x为校正后亮度，Ix为校正前亮度。
或者，所述使用所述计算参数计算得到亮度矫正参数包括：用矩阵式多孔成像系统获取标准多孔图像；从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；从所述目标物小孔像斑中获取目标物像素；测量所述预设模式像素和所述目标物像素并对比分析，获得亮度矫正参数。
具体地，对面光源或预设模式成像的小孔像斑进行统计，获得亮度衰减模板，如图14所示；
依据公式(8)，矫正任一点X的亮度：
I′x＝Ix×To/Tx 公式(8)
其中，I′x为校正后亮度，Ix为校正前亮度，To为亮度衰减模板中心的亮度值，Tx为亮度衰减模板中X点的亮度值。此时，亮度校正参数变为To/Tx。
图15为用预设模式获取的未进行畸变矫正的小孔像斑。MAPIS的图像采集设备在工作时，光线从物体表面透过小孔到达图像传感器，由于穿透折射率不同的介质层导致成像存在一定的几何畸变，如图15所示，如果不进行畸变矫正，拼接的图像会存在一定程度的畸变和混叠。
可选地，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前还包括：根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；使用畸变矫正参数调整所述子图中目标物小孔像斑中像素的位置，以消除所述子图中目标物小孔像斑由中心向外周的几何畸变。
在一种可实现的方式中，所述使用所述计算参数计算得到畸变矫正参数包括：用矩阵式多孔成像系统获取标准多孔图像；从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；从所述目标物小孔像斑中获取目标物像素；对所述预设模式像素与所述目标物像素进行几何特征匹配，获得匹配点对；获得匹配点对的位置；对所述匹配点对的位置差异进行分析测量，获得每个像素的畸变矫正参数。
具体地，图16为小孔像斑畸变原理图，如图16所示，假设从物面1到阻光层3为透明介质I，其折射率为n1，从阻光层3到像面4为透明介质II，折射率为n2，则有如下公式(9)、公式(10)和公式(11)成立：
yo＝OD·tanθ1 公式(9)
yi＝ID·tanθ2 公式(10)
n1·sinθ1＝n2·sinθ2 公式(11)
其中，yo为物方点距离小孔中心的距离，yi为像方点距离小孔中心的距离，OD、ID分别为MAPIS的物距和像距,θ1表示入射角、θ2表示出射角。
由公式(9)、公式(10)和公式(11)可以得到公式(12)：
yi/yo＝(ID*n1*cosθ1)/(OD*n2*cosθ2) 公式(12)
若n1≠n2，则yi不会随yo线性变化。从而距离小孔中心不同位置上物方点经小孔成像时，放大率不同，存在畸变。图17示出yi随yo变化曲线，如图17所示，当n1<n2时，可以估计出小孔图像上各个位置的矫正参数。即
(x′i y′i)＝Cx,y(xi yi) 公式(13)
Cx,y＝(OD*n2*cosθ2)/(ID*n1*cosθ1) 公式(14)
其中，(xi yi)是小孔像斑上某一点校正前的坐标，(x′i y′i)是该点的校正后坐标。Cx,y是矫正参数，与点(xi yi)到小孔中心的距离有关。
或者，所述使用所述计算参数计算得到畸变矫正参数包括：利用所述计算参数中的物距、像距、透明介质折射率计算获得畸变矫正参数，具体地，根据公式(14)进行计算。若MAPIS 系统的结构与图16不符，则需要根据实际结构调整公式(14)。
所述利用矩阵式多孔成像系统获取预设模式多孔图像，对目标物多孔图像中每个目标物小孔像斑包含的模式图像与预设模式图像对比，对差异进行分析测量，获得每一点的畸变矫正参数中，不妨假设获得的一个目标物小孔像斑如图15中所示，而预设模式小孔像斑如图 12所示。利用几何特征法匹配图15的目标物小孔像斑与图12的预设模式小孔像斑，可以得到逐点的对应关系；对于缺乏几何特征的区域，可以通过插值方法获得对应关系。设想通过几何特征匹配，目标物小孔像斑上的某一点(TIx TIy)匹配了预设模式小孔像斑的 (TOx TOy)点，这里的坐标值以目标物小孔中心为原点。那么此时，公式(15)成立：
从而可以依据公式(15)进行畸变矫正。
图18a为本实施例中对MAPIS获得的目标物多孔图像处理方法的流程图。结合图18a，说明本实施例的方法。在本申请中，所述目标物多孔图像是指目标物利用MAPIS获得的多孔图像，所述预设模式多孔图像是指具有预设模式的标准物利用MAPIS获得的多孔图像。
S100利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑。
S200基于矩阵式多孔成像系统的拼接参数，对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑。在本申请中，所述倒像纠正可以是对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正，也可是对所述目标物多孔图像中的一部分目标物小孔像斑进行倒像纠正。
S300基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像。在本申请中，所述拼接可以是对所述倒像纠正后的目标物小孔像斑进行拼接，也可以是对所述倒像纠正后的目标物小孔像斑中的一部分进行拼接。
在S100中，所述目标物小孔像斑可以为任意形状。可选地，所述小孔像斑为圆形或者正方形等。一是便于矩阵式多孔成像系统的制造，二是规则形状的像斑更易于图像分割、倒像纠正以及拼接等操作。
在S200中，所述倒像纠正后的目标物小孔像斑与物方视场的方向一致，便于后续的图像拼接及其他处理和识别工作。
图18b为对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正的流程图，结合图18b，对所述多孔图像中的小孔像斑进行倒像纠正包括：
S201根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑。
S202获取所述目标物小孔像斑上的像素在以所述目标物小孔像斑的中心为原点的直角坐标系中的位置坐标。
在每个子图上，以目标物小孔像斑的中心为原点建立直角坐标系，每个像素的位置用其在该直角坐标系中对应的位置坐标表示。
S203将所述像素的位置坐标做关于所述原点的中心对称翻转，得到倒像纠正后的目标物小孔像斑。将所述目标物小孔像斑上像素做关于所述原点的中心对称翻转，得到倒像纠正后的目标物小孔像斑。
示例地，图20为本实施例中心对称翻转的示意图。结合图20，对每个目标物小孔像斑，以目标物小孔像斑的中心为原点建立直角坐标系，每个像素对应一个位置坐标(x,y)以及一个灰度值i；对像素对应的位置坐标做关于所述原点的中心对称翻转，即(x,y,i)变为(-x,-y, i),得到倒像纠正后的目标物小孔像斑。
示例地，以图3为原始图像获得的倒像纠正后的目标物多孔图像如图24所示。
图18c为一种可实现的方式中，拼接倒像纠正后的目标物小孔像斑的流程，结合图18c， S300所述对倒像纠正后的目标物小孔像斑进行拼接包括：
S301从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸为最大无重叠像方视场尺寸；具体地，以每个倒像纠正后的目标物小孔像斑的几何中心为中心，从所述目标物小孔像斑中，取出尺寸恰好等于所述矩阵式多孔成像系统的最大无重叠像方视场尺寸si的图像片段。
S302根据所述目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段，生成完整的目标图像。
另一种可实现的方式中，S300所述对倒像纠正后的目标物小孔像斑进行拼接包括：
从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸大于最大无重叠像方视场尺寸，具体地，以每个倒像纠正后的小孔像斑的中心为中心，从所述小孔像斑中取出尺寸大于所述矩阵式多孔成像系统的最大无重叠像方视场尺寸的图像片段，使相邻图像片段外周部分有信息重叠，所述信息是指所述图像片段上的图像信息；根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段。
在一种可能的实现方式中，所述根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段包括：对于相邻图像片段中不重叠的信息，保留原信息；对于相邻图像片段中重叠的信息，做加权平均或保留最优，特别的，按照预设规则保留最优，所述预设规则可以是优先选择与其邻域对比度最大的点，或优先选择亮度最高的点。
图18d为本实施例提供的另一种多孔图像处理方法流程图，结合图18d，所述方法包括：小孔倒像纠正和图像拼接，所述小孔倒像纠正是指对目标物小孔像斑进行倒像纠正，让你双眼皮图像拼接是指对倒像纠正后的目标物小孔像斑进行图像拼接。可选地，在小孔倒像纠正前还包括：小孔级图像分割、小孔亮度畸变矫正、小孔几何畸变矫正、小孔三维重建和深度计算中的一个或者多个步骤。
进一步可选地，在基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像后，还可以包括拼接图像增强和分割以及图像归一化中的一个或者多个步骤。
本发明人发现，如果在每个目标物小孔像斑上只截取尺寸恰好为si的图像片段，拼接得到的目标图像容易在相邻目标物小孔像斑相接的地方产生块效应。因此如果对每个目标物小孔像斑的取图范围做一定的扩展，使得到的图像片段的尺寸大于si，就会使相邻的图像片段在内容上有部分重叠信息，再对重叠信息加权平均或按照预设规则保留最优，可以使目标图像内容的过渡更加平滑自然，避免拼接过程中的块效应。
在一种可能的实现方式中，所述图像处理方法还包括依据公式(7)或(8)的亮度矫正过程，使得所述目标物多孔图像中每个目标物小孔像斑由中心向外周的亮度衰减矫正到每个单独小孔像斑的亮度均匀。
可选地，所述亮度矫正在将所述目标物多孔图像分割为若干子图之前进行。
在一种可能的实现方式中，所述图像处理方法还包括依据公式(13)，公式(14)或(15) 的畸变矫正过程，从而消除所述目标物多孔图像中每个目标物小孔像斑由中心向外周的几何畸变。
可选地，所述畸变矫正在亮度矫正之后，在将所述目标物多孔图像分割为若干子图之前进行。
以图1作为原始的目标物多孔图像，先对目标物多孔图像进行亮度矫正，结果如图22所示，再对亮度矫正后的目标物多孔图像进行畸变矫正，结果如图23所示。
在另一种可能的实现方式中，所述目标物多孔图像处理方法还包括图像增强处理和图像分割处理，使得目标图像易于识别。
优选地，所述图像增强处理可以采用直方图均衡化方法。
示例地，以图3为原始图像经过图像增强获得的图像如图25所示。
所述图像分割处理能够消除环境对目标物成像的干扰。
在另一种可实现的方式中，所述图像处理方法还包括归一化处理。归一化处理是将目标图像的亮度、对比度以及成像分辨率分别进行标准化归一化处理，使目标图像的平均亮度、对比度方差在预设范围内，成像分辨率为预设的标准值。归一化处理后的目标图像可方便后续的识别或其他应用。
可选地，根据下列公式(16)对灰度和灰度的方差进行归一化处理：
I′(x,y)＝(I(x,y)-μ)*σideal/σ+μideal 公式(16)
其中，
μ和σ为归一化处理前目标图像的灰度均值和灰度的方差，μideal和σideal是预设的灰度均值和灰度的方差。
I(x,y)是归一化处理前目标图像上(x,y)点的灰度值，I′(x,y)是归一化处理后目标图像上 (x,y)点的灰度值。由于灰度对应于亮度，灰度的方差对应于对比度，从而上式将亮度和对比度归一化。
可选地，根据下列公式(17)对成像分辨率进行标准化处理：
I′(x,y)＝I(x×Rideal/R,y×Rideal/R) 公式(17)
其中，R是标准化前目标图像的成像分辨率，Rideal是预设的成像分辨率的标准值。
在另一种可能的实现方式中，所述图像处理方法在根据小孔位置将所述目标物多孔图像分割为若干子图之前还包括基于多目视觉方法的三维重建过程。
基于多目视觉方法的三维重建过程，所述三维重建过程包括根据小孔排布信息及视差恢复出目标物上各点的深度信息。在多孔成像时，目标物上的一个点会通过多个成像小孔形成多个具有视差的像，利用这多个像的信息及矩阵式多孔成像系统的物距、像距、小孔间距等参数恢复出目标物上的点的深度信息，将目标物上所有点的深度信息进行归一化输出，得到完整的目标图像。
本申请还提供一种图像处理装置，图26为本实施例提供的多孔图像处理装置的结构示意图。结合图26，所述装置包括：目标物多孔图像获取模块100，用于利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑；倒像纠正模块200，用于基于矩阵式多孔成像系统的拼接参数，对所述目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑；目标图像生成模块300，用于基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像。
图27为倒像纠正模块200的结构示意图，结合图27，在一种可实现的方式中，所述倒像纠正模块200包括：图像分割单元201，用于根据小孔位置将所述目标物多孔图像分割为若干子图，每个子图上包括一个完整的小孔像斑；像素确定单元202，用于在每个子图上，以所述小孔像斑的中心为原点建立直角坐标系，获取每个像素的位置和灰度值，每个像素的位置用其在该直角坐标系中对应的位置坐标表示；倒像纠正单元203，用于将所述小孔像斑上像素做关于所述原点的中心对称翻转，得到倒像纠正后的目标物小孔像斑。
在一种可实现的方式中，所述图像拼接模块300包括：图像片段截取单元，用于从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸大于或者等于最大无重叠像方视场尺寸；图像片段拼接单元，用于根据所述多孔图像中各小孔像斑的相对位置拼合所述图像片段，生成完整的目标图像，如果相邻图像片段存在信息重叠，则对于相邻图像片段中不重叠的信息，保留原信息，对于相邻图像片段中重叠的信息，做加权平均或保留最优，特别的，按照预设规则保留最优，所述预设规则可以是优先选择与其邻域对比度最大的点，或优先选择亮度最高的点。
可选地，所述装置还包括拼接参数获取模块400，用于获取拼接参数。
图28为所述拼接参数获取模块400的结构示意图，结合图28，在一种可能的实现方式中，所述拼接参数获取模块400包括计算参数获取单元401，用于获取计算参数；拼接参数测算单元402，用于使用所述计算参数计算得到拼接参数。
所述计算参数获取单元401包括标准多孔图像获取子单元，用于获取标准多孔图像，所述标准多孔图像包括预设模式多孔图像或者面光源多孔图像；计算参数测算子单元，用于根据所述标准多孔图像测算所述计算参数。
所述标准多孔图像获取子单元包括预设模式多孔图像获取从单元，用于利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像，所述预设模式多孔图像含有多个预设模式小孔像斑；面光源多孔图像获取从单元，用于利用矩阵式多孔成像系统在均匀面光源发光条件下形成面光源多孔图像，所述面光源多孔图像含有多个亮场小孔像斑。
所述预设模式多孔图像获取从单元包括以下预设模式多孔图像获取器中的至少一种：
第一预设模式多孔图像获取器，用于将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用外置光源照射所述具有预设模式的标准物使之透射成像，获得所述预设模式多孔图像；
第二预设模式多孔图像获取器，用于在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，利用具有预设模式的外置结构光源照射所述矩阵式多孔成像系统的图像采集器上表面，使所述具有预设模式的外置结构光源通过所述矩阵式多孔成像系统成像，获得所述预设模式多孔图像；
第三预设模式多孔图像获取器，用于将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用内置光源照射所述具有预设模式的标准物使之反射成像，获得所述预设模式多孔图像；
第四预设模式多孔图像获取器，用于在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，使具有显示功能的内置光源发出具有预设模式的光线照射所述矩阵式多孔成像系统的图像采集器上表面反射成像，获得所述预设模式多孔图像。
在一种可实现的方式中，所述拼接参数测算单元402包括：小孔位置获取子单元，最大无重叠像方视场尺寸获取子单元和成像分辨率获取子单元。
所述小孔位置获取子单元包括：面光源多孔图像获取从单元，用于利用矩阵式多孔成像系统获取面光源多孔图像；直角坐标系建立从单元，用于在所述面光源多孔图像上，以所述面光源多孔图像上任意一点为原点建立直角坐标系；小孔位置确定从单元，用于确定小孔位置，所述小孔位置为所述亮场小孔像斑的几何中心在所述直角坐标系中对应的坐标。
所述最大无重叠像方视场尺寸获取子单元包括以下从单元中的至少一种：最大无重叠像方视场尺寸测量从单元，用于从预设模式多孔图像中测量得到最大无重叠像方视场尺寸；最大无重叠像方视场尺寸计算从单元，用于利用所述计算参数中的物距和像距计算得到最大无重叠像方视场尺寸；最大无重叠像方视场尺寸最优估计从单元，用于对所述预设模式小孔像斑的拼接效果进行最优估计得到最大无重叠像方视场尺寸。
在一种可实现的方式中，所述拼接参数测算单元402还包括亮度矫正参数获取子单元，用于获取亮度矫正参数和畸变矫正参数获取子单元，用于获取畸变矫正参数。
在一种可实现的方式中，如图26所示，所述装置还包括归一化处理模块500，用于将拼接后的目标图像进行亮度、对比度及成像分辨率标准化归一化，使得所述目标图像的平均亮度以及对比度方差在预设范围内，使得成像分辨率为标准值。
在一种可实现的方式中，如图26所示，所述装置还包括基于多目视觉方法的三维重建模块600，用于根据小孔排布信息及视差恢复出目标物上各点的深度信息。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
Claims (24)
1.一种图像处理方法，其特征在于，包括：
利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑；
基于矩阵式多孔成像系统的拼接参数，对所述目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑；
基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像；其中，
所述对倒像纠正后的目标物小孔像斑进行拼接包括：
从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸为最大无重叠像方视场尺寸或所述图像片段的尺寸大于最大无重叠像方视场尺寸；
根据所述目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段。
2.根据权利要求1所述的方法，其特征在于，在对所述目标物小孔像斑进行倒像纠正之前还包括获取拼接参数。
3.根据权利要求2所述的方法，其特征在于，所述获取拼接参数包括：
获取计算参数；
使用所述计算参数计算得到拼接参数。
4.根据权利要求3所述的方法，其特征在于，所述计算参数为在设计所述矩阵式多孔成像系统时预设的参数。
5.根据权利要求3所述的方法，其特征在于，所述获取计算参数包括：
获取标准多孔图像，所述标准多孔图像包括预设模式多孔图像或者面光源多孔图像；
根据所述标准多孔图像测算所述计算参数。
6.根据权利要求5所述的方法，其特征在于，获取预设模式多孔图像包括：
利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像，所述预设模式多孔图像含有多个预设模式小孔像斑。
7.根据权利要求5所述的方法，其特征在于，获取面光源多孔图像包括：
利用矩阵式多孔成像系统在均匀面光源发光条件下形成面光源多孔图像，所述面光源多孔图像含有多个亮场小孔像斑。
8.根据权利要求6所述的方法，其特征在于，所述预设模式由包含两个方向或者多个方向线条的单个模式按照周期长度重复排布构成。
9.根据权利要求8所述的方法，其特征在于，所述周期长度是小孔周期的正整数倍。
10.根据权利要求6所述方法，其特征在于，所述利用矩阵式多孔成像系统获取预设模式对应的预设模式多孔图像包括：
将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用外置光源照射所述具有预设模式的标准物使之透射成像，获得所述预设模式多孔图像；或者，
在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，利用具有预设模式的外置结构光源照射所述矩阵式多孔成像系统的图像采集器上表面，使所述具有预设模式的外置结构光源通过所述矩阵式多孔成像系统成像，获得所述预设模式多孔图像；或者，
将具有预设模式的标准物放置于矩阵式多孔成像系统的图像采集器上表面，利用内置光源照射所述具有预设模式的标准物使之反射成像，获得所述预设模式多孔图像；或者，
在矩阵式多孔成像系统的图像采集器上表面不放置任何物体，使具有显示功能的内置光源发出具有预设模式的光线照射所述矩阵式多孔成像系统的图像采集器上表面反射成像，获得所述预设模式多孔图像。
11.根据权利要求10所述方法，其特征在于，使用显示屏作为所述外置光源、所述具有预设模式的外置结构光源、所述内置光源或所述具有显示功能的内置光源。
12.根据权利要求7所述图像处理方法，其特征在于，使用所述计算参数计算得到拼接参数包括：
使用所述计算参数计算得到小孔位置和最大无重叠像方视场尺寸；
使用所述最大无重叠像方视场尺寸计算成像分辨率。
13.根据权利要求12所述图像处理方法，其特征在于，所述使用所述计算参数计算得到小孔位置包括：
利用矩阵式多孔成像系统获取面光源多孔图像；
在所述面光源多孔图像上，以所述面光源多孔图像上任意一点为原点建立直角坐标系；
确定小孔位置，所述小孔位置为所述亮场小孔像斑的几何中心在所述直角坐标系中对应的坐标。
14.根据权利要求12所述的图像处理方法，其特征在于，所述使用所述计算参数计算最大无重叠像方视场尺寸包括：
从预设模式多孔图像中测量得到最大无重叠像方视场尺寸；
或者，
利用所述计算参数中的物距和像距计算得到最大无重叠像方视场尺寸；
或者，
对所述预设模式小孔像斑的拼接效果进行最优估计得到最大无重叠像方视场尺寸。
15.根据权利要求12所述的图像处理方法，其特征在于，对所述目标物小孔像斑进行倒像纠正包括：
根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；
获取所述目标物小孔像斑上的像素在以所述目标物小孔像斑的中心为原点的直角坐标系中的位置坐标；
将所述像素的位置坐标做关于所述原点的中心对称翻转，得到倒像纠正后的目标物小孔像斑。
16.根据权利要求1所述的图像处理方法，其特征在于，根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段包括：
对于相邻图像片段中不重叠的信息，保留原信息；
对于相邻图像片段中重叠的信息，做加权平均或根据拼接效果保留最优。
17.根据权利要求12所述的图像处理方法，其特征在于，所述使用所述计算参数计算得到拼接参数还包括：
使用所述计算参数计算得到亮度矫正参数和畸变矫正参数。
18.根据权利要求17所述的图像处理方法，其特征在于，使用所述计算参数计算得到亮度矫正参数包括：
根据所述计算参数中的像距和图像传感器的像元尺寸计算得到亮度矫正参数；
或者，
用矩阵式多孔成像系统获取标准多孔图像；
从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；
从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；
从所述目标物小孔像斑中获取目标物像素；
测量所述预设模式像素和所述目标物像素并对比分析，获得亮度矫正参数。
19.根据权利要求17所述的图像处理方法，其特征在于，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前，还包括：
根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；
使用亮度矫正参数调整所述目标物小孔像斑中像素的灰度值，以消除所述子图中目标物小孔像斑由中心向外周的亮度衰减，使得所述子图中目标物小孔像斑由中心向外周的亮度均匀。
20.根据权利要求17所述的图像处理方法，其特征在于，所述使用所述计算参数计算得到畸变矫正参数包括：
利用所述计算参数中的物距、像距、透明介质折射率计算获得畸变矫正参数；
或者，
用矩阵式多孔成像系统获取标准多孔图像；
从所述标准多孔图像中获取预设模式小孔像斑或者亮场小孔像斑；
从所述预设模式小孔像斑或者亮场小孔像斑中获取预设模式像素；
从所述目标物小孔像斑中获取目标物像素；
对所述预设模式像素与所述目标物像素进行几何特征匹配，获得匹配点对；
获得匹配点对的位置；
对所述匹配点对的位置差异进行分析测量，获得每个像素的畸变矫正参数。
21.根据权利要求17所述的图像处理方法，其特征在于，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前还包括：
根据所述小孔位置将所述目标物多孔图像分割为若干子图，每个子图上有且只有一个完整的目标物小孔像斑；
使用畸变矫正参数调整所述子图中目标物小孔像斑中像素的位置，以消除所述子图中目标物小孔像斑由中心向外周的几何畸变。
22.根据权利要求16所述的图像处理方法，其特征在于，在根据目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段之前还包括归一化处理，所述归一化处理包括：
将拼接后的目标图像进行亮度、对比度及成像分辨率标准化归一化，使得所述目标图像的平均亮度以及对比度方差在预设范围内，使得成像分辨率为标准值。
23.根据权利要求1所述的图像处理方法，其特征在于，在对倒像纠正后的目标物小孔像斑进行拼接之前还包括：
基于多目视觉方法的三维重建过程，所述三维重建过程包括根据小孔排布信息及视差恢复出目标物上各点的深度信息。
24.一种图像处理装置，其特征在于，包括：
目标物多孔图像获取单元，用于利用矩阵式多孔成像系统获取目标物对应的目标物多孔图像，所述目标物多孔图像含有多个目标物小孔像斑；
目标图像纠正单元，用于基于矩阵式多孔成像系统的拼接参数，对所述目标物多孔图像中的目标物小孔像斑进行倒像纠正，得到多个倒像纠正后的目标物小孔像斑；
目标图像拼接单元，用于基于矩阵式多孔成像系统的拼接参数，对倒像纠正后的目标物小孔像斑进行拼接，生成目标图像；其中，
所述对倒像纠正后的目标物小孔像斑进行拼接包括：
从所述目标物小孔像斑中取出一个图像片段，所述图像片段的中心与所述倒像纠正后的目标物小孔像斑的中心相同，所述图像片段的尺寸为最大无重叠像方视场尺寸或所述图像片段的尺寸大于最大无重叠像方视场尺寸；
根据所述目标物多孔图像中各目标物小孔像斑的相对位置拼合所述图像片段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711086512.4A CN109754365B (zh) | 2017-11-07 | 2017-11-07 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711086512.4A CN109754365B (zh) | 2017-11-07 | 2017-11-07 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109754365A CN109754365A (zh) | 2019-05-14 |
| CN109754365B true CN109754365B (zh) | 2023-12-05 |
Family
ID=66401298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711086512.4A Active CN109754365B (zh) | 2017-11-07 | 2017-11-07 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109754365B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020103075A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳印象认知技术有限公司 | 一种图像处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855471A (zh) * | 2012-08-01 | 2013-01-02 | 中国科学院自动化研究所 | 远距离虹膜智能成像装置及方法 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN105760808A (zh) * | 2014-11-14 | 2016-07-13 | 深圳印象认知技术有限公司 | 成像板、图像采集器及终端 |
| WO2016112864A1 (zh) * | 2015-01-16 | 2016-07-21 | 宁波舜宇光电信息有限公司 | 利用小孔成像原理建立的光学成像装置及其制造方法和应用 |
| CN107209123A (zh) * | 2015-01-26 | 2017-09-26 | 加州理工学院 | 多孔傅立叶重叠关联和荧光成像 |
-
2017
- 2017-11-07 CN CN201711086512.4A patent/CN109754365B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855471A (zh) * | 2012-08-01 | 2013-01-02 | 中国科学院自动化研究所 | 远距离虹膜智能成像装置及方法 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN105760808A (zh) * | 2014-11-14 | 2016-07-13 | 深圳印象认知技术有限公司 | 成像板、图像采集器及终端 |
| WO2016112864A1 (zh) * | 2015-01-16 | 2016-07-21 | 宁波舜宇光电信息有限公司 | 利用小孔成像原理建立的光学成像装置及其制造方法和应用 |
| CN107209123A (zh) * | 2015-01-26 | 2017-09-26 | 加州理工学院 | 多孔傅立叶重叠关联和荧光成像 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109754365A (zh) | 2019-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020010945A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110392252B (zh) | 用于生成相机的校正模型以校正像差的方法 | |
| CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| CN111028205B (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
| TWI490445B (zh) | 用於估計一物件之一三維表面形狀之方法、裝置及機器可讀非暫時性儲存媒體 | |
| CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
| CN109974623B (zh) | 基于线激光和双目视觉的三维信息获取方法和装置 | |
| CN108716890A (zh) | 一种基于机器视觉的高精度尺寸检测方法 | |
| US20230146924A1 (en) | Neural network analysis of lfa test strips | |
| CN113570578B (zh) | 一种镜片鬼影现象检测方法、装置 | |
| CN109754365B (zh) | 一种图像处理方法及装置 | |
| CN113963065A (zh) | 一种基于外参已知的镜头内参标定方法及装置、电子设备 | |
| JP6346018B2 (ja) | 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム | |
| CN116934833B (zh) | 基于双目视觉水下结构病害检测方法、设备及介质 | |
| CN107527323B (zh) | 镜头畸变的标定方法及装置 | |
| WO2020103075A1 (zh) | 一种图像处理方法及装置 | |
| JP2010087859A (ja) | 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム | |
| CN116380918A (zh) | 缺陷检测方法、装置及设备 | |
| WO2020025509A1 (en) | Method and system for mapping the non-uniformity of an image sensor | |
| CN114674244B (zh) | 一种同轴正入射散斑偏折术测量方法和装置 | |
| CN112051920A (zh) | 视线落点确定方法和装置 | |
| CN112308933B (zh) | 相机内参标定的方法、装置及计算机存储介质 | |
| CN107945236B (zh) | 一种适于通用光学系统的亚像素级非线性标定方法 | |
| Tian et al. | Improvement of camera calibration accuracy based on periodic arrangement characteristics of calibration target pattern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |