CN115131350B - 一种大景深观测与表面形貌分析系统 - Google Patents
一种大景深观测与表面形貌分析系统 Download PDFInfo
- Publication number
- CN115131350B CN115131350B CN202211047503.5A CN202211047503A CN115131350B CN 115131350 B CN115131350 B CN 115131350B CN 202211047503 A CN202211047503 A CN 202211047503A CN 115131350 B CN115131350 B CN 115131350B
- Authority
- CN
- China
- Prior art keywords
- image
- focusing
- image information
- gray value
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012876 topography Methods 0.000 title claims abstract description 17
- 230000002776 aggregation Effects 0.000 claims abstract description 21
- 238000004220 aggregation Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000005215 recombination Methods 0.000 claims description 11
- 230000006798 recombination Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 9
- 238000013102 re-test Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013210 evaluation model Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 230000008521 reorganization Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开一种大景深观测与表面形貌分析系统，包括图像采集模块、图像关联处理模块、景深反馈调节模块、高度动态补偿模块、特征对比重合组建模块。本发明通过景深反馈调节模块分析出各帧图像信息中的聚焦区域子图像，通过采用距离关联聚集模型对灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点进行聚集程度判断，进而能够有效地确定聚焦延伸区域子图像的面积，并对相邻两帧图像中的聚焦延伸区域子图像进行高度动态补偿，对高度动态补偿后的相邻两帧图像中的聚焦延伸区域子图像进行重合匹配对齐，以对聚焦区域子图像进行重组获得待观测产品的全聚焦产品图像，提高了图像合成的精度和效率。
Description
技术领域
本发明属于形貌观测技术领域，涉及到一种大景深观测与表面形貌分析系统。
背景技术
对于精密产品的形貌测量以及观察的过程中，待观测产品表面存在不同零件高度，各零件的高度差大于显微镜的景深范围，导致待观测产品表面无法同时完全落入显微镜的景深范围内，导致采集的每帧图像中存在对焦清晰的画面和模糊的画面，需通过不断调节镜头的高度，以满足对待观测产品所有区域下的聚焦采集。
现有技术在对采集的多帧图像进行合成时，由于前后帧图像中的共同特征点区域内的产品图像因采集图像时的镜头高度不同，发生变大或缩小问题，导致相邻两帧图像重组时无法对相邻两帧中共同特征点区域进行定位匹配，出现合成的图像中错影、重影的情况，如图1所示，严重影响图像合成的精确度和画质，同时无法快速且准确地识别前后帧图像的共同特征点的有效区域范围，增加共同特征点的区域处理的工作量，降低图像处理的效率，并无法根据采集的图像进行待观测产品的形貌复原处理。
发明内容
本发明的目的在于提供的一种大景深观测与表面形貌分析系统，解决了现有技术中存在的问题。
本发明的目的可以通过以下技术方案实现：
一种大景深观测与表面形貌分析系统，包括图像采集模块、图像关联处理模块、景深反馈调节模块、高度动态补偿模块、特征对比重合组建模块；
图像采集模块，通过调节镜头高度对待观测产品进行图像采集，获得不同镜头高度下的待观测产品图像信息；
图像关联处理模块提取图像采集模块采集的不同镜头高度下的待观测产品图像信息并进行存储，同时获得采集的每帧图像信息所对应的镜头高度，建立镜头高度与该镜头高度下采集的图像信息间的关联性，获得图像关联矩阵；
景深反馈调节模块依次对图像关联矩阵中的各图像信息进行特征提取，判断采集的图像信息中处于聚焦点位置处的图像特征所对应的图像区域，作为聚焦区域子图像，并根据聚焦区域子图像筛选出聚焦延伸区域子图像；
高度动态补偿模块用于提取相邻两帧图像信息所对应的镜头高度，并提取相邻两帧图像信息中的聚焦延伸区域子图像，根据相邻两帧图像信息所对应的镜头高度变化量以前一帧图像的中心坐标点为基准对后一帧图像信息中的聚焦延伸区域子图像进行高度补偿；
特征对比重合组建模块用于提取第k帧图像信息中的聚焦延伸区域中的各像素点的位置以及第k+1帧图像信息中的各像素点经高度动态补偿后的各像素点的位置，根据高度动态补偿后相邻两帧图像信息中的聚焦延伸区域进行特征重合匹配对齐，以获得待观测产品的全聚焦产品图像。
进一步地，所述聚焦区域子图像的提取判定方法，包括以下步骤：
步骤S1、分别截取m*n个像素点所在区域内的图像，m和n均大于1的整数；
步骤S2、判断截取的m*n个像素点所在区域内的图像上的各像素点的平均灰度值以及该区域内的相邻像素点间灰度差异系数；
步骤S3、采用聚焦清晰评估模型对截取的m*n个像素点所在区域内的图像进行聚焦清晰程度判断，筛选出大于聚焦清晰度阈值的区域内的图像作为聚焦区域子图像。
进一步地，相邻像素点间灰度差异系数的计算公式：
，
为第f个像素点所在位置（x，y）与位置（x，y）前、后、上、下方的像素点间的灰度差异系数，
、
、
和
分别第f个像素点前后上下位置处的像素点所对应的灰度值。
进一步地，提取聚焦区域子图像中各像素点p(x,y)的灰度值，判断聚焦延伸区域子图像的区域范围，包括以下步骤：
步骤R1、获取聚焦区域子图像中各像素点的灰度值，求平均值，得到聚焦区平均灰度值
；
步骤R2、将采集的图像信息中的各像素点的灰度值与聚焦区平均灰度值进行对比，筛选出灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点；
步骤R3、以步骤R2中获取的灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点的位置坐标进行位置布局；
步骤R4、提取灰度值相对差数值的绝对值小于设定相对灰度值阈值的各像素点到初始中心像素点C的位置坐标（xt，yt）的距离小于设定距离阈值的像素点的位置坐标；
步骤R5、采用距离关联聚集模型分析出步骤R4中提取的像素点间的距离关联聚集系数；
步骤R6、判断灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点与像素点C的距离关联聚集系数是否大于设定的距离关联聚集系数阈值，若大于，则将灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点所组成的图像为聚焦延伸区域子图像。
进一步地，所述距离关联聚集模型为：
，U为采样的像素点的数量，C(xt，yt)为灰度值相对差数据的绝对值小于设定相对灰度值阈值的其中一像素点的位置坐标，(xi，yi)和(x(i-1)，y(i-1))分别为灰度值相对差数据的绝对值小于设定相对灰度值阈值的像素点到像素点C(xt，yt)间的距离按照从小到大的顺序所对应的第i个和第i-1个像素点的位置坐标，
为采样的U个像素点中任意两像素点间的最大距离。
进一步地，对第k+1帧图像信息中的聚焦延伸区域子图像中的各像素点的位置进行高度动态补偿，获得经高度动态补偿后的第k+1帧图像信息中的各像素点的位置坐标
，其中，
，
，
为第k+1帧图像信息所对应的镜头高度与第k帧图像信息所对应的镜头高度间的差值，
为第k帧图像信息所对应的镜头高度，
和
为第k+1个像素点的位置坐标。
进一步地，所述系统还包括配准校验复测核实模块，所述配准校验复测核实模块用于提取特征对比重合组建模块合成的全聚焦产品图像信息，并筛选出各镜头高度下的聚焦区域子图像，获得每帧图像中所对应的聚焦区域子图像的分布轮廓，分析出全聚焦产品图像所对应图像拼接处的图像重组评估系数。
进一步地，所述图像重组评估系数的计算：
进一步地，所述系统还包括表面形貌复原模块，表面形貌复原模块用于获取每帧图像信息中聚焦区域子图像所对应的镜头高度，提取聚焦区域子图像所展示的待观测产品的图像特征点，分析出相邻两帧图像信息中的聚集区域子图像中待观测产品的图像特征点所对应的相对高度，依次根据相邻两图像信息中聚焦区域子图像中待观测产品的图像特征点所对应的相对高度进行待观测产品的形貌还原。
本发明的有益效果：
本发明提供的大景深观测与表面形貌分析系统，通过景深反馈调节模块可分析出各帧图像信息中处于显微镜焦点处的聚焦区域子图像以及位于显微镜景深范围内且不在显微镜焦点处的聚焦延伸区域子图像，并对相邻两帧图像中的聚焦延伸区域子图像进行高度动态补偿，以保证在不同镜头高度下采集的聚焦延伸区域子图像中的待对准像素点所对应的位置坐标不随镜头高度变化而发生变动，提高了相邻两帧图像进行匹配组合的精确度、效率以及准确性。
本发明对相邻两帧图像信息中的各像素点所在位置补偿后进行重合匹配对齐，以获得待观测产品的全聚焦产品图像，保证相邻两帧图像信息中的共同特征点所对应的像素点的位置相同，避免因各帧图像采集时因镜头高度不同，影响相邻两帧图像重组的准确性，降低多针图像匹配过程中产生的重影以及错乱情况。
另外，本发明通过采用距离关联聚集模型对灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点进行聚集程度判断，进而能够有效地确定聚焦延伸区域子图像的面积，避免筛选的聚焦延伸区域子图像的面积过大加剧数据处理速度以及面积过小造成相邻两帧图像进行匹配过程中精度，能够提高合成效率的同时满足精度要求。
本发明通过配准校验复测核实模块对合成的全聚焦产品图像所对应的拼接区域进行图像重组后的清晰程度判断，能够准确校验不同镜头高度下采集的各帧图像合成的精度，同时，根据采用相邻两帧图像中的聚焦区域子图像间的位置高度差进行待观测产品表面形貌的还原，能够精准地还原待观测产品的三维形貌。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中未对聚焦延伸子区域进行高度补偿后重组的图像示意图；
图2为本发明中对聚焦延伸子区域进行高度补偿后重组的图像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清
楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
对于精密产品的形貌测量以及观察的过程中，待观测产品表面存在不同零件高度，表面各零件的高度差大于显微镜的景深范围，导致待观测产品无法同时完全落入显微镜的景深范围内，进而存在采集一帧图像时，图像中存在对焦清晰的画面同时存在模糊的画面，需通过不断调节镜头的高度，以满足对待观测产品各高度进行聚焦再采集。
当调节镜头高度时，由于镜头高度的变化，会导致采集的待观测产品处于显微镜景深范围内且未处于显微镜焦点处的待观测产品的图像的清晰程度低于处于显微镜焦点处的待观测产品的图像的清晰度，同时，若随着镜头高度的增大，会导致采集的处于显微镜景深范围内且不在显微镜焦点处的图像上的特征变小，若随着镜头高度的降低，会导致采集的处于显微镜景深范围内且不在显微镜焦点处的图像上的特征变大，进而存在不同镜头高度下的图像重组过程中无法进行图像的定位配合。
一种大景深观测与表面形貌分析系统，包括图像采集模块、图像关联处理模块、景深反馈调节模块、高度动态补偿模块、特征对比重合组建模块、配准校验复测核实模块和表面形貌复原模块。
图像采集模块采用显微镜，通过调节镜头高度对待观测产品进行图像采集，获得不同镜头高度下的待观测产品图像信息，本发明采用的显微镜的测量景深是固定的，为了提高对待观测产品的全景测量，需不断调节显微镜的镜头高度，以满足显微镜对待观测产品的观测要求。
图像关联处理模块提取图像采集模块采集的不同镜头高度下的待观测产品图像信息并进行存储，同时获得采集的每帧图像信息所对应的镜头高度，建立镜头高度与该镜头高度下采集的图像信息间的关联性，获得图像关联矩阵A，
，m为采集的图像次数，ai1为采集的第i帧图像所对应的图像编号，ai2为第i帧图像采集所对应的镜头高度。
景深反馈调节模块依次筛选图像关联矩阵中的图像编号，对各图像编号下的图像信息进行特征提取，判断采集的图像信息中处于聚焦点位置处的图像特征所对应的图像区域，作为聚焦区域子图像，以聚焦区域子图像中的灰度值的平均值作为参考，筛选出图像信息中处于显微镜的景深范围内且不在显微镜焦点处的图像区域，作为聚焦延伸区域子图像。
聚焦区域子图像的清晰程度大于聚焦延伸区域子图像的清晰程度，采集的图像上的其他区域的清晰程度小于聚焦延伸区域子图像的清晰程度。
聚焦区域子图像的提取判定方法，包括以下步骤：
步骤S1、分别截取m*n个像素点所在区域内的图像，m和n均大于1的整数；
步骤S2、判断截取的m*n个像素点所在区域内的图像上的各像素点的平均灰度值以及该区域内的相邻像素点间灰度差异系数；
平均灰度值计算公式：
，
为截取的第f个像素点所在位置（x，y）处的灰度值，f=i*j，i=1,2,...,m，j=1,2,...,n，m为采集的横坐标上的像素点数，n为采集的纵坐标上的像素点数。
相邻像素点间灰度差异系数的计算公式：
，
为第f个像素点所在位置（x，y）与位置（x，y）前、后、上、下方的像素点间的灰度差异系数，采用待测像素点与相邻像素点间的灰度差异程度进行计算，可提高相邻像素点间抗干扰性。
步骤S3、采用聚焦清晰评估模型对截取的m*n个像素点所在区域内的图像进行聚焦清晰程度判断，筛选出大于聚焦清晰度阈值的区域内的图像作为聚焦区域子图像，所述聚焦区域子图像为处于显微镜焦点处的图像，位于显微镜焦点处的待观测产品的清晰度程度最大。
聚焦清晰评估模型为：
，
为聚焦清晰评估系数，e为自然数，聚焦清晰评估模块反应出采集的图像的聚焦清晰评估系数与处于显微镜焦点处的图像的清晰程度间的接近程度。
对采集的图像进行分析，可分析出采集图像中处于显微镜焦点位置处的图像，能够准确且快速地识别处于焦点位置处的待观测产品的图像区域，实现聚焦区域识别的效率。
提取聚焦区域子图像中各像素点p(x,y)的灰度值，判断聚焦延伸区域子图像的区域范围，包括以下步骤：
步骤R1、获取聚焦区域子图像中各像素点的灰度值，求平均值，得到聚焦区平均灰度值
；
步骤R2、将采集的图像信息中的各像素点的灰度值与聚焦区平均灰度值进行对比，筛选出灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点，灰度值相对差数值等于采集图像中的像素点的灰度值与聚焦区平均灰度值间的差值；
步骤R3、以步骤R2中获取的灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点的位置坐标进行位置布局，进而获得灰度值相对差数值的绝对值小于设定相对灰度值阈值的各像素点的位置分布；
步骤R4、提取灰度值相对差数值的绝对值小于设定相对灰度值阈值的各像素点到初始中心像素点C的位置坐标（xt，yt）的距离小于设定距离阈值的像素点的位置坐标；
步骤R5、采用距离关联聚集模型分析出步骤R4中提取的像素点间的距离关联聚集系数；
距离关联聚集模型为：
，U为采样的像素点的数量，C(xt，yt)为灰度值相对差数据的绝对值小于设定相对灰度值阈值的其中一像素点的位置坐标，(xi，yi)和(x(i-1)，y(i-1))分别为灰度值相对差数据的绝对值小于设定相对灰度值阈值的像素点到像素点C(xt，yt)间的距离按照从小到大的顺序所对应的第i个和第i-1个像素点的位置坐标，
为采样的U个像素点中任意两像素点间的最大距离。
距离关联聚集模型验证的像素点的数量需大于N,U大于N，若数量小于N，存在对相邻两帧图像信息中的聚焦延伸区域子图像截取的面积过小，无法获取特征进行相邻两帧图像信息中的相同聚焦延伸区域子图像的重合对比，降低重合对比的准确性低，易受到相邻两帧图像信息中的相同聚焦延伸区域子图像的特征重合匹配的特征数少的干扰。
步骤R6、判断灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点与像素点C的距离关联聚集系数是否大于设定的距离关联聚集系数阈值，若大于，则将灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点所组成的图像为聚焦延伸区域子图像。
通过分析小于设定相对灰度值阈值的像素点的位置，能够判断出各像素点间的距离关联聚集程度，可筛选出相聚集的各像素点，进而确定聚焦延伸区域子图像的区域范围，聚焦延伸区域子图像的区域属于显微镜景深范围内的采集图像，且聚焦延伸区域子图像为显微镜焦点前、后区域内的待观测产品的图像，便于为后期进行相邻两帧的图像进行定位。
聚焦延伸区域子图像的确定范围，无需对采集每帧图像上的所有聚焦延伸区域子图像的所有范围确定出来，只需确定出的聚焦延伸区域子图像的累计面积达到设定的参考匹配图像面积即可，设定的参考匹配图像面积为N个像素点构成的面积。
高度动态补偿模块用于提取相邻两帧图像信息所对应的镜头高度，获得镜头高度变化量，并提取相邻两帧图像信息中的聚焦延伸区域子图像，根据相邻两帧图像信息所对应的镜头高度变化量以前一帧图像的中心坐标点为基准对后一帧图像信息中的聚焦延伸区域子图像进行高度补偿，以保证在不同镜头高度下采集的聚焦延伸区域子图像中的待对准像素点所对应的位置坐标不随镜头高度变化而发生变动，进而保证相邻两帧图像中的聚焦延伸区域子图像中同一像素点的位置坐标不变。
第k帧图像信息中的聚焦延伸区域子图像中的各像素点的位置坐标记为
，中心坐标点的位置标记为
，判断第k帧图像信息中的各像素点到中心坐标点的距离
以及角度
，
为第k帧图像信息中的第j个像素点到中心坐标点V0的距离，
为第k帧图像信息中的第j个像素点与中心坐标点连线的夹角。
对第k+1帧图像信息中的聚焦延伸区域子图像中的各像素点的位置进行高度动态补偿，获得经高度动态补偿后的第k+1帧图像信息中的各像素点的位置坐标
，其中，
，
，
为第k+1帧图像信息所对应的镜头高度与第k帧图像信息所对应的镜头高度间的差值，
为第k帧图像信息所对应的镜头高度，
和
为第k+1个像素点的位置坐标。
在对第k+1帧图像信息中的聚焦延伸区域子图像中各像素点的位置进行高度补偿时，不对该帧图像信息中的聚焦区域子图像中的各像素点的位置进行高度补偿，以保证后期图像重组过程中各帧图像中的聚焦区域子图像的比例不失真。
特征对比重合组建模块用于提取第k帧图像信息中的聚焦延伸区域中的各像素点的位置以及第k+1帧图像信息中的各像素点经高度动态补偿后的各像素点的位置，根据高度动态补偿后相邻两帧图像信息中的聚焦延伸区域进行特征重合匹配对齐，对聚焦延伸区域对齐条件下的相邻两帧图像中的聚焦区域子图像进行合成，以获得待观测产品的全聚焦产品图像，如图2所示。
在对相邻两帧图像进行特征重合匹配的过程中会带动第k+1帧图像信息中的聚焦延伸区域根据第k帧图像信息中的聚焦延伸区域进行位置调整，以保障相邻两帧图像中的聚焦延伸区域子图像中的相同特征相对齐。
通过对相邻两帧图像信息中聚焦延伸区域所对应的图像进行高度动态补偿，使得处于不同镜头高度下采集的图像发生尺寸扩大或缩小，若不对采集的图像根据镜头采集时的高度进行动态补偿，会造成相邻两帧图像进行共同特征重合匹配的过程中出现相邻两帧图像信息中的聚焦延伸区域子图像发生重合偏移量，进而增大多帧图像匹配的误差，导致重组后的画面拼接处发生重影、错影的情况，影响重组后图像的品质。
配准校验复测核实模块用于提取特征对比重合组建模块合成的全聚焦产品图像信息，并筛选出各镜头高度下的聚焦区域子图像，获得每帧图像中所对应的聚焦区域子图像的分布轮廓，分析出全聚焦产品图像所对应图像拼接处的图像重组评估系数，图像重组评估系数反应多组图像中的聚焦区域子图像在合成过程中图像拼接处的清晰程度，图像重组评估系数越小，重组的图像清晰程度越好，一旦在各帧图像重组过程中的图像拼接处的图像合成的清晰程度差，将直接影响待观测产品的全聚焦产品图像的品质。
其中，图像重组评估系数的计算：
由于重组后的图像，在拼接合成区域存在肉眼难以识别的清晰度，采用配准校验复测核实模块进行清晰度判断，来评估各图像中的聚焦区域子图像重组合成的精度。
表面形貌复原模块用于获取每帧图像信息中聚焦区域子图像所对应的镜头高度，提取聚焦区域子图像所展示的待观测产品的图像特征点，分析出相邻两帧图像信息中的聚集区域子图像中待观测产品的图像特征点所对应的相对高度，依次根据相邻两图像信息中聚焦区域子图像中待观测产品的图像特征点所对应的相对高度进行待观测产品的形貌还原，能够获得待观测产品的三维图像展示，且可根据还原后的待观测产品的形貌进行分析，判断待观测产品上组装的各零部件的高度以及位置是否符合加工要求，便于实时了解待观测产品的加工品质。
采用相邻两帧图像中的聚焦区域子图像间的位置高度差进行待观测产品表面形貌的还原，能够精准地还原待观测产品的三维立体图。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种大景深观测与表面形貌分析系统，其特征在于：包括图像采集模块、图像关联处理模块、景深反馈调节模块、高度动态补偿模块、特征对比重合组建模块；
图像采集模块，通过调节镜头高度对待观测产品进行图像采集，获得不同镜头高度下的待观测产品图像信息；
图像关联处理模块提取图像采集模块采集的不同镜头高度下的待观测产品图像信息并进行存储，同时获得采集的每帧图像信息所对应的镜头高度，建立镜头高度与该镜头高度下采集的图像信息间的关联性，获得图像关联矩阵；
景深反馈调节模块依次对图像关联矩阵中的各图像信息进行特征提取，判断采集的图像信息中处于聚焦点位置处的图像特征所对应的图像区域，作为聚焦区域子图像，以聚焦区域子图像中的灰度值的平均值作为参考，筛选出图像信息中处于显微镜的景深范围内且不在显微镜焦点处的图像区域，作为聚焦延伸区域子图像；
高度动态补偿模块用于提取相邻两帧图像信息所对应的镜头高度，并提取相邻两帧图像信息中的聚焦延伸区域子图像，根据相邻两帧图像信息所对应的镜头高度变化量以前一帧图像的中心坐标点为基准对后一帧图像信息中的聚焦延伸区域子图像进行高度补偿；
特征对比重合组建模块用于提取第k帧图像信息中的聚焦延伸区域中的各像素点的位置以及第k+1帧图像信息中的各像素点经高度动态补偿后的各像素点的位置，根据高度动态补偿后相邻两帧图像信息中的聚焦延伸区域进行特征重合匹配对齐，以获得待观测产品的全聚焦产品图像。
2.根据权利要求1所述的大景深观测与表面形貌分析系统，其特征在于：所述聚焦区域子图像的提取判定方法，包括以下步骤：
步骤S1、分别截取m*n个像素点所在区域内的图像，m和n均大于1的整数；
步骤S2、判断截取的m*n个像素点所在区域内的图像上的各像素点的平均灰度值以及该区域内的相邻像素点间灰度差异系数；
步骤S3、采用聚焦清晰评估模型对截取的m*n个像素点所在区域内的图像进行聚焦清晰程度判断，筛选出大于聚焦清晰度阈值的区域内的图像作为聚焦区域子图像；
聚焦清晰评估模型为：
，
为聚焦清晰评估系数，e为自然数，聚焦清晰评估模块反应出采集的图像的聚焦清晰评估系数与处于显微镜焦点处的图像的清晰程度间的接近程度，
为第f个像素点所在位置（x，y）与位置（x，y）前、后、上、下方的像素点间的灰度差异系数，
为截取的m*n个像素点所在区域内的图像上的各像素点的平均灰度值。
3.根据权利要求2所述的大景深观测与表面形貌分析系统，其特征在于：相邻像素点间灰度差异系数的计算公式：
，
为第f个像素点所在位置（x，y）与位置（x，y）前、后、上、下方的像素点间的灰度差异系数，
、
、
和
分别第f个像素点前后上下位置处的像素点所对应的灰度值。
4.根据权利要求3所述的大景深观测与表面形貌分析系统，其特征在于：提取聚焦区域子图像中各像素点p(x,y)的灰度值，判断聚焦延伸区域子图像的区域范围，包括以下步骤：
步骤R1、获取聚焦区域子图像中各像素点的灰度值，求平均值，得到聚焦区平均灰度值
；
步骤R2、将采集的图像信息中的各像素点的灰度值与聚焦区平均灰度值进行对比，筛选出灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点；
步骤R3、以步骤R2中获取的灰度值相对差数值的绝对值小于设定相对灰度值阈值的像素点的位置坐标进行位置布局；
步骤R4、提取灰度值相对差数值的绝对值小于设定相对灰度值阈值的各像素点到初始中心像素点C的位置坐标（xt，yt）的距离小于设定距离阈值的像素点的位置坐标，C(xt，yt)为灰度值相对差数据的绝对值小于设定相对灰度值阈值的其中一像素点的位置坐标；
步骤R5、采用距离关联聚集模型分析出步骤R4中提取的像素点间的距离关联聚集系数；
所述距离关联聚集模型为：
，U为采样的像素点的数量，C(xt，yt)为灰度值相对差数据的绝对值小于设定相对灰度值阈值的其中一像素点的位置坐标，(xi，yi)和(x(i-1)，y(i-1))分别为灰度值相对差数据的绝对值小于设定相对灰度值阈值的像素点到像素点C(xt，yt)间的距离按照从小到大的顺序所对应的第i个和第i-1个像素点的位置坐标，
为采样的U个像素点中任意两像素点间的最大距离；
步骤R6、判断灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点与像素点C的距离关联聚集系数是否大于设定的距离关联聚集系数阈值，若大于，则将灰度值相对差数值的绝对值小于设定相对灰度值阈值的U个像素点所组成的图像为聚焦延伸区域子图像。
5.根据权利要求4所述的大景深观测与表面形貌分析系统，其特征在于：对第k+1帧图像信息中的聚焦延伸区域子图像中的各像素点的位置进行高度动态补偿，获得经高度动态补偿后的第k+1帧图像信息中的各像素点的位置坐标
，其中，
，
，
为第k+1帧图像信息所对应的镜头高度与第k帧图像信息所对应的镜头高度间的差值，
为第k帧图像信息所对应的镜头高度，
和
为第k+1个像素点的位置坐标。
6.根据权利要求5所述的大景深观测与表面形貌分析系统，其特征在于：所述系统还包括配准校验复测核实模块，所述配准校验复测核实模块用于提取特征对比重合组建模块合成的全聚焦产品图像信息，并筛选出各镜头高度下的聚焦区域子图像，获得每帧图像中所对应的聚焦区域子图像的分布轮廓，分析出全聚焦产品图像所对应图像拼接处的图像重组评估系数。
7.根据权利要求6所述的大景深观测与表面形貌分析系统，其特征在于：所述图像重组评估系数的计算：
8.根据权利要求6-7任意一所述的大景深观测与表面形貌分析系统，其特征在于：所述系统还包括表面形貌复原模块，表面形貌复原模块用于获取每帧图像信息中聚焦区域子图像所对应的镜头高度，提取聚焦区域子图像所展示的待观测产品的图像特征点，分析出相邻两帧图像信息中的聚集区域子图像中待观测产品的图像特征点所对应的相对高度，依次根据相邻两图像信息中聚焦区域子图像中待观测产品的图像特征点所对应的相对高度进行待观测产品的形貌还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211047503.5A CN115131350B (zh) | 2022-08-30 | 2022-08-30 | 一种大景深观测与表面形貌分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211047503.5A CN115131350B (zh) | 2022-08-30 | 2022-08-30 | 一种大景深观测与表面形貌分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131350A CN115131350A (zh) | 2022-09-30 |
| CN115131350B true CN115131350B (zh) | 2022-12-16 |
Family
ID=83387693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211047503.5A Active CN115131350B (zh) | 2022-08-30 | 2022-08-30 | 一种大景深观测与表面形貌分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131350B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760654B (zh) * | 2023-01-10 | 2023-05-30 | 南京木木西里科技有限公司 | 一种工业显微镜图像处理系统 |
| CN116309079B (zh) * | 2023-05-10 | 2023-08-04 | 南京凯视迈科技有限公司 | 一种动态图像采集拼接优化系统 |
| CN116358841B (zh) * | 2023-06-01 | 2023-08-08 | 南京木木西里科技有限公司 | 一种显微镜镜头自识别校准系统 |
| CN116978005B (zh) * | 2023-09-22 | 2023-12-19 | 南京凯视迈科技有限公司 | 基于姿态变换的显微镜图像处理系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106030293A (zh) * | 2014-01-23 | 2016-10-12 | 株式会社蛟簿 | X射线检查装置以及x射线检查方法 |
| CN107680152A (zh) * | 2017-08-31 | 2018-02-09 | 太原理工大学 | 基于图像处理的目标物表面形貌测量方法和装置 |
| CN108665436A (zh) * | 2018-05-10 | 2018-10-16 | 湖北工业大学 | 一种基于灰度均值参照的多聚焦图像融合方法和系统 |
| CN108810415A (zh) * | 2018-06-27 | 2018-11-13 | 上海理工大学 | 一种基于量子粒子群优化算法的对焦方法 |
| CN109669264A (zh) * | 2019-01-08 | 2019-04-23 | 哈尔滨理工大学 | 基于灰度梯度值的自适应自动聚焦方法 |
| CN109690624A (zh) * | 2016-09-15 | 2019-04-26 | 高通股份有限公司 | 用于视频分析的自动场景校准方法 |
| CN109994036A (zh) * | 2019-03-27 | 2019-07-09 | 深圳市问库信息技术有限公司 | 一种基于机器学习的沙盘制作方法 |
| CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微系统及检测方法 |
| CN112508887A (zh) * | 2020-11-26 | 2021-03-16 | 西安电子科技大学 | 一种图像清晰度评价方法、系统、存储介质、设备及应用 |
| CN112907973A (zh) * | 2021-01-19 | 2021-06-04 | 四川星盾科技股份有限公司 | 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法 |
| CN113421245A (zh) * | 2021-06-27 | 2021-09-21 | 王程 | 用于颜色再现的三维表面粗糙度计算方法 |
| CN113689374A (zh) * | 2020-05-18 | 2021-11-23 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7302096B2 (en) * | 2002-10-17 | 2007-11-27 | Seiko Epson Corporation | Method and apparatus for low depth of field image segmentation |
| WO2009153789A1 (en) * | 2008-06-18 | 2009-12-23 | Surgix Ltd. | A method and system for stitching multiple images into a panoramic image |
| CN105451657A (zh) * | 2013-03-15 | 2016-03-30 | 霍罗吉克公司 | 用于导航断层合成堆叠的包括自动聚焦的系统和方法 |
| SG11201605108VA (en) * | 2014-01-09 | 2016-07-28 | Zygo Corp | Measuring topography of aspheric and other non-flat surfaces |
| CN110796690B (zh) * | 2018-08-01 | 2023-04-07 | 株式会社理光 | 图像匹配方法和图像匹配装置 |
| WO2021092397A1 (en) * | 2019-11-08 | 2021-05-14 | General Electric Company | System and method for vegetation modeling using satellite imagery and/or aerial imagery |
| US20220222781A1 (en) * | 2021-01-12 | 2022-07-14 | University Of Iowa Research Foundation | Deep generative modeling of smooth image manifolds for multidimensional imaging |
| CN114202490A (zh) * | 2021-11-23 | 2022-03-18 | 深圳大学 | 一种基于多聚焦图像的磨损颗粒表面重构方法及相关装置 |
| CN114897698A (zh) * | 2022-05-19 | 2022-08-12 | 苏州卡创信息科技有限公司 | 一种大范围显微成像图像获取方法及装置 |
-
2022
- 2022-08-30 CN CN202211047503.5A patent/CN115131350B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106030293A (zh) * | 2014-01-23 | 2016-10-12 | 株式会社蛟簿 | X射线检查装置以及x射线检查方法 |
| CN109690624A (zh) * | 2016-09-15 | 2019-04-26 | 高通股份有限公司 | 用于视频分析的自动场景校准方法 |
| CN107680152A (zh) * | 2017-08-31 | 2018-02-09 | 太原理工大学 | 基于图像处理的目标物表面形貌测量方法和装置 |
| CN108665436A (zh) * | 2018-05-10 | 2018-10-16 | 湖北工业大学 | 一种基于灰度均值参照的多聚焦图像融合方法和系统 |
| CN108810415A (zh) * | 2018-06-27 | 2018-11-13 | 上海理工大学 | 一种基于量子粒子群优化算法的对焦方法 |
| CN109669264A (zh) * | 2019-01-08 | 2019-04-23 | 哈尔滨理工大学 | 基于灰度梯度值的自适应自动聚焦方法 |
| CN109994036A (zh) * | 2019-03-27 | 2019-07-09 | 深圳市问库信息技术有限公司 | 一种基于机器学习的沙盘制作方法 |
| CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微系统及检测方法 |
| CN113689374A (zh) * | 2020-05-18 | 2021-11-23 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
| CN112508887A (zh) * | 2020-11-26 | 2021-03-16 | 西安电子科技大学 | 一种图像清晰度评价方法、系统、存储介质、设备及应用 |
| CN112907973A (zh) * | 2021-01-19 | 2021-06-04 | 四川星盾科技股份有限公司 | 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法 |
| CN113421245A (zh) * | 2021-06-27 | 2021-09-21 | 王程 | 用于颜色再现的三维表面粗糙度计算方法 |
Non-Patent Citations (4)
| Title |
|---|
| Topography of selectively laser melted surfaces: A comparison of different measurement methods;Adam Thompson等;《CIRP Annals - Manufacturing Technology》;20170429;第66卷(第1期);第543-546页 * |
| Toward Ultraflat Surface Morphologies During Focused Electron Beam Induced Nanosynthesis: Disruption Origins and Compensation;Robert Winkler等;《ACS Applied Materials & Interfaces》;20150115;第7卷(第5期);第3289-3297页 * |
| 一种基于大范围扫描离子电导显微镜的形貌和体积测量方法;郭仁飞等;《电子学报》;20170531;第45卷(第5期);第1072-1077页 * |
| 基于聚集形貌恢复的图像处理和三维重建;凌浠;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220515(第5期);第I138-1067页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131350A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115131350B (zh) | 一种大景深观测与表面形貌分析系统 | |
| CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN106530310B (zh) | 一种基于人体头顶部识别的行人统计方法及装置 | |
| CN112116576A (zh) | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 | |
| US20040105074A1 (en) | Digital stereo image analyzer for automated analyses of human retinopathy | |
| Cavallaro et al. | Objective evaluation of segmentation quality using spatio-temporal context | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN112348775B (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| CN110677639A (zh) | 一种基于特征融合和循环神经网络的无参考视频质量评价方法 | |
| JP4327919B2 (ja) | 単一カメラ像から放射歪パラメータを回復する方法 | |
| CN104298993B (zh) | 一种适用于轨道沿线复杂场景下的杆号定位和识别方法 | |
| CN108510544B (zh) | 一种基于特征聚类的光条定位方法 | |
| CN109741393A (zh) | 双孢菇直径测量和中心点定位方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN111598771A (zh) | 一种基于ccd相机的pcb电路板缺陷检测系统及方法 | |
| CN103281513A (zh) | 一种无重叠域监控系统中行人识别方法 | |
| CN112967221A (zh) | 一种盾构管片生产与拼装信息管理系统 | |
| CN112016558B (zh) | 一种基于图像质量的介质能见度识别方法 | |
| CN106846348B (zh) | 人脸图像中自动去除眼镜的方法 | |
| CN113362221A (zh) | 用于门禁的人脸识别系统与人脸识别方法 | |
| CN108447038A (zh) | 一种基于非局部全变分算子的网格去噪方法 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| Anghelone et al. | Tfld: Thermal face and landmark detection for unconstrained cross-spectral face recognition | |
| TWI381735B (zh) | 影像監視設備之影像處理系統及其影像解析自動調適之方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221111 Address after: 2 / F, block B4, Jiulong lake international enterprise headquarters park, 19 Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province (Jiangning Development Zone) Applicant after: Nanjing Mumusili Technology Co.,Ltd. Applicant after: Nanjing Yidi High-tech Co.,Ltd. Applicant after: Nanjing Roulin Intelligent Manufacturing Research Institute Co.,Ltd. Address before: 2 / F, block B4, Jiulong lake international enterprise headquarters park, 19 Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province (Jiangning Development Zone) Applicant before: Nanjing Mumusili Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 2 / F, block B4, Jiulong lake international enterprise headquarters park, 19 Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province (Jiangning Development Zone) Patentee after: Nanjing Mumusili Technology Co.,Ltd. Patentee after: Nanjing Kaishimai Technology Co.,Ltd. Patentee after: Nanjing Roulin Intelligent Manufacturing Research Institute Co.,Ltd. Address before: 2 / F, block B4, Jiulong lake international enterprise headquarters park, 19 Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province (Jiangning Development Zone) Patentee before: Nanjing Mumusili Technology Co.,Ltd. Patentee before: Nanjing Yidi High-tech Co.,Ltd. Patentee before: Nanjing Roulin Intelligent Manufacturing Research Institute Co.,Ltd. |