CN116957992A - 基于特征追踪的实时显微图像防抖方法 - Google Patents

基于特征追踪的实时显微图像防抖方法 Download PDF

Info

Publication number
CN116957992A
CN116957992A CN202311211631.3A CN202311211631A CN116957992A CN 116957992 A CN116957992 A CN 116957992A CN 202311211631 A CN202311211631 A CN 202311211631A CN 116957992 A CN116957992 A CN 116957992A
Authority
CN
China
Prior art keywords
microscopic image
frame
time
real
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311211631.3A
Other languages
English (en)
Other versions
CN116957992B (zh
Inventor
韩烁
崔远驰
李恒
陈凯旋
张萌
李呈武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Kaishimai Technology Co ltd
Nanjing Roulin Intelligent Manufacturing Research Institute Co ltd
Nanjing Mumusili Technology Co ltd
Original Assignee
Nanjing Kaishimai Technology Co ltd
Nanjing Roulin Intelligent Manufacturing Research Institute Co ltd
Nanjing Mumusili Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Kaishimai Technology Co ltd, Nanjing Roulin Intelligent Manufacturing Research Institute Co ltd, Nanjing Mumusili Technology Co ltd filed Critical Nanjing Kaishimai Technology Co ltd
Priority to CN202311211631.3A priority Critical patent/CN116957992B/zh
Publication of CN116957992A publication Critical patent/CN116957992A/zh
Application granted granted Critical
Publication of CN116957992B publication Critical patent/CN116957992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了基于特征追踪的实时显微图像防抖方法,获取实时显微图像中的最优特征区域;构建测量平台的振动模型,分析振动位置偏移参数;分析出预测位置与实时振动位置偏移轨迹间的预测偏差量;判断预测偏差量中任意一项是否大于设定的偏转阈值;确定有效显微图像,对任意帧有效显微图像进行预测偏差量下的特征偏移补偿。本发明通过对任意帧下的有效显微图像进行预测偏差量下的特征偏移补偿,使得任意帧图像中最优特征区域的位置不随时间发生偏移,且保证显微图像的实时画面尺寸不随时间发生动态变化,能够有效消除任意相邻若干帧间显微图像间的抖动,大大提高了显微图像画面的稳定性,并提高了显微图像实时观察的效果。

Description

基于特征追踪的实时显微图像防抖方法
技术领域
本发明属于显微镜图像处理技术领域,涉及到基于特征追踪的实时显微图像防抖方法。
背景技术
显微镜对放置在测量平台上的样本进行实时观察时,由于显微镜中相机与测量平台发生相对振动,而导致实时展示的显微图像画面发生抖动情况,显示的实时显微图像画面稳定性差,严重影响图像观察的效果,导致观察人员无法针对抖动下的显微图像进行画面特征观察,同时由于同一位置下随时间的变化显微图像因抖动而造成相邻帧显微图像画面发生偏移,为保证任意帧下的显微图像画面与初始帧显微图像画面的特征的一致性,对显微图像存在偏移的区域采用黑边或白边进行遮挡,使得显微图像中有效显微图像的面积不断变化,大大降低图像观察效果以及用户的观察使用体验感。
发明内容
本发明公开了基于特征追踪的实时显微图像防抖方法,解决了现有背景技术中存在的问题。
本发明在其一个应用方面中提供了基于特征追踪的实时显微图像防抖方法,包括以下步骤:
S01、获取实时显微图像中的最优特征区域;
S02、构建测量平台的振动模型,分析出最优特征区域在振动波形下的振动位置偏移参数,并获得实时振动位置偏移轨迹;
S03、基于卡尔曼滤波预测出各帧显微图像中最优特征区域的中心以及偏转角度,分析出预测位置与实时振动位置偏移轨迹间的预测偏差量;
S04、判断预测偏差量中任意一项是否大于设定的偏转阈值,若存在任意一项大于设定的偏转阈值,则以显示预测位置处显微镜相机所采集到的显微图像,若均小于设定的偏转阈值,则执行步骤S05;
S05、确定有效显微图像,提取预测偏差量,对任意帧th时刻下有效显微图像进行预测偏差量下的特征偏移补偿。
进一步地,显微图像中的最优特征区域判定方法如下:
E1、提取筛选框内m*m个像素点的灰度值,并求均值
E2、计算灰度偏离度,/>表示为筛选框内坐标(i,j)像素点对应的灰度值;
E3、判断筛选框内灰度偏离度是否大于设定的灰度偏离度阈值,若大于,则继续一下筛选框的判断,重复步骤E1-E3,反之,则提取以筛选框为中心的(m+k)*(m+k)个像素点,k大于2且为偶数,并执行步骤E4;
E4、剔除(m+k)*(m+k)个像素点中筛选框内的像素点,获得矩形窗,提取矩形窗的像素点的灰度值;
E5、计算灰度渐变系数,若灰度渐变系数大于设定的渐变阈值,则作为最优特征区域,反之,舍弃该筛选框,重新选择筛选框,并重复执行步骤E1-E5,直至筛选的筛选框数量大于设定的筛选框数值。
进一步地,所述灰度渐变系数的计算公式:,/>表示为矩形窗内坐标像素点的灰度值,/>表示为灰度渐变系数,/>为矩形窗的宽度数值,即为矩形窗宽度所包含的像素点个数。
进一步地,建立测量平台中心沿测量平台X轴和Y轴方向上的振动波形,即为,/>和/>分别表示为测量平台中心沿X轴和Y轴方向上的振幅,/>表示为振动角频率,/>和/>分别表示为测量平台中心沿x轴和y轴方向振动的初相位。
进一步地,相邻两帧图像中最优特征区域中心的位置,经以上公式推导出,,/>和/>分别为最优特征区域中心位置从t1到t2时刻的振动位置偏移量,/>和/>分别为最优特征区域中心中G像素点位置从t1到t2时刻的振动位置偏移量,/>和/>分别为t1时刻的最优特征区域中心和G像素点的位置坐标,/>分别为下一帧(t2时刻)对应的最优特征区域中心和G像素点的位置坐标。
进一步地,从t1时刻到t2时刻的振动偏转角度:
进一步地,任意帧下有效显微图像的特征偏移补偿方法,具体方法如下:
W1、获得任意帧的显微图像与经更新后的初始帧图像;
W2、以偏转状态下显微图像中最优特征区域的中心为旋转点,对任意帧时刻下的显微图像经旋转修正处理,获得旋转修正后显微图像中各像素点的位置坐标
W3、采用步骤W2中旋转修正公式对显微图像中最优特征区域中心的实时振动位置偏移轨迹下的位置坐标进行处理,得到最优特征区域中心的实时旋转振动位置坐标
W4、提取步骤W2中最优特征区域中心的实时旋转振动位置与步骤W3中经旋转修正后的最优特征区域的中心点进行对比,以获得沿x轴方向特征偏移补偿宽度Dx和沿y轴方向特征偏移补偿宽度Dy,且,/>,/>分别表示为旋转校正后显微图像中最优特征区域的中心所对应的位置坐标;
W5、对步骤W2中经旋转修正后的显微图像与经更新后的初始帧图像进行重叠区域对比,以定位经旋转修正后的显微图像的有效显微图像区域,并对有效显微图像区域沿x轴方向进行Dx宽度的特征偏移补偿以及沿y轴方向进行Dy宽度的特征偏移补偿,以保证经旋转以及偏移补偿后的各像素点不随显微图像采集时因测量平台振动而导致任意帧中同一像素点发生晃动,大大提高了显微图像观察的效果。
进一步地,所述步骤W2中旋转修正后的显微图像中各像素点的位置坐标:;
所述步骤W3中最优特征区域中心的实时旋转振动位置坐标具体计算公式:
进一步地,所述初始帧图像的更新方法:
F1、获取初始帧显微图像中各像素点以及各像素点的灰度值;
F2、将下一帧显微图像与初始帧显微图像进行对比,筛选出下一帧显微图像与初始帧显微图像间的偏移区域,提取偏移区域对初始帧显微图像的区域进行拼接更新,获得更新后的初始帧显微图像;
F3、依次将下一帧显微图像与经上一帧更新后的初始帧显微图像进行对比,筛选出下一帧显微图像与经上一帧更新后的初始帧显微图像间的偏移区域,并对经上一帧更新后的初始帧显微图像进行继续拼接更新;
F4、判断经更新后的初始帧显微图像与未更新前的初始帧显微图像在x轴和y轴上偏移区域的宽度是否均大于设定的偏移阈值,若均大于设定的偏移阈值,则停止对经更新后的初始帧显微图像继续拼接更新;
F5、判断F1中初始帧显微图像持续时长是否超过设定的时间阈值,若超过设定的时间阈值,则将超过设定的时间阈值的下一帧显微图像作为初始帧图像,并重复执行步骤F1-F5。
本发明的有益效果:
本发明通过选取灰度渐变系数大于设定的渐变阈值的筛选框内各像素点作为最优特征区域,能够突显出筛选框内像素点与矩形窗内像素点的灰度值间的渐变突显程度,为后期显微图像中特征追踪提供可靠的区域判定。
通过构建测量平台的振动模型,并结合筛选的最优特征区域在振动下的振动位置偏移参数,进而分析出显微镜相机采集的显微图像随测量平台振动而造成的显微相机与测量平台间的振动位置偏移情况,能够根据振动模型准确地判定实时振动位置偏移轨迹,且通过卡尔曼滤波预测出显微图像中最优特征区域的预测位置及偏转角度,通过振动模型获得的实时振动位置与预测位置进行对比,以确定预测与实时振动位置间的预测偏差量,采用预测偏差量能够判定基于振动模型获得的实时振动位置与实际下一帧位置间的不准确性,需采用预测偏差量对振动模型下的实时振动位置进行特征追踪处理,提高了获得实际下一帧的实时位置的精度,以准确定位显微镜相机与测量平台上上一帧显微图像与下一帧显微图像间的偏移程度,为任意帧下的显微图像相对于初始帧显微图像发生抖动程度的消除提供基础。
本发明通过对任意帧下的有效显微图像进行预测偏差量下的特征偏移补偿,使得显微镜相机采集的实时显微图像与经更新后的初始帧显微图像对比处理后,以保证在任意帧图像中最优特征区域的位置不随时间发生偏移,且保证显微图像的画面完整性不随时间变化而造成显微图像的画面尺寸发生动态变化,能够有效消除任意相邻若干帧间显微图像间的抖动,大大提高了显微图像画面的稳定性,并提高了显微图像实时观察的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为最优特征区域筛选的示意图;
图2为构建测量平台振动方向上的坐标示意图;
图3为上一帧显微图像与下一帧实时振动位置和预测振动位置的显微图像位置示意图;
图4为有效显微图像示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
基于特征追踪的实时显微图像防抖方法,包括以下步骤:
S01、获取实时显微图像中的最优特征区域,最优特征区域由若干特征点组成;
选取显微图像中筛选框内的像素点(筛选框内像素点的数量为m*m),对筛选框内各像素点以及外围区域内的像素点进行分析对比,确定显微图像中最优特征区域。
如图1所示,具体,显微图像中的最优特征区域判定方法如下:
E1、提取筛选框内m*m个像素点的灰度值,并求均值
E2、计算灰度偏离度,/>表示为筛选框内坐标(i,j)像素点对应的灰度值;
E3、判断筛选框内灰度偏离度是否大于设定的灰度偏离度阈值,若大于,则继续一下筛选框的判断,重复步骤E1-E3,反之,则提取以筛选框为中心的(m+k)*(m+k)个像素点,k大于2且为偶数,并执行步骤E4;
E4、剔除(m+k)*(m+k)个像素点中筛选框内的像素点,获得矩形窗,提取矩形窗的像素点的灰度值;
E5、计算灰度渐变系数,若灰度渐变系数大于设定的渐变阈值,则作为最优特征区域,反之,舍弃该筛选框,重新选择筛选框,并重复执行步骤E1-E5,直至筛选的筛选框数量大于设定的筛选框数值。
其中,灰度渐变系数的计算公式:,/>表示为矩形窗内坐标像素点的灰度值,/>表示为灰度渐变系数,当灰度渐变系数越大,表明筛选框内灰度值与矩形框内灰度值间的渐变突显程度。
采用筛选框内像素点的灰度值均值与矩形窗内像素点的灰度值进行分析,以评估出筛选框内像素点的灰度值与矩形窗内像素点的灰度值间的渐变突显程度,进而能够准确筛选出实时显微图像中的最优特征区域,为后期对振动干扰下的图像进行比对提供可靠的区域特征。
S02、构建测量平台的振动模型,分析出最优特征区域在振动波形下的振动位置偏移参数,并获得实时振动位置偏移轨迹。
如图2所示,建立测量平台中心沿测量平台X轴和Y轴方向上的振动波形,即为,/>和/>分别表示为测量平台中心沿X轴和Y轴方向上的振幅,/>表示为振动角频率,/>和/>分别表示为测量平台中心沿x轴和y轴方向振动的初相位。
基于测量平台中心沿测量平台X轴和Y轴方向上的振动波形可知,任意时刻,测量平台沿X轴向的振动偏移量和沿Y轴向的振动偏移量,即与测量平台中心在同一时刻下任意位置沿X轴向的振动偏移量和沿Y轴向的振动偏移量可看作与测量平台中心沿X轴向的振动偏移量和沿Y轴向的振动偏移量相同,排除同一时刻测量平台上不同位置坐标处沿同一轴向的振动偏移量间存在的细微差异,便于获得在显微镜本身电机等干扰下测量平台沿测量平台中心在振动下所产生的规律性运动轨迹。
当前帧(t1时刻)的最优特征区域中心的位置坐标和最优特征区域中G像素点的位置坐标/>,下一帧(t2时刻)对应的最优特征区域中心的位置坐标/>和最优特征区域中G像素点的位置坐标/>,相邻两帧图像中最优特征区域中心的位置/>和/>,经以上公式推导出,/>,/>和/>分别为最优特征区域中心位置从t1到t2时刻的振动位置偏移量,/>和/>分别为最优特征区域中心中G像素点位置从t1到t2时刻的振动位置偏移量,且
振动偏移角度的分析,从t1时刻到t2时刻的振动偏转角度:
推导出,最优特征区域中心和G像素点的实时振动位置偏移轨迹和/>,具体为:/>,/>和/>分别为最优特征区域中心、G像素点的初始位置坐标,/>为最优特征区域的初始位置下G像素点的位置坐标和最优特征区域中心与x轴正方向的初始夹角,/>为th时刻最优特征区域中G像素点的位置坐标和最优特征区域中心与x轴正方向间的夹角,/>为th时刻和初始位置下最优特征区域中G像素点的位置坐标和最优特征区域中心与x轴正方向间的夹角的相对量。
S03、基于卡尔曼滤波预测出各帧显微图像中最优特征区域的中心以及偏转角度/>,分析出预测位置与实时振动位置偏移轨迹间的预测偏差量,如图3所示,卡尔曼滤波对显微图像中最优特征区域内像素点位置的预测是本领域常规的技术手段。
采用卡尔曼滤波可预测出任意帧th时刻下最优特征区域的中心和G像素点的预测振动位置偏移轨迹,进而可获得显微镜相机相对于测量平台上上一帧的显微图像与下一帧的显微图像的偏移情况,且预测偏差量反映出同一最优特征区域中的各像素点在同一时刻实际振动位置偏移轨迹与经卡尔曼滤波预测的振动位置偏移轨迹间的位置偏差量。
S04、判断预测偏差量中任意一项是否大于设定的偏转阈值,若存在任意一项大于设定的偏转阈值,则以显示预测位置处显微镜相机所采集到的显微图像,若均小于设定的偏转阈值,则执行步骤S05;
具体:若实际振动位置偏移轨迹与预测的振动位置偏移轨迹沿x轴或y轴上的预测位置偏差量大于设定的距离偏转阈值,或实际振动位置偏移轨迹与预测的振动位置偏移轨迹间的预测角度偏差量大于设定的角度偏转阈值,则显示预测位置处显微镜相机所采集到的显微图像,并重复执行步骤S01-S04。
S05、确定有效显微图像,提取预测偏差量,对任意帧th时刻下有效显微图像进行预测偏差量下的特征偏移补偿,以保证在不同帧图像中最优特征区域在当前帧图像中的位置不随时间发生偏移;
采用预测偏差量的补偿,实现在对实时振动位置偏移轨迹进行防抖消除后,能够对规律的振动进行特征偏移追踪,消除因预测偏差量存在而导致显微图像实时抖动。
通过对实时显微图像进行特征偏移补偿,能够保证实时显微图像中的显示区域内的特征周侧不会因显微镜中相机与测量平台发生相对振动以及其他规律的振动,避免因显微图像内的特征发生连续性位置偏移,影响图像观察及显示效果,使得经特征偏移补偿后的显微图像不随平台振动而出现画面抖动干扰,大大提高了图像观察效果以及用户观察使用的体验感。
如图4所示,任意帧时刻的有效显微图像为任意帧时刻的显微图像与初始帧显微图像间的重叠区域。
其中,任意帧(th时刻,h=1,2,...)下有效显微图像的特征偏移补偿方法,具体方法如下:
W1、获得任意帧的显微图像与经更新后的初始帧图像;
W2、以偏转状态下显微图像中最优特征区域的中心为旋转点,对任意帧时刻下的显微图像经旋转修正处理,获得旋转修正后显微图像中各像素点的位置坐标表示为显微图像中第i行第j列像素点的位置坐标,具体,旋转修正后的显微图像中各像素点的位置坐标:
;
W3、采用步骤W2中旋转修正公式对显微图像中最优特征区域中心的实时振动位置偏移轨迹下的位置坐标进行处理,得到最优特征区域中心的实时旋转振动位置坐标,具体计算公式:
W4、提取步骤W2中最优特征区域中心的实时旋转振动位置与步骤W3中经旋转修正后的最优特征区域的中心点进行对比,以获得沿x轴方向特征偏移补偿宽度Dx和沿y轴方向特征偏移补偿宽度Dy,且,/>,/>分别表示为旋转校正后显微图像中最优特征区域的中心所对应的位置坐标;
W5、对步骤W2中经旋转修正后的显微图像与经更新后的初始帧图像进行重叠区域对比,以定位经旋转修正后的显微图像的有效显微图像区域,并对有效显微图像区域沿x轴方向进行Dx宽度的特征偏移补偿以及沿y轴方向进行Dy宽度的特征偏移补偿,以保证经旋转以及偏移补偿后的各像素点不随显微图像采集时因测量平台振动而导致任意帧中同一像素点发生晃动,大大提高了显微图像观察的效果。
其中,初始帧图像的更新方法,如下:
F1、获取初始帧显微图像中各像素点以及各像素点的灰度值;
F2、将下一帧显微图像与初始帧显微图像进行对比,筛选出下一帧显微图像与初始帧显微图像间的偏移区域,提取偏移区域对初始帧显微图像的区域进行拼接更新,获得更新后的初始帧显微图像;
F3、依次将下一帧显微图像与经上一帧更新后的初始帧显微图像进行对比,筛选出下一帧显微图像与经上一帧更新后的初始帧显微图像间的偏移区域,并对经上一帧更新后的初始帧显微图像进行继续拼接更新;
F4、判断经更新后的初始帧显微图像与未更新前的初始帧显微图像在x轴和y轴上偏移区域的宽度是否均大于设定的偏移阈值,若均大于设定的偏移阈值,则停止对经更新后的初始帧显微图像继续拼接更新,通过对初始帧显微图像周侧存在的偏移区域宽度内的图像进行拼接更新,以便于获取下一帧显微凸显与更新后的显微图像间的重叠区域的最大化,为后续任意帧显微图像进行偏移补偿提供可靠的图像基础;
F5、判断F1中初始帧显微图像持续时长是否超过设定的时间阈值,若超过设定的时间阈值,则将超过设定的时间阈值的下一帧显微图像作为初始帧图像,并重复执行步骤F1-F5,能够对初始帧显微图像进行及时更新,避免因初始帧显微图像中部分特征点发生变化,而导致初始帧显微图像内特征点数据的不准确,起到间断更新和实时偏移区域更新的作用。
以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (9)

1.基于特征追踪的实时显微图像防抖方法,其特征在于,包括以下步骤:
S01、获取实时显微图像中的最优特征区域;
S02、构建测量平台的振动模型,分析出最优特征区域在振动波形下的振动位置偏移参数,并获得实时振动位置偏移轨迹;
S03、基于卡尔曼滤波预测出各帧显微图像中最优特征区域的中心以及偏转角度,分析出预测位置与实时振动位置偏移轨迹间的预测偏差量;
S04、判断预测偏差量中任意一项是否大于设定的偏转阈值,若存在任意一项大于设定的偏转阈值,则以显示预测位置处显微镜相机所采集到的显微图像,若均小于设定的偏转阈值,则执行步骤S05;
S05、确定有效显微图像,提取预测偏差量,对任意帧下的有效显微图像进行预测偏差量下的特征偏移补偿。
2.根据权利要求1所述的基于特征追踪的实时显微图像防抖方法,其特征在于,显微图像中的最优特征区域判定方法如下:
E1、提取筛选框内m*m个像素点的灰度值,并求均值
E2、计算灰度偏离度,/>表示为筛选框内坐标(i,j)像素点对应的灰度值;
E3、判断筛选框内灰度偏离度是否大于设定的灰度偏离度阈值,若大于,则继续一下筛选框的判断,重复步骤E1-E3,反之,则提取以筛选框为中心的(m+k)*(m+k)个像素点,k大于2且为偶数,并执行步骤E4;
E4、剔除(m+k)*(m+k)个像素点中筛选框内的像素点,获得矩形窗,提取矩形窗的像素点的灰度值;
E5、计算灰度渐变系数,若灰度渐变系数大于设定的渐变阈值,则作为最优特征区域,反之,舍弃该筛选框,重新选择筛选框,并重复执行步骤E1-E5,直至筛选的筛选框数量大于设定的筛选框数值。
3.根据权利要求2所述的基于特征追踪的实时显微图像防抖方法,其特征在于,所述灰度渐变系数的计算公式:表示为矩形窗内坐标/>像素点的灰度值,/>表示为灰度渐变系数,/>为矩形窗的宽度数值,即为矩形窗宽度所包含的像素点个数。
4.根据权利要求1所述的基于特征追踪的实时显微图像防抖方法,其特征在于,建立测量平台中心沿测量平台X轴和Y轴方向上的振动波形,即为,/>分别表示为测量平台中心沿X轴和Y轴方向上的振幅,/>表示为振动角频率,/>和/>分别表示为测量平台中心沿x轴和y轴方向振动的初相位。
5.根据权利要求4所述的基于特征追踪的实时显微图像防抖方法,其特征在于,相邻两帧图像中最优特征区域中心的位置和/>,经以上公式推导出,/>,/>和/>分别为最优特征区域中心位置从t1到t2时刻的振动位置偏移量,/>和/>分别为最优特征区域中心中G像素点位置从t1到t2时刻的振动位置偏移量,/>和/>分别为t1时刻的最优特征区域中心和G像素点的位置坐标,/>分别为下一帧(t2时刻)对应的最优特征区域中心和G像素点的位置坐标。
6.根据权利要求5所述的基于特征追踪的实时显微图像防抖方法,其特征在于,从t1时刻到t2时刻的振动偏转角度:
7.根据权利要求1所述的基于特征追踪的实时显微图像防抖方法,其特征在于,任意帧下有效显微图像的特征偏移补偿方法,具体方法如下:
W1、获得任意帧的显微图像与经更新后的初始帧图像;
W2、以偏转状态下显微图像中最优特征区域的中心为旋转点,对任意帧时刻下的显微图像经旋转修正处理,获得旋转修正后显微图像中各像素点的位置坐标
W3、采用步骤W2中旋转修正公式对显微图像中最优特征区域中心的实时振动位置偏移轨迹下的位置坐标进行处理,得到最优特征区域中心的实时旋转振动位置坐标
W4、提取步骤W2中最优特征区域中心的实时旋转振动位置与步骤W3中经旋转修正后的最优特征区域的中心点进行对比,以获得沿x轴方向特征偏移补偿宽度Dx和沿y轴方向特征偏移补偿宽度Dy,且,/>,/>分别表示为旋转校正后显微图像中最优特征区域的中心所对应的位置坐标;
W5、对步骤W2中经旋转修正后的显微图像与经更新后的初始帧图像进行重叠区域对比,以定位经旋转修正后的显微图像的有效显微图像区域,并对有效显微图像区域沿x轴方向进行Dx宽度的特征偏移补偿以及沿y轴方向进行Dy宽度的特征偏移补偿,以保证经旋转以及偏移补偿后的各像素点不随显微图像采集时因测量平台振动而导致任意帧中同一像素点发生晃动,大大提高了显微图像观察的效果。
8.根据权利要求7所述的基于特征追踪的实时显微图像防抖方法,其特征在于,所述步骤W2中旋转修正后的显微图像中各像素点的位置坐标:;
所述步骤W3中最优特征区域中心的实时旋转振动位置坐标具体计算公式:
9.根据权利要求7所述的基于特征追踪的实时显微图像防抖方法,其特征在于,所述初始帧图像的更新方法:
F1、获取初始帧显微图像中各像素点以及各像素点的灰度值;
F2、将下一帧显微图像与初始帧显微图像进行对比,筛选出下一帧显微图像与初始帧显微图像间的偏移区域,提取偏移区域对初始帧显微图像的区域进行拼接更新,获得更新后的初始帧显微图像;
F3、依次将下一帧显微图像与经上一帧更新后的初始帧显微图像进行对比,筛选出下一帧显微图像与经上一帧更新后的初始帧显微图像间的偏移区域,并对经上一帧更新后的初始帧显微图像进行继续拼接更新;
F4、判断经更新后的初始帧显微图像与未更新前的初始帧显微图像在x轴和y轴上偏移区域的宽度是否均大于设定的偏移阈值,若均大于设定的偏移阈值,则停止对经更新后的初始帧显微图像继续拼接更新;
F5、判断F1中初始帧显微图像持续时长是否超过设定的时间阈值,若超过设定的时间阈值,则将超过设定的时间阈值的下一帧显微图像作为初始帧图像,并重复执行步骤F1-F5。
CN202311211631.3A 2023-09-20 2023-09-20 基于特征追踪的实时显微图像防抖方法 Active CN116957992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311211631.3A CN116957992B (zh) 2023-09-20 2023-09-20 基于特征追踪的实时显微图像防抖方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311211631.3A CN116957992B (zh) 2023-09-20 2023-09-20 基于特征追踪的实时显微图像防抖方法

Publications (2)

Publication Number Publication Date
CN116957992A true CN116957992A (zh) 2023-10-27
CN116957992B CN116957992B (zh) 2024-01-05

Family

ID=88442881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311211631.3A Active CN116957992B (zh) 2023-09-20 2023-09-20 基于特征追踪的实时显微图像防抖方法

Country Status (1)

Country Link
CN (1) CN116957992B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118221A (zh) * 2012-07-09 2013-05-22 中国人民解放军国防科学技术大学 基于场处理的实时视频电子稳像方法
CN103180858A (zh) * 2011-08-25 2013-06-26 索尼公司 移动微实体流中的运动相关误差的补偿
TW201523516A (zh) * 2013-12-05 2015-06-16 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
JP2016066987A (ja) * 2014-03-27 2016-04-28 富士フイルム株式会社 画像処理装置及び方法、印刷システム、ハーフトーン処理規則の生成方法、ハーフトーン処理規則、ハーフトーン画像、印刷物の製造方法並びにプログラム
CN106644902A (zh) * 2016-11-01 2017-05-10 北京信息科技大学 一种流式细胞仪层流稳定性评估方法
US20170134658A1 (en) * 2015-11-05 2017-05-11 Canon Kabushiki Kaisha Image stabilization apparatus and image stabilization method
US20190107700A1 (en) * 2017-10-06 2019-04-11 Tammy Kee-Wai LEE Surgical optical zoom system
CN109697700A (zh) * 2018-05-07 2019-04-30 杭州新瀚光电科技有限公司 手持红外热像仪拍摄防抖算法
CN113048951A (zh) * 2021-03-20 2021-06-29 侯晋华 一种基于人工智能的测绘无人机抖动检测方法及系统
CN113280868A (zh) * 2021-07-02 2021-08-20 昆明理工大学 一种轴向振动与转速的同步监测方法及系统
CN114424167A (zh) * 2019-05-06 2022-04-29 强力物联网投资组合2016有限公司 用于促进工业物联网系统智能开发的平台
CN114979489A (zh) * 2022-05-30 2022-08-30 西安理工大学 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统
CN115760654A (zh) * 2023-01-10 2023-03-07 南京木木西里科技有限公司 一种工业显微镜图像处理系统
CN116358841A (zh) * 2023-06-01 2023-06-30 南京木木西里科技有限公司 一种显微镜镜头自识别校准系统
CN116643393A (zh) * 2023-07-27 2023-08-25 南京木木西里科技有限公司 基于显微图像偏转的处理方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180858A (zh) * 2011-08-25 2013-06-26 索尼公司 移动微实体流中的运动相关误差的补偿
CN103118221A (zh) * 2012-07-09 2013-05-22 中国人民解放军国防科学技术大学 基于场处理的实时视频电子稳像方法
TW201523516A (zh) * 2013-12-05 2015-06-16 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
JP2016066987A (ja) * 2014-03-27 2016-04-28 富士フイルム株式会社 画像処理装置及び方法、印刷システム、ハーフトーン処理規則の生成方法、ハーフトーン処理規則、ハーフトーン画像、印刷物の製造方法並びにプログラム
US20170134658A1 (en) * 2015-11-05 2017-05-11 Canon Kabushiki Kaisha Image stabilization apparatus and image stabilization method
CN106644902A (zh) * 2016-11-01 2017-05-10 北京信息科技大学 一种流式细胞仪层流稳定性评估方法
US20190107700A1 (en) * 2017-10-06 2019-04-11 Tammy Kee-Wai LEE Surgical optical zoom system
CN109697700A (zh) * 2018-05-07 2019-04-30 杭州新瀚光电科技有限公司 手持红外热像仪拍摄防抖算法
CN114424167A (zh) * 2019-05-06 2022-04-29 强力物联网投资组合2016有限公司 用于促进工业物联网系统智能开发的平台
CN113048951A (zh) * 2021-03-20 2021-06-29 侯晋华 一种基于人工智能的测绘无人机抖动检测方法及系统
CN113280868A (zh) * 2021-07-02 2021-08-20 昆明理工大学 一种轴向振动与转速的同步监测方法及系统
CN114979489A (zh) * 2022-05-30 2022-08-30 西安理工大学 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统
CN115760654A (zh) * 2023-01-10 2023-03-07 南京木木西里科技有限公司 一种工业显微镜图像处理系统
CN116358841A (zh) * 2023-06-01 2023-06-30 南京木木西里科技有限公司 一种显微镜镜头自识别校准系统
CN116643393A (zh) * 2023-07-27 2023-08-25 南京木木西里科技有限公司 基于显微图像偏转的处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HSU-FU HSIAO等: "A real-time visual tracking technique for mobile display stabilization", 《2017 INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INNOVATION (ICASI)》, pages 440 - 442 *
李梦男: "卫星光通信中平台振动的频域预测补偿方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, pages 136 - 730 *
王盛青: "长波制冷红外焦平面成像系统盲元检测及补偿研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 10, pages 135 - 8 *

Also Published As

Publication number Publication date
CN116957992B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
US7333132B2 (en) Corrected image generating apparatus and corrected image generating program storage medium
US7668377B2 (en) Method of obtaining a depth map from a digital image
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US9124775B2 (en) Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope
EP1855486B1 (en) Image processor correcting color misregistration, image processing program, image processing method, and electronic camera
EP3668077B1 (en) Image processing system, server device, image processing method, and image processing program
EP3573020B1 (en) A method and apparatus for producing a video stream
DE112010005189T5 (de) Tiefe-Aus-Defokussierung-Kalibration
US20220198710A1 (en) Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model
US10475229B2 (en) Information processing apparatus and information processing method
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
CN109001902B (zh) 基于图像融合的显微镜聚焦方法
CN111707456A (zh) 光机清晰度测试方法以及测试装置
JP4514731B2 (ja) Mtf測定装置、mtf測定方法およびmtf測定プログラム
US20040081370A1 (en) Image processing
CN116957992B (zh) 基于特征追踪的实时显微图像防抖方法
CN109410197B (zh) 一种定位液晶屏检测区域的方法及装置
CN111369513A (zh) 一种异常检测方法、装置、终端设备及存储介质
CN110602377A (zh) 一种视频稳像方法及装置
US8654205B2 (en) Medium storing image processing program and imaging apparatus
CN110515884B (zh) 基于图像分析的施工现场钢筋测距装置
CN113847970B (zh) 一种水位检测方法、装置及系统
KR100517120B1 (ko) 디지털 영상을 이용한 기도 섬모파의 무질서도 계측 방법
JP2019192048A (ja) 撮像装置
CN114581507B (zh) 基于图像考种的种子尺寸标定方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant