CN103037166A - 数字立体显微系统校准的方法、装置及数字立体显微系统 - Google Patents

数字立体显微系统校准的方法、装置及数字立体显微系统 Download PDF

Info

Publication number
CN103037166A
CN103037166A CN2012105835554A CN201210583555A CN103037166A CN 103037166 A CN103037166 A CN 103037166A CN 2012105835554 A CN2012105835554 A CN 2012105835554A CN 201210583555 A CN201210583555 A CN 201210583555A CN 103037166 A CN103037166 A CN 103037166A
Authority
CN
China
Prior art keywords
signature
mark
interest
shift
default area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105835554A
Other languages
English (en)
Other versions
CN103037166B (zh
Inventor
邵航
张春龙
朱春兴
曹峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTRIAL Co Ltd
Original Assignee
GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTRIAL Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTRIAL Co Ltd filed Critical GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTRIAL Co Ltd
Priority to CN201210583555.4A priority Critical patent/CN103037166B/zh
Publication of CN103037166A publication Critical patent/CN103037166A/zh
Application granted granted Critical
Publication of CN103037166B publication Critical patent/CN103037166B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种数字立体显微系统校准的方法,包括步骤:获取第一标记图和第二标记图;检测所述第一标记图的第一标记和所述第二标记图的第二标记,调整所述第二标记图,使所述第二标记与所述第一标记的方位相同且距离在预设范围内;根据所述第一标记、调整后确定的第二标记、预设水平偏移确定水平偏移、垂直偏移和第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述摄像装置发送所述第一标记图的第一预设感兴趣区域和所述偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。本发明提供相应的装置和系统。采用调整感兴趣区域的方法消除垂直偏移,达到合适的水平偏移。

Description

数字立体显微系统校准的方法、装置及数字立体显微系统
技术领域
本发明涉及校准领域,特别是涉及数字立体显微系统校准的方法、装置及数字立体显微系统。
背景技术
双目立体显微镜应用领域十分广泛,主要应用于电子制造、机械制造、医药制造、医疗手术等领域。立体显微镜是具有两个完整光路的显微镜,观察样本时具有立体感。立体显微镜可以选配显微数码成像装置,成为数码立体显微镜。这样,在观察方面就更具优势:可以减少眼睛效劳,低成本实现多人同步预览,可以把观察到的图片保存下来,分别传阅各相关部分观看,可以录像、测量等其他功能。但是传统医疗成像系统都是采取单个数码成像装置,丢失了立体感。双路视频采集立体成像系统能产生正立的三维空间影像,立体感强,成像清晰,能够充分的还原显微镜中观察到的场景。
在立体显微镜的双路视频采集成像系统中,双路相机采集的图像存在着相对的旋转以及位置偏移,目前缺乏对双路视频采集成像系统的校准,因此在采集图像之前进行校准十分重要。
发明内容
基于此,有必要针对双路相机采集的图像存在着相对的旋转以及位置偏移问题,提供一种数字立体显微系统校准的方法、装置及数字立体显微系统。
一种数字立体显微系统校准的方法,包括步骤:
获取第一标记图和第二标记图,所述第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;
检测所述第一标记图的第一标记和所述第二标记图的第二标记,根据所述第一标记和所述第二标记调整所述第二标记图,使所述第二标记与所述第一标记的方位相同且距离在预设范围内;
根据所述第一标记和调整后确定的第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述摄像装置发送所述第一标记图的第一预设感兴趣区域和所述偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
上述数字立体显微系统校准的方法,通过获取两路标记图,调整第二标记图消除相对旋转,采用调整感兴趣区域的方法消除垂直偏移,达到合适的水平偏移。
一种数字立体显微系统校准装置,包括:
校准模块,用于获取第一标记图和第二标记图,所述第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;检测所述第一标记图的第一标记和所述第二标记图的第二标记,所述第二标记与所述第一标记的方位相同且距离在预设范围内;根据所述第一标记和所述第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述摄像装置发送所述第一标记图的第一预设感兴趣区域和所述偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
上述数字立体显微系统校准装置,通过校准模块获取两路标记图,调整第二标记图消除相对旋转,采用调整感兴趣区域的方法消除垂直偏移,达到合适的水平偏移。
一种数字立体显微系统,包括:
立体显微镜,用于采集校准板的标记;
第一摄像装置,用于拍摄立体显微镜其中一目镜的图案,确定第一标记图,接收处理单元发送的第一预设感兴趣区域,截取第一预设感兴趣区域;
第二摄像装置,用于拍摄立体显微镜另一目镜的图案,确定第二标记图,接收调整指令,调整所述第二标记图,使所述第二标记图与所述第一标记图的方位相同且距离在预设范围内,接收处理单元发送的偏移后的第二预设感兴趣区域,截取偏移后的第二预设感兴趣区域;
处理单元,用于获取所述第一标记图和所述第二标记图,检测所述第一标记图的第一标记和所述第二标记图的第二标记,根据所述第一标记和所述第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述第一摄像装置发送所述第一标记图的第一预设感兴趣区域,向所述第二摄像装置发送偏移后的第二预设感兴趣区域;获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
上述数字立体显微系统,通过处理单元获取两路标记图,调整第二标记图消除相对旋转,采用调整感兴趣区域的方法消除垂直偏移,达到合适的水平偏移。
附图说明
图1为本发明数字立体显微系统校准的方法实施例一的流程示意图;
图2为本发明数字立体显微系统校准的方法实施例二的流程示意图;
图3为本发明数字立体显微系统实施例的结构示意图。
具体实施方式
以下结合其中的较佳实施方式对本发明方案进行详细阐述。
实施例一
图1中示出了本发明数字立体显微系统校准的方法实施例一的流程示意图。
如图1所示,本实施例中的数字立体显微系统校准的方法,包括步骤:
步骤S101:获取第一标记图和第二标记图,第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;
步骤S102:检测第一标记图的第一标记和第二标记图的第二标记,根据第一标记和第二标记调整第二标记图,使第二标记与第一标记的方位相同且距离在预设范围内;
步骤S103:根据第一标记和调整后确定的第二标记确定第一标记和第二标记的水平偏移和垂直偏移,根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的第二预设感兴趣区域移动第二水平偏移和垂直偏移,向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
以下在上述本实施例方法的步骤基础上,对几何校正进行详细说明:
立体显微镜采集校准板的标记,在左右目镜中分别显示一幅图案。摄像装置对应立体显微镜中的两目,拍摄立体显微镜两目镜中图案得到第一标记图和第二标记图。获取摄像装置拍摄的第一标记图和第二标记图,此时,在同一画面可以得到第一标记图和第二标记图,检测第一标记图得到第一标记,检测第二标记图得到第二标记。其中,校准板的标记可以为十字叉标记,为了避免画面出现旋转偏差,可以在十字叉标记的其中一个象限设置一个标记图案,比如圆点、正方形等起标识作用的图案。此时,便避免了第一象限与第三象限重合等情况。在一个具体实施例中,分别对第一标记图和第二标记图进行锐化处理;采用边缘检测算法分别对锐化处理后的第一标记图和第二标记图进行边缘检测;采用直线检测算法分别对边缘检测后的第一标记图和第二标记图检测标记。本方案通过将这三种方法结合,达到更好的检测效果。其中,边缘检测算法可以为Canny算法、sobel算法等。直线检测算法可以为霍夫变换方法、基于梯度的直线检测算法等。由于锐化处理、边缘检测算法、直线检测算法为成熟的公知技术,在此不再赘述。检测后得到第一标记和第二标记。
根据第一标记和第二标记调整第二标记图。可以先旋转第二标记图,使第二标记与第一标记的方位相同,然后移动第二标记图,使第二标记与第一标记的距离在预设范围内,即使第二标记最大限度的与第一标记重合。
由于调整后的第一标记与第二标记之间仍存在水平偏差和垂直偏差,所以,根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移。可以以其中一个点作为参考点进行计算,比如十字叉的原点。根据需要的分辨率大小对第一标记图和第二标记图设置预设感兴趣区域。此时,第一标记图的预设感兴趣区域与第二标记图的预设感兴趣区域存在水平偏差和垂直偏差的区域。根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的预设感兴趣区域移动第二水平偏移的距离,便可使第一标记图和第二标记图的水平差距为预设水平偏移。将第二标记图的预设感兴趣区域移动垂直偏移后,产生新的预设感兴趣区域。
向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,摄像装置截取第一标记图的预设感兴趣区域得到第一预设感兴趣区域图,截取第二标记图新产生的预设感兴趣区域得到第二预设感兴趣区域图。本模块获取并输出显示显示第一预设感兴趣区域图和第二预设感兴趣区域图。便可得无垂直偏差且水平偏差为预设偏差的两幅区域,可以达到很好的立体感。
实施例二
图2中示出了本发明数字立体显微系统校准的方法实施例二的流程示意图。
如图2所示,本实施例中的数字立体显微系统校准的方法,既可以实现集合校准,还可以实现颜色校准,包括步骤:
步骤S201:获取第一标记图和第二标记图,第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;
步骤S202:检测第一标记图的第一标记和第二标记图的第二标记,根据第一标记和第二标记调整第二标记图,使第二标记与第一标记的方位相同且距离在预设范围内;
步骤S203:根据第一标记和调整后确定的第二标记确定第一标记和第二标记的水平偏移和垂直偏移,根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的第二预设感兴趣区域移动第二水平偏移和垂直偏移,向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图;
步骤S204:获取第一图和第二图,所述第一图和第二图为摄像装置拍摄立体显微镜两目镜中图案所得的三色校准图;
步骤S205:对第一图和第二图滤波降噪,根据第一图和第二图中的各颜色值和像素点总数确定第一图和第二图的三通道均值,第一图的三通道均值分别与第二图的三通道均值对应相除得到三通道的增益值,向摄像装置发送三通道的增益值。
立体显微镜采集校准板的标记,在左右目镜中分别显示一幅图案。摄像装置对应立体显微镜中的两目,拍摄立体显微镜两目镜中图案得到第一标记图和第二标记图。获取摄像装置拍摄的第一标记图和第二标记图,此时,在同一画面可以得到第一标记图和第二标记图,检测第一标记图得到第一标记,检测第二标记图得到第二标记。其中,校准板的标记可以为十字叉标记,为了避免画面出现旋转偏差,可以在十字叉标记的其中一个象限设置一个标记图案,比如圆点、正方形等起标识作用的图案。此时,便避免了第一象限与第三象限重合等情况。在一个具体实施例中,分别对第一标记图和第二标记图进行锐化处理,强化边缘信息;采用边缘检测算法分别对锐化处理后的第一标记图和第二标记图进行边缘检测;采用直线检测算法分别对边缘检测后的第一标记图和第二标记图检测标记。本方案通过将这三种方法结合,达到更好的检测效果。其中,边缘检测算法可以为Canny算法、sobel算法等。直线检测算法可以为霍夫变换方法、基于梯度的直线检测算法等。由于锐化处理、边缘检测算法、直线检测算法为成熟的公知技术,在此不再赘述。检测后得到第一标记和第二标记。
根据第一标记和第二标记调整第二标记图。可以先旋转第二标记图,使第二标记与第一标记的方位相同,然后移动第二标记图,使第二标记与第一标记的距离在预设范围内,即使第二标记最大限度的与第一标记重合。
由于调整后的第一标记与第二标记之间仍存在水平偏差和垂直偏差,所以,根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移。可以以其中一个点作为参考点进行计算,比如十字叉的原点。根据需要的分辨率大小对第一标记图和第二标记图设置预设感兴趣区域。此时,第一标记图的预设感兴趣区域与第二标记图的预设感兴趣区域存在水平偏差和垂直偏差的区域。根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的预设感兴趣区域移动第二水平偏移的距离,便可使第一标记图和第二标记图的水平差距为预设水平偏移。将第二标记图的预设感兴趣区域移动垂直偏移后,产生新的预设感兴趣区域。
向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,摄像装置截取第一标记图的预设感兴趣区域得到第一预设感兴趣区域图,截取第二标记图新产生的预设感兴趣区域得到第二预设感兴趣区域图。本模块获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。便可得无垂直偏差且水平偏差为预设偏差的两幅区域,可以达到很好的立体感。
由于光学传感器和环境的影响,两路图像会存在一定的色彩差异,所以还需要进行颜色校正。颜色校正可以在上述几何校正之前,也可以在几何校正之后。本实施例以几何校正之后进行说明。颜色校正主要分为两步,一步是对两路图做白平衡校正,第二步是调整两路图像的色差,使其色调一致。白平衡是需要图像场景中白色部分为主,才会有好的效果,两路图像色差调节主要调节图像三通道的增益来完成,那么校正板中就需要对应的三颜色,比如红绿蓝,所以设计了带有三种色块的白板为校正板。利用基本的白平衡算法,分别对两路视频进行白平衡矫正,计算出白平衡调整过程中的红色分量和蓝色分量的增益,并将参数分别写入摄像装置。
立体显微镜采集三色校准板的图像,得到第一图和第二图。摄像装置拍摄立体显微镜中的第一图和第二图,本方法获取摄像装置拍摄的第一图和第二图,在同一画面得到第一图和第二图,对第一图和第二图滤波降噪。将第一图中的各颜色值除以像素点总数,确定第一图的三通道均值。比如三色为红、绿、蓝,采用公式
R r = 1 N Σ i = 1 i = N R i
计算红通道均值,Ri表示第i个像素点的红色颜色值,N表示图中总共有N个像素点,Rr表示红色通道均值。同理可得绿色通道均值和蓝色通道均值。同样方法,可以确定第二图的三通道均值。将第一图中的红色通道均值与第二图中的红色通道均值相除,得到红色通道增益
Figure BDA00002666799400072
同理可得绿色通道增益gainG和蓝色增益gainB。然后将增益值gainR、gainG、gainB写入摄像装置,摄像装置将第二图中的红、绿、蓝三通道像素对应与gainR、gainG、gainB相乘。
本实施例,消除了垂直偏差,使水平偏移达到适合的水平视差,同时进行了颜色校正,使产生的三维空间影像效果更好。
实施例三
本实施例中的数字立体显微系统校准装置,包括:
校准模块,校准模块,用于获取第一标记图和第二标记图,第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;检测第一标记图的第一标记和第二标记图的第二标记,第二标记与第一标记的方位相同且距离在预设范围内;根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移,根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的第二预设感兴趣区域移动第二水平偏移和垂直偏移,向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
在一个具体实施例中,还包括摄像装置,用于拍摄立体显微镜两目镜的图案,确定第一标记图和第二标记图,接收校准模块发送的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,截取第一预设感兴趣区域得到第一预设感兴趣区域图,截取偏移后的第二预设感兴趣区域得到第二预设感兴趣区域图。
以下在上述本实施例装置的结构基础上,进行详细说明。
立体显微镜采集校准板的标记,在左右目镜中分别显示一幅图案。摄像装置对应立体显微镜中的两目,拍摄立体显微镜两目镜中图案得到第一标记图和第二标记图。校准模块获取摄像装置拍摄的第一标记图和第二标记图,此时,在同一画面可以得到第一标记图和第二标记图,检测第一标记图得到第一标记,检测第二标记图得到第二标记。其中,校准板的标记可以为十字叉标记,为了避免画面出现旋转偏差,可以在十字叉标记的其中一个象限设置一个标记图案,比如圆点、正方形等起标识作用的图案。此时,便避免了第一象限与第三象限重合等情况。在一个具体实施例中,分别对第一标记图和第二标记图进行锐化处理,强化边缘信息;采用边缘检测算法分别对锐化处理后的第一标记图和第二标记图进行边缘检测;采用直线检测算法分别对边缘检测后的第一标记图和第二标记图检测标记。本方案通过将这三种方法结合,达到更好的检测效果。其中,边缘检测算法可以为Canny算法、sobel算法等。直线检测算法可以为霍夫变换方法、基于梯度的直线检测算法等。由于锐化处理、边缘检测算法、直线检测算法为成熟的公知技术,在此不再赘述。检测后得到第一标记和第二标记。
根据第一标记和第二标记调整第二标记图。可以先旋转第二标记图,使第二标记与第一标记的方位相同,然后移动第二标记图,使第二标记与第一标记的距离在预设范围内,即使第二标记最大限度的与第一标记重合。
由于调整后的第一标记与第二标记之间仍存在水平偏差和垂直偏差,所以,根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移。可以以其中一个点作为参考点进行计算,比如十字叉的原点。根据需要的分辨率大小对第一标记图和第二标记图设置预设感兴趣区域。此时,第一标记图的预设感兴趣区域与第二标记图的预设感兴趣区域存在水平偏差和垂直偏差的区域。根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的预设感兴趣区域移动第二水平偏移的距离,便可使第一标记图和第二标记图的水平差距为预设水平偏移。将第二标记图的预设感兴趣区域移动垂直偏移后,产生新的预设感兴趣区域。
校准模块向摄像装置发送第一标记图的第一预设感兴趣区域和偏移后的第二预设感兴趣区域,摄像装置截取第一标记图的预设感兴趣区域得到第一预设感兴趣区域图,截取第二标记图新产生的预设感兴趣区域得到第二预设感兴趣区域图。本校准模块获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。便可得无垂直偏差且水平偏差为预设偏差的两幅区域,可以达到很好的立体感。
由于光学传感器和环境的影响,两路图像会存在一定的色彩差异,所以还需要进行颜色校正。颜色校正可以在上述几何校正之前,也可以在几何校正之后。本实施例以几何校正之后进行说明。颜色校正主要分为两步,一步是对两路图做白平衡校正,第二步是调整两路图像的色差,使其色调一致。白平衡是需要图像场景中白色部分为主,才会有好的效果,两路图像色差调节主要调节图像三通道的增益来完成,那么校正板中就需要对应的三颜色,比如红绿蓝,所以设计了带有三种色块的白板为校正板。利用基本的白平衡算法,分别对两路视频进行白平衡矫正,计算出白平衡调整过程中的红色分量和蓝色分量的增益,并将参数分别写入摄像装置。
立体显微镜采集三色校准板的图像,得到第一图和第二图。摄像装置拍摄立体显微镜中的第一图和第二图,本校准模块获取摄像装置拍摄的第一图和第二图,在同一画面得到第一图和第二图,对第一图和第二图滤波降噪。将第一图中的各颜色值除以像素点总数,确定第一图的三通道均值。比如三色为红、绿、蓝,采用公式
R r = 1 N Σ i = 1 i = N R i
计算红通道均值,Ri表示第i个像素点的红色颜色值,N表示图中总共有N个像素点,Rr表示红色通道均值。同理可得绿色通道均值和蓝色通道均值。同样方法,可以确定第二图的三通道均值。将第一图中的红色通道均值与第二图中的红色通道均值相除,得到红色通道增益
Figure BDA00002666799400102
同理可得绿色通道增益gainG和蓝色增益gainB。然后将增益值gainR、gainG、gainB写入摄像装置,摄像装置将第二图中的红、绿、蓝三通道像素对应与gainR、gainG、gainB相乘。
本实施例,消除了垂直偏差,使水平偏移达到适合的水平视差,同时进行了颜色校正,使产生的三维空间影像效果更好。
实施例四
图3中示出了本发明数字立体显微系统实施例的结构示意图。
如图3所示,本实施例中的数字立体显微系统,包括:
立体显微镜立体显微镜301,用于采集校准板的标记;
第一摄像装置302,用于拍摄立体显微镜其中一目镜的图案,确定第一标记图,接收处理单元发送的第一预设感兴趣区域,截取第一预设感兴趣区域;
第二摄像装置303,用于拍摄立体显微镜另一目镜的图案,确定第二标记图,接收调整指令,调整第二标记图,使第二标记图与第一标记图的方位相同且距离在预设范围内,接收处理单元发送的偏移后的第二预设感兴趣区域,截取偏移后的第二预设感兴趣区域;
处理单元304,用于获取第一标记图和第二标记图,检测第一标记图的第一标记和第二标记图的第二标记,根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移,根据预设水平偏移和水平偏移确定第二水平偏移,将第二标记图的第二预设感兴趣区域移动第二水平偏移和垂直偏移,向第一摄像装置发送第一标记图的第一预设感兴趣区域,向第二摄像装置发送偏移后的第二预设感兴趣区域;获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
以下在上述本实施例系统的结构基础上,进行详细说明。
立体显微镜301采集校准板的标记,第一摄像装置302获取立体显微镜其中一目镜的图案,得到第一标记图,第二摄像装置303获取立体显微镜另一目镜的图案,得到第一标记图。第一摄像装置和第二摄像装置可以为工业相机等。处理单元304接收第一摄像装置302和第二摄像装置303的第一标记图和第二标记图,在同一画面显示第一标记图和第二标记图,检测第一标记图得到第一标记,检测第二标记图得到第二标记。其中,校准板的标记可以为十字叉标记,为了避免画面出现旋转偏差,可以在十字叉标记的其中一个象限设置一个标记图案,比如圆点、正方形等起标识作用的图案。此时,便避免了第一象限与第三象限重合的情况。在一个具体实施例中,分别对第一标记图和第二标记图进行锐化处理,强化边缘信息;采用边缘检测算法分别对锐化处理后的第一标记图和第二标记图进行边缘检测;采用直线检测算法分别对边缘检测后的第一标记图和第二标记图检测标记。本方案通过将这三种方法结合,达到更好的检测效果。其中,边缘检测算法可以为Canny算法、sobel算法等。直线检测算法可以为霍夫变换方法、基于梯度的直线检测算法等。由于锐化处理、边缘检测算法、直线检测算法为成熟的公知技术,在此不再赘述。检测后得到第一标记和第二标记。
用户旋转第二摄像装置303,使第二标记图与第一标记图的方位相同,调节第二摄像装置303,使第二标记图与第一标记图的距离在预设范围内,即使第二标记图最大限度的与第一标记图重合。
由于用户调整后的第一标记与第二标记之间仍存在水平偏差和垂直偏差,所以,处理单元304根据第一标记和第二标记确定第一标记和第二标记的水平偏移和垂直偏移。可以以其中一个点作为参考点进行计算,比如十字叉的原点。根据需要的分辨率大小对第一标记图和第二标记图设置预设感兴趣区域。此时,第一标记图的预设感兴趣区域与第二标记图的预设感兴趣区域存在水平偏差和垂直偏差。根据预设水平偏移和水平偏移确定第二水平偏移,此时将第二标记图的预设感兴趣区域移动第二水平偏移的距离,便可使第一标记图和第二标记图的水平差距为预设水平偏移。将第二标记图的预设感兴趣区域移动垂直偏移后,产生新的预设感兴趣区域。处理单元304向第一摄像装置302发送第一标记图的第一预设感兴趣区域,第一摄像装置302截取第一预设感兴趣区域,得到第一预设感兴趣区域图。处理单元304向第二摄像装置303发送偏移后的第二预设感兴趣区域,第二摄像装置截取新产生的第二预设感兴趣区域,得到第二预设感兴趣区域图。
处理单元304获取第一预设感兴趣区域图和第二预设感兴趣区域图,可以同时显示该两区域。也可以设置一个单独的显示设备,显示该两区域的图。便可得无垂直偏差且水平偏差为预设偏差的两幅区域,可以达到很好的立体感。
在一个具体实施例中,由于光学传感器和环境的影响,两路图像会存在一定的色彩差异。第一摄像装置302,还用于拍摄立体显微镜其中一目镜(比如左目)的图像,确定第一图;第二摄像装置303,还用于拍摄立体显微镜另一目镜(比如右目)的图像,确定第二图。处理单元304对获取的第一图和第二图进行颜色校正。颜色校正主要分为两步,一步是对两路图做白平衡校正,第二步是调整两路图像的色差,使其色调一致。
白平衡是需要图像场景中白色部分为主,才会有好的效果,两路图像色差调节主要调节图像三通道的增益来完成,那么校正板中就需要对应的三颜色,比如红绿蓝,所以设计了带有三种色块的白板为校正板。利用基本的白平衡算法,分别对两路视频进行白平衡矫正,计算出白平衡调整过程中的红色分量和蓝色分量的增益,并将参数分别写入第二摄像装置303。
立体显微镜采集三色校准板的图像,得到第一图和第二图。第一摄像装置和第二摄像装置拍摄立体显微镜中的第一图和第二图,处理单元获取拍摄的第一图和第二图,在同一画面得到第一图和第二图,对第一图和第二图滤波降噪。将第一图中的各颜色值除以像素点总数,确定第一图的三通道均值。比如三色为红、绿、蓝,采用公式
R r = 1 N Σ i = 1 i = N R i
计算红通道均值,Ri表示第i个像素点的红色颜色值,N表示图中总共有N个像素点,Rr表示红色通道均值。同理可得绿色通道均值和蓝色通道均值。同样方法,可以确定第二图的三通道均值。将第一图中的红色通道均值与第二图中的红色通道均值相除,得到红色通道增益
Figure BDA00002666799400132
同理可得绿色通道增益gainG和蓝色增益gainB。然后将增益值gainR、gainG、gainB写入第二摄像装置,第二摄像装置将第二图中的红、绿、蓝三通道像素对应与gainR、gainG、gainB相乘。
本实施例,消除了垂直偏差,使水平偏移达到适合的水平视差,同时进行了颜色校正,使产生的三维空间影像效果更好。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数字立体显微系统校准的方法,其特征在于,包括步骤:
获取第一标记图和第二标记图,所述第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;
检测所述第一标记图的第一标记和所述第二标记图的第二标记,根据所述第一标记和所述第二标记调整所述第二标记图,使所述第二标记与所述第一标记的方位相同且距离在预设范围内;
根据所述第一标记和调整后确定的第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述摄像装置发送所述第一标记图的第一预设感兴趣区域和所述偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
2.根据权利要求1所述的数字立体显微系统校准的方法,其特征在于,还包括步骤:
获取第一图和第二图,所述第一图和第二图为所述摄像装置拍摄立体显微镜两目镜中图案所得的三色校准图;
对所述第一图和所述第二图滤波降噪,根据所述第一图和所述第二图中的各颜色值和像素点总数确定所述第一图和所述第二图的三通道均值,所述第一图的三通道均值分别与所述第二图的三通道均值对应相除得到三通道的增益值,向所述摄像装置发送三通道的增益值。
3.根据权利要求1或2所述的数字立体显微系统校准的方法,其特征在于,所述检测所述第一标记图和所述第二标记图步骤,包括步骤:
分别对所述第一标记图和所述第二标记图进行锐化处理;
采用边缘检测算法分别对锐化处理后的所述第一标记图和所述第二标记图进行边缘检测;
采用直线检测算法分别对边缘检测后的所述第一标记图和所述第二标记图检测标记。
4.一种数字立体显微系统校准装置,其特征在于,包括:
校准模块,用于获取第一标记图和第二标记图,所述第一标记图和第二标记图为摄像装置拍摄立体显微镜两目镜中图案所得的标记图;检测所述第一标记图的第一标记和所述第二标记图的第二标记,所述第二标记与所述第一标记的方位相同且距离在预设范围内;根据所述第一标记和所述第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述摄像装置发送所述第一标记图的第一预设感兴趣区域和所述偏移后的第二预设感兴趣区域,获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
5.根据权利要求4所述的数字立体显微系统校准装置,其特征在于,
所述校准模块,还用于获取第一图和第二图,所述第一图和第二图为所述摄像装置拍摄立体显微镜两目镜中图案所得的三色校准图;对所述第一图和所述第二图滤波降噪,根据所述第一图和所述第二图中的各颜色值和像素点总数确定所述第一图和所述第二图的三通道均值,所述第一图的三通道均值分别与所述第二图的三通道均值对应相除得到三通道的增益值,向所述摄像装置发送三通道的增益值。
6.根据权利要求4或5所述的数字立体显微系统校准装置,其特征在于,所述校准模块还用于:
分别对所述第一标记图和所述第二标记图进行锐化处理;
采用边缘检测算法分别对锐化处理后的所述第一标记图和所述第二标记图进行边缘检测;
采用直线检测算法分别对边缘检测后的所述第一标记图和所述第二标记图检测标记。
7.一种数字立体显微系统,其特征在于,包括:
立体显微镜,用于采集校准板的标记;
第一摄像装置,用于拍摄立体显微镜其中一目镜的图案,确定第一标记图,接收处理单元发送的第一预设感兴趣区域,截取第一预设感兴趣区域;
第二摄像装置,用于拍摄立体显微镜另一目镜的图案,确定第二标记图,接收调整指令,调整所述第二标记图,使所述第二标记图与所述第一标记图的方位相同且距离在预设范围内,接收处理单元发送的偏移后的第二预设感兴趣区域,截取偏移后的第二预设感兴趣区域;
处理单元,用于获取所述第一标记图和所述第二标记图,检测所述第一标记图的第一标记和所述第二标记图的第二标记,根据所述第一标记和所述第二标记确定所述第一标记和所述第二标记的水平偏移和垂直偏移,根据预设水平偏移和所述水平偏移确定第二水平偏移,将所述第二标记图的第二预设感兴趣区域移动所述第二水平偏移和所述垂直偏移,向所述第一摄像装置发送所述第一标记图的第一预设感兴趣区域,向所述第二摄像装置发送偏移后的第二预设感兴趣区域;获取并输出显示第一预设感兴趣区域图和第二预设感兴趣区域图。
8.根据权利要求7所述的数字立体显微系统,其特征在于,
立体显微镜,还用于采集三色校准板的图像;
第一摄像装置,还用于拍摄立体显微镜其中一目镜的图像,确定第一图;
第二摄像装置,还用于拍摄立体显微镜另一目镜的图像,确定第二图,接收处理单元发送的三通道的增益值,将三通道的增益值分别与三通道颜色值相乘;
处理单元,还用于获取所述第一图和所述第二图,对所述第一图和所述第二图滤波降噪,根据所述第一图和所述第二图中各通道颜色值和像素点总数确定所述第一图和所述第二图的三通道均值,所述第一图的三通道均值分别与所述第二图的三通道均值对应相除得到三通道的增益值,将所述三通道的增益值发送到第二摄像装置。
9.根据权利要求7或8所述的数字立体显微系统,其特征在于,所述处理单元还用于:
分别对所述第一标记图和所述第二标记图进行锐化处理;
采用边缘检测算法分别对锐化处理后的所述第一标记图和所述第二标记图进行边缘检测;
采用直线检测算法分别对边缘检测后的所述第一标记图和所述第二标记图检测标记。
10.根据权利要求7或8所述的数字立体显微系统,其特征在于,所述校准板的标记为十字叉标记,其中所述十字叉标记的其中一象限有一标记图案,
和/或
所设三色校准板为RGB校准板。
CN201210583555.4A 2012-12-27 2012-12-27 数字立体显微系统校准的方法、装置及数字立体显微系统 Expired - Fee Related CN103037166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210583555.4A CN103037166B (zh) 2012-12-27 2012-12-27 数字立体显微系统校准的方法、装置及数字立体显微系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210583555.4A CN103037166B (zh) 2012-12-27 2012-12-27 数字立体显微系统校准的方法、装置及数字立体显微系统

Publications (2)

Publication Number Publication Date
CN103037166A true CN103037166A (zh) 2013-04-10
CN103037166B CN103037166B (zh) 2016-03-30

Family

ID=48023603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210583555.4A Expired - Fee Related CN103037166B (zh) 2012-12-27 2012-12-27 数字立体显微系统校准的方法、装置及数字立体显微系统

Country Status (1)

Country Link
CN (1) CN103037166B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104897051A (zh) * 2014-03-03 2015-09-09 卡尔蔡司显微镜有限责任公司 用于对数码显微镜进行测量校准的校准板及其使用方法
CN109541793A (zh) * 2018-11-30 2019-03-29 浙江未来技术研究院(嘉兴) 一种立体显微手术视频采集装置及其调试方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392698B1 (en) * 1996-12-06 2002-05-21 Canon Kabushiki Kaisha Camera head-detachable image sensing apparatus, image processing apparatus, and image sensing system constituted therewith
JP2004229222A (ja) * 2003-01-27 2004-08-12 Olympus Corp 画素シフトデジタルカメラの調整方法、調整用標本及び画素シフトデジタルカメラシステム
JP2005176358A (ja) * 2003-12-09 2005-06-30 Hewlett-Packard Development Co Lp テレビジョン表示エリアを最大にするデジタルカメラシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392698B1 (en) * 1996-12-06 2002-05-21 Canon Kabushiki Kaisha Camera head-detachable image sensing apparatus, image processing apparatus, and image sensing system constituted therewith
JP2004229222A (ja) * 2003-01-27 2004-08-12 Olympus Corp 画素シフトデジタルカメラの調整方法、調整用標本及び画素シフトデジタルカメラシステム
JP2005176358A (ja) * 2003-12-09 2005-06-30 Hewlett-Packard Development Co Lp テレビジョン表示エリアを最大にするデジタルカメラシステムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104897051A (zh) * 2014-03-03 2015-09-09 卡尔蔡司显微镜有限责任公司 用于对数码显微镜进行测量校准的校准板及其使用方法
CN104897051B (zh) * 2014-03-03 2019-01-11 卡尔蔡司显微镜有限责任公司 用于对数码显微镜进行测量校准的校准板及其使用方法
CN109541793A (zh) * 2018-11-30 2019-03-29 浙江未来技术研究院(嘉兴) 一种立体显微手术视频采集装置及其调试方法

Also Published As

Publication number Publication date
CN103037166B (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
US10574972B2 (en) Image processing device, image processing method, and imaging device
CN101588439B (zh) 一种多视差图偏色校正方法
CN102883176B (zh) 图像处理装置、图像处理方法
US9118904B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
CN102595182B (zh) 立体显示设备及其校正方法、装置和系统
JP5831024B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102263985B (zh) 一种立体投影设备的质量评价方法、装置及系统
RU2015113275A (ru) Система и способ регистрации света
CN103688536B (zh) 图像处理装置、图像处理方法
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
CN102164293A (zh) 图像处理装置、图像处理方法、图像处理程序和成像装置
CN101662590A (zh) 图像拾取装置和图像处理装置
CN102663732A (zh) 一种针对光场相机进行相对辐射定标的方法
CN101505433A (zh) 一种实拍实显多镜头数码立体系统
CN103115685B (zh) 一种红外多探测器组合探测装置及红外探测方法
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
WO2014000370A1 (zh) 景深保持装置、3d显示系统及显示方法
CN104185984A (zh) 图像处理装置、摄像装置及图像处理程序
CN102540693A (zh) 立体显示装置
CN103037166B (zh) 数字立体显微系统校准的方法、装置及数字立体显微系统
US10728524B2 (en) Imaging apparatus, imaging method, image generation apparatus, image generation method, and program
CN202276428U (zh) 一种立体投影设备的质量评价装置
CN103843319A (zh) 摄像元件及摄像装置
JP5982907B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2014030103A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
CB02 Change of applicant information

Address after: 528300, No. 107, building C, creative industry park, No. 41, Fengxiang Road, Shunde District, Guangdong, Foshan, Daliang

Applicant after: Guangdong Shengyang Information Technology Industry Co., Ltd.

Address before: 528300, No. 107, building C, creative industry park, No. 41, Fengxiang Road, Shunde District, Guangdong, Foshan, Daliang

Applicant before: Guangdong Shengyang Information Technology Industrial Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160330

Termination date: 20191227