CN109031642A - 一种通用的体视显微裸眼可视化的显示方法和系统装置 - Google Patents

一种通用的体视显微裸眼可视化的显示方法和系统装置 Download PDF

Info

Publication number
CN109031642A
CN109031642A CN201811074597.9A CN201811074597A CN109031642A CN 109031642 A CN109031642 A CN 109031642A CN 201811074597 A CN201811074597 A CN 201811074597A CN 109031642 A CN109031642 A CN 109031642A
Authority
CN
China
Prior art keywords
image
test image
stereomicroscope
test
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811074597.9A
Other languages
English (en)
Other versions
CN109031642B (zh
Inventor
丁锐杰
王树颖
陈学浩
李焜阳
范杭
梁伟棠
邓冬岩
王瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Meader Technology Co Ltd
Original Assignee
Guangzhou Meader Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Meader Technology Co Ltd filed Critical Guangzhou Meader Technology Co Ltd
Priority to CN201811074597.9A priority Critical patent/CN109031642B/zh
Publication of CN109031642A publication Critical patent/CN109031642A/zh
Application granted granted Critical
Publication of CN109031642B publication Critical patent/CN109031642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording

Abstract

本发明公开了一种通用的体视显微超高分辨裸眼可视化系统与方法。该系统装置包括:体视显微镜、摄像头以及裸眼3D显示器、校准模块和显示模块。所述通用的体视显微裸眼可视化方法包括图像采集步骤、图像旋转校准步骤、图像水平校准步骤、图像亮度校准步骤以及显示步骤。工作时,装置同时调用双目摄像头,进行体视显微镜双目显示图像数据的调取,对图像进行旋转、水平及亮度校准后,将合成3D图像并进行裸眼3D实时显示。本发明提供的一种通用的体视显微裸眼可视化系统与方法,适配一般双目观看体视显微镜,具有极高的通用性,旨在显示或记录被观测样品的清晰且真实3D画面的前提下提高体视显微镜操作的便捷性与观察的舒适性。

Description

一种通用的体视显微裸眼可视化的显示方法和系统装置
技术领域
本发明属于体视显微成像领域,更具体地,涉及一种体视显微裸眼可视化的显示方法和系统。
背景技术
体视显微镜,亦称实体显微镜或解剖镜,是基于双目视差原理。是指一种具有正像立体感的目视仪器,从不同角度观察物体,使双眼引起立体感觉的体视显微镜。双目镜筒中的左右两光束不是平行的,而是具有一定的夹角,因此当左右两光束通过目镜进入人眼,人眼即可看到具有视差的两幅图像,通过大脑的合成,人就能看到具有三维立体感的画面。
但是,体视显微镜存在局限性,如体视角固定,对于不同的观看者,需要重新调节体视显微镜;立体画面观看范围小,人眼位置需要多次调整才能找到最佳观看位置,对使用者的观看姿势要求较为严格;并且操作繁琐,特别是更换观察样品后必须重新调整人眼位置才能看到立体画面。另外,也不宜在长时间观看立体的动态物体。
目前,现有的体视显微显示系统,大部分通过单镜头成像并在显示屏幕上观看2D画面,无法看到立体图像,这无疑对体视显微镜功能的极大削弱,无法发挥体视显微镜的技术优势;有部分体视显微镜配备具有裸眼3D功能的显示系统,大多是适配特定型号的体视显微镜,其通用性差,无法移植到不同型号的体视显微镜上使用;另外,受限于裸眼3D显示器的性能,如分辨率低、亮度不足等,裸眼3D显示系统对被观测样品真实还原方面有所欠缺。这些方面极大地限制了体视显微裸眼3D显示的普及。
发明内容
本发明的目的在于提供一种通用的体视显微裸眼可视化的显示方法和系统装置,适用于一般双目观看体视显微镜,旨在提高体视显微镜使用的便捷性与观察的舒适性。
为此,本发明提供了一种通用的体视显微超高分辨裸眼可视化系统装置,包括:
体视显微镜,设有均匀照明的光源,物体表面无过曝区域;
摄像头,沿所述体视显微镜的目镜的光轴转动地连接所述体视显微镜的双目目镜,使得所述摄像头可沿所述体视显微镜的目镜的光轴调整所述摄像头的镜头与所述目镜的间距以调整所述摄像头的镜头位置至所述体视显微镜的像点处来采集图像,摄像头还设有旋转装置,可绕体视显微镜目镜光轴旋转;
裸眼3D显示器;
校准模块,包括图像旋转校准模块、图像水平校准模块和图像亮度校准模块,所述图像旋转校准模块包括:
第一图像获取模块,用于通过所述摄像头获取体视显微镜的第一测试图像和第二测试图像,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识;
第一图像显示模块,用于通过所述裸眼3D显示器显示所述第一测试图像和第二测试图像;
旋转模块,用于旋转所述摄像头直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头的两个摄像头拍摄的画面相互平行;
所述图像水平校准模块包括:
第二图像获取模块,用于通过摄像头获取体视显微镜的第三测试图像和第四测试图像所述第三测试图像和第四测试图像中显示的体视显微镜的视野区域为圆形,椭圆或类圆形画面或截取圆形画面的部分;
第二图像显示模块,用于通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像,并合成所述第三测试图像和第四测试图像并通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像合成的裸眼3D图像;
调节模块,检测所述第三测试图像和第四测试图像中的体视显微镜的视野区域,确定所述视野区域圆心位置及半径或长轴半径,将第三测试图像和第四测试图像中的体视显微镜的视野区域的圆心贴合到所述第三测试图像和第四测试图像合成的裸眼3D图像的左右图各自的中心对准并根据半径或长轴半径进行图像整体放缩使得视野区域大小一致;
所述图像亮度校准模块用于根据所述第三测试图像和第四测试图像中所述视野区域的平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜的视野区域亮度一致;所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿;
显示模块,利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入一D3D图像对应缓冲层,并在该第一图像和第二图像的数据的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入所述D3D图像对应缓冲层对应的渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,所述裸眼3D显示器的显卡驱动程序将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,所述裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时可视化。
优选地,当调节所述体视显微镜的目镜的放大倍数或更换所述目镜时,重新调节所述摄像头的镜头位置至所述体视显微镜的像点处,所述摄像头可设有放大倍率的镜头,所述摄像头采集的图像的分辨率大于或等于1920*1080。
优选地,所述裸眼3D显示器的分辨率大于或等于1920*1080。
优选地,所述体视显微镜为双目观看式显微镜,包括倒置显微镜及正置显微镜,所述光源包括上下光源、侧边光源。
优选地,所述第三测试图像和第四测试图像中的体视显微镜的视野区域的自动检测用多组直线交接于所述轮廓的对应多组点进行细化确认,或通过OpenCV的最小二乘拟合进行细化确认,排除噪点,降低误差,从而确定所述视野区域圆心位置及半径或长轴半径。
优选地,所述第一测试图像、第二测试图像、所述第三测试图像、第四测试图像、第一图像和第二图像的图像分辨率至少为1920*1080。
一种通用的体视显微裸眼可视化的显示方法,包括:
图像采集步骤:同时调用双目摄像头,进行体视显微镜双目显示图像数据的调取;
图像旋转校准步骤:用于通过所述摄像头获取体视显微镜的第一测试图像和第二测试图像时,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识;然后,通过所述裸眼3D显示器显示所述第一测试图像和第二测试图像,以及,旋转所述摄像头直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头的两个摄像头拍摄的画面相互平行;
图像水平校准步骤:通过摄像头获取体视显微镜的第三测试图像和第四测试图像,所述第三测试图像和第四测试图像中显示的体视显微镜的视野区域为圆形,椭圆或类圆形画面或截取圆形画面的部分,通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像,利用图像处理方法自动检测所述第三测试图像和第四测试图像中的体视显微镜的视野区域,确定所述视野区域圆心位置及半径或长轴半径,将第三测试图像和第四测试图像中的体视显微镜的视野区域的圆心贴合到所述第三测试图像和第四测试图像合成的裸眼3D图像的左右图各自的中心对准并根据半径进行图像整体放缩使得视野区域大小一致,然后合成所述第三测试图像和第四测试图像并通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像合成的裸眼3D图像;
图像亮度校准步骤:根据所述第三测试图像和第四测试图像中的体视显微镜的视野区域平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜的视野区域亮度一致,所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿;
显示步骤:利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入D3D图像对应缓冲层,并在该第一图像和第二图像的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入D3D特定渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,Nivdia显卡驱动将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时可视化。
优选地,若所述第三测试图像和第四测试图像中的体视显微镜视野区域未显示为所述圆形,椭圆或类圆形画面或截取圆形画面的部分,分别将两个相同的孔径光阑置于体视显微镜目镜的光路中以使所获取的图像具有所述圆形,椭圆或类圆形画面或截取圆形画面的部分的视野区域,从而完成图像水平校准。
与现有技术相比,本发明提供的一种通用的体视显微裸眼可视化的显示方法和系统装置可以方便地通过第一测试图像和第二测试图像中的第一标识和第二标识来转动摄像头使得摄像头拍摄的画面相互平行,通过裸眼3D显示器投射出良好清晰的图像。本发明提供的体视显微裸眼可视化的显示方法和系统可以很好兼容一般双目观看体视显微镜,具有极高的通用性。使用者在使用体视显微镜时,只需先调节体视显微镜至清晰成像,无需反复调整人眼位置来观察,而只需在裸眼3D显示器上直接观看,对使用者的观看姿势无严格要求,简化了操作的流程,极大地提高了操作的简便性与观察的舒适性。
进一步,本发明提供的通用的体视显微裸眼可视化的显示方法和系统装置具备视频的记录储存功能,使得体视显微镜的功能不仅仅限于观察。对于一些动态过程,特别是人眼较难捕捉的动态过程,摄像头可以捕捉,以3D立体影像的形式记录,可用于反复观看分析。
而且,本发明提供的通用的体视显微裸眼可视化的显示方法和系统装置可通过超高分辨图像的采集、处理及显示保证了可以显示或记录被观测样品的真实3D画面,画面具备被观测样品在所放大倍数下的所有细节。
附图说明
图1显示了通用的体视显微裸眼可视化系统装置的结构示意图;
图2显示图1的可视化系统装置的摄像头和体视显微镜的结构示意图;
图3显示图1的可视化系统装置置的光路示意图;
图4a显示图1的可视化系统装置的图像水平校准模块中所采集的第三测试图像和第四测试图像示意图;
图4b显示图1的可视化系统装置的图像水平校准模块中第三测试图像和第四测试图像合成的裸眼3D图像;
图5显示了通用的体视显微裸眼可视化的显示方法的流程图;
图中:
11:体视显微镜;12:摄像头;13:裸眼3D显示器;14:校准模块;141:图像旋转校准模块;142:图像水平校准模块;143:图像亮度校准模块;15:显示模块;
1421:第三测试图像;1422:第四测试图像;1423:体视显微镜视野区域;1424:视野区域圆心及左第二图像各自的中心;
111:光源;112:目镜;
121:摄像头;122:平移调整装置;123:选择调整装置;124:光轴;
21:物镜组;22:棱镜组;23:目镜组;24:体视显微镜像点。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。
在本发明的各实施例中,为了便于描述而非限制本发明,本发明专利申请说明书以及权利要求书中使用的术语"连接"并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。"上"、"下"、"左"、"右"等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也相应地改变。
实施例1
图1显示了通用的体视显微裸眼可视化系统装置的结构示意图。如图1所示,体视显微裸眼可视化的显示系统包括:体视显微镜11、摄像头12、裸眼3D显示器13、校准模块14和显示模块15。
该体视显微镜11可以是一般双目观看体视显微镜,包括倒置显微镜及正置显微镜。体视显微镜11装配有均匀照明的光源111,物体表面无过曝区域。所述体视显微镜的均匀照明光源111包括上下光源、侧边光源。
该摄像头12具有与所述体视显微镜11对应的双目摄像头121,所述双目摄像头121转动地连接于所述体视显微镜11,可设有放大倍率的镜头,用于采集所述体视显微镜11的图像。如图1所示,摄像头12的两个摄像头121安装在体视显微镜11的双目目镜112上,形成双目摄像头121。
图2显示图1的可视化系统装置的摄像头和体视显微镜的结构示意图。如图2所示,所述摄像头121可调,设置有旋转装置123,可使摄像头121绕体视显微镜目镜光轴124旋转,所述可调摄像头121设置有平移调整装置122,摄像头121可以沿光轴124调整镜头与显微镜目镜112的间距。使用时,沿所述体视显微镜11的目镜的光轴移动地连接所述体视显微镜11的双目目镜,使得所述摄像头12可沿所述体视显微镜11的目镜的光轴调整所述摄像头12的镜头与所述目镜的间距以调整所述摄像头12的镜头位置至所述体视显微镜11的像点处来采集图像。
图3显示图1的可视化系统装置置的光路示意图。如图3所示,两束具有夹角的光束依次经过物镜组21、棱镜租22到达目镜组23,并在目镜组光轴上聚焦,该聚焦点即为体视显微镜像点24;当摄像头121采集图像时,摄像头121的镜头位置需调整至体视显微镜像点24处;当目镜112更换或调整目镜112放大倍数后,摄像头121的镜头位置需重新调整至体视显微镜像点24处。所述可调摄像头12可配备不同放大倍率的镜头,所述摄像头121采集的图像的分辨率为超高分辨率,分辨率至少为1920*1080。
所述校准模块14和显示模块15可配置在一计算机装置上,可以是裸眼3D显示器13的计算机装置上,也可以是其他的计算机装置。裸眼3D显示器13用于显示所述摄像头12获取的图像以及合成所述摄像头12的图像并显示合成的裸眼3D图像。本实施方式中,裸眼3D显示器13包括所有双目显示式的裸眼3D显示器13,显示的分辨率至少为1920*1080,可实时融合并显示3D图像。
校准模块14包括图像旋转模块141、图像水平校准模块142和图像亮度校准模块143。所述图像旋转校准模块141包括第一图像获取模块、第一图像显示模块和旋转模块。第一图像获取模块用于通过所述摄像头12获取体视显微镜11的第一测试图像和第二测试图像时,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识。第一图像显示模块用于通过所述裸眼3D显示器13显示所述第一测试图像和第二测试图像。旋转模块用于旋转所述摄像头12直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头12的两个摄像头121拍摄的画面相互平行。
所述图像水平校准模块142包括第二图像获取模块、第二图像显示模块和调节模块。第二图像获取模块用于通过摄像头12获取体视显微镜11的第三测试图像和第四测试图像。如图4a和图4b所示,所述第三测试图像1421和第四测试图像1422中显示的体视显微镜的视野区域1423一般为圆形,椭圆或类圆形画面或截取圆形画面的部分。利用图像处理方法自动检测所述第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域1423,确定所述视野区域圆心位置及半径或长轴半径,将第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域的圆心贴合到所述第三测试图像和第四测试图像合成的裸眼3D图像的左右图各自的中心1424对准并根据半径进行图像整体放缩使得视野区域大小一致。然后合成所述第三测试图像1421和第四测试图像1422并通过所述裸眼3D显示器显示所述第三测试图像1421和第四测试图像1422合成的裸眼3D图像。
优选地,所述第三测试图像和第四测试图像中的体视显微镜的视野区域的自动检测包括用多组直线交接于所述轮廓的对应多组点进行细化确认,或通过OpenCV的最小二乘拟合进行细化确认,排除噪点,降低误差,从而确定所述视野区域圆心位置及半径或长轴半径。
优选地,若所述第三测试图像和第四测试图像中的体视显微镜视野区域未显示为所述圆形,椭圆或类圆形画面或截取圆形画面的部分,可分别将两个相同的孔径光阑置于体视显微镜目镜的光路中以使所获取的图像具有所述圆形,椭圆或类圆形画面或截取圆形画面的部分的视野区域,从而完成图像水平校准。
图像亮度校准模块143用于根据所述第三测试图像和第四测试图像中的体视显微镜的视野区域的平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜中的视野区域亮度一致,所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿。
显示模块15用于使用所述摄像头通过所述体视显微镜获取第一图像(即左图像)和第二图像(即右图像)后,通过裸眼3D显示器显示所述第一图像和第二图像合成的裸眼3D图像。本实施方式中,所述显示模块15利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入一D3D图像对应缓冲层,并在该第一图像和第二图像的数据的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入所述D3D图像对应缓冲层对应的渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,所述裸眼3D显示器的显卡驱动程序将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,所述裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时可视化。
本实施方式中,所述第一测试图像、第二测试图像、所述第三测试图像、第四测试图像、第一图像和第二图像的图像分辨率至少为1920*1080。
实施例2
图5显示了通用的体视显微裸眼可视化的显示方法的流程图。如图5所示,体视显微裸眼可视化的显示方法包括步骤S501~S505。
步骤S501(图像采集步骤):同时调用双目摄像头,进行体视显微镜双目显示图像数据的调取。其中,显示图像数据包括第一测试图像、第二测试图像、第三测试图像、第四测试图像以及第一图像和第二图像。
步骤S502(图像旋转校准步骤):摄像头12获取体视显微镜11的第一测试图像和第二测试图像,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识。所述摄像头12的两个摄像头121分别位于所述体视显微镜的两个镜头组的聚焦点处获取所述第一测试图像和第二测试图像。摄像头12获取第一测试图像和第二测试图像后,将图像数据转换为操作性便捷的图像。
本实施例中,所述操作性便捷的图像为OpenCV图像。具体的,可以将标准图样置于载物台,检测标准图样进行辅助,将摄像头12拍摄角度调整至画面平行。本实施例中,将可覆盖图像范围的“井”字或类似标识置于载物台。所述第一标识和第二标识为“井”字。然后,将所述第一测试图像和第二测试图像显示于显示器,优选将所述第一测试图像和第二测试图像叠加显示于显示器上。接着,旋转所述摄像头12直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头12的双目摄像头121拍摄的画面相互平行。具体的,旋转摄像头12,使所述第一测试图像和第二测试图像的“井”字平行,则认为摄像头121画面达到平行。
步骤S503(图像水平校准步骤):如图4a所示,获取通过摄像头12获取的体视显微镜11的第三测试图像1421和第四测试图像1422,所述第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域1423为圆形或者椭圆形。摄像头12获取第三测试图像1421和第四测试图像1422后,将图像数据转换为操作性便捷的图像。本实施例中,所述操作性便捷的图像为OpenCV图像。本步骤中,可以将白纸置于载物台,第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域1423为白色。
然后,获取所述第三测试图像1421中的体视显微镜的视野区域1423的圆心位置及半径或长轴半径,以及获取所述第四测试图像1422中的体视显微镜的视野区域1423的圆心位置及半径或长轴半径。本步骤中,分别检测所述第三测试图像1421和第四测试图像1422的体视显微镜的视野区域1423的轮廓,根据所述视野区域1423的轮廓获取所述视野区域的圆心及半径或长轴半径,以及根据所述视野区域1423的轮廓获取所述视野区域的圆心及半径或长轴半径,以检测摄像头12所拍摄图像中的显微画面范围。
具体的,本实施方式中,所述第三测试图像1421和第四测试图像1422中显示的体视显微镜的视野区域1423为圆形,椭圆或类圆形画面。利用图像处理方法自动检测所述第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域1423,确定所述视野区域圆心位置及半径或长轴半径。
优选地,所述第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域1423的自动检测包括用多组直线交接于所述轮廓的对应多组点进行细化确认,或通过OpenCV的最小二乘拟合进行细化确认,排除噪点,降低误差,从而确定所述轮廓圆心位置1424及半径或长轴半径。
接着,根据所述第三测试图像1421中的体视显微镜的视野区域1423的半径或长轴半径缩放所述第三测试图像1421,以及根据所述第四测试图像1422中的体视显微镜的视野区域1423的半径或长轴半径缩放所述第四测试图像1422,使得所述第三测试图像1421和第四测试图像1422的所述视野区域1423大小一致。具体的,如图4b所示,将第三测试图像1421和第四测试图像1422中的体视显微镜的视野区域的圆心贴合到所述第三测试图像1421和第四测试图像1422合成的裸眼3D图像的左右图各自的中心1424对准并根据半径进行图像整体放缩使得视野区域大小一致。然后合成所述第三测试图像1421和第四测试图像1422并通过所述裸眼3D显示器显示所述第三测试图像1421和第四测试图像1422合成的裸眼3D图像。若所述第三测试图像1421和第四测试图像1422中的体视显微镜视野区域1423未显示为所述圆形,椭圆或类圆形画面或截取圆形画面的部分,可分别将两个相同的孔径光阑置于体视显微镜目镜的光路中以使所获取的图像具有所述圆形,椭圆或类圆形画面或截取圆形画面的部分的视野区域,从而完成图像水平校准。
步骤S504(图像亮度校准步骤):根据所述第三测试图像和第四测试图像中的体视显微镜的视野区域的平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜的视野区域亮度一致,所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿。本实施方式中,将白纸置于载物台,检测第三测试图像和第四测试图像的平均亮度,调整亮度补偿量使亮度一致。
步骤S505(显示步骤):重新获取所述体视显微镜11的第一图像和第二图像,并通过裸眼3D显示器13显示所述第一图像和第二图像合成的裸眼3D图像。所述摄像头12的两个摄像头121分别位于所述体视显微镜11的两个镜头组的聚焦点处获取所述第一图像和第二图像。
具体的,利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入D3D图像对应缓冲层,并在该第一图像和第二图像的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入D3D特定渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,Nivdia显卡驱动将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像图的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时实时可视化。
另外,渲染后的图像可以成3D立体影像的形式储存而不显示。所述图像显示中,图像输出到显示器时,可根据个人的观看舒适度调节左右图的视差,以达到最佳的观看效果。所述系统及方法可以显示或记录体视显微镜所有倍数放大的画面。作为优选,所述图像采集、图像水平校准、图像旋转校准、图像亮度校准及图像显示中的图像均为超高分辨图像,所述图像分辨率至少为1920*1080。
本实施方式提供的体视显微裸眼可视化的显示系统与方法能很好兼容一般双目观看体视显微镜,具有极高的通用性。使用者在使用体视显微镜时,只需先调节体视显微镜至清晰成像,无需反复调整人眼位置来观察,而只需要在裸眼3D显示设备上直接观看,对使用者的观看姿势无严格要求,简化了操作的流程,极大地提高了操作的简便性与观察的舒适性。
另外,该系统具备视频的记录储存功能,因此,体视显微镜的功能不仅仅限于观察(观看)。对于一些动态过程,特别是人眼较难捕捉的动态过程,摄像头121可以捕捉,系统以3D立体影像的形式记录,可用于反复观看分析,这也是体视显微镜的一种功能性的增强。超高分辨图像的采集、处理及显示保证了可以显示或记录被观测样品的真实清晰的3D画面,画面具备被观测样品在所放大倍数下的所有细节。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,故凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (8)

1.一种通用的体视显微超高分辨裸眼可视化系统装置,其特征在于,包括:
体视显微镜,设有均匀照明的光源,物体表面无过曝区域;
摄像头,沿所述体视显微镜的目镜的光轴转动地连接所述体视显微镜的双目目镜,使得所述摄像头可沿所述体视显微镜的目镜的光轴调整所述摄像头的镜头与所述目镜的间距以调整所述摄像头的镜头位置至所述体视显微镜的像点处来采集图像,摄像头还设有旋转装置,可绕体视显微镜目镜光轴旋转;
裸眼3D显示器;
校准模块,包括图像旋转校准模块、图像水平校准模块和图像亮度校准模块,所述图像旋转校准模块包括:
第一图像获取模块,用于通过所述摄像头获取体视显微镜的第一测试图像和第二测试图像,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识;
第一图像显示模块,用于通过所述裸眼3D显示器显示所述第一测试图像和第二测试图像;
旋转模块,用于旋转所述摄像头直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头的两个摄像头拍摄的画面相互平行;
所述图像水平校准模块包括:
第二图像获取模块,用于通过摄像头获取体视显微镜的第三测试图像和第四测试图像所述第三测试图像和第四测试图像中显示的体视显微镜的视野区域为圆形,椭圆或类圆形画面或截取圆形画面的部分;
第二图像显示模块,用于通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像,并合成所述第三测试图像和第四测试图像并通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像合成的裸眼3D图像;
调节模块,检测所述第三测试图像和第四测试图像中的体视显微镜的视野区域,确定所述视野区域圆心位置及半径或长轴半径,将第三测试图像和第四测试图像中的体视显微镜的视野区域的圆心贴合到所述第三测试图像和第四测试图像合成的裸眼3D图像的左右图各自的中心对准并根据半径或长轴半径进行图像整体放缩使得视野区域大小一致;
所述图像亮度校准模块用于根据所述第三测试图像和第四测试图像中所述视野区域的平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜的视野区域亮度一致;所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿;
显示模块,利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入一D3D图像对应缓冲层,并在该第一图像和第二图像的数据的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入所述D3D图像对应缓冲层对应的渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,所述裸眼3D显示器的显卡驱动程序将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,所述裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时可视化。
2.如权利要求1所述的通用的体视显微超高分辨裸眼可视化系统装置,其特征在于:当调节所述体视显微镜的目镜的放大倍数或更换所述目镜时,重新调节所述摄像头的镜头位置至所述体视显微镜的像点处,所述摄像头可设有放大倍率的镜头,所述摄像头采集的图像的分辨率大于或等于1920*1080。
3.如权利要求2所述的通用的体视显微超高分辨裸眼可视化系统装置,其特征在于:所述裸眼3D显示器的分辨率大于或等于1920*1080。
4.如权利要求3所述的通用的体视显微超高分辨裸眼可视化系统装置,其特征在于:所述体视显微镜为双目观看式显微镜,包括倒置显微镜及正置显微镜,所述光源包括上下光源、侧边光源。
5.如权利要求1所述的通用的体视显微超高分辨裸眼可视化系统装置,其特征在于:所述第三测试图像和第四测试图像中的体视显微镜的视野区域的自动检测用多组直线交接于所述轮廓的对应多组点进行细化确认,或通过OpenCV的最小二乘拟合进行细化确认,排除噪点,降低误差,从而确定所述视野区域圆心位置及半径或长轴半径。
6.如权利要求5所述的通用的体视显微超高分辨裸眼可视化系统装置,其特征在于:所述第一测试图像、第二测试图像、所述第三测试图像、第四测试图像、第一图像和第二图像的图像分辨率至少为1920*1080。
7.一种通用的体视显微裸眼可视化的显示方法,其特征在于,包括:
图像采集步骤:同时调用双目摄像头,进行体视显微镜双目显示图像数据的调取;
图像旋转校准步骤:用于通过所述摄像头获取体视显微镜的第一测试图像和第二测试图像时,其中,所述第一测试图像包括沿一测试方向延伸的第一标识,所述第二测试图像包含沿所述测试方向延伸的第二标识;然后,通过所述裸眼3D显示器显示所述第一测试图像和第二测试图像,以及,旋转所述摄像头直至所述第一测试图像的第一标识与所述第二测试图像的第二标识平行使得所述摄像头的两个摄像头拍摄的画面相互平行;
图像水平校准步骤:通过摄像头获取体视显微镜的第三测试图像和第四测试图像,所述第三测试图像和第四测试图像中显示的体视显微镜的视野区域为圆形,椭圆或类圆形画面或截取圆形画面的部分,通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像,利用图像处理方法自动检测所述第三测试图像和第四测试图像中的体视显微镜的视野区域,确定所述视野区域圆心位置及半径或长轴半径,将第三测试图像和第四测试图像中的体视显微镜的视野区域的圆心贴合到所述第三测试图像和第四测试图像合成的裸眼3D图像的左右图各自的中心对准并根据半径进行图像整体放缩使得视野区域大小一致,然后合成所述第三测试图像和第四测试图像并通过所述裸眼3D显示器显示所述第三测试图像和第四测试图像合成的裸眼3D图像;
图像亮度校准步骤:根据所述第三测试图像和第四测试图像中的体视显微镜的视野区域平均亮度,调节亮度补偿,使得所述第三测试图像和第四测试图像中的体视显微镜的视野区域亮度一致,所述调节亮度补偿包括调节所述摄像头的亮度补偿量或通过图像处理进行亮度补偿;
显示步骤:利用所述裸眼3D显示器通过DirectX创建设备对象并进行参数设定,将所述摄像头获取的第一图像和第二图像写入D3D图像对应缓冲层,并在该第一图像和第二图像的最后一行加入Nivdia 3D Vision可识别的特定图像标记,写入D3D特定渲染缓冲接口,然后,开启D3D渲染,通过渲染函数启用缓冲层,Nivdia显卡驱动将缓冲中特定标记进行读取并调用3D效果,图像编排进DVI,以第一图像和第二图像的方式实现帧序列输出,每一帧图像包含了第一图像和第二图像,并且读取与输出同步进行,裸眼3D显示器拆开所述第一图像和第二图像,并将所述第一图像送入左眼,将第二图像送入右眼,以实现体视显微的立体实时可视化。
8.如权利要求7所述的一种通用的体视显微裸眼可视化的显示方法,其特征在于:若所述第三测试图像和第四测试图像中的体视显微镜视野区域未显示为所述圆形,椭圆或类圆形画面或截取圆形画面的部分,分别将两个相同的孔径光阑置于体视显微镜目镜的光路中以使所获取的图像具有所述圆形,椭圆或类圆形画面或截取圆形画面的部分的视野区域,从而完成图像水平校准。
CN201811074597.9A 2018-09-14 2018-09-14 一种通用的体视显微裸眼可视化的显示方法和系统装置 Active CN109031642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811074597.9A CN109031642B (zh) 2018-09-14 2018-09-14 一种通用的体视显微裸眼可视化的显示方法和系统装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811074597.9A CN109031642B (zh) 2018-09-14 2018-09-14 一种通用的体视显微裸眼可视化的显示方法和系统装置

Publications (2)

Publication Number Publication Date
CN109031642A true CN109031642A (zh) 2018-12-18
CN109031642B CN109031642B (zh) 2020-08-14

Family

ID=64622311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811074597.9A Active CN109031642B (zh) 2018-09-14 2018-09-14 一种通用的体视显微裸眼可视化的显示方法和系统装置

Country Status (1)

Country Link
CN (1) CN109031642B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687669A (zh) * 2019-11-13 2020-01-14 深圳市新致维科技有限公司 一种基于体式显微镜的跟踪式裸眼3d显示系统及方法
CN111103679A (zh) * 2019-12-03 2020-05-05 苏州福尼亚医疗科技有限公司 显微镜外置双路同步平行光3d图像实时采集装置、系统
CN111612731A (zh) * 2020-04-01 2020-09-01 中国科学院上海微系统与信息技术研究所 基于双目显微视觉的测量方法、装置、系统及介质
CN112911264A (zh) * 2021-01-27 2021-06-04 广东未来科技有限公司 3d拍摄方法、装置、存储介质及移动终端
CN113315962A (zh) * 2021-04-27 2021-08-27 北京工业大学 3d显微实时虚拟观测与交互系统
CN116699819A (zh) * 2023-08-04 2023-09-05 杭州安劼医学科技有限公司 3d外科手术显微镜光学系统及3d影像呈现方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271532A (ja) * 1997-03-25 1998-10-09 Sanyo Electric Co Ltd 実体顕微鏡立体視システム
US20070047073A1 (en) * 2005-08-26 2007-03-01 Leica Microsystems(Schweiz) Ag Stereomicroscope
KR20090012903A (ko) * 2007-07-31 2009-02-04 (주)레드로버 입체영상 획득장치 및 입체영상 획득장치를 구비한입체현미경
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
JP2012042524A (ja) * 2010-08-13 2012-03-01 Nikon Corp 画像処理装置および方法
CN102495463A (zh) * 2011-12-23 2012-06-13 苏州康捷医疗股份有限公司 一种可视三维立体成像方法及利用此方法的手术显微镜
CN203688903U (zh) * 2014-01-27 2014-07-02 苏州飞时曼精密仪器有限公司 裸眼3d立体显微镜
CN106886087A (zh) * 2015-11-24 2017-06-23 三鹰光器株式会社 手术用立体观察装置
CN107817600A (zh) * 2017-11-07 2018-03-20 苏州西默医疗科技有限公司 一种模块化免目镜裸眼3d显示镜筒

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271532A (ja) * 1997-03-25 1998-10-09 Sanyo Electric Co Ltd 実体顕微鏡立体視システム
US20070047073A1 (en) * 2005-08-26 2007-03-01 Leica Microsystems(Schweiz) Ag Stereomicroscope
KR20090012903A (ko) * 2007-07-31 2009-02-04 (주)레드로버 입체영상 획득장치 및 입체영상 획득장치를 구비한입체현미경
JP2012042524A (ja) * 2010-08-13 2012-03-01 Nikon Corp 画像処理装置および方法
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
CN102495463A (zh) * 2011-12-23 2012-06-13 苏州康捷医疗股份有限公司 一种可视三维立体成像方法及利用此方法的手术显微镜
CN203688903U (zh) * 2014-01-27 2014-07-02 苏州飞时曼精密仪器有限公司 裸眼3d立体显微镜
CN106886087A (zh) * 2015-11-24 2017-06-23 三鹰光器株式会社 手术用立体观察装置
CN107817600A (zh) * 2017-11-07 2018-03-20 苏州西默医疗科技有限公司 一种模块化免目镜裸眼3d显示镜筒

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687669A (zh) * 2019-11-13 2020-01-14 深圳市新致维科技有限公司 一种基于体式显微镜的跟踪式裸眼3d显示系统及方法
CN111103679A (zh) * 2019-12-03 2020-05-05 苏州福尼亚医疗科技有限公司 显微镜外置双路同步平行光3d图像实时采集装置、系统
CN111612731A (zh) * 2020-04-01 2020-09-01 中国科学院上海微系统与信息技术研究所 基于双目显微视觉的测量方法、装置、系统及介质
CN112911264A (zh) * 2021-01-27 2021-06-04 广东未来科技有限公司 3d拍摄方法、装置、存储介质及移动终端
CN113315962A (zh) * 2021-04-27 2021-08-27 北京工业大学 3d显微实时虚拟观测与交互系统
CN113315962B (zh) * 2021-04-27 2022-10-28 北京工业大学 3d显微实时虚拟观测与交互系统
CN116699819A (zh) * 2023-08-04 2023-09-05 杭州安劼医学科技有限公司 3d外科手术显微镜光学系统及3d影像呈现方法
CN116699819B (zh) * 2023-08-04 2023-11-17 杭州安劼医学科技有限公司 3d外科手术显微镜光学系统及3d影像呈现方法

Also Published As

Publication number Publication date
CN109031642B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN109031642A (zh) 一种通用的体视显微裸眼可视化的显示方法和系统装置
US3818125A (en) Stereo television microscope
CN103179896B (zh) 具有数字图像输出的眼睛检查设备
WO2018200309A2 (en) Stereoscopic visualization camera and platform
CN110431465B (zh) 用于拍摄和呈现样品的三维图像的显微镜装置
US20210169320A1 (en) Surgical applications with integrated visualization camera and optical coherence tomography
US10607389B2 (en) Microscopic imaging system and method with three-dimensional refractive index tomography
WO2007097539A1 (en) 3-dimensional moving image photographing device for photographing neighboring object
CN104965302A (zh) 增强现实显微镜
KR20100001924A (ko) 양안식 입체영상 카메라 장치 및 그 카메라 장착 장치
JP2012073434A (ja) 立体視ディスプレイの調整方法およびそれに用いられる調整装置、並びに、立体視画像表示方法およびそれに用いられる表示装置
CN103744172A (zh) 一种具备空间光调制照明的共聚焦显微成像方法
CN106338819A (zh) 一种数码取景全视场ar多媒体望远镜
CN110074754A (zh) 检查眼睛的装置
US11340441B2 (en) Microscope made with CMOS camera(s)
CN204855930U (zh) 增强现实显微镜
CN108459408A (zh) 一种智能混合现实望远镜
JP2018063309A (ja) 顕微鏡装置
CN213302657U (zh) 一种数字化体视显微系统
Izmantoko et al. Implementation of anaglyph method for stereo microscope image display
Shen et al. Novel microscope-integrated stereoscopic display for intrasurgical optical coherence tomography
JP4300601B2 (ja) 双眼顕微鏡と双眼顕微鏡による撮像方法
CN220236851U (zh) 一种内置3d成像装置的光学阴道镜
JP2013047875A (ja) 立体感提示装置および方法ならびにぼけ画像生成処理装置,方法およびプログラム
US11504001B2 (en) Surgery 3D visualization apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant