CN114782498B - 显微相机位置调节方法、设备、装置和存储介质 - Google Patents

显微相机位置调节方法、设备、装置和存储介质 Download PDF

Info

Publication number
CN114782498B
CN114782498B CN202210708945.3A CN202210708945A CN114782498B CN 114782498 B CN114782498 B CN 114782498B CN 202210708945 A CN202210708945 A CN 202210708945A CN 114782498 B CN114782498 B CN 114782498B
Authority
CN
China
Prior art keywords
conventional camera
camera
motion platform
coordinate system
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210708945.3A
Other languages
English (en)
Other versions
CN114782498A (zh
Inventor
秦方博
余山
徐德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210708945.3A priority Critical patent/CN114782498B/zh
Publication of CN114782498A publication Critical patent/CN114782498A/zh
Application granted granted Critical
Publication of CN114782498B publication Critical patent/CN114782498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提供一种显微相机位置调节方法、设备、装置和存储介质，属于机器视觉技术领域，该方法包括：在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；基于目标调节量对运动平台和显微相机进行位置调节。本发明的方法高效地实现了显微相机的调节。

Description

显微相机位置调节方法、设备、装置和存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种显微相机位置调节方法、设备、装置和存储介质。
背景技术
显微相机被广泛应用于对微小目标的成像观测，具有放大倍率高、分辨率高等优点。
由于显微相机视野狭窄且景深较小，当微小目标的位置不确定或在较大范围内运动时，需要对显微相机的位置进行多次调节，才能将微小目标移动到显微相机的视野范围内，效率较低。
发明内容
针对现有技术中的问题，本发明提供一种显微相机位置调节方法、设备、装置和存储介质。
具体地，本发明提供了以下技术方案：
第一方面，本发明提供了一种显微相机位置调节方法，包括：
在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；所述第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
基于所述目标调节量对所述运动平台和显微相机进行位置调节。
进一步地，确定所述第一相对位置，包括：
根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及所述第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量；所述第一位置为标定物位于显微相机的视野中心时运动平台的绝对位置；所述第二常规相机坐标系是在所述运动平台处于第一位置的情况下建立的；所述第三常规相机坐标系是在所述运动平台处于第二位置的情况下建立的；
根据第二常规相机坐标系与第三常规相机坐标系之间的第二旋转矩阵、第一平移向量和常规相机的内参数，确定标定物在第二常规相机坐标系中的三维位置，将所述三维位置确定为所述第一相对位置。
进一步地，所述根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及所述第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量，包括：
利用如下公式确定第一平移向量：
tc=RCM -1(P2c-P1c)；
其中，tc表示第一平移向量，RCM表示第一旋转矩阵，P1c表示运动平台的第一位置，P2c表示运动平台的第二位置。
进一步地，确定所述第二相对位置，包括：
根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及所述第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量；所述第三位置为微小目标位于常规相机的视野范围时运动平台的绝对位置；所述第四常规相机坐标系是在所述运动平台处于第三位置的情况下建立的；所述第五常规相机坐标系是在所述运动平台处于第四位置的情况下建立的；
根据第四常规相机坐标系与第五常规相机坐标系之间的第三旋转矩阵、第二平移向量和常规相机的内参数，确定微小目标在第四常规相机坐标系中的三维位置，将所述三维位置确定为所述第二相对位置。
进一步地，所述根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量，包括：
利用如下公式确定第二平移向量：
t=RCM -1(P2- P1)；
其中，t表示第二平移向量，RCM表示第一旋转矩阵，P1表示运动平台的第三位置P1，P2表示运动平台的第四位置。
进一步地，所述位置信息包括：运动平台的第一位置、运动平台的第四位置；所述根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量，包括：
利用如下公式确定目标调节量：
D=RCM(PO- PT)+P1c- P2；
其中，D表示目标调节量，RCM表示第一旋转矩阵，PO表示第一相对位置，PT表示第二相对位置，P1c表示运动平台的第一位置；P2表示运动平台的第四位置。
进一步地，所述基于所述目标调节量对所述运动平台和显微相机进行位置调节之后，还包括：
根据微小目标在显微相机视野内的成像清晰度，对显微相机的位置再次进行调节。
第二方面，本发明还提供了一种显微相机位置调节装置，包括：
第一确定模块，用于在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
第二确定模块，用于根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；所述第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
调节模块，用于基于所述目标调节量对所述运动平台和显微相机进行位置调节。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述显微相机位置调节方法。
第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述显微相机位置调节方法。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述显微相机位置调节方法。
本发明提供的显微相机位置调节方法、设备、装置和存储介质，在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，基于常规相机的视野范围显著大于显微相机的视野范围的特点，在常规相机观测到微小目标相关的视觉特征点的基础上，可以基于显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置及运动平台的位置信息，确定运动平台的目标调节量，进一步地，基于目标调节量对运动平台和显微相机进行位置调节，使得显微相机可以准确、快速地对微小目标进行观测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的显微相机位置调节方法的流程示意图；
图2是本发明提供的显微相机和常规相机的视野中心点重合的示意图；
图3是本发明提供的微小目标位于常规相机视野的示意图；
图4是本发明提供的微小目标与常规相机发生相对位移的示意图；
图5是本发明提供的微小目标进入显微相机视野的示意图；
图6是本发明提供的显微相机位置调节装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的方法可以应用于显微相机调节的场景中，高效地实现了显微相机的调节。
相关技术中，显微相机被广泛应用于对微小目标的成像观测，具有放大倍率高、分辨率高等优点。
由于显微相机视野狭窄且景深较小，当微小目标的位置不确定或在较大范围内运动时，需要对显微相机的位置进行多次调节，才能将微小目标移动到显微相机的视野范围内，效率较低。
本发明的显微相机位置调节方法，在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，基于常规相机的视野范围显著大于显微相机的视野范围的特点，在常规相机观测到微小目标相关的视觉特征点的基础上，可以基于显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置及运动平台的位置信息，确定运动平台的目标调节量，进一步地，基于目标调节量对运动平台和显微相机进行位置调节，使得显微相机可以准确、快速地对微小目标进行观测。
下面结合图1-图7以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明提供的显微相机位置调节方法一实施例的流程示意图。如图1所示，本实施例提供的方法，包括：
步骤101、在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
具体地，在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，也就是在显微相机和常规相机的视野中心点重合或近似重合于一点的情况下，以常规相机作为参照，分别确定显微相机视野中心点与常规相机的第一相对位置，及待测量微小目标与常规相机的第二相对位置。
例如，将一个或多个显微相机安装于运动平台上，运动平台可以自由平移，通过控制多个显微相机的位置与方向，使显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内，也就是使多个显微相机的视野中心点重合或近似重合于一点。可选地，将两个显微相机安装于三轴运动平台上，两个显微相机的光轴夹角约45度，运动平台的三轴互相正交，运动平台各轴的运动分辨率为10微米。
常规相机与显微相机一起安装于运动平台上，常规相机与显微相机之间的相对位置可以是固定不动的，也可以发生可控的变化。通过控制常规相机的位置和方向，使显微相机的视野位于常规相机的视野中心。常规相机的视野范围显著大于显微相机的视野范围，常规相机的图像中可以观测到微小目标相关的视觉特征点。可选地，常规相机的视野范围不小于5厘米，显微相机的视野范围不大于1厘米。如图2所示，常规相机被安装于两个显微相机之间，使三个相机被紧凑地安装在一起，使得显微相机和常规相机的视野中心点重合或近似重合于一点。
步骤102、根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
具体地，在常规相机与运动平台上分别建立第一常规相机坐标系和运动坐标系，确定第一常规相机坐标系到运动平台坐标系的旋转矩阵。当需要通过显微相机对微小目标进行观测时，可以通过显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置、第一旋转矩阵和运动平台的绝对位置信息，确定运动平台的目标调节量。也就是常规相机的视野范围显著大于显微相机的视野范围，在常规相机观测到微小目标相关的视觉特征点后，可以基于显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置及运动平台位置等信息，通过控制运动平台的位置和方向，使得显微相机观测到待观测的微小目标。
步骤103、基于目标调节量对运动平台和显微相机进行位置调节。
具体地，在确定运动平台的目标调节量后，根据确定的目标调节量对显微相机进行调节，就可以使得待观测的微小目标进入显微相机的观测视野。也就是仅增加了一个具有较大视野的常规相机，与显微相机一起安装，通过运动平台的位置变化实现运动平台目标调节量的确定，进一步基于目标调节量对运动平台和显微相机进行位置调节，使得待观测的微小目标进入显微相机的视野，所以，该方法在不增加系统结构的复杂度的基础上，仅需两次平移运动，即可使显微相机观测到微小目标，显著提高了显微视觉系统的工作效率。
上述实施例的方法，在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，基于常规相机的视野范围显著大于显微相机的视野范围的特点，在常规相机观测到微小目标相关的视觉特征点的基础上，可以基于显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置及运动平台的位置信息，确定运动平台的目标调节量，进一步地，基于目标调节量对运动平台和显微相机进行位置调节，使得显微相机可以准确、快速地对微小目标进行观测。
在一实施例中，确定第一相对位置，包括：
根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量；第一位置为标定物位于显微相机的视野中心时运动平台的绝对位置；第二常规相机坐标系是在运动平台处于第一位置的情况下建立的；第三常规相机坐标系是在运动平台处于第二位置的情况下建立的；
根据第二常规相机坐标系与第三常规相机坐标系之间的第二旋转矩阵、第一平移向量和常规相机的内参数，确定标定物在第二常规相机坐标系中的三维位置，将三维位置确定为第一相对位置。
具体地，在标定物位于显微相机视野中心的情况下，通过运动平台位置的第一次变化，确定显微相机视野中心点与常规相机的第一相对位置。
例如，将一个标定物固定，调节运动平台，使所有显微相机清晰完整地观测到标定物，且标定物近似处于显微相机的视野中心。
可选地，采用微球或针状物作为标定物，用微球球心或针尖点作为测量点。
在常规相机的图像中，定位标定物测量点的二维坐标，确定运动平台的第一位置，其中，第一位置为运动平台第一次位置变化前的绝对位置，并将此时的常规相机坐标系记为第二常规相机坐标系。控制运动平台进行第一次平移运动，平移方向应与常规相机光轴具有较大夹角。可选地，运动平台的第一次平移运动沿运动平台坐标系X轴平移10厘米，平移导致标定物在常规相机的图像中有显著的位置变化。
运动平台位置变化后，在常规相机的图像中，再次定位标定物中心的二维坐标，并记录运动平台的第二位置，其中，第二位置为运动平台第一次位置变化后的绝对位置，并将此时的相机坐标系确定为第三常规相机坐标系。
第二常规相机坐标系与第三常规相机坐标系之间的旋转矩阵为单位矩阵，根据运动平台的第一次位置变化确定第二常规相机坐标系与第三常规相机坐标系之间相对位姿。进一步地，根据第二常规相机坐标系与第三常规相机坐标系之间旋转矩阵和平移向量，结合常规相机的内参数，利用双目三角测量方法，确定出标定物在第二相机坐标系中的三维位置，该三维位置代表了显微相机视野中心点与常规相机的相对位置。
可选地，根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量，包括：
利用如下公式确定第一平移向量：
tc=RCM -1(P2c-P1c)；
其中，tc表示第一平移向量，RCM表示第一旋转矩阵，P1c表示运动平台的第一位置，P2c表示运动平台的第二位置。
具体地，利用上述公式确定第一平移向量，其中，tc表示运动平台对应的第一平移向量，RCM表示第一旋转矩阵，P1c为运动平台第一次位置变化前的绝对位置，P2c为运动平台第一次位置变化后的绝对位置。
上述实施例的方法，在标定物位于显微相机视野中心的情况下，通过运动平台的第一次位置变化，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量，其中，第二常规相机坐标系是在标定物位于显微相机视野中心的情况下建立的，第三常规相机坐标系是在运动平台位于第二位置的情况下建立的；进一步地，根据第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量、第二常规相机坐标系与第三常规相机坐标系之间的第二旋转矩阵和常规相机的内参数，就确定了标定物在第二常规相机坐标系中的三维位置，即在标定物位于显微相机视野中心的情况下，基于运动平台的第一次位置变化，准确地确定了显微相机视野中心点与常规相机的第一相对位置。
在一实施例中，确定第二相对位置，包括：
根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量；第三位置为微小目标位于常规相机的视野范围时运动平台的绝对位置；第四常规相机坐标系是在运动平台处于第三位置的情况下建立的；第五常规相机坐标系是在运动平台处于第四位置的情况下建立的；
根据第四常规相机坐标系与第五常规相机坐标系之间的第三旋转矩阵、第二平移向量和常规相机的内参数，确定微小目标在第四常规相机坐标系中的三维位置，将三维位置确定为第二相对位置。
具体地，在微小目标位于常规相机的视野范围内的情况下，通过运动平台位置的第二次变化，确定待测量微小目标与常规相机的第二相对位置。
例如，如图3所示，对于当前待观测的微小目标，控制运动平台使微小目标的视觉特征点进入常规相机的视野范围。
在常规相机的图像中，定位视觉特征点的二维坐标，确定运动平台的第三位置，其中，第三位置为运动平台第二次位置变化前的绝对位置，并将此时的常规相机坐标系记为第四常规相机坐标系。控制运动平台进行第二次平移运动，平移方向应与常规相机光轴具有较大夹角。如图4所示，控制运动平台进行第二次平移运动后，微小目标与常规相机发生相对位移。
可选地，第二次平移运动沿运动平台坐标系X轴平移10厘米，平移导致视觉特征点在常规相机的图像中有显著的位置变化。
运动平台平移后，在常规相机的图像中，定位视觉特征点的二维坐标，确定运动平台的第四位置，其中，第四位置为运动平台第二次位置变化后的绝对位置，并将此时的相机坐标系记为第五常规相机坐标系。
第四常规相机坐标系与第五常规相机坐标系之间的旋转矩阵为单位矩阵，根据运动平台的第二次位置变化计算第四常规相机坐标系与第五常规相机坐标系之间相对位姿。
根据第四常规相机坐标系与第五常规相机坐标系之间的旋转矩阵和平移向量，结合常规相机的内参数，利用双目三角测量方法，计算出微小目标在第四常规相机坐标系中的三维位置，该三维位置代表了待测量微小目标与常规相机的第二相对位置。
可选地，根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量，包括：
利用如下公式确定第二平移向量：
t=RCM -1(P2- P1)；
其中，t表示第二平移向量，RCM表示第一旋转矩阵，P1表示运动平台的第三位置P1，P2表示运动平台的第四位置。
具体地，利用公式t=RCM -1(P2- P1)确定第二平移向量，其中，t表示运动平台对应的第二平移向量，RCM表示第一旋转矩阵，P1为运动平台第二次位置变化前的绝对位置；P2为运动平台第二次位置变化后的绝对位置。
上述实施例的方法，在微小目标位于常规相机的视野范围内的情况下，通过运动平台的第二次位置变化确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量，其中，第四常规相机坐标系是在微小目标位于常规相机的视野范围内的情况下建立的，第五常规相机坐标系是在运动平台位于第四位置的情况下建立的；进一步地，根据第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量、第四常规相机坐标系与第五常规相机坐标系之间的第三旋转矩阵和常规相机的内参数，就确定了标定物在第四常规相机坐标系中的三维位置，即在微小目标位于常规相机的视野范围内的情况下，基于运动平台的第二次位置变化，准确地确定了待测量微小目标与常规相机的第二相对位置。
在一实施例中，位置信息包括：运动平台的第一位置、运动平台的第四位置；根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量，包括：
利用如下公式确定目标调节量：
D=RCM(PO-PT)+P1c- P2；
其中，D表示目标调节量，RCM表示第一旋转矩阵，PO表示第一相对位置，PT表示第二相对位置，P1c表示运动平台的第一位置；P2表示运动平台的第四位置。
具体地，利用上述公式确定运动平台的目标调节量，其中，D表示目标调节量，RCM表示第一旋转矩阵，PO表示显微相机视野中心点与常规相机的第一相对位置；PT表示待测量微小目标与常规相机的第二相对位置；P1c为第一位置，即运动平台第一次位置变化前的绝对位置；P2为第四位置，即运动平台第二次位置变化后的绝对位置；也就是基于运动平台的两次位置变化，根据确定出的显微相机视野中心点与常规相机的第一相对位置、待测量微小目标与常规相机的第二相对位置及运动平台的位置，就可以准确地确定运动平台的目标调节量，使得微小目标进入显微相机的视野，也就可以准确、快速地对微小目标进行观测。如图5所示，基于目标调节量对运动平台和显微相机进行位置调节之后，微小目标进入显微相机的视野。
如果常规相机与显微相机的相对位姿发生了可控的变化，包括但不限于常规相机的移位、靠近和撤离，则在计算运动平台的目标调节量的过程中需考虑到上述可控的变化，使目标调节量的计算结果不受上述可控的变化的影响，也就使得目标调节量的确定更加的准确。
上述实施例的方法，基于运动平台的两次位置变化，根据确定出的显微相机视野中心点与常规相机的第一相对位置及待测量微小目标与常规相机的第二相对位置及运动平台的位置信息，就可以准确地确定运动平台的目标调节量，使得微小目标进入显微相机的视野，也就可以准确、快速地对微小目标进行观测。
可选地，基于目标调节量对运动平台和显微相机进行位置调节之后，还包括：
根据微小目标在显微相机视野内的成像清晰度，对显微相机的位置再次进行调节。
具体地，基于目标调节量对运动平台和显微相机进行位置调节之后，显微相机的视野中心点与待观测微小目标相关视觉特征点近似重合，微小目标相关的视觉特征点在显微相机视野出现，也就是微小目标进入显微相机的视野。在此基础上，可以根据情况对显微相机位置进行位置微调和聚焦调节，实现显微相机对待观测微小目标的清晰观测。
上述实施例的方法，基于目标调节量对运动平台和显微相机进行位置调节之后，使得微小目标进入显微相机的视野；进一步地根据微小目标在显微相机视野内的成像清晰度，对显微相机的位置进行微调，使得显微相机对待观测微小目标的成像更加的清晰。
下面对本发明提供的显微相机位置调节装置进行描述，下文描述的显微相机位置调节装置与上文描述的显微相机位置调节方法可相互对应参照。
图6是本发明提供的显微相机位置调节装置的结构示意图。本实施例提供的显微相机位置调节装置，包括：
第一确定模块710，用于在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
第二确定模块720，用于根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
调节模块730，用于基于目标调节量对运动平台和显微相机进行位置调节。
可选地，所述第一确定模块710，具体用于：根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量；第一位置为标定物位于显微相机的视野中心时运动平台的绝对位置；第二常规相机坐标系是在运动平台处于第一位置的情况下建立的；第三常规相机坐标系是在运动平台处于第二位置的情况下建立的；
根据第二常规相机坐标系与第三常规相机坐标系之间的第二旋转矩阵、第一平移向量和常规相机的内参数，确定标定物在第二常规相机坐标系中的三维位置，将三维位置确定为第一相对位置。
可选地，所述第一确定模块710，具体用于：利用如下公式确定第一平移向量：
tc=RCM -1(P2c-P1c)；
其中，tc表示第一平移向量，RCM表示第一旋转矩阵，P1c表示运动平台的第一位置，P2c表示运动平台的第二位置。
可选地，所述第一确定模块710，具体用于：根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量；第三位置为微小目标位于常规相机的视野范围时运动平台的绝对位置；第四常规相机坐标系是在运动平台处于第三位置的情况下建立的；第五常规相机坐标系是在运动平台处于第四位置的情况下建立的；
根据第四常规相机坐标系与第五常规相机坐标系之间的第三旋转矩阵、第二平移向量和常规相机的内参数，确定微小目标在第四常规相机坐标系中的三维位置，将三维位置确定为第二相对位置。
可选地，所述第一确定模块710，具体用于：利用如下公式确定第二平移向量：
t=RCM -1(P2- P1)；
其中，t表示第二平移向量，RCM表示第一旋转矩阵，P1表示运动平台的第三位置P1，P2表示运动平台的第四位置。
可选地，所述第二确定模块720，具体用于：利用如下公式确定目标调节量：
D=RCM(PO-PT)+P1c- P2；
其中，D表示目标调节量，RCM表示第一旋转矩阵，PO表示第一相对位置，PT表示第二相对位置，P1c表示运动平台的第一位置；P2表示运动平台的第四位置。
可选地，所述调节模块730，具体用于：基于目标调节量对运动平台和显微相机进行位置调节；
可选地，所述调节模块730，还用于：根据微小目标在显微相机视野内的成像清晰度，对显微相机的位置再次进行调节。
本发明的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。
图7示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行显微相机位置调节方法，该方法包括：在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；基于目标调节量对运动平台和显微相机进行位置调节。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的显微相机位置调节方法，该方法包括：在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；基于目标调节量对运动平台和显微相机进行位置调节。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的显微相机位置调节方法，该方法包括：在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；根据第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；基于目标调节量对运动平台和显微相机进行位置调节。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种显微相机位置调节方法，其特征在于，包括：
在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；所述第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
基于所述目标调节量对所述运动平台和显微相机进行位置调节；所述常规相机和显微相机安装于运动平台上。
2.根据权利要求1所述的显微相机位置调节方法，其特征在于，所述确定第一相对位置，包括：
根据运动平台在第一次位置变化前的第一位置和第一次位置变化后的第二位置以及所述第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量；所述第一位置为标定物位于显微相机的视野中心时运动平台的绝对位置；所述第二常规相机坐标系是在所述运动平台处于第一位置的情况下建立的；所述第三常规相机坐标系是在所述运动平台处于第二位置的情况下建立的；
根据第二常规相机坐标系与第三常规相机坐标系之间的第二旋转矩阵、第一平移向量和常规相机的内参数，确定标定物在第二常规相机坐标系中的三维位置，将所述三维位置确定为所述第一相对位置。
3.根据权利要求2所述的显微相机位置调节方法，其特征在于，所述根据运动平台的第一位置、运动平台的第二位置和所述第一旋转矩阵，确定第二常规相机坐标系与第三常规相机坐标系之间的第一平移向量，包括：
利用如下公式确定第一平移向量：
tc=RCM -1(P2c-P1c)；
其中，tc表示第一平移向量，RCM表示第一旋转矩阵，P1c表示运动平台的第一位置，P2c表示运动平台的第二位置。
4.根据权利要求1-3任一项所述的显微相机位置调节方法，其特征在于，所述确定第二相对位置，包括：
根据运动平台在第二次位置变化前的第三位置和第二次位置变化后的第四位置以及所述第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量；所述第三位置为微小目标位于常规相机的视野范围时运动平台的绝对位置；所述第四常规相机坐标系是在所述运动平台处于第三位置的情况下建立的；所述第五常规相机坐标系是在所述运动平台处于第四位置的情况下建立的；
根据第四常规相机坐标系与第五常规相机坐标系之间的第三旋转矩阵、第二平移向量和常规相机的内参数，确定微小目标在第四常规相机坐标系中的三维位置，将所述三维位置确定为所述第二相对位置。
5.根据权利要求4所述的显微相机位置调节方法，其特征在于，所述根据运动平台的第三位置、运动平台的第四位置和第一旋转矩阵，确定第四常规相机坐标系与第五常规相机坐标系之间的第二平移向量，包括：
利用如下公式确定第二平移向量：
t=RCM -1(P2-P1)；
其中，t表示第二平移向量，RCM表示第一旋转矩阵，P1表示运动平台的第三位置P1，P2表示运动平台的第四位置。
6.根据权利要求4所述的显微相机位置调节方法，其特征在于，所述位置信息包括：运动平台的第一位置、运动平台的第四位置；所述根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量，包括：
利用如下公式确定目标调节量：
D=RCM(PO-PT)+P1c-P2；
其中，D表示目标调节量，RCM表示第一旋转矩阵，PO表示第一相对位置，PT表示第二相对位置，P1c表示运动平台的第一位置；P2表示运动平台的第四位置。
7.根据权利要求1-3任一项所述的显微相机位置调节方法，其特征在于，所述基于所述目标调节量对所述运动平台和显微相机进行位置调节之后，还包括：
根据微小目标在显微相机视野内的成像清晰度，对显微相机的位置再次进行调节。
8.一种显微相机位置调节装置，其特征在于，包括：
第一确定模块，用于在显微相机视野中心点和常规相机视野中心点的相对位置在预设范围内的情况下，确定显微相机视野中心点与常规相机的第一相对位置和待测量微小目标与常规相机的第二相对位置；
第二确定模块，用于根据所述第一相对位置、第二相对位置、第一旋转矩阵和运动平台的位置信息，确定运动平台的目标调节量；所述第一旋转矩阵为第一常规相机坐标系到运动平台坐标系的旋转矩阵；
调节模块，用于基于所述目标调节量对所述运动平台和显微相机进行位置调节；所述常规相机和显微相机安装于运动平台上。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的显微相机位置调节方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的显微相机位置调节方法。
CN202210708945.3A 2022-06-22 2022-06-22 显微相机位置调节方法、设备、装置和存储介质 Active CN114782498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708945.3A CN114782498B (zh) 2022-06-22 2022-06-22 显微相机位置调节方法、设备、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708945.3A CN114782498B (zh) 2022-06-22 2022-06-22 显微相机位置调节方法、设备、装置和存储介质

Publications (2)

Publication Number Publication Date
CN114782498A CN114782498A (zh) 2022-07-22
CN114782498B true CN114782498B (zh) 2022-09-27

Family

ID=82422231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708945.3A Active CN114782498B (zh) 2022-06-22 2022-06-22 显微相机位置调节方法、设备、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114782498B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115542530B (zh) * 2022-11-29 2023-05-05 中国科学院自动化研究所 微小目标的位置对准方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071205A (ja) * 2003-08-27 2005-03-17 Minolta Co Ltd 画像処理方法、画像処理装置および画像処理システム
CN103158161B (zh) * 2013-03-29 2015-11-11 中国科学院自动化研究所 基于单目显微视觉的微管微球对准和装配装置与方法
CN103192399B (zh) * 2013-03-29 2015-12-23 中国科学院自动化研究所 一种基于目标运动的显微视觉手眼标定系统及方法
CN110926454A (zh) * 2019-12-13 2020-03-27 中国科学院自动化研究所 基于双显微相机主动运动的微球孔姿态测量方法

Also Published As

Publication number Publication date
CN114782498A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
JP4825980B2 (ja) 魚眼カメラの校正方法。
CN102842117B (zh) 显微视觉系统中运动误差矫正方法
Zhang et al. A robust and rapid camera calibration method by one captured image
CN112022355B (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
US11557106B2 (en) Method and system for testing wearable device
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
CN114782498B (zh) 显微相机位置调节方法、设备、装置和存储介质
CN110622091A (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
CN108574825A (zh) 一种云台摄像机的调整方法和装置
JP2022500956A (ja) 可動視覚システムの立体キャリブレーション方法
CN113487683B (zh) 一种基于三目视觉的目标跟踪系统
WO2023134237A1 (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
JP2016007277A (ja) 手術支援装置および手術支援システム
Hu et al. Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures
CN110956066B (zh) 一种人脸部位测距方法、装置及车载终端
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN106934861B (zh) 物体三维重建方法及装置
CN113476014B (zh) 双坐标系对应关系建立系统及方法
Zhang et al. Design of microassembly system and research on coarse-to-fine alignment strategy in combination with active zooming
Xu et al. Research on target tracking algorithm based on parallel binocular camera
Antonelli et al. Depth estimation during fixational head movements in a humanoid robot
Wang et al. Digital microassembly method for trans-scale microparts based on digital microassembly space
Jiang et al. Research on Target Ranging of Mobile Robot Based on Binocular Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant