CN103702607B - 相机系统的坐标系统的校准和变换 - Google Patents

Abstract

本发明公开多种系统和方法，其确定第一相机系统的坐标系统与第二相机系统的坐标系统之间的映射；或确定机器人的坐标系统与相机系统的坐标系统之间的变换，且/或基于在所述相机的坐标系统中的工具位置来在机器人的坐标系统中定位从所述机器人的臂延伸的工具。所述所公开的系统和方法可以使用从在一个或多个图像中找到的特征的坐标导出的变换。所述变换可用来使各种坐标系统相互关联，从而促进相机系统的校准，包括在机器人系统中，所述机器人系统诸如为用于毛发采集和/或植入的图像引导式机器人系统。

Description

相机系统的坐标系统的校准和变换

技术领域

本发明大体上涉及如机器人系统的自动化系统，并且具体地说，涉及用于校准图像引导式机器人系统的相机系统的系统和方法。

背景信息

机器人系统，如包括安装有工具、检查单元或其它装置的可动机器人臂的机器人系统，通常包括用来将机器人臂从一个位置定位至另一个位置的引导系统。图像引导式机器人系统通常至少部分基于经过处理的图像来定位机器人臂，所述图像在某些应用中可通过一个或多个相机来获取。为了帮助准确地定位图像引导式机器人系统，可能希望执行校准。例如参考Bodduluri等人的美国专利公布号2007/0106306的图4描述了这类校准程序的实施例。

概述

在一个实施方案中，提供一种用于确定第一相机系统的坐标系统与第二相机系统的坐标系统之间的映射的方法，其中所述第一相机系统和所述第二相机系统具有至少部分重叠的视场，且其中所述第一相机系统和所述第二相机系统具有固定的空间关系。所述方法包括：使用一个或多个处理器，确定在来自所述第一相机系统和所述第二相机系统的对应图像对中所找到的一组特征(例如，一个或多个特征)在所述第一相机系统的坐标系统和所述第二相机系统的坐标系统中的坐标，进而产生在所述第一相机系统的坐标系统中的第一特征坐标集合和在所述第二相机系统的坐标系统中的对应第二坐标集合；以及通过使用与所述一个或多个处理器相同的处理器或不同的处理器中的一个，基于所述第一特征坐标集合和所述第二特征坐标集合，确定所述第一相机系统的坐标系统与第二相机系统的坐标系统之间的映射。所述方法可将所述映射存储在存储器中，以便稍后用来在所述第一相机系统的坐标系统与所述第二相机系统的坐标系统之间转换坐标。在一些实施方案中，所述方法可任选地从所述第一相机系统和所述第二相机系统中的每一个捕捉、接收或接受多个对应图像。

在另一个实施方案中，提供一种系统，其包括一个或多个处理器，所述处理器被配置来：为第一组图像中的一组特征确定在第一相机系统的坐标系统中的坐标，进而产生在所述第一相机系统的坐标系统中的第一特征坐标集合；为第二组图像中的一组特征确定在第二相机系统的坐标系统中的坐标，其中所述第二组图像中的特征对应于所述第一组图像中的第一组特征，进而产生在所述第二相机系统的坐标系统中的第二特征坐标集合；以及基于所述第一特征坐标集合和所述第二特征坐标集合，计算所述第一相机系统的坐标系统与第二相机系统的坐标系统之间的变换。所述系统可将所述映射存储在存储器中，以便稍后用来在所述第一相机系统的坐标系统与第二相机系统的坐标系统之间转换坐标。单个处理器可执行所陈述的全部操作。在一些实施方案中，所述系统还包括：第一相机系统，其具有第一视场并且被配置来捕捉所述第一组图像；以及第二相机系统，其具有第二视场并且被配置来捕捉对应于所述第一组图像的所述第二组图像，其中所述第一相机系统和所述第二相机系统定位在相对于彼此固定的位置中，且其中所述第一视场和所述第二视场至少部分重叠。

在又一个实施方案中，所述第一相机系统和所述第二相机系统中的每一个包括立体相机对。在再一个实施方案中，所述第一相机系统和所述第二相机系统在其视场的大小上不同。在又一个实施方案中，所述第一相机系统和所述第二相机系统安装至机器人臂上，所述机器人臂可以是机器人系统(例如，用于毛发采集和/或植入的机器人系统)的一部分。在再一个实施方案中，可以大致同时捕捉、接收或接受所述图像。在又一个实施方案中，所述特征是校准特征，其可以选自由棋盘角、点图案或质心组成的群组中的一个或多个。

在再一个实施方案中，来自所述第一相机系统和所述第二相机系统中的每一个的对应图像的数目是m，来自所述第一相机系统的第j个图像和来自所述第二相机系统的第j个图像彼此对应，其中j＝1...m，每个图像中被确定坐标的特征的数目是n，在所述第一相机系统的坐标系统中所确定的第一坐标集合是{v_1jk}，并且在所述第二相机系统的坐标系统中所确定的第二坐标集合是{v_2jk}，其中j是图像1...m当中的第j个图像的索引，并且k是所述第j个图像中的特征1...n当中的第k个特征的索引。在一些实施方案中，m≥1且n≥2，并且mn≥6。根据一个实施方案，m＝48且n＝6。

在又一个实施方案中，所述映射是将坐标从所述第二坐标系统变换为所述第一坐标系统的变换矩阵Q，且寻找所述映射的步骤包括寻找至少大致使量最小化的矩阵Q，其中d是距离函数，以使得v₁≈Q_v1，其中v₁和v₂分别是在第一相机系统的坐标系统和第二相机系统的坐标系统中的坐标矢量。另外，在一些实施方案中，Q是4×4矩阵，并且所述坐标矢量呈如下形式： $\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right].$ 此外，在一些实施方案中，所述距离函数d是d＝||Qv_2jk-v_1jk||。此外，寻找所述变换矩阵Q可包括使用最优化技术。

在再一个实施方案中，提供一种用于确定第一相机系统的坐标系统与第二相机的坐标系统之间的映射的设备。所述第一相机系统和所述第二相机系统具有至少部分重叠的视场，并且所述第一相机系统和所述第二相机系统具有固定的空间关系。所述设备包括：用于确定在来自所述第一相机系统和所述第二相机系统的对应图像对中所找到的一组特征在所述第一相机系统的坐标系统和所述第二相机系统的坐标系统中的坐标，进而产生在所述第一相机系统的坐标系统中的第一特征坐标集合和在所述第二相机系统的坐标系统中的对应第二坐标集合的装置；以及用于基于所述第一特征坐标集合和所述第二特征坐标集合来确定所述第一相机系统坐标系统与所述第二相机系统坐标系统之间的映射的装置。在一些实施方案中，所述设备进一步包括用于从所述第一相机系统和所述第二相机系统中的每一个捕捉多个对应图像的装置。

在另一个实施方案中，提供一种用于确定机器人的坐标系统与相机系统的坐标系统之间的变换的方法，其中所述机器人包括安装有所述相机系统的可动臂，所述机器人的坐标系统定义所述可动臂的位置，并且所述相机系统的坐标系统定义在所述相机系统的视场内的目标的位置。所述方法包括：围绕所述目标将所述可动臂定位至多个图像捕捉位置，以使得在各个图像捕捉位置处所述目标在所述相机系统的所述视场内，并且从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂围绕所述目标旋转并且相对于所述目标平移；在各个图像捕捉位置处，使用所述相机系统来捕捉所述目标的一组图像，并且在所述机器人的坐标系统中记录所述可动臂的位置；在所述相机系统的坐标系统中确定在所述组图像中所识别的所述目标的一组校准特征的坐标；以及基于在各个图像捕捉位置处所述可动臂的所述位置和所述组校准特征的所述坐标，确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换。

在用于确定机器人的坐标系统与相机系统的坐标系统之间的变换的方法的一些实施方案中，围绕所述目标定位所述可动臂的步骤、捕捉所述目标的所述组图像的步骤、记录所述可动臂的所述位置的步骤、确定所述组校准特征的所述坐标的步骤以及确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换的步骤是自动执行的。在再一个实施方案中，所述可动臂安装有毛囊单位采集工具、毛囊单位植入工具或两者，并且所述机器人被配置来采集毛囊单位、植入毛囊单位或两者。

在所述方法的又一个实施方案中，进一步包括：在所述相机系统的坐标系统中识别在体表的图像中的毛囊单位的位置；基于所述毛囊单位在所述相机系统的坐标系统中的所述位置以及所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换，在所述机器人的坐标系统中确定所述毛囊单位的位置；以及基于所述毛囊单位在所述机器人的坐标系统中的所述位置，将所述可动臂定位在邻近于所述毛囊单位处，以使得可使用所述毛囊单位采集或植入工具来采集或植入所述毛囊单位。

在另一个实施方案中，提供一种系统。所述系统包括：可动臂，其具有坐标系统，所述坐标系统定义所述可动臂的位置；相机系统，其安装在所述可动臂上，所述相机系统被配置来捕捉一个或多个图像(如一组图像)并且具有坐标系统，所述坐标系统定义在所述相机系统的视场内的目标的位置；控制器，其操作性地联接至可动臂，所述控制器被配置来围绕所述目标将所述可动臂定位至多个图像捕捉位置，以使得在各个图像捕捉位置处所述目标在所述相机系统的所述视场内，并且从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂围绕所述目标旋转并且相对于所述目标平移。所述系统进一步包括存储器和操作性地联接至所述相机系统、所述控制器和所述存储器的处理器。所述处理器被配置来：在各个图像捕捉位置处，使所述相机系统使用所述相机系统捕捉所述目标的一组图像；在各个图像捕捉位置处，在所述相机系统的坐标系统中确定在所述组图像中所识别的所述目标的一组校准特征的坐标。所述处理器进一步被配置来：将所述可动臂在可动臂的坐标系统中的位置存储在所述存储器中；以及基于在各个图像捕捉位置处所述可动臂的位置和所述组校准特征的坐标，确定所述可动臂的坐标系统与所述相机系统的坐标系统之间的变换。在某些实施方案中，所述处理器可在各个图像捕捉位置处询问所述控制器来确定所述可动臂在可动臂的坐标系统中的位置，并且所述处理器可在各个图像捕捉位置处查询所述相机系统来在所述相机系统的坐标系统中确定在所述组图像中所识别的所述目标的所述组校准特征的坐标。此外，所述控制器可围绕所述目标定位所述可动臂，并且所述处理器可使所述相机系统在没有用户干涉的情况下自动地进行以下操作：捕捉所述目标的所述组图像，确定所述组校准特征的坐标，存储所述可动臂的位置，以及确定所述可动臂的坐标系统与所述相机系统的坐标系统之间的变换。

在所述系统的再一个实施方案中，所述可动臂安装有毛囊单位采集工具、毛囊单位植入工具或两者，并且所述系统包括机器人系统，所述机器人系统被配置来采集毛囊单位、植入毛囊单位或两者。在一些实施方案中，所述处理器进一步被配置来使所述相机系统捕捉体表的图像，在所述相机系统的坐标系统中识别在所述体表的所述图像中的毛囊单位的位置，基于所述毛囊单位在所述相机系统的坐标系统中的位置以及所述可动臂的坐标系统与所述相机系统的坐标系统之间的所述变换来在所述可动臂的坐标系统中确定所述毛囊单位的位置，并且使所述控制器基于所述毛囊单位在所述可动臂的坐标系统中的位置来将所述可动臂定位在邻近于所述毛囊单位处，以使得可使用所述毛囊单位采集或植入工具来采集或植入所述毛囊单位。

在又一个实施方案中，所述目标的位置是固定的，并且所述可动臂的坐标系统与所述相机系统的坐标系统之间的所述变换是(例如，由所述处理器)通过以下操作来确定的：迭代地为所述可动臂的坐标系统与所述相机系统的坐标系统之间的所述变换选择值，并且比较(A)在一个图像捕捉位置处的用于所述变换的选定值、所述可动臂的位置以及校准特征的坐标的乘积与(B)在另一个图像捕捉位置处的用于所述变换的选定值、所述可动臂的位置以及所述对应校准特征的坐标的乘积，以便确定使(A)与(B)之间的差最小化的用于所述变换的值。

在再一个实施方案中，所述可动臂的坐标系统与所述相机系统的坐标系统之间的变换包括变换矩阵T，并且所述变换是(例如，由所述处理器)通过寻找至少大致使量最小化的变换矩阵T来确定的，其中i和j对应于各个图像捕捉位置的不同实例，i具有范围为2至m的值，j具有范围为1至(i-1)的值，k对应于所述组校准特征中的个别校准特征并且具有范围为1至n的值，R_i是在个别图像捕捉位置i处所述可动臂的位置，v_ik是在第i个图像捕捉位置处第k个校准特征的在所述相机系统的坐标系统中确定的坐标，R_j是在个别图像捕捉位置j处所述可动臂的位置，并且v_jk是在第j个图像捕捉位置处第k个校准特征的在所述相机系统的坐标系统中确定的坐标。

在某些实施方案中，所述可动臂的位置可包括形式为 $R=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 的可动臂位置变换矩阵R，其中子矩阵 $\left[\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right]$ 表示使所述可动臂的定向与参考定向相关的正交旋转，并且子矩阵 $\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ 表示所述可动臂的位置与参考位置之间的偏移，个别校准特征的坐标包括形式为 $v=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ 的数组，并且所述变换矩阵T可包括形式为 $T=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 的矩阵，其中子矩阵 $\left[\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right]$ 表示所述可动臂的坐标系统与所述相机系统的坐标系统之间的旋转关系并且是从三个旋转偏移α、β和γ导出的，并且子矩阵 $\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ 表示所述可动臂的坐标系统与所述相机系统的坐标系统之间的平移偏移x、y和z。

所述变换矩阵T可包括六个独立值，其中三个是平移偏移x、y和z，且其中另外三个是旋转偏移α、β和γ，并且所述六个独立值是使用最优化算法来确定的。在又一个实施方案中，所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换是(例如，由所述处理器)通过使用最优化算法来确定的，所述最优化算法包括(例如)最速下降最优化算法和/或模拟退火算法和/或最佳拟合算法。所述各个图像捕捉位置可以大致位于中心点大致与所述目标重合的球体的表面上，并且从一个图像捕捉位置到另一个图像捕捉位置，可以使所述可动臂相对于所述目标径向移动。

在一个实施方案中，所述相机系统包括安装至所述可动臂的相应第一立体相机对和第二立体相机对，所述第一立体相机对被聚焦且被配置来获取第一视场的图像，所述第二立体相机对被聚焦且被配置来获取第二视场的图像，所述第二视场实质上比所述第一视场窄，所述第一视场和所述第二视场至少部分重叠，并且所述可动臂的坐标系统与所述相机系统的坐标系统之间的所述变换是(例如，由所述处理器)通过以下操作来确定的：使用最优化算法来针对所述第一立体相机对确定第一变换；以及使用最优化算法来针对所述第二立体相机对确定第二变换。此外，可以(例如，由所述处理器)确定变换矩阵Q，其将所述第一立体相机对的坐标系统中的坐标映射至所述第二立体相机对的坐标系统。

在另一个实施方案中，提供一种用于确定机器人的坐标系统与相机系统的坐标系统之间的变换的系统，其中所述机器人包括安装有所述相机系统的可动臂，所述机器人的坐标系统定义所述可动臂的位置，并且所述相机系统的坐标系统定义在所述相机系统的视场内的目标的位置。所述系统包括：用于围绕所述目标将所述可动臂定位至多个图像捕捉位置的装置，以使得在各个图像捕捉位置处所述目标在所述相机系统的所述视场内，并且从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂围绕所述目标旋转并且相对于所述目标平移；用于在所述各个图像捕捉位置处使用所述相机系统来捕捉所述目标的一组图像的装置；用于在所述机器人的坐标系统中记录所述可动臂的位置的装置；用于在所述相机系统的坐标系统中确定在所述组图像中所识别的所述目标的一组校准特征的坐标的装置；以及用于基于在所述各个图像捕捉位置处所述可动臂的所述位置和所述组校准特征的所述坐标来确定所述机器人的坐标系统与所述相机系统的坐标系统之间的变换的装置。

在另一个实施方案中，提供一种计算机可读介质，其上存储有指令。所述指令包括：用于使机器人的可动臂围绕目标定位至多个图像捕捉位置的指令，以使得在各个图像捕捉位置处所述目标在安装到所述可动臂上的相机系统的视场内，并且从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂围绕所述目标旋转并且相对于所述目标平移；用于使所述相机系统在所述各个图像捕捉位置处捕捉所述目标的一组图像的指令；用于在机器人的坐标系统中记录所述可动臂的位置的指令；用于在相机系统的坐标系统中确定在所述组图像中所识别的所述目标的一组校准特征的坐标的指令；以及用于基于在所述各个图像捕捉位置处所述可动臂的所述位置和所述组校准特征的所述坐标来确定所述机器人的坐标系统与所述相机系统的坐标系统之间的变换的指令。

在另一个实施方案中，提供一种用于在机器人的坐标系统中定位从所述机器人的臂延伸的工具的方法。所述方法包括：从图像数据确定所述工具在相机系统的坐标系统中的位置；以及使用预定变换将所述工具的所述位置从所述相机系统的坐标系统转化为所述机器人的坐标系统。

在一些实施方案中，所述方法包括捕捉图像数据。在又一个实施方案中，所述图像数据包括一对图像，并且所述确定步骤包括：从所述图像数据检测第一外周侧壁边缘段和第二外周侧壁边缘段，其对应于在所述相机系统的视场内的所述工具的侧面；基于所述检测到的第一外周侧壁边缘段与第二外周侧壁边缘段之间的平均值来计算中心线；以及在所述相机系统的坐标系统中沿所述中心线定位所述工具的远端末端的位置。在一些实施方案中，所述中心线平分在所述第一外周侧壁边缘段与第二外周侧壁边缘段之间形成的角。在某些实施方案中，所述工具可包括用于执行毛囊采集的针或穿孔器。

在某些实施方案中，所述检测步骤包括：将第一数据转变和第二数据转变定位在所述图像数据的各个行中，以便建立第一数据转变集合和第二数据转变集合；通过从所述相应第一数据转变集合和第二数据转变集合执行回归来计算所述第一外周侧壁边缘段和所述第二外周侧壁边缘段，并且所述定位步骤包括：沿所述中心线定位所述图像数据中的远端末端数据转变，以使得所述远端末端数据转变的位置表示所述远端末端在所述相机系统的坐标系统中的空间位置。

在不同实施方案中可以使用各种工具，包括单个针、穿孔器或插管，或者各种配置的工具组件。在一些实施方案中，所述第一数据转变和所述第二数据转变可包括所述图像数据的一个或多个对比度转变、强度转变、颜色转变或亮度转变，并且所述检测步骤可进一步包括处理所述图像数据，以使得所述工具的远端末端被表示为所述图像数据内的唯一值，例如，所述图像数据内的唯一颜色。在一些实施方案中，所述检测步骤可进一步包括使所述图像数据二值化，以使得所述远端末端由第一唯一颜色来表示且背景特征由第二唯一颜色来表示。在一些实施方案中，所述回归包括大致连接相应的第一数据转变集合和第二数据转变集合的最佳拟合算法和/或最小二乘法拟合。

在另一个实施方案中，提供一种系统，其被配置来在机器人的坐标系统中定位从所述机器人的臂延伸的工具。所述系统可包括一个或多个处理器，其被配置来：从图像数据确定所述工具在相机系统的坐标系统中的位置；以及使用预定变换将所述工具的位置从所述相机系统的坐标系统转化为所述机器人的坐标系统。

在一些实施方案中，所述系统包括具有坐标系统的相机系统，并且所述相机系统被配置来捕捉图像数据。在又一个实施方案中，所述图像数据包括一对图像，并且所述一个或多个处理器进一步被配置来：通过从所述图像数据检测第一外周侧壁边缘段和第二外周侧壁边缘段来确定所述位置，所述第一外周侧壁边缘段和所述第二外周侧壁边缘段对应于在所述相机系统的视场内的所述工具的侧面；基于所述检测到的第一外周侧壁边缘段与第二外周侧壁边缘段之间的平均值来计算中心线；以及在所述相机系统的坐标系统中沿所述中心线定位所述工具的远端末端的空间位置。在一些实施方案中，所述中心线平分在所述第一外周侧壁边缘段与所述第二外周侧壁边缘段之间形成的角。

在一些实施方案中，所述一个或多个处理器进一步被配置来：通过以下操作来检测所述工具的所述第一外周侧壁边缘段和所述第二外周侧壁边缘段：将第一数据转变和第二数据转变定位在所述图像数据的各个行中，以便建立第一数据转变集合和第二数据转变集合；通过从所述相应的第一数据转变集合和第二数据转变集合执行回归来计算所述第一外周侧壁边缘段和所述第二外周侧壁边缘段；并且通过以下操作来定位所述工具的远端末端的位置：沿所述中心线定位所述图像数据中的远端末端数据转变，以使得所述远端末端数据转变的位置表示所述远端末端在所述相机系统的坐标系统中的空间位置。

在一些实施方案中，所述一个或多个处理器可进一步被配置来：通过从所述第一数据转变集合和所述第二数据转变集合排除与相应的第一初始外周侧壁边缘段和第二初始外周侧壁边缘段的距离超过预定阈值的第一数据转变或第二数据转变来检测所述工具的所述第一外周侧壁边缘段和所述第二外周侧壁边缘段。在某些实施方案中，所述一个或多个处理器可进一步被配置来：通过从所述相应的第一数据转变集合和第二数据转变集合执行回归来重新计算所述第一外周侧壁边缘段和所述第二外周侧壁边缘段，并且所述远端末端数据转变对应于所述工具的远端末端，如采集穿孔器，此时其伸出或缩回至不同位置(例如，大致在预定的皮肤平面距离处)。

在另一个实施方案中，提供一种用于在机器人的坐标系统中定位从所述机器人的臂延伸的工具的系统。所述系统包括：用于从图像数据确定所述工具在相机系统的坐标系统中的位置的装置；以及用于使用预定变换将所述工具的所述位置从所述相机系统的坐标系统转化为所述机器人的坐标系统的装置。所述系统还可包括用于捕捉图像数据的装置。

在另一个实施方案中，提供一种用于识别相机系统中的相机的相对位置或放大率的方法。所述方法包括：将含有基准点的标牌放置在相机系统的视场中，以使得各个相机可观察到至少一个基准点；从所述相机系统中的各个相机接收表示基准点的图像数据；以及基于在所述图像数据中对基准点的表示来表征所述各个相机。

附图简述

图1为根据一个实施方案的包括用于将末端执行器工具组件定位和定向在瞄准位置处的可动臂的图像引导机器人系统的图。

图2为示出第一立体相机对和第二立体相机对的放大图，所述第一立体相机对和第二立体相机对紧固至图1的可动臂并且用来从多个视场捕捉图像数据以用于引导臂和所附接的末端执行器工具组件的移动。

图3为根据一个实施方案的用于毛囊单位采集、受体位点切割和移植物放置的末端执行器工具的横截面图。

图4A为图像引导机器人系统的图，其示出系统的操作部件和工具坐标系与固定世界原点坐标系之间的关系。

图4B为示出第一相机系统和第二相机系统的坐标系统与机器人的坐标系统之间的关系的方框图。

图5为根据一个实施方案的机器视觉子系统的方框图，所述机器视觉子系统可实行为机器人毛发移植机器的一部分。

图6为根据另一个实施方案的机器视觉子系统的方框图，所述机器视觉子系统可实行为机器人毛发移植机器的一部分。

图7A至图7C为示出各种示例性校准特征的图。

图8为根据一个实施方案的用于确定机器人的坐标系统与相机的坐标系统之间的变换的方法的流程图。

图9为用于在毛发提取/植入程序期间使用由图8中示出的方法所确定的变换来定位末端执行器工具组件的方法的实施例的流程图。

图10A为根据一个实施方案的用于确定相机系统之间的坐标变换的方法的流程图。

图10B为示出第一相机系统与第二相机系统之间的坐标变换、第一相机系统与机器人的坐标系统之间的坐标变换和第二相机系统与机器人的坐标系统之间的坐标变换的方框图。

图11为根据一个实施方案的用于在相机系统之间变换坐标的方法的流程图。

图12为示出可使用例如具有多个相机系统的图像引导机器人系统并且使用机器视觉操作来定位的特征的末端执行器工具组件的实施例。

图13为伸出至使用机器视觉操作的位置的末端执行器的针尖端的图像。

图14为根据一个实施方案的用于在机器人坐标系统中定位末端执行器的方法的流程图。

图15为根据一个实施方案的用于通过检测和定位工具(例如，图12中所示的工具)的特征来确定末端执行器工具在相机的坐标系统中的位置的方法的流程图。

图16为根据一个实施方案的用于通过定位数据转变和计算回归来检测末端执行器工具在相机的坐标系统中的侧壁边缘分段的方法的流程图。

图17A和图17B为伸出的末端执行器工具的相应未处理图像和二值化图像。

图18A和图18B为缩回的末端执行器工具的相应未处理图像和二值化图像。

图19为用于检测末端执行器工具的侧壁边缘分段的另一种方法的流程图。

图20为根据一个实施方案的用于通过使用在伸出状态和缩回状态下的工具的图像数据来定位末端执行器工具的远端的方法的流程图。

图21A和图21B为含有用于识别多个相机的相对位置和放大率的特征的标牌的描绘。

图22为定位在相机系统的视场中的用于识别多个相机的相对位置和放大率的标牌的透视图。

图23为根据一个实施方案的用于识别相机的放大率的系统的图。

图24为根据一个实施方案的用于识别相机的相对位置的系统的图。

图25为根据另一个实施方案的用于识别相机的相对位置的系统的图。

图26为根据一个实施方案的用于在相机系统中识别和配置多个相机的相对位置和放大率的软件系统的截屏。

实施方案的详细描述

参考以上列举的附图，这一部分描述特定实施方案及其详细构造和操作。仅以例示而非限制的方式说明本文中描述的实施方案。本领域的技术人员根据本文的教导将认识到，例如，其它实施方案也是可能的，可对本文中描述的示例性实施方案进行改变，并且可能存在组成所述实施方案的部件、部分或步骤的等效物。

为了清晰和简明起见，在没有过度的细节的情况下呈现某些实施方案的部件或步骤的某些方面，其中这样的细节根据本文的教导对于技术人员将是显而易见的，且/或其中这样的细节将使对实施方案的较相关方面的理解模糊。

本文中描述的方法或程序中的一个或多个步骤可为自动的或自发的，其中一些部分需要手动输入。自动系统可包括如启动ON开关或安排操作的一些操作员交互作用，或某种系统，在所述系统中使用手持式工具但所述系统的一些机构自发地(例如，在没有人类输入的情况下)起作用来执行功能。本文中描述的自动系统中的一些也可为机器人辅助的或计算机/软件/机器指令控制的。

如本领域的技术人员根据本发明将了解到的，某些实施方案或许能够实现某些优点，包括以下优点中的一些或全部：(1)提供自动地计算使安装至机器人系统的可动臂的多个相机对的位置与机器人系统上的安装点联系起来的相机校准的系统和方法：(2)提供允许机器人系统将一个或多个相机对精确地定位于目标位置上方的系统和方法；(3)提供自动地移动机器人臂的位置来校准且/或检验相机系统相对于机器人臂的校准的系统和方法；(4)提供使用一个按钮按压而在没有显著用户交互作用的情况下实现校准的系统和方法(例如，如果机器人工具被制造/组装为具有合理量的精确度，则可基于预定的粗略机器人位置来使用一个按钮按压而在没有显著用户交互作用的情况下校准三维多视场视觉系统)；(5)提供在各种应用(包括工业机器人应用)中节省许多用来校准且/或教导点的处理小时数的系统和方法；(6)提供针对多个相机对使用共同坐标系统的系统和方法；(7)提供简化了多对立体相机的使用的系统和方法；(8)提供自动地计算自机器人凸缘至工具尖端(如用来自周围组织解剖毛囊的穿孔器的尖端)的偏移的系统和方法；和(9)提供允许机器人系统精确地定位其工具尖端并且围绕其工具尖端旋转的系统和方法。

图1描绘示例性图像引导机器人系统100，所述示例性图像引导机器人系统包括用于将末端执行器工具组件120定位并定向在体表上的瞄准位置处的可编程的可动臂110。机器人臂促进远端板或“机器人凸缘”(例如，参看图4A中的凸缘446)在六个自由度(x、y、z、α、β和γ)中的准确受控移动。使用位于可动臂110的相应臂接合点112中的电动机和编码器对使得具有高度可重复性和精确度(例如，精确至20微米)的远端板的移动为可能的。可动臂110的近基底114可安装至工作台表面160。

多种末端执行器工具组件可附接至远端板以用于对人类或动物患者执行各种程序。例如，一些末端执行器实施方案可执行诊断或治疗医学程序，所述诊断或台疗医学程序利用机器人臂将附接工具(例如，针)或工具组件迅速且准确地定位于患者的所需位置处的能力。另外，各种末端执行器组件本身可包括移动的可控制部分。在一个实施例(未图示)中，末端执行器工具组件包括往复式针，所述往复式针用于穿过真皮递送准确瞄准的重复注射。在图1和图2中所示的实施例中，末端执行器工具组件120包括被设计来用于在人类头皮上采集和植入毛囊(或毛囊单位)的三部分工具。相对于图3描述末端执行器工具组件120的实施例的额外细节。

臂110的移动由系统控制器(例如，参见图4A中的机器人控制器430)支配，其响应于得自由一个或多个相机系统140获得的图像数据的控制信号，所述一个或多个相机系统可安装至可动臂110的远端。一个或多个相机系统140可直接附接或联接至可动臂110或可附接至末端执行器工具组件，所述末端执行器工具组件直接或间接地附接至可动臂110。相机系统140可包括单个相机、一对立体相机150或一对以上立体相机。根据一个优选实施方案，两对立体相机210和220(图2)用来捕捉不同的(例如，较宽的或较窄的)视场。参考毛发移植程序来进行以下描述。技术人员将理解，本文中描述的系统和方法同样适用于其它类型的系统和应用，包括各种医学应用和工业应用。

立体相机对210和220提供定位和定向信息，所述位置和定向信息允许机器人系统100识别并追踪用于解剖的毛发。例如，立体相机对210可包括提供毛囊的详图(例如，详图可用来定位并追踪用于解剖的各个毛囊)的相对高倍放大率相机，而立体相机对220包括提供用于追踪基准点(例如，参见图26中的基准点2622)并计划采集间隔和方向的采集区域的概览的相对低倍放大率相机。根据一个实施方案，立体相机对210包括具有近似2.5cm的对角线视场的左高倍放大率相机和右高倍放大率相机，并且立体相机对220包括具有近似5cm的对角线视场的左低倍放大率相机和右低倍放大率相机。每个立体相机对210和220提供头皮区域的左视图和右视图，所述左视图和右视图用来确定各个毛囊的三维位置和定向。在另外其它实施方案中，单个相机可用来捕捉第一(例如，宽的)视场，并且第二相机可用来捕捉第二(例如，窄的)视场。

毛发移植大体上包括三个步骤：毛囊单位采集、受体位点切割和移植物放置。在一些情形下，如果使用单个工具来实现这些功能，则可以提高外科手术的效率。图3示出用于实现可在一些实施方案中利用的三个功能的三部分工具300的实施例。在图3的实施例中所示的三个同轴元件为具有用于进行受体位点切割的锋利斜切面的外插管(“穿刺针”)310、可被定位以用于在外针内移动并且用于围绕供体移植物解剖的第二插管(“取芯针”)320以及可被定位以用于在第二插管320内移动并且用于将移植物以适当深度定位在受体位点中的充填器330。对于采集，第二插管320可切开组织(例如，通过旋转或通过快速刺入)，同时被推进至所需深度以用于从周围组织分离毛囊单位。移植物然后被俘荻在这个插管320内并被提取，有时在真空的辅助下。对于受体位点切割，外插管310被推进至组织中并且用来以所需定向和深度在所需位置处进行切割。充填器330可用来在缩回插管310时将移植物固持在所需深度处。应理解，包括独立的采集和植入针头/穿孔器的各种不同工具可用于各种实施方案中并且应用不同的采集和/或植入方法。

图4A示出用于采集和/或将毛囊单位植入体表(如头皮)中的机器人系统400的实施例。系统400包括可动臂405，采集或植入工具410联接至所述可动臂。工具410可包括与参考图1至图3描述的末端执行器工具组件120类似或相同的工具。工具410优选地安装至可动臂405的远端板或凸缘446，但是在图4A中示出为从可动臂405拆除以示出机器人坐标系或坐标系统448的相对定向。可并入各种电动机和其它移动装置以实现工具410的操作尖端在多个方向上的细微移动。机器人系统400进一步包括相机系统或图像荻取装置415(例如，与参考图1和图2描述的相机系统140、210和220类似或相同的相机系统)，所述相机系统或图像获取装置可安装于固定位置中，或联接(直接地或间接地)至可动臂405或其它可控运动装置。工具410的操作尖端被展示为定位于体表420上方，在这种情况下，定位于患者头皮的上面具有毛囊的部分上。

机器人系统400包括处理器425，所述处理器被配置来操作性地联接至相机系统415、机器人控制器430和存储器435。处理器425包括用于处理从相机系统415获得的图像的图像处理器426。图像处理器426可为分离装置或其可并入为处理器425的一部分。由相机系统415获取的图像数据通过图像处理器426、处理器425或两者处理，并且处理器425提供控制信号至机器人控制器430以用于指引臂405的移动。具体来说，图像是以所需放大率(例如，在一个实施方案中在6x至10x的范围内)和工作周期(例如，在一个实施方案中为30赫兹)从相机系统415获取的。使用存储在存储器435中的以软件实行的图像分割技术来数字化所获取的图像，以便识别关注物体的定位和定向。Bodduluri等人的美国专利公布号2007/0106306描述至少部分基于由一个或多个相机获取的已处理图像来定位可动臂的自动系统(例如，用于采集或植入毛囊单位)的额外细节，所述美国专利公布在此以引用的方式整体并入。

处理器425例如通过控制器430指导机器人系统的各种移动装置(包括可动臂405和工具410)行动。控制器430可操作性地联接至可动臂405并且被配置来控制臂405的运动，包括基于由相机系统415荻取的图像或数据的运动。或者，控制器430可并入为处理器425的一部分，使得所有各种工具、可动臂405和组件的任何其它可动部分的所有移动(包括基于由相机系统415获取的图像或数据的那些移动)的所有处理和控制都集中在一个地方。

可动臂405包括六个旋转轴440至445，所述六个旋转轴具有与之相关联的一个或多个电动机(例如，一个电动机可引起围绕一个轴或多个轴的旋转，或多个电动机可合作以引起围绕单个轴的旋转)和编码器。可动臂405可包括少于或多于六个旋转轴。响应于从处理器425接收的指令，控制器430生成一个或多个控制信号，所述一个或多个控制信号使一个或多个电动机协作地将工具410移动至所需定位和定向。换句话说，控制器430协调可动臂405围绕其旋转轴440至445中的一个或多个的旋转，以便将安装有工具410的远端板或凸缘446带到相对于任意世界原点坐标系或坐标系统447的所需定位(x、y、z、α、β和γ)。

欧拉角α、β和γ促进将任何坐标系或坐标系统的空间定向表示为相对于世界原点坐标系447的旋转的组合，所述欧拉角在概念上类似于偏航、俯仰和滚转。例如，图4A示出机器人坐标系或坐标系统448，其具有在凸缘446的中心点处的x、y、z坐标原点，并且z轴正交于凸缘446。在图4A中示出的世界原点坐标系447具有在可动臂405的基底的中心点处的x、y、z坐标原点，并且z轴正交于安装面(例如，世界原点坐标系447的z轴“笔直向上”指)。尽管世界原点坐标系447在图4A中是示出在可动臂405的基底的中心点处，但是世界原点坐标系447可位于任何任意固定位置处。为了描述机器人坐标系448相对于世界原点坐标系447的定向，可将节点线定义为世界原点坐标系447与机器人坐标系448的x-y坐标平面的交叉点。换句话说，节点线为垂直于世界原点坐标系447和机器人坐标系448的z轴的线。那么，角α可定义为世界原点坐标系447的x轴与节点线之间的角，角β可定义为世界原点坐标系447与机器人坐标系448的z轴之间的角，并且角γ可定义为节点线与机器人坐标系448的x轴之间的角。

根据一个实施方案，可动臂405关于世界原点坐标系447的定位(如在图4A中示出的机器人坐标系448)通过方程式1中说明的形式的机器人位置变换矩阵R给出。机器人位置变换矩阵R在图4A中由从世界原点坐标系447延伸至机器人坐标系448的箭头概念性地示出。

$R=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 方程式1

在方程式1中，左上方的三乘三旋转子矩阵(例如，子矩阵r₀₀至r₂₂)表示使给定位置处的可动臂405的定向(例如，图4A中示出的机器人坐标系448)与参考定向(如世界原点坐标系447)联系起来的正交旋转，并且最右列的前三个元素(例如，子矩阵x、y、z)表示可动臂405的位置与参考位置之间的三维偏移。旋转子矩阵(例如，元素r₀₀至r₂₂)的每个元素的值得自欧拉角α、β和γ，如通过分别围绕z轴、y轴和z轴旋转α、β和γ。换句话说，旋转子矩阵的仅三个元素是独立的(例如，角α、β和γ)，并且旋转子矩阵的元素r₀₀至r₂₂是从角α、β和γ的各种正弦和余弦建立的，这为本领域的技术人员已知的。关于从欧拉角α、β和γ生成旋转子矩阵的额外细节可见于来自1981年MITPress出版的RichardPaul的“RobotManipulators：Mathematics，ProgrammingandControl”的第1章“HomogeneousTransformations”中，所述刊物在此以引用的方式整体并入。控制器430优选地将可动臂405的当前位置(例如，图4A中示出的机器人坐标系448)存储在控制器存储器或另一个存储器中，如存储器435中。因此，处理器425可执行查找(例如，询问或查询控制器430或存储器435)来确定如由机器人位置变换矩阵R定义的可动臂405的当前位置。

机器人系统400可进一步包括任何数目的输入/输出装置，如监视器450、键盘455和鼠标460。体表420的放大图像452被示出于成像显示器或监视器450上。另外，系统400可包括在毛囊的采集和/或植入中或在毛发治疗计划中有用的其它工具、装置和部件。系统的各种部分允许操作者监视状况并且根据需要提供指令。例如，系统400可进一步包括被调适来接收图像数据的接口(未图示)。处理器425可通过接口来与相机系统415交互。接口可包括硬件端口、电缆、导线和其它数据传输装置，或所述接口可包括计算机程序。

图4A中示出的相机系统415的一些非限制性实施例包括一个或多个相机，如任何市售相机。示例性图像荻取或成像装置可例如由可动臂405或由任何其它机构或装置固持。当然，各种图像荻取装置或若干装置的组合可与本文中描述的实施例中的任何实施例一起使用。例如，可以按多种方式实现3D视觉，包括但不限于使用多个相机，或使用与外部传感器(如激光测距仪)成对的单个相机。所使用的相机可具有不同大小、颜色/灰度级、可见光/IR或UV等的各种组合。虽然相机系统415优选地包括拍摄静止图像的装置，但是相机系统415还可包括能够实时成像的装置(例如，能够连续地串流实时信息或视频信息的网络相机)，且/或相机系统415还可具有视频记录能力(例如，可携式摄像机)。虽然立体成像装置或多视点成像装置在本发明中为有用的，但是不必使用这样的几何形状或构造，并且本发明并不如此受限。同样地，相机系统415可为数字或模拟的。例如，相机系统415可为获取初始图像的模拟TV相机，所述初始图像然后被处理为数字图像(例如，通过如商用现货帧捕获器的模/数装置)以便进一步使用于本发明的方法中。相机系统415可联接至处理器425以控制成像操作并且处理图像数据。

处理器425优选地作为数据处理装置来操作，所述数据处理装置例如可并入计算机中。处理器425可包括中央处理单元或并行处理器、输入/输出接口、具有程序的存储器，其中所有部件可通过总线连接。此外，计算机可包括输入装置、显示器，并且还可包括一个或多个次级存储装置。总线可在计算机内部，并且可包括用于接收键盘或输入装置的适配器或可包括外部连接。

处理器425可执行程序，所述程序可被配置成包括预定操作和方法，如图8、9、10A、11、14、15、16、19和20中的方法800、900、1000、1100、1400、1500、1600、1900和2000中的一个或多个。处理器425可存取存储器435，在所述存储器中可存储至少一个代码指令序列，所述代码指令包括用于执行预定操作的程序。存储器435和程序可位于计算机内或可位于计算机外部。举例来说而非限制，适合的图像处理器426可为数字处理系统，所述数字处理系统包括一个或多个处理器或其它类型的装置。例如，处理器和/或图像处理器可为控制器或任何类型的个人计算机(PC)。或者，处理器可包括专用集成电路(ASIC)或现场可编程门阵列(FPGA)。技术人员将理解，用于与本发明一起使用的处理器和/或图像处理器被编程并且被配置来执行各种图像处理技术，例如，分割、边缘检测、物体辨识和选择。这些技术通常是已知的并且因而在此不单独描述。

本文中描述的方法可实行于各种一般用途或特殊用途计算系统上。在某些实施方案中，本申请的方法可实行于特殊配置的个人计算机或工作站上。在其它实施方案中，所述方法可实行于一般用途工作站(包括连接至网络的工作站)上。替代地或另外地，本发明的方法可至少部分实行于用于网络装置或一般用途计算装置的卡上。处理器425和/或图像处理器426还可包括本领域中通常已知的存储器、存储装置和其它部件，并且因而在此不需要对其进行详细描述。可结合各种手动的、部分自动的和完全自动的(包括机器人)毛发移植系统和装置来使用图像处理器426，所述毛发移植系统和装置包括但不限于用于毛发采集、植入或移植的系统。

成像显示器装置450可包括高分辨率计算机监视器，所述高分辨率计算机监视器可任选为触模屏。成像显示器可允许图像(如视频图像或静止图像)为可读取的并且对于毛囊单位及其部分为直观的。或者，成像显示器装置450可为其它触敏装置，包括平板计算机、袖珍型PC和其它等离子屏幕。触摸屏可用来直接通过图像显示器装置修改毛发移植程序的参数。

可通过提供修改接口或用户修改接口来执行与本发明一致的方法、设备和系统，所述修改接口包括可点击图标、菜单中的选择按钮、对话框或可被提供以馈给至计算机中的接口的下滚视窗。根据另一个实施方案，成像显示器装置450可例如直接在显示器本身上显示选择视窗和用于输入选择的触笔或键盘。根据一个实施方案，可通过可编程触笔、键盘、鼠标、语音处理系统、激光指示器、触摸屏、遥控装置或其它输入机构经由修改接口输入命令。或者，修改接口可包括一块专用硬件。在一些实施方案中，通过修改接口进行的选择或调整可由可在处理器(例如，计算机处理器)上执行的代码指令来执行。

图4B为示出第一相机系统和第二相机系统的坐标系统与机器人的坐标系统之间的关系的方框图。在图4B中，相机系统415包括两对立体相机470和480，所述两对立体相机可用来捕捉不同(例如，较宽的或较窄的)视场。例如，立体相机对470可包括具有相对高倍放大率的第一相机471和第二相机472，并且立体相机对480可包括具有相对低倍放大率的第一相机481和第二相机482。第一相机471和第二相机472的光轴473和474以及第一相机481和第二相机482的光轴483和484优选地并非安装或维持为平行，而是朝向彼此稍微倾斜或成角度(例如，约10度)。第一相机471和第二相机472优选地对准以具有公共轴(例如，水平x轴或垂直轴y轴)以促进确定物体在立体相机对470的视场内的三维位置。同样地，第一相机481和第二相机482优选地对准以具有公共x轴或y轴。

物体在立体相机对的视场内的三维位置是例如通过比较物体在相应相机坐标系(例如，左侧图像和右侧图像)中的x、y位置偏移之间的差异来确定的。例如，在立体相机对(例如，立体相机对470或480之一)拍摄点490的图片之后，从点490在由所述相机对中的第一相机和第二相机(例如，“左手”相机和“右手”相机)捕捉的图像中的二维位置计算点490在所述相机对的坐标系统中的三维位置。换句话说，因为相应的相机图像水平(或垂直)对准，所以相同物体应出现在两个图像的相同水平扫描线(或垂直扫描线)中。此外，因为正相对于相机镜头成像的物体的深度在已知范围(例如，由相应相机的焦距建立的)内，所以在将物体与第二图像中的可能候选物体(例如，在相同扫描线中)配对以便确定哪一“对”具有在可能范围内的计算深度时，可通过计算物体的有效深度来使第一图像中的选定物体(例如，毛囊)与第二图像中的所述选定物体本身匹配(以进而使图像彼此对准)。关于确定由立体相机对捕捉的物体的三维位置的额外细节可见于由O”Reilly在2008年出版的GraryBradski和AdrianKaehler的“LearningOpenCV：ComputerVisionwiththeOpenCVLibrary”的第12章中，所述刊物在此以引用的方式整体并入。

立体相机对470或480优选地刚性安装或附接至(例如)机器人工具凸缘446(如由实体座架475、476、485和486概念性地示出)，使得固定其相对于彼此的关系。在其它实施方案中，相机可附接在其它位置处，例如，机器人臂上的其它某个地方，或者相机可固定在系统外部的3D空间中。在与相机对470相关联的相机坐标系或坐标系统477中确定(例如，通过图4A中的处理器425或426或图5和图6中的处理器550、610、620和650中的一个或多个)并且报告物体在相机对470的视场内的坐标。类似地，在与相机对480相关联的相机坐标系或坐标系统487中确定并且报告物体在相机对480的视场内的坐标。根据一个实施方案，坐标系统477的z轴平分光轴473与光轴474之间的角，并且坐标系统477的y轴在相机471与相机472的镜头中心之间延伸。同样地，坐标系统487的z轴平分光轴483与光轴484之间的角，并且坐标系统487的y轴在相机481与相机482的镜头中心之间延伸。

根据一个实施方案，点490的坐标由相机对以呈方程式2中例示的形式的数组v，来报告。相机对或与相机对相关联的处理器优选地将点490的坐标存储在如存储器435的存储器中。因此，处理器425可执行查找(例如，询问或查询相机对470或480或存储器435)来确定点490(或另一个物体)的坐标。点490可表示单个校准特征，如相对于图7A至图7C示出的校准特征之一。

$v=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ 方程式2

为了帮助相对于另一个物体(如延伸出患者皮肤表面的毛囊)准确地定位并且定向紧固至工具凸缘446的物体(例如，针)，可能希望校准或确定相机对470的相机坐标系统477与机器人坐标系统448和相机对480的相机坐标系统487与机器人坐标系统448之间的变换，相对于图8更详细地描述所述变换的校准或确定。确定机器人的坐标系统与相机系统的坐标系统之间的变换可用于多种多样的应用(包括移动机器人、医学机器人和工业机器人)中。另外，可能希望校准或确定相机坐标系统477与相机坐标系统487之间的映射，相对于图10A更详细地描述所述映射的校准或确定。确定允许多个相机系统报告公共坐标的映射可用于使用多个相机系统的任何环境(如移动机器人和监视)中。此外，可能希望校准或确定工具凸缘446与工具尖端之间的偏移，相对于图14至图16和图19至图20更详细地描述所述偏移的校准或确定。自动地计算三个维度上的工具尖端位置可用于需要工具尖端的精确定位和旋转的任何环境中。

在确定机器人坐标系统448与相机坐标系统477和487之间的变换之后，可以基于如在相机坐标系统477或487中确定的物体的坐标来相对于相机对470、480或两者的视场内的物体准确地定位可动臂405。换句话说，在使用相机对470或480捕捉毛囊的图像之后，处理器425可确定毛囊相对于可动臂405的定位并且生成指令，所述指令使控制器430将臂405移动至所需的定位和定向(例如，旋转针尖端并且使针与毛囊对准，使得针可沿轴向下行进以便采集毛囊)。

在确定相机坐标系统477与相机坐标系统487之间的映射之后，可以相对于在相机对480的视场内的第二物体的定位确定在相机对470的视场内的第一物体的定位。例如，如果立体相机对480(具有相对低倍放大率)捕捉工作区域周围的基准点或其它目标的图像，并且立体相机对470(具有相对高倍放大率)捕捉毛囊本身的图像，则可以确定毛囊相对于基准点的定位(例如，以便帮助越过患者头皮规划路径)。虽然基准点可位于放置在患者皮肤上的皮肤拉紧器装置上(例如，参见图26中的基准点2622)，但是基准点可包括另一个毛囊、伤疤、放置在皮肤上的人造标记(例如，圆点)，或另一个自然或人造地标。

图5为根据一个实施方案的机器视觉子系统500的方框图。机器视觉子系统500可为较大系统的一部分，所述较大系统诸如为机器人毛发移植机器，如机器人系统400(图4A和图4B)。机器视觉子系统500包括多个相机系统。在图5中示出两个这样的相机系统510和520。每个相机系统510和520优选地为立体相机对，然而不必如此。相机系统510和520可在机器人臂上，所述机器人臂诸如为图1中示出的机器人臂110或图4A中所示的用于毛发移植的可动臂405。然而，机器视觉子系统500可为用于不同应用的另一个系统的一部分。机器视觉子系统500可包括未示出的额外相机系统。

相机系统510和520具有相对于彼此的固定位置，使得使一个相机系统与另一个相机系统联系起来的变换为固定的。图1和图4A中示出的机器人臂110和405就是这种情况。这通常是用于毛发移植的机器人臂的情况。当机器人臂移动时，相机系统510和520一起移动，从而实质上维持其固定的定位关系。如本文中用来修饰相机系统510和520的定位关系的术语“固定的”允许一些较小相对移动，如相机系统的随机振动和较小滑移。只要较小的相对移动足够小使得可以确定并且利用有用的相机系统至相机系统变换，相机系统就为充分“固定的”。一般来说，小于某种小量度(如相机的像素大小)的变化是无意义的，能够在确定变换时被平均掉的较大随机变化也是无意义的。

相机系统510和520具有相应的视场530和540。一个相机可具有比另一个相机的视场大的视场，如图5中所示出，其中相机系统510的视场530比相机系统520的视场540宽。视场530和540完全或部分重叠，使得存在两个相机系统都“看见”的位置。相机系统510和520可具有不同的分辨率。例如，相机系统510可具有比相机系统520低的分辨率。在毛发移植应用中，具有较低分辨率和较宽视场的相机系统510可用来将机器人工具引导至头皮的一般区域，而具有较高分辨率和较窄视场的相机系统520可用来将机器人工具引导至用于毛发提取的特定毛囊并且导向至用于植入的精确位置。

机器视觉子系统500还包括处理器550，所述处理器从相机系统510和520接收图像数据并且处理那些数据。由处理器500执行的处理可包括将一个相机系统的坐标系统中的坐标转换为另一个相机系统的坐标系统中的坐标，确定那个转换应为什么转换，或任何其它图像处理。处理器550可为任何类型的处理器，例如像通用微处理器或数字信号处理器(DSP)。机器视觉子系统500还可包括用于存储由处理器550执行的程序和/或由处理器550处理或生成的数据的一个或多个存储器(未图示)。

因为视场530和540至少部分重叠，所以重叠体积中的物体和位置可由两个相机系统成像。当相机系统510和520生成含有公共特征(例如，看见相同的事物，即使从不同视角、比例、分辨率等)的相应图像并且相机系统510和520在那些相应图像被捕捉所在的时间之间未曾相对于所述特征明显移动时，则可以说所述相应图像为“对应的”。可感知的移动在这个上下文中既大于某种小量度(如像素大小)，又足够大以使定位差异并未由计算中使用的多个图像数据平均掉。来自第一相机系统510和第二相机系统520的对应图像可以同时或几乎同时拍摄，但不必如此。如此处使用的，“对应特征”指代对应图像中的相同特征。来自不同相机系统的对应特征将通常由于每个相机系统自已的独特定位、指向、比例、变焦距和/或分辨率而在每个相机系统中具有不同的局部坐标。

图6为根据另一个实施方案的机器视觉子系统600的方框图。机器视觉子系统600可为较大系统的一部分，所述较大系统诸如为机器人毛发移植机器，如机器人系统400(图4A和图4B)。除了机器视觉子系统600另外包括与相机系统510相关联的处理器610和与相机系统520相关联的处理器620之外，图6中的机器视觉子系统600类似于图5中的机器视觉子系统500。处理器610和620可分别集成至相机系统510和520中，或者处理器610和620可为单独的。处理器610和620可执行单个处理器550在图5中的机器视觉子系统500中执行的处理中的一些。处理器650为机器视觉子系统600中的中央处理器，并且可执行相机特定的处理器610和620没有执行的其它处理。例如，处理器610和620中的每一个可以生成特征在其相关联的相机系统的局部坐标系统中的局部坐标，而中央处理器650在这两个局部坐标系统之间或在一个局部相机系统的坐标系统与如机器人的坐标系统的另一个坐标系统之间转换。

图7A至图7C为示出可在校准相机坐标系统与机器人坐标系统和一个相机坐标系统与另一个相机坐标系统时使用的各种示例性校准特征的图。图7A示出棋盘校准目标700，所述棋盘校准目标包括具有48个内部拐角710的7×9图案。内部拐角710定义各个校准特征(例如，内部拐角710之一可表示图4B中示出的点490)，并且优选地彼此间隔预定距离。根据一个实施方案，棋盘校准目标700包括玻璃上铬目标。根据其它实施方案的棋盘校准目标可包括额外的或较少的内部拐角。图7B和图7C示出点质心板准目标720和740。点质心校准目标720包括30个点质心730，所述30个点质心定义各个校准特征并且优选地彼此间隔预定距离。同样地，点质心校准目标740包括6个点质心750，所述6个点质心定义各个校准特征并且优选地彼此间隔预定距离。根据其它实施方案的点质心校准目标可包括额外的或较少的点质心。

图8为根据一个实施方案的用于确定机器人的坐标系统与相机的坐标系统之间的变换的方法800的流程图。为了有助于相对于另一个物体(如延伸出患者皮肤表面的毛囊)精确地定位和定向固定至工具凸缘446的物体(如采集或植入工具410(图4A))，方法800可用来校准并且进而生成用于补偿机器人坐标系统448(图4B)与一个或多个相机坐标系统477和487之间的位置和旋转偏移的信息。首先，将目标(如校准目标700、720和740(图7A至图7C)中的一者)定位在如相机系统415(图4B)等相机系统的视场内，使得校准特征在焦点内。这可以通过将目标放置在视场内或者通过移动相机系统直到目标进入视场内来完成。相机系统可以包括单个相机、一对立体相机或一对以上立体相机(例如，图4B中示出的相机对470和480中的一个或一个以上)。

在步骤810处，将机器人的可动臂(例如，图1或图4A中的可动臂110或405)围绕目标定位在多个图像捕捉位置处，使得目标在各个图像捕捉位置处在相机系统的视场内(并且优选地在焦点上)。可动臂优选地围绕目标旋转并且相对于目标从一个图像捕捉位置平移到另一个图像捕捉位置。例如，各个图像捕捉位置可以大致位于具有近似与目标重合的中心点的球体表面上。换句话说，可动臂沿着球体表面旋转，同时着眼于目标，所述目标定位在球体的中心处。除了使可动臂相对于目标平移之外使可动臂围绕目标旋转允许系统确定将相机系统的坐标系统中的小运动转换为机器人的坐标系统中的小运动的变换。虽然各个图像捕捉位置可以位于球体或半球体的任意点处，但所述图像捕捉位置可被限制在球体的某个区域上。例如，假设相机系统的轴从垂直于目标(例如，棋盘校准目标700)的位置开始，那么可动臂可以在每个方向上旋转最多大约45度。在某些实施方案中，可动臂相对于目标从一个图像捕捉位置径向移动到另一个图像捕捉位置(例如，靠近或远离目标)。在步骤810处，可以将可动臂定位到任意数目的图像捕捉位置，但方法800优选地使用三至六个图像捕捉位置来实行。根据一个实施方案，预先确定图像捕捉位置并且将其存储在存储器(例如，图4A中的存储器435)中。

在各个图像捕捉位置处，方法800使用相机系统来捕捉目标的一组图像(例如，一个或多个图像)并且在机器人的坐标系统(例如，图4A和图4B中的坐标系统448)中记录可动臂的位置(步骤820)。例如，在各个图像捕捉位置处，处理器(如处理器425(图4A))可以指示相机系统捕捉目标的一个或多个图像并且执行查找(例如，询问或查询控制器430或存储器435)来确定可动臂405的当前位置。在某些实施方案中，记录在机器人臂的多个位置、目标的多个位置或机器人臂的多个位置和目标的多个位置处的多个图像。例如，可以通过保持机器人的可动臂静止并旋转、移动和/或倾斜校准板、保持校准板静止并重新定位/定向机器人的可动臂或者旋转、移动和/或倾斜校准板并重新定位/定向机器人的可动臂来执行校准。在各个图像捕捉位置处的可动臂的位置(和/或校准板/目标的位置)可以在适当的数据结构中与在那个图像捕捉位置处捕捉的图像相关联并且存储在存储器(如存储器435)中，使得稍后可以存取并处理在所述各个图像捕捉位置处的图像和可动臂位置(和/或校准板的位置)。

在步骤830处，在相机系统的坐标系统(例如，图4B中的坐标系统477或487)中确定目标的一组校准特征的坐标。方法800所使用的所述组校准特征可以是如参考图7A和图7B所描述的内棋盘角710或点质心730和750等校准特征。根据一个实施方案，步骤830包括识别所述组图像中的目标的所述组校准特征并且计算所述组中的校准特征的三维位置。校准特征的三维位置可以从如参考图4B所描述的立体相机对中的第一相机和第二相机所捕捉的图像中的校准特征的二维位置计算出。根据另一个实施方案，所述组校准特征的坐标是在步骤830处通过执行查找函数来确定的。例如，在捕捉图像之后，相机系统或与相机系统相关联的处理器可以自动计算校准特征的坐标并且将其存储在存储器(如存储器435)中。因此，处理器425可以执行查找(例如，询问或查询相机系统415或存储器435)来确定校准特征的坐标。目标可以包括任意数目的校准特征，但是在所提供的实施例中，方法800优选地使用2至48个校准特征来实行。

在步骤830处确定校准特征的坐标之后，在步骤840处基于在各个图像捕捉位置处的可动臂的位置(和/或目标的位置)以及所述组校准特征的坐标来确定机器人的坐标系统(例如，图4A和图4B中的坐标系统448)与相机的坐标系统(例如，图4B中的坐标系统477或487)之间的变换或关系。例如，可以通过将在每个图像捕捉位置处的可动臂的位置和所述组校准特征的坐标与在每个其它图像捕捉位置处的可动臂的位置和所述组校准特征的坐标进行比较来确定所述变换。

根据一个实施方案，固定目标的位置并且步骤840包括迭代地为机器人的坐标系统与相机系统的坐标系统之间的变换选择值并且比较(A)在一个图像捕捉位置处的用于所述变换的选定值、可动臂的位置和校准特征的坐标的乘积与(B)在另一个图像捕捉位置处的用于所述变换的选定值、可动臂的位置和对应校准特征的坐标的乘积，从而确定使(A)与(B)之间的差值最小化的用于所述变换的值。

根据方程式3，机器人的坐标系统与相机的坐标系统之间的变换可以采用变换矩阵的形式，这个变换矩阵可以用T表示，它将坐标从机器人的坐标系统变换到相机的坐标系统，且反之亦然。

$T:=\min \left({\mathrm{\Σ}}_{i=2}^m{\mathrm{\Σ}}_{j=1}^{(i-1)}{\mathrm{\Σ}}_{k=1}^n\right||R_i{\mathrm{Tv}}_{\mathrm{ik}}-R_j{\mathrm{Tv}}_{\mathrm{jk}}|\left|\right)$

方程式3

用于寻找T的一种技术是使量最小化，其中i和j对应于各个图像捕捉位置的不同情况，i的值在2至m的范围内，j的值在1至(i-1)的范围内，k对应于所述组校准特征中的各个校准特征并且值在1至n的范围内，R_i是在各个图像捕捉位置i处的可动臂的位置，v_ik是在相机系统的坐标系统中确定的在第i个图像捕捉位置处的第k个校准特征的坐标，R_j是在各个图像捕捉位置j处的可动臂的位置，且v_jk是在相机系统的坐标系统中确定的在第j个图像捕捉位置处的第k个校准特征的坐标。正如早先讨论的，方法800可以使用任意数目m的图像捕捉位置和任意数目n的校准特征来实行。根据一个实施方案，方法800是使用三至六个图像捕捉位置和2至48个校准特征来实行的。

因为目标是固定的(例如，目标没有明显地从一个图像捕捉位置移动到另一个图像捕捉位置)，所以当在一个图像捕捉位置与不同的图像捕捉位置之间比较校准特征位置并且臂已经移动时，量R_iTv_ik-R_jTv_jk应该是零或者尽可能接近零。换句话说，选择的T应使量R_iTv_ik-R_jTv_jk最小化。

方程式3还可以表达为 $T:=\min \left({\mathrm{\Σ}}_{i=1}^m{\mathrm{\Σ}}_{j=1}^m{\mathrm{\Σ}}_{k=1}^n\right||R_i{\mathrm{Tv}}_{\mathrm{ik}}-R_j{\mathrm{Tv}}_{\mathrm{jk}}|\left|\right),$ 其中j≠i。在某些实施方案中，j可以等于i，在这种情况下，实际上将相同图像与其本身进行比较并且量R_iTv_ik-R_jTv_jk应该是零。将图像与其本身进行比较不会有助于驱动下面描述的最优化算法，因此可能希望跳过j＝i的计算以有助于节省计算资源。此外，函数||R_iTv_ik-R_jTv_jk||可以包括任何距离函数或测量。

根据一个实施方案，可动臂的位置包括上述方程式1中表达的形式的机器人位置变换矩阵R，其中左上方的三乘三旋转子矩阵(例如，子矩阵r₀₀至r₂₂)表示将在各个图像捕捉位置处的可动臂的定向与参考定向(如世界原点坐标系447(图4A))相关联的正交旋转，并且子矩阵x、y、z表示可动臂的位置与参考位置之间的三维偏移。各个校准特征的坐标可以包括上述方程式2中所说明的形式的数组v。

变换矩阵T可以包括例如4×4矩阵，如方程式4中所说明的形式的矩阵，其中左上方的三乘三旋转子矩阵(例如，子矩阵r₀₀至r₂₂)表示机器人的坐标系统与相机系统的坐标系统之间的旋转关系并且得自上文参考上述方程式1描述的三个旋转偏移α、β和γ，并且子矩阵x、y、z表示机器人的坐标系统与相机系统的坐标系统之间的平移偏移x、y和z。换句话说，变换矩阵T指定机器人的坐标系统与相机系统的坐标系统之间的旋转和平移关系(例如，相机系统的视场中的运动怎样与机器人的坐标系统中的运动相关联)。

$T=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 方程式4

方程式4中所说明的变换矩阵T包括六个独立值，其中三个是平移偏移x、y和z，其它三个是旋转偏移α、β和γ。用于变换矩阵T的旋转偏移α、β和γ以及平移偏移x、y和z的值优选地使用适当的最小化程序或最优化算法(如最速下降最优化算法、模拟退火算法或最佳拟合算法)来确定。最优化算法有助于从一组可用方案中确定六个独立值中的每一个的合适值。方法800的步骤810至830生成用来驱动最优化算法的数据以计算变换矩阵T。在步骤810处除了相对于目标平移可动臂之外围绕目标旋转可动臂有助于提供解答方程式3并且定义相机系统的坐标系统与机器人的坐标系统之间的关系的丰富数据集。

方法800可以用来确定多个相机系统坐标系统与机器人的坐标系统之间的变换。例如，方法800可以确定指定机器人的坐标系统448(图4B)与相机对470的相机坐标系统477之间的旋转和平移关系的第一变换T₁以及指定机器人的坐标系统448与相机对480的相机坐标系统487之间的旋转和平移关系的第二变换T₂。在图10B中通过从机器人的坐标系统448延伸到相机坐标系统477的箭头在概念上说明变换矩阵T₁。类似地，在图10B中通过从机器人的坐标系统448延伸到相机坐标系统487的箭头在概念上说明变换矩阵T₂。可以重复步骤810至840中的一个或多个来确定第一变换T₁和第二变换T₂。例如，可以同时执行步骤810、820和830来生成用以驱动最优化算法的数据，并且可以将步骤840重复两次来计算变换矩阵T₁和T₂。作为又一个方案，可以使步骤840循环返回到步骤810和820以收集额外数据，从而通过使用迭代算法来进一步改进变换，其中一个迭代是在每次通过步骤840期间完成的，使得每个迭代接连地更加接近答案。在这种方法中可以使用的迭代算法的实施例包括递归最小二乘法(RLS)、最小均方(LMS)和梯度下降。

在步骤840处无论以什么形式确定变换之后，方法800可任选地将那个变换存储在存储器(如存储器435)中以供稍后使用。替代地或另外地，方法800可将所述变换传输到所要的位置或将其显示在适当的显示装置(如显示器450)上。此外，如果系统包括多个相机系统，那么方法800可额外地确定相机坐标系统之间的映射，相对于图10A更详细地描述所述映射的确定。根据一个实施方案，执行方法800而无需使工具或工具尖端接触校准点(例如，没有将机器人臂从归属定位和定向移动到工具或工具尖端接触校准点的定位)。

步骤810至840中的一个或多个可以在没有用户干涉的情况下自动执行。此外，方法800及其步骤可使用各种结构来实行。例如，定位步骤810可使用处理器425(图4A)、控制器430和位于可动臂405的相应臂接合点中的电动机与编码器中的一个或多个来执行。在步骤820处捕捉所述组图像可使用相机系统(如相机系统415)来执行，并且在步骤820处记录可动臂的位置可使用处理器425、控制器430和存储器435中的一个或多个来执行。坐标确定步骤830和变换确定步骤840可使用一个或多个处理器来执行，如处理器425或图像处理器426。步骤810至840可按任何次序或并行(例如，同时)执行。此外，可省略和/或用其它步骤替换步骤810至840中的一个或多个。例如，步骤810和820可独立和单独地执行，使得方法800可用从已经存在的一组所捕捉图像和所记录位置“确定坐标...”(例如，步骤830)开始。在一些实施方案中，可接收、接受或存取(例如，从存储器(如存储器435)存取)在各个图像捕捉位置处的校准板/目标的定位(和/或可动臂的定位)和在图像捕捉位置处捕捉的图像。在接收、接受或存取可动臂的定位(和/或校准板/目标的定位)和在图像捕捉位置处捕捉的图像之后，方法800可执行坐标确定步骤830和变换确定步骤840。

在通过方法800或另一种适当方法确定一个或多个变换(例如，变换矩阵T₁和T₂)之后，可利用所述变换来容易地在机器人的坐标系统与相机系统的坐标系统之间转换坐标。图9中示出一种此类转换，图9是用于使用通过图8中示出的方法所确定的变换来在毛发提取/植入程序期间定位末端执行器工具组件的方法900的流程图。在任选的步骤910处，方法900可使用具有坐标系统的相机系统捕捉体表的一个或多个图像。在某些实施方案中，方法900可(例如)通过在体表的图像(已经由相机系统捕捉的)中识别在相机系统的坐标系统中的一个或多个关注特征的坐标来以步骤920开始。例如，这些捕捉的图像可预先或同时接收或接受或从存储器中存取。例如，关注特征可以是毛发移植物的毛囊或植入位点。根据一个实施方案，步骤920包括识别图像中的关注特征并且计算关注特征的三维位置。关注特征的三维位置可以从立体相机对中的第一相机和第二相机捕捉的图像中的关注特征的二维位置来计算，如参考图4B所描述。根据另一个实施方案，在步骤920处通过执行查找功能(例如，询问或查询图4A中的相机系统415或存储器435)以确定关注特征的坐标来确定所述关注特征的坐标。

方法900还可以在步骤930处检索由方法800确定(例如，通过在存储器435中执行查找)的变换(例如，变换矩阵T₁和T₂之一)并且将关注特征的坐标从相机系统的坐标系统变换到机器人的坐标系统。将关注特征的坐标从相机系统的坐标系统变换到机器人的坐标系统可由方程式5确定，其中T是变换矩阵(例如，由方法800确定)，v_C是在相机系统的坐标系统中确定的关注特征的坐标，V_R是在机器人的坐标系统中的关注特征相对于机器人凸缘446的坐标。

v_R＝T·v_C方程式5

在步骤940处，将可动臂定位在邻近于关注特征处。例如，基于在机器人的坐标系统中的关注特征的坐标，处理器425可生成致使控制器430将臂405移动到相对于关注特征的所要定位和定向的指令。如果关注特征是毛囊，那么处理器425可以生成致使控制器430相对于毛囊单位旋转并定位安装至可动臂上的采集工具，使得采集工具能够采集所述毛囊单位。应该注意的是，方法900的步骤可按不同于所展示的次序或同时执行而不是依次执行。

图10A是根据一个实施方案的用于确定两个相机系统之间的坐标变换或映射的方法1000的流程图。如下面参考图11所解释的，所得的坐标变换可用于将第一相机系统的坐标系统中的坐标变换成第二相机系统的坐标系统，或反之亦然。方法1000是用于确定所述变换的过程。例如，第一相机系统和第二相机系统可以是图5或图6中示出的相机系统510和520。第一相机系统和第二相机系统具有至少部分重叠的视场，使得它们可以生成对应特征的对应图像。第一相机系统和第二相机系统可以各自是立体相机对；它们的视场的大小可以不同；且/或它们可以被安装至机器人臂上，如用于毛发采集和/或植入的机器人臂。

在任选的步骤1010和1020处，方法1000可从每个相机系统捕捉图像。在某些实施方案中，这些图像可以被接收、存取或接受，例如，如上文参考图8和图9所提及。在步骤1015和1025中，方法1000确定图像中的对应特征的局部坐标。使用对应特征的那些不同坐标，方法1000确定相机系统的坐标系统之间的映射(步骤1030)并且将那个映射存储在存储器中(1040)。步骤1015、1025和1030是由一个或多个处理器执行的，如图5或图6中示出的处理器。正如本文件中其它地方所解释，如上文参考图7A至图7C所解释，方法1000所使用的特征可以是校准特征，如棋盘角或点质心。

现在将更详细地描述方法1000的每个步骤。在任选的步骤1010处，方法1000可使用第一相机系统捕捉一个或多个图像。在某些实施方案中，可如上所述接收、存取或接受一个或多个图像，使得方法1000可从由第一相机系统捕捉的图像确定第一相机系统的坐标系统中的特征的坐标(步骤1015)。在任选的步骤1020处，方法1000还可使用第二相机系统来捕捉一个或多个图像。在某些实施方案中，可以接收、存取或接受一个或多个图像，使得方法1000可从由第二相机系统捕捉的图像确定第二相机系统的坐标系统中的特征的坐标(步骤1025)。如图所示，步骤1010、1015、1020和1025可以并行地执行。事实上，步骤1010和1020可以同时或几乎同时执行，以便产生对应图像。或者，步骤1010、1015、1020和1025可按产生具有对应特征的对应图像的任何可行次序依次执行。那些步骤的目标是生成在来自第一相机系统和第二相机系统的对应图像对中找到的对应特征的坐标集合。换句话说，那些步骤产生在第一相机系统的坐标系统中的第一特征坐标集合以及在第二相机系统的坐标系统中的对应第二坐标集合。

使用数学符号来指代图像、那些图像中的特征以及每个坐标系统中的那些特征的坐标是可能的，也是有远见的。符号v₁和v₂可分别用于表示第一相机系统和第二相机系统的坐标系统中的坐标。例如，v₁和v₂各自可以是呈类似于方程式2中指定的形式的形式的坐标矢量，方程式2是用于表示三维坐标的有用形式，作为立体相机对的相机系统会产生这种三维坐标。还可以使用v₁和v₂的坐标的其它形式，包括具有较少维度的形式。

可以使用额外的索引来指定图像和特征。例如，可以使用下一个索引j来指定图像，其中来自第一相机系统和第二相机系统中的每一个的对应图像的数目是m，对于j＝1...m，来自第一相机系统的第j个图像和来自第二相机系统的第j个图像彼此对应。此外，可以使用下一个索引k来指定图像中的特征，其中在每个图像中确定坐标的特征的数目是n。根据这种标记法，在第一相机系统的坐标系统中确定的第一特征坐标集合是{v_1jk}，并且在第二相机系统的坐标系统中确定的第二特征坐标集合是{v_2jk}，其中j是在图像1...m当中的第j个图像的索引，k是第j个图像中的特征1...n当中的第k个特征的索引。

方法1000可操作用于m≥1和n≥2以及mn≥6的任意值。换句话说，方法1000对来自每个相机系统的少至单个图像以及最少两个不同特征起作用，只要图像乘以每个图像的特征的乘积至少是六。额外的特征和/或图像生成额外的数据，这使方法1000更加准确。在一个实施方案中，m＝48并且n＝6，从而产生288对特征坐标。

方法1000的步骤1030基于第一特征坐标集合和第二特征坐标集合(例如，{v_1jk}和{v_2jk})来确定从一个相机系统的坐标系统到另一个相机系统的坐标系统的映射或变换。所述映射或变换可以采用变换矩阵的形式，它可以表示为Q，所述变换矩阵如下将坐标从第二坐标系统(例如，图4B和图10B中示出的坐标系统487)变换到第一坐标系统(例如，图4B和图10B中示出的坐标系统477)：

v₁＝Q*v₂

方程式6

用于寻找Q的一种技术是使量最小化，其中d是距离函数，例如，L²范数距离函数d＝||Qv_2jk-v_1jk||或d＝||Qv_2jk-v_1jk||²。可以替代地使用任何最优化技术来寻找Q。作为又一个方案，可以使步骤1030循环返回步骤1010和1020以收集额外数据，从而通过使用迭代算法来进一步改进映射，其中一个迭代是在每次通过步骤1030期间完成的，使得每次迭代接连地更加接近答案。在这种方法中可以使用的这代算法的实施例包括递归最小二乘法(RLS)、最小均方(LMS)和梯度下降。

一旦通过步骤1030无论以什么形式确定了映射或变换，方法1000就可以任选地将那个映射存储在存储器中(步骤1040)以供稍后使用。或者，例如，方法1000可以改为将所述映射传输到所要的位置或将其显示在适当的显示装置上。

方法1000及其步骤可以使用各种结构来实行。例如，图像捕捉步骤1010和1020可使用相机系统来执行，如图5或图6中所示的相机系统510和520；坐标确定步骤1015和1025可使用一个或多个处理器来执行，如图5中的处理器550或图6中的处理器610和620；并且映射确定步骤1030可使用处理器来执行，如图5中的处理器550或图6中的处理器650。

在图10B中通过从坐标系统477向坐标系统487延伸的箭头在概念上说明将坐标从第二坐标系统(例如，坐标系统487)映射到第一坐标系统(例如，坐标系统477)的坐标变换矩阵Q。除了图10B在概念上说明坐标变换矩阵Q、T₁和T₂之外，图10B大体上与图4B相似。在图10B中，立体相机对470是参考图10A描述的第一相机系统的实施例。类似地，图10B中示出的立体相机对480是参考图10A描述的第二相机系统的实施例。图10B中从机器人的坐标系统448向相机坐标系统477延伸的箭头在概念上说明变换矩阵T₁，所述变换矩阵T₁指定相机对470的相机坐标系统477与机器人的坐标系统448之间的旋转和平移关系。类似地，图10B中从机器人的坐标系统448向相机坐标系统487延伸的箭头在概念上说明变换矩阵T₂，所述变换矩阵T₂指定相机对480的相机坐标系统487与机器人的坐标系统448之间的旋转和平移关系。

因为相机坐标系统477和487是不一致的，所以立体相机对470和480观察和报告的特征将具有彼此不同的坐标v₁和v₂。可能希望使两个相机对470和480返回的坐标在操作容许误差之内是相同的(例如，使相机对470返回的点490的坐标与相机对480返回的点490的坐标相同或大致相同)。这可以通过用修正方程式R*(T₂*Q^-1)*(Q*v₂)替换用于视觉特征的位置的方程式R*T₂*v₂来实现，其中Q是将立体相机对480返回的视觉坐标映射到立体相机对470返回的相同坐标的变换。例如，规划采集哪些毛囊的自动算法可在栅格中使用全局坐标系统(例如，相对于皮肤拉紧装置的定位和定向的全局坐标系统)跟踪所有毛囊。可以使用较高倍放大率相机坐标系统寻找、跟踪每个毛囊并且将其添加到全局坐标系统中。在计算出坐标变换矩阵Q(例如，使用方法1000)之后，相机对480的相机坐标系统487与机器人的坐标系统448之间的机器人到相机变换可以被计算为T′₂＝T₂*Q^-1，并且第二相机对480返回的坐标可以被报告为v′₂＝Q*v₂。通过使用变换矩阵Q来调整相机对480报告的视觉特征坐标，相机对470和480报告的关注特征的坐标应该相同或大致相同。例如，可以使用相机对2(例如，低倍放大率相机对)寻找目标的位置并且使用v₁＝Q*v₂将其转换成相机对1(例如，高倍放大率相机对)的坐标系统，这可以(例如)允许相机对1定位毛囊，以便相对于用于采集的毛囊定向机器人臂。借助于另一个实施例，如果相机对1(例如，高倍放大率相机对)报告采集位点位置，那么相机对2(例如，低倍放大率相机对)可以使用v₂＝Q^-1*v₁来寻找所述采集位点。

如果三个坐标变换矩阵Q、T₁和T₂中的两个是已知的(例如，使用方法800、1000或两者来计算)，那么可有可能从所述两个已知变换确定第三个变换。例如，如果使用方法1000计算出变换矩阵Q并且使用方法800计算出变换矩阵T₂，那么可以将变换矩阵T₁(或T₁的近似值)计算为T₁＝T₂*Q^-1。从所述两个已知变换确定第三个变换可有助于节省计算资源。例如，从Q^-1和T₂导出T₁可以帮助避免不得不使用最优化算法来计算变换矩阵T₁。

在通过方法1000或另一种适当方法确定映射(例如，变换矩阵Q)之后，接着可以使用那个映射来容易地在第一相机系统与第二相机系统的坐标系统之间转换。图11中示出一个此类转换，图11是根据一个实施方案的用于在两个不同相机系统之间变换坐标的方法1100的流程图。在任选的步骤1110处，方法1100可使用具有一个坐标系统的相机系统捕捉一个或多个图像。在某些实施方案中，可以用与参考图8、9和10描述的方式类似的方式接收、存取或接受所述一个或多个图像，使得方法1100存取在那个坐标系统中的来自图像的关注特征的坐标(步骤1120)(例如，v₂)。关注特征可以是毛发移植物的毛囊或植入位点。在二维相机系统的情况下，确定坐标可像基于像素计数确定与参考的X和Y偏移一样简单。在立体相机对的情况下，用于确定三维坐标的技术在本领域中是众所周知的。方法1100还检索映射(例如，Q)(步骤1130)，如通过方法1000确定的映射，并且将坐标从局部相机系统的坐标系统变换到另一个相机系统的坐标系统(步骤1140)(例如，v₁＝Q*v₂)。方法1100按需要继续使用变换的坐标(例如，v₂)。应该注意的是，方法1100的步骤可以按不同于所示出的次序或同时执行而不是依次执行。例如，映射检索步骤1130可以在早于图11中所示的任何时间处执行。

图12是示例性针组件1200的图，所述针组件可以作为用于例如在毛发采集程序中使用的末端执行器组件(例如，见参考图4A描述的工具410)的一部分附接到机器人臂(例如，见分别参考图1和图4A描述的机器人臂110或405)上。如图12所示并且如下所述，针组件1200上的各种特征可以用作为工具位置校准例程的一部分的机器视觉操作来定位。在某些配置中，针组件1200可以包括外针(“穿孔器”)1210和共轴内针1220。针1220通常是带有相对锋利的远端尖端1280的圆柱形。这个针的大小被设计成装配在穿孔器1210的内腔内。穿孔器1210可包括带有侧面1252和1254的主圆柱形部分1250，所述侧面通过弯曲肩部1270过渡到带有侧壁1222和1224的较窄圆柱形远端部分。穿孔器1210还包括远端尖端1240。虽然示出为具有大致平行的侧面，但将明显的是可以使用任何形状的针或穿孔器，例如，朝向远端末端逐渐变细的针或穿孔器。针组件1200可以沿着由中心线1290表示的平移运动轴伸出或缩回。此外，针1220可以沿着中心线1290在穿孔器1210内部伸出和缩回。例如，图13示出来自相机系统(例如，见参考图4A描述的相机系统415)的示例性图像1300，其描绘针1220伸出至对应于(例如)皮肤平面的位置，而穿孔器1210不在相机的视场内。

图14示出描绘工具位置校准方法1400的实施例的流程图。与图8至图11的描述相似，步骤1410是任选的。方法1400可包括用相机系统(如相机系统415)捕捉图像数据的步骤，或者所述方法可包括(例如)从现有图像数据确定工具尖端位置。在某些实施方案中，图像数据可被接收、存取或接受，如先前描述。图像数据可以表示末端执行器工具，并且所述数据可包括来自先前讨论的立体相机对470或480的一对图像。根据一个实施方案，图像数据可表示针组件1200的至少某个部分，或者如果使用工具组件的单穿孔器配置，那么表示单个针或穿孔器。

方法1400继续到步骤1420，所述步骤1420包括确定工具尖端在相机系统的坐标系统中的位置。在示例性立体相机对470中，在坐标系统477内确定工具尖端1280(例如，针1220的尖端1280，或穿孔器1210的尖端1240)的位置。如上文相对于图12所指出的，相机系统可定位其它可见特征，并且工具尖端(如尖端1280)只是可以使用机器视觉方法定位的工具特征的一个实施例。所确定的位置可包括根据标准(先前描述的)过程从位于立体相机图像内的点(例如，参见点490)的一对二维位置获得的三维坐标。

一旦已经在相机系统的坐标系统中确定工具位置，方法1400就继续到步骤1460，所述步骤1460包括使工具位置从相机系统的坐标系统转化为机器人的坐标系统(例如，图4A和图4B中的坐标系统448)。使用准确的工具位置校准，经过转化的位置可用于确定与机器人凸缘446的偏移，处理器425使用所述偏移来指示机器人臂405移动末端执行器工具组件410，使得所述工具(例如，针组件1200)可以执行采集操作。根据一个实施方案，所述转化可以如下计算：

t_rob＝T*t_cam方程式7

其中t_cam是确定的工具位置，T是相机的变换矩阵(例如，根据方程式3确定的机器人的坐标系统与相机的坐标系统之间的变换)，并且t_rob是关于机器人工具凸缘446的工具位置。

方法1400及其步骤可以使用各种结构来实行。例如，图像捕捉步骤1410可使用相机系统(如相机系统415)来执行，并且位置确定步骤1420和位置转化步骤1460可使用一个或多个处理器(如处理器425或图像处理器426)来执行。步骤1410、1420和1460可按任何次序或并行(例如，同时)执行。

图15示出描绘用于执行方法1400(图14)的步骤1420的示例性方法1500的流程图。步骤1521包括从图像数据检测对应于在相机系统的视场内的工具的侧面的第一外周侧壁边缘段和第二外周侧壁边缘段。在示例性针组件1200(图12)中，例如，可以检测到侧面1252和1254并且用线段表示，且/或可以检测到侧面1222和1224并且表示为线段。

接下来，步骤1526包括基于所检测到的第一外周侧壁边缘段与第二外周侧壁边缘段之间的平均值来计算中心线。在示例性针组件1200中，中心线1290可被计算为侧面1252与1254之间的平均距离。

步骤1528包括在相机系统的坐标系统中沿着中心线定位工具的远端末端的空间位置。在示例性针组件1200中，针1220和穿孔器1210通常是笔直的。因此，当准确地计算出中心线1290时，针1220的尖端1280或穿孔器1210的尖端1240通常将沿中心线1290定位，例如，在侧面1222、1224或1252、1254之间。例如，可以由沿着中心线1290的图像数据的改变(例如，如下文相对于图16讨论的数据转变点)来定位工具尖端(如尖端1240)。在一种替代方法(未图示)中，可以确定表示针组件1200的数据的质量中心或质心，并且位于距离质量中心最远的点可以对应于工具尖端。

方法1500及其步骤可以使用各种结构来实行。例如，步骤1521、1526和1528可以使用一个或多个处理器(如处理器425或图像处理器426)来执行。步骤1521、1526和1528可以按任何次序或并行(例如，同时)执行。

图16示出描绘用于执行方法1500(图15)的步骤1521的示例性方法1600的流程图。步骤1622包括在图像数据的各个行中定位第一数据转变和第二数据转变以建立第一数据转变集合和第二数据转变集合。例如，图17A和图17B分别以灰阶格式1710和二值化格式1720示出穿孔器1210的图像1700。根据图17A中示出的一个实施方案，数据转变可被识别为沿着数字图象1700的像素行从浅色到深色的转变。数字图象1700可被表示为像素强度矩阵，在这种情况下数据转变可以由沿着矩阵的行的数据值的方差来识别。方法1600及其步骤可以使用各种结构来实行。例如，步骤1622和1623可以使用一个或多个处理器(如处理器425或图像处理器426)来执行。步骤1622和1623可以按任何次序或并行(例如，同时)执行。

为了定位数据转变，可以横越图像1700中的像素行以定位对应于工具的相对侧面的第一所检测到的转变和第二所检测到的转变。可以将第一转变和第二转变记录在相应的第一转变集合和第二转变集合中。取决于图像数据的分辨率，可以横越整个图像的每个行；然而，在某些实施方案中，跳过某些行可以提高方法的准确性。例如，表示弯曲肩部1270的数据转变不会与侧面1252和1254大致平行，因此记录这些数据转变可能会增加确定沿着所计算出的中心线1290的工具尖端1240的位置的误差。因此，可以通过跳过中间行来横越所述行的子集，或者可以横越已知具有表示侧面1252和1254(或侧面1222和1224)的转变的图像的子区，例如，图像1700的下半部。

如图17B的实施例中所示，可以通过预处理图像数据来使数据转变更加明了。在一个实施例中，可以将工具的图像二值化，例如，转换成黑色和白色，或者转换成两种颜色，其中第一种颜色表示低于(或等于)阈值的所有像素值并且另一种色值表示超过阈值的所有像素值。确定合适的阈值取决于阴影效应、照明、反射率和透视变形(下文相对于图18A和图18B来讨论)的量。因此，图像预处理是任选的，并且可以使用灰阶边缘检测来定位数据转变。在另一个实施例中，最初通过分段来确定数据转变位置，并且随后可以使用边缘检测技术。可以针对每个行(例如，在小范围内)在初始分段数据转变位置周围执行搜索，以定位找到边缘的位置。随后，可以应用边缘检测算子，如基于梯度的检测器、苏贝尔算子(Sobeloperator)等。

步骤1623包括通过从第一数据转变集合执行第一回归并且从第二数据转变集合执行第二回归来计算第一外周侧壁边缘段和第二外周侧壁边缘段。可以使用各种估算方法来计算所述回归，例如，普通最小二乘法。

回归计算有助于基于各个所检测到的数据转变来提供拟合线段，所述数据转变可能由于各种原因而未彼此精确地对准或者不与实际外周侧壁对准。例如，当相机470固定到末端执行器工具组件410上时，相机的光路可能不与针组件1200的平移运动轴完全共线。因此，可能在相机470的视场中存在针组件1200的大量透视变形或模糊。换句话说，针组件1200的中心线1290可能不与相机的光路完全平行，从而导致工具的尖端(例如，穿孔器1240)在相机的z轴中比针组件1200的相对末端更远。事实上，尖端1240或1280的z轴距离可能超过一些高倍放大率相机镜头的聚焦深度。因此，在任何给定时刻，例如，只有主圆柱形部分1250的相对较小部分可位于灵敏聚焦中。那可能会产生如图18A所示的模糊的且较难以检测的由浅到深的转变。此外，穿孔器1210不是带有锐利的可检测角的平坦表面。如图17B所示，例如，末端执行器工具的可见部分或表示弯曲肩部1270的任何数据转变未与纵轴大致平行，并且可能会在计算用于定位工具尖端1240的中心线1290时引入误差。因此，可以使用回归计算来近似穿孔器1210的边缘1252和1254(或1222和1224)。

在一些实施方案中，工具(如穿孔器1210)可从相机轴倾斜，从而导致沿着穿孔器1210的长度不均匀的主圆柱形部分1250的透视变形。例如，在图18A和图18B中，由于透视变形，在图像1810以及对应的预处理图像1820的底部附近的穿孔器的可观测直径比弯曲肩部1270的可观测直径宽几个像素。因此，由于不均匀的变形或缺乏清晰聚焦，来自方法1500(图15)的步骤1521的所检测到的侧壁边缘段可能汇合并且最终交错。因此，在一些实施方案中，计算中心线的步骤1526可包括识别由两个汇合侧壁线段形成的角的平分线。

图19示出描绘用于执行方法1500(图15)的步骤1521的另一种示例性方法1900的流程图。一般来说，方法1900使用两步过程来识别并且随后过滤掉界外数据转变。步骤1922和步骤1923分别对应于方法1600(图16)的步骤1622和1623，其中所计算出的回归用作侧壁1222、1224或1252、1254的初始近似。

使用侧壁边缘段的初始回归计算，步骤1924从第一数据转变集合和第二数据转变集合中排除与相应的第一初始外周侧壁边缘段和第二初始外周侧壁边缘段的距离超过预定阈值的第一数据转变或第二数据转变，例如，从数据转变集合中识别并过滤界外值。步骤1925包括通过从相应的第一数据转变集合和第二数据转变集合执行回归来重新计算第一外周侧壁边缘段和第二外周侧壁边缘段。所述重新计算可以提高工具位置校准的准确性，因为所重新计算出的回归排除了界外数据转变，所述界外数据转变可能会使中心线1290以及表示工具尖端1280的沿着所计算出的中心线1290的数据转变点的计算偏斜。方法1900及其步骤可以使用各种结构来执行。例如，步骤1922、1923、1924和1925可以使用一个或多个处理器来执行，如处理器425或图像处理器426。步骤1922、1923、1924和1925可以按任何次序或并行(例如，同时)执行。

通过使针组件沿着其运动轴伸出，可以沿着主圆柱体1250的侧面1252和1254获得更多数目的焦内数据转变，进而改进外周侧壁边缘段的近似。随后可以缩回针组件并且将其带入清晰聚焦中来确定尖端1240的位置。在另一个实施方案中，可以改变相机的聚焦以使得工具保持伸出，但是工具的尖端上的聚焦得到改进。图20示出用于使用伸出状态和缩回状态下的工具的图像数据定位末端执行器工具的远端末端的示例性方法2000。如参考先前实施例，在任选的步骤2010处，方法2000可以捕捉表示伸出工具的图像数据，所述伸出工具例如为从皮肤平面(例如，在采集或植入程序期间由患者皮肤形成的平面)伸出两毫米的采集穿孔器。在某些实施方案中，所述图像数据可被接收、存取或接受。步骤2021包括检测侧壁边缘段，这与方法1500(图15)的步骤1521相似。同样地，步骤2026对应于步骤1526。步骤2027包括捕捉表示处于缩回状态的工具的图像数据，所述工具例如为延伸到皮肤平面上方或皮肤平面上的点的采集穿孔器1210。步骤2028包括定位工具尖端并且对应于步骤1528。步骤2060包括转化工具尖端位置，如早先相对于步骤1460所描述。

方法2000及其步骤可以使用各种结构来实行。例如，图像捕捉步骤2010可以使用相机系统(如相机系统415)来执行，并且步骤2021、2026、2027、2028和2060可以使用一个或多个处理器(如处理器425或图像处理器426)来执行。步骤2010、2021、2026、2027、2028和2060可以按任何次序或并行(例如，同时)执行。

任何上述工具位置校准方法1400、1500、1600、1900或2000都可利用任选的二值化或其它适当的预处理技术、任选的角平分线定位、任选的用于限制数据转变数目的技术(例如，通过跳过图像的像素行或区来减少搜索空间)或任选的在各种聚焦深度处的多图像捕捉。

图21A和图21B是含有用于识别多个相机的相对定位和放大率的特征的标牌2110和2120的描绘。用户可以将标牌放置在相机系统的视场中，从各个相机观测表示标牌的图像数据，并且基于所观测到的图像数据来使各个相机与系统的物理配置相关联。所述标牌和所获得的图像数据促进配置相机控制系统的方法，所述方法可以作为对人工从各个相机记录序列号(或其它识别标记)并且将信息输入机器人控制系统的配置软件中的替代方法来执行。由于序列号标签的位置和大小的缘故，人工从相机获得相机序列号可能较困难。此外，一些相机区块没有指出哪些相机是高倍放大率或低倍放大率或哪些相机在左侧或右侧的标签。此外，相机系统的左侧和右侧的定义可能是混乱的，因为所述定义取决于人相对于相机系统的位置。

如图21A和图21B所示，根据一个实施方案，标牌2110和2120可印刷有两个基准点-卡片的每侧上各有一个。标牌2110包括左侧的矩形基准点2116和右侧的圆形基准点2118。标牌2120包括位于相对侧的两个矩形基准点2126和2128。基准点的数目和形状在一定程度上是随意的，只要单个基准点的定向和大体形状是可由机器视觉操作辨别的。如下文所讨论的，可以基于各种光学性质来识别基准点对2116、2118或2126、2128，使得配置系统能够区分低倍放大率相机和高倍放大率相机，以及区分左侧相机和右侧相机。棋盘校准目标700(图7A)或点质心校准目标720和740(图7B和图7C)可以用于相机识别。在另一个实施方案中，基准点2116、2118或2126、2128可以印刷有目标700、720、740作为单个校准单元或小车(未图示)的一部分。

图22是如图21A所示的定位于相机系统(如相对于图4A描述的相机系统470)的视场中的标牌2110的透视图，所述标牌用于识别多个相机的相对定位和放大率。根据一个实施方案，标牌2110被放置为使得基准点2116和2118横向出现在相机系统470的视场中。作为独立的过程，虽然也可以使用自动运动，但是下文讨论的相机识别例程不依赖于机器人臂的运动。在制造期间，在末端执行器位于组件底座上的情况下，将标牌2110放置在合适的架台2280上并且移动到恰当位置。架台2280可以自由定位，或者架台2280可以附接到工具的组件底座(未图示)上，以帮助提供标牌2110的较一致图像。当定位标牌时，施加适当的照明。照明可以使用工具上的内置LED灯来实现，或者可以将基准点印刷在透明衬底上并且采用背面照明。用户或处理器触发标牌2110的图像捕捉，并且在处理器上执行的软件或者专用的机器视觉硬件根据下文描述的技术来识别相机的位置和放大率。

图23示出用于识别相机系统中的各个相机的放大率的示例性系统2300。示例性系统2300包括处理器2310以及至少两个相机系统2320和2330。在示例性系统2300中，左侧的相机系统2320对应于低倍放大率相机系统，并且右侧的相机系统2330对应于高倍放大率相机系统。相机系统2320和2330可各自具有单个相机，或者可各自包括立体相机系统。相机系统2320和2330被配置成当标牌2110被放置在相机系统2320和2330的视场2360和2370中时获得表示标牌2110的相应图像2340和2350。在一个实施方案中，基准点2116和2118完全在视场2360和2370内，其中标牌2110的大小和间隔以及每个基准点2116和2118的面积都是预定的。因为标牌2110上的每个基准点2116和2118的面积是预定的，所以如果在获得的图像2340或2350中的基准点2346、2348或2356、2358的面积超过阈值，那么对应的相机系统2320或2330被确定为高倍放大率相机。在另一个实施方案中，可将图像2340和2350相互进行比较。例如，图像2340中的基准点2346的面积大于图像2350中的基准点2356的面积。因此，因为相机2330产生具有较大面积的基准点2356，所以处理器2310可以适当地将相机系统2330识别为高倍放大率相机。

图24和图25示出用于分别使用视场差异和透视变形识别末端执行器的每侧上的相机的系统。在图24中示出的示例性系统2400中，相机系统2420和2430是用于产生相应的图像2440和2450的高倍放大率相机。标牌2110放置在相机系统2420和2430的前面，使得基准点2116在视场2460中是可见的，而基准点2116不可见。相反地，基准点2118在视场2470中是可见的，而基准点2118不可见。因此，当基准点2116和2118的形状被设计成具有独特的性质(如惯性力矩、圆形、周长或其它性质)时，图像2440和2450不完全重叠并且足够地不同，以使得处理器2310可确定相机系统2420和2430的物理排列。例如，图像2440含有表示基准点2116的矩形基准点2446，并且图像2450含有表示基准点2118的圆形基准点2458。换句话说，左侧的高倍放大率相机2420(向内倾斜)只能看到右侧的基准点2116，而右侧的高倍放大率相机2430(向内倾斜)只能看到左侧的基准点2118。

在图25中示出的另一个示例性系统2500中，相机系统2520和2530不相互平行，而是稍微向内倾斜，使得透视变形影响基准点形状的几何形状。标牌2120(如相对于图21B所描述)在每侧上含有矩形基准点2126和2128。因为相机系统2520和2530的焦平面不与标牌2120垂直，所以每个图像2540和2550中的一个基准点比另一个基准点稍微更靠近焦点，从而导致图像2540和2550中的基准点之间有面积差异。所述基准点的形状的针孔相机变形也可以不同，从而改变两侧的形状轮廓。例如，基准点2546显得稍微比基准点2548小，而基准点2556显得稍微比基准点2558大。此外，由于针孔变形，基准点2546和2548偏向左侧，而基准点2556和2558偏向右侧。透视变形也可用于通过表征预定形状的基准点上的变形量来确定各个相机的镜头焦距。此外，如相对于系统2400所描述，由于视场2560和2570的差异，当与另一个图像2550比较时，图像2540中的基准点2546和2548的位置可能发生移位(未图示)。

图26示出用于验证上述相机识别例程并且将识别信息写入到系统配置XML文件2610的软件应用程序的截屏2600。XML文件2610可以包括允许技术人员跟踪相机的各种方面的位置、放大率、镜头焦距或其它配置参数。识别数据可以最初在系统初始化期间写入，或者在相机重新配置期间盖写。自动识别例程的检验可以如图26所示来执行。含有基准点2622(参考图4B描述)的条带2620对于低倍放大率相机是可见的，但由于较窄视场，对于高倍放大率相机是不可见的，并且针组件1200的角度对于左侧的相机和右侧的相机在不同方向上倾斜。

实施方案可使用以各种编程语言开发的计算机软件来实行。实施方案可作为包括上面存储有指令(以压缩或未压缩形式)的非暂时性机器可读存储介质的计算机程序产品来提供，这些指令可用于编程计算机(或其它电子装置)来执行本文中描述的过程或方法。机器可读存储介质可包括但不限于硬盘驱动器、软盘、光盘、CD-ROM、DVD、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、闪速存储器、磁卡或光卡、固态存储器装置或适用于存储电子指令的其它类型的介质/机器可读介质。此外，实施方案也可作为包括暂时性机器可读信号(以压缩或未压缩形式)的计算机程序产品来提供。机器可读信号(无论是否使用载体来调制)的实施例包括但不限于托管或运行计算机程序的计算机系统或机器可被配置来存取的信号，包括通过因特网或其它网络下载的信号。例如，软件的分发可以经由CD-ROM或经由因特网下载。

执行本文中描述的方法和系统的软件程序可以包括包含用于执行所要操作的指令集的单独程序代码，或者可以包括执行操作的这些子操作的多个模块，或者可以是提供所述操作的较大程序的单个模块的一部分。模块化构造促进添加、删除、更新和/或修正其中的模块和/或模块内的特征。程序可以接收唯一识别符信息和/或额外信息并且可以存取(例如)具有与所述唯一识别符信息和/或额外信息相关联的数据的存储装置。

上文使用的术语和描述只是通过示例方式来提出的并且不表示限制。技术人员将认识到，可以对上述实施方案的细节做出许多改变而不会脱离本发明的基本原理。因此，本发明的范围应当只通过所附权利要求书及其等价物来确定。

Claims (21)

1.一种用于确定机器人的坐标系统与相机系统的坐标系统之间的变换的方法，其中所述机器人包括安装有所述相机系统的可动臂，所述机器人的坐标系统定义所述可动臂的位置，并且所述相机系统的坐标系统定义在所述相机系统的视场内的目标的位置，所述方法包括：

围绕所述目标将所述可动臂定位至多个图像捕捉位置，以使得在各个图像捕捉位置处，所述目标在所述相机系统的所述视场内，并且从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂围绕所述目标旋转并且相对于所述目标平移；

在所述各个图像捕捉位置处，使用所述相机系统来捕捉所述目标的一组图像，并且在所述机器人的坐标系统中记录所述可动臂的位置；

在所述相机系统的坐标系统中确定在所述组图像中所识别的所述目标的一组校准特征的坐标；以及

基于在所述各个图像捕捉位置处所述可动臂的所述位置和所述组校准特征的所述坐标，确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换。

2.如权利要求1所述的方法，其中自动执行所述围绕所述目标定位所述可动臂的步骤、所述捕捉所述目标的所述组图像的步骤、所述记录所述可动臂的所述位置的步骤、所述确定所述组校准特征的所述坐标的步骤以及所述确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换的步骤。

3.如权利要求1所述的方法，其中所述可动臂安装有毛囊单位采集工具、毛囊单位植入工具或两者，并且所述机器人被配置来采集毛囊单位、植入毛囊单位或两者，且所述方法进一步包括：

在所述相机系统的坐标系统中识别在体表的图像中的毛囊单位的位置；

基于所述毛囊单位在所述相机系统的坐标系统中的所述位置以及所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换，在所述机器人的坐标系统中确定所述毛囊单位的位置；以及

基于所述毛囊单位在所述机器人的坐标系统中的所述位置来定位所述可动臂。

4.如权利要求1所述的方法，其中所述目标的位置是固定的，并且所述确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换的步骤包括迭代地为所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换来选择一数值，并且比较在一个图像捕捉位置处的用于所述变换的选择的所述数值、所述可动臂的位置以及校准特征的坐标的第一乘积与在另一个图像捕捉位置处的用于所述变换的选择的所述数值、所述可动臂的位置以及所述对应校准特征的坐标的第二乘积，以便确定使所述第一乘积与所述第二乘积之间的差最小化的用于所述变换的数值。

5.如权利要求1所述的方法，其中所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换包括变换矩阵T，并且所述确定所述变换的步骤包括寻找至少大致使量最小化的变换矩阵T，其中i和j对应于各个图像捕捉位置的不同实例，i具有范围为2至m的值，j具有范围为1至(i-1)的值，k对应于所述组校准特征中的个别校准特征并且具有范围为1至n的值，R_i是在个别图像捕捉位置i处所述可动臂的位置，v_ik是在第i个图像捕捉位置处第k个校准特征的在所述相机系统的坐标系统中确定的坐标，R_j是在个别图像捕捉位置j处所述可动臂的位置，并且v_jk是在第j个图像捕捉位置处第k个校准特征的在所述相机系统的坐标系统中确定的坐标。

6.如权利要求5所述的方法，其中

所述可动臂的所述位置包括形式为 $R=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 的机器人位置变换矩阵R，子矩阵 $\left[\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right]$ 表示使所述可动臂的定向与参考定向相关的正交旋转，并且子矩阵 $\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ 表示所述可动臂的所述位置与参考位置之间的偏移，

个别校准特征的坐标包括形式为 $v=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ 的数组，并且

所述变换矩阵T包括形式为 $T=\left[\begin{array}{cccc}{r}_{00}& r_{01}& r_{02}& x\\ r_{10}& r_{11}& r_{12}& y\\ r_{20}& r_{21}& r_{22}& z\\ 0& 0& 0& 1\end{array}\right]$ 的矩阵，子矩阵 $\left[\begin{array}{ccc}{r}_{00}& r_{01}& r_{02}\\ r_{10}& r_{11}& r_{12}\\ r_{20}& r_{21}& r_{22}\end{array}\right]$ 表示所述机器人的坐标系统与所述相机系统的坐标系统之间的旋转关系并且是从三个旋转偏移α、β和γ导出的，并且子矩阵 $\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ 表示所述机器人的坐标系统与所述相机系统的坐标系统之间的平移偏移x、y和z。

7.如权利要求1所述的方法，其中所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换是使用最优化算法来确定的，所述最优化算法包括最速下降最优化算法、模拟退火算法或最佳拟合算法中的一个或多个。

8.如权利要求1所述的方法，其中所述各个图像捕捉位置大致位于中心点大致与所述目标重合的球体的表面上。

9.如权利要求1所述的方法，其中从一个图像捕捉位置到另一个图像捕捉位置，使所述可动臂相对于所述目标径向移动。

10.如权利要求1所述的方法，其中所述相机系统包括安装至所述可动臂的相应第一立体相机对和第二立体相机对，所述第一立体相机对被聚焦且被配置来获取第一视场的图像，所述第二立体相机对被聚焦且被配置来获取第二视场的图像，所述第二视场实质上比所述第一视场窄，所述第一视场与所述第二视场至少部分重叠，并且所述确定所述机器人的坐标系统与所述相机系统的坐标系统之间的所述变换的步骤包括使用最优化算法来针对所述第一立体相机对确定第一变换，并且使用最优化算法来针对所述第二立体相机对确定第二变换，且所述方法进一步包括：

确定变换矩阵Q，其将所述第一立体相机对的坐标系统中的坐标映射至所述第二立体相机对的坐标系统。

11.一种用于确定机器人的坐标系统与相机的坐标系统之间的变换的系统，所述系统包括：

机器人，其包括安装有相机系统的可动臂，其中所述机器人的坐标系统定义所述可动臂的位置，并且所述相机系统的坐标系统定义在所述相机系统的视场内的目标的位置；

用于以下操作的装置：a)围绕所述目标将所述可动臂定位至一个或多个个别图像捕捉位置，以使得在所述各个图像捕捉位置处所述目标在所述相机系统的所述视场内，以及b)将所述可动臂从一个个别图像捕捉位置移动至另一个个别图像捕捉位置；

用于在所述各个图像捕捉位置处捕捉所述目标的一组图像的装置；

用于在所述机器人的坐标系统中记录在所述各个图像捕捉位置处所述可动臂的位置的装置；

用于在所述相机系统的坐标系统中确定所述目标的一组校准特征的坐标的装置；以及

用于基于在所述各个图像捕捉位置处所述可动臂的所述位置和所述组校准特征的所述坐标来确定所述机器人的坐标系统与所述相机系统的坐标系统之间的变换的装置。

12.如权利要求11所述的系统，其进一步包括毛囊单位采集工具或毛囊单位植入工具或两者。

13.如权利要求1所述的方法，其进一步包括在所述机器人的坐标系统中定位从所述机器人的所述可动臂延伸的工具其中所述定位包括：

从图像数据确定所述工具在相机系统的坐标系统中的位置；以及

使用预定变换将所述工具的所述位置从所述相机系统的坐标系统转化为所述机器人的坐标系统。

14.如权利要求13所述的方法，其进一步包括：

捕捉图像数据，其中所述图像数据包括一对图像，且其中所述从图像数据确定所述工具在所述相机系统的坐标系统中的所述位置的步骤包括：从所述图像数据检测第一外周侧壁边缘段和第二外周侧壁边缘段，其对应于在所述相机系统的视场内的所述工具的侧面；基于所述检测到的第一外周侧壁边缘段与第二外周侧壁边缘段之间的平均值来计算中心线；以及在所述相机系统的坐标系统中沿所述中心线定位所述工具的远端末端的位置。

15.如权利要求14所述的方法，其中所述中心线平分在所述第一外周侧壁边缘段与所述第二外周侧壁边缘段之间形成的角。

16.如权利要求14所述的方法，其中所述检测步骤包括：将第一数据转变和第二数据转变定位在所述图像数据的各个行中，以便建立第一数据转变集合和第二数据转变集合；通过从所述相应的第一数据转变集合和第二数据转变集合执行回归来计算所述第一外周侧壁边缘段和所述第二外周侧壁边缘段，且其中所述定位步骤包括沿所述中心线定位所述图像数据中的远端末端数据转变，以使得所述远端末端数据转变的位置表示所述远端末端在所述相机系统的坐标系统中的空间位置。

17.如权利要求16所述的方法，其中所述第一数据转变和所述第二数据转变包括所述图像数据的对比度转变、强度转变、颜色转变或亮度转变中的一个或多个。

18.如权利要求16所述的方法，其中所述检测步骤进一步包括处理所述图像数据，以使得所述远端末端被表示为所述图像数据内的唯一值。

19.如权利要求16所述的方法，其中所述检测步骤进一步包括使所述图像数据二值化，以使得所述远端末端由第一唯一颜色来表示并且背景特征由第二唯一颜色来表示。

20.如权利要求16所述的方法，其中所述数据转变包括灰阶边缘点。

21.如权利要求16所述的方法，其中所述回归包括大致连接相应的第一数据转变集合与第二数据转变集合的最佳拟合算法，和/或大致连接相应的第一数据转变集合与第二数据转变集合的最小二乘法拟合。