CN116889374A - 一种眼科检查机器人的控制方法和装置及电子设备 - Google Patents

Abstract

本公开涉及机器人控制技术领域，具体涉及一种眼科检查机器人的控制方法和装置及电子设备。其中，方法包括：控制机械臂将指定眼科检查装置移动到被检查者脸部附近；然后获取眼部摄像头实时拍摄的人脸图像，识别被检查者眼部图像并控制机械臂的移动；再根据眼部摄像头实时拍摄的眼部图像，进行虹膜定位并控制机械臂的移动，最后进行瞳孔定位并控制机械臂的移动。本公开可控制机械臂自动定位被检查者的面部和眼部，使得机械臂上的指定眼科检查装置自动移动至对应的检查位置对被检查者进行检查，且通过多次不同程度的对焦位置调整，精准定位到瞳孔位置，能够同时自动且精准地进行眼科检查。

Description

一种眼科检查机器人的控制方法和装置及电子设备

技术领域

本公开涉及机器人控制技术领域，具体涉及一种眼科检查机器人的控制方法和装置及电子设备。

背景技术

现有进行眼科检查时，需要被检查者配合眼科检查设备进行检查姿势和检查位置的调整，同时需要眼科医生手动将眼科检查设备调整到对准被检查者的眼睛部位，然后才能开始进行眼部的检查。而眼科医生在使用裂隙灯检查装置和可变焦眼部照相装置等眼科检查设备时，一般通过拍照方式获取被检查者的眼部信息，故需要眼科医生进行专业的操作，来分别使用眼前段照相机或眼底照相机等设备人为对焦被检查者的虹膜、巩膜和瞳孔等来获取被检查者的眼部信息。整个过程繁琐、耗时且耗力，尤其是在进行大规模的眼科检查时，给眼科医生带来了很大的负担，甚至可能导致被检查的人群中会存在眼科疾病未被及时发现的情况。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种眼科检查机器人的控制方法和装置及电子设备。

第一方面，本公开实施例中提供了一种眼科检查机器人的控制方法，所述眼科检查机器人包括机械臂；所述机械臂上安装有眼部摄像头和指定眼科检查装置，所述方法包括：

获取被检查者脸部所在的检查区域的检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂将所述指定眼科检查装置移动到被检查者脸部附近；

在所述指定眼科检查装置移动到被检查者脸部附近之后，获取所述眼部摄像头实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂将所述指定眼科检查装置移动到被检查者的眼部位置；

在所述指定眼科检查装置移动到被检查者眼部位置之后，获取所述眼部摄像头实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的虹膜位置；

在所述指定眼科检查装置移动到被检查者的虹膜位置之后，获取所述眼部摄像头实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的瞳孔位置。

根据本公开的实施例，所述方法由控制终端实现，并且包括：

获取检查项目；

根据所述检查项目确定所述指定眼科检查装置，并控制所述机械臂加载所述指定眼科检查装置并移动到相应的检查区域。

根据本公开的实施例，还包括：

在完成所述检查项目之后，控制所述机械臂将所述指定眼科检查装置放回至初始位置。

根据本公开的实施例，在根据所述眼部图像进行虹膜定位和/或瞳孔定位之前，还包括：对所述眼部图像进行图像预处理。

根据本公开的实施例，所述方法由控制终端执行，所述控制终端中存储有人脸识别算法、路径规划算法、虹膜识别算法、瞳孔识别算法和轮廓提取算法中的一种或多种。

根据本公开的实施例，所述根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的虹膜位置，包括：

使用虹膜识别算法对被检查者的眼部图像进行第一次虹膜区域粗提取，确定第一虹膜区域粗略位置；

使用轮廓提取算法对所述第一虹膜区域粗略位置进行虹膜外轮廓提取，获取虹膜外轮廓并计算其在被检查者的眼部图像的位置，获得第一虹膜位置作为被检查者的虹膜位置；

计算所述机械末端的当前位置与第一虹膜位置的第一像素偏移量，并根据第一像素偏移量控制所述机械臂的运动，以将所述指定眼科检查装置移动到被检查者的虹膜位置。

根据本公开的实施例，所述根据第一像素偏移量控制所述机械臂的运动，包括以下步骤：

设置第一偏移量比例系数为第一预设固定值；

将所述第一偏移量比例系数乘以所述第一像素偏移量获得所述机械臂末端的当前位置的第一位置偏移量；

根据所述第一位置偏移量控制所述机械臂的运动；

对所述第一偏移量比例系数的第一预设固定值进行迭代并重复上述步骤，直至控制所述机械臂将所述指定眼科检查装置移动到被检查者的虹膜位置。

根据本公开的实施例，所述根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的瞳孔位置，包括：

使用虹膜定位算法对所述被检查者的眼部图像进行第二次虹膜区域粗提取，确定第二虹膜区域粗略位置；

使用轮廓提取算法对所述第二虹膜区域粗略位置进行虹膜外轮廓提取，确定第二虹膜位置；

使用轮廓提取算法对所述第二虹膜位置进行虹膜内轮廓提取，获取虹膜内轮廓在被检查者的眼部图像的位置，所述虹膜内轮廓所包围的区域即为瞳孔区域位置；

使用瞳孔定位算法，确定瞳孔区域位置中的瞳孔位置；

计算所述机械臂末端的当前位置与瞳孔位置的第二像素偏移量，根据第二像素偏移量控制所述机械臂的运动。

根据本公开的实施例，所述根据第二像素偏移量控制所述机械臂的运动，包括以下步骤：

设置第二偏移量比例系数为第二预设固定值；

将所述第二偏移量比例系数乘以所述第二像素偏移量获得所述机械臂末端的当前位置的第二位置偏移量；

根据所述第二位置偏移量控制所述机械臂的运动；

对所述第二偏移量比例系数的第二预设固定值进行迭代并重复上述步骤，直至控制机械臂将所述指定眼科检查装置移动到被检查者的瞳孔位置。

第二方面，本公开实施例中提供了一种眼科检查机器人的控制装置，包括：

获取模块，被配置为获取检查项目；

机械臂控制模块，被配置为：

根据所述检查项目确定所述指定眼科检查装置，并控制所述机械臂加载所述指定眼科检查装置并移动到相应的检查区域；

从所述检查区域获取检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂将所述指定眼科检查装置移动到被检查者脸部附近；

在所述指定眼科检查装置移动到被检查者脸部附近之后，获取所述眼部摄像头实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂将所述指定眼科检查装置移动到被检查者的眼部位置；

在所述指定眼科检查装置移动到被检查者眼部位置之后，获取所述眼部摄像头实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的虹膜位置；

在所述指定眼科检查装置移动到被检查者的虹膜位置之后，获取所述眼部摄像头实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂将所述指定眼科检查装置移动到被检查者的瞳孔位置。

第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第二方面任一项所述的方法。

第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第二方面所述的方法。

根据本公开实施例提供的技术方案，通过控制机械臂将指定眼科检查装置移动到被检查者脸部附近；然后获取眼部摄像头实时拍摄的人脸图像，识别被检查者眼部图像并根据眼部图像识别结果控制机械臂的移动；再根据眼部摄像头实时拍摄的眼部图像，进行虹膜定位并根据虹膜定位结果控制机械臂的移动；最后进行瞳孔定位并根据瞳孔定位结果控制机械臂的移动，从而将所述指定眼科检查装置移动到被检查者的瞳孔位置。本公开能够控制机械臂自动定位被检查者的面部和眼部，使得机械臂上的指定眼科检查装置自动移动至对应的检查位置来对被检查者进行检查，而无需人工对眼科检查装置进行操作，进而为无人值守的眼科检查提供了技术支持；同时本公开通过多次不同程度的眼部对焦位置的调整，能精准定位到瞳孔位置，因此本公开能够同时自动且精准地进行眼科检查，大大减轻了眼科医生的负担。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开实施例的一种眼科检查机器人的机械臂的整体结构图；

图2示出根据本公开实施例的一种眼科检查机器人的控制方法的流程图；

图3示出应用本公开实施例的眼科检查机器人的控制方法进行眼科检查步骤的流程图；

图4示出应用本公开实施例的眼科检查机器人的控制方法进行眼科检查的一种眼科综合检查机器人系统；

图5示出本公开实施例的一种眼科检查机器人的控制装置的结构图；

图6示出根据本公开实施例的电子设备的结构框图；

图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

在本公开中，如涉及对用户信息或用户数据的获取操作或向他人展示用户信息或用户数据的操作，则所述操作均为经用户授权、确认，或由用户主动选择的操作。

现有进行眼科检查时，需要被检查者配合眼科检查设备进行检查姿势和检查位置的调整，同时需要眼科医生手动将眼科检查设备调整到对准被检查者的眼睛部位，然后才能开始进行眼部的检查，操作繁琐，耗时耗力。本公开提供了一种眼科检查机器人的控制方法，通过根据被检查者脸部图像识别结果控制机械臂4将指定眼科检查装置移动到被检查者脸部附近；然后获取眼部摄像头44实时拍摄的人脸图像，根据被检查者眼部图像识别结果控制所述机械臂4将所述指定眼科检查装置移动到被检查者的眼部位置；再获取所述眼部摄像头44实时拍摄的眼部图像，根据虹膜定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的虹膜位置；最后获取所述眼部摄像头44实时拍摄的眼部图像，根据瞳孔定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的瞳孔位置。根据本公开的实施例，能够控制机械臂自动定位被检查者的面部和眼部，使得机械臂上的指定眼科检查装置自动移动至对应的检查位置来对被检查者进行检查，而无需人工对眼科检查装置进行操作，进而为无人值守的眼科检查提供了技术支持；同时本公开通过多次不同程度的眼部对焦位置的调整，能精准定位到瞳孔位置，因此本公开能够同时自动且精准地进行眼科检查，大大减轻了眼科医生的负担，也能给被检查者(如患者)带来更好的检查体验。

图1示出根据本公开实施例的一种眼科检查机器人的机械臂的整体结构图整体结构图。

如图1所示，所述眼科检查机器人包括机械臂4；所述机械臂4上安装有眼部摄像头44和指定眼科检查装置1。

根据本公开的实施例，所述机械臂4的末端上安装有眼部摄像头44和指定眼科检查装置1；在一个具体的实施例中，所述机械臂4的末端设置有第一连接部45，所述眼部摄像头44固定连接在第一连接部45上，所述指定眼科检查装置1设有第二连接部46；所述第一连接部45和所述第二连接部46可拆卸连接。

根据本公开的实施例，所述眼部摄像头44可以是可变焦摄像头。

根据本公开的实施例，所述指定眼科检查装置1包括裂隙灯检查装置、可变焦眼部照相装置、非接触式眼压计和自动验光仪中任意一种。

根据本公开的实施例，所述机械臂4还包括：机械臂底座41、机械臂外壳42和轴承43；所述机械臂底座41用于对所述机械臂4进行固定支撑，具体地，可以将所述机械臂底座41固定设置在进行眼科检查的检测台3上，但不限于此；所述机械臂4包含多个关节，机械臂4的多个关节以侧向和背向进行交替连接，两个相连关节通过由电机驱动的轴承43相连接，旋转角度在-90度到+90度之间；机械臂外壳42包裹在机械臂4的关节之间；所述机械臂4可以是四轴机械臂、六轴机械臂等，但不限于此。

图2示出根据本公开实施例的一种眼科检查机器人的控制方法的流程图。

如图2所示，所述方法包括：步骤S101～步骤S104。

在步骤S101中，获取被检查者脸部所在的检查区域的检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂4将所述指定眼科检查装置1移动到被检查者脸部附近。

根据本公开的实施例，所述方法由控制终端实现，并且包括：获取检查项目；根据所述检查项目确定所述指定眼科检查装置1，并控制所述机械臂4加载所述指定眼科检查装置1并移动到相应的检查区域。

根据本公开的实施例，所述检查区域是根据被检查者脸部所在的位置而设置的区域。

根据本公开的实施例，所述控制终端可以是计算机、单片机等，但不限于此。

具体地，所述控制终端通过接收被检查者的发送终端发送的待检查项目来获取检查项目。

根据本公开的实施例，所述方法由控制终端执行，所述控制终端中存储有人脸识别算法、路径规划算法、虹膜识别算法、瞳孔识别算法和轮廓提取算法中的一种或多种。

在步骤S102中，在所述指定眼科检查装置移动到被检查者脸部附近之后，获取所述眼部摄像头44实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂4将所述指定眼科检查装置移动到被检查者的眼部位置。

根据本公开的实施例，利用人脸识别算法从所述人脸图像识别被检查者眼部图像。

发明人发现，当被检查者视线未直视眼部摄像头44或频繁移动时，虹膜形状会发生变化，进而降低虹膜定位和瞳孔定位的准确度；以及眼部摄像头44在拍摄虹膜时，由于与眼部距离较远、光线不足以及失焦等问题，拍摄的图像中难以获取虹膜内轮廓(虹膜与瞳孔的边界)，即瞳孔外轮廓，因此需要将虹膜定位与瞳孔定位分开进行。

同时，在进行瞳孔定位时，若采用长焦镜头拍摄则镜头尺寸较大，难以安装到机械臂末端，因此需要移动机械臂的末端使其更靠近眼部时才能进行瞳孔检测，因此需要在进行虹膜定位的基础上，才能进行瞳孔定位。

在步骤S103中，在所述指定眼科检查装置移动到被检查者眼部位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的虹膜位置。

根据本公开的实施例，所述根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的虹膜位置，包括：

使用虹膜识别算法对被检查者的眼部图像进行第一次虹膜区域粗提取，确定第一虹膜区域粗略位置；使用轮廓提取算法对所述第一虹膜区域粗略位置进行虹膜外轮廓提取，获取虹膜外轮廓并计算其在被检查者的眼部图像的位置，获得第一虹膜位置作为被检查者的虹膜位置；计算所述机械臂4末端的当前位置与第一虹膜位置的第一像素偏移量，并根据第一像素偏移量控制所述机械臂4的运动，以将所述指定眼科检查装置移动到被检查者的虹膜位置。

具体地，在进行虹膜定位时，首先使用虹膜识别算法对被检查者的眼部图像进行第一次虹膜区域粗提取，如基于虹膜和巩膜的灰度值的不同，将图像进行二值化处理，确定第一虹膜区域粗略位置；然后进行虹膜外轮廓提取，因为在理想状态下虹膜外轮廓(虹膜与巩膜的边界)为圆形，因此可采用轮廓提取算法(如基于霍夫变换的圆检测算法，但不限于此)，获取虹膜外轮廓并计算其在被检查者的眼部图像的位置，获得第一虹膜位置作为被检查者的虹膜位置；最后计算机械臂4的末端的当前位置与第一虹膜位置的第一像素偏移量，以根据第一像素偏移量控制所述机械臂4的运动。

在步骤S104中，在所述指定眼科检查装置移动到被检查者的虹膜位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的瞳孔位置。

根据本公开的实施例，所述所述根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂4将所述指定眼科检查装置移动到被检查者的瞳孔位置，包括：

使用虹膜定位算法对所述被检查者的眼部图像进行第二次虹膜区域粗提取，确定第二虹膜区域粗略位置；使用轮廓提取算法对所述第二虹膜区域粗略位置进行虹膜外轮廓提取，确定第二虹膜位置；使用轮廓提取算法对所述第二虹膜位置进行虹膜内轮廓提取，获取虹膜内轮廓在被检查者的眼部图像的位置，所述虹膜内轮廓所包围的区域即为瞳孔区域位置；使用瞳孔定位算法，确定瞳孔区域位置中的瞳孔位置；计算所述机械臂4末端的当前位置与瞳孔位置的第二像素偏移量，根据第二像素偏移量控制所述机械臂4的运动。

具体地，在进行瞳孔定位时，首先使用虹膜定位算法对经过第一细调整的被检查者的眼部图像进行第二次虹膜区域粗提取，基于虹膜和巩膜灰度值不同，将图像二值化，确定第二虹膜区域粗略位置；然后进行虹膜内轮廓(虹膜与瞳孔的边界)和虹膜外轮廓(虹膜与巩膜的边界)提取，虹膜内轮廓和虹膜外轮廓为同心圆轮廓，其中，采用轮廓提取算法(如基于霍夫变换的圆检测算法，但不限于此)，并获取虹膜内轮廓在经过第一细调整的被检查者的眼部图像的位置，从而获得虹膜内轮廓所包围的区域，即为瞳孔区域位置；然后使用瞳孔定位算法，确定瞳孔区域位置中的瞳孔位置，其中，瞳孔定位算法可以使用粒子群优化算法等，但不限于此；最后计算机械臂4末端的当前位置与瞳孔位置的第二像素偏移量，根据第二像素偏移量控制机械臂4的运动。

发明人发现，在根据像素偏移量控制机械臂4的运动时，很难一次就成功，可能需要重复2-3次，具体原因如下：(1)基于视觉的虹膜定位和瞳孔定位本身就受光线等环境因素影响存在限制，定位结果会在1-2像素范围内抖动。(2)基于视觉的虹膜定位和瞳孔定位得到的是以像素为单位的偏移量，是离散值，不是连续值，存在近似。(3)计算机械臂末端的当前位置与虹膜位置/瞳孔位置的偏移量为像素偏移量，在得到像素偏移量后，需要将像素偏移量转化为机械臂末端实际的位置偏移量，两者单位不同，因此需要一个比例系数进行转换；而比例系数受摄像头与眼球之间的距离影响，每次检查时这个距离都有微小不同，因此比例系数只能采用一个预设固定值，而预设固定值和实际情况存在偏差，故需要根据实际情况对比例系数进行调整。

根据本公开的实施例，所述根据第一像素偏移量控制所述机械臂4的运动，包括以下步骤：设置第一偏移量比例系数为第一预设固定值；将所述第一偏移量比例系数乘以所述第一像素偏移量获得所述机械臂4末端的当前位置的第一位置偏移量；根据所述第一位置偏移量控制所述机械臂4的运动；对所述第一偏移量比例系数的第一预设固定值进行迭代并重复上述步骤，直至控制所述机械臂4将所述指定眼科检查装置移动到被检查者的虹膜位置。

根据本公开的实施例，所述根据第二像素偏移量控制所述机械臂4的运动，包括以下步骤：设置第二偏移量比例系数为第二预设固定值；将所述第二偏移量比例系数乘以所述第二像素偏移量获得所述机械臂4末端的当前位置的第二位置偏移量；根据所述第二位置偏移量控制所述机械臂4的运动；对所述第二偏移量比例系数的第二预设固定值进行迭代并重复上述步骤，直至控制机械臂4将所述指定眼科检查装置移动到被检查者的瞳孔位置

具体地，假设计算机械臂末端的当前位置与第一虹膜位置/瞳孔位置的像素偏移量为X，则在得到像素偏移量X后，需要将像素偏移量X转化为机械臂末端实际的位置偏移量Y，两者单位不同，因此需要一个比例系数k转换：Y＝k*X；而比例系数k受摄像头与眼球之间的距离影响，因此将比例系数k采用一个预设固定值，然后通过迭代将预设固定值和实际情况的误差不断缩小，从而获得较为准确的虹膜定位结果/瞳孔定位结果。

本公开通过控制机械臂4自动定位被检查者的面部和眼部，使得机械臂4上的指定眼科检查装置1自动移动至对应的检查位置来对被检查者进行检查，而无需人工对眼科检查装置1进行操作；同时本公开先后通过人脸识别、虹膜定位和瞳孔定位，来不断的调整机械臂4的末端的位置，让眼科检查装置1能够精准对焦到瞳孔位置，从而方便地进行眼科检查，大大减轻了眼科医生的负担，也能给被检查者(如患者)带来更好的检查体验。

根据本公开的实施例，在根据所述眼部图像进行虹膜定位和/或瞳孔定位之前，还包括：对所述眼部图像进行图像预处理，所述预处理包括图像灰度化、图像去噪和图像增强(亮度、对比度调整)。

根据本公开的实施例，在完成所述检查项目之后，控制所述机械臂4将所述指定眼科检查装置放回至初始位置。

具体地，一件眼科检查装置1可以进行眼科检查的项目是有限的，因此，在完成一项检查项目之后，将一件眼科检查装置1放回至初始位置，从而可以换取另一件眼科检查装1置，进而能够对被检查者进行全面综合的眼科检查。

图3示出应用本公开实施例的眼科检查机器人的控制方法进行眼科检查步骤的流程图。

如图3所示，所述眼科检查步骤包括：预备步骤、粗调整步骤、第一细调整步骤、第二细调整步骤和检查步骤；

预备步骤：根据所述检查项目确定所述指定眼科检查装置1，并控制所述机械臂4加载所述指定眼科检查装置1；从所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂4将所述指定眼科检查装置1移动到被检查者脸部附近；

粗调整步骤：在所述指定眼科检查装置1移动到被检查者脸部附近之后，获取所述眼部摄像头44实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂4将所述指定眼科检查装置1移动到被检查者的眼部位置；

第一细调整步骤：在所述指定眼科检查装置1移动到被检查者眼部位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂4将所述指定眼科检查装置1移动到被检查者的虹膜位置；

第二细调整步骤：在所述指定眼科检查装置1移动到被检查者的虹膜位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂4将所述指定眼科检查装置1移动到被检查者的瞳孔位置；

检查步骤：利用所述移动到被检查者的瞳孔位置的指定眼科检查装置1，对被检查者进行眼科检查。

根据本公开的实施例，还包括：

复位步骤：在完成所述检查项目之后，控制所述机械臂4将所述指定眼科检查装置1放回至初始位置。

图4示出应用本公开实施例的眼科检查机器人的控制方法进行眼科检查的一种眼科综合检查机器人系统。

如图4所示，所述眼科综合检查机器人系统包括：检测台3、监控设备9、头部固定装置2、收纳装置6和机械臂4；

所述头部固定装置2设置在检测台3的一侧，用于固定被检查者的头部；

所述监控设备9设置在检测台3上与所述头部固定装置2相对的一侧，且朝向头部固定装置2，用于拍摄检查区域图像，所述检查区域图像包括被检查者的脸部图像；

所述收纳装置6用于收纳多个眼科检查装置1；

所述机械臂4上安装有眼部摄像头44，用于拍摄被检查者的人脸图像和眼部图像；

其中，在对被检查者进行眼科检查时，所述机械臂4在计算机的控制下，从收纳装置6中加载检查项目对应的指定眼科检查装置并将所述指定眼科检查装置1移动到相应的检查位置，其中，所述计算机中存储有本公开实施例的眼科检查机器人的控制方法，来对所述机械臂4进行控制；

在完成所述检查项目之后，所述计算机控制所述机械臂4将所述指定眼科检查装置1放回所述收纳装置6。

所述眼科综合检查机器人系统中的计算机可以设置在云端或本地；所述计算机可以是台式计算机或笔记本电脑，例如所述台式计算机包括主机5和显示设备8，但不限于此。

具体地，在所述眼科综合检查机器人系统应用本公开的控制方法对被检查者进行眼科检查时，机械臂4在计算机的控制下，从收纳装置6中加载检查项目对应的指定眼科检查装置1并将所述指定眼科检查装置1移动到相应的检查位置，从而自动更换对应的眼科检查装置1，使得被检查者能通过一个眼科综合检查机器人系统就可以实现多种眼科的检查项目，做到“一机多检”。

图5示出本公开实施例的一种眼科检查机器人的控制装置的结构图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图5所示，所述装置400包括：获取模块401和机械臂控制模块402。

所述获取模块401，被配置为获取检查项目；

所述机械臂控制模块402，被配置为：

根据所述检查项目确定所述指定眼科检查装置1，并控制所述机械臂4加载所述指定眼科检查装置1并移动到相应的检查区域；

从所述检查区域获取检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂4将所述指定眼科检查装置1移动到被检查者脸部附近；

在所述指定眼科检查装置1移动到被检查者脸部附近之后，获取所述眼部摄像头44实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂4将所述指定眼科检查装置1移动到被检查者的眼部位置；

在所述指定眼科检查装置1移动到被检查者眼部位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂4将所述指定眼科检查装置1移动到被检查者的虹膜位置；

在所述指定眼科检查装置1移动到被检查者的虹膜位置之后，获取所述眼部摄像头44实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂4将所述指定眼科检查装置1移动到被检查者的瞳孔位置。

本公开还公开了一种电子设备，图5示出根据本公开的实施例的电子设备的结构框图。

如图6所示，所述电子设备包括存储器和处理器，其中，存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现根据本公开的实施例的方法。

图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。

如图7所示，计算机系统包括处理单元，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行上述实施例中的各种方法。在RAM中，还存储有计算机系统操作所需的各种程序和数据。处理单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信过程。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，所述处理单元可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种眼科检查机器人的控制方法，其特征在于，所述眼科检查机器人包括机械臂(4)；所述机械臂(4)上安装有眼部摄像头(44)和指定眼科检查装置，所述方法包括：

获取被检查者脸部所在的检查区域的检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂(4)将所述指定眼科检查装置移动到被检查者脸部附近；

在所述指定眼科检查装置移动到被检查者脸部附近之后，获取所述眼部摄像头(44)实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂(4)将所述指定眼科检查装置移动到被检查者的眼部位置；

在所述指定眼科检查装置移动到被检查者眼部位置之后，获取所述眼部摄像头(44)实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的虹膜位置；

在所述指定眼科检查装置移动到被检查者的虹膜位置之后，获取所述眼部摄像头(44)实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的瞳孔位置。

2.根据权利要求1所述的方法，其特征在于，所述方法由控制终端实现，并且包括：

获取检查项目；

根据所述检查项目确定所述指定眼科检查装置，并控制所述机械臂(4)加载所述指定眼科检查装置并移动到相应的检查区域。

3.根据权利要求1所述的方法，其特征在于，还包括：

在完成所述检查项目之后，控制所述机械臂(4)将所述指定眼科检查装置放回至初始位置。

4.根据权利要求1所述的方法，其特征在于，在根据所述眼部图像进行虹膜定位和/或瞳孔定位之前，还包括：对所述眼部图像进行图像预处理。

5.根据权利要求1所述的方法，其特征在于，所述方法由控制终端执行，所述控制终端中存储有人脸识别算法、路径规划算法、虹膜识别算法、瞳孔识别算法和轮廓提取算法中的一种或多种。

6.根据权利要求1所述的方法，其特征在于，所述根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的虹膜位置，包括：

使用虹膜识别算法对被检查者的眼部图像进行第一次虹膜区域粗提取，确定第一虹膜区域粗略位置；

使用轮廓提取算法对所述第一虹膜区域粗略位置进行虹膜外轮廓提取，获取虹膜外轮廓并计算其在被检查者的眼部图像的位置，获得第一虹膜位置作为被检查者的虹膜位置；

计算所述机械臂(4)末端的当前位置与第一虹膜位置的第一像素偏移量，并根据第一像素偏移量控制所述机械臂(4)的运动，以将所述指定眼科检查装置移动到被检查者的虹膜位置。

7.根据权利要求6所述的方法，其特征在于，所述根据第一像素偏移量控制所述机械臂(4)的运动，包括以下步骤：

设置第一偏移量比例系数为第一预设固定值；

将所述第一偏移量比例系数乘以所述第一像素偏移量获得所述机械臂(4)末端的当前位置的第一位置偏移量；

根据所述第一位置偏移量控制所述机械臂(4)的运动；

对所述第一偏移量比例系数的第一预设固定值进行迭代并重复上述步骤，直至控制所述机械臂(4)将所述指定眼科检查装置移动到被检查者的虹膜位置。

8.根据权利要求7所述的方法，其特征在于，所述根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的瞳孔位置，包括：

使用虹膜定位算法对所述被检查者的眼部图像进行第二次虹膜区域粗提取，确定第二虹膜区域粗略位置；

使用轮廓提取算法对所述第二虹膜区域粗略位置进行虹膜外轮廓提取，确定第二虹膜位置；

使用轮廓提取算法对所述第二虹膜位置进行虹膜内轮廓提取，获取虹膜内轮廓在被检查者的眼部图像的位置，所述虹膜内轮廓所包围的区域即为瞳孔区域位置；

使用瞳孔定位算法，确定瞳孔区域位置中的瞳孔位置；

计算所述机械臂(4)末端的当前位置与瞳孔位置的第二像素偏移量，根据第二像素偏移量控制所述机械臂(4)的运动。

9.根据权利要求8所述的方法，其特征在于，所述根据第二像素偏移量控制所述机械臂(4)的运动，包括以下步骤：

设置第二偏移量比例系数为第二预设固定值；

将所述第二偏移量比例系数乘以所述第二像素偏移量获得所述机械臂(4)末端的当前位置的第二位置偏移量；

根据所述第二位置偏移量控制所述机械臂(4)的运动；

对所述第二偏移量比例系数的第二预设固定值进行迭代并重复上述步骤，直至控制机械臂(4)将所述指定眼科检查装置移动到被检查者的瞳孔位置。

10.一种眼科检查机器人的控制装置，其特征在于，包括：

获取模块，被配置为获取检查项目；

机械臂控制模块，被配置为：

根据所述检查项目确定所述指定眼科检查装置，并控制所述机械臂(4)加载所述指定眼科检查装置并移动到相应的检查区域；

从所述检查区域获取检查区域图像，根据所述检查区域图像识别被检查者脸部图像，根据被检查者脸部图像识别结果控制所述机械臂(4)将所述指定眼科检查装置移动到被检查者脸部附近；

在所述指定眼科检查装置移动到被检查者脸部附近之后，获取所述眼部摄像头(44)实时拍摄的人脸图像，从所述人脸图像识别被检查者眼部图像，根据被检查者眼部图像识别结果控制所述机械臂(4)将所述指定眼科检查装置移动到被检查者的眼部位置；

在所述指定眼科检查装置移动到被检查者眼部位置之后，获取所述眼部摄像头(44)实时拍摄的眼部图像，根据所述眼部图像进行虹膜定位，根据虹膜定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的虹膜位置；

在所述指定眼科检查装置移动到被检查者的虹膜位置之后，获取所述眼部摄像头(44)实时拍摄的眼部图像，根据所述眼部图像进行瞳孔定位，根据瞳孔定位结果控制机械臂(4)将所述指定眼科检查装置移动到被检查者的瞳孔位置。

11.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1～9中任一项所述的方法步骤。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1～9中任一项所述的方法步骤。