CN106502423B - 基于人眼视觉定位的自动化微操作方法 - Google Patents

基于人眼视觉定位的自动化微操作方法 Download PDF

Info

Publication number
CN106502423B
CN106502423B CN201611039345.3A CN201611039345A CN106502423B CN 106502423 B CN106502423 B CN 106502423B CN 201611039345 A CN201611039345 A CN 201611039345A CN 106502423 B CN106502423 B CN 106502423B
Authority
CN
China
Prior art keywords
micro
blinkpunkt
human eye
microoperation
automation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611039345.3A
Other languages
English (en)
Other versions
CN106502423A (zh
Inventor
陈国良
马辉
张钏钏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201611039345.3A priority Critical patent/CN106502423B/zh
Publication of CN106502423A publication Critical patent/CN106502423A/zh
Application granted granted Critical
Publication of CN106502423B publication Critical patent/CN106502423B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于人眼视觉定位的自动化微操作方法，包括以下步骤：步骤S10，定位瞳孔中心和角膜反射中心；步骤S20，标定视觉定位系统；步骤S30，基于人眼注视点进行自动化微操作。本发明克服了传统操作者单纯依靠显微视觉系统反馈定位微操作工具和微目标时所存在的多次定位反复作业、效率低、耗时长、易疲劳等缺点。

Description

基于人眼视觉定位的自动化微操作方法
技术领域
本发明属于微机电系统领域，更具体地说，涉及一种基于人眼视觉定位的自动化微操作方法。
背景技术
微操作是微机电系统(MEMS)加工与装配、光学与光电子工程、生物医学工程等诸多领域的基本作业形式，在微小尺度范围内对微尺度、中等尺度元件或物体进行控制，以及他们之间的位置和姿态关系进行控制。这类操作的目标对象极小，例如生物细胞(10～150μm)、微机电系统零件(10～100μm)、光导纤维(62.5/125μm)等，其精细程度超出了人类的操作极限。人类必须借助适合的设备才可以实现此类操作。能够进行微操作作业的设备被称为微操作机器人，它是人类感知和操控微观世界不可或缺的助手。微操作技术与设备的研究是近年来MEMS和机器人领域的研究热点，对其研究有助于人类探索微观世界奥秘、实现对微观世界的操纵和控制，具有重要的科学研究意义和广泛的应用前景。在微操作中，微操作对象尺寸微小，操作者只能依靠显微视觉系统的反馈来判断定位微操作工具和微目标，然后做出决策进行微操作作业。由于人很难通过显微视觉图像准确定位二者的位置或距离信息，往往需要先观察后操作的串行式反复作业，效率低，操作者容易疲劳。针对操作者的这种操作模式，基于视线跟踪技术的发展，为了提高微操作系统的自动化程度，让微操作者更好地发挥中心决策与控制地位，同时降低劳动强度，将视线跟踪技术引入微操作中，研究一种基于人眼视觉定位的自动化微操作硬件和软件系统显得尤为重要。
发明内容
为克服现有技术存在的缺陷，本发明提供一种基于人眼视觉定位的自动化微操作方法。
本发明解决其技术问题所采用的技术方案是：
设计一种基于人眼视觉定位的自动化微操作方法，包括以下步骤：
步骤S10，定位瞳孔中心和角膜反射中心；
步骤S20，标定视觉定位系统；
步骤S30，基于人眼注视点进行自动化微操作。
在步骤S10中，结合下采样、固定阈值分割、八连通域法、扫描线法和基于对称性的圆检测方法对瞳孔进行半精确定位，再采用Hough变换对瞳孔进行精确定位；采用质心法精确定位角膜反射中心。
在步骤S20中，在电脑屏幕上等间距标记9个十字交叉点，人眼依次注视9个点，每个点注视1秒，微机电系统获取操作者注视9个十字交叉点时的角膜-瞳孔中心坐标，根据9个十字交叉点坐标和与之对应的角膜-瞳孔中心坐标，利用三阶非线性多项式拟合求得映射模型，完成视觉定位系统标定。
在步骤S30中，包括以下步骤：
步骤S30-1，定位微操作工具和微目标；
步骤S30-2，人眼注视某个点时间超过1s，微机电系统自主进行注视点区域判断，得到初步注视点；
步骤S30-3，微机电系统对初步注视点进行校正，得到理想注视点的坐标；
步骤S30-4，微机电系统进行弹窗询问确定该注视点目标，操作者确定该注视点目标是微操作工具还是微目标；
步骤S30-5，重复步骤S30-2至S30-4，完成垂直和水平两个光路中目标的定位；
步骤S30-6，重复步骤S30-2至S30-5，直至获取4个注视点坐标，完成微操作工具和微目标的三维坐标定位；
步骤S30-7，根据微操作工具和微目标的三维坐标差并结合单位像素所代表的实际长度计算出二者的实际三维距离差；
步骤S30-8，弹窗询问选择驱动左操作手还是右操作手，微操作工具向微目标运动，完成微操作作业。
在步骤S30-3中，以初步注视点为中心，在实时显微图像的当前那一帧图像上标记10个相邻间隔5个像素的同心正方形，观察判断后手动输入坐标并确认再次定位，得到比初步注视点更精确的目标点坐标以及重新定位后的图像，重复上述步骤进行多次辅助定位。
实施本发明基于人眼视觉定位的自动化微操作方法，具有以下有益效果：
本发明克服了传统操作者单纯依靠显微视觉系统反馈定位微操作工具和微目标时所存在的多次定位反复作业、效率低、耗时长、易疲劳等缺点。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明中瞳孔的半精定位过程；
图2是本发明中瞳孔的精确定位过程；
图3是本发明中角膜的反射中心定位过程；
图4是本发明中实施例压电微夹钳和圆柱型微粒的定位实验图；
图5为垂直光路(a)和水平光路(b)下压电微夹钳末端和圆柱型微粒的初始位置；
图6为垂直光路下压电微夹钳末端和圆柱型微粒的定位过程；
图7为水平光路下压电微夹钳末端和圆柱型微粒的定位过程；
图8为压电微夹钳向圆柱型微粒运动后的显微视觉图像(垂直光路(a)；水平光路(b))。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明基于人眼视觉定位的自动化微操作方法，包括以下步骤：
步骤S10，定位瞳孔中心和角膜反射中心。如图1所示，结合下采样、固定阈值分割、八连通域法、扫描线法和基于对称性的圆检测方法对瞳孔进行半精确定位。对瞳孔进行半精定位，有效提高了瞳孔的图占比，缩小了定位范围。如图2所示，再采用Hough变换对瞳孔进行精确定位。采用质心法精确定位角膜反射中心，如图3所示。
步骤S20，标定视觉定位系统。在电脑屏幕上等间距标记9个十字交叉点，人眼依次注视9个点，每个点注视1秒，微机电系统获取操作者注视9个十字交叉点时的角膜-瞳孔中心坐标，根据9个十字交叉点坐标和与之对应的角膜-瞳孔中心坐标，利用三阶非线性多项式拟合求得映射模型，完成视觉定位系统标定。下式为一次实验中求得的映射模型。
上式中，Xs表示角膜-瞳孔中心的横坐标，Ys表示角膜-瞳孔中心的纵坐标，xe表示某个交叉点的横坐标，ye表示某个交叉点的纵坐标。
步骤S30，基于人眼注视点进行自动化微操作。步骤S30包括以下步骤：
步骤S30-1，定位微操作工具和微目标；
步骤S30-2，人眼注视某个点时间超过1s，微机电系统自主进行注视点区域判断，得到初步注视点；
步骤S30-3，微机电系统对初步注视点进行校正，得到理想注视点的坐标。以初步注视点为中心，在实时显微图像的当前那一帧图像上标记10个相邻间隔5个像素的同心正方形，观察判断后手动输入坐标并确认再次定位，得到比初步注视点更精确的目标点坐标以及重新定位后的图像，重复上述步骤进行多次辅助定位。
步骤S30-4，微机电系统进行弹窗询问确定该注视点目标，操作者确定该注视点目标是微操作工具还是微目标；
步骤S30-5，重复步骤S30-2至S30-4，完成垂直和水平两个光路中目标的定位；
步骤S30-6，重复步骤S30-2至S30-5，直至获取4个注视点坐标，完成微操作工具和微目标的三维坐标定位；
步骤S30-7，根据微操作工具和微目标的三维坐标差并结合单位像素所代表的实际长度计算出二者的实际三维距离差；
步骤S30-8，弹窗询问选择驱动左操作手还是右操作手，微操作工具向微目标运动，完成微操作作业。
作为本发明的一个实施例，实验中选择压电陶瓷式微夹钳作为微操作工具，微目标为圆柱型微粒。通过对压电微夹钳和圆柱型微粒定位，得到它们的实际三维坐标差，使压电微夹钳向圆柱型微粒运动，达到定位的目的。图4为操作者进行微操作工具和微目标定位实验时的实物图。图5到图8所示为在微操作机器人系统平台下，基于操作者视觉定位系统完成了压电微夹钳末端和圆柱型微粒的定位过程。图5为垂直光路和水平光路下压电微夹钳末端和圆柱型微粒的初始位置；图6为垂直光路下压电微夹钳末端和圆柱型微粒的定位过程；图7为水平光路下压电微夹钳末端和圆柱型微粒的定位过程；图8为根据视觉定位和辅助定位结果，压电微夹钳向圆柱型微粒运动后的显微视觉图像。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (4)

1.一种基于人眼视觉定位的自动化微操作方法，其特征在于，包括以下步骤：
步骤S10，定位瞳孔中心和角膜反射中心；
步骤S20，标定视觉定位系统；
步骤S30，基于人眼注视点进行自动化微操作；
其中，在步骤S30中，包括以下步骤：
步骤S30-1，定位微操作工具和微目标；
步骤S30-2，人眼注视某个点时间超过1s，微机电系统自主进行注视点区域判断，得到初步注视点；
步骤S30-3，微机电系统对初步注视点进行校正，得到理想注视点的坐标；
步骤S30-4，微机电系统进行弹窗询问确定该理想注视点是微操作工具还是微目标，操作者确定该理想注视点是微操作工具还是微目标；
步骤S30-5，重复步骤S30-2至S30-4，完成垂直和水平两个光路中目标的定位；
步骤S30-6，重复步骤S30-2至S30-5，直至获取4个注视点坐标，完成微操作工具和微目标的三维坐标定位；
步骤S30-7，根据微操作工具和微目标的三维坐标差并结合单位像素所代表的实际长度计算出二者的实际三维距离差；
步骤S30-8，弹窗询问选择驱动左操作手还是右操作手，微操作工具向微目标运动，完成微操作作业。
2.根据权利要求1所述的基于人眼视觉定位的自动化微操作方法，其特征在于，在步骤S10中，结合下采样、固定阈值分割、八连通域法、扫描线法和基于对称性的圆检测方法对瞳孔进行半精确定位，再采用Hough变换对瞳孔进行精确定位；采用质心法精确定位角膜反射中心。
3.根据权利要求2所述的基于人眼视觉定位的自动化微操作方法，其特征在于，在步骤S20中，在电脑屏幕上等间距标记9个十字交叉点，人眼依次注视9个点，每个点注视1秒，微机电系统获取操作者注视9个十字交叉点时的角膜-瞳孔中心坐标，根据9个十字交叉点坐标和与之对应的角膜-瞳孔中心坐标，利用三阶非线性多项式拟合求得映射模型，完成视觉定位系统标定。
4.根据权利要求1所述的基于人眼视觉定位的自动化微操作方法，其特征在于，在步骤S30-3中，以初步注视点为中心，在实时显微图像的当前那一帧图像上标记10个相邻间隔5个像素的同心正方形，观察判断后手动输入坐标并确认再次定位，得到比初步注视点更精确的目标点坐标以及重新定位后的图像，重复上述步骤进行多次辅助定位。
CN201611039345.3A 2016-11-21 2016-11-21 基于人眼视觉定位的自动化微操作方法 Expired - Fee Related CN106502423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611039345.3A CN106502423B (zh) 2016-11-21 2016-11-21 基于人眼视觉定位的自动化微操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611039345.3A CN106502423B (zh) 2016-11-21 2016-11-21 基于人眼视觉定位的自动化微操作方法

Publications (2)

Publication Number Publication Date
CN106502423A CN106502423A (zh) 2017-03-15
CN106502423B true CN106502423B (zh) 2019-04-30

Family

ID=58328105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611039345.3A Expired - Fee Related CN106502423B (zh) 2016-11-21 2016-11-21 基于人眼视觉定位的自动化微操作方法

Country Status (1)

Country Link
CN (1) CN106502423B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110758237A (zh) * 2018-07-27 2020-02-07 深圳富泰宏精密工业有限公司 电子装置及行车安全提醒方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技（天津）有限公司 一种眼控方法及装置
WO2016136074A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
WO2016136074A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技（天津）有限公司 一种眼控方法及装置
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载系统人眼控制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种改进的基于对称性的Hough变换圆检测算法;王红茹 等;《微电子学与计算机》;20140630;第31卷(第6期);第121-124页
基于图像特征的快速瞳孔提取算法;陈健 等;《电子测量与仪器学报》;20140215;第28卷(第2期);第203-210页

Also Published As

Publication number Publication date
CN106502423A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN109758355B (zh) 一种基于人体穴位二维图像处理和三维立体定位方法
US11100636B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP5688825B2 (ja) カメラシステムの座標系の較正および変換
CN110403699B (zh) 手术导引系统
CN109260593B (zh) 一种经颅磁刺激治疗方法及设备
CN106780389B (zh) 一种基于坐标转换的鱼眼图像校正方法及装置
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20130202212A1 (en) Information processing apparatus, information processing method, and computer program
WO2011058948A1 (ja) 医用三次元画像の表示向き調整装置および調整プログラム
CN109549659A (zh) 一种自动获得扫描部位定位片的方法和系统
CN104850842B (zh) 移动终端虹膜识别的人机交互方法
JP2009042162A (ja) キャリブレーション装置及びその方法
CN106502423B (zh) 基于人眼视觉定位的自动化微操作方法
CN103829966A (zh) 用于自动确定侦测图像中的定位线的方法和系统
CN108073855A (zh) 一种人脸表情的识别方法及系统
JP2021518206A (ja) デジタル顕微鏡のための自動ｘｙセンタリング
CN109241822A (zh) 一种基于mtcnn的多方位人脸检测方法及系统
Jivraj et al. Robotic laser osteotomy through penscriptive structured light visual servoing
CN106843492A (zh) 一种多人视点校准系统及方法
Wang et al. Using point cloud data to improve three dimensional gaze estimation
Zhou et al. Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2
Yeamkuan et al. A 3d point-of-intention estimation method using multimodal fusion of hand pointing, eye gaze and depth sensing for collaborative robots
Bautista-Salinas et al. Integrated augmented reality feedback for cochlear implant surgery instruments
CN110672009B (zh) 基于机器视觉的基准定位、物体姿态调整及图形显示方法
Manolova et al. Human gaze tracking with an active multi-camera system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190430

Termination date: 20191121