CN112869701B - 视线检测方法、手术机器人系统、控制方法和存储介质 - Google Patents
视线检测方法、手术机器人系统、控制方法和存储介质 Download PDFInfo
- Publication number
- CN112869701B CN112869701B CN202110031380.5A CN202110031380A CN112869701B CN 112869701 B CN112869701 B CN 112869701B CN 202110031380 A CN202110031380 A CN 202110031380A CN 112869701 B CN112869701 B CN 112869701B
- Authority
- CN
- China
- Prior art keywords
- tested person
- orientation information
- face
- facial feature
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 22
- 210000000554 iris Anatomy 0.000 description 33
- 238000010586 diagram Methods 0.000 description 23
- 230000004424 eye movement Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种视线检测方法、手术机器人系统、控制方法和存储介质，视线检测方法包括：步骤S11、获取被测者的面部朝向信息；步骤S12、根据所述面部朝向信息，判断所述被测者的面部是否朝向目标对象；若是，则执行步骤S13，若否，则执行步骤S14；步骤S13、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述目标对象；若否，则执行步骤S14；步骤S14、发出预警信息和/或发出状态变更指令。本发明在判定被测者的视线非面向目标对象时，会自动发出预警信息和/或发出状态变更指令，由此可以有效防止误操作，提高操作过程中的安全性。
Description
技术领域
本发明涉及视线检测技术领域，特别涉及一种视线检测方法、手术机器人系统、控制方法和存储介质。
背景技术
现有的医疗装置在检测医生的视线时一般通过采集眼部运动数据来实现对眼睛的视线追踪。常见的眼动仪通过红外照射装置，照射医生眼部，以在医生角膜上产生光斑，然后利用这些光斑以及医生的瞳孔图片计算医生的注视方向。但是，采用眼动仪进行视线检测的过程中由于环境杂光等干扰因素会给视线检测带来极大的干扰因素。另外，由于眼动仪上设置的用于拍摄眼部运动的拍摄装置的拍摄范围有限制，对医生在视线检测过程中的位置稳定性有一定要求。一旦医生因为某种原因偏离预定的测试范围，将不能成功地完成对医生的视线检测，系统将很难判断医生是否看向显示装置，一旦医生视线偏离显示装置则会出现误操作，将会对患者造成伤害。针对上述现有技术无法准确确定医生视线的问题，目前尚未提出有效的解决方案。
发明内容
本发明的目的在于提供一种视线检测方法、手术机器人系统、控制方法和存储介质，可以解决现有技术中无法准确确定医生视线的问题。
为解决上述技术问题，本发明提供一种视线检测方法，所述视线检测方法包括如下步骤：
步骤S11、获取被测者的面部朝向信息；
步骤S12、根据所述面部朝向信息，判断所述被测者的面部是否朝向目标对象；
若是，则执行步骤S13，若否，则执行步骤S14；
步骤S13、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述目标对象；
若否，则执行步骤S14；
步骤S14、发出预警信息和/或发出状态变更指令。
可选的，所述获取被测者的面部朝向信息，包括：
获取被测者的面部图像；以及
根据所述面部图像获取所述被测者的面部朝向信息。
可选的，所述根据所述面部图像获取所述被测者的面部朝向信息，包括：
对所述面部图像进行识别，以获得所述被测者的面部特征点信息；以及
根据所述面部特征点信息，获取所述被测者的面部朝向信息。
可选的，所述面部特征点信息包括面部特征点个数、面部特征点之间的位置关系；
所述根据所述面部特征点信息，获取所述被测者的面部朝向信息，包括：
根据所获得的面部特征点个数、面部特征点之间的位置关系以及预先存储的面部特征点个数、面部特征点之间的位置关系与面部朝向之间的对应关系，获取所述被测者的面部朝向信息。
可选的，所述面部特征点包括眼角、嘴角和/或鼻尖。
可选的，所述获取被测者的眼部朝向信息，包括：
从不同角度向所述被测者的眼部发射多束红外线；
接收由所述被测者的眼部反射回来的红外线，以获得所述被测者的眼部虹膜图像；
根据所获得的眼部虹膜图像，获取所述被测者的眼部朝向信息。
为解决上述技术问题，本发明还提供一种手术机器人系统的控制方法，所述手术机器人系统包括显示装置和机械臂，所述控制方法包括：
采用如上文所述的视线检测方法，判断被测者的视线是否朝向所述显示装置；以及
若判定所述被测者的视线非朝向所述显示装置，则发出预警信息和/或使所述机械臂进入锁定状态。
为解决上述技术问题，本发明还提供一种手术机器人系统，包括显示装置、控制器和机械臂，所述显示装置与所述控制器通信连接，所述控制器包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的视线检测方法或如上文所述的手术机器人系统的控制方法。
可选的，所述手术机器人系统包括头戴式设备，所述头戴式设备包括眼镜架，所述眼镜架上安装有多个红外线发射器，所述显示装置上安装有红外线接收器和摄像头，所述红外线发射器、所述红外线接收器、所述摄像头均与所述控制器通信连接；
所述摄像头用于获取被测者的面部图像并将所述面部图像传输至所述控制器；
所述红外线发射器用于向所述被测者的眼部发射红外线；
所述红外线接收器用于接收由所述被测者的眼部反射回来的红外线，以获得被测者的眼部虹膜图像并将所述眼部虹膜图像传输至所述控制器；
所述控制器用于基于所获得的面部图像，获取所述被测者的面部朝向信息，基于所获得的眼部虹膜图像，获取所述被测者的眼部朝向信息。
可选的，所述手术机器人系统包括医生控制台和手术操控台，所述医生控制台包括所述显示装置、所述控制器和主控制臂，所述手术操控台包括所述机械臂，所述控制器用于判定若被测者的视线朝向所述显示装置，则建立所述主控制臂与所述机械臂之间的主从关系。
为解决上述技术问题，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的视线检测方法或如上文所述的手术机器人系统的控制方法。
与现有技术相比，本发明提供的视线检测方法、手术机器人系统、控制方法和存储介质具有以下优点：
本发明通过先获取被测者的面部朝向信息；再根据所获取的面部朝向信息，判断被测者的面部是否朝向所述目标对象；若否，则发出预警信息和/或发出状态变更指令；若是，则获取被测者的眼部朝向信息，并根据所获取的被测者的眼部朝向信息，判断被测者的视线是否朝向所述目标对象；若否，则发出预警信息和/或发出状态变更指令。由此，本发明通过先判断所述被测者的面部是否朝向目标对象，再在被测者的面部朝向所述目标对象的基础上判断被测者的视线是否朝向所述目标对象，可以更加准确地确定被测者的视线。本发明相比于现有技术，例如通过采集眼部运动数据来实现视线检测的方法，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线非面向目标对象时，会自动发出预警信息和/或发出状态变更指令，由此可以有效防止误操作，提高操作过程中的安全性。例如针对手术机器人系统，本发明在判定医生(被测者)的视线未面向显示装置(目标对象)时，会自动发出预警信息和/或启动保护机制，以使得用于执行手术的机械臂进入锁定状态，即断开主从关系，从而可以有效防止医生在其视线未面向显示装置时而操作机械臂，进一步提高手术过程中的安全性，有效防止误操作。
附图说明
图1为本发明一实施例中的视线检测方法的流程示意图；
图2为本发明一实施例中的面部特征点的示意图；
图3为本发明一实施例中的被测者的头部摆正时的面部特征点之间的位置关系示意图；
图4为本发明一实施例中的被测者低头时的面部特征点的示意图；
图5为本发明一实施例中的被测者侧头时的面部特征点的示意图；
图6为本发明一实施例中的眼部朝向信息测量原理示意图；
图7为本发明一实施例中的头戴式设备的示意图；
图8为本发明一实施例中的被测者的眼部朝向目标对象时的示意图；
图9为本发明一实施例中的被测者的眼部未朝向目标对象时的示意图；
图10为本发明一实施例中的手术机器人系统的结构示意图；
图11为本发明一实施例中的医生控制台的结构示意图；
图12为本发明一实施例中的控制器的方框结构示意图；
图13为本发明一实施例中的显示装置的结构示意图；
图14为本发明一实施例中的术机器人系统的控制方法的流程示意图。
其中，附图标记如下：
头戴式设备-110；目标对象-120；摄像头-121；红外线发射器-111；红外线接收器-122；面部特征点-1；反光点-2；医生控制台-10；手术台车-20；手术操控台-30；机械臂-31；主控制臂-11；显示装置-12；处理器-131；通信接口-132；存储器-133；通信总线-134。
具体实施方式
以下结合附图1至14和具体实施例对本发明提出的视线检测方法、手术机器人系统、控制方法和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的主要目的在于提供一种视线检测方法、手术机器人系统、控制方法和存储介质，以解决现有技术中无法准确确定医生视线的问题。
为实现上述目的，本发明提供一种视线检测方法，请参考图1，其示意性地给出了本发明一实施例提供的视线检测方法的流程示意图，如图1所示，所述视线检测方法包括如下步骤：
步骤S11、获取被测者的面部朝向信息；
步骤S12、根据所述面部朝向信息，判断所述被测者的面部是否朝向目标对象；
若是，则执行步骤S13，若否，则执行步骤S14；
步骤S13、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述目标对象；
若否，则执行步骤S14；
步骤S14、发出预警信息和/或发出状态变更指令。
由此，本发明通过先判断所述被测者的面部是否朝向目标对象120，再在被测者的面部朝向所述目标对象120的基础上判断被测者的视线是否朝向所述目标对象120，可以更加准确地确定被测者的视线。相较于现有技术，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线朝向目标对象时，被测者才可以执行下一步操作，在判定被测者的视线非面向目标对象120时，会自动发出预警信息和/或发出状态变更指令，由此可以有效防止误操作，提高操作过程中的安全性。
进一步的，在本实施例中，步骤S11、获取被测者的面部朝向信息，包括：
获取被测者的面部图像；以及
根据所述面部图像获取所述被测者的面部朝向信息。
具体的，可以通过安装于所述目标对象120上的摄像头121获取被测者的面部图像。当然，如本领域技术人员所能理解的，在其它一些实施例中，也可以将所述摄像头121安装于除所述目标对象120之外的其它部件上，只要通过所述摄像头121能够获取所述被测者的面部图像即可，本发明对此并不进行限制。
更进一步的，所述根据所述面部图像获取所述被测者的面部朝向信息，包括：
对所述面部图像进行识别，以获得所述被测者的面部特征点信息；以及
根据所述面部特征点信息，获取所述被测者的面部朝向信息。
具体的，可采用现有的人脸识别技术对所述面部图像进行识别，以获得所述被测者的面部特征点信息，所述面部特征点包括眼角、嘴角和/或鼻尖。请参考图2，其示意性地给出了本发明一实施例中所要获取的面部特征点的示意图。如图2所示，在本实施例中，采用人脸识别技术识别出被测者的眼角(图2中的面部特征点1A、1B、1C、1D)、嘴角(图2中的面部特征点1F、1G)和鼻尖(图2中的面部特征点1E)等面部特征点，以获取被测者的面部特征点信息。
进一步的，所述面部特征点信息包括面部特征点个数、面部特征点之间的位置关系。
所述根据所述面部特征点信息，获取所述被测者的面部朝向信息，包括：
根据所获得的面部特征点个数、面部特征点之间的位置关系以及预先存储的面部特征点个数、面部特征点之间的位置关系与面部朝向之间的对应关系，获取所述被测者的面部朝向信息。
具体的，请参考图3至图5，其中，图3示意性地给出了当被测者的头部摆正时的面部特征点之间的位置关系示意图；图4示意性地给出了当被测者低头时的面部特征点的示意图；图5示意性地给出了当被测者侧着头时的面部特征点的示意图。如图3所示，当被测者的头部摆正时，眼角处的四个面部特征点1A、1B、1C、1D、嘴角处的两个面部特征点1F、1G以及鼻尖处的面部特征点1E均应该能够在所获取的面部图像中被识别到，且面部特征点1A、1B、1C、1D、1E、1F、1G之间具有特定的位置关系，例如：面部特征点1B、1C、1E之间围成一等腰三角形，面部特征点1A、1B、1C、1D大致位于同一条直线上，面部特征点1E、1F、1G之间围成一等腰三角形。如图4所示，当被测者低着头时(即面部未朝向目标对象120)，虽然也能够在所获取的面部图像中识别出眼角处的四个面部特征点1A、1B、1C、1D、嘴角处的两个面部特征点1F、1G以及鼻尖处的面部特征点1E，但是面部特征点1A、1B、1C、1D、E、F、G之间的位置关系发生了显著的变化，例如：面部特征点1A、1B、1C、1D不再位于一条直线上。如图5所示，当被测者侧着头时(即面部未朝向目标对象120)，所获取的面部图像中，面部特征点不仅发生了缺失，而且面部特征点之间的位置关系也发生了变化，例如：当被测者的头部朝向左侧时，在所获取的面部图像中，左眼的左侧眼角处的面部特征点1D会缺失，左侧嘴角处的面部特征点1G会缺失。当左侧的角度较大时，左眼的右侧眼角处的面部特征点1C也会缺失。由此，根据所获取的被测者的面部特征点个数、面部特征点之间的位置关系以及预先存储的面部特征点个数、面部特征点之间的位置关系与面部朝向之间的对应关系，即可获取被测者的面部朝向信息，进而可以根据所述面部朝向信息，判断被测者的面部是否朝向所述目标对象120。
优选的，为了进一步提高视线检测的准确性，如果连续2秒钟所获取的面部图像都未能识别出全部的面部特征点1或者虽然识别出了全部的面部特征点1，但是所述面部特征点1之间并不满足特定的位置关系(此特定的位置关系预先存储在系统的存储器内，以供系统的处理器识别)，则此时系统才会判定被测者的面部并未朝向所述目标对象120，进而发出预警信息和/或发出状态变更指令。
请继续参考图6，其示意性地给出了本发明一实施例中的眼部朝向信息的测量原理示意图。如图6所示，在本实施例中，所述步骤S13中，获取所述被测者的眼部朝向信息，包括：
从不同角度向所述被测者的眼部发射多束红外线；
接收由所述被测者的眼部反射回来的红外线，以获得所述被测者的眼部虹膜图像；
根据所获得的眼部虹膜图像，获取所述被测者的眼部朝向信息。
由于当向所述被测者的左、右眼发射红外线时，到达被测者的左、右眼的虹膜区域的红外线会被被测者的左、右眼的虹膜反射，被反射回来的红外线会被接收，进而得到被测者的左、右眼的虹膜图像，通过对被测者的左、右眼的虹膜图像进行分析，即可获取被测者的眼部朝向信息。
具体的，在本实施例中，被测者的头部可佩戴有头戴式设备110，所述头戴式设备110上安装有多个红外线发射器111，例如红外线LED灯，所述目标对象120上安装有红外线接收器122，例如红外线摄像头，所述红外线发射器111和所述红外线接收器122均与处理器通信连接。由此，通过所述红外线发射器111可以向所述被测者的左、右眼发射红外线，通过所述红外线接收器122，例如红外线摄像头，可以接收由所述被测者的左、右眼反射回来的红外线并成像，进而获取被测者的左、右眼的虹膜图像，根据所获取被测者的左、右眼的虹膜图像即可获得被测者的眼部朝向信息。当然如本领域技术人员所能理解的，在其它一些实施例中，所述红外线接收器122也可以安装于除所述目标对象120之外的其它部件上，只要通过所述红外线接收器122能够接收由所述被测者的眼部反射回来的红外线即可，本发明对此并不进行限制。此外，如本领域技术人员所能理解的，在一些实施例中，所述红外线接收器122的数量为一个，此时，由所述被测者的左、右眼反射回来的红外线被同一个红外线接收器122所接收。在另一些实施例中，所述红外线接收器122为两个，此时，由被测者的左眼反射回来的红外线被其中的一个红外线接收器122所接收，以获得被测者的左眼的虹膜图像；由被测者的右眼反射回来的红外线被另一个红外线接收器122所接收，以获得被测者的右眼的虹膜图像。所述处理器根据所获得的左、右眼的虹膜图像获取被测者的眼部朝向信息，并根据所述眼部朝向信息，判断被测者的视线是否朝向所述目标对象120。
请参考图7，其示意性地给出了本发明一实施例中的头戴式设备110的示意图。如图7所示，在本实施例中，所述头戴式设备110包括眼镜架，所述眼镜架的左镜框和右镜框上分别安装有四个红外线发射器111，通过安装于所述左镜框上的四个红外线发射器111可以从不同的角度向被测者的左眼发射四束红外线，通过安装于所述右镜框上的四个红外线发射器111可以从不同的角度向被测者的右眼发射四束红外线。请参考图8，其示意性地给出了本发明一实施例提供的被测者的眼部朝向目标对象120时的示意图。如图8所示，若被测者的左眼朝向目标对象120，则照射至被测者的左眼的四束红外线会在被测者的左眼的虹膜区域形成四个反光点2(一束红外线对应一个反光点2)，即照射至被测者的左眼的四束红外线均会在被测者的左眼的虹膜区域发生反射，通过红外线接收器122接收反射回来的红外线所获得的左眼的虹膜图像上会存在四个亮点(即反光点2所成的像)。若被测者的左眼未睁开，则照射至被测者的左眼的四束红外线均不会发生反射，此时所述红外线接收器122将采集不到被测者的左眼的虹膜图像。请参考图9，其示意性地给出了本发明一实施例提供的被测者的眼部未朝向目标对象120时的示意图。如图9所示，若被测者的左眼未朝向目标对象120，即被测者的左眼的虹膜区域移动了一定距离，此时，照射至被测者的左眼的四束红外线中的至少一束将不会在被测者的左眼的虹膜区域形成反光点2，即照射至被测者的左眼的四束红外线中的至少一束将不会在被测者的左眼的虹膜区域发生反射，因此通过所述红外线接收器122接收反射回来的红外线所获得的左眼的虹膜图像上的亮点个数将少于四个，例如在图9中，位于左镜框上的四个红外线发射器111所发射的红外线中只有一个红外线发射器111所发射的红外线能够在左眼的虹膜区域形成反光点2。由此，通过对所述红外线接收器122采集的被测者的左眼的虹膜图像进行分析，可以确定被测者的左眼是朝向目标对象120、未睁开、偏离目标对象120中的哪一种情形，以获取被测者的左眼的眼部朝向信息，进而判断被测者左眼的视线是否朝向目标对象120。同理，通过对所述红外线接收器122采集的被测者的右眼的虹膜图像进行分析，可以确定被测者的右眼是朝向目标对象120、未睁开、还是偏离目标对象120中的哪一种情形，以获取被测者的右眼的眼部朝向信息，进而判断被测者的右眼的视线是否朝向目标对象120。需要说明的是，虽然本实施例是以左、右镜框上各安装四个红外线发射器111为例进行说明，但是如本领域技术人员所能理解的，在其它一些实施例中，也可以在左、右镜框上各安装少于四个或多于四个的红外线发射器111，本发明对此并不进行限定。
优选的，为了进一步提高视线检测的准确性，如果连续3秒钟都未采集到被测者的眼部的虹膜图像，或者连续3秒钟所获取的虹膜图像中都不能识别到与红外线发射器111的个数相对应的个数的反光点2，则此时系统才会判定被测者的视线并未朝向所述目标对象120，进而发出预警信息和/或发出状态变更指令。
为了进一步提高视线检测的准确率，安装于所述眼镜架的左镜框上的多个红外线发射器111沿所述左镜框的周向均匀布置；安装于所述眼镜架的右镜框上的多个红外线发射器111沿所述右镜框的周向均匀设置。
以上所述的视线检测方法中的目标对象没有特别限制，例如可以为显示装置，也可以为除显示装置以外的其它部件，其可以用于多种用于识别视线是否在预定范围内的情景中，根据本发明的一个方面，以下将以其应用于手术机器人系统为例进行说明。需要说明的是，虽然本发明是以显示装置作为目标对象，以手术机器人系统作为应用场景进行说明，但不应以此作为对本发明的限定。
请参考图10和图11，其中，图10示意性给出了本发明一实施例提供的手术机器人系统的整体结构示意图；图11示意性地给出了本发明一实施例提供的医生控制台的结构示意图。如图10和图11所示，所述手术机器人系统包括控制端和执行端，所述控制端包括设置有主控制臂11的医生控制台10，所述执行端包括手术台车20和手术操控台30等设备，其中患者躺在手术台车20上进行手术。所述手术操控台30上设置有用于挂载手术器械、内窥镜的机械臂31，所述机械臂31、手术器械、内窥镜与所述主控制臂11具有预定的映射关系，从而形成主从关系，手术器械连接至机械臂31后，系统依据主控制臂11的运动来实现针对手术器械各个方向的动作从而完成手术。所述医生控制台10包括多轴机器人手臂(即主控制臂11)、显示装置12(目标对象)和控制器，所述显示装置12与所述控制器通信连接，医生(被测者)通过操作多轴机器人手臂来远程操控所述机械臂31进行手术操作，所述显示装置12可以显示机械臂31进行手术时来自于内窥镜获取到的腹腔内的术中过程，手术操控台30包括两条或多条机械臂31，医生通过医生控制台10的多轴机器人手臂(即主控制臂11)来控制其中的两条机械臂31，这两条机械臂31操作手术器械的动作(例如对病灶的夹持、切除等)可通过内窥镜的摄像头进行拍摄，并在医生控制台10的显示装置12进行显示。
请参考图12，其示意性地给出了本实施例中的控制器的方框结构示意图，如图12所示，所述控制器包括处理器131和存储器133，所述存储器133上存储有计算机程序，所述计算机程序被所述处理器131执行时，实现如下步骤：
步骤S21、获取被测者的面部朝向信息；
步骤S22、根据所述面部朝向信息，判断所述被测者的面部是否朝向所述显示装置；
若是，则执行步骤S23，若否，则执行步骤S24；
步骤S23、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述显示装置；
若否，则执行步骤S24；
步骤S24、发出预警信息和/或使所述机械臂进入锁定状态。
由此，本发明通过先判断被测者的面部是否朝向所述显示装置，再在被测者的面部朝向所述显示装置的基础上判断被测者的视线是否朝向所述显示装置，可以更加准确地确定被测者的视线。相比于现有技术，例如通过采集眼部运动数据来实现视线检测的方法，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线非面向显示装置时，会自动发出预警信息和/或使所述机械臂进入锁定状态，以使得用于执行手术的机械臂进入锁定状态，即断开主从关系，从而可以有效防止医生在其视线未面向显示装置时而操作机械臂，进一步提高手术过程中的安全性，有效防止误操作。
如图12所示，所述处理器131与通信接口132、所述存储器133通过通信总线134完成相互间的通信。所述通信总线134可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线134可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口132用于上述控制器与其他设备之间的通信。
本发明中所称处理器131可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器131是所述控制器的控制中心，利用各种接口和线路连接整个控制器的各个部分。
所述存储器133可用于存储所述计算机程序，所述处理器131通过运行或执行存储在所述存储器133内的计算机程序，以及调用存储在存储器133内的数据，实现所述控制器的各种功能。
所述存储器133可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
请参考图13，其示意性地给出了本发明一实施例提供的显示装置的示意图。如图13所示，所述显示装置上设有摄像头121和红外线接收器122，所述摄像头121和所述红外线接收器122均与所述控制器通信连接。在进行视线检测时，医生(即被测者)佩戴头戴式设备110，所述头戴式设备110与所述控制器通信连接，并保持正常操作姿势，医疗控制系统使能，位于所述显示装置上的摄像头121采集医生的面部图像并将采集到的面部图像传输至所述控制器，所述控制器通过对所述面部图像进行识别，以识别出医生的面部特征点信息，并以此获得医生的面部朝向信息，进而判断医生的面部是否朝向所述显示装置。若判断结果为医生的面部朝向所述显示装置，则在所述控制器的控制下，位于所述头戴式设备上的多个红外线发射器111分别从不同角度向医生的左、右眼发射多束红外线，经医生的左、右眼的虹膜反射的红外线被安装于所述显示装置上的红外线接收器122所接收以获得左、右眼的虹膜图像，所述红外线接收器122将所获得的左、右眼的虹膜图像传输至所述控制器，所述控制器通过对所获得的左、右眼的虹膜图像进行分析，以获得医生的眼部朝向信息，进而判断医生的视线是否朝向所述显示装置。若判断结果为医生的视线面向显示装置12，则建立主控制臂11与机械臂31之间的主从关系，进入主从连接状态，进而医生可以正常操作主控制臂11并控制机械臂31执行手术；如果判断结果为医生的视线没有面对显示装置12，则系统自动发出报警信息和/或启动保护机制，主控制臂11无法操作机械臂31进行手术，进入机械臂31锁定状态，医生需要轻触屏幕解锁键、捏合主控制臂11的末端捏合关节或者执行其它解锁动作，重新进行视线检测并在满足如上所述的判断结果为医生的视线面对显示装置12后，对机械臂31解锁，医生可以正常进行手术。由此，通过采用本发明提供的手术机器人系统，可以成功地完成对医生的视线检测，确保只有当医生的视线面向显示装置12时，才可以控制主控制臂11与机械臂31的主从控制关系，否则将自动锁定机械臂31，从而可以有效避免误操作，提高手术过程中的安全性能。
与上述的手术机器人系统相对应，本发明还提供一种手术机器人系统的控制方法，请参考图14，其示意性地给出了本发明一实施例提供的手术机器人系统的控制方法的流程示意图，如图14所示，所述手术机器人系统的控制方法包括如下步骤：
步骤S21、获取被测者的面部朝向信息；
步骤S22、根据所述面部朝向信息，判断所述被测者的面部是否朝向所述显示装置；
若是，则执行步骤S23，若否，则执行步骤S24；
步骤S23、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述显示装置；
若否，则执行步骤S24；
步骤S24、发出预警信息和/或使所述机械臂进入锁定状态。
由此，本发明通过先判断被测者的面部是否朝向所述显示装置，再在被测者的面部朝向所述显示装置的基础上判断被测者的视线是否朝向所述显示装置，可以更加准确地确定被测者的视线。本发明相比于现有技术，例如通过采集眼部运动数据来实现视线检测的方法，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线非面向显示装置时，会自动发出预警信息和/或使所述机械臂进入锁定状态，以使得用于执行手术的机械臂进入锁定状态，即断开主从关系，从而可以有效防止医生在其视线未面向显示装置时而操作机械臂，进一步提高手术过程中的安全性，有效防止误操作。
本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的视线检测方法或手术机器人系统的控制方法。由此，本发明通过先判断所述被测者的面部是否朝向目标对象，再在被测者的面部朝向所述目标对象的基础上判断被测者的视线是否朝向所述目标对象，可以更加准确地确定被测者的视线。本发明相比于现有技术，例如通过采集眼部运动数据来实现视线检测的方法，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线非面向目标对象时，会自动发出预警信息和/或发出状态变更指令，由此可以有效防止误操作，提高操作过程中的安全性。例如针对手术机器人系统，本发明在判定医生(被测者)的视线未面向显示装置(目标对象)时，会自动发出预警信息和/或启动保护机制，以使得用于执行手术的机械臂进入锁定状态，即断开主从关系，从而可以有效防止医生在其视线未面向显示装置时而操作机械臂，进一步提高手术过程中的安全性，有效防止误操作。
本发明实施例的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明提供的视线检测方法、手术机器人系统、控制方法和存储介质具有以下优点：
本发明通过先获取被测者的面部朝向信息；再根据所获取的面部朝向信息，判断被测者的面部是否朝向所述目标对象；若否，则发出预警信息和/或发出状态变更指令；若是，则获取被测者的眼部朝向信息，并根据所获取的被测者的眼部朝向信息，判断被测者的视线是否朝向所述目标对象；若否，则发出预警信息和/或发出状态变更指令。由此，本发明通过先判断所述被测者的面部是否朝向目标对象，再在被测者的面部朝向所述目标对象的基础上判断被测者的视线是否朝向所述目标对象，可以更加准确地确定被测者的视线。本发明相比于现有技术，例如通过采集眼部运动数据来实现视线检测的方法，本发明对被测者在视线检测过程中的位置稳定性的要求较低，不会因为被测者因为某种原因偏离预定的测试范围，而不能完成视线检测，大大提高了视线检测的可操作性和准确性。另外，本发明在判定被测者的视线非面向目标对象时，会自动发出预警信息和/或发出状态变更指令，由此可以有效防止误操作，提高操作过程中的安全性。例如针对手术机器人系统，本发明在判定医生(被测者)的视线未面向显示装置(目标对象)时，会自动发出预警信息和/或启动保护机制，以使得用于执行手术的机械臂进入锁定状态，即断开主从关系，从而可以有效防止医生在其视线未面向显示装置时而操作机械臂，进一步提高手术过程中的安全性，有效防止误操作。
应当注意的是，在本文的实施例中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种视线检测方法，其特征在于，包括：
步骤S11、获取被测者的面部朝向信息；
步骤S12、根据所述面部朝向信息，判断所述被测者的面部是否朝向目标对象；
若是，则执行步骤S13，若否，则执行步骤S14；
步骤S13、获取所述被测者的眼部朝向信息，并根据所述眼部朝向信息，判断所述被测者的视线是否朝向所述目标对象；
若否，则执行步骤S14；
步骤S14、发出预警信息和/或发出状态变更指令；
所述获取被测者的眼部朝向信息，包括：
通过所述被测者佩戴的头戴式设备上的多个红外线发射器从不同角度向所述被测者的眼部发射多束红外线；
通过所述目标对象上安装的红外线接收器接收由所述被测者的眼部反射回来的红外线，以获得所述被测者的眼部虹膜图像；
根据所获得的眼部虹膜图像中的虹膜区域中的反射红外线的亮点个数，获取所述被测者的眼部朝向信息；
所述目标对象与所述头戴式设备相互独立设置。
2.根据权利要求1所述的视线检测方法，其特征在于，所述获取被测者的面部朝向信息，包括：
获取被测者的面部图像；以及
根据所述面部图像获取所述被测者的面部朝向信息。
3.根据权利要求2所述的视线检测方法，其特征在于，所述根据所述面部图像获取所述被测者的面部朝向信息，包括：
对所述面部图像进行识别，以获得所述被测者的面部特征点信息；以及
根据所述面部特征点信息，获取所述被测者的面部朝向信息。
4.根据权利要求3所述的视线检测方法，其特征在于，所述面部特征点信息包括面部特征点个数、面部特征点之间的位置关系；
所述根据所述面部特征点信息，获取所述被测者的面部朝向信息，包括：
根据所获得的面部特征点个数、面部特征点之间的位置关系以及预先存储的面部特征点个数、面部特征点之间的位置关系与面部朝向之间的对应关系，获取所述被测者的面部朝向信息。
5.根据权利要求3所述的视线检测方法，其特征在于，所述面部特征点包括眼角、嘴角和/或鼻尖。
6.一种手术机器人系统的控制方法，其特征在于，所述手术机器人系统包括显示装置和机械臂，所述控制方法包括：
采用如权利要求1至5中任一项所述的视线检测方法，判断被测者的视线是否朝向所述显示装置；以及
若判定所述被测者的视线非朝向所述显示装置，则发出预警信息和/或使所述机械臂进入锁定状态。
7.一种手术机器人系统，其特征在于，包括显示装置、控制器和机械臂，所述显示装置与所述控制器通信连接，所述控制器包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一项所述的视线检测方法或如权利要求6所述的手术机器人系统的控制方法。
8.根据权利要求7所述的手术机器人系统，其特征在于，所述手术机器人系统包括头戴式设备，所述头戴式设备包括眼镜架，所述眼镜架上安装有多个红外线发射器，所述显示装置上安装有红外线接收器和摄像头，所述红外线发射器、所述红外线接收器、所述摄像头均与所述控制器通信连接；
所述摄像头用于获取被测者的面部图像并将所述面部图像传输至所述控制器；
所述红外线发射器用于向所述被测者的眼部发射红外线；
所述红外线接收器用于接收由所述被测者的眼部反射回来的红外线，以获得被测者的眼部虹膜图像并将所述眼部虹膜图像传输至所述控制器；
所述控制器用于基于所获得的面部图像，获取所述被测者的面部朝向信息，基于所获得的眼部虹膜图像，获取所述被测者的眼部朝向信息。
9.根据权利要求7所述的手术机器人系统，其特征在于，所述手术机器人系统包括医生控制台和手术操控台，所述医生控制台包括所述显示装置、所述控制器和主控制臂，所述手术操控台包括所述机械臂，所述控制器用于判定若被测者的视线朝向所述显示装置，则建立所述主控制臂与所述机械臂之间的主从关系。
10.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的视线检测方法或如权利要求6所述的手术机器人系统的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031380.5A CN112869701B (zh) | 2021-01-11 | 2021-01-11 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031380.5A CN112869701B (zh) | 2021-01-11 | 2021-01-11 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112869701A CN112869701A (zh) | 2021-06-01 |
| CN112869701B true CN112869701B (zh) | 2024-03-29 |
Family
ID=76047865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110031380.5A Active CN112869701B (zh) | 2021-01-11 | 2021-01-11 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112869701B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115165115B (zh) * | 2022-09-07 | 2023-07-04 | 中亿(深圳)信息科技有限公司 | 智能手表的体温测量方法、装置、介质及穿戴设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05344954A (ja) * | 1992-06-17 | 1993-12-27 | Chinon Ind Inc | 視線方向検出装置 |
| JPH1091326A (ja) * | 1996-09-13 | 1998-04-10 | Yoshiro Nakamatsu | アクセス容易コンピュータ |
| JP2005140880A (ja) * | 2003-11-05 | 2005-06-02 | Canon Inc | 光学装置及びカメラ |
| JP2007004448A (ja) * | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
| CN102375974A (zh) * | 2010-08-06 | 2012-03-14 | 佳能株式会社 | 信息处理设备和信息处理方法 |
| CN103760975A (zh) * | 2014-01-02 | 2014-04-30 | 深圳宝龙达信息技术股份有限公司 | 一种追踪定位人脸的方法及显示系统 |
| KR20160057888A (ko) * | 2014-11-14 | 2016-05-24 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 시선 판단 방법 |
| KR20160087602A (ko) * | 2015-01-14 | 2016-07-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 시선을 추적하는 방법 |
| CN106296784A (zh) * | 2016-08-05 | 2017-01-04 | 深圳羚羊极速科技有限公司 | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
| CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
| CN112083795A (zh) * | 2019-06-12 | 2020-12-15 | 北京迈格威科技有限公司 | 对象控制方法及装置、存储介质和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017013913A1 (ja) * | 2015-07-17 | 2017-01-26 | ソニー株式会社 | 視線検出装置、アイウェア端末、視線検出方法及びプログラム |
-
2021
- 2021-01-11 CN CN202110031380.5A patent/CN112869701B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05344954A (ja) * | 1992-06-17 | 1993-12-27 | Chinon Ind Inc | 視線方向検出装置 |
| JPH1091326A (ja) * | 1996-09-13 | 1998-04-10 | Yoshiro Nakamatsu | アクセス容易コンピュータ |
| JP2005140880A (ja) * | 2003-11-05 | 2005-06-02 | Canon Inc | 光学装置及びカメラ |
| JP2007004448A (ja) * | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
| CN102375974A (zh) * | 2010-08-06 | 2012-03-14 | 佳能株式会社 | 信息处理设备和信息处理方法 |
| CN103760975A (zh) * | 2014-01-02 | 2014-04-30 | 深圳宝龙达信息技术股份有限公司 | 一种追踪定位人脸的方法及显示系统 |
| KR20160057888A (ko) * | 2014-11-14 | 2016-05-24 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 시선 판단 방법 |
| KR20160087602A (ko) * | 2015-01-14 | 2016-07-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 시선을 추적하는 방법 |
| CN106296784A (zh) * | 2016-08-05 | 2017-01-04 | 深圳羚羊极速科技有限公司 | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
| CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
| CN112083795A (zh) * | 2019-06-12 | 2020-12-15 | 北京迈格威科技有限公司 | 对象控制方法及装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112869701A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10278576B2 (en) | Behind-eye monitoring using natural reflection of lenses | |
| US7771049B2 (en) | Method and apparatus for detecting sight line vector | |
| JP5578542B2 (ja) | 眼屈折力測定装置 | |
| US20230210608A1 (en) | System and method to detect and track surgical instruments and/or surgical material | |
| WO2007113975A1 (ja) | 視点検出装置 | |
| US11389122B2 (en) | Method for registering an X-ray image data set with a navigation system, computer program product, and system | |
| KR102097390B1 (ko) | 시선 검출 기반의 스마트 안경 표시 장치 | |
| US10846883B2 (en) | Method for calibrating objects in a reference coordinate system and method for tracking objects | |
| US20140132924A1 (en) | Ophthalmic apparatus and alignment determination method | |
| CN112869701B (zh) | 视线检测方法、手术机器人系统、控制方法和存储介质 | |
| WO2019037605A1 (zh) | Ar眼镜及其追踪系统 | |
| US11902501B2 (en) | Dynamic illumination for eye-tracking | |
| CN110687669A (zh) | 一种基于体式显微镜的跟踪式裸眼3d显示系统及方法 | |
| JPH1066678A (ja) | 非接触視線測定装置 | |
| JP2019062982A (ja) | 眼科装置及び瞳孔状態計測方法 | |
| CN111281541B (zh) | 检测手术中导航标志物移动的方法和装置 | |
| US10456214B2 (en) | Light point identification method | |
| JP6496917B2 (ja) | 視線測定装置および視線測定方法 | |
| KR20200121584A (ko) | 시선 추적 장치 | |
| US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
| JP2020500593A (ja) | 最適化された光干渉断層撮影のための可視化システム及び方法 | |
| US20230293005A1 (en) | Control system for an oct imaging system, arrangement with an oct imaging system and method for adjusting an oct imaging system | |
| JPH1097376A (ja) | 視線操作装置 | |
| US11816862B2 (en) | Vehicle display device | |
| US20230225796A1 (en) | Technique For Determining A Need For A Re-Registration Of A Patient Tracker Tracked By A Camera System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |