CN113778070B - 机器人的控制方法和装置 - Google Patents
机器人的控制方法和装置 Download PDFInfo
- Publication number
- CN113778070B CN113778070B CN202010693510.7A CN202010693510A CN113778070B CN 113778070 B CN113778070 B CN 113778070B CN 202010693510 A CN202010693510 A CN 202010693510A CN 113778070 B CN113778070 B CN 113778070B
- Authority
- CN
- China
- Prior art keywords
- control
- robot
- instruction
- data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004424 eye movement Effects 0.000 claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002085 persistent effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 230000007613 environmental effect Effects 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人的控制方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对眼动数据和驱动控制数据进行分析以生成控制指令；将控制指令发送给机器人以对机器人进行控制。该实施方式实现了通过眼动控制机器人，摆脱了对肢体动作的要求，突破了依赖人手操作的鼠标键盘、操作杆等传动手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器进行交互时遇到的输入障碍，使得对机器人的控制更加灵活方便。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种机器人的控制方法和装置。
背景技术
目前行业内大多数是使用手持遥控器来进行机器人设备的遥控操作，还有部分是以手机或电脑等设备来替代遥控器，实现机器人的远程遥控。
然而，通过手持遥控器来控制机器人，需与机器人在有效的距离内进行遥控；通过电脑PC或手机应用程序APP等来进行远程遥控，按钮操作的持续性较难把控，需依赖人为的熟练和连贯性操作才可完成。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
通过手持遥控器或手机、电脑等设备来进行机器人遥控，均需在操控人的手中持有相应设备才可完成机器人控制。
发明内容
有鉴于此，本发明实施例提供一种机器人的控制方法和装置，能够通过眼动控制机器人，摆脱了对肢体动作的要求，突破了依赖人手操作的鼠标键盘、操作杆等传动手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器进行交互时遇到的输入障碍，使得对机器人的控制更加灵活方便。
为实现上述目的，根据本发明实施例的一个方面，提供了一种机器人的控制方法。
一种机器人的控制方法，包括：获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；将所述控制指令发送给所述机器人以对所述机器人进行控制。
可选地，所述驱动控制数据包括所述机器人采集的图像数据、所述机器人的定位信息和预存的地图数据；所述驱动控制数据的展示方式包括视野图像和地图图像，所述视野图像根据所述机器人采集的图像数据生成，所述地图图像根据所述机器人的定位信息和所述预存的地图数据生成。
可选地，所述眼动数据包括双眼注视点的坐标和眨眼频率，并且，通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令包括：根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令；或者，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令。
可选地，根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮包括：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点坐标的密度中心；判断所述聚簇点是否位于所述控制按钮在显示屏幕的位置范围之内；若在，则判定为点击所述控制按钮；否则，判定为未点击所述控制按钮。
可选地，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮包括：获取第二时长内双眼的眨眼次数及双眼注视点的坐标；判断所述眨眼次数是否大于设定的第一阈值；若是，则根据所述双眼注视点的坐标计算所述双眼注视点的平均坐标点，并判断所有双眼注视点到所述平均坐标点的距离是否均小于设定半径，若是，则判定为点击所述控制按钮；否则，判定为未点击所述控制按钮。
可选地，若所述控制数据的展示方式为视野图像，则所述控制指令包括停止、前进、后退、左转和右转；并且，将所述控制指令发送给所述机器人以对所述机器人进行控制包括：若所述控制指令为停止，则使所述机器人停止运行；若所述控制指令为空或与发送给所述机器人的前一控制指令不同，则使所述机器人根据所述控制指令执行对应操作；否则，向所述机器人发送持续维持控制指令的命令，以使所述机器人持续执行所述控制指令的对应操作；若所述控制指令为空或与发送给所述机器人的持续维持控制指令相同，则不改变所述机器人的运行状态；否则，向所述机器人发送非持续维持指令的命令。
可选地，若所述控制数据的展示方式为地图图像，则所述控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；并且，将所述控制指令发送给所述机器人以对所述机器人进行控制包括：若所述控制指令为停止，则使所述机器人停止运行；否则，根据所述控制指令执行对应操作，其中，若所述控制指令为启动控制，则所述控制指令为持续导航指令，且所述持续导航指令包括导航目标点，以使所述机器人运行至所述导航目标点；所述导航目标点通过以下方式确定：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点的密度中心；计算地图数据中所有预设路径包括的点中与所述聚簇点距离最近的点，并将与所述聚簇点距离最近的点作为所述导航目标点。
可选地，所述持续导航指令还包括所述机器人到所述导航目标点的导航路径。
根据本发明实施例的另一方面，提供了一种机器人的控制装置。
一种机器人的控制装置，包括：数据获取模块，用于获取并展示机器人的驱动控制数据；指令生成模块，用于采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；指令发送模块，用于将所述控制指令发送给所述机器人以对所述机器人进行控制。
可选地，所述驱动控制数据包括所述机器人采集的图像数据、所述机器人的定位信息和预存的地图数据；所述驱动控制数据的展示方式包括视野图像和地图图像，所述视野图像根据所述机器人采集的图像数据生成，所述地图图像根据所述机器人的定位信息和所述预存的地图数据生成。
可选地，所述眼动数据包括双眼注视点的坐标和眨眼频率，并且，所述指令生成模块还用于：根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令；或者，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令。
可选地，所述指令生成模块还用于：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点坐标的密度中心；判断所述聚簇点是否位于所述控制按钮在显示屏幕的位置范围之内；若在，则判定为点击所述控制按钮；否则，判定为未点击所述控制按钮。
可选地，所述指令生成模块还用于：获取第二时长内双眼的眨眼次数及双眼注视点的坐标；判断所述眨眼次数是否大于设定的第一阈值；若是，则根据所述双眼注视点的坐标计算所述双眼注视点的平均坐标点，并判断所有双眼注视点到所述平均坐标点的距离是否均小于设定半径，若是，则判定为点击所述控制按钮；否则，判定为未点击所述控制按钮。
可选地，若所述控制数据的展示方式为视野图像，则所述控制指令包括停止、前进、后退、左转和右转；并且，所述指令发送模块还用于：若所述控制指令为停止，则使所述机器人停止运行；若所述控制指令为空或与发送给所述机器人的前一控制指令不同，则使所述机器人根据所述控制指令执行对应操作；否则，向所述机器人发送持续维持控制指令的命令，以使所述机器人持续执行所述控制指令的对应操作；若所述控制指令为空或与发送给所述机器人的持续维持控制指令相同，则不改变所述机器人的运行状态；否则，向所述机器人发送非持续维持指令的命令。
可选地，若所述控制数据的展示方式为地图图像，则所述控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；并且，所述指令发送模块还用于：若所述控制指令为停止，则使所述机器人停止运行；否则，根据所述控制指令执行对应操作，其中，若所述控制指令为启动控制，则所述控制指令为持续导航指令，且所述持续导航指令包括导航目标点，以使所述机器人运行至所述导航目标点；所述导航目标点通过以下方式确定：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点的密度中心；计算地图数据中所有预设路径包括的点中与所述聚簇点距离最近的点，并将与所述聚簇点距离最近的点作为所述导航目标点。
可选地，所述持续导航指令还包括所述机器人到所述导航目标点的导航路径。
根据本发明实施例的又一方面，提供了一种机器人的控制电子设备。
一种机器人的控制电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的机器人的控制方法。
根据本发明实施例的再一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的机器人的控制方法。
上述发明中的一个实施例具有如下优点或有益效果：通过获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对眼动数据和驱动控制数据进行分析以生成控制指令；将控制指令发送给机器人以对机器人进行控制，实现了通过眼动控制机器人，摆脱了对肢体动作的要求，突破了依赖人手操作的鼠标键盘、操作杆等传动手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器进行交互时遇到的输入障碍，使得对机器人的控制更加灵活方便。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的机器人控制系统的组成结构示意图；
图2是根据本发明实施例的机器人的控制方法的主要步骤示意图；
图3是本发明实施例的眼动仪展现的视图示意图；
图4是本发明一个实施例的视野图像的展示效果示意图；
图5是本发明另一个实施例的地图图像的展示效果示意图；
图6是本发明实施例的地图图像的控制界面示意图；
图7是根据本发明实施例的机器人的控制装置的主要模块示意图；
图8是本发明实施例可以应用于其中的示例性系统架构图；
图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了解决现有技术中存在的问题，本发明提供了一种眼动控制机器人的方法和装置，通过眼动控制摆脱对肢体动作的要求，突破依赖人手操作的鼠标键盘、操作杆等传统手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器人进行交互时遇到的输入障碍。
在本发明技术方案的介绍中，以对物流园区内的巡检机器人的控制为例进行说明。当前物流园区内，保安等一线运营人员，需要在固定或指定时间段内对园区内的设施、环境等安全因素场景进行巡检任务检查。当监控室发现问题的时候，需要控制机器人到达指定区域进行安全排查，此时的控制方案有多样，本发明提供一种非接触式控制方法，用户通过眼动控制即可完成巡检机器人的操作。
本发明根据巡检机器人传回的现场图像、定位信息等，通过分析眼动仪捕捉的数据，得到控制指令，再将控制指令反馈至巡检机器人，从而驱动机器人行走以实现对机器人的控制。
图1是本发明实施例的机器人控制系统的组成结构示意图。如图1所示，巡检机器人主要包含云台(包括可见光摄像头、红外摄像头等)、控制系统、四驱动底盘、定位系统、无线传输系统、电源等几个部分；监控室主要包含计算机、无线传输系统、监控大屏(部署在眼动仪内)、电源等几个部分。其中，云台用于采集巡检机器人的视野图像；控制系统用于根据监控室发来的控制指令控制巡检机器人的运行；四驱动底盘用于根据控制系统的指令驱动所述巡检机器人；定位系统用于采集巡检机器人的定位信息；无线传输系统用于实现巡检机器人与监控室之间的数据交互；计算机用于对巡检机器人发来的数据进行处理并对眼动仪采集的用户的眼动数据进行分析以生成控制指令；监控大屏用于显示巡检机器人所采集的视野图像及其在地图中的位置信息等。
图2是根据本发明实施例的机器人的控制方法的主要步骤示意图。如图2所示，本发明实施例的机器人的控制方法主要包括如下的步骤S201至步骤S203。
步骤S201：获取并展示机器人的驱动控制数据；
步骤S202：采集用户的眼动数据，并通过对眼动数据和驱动控制数据进行分析以生成控制指令；
步骤S203：将控制指令发送给机器人以对机器人进行控制。
根据本发明的实施例，驱动控制数据例如包括机器人采集的图像数据、机器人的定位信息和预存的地图数据，并且，驱动控制数据的展示方式包括视野图像和地图图像，视野图像根据机器人采集的图像数据生成，地图图像根据机器人的定位信息和预存的地图数据生成。在本发明的实施例中，巡检机器人利用云台、定位系统等获取视野图像及机器人的定位信息，通过无线传输系统将以上信息传递至监控室；监控室通过无线传输系统接收视野图像及机器人的定位信息，并通过监控大屏展现，其中，监控大屏位于眼动仪内。
图3是本发明实施例的眼动仪展现的视图示意图；图4是本发明一个实施例的视野图像的展示效果示意图；图5是本发明另一个实施例的地图图像的展示效果示意图。如图3所示，本发明实施例的眼动仪展现的视图右上方示出了可展示视野图像和地图图像，并且展示的视图类型可以切换，在大屏视图中存在视图形式的切换按钮，用户通过双眼注视的结果或眨眼频率及注视集中情况来控制切换。其中，视野图像是由机器人的云台包括的摄像头拍摄的当前视野的图像数据生成的，其展示效果如图4所示；地图图像是根据机器人的定位信息以及预存的地图数据生成的，其展示效果如图5所示。
根据本发明的一个实施例，眼动数据例如包括双眼注视点的坐标和眨眼频率，并且，通过对眼动数据和驱动控制数据进行分析以生成控制指令时，具体可以按照以下方式执行：
根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击控制按钮，若点击控制按钮，则根据控制按钮生成控制指令；
或者，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击控制按钮，若点击控制按钮，则根据控制按钮生成控制指令。
根据本发明的实施例，如图4所示，控制按钮包括：停止按钮、前进按钮、后退按钮、左转按钮和右转按钮；如图5所示，控制按钮包括：停止按钮、启动控制按钮、停止控制按钮、缩小按钮、放大按钮和旋转按钮。根据用户的眼动数据及驱动控制数据即可分析用户是否点击了这些控制按钮，进而根据这些控制按钮来生成控制指令。
另外，在图4和图5中，还存在视图切换按钮，用于切换眼动仪的大屏展示的视图类型。通过对用户的眼动数据进行分析即可判断用户是否点击了该视图切换按钮，若用户点击了视图切换按钮，则生成视图切换指令并使眼动仪进行视图切换。其中，用户是否点击了视图切换按钮的判断过程与用户是否点击了控制按钮的判断过程相同。
根据本发明的一个实施例，在根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击控制按钮具体包括：
获取第一时长内双眼注视点的坐标；
通过均值漂移算法计算双眼注视点的聚簇点的坐标，聚簇点为双眼注视点坐标的密度中心；
判断聚簇点是否位于控制按钮在显示屏幕的位置范围之内；
若在，则判定为点击控制按钮；
否则，判定为未点击控制按钮。
具体地，在本发明的实施例中，可以按照以下步骤来实现：
步骤S311：通过眼动仪获取α秒内双眼注视点的坐标Ai(xi,yi)。其中，α秒即为第一时长，例如为1秒等，具体可根据算法实现的需要进行灵活设置；
步骤S312：通过均值漂移算法求得注视点的聚簇点坐标B(xβ,yβ)。其中，均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪；聚簇点即为一些点的密度中心。具体做法为：随机设一个中心点C(xχ,yχ)，计算半径r内所有点与中心点C(xχ,yχ)的向量，之后计算半径r内所有向量的平均值，得到偏移均值：
其中，Sr表示半径r内含有的点，k为点的数目。然后，将中心点更新为C(xχ,yχ)＝M(x,y)+C(xχ,yχ)，再计算偏移均值，当偏移均值低于阈值δ时，停止移动，输出聚簇点B(xβ,yβ)。其中，只有在第一次进行中心点更新时是不需要判断偏移均值是否低于阈值δ的，阈值δ的取值例如是3厘米，具体可根据算法实现需要灵活设置；
步骤S313：假设控制按钮在大屏上的位置为D，当聚簇点B∈D，则认为点击控制按钮。一般情况下，控制按钮在大屏上所占位置为一个范围区间，只要聚簇点位于该范围区间内，即认为点击了控制按钮，从而生成控制指令以进行机器人控制。例如：若控制按钮是方形触发点，则可以D[(xf,xg),(yf,yg)](即：x轴坐标范围和y轴坐标范围)的形式来表示，根据聚簇点的坐标是否在该控制按钮的坐标范围内即可判断是否点击了控制按钮；若控制按钮为圆形，则可以D[O,r](即：圆心O和半径r)的形式来表示，根据聚簇点与圆心O的距离是否小于r来判断是否点击了控制按钮；若控制按钮为其它组合形状，则可以通过组合计算的方式(例如触发点形状由圆和矩形组成，可以分别计算是否在对应形状内)来判断是否点击了控制按钮。
若点击了视图切换按钮，则眼动仪即可将展现的视图进行切换。
根据本发明的另一个实施例，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击控制按钮具体可以包括：
获取第二时长内双眼的眨眼次数及双眼注视点的坐标；
判断眨眼次数是否大于设定的第一阈值；
若是，则根据双眼注视点的坐标计算双眼注视点的平均坐标点，并判断所有双眼注视点到平均坐标点的距离是否均小于设定半径，若是，则判定为点击控制按钮；
否则，判定为未点击控制按钮。
具体地，在本发明的实施例中，可以按照以下步骤来实现：
步骤S321：通过眼动仪获取φ秒内双眼眨眼次数及双眼注视点的坐标Ai(xi,yj)。其中，φ秒即为第二时长，例如为3秒，眨眼次数/>例如为3次，双眼注视点的坐标可以每0.5秒捕捉一次，此处具体的数值均可根据算法实现的需要灵活设定；
步骤S322：计算眨眼次数是否大于阈值γ，若是，则转步骤S323，否则转步骤S321。可以预先设定一个眨眼次数阈值γ，以根据用户的眨眼情况来判断用户是否要对机器人进行控制；
步骤S323：计算双眼注视点的平均坐标点设阈值半径为r，如果所有注视点到坐标点/>距离均小于等于半径r，则说明用户双眼注视点集中度很高，即判定为用户点击控制按钮，从而生成控制指令以进行机器人控制。若点击了视图切换按钮，则眼动仪即可将展现的视图进行切换。否则，若有注视点到坐标点/>距离大于半径r，则说明未点击控制按钮，转步骤S311重新获取信息并进行判断。
根据本发明的一个实施例，如图4所示，若控制数据的展示方式为视野图像，则控制指令包括停止、前进、后退、左转和右转；
并且，将控制指令发送给机器人以对机器人进行控制包括：
若控制指令为停止，则使机器人停止运行；
若控制指令为空或与发送给机器人的前一控制指令不同，则使机器人根据控制指令执行对应操作；否则，向机器人发送持续维持控制指令的命令，以使机器人持续执行该控制指令的对应操作；
若控制指令为空或与发送给机器人的持续维持控制指令相同，则不改变机器人的运行状态；否则，向机器人发送非持续维持指令的命令。
具体地，在本发明的实施例中，根据用户是否点击了控制按钮即可获取到对应的控制指令，然后将控制指令发送给机器人以对机器人进行控制，具体地，在对机器人进行控制时，其控制逻辑如下：
步骤S411：监控室的计算机利用眼动仪采集的眼动数据得到控制指令，控制指令为前进、后退、左转、右转、停止；
步骤S412：巡检机器人根据控制指令驱动底盘运行，每次运行的时间为η秒，随后巡检机器人停止运转，如果是停止指令，则将驱动程序停止。其中，每次运行的时间可根据需要进行设定，每次点击控制按钮后，所生成的控制指令即为该控制按钮对应的操作执行η秒。例如：若用户的眼动数据点击了“前进”按钮，则生成的控制指令即为“前进”，且前进时长为η秒；
步骤S413：再次获得控制指令，若控制指令为空，或与上一控制指令不相同(除停止指令外)，则转步骤S412；否则，给巡检机器人发送持续维持该控制指令的命令，巡检机器人根据指令驱动底盘运行，且无时间限制；
步骤S414：再次获得控制指令，若控制指令为空或该控制指令与持续维持的控制指令相同，则不改变机器人的运行状态；否则，若该控制指令与持续位置的控制指令不同，则不再持续维持之前的控制指令，转步骤S412。
根据本发明的另一个实施例，如图5所示，若控制数据的展示方式为地图图像，则控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；并且，将控制指令发送给机器人以对机器人进行控制包括：
若控制指令为停止，则使机器人停止运行；
否则，根据控制指令执行对应操作，其中，若控制指令为启动控制，则控制指令为持续导航指令，且持续导航指令包括导航目标点，以使机器人运行至导航目标点；
在本发明的实施例中，导航目标点通过以下方式确定：
获取第一时长内双眼注视点的坐标；
通过均值漂移算法计算双眼注视点的聚簇点的坐标，聚簇点为双眼注视点的密度中心；
计算地图数据中所有预设路径包括的点中与聚簇点距离最近的点，并将与聚簇点距离最近的点作为导航目标点。
另外，持续导航指令还包括机器人到导航目标点的导航路径。
如图5所示，机器人只处于地图的中央，地图随着机器人的移动更新，在地图中存在缩小(-)、扩大(+)、旋转、启动控制、停止控制、停止这几个控制按钮。当点击控制按钮时，缩小和扩大这两个控制按钮每出现一次触发，缩小或扩大原图像的10％；旋转控制按钮每次触发时则顺时针旋转10°。当出现连续触发缩小(-)、扩大(+)、旋转这几个控制按钮时，则地图持续缩小、放大和旋转，并且，在聚簇点B(xβ,yβ)不在控件范围内，即终止触发这几个控制按钮后，对应的控制操作即停止。
触发启动控制的控制按钮后，可以通过眼动驱动机器人行走；触发停止控制的控制按钮后，即停止眼动控制巡检机器人行走；触发停止的控制按钮后，巡检机器人即停止运行。
当触发“启动控制”的控制按钮后即对机器人进行持续导航控制，此时对机器人的驱动控制逻辑如下：
步骤S421：计算机利用眼动仪的双眼数据得到控制指令，控制指令为持续导航指令，该持续导航指令中包括了导航目标点及机器人到导航目标点的导航路径。其中，导航目标点的确定将于后文进行详细介绍；
步骤S422：巡检机器人根据该持续导航指令驱动底盘运行到持续导航指令中的导航目标点；
步骤S423：再次获得控制指令，若该控制指令仍为持续导航指令，且指向新的导航目标点，且包括重新规划的导航路径，则机器人将再次执行步骤S422的操作；否则，若该控制指令为停止指令，则机器人停止运行。
下面将结合图6介绍本发明实施例的导航目标点的确定过程。图6是本发明实施例的地图图像的控制界面示意图。如图6所示，在显示地图图像时，可将地图图像中的所有路径都简化为一条线段(这些线段可预先在地理信息系统中进行生成)，当需要对机器人进行控制时，可结合地图图像中的线段来确定用户想要机器人运行到的目标位置。导航目标点的确定过程具体如下：
步骤S511：通过眼动仪获取α秒内双眼注视点的坐标Ai(xi,yi)；
步骤S512：通过均值漂移算法求得注视点的聚簇点B(xβ,yβ)；
步骤S513：分别找出每条线段上，与聚簇点B(xβ,yβ)距离最近的点，再将这些最近的点中距离聚簇点B最近的点作为导航目标点。具体地，可过聚簇点作每条线段的垂直线，线段与其垂直线的交点即为该线段上与聚簇点最近的点；然后，将这些最近点中与聚簇点距离最近的点作为导航目标点。
在确定了导航目标点之后，即可根据导航目标点及机器人的坐标，计算出机器人到导航目标点的导航路径，并生成持续导航指令，通过无线传输系统传递给机器人以控制机器人运行。
根据本发明的技术方案，提供了一种眼动驱动巡检机器人行走的方法，该方法利用眼动仪捕捉双眼的坐标等眼动数据，通过均值漂移算法求得密度中心，根据驱动规则，在视野图像和地图图像中通过眼动启动控制指令，利用预设的驱动逻辑完成巡检机器人的操纵。
图7是根据本发明实施例的机器人的控制装置的主要模块示意图。如图7所示，本发明实施例的机器人的控制装置700主要包括数据获取模块701、指令生成模块702和指令发送模块703。
数据获取模块701，用于获取并展示机器人的驱动控制数据；
指令生成模块702，用于采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；
指令发送模块703，用于将所述控制指令发送给所述机器人以对所述机器人进行控制。
根据本发明的一个实施例，所述驱动控制数据包括所述机器人采集的图像数据、所述机器人的定位信息和预存的地图数据；
所述驱动控制数据的展示方式包括视野图像和地图图像，所述视野图像根据所述机器人采集的图像数据生成，所述地图图像根据所述机器人的定位信息和所述预存的地图数据生成。
根据本发明的另一个实施例，所述眼动数据包括双眼注视点的坐标和眨眼频率，并且，指令生成模块702还可以用于：
根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令；
或者，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令。
根据本发明的又一个实施例，指令生成模块702还可以用于：
获取第一时长内双眼注视点的坐标；
通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点坐标的密度中心；
判断所述聚簇点是否位于所述控制按钮在显示屏幕的位置范围之内；
若在，则判定为点击所述控制按钮；
否则，判定为未点击所述控制按钮。
根据本发明的再一个实施例，指令生成模块702还可以用于：
获取第二时长内双眼的眨眼次数及双眼注视点的坐标；
判断所述眨眼次数是否大于设定的第一阈值；
若是，则根据所述双眼注视点的坐标计算所述双眼注视点的平均坐标点，并判断所有双眼注视点到所述平均坐标点的距离是否均小于设定半径，若是，则判定为点击所述控制按钮；
否则，判定为未点击所述控制按钮。
根据本发明的一个实施例，若所述控制数据的展示方式为视野图像，则所述控制指令包括停止、前进、后退、左转和右转；
并且，指令发送模块703还可以用于：
若所述控制指令为停止，则使所述机器人停止运行；
若所述控制指令为空或与发送给所述机器人的前一控制指令不同，则使所述机器人根据所述控制指令执行对应操作；否则，向所述机器人发送持续维持控制指令的命令，以使所述机器人持续执行所述控制指令的对应操作；
若所述控制指令为空或与发送给所述机器人的持续维持控制指令相同，则不改变所述机器人的运行状态；否则，向所述机器人发送非持续维持指令的命令。
根据本发明的另一个实施例，若所述控制数据的展示方式为地图图像，则所述控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；
并且，指令发送模块703还可以用于：
若所述控制指令为停止，则使所述机器人停止运行；
否则，根据所述控制指令执行对应操作，其中，若所述控制指令为启动控制，则所述控制指令为持续导航指令，且所述持续导航指令包括导航目标点，以使所述机器人运行至所述导航目标点；
所述导航目标点通过以下方式确定：
获取第一时长内双眼注视点的坐标；
通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点的密度中心；
计算地图数据中所有预设路径包括的点中与所述聚簇点距离最近的点，并将与所述聚簇点距离最近的点作为所述导航目标点。
在该实施例中，所述持续导航指令还可以包括所述机器人到所述导航目标点的导航路径。
根据本发明实施例的技术方案，通过获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对眼动数据和驱动控制数据进行分析以生成控制指令；将控制指令发送给机器人以对机器人进行控制，实现了通过眼动控制机器人，摆脱了对肢体动作的要求，突破了依赖人手操作的鼠标键盘、操作杆等传动手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器进行交互时遇到的输入障碍，使得对机器人的控制更加灵活方便。
图8示出了可以应用本发明实施例的机器人的控制方法或机器人的控制装置的示例性系统架构800。
如图8所示，系统架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的机器人的控制方法一般由服务器805执行，相应地，机器人的控制装置一般设置于服务器805中。
应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统900的结构示意图。图9示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、指令生成模块和指令发送模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取模块还可以被描述为“用于获取并展示机器人的驱动控制数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；将所述控制指令发送给所述机器人以对所述机器人进行控制。
根据本发明实施例的技术方案，通过获取并展示机器人的驱动控制数据；采集用户的眼动数据，并通过对眼动数据和驱动控制数据进行分析以生成控制指令；将控制指令发送给机器人以对机器人进行控制，实现了通过眼动控制机器人，摆脱了对肢体动作的要求，突破了依赖人手操作的鼠标键盘、操作杆等传动手动控制的局限性，消除了由于身体不便或环境障碍等原因在与机器进行交互时遇到的输入障碍，使得对机器人的控制更加灵活方便。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (11)
1.一种机器人的控制方法，其特征在于，包括：
获取并展示机器人的驱动控制数据，所述驱动控制数据包括所述机器人的定位信息和预存的地图数据，所述驱动控制数据的展示方式包括地图图像，所述地图图像根据所述机器人的定位信息和所述预存的地图数据生成；
采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；
将所述控制指令发送给所述机器人以对所述机器人进行控制；
若所述驱动控制数据的展示方式为地图图像，则所述控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；并且，将所述控制指令发送给所述机器人以对所述机器人进行控制包括：
若所述控制指令为停止，则使所述机器人停止运行；
否则，根据所述控制指令执行对应操作，其中，若所述控制指令为启动控制，则所述控制指令为持续导航指令，且所述持续导航指令包括导航目标点，以使所述机器人运行至所述导航目标点；若所述控制指令为缩小、扩大或旋转，则根据所述控制指令对所述地图图像进行缩小、扩大或旋转；若所述控制指令为停止控制，则停止眼动控制所述机器人；
所述导航目标点通过以下方式确定：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点的密度中心；计算地图数据中所有预设路径包括的点中与所述聚簇点距离最近的点，并将与所述聚簇点距离最近的点作为所述导航目标点。
2.根据权利要求1所述的控制方法，其特征在于，所述驱动控制数据还包括所述机器人采集的图像数据；
所述驱动控制数据的展示方式还包括视野图像，所述视野图像根据所述机器人采集的图像数据生成。
3.根据权利要求1或2所述的控制方法，其特征在于，所述眼动数据包括双眼注视点的坐标和眨眼频率，并且，通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令包括：
根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令；
或者，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮，若点击所述控制按钮，则根据所述控制按钮生成控制指令。
4.根据权利要求3所述的控制方法，其特征在于，根据第一时长内双眼注视点坐标的密度中心是否在控制按钮范围内来判断是否点击所述控制按钮包括：
获取第一时长内双眼注视点的坐标；
通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点坐标的密度中心；
判断所述聚簇点是否位于所述控制按钮在显示屏幕的位置范围之内；
若在，则判定为点击所述控制按钮；
否则，判定为未点击所述控制按钮。
5.根据权利要求3所述的控制方法，其特征在于，根据第二时长内的眨眼频率及双眼注视点的坐标的集中度来判断是否点击所述控制按钮包括：
获取第二时长内双眼的眨眼次数及双眼注视点的坐标；
判断所述眨眼次数是否大于设定的第一阈值；
若是，则根据所述双眼注视点的坐标计算所述双眼注视点的平均坐标点，并判断所有双眼注视点到所述平均坐标点的距离是否均小于设定半径，若是，则判定为点击所述控制按钮；
否则，判定为未点击所述控制按钮。
6.根据权利要求2所述的控制方法，其特征在于，若所述控制数据的展示方式为视野图像，则所述控制指令包括停止、前进、后退、左转和右转；
并且，将所述控制指令发送给所述机器人以对所述机器人进行控制包括：
若所述控制指令为停止，则使所述机器人停止运行；
若所述控制指令为空或与发送给所述机器人的前一控制指令不同，则使所述机器人根据所述控制指令执行对应操作；否则，向所述机器人发送持续维持控制指令的命令，以使所述机器人持续执行所述控制指令的对应操作；
若所述控制指令为空或与发送给所述机器人的持续维持控制指令相同，则不改变所述机器人的运行状态；否则，向所述机器人发送非持续维持指令的命令。
7.根据权利要求1所述的控制方法，其特征在于，所述持续导航指令还包括所述机器人到所述导航目标点的导航路径。
8.一种机器人的控制装置，其特征在于，包括：
数据获取模块，用于获取并展示机器人的驱动控制数据，所述驱动控制数据包括所述机器人的定位信息和预存的地图数据，所述驱动控制数据的展示方式包括地图图像，所述地图图像根据所述机器人的定位信息和所述预存的地图数据生成；
指令生成模块，用于采集用户的眼动数据，并通过对所述眼动数据和所述驱动控制数据进行分析以生成控制指令；
指令发送模块，用于将所述控制指令发送给所述机器人以对所述机器人进行控制；
若所述控制数据的展示方式为地图图像，则所述控制指令包括缩小、扩大、旋转、启动控制、停止控制和停止；并且，所述指令发送模块还用于：若所述控制指令为停止，则使所述机器人停止运行；否则，根据所述控制指令执行对应操作，其中，若所述控制指令为启动控制，则所述控制指令为持续导航指令，且所述持续导航指令包括导航目标点，以使所述机器人运行至所述导航目标点；若所述控制指令为缩小、扩大或旋转，则根据所述控制指令对所述地图图像进行缩小、扩大或旋转；若所述控制指令为停止控制，则停止眼动控制所述机器人；所述导航目标点通过以下方式确定：获取第一时长内双眼注视点的坐标；通过均值漂移算法计算所述双眼注视点的聚簇点的坐标，所述聚簇点为所述双眼注视点的密度中心；计算地图数据中所有预设路径包括的点中与所述聚簇点距离最近的点，并将与所述聚簇点距离最近的点作为所述导航目标点。
9.根据权利要求8所述的控制装置，其特征在于，所述驱动控制数据还包括所述机器人采集的图像数据；
所述驱动控制数据的展示方式还包括视野图像，所述视野图像根据所述机器人采集的图像数据生成。
10.一种机器人的控制电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693510.7A CN113778070B (zh) | 2020-07-17 | 2020-07-17 | 机器人的控制方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693510.7A CN113778070B (zh) | 2020-07-17 | 2020-07-17 | 机器人的控制方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113778070A CN113778070A (zh) | 2021-12-10 |
| CN113778070B true CN113778070B (zh) | 2024-04-19 |
Family
ID=78835176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010693510.7A Active CN113778070B (zh) | 2020-07-17 | 2020-07-17 | 机器人的控制方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113778070B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6080998B1 (ja) * | 2016-03-18 | 2017-02-15 | 三菱電機株式会社 | 車両制御情報生成装置および車両制御情報生成方法 |
| CN107097227A (zh) * | 2017-04-17 | 2017-08-29 | 北京航空航天大学 | 一种人机协作机器人系统 |
| CN107390863A (zh) * | 2017-06-16 | 2017-11-24 | 北京七鑫易维信息技术有限公司 | 设备的控制方法及装置、电子设备、存储介质 |
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| CN110033652A (zh) * | 2019-03-11 | 2019-07-19 | 中国民航大学 | 一种基于眼动追踪的雷达动态目标标定方法及系统 |
| CN110651304A (zh) * | 2017-05-23 | 2020-01-03 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN110658742A (zh) * | 2019-09-05 | 2020-01-07 | 四川省康复辅具技术服务中心 | 多模态协同操控的轮椅控制系统及方法 |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
| CN111178706A (zh) * | 2019-12-18 | 2020-05-19 | 南京航空航天大学 | 一种基于眼动数据的管制员注意力分配评估方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105892642A (zh) * | 2015-12-31 | 2016-08-24 | 乐视移动智能信息技术（北京）有限公司 | 一种根据眼部动作对终端进行控制的方法及装置 |
| US11169601B2 (en) * | 2018-07-12 | 2021-11-09 | Toyota Research Institute, Inc. | Methods and systems for determining teleoperating user intent via eye tracking |
-
2020
- 2020-07-17 CN CN202010693510.7A patent/CN113778070B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6080998B1 (ja) * | 2016-03-18 | 2017-02-15 | 三菱電機株式会社 | 車両制御情報生成装置および車両制御情報生成方法 |
| CN107097227A (zh) * | 2017-04-17 | 2017-08-29 | 北京航空航天大学 | 一种人机协作机器人系统 |
| CN110651304A (zh) * | 2017-05-23 | 2020-01-03 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN107390863A (zh) * | 2017-06-16 | 2017-11-24 | 北京七鑫易维信息技术有限公司 | 设备的控制方法及装置、电子设备、存储介质 |
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| CN110033652A (zh) * | 2019-03-11 | 2019-07-19 | 中国民航大学 | 一种基于眼动追踪的雷达动态目标标定方法及系统 |
| CN110658742A (zh) * | 2019-09-05 | 2020-01-07 | 四川省康复辅具技术服务中心 | 多模态协同操控的轮椅控制系统及方法 |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
| CN111178706A (zh) * | 2019-12-18 | 2020-05-19 | 南京航空航天大学 | 一种基于眼动数据的管制员注意力分配评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113778070A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102016125811A1 (de) | Zweihändige Objektmanipulationen in der virtuellen Realität | |
| US9578399B2 (en) | Remote sensor access and queuing | |
| CN104685449A (zh) | 基于用户的目光的用户界面元素焦点 | |
| US11573626B2 (en) | Identifying electrical power ports utilizing IoT information and augmented reality | |
| CN108594999B (zh) | 用于全景图像展示系统的控制方法和装置 | |
| US20130227412A1 (en) | Tooltip feedback for zoom using scroll wheel | |
| WO2015126951A1 (en) | Three-dimensional mapping system | |
| CN110568929B (zh) | 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备 | |
| KR102577571B1 (ko) | 로봇 장치 및 로봇 장치의 감정 표현 방법 | |
| KR20150132526A (ko) | 체험 콘텐츠 데이터세트에 대한 캠페인 최적화 | |
| US20230259261A1 (en) | Method for Moving Object, Storage Medium and Electronic device | |
| CN111643899A (zh) | 一种虚拟物品显示方法、装置、电子设备和存储介质 | |
| CN111722245A (zh) | 定位方法、定位装置和电子设备 | |
| JP2018049421A (ja) | 作業支援装置及び作業支援方法 | |
| Schütt et al. | Semantic interaction in augmented reality environments for microsoft hololens | |
| CN114012740B (zh) | 一种基于机器人的目标地点引领方法、装置和机器人 | |
| CN111695516A (zh) | 热力图的生成方法、装置及设备 | |
| CN113778070B (zh) | 机器人的控制方法和装置 | |
| CN112307323B (zh) | 信息推送方法和装置 | |
| CN111696134A (zh) | 一种目标检测方法、装置以及电子设备 | |
| CN112738407B (zh) | 一种操控多摄像机的方法和装置 | |
| US10650037B2 (en) | Enhancing information in a three-dimensional map | |
| JP7287172B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| CN112346512A (zh) | 时间同步方法和装置 | |
| JP2015069445A (ja) | 映像出力装置、映像出力方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |