CN113821108B - 基于多模态交互技术的机器人远程控制系统及控制方法 - Google Patents

基于多模态交互技术的机器人远程控制系统及控制方法 Download PDF

Info

Publication number
CN113821108B
CN113821108B CN202111394448.2A CN202111394448A CN113821108B CN 113821108 B CN113821108 B CN 113821108B CN 202111394448 A CN202111394448 A CN 202111394448A CN 113821108 B CN113821108 B CN 113821108B
Authority
CN
China
Prior art keywords
image
pupil
points
point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111394448.2A
Other languages
English (en)
Other versions
CN113821108A (zh
Inventor
纪鹏
李成龙
马凤英
张慧
张芳芳
王斌鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202111394448.2A priority Critical patent/CN113821108B/zh
Publication of CN113821108A publication Critical patent/CN113821108A/zh
Application granted granted Critical
Publication of CN113821108B publication Critical patent/CN113821108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于多模态交互技术的机器人远程控制系统及控制方法，包括用于控制从端机器人系统的主端多模态交互控制系统，所述主端多模态交互控制系统包括主端微处理器，图像处理单元，红外摄像单元，图像显示单元，视觉伺服控制单元，无线网络通信单元，语音交互单元，模式选择按钮，主端微处理器分别与图像处理单元，红外摄像单元，图像显示单元，视觉伺服控制单元，无线网络通信单元，语音交互单元，模式选择按钮连接，本方案中，将眼动追踪技术、语音交互技术与机器人视觉伺服控制技术相结合，以解决现有基于人机交互的机器人控制方式中很难快速识别目标区域，精确选择目标物体的问题。

Description

基于多模态交互技术的机器人远程控制系统及控制方法
技术领域
本发明涉及机器人领域，人机交互相关技术领域，尤其涉及一种基于多模态交互技术的机器人远程控制系统与控制方法。
背景技术
侦察机器人可以执行战场抵近侦察监视、潜行突袭、定点清剿、核生化处理及反恐排爆等多种作战任务。传统的侦察系统一般是由摄像头和两自由度的云台组成，其控制方式一般通过摇杆的俯仰角和偏航角的角度信息实现对云台的俯仰控制。对于搭载多自由度侦察系统的侦察机器人，其侦察系统一般是由多自由度机械臂与侦察摄像头组成，其中侦察摄像头固定连接在多自由度机械臂执行器的末端。传统的机器人的远程控制系统通常采用带有摇杆和按键的控制箱或控制盒来实现。对于搭载多自由度机械臂的机器人，控制箱的按键非常繁杂，操控者需要记忆每个按键与机器人控制操作的对应关系，控制方式非常不直观。机器人控制系统都摆脱不了对摇杆的依赖，而摇杆又需要控制箱及相关的硬件设备的支持，因此传统的侦察机器人的控制器的体积都普遍较大，由此带来的问题是不方便携带和运输。
人的眼动信息和语音信息是可以被人类利用的较为有用的两种信息，对于特种兵来说，眼睛信息和语音信息是非常有利的与机器人进行交互的两种方式。目前基于人机交互的侦察机器人的可穿戴设备极不方便，很难精确快速地确定待跟踪的目标物。对于全副武装的士兵来说，如何综合利用眼动信息和语音信息等多模态交互技术提高侦察机器人的人机交互遥操作控制系统的快速性，精确性，便携性和操控直观性是非常迫切的需求。
发明内容
针对上述问题，本发明提出了一种基于多模态交互技术的机器人远程控制系统及控制方法，实现对多自由度机器人的远程控制。本方案中，将眼动追踪技术、语音交互技术与机器人视觉伺服控制技术相结合，以解决现有基于人机交互的机器人控制方式中很难快速识别目标区域，精确选择目标物体的问题。主端多模态交互控制系统的头部可穿戴设备，便于携带，脱卸方便，操作直观易行，眼动控制非常灵活，提高了操控的直观性，一定程度上解放了机器人操控者的双手。
本发明提供如下技术方案：一种基于多模态交互技术的机器人远程控制系统，包括用于控制从端机器人系统的主端多模态交互控制系统，所述主端多模态交互控制系统包括主端微处理器，图像处理单元，红外摄像单元，图像显示单元，视觉伺服控制单元，无线网络通信单元，语音交互单元，模式选择按钮，主端微处理器分别与图像处理单元，红外摄像单元，图像显示单元，视觉伺服控制单元，无线网络通信单元，语音交互单元，模式选择按钮连接。
所述的图像处理单元用于提取人的眼动信息，并计算出人的瞳孔中心的位置，确定瞳孔中心运动范围，建立起瞳孔运动范围与图像显示单元的图像显示区域的映射关系；红外摄像单元用来拍摄人的眼动特征信息，并把所拍摄的图像传输给图像处理单元进行眼动特征的提取与处理；图像显示单元用于显示经图像处理单元处理后的场景中的图像信息；视觉伺服控制单元用于根据图像特征误差获得机器人的机械臂各关节期望关节变量；无线网络通信单元用于从端机器人系统与主端多模态交互控制系统进行通信；语音交互单元用于发送和接收语音指令；模式选择按钮用于选择设备工作状态；主端微处理器用来处理各个单元及模式选择按钮发送来的指令与信息，并把处理后的结果按需发送回各个单元及模式选择按钮。
所述主端多模态交互控制系统设置在可穿戴式设备上，可以方便地穿戴在操作员身上，用于发送控制指令和接收从端机器人采集的信息，穿戴设备穿戴在操作者眼部，包括眼镜腿和外壳，在外壳上设置模式选择按钮，外壳朝向面部的一侧设置语音交互单元，外壳对应眼睛的部位设置图像显示单元和红外摄像单元。
一种基于多模态交互技术的机器人远程控制方法，包括如下步骤，
S1：通过模式选择按钮把模式选择按钮拨动到“运行”档位，建立主端多模态交互控制系统和从端机器人系统的无线网络通道，系统开始正式工作，并给予操作者语音提示；
S2：主端多模态交互控制系统的开始获取机器人拍摄的图像，并通过图像显示单元进行显示；
S3：当听到主端多模态交互控制系统接收到开始选取跟踪目标的语音提示时，红外摄像单元开始不断获取操作员的眼球信息；
S4：采集操作员的语音指令，判断是否把注视点
Figure 511105DEST_PATH_IMAGE001
作为待跟踪目标点，若是，则执行下一步；若否，则返回步骤S3；
S5：开启目标检测算法对此注视点
Figure 631508DEST_PATH_IMAGE001
进行图像处理，统计该幅图像的所有像素点信息，建立局部颜色直方图
Figure 676824DEST_PATH_IMAGE002
，建立和计算基于该注视点的邻域相似性指标quota，从而识别和分割出与该注视点邻域相似的目标区域；
S6：计算目标区域的最左横坐标、最右横坐标、最上纵坐标和最下纵坐标，确定包裹目标区域的最小矩形；
S7：开启目标跟踪算法，并将S6中的最小矩形作为初始跟踪区域输入给目标跟踪算法，在跟踪目标过程中，实时计算该矩形边框的中心点坐标，记作特征点
Figure 540875DEST_PATH_IMAGE003
；
S8：将得到的图像特征点
Figure 558509DEST_PATH_IMAGE003
与图像中心坐标
Figure 646551DEST_PATH_IMAGE004
作比较，得到两者之间的一个误差，形成反馈信号,定义为图像特征误差
Figure 116847DEST_PATH_IMAGE005
；
S9：视觉伺服控制单元接收到图像特征误差
Figure 581326DEST_PATH_IMAGE006
之后，以误差均方差
Figure 453467DEST_PATH_IMAGE007
为目标函数，对于固定采样周期，使得目标函数最小化，可得：
Figure 712410DEST_PATH_IMAGE008
其中，
Figure 935581DEST_PATH_IMAGE009
，
Figure 875855DEST_PATH_IMAGE010
为复合图像雅各比矩阵，即
Figure 664820DEST_PATH_IMAGE011
，其中，
Figure 297926DEST_PATH_IMAGE012
为图像雅各比矩阵，
Figure 805131DEST_PATH_IMAGE013
为机械臂雅各比矩阵；
S10：目标函数最小化后，得到使得以误差均方差最小化为目标函数的机器人下一时刻的期望关节变量
Figure 549096DEST_PATH_IMAGE014
：
Figure 395829DEST_PATH_IMAGE015
；
S11：将机器人下一时刻的期望关节变量
Figure 996575DEST_PATH_IMAGE016
通过无线网络发送给从端机器人模块的滑模控制器,通过基于计算力矩法的滑模控制算法，计算各个关节需要的力矩
Figure 928759DEST_PATH_IMAGE017
；
S12：将步骤S10得到的各关节力矩
Figure 273153DEST_PATH_IMAGE017
传输到从端机器人模块的关节驱动器，驱动机器人朝着目标物体运动；
S13：采集操作员语音指令并判断是否开启武器装置，若是，则发起攻击，执行步骤S14；若否，则进一步采集操作员语音指令并判断是否取消目标；若是，则返回S3；若否，则返回S7;
S14：采集操作员语音指令判断是否结束，若是，则任务结束；若否，则返回步骤S3。
进入S1的运行模式之前，即对机器人进行控制前，需要对主端多模态交互控制系统进行校准，校准步骤如下：步骤1：拨动模式选择按钮到“校准”档位，开启校准程序，准备校准操作；步骤2：开启红外摄像单元，当听到语音交互单元发出的语音提示后，人眼不断移动，红外摄像单元开始不断获取人的眼动信息，并通过一种瞳孔中心定位算法实时检测瞳孔中心的图像坐标；步骤3：听到人机交互单元发出的语音提示后，开始让眼球根据语音提示移动，进而确定瞳孔中心运动范围；步骤4：瞳孔中心运动范围确定后，建立瞳孔中心运动范围与图像显示单元的图像显示区域的映射关系。
校准过程的步骤2具体步骤为：
步骤21：对采集到的眼部图像进行预处理，首先，采用平均值法对眼部图像进行灰度化处理。然后，采用NL-Means算法对灰度化处理后的可能带有噪声干扰的眼部图像进行去噪处理；
步骤22：采用多大津算法对灰度化后的眼部图像进行二值化的处理，经多大津算法分割后便可得到比较精确的分割结果；
步骤23：对分割过后的眼部图像进行预过滤处理，由于组成瞳孔轮廓的像素点在一定范围内，利用这个已知条件可以对眼部图像的所有瞳孔轮廓进行筛选，当某个瞳孔轮廓的像素点在给定范围内时，则选为备用；当某个瞳孔轮廓的像素点不在给定范围内时，则过滤掉该轮廓；
步骤24：如果没有选为备用的瞳孔轮廓，则返回步骤21；如果有且仅有一个选为备用的瞳孔轮廓，则利用瞳孔中心定位算法对该瞳孔轮廓进行拟合，求解拟合过后的瞳孔轮廓的各个参数，计算瞳孔轮廓的中心；如果选为备用的瞳孔轮廓的数量超过一个，则执行下一步；
步骤25：利用瞳孔中心定位算法分别对每一个瞳孔轮廓拟合，将拟合得到的每个瞳孔轮廓的中心与对应瞳孔轮廓上各点进行标准差的计算，将计算得到的最小标准差的那个瞳孔轮廓作为最终的瞳孔轮廓，最终的瞳孔轮廓的中心作为瞳孔轮廓的中心。
校准过程的步骤3中，确定瞳孔中心运动范围的具体步骤包括：
步骤31：当听到语音交互单元的语音提示发出开始眼动范围检测超过预定秒数后，主端多模态交互控制系统开始不断发出眼动范围检测指令；
步骤32：当听到语音交互单元的语音提示发出请注视图像左上方的指令后，操作员眼球开始往最左上方移动，当注视停留在最左上方时间超过预定秒数后，则系统把人眼所能看到的最左上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 974392DEST_PATH_IMAGE018
；
步骤33：当听到语音交互单元的语音提示发出请注视图像左下方的指令后，操作员眼球开始往最左下方移动，当注视停留在最左下方时间超过预定秒数后，则系统把人眼所能看到的最左下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 214881DEST_PATH_IMAGE019
；
步骤34：当听到语音交互单元的语音提示发出请注视图像右下方的指令后，操作员眼球开始往最右下方移动，当注视停留在最右下方时间超过预定秒数后，则系统把人眼所能看到的最右下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 431099DEST_PATH_IMAGE020
；
步骤35：当听到语音交互单元的语音提示发出请注视图像右上方的指令后，操作员眼球开始往最右上方移动，当注视停留在最右上方时间超过预定秒数后，则系统把人眼所能看到的最右上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 516866DEST_PATH_IMAGE021
；
步骤36：统计计算瞳孔中心朝四个方向运动后的图像坐标，计算人眼所能观察到的图像的范围，记为
Figure 134929DEST_PATH_IMAGE022
，其中
Figure 280740DEST_PATH_IMAGE023
表示长度，
Figure 984254DEST_PATH_IMAGE024
表示宽度。
校准过程的步骤4中建立瞳孔中心运动范围
Figure 608133DEST_PATH_IMAGE022
与图像显示单元的图像显示区域
Figure 346282DEST_PATH_IMAGE025
的映射关系，即视线点坐标提取算法的方法，具体为：
步骤41：在瞳孔中心运动范围
Figure 662994DEST_PATH_IMAGE022
内及边界上均匀确定100个像素点的坐标
Figure 853804DEST_PATH_IMAGE026
，其中
Figure 281374DEST_PATH_IMAGE027
1,2,3...100；
步骤42：在图像显示单元的图像显示区域
Figure 811712DEST_PATH_IMAGE025
内及边界上均匀确定100个对应的像素点坐标
Figure 361642DEST_PATH_IMAGE028
,其中
Figure 977432DEST_PATH_IMAGE029
1,2,3...100；
步骤43：利用线性拟合算法对这100对坐标数据进行线性拟合，确定瞳孔中心运动范围
Figure 271010DEST_PATH_IMAGE022
与图像显示单元的图像显示区域
Figure 921434DEST_PATH_IMAGE025
对应坐标的函数关系式：
Figure 314369DEST_PATH_IMAGE030
Figure 479771DEST_PATH_IMAGE031
其中
Figure 266722DEST_PATH_IMAGE032
，
Figure 37232DEST_PATH_IMAGE033
根据不同的用户以及系统初始化阶段进行设定；
步骤44：根据事先确定好的12个选取的坐标点与对应的12个坐标点的操作员的瞳孔中心图像坐标建立误差函数：
Figure 663386DEST_PATH_IMAGE034
，其中，
Figure 253767DEST_PATH_IMAGE035
，
建立如下需要满足的条件：
Figure 889148DEST_PATH_IMAGE036
；
步骤45：利用步骤44的条件，求解方程中各项的系数的最优值，得到各项系数的最优值后，便得到瞳孔中心运动范围
Figure 983005DEST_PATH_IMAGE037
与图像显示单元的图像显示区域
Figure 248902DEST_PATH_IMAGE038
对应坐标的函数关系，记为视线点坐标提取算法。
控制方法的S5中的目标检测算法，具体为：
S501：选择RGB彩色空间作为该算法的颜色空间；
S502：建立基于注视点
Figure 123317DEST_PATH_IMAGE039
处的局部颜色直方图
Figure 500072DEST_PATH_IMAGE040
，该直方图表示的是基于彩色图像RGB空间的三个颜色分量；
S503：统计关于
Figure 776332DEST_PATH_IMAGE039
点的
Figure 947550DEST_PATH_IMAGE041
近邻域的颜色特征；像素点
Figure 309262DEST_PATH_IMAGE039
的
Figure 489707DEST_PATH_IMAGE041
近邻域定义为，
Figure 558157DEST_PATH_IMAGE042
，其中，
Figure 962594DEST_PATH_IMAGE043
为图像中的两个近邻像素点；根据同一区域像素点之间的相似性大于不同区域像素点之间的相似性这个规则选取种子点，建立基于注视点
Figure 749284DEST_PATH_IMAGE039
的邻域相似性指标quota，定义为：
Figure 264579DEST_PATH_IMAGE044
其中，
Figure 453115DEST_PATH_IMAGE045
表示集合
Figure 28453DEST_PATH_IMAGE046
中所有元素的数目，
Figure 302440DEST_PATH_IMAGE047
其中，
Figure 621425DEST_PATH_IMAGE048
为像素点
Figure 930047DEST_PATH_IMAGE049
的局部颜色直方图，
Figure 613969DEST_PATH_IMAGE050
为像素点
Figure 171990DEST_PATH_IMAGE039
与像素点
Figure 232349DEST_PATH_IMAGE051
之间的欧氏距离，
Figure 192215DEST_PATH_IMAGE052
为设定的像素点颜色特征变化的阈值，
Figure 47039DEST_PATH_IMAGE052
为大于0的某一正数；
S504：当quota≥0.5时，认为像素点
Figure 357934DEST_PATH_IMAGE039
附近颜色变化缓慢，属于目标物体内部，当quota<0.5时，认为像素点
Figure 956406DEST_PATH_IMAGE039
周围颜色变化迅速，属于目标物体与背景之间的过渡区域；
S505：把quota≥0.5的像素点作为种子点，得到的所有种子点在
Figure 770778DEST_PATH_IMAGE041
近邻域内都具有生长的能力，把所有的像素点的相似性度量值小于
Figure 62082DEST_PATH_IMAGE052
的点归为一类，而不同目标的种子点会被两目标边缘点隔离，不会分为一类；
S506：得到生长完成的图像之后，分割和识别出基于该注视点邻域的目标物体的区域。
在S6中确定包裹目标区域的最小矩形的方法，具体为：
S601：提取并计算目标物体区域的最左边区域的像素点，记为
Figure 797957DEST_PATH_IMAGE053
；
S602：提取并计算目标物体区域的最下边区域的像素点，记为
Figure 262436DEST_PATH_IMAGE054
；
S603：提取并计算目标物体区域的最右边区域的像素点，记为
Figure 868998DEST_PATH_IMAGE055
；
S604：提取并计算目标物体区域的最上边区域的像素点，记为
Figure 393520DEST_PATH_IMAGE056
；
S605：得到四个目标物体区域的最左，下，右，上的像素点之后，计算并记录该目标最左、右像素点之差，即
Figure 351112DEST_PATH_IMAGE057
，作为该目标物体区域的最小长度，记为
Figure 353703DEST_PATH_IMAGE041
；计算并记录该目标最上、下像素点之差
Figure 345930DEST_PATH_IMAGE058
，作为该目标物体区域的最小宽度，记为
Figure 979037DEST_PATH_IMAGE059
；记包含该目标物体区域的最小范围为
Figure 220662DEST_PATH_IMAGE060
；
在S7中跟踪目标过程中，实时计算该矩形边框的中心点坐标的方法，具体为：
S701：计算该最小矩形边框的左上角的像素点，记为
Figure 964627DEST_PATH_IMAGE061
；
S702：计算该最小矩形边框的左下角的像素点，记为
Figure 873677DEST_PATH_IMAGE062
；
S703：计算该最小矩形边框的右下角的像素点，记为
Figure 412106DEST_PATH_IMAGE063
；
S704：计算该最小矩形边框的右上角的像素点，记为
Figure 406607DEST_PATH_IMAGE064
；
S705：计算该最小矩形边框的中心点坐标
Figure 688684DEST_PATH_IMAGE065
，作为该目标物体的图像特征点
Figure 655503DEST_PATH_IMAGE066
，即
Figure 427150DEST_PATH_IMAGE067
；
其中，
Figure 846630DEST_PATH_IMAGE068
，
Figure 994714DEST_PATH_IMAGE069
。
在S9中的以误差均方差
Figure 550461DEST_PATH_IMAGE007
为目标函数的最小化方法，具体为：
S901：定义误差均方差
Figure 758588DEST_PATH_IMAGE007
目标函数，将目标函数展开为关于微小增量
Figure 399785DEST_PATH_IMAGE070
的泰勒级数:
Figure 85981DEST_PATH_IMAGE071
其中，
Figure 761813DEST_PATH_IMAGE072
为关节角增量，
Figure 78525DEST_PATH_IMAGE073
为时间增量；
S902：略去上式右端高阶项，对于固定时间增量，使得目标函数最小化的条件为:
Figure 269335DEST_PATH_IMAGE074
也即：
Figure 691046DEST_PATH_IMAGE075
最终可得：
Figure 283701DEST_PATH_IMAGE076
令
Figure 771314DEST_PATH_IMAGE077
，其中
Figure 449420DEST_PATH_IMAGE078
为复合雅各比矩阵，即
Figure 680681DEST_PATH_IMAGE079
，其中，
Figure 65526DEST_PATH_IMAGE080
为图像雅各比矩阵，
Figure 786358DEST_PATH_IMAGE081
为机械臂雅各比矩阵。
可得
Figure 889443DEST_PATH_IMAGE072
中各项为：
Figure 721133DEST_PATH_IMAGE082
；
S903：当关节角增量为
Figure 960484DEST_PATH_IMAGE072
时，目标函数将沿期望方向变化，也即:
Figure 852217DEST_PATH_IMAGE083
其中
Figure 708177DEST_PATH_IMAGE084
时刻期望关节角增量；
综上，
Figure 15662DEST_PATH_IMAGE085
令
Figure 437416DEST_PATH_IMAGE086
，可得：
Figure 437733DEST_PATH_IMAGE087
；
S904：忽略掉
Figure 312148DEST_PATH_IMAGE088
项后，我们得到基于高斯牛顿法的加入比例因子的控制律：
Figure 688903DEST_PATH_IMAGE089
其中，
Figure 965163DEST_PATH_IMAGE090
可以用
Figure 136382DEST_PATH_IMAGE091
表示，称为复合图像雅可比矩阵的Moore-Penrose伪逆，且有
Figure 701355DEST_PATH_IMAGE092
,
Figure 412959DEST_PATH_IMAGE093
为加入的比例因子。
在S9中复合图像雅各比矩阵的求取涉及到一种眼在手机器人无标定视觉伺服控制的复合图像雅可比矩阵的Broyden在线更新方法，该方法只在初始时刻计算复合图像雅克比矩阵，其后在每一步迭代过程中更新雅可比矩阵，具体为：
S911：对于眼在手机器人无标定视觉伺服控制系统，设该系统在
Figure 746989DEST_PATH_IMAGE094
时，达到期望位置附近，将误差
Figure 151425DEST_PATH_IMAGE095
在
Figure 938116DEST_PATH_IMAGE094
展开为泰勒级数:
Figure 453411DEST_PATH_IMAGE096
；
S912：因为在期望点附近，复合图像雅各比矩阵已经近似趋于不变了。所以可用上式计算系统在前一时刻的系统误差，即：
Figure 641946DEST_PATH_IMAGE097
S913：省略掉高阶项，可得：
Figure 217284DEST_PATH_IMAGE098
进一步合并整理得：
Figure 491271DEST_PATH_IMAGE099
其中，
Figure 13519DEST_PATH_IMAGE100
；
S914：将式：
Figure 118878DEST_PATH_IMAGE101
等式的两边分别减去：
Figure 802801DEST_PATH_IMAGE102
得：
Figure 360821DEST_PATH_IMAGE103
即：
Figure 421181DEST_PATH_IMAGE104
转置以后，整理得：
Figure 381046DEST_PATH_IMAGE105
；
S915：对于图像特征差
Figure 235870DEST_PATH_IMAGE106
给定初始关节角
Figure 750028DEST_PATH_IMAGE107
,初始复合雅可比矩阵
Figure 410816DEST_PATH_IMAGE108
,给出基于动态Broyden法雅各比矩阵在线更新算法：
Figure 162872DEST_PATH_IMAGE109
。
通过上述描述可以看出本方案中相比现有技术，有益效果为：
（1）本方案设置了一种基于可穿戴式的遥操作控制设备，通过红外摄像单元获取操作员的眼动信号，并通过瞳孔中心定位算法实时检测瞳孔中心的图像坐标；确定瞳孔中心运动范围，建立起瞳孔中心运动范围与图像显示单元的图像显示区域的映射关系。利用操作员的眼动信号,便可以快速精确的确定操作员的眼部的注视点。解决了现有人机交互对于侦察机器人很难快速精确的确定目标区域，选取目标物体的问题。另外，该设备便于携带，可操作性强，使得操作员的操作更加直观方便，通过可穿戴设备可以实现对从端机器人的远程控制，一定程度上解放了操作员的双手，减轻了操作员双手的负担。
（2）本方案给出了机器人各关节变量的迭代公式，给出了复合图像雅各比矩阵的在线估计的方法，基于计算力矩的滑模控制算法给出了各关节所需要的力矩大小。本方案所涉及的基于眼动追踪可穿戴设备的机器人远程控制系统与控制方法，具备较好的控制性能,具有较强的鲁棒性。
（3）本方案的基于多模态交互技术的机器人远程控制系统及控制方法，将眼动追踪技术，语音交互技术，图像处理技术与机器人视觉伺服控制技术，相结合对机器人进行控制将多模态交互技术应用在机器人领域，具有一定的应用前景。
附图说明
图1是本公开所述的基于多模态交互技术的机器人远程控制系统的组成示意图。
图2是本公开实施例1的主端多模态交互控制系统的右视图。
图3是本公开实施例1的主端多模态交互控制系统的结构框图。
图4是本公开实施例1的从端机器人系统结构框图。
图5是本公开实施例2的主端多模态交互控制系统的校准方法的控制流程图。
图6是本公开实施例3的控制方法的控制流程图。
图中， N1为红外摄像单元，N2为图像显示单元，N3为语音交互单元，N4为模式选择按钮，N5为机器人主控制器，N6为滑模控制器，N7为关节驱动器，N8为机器人本体，N9为单目视觉传感器，N10为无线网络通信单元，N11为武器装置。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
通过附图可以看出，本发明基于多模态交互技术的机器人远程控制系统，包括主端多模态交互控制系统和从端机器人系统组成，主端多模态交互控制系统和从端机器人系统通过无线网络通信，所述的主端多模态交互控制系统涉及到一种基于可穿戴式的遥操作控制设备，可以方便地穿戴在操作员身上，用于发送控制指令和接收从端机器人采集的信息。这种可穿戴式的设备可以对红外摄像单元以及来自从端机器人系统末端单目视觉传感器拍摄的图像进行图像处理，它还能够把图像实时地显示在图像显示单元，此外，它可以发送和接受主从端各个单元的指令和信息并对这些指令和信息做相应的处理。
主端多模态交互控制系统主要包括：主端微处理器，图像处理单元，N1、红外摄像单元，N2、图像显示单元，视觉伺服单元，无线网络通信单元，N3、语音交互单元，N4、模式选择滑动按钮。所述的主端多模态交互控制系统的主端微处理器分别与图像处理单元，N1、红外摄像单元，N2、图像显示单元，视觉伺服单元，无线网络通信单元，N3、语音交互单元，N4、模式选择按钮连接，用来处理各个单元及模式选择按钮发送来的指令与信息，并把处理后的结果按需发送回各个单元及模式选择按钮。所述的图像处理单元用于提取人的眼动信息，并对提取到的眼动特征信息做相应的分析处理，以便计算出人的瞳孔中心的位置，确定瞳孔中心运动范围，建立起瞳孔运动范围与图像显示单元的图像显示区域的映射关系。所述的红外摄像单元N1用来拍摄人的眼动特征信息，并把所拍摄的图像传输给图像处理单元进行眼动特征的提取与处理。所述的图像显示单元N2用于显示经图像处理单元处理后图像信息。所述的视觉伺服单元用来对雅各比矩阵进行在线的估计与更新，雅各比矩阵的每一次迭代更新，关节角也会随之沿着误差均方差最小的方向迭代更新，进而求出最新的机械臂各关节的期望关节变量。所述的无线网络通信单元用来与从端机器人系统建立主从端的无线网络通信，以便主端多模态交互控制系统与从端机器人系统间指令与信息的发送与接收。所述的语音交互单元N3主要由麦克风，扬声器，语音交互控制器组成，用于发送和接收语音指令，通过发送和接收语音指令，可以提示操作员和系统该如何动作。所述的模式选择按钮N4分为三个档位：一档为关闭按钮，当设备不用的时候处于关闭状态；二档为校准按钮，当把模式选择按钮拨到该位置时，表示开启了设备的校准模式；三档为运行按钮，当把模式选择按钮拨到该位置时，表示设备开始正式工作。
从端机器人系统主要包括：N5、机器人主控制器，N6、滑模控制器，N7、关节驱动器，N8、机器人本体，N9、单目视觉传感器，N10、无线通信通信单元，N11、武器装置。所述的从端机器人系统的机器人主控制器N5分别与滑模控制器N6，关节驱动器N7，机器人本体N8，单目视觉传感器N9，无线通信单元N10，武器装置N11连接。所述的机器人主控制器N5是整个从端机器人系统的核心，它负责在从端的各个单元以及主端多模态交互控制系统间进行指令与信息的发送与接收。所述的滑模控制器N6接收来自主端多模态交互控制系统视觉伺服单元N5传输来的各关节的期望关节变量，通过基于计算力矩法的滑模控制算法计算出与期望关节变量对应的各关节的力矩大小。所述的关节驱动器N7接收到来自滑模控制器N6的各关节的力矩大小，驱动机器人本体N8朝着目标物体移动。所述的机器人本体N8为多自由度机械臂，可以为但不限定于六自由度机械臂。所述的单目视觉传感器N9安装在机器人本体N8的末端执行器上，用来获取场景空间中的图像信息，并把图像信息通过无线网络通道传输给主端多模态交互控制系统。所述的无线网络通信单元N10负责与主端多模态交互控制系统的无线网络通信单元进行网络通信，以便主从端系统间的指令与信息的发送与接收。所述的武器装置N11负责在听到攻击目标物体的语音指令后，对目标物体进行精准击打。
基于上述设备的机器人远程控制方法,在使用前,需要做校准; 如图5所示，本具体实施方式中,机器人远程控制系统主端多模态交互控制系统的校准方法，具体包含如下步骤：
步骤1：拨动模式选择按钮到“校准”档位，开启校准程序，准备校准操作；
步骤2：开启红外摄像单元，当听到人机交互单元发出的语音提示后，人眼不断移动，红外摄像单元开始不断获取人的眼动信息，并通过一种瞳孔中心定位算法实时检测瞳孔中心的图像坐标；
步骤3：听到人机交互单元发出的语音提示后，开始让眼球根据语音提示移动，进而确定瞳孔中心运动范围；
步骤4：瞳孔中心运动范围确定后，建立瞳孔中心运动范围与图像显示单元的图像显示区域的映射关系，即视线点坐标提取算法。
具体的，所述步骤2中的一种基于瞳孔中心定位的算法，具体为：
步骤21：对采集到的眼部图像进行预处理。首先，采用平均值法对眼部图像进行灰度化处理。然后，采用NL-Means算法对灰度化处理后的可能带有噪声干扰的眼部图像进行去噪处理；
步骤22：采用多大津算法对灰度化后的眼部图像进行二值化的处理，经多大津算法分割后便可得到比较精确的分割结果；
步骤23：对分割过后的眼部图像进行预过滤处理。由于组成瞳孔轮廓的像素点在一定范围内，利用这个已知条件可以对眼部图像的所有瞳孔轮廓进行筛选。当某个瞳孔轮廓的像素点在给定范围内时，则选为备用；当某个瞳孔轮廓的像素点不在给定范围内时，则过滤掉该轮廓。
步骤24：如果没有选为备用的瞳孔轮廓，则返回步骤21；如果有且仅有一个选为备用的瞳孔轮廓，则利用瞳孔中心定位算法对该瞳孔轮廓进行拟合，求解拟合过后的瞳孔轮廓的各个参数，计算瞳孔轮廓的中心；如果选为备用的瞳孔轮廓的数量超过一个，则执行下一步；
步骤25：利用瞳孔中心定位算法分别对每一个瞳孔轮廓拟合，将拟合得到的每个瞳孔轮廓的中心与对应瞳孔轮廓上各点进行标准差的计算，将计算得到的最小标准差的那个瞳孔轮廓作为最终的瞳孔轮廓，最终的瞳孔轮廓的中心作为瞳孔轮廓的中心。
具体的，所述步骤3中确定瞳孔中心运动范围的方法，具体为：
步骤31：当听到主端语音交互单元的语音提示发出开始眼动范围检测超过预定秒数后，系统开始不断发出眼动范围检测指令；
步骤32：当听到主端语音交互单元的语音提示发出请注视图像左上方的指令后，操作员眼球开始往最左上方移动，当注视停留在最左上方时间超过预定秒数后，则系统把人眼所能看到的最左上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 516493DEST_PATH_IMAGE110
；
步骤33：当听到主端语音交互单元的语音提示发出请注视图像左下方的指令后，操作员眼球开始往最左下方移动，当注视停留在最左下方时间超过预定秒数后，则系统把人眼所能看到的最左下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 986788DEST_PATH_IMAGE111
；
步骤34：当听到主端语音交互单元的语音提示发出请注视图像右下方的指令后，操作员眼球开始往最右下方移动，当注视停留在最右下方时间超过预定秒数后，则系统把人眼所能看到的最右下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 185688DEST_PATH_IMAGE112
；
步骤35：当听到主端语音交互单元的语音提示发出请注视图像右上方的指令后，操作员眼球开始往最右上方移动，当注视停留在最右上方时间超过预定秒数后，则系统把人眼所能看到的最右上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 57830DEST_PATH_IMAGE113
；
步骤36：统计计算瞳孔中心朝四个方向运动后的图像坐标，计算人眼所能观察到的图像的范围，记为
Figure 785614DEST_PATH_IMAGE114
，其中
Figure 539944DEST_PATH_IMAGE115
表示长度，
Figure 745797DEST_PATH_IMAGE116
表示宽度。
具体的，所述步骤4中建立瞳孔中心运动范围
Figure 534761DEST_PATH_IMAGE117
与图像显示单元的图像显示区域
Figure 902289DEST_PATH_IMAGE118
的映射关系，即视线点坐标提取算法的方法，具体为：
瞳孔中心运动范围
Figure 409494DEST_PATH_IMAGE114
与图像显示单元的图像显示区域
Figure 153459DEST_PATH_IMAGE119
具有数学上的函数映射关系，找到这个函数映射关系便能够快速精确的确定人眼当前所注视的目标点。
步骤41：在瞳孔中心运动范围
Figure 192DEST_PATH_IMAGE114
内及边界上均匀确定100个像素点的坐标
Figure 866517DEST_PATH_IMAGE120
，其中
Figure 533121DEST_PATH_IMAGE121
1,2,3...100；
步骤42：在图像显示单元的图像显示区域
Figure 143094DEST_PATH_IMAGE118
内及边界上均匀确定100个对应的像素点坐标
Figure 844334DEST_PATH_IMAGE122
,其中
Figure 615981DEST_PATH_IMAGE123
1,2,3...100；
步骤43：利用线性拟合算法对这100对坐标数据进行线性拟合，确定瞳孔中心运动范围
Figure 35461DEST_PATH_IMAGE114
与图像显示单元的图像显示区域
Figure 183546DEST_PATH_IMAGE118
对应坐标的函数关系式：
Figure 999012DEST_PATH_IMAGE124
Figure 879243DEST_PATH_IMAGE125
其中，
Figure 582757DEST_PATH_IMAGE126
，
Figure 472215DEST_PATH_IMAGE127
根据不同的用户以及系统初始化阶段进行设定；
步骤44：根据事先确定好的12个选取的坐标点与对应的12个坐标点的操作员的瞳孔中心图像坐标建立误差函数：
Figure 944785DEST_PATH_IMAGE128
，其中，
Figure 261497DEST_PATH_IMAGE129
。
建立如下需要满足的条件：
Figure 921148DEST_PATH_IMAGE130
；
步骤45：利用步骤44的条件，求解方程中各项的系数的最优值，得到各项系数的最优值后，便得到瞳孔中心运动范围
Figure 348719DEST_PATH_IMAGE114
与图像显示单元的图像显示区域
Figure 144636DEST_PATH_IMAGE119
对应坐标的函数关系，记为视线点坐标提取算法。
校准后，对机器人进行控制的方法如下，如图6所示，包括如下步骤：
S1：把模式选择按钮拨动到“运行”档位，建立主从端的无线网络通道，系统开始正式工作，并通过语音给予操作者提示；
S2：主端眼动追踪控制系统开始获取由从端机器人末端执行器的单目视觉传感器拍摄的图像输出显示在图像显示单元；
S3：当听到开始主端人机交互单元发出选取跟踪目标的语音提示时，红外摄像单元开始不断获取操作员的眼球信息；
S4：采集操作员的语音指令，判断是否把注视点
Figure 694566DEST_PATH_IMAGE131
作为待跟踪目标点，若是，则执行下一步；若否，则返回步骤S3；
S5：开启目标检测算法对此注视点
Figure 44776DEST_PATH_IMAGE131
进行图像处理，统计该幅图像的所有
像素点信息，建立局部颜色直方图
Figure 338354DEST_PATH_IMAGE132
，建立和计算基于该注视点的邻域相似性指标quota，从而识别和分割出与该注视点邻域相似的目标区域；
S6：计算目标区域的最左横坐标、最右横坐标、最上纵坐标和最下纵坐标，确定包裹目标区域的最小矩形；
S7：开启目标跟踪算法，并将S6中的最小矩形作为初始跟踪区域输入给目标跟踪算法，在跟踪目标过程中，实时计算该矩形边框的中心点坐标，记作特征点
Figure 723199DEST_PATH_IMAGE133
；
S8：将得到的图像特征点
Figure 444031DEST_PATH_IMAGE133
与图像中心坐标
Figure 547116DEST_PATH_IMAGE134
作比较，得到两者之间的一个误差，形成反馈信号,定义为图像特征误差
Figure 378806DEST_PATH_IMAGE135
；
S9：视觉伺服控制单元接收到图像特征误差
Figure 618157DEST_PATH_IMAGE136
之后，以误差均方差
Figure 713152DEST_PATH_IMAGE007
为目标函数，对于固定时间增量，使得目标函数最小化，可得：
Figure 100271DEST_PATH_IMAGE008
其中，
Figure 673335DEST_PATH_IMAGE137
，
Figure 95089DEST_PATH_IMAGE138
为复合图像雅各比矩阵，即
Figure 95406DEST_PATH_IMAGE139
。其中，
Figure 969821DEST_PATH_IMAGE080
为图像雅各比矩阵，
Figure 80997DEST_PATH_IMAGE140
为机械臂雅各比矩阵；
S10：目标函数最小化后，得到使得以误差均方差最小化为目标函数的机器人下一时刻的期望关节变量
Figure 357257DEST_PATH_IMAGE141
：
Figure 794055DEST_PATH_IMAGE142
；
S11：将机器人下一时刻的期望关节变量
Figure 93449DEST_PATH_IMAGE143
通过无线网络发送给从端机器人模块的滑模控制器,通过基于计算力矩法的滑模控制算法，计算各个关节需要的力矩
Figure 70632DEST_PATH_IMAGE144
；
S12：将步骤S10得到的各关节力矩
Figure 404662DEST_PATH_IMAGE144
传输到从端机器人模块的关节驱动器，驱动机器人朝着目标物体运动；
S13：采集操作员语音指令并判断是否开启武器装置，若是，则发起攻击，执行步骤S14；若否，则进一步采集操作员语音指令并判断是否取消目标；若是，则返回S3；若否，则返回S7;
S14：采集操作员语音指令判断是否结束，若是，则任务结束；若否，则返回步骤S3。
具体的，所述步骤S5中的目标检测算法，具体为：
S501：首先，选择RGB彩色空间作为该算法的颜色空间；
S502：然后，建立基于注视点
Figure 809098DEST_PATH_IMAGE131
处的局部颜色直方图
Figure 330209DEST_PATH_IMAGE145
，该直方图表示的是基于彩色图像RGB空间的三个颜色分量；
S503：统计关于
Figure 111084DEST_PATH_IMAGE131
点的
Figure 299619DEST_PATH_IMAGE041
近邻域的颜色特征。像素点
Figure 874957DEST_PATH_IMAGE131
的
Figure 148944DEST_PATH_IMAGE041
近邻域定义为，
Figure 405613DEST_PATH_IMAGE146
，其中，
Figure 510972DEST_PATH_IMAGE147
为图像中的两个近邻像素点。根据同一区域像素点之间的相似性大于不同区域像素点之间的相似性这个规则选取种子点，建立基于注视点
Figure 194894DEST_PATH_IMAGE131
的邻域相似性指标quota，定义为：
Figure 18494DEST_PATH_IMAGE044
其中，
Figure 813274DEST_PATH_IMAGE148
表示集合
Figure 38719DEST_PATH_IMAGE149
中所有元素的数目，
Figure 893543DEST_PATH_IMAGE150
其中，
Figure 142122DEST_PATH_IMAGE151
为像素点
Figure 802910DEST_PATH_IMAGE152
的局部颜色直方图，
Figure 820545DEST_PATH_IMAGE153
为像素点
Figure 908586DEST_PATH_IMAGE131
与像素点
Figure 378882DEST_PATH_IMAGE154
之间的欧氏距离，
Figure 843361DEST_PATH_IMAGE155
为设定的像素点颜色特征变化的阈值，
Figure 715502DEST_PATH_IMAGE155
为大于0的某一正数；
S504：当quota≥0.5时，认为像素点
Figure 177708DEST_PATH_IMAGE131
附近颜色变化缓慢，属于目标物体内部。当quota<0.5时，认为像素点
Figure 197616DEST_PATH_IMAGE131
周围颜色变化迅速，属于目标物体与背景之间的过渡区域；
S505：把quota≥0.5的像素点作为种子点，得到的所有种子点在
Figure 403470DEST_PATH_IMAGE041
近邻域内都具有生长的能力，把所有的像素点的相似性度量值小于
Figure 192434DEST_PATH_IMAGE155
的点归为一类，而不同目标的种子点会被两目标边缘点隔离，不会分为一类；
S506：得到生长完成的图像之后，分割和识别出基于该注视点邻域的目标物体的区域。
具体的，所述步骤S6中确定包裹目标区域的最小矩形的方法，具体为：
S601：提取并计算目标物体区域的最左边区域的像素点，记为
Figure 559962DEST_PATH_IMAGE156
；
S602：提取并计算目标物体区域的最下边区域的像素点，记为
Figure 67166DEST_PATH_IMAGE157
；
S603：提取并计算目标物体区域的最右边区域的像素点，记为
Figure 805272DEST_PATH_IMAGE158
；
S604：提取并计算目标物体区域的最上边区域的像素点，记为
Figure 652005DEST_PATH_IMAGE159
；
S605：得到四个目标物体区域的最左，下，右，上的像素点之后，计算并记录该目标最左、右像素点之差，即
Figure 518330DEST_PATH_IMAGE160
，作为该目标物体区域的最小长度，记为
Figure 184935DEST_PATH_IMAGE041
；计算并记录该目标最上、下像素点之差
Figure 794908DEST_PATH_IMAGE161
，作为该目标物体区域的最小宽度，记为
Figure 230568DEST_PATH_IMAGE162
；记包含该目标物体区域的最小范围为
Figure 267794DEST_PATH_IMAGE163
。
具体的，所述步骤S7中跟踪目标过程中，实时计算该矩形边框的中心点坐标的方法，具体为：
S701：计算该最小矩形边框的左上角的像素点，记为
Figure 421695DEST_PATH_IMAGE164
；
S702：计算该最小矩形边框的左下角的像素点，记为
Figure 569780DEST_PATH_IMAGE165
；
S703：计算该最小矩形边框的右下角的像素点，记为
Figure 125526DEST_PATH_IMAGE063
；
S704：计算该最小矩形边框的右上角的像素点，记为
Figure 536916DEST_PATH_IMAGE166
；
S705：计算该最小矩形边框的中心点坐标
Figure 240430DEST_PATH_IMAGE167
，作为该目标物体的图像特征点
Figure 129888DEST_PATH_IMAGE133
，即
Figure 602458DEST_PATH_IMAGE168
。
其中，
Figure 919170DEST_PATH_IMAGE068
，
Figure 109980DEST_PATH_IMAGE069
。
具体的，所述步骤S9中的以误差均方差
Figure 537550DEST_PATH_IMAGE007
为目标函数的最小化方法，具体为：
S901：定义误差均方差
Figure 130205DEST_PATH_IMAGE007
目标函数，将目标函数展开为关于微小增量
Figure 352239DEST_PATH_IMAGE169
的泰勒级数:
Figure 30345DEST_PATH_IMAGE071
其中，
Figure 261606DEST_PATH_IMAGE170
为关节角增量，
Figure 912031DEST_PATH_IMAGE171
为时间增量；
S902：略去上式右端高阶项。对于固定采样周期，使得目标函数最小化的条件为:
Figure 632862DEST_PATH_IMAGE074
也即：
Figure 470368DEST_PATH_IMAGE075
最终可得：
Figure 302058DEST_PATH_IMAGE172
令
Figure 806988DEST_PATH_IMAGE173
，其中
Figure 698721DEST_PATH_IMAGE138
为复合雅各比矩阵，即
Figure 23523DEST_PATH_IMAGE139
，其中，
Figure 658904DEST_PATH_IMAGE080
为图像雅各比矩阵，
Figure 18341DEST_PATH_IMAGE140
为机械臂雅各比矩阵。
可得
Figure 80975DEST_PATH_IMAGE170
中各项为：
Figure 893073DEST_PATH_IMAGE174
；
S903：当关节角增量为
Figure 66566DEST_PATH_IMAGE170
时，目标函数将沿期望方向变化，也即:
Figure 280509DEST_PATH_IMAGE175
其中
Figure 717307DEST_PATH_IMAGE176
时刻期望关节角增量。
综上，
Figure 282280DEST_PATH_IMAGE085
令
Figure 259464DEST_PATH_IMAGE177
，可得：
Figure 327914DEST_PATH_IMAGE178
；
S904：忽略掉
Figure 935613DEST_PATH_IMAGE179
项后，我们得到基于高斯牛顿法的加入比例因子的控制律：
Figure 784620DEST_PATH_IMAGE180
其中，
Figure 503177DEST_PATH_IMAGE181
可以用
Figure 488451DEST_PATH_IMAGE182
表示，称为复合图像雅可比矩阵的Moore-Penrose伪逆，且有
Figure 1472DEST_PATH_IMAGE183
,
Figure 337775DEST_PATH_IMAGE184
为加入的比例因子。
具体的，所述步骤S9中复合图像雅各比矩阵的求取涉及到一种眼在手机器人无标定视觉伺服控制的复合图像雅可比矩阵的Broyden在线更新方法，Broyden方法是拟牛顿法中求解雅克比矩阵的一种方法，该方法只在初始时刻计算复合图像雅克比矩阵，其后在每一步迭代过程中更新雅可比矩阵，具体为：
S911：对于眼在手机器人无标定视觉伺服控制系统，设该系统在
Figure 594444DEST_PATH_IMAGE185
时，达到期望位置附近，将误差
Figure 903066DEST_PATH_IMAGE186
在
Figure 649305DEST_PATH_IMAGE185
展开为泰勒级数:
Figure 410587DEST_PATH_IMAGE096
；
S912：因为在期望点附近，复合图像雅各比矩阵已经近似趋于不变了。所以可用上式计算系统在前一时刻的系统误差，即：
Figure 267685DEST_PATH_IMAGE097
S913：省略掉高阶项，可得：
Figure 165234DEST_PATH_IMAGE187
进一步合并整理得：
Figure 347953DEST_PATH_IMAGE099
其中，
Figure 330953DEST_PATH_IMAGE100
；
S914：将式：
Figure 991741DEST_PATH_IMAGE101
等式的两边分别减去：
Figure 9376DEST_PATH_IMAGE102
得：
Figure 97418DEST_PATH_IMAGE103
即：
Figure 567713DEST_PATH_IMAGE104
转置以后，整理得：
Figure 32193DEST_PATH_IMAGE105
；
S915：对于图像特征差
Figure 921912DEST_PATH_IMAGE106
给定初始关节角
Figure 180855DEST_PATH_IMAGE188
,初始复合雅可比矩阵
Figure 138447DEST_PATH_IMAGE189
,给出基于动态Broyden法雅各比矩阵在线更新算法：
Figure 141038DEST_PATH_IMAGE190
。
本具体实施方式还公开了一种电子设备，这种电子设备包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成所述的基于眼动追踪可穿戴设备的机器人远程控制方法中的步骤。
本具体实施方式还公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成所述的基于眼动追踪可穿戴设备的机器人远程控制方法中的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于多模态交互技术的机器人远程控制方法，其特征在于，
S1：通过模式选择按钮把模式选择按钮拨动到“运行”档位，建立主端多模态交互控制系统和从端机器人系统的无线网络通道，系统开始正式工作，并给予操作者语音提示；
S2：主端多模态交互控制系统开始获取机器人拍摄的图像，并通过图像显示单元进行显示；
S3：当听到主端多模态交互控制系统接收到开始选取跟踪目标的语音提示时，红外摄像单元开始不断获取操作员的眼球信息；
S4：采集操作员的语音指令，判断是否把注视点
Figure 726506DEST_PATH_IMAGE001
作为待跟踪目标点，若是，则执行下一步；若否，则返回步骤S3；
S5：开启目标检测算法对此注视点
Figure 806457DEST_PATH_IMAGE001
进行图像处理，统计该幅图像的所有像素点信息，建立局部颜色直方图
Figure 566603DEST_PATH_IMAGE002
，建立和计算基于该注视点的邻域相似性指标quota，从而识别和分割出与该注视点邻域相似的目标区域；
S6：计算目标区域的最左横坐标、最右横坐标、最上纵坐标和最下纵坐标，确定包裹目标区域的最小矩形；
S7：开启目标跟踪算法，并将S6中的最小矩形作为初始跟踪区域输入给目标跟踪算法，在跟踪目标过程中，实时计算该矩形边框的中心点坐标，记作特征点
Figure 568057DEST_PATH_IMAGE003
；
S8：将得到的图像特征点
Figure 501378DEST_PATH_IMAGE003
与图像中心坐标
Figure 966994DEST_PATH_IMAGE004
作比较，得到两者之间的一个误差，形成反馈信号,定义为图像特征误差
Figure 960358DEST_PATH_IMAGE005
；
S9：视觉伺服控制单元接收到图像特征误差
Figure 370479DEST_PATH_IMAGE006
之后，以误差均方差
Figure 107491DEST_PATH_IMAGE007
为目标函数，对于固定采样周期，使得目标函数最小化，可得：
Figure 162035DEST_PATH_IMAGE008
其中，
Figure 998404DEST_PATH_IMAGE009
，
Figure 974450DEST_PATH_IMAGE010
为复合图像雅各比矩阵，即
Figure 515153DEST_PATH_IMAGE011
，其中，
Figure 689782DEST_PATH_IMAGE012
为图像雅各比矩阵，
Figure 24949DEST_PATH_IMAGE013
为机械臂雅各比矩阵；
S10：目标函数最小化后，得到使得以误差均方差最小化为目标函数的机器人下一时刻的期望关节变量
Figure 409663DEST_PATH_IMAGE014
：
Figure 488477DEST_PATH_IMAGE015
；
S11：将机器人下一时刻的期望关节变量
Figure 517613DEST_PATH_IMAGE016
通过无线网络发送给从端机器人模块的滑模控制器,通过基于计算力矩法的滑模控制算法，计算各个关节需要的力矩
Figure 695784DEST_PATH_IMAGE017
；
S12：将步骤S10得到的各关节力矩
Figure 646423DEST_PATH_IMAGE017
传输到从端机器人模块的关节驱动器，驱动机器人朝着目标物体运动；
S13：采集操作员语音指令并判断是否开启武器装置，若是，则发起攻击，执行步骤S14；若否，则进一步采集操作员语音指令并判断是否取消目标；若是，则返回S3；若否，则返回S7;
S14：采集操作员语音指令判断是否结束，若是，则任务结束；若否，则返回步骤S3。
2.根据权利要求1所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
进入S1的运行模式之前，需要对主端多模态交互控制系统进行校准，校准步骤如下：
步骤1：拨动模式选择按钮到“校准”档位，开启校准程序，准备校准操作；
步骤2：开启红外摄像单元，当听到语音交互单元发出的语音提示后，人眼不断移动，红外摄像单元开始不断获取人的眼动信息，并通过一种瞳孔中心定位算法实时检测瞳孔中心的图像坐标；
步骤3：听到人机交互单元发出的语音提示后，开始让眼球根据语音提示移动，进而确定瞳孔中心运动范围；
步骤4：瞳孔中心运动范围确定后，建立瞳孔中心运动范围与图像显示单元的图像显示区域的映射关系。
3.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
所述步骤2中瞳孔中心定位算法的具体步骤为：
步骤21：对采集到的眼部图像进行预处理，首先，采用平均值法对眼部图像进行灰度化处理;然后，采用NL-Means算法对灰度化处理后的可能带有噪声干扰的眼部图像进行去噪处理；
步骤22：采用多大津算法对灰度化后的眼部图像进行二值化的处理，经多大津算法分割后便可得到比较精确的分割结果；
步骤23：对分割过后的眼部图像进行预过滤处理，由于组成瞳孔轮廓的像素点在一定范围内，利用这个已知条件可以对眼部图像的所有瞳孔轮廓进行筛选，当某个瞳孔轮廓的像素点在给定范围内时，则选为备用；当某个瞳孔轮廓的像素点不在给定范围内时，则过滤掉该轮廓；
步骤24：如果没有选为备用的瞳孔轮廓，则返回步骤21；如果有且仅有一个选为备用的瞳孔轮廓，则利用瞳孔中心定位算法对该瞳孔轮廓进行拟合，求解拟合过后的瞳孔轮廓的各个参数，计算瞳孔轮廓的中心；如果选为备用的瞳孔轮廓的数量超过一个，则执行下一步；
步骤25：利用瞳孔中心定位算法分别对每一个瞳孔轮廓拟合，将拟合得到的每个瞳孔轮廓的中心与对应瞳孔轮廓上各点进行标准差的计算，将计算得到的最小标准差的那个瞳孔轮廓作为最终的瞳孔轮廓，最终的瞳孔轮廓的中心作为瞳孔轮廓的中心。
4.根据权利要求2所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
步骤3中，确定瞳孔中心运动范围的具体步骤包括：
步骤31：当听到语音交互单元的语音提示发出开始眼动范围检测超过预定秒数后，主端多模态交互控制系统开始不断发出眼动范围检测指令；
步骤32：当听到语音交互单元的语音提示发出请注视图像左上方的指令后，操作员眼球开始往最左上方移动，当注视停留在最左上方时间超过预定秒数后，则系统把人眼所能看到的最左上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 325666DEST_PATH_IMAGE018
；
步骤33：当听到语音交互单元的语音提示发出请注视图像左下方的指令后，操作员眼球开始往最左下方移动，当注视停留在最左下方时间超过预定秒数后，则系统把人眼所能看到的最左下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 412571DEST_PATH_IMAGE019
；
步骤34：当听到语音交互单元的语音提示发出请注视图像右下方的指令后，操作员眼球开始往最右下方移动，当注视停留在最右下方时间超过预定秒数后，则系统把人眼所能看到的最右下方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 10911DEST_PATH_IMAGE020
；
步骤35：当听到语音交互单元的语音提示发出请注视图像右上方的指令后，操作员眼球开始往最右上方移动，当注视停留在最右上方时间超过预定秒数后，则系统把人眼所能看到的最右上方的像素点视为注视点，并把对应的瞳孔中心图像坐标记为
Figure 183266DEST_PATH_IMAGE021
；
步骤36：统计计算瞳孔中心朝四个方向运动后的图像坐标，计算人眼所能观察到的图像的范围，记为
Figure 666200DEST_PATH_IMAGE022
，其中
Figure 607612DEST_PATH_IMAGE023
表示长度，
Figure 393165DEST_PATH_IMAGE024
表示宽度。
5.根据权利要求4所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
步骤4中建立瞳孔中心运动范围
Figure 52816DEST_PATH_IMAGE022
与图像显示单元的图像显示区域
Figure 73862DEST_PATH_IMAGE025
的映射关系，即视线点坐标提取算法的方法，具体为：
步骤41：在瞳孔中心运动范围
Figure 135359DEST_PATH_IMAGE022
内及边界上均匀确定100个像素点的坐标
Figure 341081DEST_PATH_IMAGE026
，其中
Figure 222450DEST_PATH_IMAGE027
1,2,3...100；
步骤42：在图像显示单元的图像显示区域
Figure 47186DEST_PATH_IMAGE025
内及边界上均匀确定100个对应的像素点坐标
Figure 963190DEST_PATH_IMAGE028
,其中
Figure 90546DEST_PATH_IMAGE029
1,2,3...100；
步骤43：利用线性拟合算法对这100对坐标数据进行线性拟合，确定瞳孔中心运动范围
Figure 724789DEST_PATH_IMAGE022
与图像显示单元的图像显示区域
Figure 87637DEST_PATH_IMAGE025
对应坐标的函数关系式：
Figure 858147DEST_PATH_IMAGE030
Figure 405672DEST_PATH_IMAGE031
其中，
Figure 261633DEST_PATH_IMAGE032
，
Figure 428172DEST_PATH_IMAGE033
根据不同的用户以及系统初始化阶段进行设定；
步骤44：根据事先确定好的12个选取的坐标点与对应的12个坐标点的操作员的瞳孔中心图像坐标建立误差函数：
Figure 318767DEST_PATH_IMAGE034
，其中，
Figure 787926DEST_PATH_IMAGE035
，
建立如下需要满足的条件：
Figure 131183DEST_PATH_IMAGE036
；
步骤45：利用步骤44的条件，求解方程中各项的系数的最优值，得到各项系数的最优值后，便得到瞳孔中心运动范围
Figure 835834DEST_PATH_IMAGE022
与图像显示单元的图像显示区域
Figure 580936DEST_PATH_IMAGE025
对应坐标的函数关系，记为视线点坐标提取算法。
6.根据权利要求1所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
所述S5中的目标检测算法，具体为：
S501：选择RGB彩色空间作为该算法的颜色空间；
S502：建立基于注视点
Figure 470263DEST_PATH_IMAGE001
处的局部颜色直方图
Figure 300816DEST_PATH_IMAGE037
，该直方图表示的是基于彩色图像RGB空间的三个颜色分量；
S503：统计关于
Figure 809158DEST_PATH_IMAGE001
点的
Figure 674345DEST_PATH_IMAGE038
近邻域的颜色特征；像素点
Figure 485307DEST_PATH_IMAGE001
的
Figure 537576DEST_PATH_IMAGE038
近邻域定义为，
Figure 849609DEST_PATH_IMAGE039
，其中，
Figure 569303DEST_PATH_IMAGE040
为图像中的两个近邻像素点；根据同一区域像素点之间的相似性大于不同区域像素点之间的相似性这个规则选取种子点，建立基于注视点
Figure 800433DEST_PATH_IMAGE001
的邻域相似性指标quota，定义为：
Figure 339999DEST_PATH_IMAGE041
其中，
Figure 190143DEST_PATH_IMAGE042
表示集合
Figure 764344DEST_PATH_IMAGE043
中所有元素的数目，
Figure 245004DEST_PATH_IMAGE044
其中，
Figure 475128DEST_PATH_IMAGE045
为像素点
Figure 801067DEST_PATH_IMAGE046
的局部颜色直方图，
Figure 557671DEST_PATH_IMAGE047
为像素点
Figure 943653DEST_PATH_IMAGE001
与像素点
Figure 644761DEST_PATH_IMAGE048
之间的欧氏距离，
Figure 774391DEST_PATH_IMAGE049
为设定的像素点颜色特征变化的阈值，
Figure 385501DEST_PATH_IMAGE049
为大于0的某一正数；
S504：当quota≥0.5时，认为像素点
Figure 942385DEST_PATH_IMAGE001
附近颜色变化缓慢，属于目标物体内部，当quota<0.5时，认为像素点
Figure 881522DEST_PATH_IMAGE001
周围颜色变化迅速，属于目标物体与背景之间的过渡区域；
S505：把quota≥0.5的像素点作为种子点，得到的所有种子点在
Figure 814843DEST_PATH_IMAGE038
近邻域内都具有生长的能力，把所有的像素点的相似性度量值小于
Figure 483721DEST_PATH_IMAGE049
的点归为一类，而不同目标的种子点会被两目标边缘点隔离，不会分为一类；
S506：得到生长完成的图像之后，分割和识别出基于该注视点邻域的目标物体的区域。
7.根据权利要求1所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
在S6中确定包裹目标区域的最小矩形的方法，具体为：
S601：提取并计算目标物体区域的最左边区域的像素点，记为
Figure 273823DEST_PATH_IMAGE050
；
S602：提取并计算目标物体区域的最下边区域的像素点，记为
Figure 762573DEST_PATH_IMAGE051
；
S603：提取并计算目标物体区域的最右边区域的像素点，记为
Figure 709973DEST_PATH_IMAGE052
；
S604：提取并计算目标物体区域的最上边区域的像素点，记为
Figure 967779DEST_PATH_IMAGE053
；
S605：得到四个目标物体区域的最左，下，右，上的像素点之后，计算并记录该目标最左、右像素点之差，即
Figure 928782DEST_PATH_IMAGE054
，作为该目标物体区域的最小长度，记为
Figure 904828DEST_PATH_IMAGE038
；计算并记录该目标最上、下像素点之差
Figure 117635DEST_PATH_IMAGE055
，作为该目标物体区域的最小宽度，记为
Figure 229947DEST_PATH_IMAGE056
；记包含该目标物体区域的最小范围为
Figure 627431DEST_PATH_IMAGE057
；
在S7中跟踪目标过程中，实时计算该矩形边框的中心点坐标的方法，具体为：
S701：计算该最小矩形边框的左上角的像素点，记为
Figure 825194DEST_PATH_IMAGE058
；
S702：计算该最小矩形边框的左下角的像素点，记为
Figure 90959DEST_PATH_IMAGE059
；
S703：计算该最小矩形边框的右下角的像素点，记为
Figure 57778DEST_PATH_IMAGE060
；
S704：计算该最小矩形边框的右上角的像素点，记为
Figure 626162DEST_PATH_IMAGE061
；
S705：计算该最小矩形边框的中心点坐标
Figure 311222DEST_PATH_IMAGE062
，作为该目标物体的图像特征点
Figure 865831DEST_PATH_IMAGE003
，即
Figure 952736DEST_PATH_IMAGE063
；
其中，
Figure 692021DEST_PATH_IMAGE064
，
Figure 864377DEST_PATH_IMAGE065
。
8.根据权利要求1所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
在S9中的以误差均方差
Figure 471945DEST_PATH_IMAGE007
为目标函数的最小化方法，具体为：
S901：定义误差均方差
Figure 413356DEST_PATH_IMAGE007
目标函数，将目标函数展开为关于微小增量
Figure 323543DEST_PATH_IMAGE066
的泰勒级数:
Figure 983194DEST_PATH_IMAGE067
其中，
Figure 879606DEST_PATH_IMAGE068
为关节角增量，
Figure 941103DEST_PATH_IMAGE069
为时间增量；
S902：略去上式右端高阶项，对于固定采样周期，使得目标函数最小化的条件为:
Figure 756612DEST_PATH_IMAGE070
令
Figure 903560DEST_PATH_IMAGE071
，其中
Figure 852930DEST_PATH_IMAGE010
为复合雅各比矩阵，即
Figure 768934DEST_PATH_IMAGE011
，其中，
Figure 20923DEST_PATH_IMAGE012
为图像雅各比矩阵，
Figure 389588DEST_PATH_IMAGE013
为机械臂雅各比矩阵；
可得
Figure 627802DEST_PATH_IMAGE068
中各项为：
Figure 663891DEST_PATH_IMAGE072
；
S903：当关节角增量为
Figure 86783DEST_PATH_IMAGE068
时，目标函数将沿期望方向变化，也即:
Figure 942743DEST_PATH_IMAGE073
其中
Figure 233916DEST_PATH_IMAGE074
时刻期望关节角增量；
综上，
Figure 124512DEST_PATH_IMAGE075
令
Figure 718304DEST_PATH_IMAGE076
，可得：
Figure 61561DEST_PATH_IMAGE077
；
S904：忽略掉
Figure 641578DEST_PATH_IMAGE078
项后，得到基于高斯牛顿法的加入比例因子的控制律：
Figure 386680DEST_PATH_IMAGE079
其中，
Figure 151374DEST_PATH_IMAGE080
可以用
Figure 981926DEST_PATH_IMAGE081
表示，称为复合图像雅可比矩阵的Moore-Penrose伪逆，且有
Figure 614902DEST_PATH_IMAGE082
,
Figure 214510DEST_PATH_IMAGE083
为加入的比例因子。
9.根据权利要求8所述的基于多模态交互技术的机器人远程控制方法，其特征在于，
在S9中复合图像雅各比矩阵的求取涉及到一种眼在手机器人无标定视觉伺服控制的复合图像雅可比矩阵的Broyden在线更新方法，该方法只在初始时刻计算复合图像雅克比矩阵，其后在每一步迭代过程中更新雅可比矩阵，具体为：
S911：对于眼在手机器人无标定视觉伺服控制系统，设该系统在
Figure 150105DEST_PATH_IMAGE084
时，达到期望位置附近，将误差
Figure 467954DEST_PATH_IMAGE005
在
Figure 655353DEST_PATH_IMAGE084
展开为泰勒级数:
Figure 109468DEST_PATH_IMAGE085
；
S912：因为在期望点附近，复合图像雅各比矩阵已经近似趋于不变了，所以可用上式计算系统在前一时刻的系统误差，即：
Figure 215964DEST_PATH_IMAGE086
S913：省略掉高阶项，可得：
Figure 21109DEST_PATH_IMAGE087
进一步合并整理得：
Figure 995888DEST_PATH_IMAGE088
其中，
Figure 570088DEST_PATH_IMAGE089
；
S914：将式：
Figure 847486DEST_PATH_IMAGE090
等式的两边分别减去：
Figure 139927DEST_PATH_IMAGE091
得：
Figure 403549DEST_PATH_IMAGE092
即：
Figure 97836DEST_PATH_IMAGE093
转置以后，整理得：
Figure 546135DEST_PATH_IMAGE094
；
S915：对于图像特征差
Figure 60293DEST_PATH_IMAGE095
给定初始关节角
Figure 455502DEST_PATH_IMAGE096
,初始复合雅可比矩阵
Figure 191245DEST_PATH_IMAGE097
,给出基于动态Broyden法雅各比矩阵在线更新算法：
Figure 748129DEST_PATH_IMAGE098
。
CN202111394448.2A 2021-11-23 2021-11-23 基于多模态交互技术的机器人远程控制系统及控制方法 Active CN113821108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111394448.2A CN113821108B (zh) 2021-11-23 2021-11-23 基于多模态交互技术的机器人远程控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111394448.2A CN113821108B (zh) 2021-11-23 2021-11-23 基于多模态交互技术的机器人远程控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN113821108A CN113821108A (zh) 2021-12-21
CN113821108B true CN113821108B (zh) 2022-02-08

Family

ID=78919745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111394448.2A Active CN113821108B (zh) 2021-11-23 2021-11-23 基于多模态交互技术的机器人远程控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN113821108B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078000B (zh) * 2019-11-18 2023-04-28 中北大学 一种根据眼行为特征进行眼机交互的方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN111012301A (zh) * 2019-12-19 2020-04-17 北京理工大学 一种头戴式目视精确瞄准系统
CN111290575A (zh) * 2020-01-21 2020-06-16 中国人民解放军空军工程大学 一种防空反导武器的多通道交互控制系统
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838378B (zh) * 2014-03-13 2017-05-31 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN106373146B (zh) * 2016-10-27 2019-02-15 南京航空航天大学 一种基于模糊学习的目标跟踪方法
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN109955250A (zh) * 2019-01-21 2019-07-02 中国船舶重工集团公司第七一六研究所 应用于工业机器人的追踪与实时避障反应规划算法
CN109933272A (zh) * 2019-01-31 2019-06-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态深度融合机载座舱人机交互方法
CN111767785A (zh) * 2020-05-11 2020-10-13 南京奥拓电子科技有限公司 人机交互控制方法及装置、智能机器人及存储介质
CN112405530B (zh) * 2020-11-06 2022-01-11 齐鲁工业大学 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN111012301A (zh) * 2019-12-19 2020-04-17 北京理工大学 一种头戴式目视精确瞄准系统
CN111290575A (zh) * 2020-01-21 2020-06-16 中国人民解放军空军工程大学 一种防空反导武器的多通道交互控制系统
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置

Also Published As

Publication number Publication date
CN113821108A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
US10380763B2 (en) Hybrid corner and edge-based tracking
WO2020125499A1 (zh) 一种操作提示方法及眼镜
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN107813310A (zh) 一种基于双目视觉多手势机器人控制方法
CN106780542A (zh) 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
WO2023071964A1 (zh) 数据处理方法, 装置, 电子设备及计算机可读存储介质
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN112083800B (zh) 基于自适应手指关节规则滤波的手势识别方法及系统
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN106055104A (zh) 用于为跟踪器提供快照实况调查系统的方法及装置
CN110658916A (zh) 目标跟踪方法和系统
EP3047454A1 (en) 3d reconstruction
CN113821108B (zh) 基于多模态交互技术的机器人远程控制系统及控制方法
CN109255329A (zh) 确定头部姿态的方法、装置、存储介质和终端设备
CN109785373A (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN106618479B (zh) 瞳孔追踪系统及其方法
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN113822251B (zh) 基于双目视觉的地面侦察机器人手势控制系统及控制方法
CN115410233A (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN109872343B (zh) 弱纹理物体姿态跟踪方法、系统及装置
CN113408443A (zh) 基于多视角图像的手势姿态预测方法及系统
CN108469729A (zh) 一种基于rgb-d信息的人体目标识别与跟随方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant