CN112650393A - 头戴式遥操作控制设备 - Google Patents

头戴式遥操作控制设备 Download PDF

Info

Publication number
CN112650393A
CN112650393A CN202011548282.0A CN202011548282A CN112650393A CN 112650393 A CN112650393 A CN 112650393A CN 202011548282 A CN202011548282 A CN 202011548282A CN 112650393 A CN112650393 A CN 112650393A
Authority
CN
China
Prior art keywords
head
operator
control
assembly
biological information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011548282.0A
Other languages
English (en)
Inventor
杨子健
贾媛
唐侃
李慧娟
彭清华
张�浩
王昱天
周砚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Innovation Patent Investment Center LP
Aerospace Times Electronic Technology Co ltd
Original Assignee
Beijing Aerospace Innovation Patent Investment Center LP
Aerospace Times Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Innovation Patent Investment Center LP, Aerospace Times Electronic Technology Co ltd filed Critical Beijing Aerospace Innovation Patent Investment Center LP
Priority to CN202011548282.0A priority Critical patent/CN112650393A/zh
Publication of CN112650393A publication Critical patent/CN112650393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本说明书提供一种头戴式遥操作控制设备，包括：显示输出组件、头部生物信息采集装置，和控制芯片，控制芯片用于：将接收到的预设周期内的各个源特征信号转换为对应生物信息源的行为向量；根据行为向量和对应源的特征向量确定行为向量在模糊可测空间的坐标区间，根据坐标区间和对应源的隶属度函数计算隶属度向量；将各个源对应的隶属度向量输入指令预测神经网络模型，得到输出指令。采用本说明书提供的头戴式遥操作控制设备，操作人员可以在观察显示输出组件输出的图像信息而处在临场感觉，同时输出各种控制指令而无需感知控制端各种控制组件的位置，提高了控制指令输出效率。

Description

头戴式遥操作控制设备
技术领域
本说明书涉及遥操作设备技术领域，具体涉及一种头戴式遥操作控制设备。
背景技术
遥操作机器人主要用于各种危险性场合，诸如在军事领域实现高危险物的搜索、转移和销毁任务，在工业运维领域完成特殊场合的运维和仪器设备操作等工作。目前，遥操作机器人工作时，操作人员需要采用采用控制端的操控组件触发生成控制指令；而当前的操控组件多为按钮、摇杆、推杆、踏板或者触摸屏等常规组件。
此外，遥操作控制端向用户提供沉浸式场景，实现用户的临场感；但是用户临场感的增加使得用户对控制端的感知能力减弱；而采用按钮、摇杆等常规组件控制方式需要用户在临场环境和控制端真实环境的切换，如此增加了用户的操作负担、降低了指令触发效率。
发明内容
本说明书提供一种头戴式遥操作控制设备，包括：
头盔组件，用于使所述控制设备佩戴于操作人员的头部；
显示输出组件，安装在所述头盔组件上，用于输出由执行端传输至所述控制设备的远程状态信息；
头部生物信息采集装置，用于生成对应类型的源特征信号；各种所述头部生物信息采集装置均安装在所述头盔组件上；
控制芯片，用于：将接收到的预设周期内的各个源特征信号转换为对应生物信息源的行为向量；
根据行为向量和对应源的特征向量确定行为向量在模糊可测空间的坐标区间，根据所述坐标区间和对应源的隶属度函数计算隶属度向量；
将各个源对应的隶属度向量输入指令预测神经网络模型，得到输出指令；
以及用于向所述显示输出组件提供显示驱动信号。
可选地，所述头部生物信息采集装置包括用眼动组件；
所述眼动组件设置在所述显示输出组件靠近操作人员头部的一侧，用于检测操作人员的眼动特征，生成眼动特征信号。
可选地，所述头部生物信息采集装置包括脑电电极；
所述脑电电极用于贴合操作人员头部皮肤而检测操作人员的脑电特征，生成脑电特征信号。
可选地，所述脑电电极包括用于抵靠操作人员额部皮肤的第一电极，以及用于抵靠操作人员的耳部周围的皮肤的第二电极。
可选地，所述头部生物信息采集装置包括拾音器；
所述拾音器用于采集操作人员的声音，生成声音特征信号。
可选地，所述显示输出组件为双目视觉输出组件，包括两个独立的输出显示屏，以及实现操作人员双眼视场隔离的隔离部件。
可选地，所述显示输出组件还用于各种控制指令的输出状态。
可选地，包括背包组件；
所述控制芯片安装在所述背包组件上的设备板卡上；
所述显示输出组件和各个所述头部生物信息采集装置分别通过对应的数据接口与所述板卡连接。
可选地，还包括设置在所述背包组件中、用于实现与执行端通信的无线通信部件；所述无线通信部件与所述控制芯片的数据通信。
可选地，还包括扬声器；所述扬声器也用于输出由执行端传输至所述控制设备的远程状态信息。
采用本说明书提供的头戴式遥操作控制设备的情况下，操作人员可以在观察显示输出组件输出的图像信息而处在临场感觉的情况下，同时输出各种控制指令而无需感知控制端各种控制组件的位置，也就是操作人员无需在临场感觉和真实场景感觉之间进行感觉切换，继而提高了控制指令输出效率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
图1是实施例提供的头戴式遥操作控制设备的爆炸结构示意图；
图2是控制芯片生成控制指令的流程图；
其中：11-头盔组件，111-周向箍部，112-顶部半箍部，12-显示输出组件，13-生物信息源采集装置，131-眼动组件，132-脑电电极，133-拾音器。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明实施例提供一种头戴式遥操作控制设备，用于在操作人员处在临场感环境下能够方便地输出各种控制指令。
图1是实施例提供的头戴式遥操作控制设备的爆炸结构示意图。如图1所示，本实施例中的控制设备包括头盔组件11、显示输出组件12、生物信息源采集装置13；另外，控制设备还包括控制芯片(图中未示出)。
头盔组件11用于使得控制设备佩戴于操作人员的头部。如图1所示，本实施例中的头盔组件11采用周向箍部111和顶部半箍部112，利用周向箍部111和顶部半箍部112实现定位功能，使得控制设备能够稳固地佩戴在操作人员的头部，并保证操作人员在执行各种动作时控制设备并不相对操作人员头部发生晃动。
显示输出组件12用于通过图像显示的方式，向用户输出执行端传输至控制设备的远程状态信息。显示输出组件12安装在头盔组件11的前部，能够直接将显示输出信息呈现在操作人员的眼前。具体应用中，为了提高操作人员的临场感觉，显示输出组件12为双目视觉输出组件，其包括两个独立地输出显示屏；两个独立的输出显示屏用于分别显示远程执行端的双目摄像头分别采集的图像信息；另外显示输出组件12还包括用于实现操作人员双眼视场隔离的隔离部件。在隔离部件的隔离限制下，操作人员的两个眼睛分别获取不同的图像，随后操作人员通过大脑的自适应处理形成三维场景图像，而提高临场感。
生物信息源采集装置13也安装在头盔组件11上，用于采集操作人员头部相应类型的行为特征，生成源特征信号。实际应用中，操作人员的特定的行为特征和特定的控制指令建立对应关系，后续处理过程中根据源特征信号可以确定对应的控制指令。
实际应用中，操作人员头部的行为特征包括眼部动作、脑电信号、声音等(当然也包括诸如口部动作、耳部动作，但是考虑到此类动作很少与操作人员的理性思考直接关联，因此本实施例中并不考虑此类生物特征)。对应的，头戴式遥操作控制设备中的生物信息源采集装置13至少包括眼动组件131、脑电电极132和拾音器133中的至少一种。
本说明实施例提供的设备中，为了尽可能的形成各种控制方式的组合，以及能够校验相关指令信息输出的可靠性，生物信息源采集装置13包括前述的眼动组件131、脑电电极132和拾音器133。
本实施例中，眼动组件131设置在显示输出组件12靠近操作人员头部的一侧，用于检测操作人员的眼动特征，生成眼动特征信号，并将眼动特征信号发送给控制芯片。如图1所示，本实施例中，眼动组件131包括两个子采集组件，两个子采集组件分别设置在操作人员的双眼前侧对应的位置，分别用于采集用户两个眼睛的眼动特征。本实施例中，为了避免对操作人员观看显示输出组件12输出的图像造成干扰，两个子采集组件的中间区域均设置有通孔，并且通孔的尺寸保证不会对操作人员的正常视场造成影响。
本实施例中，脑电电极132用于贴合操作人员头部皮肤而检测操作人员输出的脑电特征而生成脑电特征信号，并将脑电特征信号发送给控制芯片。如图1所示，本实施例中的脑电电极132包括第一电极和两个第二电极。第一电极设置在头盔组件11的前部，用于贴合操作人员的头部皮肤；第二电极设置在头盔组件11的两侧侧部，用于抵靠操作人员耳部周围的皮肤。实际应用中，第一电极和第二电极分别生成独立的脑电特征信号，独立的脑电特征信号可以用于对用户的脑电特征进行校验。
本实施例中，拾音器133设置在头盔组件11的前侧侧部，用于采集操作人员的声音，生成声音特征信号，并将声音特征信号发送给控制芯片。
控制芯片用于对前述各种的源特征信号(眼动特征信号、脑电特征信号和声音特征信号)进行处理，生成控制指令。
图2是控制芯片生成控制指令的流程图。如图2所示，为生成控制指令，控制芯片的处理过程包括步骤S101-S104。
S101：将接受到的预设周期内的各个源特征信号转换为对应生物信息源的行为向量。
步骤S101中，为了形成相应的行为向量，控制芯片首先对接受到的源特征信号进行模数转换，并对模数转换后的数据进行特征提取，而得到对应的行为向量。
S102：根据行为向量和对应源的特征向量确定对行为向量在模糊可测空间中坐标区间。
在一个应用中，可以采用公式
Figure BDA0002856277550000061
计算行为向量在模糊可测空间中的坐标。其中
Figure BDA0002856277550000062
为行为向量；
Figure BDA0002856277550000063
为特征向量。
与前述公式对应的，各个控制指令对应的各个生物信息源行为特征均对应一个模糊可测空间[0,1]中的隶属度函数，此隶属度函数表示了在坐标区间中各个坐标点，行为特征隶属于某一特定行为特征的程度。
本实施例中，各个源的特征向量通过对操作人员的行为特征进行统计处理获得。具体的，可以对各个生物特征源的行为特征进行大量的采样处理，获得采样样本，并且各个采样样本都和相应的操作指令对应。随后，采用距离分析方法处理大量的采样样本，确定与各个操作指令对应的聚类样本；最后，根据聚类样本确定对应各个操作指令的特征向量。
S103：根据坐标区间和对应源的隶属度函数计算隶属度向量。
步骤S103中，隶属度函数是对操作人员的行为特征进行分析，根据分析数据和经验确定的分布函数。每个生物信息源均包括对不同行为特征的隶属度函数；根据隶属度函数和坐标区间计算隶属度向量的过程，是以坐标区间为积分区间进行积分的过程。计算得到的隶属度向量对应了每个生物信息源在统计周期内与各个控制指令对应的特性。
S104：将各个源对应的隶属度向量输入到指令预测神经网络模型，得到输出指令。
步骤S104中指令预测神经网络模型采用步骤S201-S206实现。
S201：建立各个生物信息源行为特征与控制指令的对应规则。
S202：基于对应规则训练操作人员，获取每个控制指令对应的各个生物信息源行为特征的特征向量。
步骤S202中，获取各个控制指令对应的各个生物信息源行为特征的特征向量，是确定与各个控制指令相关联的典型生物信息源行为特征，并对典型生物信息源行为特征进行处理而获得特征向量的过程。
例如，为了获得各个控制指令对应的眼动行为特征，则采集操作人员为表示相应的控制指令的眼动动作，进行相应的处理确定其特征向量。
S203：获取一个采样周期内各个生物信息源的行为特征，并计算各个生物信息源对应的行为向量；以及获取第一时间时操作人员表示行为特征欲表示的控制指令。
S204：根据生物信息源的行为向量，以及生物信息源行为特征对应各个控制指令的特征向量，计算行为向量在模糊可测空间中的坐标。
在一个应用中，可以采用公式
Figure BDA0002856277550000071
计算行为向量在模糊可测空间中的坐标。其中
Figure BDA0002856277550000072
为行为向量；
Figure BDA0002856277550000073
为特征向量。
与前述公式对应的，各个控制指令对应的各个生物信息源行为特征均对应一个模糊可测空间[0,1]中的隶属度函数，此隶属度函数表示了在坐标区间中各个坐标点，行为特征隶属于某一特定行为特征的程度。
S205：根据生物信息源行为特征对应各个控制指令的隶属函数，以及坐标计算第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，组成各个生物新源在第一时间内行为特征对应的隶属度向量。
应当注意的是，为了能够在后续步骤中实现模型训练，需要针对大量的操作人员的动作执行步骤S203-S205的步骤，以获取足够的训练样本。
S206：将第一时间对应的隶属度向量和操作人员欲表示的控制指令作为输入，训练模糊神经网络模型，得到基于多元素生物信息确定输出指令的模型。
本实施例中，对模糊神经网络模型进行训练的过程是将部分各个第一时间对应的隶属度向量和操作人员欲表示的控制指令作为输入数据，将另外部分数据作为验证数据，求算模糊神经网络各个节点之间参数的过程。
本实施例中，步骤S206采用的神经网络模型为五层，包括操控行为输入层、模糊化层、模糊规则层、去模糊化层和输出层。其中，模糊化层包括采用的生物信息源数量相同的节点，去模糊化层包括与控制指令数量相同的节点。
本实施例中，采用
Figure BDA0002856277550000081
作为模糊练成算子，实现从模糊化层节点到模糊规则层节点的模糊运算，采用
Figure BDA0002856277550000082
作为去模糊化算子，实现从模糊规则层到去模糊化层的运算，采用yo＝max{y1,...yi,...yn}实现从去模糊化层到输出层的运算而确定输出指令。本说明书实施例中，为了减小模型训练的难度，可以采用基于混度隶属群优化算法初始化和调整模糊神经网络模型的参数，以实现模型参数的快速运算。混沌离子群算法作为群体智能启发式优化算法，其结构简单，同时其借鉴遗传算法的变异的思想，引入变异粒子以一定的概率重新初始化粒子，有效改善局部最优。另外，在粒子群算法的基础上，通过引入混度因素，使得模型参数处陷入局部最优的情况下，依然能够保有跳出训练的能力，继而通过大量迭代实现全局最优，确定模糊神经网络模型的最优参数。
采用前述的步骤S101-S104后，控制芯片即可以确定输出指令。另外，控制芯片还用于向显示输出组件12提供显示驱动信号。
通过前述的分析可知，在采用本实施例中的头戴式遥操作控制设备的情况下，操作人员可以在观察显示输出组件12输出的图像信息而处在临场感觉的情况下，同时输出各种控制指令而无需感知控制端各种控制组件的位置，也就是操作人员无需在临场感觉和真实场景感觉之间进行感觉切换，继而提高了控制指令输出效率。
本实施例中，显示输出组件12除了输出远程执行端输出的图像信号外，还用于显示各种控制指令的输出状态；控制指令是输出状态优选地在显示数据组件输出图像的边缘显示。更为优选地，控制指令的显示位置和对应的眼动特征信息进行关联，当用户查看相应的控制指令时，相应的眼动特征也直接和此控制指令关联。
本说明书实施例中，头戴式遥操作控制设备需要操作人员佩戴在头部，实际应用中需要尽可能地减小头戴部件的重量；因为需要处理大量的数据，控制芯片工作时会产生大量的热量，并需要消耗加多的电能。综合考虑，本实施例中的控制芯片并没有安装在头盔组件11上；对应的，控制芯片包括背包组件，背包组件内设置有设备板卡、供电电源和无线通信部件；控制芯片安装在设备板卡上，通过设备板卡上的数据接口与显示组件、各个头部生物信息采集装置连接；另外无线通信组件也安装在设备板卡上，实现与控制芯片的数据通信。
另外，本实施例中的头戴式遥操作控制设备还可以包括扬声器。扬声器可以用于输出由执行端传输至控制设备的远程状态信息以及其他的各种声音信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种头戴式遥操作控制设备，其特征在于，包括：
头盔组件，用于使所述控制设备佩戴于操作人员的头部；
显示输出组件，安装在所述头盔组件上，用于输出由执行端传输至所述控制设备的远程状态信息；
头部生物信息采集装置，用于生成对应类型的源特征信号；各种所述头部生物信息采集装置均安装在所述头盔组件上；
控制芯片，用于：将接收到的预设周期内的各个源特征信号转换为对应生物信息源的行为向量；
根据行为向量和对应源的特征向量确定行为向量在模糊可测空间的坐标区间，根据所述坐标区间和对应源的隶属度函数计算隶属度向量；
将各个源对应的隶属度向量输入指令预测神经网络模型，得到输出指令；
以及用于向所述显示输出组件提供显示驱动信号。
2.根据权利要求1所述的设备，其特征在于：
所述头部生物信息采集装置包括用眼动组件；
所述眼动组件设置在所述显示输出组件靠近操作人员头部的一侧，用于检测操作人员的眼动特征，生成眼动特征信号。
3.根据权利要求1所述的设备，其特征在于：
所述头部生物信息采集装置包括脑电电极；
所述脑电电极用于贴合操作人员头部皮肤而检测操作人员的脑电特征，生成脑电特征信号。
4.根据权利要求3所述的设备，其特征在于：
所述脑电电极包括用于抵靠操作人员额部皮肤的第一电极，以及用于抵靠操作人员的耳部周围的皮肤的第二电极。
5.根据权利要求1所述的设备，其特征在于：
所述头部生物信息采集装置包括拾音器；
所述拾音器用于采集操作人员的声音，生成声音特征信号。
6.根据权利要求1所述的设备，其特征在于：
所述显示输出组件为双目视觉输出组件，包括两个独立的输出显示屏，以及实现操作人员双眼视场隔离的隔离部件。
7.根据权利要求6所述的设备，其特征在于：
所述显示输出组件还用于各种控制指令的输出状态。
8.根据权利要求1-7任一项所述的设备，其特征在于：
包括背包组件；
所述控制芯片安装在所述背包组件上的设备板卡上；
所述显示输出组件和各个所述头部生物信息采集装置分别通过对应的数据接口与所述板卡连接。
9.根据权利要求8所述的设备，其特征在于：
还包括设置在所述背包组件中、用于实现与执行端通信的无线通信部件；所述无线通信部件与所述控制芯片的数据通信。
10.根据权利要求1-7任一项所述的设备，其特征在于：
还包括扬声器；所述扬声器也用于输出由执行端传输至所述控制设备的远程状态信息。
CN202011548282.0A 2020-12-23 2020-12-23 头戴式遥操作控制设备 Pending CN112650393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011548282.0A CN112650393A (zh) 2020-12-23 2020-12-23 头戴式遥操作控制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011548282.0A CN112650393A (zh) 2020-12-23 2020-12-23 头戴式遥操作控制设备

Publications (1)

Publication Number Publication Date
CN112650393A true CN112650393A (zh) 2021-04-13

Family

ID=75359893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011548282.0A Pending CN112650393A (zh) 2020-12-23 2020-12-23 头戴式遥操作控制设备

Country Status (1)

Country Link
CN (1) CN112650393A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116037522A (zh) * 2022-12-08 2023-05-02 广东电网有限责任公司广州供电局 基于头戴式遥操作控制设备的显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105480229A (zh) * 2015-11-24 2016-04-13 大连楼兰科技股份有限公司 一种基于信息融合的智能变道辅助系统及其方法
CN109634407A (zh) * 2018-11-08 2019-04-16 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
CN110412996A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和眼动的无人机操控方法、装置和系统
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105480229A (zh) * 2015-11-24 2016-04-13 大连楼兰科技股份有限公司 一种基于信息融合的智能变道辅助系统及其方法
CN109634407A (zh) * 2018-11-08 2019-04-16 中国运载火箭技术研究院 一种基于多模人机传感信息同步采集与融合的控制方法
CN110412996A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和眼动的无人机操控方法、装置和系统
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116037522A (zh) * 2022-12-08 2023-05-02 广东电网有限责任公司广州供电局 基于头戴式遥操作控制设备的显示装置
CN116037522B (zh) * 2022-12-08 2024-05-31 广东电网有限责任公司广州供电局 基于头戴式遥操作控制设备的显示装置

Similar Documents

Publication Publication Date Title
WO2021082749A1 (zh) 一种基于人工智能的动作识别方法和相关装置
US10342428B2 (en) Monitoring pulse transmissions using radar
CN102566523B (zh) 管家机器人及基于管家机器人的网络控制系统
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN107909061B (zh) 一种基于不完备特征的头部姿态跟踪装置及方法
US11481030B2 (en) Methods and apparatus for gesture detection and classification
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
CN112990074A (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
CN110083202A (zh) 与近眼显示器的多模交互
CN110688910B (zh) 一种可穿戴人体基本姿态识别的实现方法
Wang et al. Intelligent wearable virtual reality (VR) gaming controller for people with motor disabilities
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
CN106687888A (zh) 控制设备、控制方法和程序
US11281293B1 (en) Systems and methods for improving handstate representation model estimates
US20230022327A1 (en) Method for determining wearing status of wireless earphone and related apparatus
CN112650393A (zh) 头戴式遥操作控制设备
CN116572260A (zh) 基于人工智能生成内容的情感交流陪护养老机器人系统
KR20110070514A (ko) 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법
CN109711477A (zh) 一种自动驾驶模型的训练方法及装置
CN111566597A (zh) 信息处理设备、信息处理方法和程序
CN207888651U (zh) 一种基于动作融合的机器人示教系统
CN108766127A (zh) 手语交互方法、设备、装置和存储介质
US11829519B1 (en) Systems, methods, and apparatuses for a wearable control device to facilitate performance of manufacturing and various motor tasks
CN114416237A (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
US11281015B2 (en) Electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination