CN113180894A - 基于视觉智能的多重障碍者的手眼协同方法及装置 - Google Patents

基于视觉智能的多重障碍者的手眼协同方法及装置 Download PDF

Info

Publication number
CN113180894A
CN113180894A CN202110458607.4A CN202110458607A CN113180894A CN 113180894 A CN113180894 A CN 113180894A CN 202110458607 A CN202110458607 A CN 202110458607A CN 113180894 A CN113180894 A CN 113180894A
Authority
CN
China
Prior art keywords
information
intelligent
user
acquiring
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110458607.4A
Other languages
English (en)
Other versions
CN113180894B (zh
Inventor
卜佳俊
章越清
于智
顾静军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110458607.4A priority Critical patent/CN113180894B/zh
Publication of CN113180894A publication Critical patent/CN113180894A/zh
Application granted granted Critical
Publication of CN113180894B publication Critical patent/CN113180894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control

Abstract

本发明提供了一种基于视觉智能的多重障碍者的手眼协同方法，包括：通过助盲眼镜获取用户前方图像画面进行成像；获取用户的指令信息；依据指令信息获取目标物品信息；对智能义肢以及目标物品信息所对应的物品进行定位；依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动，从而实现了多重障碍者对智能义肢的使用需求。本发明还包括实现上述基于视觉智能的多重障碍者的手眼协同方法的装置。

Description

基于视觉智能的多重障碍者的手眼协同方法及装置
技术领域
本发明涉及义肢辅助领域，具体涉及一种基于视觉智能的多重障碍者的手眼协同方法及装置。
背景技术
目前，国内外的义肢设备都需要借助义肢使用者的视觉来辅助进行义肢手的抓握、旋转等一系列的动作，从而实现写字、喝水、吃饭等基本日常活动。对于多重功能障碍者而言，由于视觉功能的丧失或是存在缺陷，加上前臂障碍，佩戴义肢后几乎无法感知义肢手的空间位置、抓握的触觉和接触物体的温度等信息，也就几乎无法操控义肢完成相应的动作。
如何解决上述问题，是目前亟待解决的。
发明内容
本发明的目的是提供一种基于视觉智能的多重障碍者的手眼协同方法及装置。
为了解决上述技术问题，本发明提供了一种基于视觉智能的多重障碍者的手眼协同方法，包括：
S1.通过助盲眼镜获取用户前方图像画面进行成像；
S2.获取用户的指令信息；
S3.依据指令信息获取目标物品信息；
S4.对智能义肢以及目标物品信息所对应的物品进行定位；
S5.依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
进一步的，步骤S1包括：
S11.通过双目摄像头试试采集用户图像画面；
S12.对图像画面中的抖动误差进行消除；
S13.根据前后多帧图像的三维空间变化计算出物品的边缘轮廓；
S14.获取边缘轮廓的特征向量；
S15.将特征向量与真实向量进行相似度判断，对物品进行分类；
S16.将分类好的物品在空间中的坐标位置进行定位完成成像。
优选地，步骤S3包括：
S31.筛选出指令信息对应的物品分类；
S32.将对应分类的物品进行标记并向用户反馈；
S33.接收确认信息并获取目标物品信息。
优选地，步骤S4包括：
S41.确定智能义肢以及目标物品信息对应的物品在空间中的相对空间位置关系；
S42.依据像素距离计算出目标物品信息对应的物品与智能义肢之间的相对距离；
S43.将空间位置关系以及相对距离发送至移动计算单元。
优选地，步骤S5包括：
S51.计算空间中所有物品的空间位置关系；
S52.以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线；
S53.依据机械手行径路线控制智能义肢进行移动。
进一步的，S5所述的在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：
S54.依据智能义肢当前行经路线与机械手预设行径路线计算偏离系数；
S55.若偏离系数大于预设值时，发出第一提示信息。
进一步的，步骤S5所述的在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：
S56.检测目标物品信息所对应的的物品的倾斜角以及旋转角；
S57.若倾斜角大于预设值和/或旋转角大于预设值时，发出第二提示信息。
本发明还提供了实施前述的一种基于视觉智能的多重障碍者的手眼协同方法的装置，所述装置包括：
画面获取模块，适于通过助盲眼镜获取用户前方图像画面进行成像；
指令获取模块，适于获取用户的指令信息；
计算模块，适于依据指令信息获取目标物品信息；
定位模块，适于对智能义肢以及目标物品信息所对应的物品进行定位；
移动模块，适于依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令内的权限管理装置的处理器执行时实现如上述述的基于视觉智能的多重障碍者的手眼协同方法。
本发明还提供了一种电子设备，包括存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现如上述的基于视觉智能的多重障碍者的手眼协同方法。
本发明的有益效果是，本发明提供了一种基于视觉智能的多重障碍者的手眼协同方法及装置，其中，基于视觉智能的多重障碍者的手眼协同方法通过助盲眼镜获取用户前方图像画面进行成像；获取用户的指令信息；依据指令信息获取目标物品信息；对智能义肢以及目标物品信息所对应的物品进行定位；依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动，从而实现了多重障碍者对智能义肢的使用需求。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明所提供的基于视觉智能的多重障碍者的手眼协同方法的流程图。
图2是本发明所提供的基于视觉智能的多重障碍者的手眼协同装置的原理框图。
图3是本发明所提供的电子设备的部分原理框图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
请参阅图1，本发明实施例提供了一种基于视觉智能的多重障碍者的手眼协同方法，实现了多重障碍者对智能义肢的使用需求。
具体的，所述方法包括：
S110:通过助盲眼镜获取用户前方图像画面进行成像；
具体来说，步骤S110包括以下子步骤：
S111：通过双目摄像头试试采集用户图像画面。
其中，双目摄像头设置于助盲眼镜上，用户在使用时，需要完成戴助盲眼镜和智能义肢设备并连接移动计算单元等操作。其中，助盲眼镜采与移动计算单元采用移动数据流量进行连接，满足用户在无WiFi环境下的使用。
S112：对图像画面中的抖动误差进行消除；
具体来说，利用卷积对平滑拍摄过程中产生的抖动误差进行消除。
S113：根据前后多帧图像的三维空间变化计算出物品的边缘轮廓；
S114：获取边缘轮廓的特征向量；
S115：将特征向量与真实向量进行相似度判断，对物品进行分类；
具体来说，真相向量为预先输入的实际物品的向量。
S116：将分类好的物品在空间中的坐标位置进行定位完成成像。
S120:获取用户的指令信息。
具体来说，用户的指令信息，可以是但不仅限于喝水、吃饭、拿东西等。
S130:依据指令信息获取目标物品信息。
具体来说，用户的指令信息为喝水，则目标物品信息为水杯的目标物品信息。在其他实施例中，用户的指令信息可以为其他任意需求物品，如，吃饭，拿东西等。
其中，步骤S130包括以下步骤：
S131：筛选出指令信息对应的物品分类；
其中物品分类，可以是单不仅限于，水杯，水果，书本、碗等。
S132；将对应分类的物品进行标记并向用户反馈；
具体来说，筛选出有用户需求的物品时，向用户进行反馈，反馈时，可以采用语音播报的方式。
S133：接收确认信息并获取目标物品信息。
具体来说，用户接收到反馈时，触发确认信息，并获取目标物品信息。
S140:对智能义肢以及目标物品信息所对应的物品进行定位；
具体来说，步骤S140包括以下步骤：
S141:确定智能义肢以及目标物品信息对应的物品在空间中的相对空间位置关系；
S142:依据像素距离计算出目标物品信息对应的物品与智能义肢之间的相对距离；
S143:将空间位置关系以及相对距离发送至移动计算单元。
其中，移动计算单元为手机。
S150:依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
具体来说，步骤S150包括以下步骤：
S151：计算空间中所有物品的空间位置关系；
S152：以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线。
在本实施例中，将机械手预设行径路线划分为先移动X轴达到径向方向的垂线上，后Z轴运动到径向方向上，最后Y轴运动直到到智能义肢拿去到目标物品。可以避免出现因为算法或者是摄像机捕捉到的图像中存在遮挡情况而造成的不必要的错误，确保抓握的高准确率。
S153：依据机械手行径路线控制智能义肢进行移动。
在本实施例中，在执行步骤S153时，步骤S150还包括：
S154：依据智能义肢当前行经路线与机械手预设行径路线计算偏离系数。
S155：若偏离系数大于预设值时，发出第一提示信息。
具体来说，通过第一提示信息，表明此时智能义肢的行径路线进行调整。
在本实施例中，在执行步骤S153时，步骤S150还包括：
S156：检测目标物品信息所对应的的物品的倾斜角以及旋转角；
S157：若倾斜角大于预设值和/或旋转角大于预设值时，发出第二提示信息。
在本实施例中，针对水杯的倾斜角为β，旋转角为γ，如果β>π/6或者γ>π/2，即水杯倾斜角度或者旋转度过大，会像用户发第二提示信息提示用户矫正手臂姿势。
实施例2
请参阅图2，本发明提供了一种基于视觉智能的多重障碍者的手眼协同装置，所述装置包括：画面获取模块、指令获取模块、计算模块、定位模块、移动模块。
画面获取模块，适于通过助盲眼镜获取用户前方图像画面进行成像；具体来说，画面获取模块用于执行以下步骤：
S111：通过双目摄像头试试采集用户图像画面。
其中，双目摄像头设置于助盲眼镜上，用户在使用时，需要完成戴助盲眼镜和智能义肢设备并连接移动计算单元等操作。其中，助盲眼镜采与移动计算单元采用移动数据流量进行连接，满足用户在无WiFi环境下的使用。
S112：对图像画面中的抖动误差进行消除；
具体来说，利用卷积对平滑拍摄过程中产生的抖动误差进行消除。
S113：根据前后多帧图像的三维空间变化计算出物品的边缘轮廓；
S114：获取边缘轮廓的特征向量；
S115：将特征向量与真实向量进行相似度判断，对物品进行分类；
具体来说，真相向量为预先输入的实际物品的向量。
指令获取模块，适于获取用户的指令信息；具体来说，用户的指令信息，可以是但不仅限于喝水、吃饭、拿东西等。
计算模块，适于依据指令信息获取目标物品信息。具体来说，具体来说，用户的指令信息为喝水，则目标物品信息为水杯的目标物品信息。在其他实施例中，用户的指令信息可以为其他任意需求物品，如，吃饭，拿东西等。
其中，计算模块用于执行以下步骤：
S131：筛选出指令信息对应的物品分类；
其中物品分类，可以是单不仅限于，水杯，水果，书本、碗等。
S132；将对应分类的物品进行标记并向用户反馈；
具体来说，筛选出有用户需求的物品时，向用户进行反馈，反馈时，可以采用语音播报的方式。
S133：接收确认信息并获取目标物品信息。
具体来说，用户接收到反馈时，触发确认信息，并获取目标物品信息。
定位模块，适于对智能义肢以及目标物品信息所对应的物品进行定位。具体来说，定位模块用于执行以下步骤：S141:确定智能义肢以及目标物品信息对应的物品在空间中的相对空间位置关系；
S142:依据像素距离计算出目标物品信息对应的物品与智能义肢之间的相对距离；
S143:将空间位置关系以及相对距离发送至移动计算单元。
其中，移动计算单元为手机。
移动模块，适于依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
具体来说，移动模块用于执行以下步骤：
S151：计算空间中所有物品的空间位置关系；
S152：以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线。
在本实施例中，将机械手预设行径路线划分为先移动X轴达到径向方向的垂线上，后Z轴运动到径向方向上，最后Y轴运动直到到智能义肢拿去到目标物品。可以避免出现因为算法或者是摄像机捕捉到的图像中存在遮挡情况而造成的不必要的错误，确保抓握的高准确率。
S153：依据机械手行径路线控制智能义肢进行移动。
在本实施例中，在执行步骤S153时，移动模块还包括：
S154：依据智能义肢当前行经路线与机械手预设行径路线计算偏离系数。
S155：若偏离系数大于预设值时，发出第一提示信息。
具体来说，通过第一提示信息，表明此时智能义肢的行径路线进行调整。
在本实施例中，在执行步骤S153时，步骤S150还包括：
S156：检测目标物品信息所对应的的物品的倾斜角以及旋转角；
S157：若倾斜角大于预设值和/或旋转角大于预设值时，发出第二提示信息。
在本实施例中，针对水杯的倾斜角为β，旋转角为γ，如果β>π/6或者γ>π/2，即水杯倾斜角度或者旋转度过大，会像用户发第二提示信息提示用户矫正手臂姿势。
实施例3
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令内的权限管理装置的处理器执行时实现实施例1所提供的基于视觉智能的多重障碍者的手眼协同方法。
在本实施例中，基于视觉智能的多重障碍者的手眼协同方法通过助盲眼镜获取用户前方图像画面进行成像；获取用户的指令信息；依据指令信息获取目标物品信息；对智能义肢以及目标物品信息所对应的物品进行定位；依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动，从而实现了多重障碍者对智能义肢的使用需求。
实施例4
请参阅图3，本发明实施例还提供了一种电子设备，包括：存储器502和处理器501；所述存储器502中存储有至少一条程序指令；所述处理器501，通过加载并执行所述至少一条程序指令以实现如实施例1所提供的多个GPU动态分配方法。
存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
综上所述，本发明提供了一种基于视觉智能的多重障碍者的手眼协同方法及装置，其中，基于视觉智能的多重障碍者的手眼协同方法通过助盲眼镜获取用户前方图像画面进行成像；获取用户的指令信息；依据指令信息获取目标物品信息；对智能义肢以及目标物品信息所对应的物品进行定位；依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动，从而实现了多重障碍者对智能义肢的使用需求。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于视觉智能的多重障碍者的手眼协同方法，其特征在于，包括：
S1.通过助盲眼镜通过助盲眼镜获取用户前方图像画面进行成像；
S2.获取用户的指令信息；
S3.依据指令信息获取目标物品信息；
S4.对智能义肢以及目标物品信息所对应的物品进行定位；
S5.依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
2.如权利要求1所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，步骤S1具体包括：
S11.通过双目摄像头试试采集用户图像画面；
S12.对图像画面中的抖动误差进行消除；
S13.根据前后多帧图像的三维空间变化计算出物品的边缘轮廓；
S14.获取边缘轮廓的特征向量；
S15.将特征向量与真实向量进行相似度判断，对物品进行分类；
S16.将分类好的物品在空间中的坐标位置进行定位完成成像。
3.如权利要求2所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，步骤S3具体包括：
S31.筛选出指令信息对应的物品分类；
S32.将对应分类的物品进行标记并向用户反馈；
S33.接收确认信息并获取目标物品信息。
4.如权利要求2所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，步骤S4具体包括：
S41.确定智能义肢以及目标物品信息对应的物品在空间中的相对空间位置关系；
S42.依据像素距离计算出目标物品信息对应的物品与智能义肢之间的相对距离；
S43.将空间位置关系以及相对距离发送至移动计算单元。
5.如权利要求4所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，步骤S5具体包括：
S51.计算空间中所有物品的空间位置关系；
S52.以目标物品信息对应的物品为球心，选取无遮挡水平方向角度绝对值最小且垂直用户视线方向的径向方向为机械手预设行径路线；
S53.依据机械手行径路线控制智能义肢进行移动。
6.如权利要求5所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：
S54.依据智能义肢当前行经路线与机械手预设行径路线计算偏离系数；
S55.若偏离系数大于预设值时，发出第一提示信息。
7.如权利要求5所述的基于视觉智能的多重障碍者的手眼协同方法，其特征在于，在依据机械手行径路线控制智能义肢进行移动的同时，所述依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动的方法还包括：
S56.检测目标物品信息所对应的的物品的倾斜角以及旋转角；
S57.若倾斜角大于预设值和/或旋转角大于预设值时，发出第二提示信息。
8.一种基于视觉智能的多重障碍者的手眼协同装置，其特征在于，包括：
画面获取模块，适于通过助盲眼镜获取用户前方图像画面进行成像；
指令获取模块，适于获取用户的指令信息；
计算模块，适于依据指令信息获取目标物品信息；
定位模块，适于对智能义肢以及目标物品信息所对应的物品进行定位；
移动模块，适于依据定位结果对智能义肢进行控制，使智能义肢向物品进行移动。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，其特征在于，所述一个或一个以上的指令内的权限管理装置的处理器执行时实现权利要求1至7中任一所述的基于视觉智能的多重障碍者的手眼协同方法。
10.一种电子设备，其特征在于，包括存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现权利要求1-7中任一项所述的基于视觉智能的多重障碍者的手眼协同方法。
CN202110458607.4A 2021-04-27 2021-04-27 基于视觉智能的多重障碍者的手眼协同方法及装置 Active CN113180894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110458607.4A CN113180894B (zh) 2021-04-27 2021-04-27 基于视觉智能的多重障碍者的手眼协同方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110458607.4A CN113180894B (zh) 2021-04-27 2021-04-27 基于视觉智能的多重障碍者的手眼协同方法及装置

Publications (2)

Publication Number Publication Date
CN113180894A true CN113180894A (zh) 2021-07-30
CN113180894B CN113180894B (zh) 2022-02-11

Family

ID=76979331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110458607.4A Active CN113180894B (zh) 2021-04-27 2021-04-27 基于视觉智能的多重障碍者的手眼协同方法及装置

Country Status (1)

Country Link
CN (1) CN113180894B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117001715A (zh) * 2023-08-30 2023-11-07 哈尔滨工业大学 一种面向视觉功能障碍者的智能辅助系统及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2747031Y (zh) * 2004-09-10 2005-12-21 中国科学院自动化研究所 一种移动机械手控制系统
US20130079061A1 (en) * 2010-05-17 2013-03-28 Tata Consultancy Services Limited Hand-held communication aid for individuals with auditory, speech and visual impairments
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107320222A (zh) * 2017-08-14 2017-11-07 苏州凸现信息科技有限公司 一种基于无人机的智能义肢替换方法及其系统
CN107390721A (zh) * 2017-07-26 2017-11-24 歌尔科技有限公司 机器人随行控制方法、装置及机器人
CN108875714A (zh) * 2018-08-16 2018-11-23 东北大学秦皇岛分校 帮助盲人寻找物品的系统及方法
CN108888478A (zh) * 2018-08-01 2018-11-27 郑州大学 一种基于双目视觉的上肢康复机器人
US20180357479A1 (en) * 2017-06-08 2018-12-13 Microsoft Technology Licensing, Llc Body-worn system providing contextual, audio-based task assistance
CN110559127A (zh) * 2019-08-27 2019-12-13 上海交通大学 基于听觉与触觉引导的智能助盲系统及方法
CN111283689A (zh) * 2020-03-26 2020-06-16 长春大学 一种辅助肢体功能障碍者运动的装置及控制方法
CN112587285A (zh) * 2020-12-10 2021-04-02 东南大学 多模态信息引导环境感知的肌电假肢系统及环境感知方法
CN112677159A (zh) * 2021-03-22 2021-04-20 佛山隆深机器人有限公司 一种基于视觉定位的机械手作业路径规划方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2747031Y (zh) * 2004-09-10 2005-12-21 中国科学院自动化研究所 一种移动机械手控制系统
US20130079061A1 (en) * 2010-05-17 2013-03-28 Tata Consultancy Services Limited Hand-held communication aid for individuals with auditory, speech and visual impairments
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
US20180357479A1 (en) * 2017-06-08 2018-12-13 Microsoft Technology Licensing, Llc Body-worn system providing contextual, audio-based task assistance
CN107234625A (zh) * 2017-07-07 2017-10-10 中国科学院自动化研究所 视觉伺服定位和抓取的方法
CN107390721A (zh) * 2017-07-26 2017-11-24 歌尔科技有限公司 机器人随行控制方法、装置及机器人
CN107320222A (zh) * 2017-08-14 2017-11-07 苏州凸现信息科技有限公司 一种基于无人机的智能义肢替换方法及其系统
CN108888478A (zh) * 2018-08-01 2018-11-27 郑州大学 一种基于双目视觉的上肢康复机器人
CN108875714A (zh) * 2018-08-16 2018-11-23 东北大学秦皇岛分校 帮助盲人寻找物品的系统及方法
CN110559127A (zh) * 2019-08-27 2019-12-13 上海交通大学 基于听觉与触觉引导的智能助盲系统及方法
CN111283689A (zh) * 2020-03-26 2020-06-16 长春大学 一种辅助肢体功能障碍者运动的装置及控制方法
CN112587285A (zh) * 2020-12-10 2021-04-02 东南大学 多模态信息引导环境感知的肌电假肢系统及环境感知方法
CN112677159A (zh) * 2021-03-22 2021-04-20 佛山隆深机器人有限公司 一种基于视觉定位的机械手作业路径规划方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙媛媛等: "面向视觉残疾者的室内空间无障碍助行系统设计", 《现代电子技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117001715A (zh) * 2023-08-30 2023-11-07 哈尔滨工业大学 一种面向视觉功能障碍者的智能辅助系统及方法

Also Published As

Publication number Publication date
CN113180894B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10534982B2 (en) Neural network training for three dimensional (3D) gaze prediction with calibration parameters
CN108229332B (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
US11345041B2 (en) Robot device, method of controlling the same, computer program, and robot system
US20200250488A1 (en) Deep learning for three dimensional (3d) gaze prediction
WO2021023315A1 (zh) 一种基于人眼凝视点的手眼协调抓取方法
Daniilidis et al. Real-time tracking of moving objects with an active camera
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
US10671890B2 (en) Training of a neural network for three dimensional (3D) gaze prediction
CN109804220A (zh) 用于跟踪头部和眼睛的运动和姿势的系统和方法
CN109048918A (zh) 一种轮椅机械臂机器人的视觉引导方法
CN110355774A (zh) 手控制装置及手控制系统
CN113180894B (zh) 基于视觉智能的多重障碍者的手眼协同方法及装置
CN108927801B (zh) 一种机械臂末端姿态调整方法及装置
CN113227878A (zh) 用于视线估计的方法和系统
US20160368148A1 (en) Robotic device including machine vision
CN107563295B (zh) 基于多Kinect的全方位人体追踪方法及处理设备
WO2009043927A1 (en) Apparatus for acquiring and processing information relating to human eye movements
KR20220063847A (ko) 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치
JP2017169803A (ja) 情報処理装置、情報処理方法、およびプログラム
US11048924B1 (en) Action-estimating device
WO2019190561A1 (en) Deep learning for three dimensional (3d) gaze prediction
WO2020164693A1 (en) Method, computer program, and devices for image acquisition
CN117876494B (zh) 一种基于镜面角度动态调节的目标区域观察方法及装置
CN113079315B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112634427A (zh) 三维建模方法、装置、网络设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant