CN112936305A - 基于ros系统的新型类人机器人视觉语音采集领带装置 - Google Patents

基于ros系统的新型类人机器人视觉语音采集领带装置 Download PDF

Info

Publication number
CN112936305A
CN112936305A CN202110160747.3A CN202110160747A CN112936305A CN 112936305 A CN112936305 A CN 112936305A CN 202110160747 A CN202110160747 A CN 202110160747A CN 112936305 A CN112936305 A CN 112936305A
Authority
CN
China
Prior art keywords
tie
microphone
camera
ros system
device based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110160747.3A
Other languages
English (en)
Other versions
CN112936305B (zh
Inventor
张智军
林俊杰
赖瑜嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110160747.3A priority Critical patent/CN112936305B/zh
Publication of CN112936305A publication Critical patent/CN112936305A/zh
Application granted granted Critical
Publication of CN112936305B publication Critical patent/CN112936305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一款基于ROS系统的新型类人机器人视觉语音采集领带装置。能够用在类人机器人上的，辅助类人机器人完成视觉和语音采集任务的领带装置。领带装置采用隐藏式设计，能够很好的把领带和传感器结合，在不影响机器人整体外观情况下，能够完成视频信息和音频信息的采集。传感器的采集使用了ROS系统的框架，能够很好地保证了开发的便捷性和解耦性。

Description

基于ROS系统的新型类人机器人视觉语音采集领带装置
技术领域
本发明属于类人机器人装备领域，具体涉及基于ROS系统的新型类人机器人视觉语音采集领带装置。
背景技术
在机器人领域中,类人机器人是当前比较火热的研究方向。在类人机器人上装有许许多多的信息采集传感器，这些信息采集传感器有助于类人机器人系统采集环境信息，并根据环境信息更好地实现机器人的具体功能。在设计和安装这些传感器时，如何做到不影响类人机器的美观的同时能够保证传感器的正常数据采集是一件困难的事。
虽然中国专利申请“智能领带(CN201810991303.2)”中，在领带上设置有4G模块、体温传感器等，但不能适用于类人机器人上。
发明内容
本发明的目的是设计一款用在类人机器人上的，能够完成视觉和语音采集任务的领带装置，同时保证了机器人的美观不受影响。
为了实现以上目的，本发明提出的基于ROS系统的新型类人机器人视觉语音采集领带装置，固定外壳、用于视觉采集的摄像头、用于语音采集的麦克风和ROS系统，
所述固定外壳固定在领带的领带结内侧；
所述摄像头和所述麦克风均固定设置在所述固定外壳上，并用于将采集到的信息传递至所述ROS系统；
所述ROS系统用于接收和处理所述摄像头和所述麦克风采集到的视觉信息和语音信息。
本发明的进一步优选方案中，所述领带包括用于套设在类人机器人上的领带环，所述固定外壳上开设有可容所述领带环穿过的领带环开孔。
本发明的进一步优选方案中，所述领带为涤丝材料。
本发明的进一步优选方案中，所述固定外壳与所述领带结之间粘接连接。
本发明的进一步优选方案中，所述固定外壳包括壳体，所述壳体上开设有摄像头开孔和麦克风开孔，所述摄像头固定在所述摄像头开孔内，所述麦克风固定在所述麦克风开孔内。
本发明的进一步优选方案中，所述固定外壳的形状与所述领带结的形状一致，且在所述领带结上与所述摄像头开孔和所述麦克风开孔相应的位置上均设置有开孔。
本发明的进一步优选方案中，所述摄像头和所述麦克风均为USB协议通信型传感器。
本发明的进一步优选方案中，还包括树莓派微型电脑，所述树莓派微型电脑为安装有Linux系统，所述ROS系统搭载在所述Linux系统上，且所述ROS系统上运行有两个独立的进程节点，分别采集和处理所述摄像头和所述麦克风的采集的数据。
与现有技术相比，本发明能够实现的有益效果至少如下：
使用领带和外壳结合的方法，在外观上，能够保持真正领带的外观，挂在类人机器人上显得美观，同时可以很好地隐藏传感器。而外壳能够起到很好的固定作用，能够把摄像头和麦克风牢牢地固定在领带上，保证了信号采集的稳定。使用ROS系统作为信号采集的系统，能够使得视觉信号、音频信号的采集和处理能够双进程同时进行，并且可以进行模块化的程序编写，方便和加快了功能的开发。
附图说明
图1是本发明实施例提出的基于ROS系统的新型类人机器人视觉语音采集领带装置示意图。
图2是本实施例中中固定外壳的结构示意图。
图3是本实施例中中固定外壳的另一视角的结构示意图。
图4是本系统示意图。
图中，1-领带结；2-领带环；3-领带主体；4-固定外壳，401-壳体，402-摄像头开孔，403-麦克风开孔，404-领带环开孔；5-摄像头；6-麦克风。
具体实施方式
请参阅图1，本实施例提出的基于ROS系统的新型类人机器人视觉语音采集领带装置包括领带结1、领带环2、领带主体3、固定外壳4、摄像头5、麦克风6和ROS系统。
领带结1、领带环2和领带主体3为一体式设计，其材料为涤丝。领带主体3用作装饰，领带环2穿过固定外壳4，用作挂在类人机器人脖子上。
为了更好的说明图1中传感器外壳4的结构及连接方式，请参阅图2，本实施例提出的的固定外壳4包含壳体401，使用3D打印技术制造，壳体401的上端开设有领带环开孔404，领带环2从领带环开孔404中穿过，用作领带结1的固定和支撑，能够起到很好的贴合效果；在壳体401的前侧且位于右上方处上开设有摄像头开孔402，以安装摄像头；在壳体401的前侧且靠近下方的位置上开设有麦克风开孔403，用作安装麦克风。
固定外壳4的形状与领带结1的形状大体一致，固定外壳4通过胶水粘贴固定在领带结1的内里，这样的做法能够很好的隐藏摄像头和麦克风。且领带结1上与领带环开孔404、摄像头开孔402和麦克风开孔403相应的位置上均分别开孔，如此，在保持领带结的美观的同时，也可以避免领带结遮挡摄像头的采集视野，并且可以避免干扰麦克风信号的采集。
ROS系统用于接收和处理摄像头5和麦克风6采集到的视觉信息和语音信息。ROS系统搭载在Linux系统上，Linux系统安装在树莓派微型电脑上。摄像头5和麦克风6均为USB协议通信型传感器，通过USB线与树莓派微型电脑连接进行数据传输。
具体工作说明请参阅如图3，摄像头和麦克风通过usb数据传输线连接到树莓派微型电脑上，数据通过usb字符设备进行传输。开发系统使用ROS系统进行框架搭建，在ROS系统内分别建立两个节点，每个节点是一个进程，此做法目的可以使摄像头和麦克风采集部分形成模块化，增强其可移植性和开发的解耦性，多进程也能够使采集数据时相互独立不干扰。在摄像头采集节点中，Linux系统中的字符设备驱动通过usb数据传输线获取视频信息，然后使用opencv视觉开发库进行视频流提取，提取视频流后打包成ROS通信格式，再把包含视频信息的话题发布出去。对于需要视频信息的节点，可以通过订阅话题获得视觉信息，比如一个功能为人脸识别的功能节点，其需要用到摄像头采集的信息，则可以直接订阅该信息节点，而无需重复采集和处理，简便了开发的流程。在麦克风采集节点中，先从字符设备中获取音频信息，然后通过pyaudio语音库提取音频流，提取音频流后再使用numpy进行音频数据的初步处理，把音频数据从字符串序列转换成数字序列，处理过后再以话题的形式发送出去，同样的，当功能节点需要使用音频信息时，即可通过订阅音频话题获取。
本实施例提供的领带装置，使用涤丝材料领带和硬质外壳结合的方法，在外观上，能够保持真正领带的外观，挂在类人机器人上显得美观，同时可以很好地隐藏传感器。而硬质外壳能够起到很好的固定作用，能够把摄像头和麦克风牢牢地固定在领带上，保证了信号采集的稳定。使用ROS系统作为信号采集的系统，能够使得视觉信号、音频信号的采集和处理能够双进程同时进行，并且可以进行模块化的程序编写，方便和加快了功能的开发。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：固定外壳(4)、用于视觉采集的摄像头(5)、用于语音采集的麦克风(6)和ROS系统，
所述固定外壳(4)固定在领带的领带结内侧；
所述摄像头(5)和所述麦克风(6)均固定设置在所述固定外壳(4)上，并用于将采集到的信息传递至所述ROS系统；
所述ROS系统用于接收和处理所述摄像头(5)和所述麦克风(6)采集到的视觉信息和语音信息。
2.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述领带包括用于套设在类人机器人上的领带环(2)，所述固定外壳(4)上开设有可容所述领带环(2)穿过的领带环开孔(404)。
3.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述领带为涤丝材料。
4.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述固定外壳(4)与所述领带结之间粘接连接。
5.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述固定外壳(4)包括壳体(401)，所述壳体(401)上开设有摄像头开孔(402)和麦克风开孔(403)，所述摄像头(5)固定在所述摄像头开孔(402)内，所述麦克风(6)固定在所述麦克风开孔(403)内。
6.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述固定外壳(4)的形状与所述领带结(1)的形状一致，且在所述领带结(1)上与所述摄像头开孔(402)和所述麦克风开孔(403)相应的位置上均设置有开孔。
7.根据权利要求1所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：所述摄像头(5)和所述麦克风(6)均为USB协议通信型传感器。
8.根据权利要求1-7任一所述的基于ROS系统的新型类人机器人视觉语音采集领带装置，其特征在于：还包括树莓派微型电脑，所述树莓派微型电脑为安装有Linux系统，所述ROS系统搭载在所述Linux系统上，且所述ROS系统上运行有两个独立的进程节点，分别采集和处理所述摄像头和所述麦克风的采集的数据。
CN202110160747.3A 2021-02-05 2021-02-05 基于ros系统的新型类人机器人视觉语音采集领带装置 Active CN112936305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160747.3A CN112936305B (zh) 2021-02-05 2021-02-05 基于ros系统的新型类人机器人视觉语音采集领带装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160747.3A CN112936305B (zh) 2021-02-05 2021-02-05 基于ros系统的新型类人机器人视觉语音采集领带装置

Publications (2)

Publication Number Publication Date
CN112936305A true CN112936305A (zh) 2021-06-11
CN112936305B CN112936305B (zh) 2022-10-25

Family

ID=76242515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160747.3A Active CN112936305B (zh) 2021-02-05 2021-02-05 基于ros系统的新型类人机器人视觉语音采集领带装置

Country Status (1)

Country Link
CN (1) CN112936305B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774893A (en) * 1994-10-26 1998-07-07 Torres; Miguel Grajales Simulated necktie knot and necktie combination
EP1983494A2 (de) * 2007-04-17 2008-10-22 Ivionic GmbH Anordnung zur Warensicherung
US20150047095A1 (en) * 2013-08-13 2015-02-19 Curtis A. Evans Modular Necktie
CN111645084A (zh) * 2020-05-28 2020-09-11 南京理工大学 一种家用智能安防服务机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774893A (en) * 1994-10-26 1998-07-07 Torres; Miguel Grajales Simulated necktie knot and necktie combination
EP1983494A2 (de) * 2007-04-17 2008-10-22 Ivionic GmbH Anordnung zur Warensicherung
US20150047095A1 (en) * 2013-08-13 2015-02-19 Curtis A. Evans Modular Necktie
CN111645084A (zh) * 2020-05-28 2020-09-11 南京理工大学 一种家用智能安防服务机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
百度网友B38B1B6: "爱因斯坦机器人做得太像了！就这样还敢说是爱因斯坦迷弟？", 《HTTPS://BAIJIAHAO.BAIDU.COM/S?ID=1581303291330304444&WFR=SPIDER&FOR=PC》 *

Also Published As

Publication number Publication date
CN112936305B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
WO2014101714A1 (zh) 手机驱动机器人
CN203050421U (zh) 一种内置摄像头的窗户
CN112936305B (zh) 基于ros系统的新型类人机器人视觉语音采集领带装置
CN209311821U (zh) 多功能智能眼镜
CN109412751A (zh) 车载通信系统及通信方法
CN109474337A (zh) 一种基于led可见光的光传输数据综合器
KR102093430B1 (ko) 인공지능 스마트 디바이스의 마이크모듈부 구조 및 이를 포함하는 인공지능 스마트 디바이스
CN205337785U (zh) 一种智能通信安全头盔
CN205619070U (zh) 一种智能语音台灯
CN113157099A (zh) 智能眼镜
CN106683668A (zh) 一种智能设备的唤醒控制的方法以及系统
CN206536474U (zh) 智能机器人
CN210864516U (zh) 人工智能设备
CN206759593U (zh) 一种智能高清球机摄像头
CN203933786U (zh) 一种嵌入式网络摄像机
CN106129697A (zh) 一种用于模块化智能电子积木的电子接头拼接标准模块
US10048724B1 (en) Discrete type wearable computer
CN210429292U (zh) 一种新型ai智能交互装置
CN201763194U (zh) 一种无线电子猫眼对讲装置
CN213937997U (zh) 摄像头模组和电子设备
CN112073866A (zh) 一种具有计算机视觉的智能耳机装置
CN110224940A (zh) 一种集成有摄像及语音识别功能的新型智能多功能路由器
CN209593679U (zh) 一种无线麦克风和无线麦克风系统
CN209283429U (zh) 一种骨传导耳机
CN206481434U (zh) 一种智能低频自动追踪耳机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant