KR20220000300U - Ai social robot representing emotion based on voice and vision recognition - Google Patents

Ai social robot representing emotion based on voice and vision recognition Download PDF

Info

Publication number
KR20220000300U
KR20220000300U KR2020210002355U KR20210002355U KR20220000300U KR 20220000300 U KR20220000300 U KR 20220000300U KR 2020210002355 U KR2020210002355 U KR 2020210002355U KR 20210002355 U KR20210002355 U KR 20210002355U KR 20220000300 U KR20220000300 U KR 20220000300U
Authority
KR
South Korea
Prior art keywords
robot
artificial intelligence
voice
driving unit
unit
Prior art date
Application number
KR2020210002355U
Other languages
Korean (ko)
Inventor
김진우
Original Assignee
주식회사 포인바이오닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포인바이오닉스 filed Critical 주식회사 포인바이오닉스
Publication of KR20220000300U publication Critical patent/KR20220000300U/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Toys (AREA)

Abstract

본 개시의 일 실시예에 따른 인공지능 소셜 로봇은, 사용자 명령어를 인식하거나 음성 또는 음악을 출력하는 음성 구동부; 상기 로봇의 현재 감성상태를 출력하는 표정 표시부; 사용자 명령어 또는 주변상황을 포함하는 영상을 촬영하는 카메라; 상기 로봇의 현재 감성상태 또는 사용자 명령어에 대한 응답 내용을 로봇팔의 동작을 통해 출력하는 로봇팔 구동부; 상기 로봇의 동작 상태를 나타내는 LED 표시부; 및 상기 로봇의 전방, 후방 또는 회전 이동을 구동하는 이동 구동부를 포함한다.An artificial intelligence social robot according to an embodiment of the present disclosure includes a voice driving unit that recognizes a user command or outputs voice or music; an expression display unit for outputting the current emotional state of the robot; a camera for capturing an image including a user command or a surrounding situation; a robot arm driving unit for outputting the current emotional state of the robot or a response to a user command through the operation of the robot arm; an LED display indicating the operating state of the robot; and a movement driving unit for driving the forward, backward or rotational movement of the robot.

Description

음성 및 시각 인식에 기반하여 감성 표현이 가능한 인공지능 소셜 로봇{AI SOCIAL ROBOT REPRESENTING EMOTION BASED ON VOICE AND VISION RECOGNITION}AI SOCIAL ROBOT REPRESENTING EMOTION BASED ON VOICE AND VISION RECOGNITION

본 고안은 인공지능 로봇에 관한 것으로서, 보다 상세하게는 음성 및 시각 인식에 기반하여 감성을 표현할 수 있는 인공지능 소셜 로봇에 관한 것이다.The present invention relates to an artificial intelligence robot, and more particularly, to an artificial intelligence social robot capable of expressing emotions based on voice and visual recognition.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 로봇 이용의 증가에 따라, 단순한 기능 수행을 넘어서 사용자를 이해하고 교감하면서, 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다. 로봇 기술 성장에 맞춰서 인공지능 분야가 급속하게 발전하면서, 이를 활용하는 소셜 로봇들도 빠른 속도로 진화하고 있다. In general, robots have been developed for industrial use and have been a part of factory automation. In recent years, the field of application of robots has been further expanded, and medical robots and aerospace robots have been developed, and household robots that can be used in general households are also being made. As the use of robots increases, there is an increasing demand for robots that can provide various information, fun, and services while understanding and interacting with users beyond simple function performance. As the field of artificial intelligence develops rapidly in line with the growth of robot technology, social robots using it are also evolving at a rapid pace.

소셜 로봇이란 단순히 반복적인 작업을 수행하는 로봇이 아니라 사람이나 다른 존재와 교류하며 일상적인 의사소통과 교감을 하고 상대 행동에 적응해가는 사회적인 행동이 가능한 지능형 로봇을 말한다. 즉, 소셜 로봇이란 인간이나 동물과 유사한 체형을 가지면서, 신체를 움직여 희로애락을 표현하며 인간과 로봇이 상호작용할 수 있도록 만들어진 지능형 로봇을 말한다. A social robot is not a robot that simply performs repetitive tasks, but an intelligent robot capable of social behavior by interacting with humans and other beings, communicating and sympathizing with others, and adapting to the behavior of others. In other words, a social robot refers to an intelligent robot that has a body shape similar to that of a human or an animal, expresses joy and sorrow by moving the body, and is made so that humans and robots can interact.

그러나 대부분의 소셜 로봇들은 그 주위의 환경을 감지하는 감각 시스템을 가져 인간과 상호작용할 수 있다고 해도, 그들의 자기표현은 한정되어 있어 그들의 성능은 사용자의 행위에 대한 단순한 응답으로 한정되어 있다. 따라서, 적절한 표현 및 다양한 구동 시스템에 의해서 인간 및 다른 로봇과 효율적으로 관련될 수 있고, 또한 그들의 상호 관계로부터 학습할 수 있는 지능형 소셜 로봇을 개발하는 것이 필요하다.However, although most social robots have a sensory system that senses their environment and can interact with humans, their self-expression is limited and their performance is limited to simple responses to user actions. Therefore, it is necessary to develop an intelligent social robot that can efficiently relate to humans and other robots by appropriate expressions and various driving systems, and can also learn from their interrelationships.

본 개시는 상기와 같은 문제점을 해결하기 위한 인공지능 소셜 로봇을 제공한다. The present disclosure provides an artificial intelligence social robot for solving the above problems.

본 개시는 음성 인식 기술 및 시각 인식 기술을 이용한 인공지능을 포함하는 소셜 로봇을 제공한다. 또한, 본 개시는, 로봇의 현재 감성 상태 또는 인간 명령어에 대한 응답 내용 등을 시각적 또는 기계적으로 표현함으로써, 인간과 상호작용할 수 있는 소셜 반려 로봇을 제공함에 있다.The present disclosure provides a social robot including artificial intelligence using voice recognition technology and visual recognition technology. In addition, the present disclosure provides a social companion robot capable of interacting with a human by visually or mechanically expressing the robot's current emotional state or response content to a human command.

본 개시의 일 실시예에 따른 인공지능 소셜 로봇은, 사용자 명령어를 인식하거나 음성 또는 음악을 출력하는 음성 구동부; 상기 로봇의 현재 감성상태를 출력하는 표정 표시부; 사용자 명령어 또는 주변상황을 포함하는 영상을 촬영하는 카메라; 상기 로봇의 현재 감성상태 또는 사용자 명령어에 대한 응답 내용을 로봇팔의 동작을 통해 출력하는 로봇팔 구동부; 상기 로봇의 동작 상태를 나타내는 LED 표시부; 및 상기 로봇의 전방, 후방 또는 회전 이동을 구동하는 이동 구동부를 포함한다.An artificial intelligence social robot according to an embodiment of the present disclosure includes a voice driving unit that recognizes a user command or outputs voice or music; an expression display unit for outputting the current emotional state of the robot; a camera for capturing an image including a user command or a surrounding situation; a robot arm driving unit for outputting the current emotional state of the robot or a response to a user command through the operation of the robot arm; an LED display indicating the operating state of the robot; and a movement driving unit for driving the forward, backward or rotational movement of the robot.

본 개시의 일 실시예에 따르면, 음성 인식 기술 및 시각 인식 기술을 이용하여 사용자 명령, 주변 환경 등을 인식할 수 있는 인공지능을 포함하는 소셜 로봇을 제공할 수 있다.According to an embodiment of the present disclosure, it is possible to provide a social robot including artificial intelligence capable of recognizing a user command, a surrounding environment, etc. using a voice recognition technology and a visual recognition technology.

본 개시의 일 실시예에 따르면, 음성 및 시각 인식 기술에 기반하여 로봇의 현재 감성 상태, 인간 명령에 대한 응답 내용 등을 시각적 또는 기계적으로 적절히 표현함으로써, 로봇과 인간 사용자 사이의 상호작용을 효과적으로 실행할 수 있다.According to an embodiment of the present disclosure, the interaction between the robot and the human user can be effectively executed by appropriately expressing the current emotional state of the robot, the response content to the human command, etc. visually or mechanically based on voice and visual recognition technology. can

본 개시에 일 실시예에 따르면, 인공지능 소셜 로봇의 인지 및 감성 표현 기능, 기계적 구동 기능 등을 실행하기 위한 다양한 구성부품들을 적층 구조의 지지대에 설치함으로써, 로봇의 내부 공간을 효율적으로 사용함과 동시에 로봇의 내부 구조를 단순화할 수 있다.According to an embodiment of the present disclosure, various components for executing the cognitive and emotional expression function, mechanical driving function, etc. of the artificial intelligence social robot are installed on the support of the stacked structure, thereby efficiently using the internal space of the robot and at the same time The internal structure of the robot can be simplified.

도 1은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 사시도를 나타내는 도면이다.
도 2는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 표정 표시부를 통해 출력되는 눈 표정의 다양한 형태를 나타내는 도면이다.
도 3은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 제어부의 구성을 나타내는 블록도이다.
도 4는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 사시도이다.
도 5는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 정면도이다.
도 6은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 측면도이다.
도 7은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 하측의 구성을 도시한 저면도이다.1 is a diagram illustrating a perspective view of an artificial intelligence social robot according to an embodiment of the present invention.
2 is a diagram illustrating various forms of eye expressions output through an expression display unit of an artificial intelligence social robot according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a control unit of an artificial intelligence social robot according to an embodiment of the present invention.
4 is a perspective view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent.
5 is a front view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent.
6 is a side view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent.
7 is a bottom view showing the configuration of the lower side of the artificial intelligence social robot according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 고안의 실시예에 대하여 본 고안이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 고안은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시예에 한정되지 않는다. 또한 도면에서 본 고안을 명확하게 개시하기 위해서 본 고안과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다. 도면에서 서로 대응되는 구성요소 중 일부에 대해서는 도면 부호의 표기가 일부 생략되었다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be implemented in several different forms and is not limited to the embodiments disclosed below. In addition, in order to clearly disclose the present invention in the drawings, parts not related to the present invention are omitted, and the same or similar symbols in the drawings indicate the same or similar components. In the drawings, reference numerals are partially omitted for some of the components corresponding to each other.

본 고안의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 고안의 목적 및 효과가 제한되는 것은 아니다.Objects and effects of the present invention can be naturally understood or made clearer by the following description, and the objects and effects of the present invention are not limited only by the following description.

본 고안의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 또한, 본 고안을 설명함에 있어서 본 고안과 관련된 공지 기술에 대한 구체적인 설명이, 본 고안의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Objects, features and advantages of the present invention will become more apparent through the following detailed description. In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 사시도를 나타내는 도면이다.1 is a diagram illustrating a perspective view of an artificial intelligence social robot according to an embodiment of the present invention.

도 1에 도시된 바와 같이 인공지능 소셜 로봇(100)은, 음성 명령을 입력 받거나 대화형식의 음성 또는 노래 음원을 출력하는 음성 구동부(110), 로봇의 현재 상태 또는 표정 변화를 나타내는 표정 표시부(120), 주변을 촬영하기 위한 카메라(130), 로봇의 감성 표현을 위한 로봇팔 구동부(140), 로봇의 현재 상태를 나타내는 LED 표시부(150), 및 로봇의 이동을 위한 휠을 포함하는 이동 구동부(160)를 포함한다.As shown in FIG. 1 , the artificial intelligence social robot 100 includes a voice driving unit 110 that receives a voice command or outputs a voice or song sound source in a conversational format, and an expression display unit 120 that displays the current state or change in facial expression of the robot. ), a camera 130 for taking pictures of the surroundings, a robot arm driving unit 140 for expressing the emotion of the robot, an LED display unit 150 indicating the current state of the robot, and a movement driving unit including a wheel for moving the robot ( 160).

일 실시예에 따르면, 인공지능 소셜 로봇(100)은 음성 구동부(110)를 통해 입력되는 사용자의 음성명령을 인식하고, 카메라(132)를 통해서 촬영된 주변 상황 및 사용자의 표정 등을 포함하는 영상을 인식할 수 있다. 이와 같은 음성 인식 및 영상 인식은 인공지능 소셜 로봇(100)의 내부에 설치된 제어부(예를 들어, MCU) 또는 제어부와 무선 통신을 통해 연결된 외부 서버에 의해 실행될 수 있다. 음성 인식 및 영상 인식을 위한 음성 및 영상 신호처리, 음성 및 영상 신호분석 등을 위한 알고리즘은, 확률통계 기반의 알고리즘, 인공신경망 기반의 알고리즘 등 본 발명의 기술분야에 알려진 다양한 알고리즘을 포함할 수 있다. According to one embodiment, the artificial intelligence social robot 100 recognizes the user's voice command input through the voice driving unit 110, and the image including the surrounding situation and the user's facial expression captured through the camera 132 can be recognized Such voice recognition and image recognition may be performed by a control unit (eg, MCU) installed inside the artificial intelligence social robot 100 or an external server connected to the control unit through wireless communication. Algorithms for voice and image signal processing, voice and image signal analysis for voice recognition and image recognition, etc., may include various algorithms known in the art, such as probabilistic statistics-based algorithms and artificial neural network-based algorithms. .

일 실시예에서, 음성 구동부(110)는 사용자의 명령에 대한 응답 내용을 대화형식으로 출력할 수 있다. 또한, 음성 구동부(110)는, 음성 및 영상에 기초하여 인식한 사용자 명령 또는 주변 상황에 기초하여 선택된 노래 음원을 출력하는 기능을 수행할 수도 있다.In one embodiment, the voice driving unit 110 may output the content of the response to the user's command in the form of a conversation. Also, the voice driver 110 may perform a function of outputting a selected song sound source based on a user command recognized based on a voice and an image or a surrounding situation.

일 실시예에서, 이동 구동부(160)는, 예를 들어 음성 및 영상에 기초하여 인식된 사용자 명령에 응답하여 인공지능 소셜 로봇(100)의 이동(예를 들어, 전진, 후진, 회전 등)을 구동하는 기능을 수행한다. 일 실시예에서, 로봇팔 구동부(140)는, 인공지능 소셜 로봇(100)의 현재 감성 상태를 나타내기 위해 로봇팔의 다양한 동작을 구동할 수 있다. 예를 들어, 로봇팔 구동부(140)는, 로봇팔의 전방향 또는 후방향의 회전을 구동할 수 있다. 로봇팔 구동부(140)는, 로봇팔의 전후방향의 회전 각도, 회전 횟수 등에 기초하여 다양한 감성 상태를 표현할 수 있다. In an embodiment, the movement driving unit 160 controls the movement (eg, forward, backward, rotation, etc.) of the artificial intelligence social robot 100 in response to a user command recognized based on, for example, voice and image. perform the driving function. In an embodiment, the robot arm driving unit 140 may drive various operations of the robot arm to indicate the current emotional state of the artificial intelligence social robot 100 . For example, the robot arm driving unit 140 may drive the forward or rearward rotation of the robot arm. The robot arm driving unit 140 may express various emotional states based on the rotation angle, the number of rotations, etc. in the front-back direction of the robot arm.

일 실시예에 따르면, 표정 표시부(120)는, 로봇의 현재 감성 상태를 나타내는 다양한 눈 모양을 시각적으로 출력할 수 있는 LED 디스플레이를 포함할 수 있다. 예를 들어, 도 2시 도시된 바와 같이, 표정 표시부(120)는, 기본 표정, 놀란 표정, 슬픈 표정, 기쁜 표정, 삐진 표정, 심심한 표정 등을 나타내기 위해 다양한 시각적 표시를 출력할 수 있다.According to an embodiment, the expression display unit 120 may include an LED display capable of visually outputting various eye shapes indicating the current emotional state of the robot. For example, as shown in FIG. 2 , the expression display unit 120 may output various visual indications to display a basic expression, a surprised expression, a sad expression, a happy expression, a pouty expression, a bored expression, and the like.

일 실시예에서, LED 표시부(150)는 인공지능 소셜 로봇이 특정 상태를 LED의 다양한 색상 또는 ON/OFF 기능을 통해 나타낼 수 있다. 예를 들어, 로봇팔 구동부(140)에 설치된 LED 표시부(150)는, 로봇팔의 동작에 따라 서로 다른 형태의 LED 표시를 실행할 수 있다. 또한, 로봇(100)의 하측 둘레에 설치된 LED 표시부(150)는, 로봇(100)의 현재 감성 상태 또는 동작 상태(예를 들어, 전진 상태, 후진 상태, 회전 상태, 충전지의 충전 상태 등)를 다양한 색상 또는 ON/OFF 기능을 통해 나타낼 수 있다.In one embodiment, the LED display unit 150 may indicate a specific state of the artificial intelligence social robot through various colors of the LED or an ON/OFF function. For example, the LED display unit 150 installed in the robot arm driving unit 140 may execute different types of LED displays according to the operation of the robot arm. In addition, the LED display unit 150 installed around the lower side of the robot 100 displays the current emotional state or operation state (eg, forward state, reverse state, rotation state, charging state of the rechargeable battery, etc.) of the robot 100 . It can be displayed through various colors or ON/OFF function.

도 3은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 제어부의 구성을 나타내는 블록도이다. 3 is a block diagram illustrating a configuration of a control unit of an artificial intelligence social robot according to an embodiment of the present invention.

도 2에 도시된 바와 같이 인공지능 소셜 로봇(100)의 내부에 설치되는 제어부(170)는, 음성 구동부(110)와 연동되어 사용자 명령을 인식하는 음성인식부(171), 카메라(130)와 연동되어 영상을 통해 사용자 명령 또는 주변상황을 인식하는 비전인식부(172), 음성인식부(171) 및 비전인식부(172)를 통해 인식된 명령을 처리하는 명령처리부(173), 표정 표시부(120) 및 LED 표시부(150)와 연동되어 로봇의 현재 감성 상태 등을 표시하는 표시부(177), 로봇팔 구동부(140) 및 이동 구동부(160)과 연동되어 로봇팔 또는 휠의 동작을 구동하는 로봇구동부(174), 음성 및 영상 인식을 실행하기 위해 외부서버와 통신하는 통신부(175), 충전장치와 연동되어 로봇의 전원을 공급하는 전원부(178) 를 포함할 수 있다.As shown in FIG. 2 , the control unit 170 installed inside the artificial intelligence social robot 100 includes a voice recognition unit 171 for recognizing a user command by interworking with the voice driving unit 110 , a camera 130 and A vision recognition unit 172 that recognizes a user command or a surrounding situation through an image in conjunction with a command processing unit 173 that processes a command recognized through the voice recognition unit 171 and the vision recognition unit 172, an expression display unit ( 120) and the LED display unit 150 interlocking with the display unit 177 to display the current emotional state of the robot, the robot arm driving unit 140 and the movement driving unit 160 to drive the robot arm or wheel operation. It may include a driving unit 174, a communication unit 175 communicating with an external server to perform voice and image recognition, and a power supply unit 178 interworking with a charging device to supply power to the robot.

일 실시예에 따르면, 비전인식부(172)는 카메라(130)를 통해 촬영된 주변 영상 데이터를 저장하고, 영상데이터로부터 주변 상황 또는 사용자 명령을 인식할 수 있다. 비전인식부(172)에 의해 인식된 명령어는 명령처리부(173)로 전송될 수 있다. 다른 실시예에서, 비전인식부(172)는 주변 영상 데이터를 통신부(175)를 통해 외부서버로 전송하며, 해당 영상 데이터에 기초하여 외부서버에 의해 인식된 명령어 또는 주변상황 정보를 수신할 수도 있다.According to an embodiment, the vision recognition unit 172 may store surrounding image data captured by the camera 130 and recognize a surrounding situation or a user command from the image data. The command recognized by the vision recognition unit 172 may be transmitted to the command processing unit 173 . In another embodiment, the vision recognition unit 172 transmits the surrounding image data to the external server through the communication unit 175, and may receive a command or surrounding situation information recognized by the external server based on the image data. .

일 실시예에서, 음성인식부(171)는 음성 구동부(110)에 의해 수집된 사용자의 발화 음성 또는 음성 데이터를 분석하여 사용자 명령을 인식할 수 있다. 음성인식부(171)에 의해 인식된 명령어는 명령처리부(173)로 전송될 수 있다. 다른 실시예에서, 음성인식부(171)는 음성 데이터를 통신부(175)를 통해 외부서버로 전송하며, 해당 음성 데이터에 기초하여 외부서버에 의해 인식된 명령어를 수신할 수도 있다.In an embodiment, the voice recognition unit 171 may recognize a user command by analyzing the user's uttered voice or voice data collected by the voice driving unit 110 . The command recognized by the voice recognition unit 171 may be transmitted to the command processing unit 173 . In another embodiment, the voice recognition unit 171 transmits voice data to an external server through the communication unit 175, and may receive a command recognized by the external server based on the voice data.

일 실시예에서, 명령처리부(140)는 음성인식부(171) 또는 비전인식부(172)에 의해 인식된 명령어에 기초하여 로봇구동부(174), 표시부(177), 통신부(175) 및 전원부(178) 등의 동작을 제어할 수 있다. In one embodiment, the command processing unit 140 is based on the command recognized by the voice recognition unit 171 or the vision recognition unit 172, the robot driving unit 174, the display unit 177, the communication unit 175 and the power supply unit ( 178), etc. can be controlled.

일 실시예에서, 통신부(175)는 외부서버와 음성/영상 데이터, 명령어 등을 포함한 다양한 정보를 송수신할 수 있도록 무선 또는 유선의 통신 프로토콜을 지원하도록 구성된다. In one embodiment, the communication unit 175 is configured to support a wireless or wired communication protocol to transmit and receive various information including voice/video data, commands, and the like with an external server.

일 실시예에서, 제어부(170)는 PCB(Printed Circuit Board) 기판으로 구현된 MCU(microcontroller unit)와 같은 프로세서를 포함할 수 있다. 또한, 제어부(170)는, 음성 구동부(110), 카메라(130) 등으로부터 수신되는 음성 데이터, 영상 데이터 등을 저장하기 위한 메모리를 포함할 수 있다. In an embodiment, the controller 170 may include a processor such as a microcontroller unit (MCU) implemented as a printed circuit board (PCB) substrate. In addition, the controller 170 may include a memory for storing audio data and image data received from the audio driver 110 , the camera 130 , and the like.

도 4는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 사시도이다. 또한, 도 5는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 정면도이다.4 is a perspective view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent. 5 is a front view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent.

도시된 바와 같이 인공지능 소셜 로봇(100)은, 음성 명령을 입력 받거나 대화형식의 음성 또는 노래 음원을 출력하는 음성 구동부(110), 로봇의 현재 상태 또는 표정 변화를 나타내는 표정 표시부(120), 주변을 촬영하기 위한 카메라(130), 로봇의 감성 표현을 위한 로봇팔 구동부(140), 로봇의 현재 상태를 나타내는 LED 표시부(150), 및 로봇의 이동을 위한 휠을 포함하는 이동 구동부(160) 및 음성 및 영상 분석과 로봇의 구성요소들을 제어하기 위한 제어부(170)를 포함한다.As shown, the artificial intelligence social robot 100 includes a voice driving unit 110 that receives a voice command or outputs a conversational voice or song sound source, a facial expression display unit 120 that indicates the current state of the robot or a change in facial expression, and the surrounding A camera 130 for photographing, a robot arm driving unit 140 for expressing the emotion of the robot, an LED display unit 150 indicating the current state of the robot, and a movement driving unit 160 including a wheel for moving the robot, and It includes a control unit 170 for controlling audio and video analysis and components of the robot.

또한, 인공지능 소셜 로봇(100)은, 이동 구동부(160)의 휠의 동작을 구동하기 위한 제1 액츄에이터(162), 및 로봇팔 구동부(140)의 움직임을 구동하기 위한 제2 액츄에이터(142)를 더 포함할 수 있다.In addition, the artificial intelligence social robot 100 includes a first actuator 162 for driving the operation of the wheel of the movement driving unit 160 , and a second actuator 142 for driving the movement of the robot arm driving unit 140 . may further include.

일 실시예에서, 제1 액츄에이터(162)는, 로봇의 전진, 후진 및 곡진(즉, 좌곡진 또는 우곡진) 동작을 위해, 이동 구동부(160)의 2개의 휠 각각에 연결되며, 해당 휠의 전진, 후진 및 정지 등의 동작을 구동하기 위한 2개의 액츄에이터를 포함할 수 있다. 또한, 제2 액츄에이터(142)는, 로봇팔의 회전, 전진 또는 후진 동작을 위해, 로봇팔 구동부(140)의 2개의 로봇팔 각각에 연결된 2개의 액츄에이터를 포함할 수 있다. 제1 액츄에이터(162) 및 제2 액츄에이터(142)는, 각 액츄에이터에 연결된 로봇팔 또는 휠을 구동하기 위한 모터 및 모터의 동작 제어를 위한 전기회로를 포함할 수 있다.In one embodiment, the first actuator 162 is connected to each of the two wheels of the movement driving unit 160 for forward, backward, and curved (ie, left or right) motion of the robot, and the It may include two actuators for driving motions such as forward, reverse and stop. In addition, the second actuator 142 may include two actuators connected to each of the two robot arms of the robot arm driving unit 140 for rotation, forward or backward motion of the robot arm. The first actuator 162 and the second actuator 142 may include a motor for driving a robot arm or wheel connected to each actuator, and an electric circuit for controlling the operation of the motor.

일 실시예에서, 제1 액츄에이터(162)는 로봇의 하단에 고정되어 설치될 수 있으며, 로봇의 하단에는 제1 액츄에이터(162)의 높이 보다 큰 길이를 갖는 2개의 수직방향의 제1 지지대(180)이 설치될 수 있다. 또한, 제1 지지대(180)의 상단에는 제2 액츄에이터(142)가 고정 설치되는 수평방향의 제2 지지대(190)가 설치될 수 있다. In one embodiment, the first actuator 162 may be fixedly installed at the lower end of the robot, and two vertical first supports 180 having a length greater than the height of the first actuator 162 at the lower end of the robot. ) can be installed. In addition, a horizontal second support 190 on which the second actuator 142 is fixedly installed may be installed on the upper end of the first supporter 180 .

일 실시예에서 제2 지지대(190) 상에는, 제2 액츄에이터(142), 충전장치(178) 등이 고정 설치될 수 있다. 또한, 제2 지지대(190)의 중앙 부분에는 충전장치(178)의 주변에 위치하며 충전장치(178)의 높이 보다 같거나 높은 수직방향의 제3 지지대(192)가 설치될 수 있다. 제3 지지대(192)의 상단에는 제어부(170)가 설치될 수 있다.In an embodiment, on the second support 190 , the second actuator 142 , the charging device 178 , etc. may be fixedly installed. In addition, in the central portion of the second support 190 , the third support 192 in the vertical direction that is located around the charging device 178 and is equal to or higher than the height of the charging device 178 may be installed. The control unit 170 may be installed at an upper end of the third support 192 .

이와 같이 제1 지지대(180), 제2 지지대(190) 및 제3 지지대(192)의 적층 구조를 통해, 인공지능 소셜 로봇(100) 내부에 설치되는 제1 및 제2 액츄에이터(162, 142), 충전장치(178) 및 제어부(170) 등이 공간 효율적으로 배치될 수 있다.As described above, through the stacked structure of the first support 180, the second support 190, and the third support 192, the first and second actuators 162 and 142 installed inside the artificial intelligence social robot 100. , the charging device 178, the control unit 170, and the like can be space-efficiently arranged.

도 6는 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 내부 구성이 투시되도록 도시된 측면도이다.6 is a side view showing the internal configuration of the artificial intelligence social robot according to an embodiment of the present invention to be transparent.

도시된 바와 같이, 로봇팔 구동부(140)는 제2 액츄에이터(142)의 구동에 의해 일정한 각도 범위(예를 들어, 대략 90도 내지 120도 범위) 내에서 로봇의 전후로 회전될 수 있다. 로봇팔 구동부(140)의 회전 방향, 회전 각도, 회전 횟수 중 적어도 하나는, 로봇(100)의 현재 감성 상태, 사용자 명령에 대한 응답 내용 등에 따라 결정될 수 있다.As shown, the robot arm driving unit 140 may be rotated back and forth of the robot within a certain angle range (eg, approximately 90 degrees to 120 degrees range) by driving the second actuator 142 . At least one of the rotation direction, rotation angle, and number of rotations of the robot arm driving unit 140 may be determined according to the current emotional state of the robot 100 , response contents to a user command, and the like.

도 7은 본 고안의 일 실시예에 따른 인공지능 소셜 로봇의 하측의 구성을 도시한 저면도이다.7 is a bottom view showing the configuration of the lower side of the artificial intelligence social robot according to an embodiment of the present invention.

도시된 바와 같이, 인공지능 소셜 로봇(100)의 바닥부에는 로봇의 이동(예를 들어, 전진, 후진, 회전, 멈춤 등)을 구동하기 위한 이동 구동부(160)가 설치될 수 있다. As shown, a movement driving unit 160 for driving movement (eg, forward, backward, rotation, stop, etc.) of the robot may be installed at the bottom of the artificial intelligence social robot 100 .

일 실시예에서, 이동 구동부(160)는 로봇의 바닥부의 좌측과 우측에 각각 설치된 2개의 메인 휠을 포함할 수 있다. 또한, 로봇의 바닥부의 전방측과 후방측에는 메인 휠의 동작을 이용하여 조향을 하는 2개의 옴니휠이 추가로 설치될 수 있다.In one embodiment, the movement driving unit 160 may include two main wheels installed on the left and right sides of the bottom of the robot, respectively. In addition, two omni wheels for steering using the operation of the main wheel may be additionally installed on the front side and the rear side of the bottom of the robot.

일 실시예에서, 로봇(100)이 전진하는 경우, 이동 구동부(160)의 2개의 메인 휠은, 제1 액츄에이터(162)의 구동에 따라, 동시에 로봇의 전방을 향해 회전할 수 있다. 또한, 로봇이 후진하는 경우, 이동 구동부(160)의 2개의 메인 휠은, 제1 액츄에이터(162)의 구동에 따라, 동시에 로봇의 후방을 향해 회전할 수 있다. 로봇이 좌회전 또는 우회전하는 경우, 제1 액츄에이터(162)의 구동에 따라, 이동 구동부(160)의 2개의 메인 휠 중 하나는 로봇의 후방을 향해 회전하고, 이와 동시에 나머지 하나의 메인 휠은 로봇의 전방을 향해 회전할 수 있다.In one embodiment, when the robot 100 moves forward, the two main wheels of the movement driving unit 160 may rotate toward the front of the robot at the same time according to the driving of the first actuator 162 . In addition, when the robot moves backward, the two main wheels of the movement driving unit 160 may rotate toward the rear of the robot at the same time according to the driving of the first actuator 162 . When the robot turns left or right, one of the two main wheels of the movement driving unit 160 rotates toward the rear of the robot according to the driving of the first actuator 162, and at the same time, the other main wheel of the robot It can rotate forward.

상기한 본 고안의 실시예는 예시의 목적으로 개시된 것이고, 본 고안에 대해 통상의 지식을 가진 당업자라면 본 고안의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 청구범위에 속하는 것으로 보아야 할 것이다. The embodiments of the present invention described above are disclosed for the purpose of illustration, and those skilled in the art with ordinary skill in the art will be able to make various modifications, changes and additions within the spirit and scope of the present invention, and such modifications, changes and additions are It should be considered as falling within the scope of the claims.

본 고안이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 고안의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 고안은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.Those of ordinary skill in the art to which the present invention pertains, within the scope of not departing from the technical spirit of the present invention, various substitutions, modifications and changes are possible, so the present invention is in the above-described embodiments and the accompanying drawings is not limited by

이상, 본 고안을 구체적인 실시예를 통하여 상세하게 설명하였으나, 본 고안은 상기한 실시예에 한정되지 않고, 본 고안의 기술적 사상의 범위내에서 통상의 지식을 가진 자에 의하여 여러 가지 변형이 가능하다.As mentioned above, although the present invention has been described in detail through specific embodiments, the present invention is not limited to the above-described embodiments, and various modifications are possible by those of ordinary skill within the scope of the technical spirit of the present invention. .

100: 인공지능 소셜 로봇
110: 음성 구동부
120: 표정 표시부
130: 카메라
140: 로봇팔 구동부
150: 표시부
160: 이동 구동부100: artificial intelligence social robot
110: voice driving unit
120: expression display unit
130: camera
140: robot arm driving unit
150: display
160: moving driving unit

Claims (5)

인공지능 소셜 로봇으로서,
사용자 명령어를 인식하거나 음성 또는 음악을 출력하는 음성 구동부;
상기 로봇의 현재 감성상태를 출력하는 표정 표시부;
사용자 명령어 또는 주변상황을 포함하는 영상을 촬영하는 카메라;
상기 로봇의 현재 감성상태 또는 사용자 명령어에 대한 응답 내용을 로봇팔의 동작을 통해 출력하는 로봇팔 구동부;
상기 로봇의 동작 상태를 나타내는 LED 표시부; 및
상기 로봇의 전방, 후방 또는 회전 이동을 구동하는 이동 구동부
를 포함하는, 인공지능 소셜 로봇.
As an artificial intelligence social robot,
a voice driver recognizing a user command or outputting voice or music;
an expression display unit for outputting the current emotional state of the robot;
a camera for capturing an image including a user command or a surrounding situation;
a robot arm driving unit for outputting the current emotional state of the robot or a response to a user command through the operation of the robot arm;
an LED display indicating the operating state of the robot; and
A movement driving unit for driving the forward, backward or rotational movement of the robot
Including, artificial intelligence social robot.
 제1항에 있어서,
상기 표정 표시부는, 상기 로봇의 감성 상태를 나타내도록 하나 이상의 눈 표정을 출력하는 LED 디스플레이를 포함하는, 인공지능 소셜 로봇.
The method of claim 1,
The facial expression display unit, artificial intelligence social robot comprising an LED display for outputting one or more eye expressions to indicate the emotional state of the robot.
 제1항에 있어서,
상기 로봇팔 구동부는, 상기 로봇의 현재 감성상태 또는 사용자 명령어에 대한 응답 내용을 나타내도록 로봇팔의 회전 동작을 구동하는, 인공지능 소셜 로봇.
The method of claim 1,
The robot arm driving unit, an artificial intelligence social robot that drives the rotational operation of the robot arm to indicate the current emotional state of the robot or response contents to a user command.
 제1항에 있어서,
상기 LED 표시부는, 상기 로봇의 동작 상태를 나타내도록 하나 이상의 색상 또는 ON/OFF 기능을 갖는 LED를 포함하는, 인공지능 소셜 로봇.
The method of claim 1,
The LED display unit, artificial intelligence social robot comprising an LED having one or more colors or ON/OFF functions to indicate the operating state of the robot.
 제1항에 있어서,
상기 이동 구동부는, 상기 로봇의 전방, 후방 또는 회전 이동을 구동하는 2개의 메인 휠, 및 상기 메인 휠의 이동을 이용하여 조향을 실행하는 하나 이상의 옴니휠을 포함하는, 인공지능 소셜 로봇.The method of claim 1,
The movement driving unit, artificial intelligence social robot comprising two main wheels for driving the front, rear or rotational movement of the robot, and one or more omni wheels for steering by using the movement of the main wheel.
KR2020210002355U 2020-07-24 2021-07-26 Ai social robot representing emotion based on voice and vision recognition KR20220000300U (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200002701 2020-07-24
KR2020200002701 2020-07-24

Publications (1)

Publication Number Publication Date
KR20220000300U true KR20220000300U (en) 2022-02-04

Family

ID=80254508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR2020210002355U KR20220000300U (en) 2020-07-24 2021-07-26 Ai social robot representing emotion based on voice and vision recognition

Country Status (1)

Country Link
KR (1) KR20220000300U (en)

Similar Documents

Publication Publication Date Title
US9821457B1 (en) Adaptive robotic interface apparatus and methods
JP5784027B2 (en) Social robot
JP7400923B2 (en) Information processing device and information processing method
JP2007069302A (en) Action expressing device
JP2003266351A (en) Robot device and motion control method therefor
JP2011000681A (en) Communication robot
JP2019008510A (en) Robot, robot control method and program
US11833682B2 (en) Robot, method, and manipulating system
CN113183133B (en) Gesture interaction method, system, device and medium for multi-degree-of-freedom robot
WO2018020889A1 (en) Robot
JP2006212717A (en) Robot device
Lazzeri et al. Towards a believable social robot
US20240116185A1 (en) Robotic Platform for Interactive Play Using a Telepresence Robot Surrogate
KR20190100703A (en) Speaker with motion recognition technology using artificial intelligence and control method therefore
JP4635398B2 (en) Robot equipment
Woo et al. Facial and gestural expression generation for robot partners
Hackel et al. Humanoid robot platform suitable for studying embodied interaction
JP2024009862A (en) Information processing apparatus, information processing method, and program
JP7320240B2 (en) robot
US20180110326A1 (en) Movable table
KR20220000300U (en) Ai social robot representing emotion based on voice and vision recognition
JP2007125629A (en) Robot device and motion control method
Shaikh et al. Voice assisted and gesture controlled companion robot
US20210221005A1 (en) Integrated System Design For A Mobile Manipulation Robot With Socially Expressive Abilities
Andrews et al. Low-Cost Robotic Arm for differently abled using Voice Recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application