KR102468421B1

KR102468421B1 - tendon-driven haptic device

Info

Publication number: KR102468421B1
Application number: KR1020210031623A
Authority: KR
Inventors: 이이수; 박재영; 백시연
Original assignee: 한국과학기술연구원
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-11-21
Also published as: KR20220127068A

Abstract

실시예들은 모듈 프레임; 도르래를 갖는 복수의 와이어 디렉터(wire director); 상기 모듈 프레임의 일 측면과 타 측면 사이에 설치된 가이드 바; 상기 가이드 바를 따라 슬라이드 이동하는 와이어 그리퍼 쌍 - 상기 와이어 그리퍼 쌍 중 하나는 모터에 연결된 구동 와이어와 연결되고, 상기 와이어 그리퍼 쌍 중 다른 하나는 외피 층 상에 배치된 힘줄 와이어와 연결됨; 상기 와이어 그리퍼 쌍 사이에 가이드 바를 따라 배치된 스프링; 및 상기 와이어 그리퍼 쌍 중 적어도 하나의 이동을 감지하는 적어도 하나의 포텐셔미터를 포함하는 센서 모듈, 이를 포함한 힘줄-구동 햅틱 장치 및 이를 포함한 햅틱 시스템에 관련된다. Embodiments include a module frame; a plurality of wire directors having pulleys; a guide bar installed between one side and the other side of the module frame; a pair of wire grippers sliding along the guide bar, one of the pair of wire grippers being connected to a drive wire connected to a motor, and the other of the pair of wire grippers being connected to a tendon wire disposed on the sheath layer; a spring disposed along a guide bar between the pair of wire grippers; and a sensor module including at least one potentiometer for sensing movement of at least one of the pair of wire grippers, a tendon-driven haptic device including the same, and a haptic system including the same.

Description

Tendon-driven haptic device {tendon-driven haptic device}

실시예들은 사용자의 손에 장착 가능한 햅틱 장치에 관한 발명으로서, 보다 상세하게는 손 동작을 구현하기 위한 역감 피드백(kinesthetic feedback)과 사용자가 가상 객체와 상호작용 시에 상기 가상 객체와 실제로 접촉하는 느낌의 촉감 피드백(cutaneous feedback)을 제공하는 햅틱 장치에 관한 것이다.Embodiments are inventions related to a haptic device that can be mounted on a user's hand, and more specifically, kinesthetic feedback for implementing hand motions and the feeling of actually contacting a virtual object when a user interacts with the virtual object It relates to a haptic device that provides tactile feedback.

가상 환경에서 가상 객체와의 접촉에 따른 촉감 자극을 전달하는 장치에 대한 연구가 활발히 진행되고 있다.Research on a device for transmitting tactile stimulation according to contact with a virtual object in a virtual environment is being actively conducted.

현실 공간에서 손을 이동시키면 센서를 통해 손의 위치를 감지하고, 감지된 위치를 가상 공간 상의 위치로 반영됨에 따라 현실 공간의 손이 가상 객체와 상호 작용할 수 있다.When the hand is moved in the real space, the position of the hand is detected through a sensor, and the detected position is reflected as a position in the virtual space, so that the hand in the real space can interact with the virtual object.

가상 객체와의 상호 작용 중에 만지고자 하는 가상 객체와의 접촉 또는 비접촉에 따라 기계적으로 접촉 또는 비접촉 배치로 전환이 가능한 다양한 장치들이 개발되었다.Various devices capable of mechanically switching to a contact or non-contact arrangement according to contact or non-contact with a virtual object to be touched during interaction with the virtual object have been developed.

도 1은 종래의 촉감 피드백을 제공하는 햅틱 장치의 개략도이다. 1 is a schematic diagram of a conventional haptic device providing tactile feedback.

예를 들어, 종래의 촉감 피드백을 제공하는 햅틱 장치(한국 등록특허공보 제10-2034023호 (2019.10.14.))는 촉감 피드백을 제공하는 착용형 장치로서, 가상 객체와의 상호 작용에 따른 촉감 자극을 손가락에 전달할 수 있었다. For example, a conventional haptic device that provides tactile feedback (Korean Patent Registration No. 10-2034023 (2019.10.14.)) is a wearable device that provides tactile feedback, and provides a sense of touch according to interaction with a virtual object. Stimuli could be transmitted to the fingers.

그러나, 사용자가 가상 공간에서 가상 객체와 상호작용할 경우, 가상 객체는 실체가 없어 가상 객체의 형체를 감싸는 손동작을 사용자 스스로 직접해야 한다. 가상 객체의 형체에 매칭하지 않는 손동작(예를 들어, 가상 객체의 표면을 뚫는 손동작)을 사용자가 취할 경우 가상 공간의 시각적 경험과 실제 손동작을 취하는 경험 간의 부조화가 발생하는 문제가 있다.However, when a user interacts with a virtual object in a virtual space, the virtual object is insubstantial, and thus the user has to directly perform a hand motion covering the shape of the virtual object. When a user takes a hand motion that does not match the shape of the virtual object (for example, a hand motion that penetrates the surface of the virtual object), there is a problem in that a visual experience of the virtual space and an experience of taking an actual hand motion are mismatched.

한국 등록특허공보 제10-2034023호 (2019.10.14.)Korean Patent Registration No. 10-2034023 (2019.10.14.)

본 발명은 종래의 햅틱 장치의 한계를 해결하기 위해, 가상 객체의 형체에 매칭하는 손 동작을 구현하기 위한 역감 피드백(kinesthetic feedback)과 사용자가 가상 객체와 상호작용 시에 상기 가상 객체와 실제로 접촉하는 느낌의 촉감 피드백(cutaneous feedback)을 제공 가능한 햅틱 장치를 제공한다. In order to solve the limitations of conventional haptic devices, the present invention provides kinesthetic feedback for realizing a hand motion matching the shape of a virtual object and actual contact with the virtual object when the user interacts with the virtual object. A haptic device capable of providing cutaneous feedback of a feeling is provided.

이 외에도, 상기 햅틱 장치를 통해 사용자에게 역감 피드백과 촉감 피드백을 제공하여 가상 공간과 사용자를 상호작용시키는 햅틱 시스템을 제공한다. In addition to this, a haptic system is provided that allows the user to interact with the virtual space by providing kinetic feedback and tactile feedback to the user through the haptic device.

본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 측면에 따른 센서 모듈은 사용자의 손에 장착 가능한 외피에 부착된 와이어가 배치되어 있는 손가락의 구조 변화를 감지한다. 상기 센서 모듈은: 모듈 프레임; 도르래를 갖는 복수의 와이어 디렉터(wire director); 상기 모듈 프레임의 일 측면과 타 측면 사이에 설치된 가이드 바; 상기 가이드 바를 따라 슬라이드 이동하는 와이어 그리퍼 쌍 - 상기 와이어 그리퍼 쌍 중 하나는 모터에 연결된 구동 와이어와 연결되고, 상기 와이어 그리퍼 쌍 중 다른 하나는 외피 층 상에 배치된 힘줄 와이어와 연결됨; 상기 와이어 그리퍼 쌍 사이에 가이드 바를 따라 배치된 스프링; 및 상기 와이어 그리퍼 쌍 중 적어도 하나의 이동을 감지하는 적어도 하나의 포텐셔미터를 포함할 수도 있다. The sensor module according to one aspect of the present invention detects a change in the structure of a finger in which a wire attached to an outer shell that can be mounted on a user's hand is disposed. The sensor module includes: a module frame; a plurality of wire directors having pulleys; a guide bar installed between one side and the other side of the module frame; a pair of wire grippers sliding along the guide bar, one of the pair of wire grippers being connected to a drive wire connected to a motor, and the other of the pair of wire grippers being connected to a tendon wire disposed on the sheath layer; a spring disposed along a guide bar between the pair of wire grippers; and at least one potentiometer sensing movement of at least one of the pair of wire grippers.

일 실시예에서, 상기 모듈 프레임의 일 측단면에 복수의 포텐셔미터가 배치되고, 상기 한 쌍의 와이어 그리퍼 중 적어도 하나는 상기 복수의 포텐셔미터 사이의 틈(gap)을 따라 이동 가능하도록 결합한 것일 수도 있다.In one embodiment, a plurality of potentiometers may be disposed on one end surface of the module frame, and at least one of the pair of wire grippers may be coupled to be movable along a gap between the plurality of potentiometers.

일 실시예에서, 사용자의 손 동작에 의해 힘줄 와이어에 장력이 가해지고 상기 모터가 구동 와이어를 감으면, 힘줄 와이어에 연결된 와이어 그리퍼와 모터와 연결된 다른 와이어 그리퍼는 서로 반대 방향으로 이동하는 것일 수도 있다.In one embodiment, when tension is applied to the tendon wire by a user's hand motion and the motor winds the drive wire, the wire gripper connected to the tendon wire and the other wire gripper connected to the motor may move in opposite directions. .

본 발명의 다른 일 측면에 따른 힘줄-구동 햅틱 장치는 상술한 실시예들에 따른 센서 모듈을 포함한다. 상기 힘줄-구동 햅틱 장치는, 상기 사용자의 손에 장착되는 복수의 외피 층 - 복수의 외피 층 각각은 적어도 하나의 손가락을 커버하는 형태를 가짐; 상기 외피 층의 커버 부분 상에 배치된 복수의 힘줄 와이어 - 상기 복수의 힘줄 와이어는 역감 피드백(kinesthetic feedback)용 힘줄 와이어를 포함함; 상기 복수의 힘줄 와이어를 고정하는 복수의 고정구; 상기 복수의 힘줄 와이어와 간접적으로 연결된 복수의 모터를 포함한 액추에이터 모듈 더 포함할 수도 있다. 상기 복수의 힘줄 와이어 각각은 와이어 그리퍼 쌍 중 어느 하나에 연결되어 다른 하나에 연결된 구동 와이어를 통해 모터에 간접적으로 연결된다. A tendon-driven haptic device according to another aspect of the present invention includes the sensor module according to the above-described embodiments. The tendon-driven haptic device may include a plurality of skin layers mounted on the user's hand, each of the plurality of skin layers covering at least one finger; a plurality of tendon wires disposed on the covering portion of the skin layer, the plurality of tendon wires including tendon wires for kinesthetic feedback; a plurality of fixtures for fixing the plurality of tendon wires; An actuator module including a plurality of motors indirectly connected to the plurality of tendon wires may be further included. Each of the plurality of tendon wires is indirectly connected to a motor through a drive wire connected to one of the pair of wire grippers and connected to the other.

일 실시예에서, 상기 복수의 힘줄 와이어 중 일부와 다른 일부는 서로 다른 외피 층의 표면 상에 배치될 수도 있다.In one embodiment, some and other portions of the plurality of tendon wires may be disposed on different surfaces of skin layers.

일 실시예에서, 상기 복수의 모터 중 일부는 촉감 피드백을 제공하고 다른 일부는 역감 피드백을 제공하도록 구동할 수도 있다.In one embodiment, some of the plurality of motors may be driven to provide tactile feedback and others to provide inverse feedback.

일 실시예에서, 서로 다른 모터가 동일한 손가락에 역감 피드백을 제공할 경우, 서로 다른 모터는 상기 동일한 손가락의 서로 다른 관절에서 서브 역감 피드백을 렌더링하도록 구동하고, 상기 서로 다른 모터에 대응한 힘줄 와이어는 서로 다른 외피 층에 각각 배치되는 것일 수도 있다.In one embodiment, when different motors provide force feedback to the same finger, different motors drive to render sub-force feedback at different joints of the same finger, and the tendon wires corresponding to the different motors are They may be disposed on different skin layers, respectively.

일 실시예에서, 상기 역감 피드백용 힘줄 와이어는 MCP 관절과 PIP 관절에 역감 피드백을 각각 제공하기 위한 힘줄 와이어들을 포함하고, 상기 MCP 관절에 역감 피드백을 제공하기 위한 힘줄 와이어와 상기 사용자의 손가락의 PIP 관절에 역감 피드백을 제공하기 위한 힘줄 와이어는 서로 다른 외피 층의 표면 상에 배치되는 것일 수도 있다.In one embodiment, the tendon wire for force feedback includes tendon wires for providing force feedback to the MCP joint and the PIP joint, respectively, and the tendon wire for providing force feedback to the MCP joint and the PIP of the user's finger. The tendon wire for providing force feedback to the joint may be disposed on the surface of different skin layers.

일 실시예에서, 상기 손가락과 다른 손가락의 DIP 관절에 역감 피드백용 힘줄 와이어는 복수의 외피 층 중 어느 하나의 외피 층 표면 상에 배치되는 것일 수도 있다.In one embodiment, the tendon wire for dynamic feedback to the DIP joint of the finger and other fingers may be disposed on the surface of any one of the plurality of skin layers.

일 실시예에서, 상기 복수의 튜브는 적어도 한 쌍의 튜브를 포함할 수도 있다. 상기 한 쌍의 튜브는 DIP, MCP 또는 PIP 관절을 중심으로 이격 설치되고, 상기 한 쌍의 튜브 중 어느 하나로 인입되어 다른 하나를 통과한 힘줄 와이어의 일 단과 타 단은 서로 교차 배치된다. In one embodiment, the plurality of tubes may include at least one pair of tubes. The pair of tubes are installed spaced apart from each other around the DIP, MCP or PIP joint, and one end and the other end of the tendon wire introduced into one of the pair of tubes and passing through the other are disposed to cross each other.

일 실시예에서, 상기 힘줄-구동 햅틱 장치는 커버 부분의 일부에 접촉하는 접촉판; 상기 접촉판에 연결된 촉감 피드백(cutaneous feedback)용 힘줄 와이어; 및 상기 촉감 피드백용 힘줄 와이어의 장력을 제어하는 적어도 하나의 모터를 더 포함할 수도 있다.In one embodiment, the tendon-driven haptic device includes a contact plate contacting a portion of a cover portion; a tendon wire for cutaneous feedback connected to the contact plate; and at least one motor controlling the tension of the tendon wire for tactile feedback.

일 실시예에서, 상기 촉감 피드백용 힘줄 와이어는 상기 복수의 와이어 디렉터 중 일부를 통해 상기 외피 층 상의 고정구로부터 상기 적어도 하나의 모터로 연결되는 것일 수도 있다.In one embodiment, the tendon wire for tactile feedback may be connected from a fixture on the skin layer to the at least one motor through some of the plurality of wire directors.

본 발명의 또 다른 일 측면에 따른 햅틱 시스템은 상술한 실시예들에 따른 힘줄-구동 햅틱 장치; 손가락의 위치를 추적하는 위치 센서; 및 가상 객체의 표면과 손가락 간의 접촉에 따른 접촉력에 대응한 대상 햅틱 피드백(desired haptic feedback)을 렌더링하기 위한 제어 명령을 생성하여 상기 힘줄-구동 햅틱 장치에 입력하는 제어기를 포함한다. 상기 제어기는, 상기 접촉력에 기초하여 역감 피드백을 렌더링하기 위한 제어 명령을 생성하고, 상기 접촉력에 기초하여 촉감 피드백을 렌더링하기 위한 제어 명령을 생성한다. A haptic system according to another aspect of the present invention includes a tendon-driven haptic device according to the above-described embodiments; a position sensor that tracks the position of a finger; and a controller generating a control command for rendering a desired haptic feedback corresponding to a contact force according to contact between the finger and the surface of the virtual object, and inputting the generated control command to the tendon-driven haptic device. The controller generates a control command for rendering force feedback based on the contact force and generates a control command for rendering tactile feedback based on the contact force.

일 실시예에서, 상기 접촉력은 손가락과 접촉하는 가상 객체의 표면 강도(stiffness), 3차원 가상 공간에서 접촉 손가락의 가상 프록시(proxy)에서의 접촉 위치 및 접촉 손가락의 가상 객체에서의 접촉 위치에 기초하여 계산될 수도 있다.In one embodiment, the contact force is based on a surface stiffness of a virtual object in contact with the finger, a contact position in a virtual proxy of the contact finger in a three-dimensional virtual space, and a contact position in the virtual object of the contact finger. may be calculated.

일 실시예에서, 상기 제어기는, 상기 촉감 렌더링 명령을 생성하기 위해, 상기 접촉력에 기초하여 접촉 손가락에 대한 촉감력을 상기 접촉 손가락에서의 촉감 피드백으로서 계산하고, 상기 접촉 손가락에 대한 촉감력에 대응한 모터의 토크를 계산하여 촉감 피드백을 위한 제어 명령을 생성하며, 그리고 상기 촉감 피드백을 위한 제어 명령을 상기 접촉 손가락의 촉감 피드백을 위한 모터에 입력하도록 구성될 수도 있다. In one embodiment, the controller calculates a tactile force with respect to the contact finger based on the contact force as tactile feedback in the contact finger, and corresponds to the tactile force with respect to the contact finger, to generate the tactile rendering command. It may be configured to calculate a torque of a motor to generate a control command for tactile feedback, and input the control command for tactile feedback to a motor for tactile feedback of the contact finger.

일 실시예에서, 상기 역감 피드백을 위한 모터는 상기 접촉 손가락의 복수의 관절 각각에서의 역감 피드백을 렌더링할 관절별 모터들을 포함한다. 상기 제어기는, 상기 역감 렌더링 명령을 생성하기 위해, 상기 접촉력에 기초하여 각 관절에서의 서브 역감 피드백을 계산하고, 각 관절에서의 서브 역감 피드백에 대응한 모터의 토크를 각각 계산하여 각 관절에서의 서브 역감 피드백을 위한 제어 명령을 생성하며, 그리고 각 관절에서의 서브 역감 피드백을 위한 제어 명령을 해당 모터에 각각 입력하도록 구성될 수도 있다. 각 관절에서의 서브 역감 피드백의 총 합은 가상 객체의 형상에 매칭하도록 상기 접촉 손가락의 구조를 유지하는 힘에 대응한다. In one embodiment, the motor for the force feedback includes motors for each joint to render the force feedback at each of a plurality of joints of the contact finger. The controller calculates sub-force feedback at each joint based on the contact force and calculates a motor torque corresponding to the sub-force feedback at each joint to generate the force rendering command. It may be configured to generate a control command for sub-force feedback, and to input control commands for sub-force feedback at each joint to corresponding motors. The total sum of the sub-force feedback at each joint corresponds to the force holding the structure of the contact finger to match the shape of the virtual object.

일 실시예에서, 상기 제어기는, 상기 토크를 계산하기 위해, 상기 서브 역감 피드백의 힘에 대응하는, 상기 서브 역감 피드백을 위한 모터에 연결된 와이어의 장력을 계산하고, 상기 와이어의 장력에 기초하여 상기 모터의 토크를 계산할 수도 있다.In one embodiment, the controller calculates the tension of a wire connected to the motor for the sub-force feedback, corresponding to the force of the sub-force feedback, to calculate the torque, and based on the tension of the wire, You can also calculate the torque of the motor.

본 발명의 일 측면에 따른 햅틱 장치는 사용자가 가상 객체와 접촉하여도 실제로 접촉하는 것에 대응한, 사용자에게 촉각 측면에서 실감나는 촉감 피드백을 제공할 수 있다. The haptic device according to one aspect of the present invention may provide realistic tactile feedback to the user in terms of tactile sense, corresponding to actual contact even when the user makes contact with the virtual object.

또한, 상기 힘줄-구동 햅틱 장치(1)는, 가상 객체와 접촉하는 동안 손가락의 구조가 가상 객체의 표면을 뚫고 들어가는 것을 방지하고 구조적 매칭을 유지하는 역감 피드백을 제공함으로써, 사용자의 시각적 감각과 손가락 구조를 구현하는 신경적 감각 간의 불일치를 최소화하여 가상 객체의 상호작용에 있어 이질감을 경험하지 않게 한다. In addition, the tendon-driven haptic device 1 prevents the structure of the finger from penetrating the surface of the virtual object while in contact with the virtual object and provides kinetic feedback to maintain structural matching, thereby improving the user's visual sense and finger By minimizing the discrepancy between the neural senses that implement the structure, you do not experience a sense of heterogeneity in the interaction of virtual objects.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

도 1은, 종래의 햅틱 장치의 개략도이다.
도 2는, 본 발명의 일 실시예에 따른, 햅틱 장치의 개략도이다.
도 3은, 도 2의 햅틱 장치의 촬영 이미지이다.
도 4a 및 도 4b는, 본 발명의 일 실시예에 따른, 역감 피드백을 제공하기 위한 힘줄 와이어와 고정구를 도시한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 촉감 피드백을 제공하기 위한 힘줄 와이어와 고정구를 도시한 도면이다.
도 6a 내지 도 6c는, 본 발명의 일 실시예에 따른, 액추에이터 모듈과 센서 모듈의 개략도이다.
도 7a 및 도 7b는, 본 발명의 일 실시예에 따른, 힘줄-구동 햅틱 장치(1)를 착용한 사용자의 손 동작에 따라 제공되는 햅틱 피드백의 개념도이다.
도 8은, 본 발명의 일 실시예에 따른, 힘줄-구동 햅틱 장치와 연동된 햅틱 시스템 아키텍처를 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 햅틱 장치의 햅틱 피드백 렌더링 메커니즘의 개략도이다.
도 10은 햅틱 피드백이 렌더링되지 않는 상태의 손가락을 도시한다.
도 11은 도 10의 상태 하에서 동작하는 액추에이터 모듈과 센서 모듈의 평면도 및 측면도이다.
도 12는 햅틱 패드빅에 렌더링될 상태의 손가락을 도시한다.
도 13은 도 12의 상태 하에서 동작하는 액추에이터 모듈과 센서 모듈의 평면도 및 측면도이다.1 is a schematic diagram of a conventional haptic device.
2 is a schematic diagram of a haptic device, according to one embodiment of the present invention.
FIG. 3 is a captured image of the haptic device of FIG. 2 .
4A and 4B are diagrams of tendon wires and fixtures for providing force feedback according to one embodiment of the present invention.
5 is a diagram illustrating a tendon wire and fastener for providing tactile feedback according to one embodiment of the present invention.
6A-6C are schematic diagrams of an actuator module and a sensor module, according to one embodiment of the present invention.
7A and 7B are conceptual diagrams of haptic feedback provided according to a motion of a user's hand wearing the tendon-driven haptic device 1 according to an embodiment of the present invention.
8 is a diagram illustrating a haptic system architecture associated with a tendon-driven haptic device, in accordance with one embodiment of the present invention.
9 is a schematic diagram of a haptic feedback rendering mechanism of a haptic device, according to an embodiment of the present invention.
10 shows a finger with no haptic feedback being rendered.
FIG. 11 is a plan view and a side view of an actuator module and a sensor module operating under the condition of FIG. 10 .
12 shows the finger as it will be rendered on the haptic padbig.
13 are plan and side views of an actuator module and a sensor module operating under the condition of FIG. 12;

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 촉감 자극 생성 장치 및 시스템을 설명한다. 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 하나의 실시 예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용은 제한되지 않는다.Hereinafter, a tactile stimulus generating apparatus and system according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings. Although the present invention has been described with reference to the embodiments shown in the drawings, this will be described as one embodiment, whereby the technical spirit of the present invention and its core configuration and operation are not limited.

도 2는, 본 발명의 일 실시예에 따른, 햅틱 장치의 개략도이고, 도 3은 도 2의 햅틱 장치의 촬영 이미지이다. 2 is a schematic diagram of a haptic device according to an embodiment of the present invention, and FIG. 3 is a captured image of the haptic device of FIG. 2 .

도 2 및 도 3을 참조하면, 햅틱 시스템은 힘줄-구동 햅틱 장치(1) 및 이를 제어하는 제어기(controller)(미도시)를 포함한다. 상기 힘줄-구동 햅틱 장치(1)는 사용자의 손에 장착되는 외피 인터페이스; 액추에이터 모듈(300)을 포함한다. 특정 실시예들에서, 상기 힘줄-구동 햅틱 장치(1)는 센서 모듈(500)을 더 포함할 수도 있다. Referring to FIGS. 2 and 3 , the haptic system includes a tendon-driven haptic device 1 and a controller (not shown) controlling the same. The tendon-driven haptic device 1 includes a sheath interface mounted on a user's hand; The actuator module 300 is included. In certain embodiments, the tendon-driven haptic device 1 may further include a sensor module 500 .

실시예들에 따른 햅틱 시스템은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치 또는 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”, “장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.A haptic system according to embodiments may have aspects that are entirely hardware, entirely software, or partly hardware and partly software. For example, a device or system may collectively refer to hardware equipped with data processing capability and operating software for driving the hardware. In this specification, terms such as "unit", "module", "device", or "system" are intended to refer to a combination of hardware and software driven by the hardware. For example, the hardware may be a data processing device including a Central Processing Unit (CPU), a Graphic Processing Unit (GPU), or another processor. Also, software may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.

힘줄-구동 햅틱 장치(1)는 착용한 사용자의 손가락에서 햅틱 피드백을 렌더링하여 상기 사용자에게 햅틱 피드백을 제공한다. 제공되는 햅틱 피드백의 유형은 촉감 피드백(cutaneous feedback)과 역감 피드백(kinesthetic feedback)을 포함한다. The tendon-driven haptic device 1 provides haptic feedback to the user by rendering haptic feedback from a user's finger. The types of haptic feedback provided include cutaneous feedback and kinesthetic feedback.

사람이 손으로 실제 객체와 접촉하는 경우 (예컨대, 실제 객체를 감싸는 경우) 사람의 손가락 또는 손바닥에는 실제 객체의 표면과 신체 부분 간의 접촉력(contact force)이 가해진다. When a person touches a real object with a hand (eg, when wrapping the real object), a contact force between a surface of the real object and a body part is applied to a person's finger or palm.

이 접촉력에 의해 실제 객체의 형상에 사람의 손이 구조적으로 매칭하도록 유지된다. This contact force keeps the human hand structurally matched to the shape of the real object.

한편, 위의 상황에서 사람은 객체와 접촉하는 신체 부분의 피부를 자극하는 촉감 측면의 힘(이하, 촉감력(cutaneous force))을 동시에 경험한다. Meanwhile, in the above situation, a person simultaneously experiences a tactile force (hereinafter referred to as cutaneous force) that stimulates the skin of a body part in contact with an object.

상기 힘줄-구동 햅틱 장치(1)는 가상의 객체와 힘줄-구동 햅틱 장치(1)를 장착한 사람의 손가락이 접촉할 경우, 가상의 객체를 실제로 접촉하는 것과 동일한 촉감 피드백을 제공한다. 또한, 상기 힘줄-구동 햅틱 장치(1)는 실제로 형상이 없는 가상의 객체를 실제로 접촉하는 것과 동일한 구조적 매칭을 유지하기 위한 역감 피드백을 제공한다. The tendon-driven haptic device 1 provides the same tactile feedback as actually contacting the virtual object when a virtual object and a finger of a person wearing the tendon-driven haptic device 1 contact each other. In addition, the tendon-driven haptic device 1 provides force feedback for maintaining the same structural matching as actually contacting a virtually shapeless virtual object.

외피 인터페이스는 복수의 외피층(100, 200), 복수의 힘줄 와이어(tendon wire)(111, 114, 211) 및 복수의 고정구(121, 124, 221, 123, 126, 223)를 포함한다. The skin interface includes a plurality of skin layers (100, 200), a plurality of tendon wires (111, 114, 211) and a plurality of fasteners (121, 124, 221, 123, 126, 223).

외피 인터페이스는 내층 외피(100)와 외층 외피(200)를 포함한, 이중층(bi-layer) 구조를 가질 수도 있다. The shell interface may have a bi-layer structure including an inner shell 100 and an outer shell 200 .

외피층(100 또는 200)은 적어도 하나의 손가락을 커버하는 외피 형태를 가진다. 커버된 손가락은 랜더링 대상 손가락으로서, 커버된 손가락에 햅틱 피드백이 제공된다. The outer skin layer 100 or 200 has an outer skin shape covering at least one finger. The covered finger is a rendering target finger, and haptic feedback is provided to the covered finger.

외피층(100 또는 200)에서 역감 피드백이 제공될 손가락은 적어도 하나의 관절이 외피층(100 또는 200)에 의해 커버될 수도 있다. 여기서, 외피층(100 또는 200)에 의한 커버는 손가락의 단면 둘레를 따라 일부 또는 전부 커버하는 것을 의미한다. In the outer skin layer 100 or 200 , at least one joint of the finger to which force feedback is to be provided may be covered by the outer skin layer 100 or 200 . Here, the cover by the outer skin layer 100 or 200 means to partially or entirely cover along the circumference of the cross section of the finger.

적어도 하나의 관절이 커버되면, 해당 관절에서 역감 피드백이 렌더링되어, 커버된 손가락에 대해 햅틱 피드백이 제공된다. 역감 피드백이 렌더링되는 관절은 DIP, MCP 및 PIP 중 적어도 하나를 포함한다. 여기서 엄지의 DIP 관절은 IP-관절(interphalangeal joint)을 의미한다. When at least one joint is covered, force feedback is rendered at that joint, providing haptic feedback for the covered finger. The joint for which force feedback is rendered includes at least one of DIP, MCP and PIP. Here, the DIP joint of the thumb means the IP-joint (interphalangeal joint).

일 실시예에서, 상기 관절은 손가락별로 상이할 수도 있다. 예를 들어, 검지에서 역감 피드백이 렌더링되는 관절은 PIP 및/또는 MCP를 포함할 수도 있다. 엄지에서 역감 피드백이 렌더링되는 과절은 DIP를 포함할 수도 있다.In one embodiment, the joint may be different for each finger. For example, the joint at which force feedback is rendered in the index finger may include the PIP and/or the MCP. The section where force feedback is rendered in the thumb may include a DIP.

외피층(100 또는 200)에서 촉감 피드백이 제공될 손가락은 객체와 접촉하는 부분이 커버될 수도 있다. The outer skin layer 100 or 200 may cover a portion of a finger to which tactile feedback is to be provided, which contacts an object.

특정 실시예들에서, 촉감 피드백이 렌더링되는 손가락의 부분은 실제 객체와 접촉되는 부분으로서, 예를 들어 지문 부분과 같이 손가락끝의 내측 부분일 수도 있다. 가상 객체와의 접촉도 이 부분에서 발생할 것이므로, 손가락끝의 내측 부분에서 촉감 피드백이 렌더링되면 사용자는 평소에 실제 객체와 접촉할 때 느끼는 감각을 가상 객체와 상호작용하면서 경험한다.In certain embodiments, the portion of the finger for which tactile feedback is rendered is a portion that comes into contact with a real object, and may be, for example, an inner portion of the fingertip, such as a fingerprint portion. Since contact with the virtual object also occurs at this part, when the tactile feedback is rendered at the inner part of the fingertip, the user experiences the sensation of contacting the real object while interacting with the virtual object.

각 층(100 또는 200)이 커버하는 손가락은 층별로 동일하거나, 또는 적어도 부분적으로 상이할 수도 있다. Fingers covered by each layer 100 or 200 may be the same or at least partially different for each layer.

복수의 힘줄 와이어는 손가락의 관절을 움직이거나, 또는 접촉판(400)을 움직이도록 연결된다. A plurality of tendon wires are connected to move a finger joint or to move the contact plate 400 .

힘줄 와이어는 내구성과 유연성을 갖는 물질로 이루어진다. 예를 들어, 힘줄 와이어는 폴리 에틸렌으로 이루어질 수도 있으나, 이에 제한되진 않는다. The tendon wire is made of a material that is durable and flexible. For example, the tendon wire may be made of polyethylene, but is not limited thereto.

복수의 고정구(121, 124, 221, 123, 126, 223)는 복수의 힘줄 와이어(111, 114, 211)를 외피층(100 또는 200) 상에 고정한다. A plurality of fixtures 121 , 124 , 221 , 123 , 126 , and 223 fix the plurality of tendon wires 111 , 114 , and 211 onto the outer skin layer 100 or 200 .

복수의 고정구 중 일부(121, 124, 221)는 힘줄 와이어가 관통하는 튜브 형태를 가진다. 복수의 고정구 중 다른 일부(123, 126, 223)는 튜브(121, 124, 221)를 관통하여 다른 배치 경로를 갖는 다수의 힘줄 와이어를 동일한 위치에 고정 배치시키는 와이어 어셈블러(wire assembler) 형태를 가진다. Some of the plurality of fixtures 121, 124, and 221 have a tube shape through which a tendon wire passes. Some of the plurality of fixtures 123, 126, and 223 pass through the tubes 121, 124, and 221 and have a wire assembler form that fixes and arranges a plurality of tendon wires having different arrangement paths at the same position. .

복수의 고정구(121, 124, 221, 123, 126, 223)와 복수의 힘줄 와이어(111, 114, 211)의 배치 구조는 햅틱 피드백이 제공될 손가락의 지정에 의존한다. The arrangement structure of the plurality of fixtures 121 , 124 , 221 , 123 , 126 , and 223 and the plurality of tendon wires 111 , 114 , 211 depends on the designation of a finger to which haptic feedback is to be provided.

이하, 역감 피드백과 촉감 피드백이 제공되는 손가락은 엄지, 검지로 설정된 실시예들을 예시로 힘줄 와이어와 고정구의 배치 구조를 보다 상세하게 서술한다. Hereinafter, the arrangement structure of the tendon wire and the fixture will be described in more detail by taking examples in which the thumb and index finger are set as fingers providing dynamic feedback and tactile feedback.

도 4a 및 도 4b는, 본 발명의 일 실시예에 따른, 역감 피드백을 제공하기 위한 와이어와 고정구를 도시한 도면이다. 4A and 4B are diagrams of wires and fixtures for providing force feedback according to one embodiment of the present invention.

도 4a는 내층 외피(100)를 도시한 도면이고, 도 4b는 외층 외피(200)를 도시한 도면이다. 4A is a view showing the inner layer shell 100, and FIG. 4B is a view showing the outer layer shell 200.

도 4a 및 도 4b를 참조하면, 특정 손가락(즉, 동일한 렌더링 대상 손가락)에 특정 햅틱 피드백을 제공하기 위한 복수의 힘줄 와이어(111, 211)와 고정구(121, 221, 123, 223)는 서로 다른 외피층(100 또는 200)에 배치될 수도 있다. 예를 들어, 검지에 역감 피드백을 제공하기 위한 복수의 힘줄 와이어(111, 211)와 고정구(121, 221, 123, 223) 중에서, 힘줄 와이어(111)와 고정구(121, 123)는 내층 외피(100) 상에 배치되고, 힘줄 와이어(211)와 고정구(221, 223)는 외층 외피(100) 상에 배치된다. 4A and 4B, a plurality of tendon wires 111 and 211 and fixtures 121, 221, 123, and 223 for providing a specific haptic feedback to a specific finger (ie, the same rendering target finger) are different from each other. It may be disposed on the skin layer (100 or 200). For example, among the plurality of tendon wires 111 and 211 and the fixtures 121, 221, 123 and 223 for providing force feedback to the index finger, the tendon wire 111 and the fixtures 121 and 123 have an inner layer shell ( 100), tendon wires 211 and fasteners 221, 223 are disposed on the outer layer sheath 100.

이와 같이 특정 손가락에 특정 햅틱 피드백하기 위한 힘줄 와이어와 고정구를 다수의 층 상에 분산함으로써, 개별 층의 구조를 보다 단순화하여 제작 및 구동의 편의성이 증가한다.In this way, by distributing tendon wires and fixtures for specific haptic feedback to specific fingers on a plurality of layers, the structure of individual layers is further simplified to increase manufacturing and driving convenience.

일 실시예에서, 특정 손가락에 역감 피드백을 제공하기 위해서, 해당 손가락에 배치되는 힘줄 와이어와 고정구는 상기 특정 손가락을 이루는 관절 중 적어도 하나에서 역감 피드백을 렌더링하도록 배치될 수도 있다. 예를 들어, 검지에 역감 피드백을 제공하기 위해서, 힘줄 와이어(111, 211)와 고정구(121, 221, 123, 223)는 검지의 MCP 관절과 PIP 관절에서 역감 피드백이 렌더링되도록 배치된다. In one embodiment, to provide force feedback to a particular finger, tendon wires and fixtures disposed on the finger may be arranged to render force feedback at at least one of the joints of the particular finger. For example, to provide force-feedback to the index finger, tendon wires 111, 211 and fixtures 121, 221, 123, 223 are positioned to render force-feedback at the MCP and PIP joints of the index finger.

일 실시예에서, 특정 관절에서 역감 피드백을 렌더링하기 위한 복수의 고정구는 적어도 한 쌍의 튜브를 포함한다. 예를 들어, DIP 관절, MCP 관절, PIP 관절에서 역감 피드백을 렌더링하기 위한 복수의 고정구는 도 4a 또는 도 4b에 도시된 바와 같이, 두 쌍의 튜브(111)를 포함한다. 튜브 쌍들(121, 221)은 각각 해당 관절을 중심으로 이격 설치된다. 이격 설치된 튜브 쌍들(1231, 221)에 의해 고정된 상기 한 쌍의 튜브 중 어느 하나로 인입되어 다른 하나를 통과한 힘줄 와이어의 일 단과 타 단은 서로 교차 배치된다. 도 4a에서 힘줄 와이어(111)는 MCP 관절 상단의 튜브 쌍(121) 중 어느 하나로 인입되어 다른 하나를 통과한다. 이 힘줄 와이어(111)의 일 단과 타 단은 서로 교차 배치되어, MCP 관절 하단의 튜브 쌍(121)에 각각 인입된다. In one embodiment, the plurality of fixtures for rendering force feedback at a particular joint includes at least one pair of tubes. For example, a plurality of fixtures for rendering force feedback at the DIP joint, the MCP joint, and the PIP joint include two pairs of tubes 111 as shown in FIG. 4A or 4B. The tube pairs 121 and 221 are spaced apart from each other around the corresponding joint. One end and the other end of the tendon wire, which is introduced into one of the pair of tubes fixed by the spaced apart tube pairs 1231 and 221 and passed through the other, are disposed to cross each other. In Figure 4a, the tendon wire 111 is introduced into one of the tube pairs 121 at the top of the MCP joint and passes through the other one. One end and the other end of the tendon wire 111 are disposed to cross each other, and are respectively introduced into the tube pair 121 at the bottom of the MCP joint.

이와 같이 힘줄 와이어(111, 211)를 교차 배치함으로써, 최소한의 힘줄 와이어(111, 211)를 사용해 렌더링 대상 손가락에 역감 피드백을 제공한다. By cross-arranging the tendon wires 111 and 211 in this way, a kinetic feedback is provided to the finger to be rendered using the minimum number of tendon wires 111 and 211 .

도 5는, 본 발명의 일 실시예에 따른, 촉감 피드백을 제공하기 위한 와이어와 고정구를 도시한 도면이다. 5 is a diagram illustrating wires and fixtures for providing tactile feedback according to one embodiment of the present invention.

도 5를 참조하면, 촉감 피드백을 위한 힘줄 와이어(114)는 고정구(124, 126)에 의해 고정된다. 힘줄 와이어(114)는 접촉판(400)과 연결된다. 접촉판(400)이 손가락의 피부 방향으로 이동하면 손가락에 압력이 가해진다. 힘줄-구동 햅틱 장치(1)는 힘줄 와이어114에 장력을 가하여 접촉판(400)을 통해 손가락의 표면에 접촉력을 가함으로써 접촉판 부분에서 사용자에게 국부적인 촉감 피드백을 제공한다. 힘줄-구동 햅틱 장치(1)가 촉감 피드백을 렌더링하는 것은 접촉판(400)에 의해 접촉력이 가해지는 것에 대응한다.Referring to FIG. 5 , tendon wires 114 for tactile feedback are fixed by fixtures 124 and 126 . The tendon wire 114 is connected to the contact plate 400. When the contact plate 400 moves toward the skin of the finger, pressure is applied to the finger. The tendon-driven haptic device 1 provides local tactile feedback to the user at the contact plate portion by applying a contact force to the surface of the finger through the contact plate 400 by applying tension to the tendon wire 114 . The rendering of tactile feedback by the tendon-driven haptic device 1 corresponds to the application of a contact force by the contact plate 400 .

일 실시예에서, 촉감 피드백을 위한 힘줄 와이어, 고정구(114, 124, 126)는 특정 외피층(예컨대, 100)에 배치될 수도 있다. In one embodiment, tendon wires for tactile feedback, fixtures 114, 124, 126 may be placed in a particular skin layer (eg, 100).

대안적인 실시예들에서, 상기 외피 인터페이스는 둘 이상의 외피층을 가질 수도 있다. 이 경우, 전술한 촉감 피드백과 역감 피드백을 렌더링하기 위해 둘 이상의 외피층 각각에 복수의 힘줄 와이어(111, 211, 114)와 고정구(121, 221, 123, 223, 124, 126)가 둘 이상의 외피층에 적절하게 배치될 수도 있다. In alternative embodiments, the skin interface may have more than one skin layer. In this case, a plurality of tendon wires (111, 211, 114) and fixtures (121, 221, 123, 223, 124, 126) are provided in two or more outer skin layers, respectively, to render the above-described tactile feedback and kinetic feedback. They may be placed appropriately.

액추에이터 모듈(300)은 촉감 피드백과 역감 피드백과 같은 햅틱 피드백을 제공한다. 액추에이터 모듈(300)은 제어기(미도시)로부터 제어 명령을 수신하여 동작한다. The actuator module 300 provides haptic feedback such as tactile feedback and force feedback. The actuator module 300 operates by receiving a control command from a controller (not shown).

센서 모듈(500)은 사용자의 손가락 구조의 변화를 감지하여 제어기로 감지 결과를 전송한다. 제어기는 감지 결과에 기초하여 제어 명령을 생성한다. The sensor module 500 detects a change in the structure of the user's finger and transmits the detection result to the controller. The controller generates a control command based on the sensing result.

도 6a 내지 도 6c는, 본 발명의 일 실시예에 따른, 액추에이터 모듈과 센서 모듈의 개략도이다. 6A-6C are schematic diagrams of an actuator module and a sensor module, according to one embodiment of the present invention.

도 6a는 액추에이터 모듈(300)과 센서 모듈(500)의 장착 구조의 개략도이고, 도 6b는 모터와 손가락 관절에 와이어를 통해 연결된 센서 모듈의 개략도이다. 도 6c는 도 6b의 센서 모듈의 촬영 이미지이다. 6A is a schematic diagram of a mounting structure of an actuator module 300 and a sensor module 500, and FIG. 6B is a schematic diagram of a sensor module connected to a motor and a finger joint through wires. 6C is a captured image of the sensor module of FIG. 6B.

도 6a 및 도 6b를 참조하면, 액추에이터 모듈(300)은 햅틱 피드백을 제공하는 구성요소이다. Referring to FIGS. 6A and 6B , the actuator module 300 is a component providing haptic feedback.

액추에이터 모듈(300)은 복수의 모터(310)를 포함하며, 복수의 모터(310)는 복수의 힘줄 와이어와 직접 또는 간접적으로 각각 연결된다. The actuator module 300 includes a plurality of motors 310, and the plurality of motors 310 are directly or indirectly connected to a plurality of tendon wires, respectively.

복수의 모터(310) 각각은 햅틱 피드백 종류 및/또는 렌더링 위치에 의존한다. 동일한 손가락에 대해서 촉감 피드백과 역감 피드백이 제공되는 경우, 촉감 피드백용 모터(310)와 역감 피드백용 모터(310)가 액추에이터 모듈(300)에 포함될 수도 있다. Each of the plurality of motors 310 depends on the type of haptic feedback and/or rendering position. When tactile feedback and inverse feedback are provided for the same finger, the actuator module 300 may include the motor 310 for tactile feedback and the motor 310 for inverse feedback.

또한, 동일한 손가락에 대해서 역감 피드백이 다수의 관절에서 렌더링될 경우, 각 관절별 모터(310)가 액추에이터 모듈(300)에 포함될 수도 있다. In addition, when force feedback is rendered in a plurality of joints for the same finger, the actuator module 300 may include a motor 310 for each joint.

서로 다른 모터가 동일한 손가락에 역감 피드백을 제공할 경우, 서로 다른 모터는 상기 동일한 손가락의 서로 다른 관절에서 서브 역감 피드백을 렌더링하도록 구동한다. When different motors provide force feedback to the same finger, different motors drive different joints of the same finger to render sub-force feedback.

예를 들어, 도 5와 같이 엄지와 검지에서 촉감 피드백을 렌더링하는 힘줄 와이어(124), 그리고 엄지의 DIP 관절 및 검지의 MCP 관절과 PIP 관절에서 역감 피드백을 렌더링하는 힘줄 와이어(111, 211)가 배치되면, 액추에이터 모듈(300)은 엄지의 촉감 피드백을 위한 모터(TC), 검지의 촉감 피드백을 위한 모터(IC), 검지의 PIP 관절을 위한 모터(IP), 검지의 MCP 관절을 위한 모터(IM), 및 엄지의 DIP 관절을 위한 모터(DP)를 포함할 수도 있다. For example, as shown in FIG. 5, tendon wires 124 that render tactile feedback at the thumb and index finger, and tendon wires 111 and 211 that render kinetic feedback at the DIP joint of the thumb and the MCP joint and PIP joints of the index finger When deployed, the actuator module 300 includes a motor (TC) for tactile feedback of the thumb, a motor (IC) for tactile feedback of the index finger, a motor (IP) for the PIP joint of the index finger, and a motor for the MCP joint of the index finger ( IM), and a motor DP for the DIP joint of the thumb.

일 실시예에서, 상기 복수의 모터(310)는 구동 와이어와 연결된 모터(310)를 포함할 수도 있다. In one embodiment, the plurality of motors 310 may include a motor 310 connected to a driving wire.

힘줄-구동 햅틱 모듈1은 복수의 구동 와이어를 포함한다. 복수의 구동 와이어 중 일부(311)는 내층 외피의 힘줄 와이어(111)에 대응하고, 다른 일부(321)는 외층 외피의 힘줄 와이어211에 대응한다. Tendon-driven haptic module 1 includes a plurality of drive wires. Some of the plurality of drive wires 311 correspond to tendon wires 111 of the inner sheath, and other portions 321 correspond to tendon wires 211 of the outer sheath.

구동 와이어와 연결한 모터(310)는 구동 와이어에 장력을 가하여 역감 피드백을 제공한다The motor 310 connected to the driving wire applies tension to the driving wire to provide inverse feedback.

센서 모듈(500)은 외피 층(100 또는 200)에 부착된 와이어가 배치되어 있는 손가락의 구조 변화를 감지한다. 사용자가 손가락을 움직일 경우, 해당 손가락을 커버한 외피 층(100 또는 200)에 부착된 와이어에 장력이 가해지고, 장력이 가해진 와이어에 의해 손가락 구조의 변화 여부가 감지된다. 이러한 센서 모듈(500)은 액추에이터 모듈(300)이 움직임이 감지된 사용자의 손가락 움직임에 따른 역감 피드백을 제공하게 한다. The sensor module 500 senses a change in the structure of a finger where a wire attached to the outer skin layer 100 or 200 is disposed. When a user moves a finger, tension is applied to a wire attached to the skin layer 100 or 200 covering the corresponding finger, and a change in the structure of the finger is detected by the wire to which the tension is applied. The sensor module 500 allows the actuator module 300 to provide feedback according to the motion of the user's finger whose motion is detected.

도 6a를 참조하면, 센서 모듈(500)은 모듈 프레임(501); 복수의 와이어 디렉터(510); 가이드 바(520); 적어도 하나의 포텐셔미터(potentiometer)(541 및/또는 542), 스프링(530), 및 와이어 그리퍼 쌍(521, 522)을 포함한다. Referring to Figure 6a, the sensor module 500 is a module frame 501; a plurality of wire directors 510; guide bar 520; It includes at least one potentiometer (541 and/or 542), a spring (530), and a pair of wire grippers (521, 522).

모듈 프레임(501)은 센서 모듈(500)의 구성요소(510, 520, 521, 522)를 지지하는 구성요소이다. 복수의 와이어 디렉터(510)는 도 6a에 도시된 바와 같이 모듈 프레임(501)의 적어도 하나의 측면에 설치될 수도 있다. 가이드 바(520)는 도 6a에 도시된 바와 같이 모듈 프레임(501)의 일 측면과 타 측 사이에 수평 방향으로 연장되도록 설치될 수도 있다. 적어도 하나의 포텐셔미터(541 및/또는 542)는 모듈 프레임(501)의 상단과 하단에 설치될 수도 있다. The module frame 501 is a component supporting the components 510 , 520 , 521 , and 522 of the sensor module 500 . A plurality of wire directors 510 may be installed on at least one side of the module frame 501 as shown in FIG. 6A. As shown in FIG. 6A , the guide bar 520 may be installed to extend horizontally between one side and the other side of the module frame 501 . At least one potentiometer 541 and/or 542 may be installed at the top and bottom of the module frame 501 .

와이어 디렉터(510)는 마찰 손실을 최소화하면서 힘줄 와이어의 방향을 변경하는 구성요소이다. 와이어 디렉터(510)는 도 6a 및 도 6b에 도시된 바와 같이 상부에 도르래를 포함할 수도 있다. 힘줄 와이어는 도르래에 접촉하도록 배치된다. The wire director 510 is a component that changes the direction of tendon wires while minimizing frictional losses. The wire director 510 may include a pulley thereon as shown in FIGS. 6A and 6B. The tendon wire is placed in contact with the pulley.

복수의 와이어 디렉터(510)는 모터(310)에 연결된 와이어(즉, 구동 와이어)의 방향을 변경하거나, 외피 인터페이스에 배치된 와이어(즉, 힘줄 와이어)의 방향을 변경하도록 설치된다. The plurality of wire directors 510 are installed to change the direction of wires (ie, drive wires) connected to the motor 310 or to change the direction of wires (ie, tendon wires) disposed at the sheath interface.

와이어 그리퍼(521, 522)는 가이드 바(520)를 따라 슬라이드 이동하도록 결합된다. 와이어 그리퍼 쌍 중 어느 하나(도 6a의 542)는 모터(310)에 연결된 구동 와이어321를 고정하고 나머지 하나(도 6a의 도 522)는 손가락 관절에 연결된 힘줄 와이어211를 고정한다. The wire grippers 521 and 522 are coupled to slide along the guide bar 520 . One of the pair of wire grippers (542 in FIG. 6A) fixes the drive wire 321 connected to the motor 310, and the other (522 in FIG. 6A) fixes the tendon wire 211 connected to the finger joint.

와이어 그리퍼(521, 522) 중 어느 하나(예컨대, 521)는 모듈 프레임(501)의 상단에 결합되고 다른 하나(예컨대, 522)는 모듈 프레임(501)의 하단에 결합된다. 그러면, 와이어 그리퍼521에 연결된 와이어와 접촉한 와이어 디렉터(510)의 도르래 높이와 와이어 그리퍼522에 연결된 와이어와 접촉한 와이어 디렉터(510)의 도르래 높이는 서로 상이할 수도 있다. One of the wire grippers 521 and 522 (eg, 521) is coupled to the upper end of the module frame 501 and the other (eg, 522) is coupled to the lower end of the module frame 501. Then, the pulley height of the wire director 510 in contact with the wire connected to the wire gripper 521 and the pulley height of the wire director 510 in contact with the wire connected to the wire gripper 522 may be different from each other.

도 6a 내지 6c에 도시된 바와 같이, 와이어 디렉터(510)의 개수, 및 와이어 그리퍼 쌍(521, 522)의 개수는 렌더링 위치(예컨대, 손가락 관절), 햅틱 피드백 종류(즉, 역감 피드백 또는 촉감 피드백)에 의존한다. 6A to 6C, the number of wire directors 510 and the number of wire gripper pairs 521 and 522 depend on the rendering position (eg, finger joint), the type of haptic feedback (ie, kinetic feedback or tactile feedback). ) depends on

일 실시예에서, 복수의 와이어 디렉터(510) 중 일부는 촉감 피드백용 힘줄 와이어(114)를 접촉판(400)으로부터 모터(310)로 연결하는데 사용된다. 복수의 와이어 디렉터(510) 중 다른 일부는 역감 피드백용 힘줄 와이어(111, 211)가 아래에서 서술할 와이어 그리퍼(521)에 연결하는데 사용된다. 복수의 와이어 디렉터(510) 중 또 다른 일부는 와이어 그리퍼(522)에 연결된 구동 와이어를 모터(310)에 연결하는데 사용된다. In one embodiment, some of the plurality of wire directors 510 are used to connect tendon wires 114 for tactile feedback from the contact plate 400 to the motor 310 . Other parts of the plurality of wire directors 510 are used to connect tendon wires 111 and 211 for force feedback to a wire gripper 521 to be described below. Another part of the plurality of wire directors 510 is used to connect a driving wire connected to the wire gripper 522 to the motor 310 .

전술한 바와 같이, 액추에이터 모듈(300)이 모터(TC, IC, IP, IM, TD)를 포함할 경우, 촉감 피드백용 힘줄 와이어(114)는 복수의 와이어 디렉터(510) 중 일부를 통해 모터(TC, IC)로 연결되고, 역감 피드백용 힘줄 와이어(예컨대, 211)는 복수의 와이어 디렉터(510) 중 다른 일부를 통해 와이어 그리퍼522에 연결되고, 구동 와이어(예컨대, 321)는 복수의 와이어 디렉터(510) 중 또 다른 일부를 통해 모터(310)에 연결된다. As described above, when the actuator module 300 includes the motors TC, IC, IP, IM, and TD, the tendon wires 114 for tactile feedback are connected to the motors through some of the plurality of wire directors 510. TC, IC), the tendon wire for inverse feedback (eg 211) is connected to the wire gripper 522 through another part of the plurality of wire directors 510, and the driving wire (eg 321) is a plurality of wire directors It is connected to the motor 310 through another part of 510.

스프링(530)은 와이어 그리퍼(521, 522) 사이에 배치된다. 스프링(530)의 코일은 가이드 바(520)를 따라 권선된다. The spring 530 is disposed between the wire grippers 521 and 522. A coil of the spring 530 is wound along the guide bar 520 .

포텐셔미터(541, 542)는 사용자의 손가락 동작에 따라 이동하는 구성요소의 움직임을 감지한다. 일 실시예에서, 적어도 하나의 포텐셔미터가 상기 와이어 그리퍼 쌍 중 적어도 하나의 이동을 감지할 수도 있다. The potentiometers 541 and 542 detect the movement of components moving according to the user's finger motion. In one embodiment, at least one potentiometer may detect movement of at least one of the pair of wire grippers.

상기 포텐셔미터(541, 542)는 모듈 프레임(501)의 서로 다른 측단면에 배치될 수도 있다. 예를 들어, 포텐셔미터(541)는 상단면에 배치되고 포텐셔미터(542)는 하단면에 배치된다. The potentiometers 541 and 542 may be disposed on different end surfaces of the module frame 501. For example, the potentiometer 541 is disposed on the upper surface and the potentiometer 542 is disposed on the lower surface.

일 실시예에서, 센서 모듈500은 일 측단면에 배치된 복수의 포텐셔미터를 포함할 수도 있다. 예를 들어, 센서 모듈(500)의 상단면에 복수의 포텐셔미터(541A, 541B, 541C)가 배치될 수도 있다. 또한, 센서 모듈(500)의 하단면에 복수의 포텐셔미터(542A, 542B, 542C)가 배치될 수도 있다. In one embodiment, the sensor module 500 may include a plurality of potentiometers disposed on one end surface. For example, a plurality of potentiometers 541A, 541B, and 541C may be disposed on the top surface of the sensor module 500 . Also, a plurality of potentiometers 542A, 542B, and 542C may be disposed on the lower surface of the sensor module 500 .

상기 일 측단면에 배치된 복수의 포텐셔미터는 틈을 갖도록 배치된다. 예를 들어, 도 6에 도시된 바와 같이 복수의 포텐셔미터(541A, 541B, 541C)는 평행하게 이격 배치되어 틈을 형성한다. A plurality of potentiometers disposed on the one side end surface are disposed to have gaps. For example, as shown in FIG. 6, the plurality of potentiometers 541A, 541B, and 541C are spaced apart in parallel to form a gap.

와이어 그리퍼 중 적어도 하나(예컨대, 521)는 복수의 포텐셔미터(541) 사이의 틈을 따라 이동 가능하도록 결합된다. 포텐셔미터(541)는 주변에 결합된 와이어 그리퍼521의 움직임을 감지한다. At least one of the wire grippers (eg, 521) is coupled to be movable along the gap between the plurality of potentiometers 541. The potentiometer 541 senses the movement of the wire gripper 521 coupled thereto.

상기 와이어 그리퍼 쌍 중 하나는 모듈 프레임의 상단에 배치된 두 개의 포텐셔미터 사이의 틈(gap)을 따라 이동 가능하도록 결합하고, 상기 와이어 그리퍼 중 다른 하나는 모듈 프레임의 하단에 배치된 다른 두 개의 포텐셔미터 사이의 틈을 따라 이동 가능하도록 결합한다. One of the pair of wire grippers is coupled to be movable along a gap between two potentiometers disposed on the top of the module frame, and the other of the wire grippers is coupled between the other two potentiometers disposed on the bottom of the module frame. It is coupled so that it can move along the gap of

일 실시예에서, 센서 모듈(500)은 와이어 그리퍼(541 또는 542)의 움직임을 시각적으로 표시하는 마커(550)를 더 포함할 수도 있다. In one embodiment, the sensor module 500 may further include a marker 550 that visually displays the movement of the wire gripper 541 or 542 .

힘줄-구동 햅틱 장치(1)에서 손가락이 구부러지면 힘줄 와이어211에 장력이 가해져 와이어 그리퍼522가 이동한다. 모터(310)가 구동 와이어321를 감으면 와이어 그리퍼521가 이동한다. 모터(310)와 손가락 움직임에 의해 와이어 그리퍼(521, 522)는 서로 반대 방향으로 이동한다. When a finger is bent in the tendon-driven haptic device 1, tension is applied to the tendon wire 211 and the wire gripper 522 moves. When the motor 310 winds the driving wire 321, the wire gripper 521 moves. The wire grippers 521 and 522 move in opposite directions by the movement of the motor 310 and the finger.

포텐셔미터(541)는 와이어 그리퍼521의 움직임에 의해 구동 와이어321의 장력을 감지하고 포텐셔미터(542)는 와이어 그리퍼522의 움직임에 의해 힘줄 와이어211의 장력을 감지한다. 포텐셔미터(541, 542)는 스프링230의 탄성 계수를 감지한다. The potentiometer 541 senses the tension of the drive wire 321 by the movement of the wire gripper 521, and the potentiometer 542 senses the tension of the tendon wire 211 by the movement of the wire gripper 522. The potentiometers 541 and 542 detect the elastic modulus of the spring 230.

일 실시예에서, 힘줄-구동 햅틱 장치(1)는 촉각 센서(미도시)를 더 포함할 수도 있다. 손가락 끝 부분에 접촉하는 접촉판(400)에는 촉각 센서(미도시)가 부착될 수도 있다. 상기 촉각 센서는 예를 들어 힘 감지 저항기(force-sensing resistor)일 수도 있다. 힘줄-구동 햅틱 장치(1)는 촉각 센서에 의해 촉감 피드백을 위한 모터(310)를 제어한다. In one embodiment, the tendon-driven haptic device 1 may further include a tactile sensor (not shown). A tactile sensor (not shown) may be attached to the contact plate 400 that comes into contact with the fingertip. The tactile sensor may be, for example, a force-sensing resistor. The tendon-driven haptic device 1 controls a motor 310 for tactile feedback by means of a tactile sensor.

상기 힘줄-구동 햅틱 장치(1)와 연동된 햅틱 시스템에서 손가락이 구부러져 와이어 그리퍼522가 이동하면, 포텐셔미터(542)는 와이어 그리퍼522의 이동을 감지한다. 포텐셔미터(542)의 감지 결과는 제어기로 전송된다. 제어기는 손가락 굽힘에 따른 역감 피드백 또는 촉감 피드백을 렌더링하기 위한 렌더링 명령을 생성하고 액추에이터 모듈(300)에 입력한다.In the haptic system linked with the tendon-driven haptic device 1, when a finger is bent and the wire gripper 522 moves, the potentiometer 542 detects the movement of the wire gripper 522. The sensing result of the potentiometer 542 is transmitted to the controller. The controller generates a rendering command for rendering force feedback or tactile feedback according to finger bending and inputs it to the actuator module 300 .

이러한 힘줄-구동 햅틱 장치(1)는 이를 착용한 사용자가 가상 객체를 감싸는 동작과 같이, 가상 객체와 상호작용하는 손 동작을 취할 경우 상기 가상 객체를 실제로 감싸는 것과 최대한 유사한 경험을 얻을 수 있도록 햅틱 피드백을 제공한다. The tendon-driven haptic device 1 provides haptic feedback so that when a user wearing the device takes a hand motion that interacts with the virtual object, such as wrapping the virtual object, an experience similar to actually wrapping the virtual object can be obtained as much as possible. provides

도 7a 및 도 7b는, 본 발명의 일 실시예에 따른, 힘줄-구동 햅틱 장치(1)를 착용한 사용자의 손 동작에 따라 제공되는 햅틱 피드백의 개념도이다. 7A and 7B are conceptual diagrams of haptic feedback provided according to a motion of a user's hand wearing the tendon-driven haptic device 1 according to an embodiment of the present invention.

도 7a 및 도 7b와 같이, 힘줄-구동 햅틱 장치(1)를 착용한 사용자가 원형의 가상 객체를 두 손가락을 사용해 잡는 동작을 하는 상황을 가정해보자. 이 상황에서 사용자는 우선 가상 객체를 잡기 위해 검지를 구부리거나 또는 검지와 엄지를 구부리는 손동작을 취한다. As shown in FIGS. 7A and 7B , let's assume a situation in which a user wearing the tendon-driven haptic device 1 holds a circular virtual object with two fingers. In this situation, the user first bends the index finger or bends the index finger and the thumb to grab the virtual object.

가상 객체의 형상이 검지와 엄지 사이에 없기 때문에, 역감 피드백이 제공되지 않는 다면 사용자는 계속 손가락을 구부릴 수도 있다. 특히, 사용자의 손가락이 가상 객체의 형상의 표면을 뚫고 들어가게 된다. Since the shape of the virtual object is not between the index finger and the thumb, the user may continue to bend the finger if force feedback is not provided. In particular, the user's finger penetrates the surface of the shape of the virtual object.

반면, 힘줄-구동 햅틱 장치(1)는 접촉 손가락의 구조가 상기 가상 객체의 형상에 매칭하기 위한 역감 피드백을 제공하여, 손가락이 가상 객체의 형상의 표면을 뚫고 들어가는 것을 방지한다. On the other hand, the tendon-driven haptic device 1 provides force feedback for the structure of the contact finger to match the shape of the virtual object, preventing the finger from penetrating the surface of the shape of the virtual object.

또한, 힘줄-구동 햅틱 장치(1)는 손가락이 가상 객체의 표면과 접촉하는 것에 대응한 촉감 피드백을 제공한다. In addition, the tendon-driven haptic device 1 provides tactile feedback corresponding to the contact of the finger with the surface of the virtual object.

이러한 촉감 피드백과 역감 피드백은 가상 객체와 렌더링 대상 손가락 간의 접촉에 따른 접촉력에 기초하여 계산된다. The tactile feedback and force feedback are calculated based on the contact force according to the contact between the virtual object and the finger to be rendered.

도 8은, 본 발명의 일 실시예에 따른, 힘줄-구동 햅틱 장치와 연동된 햅틱 시스템 아키텍처를 도시한 도면이고, 도 9는, 본 발명의 일 실시예에 따른, 햅틱 장치의 햅틱 피드백 렌더링 메커니즘의 개략도이다. 8 is a diagram illustrating a haptic system architecture associated with a tendon-driven haptic device according to an embodiment of the present invention, and FIG. 9 is a haptic feedback rendering mechanism of a haptic device according to an embodiment of the present invention. is a schematic diagram of

상기 힘줄-구동 햅틱 장치(1)는 햅틱 시스템과 연동되어 가상 현실을 위한 인터페이스 장치로 사용된다. 가상 현실 시스템에서 광학 센서 또는 자기 위치 센서 등과 같은 위치 센서를 통해 힘줄-구동 햅틱 장치(1)의 손가락 끝 위치를 추적하고, 추적 결과에 기초하여 힘줄-구동 햅틱 장치(1)로 햅틱 피드백을 제공할 수도 있다. The tendon-driven haptic device 1 is interlocked with a haptic system and used as an interface device for virtual reality. Tracking the position of a fingertip of a tendon-driven haptic device 1 through a position sensor such as an optical sensor or a magnetic position sensor in a virtual reality system, and providing haptic feedback to the tendon-driven haptic device 1 based on the tracking result You may.

손가락 끝 아바타와 가상 객체의 표면 사이에 접촉을 가정해보자. 그러면, 가상 객체와 렌더링 대상 손가락의 끝 부분이 실제로 접촉하는 것과 동일한 햅틱 피드백이 사용자에게 제공되어야 한다. Assume contact between the fingertip avatar and the surface of the virtual object. Then, the same haptic feedback as the actual contact between the virtual object and the tip of the finger to be rendered should be provided to the user.

이 가정 하에서는 손가락 끝에 적용되는 대상 힘(desired force)은 도 8에 도시된 바와 같이, 상기 손가락 끝이 가상 객체의 형상에 매칭하도록 유지하는 힘(Fk)에 대응한 역감 피드백과 촉감력에 대응한 촉감 피드백으로 분해된다. Under this assumption, the desired force applied to the fingertip is, as shown in FIG. decomposed into tactile feedback.

촉감 피드백 또는 역감 피드백은 개별 모터(310)에 연결된, 스프링을 포함한 센서 모듈(500)을 통해 렌더링되므로, 개별 모터(310)에 의한 햅틱 피드백의 렌더링 과정은 도 9와 같이 스프링 모델로 모델링할 수도 있다. 예를 들어, 스프링 모델은 아래의 수학식 1로 모델링된다.Since tactile feedback or force feedback is rendered through the sensor module 500 including springs connected to individual motors 310, the rendering process of haptic feedback by individual motors 310 may be modeled as a spring model as shown in FIG. have. For example, a spring model is modeled by Equation 1 below.

도 9에서는 F_n으로 지칭되는, F_contact는 가상 객체의 표면과 손가락 끝 부분의 접촉에 따라서 손가락 끝에 적용되는 대상 힘이다. K는 가상 객체의 표면 강도(stiffness)를 나타낸다. x_p는 3차원 가상 공간에서 접촉 손가락의 가상 프록시에서의 접촉 위치로서 도 9에 도시된 바와 같이 가상 객체의 형상 표면에서의 접촉 위치를 의미한다. x_f는 3차원 가상 공간에서 접촉 손가락의 가상 객체에서의 접촉 위치 벡터로서, 도 9에 도시된 바와 같이 3차원 가상 공간에서 추적된 손가락 끝이 가상 객체의 형상 좌표 범위 내에 속하는 지점에 대응한다. Referred to as F _n in FIG. 9 , F _contact is a target force applied to the fingertip according to the contact between the surface of the virtual object and the fingertip. K represents the surface stiffness of the virtual object. x _p is a contact position on a virtual proxy of a contact finger in a three-dimensional virtual space, and as shown in FIG. 9 , it means a contact position on a shape surface of a virtual object. x _f is a contact position vector of a contact finger in a virtual object in a 3D virtual space, and corresponds to a point where a fingertip tracked in a 3D virtual space falls within a shape coordinate range of the virtual object, as shown in FIG. 9 .

제어기는 가상 프록시 x_p의 위치를 손가락 끝의 위치로부터 가상 객체의 표면까지의 최소 거리 지점으로 지정할 수도 있다. 힘줄-구동 햅틱 장치(1)의 사용자는 표면 강도K를 제어하여 다양한 가상 객체의 표면 속성을 변경할 수도 있다. The controller may specify the location of the virtual proxy x _p as the point of minimum distance from the location of the fingertip to the surface of the virtual object. A user of the tendon-driven haptic device 1 may change the surface properties of various virtual objects by controlling the surface strength K.

가상 객체와의 접촉력(F_n)이 획득되면, 상기 접촉력(F_n)에 기초하여 촉감 피드백과 역감 피드백을 위한 힘이 각각 계산된다. When the contact force (F _n ) with the virtual object is obtained, forces for tactile feedback and force feedback are calculated based on the contact force (F _n ).

일 실시예에서, 촉감 피드백을 위한 힘(즉, 촉각력)은 상기 접촉력Fn의 일부로서 계산될 수도 있다. In one embodiment, the force for tactile feedback (ie, tactile force) may be calculated as a part of the contact force Fn.

예를 들어, 상기 촉각력(F_c)은 다음의 수학식에 의해 계산될 수도 있다. For example, the tactile force F _c may be calculated by the following equation.

여기서, α_c는 촉감 경도(hardness)의 비율이며, 이는 가상 표면의 감지된 경도를 결정하는데 요구되는 부분 계수이다.where α _c is the ratio of tactile hardness, which is the partial factor required to determine the perceived hardness of the virtual surface.

일 실시예에서, 촉감력(Fc)은 다음의 수학식으로 계산되어, 촉감 피드백으로 렌더링될 수도 있다. In one embodiment, the tactile force Fc may be calculated by the following equation and rendered as tactile feedback.

여기서, Kc는 촉감 피드백으로 감지된 피부 경도를 정의한 프로그래밍 가능한 변수이다. Kc는 촉각 센서에 의한 감지 결과에 기초하여 설정될 수도 있다. Here, Kc is a programmable variable defining the skin hardness detected by tactile feedback. Kc may be set based on the detection result by the tactile sensor.

일 실시예에서, 제어기는 촉각 센서(예컨대, FSR)을 사용하여 촉감 피드백으로 렌더링될 촉각력을 조절할 수도 있다. In one embodiment, the controller may use a tactile sensor (eg, FSR) to adjust the tactile force to be rendered as tactile feedback.

예를 들어, 대상 촉각력과 촉각 센서에 의해 측정되는 촉감 피드백이 다른 경우, 제어기는 수정된 제어 명령을 다시 입력할 수도 있다. For example, when the target tactile force and the tactile feedback measured by the tactile sensor are different, the controller may re-input the corrected control command.

한편, 특정 손가락에 제공될 역감 피드백 전체는 상기 특정 손가락의 관절에서 렌더링되는 부분적인 역감 피드백의 조합이다. 특정 손가락에 제공될 역감 피드백 전체에 대응하는 힘은 각 관절별로 분배되어 렌더링된다. 즉, 특정 손가락의 구조를 가상 객체의 형상에 매칭하도록 특정 손가락의 구조를 유지하는 힘은 상기 특정 손가락의 관절에서 각각 렌더링되는 서브 역감 피드백의 총 합에 대응한다. Meanwhile, the entire force feedback to be provided to a specific finger is a combination of partial force feedback rendered at a joint of the specific finger. The force corresponding to the entire force feedback to be provided to a specific finger is distributed and rendered for each joint. That is, the force for maintaining the structure of a specific finger to match the structure of the specific finger to the shape of the virtual object corresponds to the total sum of the sub-force feedbacks each rendered at the joint of the specific finger.

일 실시예에서, 제어기는 각 관절별 서브 역감 피드백을 계산할 수도 있다. 그러면, 제어기는 서브 역감 피드백에 대한 렌더링 명령을 포함한 렌더링 명령을 생성할 수도 있다. In one embodiment, the controller may calculate sub-force feedback for each joint. Then, the controller may generate a rendering command including a rendering command for the sub-force feedback.

일 예에서, 관절별 서브 역감 피드백은 특정 유형의 자극의 인식에 대해서 각각의 감각 기관(예컨대, 각각의 관절별)에서의 인식의 부분적인 기여도를 모델링함으로써 계산될 수도 있다. 여기서, 각 관절에서의 인식의 부분적인 기여도는 다음의 수학식 형태로 모델링될 수도 있다. In one example, joint-specific sub-force feedback may be calculated by modeling the partial contribution of perception at each sensory organ (eg, each joint-specific) to the perception of a particular type of stimulus. Here, the partial contribution of recognition at each joint may be modeled in the form of the following equation.

여기서 σi는 관절(i)의 와버 비율(weber fraction)이다. 다수의 손가락 끝의 힘에 대한 와버 비율의 측정 데이터 및 수학식 4에 기초할 때, 접촉 손가락의 구조가 상기 가상 객체의 형상에 매칭하게 하는 접촉력으로서 손가락 끝 힘(F_ft)이 주어지면, 상기 손가락 끝 힘(F_ft)을 해당 손가락에 대한 역감 피드백으로 제공하기 위해 관절(i)에서 렌더링되어야 할 서브 역감 피드백은 다음의 수학식으로 계산된다. Here, σi is the Weber fraction of joint i. Based on the measurement data of the waver ratio for the force of a plurality of fingertips and Equation 4, given the fingertip force (F _ft ) as the contact force that allows the structure of the contact finger to match the shape of the virtual object, the In order to provide the fingertip force (F _ft ) as force feedback for the corresponding finger, the sub-force feedback to be rendered at the joint i is calculated by the following equation.

여기서, 햇(^)은 와버 부분(weber fraction)의 추정 함수로서, 통계 분야에서 사용되는 다양한 추정 함수 알고리즘에 의해 결정될 수도 있다. Here, hat (^) is an estimation function of a weber fraction, and may be determined by various estimation function algorithms used in the field of statistics.

이와 같이, 제어기는 특정 손가락에 역감 피드백 전체를 제공하기 위해 상기 특정 손가락의 각 관절별 서브 역감 피드백을 계산하면, 해당 관절에 연관된 모터에게 해당 서브 역감 피드백을 렌더링하기 위한 토크를 포함한 렌더링 명령을 생성한다. In this way, when the controller calculates the sub-force feedback for each joint of the specific finger to provide the entire force feedback to the specific finger, the controller generates a rendering command including torque for rendering the corresponding sub-force feedback to the motor associated with the corresponding joint. do.

다시 도 9를 참조하면, 힘줄-구동 햅틱 장치(1)의 피드백 렌더링 매커니즘에서 역감 피드백은 손가락의 구부림을 방지하는 힘으로 작용한다. 즉, 힘줄 와이어에 더 이상 장력이 가해지지 않기 위한 마찰력이 가해지는 것으로 모델링할 수도 있다. Referring back to FIG. 9 , in the feedback rendering mechanism of the tendon-driven haptic device 1, the force feedback acts as a force preventing bending of the finger. That is, it may be modeled as a frictional force applied so that tension is no longer applied to the tendon wire.

역감 피드백을 렌더링하기 위한 힘을 마찰력으로 간주할 경우, 힘줄 와이어의 장력과 렌더링될 힘(예컨대, 관절별 서브 역감 피드백) 사이의 관계는 다음의 수학식으로 정리된다. When the force for rendering the force feedback is regarded as the friction force, the relationship between the tension of the tendon wire and the force to be rendered (eg, sub-force feedback for each joint) is summarized by the following equation.

여기서, f_d는 해당 지점에서 렌더링할 대상 힘으로서, 해당 지점이 관절일 경우 관절별 서브 역감 피드백으로 계산된 값(즉, 도 9의 분해 값)을 나타낸다. μ, φ는 시스템 마찰 계수와 모터에 의해 감기는 와이어의 굽힘 각도를 나타낸다. A, B의 값은 실제 측정 값에 의해 결정된다. Here, f _d is a target force to be rendered at a corresponding point, and represents a value calculated as sub-force feedback for each joint (ie, the decomposition value of FIG. 9) when the corresponding point is a joint. μ, φ represent the system friction coefficient and the bending angle of the wire wound by the motor. The values of A and B are determined by actual measured values.

제어기는 렌더링 지점에서 렌더링될 햅틱 피드백의 값이 계산될 경우, 상기 햅틱 피드벡에 대응하는 모터의 토크 값을 계산할 수도 있다. The controller may calculate the torque value of the motor corresponding to the haptic feedback when the value of the haptic feedback to be rendered is calculated at the rendering point.

일 실시예에서, 각 지점별 햅틱 피드백을 위한 토크(τ_m)는 다음의 수학식에 의해 계산될 수도 있다. In one embodiment, the torque (τ _m ) for haptic feedback for each point may be calculated by the following equation.

여기서, τ_mf는 모터의 쿨롱 마찰(Coulomb friction), r_m은 모터 스풀(spool)의 반경(radius)을 나타낸다. Here, τ _mf is the Coulomb friction of the motor, and r _m is the radius of the motor spool.

예를 들어, 제어기는 수학식 5에 의해 계산된 각 관절별 서브 역감 피드백의 값을 상기 수학식 6에 입력하여 각 관절별 서브 역감 피드백을 위한 장력을 계산함으로써, 각 관절별 서브 역감 피드백을 위한 토크를 계산한다. For example, the controller calculates the tension for sub-force feedback for each joint by inputting the value of the sub-force feedback for each joint calculated by Equation 5 into Equation 6 above, thereby calculating the tension for the sub-force feedback for each joint. Calculate the torque.

이와 같이 제어기가 토크를 계산하면, 해당 지점에서 햅틱 피드백을 렌더링하기 위한 렌더링 명령을 생성한다. 제어기가 이를 액추에이터 모듈(300)에 입력하면, 대상 모터(310)가 명령 내 토크로 구동하여 역감 피드백을 해당 관절에서 렌더링한다. As such, when the controller calculates the torque, it generates a rendering command for rendering the haptic feedback at the corresponding point. When the controller inputs this to the actuator module 300, the target motor 310 is driven with the torque within the command to render force feedback at the corresponding joint.

전술한 바와 같이, 햅틱 피드백 종류별로 그리고 렌더링 지점별로 모터(TC, IC, IP, IM, TD)가 설치될 경우, 각 렌더링 지점별 모터(TC, IC, IP, IM, TD) 각각에 대한 토크가 계산되고, 결국 해당 햅틱 피드백이 각 렌더링 지점에서 개별적으로 렌더링된다. As described above, when motors (TC, IC, IP, IM, TD) are installed for each type of haptic feedback and for each rendering point, torque for each motor (TC, IC, IP, IM, and TD) for each rendering point is computed, and eventually the corresponding haptic feedback is rendered separately at each rendering point.

도 10은 햅틱 피드백이 렌더링되지 않는 상태의 손가락을 도시한다. 도 11은 도 10의 상태 하에서 동작하는 액추에이터 모듈과 센서 모듈의 평면도 및 측면도이다. 10 shows a finger with no haptic feedback being rendered. FIG. 11 is a plan view and a side view of an actuator module and a sensor module operating under the condition of FIG. 10 .

도 10과 같이 검지가 굽혀지지 않을 경우, 힘줄 와이어211에는 장력이 가해지지 않는다. 그러면, 도 11에 도시된 바와 같이, 와이어 그리퍼522가 스프링 압축 방향(SPD)으로 움직이지 않게 된다. 포텐셔미터(542)에 의해 와이어 그리퍼522의 움직임이 감지되지 않는다. 이 경우, 제어기는 렌더링 명령을 생성하지 않는다. 결국 모터(310)도 구동하지 않는다. When the index finger is not bent as shown in FIG. 10, no tension is applied to the tendon wire 211. Then, as shown in FIG. 11, the wire gripper 522 does not move in the spring compression direction (SPD). Movement of the wire gripper 522 is not detected by the potentiometer 542 . In this case, the controller does not generate rendering commands. As a result, the motor 310 also does not drive.

도 12는 햅틱 패드빅에 렌더링될 상태의 손가락을 도시한다. 도 13은 도 12의 상태 하에서 동작하는 액추에이터 모듈과 센서 모듈의 평면도 및 측면도이다. Figure 12 shows the finger as it will be rendered on the haptic padbig. 13 are top and side views of an actuator module and a sensor module operating under the condition of FIG. 12;

도 10과 같이 검지가 굽혀질 경우, 힘줄 와이어211에는 장력이 가해지게 되어 연결된 와이어 그리퍼522가 이동한다. 포텐셔미터(542)는 와이어 그리퍼522의 움직임을 감지하고, 감지 결과를 제어기로 전송한다. 제어기는 감지 결과에 기초하여 렌더링 명령을 생성한다. When the index finger is bent as shown in FIG. 10, tension is applied to the tendon wire 211, and the connected wire gripper 522 moves. The potentiometer 542 detects the movement of the wire gripper 522 and transmits the detection result to the controller. The controller generates a rendering command based on the sensing result.

일 실시예에서, 제어기는 포텐셔미터(542)에 의한 와이어 그리퍼522의 움직임 감지 결과에 반응하여 렌더링 명령을 생성할 수도 있다.In one embodiment, the controller may generate a rendering command in response to a motion detection result of the wire gripper 522 by the potentiometer 542 .

제어기는 사용자에게 VR 또는 AR 컨텐츠로 제공되는 가상 객체의 위치 정보, 및 시스템의 위치 센서에 의해 감지되는 사용자의 손가락 끝의 위치 정보에 기초하여 수학식 1을 통해 햅틱 피드백으로 제공될 접촉력(Fn)을 계산한다. The controller determines the contact force (Fn) to be provided as haptic feedback through Equation 1 based on the position information of the virtual object provided to the user as VR or AR content and the position information of the user's fingertip detected by the position sensor of the system Calculate

제어기는 상기 수학식 2 또는 수학식 3을 통해 촉감 피드백으로서 접촉판(400)에서 렌더링될 촉각력(Fc)을 계산한다. The controller calculates the tactile force Fc to be rendered on the contact plate 400 as tactile feedback through Equation 2 or Equation 3 above.

제어기는 상기 수학식 4 내지 7을 통해 역감 피드백으로서 각 관절에서 렌더링될 역감 피드백(Fk)을 계산한다. The controller calculates the force feedback Fk to be rendered at each joint as force feedback through Equations 4 to 7 above.

제어기는 촉감 피드백(Fc) 또는 역감 피드백(Fk)에 대응한 토크를 계산한다. The controller calculates a torque corresponding to the tactile feedback (Fc) or the inverse feedback (Fk).

제어기는 접촉 손가락에 대해 촉감 피드백을 제공하기 위한 모터(예컨대, IC, DC)에 입력할 촉감 피드백을 위한 렌더링 명령을 생성한다. 촉감 피드백을 위한 렌더링 명령은 각 모터(IC, DC)의 토크를 포함한다. The controller generates a rendering command for tactile feedback to input to a motor (eg, IC, DC) for providing tactile feedback to the touching finger. The rendering command for tactile feedback includes the torque of each motor (IC, DC).

제어기는 접촉 손가락에 대해 역감 피드백을 제공하기 위한 모터(예컨대, IP, IM, TD)에 입력할 역감 피드백을 위한 렌더링 명령을 생성한다. 역감 피드백을 위한 렌더링 명령은 각 지점별 모터(IP, IM, TD)의 토크를 포함한다. The controller generates a rendering command for the force feedback to be input to a motor (eg, IP, IM, TD) for providing force feedback for the touching finger. The rendering command for force feedback includes the torque of the motors (IP, IM, TD) for each point.

그러면, 도 11에 도시된 바와 같이, 촉감 피드백과 역감 피드백이 제공된다. Then, as shown in FIG. 11, tactile feedback and inverse feedback are provided.

이와 같이 제어기는 접촉력으로서 전달되길 원하는 힘이 입력되면, 이 대상 힘에 대응한 렌더링 명령을 구동모듈로 전송하여 구동모듈이 힘이 전달되는 토크로 구동하게 한다. In this way, when a force desired to be transmitted as a contact force is input, the controller transmits a rendering command corresponding to the target force to the driving module so that the driving module is driven with the torque transmitted by the force.

제어기는 매커니즘에 기초한 제어 알고리즘을 사용하여 렌더링 명령을 생성한다. 상기 렌더링 명령에 의해 동작하는 햅틱 장치는 사용자의 대상 손가락에 역감 피드백과 피부 피드백을 모두 제공함으로써 가상의 불규칙, 원격 표면과의 접촉을 렌더링할 수 있다. The controller generates rendering commands using a control algorithm based on the mechanism. The haptic device operating according to the rendering command may render contact with a virtual irregular, remote surface by providing both force feedback and cutaneous feedback to the user's target finger.

그 결과, 상기 힘줄-구동 햅틱 장치(1)는, 사용자가 가상 객체와 접촉하여도 실제로 접촉하는 것에 대응한, 사용자에게 촉각 측면에서 실감나는 촉감 피드백을 제공할 수 있다. 또한, 상기 힘줄-구동 햅틱 장치(1)는, 가상 객체와 접촉하는 동안 손가락의 구조가 가상 객체의 표면을 뚫고 들어가는 것을 방지하고 구조적 매칭을 유지하는 역감 피드백을 제공함으로써, 사용자의 시각적 감각과 손가락 구조를 구현하는 신경적 감각 간의 불일치를 최소화하여 가상 객체의 상호작용에 있어 이질감을 경험하지 않게 한다. As a result, the tendon-driven haptic device 1 can provide realistic tactile feedback to the user in terms of tactile sensation, corresponding to actual contact even when the user makes contact with the virtual object. In addition, the tendon-driven haptic device 1 prevents the structure of the finger from penetrating the surface of the virtual object while in contact with the virtual object and provides kinetic feedback to maintain structural matching, thereby improving the user's visual sense and finger By minimizing the discrepancy between the neural senses that implement the structure, you do not experience a sense of heterogeneity in the interaction of virtual objects.

상술한 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.In the above-described specific embodiments, components included in the invention are expressed in singular or plural numbers according to the specific embodiments presented. However, singular or plural expressions are selected appropriately for the presented situation for convenience of explanation, and the above-described embodiments are not limited to singular or plural components, and even components expressed in plural are composed of a singular number or , Even components expressed in the singular can be composed of plural.

한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the description of the invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the technical idea contained in the various embodiments. Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, but should be defined by not only the claims to be described later, but also those equivalent to these claims.

1: 햅틱 장치
100: 내층 외피
200: 외층 내피
111, 114, 211: 와이어
121, 124, 221: 튜브
123, 126, 223: 와이어 어셈블러
300: 액추에이터 모듈
310: 모터
321: 모터 와이어
400: 접촉판
500: 센서 모듈
501: 모듈 프레임
510: 와이어 디렉터
520: 가이드 바
521, 522: 와이어 그리퍼
530: 스프링
541, 542: 포텐셔미터
550: 마커1: haptic device
100: inner layer shell
200: outer layer endothelium
111, 114, 211: wire
121, 124, 221: tube
123, 126, 223: wire assembler
300: actuator module
310: motor
321: motor wire
400: contact plate
500: sensor module
501: module frame
510: wire director
520: guide bar
521, 522: wire gripper
530: spring
541, 542: potentiometer
550: marker

Claims

In the sensor module for detecting a change in the structure of a finger in which a wire attached to an outer skin mountable to a user's hand is disposed,
module frame;
a plurality of wire directors having pulleys;
a guide bar installed between one side and the other side of the module frame;
a pair of wire grippers sliding along the guide bar, one of the pair of wire grippers being connected to a drive wire connected to a motor, and the other of the pair of wire grippers being connected to a tendon wire disposed on the sheath layer;
a spring disposed along a guide bar between the pair of wire grippers; and
A sensor module comprising at least one potentiometer for sensing movement of at least one of the pair of wire grippers.

According to claim 1,
The at least one potentiometer is plural,
The plurality of potentiometers are disposed on one end surface of the module frame,
At least one of the pair of wire grippers is coupled to be movable along a gap between the plurality of potentiometers.

According to claim 1,
When tension is applied to the tendon wire by a user's hand motion and the motor winds the drive wire, the wire gripper connected to the tendon wire and the other wire gripper connected to the motor move in opposite directions.

In the tendon-driven haptic device comprising the sensor module according to claim 1,
The tendon-driven haptic device,
a plurality of skin layers mounted on the user's hand, wherein each of the plurality of skin layers is shaped to cover at least one finger;
a plurality of tendon wires disposed on the covering portion of the skin layer, the plurality of tendon wires including tendon wires for kinesthetic feedback;
a plurality of fixtures for fixing the plurality of tendon wires;
Further comprising an actuator module including a plurality of motors indirectly connected to the plurality of tendon wires,
The tendon-driven haptic device, characterized in that each of the plurality of tendon wires is indirectly connected to a motor through a driving wire connected to one of the pair of wire grippers and connected to the other.

According to claim 4,
A tendon-driven haptic device, characterized in that some and other portions of the plurality of tendon wires are disposed on the surface of different skin layers.

According to claim 4,
A tendon-driven haptic device, wherein some of the plurality of motors are driven to provide tactile feedback and other motors to provide inverse feedback.

According to claim 6,
When different motors provide force feedback to the same finger, different motors drive to render sub-force feedback at different joints of the same finger, and tendon wires corresponding to the different motors are applied to different skin layers. A tendon-driven haptic device, characterized in that each is disposed.

According to claim 4,
The tendon wire for inverse feedback includes tendon wires for providing inverse feedback to the MCP joint and the PIP joint, respectively,
A tendon-driven haptic device, characterized in that the tendon wire for providing force feedback to the MCP joint and the tendon wire for providing force feedback to the PIP joint of the user's finger are disposed on different surface layers.

According to claim 4,
The tendon wire for inverse feedback includes a tendon wire for providing inverse feedback to the DIP joint,
Tendon-driven haptic device, characterized in that the tendon wire for providing force feedback to the DIP joint is disposed on the surface of any one of the plurality of skin layers.

According to claim 4,
The plurality of fixtures include a plurality of tubes,
The plurality of tubes include at least one pair of tubes,
The pair of tubes are installed spaced apart around the DIP, MCP or PIP joint,
Tendon-driven haptic device, characterized in that one end and the other end of the tendon wire introduced into one of the pair of tubes and passing through the other are disposed to cross each other.

According to claim 4,
a contact plate in contact with a part of the cover portion;
a tendon wire for cutaneous feedback connected to the contact plate; and
The tendon-driven haptic device further comprising at least one motor controlling the tension of the tendon wire for the tactile feedback.

According to claim 11,
The tendon-driven haptic device of claim 1 , wherein the tendon wire for tactile feedback is connected from a fixture on the skin layer to the at least one motor through some of the plurality of wire directors.

a tendon-driven haptic device according to any one of claims 6 to 12;
a position sensor that tracks the position of a finger; and
A haptic system including a controller generating a control command for rendering a desired haptic feedback corresponding to a contact force according to contact between a finger and a surface of a virtual object and inputting the control command to the tendon-driven haptic device,
The controller,
generate a control command for rendering force feedback based on the contact force;
A haptic system, characterized in that for generating a control command for rendering a tactile feedback based on the contact force.

According to claim 13,
The contact force is calculated based on a surface stiffness of a virtual object in contact with the finger, a contact position in a virtual proxy of the contact finger in a three-dimensional virtual space, and a contact position of the contact finger in the virtual object. haptic system.

According to claim 13,
the controller to generate control commands for rendering the tactile feedback;
Calculate a tactile force for the contact finger based on the contact force as tactile feedback at the contact finger;
generating a control command for rendering tactile feedback by calculating a torque of a motor corresponding to the tactile force for the touching finger; and
The haptic system, characterized in that configured to input a control command for rendering the tactile feedback to a motor for tactile feedback of the contact finger.

According to claim 13,
The motor for the force feedback includes motors for each joint to render force feedback at each of a plurality of joints of the contact finger,
The controller, to generate a control command for rendering the force feedback,
Based on the contact force, calculating sub-force feedback at each joint;
Calculate the torque of the motor corresponding to the sub-force feedback at each joint to generate a control command for the sub-force feedback at each joint, and
It is configured to input a control command for sub-force feedback at each joint to the respective motor,
The haptic system, characterized in that the total sum of the sub-force feedback at each joint corresponds to a force maintaining the structure of the contact finger to match the shape of the virtual object.

According to claim 16,
The controller, to calculate the torque,
Calculate the tension of the wire connected to the motor for the sub-force feedback, corresponding to the force of the sub-force feedback;
The haptic system, characterized in that for calculating the torque of the motor based on the tension of the wire.