KR20110040165A - 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 - Google Patents

비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 Download PDF

Info

Publication number
KR20110040165A
KR20110040165A KR1020090097330A KR20090097330A KR20110040165A KR 20110040165 A KR20110040165 A KR 20110040165A KR 1020090097330 A KR1020090097330 A KR 1020090097330A KR 20090097330 A KR20090097330 A KR 20090097330A KR 20110040165 A KR20110040165 A KR 20110040165A
Authority
KR
South Korea
Prior art keywords
sensor
user
finger
hand
movement
Prior art date
Application number
KR1020090097330A
Other languages
English (en)
Other versions
KR101234111B1 (ko
Inventor
유동완
박준석
이전우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090097330A priority Critical patent/KR101234111B1/ko
Publication of KR20110040165A publication Critical patent/KR20110040165A/ko
Application granted granted Critical
Publication of KR101234111B1 publication Critical patent/KR101234111B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

손가락이나 손의 움직임만으로 시스템에 입력을 전달할 수 있는 비접촉 입력 인터페이싱 장치 및 그 방법이 개시된다. 본 발명에 따른 비접촉 입력 인터페이싱 장치는 사용자의 손 움직임을 측정하는 제1 센서; 상기 사용자의 손가락 움직임을 측정하는 제2 센서; 상기 손 움직임으로부터 기설정된 손 제스쳐를 감지하는 손 제스쳐 감지부; 상기 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지하는 손가락 제스쳐 감지부; 및 상기 손 제스쳐 및 상기 손가락 제스쳐 중 어느 하나 이상에 기반하여 상기 사용자에 의한 입력 신호를 생성하는 입력 신호 생성부를 포함한다. 따라서, 사용자가 작은 동작만으로도 쉽고 정확하게 시스템으로 입력을 전달할 수 있고, 마우스 등의 사용이 어려운 특수 환경에서도 효과적인 입력 인터페이싱이 가능하다.
비접촉 공간입력, 제스쳐, 입력 인터페이스

Description

비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 {Apparatus for contact-free input interfacing and contact-free input interfacing method using the same}
본 발명은 입력 인터페이스에 관한 것으로, 특히 손가락이나 손의 움직임만으로 시스템에 입력을 전달할 수 있는 비접촉 입력 인터페이싱 장치 및 그 방법에 관한 것이다.
컴퓨터 사용이 보편화되면서 마우스나 키보드와 같은 사용자 입력 인터페이스 장치는 현대인의 생활에 필수 불가결한 요소가 되었다. 컴퓨터를 사용하기 위해서는 마우스나 키보드를 통하여 사용자 입력을 컴퓨터로 전달할 수 밖에 없고, 따라서 마우스나 키보드와 같은 입력 인터페이스 장치의 편의성은 컴퓨터 사용자에게 매우 중요한 문제이다.
마우스나 키보드가 대중적으로 많이 사용되고 있기는 하지만, 마우스나 키보드가 모든 면에서 완벽한 입력 인터페이스 장치인 것은 아니다. 특히, 운전중이나 수술중 등과 같은 특수환경에서는 마우스나 키보드 등의 입력 인터페이스 장치를 이용하기 어려운 경우가 많다.
보다 쉽고 간단하게 사용자가 입력을 컴퓨터 등의 시스템으로 전달할 수 있도록 하는 입력 인터페이스 장치에 관한 많은 연구가 있어 왔고 그 결과 직접 접촉 없이도 입력 전달이 가능한 몇몇 비접촉식 입력 인터페이스 장치가 소개되었으나 그 정확성 및 효율성에서 한계를 보여 왔다.
따라서, 컴퓨터와 같은 시스템의 입력 장치로써 입력 동작의 크기를 줄임으로써 사용자 편의를 도모하고, 수술중이거나 운전중과 같은 특수 환경에서도 효과적으로 활용될 수 있는 새로운 입력 인터페이싱 기술의 필요성이 절실하게 대두된다.
상기한 과제를 해결하기 위한 본 발명의 목적은, 간단히 손목에 착용하는 것만으로 공간상에서 사용자 입력을 생성하는 컴퓨터 마우스 등의 기능을 대체할 수 있는 비접촉 입력 인터페이스 장치 및 그 방법을 제공하는 것이다.
또한, 본 발명의 목적은 손 움직임을 측정하는 관성센서와 손가락 움직임을 측정하는 진동센서, 압전센서 또는 근전도센서를 이용하여 보다 정확한 비접촉식 사용자 입력이 가능하도록 하는 것이다.
또한, 본 발명의 목적은 입력 동작의 크기를 줄여 사용자가 간단한 입력 동작만으로도 쉽고 정확하게 시스템으로 입력을 전달할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 수술중이나 운전중 등과 같은 특수환경에서도 효과적으로 활용될 수 있는 비접촉 입력 인터페이스 장치 및 그 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 비접촉 입력 인터페이싱 장치는, 사용자의 손 움직임을 측정하는 제1 센서; 상기 사용자의 손가락 움직임을 측정하는 제2 센서; 상기 손 움직임으로부터 기설정된 손 제스쳐를 감지하는 손 제스쳐 감지부; 상기 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지하는 손가락 제스쳐 감지부; 및 상기 손 제스쳐 및 상기 손가락 제스쳐 중 어느 하나 이상에 기반하여 상기 사용자에 의한 입력 신호를 생성하는 입력 신호 생성부를 포함하는 것을 특징으로 한다.
이 때, 제1 센서 및 제2 센서는 일체형으로 사용자의 손목에 착용되는 것일 수 있다. 이 때, 제1 센서는 관성 센서일 수 있다. 이 때, 관성 센서는 자이로 센서 및 가속도 센서 중 어느 하나일 수 있다.
이 때, 제2 센서는 진동 센서, 압전 센서 및 근전도 센서 중 어느 하나일 수 있다.
이 때, 비접촉 입력 인터페이싱 장치는 사용자에게 촉각을 이용하여 상기 입력신호와 관련된 피드백을 제공하는 촉각 피드백 제공부를 더 포함할 수 있다.
이 때, 입력 신호 생성부는 손 제스쳐 및 손가락 제스쳐의 조합에 기반하여 입력 신호를 생성할 수 있다.
이 때, 입력 신호는 시스템 화면상의 마우스 포인트의 좌표이동에 대응되는 상하좌우 움직임, 상기 마우스의 좌/우 클릭에 대응되는 좌/우 클릭 움직임, 상기 마우스의 드래그에 대응되는 드래그 움직임 및 상기 입력 인터페이싱 장치의 동작 시작에 대응되는 시작 움직임에 해당하는 신호들 중 어느 하나 이상을 포함할 수 있다.
이 때, 입력 신호는 마우스의 업/다운 스크롤에 대응되는 업/다운 스크롤 움직임, 상기 마우스의 레프트/라이트 스크롤에 대응되는 레프트/라이트 스크롤 움직임, 화면 확대/축소에 대응되는 화면 확대/축소 움직임, 객체의 좌/우 회전에 대응하는 좌/우 회전 움직임 및 창(window)의 최소화/최대화/종료에 대응되는 창 제어 움직임에 해당하는 신호들 중 어느 하나 이상을 포함할 수 있다.
또한, 본 발명에 따른 비접촉식 입력 인터페이싱 방법은 제1 센서를 이용하여 사용자의 손 움직임을 측정하는 단계; 제2 센서를 이용하여 상기 사용자의 손가락 움직임을 측정하는 단계; 상기 손 움직임으로부터 기설정된 손 제스쳐를 감지하는 단계; 상기 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지하는 단계; 및 상기 손 제스쳐 및 상기 손가락 제스쳐 중 어느 하나 이상에 기반하여 상기 사용자에 의한 입력 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
이 때, 제1 센서는 관성 센서이고, 제2 센서는 진동 센서, 압전 센서 및 근전도 센서 중 어느 하나이며, 제1 센서 및 제2 센서는 일체형으로 상기 사용자의 손목에 착용될 수 있다.
이 때, 비접촉식 입력 인터페이싱 방법은 상기 사용자에게 촉각을 이용하여 상기 입력 신호에 관련된 피드백을 제공하는 단계를 더 포함할 수 있다.
이 때, 입력 신호를 생성하는 단계는 상기 손 제스쳐 및 상기 손가락 제스쳐의 조합에 기반하여 상기 입력 신호를 생성할 수 있다.
본 발명에 따르면, 사용자가 작은 입력 동작으로도 컴퓨터와 같은 시스템에 입력을 전달할 수 있어 사용자 편의가 도모된다.
또한, 본 발명은 마우스 등 별도 장치의 사용 없이 입력 인터페이싱 장치를 손목에 착용함으로써 시스템에 입력을 전달할 수 있어 수술중이거나 운전중인 경우 등과 같은 특수 환경에서 효율적으로 활용될 수 있다.
또한, 본 발명은 손 움직임을 측정하는 관성센서와 손가락 움직임을 측정하 는 진동센서, 압전센서 또는 근전도센서를 이용하여 보다 정확한 비접촉식 사용자 입력이 가능하다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 비접촉 입력 인터페이싱 장치의 착용 예를 나타낸 도면이다.
도 1을 참조하면, 비접촉 입력 인터페이싱 장치(110)는 사용자의 손목에 착용된다.
예를 들어, 사용자는 비접촉 입력 인터페이싱 장치(110)를 착용한 상태에서 키보드를 이용하여 타이핑을 하다가 오른손을 마우스로 이동할 필요 없이 단순히 손목을 살짝 들어서 약간 상하좌우로 움직임으로써 모니터상의 마우스 포인트를 이동시킨 후 손가락을 약간 굽힘으로써 마우스 클릭 동작에 상응하는 입력을 전달할 수 있다.
예를 들어, 비접촉 입력 인터페이싱 장치(110)를 착용한 의사가 수술 중 컴퓨터의 MRI 사진을 스캔해서 보고자 하는 경우 수술용 마스크 및 고무장갑을 착용한 채로 단순히 손목에 착용한 비접촉 입력 인터페이싱 장치(110)로 컴퓨터 등의 여러 가지 시스템을 적절히 제어할 수 있다.
도 2는 도 1에 도시된 비접촉 입력 인터페이싱 장치의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 비접촉 입력 인터페이싱 장치는 관성센서(210), 손가락 움직임 센서(220), 손 제스쳐 감지부(230), 손가락 제스쳐 감지부(240), 입력 신호 생성부(250) 및 촉각 피드백 제공부(260)를 포함한다.
관성센서(210)는 사용자의 손 위치 또는 손 움직임을 측정한다. 관성센서(210)는 자이로 센서 또는 가속도 센서를 이용하여 구현될 수 있다.
손가락 움직임 센서(220)는 사용자의 손가락 움직임을 측정한다. 손가락 움직임 센서(220)는 진동센싱을 이용한 진동 센서, 압력센싱을 이용한 압력 센서 또는 근전도(electromyogram; EMG) 신호 측정을 위한 근전도 센서로 구현될 수 있다.
관성 센서(210) 및 손가락 움직임 센서(220)는 사용자의 손목에 착용되는 본 발명에 따른 비접촉 입력 인터페이싱 장치에 일체형으로 구현될 수 있다. 사용자의 손목은 관성 센서(210)를 통하여 손의 움직임을 측정하고, 동시에 진동 센서, 압력 센서 또는 근전도 센서 등의 손가락 움직임 센서(220)를 이용하여 손가락 움 직임을 측정하기에 최적의 위치이다.
손 제스쳐 감지부(230)는 관성센서(210)에 의하여 측정되는 손 움직임으로부터 기설정된 손 제스쳐를 감지한다.
예를 들어, 손 제스쳐 감지부(230)는 소정 범위 이상의 수직 방향 및 수평 방향의 손 움직임에 대하여 손 제스쳐로 설정하고 이를 저장하고 있다가 사용자로부터 감지된 손 움직임이 저장된 손 제스쳐에 해당하는 경우 그에 상응하는 신호를 출력할 수 있다. 이 때, 소정 범위는 사용자 작업의 종류나 사용자의 민감도 등에 따라 설정될 수 있다.
예를 들어, 손 제스쳐 감지부(230)는 컴퓨터 마우스의 상하좌우 이동에 해당하는 사용자의 공간상 손 움직임을 입력 받아 x-y 좌표 또는 손 제스쳐를 감지할 수 있다.
손가락 제스쳐 감지부(240)는 손가락 움직임 센서(220)에 의하여 측정되는 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지한다.
예를 들어, 손가락 제스쳐 감지부(240)는 사용자의 특정 손가락의 소정 범위이상의 움직임을 컴퓨터 마우스의 좌클릭 또는 우클릭 등에 대응하는 손가락 제스쳐로 설정하고 이를 저장하고 있다가 사용자로부터 감지된 손가락 움직임이 저장된 손가락 제스쳐에 해당하는 경우 그에 상응하는 신호를 출력할 수 있다.
입력 신호 생성부(250)는 손 제스쳐 감지부(230)에서 감지한 손 제스쳐 및 손가락 제스쳐 감지부(240)에서 감지한 손가락 제스쳐 중 어느 하나 이상에 기반하여 사용자에 의한 입력 신호를 생성한다.
이 때, 입력 신호 생성부(250)는 손 제스쳐 및 손가락 제스쳐의 조합에 의하여 입력 신호를 생성할 수도 있다.
예를 들어, 마우스의 드래그 동작에 해당하는 입력 신호를 생성하고자 하는 경우, 사용자는 오른손 검지를 약간 굽힌 후 오른손을 상하좌우로 이동시킬 수 있다. 이 때, 손 제스쳐 감지부(230)는 오른손의 상하좌우 이동에 해당하는 손 제스쳐를 감지하고, 손가락 제스쳐 감지부(240)는 오른손 검지의 굽힘에 해당하는 손가락 제스쳐를 감지한다. 입력 신호 생성부(250)는 오른손 검지의 굽힘에 해당하는 손가락 제스쳐 및 오른손의 상하좌우 이동에 해당하는 손 제스쳐의 조합에 기반하여 드래그 동작에 상응하는 입력 신호를 생성할 수 있다.
촉각 피드백 제공부(260)는 사용자에게 입력 신호와 관련된 피드백을 제공한다. 예를 들어, 촉각 피드백 제공부(260)는 마우스의 우클릭에 해당하는 손가락 제스쳐를 취한 사용자에게 이에 상응하는 촉각 피드백을 제공하고, 마우스의 상하좌우 이동에 해당하는 손 제스쳐를 취한 사용자에게 이에 상응하는 촉각 피드백을 제공한다.
도 2에 도시된 관성 센서(210) 및 손가락 움직임 센서(220)는 설명의 편의상 각각 하나의 센서인 것처럼 설명하였으나, 각각 복수 개의 센서들로 구성될 수도 있다.
도 3은 사용자에 의한 입력 신호의 예를 나타낸 도면이다.
도 3을 참조하면, 사용자에 의한 입력 신호는 상하좌우 이동 입력 신 호(301), 좌/우 클릭 입력 신호(302), 드래그(drag) 입력 신호(303), 시작 입력 신호(304), 업/다운 스크롤 신호(305), 레프트/라이트 스크롤 신호(306), 화면 확대/축소 신호(307), 객체의 좌/우 회전 신호(308) 및 창 최소화/최대화/종료 신호(309)를 포함한다.
상하좌우 이동 입력 신호(301)는 컴퓨터 마우스의 좌표이동에 해당하는 입력신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 그 수치(이동거리 또는 좌표 등)와 함께 제공될 수 있다.
예를 들어, 관성센서(자이로 센서 또는 가속도 센서)를 착용한 손목을 아래위로 움직이면 마우스 커서가 상/하로 움직이고 좌우로 움직이면 마우스 커서가 좌/우로 움직인다.
좌/우 클릭 입력 신호(302)는 컴퓨터 마우스의 좌클릭 또는 우클릭에 해당하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 제공될 수 있다. 특히, 좌/우 클릭 입력 신호(302)는 손가락 굽힘 등의 손가락 제스쳐에 기반하여 제공될 수 있다.
예를 들어, 검지를 공간상에서 비접촉식으로 구부리면 손목에 장착된 센서에 의해 진동 신호, 압력 신호 또는 근전도 신호를 인식해서 좌측 클릭으로 인식하고 마우스의 좌버튼 클릭에 해당하는 신호를 발생시킬 수 있다. 마찬가지 방식으로 사용자가 중지를 구부리면 마우스의 우버튼 클릭에 해당하는 신호를 발생시킬 수 있다.
드래그 입력 신호(303)는 컴퓨터 마우스의 드래그에 해당하는 입력 신호로, 손 제스쳐 및 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 제공될 수 있다. 이 때, 손 제스쳐는 마우스의 상하좌우 이동에 해당하는 것일 수 있고, 손가락 제스쳐는 마우스의 좌버튼 클릭에 해당하는 것일 수 있다. 즉, 드래그 입력 신호(303)는 손 제스쳐 및 손가락 제스쳐의 조합에 의하여 발생될 수 있다.
시작 입력 신호(304)는 본 발명에 따른 비접촉 입력 인터페이싱 장치의 동작을 시작하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 제공될 수 있다. 이 때, 손 제스쳐 및/또는 손가락 제스쳐는 다른 입력 신호와 혼동될 가능성이 낮은 사용자 움직임에 대응되는 것으로 설정되는 것이 바람직하다.
예를 들어, 사용자가 키보드를 이용한 타이핑 도중 오른손을 약간 들어 올리면 비접촉 입력 인터페이싱 장치가 활성화(activate)되어 입력 인터페이싱 동작을 시작할 수 있다.
업/다운 스크롤 신호(305)는 컴퓨터 마우스의 업/다운 스크롤에 해당하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 제공될 수 있다.
예를 들어, 업/다운 스크롤 신호(305)는 사용자가 약지를 구부린 상태에서 손을 상하로 움직이는 동작에 대응되어 설정될 수 있다. 이 경우 업/다운 스크롤 신호(305)는 사용자의 손 제스쳐 및 손가락 제스쳐의 조합에 의하여 정의된 사용자 움직임에 대응하여 제공되는 것으로 볼 수 있다.
레프트/라이트 스크롤 신호(306)는 레프트(left)/라이트(right) 스크롤에 해당 하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자의 움직임에 대응하여 제공될 수 있다.
예를 들어, 레프트/라이트 스크롤 신호(306)는 사용자가 약지를 구부린 상태에서 손을 좌우로 움직이는 동작에 대응하여 설정될 수 있다. 이 경우 레프트/라이트 스크롤 신호(306)는 사용자의 손 제스쳐 및 손가락 제스쳐의 조합에 의하여 정의된 사용자 움직임에 대응하여 제공되는 것으로 볼 수 있다.
화면 확대/축소 신호(307)는 컴퓨터 화면의 확대 또는 축소에 해당하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자 움직임에 대응하여 제공될 수 있다.
예를 들어, 화면 확대/축소 신호(307)는 손을 기준점에서 바깥쪽으로 움직이는 동작 및 기준점을 향하여 안쪽으로 움직이는 동작에 대응하여 설정될 수 있다.
객체의 좌/우 회전 신호(308)는 컴퓨터 화면상 객체의 좌우 회전에 해당되는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자 움직임에 대응하여 제공될 수 있다.
예를 들어, 객체의 좌/우 회전 신호(308)는 손을 시계 반대 방향으로 돌리는 동작 및 손을 시계 방향으로 돌리는 동작에 대응하여 설정될 수 있다.
창 최소화/최대화/종료 신호(309)는 컴퓨터 화면상의 창(window)의 최소화, 최대화 또는 종료에 해당하는 입력 신호로, 손 제스쳐 및/또는 손가락 제스쳐에 기반하여 정의된 사용자 움직임에 대응하여 제공될 수 있다.
도 4는 손가락 움직임에 기반하여 동작하는 경우의 비접촉 입력 인터페이싱 방법을 나타낸 동작 흐름도이다.
도 4를 참조하면, 손가락 움직임에 기반하여 동작하는 경우 비접촉 입력 인터페이싱 방법은 먼저 사용자의 손가락 움직임을 측정한다(S410).
예를 들어, 비접촉 입력 인터페이싱 방법은 사용자가 검지를 굽히는 것을 센서를 이용하여 측정할 수 있다.
이 때, 손가락 움직임의 측정은 사용자의 손목에 착용되는 진동 센서, 압전 센서 또는 근전도 센서 중 어느 하나를 이용하여 수행될 수 있다.
또한, 비접촉 입력 인터페이싱 방법은 측정된 손가락 움직임이 기설정된 손가락 제스쳐인지 여부를 판단한다(S420).
예를 들어, 비접촉 입력 인터페이싱 방법은 사용자가 검지를 구부린 동작이 기설정된 마우스 좌클릭에 대응되는 손가락 제스쳐에 해당하는 것인지 여부를 판단할 수 있다. 사용자가 마우스 좌클릭에 해당하는 손가락 제스쳐에 의하여 정의된 각도만큼 손가락을 구부리는 경우에만 마우스 좌클릭에 해당하는 손가락 제스쳐로 판단될 수 있다.
단계(S420)의 판단 결과, 측정된 손가락 움직임이 기설정된 손가락 제스쳐가 아니라고 판단되는 경우 본 발명에 따른 비접촉 입력 인터페이싱 방법은 정의되지 않은 사용자의 움직임을 무시하고 사용자의 다음 움직임을 측정할 수 있다.
단계(S420)의 판단 결과, 측정된 손가락 움직임이 기설정된 손가락 제스쳐로 판단되는 경우, 비접촉 입력 인터페이싱 방법은 정의된 손가락 제스쳐에 해당하는 입력 신호를 제공한다(S430).
예를 들어, 이 때 제공되는 입력 신호는 마우스 좌클릭에 상응하는 것일 수 있다.
또한, 비접촉 입력 인터페이싱 방법은 제공 되는 입력 신호에 상응하는 피드백을 촉각신호를 이용하여 사용자에게 제공한다(S440).
이 때, 피드백은 입력 신호에 의하여 시스템에서 발생한 이벤트에 대응하는 것일 수 있다.
예를 들어, 피드백은 검지손가락 주변에의 진동일 수 있다.
도 5는 손 움직임에 기반하여 동작하는 경우의 비접촉 입력 인터페이싱 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 손 움직임에 기반하여 동작하는 경우 비접촉 입력 인터페이싱 방법은 먼저 사용자의 손 움직임을 측정한다(S510).
예를 들어, 비접촉 입력 인터페이싱 방법은 사용자가 손을 상하좌우로 이동하는 것을 센서를 이용하여 측정할 수 있다.
이 때, 손 움직임의 측정은 사용자의 손목에 착용되는 관성 센서를 이용하여 수행될 수 있다. 이 때, 관성 센서는 자이로 센서 또는 가속도 센서일 수 있다. 이 때, 관성 센서는 손가락 움직임 측정을 위한 전동 센서, 압전 센서 또는 근전도 센서와 일체형으로 손목에 착용 가능한 것일 수 있다.
또한, 비접촉 입력 인터페이싱 방법은 측정된 손 움직임이 기설정된 손 제스 쳐인지 여부를 판단한다(S520).
예를 들어, 비접촉 입력 인터페이싱 방법은 사용자가 손을 상하좌우로 움직인 동작이 기설정된 마우스 포인트 이동에 대응되는 손 제스쳐에 해당하는 것인지 여부를 판단할 수 있다. 사용자가 마우스 포인트 이동에 해당하는 손 제스쳐에 의하여 정의된 거리만큼 손을 이동시키는 경우에만 마우스 포인트 이동에 해당하는 손 제스쳐로 판단될 수 있다.
단계(S520)의 판단 결과, 측정된 손 움직임이 기설정된 손 제스쳐가 아니라고 판단되는 경우 본 발명에 따른 비접촉 입력 인터페이싱 방법은 정의되지 않은 사용자의 움직임을 무시하고 사용자의 다음 움직임을 측정할 수 있다.
단계(S520)의 판단 결과, 측정된 손 움직임이 기설정된 손 제스쳐로 판단되는 경우, 비접촉 입력 인터페이싱 방법은 정의된 손 제스쳐에 해당하는 입력 신호를 제공한다(S530).
예를 들어, 이 때 제공되는 입력 신호는 마우스 포인트 이동에 상응하는 것일 수 있다.
또한, 비접촉 입력 인터페이싱 방법은 제공 되는 입력 신호에 상응하는 피드백을 촉각신호를 이용하여 사용자에게 제공한다(S540).
이 때, 피드백은 입력 신호에 의하여 시스템에서 발생한 이벤트에 대응하는 것일 수 있다.
예를 들어, 피드백은 손목 주변에의 진동일 수 있다.
실시예에 따라, 도 4 및 도 5에 도시된 비접촉 입력 인터페이싱 방법은 동시 에 수행될 수도 있다.
즉, 사용자가 손가락 움직임 및 손 움직임의 조합에 해당하는 동작을 취하는 경우, 비접촉 입력 인터페이싱 장치는 손가락 움직임 및 손 움직임을 감지하고 이들의 조합에 해당하는 입력 신호를 생성할 수 있다.
예를 들어, 사용자가 검지를 구부린 상태에서(손가락 움직임) 손을 위로 올리는(손 움직임) 경우, 마우스 드래그에 해당하는 입력 신호가 생성될 수 있다.
이상에서와 같이 본 발명에 따른 비접촉 입력 인터페이싱 장치 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
도 1은 본 발명의 일실시예에 따른 비접촉 입력 인터페이싱 장치의 착용 예를 나타낸 도면이다.
도 2는 도 1에 도시된 비접촉 입력 인터페이싱 장치의 일 예를 나타낸 블록도이다.
도 3은 사용자에 의한 입력 신호의 예를 나타낸 도면이다.
도 4는 손가락 움직임에 기반하여 동작하는 경우의 비접촉 입력 인터페이싱 방법을 나타낸 동작 흐름도이다.
도 5는 손 움직임에 기반하여 동작하는 경우의 비접촉 입력 인터페이싱 방법을 나타낸 동작 흐름도이다.

Claims (13)

  1. 사용자의 손 움직임을 측정하는 제1 센서;
    상기 사용자의 손가락 움직임을 측정하는 제2 센서;
    상기 손 움직임으로부터 기설정된 손 제스쳐를 감지하는 손 제스쳐 감지부;
    상기 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지하는 손가락 제스쳐 감지부; 및
    상기 손 제스쳐 및 상기 손가락 제스쳐 중 어느 하나 이상에 기반하여 상기 사용자에 의한 입력 신호를 생성하는 입력 신호 생성부를 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  2. 청구항 1에 있어서,
    상기 제1 센서 및 제2 센서는 일체형으로 상기 사용자의 손목에 착용되는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  3. 청구항 2에 있어서,
    상기 제1 센서는 관성 센서이고, 상기 제2 센서는 진동 센서, 압전 센서 및 근전도 센서 중 어느 하나인 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  4. 청구항 3에 있어서,
    상기 관성 센서는 자이로 센서 및 가속도 센서 중 어느 하나인 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  5. 청구항 2에 있어서,
    상기 사용자에게 촉각을 이용하여 상기 입력 신호에 관련된 피드백을 제공하는 촉각 피드백 제공부를 더 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  6. 청구항 2에 있어서,
    상기 입력 신호 생성부는
    상기 손 제스쳐 및 상기 손가락 제스쳐의 조합에 기반하여 상기 입력 신호를 생성하는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  7. 청구항 2에 있어서,
    상기 입력 신호는
    시스템 화면상의 마우스 포인트의 좌표이동에 대응되는 상하좌우 움직임, 상기 마우스의 좌/우 클릭에 대응되는 좌/우 클릭 움직임, 상기 마우스의 드래그에 대응되는 드래그 움직임 및 상기 입력 인터페이싱 장치의 동작 시작에 대응되는 시작 움직임에 해당하는 신호들 중 어느 하나 이상을 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  8. 청구항 2에 있어서,
    상기 입력 신호는
    마우스의 업/다운 스크롤에 대응되는 업/다운 스크롤 움직임, 상기 마우스의 레프트/라이트 스크롤에 대응되는 레프트/라이트 스크롤 움직임, 화면 확대/축소에 대응되는 화면 확대/축소 움직임, 객체의 좌/우 회전에 대응하는 좌/우 회전 움직임 및 창(window)의 최소화/최대화/종료에 대응되는 창 제어 움직임에 해당하는 신호들 중 어느 하나 이상을 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 장치.
  9. 제1 센서를 이용하여 사용자의 손 움직임을 측정하는 단계;
    제2 센서를 이용하여 상기 사용자의 손가락 움직임을 측정하는 단계;
    상기 손 움직임으로부터 기설정된 손 제스쳐를 감지하는 단계;
    상기 손가락 움직임으로부터 기설정된 손가락 제스쳐를 감지하는 단계; 및
    상기 손 제스쳐 및 상기 손가락 제스쳐 중 어느 하나 이상에 기반하여 상기 사용자에 의한 입력 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 방법.
  10. 청구항 9에 있어서,
    상기 제1 센서 및 제2 센서는 일체형으로 상기 사용자의 손목에 착용되는 것 을 특징으로 하는 비접촉 입력 인터페이싱 방법.
  11. 청구항 10에 있어서,
    상기 제1 센서는 관성 센서이고, 상기 제2 센서는 진동 센서, 압전 센서 및 근전도 센서 중 어느 하나인 것을 특징으로 하는 비접촉 입력 인터페이싱 방법.
  12. 청구항 10에 있어서,
    상기 사용자에게 촉각을 이용하여 상기 입력 신호에 관련된 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 하는 비접촉 입력 인터페이싱 방법.
  13. 청구항 10에 있어서,
    상기 입력 신호를 생성하는 단계는
    상기 손 제스쳐 및 상기 손가락 제스쳐의 조합에 기반하여 상기 입력 신호를 생성하는 것을 특징으로 하는 비접촉 입력 인터페이싱 방법.
KR1020090097330A 2009-10-13 2009-10-13 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 KR101234111B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090097330A KR101234111B1 (ko) 2009-10-13 2009-10-13 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090097330A KR101234111B1 (ko) 2009-10-13 2009-10-13 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법

Publications (2)

Publication Number Publication Date
KR20110040165A true KR20110040165A (ko) 2011-04-20
KR101234111B1 KR101234111B1 (ko) 2013-02-19

Family

ID=44046576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090097330A KR101234111B1 (ko) 2009-10-13 2009-10-13 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법

Country Status (1)

Country Link
KR (1) KR101234111B1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013055137A1 (ko) * 2011-10-14 2013-04-18 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
WO2014003949A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Peripheral device for visual and/or tactile feedback
EP2815699A1 (en) * 2013-06-17 2014-12-24 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object
KR20150127530A (ko) * 2014-05-07 2015-11-17 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
KR20160139614A (ko) 2015-05-28 2016-12-07 박소은 접촉식 터치로 인식되는 비접촉식 동작 인식 사용자 인터페이스
US9639155B2 (en) 2013-08-21 2017-05-02 Samsung Electronics Co., Ltd. Biosignal interface apparatus and operation method of biosignal interface apparatus
JP2019023941A (ja) * 2013-02-22 2019-02-14 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US10585484B2 (en) 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2021060601A1 (ko) * 2019-09-26 2021-04-01 주식회사 팜캣 점과 각을 통한 동작인식 방법 및 시스템
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
WO2022131534A1 (ko) * 2020-12-17 2022-06-23 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696812B2 (en) 2013-05-29 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object
IN2014DE00899A (ko) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
KR101723076B1 (ko) * 2014-09-22 2017-04-06 광주과학기술원 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법
KR20170009424A (ko) 2015-07-17 2017-01-25 이태완 비접촉식 간단 명령 입력 장치 및 방법, 그리고 이에 적용되는 컴퓨터 프로그램 및 기록매체
KR101771927B1 (ko) * 2016-11-07 2017-08-29 광주과학기술원 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112016A (ko) * 2000-06-13 2001-12-20 이기방 피부밀착형 키보드와 이를 이용한 이동정보처리장치와컴퓨터와 이동통신기기

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389693B2 (en) 2011-10-14 2016-07-12 Samsung Electronics Co., Ltd. Apparatus and method for recognizing motion by using an event-based vision sensor
WO2013055137A1 (ko) * 2011-10-14 2013-04-18 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
WO2014003949A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Peripheral device for visual and/or tactile feedback
JP2019023941A (ja) * 2013-02-22 2019-02-14 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2021072136A (ja) * 2013-02-22 2021-05-06 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
EP2815699A1 (en) * 2013-06-17 2014-12-24 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object
KR20140146346A (ko) * 2013-06-17 2014-12-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US10649549B2 (en) 2013-06-17 2020-05-12 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object
US10019078B2 (en) 2013-06-17 2018-07-10 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US9639155B2 (en) 2013-08-21 2017-05-02 Samsung Electronics Co., Ltd. Biosignal interface apparatus and operation method of biosignal interface apparatus
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US10585484B2 (en) 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
US11687163B2 (en) 2013-12-30 2023-06-27 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
KR20150127530A (ko) * 2014-05-07 2015-11-17 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
KR20160139614A (ko) 2015-05-28 2016-12-07 박소은 접촉식 터치로 인식되는 비접촉식 동작 인식 사용자 인터페이스
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
KR20210037063A (ko) * 2019-09-26 2021-04-06 주식회사 팜캣 점과 각을 통한 동작인식 방법 및 시스템
WO2021060601A1 (ko) * 2019-09-26 2021-04-01 주식회사 팜캣 점과 각을 통한 동작인식 방법 및 시스템
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
WO2022131534A1 (ko) * 2020-12-17 2022-06-23 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Also Published As

Publication number Publication date
KR101234111B1 (ko) 2013-02-19

Similar Documents

Publication Publication Date Title
KR101234111B1 (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
KR100543703B1 (ko) 포인팅 장치 및 그 방법
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US8816964B2 (en) Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US8830189B2 (en) Device and method for monitoring the object's behavior
KR101453628B1 (ko) 사용자 인터페이스
US10042438B2 (en) Systems and methods for text entry
US20120127070A1 (en) Control signal input device and method using posture recognition
US20120019488A1 (en) Stylus for a touchscreen display
JP2012508408A (ja) 空中での指の動きを通じて制御されるマウス
JP2004280834A (ja) 仮想筆記平面を用いたモーション認識システム及びその認識方法
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
KR20060069985A (ko) 착용형 범용 3차원 입력 시스템
KR101328385B1 (ko) 접촉식 손가락 마우스 및 이의 동작 방법
JP2008203911A (ja) ポインティング・デバイス、およびコンピュータ
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
US20150009136A1 (en) Operation input device and input operation processing method
US20140015750A1 (en) Multimode pointing device
JP2010272036A (ja) 画像処理装置
JP2012141650A (ja) 携帯端末
Gao et al. Conductive inkjet printed passive 2D trackpad for VR interaction
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
KR101588021B1 (ko) 헤드 마우스
EP2787417B1 (en) Multi-control stylus
US20150049022A1 (en) Computer system and a control method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200212

Year of fee payment: 8