KR102399672B1 - 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템 - Google Patents

보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템 Download PDF

Info

Publication number
KR102399672B1
KR102399672B1 KR1020190068670A KR20190068670A KR102399672B1 KR 102399672 B1 KR102399672 B1 KR 102399672B1 KR 1020190068670 A KR1020190068670 A KR 1020190068670A KR 20190068670 A KR20190068670 A KR 20190068670A KR 102399672 B1 KR102399672 B1 KR 102399672B1
Authority
KR
South Korea
Prior art keywords
subject
spectrogram
walking
characteristic signal
axis
Prior art date
Application number
KR1020190068670A
Other languages
English (en)
Other versions
KR20200141752A (ko
Inventor
문경률
김진욱
정다운
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190068670A priority Critical patent/KR102399672B1/ko
Publication of KR20200141752A publication Critical patent/KR20200141752A/ko
Application granted granted Critical
Publication of KR102399672B1 publication Critical patent/KR102399672B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템이 제공된다. 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 시스템은 대상자의 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신하는 보행 특성 신호 취득부; 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부; 및 상기 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 대상자 식별부를 포함하되, 상기 대상자 식별 모델은 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델이다.

Description

보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템{Method and system for personal identification based on gait time-frequency analysis}
본 발명은 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템에 관한 것으로, 사용자의 보행 특성을 간단한 장비를 통해 획득하고, 이를 기초로 개인을 식별할 수 있는 방법 및 시스템에 관한 것이다.
보행(걸음걸이, gait)은 가장 기본적인 인간의 이동 수단으로 개인의 고유 요소(gender, age), 건강 요소, 병적 요소(trauma, neurological/musculoskeletal/psychiatric diseases) 등과 밀접하게 관련되어 있다. 따라서, 보행의 정량적 평가를 통해 대상자의 노쇠 정도, 근골격계 및 신경 질환을 진단하고 모니터링할 수 있고, 체계적인 치료에 대한 효과를 판단할 수 있으며, 외과적 수술 결정 및 수술 후 검토에 활용할 수 있다. 개인의 보행은 미국 특허 공개 공보 US 2009-0141933에 개시되어 있는 바와 같이, 카메라 등을 이용하여 분석될 수 있다.
또한, 보행은 각 개인의 몸무게, 근육 강도, 뼈의 형태와 밀도, 근육의 형태, 걸음을 걷는 습관 등의 요인으로 인해 각 개인마다 서로 다른 고유한 패턴을 가질 수 있다. 따라서, 보행 분석을 통해 개인의 운동 능력을 분석할 수 있을 뿐만 아니라 보행 분석을 통해 특정인을 식별하거나, 개인의 인증도 가능할 수 있다.
이에 본 출원의 발명자는 센서를 통해 획득한 보행 데이터를 기초로 특정인을 식별하거나, 특정인의 인증이 가능한 개인 식별 방법 및 시스템을 개발하는 데 이르렀다.
미국 특허 공개 공보 US 2009-0141933 A1 (2009년 06월 04일)
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 대상자의 보행 데이터를 센서를 통해 획득하고, 획득한 보행 특성 신호에 기초하여 대상자를 직관적이고 효율적으로 식별할 수 있는 방법 및 시스템을 제공한다.
본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 시스템은 대상자의 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신하는 보행 특성 신호 취득부; 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부; 및 상기 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 대상자 식별부를 포함하되, 상기 대상자 식별 모델은 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델이다.
본 발명의 다른 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법은 대상자의 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신하는 단계; 상기 수신된 보행 특성 신호를 시간-주파수 분석을 통해 스펙트로그램으로 변환하는 단계; 및 상기 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 단계를 포함하되, 상기 대상자 식별 모델은 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델이다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 보행 시간-주파수 분석에 기초한 보행 시간-주파수 분석에 기초한 개인 식별 방법을 실행하도록 매체에 저장된다.
본 발명의 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 시스템 및 방법은 대상자의 보행에 따른 특성을 관성 측정 센서 또는 모션 센서와 같은 간단한 장치로 획득하고, 이에 대한 학습을 통해 대상자 식별 모델을 구축할 수 있으며, 대상자 식별 모델을 활용하여 보행 분석을 통해 특정 대상자를 식별하거나 대상자를 인증할 수 있다.
여기서, 대상자 식별 모델은 보행 특성을 효과적으로 제시하기 위해 파동을 인간의 시각으로 직관적으로 파악할 수 있도록 변환한 이미지인 스펙트로그램을 입력 값으로 사용할 수 있으며, 대상자 식별 모델의 출력 값은 일정 범위의 수치 값으로 제공될 수 있는 바, 기 저장된 데이터와 새로 입력된 대상자의 결과 값의 비교가 용이해질 수 있다. 따라서, 본 발명의 실시예에 따른 개인 식별 시스템 및 방법은 보다 직관적이고 효율적으로 대상자를 식별할 수 있다.
또한, 딥러닝 기술의 적용을 통해 일반적인 생체인식 시스템에서 한계점으로 지적되는 거부 오류 비율(false rejection rate) 및 허용 오류 비율(false acceptance rate)과 관련된 문제를 최소화할 수 있으며, 편리성과 보안성을 갖춘 생체 인증 수단으로 보행 정보가 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 시스템의 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 개인 식별 시스템에 참여하는 대상자 및 대상자에 부착된 센서를 예시적으로 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 개인 식별 시스템에 적용되는 모션 센서로부터 센싱되는 보행 특성 신호를 예시적으로 도시한 도면이다.
도 3a는 센서에서 제공된 보행 특성 신호의 예시적인 그래프이다.
도 3b 및 3c는 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램의 예시적인 도면이다.
도 4a는 스펙트로그램과 다른 스펙트로그램을 병합한 예시적인 이미지이다.
도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지들을 병합한 예시적인 이미지이다.
도 5는 본 발명의 일 실시예에 따른 개인 식별 시스템의 보행 특성 학습부의 예시적인 기계 학습 모델 구조를 도시한 것이다.
도 6a 및 도 6b는 다양한 신체 부위, 골반(Pelvis), 허벅지(Thigh), 정강이(Shank), 발(Foot)에 장착된 하나의 센서를 기초로 구축한 기계 학습 모델의 개인 식별 능력을 테스트한 결과를 도시한 그래프이다.
도 7a 및 도 7b는 복수의 신체 부위에 장착된 센서들로부터 제공된 데이터를 조합하여 구축한 기계 학습 모델의 개인 식별 능력을 테스트한 결과를 도시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법의 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 시스템의 블록도이다. 도 2a는 본 발명의 일 실시예에 따른 개인 식별 시스템에 참여하는 대상자 및 대상자에 부착된 센서를 예시적으로 도시한 도면이다. 도 2b는 본 발명의 일 실시예에 따른 개인 식별 시스템에 적용되는 모션 센서로부터 센싱되는 보행 특성 신호를 예시적으로 도시한 도면이다. 도 3a는 센서에서 제공된 보행 정보의 예시적인 그래프이고, 도 3b는 보행 정보를 시간-주파수 분석을 이용하여 변환한 스펙트로그램의 예시적인 도면이다. 도 4a는 스펙트로그램과 다른 스펙트로그램을 병합한 예시적인 이미지이다. 도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지들을 병합한 예시적인 이미지이다.
도 1 내지 도 4b를 참조하면, 보행 시간-주파수 분석에 기초한 개인 식별 시스템(10)은 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 대상자 식별부(120), 보행 특성 학습부(130) 및 데이터 베이스부(140)를 포함한다.
실시예들에 따른 개인 식별 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 개인 식별 시스템 및 이에 포함된 각 부(unit)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 개인 식별 시스템을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 대상자 식별부(120), 보행 특성 학습부(130) 및 데이터 베이스부(140)는 서로 구분되는 별개의 블록으로 도시되나, 이는 개인 식별 시스템을 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 대상자 식별부(120), 보행 특성 학습부(130) 및 데이터 베이스부(140)는 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있고, 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.
보행 특성 신호 취득부(100)는 대상자의 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신한다.
보행 특성 신호 취득부(100)와 링크된 센서(S)는 도 2에 도시된 바와 같이, 대상자(H)의 신체에 장착된 센서일 수 있다. 센서(S)가 장착되는 대상자(H)의 신체 부위는 대상자(H)의 보행에 직접적인 관계를 가지는 신체 부위일 수 있다. 즉, 센서(S)가 장착되는 대상자(H)의 신체 부위는 보행의 추진력뿐만 아니라, 보행시 동적 안전성을 제공하여 보행을 유지시키는 기능을 제공할 수 있다. 예시적으로, 센서(S)가 장착되는 대상자(H)의 신체 부위는 대상자(H)의 골반(Pelvis), 허벅지(Right Thigh, Left Thigh), 정강이(Right Shank, Left Shank) 및 발(Right Foot, Left Foot) 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 상술한 바와 같이, 보행(걸음걸이, gait)은 가장 기본적인 인간의 이동 수단으로 성별(gender), 연령(age), 건강 요소, 병적 요소, 운동 능력 등의 특징이 반영되어 나타날 수 있으며, 이러한 특징에 따라 센서(S)에서 수집되는 보행 특성 신호는 상이하게 나타날 수 있다. 대상자(H)는 센서(S)를 신체 부위에 장착한 상태로 정해진 거리를 보행하게 되며, 센서(S)는 보행에 따라 변화하는 신호를 보행 특성 신호 취득부(100)에 제공할 수 있다. 즉, 센서(S)는 보행에 따른 대상자(H)의 신체 상태를 평가하는데 있어서 도구적인 역할을 수행한다.
여기서, 센서(S)가 대상자(H)의 신체에 부착되는 형태인 경우, 센서(S)는 대상자(H)의 신체에 용이하게 탈, 부착 가능하며 휴대 가능하도록 소형 사이즈로 구성될 수 있다. 센서(S)는 관성 측정 센서(IMU: Inertial Measurement Unit)를 포함할 수 있다. 관성 측정 센서(IMU)는 3차원 공간에서 자유로운 움직임을 측정하는 자이로스코프(gyroscope), 가속도계 및 지자계 센서를 포함하며, 대상자(H)의 속도와 방향, 가속도를 측정할 수 있다. 즉, 관성 측정 센서(IMU)는 대상자(H)의 신체에 부착된 위치에서 대상자(H)의 보행에 따라 변화되는 가속도 정보 및 각속도 정보를 센싱하여 보행 특성 신호로써 보행 특성 신호 취득부(100)로 제공할 수 있다.
보행 특성 신호는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 포함할 수 있다. 여기서, X축 및 Y축은 대상자(H)가 위치하는 바닥면과 수직한 수직면을 정의하며, Z축은 상기 수직면과 수직한 축으로 정의될 수 있으나, 이에 한정되는 것은 아니다.
다만, 이에 한정되는 것은 아니며, 센서(S)는 카메라를 이용하여 대상자의 움직임을 감지하는 모션 센서를 포함할 수 있다. 즉, 센서(S)는 실제 보행 시 대상자의 움직임을 영상을 통해 감지할 수 있으며, 감지된 대상자 신체 움직임 정보로부터 대상자의 보행 특성 신호를 추출할 수 있다. 추출된 대상자의 보행 특성 신호는 시간 파라미터 및 공간 파라미터를 포함할 수 있다. 예시적으로, 도 2b에 도시된 바와 같이, 센서(S)는 시간 파라미터로써, 스트라이드 시간(Stride time: 한발의 뒤꿈치가 지면에 닿은 후 같은 발의 뒤꿈치가 다시 지면에 닿기까지의 시간), 스탭 시간(Step time, 한발의 뒤꿈치가 지면에 닿은 후 반대 발의 뒤꿈치가 지면에 닿기까지의 시간), 스탠스 시간(Stance time, 한발의 뒤꿈치가 지면에 닿은 후 발가락이 지면을 떠나기까지의 시간), 스윙 시간(Swing time, 한발의 발끝 밀기가 끝난 직후부터 다시 발뒤꿈치가 지면에 닿기까지의 시간), 싱글 림 서포트 시간(Single limb support time, 한발로 지지되고 있는 시간), 더블 림 서포트 시간(Double limb support time, 양발로 지지되고 있는 시간), 케이던스(Cadence,분 당 걸음 수) 등을 각 발을 기준으로 추출할 수 있다. 또한, 센서(S)는 공간 파라미터로써, 스트라이드 길이(Stride length), 스탭 길이(Step length), 보행 속도(Gait velocity) 등을 추출할 수 있다.
보행 특성 신호 취득부(100)는 대상자(H)의 보행에 따라 변화하는 보행 특성 신호를 각 센서(S)로부터 수신할 수 있다. 보행 특성 신호 취득부(100)와 센서(S)는 무선으로 신호의 송신 및 수신이 가능하도록 구성될 수 있다.
보행 특성 신호 변환부(110)는 보행 특성 신호 취득부(100)에서 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환할 수 있다. 보행 특성 신호 취득부(100)가 획득한 보행 특성 신호는 시간 영역 신호일 수 있다. 예시적으로, 관성 측정 센서(IMU)로부터 제공되는 보행 특성 신호는 도 3a에 도시된 바와 같이, 시간에 따라 신호의 진폭이 변화하는 것을 도시한 데이터, 시간 영역 신호일 수 있다. 도 3a는 X축, Y축, Z축 각각에 대한 각속도 정보를 도시한 그래프이다.
보행 특성 신호 변환부(110)는 이러한 시간에 따른 진폭 데이터를 시간-주파수 분석을 통해 시간-주파수(TF: Time-frequency) 영역 신호로 변환할 수 있으며, 이러한 시간-주파수(TF) 영역 신호는 하나의 이미지와 같이 생성될 수 있다. 스펙트로그램은 파동을 인간의 시각으로 직관적으로 파악할 수 있도록 변환한 이미지로서, 파형과 스펙트럼의 특징이 조합되어 있다. 따라서, 시간-주파수(TF) 영역 신호는 시간 영역 신호보다 딥 러닝(deep learning)에 적합한 입력 데이터일 수 있다. 스펙트로그램은 한 축에 시간(time), 다른 축엔 주파수(frequency)를 가지는 스펙트럼 시퀀스를 나타내며, 주파수 성분의 강도를 색상으로 구분하여 함께 도시할 수 있다.
보행 특성 신호 변환부(110)는 푸리에 변환(Fourier transform) 또는 웨이브릿 변환(wavelet transform)을 통해 시간 영역 신호를 스펙트로그램으로 변환할 수 있다. 예시적으로, 보행 특성 신호 변환부(110)는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 스펙트로그램을 생성할 수 있으나, 이에 한정되는 것은 아니며, 스톡웰 변환(Stockwell transform) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)도 적용될 수 있다. 도 3b는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성한 스펙트로그램을 예시적으로 도시한 것이며, 도 3c는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성한 스펙트로그램을 예시적으로 도시한 것이다. 여기서, 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 보행 특성 신호는 보다 매끄러운(Smooth) 이미지의 스펙트로그램으로 변환될 수 있다. 이러한 매끄러운(Smooth) 이미지의 스펙트로그램은 국소 푸리에 변환(Short-time Fourier transform, STFT)에서 시간 해상도 설정에 따라 발생하는 주파수 및 시간 정보 손실을 방지할 수 있기 때문에, 딥 러닝(deep learning)에 보다 더 적합한 입력 데이터일 수 있다.
보행 특성 신호 변환부(110)는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 각각 스펙트로그램으로 변환할 수 있다. 예시적으로, 도 3a에 도시된 X축, Y축, Z축 각각에 대한 시간 영역에서의 각속도 신호는 도 3b에 도시된 바와 같은 X축 각속도 스펙트로그램, Y축 각속도 스펙트로그램, Z축 각속도 스펙트로그램으로 각각 변환될 수 있다.
또한, 보행 특성 신호 변환부(110)는 변환된 스펙트로그램을 대상자 식별 모델에 입력될 수 있도록 조정할 수 있다. 여기서, 스펙트로그램의 조정은 구축된 대상자 식별 모델의 입력 데이터의 크기에 맞도록 스펙트로그램의 이미지 크기를 조절하거나, 다른 스펙트로그램과 병합하는 과정일 수도 있다. 도 4a는 다른 스펙트로그램과의 병합된 예시적인 이미지, 도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지를 병합한 예시적인 이미지이다.
도 4a와 같이 각 축(X축, Y축 또는 Z축)에 따른 가속도 스펙트로그램과 각속도 스펙트로그램의 사이즈를 동일하게 조정하며, 대상자 식별 모델의 입력 데이터의 크기에 맞도록 조정된 이미지를 병합할 수 있다. 또한, 각 축(X축, Y축 또는 Z축)에 따른 가속도 스펙트로그램과 각속도 스펙트로그램을 병합하고, 동일 평면에 나란한 방향으로 위치시키고, 도 4b와 같이, 일정 크기, 해상도를 가진 입력 데이터 이미지를 생성할 수 있다. 여기서, 입력 데이터 이미지는 각 센서(S)에 대응하여 생성될 수 있다. 즉, 하나의 센서(S)에서 생성된 신호 각각은 스펙트로그램으로 변환되며, 하나의 이미지로 병합되어 일정 크기의 입력 데이터 이미지로 생성될 수 있다.
상술한, 보행 특성 신호 변환부(110)에서 신호 변환은 센서(S)가 모션 센서인 경우에도 동일하게 수행될 수 있다. 즉, 모션 센서로부터 추출된 보행 특성 신호를 기초로 스펙트로그램이 생성될 수 있으며, 이러한 스펙트로그램 또한 대상자 식별 모델의 입력 값으로 제공될 수 있다.
대상자 식별부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별한다.
대상자 식별부(120)는 대상자 식별 모델에 스펙트로그램을 입력 값으로 제공한다. 대상자 식별 모델은 보행 특성 학습부(130)에서 구축된 상태일 수 있다.
보행 특성 학습부(130)는 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델일 수 있다. 즉, 보행 특성 학습부(130)는 복수의 대상자로부터 각각 취득한 스펙트로그램을 입력 값으로, 식별된 대상자를 출력 값으로 설정하고, 이들 사이의 관계를 결정하는 추상화된 모델을 학습할 수 있다. 상술한 바와 같이, 보행은 각 개인의 몸무게, 근육 강도, 뼈의 형태와 밀도, 근육의 형태, 걸음을 걷는 습관 등의 요인으로 인해 각 개인마다 서로 다른 고유한 패턴을 가질 수 있는 바, 대상자 식별 모델은 보행 특성 신호에 기초한 스펙트로그램만으로 상이한 대상자들을 식별하도록 학습될 수 있다. 또한, 대상자의 보행 특성에 따른 식별력이 분명 존재하나, 대상자가 항상 동일한 형태로 걸을 수는 없는 점을 감안할 때, 보행 특성 학습부(130)는 동일한 대상자로부터 여러 형태의 보행에 따른 보행 특성 신호를 입력값으로 제공받으며, 해당 보행 특성 신호를 특정 대상인으로 인식하도록 학습할 수 있다. 또한, 보행 특성 학습부(130)는 관성 측정 센서로부터 생성된 보행 특성 신호 또는 모션 센서로부터 생성된 보행 특성 신호로부터 각각 변환된 스펙트로그램을 모두 입력 값으로 제공받으며, 해당 스펙트로그램이 특정 대상인에 해당하는 것을 학습할 수 있다.
보행 특성 학습부(130)는 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는 딥 러닝(deep learning)을 통해서 보행 특성 신호에 기초한 대상자 식별 모델을 구축할 수 있다. 보행 특성 학습부(130)는 입력된 스펙트로그램과 결과로써 식별된 대상자의 관계를 결정하는 추상화된 모델을 구축할 수 있다. 보행 특성 학습부(130)는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 포함할 수 있으며, 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다.
예시적으로, 도 5는 본 발명의 일 실시예에 따른 개인 식별 시스템의 보행 특성 학습부의 예시적인 기계 학습 모델 구조를 도시한 것이다. 컨볼루션 신경망 기반의 기계 학습 모델은 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되어, 각 단계를 반복 수행하는 과정에서 입력 이미지의 특징을 반영할 수 있는 필터의 값을 자동으로 학습할 수 있고, 학습된 필터에 따라 이미지 분석 및 판별을 수행할 수 있다. 도 5의 예시적인 모델에서의 출력 값은 특정 대상자일 수 있으며, 입력 값은 다양한 신체 부위에 장착된 센서에서 제공된 보행 특성 신호를 변환한 스펙트로그램일 수 있다. 상기 대상자 식별 모델은 대상자의 신체 부위에 부착된 센서(S)에 대응하여 생성될 수 있다. 예시적으로, 대상자(H)의 골반(Pelvis), 허벅지(Right Thigh, Left Thigh), 정강이(Right Shank, Left Shank) 및 발(Right Foot, Left Foot) 각각에 해당하는 대상자 식별 모델이 개별적으로 생성될 수 있다. 다만, 이에 한정되는 것은 아니며 대상자 식별 모델 구축시 입력되는 입력 값은 각 신체 부위에서 생성된 신호 또는 신호가 변환된 스펙트로그램이 병합된 데이터일 수 있으며, 대상자 식별 모델은 복수의 신체 부위에 부착된 복수의 센서에 기초하여 구축될 수도 있다. 다만, 상술한 방법은 일 예시일 뿐 본 발명의 일 실시예에 따른 기계 학습 방법이 이에 한정되는 것은 아니다.
도 6a 및 도 6b는 다양한 신체 부위, 골반(Pelvis), 허벅지(Thigh), 정강이(Shank), 발(Foot)에 장착된 하나의 센서를 기초로 구축한 기계 학습 모델의 개인 식별 능력을 테스트한 결과를 도시한 그래프로, 도 6a는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델의 결과이며, 도 6b는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델의 결과이다.
도 6a 및 도 6b에서, Top 1은 1명의 대상자를 식별하는 확률, Top 3는 3명의 대상자 중 적어도 1명을 식별하는 확률, Top 5는 5명의 대상자 중 적어도 1명을 식별하는 확률을 나타낸다. 도 6a 및 도 6b에 도시된 그래프를 참조하면, 하나의 신체 부위에 착용된 센서를 기초로 대상자를 식별하는 기계 학습 모델이 충분히 구축될 수 있는 것을 확인할 수 있다. 특히, 단일 센서를 이용하더라도 보행과 가장 직접적인 연관성을 나타내는 발(Feet)에 장착된 센서를 기초로 개인 식별 모델을 구축하였을 때, 다른 신체 부위보다 높은 정확성을 나타내는 것을 알 수 있다.
여기서, 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 보행 특성 신호는 보다 매끄러운(Smooth) 이미지의 스펙트로그램으로 변환될 수 있기에, 딥 러닝(deep learning)에 보다 더 적합한 입력 데이터일 수 있다. 따라서, 도 6b에 도시된 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델이 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델보다 더 높은 식별력을 제공하는 것을 확인할 수 있다.
도 7a 및 도 7b는 복수의 신체 부위에 장착된 센서들로부터 제공된 데이터를 조합하여 구축한 기계 학습 모델의 개인 식별 능력을 테스트한 결과를 도시한 그래프로, 도 7a는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델의 결과이며, 도 7b는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델의 결과이다.
본 실시예에 따른 개인 식별 기계 학습 모델은 i) 골반(Pelvis) + 발(Foot), ii) 골반(Pelvis) + 허벅지(Thigh), iii) 골반(Pelvis) + 정강이(Shank) 또는 iv) 모든 부위(골반, 허벅지, 정강이, 발)에 부착된 센서들로부터 제공된 데이터를 조합하여 구축될 수 있다. 단일 센서를 이용하여 모델을 구축하는 것보다 다른 위치에 부착된 복수의 센서를 이용하는 경우에 정확성이 높아지는 것을 확인할 수 있으며, 모든 센서(Full sensors)를 이용한 경우 가장 높은 정확성을 나타내는 것을 확인할 수 있다. 또한, 도 7b에 도시된 바와 같이, 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델이 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성된 스펙트로그램을 기초로 구축된 기계 학습 모델보다 더 높은 식별력을 제공하는 것을 확인할 수 있다.
이와 같은 기계 학습 과정을 거쳐 보행 특성 학습부(130)는 보행 특성 신호에 기초한 대상자 식별 모델을 구축할 수 있으며, 대상자(적어도 하나의 스펙트로그램)에 대응되는 출력 값을 매칭한 식별 정보를 최종적으로 생성할 수 있다. 대상자 식별 모델에서 출력되는 결과 값은 입력 값 대비과 비교하여 다운 사이즈된 특정 이미지 또는 특정 값일 수 있다. 이러한 결과 값은 서로 비교가 용이한 데이터일 수 있으며, 사용자의 식별 또는 인증에 보다 용이한 정보일 수 있다.
구축된 대상자 식별 모델 및 모델에 따른 식별 정보는 데이터 베이스부(140)에 저장될 수 있다. 데이터 베이스부(140)는 대상자 식별 모델, 이에 따른 식별 정보(결과 데이터) 및 이에 기초가 되는 스펙트로그램 및/또는 보행 특성 신호 등과 같은 기초 데이터를 임시적으로 저장하거나 보관하도록 구성될 수 있다.
대상자 식별부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별한다. 대상자 식별부(120)는 대상자 식별 모델에서 출력되는 결과가 기 저장된 식별 정보의 오차 범위내에 해당하는 대상자를 식별할 수 있다. 대상자 식별부(120)는 상기 대상자 식별 모델에서 출력되는 결과에 대응하는 대상자가 식별되는 경우, 스펙트로그램에 대응한 대상자를 출력할 수 있다. 대상자 식별부(120)는 보행 시간-주파수 분석에 기초한 개인 식별 시스템(10)에 포함되거나 연동된 인증 시스템에 식별 여부에 대한 정보를 제공할 수 있다. 즉, 대상자가 식별되는 경우, 대상자 정보를 상기 인증 시스템에 제공할 수 있으며, 대상자가 식별되지 않는 경우 식별 정보 불일치 정보를 상기 인증 시스템에 제공할 수 있다. 인증 시스템은 대상자 식별부(120)에서 제공된 대상사 식별 여부에 대한 정보를 기초로 사용자 인증을 진행할 수 있다.
또한, 대상자 식별부(120)는 대상자가 식별되지 않는 경우, 상기 스펙트로그램을 보행 특성 학습부(130)에 제공하여 상기 대상자에 대한 학습을 수행할 수 있다. 즉, 보행 특성 학습부(130)는 스펙트로그램에 대응하는 새로운 대상자를 학습하여 대상자 식별 모델을 업데이트할 수 있다.
이와 같이, 본 발명의 실시예에 따른 개인 식별 시스템은 대상자의 보행에 따른 특성을 관성 측정 센서 또는 모션 센서와 같은 간단한 장치로 획득하고, 이에 대한 학습을 통해 대상자 식별 모델을 구축할 수 있으며, 대상자 식별 모델을 활용하여 보행 분석을 통해 특정 대상자를 식별하거나 대상자를 인증할 수 있다.
여기서, 대상자 식별 모델은 보행 특성을 효과적으로 제시하기 위해 파동을 인간의 시각으로 직관적으로 파악할 수 있도록 변환한 이미지인 스펙트로그램을 입력 값으로 사용할 수 있으며, 대상자 식별 모델의 출력 값은 일정 범위의 수치 값으로 제공될 수 있는 바, 기 저장된 데이터와 새로 입력된 대상자의 결과 값의 비교가 용이해질 수 있다. 따라서, 본 발명의 실시예에 따른 개인 식별 시스템은 보다 직관적이고 효율적으로 대상자를 식별할 수 있다.
또한, 딥러닝 기술의 적용을 통해 일반적인 생체인식 시스템에서 한계점으로 지적되는 거부 오류 비율(false rejection rate) 및 허용 오류 비율(false acceptance rate)과 관련된 문제 최소화할 수 있으며, 편리성과 보안성을 갖춘 생체 인증 수단으로 보행 정보가 활용될 수 있다.
이하, 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법에 대해 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법의 순서도이다. 상기 방법은 상술한 도 1 내지 도 5의 시스템에서 수행될 수 있고, 본 실시예에 설명을 위해 도 1 내지 도 5가 참조될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법은 대상자의 보행에 따른 보행 특성 신호를 센서로부터 수신하는 단계(S100), 수신된 보행 특성 신호를 시간-주파수 분석을 통해 스펙트로그램으로 변환하는 단계(S110), 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 단계(S120)를 포함한다.
먼저, 대상자로부터 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신한다(S100).
보행 특성 신호 취득부(100)는 대상자의 보행에 따른 보행 특성 신호를 적어도 하나 이상의 센서로부터 수신한다.
보행 특성 신호 취득부(100)와 링크된 센서(S)는 도 2에 도시된 바와 같이, 대상자(H)는 신체에 장착된 센서일 수 있다. 센서(S)가 장착되는 대상자(H)의 신체 부위는 대상자(H)의 보행에 직접적인 관계를 가지는 신체 부위일 수 있다. 즉, 센서(S)가 장착되는 대상자(H)의 신체 부위는 보행의 추진력뿐만 아니라, 보행시 동적 안전성을 제공하여 보행을 유지시키는 기능을 제공할 수 있다. 대상자(H)는 센서(S)를 신체 부위에 장착한 상태로 정해진 거리를 보행하게 되며, 센서(S)는 보행에 따라 변화하는 신호를 보행 특성 신호 취득부(100)에 제공할 수 있다. 즉, 센서(S)는 보행에 따른 대상자(H)의 신체 상태를 평가하는데 있어서 도구적인 역할을 수행한다.
보행 특성 신호는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 포함할 수 있다. 여기서, X축 및 Y축은 대상자(H)가 위치하는 바닥면과 수직한 수직면을 정의하며, Z축은 상기 수직면과 수직한 축으로 정의될 수 있으나, 이에 한정되는 것은 아니다.
다만, 이에 한정되는 것은 아니며, 센서(S)는 카메라를 이용하여 대상자의 움직임을 감지하는 모션 센서를 포함할 수 있다. 즉, 센서(S)는 실제 보행 시 대상자의 움직임을 영상을 통해 감지할 수 있으며, 감지된 대상자 신체 움직임 정보로부터 대상자의 보행 특성 신호 추출할 수 있다. 추출된 대상자의 보행 특성 신호는 시간 파라미터 및 공간 파라미터를 포함할 수 있다.
다음으로, 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환한다(S110).
보행 특성 신호 변환부(110)는 보행 특성 신호 취득부(100)에서 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환할 수 있다. 보행 특성 신호 변환부(110)는 이러한 시간에 따른 진폭 데이터를 시간-주파수 분석을 통해 시간-주파수(TF) 영역 신호로 변환할 수 있으며, 이러한 시간-주파수(TF) 영역 신호는 하나의 이미지와 같이 생성될 수 있다. 예시적으로, 보행 특성 신호 변환부(110)는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 스펙트로그램을 생성할 수 있으나, 이에 한정되는 것은 아니며, 스톡웰 변환(Stockwell transform) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)도 적용될 수 있다. 이러한 매끄러운(Smooth) 이미지의 스펙트로그램은 국소 푸리에 변환(Short-time Fourier transform, STFT)에서 시간 해상도 설정에 따라 발생하는 주파수 및 시간 정보 손실을 방지할 수 있기 때문에, 딥 러닝(deep learning)에 보다 더 적합한 입력 데이터일 수 있다.
보행 특성 신호 변환부(110)는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 각각 스펙트로그램으로 변환할 수 있다. 또한, 보행 특성 신호 변환부(110)는 변환된 스펙트로그램을 후술할 보행 특성 학습부(130)에 입력될 수 있도록 조정할 수 있다. 여기서, 스펙트로그램의 조정은 보행 특성 학습부(130)에서 구축되는 대상자 식별 모델의 입력 데이터의 크기에 맞도록 스펙트로그램의 이미지 크기를 조절하거나, 다른 스펙트로그램과 병합하는 과정일 수도 있다. 상술한, 보행 특성 신호 변환부(110)에서 신호 변환은 센서(S)가 모션 센서인 경우에도 동일하게 수행될 수 있다. 즉, 모션 센서로부터 추출된 보행 특성 신호를 기초로 스펙트로그램이 생성될 수 있으며, 이러한 스펙트로그램 또한 대상자 식별 모델의 입력 값으로 제공될 수 있다.
상기 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별한다(S120).
대상자 식별부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별한다.
대상자 식별부(120)는 대상자 식별 모델에 스펙트로그램을 입력 값으로 제공한다. 대상자 식별 모델은 보행 특성 학습부(130)에서 구축된 상태일 수 있다. 보행 특성 학습부(130)는 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는 딥 러닝(deep learning)을 통해서 보행 특성 신호에 기초한 대상자 식별 모델을 구축할 수 있다. 보행 특성 학습부(130)는 입력된 스펙트로그램과 결과로써 식별된 대상자의 관계를 결정하는 추상화된 모델을 구축할 수 있다. 보행 특성 학습부(130)는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 포함할 수 있으며, 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다. 이와 같은 기계 학습 과정을 거쳐 보행 특성 학습부(130)는 보행 특성 신호에 기초한 대상자 식별 모델을 구축할 수 있으며, 대상자(적어도 하나의 스펙트로그램)에 대응되는 출력 값을 매칭한 식별 정보를 최종적으로 생성할 수 있다. 대상자 식별 모델에서 출력되는 결과 값은 입력 값 대비과 비교하여 다운 사이즈된 특정 이미지 또는 특정 값일 수 있다. 이러한 결과 값은 서로 비교가 용이한 데이터일 수 있으며, 사용자의 식별 또는 인증에 보다 용이한 정보일 수 있다.
대상자 식별부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별한다. 대상자 식별부(120)는 대상자 식별 모델에서 출력되는 결과가 기 저장된 식별 정보의 오차 범위내에 해당하는 대상자를 식별할 수 있다. 대상자 식별부(120)는 상기 대상자 식별 모델에서 출력되는 결과에 대응하는 대상자가 식별되는 경우, 스펙트로그램에 대응한 대상자를 출력할 수 있다. 대상자 식별부(120)는 보행 시간-주파수 분석에 기초한 개인 식별 시스템(10)에 포함되거나 연동된 인증 시스템에 식별 여부에 대한 정보를 제공할 수 있다. 즉, 대상자가 식별되는 경우, 대상자 정보를 상기 인증 시스템에 제공할 수 있으며, 대상자가 식별되지 않는 경우 식별 정보 불일치 정보를 상기 인증 시스템에 제공할 수 있다. 인증 시스템은 대상자 식별부(120)에서 제공된 대상사 식별 여부에 대한 정보를 기초로 사용자 인증을 진행할 수 있다.
또한, 대상자 식별부(120)는 대상자가 식별되지 않는 경우, 상기 스펙트로그램을 보행 특성 학습부(130)에 제공하여 상기 대상자에 대한 학습을 수행할 수 있다. 즉, 보행 특성 학습부(130)는 스펙트로그램에 대응하는 새로운 대상자를 학습하여 대상자 식별 모델을 업데이트할 수 있다.
이와 같이, 본 발명의 실시예에 따른 개인 식별 방법은 대상자의 보행에 따른 특성을 관성 측정 센서 또는 모션 센서와 같은 간단한 장치로 획득하고, 이에 대한 학습을 통해 대상자 식별 모델을 구축할 수 있으며, 대상자 식별 모델을 활용하여 보행 분석을 통해 특정 대상자를 식별하거나 대상자를 인증할 수 있다.
여기서, 대상자 식별 모델은 보행 특성을 효과적으로 제시하기 위해 파동을 인간의 시각으로 직관적으로 파악할 수 있도록 변환한 이미지인 스펙트로그램을 입력 값으로 사용할 수 있으며, 대상자 식별 모델의 출력 값은 일정 범위의 수치 값으로 제공될 수 있는 바, 기 저장된 데이터와 새로 입력된 대상자의 결과 값의 비교가 용이해질 수 있다. 따라서, 본 발명의 실시예에 따른 개인 식별 방법은 보다 직관적이고 효율적으로 대상자를 식별할 수 있다.
이상에서 설명한 실시예들에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 보행 시간-주파수 분석에 기초한 개인 식별 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 보행 시간-주파수 분석에 기초한 개인 식별 시스템
100: 보행 특성 신호 취득부
110: 보행 특성 신호 변환부
120: 대상자 식별부
130: 보행 특성 학습부
140: 데이터 베이스부

Claims (12)

  1. 보행 특성 신호에 기초하여 변환된 스펙트로그램으로 상이한 대상자들을 식별하도록 학습된 대상자 식별 모델을 구축하는 보행 특성 학습부로서, 상기 대상자 식별 모델은 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델인, 보행 특성 학습부;
    대상자의 보행에 따른 보행 특성 신호를 상기 대상자의 발을 포함하는 하반신에 부착된 적어도 하나 이상의 관성 측정 센서로부터 수신하는 보행 특성 신호 취득부;
    상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부; 및
    상기 스펙트로그램을 상기 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 대상자 식별부를 포함하되,
    상기 시간-주파수 분석은 연속 웨이브릿 변환(Continuous wavelet transform, CWT)이며, 상기 스펙트로그램은 연속 웨이브릿 변환을 통해 매끄러운(Smooth) 이미지로 생성되고,
    상기 보행 특성 신호는 상기 관성 측정 센서로부터 제공되는 각 축에 대한 가속도 정보 및 각 축에 대한 각속도 정보를 포함하고,
    상기 각 축에 대한 가속도 정보는 각 축에 대한 가속도 스펙트로그램으로 변환되고, 상기 각 축에 대한 각속도 정보는 각 축에 대한 각속도 스펙트로그램으로 변환되며,
    상기 각 축에 대한 가속도 스펙트로그램과 상기 각 축에 대한 각속도 스펙트로그램은 상기 입력 값의 크기에 대응하여 각각 사이즈가 조절된 후 병합되는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 개인 식별 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 보행 특성 학습부는, 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되는 컨볼루션 신경망 기반의 기계 학습 모델을 통해 상기 대상자 식별 모델을 생성하는 보행 시간-주파수 분석에 기초한 개인 식별 시스템.
  6. 삭제
  7. 보행 시간-주파수 분석에 기초한 개인 식별 시스템에서 수행되는 보행 시간-주파수 분석에 기초한 개인 식별 방법으로, 상기 방법은:
    대상자의 보행에 따른 보행 특성 신호를 상기 대상자의 발을 포함하는 하반신에 부착된 적어도 하나 이상의 관성 측정 센서로부터 수신하는 단계;
    상기 수신된 보행 특성 신호를 시간-주파수 분석을 통해 스펙트로그램으로 변환하는 단계; 및
    상기 스펙트로그램을 대상자 식별 모델에 입력시켜 출력되는 결과를 기 저장된 식별 정보와 비교하여, 상기 대상자를 식별하는 단계를 포함하되,
    상기 대상자 식별 모델은 보행 특성 신호에 기초하여 변환된 스펙트로그램으로 상이한 대상자들을 식별하도록 학습된 모델로서,
    상기 대상자 식별 모델은 상기 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램을 입력 값으로, 식별된 특정인을 출력 값으로 학습하여 구축된 모델이고,
    상기 시간-주파수 분석은 연속 웨이브릿 변환(Continuous wavelet transform, CWT)이며, 상기 스펙트로그램은 연속 웨이브릿 변환을 통해 매끄러운(Smooth) 이미지로 생성되고,
    상기 보행 특성 신호는 상기 관성 측정 센서로부터 제공되는 각 축에 대한 가속도 정보 및 각 축에 대한 각속도 정보를 포함하고,
    상기 각 축에 대한 가속도 정보는 각 축에 대한 가속도 스펙트로그램으로 변환되고, 상기 각 축에 대한 각속도 정보는 각 축에 대한 각속도 스펙트로그램으로 변환되며,
    상기 각 축에 대한 가속도 스펙트로그램과 상기 각 축에 대한 각속도 스펙트로그램은 상기 입력 값의 크기에 대응하여 각각 사이즈가 조절된 후 병합되는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 개인 식별 방법.
  8. 삭제
  9. 삭제
  10. 제7 항에 있어서,
    상기 대상자 식별 모델은,
    복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되는 컨볼루션 신경망 기반의 기계 학습 모델인 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 개인 식별 방법.
  11. 삭제
  12. 하드웨어와 결합되어 제7항 및 제10항 중 어느 하나의 보행 시간-주파수 분석에 기초한 개인 식별 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
KR1020190068670A 2019-06-11 2019-06-11 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템 KR102399672B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190068670A KR102399672B1 (ko) 2019-06-11 2019-06-11 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068670A KR102399672B1 (ko) 2019-06-11 2019-06-11 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200141752A KR20200141752A (ko) 2020-12-21
KR102399672B1 true KR102399672B1 (ko) 2022-05-20

Family

ID=74090473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068670A KR102399672B1 (ko) 2019-06-11 2019-06-11 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102399672B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215272A (ja) * 2016-06-02 2017-12-07 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018517448A (ja) 2015-04-20 2018-07-05 レスメッド センサー テクノロジーズ リミテッド 特性信号から人間の検出及び識別

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
FR2942388B1 (fr) * 2009-02-26 2012-10-12 Movea Systeme et procede de detection de marche d'une personne
KR101427365B1 (ko) * 2012-10-23 2014-08-07 이인택 관성 센서를 이용한 모션 캡쳐 시스템
KR102486699B1 (ko) * 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR101790719B1 (ko) * 2015-10-13 2017-10-26 충북대학교 산학협력단 보행 데이터에 기반한 대상자 식별 방법
KR20180058999A (ko) * 2016-11-25 2018-06-04 알바이오텍 주식회사 보행 분석 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018517448A (ja) 2015-04-20 2018-07-05 レスメッド センサー テクノロジーズ リミテッド 特性信号から人間の検出及び識別
JP2017215272A (ja) * 2016-06-02 2017-12-07 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
국제학회지 Ito, Chihiro, et al. Application of CNN for human activity recognition with FFT spectrogram of acceleration and gyro sensors. Proceedings of the 2018 ACM International Joint Conference and 2018*

Also Published As

Publication number Publication date
KR20200141752A (ko) 2020-12-21

Similar Documents

Publication Publication Date Title
Marsico et al. A survey on gait recognition via wearable sensors
EP3037036B1 (en) Biometric authentication method and apparatus
Alharthi et al. Deep learning for monitoring of human gait: A review
EP2552304B1 (en) Brain-computer interface system and method
US6958045B2 (en) Gait detection system, gait detection apparatus, device, and gait detection method
KR102107379B1 (ko) 3축 동작측정기를 이용한 노쇠 예측 방법, 3축 동작측정기를 이용한 노쇠 예측 시스템 및 웨어러블 노쇠 예측 장치
KR101656739B1 (ko) 뇌파 기반의 착용형 로봇의 제어 장치 및 방법
Raso et al. m-Physio: personalized accelerometer-based physical rehabilitation platform
Chen Human motion analysis with wearable inertial sensors
KR20160078208A (ko) 생체 인증 장치 및 방법
CN101331490A (zh) 心理状态的检测和使用心理状态的互动
KR102128267B1 (ko) 제자리 걸음 특성 정보를 이용한 보행 능력 예측 방법 및 시스템
Kim et al. Gait event detection algorithm based on smart insoles
CN112585600A (zh) 使用神经肌肉标记进行用户识别和认证
KR102313044B1 (ko) 제자리 걸음 특성을 이용한 노인 건강 상태 평가 방법 및 시스템
CN115349857B (zh) 一种基于fNIRS脑功能图谱的动态康复评估方法和系统
KR101307515B1 (ko) 생체 신호 인식 장치 및 그 방법
AU2020327649A1 (en) Method and system for analysing biomechanical activity and exposure to a biomechanical risk factor on a human subject in a context of physical activity
Zhang et al. RGB-D camera based walking pattern recognition by support vector machines for a smart rollator
KR102395937B1 (ko) 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템
Wang et al. Recognition of the Gait Phase Based on New Deep Learning Algorithm Using Multisensor Information Fusion.
Du et al. RETRACTED: Research on the intelligent model of progress in physical education training based on motion sensor
Ghobadi et al. A robust automatic gait monitoring approach using a single IMU for home-based applications
KR102399672B1 (ko) 보행 시간-주파수 분석에 기초한 개인 식별 방법 및 시스템
Janidarmian et al. Affordable erehabilitation monitoring platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant