JP2016059795A - 歩行環境認識方法及び装置 - Google Patents

歩行環境認識方法及び装置 Download PDF

Info

Publication number
JP2016059795A
JP2016059795A JP2015155822A JP2015155822A JP2016059795A JP 2016059795 A JP2016059795 A JP 2016059795A JP 2015155822 A JP2015155822 A JP 2015155822A JP 2015155822 A JP2015155822 A JP 2015155822A JP 2016059795 A JP2016059795 A JP 2016059795A
Authority
JP
Japan
Prior art keywords
walking
data
feature
pattern
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015155822A
Other languages
English (en)
Other versions
JP6629543B2 (ja
Inventor
成 桓 安
Seong Hwan Ahn
成 桓 安
榮 輔 沈
Eiho Chin
榮 輔 沈
乘 龍 ▲ひょん▼
乘 龍 ▲ひょん▼
Seong Yong Hyung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016059795A publication Critical patent/JP2016059795A/ja
Application granted granted Critical
Publication of JP6629543B2 publication Critical patent/JP6629543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4851Prosthesis assessment or monitoring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H2003/001Appliances for aiding patients or disabled persons to walk about on steps or stairways
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012Control means thereof computer controlled connected to external computer devices or networks using the internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00Measuring physical parameters of the user
    • A61H2230/60Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG]
    • A61H2230/605Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG] used as a control parameter for the apparatus
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Transplantation (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

【課題】 歩行環境認識方法及び装置を提供すること。
【解決手段】 一実施形態に係る歩行環境認識装置は、センシングデータを用いてユーザの歩行パターンを検出し、複数のデータベースそれぞれから抽出された複数の類似歩行データと歩行パターンとの類似度に基づいて歩行パターンの歩行特徴を生成し、設定された学習モデルに歩行特徴を適用して歩行パターンに対応する歩行環境を推定し得る。
【選択図】 図3

Description

以下の実施形態は、歩行環境認識方法及び装置に関する。
最近、高齢化社会の深刻化に伴って関節に問題が発生し、これに対する痛みと不自由を訴える人が増加している。これにより、関節の不自由な老人や患者の歩行を円滑にする歩行補助装置に対する関心が高まっている。また、軍事用などの目的で人体の筋力を強化させるための歩行補助装置が開発されている。
例えば、歩行補助装置は、ユーザの胴体に装着される胴体フレーム、胴体フレームの下側に結合してユーザの骨盤を取り囲む骨盤フレームと、ユーザの大腿部及びふくらはぎ、足部位に装着される大腿部フレーム、ふくらはぎフレーム、足フレームから構成される。骨盤フレームと大腿部フレームは股関節部によって回転可能に連結され、フレームとふくらはぎフレームは膝関節部により回転可能に連結され、ふくらはぎフレームと足フレームは足首関節によって回転可能に連結される。
最近では、歩行補助装置の使用性を向上させるための研究が続いている。
本発明の目的は、歩行環境認識方法及び装置を提供することにある。
一実施形態に係る歩行環境認識装置は、センシングデータを用いてユーザの歩行パターンを検出する歩行パターン検出部と、複数の歩行環境それぞれに対応する複数のデータベースそれぞれから前記歩行パターンと類似の複数の類似歩行データを抽出し、前記歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記歩行パターンの歩行特徴を生成する歩行特徴生成部と、設定された学習モデルに前記歩行特徴を適用して前記歩行パターンに対応する歩行環境を推定する歩行環境推定部と、前記推定された歩行環境に対応するように歩行補助装置を駆動する駆動制御部とを含む。
前記歩行パターン検出部は、前記センシングデータから前記ユーザの足裏が地面に接する状態を示すヒールストライクを検出し、1つの前記ヒールストライクで構成されたステップ及び2つの前記ステップで構成されたストライドのうち1つを基本単位として前記歩行パターンを検出してもよい。
前記センシングデータは、IMU(Inertial Measurement Unit)センサによって検知された加速度データ又は角速度データ、ポテンショメータによって検知された関節角度データ又は関節角速度データ又は筋電図(ElectroMyoGraphy:EMG)センサから抽出された筋電図データのうち少なくとも1つを含んでもよい。
前記歩行パターン検出部は、前記歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化する正規化部を含んでもよい。
前記歩行特徴生成部は、前記歩行パターンと前記複数のデータベースそれぞれに含まれる複数の歩行データとの前記類似度を演算し、前記複数の歩行データとの類似度を用いて前記複数のデータベースそれぞれから前記複数の類似歩行データを抽出してもよい。
前記歩行特徴生成部は、前記歩行パターンと前記複数の類似歩行データとの類似度の平均値を算出し、前記平均値を元素にして前記複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成してもよい。
前記歩行特徴生成部は、歩行特徴ベクトルを正規化して前記歩行特徴を生成してもよい。
前記歩行特徴生成部は、L1ノルム、L2ノルム、NCC(Normalized Cross Correlation)又はDTW(Dynamic Time Warping)のうち少なくとも1つを用いて、前記複数の歩行データとの類似度又は前記複数の類似歩行データとの類似度を演算してもよい。
前記歩行環境推定部は、前記設定された学習モデルに前記歩行特徴を入力し、前記学習モデルに設定された学習パラメータを適用して前記歩行パターンに対応する歩行環境を推定してもよい。
前記設定された学習パラメータは、前記設定された学習モデルに基づいて前記複数のデータベースそれぞれに含まれる複数の歩行データから抽出されてもよい。
前記歩行環境推定部は、通信インタフェースを用いて前記設定された学習パラメータを外部から取得してもよい。
前記歩行環境推定部は、前記歩行特徴を設定された次元の特徴空間にマッピングし、前記マッピングされた歩行特徴を前記設定された学習モデルに入力してもよい。
一実施形態に係る歩行環境認識のための前処理装置は、センシングデータを用いて複数の歩行パターンを検出する歩行パターン検出部と、前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するデータベース構築部と、前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成する歩行特徴生成部と、設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して前記設定された学習モデルに対する学習パラメータを抽出する学習パラメータ抽出部とを含む。
前記歩行パターン検出部は、前記センシングデータからユーザの足裏が地面に接する状態を示すヒールストライクを検出し、1つの前記ヒールストライクで構成されたステップ及び2つの前記ステップで構成されたストライドのうち1つを基本単位として前記歩行パターンを検出してもよい。
前記センシングデータは、IMUセンサによって検知された加速度データ、角速度データ、ポテンショメータによって検知された関節角度データ、関節角速度データ又は筋電図センサから抽出された筋電図データのうち少なくとも1つを含んでもよい。
前記歩行パターン検出部は、前記複数の歩行パターンを時間軸及びデータ軸のうち少なくとも1つに対して正規化する正規化部を含んでもよい。
前記データベース構築部は、kd木(k−d tree)構造を用いて前記分類された複数の歩行パターンを前記複数のデータベースそれぞれの前記複数の歩行データに格納してもよい。
前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記複数のデータベースそれぞれからそれぞれの歩行データと類似の複数の類似歩行データを抽出し、前記それぞれの歩行データと前記複数の類似歩行データとの類似度に基づいて前記それぞれの歩行データの歩行特徴を生成してもよい。
前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記それぞれの歩行データと前記複数の類似歩行データとの類似度の平均値を算出し、前記平均値を元素にして前記複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成してもよい。
前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記歩行特徴ベクトルを正規化して前記歩行特徴を生成してもよい。
前記学習パラメータ抽出部は、前記複数の歩行データそれぞれに対する歩行特徴を設定された次元の特徴空間にマッピングし、前記マッピングされた前記複数の歩行データそれぞれに対する歩行特徴を前記設定された学習モデルに入力してもよい。
前記学習パラメータ抽出部は、通信インタフェースを用いて前記抽出された学習パラメータを外部に送信してもよい。
一実施形態に係る歩行環境認識装置は、第1センシングデータを用いて複数の歩行パターンを検出する歩行パターン検出部と、前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するデータベース構築部と、前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成する歩行特徴生成部と、設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出する学習パラメータ抽出部と、第2センシングデータを用いてユーザの歩行パターンを検出するユーザ歩行パターン検出部と、前記複数のデータベースそれぞれから前記ユーザの歩行パターンと類似の複数の類似歩行データを抽出し、前記ユーザの歩行パターンと前記複数の類似歩行データとの類似度に基づいて、前記ユーザの歩行パターンの歩行特徴を生成するユーザ歩行特徴生成部と、前記設定された学習モデルに前記ユーザの歩行特徴を適用して前記ユーザの歩行パターンに対応する歩行環境を推定する歩行環境推定部と、前記推定された歩行環境に対応するように歩行補助装置を駆動する駆動制御部とを含む。
一実施形態に係る歩行環境認識方法は、センシングデータを用いてユーザの歩行パターンを検出するステップと、複数の歩行環境に対応する複数のデータベースそれぞれから前記歩行パターンと類似の複数の類似歩行データを抽出し、前記歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記歩行パターンの歩行特徴を生成するステップと、設定された学習モデルに前記歩行特徴を適用して、前記歩行パターンに対応する歩行環境を推定するステップと、前記推定された歩行環境に対応するように歩行補助装置を駆動するステップとを含む。
一実施形態に係る歩行環境認識のための前処理方法は、センシングデータを用いて複数の歩行パターンを検出するステップと、前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するステップと、前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成するステップと、設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出するステップとを含む。
一実施形態に係る歩行環境認識方法は、第1センシングデータを用いて複数の歩行パターンを検出するステップと、前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するステップと、前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成するステップと、設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出するステップと、第2センシングデータを用いてユーザの歩行パターンを検出するステップと、前記複数のデータベースそれぞれから前記ユーザの歩行パターンと類似の複数の類似歩行データを抽出し、前記ユーザの歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記ユーザの歩行パターンの歩行特徴を生成するステップと、前記設定された学習モデルに前記ユーザの歩行特徴を適用して、前記ユーザの歩行パターンに対応する歩行環境を推定するステップと、前記推定された歩行環境に対応するように歩行補助装置を駆動するステップとを含む。
一実施形態に係る適応的に歩行環境を認識する装置は、第1センシングデータに基づいて歩行パターンを検出する歩行パターン検出部と、複数の歩行環境に対応する複数のデータベースをそれぞれ検索し、前記検索に基づいて前記検出された歩行パターンに対応する歩行特徴を生成する歩行特徴生成部と、設定された学習モデルに前記歩行特徴を適用することで、前記検出された歩行パターンに対応する歩行環境を推定する歩行環境推定部と、前記推定された歩行環境に基づいて歩行補助装置を駆動する駆動制御部とを含む。
前記歩行特徴生成部は、前記検出された歩行パターンと類似の類似歩行データのために前記複数のデータベースを検索してもよい。
前記補正特徴生成部は、前記検出された歩行パターンと前記類似歩行データとの間の類似度に基づいて、前記検出された歩行パターンに対応する前記歩行特徴を生成してもよい。
前記歩行環境推定部は、前記歩行特徴を前記設定された学習モデルに入力し、設定された学習パラメータを前記設定された学習モデルに適用することで前記検出された歩行パターンに対応する前記歩行環境を推定してもよい。
前記設定された学習パラメータは、前記設定された学習モデルに前記検出された歩行パターンに対応する前記歩行特徴を適用することで抽出されてもよい。
本発明によると、歩行環境認識方法及び装置を提供することができる。
一実施形態に係る歩行環境を説明するための図である。 一実施形態に係る歩行環境を説明するための図である。 一実施形態に係る歩行環境認識のための前処理装置を示すブロック図である。 一実施形態に係る歩行環境認識装置を示すブロック図である。 他の一実施形態に係る歩行環境認識のための前処理装置を示すブロック図である。 他の一実施形態に係る歩行環境認識装置を示すブロック図である。 一実施形態に係るセンサを説明するための図である。 一実施形態に係るセンシングデータを説明するための図である。 一実施形態に係る歩行パターンの検出を説明するための図である。 一実施形態に係る歩行パターンの正規化を説明するための図である。 一実施形態に係る歩行パターンの正規化を説明するための図である。 一実施形態に係るデータベースを説明するための図である。 一実施形態に係る歩行環境認識のための前処理装置の歩行特徴の抽出を説明するための図である。 一実施形態に係る歩行特徴の特徴空間でのマッピングを説明するための図である。 一実施形態に係るデータベースの検索を説明するための図である。 一実施形態に係る歩行環境認識装置の歩行特徴の抽出を説明するための図である。 一実施形態に係る歩行環境認識装置の一例を説明するための図である。 他の一実施形態に係る歩行環境認識装置の一例を説明するための図である。 更なる一実施形態に係る歩行環境認識装置を示すブロック図である。 一実施形態に係る歩行環境認識方法を示した動作フローチャートである。 一実施形態に係る歩行環境認識のための前処理方法を示した動作フローチャートである。 他の一実施形態に係る歩行環境認識方法を示した動作フローチャートである。
以下で説明する実施形態は、添付の図面を参照して説明される。各図面で提示された同一の参照符号は同一の部材を示す。
以下で説明する実施形態は様々な変更が加えられてもよい。以下で説明する実施形態は実施形態に対して限定しようとするものではなく、これに対する全ての変更、均等物ないし代替物を含むものとして理解しなければならない。
実施形態で用いる用語は、単に特定の実施形態を説明するために用いられたものとして、実施形態を限定しようとする意図は有しない。単数の表現は文脈の上、明白に相異に意味しない限り複数の表現を含む。本明細書で、「含む」又は「有する」などの用語は明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを指定しようとするものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
相異に定義されない限り、技術的であるか科学的な用語を含み、ここで用いられる全ての用語は、実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義されているような用語は、関連技術の文脈の上に有する意味と一致する意味を有するものと解釈するべきであって、本出願で明白に定義しない限り、理想的であるか過度に形式的な意味として解釈されることはない。
また、添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、それに対する重複説明は省略することにする。実施形態の説明において関連の公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。
図1A及び図1Bは、一実施形態に係る歩行環境を説明するための図である。図1A及び図1Bを参照すると、歩行補助装置は、ユーザの下半身に装着し、歩行環境に応じて他の動作にユーザの歩行を補助することができる。例えば、図1Aに示すように、歩行環境が平地環境111、上向き傾斜環境112、下向き傾斜環境113、上向き階段環境114、及び下向き階段環境115といった5個の歩行環境に定義された場合、歩行補助装置は歩行環境に応じて歩行動作を相異に行う。図1では、歩行環境を5個に定義したが、歩行環境はこれに限定されることはない。一実施形態における歩行補助装置は、複数の歩行環境それぞれに対応する複数の動作モードを含む。歩行補助装置は、ユーザが歩行をする度に歩行環境を認識し、認識された歩行環境に対応する動作モードを行う。
図1Bに示す例として、歩行補助装置121は、平地環境111による第1動作モードで駆動することがある。歩行補助装置121は、歩行補助装置121に付着したセンサからユーザの動作をセンシングし、地点131で上向き傾斜環境112を認知できる。そのため、歩行補助装置121は、動作モードを上向き傾斜環境112による第2動作モードに変更し得る。また、歩行補助装置121は、地点132で平地環境113を認知して動作モードを第1動作モードに変更し、地点133で下向き階段環境115を認知して動作モードを下向き傾斜環境115による第3動作モードに変更し得る。
図2は、一実施形態に係る歩行環境認識のための前処理装置を示すブロック図である。図2を参照すると、前処理装置210は、図3を参照して説明する歩行環境認識装置310が歩行環境を認識するために用いるデータベースを構築し、予め決定した(又は、設定された)学習モデルに対する学習パラメータを抽出する。図2及び図3において、前処理装置210と図3に示す歩行環境認識装置310は互いに異なる装置として表現したが、前処理装置210と図3に示す歩行環境認識装置310は同一の装置内に含まれてもよく、互いに異なる装置として実現されてもよい。
図2を参照すると、前処理装置210は、歩行パターン検出部220、データベース構築部230、歩行特徴生成部240、及び学習パラメータ抽出部250を含む。
歩行パターン検出部220は、センシングデータを用いて複数の歩行パターンの複数の歩行パターンを検出する。ここで、センシングデータは、歩行補助装置に付着したセンサを用いて歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたデータを意味する。また、センシングデータは、シミュレーションによって取得されたモーションデータに基づいた仮想のセンシングデータを意味する。また、センシングデータは、1つのユーザに対するセンシングデータを意味し、複数のユーザに対するセンシングデータを意味する。歩行環境に応じてセンシングデータは固有のパターンを有してもよい。一実施形態に係るセンシングデータは、IMU(Inertial Measurement Unit)センサによって検知された加速度データと角速度データ、ポテンショメータ(Potentiometer)によって検知された関節角度データと関節角速度データ、又は、筋電図(ElectroMyoGraphy:EMG)センサから抽出された筋電図データのうち少なくとも1つを含む。ここで、加速度データ又は角速度データは、X、Y、Z軸のうち少なくとも一部の軸に対する加速度データ又は角速度データを意味する。また、関節角度データ又は関節角速度データは、R(Right)軸又はL(Left)軸のうち少なくとも一部の軸に対する関節角度データ又は関節角速度データを意味する。また、センシングデータは、複数のIMUセンサ、複数のポテンショメータ又は複数の筋電図センサから抽出され得る。一実施形態に係るセンサは、IMUセンサ、ポテンショメータ又は筋電図センサに限定されることなく、歩行動作によるユーザの運動量又は生体信号の変化をセンシングできる全てのセンサを含む。
歩行パターンは、歩行環境を認識するためのパターンを意味するものとして、歩行パターンの基本単位は、ステップ(step)又はストライド(stride)である。ここで、ステップは1つのヒールストライク(heel strike)で構成され、ヒールストライクはユーザの足裏が地面に接する状態を示す。また、ストライドは2つのステップで構成されてもよい。歩行パターン検出部220は、センシングデータをステップ又はストライドに分割して複数の歩行パターンを抽出する。
一実施形態に係る歩行パターン検出部220は、R軸関節角度データ及びL軸関節角度データの角度差を用いてステップ区間を抽出し、抽出されたステップ区間に対する加速度データを用いてヒールストライクを検出する。例えば、歩行パターン検出部220は、R軸関節角度データ及びL軸関節角度データの角度差が急激に増加する地点間をステップ区間として定義してステップ区間を抽出し、抽出されたステップ区間に対応する時間区間でセンシングデータを分割して複数のステップを抽出する。歩行パターン検出部220は、各ステップごとに、各ステップ区間に対応する時間区間に分割された加速度データが1つのピーク(peak)を含むか否かを判断する。加速度データが1つのピークを含む場合、歩行パターン検出部220は当該ステップがヒールストライクを含んでいると判断し、当該ステップを有効なステップとして確認する。加速度データが1つのピークを含まない場合、歩行パターン検出部220は当該ステップがヒールストライクを含まないものと判断し、当該ステップを有効ではないステップとして確認する。
また、歩行パターン検出部220は、複数の歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化する。ここで、時間軸に対する正規化は、時間正規化(time normalization)のように表現され、データ軸に対する正規化は、Z正規化(Z normalization)に表現される。複数の歩行パターンそれぞれはステップ又はストライドで構成されているため、複数の歩行パターンの時間軸に対する大きさは互いに異なる。また、歩行による運動量は毎回一定ではないため、複数の歩行パターンのデータ軸に対する大きさも互いに異なる。後述するように、データベース構築部230で歩行パターンはデータベースに格納される。ここで、歩行パターンが互いに異なる周期又は互いに異なるデータ範囲を有する場合、データベース検索速度が低下することがある。そのため、歩行パターン検出部220は、データベース検索の効率性を向上させるために、複数の歩行パターンに対して時間正規化又はZ正規化を行う。
一実施形態に係る歩行パターン検出部220は、予め決定した周期に応じて複数の歩行パターンの時間誤差を補正して時間正規化を行う。例えば、歩行パターン検出部220は、予め決定したサンプリングレート(sampling rate)を基準にして複数の歩行パターンのサンプリングレートを等間隔に補正する。また、歩行パターン検出部220は、複数の歩行パターンの線形性に基づいて、予め決定した周期を基準にして複数の歩行パターンを補間してもよい。
他の一実施形態に係る歩行パターン検出部220は、複数の歩行パターンそれぞれに対するセンシングデータの平均及び標準偏差を用いてZ正規化を行う。例えば、歩行パターン検出部220は、複数の歩行パターンそれぞれに対するセンシングデータの平均及び標準偏差を演算し、抽出した平均及び標準偏差を下記の数式(1)を用いて正規化する。
ここで、zはZ正規化された当該歩行パターンを示し、xは当該歩行パターンを示し、μ(x)は当該歩行パターンに対するセンシングデータの平均を示し、σ(x)は当該歩行パターンに対するセンシングデータの標準偏差を示す。そのため、複数の歩行パターンそれぞれのデータ範囲の差が減少し得る。このことは、個人差又は環境差によって発生する複数の歩行パターン間のデータ誤差が減少することを示すため、図3に示す歩行環境認識装置310における歩行環境認識性能が向上することができる。
データベース構築部230は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンを複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納して複数のデータベースを構築する。ここで、複数のデータベースはそれぞれ別のデータベースを意味し、1つのデータベースに属する複数のサブデータベースを意味する。一実施形態に係る複数の歩行環境は、平地環境、上向き傾斜環境、下向き傾斜環境、上向き階段環境、及び下向き階段環境を含む。また、複数の歩行環境はこれに限定されることはない。例えば、複数の歩行環境は、平地環境、上向き傾斜環境、下向き傾斜環境の3種類の歩行環境で定義されてもよく、平地環境、15度上向き傾斜環境、30度上向き傾斜環境、15度下向き傾斜環境、30度下向き傾斜環境、上向き階段環境、及び下向き階段環境といった7種類の歩行環境に定義されてもよい。
データベース構築部230は、複数の歩行パターンを複数の歩行環境に応じて分類する。例えば、データベース構築部230は、複数の歩行パターンを構成するセンシングデータが検知された当時の歩行環境に複数の歩行パターンを分類する。また、他の例として、センシングデータは、歩行環境に応じて固有のパターンを有し得るため、データベース構築部230は、歩行環境に応じる固有のパターンに基づいて複数の歩行パターンを分析し、複数の歩行パターンを複数の歩行環境に応じて分類することができる。
データベース構築部230は、分類された複数の歩行パターンを複数のデータベースそれぞれの複数の歩行データに格納する。そのため、複数のデータベースそれぞれはn個の歩行データを含む。ここで、iは歩行環境のインデックスを意味する。
一実施形態に係るデータベース構築部230は、kd木(k−d tree)構造を用いて分類された複数の歩行パターンを複数のデータベースそれぞれの複数の歩行データに格納する。この場合、n個の歩行データをkd木構造を用いて複数のデータベースそれぞれに複数の歩行データを格納する時間はO(nlogn)の時間が必要とされ得る。複数のデータベースがkd木構造を用いることによって、複数のデータベースで歩行データを検索する検索時間はO(logn)の時間が必要とされるため、これによって、図3に示す歩行環境認識装置310は、リアルタイムに複数のデータベースから歩行データを検索し得る。また、これに限定されることなく、データベース構築部230は、kd木構造の他にデータベースを構築できる他の構造を用いて分類された複数の歩行パターンを複数のデータベースそれぞれの複数の歩行データに格納する。
歩行特徴生成部240は、複数の歩行データの間の類似度に基づいて複数の歩行データそれぞれに対する歩行特徴を生成する。一実施形態に係る歩行特徴生成部240は複数の歩行データそれぞれに対して、複数のデータベースそれぞれから当該歩行データと類似の複数の類似歩行データを抽出する。この場合、歩行特徴生成部240は複数の歩行データそれぞれに対して、当該歩行データと当該歩行データを除いた残りの歩行データ間の類似度を抽出し、抽出された類似度に基づいて、複数のデータベースそれぞれから当該歩行データと類似の複数の類似歩行データを抽出する。一実施形態に係る類似度は、特定の歩行データと異なる歩行データとの間の距離だけではなく、特定歩行データと異なる歩行データとの間の類似の程度を示す全ての指標に基づいて抽出され得る。例えば、類似度は、特定歩行データの大きさと異なる歩行データの大きさ間の平均値又は中間値、特定歩行データと異なる歩行データ間の歩行の速度、ストライドの長さ、RMS(Root−Mean Square)誤差、カデンス(cadence:ステップ数を予め決定した時間に割った値を意味する)、ウォーク比率(Walk Ratio、ウォーク比率はステップの長さをカデンスに割った値を意味する)又は特定歩行データと異なる歩行データ間の周波数領域情報を用いて算出され得る。他の一実施形態では、類似度が特定歩行データと異なる歩行データ間の距離を示す場合、歩行特徴生成部240は、L1ノルム(norm)、L2ノルム、NCC(Normalized Cross Correlation)又はDTW(Dynamic Time Warping)のうち少なくとも1つを用いて複数の歩行データそれぞれに対し、当該歩行データと複数の類似歩行データとの類似度を抽出する。例えば、歩行特徴生成部240は、複数の歩行データそれぞれに対して、当該歩行データと当該歩行データを除いた残りの歩行データ間のDTW距離を抽出し、抽出されたDTW距離の小さい歩行データを当該歩行データとの類似度の高い歩行データとして抽出する。歩行特徴生成部240は、複数のデータベースそれぞれから当該歩行データと類似の複数の類似歩行データを抽出する。また、歩行特徴生成部240は、複数の歩行データそれぞれに対して、当該歩行データと複数の類似歩行データとの類似度の平均値を算出し、算出された平均値を元素にして、複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する。例えば、歩行環境が3つに定義されることで、データベースの個数が3つである場合、歩行特徴生成部240は複数の歩行データそれぞれに対して、3つのデータベースごとに第1データベースに含まれる第1歩行データとの類似度が高い3つの類似歩行データを抽出する。歩行特徴生成部240は、第1歩行データと第1データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第1平均値、第1歩行データと第2データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第2平均値、及び第1歩行データと第3データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第3平均値を演算する。そのため、第1平均値、第2平均値、及び第3平均値は、それぞれ第1歩行環境、第2歩行環境、及び第3歩行環境に対応する第1歩行データの特徴値を示し得る。歩行特徴生成部240は、第1平均値、第2平均値、及び第3平均値を元素にする3×1の大きさの歩行特徴ベクトルを生成する。歩行特徴生成部240は、このような特徴ベクトルを複数のデータベースに含まれる複数の歩行データそれぞれに対して生成する。
また、歩行特徴生成部240は、複数の歩行データそれぞれに対して生成された歩行特徴ベクトルを正規化して歩行特徴を生成する。例えば、歩行特徴生成部240は、複数のデータベースに含まれる複数の歩行データそれぞれに対して生成された歩行特徴ベクトルを大きさが同一のベクトルに正規化して歩行特徴を生成する。
一実施形態に係る前処理装置210は、新しいユーザに対するセンシングデータを取得した場合、センシングデータを用いて新しいユーザに対する複数の歩行パターンを検出し、複数の歩行パターンを複数の歩行環境に応じて分類し、複数のデータベースそれぞれの複数の歩行データに格納する。また、他の一実施形態に係る前処理装置210は、予め決定した時間複数のデータベースに格納された特定歩行データが歩行環境認識に利用されない場合、前処理装置210は歩行環境認識に利用されない特定の歩行データを削除し得る。
学習パラメータ抽出部250は、予め決定した学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、予め決定した学習モデルに対する学習パラメータを抽出する。ここで、予め決定した学習モデルは、神経網(Neural Network:NN)モデル、サポートベクトル回帰(Support Vector Regression:SVR)モデル又はガウスプロセス回帰(Gaussian Process Regression)モデルのいずれか1つを含む。また、予め決定した学習モデルは、神経網モデル、サポートベクトル回帰モデル、及びガウスプロセス回帰モデルでなくても、特徴ベクトルを用いて歩行環境を推定できる他の学習モデル(例えば、パターン認識基盤の学習モデル)を含んでもよい。また、予め決定した学習モデルが神経網モデルである場合、予め決定した学習パラメータは、ニューロン間の連結パターンと加重値及び活性化関数を含んでもよく、予め決定した学習モデルがサポートベクトル回帰モデルである場合、予め決定した学習パラメータはカーネル関数(kernel functions)及びペナルティパラメータ(penalty parameters)を含み、予め決定した学習モデルがガウスプロセス回帰モデルである場合、予め決定した学習パラメータはカーネル関数(kernel functions)及びハイパーパラメータ(hyper−parameters)を含む。
一実施形態に係る学習パラメータ抽出部250は、複数の歩行データそれぞれに対する歩行特徴を予め決定した次元の特徴空間にマッピングする。一例として、予め決定した学習モデルがサポートベクトル回帰モデルである場合、学習パラメータ抽出部250は、ホモジーニアスカーネルマップ(homogeneous kernel map)を用いて複数の歩行データそれぞれに対する歩行特徴を特徴空間にマッピングする。例えば、学習パラメータ抽出部250は、ホモジーニアスカーネルマップを用いて5×1の大きさを有する歩行特徴を15×1次元の特徴空間にマッピングすることがある。学習パラメータ抽出部250は、マッピングされた複数の歩行データそれぞれに対する歩行特徴を予め決定した学習モデルに入力する。学習パラメータ抽出部250は、少ない次元空間でも非線形学習モデル(例えば、非線形サポートベクトル回帰モデル)に歩行特徴を適用して学習パラメータを抽出し、そのため、学習パラメータを抽出するために必要な演算時間が減少し得る。また、ホモジーニアスカーネルマップの他にも、学習パラメータ抽出部250は、PCA(Principle Component Analysis)方式、LDA(Linear Discriminant Analysis)方式などを用いて複数の歩行データそれぞれに対する歩行特徴を特徴空間にマッピングする。
また、学習パラメータ抽出部250は、予め決定した学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、歩行環境の認識に適するように学習パラメータをフィッティング(fitting)する。
例えば、予め決定した学習モデルがサポートベクトル回帰モデルである場合、学習パラメータ抽出部250は、複数のデータベースに含まれる全ての歩行データに対する歩行特徴に対して、当該歩行特徴と対応する歩行環境については+1、当該歩行特徴と対応しない歩行環境については−1のようにクラスを指定して学習することで、学習パラメータを抽出することができる。ここで、歩行環境が5個のように定義された場合、学習パラメータ抽出部250は
及び
のような学習パラメータを抽出する。
一実施形態に係る学習パラメータ抽出部250は、通信インタフェースを用いて抽出された学習パラメータを図3に示す歩行環境認識装置310に送信し得る。そのため、図3に示す歩行環境認識装置310は、より正確かつ迅速に歩行環境を認識することができる。
図3は、一実施形態に係る歩行環境認識装置を示すブロック図である。図3を参照すると、歩行環境認識装置310は、歩行パターン検出部320、歩行特徴生成部330、歩行環境推定部340、及び駆動制御部350を含む。
歩行パターン検出部320は、センシングデータを用いてユーザの歩行パターンを検出する。ここで、センシングデータは、歩行補助装置に付着したセンサを用いて歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたデータを意味する。また、センシングデータは、シミュレーションによって取得されたモーションデータに基づいた仮想のセンシングデータを意味する。歩行環境に応じてセンシングデータは固有のパターンを有し得るため、歩行環境認識装置310は、センシングデータに基づいて歩行環境を推定することができる。一実施形態に係るセンシングデータは、IMUセンサによって検知された加速度データ、角速度データ、ポテンショメータによって検知された関節角度データ、関節角速度データ又は筋電図センサから抽出された筋電図データのうち少なくとも1つを含む。ここで、加速度データ又は角速度データは、X、Y、Z軸のうち少なくとも一部の軸に対する加速度データ又は角速度データを意味する。また、関節角度データ又は関節角速度データは、R(Right)軸又はL(Left)軸のうち少なくとも一部の軸に対する関節角度データ又は関節角度データを意味する。また、センシングデータは、複数のIMUセンサ、複数のポテンショメータ又は複数の筋電図センサから抽出され得る。
歩行パターンの基本単位は、ステップ又はストライドであり得る。ここで、ステップは1つのヒールストライクで構成されてもよく、ストライドは2つのステップで構成されてもよい。歩行パターン検出部320は、センシングデータをステップ又はストライドに分割してユーザの歩行パターンを抽出する。
一実施形態に係る歩行パターン検出部320は、R軸関節角度データ及びL軸関節角度データの角度差を用いてステップ区間を抽出し、抽出されたステップ区間に対する加速度データを用いてヒールストライクを検出する。
歩行パターン検出部320がステップ又はストライドを基本単位に歩行パターンを検出することで、ユーザの移動の速度又は歩みの変化のような歩行条件が変更されても、一定の歩行環境認識性能が期待し得る。そのため、歩行パターン検出部320は、固定された時間を基準として歩行パターンを検出する場合よりも、歩行条件変化に強く、ユーザの歩行パターンを認識し得る。また、ヒールストライクは、歩行動作に含まれる必須のものであるため、ステップが1つのヒールストライクで構成されることにより、歩行パターン認識の信頼性が向上する。
一実施形態に係る歩行環境認識装置310は、歩行パターン検出部320で歩行パターンが検出された場合に歩行環境を認識し得る。例えば、ユーザが停止状態で移動する場合に、歩行環境認識装置310は、2つのステップで構成されたストライドが検出された後に歩行環境を認識し得る。また、歩行環境認識装置310は、ユーザが連続的に歩行する場合に、1つのステップが検出される度に歩行環境を認識し得る。
また、歩行パターン検出部320は、歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化を行う。ここで、時間軸に対する正規化を時間正規化に示し、データ軸に対する正規化をZ正規化に示す。歩行パターンは、ステップ又はストライドから構成されているため、歩行パターンごとに時間軸に対する大きさは互いに異なり得る。また、ユーザが歩行する度に、歩行による運動量が一定ではないため、歩行パターンごとにデータ軸に対する大きさも互いに異なる。歩行特徴生成部330は、歩行パターンを用いて図2に示す前処理装置210で生成されたデータベースを検索するため、データベース検索の効率性を向上させるために歩行パターンに対して時間正規化又はZ正規化を行う。
一実施形態に係る歩行パターン検出部320は、予め決定した周期に応じて歩行パターンの時間誤差を補正して時間正規化を行う。例えば、歩行パターン検出部320は、予め決定したサンプリングレートを基準として歩行パターンのサンプリングレートを等間隔に補正する。また、歩行パターン検出部320は、歩行パターンの線形性に基づいて、予め決定した周期を基準として歩行パターンを補間し得る。
他の一実施形態に係る歩行パターン検出部320は、歩行パターンに対するセンシングデータの平均及び標準偏差を用いてZ正規化を行う。例えば、歩行パターン検出部320は、歩行パターンに対するセンシングデータの平均及び標準偏差を演算し、抽出した平均及び標準偏差を上述した数式(1)を用いて正規化する。Z正規化が行われることで、環境差によって発生する歩行パターン間のデータ誤差が減少されるため、歩行環境認識性能を向上させ得る。
歩行特徴生成部330は、複数の歩行環境に対応する複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出し、歩行パターンと複数の類似歩行データとの類似度に基づいて歩行パターンの歩行特徴を生成する。
歩行特徴生成部330は、複数のデータベースそれぞれを検索して歩行パターンと類似の複数の類似歩行データを抽出する。この場合、歩行特徴生成部330は、歩行パターンと複数のデータベースそれぞれに含まれる複数の歩行データそれぞれとの類似度を抽出し、抽出された類似度に基づいて、複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出する。先に説明したように、類似度は、特定歩行データと異なる歩行データとの間の距離だけではなく、特定歩行データと異なる歩行データとの間の類似の程度を示す全ての指標に基づいて抽出され得る。
また、歩行特徴生成部330は、歩行パターンと複数の類似歩行データとの類似度の平均値を演算し、算出された平均値を元素にして複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する。例えば、歩行環境が4個に定義されることで、データベースの個数が4個である場合、歩行特徴生成部330は複数の歩行データそれぞれに対して、4つのデータベースごとに歩行パターンとの類似度の高い3つの類似歩行データを抽出する。歩行特徴生成部330は、歩行パターンと第1データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第1平均値、歩行パターンと第2データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第2平均値、歩行パターンと第3データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第3平均値、及び歩行パターンと第4データベースから抽出された3つの類似歩行データそれぞれとの類似度の平均値である第4平均値を演算する。そのため、第1平均値、第2平均値、第3平均値、及び第4平均値はそれぞれ第1歩行環境、第2歩行環境、第3歩行環境、及び第4歩行環境に対応する歩行パターンの特徴値を示す。歩行特徴生成部330は、第1平均値、第2平均値、第3平均値及び第4平均値を元素にする4×1の大きさの歩行特徴ベクトルを生成する。
一実施形態に係る歩行特徴生成部330は、歩行特徴ベクトルを正規化して歩行特徴を生成する。
歩行環境推定部340は、予め決定した学習モデルに歩行特徴を適用して歩行パターンに対応する歩行環境を推定し得る。上述したように、予め決定した学習モデルは、神経網モデル、サポートベクトル回帰モデル又はガウスプロセス回帰モデルのいずれか1つを含む。また、予め決定した学習モデルは、神経網モデル、サポートベクトル回帰モデル、及びガウスプロセス回帰モデルでなくても、特徴ベクトルを用いて歩行環境を推定できる他の学習モデル(例えば、パターン認識基盤の学習モデル)を含む。
一実施形態に係る歩行環境推定部340は、歩行特徴を予め決定した次元の特徴空間にマッピングする。一例として、予め決定した学習モデルがサポートベクトル回帰モデルである場合、歩行環境推定部340は、ホモジーニアスカーネルマップを用いて対する歩行特徴を特徴空間にマッピングする。歩行環境推定部340は、マッピングされた歩行特徴を予め決定した学習モデルに入力する。そのため、歩行環境推定部340は、少ない次元空間でも非線形学習モデル(例えば、非線形サポートベクトル回帰モデル)に歩行特徴を適用して歩行環境を推定することで、歩行環境を推定するために必要な演算時間が減少し得る。
一実施形態に係る歩行環境推定部340は、予め決定した学習モデルに歩行特徴を入力し、予め決定した学習モデルに予め決定した学習パラメータを適用して歩行パターンに対応する歩行環境を推定し得る。ここで、予め決定した学習モデルは、複数のデータベースそれぞれに含まれる複数の歩行データから抽出され得る。例えば、図2に示す前処理装置210は、予め決定した学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、歩行環境の認識に適するように学習パラメータをフィッティングし、歩行環境推定部340は、予め決定した学習モデルに歩行特徴を入力し、図2に示す前処理装置210でフィッティングされた学習パラメータを適用して歩行環境を推定し得る。この場合、歩行環境推定部340は、通信インタフェースを用いて図2に示す前処理装置210から学習パラメータを取得し得る。そのため、歩行環境推定部340は、学習パラメータ抽出のための別途の学習過程を実行しなくてもよく、したがって、歩行環境推定部340はより迅速かつ正確に歩行環境を推定し得る。
例えば、5個の歩行環境に定義され、予め決定した学習モデルがサポートベクトル回帰モデルである場合、歩行環境推定部340は下記の数式(2)のように、サポートベクトル回帰モデルに図2に示す前処理装置210から取得したモデルパラメータ
及び
と歩行特徴を適用し得る。
y=wSVMx+bSMC
=〔ytask1task2task3task4task5 (2)
ここで、yは出力値を示し、wSVM及びbSMCは図2に示す前処理装置210から取得したモデルパラメータを示し、xは歩行パターンを示し、ytask1ないしytask5は第1歩行環境〜第5歩行環境を示す。歩行環境推定部340は、出力値の項目のうち最大値を有する項目に該当する歩行環境を現在の歩行環境に推定し得る。
駆動制御部350は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する。例えば、5個の歩行環境が定義され、歩行環境推定部340が現在の歩行環境に第3歩行環境を推定した場合、駆動制御部350は、歩行環境認識装置310の動作モードを第3歩行環境に対応する動作モードに設定して歩行補助装置の駆動を制御する。
図4は、他の一実施形態に係る歩行環境認識のための前処理装置を示すブロック図である。図4を参照すると、前処理装置410は、センシングデータ入力部420、ステップ検出部430、歩行パターン分割部440、正規化部450、データベース構築部460、歩行特徴生成部470、及び学習パラメータ抽出部480を含む。
センシングデータ入力部420は、センサから歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたセンシングデータを取得し得る。ここで、センシングデータは、IMUセンサによって検知された3軸加速度データ、3軸角速度データ、ポテンショメータによって検知された2軸関節角度データ、2軸関節角速度データ又は筋電図センサから抽出された筋電図データのうち少なくとも1つを含む。また、センシングデータは、複数のIMUセンサ、複数のポテンショメータ又は複数の筋電図センサから抽出され得る。一実施形態に係るセンサは、IMUセンサ、ポテンショメータ又は筋電図センサに限定されることなく、歩行動作によるユーザの運動量又は生体信号の変化をセンシングできる全てのセンサを含む。
ステップ検出部430は、センシングデータ入力部420からセンシングデータが入力され、センシングデータを用いてステップを検出する。一実施形態に係るステップ検出部430は、R軸関節角度データ及びL軸関節角度データの角度差が急激に増加する地点の間をステップ区間に定義してステップ区間を抽出する。また、ステップ検出部430は各ステップごとに、各ステップ区間に対応する時間区間に分割された加速度データが1つのピークを含むか否かを判断する。加速度データが1つのピークを含む場合、ステップ検出部430は、当該ステップがヒールストライクを含むものと判断し、当該ステップを有効なステップとして確認することができる。
歩行パターン分割部440は、センシングデータ入力部420から入力されたセンシングデータを累積して格納する。ステップ検出部430でステップが検出されれば、歩行パターン分割部440は、累積したセンシングデータを分割して複数の歩行パターンを抽出する。
正規化部450は、複数の歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化する。複数の歩行パターンを時間軸に正規化する時間正規化を行う場合、正規化部450は、予め決定した周期に応じて複数の歩行パターンの時間誤差を補正して時間正規化を行う。また、複数の歩行パターンをデータ軸に正規化するZ正規化を行う場合、正規化部450は、複数の歩行パターンそれぞれに対するセンシングデータの平均及び標準偏差を演算し、抽出した平均及び標準偏差を上述した数式(1)を用いて正規化することができる。
データベース構築部460は、複数の歩行パターンを複数のデータベースそれぞれの複数の歩行データに格納して複数のデータベースを構築する。ここで、複数のデータベースは、複数の歩行環境それぞれに対応する。複数の歩行環境がi個である場合、複数のデータベースそれぞれはn個の歩行データを含む。一実施形態に係るデータベース構築部460は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンをkd木構造を用いて複数のデータベースそれぞれに複数の歩行データを格納する。この場合、データベース構築部460がn個の歩行データをkd木構造を用いて複数のデータベースそれぞれの複数の歩行データに格納するためにO(nlogn)の時間が必要とされる。
歩行特徴生成部470は、複数の歩行データの間の類似度に基づいて複数の歩行データそれぞれに対する歩行特徴を生成する。この場合、歩行特徴生成部470は複数の歩行データそれぞれに対して、当該歩行データと当該歩行データを除いた残りの歩行データ間の類似度を抽出し、複数のデータベースそれぞれから当該歩行データと類似の複数の類似歩行データを抽出する。歩行特徴生成部470は、複数の歩行データそれぞれに対して、当該歩行データと複数の類似歩行データとの類似度の平均値を算出し、算出された平均値を元素にして複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する。また、歩行特徴生成部470は、複数の歩行データそれぞれに対して生成された歩行特徴ベクトルを正規化して歩行特徴を生成する。
学習パラメータ抽出部480は、予め決定した学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、予め決定した学習モデルに対する学習パラメータを抽出する。一実施形態に係る学習パラメータ抽出部480は、複数の歩行データそれぞれに対する歩行特徴を予め決定した次元の特徴空間にマッピングし、マッピングされた複数の歩行データそれぞれに対する歩行特徴を予め決定した学習モデルに適用して歩行環境の認識に適切な学習パラメータを抽出することができる。
図5は、他の一実施形態に係る歩行環境認識装置を示すブロック図である。図5を参照すると、歩行環境認識装置510は、センシングデータ入力部520、ステップ検出部530、歩行パターン分割部540、正規化部550、データベース検索部560、歩行特徴抽出部570、歩行環境推定部580、及び駆動制御部590を含む。
一実施形態に係るセンシングデータ入力部520、ステップ検出部530、歩行パターン分割部540、及び正規化部550は、図4に示すセンシングデータ入力部420、ステップ検出部430、歩行パターン分割部440、及び正規化部450と類似の動作を行う。
センシングデータ入力部520は、センサから歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたセンシングデータを取得し得る。ここで、センシングデータは、IMUセンサによって検知された3軸加速度データ、3軸角速度データ、ポテンショメータによって検知された2軸関節角度データ、2軸関節角速度データ又は筋電図センサから抽出された筋電図データのうち少なくとも1つを含む。また、センシングデータは、複数のIMUセンサ、複数のポテンショメータ又は複数の筋電図センサから抽出され得る。一実施形態に係るセンサは、IMUセンサ、ポテンショメータ又は筋電図センサに限定されることなく、歩行動作によるユーザの運動量又は生体信号の変化をセンシングできる全てのセンサを含む。
ステップ検出部530は、センシングデータ入力部520からセンシングデータが入力され、センシングデータを用いてステップを検出することができる。
歩行パターン分割部540は、センシングデータ入力部520から入力されたセンシングデータを累積して格納する。ステップ検出部530でステップが検出されれば、歩行パターン分割部540は、累積したセンシングデータを分割して歩行パターンを抽出する。
正規化部550は、歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化する。歩行パターンを時間軸に正規化する時間正規化を行う場合、正規化部550は、予め決定した周期に応じて歩行パターンの時間誤差を補正して時間正規化を行う。また、歩行パターンをデータ軸に正規化するZ正規化を行う場合、正規化部550は、歩行パターンに対するセンシングデータの平均及び標準偏差を演算し、抽出した平均及び標準偏差を上述した数式(1)を用いて正規化を行う。
データベース検索部560は、複数の歩行環境に対応する複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出する。この場合、データベース検索部560は、歩行パターンと複数のデータベースそれぞれに含まれる複数の歩行データそれぞれとの類似度を抽出し、抽出された類似度に基づいて、複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出する。一実施形態に係る複数のデータベースがkd木構造に基づいて構成された場合、データベース検索部560が複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出するために求められる時間はO(logn)である。
歩行特徴抽出部570は、歩行パターンと複数の類似歩行データとの類似度の平均値を演算し、算出された平均値を元素にして複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する。また、歩行特徴抽出部570は、歩行特徴ベクトルを正規化して歩行特徴を生成する。
歩行環境推定部580は、予め決定した学習モデルに歩行特徴を適用して歩行パターンに対応する歩行環境を推定し得る。一実施形態に係る歩行環境推定部580は、歩行特徴を予め決定した次元の特徴空間にマッピングする。一例として、予め決定した学習モデルがサポートベクトル回帰モデルである場合、歩行環境推定部580は、ホモジーニアスカーネルマップを用いて対する歩行特徴を特徴空間にマッピングする。
また、歩行環境推定部580は、歩行特徴を予め決定した学習モデルに入力して、予め決定した学習モデルに予め決定した学習パラメータを適用して歩行パターンに対応する歩行環境を推定し得る。一実施形態に係る歩行環境推定部580は、通信インタフェースを用いて外部(例えば、図4に示す前処理装置410)から予め決定した学習パラメータを受信する。そのため、歩行環境推定部580は、学習パラメータ抽出のための別途の学習過程を実行しないことで、より迅速かつ正確に歩行環境を推定し得る。
駆動制御部590は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する。歩行環境認識装置510は、ステップ検出部530でステップが検出される度に歩行環境を認識することができるため、駆動制御部590は、リアルタイムに動作モードを調節して歩行補助装置の駆動を制御することができる。
図6は、一実施形態に係るセンサを説明するための図である。図6を参照すると、歩行補助装置610は、ユーザに装着してユーザの歩行を補助することができる。図6では、Hip−タイプの歩行補助装置610を例にして説明するが、歩行補助装置610はHip−タイプだけではなく、他のタイプの歩行補助装置であってもよい。例えば、本願明細書において、歩行補助装置に対する説明は全身形態の歩行補助装置にも適用され得る。
歩行補助装置610は、IMUセンサ620及びポテンショメータ630を含む。IMUセンサ620は、ユーザの歩行動作によるX軸、Y軸、Z軸加速度の変化量又はX軸、Y軸、Z軸角速度の変化量のうち少なくとも1つをセンシングする。ポテンショメータ630は、ユーザの歩行動作によるR軸、L軸関節角度の変化量又はR軸、L軸関節角速度の変化量のうち少なくとも1つをセンシングする。一実施形態に係る歩行補助装置610は、IMUセンサ620及びポテンショメータ630を複数含む。また、歩行補助装置610は、IMUセンサ620及びポテンショメータ630の他に、歩行動作によるユーザの運動量又は生体信号などの変化をセンシングされる他のセンサ(例えば、筋電図センサ)を含む。
図7は、一実施形態に係るセンシングデータを説明するための図である。図7を参照すると、グラフ710は、歩行補助装置に付着したセンサから抽出されたセンシングデータを示す。グラフ710の横軸は時間を示し、グラフ710の縦軸は当該センシングデータの大きさを示す。
X軸加速度データ721は、上下(up−down)動作による加速度変化量を示し、Y軸加速度データ722は左右(left−right)動作による加速度変化量を示し、Z軸加速度データ723は前後(forward−backward)動作による加速度変化量を示す。また、X軸角速度データ731は上下動作による角速度変化量を示し、Y軸角速度データ732は左右動作による角速度変化量を示し、Z軸角速度データ733は前後動作による角速度変化量を示す。関節角度データ741、742は、左右動作による関節角度の変化量を示す。
一実施形態に係る歩行環境は、平地環境711、上向き傾斜環境712、下向き階段環境713、上向き階段環境714、及び下向き傾斜環境715のように定義される。この場合、センシングデータは、歩行環境に応じて固有のパターンを有し得るため、歩行環境に応じてセンシングデータの変化量は変わり得る。例えば、X軸加速度データ721は、下向き傾斜環境715で最も変化量が大きく、X軸角速度データ731は、平地環境711で最も変化量が大きく、関節角度データ741、742は上向き階段環境714で最も変化量が大きい。
図8は、一実施形態に係る歩行パターンの検出を説明するための図である。図8を参照すると、グラフ800の横軸は時間を示し、グラフ800の縦軸は当該センシングデータの大きさを示す。
一実施形態に係る歩行環境認識装置は、加速度データ及び関節角度データを用いて歩行パターンを検出する。歩行環境認識装置は、R軸関節角度データ及びL軸関節角度データの角度差802を用いてステップ区間を抽出する。歩行環境認識装置は、角度差802が急激に増加する地点の間をステップ区間として定義して、ステップ811、812、813、814、815、816を抽出する。また、歩行環境認識装置は、各ステップ811、812、813、814、815、816ごとに、各ステップ区間に対応する時間区間に分割された加速度データ801が1つのピークを含むか否かを判断する。図8に示す一例として、加速度データ801は、ステップ区間ごとに、1つのピーク821、822、823、824、825、826を含む。そのため、歩行環境認識装置は、抽出したステップ811、812、813、814、815、816が有効であると確認する。また、歩行パターンの基本単位がストライドである場合、歩行環境認識装置は、ストライド831、832、833、834、835を抽出する。
図9A及び図9Bは、一実施形態に係る歩行パターンの正規化を説明するための図である。図9A及び図9Bを参照すると、歩行環境認識装置は、センシングデータを用いて歩行パターンを抽出する。この場合、歩行パターンは、ステップ又はストライドで構成されているため、歩行パターンの時間軸に対する大きさは互いに異なる。また、歩行による運動量は毎回一定ではないため、歩行パターンのデータ軸に対する大きさも互いに異なる。そのため、歩行環境認識装置は、歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化を行う。
図9Aにおいて、歩行パターン911、912、913、914、915の時間の大きさは互いに異なる。歩行環境認識装置は、歩行パターン911、912、913、914、915の時間の大きさが予め決定した時間の大きさtとなるよう補正する。一実施形態に係る歩行環境認識装置は、歩行パターン911、912、913、914、915の時間軸を補間して時間正規化を行う。
図9Bにおいて、グラフの横軸は時間を示し、グラフの縦軸はセンシングデータの大きさを示す。歩行パターン931、932、933は互いに異なる視点で検知された、同一の歩行環境におけるセンシングデータから抽出され得る。図9Bに示すように、同一の歩行環境でも、ユーザの状況に応じて歩行パターン931、932、933は互いに異なるデータ範囲を有し得る。歩行環境認識装置は、歩行パターン931、932、933のそれぞれに対するセンシングデータの平均及び標準偏差を用いてZ正規化を行う。例えば、歩行環境認識装置は、歩行パターン931、932、933それぞれに対するセンシングデータの平均及び標準偏差を演算し、抽出した平均及び標準偏差を数式(1)を用いて正規化する。Z正規化によって正規化された歩行パターン941、942、943は、互いに類似のデータ範囲を有し得る。
図10は、一実施形態に係るデータベースを説明するための図である。図10を参照すると、前処理装置は、複数のデータベース1010、1020、1030、1040、1050を構築する。複数のデータベース1010、1020、1030、1040、1050は、それぞれ複数の歩行環境に対応する。ここで、複数のデータベース1010、1020、1030、1040、1050はそれぞれ別のデータベースを意味し、1つのデータベース1000に属する複数のサブデータベースを意味する。
前処理装置は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンを複数のデータベース1010、1020、1030、1040、1050に歩行データに格納する。例えば、歩行データ1001、1002、1003、1004、1005、1006、1007、1008は、それぞれ分類された複数の歩行パターンによるX軸加速度データ、Y軸加速度データ、Z軸加速度データ、X軸角速度データ、Y軸角速度データ、Z軸角速度データ、R軸関節角度データ、及びL軸関節角度データを示す。一実施形態に係る前処理装置は、歩行データ1001、1002、1003、1004、1005、1006、1007、1008をそれぞれベクトル形態に格納する。
また、前処理装置は、kd木構造を用いて複数のデータベース1010、1020、1030、1040、1050を構成する。複数のデータベース1010、1020、1030、1040、1050がkd木構造に基づいて構築されることにより、複数のデータベース1010、1020、1030、1040、1050で歩行データを検索するために
の時間が必要とされる。そのため、歩行環境認識装置は、リアルタイムで複数のデータベースから歩行データを検索することができる。
図11は、一実施形態に係る歩行環境認識のための前処理装置の歩行特徴の抽出を説明するための図である。図11を参照すると、前処理装置は、複数の歩行データ間の類似度に基づいて、複数の歩行データそれぞれに対する歩行特徴を生成する。例えば、5個の歩行環境が定義された場合、前処理装置は5個のデータベースを構築する。第1データベース1121に含まれる第1歩行データ1111の歩行特徴を生成するために、前処理装置は、第1歩行データ1111と第1データベース1121で第1歩行データ1111を除いた残りの歩行データとの類似度を演算し、演算された類似度に基づいて第1データベース1121から第1歩行データ1111と類似の複数の類似歩行データを抽出する。また、前処理装置は、第1歩行データ1111と第2データベース1122〜第5データベース1125のそれぞれに含まれる複数の歩行データとの類似度を演算し、演算された類似度に基づいて第2データベース1122〜第5データベース1125のそれぞれから複数の類似歩行データを抽出する。
また、前処理装置は、第1データベース1121〜第5データベース1125のそれぞれから抽出された複数の類似歩行データと第1歩行データ1111との間の類似度の平均値を算出し、算出された平均値を元素にして第1歩行特徴ベクトルを生成する。例えば、前処理装置は、第1データベース1121〜第5データベース1125のそれぞれに対応する平均値の第1平均値〜第5平均値それぞれを第1歩行特徴ベクトルの第1元素〜第5元素に構成する。前処理装置は、第1歩行特徴ベクトルを正規化し1131、第1歩行特徴1141を生成する。また、前処理装置は第1歩行データ1111と同様に、第2歩行データ〜第5歩行データそれぞれに対応する第2歩行特徴1142〜第5歩行特徴1145を生成する。
図12は、一実施形態に係る歩行特徴の特徴空間でのマッピングを説明するための図である。図12を参照すると、入力空間1210は、5×1の大きさを有する歩行特徴を含む。歩行特徴1211と歩行特徴1212は互いに異なる歩行環境と対応するが、入力空間1210で、歩行特徴1211と歩行特徴1212は互いに区別されないことがある。
歩行環境認識装置は、歩行特徴1211、1212を予め決定した次元の特徴空間1220にマッピングする。歩行環境認識装置がサポートベクトル回帰モデルを用いて歩行環境を推定する場合、歩行環境認識装置は、ホモジーニアスカーネルマップを用いて歩行特徴1211、1212を15×1次元の特徴空間1220にマッピングする。歩行特徴1211、1221が特徴空間1220にマッピングされることにより、特徴空間1220で、歩行特徴1221、1222は互いに区別され得る。そのため、歩行環境認識装置は、少ない次元空間でも非線形サポートベクトル回帰モデルに歩行特徴を適用して歩行環境を推定でき、これにより歩行環境を推定するために必要な演算時間が減少し得る。
図13は、一実施形態に係るデータベースの検索を説明するための図である。図13を参照すると、歩行環境認識装置は、センシングデータを用いて歩行パターンを抽出する(1310)。例えば、停止状態でユーザが歩行し始める時、歩行環境認識装置は、センシングデータを用いて歩行パターン1311を抽出する。
また、歩行環境認識装置は、歩行パターンに基づいて複数のデータベース1321を検索し、複数の歩行環境それぞれに対応する複数のデータベース1321のそれぞれから、歩行パターンと類似の複数の類似歩行データを抽出する(1320、1330)。一実施形態に係る歩行環境認識装置は、K近傍法(k nearest neighbor search)を用いて複数のデータベース1321を検索し得る。ここで、複数のデータベース1321がkd木構造に基づいて構成された場合、複数のデータベース1321を検索するために所要する時間はO(logn)である。ここで、nは複数のデータベース1321のそれぞれに含まれる複数の歩行データの個数を示し、iはデータベースのインデックスを意味する。例えば、歩行環境認識装置は、複数のデータベース1321のそれぞれから5個の類似歩行データ1331を抽出することができる。
図14は、一実施形態に係る歩行環境認識装置の歩行特徴の抽出を説明するための図である。図14を参考すると、歩行環境認識装置は、歩行パターン1410と5個のデータベース1421、1422、1423、1424、1425のそれぞれに含まれる複数の類似歩行データとの類似度を抽出する。例えば、歩行環境認識装置は、5個のデータベース1421、1422、1423、1424、1425ごとに歩行パターン1410との類似度の高い5個の歩行類似データを抽出し、歩行パターン1410と5個のデータベース1421、1422、1423、1424、1425のそれぞれに含まれる5個の歩行データそれぞれとの類似度を抽出する。
また、歩行環境認識装置は、抽出した類似度の平均値を演算する。例えば、歩行環境認識装置は、歩行パターン1410と第1データベース1421で抽出された5個の歩行類似データとの類似度の平均値を示す第1平均値1431を抽出する。歩行環境認識装置は、歩行パターン1410と第2データベース1422〜第5データベース1425のそれぞれから抽出された5個の歩行類似データとの類似度の平均値を示す第2平均値1432〜第5平均値1435を抽出する。歩行環境認識装置は、第1平均値1431〜第5平均値1435のそれぞれが歩行特徴ベクトルの第1元素〜第5元素から構成される。歩行環境認識装置は、歩行特徴ベクトルを正規化し1440、歩行特徴1450を生成する。
図15は、一実施形態に係る歩行環境認識装置の一例を説明するための図である。図15を参照すると、歩行環境認識装置1510は、歩行補助装置内に含まれている。ユーザが歩行する場合、歩行環境認識装置1510は、歩行環境認識装置1510に含まれるセンサから歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたセンシングデータを取得し得る。歩行環境認識装置1510は、センシングデータを用いてユーザの歩行パターンを検出し、複数の歩行環境に対応する複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出する。また、歩行環境認識装置1510は、抽出した類似度に基づいて歩行パターンの歩行特徴を生成する。歩行環境認識装置1510は、予め決定した学習モデルに歩行特徴を適用して歩行パターンに対応する歩行環境を推定し得る。歩行環境認識装置1510は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する。また、歩行環境認識装置1510は、通信インタフェースを用いてウェアラブル装置1520又はモバイル端末1530と通信を行う。例えば、歩行環境認識装置1510が歩行環境を推定した場合、歩行環境認識装置1510は、ウェアラブル装置1520又はモバイル端末1530に推定された歩行環境に関する情報を送信し得る。
図16は、他の一実施形態に係る歩行環境認識装置の一例を説明するための図である。図16を参照すると、歩行環境認識装置1610は歩行補助装置内に含まれている。ユーザが歩行する場合、歩行環境認識装置1610は、歩行環境認識装置1610に含まれるセンサから歩行動作によるユーザの運動量又は生体信号の変化をセンシングしたセンシングデータを取得し得る。また、歩行環境認識装置1610は、センシングデータを用いてユーザの歩行パターンを検出する。サーバ1620は、複数の歩行環境に対応する複数のデータベースを含む。一実施形態に係る複数のデータベースは、前処理装置によって予め生成された後、サーバ1620に格納される。歩行環境認識装置1610は、通信インタフェースを用いて、歩行パターンに基づいてサーバ1620に含まれる複数のデータベースを検索する。歩行環境認識装置1610は、複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出し、歩行パターンと複数の類似歩行データとの類似度に基づいて歩行パターンの歩行特徴を生成し得る。
また、歩行環境認識装置1610は、サーバ1620から予め決定した学習パラメータを取得し、歩行環境認識装置1610は予め決定した学習モデルに歩行特徴を入力して、予め決定した学習モデルにサーバ1620から取得した予め決定した学習パラメータを適用し、歩行パターンに対応する歩行環境を推定し得る。
一実施形態に係る歩行環境認識装置1610は、通信インタフェースを用いて推定された歩行環境に関する情報をサーバ1620に送信し得る。
図17は、更なる一実施形態に係る歩行環境認識装置を示すブロック図である。図17を参照すると、歩行環境認識装置1710は、歩行パターン検出部1720、データベース構築部1730、歩行特徴生成部1740、学習パラメータ抽出部1750、ユーザ歩行パターン検出部1760、ユーザ歩行特徴生成部1770、歩行環境推定部1780、及び駆動制御部1790を含む。
歩行パターン検出部1720は、第1センシングデータを用いて複数の歩行パターンを検出する。
データベース構築部1730は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンを複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納する。
歩行特徴生成部1740は、複数の歩行データの間の類似度に基づいて複数の歩行データそれぞれに対する歩行特徴を生成する。
学習パラメータ抽出部1750は、予め決定した学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用し、予め決定した学習モデルに対する学習パラメータを抽出する。
ユーザ歩行パターン検出部1760は、第2センシングデータを用いてユーザの歩行パターンを検出する。
ユーザ歩行特徴生成部1770は、複数のデータベースそれぞれからユーザの歩行パターンと類似の複数の類似歩行データを抽出し、ユーザの歩行パターンと複数の類似歩行データとの類似度に基づいて、ユーザの歩行パターンの歩行特徴を生成する。
歩行環境推定部1780は、予め決定した学習モデルにユーザの歩行特徴を適用してユーザの歩行パターンに対応する歩行環境を推定し得る。
駆動制御部1790は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する。
図17に示された更なる一実施形態に係る歩行環境認識装置には、図1〜図16を参照して説明した内容がそのまま適用されているため、より詳細な説明は省略する。
図18は、一実施形態に係る歩行環境認識方法を示した動作フローチャートである。図18を参照すると、歩行環境認識装置は、センシングデータを用いてユーザの歩行パターンを検出する(S1810)。
また、歩行環境認識装置は、複数の歩行環境に対応する複数のデータベースそれぞれから歩行パターンと類似の複数の類似歩行データを抽出し、歩行パターンと複数の類似歩行データとの類似度に基づいて歩行パターンの歩行特徴を生成する(S1820)。
また、歩行環境認識装置は、設定された学習モデルに歩行特徴を適用して歩行パターンに対応する歩行環境を推定する(S1830)。
また、歩行環境認識装置は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する(S1840)。
図18に示された一実施形態に係る歩行環境認識方法には、図1〜図16を参照して説明された内容がそのまま適用されているため、より詳細な説明は省略する。
図19は、一実施形態に係る歩行環境認識のための前処理方法を示した動作フローチャートである。図19を参照すると、前処理装置は、センシングデータを用いて複数の歩行パターンを検出する(S1910)。
また、前処理装置は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンを複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納する(S1920)。
また、前処理装置は、複数の歩行データの間の類似度に基づいて複数の歩行データそれぞれに対する歩行特徴を生成する(S1930)。
また、前処理装置は、設定された学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、設定された学習モデルに対する学習パラメータを抽出する(S1940)。
図19に示された一実施形態に係る歩行環境認識のための前処理方法には、図1〜図16を参照して説明した内容がそのまま適用されているため、より詳細な説明は省略する。
図20は、他の一実施形態に係る歩行環境認識方法を示した動作フローチャートである。図20を参照すると、歩行環境認識装置は、第1センシングデータを用いて複数の歩行パターンを検出する(S2010)。
また、歩行環境認識装置は、複数の歩行パターンを複数の歩行環境に応じて分類し、分類された複数の歩行パターンを複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納する(S2020)。
また、歩行環境認識装置は、複数の歩行データの間の類似度に基づいて複数の歩行データそれぞれに対する歩行特徴を生成する(S2030)。
また、歩行環境認識装置は、設定された学習モデルに複数の歩行データそれぞれに対する歩行特徴を適用して、設定された学習モデルに対する学習パラメータを抽出する(S2040)。
また、歩行環境認識装置は、第2センシングデータを用いてユーザの歩行パターンを検出する(S2050)。
また、歩行環境認識装置は、複数のデータベースそれぞれからユーザの歩行パターンと類似の複数の類似歩行データを抽出し、ユーザの歩行パターンと複数の類似歩行データとの類似度に基づいてユーザの歩行パターンの歩行特徴を生成する(S2060)。
また、歩行環境認識装置は、設定された学習モデルにユーザの歩行特徴を適用して、ユーザの歩行パターンに対応する歩行環境を推定する(S2070)。
また、歩行環境認識装置は、推定された歩行環境に対応するように歩行補助装置の駆動を制御する(S2080)。
図20に示された異なる一実施形態に係る歩行環境認識方法には、図1〜図16を参照して説明した内容がそのまま適用されているため、より詳細な説明は省略する。
以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、及び/又はハードウェア構成要素及びソフトウェア構成要素の組合せで実現してもよい。例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、または、命令(instruction)を実行して応答できる異なる装置のように、1つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム(OS)及び前記オペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は1つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは1つのプロセッサ及び1つのコントローラを含んでもよい。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの1つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置に命令してもよい。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは1つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち1つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
上述したように、本発明を所定の実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

Claims (30)

  1. センシングデータを用いてユーザの歩行パターンを検出する歩行パターン検出部と、
    複数の歩行環境それぞれに対応する複数のデータベースそれぞれから前記歩行パターンと類似の複数の類似歩行データを抽出し、前記歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記歩行パターンの歩行特徴を生成する歩行特徴生成部と、
    設定された学習モデルに前記歩行特徴を適用して前記歩行パターンに対応する歩行環境を推定する歩行環境推定部と、
    前記推定された歩行環境に対応するように歩行補助装置を駆動する駆動制御部と、
    を含む、歩行環境認識装置。
  2. 前記歩行パターン検出部は、前記センシングデータから前記ユーザの足裏が地面に接する状態を示すヒールストライクを検出し、1つの前記ヒールストライクで構成されたステップ及び2つの前記ステップで構成されたストライドのうち1つを基本単位として前記歩行パターンを検出する、
    請求項1に記載の歩行環境認識装置。
  3. 前記センシングデータは、IMU(Inertial Measurement Unit)センサによって検知された加速度データ又は角速度データ、ポテンショメータによって検知された関節角度データ又は関節角速度データ又は筋電図(ElectroMyoGraphy:EMG)センサから抽出された筋電図データのうち少なくとも1つを含む、
    請求項1または2に記載の歩行環境認識装置。
  4. 前記歩行パターン検出部は、前記歩行パターンを時間軸又はデータ軸のうち少なくとも1つに対して正規化する正規化部を含む、
    請求項1乃至3いずれか一項に記載の歩行環境認識装置。
  5. 前記歩行特徴生成部は、前記歩行パターンと前記複数のデータベースそれぞれに含まれる複数の歩行データとの前記類似度を演算し、前記複数の歩行データとの類似度を用いて前記複数のデータベースそれぞれから前記複数の類似歩行データを抽出する、
    請求項1乃至4いずれか一項に記載の歩行環境認識装置。
  6. 前記歩行特徴生成部は、前記歩行パターンと前記複数の類似歩行データとの類似度の平均値を算出し、前記平均値を元素にして前記複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する、
    請求項1乃至4いずれか一項に記載の歩行環境認識装置。
  7. 前記歩行特徴生成部は、歩行特徴ベクトルを正規化して前記歩行特徴を生成する、
    請求項1乃至4いずれか一項に記載の歩行環境認識装置。
  8. 前記歩行特徴生成部は、L1ノルム、L2ノルム、NCC(Normalized Cross Correlation)又はDTW(Dynamic Time Warping)のうち少なくとも1つを用いて、前記複数の歩行データとの類似度又は前記複数の類似歩行データとの類似度を演算する、
    請求項6に記載の歩行環境認識装置。
  9. 前記歩行環境推定部は、前記設定された学習モデルに前記歩行特徴を入力し、前記学習モデルに設定された学習パラメータを適用して前記歩行パターンに対応する歩行環境を推定する、
    請求項1乃至8いずれか一項に記載の歩行環境認識装置。
  10. 前記設定された学習パラメータは、前記設定された学習モデルに基づいて前記複数のデータベースそれぞれに含まれる複数の歩行データから抽出された、
    請求項9に記載の歩行環境認識装置。
  11. 前記歩行環境推定部は、通信インタフェースを用いて前記設定された学習パラメータを外部から取得する、
    請求項9または10に記載の歩行環境認識装置。
  12. 前記歩行環境推定部は、前記歩行特徴を設定された次元の特徴空間にマッピングし、前記マッピングされた歩行特徴を前記設定された学習モデルに入力する、
    請求項1乃至8いずれか一項に記載の歩行環境認識装置。
  13. センシングデータを用いて複数の歩行パターンを検出する歩行パターン検出部と、
    前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するデータベース構築部と、
    前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成する歩行特徴生成部と、
    設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して前記設定された学習モデルに対する学習パラメータを抽出する学習パラメータ抽出部と、
    を含む、歩行環境認識のための前処理装置。
  14. 前記歩行パターン検出部は、前記センシングデータからユーザの足裏が地面に接する状態を示すヒールストライクを検出し、1つの前記ヒールストライクで構成されたステップ及び2つの前記ステップで構成されたストライドのうち1つを基本単位として前記歩行パターンを検出する、
    請求項13に記載の歩行環境認識のための前処理装置。
  15. 前記センシングデータは、IMUセンサによって検知された加速度データ、角速度データ、ポテンショメータによって検知された関節角度データ、関節角速度データ又は筋電図センサから抽出された筋電図データのうち少なくとも1つを含む、
    請求項13または14に記載の歩行環境認識のための前処理装置。
  16. 前記歩行パターン検出部は、前記複数の歩行パターンを時間軸及びデータ軸のうち少なくとも1つに対して正規化する正規化部を含む、
    請求項13乃至15いずれか一項に記載の歩行環境認識のための前処理装置。
  17. 前記データベース構築部は、kd木構造を用いて前記分類された複数の歩行パターンを前記複数のデータベースそれぞれの前記複数の歩行データに格納する、
    請求項13乃至16いずれか一項に記載の歩行環境認識のための前処理装置。
  18. 前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記複数のデータベースそれぞれからそれぞれの歩行データと類似の複数の類似歩行データを抽出し、前記それぞれの歩行データと前記複数の類似歩行データとの類似度に基づいて前記それぞれの歩行データの歩行特徴を生成する、
    請求項13乃至17いずれか一項に記載の歩行環境認識のための前処理装置。
  19. 前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記それぞれの歩行データと前記複数の類似歩行データとの類似度の平均値を算出し、前記平均値を元素にして前記複数の歩行環境それぞれに対応する特徴値を含む歩行特徴ベクトルを生成する、
    請求項18に記載の歩行環境認識のための前処理装置。
  20. 前記歩行特徴生成部は、前記複数の歩行データそれぞれに対して、前記歩行特徴ベクトルを正規化して前記歩行特徴を生成する、
    請求項19に記載の歩行環境認識のための前処理装置。
  21. 前記学習パラメータ抽出部は、前記複数の歩行データそれぞれに対する歩行特徴を設定された次元の特徴空間にマッピングし、前記マッピングされた前記複数の歩行データそれぞれに対する歩行特徴を前記設定された学習モデルに入力する、
    請求項13乃至20いずれか一項に記載の歩行環境認識のための前処理装置。
  22. 前記学習パラメータ抽出部は、通信インタフェースを用いて前記抽出された学習パラメータを外部に送信する、
    請求項13乃至21いずれか一項に記載の歩行環境認識のための前処理装置。
  23. 第1センシングデータを用いて複数の歩行パターンを検出する歩行パターン検出部と、
    前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するデータベース構築部と、
    前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成する歩行特徴生成部と、
    設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出する学習パラメータ抽出部と、
    第2センシングデータを用いてユーザの歩行パターンを検出するユーザ歩行パターン検出部と、
    前記複数のデータベースそれぞれから前記ユーザの歩行パターンと類似の複数の類似歩行データを抽出し、前記ユーザの歩行パターンと前記複数の類似歩行データとの類似度に基づいて、前記ユーザの歩行パターンの歩行特徴を生成するユーザ歩行特徴生成部と、
    前記設定された学習モデルに前記ユーザの歩行特徴を適用して前記ユーザの歩行パターンに対応する歩行環境を推定する歩行環境推定部と、
    前記推定された歩行環境に対応するように歩行補助装置を駆動する駆動制御部と、
    を含む、歩行環境認識装置。
  24. センシングデータを用いてユーザの歩行パターンを検出するステップと、
    複数の歩行環境に対応する複数のデータベースそれぞれから前記歩行パターンと類似の複数の類似歩行データを抽出し、前記歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記歩行パターンの歩行特徴を生成するステップと、
    設定された学習モデルに前記歩行特徴を適用して、前記歩行パターンに対応する歩行環境を推定するステップと、
    前記推定された歩行環境に対応するように歩行補助装置を駆動するステップと、
    を含む、歩行環境認識方法。
  25. センシングデータを用いて複数の歩行パターンを検出するステップと、
    前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するステップと、
    前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成するステップと、
    設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出するステップと、
    を含む、歩行環境認識のための前処理方法。
  26. 第1センシングデータを用いて複数の歩行パターンを検出するステップと、
    前記複数の歩行パターンを複数の歩行環境に応じて分類し、前記分類された複数の歩行パターンを前記複数の歩行環境に対応する複数のデータベースそれぞれの複数の歩行データに格納するステップと、
    前記複数の歩行データの間の類似度に基づいて前記複数の歩行データそれぞれに対する歩行特徴を生成するステップと、
    設定された学習モデルに前記複数の歩行データそれぞれに対する歩行特徴を適用して、前記設定された学習モデルに対する学習パラメータを抽出するステップと、
    第2センシングデータを用いてユーザの歩行パターンを検出するステップと、
    前記複数のデータベースそれぞれから前記ユーザの歩行パターンと類似の複数の類似歩行データを抽出し、前記ユーザの歩行パターンと前記複数の類似歩行データとの類似度に基づいて前記ユーザの歩行パターンの歩行特徴を生成するステップと、
    前記設定された学習モデルに前記ユーザの歩行特徴を適用して、前記ユーザの歩行パターンに対応する歩行環境を推定するステップと、
    前記推定された歩行環境に対応するように歩行補助装置を駆動するステップと、
    を含む、歩行環境認識方法。
  27. 適応的に歩行環境を認識する装置において、
    第1センシングデータに基づいて歩行パターンを検出する歩行パターン検出部と、
    複数の歩行環境に対応する複数のデータベースをそれぞれ検索し、前記検索に基づいて前記検出された歩行パターンに対応する歩行特徴を生成する歩行特徴生成部と、
    設定された学習モデルに前記歩行特徴を適用することで、前記検出された歩行パターンに対応する歩行環境を推定する歩行環境推定部と、
    前記推定された歩行環境に基づいて歩行補助装置を駆動する駆動制御部と、
    を含む、歩行環境認識装置。
  28. 前記歩行特徴生成部は、前記検出された歩行パターンと類似の類似歩行データのために前記複数のデータベースを検索する、
    請求項27に記載の歩行環境認識装置。
  29. 前記歩行特徴生成部は、前記検出された歩行パターンと前記類似歩行データとの間の類似度に基づいて、前記検出された歩行パターンに対応する前記歩行特徴を生成する、
    請求項28に記載の歩行環境認識装置。
  30. 前記歩行環境推定部は、前記歩行特徴を前記設定された学習モデルに入力し、設定された学習パラメータを前記設定された学習モデルに適用することで前記検出された歩行パターンに対応する前記歩行環境を推定し、
    前記設定された学習パラメータは、前記設定された学習モデルに前記検出された歩行パターンに対応する前記歩行特徴を適用することで抽出される、
    請求項27乃至29いずれか一項に記載の歩行環境認識装置。
JP2015155822A 2014-09-12 2015-08-06 歩行環境認識方法及び装置 Active JP6629543B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140121026A KR102292683B1 (ko) 2014-09-12 2014-09-12 보행 환경 인식 방법 및 장치
KR10-2014-0121026 2014-09-12

Publications (2)

Publication Number Publication Date
JP2016059795A true JP2016059795A (ja) 2016-04-25
JP6629543B2 JP6629543B2 (ja) 2020-01-15

Family

ID=54014480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015155822A Active JP6629543B2 (ja) 2014-09-12 2015-08-06 歩行環境認識方法及び装置

Country Status (5)

Country Link
US (1) US11234890B2 (ja)
EP (2) EP2997895B1 (ja)
JP (1) JP6629543B2 (ja)
KR (1) KR102292683B1 (ja)
CN (1) CN105411593B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143634A1 (en) * 2017-01-31 2018-08-09 Lg Electronics Inc. Cleaner
JPWO2018034128A1 (ja) * 2016-08-17 2018-09-27 パワーアシストインターナショナル株式会社 装着型支援ロボット装置
WO2020100961A1 (ja) * 2018-11-16 2020-05-22 日本電気株式会社 負荷軽減装置、負荷軽減方法、及びプログラムを記憶する記憶媒体
WO2020240749A1 (ja) * 2019-05-29 2020-12-03 日本電気株式会社 情報処理装置、歩行環境判定装置、歩行環境判定システム、情報処理方法及び記憶媒体
WO2021130907A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 推定装置、推定システム、推定方法、およびプログラム記録媒体
JP2022000143A (ja) * 2016-06-29 2022-01-04 パナソニックIpマネジメント株式会社 歩行支援ロボット及び歩行支援方法
KR102518801B1 (ko) * 2023-02-11 2023-04-06 엑소아틀레트아시아 주식회사 외골격 장치를 사용하기 위한 보행패턴 획득시스템 및 이를 이용한 보행패턴 획득방법

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3196658A1 (en) * 2014-09-18 2017-07-26 Kunihiro Shiina Recording device, mobile terminal, analysis device, program, and storage medium
US10052047B2 (en) 2015-08-07 2018-08-21 University Of Virginia Patent Foundation System and method for functional gait re-trainer for lower extremity pathology
KR101940898B1 (ko) * 2017-01-20 2019-01-21 국방과학연구소 외골격 로봇의 하강보행 제어 방법
KR101909743B1 (ko) * 2017-01-26 2018-10-18 주식회사 제윤메디컬 스마트 인솔을 기반의 차량용 전장 기기 제어 방법 및 시스템
JP6887274B2 (ja) * 2017-03-21 2021-06-16 パナソニック株式会社 歩行支援ロボット及び歩行支援方法
CN107411753A (zh) * 2017-06-06 2017-12-01 深圳市科迈爱康科技有限公司 一种识别步态的可穿戴设备
KR102550887B1 (ko) * 2017-09-20 2023-07-06 삼성전자주식회사 개인화된 보행 정책을 갱신하는 방법 및 장치
KR101972662B1 (ko) * 2017-09-29 2019-04-25 숭실대학교산학협력단 발동작 패턴 분석을 통한 스마트 홈 시스템 및 스마트 홈 서비스 제공방법
KR102566114B1 (ko) 2017-11-10 2023-08-14 삼성전자주식회사 회전 보행을 위한 제어 방법 및 제어 장치
KR102155134B1 (ko) * 2017-11-28 2020-09-11 인하대학교 산학협력단 Emg 신호에 기반한 보행패턴을 이용한 사용자 인식 장치 및 방법
KR101989477B1 (ko) * 2017-12-06 2019-06-14 인하대학교 산학협력단 Emg신호 분석을 위한 tas 특징 추출 장치 및 방법
US20200390370A1 (en) 2017-12-12 2020-12-17 Mindmaze Holding Sa System, apparatus and method for activity classification
CN108013998A (zh) * 2017-12-12 2018-05-11 深圳市罗伯医疗科技有限公司 一种下肢康复仪器训练方法和系统
KR102085372B1 (ko) * 2017-12-26 2020-03-05 한국산업기술대학교산학협력단 보행 상태 추정 방법 및 장치
CN108014001B (zh) * 2018-01-02 2020-03-17 北京理工大学 一种柔性助行外骨骼
KR102546547B1 (ko) * 2018-01-11 2023-06-22 삼성전자주식회사 보행 보조 방법 및 장치
DE102018206823A1 (de) * 2018-05-03 2019-11-07 Krones Ag Behälterbehandlungsanlage
KR20200085083A (ko) * 2019-01-04 2020-07-14 삼성전자주식회사 보행 보조 장치의 제어 방법 및 장치
JP7192528B2 (ja) * 2019-01-24 2022-12-20 株式会社ジェイテクト アシスト装置
KR20200094519A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 정보 처리 장치 및 이의 동작 방법
CN109998551B (zh) * 2019-04-11 2020-09-11 北京航空航天大学 一种分段式局部峰值检测的步态相位分析方法
CN110246561A (zh) * 2019-04-30 2019-09-17 华为技术有限公司 一种移动距离计算方法、装置以及系统
CN111860063B (zh) * 2019-04-30 2023-08-11 杭州海康威视数字技术股份有限公司 步态数据构建系统、方法及装置
KR102304300B1 (ko) * 2019-05-08 2021-09-23 주식회사 비플렉스 머리부 가속도 센서를 통한 보행인자 검출 방법 및 장치
CN110236523A (zh) * 2019-06-17 2019-09-17 杭州电子科技大学 基于高斯回归的步态-心电rr间隔关联方法
JP7243486B2 (ja) * 2019-06-27 2023-03-22 トヨタ自動車株式会社 学習装置、歩行訓練システム、方法、及びプログラム
JP7326927B2 (ja) * 2019-06-27 2023-08-16 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
JP7293915B2 (ja) * 2019-06-28 2023-06-20 トヨタ自動車株式会社 学習装置、歩行訓練装置、システム、方法、プログラム、及び学習済みモデル
EP4025127A4 (en) * 2019-09-06 2023-09-27 The University of Miami QUANTIFICATION OF SYMMETRY AND REPEATABILITY IN A THIGH MOVEMENT TO TREAT ABNORMAL MOVEMENT PATTERNS
CN110710976A (zh) * 2019-10-14 2020-01-21 深圳市迈步机器人科技有限公司 个性化步态生成方法存储介质、控制系统及外骨骼机器人
CN111028374B (zh) * 2019-10-30 2021-09-21 中科南京人工智能创新研究院 基于步态识别的考勤机及考勤系统
KR102345636B1 (ko) * 2019-12-03 2021-12-31 중앙대학교 산학협력단 모터 자동제어시스템을 적용한 가변압박슬리브 및 그 가변압박슬리브의 제어방법
US11216074B2 (en) 2020-03-13 2022-01-04 OnTracMD, LLC Motion classification user library
KR102350633B1 (ko) * 2020-03-26 2022-01-11 한국로봇융합연구원 낙상 유도 장치 및 낙상 유도 방법
KR102350593B1 (ko) * 2020-11-04 2022-01-14 단국대학교 산학협력단 딥러닝 앙상블을 이용한 멀티모달 센서 기반의 보행 패턴 분류를 위한 장치 및 방법
KR102521682B1 (ko) * 2021-05-10 2023-04-13 서강대학교산학협력단 인공신경망을 활용한 표면근전도 기반 보행 환경 분류 방법과 그 장치
CN113762072B (zh) * 2021-07-27 2024-04-19 新绎健康科技有限公司 一种基于互相关性的对步态信号进行识别的方法及系统
WO2024044252A1 (en) * 2022-08-23 2024-02-29 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for detecting and monitoring gait using a portable gait biofeedback system
KR20240062560A (ko) 2022-11-02 2024-05-09 김민석 고령자의 보행 패턴 분석 방법, 그리고 분석된 보행 패턴을 이용한 보행 보조 장치, 방법 및 시스템
CN116959035A (zh) * 2023-09-19 2023-10-27 深圳市博锐高科科技有限公司 一种基于步态的身份识别方法、装置、芯片及终端
CN117421605B (zh) * 2023-10-27 2024-04-30 绍兴清研微科技有限公司 一种基于区块链技术的步态识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265018A1 (en) * 2008-04-21 2009-10-22 Vanderbilt University Powered leg prosthesis and control methodologies for obtaining near normal gait
JP2010263934A (ja) * 2009-05-12 2010-11-25 Univ Of Tsukuba 動作補助装置、及び該動作補助装置を管理する情報管理装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
JP2005211086A (ja) 2004-01-27 2005-08-11 Yaskawa Electric Corp 歩行訓練装置
WO2006119186A2 (en) * 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
US9149222B1 (en) * 2008-08-29 2015-10-06 Engineering Acoustics, Inc Enhanced system and method for assessment of disequilibrium, balance and motion disorders
US10342461B2 (en) * 2007-10-15 2019-07-09 Alterg, Inc. Method of gait evaluation and training with differential pressure system
KR20100094998A (ko) * 2007-12-27 2010-08-27 고쿠리쯔 다이가쿠 호징 츠쿠바 다이가쿠 중심위치 검출장치 및 중심위치 검출장치를 구비한 장착식 동작보조장치
JP5309743B2 (ja) 2008-07-14 2013-10-09 大日本印刷株式会社 歩行補助装置
CN101388080B (zh) * 2008-10-23 2010-08-11 北京航空航天大学 一种基于多角度步态信息融合的行人性别分类方法
KR100957985B1 (ko) 2008-11-07 2010-05-17 신대섭 보행 보조 로봇의 제어장치
JP5386253B2 (ja) * 2009-07-15 2014-01-15 サンコールエンジニアリング株式会社 歩行診断支援システム、歩行パターン生成装置、歩行パターン生成プログラム、及び歩行パターン生成方法
US9314394B2 (en) 2009-10-21 2016-04-19 Honda Motor Co., Ltd. Motion assisting device, control method therefor, and rehabilitation method
KR101159437B1 (ko) * 2010-04-29 2012-06-22 숭실대학교산학협력단 시각장애인용 보행유도 장치 및 방법
KR101082161B1 (ko) 2010-06-23 2011-11-09 고려대학교 산학협력단 보행 보조 장치
US8548740B2 (en) * 2010-10-07 2013-10-01 Honeywell International Inc. System and method for wavelet-based gait classification
CN102119877B (zh) 2010-12-15 2012-11-07 河北工业大学 建立下肢假肢自动训练专家知识库的方法
KR101384988B1 (ko) * 2011-04-08 2014-04-21 연세대학교 원주산학협력단 능동적 로보틱 보행 훈련 시스템 및 방법
KR101224056B1 (ko) 2011-06-27 2013-01-21 엘지전자 주식회사 보행 보조 장치 및 그 작동 제어 방법
KR20130010609A (ko) * 2011-07-19 2013-01-29 한국생산기술연구원 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
US9943250B2 (en) * 2011-10-09 2018-04-17 The Medical Research, Infrastructure amd Health Services Fund of the Tel Aviv Medical Center Freezing of gait (FOG), detection, prediction and/or treatment
KR101383059B1 (ko) 2012-07-23 2014-04-08 한국과학기술연구원 착용형 진동 자극 장치 및 그 작동 방법
KR101340085B1 (ko) * 2012-11-14 2013-12-09 한국과학기술연구원 보행 패턴 생성 장치 및 방법
KR101422669B1 (ko) * 2013-07-08 2014-07-24 한국과학기술연구원 보행 주기 검출 시스템
CN103431929B (zh) * 2013-08-29 2016-01-20 电子科技大学 一种力量增强型动力外骨骼行走步态感知方法及装置
CN103462619A (zh) * 2013-09-30 2013-12-25 厦门大学 一种足底压力测量装置及其用于步态模式识别的方法
KR102172954B1 (ko) 2013-11-08 2020-11-02 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
KR102150297B1 (ko) 2014-01-15 2020-09-01 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
CN104008398B (zh) * 2014-06-11 2017-07-07 北京大学 一种基于多传感器信息融合的步态分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265018A1 (en) * 2008-04-21 2009-10-22 Vanderbilt University Powered leg prosthesis and control methodologies for obtaining near normal gait
JP2010263934A (ja) * 2009-05-12 2010-11-25 Univ Of Tsukuba 動作補助装置、及び該動作補助装置を管理する情報管理装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022000143A (ja) * 2016-06-29 2022-01-04 パナソニックIpマネジメント株式会社 歩行支援ロボット及び歩行支援方法
US11110024B2 (en) 2016-08-17 2021-09-07 Power Assist International Corporation Wearable assist robot apparatus
JPWO2018034128A1 (ja) * 2016-08-17 2018-09-27 パワーアシストインターナショナル株式会社 装着型支援ロボット装置
JP2019088863A (ja) * 2016-08-17 2019-06-13 パワーアシストインターナショナル株式会社 装着型支援ロボット装置
US11806302B2 (en) 2016-08-17 2023-11-07 Power Assist International Corporation Wearable assist robot apparatus
JP2020196129A (ja) * 2016-08-17 2020-12-10 パワーアシストインターナショナル株式会社 装着型支援ロボット装置
US11605244B2 (en) 2017-01-31 2023-03-14 Lg Electronics Inc. Robot for automatically following a person
WO2018143634A1 (en) * 2017-01-31 2018-08-09 Lg Electronics Inc. Cleaner
JP7215489B2 (ja) 2018-11-16 2023-01-31 日本電気株式会社 負荷軽減装置、負荷軽減方法、及びプログラム
JPWO2020100961A1 (ja) * 2018-11-16 2021-09-02 日本電気株式会社 負荷軽減装置、負荷軽減方法、及びプログラム
WO2020100961A1 (ja) * 2018-11-16 2020-05-22 日本電気株式会社 負荷軽減装置、負荷軽減方法、及びプログラムを記憶する記憶媒体
JPWO2020240749A1 (ja) * 2019-05-29 2021-12-16 日本電気株式会社 情報処理装置、歩行環境判定装置、歩行環境判定システム、情報処理方法及び記憶媒体
WO2020240749A1 (ja) * 2019-05-29 2020-12-03 日本電気株式会社 情報処理装置、歩行環境判定装置、歩行環境判定システム、情報処理方法及び記憶媒体
JPWO2021130907A1 (ja) * 2019-12-25 2021-07-01
WO2021130907A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 推定装置、推定システム、推定方法、およびプログラム記録媒体
JP7218820B2 (ja) 2019-12-25 2023-02-07 日本電気株式会社 推定装置、推定システム、推定方法、およびプログラム
KR102518801B1 (ko) * 2023-02-11 2023-04-06 엑소아틀레트아시아 주식회사 외골격 장치를 사용하기 위한 보행패턴 획득시스템 및 이를 이용한 보행패턴 획득방법

Also Published As

Publication number Publication date
US20160074272A1 (en) 2016-03-17
JP6629543B2 (ja) 2020-01-15
EP2997895B1 (en) 2024-06-26
US11234890B2 (en) 2022-02-01
CN105411593B (zh) 2019-12-24
KR102292683B1 (ko) 2021-08-23
CN105411593A (zh) 2016-03-23
KR20160031246A (ko) 2016-03-22
EP2997895A1 (en) 2016-03-23
EP4331473A2 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
JP6629543B2 (ja) 歩行環境認識方法及び装置
US11865709B2 (en) Assisting torque setting method and apparatus
EP3659016B1 (en) Armband for tracking hand motion using electrical impedance measurement
CN109953761B (zh) 一种下肢康复机器人运动意图推理方法
Fuentes et al. Online motion recognition using an accelerometer in a mobile device
Semwal et al. An optimized feature selection using bio-geography optimization technique for human walking activities recognition
CN107106846A (zh) 用于辅助步态干预和跌倒预防的系统和方法
Yavşan et al. Gesture imitation and recognition using Kinect sensor and extreme learning machines
Mondal et al. Gait based personal identification system using rotation sensor
Singh et al. A framework for the generation of obstacle data for the study of obstacle detection by ultrasonic sensors
US20220142850A1 (en) Method and apparatus for recognizing gait task
Zhang et al. RGB-D camera based walking pattern recognition by support vector machines for a smart rollator
Francisco et al. Computer vision based on a modular neural network for automatic assessment of physical therapy rehabilitation activities
Zhang et al. Integrating intention-based systems in human-robot interaction: a scoping review of sensors, algorithms, and trust
Ma et al. An intelligent thermal sensing system for automatic, quantitative assessment of motion training in lower-limb rehabilitation
Nutakki et al. Classifying gait features for stance and swing using machine learning
Guo et al. A real-time stable-control gait switching strategy for lower-limb rehabilitation exoskeleton
Yan et al. Low‐Cost Multisensor Integrated System for Online Walking Gait Detection
Blake et al. A user-independent and sensor-tolerant wearable activity classifier
Negi et al. A standalone computing system to classify human foot movements using machine learning techniques for ankle-foot prosthesis control
KR20210129861A (ko) 근골격 질환 판단 장치 및 방법
Bleser et al. Human motion capturing and activity recognition using wearable sensor networks
Walee et al. Human Activity Recognition Using an IoT-based Posture Corrector and Machine Learning
Rosenberg et al. Quantifying template signatures of center-of-mass motion during walking with ankle exoskeletons
Grzesiak et al. Predicting ankle moment trajectory with adaptive weighted ensemble of LSTM networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191205

R150 Certificate of patent or registration of utility model

Ref document number: 6629543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250