TWI356357B - A method for estimating a body pose - Google Patents

Description

記錄、判斷使用者的日常活動。Bou ten等人係利用三軸加 速度計量測人體的動態加速度，以人體的動態加速度感測 出人體消耗的能量，利用不同的動作所造成不同的能量消 耗來fO斷姿態。此習知技術係藉由一個三軸加速度計來判 斷能量差異大的動作，惟，若完全以所消耗的能量來判斷 姿態，在判斷能量損耗量差異不大的動作時，容易產生誤 判的情形，且無法判斷靜態的姿態。 此外，另一個習知技術[S. Tanaka， K. Motoi， Μ. Nogawa and K. Yamakoshi, “A new portable device for ambulatory monitoring of human posture and walking velocity using miniature accelerometers and gyroscope, ’’ in Proc. of the 2 6th Annual International Conference of the IEEE EM B S, San Francisco, USA, 2004，pp. 2283-2286.]係 提出了一個簡單的關係式，以利用加速度計計算各個身體 部位的傾斜角度，藉此觀察身體姿態。惟，此系統需要配 帶在三個身體部位，其配帶不便且不易將感測器結合在皮 帶、鞋子等常見的生活用具中，不容易實用化。 再者，參照 Karantonis等人所提出的技術[D. M. Karantonis，M. R. Narayanan, M. Mathie, N. H. Lovell and B. G. Celler, “Implementation of a Real-Time Human Movement Classifier Using a Tri axi a 1 Accelerometer for Ambulatory Monitoring，，’ IEEE Trans. Information

Technology in Biomedicine, vol. 10, Issue. 1, pp. 156-167, 2 00 6.]，此習知技術係整合了多位學者的硏究成果，並將其 1356357 演算法在微控制器內實現。然而雖然此系統以群蜂（Zigbee) 模組傳送人體姿態判斷的結果資訊，但卻沒有應用到群蜂 (Zigbee)網路。相較於本發明，本發明係利用多個群蜂 (Zigbee)模組佈建出群蜂（Zigbee)無線感測網路（稍後將作 詳細說明），以同時觀察多位使用者的姿態，並增加感測範 圍，提升系統的實用性。 除了上述說明外’在此，再歸納出以下幾點習知技術 之缺失與其可改進方向： (1) 許多基於慣性感測器之姿態辨識演算法採用時域 或頻域分析，能判斷的姿態有限，故若能結合時 域與頻域的分析，將可判斷出更多人體姿態。 (2) 許多硏究提出的姿態辨識演算法運算量大，無法 直接在配帶於人體身上的微控制器執行其演算 法’因此需要將感測到的資料先存取起來再做離 線分析，無法即時地判斷人體姿態。故爲了實用 化’必須發展具備即時辨識人體姿態能力的系 統’再者’用來感測人體姿態的人體姿態感測模 組必需具備體積小、可結合日常生活用具使用等 特性’以避免造成使用者配帶的不便。 (3 ) 相關硏究幾乎皆針對單一對象作姿態感測，其無 法同時判斷多人的姿態。然而，往往家中需要被 看護者不只有一位’故未來居家看護系統必須朝 著可同時看護多人的目標發展。 此外’由於目前機器人技術日漸成熟。而許多學者希 1356357 望未來機器人可以逐漸走入家庭中，不僅能幫助人類工 作，也能扮演家庭保全、看護老年人的功能。因此本發明 發展一套多人姿態辨識系統，希望藉由此系統與機器人結 合，讓在家裡服務的機器人能夠協助看護家中老年人。由 老年人身上配戴的人體姿態感測模組，以感測器感測老年 人的姿態。並透過群蜂（Zigbee)無線感測網路，使機器人可 同時看護多位被看護者，相當適合應用在養老院或家中有 多位需要看護者的情形。當機器人感測到被看護者有跌倒 等意外發生時，機器人可馬上前往事發地點關切，並立刻 發出警訊通知子女，讓老人家們的居家安全更加保障。 本發明之目的係提供一種基於群蜂（Z1 g b e e)無線感測 網路之多人姿態辨識系統，俾藉此系統可辨識跌倒、站、 坐、躺、上樓、下樓與走路等七種人體姿態。 本發明之另一目的係提供一種人體姿態感測模組，實 現人體姿態感測演算法，並且其可與群蜂無線網路發展板 (CC2420DBK)構成群蜂（Zigbee)無線網路，達到同時觀察多 人姿態的效果。 本發明之再一目的係提供一種結合時域與小波轉換分 析之人體姿態感測演算法，藉由分析人體姿態感測模組之 三軸加速度計的讀値，可判斷出多種（諸如：跌倒、站、坐、 躺 '上樓、下樓 '走路等）人體姿態。 【發明內容】 本發明之觀點係提供一種多人姿態辨識系統，至少包 含：人體姿態感測模組，其包含：（1)三軸加速度計，用以 1356357 量測人體的加速度訊號；（2)群蜂（Zigbee)晶片，至少包含 傳送及接收暫存器、電壓轉換器及天線，並與微控制器之 介面連結’且提供連線強度及連結品質之資訊，藉以得知 節點之間的連線情形；及（3)微控制器，具有複數個可將該 三軸加速度計之類比訊號轉爲數位訊號之類比/數位轉換 器’並連結於該三軸加速度計與該群蜂晶片之間，用以初 始化該三軸加速度計、控制該三軸加速度計之休眠狀態及 選擇該三軸加速度計之量測範圍，並用以控制該群蜂晶片 之傳送及接收暫存器，以讀取或寫入暫存資料或回報晶片 狀態資訊’此外’該微控制器之複數個類比/數位轉換器可 選擇以10位元或8位元之精確度來取樣；及群蜂（Zigbee) 無線網路發展板’用以作爲群蜂無線感測網路的接收端。 俾藉複數個該人體姿態感測模組與該群蜂無線網路發展 板’可架構成一個可讓複數個該人體姿態感測模組互相溝 通之群蜂無線感測網路。 此外’上述之多人姿態辨識系統更包含電腦監測端或 機器人監測端’用以檢視使用者的姿態，並監控整個網路 中各節點的情況。而上述檢視與監控節點之功能係藉由該 電腦監測端或機器人監測端中所發展之多人監測軟體來控 制’其用以同時紀錄及統計所接收到的人體姿態資訊，以 同時監測多人姿態。 本發明之另一個觀點係提供一種估測人體姿態之方 法’包含：將三軸加速度計之讀値經過訊號前處理步驟， 分離出動態與靜態加速度；及檢查動態加速度中是否存有 -10- 1356357 因跌倒所造成之異常訊號，若無，則分析動態加速度，判 斷人體姿態處於動態或靜態姿態。其中若判斷人體姿態處 於靜態姿態’則由人體軀幹的傾斜角度判斷該人體姿態爲 站、·坐或躺之姿態；反之，若判斷人體姿態處於動態姿態， 則經由步伐偵測及步伐判斷的前處理步驟，偵測有舞步伐 的動作。在上述步伐偵測的步驟中，若偵測到步伐，則將 加速度訊號經過小波轉換，分析一般步行時能量分布頻段 之小波係數，並由該等小波係數計算特徵參數，藉以判斷 該步伐爲走路、上樓或下樓之姿態：若無偵測到步伐，則 將姿態歸類爲運動狀態。 因此’藉由本發明提出之多人姿態辨識系統搭配本發 明之估測人體姿態之方法（人體姿態估測演算法），可成功 辨識包括站、坐、躺、走路、上樓、下樓、跌倒等七種不 同的人體姿態。而透過群蜂（Zigbee)無線感測網路將分析結 果傳至電腦端（或看護機器人端）之人體姿態管理程式作統 計與記錄，將可達到同時監控多人姿態的效果。 爲使本發明之上述和其他目的、特徵及優點能更明顯 易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說 明如下。 【實施方式】 參照第1圖’其爲本發明之人體姿態辨識系統之架構 圖。此姿態辨識系統包含複數個可配戴在使用者身上之人 體姿態感測模組1、群蜂（Z i g b e e)無線網路發展板2及電腦 端（或機器人端）3。其中，本發明利用複數個多個人體姿態 1356357 感測模組1與一個CC2420DBK群蜂無線網路發展板2，而 佈建成一個群蜂無線感測網路。其中該CC2420DBK群蜂無 線網路發展板2可透過RS-232埠與電腦端（或機器人端）3 溝通’並由電腦端（或機器人端）3整合及觀察群蜂無線感測 網路中各節點的資料。 再參照第2與3圖，其爲本發明之三軸加速度計、微 處理器及群蜂晶片（Chipeon CC2420)之方塊圖與控制介面 示意圖’其中微處理器係連結於三軸加速度計與群蜂晶片 之間。可藉由該微控制器12內之接腳PD 2、PD 3及PD 5對 加速度計初始化，其中接腳PD5可控制該三軸加速度計1 1 是否處於休眠狀態，而接腳PD2與PD3係控制該三軸加速 度計1 1之g-選擇1或g-選擇2兩個腳位，以選擇加速度計 1 1之感測範圍。 由於三軸加速度計之輸出爲類比訊號，故在經過低通 濾波器濾波高頻雜訊後，進入該微控制器12之三個A/D轉 換器（A/DO、A/D1及A/D3)。此外，上述之複數個類比/數 位轉換器可選擇以10位元或8位元之精確度來取樣，而爲 便於說明，茲僅例舉以選取8位元之取樣精確度來說明下 述實施例。 此外，第2與3圖的右邊部份係描述本發明之該微控 制器12與群蜂晶片（CC242 0) 13之介面接結示意圖。該微控 制器12透過群蜂晶片13的SPI(CSn、SI、SO及SCLK)介 面而設置群蜂晶片1 3的狀態，並可控制該群蜂晶片1 3的 讀取及寫入之暫存資料、或回報該群蜂晶片1 3之狀態資 -12- 1356357 訊。其中該微控制器12爲主控制器（Master)，所以其接腳 MOSI(Master Output Slave Input )連接該群蜂晶片 13 的輸 入 SI ;接腳 MISO (Master Input Slave Output )係連接該群 蜂晶片13之輸出SO;接腳CSn接SS。在對該群蜂晶片13 執行動作時，接腳CSn必須設爲低電壓，而接腳SCLK則 是該微控制器12供給群蜂晶片13時脈的腳位。該微控制 器12透過接腳S◦與SI可對群蜂晶片發出命令，以讀取或 寫入群蜂晶片1 3中的接收或傳送暫存器，並控制該群蜂晶 片13之資料讀寫。此外，接腳FIFO、FIFOP、SFD、和CCA 係用來告知微控器發收資料的狀態。 本發明將可辨識之人體姿態分爲突發狀況、動態姿態 與靜態姿態等三組姿態，其中突發狀況姿態設爲跌倒姿 態；動態姿態爲走路 '上樓、下樓·，及靜態姿態爲站、坐、 躺。由於加速度計可以量測到由地心引力產生的重力加速 度與由人體產生的動態加速度，其中重力加速度在各軸的 分量可以推算出軀幹的傾斜角度，進而可以推算出相關的 靜態姿態。而動態加速度是由人體的活動所產生，其可用 來判斷走路、上樓、下樓及跌倒等動態姿態。如第4圖所 示’其爲本發明之人體姿態感測演算法之流程圖。在該三 軸加速度奸1 1之讀値經過訊號前置處理後，檢查動態加速 度中是否有由跌倒所造成的異常訊號，若無，則分析動態 加速度，判斷人體處於動態姿態或靜態姿態。若人體處於 靜態姿態’則由軀幹的傾斜角度判斷爲站、坐、躺三種姿 態；若爲動態姿態’則經由步伐偵測及步伐分析前處理的 1356357 步驟，判斷是否有無步伐的動作。若偵測到步伐，則將加 速度訊號經過小波轉換，計算特徵參數，分析一般人類步 行時能量分布的頻段之小波係數，由這些小波係數計算出 本發明所定義的特徵參數，進而可判斷此步伐爲走路、上 樓或下樓之姿態。若無偵測到步伐，則將姿態歸類爲運動 狀態。 由於99 %以上之人體的運動頻率皆小於20Hz，故根據 夏農取樣頻率定理（Shannon sampling theorem)，取樣頻率的 選擇必須大於2倍的來源訊號之頻寬。不過實際應用上往 往需要5〜10倍的來源訊號頻率，因此本發明在此實施例 中採用的取樣頻率爲12 8Hz，採用微控器的Timer之溢位 中斷來控制取樣頻率。 爲了兼顧系統的反應時間及提供足夠的資料量，選擇 每收集兩秒的資料後進行一次姿態演算法的處理流程，即 每25 6筆資料作一次人體姿態辨識。每擷取到25 6筆資料 後，先進行訊號前處理，以分離出動態與靜態加速度。本 發明係利用小波轉換的方式來計算出靜態加速度，因爲所 取的資料有25 6筆，故可以作8層的Haar小波轉換乂經 過轉換後，取最低頻的一層，即代表0〜0.25Hz的小波係 數，並將其還原到時域，其代表此兩秒鐘的DC成分。至 於動態加速度，則是以原始加速度訊號減去靜態加速度訊 號而得到。 第5圖爲步行之三軸加速度訊號、靜態加速度及動態 加速度成份之曲線圖。其中最左邊第一行之曲線圖爲該三 -14- 1356357 • 速度波形大致上是呈現週期性的狀態。故 姿態的週期單位，便可將此週期單位週期 訊號長度，以利於小波轉換。 此外，由第10到12圖亦可看出，這 上樓、下樓）的z軸加速度在每一步啓動時 區域極小値，這個區域極小値可以當作步 每兩個區域極小値之間的訊號，就是受測 生的加速度訊號。由於人類的左右腳發達 '· 同，造成左右腳出力可能會不一致的現象 擷取連續兩步的步伐，即左右腳的步伐各 步伐作爲一個週期，將加速度週期化至5 ' 波轉換計算。 爲了快速找到這個區域極大値的位置 的Z軸方向加速度作平方的動作，使z軸 爲明顯，結果如第1 3圖所示，圖中之區域 開始的位置。接著將第一步中的αζ2訊號 ^ 換，因爲步伐發生的位置具有高頻成分， 轉換後的小波係數找出區域極大値發生的 中所示。由於小波轉換具有時-頻特性，故 區域極大値發生的位置推算出時域中區域 似位置，因而便可快速知道腳步發生的位 望取出兩個步伐（左右腳各一步）之間的時 因此截取第一與第三個區域極大値之間的 析步伐的對象。接著便以ζ軸第一到第三 若能找到這三種 化，得到任意的 三種步伐（走路、 皆有一個明顯的 伐開始的特徵。 者步行一步所產 程度往往不太相 ，因此本實施例 一步。以這兩步 1 2筆資料以供小 ，首先將兩秒間 加速度的變化更 極大値便是步伐 做兩層的小波轉 因此可以由小波 位置，如第14圖 可由小波係數的 極大値發生的近 置。本實施例希 域訊號做分析， 時域訊號作爲分 個區域極大値發 -18- 1356357 生的時間點之y軸及z軸加速度爲週期單位，將ay及az 的資料週期化至5 1 2點，如第15到17圖中所示，而完成 了步伐判斷的前處理程序。 將週期化後的512點的步伐向量作9層的Haar小波轉 換，用以分出各頻段的訊號成分。因爲與人體走路有關的 頻段係分佈在1〜16Hz之間，因此本論文將分佈在1〜16Hz 的頻段之小波係數視爲這三種運動狀態的能量。可由實驗 而觀察到的現象是，因爲上樓有較多的姿態變化，而這些 姿態變化的頻率低於1Hz的範圍，故上樓時的z軸方向（人 體正前方）的能量最小，其佔總能量az的比例也最小。在 此，本發明利用這個觀察到的現象，定義一個特徵參數稱 爲前方能量比例（RTF)。藉由RTF超過某個閥値來分辨出上 樓的姿態，其中該RTF之公式如式（5)中所述： RTF =

(6)

其中A爲Z軸方向之加速度，（爲Z軸方向之小波分解係數。 至於下樓姿態及走路姿態的判斷，因三軸加速度計受到y 軸方向的能量最大（鉛直方向），且z軸方向的受力遠小於 走路’故本發明定義另一個特徵參數：垂直對前方能量比 例（RVF): (7) RVF = -19- 1356357 其中\爲γ軸方向之小波分解係數，4爲z軸方向之小 波分解係數。 由RVF可分辨出下樓與走路姿態。若rvf大於某個閥 値’便可判斷爲下樓。綜合這兩個參數（RTF、RVF)便可以 判斷出走路、上樓與下樓三種姿態，第18圖爲使用者走 路，然後上樓至七樓’接著再下樓返回六樓所記錄的rTF 及RVF兩參數的變化’由此圖可看出RTF在上樓時數値 有顯著變化’而RVF在下樓時數値有顯著的變化。因此在 此實施例中當RTFM5時爲上樓，RVF>4時爲下樓，否則爲 走路’因而判斷出走路、上樓及下樓之姿態。 雖然本發明已以較佳實施例揭露如上，然其並非用以 限定本發明，任何熟悉本技藝之人士，在不脫離本發明之精 神與範圍內，當可做些許之更動與潤飾，例如：本系統可以 星狀、環狀或其它拓墣方式來建構該群蜂無線感測網路，只 要加入的監測人數不超過本發明之多人姿態管理軟體的上 限’且傳送範圍不超過群蜂無線感測網路的範圍，則即可隨 時加入此群蜂無線感測網路；本發明可與具備無線網路及 3G功能之看護機器人整合，透過機器人之人臉追蹤及無線 網路功能進行視訊會議，以即時偵測老人發生跌倒情況，並 利用手機傳送緊急簡訊通知家人，而該機器人並可主動移至 老人身邊，傳送即時影像至遠端PDA(個人數位助理），使家 人或醫師能快速得知老人情況，讓受傷的老人能儘快得到救 援；此外，本發明之人體姿態感測模組可透過其上的I/O 接腳，連接各種不同的感測器（例如可偵測人體通過的人體 -20 - Ϊ356357 紅外線感測器，或者可偵測玻璃是否被擊破的麥克風感測 與振動感測器等），佈建在環境中，當感測器偵測到異常現 象時，看護機器人便可前往事發地點查看，並傳送影像給 家人’使看護機器人不但能提供居家看護功能，也能提供 保全服務。因此本發明之保護範圍當視後附之申請專利範圍 所界定者爲準。 【圖式簡單說明】 第1圖爲本發明之人體姿態辨識系統之架構圖。 第2圖爲本發明之加速度計、微處理器及群蜂晶片 (Chipcon CC2420)之方塊圖。 第3圖爲第2圖之控制介面示意圖。 第4圖爲本發明之人體姿態感測演算法之流程圖。 第5圖爲步行之三軸加速度訊號、靜態加速度及動態 加速度成份之曲線圖。 第6圖爲人體姿態估測模組之配置與重力加速度的關 係。 第7圖爲不同姿態之訊號振幅區域（SMA)之分佈曲線 圖。 第8圖爲測試者在一段時間內跌倒十次之訊號振幅向 量（SMV)最大値（SMV_max)之曲線圖。 第9圖爲人體軀幹傾斜角度與重力加速度之間的關係 示意圖。 第10圖爲走路之三軸加速度之波形圖。 第11圖爲上樓之三軸加速度之波形圖。 -21- 1356357 • 第12圖爲下樓之三軸加速度之波形圖。 第13圖爲走路、上樓、下樓之z軸加速度之平方的波 形圖。 第1 4圖爲利用第二層小波係數找到之的區域極大値 之波形圖。 第15圖爲週期化至512點之走路波形圖。 第16圖爲週期化至512點之上樓波形圖。 第17圖爲週期化至512點之下樓波形圖。 # 第18圖爲由RTF與RVF判斷走路及上下樓之波形圖。 【主要元件 符 號 說 明】 4 人 體 姿 態 感測模組 5 群 蜂 (Zigbee)無線網 路發展板 6 個 人 電 腦 端（機器人 端） 11 二 軸 加 速 度計 12 微 控 制 器 13 群 蜂 晶 片 RF端 -22 -

Claims (1)

1356357 ; . 4 哗年p月丨<f曰修正本 修正本 *—----------1 第96149633號「估測人體姿態之方法」專利申請案 (2011年10月18日修正） 十、申請專利範圍： 1. 一種估測人體姿態之方法，包含： 將三軸加速度計之讀値經過訊號前處理步驟，分離 出動態與靜態加速度；及 檢査動態加速度中是否存有因跌倒所造成之異常訊 號，若無，則分析動態加速度，判斷人體姿態處於動態 或靜態姿態；若判斷人體姿態處於動態姿態，則經由步 伐偵測及步伐判斷的前處理步驟，偵測有無步伐的動作； - 其中，該步伐偵測及步伐判斷的前處理步驟包含： . 使用欲判斷之人體動態姿態的Z軸加速度訊號中的 區域極小値作爲步伐開始的特徵値； 擷取連續兩步的步伐作爲一個週期並將加速度週期 化至預設數量資料以供小波轉換計算； 將該Z軸加速度訊號平方並做兩層的小波轉換；& 藉由小波轉換後之小波係數找出區域極大値發生的 位置’接著推算出時域中區域極大値發生的近似位置。 2. 如申請專利範圍第i項之方法，其中若判斷人體姿態處 於靜態姿態，則由人體軀幹的傾斜角度判斷該人體姿態 爲站、坐或躺之姿態。 3. 如申請專利範圍第2項之方法，其中該人體軀幹的傾斜 角度可藉由加速度計之y感測軸所感測之靜態加速度來 判斷，並藉由下列步驟判斷該人體姿態爲站、坐或躺之 姿態： 1356357 修正本 若符合gwospi^kpcos^^g^cosW) ’則判斷該人體姿態 爲站， 若符合"cos^qwcos⑼ycos(2〇°)，則判斷該人體姿態 爲坐下；及 若符合rcos(0)Sg*cos(6O°)，則判斷該人體姿態爲躺下， 其中客爲地球之重力加速度、0爲地球之重力加速度 與加速度計之y感測軸之夾角、而PCOS(的代表y感測軸 所感測之靜態加速度，其爲地球重力加速度之餘弦分量。 4. 如申請專利範圍第1項之方法，其中若偵測到步伐，.則 將加速度訊號經過小波轉換’分析一般步行時能量分布 頻段之小波係數，並由該等小波係數計算特徵參數’藉 以判斷該步伐爲走路、上樓或下樓之姿態；若無偵測到 步伐，則將姿態歸類爲運動狀態。 5. 如申請專利範圍第1項之方法，其中該訊號前處理步驟 包含： 將一段步行時之三軸加速度訊號設爲原始訊號： 將此原始訊號經由小波轉換後，保留最低頻的小波 係數，經過還原得到靜態加速度訊號；及 以該原始加速度訊號減去該靜態加速度訊號，以得 到動態加速度訊號。 6. 如申請專利範圍第5項之方法，其中該靜態加速度訊號 爲地球的重力加速度之分量。 7. 如申請專利範圍第4項之方法，其中該等特徵參數至少 包含： 1356357 修正本 前方能量比例（RTF)，若超過某個預設門檻値則可判 斷出是否爲上樓之人體姿態：及 垂直對前方能量比例（RVF)，若大於某個預設門檻 値，則可判斷出是否爲下樓之人體姿態。 8. 如申請專利範圍第7項之方法，其中該前方能量比例 (RTF)可以下述公式表示： RTF = JK'lz 6 >=3 ，其中七爲Ζ軸方向之加速度，< 爲ζ軸方向之小波分 解係數。 9. 如申請專利範圍第7項之方法，其中該垂直對前方能量 比例（RVF)可以下述公式表示： ίχ RVF = ^— ΣΧ y=3 ，其中4爲Y軸方向之小波分解係數，4爲z軸方向之 小波分解係數。