JP2015141591A - 歩数計測装置、歩数計測方法及びプログラム - Google Patents

Abstract

【課題】正確に歩数計測を行うことを目的とする。【解決手段】ユーザに携帯される歩数計測装置であって、ユーザの周囲の撮影画像であり、異なるタイミングにおいて撮影された複数の撮影画像に基づいて、歩数計測の開始又は停止を指示する制御手段とを有する。【選択図】図１

Description

本発明は、歩数計測装置、歩数計測方法及びプログラムに関する。

一般に、歩数計は、加速度センサの検出結果から装着者の動作の状態を推定し、その動作の状態によって、加速度センサの歩数計数閾値を設定し、歩数の誤計数を防いでいる。特許文献１には、ユーザが静止中か否かの状態を判定し、静止中に適した閾値と静止中でない場合に適した閾値とを使い分け、歩数の計測の開始、停止を判定する技術が開示されている。

特開２０１０−１１３６４７号公報

しかしながら、加速度センサの計測結果に基づいて、歩数計測の開始及び停止を制御することとすると、歩行と同じ加速度が装置に発生した場合に、誤カウントを防ぐことは難しい。特に、ユーザが乗り物に乗っている時は、乗り物の揺れが歩行と似た揺れになるので誤カウントを起こす可能性が高くなる。

本発明はこのような問題点に鑑みなされたもので、正確に歩数計測を行うことを目的とする。

そこで、本発明は、ユーザに携帯される歩数計測装置であって、ユーザの周囲の撮影画像であり、異なるタイミングにおいて撮影された複数の前記撮影画像に基づいて、歩数計測の開始又は停止を指示する制御手段とを有する。

本発明によれば、正確に歩数計測を行うことができる。

歩数計測装置を示す図である。 歩数計測装置を示す図である。 オプティカルフローを説明するための図である。 制御テーブルの一例を示す図である。 歩数計測処理を示すフローチャートである。 カロリー管理処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態にかかる歩数計測装置を示す図である。歩数計測装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、を有している。歩数計測装置は、さらにインタフェース（Ｉ／Ｆ）部１０７と、撮像部１０９と、歩行検知部１１０と、入力装置１１１と、ＧＰＳ部１１２と、を有している。例えば、歩数計測装置は携帯可能な装置である。例えば歩数計測装置は腕時計のようなブレスレット状の形状である。なお、形状はブレスレット状に限定されるものではなく他の形状であってもよい。また、歩数計測装置はディスプレイ１０５を備えなくともよい。歩数計測装置がディスプレイ１０５を備えない場合には、歩数計測装置を他のディスプレイと接続することで歩数計測装置によって得られた情報を閲覧することができる。
ＣＰＵ１０１は、歩数計測装置全体を制御する。具体的には、ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、画像データや各種プログラム等各種情報を記憶する。
なお、後述する歩数計測装置の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

ディスプレイ１０５は、歩数計測装置の設定や歩数等各種情報を表示する。外部装置１０６は、パーソナルコンピュータや携帯通信機器である。Ｉ／Ｆ部１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信手段によって外部装置１０６と双方向通信を行う。撮像部１０９は、周囲を撮像し、動画を得、動画の画像信号をＣＰＵ１０１に送る。他の例としては、撮像部１０９は、定期的に静止画を撮像してもよい。
歩行検知部１１０は、例えば加速度センサであり、ユーザの動作によって発生する慣性に基づいて、歩数を検知する。そして、歩行検知部１１０は、歩数を検知するための歩行検知データをＣＰＵ１０１に送る。入力装置１１１は、ユーザからの入力を受け付ける。ＧＰＳ部１１２は、ＧＰＳ情報に基づく位置情報を取得する。
ＣＰＵ１０１は、歩行検知データを入力とし、歩数を計測し、計測結果を歩数データとしてＲＡＭ１０３に保存し、Ｉ／Ｆ部１０７を介して外部装置１０６に転送する。また、ＣＰＵ１０１は、撮像部１０９から入力された画像信号を入力とし、後述するアルゴリズムによって歩数計測の停止及び再開を制御する。

図２は、歩数計測装置の機能構成を示す図である。歩数計測装置は、特徴点抽出部２０１と、算出部２０２と、制御テーブル２０３と、制御部２０４と、歩数計測部２０５とを有している。特徴点抽出部２０１は、撮像部１０９により得られた動画中の各フレームを取得し、各フレームから特徴点を抽出する。ここで、特徴点とは、予め定められた特徴を示す、画像座標上の位置である。
図３（ａ）は、連続する２つのフレーム（フレーム１及びフレーム２）を示す図である。特徴点抽出部２０１は、このように連続する２つのフレームそれぞれにおいて特徴点を抽出する。具体的には、特徴点抽出部２０１は、ＳＩＦＴ特徴量やＨａｒｒ‐ｌｉｋｅ特徴量等の既知の技術により特徴点を抽出する。

図２に戻り、算出部２０２は、異なるタイミングにおいて得られた２つのフレームそれぞれにおいて得られた特徴点に基づいて、既知の技術に基づいて、ベクトルの集合であるオプティカルフローを算出する。具体的には、算出部２０２は、各フレームにおいて得られた特徴点近傍の画素を利用してテンプレートマッチングを行い、特徴点同士の対応等から特徴点の移動を追跡する。
図３（ｂ）は、図３（ａ）に示すフレーム１及びフレーム２から特定されたオプティカルフローを示す図である。算出部２０２は、フレーム１の特徴点とフレーム２における対応する特徴点とに基づいて、特徴点の移動のベクトルの集合であるオプティカルフローを算出する。
なお、本実施形態においては、算出部２０２は、連続する２つのフレームからオプティカルフローを算出することとしたが、オプティカルフローを算出する際に利用するフレームは、実施形態に限定されるものではない。他の例としては、算出部２０２は、２フレーム以上離れた２つのフレームに基づいて、オプティカルフローを算出してもよい。また、他の例としては、算出部２０２は、３フレーム以上の数のフレームに基づいてオプティカルフローを算出してもよい。

図２に戻り、算出部２０２はさらに、オプティカルフローに基づいて、ベクトル集合におけるスカラ和とベクトル和を算出する。ここで、ベクトル和は、動きベクトルの方向と大きさを表す値である。ベクトル集合に含まれる動きベクトルの方向が揃っていない場合、動きベクトルは相殺により小さい値となる。一方で、ベクトル集合に含まれる動きベクトルの方向が揃っている場合には、動きベクトルは大きい値となる。ベクトル和は、動きのランダム性を評価するための指標として利用される。
スカラ和は、動きの総量を示す値である。スカラ和は、動きの方向には依存しない値である。スカラ和は、歩数計測装置を携帯するユーザの周囲の風景の変化の程度を評価するための指標として利用される。

制御テーブル２０３は、スカラ和及びベクトル和から、歩数計測の制御内容を決定するためのテーブルである。図４は、制御テーブル２０３の一例を示す図である。制御テーブル２０３は、スカラ和（動き総量）及びベクトル和（動きベクトル）の値と、制御内容とを対応付ける情報である。制御テーブル２０３は、例えばＲＯＭ１０２等に予め格納されているものとする。図４に示す制御テーブル２０３において、動き総量が閾値α以下（閾値以下）であり、かつ動きベクトルが閾値β以下の場合に対し、計数停止の制御内容が対応付けられている。
動き総量がα以下であり、かつ動きベクトルがβ以下の場合は、ユーザが電車等の乗り物の中におり、乗り物の中の様子が撮影されていると推測できるためである。ユーザが乗り物の中にいる場合、周囲の様子の変化が少ないため、動き総量（スカラ和）は小さい値になると推測され、さらに、周囲の乗客が自由に動くことに起因しランダム性が大きくなり、このため動きベクトルは小さい値になると推測される。

また、制御テーブル２０３において、動き総量がαよりも大きく、かつ動きベクトルがβよりも大きい場合に対しても、計数停止の制御内容が対応付けられている。動き総量がαよりも大きく、かつ動きベクトルがβよりも大きい場合、乗り物の外の風景が撮影されたと推測されるためである。乗り物の中から車外の風景が撮影された場合には、風景の変化が大きいことから動き総量及び動きベクトルは共に大きな値になることが推測される。
また、動き総量がα以下であり、かつ動きベクトルがβよりも大きい場合に対し、計数開始の制御内容が対応付けられている。歩行中は、移動方向が一定するため、動きベクトルは大きい値になるが、動き総量は、乗り物に乗っている場合に比べて小さいためである。

また、動き総量がαよりも大きく、かつ動きベクトルがβ以下である場合に対し、計数開始の制御内容が対応付けられている。歩行中であっても周囲に歩行者等が多い場合、周囲の歩行者の動きに起因して動き総量が大きくなるが動きベクトルは、乗り物に乗っている場合に比べて小さいためである。
なお、スカラ和及びベクトル和それぞれと比較される閾値α及びβは、それぞれ予め設定された値であり、ＲＯＭ１０２等に予め格納されているものとする。閾値α及びβは、例えば動きの特徴の実測値を分析することにより決定されるのが好ましい。

制御部２０４は、算出部２０２により算出されたスカラ和及びベクトル和に基づいて、制御テーブル２０３を参照し、歩数計測の開始及び停止を制御する。歩数計測部２０５は、歩行検知部１１０から出力される歩行検知データに基づいて、歩数を計測し、計測結果を例えばＲＡＭ１０３等に記録する。なお、歩数計測部２０５は、歩数の総和データとして計測結果を記録してもよく、計測時刻に対応付けた時系列データとして計測結果を記録してもよい。
ここで、総和データは、歩数の合計を示すデータであり、歩数を１歩、２歩と整数で表すデータである。時系列データは、ある時間に何歩歩いたかを記録し、それを時刻とともに記録したデータである。総和データ又は時系列データは、ディスプレイ１０５に表示される。また、総和データ又は時系列データは、入力装置１１１に入力されたユーザからの指示に応じて、外部装置に出力される。

歩数計測部２０５はさらに、制御部２０４からの指示に従い、歩数計測を開始又は停止する。歩数計測部２０５は、総和データとして計測結果を記録する場合には、開始指示を受け付けた場合に、歩数の総和演算を開始し、停止指示を受け付けた場合に、歩数の総和演算を停止する。
また、歩数計測部２０５は、時系列データとして計測結果を記録する場合には、歩数と時刻とを対応付けたデータに対し、開始又は停止を示す情報と開始又は停止の指示を受け付けた時刻とを対応付けたデータを追加すればよい。すなわち、歩数計測部２０５は、歩数の総和演算の停止及び再開の処理は行わなくてもよい。

なお、本実施形態における歩数計測装置においては、図２の各機能は、ソフトウェアにより実現されるものとするが、他の例としては、図２の各機能は、それぞれ異なるハードウェアにより実現されてもよい。

図５は、歩数計測装置による歩数計測処理を示すフローチャートである。歩数計測処理が開始されると、Ｓ５００において、ＣＰＵ１０１は、撮像部１０９に対し撮像開始を指示する。これに対応し、撮像部１０９は、歩数計測装置を携帯するユーザの周囲の撮像を開始し、得られた動画をＣＰＵ１０１に入力する。次に、Ｓ５０１において、特徴点抽出部２０１は、取得したフレームの特徴点を抽出する。ここで、Ｓ５０１の処理は、抽出処理の一例である。
次に、Ｓ５０２において、特徴点抽出部２０１は、抽出した特徴点をフレームに対応付けてＲＡＭ１０３等に保存する。次に、Ｓ５０３において、算出部２０２は、処理対象のフレームの前フレームがＲＡＭ１０３に保存されているか否かを確認する。算出部２０２は、前フレームが保存されている場合には（Ｓ５０３でＹｅｓ）、処理をＳ５０４へ進める。算出部２０２は、前フレームが保存されていない場合には（Ｓ５０３でＮｏ）、歩数計測処理を終了する。なお、前フレームが保存されていない場合とは、処理対象のフレームが動画の最初のフレームである場合である。

Ｓ５０４において、算出部２０２は、処理対象のフレームの特徴点と、前フレームの特徴点とに基づいて、オプティカルフローを算出する。次に、Ｓ５０５において、算出部２０２は、オプティカルフローに基づいて、ベクトル集合のスカラ和とベクトル和を算出する。なお、Ｓ５０５の処理は、集合算出処理の一例である。
次に、Ｓ５０６において、制御部２０４は、Ｓ５０５における算出結果に基づいて、制御テーブル２０３を参照し、制御内容を決定する。制御部２０４は、制御内容が開始である場合（Ｓ５０６でＹｅｓ）、処理をＳ５０７へ進める。制御部２０４は、制御内容が停止である場合（Ｓ５０６でＮｏ）、処理をＳ５０８へ進める。
Ｓ５０７において、制御部２０４は、歩数計測部２０５に対し計数開始を指示する。Ｓ５０８において、制御部２０４は、歩数計測部２０５に対し、計数停止を指示する。ここで、Ｓ５０７及びＳ５０８の処理は、制御処理の一例である。なお、歩数計測部２０５は、制御部２０４からの計数開始又は計数停止の指示に従い、歩数計測を開始又は停止する。以上で、歩数計測処理は終了する。

以上のように、本実施形態にかかる歩数計測装置は、加速度センサにより移動中と判断された場合に、歩行中なのか、乗り物に乗って移動中であるのかを判別することができる。したがって、歩数計測装置は、正確な歩数計測を行うことができる。
なお、歩数計測装置は、歩行検知部１１０により得られた歩数検知データに対応する撮影画像を取得できればよく、そのための構成は、実施形態に限定されるものではない。他の例としては、歩数計測装置は、歩数計測装置を携帯するユーザが、歩数計測装置と共に携帯する撮影装置から撮影画像を取得することとしてもよい。
また、歩数計測装置は、撮像部１０９により得られた複数の撮影画像間の変化の程度に応じて歩数計測の開始又は停止を制御すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、歩数計測装置は、特徴点を利用することなく、複数の撮影画像それぞれの画素の差分に基づいて、歩数計測の開始又は停止を制御してもよい。

さらに、本実施形態にかかる歩数計測装置は、ユーザのカロリー管理を行う。図６は、歩数計測装置による、カロリー管理処理を示すフローチャートである。なお、処理の前提として、歩数計測装置は、入力装置１１１や外部装置１０６から、ユーザの基礎代謝及び摂取カロリー等の情報を取得しているものとする。
Ｓ６００において、ＣＰＵ１０１は、１日分の歩数の計測結果のデータを取得する。次に、Ｓ６０１において、ＣＰＵ１０１は、１日に歩いた総歩数に基づいて、１日の消費カロリーを算出する。なお、消費カロリーを算出する処理については、既知の技術を用いることができる。消費カロリーを算出処理については、例えば、特開２０１２−１７９２３１号公報を参照することができる。

次に、Ｓ６０２において、ＣＰＵ１０１は、摂取カロリーを取得する。なお、摂取カロリーは、入力装置１１１を介してユーザにより入力されているものとする。他の例としては、歩数計測装置は、撮像部１０９によって撮像されたユーザの食事画像から摂取カロリーを推定してもよい。なお、この処理については、下記文献等を参照することができる。
「食事画像からのカロリー推定 複数の低次特徴に基づく辞書照合と重回帰分析によるアプローチ」画像の認識・理解シンポジウム「ＭＩRU2011」, IS1-14, pp.170-176, July 20-22, 2011
次に、Ｓ６０３において、ＣＰＵ１０１は、消費カロリー、摂取カロリー及び基礎代謝に基づいて、（式１）により差分カロリーを算出する。すなわち、ＣＰＵ１０１は、摂取カロリーから基礎代謝と消費カロリーとを引いたものを差分カロリーとして算出する。ここで、Ｓ６０３の処理は、カロリー算出処理の一例である。
（差分カロリー）
＝（摂取カロリー）−[（消費カロリー）＋（基礎代謝）] …（式１）

次に、Ｓ６０４において、ＣＰＵ１０１は、差分カロリーと閾値とを比較する。ＣＰＵ１０１は、差分カロリーが閾値以上の値である場合には（Ｓ６０４でＹｅｓ）、処理をＳ６０５へ進める。ＣＰＵ１０１は、差分カロリーが閾値未満の値である場合には（Ｓ６０４でＮｏ）、処理をＳ６０７へ進める。本実施形態においては、閾値を０とするが、閾値の値は任意に設定可能である。閾値は、例えばＲＯＭ１０２等に予め格納されているものとする。
Ｓ６０５において、ＣＰＵ１０１は、ディスプレイ１０５に太ると表示する。次に、Ｓ６０６において、ＣＰＵ１０１は、差分カロリーに基づいて、ユーザが、乗り物での移動に替えて、歩くべき時間、すなわち減らすべき乗車時間を算出し、これを痩せるための条件として、ディスプレイ１０５に表示する。
具体的には、ＣＰＵ１０１は、（式２）により、差分カロリーを消費するための必要歩数を算出する。
（必要歩数）
＝（差分カロリー）／（１歩当たりの消費カロリー） …（式２）

次に、ＣＰＵ１０１は、（式３）により、必要歩数分の歩行のために減らすべき乗車時間を算出する。
（減らすべき乗車時間）
＝[（必要歩数）＊（歩幅）]／[（乗車距離）／（乗車時間）] …（式３）
ここで、１歩当たりの消費カロリー、歩幅乗車距離及び乗車時間は、ユーザから入力されるものとする。また、歩幅は、例えば、特開２０１０−２１６９８７号公報に記載の技術等既知の技術によりＲＡＭ１０３等に設定されてもよい。

なお、Ｓ６０６において表示される内容は実施形態に限定されるものではない。他の例としては、ＣＰＵ１０１は、必要歩数を表示してもよい。このように、ＣＰＵ１０１は、太ると表示するだけでなく、さらに痩せるための条件を表示することができる。
一方、Ｓ６０７において、ＣＰＵ１０１は、ディスプレイ１０５に痩せると表示する。以上で、カロリー管理処理が終了する。このように、本実施形態の歩数計測装置は、乗り物への乗車中と、歩行中とを精度よく判別することができるだけでなく、歩数計測装置のユーザに対し、歩数だけでなく、より多くの情報を提供することができる。

実施形態にかかる歩数計測装置の変更例について説明する。歩数計測装置は、さらに、ＧＰＳ部１１２が取得した位置情報に基づいて、歩数計測の開始及び停止を制御してもよい。本例にかかる歩数計測装置は、ＲＯＭ１０２等に、バスの路線図、電車の線路図等交通機関の移動経路を示す路線情報を格納している。
そして、本例にかかる歩数計測装置の制御部２０４は、スカラ和及びベクトル和に加えて、位置情報に基づいて、歩数計測の開始又は停止を指示する。具体的には、歩数計測装置の制御部２０４は、位置情報と、路線情報と、に基づいて、ユーザ位置が交通機関の移動経路上か否かを判断する。そして、制御部２０４は、ユーザ位置が移動経路上である場合、乗り物に乗っていると判断し、歩数計測を停止する。一方、制御部２０４は、ユーザ位置が移動経路上でない場合、歩行中と判断し、歩数計測を開始する。

これにより、歩数計測装置は、スカラ和及びベクトル和と、制御テーブル２０３に基づいて、誤って乗り物と判断された場合であっても、位置情報に基づく判断により、歩行中に修正するなど、より高精度に歩行中か否かを判断することができる。
制御部２０４はさらに、加速度センサや、位置情報の時系列データに基づいて、ユーザの移動速度を算出してもよい。この場合には、移動経路上か否かの条件に加えて、移動速度が閾値以上の場合に、乗り物に乗っていると判断してもよい。これにより、歩数計測装置は、ユーザが交通機関の移動経路上を歩行中の場合においても、正しく歩数計測を行うことができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、正確に歩数計測を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ ＣＰＵ、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ ＨＤＤ、１０５ ディスプレイ、１０９ 撮像部、１１０ 歩行検知部、１１１ 入力装置、１１２ ＧＰＳ部

Claims (13)

1. ユーザに携帯される歩数計測装置であって、
   ユーザの周囲の撮影画像であり、異なるタイミングにおいて撮影された複数の前記撮影画像に基づいて、歩数計測の開始又は停止を指示する制御手段と
   を有する歩数計測装置。
2. 前記制御手段は、前記複数の前記撮影画像間の変化の程度に応じて、前記歩数計測の開始又は停止を指示する請求項１に記載の歩数計測装置。
3. 前記複数の撮影画像それぞれにおいて特徴点を抽出する抽出手段を更に備え、
   前記制御手段は、前記特徴点に基づいて歩数計測の開始又は停止を指示する請求項１に記載の歩数計測装置。
4. 前記特徴点に基づいて、前記撮影画像の動きベクトルの集合のスカラ和及びベクトル和を算出する集合算出手段をさらに有し、
   前記制御手段は、前記スカラ和及び前記ベクトル和に基づいて、前記歩数計測の開始又は停止を指示する請求項３に記載の歩数計測装置。
5. 前記制御手段は、前記スカラ和が第１閾値よりも大きく、前記ベクトル和が第２閾値以下の場合に、前記歩数計測の開始を指示する請求項４に記載の歩数計測装置。
6. 前記制御手段は、前記スカラ和が第１閾値以下であり、かつ前記ベクトル和が第２閾値よりも大きい場合に、前記歩数計測の開始を指示する請求項４又は５に記載の歩数計測装置。
7. 前記制御手段は、前記スカラ和が第１閾値以下であり、かつ前記ベクトル和が第２閾値以下である場合に、前記歩数計測の停止を指示する請求項４乃至６何れか１項に記載の歩数計測装置。
8. 前記制御手段は、前記スカラ和が第１閾値よりも大きく、かつ前記ベクトル和が第２閾値よりも大きい場合に、前記歩数計測の停止を指示する請求項４乃至７何れか１項に記載の歩数計測装置。
9. 前記歩数計測装置の位置を特定する特定手段をさらに有し、
   前記制御手段は、前記位置と前記複数の撮影画像とに基づいて、前記歩数計測の開始又は停止を指示する請求項１乃至８何れか１項に記載の歩数計測装置。
10. 前記制御手段は、前記位置が交通機関の移動経路上の位置か否かに基づいて、前記歩数計測の開始又は停止を指示する請求項９に記載の歩数計測装置。
11. ユーザの摂取カロリーを取得する取得手段と、
    前記歩数計測の結果に基づいて、前記ユーザの消費カロリーを算出するカロリー算出手段と
    を有する請求項１乃至１０何れか１項に記載の歩数計測装置。
12. ユーザに携帯される歩数計測装置が実行する歩数計測方法であって、
    ユーザの周囲の撮影画像であり、異なるタイミングにおいて撮影された複数の前記撮影画像に基づいて、歩数計測の開始又は停止を指示する制御ステップと
    を含む歩数計測方法。
13. ユーザに携帯される歩数計測装置のコンピュータを、
    ユーザの周囲の撮影画像であり、異なるタイミングにおいて撮影された複数の前記撮影画像に基づいて、歩数計測の開始又は停止を指示する制御手段と
    して機能させるためのプログラム。

Images