JP2017014867A - 路面状況理解システム、路面状況理解方法、路面状況理解プログラム - Google Patents

Abstract

【課題】高精度かつピンポイントに路面状況を把握できるシステム、方法、プログラムを提供する。【解決手段】携帯デバイス１００の歩行データ収集部１１０は各センサデバイスのセンサデータを収集し、測位部１２０は携帯デバイス１００の測位情報を収集し、収集された各情報はそれぞれタイムスタンプと併せて情報処理装置９０の歩行データ蓄積部１３０，測位データ蓄積部１８０に記録される。歩行ステップ認識部１４０は、蓄積部１３０の記録データに基づき人が歩行する際の個々の足の運びを示す歩行ステップを認識する。歩行データセグメント化部１５０は、前記認識情報をセグメント化して歩行ステップと対応付けられる歩行データを特定する。ステップ分析部１６０は、前記歩行データを路面状況に対応付ける形で分類し、歩行データ分析結果蓄積部１７０に記録する。位置別路面状況理解部１９０は、前記両蓄積部１７０，１８０に基づき路面状況を把握する。【選択図】図１

Description

本発明は、例えばスマートフォンなどの携帯デバイスを用いて実世界の路面状況を理解（把握）する技術に関する。

周知のようにスマートフォンなどの携帯デバイスには、数多くのセンサデバイスが組み込まれている。このセンサデバイスを用いて路面状況を理解しようとする取組（手法）を紹介する。

まず、自動車に設置されたスマートフォンを用いて、路面の段差の有無や道路状況（例えば舗装路・砂利道など）を検知しようとする非特許文献１，２の取組が挙げられる。この取組は、自動車に設置されたスマートフォンの加速度センサの取得情報を元に段差の有無や道路状況を推定し、同時に測定した測位情報とともに関連付けし、どの場所がどのような路面状況であるのかを把握しようとする。

つぎに別の取組として、人の持つスマートフォンなどの情報を元に人の行動（立つ・座る・歩行など）を理解しようとする非特許文献３の取組が挙げられる。このとき「立つ」・「座る」・「歩行」などの行動の認識だけでは路面状況を把握できないものの、「階段を上がる」，「階段を下りる」という行動を認識することで、その場所に階段があることを路面状況として認識することが可能となる。

野村智洋，牧野友哉，白石陽 "快適な運転支援のためのスマートフォンを用いた路面状況の推定手法の提案" 情報処理学会第７５回全国大会，５ｖ−６，２０１３ 八木浩一 "スマートフォンを活用した路面段差観測手法と東北地方太平洋沖地震後の路面段差分布の調査結果" 第２９回日本道路会議，２０１１ Jennifer R.Kwapisz,Gary M.Weiss,Samuel A.Moore "Activity Recognition using Cell Phone Accelerometers",in Proc.of SensorKDD,2010

しかしながら、非特許文献１，２のように自動車に設置したスマートフォンを用いる手法には、例えば歩道や屋内などの自動車が走ることができない場所については情報を収集することができないという問題があった。

この問題については、非特許文献３のようにスマートフォンを持つ人の行動を理解するアプローチで解決することは可能と考えられるが、現在の行動認識の取組を活用するには問題がある。

すなわち、これまでの行動認識の取組は、図７に示すように、センサデバイスのセンサデータを特定の時間窓の区間に切り出し、時間的に継続した人の行動（例えば１０秒間の行動など）を把握しようとする。

そうすると、ピンポイントで段差や路面状況を理解するには別の処理が必要と考えられる。あるいは時間的に継続した行動を把握しようとすることは、僅かなタイミングでしか生じない段差を越えたという行動などを把握することはそもそも困難とも考えられる。

本発明は、このような従来の問題を解決するためになされ、高精度かつピンポイントな路面状況の把握を図ることを解決課題としている。

そこで、本発明は、センサデバイスのセンサデータの情報から人が歩行する際の個々の足運びを示す歩行ステップを認識し、さらに該歩行ステップに紐づくセンサデータを特定する。ここで特定された個々のセンサデータに対して、歩行ステップの種別（例えば段差を上る，段差を下る，傾斜を上るなど）を把握する。

本発明に係る路面状況理解システムは、携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集手段と、前記センサデータ収集手段で記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識手段と、前記歩行ステップ認識手段で認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定手段と、前記歩行データ特定手段で特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析手段と、を備える。

本発明に係る路面状況理解方法は、携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集ステップと、前記センサデータ収集ステップで記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識ステップと、前記歩行ステップ認識ステップで認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定ステップと、前記歩行データ特定ステップで特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析ステップと、を有する。

なお、本発明は、前記路面状況理解システムとしてコンピュータを機能させるプログラムの態様としてもよい。このプログラムは、ネットワークや記録媒体などを通じて提供することができる。

本発明によれば、高精度かつピンポイントに路面状況を把握することができる。

本発明の実施形態に係る路面状況理解システムの機能構成図。 同 処理フロー図。 同 歩行ステップ認識の一例を示す図。 同 歩行データ蓄積部のデータ例。 同 歩行データ分析結果蓄積部のデータ例。 同 測位データ蓄積部のデータ例。 非特許文献３の認識対象の時間窓の例。

≪システム構成例≫
図１に基づき本発明の実施形態に係る路面状況理解システムの機能構成例を説明する。この路面状況理解システム１０は、複数の携帯デバイス１００と、該各携帯デバイス１００とインターネット経由でデータ送受信可能に接続された情報処理装置９０とを主体に構成されている。

この携帯デバイス１００は、例えばスマートフォンなどの所持可能な携帯端末であればよい。具体的には携帯デバイス１００は、歩行に関わる各種センサの出力情報（センサデータ）を歩行データとして取得する歩行データ収集部１１０と、携帯デバイス１００の測位情報（位置情報）を取得する測位部１２０と、該両者１１０，１２０の取得情報を記憶可能な記憶領域とを備える。この記憶領域１０１は、携帯デバイス１００のストレージに構築されている。

情報処理装置９０は、コンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＣＰＵ,主記憶装置（ＲＡＭ，ＲＯＭなど），補助記憶装置（ＨＤＤやＳＳＤなど）を備える。

このハードウェアリソースとソフトウェアリソースとの協働の結果、情報処理装置９０は、歩行データ蓄積部１３０，歩行ステップ認識部１４０，歩行データセグメント化部１５０，ステップ分析部１６０，歩行データ分析結果蓄積部１７０，測位データ蓄積部１８０，位置別路面状況理解部１９０を実装する。

ここでは前記各蓄積部１３０，１７０，１８０は、前記記憶装置に構築されているものとする。この蓄積部１３０，１８０には、携帯デバイス１００から送信された前記各部１１０，１２０の収集データが蓄積される。この両蓄積データに基づき路面状況を理解（把握）する処理が実行される。

なお、情報処理装置９０は、単一のコンピュータにより構成してもよく、あるいはコンピュータ群に前記各部１３０〜１９０を分散して構成してもよい。

≪処理内容≫
図２に基づき路面状況理解システム１０の処理内容を説明する。

Ｓ０１：ユーザの携帯デバイス１００の操作もしくは携帯デバイス１００を所持したユーザの歩行などの自動検知を起点に処理が開始される。このとき歩行データ収集部１１０で各種センサのセンサデータを収集し、また測位部１２０で測位情報を収集する。

この歩行データ収集部１１０と測位部１２０とは、共に携帯デバイス１００に組み込まれたハードウェアもしくはソフトウェアとして実現されている。この歩行データ収集部１１０は、動きを検知する慣性センサであればよく、例えば加速度センサ，ジャイロセンサ（角速度センサ），歩行検知センサなどのセンサデバイスを用いることができ、これらのセンサデバイスのセンサデータを歩行データとして収集する。

また、測位部１２０は、ＧＰＳなどの衛星電波を用いた測位手段や「Ｗｉ−Ｆｉ」電波を用いた測位手段やそれらの組み合わせなどで実現され、こられにより測位情報（位置情報）が収集される。

Ｓ０２：携帯デバイス１００は、Ｓ０１で収集された歩行データをタイムスタンプおよび識別情報と結び付ける。すなわち、前記センサの出力するセンサデータ、即ち歩行データはタイムスタンプおよび識別情報と関連付けられ、その際の識別情報としては例えば携帯デバイス１００の端末ＩＤを用いることができる。

ここで関連付けられた歩行データは、必要に応じて記憶領域１０１に記憶され、携帯デバイス１００の通信機能により情報処理装置９０に送信される。このとき情報処理装置９０の受信した情報は、歩行データ蓄積部１３０に記録されて蓄積される。図３に基づき一例を説明すれば、歩行データ蓄積部１３０には端末ＩＤ毎にタイムスタンプの情報と、加速度センサＸ〜Ｚの情報（図３中の加速度Ｘ〜Ｚ）と、ジャイロセンサＸ〜Ｚの情報（同ジャイロＸ〜Ｚ）が記録されている。

Ｓ０３：携帯デバイス１００は、Ｓ０１で取得した測位情報をタイムスタンプおよび識別情報と結び付ける。すなわち、測位部１２０の測位情報は、タイムスタンプおよび識別情報と関連付けられ、その際の識別情報としてはＳ０２と同じく携帯デバイス１００の端末ＩＤを用いることができる。

ここで関連付けられた測位情報は、必要に応じて記憶領域１０１に記憶され、携帯デバイス１００の通信機能により情報処理装置９０に送信される。このとき情報処理装置９０の受信した情報は、測位データ蓄積部１８０に記録されて蓄積される。図４に基づき一例を説明すれば、測位データ蓄積部１８０には端末ＩＤ毎にタイムスタンプの情報・緯度情報・経度情報が記録されている。

この図４のデータ例は、屋外を想定しているため、測位情報として緯度と経度の情報が記録されている。一方、屋内の測位情報としては、例えば施設名や施設内部での場所を示す情報を記録することができる。

Ｓ０４：歩行ステップ認識部１４０は、歩行データ蓄積部１３０から連続的な歩行に関わる歩行データを取得する。ここで取得された歩行データから人の歩の歩みに相当する歩行ステップが発生したタイムスタンプを特定する。

その際、歩行データを分析して歩行する際の個々の足の運びである歩行ステップを認識する。この認識の一例としては、図５に示すように、前記歩行データ中のセンサデータのピークが起こる間隔を特定して歩行ステップを認識する方法や、携帯デバイス１００に備え付けられている図示省略の歩行認識センサから得られる情報を元に歩行ステップを認識する方法などでよい。

このように認識された歩行ステップが発生したタイムスタンプを特定し、特定されたタイムスタンプをその歩行データと併せて歩行データセグメント部１５０に送る。

Ｓ０５：歩行データセグメント化部１５０は、Ｓ０４で送られた歩行データに基づき個々の歩行ステップと対応付けられる歩行データを特定する。すなわち、Ｓ０４で送られたタイムスタンプから歩行ステップのタイミングを特定し、該特定されたタイミングと歩行データとを元に、歩行データを歩行ステップと関連付けた形でセグメント化する。

例えば歩行ステップが認識されたタイムスタンプを開始点として、次の歩行ステップが認識されたタイムスタンプを終了点として、その区間の歩行データを一つのセグメントとする。このセグメントを歩行ステップに関連づく歩行データとみなし、これをセグメント化された歩行データとする。

その他に歩行データを分析して得られるデータの周期性を元に、歩行データをセグメント化し、該セグメントに内包するタイムスタンプの歩行ステップと関連付けることなどもできる。また、非特許文献３の移動窓を用いて個々の歩行ステップに対応する歩行データを複数用意することも考えられる。

さらに携帯デバイス１００の配置場所によっては、右足と左足の歩行ステップでセンサ情報、即ち歩行データに違いがみられる場合も想定される。その場合には２ステップ毎に歩行データをセグメント化することも考えられる。なお、セグメント化された歩行データはステップ分析部１６０に送られる。

Ｓ０６：ステップ分析部１６０は、Ｓ０５のセグメント化された歩行データを路面状況に対応する形の分類体系に分類する。例えばセグメントとして区切られた個々の歩行データが、平地を歩いたもの、傾斜面を歩いたもの、段差を歩いたものなどの路面状況に対応付ける形で分類する。

このときＳ０５のセグメント化された歩行データを特徴づける特徴量を抽出し、ルールベースもしくは教師あり学習の枠組みで分類を行う。この特徴量としては、例えば
（１）方向別加速度の平均値，標準偏差
（２）全体的な加速度の大きさ
（３）前後の加速度ピークとの間隔
を利用することができる。

この分類結果は、携帯デバイス１００の端末ＩＤと併せて歩行分析結果蓄積部１７０に出力される。この歩行分析結果蓄積部１７０には、歩行データを識別するための識別データと、該データに対する分析結果とが記録される。

図６に基づき一例を説明すれば、識別データとしては歩行データ（センサデータ）を取得した携帯デバイス１００の端末ＩＤと、該歩行データ取得時のタイムスタンプの開始点および終了点が記録される。また、分析結果としては、ステップ分析部１６０の分類結果「段差あり，平地，段差下りなど」が記録される。

Ｓ０７：位置別路面状況理解部１９０は、問い合わせに応じて歩行データ分析結果蓄積部１７０の蓄積データと測位データ蓄積部１８０の蓄積データとを統合し、場所ごとの路面状況を求めて出力する。ここでは前記両蓄積部１７０，１８０の蓄積データを組み合わせ、どの場所がどのような路面状況であるかを把握し集計する。

例えばバッチ処理を行うことで路面状況を把握できる路面状況付き地図を生成することができる。また、オンライン処理により今後進む予定の方向の路面状況を特定し、特定された路面状況をユーザに携帯デバイス１００を通じて提示することもできる。

その結果、路面状況理解システム１０によれば、スマートフォンなど携帯デバイス１００のセンサデータを活用して段差の有無などの路面状況を高精度かつピンポイントに特定し、ユーザに提示することができる。

このとき測位データ蓄積部１８０の蓄積データを併せて活用しているため、何処にどの様な路面状況が存在するかという地理的情報を組み合わせた路面状況の特定が可能となっている。

したがって、路面状況の調査において、派遣型の現地調査を行わずとも、車いすなどが通ることが困難な段差や階段の存在を把握することができる。これによりバリヤフリーな経路のナビゲーションなどハンディキャップを持ったユーザが快適に移動可能なナビゲーションサービスの実現に貢献することができる。

≪その他、プログラム等≫
本発明は、上記実施形態に限定されるものではなく、各請求項に記載された範囲内で変形して実施することができる。例えば情報処理装置９０の各部１３０〜１９０の一部もしくは全部として、コンピュータを機能させるプログラムとして構成することもできる。

このプログラムによれば、Ｓ０１〜Ｓ０７の一部あるいは全部をコンピュータに実行させることが可能となる。このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，ＢＤ−ＲＯＭ，ＢＤ−Ｒ，ＢＤ−ＲＥなどの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

１０…路面状況理解システム
９０…情報処理装置
１００…携帯デバイス
１０１…記憶領域
１１０…歩行データ収集部（歩行データ収集手段）
１２０…測位部
１３０…歩行データ蓄積部
１４０…歩行ステップ認識部（歩行ステップ認識手段）
１５０…歩行データセグメント化部（歩行データ特定手段））
１６０…歩行ステップ分析部（歩行データ分析手段）
１７０…歩行データ分析結果蓄積部
１８０…測位データ蓄積部
１９０…位置別路面状況理解部（位置別路面状況理解手段）

Claims (7)

1. 携帯デバイスを用いて実世界の路面状況を理解するシステムであって、
   前記携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集手段と、
   前記センサデータ収集手段で記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識手段と、
   前記歩行ステップ認識手段で認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定手段と、
   前記歩行データ特定手段で特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析手段と、
   を備えることを特徴とする路面状況理解システム。
2. 前記センサデータ収集手段は、前記センサデータを前記タイムスタンプと併せて記録する一方、
   前記歩行データ特定手段は、前記タイムスタンプに基づき前記歩行ステップのタイミングを特定し、
   該特定されたタイミングに基づき前記歩行データを個々の前記歩行ステップと関連付けた形でセグメント化する
   ことを特徴とする請求項１記載の路面状況理解システム。
3. 前記携帯デバイスの測位情報を収集する測位部と、
   前記測位部の収集情報を前記タイムスタンプと関連付けて記録する測位データ蓄積部と、
   前記測位データ蓄積部の記録情報と、前記歩行データ分析手段の分類結果とに基づき路面状況を把握する位置別路面状況理解手段と、
   をさらに備えることを特徴とする請求項１または２のいずれか１項に記載の路面状況理解システム。
4. 携帯デバイスを用いて実世界の路面状況を理解するシステムの実行する路面状況理解方法であって、
   前記携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集ステップと、
   前記センサデータ収集ステップで記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識ステップと、
   前記歩行ステップ認識ステップで認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定ステップと、
   前記歩行データ特定ステップで特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析ステップと、
   を有することを特徴とする路面状況理解方法。
5. 前記センサデータ収集ステップにおいて、前記センサデータを前記タイムスタンプと併せて記録する一方、
   前記歩行データ特定ステップにおいて、前記タイムスタンプに基づき前記歩行ステップのタイミングを特定し、
   該特定されたタイミングに基づき前記歩行データを個々の前記歩行ステップと関連付けた形でセグメント化する
   ことを特徴とする請求項４記載の路面状況理解方法。
6. 前記携帯デバイスの測位情報を収集し、収集された測位情報を前記タイムスタンプと関連付けて測位データ蓄積部に記録する測位データ収集ステップと、
   前記測位データ蓄積部の記録情報と、前記データ分析手順での分類結果とに基づき路面状況を把握する位置別路面状況理解ステップと
   をさらに有することを特徴とする請求項４または５のいずれか１項に記載の路面状況理解方法。
7. 請求項１〜３のいずれか１項に記載の路面状況理解システムとして、コンピュータを機能させることを特徴とする路面状況理解プログラム。

Images