JP2020140743A

JP2020140743A - 歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラム

Info

Publication number: JP2020140743A
Application number: JP2020103228A
Authority: JP
Inventors: 浩之戸田; Hiroyuki Toda; 結城遠藤; Yuki Endo; 澤田　宏; Hiroshi Sawada; 宏澤田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-06-15
Filing date: 2020-06-15
Publication date: 2020-09-03
Anticipated expiration: 2036-06-22
Also published as: JP7036154B2

Abstract

【課題】ユーザの歩行状態に応じた路面状況を精度よく認識できる。【解決手段】系列データ抽出部２６が、ユーザが携帯する携帯デバイス１２に備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、出力値の系列を表す系列データを抽出する。単位データ抽出部２８が、系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。ラベル生成部３０が、入力された、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、単位データ毎に、ユーザの歩行状態の種別を表すラベルを付与する。学習部３４が、単位データの各々と、ラベル生成部３０によって単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習する。【選択図】図１

Description

本発明は、歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラムに関する。

数多くのセンサデバイスが組み込まれたスマートフォンの普及以来、携帯型のセンサデバイスを用いて路面の状況を理解しようとするいくつかの取組がある。

一つの取組として、自動車に設置されたスマートフォンを用いて、路面の段差や、舗装路であるのか砂利道であるのか等の道路の状況を検知しようとする取組がある（非特許文献１、及び非特許文献２参照）。これらの取組では、自動車に設置されたスマートフォンの加速度センサの情報を元に、段差や路面状況を推定し、同時に測定した測位情報とともに関連付けることで、どの場所がどのような路面状況であるのかを把握しようとするものである。

また、別の取組として、人の持つスマートフォン等の情報を元に人の行動（立つ、座る、歩行など）を理解しようとする取組がある（非特許文献３参照）。立つ、座る、歩行の認識だけでは路面状況の把握とはつながらないが、階段を上る、階段を下るという行動を認識することで、その場所に階段があることを把握することが可能となる。

野村智洋ら，"快適な運転支援のためのスマートフォンを用いた路面状況の推定手法の提案"，情報処理学会第5回全国大会，2013. 八木浩一，"スマートフォンを活用した路面段差観測手法と東北地方太平洋沖地震後の路面段差分布の調査結果"，第9回日本道路会議，2011. Jennifer R. Kwapisz, Gary M. Weiss, Samuel A. Moore, "Activity Recognition using Cell Phone Accelerometers", in Proc. of Sensor KDD, 2010.

しかし、上記の従来技術には以下の未解決の点がある。

自動車に設置したスマートフォンを用いる手段では、当然ながら自動車が走ることができない場所、例えば歩道や屋内等の情報を収集することができない。

この場所の問題については、スマートフォンを持つ人の行動を理解するアプローチを考えることで解決することも可能と考えられるが、現在の行動認識の取組を活用するには課題があると考えられる。その一つはこれまでの行動認識の手法は、センサデータを図１３に示すような特定の時間窓の区間に切り出し、時間的に継続した人の行動（例えば１０秒間の行動など）を把握する手段となっており、ピンポイントで段差や路面状況を理解しようとした場合には、別の処理が必要になると考えられる。また時間的に継続した行動を把握しようとすることで、わずかなタイミングでしか生じない段差を超えたという行動などを把握することはそもそも困難と考えられる。

また、図１４に示すように、センサデータの情報を個々の歩みに対応する区間に分割し、その区間に対して、センサデータから人の行動を認識する手法をとることが考えられる。しかし、個人差やセンサの設置場所差によるセンサ情報の異なりや、歩行状態によりセンサデータの系列に揺れが生じることなどが原因で、個々の歩みに対応する区間への分割が困難となる場合も多く、結果的に判定精度が低下するという問題が考えられる。

本発明は、上記問題点を解決するために成されたものであり、ユーザの歩行状態を精度よく推定することができる歩行状態学習方法、歩行状態推定方法、装置、及びプログラムを提供することを目的とする。

また、ユーザの歩行状態に応じた路面状況を精度よく認識することができる路面状況理解方法、装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る歩行状態学習方法は、系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、ラベル生成部が、入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するステップと、学習部が、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る歩行状態推定方法は、系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、単位データ種別推定部が、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定するステップと、平滑化処理部が、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定するステップと、を含んで実行することを特徴とする。

また、第３の発明に係る路面状況理解方法は、上記の歩行状態推定方法の各ステップと、位置別路面状況理解部が、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識するステップと、を含んで実行することを特徴とする。

第４の発明に係る歩行状態学習装置は、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するラベル生成部と、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習する学習部と、を含んで構成されている。

また、第５の発明に係る歩行状態推定装置は、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定する単位データ種別推定部と、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定する平滑化処理部と、を含んで構成されている。

また、第６の発明に係る路面状況理解装置は、上記の歩行状態推定装置と、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する位置別路面状況理解部と、を含んで構成されている。

第７の発明に係るプログラムは、コンピュータに、上記の歩行状態学習方法、上記の歩行状態推定方法、又は上記の路面状況理解方法の各ステップを実行させるためのプログラムである。

本発明の歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラムによれば、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから系列データを抽出し、系列データが単位時間に区切られたデータである単位データを抽出し、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、単位データ毎にユーザの歩行状態の種別を表すラベルを付与し、単位データの各々と単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習することにより、ユーザの歩行状態を精度よく推定することができる学習モデルを得ることができる、という効果が得られる。

また、本発明の歩行状態推定方法、装置、及びプログラムによれば、単位データの各々について、当該単位データと、予め得られた学習モデルとに基づいて、当該単位データに対応する歩行状態の種別である確率を推定し、単位データの各々についての、歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定することにより、ユーザの歩行状態を精度よく推定認識することができる、という効果が得られる。

また、本発明の路面状況理解方法、装置、及びプログラムによれば、推定結果から得られる単位データの各々に対する路面状況と、携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識することにより、ユーザの歩行状態に応じた路面状況を精度よく認識することができる、という効果が得られる。

本発明の実施の形態に係る路面状況学習システムの構成を示すブロック図である。歩行データ蓄積部に格納される歩行データの一例を示す図である。歩行アノテーション蓄積部に格納されるアノテーションデータの一例を示す図である。単位データを説明するための説明図である。ラベル生成部によってラベルが付与された単位データの一例を示す図である。学習モデルにおける処理の流れを説明するための説明図である。パラメタ記憶部に記憶される学習モデルのパラメタの一例を示す図である。本発明の実施の形態に係る路面状況理解システムの構成を示すブロック図である。測位データ蓄積部に格納される測位データの一例を示す図である。平滑化処理部における平滑化処理を説明するための説明図である。本発明の実施の形態に係る路面状況学習システムの路面状況学習装置における路面状況学習処理ルーチンを示すフローチャートである。本発明の実施の形態に係る路面状況理解システムの路面状況理解装置における路面状況理解処理ルーチンを示すフローチャートである。センサデータを特定の時間窓で切り出した一例を示す図である。センサデータをユーザの歩みに対応する区間に分割した一例を示す図である。

＜本発明の実施の形態の概要＞

本発明の実施の形態は、人が持ち歩く携帯デバイスのセンサデータに基づいて、実世界の路面状況を理解する手法に関する。

本発明の実施の形態では、まず、携帯デバイスのセンサから得られるセンサデータの情報から、ユーザの歩の歩みとは関係なく、ごく短い区間のセンサデータを単位データとして識別し、その単位データ毎に、対応する歩行状態を特定することを考える。

具体的には、単位データの系列に基づきユーザの歩行状態の推定を行うモデルを構築し、これにより歩行状態が未知の単位データに対して歩行状態を推定する。次に、この各区間の単位データに対応する歩行状態の推定結果の系列情報に基づいて、センサデータの系列に対する歩行状態を改めて評価する。

本実施の形態では、最初に予め決められた単位データ毎に判定を行うことで、既存技術を適用する際に必要であり、判定を誤る原因の一つでもあるセンサデータを歩の歩みに分割する処理と独立して判定を行うことを可能とする。

また、この最初の処理のみでは、推定結果において複数のラベルが交互に生じたり、ノイズとなるような誤判定がおこることも考えられることから、後段の処理では推定結果の系列に基づいて、尤もらしい歩行状態の系列であるように推定結果の補正を行う。以上のように、本実施の形態では、高精度かつピンポイントな路面状況を把握することを目的とする。

上記目的を達成するため、本実施の形態における路面状況理解手順では、取得したセンサデータの情報から、まずセンサの観測系列の個々の観測点もしくは１つ以上の観測点の集合に対応する歩行状態の種別を推定する。次に、推定結果の系列の情報に基づいて、現実では起こらない急激な推定結果の変化が起こらないように系列全体としての尤もらしさを元に推定結果の補正を行う。これにより高精度かつピンポイントな路面状況を把握する。また、単位データの各々に対する測位データと単位データの各々に対する路面状況とを集計する手順を加えることで、どの場所にどのような路面状況が存在するかという地理情報を組み合わせた段差の理解を行うことが可能となる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明の実施の形態では、路面状況学習システムと路面状況理解システムとに本発明を適用した場合を例に説明する。

＜本発明の実施の形態に係る路面状況学習システムの構成＞

まず、本発明の実施の形態に係る路面状況学習システムの構成について説明する。図１に示すように、本発明の実施の形態に係る路面状況学習システム１０は、複数のユーザがそれぞれ携帯する携帯デバイス１２と、路面状況学習装置２０とを備えている。

携帯デバイス１２には、センサが備え付けられている。携帯デバイス１２は、歩行データ収集部１４、及びアノテーション収集部１６を備え、歩行にかかわるセンサの出力値及び位置情報、並びに歩行に対するアノテーションデータをタイムスタンプと併せて獲得し、必要に応じて記憶領域１８に格納する。また、定期的もしくは、ユーザからの操作に応じて、歩行データ収集部１４及びアノテーション収集部１６により収集したデータ、並びに必要に応じてそれに付随する識別情報を、それぞれ路面状況学習装置２０の歩行データ蓄積部２２、及び歩行アノテーション蓄積部２４に送信し、蓄積させる。

歩行データ収集部１４は、携帯デバイス１２に備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データを収集する。歩行データ収集部１４は、携帯デバイス１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能を実現するセンサの例としては、加速度センサやジャイロセンサ、歩行検知センサなどであり、これらのセンサの出力値をタイムスタンプとともに時系列で記録したセンサデータとして取得し、必要に応じて記憶領域１８に記憶した上で、携帯デバイス１２の機能により歩行データ蓄積部２２に送信する。送信する際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信してもよい。

アノテーション収集部１６は、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータを収集する。アノテーション収集部１６は、携帯デバイス１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能は歩行データを収集する対象となるユーザもしくはそのユーザの行動を観測する観察者によって利用され、ユーザ又は当該観察者によって、ユーザの歩行状態の種別が入力される。具体的には、ユーザの歩の歩みに対応するタイミングで、例えば平坦の歩行か、段差の歩行か、傾斜の歩行等の歩行状態の種別が入力される。また、タイミングと歩行状態の種別とを別々に入力し、タイムスタンプなどを用いて後で統合して利用することも考えられる。アノテーション収集部１６は、必要に応じて記憶領域１８に記憶した上で、携帯デバイス１２の機能により歩行アノテーション蓄積部２４に送信する。送信する際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信してもよい。

路面状況学習装置２０は、ＣＰＵと、ＲＡＭと、後述する路面状況学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

路面状況学習装置２０は、歩行データ蓄積部２２と、歩行アノテーション蓄積部２４と、系列データ抽出部２６と、単位データ抽出部２８と、ラベル生成部３０と、歩行データラベル蓄積部３２と、学習部３４と、パラメタ記憶部３６とを備えている。

歩行データ蓄積部２２には、携帯デバイス１２から受信した歩行データが格納されている。歩行データ蓄積部２２に蓄積される歩行データの一例は、図２に示すように、端末ＩＤ、タイムスタンプ、加速度Ｘ、Ｙ、及びＺ、並びにジャイロＸ、Ｙ、及びＺの情報である。

歩行アノテーション蓄積部２４には、携帯デバイス１２から受信したアノテーションデータが格納されている。歩行アノテーション蓄積部２４に蓄積されるアノテーションデータの一例は、図３に示すように、端末ＩＤ、タイムスタンプ、及び歩行状態の種別の情報である。

系列データ抽出部２６は、歩行データ蓄積部２２に蓄積された歩行データから、携帯デバイス１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。系列データは、特定の時間区間において連続した一連の歩行データである。系列データ抽出部２６は、系列データを取得し、単位データ抽出部２８へ出力する。

単位データ抽出部２８は、系列データ抽出部２６によって抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。具体的には、単位データ抽出部２８は、系列データ抽出部２６から受け取る連続した歩行データから、一つもしくは一つ以上の観測点を単位データとして、単位データの系列を抽出する。

図４に、単位データ抽出部２８における処理のイメージを示す。単位データは、後述する学習部３４での学習処理、及び後述する単位データ種別推定部２３７での推定処理が行われる際の最小の単位のデータであり、単位データには推定対象とするタイムステップの前後のデータを含んでいてもよい。例えば、時刻ｔの単位データｅ_ｔの一例としては、以下の式（１）のように表現される。

ここで、上記式（１）におけるｘ_ｔ，ｙ_ｔ，ｚ_ｔ及びｐｏｗｅｒ_ｔは、それぞれ時刻ｔにおけるＸ軸，Ｙ軸，Ｚ軸の加速度およびそれら３軸加速度の二乗和の平方根を表す。このベクトルの要素は、例えばジャイロセンサによる角速度等他の要素が追加されることや、一部のデータを利用しないことも考えられる。また、時刻ｔの単位データｅ_ｔの別の例として、以下の式（２）に示すように、時刻ｔの前後のタイムスタンプのデータを含むことも考えられる。

さらには、上記図４に示されるように、単位データをグラフとして表現した画像と対応させ、その画像の画素値を単位データに対応するベクトルとして扱うこと等のように、単位データの特徴を表現する形のベクトル表現であればその形は問わない。

ラベル生成部３０は、歩行アノテーション蓄積部２４に蓄積されたアノテーションデータに基づいて、単位データ毎に、ユーザの歩行状態の種別を表すラベルを付与する。そして、ラベル生成部３０は、その結果を歩行データラベル蓄積部３２に格納する。

ラベル生成部３０におけるラベルの付与の例としては、歩行アノテーション蓄積部２４に付与されるアノテーションのタイムスタンプに基づき、あるアノテーションと次のタイムスタンプのアノテーションの情報を元に、アノテーションの中央にあたるタイムスタンプを特定する。そして前者のアノテーションのタイムスタンプとその中央のタイムスタンプの間にあるデータに対しては、前者のアノテーションと同じラベルを付与する。そして中央のタイムスタンプから次のアノテーションまでのデータに対しては、後者のアノテーションと同じラベルを付与することが考えられる。

歩行データラベル蓄積部３２には、ラベル生成部３０によって単位データ毎に付与されたラベルが蓄積される。歩行データラベル蓄積部３２に蓄積されるデータの一例は、図５に示すように、端末ＩＤ、タイムスタンプ、及びラベルの情報である。

学習部３４は、単位データ抽出部２８によって抽出された単位データの各々と、ラベル生成部３０によって単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習する。また、本実施の形態では、単位データ毎に付与されたラベルから段差の有無を取得し、段差の有無を更に推定する学習モデルを学習する。本実施の形態では、学習部３４は、単位データ抽出部２８から取得する単位データの系列と、歩行データラベル蓄積部３２から取得する単位データの系列に対応するラベルの情報とに基づいて、学習モデルの一例であるＲＮＮモデルの学習を行う。

なお、ＲＮＮモデルの手法としては、公知技術であるＬＳＴＭ（long short term memory）を備えたＲＮＮ（例えば、参考文献１を参照）、忘却ゲート付のＬＳＴＭを備えたＲＮＮ（例えば、参考文献２を参照）等の公知の技術を利用することが可能である。

参考文献１：Sepp Hochreiter and Jurgen Schmidhuber, "Long short-term memory", Neural Computation 9 (8): pp.1735-1780, 1997.
参考文献２：Felix A. Gers, Nicol N. Schraudolph, and Jurgen Schmidhuber, "Learning precise timing with LSTM recurrent networks", Journal of Machine Learning Research, vol. 3, pp.115-143, 2002.

図６にＲＮＮモデルの動作を説明するための図を示す。図６に示すように、ＲＮＮモデルを用いた次のセンサデータに対応する歩行状態のラベルの推定では、まず単位データを表現するベクトル表現９１０について、ベクトル表現９１０とモデルパラメータの一つであるＷ_{ｅｍｂｅｄ}との積をとることで、単位データの特徴の抽象的表現である特徴ベクトル９２０を得る。

次に、得られた特徴ベクトル９２０と、前のタイムステップにおけるＲＮＮモデルを用いて得られた潜在的な状態ベクトル９３０とを入力とし、上述の参考文献に開示されているＬＳＴＭ等を用いて現在のタイムステップにおける状態ベクトル９４０を算出する。

最後に、算出した状態ベクトル９４０から、ソフトマックス関数を用いて、当該タイムスタンプにおける単位データの歩行状態の種別の各々の確率、及び段差が有る確率を、歩行状態の推定結果９５０として出力する。

なお、ＲＮＮの学習には、上述した参考文献に開示されているＢＰＴＴ（back propagation through time）等の手法についても利用可能である。

学習部３４は、学習した学習モデルのパラメタを、パラメタ記憶部３６に格納する。パラメタ記憶部３６に格納されるパラメタの例を図７に示す。図７に示したパラメタは上述したＬＳＴＭを備えたＲＮＮモデルのパラメタの一例である。

Ｗ_{ｅｍｂｅｄ}：単位データを表すベクトル表現を抽象化された特徴ベクトルに変換するためのパラメタ
Ｗ_ｉｎ：ＬＳＴＭのinput gateにおけるパラメタ
Ｗ_ｏｕｔ：ＬＳＴＭのoutput gateにおけるパラメタ
Ｗ_ｃ：memory cellにおけるパラメタ
Ｗ_{ｓｏｆｔｍａｘ}：ソフトマックス関数を用いてＲＮＮの状態ベクトルから、歩行状態の推定結果を算出するためのパラメタ

パラメタ記憶部３６には、学習部３４によって学習された学習モデルのパラメタが格納される。

＜本発明の実施の形態に係る路面状況理解システムの構成＞

次に、本発明の実施の形態に係る路面状況理解システムの構成について説明する。図８に示すように、本発明の実施の形態に係る路面状況理解システム１００は、複数のユーザがそれぞれ携帯する携帯デバイス２１２と、路面状況理解装置２２０と、出力部３００とを備えている。

携帯デバイス２１２は、歩行データ収集部２１４、及び測位部２１６を備え、歩行にかかわるセンサの出力値及び位置情報をタイムスタンプと併せて獲得し、必要に応じて記憶領域２１８に格納する。携帯デバイス２１２における歩行データ収集部２１４、及び記憶領域２１８の構成は、上記携帯デバイス１２の、歩行データ収集部１４、及び記憶領域１８と同様である。

測位部２１６は、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データを集計する。測位部２１６は、携帯デバイス２１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能は、ＧＰＳ等の衛星電波を用いた測位手段や、Ｗｉ−Ｆｉ（Ｒ）電波を用いた測位手段やそれらの組合せ等で実現される。ここで取得した位置情報はタイムスタンプと関連付けて取得され、必要に応じて記憶領域２１８に記憶した上で、携帯デバイス２１２の機能により測位データ蓄積部２２３に送信する。送信される際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信される場合がある。

路面状況理解装置２２０は、ＣＰＵと、ＲＡＭと、後述する路面状況理解処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

路面状況理解装置２２０は、歩行データ蓄積部２２２と、測位データ蓄積部２２３と、系列データ抽出部２２６と、単位データ抽出部２２８と、パラメタ記憶部２３６と、単位データ種別推定部２３７と、平滑化処理部２３８と、位置別路面状況理解部２３９と、を備えている。

歩行データ蓄積部２２２には、携帯デバイス２１２から受信した歩行データが格納されている。格納される歩行データの形式は歩行データ蓄積部２２と同じである。

測位データ蓄積部２２３には、携帯デバイス２１２から受信した測位データが格納されている。測位データ蓄積部２２３に蓄積される測位データの一例は、図９に示すように、端末ＩＤ、タイムスタンプ、緯度、及び経度の情報である。図９の例では、屋外を想定し、測位結果として緯度経度を記録しているが、屋内の測位を用いる際には、施設名称や施設内部での場所を示す情報を記録することも考えられる。

系列データ抽出部２２６は、路面状況学習装置２０の系列データ抽出部２６と同様に、歩行データ蓄積部２２２に蓄積された歩行データから、携帯デバイス２１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。

単位データ抽出部２２８は、路面状況学習装置２０の単位データ抽出部２８と同様に、系列データ抽出部２２６によって抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。

パラメタ記憶部２３６には、路面状況学習装置２０によって学習された学習モデルのパラメタが格納される。

単位データ種別推定部２３７は、単位データ抽出部２２８によって抽出された単位データの各々について、当該単位データと、パラメタ記憶部２３６に格納された学習モデルのパラメタとに基づいて、当該単位データに対応する歩行状態の種別の各々である確率、及び段差が有る確率を推定する。

具体的には、単位データ種別推定部２３７では、歩行状態を表すラベルがわからないセンサからの出力値に対し、単位データ抽出部２２８によって処理して得た個々の単位データをタイムスタンプの若い順に入力することで、以下のように、個々の単位データに対応するそれぞれの歩行状態の種別の確率及び段差が有る確率を得る。

まず、単位データ種別推定部２３７は、初期の状態ベクトルｈ_０をゼロベクトルで初期化する。また、単位データ種別推定部２３７は、パラメタ記憶部２３６からＲＮＮパラメタを読み出しＲＮＮモデルを構築する。

この状態において、現在のタイムスタンプの単位データを表現するベクトルｅ_ｔと、直前のタイムスタンプにおけるＲＮＮモデルから得られた状態ベクトルｈ_ｔ−１をＲＮＮモデルに入力することにより、当該タイムスタンプに対応する単位データの歩行状態の種別を表すラベル及び段差の有無を推定した結果を表すベクトルｐ_ｔならびに状態ベクトルｈ_ｔを出力する。

単位データ種別推定部２３７は、上記処理の繰り返しにより、入力された単位データ系列の個々の単位データに対応する歩行状態の種別の各々の確率及び段差がある確率を取得し、平滑化処理部２３８へ出力する。

平滑化処理部２３８は、単位データ抽出部２２８によって抽出された単位データの各々についての、単位データ種別推定部２３７によって得られた歩行状態の種別の各々である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定する。また、平滑化処理部２３８は、単位データ抽出部２２８によって抽出された単位データの各々についての、単位データ種別推定部２３７によって得られた段差がある確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する段差の有無を、路面状況として推定する。

平滑化処理部２３８は、単位データ種別推定部２３７により推定した各単位データに対する推定結果に基づいて、例えば、現実では起こりえない推定結果の揺れによるノイズの除去を行うために、平滑化の処理を行う。

処理の一例としては、単位データ系列に対する推定結果を表すベクトルの各要素の系列に対して、平滑化処理を行う。推定結果を表すベクトルの各要素には、歩行状態の種別の各々の確率と、段差の有無の確率とが含まれている。平滑化の方法としては、公知技術である中央値フィルタ（例えば、参考文献３を参照）、バイラテラルフィルタ（例えば、参考文献４を参照）等を用いることができる。

参考文献３：T. Huang, G. Yang, and G. Tang, "A fast two-dimensional median filtering algorithm", IEEE Trans. Acoust.,Speech, Signal Processing, vol. 27, no. 1, pp. 13-18, 1979.
参考文献４：Tomasi, C., and Manduchi, R., "Bilateral filtering for gray and color images." In Proc. of ICCV, 1998

平滑化処理の例を図１０に示す。図１０には、段差の有無の確率に対する平滑化処理を例に示す。図１０に示すように、平滑化に関するフィルタ処理を行うことで、ｐ_ｔの値が過度に変化することを抑え、ノイズと考えられる値の変化を抑えられる。なお、平滑化処理部２３８は、歩行状態の種別である確率に対しても、所定の時間区間での平滑化を行う。この平滑化処理を行った後のｐ_ｔを用いて、個々の単位データに対応する区間の歩行状態を推定することで、推定結果の局所的な揺れに伴うノイズを除去した形で推定結果を得ることを可能とする。平滑化処理部２３８は、以上で推定された結果を、位置別路面状況理解部２３９に出力する。

位置別路面状況理解部２３９は、平滑化処理部２３８によって得られた推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する。

位置別路面状況理解部２３９では、歩行データ蓄積部２２２の情報を処理した結果と、測位データ蓄積部２２３の情報とを組み合わせることで、どの場所がどのような路面状況であるかを把握する。これにより、路面状況を把握できる路面状況付き地図を生成することが可能となる。

出力部３００は、位置別路面状況理解部２３９によって認識された、各位置の路面状況を結果として出力する。

＜本発明の実施の形態に係る路面状況学習システムの作用＞

次に、本発明の実施の形態に係る路面状況学習システム１０の路面状況学習装置２０の作用について説明する。路面状況学習装置２０は、定期的に、歩行データ蓄積部２２、及び歩行アノテーション蓄積部２４に歩行データ、及びアノテーションデータが蓄積、更新されていることを検知し、図１１に示す路面状況学習処理ルーチンを実行する。

まず、ステップＳ１００において、系列データ抽出部２６は、歩行データ蓄積部２２に蓄積された歩行データから、携帯デバイス１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。

次に、ステップＳ１０２において、単位データ抽出部２８は、上記ステップＳ１００で抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。

ステップＳ１０４において、ラベル生成部３０は、歩行アノテーション蓄積部２４に蓄積されたアノテーションデータに基づいて、上記ステップＳ１０２で抽出された単位データ毎に、ユーザの歩行状態の種別を表すラベルを付与する。

ステップＳ１０６において、学習部３４は、上記ステップＳ１０２で抽出された単位データの各々と、上記ステップＳ１０４で単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習する。

ステップＳ１０８において、学習部３４は、ステップＳ１０６で得られた学習モデルのパラメタをパラメタ記憶部３６に格納して、路面状況学習処理ルーチンを終了する。

＜本発明の実施の形態に係る路面状況理解システムの作用＞

次に、本発明の実施の形態に係る路面状況理解システム１００の路面状況理解装置２２０の作用について説明する。まず、路面状況学習装置２０のパラメタ記憶部３６に格納された学習モデルのパラメタが路面状況理解装置２２０に入力されると、路面状況理解装置２２０によって、入力された学習モデルのパラメタが、パラメタ記憶部２３６へ格納される。そして、路面状況理解装置２２０は、定期的に、歩行データ蓄積部２２２、及び測位データ蓄積部２２３に歩行データ、及び測位データが蓄積、更新されていることを検知し、図１２に示す路面状況理解処理ルーチンを実行する。

まず、ステップＳ２００において、系列データ抽出部２２６は、路面状況学習装置２０の系列データ抽出部２６と同様に、歩行データ蓄積部２２２に蓄積された歩行データから、携帯デバイス２１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。

次に、ステップＳ２０２において、単位データ抽出部２２８は、路面状況学習装置２０の単位データ抽出部２８と同様に、上記ステップＳ２００で抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。

ステップＳ２０４において、単位データ種別推定部２３７は、上記ステップＳ２０２で抽出された単位データの各々について、当該単位データと、パラメタ記憶部２３６に格納された学習モデルのパラメタとに基づいて、当該単位データに対応する歩行状態の種別の各々である確率、及び段差が有る確率を推定する。

ステップＳ２０６において、平滑化処理部２３８は、上記ステップＳ２０２で抽出された単位データの各々についての、上記ステップＳ２０４で得られた歩行状態の種別の各々である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定する。また、平滑化処理部２３８は、上記ステップＳ２０２で抽出された単位データの各々についての、上記ステップＳ２０４で得られた段差がある確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する段差の有無を、路面状況として推定する。

ステップＳ２０８において、位置別路面状況理解部２３９は、上記ステップＳ２０６で得られた推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する。そして、位置別路面状況理解部２３９は、各位置の路面状況を出力部３００に出力し処理を終了する。

以上説明したように、本発明の実施の形態に係る路面状況学習システムによれば、ユーザが携帯する携帯デバイス１２に備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから系列データを抽出し、系列データが単位時間に区切られたデータである単位データを抽出し、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、単位データ毎にユーザの歩行状態の種別を表すラベルを付与し、単位データの各々と単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習することにより、ユーザの歩行状態に応じた路面状況を精度よく認識するための学習モデルを学習することができる。

また、本発明の実施の形態に係る路面状況理解システムによれば、単位データの各々について、単位データと、路面状況学習装置２０によって得られた学習モデルとに基づいて、単位データに対応する歩行状態の種別である確率を推定し、単位データの各々についての、歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定し、推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識することにより、ユーザの各位置の路面状況を精度よく認識できる。

また、本発明の実施の形態によれば、スマートフォンなどの携帯デバイスを持ち歩く人の情報を活用して、段差の存在などの路面状況を把握することが可能となる。これにより路面状況の調査において、派遣型の現地調査を行わずとも、車いすなどが通ることが困難な段差や階段の存在を把握することが可能となり、バリアフリーな経路のナビゲーションなど、ハンデキャップのある方も快適に移動できるナビゲーションサービスを実現することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、路面状況学習装置２０によって学習される学習モデルは、ラベルに応じた段差の有無の確率を路面状況とし、単位データに対応するラベルと併せて学習する場合を例に説明したが、これに限定されるものではない。例えば、路面状況学習装置２０によって学習される学習モデルは、単位データに対応するラベルのみを推定するように学習してもよく、この場合には歩行状態学習装置として構成するようにしてもよい。

また、上述した実施の形態では、路面状況理解装置２２０に位置別路面状況理解部２３９を含み、位置別路面状況理解部２３９によって、各位置の路面状況を認識する場合を例に説明したが、これに限定されるものではない。例えば、路面状況理解装置２２０は位置別路面状況理解部２３９を含まずに、歩行状態の認識までを行うようにして、歩行状態推定装置として構成するようにしてもよい。

上述の路面状況学習装置２０及び路面状況理解装置２２０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０路面状況学習システム
１２，２１２携帯デバイス
１４，２１４歩行データ収集部
１６アノテーション収集部
１８，２１８記憶領域
２０路面状況学習装置
２２，２２２歩行データ蓄積部
２４歩行アノテーション蓄積部
２６，２２６系列データ抽出部
２８，２２８単位データ抽出部
３０ラベル生成部
３２歩行データラベル蓄積部
３４学習部
３６，２３６パラメタ記憶部
１００路面状況理解システム
２１６測位部
２２０路面状況理解装置
２２３測位データ蓄積部
２３７単位データ種別推定部
２３８平滑化処理部
２３９位置別路面状況理解部
３００出力部
９１０ベクトル表現
９２０特徴ベクトル
９３０状態ベクトル
９４０状態ベクトル
９５０推定結果

Claims

系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、
単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、
ラベル生成部が、入力された、前記ユーザの歩行状態の種別及び段差の有無をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルと段差の有無とを付与するステップと、
学習部が、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルと段差の有無とに基づいて、前記単位データに対応する歩行状態の種別を表す確率と段差が有る確率とを出力するための学習モデルを学習するステップと、
を含む歩行状態学習方法。
前記学習モデルは、入力された現在のタイムステップにおける前記単位データの各々から特徴ベクトルを生成する層と、現在のタイムステップにおける前記単位データに対応する特徴ベクトルと１つ前のタイムステップにおける状態ベクトルとから現在のタイムステップにおける状態ベクトルを生成する層と、現在のタイムステップにおける状態ベクトルから現在のタイムステップにおける歩行状態の種別を表す確率と段差が有る確率とを出力する層と、を有するＲＮＮモデルである、
請求項１に記載の歩行状態学習方法。
系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、
単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、
単位データ種別推定部が、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１又は請求項２に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定するステップと、
平滑化処理部が、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定するステップと、
を含む歩行状態推定方法。
請求項３に記載の歩行状態推定方法の各ステップと、
位置別路面状況理解部が、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識するステップと、
を含む路面状況理解方法。
ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、
前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、
入力された、前記ユーザの歩行状態の種別及び段差の有無をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルと段差の有無とを付与するラベル生成部と、
前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルと段差の有無とに基づいて、前記単位データに対応する歩行状態の種別を表す確率と段差が有る確率とを出力するための学習モデルを学習する学習部と、
を含む歩行状態学習装置。
前記学習モデルは、入力された現在のタイムステップにおける前記単位データの各々から特徴ベクトルを生成する層と、現在のタイムステップにおける前記単位データに対応する特徴ベクトルと１つ前のタイムステップにおける状態ベクトルとから現在のタイムステップにおける状態ベクトルを生成する層と、現在のタイムステップにおける状態ベクトルから現在のタイムステップにおける歩行状態の種別を表す確率と段差が有る確率とを出力する層と、を有するＲＮＮモデルである、
請求項５に記載の歩行状態学習装置。
ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、
前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、
前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項５又は請求項６に記載の歩行状態学習装置によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定する単位データ種別推定部と、
前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定する平滑化処理部と、
を含む歩行状態推定装置。
請求項７に記載の歩行状態推定装置と、
前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する位置別路面状況理解部と、
を含む路面状況理解装置。
コンピュータに、請求項１若しくは請求項２に記載の歩行状態学習方法、請求項３に記載の歩行状態推定方法、又は請求項４に記載の路面状況理解方法の各ステップを実行させるためのプログラム。