JP2013196601A - 予測システム - Google Patents

予測システム Download PDF

Info

Publication number
JP2013196601A
JP2013196601A JP2012065585A JP2012065585A JP2013196601A JP 2013196601 A JP2013196601 A JP 2013196601A JP 2012065585 A JP2012065585 A JP 2012065585A JP 2012065585 A JP2012065585 A JP 2012065585A JP 2013196601 A JP2013196601 A JP 2013196601A
Authority
JP
Japan
Prior art keywords
time
pedestrian
spatiotemporal
prediction
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012065585A
Other languages
English (en)
Other versions
JP5838879B2 (ja
Inventor
Mikio Sasaki
美樹男 笹木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012065585A priority Critical patent/JP5838879B2/ja
Publication of JP2013196601A publication Critical patent/JP2013196601A/ja
Application granted granted Critical
Publication of JP5838879B2 publication Critical patent/JP5838879B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】移動体の出現に対して十分な余裕を持って対処することを可能とする
【解決手段】危険予知システム1では、過去において歩行者が移動した移動経路の位置を示す移動経路位置と、移動経路位置に歩行者が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および歩行者の属性を示す歩行者属性データが、複数の歩行者毎に記憶された人流れデータベース12を用いて学習した学習結果を取得し、走行予定経路上の代表点QI(I=1,2,・・・・,IQ)と通過時間が指定された場合に、学習結果に基づいて、代表点QIにおいて移動体が出現する可能性を示す全歩行者確信度CIを予測する。
【選択図】図1

Description

本発明は、移動体が出現する可能性を予測する予測システムに関する。
従来、危険予知に関する技術開発の対象は運転者から見て数秒以内の事象を予測するものであり、自車の動きはほぼ運動方程式に従うと仮定するものが大半であった(例えば、特許文献1を参照)。
特開2009−217692号公報
しかし、特許文献1に記載の技術では、運転者から見て数秒以内という条件下で対象物となる車両や歩行者の動きを予測するため、センシング性能は高精度であることが前提となっている。ところが、現状の車外環境認識技術は高速走行であるほど認識率が劣化し、遠方や隠れのある対象物ではさらに認識は困難となる。したがって車両単独では、数秒以内であっても死角から出現する歩行者や隠れ・不鮮明のある画像内の歩行者、数百メートル以上先の歩行者、さらには交差点の右左折を介した先の交通事象に関しては全く対処不能であるという問題があった。
本発明は、こうした問題に鑑みてなされたものであり、移動体の出現に対して十分な余裕を持って対処することを可能とする技術を提供することを目的とする。
上記目的を達成するためになされた本発明の予測システムでは、取得手段が、過去において移動体が移動した移動経路の位置を示す移動経路位置と、移動経路位置に移動体が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および移動体の属性を示す移動体属性データが、複数の移動体毎に記憶された移動体データベースを用いて学習した学習結果を取得し、予測手段が、時間と位置とを示す時空間が指定された場合に、指定された時空間を指定時空間とし、取得手段により取得された学習結果に基づいて、指定時空間において移動体が出現する可能性を予測する。
このように構成された予測システムでは、過去における移動体の時空間軌道データを学習して、指定された時間と位置において移動体が出現する可能性を予測する。このため、時間と位置が指定されれば、予測システムの使用者は、時間と位置が指定された時点で、指定された時間および位置において移動体が出現する可能性を知ることができ、移動体の出現に対して十分な余裕を持って対処することができる。
危険予知システム1の構成を示すブロック図である。 危険予知処理の前半部分を示すフローチャートである。 危険予知処理の後半部分を示すフローチャートである。 出現予測の処理の全体概要を示す図である。 矩形状の密度関数を用いたサンプリングを示す図である。 任意形状の密度関数を用いたサンプリングを示す図である。 類似エリアの利用方法を示す図である。 時空間軌道の予測方法を示す図である。
以下に本発明の実施形態について図面とともに説明する。
[1. 概要]
本発明が適用された危険予知システム1は、過去の人の流れデータを学習し、予定する走行経路上の日時場所において遭遇する歩行者の数および属性を予測することにより、衝突回避のための危険予知を行うシステムである。
[1−1. 特徴]
(1)人の存在と属性に関する確信度が時間と場所に回帰すると仮定して人の流れデータを学習し、走行経路上でいつどこに人が出現するかを予測する。
(2)走行経路上の或る時空間範囲(危険範囲と呼ぶ)で人の確信度の総和をとることにより危険度を算出する。この危険範囲は(年齢、性別、交通手段)で構成するクラスに応じて変化させる。
(3)或るエリアで学習対象となる人の数が少ない場合、走行予定時間を中心としてサンプルする時刻を可変にすることで状態行列を低次元化し、予測計算を円滑に行う。
(4)或るエリアで学習対象となる人の数が少ない場合、異なるエリアであってもエリア内の人数の時間変化パターンが歩行者属性(目的、職業、年齢、性別)の個々について似ている場合は学習データとして使用する。
[1−2. 具体的用途]
走行予定経路上で歩行者と遭遇する可能性を予測し、運転者に警報を発する運転支援装置に応用する。
[2. システム構成]
本発明が適用された危険予知システム1は、図1に示すように、データベース部10と学習部20と条件設定部30と予測部40を備える。
データベース部10は、カーナビゲーション装置11と、人流れデータベース12と、検索インターフェース13と、時空間軌道データ抽出・加工部14を備える。
カーナビゲーション装置11は、車両の現在位置を検出する位置検出器(不図示)と、地図データや各種の情報を記憶可能なデータ記憶装置(不図示)と、ユーザからの各種指示を入力するための操作スイッチ(不図示)と、地図表示画面やTV画面等の各種表示を行うための表示装置(不図示)を備える。そしてカーナビゲーション装置11は、位置検出器の検出結果に基づき車両の現在位置を算出し、データ記憶装置から読み込んだ現在位置付近の地図等を表示装置に表示する地図表示機能を備える。またカーナビゲーション装置11は、操作スイッチの操作に従って目的地を特定し、現在位置から目的地までの最適な走行予定経路を自動的に求める経路計算を行って経路案内を行う経路案内機能を備える。
人流れデータベース12は、人の流れデータを記憶するデータベースである。人の流れデータとは、公的調査で得られた「識別番号、日時、位置、性別、年齢、住所、職業、目的、交通手段」を1分間隔で時空間内挿した時系列データである。これは、1998年東京を皮切りに全国主要都市に拡大され、近年では海外にも展開されている。現在、東京大学空間情報科学研究センターでは、この人の流れデータのデータベースを提供しており、例えば1998年の東京圏では約72万人、2001年の中京圏では約26万人を対象として公的に調査されたパーソントリップデータ(以下、PTデータという)が、東大の提供する「Web API」によって検索できる。
検索インターフェース13は、指定条件に合致した人の流れデータを人流れデータベース12から抽出するためのインターフェースである。
時空間軌道データ抽出・加工部14は、人の流れデータを人流れデータベース12から抽出し、抽出した人の流れデータを加工することにより、状態行列(後述)と歩行者属性の確信度行列(後述)を作成する。
学習部20は、データ学習部21と、予測特性データベース22と、予測特性制御部23を備える。
データ学習部21は、データベース部10で作成された状態行列と確信度行列を用いた学習により、予測特性を示す予測関数を作成する。
予測特性データベース22は、既存の予測関数を記憶する。
予測特性制御部23は、データ学習部21で作成された予測関数か、予測特性データベース22に記憶された予測関数の何れかを、歩行者確信度の算出に用いる予測関数として選択する。
条件設定部30は、予測条件設定部31と、走行予定軌道マッピング部32を備える。
予測条件設定部31は、カーナビゲーション装置11を通じて走行予定経路を通過位置と時間で設定する。
走行予定軌道マッピング部32は、走行予定経路上に代表点QI(I=1,2,・・・・,IQ)を設定する。
予測部40は、歩行者経路推定部41と、歩行者確信度算出部42と、時空間距離計算部43と、危険度算出部44と、報知部45を備える。
歩行者経路推定部41は、走行予定経路上の個々の代表点QIを通過しうる歩行者の経路を設定する。
歩行者確信度算出部42は、走行予定軌道マッピング部32で設定された個々の代表点QIについて、歩行者経路推定部41で設定された全て経路についての歩行者確信度を算出する。
時空間距離計算部43は、歩行者と走行予定経路との時空間距離を算出する。
危険度算出部44は、歩行者確信度算出部42で算出された歩行者確信度と、時空間距離計算部43で算出された時空間距離と、カーナビゲーション装置11からの各種情報とに基づいて、危険度を算出する。
報知部45は、危険度算出部44で算出された危険度を運転者に報知する。
[3.危険予知処理]
次に、危険予知システム1が実行する危険予知処理の手順の概略を説明する。
この危険予知処理が実行されると、危険予知システム1は、図2および図3に示すように、まずS10にて、カーナビゲーション装置11を通じて走行予定経路を通過位置と時間で設定する。その後S20にて、既存の予測関数を用いるか否かを判断する。ここで、既存の予測関数を用いる場合には(S20:YES)、S30にて、既存の予測関数を予測特性データベース22からロードして、S100に移行する。一方、既存の予測関数を用いない場合には(S20:NO)、S40にて、走行予定経路に応じた時空間範囲の人の流れデータを人流れデータベース12から抽出する。
そしてS50にて、S40で抽出したデータが学習データ量として十分であるか否かを判断する。ここで、学習データ量として十分である場合には(S50:YES)、S90に移行する。
一方、学習データ量として十分でない場合には(S50:NO)、S60にて、類似エリアのデータを使うか否かを判断する。ここで、類似エリアのデータを使う場合には(S60:YES)、S70にて、類似エリアにおける人の流れデータを人流れデータベース12から取得し、S90に移行する。一方、類似エリアのデータを使わない場合には(S60:NO)、S80にて、状態行列の時間軸を低次元化して、S90に移行する。
そしてS90に移行すると、人の流れデータを学習し、予測関数を作成し、S100に移行する。そしてS100に移行すると、走行予定経路上に代表点QI(I=1,2,・・・・,IQ)を設定する。その後S110にて、I=0とし、さらにS120にて、I=I+1とする。
その後S130にて、学習データ中に歩行者情報(年齢、性別、職業、目的など)があるか否かを判断する。ここで、学習データ中に歩行者情報がない場合には(S130:NO)、S150に移行する。一方、学習データ中に歩行者情報がある場合には(S130:YES)、S140にて、歩行者情報を導入して使えるようにし、S150に移行する。
そしてS150に移行すると、歩行者の道路情報があるか否かを判断する。ここで、歩行者の道路情報がある場合には(S150:YES)、S160にて、代表点QIに接続するNI本の道路を選択し、各道路に沿ってMI分の歩行範囲でRI個の時空間点を(性別、年齢、交通手段)で構成するクラスに応じて設定して、S180に移行する。一方、歩行者の道路情報がない場合には(S150:NO)、S170にて、経路上の動きベクトルを算出し、8方向の経路を仮定して、S180に移行する。
そしてS180に移行すると、クラス番号jc=0とし、さらにS190にて、jc=jc+1とする。
その後S200にて、S160またはS170で設定したクラス番号jcに対応するRI個の時空間点について、以下のように歩行者属性に基づく4つのカテゴリ(A),(B),(C),(D)に関する計算を行う。
(A)性別・年齢別に確信度の総和を算出する。
(B)目的別に確信度の総和をとる。
(C)職業別に確信度の総和をとる。
(D)交通手段別(歩行、自転車)に確信度の総和をとる。
そしてS210にて、全てのクラスについて歩行者確信度を算出したか否かを判断する。ここで、全てのクラスについて歩行者確信度を算出していない場合には(S210:NO)、S190に移行して、上述の処理を繰り返す。一方、全てのクラスについて歩行者確信度を算出した場合には(S210:YES)、S220にて、QIにおける全クラスの積算値を上記(A),(B),(C),(D)のカテゴリについて算出する。また、それらを合計して全カテゴリに関する和を求め、これをQIにおける全歩行者確信度CIとする。
その後S230にて、IがIQ未満であるか否かを判断する。ここで、IがIQ未満である場合には(S230:YES)、S120に移行して、上述の処理を繰り返す。一方、IがIQ以上である場合には(S230:NO)、S240にて、走行経路上のCIを単純危険度(もっとも簡単に算出できる危険度)とみなしてその変化の度合いと極大値から上位IR個の危険箇所を抽出する。
さらにS250にて、上記IR個の危険箇所についてCI値と、S220で算出したカテゴリ別の歩行者確信度、道路、交通施設に関する情報、周囲や地理環境の情報、自車速度、車両情報、過去の歩行者軌道との時空間距離を総合的に判断した複合危険度を算出する。
そしてS260にて、出現予定時刻、場所、出現する歩行者のプロファイルおよび危険度を報知して、危険予知処理を終了する。
[4. 出現予測]
危険予知システム1は、図4に示すように、人の流れデータを時空間軌道として解釈し、データベースの構築、学習、予測という3段階で歩行者の出現予測を行う。以下にその詳細を説明する。
[4−1. PTデータベースの構築と学習]
[4−1−1. 対象エリアの選択]
予測対象とするエリアを選択する。まず基準点の位置座標を経度と緯度で表し、それを中心とする例えば1km四方をターゲットエリアとする。
[4−1−2. サンプル時刻の設定]
まず、上記ターゲットエリアにおける人のID(以下、PIDという)をPTデータベースから検索する。検索対象となるPTデータベースは、2001年に中京圏26万人を対象として調査された01CHUである。いま、日時に2001年10月1日を設定し、例えば1時間毎のターゲットエリア内のPIDリストを作成する。これにより、1日におけるエリア内の歩行者数の時間変化がわかる。例えば通勤通学時のサンプル時刻として午前8時を選ぶ。
[4−1−3. PTデータの検索]
上記PIDリストには8時0分にエリア内に存在した人(のうち、01CHUの調査に参加した人)K人のPIDが記載されているので、これをもとに全ての人について8時から23時59分までの移動経路を1分間隔のPTデータの時系列として検索し、K個の時空間軌道のファイルを得る。ここには、移動経路のみならず、各人の属性(年齢、性別、職業、目的)が記載されている。
[4−1−4. 状態に関する計測行列の作成]
上記のK個の時空間軌道ファイルから経度緯度の時系列を1行としてK行の行列を作成することができる。このとき、行方向は時間を表し、T列の経度情報とT列の緯度情報を1行に並べる。したがって、この状態行列Xのサイズは(K×2T)となる。今回、計算負荷低減のため2分毎に時間軸の代表点をとり、その位置データと1分後の位置データとの平均をとることで、T=480とした。
[4−1−5. 確信度行列の作成]
PTデータに含まれる歩行者属性は年齢、性別、職業、目的で合計70次元とする(01CHUの場合)。この歩行者属性が歩行者の確信度を構成すると仮定し、その確信度が時間と位置を説明変数として推定されるというモデルを考える。すなわち、確信度行列Y(K×L)は一般的にY=f(X)と表現され、特にfを線形回帰で表現すればY=XBと表現できる。ただし、Bは線形回帰係数で構成される行列であり、サイズは(2T×L)となる。ただし、L=70であり、学習時の確信度の値は0か1のいずれかである。
[4−1−6. 回帰係数行列の推定]
多変量線形回帰分析におけるよく知られた手法により、回帰係数行列Bを最小2乗推定で求めると、B=(XTX)-1TYとなる。このBがPTデータの学習によって得られた、歩行者時空間分布の予測特性となる。
[4−1−7. 状態行列の低次元化]
上記の状態行列Xの行サイズKがK<2Tである場合、すなわち時空間軌道のデータ数Kが十分に獲得できない場合は、最小2乗推定における共分散行列S=XTX(サイズは2T×2T)に対して逆行列S-1がランクの問題で順当に計算できなくなる。この場合の対処には以下の方法が考えられる。
(方法1)…Xの列サイズ(2T)を十分に下げる。すなわち、学習対象とする時刻の数を少なくする。
(方法2)…「笹木, “人の時空間分布を予報するシステム - 実現可能性の検討 - “, 信学技報ITS2010-76 (2011-03).」で示した方法と同様に、観測状態に主成分分析を施し、上位K個の主成分で構成される固有空間で最小2乗推定を行う。
(方法3)…共分散行列S=XTXに微小な対角成分を付加することで正則化する。
上記の(方法2)と(方法3)は既知の方法であるので割愛し、以下、(方法1)に関する提案を述べる。
(A)「学習対象とする時間帯を走行予定経路の時間帯のみにする」
上記ではT=480とし、2分間隔で16時間分の位置データ(経度および緯度の中心位置からの差分値)を学習することを想定した(図5を参照)。しかし、Sを正則にするためのデータ数の最小値Kmin=2Tに対応する960人分のデータを或る時刻に1km四方のエリアで収集することは、よほどの密集地(例えば新宿や渋谷など)でない限り困難である。
そこで、本来必要な自車の走行予定時間に相当する時間範囲でのみ学習すれば、学習データ数は最小で済む。例えば2時間で通過するエリアでは2分間隔で120人分の時空間軌道データが収集できればよい。このとき、T=60なのでSのサイズは120×120となり、正則になることが可能である(図6を参照)。
一方、この収集する時間間隔MDをMD=2よりも大きくすると、それだけ予測における時間分解能が低下するため、危険予知の観点ではあまり好ましくない。また、通過する時間が小さければ正則化可能な範囲で無制限にデータ数を下げてよいかというとそうではない。本来、PTデータベースを最大限に有効活用するには、走行時間帯以外の人の動きも学習した上で予測するべきである。
すなわち、ある時刻の人の流れにはそれを含む24時間全ての各人の位置情報が関与していると考えるほうがより精度が高い予測を得られる可能性がある。そこで、次の方法(B)に至る。
(B)「学習対象とする時刻を走行予定経路の時間帯を中心に可変密度で選択する」
走行時間帯におけるデータを高い時間密度(理想的には1分間隔)でサンプルし、その他の時間帯では低い時間密度でサンプルすることにより、(A)よりも広い時間範囲の軌道データを学習することができる(図5を参照)。ただし、走行時間帯のサンプル時刻数と走行時間帯以外のサンプル時刻数の配分(サンプリングの密度関数)は設計者の知見に基づいて任意に設定できる(図6を参照)。
正則化のための制約条件は、全体のサンプル数Tに対してKmin=2T以上の人数の軌道データを学習することである。例えば、なるべく多くの人が大きな移動を行っている時刻あるいはその移動の前後の変化点となる時刻(駅の待ち時間など)についてサンプル時刻数を増やし、ある箇所に(学校やオフィスなど)長時間滞留する箇所ではサンプル密度を下げるといった方策が考えられる。
(C)「複数のサンプルパターンで得た学習結果を統合する」
これは、(B)で設定したサンプル時刻のパターンを複数個定義し、各パターンで学習した結果を多変量線形回帰分析の線形性により合成するというものである。これにより、異なる移動パターンを持つ集団を異なるサンプルパターンで学習し、個々の学習結果を重ね合わせることが可能になるため、(B)よりもさらに柔軟な適応化ができると考えられる。
以上、(A),(B),(C)の何れを選択するかは個々の予測ケースに応じて経験的に決める。
[4−1−8. 類似エリアの利用]
対象とするエリアAのPTデータが少ない場合、上記のように状態行列の次元を低次元化する方法もあるが、類似エリアA’のデータで代用することも考えられる。類似エリアであるかどうかの判定は、エリア内の歩行者属性ごとの集計人数の時間変化パターンが対象エリアと類似しているかどうかを時系列相関の値と平均値の近さで判定する。AとA’はその道路構造と集客施設の配置において差異があると考えられるが、主要な道路リンク(駅から学校までの道、銀行までの道、病院までの道など)についてエリア中心から集客施設までの距離の差が或るしきい値以下の場合のみAとA’を対応付け、A’のリンク上に時刻t’に存在する人の流れの進度r(0以上1以下)をAの道路リンク上の進度rに対応させ、その位置座標x(r)において時刻t’に歩行者が存在したという擬似データを生成することで擬似的な学習データとする(図7を参照)。
[4−2. 歩行者確信度の予測]
[4−2−1. 自車走行経路の設定]
自車の走行経路は、上記の対象エリアからあまり外れない範囲で自由に設定できる。
[4−2−2. 歩行者経路のモデル化]
上記の自車走行経路上の個々の代表点を通過しうる歩行者の経路を設定し、その全ての経路について歩行者確信度の総和を取る。歩行者の移動経路をこのようなモデルで設定すると、道路構造や地理条件がない場合でも大まかに危険範囲内の確信度を算出できる。
[4−2−3. 歩行者確信度の算出]
上記の70次元の属性について個々の属性で規定される歩行者がどの程度の確信度で想定経路を通過したかは、回帰係数行列Bの線形性に基づき、走行予定経路上の上記代表点について設定した状態ベクトルXsにBの部分行列Bsを作用させることで求められる。また、全ての属性についてその総和をとれば、或る代表点において遭遇する歩行者の全確信度(ただし、相対値)を確率的な出現頻度として算出できる。これが、最も簡単な危険度の予測値(単純危険度)となる。
[4−2−4. 歩行者属性に応じた危険範囲の適応化]
代表点を中心とする上記の有限個の歩行者経路モデルは歩行者属性を用いることで動的かつ適応的に生成できる。例えば、年齢が20歳以上25歳までは歩行速度5.0km/h、70歳以上は2.5km/hといったように、年齢によって平均歩行速度に差異を設けることにより、同じ時間範囲に対する危険範囲は2倍程度変わってくる。
[4−3. 危険度の算出]
[4−3−1. 単純危険度]
歩行者出現頻度が高いほど危険度が高いとする危険度を単純危険度と呼ぶことにする。しかし、単純危険度では、次のような場合の危険度を正しく表現できない。
・歩行者が非常に少ないエリアで想定外の飛び出しがある場合
・車道との距離は近いが、ガードレールや歩道橋、地下道、あるいはビルなどの建造物の内部、車道から見て壁やフェンスの向こう側、違うフロアなどに歩行者がいる場合
・車道が高速道路などのように歩行者が侵入できない構造になっている場合
・横断歩道や信号機などの交通施設が充実している場合
そこで、次の危険度を考える。
[4−3−2. 認知と回避に注目した危険度]
例えば走行予定経路周辺で歩行者の出現頻度が非常に0に近い少数の場合、運転者が想定しないような歩行者出現がなされる場合がある。この“想定外”を認知困難と解釈すれば、それは以下の要因に起因する。
(A)想定困難な統計的出現特性
(a1)出現統計を運転者が全く知らない場合
(a2)出現統計そのものがモデリング不可能で乱数に近い場合
例えば住宅街などでは、歩行者の出現箇所が特定困難であり、要注意である。
(B)認知困難な周囲環境(死角からの飛び出し、隠れからの出現など)
(C)認知困難あるいは予想困難な歩行者挙動
すなわち、認知困難という状況を生み出すのは、「認知対象側(歩行者など)」と「認知する側(運転者)」の両方が作用した結果と考えられる。しかし、実際はこれらの認知困難の大半が運転者側のヒューマンエラーであるとして処理されるため、危険予知に関する研究の多くがヒューマンエラーの検出を主たるテーマとしてきた。ところが、実際上は仮に運転者が完璧であったとしても回避できない状況が存在する。例えば直前の子供の飛び出しなどがそれに相当する。
そこで、歩行者、車載装置、運転者という3つの視点で認知と回避の可能性を表すと次のような項目が定義できる。
R:歩行者の車両に対する認知可能性
A:歩行者が車両を回避できる可能性(車両の認知は完全に行われていると仮定)
R:車載装置の歩行者に対する認知可能性
A:車両が歩行者を回避できる可能性(歩行者の認知は完全に行われていると仮定)
R:運転者の歩行者に対する認知可能性
A:運転者が歩行者を回避できる可能性(歩行者の認知は完全に行われていると仮定)
これらの各要因を確率値とみなし、0から1の間の値で表現すると、例えば下式(1)により、認知可能性と回避可能性に注目した危険度を最小値0、最大値100として算出できる。ここで、wX(X=P,V,D) は荷重係数である。
これを、RA−PVD危険度と呼ぶことにする。RA−PVD危険度は単純危険度Rとマージして複合危険度を構成する。最も簡単な例として、下式(2)を複合危険度とすることが考えられる。
all = R + RRA-PVD ・・・(2)
以下、RA−PVD危険度を変化させる要因を列挙し、簡単に説明する。
[4−3−3. 車両要因]
(1)自車速度
一般に、車両の速度が高速であるほど上記のP,V,Dに起因する認知可能性と回避可能性は低くなり、RA−PVD危険度は増大する。
(2)車両の形状・大きさ・重量
車両の大きさや重量は衝突断面積と運動エネルギーの観点から、建造物の破壊や人体の損傷の度合いに影響するとともに、RA−PVD危険度を変化させる。その他、以下の項目も類似の傾向がある。
・車体形状、タイヤの大きさ
・車両構造上の死角(後方、測方、他)
(3)その他
以下の項目は特に回避可能性に影響を与える。
・整備不良、違法改造、故障、装備不良(チェーン他)
[4−3−4. 道路環境要因]
[4−3−4−1. 道路要因]
(1)道路幅
人の流れが大きい場所では一般に道路幅が広く、歩道やガードレール、信号機なども整備されているケースが多い。そのようなエリアでは見通しもよく、認知困難性に基づく事故発生の確率は比較的低い。ただし、人の流れが大きい道路は集客性の高い施設(駅、学校、病院など)への収束路でもあるので、それに至る支流で道幅の狭い道路、見通しの悪い交差点などは認知困難な歩行者出現が起こる可能性がある。したがって、道路幅が大きいと単純危険度は大きくなる傾向にあるが、道路幅が小さいとRA−PVD危険度を増大させると考えられる。
一方、車両側から見ると走行経路上の分岐道路の幅は車両制御や認知判断に影響を与えるため、これもRA−PVD危険度に影響を与える。
また、等価的に実効的な道路幅を狭める要因として、障害物、駐車車両、対向車、街路樹、交通標識などが上げられる。
(2)路面状況
路面状況が悪いと、認知、回避の両面に悪影響を与えるため、RA−PVD危険度は増大する。雪道、雨、凍結、台風、がけ崩れ、増水、冠水などに起因した、「滑りやすい」、「見通しがきかない」、「運転困難」などの状況がそれに相当する。
(3)交差点形状
勾配が大きいほどRA−PVD危険度は増大すると考えられる。
分岐数が大きいほどRA−PVD危険度は増大すると考えられる。
(4)その他
曲率、道路標示の有無、側溝の有無、路肩幅員などが要因としてあげられる。
[4−3−4−2. 交通施設]
次のような交通施設がある場合は、歩行者と走行経路との時空間距離が小さくても、複合危険度を小さく設定できる。
(1)信号機
信号機がない場合、歩行者側の横断判断に委ねられるが、この場合、単純に考えれば、出現頻度が高いほど事故発生確率は高いはずである。ところが、運転者側がある程度の認知判断能力を有する場合が大半であるので、出現頻度が高くても大抵の場合は衝突が回避される。出現頻度が高いことが逆に運転者側の注意を喚起するというしくみも作動する。すなわち、単純危険度の増大がRA−PVD危険度を減少させるケースとなる。
(2)ガードレール
回避可能性は上がるが、認知可能性は低下する。一般的には前者の効果が大きく、総合的にはRA−PVD危険度は下がると見られる。ただし、車両速度や道路幅、車両の大きさおよびヒューマンエラーによって危険度は増大する。
(3)歩道
歩道がない場合よりはあるほうがRA−PVD危険度は小さくなる。
(4)歩道橋
ほぼ危険度は0に近くなる。
(5)横断歩道
横断歩道がない場合よりはあるほうがRA−PVD危険度は小さくなる。
(6)地下道
ほぼ危険度は0に近くなる。
(7)その他
標識、ミラー、遮断機の有無あるいは不良状態が危険度に影響する。
[4−3−5. 交通状況要因]
交通量、渋滞、車線内の位置関係、救急車両の有無、不当な追い越し、ふらつき、大型車両による死角や二輪車による死角からの出現、蛇行運転、取り締まりの有無、信号のタイミングなどが危険度に影響を与えると考えられる。
[4−3−6. 地理的要因]
建物、山、川、街路樹、起伏、海岸、湖岸、平地、田園、住宅街、観光地、城、官公庁、会社、工場、駅、港、公園、病院、学校、スクールゾーン、商店街、銀行、ショッピングセンター、都市構造などをキーワードとして認知可能性、回避可能性、人の流れなどに影響を与え、危険度を変化させると考えられる。
[4−3−7. 地理的要因]
(1)出現形態
これは上述の「人の流れ」で扱われているので省略する。
(2)挙動・行動
人の動き、歩行速度、動作、違法性、飛び出し、ふらつき、不注意、行動特性(特に児童や不審者など予想がつきにくい者)などをキーワードとして危険度に影響を与える。
(3)集団としての特性
通学団、通勤集団、都市部の回遊行動、デモ、パレード、行列、イベントへの集結、デパートや駅への入出の群れなどをキーワードとして危険度に影響を与える。
(4)個人の属性(プロファイル)
歩行者の特徴を記述する属性情報として、年齢、性別、住所、職業、目的、交通手段、視力、聴力、体格、性格、趣味などがあげられる。これらはいずれも危険度に影響を与えるが、プライバシーに比較的影響の少ない範囲で収集可能な属性はすでに上述したようにPTデータに記載されている{年齢、性別、住所、職業、目的、交通手段}である。これらはすでに上記で扱っているので割愛する。
[4−3−8. 車室内の人的要因]
(1)運転者
運転者のヒューマンエラーに関してはすでに多くの研究業績があるので本実施形態では直接扱わない。危険度に関連するキーワードは、高齢者、情報不足、安全確認不履行、運転技量、無免許、ミラー確認不履行、挙動の違法性、飲酒運転、体調不良、睡眠不足、精神状態、あせり、急ぎ、思い込み、アクセル・ハンドル・ブレーキの誤操作、などである。さらに、上述の歩行者要因で述べたのと同様の個人属性(プロファイル)も影響する。
(2)搭乗者
子供、高齢者、シートベルト、などが危険度に関連するキーワードとなる。さらに、上述の歩行者要因で述べたのと同様の個人属性(プロファイル)も影響する。
[4−4. 軌道の予測への応用]
上述の[4−1−6. 回帰係数行列の推定]で得られた回帰係数行列Bを走行予定経路のみならず対象エリアの全域にわたって適用すれば、状態行列Xの列サイズ2Tの半分に割り当てられたT個のサンプル時刻について、70次元の歩行者確信度ベクトルの空間分布が得られる。この段階では個々の確信度ベクトルは複数の歩行者を複合して表しているため、個々の歩行者の時空間軌道を再現することはできていない。しかし、ある時空間範囲(例えば上述の走行経路周辺の危険範囲)内の歩行者確信度ベクトルc(70×1)について「20代、女性、買い物目的、会社員」といった歩行者クラスを表す70次元の確信度ベクトルcqとの内積で表される評価関数p=cTqを用いて各時刻のpが極大値を取る位置座標を連結し、時空間的に連続な点列が抽出できれば、それは「20代、女性、買い物目的、会社員」である歩行者の時空間軌道の候補とすることができる(図8を参照)。
[5. 効果]
本実施形態の危険予知システム1では、過去において歩行者が移動した移動経路の位置を示す移動経路位置と、移動経路位置に歩行者が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および歩行者の属性を示す歩行者属性データが、複数の歩行者毎に記憶された人流れデータベース12を用いて学習した学習結果を取得し(S40,S90)、走行予定経路上の代表点QI(I=1,2,・・・・,IQ)と通過時間が指定された場合に、学習結果に基づいて、代表点QIにおいて歩行者が出現する可能性を示す全歩行者確信度CIを予測する(S100〜S220)。
このように構成された危険予知システム1では、過去における歩行者の時空間軌道データを学習して、指定された時間と位置において歩行者が出現する可能性を予測する。このため、時間と位置が指定されれば、危険予知システム1の使用者は、時間と位置が指定された時点で、指定された時間および位置において歩行者が出現する可能性を知ることができ、歩行者の出現に対して十分な余裕を持って対処することができる。
また危険予知システム1は、歩行者属性が歩行者の確信度を構成すると仮定し、その確信度が時間と位置を説明変数として推定されるというモデルにより学習し、代表点QIにおける全歩行者確信度CIを算出する。このため運転者は、走行予定経路上において歩行者が出現する可能性を、代表点QIが指定された時点で知ることができ、車両走行中において、歩行者の出現に対して十分な余裕を持って対処することができる。
また危険予知システム1は、代表点QIに接続するNI本の道路を選択し、各道路に沿ってMI分の歩行範囲でRI個の時空間点で確信度を算出し(S200)、RI個の時空間点での確信度の総和を単純危険度として算出する(S220)。これにより、走行予定経路上の代表点QIだけではなく、走行予定経路周辺における歩行者の存在を考慮して、歩行者が出現する可能性を予測することができる。
そして危険予知システム1は、性別、年齢、および交通手段で構成するクラスに応じたMI分の歩行範囲でRI個の時空間点を設定する(S160)。これにより、単純危険度を算出するために用いられる、走行予定経路周辺の範囲を、歩行者の性別、年齢、および交通手段に応じて適切に設定することができる。
また危険予知システム1は、抽出したデータが学習データ量として十分でない場合には(S50:NO)、走行時間帯において、その他の時間帯よりも高い時間密度でサンプリングすることによって、回帰分析の状態行列を低次元化することで学習する(S80)か、エリア内の歩行者属性ごとの集計人数の時間変化パターンが類似している他のエリアでのデータを人流れデータベース12から抽出して、抽出したデータを用いて学習する(S70)。これにより、学習データが十分でない場合であっても予測を行うことが可能となる。
以上説明した実施形態において、危険予知システム1は本発明における予測システム、人流れデータベース12は本発明における移動体データベース、S10〜S90の処理は本発明における取得手段、S100〜S220の処理は本発明における予測手段、S220の処理は本発明における危険度算出手段である。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
1…危険予知システム、10…データベース部、11…カーナビゲーション装置、12…人流れデータベース、13…検索インターフェース、14…時空間軌道データ抽出・加工部、20…学習部、21…データ学習部、22…予測特性データベース、23…予測特性制御部、30…条件設定部、31…予測条件設定部、32…走行予定軌道マッピング部、40…予測部、41…歩行者経路推定部、42…歩行者確信度算出部、43…時空間距離計算部、44…危険度算出部、45…報知部

Claims (6)

  1. 過去において移動体が移動した移動経路の位置を示す移動経路位置と、前記移動経路位置に前記移動体が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および前記移動体の属性を示す移動体属性データが、複数の前記移動体毎に記憶された移動体データベース(12)を用いて学習した学習結果を取得する取得手段(S10〜S90)と、
    時間と位置とを示す時空間点が指定された場合に、指定された前記時空間点を指定時空間点とし、前記取得手段により取得された学習結果に基づいて、前記指定時空間点において前記移動体が出現する可能性を予測する予測手段(S100〜S220)とを備える
    ことを特徴とする予測システム(1)。
  2. 前記移動体は人間であり、
    前記学習結果は、
    前記人間の存在と属性に関する確信度が時間と場所に回帰すると仮定した回帰分析により学習した結果であり、
    前記予測手段は、車両が走行を予定している経路である走行予定経路の少なくとも一部を前記指定時空間点とし、前記指定時空間点において前記人間が出現する可能性として前記確信度を算出する
    ことを特徴とする請求項1に記載の予測システム。
  3. 前記予測手段は、前記走行予定経路のうち前記指定時空間点として指定された部分を含む予め設定された時空間範囲内の複数の前記時空間点で前記確信度を算出し、
    前記複数の前記時空間点で算出された前記確信度の総和を危険度として算出する危険度算出手段(S220)を備える
    ことを特徴とする請求項2に記載の予測システム。
  4. 前記予測手段は、
    性別、年齢、および交通手段で構成するクラスに応じて前記時空間範囲を変化させる
    ことを特徴とする請求項3に記載の予測システム。
  5. 前記取得手段は、
    前記時空間範囲内において学習対象となる前記移動体の数が少ない場合には、前記時空間範囲の時間帯において、その他の時間帯よりも高い時間密度でサンプリングすることによって、前記回帰分析の状態行列を低次元化することで学習し、この結果を前記学習結果として取得する
    ことを特徴とする請求項3または請求項4に記載の予測システム。
  6. 前記取得手段は、
    前記時空間範囲内において学習対象となる歩行者の数が少ない場合には、前記歩行者の移動パターンが前記時空間範囲と類似する他のエリアでのデータを前記移動体データベースから抽出して、抽出したデータを用いて学習し、この結果を前記学習結果として取得する
    ことを特徴とする請求項3または請求項4に記載の予測システム。
JP2012065585A 2012-03-22 2012-03-22 予測システム Expired - Fee Related JP5838879B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012065585A JP5838879B2 (ja) 2012-03-22 2012-03-22 予測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012065585A JP5838879B2 (ja) 2012-03-22 2012-03-22 予測システム

Publications (2)

Publication Number Publication Date
JP2013196601A true JP2013196601A (ja) 2013-09-30
JP5838879B2 JP5838879B2 (ja) 2016-01-06

Family

ID=49395406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012065585A Expired - Fee Related JP5838879B2 (ja) 2012-03-22 2012-03-22 予測システム

Country Status (1)

Country Link
JP (1) JP5838879B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106414221A (zh) * 2014-05-08 2017-02-15 沃尔沃汽车公司 用于提供对象预测表示的方法
CN107010086A (zh) * 2017-03-29 2017-08-04 宁夏凯速德科技有限公司 高铁线路安全控制方法及系统
US10166677B2 (en) 2014-12-26 2019-01-01 Honda Motor Co., Ltd. State prediction system
JP2019125261A (ja) * 2018-01-18 2019-07-25 日本電信電話株式会社 データ作成装置、パラメータ推定装置、経路別人数推定装置、データ作成方法、パラメータ推定方法、経路別人数推定方法及びプログラム
JP2019149855A (ja) * 2018-02-26 2019-09-05 日本電気株式会社 情報処理装置
JP2020066365A (ja) * 2018-10-25 2020-04-30 国立研究開発法人宇宙航空研究開発機構 予測装置、予測方法、及び予測プログラム
WO2020136978A1 (ja) * 2018-12-27 2020-07-02 本田技研工業株式会社 経路決定方法
CN112215423A (zh) * 2020-10-13 2021-01-12 西安交通大学 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统
KR20210034096A (ko) * 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
JP2022009309A (ja) * 2018-01-18 2022-01-14 日本電信電話株式会社 パラメータ推定装置、経路別人数推定装置、パラメータ推定方法、経路別人数推定方法及びプログラム
CN114241765A (zh) * 2021-12-15 2022-03-25 重庆中信科信息技术有限公司 基于时空逻辑的定向车道交通违法分析方法、装置及存储介质
US11645916B2 (en) 2017-12-18 2023-05-09 Hitachi Astemo, Ltd. Moving body behavior prediction device and moving body behavior prediction method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101785823B1 (ko) * 2016-01-31 2017-10-16 광운대학교 산학협력단 빅 데이터 기반 위험 예측 장치 및 방법
KR20180051838A (ko) 2016-11-09 2018-05-17 삼성전자주식회사 보행자 및 차량의 탑승자에게 상대방의 접근을 알리는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003318792A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 到来波方向推定装置及びこの到来波方向推定装置を具備する受信装置
US20050073438A1 (en) * 2003-09-23 2005-04-07 Rodgers Charles E. System and method for providing pedestrian alerts
JP2006330822A (ja) * 2005-05-23 2006-12-07 Equos Research Co Ltd 車載装置
JP2009014440A (ja) * 2007-07-03 2009-01-22 Ntt Docomo Inc 危険度通知システム、サーバ装置及び危険度通知方法
WO2009128398A1 (ja) * 2008-04-15 2009-10-22 日本電気株式会社 移動体警告装置、移動体警告方法および移動体警告プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003318792A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 到来波方向推定装置及びこの到来波方向推定装置を具備する受信装置
US20050073438A1 (en) * 2003-09-23 2005-04-07 Rodgers Charles E. System and method for providing pedestrian alerts
JP2006330822A (ja) * 2005-05-23 2006-12-07 Equos Research Co Ltd 車載装置
JP2009014440A (ja) * 2007-07-03 2009-01-22 Ntt Docomo Inc 危険度通知システム、サーバ装置及び危険度通知方法
WO2009128398A1 (ja) * 2008-04-15 2009-10-22 日本電気株式会社 移動体警告装置、移動体警告方法および移動体警告プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
笹木美樹男: "人の時空間分布を予報するシステム", 電子情報通信学会技術研究報告 ITS2010-76, vol. 110, no. 469, JPN6015007126, 4 March 2011 (2011-03-04), JP, pages 53 - 58, ISSN: 0003012730 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10435017B2 (en) 2014-05-08 2019-10-08 Volvo Car Corporation Method for providing an object prediction representation
CN106414221A (zh) * 2014-05-08 2017-02-15 沃尔沃汽车公司 用于提供对象预测表示的方法
CN106414221B (zh) * 2014-05-08 2018-09-04 沃尔沃汽车公司 用于提供对象预测表示的方法
US10166677B2 (en) 2014-12-26 2019-01-01 Honda Motor Co., Ltd. State prediction system
CN107010086A (zh) * 2017-03-29 2017-08-04 宁夏凯速德科技有限公司 高铁线路安全控制方法及系统
US11645916B2 (en) 2017-12-18 2023-05-09 Hitachi Astemo, Ltd. Moving body behavior prediction device and moving body behavior prediction method
JP2019125261A (ja) * 2018-01-18 2019-07-25 日本電信電話株式会社 データ作成装置、パラメータ推定装置、経路別人数推定装置、データ作成方法、パラメータ推定方法、経路別人数推定方法及びプログラム
JP2022009309A (ja) * 2018-01-18 2022-01-14 日本電信電話株式会社 パラメータ推定装置、経路別人数推定装置、パラメータ推定方法、経路別人数推定方法及びプログラム
JP7294383B2 (ja) 2018-01-18 2023-06-20 日本電信電話株式会社 パラメータ推定装置、経路別人数推定装置、パラメータ推定方法、経路別人数推定方法及びプログラム
JP2019149855A (ja) * 2018-02-26 2019-09-05 日本電気株式会社 情報処理装置
US11400828B2 (en) 2018-02-26 2022-08-02 Nec Corporation Information processing apparatus
US11860631B2 (en) 2018-08-20 2024-01-02 Waymo Llc Detecting and responding to processions for autonomous vehicles
KR102534960B1 (ko) 2018-08-20 2023-05-26 웨이모 엘엘씨 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
KR20210034096A (ko) * 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
JP7195588B2 (ja) 2018-10-25 2022-12-26 国立研究開発法人宇宙航空研究開発機構 予測装置、予測方法、及び予測プログラム
WO2020085412A1 (ja) * 2018-10-25 2020-04-30 国立研究開発法人宇宙航空研究開発機構 予測装置、予測方法、及び予測プログラム
JP2020066365A (ja) * 2018-10-25 2020-04-30 国立研究開発法人宇宙航空研究開発機構 予測装置、予測方法、及び予測プログラム
JPWO2020136978A1 (ja) * 2018-12-27 2021-09-27 本田技研工業株式会社 経路決定方法
JP7130062B2 (ja) 2018-12-27 2022-09-02 本田技研工業株式会社 経路決定方法
CN113242998A (zh) * 2018-12-27 2021-08-10 本田技研工业株式会社 路径决定方法
WO2020136978A1 (ja) * 2018-12-27 2020-07-02 本田技研工業株式会社 経路決定方法
CN113242998B (zh) * 2018-12-27 2024-04-02 本田技研工业株式会社 路径决定方法
CN112215423A (zh) * 2020-10-13 2021-01-12 西安交通大学 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统
CN112215423B (zh) * 2020-10-13 2023-06-06 西安交通大学 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统
CN114241765A (zh) * 2021-12-15 2022-03-25 重庆中信科信息技术有限公司 基于时空逻辑的定向车道交通违法分析方法、装置及存储介质
CN114241765B (zh) * 2021-12-15 2023-01-03 重庆中信科信息技术有限公司 基于时空逻辑的定向车道交通违法分析方法、装置及存储介质

Also Published As

Publication number Publication date
JP5838879B2 (ja) 2016-01-06

Similar Documents

Publication Publication Date Title
JP5838879B2 (ja) 予測システム
Biswas et al. An automatic traffic density estimation using Single Shot Detection (SSD) and MobileNet-SSD
US11216004B2 (en) Map automation—lane classification
US10296795B2 (en) Method, apparatus, and system for estimating a quality of lane features of a roadway
Rankavat et al. Pedestrians risk perception of traffic crash and built environment features–Delhi, India
CN109641589B (zh) 用于自主车辆的路线规划
US9355063B2 (en) Parking lot detection using probe data
JP5246248B2 (ja) 予測装置
US20190094858A1 (en) Parking Location Prediction
CN107305131A (zh) 以节点为中心的导航优化
CN110068343A (zh) 构建和更新多层道路网络高清数字地图的行为层
CN102003965A (zh) 操作导航系统以提供路线指引的方法
CN110851741A (zh) 出租车载客热点识别推荐算法
CN102003964A (zh) 操作导航系统以提供路线指引的方法
Apardian et al. An analysis of pedestrian crashes using a spatial count data model
US20220194426A1 (en) Method and apparatus for increasing passenger safety based on accident/road link correlation
US20210270629A1 (en) Method and apparatus for selecting a path to a destination
JP6272198B2 (ja) 移動可能領域データ生成システムおよび交通行動推定装置
Lian et al. Advances in estimating pedestrian measures through artificial intelligence: From data sources, computer vision, video analytics to the prediction of crash frequency
Bomberg et al. Incorporating user based perspective of livability projects in SF-CHAMP mode choice models
Iwanski et al. A computational model for predicting the location of crime attractors on a road network
US11473928B2 (en) System and method for generating origin-independent access maps
Lee et al. Generating Route-Level Mutually Exclusive Service Areas: Comparative Study of Alternative Methods
Chae Simulation of Pedestrian-vehicle Interactions at Roundabouts.
CN102235868A (zh) 操作导航系统以提供路线指引的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151026

R151 Written notification of patent or utility model registration

Ref document number: 5838879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees