JP2012117829A - 予測装置 - Google Patents
予測装置 Download PDFInfo
- Publication number
- JP2012117829A JP2012117829A JP2010265138A JP2010265138A JP2012117829A JP 2012117829 A JP2012117829 A JP 2012117829A JP 2010265138 A JP2010265138 A JP 2010265138A JP 2010265138 A JP2010265138 A JP 2010265138A JP 2012117829 A JP2012117829 A JP 2012117829A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- information
- frequency
- occurrence frequency
- recognizer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 38
- 238000012545 processing Methods 0.000 description 38
- 239000011159 matrix material Substances 0.000 description 16
- 230000006872 improvement Effects 0.000 description 13
- 239000000523 sample Substances 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 241000282414 Homo sapiens Species 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012314 multivariate regression analysis Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
【解決手段】 過去の発生頻度データを検索し(S170)、FPFPを算出する(S180)。具体的には、予測器の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を{男性、女性、子供、自転車、不明、犬}×{右、左}の合計12種類で考え、歩行者発生頻度の特徴ベクトル(予測の目的変数)を12次元とする。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を{場所、日時、天候}とする。ここで、場所は3次元(それぞれの次元が区間に相当)、日時は{年、月、曜日}の合計22次元、天候は{晴、曇、雨}の3次元とする。そして、この28次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小2乗法で解く。
【選択図】図6
Description
しかしながら、上記特許文献1では、自車情報(特に位置)が基本になっており、車外環境の観測量(歩行者の数や自転車の数など)を用いたものではない。また、車両の移動特性と歩行者や自動車の移動形態、発生形態は異なると考えられ、車両の渋滞予測技術をそのまま歩行者に適用することはできない。
このとき、請求項17に示すように、予測器による予測結果と認識器による画像認識結果との差分が閾値以上の場合、パラメータ設定部が、認識パラメータを修正するようにしてもよい。このようにすれば、認識器の性能改善が図られる。
そこで、請求項18に示す構成を採用することが考えられる。すなわち、アトラクタの情報を取得するアトラクタ情報取得手段と、アトラクタ情報に基づき、当該アトラクタでのオブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備える構成である。
このようにすれば、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。
本実施形態では、想定する時間帯に所定の対象区域である「予測対象区域」(以下、ターゲットともいう)で発生する歩行者の頻度を予測する。
(1)走行予定区域の近隣にある集客施設とその時間挙動を地理的要因および道路要因の観点から考慮し、走行予定時間における予測対象区域での歩行者発生頻度を予測する。
(2)過去の発生頻度に関する統計データから走行予定時間における歩行者発生頻度を予測する際に、プローブカーで集めた認識器の結果を用い、人手による正解データの入力を最小にとどめる。
(3)上記の認識器の結果を用いる際に認識の信頼度に関する情報を考慮する。
(4)走行予定区域を走行した際に得た最新の認識結果と、あらかじめ上記の枠組みで得た歩行者発生頻度との間の差分情報を評価することにより、認識器と予測器の性能を改善する。
主として車載カメラの視野内にあるオブジェクト(自転車、歩行者、動物)を検出し、特にカメラに接近するオブジェクトについてドライバーに警報を発するような運転支援装置に応用する。アプリケーションプログラムとして、大きく分けると、次の3つが考えられる。
複数のセンサが得た情報を共有することにより、人や自転車の発生を予測する。これによって指定場所での人の発生頻度を天気予報のように前もって予測し、都市情報として活用する。
人予報の結果、対象地域を通過する前に注意、危険回避、装置設定、旅行計画変更、運転者変更(運転計画)を行うことが可能になり、予防安全を促進することができる。すなわち、最終的に事故を低減させるという観点から言えば、単に認識結果を赤枠で表示したり、警告を発したりするだけではなく、運転支援という立場であらかじめ危険を回避するように情報を提供する。
上記の予測結果とプローブカーによる認識結果を通信手段で連携させることにより、認識性能を改善させる。
(2)通信で外部の処理装置とつながることで演算量や処理内容を向上させ、認識機能を改善させる。
(4)その地域や時間、天候にあった認識パラメータを通信で獲得し、認識性能を適応化させる。
最初に、考えられる予測式について説明しておく。
センシング装置(ソース)、時間帯、地点に対応して認識結果の信頼度を決め、信頼度と認識結果を地図データ上に記憶し、その時空間分布から走行予定区域における歩行者発生頻度を予測する。
FRWPは、自車または現在地から予測対象位置xまでの走行経路周辺で得られる画像認識結果から算出したx上の予測発生頻度である。
さらにまた、FPFPは、過去の統計データに基づいて場所x状況sにおける発生頻度を予測した結果である。
なお、Λは上記の4つの発生頻度行列からひとつの発生頻度行列を作成する関数であり、もっとも簡単なものは次式で表現される。
もっとも容易に実現できる予測方式は、次のようなものである。
過去の統計データがすでにある場合は、FPFP用いることで、次のように表現することができる。
[3−3.予測方式3]
ターゲットまでの距離が近く、しかも発生頻度がターゲットまでの移動時間内にあまり変動しないような場合はターゲット周辺に存在する認識器の結果に重点をおき、次のような式で表現可能である。
FRWPに関しては、ターゲットとは異なる地点の時空間点で観測された発生頻度とターゲットでの発生頻度との間の相関を計算することとなり、問題はFPFPと同様になる。そこで、本実施形態では主として式4を用いて説明を行う。
また、本システムの予測器に用いる情報は次のソースから提供されることを想定する。
(1)車両(予測装置)
予測装置は、3つのタイプで構成することができる。
(1−2)タイプ2:予測器のみを具備し、センタと通信を行うもの。
(1−3)タイプ3:センタから配信される情報を受信して報知を行うもの。
センシングした位置情報と記憶した個人プロファイル情報とを周囲の車両又はセンタに送信する。これによって、画像処理などのセンシングによっては困難な歩行者情報(性別、年齢、目的地など)を高い信頼度で地図上にマッピングすることができる。この端末によって他の歩行者をセンシングすることも不可能ではない。ただし、端末の持ち主の歩行状態を発信する手段として用いることが一般的である。
車両などの移動体から歩行者をセンシングする場合に比べて、位置が固定されており、背景の動きも少ないので歩行者の認識率は一般に車両の場合よりも高い。したがって、予測の信頼度も高くなる。一方で、コスト面から設置件数や設置場所が限られるため、予測できる対象区域も限定される。
図1に、タイプ1の予測装置10のブロック図を示す。
予測装置10は、主として、送受信部20と、ナビゲーション装置30と、認識器40と、予測器50と、記憶部60とを備えている。
ナビゲーション装置30は、報知部31、アトラクタ情報32を有しており、予測器50と接続されている。報知部31は、運転者への報知を行うためのディスプレイやスピーカなどで構成される。アトラクタ情報32については、後述する。
記憶部60は、変換部44からの情報を記憶するための記憶媒体である。
撮像部41は、車載カメラとして具現化され、認識器40に対し、画像データを送出する。パラメータ設定部42は、認識器40に対し、画像認識のための認識パラメータを設定する。パラメータについては後述する。評価部43は、予測器50からの出力と認識器40からの出力とを比較して評価するための構成である。評価部43では、具体的には、予測器50からの出力と認識器40からの出力との差分情報を算出する。この差分情報は、変換部44で変換された後、記憶部60及び演算部45へ送出される。
予測器50は、歩行者発生頻度を予測するための構成である。予測器50は、センタ70から送信されてくる情報を、ナビゲーション装置30を介して取得し、当該情報に基づく予測を行う。また、予測器50は、記憶部60に記憶される画像認識結果に基づく予測を行う。
予測装置11は、主として、送受信部20と、ナビゲーション装置30と、予測器50と、記憶部60とを備えている。予測装置10と異なるのは、認識器40及びこれに付随する構成を有していないことである。なお、それ以外の構成については予測装置10と同様となっているため、説明を割愛する。
予測装置12は、受信部21と、ナビゲーション装置30と、報知部31とを備えている。この場合、予測器50さえ有していないため、センタ70からの受信動作のみを行う。具体的には、センタ70から、場所や歩行者の発生頻度を示す予測頻度などの予測情報を受信する。
図4に、センタ70のブロック図を示す。
センタ70は、受信部71、要求処理部72、検索部73、結果処理部74、記憶部75、大規模予測部76、及び、配信部77を備えている。
要求処理部72は、予測装置10,11から所定情報の送信要求などがあると、検索部73へ当該情報の検索を指示する。
大規模予測部76は、記憶部75に構築される時空間データベースを利用し、歩行者の発生頻度にかかる大規模な予測演算を行う。予測演算の結果は「予報」として、記憶部75に記憶されると共に、配信部77へ送出される。
なお、ここでは、予測装置10,11からセンタ70への情報送信について説明したが、携帯電話機やPCなどの無線通信端末、及び、定点観測インフラ(交差点カメラなど)からもセンタ70へ情報送信されることとしてもよい。
[7.予報処理]
図5、図6、図7は、予測装置10にて実行される予報処理を示すフローチャートである。なお、この予報処理は、図5中にB10で示す「FATRの算出に関する処理」、図6中にB20で示す「FPFPの算出に関する処理」、及び図7中にB30で示す「認識器40の性能向上に関する処理」に大別される。そこで、以下では、全体の流れを一通り説明した後、これらのB10〜B30のブロックごとに詳細な説明を加える。
最初のS100では、ナビ走行予定経路を取得する。この処理は、ナビゲーション装置30にて実行されるものであり、ユーザによって設定された走行予定経路が取得される。
続く図6中のB20では、FPFPを算出し(S180)、B10にて算出されたFATRと合成して(S190)、予測対象区域での歩行者発生頻度を予測して報知する(S200)。
そして、S310では、画像認識結果からアップロード情報を生成する。この処理は、図1中の情報生成部46の機能として実現される。次のS320では、アップロード情報をセンタ70へ送信する。
図5中のB10に示すように、S120では、センタ70を利用するか否かを判断する。ここでセンタ70を利用しない場合(S120:NO)、S130へ移行する。一方、センタ70を利用する場合(S120:YES)、S140へ移行する。
センタ70を利用する場合に移行するS140では、現在地及び走行予定経路をセンタ70へ送信し、アトラクタ情報を要求する。これにより、センタ70は、アトラクタ情報を送信してくる。そこで、S150では、センタ70からのアトラクタ情報を受信する。その後、S160へ移行する。
[7−2−1.FATR算出処理]
続けて、図8のフローチャートに基づき、FATR算出処理を説明する。
次のS410では、アトラクタを探索してリスト化する。この処理は、予測対象区域$L(xk)周辺のアトラクタを探索し、i=1,・・・,Ikの番号を割り当てて、リスト化するものである。例えば、図10に示すように、病院A1、銀行A2、地下鉄駅A3、ショッピングセンタA4としてリストアップされる。
次のS430では、アトラクタの番号iをインクリメントする。これにより、アトラクタA1から処理が開始されることになる。
次のS450では、処理対象のアトラクタに起因する予測頻度を算出する。この処理は、Aiに起因する$L(xk)上の予測頻度FATR(xk,sl|Ai)を算出するものである。
次のS470では、全てのアトラクタを処理したか否かを判断する。ここで全てのアトラクタについて処理したと判断された場合(S470:YES)、FATR算出処理を終了する。一方、処理していないアトラクタがあるうちは(S470:NO)、S430からの処理を繰り返す。
最初のS451では、矩形波を設定する。この処理は、平均収容人数N0(i)を高さとする矩形波ΓTGiを設定するものである。
続くS453では、リンクをリストアップする。この処理は、n番目の分岐$Bnと(n+1)番目の分岐$Bn+1の間のリンク$Lnをリストアップするものである。なお、ここでn=1,・・・,N−1である。
続くS455では、リンク番号nをインクリメントする。これにより、リンク$L1から処理が開始されることになる。
アトラクタは、例えば、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園など、集客力があり、人の流出入を駆動する要素である。このアトラクタについて十分な地理情報(地図情報やWeb情報など)があれば、歩行者の発生頻度に関して一次予測が行える。
(1)アトラクタのサービス時間帯(学校ならば登下校時間)。
(2)アトラクタの周辺の地図情報(特に位置とアクセス情報)、道路情報。
(4)アトラクタに出入りする人の移動度(歩行者、自転車)。
アトラクタは、次の2種類のカテゴリによってクラス分類することができる。
(1)平均利用時間
A1クラス:4時間以上(例えば、学校、オフィスビル、駅など)
A2クラス:2時間〜4時間(例えば、病院、ショッピングセンタ、映画館、スポーツ施設など)
A3クラス:1時間〜2時間(例えば、銀行、店、レストランなど)
A4クラス:1時間未満(例えば、コンビニ、郵便局など)
(2)手段(経由地)であるか目的地であるか。
B2クラス:利用時間がさだまっていない目的地(例えば、病院、ショッピングセンタ、映画館、スポーツ施設、コンビニ、郵便局、レストラン、店、銀行など)
B3クラス:利用時間がさだまっていない経由地(例えば、駅、バス停など)
アトラクタの機能する時間のうち、人の出入りの激しい時間帯を活性化時間と呼ぶことにする。特にそれがアトラクタ側で定めた時間帯である場合、それをタイムゲートと呼ぶことにする。
上記のアトラクタに付随するタイムゲート(以下、適宜「TG」と記載する)を高さ「1」の矩形波と考える。これを基本波形としてアトラクタ中に存在する歩行者頻度を高さとする波(歩行者発生頻度の確率波)を定義する。
(1)TGが定義される場所(アトラクタ)
(2)TGを通過しようとするオブジェクトのカテゴリ(子供、自転車など)
(3)オブジェクトOj存在する(通過する)と想定される場所x(Oj)とアトラクタAiが存在する場所x(Ai)との間の経路
(4)オブジェクトの種類(歩行者、自転車、他)に応じた移動度
例えば、自転車は歩行者の3倍の移動度と仮定すると、想定区域(ターゲット)内における所定時間内の発生頻度は自転車のほうが1/3となる。
次に複数のアトラクタの影響を考察する。複数のアトラクタ{A1,・・・,Ai,・・・AIk}が走行予定位置xkの近隣に存在する場合、Aiで駆動される矩形波ΓTGiがアトラクタAiにいたるルートに逆伝播し、予測対象区域上では複数のアトラクタから逆伝播したΓTGiの合成波形として人発生頻度が予測される。
本実施形態でいう人の移動度は、大きく分けて次の2種類である。
(1)歩行者の移動度:μP
(2)自転車の移動度:μB
歩行者は車両に比べて移動度の値および移動範囲は小さいが、移動に際しての自由度が高い。すなわち、追い越しも自由であるし、経路変更も任意である。さらに、車のように車両間の依存関係がない。
TG(Ai)から予測対象区間ターゲットまでの距離とルートとは、ナビゲーション装置30による地図情報やWeb情報に基づき、取得することが可能である。
(R1)歩行者がアトラクタまで歩行によって移動する距離は1km程度とする。
(R2)自転車の場合は移動する距離は最大3km程度とする。
(R4)歩行者の移動度は自転車の移動度の1/3程度となる。
[7−2−7.TGの逆伝播の一例]
図13及び図14に学校をアトラクタとした場合のTGの逆伝播の例を示す。ここでは上記(R4)の制約を用いて30人中15人の生徒(うち12人が徒歩、3人が自転車)が同時に校門をスタートして帰宅する場合を想定し、交差点ごとの分岐で等分されていく仮定の下で、矩形波ΓTGiの伝播の様子をタイムチャートで示す。
アトラクタの位置や機能時間、活性化時間およびTGはWeb情報から得られる場合がある。また、天候、渋滞情報に関する情報も取得できる。
ナビからは{現在位置、進行方向、周辺施設(アトラクタ)の有無、渋滞情報}に関する情報を得ることができる。
次に、図6中のB20で示した「FPFPの算出に関する処理」について説明する。
最初のS170では、過去の発生頻度データを検索する。この処理は、記憶部60に記憶された走行経路上の過去の発生頻度データを検索するものである。
続くS200では、予測頻度を運転者へ報知する。この処理は、ナビゲーション装置30によって、報知部31を介して行われる。
図15に、ユーザの車両Aにおいて、予測対象区域における歩行者発生頻度を提示する際の概略プロセスを示す。ここでは、予測対象区域に向かう車両Aがセンタ70に対して予測に必要な情報を送信し、一方で予測対象区域近辺をAが通過する以前(Aがリクエストを出す以前の過去も含む)に通過して撮像した車両(プローブカー)が画像認識結果に関する情報をセンタ70にアップロードしている様子を示している。このような状況設定のもとで複数のアトラクタとの関係やターゲットに向かう時間経過に応じて歩行者発生頻度が提示される。
図16に実際の実験において設定した予測対象区域の例を示す。図16では、刈谷駅方面から知立駅方面へ走行し、店が立っている交差点を左折したことを示している。このとき、予測対象区域は、高架までの区間1、店までの区間2、店を過ぎた後の区間3として設定した。
ここでは予測器50の出力である予測対象をベクトルとして表現する。図17に予測対象の分類を{男性、女性、子供、自転車、不明、犬}×{右、左}の合計12種類で考えた場合の例を示す。これによって、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル(予測の目的変数)は12次元となる。この特徴ベクトルの定義は、そのまま予測器50の学習においても用いられる。
特徴ベクトルが発生する際に、その説明変数となる状況情報は図17における{場所、日時、天候}である。ここで、場所は3次元(それぞれの次元が区間に相当)、日時は{年、月、曜日}の合計22次元、天候は{晴、曇、雨}の3次元とした。
本実施形態における予測性能は認識器40の性能に大きく影響される。認識器40の性能は、一般に停車時と走行時では異なる。歩行者を含む移動体に関しては停車時のほうが認識率は高いため、停車時の認識結果の信頼度は走行時よりも高い。たとえば「定点(停車時)においては認識率Ri>80、走行時ではRi=60程度」といった例が考えられる。さらには、一般的に走行速度が速いほど、歩行者や自転車に対する相対速度が大きくなり、それらの認識率は低下する。
[7−3−6.信頼度の設定]
認識器40の信頼度については下記のような設定が考えられる。
(2)計測地点ごとに認識率の信頼度を変える。下記の要素が計測地点の環境特徴として認識器40の性能に影響を与えるため、信頼度に変化をもたらす。
・{交差点、単路}
・{商店街、住宅街、オフィス街}
(3)センサ(認識手法を含む)ごとに認識率の信頼度を変える。
例えば、次のカテゴリで走行速度を分類する。[停車、発進、徐行、低速、中速、高速]
[7−3−7.センタへのアップロード]
いま、iをセンシングが行われた地点名の番号とするとき、(xi,si,ri,fi)を予測装置10からセンタ70へのアップロード情報とする。ただし、
xi:地点iの座標
si:地点iの状況
ri:認識器40の信頼度(条件ごとの平均認識率)
fi:予測器50の結果
である。また、siは以下の情報を含む。
(2)道路環境:{交差点, 単路, 駐車場}
(3)走行状態:({停車,発進,徐行,走行中}, 走行速度)
(4)歩行者の存在方向:{右, 正面, 左}
(5)認識結果:{歩行者,自転車,それ以外}
[7−3−8.異なる車両間での認識結果の対応づけ]
図21に示すように異なる車両A,Bが同時に同じ地点の歩行者を観測した場合、歩行者発生の統計量という観点でいえば、Aの画像とBの画像の間で対応付けを行い、重複してカウントすることを防ぐ。ただし、この対応付けを行うには、三次元的な歩行者位置を高精度で獲得する必要がある。一方で、事故発生にいたる危険度という観点では、同じ歩行者に対して観測する車両台数分だけ危険度は増大すると考えることもできる。
(規範1)純粋に歩行者の発生数の統計データの獲得を志向する。
(規範2)上記を危険度に換算して延べ歩行者人数を統計データとする。
一般に、A,Bで同一場所の歩行者群を観測した場合、対応をとることの技術的難易度は高い。そこで、
(1)和をとる方法(延べ人数の算出を行う)
(2)複数の観測値から代表的な値を算出する方法
(2−1)平均値をとる方法
(2−2)最大値を選ぶ方法
(3)高度なバッチ処理を行う方法
が考えられる。
プローブカーに代表される車両(予測装置10)からセンタ70に撮像画像をアップロードし相互利用するという考えに基づくと、センタ70でそのアップロードされた画像群に大規模かつ高度な演算を施し、歩行者その他の認識を行うことは可能である。
次に、図7中のB30で示した認識器40の性能向上に関する処理について説明する。
S240では、認識パラメータを設定する。この認識パラメータは、画像認識のためのパラメータである。
次のS260では、部分領域ごとの発生頻度に変換する。
次のS280では、差分が閾値以下か否かを判断する。ここで差分が閾値以下であると判断された場合(S280:YES)、S290にて信頼度を算出し、S320へ移行する。一方、差分が閾値を上回ると判断された場合(S280:NO)、認識パラメータを修正して、S240からの処理を繰り返す。
予測を目的とする場合は、画像の認識演算は必ずしも車載でリアルタイムに行う必要はない。画像データと位置情報をセンタ70に伝送し、センタ70側で大量に一括処理することも考えられる。また、このような画像伝送に適した認識方式も提案されている。以下では、予測器50と認識器40とのインタラクションを想定した認識器40の性能向上について説明する。
(1)過去のデータに基づく設定
過去のデータから予測した歩行者発生頻度の時空間分布を初期値として、これから行う画像認識のパラメータを設定する。例えば、以下のようにすることが考えられる。
・自転車が多いところでは自転車用の認識パラメータを設定する。
・過去のデータから地図上の位置および撮像画面上の部分領域(図18参照)の位置について重み付けを施す。
(2―1)移動度および移動範囲に基づく設定
自転車と人では移動度と移動範囲が異なるため、発生頻度の分布も異なってくる。この性質を利用して、認識器40及び予測器50を設定する。
オブジェクトの形状、空間スペクトル(DCT係数など)、動き、色などを含む画像特徴およびその時系列変化を特徴ベクトルとする認識特性(多変量回帰分析では回帰係数行列、主成分分析では固有行列がそれに相当する)を利用して、認識器40及び予測機を設定する。
歩行者存在領域(歩道、車道、駐車場、階段など)は一般に統計的に限定することができる。しかし、それらを撮影する車載カメラの位置姿勢は車載カメラの取り付け位置や車の走行状態に応じて変化するために、シーン中での見え方が変化する。ただし、その変化は車載カメラであるがゆえにある程度パターン化できるため、ケースバイケースで画像面上の二次元領域として歩行者存在領域を限定することは、なおも可能である。
特開2009−271758号公報に開示したように、歩行者のタイプに応じた認識特性を選択し、それにあったパラメータを設定することができる。ここでは過去の統計や周囲環境をもとに、たとえば通学児童が多いならばその身長や動きにあった認識パラメータ(DCT係数のAC電力に関する判定閾値や主成分電力の判定閾値、動きの発生状況など)、老人の一人歩きが多いようであればそれにあったパラメータを優先的に設定するなどが考えられる。
いま、ある車両のカメラで撮影した画像において、特開2007−060273号公報及び、特開2007−072987号公報に開示したように、画像中に存在しうるオブジェクトの確信度を画像データ特徴量に対する多変量線形回帰モデルで表現すれば、次式で歩行者認識の結果を算出することができる。
いま、歩行者であるかどうかだけであるならばN=1としてCBは列ベクトルとなり、k行目の成分はk番目の部分領域(たとえば画像中のブロック画素)に映るオブジェクトが歩行者である確信度を表す。もし、N>1の歩行者分類があれば[CB]knは部分領域kにおけるカテゴリnの歩行者(たとえば男性、女性、子供、など)を表す。あるいはN=2として歩行者確信度と非歩行者確信度をn=1,2に割り当てることもできるし、歩行者のカテゴリに方向因子{右、正面、左など}を含めることもできる。ただし、一般に分類のカテゴリが増えるほど認識器40は高い性能が求められるため、現状の画像認識技術では歩行者の有無程度にとどめておくほうが現実的である。
過去の統計に基づく予測頻度の行列FP(KP×M)は多変量回帰予測によれば、次式で表される。
P:回帰係数行列(LP×M)
sP:特徴ベクトル(LP×1)
SP:特徴行列(KP×LP)
である。Pは認識器40の場合と同様に最小二乗法を用いて次式で算出できる。
(2)GTなし、ETあり
(3)GTあり、ETなし
(4)GTとETが混在
これらの場合を統一的に表現するためには、RBの値を認識データに付与すればよい。いま、CBにGTとETが混在している場合、上記式4を想定すると、CBは、次式で表される。
M:地点kにおける部分領域(歩行者が存在しうる領域。図18参照)の最大個数。車道内/車道外、進行方向の右側/左側、などを分類のカテゴリとして部分領域を定義することができる。
fkm:地点kで撮影した画像中のm番目の部分領域で認識された歩行者の数(認識器40が出力した歩行者発生頻度)
である。このYP^を過去の統計データとして予測頻度の行列FPの近似値FP^を算出すると、次式のようになる。
[7−4−5.同一場所のセンシング]
同じ場所と時間における複数の観測値については、各々の観測値に基く確信度をスコアとみなして合計し、平均値あるいは総合点の閾値判定をする。そこで、同じ時空間XTθで撮像される複数の画像(所定区域内Xで同じ時間帯Tに同じ進行方向θで撮影した複数の画像)に対して、複数の認識器40が認識結果(確信度ベクトル)を集積させる。すなわち、次式で示される。
n:認識器の識別番号であり、n=1,・・・,N
f0:初期の歩行者頻度ベクトル
fn:認識器nが出力する歩行者頻度ベクトル
f:N個の認識器の出力の平均値
sl:時刻を含む状況ベクトル(lは離散時刻のインデックスを示す整数)
上の式19により、対象地点kごとに算出する。この場合、認識器40の信頼度が低い値であってもその集積効果により、全体として十分な信頼度の確信度を出力することができると期待される。
車載カメラ画像の認識結果、撮影時刻、撮影場所はカーナビの地図上で対応付けて記憶装置に格納することができる。このようにして1台の車が観測したデータを車載のハードディスクなどに蓄積しておけば、ナビゲーション装置を介して位置xkを指定することで、それまでの通過時刻の履歴{sl}を検索することができる。また、時間情報を状況ベクトルsで指定すれば他の周囲状況や通過地点xが検索できる。1台の車が何度も同じルートを通る場合、車に蓄積される観測データでルート上の通過地点に関する予測(蓄積データにはない未来時刻に関する人発生頻度を推定する)を行うことが可能になる。これは、日種、曜日、時間帯に依存した時空間分布を仮定することで可能になる。
xk:各成分は番号kを割り振られた地点を地理的に特定する語彙(座標、地名に関する言語表現)、すなわち非数値情報に対応し、これらを数量化理論により数値化した値をとる。具体的には、各語彙を予測対象として指定するときに1、そうでなければ0を入れる。
予測器50の入力となる統計データは以下のソースから得られる。
(1)車載の認識器40の出力(ET)または人手によるGT
(2)センタ上の認識器の出力または人手によるGT
(3)携帯機器やPCによる認識結果(ET)または人手によるGT
(4)定点観測インフラによる認識結果(ET)または人手によるGT
危険度という観点では、上記の統計データは次のカテゴリで事前に分類されていることが望ましい。
(b)走路進行方向の右か左
などを分類して予測できれば実効性が向上する。これは観測区域をドライバーの視野から見てM個の部分領域に分割し、それらを特徴ベクトルに組み込むことで容易に実現される。
予測器50で算出した予測発生頻度と認識器40が走行時に撮像した画像から算出した発生頻度の間の差分が大きければ、予測器50と認識器40の少なくともどちらか一方について修正を施す必要がある。いま、その差分の大きさを次式のスカラー値で表現する。
しかるに、上記式4の予測器50に関して大幅な修正が必要となるのは以下のケースに限られる。
(2)FRFPにおいて、学習データの質または量が十分でない場合
ここで(1)は画像認識が関与しないためここでは考えないこととし、特に(2)に注目する。FRFPにおいてどのような予測方式を用いるかによって性能は変わりうるが、ここではあるひとつの予測方式に限定した場合(本実施例では多変量線形回帰予測:式13、式14)の修正について考える。
(IP1)画像認識の学習データの質と量を改善する。
(IP2)画像認識の設定パラメータを改善する。
すなわち、{認識器40の平均値が閾値1(fth)以上}かつ{プローブによる確信度の合計値が閾値2(Φth)}となるまで学習データを増大させる。これはプローブシステムによってセンタが集めた信頼度つきの画像認識結果を学習データとしてダウンロードすることによって行われる。あるいは事前にセンタ上で計算した認識特性(回帰係数行列)をダウンロードしてもよい。この(IP1)が完了した段階で再度、上述の予測と認識のプロセスを繰り返し、上記式22で差分を再評価する。ここで、式23のEPを再度計算し、EPがEPTH以下になるならば修正はここで終了する。もし、EP>EPTHであれば、(IP2)を開始する。
本実施形態では、過去の発生頻度データを検索し(図6中のS170)、FPFPを算出する(S180)。具体的には、予測器50の出力である予測結果をベクトルとして表現する。つまり、予測対象の分類を{男性、女性、子供、自転車、不明、犬}×{右、左}の合計12種類で考え、ある車載カメラで観測される歩行者発生頻度の特徴ベクトル(予測の目的変数)を12次元とした。また、特徴ベクトルが発生する際に、その説明変数となる状況情報を{場所、日時、天候}とした。ここで、場所は3次元(それぞれの次元が区間に相当)、日時は{年、月、曜日}の合計22次元、天候は{晴、曇、雨}の3次元とする。そして、この28次元の状況ベクトルに対する特徴ベクトルの回帰関係を線形最小2乗法で解くようにした。
また、本実施形態では、車両外部を撮像する撮像部41と、撮像部41にて撮像される画像に基づき、画像認識結果から頻度情報を生成する認識器40とを備える構成とした(図1参照)。これにより、頻度データを自車両に集積することが可能となる。
具体的には、学校、店、ショッピングセンタ、病院、駅、テーマパーク、ホール、野球場、バス停、駅、公園などのアトラクタの情報を取得し(図5中のS130,S150)、FATRを算出する(S160)。詳細には、アトラクタ情報からタイムゲート(TG)を設定し(図8中のS440)、タイムゲートを矩形波として当該矩形波の伝播を想定し、分岐路で発生頻度の分割処理を行う(図9中のS451〜S453,S456)。これにより、過去の頻度データが少ない場合でも、地理的な要因などからオブジェクトの発生頻度を予測することができる。また、タイムゲートを矩形波で定義するため、アトラクタに起因するオブジェクトの発生頻度を比較的容易に予測することができる。さらにまた、タイムゲートを定義する矩形波は、アトラクタの平均収容人数を高さとするものとして初期化される。これにより、タイムゲートを比較的簡単な矩形波として定義することができる。また、予測器50は、時間的に遡る矩形波の伝播である逆伝播に基づき、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、アトラクタに対してのオブジェクトの流入時間から、それ以前のオブジェクトの発生頻度を予測することができる。さらにまた、予測器50は、自車両の予測対象区域の通過時間を考慮して、予測対象区域におけるオブジェクトの発生頻度を予測する。これにより、確実にオブジェクトの発生頻度を予測することができる。
20…送受信部
21…受信部
30…ナビゲーション装置
31…報知部
32…アトラクタ情報
40…認識器
41…撮像部
42…パラメータ設定部
43…評価部
44…変換部
45…演算部
46…情報生成部
50…予測器
60…記憶部
70…センタ
Claims (22)
- 車両に搭載されて用いられ、予定走行経路上の所定区域である予測対象区域における車両外部のオブジェクトの発生頻度を予測する予測装置であって、
過去の発生頻度に関する頻度データであって、時空間を定義する時空間情報及び当該時空間情報に対応し前記発生頻度を定義する頻度情報とからなる頻度データを取得する頻度データ取得手段と、
前記頻度データ取得手段にて取得される前記頻度データに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測する予測器と、
を備えていることを特徴とする予測装置。 - 請求項1に記載の予測装置において、
前記時空間情報は、状況情報を説明変数とする状況ベクトルとして定義されること
を特徴とする予測装置。 - 請求項2に記載の予測装置において、
前記状況情報には、場所、日時、及び、天候の情報が含まれること
を特徴とする予測装置。 - 請求項3に記載の予測装置において、
前記頻度情報は、特徴情報を目的変数とする特徴ベクトルとして定義されること
を特徴とする予測装置。 - 請求項4に記載の予測装置において、
前記特徴情報には、オブジェクトの種類及び車両からの景観を複数に分割した部分領域の情報が含まれること
を特徴とする予測装置。 - 請求項4又は5に記載の予測装置において、
前記予測器は、前記状況ベクトルに対する前記特徴ベクトルの回帰関係を線形最小二乗法で解くことにより、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。 - 請求項1〜6のいずれか一項に記載の予測装置において、
車両外部を撮像する撮像部と、
前記撮像部にて撮像される画像に基づき、画像認識結果から前記頻度情報を生成する認識器と、
を備えていることを特徴とする予測装置。 - 請求項7に記載の予測装置において、
前記認識器による前記画像認識結果に対する信頼度を算出する演算部を備えていること
を特徴とする予測装置。 - 請求項8に記載の予測装置において、
前記演算部は、前記オブジェクトの種類、計測地点、画像認識のためのセンサ及び認識手法、並びに、車両の走行速度の少なくともいずれかに基づき、信頼度を算出すること
を特徴とする予測装置。 - 請求項7〜9のいずれか一項に記載の予測装置において、
車両走行地点の情報、及び、前記認識器による前記画像認識結果をアップロード情報としてセンタへアップロードする送信部を備えていること
を特徴とする予測装置。 - 請求項10に記載の予測装置において、
前記アップロード情報には、前記演算部にて算出された前記信頼度が含まれること
を特徴とする予測装置。 - 請求項10又は11に記載の予測装置において、
前記アップロード情報には、前記予測器による予測結果が含まれること
を特徴とする予測装置。 - 請求項7〜12のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による認識結果との差分が閾値以上の場合、センタに集積された前記アップロード情報を取得すること
を特徴とする予測装置。 - 請求項7〜13のいずれか一項に記載の予測装置において、
画像認識のための認識パラメータを認識器に設定するパラメータ設定部を備えていること
を特徴とする予測装置。 - 請求項14に記載の予測装置において、
前記パラメータ設定部は、過去の頻度データに基づき、前記認識パラメータを設定すること
を特徴とする予測装置。 - 請求項14又は15に記載の予測装置において、
前記パラメータ設定部は、対象となるオブジェクトに応じて、前記認識パラメータを設定すること
を特徴とする予測装置。 - 請求項14〜16のいずれか一項に記載の予測装置において、
前記予測器による予測結果と前記認識器による画像認識結果との差分が閾値以上の場合、前記パラメータ設定部は、前記認識パラメータを修正して設定すること
を特徴とする予測装置。 - 請求項1〜17のいずれか一項に記載の予測装置において、
集客力を有し、前記オブジェクトの流出入の駆動する要素であるアトラクタの情報を取得するアトラクタ情報取得手段と、
前記アトラクタ情報に基づき、時間的要因に影響される前記アトラクタでの前記オブジェクトの存在確率をタイムゲートとして設定するタイムゲート設定手段と、を備え、
前記予測器は、前記アトラクタと前記予測対象区域との距離、及び、前記タイムゲートに基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。 - 請求項18に記載の予測装置において、
前記タイムゲートは、前記オブジェクトの発生頻度を高さとする矩形波で定義され、
前記予測器は、前記アトラクタから前記予測対象区域までの分岐路にて分割される前記矩形波の伝播を想定し、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。 - 請求項19に記載の予測装置において、
前記タイムゲートを定義する矩形波は、前記アトラクタの平均収容人数を高さとするものとして初期化されること
を特徴とする予測装置。 - 請求項19又は20に記載の予測装置において、
前記予測器は、時間的に遡る前記矩形波の伝播である逆伝播に基づき、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。 - 請求項18〜21のいずれか一項に記載の予測装置において、
前記予測器は、自車両の前記予測対象区域の通過時間を考慮して、前記予測対象区域における前記オブジェクトの発生頻度を予測すること
を特徴とする予測装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010265138A JP5246248B2 (ja) | 2010-11-29 | 2010-11-29 | 予測装置 |
US13/290,340 US9245189B2 (en) | 2010-11-29 | 2011-11-07 | Object appearance frequency estimating apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010265138A JP5246248B2 (ja) | 2010-11-29 | 2010-11-29 | 予測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012117829A true JP2012117829A (ja) | 2012-06-21 |
JP5246248B2 JP5246248B2 (ja) | 2013-07-24 |
Family
ID=46126235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010265138A Expired - Fee Related JP5246248B2 (ja) | 2010-11-29 | 2010-11-29 | 予測装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9245189B2 (ja) |
JP (1) | JP5246248B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014096039A (ja) * | 2012-11-09 | 2014-05-22 | International Business Maschines Corporation | 複数種類のデータソースを用いた経路の始点・終点の統計的推測手法、コンピュータ・プログラム及びコンピュータ。 |
CN104802793A (zh) * | 2014-01-23 | 2015-07-29 | 罗伯特·博世有限公司 | 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护系统 |
JP2019149054A (ja) * | 2018-02-27 | 2019-09-05 | 株式会社デンソーテン | 周辺監視装置、周辺監視システム、および周辺監視方法 |
JP2020052905A (ja) * | 2018-09-28 | 2020-04-02 | Kddi株式会社 | 難易度推定装置、難易度推定方法及びコンピュータプログラム |
JP2021051423A (ja) * | 2019-09-24 | 2021-04-01 | 株式会社東芝 | 道路情報配信システム、道路情報配信装置、道路情報配信プログラム |
JP6973575B1 (ja) * | 2020-07-09 | 2021-12-01 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140156901A1 (en) | 2005-10-26 | 2014-06-05 | Cortica Ltd. | Computing device, a system and a method for parallel processing of data streams |
US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
US20160085733A1 (en) | 2005-10-26 | 2016-03-24 | Cortica, Ltd. | System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page |
US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
US11537636B2 (en) | 2007-08-21 | 2022-12-27 | Cortica, Ltd. | System and method for using multimedia content as search queries |
CN102892657B (zh) * | 2010-05-17 | 2015-12-16 | 丰田自动车株式会社 | 驾驶辅助装置 |
DE112010005654T5 (de) | 2010-06-08 | 2013-05-29 | Toyota Jidosha Kabushiki Kaisha | Fahrmodell-Erzeugungsvorrichtung und Fahrunterstützungsvorrichtung |
JP5683722B2 (ja) * | 2011-12-28 | 2015-03-11 | 三菱電機株式会社 | センター側システム及び車両側システム |
US8761498B1 (en) | 2012-01-26 | 2014-06-24 | Google Inc. | Face and license plate detection in street level images with 3-D road width features estimated from laser data |
US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
WO2017105641A1 (en) | 2015-12-15 | 2017-06-22 | Cortica, Ltd. | Identification of key points in multimedia data elements |
WO2017149597A1 (ja) * | 2016-02-29 | 2017-09-08 | 三菱電機株式会社 | 機器分類装置 |
DE102016208808A1 (de) * | 2016-05-20 | 2017-11-23 | Continental Teves Ag & Co. Ohg | Sensorvorrichtung für ein Fahrzeug |
US10203696B2 (en) * | 2016-07-26 | 2019-02-12 | Waymo Llc | Determining drivability of objects for autonomous vehicles |
KR101965937B1 (ko) * | 2016-11-17 | 2019-08-13 | 두산중공업 주식회사 | 이상 신호 복원 장치 및 방법 |
JP2018135068A (ja) * | 2017-02-23 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP6613265B2 (ja) * | 2017-06-01 | 2019-11-27 | 本田技研工業株式会社 | 予測装置、車両、予測方法およびプログラム |
WO2019008581A1 (en) | 2017-07-05 | 2019-01-10 | Cortica Ltd. | DETERMINATION OF DRIVING POLICIES |
WO2019012527A1 (en) | 2017-07-09 | 2019-01-17 | Cortica Ltd. | ORGANIZATION OF DEPTH LEARNING NETWORKS |
DE102017211887A1 (de) * | 2017-07-12 | 2019-01-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs |
US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
JP7143661B2 (ja) * | 2018-07-24 | 2022-09-29 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
JP7147712B2 (ja) * | 2018-08-31 | 2022-10-05 | 株式会社デンソー | 車両側装置、方法および記憶媒体 |
US11613261B2 (en) | 2018-09-05 | 2023-03-28 | Autobrains Technologies Ltd | Generating a database and alerting about improperly driven vehicles |
US11126870B2 (en) * | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
US11904863B2 (en) | 2018-10-26 | 2024-02-20 | AutoBrains Technologies Ltd. | Passing a curve |
US11244176B2 (en) | 2018-10-26 | 2022-02-08 | Cartica Ai Ltd | Obstacle detection and mapping |
US11392738B2 (en) | 2018-10-26 | 2022-07-19 | Autobrains Technologies Ltd | Generating a simulation scenario |
US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
US11170647B2 (en) | 2019-02-07 | 2021-11-09 | Cartica Ai Ltd. | Detection of vacant parking spaces |
US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
US11488290B2 (en) | 2019-03-31 | 2022-11-01 | Cortica Ltd. | Hybrid representation of a media unit |
US11908242B2 (en) | 2019-03-31 | 2024-02-20 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
CN110298308B (zh) * | 2019-06-28 | 2022-03-04 | 北京无线电计量测试研究所 | 一种自行车专用道车辆行人识别系统 |
US11704292B2 (en) | 2019-09-26 | 2023-07-18 | Cortica Ltd. | System and method for enriching a concept database |
US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
CN111814647A (zh) * | 2020-07-01 | 2020-10-23 | 重庆工商大学 | 一种二阶段的自行车小类关键点置信度图像cnn识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10293896A (ja) * | 1997-02-24 | 1998-11-04 | Shimizu Corp | 交通シミュレーションシステム |
JPH1139587A (ja) * | 1997-07-15 | 1999-02-12 | Toshiba Corp | 走行所要時間予測装置 |
JP2003288687A (ja) * | 2002-03-28 | 2003-10-10 | Fujitsu Ltd | 配車方法、および配車プログラム |
JP2005235194A (ja) * | 2004-01-22 | 2005-09-02 | Denso It Laboratory Inc | 情報共有システム、情報共有サーバ、情報共有方法、及び情報共有プログラム |
JP2007279970A (ja) * | 2006-04-05 | 2007-10-25 | Toyota Motor Corp | 物体検出装置 |
JP2008146549A (ja) * | 2006-12-13 | 2008-06-26 | Toyota Central R&D Labs Inc | 運転支援装置、マップ生成装置、及びプログラム |
JP2009250942A (ja) * | 2008-04-11 | 2009-10-29 | Toyota Motor Corp | 渋滞予測装置及びそれを用いた経路案内装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4150093B2 (ja) | 1997-10-24 | 2008-09-17 | 株式会社デンソー | 画像データ通信システム |
JP3788111B2 (ja) | 1999-06-30 | 2006-06-21 | 株式会社デンソー | 情報サービスシステム |
US6944539B2 (en) * | 2001-10-25 | 2005-09-13 | Aisin Aw Co., Ltd. | Information display system for use with a navigation system |
US20070230792A1 (en) * | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
JP2006031443A (ja) | 2004-07-16 | 2006-02-02 | Denso Corp | 衝突回避通知システム |
US7966127B2 (en) * | 2004-12-28 | 2011-06-21 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Vehicle motion control device |
JP4329711B2 (ja) | 2005-03-09 | 2009-09-09 | 株式会社日立製作所 | 交通情報システム |
US7804980B2 (en) | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
JP4349351B2 (ja) | 2005-09-08 | 2009-10-21 | 株式会社デンソー | 画像データ通信システム |
JP4687658B2 (ja) | 2007-01-29 | 2011-05-25 | 株式会社デンソー | 画像の認識装置 |
JP4446316B2 (ja) | 2007-07-25 | 2010-04-07 | 日立オートモティブシステムズ株式会社 | 交通情報システム |
US20090140887A1 (en) * | 2007-11-29 | 2009-06-04 | Breed David S | Mapping Techniques Using Probe Vehicles |
DE102008061304A1 (de) * | 2007-12-11 | 2009-07-09 | Continental Teves Ag & Co. Ohg | Übertragung von Fahrzeug-relevanten Daten eines Fahrzeugs über mobile Kommunikation |
JP4951490B2 (ja) | 2007-12-18 | 2012-06-13 | 日本電信電話株式会社 | 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体 |
JP4623135B2 (ja) | 2008-05-08 | 2011-02-02 | 株式会社デンソー | 画像認識装置 |
US20120047087A1 (en) * | 2009-03-25 | 2012-02-23 | Waldeck Technology Llc | Smart encounters |
-
2010
- 2010-11-29 JP JP2010265138A patent/JP5246248B2/ja not_active Expired - Fee Related
-
2011
- 2011-11-07 US US13/290,340 patent/US9245189B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10293896A (ja) * | 1997-02-24 | 1998-11-04 | Shimizu Corp | 交通シミュレーションシステム |
JPH1139587A (ja) * | 1997-07-15 | 1999-02-12 | Toshiba Corp | 走行所要時間予測装置 |
JP2003288687A (ja) * | 2002-03-28 | 2003-10-10 | Fujitsu Ltd | 配車方法、および配車プログラム |
JP2005235194A (ja) * | 2004-01-22 | 2005-09-02 | Denso It Laboratory Inc | 情報共有システム、情報共有サーバ、情報共有方法、及び情報共有プログラム |
JP2007279970A (ja) * | 2006-04-05 | 2007-10-25 | Toyota Motor Corp | 物体検出装置 |
JP2008146549A (ja) * | 2006-12-13 | 2008-06-26 | Toyota Central R&D Labs Inc | 運転支援装置、マップ生成装置、及びプログラム |
JP2009250942A (ja) * | 2008-04-11 | 2009-10-29 | Toyota Motor Corp | 渋滞予測装置及びそれを用いた経路案内装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014096039A (ja) * | 2012-11-09 | 2014-05-22 | International Business Maschines Corporation | 複数種類のデータソースを用いた経路の始点・終点の統計的推測手法、コンピュータ・プログラム及びコンピュータ。 |
US9292800B2 (en) | 2012-11-09 | 2016-03-22 | International Business Machines Corporation | Statistical estimation of origin and destination points of trip using plurality of types of data sources |
CN104802793A (zh) * | 2014-01-23 | 2015-07-29 | 罗伯特·博世有限公司 | 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护系统 |
JP2019149054A (ja) * | 2018-02-27 | 2019-09-05 | 株式会社デンソーテン | 周辺監視装置、周辺監視システム、および周辺監視方法 |
JP7164309B2 (ja) | 2018-02-27 | 2022-11-01 | 株式会社デンソー | 周辺監視装置および周辺監視システム |
JP2020052905A (ja) * | 2018-09-28 | 2020-04-02 | Kddi株式会社 | 難易度推定装置、難易度推定方法及びコンピュータプログラム |
JP2021051423A (ja) * | 2019-09-24 | 2021-04-01 | 株式会社東芝 | 道路情報配信システム、道路情報配信装置、道路情報配信プログラム |
JP7165110B2 (ja) | 2019-09-24 | 2022-11-02 | 東芝情報システム株式会社 | 道路情報配信システム、道路情報配信装置、道路情報配信プログラム |
JP6973575B1 (ja) * | 2020-07-09 | 2021-12-01 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2022009787A1 (ja) * | 2020-07-09 | 2022-01-13 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2022015687A (ja) * | 2020-07-09 | 2022-01-21 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US9245189B2 (en) | 2016-01-26 |
JP5246248B2 (ja) | 2013-07-24 |
US20120133497A1 (en) | 2012-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5246248B2 (ja) | 予測装置 | |
US10930158B1 (en) | System for identifying high risk parking lots | |
US20230144209A1 (en) | Lane line detection method and related device | |
US11030696B1 (en) | Methods of providing insurance savings based upon telematics and anonymous driver data | |
US11354913B1 (en) | Systems and methods for improving vehicle predictions using point representations of scene | |
CN110068343A (zh) | 构建和更新多层道路网络高清数字地图的行为层 | |
JP5838879B2 (ja) | 予測システム | |
CN110356412B (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
Choi et al. | Drogon: A causal reasoning framework for future trajectory forecast | |
US20220105959A1 (en) | Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area | |
JP7420734B2 (ja) | データ配信システム、センサデバイス及びサーバ | |
US20220355825A1 (en) | Predicting agent trajectories | |
Vachmanus et al. | Multi-modal sensor fusion-based semantic segmentation for snow driving scenarios | |
CN116348938A (zh) | 用于预测动态对象行为的方法和系统 | |
CN107195177A (zh) | 基于分布式内存计算框架对城市交通路况的预测方法 | |
CN115393677A (zh) | 使用融合图像的端到端系统训练 | |
US20220355821A1 (en) | Ride comfort improvement in different traffic scenarios for autonomous vehicle | |
WO2020164089A1 (en) | Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization | |
CN100349176C (zh) | 用于在图像处理中改善对象识别和/或再识别的方法和装置 | |
Wu et al. | An automatic skateboarder detection method with roadside LiDAR data | |
CN117416344A (zh) | 自主驾驶系统中校车的状态估计 | |
CN116501820A (zh) | 车辆轨迹预测方法、装置、设备及存储介质 | |
CN115951326A (zh) | 对象检测方法、系统和存储介质 | |
KR20230011834A (ko) | 주행 시간 추정을 위한 방법 및 시스템 | |
Li et al. | Pedestrian Behavior Study to Advance Pedestrian Safety in Smart Transportation Systems Using Innovative LiDAR Sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5246248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |