JP2013250663A - 運転シーン認識装置 - Google Patents

運転シーン認識装置 Download PDF

Info

Publication number
JP2013250663A
JP2013250663A JP2012123542A JP2012123542A JP2013250663A JP 2013250663 A JP2013250663 A JP 2013250663A JP 2012123542 A JP2012123542 A JP 2012123542A JP 2012123542 A JP2012123542 A JP 2012123542A JP 2013250663 A JP2013250663 A JP 2013250663A
Authority
JP
Japan
Prior art keywords
driving
driving scene
vehicle
information
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012123542A
Other languages
English (en)
Other versions
JP5867296B2 (ja
Inventor
Yoshiji Bando
誉司 坂東
Kazuhito Takenaka
一仁 竹中
Masuzo Egawa
江川  万寿三
Tadahiro Taniguchi
忠大 谷口
Shogo Nagasaka
翔吾 長坂
Kentaro Hitomi
謙太郎 人見
Pateiranneheraage Chiyandorashiri Naiwara
パティランネヘラーゲ チャンドラシリ ナイワラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Ritsumeikan Trust
Original Assignee
Denso Corp
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Ritsumeikan Trust filed Critical Denso Corp
Priority to JP2012123542A priority Critical patent/JP5867296B2/ja
Publication of JP2013250663A publication Critical patent/JP2013250663A/ja
Application granted granted Critical
Publication of JP5867296B2 publication Critical patent/JP5867296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】運転シーンが切り替わったときに、従来技術に比較して、運転者の認識に近いタイミングで切り替わり後の運転シーンを認識することが可能な運転シーン認識装置を提供する。
【解決手段】記号化部11が、車両センサ1や微分値算出部2などから、経時的に連続して検出される各信号に基づき、それら各信号を、区分単位となる車両の状態ごとに区分けしつつ、その区分けされた各信号から把握される車両の状態に対応するドライビング記号によって表すことにより、記号列を生成する。そして、記号統合部13が、記号化部11から出力される記号列を、所定の運転状態を意味するドライビングワードごとに分節化し、その分節化されたドライビングワードの並びから運転シーンを認識する。
【選択図】図2

Description

本発明は、車両の運転シーンを認識する運転シーン認識装置に関する。
例えば特許文献1には、周囲環境の撮像結果に基づいて、運転シーンの変化を検出する運転シーン変化検出装置が開示されている。この運転シーン変化検出装置では、周囲環境を撮像した画像からサンプリング時間ごとに静止画像を抽出し、その抽出した静止画像のフラクタル次元を算出する。算出されたフラクタル次元は、複雑度の時系列データとして出力され、この複雑度の時系列データにウェーブレット変換を施すことで、時系列データ中の特異点を抽出する。そして、特異点に対して閾値処理を行うことにより、運転シーンの変化を検出する。すなわち、特許文献1においては、周囲環境を画像の複雑度として捉え、その複雑度のパターンの変化特異点から運転シーンの変化を特定するのである。
また、例えば特許文献2に記載された運転シーン判定装置は、車両情報と道路情報に運転シーンが対応付けられた運転シーン対応情報を記憶した運転シーンDBに加え、ある運転シーンから他の運転シーンへのシーン遷移の可否を示す遷移可否情報を記憶した遷移可否DBを備える。そして、運転シーン対応情報のみではなく、遷移可否情報も利用して、運転シーンの判定を行なっている。つまり、現在の車両情報及び現在の道路情報に対応付けられた運転シーンが、以前の運転シーンから遷移可能である場合に限り、その対応付けられた運転シーンを現在の運転シーンと判定する。
特許第4797787号公報 特開2011−129010号公報
上述した特許文献1の運転シーン変化検出装置では、周囲環境を撮影した画像の複雑度の変化から運転シーンの切り替わりを検出しているが、すべての運転シーンの変化が画像の複雑度を大きく変化させる訳ではない。例えば、車線変更の開始と終了の場合や、車両の走行位置が交差点付近となった場合などの運転シーンの変化では、画像の複雑度は大きく変化しない場合もありえる。従って、特許文献1の運転シーン変化検出装置では、幅広い種類の運転シーンの変化を精度良く検出することは困難である。
また、特許文献2の運転シーン判定装置では、運転シーン対応情報として、各運転シーンに対応付けて、車速、加速度、舵角、及びターンSWなどの車両情報と、交差点までの距離、車線数、旋回半径などの道路情報とを予め設定している。例えば、「左折」という運転シーンには、車速V>0、舵角θ≧50、左ターンSWオン、交差点までの距離=0という車両情報及び道路情報の条件が対応付けられている。そして、検出した車両情報及び道路情報が一致する運転シーンを、現在の運転シーンと判定している。
しかしながら、特許文献2に記載された上記の手法では、運転シーンが切り替わったときに、運転者の感覚に合致したタイミングで、切り替わり後の運転シーンを判定することは困難である。
例えば、「左折」を例として説明すると、運転者は、「直進」している車両を「左折」させようとした場合、ターンSWの操作、車両速度の減速操作、ステアリングホイールの左方向への操舵操作、クリッピングポイント通過後における、車両速度の加速操作及びステアリングホイールの中立方向への戻し操作などの一連の操作を実行する。このように、「直進」という運転シーンから車両を「左折」させるという運転シーンへの切り替わり時には、運転者は、上述した一連の操作を実行するのであり、逆に言えば、そのような一連の操作を行う場面を、運転者は、「左折」という運転シーンとして認識していると言える。
このような観点からすると、特許文献2に記載された手法、すなわち、単に、車両情報及び道路情報の各項目がいずれの数値もしくは範囲に一致するかに応じて、運転シーンを判定するだけでは、一連の操作を厳密に定義するのが困難である以上、運転者の感覚に合致するようなタイミングで、切り替わり後の運転シーンを判定することが困難であることは明らかである。
本発明は、上述した点に鑑みてなされたものであり、運転シーンが切り替わったときに、従来技術に比較して、運転者の認識に近いタイミングで切り替わり後の運転シーンを認識することが可能な運転シーン認識装置を提供することを目的とする。
上述した目的を達成するために、本発明による運転シーン認識装置は、
運転者による操作及び/又は車両の挙動を含む、車両の状態に関する単一乃至複数の情報を検出する情報検出手段(1,3〜5)と、
前記情報検出手段によって検出される車両の状態に関する単一乃至複数の情報の内、運転者による操作及び/又は車両の挙動に関する情報について、その微分値に相当する微分値情報を検出する微分値情報検出手段(2)と、
前記情報検出手段及び前記微分値情報検出手段によって経時的に連続して検出される各情報に基づき、それら各情報を、区分単位となる車両の状態ごとに区分けしつつ、その区分けされた各情報から把握される車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段(11)と、
前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段(13)と、
前記分節化手段によって分節化されたドライビングワードの並びから、運転シーンを認識する認識手段(13)と、を備えることを特徴とする。
上述したように、車両の運転者における各運転シーンの認識は、それぞれの運転シーンに応じた一連の操作という形で表出するといえる。そのため、運転シーンが切り替わったとき、その切り替わり後の運転シーンに応じた運転者による一連の操作が開始されたことを検出することができれば、運転者の感覚に近いタイミングで、切り替わり後の運転シーンを認識することが可能になる。
そのために、本発明では、まず、運転者による操作及び/又は車両の挙動を含む、車両の状態に関する単一乃至複数の情報、さらに、運転者による操作及び/又は車両の挙動に関する情報の微分値情報に基づき、それら各情報を、区分単位となる車両の状態ごとに区分けする。つまり、各情報からなる多次元の空間において、各情報から把握される各種の車両の状態をクラスターとし、各情報がいずれのクラスターに属するかを統計的に処理することにより、各情報を区分単位となる車両の状態ごと(つまり、クラスターごと)に区分けする。そして、区分けされた各情報から把握される車両の状態(つまり、各情報が属するクラスター)に対応する記号によって、区分けされた各情報を表すことにより、記号列を生成する。
上述したように、区分けされる各情報には、運転者による操作及び/又は車両の挙動に関する情報、及びその微分値情報が含まれている。このため、車両の運転者が、運転シーンの切り替わりを認識し、その切り替わり後の運転シーンに対応した一連の操作を実行した場合、運転者による操作、及び、その操作の結果としての車両の挙動に関する情報は、運転者が実行する一連の操作に応じて変化することになる。従って、上述したように、区分けされる各情報を対応する記号にて表した場合、得られる記号列は、運転者が実行する一連の操作に応じたものとなる。このため、生成される記号列を、所定の運転状態を意味するドライビングワードごとに分節化し、その分節化されたドライビングワードの並びから運転シーンを認識することで、運転者の認識に近いタイミングで切り替わり後の運転シーンを認識することが可能になる。
さらに、本発明では、区分される各情報が、運転者による操作及び/又は車両の挙動に関する情報の微分値情報を含んでいるので、運転者による一連の操作による車両の状態変化の傾向を適切に記号によって表すことが可能となる。その結果、運転シーンの認識精度を高めることができるようになる。
なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。
また、上述した特徴以外の本発明の特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。
実施形態による運転シーン認識装置の構成を示す構成図である。 車両の状態に関する各情報を示す信号から、ドライビング記号を生成し、さらにドライビング記号列をドライビングワードに分節化する過程を概念的に示した図である。 車両の状態に関する各情報を示す信号が、微分値情報(Dynamic Feature)を示す信号を含んでいる理由を説明するための図である。 運転シーンが切り替わったときに、微分値情報(Dynamic Feature)を用いた場合と、用いない場合とで、認識した運転シーンと実際の運転シーンとの一致率の違いを示す図であって、(a)は、客観的評価結果として、走行状態、移動方向、周囲環境に関しての一致率の違いを示しており、(b)は、主観的評価結果として、運転者による運転シーンの認識結果との一致率の違いを示している。 本実施形態による運転シーン認識装置100の応用例についての構成を示す図である。 マルコフモデルを利用して予測を行った場合、NPYLMを利用して予測を行った場合、及び本実施形態のようにNPYLMと運転シーンの遷移則とを組み合わせて予測を行った場合の、それぞれの予測可能なドライビングワード数を示す図である。 本実施形態による運転シーン認識装置100の別の応用例についての構成を示す図である。
以下、本発明の実施形態に係わる運転シーン認識装置について、図面を参照しつつ、詳細に説明する。
図1に示すように、運転シーン認識装置100は、運転者による運転操作に関する情報、及び/又は、その運転操作の結果として表れる車両の挙動に関する情報を検出する車両センサ1を有している。具体的には、運転者による運転操作に関する情報を検出する車両センサとしては、アクセルペダルの踏み込み量を検出するアクセルペダルセンサ、ブレーキペダルの踏み込み量を検出するブレーキペダルセンサ、ステアリングホイールの操舵角度を検出するステアリングセンサ、方向指示器(ウインカー)を作動させるためのウインカースイッチ、及びトランスミッションのシフト位置を検出するポジションセンサなどが用いられる。また、車両の挙動に関する情報を検出する車両センサとしては、車両の走行速度を検出する速度センサ、車両の前後方向の加速度を検出する前後加速度センサ、及び車両の横方向の加速度を検出する横加速度センサなどが用いられる。
なお、運転者による運転操作に関する情報、及び/又は、車両の挙動に関する情報を検出する車両センサ1は、上述した各種のセンサ、スイッチのすべてを備える必要はなく、その一部のみを有するものであっても良い。
ただし、運転者による操作及び/又は車両の挙動に関する情報については、微分値算出部2などによって、その微分値に相当する微分値情報も検出(算出)され、運転シーン認識部10に入力される。
例えば、車両センサ1として、ステアリングセンサを有する場合には、微分値算出部2が、ステアリングセンサによって検出された操舵角度の微分値情報である操舵速度を、操舵方向を表すプラスマイナスの符号とともに算出する。また、車両センサ1として、アクセルペダルセンサやブレーキペダルセンサを有する場合には、微分値算出部2は、アクセルペダルの踏み込み量やブレーキペダルの踏み込み量から、踏み込み速度を、踏み込みあるいは踏み戻し方向を表すプラスマイナスの符号とともに算出する。
なお、車両センサ1として、速度センサのみ有する場合には、微分値算出部2にて、検出された速度の微分値情報である加速度を算出する必要があるが、速度センサと前後加速度センサとを有する場合には、前後方向加速度センサにて、速度の微分値情報を検出できるので、微分値算出部2にて、微分値情報を算出する必要はない。また、微分値算出部2は、各センサによる検出値の微分値そのものではなく、単なる差分値を微分値情報として算出しても良い。
また、運転シーン認識装置100は、周辺環境センサ3,GPS受信機4,及び道路情報データベース5などを備えていても良い。ただし、これらのセンサ等は、本発明において必須の構成ではないので、図1では、それぞれ点線にて示している。
周辺環境センサ3としては、例えば、車両周囲の状況を画像として撮影するカメラや、前方を走行する車両や障害物までの距離を計測するレーダ装置が用いられる。この周辺環境センサ3は、例えば、先行車両の有無や、先行車両が存在する場合に、その先行車両までの距離を検出したりするために使用される。また、GPS受信機4と道路情報データベース5とを用いることで、車両が走行している道路状況を把握することができる。例えば、車両が走行している道路が、高速道路か一般道路か、複数車線からなる道路か一本の車線しかない道路かなど、あるいは、車両の走行位置前方に交差点や分岐ポイントが存在するか等を把握することができる。このような周辺環境センサ3や、GPS受信機4及び道路情報データベース5から得られる情報は、車両の運転シーンを認識する際に、その認識精度を向上するために有用であるため、車両センサ1に加えて設けることが好ましい。
運転シーン認識部10は、上述したセンサ等からの各情報を示す検出信号や算出信号に基づいて、車両の運転シーンを認識するものである。この運転シーン認識部10は、記号化部11,記号遷移データベース12,記号統合部13,及び単語遷移データベース14を備えている。
記号化部11は、図2に示すように、上述した車両センサ1や微分値算出部2などから、経時的に連続して検出される各信号に基づき、それら各信号を、区分単位となる車両の状態ごとに区分けしつつ、その区分けされた各信号から把握される車両の状態に対応するドライビング記号によって表すことにより、記号列を生成する。つまり、記号化部11は、入力される各信号からなる多次元の空間において、各信号から把握される各種の車両の状態をクラスターとし、各信号がいずれのクラスターに属するかを統計的に処理することにより、各信号を区分単位となる車両の状態ごと(つまり、クラスターごと)に区分けする。さらに、記号化部11は、各信号が属するクラスターに対応する記号によって、区分けされた各信号を表すことにより、記号列を生成するのである。
本実施形態においては、この記号化部11として、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル(HDP−HMM)を利用する。HDP−HMMは、HMMに無限次元の隠れ状態(クラスターに相当)を仮定することにより、入力される各信号に応じて隠れ状態の数を決定するという柔軟さを有する。そのため、HMMを利用する際に、隠れ状態数を事前に設計する必要がないという利点を有する。特に、HDP−HMMとして、スティッキーHDP−HMMを用いることが好ましい。スティッキーHDP−HMMは、HDP−HMMの自己遷移確率にバイアスを付加したもので、自己遷移確率を大きくすることにより、隠れ状態の過剰遷移を抑えることができ、動作の連続性を仮定するモデリングを効率的に行うことが可能となる。HDP−HMMやスティッキーHDP−HMMに関しては、例えば「階層ディリクレ過程隠れマルコフモデルを用いた非分節動作模倣学習手法」(計測自動制御学会システム・情報部門学術講演会 (2010))に詳しく説明されているため、これ以上の説明は省略する。
ただし、記号化部11は、上述したHDP−HMMに限らず、他のモデルを利用して、記号列を生成することも可能である。例えば、一般的なHMMやN字マルコフモデル、階層マルコフモデル、スイッチング AR モデル、スイッチングマルマンフィルタなどのモデルを用いることも可能である。この場合、例えば、予め各モデルの隠れ状態数の設計を行うとともに、各隠れ状態間の遷移確率を記号遷移データベース12に保存しておく。そして、それらのモデル及び隠れ状態の遷移確率に基づき、隠れ状態の事後確率を算出することにより、最も尤もらしい隠れ状態を得ることができる。なお、HDP−HMMを用いる場合、隠れ状態間の遷移確率の算出、更新も自動的に行われるので、予め隠れ状態の遷移確率を定めておく必要はない。
さらに、上述したモデルを用いることなく、記号列を生成するためのより簡易な手法として、以下のような手法を採用しても良い。すなわち、経時的に連続して検出される各情報を示す信号に対して、各信号の大きさを区分するための閾値をそれぞれ設定しておく。さらに、各信号の大きさの区分の全ての組み合わせに対して、それぞれ異なるドライビング記号を対応付けておく。そして、検出された各信号の大きさがいずれの区分に属するか判定するとともに、それらの区分の組み合わせに応じたドライビング記号を付与するという処理を繰り返すことにより記号列を生成する。
記号化部11から出力される記号列における各ドライビング記号は、言語における音素に相当するもので、個々のドライビング記号のみから、意味のある運転シーンを認識することはできない。換言すれば、ドライビング記号の記号列から種々の運転シーンを認識するためには、ドライビング記号の記号列を、適切に統合する必要がある。そのために、記号統合部13が設けられている。
記号統合部13は、図2に示すように、記号化部11から出力される記号列を、所定の運転状態を意味するドライビングワードごとに分節化し、その分節化されたドライビングワードの並びから運転シーンを認識する。本実施形態では、この記号統合部13として、統計情報を利用した離散文字列の教師なしチャンク化手法の1例であるNested Pitman-Yor Language Model(NPYLM)を利用する。このNPYLMは、Hierarchical Pitman-Yor Language Model(HPYLM)に単語のN-gramモデルを組み込むことにより拡張したものであり、辞書データなしでの形態素解析を実現したものである。HPYLMは、N-gram言語モデルにPitman-Yor過程によるスムージングを行うことで、未知語や低頻度語に対する頑強性を向上させ、適切な単語の分節化を可能としたものである。
NPYLM及びHPYLMに関しては、「階層Pitman-Yor言語モデルを用いた動作解析」(第25回人工知能学会全国大会, 3B1-OS22c-8 .(2011))に詳しく説明されているので、これ以上の説明は省略する。
1338335093039_0.pdf

本実施形態では、記号統合部13が、上述したNPYLMを用いて、記号列をドライビングワードに分節化する。その際、記号統合部13は、ドライビングワードの並びからなる文章の生成確率が最大となり、かつ辞書のサイズ(すなわち、ドライビングワードの数)ができるだけ小さくなるようにする。これにより、計算量を抑えつつ、記号列の分節化を行うことが可能になる。なお、ドライビングワード間の遷移確率、及びドライビングワードの生成確率は、訓練時に学習され、単語遷移データベース14に保存される。
ただし、上述したNPYLMは、記号列の分節化を行うための一例に過ぎず、他の手法によって分節化を行なっても良い。例えば、車両を各種の走行態様で走行させたときに生成された記号列に基づき、予めドライビングワードを設定して、ドライビングワード辞書を作成するとともに、各ドライビングワードの遷移確率や生成確率のデータベースを作成し、各車両の運転シーン認識部10に記憶させておく。そして、これらのドライビングワード辞書、遷移確率データベース、及び生成確率データベースを参照して、入力された記号列を最も確からしいドライビングワードごとに分節化するようにしても良い。
このように記号列をドライビングワードに分節化することにより、記号統合部13において、分節化されたドライビングワードの並びから、車両の置かれた運転シーンを認識することが可能になる。なお、運転シーンの認識に関しては、複数のドライビングワードからなる文章ごとに、それぞれどのような運転シーンに対応するかについての情報を予め定めておき、最も一致する文章から、該当する運転シーンを特定することができる。
上述したように、本実施形態においては、記号列を生成するために、区分けされる各信号には、運転者による操作及び/又は車両の挙動に関する情報、及びその微分値情報が含まれている。
ここで、車両の運転者が、運転シーンの切り替わりを認識し、その切り替わり後の運転シーンに対応した一連の操作を実行した場合、運転者による操作、及び、その操作の結果としての車両の挙動に関する情報は、運転者が実行する一連の操作に応じて変化することになる。従って、上述したように、区分けされる各信号を対応するドライビング記号にて表した場合、得られる記号列は、運転者が実行する一連の操作に応じたものとなる。このため、生成される記号列を、所定の運転状態を意味するドライビングワードごとに分節化し、その分節化されたドライビングワードの並びから運転シーンを認識することで、運転者の認識に近いタイミングで切り替わり後の運転シーンを認識することが可能になるのである。
さらに、区分される各信号には、運転者による操作及び/又は車両の挙動に関する情報の微分値情報を示す信号が含まれている。このため、運転者による一連の操作による車両の状態変化の傾向を適切に記号によって表すことが可能となる。その結果、運転シーンの認識精度を高めることができるようになる。
この点について、図3を参照して説明する。図3(a)〜(c)は放物線運動の例を示している。放物線運動を行う場合に、単に、運動の大きさのみで区分けをしてしまうと、図3(b)に示されるように、記号1で表される運動量の大きい領域と、記号2で表される運動量の小さい領域とに区分けされることになる。しかしながら、車両の運転操作及び車両の挙動に関しては、その大きさのみが問題となる訳ではなく、むしろ、その変化の傾向が重要となる。例えば、ステアリングホイールを右方向への操舵角が増加するように操舵しているときには、車両は右方向への旋回を強めている状態であるのに対し、中立位置へ戻しているときには、旋回状態が弱められ直進に近づいている状態である。アクセルペダルやブレーキペダルの操作も同様であり、踏み増ししているときと、踏み戻しているときとでは、車両の挙動は全く異なるものとなる。
そのため、本実施形態では、運転者による操作及び/又は車両の挙動に関する情報の微分値情報(Dynamic Feature)を示す信号を用いるのである。図3(c)には、放物線運動の例において、微分値情報を用いて区分した例が示されている。微分値情報を用いた場合、信号が増加する場合と、減少する場合とで区分されるようになる。従って、異なる車両の挙動を異なる区分に区分けすることができ、それぞれの車両の状態を適切なドライビング記号にて表すことが可能となる。
図4は、運転シーンが切り替わったときに、微分値情報(Dynamic Feature)を用いた場合と、用いない場合とで、認識した運転シーンと実際の運転シーンとの一致率の違いを示している。図4(a)は、客観的評価結果として、走行状態、移動方向、周囲環境に関しての一致率の違いを示しており、図4(b)は、主観的評価結果として、運転者による運転シーンの認識結果との一致率の違いを示している。これらの評価結果から明らかなように、微分値情報を用いることで、運転シーンが切り替わったときに、運転者が認識する運転シーンの切り替わりに近いタイミングで切り替わり後の運転シーンを認識することができる。
図5は、本実施形態による運転シーン認識装置100の一応用例についての構成を示している。本実施形態の運転シーン認識装置100によれば、運転者が認識する運転シーンの切り替わりに近いタイミングで切り替わり後の運転シーンを認識することができる。従って、各運転シーンに適した運転支援を行おうとした場合にも、適切なタイミングで運転支援を実行することが可能になる。
そのため、図5に示す構成では、運転シーン毎の運転支援内容が予めプログラムされ、第1運転支援21,第2運転支援22,…として記憶されている。そして、運転支援選択部23が、運転シーン認識部10において認識された運転シーンに合致する運転支援プログラムを、第1運転支援21,第2運転支援22,…の中から選択する。そして、その選択した運転支援プログラムに従って、車両制御部24,及び情報提示部25を制御する。
例えば、具体的な運転支援の例としては、運転者が車線変更を開始しようとしている運転シーンにおいて、自動的に変更先車線の後方の状況を画像表示するようにしたり、車両をある駐車スペースに駐車しようとしている運転シーンにおいて、自動的に駐車支援システムをオンしたり、歩行者等の検出を行う範囲を、その駐車スペース方向に限定したり、さらに、リバースギヤへの操作が行われない場合に、そのギヤ操作を促す報知を行ったりすることが可能となる。
また、本実施形態による運転シーン認識装置100によれば、上述したように、車両の状態に関する各種の情報を示す、経時的に連続する信号を、離散値であるドライビング記号、さらには、それを統合したドライビングワードに置き換えることができる。そして、そのドライビングワードの並びから運転シーンを認識することができるのであるが、さらに、運転シーンの遷移則をデータベースとして記憶しておき、その遷移則に従って運転シーンの移り変わりを予測することにより、より長期間に渡る予測を精度良く行うことが可能となる。
図6は、マルコフモデルを利用して予測を行った場合、NPYLMを利用して予測を行った場合、及び本実施形態のようにNPYLMと運転シーンの遷移則とを組み合わせて予測を行った場合の、それぞれの予測可能なドライビングワード数を示している。図6から分かるように、NPYLMと運転シーンの遷移則とを組み合わせることにより、その他の場合に比較して、2倍以上の長さのドライビングワードを予測することが可能となる。従って、運転シーンの移り変わりをより高精度に予測することが可能となる。
このように、運転シーンの移り変わりを高精度に予測できることを利用し、その予測した運転シーンに適した運転支援を実行するようにしても良い。図7は、予測した運転シーンに応じた運転支援を行うための構成を示している。具体的には、図5に示した構成に追加して、運転シーン予測部26を設けている。この運転シーン予測部26が、上述した運転シーンの遷移則を記憶しており、NPYLMと組み合わせて、運転シーンの移り変わりを予測する。
そして、運転支援選択部23は、運転シーン予測部26によって予測された運転シーンに応じた運転支援を実行する。これにより、運転者の行動を先回りした運転支援を行うことができる。
例えば、車線変更を行うことが予測される場合には、その車線変更の開始前に自動的に方向指示器の点滅を開始したり、危険な運転シーンに陥ることが予測される場合には、その運転シーンへの遷移を予防するために、減速を提案したりすることが可能となる。
1 車両センサ
2 微分値算出部
10 運転シーン認識装置
11 記号化部
12 記号遷移データベース
13 記号統合部
14 単語遷移データベース

Claims (8)

  1. 運転者による操作及び/又は車両の挙動を含む、車両の状態に関する単一乃至複数の情報を検出する情報検出手段(1,3〜5)と、
    前記情報検出手段によって検出される車両の状態に関する単一乃至複数の情報の内、運転者による操作及び/又は車両の挙動に関する情報について、その微分値に相当する微分値情報を検出する微分値情報検出手段(2)と、
    前記情報検出手段及び前記微分値情報検出手段によって経時的に連続して検出される各情報に基づき、それら各情報を、区分単位となる車両の状態ごとに区分けしつつ、その区分けされた各情報から把握される車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段(11)と、
    前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段(13)と、
    前記分節化手段によって分節化されたドライビングワードの並びから、運転シーンを認識する認識手段(13)と、を備えることを特徴とする運転シーン認識装置。
  2. 前記記号列生成手段は、隠れ状態とその状態間の確率的遷移で表現されるモデルを利用して、記号列を生成することを特徴とする請求項1に記載の運転シーン認識装置。
  3. 前記分節化手段は、ドライビングワード間の遷移確率と、ドライビングワードの生成確率を考慮して、前記記号列をドライビングワードごとに分節化することを特徴とする請求項1又は2に記載の運転シーン認識装置。
  4. 前記分節化手段は、統計情報を利用した離散文字列の教師なしチャンク化手法を利用して、前記記号列をドライビングワードごとに分節化することを特徴とする請求項3に記載の運転シーン認識装置。
  5. 運転シーンの遷移則をデータベースとして記憶する記憶手段(26)と、
    前記記憶手段に記憶された、運転シーンの遷移則に関するデータベースを参照し、前記認識手段によって認識された運転シーンから遷移する、将来の運転シーンを予測する予測手段(26)と、を備えることを特徴とする請求項1乃至4のいずれかに記載の運転シーン認識装置。
  6. 前記運転シーンに応じて、その運転シーンに適した運転支援を行う運転支援手段(21〜25)を備えることを特徴とする請求項1乃至5のいずれかに記載の運転シーン認識装置。
  7. 前記運転支援手段は、前記運転支援として、運転シーンに適した車両制御を実行することを特徴とする請求項6に記載の運転シーン認識装置。
  8. 前記運転支援手段は、前記運転支援として、運転シーンに適した情報提供を車両の乗員に対して行うことを特徴とする請求項6に記載の運転シーン認識装置。
JP2012123542A 2012-05-30 2012-05-30 運転シーン認識装置 Active JP5867296B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012123542A JP5867296B2 (ja) 2012-05-30 2012-05-30 運転シーン認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012123542A JP5867296B2 (ja) 2012-05-30 2012-05-30 運転シーン認識装置

Publications (2)

Publication Number Publication Date
JP2013250663A true JP2013250663A (ja) 2013-12-12
JP5867296B2 JP5867296B2 (ja) 2016-02-24

Family

ID=49849321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012123542A Active JP5867296B2 (ja) 2012-05-30 2012-05-30 運転シーン認識装置

Country Status (1)

Country Link
JP (1) JP5867296B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019212A (ja) * 2014-07-10 2016-02-01 株式会社デンソー 交通オブジェクト検出装置
JP2016103267A (ja) * 2014-11-14 2016-06-02 株式会社デンソー 運転データ収集システム
JP2016115143A (ja) * 2014-12-15 2016-06-23 株式会社デンソー 軌道判定方法、軌道設定装置、自動運転システム
JP2016118906A (ja) * 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置
JP2016141271A (ja) * 2015-02-02 2016-08-08 トヨタ自動車株式会社 車両状態予測システム
US9527384B2 (en) 2014-06-06 2016-12-27 Denso Corporation Driving context generation system for generating driving behavior description information
US9940759B2 (en) 2014-11-14 2018-04-10 Denso Corporation Drive data collection system
DE102018008973A1 (de) 2017-11-16 2019-05-16 Mazda Motor Corporation Schatzvorrichtung, fahrassistenzvorrichtung, verfahren und computerprogrammprodukt
US10300922B2 (en) 2017-09-29 2019-05-28 Denso International America, Inc. Risk assessment system for assessing current driver behavior relative to past behavior and behaviors of other drivers
US10347122B2 (en) 2016-07-12 2019-07-09 Denson Corporation Road condition monitoring system
US10380887B2 (en) 2016-07-12 2019-08-13 Denso Corporation Driving assist system
US10415981B2 (en) 2016-07-25 2019-09-17 Denso Corporation Anomaly estimation apparatus and display apparatus
US10522032B2 (en) 2016-05-09 2019-12-31 Denso Corporation Driving-state data storage apparatus
US10676104B2 (en) 2017-11-24 2020-06-09 Mazda Motor Corporation Driving assist device
JP2020129743A (ja) * 2019-02-08 2020-08-27 株式会社デンソー 画像圧縮装置および画像の圧縮方法
JP2020192891A (ja) * 2019-05-28 2020-12-03 トヨタ自動車株式会社 運転支援システム
US11061911B2 (en) 2017-10-13 2021-07-13 Denso Corporation Driving data analyzer
US11361555B2 (en) 2019-07-02 2022-06-14 Denso Corporation Road environment monitoring device, road environment monitoring system, and road environment monitoring program
CN115376324A (zh) * 2022-10-24 2022-11-22 中国汽车技术研究中心有限公司 车辆场景复杂度确定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565882B2 (ja) 2016-12-02 2019-08-28 トヨタ自動車株式会社 予測用データ生成装置および車両用制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0597022A (ja) * 1991-06-14 1993-04-20 Nisshinbo Ind Inc ブレーキ制御装置および制御方法
JPH1199846A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 運転行動パターン認識装置
WO2007138885A1 (ja) * 2006-05-26 2007-12-06 The University Of Tokyo 運動データのデータベースの構造および設計法、データベースシステム
JP2011014037A (ja) * 2009-07-03 2011-01-20 Fuji Heavy Ind Ltd リスク予測システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0597022A (ja) * 1991-06-14 1993-04-20 Nisshinbo Ind Inc ブレーキ制御装置および制御方法
JPH1199846A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 運転行動パターン認識装置
WO2007138885A1 (ja) * 2006-05-26 2007-12-06 The University Of Tokyo 運動データのデータベースの構造および設計法、データベースシステム
JP2011014037A (ja) * 2009-07-03 2011-01-20 Fuji Heavy Ind Ltd リスク予測システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
長坂 翔吾: "階層Pitman−Yor言語モデルを用いた動作解析", 2011年度人工知能学会全国大会(第25回)論文集, JPN6015026138, 3 June 2011 (2011-06-03), JP, pages 1 - 4, ISSN: 0003105371 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9527384B2 (en) 2014-06-06 2016-12-27 Denso Corporation Driving context generation system for generating driving behavior description information
JP2016019212A (ja) * 2014-07-10 2016-02-01 株式会社デンソー 交通オブジェクト検出装置
JP2016103267A (ja) * 2014-11-14 2016-06-02 株式会社デンソー 運転データ収集システム
US9940759B2 (en) 2014-11-14 2018-04-10 Denso Corporation Drive data collection system
JP2016115143A (ja) * 2014-12-15 2016-06-23 株式会社デンソー 軌道判定方法、軌道設定装置、自動運転システム
JP2016118906A (ja) * 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置
JP2016141271A (ja) * 2015-02-02 2016-08-08 トヨタ自動車株式会社 車両状態予測システム
US9818238B2 (en) 2015-02-02 2017-11-14 Toyota Jidosha Kabushiki Kaisha Vehicle state prediction system
US10522032B2 (en) 2016-05-09 2019-12-31 Denso Corporation Driving-state data storage apparatus
US10380887B2 (en) 2016-07-12 2019-08-13 Denso Corporation Driving assist system
US10347122B2 (en) 2016-07-12 2019-07-09 Denson Corporation Road condition monitoring system
US10415981B2 (en) 2016-07-25 2019-09-17 Denso Corporation Anomaly estimation apparatus and display apparatus
US10300922B2 (en) 2017-09-29 2019-05-28 Denso International America, Inc. Risk assessment system for assessing current driver behavior relative to past behavior and behaviors of other drivers
US11061911B2 (en) 2017-10-13 2021-07-13 Denso Corporation Driving data analyzer
DE102018008973A1 (de) 2017-11-16 2019-05-16 Mazda Motor Corporation Schatzvorrichtung, fahrassistenzvorrichtung, verfahren und computerprogrammprodukt
US10713511B2 (en) 2017-11-16 2020-07-14 Mazda Motor Corporation Method and device for estimating recognition timing
DE102018008973B4 (de) 2017-11-16 2022-05-19 Mazda Motor Corporation Schätzvorrichtung, Fahrassistenzvorrichtung, Verfahren und Computerprogrammprodukt
US10676104B2 (en) 2017-11-24 2020-06-09 Mazda Motor Corporation Driving assist device
JP2020129743A (ja) * 2019-02-08 2020-08-27 株式会社デンソー 画像圧縮装置および画像の圧縮方法
JP7298171B2 (ja) 2019-02-08 2023-06-27 株式会社デンソー 画像圧縮装置および画像の圧縮方法
JP2020192891A (ja) * 2019-05-28 2020-12-03 トヨタ自動車株式会社 運転支援システム
JP7196766B2 (ja) 2019-05-28 2022-12-27 トヨタ自動車株式会社 運転支援システム
US11361555B2 (en) 2019-07-02 2022-06-14 Denso Corporation Road environment monitoring device, road environment monitoring system, and road environment monitoring program
CN115376324A (zh) * 2022-10-24 2022-11-22 中国汽车技术研究中心有限公司 车辆场景复杂度确定方法

Also Published As

Publication number Publication date
JP5867296B2 (ja) 2016-02-24

Similar Documents

Publication Publication Date Title
JP5867296B2 (ja) 運転シーン認識装置
US10981567B2 (en) Feature-based prediction
Li et al. Lane changing intention recognition based on speech recognition models
US9527384B2 (en) Driving context generation system for generating driving behavior description information
JP5664605B2 (ja) ドライブ映像記録装置及びドライブ映像記録システム
Berndt et al. Driver intention inference with vehicle onboard sensors
Hou et al. Driver intention recognition method using continuous hidden Markov model
CN112203916A (zh) 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序
Taniguchi et al. Sequence prediction of driving behavior using double articulation analyzer
US11932282B2 (en) Vehicle trajectory control using a tree search
US11635299B2 (en) Method and system for scene-aware interaction
Jin et al. Driver intention recognition based on continuous hidden Markov model
Jeong et al. Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments
JP2013242615A (ja) 運転シーン遷移予測装置および車両用推奨運転操作提示装置
Amsalu et al. Driver behavior modeling near intersections using hidden Markov model based on genetic algorithm
JP6511982B2 (ja) 運転操作判別装置
JP2007334554A (ja) 障害物検出装置および障害物検出方法
JP4096384B2 (ja) 運転行動パターン認識装置
Hori et al. Driver confusion status detection using recurrent neural networks
JP7024577B2 (ja) 走行場面学習装置、走行場面推定装置、および走行場面推定システム
Gerdes Automatic maneuver recognition in the automobile: the fusion of uncertain sensor values using bayesian models
Ernst et al. Behaviour recognition of traffic participants by using manoeuvre primitives for automated vehicles in urban traffic
David et al. A Study on a HMM-Based State Machine Approach for Lane Changing Behavior Recognition
JP6508020B2 (ja) 走行能力評価装置
Pichler et al. Autonomous highway pilot using Bayesian networks and hidden Markov models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R150 Certificate of patent or registration of utility model

Ref document number: 5867296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250