JP2017034400A - 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法 - Google Patents

走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法 Download PDF

Info

Publication number
JP2017034400A
JP2017034400A JP2015151016A JP2015151016A JP2017034400A JP 2017034400 A JP2017034400 A JP 2017034400A JP 2015151016 A JP2015151016 A JP 2015151016A JP 2015151016 A JP2015151016 A JP 2015151016A JP 2017034400 A JP2017034400 A JP 2017034400A
Authority
JP
Japan
Prior art keywords
image
vehicle
road
center line
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015151016A
Other languages
English (en)
Other versions
JP6540335B2 (ja
Inventor
中山　收文
Osafumi Nakayama
收文 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015151016A priority Critical patent/JP6540335B2/ja
Priority to US15/157,681 priority patent/US10325518B2/en
Publication of JP2017034400A publication Critical patent/JP2017034400A/ja
Application granted granted Critical
Publication of JP6540335B2 publication Critical patent/JP6540335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/167—Control of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】走行中における車両のふらつき状態を見やすく表示する。
【解決手段】コンピュータは、車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出する（ステップ２０１）。次に、コンピュータは、検出した仮想中心ラインが所定の位置となるように道路撮像画像を変換して生成した変換画像を表示する（ステップ２０２）。このとき、コンピュータは、車両の走行レーンにおける走行位置の検出結果に応じて、生成した変換画像上における車両のシンボルの表示位置を移動させる。
【選択図】図２

Description

本発明は、走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法に関する。
運輸業務では安全管理者による運転者への安全運転教育が業務の一環として実施されており、実際の運転者の運転状況を効果的に可視化することで、教育効果を高めることができる。運輸業務における安全確保のためには、車線区分線により区分された車線（走行レーン）内を車両が安定して走行することが望ましい。
運転状況の可視化に関連して、車両から撮像した画像に基づいて運転状態又は道路形状を求める技術が知られている（例えば、特許文献１〜特許文献３を参照）。また、移動する標識を撮影した画像に基づいて標識の位置変化の軌跡を表示する技術も知られている（例えば、特許文献４を参照）。
特開２００９−１９９３２８号公報 特開２０１３−１１７８１１号公報 特開２０１４−６５７６号公報 特開昭６１−２８１９１０号公報
走行中における車両のふらつき状態を視覚的に把握しやすく表示する技術は知られていない。
１つの側面において、本発明は、走行中における車両のふらつき状態を見やすく表示することを目的とする。
１つの案では、走行状況表示プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出する。
（２）コンピュータは、検出した仮想中心ラインが所定の位置となるように道路撮像画像を変換して生成した変換画像を表示するとともに、車両の走行レーンにおける走行位置の検出結果に応じて、生成した変換画像上における車両のシンボルの表示位置を移動させる。
１つの実施形態によれば、走行中における車両のふらつき状態を見やすく表示することができる。
走行状況表示装置の機能的構成図である。 走行状況表示処理のフローチャートである。 走行状況表示装置の具体例を示す機能的構成図である。 道路形状モデルを示す図である。 カメラの観測系モデルを示す図である。 道路撮像画像を示す図である。 走行状況表示処理の具体例を示すフローチャートである。 走行軌跡描画処理のフローチャートである。 走行軌跡画像を示す図である。 車両位置描画処理のフローチャートである。 車両形状の輪郭点を示す図である。 車両のヨー角旋回を示す図である。 車両位置画像を示す図である。 車線描画処理のフローチャートである。 危険範囲描画処理のフローチャートである。 安全範囲、注意範囲、及び危険範囲を示す図である。 危険範囲画像を示す図である。 路面画像描画処理のフローチャートである。 路面画像描画処理を示す図である。 変換画像を示す図である。 画像合成処理のフローチャートである。 画像合成処理を示す図である。 合成画像を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
ドライブレコーダ等により取得された走行データを用いた安全運転教育においては、車両が走行レーン内をどのように走行したかを示すことが考えられる。この場合、走行レーンからの逸脱、又は逸脱には至らないが危険なふらつきのような、走行中における車両の実際のふらつき状態を、視覚的に把握しやすく運転者に示すことが望ましい。
車載カメラにより撮像された道路映像がドライブレコーダに記録されている場合、道路映像に車両を表すシンボルを重畳表示することで、車線区分線と車両との相対的な位置関係を示すことが可能である。しかし、車載カメラの映像では、車両の位置は時間的に変化せず、車両前方の大半部分を占める路面が、左右に回転を伴って移動する。このため、路面の左右搖動は視認できるが、路面の左右搖動を操舵による車両の左右搖動として認識することは困難である。
図１は、実施形態の走行状況表示装置の機能的構成例を示している。図１の走行状況表示装置１０１は、記憶部１１１及び表示制御部１１２を含む。記憶部１１１は、車両から撮像された道路撮像画像１２１を記憶し、表示制御部１１２は、道路撮像画像１２１を用いて車両のシンボルを含む画像を表示する処理を行う。
図２は、図１の走行状況表示装置１０１が行う走行状況表示処理の例を示すフローチャートである。まず、表示制御部１１２は、記憶部１１１が記憶する道路撮像画像１２１から、走行レーンの仮想中心ラインを検出する（ステップ２０１）。
次に、表示制御部１１２は、検出した仮想中心ラインが所定の位置となるように道路撮像画像１２１を変換して生成した変換画像を表示する（ステップ２０２）。このとき、表示制御部１１２は、車両の走行レーンにおける走行位置の検出結果に応じて、生成した変換画像上における車両のシンボルの表示位置を移動させる。
図１の走行状況表示装置１０１によれば、走行中における車両のふらつき状態を見やすく表示することができる。
図３は、図１の走行状況表示装置１０１の具体例を示している。図３の走行状況表示装置１０１において、表示制御部１１２は、推定部３０１、合成部３０２、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、及び路面画像描画部３０７を含む。記憶部１１１は、前方撮影映像３１１及び既知パラメータ３１２を記憶する。
前方撮影映像３１１は、車両に搭載されたカメラから進行方向前方を撮影した動画像であり、複数の時刻それぞれにおける道路撮像画像（画像フレーム）を含む。前方撮影映像３１１は、あらかじめ撮影されて記憶部１１１に格納されている。前方撮影映像３１１がドライブレコーダの映像である場合、その映像は広角レンズで撮影される。既知パラメータ３１２は、複数時刻の道路撮像画像に共通する既知のパラメータである。
推定部３０１は、前方撮影映像３１１及び既知パラメータ３１２を用いて、各時刻における画像フレームの道路形状パラメータを推定する。表示制御部１１２は、走行レーンの仮想中心ライン上に仮想視点を固定するとともに道路曲率を補正して道路を直線化することで、各画像フレームを仮想的な変換画像に変換する。
走行軌跡描画部３０３は、車両の走行軌跡の表示範囲を進行方向（画像フレームの奥行き方向）に圧縮して、特定の画像フレーム以降の車両の位置を表す走行軌跡画像を生成する。車両位置描画部３０４は、仮想視点から見た車両の外形を表す車両位置画像を生成する。
車線描画部３０５は、走行レーンの境界（端）を示す白線等の車線区分線を表す車線画像を生成する。危険範囲描画部３０６は、走行レーンの端からの距離に基づいて、走行レーン内の領域を危険度の異なる複数の領域に分類し、それらの領域を表す危険範囲画像を生成する。路面画像描画部３０７は、各画像フレームを変換画像に変換する。
合成部３０２は、走行軌跡画像、車両位置画像、車線画像、危険範囲画像、及び変換画像を合成して合成画像を生成し、生成した合成画像を画面上に表示する。
走行レーンの仮想中心ライン上に仮想視点を固定して道路を直線化することで、前方撮影映像中の大部分を占める路面の動きを止めることができる。そして、車両位置画像と変換画像とを合成して表示することで、路面上で走行中の車両だけが左右に搖動する画像を表示することができ、操舵による車両の左右搖動を直接的に視認することが可能になる。さらに、走行軌跡画像を合成して表示することで、路面上で車両の移動軌跡を長距離範囲に渡って表示することができ、車両の左右搖動が強調される。
図４は、道路形状モデルの例を示している。ここでは、走行レーンの仮想中心ラインＬｃにおける曲率をｃとし、走行レーンの各位置で水平方向（Ｘ軸方向）に測って道路幅（車線幅）がＷとなる道路形状モデルを考える。
図５に示すように、カメラの中心を原点Ｏとして、原点Ｏから横方向に路面座標系のＸ軸をとり、縦方向に路面座標系のＺ軸をとる。この場合、Ｚ軸は道路の奥行き方向を表し、ＸＺ平面に垂直な方向が路面座標系のＹ軸となる。図４の道路形状モデルにおける各記号の意味は以下の通りである。
Ｌｃ：走行レーンの仮想中心ライン
Ｌｒ：走行レーンの右側の車線区分線
Ｌｌ：走行レーンの左側の車線区分線
Ｗ：道路幅
ｃ：道路曲率
Ｅ：原点Ｏから仮想中心ラインＬｃまでの距離（カメラの横方向オフセット）
図５は、カメラの観測系モデルの例を示している。カメラの中心は路面から高さＨの位置にあり、カメラ座標系Ｏ−ＸｃＹｃＺｃは、路面座標系Ｏ−ＸＹＺに対して、ヨー角θ、ピッチ角φ、及びロール角０の傾きを持つ。カメラの水平方向の焦点距離はｆｘとし、垂直方向の焦点距離はｆｙとする。カメラの撮像面５０１は、画像座標系Ｏ−ｘｃｙｃで記述される。
図６は、カメラにより撮像される道路撮像画像（画像フレーム）の例を示している。画像フレームの中央を原点Ｏとして、原点Ｏからｘｃ軸を右向きに、ｙｃ軸を下向きに取り、画像座標を（ｘｃ，ｙｃ）とする。このとき、特許文献２に記載された近似を適用することで、所定のｙｃ座標に対する車線区分線Ｌｒ及び車線区分線Ｌｌのｘｃ座標を、次式により表すことができる。
Figure 2017034400
式（１）のｋは、車線区分線Ｌｒと車線区分線Ｌｌとを区別するための定数である。右側の車線区分線Ｌｒ上の点６０１に対してはｋ＝１となり、左側の車線区分線Ｌｌ上の点６０２に対してはｋ＝−１となる。
各時刻における画像フレームから車線区分線の座標（ｘｃ，ｙｃ）が検出できれば、式（１）を用いて道路形状パラメータ（Ｗ，Ｅ，ｃ，φ，θ）を推定することができる。この場合、既知パラメータ３１２は、例えば、以下のようなパラメータを含む。
Ｈ：カメラ設置高さ
Ｐｘ：カメラ原点から車両中央までの距離
ｆｘ：カメラの水平方向の焦点距離
ｆｙ：カメラの垂直方向の焦点距離
ｐｗ：画像フレームの水平方向の画素数
ｐｈ：画像フレームの垂直方向の画素数
車両に対するカメラの取り付け向き（ヨー角、ピッチ角、及びロール角）は既知であり、前方撮影映像３１１ではヨー角、ピッチ角、及びロール角の初期値が０であるか、又は方向ずれの影響がなく、画像フレームの中央が道路前方の無限遠点と一致するように、前方撮影映像３１１が補正されているものとする。さらに、前方撮影映像３１１は、透視変換での映像に変換されているものとする。
推定部３０１は、時刻ｔにおける画像フレームから、式（１）を用いて以下の道路形状パラメータを推定することができる。
Ｗ（ｔ）：道路幅
Ｅ（ｔ）：カメラ原点から道路中心までの横距離
ｃ（ｔ）：道路曲率
φ（ｔ）：ピッチ角
θ（ｔ）：ヨー角
図７は、図３の走行状況表示装置１０１が行う走行状況表示処理の具体例を示すフローチャートである。まず、推定部３０１は、表示区間の開始時刻における画像フレームから、式（１）を用いて道路形状パラメータを推定する（ステップ７０１）。
次に、走行軌跡描画部３０３は、走行軌跡描画処理を行って走行軌跡画像を生成し（ステップ７０２）、車両位置描画部３０４は、車両位置描画処理を行って車両位置画像を生成する（ステップ７０３）。車線描画部３０５は、車線描画処理を行って車線画像を生成し（ステップ７０４）、危険範囲描画部３０６は、危険範囲描画処理を行って危険範囲画像を生成する（ステップ７０５）。路面画像描画部３０７は、路面画像描画処理を行って変換画像を生成する（ステップ７０６）。表示制御部１１２は、ステップ７０２〜ステップ７０６の処理を並列に実行してもよく、所定の順序で実行してもよい。
次に、合成部３０２は、画像合成処理を行って合成画像を生成し、生成した合成画像を画面上に表示する（ステップ７０７）。
次に、表示制御部１１２は、表示区間の最終時刻に達したか否かを判定し（ステップ７０８）、表示区間の最終時刻に達していない場合（ステップ７０８，ＮＯ）、次の時刻についてステップ７０１以降の処理を繰り返す。そして、表示区間の最終時刻に達した場合（ステップ７０８，ＹＥＳ）、処理を終了する。
図８は、図７のステップ７０２における走行軌跡描画処理の例を示すフローチャートである。時刻ｔにおける道路中心からカメラ原点までの横距離Ｅｒ（ｔ）は、時刻ｔにおけるＥ（ｔ）を用いて次式により与えられる。

Ｅｒ（ｔ）＝−Ｅ（ｔ） （２）
このとき、道路中心から車両中央までの横距離Ｅｖ（ｔ）は、Ｅｒ（ｔ）を用いて次式により与えられる。

Ｅｖ（ｔ）＝Ｅｒ（ｔ）＋Ｐｘ
＝−Ｅ（ｔ）＋Ｐｘ （３）
走行軌跡を進行方向に圧縮するために、車両の走行速度Ｖｒ（ｍｍ／フレーム）を、十分に低速である仮想的な走行速度Ｖｖ（ｍｍ／フレーム）に変換する。

Ｖｖ＝Ｖｒ／Ｋ （４）
Ｋは減速係数を表し、例えば、１６０程度の値であってもよい。時刻ｔよりも後の時刻ｔ’における車両中央の位置を用いて走行軌跡を表示する場合、時刻ｔに対する時刻ｔ’の相対時刻ｍを次式により表すことができる。

ｍ＝ｔ’−ｔ （５）
道路を直線化するため道路曲率ｃ（ｔ）を無視すると、道路中心をＺｒ軸とする道路中心座標系において、相対時刻ｍにおける車両中央の座標（Ｘｒ（ｍ），Ｚｒ（ｍ））は、次式により与えられる。

Ｘｒ（ｍ）＝Ｅｖ（ｍ＋ｔ） （６）
Ｚｒ（ｍ）＝Ｖｖ＊ｍ＋Ｚ０ （７）
奥行き距離Ｚ０は、時刻ｔにおける車両中央のＺｒ座標を表し、例えば、２８００ｍｍ程度の値であってもよい。
図８の走行軌跡描画処理では、式（６）及び式（７）を用いて走行軌跡画像が生成される。式（７）から分かるように、仮想的な走行速度Ｖｖが低速であるほど、路面上ではより遠方までの軌跡を描くことができる。相対時刻ｍとしては、０以上の整数が用いられる。
まず、走行軌跡描画部３０３は、描画距離範囲ＺＭ（ｍｍ）から、次式により描画フレーム範囲ｍＭ（フレーム）を求める（ステップ８０１）。

ｍＭ＝ＺＭ／Ｖｖ （８）
この場合、０≦ｍ＜ｍＭの範囲が走行軌跡の描画対象区間となる。次に、走行軌跡描画部３０３は、ｍに０を設定して（ステップ８０２）、ｍとｍＭとを比較する（ステップ８０３）。ｍがｍＭよりも小さい場合（ステップ８０３，ＮＯ）、走行軌跡描画部３０３は、式（６）及び式（７）を用いて道路中心座標系における位置（Ｘｒ（ｍ），Ｚｒ（ｍ））を求める（ステップ８０４）。
次に、走行軌跡描画部３０３は、（Ｘｒ（ｍ），Ｚｒ（ｍ））を撮像面５０１に透視投影して、次式により走行軌跡画像Ｐｔ上の位置（ｘｔ（ｍ），ｙｔ（ｍ））を求める（ステップ８０５）。

ｘｔ（ｍ）＝ｆｘ＊Ｘｒ（ｍ）／Ｚｒ（ｍ）＋ｘ０ （９）
ｙｔ（ｍ）＝ｆｙ＊Ｈ／Ｚｒ（ｍ）＋ｙ０ （１０）
（ｘｔ（ｍ），ｙｔ（ｍ））は、画像フレームの左上頂点を原点とする座標系であり、（ｘ０，ｙ０）は、画像フレームの中心位置を表す。次に、走行軌跡描画部３０３は、走行軌跡画像Ｐｔ上の位置（ｘｔ（ｍ），ｙｔ（ｍ））にマークをプロットする（ステップ８０６）。マークは、所定色のドットであってもよい。
そして、走行軌跡描画部３０３は、ｍを１だけインクリメントして（ステップ８０７）、ステップ８０３以降の処理を繰り返し、ｍがｍＭに達した場合（ステップ８０３，ＹＥＳ）、処理を終了する。
図９は、図８の走行軌跡描画処理により生成される走行軌跡画像Ｐｔの例を示している。画像座標系Ｏ−ｘｃｙｃの画像９０１上では、車両中央がｙｃ軸上の所定位置に固定されているため、実際の走行速度Ｖｒに合わせた走行軌跡９１１は、ｙｃ軸上の直線として描画される。
これに対して、変換画像に対応する走行軌跡画像９０２上では、位置（ｘ０，ｙ０）を原点とする座標系（ｘｔｔ，ｙｔｔ）のｙｔｔ軸上に仮想中心ラインＬｃが固定されている。このため、仮想的な走行速度Ｖｖに合わせた走行軌跡９１２は、ｘｔｔ軸方向におけるｙｔｔ軸からの変位として描画される。これにより、路面上で車両の移動軌跡を長距離範囲に渡って表示することができ、車両の左右搖動が強調される。なお、仮想中心ラインＬｃ、車線区分線Ｌｒ、及び車線区分線Ｌｌは、実際には後述する車線画像Ｐｌに含まれ、走行軌跡画像Ｐｔには含まれない。
図１０は、図７のステップ７０３における車両位置描画処理の例を示すフローチャートである。まず、車両位置描画部３０４は、車両形状の輪郭点を路面上に設定する（ステップ１００１）。
図１１は、車両形状の輪郭点の例を示している。道路中心座標系（Ｘ，Ｚ）における５個の輪郭点Ｐ０〜Ｐ４の座標は、車幅Ｖｗ（ｍｍ）、奥行き距離Ｚ０（ｍｍ）、及び時刻ｔにおけるＥｖ（ｔ）を用いて、次のように表される。
Ｐ０：（Ｅｖ（ｔ），Ｚ０）
Ｐ１：（Ｅｖ（ｔ）−Ｖｗ／２，０）
Ｐ２：（Ｅｖ（ｔ）−Ｖｗ／２，Ｚ０）
Ｐ３：（Ｅｖ（ｔ）＋Ｖｗ／２，Ｚ０）
Ｐ４：（Ｅｖ（ｔ）＋Ｖｗ／２，０）
このうち、輪郭点Ｐ０は車両中央に対応する。次に、車両位置描画部３０４は、各輪郭点に対して車両のヨー角旋回を適用する（ステップ１００２）。
図１２は、車両のヨー角旋回の例を示している。輪郭点Ｐ０’〜Ｐ４’は、輪郭点Ｐ０〜Ｐ４に対してヨー角θの旋回を施した後の輪郭点を表し、輪郭点Ｐ０’は輪郭点Ｐ０に一致している。各輪郭点の旋回前の座標を（Ｘ，Ｚ）とし、Ｅｖ（ｔ）＝Ｘ０とすると、旋回後の座標（Ｘ’，Ｚ’）は次式により与えられる。

Ｘ’＝ｃｏｓ（θ）＊（Ｘ−Ｘ０）
＋ｓｉｎ（θ）＊（Ｚ−Ｚ０）＋Ｘ０ （１１）
Ｚ’＝−ｓｉｎ（θ）＊（Ｘ−Ｘ０）
＋ｃｏｓ（θ）＊（Ｚ−Ｚ０）＋Ｚ０ （１２）
式（１１）及び式（１２）のヨー角θとしては、時刻ｔにおけるヨー角θ（ｔ）を用いることができる。
次に、車両位置描画部３０４は、各輪郭点の旋回後の座標（Ｘ’，Ｚ’）を撮像面５０１に透視投影して、次式により車両位置画像Ｐｖ上の位置（ｘｖ（ｋ），ｙｖ（ｋ））を求める（ステップ１００３）。

ｘｖ（ｋ）＝ｆｘ＊Ｘ’（ｋ）／Ｚ’（ｋ）＋ｘ０ （１３）
ｙｖ（ｋ）＝ｆｙ＊Ｈ／Ｚ’（ｋ）＋ｙ０ （１４）
（ｘｖ（ｋ），ｙｖ（ｋ））は、画像フレームの左上頂点を原点とする座標系である。ｋは輪郭点を区別するための変数であり、輪郭点Ｐ０〜Ｐ４はｋ＝０〜４にそれぞれ対応する。
次に、車両位置描画部３０４は、車両位置画像Ｐｖ上の位置（ｘｖ（ｋ），ｙｖ（ｋ））（ｋ＝０〜４）が表す図形を車両のシンボルとして描画する（ステップ１００４）。
図１２の例では、輪郭点Ｐ０’を表す点と、輪郭点Ｐ１’及び輪郭点Ｐ２’を結ぶ線分と、輪郭点Ｐ２’及び輪郭点Ｐ３’を結ぶ線分と、輪郭点Ｐ３’及び輪郭点Ｐ４’を結ぶ線分とから成る図形が描画されている。車幅Ｖｗに対応する幅を有するシンボルを描画することで、車両の位置を直接的に視認することができる。
図１３は、図１０の車両位置描画処理により生成される車両位置画像Ｐｖの例を示している。画像座標系Ｏ−ｘｃｙｃの画像１３０１上では、車両中央１３１１がｙｃ軸上の所定位置に固定されているため、シンボル１３１２は、ｙｃ軸上に中心が固定された図形として描画される。
これに対して、変換画像に対応する車両位置画像１３０２上では、位置（ｘ０，ｙ０）を原点とする座標系（ｘｖｖ，ｙｖｖ）のｙｖｖ軸上に仮想中心ラインＬｃが固定されている。このため、シンボル１３１２は、ｙｖｖ軸から離れた位置に中心を持つ図形として描画される。これにより、路面上で車両の左右搖動を直接的に視認することができる。なお、仮想中心ラインＬｃ、車線区分線Ｌｒ、及び車線区分線Ｌｌは、実際には後述する車線画像Ｐｌに含まれ、車両位置画像Ｐｖには含まれない。
図１４は、図７のステップ７０４における車線描画処理の例を示すフローチャートである。まず、車線描画部３０５は、車線画像Ｐｌ上における画像フレームの中心位置の座標を（ｘ０，ｙ０）として、車線画像Ｐｌ上における描画位置（ｘｋｐ，ｙｋｐ）のｙｋｐ座標にｙ０を設定する（ステップ１４０１）。（ｘｋｐ，ｙｋｐ）は、画像フレームの左上頂点を原点とする座標系である。
次に、車線描画部３０５は、ｙｋｐを垂直方向の画素数ｐｈと比較する（ステップ１４０２）。ｙｋｐがｐｈよりも小さい場合（ステップ１４０２，ＮＯ）、車線描画部３０５は、次式によりｙｋｐをｙｋに変換する（ステップ１４０３）。

ｙｋ＝ｙｋｐ−ｙ０ （１５）
ｙｋは、（ｘ０，ｙ０）を原点とする座標系（ｘｋ，ｙｋ）におけるｙｋ座標を表す。次に、車線描画部３０５は、時刻ｔにおける道路幅Ｗ（ｔ）を用いて、左側の車線区分線Ｌｌのｘｋｐ座標を表すｘｋＬと、右側の車線区分線Ｌｒのｘｋｐ座標を表すｘｋＲとを求める。

ｘｋＬ＝ＸＬ＊ｙｋ＊ｆｘ／（ｆｙ＊Ｈ）＋ｘ０ （１６）
ｘｋＲ＝ＸＲ＊ｙｋ＊ｆｘ／（ｆｙ＊Ｈ）＋ｘ０ （１７）
ＸＬ＝−Ｗ（ｔ）／２ （１８）
ＸＲ＝Ｗ（ｔ）／２ （１９）
式（１８）のＸＬは、左側の車線区分線Ｌｌのｘｋ座標を表し、式（１９）のＸＲは、右側の車線区分線Ｌｒのｘｋ座標を表す。式（１６）及び式（１７）は、式（１）の右辺第２項に基づいて導出される。
次に、車線描画部３０５は、車線画像Ｐｌ上の位置（ｘｋＬ，ｙｋｐ）及び位置（ｘｋＲ，ｙｋｐ）にマークをプロットする（ステップ１４０５）。マークは、所定色のドットであってもよい。
そして、車線描画部３０５は、ｙｋｐを１だけインクリメントして（ステップ１４０６）、ステップ１４０２以降の処理を繰り返し、ｙｋｐがｐｈに達した場合（ステップ１４０２，ＹＥＳ）、処理を終了する。
このような車線描画処理によって、例えば、図９の走行軌跡画像９０２又は図１３の車両位置画像１３０２上に示したような、車線区分線Ｌｌ及び車線区分線Ｌｒの画像が生成される。これにより、走行軌跡９１２又はシンボル１３１２と、車線区分線Ｌｌ及び車線区分線Ｌｒとの相対的な位置関係を、容易に視認することができる。
図１５は、図７のステップ７０５における危険範囲描画処理の例を示すフローチャートである。図１５の危険範囲描画処理では、走行レーンの端からの距離に基づいて、走行レーン内の領域が安全範囲、注意範囲、及び危険範囲の３種類の領域に分類され、それらの領域を表す危険範囲画像Ｐｗが生成される。
図１６は、安全範囲、注意範囲、及び危険範囲の例を示している。図１６では、道路中心座標系（Ｘ，Ｚ）におけるＸ座標の値に基づいて、安全範囲、注意範囲、及び危険範囲が以下のように設定される。
安全範囲： ｜Ｘ｜≦Ｄ１
注意範囲： Ｄ１＜｜Ｘ｜≦Ｄ２
危険範囲： Ｄ２＜｜Ｘ｜≦Ｄ３
距離の閾値Ｄ１〜Ｄ３は、例えば、車幅Ｖｗと時刻ｔにおける道路幅Ｗ（ｔ）とを用いて、次式により与えられる。

Ｄ１＝（Ｗ（ｔ）−Ｖｗ）／２−ＭＧＮ （２０）
Ｄ２＝（Ｗ（ｔ）−Ｖｗ）／２ （２１）
Ｄ３＝Ｗ（ｔ）／２ （２２）
式（２０）のＭＧＮは、注意範囲の幅を表す規定値であり、例えば、２０ｃｍ〜３０ｃｍ程度の値であってもよい。
まず、危険範囲描画部３０６は、危険範囲画像Ｐｗ上における画像フレームの中心位置の座標を（ｘ０，ｙ０）として、危険範囲画像Ｐｗ上における描画位置（ｘｗｐ，ｙｗｐ）のｙｗｐ座標にｙ０を設定する（ステップ１５０１）。（ｘｗｐ，ｙｗｐ）は、画像フレームの左上頂点を原点とする座標系である。
次に、危険範囲描画部３０６は、ｙｗｐを垂直方向の画素数ｐｈと比較する（ステップ１５０２）。ｙｗｐがｐｈよりも小さい場合（ステップ１５０２，ＮＯ）、危険範囲描画部３０６は、ｘｗｐ座標に０を設定する（ステップ１５０３）。
次に、危険範囲描画部３０６は、ｘｗｐを水平方向の画素数ｐｗと比較する（ステップ１５０４）。ｘｗｐがｐｗよりも小さい場合（ステップ１５０４，ＮＯ）、危険範囲描画部３０６は、次式により、ｘｗｐ及びｙｗｐをｘｗ及びｙｗにそれぞれ変換する（ステップ１５０５）。

ｘｗ＝ｘｗｐ−ｘ０ （２３）
ｙｗ＝ｙｗｐ−ｙ０ （２４）
（ｘｗ，ｙｗ）は、（ｘ０，ｙ０）を原点とする座標系である。次に、危険範囲描画部３０６は、次式により、ｘｗを道路中心座標系（Ｘ，Ｚ）におけるＸ座標に変換する。

Ｘ＝ｘｗ＊Ｚ／ｆｘ
＝ｘｗ＊ｆｙ＊Ｈ／（ｆｘ＊ｙｗ） （２５）
次に、危険範囲描画部３０６は、Ｘの絶対値｜Ｘ｜をＤ１と比較する（ステップ１５０７）。｜Ｘ｜がＤ１以下である場合（ステップ１５０７，ＹＥＳ）、危険範囲描画部３０６は、危険範囲画像Ｐｗ上の位置（ｘｗｐ，ｙｗｐ）における描画色を、安全範囲を表す色ｃ１に決定する（ステップ１５０８）。
｜Ｘ｜がＤ１よりも大きい場合（ステップ１５０７，ＮＯ）、危険範囲描画部３０６は、｜Ｘ｜をＤ２と比較する（ステップ１５０９）。｜Ｘ｜がＤ２以下である場合（ステップ１５０９，ＹＥＳ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を、注意範囲を表す色ｃ２に決定する（ステップ１５１０）。
｜Ｘ｜がＤ２よりも大きい場合（ステップ１５０９，ＮＯ）、危険範囲描画部３０６は、｜Ｘ｜をＤ３と比較する（ステップ１５１１）。｜Ｘ｜がＤ３以下である場合（ステップ１５１１，ＹＥＳ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を、危険範囲を表す色ｃ３に決定する（ステップ１５１２）。
｜Ｘ｜がＤ３よりも大きい場合（ステップ１５１１，ＮＯ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を色なしに決定する（ステップ１５１３）。
次に、危険範囲描画部３０６は、危険範囲画像Ｐｗ上の位置（ｘｗｐ，ｙｗｐ）に、決定した描画色のドットをプロットする（ステップ１５１４）。ただし、色なしの場合、ドットはプロットされない。
次に、危険範囲描画部３０６は、ｘｗｐを１だけインクリメントして（ステップ１５１５）、ステップ１５０４以降の処理を繰り返す。ｘｗｐがｐｗに達した場合（ステップ１５０４，ＹＥＳ）、危険範囲描画部３０６は、ｙｗｐを１だけインクリメントして（ステップ１５１６）、ステップ１５０２以降の処理を繰り返す。そして、ｙｗｐがｐｈに達した場合（ステップ１５０２，ＹＥＳ）、危険範囲描画部３０６は、処理を終了する。
図１７は、図１５の危険範囲描画処理により生成される危険範囲画像Ｐｗの例を示している。画像座標系Ｏ−ｘｃｙｃの画像１７０１上では、車両中央がｙｃ軸上の所定位置に固定されているため、安全範囲１７１１、注意範囲１７１２、及び危険範囲１７１３の形状は、道路形状に応じて変化する。
これに対して、変換画像に対応する危険範囲画像１７０２上では、仮想中心ラインがｙｗ軸上に固定されているため、安全範囲１７２１、注意範囲１７２２、及び危険範囲１７２３の形状は変化が少ない。したがって、路面上でそれぞれの範囲を安定して表示することができる。
図１８は、図７のステップ７０６における路面画像描画処理の例を示すフローチャートである。図１８の路面画像描画処理では、カメラにより撮影された画像フレームが変換画像Ｐｒに変換される。変換画像Ｐｒは、画像フレームの左上頂点を原点とする座標系（ｘｒｐ，ｙｒｐ）で記述される。（ｘｒ，ｙｒ）は、変換画像Ｐｒ上の位置（ｘ０，ｙ０）を原点とする座標系である。このとき、変換画像Ｐｒは、以下の２つの領域に分割されて生成される。
変換画像Ｐｒの上側（ｙｒ≦０）：背景部分
変換画像Ｐｒの下側（ｙｒ＞０）：路面部分
図１９は、路面画像描画処理の例を示している。変換画像１９０１は、背景部分１９１１及び路面部分１９１２に分割される。背景部分１９１１については、ヨー角θ及びピッチ角φの成分が補正され、路面部分１９１２については、ヨー角θ、ピッチ角φ、道路曲率ｃ（ｔ）、及び横距離Ｅｒ（ｔ）の成分が補正される。背景部分１９１１については、道路曲率ｃ（ｔ）及び横距離Ｅｒ（ｔ）の成分の補正は不要であり、省略することができる。
変換画像１９０１のそれぞれの部分に含まれる座標（ｘｒ，ｙｒ）の画素１９２１について、画像フレーム１９０２内の対応する位置１９２２の座標（ｘｃ，ｙｃ）が求められる。そして、位置１９２２の周囲の画素値から補間処理により補間画素値が求められ、その補間画素値が画素１９２１の画素値として設定される。
図１８のステップ１８０１〜ステップ１８０９及びステップ１８１９は、背景部分の画像を生成する処理に対応し、ステップ１８１０〜ステップ１８１８及びステップ１８２０は、路面部分の画像を生成する処理に対応する。
まず、路面画像描画部３０７は、変換画像Ｐｒ上における描画位置（ｘｒｐ，ｙｒｐ）のｙｒｐ座標に０を設定し（ステップ１８０１）、ｙｒｐをｐｈ／２と比較する（ステップ１８０２）。ｙｒｐがｐｈ／２よりも小さい場合（ステップ１８０２，ＮＯ）、路面画像描画部３０７は、ｘｒｐ座標に０を設定する（ステップ１８０３）。
次に、路面画像描画部３０７は、ｘｒｐをｐｗと比較する（ステップ１８０４）。ｘｒｐがｐｗよりも小さい場合（ステップ１８０４，ＮＯ）、路面画像描画部３０７は、次式により、ｘｒｐ及びｙｒｐをｘｒ及びｙｒにそれぞれ変換する（ステップ１８０５）。

ｘｒ＝ｘｒｐ−ｘ０ （３１）
ｙｒ＝ｙｒｐ−ｙ０ （３２）
次に、路面画像描画部３０７は、次式により、カメラにより撮影された画像フレーム内の対応する位置の座標（ｘｃ，ｙｃ）を求める（ステップ１８０６）。

ｘｃ＝ｘｒ＋ｆｘ＊θ （３３）
ｙｃ＝ｙｒ−ｆｙ＊φ （３４）
式（３３）のｆｘ＊θは、ヨー角θの成分を表し、式（３４）のｆｘ＊φは、ピッチ角φの成分を表す。ヨー角θ及びピッチ角φは、時刻ｔにおけるヨー角θ（ｔ）及びピッチ角φ（ｔ）に対応する。
次に、路面画像描画部３０７は、補間処理により座標（ｘｃ，ｙｃ）における補間画素値ｐを求める（ステップ１８０７）。例えば、バイリニア補間を用いた場合、補間画素値ｐは、次式により求められる。
ｉｘ＝ｘｃの切り捨て整数値 （３５）
ｉｙ＝ｙｃの切り捨て整数値 （３６）
ｄｘ１＝ｘｃ−ｉｘ （３７）
ｄｘ２＝１−ｄｘ１ （３８）
ｄｙ１＝ｙｃ−ｉｙ （３９）
ｄｙ２＝１−ｄｙ１ （４０）
ｐ１＝Ｐｃ（ｉｘ，ｉｙ） （４１）
ｐ２＝Ｐｃ（ｉｘ＋１，ｉｙ） （４２）
ｐ３＝Ｐｃ（ｉｘ，ｉｙ＋１） （４３）
ｐ４＝Ｐｃ（ｉｘ＋１，ｉｙ＋１） （４４）
ｐ＝ｄｙ２＊（ｄｘ２＊ｐ１＋ｄｘ１＊ｐ２）
＋ｄｙ１＊（ｄｘ２＊ｐ３＋ｄｘ１＊ｐ４） （４５）
式（３７）〜式（４０）のｄ１〜ｄ４は、画像フレーム内における位置誤差を表し、式（４１）〜式（４４）のｐ１〜ｐ４は、座標（ｘｃ，ｙｃ）の周囲の画素値を表す。
次に、路面画像描画部３０７は、変換画像Ｐｒ上の位置（ｘｒｐ，ｙｒｐ）に、補間画素値ｐのドットをプロットする（ステップ１８０８）。
次に、路面画像描画部３０７は、ｘｒｐを１だけインクリメントして（ステップ１８０９）、ステップ１８０４以降の処理を繰り返す。ｘｒｐがｐｗに達した場合（ステップ１８０４，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐを１だけインクリメントして（ステップ１８１９）、ステップ１８０２以降の処理を繰り返す。
そして、ｙｒｐがｐｈ／２に達した場合（ステップ１８０２，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐ座標にｐｈ／２を設定し（ステップ１８１０）、ｙｒｐをｐｈと比較する（ステップ１８１１）。ｙｒｐがｐｈよりも小さい場合（ステップ１８１１，ＮＯ）、路面画像描画部３０７は、ｘｒｐ座標に０を設定する（ステップ１８１２）。
次に、路面画像描画部３０７は、ｘｒｐをｐｗと比較する（ステップ１８１３）。ｘｒｐがｐｗよりも小さい場合（ステップ１８１３，ＮＯ）、路面画像描画部３０７は、式（３１）及び式（３２）により、ｘｒｐ及びｙｒｐをｘｒ及びｙｒにそれぞれ変換する（ステップ１８１４）。
次に、路面画像描画部３０７は、次式により、カメラにより撮影された画像フレーム内の対応する位置の座標（ｘｃ，ｙｃ）を求める（ステップ１８１５）。

ｘｃ＝ｘｒ＋ｆｘ＊θ＋ｆｘ＊ｆｙ＊Ｈ＊ｃ／（２＊ｙｒ）
＋Ｅｒ（ｔ）＊ｙｒ＊ｆｘ／（Ｈ＊ｆｙ） （４６）
ｙｃ＝ｙｒ−ｆｙ＊φ （４７）
式（４６）のｆｘ＊θは、ヨー角θの成分を表し、ｆｘ＊ｆｙ＊Ｈ＊ｃ／（２＊ｙｒ）は、道路曲率ｃの成分を表し、Ｅｒ（ｔ）＊ｙｒ＊ｆｘ／（Ｈ＊ｆｙ）は、横距離Ｅの成分を表す。式（４７）のｆｘ＊φは、ピッチ角φの成分を表す。ヨー角θ、ピッチ角φ、及び道路曲率ｃは、時刻ｔにおけるヨー角θ（ｔ）、ピッチ角φ（ｔ）、及び道路曲率ｃ（ｔ）に対応する。Ｅｒ（ｔ）は、式（２）により求められる。
次に、路面画像描画部３０７は、補間処理により座標（ｘｃ，ｙｃ）における補間画素値ｐを求め（ステップ１８１６）、変換画像Ｐｒ上の位置（ｘｒｐ，ｙｒｐ）に、補間画素値ｐのドットをプロットする（ステップ１８１７）。
次に、路面画像描画部３０７は、ｘｒｐを１だけインクリメントして（ステップ１８１８）、ステップ１８１３以降の処理を繰り返す。ｘｒｐがｐｗに達した場合（ステップ１８１３，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐを１だけインクリメントして（ステップ１８２０）、ステップ１８１１以降の処理を繰り返す。そして、ｙｒｐがｐｈに達した場合（ステップ１８１１，ＹＥＳ）、路面画像描画部３０７は、処理を終了する。
図２０は、図１８の路面画像描画処理により生成される変換画像Ｐｒの例を示している。画像座標系Ｏ−ｘｃｙｃの画像フレーム２００１上では、車両中央がｙｃ軸上の所定位置に固定されているため、道路の形状は、車両の左右搖動に応じて変化する。
これに対して、変換画像２００２上では、仮想中心ラインＬｃがｙｒ軸上に固定されているため、道路の形状は変化が少ない。したがって、路面画像を安定して表示することができる。
図２１は、図７のステップ７０７における画像合成処理の例を示すフローチャートである。図２１の画像合成処理では、図２２に示すように、走行軌跡画像２２０１、車両位置画像２２０２、車線画像２２０３、危険範囲画像２２０４、及び変換画像２２０５の５つのプレーンの画像から合成画像２２０６が生成される。走行軌跡画像２２０１は、最上位のプレーンに対応し、変換画像２２０５は、最下位のプレーンに対応する。合成部３０２は、最下位のプレーンから順に描画色を有する画素を上書きすることで、５つのプレーンの画像を統合し、合成画像２２０６として重畳表示する。
まず、合成部３０２は、変換画像Ｐｒを合成画像Ｐｏに転写し（ステップ２１０１）、危険範囲画像Ｐｗ内の描画色を有する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０２）。次に、合成部３０２は、車線画像Ｐｌ内のマークに対応する画素の画素値を合成画像Ｐｏに転写し（ステップ２１０３）、車両位置画像Ｐｖ内のシンボルに対応する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０４）。そして、合成部３０２は、走行軌跡画像Ｐｔ内のマークに対応する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０５）。
図２３は、図２１の画像合成処理により生成される合成画像Ｐｏの例を示している。図２３（ａ）に示される合成画像では、路面が固定されており、実際の情景変化があり、車両を表すシンボル２３０１が左右に搖動し、走行軌跡２３０２が進行方向に圧縮されている。これにより、路面及び走行軌跡が固定されて車両だけが左右に搖動するとともに、走行軌跡が強調されるため、車両のふらつき状態を容易に視認することができる。例えば、ドライブレコーダにより記録された走行中の映像を確認する場合、走行に伴う今後の軌跡変化を容易に確認することも可能になる。
これに対して、図２３（ｂ）に示される画像座標系Ｏ−ｘｃｙｃの画像フレームでは、車両を表すシンボル２３０１が固定されており、路面全体が左右に搖動し、走行軌跡２３０３が近方の一部のみに限定されている。このため、大きな面積の路面が搖動して車両のふらつき状態が分かり難く、走行軌跡からふらつき状態を確認することは極めて困難である。
なお、合成部３０２は、走行軌跡画像、車両位置画像、車線画像、危険範囲画像、及び変換画像のすべてを合成する代わりに、一部の画像のみを選択的に合成して、合成画像を生成することもできる。例えば、合成部３０２は、車両位置画像及び変換画像のみを合成してもよく、走行軌跡画像、車両位置画像、及び変換画像のみを合成してもよい。
図１及び図３の走行状況表示装置１０１の構成は一例に過ぎず、走行状況表示装置１０１の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、走行状況表示装置１０１の外部の装置が各時刻における道路形状パラメータを推定する場合は、推定部３０１を省略することができる。
走行軌跡画像、車両位置画像、車線画像、危険範囲画像、又は変換画像を表示に使用しない場合は、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、又は路面画像描画部３０７を省略することができる。
図７、図８、図１０、図１４、図１５、図１８、及び図２１のフローチャートは一例に過ぎず、走行状況表示装置１０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、走行状況表示装置１０１の外部の装置が各時刻における道路形状パラメータを推定する場合は、図７のステップ７０１の処理を省略することができる。
走行軌跡画像、車両位置画像、車線画像、危険範囲画像、又は変換画像を表示に使用しない場合は、図７のステップ７０２、ステップ７０３、ステップ７０４、ステップ７０５、又はステップ７０６の処理を省略することができる。
図４の道路形状モデル、図５の観測系モデル、図１１、図１２、及び図１６の道路中心座標系（Ｘ，Ｚ）は一例に過ぎず、他のモデル又は座標系を用いて走行状況表示処理を行ってもよい。式（１）〜式（４７）は一例に過ぎず、別の計算式又は座標系を用いて走行状況表示処理を行ってもよい。
図９の走行軌跡画像、図１３の車両位置画像、図１７の危険範囲画像、図２０の変換画像、図２２及び図２３の合成画像は一例に過ぎず、走行状況表示装置１０１の構成や条件に応じて他の画像を用いてよい。例えば、図９の走行軌跡画像と図２２及び図２３の合成画像において、別の形状のマークをプロットして走行軌跡を描画してもよく、図１３の車両位置画像と図２２及び図２３の合成画像において、別のサイズ又は形状のシンボルを描画してもよい。
図２４は、図１及び図３の走行状況表示装置１０１を実現するための情報処理装置（コンピュータ）の構成例を示している。図２４の情報処理装置は、Central Processing Unit（ＣＰＵ）２４０１、メモリ２４０２、入力装置２４０３、出力装置２４０４、補助記憶装置２４０５、媒体駆動装置２４０６、及びネットワーク接続装置２４０７を含む。これらの構成要素はバス２４０８により互いに接続されている。
メモリ２４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、走行状況表示処理に用いられるプログラム及びデータを格納する。メモリ２４０２は、図１及び図３の記憶部１１１として用いることができる。
ＣＰＵ２４０１（プロセッサ）は、例えば、メモリ２４０２を利用してプログラムを実行することにより、図１及び図３の表示制御部１１２として動作する。ＣＰＵ２４０１は、図３の推定部３０１、合成部３０２、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、及び路面画像描画部３０７としても動作する。
入力装置２４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、合成画像であってもよい。
補助記憶装置２４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２４０５にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。補助記憶装置２４０５は、図１及び図３の記憶部１１１として用いることができる。
媒体駆動装置２４０６は、可搬型記録媒体２４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２４０９にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。
このように、移動情報計算処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２４０２、補助記憶装置２４０５、又は可搬型記録媒体２４０９のような、物理的な（非一時的な）記録媒体である。
ネットワーク接続装置２４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２４０７を介して受け取り、それらをメモリ２４０２にロードして使用することができる。情報処理装置は、ネットワーク接続装置２４０７を介して、ユーザ端末から処理要求を受信し、走行状況表示処理を行って合成画像をユーザ端末へ送信することもできる。
なお、情報処理装置が図２４のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置２４０３及び出力装置２４０４を省略してもよい。また、可搬型記録媒体２４０９又は通信ネットワークを利用しない場合は、媒体駆動装置２４０６又はネットワーク接続装置２４０７を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図１乃至図２４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
処理をコンピュータに実行させる走行状況表示プログラム。
（付記２）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１記載の走行状況表示プログラム。
（付記３）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１又は２記載の走行状況表示プログラム。
（付記４）
前記コンピュータは、前記第１の座標値と前記第２の座標値とを透視変換によって特定することを特徴とする付記３記載の走行状況表示プログラム。
（付記５）
前記コンピュータは、前記仮想中心ラインの方向における距離を圧縮して前記第２の座標値を特定することを特徴とする付記３又は４記載の走行状況表示プログラム。
（付記６）
前記コンピュータは、前記走行レーンを直線化した場合の前記第１の座標値と前記第２の座標値とを特定することを特徴とする付記３乃至５のいずれか１項に記載の走行状況表示プログラム。
（付記７）
前記コンピュータは、前記生成する処理を前記画像フレーム内の路面部分についてのみ実行することを特徴とする付記１乃至６のいずれか１項に記載の走行状況表示プログラム。
（付記８）
前記コンピュータは、前記走行レーンの端からの距離に基づいて前記走行レーン内の領域を複数の領域に分類し、前記変換画像上に前記複数の領域を重畳表示することを特徴とする付記１乃至７のいずれか１項に記載の走行状況表示プログラム。
（付記９）
前記道路撮像画像は、前記車両から広角レンズで撮像された画像であり、前記コンピュータは、前記道路撮像画像を透視変換して無限遠点を画像中心に配置することで、前記変換画像を生成することを特徴とする付記１乃至８のいずれか１項に記載の走行状況表示プログラム。
（付記１０）
車両から撮像された道路撮像画像を記憶する記憶部と、
前記道路撮像画像から走行レーンの仮想中心ラインを検出し、検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる表示制御部と、
を備えることを特徴とする走行状況表示装置。
（付記１１）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１０記載の走行状況表示装置。
（付記１２）
前記表示制御部は、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１０又は１１記載の走行状況表示装置。
（付記１３）
コンピュータが、
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
ことを特徴とする走行状況表示方法。
（付記１４）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１３記載の走行状況表示方法。
（付記１５）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１３又は１４記載の走行状況表示方法。
１０１ 走行状況表示装置
１１１ 記憶部
１１２ 表示制御部
１２１ 道路撮像画像
３０１ 推定部
３０２ 合成部
３０３ 走行軌跡描画部
３０４ 車両位置描画部
３０５ 車線描画部
３０６ 危険範囲描画部
３０７ 路面画像描画部
３１１ 前方撮影映像
３１２ 既知パラメータ
５０１ 撮像面
６０１、６０２ 点
９０１、１３０１、１７０１、２００１ 画像
９０２ 走行軌跡画像
９１１、９１２、２３０２、２３０３ 走行軌跡
１３０２ 車両位置画像
１３１１ 車両中央
１３１２、２３０１ シンボル
１７０２ 危険範囲画像
１７１１、１７２１ 安全範囲
１７１２、１７２２ 注意範囲
１７１３、１７２３ 危険範囲
１９０１、２００２ 変換画像
１９０２ 画像フレーム
１９１１ 背景部分
１９１２ 路面部分
１９２１ 画素
１９２２ 位置
２２０１ 走行軌跡画像
２２０２ 車両位置画像
２２０３ 車線画像
２２０４ 危険範囲画像
２２０５ 変換画像
２２０６ 合成画像
２４０１ ＣＰＵ
２４０２ メモリ
２４０３ 入力装置
２４０４ 出力装置
２４０５ 補助記憶装置
２４０６ 媒体駆動装置
２４０７ ネットワーク接続装置
２４０８ バス
２４０９ 可搬型記録媒体
式（３７）〜式（４０）のｄｘ１、ｄｘ２、ｄｙ１、及びｄｙ２は、画像フレーム内における位置誤差を表し、式（４１）〜式（４４）のｐ１〜ｐ４は、座標（ｘｃ，ｙｃ）の周囲の画素値を表す。
式（４６）のｆｘ＊θは、ヨー角θの成分を表し、ｆｘ＊ｆｙ＊Ｈ＊ｃ／（２＊ｙｒ）は、道路曲率ｃの成分を表し、Ｅｒ（ｔ）＊ｙｒ＊ｆｘ／（Ｈ＊ｆｙ）は、横距離Ｅの成分を表す。式（４７）のｆｙ＊φは、ピッチ角φの成分を表す。ヨー角θ、ピッチ角φ、及び道路曲率ｃは、時刻ｔにおけるヨー角θ（ｔ）、ピッチ角φ（ｔ）、及び道路曲率ｃ（ｔ）に対応する。Ｅｒ（ｔ）は、式（２）により求められる。
このように、走行状況表示処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２４０２、補助記憶装置２４０５、又は可搬型記録媒体２４０９のような、物理的な（非一時的な）記録媒体である。
図１乃至図２４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
処理をコンピュータに実行させる走行状況表示プログラム。
（付記２）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１記載の走行状況表示プログラム。
（付記３）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１又は２記載の走行状況表示プログラム。
（付記４）
前記コンピュータは、前記第１の座標値と前記第２の座標値とを透視変換によって特定することを特徴とする付記３記載の走行状況表示プログラム。
（付記５）
前記コンピュータは、前記仮想中心ラインの方向における距離を圧縮して前記第２の座標値を特定することを特徴とする付記３又は４記載の走行状況表示プログラム。
（付記６）
前記コンピュータは、前記走行レーンを直線化した場合の前記第１の座標値と前記第２の座標値とを特定することを特徴とする付記３乃至５のいずれか１項に記載の走行状況表示プログラム。
（付記７）
前記コンピュータは、前記生成する処理を前記道路撮像画像内の路面部分についてのみ実行することを特徴とする付記１乃至６のいずれか１項に記載の走行状況表示プログラム。
（付記８）
前記コンピュータは、前記走行レーンの端からの距離に基づいて前記走行レーン内の領域を複数の領域に分類し、前記変換画像上に前記複数の領域を重畳表示することを特徴とする付記１乃至７のいずれか１項に記載の走行状況表示プログラム。
（付記９）
前記道路撮像画像は、前記車両から広角レンズで撮像された画像であり、前記コンピュータは、前記道路撮像画像を透視変換して無限遠点を画像中心に配置することで、前記変換画像を生成することを特徴とする付記１乃至８のいずれか１項に記載の走行状況表示プログラム。
（付記１０）
車両から撮像された道路撮像画像を記憶する記憶部と、
前記道路撮像画像から走行レーンの仮想中心ラインを検出し、検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる表示制御部と、
を備えることを特徴とする走行状況表示装置。
（付記１１）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１０記載の走行状況表示装置。
（付記１２）
前記表示制御部は、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１０又は１１記載の走行状況表示装置。
（付記１３）
コンピュータが、
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
ことを特徴とする走行状況表示方法。
（付記１４）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１３記載の走行状況表示方法。
（付記１５）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１３又は１４記載の走行状況表示方法。

Claims (7)

  1. 車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
    検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
    処理をコンピュータに実行させる走行状況表示プログラム。
  2. 前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする請求項１記載の走行状況表示プログラム。
  3. 前記コンピュータは、
    前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
    前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
    前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする請求項１又は２記載の走行状況表示プログラム。
  4. 前記コンピュータは、前記生成する処理を前記画像フレーム内の路面部分についてのみ実行することを特徴とする請求項１乃至３のいずれか１項に記載の走行状況表示プログラム。
  5. 前記コンピュータは、前記走行レーンの端からの距離に基づいて前記走行レーン内の領域を複数の領域に分類し、前記変換画像上に前記複数の領域を重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の走行状況表示プログラム。
  6. 車両から撮像された道路撮像画像を記憶する記憶部と、
    前記道路撮像画像から走行レーンの仮想中心ラインを検出し、検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる表示制御部と、
    を備えることを特徴とする走行状況表示装置。
  7. コンピュータが、
    車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
    検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
    ことを特徴とする走行状況表示方法。
JP2015151016A 2015-07-30 2015-07-30 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法 Active JP6540335B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015151016A JP6540335B2 (ja) 2015-07-30 2015-07-30 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法
US15/157,681 US10325518B2 (en) 2015-07-30 2016-05-18 Traveling-state display device and traveling-state display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015151016A JP6540335B2 (ja) 2015-07-30 2015-07-30 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法

Publications (2)

Publication Number Publication Date
JP2017034400A true JP2017034400A (ja) 2017-02-09
JP6540335B2 JP6540335B2 (ja) 2019-07-10

Family

ID=57882976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015151016A Active JP6540335B2 (ja) 2015-07-30 2015-07-30 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法

Country Status (2)

Country Link
US (1) US10325518B2 (ja)
JP (1) JP6540335B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5945999B1 (ja) 2015-07-31 2016-07-05 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
CN106971144B (zh) * 2017-02-28 2020-06-16 北京航空航天大学 一种应用Visual Graph算法提取道路中线的方法
EP3435333B1 (en) * 2017-07-26 2020-01-29 Aptiv Technologies Limited Method of determining the roll angle of a vehicle mounted camera
CN107798937A (zh) * 2017-12-15 2018-03-13 徐州领路人教育咨询有限公司 一种网络教学系统
WO2020148894A1 (ja) * 2019-01-18 2020-07-23 三菱電機株式会社 運動状態判定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013217739A (ja) * 2012-04-06 2013-10-24 Denso Corp 車両用運転操作支援装置
JP2014071631A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム
JP2014071630A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行関連情報表示システム
JP2015191260A (ja) * 2014-03-27 2015-11-02 株式会社デンソー 車両用運転評価装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06100445B2 (ja) 1985-06-07 1994-12-12 財団法人電力中央研究所 移動標識の位置追跡装置
US6366851B1 (en) * 1999-10-25 2002-04-02 Navigation Technologies Corp. Method and system for automatic centerline adjustment of shape point data for a geographic database
JP4687563B2 (ja) * 2006-05-23 2011-05-25 株式会社デンソー 車両用レーンマーク認識装置
JP2009199328A (ja) * 2008-02-21 2009-09-03 Yazaki Corp 車両用運行記録評価装置
CN103052976B (zh) * 2011-06-08 2016-05-11 丰田自动车株式会社 车道脱离防止辅助装置、划分线显示方法、程序
JP5780140B2 (ja) 2011-12-02 2015-09-16 富士通株式会社 道路形状推定装置及びプログラム
JP2014006576A (ja) 2012-06-21 2014-01-16 Toyota Motor Corp 運転支援装置、車両状態判定装置、及び蛇行運転判定方法
US20150187224A1 (en) * 2013-10-15 2015-07-02 Mbfarr, Llc Driving assessment and training method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013217739A (ja) * 2012-04-06 2013-10-24 Denso Corp 車両用運転操作支援装置
JP2014071631A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム
JP2014071630A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行関連情報表示システム
JP2015191260A (ja) * 2014-03-27 2015-11-02 株式会社デンソー 車両用運転評価装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US10325518B2 (en) 2019-06-18
JP6540335B2 (ja) 2019-07-10
US20170032688A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6540335B2 (ja) 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP4924896B2 (ja) 車両の周辺監視装置
JP4814669B2 (ja) ３次元座標取得装置
JP5077307B2 (ja) 車両周囲画像表示制御装置
EP2757527B1 (en) System and method for distorted camera image correction
US20110298988A1 (en) Moving object detection apparatus and moving object detection method
CN107465890B (zh) 车辆的图像处理装置
US20170259830A1 (en) Moving amount derivation apparatus
JP2009017462A (ja) 運転支援システム及び車両
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP5007863B2 (ja) ３次元物体位置計測装置
JP6031819B2 (ja) 画像処理装置、画像処理方法
JP2016149613A (ja) カメラパラメータ調整装置
JP5915268B2 (ja) パラメータ算出方法、情報処理装置及びプログラム
JPWO2005024754A1 (ja) 車載用画像処理装置
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
JP5695000B2 (ja) 車両周辺監視装置
JP6802999B2 (ja) 区画線検出システム
JP2011209070A (ja) 画像処理装置
JP6029459B2 (ja) 画像合成装置、および画像合成方法
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP3985610B2 (ja) 車両用走行路認識装置
JP6734136B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R150 Certificate of patent or registration of utility model

Ref document number: 6540335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150