JP2002362270A - 運転支援装置 - Google Patents

運転支援装置

Info

Publication number
JP2002362270A
JP2002362270A JP2001175693A JP2001175693A JP2002362270A JP 2002362270 A JP2002362270 A JP 2002362270A JP 2001175693 A JP2001175693 A JP 2001175693A JP 2001175693 A JP2001175693 A JP 2001175693A JP 2002362270 A JP2002362270 A JP 2002362270A
Authority
JP
Japan
Prior art keywords
driving
captured image
vehicle
image
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001175693A
Other languages
English (en)
Inventor
Kazufumi Mizusawa
和史 水澤
Shusaku Okamoto
修作 岡本
Takashi Yoshida
崇 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001175693A priority Critical patent/JP2002362270A/ja
Publication of JP2002362270A publication Critical patent/JP2002362270A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】 運転支援装置で、車両の周囲の状況に関わら
ず車載カメラの撮像画像と運転ガイドの両方をモニタ画
面上で視認し易く表示する。 【解決手段】 車載カメラの撮像画像に、車両の予想進
行軌跡等を重畳して表示するに際し、撮像画像の各画素
の輝度情報を取得して撮像画像の輝度平均値を求め(S
603)、この輝度平均値が所定閾値より高い場合には
前記の撮像画像中の予想進行軌跡に該当する画素のコン
トラストを下げてモニタ画面に表示し(S605、S6
07)、低い場合には撮像画像中の予想進行軌跡に該当
する画素のコントラストを上げてモニタ画面に表示する
(S606、S607)。これにより、撮像画像と予想
進行軌跡とを区別して視認することができ、また、予想
信号軌跡の表示によって撮像画像の一部が隠されること
もなくなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は車載カメラの撮像画
像を処理して運転者に提示する運転支援装置に関し、特
に、車両の進行予想軌跡等の運転ガイドをカメラの撮像
画像に重畳表示する運転支援装置に関する。
【0002】
【従来の技術】車両を運転してバックさせるとき、車両
の後方や後側方は、運転者の視界内に入らないことが多
い。このため、運転者は、フェンダーミラーやバックミ
ラーで視界を補うことになるが、近年では、車両の後方
あるいは後側方を撮像するカメラを車両に搭載し、その
撮像画像をモニタ画面に表示し、且つ、その撮像画像に
車両の後進予想軌跡等の運転ガイドを重畳表示する運転
支援装置が普及し始めてきている。
【0003】例えば、特開昭59―114139号公報
記載の従来の運転支援装置では、舵角センサを車両に取
り付け、この舵角センサが検出したハンドル舵角の変化
に対応させて車両の後進予想軌跡をモニタ画面上で変化
させている。また、特開平1―147983号公報記載
の従来の運転支援装置では、カメラの撮像画像に、ハン
ドルを最大に切ったときの後進予測軌跡を重畳表示する
ようにしている。
【0004】
【発明が解決しようとする課題】上述した従来の運転支
援装置では、ハンドル舵角の変化に対応して変化する後
進予想軌跡、あるいは車両の最大舵角に対応した後進予
想軌跡をモニタ画面に表示しているため、運転者は、後
進予想軌跡に基づいて後方障害物を避ける様に車両を運
転することができる。
【0005】しかし、車両を運転するときの車両の周囲
の状況は時々刻々変化するのが普通であり、昼間の明る
い状況のもとで車両を運転するときと夜の暗い状況のも
とで車両を運転するときとで、モニタ画面の表示が同じ
では見づらい場合が多い。この問題は、単に、モニタ画
面の表示輝度を昼間は上げ、夜は下げるという対策を採
るだけでは解決しない。それは、カメラの撮像画像の表
示と車両進行予想軌跡等の運転ガイドの表示との間の見
やすさの関係が、車両の周囲の明るさで変わってしまう
からである。また、単に、運転ガイドの表示輝度だけを
上げてカメラの撮像画像から運転ガイドを容易に視認で
きる様にしただけでは、運転ガイドの表示画像によって
その部分のカメラの撮像画像が隠されてしまい、後方障
害物の有無を誤認させる虞が生じてしまう。
【0006】本発明は、上記の課題を解決するためにな
されたもので、車両の周囲の明るさに関わらず、車載カ
メラの撮像画像と運転ガイドの両方をモニタ画面上で視
認し易く表示する運転支援装置を提供するものである。
【0007】
【課題を解決するための手段】上記課題を解決するため
に本発明の運転支援装置は、車載カメラの撮像画像をモ
ニタ画面に表示すると共に運転操作を支援する運転ガイ
ドを前記撮像画像に重畳して表示する運転支援装置にお
いて、前記撮像画像のうち前記運転ガイドが重畳する部
分の画素のコントラストを上げ或いは下げて表示する手
段を備えることで、達成される。
【0008】以上の構成により、運転ガイドの表示は、
カメラの撮像画像を遮ることなく、モニタ画面に表示さ
れる。また、コントラストのみを変えているので、撮像
画像の色はそのまま保持されており、仮に運転ガイドと
重なる部分に障害物の画像が存在しても、運転者は障害
物を容易に視認できる。従って、運転者は車両周辺の状
況を的確に把握することができ、運転操作が容易にな
る。
【0009】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素の彩度を上げ或いは下げて表
示する手段を備えることで、達成される。
【0010】以上の構成により、運転ガイドの表示は、
カメラの撮像画像を遮ることなく、モニタ画面に表示さ
れる。従って、運転者は、車両周辺の状況を的確に把握
することができ、運転操作が容易になる。
【0011】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素の色相を変換して表示する手
段を備えることで、達成される。
【0012】以上の構成により、運転ガイドの表示は、
カメラの撮像画像を遮ることなく、モニタ画面に表示さ
れる。従って、運転者は、車両周辺の状況を的確に把握
することができ、運転操作が容易になる。
【0013】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素のコントラストを、前記撮像
画像の輝度が所定閾値より高い場合には下げて表示し、
前記撮像画像の輝度が所定閾値より低い場合には上げて
表示する手段を備えることで、達成される。
【0014】以上の構成により、車両周辺が明るくなっ
たり暗くなったりして、撮像画像の輝度が変化しても、
運転ガイド例えば車両の予想走行軌跡がそれに応じて変
化するため、画像が暗くて予想走行軌跡だけがまぶしか
ったり、あるいは逆に、画像が明るくて予想走行軌跡が
見えないというようなことが生じることがない。このよ
うに、周辺視界を遮ることなくその状況に応じた運転ガ
イドを表示することができ、運転者は、車両周辺の状況
を的確に把握することができ、運転操作が容易になる。
【0015】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素の彩度を、前記撮像画像の輝
度が所定閾値より高い場合には下げて表示し、前記撮像
画像の輝度が所定閾値より低い場合には上げて表示する
手段を備えることで、達成される。
【0016】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドを表示をすることがで
き、運転者は、車両周辺の状況を的確に把握することが
でき、運転操作が容易になる。
【0017】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素のコントラストを、車両に搭
載されているライトが点灯されていない場合には下げて
表示し、前記ライトが点灯されている場合には上げて表
示する手段を備えることで、達成される。
【0018】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドを表示をすることがで
き、運転者は、車両周辺の状況を的確に把握することが
可能となり、運転操作が容易になる。
【0019】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記撮像画像のうち前記運転ガ
イドが重畳する部分の画素の彩度を、車両に搭載されて
いるライトが点灯されていない場合には下げて表示し、
前記ライトが点灯されている場合には上げて表示する手
段を備えることで、達成される。
【0020】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドを表示をすることが可能
となり、運転者は、車両周辺の状況を的確に把握するこ
とができ、かつ運転操作が容易になる。
【0021】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイド画像を前記撮像画像に重畳して表示
する運転支援装置において、前記撮像画像と前記運転ガ
イド画像とを所定比率で合成して前記モニタ画面に表示
するとき、前記撮像画像の輝度が所定閾値より高い場合
には前記運転ガイド画像の明度を下げて表示し、前記撮
像画像の輝度が所定閾値より低い場合には前記運転ガイ
ド画像の明度を上げて表示する手段を備えることで、達
成される。
【0022】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドの表示ができ、運転者
は、車両周辺の状況を的確に把握することが可能とな
り、かつ運転操作が容易になる。
【0023】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイド画像を前記撮像画像に重畳して表示
する運転支援装置において、前記撮像画像と前記運転ガ
イド画像とを所定比率で合成して前記モニタ画面に表示
するとき、前記撮像画像の輝度が所定閾値より高い場合
には前記運転ガイド画像の彩度を下げて表示し、前記撮
像画像の輝度が所定閾値より低い場合には前記運転ガイ
ド画像の彩度を上げて表示する手段を備えることで、達
成される。
【0024】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドを表示をすることがで
き、運転者は、車両周辺の状況を的確に把握することが
可能となり、かつ運転操作が容易になる。
【0025】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイド画像を前記撮像画像に重畳して表示
する運転支援装置において、前記撮像画像と前記運転ガ
イド画像とを所定比率で合成して前記モニタ画面に表示
するとき、前記運転ガイド画像の明度を、車両に搭載さ
れているライトが点灯されていない場合には下げて表示
し、前記ライトが点灯されている場合には上げて表示す
る手段を備えることで、達成される。
【0026】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドを表示をすることがで
き、運転者は、車両周辺の状況を的確に把握することが
可能となり、かつ運転操作が容易になる。
【0027】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイド画像を前記撮像画像に重畳して表示
する運転支援装置において、前記撮像画像と前記運転ガ
イド画像とを所定比率で合成して前記モニタ画面に表示
するとき、前記運転ガイド画像の彩度を、車両に搭載さ
れているライトが点灯されていない場合には下げて表示
し、前記ライトが点灯されている場合には上げて表示す
る手段を備えることで、達成される。
【0028】以上の構成により、周辺視界を遮ることな
くその状況に応じた運転ガイドの表示ができ、運転者
は、車両周辺の状況を的確に把握することが可能とな
り、かつ運転操作が容易になる。
【0029】上記において好適には、前記運転ガイド
が、舵角センサの検出したハンドル舵角に対応した予想
走行軌跡とし、また、前記運転ガイドは、車両が走行す
る可能性のある全ての領域、あるいは車両が直進する場
合の領域、あるいはハンドル舵角が最大となったときの
走行領域のうち少なくとも2つ以上の組み合わせの運転
ガイドで成り、少なくとも一つの領域が面で表示され、
残りの少なくとも1つの領域が輪郭線で表示されること
を特徴とする。
【0030】運転者がハンドルを操作するのに対応して
モニタ画面上の予想走行軌跡が変化することで、運転者
はハンドル操作に応じて車両の進む方向や障害物との相
対位置関係を知ることができ、自分の操作を調整するこ
とが可能となる。また、複数の運転ガイドを表示するこ
とで、1つの運転ガイドよりも多くの情報をモニタ画面
が得ることができ、運転操作に役に立つ。
【0031】また、本発明の運転支援装置は、車載カメ
ラの撮像画像をモニタ画面に表示すると共に運転操作を
支援する運転ガイドを前記撮像画像に重畳して表示する
運転支援装置において、前記運転ガイドを車両の予想走
行軌跡領域として表示すると共に、前記予想走行軌跡領
域の色の明るさ或いは色の彩度を、車両中心の走行位置
に相当する領域の中心ほど高く或いは低くして表示し、
車両両側端部の走行位置に相当する領域の輪郭部に行く
ほど低く或いは高く表示する手段を備えることで、達成
される。好適には、上記において、前記予想走行軌跡領
域は、車両のハンドル舵角を検出する舵角センサの検出
値に応じて変化することを特徴とする。
【0032】以上の構成により、運転者は自車両の予想
走行領域から、中心部と端部の両方を視認でき、中心部
からはおおまかな方向の確認を、端部からは周囲との接
触判定を即時に行うことが可能となり、運転操作が容易
になる。
【0033】
【発明の実施の形態】以下、本発明の一実施形態を図面
を参照して説明する。
【0034】図1は、本発明の第1の実施形態に係る運
転支援装置を搭載した車両の構成図である。車両100
には、車両後部の周辺を撮像するカメラ101が搭載さ
れている。車内に取り付けられている処理ユニット10
2が本実施形態に係る運転支援装置であり、カメラ10
1から得られた撮像画像に、車両が後方に直進する場合
の軌跡、あるいはハンドルの最大舵角時の軌跡、あるい
は舵角センサ104の検出値に基づいた予想軌跡を重畳
し、モニタ(表示装置)103に表示する。処理ユニッ
ト102にはスイッチ(入力装置)105が接続されて
おり、このスイッチ105によって運転者は処理ユニッ
ト102を操作する。
【0035】図2は、図1に示すカメラ101や処理ユ
ニット102等の接続構成図である。処理ユニット10
2は、ROM206、RAM207、CPU208を備
えて成り、この処理ユニット102と、カメラ101
と、カメラ201と、舵角センサ104と、スイッチ1
05と、モニタ103とが、バス209により相互に接
続されている。
【0036】カメラ201は、図1では図示を省略して
いるが、車両前方を撮像するカメラや、車両の左右側方
を撮像するカメラである。これらのカメラによって撮像
された車両の周辺画像を処理ユニット102が取り込
み、モニタ103に表示する画像データを生成する。こ
のように、車両に搭載するカメラは、1台とは限らず複
数台でもよく、複数のカメラからの複数の画像を処理ユ
ニット102が処理し、モニタ103にマルチ画面で表
示したり、あるいはこれら複数の画像を合成してモニタ
103に表示する。
【0037】スイッチ105は、運転者による操作が可
能な位置に配置されており、リモートコントローラ、タ
ッチパネル、操作ボタン等で構成される。運転者が、自
車両周辺のモニタ表示を望み該当する操作ボタン等を押
下することで、モニタ表示指示を示す指示信号Startが
スイッチ105からCPU208に送信される。
【0038】図3は、上記の指示信号Startを受信した
CPU208が、ROM206内の所定プログラムに従
って実行する予想走行軌跡表示処理手順を示すフローチ
ャートである。CPU208は、先ず、カメラ101が
撮像した画像データを取得する(ステップS301)。
次に、CPU208は、ROM206や舵角センサ10
4からデータを取得し、車両が後方に直進する場合の予
想走行軌跡領域、あるいは車両の最大舵角時の予想走行
軌跡領域、あるいは操舵角に対応する予想走行軌跡領域
を算出する(ステップS302)。
【0039】次に、CPU208は、元画像(運転ガイ
ドを重畳する前の画像)上で、予想走行軌跡領域に入ら
ない画素のコントラストはそのままとし、予想走行軌跡
領域に入る各画素のコントラストを下げた表示用画像を
生成する(ステップS303)。そして、この表示用画
像をモニタ103に表示する(ステップS304)。次
にCPU208は、ステップS305で、指示信号End
(自車両周辺のモニタ表示が不要になったとき運転者が
スイッチ105の該当ボタン等を押下することでCPU
208に発行される信号)を受信したか否かを判定し、
受信した場合にはこの図3の処理を終了し、受信してい
ない場合にはステップS301に戻り、指示信号Endを
受信するまで所定周期で上記各ステップを繰り返す。
【0040】このように、第1の実施形態による運転ガ
イド(この例では、予想走行軌跡領域)の表示は、撮像
画像とは別に運転ガイド用の画像を表示するのではな
く、撮像画像そのものを利用し、撮像画像中のコントラ
ストを下げた予想走行軌跡領域の画像を運転ガイドとす
るため、運転ガイドによって撮像画像が隠されることが
なくなる。しかも、コントラストの違いにより、モニタ
画面中の運転ガイドが容易に視認でき、車両周辺の確認
が容易となる。
【0041】尚、上述した実施形態では、ステップS3
03において、CPU208は、元画像上で、予想走行
軌跡領域にあたる画素のコントラストを下げることで表
示用画像を生成したが、逆に、コントラストを上げて表
示用画像を生成することでもよい。また、コントラスト
を変えるのではなく、図4に示す様に、表示用元画像上
で、予想走行軌跡領域にあたる画素の「色相」を変化
(ステップS403)させることで、表示用画像を生成
することでもよい。あるいは、図5に示す様に、表示用
元画像上で、予想走行軌跡領域にあたる画素の「彩度」
を変化(ステップS503)させることで、表示用画像
を生成することでもよい。いずれの場合でも、コントラ
ストを変化させた場合と同じ効果を得ることができる。
【0042】図6は、本発明の第2の実施形態に係る予
想走行軌跡表示処理手順を示すフローチャートである。
本実施形態では、CPU208は、指示信号Startを受
信したとき、ROM206内の所定プログラムに従っ
て、カメラ101の撮像画像データを取得する(ステッ
プS601)。次に、ROM206や舵角センサ104
からデータを取得し、車両が後方に直進する場合の予想
走行軌跡領域、あるいは車両の最大舵角時の予想走行軌
跡領域、あるいは操舵角に対応した予想走行軌跡領域を
算出する(ステップS602)。
【0043】次のステップS603では、CPU208
は、撮像画像の各画素の輝度情報を取得して画像全体の
輝度平均値を算出し、次に、得られた輝度平均値が所定
の閾値より高いか低いかを判定する(ステップS60
4)。この判定の結果、撮像画像の輝度平均値が所定の
閾値より高い場合にはステップS605に進み、画像上
で予想走行軌跡領域にあたる画素のコントラストを下げ
た画像を生成する。また、ステップS604での判定の
結果、撮像画像の輝度平均値が所定の閾値より低い場合
にはステップS606に進み、画像上で予想走行軌跡領
域にあたる画素のコントラストを上げた画像を生成す
る。次に、ステップS605またはステップS606で
生成した画像をモニタに表示する(ステップS60
7)。このように、予想走行軌跡領域のコントラストを
下げ、または上げた画像がモニタ画面に表示されること
により、予想走行軌跡領域の画像の明暗(階調)差が他
の領域の明暗差と異なるため、モニタ画面上で予想走行
軌跡領域を容易に他の領域から区別化して認識可能とな
る。
【0044】次のステップS608では、CPU208
は、指示信号Endを受信したか否かを判定し、受信した
場合にはこの図6の処理を終了し、受信していない場合
にはステップS601に戻り、指示信号Endを受信する
まで所定周期で上記各ステップを繰り返す。
【0045】以上説明したように、本実施形態によれ
ば、第1の実施形態と同様の効果が得られる他、自車両
の周辺が明るく撮像画像の輝度が高い場合には、予想走
行軌跡領域の画素輝度を下げて表示し、自車両の周辺が
暗く撮像画像の輝度が低い場合には、予想走行軌跡領域
の画素輝度を上げてモニタ表示するため、車両周辺の明
るさが変化した場合でも、モニタ画面中の運転ガイド
(この例では、予想走行軌跡領域の画像)を容易に視認
でき、車両周辺の確認が容易となる。
【0046】図7は、本発明の第3の実施形態に係る予
想走行軌跡表示処理手順を示すフローチャートである。
前述した図6の実施形態では撮像画像の輝度平均値で予
想走行軌跡領域の画素輝度を変化させたが、本実施形態
では、運転者が操作するライトのスイッチで、予想走行
軌跡領域の画素輝度を変化させている。以下、図7に従
って説明する。
【0047】CPU208は、指示信号Startを受信す
ると、ROM206内の所定プログラムに従って、カメ
ラ101の撮像画像データを取得する(ステップS70
1)。次に、ROM206や舵角センサ104からデー
タを取得し、車両が後方に直進する場合の予測走行軌跡
領域、あるいは車両の最大舵角時の予想走行軌跡領域、
あるいは操舵角に対する予想走行軌跡領域を算出する
(ステップS702)。
【0048】次に、CPU208は、運転者が車両のラ
イト例えばヘッドライトを点灯させているか否かを判定
する(ステップS704)。ライトが点灯されていない
場合は、まだ外が明るい状態で車両を走行させていると
判断できるため、カメラの撮像画像中で予想走行軌跡領
域にあたる画素のコントラストを下げた画像を生成する
(ステップS705)。ライトが点灯されている場合
は、外が暗くなっていると判断できるため、カメラの撮
像画像上で予想走行軌跡領域にあたる画素のコントラス
トを上げた画像を生成する(ステップS706)。
【0049】次のステップS707では、ステップS7
05またはステップ706で生成した画像をモニタに表
示する。そして、ステップS708で、CPU208
は、指示信号Endを受信したか否かを判定し、受信した
場合にはこの図7の処理を終了し、受信していない場合
にはステップS701に戻り、指示信号Endを受信する
まで所定周期で上記各ステップを繰り返す。
【0050】以上説明したように、本実施形態によれ
ば、第2の実施形態と同様の効果が得られる他、カメラ
の撮像画像の平均輝度を求めずに運転ガイドとする領域
の画素輝度を変えるため、CPUの処理負荷が軽減し、
よりリアルタイムなモニタ表示が可能になる。
【0051】尚、図6、図7で説明した本発明の第2、
第3の実施形態では、予想走行軌跡領域の画素のコント
ラストを変化させたが、図4、図5で説明した様に、色
相や彩度を変えることでも、同様の効果が得られるのは
いうまでもない。
【0052】図8は、本発明の第4の実施形態に係る予
想走行軌跡表示処理手順を示すフローチャートである。
本実施形態では、カメラ撮像画像と、運転ガイドのガイ
ド表示画像とを所定の比率で合成して表示する。上述し
た各実施形態では、運転ガイドとしてガイド専用の画像
を用いることはしていないが、この実施形態の様に運転
ガイド用の画像を用いることで、運転ガイド毎(例え
ば、直進後退用の運転ガイドと舵角に応じた予想軌跡の
運転ガイド)の表示が可能となる。以下、図8に従って
説明する。
【0053】CPU208は、指示信号Startをスイッ
チ105から受信すると、ROM206内の所定プログ
ラムに従って、カメラ101の撮像画像データを取得す
る(ステップS801)。次にCPU208は、ROM
206や舵角センサ104からデータを取得し、車両が
後方に直進する場合の予想走行軌跡領域、あるいは車両
の最大舵角時の予想走行軌跡領域、あるいは操舵角に対
応する予想走行軌跡領域を算出し、各々予め決められた
色に従って予想軌跡画像を生成する(ステップS80
2)。
【0054】次に、CPU208は、カメラの撮像画像
から各画素の輝度情報を取得して画像全体の輝度平均値
を算出する(ステップS803)。そして、得られた輝
度平均値が所定の閾値より高いか低いかをステップS8
04で判定し、輝度平均値が所定の閾値より高い場合に
はステップS805に進み、予想走行軌跡領域を示す色
画像の明度を上げた画像を生成し、輝度平均値が所定の
閾値より低い場合にはステップS806に進み、予想走
行軌跡領域を示す色画像の明度を下げた画像を生成す
る。次のステップS807では、ステップS805また
はステップS806で生成した色画像(予想走行軌跡領
域を示す画像)とカメラ撮像画像とを所定の比率で合成
した画像を生成し、この合成画像をモニタ103に表示
する(ステップS808)。
【0055】最後のステップS809では、指示信号En
dを受信したか否かを判定し、受信した場合にはこの図
8の処理を終了し、受信していない場合にはステップS
801に戻り、指示信号Endを受信するまで所定周期で
上記各ステップを繰り返す。
【0056】以上説明したように、本実施形態によれ
ば、自車両の周辺が明るく撮像画像の輝度が高い場合に
は、合成する予想走行軌跡画像の輝度も上げて表示し、
自車両の周辺が暗く撮像画像の輝度が低い場合には、合
成する予想走行軌跡画像の輝度も下げて表示するため、
画像が暗くて予想走行軌跡表示だけがまぶしく、あるい
は逆に画像が明るくて予想走行軌跡表示が暗いというよ
うなことがなく、見やすい画面表示となる。
【0057】また、予想走行軌跡画像と撮像画像とを所
定比率で合成するため、予想走行軌跡画像によって撮像
画像が隠されてしまうということがなくなり、周辺視界
を遮ることなくその状況に応じたガイド表示が可能とな
り、運転者は車両周辺の状況を的確に把握することが可
能となり、かつ運転操作が容易となる。
【0058】図9は、本発明の第5の実施形態に係る予
想走行軌跡表示処理手順を示すフローチャートである。
本実施形態では、運転者が操作するライトのスイッチ
で、予想走行軌跡領域の画素輝度を変化させている。以
下、図9に従って説明する。
【0059】CPU208は、指示信号Startを受信す
ると、ROM206内の所定プログラムに従って、カメ
ラ101の撮像画像データを取得する(ステップS90
1)。次に、ROM206や舵角センサ104からデー
タを取得し、車両が後方に直進する場合の予想走行軌跡
領域、あるいは車両の最大舵角時の予想走行軌跡領域、
あるいは操舵角に対応する予想走行軌跡領域を算出し、
各々予め決められた色に従って予想軌跡の画像を生成す
る(ステップS902)。
【0060】次に、CPU208は、運転者がライト例
えばヘッドライトを点灯しているか否かを判定し(ステ
ップS904)、ライトが点灯されていない場合には、
外が明るい、つまり撮像画像も明るいと判断できるため
ステップS905に進み、予想走行軌跡領域の色画像の
明度を上げた画像を生成する。ライトが点灯されている
場合には、外が暗い、つまり撮像画像も暗いと判断でき
るためステップS906に進み、予想走行軌跡領域の色
画像の明度を下げた画像を生成する。
【0061】次に、CPU208は、カメラ撮像画像と
予想走行軌跡領域の色画像とを所定の比率で合成した画
像を生成し(ステップS907)、この合成画像をモニ
タ103に表示する(ステップS908)。最後に、ス
テップS909で、指示信号Endを受信したか否かを判
定し、受信した場合にはこの図9の処理を終了し、受信
していない場合にはステップS901に戻り、指示信号
Endを受信するまで所定周期で上記各ステップを繰り返
す。
【0062】以上説明したように、本実施形態によれ
ば、第4の実施形態と同様の効果を得ることができる
他、カメラ撮像画像の平均輝度を求めずに予想走行軌跡
領域の画素輝度を変えるため、CPUの処理負荷が軽減
し、よりリアルタイムなモニタ表示が可能になる。
【0063】運転ガイドを表示する場合、表示される形
態としては、自車両の予想走行軌跡領域を表示したり、
運転者がどこまで操作してよいかを示す線画など、種々
の形態が考えられる。例えば、図10に示す例の様に、
モニタ画面30に自車両の後端部画像31を表示する共
に、自車両が後方にバックするとき車両が走行する可能
性がある全ての領域32を表示する。また、図11に示
す例の様に、舵角センサ104から得られたデータに基
づいてCPU208が算出した予想走行軌跡領域33を
画面30に表示する。あるいは図12に示す例の様に、
車両が後方に直進する場合の予想走行軌跡領域33の輪
郭部分を線画34によって表示する(尚、図12中の横
線35は、車両後端からの距離を示すガイド線であ
る。)。
【0064】図13に示す運転ガイドでは、ハンドル舵
角が左右の最大のときの予想走行領域36を表示してい
る。図14に示す運転ガイドでは、運転者がハンドルを
操作して自車両を路肩の縁石や駐車区分線等の目標物に
対して例えば45度に傾けたいとき目標物に合わせる直
線でなる操作ガイド線37を画面30に表示している。
図15に示す運転ガイドでは、図13と比べて、左右に
曲がる最大舵角時の予想走行軌跡領域39のうち領域が
重なる部分38を運転ガイド表示から外した画面表示と
している。このように重なる部分38を運転ガイド表示
から外しても、運転者の視認に支障は生じない。
【0065】図16に示す運転ガイドでは、図11に示
す運転ガイドと、図12に示す運転ガイドとを組み合わ
せたガイド表示を行っている。このように任意の複数の
運転ガイドを組み合わせることも可能であり、一方をガ
イド線として表示し、他方をガイド領域(面での表示)
として表示することもできる。
【0066】また、図11に示す運転ガイドにおける予
想走行軌跡領域33の表示において、領域33の各画素
のコントラストや彩度を均一に変化させるのではなく、
領域33の中心部を濃く、端部を薄く描く、或いは逆に
中心部を薄く、端部を濃く描くことによって、運転者は
中心部と端部の両方を区別して視認でき、中心部からは
おおまかな方向の確認ができ、端部からは周囲障害物と
の接触判定を即時に行うことが可能となり、運転操作の
補助機能としての効果が高くなる。
【0067】このような各運転ガイド表示において、上
述した本発明の第1、第2、第3、第4、第5の各実施
形態を適用し、あるいはこれらの各実施形態を複数組み
合わせて適用することで、車両周囲の明るさが変化した
場合でも、カメラの撮像画像と運転ガイドの両方を容易
に区別でき、運転操作の支援効果が高くなる。
【0068】尚、上述した実施形態では、運転ガイドを
重畳表示する画像をカメラの「撮像画像」として説明し
たが、この「撮像画像」には、カメラで撮像した原画像
の他に、この原画像を処理した画像、例えばカメラレン
ズの歪みを除去した画像や、複数のカメラ画像を合成し
て得た画像、また、例えば特開2000―229547
号公報に記載されている様に原画像を仮想視点から見た
画像に視点変換した画像等が含まれる。
【0069】
【発明の効果】本発明によれば、カメラの撮像画像を遮
ることなく運転ガイドをモニタ画面に表示することがで
き、また、運転ガイドと重なる部分に障害物の画像が存
在しても運転者は障害物の画像をモニタ画面上で容易に
視認できるため、運転者は車両周辺の状況を的確に把握
可能となり、運転操作が容易になる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る運転支援装置を
搭載した車両の構成図
【図2】本発明の第1の実施形態に係る運転支援装置と
カメラ等との接続構成図
【図3】本発明の第1の実施形態に係る運転支援装置の
処理手順を示すフローチャート
【図4】本発明の第1の実施形態に係る運転支援装置に
おける処理手順の変形例を示すフローチャート
【図5】本発明の第1の実施形態に係る運転支援装置に
おける処理手順の別の変形例を示すフローチャート
【図6】本発明の第2の実施形態に係る運転支援装置に
おける処理手順を示すフローチャート
【図7】本発明の第3の実施形態に係る運転支援装置に
おける処理手順を示すフローチャート
【図8】本発明の第4の実施形態に係る運転支援装置に
おける処理手順を示すフローチャート
【図9】本発明の第5の実施形態に係る運転支援装置に
おける処理手順を示すフローチャート
【図10】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の一例を示す図
【図11】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の別の例を示す図
【図12】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の更に別の例を示す図
【図13】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の更に別の例を示す図
【図14】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の更に別の例を示す図
【図15】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の更に別の例を示す図
【図16】本発明の一実施形態に係る運転支援装置にお
ける運転ガイド表示の更に別の例を示す図
【符号の説明】
100 車両 101、201 カメラ 102 処理ユニット 103 モニタ(表示装置) 104 舵角センサ 105 スイッチ 206 ROM 207 RAM 208 CPU
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08G 1/16 G08G 1/16 C H04N 7/18 H04N 7/18 J (72)発明者 吉田 崇 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 5B057 AA06 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE17 CE20 DC23 5C054 AA01 CH01 FE16 HA30 5H180 AA01 CC04 LL02 LL08 LL17

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素のコ
    ントラストを上げ或いは下げて表示する手段を備えるこ
    とを特徴とする運転支援装置。
  2. 【請求項2】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素の彩
    度を上げ或いは下げて表示する手段を備えることを特徴
    とする運転支援装置。
  3. 【請求項3】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素の色
    相を変換して表示する手段を備えることを特徴とする運
    転支援装置。
  4. 【請求項4】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素のコ
    ントラストを、前記撮像画像の輝度が所定閾値より高い
    場合には下げて表示し、前記撮像画像の輝度が所定閾値
    より低い場合には上げて表示する手段を備えることを特
    徴とする運転支援装置。
  5. 【請求項5】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素の彩
    度を、前記撮像画像の輝度が所定閾値より高い場合には
    下げて表示し、前記撮像画像の輝度が所定閾値より低い
    場合には上げて表示する手段を備えることを特徴とする
    運転支援装置。
  6. 【請求項6】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素のコ
    ントラストを、車両に搭載されているライトが点灯され
    ていない場合には下げて表示し、前記ライトが点灯され
    ている場合には上げて表示する手段を備えることを特徴
    とする運転支援装置。
  7. 【請求項7】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイドを前記撮像
    画像に重畳して表示する運転支援装置において、前記撮
    像画像のうち前記運転ガイドが重畳する部分の画素の彩
    度を、車両に搭載されているライトが点灯されていない
    場合には下げて表示し、前記ライトが点灯されている場
    合には上げて表示する手段を備えることを特徴とする運
    転支援装置。
  8. 【請求項8】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイド画像を前記
    撮像画像に重畳して表示する運転支援装置において、前
    記撮像画像と前記運転ガイド画像とを所定比率で合成し
    て前記モニタ画面に表示するとき、前記撮像画像の輝度
    が所定閾値より高い場合には前記運転ガイド画像の明度
    を下げて表示し、前記撮像画像の輝度が所定閾値より低
    い場合には前記運転ガイド画像の明度を上げて表示する
    手段を備えることを特徴とする運転支援装置。
  9. 【請求項9】 車載カメラの撮像画像をモニタ画面に表
    示すると共に運転操作を支援する運転ガイド画像を前記
    撮像画像に重畳して表示する運転支援装置において、前
    記撮像画像と前記運転ガイド画像とを所定比率で合成し
    て前記モニタ画面に表示するとき、前記撮像画像の輝度
    が所定閾値より高い場合には前記運転ガイド画像の彩度
    を下げて表示し、前記撮像画像の輝度が所定閾値より低
    い場合には前記運転ガイド画像の彩度を上げて表示する
    手段を備えることを特徴とする運転支援装置。
  10. 【請求項10】 車載カメラの撮像画像をモニタ画面に
    表示すると共に運転操作を支援する運転ガイド画像を前
    記撮像画像に重畳して表示する運転支援装置において、
    前記撮像画像と前記運転ガイド画像とを所定比率で合成
    して前記モニタ画面に表示するとき、前記運転ガイド画
    像の明度を、車両に搭載されているライトが点灯されて
    いない場合には下げて表示し、前記ライトが点灯されて
    いる場合には上げて表示する手段を備えることを特徴と
    する運転支援装置。
  11. 【請求項11】 車載カメラの撮像画像をモニタ画面に
    表示すると共に運転操作を支援する運転ガイド画像を前
    記撮像画像に重畳して表示する運転支援装置において、
    前記撮像画像と前記運転ガイド画像とを所定比率で合成
    して前記モニタ画面に表示するとき、前記運転ガイド画
    像の彩度を、車両に搭載されているライトが点灯されて
    いない場合には下げて表示し、前記ライトが点灯されて
    いる場合には上げて表示する手段を備えることを特徴と
    する運転支援装置。
  12. 【請求項12】 前記運転ガイドが、舵角センサの検出
    したハンドル舵角に対応した予想走行軌跡であることを
    特徴とする請求項1乃至請求項11のいずれかに記載の
    運転支援装置。
  13. 【請求項13】 前記運転ガイドは、車両が走行する可
    能性のある全ての領域、あるいは車両が直進する場合の
    領域、あるいはハンドル舵角が最大となったときの走行
    領域のうち少なくとも2つ以上の組み合わせ領域を示す
    運転ガイドで成り、少なくとも一つの領域が面で表示さ
    れ、残りの少なくとも1つの領域が輪郭線で表示される
    ことを特徴とする請求項1乃至請求項12のいずれかに
    記載の運転支援装置。
  14. 【請求項14】 車載カメラの撮像画像をモニタ画面に
    表示すると共に運転操作を支援する運転ガイドを前記撮
    像画像に重畳して表示する運転支援装置において、前記
    運転ガイドを車両の予想走行軌跡領域として表示すると
    共に、前記予想走行軌跡領域の色の明るさ或いは色の彩
    度を、車両中心の走行位置に相当する領域の中心ほど高
    く或いは低くして表示し、車両両側端部の走行位置に相
    当する領域の輪郭部に行くほど低く或いは高く表示する
    手段を備えることを特徴とする運転支援装置。
  15. 【請求項15】 前記予想走行軌跡領域は、車両のハン
    ドル舵角を検出する舵角センサの検出値に応じて変化す
    ることを特徴とする請求項14に記載の運転支援装置。
JP2001175693A 2001-06-11 2001-06-11 運転支援装置 Pending JP2002362270A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001175693A JP2002362270A (ja) 2001-06-11 2001-06-11 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001175693A JP2002362270A (ja) 2001-06-11 2001-06-11 運転支援装置

Publications (1)

Publication Number Publication Date
JP2002362270A true JP2002362270A (ja) 2002-12-18

Family

ID=19016777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001175693A Pending JP2002362270A (ja) 2001-06-11 2001-06-11 運転支援装置

Country Status (1)

Country Link
JP (1) JP2002362270A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP2006176041A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006311031A (ja) * 2005-04-27 2006-11-09 Sanyo Electric Co Ltd 移動体用撮像装置
WO2007037049A1 (ja) * 2005-09-27 2007-04-05 Clarion Co., Ltd. 車両後退運転支援装置
JP2010012904A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2010018102A (ja) * 2008-07-09 2010-01-28 Honda Motor Co Ltd 運転支援装置
JP2010135998A (ja) * 2008-12-03 2010-06-17 Aisin Seiki Co Ltd 車両周辺認知支援装置
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
WO2013157250A1 (ja) * 2012-04-20 2013-10-24 京セラ株式会社 画像処理装置および走行支援方法
JP2014162398A (ja) * 2013-02-27 2014-09-08 Fujitsu General Ltd 駐車支援装置
JP5643344B2 (ja) * 2011-01-27 2014-12-17 京セラ株式会社 車両の走行支援装置
CN110877572A (zh) * 2018-09-06 2020-03-13 爱信精机株式会社 周边监视装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191400A (ja) * 1995-01-11 1996-07-23 Dainippon Printing Co Ltd カラー画像の色調整方法及び装置
JP2000177512A (ja) * 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の駐車支援装置
JP2000276609A (ja) * 1999-03-25 2000-10-06 Fujitsu Ten Ltd ナビゲーション装置
JP2000280822A (ja) * 1999-03-30 2000-10-10 Yazaki Corp 車両用バックモニタ装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191400A (ja) * 1995-01-11 1996-07-23 Dainippon Printing Co Ltd カラー画像の色調整方法及び装置
JP2000177512A (ja) * 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の駐車支援装置
JP2000276609A (ja) * 1999-03-25 2000-10-06 Fujitsu Ten Ltd ナビゲーション装置
JP2000280822A (ja) * 1999-03-30 2000-10-10 Yazaki Corp 車両用バックモニタ装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP2006176041A (ja) * 2004-12-24 2006-07-06 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006311031A (ja) * 2005-04-27 2006-11-09 Sanyo Electric Co Ltd 移動体用撮像装置
WO2007037049A1 (ja) * 2005-09-27 2007-04-05 Clarion Co., Ltd. 車両後退運転支援装置
JP2010012904A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2010018102A (ja) * 2008-07-09 2010-01-28 Honda Motor Co Ltd 運転支援装置
JP2010135998A (ja) * 2008-12-03 2010-06-17 Aisin Seiki Co Ltd 車両周辺認知支援装置
US9363485B2 (en) 2011-01-27 2016-06-07 Kyocera Corporation Vehicle driving assist device
JP5643344B2 (ja) * 2011-01-27 2014-12-17 京セラ株式会社 車両の走行支援装置
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
WO2013157250A1 (ja) * 2012-04-20 2013-10-24 京セラ株式会社 画像処理装置および走行支援方法
JP2013224081A (ja) * 2012-04-20 2013-10-31 Kyocera Corp 画像処理装置および走行支援方法
US9789818B2 (en) 2012-04-20 2017-10-17 Kyocera Corporation Image processing apparatus, imaging apparatus and drive assisting method
JP2014162398A (ja) * 2013-02-27 2014-09-08 Fujitsu General Ltd 駐車支援装置
CN110877572A (zh) * 2018-09-06 2020-03-13 爱信精机株式会社 周边监视装置
JP2020043400A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置

Similar Documents

Publication Publication Date Title
US10479275B2 (en) Vehicle peripheral observation device
US9862319B2 (en) Vehicle peripheral observation device using cameras and an emphasized frame
US7640107B2 (en) Vehicle drive assist system
EP2163458B1 (en) Vehicle parking assistance device
US10268905B2 (en) Parking assistance apparatus
JP5003946B2 (ja) 駐車支援装置
EP1876813B1 (en) Vehicle comprising an image display system and image display method
JP5251804B2 (ja) 運転支援装置
EP2476588B1 (en) Vehicle surrounding monitor apparatus
WO2013128917A1 (ja) 映像処理装置、映像処理方法、および映像表示システム
WO2006016433A1 (ja) 運転支援装置及び運転支援方法
JP2002125224A (ja) 監視システム
JP2002362270A (ja) 運転支援装置
JP3980304B2 (ja) 駐車支援装置
JP2003158736A (ja) 監視システム
JP3877116B2 (ja) 車両の表示装置
JP2010100267A (ja) 駐車支援装置
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP3739269B2 (ja) 車両運転支援装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP2004051063A (ja) 車両周辺視認装置
JP2000339598A (ja) 車両用モニタ装置
JP2001071790A (ja) 車両の表示装置
JP2001180402A (ja) 駐車時の操舵支援装置
JP2019054480A (ja) 運転支援装置、運転支援方法およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071114

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101214