JP2004102545A - 交通状況表示方法及び交通状況表示装置 - Google Patents
交通状況表示方法及び交通状況表示装置 Download PDFInfo
- Publication number
- JP2004102545A JP2004102545A JP2002262069A JP2002262069A JP2004102545A JP 2004102545 A JP2004102545 A JP 2004102545A JP 2002262069 A JP2002262069 A JP 2002262069A JP 2002262069 A JP2002262069 A JP 2002262069A JP 2004102545 A JP2004102545 A JP 2004102545A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- road
- traffic condition
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】交通状況の情報を視覚的に表して提供することが可能な交通状況表示方法及び交通状況表示装置の提供。
【解決手段】背景画像との差分をとることにより、単位区間毎（各撮影画像毎）に車両を抽出し（Ｓ１１）、該当区間における空間占有率及び空間平均速度（空間パラメータ）を算出し（Ｓ１２）、空間占有率からは車両台数、空間平均速度からは車両速度を算出する（Ｓ１３及びＳ１４）。そして、ミクロアニメーション表示を行う場合、算出した車両台数及び車両速度に応じた模擬車両画像を背景画像とともに表示し、概況表示を行う場合、広域の交通状況を示す広域概況画像を表示するようにしている。
【選択図】 図７
【解決手段】背景画像との差分をとることにより、単位区間毎（各撮影画像毎）に車両を抽出し（Ｓ１１）、該当区間における空間占有率及び空間平均速度（空間パラメータ）を算出し（Ｓ１２）、空間占有率からは車両台数、空間平均速度からは車両速度を算出する（Ｓ１３及びＳ１４）。そして、ミクロアニメーション表示を行う場合、算出した車両台数及び車両速度に応じた模擬車両画像を背景画像とともに表示し、概況表示を行う場合、広域の交通状況を示す広域概況画像を表示するようにしている。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、道路の撮影画像を画像処理して得られる交通状況情報を表示する交通状況表示方法及び交通状況表示装置に関する。
【０００２】
【従来の技術】
高速道路及び一般道路には、渋滞の発生、事故の発生等の交通状況を監視する目的でビデオカメラ等の撮影装置が設置されている。特に、長大なトンネル内には、死角が出来ないように多数の撮影装置が設置されている。これらの撮影装置により得られた映像（撮影画像）は道路を管理する管制センタに伝送され、画像処理装置により画像処理を実行して渋滞度の判定、事故発生の検出等がなされる（例えば、特許文献１参照）。そして、渋滞の発生、事故の発生等が生じた場合には、その旨の情報が道路管理者からドライバに報知される。
【０００３】
【特許文献１】
特開２００１−９３０７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の情報提供は、所定地点での渋滞の発生等を報知するだけであり、より広域的な交通状況の情報提供が利用者（ドライバ）から望まれていた。
【０００５】
また、いくつかの閾値を用いて渋滞を判定する場合、数段階にしか渋滞が判定されないため、非渋滞と判定された場合でも、実際には渋滞が進行しつつあることがあり、正確な情報を伝えきれないという問題点を有していた。さらに渋滞に関する観念は、ドライバによって異なるため、主観的に渋滞の有無を判定できる情報の提供が望まれていた。
【０００６】
また、道路管理者から提供される交通状況情報は、段階的に表現した渋滞度、渋滞の長さ、主要地点までの所要時間等の大まかな情報であり、道路全体の詳細な交通状況を視覚的に利用者に提供できる装置の開発が望まれていた。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、道路の所定区間毎に空間パラメータを算出し、空間パラメータに基づき定められた表示色により道路状況画像を表示する構成とすることにより、広域的な交通状況をより詳細に視覚的に提供できる交通状況表示方法及び交通状況表示装置を提供することを目的とする。
【０００８】
本発明の他の目的は、算出した空間パラメータに基づいて１又は複数の模擬車両画像を生成し、生成した模擬車両画像を背景画像上とともに表示する構成とすることにより、道路の詳細な状況を視覚的かつ直感的に報知できる交通状況表示装置を提供することにある。
【０００９】
【課題を解決するための手段】
第１発明に係る交通状況表示方法は、１又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示方法において、前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出し、前記区間毎に対応させた道路状況画像を生成し、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定め、定められた表示色により前記道路状況画像を表示することを特徴とする。
【００１０】
第１発明にあっては、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について提示することがないため、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００１１】
第２発明に係る交通状況表示方法は、第１発明に係る交通状況表示方法において、前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする。
【００１２】
第２発明にあっては、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００１３】
第３発明に係る交通状況表示装置は、１又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示装置において、前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出する手段と、前記区間毎に対応させた道路状況画像を生成する手段と、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定める手段と、該手段により定められた表示色で前記道路状況画像を表示する手段とを備えることを特徴とする。
【００１４】
第３発明にあっては、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について提示することがないため、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００１５】
第４発明に係る交通状況表示装置は、第３発明に係る交通状況表示装置において、算出した空間パラメータに基づいて１又は複数の模擬車両画像を生成する手段と、前記撮影画像に基づく背景画像を生成する手段と、生成した模擬車両画像を前記背景画像上に上書き表示する手段とを更に備えることを特徴とする。
【００１６】
第４発明にあっては、空間パラメータに基づいて模擬車両画像を生成し、背景画像とともに表示するようにしているため、数段階の渋滞度のような大まかな交通状況の情報とは異なり、道路全体の詳細な状況を視覚的かつ直感的に把握できる情報を利用者に提供することが可能である。また、詳細な情報を提示することで、利用者は自身の観念により渋滞であるか否かの判断を行うことができる。
【００１７】
第５発明に係る交通状況表示装置は、第４発明に係る交通状況表示装置において、前記空間パラメータに応じて前記模擬車両画像の表示色を定める手段を更に備えることを特徴とする。
【００１８】
第５発明にあっては、空間パラメータに応じて模擬車両画像に色を付すようにしているため、例えば、各車両の走行速度に応じた色分けを行うことにより、瞬時に交通状況を把握できる情報を利用者に提供することができる。
【００１９】
第６発明に係る交通状況表示装置は、第４発明又は第５発明に係る交通状況表示装置において、前記撮影画像に含まれる車両の特定の走行状態を検出する手段と、前記走行状態を検出した場合、前記走行状態の車両に対応した模擬車両画像を所定の表示色で表示する手段とを更に備えることを特徴とする。
【００２０】
第６発明にあっては、特定の走行状態を検出した場合、模擬車両画像を所定の表示色で表示するようにしているため、例えば、急停車、急減速等を行った異常走行車両、制限速度を無視して走行している危険走行車両等に対応した模擬車両画像を、所定の表示色で表示することによって、注視すべき車両を目立たせることができ、例えば、利用者に注意を喚起させることが可能となる。
【００２１】
第７発明に係る交通状況表示装置は、第４発明乃至第６発明の何れかの交通状況表示装置において、前記道路状況画像の表示と、前記模擬車両画像及び前記背景画像の表示とを切替える手段を更に備えることを特徴とする。
【００２２】
第７発明にあっては、道路状況画像の表示と、模擬車両画像及び背景画像の表示とを切替える手段を備えているため、広範囲の概要的な交通状況と特定範囲の詳細な交通状況とを切り替えて表示することができる。
【００２３】
第８発明に係る交通状況表示装置は、第３発明乃至第７発明の何れかの交通状況表示装置において、前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする。
【００２４】
第８発明にあっては、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００２５】
第９発明に係る交通状況表示装置は、第８発明に係る交通状況表示装置において、前記空間占有率に代えて前記区間における車両の交通密度、前記空間平均速度に代えて前記区間における車両の走行時間を用いることを特徴とする。
【００２６】
第９発明にあっては、空間パラメータに代えて、交通密度及び車両の走行速度を用いるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００２７】
第１０発明に係る交通状況表示装置は、第３発明乃至第９発明の何れかの交通状況表示装置において、前記道路状況画像、又は前記模擬車両画像及び前記背景画像を外部へ送信する手段を更に備えることを特徴とする。
【００２８】
第１０発明にあっては、道路状況画像、又は模擬車両画像及び背景画像を外部へ送信するため、例えば、車両に車載通信装置、該車載通信装置により受信した画像を表示可能な表示手段を搭載している場合、道路管理者だけでなく、ドライバにも交通状況を視覚的に提供することが可能となる。
【００２９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の交通状況表示装置を用いた交通状況監視システムの構成を説明する模式図である。図中６は道路５を走行中の車両であり、道路５に沿って間隔で設置された撮影装置７，７，…により走行中の車両６を撮影し、各撮影装置７，７，…により得られた撮影画像を画像処理装置１０へ随時伝送する。画像処理装置１０は各撮影装置７，７，…から伝送された撮影画像について画像処理を施して交通状況を表す画像データを生成し、生成した画像データを管制センタ２０のモニタ２１へ出力するとともに、撮影装置７と同様に道路５に沿って適宜間隔で設置された路側アンテナ８，８，…を通じて外部へ送信するようになっている。
【００３０】
撮影装置７は、例えば、ＣＣＴＶカメラ（ＣＣＴＶ ： Ｃｌｏｓｅｄ−Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）であり、その撮像素子にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等が利用されている。撮影装置７は、車両６の走行方向又はその逆方向に適宜の設置間隔（例えば、１００ｍ）を隔てて設けられており、また、道路５を遠方まで見渡すことができるように、例えば、中央分離帯又は路側帯に立設された支柱等の上部、トンネル内では、天井若しくは天井付近の壁面に設置されている。そして、撮影装置７は、車両６の前方又は後方を鳥瞰的に撮影するようにしている。
【００３１】
画像処理装置１０は各撮影装置７，７，…を接続するためのカメラポートを備えており（図５参照）、該カメラポートを通じて入力された各撮影画像について画像処理を施す。当該画像処理では各撮影画像から空間パラメータを算出し、算出した空間パラメータに基づいて、後述するミクロアニメーション画像又は広域概況画像の生成を行う。
ここで、空間パラメータには、空間占有率と空間平均速度とが含まれる。空間占有率は、ある撮影タイミングにおいて算出範囲内に存在する全車両の長さの総和を全範囲長で除算した値であり、空間平均速度は、ある撮影タイミングにおいて算出範囲内に存在する各車両の瞬間速度を計測し、それらの計測値を算術平均した値である。
【００３２】
ミクロアニメーション画像の生成では、道路を真上から眺めた背景画像を生成するとともに、車両を模した模擬車両画像を前記空間パラメータに基づいて生成する。生成された模擬車両画像は、背景画像上に上書き表示される。このとき、背景画像に対して模擬車両画像の表示位置が車速に比例した移動量だけずれるように一定の周期（フレームスパン）で制御することにより、模擬車両画像に動きを与えて表示させることができる。なお、表示する模擬生成画像及び背景画像は、撮影画像を視点変更して得られた実画像であってもよく、また、画像処理装置１０の内部にて生成した模式的な画像であってもよい。
【００３３】
広域概況画像の生成では、ミクロアニメーション画像において表示されない広域の交通状況を示す画像が生成される。広域概況画像は、道路の所定区間（例えば、１００ｍ毎）及び車線毎に区間割りをして、各区間に含まれる車両の平均速度により表示色を異ならせて交通状況を表示するようにしている。
【００３４】
管制センタ２０に設置されるモニタ２１は、画像処理装置１０にて生成された画像を表示するための表示手段であり、具体的には、ＣＲＴ、液晶ディスプレイ等である。
【００３５】
また、画像処理装置１０は、生成した画像を交通状況情報としてモニタ２１へ送出するとともに、路側アンテナ８，８，…を通じて外部へ送信するようにしている。したがって、車両６が路側アンテナ８と通信可能な車載通信装置、及び車載通信装置で受信した画像データを表示するための表示装置を備えている場合、車両６内でも交通状況情報を確認することができ、道路管理者だけでなく一般のドライバにも情報提供が可能となる。
【００３６】
なお、本実施の形態では、図１に示した如く画像処理装置１０を管制センタ２０の外部に設置する構成としたが、画像処理装置１０は管制センタ２０の内部に設置されるものであってもよいことは勿論である。また、本実施の形態では、路側アンテナ８を利用して車両６に搭載されている車載通信装置へ交通状況情報を送信する形態として説明したが、携帯電話機等で利用されるデータ通信システムを利用して交通状況情報をドライバに提供する形態であってもよく、また、同様にＦＭ多重放送システムを利用して交通状況情報をドライバに提供する形態であってもよいことは勿論のことである。
【００３７】
図２は撮影装置７により撮影される撮影画像の一例を示す模式図である。前述したように撮影装置７は、道路５を遠方まで見渡せる位置に設置され、車両６の前方又は後方を撮影するようにしているため、ある撮影タイミングでの撮影画像は図２に示した如き画像となる。図２に示した撮影画像４０には、道路を含んだ背景画像４５と２つの車両画像４６ａ，４６ｂとが含まれている。画像処理装置１０は、撮影画像４０が入力された場合、予め生成された背景のみの画像と差分をとることにより背景画像４５から車両画像４６ａ，４６ｂを良好に抽出することができる。
【００３８】
図３は画像処理装置１０により生成される画像の種類を説明する模式図である。複数の撮影装置７，７，…により得られた撮影画像４０，４０，…は、例えば、図３の上段に示した如き画像であり、各撮影画像４０，４０，…に基づいて空間パラメータを算出する。後述するように、空間パラメータの１つである空間占有率から撮影画像４０に含まれる車両台数が模擬的に算出され、空間平均速度からは車両速度が模擬的に算出される。
【００３９】
本発明では、算出した車両台数及び車両速度に基づいて生成した模擬車両画像を利用してミクロアニメーション画像の生成を行う。すなわち、図３の中段に示したように、道路の背景画像５５と模擬車両画像５６ａ〜５６ｄとから構成されるミクロアニメーション画像５０の生成を行う。ここで、模擬車両画像５６ａ〜５６ｄは、車両を模した矩形画像であり、車両速度に応じた速度で背景画像５５上を移動表示させている。また、模擬車両画像５６ａ〜５６ｄは車両速度に応じて定められた表示色で表示されており、利用者が瞬時に交通状況を把握できるようにしている。
【００４０】
また、本発明では、より広域の交通状況を利用者に提供するため、図３の下段に示した如き広域概況画像６０を生成する。矩形領域で表される各区間画像６１ａ〜６１ｅは、夫々に付された色で交通状況を提示するようにしている。例えば、区間画像６１ａに対して割り当てられた色（例えば、赤色）は交通流が渋滞している状態を示しており、交通渋滞の可能性が非常に高い状態を表している。また、区間画像６１ｅに対して割り当てられた色（例えば、緑色又は青色）は、交通流がスムーズである状態を示しており、交通渋滞の可能性が低く、車両がスムーズに走行できる状態を表している。
【００４１】
図４はモニタ２１にて表示される画像の一例を示す模式図である。モニタ２１では、画像処理装置１０が生成する画像に対応させて、２種類の表示モードを選択できるようにしている。図４（ａ）は、前述のミクロアニメーション画像を表示させるためのミクロアニメーション表示モードが選択された場合であって、車両速度に応じて他段階に色分けされた模擬車両画像が、道路等の背景画像とともに表示されている。図４（ｂ）は、前述の広域概況画像を表示させるための概況表示モードが選択された場合であって、各区間毎の交通状況を表示色により表した矩形画像が表示されている。
【００４２】
それぞれの表示領域には、表示モードを切替えるための表示切替ボタン２１ａ、及び表示範囲をスクロールさせるためのスクロールボタン２１ｂ，２１ｃが表示されている。表示切替ボタン２１ａ、及びスクロールボタン２１ｂ，２１ｃは、図に示していないマウス、カーソルキー等の入力装置により制御されるポインタによって選択可能にしてあり、表示切替ボタン２１ａが選択された場合、一方の表示モードから他方の表示モードへと表示内容を切替得るようにしている。また、スクロールボタン２１ｂ，２１ｃが選択された場合、夫々のスクロールボタン２１ｂ，２１ｃが表す白抜矢符の方向へ表示範囲を移動させることができる。
【００４３】
図５は画像処理装置１０の内部構成を説明するブロック図である。画像処理装置１０はＣＰＵ１１を備えており、ＣＰＵ１１にはバス１２を介して、ＲＯＭ１３、ＲＡＭ１４、通信ポート１５、画像処理ＡＳＩＣ１６、フレームメモリ１７、複数のカメラポート１８，１８，…が接続されている。
【００４４】
ＲＯＭ１３には、前述した各ハードウェアを制御するための制御プログラムが格納されており、ＣＰＵ１１が必要に応じてその制御プログラムをＲＡＭ１４上に展開して、各ハードウェアを制御するようにしている。また、ＲＡＭ１４は制御プログラムの実行中に発生する各種のデータを一時的に記憶する。ＲＡＭ１４が一時的に記憶するデータは、例えば、空間パラメータに基づいて生成した模擬車両画像のデータである。
【００４５】
カメラポート１８，１８，…は、撮影装置７，７，…を接続するための接続コネクタと、該接続コネクタを通じて入力された映像信号をアナログ信号からデジタル信号に変換するＡＤコンバータとを夫々備えている。
フレームメモリ１７は、デジタル変換された映像信号を画像データとして一時的に記憶するものである。記憶する画像データは、ｘ軸、ｙ軸の座標点ごとにＲＧＢ値を持つ画素の集合であり、その画素のＲＧＢ値は、例えば８ビットの２５６階調とされる。また、画像データとして必ずしもカラーのデータを利用する必要はなく、その場合の画像データは、ｘ軸、ｙ軸の座標点ごとに規定された輝度値（例えば２５６階調）を用いることができる。
画像処理ＡＳＩＣ１６は、ＣＰＵ１１の指示により、フレームメモリ１７に記憶された画像データの画像処理を実行するＩＣである。
通信ポート１５には、管制センタ２０に設置されているモニタ２１、及び道路５に設置されている路側アンテナ８，８，…が接続されており、夫々に画像処理を施した画像データを送信するようにしている。
【００４６】
図６は画像処理装置１０の処理手順を説明するフローチャートである。まず、画像処理装置１０のＣＰＵ１１は初期化処理を行う（ステップＳ１）。初期化処理では、後に撮影装置７にて得られた撮影画像から車両画像を抽出する際に必要となる背景画像の生成を行う。なお、背景画像は時間帯又は天候に応じて変えるようにしてもよい。また、初期化処理を行う度に背景画像を生成する必要は必ずしもなく、生成した背景画像をＲＡＭ１４に記憶させておき、記憶させた背景画像を初期化処理において読み込む形態であってもよい。
【００４７】
次いで、画像処理装置１０は画像入力を開始し（ステップＳ２）、各撮影装置７，７，…からの映像信号をデジタル信号に変換し、画像データとしてフレームメモリ１７に逐次記憶させる。
【００４８】
次いで、画像処理装置１０のＣＰＵ１１は画像処理ＡＳＩＣ１６に指示を与えて、後述する画像データ生成処理を行う（ステップＳ３）。画像データ生成処理では、単位区間毎（各撮影画像毎）に空間パラメータの算出を行い、選択された表示モードに対応する画像データの生成を行う。なお、画像データ生成処理については後に詳述することにする。
【００４９】
次いで、ＣＰＵ１１は画像処理ＡＳＩＣ１６に指示を与え、ステップＳ３で生成された単位区間毎の画像データを連続させて合成画像データを生成する（ステップＳ４）。そして、生成した合成画像データを出力する（ステップＳ５）。
【００５０】
図７は画像データ生成処理の処理手順を示すフローチャートである。まず、画像処理ＡＳＩＣ１６は単位区間毎（撮影画像毎）に車両を抽出する（ステップＳ１１）。車両の抽出は、初期化処理（図６参照）により得られた背景画像と撮影画像との差分をとることにより行う。そして、該当区間の空間パラメータを算出する（ステップＳ１２）。算出された空間パラメータは、その撮影画像に対応付けてＲＡＭ１４に記憶される。
【００５１】
次いで、ＣＰＵ１１は、ＲＡＭ１４に記憶させた空間パラメータから空間占有率及び空間平均速度の読込みを行い、読込んだ空間占有率に基づき車両台数を算出し（ステップＳ１３）、空間平均速度に基づき車両速度を算出する（ステップＳ１４）。算出された車両代数及び車両速度はＲＡＭ１４に記憶される。
【００５２】
ここで、車両台数は以下の手法により求めることができる。すなわち、算出すべき小型車（車長５ｍとする）の台数をｘ台、大型車（車長１０ｍとする）の台数をｙ台、区間長をＬｍとした場合、（５×ｘ＋１０×ｙ）×１００／Ｌの値が読込んだ空間占有率に可及的に等しくなるように、ｘ及びｙの組みを求めることで車両台数を算出することが可能である。このとき、ｘとｙとの割合は、実際の大型車混入率を計測して決めてもよく、また経験的な値からランダムに又は固定的に与えてもよい。
また、車両速度は、算出した空間平均速度の値をＡ、ｘ台の小型車の走行速度をｖｉ 、ｙ台の小型車の走行速度をｖｊ として、
【００５３】
【数１】
【００５４】
を満たすように、ｖｉ 及びｖｊ を決定する。ここで、ｖｉ 及びｖｊ は、空間平均速度Ａを中心とした範囲（Ａｌ ，Ａｈ ）で正規分布のような確率分布を設定し、ランダムに決定する。なお、下限値Ａｌ 及び上限値Ａｈ の値は、空間平均速度Ａによって予め経験的に定めた値でもよく、隣接区間の空間平均速度の値、又は当該区間の前フレーム画像から算出した空間平均速度の値に基づいて求めるようにしてもよい。
【００５５】
次いで、ミクロアニメーション表示モードが選択されているか、又は広域の交通状況を表示させる概況表示モードが選択されているかについて判定するために後述する表示モード判定処理を行う（ステップＳ１５）。そして、選択されている表示モードに応じて画像データの表示色を決定する（ステップＳ１６）。
【００５６】
表示色の決定は、以下で説明する３種類の方法の何れかを利用して行うことができる。
＜第１の色分け方法＞
第１の色分け方法では、速度範囲を複数の段階に設定し、各速度範囲に１つの表示色を割り当てる手法である。例えば、０〜１００ｋｍ／ｈを１０ｋｍ／ｈ毎に１０段階に分け、高速側から低速側に移るにつれて、表示色が赤色、橙色、黄色、黄緑色、緑色へと順次変化するように設定する。なお、１００ｋｍ／ｈ以上は１００ｋｍ／ｈと同じ扱いとする。
【００５７】
＜第２の色分け方法＞
第２の色分け方法では、ＲＧＢ値に夫々８ビットを割当てた場合、約１６７０万色の色分けができることを利用し、車両速度をｖとして次式により色分けを行う。
【００５８】
【数２】
【００５９】
すなわち、車両速度が０〜５０ｋｍ／ｈの場合、赤色、橙色、黄色の間を５０段階に色分けし、車両速度が５０〜１００ｋｍ／ｈの場合、黄色、黄緑色、緑色の間を５０段階に色分けする。
【００６０】
＜第３の色分け方法＞
第３の色分け方法では、車両速度ｖの関数としてＲＧＢ値を定めている点は第２の色分け方法と同様であるが、人間の色感はＲＧＢ値に線形でないことから、色の変化に鈍感な範囲の変化量を大きくするように次式により色分けする。
【００６１】
【数３】
【００６２】
なお、モニタ２１にて表示することができる色数が約６５０００色である場合（ＲＧＢ値が各４ビット）、数式（２）及び数式（３）において、夫々２５５の値の代わりに１６の値を用いる。
【００６３】
表示色が決定された場合、ＣＰＵ１１は、画像データ生成処理を全区間について終了したか否かを判断し（ステップＳ１７）、全区間について終了していない場合（Ｓ１７：ＮＯ）、処理をステップＳ１１へ戻し、全区間について終了した場合（Ｓ１７：ＹＥＳ）、本ルーチンを終了する。
【００６４】
図８は表示モード判定処理の処理手順を説明するフローチャートである。まず、ＣＰＵ１１は、選択された表示モードがミクロアニメーション表示モードであるか否かの判定を行う（ステップＳ２１）。ミクロアニメーション表示モードが選択されていると判定した場合（Ｓ２１：ＹＥＳ）、ＣＰＵ１１は、特定車両の検出を行う（ステップＳ２２）。特定車両とは、急停止を行った車両、急減速を行った車両、制限速度をオーバしている車両、車間距離が小さい車両等の異常走行又は危険走行を行っている車両のことであり、空間パラメータに基づいて算出した車両速度、各模擬車両画像の走行位置等の過去の値を参照して検出するようにしている。また、特定車両には車線変更を行った車両、救急車、消防車等の注目すべき車両を含めてもよい。特定車両を検出した場合には、目立つような色彩、装飾を加えて描画するようにしている。
【００６５】
次いで、ステップＳ１３（図７参照）にて算出した車両台数に基づいて模擬車両画像の生成を行う（ステップＳ２３）。模擬車両画像は、予めＲＯＭ１３に小型車用の模擬車両画像と大型車用の模擬車両画像を記憶させておき、必要な台数分だけＲＯＭ１３から読込むようにする。生成された模擬車両画像の走行位置の初期値は、当該区間の中で各車間距離が予め定めた最小値以下にならないようにランダムに設定する。
以上のように定められた車両台数、車両速度、特定車両の情報、模擬車両の画像、及び走行位置の初期値等は、モニタ２１及び路側アンテナ８に伝送すべき画像データとして互いに関連付けてＲＡＭ１４に記憶させている。
【００６６】
ＣＰＵ１１が、ステップＳ２１にてミクロアニメーション表示モードが選択されていないと判定した場合（Ｓ２１：ＮＯ）、広域の交通状況を表示するための概況表示モードが選択されているか否かを判定する（ステップＳ２４）。概況表示モードが選択されていると判定した場合（Ｓ２４：ＹＥＳ）、適宜の区間長毎及び車線毎に区間割りを設定する（ステップＳ２５）。ＣＰＵ１１は、設定された区間割りの情報をＲＡＭ１４に記憶させる。
また、ステップＳ２４にて概況表示モードが選択されていないと判定した場合（Ｓ２４：ＮＯ）、何れの表示モードも選択されていない旨の情報を伝送することによって、エラー処理を行う（ステップＳ２６）。
【００６７】
本実施の形態では、道路の撮影画像に含まれる車両の空間占有率及び空間平均速度に基づいて模擬車両画像の生成台数と車両速度とを算出するようにしたが、空間占有率に代えて交通密度（撮影画像中の車両台数）、空間平均速度に代えて旅行時間（撮影映像を走り抜ける為に要する時間）を利用することも可能である。
【００６８】
【発明の効果】
以上、詳述したように、第１発明による場合は、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について示すわけではないので、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００６９】
第２発明による場合は、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７０】
第３発明による場合は、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について示すわけではないので、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００７１】
第４発明による場合は、空間パラメータに基づいて模擬車両画像を生成し、背景画像とともに表示するようにしているため、数段階の渋滞度のような大まかな交通状況の情報とは異なり、道路全体の詳細な状況を視覚的かつ直感的に把握できる情報を利用者に提供することが可能である。また、詳細な情報を提示することで、利用者は自身の観念により渋滞であるか否かの判断を行うことができる。
【００７２】
第５発明による場合は、空間パラメータに応じて模擬車両画像に色を付すようにしているため、例えば、各車両の走行速度に応じた色分けを行うことにより、瞬時に交通状況を把握できる情報を利用者に提供することができる。
【００７３】
第６発明による場合は、特定の走行状態を検出した場合、模擬車両画像を所定の表示色で表示するようにしているため、例えば、急停車、急減速等を行った異常走行車両、制限速度を無視して走行している危険走行車両等に対応した模擬車両画像を、所定の表示色で表示することによって、注視すべき車両を目立たせることができ、例えば、利用者に注意を喚起させることが可能となる。
【００７４】
第７発明による場合は、道路状況画像の表示と、模擬車両画像及び背景画像の表示とを切替える手段を備えているため、広範囲の概要的な交通状況と特定範囲の詳細な交通状況とを切り替えて表示することができる。
【００７５】
第８発明による場合は、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７６】
第９発明による場合は、空間パラメータに代えて、交通密度及び車両の走行速度を用いるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７７】
第１０発明による場合は、道路状況画像、又は模擬車両画像及び背景画像を外部へ送信するため、例えば、車両に車載通信装置、該車載通信装置により受信した画像を表示可能な表示手段を搭載している場合、道路管理者だけでなく、ドライバにも交通状況を視覚的に提供することが可能となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の交通状況表示装置を用いた交通状況監視システムの構成を説明する模式図である。
【図２】撮影装置により撮影される撮影画像の一例を示す模式図である。
【図３】画像処理装置により生成される画像の種類を説明する模式図である。
【図４】モニタにて表示される画像の一例を示す模式図である。
【図５】画像処理装置の内部構成を説明するブロック図である。
【図６】画像処理装置の処理手順を説明するフローチャートである。
【図７】画像データ生成処理の処理手順を示すフローチャートである。
【図８】表示モード判定処理の処理手順を説明するフローチャートである。
【符号の説明】
５ 道路
６ 車両
７ 撮影装置
８ 路側アンテナ
１０ 画像処理装置
１１ ＣＰＵ
１２ バス
１３ ＲＯＭ
１４ ＲＡＭ
１５ 通信ポート
１６ 画像処理ＡＳＩＣ
１７ フレームメモリ
１８ カメラポート
２０ 管制センタ
２１ モニタ
【発明の属する技術分野】
本発明は、道路の撮影画像を画像処理して得られる交通状況情報を表示する交通状況表示方法及び交通状況表示装置に関する。
【０００２】
【従来の技術】
高速道路及び一般道路には、渋滞の発生、事故の発生等の交通状況を監視する目的でビデオカメラ等の撮影装置が設置されている。特に、長大なトンネル内には、死角が出来ないように多数の撮影装置が設置されている。これらの撮影装置により得られた映像（撮影画像）は道路を管理する管制センタに伝送され、画像処理装置により画像処理を実行して渋滞度の判定、事故発生の検出等がなされる（例えば、特許文献１参照）。そして、渋滞の発生、事故の発生等が生じた場合には、その旨の情報が道路管理者からドライバに報知される。
【０００３】
【特許文献１】
特開２００１−９３０７９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の情報提供は、所定地点での渋滞の発生等を報知するだけであり、より広域的な交通状況の情報提供が利用者（ドライバ）から望まれていた。
【０００５】
また、いくつかの閾値を用いて渋滞を判定する場合、数段階にしか渋滞が判定されないため、非渋滞と判定された場合でも、実際には渋滞が進行しつつあることがあり、正確な情報を伝えきれないという問題点を有していた。さらに渋滞に関する観念は、ドライバによって異なるため、主観的に渋滞の有無を判定できる情報の提供が望まれていた。
【０００６】
また、道路管理者から提供される交通状況情報は、段階的に表現した渋滞度、渋滞の長さ、主要地点までの所要時間等の大まかな情報であり、道路全体の詳細な交通状況を視覚的に利用者に提供できる装置の開発が望まれていた。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、道路の所定区間毎に空間パラメータを算出し、空間パラメータに基づき定められた表示色により道路状況画像を表示する構成とすることにより、広域的な交通状況をより詳細に視覚的に提供できる交通状況表示方法及び交通状況表示装置を提供することを目的とする。
【０００８】
本発明の他の目的は、算出した空間パラメータに基づいて１又は複数の模擬車両画像を生成し、生成した模擬車両画像を背景画像上とともに表示する構成とすることにより、道路の詳細な状況を視覚的かつ直感的に報知できる交通状況表示装置を提供することにある。
【０００９】
【課題を解決するための手段】
第１発明に係る交通状況表示方法は、１又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示方法において、前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出し、前記区間毎に対応させた道路状況画像を生成し、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定め、定められた表示色により前記道路状況画像を表示することを特徴とする。
【００１０】
第１発明にあっては、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について提示することがないため、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００１１】
第２発明に係る交通状況表示方法は、第１発明に係る交通状況表示方法において、前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする。
【００１２】
第２発明にあっては、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００１３】
第３発明に係る交通状況表示装置は、１又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示装置において、前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出する手段と、前記区間毎に対応させた道路状況画像を生成する手段と、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定める手段と、該手段により定められた表示色で前記道路状況画像を表示する手段とを備えることを特徴とする。
【００１４】
第３発明にあっては、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について提示することがないため、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００１５】
第４発明に係る交通状況表示装置は、第３発明に係る交通状況表示装置において、算出した空間パラメータに基づいて１又は複数の模擬車両画像を生成する手段と、前記撮影画像に基づく背景画像を生成する手段と、生成した模擬車両画像を前記背景画像上に上書き表示する手段とを更に備えることを特徴とする。
【００１６】
第４発明にあっては、空間パラメータに基づいて模擬車両画像を生成し、背景画像とともに表示するようにしているため、数段階の渋滞度のような大まかな交通状況の情報とは異なり、道路全体の詳細な状況を視覚的かつ直感的に把握できる情報を利用者に提供することが可能である。また、詳細な情報を提示することで、利用者は自身の観念により渋滞であるか否かの判断を行うことができる。
【００１７】
第５発明に係る交通状況表示装置は、第４発明に係る交通状況表示装置において、前記空間パラメータに応じて前記模擬車両画像の表示色を定める手段を更に備えることを特徴とする。
【００１８】
第５発明にあっては、空間パラメータに応じて模擬車両画像に色を付すようにしているため、例えば、各車両の走行速度に応じた色分けを行うことにより、瞬時に交通状況を把握できる情報を利用者に提供することができる。
【００１９】
第６発明に係る交通状況表示装置は、第４発明又は第５発明に係る交通状況表示装置において、前記撮影画像に含まれる車両の特定の走行状態を検出する手段と、前記走行状態を検出した場合、前記走行状態の車両に対応した模擬車両画像を所定の表示色で表示する手段とを更に備えることを特徴とする。
【００２０】
第６発明にあっては、特定の走行状態を検出した場合、模擬車両画像を所定の表示色で表示するようにしているため、例えば、急停車、急減速等を行った異常走行車両、制限速度を無視して走行している危険走行車両等に対応した模擬車両画像を、所定の表示色で表示することによって、注視すべき車両を目立たせることができ、例えば、利用者に注意を喚起させることが可能となる。
【００２１】
第７発明に係る交通状況表示装置は、第４発明乃至第６発明の何れかの交通状況表示装置において、前記道路状況画像の表示と、前記模擬車両画像及び前記背景画像の表示とを切替える手段を更に備えることを特徴とする。
【００２２】
第７発明にあっては、道路状況画像の表示と、模擬車両画像及び背景画像の表示とを切替える手段を備えているため、広範囲の概要的な交通状況と特定範囲の詳細な交通状況とを切り替えて表示することができる。
【００２３】
第８発明に係る交通状況表示装置は、第３発明乃至第７発明の何れかの交通状況表示装置において、前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする。
【００２４】
第８発明にあっては、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００２５】
第９発明に係る交通状況表示装置は、第８発明に係る交通状況表示装置において、前記空間占有率に代えて前記区間における車両の交通密度、前記空間平均速度に代えて前記区間における車両の走行時間を用いることを特徴とする。
【００２６】
第９発明にあっては、空間パラメータに代えて、交通密度及び車両の走行速度を用いるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００２７】
第１０発明に係る交通状況表示装置は、第３発明乃至第９発明の何れかの交通状況表示装置において、前記道路状況画像、又は前記模擬車両画像及び前記背景画像を外部へ送信する手段を更に備えることを特徴とする。
【００２８】
第１０発明にあっては、道路状況画像、又は模擬車両画像及び背景画像を外部へ送信するため、例えば、車両に車載通信装置、該車載通信装置により受信した画像を表示可能な表示手段を搭載している場合、道路管理者だけでなく、ドライバにも交通状況を視覚的に提供することが可能となる。
【００２９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の交通状況表示装置を用いた交通状況監視システムの構成を説明する模式図である。図中６は道路５を走行中の車両であり、道路５に沿って間隔で設置された撮影装置７，７，…により走行中の車両６を撮影し、各撮影装置７，７，…により得られた撮影画像を画像処理装置１０へ随時伝送する。画像処理装置１０は各撮影装置７，７，…から伝送された撮影画像について画像処理を施して交通状況を表す画像データを生成し、生成した画像データを管制センタ２０のモニタ２１へ出力するとともに、撮影装置７と同様に道路５に沿って適宜間隔で設置された路側アンテナ８，８，…を通じて外部へ送信するようになっている。
【００３０】
撮影装置７は、例えば、ＣＣＴＶカメラ（ＣＣＴＶ ： Ｃｌｏｓｅｄ−Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）であり、その撮像素子にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等が利用されている。撮影装置７は、車両６の走行方向又はその逆方向に適宜の設置間隔（例えば、１００ｍ）を隔てて設けられており、また、道路５を遠方まで見渡すことができるように、例えば、中央分離帯又は路側帯に立設された支柱等の上部、トンネル内では、天井若しくは天井付近の壁面に設置されている。そして、撮影装置７は、車両６の前方又は後方を鳥瞰的に撮影するようにしている。
【００３１】
画像処理装置１０は各撮影装置７，７，…を接続するためのカメラポートを備えており（図５参照）、該カメラポートを通じて入力された各撮影画像について画像処理を施す。当該画像処理では各撮影画像から空間パラメータを算出し、算出した空間パラメータに基づいて、後述するミクロアニメーション画像又は広域概況画像の生成を行う。
ここで、空間パラメータには、空間占有率と空間平均速度とが含まれる。空間占有率は、ある撮影タイミングにおいて算出範囲内に存在する全車両の長さの総和を全範囲長で除算した値であり、空間平均速度は、ある撮影タイミングにおいて算出範囲内に存在する各車両の瞬間速度を計測し、それらの計測値を算術平均した値である。
【００３２】
ミクロアニメーション画像の生成では、道路を真上から眺めた背景画像を生成するとともに、車両を模した模擬車両画像を前記空間パラメータに基づいて生成する。生成された模擬車両画像は、背景画像上に上書き表示される。このとき、背景画像に対して模擬車両画像の表示位置が車速に比例した移動量だけずれるように一定の周期（フレームスパン）で制御することにより、模擬車両画像に動きを与えて表示させることができる。なお、表示する模擬生成画像及び背景画像は、撮影画像を視点変更して得られた実画像であってもよく、また、画像処理装置１０の内部にて生成した模式的な画像であってもよい。
【００３３】
広域概況画像の生成では、ミクロアニメーション画像において表示されない広域の交通状況を示す画像が生成される。広域概況画像は、道路の所定区間（例えば、１００ｍ毎）及び車線毎に区間割りをして、各区間に含まれる車両の平均速度により表示色を異ならせて交通状況を表示するようにしている。
【００３４】
管制センタ２０に設置されるモニタ２１は、画像処理装置１０にて生成された画像を表示するための表示手段であり、具体的には、ＣＲＴ、液晶ディスプレイ等である。
【００３５】
また、画像処理装置１０は、生成した画像を交通状況情報としてモニタ２１へ送出するとともに、路側アンテナ８，８，…を通じて外部へ送信するようにしている。したがって、車両６が路側アンテナ８と通信可能な車載通信装置、及び車載通信装置で受信した画像データを表示するための表示装置を備えている場合、車両６内でも交通状況情報を確認することができ、道路管理者だけでなく一般のドライバにも情報提供が可能となる。
【００３６】
なお、本実施の形態では、図１に示した如く画像処理装置１０を管制センタ２０の外部に設置する構成としたが、画像処理装置１０は管制センタ２０の内部に設置されるものであってもよいことは勿論である。また、本実施の形態では、路側アンテナ８を利用して車両６に搭載されている車載通信装置へ交通状況情報を送信する形態として説明したが、携帯電話機等で利用されるデータ通信システムを利用して交通状況情報をドライバに提供する形態であってもよく、また、同様にＦＭ多重放送システムを利用して交通状況情報をドライバに提供する形態であってもよいことは勿論のことである。
【００３７】
図２は撮影装置７により撮影される撮影画像の一例を示す模式図である。前述したように撮影装置７は、道路５を遠方まで見渡せる位置に設置され、車両６の前方又は後方を撮影するようにしているため、ある撮影タイミングでの撮影画像は図２に示した如き画像となる。図２に示した撮影画像４０には、道路を含んだ背景画像４５と２つの車両画像４６ａ，４６ｂとが含まれている。画像処理装置１０は、撮影画像４０が入力された場合、予め生成された背景のみの画像と差分をとることにより背景画像４５から車両画像４６ａ，４６ｂを良好に抽出することができる。
【００３８】
図３は画像処理装置１０により生成される画像の種類を説明する模式図である。複数の撮影装置７，７，…により得られた撮影画像４０，４０，…は、例えば、図３の上段に示した如き画像であり、各撮影画像４０，４０，…に基づいて空間パラメータを算出する。後述するように、空間パラメータの１つである空間占有率から撮影画像４０に含まれる車両台数が模擬的に算出され、空間平均速度からは車両速度が模擬的に算出される。
【００３９】
本発明では、算出した車両台数及び車両速度に基づいて生成した模擬車両画像を利用してミクロアニメーション画像の生成を行う。すなわち、図３の中段に示したように、道路の背景画像５５と模擬車両画像５６ａ〜５６ｄとから構成されるミクロアニメーション画像５０の生成を行う。ここで、模擬車両画像５６ａ〜５６ｄは、車両を模した矩形画像であり、車両速度に応じた速度で背景画像５５上を移動表示させている。また、模擬車両画像５６ａ〜５６ｄは車両速度に応じて定められた表示色で表示されており、利用者が瞬時に交通状況を把握できるようにしている。
【００４０】
また、本発明では、より広域の交通状況を利用者に提供するため、図３の下段に示した如き広域概況画像６０を生成する。矩形領域で表される各区間画像６１ａ〜６１ｅは、夫々に付された色で交通状況を提示するようにしている。例えば、区間画像６１ａに対して割り当てられた色（例えば、赤色）は交通流が渋滞している状態を示しており、交通渋滞の可能性が非常に高い状態を表している。また、区間画像６１ｅに対して割り当てられた色（例えば、緑色又は青色）は、交通流がスムーズである状態を示しており、交通渋滞の可能性が低く、車両がスムーズに走行できる状態を表している。
【００４１】
図４はモニタ２１にて表示される画像の一例を示す模式図である。モニタ２１では、画像処理装置１０が生成する画像に対応させて、２種類の表示モードを選択できるようにしている。図４（ａ）は、前述のミクロアニメーション画像を表示させるためのミクロアニメーション表示モードが選択された場合であって、車両速度に応じて他段階に色分けされた模擬車両画像が、道路等の背景画像とともに表示されている。図４（ｂ）は、前述の広域概況画像を表示させるための概況表示モードが選択された場合であって、各区間毎の交通状況を表示色により表した矩形画像が表示されている。
【００４２】
それぞれの表示領域には、表示モードを切替えるための表示切替ボタン２１ａ、及び表示範囲をスクロールさせるためのスクロールボタン２１ｂ，２１ｃが表示されている。表示切替ボタン２１ａ、及びスクロールボタン２１ｂ，２１ｃは、図に示していないマウス、カーソルキー等の入力装置により制御されるポインタによって選択可能にしてあり、表示切替ボタン２１ａが選択された場合、一方の表示モードから他方の表示モードへと表示内容を切替得るようにしている。また、スクロールボタン２１ｂ，２１ｃが選択された場合、夫々のスクロールボタン２１ｂ，２１ｃが表す白抜矢符の方向へ表示範囲を移動させることができる。
【００４３】
図５は画像処理装置１０の内部構成を説明するブロック図である。画像処理装置１０はＣＰＵ１１を備えており、ＣＰＵ１１にはバス１２を介して、ＲＯＭ１３、ＲＡＭ１４、通信ポート１５、画像処理ＡＳＩＣ１６、フレームメモリ１７、複数のカメラポート１８，１８，…が接続されている。
【００４４】
ＲＯＭ１３には、前述した各ハードウェアを制御するための制御プログラムが格納されており、ＣＰＵ１１が必要に応じてその制御プログラムをＲＡＭ１４上に展開して、各ハードウェアを制御するようにしている。また、ＲＡＭ１４は制御プログラムの実行中に発生する各種のデータを一時的に記憶する。ＲＡＭ１４が一時的に記憶するデータは、例えば、空間パラメータに基づいて生成した模擬車両画像のデータである。
【００４５】
カメラポート１８，１８，…は、撮影装置７，７，…を接続するための接続コネクタと、該接続コネクタを通じて入力された映像信号をアナログ信号からデジタル信号に変換するＡＤコンバータとを夫々備えている。
フレームメモリ１７は、デジタル変換された映像信号を画像データとして一時的に記憶するものである。記憶する画像データは、ｘ軸、ｙ軸の座標点ごとにＲＧＢ値を持つ画素の集合であり、その画素のＲＧＢ値は、例えば８ビットの２５６階調とされる。また、画像データとして必ずしもカラーのデータを利用する必要はなく、その場合の画像データは、ｘ軸、ｙ軸の座標点ごとに規定された輝度値（例えば２５６階調）を用いることができる。
画像処理ＡＳＩＣ１６は、ＣＰＵ１１の指示により、フレームメモリ１７に記憶された画像データの画像処理を実行するＩＣである。
通信ポート１５には、管制センタ２０に設置されているモニタ２１、及び道路５に設置されている路側アンテナ８，８，…が接続されており、夫々に画像処理を施した画像データを送信するようにしている。
【００４６】
図６は画像処理装置１０の処理手順を説明するフローチャートである。まず、画像処理装置１０のＣＰＵ１１は初期化処理を行う（ステップＳ１）。初期化処理では、後に撮影装置７にて得られた撮影画像から車両画像を抽出する際に必要となる背景画像の生成を行う。なお、背景画像は時間帯又は天候に応じて変えるようにしてもよい。また、初期化処理を行う度に背景画像を生成する必要は必ずしもなく、生成した背景画像をＲＡＭ１４に記憶させておき、記憶させた背景画像を初期化処理において読み込む形態であってもよい。
【００４７】
次いで、画像処理装置１０は画像入力を開始し（ステップＳ２）、各撮影装置７，７，…からの映像信号をデジタル信号に変換し、画像データとしてフレームメモリ１７に逐次記憶させる。
【００４８】
次いで、画像処理装置１０のＣＰＵ１１は画像処理ＡＳＩＣ１６に指示を与えて、後述する画像データ生成処理を行う（ステップＳ３）。画像データ生成処理では、単位区間毎（各撮影画像毎）に空間パラメータの算出を行い、選択された表示モードに対応する画像データの生成を行う。なお、画像データ生成処理については後に詳述することにする。
【００４９】
次いで、ＣＰＵ１１は画像処理ＡＳＩＣ１６に指示を与え、ステップＳ３で生成された単位区間毎の画像データを連続させて合成画像データを生成する（ステップＳ４）。そして、生成した合成画像データを出力する（ステップＳ５）。
【００５０】
図７は画像データ生成処理の処理手順を示すフローチャートである。まず、画像処理ＡＳＩＣ１６は単位区間毎（撮影画像毎）に車両を抽出する（ステップＳ１１）。車両の抽出は、初期化処理（図６参照）により得られた背景画像と撮影画像との差分をとることにより行う。そして、該当区間の空間パラメータを算出する（ステップＳ１２）。算出された空間パラメータは、その撮影画像に対応付けてＲＡＭ１４に記憶される。
【００５１】
次いで、ＣＰＵ１１は、ＲＡＭ１４に記憶させた空間パラメータから空間占有率及び空間平均速度の読込みを行い、読込んだ空間占有率に基づき車両台数を算出し（ステップＳ１３）、空間平均速度に基づき車両速度を算出する（ステップＳ１４）。算出された車両代数及び車両速度はＲＡＭ１４に記憶される。
【００５２】
ここで、車両台数は以下の手法により求めることができる。すなわち、算出すべき小型車（車長５ｍとする）の台数をｘ台、大型車（車長１０ｍとする）の台数をｙ台、区間長をＬｍとした場合、（５×ｘ＋１０×ｙ）×１００／Ｌの値が読込んだ空間占有率に可及的に等しくなるように、ｘ及びｙの組みを求めることで車両台数を算出することが可能である。このとき、ｘとｙとの割合は、実際の大型車混入率を計測して決めてもよく、また経験的な値からランダムに又は固定的に与えてもよい。
また、車両速度は、算出した空間平均速度の値をＡ、ｘ台の小型車の走行速度をｖｉ 、ｙ台の小型車の走行速度をｖｊ として、
【００５３】
【数１】
を満たすように、ｖｉ 及びｖｊ を決定する。ここで、ｖｉ 及びｖｊ は、空間平均速度Ａを中心とした範囲（Ａｌ ，Ａｈ ）で正規分布のような確率分布を設定し、ランダムに決定する。なお、下限値Ａｌ 及び上限値Ａｈ の値は、空間平均速度Ａによって予め経験的に定めた値でもよく、隣接区間の空間平均速度の値、又は当該区間の前フレーム画像から算出した空間平均速度の値に基づいて求めるようにしてもよい。
【００５５】
次いで、ミクロアニメーション表示モードが選択されているか、又は広域の交通状況を表示させる概況表示モードが選択されているかについて判定するために後述する表示モード判定処理を行う（ステップＳ１５）。そして、選択されている表示モードに応じて画像データの表示色を決定する（ステップＳ１６）。
【００５６】
表示色の決定は、以下で説明する３種類の方法の何れかを利用して行うことができる。
＜第１の色分け方法＞
第１の色分け方法では、速度範囲を複数の段階に設定し、各速度範囲に１つの表示色を割り当てる手法である。例えば、０〜１００ｋｍ／ｈを１０ｋｍ／ｈ毎に１０段階に分け、高速側から低速側に移るにつれて、表示色が赤色、橙色、黄色、黄緑色、緑色へと順次変化するように設定する。なお、１００ｋｍ／ｈ以上は１００ｋｍ／ｈと同じ扱いとする。
【００５７】
＜第２の色分け方法＞
第２の色分け方法では、ＲＧＢ値に夫々８ビットを割当てた場合、約１６７０万色の色分けができることを利用し、車両速度をｖとして次式により色分けを行う。
【００５８】
【数２】
すなわち、車両速度が０〜５０ｋｍ／ｈの場合、赤色、橙色、黄色の間を５０段階に色分けし、車両速度が５０〜１００ｋｍ／ｈの場合、黄色、黄緑色、緑色の間を５０段階に色分けする。
【００６０】
＜第３の色分け方法＞
第３の色分け方法では、車両速度ｖの関数としてＲＧＢ値を定めている点は第２の色分け方法と同様であるが、人間の色感はＲＧＢ値に線形でないことから、色の変化に鈍感な範囲の変化量を大きくするように次式により色分けする。
【００６１】
【数３】
なお、モニタ２１にて表示することができる色数が約６５０００色である場合（ＲＧＢ値が各４ビット）、数式（２）及び数式（３）において、夫々２５５の値の代わりに１６の値を用いる。
【００６３】
表示色が決定された場合、ＣＰＵ１１は、画像データ生成処理を全区間について終了したか否かを判断し（ステップＳ１７）、全区間について終了していない場合（Ｓ１７：ＮＯ）、処理をステップＳ１１へ戻し、全区間について終了した場合（Ｓ１７：ＹＥＳ）、本ルーチンを終了する。
【００６４】
図８は表示モード判定処理の処理手順を説明するフローチャートである。まず、ＣＰＵ１１は、選択された表示モードがミクロアニメーション表示モードであるか否かの判定を行う（ステップＳ２１）。ミクロアニメーション表示モードが選択されていると判定した場合（Ｓ２１：ＹＥＳ）、ＣＰＵ１１は、特定車両の検出を行う（ステップＳ２２）。特定車両とは、急停止を行った車両、急減速を行った車両、制限速度をオーバしている車両、車間距離が小さい車両等の異常走行又は危険走行を行っている車両のことであり、空間パラメータに基づいて算出した車両速度、各模擬車両画像の走行位置等の過去の値を参照して検出するようにしている。また、特定車両には車線変更を行った車両、救急車、消防車等の注目すべき車両を含めてもよい。特定車両を検出した場合には、目立つような色彩、装飾を加えて描画するようにしている。
【００６５】
次いで、ステップＳ１３（図７参照）にて算出した車両台数に基づいて模擬車両画像の生成を行う（ステップＳ２３）。模擬車両画像は、予めＲＯＭ１３に小型車用の模擬車両画像と大型車用の模擬車両画像を記憶させておき、必要な台数分だけＲＯＭ１３から読込むようにする。生成された模擬車両画像の走行位置の初期値は、当該区間の中で各車間距離が予め定めた最小値以下にならないようにランダムに設定する。
以上のように定められた車両台数、車両速度、特定車両の情報、模擬車両の画像、及び走行位置の初期値等は、モニタ２１及び路側アンテナ８に伝送すべき画像データとして互いに関連付けてＲＡＭ１４に記憶させている。
【００６６】
ＣＰＵ１１が、ステップＳ２１にてミクロアニメーション表示モードが選択されていないと判定した場合（Ｓ２１：ＮＯ）、広域の交通状況を表示するための概況表示モードが選択されているか否かを判定する（ステップＳ２４）。概況表示モードが選択されていると判定した場合（Ｓ２４：ＹＥＳ）、適宜の区間長毎及び車線毎に区間割りを設定する（ステップＳ２５）。ＣＰＵ１１は、設定された区間割りの情報をＲＡＭ１４に記憶させる。
また、ステップＳ２４にて概況表示モードが選択されていないと判定した場合（Ｓ２４：ＮＯ）、何れの表示モードも選択されていない旨の情報を伝送することによって、エラー処理を行う（ステップＳ２６）。
【００６７】
本実施の形態では、道路の撮影画像に含まれる車両の空間占有率及び空間平均速度に基づいて模擬車両画像の生成台数と車両速度とを算出するようにしたが、空間占有率に代えて交通密度（撮影画像中の車両台数）、空間平均速度に代えて旅行時間（撮影映像を走り抜ける為に要する時間）を利用することも可能である。
【００６８】
【発明の効果】
以上、詳述したように、第１発明による場合は、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について示すわけではないので、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００６９】
第２発明による場合は、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７０】
第３発明による場合は、道路の所定区間毎に空間パラメータを算出し、算出した空間パラメータに基づき定められた表示色により道路状況画像を表示するようにしているため、例えば、従来のように渋滞判定に基づく交通状況の表示と異なり、道路全体の詳細な状況を多段階に色分けして表示することが可能となり、視覚的かつ直感的な交通状況情報を提供することが可能となる。また、道路管理者及び一般のドライバを含む利用者に、渋滞判定の結果について示すわけではないので、各利用者が、渋滞等の交通流に対するそれぞれの観念にしたがって交通状況を把握することが可能となる。
【００７１】
第４発明による場合は、空間パラメータに基づいて模擬車両画像を生成し、背景画像とともに表示するようにしているため、数段階の渋滞度のような大まかな交通状況の情報とは異なり、道路全体の詳細な状況を視覚的かつ直感的に把握できる情報を利用者に提供することが可能である。また、詳細な情報を提示することで、利用者は自身の観念により渋滞であるか否かの判断を行うことができる。
【００７２】
第５発明による場合は、空間パラメータに応じて模擬車両画像に色を付すようにしているため、例えば、各車両の走行速度に応じた色分けを行うことにより、瞬時に交通状況を把握できる情報を利用者に提供することができる。
【００７３】
第６発明による場合は、特定の走行状態を検出した場合、模擬車両画像を所定の表示色で表示するようにしているため、例えば、急停車、急減速等を行った異常走行車両、制限速度を無視して走行している危険走行車両等に対応した模擬車両画像を、所定の表示色で表示することによって、注視すべき車両を目立たせることができ、例えば、利用者に注意を喚起させることが可能となる。
【００７４】
第７発明による場合は、道路状況画像の表示と、模擬車両画像及び背景画像の表示とを切替える手段を備えているため、広範囲の概要的な交通状況と特定範囲の詳細な交通状況とを切り替えて表示することができる。
【００７５】
第８発明による場合は、空間パラメータとして、空間占有率及び空間平均速度を含んでいるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７６】
第９発明による場合は、空間パラメータに代えて、交通密度及び車両の走行速度を用いるため、それらの相関により定まる交通流を視覚的に表示することが可能となる。
【００７７】
第１０発明による場合は、道路状況画像、又は模擬車両画像及び背景画像を外部へ送信するため、例えば、車両に車載通信装置、該車載通信装置により受信した画像を表示可能な表示手段を搭載している場合、道路管理者だけでなく、ドライバにも交通状況を視覚的に提供することが可能となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の交通状況表示装置を用いた交通状況監視システムの構成を説明する模式図である。
【図２】撮影装置により撮影される撮影画像の一例を示す模式図である。
【図３】画像処理装置により生成される画像の種類を説明する模式図である。
【図４】モニタにて表示される画像の一例を示す模式図である。
【図５】画像処理装置の内部構成を説明するブロック図である。
【図６】画像処理装置の処理手順を説明するフローチャートである。
【図７】画像データ生成処理の処理手順を示すフローチャートである。
【図８】表示モード判定処理の処理手順を説明するフローチャートである。
【符号の説明】
５ 道路
６ 車両
７ 撮影装置
８ 路側アンテナ
１０ 画像処理装置
１１ ＣＰＵ
１２ バス
１３ ＲＯＭ
１４ ＲＡＭ
１５ 通信ポート
１６ 画像処理ＡＳＩＣ
１７ フレームメモリ
１８ カメラポート
２０ 管制センタ
２１ モニタ
Claims (10)
- １又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示方法において、
前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出し、前記区間毎に対応させた道路状況画像を生成し、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定め、定められた表示色により前記道路状況画像を表示することを特徴とする交通状況表示方法。 - 前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする請求項１に記載の交通状況表示方法。
- １又は複数の撮影手段により道路を撮影して得られる撮影画像を用いて画像処理を行い、画像処理により得られた交通状況情報を表示する交通状況表示装置において、
前記撮影画像に基づいて道路の所定区間毎に空間パラメータを算出する手段と、前記区間毎に対応させた道路状況画像を生成する手段と、生成した道路状況画像の表示色を、算出した空間パラメータに基づき定める手段と、該手段により定められた表示色で前記道路状況画像を表示する手段とを備えることを特徴とする交通状況表示装置。 - 算出した空間パラメータに基づいて１又は複数の模擬車両画像を生成する手段と、前記撮影画像に基づく背景画像を生成する手段と、生成した模擬車両画像を前記背景画像上に上書き表示する手段とを更に備えることを特徴とする請求項３に記載の交通状況表示装置。
- 前記空間パラメータに応じて前記模擬車両画像の表示色を定める手段を更に備えることを特徴とする請求項４に記載の交通状況表示装置。
- 前記撮影画像に含まれる車両の特定の走行状態を検出する手段と、前記走行状態を検出した場合、前記走行状態の車両に対応した模擬車両画像を所定の表示色で表示する手段とを更に備えることを特徴とする請求項４又は請求項５に記載の交通状況表示装置。
- 前記道路状況画像の表示と、前記模擬車両画像及び前記背景画像の表示とを切替える手段を更に備えることを特徴とする請求項４乃至請求項６の何れかに記載の交通状況表示装置。
- 前記空間パラメータは、前記撮影画像に含まれる車両の空間占有率及び空間平均速度を含むことを特徴とする請求項３乃至請求項７の何れかに記載の交通状況表示装置。
- 前記空間占有率に代えて前記区間における車両の交通密度、前記空間平均速度に代えて前記区間における車両の走行時間を用いることを特徴とする請求項８に記載の交通状況表示装置。
- 前記道路状況画像、又は前記模擬車両画像及び前記背景画像を外部へ送信する手段を更に備えることを特徴とする請求項３乃至請求項９の何れかに記載の交通状況表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262069A JP2004102545A (ja) | 2002-09-06 | 2002-09-06 | 交通状況表示方法及び交通状況表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262069A JP2004102545A (ja) | 2002-09-06 | 2002-09-06 | 交通状況表示方法及び交通状況表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004102545A true JP2004102545A (ja) | 2004-04-02 |
Family
ID=32262244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002262069A Pending JP2004102545A (ja) | 2002-09-06 | 2002-09-06 | 交通状況表示方法及び交通状況表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004102545A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008299799A (ja) * | 2007-06-04 | 2008-12-11 | Toshiba Corp | 動画情報提供システム |
| JP2009037338A (ja) * | 2007-07-31 | 2009-02-19 | Mitsubishi Heavy Ind Ltd | 交通状態表示装置 |
| JP2009037337A (ja) * | 2007-07-31 | 2009-02-19 | Mitsubishi Heavy Ind Ltd | 交通状態表示装置 |
| JP2011018286A (ja) * | 2009-07-10 | 2011-01-27 | Toshiba Corp | 交通画像情報提供システム |
| JP2011192069A (ja) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
| KR101259510B1 (ko) | 2011-12-28 | 2013-05-06 | 전자부품연구원 | 신뢰성 높은 교통 정보 제공 장치 및 방법 |
| US11869347B2 (en) | 2018-04-04 | 2024-01-09 | Panasonic Holdings Corporation | Traffic monitoring system and traffic monitoring method |
-
2002
- 2002-09-06 JP JP2002262069A patent/JP2004102545A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008299799A (ja) * | 2007-06-04 | 2008-12-11 | Toshiba Corp | 動画情報提供システム |
| JP2009037338A (ja) * | 2007-07-31 | 2009-02-19 | Mitsubishi Heavy Ind Ltd | 交通状態表示装置 |
| JP2009037337A (ja) * | 2007-07-31 | 2009-02-19 | Mitsubishi Heavy Ind Ltd | 交通状態表示装置 |
| JP2011018286A (ja) * | 2009-07-10 | 2011-01-27 | Toshiba Corp | 交通画像情報提供システム |
| JP2011192069A (ja) * | 2010-03-15 | 2011-09-29 | Kddi R & D Laboratories Inc | 車両交通監視装置およびプログラム |
| KR101259510B1 (ko) | 2011-12-28 | 2013-05-06 | 전자부품연구원 | 신뢰성 높은 교통 정보 제공 장치 및 방법 |
| US11869347B2 (en) | 2018-04-04 | 2024-01-09 | Panasonic Holdings Corporation | Traffic monitoring system and traffic monitoring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111954898B (zh) | 交通监视系统及交通监视方法 | |
| JP5070809B2 (ja) | 運転支援装置、運転支援方法、及び、プログラム | |
| JP6677303B2 (ja) | 運転支援プログラム、運転支援方法および情報処理装置 | |
| CN102826093A (zh) | 车道脱离警报装置 | |
| JP4200343B2 (ja) | モニタ装置 | |
| JP3847547B2 (ja) | 車両周辺監視支援装置 | |
| KR101731373B1 (ko) | 실시간 영상 분석을 통한 영상상황 예측 관제 시스템 | |
| JP2004102545A (ja) | 交通状況表示方法及び交通状況表示装置 | |
| JPH11203589A (ja) | 交通撮像装置および交通監視装置 | |
| KR101894314B1 (ko) | 추천 주차 위치 안내 방법 및 장치 | |
| JP3606223B2 (ja) | 車両側方映像生成方法及び車両側方映像生成装置 | |
| JP3771216B2 (ja) | 優先度制御ネットワーク | |
| JPH11175694A (ja) | 混雑報知装置 | |
| JP5022134B2 (ja) | 交通状態表示装置 | |
| JP5175765B2 (ja) | 画像処理装置及び交通監視装置 | |
| KR20160137714A (ko) | 차량 정체 알림 장치 | |
| JPH06215294A (ja) | 交差点情報伝達装置 | |
| KR101574010B1 (ko) | 안전운전용 영상표시장치 및 그 구동방법 | |
| JP2010108420A (ja) | 道路交通情報提供システム及び方法 | |
| JP2004030484A (ja) | 交通情報提供システム | |
| KR101816793B1 (ko) | 스마트 교통 제어 시스템 | |
| JP2000306192A (ja) | 交通情報提供システム | |
| JP2004102544A (ja) | 交通状況表示方法及び交通状況表示装置 | |
| JP2002260166A (ja) | 情報配信装置及び情報配信システム | |
| JP4715604B2 (ja) | 周辺画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070619 |