JP2002056381A - 道路状況画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 車両のアスペクト比を一定にすること、複数
の道路監視画像を同時に表示できる道路状況画像処理装
置を提供する。 【解決手段】 道路近辺に配置された道路状況を撮影す
る監視カメラが撮像した道路監視画像を記憶するフレー
ムメモリと、フレームメモリの各入力ラインＹｉ上に位
置する道路左端及び道路右端のフレームメモリでの左端
座標点Ｘｉｌ及び右端座標点Ｘｉｒを取得する道路座標
点取得手段と、（Ｘｉｒ−Ｘｉｌ）の入力ラインＹｉに
ついての累積加算値Ｘを求める累積加算手段と、比例係
数Ｋを算出する係数算出手段と、出力ラインＹｏに対応
する道路状況画像の入力ラインＹｊを算出する第１座標
読み取り位置算出手段と、各出力ラインＹｏ毎に入力ラ
インＹｊ上の道路左端及び道路右端を算出する第２座標
読み取り位置算出手段と、入力ラインＹｊ上の道路左端
と道路右端との間の道路監視画像を出力ラインＹｏ上の
幅Ｗの出力画像に変換する画像変換手段とを具備して構
成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路状況監視装置
に関し、特に、道路状況の鳥瞰図作成に関する。

【０００２】

【従来の技術】道路状況を監視するために、道路付近に
複数台の監視カメラを配置して、監視カメラが撮像した
監視映像の画像処理をして、渋滞、交通流等を検出して
いる。

【０００３】図３７は従来の道路状況監視装置の構成図
である（従来技術１）。図３７に示すように、従来の道
路状況監視装置では、道路付近に配置された複数台の監
視カメラ１−ｉ（ｉ＝１〜ｎ）は撮像したアナログ監視
画像を映像信号切替装置２に送出する。映像信号切替装
置２は、一定の時間間隔で入力される選択するカメラを
指示するカメラ切替信号に従って、監視カメラ１−ｉ
（ｉ＝１〜ｎ）から送出された監視映像択を選択する。
画像処理装置３中のＡ／Ｄ変換器４は、映像信号切替装
置２より出力されるアナログ監視画像をディジタル画像
に変換して、画像メモリ５に記憶する。画像処理条件８
は、画像処理条件を画像処理部２５に画像処理条件を入
力する。車両台数計測部９は、監視画像から車両台数を
計測する。車両速度計測部１０は、車両速度を計測す
る。渋滞検知部１１は、監視画像から渋滞を検出する。
異常走行検知部１２は、監視画像から異常走行の有無を
検出する。停止車両・落下物検出部１３は、監視画像か
ら停止車両・落下物の有無を検出する。

【０００４】道路監視画像では、監視カメラから遠隔に
位置する画像ほど解像度が低下する。そのため、道路監
視画像の距離による解像度の違いを補うことを目的とす
る特開平１１−３２８５７４号公報が開示されている。

【０００５】図３８は従来の上記距離による解像度の違
いを補う方法を示す図である（従来技術２）。図３８
（ａ）に示すように、道路監視画像の表示画面を複数の
ウィンドウ領域（Ａ７〜Ａ１０）に分割し、全体を表示
するウィンドウ領域Ａ７，ウィンドウ領域Ａ７の一部
（Ａ７ａ，Ａ７ｃ，Ａ７ｂ）をウィンドウ領域Ａ８，Ａ
９，Ａ１０に拡大表示する。図３８（ｂ）に示すよう
に、遠距離の画像の幅が一定になるように横方法に拡大
して、ウィンドウＡ２に表示する。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
道路監視画像処理装置では、以下の問題点があった。従
来技術１は、集中監視室などでの監視映像として通常は
地点を順次切り替えて表示し、画像処理やセンサなどに
より異常状態が観測された場合には異常が観測された地
点の映像に対してＴＶ映像が切り替えられ細部の確認を
行うことができるものであるが、道路区間の状況を一括
して表示、把握することが困難であった。また、従来技
術２は道路幅を入力する事で画像を横方法一定サイズと
する処理を行うが、垂直方法への解像度変換を行う事を
行わないために表示される画像は横方法に潰れたイメー
ジとなり現実的には使用に耐えない監視映像となってし
まっていた。また、遠方の映像を確認するには表示エリ
アを大きくする必要があり、同時に表示できる監視エリ
アは１カメラ分の範囲であり、複数区間を集中監視する
ような全体的な道路状況の把握が困難であった。

【０００７】本発明は、上記問題点を鑑みてなされたも
のであり、遠景の車両の画像が歪まないこと、複数区間
を集中監視できること及び車両が等速度で移動すること
を実現できる道路状況画像処理装置を提供することであ
る。

【０００８】

【課題を解決するための手段】図１は本発明の原理図で
ある。図１に示すように、道路状況画像処理装置は、監
視カメラ２０、フレームメモリ２２、道路座標点取得手
段２４、累積加算手段２６、係数算出手段２８、第１座
標読み取り位置算出手段３０、第２座標読み取り手段３
２及び画像変換手段３４を具備する。

【０００９】フレームメモリ２２には、道路近辺に配置
された監視カメラ２０が撮像して道路監視画像が記憶さ
れる。道路座標点取得手段２４は、フレームメモリ２２
の各入力ラインＹｉ上に位置する道路左端及び道路右端
のフレームメモリ２２上での左端座標点Ｘｉｌ及び右端
座標点Ｘｉｒを取得する。累積加算手段２６は、（Ｘｉ
ｒ−Ｘｉｌ）の入力ラインＹｉについての累積加算値Ｘ
を算出する。係数算出手段２８は、累積加算値Ｘ×比例
係数Ｋ÷幅のドット数Ｗが高さのドット数Ｈに一致する
うように、係数Ｋを算出する。

【００１０】第１座標読み取り位置算出手段３０は、表
示画像画面の各出力ラインＹｏについて、前記フレーム
メモリの最下端ライン又は最上端ラインから、前記表示
画像画面の最下端ライン又は最上端ラインから前記出力
ラインＹｏまでのライン数分の（Ｋ×（Ｘｉｒ−Ｘｉ
ｌ）÷Ｗ）の和に基づいて、出力ラインＹｏに対応する
道路状況画像の入力ラインＹｊを算出する。この出力ラ
インＹｏに対応する入力ラインＹｊは、アスペクト比が
一定となる変換である。

【００１１】第２座標読み取り手段３２は、各出力ライ
ンＹｏ毎に第１座標読み取り位置算出手段３０により算
出された入力ラインＹｊ上の道路左端及び道路右端を算
出する。画像変換手段３４は、第２座標読み取り手段３
２により算出された入力ラインＹｊ上の道路左端と道路
右端との間の道路監視画像を出力ラインＹｏ上の幅Ｗの
出力画像に変換して、鳥瞰画像を作成する。これによ
り、道路が幅Ｗ且つアスペクト比一定の鳥瞰画像が得ら
れる。

【００１２】

【発明の実施の形態】第１実施形態 図２は本発明の第１実施形態による道路監視画像処理装
置の構成図である。図２に示すように、道路監視画像処
理装置は、複数の監視カメラ４０＃ｉ（ｉ＝１〜ｎ）、
複数のＴＶ監視画像変形装置４２＃ｉ（ｉ＝１〜ｎ）、
画像合成装置４４及び表示装置４６を含む。各監視カメ
ラ４０＃ｉは、道路側の適当な高さ（数ｍ〜十数ｍ）に
設置され、道路映像を撮影して、アナログ画像信号（た
とえば、ＮＴＳＣ信号）をＴＶ監視画像変形装置４２＃
ｉに出力するＣＣＤカメラ等であり、例えば、２００ｍ
〜３００ｍ位の間隔毎に、複数台、例えば、６台程度配
置されている。

【００１３】ＴＶ監視画像変形装置４２＃ｉは、各監視
カメラ４０＃ｉ毎に設けられ、以下の機能を有する。

【００１４】 映像信号から鳥瞰図の出力画像を作成
する。鳥瞰図を作成するのは以下の理由による。道路監
視画像は一般に路側の適当な高さに設置された監視カメ
ラ４０＃ｉによる動画像による映像を集中監視すること
で実現されている。このような状況に設置された監視カ
メラ４０＃ｉの映像の特徴として監視カメラ４０＃ｉに
近い部分がＴＶ画面の殆どを占め１００〜２００ｍ先の
映像はかなり小さく表示されることになる。これは、道
路が一般的に幅一定でありそれを有限の高さから撮像す
ることにより発生する画像歪みと考えることができる。
道路全体の監視を行う場合には、監視カメラ４０＃ｉ近
傍及び遠方の監視重みは一定と考えることが自然と考え
られる。即ち、道路監視映像としては道路を真上から撮
像した映像が好ましいと考えられる。

【００１５】 鳥瞰画像から交通流測定、異常検出等
を行うための各種画像処理を行う。鳥瞰画像から画像処
理を行うのは、鳥瞰図は遠近が補正されているので、画
像処理の際に遠近を考慮する必要がなくなり、処理が簡
単になるからである。

【００１６】 各種画像処理した画像から交通流測
定、異常検出等を行い、鳥瞰画像、交通流通知、道路異
常通報等を画像合成装置４４に出力する。画像合成装置
４４により複数画像を合成するのは、１画面で複数台の
監視カメラ４０＃ｉにより撮像された道路状況を把握す
るためである。

【００１７】図３は図２中のＴＶ監視画像変形装置４２
＃ｉの構成図である。図３に示すように、ＴＶ監視画像
変形装置４２＃ｉは、画像鳥瞰図変換部５０＃ｉ、各種
画像処理部５２＃ｉ、交通流測定、異常検出部５４＃ｉ
を有する。

【００１８】画像鳥瞰図変換部５０＃ｉは、以下の機能
を有する。

【００１９】 アナログ映像信号をディジタル映像信
号、例えば、８ビット映像信号に変換して、道路監視画
像を作成する。

【００２０】 道路監視画像から道路領域を自動抽出
する。

【００２１】 道路領域から道路監視画像の各ライン
毎に道路の右端座標点、左端座標点を取得する。但し、
右端座標点、左端座標点を手入力することも可能であ
る。自動により道路領域を抽出することが困難な場合を
考慮したものである。

【００２２】 左端座標点、右端座標点、画像合成装
置４４より入力される出力画像の道路幅Ｗ（ドット
数）、高さＨ（ライン数）及び道路画像から、以下の条
件に従って鳥瞰画像を作成する。

【００２３】(i) 入力画像の高さ（Ｈ）を出力画像の
高さ（Ｈ）に画像変換すること。尚、入力画像の一部を
出力画像の高さ（Ｈ）に画像変換をすることも可能であ
るが、本実施形態では、道路全体を表示することが目的
なので、表示対象の入力画像をライン全体としている。

【００２４】(ii) 入力画像の道路を幅Ｗの出力画像に
画像変換すること。ここで、幅Ｗは画像合成装置４４よ
り入力されるパラメータであり、画像鳥瞰図変換部５０
＃ｉ毎に任意に設定可能である。幅Ｗを自由に設定可能
とすることにより異常等が発生した道路画面を大きく表
示するためである。

【００２５】(iii) 横方向の倍率と縦方向の倍率の比
率を全てのラインで同じにすること。アスペクト比一定
にして、縦方向の画像の歪みを無くすためである。これ
により、遠景に位置したとき車両も近景に位置したとき
の車両も縦横比が一定となり、車両の歪みが無くなる。

【００２６】図４は図３中の画像鳥瞰図変換部５０＃ｉ
の構成図である。図４に示すように、画像鳥瞰図変換部
５０＃ｉは、Ａ／Ｄ変換器７０＃ｉ、フレームバッファ
７２＃ｉ、自動道路領域抽出部７４＃ｉ、手動入力部７
６＃ｉ、道路左右端座標部７８＃ｉ、Ｙ座標読み取り位
置検出部８０＃ｉ、Ｘ座標読み取り位置算出部８２＃
ｉ、画像読み取り部８４＃ｉ及び出力フレームバッファ
８６＃ｉを有する。

【００２７】Ａ／Ｄ変換器７０＃ｉは、一定の周期毎
に、例えば、１０枚／ｓｅｃ、アナログ映像信号を８ビ
ットのディジタルな道路監視画像に変換する。変換した
道路監視画像をフレームバッファ７２＃ｉに書き込む。
フレームバッファ７２＃ｉは、道路監視画像を時系列順
に記憶するメモリである。自動道路領域抽出部７４＃ｉ
は、道路監視画像から道路領域を自動抽出するものであ
り、エッジ抽出部９０＃ｉ、直線抽出部９２＃ｉ及び座
標変換部９４＃ｉを有する。

【００２８】エッジ抽出部９０＃ｉは、道路監視画像の
ラプラス変換等を行って、エッジを抽出する。直線抽出
部９２＃ｉは、以下の処理を行う。

【００２９】 最下部のラインについて、左端から右
端までエッジを構成する画素を検出する。

【００３０】 この画素の真上の画素の隣接画素（例
えば、真上の画素，左横の画素、右横の画素の３画素）
の中からエッジを構成する画素を検出する。エッジを構
成する画素がなければ、横方向の次の画素に対して、
，を行う。

【００３１】 を繰り返すことにより上に連続する
エッジを求める。道路は、右端及び左端が連続するエッ
ジとして把握できるからである。

【００３２】座標変換部９４＃ｉは、連続するエッジの
中で最も長いものを選択する。道路は連続するエッジが
最も長いものであると推定できるので、これを道路端と
する。例えば、道路端を白画素、それ以外を黒画素とし
て、道路領域画像を作成する。手動入力部７６＃ｉは、
道路画像の各ラインについて、道路端の左端座標点及び
右端座標点を手動で入力する。手動入力を可能としたの
は、道路画像が複雑な場合に正確な道路領域画像が得ら
れない場合などを考慮したためである。道路左右端座標
取得部７８＃ｉは、道路領域画像の各ラインについて、
道路端の左座標点及び右座標点を取得する。又は、手動
で入力する場合は手動入力部７６＃ｉより入力する。

【００３３】図５は、出力画像と入力画像の関係を示す
図であり、特に、同図（ａ）は鳥瞰図変換画像、同図
（ｂ）は原画像である。原画座標の原点（０，０）を左
隅、横方向をＸｉ軸、縦方向をＹｉ軸とし、下から上へ
原画像から鳥瞰図変換画像への処理をする。図５（ｂ）
中のＸil（ｊ）及びＸir（ｊ）は、原画像のｊ番目のラ
インＹｉ（ｊ）上の道路左端座標（単位ドット）及び道
路右端座標（単位ドット）、Ｗｊ（＝（Ｘir（ｊ）−Ｘ
il（ｊ）））は原画のラインＹｉ（ｊ）上の道路幅（単
位ドット数）である。図５に示すように、上述した条件
(ii)より、原画の幅Ｗｋが鳥瞰図変換画像において幅Ｗ
に変換される。Ｙｉ（ｋ）ライン目の入力画像に対する
出力画像の拡大率Ｍｉ（Ｙｉ（ｋ））は、Ｍｉ（Ｙｉ
（ｋ））＝Ｗ／Ｗｋである。同様に、出力画像に対する
入力画像の拡大率Ｍｏ（Ｙｉ（ｋ））は、Ｍｏ（Ｙｉ
（ｋ））＝Ｗｋ／Ｗである。

【００３４】上述した条件(iii)より、Ｙｉ方向に対す
る拡大率はＸｉ方向の拡大率に比例する。この比例定数
をＫとすると、出力画像の１ラインが入力画像の各Ｋ×
Ｍｏ（Ｙｉ（ｋ））（ｋ＝０，…，Ｈ）ラインに対応す
る。入力ラインがＨラインなので、 Ｈ＝Ｋ×ΣＭｏ（Ｙｉ（ｋ））（但し、Σは入力画像の全ラインについての和 ） ・・・（１） である。

【００３５】これより、比例係数Ｋ＝Ｈ／Ｓ（但し、Ｓ
＝ΣＭｏ（Ｙｉ（ｋ））、Σは入力画像の全ラインにつ
いての和である。）が成り立つ。例えば、出力画像の最
下端のラインＹｏに対応する入力画像のラインはＫ×Ｍ
ｏ（Ｙｉ（０））、その次のラインＹｏに対応する入力
画像のラインはＫ×（Ｍｏ（Ｙｉ（０））＋Ｍｏ（Ｙｉ
（１）））となる。従って、出力画像のラインＹｏに対
応する入力行Ｙｉは、 Ｙｉ＝Ｋ×ΣＭｏ（Ｙｉ（ｋ））（但し、ｋ＝０〜Ｙｏ） ・・・（２） である。そこで、Ｙ座標読み取り位置算出部８０＃ｉ
は、出力画像のラインＹｏに対応する入力画像のライン
Ｙｉ（Ｙ座標読み取り位置）を以下のようにして算出す
る。

【００３６】 Ｗｋ（ｋ＝０，…，Ｈ）の累積和を算
出する。

【００３７】 Ｗ，Ｈ，累積和及び式（１）より、比
例係数Ｋを算出する。

【００３８】 Ｗ，比例係数Ｋ及び式（２）より、出
力画像のラインＹｏに対応する入力画像のラインＹｉを
求める。

【００３９】Ｘ座標読み取り位置算出部８２＃ｉは、出
力画像のラインＹｏに対応する入力画像のラインＹｉの
原画の左端座標点Ｘil（ｉ），右端座標点Ｘir（ｉ）を
算出して、画像読み取り部８４＃ｉにＸ座標読み取り位
置Ｘil（ｉ），Ｘir（ｉ）を出力する。画像読み取り部
８４＃ｉは、Ｙｉ行の道路左右端Ｘil（ｉ），Ｘir
（ｉ）から拡大率Ｍｉ（Ｙｉ）＝Ｗ／（Ｘir（ｉ）−Ｘ
il（ｉ））を求め、道路左右端Ｘｉ（ｉ），Ｘｒ（ｉ）
に含まれる原画を拡大率Ｍｉ（Ｙｉ）に拡大して幅Ｗに
補間処理等の画像処理を行って、鳥瞰画像に変換する。
変換した鳥瞰画像を出力フレームバッファ８６＃ｉに書
き込む。

【００４０】図３中の各種画像処理部５２＃ｉは、背景
画像作成部５６＃ｉ、エッジ抽出／動き検出部５８＃
ｉ、ヒストグラム作成部６０＃ｉ及び車両抽出部６２＃
ｉを有する。背景画像作成部５６＃ｉは、車両等の動き
のある物体以外の静止している画像である背景画像を鳥
瞰画像から作成する。例えば、鳥瞰画像を１／１０倍し
てから背景画像に加算して、加算した画像を背景画像と
する。エッジ抽出／動き検出部５８＃ｉは、鳥瞰画像か
ら背景画像を引き算した差分画像から車両等のエッジ抽
出や動き検出を行う。

【００４１】ヒストグラム作成部６０＃ｉは、差分画像
の輝度を横方向に加算して、ヒストグラムを作成する。
車両抽出部６２＃ｉはヒストグラムより車両を検出す
る。ここで、遠近による解像度の違いが補正されている
鳥瞰画像に対して画像処理を行っているので、遠近によ
る解像度の違いを考慮する必要がなく、画像処理が簡単
になる。交通流測定、異常検出部５４＃ｉは、各種画像
処理部５２＃ｉより抽出された車両等から、交通流測
定、渋滞、落下物等の道路異常を検出して、鳥瞰画像と
共に交通流、道路異常通報を画像合成装置４４に出力す
る。

【００４２】図６は図２中の画像合成装置４４の構成図
である。図６に示すように、画像合成装置４４は、レイ
アウト指定部１００、書き込み制御部１０２、フレーム
バッファ１０４及び読み出し制御部１０６を有する。レ
イアウト指定部１００は、複数のＴＶ監視画像変形装置
４２＃ｉ（ｉ＝１〜ｎ）から入力される、鳥瞰画像、交
通流通知及び道路異常通報測定を表示装置４６に表示す
るレイアウト情報、例えば、各鳥瞰画像の道路幅Ｗｉ
（ｉ＝１〜ｎ）や鳥瞰画像の回転等を書き込み制御部１
０２に、道路幅Ｗｉを各ＴＶ監視画像変形装置４２＃ｉ
に出力する。道路幅Ｗｉとは鳥瞰画像の道路幅（ドット
数）をいう。鳥瞰画像の回転とは、鳥瞰画像の９０度回
転をいう。複数の鳥瞰画像を横方向に並べて複数の監視
カメラ４０＃ｉから得られる道路を横に連続して表示す
るためである。また、レイアウト情報を複数個の鳥瞰画
像の中から任意に選択する選択情報を加えることも可能
である。

【００４３】レイアウト情報は、道路状況に応じて自動
的に生成する又はオペレータが手動で入力することが可
能である。道路状況に応じてレイアウト情報を入力可能
としたのは、道路異常の発生した鳥瞰画像を他の鳥瞰画
像よりも大きく表示したい場合には、幅Ｗｉを変更する
ことにより実現するためである。書き込み制御部１０２
は、各ＴＶ監視画像変形装置４２＃ｉ（ｉ＝１〜ｎ）か
ら鳥瞰画像等を入力して、レイアウト情報に従って、フ
レームバッファ１０４を縦に幅Ｗｉに応じて複数個に分
割して、アドレス領域のフレームバッファ１０４に書き
込む。読み出し制御部１０６は、フレームバッファ１０
４に書き込まれた鳥瞰画像等を上のラインから下のライ
ンに順次読み出して、表示装置４６に表示する。表示装
置４６は鳥瞰画像等を表示する出力装置である。

【００４４】以下、図２の道路監視画像処理装置の動作
説明をする。

【００４５】（ａ） 道路監視画像の記憶 路側の適当な高さに設置された各監視カメラ４０＃ｉ
（ｉ＝１〜ｎ）は、道路状況を撮像して、道路監視画像
をＴＶ監視画像変形装置４２＃ｉに出力する。ＴＶ監視
画像変形装置４２＃ｉは、Ａ／Ｄ変換器７０＃ｉより、
例えば、８ビットディジタル映像信号に変換して、フレ
ームバッファ７２＃ｉに書き込む。

【００４６】（ｂ） 道路領域の自動抽出 図７は図４中の自動道路領域抽出部７４＃ｉのフローチ
ャートである。

【００４７】図７中のステップＳ２において、エッジ抽
出部９０＃ｉは、フレームバッファ７２＃ｉより原画像
を読み出して、原画像に対してラプラス変換処理等をし
て、垂直エッジを抽出する。垂直エッジを白画素、それ
以外を黒画素で示す垂直エッジ抽出画像を作成する。

【００４８】図８〜図１０は、垂直エッジ抽出を示す図
であり、特に、同図（ａ）は原画像、同図（ｂ）は垂直
エッジ抽出画像である。エッジ抽出部９０＃ｉより抽出
された垂直エッジには、図８〜図１０（ｂ）の垂直エッ
ジ抽出画像に示すように、道路両端の白線が含まれる。
しかし、垂直エッジには、図８〜図１０（ｂ）に示すよ
うに、路両端以外の余分な部分、例えば、道路のセンタ
ライン、対向車線の白線等が含まれる。直線抽出部９２
＃ｉは、ステップＳ４において、垂直エッジ画像のライ
ンＹ＝０を設定する。直線抽出部９２＃ｉは、ステップ
Ｓ６において、各ラインについての連続エッジをトレー
スする処理が終了したか否かを判断する。処理が終了し
ていれば、ステップＳ２４に進む。処理が終了していな
ければ、ステップＳ６に進む。直線抽出部９２＃ｉは、
ステップＳ８において、対象ライン上の各画素について
の連続エッジをトレースする処理が終了したか否かを判
断する。各画素について、処理が終了したならば、ステ
ップＳ２２に進む。各画素について、処理が終了してい
なければ、ステップＳ１０に進む。

【００４９】ステップＳ１０において、当該画素がロー
カルピークであるか否かを判断する。ローカルピークと
は、同一ライン上の近傍画素が垂直エッジでないことを
いう。道路の両端の白線は、ローカルピークとして認識
されるからである。ローカルピークならば、ステップＳ
１２に進む。ローカルピークでなければ、探索位置を当
該画素の右方向の垂直エッジの画素に移動して、ステッ
プＳ８に進む。直線抽出部９２＃ｉは、ステップＳ１２
において、ローカルピークの当該画素の位置（Ｘ座標，
Ｙ座標）を開始点として記録する。

【００５０】直線抽出部９２＃ｉは、ステップＳ１４に
おいて、最上端ラインまでの探索ループが終了したか否
かを判断する。最上端ラインまでの探索ループが終了し
たならば、ステップＳ８に戻る。最上端ラインまでの探
索ループが終了していないならば、ステップＳ１６に進
む。直線抽出部９２＃ｉは、当該画素の真上又はその隣
接画素（例えば、真上画素の左右に１個の画素）がロー
カルピークであるか否かを判断する。ローカルピークで
あれば、ステップＳ１６に進む。道路の白線は下から上
へとローカルピークの画素として把握されるからであ
る。

【００５１】ローカルピークで無ければ、ステップＳ８
に戻る。ステップＳ１８において、上方に探索された当
該画素のＹラインの座標を境界点として記録する。尚、
境界点は上方に探索が続けられるにつれて、上方の探索
点のＹラインの座標点に更新される。直線抽出部９２＃
ｉは、ステップＳ２０において、当該上方に位置するロ
ーカルピークを探索画素として、ステップＳ１４に戻
る。ステップＳ１２〜ステップＳ２０の処理を繰り返す
ことにより、ロールカルピークが上方に探索される。

【００５２】ステップＳ８〜ステップＳ２０を繰り返す
ことにより、探索ライン上に最下端のローカルピークを
有する直線の両端の座標点（開始座標点，境界座標点）
が求められる。ステップＳ６〜ステップＳ２２を繰り返
すことにより、道路監視画像全体について、ローカルピ
ークの直線の両端の座標点（開始座標点，境界座標点）
が求められる。座標変換部９４＃ｉは、ステップＳ２４
において、ローカルピークの直線の両端の座標点から長
さを求める。そして、例えば、長さの最も長いもの２本
を道路白線として選択する。道路白線を白画素、それ以
外を黒画素として、道路画像を作成する。

【００５３】図１１は、道路領域の抽出例を示す図であ
り、図中の白が道路白線、黒がそれ以外を示している。
図１１（ａ）は図８に、同図（ｂ）は図９に、同図
（ｃ）は図１０にそれぞれ対応する。このように、図１
１に示すように、自動道路領域抽出部７４＃ｉにより道
路の両端が検出される。

【００５４】（ｃ） 道路座標点の手動入力 手動入力部７６＃ｉは、道路監視画像の各ラインＹｉ
（ｊ）毎に道路の左座標点（Ｘil（ｊ））及び道路の右
座標点（Ｘir（ｊ））を手入力して、道路左右端座標取
得部７８＃ｉに出力する。

【００５５】（ｄ） 画像変換 図１２は画像変換処理のフローチャートである。道路左
右端座標取得部７８＃ｉは、ステップＳ４０において、
道路領域が手動／自動のいずれで入力されるかを判断す
る。自動入力ならば、ステップＳ４２に進む。手動入力
ならば、ステップＳ４４に進む。ステップＳ４２におい
て、自動道路領域抽出部７４＃ｉより抽出された道路領
域の画像から、道路監視画像の各ラインＹｉ（ｊ）毎
に、道路の左座標点（Ｘil（ｊ））及び道路の右座標点
（Ｘir（ｊ））を算出する。ステップＳ４４において、
手動入力部７６＃ｉより道路監視画像の各ラインＹｉ
（ｊ）毎に道路の左座標点（Ｘil（ｊ））及び道路の右
座標点（Ｘir（ｊ））を入力する。

【００５６】道路左右端座標取得部７８＃ｉは、ステッ
プＳ４６において、画像合成装置４４より表示エリアの
道路幅（ドット数）を入力する。道路左右端座標取得部
７８＃ｉは、各ラインＹｉ（ｊ）（ｊ＝１〜Ｈ）につい
て、道路幅Ｗｊ（右座標点（Ｘir（ｊ））−左座標点Ｘ
il（ｊ））の累積加算値Ｘを計算する。道路左右端座標
取得部７８＃ｉは、ステップＳ５０において、式（１）
に示すように、係数Ｋ×Ｘ／ＷがＨに等しくなるように
係数Ｋを計算する。

【００５７】Ｙ座標読み取り位置算出部８０＃ｉは、ス
テップＳ５２において、出力画像の各ラインＹｏについ
て画像変換処理が終了したか否かを判断する。画像変換
処理が終了していなければ、ステップＳ５４に進む。画
像変換処理が終了したならば、処理を終了する。Ｙ座標
読み取り位置算出部８０＃ｉは、ステップＳ５４におい
て、式（２）に従って、ラインＹｏに対する入力画像の
ラインＹｉ（ｉ）を求める。Ｘ座標読み取り位置算出部
８２＃ｉは、ステップＳ５６において、入力画像のライ
ンＹｉ（ｉ）上にの道路幅Ｗｉ＝（Ｘir（ｉ））−Ｘil
（ｉ））を求める。画像読み取り部８４＃ｉは、道路幅
Ｗｉに含まれる入力画像を、ラインＹｏの幅Ｗの表示エ
リアに、Ｗ／Ｗｉの倍率で、拡大、縮小及び補間等、画
像変換して、出力フレームバッファ８６＃ｉに書き込
む。そして、ステップＳ５２に戻る。このとき、倍率Ｗ
／Ｗｉによっては、入力画像の複数画素が出力画像の１
画素に、逆に、入力画像の１画素が出力画像の複数画素
に対応することもあるが、この場合は補間処理等の平滑
化処理を行う。

【００５８】図１３は個々の道路監視画像の鳥瞰図を示
す図であり、同図（ａ）は図８（ａ）に、同図（ｂ）は
図９（ａ）に、同図（ｃ）は図１０（ａ）にそれぞれ対
応する。図１３に示すように、鳥瞰図では、監視カメラ
４０＃ｉから遠方に位置する車両が監視カメラ４０＃ｉ
の近傍に位置する車両にほぼ等しい大きさとなる。これ
により、遠方の道路状況をより詳細に判断できる。しか
も、出力画像に対する入力画像の横方向の倍率と縦方向
の倍率を一定としているので、車両等のアスペクト比が
一定となり、歪みが少なくなる。

【００５９】（ｅ） 画像処理 背景画像作成部５６＃ｉは、車両等の動きのある物体以
外の静止している画像である背景画像を鳥瞰画像から作
成する。例えば、鳥瞰画像を１／１０倍してから背景画
像に加算して、加算した画像を背景画像とする。エッジ
抽出／動き検出部５８＃ｉは、鳥瞰画像から背景画像を
引き算した差分画像から車両等のエッジ抽出や動き検出
を行う。ヒストグラム作成部６０＃ｉは、差分画像の輝
度を横方向に加算して、ヒストグラムを作成する。車両
抽出部６２＃ｉはヒストグラムより車両を検出する。こ
こで、遠近による解像度の違いが補正されている鳥瞰画
像に対して画像処理を行っているので、遠近による解像
度の違いを考慮する必要がなく、画像処理が簡単にな
る。交通流測定、異常検出部５４＃ｉは、各種画像処理
部５２＃ｉより抽出された車両等から、交通流測定、渋
滞、落下物等の道路異常を検出して、鳥瞰画像と共に交
通流、道路異常通報を画像合成装置４４に出力する。

【００６０】（ｆ） 画像合成処理 書き込み制御部１０２は、各ＴＶ監視画像変形装置４２
＃ｉ（ｉ＝１〜ｎ）から鳥瞰画像等を入力して、レイア
ウト情報に従ったアドレス領域のフレームバッファ１０
４に書き込む。読み出し制御部１０６は、フレームバッ
ファ１０４に書き込まれた鳥瞰画像等を上のラインから
下のラインに順次読み出して、表示装置４６に表示す
る。

【００６１】図１４は、３台の監視カメラ４０＃ｉ（ｉ
＝１〜３）が撮像した図８（ａ）〜図１０（ａ）に示す
道路監視画像を画像変換した図１３に示す鳥瞰画像を、
同じ道路幅Ｗで表示した複数区間の道路監視画像の合成
表示例を示す図である。図１４に示すように、複数台の
監視カメラ４０＃ｉ（ｉ＝１〜ｎ）の鳥瞰画像を同時に
表示装置４６に表示することができる。更に、ＴＶ監視
画像変形装置４２＃ｉ（ｉ＝１〜ｎ）が撮像した道路監
視画像の鳥瞰画像の画像処理により、道路異常が検出さ
れた場合、例えば、監視カメラ４０＃３が撮像した道路
監視画像に道路異常が検出された場合、監視カメラ４０
＃３が撮像した鳥瞰画像の幅Ｗ３を他の鳥瞰画像の幅よ
りも長くする。

【００６２】図１５は監視カメラ４０＃ｉ（ｉ＝１〜
３）が撮像した鳥瞰画像の車線重みを変更した場合の表
示例を示す図であり、監視カメラ４０＃２が撮像した鳥
瞰画像の車線を他の鳥瞰画像の車線に比べて大きく設定
した場合である。これにより、道路異常等が検出され詳
細に見たい道路監視画像を他の監視画像よりも大きく表
示することができ、道路異常等がより見やすくなる。

【００６３】以上説明した第１実施形態によれば、遠景
・近景の車両のアスペクト比が一定となり車両の歪みが
小さくなること、複数区間の道路監視画像を１つの画面
に表示できるので監視が容易になること、複数区間の道
路監視画像の車線の重みを付けて表示することができる
ので注目する監視画像がより見やすくなることの効果を
奏することができる。

【００６４】第２実施形態 図１６は、本発明の第２実施形態による道路監視画像処
理装置の構成図であり、図２中の構成要素と実質的に同
一の構成要素には同一の符号を附している。図１６に示
す道路監視画像処理装置は、各ＴＶ監視画像変形装置１
２０＃ｉ（ｉ＝１〜ｎ）は道路監視画像を鳥瞰画像に画
像変換するのみで、交通流測定等の各種画像処理を行わ
ないこと、各種画像処理部１２４が画面合成装置１２２
が合成した鳥瞰画像から交通流測定、異常等の各種画像
処理を行うことが、図２の道路監視画像処理装置と異な
る。

【００６５】図１７は、図１６中のＴＶ監視画像変形装
置１２０＃ｉの構成図であり、図３中の構成要素と実質
的に同一の構成要素には同一の符号を附している。図１
７に示すように、ＴＶ監視画像変形装置１２０＃ｉは、
画像鳥瞰図変換部５０＃ｉより構成される。即ち、ＴＶ
監視画像変形装置１２０＃ｉは、監視カメラ４０＃ｉに
より撮像された道路監視画像を第１実施形態と同様の手
法により、鳥瞰画像に変換して出力フレームバッファに
書き込む。

【００６６】図１８は、図１６中の画像合成装置１２２
の構成図であり、図６中の構成要素と実質的に同一の構
成要素には同一の符号を附している。書き込み制御部１
３０は、各ＴＶ監視画像変形装置４２＃ｉ（ｉ＝１〜
ｎ）から鳥瞰画像を入力して、レイアウト情報に従った
アドレス領域のフレームバッファ１０４に書き込む。図
１６中の各種画像処理部１２４は、画像合成装置１２２
により合成された鳥瞰画像に対して、図３中の各種画像
処理部５２＃ｉや交通流測定、異常検出部５４＃ｉと同
様にして、交通流測定、異常検出、渋滞検知等の処理を
行って、表示装置４６に通知する。図１６に示す道路監
視画像処理装置は、交通流測定、異常検出、渋滞検出等
の各種画像処理を合成された鳥瞰画像に対して行うこと
以外は、図２の道路監視画像処理装置と同じであるので
動作説明を省略する。

【００６７】以上説明したように第２実施形態によれ
ば、第１実施形態と同様の効果がある上に各種画像処理
部は監視カメラ毎ではなく全体で１個設ければ良いの
で、装置コストが第１実施形態に比べて低減する。

【００６８】第３実施形態 図１９は、本発明の第３実施形態による道路監視画像処
理システムの構成図であり、図２中の構成要素と実質的
に同一の構成要素には同一の符号を附している。図１９
に示すように、道路監視画像処理システムは、図２中の
構成要素に画像符号化部１４０＃ｉ（ｉ＝１〜ｎ）、ネ
ットワーク１４２及び画像復号化部１４６が付加されて
いる。画像符号化部１４０＃ｉは、ＴＶ監視画像変形装
置４２＃ｉが道路監視画像から変換した鳥瞰画像をＪＰ
ＥＧ，ＭＰＥＧ等の符号化方式により符号化して、ネッ
トワーク１４２に送信する。このとき、鳥瞰画像は道路
領域の画像が切り出された画像であり、それ以外の領域
の画像は除去、例えば、黒画素に変換されているので、
監視カメラ４０＃ｉより撮像された道路監視画像を符号
化するよりも符号化率が向上する。

【００６９】ネットワーク１４２は、インターネット等
の通信ネットワークである。ネットワーク１４２を通し
て鳥瞰画像を送信するのは、道路を監視する監視モニタ
４６を有する監視センタが監視カメラ４０＃ｉから遠隔
にある場合を考慮したためである。画像復号化部１４４
は、ネットワーク１４２を通して、画像符号化部１４０
＃ｉより符号化された鳥瞰画像を復号化して、画像合成
装置１４６に出力する。画像合成装置１４６は、画像復
号化部１４４より復号化された複数の鳥瞰画像をレイア
ウト情報に従って合成する。

【００７０】以上説明したように第３実施形態によれ
ば、第１実施形態と同様の効果がある上に、道路監視セ
ンタが監視カメラ４０＃ｉから遠隔地に位置する場合で
も、鳥瞰画像を符号化して道路監視センタに送信するの
で符号化効率が向上して、通信コストの低減化と鳥瞰画
像の動画像を送信する場合でも画質の劣化が抑制でき
る。

【００７１】第４実施形態 図２０は、本発明の第４実施形態による道路監視画像処
理システムの構成図であり、図１６及び図１９中の構成
要素と実質的に同一の構成要素には同一の符号を附して
いる。図２０に示す道路監視画像処理システムは、図１
６の第２実施形態及び第４実施形態を組み合わせたもの
であり、図１６中のＴＶ監視画像変形装置１２０＃ｉ
（ｉ＝１〜ｎ）と同様に監視カメラ４０＃ｉにより撮像
された道路監視画像の鳥瞰画像への画像変換のみを行
い、各種画像処理部１２４が画像合成装置１４６により
合成された鳥瞰画像に対して、交通流測定、異常検出、
渋滞検知等の処理を行う。更に、画像符号化部１４０＃
ｉにより鳥瞰画像の符号化を行って、ネットワーク１４
２を通して、道路監視センタに配設された画像復号化部
１４４に送信する。画像合成装置１２２は、画像復号化
部１４４により復号した複数の鳥瞰画像を合成して、監
視モニタ４６に出力する。以上説明したように第４実施
形態によれば、第３実施形態と同様の効果がある。

【００７２】第５実施形態 図２１は本発明の第５実施形態により道路監視画像処理
システムの構成図であり、図２中の構成要素と実質的に
同一の構成要素には同一の符号を附している。監視カメ
ラ４０＃ｉ（ｉ＝１〜ｎ）は、一般に道路付近の上方
に、道路に対して一定の俯角で配置される。俯角とは、
監視カメラ４０＃ｉのレンズ中心を通る光軸方向と道路
方向とのなす角度をいう。監視カメラ４０＃ｉより撮像
される道路監視画像は、監視カメラ４０＃ｉのレンズ中
心を通る光軸方向に対して垂直方向に配置された２次元
方向に並べられたＣＣＤ等の撮像素子上に射影される。

【００７３】従って、監視カメラ４０＃ｉの撮像素子の
上端部及び下端部に対応する道路領域を算出すること、
この道路領域を監視カメラ４０＃ｉの解像度に応じたラ
イン数Ｈ分で等間隔で分割して、複数の道路区間を算出
すること、道路区間の境界点に対応する撮像素子の空間
でのラインを求めること、ライン上の道路画像を幅Ｗに
画像変換を行うことにより、道路を俯角９０度の方向か
ら撮像した鳥瞰画像を得ることができる。この鳥瞰画像
は、道路を真上から撮像にしたものなので、監視カメラ
４０＃ｉから遠方の車両と近景の車両も等速度で移動す
る。これにより、車両の速度が近景、遠方に係わらずよ
り正確に目視や画像処理により把握することが可能とな
る。そこで、本実施形態は、道路を俯角９０度の方向か
ら撮像した鳥瞰画像を得る手法を開示する。

【００７４】図２２は、図２１中のＴＶ監視画像変形装
置１５０＃ｉの構成図であり、図３中の構成要素と実質
的に同一の構成要素には同一の符号を附している。画像
鳥瞰図変換部１６０＃ｉは、以下の機能を有する。

【００７５】 道路監視画像の最上部と最下部に対応
した実座標系での道路位置の上端道路及び下端道路を算
出する。

【００７６】 出力画像領域の監視カメラ４０＃ｉの
解像度（ライン数Ｈ）から上端道路から下道路までをラ
イン数Ｈで等間隔に分割して、各出力ラインＹｏに該当
する道路区間を求める。

【００７７】 各道路区間に対応する道路監視画像の
ラインを求める。

【００７８】 道路監視画像のライン上に位置する道
路領域画像を出力画像領域のライン上に、拡大／縮小／
補間等の画像処理による画像変換を行うことにより、鳥
瞰画像を作成する。

【００７９】画像鳥瞰図変換部１６０＃ｉの詳細な説明
を行う前に、３次元実座標空間における道路座標点と監
視道路画像の座標点との間の座標変換について説明をす
る。３次元実座標空間における道路座標点と監視道路画
像の座標点との間の座標変換は、監視カメラ４０＃ｉの
位置に制限されることなく行うことが可能であるが、以
下の仮定をする。

【００８０】 道路は直線であること。

【００８１】 監視カメラ４０＃ｉの側写角θ及びロ
ール角ρは存在しない。即ち、θ＝０，ρ＝０であるこ
と。

【００８２】 監視カメラ４０＃ｉは道路のセンタラ
イン上方に道路方向に配置されていること。

【００８３】上記，の仮定をするのは、側写角θ及
びロール角ρは小さい値であり、この仮定により得られ
る鳥瞰画像の画質の劣化が小さいこと、側写角θ及びロ
ール角ρを考慮した場合は、座標変換が複雑になること
からである。

【００８４】図２３は、上記仮定の元に配置された監視
カメラ４０＃ｉのジオメトリを示す図であリ、同図
（ａ）は側面図であり、同図（ｂ）は３次元実座標空間
を示す図である。図２３（ａ）に示すように、監視カメ
ラ４０＃ｉの光軸方向と道路との交点をＰ１とすると、
監視カメラ４０＃ｉは、俯角φ、点Ｐ１からｘoffだけ
離間したセンタライン上の位置Ｐ１’の上方ｚoff（説
明の都合上、ｚoff＜０）の高さに配置されている。図
２３（ｂ）に示すように、監視カメラ４０＃ｉのレンズ
中心を原点Ｏ、道路方向をｘ軸、道路方向に垂直な左路
側の方向をｙ軸、高さ方向をｚ軸とする３次元実座標系
（ｘ，ｙ，ｚ）とする。片側の車線の道路幅をＷｒとす
る。

【００８５】上記仮定より、 θ＝０ φ＝ｔａｎ^-1（−ｚoff／ｘoff） となる。

【００８６】図２４は、３次元実座標系（ｘ，ｙ，ｚ）
と２次元画面座標系（ｕ，ｖ）の関係を示す図である。
図２４に示すように、撮像素子１７０は、レンズ中心Ｏ
から焦点距離Ｆ離間した位置に、光軸ＯＰ１に対して垂
直に配置されている。道路上の任意の点Ｐ２は、直線Ｐ
２Ｏと撮像素子１７０との交点に射影される。３次元実
座標系における任意の座標点（ｘ，ｙ，ｚ）をｙ軸中心
にｘｚ平面を俯角φだけ時計周りに回転した点の座標点
の座標を（Ｘ，Ｙ，Ｚ）とする。この回転により、監視
カメラ４０＃ｉの回転後の撮像素子１７０は、ｘ軸に垂
直且つ撮像素子１７０の中心がｘ軸を通過する。撮像素
子１７０の中心を原点、画面右横方向をｕ軸、画面の上
方向をｖ軸とする。図２４に示すように、点Ｐ１（ｘ
０，ｙ０，ｚ０）が回転した座標点の座標（Ｘ，Ｙ，
Ｚ）は、（ｘoff，０，ｚoff）となる。

【００８７】監視カメラ４０＃ｉの方向をｙ軸中心にｘ
ｚ平面を俯角φだけ時計周りに回転した点に位置変換を
行う。座標回転行例は、

【００８８】

【数１】

【００８９】となる。

【００９０】実空間をｘ軸上の画面へ移動するため、回
転変換（−θ，−φ）する座標変換は、次式（４）に示
される。

【００９１】

【数２】

【００９２】従って、（ｘ，ｙ，ｚ）と（Ｘ，Ｙ，Ｚ）
との関係は、次式（５）に示すようになる。

【００９３】

【数３】

【００９４】図２５は実座標（Ｘ，Ｙ，Ｚ）と画面座標
系（ｕ，ｖ）の関係を示す図である。ｕ軸はＹ軸と逆方
向、ｖ軸はＺ軸に平行な方向である。ｕ軸に平行な方向
が道路の幅方向である。ｖ軸方向が道路方向である。座
標（Ｘ，Ｙ，Ｚ）と２次元画面座標系（ｕ，ｖ）の関係
は図にようになる。よって、３次元座標系（Ｘ，Ｙ，
Ｚ）から２次元画面座標系（ｕ，ｖ）への変換式は、次
式（６）に示すようになる。

【００９５】

【数４】

【００９６】３次元実座標系（ｘ，ｙ，ｚ）において、
道路上の任意の点は、（ｘ，ｙ，ｚoff）となる。この
座標点（ｘ，ｙ，ｚoff）を式（５）に従って回転し
て、３次元実画面座標点（Ｘ，Ｙ，Ｚ）に変換すると、
次式（７）に示すようになる。

【００９７】

【数５】

【００９８】従って、（Ｘ，Ｙ，Ｚ）の２次元画面座標
（ｕ，ｖ）は次式（８）に示すようになる。

【００９９】

【数６】

【０１００】ｘ→∞の時のｕ，ｖの極限値は、 ｕ＝０ ｖ＝−ｔａｎφ・・・（９） となる。

【０１０１】右又は左路側線について考える。例えば、
センタラインから右にＷｒ離れた右路側線の３次元実座
標系の座標は（ｘ，−Ｗｒ，ｚoff）となり、 ｄｕ／ｄｘ＝Ｆ（−Ｗｒ×ｃｏｓφ）／（ｘｃｏｓφ＋ｚoff×ｓｉｎφ）² ・・・（10） 及び ｄｖ／ｄｘ＝Ｆ（−ｚoff）／（ｘｃｏｓφ＋ｚoff×ｓｉｎφ）² ・・・（11） となる。

【０１０２】ここでは、センタライン上方に監視カメラ
４０＃ｉを配置しているので、右側側線の座標点が
（ｘ，−Ｗｒ，ｚoff）となるが、センタライン上方で
ない場合は、−Ｗrの代わりに、一定のオフセットが加
算されるだけである。

【０１０３】これにより、 ｄｖ／ｄｕ＝ｚoff／Ｗｒ×ｃｏｓφ ・・・（12） となる。

【０１０４】従って、２次元画面上の路側線の傾きｄｖ
／ｄｕ，監視カメラ４０＃ｉの高さｚoffと道幅Ｗｒと
の比率より俯角φを求めることができる。路線側の傾き
ｄｖ／ｄｕは監視カメラ４０＃ｉが撮像した道路監視画
像より得ることができる。また、ｚoff／Ｗrは外部より
パラメータとして得ることができる。

【０１０５】ｖはｘにより、 ｖ＝Ｆ（−ｘｓｉｎφ＋ｚoff×ｃｏｓφ）／（ｘｃｏｓφ＋ｚoff×ｓｉｎφ ） ＝Ｆ（−ｔａｎφ＋ｔａｎψ）／（１＋ｔａｎφ×ｔａｎψ） ＝Ｆ×ｔａｎ（−φ＋ψ） ・・・（13） 但し、ｔａｎψ＝ｚoff／ｘ ・・・（14） と表すことができる。

【０１０６】また、ｘはｖにより、 ｘ＝ｚoff(−ｖ×ｓｉｎφ＋Ｆｃｏｓφ）／（ｖｃｏｓφ＋Ｆｓｉｎφ） ＝ｚoff（−ｔａｎφ＋ｔａｎψ）／（１＋ｔａｎψ×ｔａｎφ） ＝ｚoff×ｔａｎ（ψ−φ） ・・・（15） 但し、ｔａｎψ＝Ｆ／ｖ ・・・（16） と表すことができる。

【０１０７】図２６は鳥瞰図変換のパラメータ説明図で
ある。図２６中のＶｖは道路路側線長して考えたときの
交点Ｐと、撮像素子１７０の画面中心との画面上でのド
ット距離、Ｕrは路側線が画面中央の水平線と項さする
点と画面中心との距離、Ｑuは画面最上部、Ｑdは画面最
下部、ｖupはＱuと画面中心との距離である。

【０１０８】図２７は実座標空間（ｘ，ｙ，ｚ）の画面
空間への写像を示す図である。Ｐuは監視カメラ４０＃
ｉのレンズ中心Ｏと図２６中の画面の最上部の点とを結
ぶ直線と道路との交点、Ｐ１は光軸の延長線と道路との
交点、Ｐ２は道路上の任意の点、Ｐdは図２７中の画面
の最下部の点とを結ぶ直線と道路との交点、φ_maxは、
直線ＰuＯと直線Ｐ１Ｏとが成す角度、φ'は直線Ｐ２Ｏ
と直線Ｐ１Ｏとの成す角度、Ｆは焦点距離であり、Ｐと
撮像素子１７０の中心との距離である。

【０１０９】具体的には、実際の監視カメラ４０＃ｉの
設置位置や車幅の値は必要が無く、その比率が与えられ
れば良い。そこで、ｘoff＝１として規格化したモデル
を考えると、図２７に示すジオメトリ及び三角関数によ
り、次式（１７）〜（１９）が成り立つ。

【０１１０】 ｚoff＝ｔａｎφ ・・・（17） Ｗr＝Ｕr×ｔａｎφ／Ｖv×ｃｏｓφ ・・・（18） Ｆ＝Ｕr×Ｋccd×ｚoff／Ｗr ・・・（19） となる。

【０１１１】ここで、Ｋccdは撮像画面（ＣＣＤ）上の
ドットを実際の長さに変換するための係数であり、撮像
画面の実サイズ、例えば、撮像素子１７０の対角線の長
さ（１／２インチ、３／２インチ等）及び垂直方向の解
像度の関係により得ることができるパラメータである。

【０１１２】これにより、比率ｚoff／Ｗrが与えられる
と、俯角φ、Ｗrが算出されて、最終的に焦点距離Ｆを
算出することができる。

【０１１３】画面の最上部Ｑu（単位ドット）と最下部
Ｑd（単位ドット）に対応した３次元実座標空間（ｘ，
ｙ，ｚ）での位置の点Ｐu，Ｐdのｘ座標ｘu，ｘvを算出
する。図２７に示すように、∠ＰuＯＰ１＝φ_maxであ
る。このとき、光軸が撮像素子１７０に対して垂直であ
ること、ＱuとＱvの原点からの距離が等しいことから、
∠ＰdＯＰ１＝−φ_maxとなる。

【０１１４】図２７により、∠ＯＰuＰ１＝φ＋φ_maxと
なる。撮像素子１７０の中心と点Ｐuとの間の実距離
は、Ｑu×Ｋccdなので、 ｔａｎφ_max＝Ｑu×Ｋccd／F ・・・（20） となる。

【０１１５】ｘuは、図２７に示すジオメトリ及び三角
関数により、次式（２１）で表される。

【０１１６】 ｘu＝ｚoff／ｔａｎ（φ−φ_max） ＝ｚoff×（１＋ｔａｎφｔａｎφ_max）／（ｔａｎφ−ｔａｎφ_max） ・・・（21） 同様に、ｘdは、図２７に示すジオメトリ及び三角関数
により、次式（２２）で表される。

【０１１７】 ｘd＝ｚoff／ｔａｎ（φ＋φ_max） ＝ｚoff×（１−ｔａｎφｔａｎφ_max）／（ｔａｎφ＋ｔａｎφ_max） ・・・（22） ｘoff＝１として規格化したモデルでは、式（１７）を
式（２１），（２２）に代入して、ｘu，ｘdを算出す
る。

【０１１８】従って、φが式（１２）により、φ_maxが
式（２０）により算出されるので、式（２１），（２
２）により、ｘu，ｘdを算出することができる。ｘuか
らｘdまでの区間を画面の解像度に従って等間隔に分割
した場合の各境界線の道路上の点Ｐのｘ座標に対応する
撮像素子１７０上でのｖ座標を以下のようにして求め
る。

【０１１９】図２７に示すように、∠ＯＰ２Ｐ１＝φ−
φ’となる。φ’＝∠Ｐ２ＯＰ１である。ｖは次式（２
３）で表される。

【０１２０】 ｖ＝Ｆ×ｔａｎφ' ＝Ｆ×ｔａｎ（φ−∠ＰＰ２Ｐ１） ＝Ｆ×(ｔａｎφ−ｘ／ｚoff）／(１＋ｘｔａｎφ／ｚoff） ・・・（23） となる。ｘoff＝１として規格化したモデルでは、式
（１７）を式（２３）に代入して、ｖを算出する。

【０１２１】撮像素子１７０の座標空間（ｕ，ｖ）での
ｖ座標値が得らたので、係数Ｋccdより、ｖライン上に
対応する道路監視画像が記憶されるフレームバッファ７
２＃ｉでのＶライン上の道路監視画像の道路領域を算出
する。そして、道路領域をｘ座標に対応する出力画像の
Ｙｏラインに縮小／拡大／補間等の画像処理をして、画
像変換をすることにより、俯角が９０度の鳥瞰画像を得
ることができる。

【０１２２】図２８は、図２２中の画像鳥瞰図変換部１
６０＃ｉの構成図であり、図４中の構成要素と実質的に
同一の構成要素には同一の符号を附している。Ｖ座標読
み取り位置算出部１７０＃ｉは、出力画像のラインＹｏ
に対応する入力画像のラインＶｉを算出する。

【０１２３】図２９は、図２８中のＶ座標読み取り位置
算出部１７０＃ｉの構成図である。図２９に示すよう
に、Ｖ座標読み取り位置算出部１７０＃ｉは、俯角算出
部１９２＃ｉ、焦点距離算出部１９２＃ｉ、道路最上部
・最下部座標変換部１９４＃ｉ、出力ライン／道路座標
変換部１９６＃ｉ、道路座標／入力ライン変換部１９８
＃ｉを有する。俯角算出部１９２＃ｉは、画面上の路側
線の傾きｄｖ／ｄｕ、カメラ高さｚoff、片側の道路幅
Ｗrより、式（１２）に従って、俯角φを算出する。道
路最上部・最下部座標変換部１９４＃ｉは、φ_max，φ
を入力して、式（２１），（２２）より、Qu，Ｑdにそ
れぞれ対応する道路領域の最上部のｘ座標ｘu及び最下
部のｘ座標ｘdを算出する。

【０１２４】出力ライン／道路座標変換部１９６＃ｉ
は、解像度より決められる出力画像のライン数Ｈで道路
領域の表示対象区間［ｘd，ｘu］を分割して、分割した
各道路区間［ｘi，ｘi+1］（ｉ＝１〜Ｈ，ｘ1＝ｘd，ｘ
H+1＝ｘu）の下の境界ラインのｘi（ｉ＝１〜Ｈ）座標
を算出する。道路座標／入力ライン変換部１９８＃ｉ
は、式（２３）に従って、ｘiに対応する撮像素子１７
０のｖiを算出する。それから、Kccdよりｖiに対応する
道路監視画像の入力ラインＵｉを算出する。入力ライン
Ｕ座標読み取り位置算出部１８２＃ｉは、道路左右端座
標取得部７８＃ｉにより得られた道路左右端座標から、
入力ラインＵｉ上の道路左端座標点Ｕil（ｉ）及び右端
座標点Ｕir（ｉ）を算出する。

【０１２５】以下、図２１の道路監視画像処理装置の動
作説明をする。

【０１２６】（ａ） 道路監視画像の記憶 例えば、道路のセンタライン上方の適当な高さｚoff
に、俯角φで設置された各監視カメラ４０＃ｉ（ｉ＝１
〜ｎ）は、道路状況を撮像する。道路監視画像を監視画
像変形装置１５０＃ｉに出力する。ＴＶ監視画像変形装
置１５０＃ｉは、Ａ／Ｄ変換器７０＃ｉより、例えば、
８ビットディジタル映像信号に変換して、フレームバッ
ファ７２＃ｉに書き込む。

【０１２７】（ｂ） 道路領域の自動抽出 自動道路領域抽出部７４＃ｉは、第１実施形態と同様に
して、道路監視画像より道路左右端を抽出して、道路左
右端座標取得部７８＃ｉに出力する。

【０１２８】（ｃ） 道路座標点の手動入力 手動入力部７６＃ｉは、第１実施形態と同様にして、道
路監視画像の各ラインｖ毎に道路の左端座標点及び右端
座標点を手入力して、道路左右端座標取得部７８＃ｉに
出力する。

【０１２９】（ｄ） 画像変換 図３０は画像変換処理のフローチャートである。道路左
右端座標取得部７８＃ｉは、ステップＳ７０において、
道路領域が手動／自動のいずれで入力されるかを判断す
る。自動入力ならば、ステップＳ７２に進む。手動入力
ならば、ステップＳ７４に進む。ステップＳ７２におい
て、自動道路領域抽出部７４＃ｉより抽出された道路領
域の画像から、道路監視画像の各ラインｖ毎に、道路の
左端座標点及び右端座標点を算出する。ステップＳ７４
において、手動入力部７６＃ｉより道路監視画像の各ラ
インｖ毎に道路の左端座標点及び右端座標点を入力す
る。

【０１３０】道路左右端座標取得部７８＃ｉは、ステッ
プＳ７５において、画像合成装置４４より表示エリアの
道路幅Ｗ（ドット数）を入力する。俯角算出部１９０＃
ｉは、ステップＳ７６において、道路監視画像から道路
の傾きｄｖ／ｄｕ＝Ｖv／Ｕrを求めて、式（１２）、道
路の傾きｄｕ／ｄｖ、外部から入力されるｚoff／Ｗrに
より、俯角φ（０≦φ≦π／２）を算出する。焦点距離
算出部１９２＃ｉは、Ｕr／Ｖv、俯角φ及び式（１８）
より道路幅Ｗrを算出する。道路幅Ｗr、Ｕr、Ｋccd及び
式（１９）より焦点距離Ｆを算出する。

【０１３１】図３１は、道路監視画像から鳥瞰画像への
画像変換処理を示す図であり、同図（ａ）は出力画像、
同図（ｂ）は道路、同図（ｃ）は撮像素子１７０の画面
である。道路最上部・最下部座標変換部１９４＃ｉは、
ステップＳ７８において、道路監視画像の高さＨより、
入力画像の道路表示対象領域の最上部Ｕu（＝Ｈ／２）
及び最下部Ｕd（＝−Ｈ／２）を算出する。道路最上部
・最下部座標変換部１９４＃ｉは、ステップＳ８０にお
いて、Ｑu、Ｋccd、Ｆ及び式（２０）に従って、最大俯
角φ_maxを算出する。道路最上部・最下部座標変換部１
９４＃ｉは、ステップＳ８２において、ｔａｎφ，ｔａ
ｎφ_max及び式（２１）に従って、道路最上部のｘ座標
点ｘuを算出する。道路最上部・最下部座標変換部１９
４＃ｉは、ステップＳ８４において、ｔａｎφ，ｔａｎ
φ_max及び式（２２）に従って、道路最下部の道路のｘ
座標点ｘdを算出する。

【０１３２】出力ライン／道路座標変換部１９６＃ｉ
は、ステップＳ８６において、出力ラインＹｏが終了し
たか否かを判別する。出力ラインＹｏが終了したなら
ば、終了する。出力ラインが終了していなければ、ステ
ップＳ８８に進む。出力ライン／道路座標変換部１９６
＃ｉは、ステップＳ８８において、図３１（ａ）に示す
ように、出力ラインＹｏを計算する。出力ライン／道路
座標変換部１９６＃ｉは、ステップＳ９０において、解
像度Ｈに従って道路表示区間［ｘd，ｘu］をＨ個に分割
し、出力ラインＹｏに対応する道路区間［ｘi，ｘi+1］
を算出する。道路座標／入力ライン変換部１９８＃ｉ
は、ステップＳ９２において、Ｆ，ｔａｎφ，ｘi，Ｋc
cd及び式（２３）より、図３１（ｃ）に示すように、道
路座標ｘiに対応する２次画面座標点ｖiを算出する。２
次画面座標点ｖiより道路監視画像の入力ラインＶｉを
求める。

【０１３３】Ｕ座標読み取り位置算出部１７２＃ｉは、
ＵステップＳ９４において、入力ラインＶｉ上の左路側
座標点Ｖil（ｉ）及び右路側座標点Ｖir（ｉ）を求め
る。画像読み取り部８４＃ｉ、フレームバッファ７２＃
ｉより、左路側座標点Ｖil（ｉ）から右路側座標点Ｖir
（ｉ）までのＶｉライン上に位置する画像を読み出し
て、拡大／縮小／補間等の画像処理により幅Ｗの区間の
画像に変換して、出力ラインＹｏに該当する出力フレー
ムバッファ８６＃ｉに書き込む。そして、ステップＳ８
６に戻る。以上の処理により、鳥瞰画像が出力フレーム
バッファ８６＃ｉに作成される。この鳥瞰画像は、監視
カメラ４０＃ｉの俯角が９０度になるよう画像変換がな
されるているので、画面上を走行する車は等速で移動す
る。

【０１３４】（ｅ） 画像処理 各種画像処理部５２＃ｉは、第１実施形態と同様にし
て、鳥瞰画像から交通流測定、異常検出等を行う。測
定、渋滞、落下物等の道路異常を検出して、鳥瞰画像と
共に交通流、道路異常通報を画像合成装置４４に出力す
る。

【０１３５】（ｆ） 画像合成処理 書き込み制御部１０２は、各ＴＶ監視画像変形装置４２
＃ｉ（ｉ＝１〜ｎ）から鳥瞰画像等を入力して、レイア
ウト情報に従ったアドレス領域のフレームバッファ１０
４に書き込む。読み出し制御部１０６は、フレームバッ
ファ１０４に書き込まれた鳥瞰画像等を上のラインから
下のラインに順次読み出して、表示装置４６に表示す
る。このとき、道路監視画像から実道路座標を求め、鳥
瞰図を作成しているので、センタラインの長さが監視カ
メラ４０＃ｉからの遠近に係わらず等しくなる。

【０１３６】以上説明した第５実施形態によれば、車両
の速度が一定となり、近景、遠方に係わらずより正確に
目視や画像処理により把握することが可能となる。尚、
本第２実施形態では、鳥瞰画像を得る第１実施形態とは
異なる鳥瞰画像を得る手法を説明したが、この手法を第
１実施形態に代わりに、第２実施形態〜第４実施形態に
適用することも可能である。

【０１３７】第６実施形態 図３２は本発明の第６実施形態による道路監視画像処理
装置の構成図であり、図２中の構成要素と実質的に同一
の構成要素には同一の符号を附している。上述したよう
に、第１実施形態の手法による鳥瞰画像は、車両のアス
ペクト比を保持することができるが、車両が画像上で等
速で移動することはできない、それに対して、第５実施
形態の手法による鳥瞰画像は、車両が画面上で等速で移
動することができるが、遠景の俯角が近景の俯角よりも
小さいので、遠景の車両の方が近景の車両に比べて、車
両が長くなって、アスペクト比を保持することができな
い。そこで、本第６実施形態では、車両は第１実施形態
の手法により鳥瞰画像を作成し、背景画像は第５実施形
態の手法により鳥瞰画像を作成する。その後、車両の鳥
瞰画像を背景の鳥瞰画像に合成する。これにより、車両
のアスペクト比を保持すると共に画面上で等速に車両が
移動する鳥瞰画像を得ることができる。

【０１３８】図３３は、図中のＴＶ監視画像変形装置２
００＃ｉの構成図であり、図３中の構成要素と実質的に
同一の構成要素には同一の符号を附している。画像鳥瞰
図変換部２１０＃ｉは、以下の機能を有する。

【０１３９】 原画像より車両画像及び背景画像に抽
出する。

【０１４０】 車両画像に対しては、車両のアスペク
ト比が保持されるように、第１実施形態と同様に手法に
より、鳥瞰車両画像を作成する。

【０１４１】 背景画像に対しては、車両が等速で移
動するように、第２実施形態と同様の手法により、鳥瞰
背景画像を作成する。

【０１４２】 鳥瞰車両画像の各車両の最後尾ライン
に対応する原画像のラインが変換された鳥瞰背景画像の
ラインに位置するように、鳥瞰車両画像を鳥瞰背景画像
に合成する。

【０１４３】図３４は、図３３中の画像鳥瞰図変換部２
１０＃ｉの構成図であり、図４中の構成要素と実質的に
同一の構成要素には同一の符号を附している。画像鳥瞰
図変換部２１０＃ｉは、Ａ／Ｄ変換器７０＃ｉ、フレー
ムバッファ７２＃ｉ、自動道路領域抽出部７４＃ｉ、手
動入力部７６＃ｉ、道路左右端座標取得部７８＃ｉ、車
両・背景画像抽出部２３０＃ｉ、車両画像バッファ２３
２＃ｉ、背景画像バッファ２３４＃ｉ、Ｙ座標読み取り
位置算出部８０＃ｉ、Ｘ座標読み取り位置算出部８２＃
ｉ、Ｖ座標読み取り位置算出部１８０＃ｉ、Ｕ座標読み
取り位置算出部１８２＃ｉ、画像読み取り部２４０＃
ｉ，２５４＃ｉ、出力フレームバッファ２５６＃ｉ，２
５８＃ｉ、変換テーブル２６０＃ｉ及び合成部２６２＃
ｉを有する。

【０１４４】車両・背景画像抽出部２３０＃ｉは、原画
像から車両画像及び背景画像を抽出する。車両画像は、
背景画像と原画像との差分画像又は移動ベクトルを抽出
することにより得ることができる。背景画像は、現在の
背景画像と現画像を一定の比率、例えば、背景画像対原
画像＝１０：１の比率で加算して、現背景画像とする。
車両画像バッファ２３２＃ｉは、車両画像を記憶するフ
レームバッファである。背景画像バッファ２３４＃ｉ
は、背景画像を記憶するフレームバッファである。画像
読み取り部２４０＃ｉは、Ｙ座標読み取り位置算出部８
２＃ｉより算出された出力Ｙラインに対応する、Ｘ座標
読み取り位置算出部８４＃ｉにより算出されたＹライン
上の車両画像を画像処理して出力Ｙラインに書き込む。
更に、変換テーブル２６０＃ｉに原画像の各入力ライン
に対応する鳥瞰背景画像のラインを登録する。

【０１４５】画像読み取り部２５４＃ｉは、Ｖ座標読み
取り位置算出部１８０＃ｉより算出された出力Ｙライン
に対応する、Ｕ座標読み取り位置算出部１８２＃ｉによ
り算出されたＶライン上の車両画像を画像処理して出力
Ｙラインに書き込む。更に、変換テーブル２６０＃ｉに
鳥瞰車両画像の各出力ラインに対応する原画像のライン
を登録する。

【０１４６】図３５は図３４中の変換テーブル２６０＃
ｉの構成図である。図３５に示すように、変換テーブル
２６０＃ｉは、鳥瞰車両画像変換テーブル２７０＃ｉ及
び鳥瞰背景画像変換テーブル２７２＃ｉより構成され
る。鳥瞰車両画像変換テーブル２７０＃ｉは、鳥瞰車両
画像の各出力ラインに対応する原画像のラインを登録す
るためのテーブルである。鳥瞰背景画像変換テーブル２
７２＃ｉは、原画像の各入力ラインに対応する鳥瞰背景
画像のラインを登録するテーブルである。

【０１４７】以下、図３２の道路監視画像処理装置の動
作説明をする。

【０１４８】（ａ） 道路監視画像の記憶 例えば、道路のセンタライン上方の適当な高さｚoff
に、俯角φで設置された各監視カメラ４０＃ｉ（ｉ＝１
〜ｎ）は、道路状況を撮像する。道路監視画像を監視画
像変形装置１５０＃ｉに出力する。ＴＶ監視画像変形装
置１５０＃ｉは、Ａ／Ｄ変換器７０＃ｉより、例えば、
８ビットディジタル映像信号に変換して、フレームバッ
ファ７２＃ｉに書き込む。

【０１４９】（ｂ） 車両画像・背景画像の作成 車両・背景画像抽出部２３０＃ｉは、原画像から車両画
像及び背景画像を抽出して、車両画像を車両画像バッフ
ァ２３２＃ｉに、背景画像を背景画像バッファ２３４＃
ｉに書き込む。

【０１５０】（ｃ） 道路領域の自動抽出 自動道路領域抽出部７４＃ｉは、第１実施形態と同様に
して、道路監視画像より道路左右端を抽出して、道路左
右端座標取得部７８＃ｉに出力する。

【０１５１】（ｄ） 道路座標点の手動入力 手動入力部７６＃ｉは、第１実施形態と同様にして、道
路監視画像の各ラインｖ毎に道路の左端座標点及び右端
座標点を手入力して、道路左右端座標取得部７８＃ｉに
出力する。

【０１５２】（ｅ） 鳥瞰車両画像の作成 Ｙ座標読み取り位置算出部８０＃ｉ、Ｘ座標読み取り位
置算出部８２＃ｉ及び画像読み取り部２４０＃ｉは、第
１実施形態と同様の手法により、車両画像の鳥瞰画像を
作成して、背景背景画像の鳥瞰画像を作成して、出力フ
レームバッファ２５６＃ｉに書き込む。更に、画像読み
取り部２４０＃ｉは、変換テーブル２６０＃ｉに鳥瞰車
両画像の出力ラインに対応する原画像のラインを登録す
る。

【０１５３】（ｆ） 鳥瞰背景画像の作成 Ｖ座標読み取り位置算出部１８０＃ｉ、Ｕ座標読み取り
位置算出部１８２＃ｉ、及び画像読み取り部２５４＃ｉ
は、第５実施形態と同様の手法により、背景背景画像の
鳥瞰画像を作成して、出力フレームバッファ２５８＃ｉ
に書き込む。更に、画像読み取り部２４０＃ｉは、変換
テーブル２６０＃ｉに原画像の各入力ラインに対応する
鳥瞰背景画像の出力ラインを登録する。

【０１５４】（ｇ） 鳥瞰車両画像の合成 図３６は合成部２６２＃ｉの動作を示す図である。合成
部２６２＃ｉは、出力フレームバッファ２５６＃ｉを下
のラインから車両画像を読み出す。図に示すように、各
車両２９０＃ｊの最後尾のラインＹｊを検出する。鳥瞰
車両画像変換テーブル２７０＃ｉを参照して、図３６中
のに示すように、車両２９０＃ｊの各最後尾のライン
Ｙｊに対応する原画像のラインＹｊｋを取得する。更
に、図３６中のに示すように、原画像の各入力ライン
Ｙｊｋに対応する鳥瞰背景画像のラインＶｊを取得す
る。車両２９０＃ｊの最後尾のラインがラインＶｊ上に
位置するように、車両２９０＃ｉの鳥瞰車両画像を画像
変換する。

【０１５５】（ｈ） 画像処理 各種画像処理部５２＃ｉは、第１実施形態と同様にし
て、鳥瞰画像から交通流測定、異常検出等を行う。測
定、渋滞、落下物等の道路異常を検出して、鳥瞰画像と
共に交通流、道路異常通報を画像合成装置４４に出力す
る。

【０１５６】（ｉ） 画像合成処理 書き込み制御部１０２は、各ＴＶ監視画像変形装置４２
＃ｉ（ｉ＝１〜ｎ）から鳥瞰画像等を入力して、レイア
ウト情報に従ったアドレス領域のフレームバッファ１０
４に書き込む。読み出し制御部１０６は、フレームバッ
ファ１０４に書き込まれた鳥瞰画像等を上のラインから
下のラインに順次読み出して、表示装置４６に表示す
る。このとき、道路監視画像から実道路座標を求め、鳥
瞰図を作成しているので、センタラインの長さが監視カ
メラ４０＃ｉからの遠近に係わらず等しくなる。

【０１５７】以上説明した第６実施形態によれば、車両
のアスペクト比を保持すると共に画面上で等速に車両が
移動する鳥瞰画像を得ることができる。尚、本第６実施
形態では、鳥瞰画像を得る第１及び第５実施形態を組み
合わせた手法を説明したが、この手法を第１実施形態に
代わりに、第２実施形態〜第４実施形態に適用すること
も勿論可能である。

【０１５８】本発明は以下の付記を有する。

【０１５９】（付記１） 道路近辺に配置された道路状
況を撮影する監視カメラが撮像した道路監視画像を記憶
するフレームメモリと、前記フレームメモリの各入力ラ
インＹｉ上に位置する道路左端及び道路右端の前記フレ
ームメモリでの左端座標点Ｘｉｌ及び右端座標点Ｘｉｒ
を取得する道路座標点取得手段と、（前記Ｘｉｒ−前記
Ｘｉｌ）の前記入力ラインＹｉについての累積加算値Ｘ
を求める累積加算手段と、道路を表示する幅のドット数
Ｗ及び高さのドット数Ｈ並びに比例係数Ｋ（Ｋ＞０）と
したとき、前記累積加算値Ｘ×前記比例係数Ｋ÷前記幅
のドット数Ｗが前記高さのドット数Ｈに一致するように
前記比例係数Ｋを算出する係数算出手段と、表示画像画
面の各出力ラインＹｏについて、前記フレームメモリの
最下端ライン又は最上端ラインから、前記表示画像画面
の最下端ライン又は最上端ラインから前記出力ラインＹ
ｏまでのライン数分の前記（Ｋ×（Ｘｉｒ−Ｘｉｌ）÷
Ｗ）の和に基づいて、前記出力ラインＹｏに対応する前
記道路状況画像の入力ラインＹｊを算出する第１座標読
み取り位置算出手段と、前記各出力ラインＹｏ毎に前記
第１座標読み取り位置算出手段により算出された前記入
力ラインＹｊ上の前記道路左端及び前記道路右端を算出
する第２座標読み取り位置算出手段と、前記第２座標読
み取り位置算出手段により算出された前記入力ラインＹ
ｊ上の前記道路左端と前記道路右端との間の前記道路監
視画像を前記出力ラインＹｏ上の幅Ｗの出力画像に変換
して、鳥瞰画像を作成する画像変換手段と、を具備した
ことを特徴とする道路状況画像処理装置。

【０１６０】（付記２） 道路近辺に配置された道路状
況を撮影する監視カメラが撮像した道路監視画像を記憶
するフレームメモリと、前記フレームメモリの各入力ラ
インＹｉ上に位置する道路左端及び道路右端の前記フレ
ームメモリでの左端座標点Ｘｉｌ及び右端座標点Ｘｉｒ
を取得する道路座標点取得手段と、前記監視カメラによ
り撮像される道路領域の範囲を算出する道路範囲算出手
段と、前記道路領域を表示画像画面の縦方向のライン数
に基づいて道路長方向に等間隔に複数個の道路区間に分
割して、各道路区間に対応する前記表示画像画面の各出
力ラインを求め、該各第１出力ラインに対応する前記第
２フレームメモリ上の入力ラインＹｊを算出する第１座
標読み取り位置算出手段と、前記各出力ラインＹｏ毎に
前記第１読み取り位置算出手段により算出された前記入
力ラインＹｊ上の前記道路左端及び前記道路右端を算出
する第２座標読み取り位置算出手段と、前記各出力ライ
ンＹｏ毎に前記第２座標読み取り手段により算出された
入力ラインＹｊ上の前記道路左端と前記道路右端との間
の前記前記道路監視画像を前記出力ラインＹｏ上の幅Ｗ
の出力画像に変換して、鳥瞰画像を作成する像変換手段
と、を具備したことを特徴とする道路状況画像処理装
置。

【０１６１】（付記３） 道路近辺に配置された道路状
況を撮影する監視カメラが撮像した道路監視画像を記憶
する第１フレームメモリと、背景画像を記憶する第２フ
レームメモリ、車両画像を記憶する第３フレームメモリ
と、前記第１フレームメモリに記憶された前記道路監視
画像を車両画像及び背景画像に分離して、前記背景画像
を前記第２フレームメモリに、前記車両画像を前記第３
フレームメモリに書き込む車両・背景抽出手段と、前記
第１フレームメモリの各第１入力ラインＹｉ上に位置す
る道路左端及び道路右端の前記第１フレームメモリでの
横の左端座標点Ｘｉｌ及び右端座標点Ｘｉｒを取得する
道路座標点取得手段と、前記監視カメラにより撮像され
る道路領域の範囲を算出する道路範囲算出手段と、前記
道路領域を前記表示画像画面の縦方向のライン数に基づ
いて道路長方向に等間隔に複数個の道路区間に分割し
て、各道路区間に対応する前記表示画像画面に対応する
各第１出力ラインを求め、該各第１出力ラインに対応す
る前記第２フレームメモリ上の第２入力ラインＹｊを算
出する第１座標読み取り位置算出手段と、各第１出力ラ
インＹｏ毎に前記第１読み取り位置算出手段により算出
された前記第２入力ラインＹｊ上の前記道路左端及び前
記道路右端を算出する第２座標読み取り位置算出手段
と、前記各第１出力ラインＹｏ毎に前記第２座標読み取
り手段により算出された第２入力ラインＹｊ上の前記道
路左端と前記道路右端との間の前記背景画像を前記第１
出力ラインＹｏ上の幅Ｗの出力画像に変換して、第１画
像を作成する第１画像変換手段と、（前記Ｘｉｒ−前記
Ｘｉｌ）の前記第１入力ラインＹｉについての累積加算
値Ｘを求める累積加算手段と、表示画像画面の各第２出
力ラインＹｏについて、前記第３フレームメモリの最下
端ライン又は最上端ラインから、前記表示画像画面の最
下端ライン又は最上端ラインから前記第２出力ラインＹ
ｏまでのライン数分の前記（Ｋ×（Ｘｉｒ−Ｘｉｌ）÷
Ｗ）の和に基づいて、前記第２出力ラインＹｏに対応す
る前記車両画像の第３入力ラインＹｊを算出する第３座
標読み取り位置算出手段と、前記各第２出力ラインＹｏ
毎に前記第３座標読み取り位置算出手段により算出され
た前記第３入力ラインＹｊ上の前記道路左端及び前記道
路右端を算出する第４座標読み取り位置算出手段と、前
記第４座標読み取り位置算出手段により算出された前記
道路左端と前記道路右端との間の前記車両画像を前記第
２出力ラインＹｏ上の幅Ｗの出力画像に変換して、第２
画像を作成する第２画像変換手段と、前記第１画像と前
記第２画像を合成して、鳥瞰画像を作成する合成手段
と、を具備したことを特徴とする道路状況画像処理装
置。

【０１６２】（付記４） 前記合成手段は、前記第１画
像の各車両の最後尾が該最後尾に対応する前記道路監視
画像における入力ラインに対応する前記第２画像の出力
ラインに一致するように前記第１画像と前記第２画像と
を合成することを特徴とする付記３記載の道路状況画像
処理装置。

【０１６３】（付記５） 前記監視カメラが配置された
位置情報、前記道路の道幅情報及び前記道路監視画像か
ら得られる前記道路左端又は前記道路右端の傾きに基づ
いて、前記監視カメラの俯角φを算出する俯角算出手段
と、前記道幅情報及び前記監視カメラの撮像素子のサイ
ズに基づいて、前記監視カメラの焦点距離を算出する焦
点距離算出手段とを更に具備し、前記道路範囲算出手段
は、前記監視カメラの焦点距離、前記監視カメラの撮像
素子のサイズ及び前記監視カメラの俯角φに基づき、前
記撮像素子の最上部及び最下部に対応する道路の第１位
置及び第２位置を算出して、前記第１位置と前記第２位
置との間の道路領域を変換対象の道路範囲として算出す
ることを特徴する付記３記載の道路状況画像処理装置。

【０１６４】（付記６） 前記道路が概略真っ直ぐあ
り、前記第１座標算出手段は、監視カメラの位置を原
点、道路方向に平行な直線をｘ軸、道路幅方向に平行な
直線をｙ軸、垂直方向をｚ軸とする３次元座標空間にお
いて、前記道路上の任意な実座標点（ｘ，ｙ，ｚ）を前
記ｙ軸中心に−俯角φだけ回転移動した回転座標点
（Ｘ，Ｙ，Ｚ）と該回転座標点（Ｘ，Ｙ，Ｚ）に対応す
る前記撮像素子の中心を原点とする２次元画面空間にお
ける座標点（ｕ，ｖ）との対応関係、実座標点（ｘ，
ｙ，ｚ）と前記回転座標点（Ｘ，Ｙ，Ｚ）との対応関係
に基づいて、前記各道路区間に対応する前記２次元画面
空間におけるｖを算出することにより、前記フレームメ
モリ上の入力ラインＹｊを算出することを特徴とする付
記２記載の道路状況画像処理装置。

【０１６５】（付記７） 複数の前記各監視カメラが撮
像した複数の道路状況画像の複数の前記鳥瞰画像を合成
して、画面に表示する画像合成手段を更に具備したこと
を特徴とする付記１、２又は３記載の道路状況画像処理
装置。

【０１６６】（付記８） 前記道路座標点取得手段は、
前記道路監視画像から垂直エッジを抽出するエッジ抽出
手段と、前記垂直エッジから縦方向に連続する連続垂直
エッジを求めるトレース手段と、前記連続垂直エッジに
基づいて道路領域の前記道路座標点（Ｘｉｌ，Ｘｉｒ）
を算出する道路座標点算出手段とを具備したことを特徴
とする付記１、２又は３記載の道路状況画像処理装置。

【０１６７】（付記９） 前記鳥瞰画像に基づいて、背
景画像作成、エッジ抽出を行う前処理手段と、前記前処
理手段の前処理画像に基づいて、渋滞検出、事故検出及
び交通流測定を行う自動検出手段とを更に具備したこと
を特徴とする付記１、２又は３記載の道路状況画像処理
装置。

【０１６８】（付記１０） 複数の前記各監視カメラが
撮像した複数の道路状況画像の各鳥瞰画像を作成するた
めの前記各幅Ｗをそれぞれ入力するレイアウト手段を更
に具備したことを特徴とする付記７記載の道路状況画像
処理装置。

【０１６９】（付記１１） 前記鳥瞰画像の符号化して
符号化画像を作成する符号化手段と、前記符号化画像を
通信回線に送信する画像送信手段とを更に具備したこと
を特徴とする付記１、２又は３記載の道路状況画像処理
装置。

【０１７０】

【発明の効果】以上説明した本発明によれば、遠景・近
景の車両のアスペクト比が一定となり車両の歪みが小さ
くなること、複数区間の道路監視画像を１つの画面に表
示できるので監視が容易になること、複数区間の道路監
視画像の車線の重みを付けて表示することができるので
注目する監視画像がより見やすくなることの効果を奏す
ることができる。また、車両の速度が一定となり、近
景、遠方に係わらずより正確に目視や画像処理により把
握することが可能となる。更に、車両のアスペクト比を
保持すると共に画面上で等速に車両が移動する鳥瞰画像
を得ることができる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の第１実施形態による道路監視画像処理
装置の構成図である。

【図３】図２中のＴＶ監視画像変形装置の構成図であ
る。

【図４】図３中の鳥瞰画像変換部の構成図である。

【図５】鳥瞰画像と原画像との関係を示す図である。

【図６】図２中の画像合成装置の構成図である。

【図７】図４中の自動道路領域抽出部のフローチャート
である。

【図８】垂直エッジ抽出を示す図である。

【図９】垂直エッジ抽出を示す図である。

【図１０】垂直エッジ抽出を示す図である。

【図１１】道路領域の抽出例を示す図である。

【図１２】画像変換処理フローチャートである。

【図１３】道路監視画像の鳥瞰図である。

【図１４】複数区間の道路監視画像の合成表示例を示す
図である（車線重み一定）。

【図１５】複数区間の道路監視画像の合成表示例を示す
図である（車線重み変更）。

【図１６】本発明の第２実施形態による道路監視画像処
理装置の構成図である。

【図１７】図１６中のＴＶ監視画像変形装置の構成図で
ある。

【図１８】図１６中の画像合成装置の構成図である。

【図１９】本発明の第３実施形態による道路監視画像処
理システムの構成図である。

【図２０】本発明の第４実施形態による道路監視画像処
理システムの構成図である。

【図２１】本発明の第５実施形態による道路監視画像処
理装置の構成図である。

【図２２】図２１中のＴＶ監視画像変形装置の構成図で
ある。

【図２３】監視カメラのジオメトリを示す図である。

【図２４】３次元実座標系と２次元画面座標系との関係
を示す図である。

【図２５】実座標（ｘ，ｙ，ｚ）と画面座標系との関係
を示す図である。

【図２６】鳥瞰図変換パラメータを示す図である。

【図２７】実空間座標の画面空間への写像を示す図であ
る。

【図２８】図２２中の画像鳥瞰図変換部の構成図であ
る。

【図２９】図２８中のＶ座標読み取り位置算出部の構成
図である。

【図３０】画像変換処理のフローチャートである。

【図３１】道路監視画像から鳥瞰画像への画像変換処理
を示す図である。

【図３２】本発明の第６実施形態による道路監視画像処
理装置の構成図である。

【図３３】図３２中のＴＶ監視画像変形装置の構成図で
ある。

【図３４】図３３中の画像鳥瞰図変換部の構成図であ
る。

【図３５】図３４中の変換テーブル構成図である。

【図３６】図３４中の合成部の構成図である。

【図３７】従来の道路画像監視装置の構成図である。

【図３８】従来の解像度の違いを補う方法を示す図であ
る。

【符号の説明】

２０ 監視カメラ ２２ フレームメモリ ２４ 道路座標点取得手段 ２６ 累積加算手段 ２８ 係数算出手段 ３０ 第１座標読み取り位置算出手段 ３２ 第２座標読み取り手段 ３４ 画像変換手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ ５Ｈ１８０ 7/18 7/18 Ｊ ５Ｌ０９６ Ｋ Ｖ // Ｇ０８Ｇ 1/01 Ｇ０８Ｇ 1/01 Ｃ Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CD05 CD12 CD14 CD20 CE08 CE09 CH09 DA07 DA08 DA13 DA15 DB02 DC03 DC16 DC23 5C022 AA04 AB61 AC01 AC42 5C054 AA01 AA05 CC02 CE12 CH01 DA09 EA05 ED12 EH01 FC14 FC15 FC16 FD03 FE12 FE18 FF06 HA30 5C086 AA60 BA30 CA28 CB36 DA14 DA33 EA45 FA18 5C087 AA02 AA03 AA24 AA25 BB03 BB74 DD49 EE05 EE07 FF01 FF02 FF04 FF19 FF20 GG02 GG23 5H180 AA01 CC04 DD01 5L096 CA05 CA14 EA03 EA35 FA37 FA66 FA69 HA03 LA05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 道路近辺に配置された道路状況を撮影す
   る監視カメラが撮像した道路監視画像を記憶するフレー
   ムメモリと、 前記フレームメモリの各入力ラインＹｉ上に位置する道
   路左端及び道路右端の前記フレームメモリでの左端座標
   点Ｘｉｌ及び右端座標点Ｘｉｒを取得する道路座標点取
   得手段と、 （前記Ｘｉｒ−前記Ｘｉｌ）の前記入力ラインＹｉにつ
   いての累積加算値Ｘを求める累積加算手段と、 道路を表示する幅のドット数Ｗ及び高さのドット数Ｈ並
   びに比例係数Ｋ（Ｋ＞０）としたとき、前記累積加算値
   Ｘ×前記比例係数Ｋ÷前記幅のドット数Ｗが前記高さの
   ドット数Ｈに一致するように前記比例係数Ｋを算出する
   係数算出手段と、 表示画像画面の各出力ラインＹｏについて、前記フレー
   ムメモリの最下端ライン又は最上端ラインから、前記表
   示画像画面の最下端ライン又は最上端ラインから前記出
   力ラインＹｏまでのライン数分の前記（Ｋ×（Ｘｉｒ−
   Ｘｉｌ）÷Ｗ）の和に基づいて、前記出力ラインＹｏに
   対応する前記道路状況画像の入力ラインＹｊを算出する
   第１座標読み取り位置算出手段と、 前記各出力ラインＹｏ毎に前記第１座標読み取り位置算
   出手段により算出された前記入力ラインＹｊ上の前記道
   路左端及び前記道路右端を算出する第２座標読み取り位
   置算出手段と、 前記第２座標読み取り位置算出手段により算出された前
   記入力ラインＹｊ上の前記道路左端と前記道路右端との
   間の前記道路監視画像を前記出力ラインＹｏ上の幅Ｗの
   出力画像に変換して、鳥瞰画像を作成する画像変換手段
   と、 を具備したことを特徴とする道路状況画像処理装置。
2. 【請求項２】 道路近辺に配置された道路状況を撮影す
   る監視カメラが撮像した道路監視画像を記憶するフレー
   ムメモリと、 前記フレームメモリの各入力ラインＹｉ上に位置する道
   路左端及び道路右端の前記フレームメモリでの左端座標
   点Ｘｉｌ及び右端座標点Ｘｉｒを取得する道路座標点取
   得手段と、 前記監視カメラにより撮像される道路領域の範囲を算出
   する道路範囲算出手段と、 前記道路領域を表示画像画面の縦方向のライン数に基づ
   いて道路長方向に等間隔に複数個の道路区間に分割し
   て、各道路区間に対応する前記表示画像画面の各出力ラ
   インを求め、該各第１出力ラインに対応する前記第２フ
   レームメモリ上の入力ラインＹｊを算出する第１座標読
   み取り位置算出手段と、 前記各出力ラインＹｏ毎に前記第１読み取り位置算出手
   段により算出された前記入力ラインＹｊ上の前記道路左
   端及び前記道路右端を算出する第２座標読み取り位置算
   出手段と、 前記各出力ラインＹｏ毎に前記第２座標読み取り手段に
   より算出された入力ラインＹｊ上の前記道路左端と前記
   道路右端との間の前記前記道路監視画像を前記出力ライ
   ンＹｏ上の幅Ｗの出力画像に変換して、鳥瞰画像を作成
   する像変換手段と、 を具備したことを特徴とする道路状況画像処理装置。
3. 【請求項３】 道路近辺に配置された道路状況を撮影す
   る監視カメラが撮像した道路監視画像を記憶する第１フ
   レームメモリと、 背景画像を記憶する第２フレームメモリ、 車両画像を記憶する第３フレームメモリと、 前記第１フレームメモリに記憶された前記道路監視画像
   を車両画像及び背景画像に分離して、前記背景画像を前
   記第２フレームメモリに、前記車両画像を前記第３フレ
   ームメモリに書き込む車両・背景抽出手段と、 前記第１フレームメモリの各第１入力ラインＹｉ上に位
   置する道路左端及び道路右端の前記第１フレームメモリ
   での横の左端座標点Ｘｉｌ及び右端座標点Ｘｉｒを取得
   する道路座標点取得手段と、 前記監視カメラにより撮像される道路領域の範囲を算出
   する道路範囲算出手段と、 前記道路領域を前記表示画像画面の縦方向のライン数に
   基づいて道路長方向に等間隔に複数個の道路区間に分割
   して、各道路区間に対応する前記表示画像画面に対応す
   る各第１出力ラインを求め、該各第１出力ラインに対応
   する前記第２フレームメモリ上の第２入力ラインＹｊを
   算出する第１座標読み取り位置算出手段と、 各第１出力ラインＹｏ毎に前記第１読み取り位置算出手
   段により算出された前記第２入力ラインＹｊ上の前記道
   路左端及び前記道路右端を算出する第２座標読み取り位
   置算出手段と、 前記各第１出力ラインＹｏ毎に前記第２座標読み取り手
   段により算出された第２入力ラインＹｊ上の前記道路左
   端と前記道路右端との間の前記背景画像を前記第１出力
   ラインＹｏ上の幅Ｗの出力画像に変換して、第１画像を
   作成する第１画像変換手段と、 （前記Ｘｉｒ−前記Ｘｉｌ）の前記第１入力ラインＹｉ
   についての累積加算値Ｘを求める累積加算手段と、 表示画像画面の各第２出力ラインＹｏについて、前記第
   ３フレームメモリの最下端ライン又は最上端ラインか
   ら、前記表示画像画面の最下端ライン又は最上端ライン
   から前記第２出力ラインＹｏまでのライン数分の前記
   （Ｋ×（Ｘｉｒ−Ｘｉｌ）÷Ｗ）の和に基づいて、前記
   第２出力ラインＹｏに対応する前記車両画像の第３入力
   ラインＹｊを算出する第３座標読み取り位置算出手段
   と、 前記各第２出力ラインＹｏ毎に前記第３座標読み取り位
   置算出手段により算出された前記第３入力ラインＹｊ上
   の前記道路左端及び前記道路右端を算出する第４座標読
   み取り位置算出手段と、 前記第４座標読み取り位置算出手段により算出された前
   記道路左端と前記道路右端との間の前記車両画像を前記
   第２出力ラインＹｏ上の幅Ｗの出力画像に変換して、第
   ２画像を作成する第２画像変換手段と、 前記第１画像と前記第２画像を合成して、鳥瞰画像を作
   成する合成手段と、 を具備したことを特徴とする道路状況画像処理装置。
4. 【請求項４】 前記合成手段は、前記第１画像の各車両
   の最後尾が該最後尾に対応する前記道路監視画像におけ
   る入力ラインに対応する前記第２画像の出力ラインに一
   致するように前記第１画像と前記第２画像とを合成する
   ことを特徴とする請求項３記載の道路状況画像処理装
   置。
5. 【請求項５】 前記監視カメラが配置された位置情報、
   前記道路の道幅情報及び前記道路監視画像から得られる
   前記道路左端又は前記道路右端の傾きに基づいて、前記
   監視カメラの俯角φを算出する俯角算出手段と、前記道
   幅情報及び前記監視カメラの撮像素子のサイズに基づい
   て、前記監視カメラの焦点距離を算出する焦点距離算出
   手段とを更に具備し、前記道路範囲算出手段は、前記監
   視カメラの焦点距離、前記監視カメラの撮像素子のサイ
   ズ及び前記監視カメラの俯角φに基づき、前記撮像素子
   の最上部及び最下部に対応する道路の第１位置及び第２
   位置を算出して、前記第１位置と前記第２位置との間の
   道路領域を変換対象の道路範囲として算出することを特
   徴する請求項３記載の道路状況画像処理装置。
6. 【請求項６】 前記道路が概略真っ直ぐあり、前記第１
   座標算出手段は、監視カメラの位置を原点、道路方向に
   平行な直線をｘ軸、道路幅方向に平行な直線をｙ軸、垂
   直方向をｚ軸とする３次元座標空間において、前記道路
   上の任意な実座標点（ｘ，ｙ，ｚ）を前記ｙ軸中心に−
   俯角φだけ回転移動した回転座標点（Ｘ，Ｙ，Ｚ）と該
   回転座標点（Ｘ，Ｙ，Ｚ）に対応する前記撮像素子の中
   心を原点とする２次元画面空間における座標点（ｕ，
   ｖ）との対応関係、実座標点（ｘ，ｙ，ｚ）と前記回転
   座標点（Ｘ，Ｙ，Ｚ）との対応関係に基づいて、前記各
   道路区間に対応する前記２次元画面空間におけるｖを算
   出することにより、前記フレームメモリ上の入力ライン
   Ｙｊを算出することを特徴とする請求項２記載の道路状
   況画像処理装置。