JP2002123829A

JP2002123829A - 画像変形装置および対象物拡大表示方法

Info

Publication number: JP2002123829A
Application number: JP2000313714A
Authority: JP
Inventors: Michio Miwa; 道雄三輪; Ryosuke Iida; 亮介飯田; Katsumasa Onda; 勝政恩田; Masato Nishizawa; 眞人西澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-10-13
Filing date: 2000-10-13
Publication date: 2002-04-26

Abstract

(57)【要約】【課題】折り返しノイズの発生しない画像変形装置を
提供するとともに、対象物拡大表示方法を提供するこ
と。【解決手段】画像を撮影するカメラ１１と、カメラ１
１によって入力された画像を複数の領域に分割し、その
領域を判別する第１の画像領域判別手段１３と、画像の
もつ周波数成分の一部を除去する際、第１の画像領域判
別手段１３によって判別された領域毎に除去する周波数
を変える入力フィルタ１２と、フィルタの係数を保持す
る第１のフィルタ係数保持手段１４と、入力フィルタ１
２によって周波数成分の一部を除去された画像を保持す
る原画像保持手段１５と、画像の変形率を保持する画像
変形率保持手段１７と、原画像保持手段１５に保持され
た画像を画像変形率保持手段１７の保持する変形率に応
じて変形させる画像変形手段１６と、この変形された画
像を保持する表示画像保持手段１８と、この保持された
画像を表示する表示手段１９とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮影され
た画像を拡大および／または縮小する画像変形装置およ
び撮影された特定の対象物を拡大表示する対象物拡大表
示方法に関し、特に、車を駐車場に入れる際に運転者に
周囲の状況を把握するための表示方法に関連した画像変
形装置および対象物拡大表示方法に関するものである。

【０００２】

【従来の技術】従来、この種の画像変形装置は、図２４
に示されるように、カメラ２から入力された画像を変形
する画像処理装置１に、カメラ２から取得した画像を保
持する入力画像保持手段３と、所定の変形率を有する画
像変形率保持手段５と、その変形率に従って入力画像保
持手段３に保持されている画像を変形する画像変形手段
４と、変形された画像を保持する表示画像保持手段６と
を設け、保持された変形画像を表示手段７によって表示
するものであった。（特開平１１―７８６９２号公
報）。

【０００３】図２５は、従来の画像変形装置が動作して
いる様子を示している。カメラ２は車の後方に取り付け
られており、カメラ２によって入力された画像は、画像
処理装置１によって、表示手段７に表示される。この結
果、運転者８は後方の様子を表示手段７によって確認す
ることが可能である。

【０００４】図２６は、カメラ２によって撮影された画
像Ｐ１と、表示手段７に表示されている画像Ｐ２との関
係を示している。カメラ２によって撮影された画像Ｐ１
の路面は、車に近いほど大きく、遠くなるほど小さくな
っているが、画像Ｐ２のように、車からの距離に関係な
く、同じ大きさに変形して表示することも可能である。
このようにすれば、路面をあたかも真上から見たような
表示をすることが可能である。

【０００５】図２７は、カメラ２によって撮影した画像
Ｐ１と、表示手段７に表示されている画像Ｐ２の画像の
拡大縮小率の設定区分を示したものである。自車に近い
部分はＲ１のように縮小して表示され、遠い部分、すな
わち後続車に近い部分は、Ｒ３のように拡大して表示さ
れ、中間の部分はＲ２のように等倍になっている。

【０００６】

【発明が解決しようとする課題】しかし、このような従
来の画像変形装置では、画像の縮小や拡大に従って、折
り返しノイズやジャギーが発生するという問題点があっ
た。

【０００７】本発明はこのような問題を解決するために
なされたもので、画像の拡大縮小に伴う折り返しノイズ
やジャギーの発生をなくすことのできる画像変形装置を
提供するものである。

【０００８】

【課題を解決するための手段】本発明の画像変形装置
は、画像を撮影するカメラと、このカメラによって入力
された画像を複数の領域に分割し、その領域を判別する
画像領域判別手段と、前記画像の有する周波数成分か
ら、前記画像領域判別手段によって判別された領域毎に
除去する周波数を変えて、一部除去する入力フィルタ
と、この入力フィルタのフィルタ係数を前記領域毎に保
持するフィルタ係数保持手段と、前記入力フィルタによ
って周波数成分の一部を除去された画像を保持する原画
像保持手段と、画像の変形率を前記領域毎に保持する画
像変形率保持手段と、前記原画像保持手段に保持された
画像を前記画像変形率保持手段が保持する変形率に応じ
て変形させる画像変形手段と、この画像変形手段によっ
て変形された画像を保持する表示画像保持手段と、この
表示画像保持手段に保持された画像を表示する表示手段
とを備えている。この構成により、画像が縮小された場
合でも折り返しノイズをなくすことができる。

【０００９】また、本発明の画像変形装置は、画像を撮
影するカメラと、このカメラによって入力された画像を
保持する原画像保持手段と、画像の変形率を保持する画
像変形率保持手段と、前記原画像保持手段に保持された
画像を前記画像変形率保持手段の保持する変形率に応じ
て変形させる画像変形手段と、この画像変形手段によっ
て変形された画像を保持する表示画像保持手段と、この
表示画像保持手段に保持された画像を複数の領域に分割
し、その領域を判別する画像領域判別手段と、前記表示
画像保持手段に保持された画像の周波数成分を、前記画
像領域判別手段によって判別された画像の領域毎に除去
する周波数を変えて、一部除去する出力フィルタと、こ
の出力フィルタのフィルタ係数を前記領域毎に保持する
フィルタ係数保持手段と、前記出力フィルタによって周
波数成分の一部を除去された画像を表示する表示手段と
を備えている。この構成により、画像が拡大される場合
でもジャギーをなくすことができる。

【００１０】また、本発明の画像変形装置は、前記フィ
ルタ係数保持手段は、前記画像変形率保持手段の保持す
る画像の変形率を求める画像拡大率計測手段と、この画
像拡大率計測手段によって得られた画像の拡大率に応じ
て前記フィルタ係数を決定し、前記フィルタ係数保持手
段に保持させるフィルタ係数決定手段とを含んでも良
い。この構成により、画像の縮小率または拡大率に応じ
て自動的にフィルタ係数を決定することができる。

【００１１】さらに、本発明の画像変形装置は、画像を
撮影するカメラと、このカメラによって入力された画像
を複数の領域に分割し、その領域を判別する第１の画像
領域判別手段と、前記画像の周波数成分を、前記第１の
画像領域判別手段によって判別された画像の領域毎に除
去する周波数を変えて、一部除去する入力フィルタと、
この入力フィルタのフィルタ係数を前記領域毎に保持す
る第１のフィルタ係数保持手段と、前記入力フィルタに
よって周波数成分の一部を除去された画像を保持する原
画像保持手段と、画像の変形率を前記領域毎に保持する
画像変形率保持手段と、前記原画像保持手段に保持され
た画像を前記画像変形率保持手段の保持する変形率に応
じて変形させる画像変形手段と、この画像変形手段によ
って変形された画像を保持する表示画像保持手段と、こ
の表示画像保持手段に保持された画像を複数の領域に分
割し、その領域を判別する第２の画像領域判別手段と、
前記表示画像保持手段に保持された画像の周波数成分
を、前記第２の画像領域判別手段によって判別された画
像の領域毎に除去する周波数を変えて、一部除去する出
力フィルタと、この出力フィルタのフィルタ係数を保持
する第２のフィルタ係数保持手段と、前記出力フィルタ
によって周波数成分の一部を除去された画像を表示する
表示手段とを備えている。この構成により、画像の縮小
に伴う折り返しノイズと、画像の拡大に伴うジャギーを
同時になくすことができる。

【００１２】また、本発明の画像変形装置は、前記第１
および第２フィルタ係数保持手段は、前記画像変形率保
持手段の保持する画像の変形率を求める画像拡大率計測
手段と、この画像拡大率計測手段によって得られた画像
の拡大率に応じて前記フィルタ係数を決定し、第１およ
び第２フィルタ係数保持手段にそれぞれ保持させる第１
および第２のフィルタ係数決定手段とを含んでも良い。
この構成により、画像の縮小率および拡大率に応じて自
動的にフィルタ係数を決定することができる。

【００１３】さらに、本発明の対象物拡大表示方法は、
撮影対象物の場所を示すマーカーを設けるステップと、
前記撮影対象物およびマーカーをカメラで撮影する撮影
ステップと、前記撮影ステップで撮影した画像を保持す
る入力画像保持ステップと、この入力画像保持ステップ
で保持された画像からマーカーを識別するマーカー識別
ステップと、前記入力画像保持ステップで保持された画
像を前記マーカー識別ステップで識別されたマーカーを
中心として拡大する画像変形ステップと、この画像変形
ステップによって変形された画像を表示する表示ステッ
プとを含んでいる。これにより、本発明の対象物拡大表
示方法は、車が道路を走行する際、運転者に対して遠く
の標識を拡大して表示したり、運転者が標識を見落とす
ことを防止することができる。

【００１４】さらに、本発明の対象物拡大表示方法は、
移動物体をカメラで撮影する撮影ステップと、この撮影
ステップで撮影した画像を第１および第２の画像記憶装
置に保持する画像保持ステップと、前記画像保持ステッ
プで第１および第２の画像記憶装置に保持された画像か
ら動きベクトルを検出する動きベクトル検出ステップ
と、対象物までの距離を測定する距離測定ステップと、
この距離測定ステップで測定された距離を保持する距離
データ保持ステップと、前記動きベクトル検出ステップ
で検出された物体の動きと、前記距離データ保持ステッ
プで保持された距離データから物体を検出する物体検出
ステップと、前記物体検出ステップで検出された物体の
位置に基づいて、投影面を作成する投影面作成ステップ
と、この投影面作成ステップで作成された投影面に前記
画像保持手段で第１の画像記憶装置に保持された画像を
投影し画像の変形を行う画像変形ステップと、この画像
変形ステップで変形された画像を表示する表示ステップ
とを含んでいる。これにより、移動物体のみを拡大して
表示することができる。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。尚、すべての図面におい
て、同様な構成要素は同じ参照記号および符号を用いて
示し、詳細な説明は省略する。（第１の実施の形態）

【００１６】図１に示すように、本発明の第１の実施の
形態の画像変形装置は、画像を撮影して入力するカメラ
１１と、この入力された画像の周波数成分の一部を取り
除く入力フィルタ１２と、入力された画像を複数の領域
に分割し、その領域がどの部分であるかを判別する第１
の画像領域判別手段１３と、領域毎の入力フィルタ１２
の係数を保持する第１のフィルタ係数保持手段１４と、
フィルタを施された画像を保持する原画像保持手段１５
とを備えたものである。このように構成された画像変形
装置によれば、入力フィルタ１２によって施されるフィ
ルタは画像全体に一定のものが施されるのではなく、第
１の画像領域判別手段１３によって判別された領域毎に
第１のフィルタ係数保持手段１４に保持された個別の係
数を設定して、フィルタを施すことができる。

【００１７】さらに、本実施の形態の画像変形装置は、
原画像保持手段１５に保持された画像を変形する画像変
形手段１６と、画像の領域毎の変形率を保持する画像変
形率保持手段１７と、変形された結果を保持する表示画
像保持手段１８と、保持された画像を表示する表示手段
１９とを備えている。

【００１８】以上のように構成された画像変形装置につ
いて、図２乃至図９を用いてその動作を説明する。

【００１９】図２７で説明したように、自車の後方をあ
たかも自車の真上から撮影した路面のように表示する為
には、自車に近い部分は縮小し、自車から遠い部分は拡
大する必要がある。図２は、その様子をさらに詳しく示
したもので、画像の下方すなわち、自車に近い部分が撮
影されている部分Ｒ１は縮小され、画像の上方すなわち
車から遠い部分が撮影されている部分Ｒ３は拡大され、
その中間Ｒ２は拡大縮小の度合いが小さくほぼ等倍され
ている。

【００２０】画像をこのように縮小したり拡大すると、
先にも述べたように、画像の縮小においては、折り返し
ノイズが発生し、画像の拡大においては、斜めの直線が
ギザギザになってしまう。画像の縮小時においては、高
周波成分を取り除くことにより、また画像の拡大時にお
いては、拡大前の画像をぼかすことによって、このよう
な現象を抑制することが可能である。さらに、ひとつの
画像において、縮小と拡大が同じに発生する場合には、
画像の領域に合わせて、異なった処理を施せば良い。

【００２１】以下、図３乃至図６を用いて、画像に対し
てフィルタを施す方法を述べた後、図７乃至図９を用い
て画像を領域に分け、領域毎に異なったフィルタを施す
方法について述べる。

【００２２】図３は、画像に対するフィルタ工程を示し
たものである。図３（ａ）に示すように、入力画像３１
に対してフィルタが施され出力画像３２になる。以下の
説明は、フィルタの大きさが５×５の場合について行
う。出力画像３２の画素３３ｏが生成される場合は、入
力画像３１の対応する画素３３ｉを中心とした領域３５
内の画素に対してその画素の値と重み付けされた係数と
の乗算が行われ、出力画像３２の画素３３ｏの値が決ま
る。

【００２３】図３（ｂ）に示すように、一次元のフィル
タ係数３６をc_A，b_A，a_A，b_A，c_Aとした時、２次元の係
数３７が得られる。図３（ｃ）には、例として、一次元
のフィルタ係数３６と２次元の係数３７の数値を示して
ある。

【００２４】図４は、出力画像３２の画素３３ｏの値を
決定する方法を示したものである。同図に示すように、
領域３５の画素の値４１を左上から順に、Ｐ_-2-2，Ｐ
_-2-1，・・・，Ｐ_-0-0，・・・，Ｐ₊₂₊₁，Ｐ₊₂₊₂とす
る。最初に、これらに縦方向に係数４２を掛け合わせ
る。この結果、値４３が得られる。そして、横方向に係
数４４を掛け合わせ、値４５が得られる。この時、各画
素に掛け合わされた係数の並びは、図３（ｂ）の２次元
の係数３７と同じようになっている。このように出力画
像３２の画素３３ｏの値Ｐ２は、下記の式（１）によっ
て決定される。

【００２５】Ｐ２＝c_Ac_AP_-2-2＋b_Ac_AP_-1-2＋…＋a_Aa_AP_-0-0＋…＋c_Ac_AP₊₂₊₂ ・・・式（１）

【００２６】図５は、入力画像３１にフィルタを施す構
成の全体を示す概略ブロック図である。同図に示すよう
に、入力画像３１の各画素を走査線６０に従って順に記
録する５つのラインバッファ５１と、入力画像３１の走
査線６０毎の画像を入力するラインバッファ５１を選択
するセレクタ５２と、入力画像３１に施すべきフィルタ
の係数を格納する縦の係数保持手段６７および横の係数
保持手段６８と、この係数と走査線６０毎の横方向のア
ドレスに従って、乗算を行うＶフィルタ６５およびＨフ
ィルタ６６と、加算器５９と、同期信号発生手段６９と
を備えている。

【００２７】フィルタを施す前に、Ｖフィルタ６５およ
びＨフィルタ６６には、縦の係数保持手段６７および横
の係数保持手段６８に保持されているフィルタの係数が
それぞれセットされる。Ｖフィルタ６５は、５つのＶフ
ィルタユニット５３を含み、Ｈフィルタ６６は、５つの
Ｈフィルタユニット５４を含む。

【００２８】同期信号発生手段６９は、出力画像３２の
画素のアドレスをライン毎、ライン内の画素の左端から
の順毎に発生するものである。この同期信号に呼応し
て、セレクタ５２が入力画像３１の走査線６０毎の画像
をラインバッファ５１に入れていく。そして、走査線６
０毎の横方向のアドレスに従って、Ｖフィルタ６５およ
びＨフィルタ６６の係数との乗算が行われ、出力画像３
２が得られる。

【００２９】図６は、入力画像３１に対してフィルタを
施す様子を示したものである。図６（ａ）に示すよう
に、入力画像３１の各画素は、走査線６０に従って順に
ラインバッファ５１に記録される。ラインバッファ５１
の数はフィルタの縦の大きさと同じであり、すなわち本
実施の形態においては、５本で、Ｌ１，Ｌ２，Ｌ３，Ｌ
４およびＬ５とする。複数の走査線６０に対して、これ
らの５本のラインバッファＬ１，Ｌ２，Ｌ３，Ｌ４およ
びＬ５が、順に使用される。例えば、図６に示すように
走査線６０が、上から順に１，２，３，４，・・・と順
序付けられた場合は、走査線１，２，３，４，５の画像
は、ラインバッファＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５に記
録され、さらに、走査線６，７，８，９，１０の画像
は、ラインバッファＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５に記
録される。

【００３０】ライン識別子６２はラインバッファ５１に
記録された走査線６０の情報が、フィルタの何行目と演
算されるかを示すものである。ラインバッファ５１の各
ラインと対応しており、初期値は−２、−１、０、１、
２である。そして、ラインバッファ５１の内容が書きか
えられる毎にマイナス１されていく。この時、マイナス
１した結果が−３なった時は、新たに２がセットされ
る。

【００３１】ラインバッファ５１に記録された画素情報
は、図６（ｂ）に示すように、一画素ずつシフトされ
る。そしてラインバッファ５１の右端の画素３３ｒがそ
れぞれＶフィルタユニット５３に入力される。

【００３２】各Ｖフィルタユニット５３は、乗算器６１
と、セレクタ５５と、縦の係数５６とによって構成され
ている。縦の係数５６は、図４の係数４２に示したもの
が記録されており、左から−２，−１，０，１，２のよ
うに番号付けされている。

【００３３】Ｖフィルタユニット５３に入力された画素
情報と縦の係数５６を掛け合わせる時は、入力されたラ
インのライン識別子６２に対応する縦の係数５６が選択
される。図６（ａ）の場合では、ラインバッファ５１の
内容が何度か更新された後、一番上のラインバッファの
ライン識別子が０になっている。このため、一番上のＶ
フィルタユニット５３のセレクタ５５は縦の係数５６と
して０のものを選択し、この内容と一番上のラインバッ
ファの一番右の画素３３ｒの乗算が行われる。

【００３４】同じように、上から２番目のＶフィルタユ
ニット５３では、縦の係数５６は１のものが選択され
る。このようにして、５つのＶフィルタユニット５３の
縦の係数５６が、ライン識別子６２に対応して決定され
る。

【００３５】各Ｈフィルタユニット５４は、横の係数５
７と、シフトレジスタ５８とを含む。Ｖフィルタユニッ
ト５３で乗算された結果は、対応するＨフィルタユニッ
ト５４にそれぞれ入力され、シフトレジスタ５８に記録
される。Ｈフィルタユニット５４の横の係数５７には、
図４で示した係数４４に相当するものが記録されてお
り、シフトレジスタ５８の情報がシフトされる毎に各係
数と乗算が行われ加算されて出力される。

【００３６】各Ｈフィルタユニット５４から出力された
情報は、加算器５９によって加算され、出力画像３２の
１つの画素の値が決定される。このような手順により、
出力画像３２の画素３３ｏの値が決定される。

【００３７】次に、出力画像３２の画素３３ｏの１つ右
側の画素を決定する場合は、図６（ｂ）のラインバッフ
ァに記録されているデータが１画素分右にシフトされ
る。同時に、Ｈフィルタユニット５４のシフトレジスタ
５８の内容も１つ右にシフトされ、それぞれの演算が行
われる。この処理は、入力画像３１の領域３５を１画素
分右に移動することに相当する。

【００３８】こうして、出力画像３２の１ライン分の値
が決まった後、次のラインの値を求める。この処理は、
入力画像３１の領域３５を１ライン下に移動することに
相当している。このため、ラインバッファ５１のうち、
ライン識別子６２が−２になっているバッファに新たに
領域３５の範囲に含まれたラインを読み込む。さらに、
ライン識別子６２の値をそれぞれマイナス１する。

【００３９】以上、図３乃至図６を用いて、画像に対し
てフィルタを施す方法を述べたが、次に、図７乃至図９
を用いて画像を領域に分け、領域毎に異なったフィルタ
を施す方法について述べる。

【００４０】図７は、画像を分割し、分割した領域毎に
異なったフィルタを施す様子を示したものである。入力
画像７１は、領域７２Ａ、領域７２Ｂ、領域７２Ｃ、領
域７２Ｄに分けられている。領域７２Ａのあるラインの
右隅には画素７４Ａが、領域７２Ｂの同じラインの左隅
には画素７４Ｂが、領域７２Ｃの右上隅には画素７４Ｃ
が、領域７２Ｄの左上隅には画素７４Ｄがあるとする。

【００４１】領域毎のフィルタの係数は、第１のフィル
タ係数保持手段１４に保持されており、それぞれ領域７
２Ａの係数８５、領域７２Ｂの係数８６、領域７２Ｃの
係数８７、領域７２Ｄの係数８８である。また、これら
は、縦の係数および横の係数からそれぞれ構成されてい
る。領域７２Ａおよび領域７２Ｂの画素にフィルタを施
している間は、Ｖフィルタ７６Ａには、領域７２Ａの係
数８５の縦の係数８９が、Ｈフィルタ７８Ａには、領域
７２Ａの係数８５の横の係数９０が、Ｖフィルタ７６Ｂ
には、領域７２Ｂの係数８６の縦の係数９１が、Ｈフィ
ルタ７８Ｂには、領域７２Ｂの係数８６の横の係数９２
が保持される。

【００４２】フィルタの中心が領域７２Ａ内の画素にあ
る間は、セレクタ８４は、Ｈフィルタ７８Ａの出力を選
択している。そして、フィルタの中心が画素７４Ａから
画素７４Ｂに変わる時、セレクタ８４によって、Ｈフィ
ルタ７８Ａの出力からＨフィルタ７８Ｂの出力に切り替
えられる。

【００４３】以後、フィルタの中心が領域７２Ａおよび
領域７２Ｂ内にある間は、領域が変わるたびにセレクタ
８４によって、Ｈフィルタ７８ＡあるいはＨフィルタ７
８Ｂの出力が交互に選択される。

【００４４】フィルタの中心が、領域７２Ｃおよび領域
７２Ｄ移動した時、Ｖフィルタ７６Ａには、領域７２Ｃ
の係数８７の縦の係数９３が、Ｈフィルタ７８Ａには領
域７２Ｃの係数８７の横の係数９４が、Ｖフィルタ７６
Ｂには領域７２Ｄの係数８８の縦の係数９５が、Ｈフィ
ルタ７８Ｂには、領域７２Ｄの係数８８の横の係数９６
が格納される。領域が変わる毎にセレクタ８４によって
Ｈフィルタ７８Ａと７８Ｂの出力が切り替えられるの
は、領域７２Ａおよび領域７２Ｂの場合と同じである。

【００４５】図８は、画像を領域に分け、領域毎に異な
ったフィルタを施す場合の回路を示したものである。第
１のフィルタ係数保持手段１４は、複数の係数保持ユニ
ット９７を含み、各係数保持ユニット９７は、縦係数保
持ユニット９８および横係数保持ユニット９９を有し、
それぞれ、図７で説明した、縦の係数や横の係数を保持
している。

【００４６】画像領域判別手段１３は、同期信号Ｓによ
って、発生するアドレスからフィルタの中心位置がどの
領域に属しているかを判断し、縦係数選択手段８０およ
び横係数選択手段８１によって、Ｖフィルタ７６やＨフ
ィルタ７８にフィルタ係数をセットする。

【００４７】図９は、原画像保持手段１５のブロック構
成図である。カメラの同期信号発生手段８２は、カメラ
１１から取得する画素のアドレスを発生するものであ
る。画像メモリ８３は、この同期信号Ｓに呼応してフィ
ルタの施された画像を記録するものである。

【００４８】以上のように、本発明の第１の実施の形態
の画像変形装置は、カメラ１１によって取得した画像を
変形する場合、その縮小率に合わせて画像を領域に分割
し、領域毎に異なったフィルタを施すので、画像が縮小
された場合でも折り返しノイズをなくすことができる。（第２の実施の形態）

【００４９】図１０は、本発明の第２の実施の形態の画
像変形装置の概略ブロック構成図を示す。これは上記第
１の実施の形態とは、入力フィルタ１２、第１の画像領
域判定手段１３および第１のフィルタ計数保持手段１４
に代えて、表示画像保持手段１８に接続される出力フィ
ルタ１０１と、この出力フィルタ１０１に接続される第
２の画像領域判別手段１０２と、第２のフィルタ係数保
持手段１０３とを設けた点が相違している。

【００５０】第２の実施の形態では、画像変形手段１６
によって変形された画像は、表示画像保持手段１８に保
持され、この保持された画像が領域に分割され、領域毎
に異なったフィルタが施される。

【００５１】この際の動作は、原画像保持手段１５の同
期信号の代わりに表示手段１９に表示する表示画像のア
ドレスから得られる同期信号を用い、フィルタを施す画
像として、カメラ１１で取得した画像の代わりに、表示
画像保持手段１８に保持された画像を用いることを除い
て、第１の実施の形態で述べたものと同じである。

【００５２】出力フィルタ１０１は、表示画像保持手段
１８に保持された画像にフィルタを施し、表示手段１９
に表示させるものである。第２の画像領域判別手段１０
２は、表示画像保持手段１８に保持された画像が、複数
の領域に分割し、その領域がどの部分であるかを判別す
るものである。第２のフィルタ係数保持手段１０３は、
原画像保持手段１５に保持された画像が、第２の画像領
域判別手段１０２によって判別された領域毎に、画像変
形手段１６によってどの程度拡大されて表示画像保持手
段１８に保持されているかを保持するものである。すな
わち、領域毎の出力フィルタ１０１の係数を保持するも
のである。

【００５３】図１１は、本実施の形態の画像変形装置に
おいて、画像の拡大を行った場合の動作を説明する説明
図である。原画像保持手段１５に保持された画像１１１
が、画像変形手段１６によって１１２のように変形され
る。この時、画像の拡大が行われる領域１１４では、拡
大図１１５のように、ジャギーが発生する。さらに、出
力フィルタ１０１によって、フィルタを施すことによ
り、表示画像１１３を生成し、画像拡大部１１６はその
拡大図１１７のように滑らかになる。

【００５４】以上のように、本発明の第２の実施の形態
の画像変形装置は、カメラ１１によって取得した画像を
変形する場合、その拡大率に合わせて画像を領域に分割
し、領域毎に異なったフィルタを施すので、画像が拡大
される場合でもジャギーをなくすことができる。（第３の実施の形態）

【００５５】図１２は、本発明の第３の実施の形態の画
像変形装置の概略ブロック構成図を示す。これは上記第
１の実施の形態と第２の実施の形態を組み合わせたもの
である。この構成によれば、カメラ１１から入力された
画像が、画像変形手段１６によって、拡大および縮小さ
れる時、画像の縮小によって発生する折り返しノイズ
と、画像の拡大によって発生するジャギーを同時になく
すことが可能であるという効果が得られる。（第４の実施の形態）

【００５６】図１３は、本発明の第４の実施の形態の画
像変形装置の概略ブロック構成図を示す。これは上記第
３の実施の形態とは、画像変形率保持手段１７に拡大率
計測手段１３１と、第１のフィルタ係数決定手段１３２
と、第２のフィルタ係数決定手段１３３とを設けた点が
相違している。

【００５７】拡大率計測手段１３１は、画像変形率保持
手段１７に保持されている画像の拡大縮小の大きさの程
度を算出するものである。第１のフィルタ係数決定手段
１３２および第２のフィルタ係数決定手段１３３は、入
力フィルタ１２および出力フィルタ１０１の係数をそれ
ぞれ算出するものである。

【００５８】図１４は、拡大率計測手段１３１の動作を
示した説明図である。原画像保持手段１５には、入力画
像１４１が保持され、画像変形手段１６によって変形さ
れた画像１４２が、表示画像保持手段１８に保持され
る。画像１４２の４隅ＡＢＣＤは、画像１４１のＡＢＣ
Ｄの領域に相当しており、１１から４４で示す合計１６
個のブロックに分割されている。

【００５９】領域毎のフィルタの係数を決定する場合
は、これらの領域毎に拡大が起きているのか、縮小が起
きているのかを調べる。例えば、領域１３では、出力画
像１４２の隣り合った画素１４３の間隔は、入力画像１
４１の対応する隣り合った画素１４５の間隔と比較して
広がっており、拡大されていることが分かる。また領域
４３では、出力画像１４２の隣り合った画素１４４の間
隔は、入力画像１４１の対応する隣り合った画素１４６
の間隔と比較して狭くなっており縮小されていることが
分かる。そこで、拡大率計測手段１３１は、領域毎に隣
り合った画素の間隔を出力画像１４２と入力画像１４１
の間で比較し最大の縮小率あるいは拡大率を求めるもの
である。

【００６０】図１５は、縮小された領域でのフィルタ係
数を求める方法を示した説明図である。図１５（ａ）
は、原画像の持つ周波数成分ωが、（−ω_N＜ω＜ω_N）
の範囲のものを、サンプリング周波数ω_sでフーリエ変
換した時のスペクトル分布を示している。

【００６１】画像が縮小されて、サンプリング周波数が
ω_rのように小さくなった様子を示したものが図１５
（ｂ）である。この図では、ω_N＞（ω_r／２）であるた
め、スペクトルが重なり、折り返しノイズが発生してし
まう。そこで、ω_M＜（ω_r／２）となるような、フィル
タを原画像に施すことにより、折り返しノイズをなくす
ことが可能である。図１５（ｃ）はこの様子を示してい
る。

【００６２】図１６は、出力フィルタの係数を決定する
方法に説明したものである。最近傍法によって、図１６
（ａ）の黒いブロックで示される画像を拡大した時、図
１６（ｂ）のような黒いブロックが得られる。

【００６３】画像が拡大される場合のフィルタの係数
は、画像領域判別手段１３によって判別される原画像保
持手段１５の画像領域毎に決定される。

【００６４】カメラ１１から入力された画像の持つ周波
数成分の最大値をω_maxとし第１のフィルタ係数保持手
段１４に保持されたＭ行Ｎ列番目のブロックの周波数を
それぞれω_MNとしたとき、第２のフィルタ係数保持手段
１０３の保持するフィルタの係数Ω_MNが下記の式（２）
によって表される。

【００６５】 Ω_MN＝ｍａｘ｛ω_MN，ω_max｝・・・式（２）

【００６６】ここで、ｍａｘ｛ａ，ｂ｝は、ａかｂの大
きな方を選択することを意味する。

【００６７】このようにして第１および第２のフィルタ
係数決定手段１３２および１３３が、画像の領域毎に縮
小率または拡大率に応じてフィルタ係数を決定すること
ができる。（第５の実施の形態）

【００６８】図１７は、本発明の第５の実施の形態の対
象物拡大表示方法の構成図である。同図に示すように、
標識１７１にはマーカー１７２を設置しておく。本実施
の形態の対象物拡大表示方法は、カメラ１７３と、入力
画像保持手段１７４と、マーカー識別手段１７５と、画
像変形手段１７６と、表示手段１７７とを含む。

【００６９】このように構成された対象物拡大表示方法
の作用を説明する。始めに、カメラ１７３により、標識
１７１およびマーカー１７２を撮影する。カメラ１７３
によって撮影された画像は、入力画像保持手段１７４に
保持される。マーカー識別手段１７５は、入力画像保持
手段１７４に保持された画像からマーカーの位置を識別
する。画像変形手段１７６は入力画像保持手段に保持さ
れた画像をマーカーの位置を中心として拡大する。この
結果は、表示手段１７７に表示される。

【００７０】図１８は、本実施の形態の対象物拡大表示
方法の適用例を説明する説明図である。同図に示すよう
に、マーカー１７２を設けた道路標識１７１が設置さ
れ、カメラ１７３を搭載した車１８３がこれに向かって
走行している。道路標識１７１と車１８３の距離が遠い
場合、カメラ１７３によって撮影された画像１８１で
は、標識１７１は小さく表示される。標識１７１に添付
されたマーカー１７２周辺の画像領域を拡大して、画像
１８２を生成することにより、標識１７１を大きく表示
することが可能である。

【００７１】以上のように、本発明の第５の実施の形態
の対象物拡大表示方法は、標識にマーカーを設け、この
マーカーを識別子、マーカーの周辺領域を拡大すること
により、車が道路を走行する際、運転者に対して遠くの
標識を拡大して表示して標識を確認し易くしたり、運転
者が標識を見落とす危険を無くすことができる。（第６の実施の形態）

【００７２】図１９は、本発明の第６の実施の形態の対
象物拡大表示方法のブロック構成図である。同図に示す
ように、本実施の形態の対象物拡大表示方法２０２は、
第１の画像保持手段１９２と、第２の画像保持手段１９
３と、動きベクトル検出手段１９４と、距離データ保持
手段１９６と、物体検出手段１９７と、投影面作成手段
１９８と、投影手段１９９と、画像変形装置２００とを
含む。対象物拡大表示方法２０２には、カメラ１９１
と、距離測定手段１９５と、表示手段２０１とが設けら
れている。

【００７３】カメラ１９１によって撮影された画像は、
交互に第１の画像保持手段１９２あるいは第２の画像保
持手段１９３に保持される。動きベクトル検出手段１９
４は、これらの画像保持手段の画像を比較してカメラ１
９１で撮影した映像から動きベクトルを抽出するもので
ある。物体検出手段１９７は、動きベクトル検出手段１
９４で検出された動きベクトルに基づいて動いている物
体を検出するものである。

【００７４】距離測定手段１９５は、カメラ１９１と同
じ方向に向けてあり、カメラ１９１で撮影している視野
内にある物体までの距離を測定し、距離データ保持手段
１９６に保持させるものである。

【００７５】投影面作成手段１９８は、物体検出手段１
９７の検出した物体に合わせて第１の画像保持手段に保
持されている画像を投影するための投影面を作成するも
のである。この時、距離データ保持手段１９６に保持さ
れた物体までの距離データを参考にして、物体がカメラ
１９１に近すぎる場合は、動いている物体が大きくなり
すぎないように投影面を調整する。

【００７６】投影手段１９９は、投影面作成手段１９８
によって作成された投影面に第１の画像保持手段１９２
に保持されている画像、あるいは第２の画像保持手段１
９３に保持されている画像を投影するものである。画像
変形手段２００は、この画像を変形するものである。表
示手段２０１は、この結果を表示するものである。

【００７７】図２０は、本実施の形態の対象物拡大表示
方法の作用を説明する説明図である。移動物体として、
例えば、侵入者２１０がカメラ１９１を前を通りすぎる
と、カメラ１９１には、撮影画像２０３のような画像が
撮影される。この画像を、対象物拡大表示方法２０２に
よって、投影面２０４に投影し、強調画像２０５のよう
な画像を作成する。この結果、侵入者２１０が拡大表示
されると共に、周辺の物体は小さく表示される。

【００７８】図２１は、物体検出手段１９７および距離
データ保持手段１９６の動作を説明する説明図である。
カメラ１９１によって動画像が撮影され、第１の画像保
持手段１９２および第２の画像保持手段１９３に画像が
交互に保持される。動きベクトル検出手段１９４はこれ
らの画像を比較し、動きベクトルを求める。その結果、
図２１（ａ）に示すような動きベクトル２１１が検出さ
れる。物体検出手段１９７はこの動きベクトル２１１を
囲む矩形２１２を作成することによって、図２１（ｂ）
のような、侵入者２１０を検出することができる。

【００７９】また、物体までの距離を測定する距離測定
手段１９３としては、レーザー光線を発射するなどの方
法が知られている。距離データ保持手段１９６は、その
結果を保持するものであり、図２１（ｃ）はその内容を
示している。同図において、色の濃い物体ほど近くにあ
ることを示している。

【００８０】図２２は、投影面作成手段１９８の作成す
る投影面の作成方法を示している。図２２（ａ）に示す
ように、物体検出手段１９７によって検出された物体を
含む画像２２０について説明する。この画像を水平方向
に切断したライン２２１上に物体の領域がある場合は、
投影面作成手段１９８は、ライン２２１上に膨らみ２２
２を作成する。この膨らみ２２２は、下記の式（３）に
示すようなガウス関数で表現することができる。

【数１】図２２（ｂ）は、画像２２０内の矩形２２６の部分を膨
らませた様子を示す図である。この膨らみ２２７は、下
記の２次元のガウス関数式（４）によって表わすことが
できる。このようにして、投影面を作成することができ
る。

【数２】図２３は、投影手段１９９の動作を説明したものであ
る。第１の画像保持手段１９２あるいは、第２の画像保
持手段１９３に保持された画像を原画像２３１とする。
まず最初に、原画像２３１の上に投影面２２５を置き、
原画像２３１の各画素をそれぞれ平行に投影面２２５に
マッピングする。

【００８１】視点２３３から投影面２２５に投影された
画像を見る。この時、投影面２２５と視点２３３の間に
平面２３２を置き、視点２３３から投影面２２５を見た
結果得られる画像を再度投影する。この時、視点２３３
の位置は、投影面２２５の膨らみの中央２３８の真上に
設定する。

【００８２】原画像２３１上の２３４Ａは物体の領域の
一部であり、２３４Ｂは物体の領域でない部分であり、
それぞれ同じ長さの線分を表わしている。これらの線分
は、平面２３２上に投影された結果、２３６Ａおよび２
３６Ｂのようになる。視点２３３は投影面２２５の膨ら
みの中央２３８の上部に設定されているため、視点２３
３と膨らみの中央２３８の距離が短い。一方、物体の領
域がない部分２３４Ｂからは遠くにあるため、視点２３
３からの距離が遠い。

【００８３】このため、平面２３２に投影した長さは、
２３６Ａの方が、２３６Ｂよりも長くなる。この結果、
図２０の強調画像２０５に示したように、動く物体を拡
大して表示すると共に、動く物体以外の部分を縮小して
表示することが可能である。

【００８４】侵入者２１０が動くに従って、図２２の矩
形２２６が移動し、その結果、図２２の曲面２２５の膨
らみも移動していく。この結果、侵入者２１０を追いか
けながら拡大強調表示していくことが可能である。

【００８５】以上のように、本発明の第６の実施の形態
の対象物拡大表示方法は、移動物体のみを拡大して表示
することができる。

【００８６】

【発明の効果】以上説明したように、本発明は画像を領
域に分割し、分割した領域毎のフィルタ係数をフィルタ
係数保持手段に保持することにより、領域毎に異なった
係数のフィルタを施すというという優れた効果を有する
画像変形装置を提供することができるものである。

【００８７】また、本発明は、撮影対象物の場所を示す
マーカーを設け、マーカーを識別することにより、マー
カーを中心として拡大して画像を変形することができる
ので、例えば、車が道路を走行する際、運転者に対して
遠くの標識を拡大して表示して標識を確認し易くした
り、運転者が標識を見落とす危険を無くすことができる
というという優れた効果を有する対象物拡大表示方法を
提供することができるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における画像変形装
置のブロック図

【図２】カメラで撮影された画像の拡大縮小処理を説明
する説明図

【図３】画像に対するフィルタ処理の係数を説明する説
明図

【図４】出力画像の画素の値の算出工程を説明する説明
図

【図５】フィルタ処理を行う構成の概略ブロック図

【図６】図５に示された構成におけるフィルタ処理を説
明する説明図

【図７】入力画像を複数の領域に分割した場合のフィル
タ処理を説明する説明図

【図８】入力画像を複数の領域に分割した場合のフィル
タ処理を行う回路図

【図９】図１に示された画像変形装置の原画像保持手段
のブロック構成図

【図１０】本発明の第２の実施の形態における画像変形
装置のブロック構成図

【図１１】図１０に示された画像変形装置における画像
の拡大を行う場合の動作の説明図

【図１２】本発明の第３の実施の形態における画像変形
装置のブロック構成図

【図１３】本発明の第４の実施の形態における画像変形
装置のブロック構成図

【図１４】図１３に示された画像変形装置の拡大率計測
手段の動作を説明する説明図

【図１５】図１３に示された画像変形装置におけるフィ
ルタ係数の算出方法を説明する説明図

【図１６】図１３に示された画像変形装置における出力
フィルタの係数を決定する方法を説明する説明図

【図１７】本発明の第５の実施の形態における対象物拡
大表示方法のブロック構成図

【図１８】図１７に示された対象物拡大表示方法の作用
を説明する説明図

【図１９】本発明の第６の実施の形態における対象物拡
大表示方法のブロック構成図

【図２０】図１９に示された対象物拡大表示方法の作用
を説明する説明図

【図２１】図１９に示された物体検出手段および距離デ
ータ保持手段の動作を説明する説明図

【図２２】図１９に示された投影面作成手段による投影
面の作成方法を説明する説明図

【図２３】図１９に示された投影手段の動作を説明する
説明図

【図２４】従来の画像変形装置のブロック構成図

【図２５】図２４に示された従来の画像変形装置の適用
例を説明する図

【図２６】従来の画像変形装置における撮影画像と表示
画像との関係を説明する図

【図２７】従来の画像変形装置における撮影画像と表示
画像との拡大縮小率を説明する図

【符号の説明】

１１カメラ１２入力フィルタ１３第１の画像領域判別手段１４第１のフィルタ係数保持手段１５原画像保持手段１６画像変形手段１７画像変形率保持手段１８表示画像保持手段１９表示手段３１入力画像３２出力画像３５領域５１ラインバッファ５２セレクタ５３Ｖフィルタユニット５４Ｈフィルタユニット５５セレクタ５６縦の係数５７横の係数５８シフトレジスタ５９加算器６１乗算器６２ライン識別子６５Ｖフィルタ６６Ｈフィルタ６７縦の係数保持手段６８横の係数保持手段７２Ａ，７２Ｂ，７２Ｃ，７２Ｄ領域７４Ａ，７４Ｂ，７４Ｃ，７４Ｄ画素７６Ａ，７６ＢＶフィルタ７８Ａ，７８ＢＨフィルタ８０縦係数選択手段８１横係数選択手段８２カメラの同期信号発生手段８３画像メモリ８４セレクタ９７係数保持ユニット９８縦係数保持ユニット９９横係数保持ユニット１０１出力フィルタ１０２第２の画像領域判別手段１０３第２のフィルタ係数保持手段１３１拡大率計測手段１３２第１のフィルタ係数決定手段１３３第２のフィルタ係数決定手段１７１標識１７２マーカー１７３，１９１カメラ１７４入力画像保持手段１７５マーカー識別手段１７６，２００画像変形手段１７７，２０１表示手段１９２第１の画像保持手段１９３第２の画像保持手段１９４動きベクトル検出手段１９５距離測定手段１９６距離データ保持手段１９７物体検出手段１９８投影面作成手段１９９投影手段２０２対象物拡大方法

フロントページの続き (72)発明者恩田勝政神奈川県横浜市港北区綱島東四丁目３番１号松下通信工業株式会社内 (72)発明者西澤眞人神奈川県横浜市港北区綱島東四丁目３番１号松下通信工業株式会社内Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD06 CE06 CE09 CH09 DA08 DB02 DB09 DC08 5C076 AA21 AA22 AA23 AA32 AA36 BA03 BB24 BB25 CA02 CA06 CB05 5C082 AA27 BA20 BA41 BB15 CA21 CA31 CA33 CA34 CA54 CA85 CB01 MM10 5L096 AA06 BA04 CA02 EA03 EA35 GA55 HA04

Claims

【特許請求の範囲】

【請求項１】画像を撮影するカメラと、このカメラによって入力された画像を複数の領域に分割
し、その領域を判別する画像領域判別手段と、前記画像の有する周波数成分から、前記画像領域判別手
段によって判別された領域毎に除去する周波数を変え
て、一部除去する入力フィルタと、この入力フィルタのフィルタ係数を前記領域毎に保持す
るフィルタ係数保持手段と、前記入力フィルタによって周波数成分の一部を除去され
た画像を保持する原画像保持手段と、画像の変形率を前記領域毎に保持する画像変形率保持手
段と、前記原画像保持手段に保持された画像を前記画像変形率
保持手段が保持する変形率に応じて変形させる画像変形
手段と、この画像変形手段によって変形された画像を保持する表
示画像保持手段と、この表示画像保持手段に保持された画像を表示する表示
手段とを備えたことを特徴とする画像変形装置。
【請求項２】画像を撮影するカメラと、このカメラによって入力された画像を保持する原画像保
持手段と、画像の変形率を保持する画像変形率保持手段と、前記原画像保持手段に保持された画像を前記画像変形率
保持手段の保持する変形率に応じて変形させる画像変形
手段と、この画像変形手段によって変形された画像を保持する表
示画像保持手段と、この表示画像保持手段に保持された画像を複数の領域に
分割し、その領域を判別する画像領域判別手段と、前記表示画像保持手段に保持された画像の周波数成分
を、前記画像領域判別手段によって判別された画像の領
域毎に除去する周波数を変えて、一部除去する出力フィ
ルタと、この出力フィルタのフィルタ係数を前記領域毎に保持す
るフィルタ係数保持手段と、前記出力フィルタによって周波数成分の一部を除去され
た画像を表示する表示手段とを備えたことを特徴とする
画像変形装置。
【請求項３】前記フィルタ係数保持手段は、前記画像変形率保持手段の保持する画像の変形率を求め
る画像拡大率計測手段と、この画像拡大率計測手段によって得られた画像の拡大率
に応じて前記フィルタ係数を決定し、前記フィルタ係数
保持手段に保持させるフィルタ係数決定手段とを含むこ
とを特徴とする請求項１または２に記載の画像変形装
置。
【請求項４】画像を撮影するカメラと、このカメラによって入力された画像を複数の領域に分割
し、その領域を判別する第１の画像領域判別手段と、前記画像の周波数成分を、前記第１の画像領域判別手段
によって判別された画像の領域毎に除去する周波数を変
えて、一部除去する入力フィルタと、この入力フィルタのフィルタ係数を前記領域毎に保持す
る第１のフィルタ係数保持手段と、前記入力フィルタによって周波数成分の一部を除去され
た画像を保持する原画像保持手段と、画像の変形率を前記領域毎に保持する画像変形率保持手
段と、前記原画像保持手段に保持された画像を前記画像変形率
保持手段の保持する変形率に応じて変形させる画像変形
手段と、この画像変形手段によって変形された画像を保持する表
示画像保持手段と、この表示画像保持手段に保持された画像を複数の領域に
分割し、その領域を判別する第２の画像領域判別手段
と、前記表示画像保持手段に保持された画像の周波数成分
を、前記第２の画像領域判別手段によって判別された画
像の領域毎に除去する周波数を変えて、一部除去する出
力フィルタと、この出力フィルタのフィルタ係数を保持する第２のフィ
ルタ係数保持手段と、前記出力フィルタによって周波数
成分の一部を除去された画像を表示する表示手段とを備
えたことを特徴とする画像変形装置。
【請求項５】前記第１および第２フィルタ係数保持手
段は、前記画像変形率保持手段の保持する画像の変形率を求め
る画像拡大率計測手段と、この画像拡大率計測手段によって得られた画像の拡大率
に応じて前記フィルタ係数を決定し、第１および第２フ
ィルタ係数保持手段にそれぞれ保持させる第１および第
２のフィルタ係数決定手段とを含むことを特徴とする請
求項４に記載の画像変形装置。
【請求項６】撮影対象物の場所を示すマーカーを設け
るステップと、前記撮影対象物およびマーカーをカメラで撮影する撮影
ステップと、前記撮影ステップで撮影した画像を保持する入力画像保
持ステップと、この入力画像保持ステップで保持された画像からマーカ
ーを識別するマーカー識別ステップと、前記入力画像保持ステップで保持された画像を前記マー
カー識別ステップで識別されたマーカーを中心として拡
大する画像変形ステップと、この画像変形ステップによって変形された画像を表示す
る表示ステップとを含むことを特徴とする対象物拡大表
示方法。
【請求項７】移動物体をカメラで撮影する撮影ステッ
プと、この撮影ステップで撮影した画像を第１および第２の画
像記憶装置に保持する画像保持ステップと、前記画像保持ステップで第１および第２の画像記憶装置
に保持された画像から動きベクトルを検出する動きベク
トル検出ステップと、対象物までの距離を測定する距離測定ステップと、この距離測定ステップで測定された距離を保持する距離
データ保持ステップと、前記動きベクトル検出ステップで検出された物体の動き
と、前記距離データ保持ステップで保持された距離デー
タから物体を検出する物体検出ステップと、前記物体検出ステップで検出された物体の位置に基づい
て、投影面を作成する投影面作成ステップと、この投影面作成ステップで作成された投影面に前記画像
保持手段で第１の画像記憶装置に保持された画像を投影
し画像の変形を行う画像変形ステップと、この画像変形ステップで変形された画像を表示する表示
ステップとを含むことを特徴とする対象物拡大表示方
法。