JP2004120594A

JP2004120594A - 幾何変換装置

Info

Publication number: JP2004120594A
Application number: JP2002283690A
Authority: JP
Inventors: Michihiko Ota; 太田　充彦; Masaya Otogawa; 音川　昌也
Original assignee: Aisin Seiki Co Ltd; Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc; Aisin Corp
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2004-04-15

Abstract

【課題】位置ずれによる画像の上下微小振動が無く、従来よりも動画の動きが滑らかに表示可能な幾何変換装置を実現すること。
【解決手段】この幾何変換装置１０は、入力画像のフィールド区分信号Ｓ（奇数フィールドと偶数フィールドとが判別可能な情報）に基づいて、０．　５ライン分の縦位置ずれを補正し偶数フィールドでも奇数フィールドと同じ位置の画像を生成することで、画像更新レートの低下を招かずにノンインターレースの出力画像を得るものである。フィールド区分信号Ｓが奇数フィールドを示している時は、加算器１７によりＹ座標に０．５を加え、偶数フィールドを示している時は、Ｙ座標をそのまま使用する。以上の構成に従えば、必要とされるメモリー容量を大幅に削減でき、縦軸座標（ＹＹＹＹｙｙ）のみに関連する格段に小さい回路（加算器１７）の追加のみで縦軸座標の補正処理を実現することができる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像に対して、任意の幾何学的な変換処理を施すことにより、所望の出力画像（変換画像）を得るための幾何変換装置に関し、特に、テレビ画面や車載モニター等に表示される動画等の画像処理方式に関する。
【０００２】
【従来の技術】
入力画像に対して、任意の幾何学的な変換処理を施すことにより、所望の出力画像（変換画像）を得るための幾何変換装置としては、例えば、下記の特許文献１に記載の装置や、下記の特許文献２に記載の装置等がある。これらの従来装置によれば、例えば、広角画像から平常画像への変換処理や、或いはレンズによる画像歪みに対する補正処理等を行うことができる。
【０００３】
図５、図６、図７は、これら従来の幾何変換装置の画像処理動作の内、最も代表的或いは典型的な動作の一つを例示するものである。
図５に、画像補正を行う幾何変換装置を示す。画像補正とは、画像を構成する個々の画素の座標変換とその輝度の補正である。尚、本図はＣＰＵを省略したシステム構成図である。
従来の幾何変換装置は、座標変換テーブル１１、座標アドレス変換装置１２、座標重み変換装置１３、画像メモリ１４、乗算器１５、加算器１６から構成される。尚、画像メモリ１４は、シンクロナスＤＲＡＭからなる所謂フレームメモリから構成されており、画像メモリ１４を除いた他の構成要素は、コンピュータ装置を構成する基本要素である図略のＣＰＵ、ＲＯＭ、ＲＡＭ、及び入出力インタフェース等で構成されている。
【０００４】
上記構成において、座標変換テーブル１１は、変換すべき座標（ＸＸＸＸ、ＹＹＹＹ）と変換関連値（ｘｘ、ｙｙ）が記憶されたテーブルである。変換関連値（ｘｘ、ｙｙ）とは、例えば座標（ＸＸＸＸ、ＹＹＹＹ）の小数部である。座標アドレス変換装置１２は、座標（ＸＸＸＸ、ＹＹＹＹ）に対応する画像メモリ１４上のアドレスを画像メモリ１４に出力する装置である。座標重み変換装置１３は、上記変換関連値（ｘｘ、ｙｙ）から、周囲の画素の重みを算出し出力する装置である。
【０００５】
ただし、この重みとは、例えば図６に示すような出力画素（の座標）と変換前の周囲の４画素（入力画素）との距離に対して単調減少する量であり、例えば、出力画素との距離が短い周囲画素程、その重みは大きく設定される。
乗算器１５は、その周囲４画素のうちの１画素の輝度と重みを乗算する乗算器である。加算器１６は、その乗算値を４画素について加算し、変換後の新たな輝度を出力する装置である。
【０００６】
図７に、この幾何変換装置のタイミングチャートを示す。図略のＣＰＵは、先ず最初に座標変換テーブル１１から変換すべき座標（ＸＸＸＸ、ＹＹＹＹ）と少数部（ｘｘ、ｙｙ）を読み、データ信号として図略のデータバスに出力する。座標アドレス変換装置１２はそのデータバスを読み、その座標に対応したアドレスＡ（ＸＸＸＸ、ＹＹＹＹ）、Ａ（ＸＸＸＸ＋１、ＹＹＹＹ）、Ａ（ＸＸＸＸ、ＹＹＹＹ＋１）、Ａ（ＸＸＸＸ＋１、ＹＹＹＹ＋１）を順次、画像メモリ１４のアドレスバスに画像メモリアドレス信号として出力する。画像メモリ１４は、そのアドレス信号に従い画像メモリ出力信号としてＤ（ＸＸＸＸ、ＹＹＹＹ）、Ｄ（ＸＸＸＸ＋１、ＹＹＹＹ）、Ｄ（ＸＸＸＸ、ＹＹＹＹ＋１）、Ｄ（ＸＸＸＸ＋１、ＹＹＹＹ＋１）をデータバスに出力する。
【０００７】
一方、座標重み変換装置１３はＣＰＵ出力後のデータバスから上記少数部（ｘｘ、ｙｙ）を読み、その小数部から周囲の４画素の重みを算出し、乗算器１５に出力する。そして、乗算器１５がその周囲４画素のうちの１画素の輝度と重みを順次乗算し、中間結果１〜３を出力する（加算器出力信号）。最後に、加算器１６が中間結果１〜３を加算し、その変換座標の新たな輝度を加算器出力信号としてデータバスに出力する（図７）。ＣＰＵは、例えばこの出力結果を再度読みとり、図略の第２のフレームメモリに出力する。
以上の従来装置（幾何変換装置）により、例えばこのようにして座標変換と輝度補正を処理することができる。
【０００８】
即ち、これらの幾何変換装置では、次項（１）、（２）の様な画像処理（幾何変換処理）を実行するものが少なくない。
（１）入力画像を画像メモリに格納し，座標変換テーブルの内容にしたがって、画像メモリから読み出した４画素を重み付けした上で総和を求めて、出力画素とする。
【０００９】
（２）座標変換テーブルには出力画素１画素ごとに入力画像上での座標値が格納されている。その座標値を取り囲む４入力画素から，座標値の小数部に基づいて補間処理を行い，出力画素の輝度値を算出する。
【００１０】
これらの画像処理（幾何変換処理）を実行する際に、インターレース画像を入力とすると、偶数フィールドの方が０．５ライン分下にあるため、即ち、奇数フィールドの走査線（ライン画像）の間に偶数フィールドの走査線が位置するため、奇数フィールドにおけるｎ番目の走査線と偶数フィールドにおけるｎ番目の走査線では、同じｎ番目でも、０．５ライン分縦軸方向に位置がずれる。
【００１１】
したがって、例えば、通常のＮＴＳＣの信号（インターレース方式の信号）の入力画像を得て、３２０画素×２４０ラインのノンインターレース画像を生成出力する場合、奇数フィールド、または、偶数フィールドの何れかの画像のみを用いて出力画像を生成する必要がある。なぜなら、インターレース画像では、上記の様に奇数フィールドと偶数フィールドの間に０．５ラインの位置ずれがあり、それを無視して出力画像を生成すると、フィールドの奇偶の切り換りの度に出力画像の縦位置が０．５ライン分ずれて画質を悪化させるからである。
【００１２】
例えば上記の様に、公知の従来装置においては、インターレスの入力画像からノンインターレースの出力画像を生成する際、奇数フィールドと偶数フィールドの両方の画像を用いて出力画像を生成すると、毎秒３０回、０．５ライン分の振幅で画面が上下に振動し、視覚的には画像が上下方向にぼやけてしまう。
【００１３】
これを避けるために従来の幾何変換装置においては、奇数または偶数フィールドのどちらか一方の入力画像のみを用いて出力画像を生成していた。例えば、奇数フィールドのみを使用する時には、入力画像の奇数フィールドのみから出力フィールドを生成し、生成した出力フィールドを２回づつ出力していた。
【００１４】
【特許文献１】
特開２００２−０５６３８５号公報　（第７頁、第１図）
【特許文献２】
特開２００２−２２２４１４号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、この様な方式に従って、奇／偶の何れか一方のフィールドのみを使用して、即ち入力画像データの半分だけを使用して、出力画像を生成していたのでは、位置ずれ問題は発生しないものの、時間に対する画像の更新レートが半分になってしまうため、必ずしも十分に、臨場感や現実感の優れた動きが滑らかな動画を実現できるとは言えない。
【００１６】
即ち、従来装置においては、時間に対する出力画像の更新レートは入力画像の更新レートの半分になっており、動画を出力しようとする場合、動画の動きの滑らかさに問題を生じていた。
【００１７】
本発明は、上記の課題を解決するために成されたものであり、その目的は、インターレース方式の入力画像に対して任意の幾何学的な変換処理を施してノンインターレース方式の所望の出力画像を得るための幾何変換装置に対する簡単な改良により、位置ずれによる画像の上下微小振動（即ち、上下方向のぼやけ）が無く、しかも、従来よりも動画の動きが滑らかに表示可能な幾何変換装置を実現することである。
【００１８】
【課題を解決するための手段、並びに、作用及び発明の効果】
上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、インターレース方式の入力画像に対して任意の幾何学的な変換処理を施すことによりノンインターレース方式の所望の出力画像を得るための幾何変換装置において、入力画像の奇数行目のライン画像の集合により構成される奇数フィールドと入力画像の偶数行目のライン画像の集合により構成される偶数フィールドとを判別可能なフィールド区分信号を入力する区分信号入力手段と、奇数フィールド又は偶数フィールドの少なくとも何れか一方のライン画像の出力画面上における縦軸座標の値を上記のフィールド区分信号に基づいて補正処理することにより、上記の奇数フィールドと偶数フィールドとの出力画面上における縦軸座標の差異を縮小又は解消する縦軸座標補正手段とを備えることである。ただし、上記の「ライン画像の集合」とは、各入力画像における奇／偶数行目の全てのライン画像によって構成される全体集合と、奇／偶数行目の一部のライン画像によって構成される任意の真部分集合との何れをも含み得る上位概念であるものとする。
【００１９】
この様な方式に従えば、入力画像のフィールド区分信号（フィールドの奇／偶）に基づいて、奇数フィールドと偶数フィールドとの出力画面上における縦軸座標の差異として発生する０．５ラインずれを補正し、偶数フィールドでも奇数フィールドと同じ縦軸座標のずれ（即ち、画像の上下微小振動による縦方向のぼやけ）のない画像を生成できるので、画像の更新レートを落とさずに、位置ずれ（ぼやけ）が無く、しかも動きの滑らかな画像を生成することができる。
【００２０】
また、上記の構成に従えば、この０．５ラインずれの補正を、既存の幾何変換回路のＹ座標入力に０．５を加減算するという簡単な改良で実現することができるため、幾何変換装置の改良に伴う製造コストは最小限に抑えることができる。
【００２１】
また、本発明の第２の手段は、上記の第１の手段において、入力画像が有する解像度ｒ_０に満たない解像度ｒ_ｎ（ｎ＝１，２，．．．）を有する、変換処理の中間処理用の画像ｎ（ｎ＝１，２，．．．）を生成する低解像度画像生成手段と、入力画像（画像０）と画像ｎとを記憶する多重解像度画像記憶手段とを設け、更に、上記の縦軸座標補正手段において、多重解像度画像記憶手段により記憶されている画像ｍ（ｍ＝０，１，２，．．．）が有する解像度ｒ_ｍ（ｍ＝０，１，２，．．．）に基づいて、画像ｍに対する補正処理における補正量を決定する補正量可変手段を備えることである。
【００２２】
ただし、画像ｍと画像ｎとは、ｍ＝ｎ成る時、同一の画像或いは同一解像度の画像を意味するものとする。解像度ｒ_ｍ，ｒ_ｎについても同様である。また、特に断らない限り、画像０とは入力画像を指すものとする。
【００２３】
上記の変換処理の中間処理として、一旦低解像度画像を生成しておく画像処理方式は、変換される画像の各部位毎に画像の解像度を最適化したい場合等に非常に有効である。そして、本発明の上記の手段によれば、その様な最適化処理を実行したい場合等に、中間処理で生成された各画像の解像度ｒ_ｍ（ｍ＝０，１，２，．．．）に応じて、変換画像（出力画像）の各部各々の補正量をも同時に最適化することができる。このため、上記の本発明の手段によれば、画像の各部において、画像の拡大／縮小率と解像度との間で均整がとれ、よって、解像度の局所的な不適合は元より、画面全体にわたって縦方向のぼやけも少ない出力画像を生成することができる。
【００２４】
また、本発明の第３の手段は、上記の第２の手段において、画像ｍ（ｍ＝０，１，２，．．．）の解像度ｒ_ｍの値を２^−ｍ・ｒ_０とし、この画像ｍの奇数フィールド又は偶数フィールドの何れか一方のライン画像に対してのみ実施する補正処理における補正量を２^−ｍ−１ライン幅分とすることである。
【００２５】
この様な手段によれば、画像ｍ（ｍ＝０，１，２，．．．）の解像度ｒ_ｍの値は２^−ｍ・ｒ_０に限定されるが、上記の補正処理は画像ｍの奇数フィールド又は偶数フィールドの何れか一方のライン画像に対してのみ実施すれば良く、更に、上記の補正量も２^−ｍ−１ライン幅分に限定することができるので、上記の補正処理を極めて簡潔に構成することが可能となる。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。
【００２６】
【発明の実施の形態】
以下、本発明を具体的な実施例に基づいて説明する。ただし、本発明は以下に示す実施例に限定されるものではない。
〔第１実施例〕
図１は、本第１実施例の幾何変換装置１０の論理的な構成図であり、この幾何変換装置１０は、入力画像のフィールド区分信号Ｓ（奇数フィールドと偶数フィールドとが判別可能な情報）に基づいて、０．　５ライン分の縦位置ずれを補正し偶数フィールドでも奇数フィールドと同じ位置の（縦位置ずれのない）画像を生成することで、画像更新レートの低下を招かずにノンインターレースの出力画像を得るものである。
【００２７】
本第１実施例では、この０．５ライン分の補正を、幾何変換回路で使用するＹ座標の値を０．５補正することで実現する。即ち、フィールド区分信号Ｓが奇数フィールドを示している時は、加算器１７によりＹ座標に０．５を加え、偶数フィールドを示している時は、Ｙ座標をそのまま使用する。ただし、これとは逆に、偶数フィールドの時に、Ｙ座標を０．５減じて用い、奇数フィールドの時は、Ｙ座標をそのまま使用しても良い。
【００２８】
以上の構成に従えば、例えば、メモリー上に変換テーブルを奇数フィールド用と偶数フィールド用の２組を各々別々に用意する方法に比べ、所望の処理に必要とされるメモリー容量を大幅に削減でき、縦軸座標（ＹＹＹＹｙｙ）のみに関連する格段に小さい回路（加算器１７）の追加のみで０．５ライン補正を実現することができる。
【００２９】
〔第２実施例〕
図２は、本第２実施例の幾何変換装置２０の用途を例示する入力画像（ａ）と出力画像（ｂ）の写真である。入力画像（ａ）は、車両の前方に取り付けられた車載カメラ（インターレースカメラ）からの入力画像であり、出力画像（ｂ）は、入力画像の歪みや遠近感を排除して、走行中の車両の前方の車線の鳥瞰画像を生成したものである。
本第２実施例の幾何変換装置２０は、例えばこの様な幾何変換処理を実行したい時に有用なものである。
【００３０】
図３は、本第２実施例の幾何変換装置２０が処理する画像データの概略的な流れを例示的に説明する概念図（機能ブロック図）であり、図４は、その論理的な構成図である。
上記の様な画像処理を実施する場合、例えば本図３に例示する様に、一旦生成した多重解像度画像（同一の入力画像に基づいて生成することができる縮尺や解像度の異なる複数の画像）に基づいて、出力画像を生成する画像処理方式が有効である。
【００３１】
この様な画像処理方式を採用する場合、例えば、１／１解像度の画像から出力画像を生成する際には、実施例１で示した様に、０．５ライン分の補正を行なえば良い。また、１／２解像度の画像から出力画像を生成する場合は、０．２５ライン分の補正を行なえば良い。
また、奇数フィールドと遇数フィールドの０．５ラインの差は、１／２解像度画像では０．２５ラインとなる。同様に、１／４解像度の場合は０．１２５　ラインの補正量となる。
即ち、２^−ｍ解像度の場合には、２^−ｍ−１ライン幅分の補正量となる。ただし、ここで、ｍは任意の整数である。
【００３２】
そこで、図４の構成図に示す様に、解像度を指定するＲＲ情報に基づいて、補正量を選択した上で補正を実施すれば良い。フィールド区分信号Ｓが奇数フィールドを示している時は、Ｙ座標に補正量（例：０．５、０．２５、０．１２５　等）を加え、偶数フィールドを示している時は、Ｙ座標をそのまま使用する。
【００３３】
尚、より一般には、補正の結果、偶数フィールドの縦軸の値と奇数フィールドの縦軸の値との差が、順次２^−ｍ−１ラインずつずれる様に補正を実行すれば良い。したがって、例えば、偶数フィールドの時には、Ｙ座標の値から補正量（２^−ｍ−１ライン）を減じて用い、一方奇数フィールドの時は、Ｙ座標の値をそのまま使用する様にしても良い。また、両方のフィールドに各々補正を施すことにより、偶数フィールドの縦軸の値と奇数フィールドの縦軸の値との差が、順次２^−ｍ−１ラインずつ確保される様に補正を実行しても良い。
【００３４】
本発明による例えば上記の様な装置（幾何変換装置２０）によれば、画像の各部において、画像の拡大／縮小率と解像度との間で均整がとれ、よって、解像度の局所的な不適合は元より、画面全体にわたって縦方向のぼやけも少ない出力画像を生成することができる。
【００３５】
尚、縦軸座標補正手段では、例えば、入力画像を基準とする拡大／縮小率に基づいて、上記の補正における補正量を決定する様にしても良い。
また、本発明は、互いに非同期に並列的に入力される複数の画像を入力画像として、これらを１画面上に２次元的に並べることにより一画面多分割画像を出力する場合等にも非常に有効である。より具体的には、本発明は、例えば、偶／奇のフィールド切り換え周期が互いに一致しない複数台のインターレースカメラから入力画像を得る場合等にも有用であり、この様に一画面多分割画像を再生する画像処理を実施する場合においても、本発明の手段による本発明の作用・効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係わる幾何変換装置１０の論理的な構成図。
【図２】本発明の第２実施例に係わる幾何変換装置２０の用途を例示する入力画像（ａ）と出力画像（ｂ）の写真。
【図３】幾何変換装置２０が処理する画像データの概略的な流れを例示的に説明する概念図。
【図４】幾何変換装置２０の論理的な構成図。
【図５】従来の幾何変換装置の論理的な構成図。
【図６】入力画素と出力画素の位置関係を例示するグラフ。
【図７】従来の幾何変換装置のデータ処理方式を例示するタイミングチャート。
【符号の説明】
１０，
２０　…　幾何変換装置
１１　　…　座標変換テーブル
１２　　…　座標アドレス変換装置
１２Ａ　…　解像度・座標アドレス変換装置
１３　　…　座標重み変換装置
１４　　…　画像メモリ
１４Ａ　…　画像メモリ（多重解像度画像記憶手段）
１５　　…　乗算器
１６，１７，
１７′…　加算器
Ｓ　　…　フィールド区分信号

Claims

インターレース方式の入力画像に対して任意の幾何学的な変換処理を施すことにより、ノンインターレース方式の所望の出力画像を得るための幾何変換装置において、
前記入力画像の奇数行目のライン画像の集合により構成される奇数フィールドと前記入力画像の偶数行目のライン画像の集合により構成される偶数フィールドとを判別可能なフィールド区分信号を入力する区分信号入力手段と、
前記奇数フィールド又は前記偶数フィールドの少なくとも何れか一方のライン画像の出力画面上における縦軸座標の値を前記フィールド区分信号に基づいて補正処理することにより、前記奇数フィールドと前記偶数フィールドとの前記出力画面上における前記縦軸座標の差異を縮小又は解消する縦軸座標補正手段と
を有する
ことを特徴とする幾何変換装置。
前記入力画像が有する解像度ｒ_０に満たない解像度ｒ_ｎ（ｎ＝１，２，．．．）を有する、前記変換処理の中間処理用の画像ｎ（ｎ＝１，２，．．．）を生成する低解像度画像生成手段と、
前記入力画像（画像０）と前記画像ｎとを記憶する多重解像度画像記憶手段とを有し、
前記縦軸座標補正手段は、
前記多重解像度画像記憶手段により記憶されている画像ｍ（ｍ＝０，１，２，．．．）が有する解像度ｒ_ｍ（ｍ＝０，１，２，．．．）に基づいて、前記画像ｍに対する前記補正処理における補正量を決定する補正量可変手段を有する
ことを特徴とする請求項１に記載の幾何変換装置。
前記画像ｍ（ｍ＝０，１，２，．．．）の前記解像度ｒ_ｍの値を２^−ｍ・ｒ_０とし、
前記画像ｍの前記奇数フィールド又は前記偶数フィールドの何れか一方のライン画像に対してのみ実施する前記補正処理における前記補正量を２^−ｍ−１ライン幅分とする
ことを特徴とする請求項２に記載の幾何変換装置。