JP2007226362A

JP2007226362A - 画像表示方法及び装置

Info

Publication number: JP2007226362A
Application number: JP2006044596A
Authority: JP
Inventors: Shoichi Tsuboi; 正一坪井
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2006-02-21
Filing date: 2006-02-21
Publication date: 2007-09-06

Abstract

【課題】魚眼レンズ等の広角レンズを用いインターレス方式で撮影したカメラ画像を、歪みを補正してインターレス方式で表示する際に、特に画面内の固定画像とそれに隣接する移動画像との境界部分に干渉縞が発生することを防止可能な画像表示装置とする。
【解決手段】インターレス画像処理部１では、魚眼レンズ等の広角レンズを用いたカメラ９によりインターレス方式で撮影した画像を取り込み、撮影画像から固定画像を自車両画像認識部３で認識し、認識した固定画像の輪郭における最下部を自車両輪郭最下部検出部４で検出する。自車両輪郭最下部フィールド検出部５では、自車両輪郭の最下部が存在するフィールドを検出する。偶数・奇数フィールド選択部では、自車両輪郭最下部フィールドが奇数行のとき偶数行を、また偶数行のとき奇数行を選択し、選択した行のみの画像を魚眼画像補正部７で魚眼補正して出力表示する。
【選択図】図１

Description

本発明は、魚眼レンズ等の広角レンズを用いたビデオカメラによる撮影画像を、歪み補正を行ってインターレス形式で映像表示する際に生じる干渉縞の発生を防止する画像表示方法及び装置に関し、特に車両に搭載したカメラで周囲を撮影する際に固定画像に対して移動する画像との境界部分で発生しやすい干渉縞の発生を防止することができるようにした画像表示方法及びその方法を実施する装置に関する。

近年は電子技術の進歩によりビデオカメラが安価になり、一般家庭用を初め監視用や車両搭載用等の広範な分野で利用されるようになっている。例えば車両搭載用カメラとしては、従来から用いられている後方監視用カメラ、車両側方監視カメラ、前方障害物監視カメラ等の他、車両周囲における運転者の死角部分をわかりやすく表示するために周囲を撮影する広角のレンズを備えたカメラの撮影画像により、あたかも車両の上方に配置したカメラによって車両及び周囲を撮影しているような画像を表示する「トップビュー」と称する画像表示も行われるようになっている。

図４はトップビュー方式の画像合成の一例であり、図示の例においては同図（ａ）（ｂ）に示すように、車両２１の後方中央に設けて後方を撮影する後部センターカメラ２４による車両後方の撮影画像と、右側のサイドミラーに設けて右側方を撮影する右サイドカメラ２３による画像と、左側のサイドミラーに設けて左側方を撮影す左サイドカメラ２２による画像と、車両前方中央に設けて前方を撮影する前部センターカメラ２５とを備え、これらの画像を合成することにより、図４（ｂ）に示すように、車両の上方に配置された１つのカメラにより、車両を中心とした周囲の画像２０を表示する。ここで用いられるカメラは車両周囲にできる限り死角が生じないように広角で撮影する必要がある。

このような広角のレンズを用いるときには、できる限り広角の撮影画像を得るため、魚眼レンズを用いたカメラが使用されるようになる。魚眼レンズを用いたカメラによる撮影画像は、周知のように画面中心から周囲に向けて次第に大きな歪を生じる。そのため、この画像をそのままモニタに表示すると、極めて見にくい画面にならざるを得ない。

そのため、魚眼レンズを用いたカメラによる撮影画像を、標準レンズを用いたカメラで撮影した通常の画像のように見やすく表示するため、従来より種々の手法が用いられており、その一つとして球状マッピングの手法が広く用いられている。球状マッピングとは、三次元画像内に仮想的に球体を定義し、その内側に画像を貼り付ける（マッピング）する手法であり、魚眼画像の場合、魚眼画像の中心からの距離を角度に変換してマッピングを行い、そのデータにより魚眼画像から通常画像を生成する際の入力映像と出力映像の関係を対比したリストを作成する。それにより、出力画像生成時に入力画像の対応する箇所から画素情報をコピーすることができる。このリストの利用に際しては、出力画像に対応する入力画像の箇所は単に（ｘ、ｙ）軸を基に一番近い箇所の画素を参照していた。

一方、現在用いられているテレビやディスプレイの画像表示装置においては、大別してプログレッシブ（progressive）方式と、インターレス（interlace）方式とが存在する。プログレッシブ方式は１回の画面表示を１回の走査で行なう方式であり、パソコンのように細かい字を見やすく表示するのに適しているが高価である。それに対してインターレス方式は、奇数段目と偶数段目の２回の走査で１回表示を行なう方式であり、動画を表示する際にちらつきを抑えることができるので、一般のテレビに使用され、安価である特徴を備えている。したがって、例えば車両用モニタにおいては殆どのものがインターレス方式を採用している。同様にビデオカメラにおいてもプログレッシブ方式とインターレス方式とが存在し、一般には安価なインターレス方式のカメラが用いられている。したがって車両搭載カメラにおいてもインターレス方式で映像を撮影するものが多い。

インターレスカメラの映像は例えば図５に示すように出力される。即ち、図５（ａ）に示すように１フィールド（１６．５ｍｓｅｃ）毎に撮像と画像転送が行われ、奇数行の転送と偶数行の転送が順に行われて１フレーム（３３ｍｓｅｃ）が構成される。したがって撮像は１フィールド毎に行われ、例えば奇数行の転送が終了した後に、再び撮影がなされ、次に偶数行の転送が行われることとなり、奇数行の転送時と偶数行の転送時とは厳密には異なる撮影画像が転送される。

このような転送方式の撮影画像をモニタに表示するには、図５（ｂ）に示すように、例えば奇数行の映像が撮影されたときこれをモニタ側に転送し、モニタはこれを取得して奇数行部分に例えば２６３本表示を行う。次いで、カメラが次の撮影を行い偶数行の映像としてモニタ側に転送し、モニタではこれを取得して先の奇数行の間にある偶数行に例えば２６２本表示を行い、全体として５２５本の走査線表示がなされる。なお、走査線は実際には僅かに傾いており、最初の走査線は上端部の中間部分から走査され、最後の走査線は下端部の中間部分で走査が終了するが、説明の便宜のため走査線が平行に操作されるものとして説明する。

前記のように車両にカメラを搭載し、周囲を撮影すると共にその撮影画像を処理して、あたかも車両の上方に存在するカメラで車両の周囲を撮影しているように表示するトップビュー方式では、１つのカメラでできる限り広角に撮影できることが望まれるため魚眼レンズが用いられ、これを画像処理してモニタに表示することとなる。その際には、インターレス方式のカメラを用い、カメラからの転送画像を画像処理した後にインターレス方式のモニタに表示することが行われる。

なお、魚眼レンズで撮影した画像を高速で補正変換を行う技術は特開２０００−１１１６６号等に開示されている。
特開２０００−１１１６６号公報

前記のように、インターレス方式で撮影したカメラの画像をインターレス方式で表示するモニタにそのまま出力した場合、２つの画像は直線的に並んでいるため殆ど干渉を起こさない。それに対して魚眼レンズを用いたカメラで撮影した画像については、別途魚眼補正手段で補正を行う関係上、２つの映像が曲線状に並ぶこととなる。このように２つの画像が曲線状に並ぶことで干渉が起きやすくなるり、特に２つの画像の差が激しい箇所に干渉が起きるため、そこに干渉縞が発生し、画像が見にくくなるという問題があった。

即ち図６（ａ）に示すように、魚眼レンズを用いたカメラで撮影した画像が図６（ａ−１）のように表示されている状態では奇数行と偶数行が平行に並んでいるため特に問題はないが、このような魚眼レンズを用いたカメラで撮影した画像をインターレス方式で表示するモニタに表示する際、前記のようなマッピング手法によって魚眼補正を行うと、図６（ａ−２）に示すように奇数行と偶数行のそれぞれが曲線で接続されることとなり、各行では撮影画像自体が異なることもあり、干渉が起きやすくなる。

特に、車両に搭載して車外を撮影するときには、自車両の車体の一部が画面の一部の所定部分に常に存在し、車両が走行するとき自車両の車体の画像と、それに隣接している車外が撮影され動いている画像とが干渉を生じやすく、見にくい画面が表示されることとなる。

したがって本発明は、魚眼レンズ等の広角レンズを用いインターレス方式で撮影した画像を、広角レンズ撮影による歪みを修正してインターレス方式で表示する際に、特に画面内の固定画像とそれに隣接する移動画像との境界部分に干渉縞が発生することを防止することを主たる目的とする。

本発明に係る画像表示方法は、前記課題を解決するため、広角レンズを用いたカメラによりインターレス方式で撮影した画像を取り込み、撮影画像から固定画像を認識し、認識した固定画像の輪郭における最下部が存在するフィールドが奇数行であるか偶数行であるかを検出し、前記検出したフィールドが奇数行のとき偶数行を、また偶数行のとき奇数行を選択し、前記選択した行のみの画像を補正して出力表示することを特徴とする。

また、本発明に係る他の画像表示方法は、前記画像表示方法において、前記カメラは車両に搭載したものであり、前記固定画像は自車両画像であることを特徴とする。

また、本発明に係る他の画像表示方法は、前記画像表示方法において、前記広角レンズは魚眼レンズであり、前記補正は魚眼補正であることを特徴とする。

また、本発明に係る画像表示装置は、広角レンズを用いたカメラによりインターレス方式で撮影した画像から固定画像を認識する固定画像認識手段と、前記認識した固定画像の輪郭における最下部が存在するフィールドが奇数行であるか偶数行であるかを検出する自車両輪郭最下部フィールド検出手段と、前記検出したフィールドが奇数行のと奇偶数行を、また偶数行のとき奇数行を選択する偶数・奇数フィールド選択手段と、前記選択した行のみの画像を補正する画像補整手段と、前記画像補整手段で補正した画像を表示出力する画像出力表示手段とを備えたことを特徴とする。

また、本発明に係る他の画像表示須知は、前記画像表示装置において、前記カメラは車両に搭載したものであり、前記固定画像は自車両画像であることを特徴とする。

また、本発明に係る他の画像表示装置は、前記画像表示装置において、前記広角レンズは魚眼レンズであり、前記補正は魚眼補正であることを特徴とする。

本発明は上記のように構成したので、魚眼レンズのような広角レンズを用いインターレス方式で撮影した画像を、そのレンズによる撮影で生じた歪みを補正して、インターレス方式で表示する際に、特に画面内の固定画像とそれに隣接する移動画像との境界部分に発生しやすい干渉縞をなくすことができる。したがって特に車両に搭載したカメラにより周囲を撮影して画像表示する際に、自車両画像とそれに隣接する移動画像との間で生じやすい干渉縞の発生を効果的に防止することができる。

本発明は、広角レンズを用いインターレス方式で撮影した画像を、広角レンズによる撮影で生じた歪みを修正してインターレス方式で表示する際に、特に画面内の固定画像とそれに隣接する移動画像との境界部分に干渉縞が発生することを防止するという課題を、広角レンズを用いたカメラによりインターレス方式で撮影した画像を取り込み、撮影画像から固定画像を認識し、認識した固定画像の輪郭における最下部が存在するフィールドが奇数行であるか偶数行であるかを検出し、前記検出したフィールドが奇数行のとき偶数行を、また偶数行のとき奇数行を選択し、前記選択した行のみの画像を補正して出力表示することによって実現した。

本発明の実施例を図面に沿って説明する。図１には本発明において行うインターレス方式で撮影するカメラの画像を、インターレス方式のモニタで表示する際に、広角レンズを用いたカメラの画像の大きな歪みを補正して、標準レンズを用いて撮影した画像のように処理を行うための、インターレス画像処理の実施例の機能ブロック図であり、特に車両におけるトップビュー方式の画像表示を行うときのように、車両周囲をカメラで撮影する際に、広角レンズとして魚眼レンズを用いて撮影した例を示している。なお、同機能ブロック図において、各機能を行う機能部は各機能を行う手段ということもできる。

図１に示すインターレス魚眼画像処理部１においては、魚眼レンズを用いたカメラ９で撮影した画像をカメラ画像取込部２で取り込み、自車両画像認識部３では例えば図３に示すように、取り込んだ魚眼画像１１の中で、車両周囲を撮影したカメラにおいて最も手前側に撮影されている自車両画像１２を認識する。その認識に際しては、カメラで撮影した画像において、車両の移動にもかかわらず一定位置に存在する画像を自車両の車体の一部として認識し、特に周囲を撮影するカメラにとって、最も手前側に車体の一部が撮影されているので、魚眼画像１１で撮影されたこの部分の固定画像を、車体の一部である自車両画像１２として認識することができる。

なお以降、撮影画像において下部とは、通常撮影画像が立設したモニタに表示されることから、前記のようにカメラの撮影画像にとって手前側に位置し、立設したモニタにおいて下方に表示される部分をいう。

自車両輪郭最下部認識部４は、前記自車両画像認識部３で認識された自車両画像１２について、その自車両画像１２の輪郭線１３における最下部１４を検出する。この検出に際しては、前記のように自車両の車体の一部の画像を認識した後、１フレーム内で上方の行から走査される画像を分析しながら車体の輪郭線１３を継続して追っていき、左右から次第に接近してくる輪郭線が一致したときを最下部１４と認識することができる。この時自車両の車体画像の中心部に何らかの突起があるとき等には、１フレーム全て走査した後、輪郭線１３が現れる最も下の行の部分を自車両輪郭最下部と認識することもできる。

自車両輪郭最下部フィールド検出部５は、前記のように検出された自車両輪郭最下部１４が、図中上方から交互に走査される奇数及び偶数のフィールドについて、どのフィールドに存在するかを検出する。即ち図３に示す例においては、１フレームの画像について、最初のフィールドで奇数行について、ａ１、ａ２・・・ａ８と順に走査し、次いで偶数行について、ｂ１、ｂ２・・・ｂ８と順に走査するとき、輪郭線１３は偶数行ｂ６から検出され、奇数行ａ７で左右に表れていた両輪郭線１３が接続している。それにより前記のように自車両輪郭最下部認識部４がこの両輪郭線１３が接続している部分１４を認識し、自車両画像最下部フィールド検出部５は、それにより自車両画像最下部１４が奇数行の走査時に検出したことがわかる。

偶数・奇数フィールド選択部６は、上記のように自車両輪郭最下部１４が奇数行に存在することを検出したときは、偶数フィールドのみを選択して画像出力するようにする。逆に、前記偶数・奇数フィールド選択部６が自車両輪郭最下部１４は偶数行に存在することを検出した場合には、奇数フィールドのみを選択して画像出力するようにする。

図１に示す実施例においては、魚眼画像補正部７で前記偶数・奇数フィールド選択部で選択したフィールドのみの画像データを用い、従来から行われている種々の手法により魚眼画像補正を行う。その一つとして前記従来技術に記載したような球状マッピングの手法を用いることができ、三次元画像内に仮想的に球体を定義し、その内側に画像を貼り付ける（マッピング）する手法を用い、魚眼画像の中心からの距離を角度に変換してマッピングを行い、それにより魚眼画像から通常画像を生成する際の入力映像と出力映像の関係を対比したリストを作成する。それにより、出力画像生成時に入力画像の対応する箇所から画素情報をコピーすることができる。

このような魚眼画像補整を行い標準レンズを用いたカメラて撮影した画像と同様の画像を形成し、画像出力部８からモニタ１０に出力する。但し、前記図４に示すような複数のカメラの画像を合成して１つの画像を形成する際には、前記のような魚眼補正した画像を更に複数合成して１つの画像を形成し、それをモニタ１０に表示するようにしても良い。また、前記実施例では、偶数・奇数フィールド選択部６で選択したフィールドのみの画像を用いて魚眼画像補整を行うことにより、少ないデータ処理で画像出力することができるようになるが、全ての画像データを用いて魚眼画像補整を行い、その中で偶数・奇数フィールド選択部６で選択されたフィールのみを画像出力することもできる。上記のような処理を行うことにより、図３（ａ）のような魚眼画像を、同図（ｂ）のような通常の画像として表示することができる。この時、魚眼画像の自車両画像１２は、通常画像の自車両画像１５として表示される。上記のような画像表示処理を行う結果、図６（ｂ−１）に示すような従来の（ａ−１）と同様の魚眼画像について、これを魚眼補正しても、偶数行のみ或いは奇数行のみであるため、同図（ｂ−２）のように曲線になっても、１つの撮影画像から作成しているため、干渉を起こさない。

前記機能ブロックからなる画像表示装置において、特に魚眼レンズカメラ画像フィールド選択処理に際しては、例えば図２に示すような作動フローに従って作動させることができる。図２に示す魚眼レンズカメラ画像フィールド選択処理は、最初にカメラ撮影画像の取り込みを行う（ステップＳ１）。次いで車両下部中央に存在する自車両一部画像を認識する。これは前記図１の自車両画像認識部３で、前記のようにして行われる。その後、自車両一部画像の輪郭における最下部フィールドを検出する（ステップＳ３）。この処理は図１の自車両輪郭最下部検出部４で前記のようにして行われる。

次いで図２の実施例においては、前記のように検出した自車両輪郭最下部表示フィールドは、偶数フィールドか否かを判別し（ステップＳ４）、偶数フィールドであると判別したときには、以降の画像処理に際して奇数フィールドのみを用いる（ステップＳ５）。また、ステップＳ４で自車両輪郭の最下部フィールドを検出した際、奇数フィールドであったときには、偶数フィールドのみを選択する（ステップＳ６）。前記ステップＳ４では自車両輪郭の最下部表示フレームが偶数フィールドである否かを判別したが、ここで奇数フィールドであるか否かを判別しても良く、その際には奇数フィールドであると判別したときには偶数フィールドのみを選択し、偶数フィールドであると判別したときには奇数フィールドのみを選択することとなる。これらの処理は図１の偶数・奇数フィールド選択部６で行われる。

その後、前記ステップＳ５において奇数フィールドを選択した場合も、ステップＳ６で偶数フィールドのみを選択した場合も、魚眼画像補整処理を行い（ステップＳ７）、処理済み画像の出力・表示を行って（ステップＳ８）、この一連の処理を終了する（ステップＳ９）。これらの処理は図１の魚眼画像補整部７で補正処理を行い、画像出力部８からモニタ１０等に出力することにより行われる。

上記実施例においては本発明について魚眼レンズを用いたカメラ画像の画像処理技術として述べたが、魚眼レンズに限らず標準レンズ以外の広角レンズであるならば本発明を有効に利用することができる。また、上記実施例においては特に車両に搭載して、例えばトップビュー方式のように周囲を撮影するカメラの撮影画像を用いる分野の例を示したが、固定画像と移動画像との境界で起こりやすい干渉を防止して見やすい画像を表示することができる分野に広く用いることができる。

本発明の実施例の機能ブロック図である。同実施例の作動フロー図である。同実施例における魚眼画像と偶数・奇数フィールド選択処理を示す図である。従来から提案されているトップビュー方式の説明図である。インターレス方式の説明図である。魚眼レンズを用い、インターレス方式で撮影するカメラにより撮影した画像の処理を説明する図であり、（ａ）は従来の問題点を示す図であり、（ｂ）は本発明による効果を示す図である。

符号の説明

１インターレス魚眼画像処理部
２カメラ画像取込部
３自車両画像認識部
４自車両輪郭最下部検出部
５自車両輪郭最下部フィールド検出部
６偶数・奇数フィールド選択部
７魚眼画像補正部
８画像出力部
９カメラ
１０モニタ

Claims

広角レンズを用いたカメラによりインターレス方式で撮影した画像を取り込み、
撮影画像から固定画像を認識し、
認識した固定画像の輪郭における最下部が存在するフィールドが奇数行であるか偶数行であるかを検出し、
前記検出したフィールドが奇数行のとき偶数行を、また偶数行のとき奇数行を選択し、
前記選択した行のみの画像を補正して出力表示することを特徴とする画像表示方法。
前記カメラは車両に搭載したものであり、
前記固定画像は自車両画像であり、前記補正は魚眼補正であることを特徴とする請求項１記載の画像表示方法。
前記広角レンズは魚眼レンズであることを特徴とする請求項１記載の画像表示方法。
広角レンズを用いたカメラによりインターレス方式で撮影した画像から固定画像を認識する固定画像認識手段と、
前記認識した固定画像の輪郭における最下部が存在するフィールドが奇数行であるか偶数行であるかを検出する自車両輪郭最下部フィールド検出手段と、
前記検出したフィールドが奇数行のとき偶数行を、また偶数行のとき奇数行を選択する偶数・奇数フィールド選択手段と、
前記選択した行のみの画像を補正する画像補整手段と、
前記画像補整手段で補正した画像を表示出力する画像出力表示手段とを備えたことを特徴とする画像表示装置。
前記カメラは車両に搭載したものであり、
前記固定画像は自車両画像であることを特徴とする請求項４記載の画像表示装置。
前記広角レンズは魚眼レンズであり、前記補正は魚眼補正であることを特徴とする請求項１記載の画像表示装置。