JP2017017609A - 画像処理装置 - Google Patents

Abstract

【課題】画像エリア単位で歪補正処理を行う場合においても、画像に適した処理を行うことができ、高画質化を実現可能な画像処理装置を提供する。【解決手段】撮像装置から入力される画像データを処理して出力する画像処理装置において、画像データの入力を受ける入力部１１と、画像データを格納する記憶容量を備えたメモリ３０と、メモリに格納されたレンズパラメータを用いて画像変形を行う画像変形回路１２と、出力画像を生成する出力部１４と、画像データを前記メモリに書き込み、メモリから画像データを読み出すインターコネクト回路２０と、を備え、画像変形回路１２は、複数の画像エリアに分割された画像データを任意の画像エリア単位で画像変換を行う回路であり、レンズパラメータを用いて行われる特定の出力画像に対する逆変換により得られた対象画像と入力部１１から入力された入力画像とのマッチングを行うことにより対象画像の特徴を検出する。【選択図】図６

Description

本発明は、画像処理装置に関する。

魚眼レンズのような広角レンズを用いた車載カメラなどのカメラシステムにおいては、撮像された画像が歪みを持つため、信号処理により歪みを補正するための画像処理装置を用いることが提案されている。

一般に画像処理装置では、レンズにより集光した光情報を光電変換して得られたアナログ信号をデジタル信号に変換した画像データが入力され、該画像データをメモリに格納し、該メモリから画像データを読み出すことにより、歪みを持った原画像に対して補正や変形が行われる。

このような画像処理装置において、使用しているレンズ特性から歪補正を実施する為のレンズパラメータを予め生成しておき、入力画像データに対して歪補正を実施することは既に知られている（例えば、特許文献１参照）。

特許文献１には、広角レンズで撮像された画像に対し、基準線を検出する目的で、周辺映像からエッジを抽出して曲線状の基準線を検出すること、及び検出された基準線が直線状になるような歪補正用の歪み補正パラメータ算出用の機能を搭載した装置構成が開示されている。

歪み補正処理を効率よく実施するために、対象の画像に対しエリア分割を行い、エリア単位で歪補正処理を行う画像処理装置が知られている。当該画像装置において、レンズパラメータから補正パラメータを生成し、補間方式にて歪補正を実施することも知られている。

しかしながら、従来のレンズパラメータを用いた歪補正を行った場合、補正後の画像にボケが発生することがあり、高い画質を得ることが困難となっていた。すなわち、風景などの自然画像においては特に問題とならないが、テキスト画像などにおいて、撮影した画像の中に１ドット細線及び斜め線がある場合、従来の歪補正処理では１画素／１ラインの直線性の維持が困難であるという問題があった。

そこで本発明は、画像エリア単位で歪補正処理を行う場合においても、画像に適した処理を行うことができ、高画質化を実現可能な画像処理装置を提供することを目的とする。

かかる目的を達成するため、本発明に係る画像処理装置は、撮像装置から入力される画像データを処理して出力する画像処理装置において、前記画像データの入力を受ける入力部と、前記画像データを格納する記憶容量を備えたメモリと、前記メモリに格納されたレンズパラメータを用いて画像変形を行う画像変形回路と、出力画像を生成する出力部と、前記画像データを前記メモリに書き込み、前記メモリから前記画像データを読み出すインターコネクト回路と、を少なくとも備え、前記画像変形回路は、複数の画像エリアに分割された画像データを任意の画像エリア単位で画像変換を行う回路であり、前記レンズパラメータを用いて行われる特定の出力画像に対する逆変換により得られた対象画像と前記入力部から入力された入力画像とのマッチングを行うことにより、前記対象画像の特徴を検出することを特徴とする画像処理装置である。

本発明によれば、画像エリア単位で歪補正処理を行う場合においても、画像に適した処理を行うことができ、高画質化を実現可能な画像処理装置を提供することができる。

従来の歪補正を実施する画像処理装置のブロック図の一例である。 魚眼画像からメルカトル画像への変換を説明する模式図である。 特定の出力画像に対する逆変換を説明する模式図である。 歪補正の処理方法を説明する模式図である。 出力画像の生成順を示す説明図である。 本発明にかかる画像処理装置のブロック図の一例である。 マッチングを行う単位を示す説明図である。 斜線画像に対する補間の例を示す説明図である。 本発明にかかる画像処理装置における処理手順の一例を示す流れ図である。

以下、本発明に係る画像処理装置の一例である魚眼レンズのような広角レンズを用いた車載カメラについて、図面を参照して説明する。なお、本発明は以下に示す実施形態に限定されるものではなく、他の実施形態、追加、修正、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

広角レンズを備えた撮像装置からの入力画像に対し、歪補正を実施する一般的な画像処理装置のブロック図の一例を図１に示す。
図１に示すように、入力部（入力Ｉ／Ｆ）１１から入力された画像データは、必要な画像処理が行われ、一旦メモリ（外部メモリ）３０に保存される。メモリ３０に保存された画像データと、予めメモリ３０に置かれていたレンズパラメータとを使用して、画像変形回路１２にて歪補正が実施される。

魚眼レンズのような広角レンズから入力される画像には歪みがある為、あらかじめレンズパラメータから補正パラメータを生成し、補間方式にて歪補正を実施する。
しかしながら、細線や斜線等の補正において、ボケが発生する事がある。画像を分割した画像エリア単位で処理する場合、予め細線や斜線が存在する画像エリアを検出できていれば、画像エリア単位で補間方式を切り替え、画像処理する事ができ、高画質の画像を生成する事ができる。

本実施形態の画像処理装置のブロック図の一例を図６に示す。
図６に示すように、本実施形態に係る画像処理装置は、撮像装置から入力される画像データを処理して出力する画像処理装置であり、画像データの入力を受ける入力部（入力Ｉ／Ｆ）１１と、画像データを格納する記憶容量を備えたメモリ（外部メモリ）３０と、メモリ３０に格納されたレンズパラメータを用いて画像変形を行う画像変形回路１２と、出力画像を生成する出力部（出力Ｉ／Ｆ）１４と、画像データをメモリ３０に書き込み、メモリ３０から画像データを読み出すインターコネクト回路２０と、を少なくとも備える。
画像変形回路１２は、複数の画像エリアに分割された画像データを任意の画像エリア単位で画像変換を行う回路であり、前記レンズパラメータを用いて行われる特定の出力画像に対する逆変換により得られた対象画像と前記入力部から入力された入力画像とのマッチングを行うことにより、前記対象画像の特徴を検出する。

逆変換の対象となる特定の出力画像としては、補正後の画像にボケ等の画質劣化が生じるものであれば特に限定されず、例えば、斜線画像や細線画像であり、ユーザーによって任意に設定が可能な斜線画像や細線画像であり、１画素／１ラインの直線性が求められる線画像である。

図２は、直線及び斜線の魚眼画像からメルカトル画像への変換を説明する模式図である。
図２（Ａ）は魚眼画像、図２（Ｂ）はメルカトル画像（Equi画像）をそれぞれ示している。
本実施形態の画像処理装置は、直線及び斜線を魚眼画像からメルカトル画像に変形する処理を行うにあたり、予め直線及び斜線を検出することにより、ボケを生じることなく歪補正を行うことができる。

図３は、特定の出力画像に対する逆変換を説明する模式図である。図３（Ａ）は期待する出力画像である。図３（Ａ）の出力画像に対し、レンズパラメータを用いて逆変換を行いて魚眼画像に変形したイメージが図３（Ｂ）の図である。
本実施形態の画像処理装置においては、レンズパラメータが予めわかっているため、図３に示すように出力画像（例えば、直線や斜線）に逆変換をかけることにより、魚眼画像の特徴を把握することができる。

図４は、歪補正の処理方法を説明する模式図である。本実施形態の画像処理装置は、画像変形回路が、入力画像の領域を、前記出力画像の画像エリアと対応させる。
図４に示すように、左側に示す入力画像中の１及び２で示す領域と、右側に示す出力画像中、１及び２で示す各画像エリアとが対応している。
本実施形態の画像変形回路は、出力画像を画像エリア単位で処理する。右側に示す出力画像の各画像エリアを生成するのに都度、メモリから必要なパラメータをＲｅａｄして歪補正を行う。

図５は、出力画像の生成順を示す説明図である。
本実施形態の画像処理装置は、図５に示すようにラスター順に処理を行う。
このように、画像エリア毎に処理していくことと、出力画像１画素毎にパラメータを持っているということから、マッチングにより予め画像エリア単位の認識行い、画像エリア単位で補間方式を変更することができる。

補間方式としては、例えば、バイリニア法、バイキュービック法などが挙げられる。出力画素の生成方法としては、例えば、参照画素４点（バイリニア方式）から生成する方式が挙げられる。

本実施形態の画像処理装置は、図６に示すように、入力部１１から入力された画像データを用いて、マッチング部１５において画像エリア単位のマッチング処理を行う。
予めマッチングを実施することにより、画像の特徴を検出し、パラメータ精度を高めることにより、高画質化を実現する。この高画質化の手段を以下に説明する。

図７はマッチングを行う単位を示す説明図であり、図７（Ａ）は入力画像（魚眼画像）、図７（Ｂ）は出力画像（メルカトル画像）をそれぞれ示している。
図７（Ａ）に示すように、魚眼画像を複数の画像エリアに分割することにより、マッチング部１５にて画像エリア単位での細線及び斜線のパターンマッチングを行う。
図７（Ａ）中の太枠で囲まれた領域は、図７（Ｂ）の出力画像の「Ｎ＋２」の領域を生成する為に必要な入力画像領域を示している。このように、出力画像の画像エリア単位で、それぞれに対応した入力画像領域をレンズパラメータより得る事ができる。

直線（細線）及び斜線のいずれかをマッチングする為に、基本となる格子パターン、斜め格子パターンの画像データから、レンズパラメータで逆変換をかける事で歪んだ画像を生成する事ができ、入力画像とのマッチングを行う事が可能となる。

画像エリア単位でパターンマッチングを行った結果に応じて、画像変形回路１２にて処理を行う際の付加情報を画像エリア単位で渡すことができる。これにより、エッジ強調などが必要な補間係数に切り替えたり、補間方式の切り替えを選択したりする事が可能となる。
補間方式を切り替えるというのは、画像変形回路１２が、バイリニア法、バイキュービック法、ランチョス法などの方式の中から適宜選択する事ができる構成を保有していることを示す。

マッチングの結果、斜線を検出した場合において、バイリニア方式により４点参照する補間の例を図８に示す。
最も距離が離れている点Ｐについては、図８（Ｂ）に示すように、あえて参照画素とみなす必要は無いとすることも可能である。

上述のように、補間方式は、画像エリア単位で変更することもでき、画素単位で変更することもできる。
また、画像変形回路１２が、マッチング結果に応じて画素毎に補間パラメータを変更し、対象画像に対して画素毎に補正を行うことができる。

なお、画像変形回路１２は、マッチングにより検出された対象画像の特徴と対応する入力画像の画像エリアのみを、メモリ３０から読み出すことができる。

図９に、本実施形態の画像処理装置における処理手順の一例を示す。
まず、入力部１１から画像データが入力される（Ｓ１）。入力された画像データに必要な画像処理を行い、一旦メモリ（外部メモリ）３０に保存する（Ｓ２）。

次に、マッチング部１５において画像エリア単位のマッチング処理を行う（Ｓ３）。画像変形回路１２は、出力画像を画像エリア単位で処理し、各画像エリアを生成するのに都度、メモリ３０から必要なパラメータをＲｅａｄし、画像のマッチングを行い（Ｓ４）、歪み補正を行う（Ｓ５）。
一方、メモリ３０に保存された画像データと、予めメモリ３０に置かれていたレンズパラメータとを使用して、画像変形回路１２にて歪補正を実施する（Ｓ５）。

歪補正後の画像データは、メモリ３０に保存され（Ｓ６）、出力部１４から出力される（Ｓ７）。

上述のように、入力画像に細線や斜線が存在するか否かの判定を行い、画像エリア単位で検出することで、歪補正の補間方式を画像エリアごとに切り替えることができ、入力画像に適した画像処理を行うことができる。予め画像エリア単位の画像認識を行い、補間方式をダイナミックに画像エリア単位で切り替えることにより、出力される画像の画質を高めることができる。

１１ 入力部（入力Ｉ／Ｆ）
１２ 画像変形回路
１４ 出力部（出力Ｉ／Ｆ）
１５ マッチング部
２０ インターコネクト回路
３０ メモリ（外部メモリ）

特許第５４４２１６４号公報

Claims (7)

1. 撮像装置から入力される画像データを処理して出力する画像処理装置において、
   前記画像データの入力を受ける入力部と、
   前記画像データを格納する記憶容量を備えたメモリと、
   前記メモリに格納されたレンズパラメータを用いて画像変形を行う画像変形回路と、
   出力画像を生成する出力部と、
   前記画像データを前記メモリに書き込み、前記メモリから前記画像データを読み出すインターコネクト回路と、を少なくとも備え、
   前記画像変形回路は、複数の画像エリアに分割された画像データを任意の画像エリア単位で画像変換を行う回路であり、前記レンズパラメータを用いて行われる特定の出力画像に対する逆変換により得られた対象画像と前記入力部から入力された入力画像とのマッチングを行うことにより、前記対象画像の特徴を検出することを特徴とする画像処理装置。
2. 逆変換の対象となる特定の出力画像が、斜線画像または細線画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像変形回路が、前記入力画像の領域を、前記出力画像の画像エリアと対応させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像変形回路が、マッチングにより検出された前記対象画像の特徴と対応する前記入力画像の画像エリアのみを、前記メモリから読み出すことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像変形回路が、画像エリア単位で補間方式を変更することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記画像変形回路が、画素単位で補間方式を変更することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記画像変形回路が、マッチング結果に応じて画素毎に補間パラメータを変更し、前記対象画像に対して画素毎に補正を行うことを特徴とする請求項１から６のいずれかに記載の画像処理装置。