JP2015197718A

JP2015197718A - 補間装置及び補間方法

Info

Publication number: JP2015197718A
Application number: JP2014073997A
Authority: JP
Inventors: 船窪　則之; Noriyuki Funakubo; 則之船窪
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2014-03-31
Filing date: 2014-03-31
Publication date: 2015-11-09
Anticipated expiration: 2034-03-31
Also published as: JP6326914B2

Abstract

【課題】各格子点間のデータを補間しつつ、各格子点に付与されたデータを処理することができる補間装置及び補間方法を提供する。
【解決手段】水平走査線方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべき補正値に対し、各格子点間の補正値を補間する補間装置（２０）である。補間装置（２０）は、第１格子点間に対して設定された補間式を用いて第１格子点間の補間を行う第２補間部（２２）と、第１格子点間に対する補間が行われている期間中に、第１格子点間より並び順が後の第２格子点間に対して補間式を設定する第１補間部（２１）とを備える。
【選択図】図１

Description

本発明は、多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間を補間することにより、各格子点間のデータを求める補間装置及び補間方法に関する。

近年、車載の情報表示装置として、ヘッドアップディスプレイ（Head Up Display、以下では、「ＨＵＤ」と略記する）システムが注目されている。車載のＨＵＤシステムは、例えば、車速や燃料残量等を表す画像をフロントガラスに投影する。しかし、これらの画像を非平面のフロントガラスにそのまま投影すると、運転者からは歪んだ画像として見える。そこで、多くのＨＵＤシステムは、この歪みを補正する機能（ワーピング機能）を備えている。

ワーピング機能として、フロントガラスの曲面に応じた補正値を、映像を構成する各画素にそれぞれ与えておく手法が挙げられる。この手法によれば、映像をフロントガラスに投影したとき、各画素に与えられた補正値を用いて、各画素の投影位置を補正することにより、フロントガラスに投影される映像から歪を無くすことができる。

さらに、この手法による場合、各画素に与える補正値のデータ量を削減することを目的として、映像を構成する全画素に補正値を予め与えることはせずに、一部の画素の補正値は補間により求めることが行われる。このような補間を行うことにより、予め格納しておかなければならない補正値のデータ量を削減することができる。

このような補間の手法としては、例えば、双線形補間法を挙げることができる（特許文献１を参照）。双線形補間法では、補正値の補間対象である画素と、その画素を囲む周囲４点の、予め補正値を持つ画素の各々との距離に比例するように、周囲４点の各々の補正値を重み付けする。そして、それら重み付けされた値の平均を求め、その平均値を補間対象の画素に与える補正値とする。

特開２００８−１０２５１９号公報（２００８年５月１日公開）

しかしながら、上述の双線形補間法は１次式を用いた線形補間であるため、フロントガラスといった曲面に適用した場合、滑らかな補間を行うことができない。

そこで、１次式に代えて、２次式を用いた補間を行うことが考えられるが、この場合、水平走査線方向及び垂直方向それぞれを２次式で補間することになるため、補間のための演算量が増大し、それゆえ、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するといったリアルタイム処理を行うことは困難となる。

これに対し、本発明は、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するリアルタイム処理を実現することができる補間装置及び補間方法を提供することを目的とする。

上記の課題を解決するために、本発明に係る補間装置は、第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間装置であって、第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間手段と、上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定手段と、を備える。

上記構成によれば、第１格子点間と第２格子点間とがこの順で各々の格子点に付与されたデータが処理される場合において、補間手段が第１格子点間に対する補間を行っている期間中に、補間式設定手段が第２格子点間を補間する補間式を決定し、第２格子点間に設定する。

このため、補間手段が、第１格子点間の各格子点のデータに対する処理が終了し、続いて、第２格子点間の各格子点のデータに対する処理を開始するときには、第２格子点間を補間する補間式が第２格子点間に設定されていることになる。

したがって、第１格子点間の各データに対する処理終了後直ちに、設定済みの補間式を用いて第２格子点間の補間を行うことが可能となる。

それゆえ、各格子点間に付与されるデータを補間しつつ、補間されたデータを逐次的に用いて各データに対する処理を行うリアルタイム処理を実現することができる。

ここで「多数の格子点」とは、原理的には格子点が３点以上であればよいことになるが、画像を表示するための画素に対する処理を想定した場合にはより多くの格子点を意味することになる。

本発明は、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するリアルタイム処理を実現することができるという効果を奏する。

本発明の一実施形態に係る補間装置の機能構成を示すブロック図である。上記補間装置を適用した画像処理装置の概略構成を示すブロック図である。上記補間装置のハードウェア構成を示すブロック図である。上記補間装置を説明するための図であり、（ａ）は元画像上の２次元格子を示す図、（ｂ）は基準補正値が記載された補正テーブルの一例を示す図である。本発明の一実施形態に係る補間方法を具体的に説明するための図であり、（ａ）及び（ｄ）は元画像を説明する図、（ｂ）及び（ｃ）は投影用画像を説明する図である。上記補間方法の処理手順を示す図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

（画像処理装置１）
図２は、本発明の実施の形態に係る補間装置２０を適用した画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、例えば、ＨＵＤシステムを利用した車載用の表示システムといった、表示装置から投影面に投影した画像をユーザに提供する表示システムに好適な画像処理装置である。

図２に示すように、画像処理装置１は、基準補正値記憶部２、アドレス生成部３、映像キャプチャバッファ４、フィルタ機能部５及び表示制御部６を備えている。

基準補正値記憶部２は、平面に表示することを想定した元画像をそのまま曲面に投影したときに生じる歪を取り除くための、元画像を構成する各画素に予め与えられる補正値を格納する。各補正値は、元画像の各画素の位置と、投影面に投影される投影用画像内における、元画像の各画素にそれぞれ対応する各画素の位置との間の位置ずれを示すものである。

例えば、各補正値は、元画像の各画素をそれぞれ投影用画像内においてどの位置に対応する画素として表示すべきか（例えば、投影用画像内における当該画素の座標）を示すものである。また、各補正値は、元画像の座標系における各画素の座標からの、投影用画像内の座標系における各画素の座標のずれを示す係数であってもよい。この場合、元画像のＸ−Ｙ座標系におけるｘ座標と投影用画像のＵ−Ｖ座標系におけるｕ座標との差及び、元画像のＸ−Ｙ座標系におけるｙ座標と投影用画像のＵ−Ｖ座標系におけるｖ座標との差を補正係数とすればよい。

ただし、基準補正値記憶部２は、元画像を構成するすべての画素について、上述のような補正値を格納するものではない。基準補正値記憶部２は、元画像上に２次元格子を想定し、当該２次元格子の格子点に位置する画素（以下、「格子点画素」と呼ぶ）のみについて上述の補正値を予め格納する。一方、このような２次元格子の格子点から外れた画素、すなわち、格子点間に位置する画素（以下、「格子点間画素」と呼ぶ）における補正値については、格子点画素に与えられている補正値を用いた補間により、算出する。この補間については、後述する。なお、以下では、基準補正値記憶部２に予め格納されている補正値を「基準補正値」、上述のように補間により求められる補正値を「補間補正値」と呼ぶ。

アドレス生成部３は、画像処理装置１の外部より入力され、映像キャプチャバッファ４に一時的に格納されるＲＧＢデータに対し、上述した投影用画像上における表示位置を示すアドレスデータを生成する。画像処理装置１はＲＧＢデータを表示装置（図示省略）に出力し、そのＲＧＢデータを基に表示装置に画像を表示させる。

また、アドレス生成部３は補間装置２０を有している。この補間装置２０は、後述するように、基準補正値記憶部２から取得される、格子点画素の基準補正値を基に、補間により、格子点間画素の補間補正値を求めるものである。格子点間画素に補間補正値が与えられることにより、アドレス生成部３は、基準補正値記憶部２から取得する基準補正値及び補間装置２０により求められる補間補正値を基にして、上述のアドレスを生成する。

映像キャプチャバッファ４は、画像処理装置１の外部より入力される、元画像のＲＧＢデータを一時的に格納する。このＲＧＢデータは、上述したアドレスに従って映像キャプチャバッファ４からフィルタ機能部５に出力される。

フィルタ機能部５は、例えば、映像キャプチャバッファ４から入力されるＲＧＢデータに対し、エッジ強調などのフィルタ処理を行う。フィルタ機能部５は、このようなフィルタ処理を施したＲＧＢデータを表示制御部６に出力する。

表示制御部６は、上述の表示装置を制御し、フィルタ機能部５から入力されるＲＧＢデータを用いて上述の表示装置に投影用画像を表示させる。

（補間装置２０）
上述したように、基準補正値記憶部２に予め格納されている基準補正値を基に補間補正値を求める処理は補間装置２０により実現される。この補間装置２０は、図１に示すように、第１補間を行うための補間式を設定して第１補間を行うとともに第２補間を行うための補間式を設定する第１補間部（補間式設定手段）２１と、第２補間を行う第２補間部（補間手段）２２と、水平方向補間係数を一時的に格納する水平方向補間係数記憶部２３と、第１補正値を一時的に格納する第１補正値記憶部２４と、を備えている。補間装置２０のハードウェア的な構成を図３に示しているが、その詳細は後述する。

（第１補間部２１）
第１補間部２１は、まず、水平走査線上の２つの格子点間画素の各々に対し、垂直方向の補間により、それらに与えるべき補間補正値（以下、「第１補正値」と呼ぶ）を求める。水平走査線上における一つの補間区間は、この第１補正値が与えられる２つの格子点間画素の間の区間である。次に、第１補間部２１は、この補間区間内の画素に与えるべき補間補正値（以下、「第２補正値」と呼ぶ）を水平走査線方向に補間し、算出するための走査線方向補間式を決定する。

このような機能を実現する第１補間部２１は、図１に示すように、参照画素設定部３０と、垂直方向補間係数演算部（副補間式設定手段）３１と、第１補正値算出部（副補間手段）３２と、垂直座標算出部（副補間手段）３３と、水平方向補間係数演算部３４と、を有している。

以下、図４の（ａ）に示すように、複数の画素からなる元画像上に２次元格子を想定し、当該２次元格子の格子点に位置する格子点画素に基準補正値が与えられている実施形態を例として説明する。

この場合、例えば、元画像のＸ−Ｙ座標系におけるｐ点（０，１）に位置する画素に対応する、投影用画像内の画素は、投影用画像のＵ−Ｖ座標系においてｑ点（ｕ_０１，ｖ_０１）に位置する。このとき、元画像のｐ点に位置する画素に対し、基準補正値ｄとして[ｕ_０１，ｖ_０１]が与えられている。すなわち、この例では、元画像の格子点に位置する各画素に対し、それぞれに対応する画素の、投影用画像内において位置する座標が基準補正値として与えられている。

図４の（ｂ）に示すように、このような基準補正値はテーブル形式により、基準補正値記憶部２に予め格納されている。この補正テーブルでは、上述したｐ点に位置する格子点画素に与えられた基準補正値ｄが、ｐ点の（ｘ，ｙ）＝（０，１）に対応する行列要素として記載されている。同様に、補正テーブルには、元画像の各格子点画素に与えられた基準補正値がそれぞれ記載されている。

参照画素設定部３０は、水平走査線上の２つの格子点間画素を補間する際に参照すべき参照画素領域を設定する。この参照画素領域には、元画像の格子点画素のうち、補間対象の画素に対して垂直方向（第２方向）に位置する複数の画素（以下、「参照画素」と呼ぶ）が含まれる。参照画素設定部３０は、参照画素領域に含まれる各参照画素の基準補正値を基準補正値記憶部２から取得する。

垂直方向補間係数演算部３１は、参照画素設定部３０により設定された参照画素領域に含まれる各参照画素の基準補正値を用いて、上記２つの格子点間画素に与えるべき第１補正値を算出するための垂直方向補間式を決定する。

ここで、上述した「垂直方向」とは、元画像のＸ−Ｙ座標系におけるＹ方向である。上述したように、基準補正値及び第１補正値は、元画像の各画素に対応する、投影用画像内における各画素の座標を示すものである。基準補正値及び第１補正値がこのような投影用画像内における各画素の座標を示す場合、垂直方向補間式は、元画像のＸ−Ｙ座標系においてＹ方向に並ぶ各格子点画素に与えられた基準補正値を通る曲線で表されることになる。

一般に、ｎ＋１個の点（α_０，β_０），（α_１，β_１），（α_２，β_２），・・・，（α_ｎ，β_ｎ）が与えられているとき、その点を通る滑らかな曲線をひき、α_０〜α_ｎの間の値αにおける上記曲線上の点のβの値を求めることを補間という。通常、ｎ＋１個の点を通る曲線は、例えば、以下のようなｎ次式（ｎは２以上の自然数）で表される。本実施の形態では、ニュートンの補間式を用いている。

β＝Ａ_０＋Ａ_１（α−α_０）＋Ａ_２（α−α_０）（α−α_１）＋・・・＋Ａ_ｎ（α−α_０）（α−α_１）・・・（α−α_ｎ−１）
上述の「垂直方向補間式を決定する」とは、このｎ次式を決定するために、上記の係数（補間係数）Ａ_０〜Ａ_ｎを算出することを意味する。

このようなｎ次式を用いた場合、ｎの数が大きくなると、演算量が増大する傾向にある。このため、垂直方向補間係数演算部３１は、参照画素領域のＸ方向の格子点の数分の低次元の補間を行う。具体的には、垂直方向補間係数演算部３１は、垂直方向補間式として、３点の格子点画素を用いた２次式を用いる。もちろん、垂直方向補間式は２次式に限られるものではなく、演算量の増大が問題とならなければ、３次式、４次式といった、より高次の式であっても構わない。高次の式になるほど、参照画素領域を広く取る必要がある。

垂直方向補間係数演算部３１は、このような垂直方向補間式の係数を演算し、複数の垂直方向補間式を決定する。なお、本実施の形態では、垂直方向補間式は２次式を用いるものとする。

第１補正値算出部３２は、垂直方向補間係数演算部３１により決定された垂直方向補間式を用いて、補間対象である、水平走査線上の２つの格子点間画素に与える第１補正値を算出する。この第１補正値を算出する際、第１補正値算出部３２は、参照画素領域のＸ方向の格子点の数分の、投影用画像のＵ−Ｖ座標系における各ｖ座標を垂直座標算出部３３より取得する。取得したｖ座標を対応する垂直方向補間式に代入することで、ｕ座標を取得する。これらのｕ、ｖ座標が第１補正値である。

垂直座標算出部３３は、補間対象の水平走査線の上下に位置する２つの格子点の基準補正値から、以下の方法で補間対象の水平走査線上のｖ座標を算出する。

上記２つの格子点のＵ−Ｖ座標系でのｖ座標の差と、同じ２つの格子点のＸ−Ｙ座標系でのｙ座標の差（Ｙ方向の格子点間距離）を求める。

上記の２つの差と、上記の水平走査線のｙ座標と上記の水平走査線の上下にある格子点のｙ座標との関係から、ｖ座標を算出する。

水平方向補間係数演算部３４は、第１補正値算出部３２により算出された第１補正値を用いて、上記２つの格子点間画素内の画素に与えるべき第２補間値を算出するために、まず、水平走査線方向（第１方向）に補間する走査線方向補間式を決定する。

上述した「水平走査線方向」とは、元画像のＸ−Ｙ座標系におけるＸ方向である。上述した垂直方向補間式と同様、走査線方向補間式は、３点の格子点間画素を用いた２次式（曲線）を用いる。水平方向補間係数演算部３４は、このような走査線方向補間式の係数を演算し、走査線方向補間式を決定する。なお、本実施の形態では、走査線方向補間式は２次式を用いるものとする。

（第２補間部２２）
第２補間部２２は、第１補間部２１により決定された走査線方向補間式を用いて、第１補正値が与えられた格子点間画素間である補間区間内に位置する画素に与える第２補正値を求める。第２補間部２２は、図１に示すように、第２補正値算出部４０と、水平座標算出部４１と、を有している。

第２補正値算出部４０は、水平方向補間係数演算部３４により決定された走査線方向補間式を用いて、上記補間区間内の画素に与える第２補正値を算出する。この第２補正値を算出する際、第２補正値算出部４０は、投影用画像のＵ−Ｖ座標系における各画素のｕ座標を水平座標算出部４１より取得する。

水平座標算出部４１は、第１補正値算出部３２により算出された第１補正値を用い、投影用画像のＵ−Ｖ座標系における、補間区間内の画素のｕ座標を水平走査線方向に沿って順次算出する。

（水平方向補間係数記憶部２３）
水平方向補間係数記憶部２３は、水平方向補間係数演算部３４により演算された走査線方向補間式の係数を第２補正値算出部４０の処理開始まで一時的に格納する。

（第１補正値記憶部２４）
第１補正値記憶部２４は、第１補正値算出部３２により算出された第１補正値を水平座標算出部４１の処理開始まで一時的に格納する。

（補間装置２０の動作）
以下、図５及び図６を用いて、補間装置２０の動作、すなわち、本発明の実施の形態に係る補間方法について説明する。図５は、本発明の実施の形態に係る補間方法を具体的に説明する図、図６は、当該補間方法の処理手順を示す図である。

図６において、参照画素設定部３０は参照画素領域Ｒ_１を設定する（Ｓ１）。図５の（ａ）に示すように、格子点間画素である第１画素Ｐ_１、第２画素Ｐ_２及び第３画素Ｐ_３が補間対象である。参照画素領域Ｒ_１には、第１画素Ｐ_１、第２画素Ｐ_２及び第３画素Ｐ_３がそれぞれの補間において参照すべき参照画素が含まれている。具体的には、参照画素領域Ｒ_１は、元画像の格子点に位置する格子点画素ｐ_１〜ｐ_９を含んでいる。第１画素Ｐ_１は、ｐ_１とｐ_４との間の区間ｌ_１に位置する画素、第２画素Ｐ_２は、ｐ_２とｐ_５との間の区間ｌ_２に位置する画素、第３画素Ｐ_３は、ｐ_３とｐ_６との間の区間ｌ_３に位置する画素である。

第１画素Ｐ_１の第１補正値を求める際に参照すべき参照画素はｐ_１、ｐ_４、ｐ_７である。第２画素Ｐ_２の第１補正値を求める際に参照すべき参照画素はｐ_２、ｐ_５、ｐ_８である。第３画素Ｐ_３の第１補正値を求める際に参照すべき参照画素はｐ_３、ｐ_６、ｐ_９である。なお、各々の参照画素として３点が必要となるのは、上述したように、垂直方向補間式が２次式のためである。

参照画素設定部３０は、ｐ_１〜ｐ_９の各々に与えられている基準補正値を基準補正値記憶部２に格納されている補正テーブルからそれぞれ取得する。

次に、垂直方向補間係数演算部３１は、参照画素設定部３０よりｐ_１〜ｐ_９の各々に与えられている基準補正値が入力されると、第１画素Ｐ_１、第２画素Ｐ_２及び第３画素Ｐ_３の各第１補正値を求めるための垂直方向補間式の係数を算出し、各々の垂直方向補間式を決定する（Ｓ２）。

例えば、第１画素Ｐ_１の第１補正値を垂直方向ｍ_０１で補間し、算出するための垂直方向補間式ｍ_１は次のように決定される。

まず、第１画素Ｐ_１の第１補正値を求める際に参照すべき参照画素であるｐ_１、ｐ_４、ｐ_７の基準補正値、すなわち、投影用画像のＵ−Ｖ座標系における座標に位置するｑ_１、ｑ_４、ｑ_７を通る２次式である垂直方向補間式ｍ_１を以下の（１）式とする（図５の（ｂ）参照）。

ｕ＝Ａ_００（ｖ−ｖ_００）（ｖ−ｖ_０１）＋Ｂ_００（ｖ−ｖ_００）＋Ｃ_００・・・（１）
投影用画像のＵ−Ｖ座標系におけるｑ_１、ｑ_４、ｑ_７の座標を、（ｕ_００，ｖ_００）、（ｕ_０１，ｖ_０１）、（ｕ_０２，ｖ_０２）とする。

ｖ＝ｖ_００により、ｕ＝ｕ_００＝Ｃ_００となる。

ｖ＝ｖ_０１により、ｕ＝ｕ_０１＝Ｂ_００（ｖ_０１−ｖ_００）＋Ｃ_００となる。これにより、Ｂ_００＝（ｕ_０１−ｕ_００）／（ｖ_０１−ｖ_００）となる。

ｖ＝ｖ_０２により、ｕ＝ｕ_０２＝Ａ_００（ｖ_０２−ｖ_００）（ｖ_０２−ｖ_０１）＋Ｂ_００（ｖ_０２−ｖ_００）＋Ｃ_００となる。ｕ_００＝Ｃ_００、Ｂ_００＝（ｕ_０１−ｕ_００）／（ｖ_０１−ｖ_００）により、Ａ_００＝（Ｂ_００’−Ｂ_００）／（ｖ_０２−ｖ_０１）となる。ただし、Ｂ_００’＝（ｕ_０２−ｕ_００）／（ｖ_０２−ｖ_００）である。

このように、上記（１）式における３つの係数Ａ_００、Ｂ_００、Ｃ_００が求められ、上記（１）式が決定される。

同様に、第２画素Ｐ_２の第１補正値を垂直方向ｍ_０２で補間し、算出するための垂直方向補間式ｍ_２、第３画素Ｐ_３の第１補正値を垂直方向ｍ_０３で補間し、算出するための垂直方向補間式ｍ_３、がそれぞれ決定される。

次に、第１補正値算出部３２は、上述したように決定された垂直方向補間式ｍ_１、ｍ_２及びｍ_３を用いて、第１画素Ｐ_１、第２画素Ｐ_２及び第３画素Ｐ_３の各々の第１補正値を算出する（Ｓ３）。ここで、第１画素Ｐ_１、第２画素Ｐ_２及び第３画素Ｐ_３の投影用画像のＵ−Ｖ座標系における点を各々、第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３とする。

図５の（ｂ）に示すように、投影用画像のＵ−Ｖ座標系において、第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３は、水平走査線と各垂直方向補間式ｍ_１、ｍ_２、ｍ_３との各交点に位置する。垂直座標算出部３３は、この各交点のｖ座標、すなわち、第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各ｖ座標を算出する。第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各ｖ座標は、ｑ_１とｑ_４とのｖ座標の差、ｑ_２とｑ_５とのｖ座標の差及びｑ_３とｑ_６とのｖ座標の差の各々から求めることができる。例えば、第１画素Ｑ_１の場合であれば、ｑ_１とｑ_４との間の区間ｌ_１に予め定められた数の水平走査線が描画される。ｑ_１とｑ_４とのｖ座標の差を区間ｌ_１に対応するＸ−Ｙ座標系のＹ方向の格子点間における補間数で分割すれば、水平走査線間のＶ方向の単位距離が算出される。垂直座標算出部３３は、ｑ_１のｖ座標にｑ_１から見た水平走査線数分だけ水平走査線間のＶ方向の単位距離を加えることにより、第１画素Ｑ_１のｖ座標を算出することができる。第２画素Ｑ_２、第３画素Ｑ_３についても同様である。

第１補正値算出部３２は、上述の垂直方向補間式ｍ_１、ｍ_２及びｍ_３の各々に対し、垂直座標算出部３３により算出された第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各ｖ座標を代入することにより、第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各ｕ座標を算出する。

このようにして、第１補正値算出部３２は、投影用画像のＵ−Ｖ座標系における第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各座標（第１補正値）を算出する。第１補正値算出部３２は、第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各座標を水平方向補間係数演算部３４に出力すると共に、第１補正値記憶部２４に一時的に格納する。

次に、水平方向補間係数演算部３４は、第１補正値算出部３２より第１画素Ｑ_１、第２画素Ｑ_２及び第３画素Ｑ_３の各々に与えられた座標が入力されると、第１画素Ｑ_１と第２画素Ｑ_２間を補間し、その間の画素の各第２補正値を求めるための走査線方向補間式の係数を算出し、走査線方向補間式を決定する（Ｓ４）（補間式設定工程）。第１画素Ｑ_１と第２画素Ｑ_２間を補間する走査線方向補間式は、上述した垂直方向補間式と同様に決定される。

例えば、走査線方向補間式ｍ_４は以下の（２）式とすればよい。

ｖ＝Ａ（ｕ−Ｕ_０）（ｕ−Ｕ_１）＋Ｂ（ｕ−Ｕ_０）＋Ｃ・・・（２）
なお、第１画素Ｑ_１、第２画素Ｑ_２、第３画素Ｑ_３の各々の第１補正値、すなわち、投影用画像のＵ−Ｖ座標系における座標を、（Ｕ_０，Ｖ_０）、（Ｕ_１，Ｖ_１）、（Ｕ_２，Ｖ_２）とする。

上記（２）式の３つの係数Ａ、Ｂ及びＣは、以下のとおりとなる。

Ａ＝（Ｂ’−Ｂ）／（Ｕ_２−Ｕ_１）
ただし、Ｂ’＝（Ｖ_２−Ｖ_０）／（Ｕ_２−Ｕ_０）
Ｂ＝（Ｖ_１−Ｖ_０）／（Ｕ_１−Ｕ_０）
Ｃ＝Ｖ_０
このように、上記（２）式における３つの係数Ａ、Ｂ、Ｃが求められ、上記（２）式が決定される。図５の（ｂ）に示すように、第０画素Ｑ_０と第１画素Ｑ_１との間の補間区間を走査する期間中において、第１画素Ｑ_１と第２画素Ｑ_２との間の補間区間に対する上記ステップＳ１〜Ｓ４が行われる。

次に、第２補正値算出部４０は、水平方向補間係数演算部３４により決定された走査線方向補間式を用いて、図５の（ｃ）に示すように、第１画素Ｑ_１と第２画素Ｑ_２との間の補間区間ｌ_４内の画素（例えば、Ｑ_ａ、Ｑ_ｂ）の第２補正値を算出する（Ｓ５）（補間工程）。この第２補正値は、上述したとおり、投影用画像のＵ−Ｖ座標系における座標である。第２補正値算出部４０は、描画処理する水平走査線の走査点の進行に合わせて、補間区間ｌ_４内の画素のｕ、ｖ座標を順次算出する。

第２補正値算出部４０は、上述の走査線方向補間式ｍ_４に対し、水平座標算出部４１により算出された補間区間ｌ_４内の各画素のｕ座標を代入することにより、各ｖ座標を算出する。

水平座標算出部４１は、投影用画像のＵ−Ｖ座標系において、補間区間ｌ_４内の各画素のｕ座標を水平走査線方向に順次出力する。補間区間ｌ_４内の各画素のｕ座標は、第１画素Ｑ_１と第２画素Ｑ_２とのｕ座標の差から求めることができる。第１画素Ｑ_１と第２画素Ｑ_２とのｕ座標の差を補間区間ｌ_４に対応するＸ−Ｙ座標系のＸ方向の格子点間における補間数で分割すれば、画素間のＵ方向の単位距離が算出される。水平座標算出部４１は、このように算出された単位距離を、水平走査線の走査点の進行に合わせて、第１画素Ｑ_１のｕ座標に１単位距離ずつ加えていくことにより、補間区間ｌ_４内の各画素のｕ座標を算出することができる。

なお、補間区間ｌ_４の描画の開始とともに、参照画素設定部３０は新たな参照画素領域Ｒ_２を設定する（Ｓ１）。図５の（ｄ）に示すように、参照画素領域Ｒ_２には、第１補正値を補間すべき対象の画素である、第１画素Ｐ_１’、第２画素Ｐ_２’及び第３画素Ｐ_３’がそれぞれ参照すべき参照画素が含まれている。参照画素領域Ｒ_２は、元画像の格子点に位置するｐ_１’〜ｐ_９’を含んでいる。第１画素Ｐ_１’は、ｐ_１’とｐ_４’との間の区間ｌ_１’に位置する画素、第２画素Ｐ_２’は、ｐ_２’とｐ_５’との間の区間ｌ_２’に位置する画素、第３画素Ｐ_３’は、ｐ_３’とｐ_６’との間の区間ｌ_３’に位置する画素である。第１画素Ｐ_１’の第１補正値を垂直方向ｍ_０１’で補間し、算出するための垂直方向補間式、第２画素Ｐ_２’の第１補正値を垂直方向ｍ_０２’で補間し、算出するための垂直方向補間式及び第３画素Ｐ_３’の第１補正値を垂直方向ｍ_０３’で補間し、算出するための垂直方向補間式が決定される（Ｓ２）。

ここで、図６に示すように、補間区間１、補間区間２及び補間区間３がこの順で描画されるものとする。補間装置２０は、補間区間１に対し、上述したステップＳ５の処理を行う期間内において、補間区間２に対し、上述したステップＳ１〜Ｓ４の処理を行う。同様に、補間区間２に対し、上述したステップＳ５の処理を行う期間内において、補間区間３に対し、上述したステップＳ１〜Ｓ４の処理を行う。

補間装置２０では、各補間区間の描画処理が開始するまでに、各補間区間を走査するために必要となる補間区間を補間し、補間区間内の座標を求める走査線方向補間式が決定される。これにより、補間区間の描画処理を行いつつ、次の描画対象である補間区間を走査するために必要となる走査線方向補間式が決定される。

このようにすることにより、水平走査線上を描画しつつ、水平走査線上を補間することにより水平走査線上の画素の補正値を求めることができる。

以上のとおり、本実施の形態では、格子点画素に付与された基準補正値を用いて格子点間画素の補正値を補間することを前提とした処理について説明した。すなわち、本実施の形態の処理は、２次元空間での補間を対象としたものであるといえる。しかしながら、先の補間区間に対して上述したステップＳ５の処理を行う期間内に、後の補間区間に対して上述したステップＳ１〜Ｓ４の処理を行うという点に着目すれば、この点は１次元空間での補間にも応用可能である。一例を挙げれば、時間的にサンプリングされた音声データを補間しつつ再生する技術への応用が考えられる。

補間装置２０は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

補間装置２０は、例えば、図３に示すハードウェア構成により実現することができる。図３に示すように、補間装置２０は、第１補間装置５１と、第２補間装置５２と、を有している。第１補間装置５１は、図１に示した参照画素設定部３０、垂直方向補間係数演算部３１、第１補正値算出部３２、垂直座標算出部３３及び水平方向補間係数演算部３４をハードウェア構成により実現する加算器６１、乗算器６２及び除算テーブル記憶部６３を有している。さらに、第１補間装置５１は、図１に示した水平方向補間係数記憶部２３及び第１補正値記憶部２４をハードウェア構成により実現するテンポラリレジスタ６４を有している。第１補間装置５１は、基準補正値記憶部２から入力される基準補正値に対し、加算器６１、乗算器６２及び、除算テーブル記憶部６３に格納されている除算用のテーブルを用いて演算し、上述した水平方向補間係数および第１補正値を算出し、テンポラリレジスタ６４に一時的に格納する。除算用のテーブルは、例えば、被除数と除数に基づいて商の各桁を決定可能なルックアップテーブルを用いることができる。

第２補間装置５２は、第１補間装置５１から入力される、上述した水平方向補間係数および第１補正値に対し、乗算器７１、７２及び加算器７３を用いて演算し、上述した第２補正値を算出する。

ソフトウェアによって実現する場合、補間装置２０の第１補間部２１及び第２補間部２２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

なお、本発明の各態様に係る補間装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記補間装置が備える各手段として動作させることにより上記補間装置をコンピュータにて実現させる補間装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。さらに、本発明の各態様に係る補間装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。

本発明は、ＨＵＤシステムを利用した車載用の表示システムといった、表示装置から投影面に投影した画像をユーザに提供する表示システムに利用することができる。

１画像処理装置、２基準補正値記憶部、３アドレス生成部、４映像キャプチャバッファ、５フィルタ機能部、６表示制御部、２０補間装置、２１第１補間部（補間式設定手段）、２２第２補間部（補間手段）、２３水平方向補間係数記憶部、２４第１補正値記憶部、３０参照画素設定部、３１垂直方向補間係数演算部（副補間式設定手段）、３２第１補正値算出部（副補間手段）、３３垂直座標算出部（副補間手段）、３４水平方向補間係数演算部、４０第２補正値算出部、４１水平座標算出部。

Claims

第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間装置であって、
第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間手段と、
上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定手段と、
を備えることを特徴とする補間装置。
上記補間式設定手段は、上記第１方向とは異なる第２方向に並び、それぞれに予めデータが定められた複数の格子点の各格子点間に対して上記第２方向の補間式を設定する副補間式設定手段と、
上記副補間式設定手段により設定された補間式を用いて上記第２方向の各格子点間の補間を行うことにより、上記第２方向の各格子点間に位置する点にデータを付与し、当該データが付与された点を上記補間手段及び上記補間式設定手段が用いる上記格子点とする副補間手段と、
を有することを特徴とする請求項１に記載の補間装置。
上記補間式は、上記格子点間の両端の格子点を通るｎ次式（ｎは２以上の自然数）であることを特徴とする請求項１または２に記載の補間装置。
上記データは、画像を投影面に投影するときに生じる歪を補正するための補正値であり、上記格子点は当該画像を構成する画素上に配置されていることを特徴とする請求項１から３のいずれか１項に記載の補間装置。
上記第１方向は、上記画像を描画する際の水平走査線の方向であることを特徴とする請求項４に記載の補間装置。
第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間方法であって、
第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間工程と、
上記補間工程にて上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定工程と、
を含むことを特徴とする補間方法。