以下に添付図面を参照して、本発明に係る映像信号処理装置の実施例を詳細に説明する。なお、以下では、本発明に係る映像信号処理手法の概要について図1を用いて説明した後に、本発明に係る映像信号処理手法を適用した映像信号処理装置についての実施例を図2〜図10を用いて説明する。
まず、本発明に係る映像信号処理手法の概要について図1を用いて説明する。図1は、本発明に係る映像信号処理手法の概要を示す図である。なお、同図の(A)には、アナログ映像信号の波形の一部を、同図の(B)には、本発明に係る映像信号処理手法の概要を、それぞれ示している。
本発明に係る映像信号処理手法では、クロック信号とアナログ映像信号との位相同期を行うことなく、固定の周波数で発振されるクロック信号に従ってアナログ映像信号をサンプリングすることとしている。これにより、PLL回路が不要となるため、装置コストを抑えることができる。
ただし、単にクロック信号とアナログ映像信号との位相同期を行わないこととすると、サンプル点が水平期間ごとにずれ、水平方向のジッタが発生してしまう。このため、本発明に係る映像信号処理手法では、非同期にサンプリングされた各サンプル点のサンプル値を補正することで、あたかもアナログ映像信号を特定のタイミングでサンプリングしたかのようなサンプル値を得ることとした。
特に、本発明に係る映像信号処理手法では、アナログ映像信号に含まれる周期的信号部分に着目し、かかる周期的信号部分におけるサンプル点の位相角と所定の基準位相角とのずれに基づいて補正後のサンプル値を算出する点に特徴を有する。
具体的には、図1の(A)に示したように、アナログ映像信号には、周波数が既知の周期的信号部分が含まれている。たとえば、アナログ映像信号には、周波数3.58MHzの正弦波であるカラーバースト信号が含まれている。
本発明に係る映像信号処理手法では、かかる周期的信号部分におけるサンプル点の位相角が基準位相角からどの程度ずれているかを示す位相ずれ率を算出し、算出した位相ずれ率に基づいて補正後の各サンプル点のサンプル値をそれぞれ算出していく。
まず、図1の(B−1)に示したように、本発明に係る映像信号処理手法では、周期的信号部分における各サンプル点の位相角を算出する。具体的には、周期的信号部分の周波数が既知であることを利用し、各サンプル点のサンプル値からかかるサンプル点の余弦値(cosθ)および正弦値(sinθ)を取得する。そして、これら余弦値および正弦値からかかるサンプル点の位相角(θ)を三角関数により算出する。
なお、本発明に係る映像信号処理手法では、あるサンプル点のサンプル値が入力された場合に、周期的信号部分の周波数を基準として位相を所定角度(たとえば、90度)シフトさせ、かかるサンプル点から位相が所定角度ずれた位置でサンプリングされたサンプル点のサンプル値を余弦値として取得することとしている。
このとき、本発明に係る映像信号処理手法では、周期的信号部分におけるサンプル点を正確に取り出すために、位相をシフトさせる段階で高周波成分等のノイズを除去する処理を行っている。これにより、周期的信号部分におけるサンプル点の位相角を精度良く算出することが可能となる。
つづいて、本発明に係る映像信号処理手法では、算出した位相角を用いて位相ずれ率Δxを算出する。たとえば、位相ずれ率Δxは、所定の基準位相角θrefを跨ぐ2つのサンプル点P1,P2の位相角θ1,θ2および基準位相角θrefを用い、Δx=(θref−θ1)/(θ2−θ1)であらわされる式によって求められる。
なお、かかる場合の基準位相角θrefは、サンプル点P1の補正後の位相角に相当するものであり、上記で求めた位相ずれ率Δxは、サンプル点P1についての補正前の位相角と補正後の位相角とのずれ率をあらわしている。ここで、補正前のサンプル点と補正後のサンプル点とのずれは各サンプル点において一定である。したがって、位相ずれ率Δxは、サンプル点P1以外の全てのサンプル点についても同様に成立する。
つづいて、図1の(B−2)に示したように、本発明に係る映像信号処理手法では、補正前のサンプル点のサンプル値および位相ずれ率Δxを用いた補間処理によって補正後のサンプル点のサンプル値を算出する。
具体的には、互いに隣接する2つのサンプル点をそれぞれPn、Pn+1とし、各サンプル点Pn,Pn+1のサンプル値をそれぞれVn,Vn+1とすると、サンプル点Pnの補正後のサンプル値Vは、V=Vn*(1−Δx)+Vn+1*Δxであらわされる。
このように、本発明に係る映像信号処理手法では、固定の周波数で発振されるクロック信号に従ってアナログ映像信号をサンプリングし、サンプリングされたサンプル値に基づき、アナログ映像信号の周期的信号部分における各サンプル点の位相角を算出し、算出された位相角と所定の基準位相角とのずれに基づいてサンプル値を補正することとした。したがって、クロック信号をアナログ映像信号と同期させなくとも、アナログ映像信号を特定のタイミングでサンプリングしたサンプル値を得ることができる。
特に、本発明に係る映像信号処理手法では、ノイズの影響を受け難い時間軸方向におけるサンプル点のずれを見るために、周波数が既知である周期的信号部分に着目した。すなわち、本発明に係る映像信号処理手法では、非同期にサンプリングされたサンプル点の位相角が基準位相角からどの程度ずれているかを特定することとしたため、補正後のサンプル値をより正確に算出することができる。
以下では、本発明に係る映像信号処理手法についての実施例を詳細に説明する。なお、以下では、車載カメラから入力されるアナログ映像信号をデジタル映像信号へ変換したうえで、車載装置等のディスプレイへ出力する映像信号処理装置を例に挙げて説明する。
まず、本実施例に係る映像信号処理装置の構成について図2を用いて説明する。図2は、本実施例に係る映像信号処理装置の構成を示すブロック図である。なお、同図では、映像信号処理装置の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
同図に示すように、映像信号処理装置10は、ADC(Analog Digital Converter)10aと、発振器10bと、LPF(Low Pass Filer)10cと、遅延部10dと、同期分離部10eと、サンプル値ずれ率算出部10fと、サンプル値補正部10gとを備えている。また、映像信号処理装置10は、位相シフト部10h,10iと、位相角算出部10jと、基準位相角決定部10kと、位相ずれ率算出部10lと、遅延部10mと、デコード処理部10nと、切替判定部10oとを備えている。
ここで、映像信号処理装置10は、LPF10c、遅延部10d、同期分離部10e、サンプル値ずれ率算出部10fおよびサンプル値補正部10gを主に用いてサンプル値を補正する「第1の補正モード」と、位相シフト部10h,10i、位相角算出部10j、基準位相角決定部10k、位相ずれ率算出部10l、遅延部10mおよびサンプル値補正部10gを主に用いてサンプル値を補正する「第2の補正モード」とを有する。
以下では、まず、第1の補正モードについて説明する。ADC10aは、アナログ映像信号をデジタル映像信号へ変換する回路である。具体的には、ADC10aは、車載カメラから入力されたアナログ映像信号を発振器10bからのクロック信号に従ってサンプリングする。また、ADC10aは、サンプリングによって得られたデジタル映像信号(サンプル値)をLPF10c、位相シフト部10hおよび遅延部10mへ出力する。
発振器10bは、クロック信号を発振する水晶発振器である。クロック信号とは、ADC10aによるアナログ映像信号のサンプリングのタイミングを規定する信号である。ここで、発振器10bのサンプリング周波数はアナログ映像信号に依らず一定である。したがって、本実施例においてADC10aは、アナログ映像信号を非同期でサンプリングすることとなる。
なお、本実施例では、NTSC(National Television System Committee)やPAL(Phase Alternating Line)等の規格に準じてサンプリング周波数を27MHzとする。ただし、これに限ったものではなく、13.5MHzや27MHz(水平同期の858倍または1716倍)の他、サブキャリアの4倍や8倍などの周波数をサンプリング周波数として用いてもよい。
LPF10cは、ADC10aから出力されるデジタル映像信号(サンプル値)のうち、低域周波数成分のみを通過させるフィルタである。具体的には、LPF10cは、同期分離に不要なカラーサブキャリア信号などの信号やノイズ成分を除去する。また、LPF10cを通過したデジタル映像信号は、遅延部10dへ出力される。
遅延部10dは、LPF10cから出力されたデジタル映像信号を一定時間遅延させたのち、同期分離部10eへ出力する回路である。なお、かかる遅延部10dは、第2の補正モードに併せて設けられたものであり、映像信号処理装置10が第2の補正モードを有さない場合には不要となる。
同期分離部10eは、遅延部10dから出力されたデジタル映像信号から水平同期信号および垂直同期信号を分離し、分離した水平同期信号および垂直同期信号をサンプル値ずれ率算出部10fへ出力する回路である。具体的には、同期分離部10eは、所定の閾値を基準としたレベル判定を行い、振幅が所定の閾値を下回る信号部分を水平同期信号および垂直同期信号として分離する。
サンプル値ずれ率算出部10fは、所定の閾値と、かかる閾値に隣接するサンプル点とのサンプル値のずれ率(以下、「サンプル値ずれ率」と記載する)を算出する処理部である。また、サンプル値ずれ率算出部10fは、算出したサンプル値ずれ率をサンプル値補正部10gおよび基準位相角決定部10kへ出力する処理も併せて行う。
サンプル値補正部10gは、第1の補正モードにおいて、サンプル値ずれ率算出部10fから受け取ったサンプル値ずれ率に基づき、遅延部10mから出力される各サンプル値を補正したうえで、補正後のサンプル値をデコード処理部10nへ出力する処理部である。
なお、サンプル値補正部10gは、第2の補正モード時には、位相ずれ率算出部10lから受け取った位相ずれ率に基づいてサンプル値の補正を行うが、かかる点については後述する。
ここで、サンプル値ずれ率算出部10fによるサンプル値ずれ率算出処理およびサンプル値補正部10gによる第1の補正モード時におけるサンプル値補正処理について図3を用いて具体的に説明する。図3は、サンプル値ずれ率算出処理および第1の補正モード時におけるサンプル値補正処理の説明図である。
なお、同図の(A)にはアナログ映像信号の波形を、同図の(B)における(B−1)にはサンプル値ずれ率算出処理の説明図を、同図の(B)における(B−2)には第1の補正モード時におけるサンプル値補正処理の説明図を、それぞれ示している。
図3の(A)に示したように、サンプル値ずれ率算出部10fは、1水平期間におけるアナログ映像信号の前段に位置する水平同期信号の立ち下りエッジ部分100を用いてサンプル値ずれ率を算出する。なお、同図の(A)において符号200で示された信号は、カラーバースト信号であり、後述する第2の補正モード時に用いられる。
また、同図の(A)では、水平同期信号の形状を見やすくするためにアナログ映像信号の波形を図示したが、実際に取り扱う信号はデジタル映像信号であることは言うまでもない。
図3の(B−1)に示したように、立ち下がりエッジ部分100において、所定の信号値が閾値Vrefとしてあらかじめ設定されている。なお、ここでは、立ち下がりエッジ部分100の振幅値の50%である−20IREを閾値Vrefとするが、これに限ったものではなく、立ち下りエッジ100の振幅値の範囲内であれば何れの値であってもよい。
サンプル値ずれ率算出部10fは、まず、閾値Vrefを跨ぐ2つのサンプル点PaおよびPbを検出する。そして、検出したサンプル点Pa、Pbの各サンプル値Va、Vbおよび閾値Vrefを用い、サンプル点Paのサンプル値と閾値Vrefとのサンプル値ずれ率を算出する。
具体的には、Va−Vref=Δa、Vref−Vb=Δbとすると、サンプル値ずれ率Δyは、Δy=Δa/(Δa+Δb)であらわされる式によって算出される。このように、サンプル値ずれ率Δyは、サンプル点Paのサンプル値Vaと閾値Vrefとのずれ量(Δa)を、サンプル点PaおよびPbのサンプル値差(Δa+Δb)で規格化した値である。ただし、必ずしも規格化する必要はなく、Δy=Δaとしてもよい。
そして、サンプル値ずれ率算出部10fは、立ち下がりエッジ部分100において閾値Vrefを跨ぐ2つのサンプル点を検出する度に(すなわち、1水平期間ごとに)、サンプル値ずれ率Δyを更新していく。
なお、ここでは、立ち下がりエッジ部分100を用いてサンプル値ずれ率を算出する場合について説明したが、これに限ったものではなく、立ち上がりエッジ部分を用いてサンプル値ずれ率を算出してもよい。
つづいて、図3の(B−2)に示したように、サンプル値補正部10gは、補正前のサンプル点におけるサンプル値およびサンプル値ずれ率を用いた補間処理によって補正後のサンプル点におけるサンプル値を算出する。
具体的には、互いに隣接する2つのサンプル点をそれぞれPnおよびPn+1とし、これらサンプル点Pn,Pn+1のサンプル値をそれぞれVnおよびVn+1とすると、サンプル点Pnの補正後のサンプル値Vは、V=Vn*(1−Δy)+Vn+1*Δyであらわされる。
このように、第1の補正モードにおいてサンプル点補正部10gは、隣接する2つのサンプル点に対して上記の公式を適用することにより、1水平期間におけるアナログ映像信号等の各サンプル点のサンプル値を順次補正していく。
なお、図3の(B−1)に示した場合には、閾値Vrefと立ち下がりエッジ部分100との交点である基準点Prefが、サンプル点Paの補正後のサンプル点となり、閾値Vrefがサンプル点Paの補正後のサンプル値となる。
また、ここでは、いわゆる線形補間によって各サンプル値を補正する場合について説明したが、これに限ったものではなく、他の補間方式、たとえばバイキュービック補間等を用いてサンプル値を補正してもよい。たとえば、バイキュービック補間を行う場合には、隣接する4つのサンプル点の各サンプル値およびサンプル値ずれ率Δyを用いて補正後のサンプル点を算出すればよい。
また、以下では、各水平期間において閾値Vrefを跨ぐ2つのサンプル点を一様にPaおよびPbと呼ぶこととする。
ところで、上述した第1の補正モード(すなわち、サンプル値ずれ率Δyに基づくサンプル値補正処理)には、サンプル値の補正精度が十分ではないという課題点があった。これは、サンプル値ずれ率Δyを正確に算出することが困難であるためである。
以下では、かかる課題点について図4を用いて説明する。図4は、第1の補正モードの課題点を示す図である。なお、同図の(A)にはアナログ映像信号の理想的な波形を、同図の(B)にはアナログ映像信号の実際の波形の一例を、それぞれ示している。
図4の(A)に示したように、アナログ映像信号にノイズ等が混入していない理想的な状況であれば、ノイズ等の影響のない正確なサンプル値が得られるため、かかる正確なサンプル値を用いて算出されたサンプル値ずれ率も正確なものとなる。
しかし、図4の(B)に示したように、実際には、アナログ映像信号にはノイズ等が混入しているため、正確なサンプル値を得ることが困難であり、このようなサンプル値を用いて算出されたサンプル値ずれ率に対してもノイズが影響し不正確なものとなる。
したがって、このように不正確なサンプル値ずれ率を用いてサンプル値を補正したとしても、水平期間ごとのサンプル点のずれを十分に解消することができず、結果として、映像ノイズが発生してしまうこととなる。
また、ADC10aの性能が10bit(1024LSBの階調幅)である場合、ΔaおよびΔb(図3の(B−1)参照)の値は、通常0〜20LSB程度となるが、サンプル値ずれ率を求めるには分解能が小さく、また、上記のようなノイズ等の影響も受けるため正確なサンプル値ずれ率が得られ難い。
そこで、本実施例に係る映像信号処理装置10では、サンプル値をより精度良く補正するために、ノイズ等の影響を受け難い時間軸方向のずれを示す位相ずれ率に基づいてサンプル値の補正を行う第2の補正モードを備えている。
そして、本実施例に係る映像信号処理装置10では、通常時には、第2の補正モードを用いて補正後のサンプル値を精度良く算出しつつ、第2の補正モードの使用が困難な場合にのみ、代替モードとして第1の補正モードを利用することとした。以下では、図2に戻り、第2の補正モードについて説明する。
図2に示したように、第2の補正モードでは、位相シフト部10h,10i、位相角算出部10j、基準位相角決定部10k、位相ずれ率算出部10l、遅延部10mおよびサンプル値補正部10gが主に用いられる。
位相シフト部10hは、図3の(A)に示したカラーバースト信号200(周波数3.58MHzの正弦波)を基準として位相を90度シフトさせることで、ADC10aから出力されたサンプル値の余弦値(cosθ)を取得する処理部である。
具体的には、位相シフト部10hは、ADC10aからサンプル点が入力されると、かかるサンプル点よりも位相が90度ずれた位置でサンプリングされたサンプル点のサンプル値を余弦値(cosθ)として取得する。また、位相シフト部10hは、取得した余弦値を位相シフト部10iおよび位相角算出部10jへ出力する。なお、位相が90度ずれた位置でサンプリングされたサンプル点は、カラーバースト信号200の周波数およびサンプリング周波数から特定可能である。なお、ここではカラーバースト信号200の振幅が一定であることを前提としているが、振幅が変動する場合であっても、位相が90度ずれた位置でサンプリングされたサンプル点を特定することは可能である。
位相シフト部10iは、位相シフト部10hから出力された90度位相シフト後のサンプル値(余弦値)に対して、カラーバースト信号200の位相をさらに90度シフトさせた場合の値である正弦値(sinθ)を取得する処理部である。また、位相シフト部10iは、位相シフト後のサンプル値(正弦値)を位相角算出部10jへ出力する。
ここで、位相シフト部10h,10iは、位相を90度シフトさせる段階で、カラーバースト信号200の周波数(3.58MHz)以外の周波数成分を除去する(言い換えれば、カラーバースト信号200のみを通過させる)処理を行っている。
これにより、高周波成分等のノイズの影響が除去された余弦値(cosθ)および正弦値(sinθ)が得られるため、後述する位相角算出部10jにおいて位相角を精度良く算出することが可能となる。なお、位相シフト部10h,10iは、たとえば、内部に設けたBPF(Band Pass Filter)等によってカラーバースト信号200以外の周波数成分を除去することができる。
位相角算出部10jは、位相シフト部10hから出力された余弦値(cosθ)および位相シフト部10iから出力された正弦値(sinθ)を用いて各サンプル点の位相角(θ)を算出する処理部である。
具体的には、各サンプル点の位相角(θ)は、当該サンプル点の余弦値(cosθ)および正弦値(sinθ)を用い、θ=tan−1(sinθ/cosθ)であらわされる式によって求められる。また、位相角算出部10jは、算出した位相角を位相ずれ率算出部10lおよび切替判定部10oへ出力する。
このように、位相角算出部10jは、カラーバースト信号200の周波数に基づいてサンプル点における余弦値および正弦値をそれぞれ取得するとともに、取得した余弦値および正弦値を用いてサンプル点における位相角を算出することとした。したがって、カラーバースト信号200におけるサンプル点の位相角を正確に算出することができる。
なお、位相シフト部10iから出力される正弦値は、実際には−sinθであり、位相角算出部10jは、位相シフト部10iから入力された値の正負を反転させたうえで位相角を算出する。
ところで、ここでは、余弦値を取得するための位相シフト部および正弦値を取得するための位相シフト部をそれぞれ1つずつ設けた場合について説明したが、余弦値を取得するための位相シフト部および正弦値を取得するための位相シフト部をそれぞれ複数設けてもよい。
たとえば、カラーバースト信号200の位相をそれぞれ90度、90+360度、90+720度シフトさせる位相シフト部を設けるとともに、これらの位相シフト部から出力される余弦値の位相をさらに90度シフトさせる位相シフト部をそれぞれ設ける。
そして、位相角算出部10jは、余弦値を取得するための位相シフト部から出力された各余弦値の平均値と、正弦値を取得するための位相シフト部から出力された各正弦値の平均値とを用いて位相角を算出する。このようにすれば、位相角をより正確に算出することが可能となる。
また、位相角算出部10jは、複数のサンプル値からカラーバースト信号200の波形を推定し、推定したカラーバースト信号200の波形から各サンプル点における位相角を求めることとしてもよい。
このように、位相角算出部10jは、カラーバースト信号200の周期性に基づき、カラーバースト信号200におけるサンプル点のサンプル値から当該サンプル点の位相角を算出することで、カラーバースト信号200におけるサンプル点の位相角を正確に算出することができる。
基準位相角決定部10kは、サンプル値ずれ率算出部10fから出力されたサンプル値ずれ率を用いて基準位相角を決定する処理部である。また、基準位相角決定部10kは、決定した基準位相角を位相ずれ率算出部10lへ渡す処理も併せて行う。
ここで、かかる基準位相角決定部10kによる基準位相角決定処理について図5を用いて説明する。図5は、基準位相角決定処理の説明図である。なお、同図の(A)には基準位相角決定処理の一例を、同図の(B)には基準位相角を更新する場合の動作例を、(C)には基準位相角決定処理の他の一例を、それぞれ示している。
図5の(A)に示したように、基準位相角決定部10kは、まず、サンプル値ずれ率Δy(=Δa/(Δa+Δb))が1となったとき(すなわち、Δb=0となったとき)のサンプル点Pbを検出する(同図の(A−1)参照)。
つづいて、基準位相角決定部10kは、検出したサンプル点Pbを基準とし、かかるサンプル点Pbから固定時間T後にサンプリングされたカラーバースト信号200のサンプル点を基準点として検出する(同図の(A−2)参照)。たとえば、図5の(A)に示した場合には、サンプル点Pcが基準点として検出されている。
ここで、固定時間Tは、サンプリング周期27MHzを用い、1/27MHz×mであらわさる。すなわち、基準位相角決定部10kは、検出したサンプル点Pbから(27MHz/m)個後のサンプル点を基準点として検出する。
なお、「m」は、所定の正の整数であり、カラーバースト信号200のサンプル点が必ず基準点として検出されるように、立ち下がりエッジ部分100からカラーバースト信号200までの間隔(既知)に基づいて決定される。
つづいて、基準位相角決定部10kは、検出したサンプル点Pcの位相角θcを基準位相角θrefとして決定する。なお、基準位相角決定部10kは、サンプル点Pcの位相角θcを位相角算出部10jから直接取得してもよいし、位相角算出部10jによって算出された位相角を図示しない記憶部に記憶しておき、かかる記憶部から位相角θcを取得してもよい。
また、基準位相角決定部10kは、サンプル値ずれ率Δyが再度1となった場合に、基準位相角を再度算出して更新する。なお、基準位相角決定部10kは、あらたに検出した基準点の位相角をそのまま基準位相角として決定してもよいが、前回決定した基準位相角を用いて補正したものをあらたな基準位相角として決定してもよい。
具体的には、図5の(B)に示したように、サンプル値ずれ率Δyは、水平期間ごとに一定割合で変化していく。そして、基準位相角算出部10kは、サンプル値ずれ率Δyが再度1となった場合に、あらたに検出した基準点の位相角θc'を前回決定した基準位相角θrefで平均化した値をあらたな基準位相角θref'として決定する。すなわち、あらたな基準位相角θref'は、θref'=(θref+θc')/2であらわされる式によって求められる。
このように、基準位相角決定部10kは、アナログ映像信号に含まれる水平同期信号の立ち下りエッジまたは立ち上がりエッジにおける所定の信号値(たとえば、閾値Vref)と水平同期信号における何れかのサンプル点(たとえば、サンプル点Pb)のサンプル値とが一致した場合に、当該サンプル点を基準としてカラーバースト信号200における基準点を決定し、決定した基準点における位相角に基づいて基準位相角θrefを決定することとした。したがって、位相ずれ率Δxを正確に算出することができる。
また、基準位相角決定部10kは、所定の信号値(たとえば、閾値Vref)と水平同期信号における何れかのサンプル点(たとえば、サンプル点Pb)のサンプル値とが再度一致した場合に、あらたに決定された基準点の位相角を前回決定した基準位相角を用いて補正するとともに、補正後の位相角をあらたな基準位相角として決定することとしたため、より正確な基準位相角を得ることができる。
なお、ここでは、サンプル値ずれ率Δyが1となったときのサンプル点Pbを基準点として検出することとしたが、これに限ったものではなく、サンプル値ずれ率Δyが所定の値となったときの何れかのサンプル点を基準点として検出すればよい。
たとえば、基準位相角算出部10kは、サンプル値ずれ率Δyが1となったときのサンプル点Paを基準点として検出してもよいし、サンプル値ずれ率Δyが0となったときのサンプル点PaまたはPbを基準点として検出してもよい。
また、図5の(A)では、1つのサンプル点の位相角に基づいて基準位相角を決定する場合について説明したが、これに限ったものではなく、複数のサンプル点の位相角を用いて基準位相角を決定してもよい。
たとえば、図5の(C)に示したように、基準位相角決定部10kは、同図の(A)に示したサンプル点Pcの位相角θcに加え、サンプル点Pcに隣接する2つのサンプル点(ここでは、サンプル点PdおよびPe)の位相角θd,θeを用いて基準位相角を算出してもよい。
かかる場合の基準位相角θrefは、たとえば、θref=(θc+θd+θe)/3であらわされる式によって求められる。このように、複数のサンプル点の位相角を平均化することとすれば、基準位相角をより正確に求めることができる。
また、図5の(B)では、あらたに検出した基準点の位相角θc'と前回決定した基準位相角θrefとを単純に平均化することとしたが、これに限らず、重み付け等を行ってもよい。
図2に戻り、位相ずれ率算出部10lについて説明する。位相ずれ率算出部10lは、カラーバースト信号200における2つのサンプル点の位相角および基準位相角決定部10kから受け取った基準位相角θrefに基づいて位相ずれ率を算出する処理部である。
また、位相ずれ率算出部10lは、算出した位相ずれ率をサンプル値補正部10gへ渡す処理も併せて行う。なお、位相ずれ率とは、補正前のサンプル点の位相角と補正後のサンプル点の位相角とがどの程度ずれているかを示す値である。
また、第2の補正モードにおいてサンプル値補正部10gは、補正前のサンプル点におけるサンプル値および位相ずれ率算出部10lから受け取った位相ずれ率に基づいて補正後のサンプル点におけるサンプル値を算出する。
ここで、位相ずれ率算出部10lによる位相ずれ率算出処理および第2の補正モードにおけるサンプル値補正処理について図6を用いて説明する。図6は、位相ずれ率算出処理および第2の補正モードにおけるサンプル値補正処理の説明図である。なお、同図の(A)には、位相ずれ率算出処理の一例を、同図の(B)には、第2の補正モードにおけるサンプル値補正処理の一例を、それぞれ示している。
図6の(A)に示したように、位相ずれ率算出部10lは、まず、基準位相角θrefを跨ぐ2つのサンプル点を検出する。同図の(A)に示した場合には、サンプル点Pfおよびサンプル点Pgが検出されている。
つづいて、位相ずれ率算出部10lは、検出した2つのサンプル点Pf,Pgの位相角θf,θgおよび基準位相角θrefを用いて位相ずれ率を算出する。具体的には、θref−θf=Δαとし、θg−θf=Δβとすると、位相ずれ率Δxは、Δx=Δα/Δβであらわされる式によって算出される。
そして、サンプル値補正部10gは、図6の(B)に示したように、補正前のサンプル点におけるサンプル値および位相ずれ率を用いた補間処理によって補正後のサンプル点におけるサンプル値を算出する。
具体的には、互いに隣接する2つのサンプル点をそれぞれPnおよびPn+1とし、これらサンプル点Pn,Pn+1のサンプル値をそれぞれVnおよびVn+1とすると、サンプル点Pnの補正後のサンプル値Vは、V=Vn*(1−Δx)+Vn+1*Δxであらわされる。
このように、第2の補正モードにおいてサンプル値補正部10gは、隣接する2つのサンプル点に対して上記の公式を適用することにより、1水平期間における各サンプル点のサンプル値を順次補正していく。
なお、図6の(A)に示した場合には、サンプル点Pfおよびサンプル点Pgを結ぶ直線と基準位相角θrefとの交点である基準点Prefが、サンプル点Pfの補正後のサンプル点となる。また、基準位相角θrefがサンプル点Pfの補正後のサンプル値となる。
なお、ここでは、いわゆる線形補間によって各サンプル値を補正する場合について説明したが、第1の補正モードと同様、他の補間方式、たとえばバイキュービック補間等を用いてサンプル値を補正してもよい。たとえば、バイキュービック補間を行う場合には、隣接する4つのサンプル点の各サンプル値および位相ずれ率Δxを用いて補正後のサンプル点を算出すればよい。
また、ここでは、基準位相角θrefを跨ぐ2つのサンプル点を用いて位相ずれ率を算出することとしたが、これに限ったものではなく、カラーバースト信号200のサンプル点であれば他のサンプル点であってもよい。
たとえば、基準位相角θrefを内分点とする任意の2つのサンプル点であってもよいし、基準位相角θrefを外分点とする任意の2つのサンプル点であってもよい。また、かかる場合、サンプル点算出部10gは、位相ずれ率算出処理において用いられた2つのサンプル点と同様の位置関係にある2つのサンプル点を用いて補正後のサンプル値Vを算出すればよい。
このように、カラーバースト信号200における2つのサンプル点の位相角および基準位相角に基づいて補正前のサンプル点と補正後のサンプル点との間の位相ずれ率Δxを算出し、補正前のサンプル点におけるサンプル値および位相ずれ率Δxを用いた補間処理によって補正後のサンプル点におけるサンプル値Vを算出することとした。すなわち、ノイズ等の影響を受けない位相ずれ率に基づいてサンプル値を補正することとしたため、サンプル値をより精度良く補正することができる。
なお、サンプル値補正部10gは、サンプル値を補正すると、補正後のサンプル値をデコード処理部10nへ出力する。
図2へ戻り、遅延部10mについて説明する。遅延部10mは、ADC10aから出力されたデジタル映像信号を一定時間遅延させたのち、サンプル値補正部10gへ出力する回路である。
すなわち、カラーバースト信号200におけるサンプル点を用いて位相ずれ率を算出することとすると、カラーバースト信号200よりも前段側に位置する信号部分についてはサンプル値の補正が間に合わない。このため、遅延部10mを用いてサンプル点Pbからサンプル点Pcまでの時間以上(図5(A)における固定時間T以上)デジタル映像信号を遅延させることで、カラーバースト信号200におけるサンプル点を用いて算出された位相ずれ率を、デジタル映像信号の全域に亘って適用させることができる。
なお、第1の補正モードにおいて用いられる遅延部10dは、サンプル値ずれ率算出部10fから出力されるサンプル値ずれ率と、遅延部10mから出力されるデジタル映像信号との出力タイミングを合わせるために設けられている。
デコード処理部10nは、サンプル値補正部10gから受け取った補正後のサンプル値を用いてRGB変換処理等のデコード処理を行う処理部である。
切替判定部10oは、第1の補正モードにおけるサンプル値補正処理または第2の補正モードにおけるサンプル値補正処理への切り替えをサンプル値補正部10gに対して指示する処理部である。たとえば、切替判定部10oは、位相角算出部10jから受け取った各サンプル点の位相角に基づいて、モード切替を指示するか否かを判定する。
ここで、かかる切替判定部10oによる切替判定処理について図7を用いて説明する。図7は、切替判定処理の説明図である。なお、同図の(A)には、第1の補正モードへの切替条件を、同図の(B)には、条件A1に該当する場合の具体例を、同図の(C)には、条件A2に該当する場合の具体例を、それぞれ示している。
図7の(A)に示したように、切替判定部10oは、第1の補正モードへの切替条件に該当するか否かを判定し、該当する場合には、第1の補正モードへの切り替えをサンプル値補正部10gに対して指示する。
たとえば、切替判定部10oは、隣接するサンプル点間の位相角差Δθがθsmall≦Δθ≦θlargeを満たさない状態が一定時間継続した場合に、第1の補正モードへの切り替えをサンプル値補正部10gに対して指示する(同図の(A)の条件A1参照)。
すなわち、同図の(B)に示したように、位相角差Δθが小さすぎる場合や(同図の(B−1)参照)、反対に大きすぎる場合には(同図の(B−2)参照)、位相ずれ率を正確に算出できない可能性が高い。したがって、このような場合には、第1の補正モードへ切り替え、サンプル値ずれ率に基づいて各サンプル値を補正する。
なお、同図の(B−1)には、サンプル点Phおよびサンプル点Pi間の位相角差Δθ(=|θh−θi|)がθsmallよりも小さい場合を示している。また、同図の(B−2)には、サンプル点Pjおよびサンプル点Pk間の位相角差Δθ(=|θj−θk|)がθlargeよりも大きい場合を示している。
また、切替判定部10oは、Δb(図3の(B)参照)≠0の状態が一定時間以上継続した場合にも、第1の補正モードへの切り替えをサンプル値補正部10gに対して指示する(同図の(A)の条件A2参照)。
すなわち、同図の(C)に示したように、ノイズ等の影響が大きくΔbの変動が激しい場合や(同図の(C−1)参照)、サンプリング周波数とアナログ映像信号の周波数とが完全に一致した場合には(同図の(C−2)参照)、基準点(図5の(A)に示した場合にはサンプル点Pc)を検出することができない。したがって、このような場合にも、第1の補正モードへ切り替え、サンプル値ずれ率に基づいて各サンプル値を補正する。
このように、切替判定部10oは、位相ずれ率Δxに基づく補正処理(第2の補正モード)またはサンプル値ずれ率Δyに基づく補正処理(第1の補正モード)への切り替えをサンプル値補正部10gに対して指示する。
そして、サンプル値補正部10gは、サンプル値ずれ率Δyに基づく補正処理(第1の補正モード)へ切り替えるように切替判定部10oから指示を受けた場合に、補正前のサンプル点におけるサンプル値およびサンプル値ずれ率を用いた補間処理によって補正後のサンプル点におけるサンプル値を算出することとした。したがって、第1の補正モードおよび第2の補正モードを状況に応じて使い分けることができる。
また、切替判定部10oは、隣接するサンプル点間の位相角差が所定の範囲外である場合に、サンプル値ずれ率Δyに基づく補正処理(第1の補正モード)へ切り替えるようにサンプル値補正部10gに対して指示することとした。
同様に、切替判定部10oは、アナログ映像信号に含まれる所定の信号部分の立ち下りエッジまたは立ち上がりエッジにおける所定の信号値とサンプル値とが一定時間以上一致しなかった場合に、サンプル値ずれ率Δyに基づく補正処理(第1の補正モード)へ切り替えるようにサンプル値補正部10gに対して指示することとした。
したがって、位相ずれ率の算出が困難な場合であっても、代替手段として第1の補正モードを利用してサンプル値の補正を行うことができる。
なお、切替判定部10oは、第1の補正モードへの切替条件に該当しなくなった場合には、第2の補正モードへの切り替えをサンプル値補正部10gに対して指示する。
ところで、本実施例に係る映像信号処理装置10は、たとえば、複数の車載カメラによって撮影された映像を合成する映像合成システムの一部として用いることができる。以下では、複数の映像信号処理装置10を含んだ映像合成システムの構成例について図8を用いて説明しておく。図8は、映像合成システムの構成を示すブロック図である。
なお、同図には、映像合成システムの一例として、4台のカメラモジュールおよび各カメラモジュールに対応する4つの映像信号処理装置10を含んだ映像合成システムの構成を示している。ただし、カメラモジュールや映像信号処理装置の個数は、これに限ったものではない。
図8に示すように、映像合成システムは、4つのカメラモジュール20a〜20dと、各カメラモジュール20a〜20dにそれぞれ対応する4つの映像信号処理装置10と、4画面合成部30とを含んで構成される。
このように、映像合成システムでは、従来の映像信号処理装置と比較して装置コストが低い本実施例に係る映像信号処理装置10を含んで構成されるため、複数の映像信号処理装置10を含んだとしても、システム全体としてのコストを低く抑えることができる。
また、映像合成システムでは、1つの映像信号処理装置10の発振器10bの出力を他系統の映像信号処理装置10のADC10aにも併せて供給することとしている。すなわち、他系統の映像信号処理装置10には、発振器10bが不要となるように構成した。このため、複数系統間で1つの発振器10bを共有させることができ、発振器10bの絶対数を減らせる結果、装置コストをさらに低減することが可能となる。
4画面合成部30は、各映像信号処理装置10から入力された映像信号を合成することで、自車両を上方から見下ろしたような俯瞰映像を生成する処理部である。また、4画面合成部30は、生成した俯瞰映像をカーナビゲーション装置等の車載装置のディスプレイへ出力する。
次に、映像信号処理装置10の具体的動作について図9を用いて説明する。図9は、第2の補正モードにおいて映像信号処理装置10が実行する処理手順を示すフローチャートである。なお、同図には、ADC10aにアナログ映像信号が入力されてから、サンプル値補正部10gが補正後のサンプル値をデコード処理部10nへ出力するまでの処理手順について示している。
図9に示したように、映像信号処理装置10では、ADC10aが、アナログ映像信号を固定のサンプリング周波数でサンプリングする(ステップS101)。また、映像信号処理装置10では、位相シフト部10hが、サンプル値の位相を90°シフトさせて余弦値(cosθ)を取得するとともに(ステップS102)、位相シフト部10iが、サンプル値の位相をさらに90°シフトさせて正弦値(sinθ)を取得する(ステップS103)。
つづいて、映像信号処理装置10では、位相角算出部10jが、各サンプル値の位相角を算出する(ステップS104)。具体的には、位相角算出部10jは、位相シフト部10hによって取得された余弦値(cosθ)および位相シフト部10iによって取得された正弦値(sinθ)を用い、位相角θをθ=tan−1(sinθ/cosθ)であらわされる式によって算出する。
つづいて、位相ずれ率算出部10lは、位相角算出部10jから出力された位相角θおよび基準位相角決定部10kから出力された基準位相角θrefに基づいて位相ずれ率を算出する(ステップS105)。具体的には、位相ずれ率Δxは、Δx=Δα/Δβであらわされる式によって求められる(図6の(A)参照)。
そして、映像信号処理装置10では、サンプル値補正部10gが、位相ずれ率算出部10lから出力された位相ずれ率を用い、遅延部10mから出力された各サンプル点のサンプル値を補正し(ステップS106)、補正後のサンプル値をデコード処理部10nへ出力して(ステップS107)、処理を終了する。なお、補正後のサンプル値Vは、V=Vn*(1−Δx)+Vn+1*Δxであらわされる式によって算出される。
次に、切替判定部10oによるモード切替判定処理の処理手順について図10を用いて説明する。図10は、モード切替判定処理の処理手順を示すフローチャートである。
図10に示したように、切替判定部10oは、図7の(A)に示した切替条件A1またはA2に該当するか否かを判定する(ステップS201)。具体的には、切替判定部10oは、隣接するサンプル点間の位相角差Δθがθsmall≦Δθ≦θlargeを満たさない状態が一定時間継続したか否かを判定する(条件A1)。同様に、切替判定部10oは、Δb(図3の(B)参照)≠0の状態が一定時間以上継続したか否かを判定する(条件A2)。
そして、切替判定部10oは、切替条件A1またはA2に該当すると判定すると(ステップS201,Yes)、現在のモードが第2の補正モードであるか否かを判定し(ステップS202)、第2の補正モードであれば(ステップS202,Yes)、第1の補正モードへの切り替えをサンプル値補正部10gに対して指示する(ステップS203)。
一方、切替判定部10oは、切替条件A1およびA2のいずれにも該当しないと判定した場合には(ステップS201,No)、現在のモードが第1の補正モードであるか否かを判定し(ステップS204)、第1の補正モードであれば(ステップS204,Yes)、第2の補正モードへの切り替えをサンプル値補正部10gに対して指示する(ステップS205)。
そして、ステップS203,S205の処理を終えたとき、あるいは、ステップS202において現在のモードが第2の補正モードではないとき(ステップS202,No)、ステップS204において現在のモードが第1の補正モードではないとき(ステップS204,No)、切替判定部10oは、モード切替判定処理を終了する。
上述してきたように、本実施例では、ADCが、固定の周波数で発振されるクロック信号に従ってアナログ映像信号をサンプリングし、位相角算出部が、ADCによってサンプリングされたサンプル値に基づき、アナログ映像信号のうち周波数が既知の周期的信号部分(カラーバースト信号200)におけるサンプル点の位相角を算出し、サンプル値補正部が、位相角算出部によって算出された位相角と所定の基準位相角とのずれに基づいてサンプル値を補正することとした。
したがって、クロック信号をアナログ映像信号と同期させなくとも、アナログ映像信号を特定のタイミングでサンプリングしたサンプル値を得ることができる。
なお、上述してきた実施例では、周期的信号部分として、カラーバースト信号200を用いる場合について説明してきたが、これに限ったものではない。すなわち、カラーバースト信号200以外の周期的信号部分がアナログ映像信号中に含まれていれば、かかる周期的信号部分を用いて同様の処理を行うことができる。