JP2006211037A - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP2006211037A JP2006211037A JP2005017121A JP2005017121A JP2006211037A JP 2006211037 A JP2006211037 A JP 2006211037A JP 2005017121 A JP2005017121 A JP 2005017121A JP 2005017121 A JP2005017121 A JP 2005017121A JP 2006211037 A JP2006211037 A JP 2006211037A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- signal
- sampling ratio
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 156
- 238000001914 filtration Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 37
- 238000011946 reduction process Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Color Television Systems (AREA)
Abstract
【課題】メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供すること。
【解決手段】メモリ5に記憶された画像成分のサンプリング比が一致していない画像信号が画像処理部6によって読み出され(ステップS1)、サンプリング比が一致するようにサンプリング比の変換が行われる(ステップS2)。サンプリング比が一致している状態でフィルタ処理が行われ(ステップS3)、フィルタ処理の終了後に、画像信号のデータサイズが削減されるようにサンプリング比が変換される(ステップS4)。
【選択図】図13
【解決手段】メモリ5に記憶された画像成分のサンプリング比が一致していない画像信号が画像処理部6によって読み出され(ステップS1)、サンプリング比が一致するようにサンプリング比の変換が行われる(ステップS2)。サンプリング比が一致している状態でフィルタ処理が行われ(ステップS3)、フィルタ処理の終了後に、画像信号のデータサイズが削減されるようにサンプリング比が変換される(ステップS4)。
【選択図】図13
Description
本発明は、画像処理方法及び画像処理装置に関し、特に、画像のフィルタ処理を行う際の画像処理方法及び画像処理装置に関する。
特許文献1には、JPEG方式で記録されたJPEG画像データを印刷処理する際に、デコードされて得られた輝度・色差信号の各画像成分(Y、Cb、Cr)のサンプリング周波数の比を、データサイズの小さいY:Cb:Cr=4:1:1に変換する手法が提案されている。このような手法を用いることにより、画像信号をメモリに格納する際のデータサイズを削減することができる。また、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感であるので、色差の情報量を落としても、印刷後の画像が人間の目に不自然さを感じさせることはない。
特開2004−158948号公報
ここで、JPEG方式で記録された画像は、液晶モニタなどの表示モニタ上に表示される場合もある。一般に、記録時の画像の画角と表示モニタで表示可能な画角とは異なっていることが多いので、JPEG画像を表示モニタ上で再生する際には、JPEG方式で記録された画像をデコードし、このデコードされた画像に対してリサイズ処理(通常は縮小処理)を行うことにより、画像の画角を表示モニタで表示可能な画角に変更してから表示を行うようにしている。このようなリサイズ処理は、画像信号に所定のフィルタをかけることで行われる。
ここで、リサイズ処理などに用いられるフィルタ処理では、画像の全範囲を補間することができずに、画像の端に補間ができない範囲(のりしろ)が発生する。一般に、のりしろは、輝度信号と色差信号のサンプリング周波数の比が異なっている場合に大きくなり、のりしろが大きくなるとフィルタ処理後の画像の画角は小さくなる。その一方で、輝度信号と色差信号のサンプリング周波数の比を等しくした場合には、データサイズが大きくなり、画像信号をメモリに格納する際にメモリの容量を圧迫するおそれがある。
上記特許文献1の手法では、データサイズを削減することについては考慮されているが、フィルタ処理後の画像の画角に関しては考慮されていない。
本発明は、上記の事情に鑑みてなされたもので、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することを目的とする。
上記の目的を達成するために、本発明の第1の態様による画像処理方法は、複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、上記サンプリング比が変換された画像信号をフィルタ処理し、上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換することを特徴とする。
また、本発明の第2の態様による画像処理装置は、デジタル化された画像信号をフィルタ処理する画像処理装置において、複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第1の変換手段と、上記第1の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第2の変換手段とを具備することを特徴とする。
これら第1及び第2の態様によれば、フィルタ処理に先立って、サンプリング比が一致するように画像信号のサンプリング比が変換され、フィルタ処理後にはデータサイズが削減されるように画像信号のサンプリング数が変換される。
本発明によれば、メモリの容量を圧迫せずに画像信号を格納できるとともに、フィルタ処理後の画像の画角を大きく保つことができる画像処理方法及び画像処理装置を提供することができる。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。図1に示すデジタルカメラは、CPU1と、レンズ2と、撮像素子3と、AD変換部(図ではADCと示している)4と、メモリ5と、画像処理部6と、JPEGエンコーダ/デコーダ7と、メモリカード8と、ビデオエンコーダ9と、表示モニタ10とから構成されている。
図1は、本発明の一実施形態に係る画像処理装置を含むデジタルカメラの構成について示す図である。図1に示すデジタルカメラは、CPU1と、レンズ2と、撮像素子3と、AD変換部(図ではADCと示している)4と、メモリ5と、画像処理部6と、JPEGエンコーダ/デコーダ7と、メモリカード8と、ビデオエンコーダ9と、表示モニタ10とから構成されている。
CPU1では、図1に示すデジタルカメラの各部の制御が行われる。例えば、CPU1では、撮像素子3の動作制御や撮像素子3で得られた画像信号の読み出し制御、ADC4や、画像処理部6、JPEGエンコーダ/デコーダ7、ビデオエンコーダ9の動作制御などが行われる。
図1において、レンズ2を介して入射した被写体からの光束は、CCDなどで構成された撮像素子3に結像され、撮像素子3においてアナログの画像信号に変換される。撮像素子3において得られた画像信号は、CPU1の制御の下、所定のタイミングで読み出されてADC4に入力される。ADC4では、アナログの画像信号がデジタルの画像信号に変換される。ADC4で変換されたデジタルの画像信号は、バスを介して記憶手段としてのメモリ5に格納される。ここで、メモリ5は、例えばDRAMなどから構成されている。
画像の記録時においては、メモリ5に格納された画像信号が、画像処理部6によって読み出される。画像処理部6では、まず画像信号の白バランス調整が行われる。その後、RGBの画像信号が輝度・色差信号(以下、YC信号と称する)に変換される。YC信号に変換された後、Y信号に対しては階調補正処理が行われ、C信号(Cb、Cr)に対しては色補正処理が行われる。なお、色補正処理や階調補正処理などの処理は、RGB信号の状態で行うようにしても良い。
その後、画像信号のデータサイズを削減するために、YC信号の各画像成分のサンプリング周波数の比(以下、サンプリング比と称する)が変換(ダウンサンプリング)される。このときのサンプリング比は、例えばY:Cb:Cr=4:2:2である。動画像のときには、サンプリング比Y:Cb:Cr=4:2:0が用いられる。
一般に、人間の目は輝度の変化に対しては敏感であるが、色差の変化に対しては比較的鈍感である。このため、色差情報を減らしてサンプリングを行っても、画像再生の際などにおいて人間の目にそれほど不自然さを感じさせることがない。
画像処理部6において処理された画像信号は、JPEGエンコーダ/デコーダ7に入力されてDCT変換などの手法によりJPEGエンコードされる。
JPEGエンコーダ/デコーダ7においてエンコードされた画像信号は、一旦メモリ5に格納された後、所定のヘッダ情報が付加されたJPEGファイルとしてメモリカード8に記録される。
ここで、本一実施形態においては、画像処理部6に画像信号が入力されてから、JPEGエンコーダ/デコーダ7で画像信号がJPEGエンコードされるまでの間、画像信号がメモリ5に格納されることなく処理が行われる。
また、撮像素子3において得られた画像をスルー画表示する際には、画像処理部6において得られたYC信号が、表示モニタ10の仕様などに応じた所定のサイズにリサイズ(通常は縮小)される。更に、YC信号の各画像成分のサンプリング比が変換(ダウンサンプリング)された後、メモリ5に格納される。このメモリ5に格納された画像信号は、フレーム単位でビデオエンコーダ9によって読み出され、ビデオエンコーダ9を介して例えば液晶モニタなどで構成された表示モニタ10上に画像として表示される。
更に、メモリカード8に記録されたJPEG画像信号を再生する際には、メモリカード8に記録されたJPEG画像信号がJPEGエンコーダ/デコーダ7によって読み出されて逆DCT変換などの手法によりデコードされる。その後、デコードによって得られたYC信号が、画像処理部6において表示用の所定のサイズに縮小された後、メモリ5に一旦格納される。メモリ5に格納されたYC信号は、ビデオエンコーダ9を介して表示モニタ10上に画像として表示される。このJPEG画像信号を再生する際の処理については後で詳しく説明する。
次に、図1の画像処理装置を用いた本一実施形態に係る画像処理方法について説明する。
図2は、サンプリング比が一致しているときのYC信号の各画像成分の配置図である。なお、図2の例は、サンプリング比がY:Cb:Cr=4:4:4の場合を示している。また、図2においては、Yの位置を白丸101で示している。一方、C(Cb、Cr)の位置を黒丸102で示している。
図2は、サンプリング比が一致しているときのYC信号の各画像成分の配置図である。なお、図2の例は、サンプリング比がY:Cb:Cr=4:4:4の場合を示している。また、図2においては、Yの位置を白丸101で示している。一方、C(Cb、Cr)の位置を黒丸102で示している。
サンプリング比が4:4:4の場合には、サンプリング後のYの情報量とCb、Crの情報量とがそれぞれ等しくなっている。このような場合には、図2に示すように、Yのサンプリング位置とCb及びCrのサンプリング位置とを全て一致させることができる。ここで、サンプリング比4:4:4の場合のデータサイズは、(Yのデータサイズ)+(Cbのデータサイズ)+(Crのデータサイズ)となる。
図3(a)及び図3(b)は、サンプリング比が一致していないときのYC信号の各画像成分の配置図である。なお、図3(a)及び図3(b)の例は、サンプリング比がY:Cb:Cr=4:2:2の場合を示している。
サンプリング比が4:2:2の場合には、水平方向についてのCb及びCrの情報量がそれぞれYの情報量の1/2になる。即ち、サンプリング比が4:2:2の場合には水平2画素で1つの色差情報を共有させるようにして情報量を削減している。ここで、色差情報は単純間引きによって得るようにしても良いし、水平2画素毎の平均値から得るようにしても良い。
また、サンプリング比が4:2:2の場合のCb及びCrのサンプリング位置は、図3(a)のようにYのサンプリング位置に一致する場合(2つのYの何れか一方と一致)と、図3(b)のように2つのYの中心に位置する場合とがある。ここで、サンプリング比4:2:2の場合の全体のデータサイズは、図3(a)及び図3(b)の何れの場合であっても、(Yのデータサイズ)+(1/2×Cbのデータサイズ)+(1/2×Crのデータサイズ)となる。即ち、サンプリング比4:2:2の場合のデータサイズは、サンプリング比4:4:4の場合の2/3になる。
また、図4(a)及び図4(b)は、サンプリング比がY:Cb:Cr=4:2:0の場合のYC信号の各画像成分の配置図である。
サンプリング比が4:2:0の場合には、水平方向だけでなく垂直方向のCb及びCrの情報量もYの情報量の1/2になる。即ち、サンプリング比が4:2:0の場合には水平2画素×垂直2画素の4画素で1つの色差情報を共有させるようにして情報量を削減している。
また、サンプリング比が4:2:0の場合のCb及びCrのサンプリング位置は、図4(a)のようにYのサンプリング位置に一致する場合(4つのYの何れか1つと一致)と、図4(b)のように4つのYの中心に位置する場合とがある。ここで、サンプリング比4:2:0の場合の全体のデータサイズは、図4(a)及び図4(b)の何れの場合であっても、(Yのデータサイズ)+(1/4×Cbのデータサイズ)+(1/4×Crのデータサイズ)となる。即ち、サンプリング比4:2:0の場合のデータサイズは、サンプリング比4:4:4の場合の1/2になる。
以上説明したように、Yのサンプリング周波数とCb及びCrのサンプリング周波数とを異ならせるように、具体的にはCb及びCrの情報量を減らすようにサンプリングを行うことにより、データサイズを削減することが可能である。
次に、図2〜図4で示したYC信号のフィルタ処理について説明する。
図5は、図2に示すサンプリング比4:4:4のYC信号を4×4の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。なお、図5の例は、画像内の左上端に対してフィルタ処理を行うときの様子を示している。
図6は、中央補間フィルタについて説明するための図である。中央補間フィルタは、フィルタ103内の複数の点101(4×4のフィルタの場合には16点)のデータを用いて、フィルタの中央の点104のデータを補間演算するフィルタであり、例えば画像信号中の高周波成分を除去するローパスフィルタ処理(LPF処理)や、画像信号中の特定周波数成分を抽出するバンドパスフィルタ処理(BPF処理)などに用いられる。
サンプリング比4:4:4の場合には、上述したようにYのサンプリング位置とCb、Crのサンプリング位置とを全て一致させることができるので、Yを処理するためのフィルタの形状とCb、Crを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ103を用いて画像の左上端に対してフィルタ処理を行った場合、Yの場合には図5に示す点104のデータが左上端の点として補間される。Cb及びCrの場合もYと同様に、図5に示す点105のデータが左上端の点として補間される。
ここで、中央補間フィルタを用いた場合には、フィルタ内の中央の位置の点しか補間することができないので、画像内全体に対してフィルタ処理を行っても参照符号106で示した範囲内しか補間されない。このため、フィルタ処理後の画像の画角は、フィルタ処理によって補間されない範囲(のりしろ)の分だけフィルタ処理前の画像の画角よりも小さくなる。具体的には、サンプリング比4:4:4の場合、水平方向のりしろ3画素分(図5の例では左側1.5画素+右側1.5画素)及び垂直方向のりしろ3画素分(上側1.5画素+下側1.5画素)だけフィルタ処理前の画角よりも小さくなる。
また、図7は、図3で示すサンプリング比4:2:2のYC信号を4×4の中央補間フィルタを用いてフィルタ処理するときの様子について示す図である。ここで、図7(a)は図3(a)の配置のYC信号をフィルタ処理するときの様子について示す図であり、図7(b)は図3(b)の配置のYC信号をフィルタ処理するときの様子について示す図である。
なお、Yのフィルタ処理については図5で説明したサンプリング比4:4:4の場合と同様であるので、ここではCb、Crのフィルタ処理についてのみ説明する。
サンプリング比4:2:2の場合には、Cb、Crの水平方向の情報量がYの情報量に比して1/2に削減されている。したがって、サンプリング比4:2:2の場合には、フィルタ処理に必要な16点を確保するために、フィルタ103の水平方向幅をサンプリング比4:4:4の場合の2倍の幅とする必要がある。このようなフィルタ103を用いて画像の左上端に対してフィルタ処理を行った場合には、図7(a)や図7(b)に示す点105のデータが補間される。即ち、サンプリング比4:2:2の左上端のCb及びCrをフィルタ処理した場合には、それによって得られる補間後の左上端点105の位置は、Yをフィルタ処理した場合の補間後の左上端点104の位置よりも水平方向右側になる。逆に右上端のCb及びCrをフィルタ処理した場合には、それによって得られる補間後の右上端点の位置は、Yをフィルタ処理した場合の補間の右上端点の位置よりも水平方向左側になる。
このように、サンプリング比4:2:2のCb及びCrをフィルタ処理する場合には、サンプリング比4:4:4の場合に比してフィルタの水平方向幅が大きくなっているので、Cb及びCrに係るフィルタ処理後の画角(即ちフィルタ処理で補間可能な範囲)106bが、Yに係るフィルタ処理後の画角106aよりも小さくなる。具体的には、サンプリング比4:2:2の場合には、水平方向のりしろ4画素分(図7(a)の例では左側1.5画素+右側2.5画素、図7(b)の例では左側2画素+右側2画素)だけYの画角106aよりも小さくなる。ここで、フィルタ処理後の画角は、Yの画角とCb及びCrの画角とで揃っている必要があるので、最終的な画角は小さいほうの画角、即ちCb及びCrの画角に制限される。したがって、フィルタ処理後の画角は、フィルタ処理前の画角よりも水平7画素、垂直3画素だけ小さくなる。
更に、図8は、図4で示すサンプリング比4:2:0のYC信号を4×4の中央補間フィルタを用いてフィルタ処理するときの例について示す図である。ここで、図8(a)は図4(a)の配置のYC信号をフィルタ処理するときの様子について示す図であり、図8(b)は図4(b)の配置のYC信号をフィルタ処理するときの様子について示す図である。
なお、Yのフィルタ処理については図5で説明したサンプリング比4:4:4の場合と同様であるので、ここではCb、Crのフィルタ処理についてのみ説明する。
サンプリング比4:2:0の場合には、上述したように、Cb、Crの水平及び垂直方向の情報量がそれぞれYの情報量に比して1/2に削減されている。したがって、サンプリング比4:2:0の場合には、フィルタ103の水平方向幅だけでなく垂直方向の幅もサンプリング比4:4:4の場合の2倍の幅となる。このようなフィルタ103を用いて画像の左上端に対してフィルタ処理を行った場合には、図8(a)や図8(b)に示す点105のデータが補間される。即ち、サンプリング比4:2:0の左上端のCb及びCrをフィルタ処理した場合には、それによって得られる補間後の左上端点105の位置は、Yをフィルタ処理した場合の補間の左上端点104の位置よりも水平方向右側かつ垂直方向下側になる。
即ち、サンプリング比4:2:0の場合、Cb及びCrをフィルタ処理した後の画角106bは、サンプリング比4:2:2の場合よりも更に小さくなる。具体的には、サンプリング比4:2:0の場合には、水平方向のりしろ7画素分(図8(a)の例では左側3画素+右側4画素、図8(b)の例では左側3.5画素+右側3.5画素)及び垂直方向のりしろ7画素分(図8(a)の例では上側3画素+下側4画素、図8(b)の例では上側3.5画素+下側3.5画素)だけフィルタ処理前の画角よりも小さくなる。
なお、ここでは4×4の中央補間フィルタについて説明したが、上記の説明は任意の形状の中央補間フィルタについても同様である。一般に、m×nの中央補間フィルタを用いた場合に生じるのりしろは、サンプリング比4:4:4の場合に水平のりしろm−1及び垂直のりしろn−1となり、サンプリング比4:2:2の場合に水平のりしろ(m−1)×2+1及び垂直のりしろn−1となり、サンプリング比4:2:0の場合に水平のりしろ(m−1)×2+1及び垂直のりしろ(n−1)×2+1となる。
図9は、図2のサンプリング比4:4:4のYC信号を4×4の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。また、図10は、重み付けフィルタについて説明するための図である。ここで、図10(a)は4×4の重み付けフィルタについて示す図であり、図10(b)は5×5の重み付けフィルタについて示す図である。
重み付けフィルタは、フィルタ内の複数点101(図10(a)に示す4×4のフィルタの場合には16点、図10(b)に示す5×5のフィルタの場合には25点)を用いて、フィルタ203内の中心位置周辺1画素×1画素の範囲204のデータを補間演算するフィルタであり、例えば画像信号の拡大縮小処理(リサイズ処理)を行うためのフィルタ処理(例えばキュービック処理)などに用いられる。
サンプリング比4:4:4の場合には、上述したようにYのサンプリング位置とCb及びCrのサンプリング位置とを全て一致させることができるので、Yを処理するためのフィルタの形状とCb、Crを処理するためのフィルタの形状とを一致させることができる。このようなフィルタ203を用いて画像の左上端に対してフィルタ処理を行った場合、Yの場合には図9に示す点204aのデータが左上端の点として補間される。Cb及びCrの場合もYと同様に、図9に示す点205aのデータが左上端の点として補間される。図9に示すように、重み付けフィルタの場合には、フィルタ内の中心位置周辺の範囲を補間できるので、フィルタ処理後の画角206は、中央補間フィルタによるフィルタ処理後の画角106よりも大きくなる。しかしながら、のりしろがなくなるわけではないので、フィルタ処理前の画角よりはフィルタ処理後の画角は小さくなる。具体的には、サンプリング比4:4:4の場合、水平方向のりしろは2画素(左側1画素+右側1画素)となり、垂直のりしろも2画素(上側1画素+下側1画素)となる。
図11はサンプリング比4:2:2のYC信号を4×4の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図11(a)は図3(a)の配置のYC信号をフィルタ処理するときの様子について示す図であり、図11(b)は図3(b)の配置のYC信号をフィルタ処理するときの様子について示す図である。
サンプリング比4:2:2のCb及びCrを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Yの補間の端点204aよりも水平方向右側の点205aとなる。このため、中央補間フィルタの場合と同様に、Cb及びCrに係るフィルタ処理後の画角206bは、Yに係るフィルタ処理後の画角206aに比べて小さくなる。具体的には、サンプリング比4:2:2の場合、水平方向のりしろは5画素(図11(a)の例では左側2画素+右側3画素、図11(b)の例では左側2.5画素+右側2.5画素)となる。一方、垂直のりしろは2画素(上側1画素+下側1画素)となる。
図12はサンプリング比4:2:0のYC信号を4×4の重み付けフィルタを用いてフィルタ処理するときの様子を示す図である。ここで、図12(a)は図4(a)の配置のYC信号をフィルタ処理するときの様子について示す図であり、図12(b)は図4(b)の配置のYC信号をフィルタ処理するときの様子について示す図である。
サンプリング比4:2:0のCb及びCrを重み付けフィルタを用いてフィルタ処理した場合、フィルタ処理後の左上端の点は、Yの補間の端点204aよりも水平方向右側かつ垂直方向下側の点205aとなる。このため、中央補間フィルタの場合と同様に、Cb及びCrに係るフィルタ処理後の画角206bはサンプリング比4:2:2の場合に比べてさらに小さくなる。具体的には、サンプリング比4:2:0の場合、水平方向のりしろは5画素(図12(a)の例では左側2画素+右側3画素、図12(b)の例では左側2.5画素+右側2.5画素)となる。一方、垂直のりしろも5画素(図12(a)の例では上側2画素+下側3画素、図12(b)の例では上側2.5画素+下側2.5画素)となる。
なお、ここでは4×4の重み付けフィルタについて説明したが、上記の説明は任意の形状の重み付けフィルタについても同様である。一般に、m×nの重み付けフィルタを用いた場合に生じるのりしろは、サンプリング比4:4:4の場合に水平のりしろm−2及び垂直のりしろn−2となり、サンプリング比4:2:2の場合に水平のりしろ(m−2)×2+1及び垂直のりしろn−2となり、サンプリング比4:2:0の場合に水平のりしろ(m−2)×2+1及び垂直のりしろ(n−2)×2+1となる。
以上説明したように、サンプリング比が異なるYC信号(例えば、サンプリング比4:2:2や4:2:0)をフィルタ処理した場合には、サンプリング比が等しいYC信号(例えば、サンプリング比4:4:4)をフィルタ処理した場合よりもフィルタ処理後の画角が小さくなる。
以上説明したことをまとめると、YC信号をメモリなどに格納する際には、データサイズを少なくするためにサンプリング比を異ならせるようにし、YC信号をフィルタ処理するときにはフィルタ処理後の画角を大きく保つことができるようにサンプリング比を等しくすればよい。
そこで、本一実施形態では、以下に説明するような手法によってフィルタ処理を行うようにしている。
図13(a)は、本一実施形態に係る画像処理方法の処理の流れについて示すフローチャートである。この処理は、メモリ5に格納されたサンプリング比の異なる画像信号(例としてサンプリング比4:2:2)をフィルタ処理する際に行われるものである。例えば、メモリカード8に記録されているJPEG画像信号をデコードして、ぼかし処理などの画像加工処理を行う場合などに図13(a)の手法を適用できる。ここで、ぼかし処理とは、画像信号に複数回のローパスフィルタ処理を行って画像をぼかす処理のことである。
図13(a)の処理が開始すると、まず第1の変換手段、フィルタ処理手段、及び第2の変換手段の機能を有する画像処理部6によって、メモリ5に格納された画像信号(サンプリング比4:2:2)が読み出される(ステップS1)。次に、画像処理部6内において画像信号のサンプリング周波数を一致させるようなサンプリング比の変換(アップサンプリング)が行われる(ステップS2)。ここで、アップサンプリングの手法としては、例えば2つのYが共有しているCb及びCrを2つのYに配置し直す(Cb、Crをコピーする)ようにすれば良い。このようなアップサンプリングを行うことにより、画像信号のサンプリング比が4:4:4に変換され、フィルタ処理後の画角を大きく保つことができるようになる。
アップサンプリングが終了した後、任意のフィルタ処理が行われる(ステップS3)。フィルタ処理後の画像信号は、サンプリング比4:4:4の状態であり、このまま画像信号をメモリ5に格納してしまうとメモリ5の容量を圧迫してしまうおそれがある。したがって、フィルタ処理の後は画像信号のデータサイズを削減するように、画像信号のサンプリング比が変換(ダウンサンプリング)される(ステップS4)。これにより、画像信号のサンプリング比が4:2:2に変換される。このサンプリング比が変換された画像信号がメモリ5に格納され(ステップS5)、フィルタ処理が終了する。
ここで、本一実施形態においては、ステップS2のアップサンプリングからステップS4のダウンサンプリングまでの処理の間、画像信号がメモリ5に格納されることなく直結的に処理が行われる。
なお、図13(a)のフィルタ処理は、図13(b)のような手法で行うようにしても良い。図13(b)の手法は、YC信号をRGB信号に変換してからフィルタ処理を行うものである。即ち、図13(b)においては、まず画像処理部6によって、メモリ5に格納された画像信号(サンプリング比4:2:2)が読み出される(ステップS11)。次に、画像処理部6内においてアップサンプリングが行われる(ステップS12)。これにより、サンプリング比が4:4:4に変換される。次に、サンプリング比が4:4:4に変換されたYC信号がRGB信号に変換される(ステップS13)。このときの画像信号のR、G、Bのサンプリング周波数の比は、R:G:B=4:4:4である。
画像信号がRGB化された後、任意のフィルタ処理が行われる(ステップS14)。その後、RGB信号が再びYC信号に変換される(ステップS15)。そして、このYC信号がダウンサンプリングされて画像信号のデータサイズが削減される(ステップS16)。このサンプリング比が変換された画像信号がメモリ5に格納され(ステップS17)、フィルタ処理が終了する。
図13(b)のように、RGB信号に変換してからフィルタ処理を行うことにより、画像信号の各色成分毎にフィルタ処理を行うことができるようになる。
図14は、メモリカード8に格納されたJPEGファイルを読み出して表示モニタ10上に再生する際の処理の流れについて示すフローチャートである。
図14において、ユーザなどから画像再生の指示が成された場合、メモリカード8に記録されたJPEG画像信号が一旦メモリ5に格納される。メモリ5に格納されたJPEG画像信号はJPEGエンコーダ/デコーダ7によって読み出され(ステップS21)、デコードされる(ステップS22)。これによってJPEG画像信号がYC信号(サンプリング比4:2:2)に変換される。
次に、画像再生のためにYC信号に対してリサイズ処理(一般には縮小処理)が施される。このために、まず図13(a)で説明した手法に従ってYC信号のサンプリング比が4:4:4に変換(アップサンプリング)される(ステップS23)。
次に、サンプリング比が変換されたYC信号に対してローパスフィルタ処理が行われる(ステップS24)。一般に、画像を縮小する場合、解像できる最高の周波数が落ちる。例えば、水平1000画素の画像は水平方向に均等に並んだ縦縞を500本まで解像することができるが、水平500画素の画像ではその半分の250本しか解像できなくなる。このとき、解像できなくなった高周波成分は、本来は存在していなかった別の低周波成分として表れる。そこで、縮小後の画像が解像できる周波数を考慮してローパスフィルタ処理を行い、本来存在していなかった低周波成分が表れないようにしている。なお、このようなローパスフィルタ処理は、画像の拡大の際には必要がない。
画像信号に対してローパスフィルタ処理が行われた後、画像の縮小処理が行われる(ステップS25)。これにより、画像の画角を表示モニタ10が表示できるような適切な画角にすることができる。また、ローパスフィルタ処理や縮小処理の際には、YC信号のサンプリング比を4:4:4としているので、フィルタ処理によって必要以上に画角が小さくなることがない。
縮小処理が終了した後は、画像信号のデータサイズを削減するためにダウンサンプリングが行われ(ステップS26)、これによってサンプリング比が4:2:2に変換された画像信号がメモリ5に格納される(ステップS27)。その後、メモリ5に格納された画像信号がビデオエンコーダ9を介して表示モニタ10上に画像として表示される(ステップS28)。
ここで、図14のフローチャートではYC信号をフィルタ処理する例について説明したが、図13(b)の手法のように、一旦YC信号をRGB信号に変換してからフィルタ処理を行うようにしても良い。
また、図13及び図14の説明では、ダウンサンプリング後の画像信号のサンプリング比が4:2:2であるが、これを4:2:0としても良い。
以上説明したように、本一実施形態によれば、メモリ5に画像信号を格納するときと画像信号にフィルタ処理を施すときとで、画像信号の各画像成分のサンプリング周波数の比を変更するようにしているので、画像信号の格納時においてはメモリ5の容量を圧迫せず、またフィルタ処理後であっても画角を大きく保つことができる。
ここで、上記した一実施形態では、画像処理装置をデジタルカメラに適用した例について説明したが、本一実施形態の技術は、フィルタ処理を行うことができる一般的な画像処理装置に適用することができる。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
1…CPU、2…レンズ、3…撮像素子、4…AD変換部(ADC)、5…メモリ、6…画像処理部、7…JPEGエンコーダ/デコーダ、8…メモリカード、9…ビデオエンコーダ、10…表示モニタ
Claims (8)
- 複数の画像成分を含み、これら画像成分のサンプリング周波数の比であるサンプリング比が一致していない画像信号をメモリから読み出し、
上記メモリから読み出された画像信号のサンプリング比を一致させるように上記画像信号のサンプリング比を変換し、
上記サンプリング比が変換された画像信号をフィルタ処理し、
上記フィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する、
ことを特徴とする画像処理方法。 - 上記メモリから読み出された画像信号のサンプリング比の変換は上記メモリから読み出された画像信号をアップサンプリングすることにより行い、上記フィルタ処理された画像信号のサンプリング比の変換は上記フィルタ処理された画像信号をダウンサンプリングすることにより行うことを特徴とする請求項1に記載の画像処理方法。
- 上記サンプリング比が画像成分毎に一致していない画像信号は、画像成分の比がY:Cb:Cr=4:2:2又は4:2:0の輝度・色差信号であることを特徴とする請求項1又は2に記載の画像処理方法。
- 上記サンプリング比を画像成分毎に一致させることによって得られる画像信号は、画像成分の比がY:Cb:Cr=4:4:4の輝度・色差信号又は画像成分の比がR:G:B=4:4:4のRGB信号であることを特徴とする請求項1又は2に記載の画像処理方法。
- 上記フィルタ処理された画像信号のサンプリング比を変換することによって得られる画像信号は、画像成分の比がY:Cb:Cr=4:2:2又は4:2:0の輝度・色差信号であることを特徴とする請求項1又は2に記載の画像処理方法。
- 上記フィルタ処理は、ローパスフィルタ処理、バンドパスフィルタ処理、及び拡大縮小処理の少なくとも何れか1つを含むことを特徴とする請求項1又は2に記載の画像処理方法。
- 上記メモリから画像信号を読み出してサンプリング比を一致させるように上記サンプリング比を変換する処理、上記サンプリング比が変換された画像信号をフィルタ処理する処理、及び上記フィルタ処理された画像信号のデータサイズを削減するように上記サンプリング比を変換する処理は、上記画像信号を上記メモリに書き込むことなく行われることを特徴とする請求項1に記載の画像処理方法。
- デジタル化された画像信号をフィルタ処理する画像処理装置において、
複数の画像成分を含み、サンプリング比が画像成分毎に一致していない複数の画像成分を含む画像信号が記憶される記憶手段と、
上記記憶手段に記憶された画像信号を読み出して、上記サンプリング比を画像成分毎に一致させるように上記画像信号のサンプリング比を変換する第1の変換手段と、
上記第1の変換手段によりサンプリング比を画像成分毎に一致させた画像信号をフィルタ処理するフィルタ処理手段と、
上記フィルタ処理手段によってフィルタ処理された画像信号のデータサイズを削減するように上記フィルタ処理された画像信号のサンプリング比を変換する第2の変換手段と、
を具備することを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005017121A JP2006211037A (ja) | 2005-01-25 | 2005-01-25 | 画像処理方法及び画像処理装置 |
US11/338,406 US7616827B2 (en) | 2005-01-25 | 2006-01-24 | Image processing method and image processing device |
CNB200610002933XA CN100550972C (zh) | 2005-01-25 | 2006-01-25 | 图像处理方法及图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005017121A JP2006211037A (ja) | 2005-01-25 | 2005-01-25 | 画像処理方法及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006211037A true JP2006211037A (ja) | 2006-08-10 |
Family
ID=36696353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005017121A Pending JP2006211037A (ja) | 2005-01-25 | 2005-01-25 | 画像処理方法及び画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7616827B2 (ja) |
JP (1) | JP2006211037A (ja) |
CN (1) | CN100550972C (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006211037A (ja) * | 2005-01-25 | 2006-08-10 | Olympus Imaging Corp | 画像処理方法及び画像処理装置 |
JP5430379B2 (ja) * | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
US11842243B2 (en) | 2019-12-28 | 2023-12-12 | Avery Dennison Retail Information Services Llc | RFID systems for use with tires |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6774943B1 (en) * | 1998-09-01 | 2004-08-10 | Ess Technology, Inc. | Method and apparatus for edge enhancement in digital images |
JP2000165664A (ja) | 1998-11-30 | 2000-06-16 | Sony Corp | 画像の解像度変換装置及び方法 |
US7133073B1 (en) * | 1999-08-19 | 2006-11-07 | Dialog Imaging Systems Gmbh | Method and apparatus for color interpolation |
JP2002171535A (ja) | 2000-12-04 | 2002-06-14 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004158948A (ja) | 2002-11-05 | 2004-06-03 | Alps Electric Co Ltd | 画像データ処理方法 |
US7397964B2 (en) * | 2004-06-24 | 2008-07-08 | Apple Inc. | Gaussian blur approximation suitable for GPU |
JP2006211037A (ja) * | 2005-01-25 | 2006-08-10 | Olympus Imaging Corp | 画像処理方法及び画像処理装置 |
-
2005
- 2005-01-25 JP JP2005017121A patent/JP2006211037A/ja active Pending
-
2006
- 2006-01-24 US US11/338,406 patent/US7616827B2/en not_active Expired - Fee Related
- 2006-01-25 CN CNB200610002933XA patent/CN100550972C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7616827B2 (en) | 2009-11-10 |
US20060164520A1 (en) | 2006-07-27 |
CN1812476A (zh) | 2006-08-02 |
CN100550972C (zh) | 2009-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4655991B2 (ja) | 撮像装置及び電子ズーム方法と、プログラム | |
KR100957261B1 (ko) | 화상 촬영 장치 및 색수차 보정 방법 | |
JP2007067917A (ja) | 画像データ処理装置 | |
JP6727989B2 (ja) | 画像処理装置およびその制御方法 | |
US20090046182A1 (en) | Pixel aspect ratio correction using panchromatic pixels | |
US8744233B2 (en) | Image signal processing apparatus, image signal processing method, and program | |
US20120050309A1 (en) | Display control apparatus and display control method | |
JP4410981B2 (ja) | 映像信号処理装置及び方法 | |
JP2006211037A (ja) | 画像処理方法及び画像処理装置 | |
US8107745B2 (en) | Image processing device | |
JPH11168745A (ja) | デジタルカメラ | |
JP4048615B2 (ja) | 画素数変換装置およびディジタルカメラ装置 | |
US11202019B2 (en) | Display control apparatus with image resizing and method for controlling the same | |
US7389004B2 (en) | Image processing apparatus | |
JP2006197524A (ja) | 撮像装置 | |
US20090016619A1 (en) | Image processing device | |
JPH06133320A (ja) | 撮像信号処理装置 | |
JP5090899B2 (ja) | 撮像装置 | |
JP2004312072A (ja) | 画像処理装置及びカメラ、並びに画像処理方法 | |
JP4239811B2 (ja) | 撮像装置 | |
JP4832031B2 (ja) | 画像処理方法及び画像処理装置 | |
JP6087720B2 (ja) | 撮像装置及びその制御方法 | |
JP4804562B2 (ja) | 映像信号処理装置及び方法 | |
TWI424371B (zh) | Video processing device and processing method thereof | |
KR100629885B1 (ko) | 이동 통신 단말기의 동영상 녹화 및 재생 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091222 |