JP2006262382A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2006262382A
JP2006262382A JP2005080304A JP2005080304A JP2006262382A JP 2006262382 A JP2006262382 A JP 2006262382A JP 2005080304 A JP2005080304 A JP 2005080304A JP 2005080304 A JP2005080304 A JP 2005080304A JP 2006262382 A JP2006262382 A JP 2006262382A
Authority
JP
Japan
Prior art keywords
image
processing
thinning
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005080304A
Other languages
English (en)
Inventor
Hitoshi Kubota
均 久保田
Hideo Fujita
偉雄 藤田
Narihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005080304A priority Critical patent/JP2006262382A/ja
Publication of JP2006262382A publication Critical patent/JP2006262382A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】 間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができる画像処理装置を得ることを目的とする。
【解決手段】 指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定回路３１を設け、その設定回路３１により設定された処理区分毎に、撮像素子２から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する。
【選択図】 図１

Description

この発明は、被写体の光学像を電気信号に変換し、その電気信号である画像信号に画像処理を施す画像処理装置に関するものである。
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）などの撮像素子から画像信号を取得するデジタルスチルカメラやデジタルビデオカメラの開発が盛んに行われている。
撮像素子は、コストの面から主に単板式のものが使用され、特にＲＧＢの３色からなる原色タイプの色フィルタアレイではベイヤー方式が使用されることが多く、Ｙｅ，Ｍｇ，Ｇ，Ｃｙからなる補足タイプの色フィルタアレイではフィールド色差順次方式が使用されることが多い。
これらは、いずれも水平方向では１画素おきに同色が配置され、垂直方向の２ライン分で全ての色成分が揃うタイプのものである。
このような撮像素子の高画素化が急速に進んでいる昨今では、画素数の増加によって画像データの読み出し時間が長くなり、特に高いフレームレートが必要な動画表示において問題となっている。この問題を解決するために、あらかじめ撮像素子の画像データを間引きすることで、読み出し時間を短縮することが必要となる。
従来の画像処理装置は、撮像素子から出力された画像信号の間引き処理を実施する水平成分のローパスフィルタと水平１／３間引き処理部を実装している。
即ち、水平成分のローパスフィルタは、第１のラインの緑の画素を注目画素として、（１，０，１，０，１）／３のフィルタをかける場合、緑の画素に“１”を乗算して、赤の画素に“０”を乗算し、それらの画素値の合計を“３”で除算することにより、注目画素となる緑の画素と、隣接する緑の画素との単純平均を算出する。
第１のラインの赤の画素が注目画素となる場合も同様に、注目画素となる赤の画素と、隣接する赤の画素との単純平均を算出する。同様にして、第２のラインの緑の画素と青の画素もフィルタリングする。
水平１／３間引き処理部は、水平成分の３画素毎に間引き処理を実施することにより、３画素おきの画素を注目画素として、その画素に隣接する同色の画素との単純平均を算出して、間引き画素群を生成する。
このように撮像素子から出力された画像信号を１／（２ｎ−１）、即ち、奇数分の１の間引き率で間引きすることにより、フレームレートを上げるようにしている（ｎは正の整数）。
これにより、間引き後に画像位相のずれがなく、折り返しの少ない間引き画像を得ることができる（例えば、特許文献１参照）。
特開２００３−３３３６１０号公報（段落番号［００１５］、図６）
従来の画像処理装置は以上のように構成されているので、撮像素子から出力された画像信号を１／（２ｎ−１）の間引き率で間引きすることができる。しかし、画像信号の間引き率が奇数分の１に固定化されているため、静止画処理動作まで含めたシステム全体を考慮して、柔軟に間引き率を変えることができない課題があった。また、柔軟に間引き率を変えることができないため、例えば、撮像素子の画素数が変更されると、画像信号の間引き処理を実施することにより、画質が劣化することがあるなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができる画像処理装置を得ることを目的とする。
この発明に係る画像処理装置は、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段を設け、その設定手段により設定された処理区分毎に、撮像手段から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するようにしたものである。
この発明によれば、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段を設け、その設定手段により設定された処理区分毎に、撮像手段から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するように構成したので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができるようになり、その結果、間引き処理の実施による画質劣化を最小限に抑制することができる効果がある。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、レンズ系１は被写体の光学像を撮像素子２に結像する。
撮像素子２は例えばＲＧＢ原色ベイヤー配列などの色フィルタアレイから構成されているＣＣＤやＣＭＯＳなどの撮像手段であり、撮像素子２はレンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号を出力する処理を実施する。
また、撮像素子２は例えば静止画を記録する際に、すべての画素を読み出す全画素モードと、動画を表示する際に、垂直方向や水平方向の間引きを実施してフレームレートを高める高速モードを備えている。
例えば、この実施の形態１では、全画素モードでは水平３０００画素×垂直２３００ラインを読み出し、高速モードでは垂直方向の１０ライン中、４ラインを加算することにより水平３０００画素×垂直４６０ラインを読み出すものとする。
なお、撮像素子２は水平方向で１画素おきに同色が配置され、垂直２ライン分で全ての色成分が揃うタイプのものであれば、ベイヤー配列に限定する必要はなく、色フィルタに関してもＹｅ，Ｍｇ，Ｇ，Ｃｙの補色タイプのものを使用してもよい。
アナログ処理部３は撮像素子２を制御して、その撮像素子２から出力される画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４はアナログ処理部３から出力されるアナログの画像信号をデジタル信号に変換し、デジタルの画像データを出力する処理を実施する。
カメラ信号処理部５はＡ／Ｄ変換部４から出力されたデジタルの画像データに対する前処理（例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理など）を実施する。
間引き処理部６はカメラ信号処理部５により前処理された画像データに対して、指定された間引き率で間引き処理を実施する。
画像処理部７は画像データを一時的に記録して、その画像データに対する画像処理（例えば、二次元の畳み込み処理を行う色補間、エッジ補正などのフィルタ処理、その他、色補正処理など）を実施する。
調停回路８は画像データバス、間引き処理部６及び画像処理部７の間で、画像データのやりとりを制御する機能を備えている。
表示処理部９はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスや、その表示デバイスを制御する制御処理部から構成され、例えば、画像処理部７による画像処理後の画像データにしたがって画像を表示するなどの処理を実施する。なお、表示処理部９は表示手段を構成している。
画像記録部１０は例えば撮像素子２の全画素モードによって撮像された静止画を記録するＳＤＲＡＭ（Ｓｙｎｃｈｒｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの画像記録手段である。
動画処理部１１はＭＰＥＧ４などの動画処理を実施して、調停回路８から出力された画像信号から動画を生成する処理を実施する。ただし、ＭＰＥＧ４などの動画処理に限るものではなく、例えばＭｏｔｉｏｎ ＪＰＥＧのように静止画を連続的に表示させることで動画を生成するＪＰＥＧ処理を実施するようにしてもよい。なお、動画処理部１１は動画処理手段を構成している。
外部記録装置１２は画像データを記録するメモリカードや磁気ディスクなどの記録装置である。
図２はこの発明の実施の形態１による画像処理装置の画像処理部を示す構成図であり、図において、ラインメモリ２１は色補間処理部２３が同時に処理する必要がある複数ラインの画像データを一時的に記録するメモリである。
ラインメモリ２２はフィルタ処理部２４が同時に処理する必要がある複数ラインの画像データを一時的に記録するメモリである。
この実施の形態１では、説明の便宜上、ラインメモリ２１及びラインメモリ２２は、水平方向に関して、７６８画素分の記録容量を備えているものとする。なお、ラインメモリ２１及びラインメモリ２２から一時記録手段が構成されている。
色補間処理部２３はラインメモリ２１により一時的に記録された画像データから、各画素で不足している色成分を補間する処理を実施する。
フィルタ処理部２４はＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）によってエッジ補正処理を実施する。なお、色補間処理部２３及びフィルタ処理部２４などから画像処理手段が構成されている。
図３はこの発明の実施の形態１による画像処理装置の間引き処理部を示す構成図であり、図において、設定回路３１は間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて重み付け処理に係る各色成分のタップ領域（処理区分）、重み係数などを設定する処理を実施する。ただし、設定回路３１は指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさのタップ領域と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさのタップ領域と重み付け係数を設定する。なお、設定回路３１は設定手段を構成している。
重み付け部３２は設定回路３１により設定されたタップ領域毎に、カメラ信号処理部５から出力された画像データに設定回路３１により設定された重み係数を乗算する処理を実施する。なお、重み付け部３２は重み付け手段を構成している。
加算部３３は設定回路３１により設定されたタップ領域毎に、重み付け部３２により重み係数が乗算された画像データの総和を計算する処理を実施する。なお、加算部３３は総和計算手段を構成している。
間引き部３４は加算部３３の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像データとして出力する処理を実施する。なお、間引き部３４は間引き手段を構成している。
次に動作について説明する。
最初に、静止画記録処理の動作について説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けても、全画素を使用する静止画記録の処理であるため、その画像データに対する間引き処理を実施せずに、その画像データを画像処理部７及び調停回路８に出力する。ただし、全画素を使用する静止画記録の処理であるため、画像処理部７は処理を停止しており、その画像データに対する画像処理を実施しない。
調停回路８は、間引き処理部６から画像データを受けると、その画像データを画像記録部１０に逐次転送して、その画像データを画像記録部１０に記録する。
これにより、画像記録部１０には、最終的に１フレーム分の画像データが記録されることになる。
この画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の画像データを画像記録部１０に記録したのち、その画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。この際、調停回路８が画像データを表示処理部９に転送して、表示処理部９が静止画像を表示すれば、外部記録装置１２に記録された画像データをユーザが確認することが可能になる。
次に、動画表示処理の動作について説明する。動画表示処理はユーザが被写体の画角合わせ等を行う際に実施する動作であり、撮像素子２における静止画像を実時間で処理して、滑らかに連続表示することにより実現する。
撮像素子２は、図示しない制御用マイコン等から動画表示処理の実行指令を受けると高速モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換するとともに、その電気信号である画像信号に対する垂直方向や水平方向の間引きを実施して、水平３０００画素×垂直４６０ラインの画像信号をアナログ処理部３に出力する。
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
滑らかな動画表示を実現するには、画像処理部７がこの画像データに対する画像処理を実時間で実施する必要があるが、上述したように、ラインメモリ２１，２２が７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができない。
そこで、間引き処理部６は、カメラ信号処理部５により前処理された画像データに対して、指定された間引き率で間引き処理を実施する。間引き処理部６の間引き処理によって水平７６８画素以下になった画像データは、画像処理部７のラインメモリ２１に一時的に記録される。
間引き処理部６における間引き処理の詳細については後述する。
画像処理部７の色補間処理部２３は、ラインメモリ２１に画像データが記録されると、その画像データから各画素で不足している色成分を補間する処理を実時間で実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実時間で実施することにより、画像データの画質を高める処理を実施する。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、逐次、その画像データを表示処理部９及び動画処理部１１に転送する。
表示処理部９は、調停回路８から１フレームの画像データを受けると、その画像データを連続して表示する。
これにより、ユーザは滑らかな動画表示を見ることが可能になる。
動画処理部１１は、調停回路８から１フレームの画像データを受けると、その画像データに対する動画処理を実施し、動画処理後の画像データをメモリカードなどの外部記録装置１２に転送する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
ここで、間引き処理部６における間引き処理の詳細について説明する。
図４は間引き処理部６が処理するＲＧＢ色フィルタ配列を示す概念図である。
間引き処理部６の入力第１ラインはＧ，Ｒ，Ｇ，Ｒ・・・、第２ラインはＢ，Ｇ，Ｂ，Ｇ・・・の順番となり、以降、これを２ライン単位で繰り返すものである。
図５は間引き処理部６が４分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図５の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図５のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎライン目のＧ成分については入力４画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力４画素に対して１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ4の４画素を１つの処理区分に設定して、Ｇ5からＧ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ2からＲ6の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素Ｒ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データには“１”をそれぞれ乗算する。また、Ｒ2とＲ6の画像データには“１”をそれぞれ乗算し、Ｒ3，Ｒ4，Ｒ5の画像データには“２”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データの総和Ｇaを計算し、Ｒ2，Ｒ3，Ｒ4，Ｒ5，Ｒ6の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図５のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
ただし、この実施の形態１では、同一ラインの色成分、つまりｎライン目のＧかＲ、あるいは、ｎ＋１ライン目のＢかＧについては異なる処理を実施しているが、異なるライン間でのＲＧＢ３色の色成分は考慮しない。したがって、Ｂ1、Ｇ1、Ｂ2、Ｇ2、Ｂ3、Ｇ3の順番で入力されるｎ＋１ライン目についても、ｎライン目と同様の動作となる。
即ち、間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力４画素、Ｇ成分については入力５画素をタップ領域に設定する。また、Ｂ成分の入力４画素に対して１：１：１：１の重み係数、Ｇ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ4の４画素を１つの処理区分に設定して、Ｂ5からＢ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｇ2からＧ6の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素Ｇ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3，Ｂ4の画像データには“１”をそれぞれ乗算する。また、Ｇ2とＧ6の画像データには“１”をそれぞれ乗算し、Ｇ3，Ｇ4，Ｇ5の画像データには“２”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4の画像データの総和Ｂaを計算し、Ｇ2，Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
ここまでは、ラインメモリ２１，２２が７６８画素分の記録容量を備え、撮像素子２の水平画素数が３０００画素である場合において、４分の１間引き処理を実施するものについて示したが、ここからはシステムに搭載する撮像素子２の画素数が変更になった場合を想定し、異なる間引き率を適用した処理内容について説明する。
例えば、撮像素子２の水平画素数が１５００画素の場合、上述した４分の１間引き処理を適用しても問題ないが、画質劣化を最小限に抑えるには、極力、間引き率を低くすることが望ましい。
そこで、間引き処理部６が制御信号にしたがって水平画素数の２分の１間引き処理を実施するものとする。
図６は間引き処理部６が２分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図６の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図６のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎライン目のＧ成分については入力２画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力２画素に対して１：１の重み係数、Ｒ成分の入力３画素に対して１：２：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ2の２画素を１つの処理区分に設定して、Ｇ3からＧ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ3からＲ5の３画素を１つの処理区分に設定し、同一の画素Ｒ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2の画像データには“１”をそれぞれ乗算する。また、Ｒ1とＲ3の画像データには“１”をそれぞれ乗算し、Ｒ2の画像データには“２”を乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／４（＝１／（１＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図６のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力２画素、Ｇ成分については入力３画素をタップ領域に設定する。また、Ｂ成分の入力２画素に対して１：１の重み係数、Ｇ成分の入力３画素に対して１：２：１の重み係数を設定する。
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ2の２画素を１つの処理区分に設定して、Ｂ3からＢ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ3からＧ5の３画素を１つの処理区分に設定し、同一の画素Ｇ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2の画像データには“１”をそれぞれ乗算する。また、Ｇ1とＧ3の画像データには“１”をそれぞれ乗算し、Ｇ2の画像データには“２”を乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／２（＝１／（１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋２＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
次に、撮像素子２の水平画素数が２０００画素である場合について説明する。
この場合、間引き処理部６が、制御信号に基づいて水平画素数の３分の１間引き処理を実施するものとする。
図７は間引き処理部６が３分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図７の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図７のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が３分の１間引き処理を示す場合、ｎライン目のＧ成分については入力３画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力３画素に対して１：１：１の重み係数、Ｒ成分の入力３画素に対して１：１：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ4からＧ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｒ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ4からＲ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。また、Ｒ1，Ｒ2，Ｒ3の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／３（＝１／（１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／３（＝１／（１＋１＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図７のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が３分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力３画素、Ｇ成分については入力３画素をタップ領域に設定する。また、Ｂ成分の入力３画素に対して１：１：１の重み係数、Ｇ成分の入力３画素に対して１：１：１の重み係数を設定する。
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ3の３画素を１つの処理区分に設定して、Ｂ4からＢ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｇ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ3の３画素を１つの処理区分に設定して、Ｇ4からＧ6の３画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3の画像データには“１”をそれぞれ乗算する。また、Ｇ1，Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／３（＝１／（１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／３（＝１／（１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
次に、撮像素子２の水平画素数が３５００画素である場合について説明する。
この場合、間引き処理部６が、制御信号に基づいて水平画素数の５分の１間引き処理を実施するものとする。
図８は間引き処理部６が５分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図８の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図８のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が５分の１間引き処理を示す場合、ｎライン目のＧ成分については入力５画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力５画素に対して１：１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：１：１：１：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ5の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｒ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｒ1からＲ5の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データには“１”をそれぞれ乗算する。また、Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3，Ｒ4，Ｒ5の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図８のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が５分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力５画素、Ｇ成分については入力５画素をタップ領域に設定する。また、Ｂ成分の入力５画素に対して１：１：１：１：１の重み係数、Ｇ成分の入力５画素に対して１：１：１：１：１の重み係数を設定する。
なお、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重ならないように設定される。例えば、Ｂ1からＢ5の５画素を１つの処理区分に設定して、Ｂ6からＢ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
また、Ｇ成分の重み係数処理に使用するタップ領域についても、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ5の５画素を１つの処理区分に設定して、Ｇ6からＧ10の５画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データには“１”をそれぞれ乗算する。また、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データの総和Ｂaを計算し、Ｇ1，Ｇ2，Ｇ3，Ｇ4，Ｇ5の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／５（＝１／（１＋１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
各ラインにおいて、同様の処理を実施するため、垂直方向についても間引き画像の空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向及び垂直方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
以上で明らかなように、この実施の形態１によれば、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定回路３１を設け、その設定回路３１により設定された処理区分毎に、撮像素子２から出力された画像信号に当該重み係数を乗算して、重み係数乗算後の画像信号の総和を計算するとともに、その画像信号の総和から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力するように構成したので、間引き率の指定を受け付けて、その間引き率で画像信号の間引き処理を実施することができるようになり、その結果、間引き処理の実施による画質劣化を最小限に抑制することができる効果を奏する。
また、この実施の形態１によれば、指定された間引き率が偶数分の１の間引き率（例えば、２分の１、４分の１の間引き率）であれば、色成分毎に異なる大きさの処理区分と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率（例えば、３分の１、５分の１の間引き率）であれば、異なる色成分でも同じ大きさの処理区分と重み付け係数を設定するように構成したので、間引き画像における水平方向及び垂直方向の空間を等間隔に配置することができる効果を奏する。
また、この実施の形態１によれば、ラインメモリ２１，２２の記録画素数が、撮像素子２の水平画素数より少ない画素数で構成されているので、水平方向の記録容量が少ないラインメモリ２１，２２を使用することができる効果を奏する。
さらに、この実施の形態１によれば、画像処理部７が静止画記録処理を実施する場合、ラインメモリ２１，２２が画像記録部１０から出力された画像信号を一時的に記録し、画像処理部７が実時間処理を実施する場合、ラインメモリ２１，２２が間引き処理部６から出力された画像信号を一時的に記録するように構成したので、静止画記録処理と動画表示処理のいずれにも対応することができる効果を奏する。
実施の形態２．
上記実施の形態１では、間引き処理部６の設定回路３１が指定された間引き率に応じて各色成分のタップ領域（処理区分）と重み係数を設定するものについて示したが、その際、輝度成分が最大の色成分を判別し、その色成分における複数のタップ領域（処理区分）が相互に重ならないように、その色成分のタップ領域を設定するようにしてもよい。
即ち、人間の目の視覚特性は、色よりも明るさに対して広いダイナミックレンジを有しているので、この実施の形態２では、設定回路３１が明度の情報を表す輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定するようにする。
図９は間引き処理部６が４分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図９の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図９のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎライン目のＧ成分については入力４画素、Ｒ成分については入力５画素をタップ領域に設定する。また、Ｇ成分の入力４画素に対して１：１：１：１の重み係数、Ｒ成分の入力５画素に対して１：２：２：２：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ4の４画素を１つの処理区分に設定して、Ｇ5からＧ8の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ2からＲ6の５画素を１つの処理区分に設定して、Ｒ6からＲ10の５画素を１つの処理区分に設定し、同一の画素Ｒ6が２つの重み係数処理で参照されるように、タップ領域が設定される。
この実施の形態２では、輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定しているが、図９の例では、ｎライン目の処理が図５の例と同じになっている。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データには“１”をそれぞれ乗算する。また、Ｒ2とＲ6の画像データには“１”をそれぞれ乗算し、Ｒ3，Ｒ4，Ｒ5の画像データには“２”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2，Ｇ3，Ｇ4の画像データの総和Ｇaを計算し、Ｒ2，Ｒ3，Ｒ4，Ｒ5，Ｒ6の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図９のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が４分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力５画素、Ｇ成分については入力４画素をタップ領域に設定する。また、Ｂ成分の入力５画素に対して１：２：２：２：１の重み係数、Ｇ成分の入力５画素に対して１：１：１：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ3からＧ6の４画素を１つの処理区分に設定して、Ｇ7からＧ10の４画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｂ1からＢ5の５画素を１つの処理区分に設定して、Ｂ5からＢ9の５画素を１つの処理区分に設定し、同一の画素Ｂ5が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1とＢ5の画像データには“１”をそれぞれ乗算し、Ｂ2，Ｂ3，Ｂ4の画像データには“２”をそれぞれ乗算する。また、Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3，Ｂ4，Ｂ5の画像データの総和Ｂaを計算し、Ｇ3，Ｇ4，Ｇ5，Ｇ6の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／８（＝１／（１＋２＋２＋２＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／４（＝１／（１＋１＋１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
ここでは、４分の１間引き処理を実施するものについて説明したが、その他の間引き率でも適用可能である。
図１０は間引き処理部６が２分の１間引き処理で実施する重み付け部３２、加算部３３、間引き部３４の処理内容を示す説明図である。
図１０の上半分はＧＲ成分を処理するｎライン目の処理、下半分はＢＧ成分を処理するｎ＋１ライン目の処理を示している。
最初に、図１０のＧＲ成分を間引き処理するｎライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎライン目のＧ成分については入力２画素、Ｒ成分については入力３画素をタップ領域に設定する。また、Ｇ成分の入力２画素に対して１：１の重み係数、Ｒ成分の入力３画素に対して１：２：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ1からＧ2の２画素を１つの処理区分に設定して、Ｇ3からＧ4の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｒ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｒ1からＲ3の３画素を１つの処理区分に設定して、Ｒ3からＲ5の３画素を１つの処理区分に設定し、同一の画素Ｒ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
この実施の形態２では、輝度信号の寄与する割合が大きいＧ成分を判定し、Ｇ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定しているが、図１０の例では、ｎライン目の処理が図６の例と同じになっている。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｇ1，Ｇ2の画像データには“１”をそれぞれ乗算する。また、Ｒ1とＲ3の画像データには“１”をそれぞれ乗算し、Ｒ2の画像データには“２”を乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｇ1，Ｇ2の画像データの総和Ｇaを計算し、Ｒ1，Ｒ2，Ｒ3の画像データの総和Ｒaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｇa，Ｒaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算し、Ｒ成分については、総和Ｒaに１／４（＝１／（１＋２＋１））を乗算して、Ｒ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＧ，Ｒとして画像処理部７及び調停回路８に出力する。
このように、Ｇ成分とＲ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
次に、図１０のＢＧ成分を間引き処理するｎ＋１ライン目の処理内容について説明する。
間引き処理部６の設定回路３１は、図示しない制御用マイコン等から間引き率を指定する制御信号を受けると、その制御信号が示す間引き率に応じて各色成分のタップ領域（処理区分）や重み係数などを設定する。
制御信号が示す間引き率が２分の１間引き処理を示す場合、ｎ＋１ライン目のＢ成分については入力３画素、Ｇ成分については入力２画素をタップ領域に設定する。また、Ｂ成分の入力３画素に対して１：２：１の重み係数、Ｇ成分の入力２画素に対して１：１の重み係数を設定する。
なお、Ｇ成分の重み係数処理に使用するタップ領域については、ＲＧＢの色成分の中で、Ｇ成分が輝度信号の寄与する割合が最も大きいので、複数のタップ領域が相互に重ならないように設定される。例えば、Ｇ2からＧ3の２画素を１つの処理区分に設定して、Ｇ4からＧ5の２画素を１つの処理区分に設定し、同一の画素が複数の重み係数処理で参照されないように、タップ領域が設定される。
一方、Ｂ成分の重み係数処理に使用するタップ領域については、複数のタップ領域が相互に重なるように設定される。例えば、Ｂ1からＢ3の３画素を１つの処理区分に設定して、Ｂ3からＢ5の３画素を１つの処理区分に設定し、同一の画素Ｂ3が２つの重み係数処理で参照されるように、タップ領域が設定される。
間引き処理部６の重み付け部３２は、カメラ信号処理部５からｎ＋１ライン目の画像データを受けると、設定回路３１により設定されたタップ領域毎に、そのｎ＋１ライン目の画像データに対して、設定回路３１により設定された重み係数を乗算する処理を実施する。
例えば、Ｂ1とＢ3の画像データには“１”をそれぞれ乗算し、Ｂ2の画像データには“２”を乗算する。また、Ｇ2，Ｇ3の画像データには“１”をそれぞれ乗算する。
間引き処理部６の加算部３３は、重み付け部３２が画像データに重み係数を乗算すると、設定回路３１により設定されたタップ領域毎に、重み係数乗算後の画像データの総和を計算する。
即ち、Ｂ1，Ｂ2，Ｂ3の画像データの総和Ｂaを計算し、Ｇ2，Ｇ3の画像データの総和Ｇaを計算する。
間引き処理部６の間引き部３４は、加算部３３が重み係数乗算後の画像データの総和Ｂa，Ｇaを計算すると、その計算結果から１画素当りの平均値を計算する。
即ち、Ｂ成分については、総和Ｂaに１／４（＝１／（１＋２＋１））を乗算して、Ｂ成分の１画素当りの平均値を計算し、Ｇ成分については、総和Ｇaに１／２（＝１／（１＋１））を乗算して、Ｇ成分の１画素当りの平均値を計算する。
間引き処理部６の間引き部３４は、１画素当りの平均値を計算すると、その平均値を間引き画像の画像データＢ，Ｇとして画像処理部７及び調停回路８に出力する。
このように、Ｂ成分とＧ成分で異なるタップ領域、重み係数、加算及び平均処理を実施することで、間引き画像の水平空間配置が等間隔となる。
入力される全ての画素データを使用し、間引き画像の水平方向の空間配置を等間隔にすることで、間引きによる画質劣化を最小限に抑えることが可能となる。
以上で明らかなように、この実施の形態２によれば、間引き処理部６の設定回路３１が指定された間引き率に応じて各色成分のタップ領域と重み係数を設定する際、輝度信号の寄与する割合が最も大きいＧ成分を判別し、そのＧ成分における複数のタップ領域が相互に重ならないように、そのＧ成分のタップ領域を設定するように構成したので、全てのＧ成分の画素データが使用され、かつ、参照画素が重複することがないように間引き処理が実施されるようになり、その結果、画像がぼやけてシャープさを失うことを最小限に抑制することができる効果を奏する。
これにより、人間の目の視覚特性を考慮した優れた動画像をユーザに提供することが可能となる。また、システムに搭載する撮像素子２の画素数や、ラインメモリ２１，２２の水平方向の記録容量が変更になっても、システム構成に合わせた柔軟な間引き処理が可能になる。
実施の形態３．
図１１はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
全画素用データバス１３はカメラ信号処理部５と調停回路８間を接続し、カメラ信号処理部５から出力される画像データを調停回路８に転送する。
次に動作について説明する。
ただし、動画表示処理の動作は上記実施の形態１と同様であるため説明を省略し、静止画記録処理の動作についてのみ説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
全画素を使用する静止画記録処理であるため、カメラ信号処理部５により前処理された画像データは、全画素用データバス１３経由で調停回路８に送出され、さらに調停回路８により画像記録部１０に逐次転送されて記録される。
並行して、間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けると、間引き処理を実施して、水平７６８画素以下の画像データを調停回路８に出力する。
間引き処理部６から出力された画像データは、調停回路８により画像記録部１０に逐次転送されて記録される。
ただし、このとき画像処理部７は処理を停止している状態である。
これにより、画像記録部１０には、最終的に１フレーム分の全画素データと水平画素数が例えば４分の１に間引きされた画像データが記録されることになる。
これらの画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の間引きされた画像データを画像記録部１０に記録したのち、１フレーム分の間引きされた画像データを画像処理部７に転送する。
なお、この画像データは水平画素数が７６８画素以下に間引きされており、画像処理部７が水平方向を一度に処理することが可能である。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、その画像データを表示処理部９に転送する。
その後、調停回路８は、画像記録部１０に記録されている全画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
このように全画素を使用した最終的な記録画像データを処理する前に、あらかじめ間引き画像データを画像記録部１０に記録して表示することにより、ユーザはいち早く外部記録装置１２に記録される画像を確認することが可能となる。
なお、この実施の形態３では、水平方向の間引き処理について詳細に言及しているが、垂直方向についても同様の間引き処理を実施することにより、画像処理部７において処理するライン数が削減されるため、表示までの時間をさらに短縮することが可能になる。
また、間引き画像データを表示処理部９だけでなく、画像記録部１０にも転送を行うことで縮小画像、いわゆるサムネイル画像の記録を並行して行うことができ、画像処理装置としての処理時間をさらに短縮することが可能となる。
また、この実施の形態３での間引き処理方法は、上記実施の形態１又は上記実施の形態２のいずれの処理方法でもよく、間引き率についても表示サイズやサムネイル画像サイズに合わせて変更することで、様々な画像処理装置に柔軟に対応することができる。
実施の形態４．
図１２はこの発明の実施の形態４による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
第２の間引き処理部１４は画像記録部１０に記録された画像データに対して、指定された間引き率で間引き処理を実施する。
図１３はこの発明の実施の形態４による画像処理装置の第２の間引き処理部を示す構成図であり、図において、第２の設定回路４１は間引き率を指定する第２の制御信号を受けると、その制御信号が示す間引き率に応じて重み付け処理に係る各色成分のタップ領域（処理区分）、重み係数などを設定する処理を実施する。ただし、第２の設定回路４１は指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさのタップ領域と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさのタップ領域と重み付け係数を設定する。なお、第２の設定回路４１は第２の設定手段を構成している。
第２の重み付け部４２は第２の設定回路４１により設定されたタップ領域毎に、画像記録部１０に記録された画像データに第２の設定回路４１により設定された重み係数を乗算する処理を実施する。なお、第２の重み付け部４２は第２の重み付け手段を構成している。
第２の加算部４３は第２の設定回路４１により設定されたタップ領域毎に、第２の重み付け部４２により重み係数が乗算された画像データの総和を計算する処理を実施する。なお、第２の加算部４３は第２の総和計算手段を構成している。
第２の間引き部４４は第２の加算部４３の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像データとして出力する処理を実施する。なお、第２の間引き部４４は第２の間引き手段を構成している。
次に動作について説明する。
ただし、動画表示処理の動作は上記実施の形態１と同様であるため説明を省略し、静止画記録処理の動作についてのみ説明する。静止画記録処理は、撮像素子２から全画素、即ち、水平３０００画素×垂直２３００ラインを読み出し、ユーザが高品質の静止画像を得るための動作である。
撮像素子２は、図示しない制御用マイコン等から静止画記録処理の実行指令を受けると全画素モードになり、レンズ系１により結像された被写体の光学像を電気信号に変換して、その電気信号である画像信号（水平３０００画素×垂直２３００ラインの画像信号）をアナログ処理部３に出力する。
アナログ処理部３は、撮像素子２から画像信号を受けると、その画像信号を増幅するなどの処理を実施する。
Ａ／Ｄ変換部４は、アナログ処理部３からアナログの画像信号を受けると、その画像信号をデジタル信号に変換し、デジタルの画像データをカメラ信号処理部５に出力する。
カメラ信号処理部５は、Ａ／Ｄ変換部４からデジタルの画像データを受けると、その画像データに対する前処理を実施する。
例えば、領域クリップ処理、欠陥画素補正、デジタルクランプ、オートフォーカス処理などを実施する。
間引き処理部６は、カメラ信号処理部５から前処理後の画像データを受けても、全画素を使用する静止画記録の処理であるため、その画像データに対する間引き処理を実施せずに、その画像データを画像処理部７及び調停回路８に出力する。ただし、全画素を使用する静止画記録の処理であるため、画像処理部７は処理を停止しており、その画像データに対する画像処理を実施しない。
調停回路８は、間引き処理部６から画像データを受けながら、その画像データを画像記録部１０に逐次転送して、その画像データを画像記録部１０に記録する。
これにより、画像記録部１０には、最終的に１フレーム分の画像データが記録されることになる。
この画像データは、１画素当り、ＲＧＢのいずれかの色成分しか持っていないため、不足する色成分を生成するための色補間処理と、さらに画質を高めるためのフィルタ処理などを施す必要がある。
このため、調停回路８は、１フレーム分の画像データを画像記録部１０に記録したのち、その画像データを第２の間引き処理部１４に転送する。
第２の間引き処理部１４は、調停回路８から画像データを受けると、その画像データに対して指定された間引き率で間引き処理を実施する。
なお、第２の間引き処理部１４を構成している第２の設定回路４１、第２の重み付け部４２、第２の加算部４３及び第２の間引き部４４は、間引き処理部６を構成している設定回路３１、重み付け部３２、加算部３３及び間引き部３４と同様であるため、詳細な説明を省略する。
第２の間引き処理部１４により間引き処理された画像データは、水平７６８画素以下の画像データになっているため、画像処理部７が水平方向を一度に処理することが可能となる。
調停回路８は、第２の間引き処理部１４により間引き処理された画像データを画像処理部７に転送する。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けながら、その画像データを表示処理部９に転送する。
その後、調停回路８は、画像記録部１０に記録されている全画像データを画像処理部７に転送する。
ただし、画像処理部７のラインメモリ２１，２２は、上述したように、７６８画素分の記録容量しか備えておらず、水平３０００画素を一度に処理することができないので、調停回路８は、画像記録部１０に記録されている画像データを垂直方向に４分割して読み出して、水平７５０画素×垂直２３００ライン単位で、画像データを画像処理部７に転送する。
画像処理部７の色補間処理部２３は、調停回路８により転送された画像データがラインメモリ２１に一時的に記録されると、そのラインメモリ２１に記録されている画像データから、各画素で不足している色成分を補間する処理を実施する。
色補間処理部２３は、補間処理を終了すると、補間処理後の画像データをラインメモリ２２に記録する。
画像処理部７のフィルタ処理部２４は、補間処理後の画像データがラインメモリ２２に記録されると、ＨＰＦやＬＰＦによってエッジ補正処理を実施することにより、画像データの画質を高める処理を実施する。
なお、調停回路８による画像データの転送処理と、画像処理部７の色補間処理部２３及びフィルタ処理部２４による画像処理との一連の処理が、分割された画像データに対して合計４回実施されることにより、全画素の画像データが全て処理されることになる。
調停回路８は、画像処理部７のフィルタ処理部２４から画像処理後の画像データを受けると、再度、その画像データを画像記録部１０に記録するとともに、例えば、その画像データに対する圧縮処理等を実施してから、その画像データを外部記録装置１２に転送して、その画像データを外部記録装置１２に記録する。
これにより、ユーザは最終的な画像データを入手することが可能となる。
このように、画像記録部１０に記録されている全画像データを元に、第２の間引き処理部１４が間引き画像を生成することにより、画像記録部１０にあらかじめ間引き画像データを記録する必要がなくなり、画像記録部１０の記録容量を削減することができる効果を奏する。
また、間引き画像データを表示処理部９だけでなく、画像記録部１０にも転送を行うことで縮小画像、いわゆるサムネイル画像の記録を並行して行うことができ、画像処理装置としての処理時間をさらに短縮することが可能となる。
また、この実施の形態４での間引き処理方法は、上記実施の形態１又は上記実施の形態２のいずれの処理方法でもよく、間引き率についても表示サイズやサムネイル画像サイズに合わせて変更することで、様々な画像処理装置に柔軟に対応することができる。
この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置の画像処理部を示す構成図である。 この発明の実施の形態１による画像処理装置の間引き処理部を示す構成図である。 間引き処理部が処理するＲＧＢ色フィルタ配列を示す概念図である。 間引き処理部が４分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 間引き処理部が２分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 間引き処理部が３分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 間引き処理部が５分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 間引き処理部が４分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 間引き処理部が２分の１間引き処理で実施する重み付け部、加算部、間引き部の処理内容を示す説明図である。 この発明の実施の形態３による画像処理装置を示す構成図である。 この発明の実施の形態４による画像処理装置を示す構成図である。 この発明の実施の形態４による画像処理装置の間引き処理部を示す構成図である。
符号の説明
１ レンズ系、２ 撮像素子（撮像手段）、３ アナログ処理部、４ Ａ／Ｄ変換部、５ カメラ信号処理部、６ 間引き処理部、７ 画像処理部、８ 調停回路、９ 表示処理部（表示手段）、１０ 画像記録部（画像記録手段）、１１ 動画処理部（動画処理手段）、１２ 外部記録装置、１３ 全画素用データバス、１４ 第２の間引き処理部、２１ ラインメモリ（一時記録手段）、２２ ラインメモリ（一時記録手段）、２３ 色補間処理部（画像処理手段）、２４ フィルタ処理部（画像処理手段）、３１ 設定回路（設定手段）、３２ 重み付け部（重み付け手段）、３３ 加算部（総和計算手段）、３４ 間引き部（間引き手段）、４１ 第２の設定回路（第２の設定手段）、４２ 第２の重み付け部（第２の重み付け手段）、４３ 第２の加算部（第２の総和計算手段）、４４ 第２の間引き部（第２の間引き手段）。

Claims (9)

  1. 複数色の色フィルタアレイから構成され、その色フィルタアレイに入射された被写体の光学像を電気信号に変換して、その電気信号である画像信号を出力する撮像手段と、指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する設定手段と、上記設定手段により設定された処理区分毎に、上記撮像手段から出力された画像信号に上記設定手段により設定された重み係数を乗算する重み付け手段と、上記設定手段により設定された処理区分毎に、上記重み付け手段により重み係数が乗算された画像信号の総和を計算する総和計算手段と、上記総和計算手段の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する間引き手段とを備えた画像処理装置。
  2. 設定手段は、指定された間引き率が偶数分の１の間引き率であれば、色成分毎に異なる大きさの処理区分と重み付け係数を設定し、指定された間引き率が奇数分の１の間引き率であれば、異なる色成分でも同じ大きさの処理区分と重み付け係数を設定することを特徴とする請求項１記載の画像処理装置。
  3. 設定手段は、各色成分の処理区分と重み係数を設定する際、輝度成分が最大の色成分を判別し、その色成分における複数の処理区分が相互に重ならないように、その色成分の処理区分を設定することを特徴とする請求項１または請求項２記載の画像処理装置。
  4. 画像信号を一時的に記録する一時記録手段と、上記一時記録手段により一時的に記録された画像信号に対する画像処理を実施する画像処理手段と、上記画像処理手段による画像処理後の画像信号にしたがって画像を表示する表示手段とを設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
  5. 一時記録手段における１ライン当りの記録画素数が、撮像手段の水平画素数より少ない画素数で構成されていることを特徴とする請求項４記載の画像処理装置。
  6. 撮像手段から出力された画像信号を記録する画像記録手段を設け、画像処理手段が静止画記録処理を実施する場合、一時記録手段が上記画像記録手段から出力された画像信号を一時的に記録し、上記画像処理手段が実時間処理を実施する場合、上記一時記録手段が間引き手段から出力された画像信号を一時的に記録することを特徴とする請求項４または請求項５記載の画像処理装置。
  7. 画像記録手段は、撮像手段から出力された画像信号のほかに、間引き手段から出力された画像信号を記録することを特徴とする請求項６記載の画像処理装置。
  8. 指定された間引き率に応じて重み付け処理に係る各色成分の処理区分と重み係数を設定する第２の設定手段と、上記第２の設定手段により設定された処理区分毎に、画像記録手段から出力された画像信号に上記第２の設定手段により設定された重み係数を乗算する第２の重み付け手段と、上記第２の設定手段により設定された処理区分毎に、上記第２の重み付け手段により重み係数が乗算された画像信号の総和を計算する第２の総和計算手段と、上記第２の総和計算手段の計算結果から１画素当りの平均値を計算し、その平均値を間引き画像の画像信号として出力する第２の間引き手段とを設けたことを特徴とする請求項６記載の画像処理装置。
  9. 画像信号から動画を生成する動画処理手段を設けたことを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像処理装置。
JP2005080304A 2005-03-18 2005-03-18 画像処理装置 Withdrawn JP2006262382A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005080304A JP2006262382A (ja) 2005-03-18 2005-03-18 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005080304A JP2006262382A (ja) 2005-03-18 2005-03-18 画像処理装置

Publications (1)

Publication Number Publication Date
JP2006262382A true JP2006262382A (ja) 2006-09-28

Family

ID=37101076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005080304A Withdrawn JP2006262382A (ja) 2005-03-18 2005-03-18 画像処理装置

Country Status (1)

Country Link
JP (1) JP2006262382A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075243A1 (ja) * 2007-12-12 2009-06-18 Acutelogic Corporation 固体撮像素子及びそれを用いた撮像装置
JP2014074777A (ja) * 2012-10-03 2014-04-24 Fujitsu Semiconductor Ltd 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
CN111247554A (zh) * 2017-11-06 2020-06-05 Eizo株式会社 图像处理装置、图像处理方法以及图像处理程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075243A1 (ja) * 2007-12-12 2009-06-18 Acutelogic Corporation 固体撮像素子及びそれを用いた撮像装置
KR101011833B1 (ko) 2007-12-12 2011-01-31 어큐트로직 가부시키가이샤 고체 촬상 소자 및 그것을 이용한 촬상 장치
US7973831B2 (en) 2007-12-12 2011-07-05 Acutelogic Corporation Solid-state image sensor and imaging apparatus using the same
TWI386049B (zh) * 2007-12-12 2013-02-11 Acutelogic Corp A solid-state imaging device, and a device using the solid-state imaging device
JP2014074777A (ja) * 2012-10-03 2014-04-24 Fujitsu Semiconductor Ltd 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
CN111247554A (zh) * 2017-11-06 2020-06-05 Eizo株式会社 图像处理装置、图像处理方法以及图像处理程序
CN111247554B (zh) * 2017-11-06 2023-05-23 Eizo株式会社 图像处理装置、图像处理方法以及记录介质

Similar Documents

Publication Publication Date Title
JP4503878B2 (ja) 撮像装置及び撮像方法
JP5719986B2 (ja) 画像処理装置および画像処理方法
JP4658401B2 (ja) 撮像装置
EP2763417B1 (en) Device, method and program for image processing, recording medium, and imaging device
US20070206207A1 (en) Imaging apparatus
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2012164896A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP4190805B2 (ja) 撮像装置
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
US20080107358A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program
JP2006262382A (ja) 画像処理装置
JP4133283B2 (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
JP4246244B2 (ja) 撮像装置
WO2011065012A1 (ja) データ処理装置
JP3767367B2 (ja) 撮像装置
JP3967500B2 (ja) 固体撮像装置および信号読出し方法
JP4412446B2 (ja) 解像度変換方法および解像度変換装置
JP4339671B2 (ja) 撮像装置
JP2002359856A (ja) データ変換回路およびデジタル・カメラ
JP4133179B2 (ja) 画像信号処理装置
JP2007243819A (ja) 画像処理装置
JPWO2013100097A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2012142676A (ja) 撮像装置及び画像生成方法
JP5572992B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4478934B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080723

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091215