JP2005012692A - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP2005012692A JP2005012692A JP2003176994A JP2003176994A JP2005012692A JP 2005012692 A JP2005012692 A JP 2005012692A JP 2003176994 A JP2003176994 A JP 2003176994A JP 2003176994 A JP2003176994 A JP 2003176994A JP 2005012692 A JP2005012692 A JP 2005012692A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- output
- ccd
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000007547 defect Effects 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000001444 catalytic combustion detection Methods 0.000 description 68
- 238000000034 method Methods 0.000 description 28
- 230000002950 deficient Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】撮像エリアの分割領域間のバランス補正を、ＣＣＤからのＡＤ変換されたデジタルデータの状態でデジタル信号処理する事により物理的回路サイズを非常に小さくことを課題とする。
【解決手段】撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段（１１，１２）と、各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段（４１，４２）と、各分割領域の画像信号を合成して１枚の画像データを生成する合成手段（５１）と、合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段（６１）とを有することを特徴とする画像信号処理装置が提供される。
【選択図】 図１
【解決手段】撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段（１１，１２）と、各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段（４１，４２）と、各分割領域の画像信号を合成して１枚の画像データを生成する合成手段（５１）と、合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段（６１）とを有することを特徴とする画像信号処理装置が提供される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理技術に関し、特に撮像エリアが複数の領域に分割された画像信号を処理する技術に関する。
【０００２】
【従来の技術】
下記の特許文献１においては、２チャンネル出力されるＣＣＤの各々の出力の積分値どうしを比較し、積分値が等しくなるよう、各々の出力ゲインを補正するといった固体撮像装置が紹介されている。
【０００３】
【特許文献１】
特開平９−４６５９９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の方法は２チャンネル間のレベル補正をアナログ回路上で実施している。このため物理的な回路サイズが大きくなりがちであった。
【０００５】
本発明は、この２チャンネル間のレベル補正、２チャンネルの画面構成合成、ＣＣＤ欠陥部補正、及び／又は、重心ずれ補正の処理を、ＣＣＤからのＡＤ変換されたデジタルデータの状態でデジタル信号処理する事により物理的回路サイズを非常に小さく構成する為の技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、前記各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段とを有することを特徴とする。
また、本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別にカラーの画像信号を生成し、各分割領域毎に画像信号を垂直同色加算して出力する撮像手段と、前記撮像手段により出力された画像信号をアナログ値からデジタル値へ変換するＡＤ変換手段と、前記デジタル値の画像信号において同一垂直ライン上の前後の画素と重みづけ加算することにより、前記垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする。
【０００７】
本発明によれば、撮像手段により出力された各分割領域の画像信号をデジタル値に変換した後に、各分割領域の画像信号のバランスを補正する処理、各分割領域の画像信号を合成する処理、及び／又は画像信号の欠陥を補正する処理をデジタル処理することにより、物理的回路サイズを非常に小さくすることができる。
【０００８】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像信号処理装置のブロック図である。
図１において、１１及び１２はＣＣＤ（撮像手段）であり、光電変換により画像信号を生成して出力する。近年、非常に多画素なＣＣＤが実現されている。しかし、一方で、そのＣＣＤ出力画像を動画像として利用する場合などは非常に多画素であるがゆえに、高速でＣＣＤの出力信号の全画素を読み出す必要があるが、従来のデバイス技術の延長では実現が困難であり、水平ＣＣＤを二分割にし、一枚の画面を二つの出力端子から読み出すＣＣＤが公開されている。図１の１１、１２に示すＣＣＤはこの二分割出力のタイプであり、それぞれ１１が画面左側、１２が画面右側の画像エリア（撮像エリア）の出力を分担するＣＣＤである。２１、２２は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、２１が画面左側、２２が画面右側の画像エリアの出力を分担するアンプである。３１、３２は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、３１が画面左側、３２が画面右側の画像エリアの出力を分担するＡＤ変換器である。４１、４２は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。１１、１２のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。５１はＣＣＤ１１、１２からチャンネル間バランス補正回路４１、４２まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換して合成するためのミラー反転回路（合成回路）である。６１は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。以上４１、４２、５１、６１のブロックが、本実施形態における画像信号処理回路を示すブロック１００である。
この一連の画像信号処理を施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【０００９】
それでは、ここから本実施形態おける画像信号処理回路を示すブロック１００の動作を詳細に述べていく。
【００１０】
ここで、図２は、図１のＡＤ変換器３１、３２でデジタル変換された左右それぞれのデジタル画像データが未加工の段階での出力画面モニターの視覚状態である。つまり、画面左右対象なフラットな色の物体が有った場合、左右それぞれのＣＣＤからの出力レベルに差があるため、補正を実施しない状態では、その色レベル差が明瞭に画面上に現れる。画面左側のデジタル画像データ１０１は左側のＣＣＤ１１の出力信号に対応する画像データであり、画面右側のデジタル画像データ１０２は左側のＣＣＤ１２の出力信号に対応する画像データである。画像データ１０１及び１０２は、レベルが異なっている。この視覚状態を解消するため、図１のチャンネル間バランス補正回路４１、４２は図６のように構成する。すなわち４０１、４０２の入力端子へ接続された画面左右それぞれの画像データは４３０の比較回路へ入力され、それぞれのデータを比較する事により、差を吸収させる為の左右それぞれ別の補正テーブル４１１、４１２が４３０の比較回路により選択される。４０１、４０２の入力値は左右それぞれ別の４１１、４１２の補正テーブルにより、差を吸収させる為の変換を施された後、４２１、４２２の出力端子へ出力される。
【００１１】
図６のチャンネル間バランス補正回路４１，４２をこのように、画面左右それぞれの画像データ列が時間的にシリアルに並んだ状態で施す事により、この回路において一度に扱う画像データの量が少なくなるため、回路量が小さくなるというメリットがある。
【００１２】
図１の４１、４２のチャンネル間バランス補正回路にて、出力データの左右マッチングを補正されたデータは、次に、図１のミラー反転回路５１で一枚の画像信号として処理可能な様に配列変換が行われる。ここで図３に本実施形態のデータ配列変換を模式的に示す。すなわち、図１の４１のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ１、４２のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ１、４１のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ２、４２のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ２…、の時間順に入力されてくるデータ、すなわち図３の左側のデータ順を、図３の右側に示すように、画面上の一つの行に対し、画面上の左側の画素から順番に読出すように配列変換する。つまり、入力順がＬ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、‥‥‥であるデータ列を、出力順はＬ１、Ｌ２、Ｌ３、‥‥‥、Ｒ３、Ｒ２、Ｒ１と読み出すように配列変換する。
画面左側の画像データ１０１はデータＬ１、Ｌ２、Ｌ３等を含み、画面右側の画像データ１０２はデータＲ１、Ｒ２、Ｒ３等を含む。図３を見ると明確なように、画面の左右両端から順番に書込まれるデータ列の、特に画面右側のデータ列については、入力順番に対し出力順番が鏡面反射させた関係となるため、「ミラー反転回路」と呼んでいる。
【００１３】
具体的な回路構成を図７に示す。５０１のＬ側入力端子、５０２のＲ側入力端子に入力される画像データは５１０のデータメモリに一旦、書込まれ、５５０の出力端子から読出されるが、この時の読出しと書込み順番を５３０の書込みアドレス制御回路と５４０の読出しアドレス制御回路によって制御しながら行う。すなわち、この書込みアドレス制御回路５３０及び読出しアドレス制御回路５４０は５２０の出力端子から出力される出力画像の水平同期信号によって初期化させる事により、図３に示す順番のアドレスを制御出力できる。
【００１４】
図１のミラー反転回路５１で一枚の画像信号として処理可能な様に配列変換を行われたデータは、次に、図１の欠陥部補正回路６１で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正が行われる。ここで、図４に本実施形態の欠陥部補正方法を模式的に示す。すなわち、自然画においては、存在しているある画素が、それに隣接する画素に極めて類似しているという性質を利用し、画面左側の画像データ１０１及び画面右側の画像データ１０２において、まず、検出時には隣接する画素との差分を比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。そして、欠陥画素は両隣の画素を使って補間を行う。
【００１５】
具体的な回路構成を図８に示す。６０１の入力端子に順次送られる画像データは、６１１、６１２の遅延回路で各遅延要素が抽出され、６５０の欠陥部判定回路にてすぐ隣の画素データとの差分が演算され、その差分を予め設定された閾値と比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。６５０の欠陥部判定回路は、欠陥部の場合は６４０のスイッチを上側へ制御し、欠陥部で無い場合は６４０のスイッチを下側へ制御する。すなわち、正常なデータであれば、６１１、６１２の遅延回路で遅延したデータをスルーで６６０の出力端子へ出力する。欠陥データの場合は、６１１、６１２の遅延回路で抽出された各遅延要素に対し、６２０の乗算器群にて重み付け演算が行われた値を６３０の加算器にて加算する事で、補間値を導き出し、この補間値を６６０の出力端子へ出力する。
【００１６】
図１の欠陥部補正回路６１をこのように、５１のミラー反転回路で一枚の画像信号として処理可能な様に配列変換を行った後に実施する事により、図４に示す画面中央部、かつ、二つの分割画面境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になるというメリットがある。
【００１７】
以上図１の４１、４２、５１、６１の画像信号前処理回路ブロックの動作を説明した。
この一連の画像信号処理を順番で施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１８】
（第２の実施形態）
次に、本発明に係る第２の実施形態の画像信号処理装置を説明する。
図１０は本発明の第２の実施形態に係る画像信号処理装置のブロック図である。図１０において１１、１２はＣＣＤであり、カラーの画像信号を生成して出力する。図１０の１１、１２に示すＣＣＤは二分割出力のタイプであり、それぞれ１１が画面左側、１２が画面右側の画像エリアの出力を分担するＣＣＤである。尚、この実施形態のＣＣＤは、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行っているＣＣＤである。２１、２２は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、２１が画面左側、２２が画面右側の画像エリアの出力を分担するアンプである。３１、３２は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、３１が画面左側、３２が画面右側の画像エリアの出力を分担するＡＤ変換器である。４１、４２は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。１１、１２のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。５１はＣＣＤ１１、１２からチャンネル間バランス補正回路４１、４２まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換するためのミラー反転回路である。６１は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。７１は重心ずれ補正回路である。つまり、この回路は、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう為、この現象を補正する回路である。具体的には、同一垂直ライン上の前後の画素と重みづけ加算することにより、画素位置の重心ずれを補正する。以上４１、４２、５１、６１、７１のブロックが、本実施形態における画像信号処理回路を示すブロック１００である。この一連の画像信号処理を施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１９】
第２の実施形態のブロック構成は第１の実施形態のブロック構成と非常に類似しており、第２の実施形態のブロック構成と第１の実施形態のブロック構成の違いは、図１０の重心ずれ補正回路７１の有無である。原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するためには、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生するため図１０の重心ずれ補正回路７１が必要で、第２の実施形態では重心ずれ補正回路が必須である。
【００２０】
つまり、第２の実施形態の構成を示す図１０において、１１、１２、２１、２２、３１、３２、４１、４２、５１、６１のブロックの動作は第１の実施形態と同じであるため、説明を省略する。
【００２１】
図１０の欠陥部補正回路６１で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正を行われたデータは、次に、図１０の重心ずれ補正回路７１で、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう現象を補正する。
【００２２】
ここで、図５に本実施形態の重心ずれ補正方法を模式的に示す。図５の１１１に示す原色ベイヤー配列のＣＣＤデータは動画読出しモードにおいては、垂直同色加算読出し方式で画素数を１／２に間引き読出しする事により、動画処理の速度的な問題を解消させる。垂直同色加算とは垂直方向に隣接する二つの同色撮像素子の電荷を同時に一つの垂直転送ＣＣＤ上に転送する事により加算する方法であり、ＣＣＤの電極構成の工夫によって実現させる事が可能である。すなわち、図５の１２１、１２２、１２３、１２４の加算器は、この垂直方向に隣接する二つの同色画素を垂直転送ＣＣＤ上で加算する事を意味するものである。「Ｒ（赤）」「Ｇ（緑）」「Ｒ」「Ｇ」フィルターが施されている行のデータは２行隣の「Ｒ」「Ｇ」「Ｒ」「Ｇ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器１２１の加算後の「Ｒ」「Ｇ」データ列がＣＣＤの出力端に１３１として出てくる。同様に、「Ｇ」「Ｂ（青）」「Ｇ」「Ｂ」フィルターが施されている行のデータは２行隣の「Ｇ」「Ｂ」「Ｇ」「Ｂ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器１２２の加算後の「Ｇ」「Ｂ」データ列がＣＣＤの出力端に１３２として出てくる。垂直同色加算は、このＣＣＤフィルター構成の場合、２行隣の画素同士を加算する為、隣接するデータ群は４行隣の画素となり、１３３、１３４がそれぞれ、隣接するデータ群の加算後の「Ｒ」「Ｇ」データ列、データ群の加算後の「Ｇ」「Ｂ」データ列となる。つまり、図１０の重心ずれ補正回路７１へは図５の１３１、１３２、１３３、１３４というデータ列が入力されてくるわけである。ここで、１３１、１３２、１３３、１３４という垂直同色加算後のデータ列の物理的配置を考えてみる。もともと１１１のように物理的配置されていた画素同士を加算しているため、１１１のそれぞれの画素を加算した場合に、その重心位置はもともとの１１１の画素列の同色加算要素の中心部付近に来る為、図５の１３１、１３２、１３３、１３４に模式的に示しているように、もともとの１１１の画素列４行に対し、１３１、１３２の行グループ、１３３、１３４の行グループといったように、４行飛びに２行連続の行グループが発生し、１行おき等間隔な行グループが発生しない。すなわちこれが重心ずれである。この重心ずれが画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう原因である。この重心ずれに対し、１４１、１４２、１４３、１４４の乗算器と１５１、１５２の加算器により垂直補間フィルターをかける事で、１行おき等間隔な行グループ、すなわち図５の１６１、１６２を発生させる。
【００２３】
具体的な回路構成を図９に示す。７０１の入力端子に順次送られる画像データは、７１０の１Ｈ（水平走査期間）遅延回路群にて、隣接する水平ラインの要素が抽出される。そして、この隣接水平ライン要素同士は７２０の乗算器群によって、１行おき等間隔な行グループとなるような重み付け乗算がなされ、次に７３０、７３１の加算器において、「Ｒ」「Ｇ」データ同士、「Ｇ」「Ｂ」データ同士のように同色同士の要素を加算した結果を、７４１の「Ｒ」「Ｇ」データ列出力端子、７４２の「Ｇ」「Ｂ」データ列出力端子へ出力する事により、重心ずれ補正を完了する。
【００２４】
このように重心ずれ補正の処理は、各画素データへ係数乗算、重み付け加算をする事により、もともとの入力データを変換させ、新たな演算値を出力してしまう。従って、もし、この重心ずれ補正プロセスを図１０の欠陥部補間回路６１のプロセスの前に実施した場合、欠陥部補正回路６１へは、加工済みデータが入力され、欠陥生データが入力されない事になり、著しく欠陥部の検出が困難になるという欠点が発生してしまう。図１０の構成であれば、この欠点を発生させずに欠陥データ補間プロセスを実行する事が可能である。
【００２５】
以上説明したように、画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２６】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、第四に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２７】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、次に、相関補正処理を施された複数信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成する、という順番により信号処理する手段を有する事を特徴とする事により、相関補正処理回路の物理的回路サイズを非常に小さくした。
【００２８】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、次に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、複数撮像エリア境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になった。
【００２９】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、次に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、正確な欠陥部検出が可能になった。
【００３０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、撮像手段により出力された各分割領域の画像信号をデジタル値に変換した後に、各分割領域の画像信号のバランスを補正する処理、各分割領域の画像信号を合成する処理、及び／又は画像信号の欠陥を補正する処理をデジタル処理することにより、物理的回路サイズを非常に小さくすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像信号デジタル処理装置のブロック図である。
【図２】未加工段階での出力画面モニターの視覚状態を示す図である。
【図３】本実施形態のミラー反転回路のデータ配列変換方法の模式図である。
【図４】本実施形態の欠陥部補正方法の模式図である。
【図５】本実施形態の重心ずれ補正方法の模式図である。
【図６】本実施形態のチャンネル間バランス補正回路のブロック図である。
【図７】本実施形態のミラー反転回路のブロック図である。
【図８】本実施形態の欠陥部補正回路のブロック図である。
【図９】本実施形態の重心ずれ補正回路のブロック図である。
【図１０】本発明の第２の実施形態に係る画像信号デジタル処理装置のブロック図である。
【符号の説明】
１１、１２ ＣＣＤ
２１、２２ アンプ
３１、３２ ＡＤ変換器
４１、４２ チャンネル間バランス補正回路
５１ ミラー反転回路
６１ 欠陥部補正回路
７１ 重心ずれ補正回路
８１ 画像処理回路
１１１ 原色ベイヤー配列のＣＣＤデータ
１２１、１２２、１２３、１２４ 垂直同色画素の加算器
１３１、１３２、１３３、１３４ 垂直同色加算後のデータ列
１４１、１４２、１４３、１４４ 乗算器
１５１、１５２ 加算器
１６１、１６２ 重心ずれ補正後のデータ
４０１ 画面Ｌ側データ入力端子
４０２ 画面Ｒ側データ入力端子
４３０ 比較回路
４１１ 画面Ｌ側補正テーブル
４１２ 画面Ｒ側補正テーブル
４２１ 画面Ｌ側出力端子
４２２ 画面Ｒ側出力端子
５０１ 画面Ｌ側データ入力端子
５０２ 画面Ｒ側データ入力端子
５１０ データメモリ
５２０ 水平同期信号発信回路
５３０ 書込みアドレス制御回路
５４０ 読出しアドレス制御回路
５５０ 出力端子
６０１ 入力端子
６１１、６１２ 遅延回路
６２０ 乗算器群
６３０ 加算器
６４０ スイッチ
６５０ 欠陥部判定回路
６６０ 出力端子
７０１ 入力端子
７１０ １Ｈ遅延回路群
７２０ 乗算器群
７３０、７３１ 加算器
７４１ 「Ｒ」「Ｇ」データ列出力端子
７４２ 「Ｇ」「Ｂ」データ列出力端子
【発明の属する技術分野】
本発明は、画像信号処理技術に関し、特に撮像エリアが複数の領域に分割された画像信号を処理する技術に関する。
【０００２】
【従来の技術】
下記の特許文献１においては、２チャンネル出力されるＣＣＤの各々の出力の積分値どうしを比較し、積分値が等しくなるよう、各々の出力ゲインを補正するといった固体撮像装置が紹介されている。
【０００３】
【特許文献１】
特開平９−４６５９９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の方法は２チャンネル間のレベル補正をアナログ回路上で実施している。このため物理的な回路サイズが大きくなりがちであった。
【０００５】
本発明は、この２チャンネル間のレベル補正、２チャンネルの画面構成合成、ＣＣＤ欠陥部補正、及び／又は、重心ずれ補正の処理を、ＣＣＤからのＡＤ変換されたデジタルデータの状態でデジタル信号処理する事により物理的回路サイズを非常に小さく構成する為の技術を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、前記各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段とを有することを特徴とする。
また、本発明の画像信号処理装置は、撮像エリアが複数エリアに分割され、各分割領域別にカラーの画像信号を生成し、各分割領域毎に画像信号を垂直同色加算して出力する撮像手段と、前記撮像手段により出力された画像信号をアナログ値からデジタル値へ変換するＡＤ変換手段と、前記デジタル値の画像信号において同一垂直ライン上の前後の画素と重みづけ加算することにより、前記垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする。
【０００７】
本発明によれば、撮像手段により出力された各分割領域の画像信号をデジタル値に変換した後に、各分割領域の画像信号のバランスを補正する処理、各分割領域の画像信号を合成する処理、及び／又は画像信号の欠陥を補正する処理をデジタル処理することにより、物理的回路サイズを非常に小さくすることができる。
【０００８】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像信号処理装置のブロック図である。
図１において、１１及び１２はＣＣＤ（撮像手段）であり、光電変換により画像信号を生成して出力する。近年、非常に多画素なＣＣＤが実現されている。しかし、一方で、そのＣＣＤ出力画像を動画像として利用する場合などは非常に多画素であるがゆえに、高速でＣＣＤの出力信号の全画素を読み出す必要があるが、従来のデバイス技術の延長では実現が困難であり、水平ＣＣＤを二分割にし、一枚の画面を二つの出力端子から読み出すＣＣＤが公開されている。図１の１１、１２に示すＣＣＤはこの二分割出力のタイプであり、それぞれ１１が画面左側、１２が画面右側の画像エリア（撮像エリア）の出力を分担するＣＣＤである。２１、２２は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、２１が画面左側、２２が画面右側の画像エリアの出力を分担するアンプである。３１、３２は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、３１が画面左側、３２が画面右側の画像エリアの出力を分担するＡＤ変換器である。４１、４２は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。１１、１２のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。５１はＣＣＤ１１、１２からチャンネル間バランス補正回路４１、４２まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換して合成するためのミラー反転回路（合成回路）である。６１は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。以上４１、４２、５１、６１のブロックが、本実施形態における画像信号処理回路を示すブロック１００である。
この一連の画像信号処理を施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【０００９】
それでは、ここから本実施形態おける画像信号処理回路を示すブロック１００の動作を詳細に述べていく。
【００１０】
ここで、図２は、図１のＡＤ変換器３１、３２でデジタル変換された左右それぞれのデジタル画像データが未加工の段階での出力画面モニターの視覚状態である。つまり、画面左右対象なフラットな色の物体が有った場合、左右それぞれのＣＣＤからの出力レベルに差があるため、補正を実施しない状態では、その色レベル差が明瞭に画面上に現れる。画面左側のデジタル画像データ１０１は左側のＣＣＤ１１の出力信号に対応する画像データであり、画面右側のデジタル画像データ１０２は左側のＣＣＤ１２の出力信号に対応する画像データである。画像データ１０１及び１０２は、レベルが異なっている。この視覚状態を解消するため、図１のチャンネル間バランス補正回路４１、４２は図６のように構成する。すなわち４０１、４０２の入力端子へ接続された画面左右それぞれの画像データは４３０の比較回路へ入力され、それぞれのデータを比較する事により、差を吸収させる為の左右それぞれ別の補正テーブル４１１、４１２が４３０の比較回路により選択される。４０１、４０２の入力値は左右それぞれ別の４１１、４１２の補正テーブルにより、差を吸収させる為の変換を施された後、４２１、４２２の出力端子へ出力される。
【００１１】
図６のチャンネル間バランス補正回路４１，４２をこのように、画面左右それぞれの画像データ列が時間的にシリアルに並んだ状態で施す事により、この回路において一度に扱う画像データの量が少なくなるため、回路量が小さくなるというメリットがある。
【００１２】
図１の４１、４２のチャンネル間バランス補正回路にて、出力データの左右マッチングを補正されたデータは、次に、図１のミラー反転回路５１で一枚の画像信号として処理可能な様に配列変換が行われる。ここで図３に本実施形態のデータ配列変換を模式的に示す。すなわち、図１の４１のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ１、４２のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ１、４１のチャンネル間バランス補正回路Ｌ側からの入力値Ｌ２、４２のチャンネル間バランス補正回路Ｒ側からの入力値Ｒ２…、の時間順に入力されてくるデータ、すなわち図３の左側のデータ順を、図３の右側に示すように、画面上の一つの行に対し、画面上の左側の画素から順番に読出すように配列変換する。つまり、入力順がＬ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、‥‥‥であるデータ列を、出力順はＬ１、Ｌ２、Ｌ３、‥‥‥、Ｒ３、Ｒ２、Ｒ１と読み出すように配列変換する。
画面左側の画像データ１０１はデータＬ１、Ｌ２、Ｌ３等を含み、画面右側の画像データ１０２はデータＲ１、Ｒ２、Ｒ３等を含む。図３を見ると明確なように、画面の左右両端から順番に書込まれるデータ列の、特に画面右側のデータ列については、入力順番に対し出力順番が鏡面反射させた関係となるため、「ミラー反転回路」と呼んでいる。
【００１３】
具体的な回路構成を図７に示す。５０１のＬ側入力端子、５０２のＲ側入力端子に入力される画像データは５１０のデータメモリに一旦、書込まれ、５５０の出力端子から読出されるが、この時の読出しと書込み順番を５３０の書込みアドレス制御回路と５４０の読出しアドレス制御回路によって制御しながら行う。すなわち、この書込みアドレス制御回路５３０及び読出しアドレス制御回路５４０は５２０の出力端子から出力される出力画像の水平同期信号によって初期化させる事により、図３に示す順番のアドレスを制御出力できる。
【００１４】
図１のミラー反転回路５１で一枚の画像信号として処理可能な様に配列変換を行われたデータは、次に、図１の欠陥部補正回路６１で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正が行われる。ここで、図４に本実施形態の欠陥部補正方法を模式的に示す。すなわち、自然画においては、存在しているある画素が、それに隣接する画素に極めて類似しているという性質を利用し、画面左側の画像データ１０１及び画面右側の画像データ１０２において、まず、検出時には隣接する画素との差分を比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。そして、欠陥画素は両隣の画素を使って補間を行う。
【００１５】
具体的な回路構成を図８に示す。６０１の入力端子に順次送られる画像データは、６１１、６１２の遅延回路で各遅延要素が抽出され、６５０の欠陥部判定回路にてすぐ隣の画素データとの差分が演算され、その差分を予め設定された閾値と比較し、差分が閾値以上の場合は、その画素をＣＣＤ欠陥部であると判断する。６５０の欠陥部判定回路は、欠陥部の場合は６４０のスイッチを上側へ制御し、欠陥部で無い場合は６４０のスイッチを下側へ制御する。すなわち、正常なデータであれば、６１１、６１２の遅延回路で遅延したデータをスルーで６６０の出力端子へ出力する。欠陥データの場合は、６１１、６１２の遅延回路で抽出された各遅延要素に対し、６２０の乗算器群にて重み付け演算が行われた値を６３０の加算器にて加算する事で、補間値を導き出し、この補間値を６６０の出力端子へ出力する。
【００１６】
図１の欠陥部補正回路６１をこのように、５１のミラー反転回路で一枚の画像信号として処理可能な様に配列変換を行った後に実施する事により、図４に示す画面中央部、かつ、二つの分割画面境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になるというメリットがある。
【００１７】
以上図１の４１、４２、５１、６１の画像信号前処理回路ブロックの動作を説明した。
この一連の画像信号処理を順番で施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１８】
（第２の実施形態）
次に、本発明に係る第２の実施形態の画像信号処理装置を説明する。
図１０は本発明の第２の実施形態に係る画像信号処理装置のブロック図である。図１０において１１、１２はＣＣＤであり、カラーの画像信号を生成して出力する。図１０の１１、１２に示すＣＣＤは二分割出力のタイプであり、それぞれ１１が画面左側、１２が画面右側の画像エリアの出力を分担するＣＣＤである。尚、この実施形態のＣＣＤは、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行っているＣＣＤである。２１、２２は画面左右それぞれのＣＣＤ出力を増幅するためのアンプで、２１が画面左側、２２が画面右側の画像エリアの出力を分担するアンプである。３１、３２は画面左右それぞれのＣＣＤ出力をアナログ値からデジタル値へ変換するためのＡＤ変換器で、３１が画面左側、３２が画面右側の画像エリアの出力を分担するＡＤ変換器である。４１、４２は画面左右それぞれのＣＣＤ出力相互の出力バランスを補正するためのチャンネル間バランス補正回路である。１１、１２のような二分割出力タイプのＣＣＤでは読み出し速度的には有利であるが、出力レベルのマッチング性は明らかに不利となるため、この回路で左右画面相互の出力補正を行う。５１はＣＣＤ１１、１２からチャンネル間バランス補正回路４１、４２まで二分割処理されてきた出力信号を、この回路以降、一枚の画像信号として処理可能な様に配列変換するためのミラー反転回路である。６１は個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥を補正するための欠陥部補正回路である。７１は重心ずれ補正回路である。つまり、この回路は、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう為、この現象を補正する回路である。具体的には、同一垂直ライン上の前後の画素と重みづけ加算することにより、画素位置の重心ずれを補正する。以上４１、４２、５１、６１、７１のブロックが、本実施形態における画像信号処理回路を示すブロック１００である。この一連の画像信号処理を施された画像信号は８１の画像処理回路へ転送され、電子ズーム処理など、装置システム側にて必要な画像処理が施され利用される事となる。
【００１９】
第２の実施形態のブロック構成は第１の実施形態のブロック構成と非常に類似しており、第２の実施形態のブロック構成と第１の実施形態のブロック構成の違いは、図１０の重心ずれ補正回路７１の有無である。原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するためには、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生するため図１０の重心ずれ補正回路７１が必要で、第２の実施形態では重心ずれ補正回路が必須である。
【００２０】
つまり、第２の実施形態の構成を示す図１０において、１１、１２、２１、２２、３１、３２、４１、４２、５１、６１のブロックの動作は第１の実施形態と同じであるため、説明を省略する。
【００２１】
図１０の欠陥部補正回路６１で個体ＣＣＤが特有に持つ欠陥箇所からの出力画素の出力欠陥の補正を行われたデータは、次に、図１０の重心ずれ補正回路７１で、原色ベイヤー配列のフィルターで構成されたＣＣＤの出力を動画像として利用するために、動画読み出しモードにおいて、垂直同色加算読出し方式による画素数間引き出力を行った場合、画面垂直方向に重心ずれが発生し、画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう現象を補正する。
【００２２】
ここで、図５に本実施形態の重心ずれ補正方法を模式的に示す。図５の１１１に示す原色ベイヤー配列のＣＣＤデータは動画読出しモードにおいては、垂直同色加算読出し方式で画素数を１／２に間引き読出しする事により、動画処理の速度的な問題を解消させる。垂直同色加算とは垂直方向に隣接する二つの同色撮像素子の電荷を同時に一つの垂直転送ＣＣＤ上に転送する事により加算する方法であり、ＣＣＤの電極構成の工夫によって実現させる事が可能である。すなわち、図５の１２１、１２２、１２３、１２４の加算器は、この垂直方向に隣接する二つの同色画素を垂直転送ＣＣＤ上で加算する事を意味するものである。「Ｒ（赤）」「Ｇ（緑）」「Ｒ」「Ｇ」フィルターが施されている行のデータは２行隣の「Ｒ」「Ｇ」「Ｒ」「Ｇ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器１２１の加算後の「Ｒ」「Ｇ」データ列がＣＣＤの出力端に１３１として出てくる。同様に、「Ｇ」「Ｂ（青）」「Ｇ」「Ｂ」フィルターが施されている行のデータは２行隣の「Ｇ」「Ｂ」「Ｇ」「Ｂ」フィルターが施されている行のデータと垂直転送ＣＣＤ上で加算され、加算器１２２の加算後の「Ｇ」「Ｂ」データ列がＣＣＤの出力端に１３２として出てくる。垂直同色加算は、このＣＣＤフィルター構成の場合、２行隣の画素同士を加算する為、隣接するデータ群は４行隣の画素となり、１３３、１３４がそれぞれ、隣接するデータ群の加算後の「Ｒ」「Ｇ」データ列、データ群の加算後の「Ｇ」「Ｂ」データ列となる。つまり、図１０の重心ずれ補正回路７１へは図５の１３１、１３２、１３３、１３４というデータ列が入力されてくるわけである。ここで、１３１、１３２、１３３、１３４という垂直同色加算後のデータ列の物理的配置を考えてみる。もともと１１１のように物理的配置されていた画素同士を加算しているため、１１１のそれぞれの画素を加算した場合に、その重心位置はもともとの１１１の画素列の同色加算要素の中心部付近に来る為、図５の１３１、１３２、１３３、１３４に模式的に示しているように、もともとの１１１の画素列４行に対し、１３１、１３２の行グループ、１３３、１３４の行グループといったように、４行飛びに２行連続の行グループが発生し、１行おき等間隔な行グループが発生しない。すなわちこれが重心ずれである。この重心ずれが画面上の斜め線が斜めとして現れず、階段状になった線として表現されてしまう原因である。この重心ずれに対し、１４１、１４２、１４３、１４４の乗算器と１５１、１５２の加算器により垂直補間フィルターをかける事で、１行おき等間隔な行グループ、すなわち図５の１６１、１６２を発生させる。
【００２３】
具体的な回路構成を図９に示す。７０１の入力端子に順次送られる画像データは、７１０の１Ｈ（水平走査期間）遅延回路群にて、隣接する水平ラインの要素が抽出される。そして、この隣接水平ライン要素同士は７２０の乗算器群によって、１行おき等間隔な行グループとなるような重み付け乗算がなされ、次に７３０、７３１の加算器において、「Ｒ」「Ｇ」データ同士、「Ｇ」「Ｂ」データ同士のように同色同士の要素を加算した結果を、７４１の「Ｒ」「Ｇ」データ列出力端子、７４２の「Ｇ」「Ｂ」データ列出力端子へ出力する事により、重心ずれ補正を完了する。
【００２４】
このように重心ずれ補正の処理は、各画素データへ係数乗算、重み付け加算をする事により、もともとの入力データを変換させ、新たな演算値を出力してしまう。従って、もし、この重心ずれ補正プロセスを図１０の欠陥部補間回路６１のプロセスの前に実施した場合、欠陥部補正回路６１へは、加工済みデータが入力され、欠陥生データが入力されない事になり、著しく欠陥部の検出が困難になるという欠点が発生してしまう。図１０の構成であれば、この欠点を発生させずに欠陥データ補間プロセスを実行する事が可能である。
【００２５】
以上説明したように、画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２６】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず第一に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、第二に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、第三に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、第四に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、物理的回路サイズを非常に小さくした。
【００２７】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、複数の入力信号の相関関係を比較し、比較結果に応じて相関補正処理をした後、次に、相関補正処理を施された複数信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成する、という順番により信号処理する手段を有する事を特徴とする事により、相関補正処理回路の物理的回路サイズを非常に小さくした。
【００２８】
また、他の画像信号デジタル処理装置は、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、相関補正処理を施された複数の画像信号の読み出し順序を制御して、実鑑賞画面の配列構成にデータを並べかえる事により、画像を複数枚から１枚へ合成した後、次に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間する、という順番により信号処理する手段を有する事を特徴とする事により、複数撮像エリア境界部に隣接する画素の画素欠陥も問題なく補正処理を行う事が可能になった。
【００２９】
また、他の画像信号デジタル処理装置は、「ＲＧＢ原色ＣＣＤからの出力信号を、動画読み出しモードにおいては、垂直同色加算読出し方式による画素数間引き出力を行い」、かつ、「ＣＣＤの撮像エリアが複数エリアに分割され、各分割領域別に信号を出力する」構造を持つＣＣＤからのＡＤ変換されたデジタル出力信号を後段の画像処理回路へ入力するために、前処理するための信号デジタル処理装置であって、まず最初に、配列再構成された画素の同一水平ライン上の前後の画素と比較し、比較結果に応じて、画素信号の補間を同一水平ライン上の前後の画素で行う事によりＣＣＤ画素欠陥を補間した後、次に、ＣＣＤ画素欠陥補間された信号を同一垂直ライン上の前後の画素と重みづけ加算する事で、垂直同色加算読出しで生じた画素位置の物理的重心ずれを補正処理する、という順番により信号処理する手段を有する事を特徴とする事により、正確な欠陥部検出が可能になった。
【００３０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、撮像手段により出力された各分割領域の画像信号をデジタル値に変換した後に、各分割領域の画像信号のバランスを補正する処理、各分割領域の画像信号を合成する処理、及び／又は画像信号の欠陥を補正する処理をデジタル処理することにより、物理的回路サイズを非常に小さくすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像信号デジタル処理装置のブロック図である。
【図２】未加工段階での出力画面モニターの視覚状態を示す図である。
【図３】本実施形態のミラー反転回路のデータ配列変換方法の模式図である。
【図４】本実施形態の欠陥部補正方法の模式図である。
【図５】本実施形態の重心ずれ補正方法の模式図である。
【図６】本実施形態のチャンネル間バランス補正回路のブロック図である。
【図７】本実施形態のミラー反転回路のブロック図である。
【図８】本実施形態の欠陥部補正回路のブロック図である。
【図９】本実施形態の重心ずれ補正回路のブロック図である。
【図１０】本発明の第２の実施形態に係る画像信号デジタル処理装置のブロック図である。
【符号の説明】
１１、１２ ＣＣＤ
２１、２２ アンプ
３１、３２ ＡＤ変換器
４１、４２ チャンネル間バランス補正回路
５１ ミラー反転回路
６１ 欠陥部補正回路
７１ 重心ずれ補正回路
８１ 画像処理回路
１１１ 原色ベイヤー配列のＣＣＤデータ
１２１、１２２、１２３、１２４ 垂直同色画素の加算器
１３１、１３２、１３３、１３４ 垂直同色加算後のデータ列
１４１、１４２、１４３、１４４ 乗算器
１５１、１５２ 加算器
１６１、１６２ 重心ずれ補正後のデータ
４０１ 画面Ｌ側データ入力端子
４０２ 画面Ｒ側データ入力端子
４３０ 比較回路
４１１ 画面Ｌ側補正テーブル
４１２ 画面Ｒ側補正テーブル
４２１ 画面Ｌ側出力端子
４２２ 画面Ｒ側出力端子
５０１ 画面Ｌ側データ入力端子
５０２ 画面Ｒ側データ入力端子
５１０ データメモリ
５２０ 水平同期信号発信回路
５３０ 書込みアドレス制御回路
５４０ 読出しアドレス制御回路
５５０ 出力端子
６０１ 入力端子
６１１、６１２ 遅延回路
６２０ 乗算器群
６３０ 加算器
６４０ スイッチ
６５０ 欠陥部判定回路
６６０ 出力端子
７０１ 入力端子
７１０ １Ｈ遅延回路群
７２０ 乗算器群
７３０、７３１ 加算器
７４１ 「Ｒ」「Ｇ」データ列出力端子
７４２ 「Ｇ」「Ｂ」データ列出力端子
Claims (3)
- 撮像エリアが複数エリアに分割され、各分割領域別に画像信号を生成して出力する撮像手段と、
前記各分割領域のデジタル値の画像信号間のバランスを補正するためのバランス補正手段と、
前記各分割領域の画像信号を合成して１枚の画像データを生成する合成手段と、
前記合成手段によって合成された画像信号の欠陥を補正する欠陥補正手段とを有することを特徴とする画像信号処理装置。 - 前記欠陥補正手段で補正された後に、同一垂直ライン上の前後の画素と重みづけ加算することにより、垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段をさらに有することを特徴とする請求項１に記載の画像信号処理装置。
- 撮像エリアが複数エリアに分割され、各分割領域別にカラーの画像信号を生成し、各分割領域毎に画像信号を垂直同色加算して出力する撮像手段と、
前記撮像手段により出力された画像信号をアナログ値からデジタル値へ変換するＡＤ変換手段と、
前記デジタル値の画像信号において同一垂直ライン上の前後の画素と重みづけ加算することにより、前記垂直同色加算により生じた画素位置の重心ずれを補正する重心ずれ補正手段とを有することを特徴とする画像信号処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176994A JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
| US10/869,577 US7433547B2 (en) | 2003-06-20 | 2004-06-16 | Image signal processing apparatus |
| CNB200410059749XA CN100369459C (zh) | 2003-06-20 | 2004-06-18 | 图像信号处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176994A JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005012692A true JP2005012692A (ja) | 2005-01-13 |
| JP3991011B2 JP3991011B2 (ja) | 2007-10-17 |
Family
ID=33516275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003176994A Expired - Fee Related JP3991011B2 (ja) | 2003-06-20 | 2003-06-20 | 画像信号処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7433547B2 (ja) |
| JP (1) | JP3991011B2 (ja) |
| CN (1) | CN100369459C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011109728A (ja) * | 2011-03-10 | 2011-06-02 | Mega Chips Corp | 画像処理装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8125695B2 (en) * | 2003-03-24 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | Imaging system and method |
| JP4180076B2 (ja) * | 2004-09-29 | 2008-11-12 | 三洋電機株式会社 | 信号処理装置 |
| JP2006157882A (ja) * | 2004-10-28 | 2006-06-15 | Fuji Photo Film Co Ltd | 固体撮像装置 |
| KR100660862B1 (ko) * | 2005-02-23 | 2006-12-26 | 삼성전자주식회사 | 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법 |
| JP4760288B2 (ja) * | 2005-10-13 | 2011-08-31 | ソニー株式会社 | 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム |
| JP4192985B2 (ja) * | 2006-10-17 | 2008-12-10 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP4861854B2 (ja) * | 2007-02-15 | 2012-01-25 | 株式会社バンダイナムコゲームス | 指示位置演算システム、指示体及びゲームシステム |
| JP2008228118A (ja) * | 2007-03-15 | 2008-09-25 | Fujifilm Corp | 固体電子撮像素子の補正装置およびその補正方法 |
| JP4434250B2 (ja) * | 2007-09-21 | 2010-03-17 | ソニー株式会社 | 画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP5090899B2 (ja) * | 2007-12-28 | 2012-12-05 | イーストマン コダック カンパニー | 撮像装置 |
| JP5656561B2 (ja) * | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| CN103297667B (zh) * | 2012-02-24 | 2016-09-07 | 联想(北京)有限公司 | 一种电子设备及获得图像信息的方法 |
| US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| KR20150051389A (ko) * | 2013-11-04 | 2015-05-13 | 현대모비스 주식회사 | 영상 처리 방법 및 이를 위한 장치 |
| JP2017055309A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2017055308A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2018005389A (ja) * | 2016-06-29 | 2018-01-11 | 株式会社リコー | 画像変形回路、画像処理装置、及び画像変形方法 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1982003146A1 (en) * | 1981-03-10 | 1982-09-16 | Corp Rca | Error correction arrangement for imagers |
| JPS587991A (ja) * | 1981-07-08 | 1983-01-17 | Sony Corp | 多管式カラ−カメラのレジストレ−シヨン調整回路 |
| KR950008698B1 (ko) | 1992-06-09 | 1995-08-04 | 현대전자산업 주식회사 | 반도체소자의 필드산화막 형성방법 |
| US5764871A (en) * | 1993-10-21 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields |
| JPH08287218A (ja) * | 1995-04-10 | 1996-11-01 | Sharp Corp | 画像合成装置 |
| JPH0946599A (ja) | 1995-07-31 | 1997-02-14 | Sanyo Electric Co Ltd | 固体撮像装置 |
| JP3309738B2 (ja) | 1996-11-01 | 2002-07-29 | 松下電器産業株式会社 | 画像表示装置 |
| US5883663A (en) * | 1996-12-02 | 1999-03-16 | Siwko; Robert P. | Multiple image camera for measuring the alignment of objects in different planes |
| JPH10161227A (ja) | 1996-12-02 | 1998-06-19 | Fuji Photo Film Co Ltd | カメラ及び撮影情報入力システム |
| JP2951909B2 (ja) * | 1997-03-17 | 1999-09-20 | 松下電器産業株式会社 | 撮像装置の階調補正装置及び階調補正方法 |
| US6396537B1 (en) | 1997-11-24 | 2002-05-28 | Eastman Kodak Company | Photographic system for enabling interactive communication between a camera and an attraction site |
| JP3892172B2 (ja) * | 1998-07-24 | 2007-03-14 | 松下電器産業株式会社 | 固体撮像装置 |
| US6397334B1 (en) | 1998-12-17 | 2002-05-28 | International Business Machines Corporation | Method and system for authenticating objects and object data |
| US6407747B1 (en) * | 1999-05-07 | 2002-06-18 | Picsurf, Inc. | Computer screen image magnification system and method |
| JP2001086394A (ja) | 1999-09-10 | 2001-03-30 | Sony Corp | 撮像装置 |
| JP3991543B2 (ja) * | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US6754402B2 (en) * | 2000-02-09 | 2004-06-22 | Fuji Photo Film Co., Ltd. | Interpolation arithmetic method and image reader |
| JP3716716B2 (ja) * | 2000-07-10 | 2005-11-16 | 富士ゼロックス株式会社 | 回転体の駆動装置及びこれを用いた画像形成装置 |
| EP1198127A1 (en) | 2000-10-12 | 2002-04-17 | Canon Kabushiki Kaisha | Signal difference correction of picture signals read from multiple readout type image sensing device |
| JP2002142158A (ja) | 2000-11-01 | 2002-05-17 | Canon Inc | 撮像装置及び補正方法 |
| JP4827213B2 (ja) | 2001-03-12 | 2011-11-30 | 株式会社メガチップス | 画像補正装置および画像補正方法 |
| JP2002290926A (ja) * | 2001-03-27 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 斜め適応型走査線補間装置 |
| US7050098B2 (en) | 2001-03-29 | 2006-05-23 | Canon Kabushiki Kaisha | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
| JP3697172B2 (ja) | 2001-03-29 | 2005-09-21 | キヤノン株式会社 | 信号処理装置及び信号処理方法並びに撮像装置 |
| JP3948218B2 (ja) | 2001-04-19 | 2007-07-25 | ソニー株式会社 | 固体撮像装置およびその駆動方法 |
| JP4658401B2 (ja) | 2001-07-27 | 2011-03-23 | オリンパス株式会社 | 撮像装置 |
-
2003
- 2003-06-20 JP JP2003176994A patent/JP3991011B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-16 US US10/869,577 patent/US7433547B2/en not_active Expired - Fee Related
- 2004-06-18 CN CNB200410059749XA patent/CN100369459C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011109728A (ja) * | 2011-03-10 | 2011-06-02 | Mega Chips Corp | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7433547B2 (en) | 2008-10-07 |
| US20040257451A1 (en) | 2004-12-23 |
| JP3991011B2 (ja) | 2007-10-17 |
| CN100369459C (zh) | 2008-02-13 |
| CN1574889A (zh) | 2005-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3991011B2 (ja) | 画像信号処理装置 | |
| US7777804B2 (en) | High dynamic range sensor with reduced line memory for color interpolation | |
| US6888568B1 (en) | Method and apparatus for controlling pixel sensor elements | |
| US7133073B1 (en) | Method and apparatus for color interpolation | |
| US8310577B1 (en) | Method and apparatus for color compensation | |
| US6757012B1 (en) | Color selection for sparse color image reconstruction | |
| EP2039149A2 (en) | Solid-state image sensor | |
| JP2942903B2 (ja) | ディジタル・カメラ信号処理装置 | |
| JP4212134B2 (ja) | 画像信号処理装置 | |
| JP2000059799A (ja) | 画素欠陥補正装置及び画素欠陥補正方法 | |
| US6900838B1 (en) | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method | |
| US6690418B1 (en) | Image sensing apparatus image signal controller and method | |
| JP3609606B2 (ja) | 単板式カラーカメラ | |
| US20090147093A1 (en) | Color processing circuit | |
| JP2004193911A (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
| JPH07336605A (ja) | 画素欠陥補正装置 | |
| JP2001218073A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
| JP3156282B2 (ja) | 固体撮像装置 | |
| US20130038772A1 (en) | Image processing apparatus and image processing method | |
| WO2001013649A1 (en) | Method and apparatus for color interpolation | |
| JP3733182B2 (ja) | 撮像装置および縦縞除去方法 | |
| JP2004350319A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
| JP7379217B2 (ja) | 撮像システム | |
| JP4253095B2 (ja) | 画像データ・フィルタリング装置および方法 | |
| JP2004159176A (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3991011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |