JP2004112738A - 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 - Google Patents
単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 Download PDFInfo
- Publication number
- JP2004112738A JP2004112738A JP2002316250A JP2002316250A JP2004112738A JP 2004112738 A JP2004112738 A JP 2004112738A JP 2002316250 A JP2002316250 A JP 2002316250A JP 2002316250 A JP2002316250 A JP 2002316250A JP 2004112738 A JP2004112738 A JP 2004112738A
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- resolution conversion
- color
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000003086 colorant Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Input (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】解像度変換処理と同時処理を簡単な構成で行え、しかも高鮮鋭度で解像力の低下を生じず、各色の画素データの位置が一致する単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路の実現。
【解決手段】単板式カラーイメージセンサ１３の画素毎のデータを処理して、外部から指示される所定の解像度のデータに変換すると共に、各カラーデータの位置が一致するように処理する解像度変換・同時処理回路３１とを備え、解像度変換・同時処理回路３１は、画素毎のデータを処理して所定の解像度のデータに変換する解像度変換処理と各カラーデータの位置が一致するように処理する同時処理を、同時に行う。
【選択図】 図６
【解決手段】単板式カラーイメージセンサ１３の画素毎のデータを処理して、外部から指示される所定の解像度のデータに変換すると共に、各カラーデータの位置が一致するように処理する解像度変換・同時処理回路３１とを備え、解像度変換・同時処理回路３１は、画素毎のデータを処理して所定の解像度のデータに変換する解像度変換処理と各カラーデータの位置が一致するように処理する同時処理を、同時に行う。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力される画素データの解像度を変換する解像度変換方法及び解像度変換機能を有する撮像装置に関し、特に各カラーデータの位置が一致するように処理する同時処理を行う必要のある単板式カラーイメージセンサから出力される画素データを変換する解像度変換方法及び単板式カラーイメージセンサからの画素データを解像度変換する画素データ処理回路に関する。
【０００２】
【従来の技術】
カラーイメージセンサには、３板式（３管式）と単板式（単管式）がある。３板式のカラーイメージセンサは、投影画像を光学的に３つのカラーイメージに分離し、３つのカラーイメージを３つのイメージセンサで検出する。従って、各色の画素位置は一致している。これに対して、単板式のカラーイメージセンサは、撮像面に微小な３色のカラフィルターが配列されており、そこを通過した光を検出している。従って、各色の画素位置は一致しない。
【０００３】
図１は、単板式のカラーイメージセンサの画素配列を示す図である。図示のように、１個の赤（Ｒ）画素と２個の緑（Ｇ）画素と１個の青（Ｂ）画素の４個の画素を１組として、複数の画素が２次元状に配列される。ここでは、各画素の配列位置を座標で表す。例えば、１行目の１列目にはＲ１，１が位置し、４行目の３列目にはＧ３，４が位置し、６行目の４列目にはＢ６，４が位置する。以下の説明でも、単板式のカラーイメージセンサの画素配列は図１のような配列を有するものとして説明する。但し、本発明はこのような配列に限定されるものではなく、他の配列にも適用可能である。
【０００４】
図１に示すように、単板式のカラーイメージセンサでは色毎に画素の位置が異なり、各画素のカラーデータをそのまま出力したのでは各色のカラーデータの間で位置ずれが生じる。３板式のカラーイメージセンサは各色の画素位置が一致しており、単板式のカラーイメージセンサのカラーデータをそのまま出力したのでは、単板式と３板式のカラーイメージセンサのカラーデータが整合しないという問題を生じる。そこで、単板式のカラーイメージセンサの各色の画素について、各色のカラーデータの位置が一致するように、近傍の画素の出力と重み付け演算処理を行う。このような処理を一般に同時処理と呼んでいるので、ここでもこの語を使用する。
【０００５】
近年、固体撮像素子は、デジタルカメラや携帯端末などの製品に内蔵されて大量に使用されるようになった。固体撮像素子は大別して電荷転送型イメージセンサで構成されるＣＣＤ固体撮像素子と、ＣＭＯＳトランジスタでイメージセンサを構成したＣＭＯＳ型固体撮像素子とがある。ＣＭＯＳ型イメージセンサは、ＭＯＳＦＥＴの製造プロセスと同一の技術で製造することができ、単一電源で駆動できて消費電力も小さく、更に各種信号処理回路を同一チップ上に搭載できることから、ＣＣＤイメージセンサに替わるものとして有望視されている。
【０００６】
イメージセンサ、特にＣＭＯＳ型イメージセンサは高解像度化が進み、画素数が増加している。しかし、携帯電話などの小さな液晶画面に画像を表示する場合には表示画面の画素数が制限されているので、イメージセンサの出力する画像信号の解像度を変換して表示画面に合わせる必要がある。また、上記のようにイメージセンサは高解像度であるが画面に合わせて解像度を低下させている場合に、イメージセンサの出力する高解像度の一部の画像を表示するように切り換えるデジタルズームと呼ばれる機能があり、この場合ズーム倍率に応じて解像度を変換する必要がある。携帯電話などの場合、上記のような解像度変換機能は、イメージセンサを有する撮像装置側に設け、携帯電話本体からの解像度情報に従って撮像装置側で解像度変換を行い、解像度変換した画像データを表示装置（ディスプレイ）に出力することが要求される。
【０００７】
以上のように、単板式のカラーイメージセンサを使用した撮像装置では、同時処理と共に解像度変換処理を行うことを要求される場合がある。本願発明は、主としてこのような撮像装置を対象とするが、これに限定されるものではない。
【０００８】
図２は、同時処理及び解像度変換処理を行う単板式カラーイメージセンサの処理系の従来例の構成を示す図である。図２の（Ａ）は、ＴＶカメラ１１の内部に同時処理回路１３を設けた構成例である（例えば、特許文献１参照）。図示のように、レンズ１２により物体１０の映像が単板式カラーイメージセンサ１３に投影され、単板式カラーイメージセンサ１３の各画素が画素信号を発生させ、画素信号は順次読み出される。各画素信号は、単板式カラーイメージセンサ１３に設けられたアナログ−デジタル（Ａ／Ｄ）変換器でデジタルデータに変換されて、同時処理回路１３に出力される。同時処理回路１３は、各色の画素データの位置が一致するように各色の近傍の画素データの重み付け演算を行い、画像データとして出力する。このように、図２の（Ａ）の構成では、撮像装置１３から出力される画像データは、各色の画素データの位置が一致した項解像度の映像データである。解像度変換処理回路１４は、このような画像データに対して、ディスプレイ２０から指示される解像度情報に応じて解像度変換処理を行い、ディスプレイ２０に出力する。従って、ディスプレイ２０に出力される画像データはディスプレイ２０の表示に適した画像データであり、ディスプレイ２０は入力される画像データをそのまま表示する。
【０００９】
図２の（Ｂ）は、ＴＶカメラ１１の内部に簡単な間引き処理回路１５を設けた構成例である。間引き処理回路１５は、ディスプレイ２０から指示される解像度情報に応じて、単板式カラーイメージセンサ１３から出力される各画素のデータの一部のみを出力する。間引き処理回路１５で行える処理は、解像度を整数分の１に変換する簡単な間引き処理のみである。
【００１０】
図２の（Ｃ）は、ＴＶカメラ１１の内部では解像度変換及び同時処理は行わず、解像度変換及び同時処理はＴＶカメラ１１の外部で行う構成を示す。図示のように、ＴＶカメラ１１の出力する画素データは、解像度変換処理回路１７でディスプレイ２０から指示される解像度情報に応じて解像度が変換され、その後同時処理回路１８で各色の画素データの位置が一致するように同時処理された後、ディスプレイ２０に出力される。
【００１１】
図３は、図２の（Ｃ）の構成で、図１のような単板式カラーイメージセンサ１３の画素データに対して１／３解像度変換と同時処理を行う場合を説明する図であり、図３の（Ａ）は解像度変換処理後の画素データと演算式を示し、図３の（Ｂ）は同時処理後の画素データと演算式を示す。図３の（Ａ）に示すように、画素配列を６×６のブロックに分割し、各色に対して図示の演算式に従って演算を行い、中心の三角形で示した位置にＲデータが、丸で示した２箇所の位置にＧデータが、四角形で示した位置にＢデータが得られる。次の同時処理では、三角形で示した位置に着目すると、各色に対して周辺の画素データに対して図示の演算式に従って演算を行い、三角形と丸と四角形で示す位置に同時処理後の画素データが得られる。このような処理を三角形で示す位置以外の、２個の丸及び１個の四角形の位置についても行い、各ブロックにおいて、３色のデータが４組得られる。
【００１２】
図４は、図２の（Ｃ）の構成で、図１のような単板式カラーイメージセンサ１３の画素データに対して２／３解像度変換を行う場合を説明する図である。図示の演算式に従って各色の近傍の画素データを重み付け演算して三角形で示した位置にＲデータが、丸で示した２箇所の位置にＧデータが、四角形で示した位置にＢデータが得られる。
【００１３】
図５は、上記の２／３解像度変換された画素データに対して同時処理を行った後の画素データと演算式を示す。この同時処理では、三角形で示した位置に着目すると、各色に対して周辺の画素データに対して図示の演算式に従って演算を行い、三角形と丸と四角形で示す位置に同時処理後の画素データが得られる。このような処理を三角形で示す位置以外の、２個の丸及び１個の四角形の位置についても行い、３×３のブロックで３色のデータが４組得られる。
【００１４】
【特許文献１】
特開２００１−１１９７０５号公報（すべて）
【００１５】
【発明が解決しようとする課題】
以上のように、従来は解像度変換処理と同時処理は各種の処理系で行われているが、図２に示すように、解像度変換処理と同時処理は時系列で行われていた。そのために、解像度変換処理を行う回路と同時処理を行う回路がそれぞれ必要であり、全体としてはハードウエアが大きくなっていた。例えば、図３に示したような１／３解像度変換処理と同時処理を行う場合、まず解像度変換処理を行う。この際、画像情報が抜けないようにするには、少なくとも５ライン分のラインメモリを必要とする。その後の同時処理を行うには、ラインメモリを新たに２本必要である。
【００１６】
更に、図３の（Ｂ）及び図５に示すように同時処理後の各色の画素データは、周辺の１２×１２画素の情報が混じり合い、画像の鮮鋭度が低下すると共に、Ｒ，Ｇ，Ｂの各色で位置が一致していない。すなわち、同時処理が完全に行われているとはいえず、そのため表示する画像で各色がずれた画像になり、解像力も低下するという問題を生じている。
【００１７】
本発明は、このような問題を解決して、解像度変換処理と同時処理を簡単な構成で行え、しかも高鮮鋭度で解像力の低下を生じず、各色の画素データの位置が一致する単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路の実現を目的とする。
【００１８】
【課題を解決するための手段】
図６は、本発明の撮像装置の基本構成を示す図である。
【００１９】
図６に示すように、上記目的を実現するため、本発明の単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路は、解像度変換処理と同時処理を、同一回路３１で同時に行うようにする。具体的には、解像度変換処理と同時処理を、各画素周辺の各色の画素データを重み付け演算により１回の演算処理で行うようにする。解像度変換・同時処理回路３１は、ＴＶカメラ１１と一体に設けられる。
【００２０】
本発明の単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路では、解像度変換処理と同時処理を同じハードウエアで同時に行うので、ハードウエアを小さくできる。更に、周辺の必要な情報を間引く前のデータに対して演算を行うので、高鮮鋭度のデータが解像力の低下を生じずに得られ、簡単な演算式で各色の画素データの位置が一致するようにできる。
【００２１】
ディスプレイからの解像度応報に応じて出力する画素データの解像度を変換する場合には、あらかじめ異なる解像度に変換する場合の複数の処理、すなわち複数の演算式を記憶しておき、外部からの指示に従って複数の演算式のいずれかを選択して実行する。
【００２２】
【発明の実施の形態】
図７は、本発明の実施例の撮像装置（ＴＶカメラ）の構成を示す図である。図７の（Ａ）に示すように、デジタル信号処理（ＤＳＰ）素子３２とメモリ３３で構成される演算ユニットがＴＶカメラ１１に設けられている。
【００２３】
図７の（Ｂ）は、演算ユニットの構成を示す図であり、単板式カラーイメージセンサ１３のＡ／Ｄ変換器４１から出力される画素データを処理する５種類の演算ユニット４２〜４６が設けられ、セレクタ４７がディスプレイ２０から入力される解像度情報に応じていずれかの演算ユニットを選択して動作させる。ここでは、５種類の演算ユニットとして、１／４解像度変換用処理ユニット４２と、１／３解像度変換用処理ユニット４３と、１／２解像度変換用処理ユニット４４と２１／３解像度変換用処理ユニット４５と、１／１解像度変換用処理ユニット４６とが設けられている。１／１解像度変換用処理ユニット４６は、解像度の変換は行わず、同時処理のみを行う。以下、各演算ユニットにおける処理を説明する。
【００２４】
図８は、本実施例における１／３解像度変換用処理ユニット４３における処理と演算式を示す図である。Ｒ１，Ｇ１，Ｂ１は丸の内部に数字の１を記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。Ｒ２，Ｇ２，Ｂ２の組み、Ｒ３，Ｇ３，Ｂ３の組み及びＲ４，Ｇ４，Ｂ４の組みについても同様であり、他の画素データはこれらを繰り返すことにより得られる。図３の従来例では、１２×１２の画素情報が混じり合ったが、図８での構成では６×６の画素を使用するだけであり、しかも各色のデータの位置が一致する。
【００２５】
図９と図１０は、本実施例における２／３解像度変換用処理ユニット４５における処理と演算式を示す図である。Ｒ１〜Ｒ１６，Ｇ１〜Ｇ１６，Ｂ１〜Ｂ１６は丸の内部に数字で記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２６】
図１１は、本実施例における１／４解像度変換用処理ユニット４２における処理と演算式を示す図である。Ｒ，Ｇ，Ｂは丸で示した左上の位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２７】
図１２は、本実施例における１／２解像度変換用処理ユニット４４における処理と演算式を示す図である。Ｒ，Ｇ，Ｂは丸で示した左上の位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２８】
図１３は、本実施例における１／１解像度変換用処理ユニット４６における処理と演算式を示す図である。ここでは、解像度の変換は行われず、同時処理のみが行われることになる。Ｒ１〜Ｒ４，Ｇ１〜Ｇ４，Ｂ１〜Ｂ４は丸の内部に数字で記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、解像度変換処理と同時処理を１組の演算式で同時に行うので、ハードウエアを共用して簡単な構成の回路で実行できる。更に、周辺の必要な情報を間引く前のデータに対して演算を行うので、高鮮鋭度のデータが解像力の低下を生じずに得られ、しかも各色の画素データの位置を一致させることができる。
【図面の簡単な説明】
【図１】単板式カラーイメージセンサの画素配列の例を示す図である。
【図２】単板式カラーイメージセンサを有する撮像装置の処理系の従来の構成例を示す図である。
【図３】従来の１／３解像度変換と同時処理を説明する図である。
【図４】従来の２／３解像度変換を説明する図である。
【図５】従来の２／３解像度変換後の同時処理を説明する図である。
【図６】本発明の撮像装置の基本構成を示す図である。
【図７】本発明の実施例の撮像装置の構成を示す図である。
【図８】実施例における１／３解像度変換と同時処理を説明する図である。
【図９】実施例における２／３解像度変換と同時処理を説明する図である。
【図１０】実施例における２／３解像度変換と同時処理を説明する図である。
【図１１】実施例における１／４解像度変換と同時処理を説明する図である。
【図１２】実施例における１／２解像度変換と同時処理を説明する図である。
【図１３】実施例における１／１解像度変換（解像度変換無し）と同時処理を説明する図である。
【符号の説明】
１１…ＴＶカメラ
１３…単板式カラーイメージセンサ
２０…ディスプレイ
３１…解像度変換・同時処理回路
【発明の属する技術分野】
本発明は、イメージセンサから出力される画素データの解像度を変換する解像度変換方法及び解像度変換機能を有する撮像装置に関し、特に各カラーデータの位置が一致するように処理する同時処理を行う必要のある単板式カラーイメージセンサから出力される画素データを変換する解像度変換方法及び単板式カラーイメージセンサからの画素データを解像度変換する画素データ処理回路に関する。
【０００２】
【従来の技術】
カラーイメージセンサには、３板式（３管式）と単板式（単管式）がある。３板式のカラーイメージセンサは、投影画像を光学的に３つのカラーイメージに分離し、３つのカラーイメージを３つのイメージセンサで検出する。従って、各色の画素位置は一致している。これに対して、単板式のカラーイメージセンサは、撮像面に微小な３色のカラフィルターが配列されており、そこを通過した光を検出している。従って、各色の画素位置は一致しない。
【０００３】
図１は、単板式のカラーイメージセンサの画素配列を示す図である。図示のように、１個の赤（Ｒ）画素と２個の緑（Ｇ）画素と１個の青（Ｂ）画素の４個の画素を１組として、複数の画素が２次元状に配列される。ここでは、各画素の配列位置を座標で表す。例えば、１行目の１列目にはＲ１，１が位置し、４行目の３列目にはＧ３，４が位置し、６行目の４列目にはＢ６，４が位置する。以下の説明でも、単板式のカラーイメージセンサの画素配列は図１のような配列を有するものとして説明する。但し、本発明はこのような配列に限定されるものではなく、他の配列にも適用可能である。
【０００４】
図１に示すように、単板式のカラーイメージセンサでは色毎に画素の位置が異なり、各画素のカラーデータをそのまま出力したのでは各色のカラーデータの間で位置ずれが生じる。３板式のカラーイメージセンサは各色の画素位置が一致しており、単板式のカラーイメージセンサのカラーデータをそのまま出力したのでは、単板式と３板式のカラーイメージセンサのカラーデータが整合しないという問題を生じる。そこで、単板式のカラーイメージセンサの各色の画素について、各色のカラーデータの位置が一致するように、近傍の画素の出力と重み付け演算処理を行う。このような処理を一般に同時処理と呼んでいるので、ここでもこの語を使用する。
【０００５】
近年、固体撮像素子は、デジタルカメラや携帯端末などの製品に内蔵されて大量に使用されるようになった。固体撮像素子は大別して電荷転送型イメージセンサで構成されるＣＣＤ固体撮像素子と、ＣＭＯＳトランジスタでイメージセンサを構成したＣＭＯＳ型固体撮像素子とがある。ＣＭＯＳ型イメージセンサは、ＭＯＳＦＥＴの製造プロセスと同一の技術で製造することができ、単一電源で駆動できて消費電力も小さく、更に各種信号処理回路を同一チップ上に搭載できることから、ＣＣＤイメージセンサに替わるものとして有望視されている。
【０００６】
イメージセンサ、特にＣＭＯＳ型イメージセンサは高解像度化が進み、画素数が増加している。しかし、携帯電話などの小さな液晶画面に画像を表示する場合には表示画面の画素数が制限されているので、イメージセンサの出力する画像信号の解像度を変換して表示画面に合わせる必要がある。また、上記のようにイメージセンサは高解像度であるが画面に合わせて解像度を低下させている場合に、イメージセンサの出力する高解像度の一部の画像を表示するように切り換えるデジタルズームと呼ばれる機能があり、この場合ズーム倍率に応じて解像度を変換する必要がある。携帯電話などの場合、上記のような解像度変換機能は、イメージセンサを有する撮像装置側に設け、携帯電話本体からの解像度情報に従って撮像装置側で解像度変換を行い、解像度変換した画像データを表示装置（ディスプレイ）に出力することが要求される。
【０００７】
以上のように、単板式のカラーイメージセンサを使用した撮像装置では、同時処理と共に解像度変換処理を行うことを要求される場合がある。本願発明は、主としてこのような撮像装置を対象とするが、これに限定されるものではない。
【０００８】
図２は、同時処理及び解像度変換処理を行う単板式カラーイメージセンサの処理系の従来例の構成を示す図である。図２の（Ａ）は、ＴＶカメラ１１の内部に同時処理回路１３を設けた構成例である（例えば、特許文献１参照）。図示のように、レンズ１２により物体１０の映像が単板式カラーイメージセンサ１３に投影され、単板式カラーイメージセンサ１３の各画素が画素信号を発生させ、画素信号は順次読み出される。各画素信号は、単板式カラーイメージセンサ１３に設けられたアナログ−デジタル（Ａ／Ｄ）変換器でデジタルデータに変換されて、同時処理回路１３に出力される。同時処理回路１３は、各色の画素データの位置が一致するように各色の近傍の画素データの重み付け演算を行い、画像データとして出力する。このように、図２の（Ａ）の構成では、撮像装置１３から出力される画像データは、各色の画素データの位置が一致した項解像度の映像データである。解像度変換処理回路１４は、このような画像データに対して、ディスプレイ２０から指示される解像度情報に応じて解像度変換処理を行い、ディスプレイ２０に出力する。従って、ディスプレイ２０に出力される画像データはディスプレイ２０の表示に適した画像データであり、ディスプレイ２０は入力される画像データをそのまま表示する。
【０００９】
図２の（Ｂ）は、ＴＶカメラ１１の内部に簡単な間引き処理回路１５を設けた構成例である。間引き処理回路１５は、ディスプレイ２０から指示される解像度情報に応じて、単板式カラーイメージセンサ１３から出力される各画素のデータの一部のみを出力する。間引き処理回路１５で行える処理は、解像度を整数分の１に変換する簡単な間引き処理のみである。
【００１０】
図２の（Ｃ）は、ＴＶカメラ１１の内部では解像度変換及び同時処理は行わず、解像度変換及び同時処理はＴＶカメラ１１の外部で行う構成を示す。図示のように、ＴＶカメラ１１の出力する画素データは、解像度変換処理回路１７でディスプレイ２０から指示される解像度情報に応じて解像度が変換され、その後同時処理回路１８で各色の画素データの位置が一致するように同時処理された後、ディスプレイ２０に出力される。
【００１１】
図３は、図２の（Ｃ）の構成で、図１のような単板式カラーイメージセンサ１３の画素データに対して１／３解像度変換と同時処理を行う場合を説明する図であり、図３の（Ａ）は解像度変換処理後の画素データと演算式を示し、図３の（Ｂ）は同時処理後の画素データと演算式を示す。図３の（Ａ）に示すように、画素配列を６×６のブロックに分割し、各色に対して図示の演算式に従って演算を行い、中心の三角形で示した位置にＲデータが、丸で示した２箇所の位置にＧデータが、四角形で示した位置にＢデータが得られる。次の同時処理では、三角形で示した位置に着目すると、各色に対して周辺の画素データに対して図示の演算式に従って演算を行い、三角形と丸と四角形で示す位置に同時処理後の画素データが得られる。このような処理を三角形で示す位置以外の、２個の丸及び１個の四角形の位置についても行い、各ブロックにおいて、３色のデータが４組得られる。
【００１２】
図４は、図２の（Ｃ）の構成で、図１のような単板式カラーイメージセンサ１３の画素データに対して２／３解像度変換を行う場合を説明する図である。図示の演算式に従って各色の近傍の画素データを重み付け演算して三角形で示した位置にＲデータが、丸で示した２箇所の位置にＧデータが、四角形で示した位置にＢデータが得られる。
【００１３】
図５は、上記の２／３解像度変換された画素データに対して同時処理を行った後の画素データと演算式を示す。この同時処理では、三角形で示した位置に着目すると、各色に対して周辺の画素データに対して図示の演算式に従って演算を行い、三角形と丸と四角形で示す位置に同時処理後の画素データが得られる。このような処理を三角形で示す位置以外の、２個の丸及び１個の四角形の位置についても行い、３×３のブロックで３色のデータが４組得られる。
【００１４】
【特許文献１】
特開２００１−１１９７０５号公報（すべて）
【００１５】
【発明が解決しようとする課題】
以上のように、従来は解像度変換処理と同時処理は各種の処理系で行われているが、図２に示すように、解像度変換処理と同時処理は時系列で行われていた。そのために、解像度変換処理を行う回路と同時処理を行う回路がそれぞれ必要であり、全体としてはハードウエアが大きくなっていた。例えば、図３に示したような１／３解像度変換処理と同時処理を行う場合、まず解像度変換処理を行う。この際、画像情報が抜けないようにするには、少なくとも５ライン分のラインメモリを必要とする。その後の同時処理を行うには、ラインメモリを新たに２本必要である。
【００１６】
更に、図３の（Ｂ）及び図５に示すように同時処理後の各色の画素データは、周辺の１２×１２画素の情報が混じり合い、画像の鮮鋭度が低下すると共に、Ｒ，Ｇ，Ｂの各色で位置が一致していない。すなわち、同時処理が完全に行われているとはいえず、そのため表示する画像で各色がずれた画像になり、解像力も低下するという問題を生じている。
【００１７】
本発明は、このような問題を解決して、解像度変換処理と同時処理を簡単な構成で行え、しかも高鮮鋭度で解像力の低下を生じず、各色の画素データの位置が一致する単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路の実現を目的とする。
【００１８】
【課題を解決するための手段】
図６は、本発明の撮像装置の基本構成を示す図である。
【００１９】
図６に示すように、上記目的を実現するため、本発明の単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路は、解像度変換処理と同時処理を、同一回路３１で同時に行うようにする。具体的には、解像度変換処理と同時処理を、各画素周辺の各色の画素データを重み付け演算により１回の演算処理で行うようにする。解像度変換・同時処理回路３１は、ＴＶカメラ１１と一体に設けられる。
【００２０】
本発明の単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路では、解像度変換処理と同時処理を同じハードウエアで同時に行うので、ハードウエアを小さくできる。更に、周辺の必要な情報を間引く前のデータに対して演算を行うので、高鮮鋭度のデータが解像力の低下を生じずに得られ、簡単な演算式で各色の画素データの位置が一致するようにできる。
【００２１】
ディスプレイからの解像度応報に応じて出力する画素データの解像度を変換する場合には、あらかじめ異なる解像度に変換する場合の複数の処理、すなわち複数の演算式を記憶しておき、外部からの指示に従って複数の演算式のいずれかを選択して実行する。
【００２２】
【発明の実施の形態】
図７は、本発明の実施例の撮像装置（ＴＶカメラ）の構成を示す図である。図７の（Ａ）に示すように、デジタル信号処理（ＤＳＰ）素子３２とメモリ３３で構成される演算ユニットがＴＶカメラ１１に設けられている。
【００２３】
図７の（Ｂ）は、演算ユニットの構成を示す図であり、単板式カラーイメージセンサ１３のＡ／Ｄ変換器４１から出力される画素データを処理する５種類の演算ユニット４２〜４６が設けられ、セレクタ４７がディスプレイ２０から入力される解像度情報に応じていずれかの演算ユニットを選択して動作させる。ここでは、５種類の演算ユニットとして、１／４解像度変換用処理ユニット４２と、１／３解像度変換用処理ユニット４３と、１／２解像度変換用処理ユニット４４と２１／３解像度変換用処理ユニット４５と、１／１解像度変換用処理ユニット４６とが設けられている。１／１解像度変換用処理ユニット４６は、解像度の変換は行わず、同時処理のみを行う。以下、各演算ユニットにおける処理を説明する。
【００２４】
図８は、本実施例における１／３解像度変換用処理ユニット４３における処理と演算式を示す図である。Ｒ１，Ｇ１，Ｂ１は丸の内部に数字の１を記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。Ｒ２，Ｇ２，Ｂ２の組み、Ｒ３，Ｇ３，Ｂ３の組み及びＲ４，Ｇ４，Ｂ４の組みについても同様であり、他の画素データはこれらを繰り返すことにより得られる。図３の従来例では、１２×１２の画素情報が混じり合ったが、図８での構成では６×６の画素を使用するだけであり、しかも各色のデータの位置が一致する。
【００２５】
図９と図１０は、本実施例における２／３解像度変換用処理ユニット４５における処理と演算式を示す図である。Ｒ１〜Ｒ１６，Ｇ１〜Ｇ１６，Ｂ１〜Ｂ１６は丸の内部に数字で記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２６】
図１１は、本実施例における１／４解像度変換用処理ユニット４２における処理と演算式を示す図である。Ｒ，Ｇ，Ｂは丸で示した左上の位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２７】
図１２は、本実施例における１／２解像度変換用処理ユニット４４における処理と演算式を示す図である。Ｒ，Ｇ，Ｂは丸で示した左上の位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２８】
図１３は、本実施例における１／１解像度変換用処理ユニット４６における処理と演算式を示す図である。ここでは、解像度の変換は行われず、同時処理のみが行われることになる。Ｒ１〜Ｒ４，Ｇ１〜Ｇ４，Ｂ１〜Ｂ４は丸の内部に数字で記した位置の各色の画素データの演算式であり、得られる各色の画素データの位置は一致する。他の画素データはこれらを繰り返すことにより得られる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、解像度変換処理と同時処理を１組の演算式で同時に行うので、ハードウエアを共用して簡単な構成の回路で実行できる。更に、周辺の必要な情報を間引く前のデータに対して演算を行うので、高鮮鋭度のデータが解像力の低下を生じずに得られ、しかも各色の画素データの位置を一致させることができる。
【図面の簡単な説明】
【図１】単板式カラーイメージセンサの画素配列の例を示す図である。
【図２】単板式カラーイメージセンサを有する撮像装置の処理系の従来の構成例を示す図である。
【図３】従来の１／３解像度変換と同時処理を説明する図である。
【図４】従来の２／３解像度変換を説明する図である。
【図５】従来の２／３解像度変換後の同時処理を説明する図である。
【図６】本発明の撮像装置の基本構成を示す図である。
【図７】本発明の実施例の撮像装置の構成を示す図である。
【図８】実施例における１／３解像度変換と同時処理を説明する図である。
【図９】実施例における２／３解像度変換と同時処理を説明する図である。
【図１０】実施例における２／３解像度変換と同時処理を説明する図である。
【図１１】実施例における１／４解像度変換と同時処理を説明する図である。
【図１２】実施例における１／２解像度変換と同時処理を説明する図である。
【図１３】実施例における１／１解像度変換（解像度変換無し）と同時処理を説明する図である。
【符号の説明】
１１…ＴＶカメラ
１３…単板式カラーイメージセンサ
２０…ディスプレイ
３１…解像度変換・同時処理回路
Claims (6)
- 単板式カラーイメージセンサから出力される画素毎のデータを処理して所定の解像度のデータに変換すると共に、各カラーデータの位置が一致するように処理する解像度変換方法であって、
前記画素毎のデータを処理して所定の解像度のデータに変換する解像度変換処理と前記各カラーデータの位置が一致するように処理する同時処理を、同一回路で同時に行うことを特徴とする単板式カラーイメージセンサの解像度変換方法。 - 前記解像度変換処理と前記同時処理は、各画素周辺の各色の画素データを重み付け演算する請求項１に記載の単板式カラーイメージセンサの解像度変換方法。
- 異なる解像度に変換する場合の複数の処理があらかじめ記憶されており、外部からの指示に従って前記複数の処理のいずれかの処理が選択されて実行される請求項１に記載の単板式カラーイメージセンサの解像度変換方法。
- 単板式カラーイメージセンサから出力される画素毎のデータを処理して、外部から指示される所定の解像度のデータに変換すると共に、各カラーデータの位置が一致するように処理する解像度変換・同時処理回路を備え、
前記解像度変換・同時処理回路は、前記画素毎のデータを処理して所定の解像度のデータに変換する解像度変換処理と前記各カラーデータの位置が一致するように処理する同時処理を、同時に行うことを特徴とする画素データ処理回路。 - 前記解像度変換・同時処理回路は、各画素周辺の各色の画素データを重み付け演算する請求項４に記載の画素データ処理回路。
- 前記解像度変換・同時処理回路は、異なる解像度に変換する場合の複数の処理を記憶しており、外部からの指示に従って前記複数の処理のいずれかの処理を選択して実行する請求項４に記載の画素データ処理回路。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002316250A JP2004112738A (ja) | 2002-07-25 | 2002-10-30 | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 |
| US10/613,124 US20040017493A1 (en) | 2002-07-25 | 2003-07-07 | Resolution conversion method and pixel data processing circuit for single-plate-type color-image sensor |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002216848 | 2002-07-25 | ||
| JP2002316250A JP2004112738A (ja) | 2002-07-25 | 2002-10-30 | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004112738A true JP2004112738A (ja) | 2004-04-08 |
Family
ID=30772256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002316250A Pending JP2004112738A (ja) | 2002-07-25 | 2002-10-30 | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040017493A1 (ja) |
| JP (1) | JP2004112738A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261789A (ja) * | 2005-03-15 | 2006-09-28 | Canon Inc | 撮像装置、撮像素子、及び撮像処理方法 |
| JP2008224552A (ja) * | 2007-03-14 | 2008-09-25 | Omron Corp | 計測処理用の画像生成方法およびこの方法を用いた基板外観検査装置 |
| JP2009503939A (ja) * | 2005-07-20 | 2009-01-29 | イーストマン コダック カンパニー | 照明に基づくピクセル分配および平均化 |
| US8582597B2 (en) | 2007-06-07 | 2013-11-12 | Fujitsu Limited | Time slot interchanger |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005109993A (ja) * | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| JP4458236B2 (ja) * | 2003-09-30 | 2010-04-28 | パナソニック株式会社 | 固体撮像装置 |
| JP2005109968A (ja) * | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | カラー固体撮像装置 |
| TWI256248B (en) * | 2004-04-29 | 2006-06-01 | Novatek Microelectronics Corp | Apparatus for sensing image and method for sampling image signal |
| CA2541567C (en) * | 2006-03-31 | 2012-07-17 | University Of Waterloo | Parallel soft spherical mimo receiver and decoding method |
| JP2009159069A (ja) * | 2007-12-25 | 2009-07-16 | Panasonic Corp | 固体撮像装置およびカメラ |
| KR20100133807A (ko) * | 2009-06-12 | 2010-12-22 | 삼성전자주식회사 | 프리뷰 모드를 위한 해상도 변환 방법과 그를 이용한 이미지 센서 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5418565A (en) * | 1994-02-15 | 1995-05-23 | Eastman Kodak Company | CFA compatible resolution reduction in a single sensor electronic camera |
| JP3631838B2 (ja) * | 1996-02-21 | 2005-03-23 | チノン株式会社 | 外部記憶装置およびカメラシステム |
| IL122299A (en) * | 1997-11-25 | 2003-11-23 | Broadcom Corp | Video encoding device |
| US6989862B2 (en) * | 2001-08-23 | 2006-01-24 | Agilent Technologies, Inc. | System and method for concurrently demosaicing and resizing raw data images |
| JP4657564B2 (ja) * | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
-
2002
- 2002-10-30 JP JP2002316250A patent/JP2004112738A/ja active Pending
-
2003
- 2003-07-07 US US10/613,124 patent/US20040017493A1/en not_active Abandoned
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261789A (ja) * | 2005-03-15 | 2006-09-28 | Canon Inc | 撮像装置、撮像素子、及び撮像処理方法 |
| US8164646B2 (en) | 2005-03-15 | 2012-04-24 | Canon Kabushiki Kaisha | Image capturing apparatus, image capturing sensor, and image capturing processing method |
| JP2009503939A (ja) * | 2005-07-20 | 2009-01-29 | イーストマン コダック カンパニー | 照明に基づくピクセル分配および平均化 |
| JP2008224552A (ja) * | 2007-03-14 | 2008-09-25 | Omron Corp | 計測処理用の画像生成方法およびこの方法を用いた基板外観検査装置 |
| US8582597B2 (en) | 2007-06-07 | 2013-11-12 | Fujitsu Limited | Time slot interchanger |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040017493A1 (en) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7847849B2 (en) | Solid-state imaging device, driving method thereof, and camera | |
| EP2685725B1 (en) | Imaging device and imaging program | |
| JP4253634B2 (ja) | デジタルカメラ | |
| JP2011250325A (ja) | 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法 | |
| JP2009246465A (ja) | 撮像装置、撮像モジュール、及び撮像システム | |
| US20090021597A1 (en) | Imaging circuit and image pickup device | |
| JP2004112738A (ja) | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 | |
| JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP2022106861A (ja) | 撮像素子 | |
| JP5607266B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| WO2012124182A1 (ja) | 撮像装置及び撮像プログラム | |
| US8194150B2 (en) | Moving image processing apparatus and video camera apparatus using the same | |
| WO2014091706A1 (ja) | 撮像装置 | |
| JP2005198290A (ja) | ダイナミックレンジを向上させたサブサンプリングモードを提供する固体撮像素子及びその駆動方法。 | |
| JP5624228B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP5124549B2 (ja) | 固体撮像素子の動画像信号読出方法及び撮像装置 | |
| JP3767367B2 (ja) | 撮像装置 | |
| JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2009010923A (ja) | デジタル画像のカラービニング | |
| WO2013100095A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2006094194A (ja) | 信号処理装置及び信号処理方法 | |
| JP2001008217A (ja) | 静止画カラーカメラ装置 | |
| JPH04340890A (ja) | 固体カラー撮像装置 | |
| JP2003348605A (ja) | カラービデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080610 |