JP2008011529A - 高解像度イメージ復元装置及び方法 - Google Patents

高解像度イメージ復元装置及び方法 Download PDF

Info

Publication number
JP2008011529A
JP2008011529A JP2007166290A JP2007166290A JP2008011529A JP 2008011529 A JP2008011529 A JP 2008011529A JP 2007166290 A JP2007166290 A JP 2007166290A JP 2007166290 A JP2007166290 A JP 2007166290A JP 2008011529 A JP2008011529 A JP 2008011529A
Authority
JP
Japan
Prior art keywords
image
color
original
sub
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007166290A
Other languages
English (en)
Inventor
Kiei Sei
基 榮 成
Du-Sik Park
斗 植 朴
Shoyo Kin
昌 容 金
Hoyoung Lee
晧 榮 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060105348A external-priority patent/KR100781552B1/ko
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of JP2008011529A publication Critical patent/JP2008011529A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

【課題】 小型化されたカメラモジュールを介して獲得したイメージを高解像度のイメージに復元する装置及び方法を提供する。
【解決手段】多数のレンズと該多数のレンズに各々対応するサブイメージセンサとを備えるが、サブイメージセンサ内に含まれるカラーフィルタは、互いに重畳されない１つの単一カラーで形成され、各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュール、カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュール、入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置してカラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュール、及び生成された中間イメージをデモザイクしてデモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールを備える。
【選択図】 図３

Description

本発明は、高解像度イメージ復元放置及び方法に係り、さらに詳細には、携帯電話、ＰＤＡ、ＭＰ３プレーヤーのような小型デジタル機器に装着される小型化されたデジタルカメラモジュールを介して獲得した映像を高解像度のイメージに復元する装置及び方法に関する。
ほとんどのデジタル機器と同様にデジタルカメラも、多くの人々に新たな世界を見せた。
デジタルカメラは、フィルムカメラとは違って、簡便な操作でも、専門家級の写真を撮ることができ、現像と焼き付けを経ずとも、撮った写真を即座で確認できて、きれいな画質の写真を変形なしに半永久的に使用できる長所がある。
また、デジタルカメラが小型化されて携帯が簡便になり、携帯電話やＰＤＡ、ＭＰ３プレーヤーのような小型デジタル機器に内蔵されつつ過去のように特別の日にのみ写真を撮るものではなく、日常生活で写真を撮って楽しむ姿が自然なこととなり、小型デジタル機器を選択して購買するに当たって、デジタルカメラの内蔵有無は重要な要素となった。
最近、デジタル機器は、次第に小型化されており、自分だけの個性と便利さを追求する傾向と共に、消費者は現在よりさらに小さく、さらに薄い小型デジタル機器製品を要求している。
つまり、デジタルカメラが内蔵された小型デジタル機器が現在よりさらに小型化され、スリム化されるためには、内蔵されるデジタルカメラの小型化及びスリム化がなされねばならない。
図１は、従来の小型デジタル機器に内蔵されたデジタルカメラの原理を簡単に示す図面である。
直径の大きさＤａ、Ｄｂの異なるそれぞれのレンズ１０１ａ、１０１ｂを介してユーザが撮った被写体（Ｏｂｊｅｃｔ）１０１の映像が該当デジタルカメラのイメージセンサ１０２ａ、１０２ｂに形成される。
この際、レンズ１０１ｂの直径Ｄｂが大きければ、解像度に優れる長所はあるが、被写体の映像（イメージＢ）を結ぶための焦点距離ｆｂが延びるので、小型デジタル機器に内蔵されるデジタルカメラモジュールの高さが延びる。
したがって、大きなレンズと延びた焦点距離によって小型化とスリム化には難点がある。
一方、相対的にレンズ１０１ａの直径Ｄａが小さい場合、被写体１０１の映像（イメージＡ）が結ぶための焦点距離ｆａも減少するので、小型化及びスリム化には適しているが、デジタルカメラの最も重要な要素である解像度がレンズの直径に比例して低くなるので、鮮明な高解像度の写真を希望する消費者の要求とはほど遠かった。
これにより、焦点距離の減少と同時に高解像度の映像を得るための多様な発明（例えば、特許文献１）が提示されたが、前述した問題は相変らず解決されていない。
韓国公開特許第２００３−００８４３４３号公報
本発明は、小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させてデジタルカメラが内蔵される小型デジタル機器の小型化及びスリム化に寄与するところにその目的がある。
本発明の他の目的は、小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させつつも高解像度のイメージを提供することである。
本発明のさらに他の目的は、高解像度映像の表現時に光学的不一致と感度不均一を容易に補正することである。
本発明のさらに他の目的は、相異なる透過度を有するカラーフィルタを使用することによって、イメージセンサの構造を変更せずとも、高感度センシング領域と低感度センシング領域とを同時に具現することである。
本発明のさらに他の目的は、デジタルカメラが内蔵される小型デジタル機器の設計自由度を増加させることである。
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解され得る。
前記目的を達成するための本発明の実施形態による高解像度イメージ復元装置は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重複されない１つの単一カラーで形成され、前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュール、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュール、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カールロシア別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュール、及び前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える。
前記目的を達成するための本発明の他の実施形態による高解像度イメージ復元装置は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサとを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、前記生成された中間イメージをデモザイクし、前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える。
前記目的を達成するための本発明のまた他の実施形態による高解像度イメージ復元装置は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える。
前記目的を達成するための本発明のまた他の実施形態による高解像度イメージ復元方法は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む。
また、前記目的を達成するための本発明の実施形態による高解像度イメージ復元方法は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて、前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む。
前記目的を達成するための本発明の他の実施形態による高解像度イメージ復元方法は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む。
前記目的を達成するための本発明のまた他の実施形態による 高解像度イメージ復元方法は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む。
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。
本発明のデジタルカメラモジュールによれば、次のような効果が１つあるいはそれ以上ある。
小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させてデジタルカメラが内蔵される小型デジタル機器の小型化及びスリム化に寄与する長所がある。
小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させつつも、高解像度のイメージを提供できる長所もある。
高解像度映像の表現時に、光学的不一致と感度不均一を容易に補正できる長所もある。
互いに異なる透過度を有するカラーフィルタを使用することによって、イメージセンサの構造を変更せずとも、高感度センシング領域と低感度センシング領域とを同時に具現できるという長所もある。
デジタルカメラが内蔵される小型デジタル機器の設計自由度を増加させる長所もある。
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
一般的に、デジタルカメラは、ピクセル単位の数(ｎｕｍｂｅｒ ｏｆ ｕｎｉｔ ｐｉｘｅｌ）によって該当デジタルカメラの性能を推測できる。ピクセル単位の数が多いほどさらに鮮明な映像が得られるためである。
ピクセル数の他にもレンズの輝度を通じてもデジタルカメラの性能が分かるが、レンズの輝度は、‘Ｆナンバー’または’しぼり値’と呼ばれる。
Ｆナンバーは、デジタルカメラのイメージセンサに到達する単位面積当り光量を表現したものであって、
Figure 2008011529
 すなわち、レンズの焦点距離とレンズ直径との比率で示し得る。
Ｆナンバーが大きいほどデジタルカメラのイメージセンサに到達する単位面積当り光量は減少し、Ｆナンバーが低いほどデジタルカメラのイメージセンサに到達する単位面積当り光量は増加して、明るくかつ高解像度の映像を得られる。
したがって、Ｆナンバーの大きさはデジタルカメラのイメージセンサに到達する光量及びデジタルカメラを通じて得る映像の解像度と密接な関係がある。
もし、レンズの大きさと焦点距離、そしてピクセル数の異なる２台のデジタルカメラでＦナンバーが互いに同一であれば、レンズの大きさと焦点距離、ピクセル数は互いに異なるが、光量が同一なために同じ輝度の映像が得られる。
本発明はこのような原理を用いてレンズの直径と焦点距離とを縮めつつも、高解像度映像を表現できる多数のレンズを含むデジタルカメラモジュールに適用可能な高解像度イメージ復元方法を提案しようとする。
図２Ａは、従来のデジタルカメラの基本構造を示す図面である。
従来のデジタルカメラの基本構造は、被写体から反射された光を集光する直径ＩＤ２である１つのレンズ２０１と、このレンズ２０１で集光された光に反応して電気的な映像信号を生成するピクセル単位（Ｐｉｘｅｌ Ｌｅｖｅｌ）のイメージセンサ２０２を備える。
参考として、レンズ２０１の焦点距離が図２Ａに示してある。
イメージセンサ２０２内には、レンズ２０１が受光した光を元の天然色に具現するベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｎ）のカラーフィルタが含まれており、図２Ａに示されたイメージセンサ２０２は、これを上から見たものである。
ベイヤーパターンは、１９７０年代に発表されてから現在までデジタルイメージの最も重要な基本原理であって、理論の開始は自然界に存在する実際映像は点からなったものではない一方、デジタル映像は点でしか具現できないということから出発する。
対象の輝度と色相とを集めて点からなるイメージを作るために２次元平面上にレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）それぞれの輝度を受け取る点を配置する。
点を配置する時、人の目に最も敏感な緑色（Ｇ）の比率が５０％、レッド（Ｒ）及びブルー（Ｂ）は各々２５％ずつ割り当て、格子網を形成するが、これをベイヤーパターンカラーフィルタという。
ベイヤーパターンカラーフィルタで格子網を形成するそれぞれのピクセルは総天然色を認識するものではなく、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のうち、割当てられた色のみを認識し、後でこれを補間して天然色を類推する。
図２Ｂは、図２Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。
イメージセンサを構成する単位ピクセルの一部分２０２ａ〜２０２ｄについての断面を見ると、イメージセンサ内にベイヤーパターンのカラーフィルタ２０３が含まれていることが分かる。
図３は本発明の実施形態による高解像度イメージ復元装置３００の構成を図示したブロック図である。
本発明の実施形態による高解像度イメージ復元装置３００は入射する光を集光しカラー別に分離された複数のイメージを生成するカメラモジュール３０１、カメラモジュール３０１から提供される複数のイメージを基盤として最終イメージを生成するイメージ生成モジュール３０２およびイメージ生成モジュール３０２から提供される最終イメージをディスプレイするディスプレイモジュール３０３を含む。
カメラモジュール３０１は多数のレンズ４０１と前記多数のレンズに各々対応するサブイメージセンサ４０２を含むが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない一つの単一カラーで形成され前記各サブイメージセンサから各カラー別原イメージを獲得する。
まず、図４Ａないし図４Ｃを通じて本発明の実施形態による高解像度イメージ復元方法が適用可能な多数のレンズを含むデジタルカメラの構造を説明する。
本発明の実施形態による高解像度イメージ復元方法が適用可能な多数のレンズを含むデジタルカメラの構造は、被写体からの反射光を集光する同径の多数のレンズ４０１と被写体からの反射光に反応して電気的な映像信号を生成する多数のサブイメージセンサ４０２を含み、レンズが集光した光を元の天然色に具現する多数のカラー領域に分割されたカラーフィルタがサブイメージセンサ４０２内に備えられる。
参考までに、図４Ｂは、図４Ａに示されたデジタルカメラモジュールの構造を側面から見た図面であって、直径Ｄ３の大きさが同じである多数のレンズから被写体の映像が形成されるイメージセンサまでの焦点距離ｆ３は、いずれも同一であると仮定する。
したがって、同径の多数のレンズ４０１は同一平面上に位置することが望ましい。
また、多数のレンズ配列方式において本発明の実施形態は上下左右を対称形態に配置したが、多数のレンズを横または縦形態の一直線に配列することができ、レンズの数が奇数である場合、１つのレンズを中心に放射状の配列も可能であり、その他にも、本発明で述べていない多様な形態のレンズ配列が可能である。
参考として、多数のレンズ４０１は各レンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動(ｓｈｉｆｔ)し被写体から反射される光を集光し得る。レンズの移動に対しては後に詳細に説明する。
以下、説明の便宜上、４個のレンズが横Ｘ縦２Ｘ２の形に配列された場合を実施形態として説明する。
前述したようにレンズの大きさと焦点距離、そしてピクセル数の異なる２台のデジタルカメラでＦナンバーが互いに同一であれば、レンズの大きさと焦点距離、ピクセル数は互いに異なるが、光量が同一なために同じ輝度の映像を得られるという原理を用いて、本発明の実施形態では、図２に示されたレンズ２０１より小さなレンズ４０１ａ〜４０１ｄと、図２に示されたイメージセンサ２０２よりピクセル数の少ないイメージセンサ４０２ａ〜４０２ｄを使用しており、焦点距離ｆ３は、図２に示された焦点距離ｆ２より短い。
図２に示されたイメージセンサ２０２のピクセル数を４００万ピクセルであると仮定し、図４Ａに示されたサブイメージセンサ４０２ａ〜４０２ｄのピクセル数は各々１００万であると仮定する。
したがって、図４Ａで示されたイメージセンサ４０２は、１００万ピクセルのサブイメージセンサ４０２ａ〜４０２ｄ４個が配列されたイメージセンサとなり、直径の大きさＤ３が同一な各４個のレンズ４０１ａ〜４０１ｄは、各レンズにマッチングされたサブイメージセンサ４０２ａ〜４０２ｄに被写体の映像を生成するようになる。
またサブイメージセンサ４０２ａ〜４０２ｄ内に含まれるカラーフィルタは、各サブイメージセンサ４０２ａ〜４０２ｄの大きさに合わせて４分割されて互いに重畳されない１つの単一カラーでコーティングされる。
前述したカラーフィルタが含まれた１つのサブイメージセンサ４０２ｄを構成する単位ピクセル４０２ｄ−１〜４についての断面が図４Ｃに示されており、同じサブイメージセンサ４０２ｄ内に存在するためにいずれも同じカラーフィルタ４０３を備えている。
この際、カラーフィルタ４０３は、コーティングされるカラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分される。
第１フィルタ領域と第２フィルタ領域にコーティングされるカラーの透過度を異ならせて、光量差を発生させることによって高感度及び低減度イメージセンシングを具現しうる。
フィルタ領域の区分は、カラーフィルタを構成するカラー領域のうち、透過度の最も高いカラー領域を第２フィルタ領域に区分してカラーフィルタから第２カラー領域を除いた残りの部分を第１フィルタ領域に区分することが望ましい。
説明の便宜上、多数個に分割されるカラーフィルタの領域と各サブイメージセンサの図面の表示記号を共に使用して実施形態を説明する。
例えば、図４Ａに示されたサブイメージセンサ４０２ａ〜４０２ｄ内に含まれたカラーフィルタを構成する４分割されたそれぞれのカラー領域、すなわち、グリーン（Ｇ）４０２ａ、レッド（Ｒ）４０２ｂ、ブルー（Ｂ）４０２ｃ、グレイ（Ｇｒ）４０２ｄ領域のうち、透過度の最も高いカラーであるグレイ（Ｇｒ）４０２ｄ領域を第２フィルタ領域に区分すれば、カラーフィルタでグレイ（Ｇｒ）４０２ｄ領域を除いた残りのカラー領域、すなわち、グリーン（Ｇ）４０２ａ、レッド（Ｒ）４０２ｂ、ブルー（Ｂ）４０２ｃ領域が第１フィルタ領域に含まれる。
またカラーフィルタを構成するそれぞれのカラー領域のうち、第２フィルタ領域にはイエロー以外のカラーが形成されることもある。
例えば、ホワイト（Ｗ）、イエロー（Ｙ）、シアン（Ｃｙａｎ）またはマゼンタ（Ｍａｇｅｎｔａ）のうちいずれか１つのカラーを有するカラー領域が形成され得る。
しかし、第２フィルタ領域に形成されるカラーは前述した例に限定されるものではなく、第１フィルタ領域に形成されたカラーに比べて高い透過度を有するカラーであれば、本発明の範ちゅうに属すると見なし得る。
結果的に、図４Ａに示されたカラーフィルタの透過度は、ブルー（Ｂ）、グリーン（Ｇ）、レッド（Ｒ）順に高まり、グレイ（Ｇｒ）は、レッド（Ｒ）より高い透過度を有する。
このように、第２フィルタ領域４０２ｄに該当するカラーの透過度が第１フィルタ領域４０２ａ〜４０２ｃに該当するカラーの透過度より高いカラーフィルタを形成すれば、各カラーフィルタ領域を通過する光量に差が発生する。
これは該当カラーフィルタ領域とマッチングされるサブイメージセンサ４０２ａ〜４０２ｄに到達する光量に差が発生することを意味し、各サブイメージセンサ４０２ａ〜４０２ｄに高感度センシング機能及び低感度センシング機能を同時に具現しうる。
前述したカラーフィルタコーティング方法の実施形態では、写真石版印刷法（Ｐｈｏｔｏ−Ｌｉｔｈｏ ｇｒａｐｈｙ Ｍｅｔｈｏｄ）とインクジェット法（Ｉｎｋｊｅｔ Ｍｅｔｈｏｄ）があり、図５Ａと図５Ｂに示されている。
例えば、グリーン（Ｇ）、レッド（Ｒ）、ブルー（Ｂ）、グレイ（Ｇｒ）の４種の単一カラーをコーティングする場合、写真石版印刷法は、まずイメージセンサ全体にグリーン（Ｇ）カラーをコーティングして５０２、１／４のグリーン（Ｇ）カラーコーティング部分を残した後、残りの３／４のグリーン（Ｇ）カラーコーティングは除去（Ｐａｔｔｅｒｎｉｎｇ）する（５０３）。
グリーン（Ｇ）カラーコーティングを剥がした３／４のイメージセンサ上に、再びレッド（Ｒ）カラーをコーティングして（５０４）、１／４のレッド（Ｒ）カラーコーティング部分を残した後、残りの２／４のレッド（Ｒ）カラーコーティングは除去する（５０５）。
イメージセンサには、グリーン（Ｇ）、レッド（Ｒ）カラーが各々１／４ずつコーティングされており、残りの２／４だけのコーティングはグリーン（Ｇ）、レッド（Ｒ）カラーコーティング法のようにブルー（Ｂ）、グレイ（Ｇｒ）コーティングができる（５０６〜５０８）。
写真石版印刷法は、ベイヤーパターンカラーフィルタ工程に比べて容易な長所がある。
図５Ｂは、２番目のコーティング方法の実施形態であるインクジェットコーティング法を示す図面である。
インクジェットコーティング法は、イメージセンサにレンズの数と同じ４個の分割壁を形成し（５１０）、各分割された１／４の空間に所望のカラーのインクをコーティングしてカラーフィルタを生成する方法である（５１１〜５１４）。
インクジェットコーティング法は、非常に簡単な工程であり、インクが節減される効果と共にセンサの製造コストを減少させうる長所がある。
前述した方法でコーティングされたカラーフィルタは、各レンズと各サブイメージセンサにマッチングされる。
例えば、図４Ａでサブイメージセンサ４０２ａ〜４０２ｄに各々グリーン（Ｇ）カラーフィルタ、レッド（Ｒ）カラーフィルタ、ブルー（Ｂ）カラーフィルタ、グレイ（Ｇｒ）カラーフィルタが含まれた場合、第１レンズ４０１ａを介して入射された被写体の光は、第１レンズ４０１ａとマッチングされたサブイメージセンサ４０２ａ内のグリーン（Ｇ）カラーフィルタによりグリーン（Ｇ）カラーの映像が形成され、第２レンズ４０１ｂを介して入射された映像は、第２レンズ４０１ｂとマッチングされたサブイメージセンサ４０２ｂ内のレッド（Ｒ）カラーフィルタによりレッド（Ｒ）カラーの映像が形成される。
このような方法で第３レンズ４０１ｃ、第４レンズ４０１ｄを介して入射された被写体の光は、各レンズとマッチングされたサブイメージセンサ４０２ｃ、４０２ｄ内のカラーフィルタによりブルー（Ｂ）カラーの映像と、グレイ（Ｇｒ）カラーの映像とが各々形成される。
すなわち、４個のレンズ４０１ａ〜４０１ｄを介して各々入射された被写体の光は、各レンズ４０１ａ〜４０１ｄとマッチングされる各サブイメージセンサ４０２ａ〜４０２ｄ内のカラーフィルタを介して該当カラーフィルタのカラーを有する映像を形成し、各サブイメージセンサ４０２ａ〜４０２ｄにはカラーの異なる同じ大きさの映像が４つ存在するようになる。
以下、図４Ａを参照して高解像度イメージ復元装置５００を説明する。
図４Ａに示されたカメラモジュール５０１は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する。
一方、イメージ生成モジュール３０２は、カメラモジュール３０１からカラー別に分離された多数のイメージを提供され、最終イメージを生成する役割を果たす。
このために、イメージ生成モジュール３０２は、原イメージ生成モジュール３０２ａ、中間イメージ生成モジュール３０２ｂ及び最終イメージ生成モジュール３０２ｃを含んで構成される。
本発明の実施形態によるイメージ生成モジュール３０２で原イメージ生成モジュール３０２ａはカメラモジュール３０１から提供されるカラー別に分離された多数のイメージを入力される。
すなわち、原イメージ生成モジュール３０２ａは、図４Ａに示されたグリーンカラーフィルタが含まれたサブイメージセンサ４０２ａにより獲得されたグリーンカラーイメージ、レッドカラーフィルタが含まれたサブイメージセンサ４０２ｂにより獲得されたレッドカラーイメージ、ブルーカラーフィルタが含まれたサブイメージセンサ４０２ｃにより獲得されたブルーカラーイメージ及びグレイカラーフィルタが含まれたサブイメージセンサ４０２ｄにより獲得されたグレイカラーイメージを入力される。
この際、グリーンカラーイメージ、レッドカラーイメージ及びブルーカラーイメージは後述する最終イメージ生成モジュール３０２ｃを介して最終イメージを生成するのに必要なカラー情報を提供する役割を果たす。
一方、グレイカラーイメージは、最終イメージの生成に必要な輝度情報を提供する役割を果たす。
また、原イメージ生成モジュール３０２ａは前述した各カラー別に獲得された原イメージが前記各サブイメージセンサ４０２ａ〜４０２ｄ内の定められた位置から外れた場合、原イメージの位置を補正し、各カラー別に獲得されたイメージの感度が不均一な場合、各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準としての頃の原イメージの感度を補正する。
図６は原イメージ生成モジュール３０２ａの原イメージ位置補正と感度不均一補正の方法を図示した図である。
位置が固定された４個のレンズ４０１ａ〜４０１ｄによって各々入射された被写体の光は各レンズ４０１ａ〜４０１ｄ内のカラーフィルタを通して該当カラーフィルタのカラーを有する映像を形成すれば、原イメージ生成モジュール３０２ａは各サブイメージセンサ４０２ａ〜４０２ｄで各映像の位置をチェックする。
図６には各サブイメージセンサ４０２ａ〜４０２ｄに形成された各映像の位置６０１〜８０４が図示されている。
６０１はサブイメージセンサ４０２ａに形成された映像を図示したもので、本発明の実施形態では位置が固定された４個のレンズ４０１ａ〜４０１ｄを所定のピクセル分だけ移動させない限り、６０１のようにサブイメージセンサ４０２ａの中央に映像が位置することを正常位置、すなわち映像の定められた位置と定義するようにし点線の四角形８０５で表示されている。
６０２はサブイメージセンサ４０２ｂに形成された映像を図示したもので、定められた位置から左側方向に１ピクセル分だけ移動されており、８０３はサブイメージセンサ４０２ｂに形成された映像を図示するもので定められた位置から下方向に１ピクセル分だけ移動されている。
８０４はサブイメージセンサ４０２ｄに形成された映像を図示したもので、定められた位置から対角線方向に、すなわち右側方向および下方向に１ピクセル分ずつ移動されている。
図６で見たように各サブイメージセンサ４０２ａ〜４０２ｄに映像が定められた位置から外れた理由は光学的不一致（Ｏｐｔｉｃａｌ Ｍｉｓａｌｉｇｎｍｅｎｔ)が原因であり得、一般的に光学的不一致が発生するようになればサブイメージセンサに形成される映像の位置が定められた位置から外れるため、鮮明な映像を得るのが難しくなる。
次に、本発明の原イメージ生成モジュール３０２ａは光学的不一致によって定められた位置から外れた映像をソフトウェア的に補正し得る。
例えば、６０２の場合、定められた位置から左側方向に１ピクセル分だけ外れているため該当映像を改めて右側に移動し、８０３の場合は上方向に１ピクセルを、８０４の場合は左側方向に１ピクセル移動し、改めて上方向に移動したり、上方向に１ピクセル移動した後、左方向に１ピクセルを移動し光学的不一致による映像の位置を補正し得る。
また、原イメージ生成モジュール３０２ａは感度不均一（ｎｏｎ ｕｎｉｆｏｒｍｉｔｙ）を補正し得る。
改めて図６を参照して説明する。
６０１で映像の感度が１０、６０２で映像の感度が９、８０３で映像の感度が８、８０４で映像の感度が７であると仮定すれば、原イメージ生成モジュール３０２ａは最も低い感度を有する８０４での映像の感度７を基準として残り映像感度が７になるように調整し感度の不均一を補正し得る。
前述した過程を通し、各カラー別イメージは後述する中間イメージ生成モジュール３０２ｂに提供される。
中間イメージ生成モジュール３０２ｂは、原イメージ生成モジュール３０２ａから提供された各カラー別イメージから同じ位置のピクセルが有するピクセル情報を再配置し、前記カラー別イメージより高い解像度を有する中間イメージを生成する。
ここで中間イメージとは、各サブイメージセンサに形成された各映像、すなわち原イメージと区分するために使用される用語であって、原イメージで同一な位置のピクセルが有するピクセル情報を再配置して原イメージより高い解像度を有するイメージを意味する。
しかし、中間イメージが高い解像度を有する最終的なイメージを意味するものではなく、中間イメージはデモザイク又はデブラーリングのような過程を経て最終イメージとして作られる。
一方、生成された中間イメージは、多数のサブイメージセンサ４０２ａ〜４０２ｄが配列されたイメージセンサ４０２と同じ解像度を有することが望ましい。
例えば、各サブイメージセンサ４０２ａ〜４０２ｄが４×４の解像度を有する場合、中間イメージはイメージセンサと同じ８×８の解像度を有することが好ましい。
中間イメージは、後述する最終イメージ生成モジュール３０２ｃに提供される。
最終イメージ生成モジュール３０２ｃは、中間イメージ生成モジュール３０２ｂから提供された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する役割を果たす。
中間イメージ及び最終イメージ生成についてのさらに具体的な説明は図６Ａないし図６Ｂを参照して後述する。
ディスプレイモジュール３０３は、最終イメージ生成モジュール３０２ｃから提供された最終イメージをディスプレイする役割を果たす。
このようなディスプレイモジュール３０３は、例えば、平板ディスプレイ、タッチスクリーンなどの形態に具現され得る。
図７Ａないし７Ｂは本発明の実施形態による中間イメージ生成方法を図示した図である。
図７Ａないし７Ｂを参照し高解像度イメージ復元方法を説明するに先立ち、図３に図示された装置３００のうちカメラモジュール３０１の４個のレンズは位置が固定された一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動され位置すると仮定する。
ここで所定のピクセル分だけの移動は移動長さおよび移動方向すべてを含むもので実施形態によって異なることがある。
万一、図７ａのような同一な大きさの四角形４個で成された被写体７０１をカメラモジュール３０１を使用して撮影するとするとき、一つのレンズ４０１ａは被写体のうちＡと付された四角形７０１ａを撮影するように位置が固定されており、残りの他のレンズは４０１ｂ〜４０１ｃは各々Ｂ ７０１ｂ、Ｃ ７０１ｃ、Ｄ ７０１ｄと付された四角形を撮影するように、一つのレンズ４０１ａを基準として定められた位置の分だけ移動されていると仮定しよう。
ここで所定の位置分だけの移動は、四角形Ｂ７０１ｂを撮影するレンズは四角形Ａ ７０１ａを撮影するレンズを基準として右側に所定位置分だけ移動しなければならないものであり、四角形Ｃ ７０１ｃを撮影するレンズは四角形Ａ ７０１ａを基準として下方向に所定の位置分だけ移動しなければならない。
また、四角形Ｄ ７０１ｄを撮影するレンズは四角形Ａ ７０１ａを基準として対角線方向又は右側方向と下方向に所定の位置分だけ移動しなければならないことを意味する。
各レンズを通して各サブイメージセンサ４０２ａ〜４０２ｄに形成されたイメージは各々四角形Ａ、Ｂ、Ｃ、Ｄ ７０２ａ〜９０２ｄを撮影したイメージとなる。
このとき、各レンズにマッチングされるサブイメージセンサの画素が１００万画素であるとすれば、四角形Ａ、Ｂ、Ｃ、Ｄ ７０２ａ〜７０２ｄを撮影したイメージを被写体の形の通り配列し一つのイメージに作る場合（図面で＋記号で表示）、４００万画素を有するカメラを使用して前記被写体全体を撮影したイメージ７０４と同一な画素を有するイメージ７０３を生成し得る。
図７Ｂは本発明の実施形態による中間イメージ生成方法を図示した図である。
図７Ａを参照し説明したようの原理を利用し、被写体７０５を撮影するカメラモジュール３０１の４個のレンズ４０１ａ〜４０１ｄのうち一つのレンズ４０１ａは位置を固定し、残りの他のレンズ４０１ｂ〜４０１ｄは一つのレンズ４０１ａを基準として各々１ピクセルずつ移動されたピクセルから撮影されるようにレンズを移動する。
すなわち、一つのレンズ４０１ａを基準として右側に１ピクセル、下方向に１ピクセル、対角線方向に１ピクセルまたは右側方向そして下方向に１ピクセルずつ移動されたピクセルから撮影するようにレンズの位置を移動させるものである。
このようなレンズの構造を有するカメラモジュール３０１によって中間イメージ生成モジュール３０２ｂはカラー別に獲得した原イメージ７０６の同一な位置のピクセルが有するピクセル情報を再配置し原イメージよりさらに高い解像度を有する中間イメージ７０７を生成する。
最終イメージ生成モジュール３０２ｃは中間イメージ生成モジュールで生成された中間イメージ７０７をデモザイクし、デモザイクされたイメージをデブラーリングし原イメージを高解像度を有する最終イメージに復元する。
便宜上、図７Ｂを参照し説明したイメージ生成モジュール３０２を第１イメージ生成モジュールと称する。
図８は本発明の他の実施形態によるイメージ生成モジュール３０２を通した高解像度イメージ復元方法を図示した図である。
カメラモジュール３０１に対する説明は前述したカメラモジュールの説明と同一であるため省略する。
一方、イメージ生成モジュール３０２の原イメージ生成モジュール３０２ａは、前述したカメラモジュール３０１からカラー別に獲得された原イメージを各々複数のピクセルグループに区分し、中間イメージ生成モジュール３０２ｂは、図８に示されたサブイメージセンサ４０２ａ〜４０２ｄと同じ解像度を有する第１中間イメージ８０２を生成する。
ここで、第１中間イメージ８０２は、図８に示された横×縦に各々２×２個の仮想ピクセルを単位とする多数のピクセルグループ８０３〜８０５に区分し得る。
ここで、各ピクセルグループ８０３〜８０５は、カラー情報及び輝度情報がマッピングされるメインピクセル８０３ａ、８０４ａ、８０５ａ及び、メインピクセル８０３ａ、８０４ａ、８０５ａの周辺に位置し、情報を保有していないサブピクセル８０３ｂ、８０４ｂ、８０５ｂに区分し得る。
メインピクセル８０３ａ、８０４ａ、８０５ａの位置は、該当ピクセルグループ８０３〜８０５で多様な位置に指定され得る。
例えば、図６のように、２×２の各ピクセルグループ８０３〜８０５で、第１行の第１列に該当する位置８０３ａ、８０４ａ、８０５ａがメインピクセルの位置に指定されるか、あるいは、各ピクセルグループで第１行の第２列に該当する位置８０３ｂ、８０４ｂ、８０５ｂがメインピクセルの位置に指定され得る。
このように、第１中間イメージ８０２が生成されれば、中間イメージ生成モジュール３０２ｂは各カラー別イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループのメインピクセルにマッピングする。
例えば、中間イメージ生成モジュール３０２ｂは、各カラー別イメージの第１行と第１列に位置したピクセルのピクセル情報を、第１中間イメージ８０２で第１行と第１列とに位置したピクセルグループ８０３のメインピクセル８０３ａにマッピングする。
同様に、中間イメージ生成モジュール８０２ｂは、各カラー別イメージの第１行の第２列に位置したピクセルのピクセル情報を、第１中間イメージ８０２で第１行と第２列に位置したピクセルグループ８０４のメインピクセル８０４ａにマッピングする。
また、中間イメージ生成モジュール３０２ｂは、各カラー別イメージで同じ位置のピクセルが有するピクセル情報のうち、カラー情報を基盤に輝度情報を算出し、前記算出された輝度情報を各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０３ｂにマッピングする。
例えば、中間イメージ生成モジュール３０２ｂは、グリーン、レッド及びブルーカラーイメージの第１行と第１列に位置したピクセルから提供されたカラー情報を基盤に輝度情報を算出する。
そして、第１中間イメージ８０２で第１行と第１列に位置したピクセルグループのメインピクセルに算出された輝度情報をマッピングする。
図８を参照すれば、各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０３ｂには、３つのサブイメージセンサ８０２ａ〜８０２ｃで各々提供されたグリーン、レッド、ブルーカラー情報（Ｇ、Ｒ、Ｂ）、残りのサブイメージセンサ４０２ｄから提供された輝度情報を表すグレイカラー情報（Ｇｒ）がマッピングされていることが分かり、図８に示されていないが、３色のカラー情報から検出された輝度情報（Ｙ）がさらにマッピングされ得る。
一例として、第１ピクセルグループ８０３のメインピクセル８０３ａには、グリーンカラーイメージで第１行の第１列に位置したピクセルが有するグリーンカラー情報、レッドカラーイメージで第１行の第１列に位置したピクセルが有するレッドカラー情報、ブルーカラーイメージで第１行の第１列に位置したピクセルが有するブルーカラー情報、グレイカラーイメージで第１行の第１列に位置したピクセルが有する輝度情報を示すグレイカラー情報及び、３個のカラー情報を基盤に検出された輝度情報がマッピングされる。
これと同様に、第２ピクセルグループ８０４のメインピクセル８０４ａには、グリーンカラーイメージで第１行の第２列に位置したピクセルが有するグリーンカラー情報、レッドカラーイメージで第１行の第２列に位置したピクセルが有するレッドカラー情報、ブルーカラーイメージで第１行の第２列に位置したピクセルが有するブルーカラー情報、グレイカラーイメージで第１行の第２列に位置したピクセルが有する輝度情報であるグレイカラー及び既提供された３個のカラー情報を基盤に検出された輝度情報がマッピングされる。
これにより、中間イメージ生成モジュール３０２ｂは、各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０５ａに３個のカラー情報及び２個の輝度情報がマッピングされた第２中間イメージ８０６を生成する。
次いで、中間イメージ生成モジュール３０２ｂは、補間法（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を使用して第２中間イメージ８０６を補間する。
すなわち、図５に示された中間イメージ生成モジュール３０２ｂは、図８に示された各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０５ａが保有した情報を基盤にサブピクセル８０３ｂ〜８０５ｂに記録されるピクセル情報を算出する。
この際、中間イメージ生成モジュール３０２ｂは、多様なアルゴリズムによって第２中間イメージ８０６を補間し得る。
一例として、第２中間イメージ８０６で各サブピクセルに記録されるピクセル情報は、該当サブピクセルと隣接したメインピクセルが有する情報から算出され得る。
具体的に、図８において、第１ピクセルグループ８０３のメインピクセル８０３ａと第２ピクセルグループ８０４のメインピクセル８０４ａ間に位置したサブピクセル８０３ｂに記録されるピクセル情報は２つのメインピクセル８０３ａ、８０４ａが有するピクセル情報の平均値８０７に指定され得る。
同様に、第２ピクセルグループ８０４のメインピクセル８０４ａと第３ピクセルグループ８０５のメインピクセル８０５ａ間に位置したサブピクセル８０４ｂに記録されるピクセル情報は２つのメインピクセル８０４ａ、８０５ａが有するピクセル情報の平均値８０８に指定され得る。
このような方法により第２中間イメージ８０６の補間がなされれば、最終イメージ生成モジュール３０２ｃは補間された第２中間イメージ８０６をデブラーリング（ｄｅ−ｂｌｕｒｒｉｎｇ）する。
その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度）のカラー別原イメージから高解像度（すなわち、サブイメージセンサの解像度×４）の最終イメージ８０９を生成する。
便宜上、図８を参照して説明したイメージ生成モジュール３０２を第２イメージ生成モジュールと称する。
図９は、本発明の第２実施形態によるカメラモジュールの構造を示す図面である。
本発明の第２実施形態によるカメラモジュールは、図４Ａの第１実施形態によるカメラモジュールに比べて下記を除いては同じ構成要素を有する。
すなわち、第２実施形態によるカメラモジュールは、多数のレンズ９０１ａ〜９０１ｄが互いに異なる色を有する。
ここで、多数のレンズ９０１ａ〜９０１ｄは、透過度によって第１グループと第２グループとに区分しうる。
この際、第２グループに含まれるレンズは、第１グループに含まれるレンズに比べて透過度の高い色を有することが望ましい。
具体的に、４個のレンズのうち、第１グループに該当する第１レンズ９０１ａ、第２レンズ９０１ｂ及び第３レンズ９０１ｃは、各々グリーン、レッド及びブルーカラーを有し、第２グループに含まれる第４レンズ９０１ｄはグリーン、レッド及びブルーカラーに比べて透過度の高い色、例えば、グレイカラーを有することが望ましい。
このように、多数のレンズ９０１ａ〜９０１ｄが各々異なる色を有する場合、各サブイメージセンサ９０２ａ〜９０２ｄには別途のカラーフィルタ層が形成されない。
そして、イメージセンサ９０２は、各レンズ９０１ａ〜９０１ｄに対応するサブイメージセンサ９０２ａ〜９０２ｄに分割され、各レンズ９０１ａ〜９０１ｄによりカラー別に分離されたイメージを獲得しうる。
前記カラー別に分離された映像は、図３に示されたイメージ生成モジュール３０２を通じてカメラモジュール３０１からカラー別に分離された多数のイメージを提供され、最終イメージを生成してディスプレイモジュール３０３を通じてディスプレイされる。
最終イメージを生成するイメージ生成モジュール３０２に関する説明は、図３ないし図８を参照して説明した内容と同一である。
次いで、図１０ないし図１１を参照して本発明の実施形態による高解像度イメージ復元方法を説明する。
ここで、図１０は、前記図４Ａに示された構造のカメラモジュールと図７Ｂを参照して説明した第１イメージ生成モジュールを通じた高解像度イメージ復元方法を示すフローチャートである。
まず、説明の便宜上、図７Ｂでイメージセンサ４０２を構成するサブイメージセンサ４０２ａ〜４０２ｄ内に各々グリーン、レッド、ブルー及びグレイカラーフィルタが含まれており、イメージセンサ４０２は横×縦が８×８個のピクセルで構成され、イメージセンサ４０２を構成するそれぞれのサブイメージセンサ４０２ａ〜４０２ｄは、横×縦が４×４個のピクセルからなると仮定する。
被写体７０５からの反射光は、４個のレンズ４０１ａ〜４０１ｄを通じて各々集光される（Ｓ１００１）。
各レンズ４０１ａ〜４０１ｄを通じて集光された光は、各レンズ４０１ａ〜４０１ｄとマッチングされる各サブイメージセンサ４０２ａ〜４０２ｄ内に含まれたカラーフィルタを透過する（Ｓ１００２）。
その結果、各サブイメージセンサ４０２ａ〜４０２ｄにカラー別に分離された多数のイメージが獲得される（Ｓ１００３）。
この際、各サブイメージセンサ４０２ａ〜４０２ｄにより獲得されたイメージは、イメージセンサ４０２の解像度に比べて１／４に該当する解像度を有する。
すなわち、イメージセンサ４０２の解像度が８×８であるために、各サブイメージセンサ４０２ａ〜４０２ｄにより獲得されたイメージは、４×４の解像度を有する。
Ｓ１００３後、イメージ生成モジュール３０２はＳ１００３で獲得された多数の原イメージ７０６が各サブイメージセンサ４０１ａ〜４０１ｄで定められた位置に存在するのかをチェックする（Ｓ１００４）。
チェックの結果、定められた位置から外れたとすれば、定められた位置に原イメージが位置するように位置を補正する（Ｓ１００５）。
もし、原イメージが定められた位置に存在すれば、イメージ生成モジュール３０２は多数の原イメージ７０６の感度をチェックする（Ｓ１００６）。
チェックの結果、感度が不均一な場合、イメージ生成モジュールは原イメージのうち最も低い感度を基準として原イメージの感度を補正する（Ｓ１００７）。
もし、感度が一定ならば、イメージ生成モジュール３０２は、多数のカラー別イメージを入力されて原イメージを生成し、多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して各カラー別原イメージより高解像度を有する中間イメージ７０７を生成する（Ｓ１００８）。
Ｓ１００８後、中間イメージをデモザイクし（Ｓ１００９）、デモザイクされたイメージをデブラーリングして最終イメージを生成する（Ｓ１０１０）。
Ｓ１０１０後、イメージ生成モジュール３０２により生成された最終イメージはディスプレイモジュール３０３を通じてディスプレイされる（Ｓ１０１１）。
図１１は、図４Ａに示された構造のカメラモジュールと図８を参照して説明した第２イメージ生成モジュールを通じた高解像度イメージ復元方法を示すフローチャートである。
まず、図４Ａに示された装置のカメラモジュール３０１から多数のカラー別原イメージが提供される過程は、図１０に示されたＳ１００１〜Ｓ１００７と同一であり、原イメージ生成モジュール３０２ａは、原イメージを図８に示された横×縦に各々２×２個の仮想ピクセルを単位とする多数のピクセルグループ３０３〜３０５に区分する（Ｓ１１０１）。
Ｓ１１０１後、中間イメージ生成モジュール３０２ｂは、図６に示されたイメージセンサ４０２と同じ解像度を有する第１中間イメージ８０２を生成する（Ｓ１１０２）。
第１中間イメージ８０２が生成されれば、中間イメージ生成モジュール３０２ｂは、各カラー別イメージで同じ位置のピクセルが有するピクセル情報を、前記位置に対応するピクセルグループのメインピクセルにマッピングする（Ｓ１１０３）。
Ｓ１１０３後、中間イメージ生成モジュール３０２ｂは、各ピクセルグループ８０３〜８０５のメインピクセル８０３Ａ〜８０５ａに３個のカラー情報及び２個の輝度情報がマッピングされた第２中間イメージ８０６を生成する（Ｓ１１０４）。
次いで、中間イメージ生成モジュール３０２ｂは、補間法を使用して、第２中間イメージ８０６を補間する（Ｓ１１０５）。
このような方法により第２中間イメージ８０６の補間がなされれば、最終イメージ生成モジュール３０２ｃは、補間された第２中間イメージ８０６をデブラーリングする（Ｓ１１０６）。
その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度）のカラー別原イメージから高解像度（すなわち、サブイメージセンサの解像度×４）の最終イメージ８０９を生成し、ディスプレイモジュール３０３を通じてディスプレイされる（Ｓ１１０７）。
一方、図９に示された構造のカメラモジュールと図７Ｂで説明した第１イメージ生成モジュールとによる高解像度イメージ復元方法は、図１０に示されたＳ１００１〜Ｓ１００７の内容で、カラーフィルタの代わりにカラーレンズを通じて光を集光し、サブイメージセンサにカラー別に分離された原イメージを獲得するという点を除いては、いずれも同一であり、図８を通じて説明した第２イメージ生成モジュールを通じた高解像度イメージ復元方法も図１１に示されたＳ１００１〜Ｓ１００７の内容で、カラーフィルタの代わりにカラーレンズを通じて光を集光し、サブイメージセンサにカラー別に分離された原イメージを獲得するという内容が適用されて、結局図１１に示されたイメージ復元方法といずれも同一である。
前述した内容を総合してみれば、図２で図示されたレンズより相対的に小さいレンズ４個のレンズと相対的に短い焦点距離そして図２に図示された４００万ピクセルのイメージセンサより相対的に小さい数のピクセルである１００万ピクセルを有するイメージセンサ４個を含むデジタルカメラ構造は、Ｆナンバーが同一であるため図２に図示された４００万ピクセルの映像と同一な映像の明るさを有するようになり所定の過程を経て図４に図示されたイメージセンサの１００万ピクセル映像４個を利用して図２に図示された４００万ピクセルの映像と同等な解像度を有する映像を復元し得る。
相対的に小さいレンズと短い焦点距離を有する構造であるためデジタルカメラの小型化とスリム化を達成しつつ同等な解像度を有する映像を得ることができる。
以上、添付図を参照して本発明の実施例を説明したが、 本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施され得るということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
本発明の高解像度イメージ復元装置及び方法は、デジタルカメラ関連の技術分野に好適に適用され得る。
従来の小型デジタル機器に内蔵されたデジタルカメラの原理を簡単に示す図である。 従来のデジタルカメラの基本構造を示す図である。 図２Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。 本実施形態による高解像度イメージ復元装置３００の構成を図示したブロック図である 本発明の実施形態によるデジタルカメラの構造を示す図である。 本発明の実施形態によるデジタルカメラの構造を示す図である。 図４Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。 本発明の実施形態によるカラーフィルタコーティング方法である。 本発明の実施形態によるカラーフィルタコーティング方法である。 本発明の実施例による原イメージ生成モジュール３０２ａの原イメージ位置補正と感度不均一補正の方法を図示した図である。 本発明の実施例による中間イメージ生成方法を図示した図である。 本発明の実施例による中間イメージ生成方法を図示した図である。 本発明の実施例によるイメージ生成モジュール３０２による高解像度イメージ復元方法を図示した図である。 本発明の第２実施形態によるカメラモジュールの構成を図示した図である。 図４Ａに図示された構造のカメラモジュールと図７Ｂを参照して説明した第１イメージ生成モジュールによる高解像度イメージ復元方法を示すフローチャートである。 図４Ａに図示された構造のカメラモジュールと図８を参照して説明した第２イメージ生成モジュールによる高解像度イメージ復元方法を示すフローチャートである。
符号の説明
４０１ａ〜４０１ｄ 第１レンズ〜第４レンズ
４０２ａ〜４０２ｄ 第１レンズ〜第４レンズと各々マッチングされるサブイメージセンサ
４０２ ４個のサブイメージセンサが配列されたイメージセンサ
４０２ｄ−１〜４０２ｄ−４ サブイメージセンサを構成する単位ピクセル

Claims (44)

  1. 多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
    前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、
    前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、
    前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
  2. 前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項１に記載の高解像度イメージ復元装置。
  3. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１に記載の高解像度イメージ復元装置。
  4. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１に記載の高解像度イメージ復元装置。
  5. 前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項１に記載の高解像度イメージ復元装置。
  6. 多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
    前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、
    前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、
    前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
  7. 前記原イメージ生成モジュールは、前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項６に記載の高解像度イメージ復元装置。
  8. 前記原イメージ生成モジュールは、前記各カラー別に獲得された原イメージが前記各サブイメージセンサの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項６に記載の高解像度イメージ復元装置。
  9. 前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項６に記載の高解像度イメージ復元装置。
  10. 前記ピクセルグループは、前記カラーフィルタの配列パターンに対応する複数のピクセルを含む請求項６に記載の高解像度イメージ復元装置。
  11. 前記ピクセル情報は、前記第１フィルタ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２フィルタ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項６に記載の高解像度イメージ復元装置。
  12. 多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサとを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
    前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、
    前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、
    前記生成された中間イメージをデモザイクし、前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
  13. 先記多数のレンズは各レンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射される光を集光する請求項１２に記載の高解像度イメージ復元装置。
  14. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１２に記載の高解像度イメージ復元装置。
  15. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１２に記載の高解像度イメージ復元装置。
  16. 前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項７に記載の高解像度イメージ復元装置。
  17. 多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
    前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、
    前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、
    前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
  18. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１７に記載の高解像度イメージ復元装置。
  19. 前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１７に記載の高解像度イメージ復元装置。
  20. 前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項１７に記載の高解像度イメージ復元装置。
  21. 前記ピクセルグループは、前記カラーレンズの配列パターンに対応する複数のピクセルを含む請求項１７に記載の高解像度イメージ復元装置。
  22. 前記ピクセル情報は、前記第１レンズ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２レンズ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項１７に記載の高解像度イメージ復元装置。
  23. 多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
    前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、
    前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、
    前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングし、デブラーリングされたイメージから最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
  24. 前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項２３に記載の高解像度イメージ復元方法。
  25. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項２３に記載の高解像度イメージ復元方法。
  26. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項２３に記載の高解像度イメージ復元方法。
  27. 前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項２３に記載の高解像度イメージ復元方法。
  28. 多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて、前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
    前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、
    前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、
    前記中間イメージを、補間アルゴリズムを基盤に復元してデブラーリングし、デブラーリングされたイメージから最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
  29. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項２８に記載の高解像度イメージ復元方法。
  30. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項２８に記載の高解像度イメージ復元方法。
  31. 前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項２８に記載の高解像度イメージ復元方法。
  32. 前記ピクセルグループは、前記カラーフィルタの配列パターンに対応する複数のピクセルを含む請求項２８に記載の高解像度イメージ復元方法。
  33. 前記ピクセル情報は、前記第１フィルタ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２フィルタ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項２８に記載の高解像度イメージ復元方法。
  34. 多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
    前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、
    前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、
    前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
  35. 前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項３４に記載の高解像度イメージ復元方法。
  36. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項３４に記載の高解像度イメージ復元方法。
  37. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項３４に記載の高解像度イメージ復元方法。
  38. 前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項３４に記載の高解像度イメージ
    復元方法。
  39. 多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
    前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、
    前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、
    前記中間イメージを、補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む高解像度イメージ復元方法。
  40. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項３９に記載の高解像度イメージ復元方法。
  41. 前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項３９に記載の高解像度イメージ復元方法。
  42. 前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項３９に記載の高解像度イメージ復元方法。
  43. 前記ピクセルグループは、前記カラーレンズの配列パターンに対応する複数のピクセルを含む請求項３９に記載の高解像度イメージ復元方法。
  44. 前記ピクセル情報は、前記第１レンズ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２レンズ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項３９に記載の高解像度イメージ復元方法。
JP2007166290A 2006-06-26 2007-06-25 高解像度イメージ復元装置及び方法 Pending JP2008011529A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060057660 2006-06-26
KR1020060105348A KR100781552B1 (ko) 2006-06-26 2006-10-27 고해상도 이미지 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2008011529A true JP2008011529A (ja) 2008-01-17

Family

ID=38748117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166290A Pending JP2008011529A (ja) 2006-06-26 2007-06-25 高解像度イメージ復元装置及び方法

Country Status (3)

Country Link
US (1) US20080122946A1 (ja)
EP (1) EP1874034A3 (ja)
JP (1) JP2008011529A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012049257A (ja) * 2010-08-25 2012-03-08 Toshiba Corp 固体撮像装置
JP2012195902A (ja) * 2011-03-18 2012-10-11 Toshiba Corp カメラモジュール、画像処理装置及び画像処理方法
US8339483B2 (en) 2009-08-19 2012-12-25 Kabushiki Kaisha Toshiba Image processing device, solid-state imaging device, and camera module
US8542290B2 (en) 2009-12-24 2013-09-24 Kabushiki Kaisha Toshiba Camera module, image processing apparatus, and image recording method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326069B2 (en) * 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
DE102011100350A1 (de) * 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Bildsensor mit einstellbarer Auflösung
US8866899B2 (en) * 2011-06-07 2014-10-21 Photon Dynamics Inc. Systems and methods for defect detection using a whole raw image
CN104350743B (zh) * 2012-05-11 2017-10-13 英特尔公司 用于混合图像去马赛克和扭曲的系统，方法和计算机程序产品
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
WO2019082232A1 (ja) * 2017-10-23 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
JP7027023B2 (ja) * 2020-03-16 2022-03-01 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135796A (ja) * 2000-10-25 2002-05-10 Canon Inc 撮像装置
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
WO2005072370A2 (en) * 2004-01-26 2005-08-11 Digital Optics Corporation Thin camera having sub-pixel resolution
JP2006066596A (ja) * 2004-08-26 2006-03-09 Fuji Photo Film Co Ltd 撮像素子、着色マイクロレンズアレイの製造方法、および画像撮影装置
JP2008005488A (ja) * 2006-06-19 2008-01-10 Samsung Electro Mech Co Ltd カメラモジュール
JP2008011528A (ja) * 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd デジタルカメラモジュール

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
WO2005057278A1 (en) * 2003-12-11 2005-06-23 Nokia Corporation Method and device for capturing multiple images
US20050128509A1 (en) * 2003-12-11 2005-06-16 Timo Tokkonen Image creating method and imaging device
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7566853B2 (en) * 2005-08-12 2009-07-28 Tessera, Inc. Image sensor employing a plurality of photodetector arrays and/or rear-illuminated architecture
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135796A (ja) * 2000-10-25 2002-05-10 Canon Inc 撮像装置
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
WO2005072370A2 (en) * 2004-01-26 2005-08-11 Digital Optics Corporation Thin camera having sub-pixel resolution
JP2006066596A (ja) * 2004-08-26 2006-03-09 Fuji Photo Film Co Ltd 撮像素子、着色マイクロレンズアレイの製造方法、および画像撮影装置
JP2008005488A (ja) * 2006-06-19 2008-01-10 Samsung Electro Mech Co Ltd カメラモジュール
JP2008011528A (ja) * 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd デジタルカメラモジュール

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339483B2 (en) 2009-08-19 2012-12-25 Kabushiki Kaisha Toshiba Image processing device, solid-state imaging device, and camera module
US8542290B2 (en) 2009-12-24 2013-09-24 Kabushiki Kaisha Toshiba Camera module, image processing apparatus, and image recording method
JP2012049257A (ja) * 2010-08-25 2012-03-08 Toshiba Corp 固体撮像装置
US8711267B2 (en) 2010-08-25 2014-04-29 Kabushiki Kaisha Toshiba Solid-state imaging device
JP2012195902A (ja) * 2011-03-18 2012-10-11 Toshiba Corp カメラモジュール、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20080122946A1 (en) 2008-05-29
EP1874034A3 (en) 2011-12-21
EP1874034A2 (en) 2008-01-02

Similar Documents

Publication Publication Date Title
KR100781552B1 (ko) 고해상도 이미지 복원 장치 및 방법
JP2008011529A (ja) 高解像度イメージ復元装置及び方法
US10027918B2 (en) Imaging module that captures subject images having different characteristics and imaging device
CN109963059B (zh) 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US7864233B2 (en) Image photographing device and method
JP5701785B2 (ja) カメラモジュール
US9344620B2 (en) Imaging device and method for controlling same
JP5778873B2 (ja) 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
KR100827242B1 (ko) 이미지 복원 방법 및 장치
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN103597811B (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
EP2690873A1 (en) Color imaging element, imaging device, and imaging program
JP5615756B2 (ja) 撮像装置及び撮像プログラム
JP5607266B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
EP3497928B1 (en) Multi camera system for zoom
JP2011146889A (ja) 撮像装置
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
JP4487584B2 (ja) 投射型高精細画像表示装置
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
KR20240056149A (ko) 다양한 화각에 대응하는 이미지들을 복원하는 단일 이미지 센서
JP2016045322A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100406