JP2018186512A - 画像センサの結像方法、結像装置及び電子装置 - Google Patents

画像センサの結像方法、結像装置及び電子装置 Download PDF

Info

Publication number
JP2018186512A
JP2018186512A JP2018112401A JP2018112401A JP2018186512A JP 2018186512 A JP2018186512 A JP 2018186512A JP 2018112401 A JP2018112401 A JP 2018112401A JP 2018112401 A JP2018112401 A JP 2018112401A JP 2018186512 A JP2018186512 A JP 2018186512A
Authority
JP
Japan
Prior art keywords
pixel
photosensitive
merged
filter
filter unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018112401A
Other languages
English (en)
Other versions
JP6676704B2 (ja
Inventor
フェイ レイ，
Hui Lei
フェイ レイ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2018186512A publication Critical patent/JP2018186512A/ja
Application granted granted Critical
Publication of JP6676704B2 publication Critical patent/JP6676704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】ハイダイナミックレンジの画像を取得できる結像方法、結像装置及び電子装置を提供する。
【解決手段】画像センサは、感光画素アレイと感光画素アレイに設けられたフィルタ１３とを備える。フィルタ１３は、複数のフィルタユニット１３１５を備えるフィルタユニットアレイ１３１を備える。画像処理モジュールは、感光画素アレイの出力を読み取り、一フレームの高分解能画像を取得する。高分解能画像から、フィルタユニット１３１５の下方に位置する、隣接して配置された４つの感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。更に、画像処理モジュールは、低分解能の画像を合成し、ハイダイナミックレンジの画像を生成する。
【選択図】図４Ａ

Description

本出願は、グアンドン オッポ モバイル テレコミュニケーションズ コーポレーション，リミテッドが２０１５年１２月１８日に中国国家知識産権局に提出された発明の名称が「画像センサの結像方法、結像装置及び電子装置」であり、特許出願番号が２０１５１０９６３３４１.３である特許出願の優先権及び権益を主張するものである。
本発明は、結像技術分野に関し、特に画像センサの結像方法、結像装置及び電子装置に関する。
従来、携帯電話の結像機能の多様化はたくさんのユーザに歓迎され、多くの携帯電話は結像する時にマルチフレーム合成技術を採用し、即ち携帯電話の画像センサに連続的に数枚の画像を出してソフトウェアで合成することで異なる結像効果（例えば、ＨＤＲ、夜景効果等）を達成し、使用体験を豊かにしていた。
しかしながら、関連技術における携帯電話が採用のマルチフレーム合成技術は、マルチフレームデータを収集する必要があるため、マルチフレームデータの待つ時間は長いという課題が存在する。また、マルチフレームデータを結像する時に移動するものがあれば、合成した後ゴースト像が発生しやすい。
本発明の目的は、従来技術における少なくとも１つの技術的課題を解決することである。そのため、本発明の目的の１つは、画像センサの結像方法を提供することである。該結像方法は、画像センサの単一のフレーム出力だけで、合成する方法でハイダイナミック範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を大きく減少させ、また、マルチフレーム合成のデータは画像センサの同一フレームからのものであるため、ゴースト像の発生を防止し、ユーザ体験が遥かに向上される。
本発明の第２の目的は結像装置を提供することである。
本発明の第３の目的は電子装置を提供することである。
本発明の第４の目的は移動端末を提供することである。
本発明の第５の目的は不揮発性のコンピュータ記憶媒体を提供することである。
上記の目的を達成するために、本発明の第一態様の実施形態に係る画像センサの結像方法が提供される。前記画像センサは、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、該フィルタがフィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成する。前記結像方法は、以下のステップを含む。前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。また、マルチフレームの前記低分解能の画像を合成する。
本発明の第二態様の実施形態に係る結像装置が提供される。画像センサと、該画像センサに接続された画像処理モジュールとを備え、前記画像センサが、感光画素アレイと、該感光画素アレイに設けられたフィルタとを備え、該フィルタがフィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成し、前記画像処理モジュールが、前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの前記低分解能の画像を合成する。
本発明の第三態様の実施形態に、本発明の第二態様の実施形態に係る結像装置を備える電子装置が提供される。
本発明の第四態様の実施形態に係る移動端末は、ケーシングと、プロセッサと、メモリと、回路基板と、電源回路と、画像センサとを備え、前記回路基板が、前記ケーシングで囲まれた空間内部に配置され、前記プロセッサと前記メモリと前記画像センサとが、前記回路基板に設けられ、前記電源回路が、前記移動端末における各回路又は部品に給電し、前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、該フィルタが、フィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成し、前記メモリが、実行可能なプログラムコードを記憶し、前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行し、以下のステップを実行する。前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの前記低分解能の画像を合成する。
本発明の第五態様の実施形態に係る不揮発性のコンピュータ記憶媒体が提供される。前記コンピュータ記憶媒体は、少なくとも１つのプログラムが記憶され、少なくとも１つの前記プログラムが１つの機器に実行されると、前記機器に本発明の第一態様の実施形態に係る画像センサの結像方法を実行させる。
本発明は、画像センサの１つフレーム出力だけで、合成する方法ことでハイダイナミック範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を大きく減少させ、また、マルチフレーム合成のデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、ユーザ体験が遥かに向上される。
本発明の一実施形態に係る画像センサの結像方法のフローチャートである。 本発明の一実施形態に係る画像センサの結像方法の具体例を示すフローチャートである。 本発明の一実施形態に係る画像センサの結像方法の他の具体例を示すフローチャートである。 本発明の一実施形態におけるマルチフレームの低分解能の画像を取得する具体例を示す原理図である。 本発明の一実施形態に係る結像装置のブロック図である。 本発明の一実施形態におけるフィルタユニットアレイのイメージ図である。 本発明の一実施形態に係る画像センサの構造イメージ図である。 本発明の一実施形態に係る画像センサの変形例を示す構造イメージ図である。 本発明の一実施形態における感光画素及び関連回路のイメージ図である。 本発明の一実施形態に係る移動端末の構造イメージ図である。
以下に、本発明の一実施形態を詳細に説明する。
上記実施形態の一例が図面に示されるが、同一または類似する符号は、常に、相同又は類似の部品、或いは、相同又は類似の機能を有する部品を表す。
以下に、図面を参照しながら説明される実施形態は例示的なものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解されてはならない。
以下に、図面を参照しながら本発明の一実施形態に係る画像センサの結像方法、結像装置及び電子装置を説明する。
図１Ａは本発明の一実施形態に係る画像センサの結像方法のフローチャートである。
まず、本発明の一実施形態に係る方法で採用された画像センサについて説明する。
具体的には、画像センサは、感光画素アレイと、該感光画素アレイに設けられたフィルタとを備える。
フィルタは、フィルタユニットアレイを備える。
フィルタユニットアレイは、複数のフィルタユニットを備え、各フィルタユニットと、当該フィルタユニットにより被覆される感光画素アレイのうち隣接する複数の感光画素とが、共同で１つの合併画素を構成する。
本発明の一実施形態の一例において、隣接する４つの合併画素を１つの合併画素ユニットとして構成する。各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットとを備える。
図２及び図４Ｂに示されるように、各フィルタユニット１３１５は、該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する４つの感光画素１１１とともに１つの合併画素１４を構成する。隣接する４つの合併画素は、共同で１つの、１６個の感光画素１１１を備える合併画素ユニットを組み合わせる。
隣接する４つの感光画素１１１は、１つの同色のフィルタユニット１３１５を共用し、例えば、図２の破線ブロック内における４つの感光画素Ｇｒ１と、Ｇｒ２と、Ｇｒ３とＧｒ４とが、緑のフィルタユニット１３１５に対応している。図２において、Ｇｒ、Ｒ、Ｂ、Ｇｂはそれぞれフィルタユニット１３１５の色を認識するためのもので、数字１、２、３、４はフィルタユニット１３１５の下方に隣接する４つの感光画素１１１の位置を示す。具体的には、Ｒが赤のフィルタユニット１３１５を示し、Ｂが青のフィルタユニット１３１５を示し、Ｇｒ及びＧｂが緑のフィルタユニット１３１５を示すものである。
隣接する４つの感光画素１１１が共用するフィルタユニット１３１５は一体的に構成、又は４つの独立的なフィルタを組み合わせて構成することができる。好ましくは、本実施形態におけるフィルタユニット１３１５は一体的に構成される。
再度図１Ａを参照して、本実施形態に係る画像センサの結像方法は、以下のようなステップを含む。
Ｓ１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。
本実施形態において、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得するステップは、具体的には、読み取られた単一フレームの高分解能画像から異なる合併画素の同一位置における感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得するステップを含む。
理解されるのは、本実施形態において、単一フレームの高分解能画像から画素位置を抽出するステップは、実の合成画像の需要に応じて調整してもよい。例えば、読み取られた単一フレームの高分解能画像から異なる合併画素の異なる位置における感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得してもよい。
図２及び図４Ｂに示されるように、単一フレームの高分解能画像からそれぞれ４つの異なる合併画素１４の同一位置における感光画素１１１の画素値を組み合わせ、４フレームの低分解能の画像を取得する。例えば、取得した第１フレームの低分解能の画像の４つの感光画素１１１は、いずれも隣接する４つの合併画素１４が有する４つのフィルタユニット１３１５と同一位置Ｇｒ１,Ｒ１,Ｂ１，Ｇｂ１に対応する感光画素１１１の画素値から抽出するものである。
Ｓ２として、マルチフレームの低分解能の画像を合成する。
具体的には、取得したマルチ低分解能の画像を合成して、ハイダイナミック範囲の画像を生成する。
本実施形態に係る結像方法は、画像センサの単一フレームのみを出力すれば、合成する形でハイダイナミック範囲の画像を取得することができる。これにより、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、また、マルチフレーム合成用のデータは画像センサの同一フレーム出力からのもので、ゴースト像の発生が防止され、ユーザ体験を遥かに向上させる。
本実施形態の具体例において、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接するｎ＊ｎ個の感光画素とが、１つの合併画素を構成する。図１Ｂに示されるように、画像センサの結像方法は、具体的に以下のようなステップを含む。
Ｓ１０１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から隣接する合併画素の感光画素の画素値を抽出して組み合わせ、少なくともｍフレームの低分解能の画像を取得する。
Ｓ１０２として、少なくともｍフレームの低分解能の画像を合成する。ここで、ｎ，ｍはいずれも１より大きい自然数であり、ｍの値はｎ＊ｎ以下である。
具体的には、１つの合併画素がｎ＊ｎ個の感光画素を備えるため、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、最大ｎ＊ｎフレームの低分解能の画像を取得することができ、実の需要に応じ、少なくともｍフレームの低分解能の画像を取得してマルチフレームを合成することができる。
本実施形態の他の具体例において、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成する。図１Ｃに示されるように、結像方法は、具体的に以下のようなステップを含む。
Ｓ２０１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。
Ｓ２０２として、４フレームの低分解能の画像を合成する。
例えば、１６Ｍの画像センサが暗い所のフレームレートが８フレームである。４フレームのデータを利用してマルチフレームの合成をすれば、関連技術におけるマルチフレームの合成方法として、画像センサは４フレームのデータを出力する必要があり、つまり、マルチフレーム合成におけるデータフレームの待つ時間は０．５ｓである。本実施形態に係る画像センサの結像方法ならば、画像センサは１フレームのデータのみを出力すればよく、読み取られた当該１フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせることを経て、当該１フレームのデータを４枚４Ｍの画像に分ける。つまり、マルチフレーム合成におけるデータフレームの待つ時間としてただ０.１２５ｓだけが必要となり、これでマルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、ユーザによりよい結像体験をもたらす。
また、４フレームの低分解能の画像を合成する場合、４フレームの４Ｍの画像は画像センサの同一フレーム画像から分離されるものであるため、差が小さく、ゴースト像の発生を減少させる。
理解されるのは、各フィルタユニットは、ｎ＊ｎ（例えば、２＊２、３＊３、４＊４）の構造以外、更に任意のｎ＊ｍ構造（ｎ，ｍは自然数である）までの複数の感光画素を被覆することができる。感光画素アレイに配列される感光画素の数は限られているため、各フィルタユニットにより被覆される感光画素が多すぎると、取得された低分解能の画像の分解能のサイズも制限される。例えば、感光画素アレイの画素値が１６Ｍであると、２＊２の構造を採用すれば４枚の分解能は４Ｍの低分解能を取得することができ、４＊４の構造を採用すると１６枚の分解能が１Ｍの低分解能の画像しか取得できない。よって、２＊２構造は好ましい配列方法であり、分解能をできるだけ犠牲にしないように画像の輝度及び鮮明度を向上する。
本実施形態の変形例において、画像センサはフィルタユニット上方のレンズアレイを更に備える。レンズアレイは、複数のマイクロレンズを備える。各マイクロレンズは、１つの感光画素に対応して設けられ、当該レンズアレイが光線をフィルタの下方の感光画素の感光部分に集光し、感光画素の受光強度を向上したり画像の画質を改善したりする。
上記の実施例を達成するために、本発明は結像装置を更に提供する。
図３は本発明の一実施形態に係る結像装置のブロック図である。
図３に示されるように、本実施形態に係る結像装置１００は、画像センサ１０と、画像センサ１０に接続された画像処理モジュール２０とを備える。
図４Ａ及び図４Ｂに示されるように、画像センサ１０は、感光画素アレイ１１と、感光画素アレイ１１の上方に設けられたフィルタ１３とを備える。当該フィルタ１３は、フィルタユニットアレイ１３１を備え、当該フィルタユニットアレイ１３１が複数のフィルタユニット１３１５を備える。各フィルタユニット１３１５は、当該フィルタユニット１３１５の下方に位置する隣接して配列された複数の感光画素１１１とともに合併画素１４を構成する。本実施形態において、４つの隣接する合併画素１４は１つの合併画素ユニット（図示略）を構成する。各合併画素ユニットに隣接して配列された複数のフィルタユニット１３１５は、１つの赤のフィルタユニット１３１５と、１つの青のフィルタユニット１３１５と、２つの緑のフィルタユニット１３１５とを備える。
各フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する番号が１、２、３、４の４つの感光画素１１１を一例として、図４Ｂに示されるように、各フィルタユニット１３１５が当該フィルタユニット１３１５の下方に位置する、隣接して配置された４つの感光画素１１１とともに１つの合併画素１４を構成する。隣接する４つの合併画素１４は１つの、１６個の感光画素１１１を有する合併画素ユニットを構成する。
隣接する４つの感光画素１１１は１つの同色のフィルタユニット１３１５を共用するが、隣接する４つのフィルタユニット１３１５（１つの赤のフィルタユニット１３１５、１つの青のフィルタユニット１３１５及び２つの緑のフィルタユニット１３１５）は共同で一組のフィルタ構造１３１３を構成する。
ここで、隣接する４つの感光画素１１１が共用するフィルタユニット１３１５が一体的に構成されたり、又は４つの独立なフィルタを組み合わせたりすることができる。好ましくは、４つの隣接する感光画素１１１は共用するフィルタ１３１５が一体的に構成される（図４Ｂ参照）。
画像処理モジュール２０は、感光画素アレイ１１の出力を読み取り、更に読み取られた単一の高分解能画像から異なる合併画素の感光画素１１１の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、及びマルチフレームの低分解能の画像を合成するためのものである。
本発明の実施形態において、画像処理モジュール２０は、具体的には、読み取られた単一の高分解能画像から異なる合併画素の同一位置にある感光画素１１１の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得することに用いられる。
理解されるのは、本実施形態において、単一フレームの高分解能画像から画素位置を抽出するステップは、実の合成画像の需要に応じて調整し、例えば、画像処理モジュール２０は読み取られた単一の高分解能画像から異なる合併画素の異なる位置にある感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得する。
図２及び図４Ｂに示されるように、画像処理モジュール２０は単一フレームの高分解能画像から４つの異なる合併画素１４の同一位置にある感光画素１１１の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。例えば、取得された第１フレームの低分解能４つの感光画素１１１はいずれも隣接する４つの合併画素１４に含まれた４つのフィルタユニット１３１５の同一位置Ｇｒ１，Ｒ１，Ｂ１，Ｇｂ１に対応する感光画素１１１の画素値を抽出する。
更に、画像処理モジュール２０は、取得されたマルチフレームの低分解能の画像を合成し、ハイダイナミックな範囲の画像を生成する。
本発明の実施形態に係る結像装置は、画像処理モジュールが画像センサの単一フレームの出力だけで、合成することでハイダイナミックな範囲の画像を得られ、マルチフレームの合成におけるデータの待つ時間を遥かに減少させ、またマルチフレーム合成のデータは画像センサの同一フレームの出力からのものであるため、ゴースト像が防止され、ユーザ体験を大きく向上させる。
本発明の一実施形態において、各フィルタユニット１３１５は、当該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接するｎ＊ｎ個の感光画素１１１とともに１つの合併画素を構成する。画像処理モジュール２０は、具体的に、感光画素アレイ１１の出力を読み取り、読み取られた単一の高分解能画像から隣接する合併画素の感光画素１１１の画素値を抽出して組み合わせ、少なくともｍフレームの低分解能の画像を取得し、且つ少なくともｍフレームの低分解能の画像を合成することに用いる。ここで、ｎ，ｍはいずれも１より大きい自然数で、ｍはｎ＊ｎ以下である。
本発明の一実施形態において、各フィルタユニット１３１５は、当該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する２＊２個の感光画素１１１とともに１つの合併画素１４を構成する。画像処理モジュール２０は、具体的に、感光画素アレイ１１の出力を読み取り、読み取られた単一の高分解能画像から異なる合併画素の感光画素１１１の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得し、４フレームの低分解能の画像を合成する。
例えば、１６Ｍ画像センサは暗い所のフレームレートは８フレームであれば、４フレームのデータでマルチフレーム合成をすると、関連技術におけるマルチフレームの合成方法として画像センサが４フレームのデータを出力する必要があり、つまりマルチフレーム合成におけるデータフレームの待つ時間は０．５ｓである。本実施形態に係る結像装置ならば、画像センサが１フレームのデータを出力するだけで結構であり、画像処理モジュール２０は当該１フレームの高分解能画像から異なる合併画素の感光画素１１１の画素値を組み合わせすることで、当該１フレームのデータを４枚４Ｍの画像に分けられる。つまり、マルチフレーム合成におけるデータフレームの待つ時間はただ０．１２５ｓだけが必要となり、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、ユーザにより結像体験をもたらす。
また、４フレームの低分解能の画像を合成する時、４フレーム４Ｍの画像は画像センサの同一フレーム画像から分離されたため、差が小さく、ゴースト像の発生を減少させる。
理解されるのは、各フィルタユニット１３１５が被覆する複数の感光画素１１１の構造は、ｎ＊ｎ（例えば２＊２、３＊３、４＊４）の構造以外に、更に任意のｎ＊ｍ構造（ｎ，ｍは自然数である）である。感光画素アレイ１１にアレイされる感光画素１１１の数は限られたため、各フィルタユニット１３１５が被覆する感光画素１１１が多すぎると、取得された低分解能の画像の分解能の大きさが制限される。例えば、感光画素アレイ１１の画素値が１６Ｍであると、２＊２の構造を利用して４枚の分解能が４Ｍの低分解能の画像を得られるが、４＊４構造を利用すれば、１６枚の分解能が１Ｍの低分解能の画像を得られる。よって、２＊２構造は好ましい配列方法であり、できるだけ分解能を犠牲にしないという前提で画像の輝度と鮮明度を向上する。
図４Ｃに示されるように、本発明の一実施形態において、画像センサ１０の各合併画素１４がフィルタユニット１３１５の上方にあるレンズアレイ１５を更に備える。当該レンズアレイ１５における各マイクロレンズ１５１は１つの感光画素１１１に対応し、形状、大きさ、位置の対応を含む。マイクロレンズ１５１が光線を感光画素１１１の感光部分１１２に集光し、感光画素１１１の受光強度を向上して、結像の画質を改善する。本実施形態において、各フィルタユニット１３１５は２＊２個の感光画素１１１及び２＊２個のマイクロレンズ１５１に対応する。
図５に示されるように、図５は感光画素及び関連回路のイメージ図である。本発明の一実施形態において、感光画素１１１は、フォトダイオード１１１３を備える。感光画素１１１と、スイッチ管１１１５と、ソースフォロアー（ｓｏｕｒｃｅ ｆｏｌｌｏｗｅｒ）１１１７と、ＡＤＣ（ａｎａｏｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ)１７との接続関係は、図５に示されている。即ち１つの感光画素１１１は対応的に１つのソースフォロアー１１１７及び１つのＡＤＣ１７を利用する。
ここで、フォトダイオード１１１３は光の照射を電荷に変換し、且つ生じた電荷は光強度と比率関係を持つ。スイッチ管１１１５は行で選択した論理ユニット４１及び列で選択した論理ユニット４３の制御信号により回路の導通及び切断を制御し、回路が導通すると、ソースフォロアー１１１７はフォトダイオード１１１３が光の照射で生じた電荷信号を電圧信号に変換する。ＡＤＣ１７は電圧信号をデジタル信号に変換し、画像処理モジュール２０に転送して処理する。ここで、行で選択された論理ユニット４１及び列で選択された論理ユニット４３は結像装置１００の制御モジュール（図示略）に接続され、結像装置１００の制御モジュールにより制御される。
本実施形態に係る結像装置は、画像処理モジュールはただ画像センサの１フレームの出力を取得するだけで、合成することでハイダイナミックな範囲の画像を得られ、マルチフレームにおけるデータフレームの待つ時間を遥かに減少させ、また、マルチフレーム合成のためのデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、更にユーザ体験を向上する。
上記の実施形態を実現するために、本発明は電子装置を更に提供する。当該電子装置は本発明の実施形態による結像装置を含む。
本発明の実施例による電子装置は、当該結像装置を有するために、結像する時に画像センサの１フレーム出力だけで、合成する方法でハイダイナミックな範囲の画像を得られ、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、また、マルチ合成のデータは画像センサの同一側からのものであるため、ゴースト像の発生が防止され、ユーザ体験を大きく向上する。
上記の実施形態を実現するために、本発明は移動端末を更に提供する。
図６に示されるように、図６は本発明の一実施形態に係る移動端末の構造イメージ図である。
図６に示されるように、本実施形態により提供された移動端末６０は、ケーシング６０１と、プロセッサ６０２と、メモリ６０３と、回路基板６０４と、電源回路６０５と、画像センサ６０６とを備える。ここで、回路基板６０４はケーシング６０１で囲まれた空間内部に設けられ、プロセッサ６０２と、メモリ６０３と画像センサ６０６とは回路基板６０４に設けられている。電源回路６０５は移動端末６０の各回路または部品に給電するためのものである。画像センサ６０６は感光画素アレイ及び感光画素アレイに設けられたフィルタとを備える。フィルタはフィルタユニットアレイを備える。各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する複数の感光画素とは、１つの合併画素を構成する。メモリ６０３は実行可能なプログラムコードを記憶するためのものである。プロセッサ６０２はメモリ６０３に記憶された実行可能なプログラムコードを読み取ることにより実行可能なプログラムコードに対応するプログラムを実行し、以下のようなステップを実行する。
感光画素アレイの出力を読み取り、読み取られた単一の高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。
マルチフレームの低分解能の画像を合成する。
なお、画像センサの結像方法の実施例についての解釈説明は、当該実施例による移動端末にも適用し、その実現原理は類似しているので、ここで省略する。
本実施形態に係る移動端末は、プロセッサでメモリに記憶された実行可能なプログラムコードを読み取ることにより実行可能なプログラムコードに対応するプログラムコードを実行し、以下のようなステップを実行することに用いる。
感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの低分解能の画像を合成する。これにより、画像センサの１フレームの出力だけが実現すれば、合成する方法でハイダイナミックな範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を減少させ、またマルチフレーム合成のためのデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、ユーザ体験を更に向上する。
上記の実施形態を実現するために、本発明は不揮発性のコンピュータ記憶媒体を更に提供し、コンピュータ記憶媒体は少なくとも１つのプログラムを有し、少なくとも１つのプログラムは１つの機器に実行される時、機器に本発明の第一実施形態に係る画像センサの結像方法を実行させる。
本発明の説明において、「中心」、「縦方向」、「横方向」、「長さ」、「幅」、「厚み」、「上」、「下」、「前」、「後」、「左」、「右」、「鉛直」、「水平」、「頂」、「底」、「内」、「外」、「時計回り」、「反時計回り」、「軸方向」、「半径方向」、「周方向」などの用語が示す方位又は位置関係は、図面に示す方位又は位置関係に基づき、本発明を便利にまたは簡単に説明するために使用されるものであり、指定された装置又は部品が特定の方位にあり、特定の方位において構造され操作されると指示又は暗示するものではないので、本発明に対する限定と理解してはいけない。
一方、「第１」、「第２」との用語はただ説明の目的だけであり、相対的な重要性を指示又は暗示或いは指定された技術的特徴の数量を暗黙的に指定すると理解してはいけない。よって、「第１」、「第２」と限定されている特徴は、少なくとも１つの当該特徴を含んでいることを、明示又は暗黙的に指定している。本発明の説明で、特に明確で具体的に限定されない限り、「複数」との意味は少なくとも２つであり、例えば、２つ、３つなどである。
なお、本発明の説明において、明確な規定と限定がない限り、「取り付け」、「互いに接続」、「接続」、「固定」の用語の意味は広く理解されるべきである。例えば、固定接続や、着脱可能な接続や、あるいは一体的な接続でも可能である。機械的な接続や、電気的な接続も可能である。直接的に接続することや、中間媒体を介して間接的に接続することや、２つの部品の内部が連通することや、あるいは２つの部品の間に相互の作用関係があることも可能である。当業者にとって、具体的な場合によって上記用語の本発明においての具体的な意味を理解することができる。
本発明において、明確な規定と限定がない限り、第１特徴が第２特徴の「上」又は「下」にあることは、第１特徴と第２特徴とが直接的に接触することを含んでいてもよいし、第１特徴と第２特徴とが直接的に接触することではなくそれらの間の別の特徴を介して接触することを含んでいてもよい。また、第１特徴が第２特徴の「上」、「上方」又は「上面」にあることは、第１特徴が第２特徴の真上及び斜め上にあることを含むか、或いは、単に第１特徴の水平高さが第２特徴より高いことだけを表す。第１特徴が第２特徴の「下」、「下方」又は「下面」にあることは、第１特徴が第２特徴の真下及び斜め下にあることを含むか、或いは、単に第１特徴の水平高さが第２特徴より低いことを表す。
本発明の説明において、「一実施形態」、「一部の実施形態」、「例示的な実施形態」、「一例」、「具体例」、或いは「変形例」などの用語を参考した説明とは、該実施形態或いは実施例に結合して説明された具体的な特徴、構成、材料或いは特徴が、本発明の少なくとも１つの実施形態或いは実施例に含まれることである。本明細書において、上記用語に対する例示的な描写は、必ずしも同じ実施形態或いは実施例を示すことではない。又、説明された具体的な特徴、構成、材料或いは特徴は、少なくとも１つの実施形態又は実施例において適切に結合することができる。なお、お互いに矛盾しない場合、当業者は本明細書で描写された異なる実施形態或いは実施例、及び異なる実施形態或いは実施例の特徴を結合且つ組み合わせることができる。
フローチャートまたは他の方式で説明した任意の過程や方法は、少なくとも１つの、特定ロジック性能または過程のステップの実行できるコマンドのコードのモジュール、セクターあるいは部分を含む。本発明の好ましい実施方式の範囲は、他の実現を含み、表示または討論の順序に関係なく、述べられた機能に基づいて基本的に同様な方式または逆の順序で、その機能を実行することができる。これは、本発明の実施形態における当業者に理解される。
フローチャート中で表され、又はその他の方式で記述された論理及び／又はステップは、例えば、論理機能を実現するための命令実行可能な順序リストであると考えられてもよい。具体的には、いかなるコンピュータ読取可能媒体中でも実現することができ、それによって指令実行システム、装置、もしくは設備（例えばコンピュータに基づくシステム、プロセッサを備えるシステム又は他の指令実行システム、装置又は設備から指令を取得して指令を実行することができるシステム等）に使用、又はこれらの指令実行システム、装置、もしくは設備を結合して使用される。本明細書について説明すれば、「コンピュータ読取可能媒体」は、プログラムを含み、保存し、通信し、伝播し又は伝送して、指令実行システム、装置若しくは設備又はこれらの指令実行システム、装置もしくは設備に使用されるいかなる装置であってもよい。コンピュータ読取可能媒体のさらに具体的な一例（非網羅的リスト）には、１つ以上の配線を有する電気接続部（電子装置）、ポータブル型コンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、及びコンパクト光ディスク読み出し専用メモリ（ＣＤＲＯＭ）が含まれる。また、コンピュータ読取可能媒体は、その上に前述のプログラムを印刷した紙又はその他適当な媒質であってもよい。なぜなら、例えば、紙又はその他の媒質に対して光学スキャンを行い、続いて編集、解釈又は必要ならその他適当な方式で処理を行って、電子方式によってプログラムを取得し、その後それをコンピュータメモリ中に保存することができるからである。
また、理解すべきなのは、本発明の各部分は、ハードウェア、ソフトウェア、部品また
はそれらの組み合わせで実現できる。実施形態としては、複数のステップまたは方法がメモリに保存され、適当なコマンド実行システムのソフトウェアまたは部品で実現される。例えば、ハードウェアで実現する場合、他の実施方式と同じように、本領域周知の下記の任意１つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する個別のロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。
実施例の方法にある全部または一部のステップがプログラムにより関連のハードウェアを実行することで完成されるステップは、当業者に理解される。プログラムは１つの計算機の読み出し可能な記憶メディアに記憶される。当プログラムを実行するとき、実施形態の方法のステップの１つまたはそれらの組み合わせを含む。
なお、本発明の各実施形態の各機能モジュールを１つの処理モジュールに集中、または、単独に存在し、あるいは、少なくとも２つのモジュールを１つの処理モジュールに集中することができる。集成したモジュールは、ハードウェアの形式、または、ソフトウェアの形式で実現される。集成したモジュールは、ソフトウェアの形式で実現し、また、独立の製品として販売や使用するとき、計算機の読み出し可能な記憶メディアに記憶されることができる。
上述の記憶メディアは、読み出し専用メモリ、ディスク、または、ＣＤなどである。本発明の実施形態を示して説明したが、当業者にとって理解できるのは、上記の実施形態は例示的なものであり、本発明に対する限定と理解されるものではなく、本発明の原理及び主旨から逸脱しない限りこれらの実施形態に対して複種の変化、補正、切り替え及び変形を行うことができる。

Claims (8)

  1. 画像センサの結像方法であって、
    前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、
    該フィルタがフィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
    前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素ユニットのうち隣接する４つの合併画素の同一位置又は異なる位置の前記合併画素の前記感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得するステップと、
    前記４フレームの低分解能の画像を合成するステップとを含む画像センサの結像方法。
  2. 画像センサを備え、
    該画像センサは、感光画素アレイと、該感光画素アレイに設けられたフィルタと、前記画像センサに接続された画像処理モジュールとを備え、
    前記フィルタがフィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
    前記画像処理モジュールが、前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素ユニットのうち隣接する４つの合併画素における同一位置又は異なる位置の合併画像の感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得し、前記４フレームの低分解能の画像を合成することに用いられる、結像装置。
  3. 各前記合併画素が、前記フィルタユニットの上方に設けられたレンズアレイを更に備え、
    該レンズアレイが、光線を前記フィルタの下方にある前記感光画素に集光させる請求項２に記載の結像装置。
  4. 前記レンズアレイが、複数のマイクロレンズを備え、
    各該マイクロレンズが、１つの感光画素に対応して設けられている請求項３に記載の結像装置。
  5. 移動端末であって、
    ケーシングと、プロセッサと、メモリと、回路基板と、電源回路と、画像センサとを備え、
    前記回路基板が、前記ケーシングで囲まれた空間の内部に配置され、
    前記プロセッサと前記メモリと前記画像センサとが、前記回路基板に設けられ、
    前記電源回路が、前記移動端末における各回路又は部品に給電し、
    前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、
    該フィルタが、フィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
    前記メモリが、実行可能なプログラムコードを記憶し、
    前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行することにより、
    前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素のうち隣接する４つの合併画素の同一位置又は異なる位置の前記合併画素の前記感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得するステップと、
    ４フレームの前記低分解能の画像を合成するステップと、を実行する移動端末。
  6. 各前記合併画素が、前記フィルタユニットの上方に設けられたレンズアレイを更に備え、
    該レンズアレイが、光線を前記フィルタの下方にある前記感光画素に集光させる請求項５に記載の移動端末。
  7. 前記レンズアレイが、複数のマイクロレンズを備え、
    各該マイクロレンズが、１つの感光画素に対応して設けられている請求項６に記載の移動端末。
  8. 少なくとも１つのプログラムが記憶され、
    該プログラムが請求項１に記載の画像センサの結像方法を実行する不揮発性のコンピュータ記憶媒体。
JP2018112401A 2015-12-18 2018-06-13 画像センサの結像方法、結像装置及び電子装置 Active JP6676704B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510963341.3 2015-12-18
CN201510963341.3A CN105578005B (zh) 2015-12-18 2015-12-18 图像传感器的成像方法、成像装置和电子装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017534320A Division JP6564462B2 (ja) 2015-12-18 2016-09-28 画像センサの結像方法、結像装置及び電子装置

Publications (2)

Publication Number Publication Date
JP2018186512A true JP2018186512A (ja) 2018-11-22
JP6676704B2 JP6676704B2 (ja) 2020-04-08

Family

ID=55887622

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017534320A Active JP6564462B2 (ja) 2015-12-18 2016-09-28 画像センサの結像方法、結像装置及び電子装置
JP2018112401A Active JP6676704B2 (ja) 2015-12-18 2018-06-13 画像センサの結像方法、結像装置及び電子装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017534320A Active JP6564462B2 (ja) 2015-12-18 2016-09-28 画像センサの結像方法、結像装置及び電子装置

Country Status (11)

Country Link
US (2) US10225465B2 (ja)
EP (1) EP3226538A4 (ja)
JP (2) JP6564462B2 (ja)
KR (2) KR20170094242A (ja)
CN (1) CN105578005B (ja)
AU (1) AU2016370337B2 (ja)
MY (1) MY189048A (ja)
SG (1) SG11201705233RA (ja)
TW (1) TWI613918B (ja)
WO (1) WO2017101555A1 (ja)
ZA (1) ZA201705170B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578005B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN106604001B (zh) 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106412407B (zh) 2016-11-29 2019-06-07 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN107864317B (zh) * 2017-11-07 2020-03-13 西北核技术研究所 一种基于衰减掩膜的瞬态成像动态范围扩展方法
CN107734231B (zh) * 2017-11-07 2019-12-27 西北核技术研究所 一种基于滤光的成像系统动态范围扩展方法
CN107786818B (zh) * 2017-11-07 2020-06-26 西北核技术研究所 一种基于多色滤光的瞬态成像动态范围扩展方法
CN108322669B (zh) * 2018-03-06 2021-03-23 Oppo广东移动通信有限公司 图像获取方法及装置、成像装置和可读存储介质
CN109446937B (zh) * 2018-10-12 2022-03-01 贵州民族大学 屏下指纹识别仪
CN110166678A (zh) * 2019-06-26 2019-08-23 京东方科技集团股份有限公司 图像采集结构及其采集方法、显示装置
CN110505384B (zh) * 2019-08-29 2021-05-14 Oppo广东移动通信有限公司 成像系统、终端和图像获取方法
CN111010468B (zh) * 2019-12-03 2021-02-19 Oppo广东移动通信有限公司 一种显示屏组件以及电子装置
KR20220069485A (ko) 2020-11-20 2022-05-27 유니스주식회사 접착제 및 그 제조방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282552A (ja) * 2003-03-18 2004-10-07 Sony Corp 固体撮像素子および固体撮像装置
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2011097568A (ja) * 2009-10-02 2011-05-12 Sanyo Electric Co Ltd 撮像装置
JP2015088947A (ja) * 2013-10-31 2015-05-07 ソニー株式会社 固体撮像装置、信号処理装置、および電子機器
US20150350583A1 (en) * 2014-06-03 2015-12-03 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP4657052B2 (ja) * 2005-07-29 2011-03-23 イーストマン コダック カンパニー デジタルカメラ、撮影方法、および撮影制御プログラム。
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US8242426B2 (en) * 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
GB0709026D0 (en) 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP2011015219A (ja) * 2009-07-02 2011-01-20 Toshiba Corp 固体撮像装置
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP5889049B2 (ja) * 2012-03-09 2016-03-22 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
JP2014086863A (ja) 2012-10-23 2014-05-12 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
US9106784B2 (en) * 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9224362B2 (en) 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
EP2974280B1 (en) * 2013-03-15 2021-11-24 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
CN103531603B (zh) * 2013-10-30 2018-10-16 上海集成电路研发中心有限公司 一种cmos图像传感器
CN103681721B (zh) * 2013-12-30 2018-10-16 上海集成电路研发中心有限公司 具有高动态范围的图像传感器像素阵列
CN103686007B (zh) * 2013-12-31 2018-11-09 上海集成电路研发中心有限公司 单次拍摄生成高动态范围图像的图像传感器
CN103716558B (zh) * 2013-12-31 2018-11-09 上海集成电路研发中心有限公司 高动态像素阵列、像素单元及图像传感器
US9247117B2 (en) * 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9438866B2 (en) 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
CN104159049A (zh) 2014-08-15 2014-11-19 北京思比科微电子技术股份有限公司 一种图像传感器及其工作方法
CN105578005B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105516698A (zh) 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105578071B (zh) 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105516700B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282552A (ja) * 2003-03-18 2004-10-07 Sony Corp 固体撮像素子および固体撮像装置
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2011097568A (ja) * 2009-10-02 2011-05-12 Sanyo Electric Co Ltd 撮像装置
JP2015088947A (ja) * 2013-10-31 2015-05-07 ソニー株式会社 固体撮像装置、信号処理装置、および電子機器
US20150350583A1 (en) * 2014-06-03 2015-12-03 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities

Also Published As

Publication number Publication date
CN105578005A (zh) 2016-05-11
EP3226538A1 (en) 2017-10-04
TW201724847A (zh) 2017-07-01
SG11201705233RA (en) 2017-07-28
KR20180135125A (ko) 2018-12-19
AU2016370337A1 (en) 2017-07-20
US20180020159A1 (en) 2018-01-18
KR102041068B1 (ko) 2019-11-05
US9979883B2 (en) 2018-05-22
EP3226538A4 (en) 2017-12-20
US10225465B2 (en) 2019-03-05
CN105578005B (zh) 2018-01-19
MY189048A (en) 2022-01-23
WO2017101555A1 (zh) 2017-06-22
JP6676704B2 (ja) 2020-04-08
JP6564462B2 (ja) 2019-08-21
AU2016370337B2 (en) 2018-06-28
KR20170094242A (ko) 2017-08-17
TWI613918B (zh) 2018-02-01
JP2018502506A (ja) 2018-01-25
US20180077349A1 (en) 2018-03-15
ZA201705170B (en) 2018-12-19

Similar Documents

Publication Publication Date Title
JP6564462B2 (ja) 画像センサの結像方法、結像装置及び電子装置
JP6325755B2 (ja) イメージセンサ、結像装置、モバイル端末及び結像方法
JP6377855B2 (ja) 結像方法、結像装置及び電子装置
TWI615029B (zh) 圖像感測器及終端與成像方法
EP3327663B1 (en) Image processing method and apparatus, and electronic device
TWI615028B (zh) 圖像感測器及成像終端與成像方法
JP6461429B2 (ja) 画像センサ、制御方法及び電子機器
CN105516698A (zh) 图像传感器的成像方法、成像装置和电子装置
KR20200077984A (ko) 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
TWI615034B (zh) 圖像感測器及成像終端與成像方法
CN105578071A (zh) 图像传感器的成像方法、成像装置和电子装置
CN105516700A (zh) 图像传感器的成像方法、成像装置和电子装置
TW201724846A (zh) 圖像感測器及具有其的終端、成像方法
JP2014209722A (ja) 撮像装置及びその制御方法
JP2022503764A (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6676704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250