JP2015188240A - デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム - Google Patents
デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム Download PDFInfo
- Publication number
- JP2015188240A JP2015188240A JP2015111530A JP2015111530A JP2015188240A JP 2015188240 A JP2015188240 A JP 2015188240A JP 2015111530 A JP2015111530 A JP 2015111530A JP 2015111530 A JP2015111530 A JP 2015111530A JP 2015188240 A JP2015188240 A JP 2015188240A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reconstruction
- luminance
- chrominance
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Optical Filters (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
しかしながら、ベイヤーパターンなどのような規則的なパターンと対照的に、所与の画素に近接する画素が不明であり、かつ画像の一方の領域から他方の領域に変化するため、アレイ上のカラーフィルタの非周期的分布、すなわちランダムな分布では、欠落した色の補間が難しくなる。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の4×4画素以上であり、かつ画像の大きさより小さい。
センサは、カラーフィルタのアレイを有し、カラーフィルタのアレイのカラーフィルタの基本パターンは、画像の大きさと同一の大きさである。
再構成フィルタを適用するために、獲得画像の輝度とクロミナンスとの分解を実行する。分解は、再構成フィルタの複雑さを減少する。
獲得画像の輝度とクロミナンスとの分解を、擬似ランダムパターンを用いたクロミナンス用のセンサと、カラーフィルタのアレイを有しない輝度用のセンサとによって取得する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、クロミナンスの3つの成分を補間する。
輝度を推定し、擬似ランダムパターンセンサが獲得したデータから、3つのクロミナンス成分を補間する。
捕捉画像の推定輝度と、捕捉画像のクリミナンスの3つの補間成分とから、画像の再構成を実行する。
画像の再構成は、線形であり、基本パターンと近接部とからの画素の近接の重みのみを含む。
画像の再構成は、適応性があり、非線形であり、そして、標準化された低域フィルタで推定された輝度の低周波数の階調度に基づく計算によって、ベースバンドに戻されたスペクトルのクロミナンスの補間を実行する。
デモザイクは、ゼロ空間周波数クリミナンスの搬送波の変換によるハイリスク(high-risk)周波数を除去することによって実行する。
画像は、画素の近接の重みのみを含む線形方法によって、再構成モジュールにおいて再構成される。
画像は、標準的な低域フィルタにより推定される輝度の階調度に基づく計算によって、ベースバンドに戻されるクロミナンスの補間を実行する適応な方法で、再構成モジュールにおいて再構成される。
再構成モジュールで再構成された画像は、圧縮モジュール内の少なくとも1つのエンコーダで圧縮される。
再構成モジュールで再構成された画像は、圧縮モジュールに含まれる少なくとも1つのエンコーダで圧縮される。
72、82、84……画素
74……カラーモザイク
76、78……近接部
Claims (14)
- カラーフィルタのアレイ(16)を有し、
前記アレイは、垂直方向及び水平方向に沿ってオーバラップせずに反復する複数の同一の基本パターン(70)からなり、基本パターン(70)はそれぞれ、水平方向及び/又は垂直方向に連続する同一種類の2つのカラーフィルタの間の可変のピッチを含むように、擬似ランダムに配置されるカラーフィルタ(72、82、84)によって形成され、
前記基本パターン(70)は、画像の4×4画素以上であり、前記画像の大きさよりも小さく、
基本パターン(70)は、前記基本パターン内で同一色のフィルタの塊を妨げるように空間的に配置されたカラーフィルタを具備し、
少なくとも2×2の基本パターンのグループは、前記グループ内で同一色のフィルタの塊を妨げるように空間的に配置されたカラーフィルタを具備し、
前記アレイは同一色のカラーフィルタの塊を有しない、
ことを特徴とするデジタル画像獲得センサ(18)。 - カラーフィルタの前記アレイの前記カラーフィルタの前記基本パターン(70)は、獲得画像と同一の大きさである請求項1に記載のセンサ。
- 請求項1又は請求項2に従ったセンサからデジタル画像を獲得し、かつ再構成する方法であって、
前記センサ(18)によって獲得される間に、カラーフィルタの前記アレイ(16)を用いて、画像(14)をフィルタリングすることによって、それぞれの画像(22)から獲得された成分から少なくとも1つの画像(30)を再構成するために、赤色、緑色、及び青色の前記成分の獲得を実行するステップを有することを特徴とする方法。 - 少なくとも一つの前記画像(22)の輝度とクロミナンスとの分解を実行する請求項3に記載の方法。
- 前記画像(22)の輝度とクロミナンスとの分解は、前記クロミナンス獲得用の請求項1又は請求項2に従ったセンサと、前記輝度獲得用のカラーフィルタのアレイを有しないセンサとを用いて実行する請求項3に記載の方法。
- 前記輝度を推定し、センサ(18)が獲得したデータから、前記クロミナンスの3つの前記成分を補間する請求項4又は請求項5に記載の方法。
- 前記輝度と、前記画像(22)から補間された前記クロミナンスの3つの前記成分とから、前記画像(30)の前記再構成を実行する請求項4〜請求項6のいずれかの1項に記載の方法。
- 前記画像(30)の前記再構成は、線形であり、前記基本パターン(70)と近接部(76)とからの画素(72)、(82)、及び(84)の近接の重みのみを含む請求項4〜請求項7のいずれかの1項に記載の方法。
- 前記画像(30)の前記再構成は、適応性があり、非線形である再構成であって、標準化された低域フィルタで推定された輝度(86)の階調度に基づく計算によって、前記分解されたクロミナンスを逆多重化してベースバンドに戻されたスペクトル(88)の前記クロミナンスの補間を実行する方法であって、前記輝度(86)の低周波数の前記階調度は、前記3つのクロミナンスの補間の垂直方向、又は水平方向を示す請求項4〜請求項7のいずれかの1項に記載の方法。
- 前記逆多重化は、前記クロミナンスの搬送波をスペクトルの中心に戻すことを含む請求項9に記載の方法。
- 相互に接続するデジタル獲得モジュールと、処理モジュールとを有し、前記処理モジュールは、請求項1又は請求項2に従った少なくとも1つのセンサ(18)と、再構成モジュール(26)に接続される圧縮モジュール(32)と、記憶モジュール(40)と、表示モジュール(44)と、出力インタフェース(52)とを有する請求項3〜請求項10のいずれかの1項に記載の方法を実行する画像獲得システム。
- 前記画像(30)は、前記再構成モジュール(26)で再構成される請求項8、又は請求項9及び10に従った方法を実行する請求項11に記載のデジタル画像獲得システム。
- 前記再構成モジュール(26)で再構成された前記画像(30)は、前記圧縮モジュール(32)内の少なくとも1つのエンコーダで圧縮される請求項8〜請求項10のいずれかの1項の方法を実行する請求項12に記載のデジタル画像獲得システム。
- 前記再構成モジュール(26)で再構成された前記画像(30)は、前記再構成モジュール(26)内の少なくとも1つのエンコーダで圧縮される請求項8〜請求項10のいずれかの1項の方法を実行する請求項12に記載のデジタル画像獲得システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0704181A FR2917559B1 (fr) | 2007-06-12 | 2007-06-12 | Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre |
FR07/04181 | 2007-06-12 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013151459A Division JP2013243750A (ja) | 2007-06-12 | 2013-07-22 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015188240A true JP2015188240A (ja) | 2015-10-29 |
JP6104985B2 JP6104985B2 (ja) | 2017-03-29 |
Family
ID=38947707
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010511684A Pending JP2010531560A (ja) | 2007-06-12 | 2008-06-12 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
JP2013151459A Pending JP2013243750A (ja) | 2007-06-12 | 2013-07-22 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
JP2015111530A Active JP6104985B2 (ja) | 2007-06-12 | 2015-06-01 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010511684A Pending JP2010531560A (ja) | 2007-06-12 | 2008-06-12 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
JP2013151459A Pending JP2013243750A (ja) | 2007-06-12 | 2013-07-22 | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8564699B2 (ja) |
EP (1) | EP2160904B1 (ja) |
JP (3) | JP2010531560A (ja) |
FR (1) | FR2917559B1 (ja) |
WO (1) | WO2009007543A2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2952183A1 (fr) | 2009-10-30 | 2011-05-06 | St Microelectronics Crolles 2 | Detecteur de matiere biologique ou chimique et matrice de detecteurs correspondante |
CN102812709B (zh) * | 2009-11-20 | 2015-11-25 | M·辛格 | 压缩彩色图像采样和重建的方法和系统 |
DE102010041569B4 (de) * | 2010-09-28 | 2017-04-06 | Leica Geosystems Ag | Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem |
KR20120059367A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법 |
JP6962667B2 (ja) * | 2014-03-27 | 2021-11-05 | 住友建機株式会社 | ショベル及びその制御方法 |
US10048413B2 (en) | 2016-06-07 | 2018-08-14 | Goodrich Corporation | Imaging systems and methods |
JP6960802B2 (ja) | 2017-08-24 | 2021-11-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
FR3078852B1 (fr) | 2018-03-07 | 2020-04-03 | Centre National De La Recherche Scientifique (Cnrs) | Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaique de filtres couleurs |
JP7032287B2 (ja) | 2018-11-21 | 2022-03-08 | 住友建機株式会社 | ショベル |
US11328386B1 (en) | 2019-11-13 | 2022-05-10 | Gigajot Technology, Inc. | Luminance-guided image de-mosaicing and de-noising |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6454990A (en) * | 1987-08-26 | 1989-03-02 | Mitsubishi Electric Corp | Color solid-state image pickup device |
JPH09168157A (ja) * | 1995-12-18 | 1997-06-24 | Olympus Optical Co Ltd | カラー画像撮像装置及びカラー画像撮像素子 |
JPH10243407A (ja) * | 1997-02-27 | 1998-09-11 | Olympus Optical Co Ltd | 画像信号処理装置及び画像入力処理装置 |
JP2000316166A (ja) * | 1999-05-06 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及びカラー撮像装置 |
JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2003299113A (ja) * | 2002-04-04 | 2003-10-17 | Canon Inc | 撮像装置 |
JP2005136766A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 画像処理装置および画像処理方法 |
US20070024931A1 (en) * | 2005-07-28 | 2007-02-01 | Eastman Kodak Company | Image sensor with improved light sensitivity |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
US7123299B1 (en) * | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
JP2000308071A (ja) * | 1999-04-15 | 2000-11-02 | Olympus Optical Co Ltd | カラー撮像素子及びカラー撮像装置 |
US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
US7012643B2 (en) * | 2002-05-08 | 2006-03-14 | Ball Aerospace & Technologies Corp. | One chip, low light level color camera |
JP2005217979A (ja) * | 2004-01-30 | 2005-08-11 | Canon Inc | 撮像装置、その制御方法および制御プログラム |
JP4441809B2 (ja) * | 2004-05-20 | 2010-03-31 | 忠 杉木 | カラー固体撮像装置 |
JP4752550B2 (ja) * | 2006-03-14 | 2011-08-17 | ソニー株式会社 | カラー撮像素子の製造方法およびその装置 |
JP5258352B2 (ja) * | 2007-05-08 | 2013-08-07 | キヤノン株式会社 | 撮像素子、データ処理装置、及び制御方法 |
-
2007
- 2007-06-12 FR FR0704181A patent/FR2917559B1/fr active Active
-
2008
- 2008-06-12 EP EP08826272.0A patent/EP2160904B1/fr active Active
- 2008-06-12 US US12/664,320 patent/US8564699B2/en active Active
- 2008-06-12 WO PCT/FR2008/000806 patent/WO2009007543A2/fr active Application Filing
- 2008-06-12 JP JP2010511684A patent/JP2010531560A/ja active Pending
-
2013
- 2013-07-22 JP JP2013151459A patent/JP2013243750A/ja active Pending
-
2015
- 2015-06-01 JP JP2015111530A patent/JP6104985B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6454990A (en) * | 1987-08-26 | 1989-03-02 | Mitsubishi Electric Corp | Color solid-state image pickup device |
JPH09168157A (ja) * | 1995-12-18 | 1997-06-24 | Olympus Optical Co Ltd | カラー画像撮像装置及びカラー画像撮像素子 |
JPH10243407A (ja) * | 1997-02-27 | 1998-09-11 | Olympus Optical Co Ltd | 画像信号処理装置及び画像入力処理装置 |
JP2000316166A (ja) * | 1999-05-06 | 2000-11-14 | Olympus Optical Co Ltd | カラー撮像素子及びカラー撮像装置 |
JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2003299113A (ja) * | 2002-04-04 | 2003-10-17 | Canon Inc | 撮像装置 |
JP2005136766A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 画像処理装置および画像処理方法 |
US20070024931A1 (en) * | 2005-07-28 | 2007-02-01 | Eastman Kodak Company | Image sensor with improved light sensitivity |
Also Published As
Publication number | Publication date |
---|---|
WO2009007543A2 (fr) | 2009-01-15 |
WO2009007543A3 (fr) | 2009-03-12 |
EP2160904B1 (fr) | 2014-05-21 |
US20100253818A1 (en) | 2010-10-07 |
JP2013243750A (ja) | 2013-12-05 |
FR2917559B1 (fr) | 2009-12-25 |
US8564699B2 (en) | 2013-10-22 |
JP2010531560A (ja) | 2010-09-24 |
EP2160904A2 (fr) | 2010-03-10 |
FR2917559A1 (fr) | 2008-12-19 |
JP6104985B2 (ja) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6104985B2 (ja) | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム | |
JP5786149B2 (ja) | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 | |
US7701496B2 (en) | Color filter pattern for color filter arrays including a demosaicking algorithm | |
JP5183880B2 (ja) | カラーフィルタおよび撮像素子 | |
US7652700B2 (en) | Interpolation method for captured color image data | |
KR20110082421A (ko) | 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법 | |
JP2004343685A (ja) | 重み付け勾配ベースの色補正された補間 | |
JP2010531560A5 (ja) | ||
JP2000134634A (ja) | 画像変換方法 | |
WO2012153532A1 (ja) | 撮像装置 | |
JP2014158267A (ja) | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 | |
KR101243285B1 (ko) | 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법 | |
EP2248102A2 (en) | Method and device for reconstructing a color image | |
Guttosch | Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3® Direct Image Sensors | |
Lansel et al. | Local linear learned image processing pipeline | |
Wang et al. | Evaluation of the colorimetric performance of single-sensor image acquisition systems employing colour and multispectral filter array | |
Alleysson et al. | Frequency selection demosaicking: A review and a look ahead | |
JP2004023384A (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
Zapryanov et al. | Comparative study of demosaicing algorithms for bayer and pseudo-random bayer color filter arrays | |
EP4332834A1 (en) | Method and camera device for generating a moiré-corrected image file | |
JP2013146101A (ja) | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 | |
JP2011135623A (ja) | カラーフィルタ、撮像素子および画像処理装置 | |
JPWO2015037189A1 (ja) | ノイズ除去装置、方法およびプログラム | |
US9894336B2 (en) | Color imaging using a monochromatic digital camera | |
Tian et al. | Image reconstruction research on color filter array |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6104985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |