JP2007306447A5 - - Google Patents

Download PDF

Info

Publication number
JP2007306447A5
JP2007306447A5 JP2006134700A JP2006134700A JP2007306447A5 JP 2007306447 A5 JP2007306447 A5 JP 2007306447A5 JP 2006134700 A JP2006134700 A JP 2006134700A JP 2006134700 A JP2006134700 A JP 2006134700A JP 2007306447 A5 JP2007306447 A5 JP 2007306447A5
Authority
JP
Japan
Prior art keywords
image
sensitivity pixel
pixel
low
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006134700A
Other languages
English (en)
Other versions
JP5011814B2 (ja
JP2007306447A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2006134700A priority Critical patent/JP5011814B2/ja
Priority claimed from JP2006134700A external-priority patent/JP5011814B2/ja
Priority to US11/747,129 priority patent/US7839437B2/en
Publication of JP2007306447A publication Critical patent/JP2007306447A/ja
Publication of JP2007306447A5 publication Critical patent/JP2007306447A5/ja
Application granted granted Critical
Publication of JP5011814B2 publication Critical patent/JP5011814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (13)

  1. アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子と、
    前記撮像素子における高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御する露光制御部と、
    前記撮像素子の出力信号に基づいて画像生成処理を実行する画像生成部を有し、
    前記画像生成部は、
    前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行し、2つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行する構成であることを特徴とする撮像装置。
  2. 前記画像生成部は、
    前記2つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像素子は、
    RGBの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、
    前記画像生成部は、
    RGB対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をWL、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をWHとしたとき、係数としてのパラメータa,b,cを適用した算出式、
    WL=aR+bG+cB、
    に基づいて、低感度画素評価画像WLを生成する構成であり、前記パラメータa,b,cを、撮像素子の特性に応じて決定する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  4. 前記画像生成部は、
    前記パラメータを光源に応じて異なる値を適用する構成であることを特徴とする請求項3に記載の撮像装置。
  5. 前記画像生成部は、
    前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値|E|と予め定めた閾値との比較処理を実行し、閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  6. 前記画像生成部は、
    前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値|E|と予め定めた複数の閾値との比較処理を実行し、前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  7. 前記画像生成部は、
    前記複数の閾値によって規定される差分量に応じた異なる画像処理として、
    前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行する構成であることを特徴とする請求項6に記載の撮像装置。
  8. 前記画像生成部は、
    前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行う構成であることを特徴とする請求項1に記載の撮像装置。
  9. 前記画像生成部は、
    前記2つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  10. 前記画像生成部は、
    前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  11. 前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする請求項1〜10いずれかに記載の撮像装置。
  12. 撮像装置において画像処理を実行する画像処理方法であり、
    相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力するステップと、
    前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行する評価画像比較ステップと、
    前記画像生成部において、2つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成する画像処理ステップと、
    を有することを特徴とする画像処理方法。
  13. 撮像装置において画像処理を実行させるコンピュータ・プログラムであり、
    制御部の制御の下、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力させるステップと、
    前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行させる評価画像比較ステップと、
    前記画像生成部において、2つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成させる画像処理ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2006134700A 2006-05-15 2006-05-15 撮像装置、および画像処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP5011814B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006134700A JP5011814B2 (ja) 2006-05-15 2006-05-15 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US11/747,129 US7839437B2 (en) 2006-05-15 2007-05-10 Image pickup apparatus, image processing method, and computer program capable of obtaining high-quality image data by controlling imbalance among sensitivities of light-receiving devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006134700A JP5011814B2 (ja) 2006-05-15 2006-05-15 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2007306447A JP2007306447A (ja) 2007-11-22
JP2007306447A5 true JP2007306447A5 (ja) 2009-06-25
JP5011814B2 JP5011814B2 (ja) 2012-08-29

Family

ID=38839987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006134700A Expired - Fee Related JP5011814B2 (ja) 2006-05-15 2006-05-15 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US7839437B2 (ja)
JP (1) JP5011814B2 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JP4241840B2 (ja) * 2006-02-23 2009-03-18 富士フイルム株式会社 撮像装置
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
PL2087722T3 (pl) * 2006-09-28 2017-03-31 Nokia Technologies Oy Sposób odczytu dla urządzenia obrazującego CMOS ze zmniejszonym prądem ciemnym
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US8045022B2 (en) * 2007-06-12 2011-10-25 Fujifilm Corporation Imaging apparatus for correcting a luminance signal
JP5033711B2 (ja) * 2007-06-13 2012-09-26 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8063350B2 (en) * 2007-08-03 2011-11-22 Cognex Corporation Circuits and methods allowing for pixel array exposure pattern control
US20090086068A1 (en) * 2007-09-28 2009-04-02 Tatsuya Hagiwara Solid-state image pick-up device and image pick-up apparatus
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
US9451142B2 (en) * 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
US8570393B2 (en) * 2007-11-30 2013-10-29 Cognex Corporation System and method for processing image data relative to a focus of attention within the overall image
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US20100149393A1 (en) * 2008-05-22 2010-06-17 Panavision Imaging, Llc Increasing the resolution of color sub-pixel arrays
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
JP2009296276A (ja) * 2008-06-04 2009-12-17 Sony Corp 撮像装置およびカメラ
JP2009303043A (ja) * 2008-06-16 2009-12-24 Panasonic Corp 固体撮像装置及びその信号処理方法
KR101538654B1 (ko) * 2008-07-07 2015-07-22 삼성전자주식회사 손 떨림 보정 동작을 제어하는 디지털 촬영장치 및 이의제어방법
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP5080414B2 (ja) 2008-09-30 2012-11-21 富士通フロンテック株式会社 情報読取用撮像装置
JP2010087850A (ja) 2008-09-30 2010-04-15 Fujitsu Frontech Ltd 情報読取用撮像装置
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8073246B2 (en) 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5012823B2 (ja) 2009-01-28 2012-08-29 ソニー株式会社 撮像装置および撮像方法
JP2010182765A (ja) 2009-02-04 2010-08-19 Sony Corp 固体撮像装置および電子機器
US9189670B2 (en) 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP5454075B2 (ja) * 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20110205384A1 (en) * 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8692913B2 (en) * 2010-03-16 2014-04-08 Fujifilm Corporation Solid-state electronic image sensing apparatus and method of controlling operation of same
JP5624808B2 (ja) * 2010-06-21 2014-11-12 オリンパス株式会社 撮像装置
US20110317048A1 (en) 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
DE102010063959A1 (de) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Mikroskop mit einem Farbbildsensor sowie Mikroskopieverfahren mit einem Farbbildsensor
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
JP5999750B2 (ja) * 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
JP5634420B2 (ja) 2012-02-24 2014-12-03 株式会社東芝 画像処理装置及び固体撮像装置
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
CN102663707B (zh) * 2012-04-25 2015-09-09 广东威创视讯科技股份有限公司 基于样条曲面的图像重构方法及装置
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014030390A1 (ja) * 2012-08-23 2014-02-27 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP6128817B2 (ja) * 2012-11-30 2017-05-17 キヤノン株式会社 画像形成装置および画像形成方法
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US8995766B1 (en) * 2013-09-27 2015-03-31 Himax Imaging Limited Image processing method and image processing device
KR102159256B1 (ko) 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
US9866764B2 (en) 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
GB2544851B (en) * 2015-09-22 2019-04-17 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
KR102502452B1 (ko) * 2016-02-15 2023-02-22 삼성전자주식회사 이미지 센서 및 복원 이미지 생성 방법
JP7171342B2 (ja) * 2018-09-26 2022-11-15 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2020088464A (ja) * 2018-11-19 2020-06-04 キヤノン株式会社 撮像装置、画像処理装置、および画像処理方法
US10785431B2 (en) * 2018-11-27 2020-09-22 Semiconductor Components Industries, Llc Image sensors having dark pixels and imaging pixels with different sensitivities
JP7144604B2 (ja) 2019-09-09 2022-09-29 オッポ広東移動通信有限公司 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
US20230021726A1 (en) * 2021-07-15 2023-01-26 Samsung Electronics Co., Ltd. System and method for multi-exposure, multi-frame blending of red-green-blue-white (rgbw) images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JPH0488784A (ja) 1990-07-31 1992-03-23 Canon Inc カラー撮像素子及び信号処理方式
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
JPH09116911A (ja) * 1995-10-20 1997-05-02 Canon Inc 撮像システム
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP4742453B2 (ja) * 2001-06-20 2011-08-10 ソニー株式会社 撮像方法および装置
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US7688362B2 (en) * 2004-03-05 2010-03-30 Florida Atlantic University Single sensor processing to obtain high resolution color component signals
JP2005294913A (ja) * 2004-03-31 2005-10-20 Victor Co Of Japan Ltd 撮像装置
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP4253634B2 (ja) * 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
JP4796871B2 (ja) * 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置

Similar Documents

Publication Publication Date Title
JP2007306447A5 (ja)
JP2020061755A5 (ja)
JP6542194B2 (ja) ノイズ認識のエッジ強調
US20200372682A1 (en) Predicting optimal values for parameters used in an operation of an image signal processor using machine learning
JP2010016649A5 (ja)
JP2007110576A5 (ja)
JP2008227697A5 (ja)
JP2008061136A5 (ja)
JP2011004190A5 (ja)
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2008042482A5 (ja)
JP2011087269A5 (ja)
JP2013115717A5 (ja)
JP2015219603A5 (ja)
JP2015034869A5 (ja)
JP2012104968A5 (ja)
JP2010140442A5 (ja)
JP2015115714A5 (ja)
JP2013055640A5 (ja)
JP2013066114A5 (ja)
JP2008072377A5 (ja)
JP2012054873A5 (ja)
JP2015136054A5 (ja)
JP2015119206A5 (ja) 画像処理装置、撮像装置、その制御方法及びプログラム
JP2005136917A5 (ja)