JP2006180210A - 撮像装置および方法、並びにプログラム - Google Patents
撮像装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2006180210A JP2006180210A JP2004371314A JP2004371314A JP2006180210A JP 2006180210 A JP2006180210 A JP 2006180210A JP 2004371314 A JP2004371314 A JP 2004371314A JP 2004371314 A JP2004371314 A JP 2004371314A JP 2006180210 A JP2006180210 A JP 2006180210A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- image
- unit
- sensor output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】 撮像部121は同じシーンに対して2回の撮像を行う。同じシーンに対して撮像される2枚のセンサ出力画像は、1枚は通常の設定で撮像した通常撮影センサ出力123であり、もう1枚は光学的にぼかした設定で撮像したぼかし撮影センサ出力124である。そして信号処理部122は撮像された2枚のセンサ出力画像をもとに、異常画素の検出/補正およびデモザイク処理をおこなうことによって、画素ごとの色や感度の違いによらない補間処理が可能となり、その結果元信号の高周波成分の復元が可能となる。本発明は、ディジタルスチルカメラ等に適用することができる。
【選択図】図5
Description
ステップS33からS38までの処理が各画素位置ごとに実行される。ステップS33では、局所領域抽出部161が現在画素位置を中心に局所領域162を抽出する。次にステップS34において、平均値算出部163が中心画素を同じ色の画素の平均値を算出する。ステップS35において、差分絶対値算出部164が前記平均値と中心画素の画素値との差分絶対値を算出する。ステップS36において、閾値判定部165が前記差分絶対値とあらかじめ設定した閾値を比較し、閾値よりも大きければステップS27に移行し、そうでなければステップS38に移行する。ステップS37では、現在画素位置は異常画素であると判定され、その判定結果が記憶される。ステップS38では、現在画素位置は異常画素でないと判定され、その判定結果が記憶される。ステップS37またはS38の処理が終了したら次のループに移行する。全ての画素位置でステップS33からS38の処理が終了したらループを抜け、ステップS39に移行する。ステップS39では、各画素での異常画素検出結果をまとめた画像データが出力され、異常画素検出部145の動作を終了する。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
Claims (24)
- 画像センサを用いて撮像した第1のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第2のセンサ出力画像を取得する画像取得手段と、
第1のセンサ出力画像および第2のセンサ出力画像にカメラ信号画像処理を施して1枚の画像を生成する信号処理手段と
を含むことを特徴とする撮像装置。 - 前記画像取得手段は、移動可能な光学的なローパスフィルタを光軸上に出し入れする機構を持つ
ことを特徴とする請求項1に記載の撮像装置。 - 前記画像取得手段は、フォーカスを合焦位置からずらす機構を持つ
ことを特徴とする請求項1に記載の撮像装置。 - 前記信号処理手段は、
第1および第2のセンサ出力画像に基づいて画素欠陥補正処理を行う画素欠陥補正手段を含む
ことを特徴とする請求項1に記載の撮像装置。 - 前記画素欠陥補正手段は、
前記第1のセンサ出力画像の各画素の非線形変換された画素値を算出する第1の非線形変換手段と、
前記第2のセンサ出力画像の各画素の非線形変換された画素値を算出する第2の非線形変換手段と、
対応する画素毎に、前記第1の非線形変換手段によって算出された画素値と前記第2の非線形変換手段によって算出された画素値の差分値を算出する差分算出手段と、
前記第1または第2のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定手段と、
異常画素であると判定された画素に対し、前記画素に対応する前記差分値を近傍から補間して更新する第1の補正手段と、
異常画素であると判定された画素に対し、前記画素の前記第2の非線形変換された画素値を近傍から補間して更新する第2の補正手段と
を含むことを特徴とする請求項4に記載の撮像装置。 - 前記第1および第2の非線形変換手段は、対数変換を行う
ことを特徴とする請求項5に記載の撮像装置。 - 前記第1および第2の非線形変換手段は、べき乗変換を行う
ことを特徴とする請求項5に記載の撮像装置。 - 前記異常画素判定手段は、
予め異常画素として検出されている画素の位置を示す情報が保存されているメモリから前記情報を読み出す
ことを特徴とする請求項5に記載の撮像装置。 - 前記異常画素判定手段は、
前記第2の非線形変換手段によって非線形変換された前記第2のセンサ出力画像の各画素位置ごとに前記画素位置を中心とした近傍領域を抽出する近傍領域手段と、
前記近傍領域の画素値の平均値を算出する平均値算出手段と、
前記近傍領域の中心画素位置の画素値と前記近傍画素の平均値との差分絶対値を算出する差分絶対値算出手段と、
前記差分絶対値と所定の閾値とを比較する比較手段と
を含むことを特徴とする請求項5に記載の撮像装置。 - 前記異常画素判定手段は、前記第1の非線形変換手段によって非線形変換された前記第1のセンサ出力画像の各画素位置ごとに画素値が所定の範囲内あるか否かを判定する
ことを特徴とする請求項5に記載の撮像装置。 - 前記第1の補正手段は、
異常画素を中心にした3×3画素の領域に微分オペレータを適用し、水平および垂直方向の微分値を算出する微分値算出手段と、
前記異常画素を中心にした3×3画素の領域の画素値から水平、垂直、および斜めの4方向の補間値を算出する補間値算出手段と、
前記水平および垂直方向の微分値に基づいて4方向の補間値の重み値を算出する重み値算出手段と、
前記4方向の補間値を前記重みを用いて重みつき加算することで前記異常画素に対する補間値を算出する加重和算出手段と
を含むことを特徴とする請求項5に記載の撮像装置。 - 前記信号処理手段は、第1および第2のセンサ出力画像に基づいてデモザイク処理を行うデモザイク手段を
含むことを特徴とする請求項1に記載の撮像装置。 - 前記デモザイク手段は、
第1のセンサ出力画像の各画素の非線形変換された画素値を算出する第1の非線形変換手段と、
第2のセンサ出力画像の各画素の非線形変換された画素値を算出する第2の非線形変換手段と、
対応する画素毎に、前記第1の非線形変換手段によって算出された画素値と前記第2の非線形変換手段によって算出された画素値の差分値を算出し、前記差分値を画素値とする差分画像を生成する差分算出手段と、
前記差分画像の画素値に基づき、各画素に対応するRGB値を算出する第1のデモザイク手段と、
前記第2の非線形変換手段によって非線形変換された前記第2のセンサ出力画像に基づき、各画素に対応するRGB値を算出する第2のデモザイク手段と、
前記第1のデモザイク手段よって算出された各画素のRGB値と、前記第2のデモザイク手段よって算出された各画素のRGB値を各色ごとに加算する加算手段と
を含むことを特徴とする請求項12に記載の撮像装置。 - 前記第1および第2の非線形変換手段は、対数変換を行う
ことを特徴とする請求項13に記載の撮像装置。 - 前記第1および第2の非線形変換手段は、べき乗変換を行う
ことを特徴とする請求項13に記載の撮像装置。 - 前記第2のデモザイク手段は、各色ごとに平滑化フィルタによる補間処理を行う
ことを特徴とする請求項13に記載の撮像装置。 - 前記第1のデモザイク手段は、
前記差分画像の画素値をそのままRGB値のうちのいずれかの補間値として用いる
ことを特徴とする請求項13に記載の撮像装置。 - 前記第1のデモザイク手段は、
前記差分画像の各画素位置ごとに当該画素位置を中心とした近傍領域を抽出する近傍領域抽出手段と、
抽出された前記近傍領域の画素値に基づいて色変化の有無を検出する色変化検出手段と、
抽出された前記近傍領域の中心画素の画素値をそのままRGB値のうちのいずれかの補間値とする第1の補間値算出手段と、
抽出された前記近傍領域の画素を各色ごとに平滑化して補間値を算出する第2の補間値算出手段と、
前記色変化検出手段の検出結果に応じて、前記第1の補間値と前記第2の補間値を各色ごとに混合する混合手段と
を含むことを特徴とする請求項17に記載の撮像装置。 - 前記色変化検出手段は、
前記近傍領域の画素から各色の平均値を算出する平均値算出手段と、
前記近傍領域の画素のうち、最も画素数が多い色の画素の標準偏差を算出する標準偏差算出手段と、
前記各色の平均値の相互の差分絶対値の中の最大値を算出する最大値算出手段と、
色変化の度合いとして、前記平均値の差分絶対値の最大値と前記標準偏差の比率を算出する比率算出手段と
を含むことを特徴とする請求項18に記載の撮像装置。 - 前記画像取得手段は、画素毎に感度が異なる画像センサを用いる
ことを特徴とする請求項1に記載の撮像装置。 - 画素毎に感度が異なる前記画像センサは、
色の配列がBayer配列であり、
感度の配列が、
Gについては、2種類の感度の画素が水平および垂直に1ラインごとに交互に配置されており、
RおよびBについては、2種類の感度の画素が水平および垂直に2ラインごとに交互に配置されている
ことを特徴とする請求項20に記載の撮像装置。 - 画素毎に感度が異なる前記画像センサは、
感度の配列が異なる2種類の感度が市松状に配置されており、
色の配列として、
Gについては、1垂直ラインおきのストライプに配置されており、
RおよびBについては、Gのラインではない垂直ラインに2画素周期で交互に配置されている
ことを特徴とする請求項20に記載の撮像装置。 - 画像センサを用いて撮像した第1のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第2のセンサ出力画像を取得する画像取得ステップと、
第1のセンサ出力画像および第2のセンサ出力画像にカメラ信号画像処理を施して1枚の画像を生成する信号処理ステップと
を含むことを特徴とする撮像方法。 - 撮像装置を制御するためのプログラムであって、
画像センサを用いて撮像した第1のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第2のセンサ出力画像を取得する画像取得ステップと、
第1のセンサ出力画像および第2のセンサ出力画像にカメラ信号画像処理を施して1枚の画像を生成する信号処理ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004371314A JP4617870B2 (ja) | 2004-12-22 | 2004-12-22 | 撮像装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004371314A JP4617870B2 (ja) | 2004-12-22 | 2004-12-22 | 撮像装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006180210A true JP2006180210A (ja) | 2006-07-06 |
JP4617870B2 JP4617870B2 (ja) | 2011-01-26 |
Family
ID=36733883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004371314A Expired - Fee Related JP4617870B2 (ja) | 2004-12-22 | 2004-12-22 | 撮像装置および方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4617870B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232200A (ja) * | 2008-03-24 | 2009-10-08 | Hitachi Kokusai Electric Inc | 撮像素子の画素欠陥補正方法 |
JP2009303139A (ja) * | 2008-06-17 | 2009-12-24 | Toshiba Corp | 固体撮像装置 |
JP2011024246A (ja) * | 2009-06-15 | 2011-02-03 | Konica Minolta Opto Inc | 撮像装置 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
KR20150030987A (ko) * | 2013-09-13 | 2015-03-23 | 에스케이하이닉스 주식회사 | 신호 처리 장치 및 그의 동작 방법 |
JP2015065635A (ja) * | 2013-08-29 | 2015-04-09 | 株式会社Jvcケンウッド | 撮像装置および撮像画像の色補正方法 |
JP2015156614A (ja) * | 2014-02-21 | 2015-08-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2015213281A (ja) * | 2014-05-07 | 2015-11-26 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
JP2017107064A (ja) * | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 撮像装置 |
JP6461430B1 (ja) * | 2016-11-30 | 2019-01-30 | 広東欧珀移動通信有限公司 | 画像の不良画素補償方法、装置及び非一時的なコンピュータ可読記憶媒体 |
WO2021145158A1 (ja) * | 2020-01-14 | 2021-07-22 | ソニーグループ株式会社 | 撮像装置及び撮像装置の制御方法 |
CN113497934A (zh) * | 2021-05-17 | 2021-10-12 | 南京威派视半导体技术有限公司 | 一种图像传感器坏点检测及校正方法 |
CN114125435A (zh) * | 2021-11-30 | 2022-03-01 | 杭州科技职业技术学院 | 一种用于网络摄像机的图像缺陷智能检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0865545A (ja) * | 1994-08-24 | 1996-03-08 | Matsushita Electric Ind Co Ltd | 欠陥検出方法及び装置 |
JPH10322603A (ja) * | 1997-03-19 | 1998-12-04 | Konica Corp | 電子カメラ |
JP2002344984A (ja) * | 2001-05-22 | 2002-11-29 | Nikon Corp | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理プログラム |
-
2004
- 2004-12-22 JP JP2004371314A patent/JP4617870B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0865545A (ja) * | 1994-08-24 | 1996-03-08 | Matsushita Electric Ind Co Ltd | 欠陥検出方法及び装置 |
JPH10322603A (ja) * | 1997-03-19 | 1998-12-04 | Konica Corp | 電子カメラ |
JP2002344984A (ja) * | 2001-05-22 | 2002-11-29 | Nikon Corp | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理プログラム |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232200A (ja) * | 2008-03-24 | 2009-10-08 | Hitachi Kokusai Electric Inc | 撮像素子の画素欠陥補正方法 |
JP2009303139A (ja) * | 2008-06-17 | 2009-12-24 | Toshiba Corp | 固体撮像装置 |
JP2011024246A (ja) * | 2009-06-15 | 2011-02-03 | Konica Minolta Opto Inc | 撮像装置 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2015065635A (ja) * | 2013-08-29 | 2015-04-09 | 株式会社Jvcケンウッド | 撮像装置および撮像画像の色補正方法 |
KR102051538B1 (ko) * | 2013-09-13 | 2020-01-08 | 에스케이하이닉스 주식회사 | 신호 처리 장치 및 그의 동작 방법 |
KR20150030987A (ko) * | 2013-09-13 | 2015-03-23 | 에스케이하이닉스 주식회사 | 신호 처리 장치 및 그의 동작 방법 |
JP2015156614A (ja) * | 2014-02-21 | 2015-08-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2015213281A (ja) * | 2014-05-07 | 2015-11-26 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
JP2017107064A (ja) * | 2015-12-09 | 2017-06-15 | 株式会社ニコン | 撮像装置 |
US10438330B2 (en) | 2016-11-30 | 2019-10-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for compensating dead pixels of image, and non-transitory computer-readable storage medium |
JP6461430B1 (ja) * | 2016-11-30 | 2019-01-30 | 広東欧珀移動通信有限公司 | 画像の不良画素補償方法、装置及び非一時的なコンピュータ可読記憶媒体 |
WO2021145158A1 (ja) * | 2020-01-14 | 2021-07-22 | ソニーグループ株式会社 | 撮像装置及び撮像装置の制御方法 |
CN113497934A (zh) * | 2021-05-17 | 2021-10-12 | 南京威派视半导体技术有限公司 | 一种图像传感器坏点检测及校正方法 |
CN114125435A (zh) * | 2021-11-30 | 2022-03-01 | 杭州科技职业技术学院 | 一种用于网络摄像机的图像缺陷智能检测方法 |
CN114125435B (zh) * | 2021-11-30 | 2023-07-25 | 杭州科技职业技术学院 | 一种用于网络摄像机的图像缺陷智能检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4617870B2 (ja) | 2011-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2087725B1 (en) | Improved light sensitivity in image sensors | |
JP5749741B2 (ja) | ノイズ低減方法 | |
JP5543616B2 (ja) | 色フィルタアレイ画像反復デノイズ | |
TWI428006B (zh) | 處理像素陣列及處理影像的方法 | |
TWI504276B (zh) | 用於捕捉彩色影像之影像感測器 | |
RU2556022C2 (ru) | Устройство формирования цветного изображения | |
TWI495336B (zh) | 利用彩色濾光片陣列影像產生全彩影像 | |
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
JP5603506B2 (ja) | 撮像装置及び画像処理方法 | |
KR20090019800A (ko) | 이미지 센서 | |
EP2436180A1 (en) | Four-channel color filter array interpolation | |
JP5513978B2 (ja) | 撮像装置、集積回路および画像処理方法 | |
JP4617870B2 (ja) | 撮像装置および方法、並びにプログラム | |
WO2013046827A1 (ja) | 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置 | |
EP2800381A1 (en) | Image processing device and method, and imaging device | |
US8970747B2 (en) | Imaging device | |
JP5621053B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
JP5786355B2 (ja) | デフォーカス量検出装置および電子カメラ | |
JP2004266323A (ja) | 撮像システム、画像処理プログラム | |
JP6976789B2 (ja) | 撮像装置及び撮像方法 | |
JP6467824B2 (ja) | 撮像装置 | |
JP2010093336A (ja) | 撮像装置および補間処理方法 | |
WO2013100095A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |