JP2016010008A - Imaging device and noise correction method - Google Patents

Imaging device and noise correction method Download PDF

Info

Publication number
JP2016010008A
JP2016010008A JP2014129580A JP2014129580A JP2016010008A JP 2016010008 A JP2016010008 A JP 2016010008A JP 2014129580 A JP2014129580 A JP 2014129580A JP 2014129580 A JP2014129580 A JP 2014129580A JP 2016010008 A JP2016010008 A JP 2016010008A
Authority
JP
Japan
Prior art keywords
noise
image
condition
captured image
conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014129580A
Other languages
Japanese (ja)
Other versions
JP6503646B2 (en
Inventor
陽一 角田
Yoichi Tsunoda
陽一 角田
寺内 正和
Masakazu Terauchi
正和 寺内
直人 朝倉
Naoto Asakura
直人 朝倉
武剛 西村
Takeyoshi Nishimura
武剛 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Priority to JP2014129580A priority Critical patent/JP6503646B2/en
Publication of JP2016010008A publication Critical patent/JP2016010008A/en
Application granted granted Critical
Publication of JP6503646B2 publication Critical patent/JP6503646B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device in which the noise included in a captured image is corrected appropriately, and to provide a noise correction method.SOLUTION: Noise included in a captured image is corrected by using a plurality of noise images. A system control circuit 300 controls an imaging CMOS22 to capture a subject image by using arbitrary shooting conditions, thus obtaining a captured image. Subsequently, the shooting conditions and acquisition conditions are compared thus calculating adjustment coefficients. Thereafter, adjustment coefficients k1 and k2 are calculated by using the shooting conditions of the captured image and the acquisition conditions of noise images 1 and 2. Furthermore, noises a and b are corrected, by using the adjustment coefficients k3 obtained by subtracting the adjustment coefficient k1 from k2. D4=D3-k1 D1-k3 D2, where D1 is the pixel data of the noise image 1, D2 is the pixel data of the noise image 2, D3 is the pixel data of the captured image, and D4 is the pixel data of an image subjected to noise correction.

Description

本発明は、画像に含まれるノイズを補正する撮像装置及びノイズ補正方法に関する。   The present invention relates to an imaging apparatus and a noise correction method for correcting noise included in an image.

撮像素子を用いて撮像した撮影画像に含まれるノイズを補正する撮像装置が知られている。撮影画像は、露光時間及び撮像素子の温度に起因するノイズを有する。そこで、予め特定の温度と露光時間で予め撮影しておいた画像に、露光時間に応じた利得と撮像素子の温度に応じた利得とを乗じ、得られた画像を撮影画像から減算する。これにより、撮影画像に含まれるノイズが補正される(特許文献1)。   2. Description of the Related Art An imaging device that corrects noise included in a captured image captured using an imaging element is known. The captured image has noise due to the exposure time and the temperature of the image sensor. Therefore, an image captured in advance at a specific temperature and exposure time is multiplied by a gain corresponding to the exposure time and a gain corresponding to the temperature of the image sensor, and the obtained image is subtracted from the captured image. Thereby, the noise contained in a picked-up image is correct | amended (patent document 1).

特開昭63−263881号公報Japanese Unexamined Patent Publication No. 63-263881

しかし前述のように、撮影画像は露光時間及び温度に起因するノイズを含む。そのため、予め撮影しておいた1枚の画像に、温度に応じた利得と露光時間に応じた利得を乗じて補正する構成では、適切にノイズを補正できないおそれがある。   However, as described above, the captured image includes noise due to the exposure time and temperature. For this reason, in a configuration in which a single image captured in advance is multiplied by a gain according to temperature and a gain according to exposure time, the noise may not be corrected appropriately.

本発明はこれらの問題に鑑みてなされたものであり、撮影画像に含まれるノイズを適切に補正する撮像装置及びノイズ補正方法を得ることを目的とする。   The present invention has been made in view of these problems, and an object thereof is to obtain an imaging apparatus and a noise correction method that appropriately correct noise included in a captured image.

本願第1の発明による撮像装置は、複数の取得条件毎に作成された複数のノイズ画像を記憶する記憶部と、撮影条件を用いて被写体像を撮像し、撮影画像を出力する撮像素子と、複数の取得条件と撮影条件とを用いて複数のノイズ画像を調整して調整ノイズ画像を作成し、撮影画像に含まれるノイズを調整ノイズ画像を用いて補正するノイズ補正部とを備えることを特徴とする。   An imaging apparatus according to a first invention of the present application includes a storage unit that stores a plurality of noise images created for each of a plurality of acquisition conditions, an imaging element that captures a subject image using imaging conditions, and outputs a captured image; A noise correction unit that adjusts a plurality of noise images using a plurality of acquisition conditions and shooting conditions to create an adjustment noise image, and corrects noise included in the shooting images using the adjustment noise image is provided. And

取得条件は複数の依存条件を有し、ノイズ補正部は、複数の依存条件に基づいて調整係数を算出し、調整係数に応じてノイズ画像を調整することにより調整ノイズ画像を作成することが好ましい。撮影画像に含まれるノイズを適切に補正することができる。   The acquisition condition has a plurality of dependency conditions, and the noise correction unit preferably calculates an adjustment coefficient based on the plurality of dependency conditions, and creates the adjustment noise image by adjusting the noise image according to the adjustment coefficient. . Noise included in the captured image can be corrected appropriately.

ノイズ補正部は、取得条件と撮影条件とに基づいてノイズ画像を調整する調整係数を算出し、調整係数に応じてノイズ画像を調整することにより調整ノイズ画像を作成することが好ましい。撮影画像に含まれるノイズを適切に補正することができる。   It is preferable that the noise correction unit calculates an adjustment coefficient for adjusting the noise image based on the acquisition condition and the imaging condition, and creates the adjustment noise image by adjusting the noise image according to the adjustment coefficient. Noise included in the captured image can be corrected appropriately.

記憶部は、複数の取得条件と、取得条件毎に作成される複数のノイズ画像とを記憶することが好ましい。撮影画像に含まれるノイズを適切に補正することができる。   The storage unit preferably stores a plurality of acquisition conditions and a plurality of noise images created for each acquisition condition. Noise included in the captured image can be corrected appropriately.

ノイズ画像及び撮影画像は、複数の行から成る画素データを有し、記憶部は、取得条件を行毎に記憶することが好ましい。より正確にノイズを補正することができる。   It is preferable that the noise image and the captured image have pixel data composed of a plurality of rows, and the storage unit stores the acquisition condition for each row. Noise can be corrected more accurately.

所定の取得条件の下でノイズ画像を作成するノイズ画像作成部を備えることが好ましい。予めノイズ画像を用意する必要がない。また、撮像装置の経時劣化に応じてノイズ画像を作成することができる。   It is preferable to include a noise image creation unit that creates a noise image under a predetermined acquisition condition. There is no need to prepare a noise image in advance. In addition, a noise image can be created according to deterioration with time of the imaging apparatus.

本願第2の発明によるノイズ補正方法は、撮像素子が所定の撮影条件を用いて被写体像を撮像し、撮影画像を出力するステップと、記憶部から所定の取得条件の下で作成されたノイズ画像を読み出すステップと、ノイズ補正部が、取得条件と撮影条件とを用いてノイズ画像を調整して調整ノイズ画像を作成するステップと、ノイズ補正部が、撮影画像に含まれるノイズを調整ノイズ画像を用いて補正するステップとを備えることを特徴とする。   In the noise correction method according to the second invention of the present application, the image pickup device picks up a subject image using a predetermined shooting condition and outputs a shot image, and a noise image created under a predetermined acquisition condition from the storage unit And a step of adjusting the noise image by using the acquisition condition and the shooting condition to generate an adjustment noise image, and a step of adjusting the noise included in the shot image by the noise correction unit. And using the correcting step.

本発明によれば、撮影画像に含まれるノイズを適切に補正する撮像装置及びノイズ補正方法を得る。   According to the present invention, an imaging device and a noise correction method that appropriately correct noise included in a captured image are obtained.

本願発明による撮像装置のブロック図である。It is a block diagram of the imaging device by this invention. 撮影画像が有する画素データの一部を概略的に示した図である。It is the figure which showed a part of pixel data which a picked-up image has schematically. 撮像素子とノイズとの関係を示した図である。It is the figure which showed the relationship between an image pick-up element and noise. 補正条件選択処理を示したフローチャートである。It is the flowchart which showed the correction condition selection process. 第1の補正処理を示したフローチャートである。It is the flowchart which showed the 1st correction process. 第2の補正処理を示したフローチャートである。It is the flowchart which showed the 2nd correction process. 第3の補正処理を示したフローチャートである。It is the flowchart which showed the 3rd correction process.

以下、本願発明による一実施形態である撮像装置及びノイズ補正方法について図を用いて説明する。図1は、撮像装置の第1の実施形態であるデジタルカメラ10を示す。まず、図1を用いてデジタルカメラ10の構成について説明する。   Hereinafter, an imaging device and a noise correction method according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a digital camera 10 that is a first embodiment of an imaging apparatus. First, the configuration of the digital camera 10 will be described with reference to FIG.

デジタルカメラ10は、本体12と、本体12に着脱自在な交換レンズ14とを備える。   The digital camera 10 includes a main body 12 and an interchangeable lens 14 that is detachable from the main body 12.

本体12は、その内部に、ペンタゴナルダハプリズム(以下、ペンタプリズムという)16、ファインダースクリーン17、メインミラー18、サブミラー19、撮像素子を成す撮像用CMOS22、測光用センサ23、AFモジュール24、ノイズ補正部を成すシステムコントロール回路300、表示部33、メモリカード40、及びレリーズ釦41を主に備える。   The main body 12 includes a pentagonal roof prism (hereinafter referred to as a “penta prism”) 16, a finder screen 17, a main mirror 18, a sub mirror 19, an imaging CMOS 22, a photometric sensor 23, an AF module 24, and noise correction. The system control circuit 300, the display unit 33, the memory card 40, and the release button 41 are mainly provided.

交換レンズ14は、撮影光学系15を主に備える。撮影光学系15は複数の光学レンズから成り、撮像用CMOS22に被写体像を結像させる。   The interchangeable lens 14 mainly includes a photographing optical system 15. The photographing optical system 15 includes a plurality of optical lenses, and forms a subject image on the imaging CMOS 22.

メインミラー18は、光を反射する反射面を有する薄板であって、反射面が撮影光学系15を向くように、撮影光学系15から撮像用CMOS22への光路上に設けられる。メインミラー18は、所定の軸回りに回動することにより、光路上に出入可能である。反射面は、入射する光の一部を反射し、残りの光を透過する。   The main mirror 18 is a thin plate having a reflecting surface that reflects light, and is provided on the optical path from the photographing optical system 15 to the imaging CMOS 22 so that the reflecting surface faces the photographing optical system 15. The main mirror 18 can move in and out of the optical path by rotating around a predetermined axis. The reflecting surface reflects a part of the incident light and transmits the remaining light.

サブミラー19は、メインミラー反射面を透過した光がAFモジュール24に導かれるように、メインミラー18の反射面の裏面に取り付けられる。   The sub mirror 19 is attached to the back surface of the reflecting surface of the main mirror 18 so that the light transmitted through the reflecting surface of the main mirror is guided to the AF module 24.

AFモジュール24は、サブミラー19からの光を受光して、被写体像が撮像用CMOS22に結像しているか否かを判断する。   The AF module 24 receives light from the sub-mirror 19 and determines whether or not the subject image is formed on the imaging CMOS 22.

ファインダースクリーン17は、拡散面を有する平板であって、光路、及びメインミラー18の回動軸と平行に設けられる。デジタルカメラ10を横位置で構えた状態において、ファインダースクリーン17は、メインミラー18の反射した光軸に垂直に位置する。   The finder screen 17 is a flat plate having a diffusion surface, and is provided in parallel with the optical path and the rotation axis of the main mirror 18. In the state where the digital camera 10 is held in the horizontal position, the finder screen 17 is positioned perpendicular to the optical axis reflected by the main mirror 18.

撮像用CMOS22の前方に、シャッタ20が設けられる。シャッタ20は、光路を開閉する。   A shutter 20 is provided in front of the imaging CMOS 22. The shutter 20 opens and closes the optical path.

ペンタプリズム16は、スクリーンに投影された像を上下左右正像にする。   The pentaprism 16 converts the image projected on the screen into a vertical and horizontal right image.

ペンタプリズム16の後方、すなわち、撮影光学系15とは反対の方向には、接眼レンズ21及び測光用センサ23が設けられる。   An eyepiece lens 21 and a photometric sensor 23 are provided behind the pentaprism 16, that is, in a direction opposite to the photographing optical system 15.

接眼レンズ21は、ペンタプリズム16が出射した光を集光する。ユーザは集光した光を視認することによって、被写体像を観察する。測光用センサ23は、接眼レンズ21の上方に設けられる。   The eyepiece lens 21 condenses the light emitted from the pentaprism 16. The user observes the subject image by visually recognizing the collected light. The photometric sensor 23 is provided above the eyepiece 21.

メインミラー18が光路上、すなわち撮影光学系15と撮像用CMOS22との間に位置するとき、撮影光学系15を経た被写体像の一部は、メインミラー18により反射されて、ファインダースクリーン17に導かれ、ファインダースクリーン17に結像する。結像された像はペンタプリズム16に入射する。また、撮影光学系15を経た被写体像のうち、メインミラー18を透過した光は、サブミラー19によって反射され、AFモジュール24に導かれる。ファインダースクリーン17を透過した被写体像は、ペンタプリズム16を介して測光用センサ23に受光される。測光用センサ23は、受光した被写体像を撮像し、測光を行う。   When the main mirror 18 is positioned on the optical path, that is, between the photographing optical system 15 and the imaging CMOS 22, a part of the subject image that has passed through the photographing optical system 15 is reflected by the main mirror 18 and guided to the finder screen 17. Then, an image is formed on the finder screen 17. The formed image enters the pentaprism 16. Of the subject image that has passed through the photographing optical system 15, the light transmitted through the main mirror 18 is reflected by the sub-mirror 19 and guided to the AF module 24. The subject image transmitted through the finder screen 17 is received by the photometric sensor 23 through the pentaprism 16. The photometric sensor 23 takes a received subject image and performs photometry.

メインミラー18が光路上から外れているとき、すなわち撮影光学系15と撮像用CMOS22との間に位置せず、ファインダースクリーン17を覆うように配置されているとき、撮影光学系15を経た被写体像は、シャッタ20を経て、撮像用CMOS22に結像する。撮像用CMOS22は、入射した被写体像を撮像し、撮像画素データを生成する。撮像画素データは、赤色、緑色、及び青色の輝度を表す情報、すなわちRGB色空間によって表される情報である。   When the main mirror 18 is out of the optical path, that is, when the main mirror 18 is not positioned between the photographing optical system 15 and the imaging CMOS 22 and is disposed so as to cover the finder screen 17, the subject image that has passed through the photographing optical system 15 Is imaged on the imaging CMOS 22 via the shutter 20. The imaging CMOS 22 captures an incident subject image and generates imaging pixel data. The imaging pixel data is information representing the luminance of red, green, and blue, that is, information represented by an RGB color space.

撮像用CMOS22が生成した撮像画素データは、信号処理回路25により、所定の利得(ゲイン)を乗ぜられる等の所定の処理が施された後、システムコントロール回路300に伝送される。   The imaging pixel data generated by the imaging CMOS 22 is subjected to a predetermined process such as being multiplied by a predetermined gain (gain) by the signal processing circuit 25 and then transmitted to the system control circuit 300.

システムコントロール回路300は、デジタルカメラ10の動作を制御する回路であって、データを記憶する記憶部であるROM36を有し、AFモジュール24、信号処理回路25、周辺制御回路32、表示部33、AFモータ35、及びメモリカード40に接続される。   The system control circuit 300 is a circuit that controls the operation of the digital camera 10, and includes a ROM 36 that is a storage unit for storing data, and includes an AF module 24, a signal processing circuit 25, a peripheral control circuit 32, a display unit 33, Connected to the AF motor 35 and the memory card 40.

システムコントロール回路300は、信号処理回路25から撮像画素データを受信し、撮像画素データに基づいて、撮影画像を作成してメモリカード40に記憶させ、あるいは、スルー画像を作成して表示部33に表示させる。   The system control circuit 300 receives imaging pixel data from the signal processing circuit 25 and creates a captured image based on the imaging pixel data and stores it in the memory card 40 or creates a through image and displays it on the display unit 33. Display.

周辺制御回路32は、システムコントロール回路300からの指示に基づいて、シャッタ20、撮像用CMOS22、及び測光用センサ23の動作を制御する。   The peripheral control circuit 32 controls the operations of the shutter 20, the imaging CMOS 22, and the photometric sensor 23 based on instructions from the system control circuit 300.

AFモータ35は、システムコントロール回路300からの指示に基づいて、撮影光学系15を駆動して撮影光学系15の焦点を被写体に合致させる。   The AF motor 35 drives the photographing optical system 15 based on an instruction from the system control circuit 300 so that the focus of the photographing optical system 15 matches the subject.

表示部33は、メモリカード40に記憶されている撮影画像及びスルー画像を表示可能である。   The display unit 33 can display a captured image and a through image stored in the memory card 40.

撮像用CMOS22は、行列状に並べられた複数のフォトダイオードを有する。水平方向に並べられたフォトダイオードをライン(行)と呼ぶ。フォトダイオードは、入射した光を電気エネルギーに変換して蓄積する。これをライン毎に読み出すことにより、画素データが出力される。撮像用CMOS22は、カラーフィルタが取り付けられる。カラーフィルタは、赤色の波長を有する光を透過する赤色フィルタR、緑色の波長を有する光を透過する緑色フィルタG、及び青色の波長を有する光を透過する青色フィルタBを備える(図2参照)。   The imaging CMOS 22 has a plurality of photodiodes arranged in a matrix. Photodiodes arranged in the horizontal direction are called lines (rows). The photodiode converts incident light into electrical energy and accumulates it. By reading this out for each line, pixel data is output. A color filter is attached to the imaging CMOS 22. The color filter includes a red filter R that transmits light having a red wavelength, a green filter G that transmits light having a green wavelength, and a blue filter B that transmits light having a blue wavelength (see FIG. 2). .

ROM36は、所定の取得条件の下で予め取得された複数のノイズ画像を記憶する。図3を用いて、ノイズ画像を作成する手法について説明する。   The ROM 36 stores a plurality of noise images acquired in advance under predetermined acquisition conditions. A method of creating a noise image will be described with reference to FIG.

撮像用CMOS22を用いて被写体像を撮像するとき、撮影画像にノイズが発生する。ノイズが発生する原因は、次の3つが主に挙げられる。1つめは、フォトダイオードに発生する暗電流によるものであって、以下、ノイズ条件Aという。2つめは、撮像用CMOS22の面内における特性差異であって、以下、ノイズ条件Bという。すなわち、各フォトダイオードの特性バラツキによるシェーディング、フォトダイオードの周囲に設けられる各回路の性能誤差によるものである。3つめは、電荷を蓄積し始めてから読み出すまでの期間がライン毎に異なることによるものであって、以下、ノイズ条件Cという。この期間がライン毎に異なるため、暗電流が蓄積する量がライン毎に異なることにより垂直方向に特性の差異が発生する。   When a subject image is captured using the imaging CMOS 22, noise is generated in the captured image. There are mainly the following three causes of noise. The first is due to the dark current generated in the photodiode, and is hereinafter referred to as noise condition A. The second is a characteristic difference in the plane of the imaging CMOS 22, which is hereinafter referred to as a noise condition B. That is, this is due to shading due to characteristic variation of each photodiode and performance error of each circuit provided around the photodiode. The third reason is that the period from the start of accumulating charges to the time of reading varies from line to line, and is hereinafter referred to as noise condition C. Since this period varies from line to line, the amount of dark current accumulated varies from line to line, resulting in a difference in characteristics in the vertical direction.

ノイズ条件Aは、撮像用CMOS22の温度、露光時間、及び利得に依存し、ノイズaを生じさせる。ノイズ条件Bは利得に依存し、ノイズbを生じさせる。ノイズ条件Cは、撮像用CMOS22の温度に依存し、ノイズcを生じさせる。各ノイズ条件が依存する条件を依存条件という。すなわち、ノイズ条件Aの依存条件は、撮像用CMOS22の温度、露光時間、及び利得であり、ノイズ条件Bの依存条件は利得であり、ノイズ条件Cの依存条件は撮像用CMOS22の温度である。   The noise condition A depends on the temperature, the exposure time, and the gain of the imaging CMOS 22 and generates noise a. Noise condition B depends on the gain and causes noise b. The noise condition C depends on the temperature of the imaging CMOS 22 and generates noise c. A condition on which each noise condition depends is called a dependency condition. That is, the dependency condition of the noise condition A is the temperature, the exposure time, and the gain of the imaging CMOS 22, the dependency condition of the noise condition B is the gain, and the dependency condition of the noise condition C is the temperature of the imaging CMOS 22.

これらの条件を踏まえて、複数、例えば2枚のノイズ画像を予め作成する。1枚目のノイズ画像1は、常温(例えば20℃)、長時間露光(例えば60分)、及び高利得の条件の下で、撮像用CMOS22と同じCMOSを用いて遮光した状態で撮像して得られる画像であって、ノイズa、b、及びcを含む。2枚目のノイズ画像2は、常温(例えば20℃)、短秒露光(例えば1秒)、及び高利得の条件の下で、撮像用CMOS22と同じCMOSを用いて遮光した状態で撮像して得られる画像であって、ノイズb及びcを含む。なお、厳密にいうと、ノイズ画像2はノイズaをも含むが、ノイズaの量は、ノイズ画像2を撮影したときの条件では無視しうる。得られたノイズ画像1及び2は、ノイズ画像1及び2を撮影したときの条件と共に、ROMに記憶される。ノイズ画像1及び2を撮影したときの条件を取得条件といい、撮像を行った時の撮像用CMOS22の温度、露光時間、及び利得を含む。   Based on these conditions, a plurality of, for example, two noise images are created in advance. The first noise image 1 is imaged in the light-shielded state using the same CMOS as the imaging CMOS 22 under conditions of normal temperature (for example, 20 ° C.), long-time exposure (for example, 60 minutes), and high gain. The resulting image includes noises a, b, and c. The second noise image 2 is imaged in the light-shielded state using the same CMOS as the imaging CMOS 22 under conditions of normal temperature (for example, 20 ° C.), short-second exposure (for example, 1 second), and high gain. The resulting image includes noises b and c. Strictly speaking, the noise image 2 also includes the noise a, but the amount of the noise a can be ignored under the conditions when the noise image 2 is photographed. The obtained noise images 1 and 2 are stored in the ROM together with conditions when the noise images 1 and 2 are photographed. The conditions when the noise images 1 and 2 are captured are referred to as acquisition conditions, and include the temperature, exposure time, and gain of the imaging CMOS 22 when imaging is performed.

次に、複数のノイズ画像を用いて、撮影画像に含まれるノイズを補正する第1の補正処理について説明する。ここでは、ノイズ画像1、ノイズ画像2、及び撮影画像に含まれるノイズcが無視できる量であるとする。   Next, a first correction process for correcting noise included in a captured image using a plurality of noise images will be described. Here, it is assumed that the noise c included in the noise image 1, the noise image 2, and the captured image is an amount that can be ignored.

まず、システムコントロール回路300が、任意の撮影条件を用いて、撮像用CMOS22に被写体像を撮像させ、撮影画像を得る。この撮影画像は、ノイズa、b、及びcを含む。ここで前述のようにノイズcは無視することができる。そのため、撮影画像は、ノイズa及びbを含むと考えることができる。同様にして、ノイズ画像1はノイズa及びbを含み、ノイズ画像2はノイズbを含むと考えることができる。撮影条件は、撮像を行った時の撮像用CMOS22の温度、露光時間、及び利得を含む。   First, the system control circuit 300 causes the imaging CMOS 22 to capture a subject image using an arbitrary imaging condition to obtain a captured image. This captured image includes noises a, b, and c. Here, the noise c can be ignored as described above. Therefore, it can be considered that the captured image includes noises a and b. Similarly, it can be considered that the noise image 1 includes noises a and b, and the noise image 2 includes noise b. The imaging conditions include the temperature of the imaging CMOS 22 when the imaging is performed, the exposure time, and the gain.

次に、撮影条件と取得条件とを比較して調整係数を算出する。まず、撮影画像の撮影条件とノイズ画像1の取得条件とを用いて調整係数k1を算出する。詳しく説明すると、ノイズ画像1はノイズa及びbを主に含むため、ノイズa及びbの原因となる撮像用CMOS22の温度、露光時間、及び利得を用いて調整係数k1を求める。つまり、撮影条件の温度と取得条件の温度との比である温度比、撮影条件の露光時間と取得条件の露光時間との比である露光時間比、及び撮影条件の利得と取得条件の利得との比である利得比を求める。そして、温度比と露光時間比と利得比とを乗じる。これにより得られた値を調整係数k1とする。次に、撮影画像の撮影条件とノイズ画像2の取得条件とを用いて調整係数k2を算出する。詳しく説明すると、ノイズ画像2はノイズbを主に含むため、ノイズbの原因となる利得を用いて調整係数k2を求める。つまり、撮影条件の利得と取得条件の利得との比である利得比を求める。そして、利得比を調整係数k2とする。   Next, the adjustment coefficient is calculated by comparing the imaging condition with the acquisition condition. First, the adjustment coefficient k1 is calculated using the shooting condition of the shot image and the acquisition condition of the noise image 1. More specifically, since the noise image 1 mainly includes noises a and b, the adjustment coefficient k1 is obtained using the temperature, exposure time, and gain of the imaging CMOS 22 that causes the noises a and b. That is, a temperature ratio that is a ratio between the temperature of the shooting condition and the temperature of the acquisition condition, an exposure time ratio that is a ratio of the exposure time of the shooting condition and the exposure time of the acquisition condition, and the gain of the shooting condition and the gain of the acquisition condition The gain ratio, which is the ratio of. Then, the temperature ratio, the exposure time ratio, and the gain ratio are multiplied. The value thus obtained is set as an adjustment coefficient k1. Next, the adjustment coefficient k2 is calculated using the shooting condition of the shot image and the acquisition condition of the noise image 2. More specifically, since the noise image 2 mainly includes the noise b, the adjustment coefficient k2 is obtained using the gain that causes the noise b. That is, a gain ratio that is a ratio between the gain of the shooting condition and the gain of the acquisition condition is obtained. The gain ratio is set as an adjustment coefficient k2.

ノイズ画像1の画素データをD1、ノイズ画像2の画素データをD2、ノイズaのノイズ量をa、ノイズbのノイズ量をbとすると、D1及びD2は以下の式で表される。
D1=a+b
D2=b
ここで、ノイズ画像1はノイズa及びbを含み、ノイズ画像2はノイズbを含み、かつ撮影画像の画素データD3はノイズa及びbを含むと考えられる。ここでは、ノイズ画像1とノイズ画像2に含まれるノイズbの量が等しいとする。そこで、画素データD1に調整係数k1を乗じたものを画素データD3から減じることを考える。この場合、ノイズが補正された画像の画素データD4は、以下の式で表される。
D4=D3−k1・D1
ここで、ノイズ画像1の画素データD1に調整係数k1を乗じて得られる画像を調整ノイズ画像1(k1・D1)とし、撮影画像の画素データD3に調整係数k3を乗じて得られる画像を調整ノイズ画像2(k3・D3)とする。しかしながら、調整係数k1と調整係数k2とが等しい場合、すなわち調整ノイズ画像1に含まれるノイズbの量と、調整ノイズ画像2に含まれるノイズbの量とが等しい場合には、ノイズbを過不足無く画素データD3から減じることができるが、調整係数k1が調整係数k2よりも小さい場合、すなわち調整ノイズ画像1に含まれるノイズbの量が、調整ノイズ画像2に含まれるノイズbの量よりも少ない場合には、画素データD3からノイズbを完全に減じることができず、あるいは、調整係数k1と調整係数k2よりも大きい場合、すなわち調整ノイズ画像1に含まれるノイズbの量が、調整ノイズ画像2に含まれるノイズbの量よりも多い場合には、画素データD3からノイズbを過剰に減じることになる。そこで、調整係数k2から調整係数k1を減じて得られた調整係数k3を用いて、以下の式のようにしてノイズa及びbを補正する。
D4=D3−k1・D1−k3・D2 (式1)
ここで、k3=k2−k1である。
If the pixel data of the noise image 1 is D1, the pixel data of the noise image 2 is D2, the noise amount of the noise a is a, and the noise amount of the noise b is b, D1 and D2 are expressed by the following equations.
D1 = a + b
D2 = b
Here, it is considered that the noise image 1 includes noises a and b, the noise image 2 includes noise b, and the pixel data D3 of the captured image includes noises a and b. Here, it is assumed that the amount of noise b included in the noise image 1 and the noise image 2 is equal. Accordingly, consider subtracting the pixel data D1 multiplied by the adjustment coefficient k1 from the pixel data D3. In this case, the pixel data D4 of the image whose noise has been corrected is expressed by the following equation.
D4 = D3-k1 · D1
Here, an image obtained by multiplying the pixel data D1 of the noise image 1 by the adjustment coefficient k1 is referred to as an adjustment noise image 1 (k1 · D1), and an image obtained by multiplying the pixel data D3 of the captured image by the adjustment coefficient k3 is adjusted. Let it be a noise image 2 (k3 · D3). However, when the adjustment coefficient k1 and the adjustment coefficient k2 are equal, that is, when the amount of the noise b included in the adjustment noise image 1 is equal to the amount of the noise b included in the adjustment noise image 2, the noise b is excessive. Although it can be subtracted from the pixel data D3 without shortage, when the adjustment coefficient k1 is smaller than the adjustment coefficient k2, that is, the amount of noise b included in the adjustment noise image 1 is larger than the amount of noise b included in the adjustment noise image 2. If the amount of noise b is too small, the noise b cannot be completely reduced from the pixel data D3, or if it is larger than the adjustment coefficient k1 and the adjustment coefficient k2, that is, the amount of the noise b included in the adjustment noise image 1 is adjusted. When the amount of noise b included in the noise image 2 is larger than the amount of noise b, the noise b is excessively reduced from the pixel data D3. Therefore, using the adjustment coefficient k3 obtained by subtracting the adjustment coefficient k1 from the adjustment coefficient k2, the noises a and b are corrected as in the following equation.
D4 = D3-k1, D1-k3, D2 (Formula 1)
Here, k3 = k2-k1.

なお、式1において、D3から減じる調整ノイズ画像1及び調整ノイズ画像2を加算した画像、すなわちk1・D1−k3・D2という画素データを有する画像を最終的な調整ノイズ画像とする。   In Expression 1, an image obtained by adding the adjustment noise image 1 and the adjustment noise image 2 subtracted from D3, that is, an image having pixel data of k1, D1, k3, and D2, is defined as a final adjustment noise image.

式1について検証する。撮影画像は、ノイズを含まないデータD0、ノイズa、及びノイズbを含み、そして撮影画像に含まれるノイズa及びbの量は、D1及びD2に含まれるノイズa及びbの量に調整係数k1及びk2を各々乗じたものであるから、D3は以下のように表される。   Test for Equation 1. The captured image includes data D0 that does not include noise, noise a, and noise b, and the amount of noise a and b included in the captured image is an adjustment factor k1 to the amount of noise a and b included in D1 and D2. And k2 are respectively multiplied, and D3 is expressed as follows.

D3=D0+k1・a+k2・b (式2)
そして、式2を式1に代入すると、以下の式が得られる。
D3 = D0 + k1 · a + k2 · b (Formula 2)
Substituting Equation 2 into Equation 1 yields the following equation:

D4=(D0+k1・a+k2・b)−k1・D1−k3・D2
ここで前述のように、D1=a+b、及びD2=bであるから、
D4=D0
である。よって、式1が正しいことが示された。
D4 = (D0 + k1 · a + k2 · b) −k1 · D1−k3 · D2
Since D1 = a + b and D2 = b as described above,
D4 = D0
It is. Therefore, it was shown that Formula 1 is correct.

第1の補正処理を用いれば、ノイズa及びbを撮影画像から正確に除去できる。   If the first correction process is used, the noises a and b can be accurately removed from the captured image.

なお、第1の補正処理では、ノイズcを無視できるとして説明したが、ノイズcの代わりにノイズbを無視できると考えれば、ノイズa及びcを撮影画像から正確に除去することも可能である。   In the first correction process, it has been described that the noise c can be ignored. However, if the noise b can be ignored instead of the noise c, the noises a and c can be accurately removed from the captured image. .

次に、撮影画像を用いて、撮影画像に含まれるノイズcを補正する第2の補正処理について説明する。   Next, a second correction process for correcting noise c included in the captured image using the captured image will be described.

まず、システムコントロール回路300が、任意の撮影条件を用いて、撮像用CMOS22に被写体像を撮像させ、撮影画像を得る。この撮影画像は、ノイズa、b、及びcを含む。次に、撮影条件を用いて調整係数を算出する。詳しく説明すると、ROM36は、温度とノイズcとの関係を示すルックアップテーブルを予め記憶している。そこで、ルックアップテーブルと撮影条件に含まれる温度とを用いて撮影画像に含まれるノイズcを求め、これを撮影画像から減じる。   First, the system control circuit 300 causes the imaging CMOS 22 to capture a subject image using an arbitrary imaging condition to obtain a captured image. This captured image includes noises a, b, and c. Next, an adjustment coefficient is calculated using the shooting conditions. More specifically, the ROM 36 stores in advance a look-up table indicating the relationship between temperature and noise c. Therefore, the noise c included in the captured image is obtained using the look-up table and the temperature included in the capturing condition, and is subtracted from the captured image.

第2の補正処理を用いれば、ノイズcを撮影画像から除去できる。   If the second correction process is used, the noise c can be removed from the captured image.

なお、第2の補正処理において、撮影画像の遮光領域を参照し、垂直方向に対して一次関数のノイズ補正式を計算することでノイズcの調整係数を算出することも可能である。   In the second correction process, it is also possible to calculate the adjustment coefficient of the noise c by referring to the light-shielding region of the captured image and calculating a linear function noise correction formula in the vertical direction.

次に、第1の補正処理及び第2の補正処理を併用して、撮影画像に含まれるノイズa、b、及びcを補正する第3の補正処理について説明する。   Next, a description will be given of a third correction process for correcting noises a, b, and c included in a captured image by using the first correction process and the second correction process together.

まず、システムコントロール回路300が、任意の撮影条件を用いて、撮像用CMOS22に被写体像を撮像させ、撮影画像を得る。この撮影画像は、ノイズa、b、及びcを含む。次に、前述した第1の補正処理を実行して、撮影画像からノイズa及びbを除去する(式1参照)。
このとき、ノイズ画像1及びノイズ画像2はノイズa、b、及びcを含むため、ノイズa及びbを除去するために用いる係数に応じて、第2の補正処理においてノイズを補正する程度を弱める必要がある。ノイズcを補正する程度を弱める調整係数をk4とすると、k4は以下の式により求められる。
k4=k1+k3
ここで、第2の補正処理を実行して得られるノイズcのノイズ量をXとする。そして、ノイズが補正された画像の画素データD4を、以下の式で算出する。
D4=D3−k1・D1−K3・D2−(X−k4・c)
First, the system control circuit 300 causes the imaging CMOS 22 to capture a subject image using an arbitrary imaging condition to obtain a captured image. This captured image includes noises a, b, and c. Next, the first correction process described above is executed to remove noises a and b from the captured image (see Equation 1).
At this time, since the noise image 1 and the noise image 2 include the noises a, b, and c, the degree of correcting the noise in the second correction processing is weakened according to the coefficient used to remove the noises a and b. There is a need. Assuming that the adjustment coefficient that weakens the degree of correcting the noise c is k4, k4 is obtained by the following equation.
k4 = k1 + k3
Here, let X be the amount of noise c obtained by executing the second correction process. Then, the pixel data D4 of the image whose noise has been corrected is calculated by the following equation.
D4 = D3-k1, D1-K3, D2- (X-k4, c)

これにより、ノイズa、b、及びcを撮影画像から除去できる。   Thereby, noises a, b, and c can be removed from the captured image.

なお、第2の補正処理において、撮影画像の遮光領域を参照し、垂直方向に対して一次関数のノイズ補正式を計算することでノイズcの補正量を算出する場合、一次関数の傾きに温度の係数を乗算することにより、正しくノイズを補正することができる。さらに、第3の補正処理では、ノイズ画像1及びノイズ画像2の取得時の温度と、撮影画像の撮影時の温度との比からノイズcを補正する程度を弱めるための調整係数を算出し、一次関数の傾きに乗算することで補正を行うこともできる。   In the second correction process, when the correction amount of the noise c is calculated by referring to the light-shielding region of the photographed image and calculating the noise correction formula of the linear function in the vertical direction, the temperature is added to the slope of the linear function. By multiplying by the coefficient, it is possible to correct the noise correctly. Further, in the third correction process, an adjustment coefficient for reducing the degree of correcting the noise c is calculated from the ratio between the temperature at the time of acquisition of the noise image 1 and the noise image 2 and the temperature at the time of shooting of the shot image, Correction can also be performed by multiplying the slope of the linear function.

次に、図4を用いて補正条件選択処理について説明する。補正条件選択処理は、システムコントロール回路300によって実行される処理であって、システムコントロール回路300が撮影画像を取得したときに実行される。   Next, the correction condition selection process will be described with reference to FIG. The correction condition selection process is a process executed by the system control circuit 300, and is executed when the system control circuit 300 acquires a captured image.

始めのステップS401では、撮影条件がノイズaの補正条件に合致するか否かを判断する。ノイズaの補正条件は、撮像用CMOS22の温度が所定温度以上であるか、露光時間が所定期間以上であるか、及び利得が所定値以上であるかを含む。撮影条件がノイズaの補正条件に合致する場合、処理はステップS402に進み、合致しない場合、処理はステップS405に進む。   In the first step S401, it is determined whether or not the shooting condition matches the correction condition for the noise a. The correction condition for the noise a includes whether the temperature of the imaging CMOS 22 is equal to or higher than a predetermined temperature, whether the exposure time is equal to or longer than a predetermined period, and whether the gain is equal to or higher than a predetermined value. If the shooting condition matches the correction condition for noise a, the process proceeds to step S402; otherwise, the process proceeds to step S405.

ステップS402では、撮影条件がノイズcの補正条件に合致するか否かを判断する。ノイズcの補正条件は、撮像用CMOS22の温度が所定温度以上であるかを含む。撮影条件がノイズcの補正条件に合致する場合、処理はステップS403に進み、合致しない場合、処理はステップS404に進む。   In step S402, it is determined whether or not the shooting condition matches the correction condition for noise c. The correction condition for the noise c includes whether the temperature of the imaging CMOS 22 is equal to or higher than a predetermined temperature. If the shooting condition matches the correction condition for noise c, the process proceeds to step S403; otherwise, the process proceeds to step S404.

ステップS403では、撮影画像においてノイズa、b、及びcを補正すべく、第3の補正処理を実行する。これにより、ノイズa、b、及びcを撮影画像から除去する。そして処理を終了する。   In step S403, a third correction process is executed to correct noises a, b, and c in the captured image. Thereby, noises a, b, and c are removed from the captured image. Then, the process ends.

他方、ステップS404では、撮影画像においてノイズa及びbを補正すべく、第1の補正処理を実行する。これにより、ノイズa及びbを撮影画像から除去する。そして処理を終了する。   On the other hand, in step S404, a first correction process is executed to correct the noises a and b in the captured image. Thereby, noises a and b are removed from the captured image. Then, the process ends.

ステップS405では、撮影条件がノイズbの補正条件に合致するか否かを判断する。ノイズbの補正条件は、利得が所定値以上であるかを含む。撮影条件がノイズbの補正条件に合致する場合、処理はステップS406に進み、合致しない場合、処理はステップS409に進む。   In step S405, it is determined whether or not the shooting condition matches the correction condition for noise b. The correction condition for the noise b includes whether the gain is a predetermined value or more. If the shooting condition matches the correction condition for noise b, the process proceeds to step S406; otherwise, the process proceeds to step S409.

ステップS406では、撮影条件がノイズcの補正条件に合致するか否かを判断する。ノイズcの補正条件は、撮像用CMOS22の温度が所定温度以上であるかを含む。撮影条件がノイズcの補正条件に合致する場合、処理はステップS407に進み、合致しない場合、処理はステップS408に進む。   In step S406, it is determined whether or not the shooting condition matches the correction condition for noise c. The correction condition for the noise c includes whether the temperature of the imaging CMOS 22 is equal to or higher than a predetermined temperature. If the shooting condition matches the correction condition for noise c, the process proceeds to step S407. If the shooting condition does not match, the process proceeds to step S408.

ステップS407では、撮影画像においてノイズb及びcを補正すべく、第3の補正処理をノイズ画像2のみを用いて実行する。これにより、ノイズb及びcを撮影画像から除去する。そして処理を終了する。   In step S407, the third correction process is executed using only the noise image 2 in order to correct the noises b and c in the captured image. Thereby, noises b and c are removed from the captured image. Then, the process ends.

他方、ステップS408では、撮影画像においてノイズbを補正すべく、第1の補正処理をノイズ画像2のみを用いて実行する。これにより、ノイズbを撮影画像から除去する。そして処理を終了する。   On the other hand, in step S408, the first correction process is executed using only the noise image 2 in order to correct the noise b in the captured image. Thereby, noise b is removed from the captured image. Then, the process ends.

ステップS409では、撮影条件がノイズcの補正条件に合致するか否かを判断する。ノイズcの補正条件は、撮像用CMOS22の温度が所定温度以上であるかを含む。撮影条件がノイズcの補正条件に合致する場合、処理はステップS410に進み、合致しない場合、処理はステップS411に進む。   In step S409, it is determined whether or not the shooting condition matches the correction condition for noise c. The correction condition for the noise c includes whether the temperature of the imaging CMOS 22 is equal to or higher than a predetermined temperature. If the shooting condition matches the correction condition for noise c, the process proceeds to step S410; otherwise, the process proceeds to step S411.

ステップS410では、撮影画像においてノイズcを補正すべく、第2の補正処理を実行する。これにより、ノイズcを撮影画像から除去する。そして処理を終了する。   In step S410, a second correction process is executed to correct the noise c in the captured image. Thereby, the noise c is removed from the captured image. Then, the process ends.

他方、ステップS411では、補正を行わず、処理を終了する。   On the other hand, in step S411, no correction is performed and the process is terminated.

次に、図5を用いて第1の補正処理について説明する。第1の補正処理は、システムコントロール回路300によって補正条件選択処理の中で実行される処理である。   Next, the first correction process will be described with reference to FIG. The first correction process is a process executed by the system control circuit 300 in the correction condition selection process.

始めのステップS51では、撮影条件の温度と取得条件の温度との比である温度比、撮影条件の露光時間と取得条件の露光時間との比である露光時間比、及び撮影条件の利得と取得条件の利得との比である利得比を求め、温度比と露光時間比と利得比とを乗じる。これにより得られた値を調整係数k1とする。   In the first step S51, a temperature ratio that is a ratio between the temperature of the shooting condition and the temperature of the acquisition condition, an exposure time ratio that is a ratio of the exposure time of the shooting condition and the exposure time of the acquisition condition, and the gain and acquisition of the shooting condition. A gain ratio, which is a ratio to the condition gain, is obtained and multiplied by the temperature ratio, the exposure time ratio, and the gain ratio. The value thus obtained is set as an adjustment coefficient k1.

次のステップS52では、撮影条件の利得と取得条件の利得との比である利得比を求めて調整係数k2とし、調整係数k2から調整係数k1を減じて、調整係数k3を算出する。   In the next step S52, a gain ratio, which is a ratio between the gain of the imaging condition and the gain of the acquisition condition, is obtained as an adjustment coefficient k2, and the adjustment coefficient k3 is calculated by subtracting the adjustment coefficient k1 from the adjustment coefficient k2.

次のステップS53では、前述の手法を用いて、k1・D1−k3・D2という画素データを有する調整ノイズ画像を作成する。   In the next step S53, an adjusted noise image having pixel data of k1, D1, k3, and D2 is created using the above-described method.

次のステップS54では、撮影画像の画素データD3から調整ノイズ画像を減じる。   In the next step S54, the adjustment noise image is subtracted from the pixel data D3 of the photographed image.

次のステップS55では、ステップS54で得られた画像に所定の画像処理を実行する。   In the next step S55, predetermined image processing is executed on the image obtained in step S54.

次のステップS56では、ステップS55で得られた画像を表示部又はメモリカード40に出力する。そして処理が終了する。   In the next step S56, the image obtained in step S55 is output to the display unit or the memory card 40. Then, the process ends.

第1の補正処理を用いれば、ノイズa及びbを撮影画像から正確に除去できる。   If the first correction process is used, the noises a and b can be accurately removed from the captured image.

次に、図6を用いて第2の補正処理について説明する。第2の補正処理は、システムコントロール回路300によって補正条件選択処理の中で実行される処理である。   Next, the second correction process will be described with reference to FIG. The second correction process is a process executed by the system control circuit 300 in the correction condition selection process.

始めのステップS61では、ルックアップテーブルと撮影条件に含まれる温度とを用いて撮影画像に含まれるノイズcを求め、これを撮影画像から減じる。   In the first step S61, the noise c included in the captured image is obtained using the look-up table and the temperature included in the capturing condition, and is subtracted from the captured image.

次のステップS62では、ステップS61で得られた画像に所定の画像処理を実行する。   In the next step S62, predetermined image processing is executed on the image obtained in step S61.

次のステップS63では、ステップS62で得られた画像を表示部又はメモリカード40に出力する。そして処理が終了する。   In the next step S63, the image obtained in step S62 is output to the display unit or the memory card 40. Then, the process ends.

第2の補正処理を用いれば、ノイズcを撮影画像から除去できる。   If the second correction process is used, the noise c can be removed from the captured image.

次に、図7を用いて第3の補正処理について説明する。第3の補正処理は、システムコントロール回路300によって補正条件選択処理の中で実行される処理である。   Next, the third correction process will be described with reference to FIG. The third correction process is a process executed by the system control circuit 300 in the correction condition selection process.

次に、ノイズ画像1を用いて、撮影画像に含まれるノイズcを補正する第3の補正処理について説明する。   Next, a third correction process for correcting the noise c included in the captured image using the noise image 1 will be described.

始めのステップS71では、第1の補正処理のステップS51から53までの処理を実行し、調整ノイズ画像を作成する。   In the first step S71, the processes from the steps S51 to S53 of the first correction process are executed to create an adjustment noise image.

次のステップS72では、撮影画像の画素データD3から調整ノイズ画像を減じる。   In the next step S72, the adjustment noise image is subtracted from the pixel data D3 of the photographed image.

次のステップS73では、ノイズ画像1及びノイズ画像2に乗じた調整係数を用いて調整係数k4を求める。   In the next step S73, the adjustment coefficient k4 is obtained using the adjustment coefficient multiplied by the noise image 1 and the noise image 2.

次のステップS74では、ノイズが補正された画像の画素データD4を、調整係数k4を用いて算出する。   In the next step S74, the pixel data D4 of the image whose noise has been corrected is calculated using the adjustment coefficient k4.

次のステップS75では、ステップS74で得られた画像に所定の画像処理を実行する。   In the next step S75, predetermined image processing is executed on the image obtained in step S74.

次のステップS76では、ステップS75で得られた画像を表示部33又はメモリカード40に出力する。そして処理が終了する。   In the next step S76, the image obtained in step S75 is output to the display unit 33 or the memory card 40. Then, the process ends.

第3の補正処理を用いれば、ノイズa、b、及びcを撮影画像から除去できる。   By using the third correction process, noises a, b, and c can be removed from the captured image.

本実施形態によれば、撮影画像に含まれるノイズを適切に補正することができる。   According to the present embodiment, it is possible to appropriately correct noise included in a captured image.

なお、説明の簡単のため、画素データ全体を対象として説明したが、ライン毎に取得条件を設定して記憶部に記憶させ、調整係数を求めてもよい。この場合、ラインは水平方向であってもよく、垂直方向であってもよい。   For the sake of simplicity of explanation, the entire pixel data has been described as an object, but an acquisition condition may be set for each line and stored in the storage unit to obtain an adjustment coefficient. In this case, the line may be horizontal or vertical.

また、調整係数が小さい場合には、その調整係数を0と見なして前述の計算を行ってもよい。計算量を減らすことができる。   Further, when the adjustment coefficient is small, the adjustment coefficient may be regarded as 0 and the above calculation may be performed. The amount of calculation can be reduced.

また、調整係数の代わりに近似式を用いてもよく、ガンマやルックアップテーブルを用いてもよい。   Further, an approximate expression may be used instead of the adjustment coefficient, and a gamma or a lookup table may be used.

また、撮像用CMOS22が有するカラーフィルタの配列は、前述のものに限定されない。   Further, the arrangement of the color filters included in the imaging CMOS 22 is not limited to the above.

また、デジタルカメラ10がノイズ画像を撮影し、取得条件と共にROM36に記憶してもよい。このとき、システムコントロール回路300がノイズ画像作成部を成す。予めノイズ画像を用意する必要がない。また、撮像装置の経時劣化に応じてノイズ画像を作成することができる。   Further, the digital camera 10 may take a noise image and store it in the ROM 36 together with the acquisition conditions. At this time, the system control circuit 300 forms a noise image creation unit. There is no need to prepare a noise image in advance. In addition, a noise image can be created according to deterioration with time of the imaging apparatus.

10 デジタルカメラ
12 本体
14 交換レンズ
15 撮影光学系
16 ペンタプリズム
17 ファインダースクリーン
18 メインミラー
19 サブミラー
20 シャッタ
21 接眼レンズ
22 撮像用CMOS
23 測光用センサ
24 AFモジュール
25 信号処理回路
32 周辺制御回路
33 表示部
35 AFモータ
36 ROM
40 メモリカード
41 レリーズ釦
300 システムコントロール回路
DESCRIPTION OF SYMBOLS 10 Digital camera 12 Main body 14 Interchangeable lens 15 Imaging optical system 16 Penta prism 17 Finder screen 18 Main mirror 19 Sub mirror 20 Shutter 21 Eyepiece 22 Imaging CMOS
23 Photometric sensor 24 AF module 25 Signal processing circuit 32 Peripheral control circuit 33 Display unit 35 AF motor 36 ROM
40 memory card 41 release button 300 system control circuit

Claims (7)

複数の取得条件毎に作成された複数のノイズ画像を記憶する記憶部と、
撮影条件を用いて被写体像を撮像し、撮影画像を出力する撮像素子と、
前記複数の取得条件と前記撮影条件とを用いて前記複数のノイズ画像を調整して調整ノイズ画像を作成し、前記撮影画像に含まれるノイズを前記調整ノイズ画像を用いて補正するノイズ補正部とを備える撮像装置。
A storage unit for storing a plurality of noise images created for each of a plurality of acquisition conditions;
An image sensor that captures a subject image using shooting conditions and outputs the captured image;
A noise correction unit that adjusts the plurality of noise images using the plurality of acquisition conditions and the photographing conditions to create an adjustment noise image, and corrects noise included in the photographed image using the adjustment noise image; An imaging apparatus comprising:
前記取得条件は複数の依存条件を有し、前記ノイズ補正部は、前記複数の依存条件に基づいて調整係数を算出し、前記調整係数に応じて前記ノイズ画像を調整することにより前記調整ノイズ画像を作成する請求項1に記載の撮像装置。   The acquisition condition has a plurality of dependence conditions, and the noise correction unit calculates an adjustment coefficient based on the plurality of dependence conditions, and adjusts the noise image according to the adjustment coefficient, thereby adjusting the noise image. The imaging device according to claim 1, wherein the imaging device is created. 前記ノイズ補正部は、前記取得条件と前記撮影条件とに基づいて前記ノイズ画像を調整する調整係数を算出し、前記調整係数に応じて前記ノイズ画像を調整することにより前記調整ノイズ画像を作成する請求項1又は2に記載の撮像装置。   The noise correction unit calculates an adjustment coefficient for adjusting the noise image based on the acquisition condition and the shooting condition, and creates the adjustment noise image by adjusting the noise image according to the adjustment coefficient. The imaging device according to claim 1 or 2. 前記記憶部は、複数の前記取得条件と、前記取得条件毎に作成される複数の前記ノイズ画像とを記憶する請求項1から3のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein the storage unit stores a plurality of the acquisition conditions and a plurality of the noise images created for each of the acquisition conditions. 前記ノイズ画像及び前記撮影画像は、複数の行から成る画素データを有し、前記記憶部は、前記取得条件を前記行毎に記憶する請求項1から4のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein the noise image and the captured image have pixel data including a plurality of rows, and the storage unit stores the acquisition condition for each row. 所定の取得条件の下で前記ノイズ画像を作成するノイズ画像作成部を備える請求項1から5のいずれかに記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a noise image creation unit that creates the noise image under a predetermined acquisition condition. 撮像素子が所定の撮影条件を用いて被写体像を撮像し、撮影画像を出力するステップと、
記憶部から所定の取得条件の下で作成されたノイズ画像を読み出すステップと、
ノイズ補正部が、前記取得条件と前記撮影条件とを用いて前記ノイズ画像を調整して調整ノイズ画像を作成するステップと、
ノイズ補正部が、前記撮影画像に含まれるノイズを前記調整ノイズ画像を用いて補正するステップとを備えるノイズ補正方法。
An image sensor that captures a subject image using predetermined shooting conditions and outputs a captured image;
Reading a noise image created under a predetermined acquisition condition from the storage unit;
A noise correction unit adjusting the noise image using the acquisition condition and the shooting condition to create an adjusted noise image;
A noise correction method comprising: a noise correction unit correcting a noise included in the photographed image using the adjusted noise image.
JP2014129580A 2014-06-24 2014-06-24 Image pickup apparatus and noise correction method Active JP6503646B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014129580A JP6503646B2 (en) 2014-06-24 2014-06-24 Image pickup apparatus and noise correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014129580A JP6503646B2 (en) 2014-06-24 2014-06-24 Image pickup apparatus and noise correction method

Publications (2)

Publication Number Publication Date
JP2016010008A true JP2016010008A (en) 2016-01-18
JP6503646B2 JP6503646B2 (en) 2019-04-24

Family

ID=55227300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014129580A Active JP6503646B2 (en) 2014-06-24 2014-06-24 Image pickup apparatus and noise correction method

Country Status (1)

Country Link
JP (1) JP6503646B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10923516B2 (en) 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium
US11012633B2 (en) 2018-03-22 2021-05-18 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and image processing apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229032A (en) * 2003-01-24 2004-08-12 Kyocera Corp Noise correction device for photographing appliance provided with solid-state imaging device
JP2007243917A (en) * 2006-02-10 2007-09-20 Nikon Corp Imaging apparatus and image processing program
JP2009165168A (en) * 2009-04-20 2009-07-23 Sony Corp Image processing method, and image processor
JP2010081335A (en) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd Imaging apparatus
JP2010141583A (en) * 2008-12-11 2010-06-24 Ricoh Co Ltd Imaging device, image data correction method, program and recording medium
JP2010258688A (en) * 2009-04-23 2010-11-11 Nikon Corp Imaging device
JP2011135171A (en) * 2009-12-22 2011-07-07 Samsung Electronics Co Ltd Imaging apparatus and imaging method
JP2012134677A (en) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd Imaging apparatus and imaging method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229032A (en) * 2003-01-24 2004-08-12 Kyocera Corp Noise correction device for photographing appliance provided with solid-state imaging device
JP2007243917A (en) * 2006-02-10 2007-09-20 Nikon Corp Imaging apparatus and image processing program
JP2010081335A (en) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd Imaging apparatus
JP2010141583A (en) * 2008-12-11 2010-06-24 Ricoh Co Ltd Imaging device, image data correction method, program and recording medium
JP2009165168A (en) * 2009-04-20 2009-07-23 Sony Corp Image processing method, and image processor
JP2010258688A (en) * 2009-04-23 2010-11-11 Nikon Corp Imaging device
JP2011135171A (en) * 2009-12-22 2011-07-07 Samsung Electronics Co Ltd Imaging apparatus and imaging method
JP2012134677A (en) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd Imaging apparatus and imaging method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10923516B2 (en) 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium
US11012633B2 (en) 2018-03-22 2021-05-18 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and image processing apparatus

Also Published As

Publication number Publication date
JP6503646B2 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
US8890972B2 (en) Image capturing apparatus and image processing method
JP6186900B2 (en) Solid-state imaging device, electronic device, lens control method, and imaging module
JP2007104029A (en) Image acquisition apparatus and program
US9172887B2 (en) Imaging apparatus, control method of imaging apparatus, interchangeable lens and lens-interchangeable type imaging apparatus body
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
WO2014041845A1 (en) Imaging device and signal processing method
JP6230265B2 (en) Imaging device
JP6478670B2 (en) Image processing apparatus and control method thereof
JP2015172640A (en) Imaging apparatus including af function
JP2012191379A (en) Imaging apparatus
JP6656584B2 (en) Imaging equipment
JP6503646B2 (en) Image pickup apparatus and noise correction method
JP7019337B2 (en) Image stabilization device, lens device and their control method
JP5436139B2 (en) Imaging device
JP5961058B2 (en) Imaging apparatus and control method thereof, image processing apparatus and control method thereof
US9857663B1 (en) Phase detection autofocus system and method
JP2002142158A (en) Image pickup device and correction method
JP2017227792A (en) Focus detector and focus detection method
JP2012063664A (en) Photometric device and electronic camera
JP6229363B2 (en) Imaging apparatus, processing unit, and program
JP2014077820A (en) Photographing device, focusing state display method, and focusing state display program
JP2013186369A (en) Image display device and image display method
JP7079161B2 (en) Imaging device and its control method
JP2017163233A (en) Photographing apparatus and photographing method
JP5375471B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6503646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250