JP2009194700A - Image processor and image processing program - Google Patents
Image processor and image processing program Download PDFInfo
- Publication number
- JP2009194700A JP2009194700A JP2008034458A JP2008034458A JP2009194700A JP 2009194700 A JP2009194700 A JP 2009194700A JP 2008034458 A JP2008034458 A JP 2008034458A JP 2008034458 A JP2008034458 A JP 2008034458A JP 2009194700 A JP2009194700 A JP 2009194700A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- noise reduction
- pixel
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007792 addition Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims description 59
- 230000035945 sensitivity Effects 0.000 claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003079 width control Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 abstract description 6
- 239000000203 mixture Substances 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000011946 reduction process Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000002775 capsule Substances 0.000 description 9
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011925 1,2-addition Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Abstract
Description
本発明は、複数枚の画像間の位置合わせをした上で複数枚の画像を加算して新たな画像を生成する画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program for generating a new image by adding a plurality of images after aligning a plurality of images.
従来、複数枚の画像を使って画像間の動きベクトル（動き量）をジャイロセンサや画像処理により求め、この動きベクトルに基づいて複数枚の画像を位置合わせし画像合成することにより、手ブレ補正する技術や高解像度化する技術がある。このような合成された画像に対してコアリングによりノイズを低減する技術が、例えば、特許文献１に記載されている。この技術は、複数枚画像から１枚の高解像度画像を生成する超解像撮影モード時と通常撮影モード時でコアリング設定値を変えてノイズ低減する技術であり、通常時の画像より高解像度な超解像画像に対して通常時のコアリング設定値より小さくすることで、ノイズ以外の小さい画像信号を削除されないようにしている。
しかし、複数枚の画像間の動きベクトルをキャンセルするように画像合成する際、画像の周辺箇所などで合成に使用する画像の枚数分と同じ回数だけ画素が合成されない場合がある。また、画像合成時に被写体ブレやオクルージョンが発生している領域を判定し、該当する領域や画素は合成しないようにする領域選択又は画素選択処理を行うことにより画素毎に合成回数が異なることがある。上記のように画素毎に合成回数が異なると、合成回数が多い箇所はノイズが少なく、合成回数少ない箇所はノイズが多く残り、全体としてばらつきがある合成画像が生成される。この画像に対して特許文献１のようなノイズ低減処理技術を使用し撮影モードによるコアリング設定値を変えても、ノイズのばらつきの影響は改善されない。 However, when images are combined so as to cancel motion vectors between a plurality of images, pixels may not be combined the same number of times as the number of images used for combining at a peripheral portion of the image. Also, the number of compositing may differ from pixel to pixel by determining the region where subject blurring or occlusion occurs during image composition and performing region selection or pixel selection processing so that the corresponding region or pixel is not synthesized. . As described above, when the number of synthesis is different for each pixel, a portion with a large number of synthesis has less noise, a portion with a small number of synthesis has a lot of noise, and a synthesized image with variations as a whole is generated. Even if the noise reduction processing technique as in Patent Document 1 is used for this image and the coring setting value according to the shooting mode is changed, the influence of noise variation is not improved.
また、合成回数の異なる画像周辺箇所をトリミング処理によって切り出して除去する場合は、画像間の動きベクトルが大きいと切り出す領域が増え、最終出力画像のサイズが小さくなってしまう。さらに、最終出力画像のサイズを固定する場合は、画像間の動きベクトルの検出量を最終出力画像サイズに合わせなければならないため、検出量の限度が小さくなってしまい、ブレ補正の効果を低下させてしまう。 In addition, when image peripheral portions having different numbers of synthesis are cut out and removed by trimming processing, if the motion vector between images is large, the area to be cut out increases and the size of the final output image becomes small. Furthermore, when the size of the final output image is fixed, the amount of motion vector detection between images must be matched to the final output image size, so the limit of the detection amount becomes small and the effect of blur correction is reduced. End up.
本発明は、このような課題を鑑み、画像間の位置合わせを行い画像合成した合成画像に対して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことで高精細画像の生成することを目的とする。 In view of such a problem, the present invention applies a noise reduction process to a composite image obtained by performing alignment between images and synthesizing images so that the number of synthesis is different for each pixel. The purpose is to generate.
複数枚の画像を位置合わせし、前記複数枚の画像データを加算して新たな画像データを生成する画像処理装置は、前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする。 An image processing apparatus that aligns a plurality of images and adds the plurality of image data to generate new image data. The image processing apparatus adds the image data for each of one or more pixels of the new image data. An addition number calculation means for calculating the number of times, and a noise reduction means for reducing noise according to a noise reduction parameter indicating the degree of noise reduction for each of one or a plurality of pixels of the new image data, The noise reduction means includes noise reduction parameter control means for setting a noise reduction parameter for the pixel of interest based on the number of additions of the pixel of interest that is a target for noise reduction.
本発明においては、ノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数に基づき設定して、加算回数によって生じるノイズのばらつきのある画像に対しても加算回数に適応したノイズ低減処理ができ、高精細画像生成をすることが可能となる。 In the present invention, the noise reduction parameter is set based on the number of additions in the target pixel for which noise is to be reduced, and noise reduction processing adapted to the number of additions even for images with noise variation caused by the number of additions And high-definition images can be generated.
図１を参照して、本発明に係る第一実施形態を説明する。図１は、第一実施形態に係る電子スチルカメラ（撮像システム）の構成を示すブロック構成図である。 A first embodiment according to the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the electronic still camera (imaging system) according to the first embodiment.
第一実施形態に係る電子スチルカメラは、絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子（電荷結合素子）１０５、Ａ／Ｄ（アナログ−デジタル）変換回路１０６、切替部２００、ＡＥ（自動露出）用フォトセンサ１０７、ＡＦ（自動焦点調節）用モータ１０８、撮像制御部１１０、信号処理部１１１、バッファメモリ２０１ａ、バッファメモリ２０１ｂ、圧縮部１２４、メモリカードＩ／Ｆ（インターフェース）部１１７、メモリカード１１８、シャッター釦１１３、シャッター釦判定部１１２、操作表示部１１９、ブレ補正処理部２０２、ノイズ低減処理部２０３を備える。信号処理部１１１、ブレ補正処理部２０２、ノイズ低減処理部２０３、バッファメモリ２０１ａ、バッファメモリ２０１ｂ等は、画像処理装置を構成する。 The electronic still camera according to the first embodiment includes a lens system 100 including a diaphragm 101, a spectral half mirror system 102, a shutter 103, a low-pass filter 104, a CCD image sensor (charge coupled device) 105, and an A / D (analog-digital). ) Conversion circuit 106, switching unit 200, AE (automatic exposure) photosensor 107, AF (automatic focus adjustment) motor 108, imaging control unit 110, signal processing unit 111, buffer memory 201a, buffer memory 201b, compression unit 124 A memory card I / F (interface) unit 117, a memory card 118, a shutter button 113, a shutter button determination unit 112, an operation display unit 119, a shake correction processing unit 202, and a noise reduction processing unit 203. The signal processing unit 111, the blur correction processing unit 202, the noise reduction processing unit 203, the buffer memory 201a, the buffer memory 201b, and the like constitute an image processing apparatus.
絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッター１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子１０５は光軸に沿って配置されている。分光ハーフミラー系１０２から分岐した光束はＡＥ用フォトセンサ１０７に導かれる。レンズ系１００には、合焦作業時にレンズ系の一部を移動するためのＡＦ用モータ１０８が接続されている。ＣＣＤ撮像素子１０５からの画像信号は、アナログ−デジタル変換を行うＡ／Ｄ変換回路１０６、信号の経路の切換を行う切換部２００を介して、バッファメモリ２０１ａへ入力される。切換部２００は、切換部２００からの信号の経路を切換え、信号が信号処理部１１１を介してバッファメモリ２０１ａへ入力されるか、又は、直接的にバッファメモリ２０１aへ入力されるかを切換える。 The lens system 100, the spectral half mirror system 102, the shutter 103, the low-pass filter 104, and the CCD image sensor 105 that contain the stop 101 are arranged along the optical axis. The light beam branched from the spectral half mirror system 102 is guided to the AE photosensor 107. The lens system 100 is connected to an AF motor 108 for moving a part of the lens system during focusing work. An image signal from the CCD image sensor 105 is input to the buffer memory 201a via an A / D conversion circuit 106 that performs analog-digital conversion and a switching unit 200 that switches a signal path. The switching unit 200 switches the path of the signal from the switching unit 200 and switches whether the signal is input to the buffer memory 201a via the signal processing unit 111 or directly input to the buffer memory 201a.
バッファメモリ２０１aは、各種の画像信号処理（後述の信号処理１、２を含む）を行う信号処理部１１１、ブレ補正処理を行うブレ補正処理部２０２、ノイズ低減処理を行うノイズ低減処理部（ノイズ低減手段）２０３、画像圧縮処理を行う圧縮部１２４から入出力のアクセスが可能であり、各処理のワークバッファとしても使用される。バッファメモリ２０１aに保存された画像信号は、メモリカードＩ／Ｆ部１１７を介して、脱着可能なメモリカード１１８へ入力され記録される。 The buffer memory 201a includes a signal processing unit 111 that performs various types of image signal processing (including signal processing 1 and 2 described later), a blur correction processing unit 202 that performs blur correction processing, and a noise reduction processing unit that performs noise reduction processing (noise). (Reducing means) 203, and an input / output access is possible from the compression unit 124 that performs image compression processing, and it is also used as a work buffer for each processing. The image signal stored in the buffer memory 201a is input to the removable memory card 118 via the memory card I / F unit 117 and recorded.
ＡＥ用フォトセンサ１０７からの画像信号は撮像制御部１１０へ入力されている。撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８、ＣＣＤ撮像素子１０５、切替部２００の制御が可能である。また、シャッター釦１１３の状態をシャッター釦判定部１１２が判定し撮像制御部１１０へ入力する。さらに、操作表示部１１９からの信号も撮像制御部１１０へ入力され、撮像制御部１１０は、操作表示部１１９を制御可能である。 An image signal from the AE photosensor 107 is input to the imaging control unit 110. The imaging control unit 110 can control the diaphragm 101, the shutter 103, the AF motor 108, the CCD image sensor 105, and the switching unit 200. In addition, the shutter button determination unit 112 determines the state of the shutter button 113 and inputs it to the imaging control unit 110. Further, a signal from the operation display unit 119 is also input to the imaging control unit 110, and the imaging control unit 110 can control the operation display unit 119.
ブレ補正処理部２０２は、動き検出部２０２ａ、画素加算部２０２ｂ、画素選択部２０２ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。画素加算部２０２ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ブレ補正処理部２０２は、信号処理部１１１及びノイズ低減処理部２０３に、画像信号を出力できる。 The blur correction processing unit 202 includes a motion detection unit 202a, a pixel addition unit 202b, and a pixel selection unit 202c, and is capable of reading and writing to the buffer memory 201a. The pixel addition unit 202b can read from and write to the buffer memory 201b. The blur correction processing unit 202 can output an image signal to the signal processing unit 111 and the noise reduction processing unit 203.
ノイズ低減処理部２０３は、ノイズ量推定部２０３ａ、コアリング幅算出部２０３ｂ、コアリング処理部（コアリング処理手段）２０３ｃを備え、バッファメモリ２０１ａに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、バッファメモリ２０１ｂに対して読み書きが可能である。ノイズ量推定部２０３ａとコアリング幅算出部２０３ｂは、コアリング幅制御手段を構成する。 The noise reduction processing unit 203 includes a noise amount estimation unit 203a, a coring width calculation unit 203b, and a coring processing unit (coring processing unit) 203c, and is capable of reading and writing to the buffer memory 201a. The noise amount estimation unit 203a and the coring width calculation unit 203b can read from and write to the buffer memory 201b. The noise amount estimation unit 203a and the coring width calculation unit 203b constitute coring width control means.
図２は、第一実施形態の電子スチルカメラの外観構成図である。第一実施形態の電子スチルカメラは、カメラ本体１１と、カメラ本体１１に備えられた電源スイッチ１２と、前述の操作表示部１１９が表示される液晶表示パネル１３と、操作ボタン１４と、前述のシャッター釦１１３とを有している。 FIG. 2 is an external configuration diagram of the electronic still camera of the first embodiment. The electronic still camera of the first embodiment includes a camera body 11, a power switch 12 provided in the camera body 11, a liquid crystal display panel 13 on which the operation display unit 119 is displayed, an operation button 14, and the above-described operation. And a shutter button 113.
図３は、本発明に係る第一実施形態の電子スチルカメラで行われる画像処理のフローチャートを示す。 FIG. 3 is a flowchart of image processing performed by the electronic still camera according to the first embodiment of the present invention.
電子スチルカメラは、高速連写撮影（ステップＳ１）により複数枚の画像を撮影する。さらに、撮影された複数枚の画像間のブレ量（つまり、画像全体を代表するような動きベクトル）を検出し、ブレ量を打ち消すように各画素をブレ量に対応する分だけシフトして画像データを加算することで電子ブレ補正を行い、ブレ補正した加算画像に対してノイズ低減を行う。この際、電子ブレ補正処理とノイズ低減処理の組み合わせタイプがいくつかあるのでそのタイプを判別する（ステップＳ２）。なお、このようなタイプは、操作表示部１１９等でユーザが設定可能である。タイプ判別後、ＲＡＷデータ（未加工データ）で電子ブレ補正する場合（タイプ１又はタイプ２）は、電子ブレ補正処理を行う（ステップＳ３、Ｓ７）。補間処理（フルカラー化）後に電子ブレ補正を行う場合（タイプ３）は、信号処理１（ステップＳ１１）を行う。 The electronic still camera captures a plurality of images by high-speed continuous shooting (step S1). Furthermore, a blur amount between a plurality of captured images (that is, a motion vector representative of the entire image) is detected, and each pixel is shifted by an amount corresponding to the blur amount so as to cancel the blur amount. Electronic blur correction is performed by adding data, and noise reduction is performed on the added image subjected to blur correction. At this time, since there are several combinations of electronic blur correction processing and noise reduction processing, the types are determined (step S2). Such a type can be set by the user using the operation display unit 119 or the like. After performing type discrimination, when electronic blur correction is performed using RAW data (raw data) (type 1 or type 2), electronic blur correction processing is performed (steps S3 and S7). When electronic blur correction is performed after interpolation processing (full color conversion) (type 3), signal processing 1 (step S11) is performed.
なお、信号処理１（ステップＳ５、Ｓ８、Ｓ１１）は主にデモザイキングのようなフルカラー化処理（補間処理）、デモザイキング後の色変換等を指し、信号処理２（ステップＳ６、Ｓ９、Ｓ１４）は主にエッジ強調処理等を指す。 Signal processing 1 (steps S5, S8, and S11) mainly refers to full color processing (interpolation processing) such as demosaicing, color conversion after demosaicing, and signal processing 2 (steps S6, S9, and S14). Indicates mainly edge enhancement processing.
タイプ１の場合は、電子ブレ補正処理（ステップＳ３）後のＲＡＷデータの加算画像に対してノイズ低減処理（ステップＳ４）を行い、ノイズ低減処理を施したＲＡＷデータの加算画像に対して信号処理１（ステップＳ５）、信号処理２（ステップＳ６）を行う。 In the case of type 1, noise reduction processing (step S4) is performed on the RAW data addition image after the electronic blur correction processing (step S3), and signal processing is performed on the RAW data addition image subjected to the noise reduction processing. 1 (step S5) and signal processing 2 (step S6) are performed.
タイプ２の場合は、電子ブレ補正処理（ステップＳ７）後のＲＡＷデータ加算画像に対して信号処理１（ステップＳ８）、信号処理２（ステップＳ９）を行い、その後ノイズ低減処理（ステップＳ１０）を施す。 In the case of type 2, signal processing 1 (step S8) and signal processing 2 (step S9) are performed on the RAW data added image after the electronic blur correction processing (step S7), and then noise reduction processing (step S10) is performed. Apply.
タイプ３の場合は、使用する複数枚の画像に対して全て信号処理１（ステップＳ１１）を行い、フルカラー化された複数枚の画像データに対して電子ブレ補正処理（ステップＳ１２）を行い、ノイズ低減処理（ステップＳ１３）し、信号処理２（ステップＳ１４）を行う。 In the case of type 3, all signal processing 1 (step S11) is performed on a plurality of images to be used, and electronic blur correction processing (step S12) is performed on a plurality of full-color image data. Reduction processing (step S13) is performed, and signal processing 2 (step S14) is performed.
その後いずれかのタイプで出力された画像データに対して、圧縮処理（ステップＳ１５）を行いデータ圧縮し、圧縮された画像データをメモリカード１１８等に記録（ステップＳ１６）する。 Thereafter, compression processing (step S15) is performed on the image data output in any type to compress the data, and the compressed image data is recorded on the memory card 118 or the like (step S16).
なお、ステップＳ３からＳ１４までの処理は、ハードウェアではなく、ソフトウェア（画像処理プログラム）によっても実行可能である。 Note that the processing from steps S3 to S14 can be executed not by hardware but also by software (image processing program).
次に、電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の詳細を説明する。図４に電子ブレ補正処理（ステップＳ３、Ｓ７、Ｓ１２）の処理フローチャートを示す。 Next, details of the electronic blur correction process (steps S3, S7, S12) will be described. FIG. 4 shows a process flowchart of the electronic blur correction process (steps S3, S7, S12).
図４に示すように、まず加算・合成画像を保存するメモリ（バッファメモリ２０１ａでよい）又はメモリ領域を初期化する（ステップＳ２１）。その後、高速連写撮影された複数枚の画像のうち１枚を基準画像として選択し読み取り（ステップＳ２２）、基準画像以外の参照画像のうち１枚を読み取る（ステップＳ２３）。読み取った基準画像と参照画像との間における動きベクトルを検出するため、動きベクトル算出処理を行う（ステップＳ２４）。この動きベクトル算出処理（ステップＳ２４）では、ＭＰＥＧなどで使用されているブロックマッチング処理を画像中の分割されたブロックで行う。それぞれのブロックで動きベクトルを算出し、各ブロックの動きベクトルの信頼性判定や頻度を解析し、電子ブレ補正で補正しようとするブレ量（つまり、画像全体を代表するような動きベクトル）に換算する。例えば、撮影時の手ブレ量であれば各ブロックの動きベクトルから頻度の高い動きベクトルを手ブレ量だと判断してその動きベクトルをブレ量として使用する。 As shown in FIG. 4, the memory (which may be the buffer memory 201a) or the memory area for storing the added / combined image is initialized (step S21). Thereafter, one of the plurality of images taken at the high-speed continuous shooting is selected and read as a standard image (step S22), and one of the reference images other than the standard image is read (step S23). In order to detect a motion vector between the read standard image and the reference image, a motion vector calculation process is performed (step S24). In this motion vector calculation process (step S24), a block matching process used in MPEG or the like is performed on the divided blocks in the image. Calculate the motion vector for each block, analyze the reliability and frequency of the motion vector of each block, and convert it to the amount of blur to be corrected by electronic blur correction (that is, the motion vector that represents the entire image) To do. For example, if it is a camera shake amount at the time of shooting, a motion vector having a high frequency is determined as a camera shake amount from the motion vectors of each block, and the motion vector is used as the camera shake amount.
図５にブロックマッチングの結果から手ブレ量を推定する例を示す。図に示すように、基準画像と参照画像間で分割した領域毎にブロックマッチングを行い、領域毎の動きベクトルが求められる。その動きベクトルから頻度の少ない動きベクトルは被写体のブレ領域であると推定し、頻度が一番高い動きベクトルが存在する領域がフレーム間の手ブレによる動き領域であると推定し、その頻度が一番高い動きベクトルをブレ量として使用する。 FIG. 5 shows an example of estimating the amount of camera shake from the result of block matching. As shown in the figure, block matching is performed for each region divided between the base image and the reference image, and a motion vector for each region is obtained. Based on the motion vector, the motion vector with the lower frequency is estimated to be the blur region of the subject, the region with the motion vector with the highest frequency is estimated to be the motion region due to camera shake between frames, and the frequency is the highest. The motion vector is used as the blur amount.
なお、撮像装置にジャイロセンサがあり、手ブレ量を検出している場合であれば、センサからの出力データをブレ量として使用しても良い。 If the image pickup apparatus has a gyro sensor and detects the amount of camera shake, the output data from the sensor may be used as the amount of camera shake.
基準画像に対する参照画像のブレ量が求められたら、そのブレ量を打ち消すように参照画像の各画素をブレ量と逆方向に同じ大きさでシフトしながら基準画像の各画素に位置合わせする（ステップＳ２５）。その際、画素選択の有無判定を行い（ステップＳ２６）、画素選択が無しであれば、画素加算・合成処理で画素同士を加算し加算・合成画像を更新する。画素選択有りであれば、加算しようとしている画素同士の相関性を解析する画素選択処理を行い（ステップＳ２７）、相関性が高ければ加算し、相関性が低ければ加算しないようにして加算・合成画像を更新する（ステップＳ２８）。画素選択処理は例えば、位置合わせされた画素同士の差分をとってその差分がある閾値より小さければ相関性が高いと判断し、その差が閾値以上であれば相関性が低いと判断することができる。そして、加算・合成画像を更新する際に、各画素の加算回数をカウントし記録しておく（ステップＳ２９）。これらの処理を電子ブレ補正処理に使用する枚数分処理したかを判定し（ステップＳ３０）、使用枚数分処理していたらルーチンを終了し、処理していなかったら参照画像読み取り処理（ステップＳ２３）へ戻り、未使用の参照画像を読み取り処理を繰り返す。 When the blur amount of the reference image with respect to the reference image is obtained, each pixel of the reference image is aligned with each pixel of the reference image while shifting the same amount in the opposite direction to the blur amount so as to cancel the blur amount (step S25). At this time, the presence / absence determination of pixel selection is performed (step S26). If there is no pixel selection, the pixels are added by pixel addition / synthesis processing to update the addition / synthesis image. If there is pixel selection, a pixel selection process for analyzing the correlation between the pixels to be added is performed (step S27). If the correlation is high, the addition is performed. The image is updated (step S28). For example, the pixel selection process may take a difference between aligned pixels and determine that the correlation is high if the difference is smaller than a certain threshold, and determine that the correlation is low if the difference is equal to or greater than the threshold. it can. When the addition / synthesis image is updated, the number of additions of each pixel is counted and recorded (step S29). It is determined whether or not these processes have been performed for the number of sheets used for the electronic blur correction process (step S30). If the process is performed for the number of sheets used, the routine is terminated. If not, the process proceeds to the reference image reading process (step S23). Return and repeat the process of reading unused reference images.
図６Ａと図６Ｂに、基準画像と参照画像の加算・合成処理と加算回数のカウントの例を示す。図６Ａに示すように、基準画像と参照画像の間におけるブレ量が例えば縦Ｘ方向に２ピクセル、横Ｙ方向に２ピクセルだとした場合、参照画像を縦横方向にブレ量と逆方向に２ピクセルずつシフトしながら基準画像の各画素と加算する。図６Ｂ中の上図の加算・合成画像の場合は、基準画像の画素Ｇｂ１２３と参照画像の画素Ｇｂ２４５、基準画像の画素Ｂ１３３と参照画像の画素Ｂ２５５は画素選択処理で相関性が低いと判定された場合で、その画素は加算しない。それらを考慮して加算回数のカウントし図６Ｂ中の下図のような加算回数データを更新していく。 FIG. 6A and FIG. 6B show an example of the addition / combination processing of the standard image and the reference image and the counting of the number of additions. As shown in FIG. 6A, when the blur amount between the base image and the reference image is, for example, 2 pixels in the vertical X direction and 2 pixels in the horizontal Y direction, the reference image is 2 in the opposite direction to the blur amount in the vertical and horizontal directions. Add each pixel of the reference image while shifting pixel by pixel. In the case of the addition / synthesized image in the upper diagram in FIG. 6B, the pixel Gb123 of the base image and the pixel Gb245 of the reference image, and the pixel B133 of the base image and the pixel B255 of the reference image are determined to have low correlation in the pixel selection process. The pixel is not added. In consideration of these, the number of additions is counted, and the addition number data as shown in the lower diagram of FIG. 6B is updated.
なお、図６は単板式ＣＣＤのＲＡＷデータの例であるが、前述のタイプ３のようにフルカラー化してから電子ブレ補正処理を行う場合や三板式ＣＣＤを使用する場合には、全画素分、ＲＧＢ又は色変換後のＹＣｒＣｂに対して、図中と同様に加算することができる。 FIG. 6 shows an example of RAW data of a single-plate CCD. However, when electronic blur correction processing is performed after full colorization as in the above type 3 or when a three-plate CCD is used, It is possible to add to RGB or YCrCb after color conversion in the same manner as in the figure.
図７Ａ−７Ｃに、サブピクセル単位での対応付けを行って複数枚の低解像度画像（基準画像と複数枚の参照画像）から高解像度画像を生成する場合の加算・合成処理と加算回数のカウントの例を示す。 7A-7C, adding / synthesizing processing and counting of the number of additions in the case where a high-resolution image is generated from a plurality of low-resolution images (a reference image and a plurality of reference images) by associating in units of subpixels. An example of
図７Ａ−７Ｃで例示するように、サブピクセル精度で動き量を検出し、その動き量と低解像度画像（元画像）から高解像度画像を生成するような場合でも、基準画像と参照画像１、２の加算・合成処理と加算回数のカウントを行うことができる。図７Ａに示すように、基準画像と参照画像１の間におけるブレ量が例えば縦Ｘ方向に１ピクセル、横Ｙ方向に１ピクセルで、基準画像と参照画像２の間におけるブレ量が縦Ｘ方向に−０．５ピクセル、横Ｙ方向に−０．５ピクセルだとした場合を一例として説明する。まず、基準画像を高解像度のグリッドにし（図の例の場合は縦２倍、横２倍の高解像度化）、参照画像１を縦横方向にブレ量と逆方向に１ピクセルずつシフト（高解像度グリッド上では２ピクセルシフト）しながら基準画像の色（ＲＧＢ）毎の各画素と加算し、参照画像２においても同様に、縦横方向にブレ量と逆方向に０．５ピクセルずつシフト（高解像度グリッド上では１ピクセルシフト）しながら基準画像の色毎の各画素と加算する。図７Ｂは、色（ＲＧＢ）毎の加算・合成画像を示す。そして各色の画素毎で加算回数をカウントし図７Ｃのような加算回数データを更新していく。 As illustrated in FIGS. 7A to 7C, even when a motion amount is detected with sub-pixel accuracy and a high-resolution image is generated from the motion amount and a low-resolution image (original image), the reference image and the reference image 1, 2 addition / combination processing and the number of additions can be counted. As shown in FIG. 7A, the blur amount between the standard image and the reference image 1 is, for example, 1 pixel in the vertical X direction and 1 pixel in the horizontal Y direction, and the blur amount between the standard image and the reference image 2 is the vertical X direction. As an example, the case of −0.5 pixels and −0.5 pixels in the horizontal Y direction will be described. First, the standard image is made into a high-resolution grid (in the example shown in the figure, the resolution is doubled vertically and doubled horizontally), and the reference image 1 is shifted one pixel at a time in the opposite direction to the blur amount in the vertical and horizontal directions (high resolution). In addition, the reference image 2 is shifted by 0.5 pixels in the opposite direction to the blur amount in the vertical and horizontal directions (high resolution). Each pixel is added to each pixel of the reference image while shifting by 1 pixel on the grid). FIG. 7B shows an added / synthesized image for each color (RGB). Then, the number of additions is counted for each color pixel, and the addition number data as shown in FIG. 7C is updated.
なお、図７Ｃ中の下図の空白は“０”を示しており、参照画像の枚数がもっと増えると加算回数“０”が減ってくる。 7C indicates “0”, and the number of additions “0” decreases as the number of reference images increases.
また、使用する複数枚の参照画像を全て位置合わせしても加算回数“０”の場合は、その画素については周囲の画素から補間、又は、周囲の基準画像の画素から補間などして埋めて処理を行う。補間した際の補間画素の加算回数は、補間時の周囲画素の係数の合計、“１”とする。 If the number of additions is “0” even if all of the plurality of reference images to be used are aligned, the pixels are filled by interpolation from surrounding pixels or interpolation from surrounding reference image pixels. Process. The number of interpolation pixel additions during interpolation is “1”, which is the sum of the coefficients of surrounding pixels during interpolation.
次に、ノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の詳細を説明する。 Next, details of the noise reduction processing (S4, S10, S13) will be described.
図８と図９にノイズ低減処理（Ｓ４、Ｓ１０、Ｓ１３）の処理フローチャートを示す。本実施形態のノイズ低減処理は、電子ブレ補正処理（Ｓ３、Ｓ７、Ｓ１２）後に、ノイズモデルデータを参照して、加算回数に応じてコアリング幅（ノイズの低減の度合を示すノイズ低減パラメータ）を設定する。コアリング幅の設定方法には、複数のノイズモデルデータからどのノイズモデルデータを使用するかを加算回数に応じて選択して、コアリング幅を参照するもの（第一のコアリング幅設定方法）と、あるひとつのノイズモデルデータを参照して計算によって加算回数に応じてコアリング幅を算出するもの（第二のコアリング幅設定方法）の２通りの方法がある。第一のコアリング幅設定方法は図８に、第二のコアリング幅設定方法は図９に示される。いずれの方法の場合でも、ノイズ量と輝度値との関係を規定するノイズモデルから簡便に加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。 8 and 9 show process flowcharts of the noise reduction process (S4, S10, S13). In the noise reduction processing of the present embodiment, after the electronic blur correction processing (S3, S7, S12), referring to the noise model data, the coring width (noise reduction parameter indicating the degree of noise reduction) according to the number of additions. Set. The coring width setting method is to select which noise model data to use from multiple noise model data according to the number of additions and refer to the coring width (first coring width setting method) There are two methods of calculating a coring width according to the number of additions by referring to a certain noise model data (second coring width setting method). The first coring width setting method is shown in FIG. 8, and the second coring width setting method is shown in FIG. In any case, the coring width can be set based on the noise amount by simply obtaining the noise amount corresponding to the number of additions from the noise model that defines the relationship between the noise amount and the luminance value.
図８の第一のコアリング幅設定方法を使用するノイズ低減処理について示す。加算・合成画像の全画素分のループ処理（ステップＳ４１からＳ４７）で、まず、ある画素を注目画素に設定する（ステップＳ４１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ４２）、その周辺領域内で画素の平均値を算出する（ステップＳ４３）。複数存在するノイズモデルから注目画素の加算回数に応じて適切なノイズモデルを選択し（ステップＳ４４）、選択されたノイズモデルを参照して、既に求めた画素の平均値でのノイズ量を抽出し（ステップＳ４５）、抽出したノイズ量をコアリング幅（ノイズ低減パラメータ）に設定して、コアリング処理を行ってノイズ低減する（ステップＳ４６）。注目画素の位置を全画素隈なく移動し終え、全画素についてステップＳ４２からステップＳ４６の処理を為されたか否か判断する（ステップＳ４７）。全画素についてステップＳ４２からステップＳ４６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ４２からステップＳ４６の処理が全画素については為されていない場合には、ステップＳ４１に戻り、次の注目画素を設定し、ステップＳ４２からステップＳ４６の処理を繰り返す。こうして全画素分に対するループ処理（ステップＳ４１からＳ４７）を施す。 A noise reduction process using the first coring width setting method of FIG. 8 will be described. In a loop process (steps S41 to S47) for all pixels of the added / combined image, first, a certain pixel is set as a target pixel (step S41). Next, a predetermined peripheral region of the target pixel is set as the noise amount estimation region (step S42), and an average value of the pixels in the peripheral region is calculated (step S43). An appropriate noise model is selected from a plurality of existing noise models according to the number of additions of the target pixel (step S44), and the noise amount at the average value of the pixels already obtained is extracted with reference to the selected noise model. (Step S45) The extracted noise amount is set as a coring width (noise reduction parameter), and a coring process is performed to reduce noise (step S46). It is determined whether or not the position of the target pixel has been moved without any pixels, and the processing from step S42 to step S46 has been performed for all pixels (step S47). When the processing from step S42 to step S46 has been performed for all the pixels, the noise reduction processing is terminated. If the process from step S42 to step S46 has not been performed for all pixels, the process returns to step S41, the next target pixel is set, and the process from step S42 to step S46 is repeated. Thus, the loop processing (steps S41 to S47) is performed for all pixels.
なお、ステップＳ４２からステップＳ４６の処理は、ノイズ低減手段を構成し、ステップＳ４３からステップＳ４６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。 The processing from step S42 to step S46 constitutes noise reduction means, and the processing from step S43 to step S46 constitutes noise reduction parameter control means or coring width control means.
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択すればよい。 In the above, there may be a plurality of target pixels, and it is also possible to calculate the number of additions for each of a plurality of set target pixels and reduce the noise according to the noise reduction parameter for each of the plurality of target pixels. is there. In this case, for example, a predetermined peripheral area of a plurality of target pixels is set, an average value of the pixels in the peripheral area is calculated, and an appropriate noise model is selected according to the average number of additions of the plurality of target pixels. do it.
図９の第二のコアリング幅設定方法を使用するノイズ低減処理について示す。本処理は、加算・合成画像の全画素分のループ処理（ステップＳ５１からＳ５７）で、まず、注目画素を設定する（ステップＳ５１）。次に、ノイズ量推定用領域として注目画素の所定の周辺領域を設定し（ステップＳ５２）、その領域内で画素の平均値を算出する（ステップＳ５３）。予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し（ステップＳ５４）、注目画素の加算回数に応じてコアリング幅を算出する（ステップＳ５５）。算出されたコアリング幅（ノイズ低減パラメータ）でコアリング処理を行ってノイズ低減する（ステップＳ５６）。注目画素を全画素に対して設定し終え、全画素についてステップＳ５２からステップＳ５６の処理が為されたか否か判断する（ステップＳ５７）。全画素についてステップＳ５２からステップＳ５６の処理が為された場合に、ノイズ低減処理を終了する。ステップＳ５２からステップＳ５６の処理が全画素については為されていない場合には、ステップＳ５１に戻り、次の注目画素を設定し、ステップＳ５２からステップＳ５６の処理を繰り返す。 A noise reduction process using the second coring width setting method of FIG. 9 will be described. This process is a loop process (steps S51 to S57) for all the pixels of the added / synthesized image. First, a target pixel is set (step S51). Next, a predetermined peripheral region of the target pixel is set as the noise amount estimation region (step S52), and an average value of the pixels in the region is calculated (step S53). The amount of noise is extracted from the noise model given in advance and the average value of the pixels (step S54), and the coring width is calculated according to the number of additions of the target pixel (step S55). Noise is reduced by performing coring processing with the calculated coring width (noise reduction parameter) (step S56). After setting the target pixel for all the pixels, it is determined whether or not the processing from step S52 to step S56 has been performed for all the pixels (step S57). When the processing from step S52 to step S56 has been performed for all pixels, the noise reduction processing ends. If the process from step S52 to step S56 has not been performed for all pixels, the process returns to step S51, the next target pixel is set, and the process from step S52 to step S56 is repeated.
なお、ステップＳ５２からステップＳ５６の処理は、ノイズ低減手段を構成し、ステップＳ５３からステップＳ５６の処理は、ノイズ低減パラメータ制御手段又はコアリング幅制御手段を構成する。 The processing from step S52 to step S56 constitutes noise reduction means, and the processing from step S53 to step S56 constitutes noise reduction parameter control means or coring width control means.
なお、上記では、注目画素は複数であってもよく、設定した複数の注目画素毎に加算回数を算出して、複数の注目画素毎にノイズ低減パラメータに応じてノイズを低減することも可能である。この場合、例えば、複数の注目画素の所定の周辺領域を設定し、その周辺領域内で画素の平均値を算出し、予め与えられているノイズモデルと画素の平均値からノイズ量を抽出し、複数の注目画素の平均的な加算回数に応じてコアリング幅を算出すればよい。 In the above, there may be a plurality of target pixels, and it is also possible to calculate the number of additions for each of a plurality of set target pixels and reduce the noise according to the noise reduction parameter for each of the plurality of target pixels. is there. In this case, for example, a predetermined peripheral area of a plurality of pixels of interest is set, an average value of the pixels is calculated in the peripheral area, and a noise amount is extracted from a predetermined noise model and the average value of the pixels, What is necessary is just to calculate a coring width | variety according to the average frequency | count of addition of several attention pixel.
図１０Ａ−図１０Ｄにおいて、コアリング幅設定の例を示す。図１０Ａ中の例では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である（図１０Ａ上図）。まず、ノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合には、平均値算出時の除数に加算回数を考慮して、加算回数で規格化する。例えば、各画素について加算値（Y11, Y21,・・・, Y45, Y55）をそれぞれの加算回数（n11(=2), n21(=2),・・・, n45(=2), n55(=2)）で除算して加算平均（Y11/n11, Y21/n21,・・・, Y45/n45, Y55/n55）を求めてから、さらにノイズ量推定用領域内での加算平均の平均値（ノイズ量推定用領域平均値）を算出する。他の例として、ノイズ量推定用領域内で各画素についての加算値の合計（Y11+Y21+・・・+Y45+Y55）を、この領域内での加算回数の合計（図１０Ａ下図の例では６８回）で除算して平均値（ノイズ量推定用領域平均値）を算出してもよい。また、領域内の加算・合成画像の画素値を加算回数で加算平均したものを各画素の画素値として保存している場合は、領域内での加算平均の合計（Y11/n11+Y21/n21+・・・+Y45/n45+Y55/n55）を領域内の画素分（図１０Ａ下図の例では２５）で除算して画素の平均値（ノイズ量推定用領域平均値）を算出する。 10A to 10D show examples of coring width setting. In the example in FIG. 10A, Y33 of the added / combined image is the target pixel of the coring process, and the noise amount estimation region is a 5 × 5 region in the vicinity of the target pixel (upper diagram in FIG. 10A). First, an average value of pixels is calculated within the noise amount estimation region. At this time, when the pixel value of the addition / composite image is stored as an addition value, the addition value is normalized by taking the addition number into consideration in the divisor when calculating the average value. For example, for each pixel, the addition value (Y11, Y21,..., Y45, Y55) is added to each addition count (n11 (= 2), n21 (= 2),..., N45 (= 2), n55 ( = 2)) to obtain the addition average (Y11 / n11, Y21 / n21,..., Y45 / n45, Y55 / n55), and then the average value of the addition average in the noise estimation area (Noise amount estimation area average value) is calculated. As another example, the sum of the added values (Y11 + Y21 +... + Y45 + Y55) for each pixel in the noise amount estimation region is the sum of the number of additions in this region (in the example of the lower diagram in FIG. 10A). 68), an average value (noise amount estimation area average value) may be calculated. In addition, when the pixel value of the addition / composite image in the region is averaged by the number of additions and saved as the pixel value of each pixel, the sum of the addition average in the region (Y11 / n11 + Y21 / n21 + ... + Y45 / n45 + Y55 / n55) is divided by the number of pixels in the region (25 in the example in the lower diagram of FIG. 10A) to calculate an average value of pixels (region average value for noise amount estimation).
また、ノイズ量推定用領域内での画素の平均値を算出する際に、上記では加算画像を使用しているが、電子ブレ補正による加算前の基準画像のみを使用してノイズ量推定用領域内での画素の平均値を算出しても良い。 In addition, when calculating the average value of the pixels in the noise amount estimation area, the addition image is used in the above, but only the reference image before the addition by the electronic blur correction is used, and the noise amount estimation area is used. You may calculate the average value of the pixel in the inside.
なお、ノイズ量推定用領域は、大きいほどノイズ低減の効果があるが、大き過ぎると計算量が増加するため適度な大きさに設定される。 It should be noted that the noise amount estimation area has a noise reduction effect as it is larger. However, if it is too large, the calculation amount increases, so that the noise amount estimation area is set to an appropriate size.
加算回数からノイズモデルを選択する第一のコアリング幅設定方法の場合には（図１０Ｂ）、複数のノイズモデルデータを予め設定しておく。そして、注目画素における加算回数に応じて、撮影時のＩＳＯ感度から、（加算回数−１）段数分低いＩＳＯ感度のノイズモデルを選択する。図１０Ｂの例では、撮影時のＩＳＯ感度はＩＳＯ３２００であり、注目画素における加算回数（４回）に応じて、３段数分低いＩＳＯ４００のノイズモデルを選択する。そして、選択されたノイズモデルを参照して、算出したノイズ量推定用領域平均値βから注目画素のノイズ量を抽出する（図１０Ｂの例ではα／２）。 In the case of the first coring width setting method for selecting a noise model from the number of additions (FIG. 10B), a plurality of noise model data are set in advance. Then, a noise model having an ISO sensitivity that is lower by (number of additions−1) stages than the ISO sensitivity at the time of shooting is selected according to the number of additions in the target pixel. In the example of FIG. 10B, the ISO sensitivity at the time of shooting is ISO 3200, and a noise model of ISO 400 that is lower by three stages is selected according to the number of additions (4 times) in the target pixel. Then, referring to the selected noise model, the noise amount of the target pixel is extracted from the calculated noise amount estimation region average value β (α / 2 in the example of FIG. 10B).
なお、複数の注目画素の平均的な加算回数に応じて適切なノイズモデルを選択する場合において、平均的な加算回数が整数でない時には、平均的な加算回数を四捨五入等して整数化するようにしてよい。 When an appropriate noise model is selected according to the average number of additions of a plurality of target pixels, if the average number of additions is not an integer, the average number of additions is rounded to an integer. It's okay.
ノイズモデルからコアリング幅を計算する第二のコアリング幅設定方法の場合（図１０Ｃ）には、参照できるノイズモデルと算出した平均値からノイズ量を抽出する（図中の例ではα）。参照できるノイズモデルは、撮影時のＩＳＯ感度（例えばＩＳＯ３２００）に対応するノイズモデルが存在すれば、そのノイズモデルとなる。（なお、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合は、後述の第二実施形態のコアリング幅設定方法を使用できる。）図１０Ｃのようにノイズモデルから抽出したノイズ量αを変換して、注目画素の加算回数に応じて注目画素のノイズ量を算出する。この時、注目画素のノイズ量は、注目画素の加算回数をｎとするとノイズ量αをｎ-1/2倍した値として算出できる。図１０Ｃの例では、注目画素の加算回数が４回なので注目画素のノイズ量はα／２となる。 In the case of the second coring width setting method for calculating the coring width from the noise model (FIG. 10C), the noise amount is extracted from the noise model that can be referred to and the calculated average value (α in the example in the figure). The noise model that can be referred to is a noise model if there is a noise model corresponding to the ISO sensitivity at the time of shooting (for example, ISO 3200). (Note that if there is no noise model corresponding to the ISO sensitivity at the time of shooting, the coring width setting method of the second embodiment described later can be used.) The noise amount α extracted from the noise model as shown in FIG. Conversion is performed, and the noise amount of the target pixel is calculated according to the number of additions of the target pixel. At this time, the noise amount of the target pixel can be calculated as a value obtained by multiplying the noise amount α by n −1/2 when the number of additions of the target pixel is n. In the example of FIG. 10C, since the number of additions of the target pixel is four, the noise amount of the target pixel is α / 2.
第一と第二のコアリング幅設定方法の両方とも、注目画素のノイズ量を決定した後、コアリング幅をノイズ量と同じ値に設定する。 In both the first and second coring width setting methods, after determining the noise amount of the target pixel, the coring width is set to the same value as the noise amount.
そして、下記のように条件に応じてコアリング処理を行う。まず、数式（１）で注目画素とノイズ量推定用領域平均値との差（＝Ｓ）を算出する。 And a coring process is performed according to conditions as follows. First, the difference (= S) between the pixel of interest and the noise amount estimation area average value is calculated by Equation (1).
そして、Ｓの絶対値とコアリング幅の大小関係と、Ｓの正負で条件分岐し、以下の数式（２）−（４）のように、コアリング後の画素値が算出される。 Then, conditional branching is performed based on the magnitude relationship between the absolute value of S and the coring width and the sign of S, and the pixel value after coring is calculated as in the following equations (2) to (4).
即ち、（|Ｓ| ≧ コアリング幅）かつ（Ｓ＞０）の場合、数式（２）のように、注目画素の画素値からコアリング幅分だけ減算することによりコアリングを行う。（|Ｓ| ≧ コアリング幅）かつ（Ｓ＜０）の場合、数式（３）のように、注目画素の画素値にコアリング幅分だけ合算することによりコアリングを行う。それ以外の場合、即ち、（|Ｓ| ＜ コアリング幅）の場合には、数式（４）のようにコアリング後の画素値をノイズ量推定用領域平均値に設定する。 That is, when (| S | ≧ coring width) and (S> 0), coring is performed by subtracting the coring width from the pixel value of the target pixel as shown in Equation (2). When (| S | ≧ coring width) and (S <0), coring is performed by adding to the pixel value of the pixel of interest by the coring width, as in equation (3). In other cases, that is, in the case of (| S | <coring width), the pixel value after coring is set to the noise amount estimation region average value as shown in Equation (4).
図１０Ｄのように、コアリング後の出力信号は、ノイズ低減処理部２０３に入力するコアリング前の入力信号に対して、コアリング幅の分だけ平均化されてノイズ低減処理部２０３から出力される。 As shown in FIG. 10D, the output signal after coring is averaged by the coring width with respect to the input signal before coring input to the noise reduction processing unit 203 and output from the noise reduction processing unit 203. The
次に、図２の電子スチルカメラで行われる上述の処理について、信号の流れに基づいてさらに説明する。 Next, the above-described processing performed by the electronic still camera of FIG. 2 will be further described based on the signal flow.
まず、使用者がシャッター釦１１３を押したり電源スイッチ１２をＯＮ状態にすることにより、撮影制御部１１０は、絞り１０１、シャッター１０３、ＡＦ用モータ１０８の制御をして撮影を行う。撮影ではＣＣＤ撮像素子１０５からの信号がＡ／Ｄ変換回路１０６にてデジタル信号化され、切替部２００の制御により、そのままバッファメモリ２０１ａに出力するか、信号処理部１１１へ出力するか制御される。信号処理部１１１では公知のホワイトバランス、補間処理（デモザイキング）などがなされフルカラーの画像信号として、バッファメモリ２０１ａに出力される。 First, when the user presses the shutter button 113 or turns on the power switch 12, the shooting control unit 110 controls the aperture 101, the shutter 103, and the AF motor 108 to perform shooting. In photographing, a signal from the CCD image sensor 105 is converted into a digital signal by the A / D conversion circuit 106 and is controlled to be output to the buffer memory 201 a or the signal processing unit 111 as it is under the control of the switching unit 200. . The signal processing unit 111 performs known white balance, interpolation processing (demosaicing), and the like, and outputs the full color image signal to the buffer memory 201a.
シャッター釦１１３が半押し時のプリ撮像でのＡＦ（自動焦点調節）制御時において、ＣＣＤ撮像素子１０５からの出力信号をＡ／Ｄ変換回路１０６にてデジタル信号化して輝度信号を算出し、合焦位置は、その輝度信号中のエッジ強度から求められる。すなわち、ＡＦ用モータ１０８にてレンズ系１００の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。ＡＦロック後、撮像制御部１１０が操作表示部１１９へＡＦ完了通知用の信号を出力し、液晶表示パネル１３にＡＦ完了を通知する表示が為される。この通知後、使用者がシャッター釦１１３を完全に押すと撮像制御部１１０が高速連写撮影を行う。 At the time of AF (automatic focus adjustment) control in pre-imaging when the shutter button 113 is half-pressed, the output signal from the CCD image sensor 105 is converted into a digital signal by the A / D conversion circuit 106 to calculate a luminance signal. The focal position is obtained from the edge intensity in the luminance signal. That is, by changing the focus position of the lens system 100 stepwise by the AF motor 108, the focus position where the edge strength becomes maximum is estimated. After AF lock, the imaging control unit 110 outputs an AF completion notification signal to the operation display unit 119, and a display for notifying the completion of AF on the liquid crystal display panel 13 is performed. After this notification, when the user presses the shutter button 113 completely, the imaging control unit 110 performs high-speed continuous shooting.
高速連写撮影された複数枚の画像信号は、信号処理部１１１を介す場合も介さない場合もバッファメモリ２０１ａに保存される。バッファメモリ２０１ａに保存された複数枚の画像信号はブレ補正処理部２０２へ入力され、動き検出部２０２aで画像間のブレ量を算出し、画素加算部２０２ｂで画像を加算し、バッファメモリ２０１ａに加算・合成画像が保存される。ブレ補正に使用される枚数分だけ処理を施してバッファメモリ２０１ａの加算画像は上書き更新される。その際、画素加算部２０２ｂは、バッファメモリ２０１ｂに、加算画像の各画素における加算回数をカウント（算出）し記録しておく。画素加算部２０２ｂとバッファメモリ２０１ｂは、加算回数算出手段を構成する。 A plurality of image signals captured by high-speed continuous shooting are stored in the buffer memory 201a with or without the signal processing unit 111. The plurality of image signals stored in the buffer memory 201a are input to the blur correction processing unit 202, the blur amount between images is calculated by the motion detection unit 202a, the images are added by the pixel addition unit 202b, and the image is stored in the buffer memory 201a. The added / synthesized image is saved. Processing is performed for the number of sheets used for blur correction, and the added image in the buffer memory 201a is overwritten and updated. At that time, the pixel addition unit 202b counts (calculates) and records the number of additions in each pixel of the added image in the buffer memory 201b. The pixel addition unit 202b and the buffer memory 201b constitute addition number calculation means.
ノイズ低減処理部２０３は、バッファメモリ２０１ａを介して加算画像を入力し、バッファメモリ２０１ｂに記録されている各画素の加算回数データを用いながらノイズモデル選択、コアリング幅算出する。コアリング処理部２０３ｃは、コアリング幅に応じてコアリングする。コアリング後、画像信号はバッファメモリ２０１ａに上書き更新される。バッファメモリ２０１ａからの画像信号は、圧縮部１２４に入力されて、ＪＰＥＧなどの画像圧縮を施され、圧縮後の画像データは、メモリカードＩ／Ｆ部１１７を介してメモリカード１１８に記録される。 The noise reduction processing unit 203 inputs an added image via the buffer memory 201a, selects a noise model, and calculates a coring width while using the addition count data of each pixel recorded in the buffer memory 201b. The coring processing unit 203c performs coring according to the coring width. After coring, the image signal is overwritten and updated in the buffer memory 201a. The image signal from the buffer memory 201a is input to the compression unit 124, subjected to image compression such as JPEG, and the compressed image data is recorded in the memory card 118 via the memory card I / F unit 117. .
なお、信号処理部１１１内の処理は、大別すると信号処理１（補間／色変換処理等）と信号処理２（エッジ強調処理等）の２つに分けられ、これらの処理はバッファメモリ２０１ａを介して別々に処理できる。また、信号処理部１１１とブレ補正処理部２０２とノイズ低減処理部２０３の処理は、バッファメモリ２０１ａを介して、順不同で実施することが可能である。ただし、図３に示したように、ブレ補正処理部２０２とノイズ低減処理部２０３の処理の順番に関して、ブレ補正処理がノイズ低減処理よりも先に実施される。 The processing in the signal processing unit 111 is roughly divided into two processes, ie, signal processing 1 (interpolation / color conversion processing, etc.) and signal processing 2 (edge enhancement processing, etc.). These processes are performed on the buffer memory 201a. Can be processed separately. Further, the processing of the signal processing unit 111, the blur correction processing unit 202, and the noise reduction processing unit 203 can be performed in any order via the buffer memory 201a. However, as illustrated in FIG. 3, the blur correction process is performed prior to the noise reduction process with respect to the processing order of the blur correction processing unit 202 and the noise reduction processing unit 203.
次に、図１１を参照して、第二実施形態を説明する。第二実施形態は、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合の実施形態であり、撮影時のＩＳＯ感度と参照できるノイズモデルのＩＳＯ感度との感度差（段数差）が考慮されコアリング幅が計算される。この感度差も、１段分感度が下がればノイズ量が２-1/2倍になることから、加算回数１回分と同等に取り扱うことができる。 Next, a second embodiment will be described with reference to FIG. The second embodiment is an embodiment in the case where there is no noise model corresponding to the ISO sensitivity at the time of shooting, and the sensitivity difference (stage difference) between the ISO sensitivity at the time of shooting and the ISO sensitivity of the noise model that can be referred to is considered. The coring width is calculated. This sensitivity difference can be handled in the same way as the number of additions, since the amount of noise will be 2 -1/2 times if the sensitivity is reduced by one stage.
第二実施形態において、ノイズモデルの選択とコアリング幅の変換演算とが組み合わされている。例として、複数枚の画像撮影時におけるカメラのＩＳＯ感度の設定値がＩＳＯ８００でこれに対応するノイズモデルが存在しない場合を説明する。 In the second embodiment, the selection of the noise model and the coring width conversion operation are combined. As an example, a case will be described in which the ISO sensitivity setting value of the camera at the time of photographing a plurality of images is ISO 800 and there is no corresponding noise model.
図１１Ａ上図のような電子ブレ補正処理によって加算・合成された画像がバッファメモリ２０１ａに存在し、図１１Ａ下図のような加算回数を保存したデータがバッファメモリ２０１ｂに存在する。これらの図では、加算・合成画像のＹ３３がコアリング処理の注目画素で、ノイズ量推定用領域が注目画素の近傍である５×５の領域である。まず、第一実施形態と同様にノイズ量推定用領域内で画素の平均値を算出する。その際、加算・合成画像の画素値を加算値で保存している場合は、平均値算出時の除数に加算回数を考慮して正規化する。加算・合成画像の画素値を加算平均して保存している場合は、平均値算出時の除数を領域内の画素分（図１１Ａ下図の例では２５）として、ノイズ量推定用領域内でこの加算平均の平均値を算出する。 An image added and synthesized by the electronic blur correction process as shown in the upper part of FIG. 11A exists in the buffer memory 201a, and data storing the number of additions as shown in the lower part of FIG. 11A exists in the buffer memory 201b. In these figures, Y33 of the added / combined image is the target pixel of the coring process, and the noise amount estimation region is a 5 × 5 region in the vicinity of the target pixel. First, as in the first embodiment, an average value of pixels is calculated within the noise amount estimation region. At this time, when the pixel value of the added / combined image is stored as an added value, normalization is performed in consideration of the number of times of addition to the divisor when calculating the average value. In the case where the pixel values of the addition / composite image are added and averaged and stored, the divisor at the time of calculating the average value is set to the number of pixels in the region (25 in the example in the lower diagram of FIG. 11A), and this is calculated in the noise amount estimation region. The average value of the addition average is calculated.
ノイズモデルを選択・参照する時、撮影時のＩＳＯ感度に最も近いＩＳＯ感度のノイズモデルデータを選択する。図１１Ｂの例では、存在するノイズモデルがＩＳＯ感度１６００と３２００で、撮影時のＩＳＯ感度が８００であるため、撮影時のＩＳＯ感度に最も近いＩＳＯ１６００のノイズモデルデータを選択する。選択されたノイズモデルとノイズモデル量推定用領域の平均値（図１１Ｂではβ）からノイズ量を抽出する（図１１Ｂではα）。ここで、選択されたノイズモデルからのノイズ量Ｎ＝α、注目画素の加算回数ｎ＝３、複数枚の画像撮影時のＩＳＯ感度から選択されたノイズモデルのＩＳＯ感度までの感度差ｄ＝１、変換後のノイズ量Ｎ'とすると、 When a noise model is selected / referenced, noise model data having an ISO sensitivity closest to the ISO sensitivity at the time of shooting is selected. In the example of FIG. 11B, since the existing noise models are ISO sensitivities 1600 and 3200 and the ISO sensitivity at the time of shooting is 800, ISO 1600 noise model data closest to the ISO sensitivity at the time of shooting is selected. A noise amount is extracted from the average value of the selected noise model and the noise model amount estimation region (β in FIG. 11B) (α in FIG. 11B). Here, the noise amount N = α from the selected noise model, the number n of additions of the target pixel n = 3, and the sensitivity difference d = 1 from the ISO sensitivity at the time of photographing a plurality of images to the ISO sensitivity of the selected noise model. If the converted noise amount is N ′,
より、Ｎ'＝α／２となる。変換演算によって求めたＮ'＝α／２をコアリング幅として、第一実施形態と同様にコアリングを行う。 Therefore, N ′ = α / 2. Coring is performed in the same manner as in the first embodiment, with N ′ = α / 2 obtained by the conversion operation as the coring width.
なお、ＩＳＯ感度の感度差dは、撮影時のＩＳＯ感度からみて、選択されたノイズモデルのＩＳＯ感度への感度差であるので、上記の例の場合＋１段となる。もし、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度４００であれば感度差は＋２段になり、選択されたノイズモデルのＩＳＯ感度１６００、撮影時のＩＳＯ感度６４００であれば感度差は−２段となる。又、撮影時のＩＳＯ感度に対応するノイズモデルが存在する場合には、感度差ｄ＝０となり、図１０Ｃと同様に、ＩＳＯ感度に対応するノイズモデルが選択され、変換後のノイズ量は、選択されたノイズモデルからのノイズ量（Ｎ＝α）のｎ-1/2倍となる。 Note that the sensitivity difference d of ISO sensitivity is a sensitivity difference to the ISO sensitivity of the selected noise model in view of the ISO sensitivity at the time of shooting, and is therefore +1 stage in the above example. If the ISO sensitivity of the selected noise model is 1600 and the ISO sensitivity is 400 when shooting, the sensitivity difference is +2 steps. If the ISO sensitivity is 1600 of the selected noise model and the ISO sensitivity is 6400 when shooting, the sensitivity difference is Is -2 stages. If there is a noise model corresponding to the ISO sensitivity at the time of shooting, the sensitivity difference d = 0, and the noise model corresponding to the ISO sensitivity is selected as in FIG. 10C. The amount of noise (N = α) from the selected noise model is n −1/2 times.
第二実施形態において、撮影時のＩＳＯ感度に対応するノイズモデルが存在しない場合でも、加算回数に応じたノイズ量を求めて、ノイズ量に基づいてコアリング幅を設定することができる。 In the second embodiment, even when there is no noise model corresponding to the ISO sensitivity at the time of shooting, the amount of noise corresponding to the number of additions can be obtained and the coring width can be set based on the amount of noise.
次に、図１２を参照して、第三実施形態について説明する。第三実施形態において、画像信号の伝送時のノイズにノイズ低減処理が適用される。図１２は、例示として、カプセル内視鏡システムの構成図を示す。 Next, a third embodiment will be described with reference to FIG. In the third embodiment, noise reduction processing is applied to noise during transmission of an image signal. FIG. 12 shows a configuration diagram of a capsule endoscope system as an example.
カプセル内視鏡システムは、撮像素子により取得した複数枚画像の画像信号を無線により伝送するカプセル内視鏡３００（画像取得手段）、カプセル内視鏡３００からの画像信号を受信し画像処理する画像処理装置３０１、画像処理装置３０１からの画像信号を画像として表示する表示装置３０５を備える。画像処理装置３０１は、カプセル内視鏡からの画像信号を受信し又カプセル内視鏡への制御信号を送信する無線部３０２、受信した画像信号をアナログーデジタル変換するＡ／Ｄ（アナログーデジタル）変換回路３０３、Ａ／Ｄ変換回路３０３からの画像信号を処理する画像処理部３０４から構成される。 The capsule endoscope system is a capsule endoscope 300 (image acquisition unit) that wirelessly transmits image signals of a plurality of images acquired by an image sensor, and receives an image signal from the capsule endoscope 300 and performs image processing. A processing device 301 and a display device 305 that displays an image signal from the image processing device 301 as an image are provided. An image processing apparatus 301 includes a wireless unit 302 that receives an image signal from a capsule endoscope and transmits a control signal to the capsule endoscope, and an A / D (analog-to-digital) that converts the received image signal from analog to digital. And an image processing unit 304 that processes image signals from the conversion circuit 303 and the A / D conversion circuit 303.
カプセル内視鏡システムのような無線システムでは、撮像したアナログデータを無線伝送するときに、伝送ノイズが発生する。この場合、第一実施形態及び第二実施形態のような輝度値に応じたノイズでなく、輝度値に無関係な伝送ノイズが発生する。この時の第一実施形態及び第二実施形態と同様の考え方で、注目画素の加算回数ｎを考慮した画像信号の伝送ノイズ量Ｎ’を、そのままの（加算回数を考慮しない）伝送ノイズ量Ｎに基づいて計算する。ここでは、ＩＳＯ感度の感度差分は考慮しないため、第二実施形態の数式（５）が、以下の数式（６）に置き換えられる。 In a wireless system such as a capsule endoscope system, transmission noise occurs when the captured analog data is wirelessly transmitted. In this case, transmission noise irrelevant to the luminance value is generated instead of noise corresponding to the luminance value as in the first embodiment and the second embodiment. At this time, the transmission noise amount N ′ of the image signal in consideration of the number n of additions of the pixel of interest is the same as the first embodiment and the second embodiment, and the transmission noise amount N as it is (without considering the number of additions). Calculate based on Here, since the sensitivity difference of the ISO sensitivity is not taken into consideration, Expression (5) of the second embodiment is replaced with Expression (6) below.
画像処理装置３０１内の画像処理部３０４で、伝送されてきた複数枚の画像を位置合わせし画像加算・合成後にノイズ低減処理を施す場合に、数式（６）を用い各画素の加算回数に応じてコアリング幅を変えてノイズ低減する。複数枚の画像の位置合わせ処理、画像加算・合成処理、加算回数のデータ保存、コアリングによるノイズ低減処理の方法は、第一実施形態及び第二実施形態と同様に行う。 When the image processing unit 304 in the image processing apparatus 301 aligns a plurality of transmitted images and performs noise reduction processing after image addition / combination, according to the number of additions of each pixel using Expression (6) Change the coring width to reduce noise. A method of aligning a plurality of images, image addition / combination processing, data storage of the number of additions, and noise reduction processing by coring are performed in the same manner as in the first and second embodiments.
以上の第一から第三実施形態によれば、複数枚の画像を使って位置合わせしブレ補正による画像加算・合成した加算画像に対して、コアリング処理によるノイズ低減を行う。この際に、加算回数に応じて参照するノイズモデルを選択あるいはノイズモデルのノイズ量から変換演算することによって加算回数に適したコアリング幅を設定することができる。このため、まばらなノイズのある加算画像に対しても均一な仕上がりになるノイズ低減をすることが可能となる。 According to the first to third embodiments described above, noise reduction by coring processing is performed on an added image obtained by aligning using a plurality of images and adding and synthesizing images by shake correction. At this time, a coring width suitable for the number of additions can be set by selecting a noise model to be referred to according to the number of additions or by performing a conversion operation from the noise amount of the noise model. For this reason, it is possible to perform noise reduction that achieves a uniform finish even for added images with sparse noise.
なお、本発明は上記の第一実施形態から第三実施形態に限定されるものではない。例えば、上記の第一実施形態から第三実施形態において、ノイズ低減処理はコアリング処理を用いて行われたが、ノイズ低減処理は、ノイズ除去フィルタを用いたフィルタリング処理によっても簡便に行うことができる。ノイズ除去フィルタとして、ある画素についての周辺画素の平均値を基にその画素の補正を行うローパスフィルタや、周辺画素の中央値で補正を行うメディアンフィルタが挙げられる。 The present invention is not limited to the first to third embodiments. For example, in the first to third embodiments, the noise reduction process is performed using the coring process. However, the noise reduction process can be easily performed by a filtering process using a noise removal filter. it can. Examples of the noise removal filter include a low-pass filter that corrects a pixel based on an average value of peripheral pixels for a certain pixel, and a median filter that corrects a median value of peripheral pixels.
この場合には、フィルタ行列のサイズ、フィルタリング回数、又はフィルタ行列の行列要素等のノイズ低減パラメータ（ノイズ低減の度合を示すパラメータ）を、ノイズ低減の対象となる注目画素における加算回数と基準輝度値とに基づき計算して、フィルタリングを行ってよい。 In this case, the noise reduction parameter (parameter indicating the degree of noise reduction) such as the size of the filter matrix, the number of times of filtering, or the matrix element of the filter matrix, and the number of additions and the reference luminance value at the target pixel for noise reduction. Based on the above, filtering may be performed.
例えば、注目画素における加算回数が小さいほどノイズ量は大きくなるため、加算回数が小さいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。又、注目画素における平均輝度値（基準輝度値）が大きいほどノイズ量は大きくなるため、平均輝度値が大きいほど、フィルタ行列のサイズ又はフィルタリング回数を増加させてノイズをより強く低減してよい。このようにノイズ低減パラメータを、ノイズを低減する対象となる注目画素における加算回数と基準輝度値とに基づき制御して、画素毎に合成回数が異なることに適応してノイズ低減処理を施すことができる。 For example, since the amount of noise increases as the number of additions in the pixel of interest decreases, the noise may be reduced more strongly by increasing the size of the filter matrix or the number of filterings as the number of additions decreases. Further, since the amount of noise increases as the average luminance value (reference luminance value) at the target pixel increases, the noise may be reduced more strongly by increasing the filter matrix size or the number of times of filtering as the average luminance value increases. In this way, the noise reduction parameter is controlled based on the number of additions and the reference luminance value in the target pixel that is the target of noise reduction, and noise reduction processing can be performed in accordance with the difference in the number of synthesis for each pixel. it can.
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。 The present invention is not limited to the above-described embodiment, and it is obvious that various modifications can be made within the scope of the technical idea.
１００ レンズ系
１０５ ＣＣＤ撮像素子
１１０ 撮像制御部
１１１ 信号処理部
１１３ シャッター釦
２０１ａ バッファメモリ
２０１ｂ バッファメモリ
２０２ ブレ補正処理部
２０２ａ 動き検出部
２０２ｂ 画素加算部
２０２ｃ 画素選択部
２０３ ノイズ低減処理部
２０３ａ ノイズ量推定部
２０３ｂ コアリング幅算出部
２０３ｃ コアリング処理部
３００ カプセル内視鏡
３０１ 画像処理装置
DESCRIPTION OF SYMBOLS 100 Lens system 105 CCD image pick-up element 110 Imaging control part 111 Signal processing part 113 Shutter button 201a Buffer memory 201b Buffer memory 202 Shake correction process part 202a Motion detection part 202b Pixel addition part 202c Pixel selection part 203 Noise reduction process part 203a Noise amount estimation Unit 203b coring width calculation unit 203c coring processing unit 300 capsule endoscope 301 image processing apparatus
Claims (14)
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手段と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手段と、を備え、
前記ノイズ低減手段は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを設定するノイズ低減パラメータ制御手段を有することを特徴とする画像処理装置。 An image processing apparatus for aligning a plurality of images and generating new image data by adding the plurality of image data,
An addition count calculating means for calculating the addition count of image data for each of one or a plurality of pixels of the new image data;
Noise reduction means for reducing noise according to a noise reduction parameter indicating a degree of noise reduction for each of one or a plurality of pixels of the new image data,
The image processing apparatus according to claim 1, wherein the noise reduction unit includes a noise reduction parameter control unit that sets a noise reduction parameter for the target pixel based on the number of additions in the target pixel that is a target of noise reduction.
前記ノイズ低減手段の前記ノイズ低減パラメータ制御手段が、前記ノイズ低減パラメータとして、前記ノイズ除去フィルタのフィルタ行列のサイズ、行列要素、又は、フィルタリング回数を、基準輝度値及び前記加算回数とに基づき制御することを特徴とする請求項１に記載の画像処理装置。 The noise reduction means comprises a noise removal filter that reduces noise,
The noise reduction parameter control means of the noise reduction means controls, as the noise reduction parameter, a filter matrix size, matrix element, or filtering count of the noise removal filter based on a reference luminance value and the addition count. The image processing apparatus according to claim 1.
前記新たな画像データの１つ又は複数の画素毎に、画像データの加算回数を算出する加算回数算出手順と、
前記新たな画像データの１つ又は複数の画素毎に、ノイズの低減の度合を示すノイズ低減パラメータに応じてノイズを低減するノイズ低減手順と、を備え、
前記ノイズ低減手順は、ノイズを低減する対象となる注目画素における加算回数に基づき、前記注目画素に対するノイズ低減パラメータを制御するノイズ低減パラメータ制御手順を有することを特徴とする画像処理プログラム。 In an image processing program for aligning a plurality of images and adding the plurality of image data to generate new image data,
An addition count calculation procedure for calculating the addition count of image data for each of one or more pixels of the new image data;
A noise reduction procedure for reducing noise in accordance with a noise reduction parameter indicating a degree of noise reduction for each of one or a plurality of pixels of the new image data,
The image processing program characterized in that the noise reduction procedure includes a noise reduction parameter control procedure for controlling a noise reduction parameter for the pixel of interest based on the number of additions of the pixel of interest that is a target for noise reduction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008034458A JP5112104B2 (en) | 2008-02-15 | 2008-02-15 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008034458A JP5112104B2 (en) | 2008-02-15 | 2008-02-15 | Image processing apparatus and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009194700A true JP2009194700A (en) | 2009-08-27 |
| JP5112104B2 JP5112104B2 (en) | 2013-01-09 |
Family
ID=41076305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008034458A Expired - Fee Related JP5112104B2 (en) | 2008-02-15 | 2008-02-15 | Image processing apparatus and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5112104B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012032217A (en) * | 2010-07-29 | 2012-02-16 | Hitachi-Ge Nuclear Energy Ltd | Visual inspection device and creation method of video for visual inspection |
| JP2012068733A (en) * | 2010-09-21 | 2012-04-05 | Olympus Corp | Image processing apparatus and image processing program |
| JP2012186593A (en) * | 2011-03-04 | 2012-09-27 | Sony Corp | Image processing system, image processing method, and program |
| JP2013132082A (en) * | 2013-03-22 | 2013-07-04 | Casio Comput Co Ltd | Image synthesizer and program |
| JP2013138324A (en) * | 2011-12-28 | 2013-07-11 | Xacti Corp | Imaging apparatus |
| US8514323B2 (en) | 2011-06-21 | 2013-08-20 | Olympus Imaging Corp. | Imaging apparatus and imaging method |
| WO2013145799A1 (en) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | Image processing device, photographing device, program, and image processing method |
| US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
| US8861846B2 (en) | 2010-06-17 | 2014-10-14 | Sony Corporation | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image |
| JP2014232114A (en) * | 2014-08-20 | 2014-12-11 | 日立Ｇｅニュークリア・エナジー株式会社 | Method for creating video for visual inspection |
| JP2015041825A (en) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JP2015041824A (en) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JPWO2013099025A1 (en) * | 2011-12-28 | 2015-04-30 | ピタフォー モバイル エルエルシー | Information processing apparatus, information processing method, information processing program, and information recording medium |
| US9142007B2 (en) | 2013-04-10 | 2015-09-22 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
| EP2984816A1 (en) * | 2013-04-10 | 2016-02-17 | Microsoft Technology Licensing, LLC | Motion blur-free capture of low light high dynamic range images |
| WO2016052250A1 (en) * | 2014-10-03 | 2016-04-07 | ソニー株式会社 | Signal processing device, signal processing method, imaging device, electronic device, and program |
| WO2021200191A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Image processing device and method, and program |
| KR20220073824A (en) * | 2019-09-30 | 2022-06-03 | 아크소프트 코포레이션 리미티드 | Image processing method, image processing apparatus, and electronic device applying the same |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000244797A (en) * | 1999-02-23 | 2000-09-08 | Sony Corp | Device and method for processing image signal |
| JP2002084446A (en) * | 2000-09-07 | 2002-03-22 | Minolta Co Ltd | Image pickup device |
| JP2004222025A (en) * | 2003-01-16 | 2004-08-05 | Matsushita Electric Ind Co Ltd | Electronic camera |
| WO2007032156A1 (en) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | Image processing method and image processing device |
| JP2007243775A (en) * | 2006-03-10 | 2007-09-20 | Olympus Imaging Corp | Electronic blur correction apparatus |
-
2008
- 2008-02-15 JP JP2008034458A patent/JP5112104B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000244797A (en) * | 1999-02-23 | 2000-09-08 | Sony Corp | Device and method for processing image signal |
| JP2002084446A (en) * | 2000-09-07 | 2002-03-22 | Minolta Co Ltd | Image pickup device |
| JP2004222025A (en) * | 2003-01-16 | 2004-08-05 | Matsushita Electric Ind Co Ltd | Electronic camera |
| WO2007032156A1 (en) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | Image processing method and image processing device |
| JP2007243775A (en) * | 2006-03-10 | 2007-09-20 | Olympus Imaging Corp | Electronic blur correction apparatus |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8861846B2 (en) | 2010-06-17 | 2014-10-14 | Sony Corporation | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image |
| JP2012032217A (en) * | 2010-07-29 | 2012-02-16 | Hitachi-Ge Nuclear Energy Ltd | Visual inspection device and creation method of video for visual inspection |
| US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
| JP2012068733A (en) * | 2010-09-21 | 2012-04-05 | Olympus Corp | Image processing apparatus and image processing program |
| US8625929B2 (en) | 2010-09-21 | 2014-01-07 | Olympus Corporation | Image processing apparatus and storage medium |
| JP2012186593A (en) * | 2011-03-04 | 2012-09-27 | Sony Corp | Image processing system, image processing method, and program |
| US8514323B2 (en) | 2011-06-21 | 2013-08-20 | Olympus Imaging Corp. | Imaging apparatus and imaging method |
| JPWO2013099025A1 (en) * | 2011-12-28 | 2015-04-30 | ピタフォー モバイル エルエルシー | Information processing apparatus, information processing method, information processing program, and information recording medium |
| JP2013138324A (en) * | 2011-12-28 | 2013-07-11 | Xacti Corp | Imaging apparatus |
| JP5567235B2 (en) * | 2012-03-30 | 2014-08-06 | 富士フイルム株式会社 | Image processing apparatus, photographing apparatus, program, and image processing method |
| WO2013145799A1 (en) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | Image processing device, photographing device, program, and image processing method |
| CN104205804A (en) * | 2012-03-30 | 2014-12-10 | 富士胶片株式会社 | Image processing device, photographing device, program, and image processing method |
| CN104205804B (en) * | 2012-03-30 | 2016-05-25 | 富士胶片株式会社 | Image processing apparatus, filming apparatus and image processing method |
| US9235916B2 (en) | 2012-03-30 | 2016-01-12 | Fujifilm Corporation | Image processing device, imaging device, computer-readable storage medium, and image processing method |
| JP2013132082A (en) * | 2013-03-22 | 2013-07-04 | Casio Comput Co Ltd | Image synthesizer and program |
| EP2984816A1 (en) * | 2013-04-10 | 2016-02-17 | Microsoft Technology Licensing, LLC | Motion blur-free capture of low light high dynamic range images |
| US9142007B2 (en) | 2013-04-10 | 2015-09-22 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
| JP2015041824A (en) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JP2015041825A (en) * | 2013-08-20 | 2015-03-02 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
| JP2014232114A (en) * | 2014-08-20 | 2014-12-11 | 日立Ｇｅニュークリア・エナジー株式会社 | Method for creating video for visual inspection |
| WO2016052250A1 (en) * | 2014-10-03 | 2016-04-07 | ソニー株式会社 | Signal processing device, signal processing method, imaging device, electronic device, and program |
| KR20220073824A (en) * | 2019-09-30 | 2022-06-03 | 아크소프트 코포레이션 리미티드 | Image processing method, image processing apparatus, and electronic device applying the same |
| JP2022550191A (en) * | 2019-09-30 | 2022-11-30 | アークソフト コーポレイション リミテッド | IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, AND ELECTRONIC DEVICE USING IT |
| JP7412545B2 (en) | 2019-09-30 | 2024-01-12 | アークソフト コーポレイション リミテッド | Image processing method, image processing device, and electronic equipment applying the same |
| KR102649993B1 (en) * | 2019-09-30 | 2024-03-20 | 아크소프트 코포레이션 리미티드 | Image processing method, image processing device, and electronic devices applying the same |
| WO2021200191A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Image processing device and method, and program |
| US11770614B2 (en) | 2020-03-31 | 2023-09-26 | Sony Group Corporation | Image processing device and method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5112104B2 (en) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5112104B2 (en) | Image processing apparatus and image processing program | |
| US9473698B2 (en) | Imaging device and imaging method | |
| KR101229600B1 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
| EP2302903B1 (en) | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus | |
| US8018520B2 (en) | Imaging device, imaging method, display control device, display control method, and program | |
| US9807293B2 (en) | Imaging device capable of combing a plurality of image data, and control method for imaging device | |
| KR101303410B1 (en) | Image capture apparatus and image capturing method | |
| JP5764740B2 (en) | Imaging device | |
| JP2008078945A (en) | Imaging apparatus with blurring correction function, blurring correction method, and blurring correction processing program | |
| KR20080023745A (en) | Imaging device | |
| JP2010166558A (en) | Image forming apparatus | |
| JP5220657B2 (en) | Imaging apparatus and image processing program | |
| JP2009010616A (en) | Imaging device and image output control method | |
| JP2007243917A (en) | Imaging apparatus and image processing program | |
| WO2019124289A1 (en) | Device, control method, and storage medium | |
| US9282257B2 (en) | Image apparatus and imaging method | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP2009055415A (en) | Camera | |
| JP5387341B2 (en) | Imaging device | |
| JP6245847B2 (en) | Image processing apparatus and image processing method | |
| JP5482428B2 (en) | Imaging apparatus, camera shake correction method, and program | |
| JP2010119051A (en) | Imaging device and imaging method | |
| US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
| JP5721552B2 (en) | Imaging apparatus and image composition method | |
| JP5307572B2 (en) | Imaging system, video signal processing program, and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121010 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5112104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |