JP2017085407A - Image processing device, imaging apparatus, and control program - Google Patents

Image processing device, imaging apparatus, and control program Download PDF

Info

Publication number
JP2017085407A
JP2017085407A JP2015213223A JP2015213223A JP2017085407A JP 2017085407 A JP2017085407 A JP 2017085407A JP 2015213223 A JP2015213223 A JP 2015213223A JP 2015213223 A JP2015213223 A JP 2015213223A JP 2017085407 A JP2017085407 A JP 2017085407A
Authority
JP
Japan
Prior art keywords
color difference
pixel
image
correction
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015213223A
Other languages
Japanese (ja)
Other versions
JP6631161B2 (en
Inventor
司 村田
Tsukasa Murata
司 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015213223A priority Critical patent/JP6631161B2/en
Publication of JP2017085407A publication Critical patent/JP2017085407A/en
Application granted granted Critical
Publication of JP6631161B2 publication Critical patent/JP6631161B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To solve the problem that, since an on-axis chromatic aberration correction device of this type corrects signal values of remaining colors other than a reference color that is one of RGB, in such a manner that signal characteristics of the remaining colors are approximate to signal characteristics of the reference color, if the correction is not performed appropriately, a gray edge may be generated around a high-saturation region.SOLUTION: An image processing device comprises: a judgement part for calculating a variation in a color difference value from a peripheral pixel for each pixel of a color difference image and judging, based on the variation, whether each of pixels is a correction target pixel; and a correction part for correcting a color difference value of the correction target pixel that is judged by the judgement part.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置、撮像装置、制御プログラムに関する。   The present invention relates to an image processing device, an imaging device, and a control program.

信号値のピークがＧ画像よりも高いＢ画像を抑圧処理し、信号値のピークがＧ画像よりも低いＲ画像を強調処理することにより、軸上色収差を補正する軸上色収差補正装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１３−２０７６０９号公報 An axial chromatic aberration correction device that corrects axial chromatic aberration by suppressing a B image whose signal value peak is higher than that of a G image and enhancing an R image whose signal value peak is lower than that of a G image is known. ing.
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP2013-207609A

この種の軸上色収差補正装置は、ＲＧＢのいずれかである基準色の信号特性に、基準色以外の残りの色の信号特性が近づくように、当該残りの色の信号値を補正する。このため、適切に補正されなければ、高彩度の領域の周辺にグレーの縁が生じる場合がある。   This type of on-axis chromatic aberration correction apparatus corrects the signal values of the remaining colors so that the signal characteristics of the remaining colors other than the reference color approach the signal characteristics of the reference color that is one of RGB. For this reason, if not corrected appropriately, a gray edge may occur around the high saturation region.

本発明の第１の態様における画像処理装置は、色差画像の画素毎に周辺画素との色差値の変化量を算出し、それぞれの画素が補正対象画素であるかを変化量に基づいて判定する判定部と、判定部によって判定された補正対象画素の色差値を補正する補正部とを備える。   The image processing apparatus according to the first aspect of the present invention calculates a change amount of a color difference value with a surrounding pixel for each pixel of a color difference image, and determines whether each pixel is a correction target pixel based on the change amount. A determination unit; and a correction unit that corrects the color difference value of the correction target pixel determined by the determination unit.

本発明の第２の態様における画像処理装置は、色差画像の画素毎に周辺画素との色差値の変化量を算出し、それぞれの画素が補正対象画素であるかを変化量に基づいて判定する判定部と、判定部によって判定された補正対象画素の色差値を、補正対象画素の輝度値および周辺画素の輝度値に基づいて補正する補正部とを備える。   The image processing apparatus according to the second aspect of the present invention calculates a change amount of a color difference value with respect to surrounding pixels for each pixel of a color difference image, and determines whether each pixel is a correction target pixel based on the change amount. A determination unit; and a correction unit that corrects the color difference value of the correction target pixel determined by the determination unit based on the luminance value of the correction target pixel and the luminance value of surrounding pixels.

本発明の第３の態様における撮像装置は、上記の画像処理装置を備える。   An imaging device according to a third aspect of the present invention includes the above-described image processing device.

本発明の第４の態様における制御プログラムは、色差画像の画素毎に周辺画素との色差値の変化量を算出する算出ステップと、それぞれの画素が補正対象画素であるかを変化量に基づいて判定する判定ステップと、補正対象画素の色差値を補正する補正ステップとをコンピュータに実行させる。   The control program according to the fourth aspect of the present invention is based on the calculation step for calculating the change amount of the color difference value with the surrounding pixels for each pixel of the color difference image, and whether each pixel is a correction target pixel based on the change amount. A determination step for determination and a correction step for correcting the color difference value of the correction target pixel are executed by the computer.

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The summary of the invention does not enumerate all the features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

本実施形態に係るデジタルカメラの構成を説明する図である。It is a figure explaining the structure of the digital camera which concerns on this embodiment. 補正画像を生成する処理の一部を模式的に示す図である。It is a figure which shows typically a part of process which produces | generates a correction | amendment image. 補正画像を生成する処理の一部を模式的に示す図である。It is a figure which shows typically a part of process which produces | generates a correction | amendment image. 補正対象画素の新たな色差情報の生成について説明する図である。It is a figure explaining the production | generation of the new color difference information of the correction object pixel. 補正画像を生成する処理フローを示す図である。It is a figure which shows the processing flow which produces | generates a correction image.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９および駆動回路２１０を備える。図１では、説明の都合上、撮影レンズ２０を瞳近傍に配置された仮想的な１枚のレンズで代表して表している。   FIG. 1 is a diagram illustrating the configuration of a digital camera 10 according to the present embodiment. The digital camera 10 includes a photographing lens 20 as a photographing optical system, an image sensor 100, a control unit 201, an A / D conversion circuit 202, a memory 203, a driving unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display. A unit 209 and a driving circuit 210. In FIG. 1, for convenience of explanation, the photographing lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil.

撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。   The taking lens 20 guides the subject luminous flux incident along the optical axis 21 to the image sensor 100. The taking lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の画素が配列されたＣＣＤ、ＣＭＯＳ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル信号に変換する。デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換回路２０２によりデジタル信号に変換された画像データは、画像処理部２０５へ引き渡されて処理される。   The image sensor 100 is disposed near the focal plane of the photographic lens 20. The image sensor 100 is an image sensor such as a CCD or CMOS in which a plurality of pixels are two-dimensionally arranged. The image sensor 100 is controlled in timing by the drive unit 204, converts the subject image formed on the light receiving surface into an image signal, and outputs the image signal to the A / D conversion circuit 202. The A / D conversion circuit 202 converts an image signal output from the image sensor 100 into a digital signal. The subject image converted into the digital signal is sequentially processed as image data. The image data converted into a digital signal by the A / D conversion circuit 202 is delivered to the image processing unit 205 and processed.

画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施す。ここで、撮像素子１００によって撮像された撮像画像には、倍率色収差および軸上色収差により、カラーフリンジ等の色ずれが生じる場合がある。本明細書では、色収差による色ずれを色滲みと称する。そこで、詳しくは後述するが、画像処理部２０５は、メモリ２０３に記憶された画像データに色滲みを補正する補正処理を施す。詳しくは後述するが、画像処理部２０５は、色差画像の画素毎に周辺画素との色差値の変化量、すなわち差分を算出し、それぞれの画素が補正対象画素であるかを変化量に基づいて判定する判定部と、判定部によって判定された補正対象画素の色差値を補正する補正部として機能する。また、カラー画像から色差画像を生成する生成部としても機能する。   The image processing unit 205 performs various image processing using the memory 203 as a work space. Here, in the picked-up image picked up by the image pickup device 100, color misalignment such as color fringe may occur due to lateral chromatic aberration and axial chromatic aberration. In this specification, color shift due to chromatic aberration is referred to as color blur. Therefore, as will be described in detail later, the image processing unit 205 performs a correction process for correcting color blur on the image data stored in the memory 203. As will be described in detail later, the image processing unit 205 calculates, for each pixel of the color difference image, a change amount of the color difference value with the surrounding pixels, that is, a difference, and determines whether each pixel is a correction target pixel based on the change amount. The determination unit functions as a determination unit and a correction unit that corrects the color difference value of the correction target pixel determined by the determination unit. It also functions as a generation unit that generates a color difference image from a color image.

画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。   The image processing unit 205 also has general image processing functions such as adjusting image data in accordance with the selected image format. The generated image data is converted into a display signal by the drive circuit 210 and displayed on the display unit 209. The data is recorded on the memory card 220 attached to the memory card IF 207.

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部２０１に制御されて実行される。   A series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the control unit 201. Various operations such as AF and AE accompanying the imaging sequence are executed under the control of the control unit 201.

図２および図３は、入力画像３００を基に補正画像３８０を生成するまでの処理を模式的に示す図である。図２および図３に係る処理は、特に断わらない限り、画像処理部２０５が主体として動作することで実行される。   2 and 3 are diagrams schematically showing processing until the corrected image 380 is generated based on the input image 300. FIG. The processes according to FIGS. 2 and 3 are executed by the image processing unit 205 operating as a main component unless otherwise specified.

入力画像３００は、例えば撮像素子１００によって撮像されメモリ２０３に記憶された撮像画像データを像として表したものであり、色滲みを補正する補正処理の対象となる画像である。入力画像３００は、ＲＧＢ信号により表現されるカラー画像である。入力画像３００は、上述した種々の色滲み３０２を含む。   The input image 300 represents captured image data captured by the image sensor 100 and stored in the memory 203 as an image, for example, and is an image to be subjected to correction processing for correcting color blur. The input image 300 is a color image expressed by RGB signals. The input image 300 includes the various color blurs 302 described above.

画像処理部２０５は、撮像画像データに対して色変換処理３１０を施すことにより、輝度画像データおよび色差画像データを生成しメモリ２０３に格納する。輝度画像データは、撮像画像データの輝度情報である輝度値、すなわち輝度成分により構成される。色差画像データは、撮像画像データの色差情報である色差値、すなわち色差成分から構成される。本実施形態においては、輝度情報により表現される画像データを像として表したものを輝度画像３２０、色差情報により表現される画像データを像として表したものを色差画像３２２と呼ぶ。また、本実施形態においては、画像処理部２０５は、色変換処理３１０によりＲＧＢ方式をＹＣｒＣｂ方式に変換する。したがって、色差画像データとしてＣｒ色差画像データとＣｂ色差画像データとが生成される。Ｃｒ色差画像データを像として表したものをＣｒ色差画像３２４、Ｃｂ色差画像データを像として表したものをＣｂ色差画像３２６と呼ぶ。画像処理部２０５は、Ｃｒ色差画像データおよびＣｂ色差画像データのそれぞれに対して後述する各処理を順次施す。なお、Ｃｒ色差画像データに対する各処理とＣｂ色差画像データに対する各処理とは同一であるので、本実施形態では、Ｃｒ色差画像データに対する各処理のみを説明する。なお、画像処理部２０５は、必ずしも輝度値を画像データの態様として生成しなくてもよい。画像処理部２０５は、カラー画像のそれぞれの画素の輝度値を生成すればよい。   The image processing unit 205 performs color conversion processing 310 on the captured image data, thereby generating luminance image data and color difference image data and storing them in the memory 203. The luminance image data is composed of luminance values that are luminance information of the captured image data, ie, luminance components. The color difference image data is composed of color difference values that are color difference information of the captured image data, that is, color difference components. In the present embodiment, the image data represented by the luminance information as an image is called a luminance image 320, and the image data represented by the color difference information as an image is called a color difference image 322. In the present embodiment, the image processing unit 205 converts the RGB system to the YCrCb system by the color conversion process 310. Therefore, Cr color difference image data and Cb color difference image data are generated as color difference image data. An image representing the Cr color difference image data as an image is referred to as a Cr color difference image 324, and an image representing the Cb color difference image data as an image is referred to as a Cb color difference image 326. The image processing unit 205 sequentially performs each process described later on each of the Cr color difference image data and the Cb color difference image data. In addition, since each process with respect to Cr color difference image data and each process with respect to Cb color difference image data are the same, only this process with respect to Cr color difference image data is demonstrated in this embodiment. Note that the image processing unit 205 does not necessarily generate a luminance value as an aspect of image data. The image processing unit 205 may generate the luminance value of each pixel of the color image.

画像処理部２０５は、Ｃｒ色差画像の画素毎に、当該画素の色差値と周辺画素の色差値との変化量を算出する。この変化量は、Ｃｒ色差画像の各画素における色差値と周辺画素の色差値とのエッジ量、すなわち色差エッジ量として捉えることができる。つまり、画像処理部２０５は、Ｃｒ色差画像の画素毎に色差エッジ量を算出するということもできる。   For each pixel of the Cr color difference image, the image processing unit 205 calculates a change amount between the color difference value of the pixel and the color difference values of the peripheral pixels. This change amount can be grasped as an edge amount between the color difference value of each pixel of the Cr color difference image and the color difference value of the peripheral pixels, that is, the color difference edge amount. That is, the image processing unit 205 can also calculate the color difference edge amount for each pixel of the Cr color difference image.

本実施形態においては、画像処理部２０５は、Ｃｒ色差画像データに対して色差エッジ抽出処理３３０を施すことにより、Ｃｒ色差エッジ画像データを生成しメモリ２０３に格納する。Ｃｒ色差エッジ画像データは、Ｃｒ色差画像データから色差エッジが抽出された画像データである。なお、既に説明した輝度値と同様に、画像処理部２０５は、必ずしも変化量である色差エッジ量を画像データの態様として生成しなくてもよい。Ｃｒ色差エッジ画像データを像として表したものをＣｒ色差エッジ画像３４０と呼ぶ。一例として、フィルタ半径σｅｄｇｅをσｅｄｇｅ＝３．０とした場合のガウス関数により生成されるぼかしフィルタをエッジ抽出フィルタとして用いて色差エッジを抽出する。σｅｄｇｅの値を調整することにより、抽出される周波数成分を調整することができる。具体的には、フィルタ半径σｅｄｇｅの値を大きくするほど、より低周波の色差エッジを抽出することができる。逆に、フィルタ半径σｅｄｇｅの値を小さくするほど、より高周波の色差エッジを抽出する、すなわち、色差の変化量が特に急峻な箇所のみ抽出することができる。なお、色差エッジの抽出方法は、本例に限られない。また、色差エッジを抽出するフィルタのサイズも本例に限られない。 In the present embodiment, the image processing unit 205 performs color difference edge extraction processing 330 on the Cr color difference image data, thereby generating Cr color difference edge image data and storing it in the memory 203. The Cr color difference edge image data is image data obtained by extracting a color difference edge from the Cr color difference image data. Note that, similar to the luminance values already described, the image processing unit 205 does not necessarily generate a color difference edge amount that is a change amount as an aspect of image data. A representation of the Cr color difference edge image data as an image is referred to as a Cr color difference edge image 340. As an example, a color difference edge is extracted using a blur filter generated by a Gaussian function when the filter radius σ edge is σ edge = 3.0 as an edge extraction filter. By adjusting the value of σ edge , the extracted frequency component can be adjusted. Specifically, the color difference edge at a lower frequency can be extracted as the value of the filter radius σ edge is increased. Conversely, the smaller the value of the filter radius σ edge , the higher the color difference edge can be extracted, that is, only the portion where the change amount of the color difference is particularly steep can be extracted. Note that the color difference edge extraction method is not limited to this example. Further, the size of the filter for extracting the color difference edge is not limited to this example.

画像処理部２０５は、Ｃｒ色差エッジ画像データに対して色差補正マスク生成処理３５０を施すことにより、色差補正マスクを生成しメモリ２０３に格納する。色差補正マスクは、Ｃｒ色差エッジ画像３４０の各画素に対して補正対象画素であるかを示す値を有するデータ列である。色差補正マスクを像として表したものをマスク画像３６０と呼ぶ。画像処理部２０５は、Ｃｒ色差エッジ画像３４０の各画素における色差エッジ量の度数分布により、補正対象画素であるかの判定に用いる閾値を算出する。本実施形態においては、画像処理部２０５は、度数分布として色差エッジ量の分布を示すヒストグラムを作成する。具体的には、本実施形態の色差補正マスク生成処理では、各色差エッジ量に対して画像全体で同一の色差エッジ量を持つ画素数を算出することによりヒストグラムを生成する。そして、Ｃｒ色差エッジ画像３４０の各画素における色差エッジ量のヒストグラムを統計処理して、各画素が補正対象画素であるかを判定する。そこで、まず、Ｃｒ色差エッジ画像３４０の各画素が補正対象画素であるかを判定するための閾値を算出する。より詳細には、各画素における色差エッジ量のヒストグラムに対する標準偏差σｔｈｒを算出し、標準偏差σｔｈｒを用いて閾値を算出する。色差エッジ量のヒストグラムは、入力画像によって、その強度分布が異なる。したがって、閾値を算出するに当たり標準偏差σｔｈｒを用いることで、入力画像に依存した閾値を適応的に得ることができる。一例として、閾値を２．５σｔｈｒとする。そして、Ｃｒ色差エッジ画像３４０の各画素の色差エッジ量の絶対値を閾値と比較する。色差エッジ量の絶対値が２．５σｔｈｒよりも大きい場合には、補正対象画素であると判定し、色差エッジ量の絶対値が２．５σｔｈｒ以下である場合には、補正対象画素でないと判定する。補正対象画素であると判定された画素を１とし、補正対象画素ではないと判定された画素を０として表せば、色差補正マスクは、各画素に対応して０または１を有するデータ列となる。本実施形態において、補正対象画素ではないと判定された画素を信頼画素と記す場合がある。色差補正マスクは、色差画像における補正部分を示し、Ｃｒ色差画像３２４の各画素の色差情報が信頼できるかを示す信頼情報である。 The image processing unit 205 generates a color difference correction mask by performing color difference correction mask generation processing 350 on the Cr color difference edge image data, and stores the color difference correction mask in the memory 203. The color difference correction mask is a data string having a value indicating whether each pixel of the Cr color difference edge image 340 is a correction target pixel. A representation of the color difference correction mask as an image is referred to as a mask image 360. The image processing unit 205 calculates a threshold used to determine whether the pixel is a correction target pixel based on the frequency distribution of the color difference edge amount in each pixel of the Cr color difference edge image 340. In the present embodiment, the image processing unit 205 creates a histogram indicating the distribution of color difference edge amounts as a frequency distribution. Specifically, in the color difference correction mask generation processing of the present embodiment, a histogram is generated by calculating the number of pixels having the same color difference edge amount in the entire image for each color difference edge amount. Then, the histogram of the color difference edge amount in each pixel of the Cr color difference edge image 340 is statistically processed to determine whether each pixel is a correction target pixel. Therefore, first, a threshold value for determining whether each pixel of the Cr color difference edge image 340 is a correction target pixel is calculated. More specifically, the standard deviation σ thr with respect to the histogram of the color difference edge amount in each pixel is calculated, and the threshold is calculated using the standard deviation σ thr . The intensity distribution of the color difference edge amount histogram varies depending on the input image. Therefore, by using the standard deviation σ thr in calculating the threshold value, a threshold value depending on the input image can be obtained adaptively. As an example, the threshold value is 2.5σ thr . Then, the absolute value of the color difference edge amount of each pixel of the Cr color difference edge image 340 is compared with a threshold value. When the absolute value of the chrominance edge amount is larger than 2.5σ thr , the pixel is determined to be a correction target pixel. When the absolute value of the chrominance edge amount is 2.5σ thr or less, the pixel is not a correction target pixel. judge. If a pixel determined to be a correction target pixel is 1 and a pixel determined not to be a correction target pixel is expressed as 0, the color difference correction mask becomes a data string having 0 or 1 corresponding to each pixel. . In the present embodiment, a pixel determined not to be a correction target pixel may be referred to as a reliable pixel. The color difference correction mask indicates a correction portion in the color difference image, and is reliability information indicating whether the color difference information of each pixel of the Cr color difference image 324 is reliable.

なお、閾値の大きさは、本例に限られない。閾値を２．５σｔｈｒよりも小さい値に設定してもよい。この場合には、補正対象画素をより多く抽出することができる。逆に、閾値を２．５σｔｈｒよりも大きい値に設定してもよい。この場合には、補正対象画素をより少なく抽出する、すなわち、特に目立つ色滲みのみを抽出することができる。 In addition, the magnitude | size of a threshold value is not restricted to this example. The threshold value may be set to a value smaller than 2.5σ thr . In this case, more correction target pixels can be extracted. Conversely, the threshold value may be set to a value larger than 2.5σ thr . In this case, it is possible to extract fewer correction target pixels, that is, to extract only a particularly noticeable color blur.

一般に、色滲みは、色差成分が急激に変化する場所で生じる。そこで、本実施形態においては、画像処理部２０５は、Ｃｒ色差画像データから色差エッジを抽出している。したがって、入力画像３００の花びらが例えば紫色である場合において、色差エッジを抽出するときには、花びらの縁部分のみを抽出することになる。花びらの中央部分は、紫色が連続する部分であるので、当該中央部分を抽出しない。すなわち、画像処理部２０５は、花びらの中央部分は色滲みではないと判定する。以上のように、画像処理部２０５は、花びらの縁部分のみ、すなわち、色が急激に変化する部分のみを抽出することができる。色差エッジを用いて補正対象画素であるかを判定することにより、色滲みではない、本来色の鮮やかな領域を補正対象から除外することができる。   In general, color blur occurs at a place where the color difference component changes rapidly. Therefore, in this embodiment, the image processing unit 205 extracts color difference edges from the Cr color difference image data. Therefore, when the petals of the input image 300 are purple, for example, when extracting the color difference edge, only the edge portion of the petals is extracted. Since the central part of the petals is a part where purple is continuous, the central part is not extracted. That is, the image processing unit 205 determines that the central part of the petals is not a color blur. As described above, the image processing unit 205 can extract only the edge portion of the petal, that is, only the portion where the color changes abruptly. By determining whether the pixel is a correction target pixel using the color difference edge, it is possible to exclude from the correction target a region with originally bright colors that is not a color blur.

なお、図３においては、マスク画像３６０が色滲み３０２部分に加えて、エッジ部分３６２も含む場合を示している。後述するように、補正対象画素であると判定された画素の色差情報は、当該画素の周辺の補正対象画素ではないと判定された画素の色差情報を用いて生成される。したがって、仮に補正対象画素であると誤って判定された画素が存在したとしても、当該画素の色差情報を周辺の補正対象画素ではないと判定された画素の色差情報を用いて再現することができる。よって、この段階においては、少なくとも色滲み３０２部分を抽出できればよい。   FIG. 3 shows a case where the mask image 360 includes an edge portion 362 in addition to the color blur 302 portion. As will be described later, the color difference information of a pixel determined to be a correction target pixel is generated using the color difference information of a pixel determined not to be a correction target pixel around the pixel. Therefore, even if there is a pixel erroneously determined to be the correction target pixel, the color difference information of the pixel can be reproduced using the color difference information of the pixel determined not to be the surrounding correction target pixel. . Therefore, at this stage, it is only necessary to extract at least the color blur 302 portion.

本実施形態においては、色差エッジ量のヒストグラムに対する標準偏差σｔｈｒを算出し、当該標準偏差σｔｈｒを用いて閾値を算出しているので、色差エッジ量の頻度分布が急峻であったとしても、一定数の画素を補正対象画素として抽出することができる。色差エッジ量の分布形状によらず、適切に補正対象画素を抽出することができる。 In the present embodiment, the standard deviation σ thr for the histogram of the color difference edge amount is calculated, and the threshold is calculated using the standard deviation σ thr , so even if the frequency distribution of the color difference edge amount is steep, A certain number of pixels can be extracted as correction target pixels. The correction target pixel can be appropriately extracted regardless of the distribution shape of the color difference edge amount.

画像処理部２０５は、撮像画像データに対して補正処理３７０を施すことにより、補正画像データを生成しメモリ２０３に格納する。補正画像データを像として表したものを補正画像３８０と呼ぶ。補正処理３７０では、色差補正マスクを用いて補正対象画素を特定し、特定した補正対象画素の色差情報を補正する。具体的には、補正対象画素の周辺の信頼画素の色差情報を用いて新たに色差情報を生成し、当該補正対象画素の色差情報を新たに生成した色差情報に置き換える。補正対象画素の新たな色差情報の生成についての詳細は後述する。以上のように、撮像画像データに対して補正処理３７０を施すことにより、色滲みが補正された画像を得ることができる。   The image processing unit 205 performs correction processing 370 on the captured image data, thereby generating corrected image data and storing it in the memory 203. A representation of the corrected image data as an image is referred to as a corrected image 380. In the correction process 370, the correction target pixel is specified using the color difference correction mask, and the color difference information of the specified correction target pixel is corrected. Specifically, color difference information is newly generated using the color difference information of the reliable pixels around the correction target pixel, and the color difference information of the correction target pixel is replaced with the newly generated color difference information. Details of generation of new color difference information of the correction target pixel will be described later. As described above, by performing the correction process 370 on the captured image data, an image in which color blur is corrected can be obtained.

図４は、補正対象画素の新たな色差情報の生成について説明する図である。具体的には、マスク画像３６０とその一部３６４の拡大図を示す。   FIG. 4 is a diagram for explaining generation of new color difference information of the correction target pixel. Specifically, an enlarged view of the mask image 360 and a part 364 thereof is shown.

画像処理部２０５は、色差補正マスクを生成した後、この色差補正マスクを用いて補正対象画素の色差情報を予測し生成する。ここで、本実施形態においては、近傍の２つの画素の輝度情報が互いに類似している場合には、２つの画素の色差情報も互いに類似していることを前提とする。この前提に従って、画像処理部２０５は、輝度情報を用いて色差情報を予測し生成する。具体的には、まず、補正対象画素から処理対象画素ｘ０を選択する。そして、処理対象画素ｘ０の色差情報を、処理対象画素ｘ０の近傍に位置する信頼画素の色差情報から予測し生成する。そこで、処理対象画素ｘ０を中心に、予め定められたサイズのウィンドウ３６６を設定する。ウィンドウ３６６内に含まれる画素のうちの参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ０の輝度値Ｙ（ｘ０）との差分Ｙ（ｘ）−Ｙ（ｘ０）の絶対値｜Ｙ（ｘ）−Ｙ（ｘ０）｜を類似度として算出する。参照画素は、ウィンドウ３６６内に含まれる画素のうちの信頼画素である。例えば、ウィンドウ３６６内に含まれる画素数が１００個であり、そのうちの８０個の画素が信頼画素であれば、８０個の信頼画素のそれぞれについて、類似度を算出する。 After generating the color difference correction mask, the image processing unit 205 predicts and generates color difference information of the correction target pixel using the color difference correction mask. Here, in the present embodiment, when the luminance information of two neighboring pixels is similar to each other, it is assumed that the color difference information of the two pixels is also similar to each other. In accordance with this premise, the image processing unit 205 predicts and generates color difference information using luminance information. Specifically, first, selecting a target pixel x 0 from pixel to be corrected. Then, the color difference information of the target pixel x 0, predicted to produce from the color difference information of the trusted pixels located in the vicinity of the processing pixel x 0. Therefore, centering on the target pixel x 0, sets the window 366 of a predetermined size. The absolute value of the difference Y (x) −Y (x 0 ) between the luminance value Y (x) of the reference pixel x among the pixels included in the window 366 and the luminance value Y (x 0 ) of the processing target pixel x 0 The value | Y (x) −Y (x 0 ) | is calculated as the similarity. The reference pixel is a reliable pixel among the pixels included in the window 366. For example, if the number of pixels included in the window 366 is 100, and 80 of those pixels are reliable pixels, the similarity is calculated for each of the 80 reliable pixels.

Figure 2017085407
Figure 2017085407

Figure 2017085407
Figure 2017085407

以上のように、処理対象画素ｘ０の輝度値Ｙ（ｘ０）との差分が小さい輝度値Ｙ（ｘ）を有する参照画素ｘほど、重みを大きく設定する。これにより、処理対象画素ｘ０の輝度値Ｙ（ｘ０）との差分が小さい参照画素ｘの色差情報をより重視して、処理対象画素ｘ０の色差情報を予測することができる。 As described above, the weight is set to be larger for the reference pixel x having the luminance value Y (x) having a smaller difference from the luminance value Y (x 0 ) of the processing target pixel x 0 . This allows the difference between the luminance value Y of the target pixel x 0 (x 0) is referenced by more emphasis on the chrominance information of a pixel x small, predicts the color difference information of the target pixel x 0.

画像処理部２０５は、算出した重みを用いて、処理対象画素ｘ０の色差情報を予測し生成する。本実施形態においては、以下の（数２）により色差情報を予測し生成する。ここで、Ｕ（ｘ）は参照画素の色差成分を表し、Ｚは処理対象画素ｘ０の色差成分を予測する予測モデルであり、近似式を表す。目的関数Ｊを最小化することにより、処理対象画素ｘ０の色差成分を予測する。

Figure 2017085407
The image processing unit 205, by using the calculated weight, and predicts the color difference information of the target pixel x 0 generates. In the present embodiment, the color difference information is predicted and generated by the following (Equation 2). Here, U (x) represents the color difference component of the reference pixels, Z is predictive model that predicts the color difference component of the target pixel x 0, representing an approximate expression. By minimizing the objective function J, predicts the color difference component of the target pixel x 0.
Figure 2017085407

色差成分が局所的には空間的に連続であると仮定すると、（数３）により色差成分を算出することができる。（数３）に示す色差予測モデルは、処理対象画素ｘ０の近傍における色差成分を面でフィッティングするモデルである。

Figure 2017085407
以上のように、重みＷと、予測モデルＺとが決まると、予め決められたウィンドウ内で（数２）の目的関数Ｊが最小になるように、（数３）の係数ａｉ，ｊを決定することにより、処理対象画素ｘ０の色差成分を予測することができる。具体的には、（数２）を係数ａｉ，ｊで偏微分し、導出される値が０になる係数ａｉ，ｊを決定する。 Assuming that the color difference component is locally spatially continuous, the color difference component can be calculated by (Equation 3). Color difference prediction model shown in equation (3) is a model for fitting the color difference components in the vicinity of the target pixel x 0 in terms.
Figure 2017085407
As described above, when the weight W and the prediction model Z are determined, the coefficients a i, j of (Equation 3) are set so that the objective function J of (Equation 2) is minimized within a predetermined window. by determining, it is possible to predict the color difference component of the target pixel x 0. Specifically, equation (2) is partially differentiated by the coefficient a i, j the coefficients a i, which value derived is 0, determines a j.

なお、（数３）は、最低次の近似においては、Ｚ（ｘ）=ａ０、すなわち、ウィンドウ内で色差を平面フィッティングにより予測するモデルとなり、以下の（数４）により表すことができる。

Figure 2017085407
（数４）は、処理対象画素ｘ０の色差成分を、処理対象画素ｘ０の近傍の参照画素ｘの色差成分Ｕ（ｘ）に、輝度の類似度に依存する重みを用いた非線形フィルタリングにより算出できることを示している。 (Equation 3) is Z (x) = a 0 in the lowest-order approximation, that is, a model for predicting a color difference by plane fitting in a window, and can be expressed by the following (Equation 4).
Figure 2017085407
(Number 4), the color difference component of the target pixel x 0, the color difference components U of the reference pixels x in the vicinity of the processing pixel x 0 (x), by a non-linear filtering using a weighting which depends on the similarity of the brightness It shows that it can be calculated.

図５は、デジタルカメラ１０において補正画像を生成する処理フローを示す。本フローは、撮像画像データがメモリ２０３に記憶された場合に開始される。本フロー図においては、特に断わらない限り、画像処理部２０５が主体となって動作する。   FIG. 5 shows a processing flow for generating a corrected image in the digital camera 10. This flow is started when captured image data is stored in the memory 203. In this flowchart, the image processing unit 205 operates mainly unless otherwise specified.

ステップＳ１０１で、撮像画像データから、輝度画像データおよび色差画像データを生成する。本処理は、図２に関連して説明した色変換処理３１０に該当する。   In step S101, luminance image data and color difference image data are generated from the captured image data. This process corresponds to the color conversion process 310 described with reference to FIG.

ステップＳ１０２で、色差画像データから、色差エッジ画像データを生成する。本処理は、図２に関連して説明した色差エッジ抽出処理３３０に該当する。   In step S102, color difference edge image data is generated from the color difference image data. This process corresponds to the color difference edge extraction process 330 described with reference to FIG.

ステップＳ１０３で、色差補正マスクの生成に用いる閾値を算出する。例えば、図３に関連して説明したように、各画素における色差エッジ量のヒストグラムに対する標準偏差σｔｈｒを算出し、標準偏差σｔｈｒを用いて閾値を算出する。 In step S103, a threshold value used for generating a color difference correction mask is calculated. For example, as described with reference to FIG. 3, the standard deviation σ thr with respect to the histogram of the color difference edge amount in each pixel is calculated, and the threshold is calculated using the standard deviation σ thr .

ステップＳ１０４で、色差補正マスクを生成する。本処理は、図３に関連して説明した色差補正マスク生成処理３５０に該当する。図３に関連して説明したように、色差エッジ量が閾値により示される範囲外である場合には、補正対象画素であると判定し、範囲内である場合には、補正対象画素でないと判定する。そして、例えば、補正対象画素であると判定された画素を１とし、補正対象画素ではないと判定された画素を０として表した色差補正マスクを生成する。   In step S104, a color difference correction mask is generated. This processing corresponds to the color difference correction mask generation processing 350 described with reference to FIG. As described with reference to FIG. 3, when the color difference edge amount is outside the range indicated by the threshold value, it is determined that the pixel is the correction target pixel, and when it is within the range, the pixel is determined not to be the correction target pixel. To do. Then, for example, a color difference correction mask is generated in which the pixel determined to be the correction target pixel is set to 1, and the pixel determined to be not the correction target pixel is set to 0.

ステップＳ１０５で、処理対象画素ｘ０の輝度値と参照画素ｘの輝度値との類似度を算出する。図３に関連して説明したように、処理対象画素ｘ０毎に全ての参照画素の輝度値との類似度を算出する。 In step S105, the similarity is calculated between the luminance value of the luminance value and the reference pixel x of the target pixel x 0. As described in relation to FIG. 3, the similarity is calculated between the luminance values of all the reference pixels for each target pixel x 0.

ステップＳ１０６で、重みの算出に用いる閾値を算出する。図３に関連して説明したように、例えば輝度画像３２０の全体における分散値の平均値を算出する。   In step S106, a threshold used for calculating the weight is calculated. As described with reference to FIG. 3, for example, an average value of variance values in the entire luminance image 320 is calculated.

ステップＳ１０７で、参照画素ｘに対する重みを算出する。図３に関連して説明したように、例えば（数１）により算出する。   In step S107, a weight for the reference pixel x is calculated. As described in relation to FIG. 3, for example, the calculation is performed by (Equation 1).

ステップＳ１０８で、処理対象画素ｘ０の色差成分を予測する。図３に関連して説明したように、例えば（数２）、（数３）により予測する。 In step S108, predicting the color difference component of the target pixel x 0. As described with reference to FIG. 3, the prediction is made by, for example, (Equation 2) and (Equation 3).

ステップＳ１０９で、補正画像３８０を生成する。図３に関連して説明したように、補正対象画素の色差成分を、ステップＳ１０８で得られた新たな色差成分に置き換える。補正対象画素の色差成分を対応する新たな色差成分に置き換えることにより、補正画像３８０を生成する。   In step S109, a corrected image 380 is generated. As described in relation to FIG. 3, the color difference component of the correction target pixel is replaced with the new color difference component obtained in step S108. A corrected image 380 is generated by replacing the color difference component of the correction target pixel with a corresponding new color difference component.

ステップＳ１１０で、他の入力画像３００を補正するかを判断する。他の入力画像３００を補正する場合には、ステップＳ１０１に移行する。そして、補正画像３８０が生成されるまで、ステップＳ１０１からステップＳ１０９の処理を続ける。他の入力画像３００を補正しない場合には、一連の処理を終了する。   In step S110, it is determined whether to correct another input image 300. When correcting another input image 300, the process proceeds to step S101. Then, the processing from step S101 to step S109 is continued until the corrected image 380 is generated. When the other input image 300 is not corrected, a series of processing ends.

一般に、撮像画像が倍率色収差、軸上色収差、カラーフリンジ等の種々の色滲みを含む場合には、それぞれの色滲みの補正方法が異なるので、それぞれの色滲みは個別に補正されていた。すなわち、倍率色収差が補正されても、軸上色収差は補正されず、軸上色収差が補正されても、カラーフリンジは補正されなかった。   In general, when a captured image includes various color blurs such as lateral chromatic aberration, axial chromatic aberration, and color fringe, each color blur correction method is different, and thus each color blur is corrected individually. That is, even if the lateral chromatic aberration is corrected, the axial chromatic aberration is not corrected, and even if the axial chromatic aberration is corrected, the color fringe is not corrected.

本実施形態においては、色差エッジのエッジ量に基づいて、色差エッジ画像データのそれぞれの画素が補正対象画素であるかを判定し、補正対象画素であると判定された画素の色差情報を補正する。したがって、上述した種々の色滲みを一度に補正することができる。換言すると、色滲みが発生する原因によらず１つのアルゴリズムにより補正することができる。よって、電力消費および処理負荷を抑制することができ、高速に処理することができる。   In this embodiment, based on the edge amount of the color difference edge, it is determined whether each pixel of the color difference edge image data is the correction target pixel, and the color difference information of the pixel determined to be the correction target pixel is corrected. . Therefore, the above-described various color blurs can be corrected at a time. In other words, it can be corrected by one algorithm regardless of the cause of color blur. Therefore, power consumption and processing load can be suppressed, and processing can be performed at high speed.

一般に、軸上色収差を補正する場合には、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を調整していた。この場合には、デジタルカメラが交換レンズ型であれば、カメラボディは交換レンズからＰＳＦに関するレンズ情報を取得する必要がある。ＰＳＦに関するレンズ情報を取得できなければ、軸上色収差を補正することはできなかった。   Generally, when correcting axial chromatic aberration, PSF (Point Spread Function) is adjusted. In this case, if the digital camera is an interchangeable lens type, the camera body needs to acquire lens information related to PSF from the interchangeable lens. If lens information about PSF could not be acquired, axial chromatic aberration could not be corrected.

本実施形態においては、ＰＳＦを調整するのではなく、補正対象画素の色差成分を、新たな色差成分に置き換えることにより補正するので、ＰＳＦに関するレンズ情報を取得しなくてもよい。ＰＳＦに関するレンズ情報が必要ないので、装着される交換レンズによらず、色滲みを補正することができる。   In the present embodiment, the PSF is not adjusted, but the correction is performed by replacing the color difference component of the correction target pixel with a new color difference component, so that it is not necessary to acquire lens information regarding the PSF. Since lens information regarding PSF is not necessary, color blur can be corrected regardless of the interchangeable lens to be mounted.

一般に、倍率色収差は、Ｇ面に対してＲ面およびＢ面の倍率が異なる事で生じる。その為、倍率色収差を補正する場合には、Ｒ面およびＢ面のそれぞれの倍率を像高毎に変えることにより補正していた。また、軸上色収差を補正する場合には、ＲＧＢのいずれかである基準色の信号特性に、基準色以外の残りの色の信号特性が近づくように、当該残りの色の信号値を補正していた。以上のように、輝度画像データに対して直接補正処理を施していた。   In general, lateral chromatic aberration is caused by the fact that the magnifications of the R plane and the B plane differ from the G plane. Therefore, when correcting the lateral chromatic aberration, the correction is performed by changing the magnification of each of the R and B surfaces for each image height. In addition, when correcting axial chromatic aberration, the signal values of the remaining colors are corrected so that the signal characteristics of the remaining colors other than the reference color approach the signal characteristics of the reference color, which is one of RGB. It was. As described above, the correction processing is directly performed on the luminance image data.

本実施形態においては、画像処理部２０５は、入力画像３００の色滲みを補正するにあたり、輝度画像データに対して処理を施すことなく、色差画像データのみに対して処理を施す。輝度画像データに対して処理を施さないので、輝度の高周波成分が失われたり、高彩度の領域の周辺にグレーの縁が生じたりしない。本実施形態においては、色滲みを補正しつつも、輝度画像データに対して処理を施さないので、解像度を維持することができる。さらに、補正対象画素の色差成分を、当該補正対象画素の周辺の参照画素の色差情報と、高解像の輝度情報とを用いて生成するので、超解像効果も期待できる。また、画像処理部２０５は、処理対象画素ｘ０を中心に設定したウィンドウ３６６内のフィルタリング処理として新たな色差情報を生成する。したがって、画像全体に対して処理を施す場合に比べて、処理を高速化できる。 In the present embodiment, the image processing unit 205 performs processing only on the color difference image data without processing the luminance image data when correcting the color blur of the input image 300. Since no processing is performed on the luminance image data, high frequency components of luminance are not lost, and no gray edge is generated around the high saturation region. In this embodiment, while correcting the color blur, the luminance image data is not processed, so that the resolution can be maintained. Furthermore, since the color difference component of the correction target pixel is generated using the color difference information of the reference pixels around the correction target pixel and the high resolution luminance information, a super-resolution effect can be expected. The image processing unit 205 generates a new color difference information as the filtering process in the window 366 is set around the target pixel x 0. Therefore, the processing can be speeded up as compared with the case where the entire image is processed.

以上の説明では、参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ０の輝度値Ｙ（ｘ０）との差分の絶対値を類似度として用いたが、類似度は本例に限られない。参照画素ｘの周囲の画素の輝度値と、処理対象画素ｘ０の周囲の画素の輝度値とを用いて類似度を算出してもよい。一例として、参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ０の輝度値Ｙ（ｘ０）との差分と、参照画素ｘの周囲の各画素の輝度値と、処理対象画素ｘ０の周囲の各画素の輝度値との差分の和とを加算して類似度を算出してもよい。また、各画素において主成分を分析等して、平均の輝度勾配の大きさおよび角度を算出し、算出した平均の輝度勾配の大きさおよび角度を用いて類似度を算出してもよい。 In the above description, the luminance value Y of the reference pixel x (x), but the absolute value of the difference between the luminance value Y of the target pixel x 0 (x 0) was used as the similarity, the similarity in the present example Not limited. And luminance values of pixels around the reference pixel x, a luminance value of pixels around the target pixel x 0 may be calculated similarity with. As an example, the difference between the luminance value Y (x) of the reference pixel x and the luminance value Y (x 0 ) of the processing target pixel x 0 , the luminance value of each pixel around the reference pixel x, and the processing target pixel x The similarity may be calculated by adding the sum of the differences from the luminance values of the pixels around 0 . Alternatively, the principal component may be analyzed in each pixel to calculate the average luminance gradient magnitude and angle, and the similarity may be calculated using the calculated average luminance gradient magnitude and angle.

以上の説明では、参照画素ｘに対する重みを（数１）により算出したが、ガウシアンを一般化した以下の（数５）により算出してもよい。ここで、Λ（ｎ）は、次数ｎに依存する係数であり、次数ｎにより決定される係数値である。

Figure 2017085407
In the above description, the weight for the reference pixel x is calculated by (Equation 1), but may be calculated by the following (Equation 5) that generalizes Gaussian. Here, Λ (n) is a coefficient depending on the order n, and is a coefficient value determined by the order n.
Figure 2017085407

Figure 2017085407
Figure 2017085407

ところで、既に説明したように、入力画像３００に対して補正処理３７０を施すことにより補正画像３８０を得たとしても、補正画像３８０が入力画像３００ほどではないものの、若干の色滲みを含む場合がある。これは、シーンにおいて、暗い場所から得られる色差情報と、明るい場所から得られる色差情報とで、輝度差に応じた同一の重要度で重みに用いているからである。一般に、画素が飽和状態に近づくにつれて、ＲＧＢ成分が上限値に近づくので、飽和状態に近い画素の色差成分は、飽和状態から遠い画素の色差成分よりも小さい。一方で、補正処理を施すに当たっては、参照画素の色差成分が小さいほど、補正画像における色滲みは小さくなる。そこで、参照画素の輝度情報に応じて、当該参照画素に対する重みを調整してもよい。具体的には、以下の（数６）により、重みを調整することができる。ここで、ｍは、重みを調整するためのパラメータであり、ｍを大きく設定するほど、参照画素の輝度情報をより重みに反映させることができる。例えば、ｍ＝５にするとよい。

Figure 2017085407
By the way, as described above, even if the corrected image 380 is obtained by performing the correction process 370 on the input image 300, the corrected image 380 may not be as large as the input image 300, but may include some color blur. is there. This is because in the scene, the color difference information obtained from a dark place and the color difference information obtained from a bright place are used for weighting with the same importance according to the luminance difference. In general, as the pixel approaches the saturation state, the RGB component approaches the upper limit value, so the color difference component of the pixel close to the saturation state is smaller than the color difference component of the pixel far from the saturation state. On the other hand, when performing the correction process, the smaller the color difference component of the reference pixel, the smaller the color blur in the corrected image. Therefore, the weight for the reference pixel may be adjusted according to the luminance information of the reference pixel. Specifically, the weight can be adjusted by the following (Equation 6). Here, m is a parameter for adjusting the weight, and as m is set larger, the luminance information of the reference pixel can be reflected in the weight. For example, m = 5 is preferable.
Figure 2017085407

これにより、輝度値Ｙ（ｘ）が小さくなるほど、すなわち輝度が暗くなるほど、重みは小さくなる。輝度値Ｙ（ｘ）が大きくなるほど、すなわち、輝度が明るくなるほど、重みは大きくなる。なお、ユーザによりｍが調整されてもよい。   Thereby, the weight becomes smaller as the luminance value Y (x) becomes smaller, that is, as the luminance becomes darker. As the luminance value Y (x) increases, that is, as the luminance increases, the weight increases. Note that m may be adjusted by the user.

以上の説明では、色差成分が局所的には空間的に連続であると仮定し、（数３）により色差成分を算出したが、色差成分の算出は本例に限られない。色差と輝度との相関が強く、局所的には色差成分が輝度の関数で展開できると仮定すると、以下の（数７）により色差成分を算出することができる。これにより、色差情報にも、輝度情報と同様にテクスチャ感が生じる。したがって、ユーザが補正画像を見た場合に、補正による違和感を低減することができる。

Figure 2017085407
In the above description, it is assumed that the color difference component is locally spatially continuous, and the color difference component is calculated by (Equation 3), but the calculation of the color difference component is not limited to this example. Assuming that the correlation between the color difference and the luminance is strong, and that the color difference component can be locally expanded as a function of the luminance, the color difference component can be calculated by the following (Equation 7). As a result, the color difference information has a texture as well as the luminance information. Therefore, when the user views the corrected image, it is possible to reduce a sense of incongruity due to the correction.
Figure 2017085407

（数７）を用いる場合にも、（数３）を用いた場合と同様に、予め決められたウィンドウ内で（数２）の目的関数Ｊが最小になるように、係数ｂｋを決定することにより、処理対象画素ｘ０での色差成分を予測することができる。具体的には、（数２）を係数ｂｋにより偏微分し、導出される値が０になる係数ｂｋを決定する。なお、（数７）を用いた場合にも、最低次の近似においては、（数４）となる。 Even when (Equation 7) is used, the coefficient b k is determined so that the objective function J of (Equation 2) is minimized within a predetermined window, as in the case of using (Equation 3). it is thereby possible to predict the color difference component in the target pixel x 0. Specifically, equation (2) is partially differentiated by coefficients b k, the value derived to determine the coefficients b k to be 0. Even when (Equation 7) is used, (Equation 4) is obtained in the lowest-order approximation.

また、（数３）を空間方向ｘ、ｙの１次までの近似式として表してもよい。具体的には、（数８）により表すことができる。

Figure 2017085407
Further, (Equation 3) may be expressed as an approximate expression up to the first order in the spatial directions x and y. Specifically, it can be expressed by (Equation 8).
Figure 2017085407

Figure 2017085407
Figure 2017085407
Figure 2017085407
Figure 2017085407

さらに、（数３）を処理対象画素ｘ０での輝度成分との差分の１次までの近似式として表してもよい。具体的には、（数１９）により表すことができる。

Figure 2017085407
Furthermore, it may be expressed as an approximate expression to first-order difference between the luminance component of the processing target pixel x 0 (Expression 3). Specifically, it can be expressed by (Equation 19).
Figure 2017085407

Figure 2017085407
Figure 2017085407

なお、（数８）、（数１９）は、便宜上、１次までの展開としたが、より高次までの展開として、空間を局面で近似してもよいし、輝度差も２次以上の展開式を用いてもよい。また、（数１９）は、輝度差でもよいし、参照画素の輝度値で展開してもよい。さらに、（数８）と（数１９）とを組み合わせることにより、空間による近似と輝度差による近似とを組み合わせたモデルを用いてもよい。   Although (Equation 8) and (Equation 19) have been expanded to the first order for convenience, the expansion may be approximated in terms of the situation as the expansion to the higher order, and the luminance difference is also higher than the second order. An expansion formula may be used. Further, (Equation 19) may be a luminance difference, or may be expanded with a luminance value of a reference pixel. Further, by combining (Equation 8) and (Equation 19), a model that combines approximation by space and approximation by luminance difference may be used.

以上の説明では、ウィンドウ内に含まれる画素数が１００個であり、そのうちの８０個の画素が信頼画素であれば、８０個の画素のそれぞれについて類似度を算出したが、８０個の画素のうちの１画素の色差情報を処理対象画素の色差情報としてそのまま用いてもよい。また、ノイズに起因する精度の低下を抑制するという観点では、８０個の画素のそれぞれについて類似度を算出しなくても、８０個の画素のうちの少なくとも２個の画素の類似度を算出すればよい。   In the above description, if the number of pixels included in the window is 100, and 80 of them are reliable pixels, the similarity is calculated for each of the 80 pixels. The color difference information of one pixel may be used as it is as the color difference information of the processing target pixel. Further, from the viewpoint of suppressing a decrease in accuracy due to noise, the similarity of at least two of the 80 pixels can be calculated without calculating the similarity for each of the 80 pixels. That's fine.

以上の説明では、色差エッジ量の絶対値が閾値よりも大きい場合に、補正対象画素であると判定したが、色差エッジ量の絶対値が閾値よりも大きく、かつ、当該画素が特定の色相に属する場合に、補正対象画素であると判定してもよい。一般に、色滲みはマゼンタ、グリーン、およびシアンとして現れる。そこで、画像処理部２０５は、撮像画像データに色変換処理３１０を施す場合に、各画素の色相値を算出してもよい。そして、色差エッジ量の絶対値が閾値よりも大きく、かつ、当該画素がマゼンタ、グリーン、またはシアンに属する場合、すなわち、色相値がマゼンタを示す値の範囲内、グリーンを示す値の範囲内、またはシアンを示す値の範囲内に含まれる場合に、補正対象画素であると判定してもよい。これにより、補正対象画素の判定精度を向上させることができる。また、画素が特定の色相に属する場合にのみ、その後の処理を行うので、処理負荷を軽減することができる。さらに、ごく微小な領域であれば、一旦色差情報を削除してしまうと、周辺の参照画素の色差情報を用いても、正確に再現できない場合がある。画素が特定の色相に属する場合にのみ、補正対象画素であると判定することにより、このような状況を回避することができる。   In the above description, when the absolute value of the color difference edge amount is larger than the threshold value, the pixel is determined to be a correction target pixel, but the absolute value of the color difference edge amount is larger than the threshold value and the pixel has a specific hue. If it belongs, it may be determined that the pixel is a correction target pixel. In general, color blurs appear as magenta, green, and cyan. Therefore, the image processing unit 205 may calculate the hue value of each pixel when performing color conversion processing 310 on the captured image data. When the absolute value of the color difference edge amount is larger than the threshold value and the pixel belongs to magenta, green, or cyan, that is, the hue value is within a value range indicating magenta, within a value range indicating green, Alternatively, the pixel may be determined to be a correction target pixel when included in a range of values indicating cyan. Thereby, the determination accuracy of the correction target pixel can be improved. Further, since the subsequent processing is performed only when the pixel belongs to a specific hue, the processing load can be reduced. Furthermore, if the color difference information is once deleted in a very small area, it may not be accurately reproduced even if the color difference information of surrounding reference pixels is used. Such a situation can be avoided by determining that the pixel is a correction target pixel only when the pixel belongs to a specific hue.

以上の説明では、画像処理部２０５は、入力画像３００をＹＣｒＣｂに変換したが、ＹＵＶ、Ｌａｂ等の他の表色系に変換してもよい。撮像画像データが輝度画像データおよび色差画像データに変換されればよい。Ｌａｂに変換する場合には、画像処理部２０５は、＋ａ軸と、中心から彩度を示す点を結んだ直線とのなす角である色相角度を色相値の代わりに用いてもよい。   In the above description, the image processing unit 205 converts the input image 300 to YCrCb, but may convert it to another color system such as YUV or Lab. The captured image data may be converted into luminance image data and color difference image data. In the case of conversion to Lab, the image processing unit 205 may use a hue angle that is an angle formed between the + a axis and a straight line connecting a point indicating saturation from the center instead of the hue value.

以上の説明では、色差エッジ量のヒストグラムに対する標準偏差σｔｈｒを用いた閾値により補正対象画素かを判定したが、予め設定されている閾値により判定してもよい。すなわち、色差エッジ画像毎に閾値を算出するのではなく、色差エッジ画像によらず固定の閾値を用いてもよい。この場合には、最も急峻な頻度分布に応じて閾値を設定するとよい。これにより、補正対象となる画素があまり抽出されない状況を回避することができる。固定の閾値を用いる場合には、色差エッジを抽出すると、補正対象画素であるかを直ちに判定できる。したがって、メモリ容量を抑制できるし、処理速度を向上させることもできる。 In the above description, the pixel to be corrected is determined based on the threshold value using the standard deviation σ thr with respect to the histogram of the color difference edge amount, but may be determined based on a preset threshold value. That is, instead of calculating a threshold value for each color difference edge image, a fixed threshold value may be used regardless of the color difference edge image. In this case, the threshold value may be set according to the steepest frequency distribution. Thereby, it is possible to avoid a situation in which pixels to be corrected are not extracted so much. When a fixed threshold value is used, it is possible to immediately determine whether a pixel is a correction target pixel by extracting a color difference edge. Therefore, the memory capacity can be suppressed and the processing speed can be improved.

以上の説明では、色収差補正マスクは、全画素のそれぞれに対して補正対象画素であるかを示す値を有したが、特定の画素に対して補正対象画素であるかを示す値を有してもよい。この場合に、ユーザからの指定に応じて特定の画素を選択してもよい。また、特定の色相、例えばマゼンタおよびグリーンに属する画素を特定の画素として選択してもよい。以上の説明では、色収差補正マスクの各画素の値に関わらず、色差情報を保持していたが、色収差補正マスクを生成した後に、補正対象画素に対応する色差情報を削除してもよい。   In the above description, the chromatic aberration correction mask has a value indicating whether it is a correction target pixel for each of all pixels, but has a value indicating whether it is a correction target pixel for a specific pixel. Also good. In this case, a specific pixel may be selected in accordance with designation from the user. Further, a pixel belonging to a specific hue, for example, magenta and green, may be selected as the specific pixel. In the above description, the color difference information is held regardless of the value of each pixel of the chromatic aberration correction mask. However, after the chromatic aberration correction mask is generated, the color difference information corresponding to the correction target pixel may be deleted.

画像処理部２０５は、Ｃｒ色差エッジ画像データの色差補正マスクおよびＣｂ色差エッジ画像データの色差補正マスクの少なくとも一方で補正対象画素であると判定された画素の色差情報を補正してもよいし、両方で補正対象画素であると判定された画素の色差情報を補正してもよい。また、画像処理部２０５は、Ｃｒ色差エッジ画像データの色差補正マスクおよびＣｂ色差エッジ画像データの色差補正マスクを併合してもよい。この場合に、少なくとも一方で補正対象画素であると判定された画素を抽出してもよいし、両方の色差補正マスクにおいて、補正対象画素であると判定された画素を抽出してもよい。   The image processing unit 205 may correct color difference information of a pixel determined to be a correction target pixel by at least one of a color difference correction mask for Cr color difference edge image data and a color difference correction mask for Cb color difference edge image data. You may correct | amend the color difference information of the pixel determined to be a correction target pixel in both. Further, the image processing unit 205 may merge the color difference correction mask for the Cr color difference edge image data and the color difference correction mask for the Cb color difference edge image data. In this case, at least one pixel determined to be a correction target pixel may be extracted, or a pixel determined to be a correction target pixel in both color difference correction masks may be extracted.

以上の画像処理部２０５による処理は、色差補正マスクを生成するまでの処理と、色差補正マスクを用いて、処理対象画素の輝度値と参照画素の輝度値との類似度に応じて、処理対象画素の色差情報を補正する処理とに大別できるが、少なくとも一方を含んでいればよい。具体的には、画像処理部２０５は、色差補正マスクを生成した後に、類似度に応じて算出した重みを用いて色差成分を予測するのではなく、補正対象画素の色差成分に対してぼかしフィルタを施してもよいし、補正対象画素の色差成分を削除してもよい。また、画像処理部２０５は、色差補正マスクを生成しなくても、色差補正マスクを外部装置から取得してもよい。そして、取得した色差補正マスクを用いて、処理対象画素の色差情報を補正する処理を行ってもよい。また、必ずしも色差補正マスクの態様で取得する必要はなく、カラー画像データのそれぞれの画素の色差情報が信頼できるかを示す信頼情報を得ることができればよい。なお、以上の説明では、処理対象画素の色差情報を生成する場合に、信頼できない画素の色差情報を用いなかったが、補正画像に実質的に影響を与えない範囲であれば、信頼できない画素の色差情報を多少用いてもよい。   The processing by the image processing unit 205 described above is a processing target according to the degree of similarity between the luminance value of the processing target pixel and the luminance value of the reference pixel using the processing up to generation of the color difference correction mask and the color difference correction mask. This can be broadly divided into processing for correcting color difference information of pixels, but it is sufficient that at least one of them is included. Specifically, after generating the color difference correction mask, the image processing unit 205 does not predict the color difference component using the weight calculated according to the similarity, but performs a blur filter on the color difference component of the correction target pixel. The color difference component of the correction target pixel may be deleted. Further, the image processing unit 205 may acquire a color difference correction mask from an external device without generating a color difference correction mask. And you may perform the process which correct | amends the color difference information of a process target pixel using the acquired color difference correction mask. Further, it is not always necessary to obtain the color difference correction mask, and it is only necessary to obtain the reliability information indicating whether the color difference information of each pixel of the color image data is reliable. In the above description, when generating the color difference information of the pixel to be processed, the color difference information of the unreliable pixel is not used. However, if the range does not substantially affect the corrected image, the pixel of the unreliable pixel is not used. Some color difference information may be used.

上記実施形態で説明したデジタルカメラ１０は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラ等はもちろん、カメラ機能付きの携帯電話等に適用できる。また、パーソナルコンピュータなどの機器を画像処理部２０５の機能を担う画像処理装置として機能させることもできる。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器などの機器は画像処理装置になり得る。画像処理装置は、カメラ等の他の装置から撮像画像データを取り込んでもよい。   The digital camera 10 described in the above embodiment can be applied to a mobile phone with a camera function as well as a lens interchangeable single lens reflex camera, a compact digital camera, a mirrorless single lens camera, a video camera, and the like. Also, a device such as a personal computer can be caused to function as an image processing apparatus that functions as the image processing unit 205. The image processing apparatus is not limited to a personal computer and can take various forms. For example, a device such as a TV, a mobile phone, or a game device can be an image processing device. The image processing device may capture captured image data from another device such as a camera.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the shooting operation flow in the claims, the description, and the drawings, even if it is described using “first,” “next,” etc. for convenience, it means that it is essential to carry out in this order. Not what you want.

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ 駆動回路、２２０ メモリカード、３００ 入力画像、３０２ 色滲み、３１０ 色変換処理、３２０ 輝度画像、３２２ 色差画像、３２４ Ｃｒ色差画像、３２６ Ｃｂ色差画像、３３０ 色差エッジ抽出処理、３４０ Ｃｒ色差エッジ画像、３５０ 色差補正マスク生成処理、３６０ マスク画像、３６２ エッジ部分、３６４ 一部、３６６ ウィンドウ、３７０ 補正処理、３８０ 補正画像 DESCRIPTION OF SYMBOLS 10 Digital camera, 20 Shooting lens, 21 Optical axis, 100 Image sensor, 201 Control part, 202 A / D conversion circuit, 203 Memory, 204 Drive part, 205 Image processing part, 207 Memory card IF, 208 Operation part, 209 Display Part, 210 drive circuit, 220 memory card, 300 input image, 302 color blur, 310 color conversion process, 320 luminance image, 322 color difference image, 324 Cr color difference image, 326 Cb color difference image, 330 color difference edge extraction process, 340 Cr color difference Edge image, 350 color difference correction mask generation processing, 360 mask image, 362 edge portion, 364 part, 366 window, 370 correction processing, 380 correction image

Claims (15)

色差画像の画素毎に周辺画素との色差値の変化量を算出し、それぞれの画素が補正対象画素であるかを前記変化量に基づいて判定する判定部と、
前記判定部によって判定された前記補正対象画素の色差値を補正する補正部と
を備える画像処理装置。 A determination unit that calculates a change amount of a color difference value with a surrounding pixel for each pixel of the color difference image, and determines whether each pixel is a correction target pixel based on the change amount;
An image processing apparatus comprising: a correction unit that corrects a color difference value of the correction target pixel determined by the determination unit. 前記判定部は、前記色差画像における補正部分を示す色差補正マスクを生成し、前記補正部は、前記色差補正マスクを用いて前記補正対象画素を特定する請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the determination unit generates a color difference correction mask indicating a correction portion in the color difference image, and the correction unit specifies the correction target pixel using the color difference correction mask. 前記判定部は、前記画素毎の前記変化量の分布に基づいて、前記補正対象画素であるかの判定に用いる閾値を算出する請求項１または請求項２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the determination unit calculates a threshold value used for determining whether the pixel is the correction target pixel based on a distribution of the change amount for each pixel. 前記判定部は、前記画素毎の前記変化量の度数分布に基づいて、前記閾値を算出する請求項３に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the determination unit calculates the threshold based on a frequency distribution of the change amount for each pixel. 前記判定部は、前記度数分布としてヒストグラムを作成する請求項４に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the determination unit creates a histogram as the frequency distribution. カラー画像から前記色差画像を生成する生成部を備える請求項１から請求項５のいずれか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising: a generation unit that generates the color difference image from a color image. 前記生成部は、前記カラー画像から前記色差画像を生成すると共に、前記カラー画像のそれぞれの画素の色相値を生成し、
前記判定部は、さらに、前記色相値が予め定められた範囲に含まれる場合に、前記補正対象画素であると判定する請求項６に記載の画像処理装置。 The generation unit generates the color difference image from the color image, and generates a hue value of each pixel of the color image,
The image processing apparatus according to claim 6, wherein the determination unit further determines that the pixel is the correction target pixel when the hue value is included in a predetermined range. 前記生成部は、前記色差画像として互いに異なる第１色差画像と第２色差画像とを生成し、
前記判定部は、前記第１色差画像の画素毎に周辺画素との色差値の第１変化量を算出し、前記第２色差画像の画素毎に周辺画素との色差値の第２変化量を算出し、それぞれの画素が前記補正対象画素であるかを前記第１変化量および前記第２変化量に基づいて判定する請求項６または請求項７に記載の画像処理装置。 The generation unit generates a first color difference image and a second color difference image that are different from each other as the color difference image,
The determination unit calculates a first change amount of a color difference value with a surrounding pixel for each pixel of the first color difference image, and calculates a second change amount of a color difference value with a surrounding pixel for each pixel of the second color difference image. The image processing apparatus according to claim 6, wherein the image processing apparatus calculates and determines whether each pixel is the correction target pixel based on the first change amount and the second change amount. 前記生成部は、前記カラー画像のそれぞれの画素の輝度値を生成し、
前記補正部は、前記補正対象画素の輝度値と、前記補正対象画素の周辺画素であって前記補正対象画素でない参照画素の輝度値との類似度を算出し、前記類似度に基づいて新たな色差値を算出し、前記補正対象画素の色差値を前記新たな色差値に置き換える請求項６から請求項８のいずれか１項に記載の画像処理装置。 The generation unit generates a luminance value of each pixel of the color image,
The correction unit calculates a similarity between a luminance value of the correction target pixel and a luminance value of a reference pixel that is a peripheral pixel of the correction target pixel and is not the correction target pixel, and generates a new value based on the similarity The image processing apparatus according to claim 6, wherein a color difference value is calculated, and the color difference value of the correction target pixel is replaced with the new color difference value. 前記生成部は、前記カラー画像のそれぞれの画素の輝度値を生成し、
前記補正部は、前記補正対象画素の前記色差値を、前記補正対象画素の輝度値および前記周辺画素の輝度値を用いて補正する請求項６から請求項８のいずれか１項に記載の画像処理装置。 The generation unit generates a luminance value of each pixel of the color image,
The image according to any one of claims 6 to 8, wherein the correction unit corrects the color difference value of the correction target pixel using a luminance value of the correction target pixel and a luminance value of the surrounding pixels. Processing equipment. 前記色差画像の各画素における前記変化量は、前記周辺画素との色差のエッジ量である請求項１から請求項９のいずれか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the change amount in each pixel of the color difference image is an edge amount of a color difference from the surrounding pixels. 前記色差画像の各画素における前記変化量は、前記周辺画素との色差のエッジ量であり、前記生成部は、前記画素毎に前記エッジ量を算出することにより色差エッジ画像データを生成する請求項６から請求項１０のいずれか１項に記載の画像処理装置。   The amount of change in each pixel of the color difference image is an edge amount of a color difference from the surrounding pixels, and the generation unit generates color difference edge image data by calculating the edge amount for each pixel. The image processing apparatus according to any one of claims 6 to 10. 色差画像の画素毎に周辺画素との色差値の変化量を算出し、それぞれの画素が補正対象画素であるかを前記変化量に基づいて判定する判定部と、
前記判定部によって判定された前記補正対象画素の色差値を、前記補正対象画素の輝度値および周辺画素の輝度値に基づいて補正する補正部と
を備える画像処理装置。 A determination unit that calculates a change amount of a color difference value with a surrounding pixel for each pixel of the color difference image, and determines whether each pixel is a correction target pixel based on the change amount;
An image processing apparatus comprising: a correction unit that corrects a color difference value of the correction target pixel determined by the determination unit based on a luminance value of the correction target pixel and a luminance value of peripheral pixels. 請求項１から請求項１３のいずれか１項に記載の画像処理装置を備える撮像装置。   An imaging device comprising the image processing device according to any one of claims 1 to 13. 色差画像の画素毎に周辺画素との色差値の変化量を算出する算出ステップと、
それぞれの画素が補正対象画素であるかを前記変化量に基づいて判定する判定ステップと、
前記補正対象画素の色差値を補正する補正ステップと
をコンピュータに実行させる制御プログラム。 A calculation step for calculating a change amount of a color difference value with a surrounding pixel for each pixel of the color difference image;
A determination step of determining whether each pixel is a correction target pixel based on the amount of change;
A control program for causing a computer to execute a correction step of correcting a color difference value of the correction target pixel.
JP2015213223A 2015-10-29 2015-10-29 Image processing device, imaging device, control program Active JP6631161B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015213223A JP6631161B2 (en) 2015-10-29 2015-10-29 Image processing device, imaging device, control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015213223A JP6631161B2 (en) 2015-10-29 2015-10-29 Image processing device, imaging device, control program

Publications (2)

Publication Number Publication Date
JP2017085407A true JP2017085407A (en) 2017-05-18
JP6631161B2 JP6631161B2 (en) 2020-01-15

Family

ID=58713369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015213223A Active JP6631161B2 (en) 2015-10-29 2015-10-29 Image processing device, imaging device, control program

Country Status (1)

Country Link
JP (1) JP6631161B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055475A (en) * 2017-11-17 2018-05-18 广州视源电子科技股份有限公司 Video signal processing method, device and readable storage medium storing program for executing
WO2022154508A1 (en) * 2021-01-13 2022-07-21 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042988A (en) * 2010-08-12 2012-03-01 Nikon Corp Image processor, image processing method, and program
JP2013025614A (en) * 2011-07-22 2013-02-04 Nikon Corp Region extraction device, imaging apparatus and region extraction program
JP2015062270A (en) * 2013-08-21 2015-04-02 パナソニックＩｐマネジメント株式会社 Image processing apparatus
JP2015076685A (en) * 2013-10-08 2015-04-20 キヤノン株式会社 Image processing device, photographing device, photographing system, image processing method, image processing program and memorizing medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042988A (en) * 2010-08-12 2012-03-01 Nikon Corp Image processor, image processing method, and program
JP2013025614A (en) * 2011-07-22 2013-02-04 Nikon Corp Region extraction device, imaging apparatus and region extraction program
JP2015062270A (en) * 2013-08-21 2015-04-02 パナソニックＩｐマネジメント株式会社 Image processing apparatus
JP2015076685A (en) * 2013-10-08 2015-04-20 キヤノン株式会社 Image processing device, photographing device, photographing system, image processing method, image processing program and memorizing medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055475A (en) * 2017-11-17 2018-05-18 广州视源电子科技股份有限公司 Video signal processing method, device and readable storage medium storing program for executing
WO2022154508A1 (en) * 2021-01-13 2022-07-21 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture

Also Published As

Publication number Publication date
JP6631161B2 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
US9898807B2 (en) Image processing device, imaging device, image processing method, and program
JP4770154B2 (en) Image processing apparatus, image processing method, and computer program
US8767085B2 (en) Image processing methods and apparatuses to obtain a narrow depth-of-field image
KR101128549B1 (en) Image processing apparatus, image processing method, and computer program
JP5398156B2 (en) WHITE BALANCE CONTROL DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE
US9646397B2 (en) Image processing apparatus and image processing method
JP6282156B2 (en) Image device, image processing method, control program, and storage medium
JP4666179B2 (en) Image processing method and image processing apparatus
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
WO2015012040A1 (en) Image processing device, image capture device, image processing method, and program
KR20100013173A (en) Method and apparatus for canceling an chromatic aberration
EP3293697A1 (en) Image processing device, imaging device, image processing method, and storage medium storing image processing program for image processing device
JP2018117288A (en) Image processing device and image processing method
JP5047055B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP6631161B2 (en) Image processing device, imaging device, control program
US20230196530A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP6627422B2 (en) Image processing device, imaging device, control program
JP6436840B2 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium
JP2019004281A (en) Image processing device
JP2016015685A (en) Image processing apparatus
JP6238673B2 (en) Image processing apparatus, imaging apparatus, imaging system, image processing method, image processing program, and storage medium
JP5307572B2 (en) Imaging system, video signal processing program, and imaging method
JP2017183813A (en) Image processing device, image processing method, and program
JP7020387B2 (en) Imaging control device, imaging device and imaging control program
JP2017182668A (en) Data processor, imaging device, and data processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R150 Certificate of patent or registration of utility model

Ref document number: 6631161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250