JP2004139574A - Image correction method, image correction device, and image correction program - Google Patents

Image correction method, image correction device, and image correction program Download PDF

Info

Publication number
JP2004139574A
JP2004139574A JP2003316424A JP2003316424A JP2004139574A JP 2004139574 A JP2004139574 A JP 2004139574A JP 2003316424 A JP2003316424 A JP 2003316424A JP 2003316424 A JP2003316424 A JP 2003316424A JP 2004139574 A JP2004139574 A JP 2004139574A
Authority
JP
Japan
Prior art keywords
image
correction
preprocessing
image data
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003316424A
Other languages
Japanese (ja)
Inventor
Atsushi Enomoto
榎本 淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003316424A priority Critical patent/JP2004139574A/en
Publication of JP2004139574A publication Critical patent/JP2004139574A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce processing time on an image correction method, an image correction device, and an image correction program which detect and correct a prescribed defect about eyes in an image based on image data indicating the image. <P>SOLUTION: This system is provided with a pre-processing step (step S02, S04) which conducts a pre-processing that targets at least either the image indicated by the image data or the area on the image and narrows down what meets a prescribed condition indicating that the defect can exist; and a correction step (step S03, S07) which detects and corrects the defect for the result of the pre-processing step based on the image data. <P>COPYRIGHT: (C)2004,JPO

Description

 本発明は、画像を表す画像データに基づいて、原画像中の目に関する、赤目、金目、目つぶりなどといった不具合を検出して修正する画像補正方法、画像補正装置、および画像補正プログラムに関する。 The present invention relates to an image correction method, an image correction apparatus, and an image correction program for detecting and correcting defects such as red-eye, gold-eye, and blinking of eyes in an original image based on image data representing an image.

 従来より、デジタルスチルカメラの普及などに伴って、写真分野におけるデジタル化が急速に進んでいる。このようなデジタル化の利点として、撮影画像を電子的に処理して、色味や露光の不具合を修正することができるという点が挙げられ、フォトレタッチソフトと称される、撮影画像をパーソナルコンピュータ上などで修正するソフトウェアツールも普及してきている。 Conventionally, with the spread of digital still cameras, digitization in the field of photography is rapidly progressing. An advantage of such digitization is that the photographed image can be processed electronically to correct color and exposure defects, and the photographed image, referred to as photo retouching software, can be used as a personal computer. Software tools that modify the above are also becoming popular.

 更に近年では、人物をフラッシュ撮影した時に瞳孔が赤くなる赤目現象や、目が金色に光る金目現象や、撮影時に人物が目を閉じてしまった目つぶり状態などといったような不具合が生じている場合に、この不具合を修正する技術も提案されている。例えば、特許文献1には赤目を検出して修正する技術が記載されている。このような不具合は、見栄えの善し悪しに大きく影響するし、一般の撮影者による撮影では発生頻度も高いので、写真の分野では特に修正が望まれるものである。
特開2000−76427号公報
In recent years, there have been problems such as the red-eye phenomenon in which the pupil becomes red when flashing a person, the gold-eye phenomenon in which the eyes shine in gold, or the blinking state in which the person closed his eyes during shooting. In addition, a technique for correcting this defect has also been proposed. For example, Patent Document 1 describes a technique for detecting and correcting red eyes. Such defects greatly affect the quality of appearance, and the frequency of occurrence is high when shooting by a general photographer. Therefore, correction is particularly desired in the field of photography.
JP 2000-76427 A

 しかし、従来技術による不具合の検出および修正を実際にパーソナルコンピュータ上などで実行すると、例えば1500×1000画素の画像データに対してテンプレートマッチングなどといった手法を用いた場合には1画像に対して数秒程度という多大な処理時間を要する。このような従来技術による不具合の検出修正機能を、例えば、店頭で写真フィルムから写真プリントを作成するラボ機器に搭載するという場合を想定すると、処理に要する時間が長すぎるために応用が不可能である。 However, when the detection and correction of defects according to the prior art are actually executed on a personal computer or the like, for example, when a method such as template matching is used for image data of 1500 × 1000 pixels, for example, about several seconds for one image It takes a lot of processing time. For example, assuming that such a defect detection / correction function according to the prior art is installed in a lab device that creates a photographic print from a photographic film at a store, the time required for the processing is too long and the application is impossible. is there.

 このような問題は、写真分野に限って生じる問題ではなく、処理時間が制限される場合にはどの分野でも生じうる問題である。 Such a problem is not a problem that occurs only in the photographic field, but can occur in any field when the processing time is limited.

 本発明は、上記事情に鑑み、処理時間の低減が可能な画像補正方法、画像補正装置、および画像補正プログラムを提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide an image correction method, an image correction apparatus, and an image correction program capable of reducing processing time.

 上記目的を達成する本発明の画像補正方法は、画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正方法において、
 画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理過程と、
 前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正過程とを有することを特徴とする。
The image correction method of the present invention that achieves the above object is an image correction method for detecting and correcting a specific defect related to an eye in an image based on image data representing the image.
A preprocessing step of performing preprocessing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
What remains in the pre-processing process includes a correction process for detecting and correcting the above-described defect based on image data.

 本発明の画像補正方法によれば、不具合の発生する可能性がない画像や領域が前処理によって補正対象から排除されて、不具合が発生している可能性があるもののみに絞り込まれる。このような前処理は、簡単な指標などに基づいて容易かつ短時間で実行することができるので、全体として補正処理の効率が向上して処理時間が低減する。また、このような前処理で、不具合が明らかに存在しないものが補正対象から排除されることにより、不具合の誤検出の減少も期待される。 According to the image correction method of the present invention, an image or a region that is not likely to cause a defect is excluded from the correction target by pre-processing, and is narrowed down to only those that may cause a defect. Such pre-processing can be executed easily and in a short time based on a simple index or the like, so that the efficiency of the correction processing is improved as a whole and the processing time is reduced. In addition, in such pre-processing, a defect that does not clearly have a defect is excluded from the correction target, so that it is expected to reduce the erroneous detection of the defect.

 ここで、本発明の画像補正方法の形態としては、
 上記画像データが撮影画像を表すとともに、撮影時に得られる撮影情報を添付されたものであり、
 上記前処理過程が、画像データに添付された撮影情報に基づいて前処理を行う過程であるという形態は好適な形態である。
Here, as a form of the image correction method of the present invention,
The image data represents a captured image, and attached with shooting information obtained at the time of shooting,
A mode in which the preprocessing step is a step of performing preprocessing based on shooting information attached to image data is a preferable mode.

 画像データに添付された撮影情報としては、例えば、Exif情報、閃光発光装置のオンオフ情報、シャッター速度、絞り値、露出(Ev値)、被写体距離、撮影モード、天地情報、撮影時刻、カメラの機種などが採用され得る。このような撮影情報を用いると、例えば、フラッシュ撮影時に生じることが知られている赤目現象や金目現象は、閃光発光装置のオンオフ情報がオフを示している場合や、撮影時刻が昼の時刻で絞り値が小さい場合などには発生していないというように、不具合発生があり得ないものを容易に排除して、不具合がありうるものだけを効率よく残すことができる。 The shooting information attached to the image data includes, for example, Exif information, flash light on / off information, shutter speed, aperture value, exposure (Ev value), subject distance, shooting mode, top and bottom information, shooting time, and camera model. Etc. may be employed. When such shooting information is used, for example, a red-eye phenomenon or a gold-eye phenomenon that is known to occur during flash shooting is performed when the on / off information of the flashlight device indicates off or when the shooting time is daytime. It is possible to easily eliminate those that cannot cause a problem, such as not occurring when the aperture value is small, and efficiently leave only those that may have a problem.

 また、上記前処理過程が、画像データが表す画像のシーン解析に基づいて前処理を行う過程であるという形態も好適である。 It is also preferable that the preprocessing process is a process of performing preprocessing based on scene analysis of an image represented by image data.

 シーン解析としては、例えば、フラッシュ撮影の検出、人物の顔の領域の抽出、青空検出、地面検出などが利用でき、フラッシュ撮影の検出では、例えば、アンダー度合い、平均濃度、ダイナミックレンジ、RGB値の最大値最小値などからフラッシュ撮影であるか否かが推定される。このようなシーン解析を用いることにより、例えば、補正の対象を人物の顔の領域に限定するなどといったことができる。前処理で対象領域を限定する場合には、処理時間の大幅な低減が実現し、ラボ機器への搭載も容易となる。 For scene analysis, for example, flash shooting detection, human face area extraction, blue sky detection, ground detection, and the like can be used. Flash shooting detection includes, for example, the degree of under, average density, dynamic range, and RGB values. Whether or not the flash photography is performed is estimated from the maximum value and the minimum value. By using such scene analysis, for example, it is possible to limit the correction target to a human face area. When the target area is limited by pre-processing, the processing time can be significantly reduced and mounting on lab equipment becomes easy.

 また、本発明の画像補正方法の形態としては、上記前処理過程による前処理の結果を表示する表示過程をさらに有することも好適な形態である。 In addition, as a form of the image correction method of the present invention, it is also preferable to further include a display process for displaying a result of the preprocessing by the preprocessing process.

 前処理の結果を表示することによって、どの対象が補正されるのかを補正前に確認することができる。 * By displaying the result of pre-processing, it is possible to confirm which target is corrected before correction.

 また、本発明の画像補正方法の形態としては、
 上記前処理過程による前処理の結果を確認して、不具合が存在しているものを選びなおす修正過程をさらに有し、
 上記補正過程は、前処理過程と修正過程とを経て絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する過程であることも好ましい。
In addition, as a form of the image correction method of the present invention,
The method further includes a correction process for confirming the result of the preprocessing by the above preprocessing process and reselecting the one having the defect,
It is preferable that the correction process is a process of detecting and correcting the defect based on the image data with respect to what has been narrowed down through the preprocessing process and the correction process.

 特定の不具合については、撮影情報やシーン解析では不具合の有無を判断することが困難であっても、オペレータならば、発生があり得ない画像などを瞬時に判断することができる場合がある。このような場合には、コンピュータによる前処理の結果をオペレータが確認し、前処理の誤りを是正したり、更に対象を絞り込むことによって、画像補正処理全体の精度を向上させたり、処理時間をさらに低減させることができる。 For specific defects, even if it is difficult to determine the presence or absence of defects by shooting information or scene analysis, an operator may be able to instantaneously determine an image that cannot occur. In such a case, the operator confirms the result of the preprocessing by the computer, corrects the error of the preprocessing, and further narrows down the target, thereby improving the accuracy of the entire image correction processing and further increasing the processing time. Can be reduced.

 上記目的を達成する本発明の画像補正装置は、
 画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正装置において、
 画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
 前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正部とを有することを特徴とする。
The image correction apparatus of the present invention that achieves the above-described object provides:
Based on image data representing an image, in an image correction apparatus that detects and corrects a specific defect related to eyes in the image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
What remains in the pre-processing step is characterized by having a correction unit that detects and corrects the defect based on image data.

 上記目的を達成する本発明の画像補正プログラムは、
 画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正プログラムにおいて、
 画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
 前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正部とを有することを特徴とする画像補正プログラム。
An image correction program of the present invention that achieves the above object is provided as follows:
In an image correction program for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
An image correction program comprising: a correction unit that detects and corrects the above-described defect based on image data for what remains in the preprocessing process.

 なお、本発明にいう画像補正装置および画像補正プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像補正装置および画像補正プログラムには、上記の基本形態のみではなく、前述した画像補正方法の各形態に対応する各種の形態が含まれる。 Note that the image correction device and the image correction program according to the present invention are only shown in the basic form here, but this is only for avoiding duplication, and the image correction device and the image correction program according to the present invention. Includes not only the above basic form but also various forms corresponding to the above-described forms of the image correction method.

 また、上記本発明の画像補正装置と、上記画像補正プログラムとでは、それらを構成する構成要素名として、前処理部などといった互いに同一の名称を付しているが、画像補正プログラムの場合は、そのような作用をなすソフトウェアを指し、画像補正装置の場合は、ハードウェアを含んだものを指している。 Moreover, in the image correction apparatus of the present invention and the image correction program, the same names such as pre-processing units are given as component names constituting them, but in the case of an image correction program, It refers to software that performs such an action, and in the case of an image correction apparatus, it refers to software that includes hardware.

 さらに、本発明の画像補正プログラムを構成する前処理部などといった構成要素は、1つの構成要素の機能が1つのプログラム部品によって担われるものであってもよく、1つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が1つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。 Further, the constituent elements such as the pre-processing unit constituting the image correction program of the present invention may be one in which the function of one constituent element is carried by one program component, and the function of one constituent element may be a plurality of functions. It may be carried by a program part, or the functions of a plurality of components may be carried by one program part. In addition, these components may execute such actions themselves, or may be executed by giving instructions to other programs and program components incorporated in the computer. Also good.

 本発明の画像補正方法、画像補正装置、および画像補正プログラムによれば、処理時間を低減することができる。 According to the image correction method, the image correction apparatus, and the image correction program of the present invention, the processing time can be reduced.

 以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.

 ここでは、本発明の画像補正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その画像補正プログラムに基づいてパーソナルコンピュータ上で本発明の画像補正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の画像補正装置の一実施形態として動作する例について説明する。 Here, one embodiment of the image correction program of the present invention is incorporated in a personal computer, and one embodiment of the image correction method of the present invention is executed on the personal computer based on the image correction program. An example in which the computer operates as an embodiment of the image correction apparatus of the present invention will be described.

 図1は、本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。 FIG. 1 is an external view of a personal computer to which an embodiment of the present invention is applied.

 このパーソナルコンピュータ100は、CPU、RAMメモリ、ハードディスク等を内蔵した本体部110、本体部110からの指示により蛍光面121に画面表示を行うCRTディスプレイ120、このパーソナルコンピュータ100内にユーザの指示や文字情報を入力するためのキーボード130、蛍光面121上の任意の位置を指定することによりその位置に応じた指示を入力するマウス140を備えている。 The personal computer 100 includes a main body 110 incorporating a CPU, a RAM memory, a hard disk, etc., a CRT display 120 that displays a screen on the phosphor screen 121 according to an instruction from the main body 110, and user instructions and characters in the personal computer 100. A keyboard 130 for inputting information and a mouse 140 for inputting an instruction corresponding to the position by designating an arbitrary position on the fluorescent screen 121 are provided.

 本体部110は、さらに、外観上、フレキシブルディスクやCD−ROMが装填されるフレキシブルディスク装填口111およびCD−ROM装填口112を有しており、その内部には、装填されたフレキシブルディスクやCD−ROMをドライブする、フレキシブルディスクドライブ、CD−ROMドライブも内蔵されている。 The main body 110 further has a flexible disk loading port 111 and a CD-ROM loading port 112 into which a flexible disk and a CD-ROM are loaded in appearance, and inside the loaded flexible disk and CD. -A flexible disk drive and a CD-ROM drive for driving the ROM are also incorporated.

 ここでは、CD−ROMに本発明にいう画像補正プログラムが記憶されており、このCD−ROMがCD−ROM装填口112から本体部110内に装填され、CD−ROMドライブによりそのCD−ROMに記憶された画像補正プログラムがこのパーソナルコンピュータ100のハードディスク内にインストールされる。このパーソナルコンピュータ100のハードディスク内にインストールされた画像補正プログラムが起動されると、このパーソナルコンピュータ100は、本発明の画像補正装置の一実施形態として動作し、本発明の画像補正方法の一実施形態を実行する。 Here, an image correction program according to the present invention is stored in a CD-ROM, and this CD-ROM is loaded into the main body 110 from a CD-ROM loading slot 112 and is loaded into the CD-ROM by a CD-ROM drive. The stored image correction program is installed in the hard disk of the personal computer 100. When the image correction program installed in the hard disk of the personal computer 100 is started, the personal computer 100 operates as an embodiment of the image correction apparatus of the present invention, and an embodiment of the image correction method of the present invention. Execute.

 また、本実施形態では、デジタルスチルカメラなどで撮影された撮影画像の画像データがフレキシブルディスクやCD−ROMに記憶され、そのフレキシブルディスクやCD−ROMが画像補正装置としてのパーソナルコンピュータ100に装填されて画像データがハードディスク内に取り込まれる。そして、取り込まれた画像データに対して、いわゆるフラッシュ撮影時にカメラが発する閃光が目の網膜に反射して瞳が赤く光る赤目現象を検出して黒目に修正する赤目補正やその他の画像処理が施され、処理後の画像データがフレキシブルディスクやハードディスクに記録される。 In the present embodiment, image data of a photographed image taken with a digital still camera or the like is stored in a flexible disk or CD-ROM, and the flexible disk or CD-ROM is loaded into a personal computer 100 as an image correction apparatus. The image data is loaded into the hard disk. The captured image data is then subjected to red-eye correction and other image processing that corrects the black eye by detecting the red-eye phenomenon in which the flash emitted from the camera during so-called flash photography is reflected on the retina of the eye and the pupil glows red. Then, the processed image data is recorded on a flexible disk or hard disk.

 図2は、本発明の画像補正方法の第1実施形態を示すフローチャートである。 FIG. 2 is a flowchart showing the first embodiment of the image correction method of the present invention.

 この画像補正方法では、まず、補正モード選択過程(ステップS01)で、前処理(後述する)の結果に従って補正処理(後述する)が行われる「基本モード」と、前処理の結果をオペレータが確認してから補正処理が行われる「確認モード」のいずれかの補正モードが選択される。「基本モード」は、前処理過程(ステップS02)と補正過程(ステップS03)とを有し、「確認モード」は、「基本モード」と同様の前処理過程(ステップS04)と補正過程(ステップS07)とに加えて、表示過程(ステップS05)と修正過程(ステップS06)とを有する。 In this image correction method, first, in the correction mode selection process (step S01), the operator confirms the “basic mode” in which correction processing (described later) is performed according to the result of preprocessing (described later) and the result of the preprocessing. Then, one of the “confirmation modes” in which the correction process is performed is selected. The “basic mode” includes a preprocessing process (step S02) and a correction process (step S03), and the “confirmation mode” includes a preprocessing process (step S04) and a correction process (step S04) similar to the “basic mode”. In addition to S07), a display process (step S05) and a correction process (step S06) are included.

 前処理過程は、不具合が存在し得ることを示す所定条件を満たすものを絞り込む過程であり、本発明の画像補正方法における前処理過程の一例に相当する。また、本実施形態では、この前処理過程で、画像を対象とした前処理を行い、その前処理では、撮影情報に基づいて赤目現象発生の可能性が判定される。 The pre-processing process is a process of narrowing down conditions that satisfy a predetermined condition indicating that a defect may exist, and corresponds to an example of a pre-processing process in the image correction method of the present invention. Further, in the present embodiment, preprocessing for an image is performed in the preprocessing process, and in the preprocessing, the possibility of occurrence of a red-eye phenomenon is determined based on photographing information.

 また、表示過程は、前処理で絞り込まれた対象画像を表示する過程であり、本発明の画像補正方法における表示過程の一例に相当する。 Also, the display process is a process of displaying the target image narrowed down by the preprocessing, and corresponds to an example of the display process in the image correction method of the present invention.

 修正過程は、オペレータが前処理の結果を確認して、不具合が存在している対象画像を絞り込みなおす過程である。この修正過程は、本発明の画像補正方法における修正過程の一例に相当する。 The correction process is a process in which the operator confirms the result of the preprocessing and narrows down the target image in which a defect exists. This correction process corresponds to an example of a correction process in the image correction method of the present invention.

 ここで、本発明では、補正モード選択過程、表示過程、および修正過程は必須ではない。 Here, in the present invention, the correction mode selection process, the display process, and the correction process are not essential.

 また、補正過程は、前処理過程や修正過程で絞り込まれた対象画像に対して不具合の検出と補正が行われる過程であり、本発明の画像補正方法における補正過程の一例に相当する。本実施形態では、この補正過程で、赤目現象の検出と補正が行われる。 Further, the correction process is a process in which a defect is detected and corrected for the target image narrowed down in the preprocessing process and the correction process, and corresponds to an example of the correction process in the image correction method of the present invention. In the present embodiment, the red-eye phenomenon is detected and corrected in this correction process.

 これら各ステップの詳細な内容については後述する。 The detailed contents of each step will be described later.

 図3は、本発明の画像補正プログラムの第1実施形態を示す図である。ここでは、この画像補正プログラム300は、画像補正プログラム記憶媒体200に記憶されている。 FIG. 3 is a diagram showing a first embodiment of the image correction program of the present invention. Here, the image correction program 300 is stored in the image correction program storage medium 200.

 この図3に示す画像補正プログラム記憶媒体200は、画像補正プログラム300が記憶された記憶媒体であればその種類を問うものではなく、例えばCD−ROMにこの画像補正プログラム300が格納されているときはそのCD−ROMを指し、その画像補正プログラム300がローディングされてハードディスク装置に記憶されたときはそのハードディスク装置を指し、あるいはその画像補正プログラム300がフレキシブルディスクやDVDやCD−Rなどにダウンロードされたときはそのフレキシブルディスクなどを指す。 As long as the image correction program storage medium 200 shown in FIG. 3 is a storage medium in which the image correction program 300 is stored, the type thereof is not limited. For example, when the image correction program 300 is stored in a CD-ROM. Indicates the CD-ROM, and when the image correction program 300 is loaded and stored in the hard disk device, indicates the hard disk device, or the image correction program 300 is downloaded to a flexible disk, DVD, CD-R or the like. Refers to the flexible disk.

 この画像補正プログラム300は、図1に示すパーソナルコンピュータ100内で実行され、そのパーソナルコンピュータ100を、画像中の赤目現象を検出して修正する画像補正装置として動作させるものであり、前処理部310と表示部320と修正部330と補正部340とを有する。 The image correction program 300 is executed in the personal computer 100 shown in FIG. 1, and operates the personal computer 100 as an image correction apparatus that detects and corrects the red-eye phenomenon in the image. A display unit 320, a correction unit 330, and a correction unit 340.

 これら前処理部310、表示部320、修正部330、および補正部340は、それぞれ、図3に示す前処理過程(ステップS02,S04)、表示過程(ステップS05)、修正過程(ステップS06)、および補正過程(ステップS03,S07)を実行する役割を担っている。また、これら前処理部310、表示部320、修正部330、および補正部340は、それぞれ、本発明の画像補正プログラムにおける前処理部、表示部、修正部、および補正部の各一例に相当する。 The preprocessing unit 310, the display unit 320, the correction unit 330, and the correction unit 340 respectively include a preprocessing process (steps S02 and S04), a display process (step S05), and a correction process (step S06) illustrated in FIG. It also plays a role of executing the correction process (steps S03, S07). The preprocessing unit 310, the display unit 320, the correction unit 330, and the correction unit 340 correspond to examples of the preprocessing unit, the display unit, the correction unit, and the correction unit, respectively, in the image correction program of the present invention. .

 この画像補正プログラム300の各要素の作用については後述する。 The operation of each element of the image correction program 300 will be described later.

 図4は、本発明の画像補正装置の第1実施形態の機能ブロック図である。 FIG. 4 is a functional block diagram of the first embodiment of the image correction apparatus of the present invention.

 この画像補正装置400は、図3の画像補正プログラム300が、図1に示すパーソナルコンピュータ100にインストールされて実行されることにより構成されるものである。 The image correction apparatus 400 is configured by installing and executing the image correction program 300 of FIG. 3 in the personal computer 100 shown in FIG.

 この画像補正装置400は前処理部410と表示部420と修正部430と補正部440とから構成されている。前処理部410、表示部420、修正部430、および補正部440は、それぞれ、図3に示す画像補正プログラム300を構成する、前処理部310、表示部320、修正部330、および補正部340に対応し、本発明の画像補正装置における前処理部、表示部、修正部、および補正部の各一例に相当する。なお、図4の各要素は、図1に示すパーソナルコンピュータ100のハードウェアとそのパーソナルコンピュータで実行されるOSやアプリケーションプログラムとの組合せで構成されているのに対し、図3に示す画像補正プログラムの各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。 The image correction apparatus 400 includes a preprocessing unit 410, a display unit 420, a correction unit 430, and a correction unit 440. The preprocessing unit 410, the display unit 420, the correction unit 430, and the correction unit 440 respectively constitute the image correction program 300 shown in FIG. 3, and the preprocessing unit 310, the display unit 320, the correction unit 330, and the correction unit 340, respectively. Corresponds to an example of each of the preprocessing unit, the display unit, the correction unit, and the correction unit in the image correction apparatus of the present invention. 4 is composed of a combination of the hardware of the personal computer 100 shown in FIG. 1 and an OS or application program executed on the personal computer, whereas the image correction program shown in FIG. These elements are different only in that they are constituted only by application programs.

 以下、図4に示す画像補正装置400の各要素を説明することによって、図2に示すフローチャートの各ステップと、図3に示す画像補正プログラム300の各要素も合わせて説明する。 Hereinafter, by describing each element of the image correction apparatus 400 shown in FIG. 4, each step of the flowchart shown in FIG. 2 and each element of the image correction program 300 shown in FIG.

 まず、補正モードとして基本モードが選択された場合について説明する。 First, the case where the basic mode is selected as the correction mode will be described.

 オペレータが図示しない補正モード選択画面で「基本モード」を選択すると、その補正モード情報D11が前処理部410に伝えられる。図2のフローチャートにおいては、ステップS1からステップS2に進む。 When the operator selects “basic mode” on a correction mode selection screen (not shown), the correction mode information D11 is transmitted to the preprocessing unit 410. In the flowchart of FIG. 2, the process proceeds from step S1 to step S2.

 前処理部410には、複数の原画像を表す画像データD10が入力され、その画像データD10に添付された撮影情報に基づいて、画像中に赤目現象が生じている可能性がある原画像が絞り込まれる(図2のステップS2)。ここでは、画像データD10はデジタルスチルカメラによって得られたものであり、この画像データD10には、Exif情報、閃光発光装置のオンオフ情報、シャッター速度、絞り値、露出(Ev値)、被写体距離、撮影モード、天地情報、撮影時刻、カメラの機種などといった撮影情報が添付されている。そして、前処理部410では、この撮影情報が用いられて補正対象の原画像が絞り込まれる。例えば、閃光発光装置のオンオフ情報がオフを示している場合や、シャッター速度が速くて露出(Ev値)が高い場合や、絞り値が小さくて撮影時刻が昼間を示している場合や、被写体距離が閃光の有効な到達距離を超えている場合や、撮影モードが風景モードである場合などには、赤目が発生している可能性はないので赤目補正の対象から除外される。逆に、カメラの機種が赤目を生じやすい機種を示していて閃光発光装置のオンオフ情報がオンを示している場合等には赤目補正の対象とされる。前処理部410におけるこのような前処理は、多くの判定項目が存在していても単純な判定ルーチンなどで高速に実行することができるので、処理時間は短くても効率よく対象を絞り込むことができる。また、この前処理部410における前処理は、後の補正処理における無駄を減らすことが目的の処理であって、赤目が生じているか否かを確実に判別することは目的としない。このため、判定項目として、赤目現象が確実に存在しないか少しでも存在し得るかを判別するための判定項目のみを採用することで、十分に目的を達成するとともに判定ミスを防止することができる。 Image data D10 representing a plurality of original images is input to the pre-processing unit 410, and based on shooting information attached to the image data D10, an original image that may have a red-eye phenomenon is generated in the image. This is narrowed down (step S2 in FIG. 2). Here, the image data D10 is obtained by a digital still camera. The image data D10 includes Exif information, on / off information of the flash light emitting device, shutter speed, aperture value, exposure (Ev value), subject distance, Shooting information such as shooting mode, top and bottom information, shooting time, camera model, etc. is attached. Then, the preprocessing unit 410 uses this shooting information to narrow down the original image to be corrected. For example, when the on / off information of the flashlight device indicates OFF, when the shutter speed is fast and the exposure (Ev value) is high, when the aperture value is small and the shooting time indicates daytime, or the subject distance If the distance exceeds the effective flash range, or if the shooting mode is landscape mode, there is no possibility that red-eye has occurred, so it is excluded from red-eye correction. On the other hand, if the camera model indicates a model that tends to cause red eyes and the on / off information of the flash light emitting device indicates ON, the camera is subjected to red eye correction. Such pre-processing in the pre-processing unit 410 can be executed at high speed with a simple determination routine or the like even if there are many determination items, so that the target can be efficiently narrowed down even if the processing time is short. it can. In addition, the preprocessing in the preprocessing unit 410 is a process whose purpose is to reduce waste in the subsequent correction process, and is not intended to reliably determine whether or not red eyes have occurred. For this reason, by using only the determination items for determining whether the red-eye phenomenon does not exist reliably or can exist even a little as the determination items, it is possible to sufficiently achieve the purpose and prevent a determination error. .

 前処理部410での前処理の結果は、画像データD10とともに補正部440に送られる。画像データD10のうち、前処理の結果で赤目が生じていると判別された原稿画像を表わす画像データには、赤目を検出して修正する補正処理が施される(図2のステップS3)。この補正処理の内容自体は本発明の主題ではないので説明は省略するが、例えば、特開2000−76427号公報に開示されている技術などが用いられる。前処理部410によって補正処理の対象が絞り込まれているので、この補正部440での処理時間は短縮されており、赤目現象の誤検出も少ない。 The result of the preprocessing in the preprocessing unit 410 is sent to the correction unit 440 together with the image data D10. Of the image data D10, image data representing a document image determined to have red eyes as a result of the preprocessing is subjected to correction processing for detecting and correcting red eyes (step S3 in FIG. 2). Since the content of the correction process itself is not the subject of the present invention, description thereof will be omitted. For example, a technique disclosed in Japanese Patent Laid-Open No. 2000-76427 is used. Since the target of the correction process is narrowed down by the preprocessing unit 410, the processing time in the correction unit 440 is shortened, and there is little false detection of the red-eye phenomenon.

 この補正部440で補正処理が施されて得られた赤目補正画像と、前処理部410で補正処理の対象から除外された原画像は、画像補正装置400とは別の機能として図1に示すパーソナルコンピュータ100内で実行される、色処理やシャープネス処理などといった他の画像処理500に送られる。 The red-eye correction image obtained by performing the correction process by the correction unit 440 and the original image excluded from the correction process target by the pre-processing unit 410 are shown in FIG. The image data is sent to another image processing 500 such as color processing or sharpness processing executed in the personal computer 100.

 以上で、「基本モード」選択時の説明を終了し、続いて、「確認モード」選択時の説明を行う。 This completes the explanation when “Basic mode” is selected, and then the explanation when “Confirm mode” is selected.

 オペレータが図示しない補正モード選択画面で「確認モード」を選択したときにも、その補正モード情報D11は前処理部410に伝えられる。図2のフローチャートにおいては、ステップS1からステップS4に進む。 Even when the operator selects “confirmation mode” on the correction mode selection screen (not shown), the correction mode information D11 is transmitted to the preprocessing unit 410. In the flowchart of FIG. 2, the process proceeds from step S1 to step S4.

 前処理部410では、図2のステップS02と同様な処理によって、画像中に赤目現象が生じている可能性がある原画像が絞り込まれる(図2のステップS4)。 The pre-processing unit 410 narrows down an original image that may have a red-eye phenomenon in the image by the same process as step S02 in FIG. 2 (step S4 in FIG. 2).

 この前処理の結果は、表示部420によって、図1に示すCRTディスプレイ120上に表示される(図2のステップS5)。 The result of this preprocessing is displayed on the CRT display 120 shown in FIG. 1 by the display unit 420 (step S5 in FIG. 2).

 図5は、前処理結果の表示例とその修正用画面の例を示す図である。 FIG. 5 is a diagram showing a display example of a preprocessing result and an example of a correction screen.

 この図5のパート(A)には、CRTディスプレイの蛍光面121が示されており、この蛍光面121上には、前処理に入力された全ての原画像421が縮小表示される。また、前処理によって絞り込まれた原画像421には、赤目マーク422が付されている。 5 (A) shows a fluorescent screen 121 of a CRT display, and all the original images 421 input to the preprocessing are reduced and displayed on the fluorescent screen 121. Further, a red-eye mark 422 is added to the original image 421 narrowed down by the preprocessing.

 オペレータは、CRTディスプレイ120に表示された原画像421を確認し、前処理の結果を修正する(図2のステップS6)。 The operator confirms the original image 421 displayed on the CRT display 120 and corrects the result of the preprocessing (step S6 in FIG. 2).

 原画像421上で、図1に示すマウス140の右ボタンをクリックすると、図5のパート(B)に示す修正用ポップアップ画面122が表示される。オペレータは、赤目マーク422が付加された原画像421を確認し、赤目現象の可能性が一見して皆無であるような場合には、修正用ポップアップ画面122で「赤目解除」を選択する。逆に、赤目マーク422が付加されていない原画像421に、明らかに赤目現象が生じている場合には、修正用ポップアップ画面122で「赤目追加」を選択する。図4に示す修正部430は、オペレータによって「赤目解除」が選択された原画像を赤目補正の対象から除外し、「赤目追加」が選択された原画像を赤目補正の対象に追加する。 When the right button of the mouse 140 shown in FIG. 1 is clicked on the original image 421, a correction pop-up screen 122 shown in Part (B) of FIG. 5 is displayed. The operator confirms the original image 421 to which the red-eye mark 422 is added, and selects “cancel red-eye” on the correction pop-up screen 122 when there is no possibility of the red-eye phenomenon at first glance. On the other hand, when the red-eye phenomenon has clearly occurred in the original image 421 to which the red-eye mark 422 is not added, “add red eye” is selected on the correction pop-up screen 122. The correction unit 430 illustrated in FIG. 4 excludes the original image for which “red-eye cancellation” has been selected by the operator from the target for red-eye correction, and adds the original image for which “red-eye addition” has been selected to the target for red-eye correction.

 ここで、本実施形態では採用されていないが、本発明で採用され得る別の表示例について説明する。 Here, another display example that is not employed in the present embodiment but may be employed in the present invention will be described.

 図6は、前処理結果の別の表示例を示す図である。 FIG. 6 is a diagram showing another display example of the preprocessing result.

 この図6に示す表示例の場合には、蛍光面121上に、前処理によって絞り込まれた原画像421だけが表示される。例えば、前処理部410で原画像を絞り込む条件を緩めに設定しておくなどして、赤目現象が生じている可能性が少しでもある原画像を全て表示し、オペレータは絞り込まれた原画像の「赤目解除」のみ行うものでもよい。前処理によって、確認すべき画像の数が減っているので、このような確認は容易であると期待される。 In the case of the display example shown in FIG. 6, only the original image 421 narrowed down by the preprocessing is displayed on the phosphor screen 121. For example, by setting the condition for narrowing down the original image in the pre-processing unit 410, all the original images that may have a red eye phenomenon are displayed, and the operator Only “red-eye cancellation” may be performed. Since the number of images to be confirmed is reduced by the preprocessing, such confirmation is expected to be easy.

 修正部430を経て修正が施された前処理の結果は、画像データD10とともに補正部440に送られる。画像データD10のうち、修正後の前処理の結果で赤目が生じていると判別された原稿画像を表わす画像データには、「基本モード」における補正処理過程(図2のステップS3)と同様の、補正処理過程(図2のステップS7)で補正処理が施される。赤目が補正された赤目補正画像を表す画像データD22は、「基本モード」の場合と同様に、上述した他の画像処理に送られる。 The result of the preprocessing corrected through the correction unit 430 is sent to the correction unit 440 together with the image data D10. Of the image data D10, image data representing a document image that has been determined to have red eyes as a result of the preprocessing after correction is the same as the correction process in the “basic mode” (step S3 in FIG. 2). The correction process is performed in the correction process (step S7 in FIG. 2). Similar to the “basic mode”, the image data D22 representing the red-eye corrected image with the corrected red-eye is sent to the other image processing described above.

 図5および図6を使って説明した以外にも、例えば、前処理に入力された全ての原画像421がCRTディスプレイ120に表示されて、それら原画像を1クリックするごとに「赤目追加」あるいは「赤目解除」が切り替わるものなどであってもよい。1クリックで赤目の追加および解除を切り替える方法は、操作が簡単であるという利点がある。 In addition to the description with reference to FIGS. 5 and 6, for example, all the original images 421 input in the pre-processing are displayed on the CRT display 120, and “red-eye addition” or “ It may be one in which “red-eye cancellation” is switched. The method of switching the addition and release of red eyes with one click has the advantage of easy operation.

 また、前処理の結果、赤目検出結果、赤目修正結果などについては、FDにファイル出力したり、プリント用紙の裏などにプリント出力することが好ましい。どのような処理過程を経たのがを後で容易に調べることができる。 Also, it is preferable that the pre-processing result, red-eye detection result, red-eye correction result, etc. are output to a file on the FD or printed on the back of the print paper. It can be easily checked later what processing steps have been performed.

 以上説明したように、前処理の結果をオペレータが修正してから、補正処理を行うことによって、画像補正処理全体の精度を向上させることができる。 As described above, the accuracy of the entire image correction process can be improved by performing the correction process after the operator corrects the result of the pre-process.

 次に、上述した実施形態とは異なる第2実施形態について説明する。 Next, a second embodiment different from the above-described embodiment will be described.

 この第2実施形態でも、本発明の画像補正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その画像補正プログラムに基づいてパーソナルコンピュータ上で本発明の画像補正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の画像補正装置の一実施形態として動作する。 Also in the second embodiment, one embodiment of the image correction program of the present invention is incorporated in a personal computer, and one embodiment of the image correction method of the present invention is executed on the personal computer based on the image correction program. As a result, the personal computer operates as an embodiment of the image correction apparatus of the present invention.

 ここで、本発明の画像補正方法の第2実施形態と本発明の画像補正プログラムの第2実施形態については、図2および図3をそのまま流用して説明する。 Here, the second embodiment of the image correction method of the present invention and the second embodiment of the image correction program of the present invention will be described with reference to FIGS. 2 and 3 as they are.

 本発明の画像補正方法の第2実施形態では、第1実施形態における前処理過程に替わる前処理過程(ステップS02,S04)で、画像上の領域を対象とした前処理が行われ、その前処理では、撮影情報とシーン解析とに基づいて領域が絞り込まれる。また、このように絞り込まれた領域が、第1実施形態における表示過程に替わる表示過程(ステップS05)で表示されるとともに、第1実施形態における修正過程に替わる修正過程(ステップS06)で修正される。 In the second embodiment of the image correction method of the present invention, preprocessing is performed on a region on an image in a preprocessing process (steps S02 and S04) instead of the preprocessing process in the first embodiment. In the processing, the area is narrowed down based on the shooting information and the scene analysis. The area thus narrowed down is displayed in a display process (step S05) that replaces the display process in the first embodiment, and is corrected in a correction process (step S06) that replaces the correction process in the first embodiment. The

 また、本発明の画像補正プログラムの第2実施形態には、第1実施形態における前処理部、表示部、および修正部に替えて、上述した、対象領域を絞り込む前処理過程、絞り込まれた領域を表示する表示過程、および絞り込まれた領域を修正する修正過程のそれぞれに対応した前処理部310、表示部320、および修正部330が備えられている。 Further, in the second embodiment of the image correction program of the present invention, instead of the preprocessing unit, the display unit, and the correction unit in the first embodiment, the above-described preprocessing process for narrowing down the target area, the narrowed area Are provided with a pre-processing unit 310, a display unit 320, and a correction unit 330 corresponding to the display process for displaying the image and the correction process for correcting the narrowed area.

 図7は、本発明の画像補正装置の第2実施形態を示す機能ブロック図である。 FIG. 7 is a functional block diagram showing a second embodiment of the image correction apparatus of the present invention.

 この画像補正装置401は、第2実施形態の画像補正プログラムが、図1に示すパーソナルコンピュータ100にインストールされて実行されることにより構成されるものである。 The image correction apparatus 401 is configured by installing and executing the image correction program of the second embodiment on the personal computer 100 shown in FIG.

 この画像補正装置401は前処理部450と表示部460と修正部470と補正部440とから構成されている。前処理部450、表示部460、修正部470、および補正部440は、本発明の画像補正装置における前処理部、表示部、修正部、および補正部の各一例に相当する。また、この図7の補正部440は、図4に示す補正部440と全く同様のものである。 The image correction apparatus 401 includes a preprocessing unit 450, a display unit 460, a correction unit 470, and a correction unit 440. The preprocessing unit 450, the display unit 460, the correction unit 470, and the correction unit 440 correspond to examples of the preprocessing unit, the display unit, the correction unit, and the correction unit in the image correction apparatus of the present invention. 7 is exactly the same as the correction unit 440 shown in FIG.

 以下、図7に示す画像補正装置401の各要素を説明する。 Hereinafter, each element of the image correction apparatus 401 illustrated in FIG. 7 will be described.

 前処理部450には、オペレータによって選択された補正モード情報D11と、原画像を表す画像データD20とが入力されるとともに、その画像データに添付された天地情報D21も入力される。画像データD20と天地情報D21とに基づいて、天地検出部441で画像の天地が検出される。また、画像データD20に基づいたシーン解析によって、顔検出部442で原画像中の顔の領域が検出される。そして、天地検出部441で検出された天地の情報と、顔検出部442で検出された顔の領域とに基づいて、顔上半分特定部443で、顔の上半分に相当する領域が特定される。このように特定された領域が赤目補正の対象領域とされることによって、赤目補正の対象領域が大幅に絞り込まれる。なお、前処理部440で顔が検出されなかった画像などは、色処理などの他の画像処理に送られる。 The pre-processing unit 450 receives correction mode information D11 selected by the operator and image data D20 representing the original image, and top and bottom information D21 attached to the image data. Based on the image data D20 and the top and bottom information D21, the top and bottom detection unit 441 detects the top and bottom of the image. Further, the face detection unit 442 detects a face area in the original image by scene analysis based on the image data D20. Then, based on the top and bottom information detected by the top and bottom detection unit 441 and the face region detected by the face detection unit 442, the upper half half identification unit 443 identifies a region corresponding to the upper half of the face. The By specifying the region thus identified as a target region for red-eye correction, the target region for red-eye correction is significantly narrowed down. Note that an image or the like in which no face is detected by the pre-processing unit 440 is sent to other image processing such as color processing.

 このように絞り込まれた領域が、表示部450によって、図1に示すCRTディスプレイ120上に表示されて確認される。 The area narrowed down in this way is displayed on the CRT display 120 shown in FIG.

 図8は、第2実施形態における、原画像の例(A)、検出された顔の領域(B)、前処理結果の表示例(C)を示す図である。 FIG. 8 is a diagram illustrating an example of an original image (A), a detected face region (B), and a display example (C) of a preprocessing result in the second embodiment.

 この図8のパート(A)に示す原画像610は、図7に示す画像データD20が表す原画像の一例であり、このパート(A)に示す原画像610には人物像611が含まれている。 The original image 610 shown in part (A) of FIG. 8 is an example of the original image represented by the image data D20 shown in FIG. 7. The original image 610 shown in part (A) includes a person image 611. Yes.

 また、この図8のパート(B)には、パート(A)に示す原画像610に基づいたシーン解析によって検出された顔の領域620が斜線を付して示されている。 Further, in part (B) of FIG. 8, a face region 620 detected by scene analysis based on the original image 610 shown in part (A) is indicated by hatching.

 更に、この図8のパート(C)には、パート(B)に示す顔の領域620のうち上半分の領域630が分割マーク631によって示されている。このパート(C)に示されている画像が、表示部によってCRTディスプレイ上に表示される。このように表示された画像をオペレータが見ることにより、前処理が正確に行われたか否かを確認することができる。 Further, in the part (C) of FIG. 8, the upper half area 630 of the face area 620 shown in the part (B) is indicated by a division mark 631. The image shown in the part (C) is displayed on the CRT display by the display unit. The operator can confirm whether or not the preprocessing has been performed accurately by viewing the image displayed in this way.

 表示された画像の分割マーク631の位置が一見してずれている場合などには、オペレータは、図1に示すマウス140を使って、分割マーク631を赤目現象が生じている位置に移動させる。このとき、修正部470では、オペレータからの指示に合わせて赤目補正の対象領域が修正される。 When the position of the division mark 631 in the displayed image is deviated at a glance, the operator moves the division mark 631 to a position where the red-eye phenomenon occurs using the mouse 140 shown in FIG. At this time, the correction unit 470 corrects the target area for red-eye correction in accordance with an instruction from the operator.

 図7に示す前処理部440で領域が絞り込まれて表示部450によって表示された原画像の画像データは、修正部470を経て赤目補正の対象領域が修正された上で補正部440に送られて、その対象領域に対して上述した赤目補正が施される。前処理部450で対象領域が大幅に絞り込まれているため、赤目補正の処理時間は大幅に低減される。 The image data of the original image displayed by the display unit 450 after the region is narrowed down by the preprocessing unit 440 shown in FIG. 7 is sent to the correction unit 440 after correcting the target region for red-eye correction through the correction unit 470. Thus, the above-described red-eye correction is performed on the target area. Since the target area is greatly narrowed down by the pre-processing unit 450, the processing time for red-eye correction is greatly reduced.

 補正部440による赤目補正の結果、赤目が補正された赤目補正画像を表す画像データD22が得られ、この画像データD22は、第1実施形態と同様に、上述した他の画像処理に送られる。 As a result of red-eye correction by the correction unit 440, image data D22 representing a red-eye corrected image with red-eye corrected is obtained, and this image data D22 is sent to the other image processing described above, as in the first embodiment.

 なお、上記説明では、顔抽出処理や天地判定処理を赤目検出のために単独で実施する例について説明したが、これらの処理は、例えばセットアップ処理等といった他の処理の一部として実施され、その結果が再利用されることが望ましい。 In the above description, the example in which the face extraction process and the top / bottom determination process are performed independently for red-eye detection has been described, but these processes are performed as part of other processes such as a setup process, for example. It is desirable that the results be reused.

 また、記説明では、目の不具合として赤目が例示されているが、本発明にいう目の不具合としては、赤目以外の、金目や目つぶりなどといった不具合であってもよい。 In the above description, red eyes are exemplified as eye defects. However, the eye defects referred to in the present invention may be defects other than red eyes, such as gold eyes and blinking eyes.

 また、上記説明では、シーン解析の例として顔検出や天地検出が示されているが、本発明では、シーン解析としてフラッシュ撮影の検出が採用されて、フラッシュ撮影によって得られた可能性がある画像が補正対象とされてもよい。 In the above description, face detection and top-and-bottom detection are shown as examples of scene analysis. However, in the present invention, detection of flash photography is adopted as scene analysis, and images that may have been obtained by flash photography. May be a correction target.

 また、上記説明では、記憶媒体に記憶された画像補正プログラムが例示されているが、本発明の画像補正プログラムは、通信ネットワーク上などで送受信されているものであってもよい。 In the above description, the image correction program stored in the storage medium is exemplified, but the image correction program of the present invention may be transmitted / received over a communication network or the like.

 また、上記説明では、記憶媒体に記憶された画像データを取り込む画像補正装置が例示されているが、本発明の画像補正装置は、デジタルスチルカメラからUSBなどで画像データを取り込むものであってもよく、あるいは、通信ネットワークなどを介して画像データを取り込むものであってもよい。 In the above description, an image correction apparatus that captures image data stored in a storage medium is illustrated. However, the image correction apparatus of the present invention may capture image data from a digital still camera using a USB or the like. Alternatively, the image data may be captured via a communication network or the like.

 また、本発明の画像補正装置は、前処理のON/OFFを切り替える手段をさらに備えたものであってもよい。 Further, the image correction apparatus of the present invention may further include means for switching ON / OFF of preprocessing.

 また、上記説明では、画像処理後の画像データをフレキシブルディスクやハードディスクに記録する例が示されているが、本発明では、画像処理後の画像データを、CD−R、DVD、MOなどといった他の種類の記憶媒体に出力するものであってもよく、画像処理後の画像データを写真プリンタなどに出力するものであってもよく、あるいは、通信ネットワークなどを介して画像処理後の画像データを出力するものであってもよい。 Further, in the above description, an example in which image data after image processing is recorded on a flexible disk or hard disk is shown. However, in the present invention, image data after image processing is stored in other formats such as CD-R, DVD, MO, etc. The image data may be output to a storage medium of the above type, the image data after image processing may be output to a photo printer or the like, or the image data after image processing may be output via a communication network or the like. It may be output.

 また、上記説明では、パーソナルコンピュータ上で、本発明の実施形態による画像補正の後に、他の画像処理が施される例が示されているが、本発明による画像補正は、そのような他の画像処理とは切り離されて、専用のパーソナルコンピュータなどで単独に実行されてもよい。 In the above description, an example is shown in which other image processing is performed on the personal computer after the image correction according to the embodiment of the present invention. It may be separated from the image processing and executed independently by a dedicated personal computer or the like.

本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。1 is an external view of a personal computer to which an embodiment of the present invention is applied. 画像補正方法の第1実施形態を示すフローチャートである。It is a flowchart which shows 1st Embodiment of the image correction method. 本発明の画像補正プログラムの第1実施形態を示す図である。It is a figure which shows 1st Embodiment of the image correction program of this invention. 本発明の画像補正装置の第1実施形態の機能ブロック図である。1 is a functional block diagram of a first embodiment of an image correction apparatus of the present invention. 前処理結果の表示例とその修正用画面の例を示す図である。It is a figure which shows the example of a display example of a pre-processing result, and the screen for the correction. 前処理結果の別の表示例を示す図である。It is a figure which shows another example of a display of a pre-processing result. 本発明の画像補正装置の第2実施形態を示す機能ブロック図である。It is a functional block diagram which shows 2nd Embodiment of the image correction apparatus of this invention. 第2実施形態における、原画像の例(A)、検出された顔の領域(B)、前処理結果の表示例(C)を示す図である。It is a figure which shows the example of an original image in 2nd Embodiment (A), the area | region (B) of the detected face, and the example of a display (C) of a pre-processing result.

符号の説明Explanation of symbols

 100  パーソナルコンピュータ
 110  本体部
 111  フレキシブルディスク装填口
 112  CD−ROM装填口
 120  CRTディスプレイ
 121  蛍光面
 130  キーボード
 140  マウス
 200  画像補正プログラム記憶媒体
 300  画像補正プログラム
 310  前処理部
 320  表示部
 330  修正部
 340  補正部
 400,401  画像補正装置
 410,450  前処理部
 421  原画像
 422  赤目マーク
 441  天地検出部
 442  顔検出部
 443  顔上半分特定部
 420,460  表示部
 430  修正部
 440  補正部
 500  他の画像処理
 610  原画像
 611  人物像
 620  顔の領域
 630  上半分の領域
 D10,D20  原画像を表す画像データ
 D11  補正モード情報
 D21  天地情報
 D22  赤目補正画像を表す画像データ
DESCRIPTION OF SYMBOLS 100 Personal computer 110 Main body part 111 Flexible disk loading slot 112 CD-ROM loading slot 120 CRT display 121 Phosphor screen 130 Keyboard 140 Mouse 200 Image correction program storage medium 300 Image correction program 310 Preprocessing part 320 Display part 330 Correction part 340 Correction part 400, 401 Image correction device 410, 450 Pre-processing unit 421 Original image 422 Red-eye mark 441 Top-and-bottom detection unit 442 Face detection unit 443 Face upper half identification unit 420, 460 Display unit 430 Correction unit 440 Correction unit 500 Other image processing 610 Original Image 611 Human image 620 Face area 630 Upper half area D10, D20 Image data representing original image D11 Correction mode information D21 Top and bottom information D22 Red-eye correction image To image data

Claims (7)

 画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正方法において、
 画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理過程と、
 前記前処理で絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する補正過程とを有することを特徴とする画像補正方法。
In an image correction method for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A preprocessing step of performing preprocessing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction method comprising: a correction process for detecting and correcting the defect on the basis of image data for those narrowed down by the preprocessing.
 前記画像データが撮影画像を表すとともに、撮影時に得られる撮影情報を添付されたものであり、
 前記前処理過程が、前記画像データに添付された撮影情報に基づいて前記前処理を行う過程であることを特徴とする請求項1記載の画像補正方法。
The image data represents a captured image, and attached with shooting information obtained at the time of shooting,
2. The image correction method according to claim 1, wherein the preprocessing step is a step of performing the preprocessing based on photographing information attached to the image data.
 前記前処理過程が、前記画像データが表す画像のシーン解析に基づいて前記前処理を行う過程であることを特徴とする請求項1記載の画像補正方法。 The image correction method according to claim 1, wherein the preprocessing step is a step of performing the preprocessing based on a scene analysis of an image represented by the image data.  前記前処理過程による前処理の結果を表示する表示過程をさらに有することを特徴とする請求項1記載の画像補正方法。 The image correction method according to claim 1, further comprising a display step of displaying a result of the preprocessing by the preprocessing step.  前記前処理過程による前処理の結果を確認して、前記不具合が存在しているものを選びなおす修正過程をさらに有し、
 前記補正過程は、前記前処理過程と前記修正過程とを経て絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する過程であることを特徴とする請求項1記載の画像補正方法。
Confirming the result of the pre-processing by the pre-processing process, further comprising a correction process for reselecting the defect is present,
2. The image correction according to claim 1, wherein the correction process is a process of detecting and correcting the defect on the basis of image data with respect to what has been narrowed down through the preprocessing process and the correction process. Method.
 画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正装置において、
 画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
 前記前処理過程で残ったものについて、画像データに基づいて前記不具合を検出して修正する補正部とを有することを特徴とする画像補正装置。
Based on image data representing an image, in an image correction apparatus that detects and corrects a specific defect related to eyes in the image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction apparatus comprising: a correction unit that detects and corrects the defect based on image data for what remains in the preprocessing process.
 画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正プログラムにおいて、
 画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
 前記前処理過程で残ったものについて、画像データに基づいて前記不具合を検出して修正する補正部とを有することを特徴とする画像補正プログラム。
In an image correction program for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction program comprising: a correction unit that detects and corrects the defect based on image data for what remains in the preprocessing process.
JP2003316424A 2002-09-24 2003-09-09 Image correction method, image correction device, and image correction program Pending JP2004139574A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003316424A JP2004139574A (en) 2002-09-24 2003-09-09 Image correction method, image correction device, and image correction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002277557 2002-09-24
JP2003316424A JP2004139574A (en) 2002-09-24 2003-09-09 Image correction method, image correction device, and image correction program

Publications (1)

Publication Number Publication Date
JP2004139574A true JP2004139574A (en) 2004-05-13

Family

ID=32473055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003316424A Pending JP2004139574A (en) 2002-09-24 2003-09-09 Image correction method, image correction device, and image correction program

Country Status (1)

Country Link
JP (1) JP2004139574A (en)

Similar Documents

Publication Publication Date Title
US7692696B2 (en) Digital image acquisition system with portrait mode
JP4966021B2 (en) Method and apparatus for optimizing red eye filter performance
JP4345651B2 (en) Image information evaluation method, image information evaluation program, and image information evaluation apparatus
US7352394B1 (en) Image modification based on red-eye filter analysis
US7548645B2 (en) Image processor and image processing system
JP4942189B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP2006024193A (en) Image correction device, image correction program, image correction method and image correction system
JP2005267512A (en) Method and device for detecting specific range, and program
JP2004350130A (en) Digital camera
JP2005353010A (en) Image processor and imaging device
US20090324069A1 (en) Image processing device, image processing method, and computer readable medium
US7277589B2 (en) Image retouching method, apparatus, and program storage medium, image correcting method, apparatus, and program storage medium, and eye detecting and correcting method apparatus, and program storage medium
JP2005197996A (en) Control method and controller of digital camera
JP2004282570A (en) Image processor
JP2005309971A (en) Red-eye compensation method, program and device for executing the same method
JP2005286830A (en) Image processing method, image processing apparatus, and program
JP2005086271A (en) Electronic camera
JP2004139574A (en) Image correction method, image correction device, and image correction program
JP2007150491A (en) Camera, and image control program
JP4591603B2 (en) Image information evaluation method, image information evaluation program, and image information evaluation apparatus
JP4400481B2 (en) Image processing device
JP5750934B2 (en) Image processing apparatus and image processing program
JP2010102507A (en) Background replacement equipment, background replacement program, background replacement method and photographing system
JP2006113776A (en) Image processing system and image processing program
JP2006092162A (en) Image processing system and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060418

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090825