JP2004139574A - Image correction method, image correction device, and image correction program - Google Patents
Image correction method, image correction device, and image correction program Download PDFInfo
- Publication number
- JP2004139574A JP2004139574A JP2003316424A JP2003316424A JP2004139574A JP 2004139574 A JP2004139574 A JP 2004139574A JP 2003316424 A JP2003316424 A JP 2003316424A JP 2003316424 A JP2003316424 A JP 2003316424A JP 2004139574 A JP2004139574 A JP 2004139574A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- preprocessing
- image data
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像を表す画像データに基づいて、原画像中の目に関する、赤目、金目、目つぶりなどといった不具合を検出して修正する画像補正方法、画像補正装置、および画像補正プログラムに関する。 The present invention relates to an image correction method, an image correction apparatus, and an image correction program for detecting and correcting defects such as red-eye, gold-eye, and blinking of eyes in an original image based on image data representing an image.
従来より、デジタルスチルカメラの普及などに伴って、写真分野におけるデジタル化が急速に進んでいる。このようなデジタル化の利点として、撮影画像を電子的に処理して、色味や露光の不具合を修正することができるという点が挙げられ、フォトレタッチソフトと称される、撮影画像をパーソナルコンピュータ上などで修正するソフトウェアツールも普及してきている。 Conventionally, with the spread of digital still cameras, digitization in the field of photography is rapidly progressing. An advantage of such digitization is that the photographed image can be processed electronically to correct color and exposure defects, and the photographed image, referred to as photo retouching software, can be used as a personal computer. Software tools that modify the above are also becoming popular.
更に近年では、人物をフラッシュ撮影した時に瞳孔が赤くなる赤目現象や、目が金色に光る金目現象や、撮影時に人物が目を閉じてしまった目つぶり状態などといったような不具合が生じている場合に、この不具合を修正する技術も提案されている。例えば、特許文献1には赤目を検出して修正する技術が記載されている。このような不具合は、見栄えの善し悪しに大きく影響するし、一般の撮影者による撮影では発生頻度も高いので、写真の分野では特に修正が望まれるものである。
しかし、従来技術による不具合の検出および修正を実際にパーソナルコンピュータ上などで実行すると、例えば1500×1000画素の画像データに対してテンプレートマッチングなどといった手法を用いた場合には1画像に対して数秒程度という多大な処理時間を要する。このような従来技術による不具合の検出修正機能を、例えば、店頭で写真フィルムから写真プリントを作成するラボ機器に搭載するという場合を想定すると、処理に要する時間が長すぎるために応用が不可能である。 However, when the detection and correction of defects according to the prior art are actually executed on a personal computer or the like, for example, when a method such as template matching is used for image data of 1500 × 1000 pixels, for example, about several seconds for one image It takes a lot of processing time. For example, assuming that such a defect detection / correction function according to the prior art is installed in a lab device that creates a photographic print from a photographic film at a store, the time required for the processing is too long and the application is impossible. is there.
このような問題は、写真分野に限って生じる問題ではなく、処理時間が制限される場合にはどの分野でも生じうる問題である。 Such a problem is not a problem that occurs only in the photographic field, but can occur in any field when the processing time is limited.
本発明は、上記事情に鑑み、処理時間の低減が可能な画像補正方法、画像補正装置、および画像補正プログラムを提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide an image correction method, an image correction apparatus, and an image correction program capable of reducing processing time.
上記目的を達成する本発明の画像補正方法は、画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正方法において、
画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理過程と、
前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正過程とを有することを特徴とする。
The image correction method of the present invention that achieves the above object is an image correction method for detecting and correcting a specific defect related to an eye in an image based on image data representing the image.
A preprocessing step of performing preprocessing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
What remains in the pre-processing process includes a correction process for detecting and correcting the above-described defect based on image data.
本発明の画像補正方法によれば、不具合の発生する可能性がない画像や領域が前処理によって補正対象から排除されて、不具合が発生している可能性があるもののみに絞り込まれる。このような前処理は、簡単な指標などに基づいて容易かつ短時間で実行することができるので、全体として補正処理の効率が向上して処理時間が低減する。また、このような前処理で、不具合が明らかに存在しないものが補正対象から排除されることにより、不具合の誤検出の減少も期待される。 According to the image correction method of the present invention, an image or a region that is not likely to cause a defect is excluded from the correction target by pre-processing, and is narrowed down to only those that may cause a defect. Such pre-processing can be executed easily and in a short time based on a simple index or the like, so that the efficiency of the correction processing is improved as a whole and the processing time is reduced. In addition, in such pre-processing, a defect that does not clearly have a defect is excluded from the correction target, so that it is expected to reduce the erroneous detection of the defect.
ここで、本発明の画像補正方法の形態としては、
上記画像データが撮影画像を表すとともに、撮影時に得られる撮影情報を添付されたものであり、
上記前処理過程が、画像データに添付された撮影情報に基づいて前処理を行う過程であるという形態は好適な形態である。
Here, as a form of the image correction method of the present invention,
The image data represents a captured image, and attached with shooting information obtained at the time of shooting,
A mode in which the preprocessing step is a step of performing preprocessing based on shooting information attached to image data is a preferable mode.
画像データに添付された撮影情報としては、例えば、Exif情報、閃光発光装置のオンオフ情報、シャッター速度、絞り値、露出(Ev値)、被写体距離、撮影モード、天地情報、撮影時刻、カメラの機種などが採用され得る。このような撮影情報を用いると、例えば、フラッシュ撮影時に生じることが知られている赤目現象や金目現象は、閃光発光装置のオンオフ情報がオフを示している場合や、撮影時刻が昼の時刻で絞り値が小さい場合などには発生していないというように、不具合発生があり得ないものを容易に排除して、不具合がありうるものだけを効率よく残すことができる。 The shooting information attached to the image data includes, for example, Exif information, flash light on / off information, shutter speed, aperture value, exposure (Ev value), subject distance, shooting mode, top and bottom information, shooting time, and camera model. Etc. may be employed. When such shooting information is used, for example, a red-eye phenomenon or a gold-eye phenomenon that is known to occur during flash shooting is performed when the on / off information of the flashlight device indicates off or when the shooting time is daytime. It is possible to easily eliminate those that cannot cause a problem, such as not occurring when the aperture value is small, and efficiently leave only those that may have a problem.
また、上記前処理過程が、画像データが表す画像のシーン解析に基づいて前処理を行う過程であるという形態も好適である。 It is also preferable that the preprocessing process is a process of performing preprocessing based on scene analysis of an image represented by image data.
シーン解析としては、例えば、フラッシュ撮影の検出、人物の顔の領域の抽出、青空検出、地面検出などが利用でき、フラッシュ撮影の検出では、例えば、アンダー度合い、平均濃度、ダイナミックレンジ、RGB値の最大値最小値などからフラッシュ撮影であるか否かが推定される。このようなシーン解析を用いることにより、例えば、補正の対象を人物の顔の領域に限定するなどといったことができる。前処理で対象領域を限定する場合には、処理時間の大幅な低減が実現し、ラボ機器への搭載も容易となる。 For scene analysis, for example, flash shooting detection, human face area extraction, blue sky detection, ground detection, and the like can be used. Flash shooting detection includes, for example, the degree of under, average density, dynamic range, and RGB values. Whether or not the flash photography is performed is estimated from the maximum value and the minimum value. By using such scene analysis, for example, it is possible to limit the correction target to a human face area. When the target area is limited by pre-processing, the processing time can be significantly reduced and mounting on lab equipment becomes easy.
また、本発明の画像補正方法の形態としては、上記前処理過程による前処理の結果を表示する表示過程をさらに有することも好適な形態である。 In addition, as a form of the image correction method of the present invention, it is also preferable to further include a display process for displaying a result of the preprocessing by the preprocessing process.
前処理の結果を表示することによって、どの対象が補正されるのかを補正前に確認することができる。 * By displaying the result of pre-processing, it is possible to confirm which target is corrected before correction.
また、本発明の画像補正方法の形態としては、
上記前処理過程による前処理の結果を確認して、不具合が存在しているものを選びなおす修正過程をさらに有し、
上記補正過程は、前処理過程と修正過程とを経て絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する過程であることも好ましい。
In addition, as a form of the image correction method of the present invention,
The method further includes a correction process for confirming the result of the preprocessing by the above preprocessing process and reselecting the one having the defect,
It is preferable that the correction process is a process of detecting and correcting the defect based on the image data with respect to what has been narrowed down through the preprocessing process and the correction process.
特定の不具合については、撮影情報やシーン解析では不具合の有無を判断することが困難であっても、オペレータならば、発生があり得ない画像などを瞬時に判断することができる場合がある。このような場合には、コンピュータによる前処理の結果をオペレータが確認し、前処理の誤りを是正したり、更に対象を絞り込むことによって、画像補正処理全体の精度を向上させたり、処理時間をさらに低減させることができる。 For specific defects, even if it is difficult to determine the presence or absence of defects by shooting information or scene analysis, an operator may be able to instantaneously determine an image that cannot occur. In such a case, the operator confirms the result of the preprocessing by the computer, corrects the error of the preprocessing, and further narrows down the target, thereby improving the accuracy of the entire image correction processing and further increasing the processing time. Can be reduced.
上記目的を達成する本発明の画像補正装置は、
画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正装置において、
画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正部とを有することを特徴とする。
The image correction apparatus of the present invention that achieves the above-described object provides:
Based on image data representing an image, in an image correction apparatus that detects and corrects a specific defect related to eyes in the image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
What remains in the pre-processing step is characterized by having a correction unit that detects and corrects the defect based on image data.
上記目的を達成する本発明の画像補正プログラムは、
画像を表す画像データに基づいて、画像中の目に関する特定の不具合を検出して修正する画像補正プログラムにおいて、
画像データが表す画像、およびその画像上の領域のうちの少なくともいずれか一方を対象として、上記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
前処理過程で残ったものについて、画像データに基づいて上記不具合を検出して修正する補正部とを有することを特徴とする画像補正プログラム。
An image correction program of the present invention that achieves the above object is provided as follows:
In an image correction program for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the above-described defect may exist for at least one of an area on the image, and
An image correction program comprising: a correction unit that detects and corrects the above-described defect based on image data for what remains in the preprocessing process.
なお、本発明にいう画像補正装置および画像補正プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像補正装置および画像補正プログラムには、上記の基本形態のみではなく、前述した画像補正方法の各形態に対応する各種の形態が含まれる。 Note that the image correction device and the image correction program according to the present invention are only shown in the basic form here, but this is only for avoiding duplication, and the image correction device and the image correction program according to the present invention. Includes not only the above basic form but also various forms corresponding to the above-described forms of the image correction method.
また、上記本発明の画像補正装置と、上記画像補正プログラムとでは、それらを構成する構成要素名として、前処理部などといった互いに同一の名称を付しているが、画像補正プログラムの場合は、そのような作用をなすソフトウェアを指し、画像補正装置の場合は、ハードウェアを含んだものを指している。 Moreover, in the image correction apparatus of the present invention and the image correction program, the same names such as pre-processing units are given as component names constituting them, but in the case of an image correction program, It refers to software that performs such an action, and in the case of an image correction apparatus, it refers to software that includes hardware.
さらに、本発明の画像補正プログラムを構成する前処理部などといった構成要素は、1つの構成要素の機能が1つのプログラム部品によって担われるものであってもよく、1つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が1つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。 Further, the constituent elements such as the pre-processing unit constituting the image correction program of the present invention may be one in which the function of one constituent element is carried by one program component, and the function of one constituent element may be a plurality of functions. It may be carried by a program part, or the functions of a plurality of components may be carried by one program part. In addition, these components may execute such actions themselves, or may be executed by giving instructions to other programs and program components incorporated in the computer. Also good.
本発明の画像補正方法、画像補正装置、および画像補正プログラムによれば、処理時間を低減することができる。 According to the image correction method, the image correction apparatus, and the image correction program of the present invention, the processing time can be reduced.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
ここでは、本発明の画像補正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その画像補正プログラムに基づいてパーソナルコンピュータ上で本発明の画像補正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の画像補正装置の一実施形態として動作する例について説明する。 Here, one embodiment of the image correction program of the present invention is incorporated in a personal computer, and one embodiment of the image correction method of the present invention is executed on the personal computer based on the image correction program. An example in which the computer operates as an embodiment of the image correction apparatus of the present invention will be described.
図1は、本発明の一実施形態が適用されるパーソナルコンピュータの外観図である。 FIG. 1 is an external view of a personal computer to which an embodiment of the present invention is applied.
このパーソナルコンピュータ100は、CPU、RAMメモリ、ハードディスク等を内蔵した本体部110、本体部110からの指示により蛍光面121に画面表示を行うCRTディスプレイ120、このパーソナルコンピュータ100内にユーザの指示や文字情報を入力するためのキーボード130、蛍光面121上の任意の位置を指定することによりその位置に応じた指示を入力するマウス140を備えている。
The
本体部110は、さらに、外観上、フレキシブルディスクやCD−ROMが装填されるフレキシブルディスク装填口111およびCD−ROM装填口112を有しており、その内部には、装填されたフレキシブルディスクやCD−ROMをドライブする、フレキシブルディスクドライブ、CD−ROMドライブも内蔵されている。
The
ここでは、CD−ROMに本発明にいう画像補正プログラムが記憶されており、このCD−ROMがCD−ROM装填口112から本体部110内に装填され、CD−ROMドライブによりそのCD−ROMに記憶された画像補正プログラムがこのパーソナルコンピュータ100のハードディスク内にインストールされる。このパーソナルコンピュータ100のハードディスク内にインストールされた画像補正プログラムが起動されると、このパーソナルコンピュータ100は、本発明の画像補正装置の一実施形態として動作し、本発明の画像補正方法の一実施形態を実行する。
Here, an image correction program according to the present invention is stored in a CD-ROM, and this CD-ROM is loaded into the
また、本実施形態では、デジタルスチルカメラなどで撮影された撮影画像の画像データがフレキシブルディスクやCD−ROMに記憶され、そのフレキシブルディスクやCD−ROMが画像補正装置としてのパーソナルコンピュータ100に装填されて画像データがハードディスク内に取り込まれる。そして、取り込まれた画像データに対して、いわゆるフラッシュ撮影時にカメラが発する閃光が目の網膜に反射して瞳が赤く光る赤目現象を検出して黒目に修正する赤目補正やその他の画像処理が施され、処理後の画像データがフレキシブルディスクやハードディスクに記録される。
In the present embodiment, image data of a photographed image taken with a digital still camera or the like is stored in a flexible disk or CD-ROM, and the flexible disk or CD-ROM is loaded into a
図2は、本発明の画像補正方法の第1実施形態を示すフローチャートである。 FIG. 2 is a flowchart showing the first embodiment of the image correction method of the present invention.
この画像補正方法では、まず、補正モード選択過程(ステップS01)で、前処理(後述する)の結果に従って補正処理(後述する)が行われる「基本モード」と、前処理の結果をオペレータが確認してから補正処理が行われる「確認モード」のいずれかの補正モードが選択される。「基本モード」は、前処理過程(ステップS02)と補正過程(ステップS03)とを有し、「確認モード」は、「基本モード」と同様の前処理過程(ステップS04)と補正過程(ステップS07)とに加えて、表示過程(ステップS05)と修正過程(ステップS06)とを有する。 In this image correction method, first, in the correction mode selection process (step S01), the operator confirms the “basic mode” in which correction processing (described later) is performed according to the result of preprocessing (described later) and the result of the preprocessing. Then, one of the “confirmation modes” in which the correction process is performed is selected. The “basic mode” includes a preprocessing process (step S02) and a correction process (step S03), and the “confirmation mode” includes a preprocessing process (step S04) and a correction process (step S04) similar to the “basic mode”. In addition to S07), a display process (step S05) and a correction process (step S06) are included.
前処理過程は、不具合が存在し得ることを示す所定条件を満たすものを絞り込む過程であり、本発明の画像補正方法における前処理過程の一例に相当する。また、本実施形態では、この前処理過程で、画像を対象とした前処理を行い、その前処理では、撮影情報に基づいて赤目現象発生の可能性が判定される。 The pre-processing process is a process of narrowing down conditions that satisfy a predetermined condition indicating that a defect may exist, and corresponds to an example of a pre-processing process in the image correction method of the present invention. Further, in the present embodiment, preprocessing for an image is performed in the preprocessing process, and in the preprocessing, the possibility of occurrence of a red-eye phenomenon is determined based on photographing information.
また、表示過程は、前処理で絞り込まれた対象画像を表示する過程であり、本発明の画像補正方法における表示過程の一例に相当する。 Also, the display process is a process of displaying the target image narrowed down by the preprocessing, and corresponds to an example of the display process in the image correction method of the present invention.
修正過程は、オペレータが前処理の結果を確認して、不具合が存在している対象画像を絞り込みなおす過程である。この修正過程は、本発明の画像補正方法における修正過程の一例に相当する。 The correction process is a process in which the operator confirms the result of the preprocessing and narrows down the target image in which a defect exists. This correction process corresponds to an example of a correction process in the image correction method of the present invention.
ここで、本発明では、補正モード選択過程、表示過程、および修正過程は必須ではない。 Here, in the present invention, the correction mode selection process, the display process, and the correction process are not essential.
また、補正過程は、前処理過程や修正過程で絞り込まれた対象画像に対して不具合の検出と補正が行われる過程であり、本発明の画像補正方法における補正過程の一例に相当する。本実施形態では、この補正過程で、赤目現象の検出と補正が行われる。 Further, the correction process is a process in which a defect is detected and corrected for the target image narrowed down in the preprocessing process and the correction process, and corresponds to an example of the correction process in the image correction method of the present invention. In the present embodiment, the red-eye phenomenon is detected and corrected in this correction process.
これら各ステップの詳細な内容については後述する。 The detailed contents of each step will be described later.
図3は、本発明の画像補正プログラムの第1実施形態を示す図である。ここでは、この画像補正プログラム300は、画像補正プログラム記憶媒体200に記憶されている。
FIG. 3 is a diagram showing a first embodiment of the image correction program of the present invention. Here, the
この図3に示す画像補正プログラム記憶媒体200は、画像補正プログラム300が記憶された記憶媒体であればその種類を問うものではなく、例えばCD−ROMにこの画像補正プログラム300が格納されているときはそのCD−ROMを指し、その画像補正プログラム300がローディングされてハードディスク装置に記憶されたときはそのハードディスク装置を指し、あるいはその画像補正プログラム300がフレキシブルディスクやDVDやCD−Rなどにダウンロードされたときはそのフレキシブルディスクなどを指す。
As long as the image correction
この画像補正プログラム300は、図1に示すパーソナルコンピュータ100内で実行され、そのパーソナルコンピュータ100を、画像中の赤目現象を検出して修正する画像補正装置として動作させるものであり、前処理部310と表示部320と修正部330と補正部340とを有する。
The
これら前処理部310、表示部320、修正部330、および補正部340は、それぞれ、図3に示す前処理過程(ステップS02,S04)、表示過程(ステップS05)、修正過程(ステップS06)、および補正過程(ステップS03,S07)を実行する役割を担っている。また、これら前処理部310、表示部320、修正部330、および補正部340は、それぞれ、本発明の画像補正プログラムにおける前処理部、表示部、修正部、および補正部の各一例に相当する。
The
この画像補正プログラム300の各要素の作用については後述する。
The operation of each element of the
図4は、本発明の画像補正装置の第1実施形態の機能ブロック図である。 FIG. 4 is a functional block diagram of the first embodiment of the image correction apparatus of the present invention.
この画像補正装置400は、図3の画像補正プログラム300が、図1に示すパーソナルコンピュータ100にインストールされて実行されることにより構成されるものである。
The
この画像補正装置400は前処理部410と表示部420と修正部430と補正部440とから構成されている。前処理部410、表示部420、修正部430、および補正部440は、それぞれ、図3に示す画像補正プログラム300を構成する、前処理部310、表示部320、修正部330、および補正部340に対応し、本発明の画像補正装置における前処理部、表示部、修正部、および補正部の各一例に相当する。なお、図4の各要素は、図1に示すパーソナルコンピュータ100のハードウェアとそのパーソナルコンピュータで実行されるOSやアプリケーションプログラムとの組合せで構成されているのに対し、図3に示す画像補正プログラムの各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
The
以下、図4に示す画像補正装置400の各要素を説明することによって、図2に示すフローチャートの各ステップと、図3に示す画像補正プログラム300の各要素も合わせて説明する。
Hereinafter, by describing each element of the
まず、補正モードとして基本モードが選択された場合について説明する。 First, the case where the basic mode is selected as the correction mode will be described.
オペレータが図示しない補正モード選択画面で「基本モード」を選択すると、その補正モード情報D11が前処理部410に伝えられる。図2のフローチャートにおいては、ステップS1からステップS2に進む。
When the operator selects “basic mode” on a correction mode selection screen (not shown), the correction mode information D11 is transmitted to the
前処理部410には、複数の原画像を表す画像データD10が入力され、その画像データD10に添付された撮影情報に基づいて、画像中に赤目現象が生じている可能性がある原画像が絞り込まれる(図2のステップS2)。ここでは、画像データD10はデジタルスチルカメラによって得られたものであり、この画像データD10には、Exif情報、閃光発光装置のオンオフ情報、シャッター速度、絞り値、露出(Ev値)、被写体距離、撮影モード、天地情報、撮影時刻、カメラの機種などといった撮影情報が添付されている。そして、前処理部410では、この撮影情報が用いられて補正対象の原画像が絞り込まれる。例えば、閃光発光装置のオンオフ情報がオフを示している場合や、シャッター速度が速くて露出(Ev値)が高い場合や、絞り値が小さくて撮影時刻が昼間を示している場合や、被写体距離が閃光の有効な到達距離を超えている場合や、撮影モードが風景モードである場合などには、赤目が発生している可能性はないので赤目補正の対象から除外される。逆に、カメラの機種が赤目を生じやすい機種を示していて閃光発光装置のオンオフ情報がオンを示している場合等には赤目補正の対象とされる。前処理部410におけるこのような前処理は、多くの判定項目が存在していても単純な判定ルーチンなどで高速に実行することができるので、処理時間は短くても効率よく対象を絞り込むことができる。また、この前処理部410における前処理は、後の補正処理における無駄を減らすことが目的の処理であって、赤目が生じているか否かを確実に判別することは目的としない。このため、判定項目として、赤目現象が確実に存在しないか少しでも存在し得るかを判別するための判定項目のみを採用することで、十分に目的を達成するとともに判定ミスを防止することができる。
Image data D10 representing a plurality of original images is input to the
前処理部410での前処理の結果は、画像データD10とともに補正部440に送られる。画像データD10のうち、前処理の結果で赤目が生じていると判別された原稿画像を表わす画像データには、赤目を検出して修正する補正処理が施される(図2のステップS3)。この補正処理の内容自体は本発明の主題ではないので説明は省略するが、例えば、特開2000−76427号公報に開示されている技術などが用いられる。前処理部410によって補正処理の対象が絞り込まれているので、この補正部440での処理時間は短縮されており、赤目現象の誤検出も少ない。
The result of the preprocessing in the
この補正部440で補正処理が施されて得られた赤目補正画像と、前処理部410で補正処理の対象から除外された原画像は、画像補正装置400とは別の機能として図1に示すパーソナルコンピュータ100内で実行される、色処理やシャープネス処理などといった他の画像処理500に送られる。
The red-eye correction image obtained by performing the correction process by the
以上で、「基本モード」選択時の説明を終了し、続いて、「確認モード」選択時の説明を行う。 This completes the explanation when “Basic mode” is selected, and then the explanation when “Confirm mode” is selected.
オペレータが図示しない補正モード選択画面で「確認モード」を選択したときにも、その補正モード情報D11は前処理部410に伝えられる。図2のフローチャートにおいては、ステップS1からステップS4に進む。
Even when the operator selects “confirmation mode” on the correction mode selection screen (not shown), the correction mode information D11 is transmitted to the
前処理部410では、図2のステップS02と同様な処理によって、画像中に赤目現象が生じている可能性がある原画像が絞り込まれる(図2のステップS4)。
The
この前処理の結果は、表示部420によって、図1に示すCRTディスプレイ120上に表示される(図2のステップS5)。
The result of this preprocessing is displayed on the
図5は、前処理結果の表示例とその修正用画面の例を示す図である。 FIG. 5 is a diagram showing a display example of a preprocessing result and an example of a correction screen.
この図5のパート(A)には、CRTディスプレイの蛍光面121が示されており、この蛍光面121上には、前処理に入力された全ての原画像421が縮小表示される。また、前処理によって絞り込まれた原画像421には、赤目マーク422が付されている。
5 (A) shows a
オペレータは、CRTディスプレイ120に表示された原画像421を確認し、前処理の結果を修正する(図2のステップS6)。
The operator confirms the
原画像421上で、図1に示すマウス140の右ボタンをクリックすると、図5のパート(B)に示す修正用ポップアップ画面122が表示される。オペレータは、赤目マーク422が付加された原画像421を確認し、赤目現象の可能性が一見して皆無であるような場合には、修正用ポップアップ画面122で「赤目解除」を選択する。逆に、赤目マーク422が付加されていない原画像421に、明らかに赤目現象が生じている場合には、修正用ポップアップ画面122で「赤目追加」を選択する。図4に示す修正部430は、オペレータによって「赤目解除」が選択された原画像を赤目補正の対象から除外し、「赤目追加」が選択された原画像を赤目補正の対象に追加する。
When the right button of the mouse 140 shown in FIG. 1 is clicked on the
ここで、本実施形態では採用されていないが、本発明で採用され得る別の表示例について説明する。 Here, another display example that is not employed in the present embodiment but may be employed in the present invention will be described.
図6は、前処理結果の別の表示例を示す図である。 FIG. 6 is a diagram showing another display example of the preprocessing result.
この図6に示す表示例の場合には、蛍光面121上に、前処理によって絞り込まれた原画像421だけが表示される。例えば、前処理部410で原画像を絞り込む条件を緩めに設定しておくなどして、赤目現象が生じている可能性が少しでもある原画像を全て表示し、オペレータは絞り込まれた原画像の「赤目解除」のみ行うものでもよい。前処理によって、確認すべき画像の数が減っているので、このような確認は容易であると期待される。
In the case of the display example shown in FIG. 6, only the
修正部430を経て修正が施された前処理の結果は、画像データD10とともに補正部440に送られる。画像データD10のうち、修正後の前処理の結果で赤目が生じていると判別された原稿画像を表わす画像データには、「基本モード」における補正処理過程(図2のステップS3)と同様の、補正処理過程(図2のステップS7)で補正処理が施される。赤目が補正された赤目補正画像を表す画像データD22は、「基本モード」の場合と同様に、上述した他の画像処理に送られる。
The result of the preprocessing corrected through the
図5および図6を使って説明した以外にも、例えば、前処理に入力された全ての原画像421がCRTディスプレイ120に表示されて、それら原画像を1クリックするごとに「赤目追加」あるいは「赤目解除」が切り替わるものなどであってもよい。1クリックで赤目の追加および解除を切り替える方法は、操作が簡単であるという利点がある。
In addition to the description with reference to FIGS. 5 and 6, for example, all the
また、前処理の結果、赤目検出結果、赤目修正結果などについては、FDにファイル出力したり、プリント用紙の裏などにプリント出力することが好ましい。どのような処理過程を経たのがを後で容易に調べることができる。 Also, it is preferable that the pre-processing result, red-eye detection result, red-eye correction result, etc. are output to a file on the FD or printed on the back of the print paper. It can be easily checked later what processing steps have been performed.
以上説明したように、前処理の結果をオペレータが修正してから、補正処理を行うことによって、画像補正処理全体の精度を向上させることができる。 As described above, the accuracy of the entire image correction process can be improved by performing the correction process after the operator corrects the result of the pre-process.
次に、上述した実施形態とは異なる第2実施形態について説明する。 Next, a second embodiment different from the above-described embodiment will be described.
この第2実施形態でも、本発明の画像補正プログラムの一実施形態がパーソナルコンピュータに組み込まれ、その画像補正プログラムに基づいてパーソナルコンピュータ上で本発明の画像補正方法の一実施形態が実行され、その結果、そのパーソナルコンピュータが本発明の画像補正装置の一実施形態として動作する。 Also in the second embodiment, one embodiment of the image correction program of the present invention is incorporated in a personal computer, and one embodiment of the image correction method of the present invention is executed on the personal computer based on the image correction program. As a result, the personal computer operates as an embodiment of the image correction apparatus of the present invention.
ここで、本発明の画像補正方法の第2実施形態と本発明の画像補正プログラムの第2実施形態については、図2および図3をそのまま流用して説明する。 Here, the second embodiment of the image correction method of the present invention and the second embodiment of the image correction program of the present invention will be described with reference to FIGS. 2 and 3 as they are.
本発明の画像補正方法の第2実施形態では、第1実施形態における前処理過程に替わる前処理過程(ステップS02,S04)で、画像上の領域を対象とした前処理が行われ、その前処理では、撮影情報とシーン解析とに基づいて領域が絞り込まれる。また、このように絞り込まれた領域が、第1実施形態における表示過程に替わる表示過程(ステップS05)で表示されるとともに、第1実施形態における修正過程に替わる修正過程(ステップS06)で修正される。 In the second embodiment of the image correction method of the present invention, preprocessing is performed on a region on an image in a preprocessing process (steps S02 and S04) instead of the preprocessing process in the first embodiment. In the processing, the area is narrowed down based on the shooting information and the scene analysis. The area thus narrowed down is displayed in a display process (step S05) that replaces the display process in the first embodiment, and is corrected in a correction process (step S06) that replaces the correction process in the first embodiment. The
また、本発明の画像補正プログラムの第2実施形態には、第1実施形態における前処理部、表示部、および修正部に替えて、上述した、対象領域を絞り込む前処理過程、絞り込まれた領域を表示する表示過程、および絞り込まれた領域を修正する修正過程のそれぞれに対応した前処理部310、表示部320、および修正部330が備えられている。
Further, in the second embodiment of the image correction program of the present invention, instead of the preprocessing unit, the display unit, and the correction unit in the first embodiment, the above-described preprocessing process for narrowing down the target area, the narrowed area Are provided with a
図7は、本発明の画像補正装置の第2実施形態を示す機能ブロック図である。 FIG. 7 is a functional block diagram showing a second embodiment of the image correction apparatus of the present invention.
この画像補正装置401は、第2実施形態の画像補正プログラムが、図1に示すパーソナルコンピュータ100にインストールされて実行されることにより構成されるものである。
The
この画像補正装置401は前処理部450と表示部460と修正部470と補正部440とから構成されている。前処理部450、表示部460、修正部470、および補正部440は、本発明の画像補正装置における前処理部、表示部、修正部、および補正部の各一例に相当する。また、この図7の補正部440は、図4に示す補正部440と全く同様のものである。
The
以下、図7に示す画像補正装置401の各要素を説明する。
Hereinafter, each element of the
前処理部450には、オペレータによって選択された補正モード情報D11と、原画像を表す画像データD20とが入力されるとともに、その画像データに添付された天地情報D21も入力される。画像データD20と天地情報D21とに基づいて、天地検出部441で画像の天地が検出される。また、画像データD20に基づいたシーン解析によって、顔検出部442で原画像中の顔の領域が検出される。そして、天地検出部441で検出された天地の情報と、顔検出部442で検出された顔の領域とに基づいて、顔上半分特定部443で、顔の上半分に相当する領域が特定される。このように特定された領域が赤目補正の対象領域とされることによって、赤目補正の対象領域が大幅に絞り込まれる。なお、前処理部440で顔が検出されなかった画像などは、色処理などの他の画像処理に送られる。
The
このように絞り込まれた領域が、表示部450によって、図1に示すCRTディスプレイ120上に表示されて確認される。
The area narrowed down in this way is displayed on the
図8は、第2実施形態における、原画像の例(A)、検出された顔の領域(B)、前処理結果の表示例(C)を示す図である。 FIG. 8 is a diagram illustrating an example of an original image (A), a detected face region (B), and a display example (C) of a preprocessing result in the second embodiment.
この図8のパート(A)に示す原画像610は、図7に示す画像データD20が表す原画像の一例であり、このパート(A)に示す原画像610には人物像611が含まれている。
The
また、この図8のパート(B)には、パート(A)に示す原画像610に基づいたシーン解析によって検出された顔の領域620が斜線を付して示されている。
Further, in part (B) of FIG. 8, a
更に、この図8のパート(C)には、パート(B)に示す顔の領域620のうち上半分の領域630が分割マーク631によって示されている。このパート(C)に示されている画像が、表示部によってCRTディスプレイ上に表示される。このように表示された画像をオペレータが見ることにより、前処理が正確に行われたか否かを確認することができる。
Further, in the part (C) of FIG. 8, the
表示された画像の分割マーク631の位置が一見してずれている場合などには、オペレータは、図1に示すマウス140を使って、分割マーク631を赤目現象が生じている位置に移動させる。このとき、修正部470では、オペレータからの指示に合わせて赤目補正の対象領域が修正される。
When the position of the
図7に示す前処理部440で領域が絞り込まれて表示部450によって表示された原画像の画像データは、修正部470を経て赤目補正の対象領域が修正された上で補正部440に送られて、その対象領域に対して上述した赤目補正が施される。前処理部450で対象領域が大幅に絞り込まれているため、赤目補正の処理時間は大幅に低減される。
The image data of the original image displayed by the
補正部440による赤目補正の結果、赤目が補正された赤目補正画像を表す画像データD22が得られ、この画像データD22は、第1実施形態と同様に、上述した他の画像処理に送られる。
As a result of red-eye correction by the
なお、上記説明では、顔抽出処理や天地判定処理を赤目検出のために単独で実施する例について説明したが、これらの処理は、例えばセットアップ処理等といった他の処理の一部として実施され、その結果が再利用されることが望ましい。 In the above description, the example in which the face extraction process and the top / bottom determination process are performed independently for red-eye detection has been described, but these processes are performed as part of other processes such as a setup process, for example. It is desirable that the results be reused.
また、記説明では、目の不具合として赤目が例示されているが、本発明にいう目の不具合としては、赤目以外の、金目や目つぶりなどといった不具合であってもよい。 In the above description, red eyes are exemplified as eye defects. However, the eye defects referred to in the present invention may be defects other than red eyes, such as gold eyes and blinking eyes.
また、上記説明では、シーン解析の例として顔検出や天地検出が示されているが、本発明では、シーン解析としてフラッシュ撮影の検出が採用されて、フラッシュ撮影によって得られた可能性がある画像が補正対象とされてもよい。 In the above description, face detection and top-and-bottom detection are shown as examples of scene analysis. However, in the present invention, detection of flash photography is adopted as scene analysis, and images that may have been obtained by flash photography. May be a correction target.
また、上記説明では、記憶媒体に記憶された画像補正プログラムが例示されているが、本発明の画像補正プログラムは、通信ネットワーク上などで送受信されているものであってもよい。 In the above description, the image correction program stored in the storage medium is exemplified, but the image correction program of the present invention may be transmitted / received over a communication network or the like.
また、上記説明では、記憶媒体に記憶された画像データを取り込む画像補正装置が例示されているが、本発明の画像補正装置は、デジタルスチルカメラからUSBなどで画像データを取り込むものであってもよく、あるいは、通信ネットワークなどを介して画像データを取り込むものであってもよい。 In the above description, an image correction apparatus that captures image data stored in a storage medium is illustrated. However, the image correction apparatus of the present invention may capture image data from a digital still camera using a USB or the like. Alternatively, the image data may be captured via a communication network or the like.
また、本発明の画像補正装置は、前処理のON/OFFを切り替える手段をさらに備えたものであってもよい。 Further, the image correction apparatus of the present invention may further include means for switching ON / OFF of preprocessing.
また、上記説明では、画像処理後の画像データをフレキシブルディスクやハードディスクに記録する例が示されているが、本発明では、画像処理後の画像データを、CD−R、DVD、MOなどといった他の種類の記憶媒体に出力するものであってもよく、画像処理後の画像データを写真プリンタなどに出力するものであってもよく、あるいは、通信ネットワークなどを介して画像処理後の画像データを出力するものであってもよい。 Further, in the above description, an example in which image data after image processing is recorded on a flexible disk or hard disk is shown. However, in the present invention, image data after image processing is stored in other formats such as CD-R, DVD, MO, etc. The image data may be output to a storage medium of the above type, the image data after image processing may be output to a photo printer or the like, or the image data after image processing may be output via a communication network or the like. It may be output.
また、上記説明では、パーソナルコンピュータ上で、本発明の実施形態による画像補正の後に、他の画像処理が施される例が示されているが、本発明による画像補正は、そのような他の画像処理とは切り離されて、専用のパーソナルコンピュータなどで単独に実行されてもよい。 In the above description, an example is shown in which other image processing is performed on the personal computer after the image correction according to the embodiment of the present invention. It may be separated from the image processing and executed independently by a dedicated personal computer or the like.
100 パーソナルコンピュータ
110 本体部
111 フレキシブルディスク装填口
112 CD−ROM装填口
120 CRTディスプレイ
121 蛍光面
130 キーボード
140 マウス
200 画像補正プログラム記憶媒体
300 画像補正プログラム
310 前処理部
320 表示部
330 修正部
340 補正部
400,401 画像補正装置
410,450 前処理部
421 原画像
422 赤目マーク
441 天地検出部
442 顔検出部
443 顔上半分特定部
420,460 表示部
430 修正部
440 補正部
500 他の画像処理
610 原画像
611 人物像
620 顔の領域
630 上半分の領域
D10,D20 原画像を表す画像データ
D11 補正モード情報
D21 天地情報
D22 赤目補正画像を表す画像データ
DESCRIPTION OF
Claims (7)
画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理過程と、
前記前処理で絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する補正過程とを有することを特徴とする画像補正方法。 In an image correction method for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A preprocessing step of performing preprocessing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction method comprising: a correction process for detecting and correcting the defect on the basis of image data for those narrowed down by the preprocessing.
前記前処理過程が、前記画像データに添付された撮影情報に基づいて前記前処理を行う過程であることを特徴とする請求項1記載の画像補正方法。 The image data represents a captured image, and attached with shooting information obtained at the time of shooting,
2. The image correction method according to claim 1, wherein the preprocessing step is a step of performing the preprocessing based on photographing information attached to the image data.
前記補正過程は、前記前処理過程と前記修正過程とを経て絞り込まれたものについて、画像データに基づいて前記不具合を検出して修正する過程であることを特徴とする請求項1記載の画像補正方法。 Confirming the result of the pre-processing by the pre-processing process, further comprising a correction process for reselecting the defect is present,
2. The image correction according to claim 1, wherein the correction process is a process of detecting and correcting the defect on the basis of image data with respect to what has been narrowed down through the preprocessing process and the correction process. Method.
画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
前記前処理過程で残ったものについて、画像データに基づいて前記不具合を検出して修正する補正部とを有することを特徴とする画像補正装置。 Based on image data representing an image, in an image correction apparatus that detects and corrects a specific defect related to eyes in the image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction apparatus comprising: a correction unit that detects and corrects the defect based on image data for what remains in the preprocessing process.
画像データが表す画像、および該画像上の領域のうちの少なくともいずれか一方を対象として、前記不具合が存在し得ることを示す所定条件を満たすものを絞り込む前処理を行う前処理部と、
前記前処理過程で残ったものについて、画像データに基づいて前記不具合を検出して修正する補正部とを有することを特徴とする画像補正プログラム。 In an image correction program for detecting and correcting a specific defect related to eyes in an image based on image data representing an image,
A pre-processing unit that performs pre-processing for narrowing down an image represented by image data and a predetermined condition indicating that the defect may exist for at least one of an area on the image, and
An image correction program comprising: a correction unit that detects and corrects the defect based on image data for what remains in the preprocessing process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003316424A JP2004139574A (en) | 2002-09-24 | 2003-09-09 | Image correction method, image correction device, and image correction program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002277557 | 2002-09-24 | ||
JP2003316424A JP2004139574A (en) | 2002-09-24 | 2003-09-09 | Image correction method, image correction device, and image correction program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004139574A true JP2004139574A (en) | 2004-05-13 |
Family
ID=32473055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003316424A Pending JP2004139574A (en) | 2002-09-24 | 2003-09-09 | Image correction method, image correction device, and image correction program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004139574A (en) |
-
2003
- 2003-09-09 JP JP2003316424A patent/JP2004139574A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7692696B2 (en) | Digital image acquisition system with portrait mode | |
JP4966021B2 (en) | Method and apparatus for optimizing red eye filter performance | |
JP4345651B2 (en) | Image information evaluation method, image information evaluation program, and image information evaluation apparatus | |
US7352394B1 (en) | Image modification based on red-eye filter analysis | |
US7548645B2 (en) | Image processor and image processing system | |
JP4942189B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2006024193A (en) | Image correction device, image correction program, image correction method and image correction system | |
JP2005267512A (en) | Method and device for detecting specific range, and program | |
JP2004350130A (en) | Digital camera | |
JP2005353010A (en) | Image processor and imaging device | |
US20090324069A1 (en) | Image processing device, image processing method, and computer readable medium | |
US7277589B2 (en) | Image retouching method, apparatus, and program storage medium, image correcting method, apparatus, and program storage medium, and eye detecting and correcting method apparatus, and program storage medium | |
JP2005197996A (en) | Control method and controller of digital camera | |
JP2004282570A (en) | Image processor | |
JP2005309971A (en) | Red-eye compensation method, program and device for executing the same method | |
JP2005286830A (en) | Image processing method, image processing apparatus, and program | |
JP2005086271A (en) | Electronic camera | |
JP2004139574A (en) | Image correction method, image correction device, and image correction program | |
JP2007150491A (en) | Camera, and image control program | |
JP4591603B2 (en) | Image information evaluation method, image information evaluation program, and image information evaluation apparatus | |
JP4400481B2 (en) | Image processing device | |
JP5750934B2 (en) | Image processing apparatus and image processing program | |
JP2010102507A (en) | Background replacement equipment, background replacement program, background replacement method and photographing system | |
JP2006113776A (en) | Image processing system and image processing program | |
JP2006092162A (en) | Image processing system and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060418 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |