JP2007200069A - Photographic image processing method and device thereof - Google Patents

Photographic image processing method and device thereof Download PDF

Info

Publication number
JP2007200069A
JP2007200069A JP2006018548A JP2006018548A JP2007200069A JP 2007200069 A JP2007200069 A JP 2007200069A JP 2006018548 A JP2006018548 A JP 2006018548A JP 2006018548 A JP2006018548 A JP 2006018548A JP 2007200069 A JP2007200069 A JP 2007200069A
Authority
JP
Japan
Prior art keywords
face image
image
photographic
face
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006018548A
Other languages
Japanese (ja)
Inventor
Noriyuki Nishi
規之 西
Keisuke Izumi
圭介 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2006018548A priority Critical patent/JP2007200069A/en
Publication of JP2007200069A publication Critical patent/JP2007200069A/en
Withdrawn legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a photographic image processing method and its device, capable of acquiring a photographic print reflecting the photographic intention, while detecting a facial image of a person contained in an original image. <P>SOLUTION: This photographic image processing device is equipped with a facial image detection means 51 for detecting the facial image of the person from original image data, a photographic scene determination means 53 for determining that the image is photographic scene of at least a portrait picture, a commemorative picture or a landscape picture, based on a detection result by the face image detection means 51, and a correction processing means 54 for performing correction processing of the original image data, based on a determination result by the photographic scene determination means 53. The device is also equipped with an attitude determination means 52 for determining, to which direction of vertical and horizontal directions of the original image the attitude of the detected face image, is faced. The photographic scene determination means 53 sets a facial image detection region, based on the attitude of the face image determined by the attitude determination means 52, and determines the photographic scene, based on the area ratio of the face image existing in the facial image detection region. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法及びその装置に関する。   According to the present invention, a face image detection process for detecting a human face image from input original image data, and at least a portrait photograph and a photograph other than a portrait photograph are distinguished based on the detection result of the face image detection process. The present invention relates to a photographic image processing method and apparatus including a photographic scene determination step for determining a scene, and a correction processing step for correcting the original image data based on a determination result in the photographic scene determination step.

銀塩写真画像をフィルムスキャナで取り込んだデジタル画像やデジタルスチルカメラで撮影したデジタル画像を原画像データとして写真プリンタで出力する場合には、フィルムスキャナやデジタルスチルカメラ等の入力系、原画像データに対する拡縮処理等の画像処理系、及び、写真プリンタ等の出力系夫々の固有の原因により鮮鋭度が低下して出力写真の画質が劣化するという問題があり、ピントの甘い画像や拡縮処理等で損なわれた鮮鋭感を回復するために様々な鮮鋭化処理方法が提案されている。   When a digital image taken with a film scanner or a digital image taken with a digital still camera is output to the photographic printer as original image data, the input system for the film scanner or digital still camera, or the original image data There is a problem that the image quality of the output photograph deteriorates due to the inherent cause of each of the image processing system such as enlargement / reduction processing and the output system such as a photographic printer, which is damaged by a poorly focused image or enlargement / reduction processing etc. Various sharpening treatment methods have been proposed to restore the sharpness.

一般的に風景写真の場合には鮮鋭化強度を強めに設定し、人物写真の場合には鮮鋭化強度を弱めに設定したプリント画像が好まれる傾向があるため、特許文献1には、非人物写真、証明写真、ポートレート、スナップ写真、集合写真等の撮影シーンを推定し、各撮影シーンに適した画像処理を行なうことが可能な画像処理方法として、顔検出手段によって顔領域を検出し、前記検出された顔領域の数や、最大サイズの顔領域のサイズ情報に基づいて画像処理条件パラメータを生成し、前記画像処理条件パラメータに基づいて画像処理することを特徴とする画像処理方法が提案されている。   In general, there is a tendency to prefer a print image in which sharpening strength is set to be higher in the case of landscape photography, and in which sharpening strength is set to be lower in the case of portrait photography. As an image processing method capable of estimating shooting scenes such as photographs, ID photos, portraits, snapshots, group photos, etc., and performing image processing suitable for each shooting scene, a face area is detected by face detection means, An image processing method is proposed in which an image processing condition parameter is generated based on the number of detected face areas and the size information of the largest face area, and image processing is performed based on the image processing condition parameter. Has been.

さらに、特許文献2には、入力画像より人物の顔を検出して人物の有無を判断し、人物が無いときには風景写真画像と判断し、人物が存するときには、その後顔の面積の算出及び人数をカウントし、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下でないときは人物・記念写真画像と判断し、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下のときは、ポートレート画像と判断する画像判別方法が提案されている。   Further, in Patent Document 2, a person's face is detected from an input image to determine the presence or absence of a person. When there is no person, it is determined to be a landscape photograph image. When the face area is greater than or equal to a predetermined percentage of the screen and this number is not less than the predetermined number, it is determined as a person / commemorative photo image. In some cases, an image discrimination method for determining a portrait image has been proposed.

特開2005−141523号公報JP 2005-141523 A 特開2005−173932号公報JP 2005-173932 A

しかし、上述した従来技術によれば原画像の全領域から検出された顔画像の数や大きさに基づいて撮影シーンを判定するものであったために、注目被写体以外の複数の他の顔画像が含まれるような場合や、注目被写体より大きな他の顔画像が含まれる場合には、それらの影響を反映した鮮鋭化処理等の画像処理が施されてしまうために、撮影意図に反した写真プリントが生成されるという不都合があった。   However, according to the above-described prior art, since the shooting scene is determined based on the number and size of face images detected from the entire area of the original image, a plurality of other face images other than the subject of interest are included. If it is included, or if another face image larger than the subject of interest is included, image processing such as sharpening processing that reflects those effects will be performed, so photo prints contrary to the shooting intention There is a disadvantage that is generated.

本発明は、上述の従来欠点に鑑み、原画像に含まれる人物の顔画像を検出しながらも、撮影意図を反映した写真プリントを得ることのできる写真画像処理方法及びその装置を提供することを目的とする。   In view of the above-described conventional drawbacks, the present invention provides a photographic image processing method and apparatus capable of obtaining a photographic print reflecting a shooting intention while detecting a face image of a person included in an original image. Objective.

上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法であって、前記顔画像検出工程で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定工程を備え、前記撮影シーン判定工程は、前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する点にある。   In order to achieve the above-mentioned object, the first characteristic configuration of the photographic image processing method according to the present invention is that, as described in claim 1 of the document of the claims, a human face image is input from the input original image data. A face image detection step to detect, a shooting scene determination step of determining a shooting scene by distinguishing at least a portrait photo and a photo other than the portrait photo based on the detection result of the face image detection step, and the shooting scene determination step A photographic image processing method comprising a correction processing step for correcting the original image data based on a determination result, wherein the posture of the face image of the person detected in the face image detection step is either vertical or horizontal. A posture determination step for determining whether the image is along a direction, and the photographing scene determination step includes a face image detection region based on the posture of the face image determined in the posture determination step Set lies in that the photographic scene is determined based on the area ratio of the face image existing in the face image detection area.

一般的にポートレート写真を撮影する場合には、被写体が画像の中央部に位置し、しかも縦横比の異なる矩形で区画されるコマ画像に対して縦が上下方向姿勢となるように撮影する場合が多く、記念写真を撮影する場合には、背景が左右に写るように被写体が画像の中央部に位置し、しかも縦横比の異なる矩形で区画されるコマ画像に対して横が上下方向姿勢となるように撮影する場合が多い。複数に人物を撮影する場合にはその傾向がより顕著となる。また、風景写真を撮影する場合には、縦横比の異なる矩形で区画されるコマ画像に対して横が上下方向姿勢となるように撮影する場合が多い。   In general, when taking a portrait photograph, the subject is located in the center of the image and the portrait is vertically oriented with respect to the frame image divided by rectangles having different aspect ratios. When taking a commemorative photo, the subject is positioned in the center of the image so that the background appears to the left and right, and the horizontal orientation of the frame image is divided into rectangles with different aspect ratios. There are many cases where shooting is performed. This tendency becomes more prominent when a plurality of people are photographed. In addition, when taking a landscape photograph, it is often the case that a landscape is taken up and down with respect to a frame image divided by rectangles having different aspect ratios.

上述の構成によれば、このような傾向に鑑みて、姿勢判定工程によって人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定し、撮影シーン判定工程によって前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域、つまり、コマ画像の縦が上下方向姿勢となる画像と横が上下方向姿勢となる画像の何れであるかによって異なる画像検出領域を設定することにより、撮影意図に沿わない他の顔画像の影響を確実に排除することができるようになり、前記顔画像検出領域に存在する注目被写体の顔画像の面積比率に基づいて撮影シーンを適切に判定することができるようになるのである。従って、撮影意図に沿った最適な補正処理を行なうことができるようになる。   According to the above-described configuration, in view of such a tendency, it is determined whether the posture of the person's face image is along the vertical or horizontal direction of the original image by the posture determination step, and the posture determination step is performed by the shooting scene determination step. A face image detection area based on the posture of the face image determined in step 1, that is, an image detection area that differs depending on whether the frame image is an image having a vertical orientation or an image having a horizontal orientation. By doing so, it is possible to reliably eliminate the influence of other face images that do not conform to the shooting intention, and to appropriately select the shooting scene based on the area ratio of the face image of the subject of interest existing in the face image detection region. It will be possible to make a decision. Accordingly, it is possible to perform an optimal correction process in accordance with the photographing intention.

同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記撮影シーン判定工程は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定する点にある。   In the second feature configuration, in addition to the first feature configuration described above, in the shooting scene determination step, the area ratio of the face image existing in the face image detection region is preset. Among the face images that are larger than the reference area ratio, the shooting scene is determined using the face image having the maximum size as the determination reference face image.

上述の構成によれば、注目被写体の顔画像の面積比率が予め設定された基準面積比率より大となる顔画像が存在する場合に、人物に比重を置いた撮影であると判別することができ、その中の最大サイズの顔画像を判定基準顔画像とすることにより適切に撮影シーンを判別することができるようになるのである。   According to the above-described configuration, when there is a face image in which the area ratio of the face image of the subject of interest is larger than a preset reference area ratio, it can be determined that the shooting is based on the specific gravity of the person. By using the maximum-sized face image as the determination reference face image, it is possible to appropriately determine the shooting scene.

本発明による写真画像処理装置の第一の特徴構成は、同請求項3に記載した通り、入力された原画像データから人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定手段と、前記撮影シーン判定手段による判定結果に基づいて前記原画像データを補正処理する補正処理手段を備えてなる写真画像処理装置であって、前記顔画像検出手段で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段を備え、前記撮影シーン判定手段は、前記姿勢判定手段で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する点にある。   According to the first characteristic configuration of the photographic image processing apparatus of the present invention, as described in the third aspect of the present invention, a face image detecting unit that detects a face image of a person from input original image data and the face image detecting unit A shooting scene determination unit that determines a shooting scene by distinguishing at least a portrait photo and a photo other than the portrait photo based on the detection result, and a correction that corrects the original image data based on the determination result by the shooting scene determination unit A photographic image processing apparatus comprising processing means, comprising posture determination means for determining whether the posture of the face image of the person detected by the face image detection means is along the vertical or horizontal direction of the original image; The shooting scene determination unit sets a face image detection region based on the posture of the face image determined by the posture determination unit, and detects a face image existing in the face image detection region. It lies in that the photographic scene is determined based on the product ratio.

同第二の特徴構成は、同請求項4に記載した通り、上述の第一特徴構成に加えて、前記撮影シーン判定手段は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定し、前記補正処理手段は、前記撮影シーン判定手段により判定された撮影シーン及び前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する点にある。   In the second feature configuration, as described in claim 4, in addition to the first feature configuration described above, the shooting scene determination unit sets the area ratio of the face image existing in the face image detection region in advance. The photographic scene is determined using a face image having a maximum size among the face images larger than the determined reference area ratio as a determination reference face image, and the correction processing unit determines the photographic scene determined by the photographic scene determination unit and the determination. The original image data is corrected based on the area ratio of the reference face image.

以上説明した通り、本発明によれば、原画像に含まれる人物の顔画像を検出しながらも、撮影意図を反映した写真プリントを得ることのできる写真画像処理方法及びその装置を提供することができるようになった。   As described above, according to the present invention, it is possible to provide a photographic image processing method and apparatus capable of obtaining a photographic print reflecting a shooting intention while detecting a face image of a person included in an original image. I can do it now.

以下に本発明による写真画像処理方法及びその装置を説明する。デジタル方式の写真画像処理装置は、図1及び図2に示すように、撮影済みのネガフィルム(以下、単に「フィルム」と記す。)F等から写真画像を読み取るフィルムスキャナ1aや、デジタルスチルカメラによる撮影画像データが格納されたSDカードやメモリスティック等の各種のカード型メモリM等に対応したメディアドライバ1bを備えた画像データ入力部1と、入力された画像データを格納するハードディスク等でなる画像データ記憶部2と、前記画像データに基づいて画像を表示するモニタ3と、キーボードやマウスを備えた操作入力部4と、前記モニタ3に表示された画像に対する前記操作入力部4を介した各種操作に基づいて、前記画像データを編集処理する画像処理部5と、画像処理後のデータに基づいて印画紙Pを露光して写真プリントを生成する写真プリンタ6と、上述の各ブロックをシステムとして制御するシステムコントローラ7(以下、「コントローラ7」と記す。)を備えて構成される。   The photographic image processing method and apparatus according to the present invention will be described below. As shown in FIGS. 1 and 2, the digital photographic image processing apparatus includes a film scanner 1a that reads a photographic image from a filmed negative film (hereinafter simply referred to as “film”) F, and a digital still camera. The image data input unit 1 includes a media driver 1b corresponding to various card-type memories M such as an SD card or a memory stick in which captured image data is stored, and a hard disk or the like that stores the input image data. An image data storage unit 2, a monitor 3 for displaying an image based on the image data, an operation input unit 4 having a keyboard and a mouse, and the operation input unit 4 for the image displayed on the monitor 3 The image processing unit 5 that edits the image data based on various operations, and the photographic paper P is exposed based on the data after the image processing. A photographic printer 6 for generating a photographic print Te, the system controller 7 controls the individual blocks of the above as a system (hereinafter referred to as "the controller 7".) Configured with a.

前記フィルムスキャナ1aは、前記フィルムFに読取用の照明光を照射する照明光学系10と、前記フィルムFを搬送するフィルム搬送部11と、当該フィルム搬送部11により搬送されたフィルムFに記録されたコマ画像を読み取る画像読取部12と、前記照明光学系10、前記フィルム搬送部11及び前記画像読取部12による画像読取プロセスを制御するスキャナ制御部13を備えて構成される。   The film scanner 1 a is recorded on the illumination optical system 10 that irradiates the illumination light for reading onto the film F, the film transport unit 11 that transports the film F, and the film F transported by the film transport unit 11. An image reading unit 12 for reading the frame image, and a scanner control unit 13 for controlling an image reading process by the illumination optical system 10, the film transport unit 11, and the image reading unit 12.

前記照明光学系10は、前記フィルムFの搬送方向である副走査方向(図2で矢印で示す)に直交する主走査方向に沿って配置した棒状のハロゲンランプ10aと、前記ハロゲンランプ10aからの光線束の色分布を調整する調光フィルタ10bと、同光線束をスリット状に集光するシリンドリカルレンズ10cと、強度分布を均一にする拡散板10dと、幅狭のスリット10eを備えて構成される。   The illumination optical system 10 includes a rod-shaped halogen lamp 10a arranged along a main scanning direction orthogonal to a sub-scanning direction (indicated by an arrow in FIG. 2) that is a conveyance direction of the film F, and A light control filter 10b that adjusts the color distribution of the light beam, a cylindrical lens 10c that collects the light beam in a slit shape, a diffusion plate 10d that makes the intensity distribution uniform, and a narrow slit 10e are configured. The

前記フィルム搬送部11は、図外の搬送モータにより駆動され、長尺のフィルムFを前記スリット10eの直下のフィルム投影部に向けて所定速度で搬送する複数の搬送ローラ対11aを備えて構成される。   The film transport unit 11 is driven by a transport motor (not shown), and includes a plurality of transport roller pairs 11a that transport the long film F toward the film projection unit directly below the slit 10e at a predetermined speed. The

前記画像読取部12は、集光レンズ、CCDラインセンサ、サンプルホールド回路、A/D変換器等を備えて構成してあり、前記フィルムFを透過した前記照明光学系10からのスリット光が集光レンズによりCCDラインセンサ上に結像され、CCDラインセンサにより読み取られたアナログ信号がA/D変換器によりデジタルデータに変換されるように構成されている。前記CCDラインセンサは、フィルム透過光のR成分、G成分、B成分の各成分の光を選択的に通過させるカラーフィルタが夫々設けられた3列のラインセンサで構成され、以ってフィルム上の各コマ画像がフィルムFの搬送に伴って、R成分、G成分、B成分の各色成分に分解して読み込まれる。   The image reading unit 12 includes a condenser lens, a CCD line sensor, a sample hold circuit, an A / D converter, and the like, and slit light from the illumination optical system 10 that has passed through the film F is collected. An analog signal formed on the CCD line sensor by the optical lens and read by the CCD line sensor is converted to digital data by the A / D converter. The CCD line sensor is composed of three lines of line sensors each provided with a color filter that selectively transmits light of each of the R component, G component, and B component of the transmitted light of the film. As the film F is conveyed, each frame image is separated into R component, G component, and B component color components and read.

前記写真プリンタ6は、ロール状の印画紙Pが収容されたペーパーマガジン60と、前記ペーパーマガジン60から印画紙Pを引き出して搬送する複数の印画紙搬送ローラ61と、搬送ローラ61を駆動するモータ62と、搬送される印画紙Pの感光面を露光する蛍光ビーム方式のプリントヘッド63と、露光済みの印画紙Pに現像、漂白、定着の各処理を施す現像処理部64と、現像処理された印画紙Pを乾燥しながら搬送する乾燥部65と、乾燥された印画紙Pを最終のプリントとして排出する排出部66とを備えて構成され、前記ペーパーマガジン60から引き出された印画紙Pは現像処理の前後何れかに配置されたカッター(図示せず)によって所定のプリントサイズにカットされて排出部66に出力される。   The photographic printer 6 includes a paper magazine 60 in which roll-shaped photographic paper P is accommodated, a plurality of photographic paper transport rollers 61 that pull out and transport the photographic paper P from the paper magazine 60, and a motor that drives the transport roller 61. 62, a fluorescent beam type print head 63 that exposes the photosensitive surface of the conveyed photographic paper P, a development processing unit 64 that performs development, bleaching, and fixing processes on the exposed photographic paper P, and development processing. The photographic paper P drawn out from the paper magazine 60 includes a drying unit 65 that transports the photographic paper P while drying, and a discharge unit 66 that discharges the dried photographic paper P as a final print. The paper is cut into a predetermined print size by a cutter (not shown) disposed either before or after the development processing and output to the discharge unit 66.

前記プリントヘッド63は、R、G、B夫々のレーザ光源と、各レーザ光源から出力される光線束を偏向して印画紙Pを走査露光する偏向光学系を備えて構成され、前記フィルムスキャナ1a等を介して読み取られ編集処理された画像データのR成分、G成分、B成分の各画素データに基づいて各レーザから出力される光量を調整制御することにより印画紙P上に写真画像が露光される。   The print head 63 includes R, G, and B laser light sources and a deflection optical system that scans and exposes the photographic paper P by deflecting light beams output from the laser light sources, and the film scanner 1a. The photographic image is exposed on the photographic paper P by adjusting and controlling the amount of light output from each laser based on the R component, G component, and B component pixel data of the image data read and edited via Is done.

前記コントローラ7は、CPU、ROM、データ処理領域として使用されるRAM、画像データ編集のために使用されるRAM、及び、周辺回路を備えてなるハードウェア、及び、前記ROMに格納され前記CPUで実行されるプログラムでなるソフトウェアを備えて構成され、本発明に関連する機能ブロックに分割して説明すると、図3に示すように、前記モニタ3に表示されたウィンドウ上のソフトスイッチ等を含むグラフィック操作画面の表示や当該グラフィック操作画面を介した前記操作入力部4によるユーザー操作に対応した制御コマンドを生成するグラフィックユーザーインターフェース部(以下、「GUI部」と記す。)7aと、前記モニタ3への表示データが格納されるビデオメモリ7bと、前記画像データ記憶部2から読み出された画像がロードされ、各種の補正処理が施される画像処理メモリ7dと、処理後の画像データをCD−R等のメディアに書き込むための画像ファイルに編集する画像ファイル編集部7cと、補正処理後のデータを前記写真プリンタ6に対応した出力データに変換するプリントデータ変換部7e等を備えて構成される。   The controller 7 includes a CPU, a ROM, a RAM used as a data processing area, a RAM used for image data editing, hardware including peripheral circuits, and a CPU stored in the ROM. If it is divided into functional blocks related to the present invention and is composed of software consisting of programs to be executed, as shown in FIG. 3, a graphic including soft switches and the like on a window displayed on the monitor 3 A graphic user interface unit (hereinafter referred to as “GUI unit”) 7 a that generates a control command corresponding to a user operation by the operation input unit 4 via the operation screen display or the graphic operation screen, and the monitor 3 Are read from the video memory 7b and the image data storage unit 2. An image processing memory 7d to which the outputted image is loaded and subjected to various correction processes; an image file editing section 7c for editing the processed image data into an image file for writing to a medium such as a CD-R; A print data conversion unit 7e for converting the corrected data into output data corresponding to the photographic printer 6 is provided.

前記画像処理部5は、所定のアルゴリズムで対象画像を編集処理するソフトウェアと、画像処理プロセッサを備えたハードウェアで構成され、前記画像処理メモリ7dにロードされた画像データから人物の顔画像を検出する顔画像検出手段51と、前記顔画像検出手段51で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段52と、前記顔画像検出手段51による検出結果に基づいて少なくともポートレート写真、記念写真、風景写真の何れの撮影シーンであるかを判定する撮影シーン判定手段53と、前記撮影シーン判定手段53による判定結果に基づいて前記画像データを補正処理する補正処理手段54を備えて構成されている。尚、前記補正処理手段54は、前記画像データを鮮鋭化処理を行なう鮮鋭化処理手段54aと、鮮鋭化処理された画像データに対してカラーバランスを調整するカラー補正手段54bと、階調性を整える階調補正手段54c等を備えて構成されている。   The image processing unit 5 is composed of software for editing a target image with a predetermined algorithm and hardware having an image processing processor, and detects a human face image from image data loaded in the image processing memory 7d. A face image detecting means 51 for performing the determination, a posture determining means 52 for determining whether the posture of the face image of the person detected by the face image detecting means 51 is in the vertical or horizontal direction of the original image, and the face image detecting means. Based on the detection result by 51, a shooting scene determination means 53 for determining at least a portrait photograph, a commemorative photograph, or a landscape photograph, and the image data based on the determination result by the shooting scene determination means 53 And a correction processing means 54 for correcting the above. The correction processing means 54 includes a sharpening processing means 54a for sharpening the image data, a color correction means 54b for adjusting a color balance for the sharpened image data, and a gradation. It is configured to include gradation correction means 54c for adjusting.

前記コントローラ7からフィルム読取指令が送られると、前記スキャナ制御部13は、前記ハロゲンランプ10aを点灯させた後に、前記フィルム搬送部11を駆動して前記フィルムFを副走査方向に所定速度で搬送し、前記画像読取部12によりフィルム上に記録されたコマ画像を順次読み取り、読み取った画像データを前記コントローラ7に送信し、スキャナ制御部から送信された画像データが前記画像データ記憶部2に記憶される。   When a film reading command is sent from the controller 7, the scanner control unit 13 turns on the halogen lamp 10a and then drives the film transport unit 11 to transport the film F at a predetermined speed in the sub-scanning direction. Then, the frame images recorded on the film are sequentially read by the image reading unit 12, the read image data is transmitted to the controller 7, and the image data transmitted from the scanner control unit is stored in the image data storage unit 2. Is done.

また、前記コントローラ7による制御の下で、前記メディアドライバ1bにメディアが挿入されると、当該メディアに記憶されている画像データが読み込まれて前記画像データ記憶部2に記憶される。   When a medium is inserted into the media driver 1 b under the control of the controller 7, image data stored in the medium is read and stored in the image data storage unit 2.

前記画像データ記憶部2に記憶された画像データは、前記画像処理部5により所定の補正処理が施され、前記プリントデータ変換部7eにより変換されたプリントデータが前記写真プリンタ6に出力される。前記写真プリンタ6では、入力されたプリントデータに基づいて前記プリントヘッド63が駆動され、前記プリントヘッド63により露光された印画紙Pが現像処理されて写真プリントとして出力される。   The image data stored in the image data storage unit 2 is subjected to a predetermined correction process by the image processing unit 5, and the print data converted by the print data conversion unit 7 e is output to the photo printer 6. In the photo printer 6, the print head 63 is driven based on the input print data, and the photographic paper P exposed by the print head 63 is developed and output as a photo print.

詳述すると、前記写真画像処理装置では、前記フィルムスキャナ1aから入力される画像に基づいて写真プリントを生成する場合、先ずプレスキャン動作によりフィルム画像が低解像度で読み込まれて前記モニタ3に表示され、表示されたコマ画像に対してオペレータによる前記操作入力部4を介したプリントサイズやプリント枚数の設定処理とともに、各コマ画像のカラーバランス等の画質が検定される。   More specifically, in the photographic image processing apparatus, when a photographic print is generated based on an image input from the film scanner 1a, a film image is first read at a low resolution by a pre-scan operation and displayed on the monitor 3. The image quality such as the color balance of each frame image is verified with the setting processing of the print size and the number of prints by the operator via the operation input unit 4 for the displayed frame image.

この検定作業は、前記コントローラ7とオペレータによる対話形式で進められ、上述したプリント枚数の設定の他に前記画像処理部5による補正処理条件が決定される一連の作業である。つまり、低解像度で読み込まれた画像データに対して、鮮鋭化処理、カラー補正処理、階調補正処理等の一連の補正処理が、後述の撮影シーン判定処理により判定された撮影シーン毎に予め定められた補正条件で自動的に実行される。そして、前記補正処理された画像データに基づいた低解像度の画像が前記モニタ3に表示され、その補正結果が適切であるか否かがオペレータにより評価され、カラーフェリアが発生する等種々の不都合が生じる場合にはマニュアル操作で再度カラー補正処理等が行なわれ、そのときの再補正条件が内部メモリに記憶される。   This verification operation is a series of operations in which the controller 7 and the operator proceed in an interactive manner, and the correction processing conditions by the image processing unit 5 are determined in addition to the setting of the number of prints described above. In other words, a series of correction processing such as sharpening processing, color correction processing, gradation correction processing, and the like is preliminarily determined for each shooting scene determined by the shooting scene determination processing described later on image data read at a low resolution. It is automatically executed with the specified correction conditions. Then, a low-resolution image based on the corrected image data is displayed on the monitor 3, and whether or not the correction result is appropriate is evaluated by an operator, and various inconveniences such as occurrence of a color failure occur. If it occurs, the color correction process is performed again manually, and the recorrection conditions at that time are stored in the internal memory.

上述の検定作業が終了して写真プリントを出力する際に、本スキャン、つまり、前記フィルムスキャナ1aを介した高解像度でのフィルム画像の読込み処理が行なわれ、本スキャンによる画像データに対して、上述した各種の補正処理が実行され、必要な場合には検定作業で設定された再補正条件で補正処理が実行され、その後、前記プリントデータ変換部7eで変換処理されたプリントデータが前記写真プリンタ6に出力される。プレスキャン動作は、上述の検定作業時に行なわれる補正処理の処理対象画素数を減らして高速化する等の目的で設けられたもので、デジタルスチルカメラによる撮影画像に対しては、読み込まれる画像ファイルに添付されたサムネイル画像に対して検定作業が実行され、サムネイル画像が無いときには、入力された画像を間引き処理して生成されたサムネイル画像に対して検定作業がなされる。   When the above-described verification operation is completed and a photographic print is output, a main scan, that is, a film image reading process at a high resolution via the film scanner 1a is performed. The various correction processes described above are executed. If necessary, the correction process is executed under the re-correction conditions set in the verification operation, and then the print data converted by the print data conversion unit 7e is transferred to the photo printer. 6 is output. The pre-scan operation is provided for the purpose of reducing the number of processing target pixels of the correction processing performed during the above-described verification operation to increase the speed, and the image file to be read for the image captured by the digital still camera The verification operation is performed on the thumbnail image attached to, and when there is no thumbnail image, the verification operation is performed on the thumbnail image generated by thinning the input image.

以下、前記撮影シーン判定処理について、図4に示すフローチャートに基づいて説明する。   Hereinafter, the shooting scene determination process will be described based on the flowchart shown in FIG.

前記画像データ入力部1から入力され、前記画像データ記憶部2に格納された画像データは、コマ画像単位の順番にRGB点順次RAW形式またはRGB面順次RAW形式で前記画像処理メモリ7dに展開され(SA1)、前記顔画像検出手段51により前記コマ画像毎に全ての顔画像が検出される(SA2)。   The image data input from the image data input unit 1 and stored in the image data storage unit 2 is developed in the image processing memory 7d in the RGB dot sequential RAW format or the RGB plane sequential RAW format in the order of the frame image unit. (SA1), all face images are detected for each frame image by the face image detecting means 51 (SA2).

前記顔画像検出手段51による顔画像の検出アルゴリズムとしては、様々な公知のアルゴリズムを用いることが可能で、例えば、特開平08−63597号公報に開示されるものを用いることができる。つまり、各画素のBGR値から、明度、色相、彩度、色度、(B−R)、(G−R)といった色の特徴量を求め、これらの色の特徴量が予め定めた範囲内に入っていれば、対象画素が肌色であると判定し、肌色と判定された画素から成る領域の画像に対してエッジ抽出を行ない、予め設定されたサイズ、長軸/短軸(la/lb)の比率の異なる複数の楕円あるいは円形の顔テンプレート(顔テンプレートは、楕円ないしは円の輪郭か否かで2値化されている)と、抽出されたエッジ画像のマッチング度を求める。マッチング度が予め定めた閾値以上であるときに、その領域における画像を顔画像であると判定する。   As the face image detection algorithm by the face image detecting means 51, various known algorithms can be used, for example, those disclosed in Japanese Patent Application Laid-Open No. 08-63597. That is, color feature values such as brightness, hue, saturation, chromaticity, (BR), and (GR) are obtained from the BGR value of each pixel, and the feature values of these colors are within a predetermined range. If the target pixel is included, it is determined that the target pixel is a skin color, and edge extraction is performed on an image of an area including pixels determined to be a skin color, and a predetermined size, a long axis / short axis (la / lb) ) Of a plurality of ellipse or circular face templates (the face template is binarized depending on whether it is an ellipse or a contour of a circle) and the degree of matching between the extracted edge images. When the matching degree is equal to or greater than a predetermined threshold value, the image in that region is determined to be a face image.

また、顔の輪郭、目、鼻、口、耳などのパターンに基づいて人の顔画像を検出するニューラルネットワーク等を利用したパターン認識手法を用いることも可能である。   It is also possible to use a pattern recognition technique that uses a neural network or the like that detects a human face image based on the face contour, eyes, nose, mouth, ears, and other patterns.

前記顔画像検出手段51により顔画像が検出されると(SA3)、前記撮影シーン判定手段53は、前記顔画像検出手段51で検出された人物の顔画像の姿勢が原画像の縦横(普通写真プリントサイズを例とした場合、その長手方向を縦方向と考えている。)何れの方向に沿っているかを判定させる(SA4)。   When a face image is detected by the face image detecting means 51 (SA3), the photographing scene determining means 53 is configured so that the posture of the face image of the person detected by the face image detecting means 51 is the vertical and horizontal (normal photograph) of the original image. When the print size is taken as an example, the longitudinal direction is considered as the vertical direction.) It is determined which direction is along (SA4).

前記顔画像の姿勢は、例えば、前記顔画像検出手段51により検出された顔画像から、目や鼻、口等の位置情報を抽出し、これらの相互位置関係と前記原画像の向きとの関係に基づいて判定することができる。   As for the posture of the face image, for example, position information such as eyes, nose and mouth is extracted from the face image detected by the face image detecting means 51, and the relationship between the mutual positional relationship and the orientation of the original image. Can be determined based on

具体的には、例えば、両目の位置情報を抽出し、両目を結ぶ線と垂直な方向を顔画像の正姿勢方向とし、前記原画像の長手方向と前記顔画像の正姿勢方向とが平行となるときに、顔画像の姿勢が原画像の縦方向に沿っていると判定する。一方、前記原画像の長手方向と前記顔画像の正姿勢方向とが垂直となるときに、顔画像の姿勢が原画像の横方向に沿っていると判定する。   Specifically, for example, the position information of both eyes is extracted, the direction perpendicular to the line connecting the eyes is set as the normal posture direction of the face image, and the longitudinal direction of the original image and the normal posture direction of the face image are parallel. Is determined that the orientation of the face image is along the vertical direction of the original image. On the other hand, when the longitudinal direction of the original image and the normal posture direction of the face image are perpendicular to each other, it is determined that the posture of the face image is along the horizontal direction of the original image.

また、例えば、鼻と口位置情報を抽出し、鼻と口を結ぶ線と平行な方向を顔画像の正姿勢方向とし、前記原画像の長手方向と前記顔画像の正姿勢方向とが垂直となるときに、顔画像の姿勢が原画像の横方向に沿っていると判定する。一方、前記原画像の長手方向と前記顔画像の正姿勢方向とが平行となるときに、顔画像の姿勢が原画像の縦方向に沿っていると判定する。   Further, for example, the nose and mouth position information is extracted, the direction parallel to the line connecting the nose and mouth is set as the normal posture direction of the face image, and the longitudinal direction of the original image and the normal posture direction of the face image are vertical. Is determined that the orientation of the face image is along the horizontal direction of the original image. On the other hand, when the longitudinal direction of the original image and the normal posture direction of the face image are parallel, it is determined that the posture of the face image is along the vertical direction of the original image.

尚、前記顔画像の姿勢の判定は、前記顔画像検出手段51により複数の顔画像が検出されていたときには、検出された顔画像のうち、最もその面積の大きい顔画像に基づいて判定することが好ましい。適切に撮影シーンを判別することができる。   The posture of the face image is determined based on the face image having the largest area among the detected face images when a plurality of face images are detected by the face image detecting means 51. Is preferred. It is possible to appropriately determine the shooting scene.

そして、前記撮影シーン判定手段53は、前記姿勢判定手段52により前記顔画像検出手段51で検出された人物の顔画像の姿勢が原画像の縦方向に沿っていると判定されると(SA5)、例えば、図5(a)に示すように、原画像Ra内における所定の縦幅領域Rtを顔画像検出領域Rkとして設定する(SA6)。具体的には、前記原画像の短辺幅(前記長手方向と垂直をなす方向の幅)を、その中心軸Otを中心として、例えば、65%に削減した縦幅領域Rtを顔画像検出領域Rkとして設定する。   When the posture determination unit 52 determines that the posture of the face image of the person detected by the face image detection unit 51 is along the vertical direction of the original image (SA5). For example, as shown in FIG. 5A, a predetermined vertical width region Rt in the original image Ra is set as the face image detection region Rk (SA6). Specifically, a face width detection area is defined as a vertical width area Rt in which the short side width (width in the direction perpendicular to the longitudinal direction) of the original image is reduced to, for example, 65% around the central axis Ot. Set as Rk.

一方、前記姿勢判定手段52により前記顔画像検出手段51で検出された人物の顔画像の姿勢が原画像の横方向に沿っていると判定されると(SA7)、例えば、図5(b)に示すように、原画像Ra内における所定の縦幅領域Ryを顔画像検出領域Rkとして設定する(SA8)。具体的には、前記原画像の長辺幅(前記長手方向の幅)を、その中心軸Oyを中心として、例えば、80%に削減した横幅領域Rtを顔画像検出領域Rkとして設定する。   On the other hand, if the posture determination unit 52 determines that the posture of the face image of the person detected by the face image detection unit 51 is along the horizontal direction of the original image (SA7), for example, FIG. As shown in FIG. 5, a predetermined vertical width region Ry in the original image Ra is set as the face image detection region Rk (SA8). Specifically, the lateral width region Rt in which the long side width (the width in the longitudinal direction) of the original image is reduced to, for example, 80% around the central axis Oy is set as the face image detection region Rk.

つまり、前記撮影シーン判定手段53は、前記姿勢判定手段52により判定された顔画像の姿勢に基づいた顔画像検出領域Rkを設定する。   That is, the shooting scene determination unit 53 sets the face image detection region Rk based on the posture of the face image determined by the posture determination unit 52.

次に、前記撮影シーン判定手段53は、図6(a)、図6(b)に示すように、前記設定した顔画像検出領域Rkに存在する顔画像Fpの面積Sfを導出するとともに(SA9)、〔数1〕に従って、前記原画像Raの面積Saに占める前記顔画像の面積Sfの割合Rfaを算出する(SA10)。尚、図6(c)に示すように、前記設定した顔画像検出領域Rkに顔画像Fpが存在せず、代わりに、前記設定した顔画像検出領域Rk以外の領域のみに顔画像Fpが存在するときには、前記原画像Raの面積Saに占める前記顔画像の面積Sfの割合Rfaを0%とする。   Next, as shown in FIGS. 6A and 6B, the shooting scene determination unit 53 derives the area Sf of the face image Fp existing in the set face image detection region Rk (SA9). ) And [Expression 1], the ratio Rfa of the area Sf of the face image to the area Sa of the original image Ra is calculated (SA10). As shown in FIG. 6C, the face image Fp does not exist in the set face image detection area Rk, and instead, the face image Fp exists only in an area other than the set face image detection area Rk. In this case, the ratio Rfa of the area Sf of the face image to the area Sa of the original image Ra is set to 0%.

そして、前記割合Rfaが予め設定された基準面積比率Rth、例えば、30%以上あったときに(SA11)、前記画像データがポートレート写真であると判定する(SA12)。また、前記割合Rfaが前記基準面積比率Rth、例えば、30%未満であったときに(SA11)、前記画像データが記念写真であると判定する(SA13)。   When the ratio Rfa is a preset reference area ratio Rth, for example, 30% or more (SA11), it is determined that the image data is a portrait photograph (SA12). When the ratio Rfa is less than the reference area ratio Rth, for example, 30% (SA11), it is determined that the image data is a commemorative photo (SA13).

尚、前記撮影シーンの判定は、前記顔画像検出領域Rkに複数の顔画像Sfが存在するときには、最もその面積の大きい顔画像に基づいて判定することが好ましい。つまり、前記顔画像検出領域Rkに存在する顔画像Sfの面積比率Rfaが予め設定された基準面積比率Rthより大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定することが好ましい。適切に撮影シーンを判別することができる。   Note that the determination of the shooting scene is preferably based on the face image having the largest area when there are a plurality of face images Sf in the face image detection region Rk. That is, a scene to be photographed is determined using a face image having a maximum size as a determination reference face image among face images in which the area ratio Rfa of the face image Sf existing in the face image detection region Rk is larger than a preset reference area ratio Rth. It is preferable to do. It is possible to appropriately determine the shooting scene.

また、前記撮影シーン判定手段53は、前記顔画像検出手段51により顔画像が検出されなかったときには(SA3)、前記画像データは、風景写真であると判定する(SA14)。   Further, when no face image is detected by the face image detection means 51 (SA3), the shooting scene determination means 53 determines that the image data is a landscape photograph (SA14).

前記写真画像処理装置では、上述したように、前記撮影シーン判定処理により前記画像データが判定されると、判定された撮影シーン毎に予め定められた補正条件で、前記補正処理手段54により前記画像データに対して補正処理が実行される。   In the photographic image processing apparatus, as described above, when the image data is determined by the shooting scene determination process, the correction processing unit 54 performs the image processing under a correction condition predetermined for each determined shooting scene. Correction processing is performed on the data.

詳述すると、前記補正処理手段54には、予め判定される撮影シーン毎に、例えば、図7(a)の横軸に示すような、前記鮮鋭化処理手段54aによる前記画像データの鮮鋭化処理の強調度合いや、図7(a)の縦軸に示すような、前記カラー補正手段54bによる前記画像データのカラーバランスの調整度合い、更には、図7(b)に示すような、前記階調補正手段54cによる階調性の補正度合い等の補正量が記憶され、前記補正処理手段54は、前記撮影シーン判定処理により判定された撮影シーンに対応した補正量に基づいて、前記画像データを補正処理する。   More specifically, the correction processing unit 54 performs sharpening processing of the image data by the sharpening processing unit 54a, for example, as shown on the horizontal axis of FIG. And the degree of adjustment of the color balance of the image data by the color correcting unit 54b as shown on the vertical axis of FIG. 7A, and further, the gradation as shown in FIG. 7B. A correction amount such as the degree of correction of gradation by the correction unit 54c is stored, and the correction processing unit 54 corrects the image data based on the correction amount corresponding to the shooting scene determined by the shooting scene determination process. Process.

ここで、前記鮮鋭化処理は、具体的には、画質低下の一つの原因である”ぼけ”を除去し、画像を鮮明にするための方法として画像の鮮鋭化を行なう処理である。画像のぼけは、低い空間周波数成分に比べ高い空間周波数成分が弱められることによって生じる。その影響は濃度の一様な領域の境界部分(エッジ)に現れる。したがってぼけを取り除くには、高い空間周波数成分を強調する処理が行なわれ、画像空間における高域強調フィルタが用いられる。   Here, the sharpening processing is specifically processing for sharpening an image as a method for removing “blur” which is one cause of image quality deterioration and making the image clear. The image blur is caused by the high spatial frequency component being weakened compared to the low spatial frequency component. The effect appears at the boundary portion (edge) of the uniform density region. Therefore, in order to remove the blur, processing for enhancing high spatial frequency components is performed, and a high frequency enhancement filter in the image space is used.

この鮮鋭化処理として、例えば、図8に示すように、3×3または5×5サイズの空間フィルタによる畳み込み演算を行なうことができる。そして、図8(a)は、3×3サイズの特に高周波数成分を強調するマスクの例であり、強調度合いはkの値にて調整することができる。また、図8(b)は、特に低周波数成分を強調するマスクの例であり、強調度合いはkの値にて調整することができる。   As this sharpening process, for example, as shown in FIG. 8, a convolution operation using a 3 × 3 or 5 × 5 size spatial filter can be performed. FIG. 8A shows an example of a mask for emphasizing particularly high frequency components of 3 × 3 size, and the degree of emphasis can be adjusted by the value of k. FIG. 8B is an example of a mask that particularly emphasizes low frequency components, and the degree of enhancement can be adjusted by the value of k.

つまり、前記補正処理手段54は、前記画像データがポートレート写真であると判定されたときには、軟調でしっとりとした仕上げで彩度が抑えられた画像となるように、前記画像データが風景写真であると判定されたときには、メリハリをつけた硬調で色鮮やかな画像となるように、前記画像データが記念写真であると判定されたときには、若干軟調気味な画像となるように、それぞれ前記画像データを補正処理する。   In other words, the correction processing means 54, when it is determined that the image data is a portrait photograph, the image data is a landscape photograph so that the image is soft and moist and the saturation is suppressed. When it is determined that the image data is a sharp and vivid image with sharpness, and when it is determined that the image data is a commemorative photo, each of the image data Is corrected.

上述したように、前記写真画像処理装置では、人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定するとともに、前記判定された顔画像の姿勢に基づいた顔画像検出領域、つまり、コマ画像の縦が上下方向姿勢となる画像と横が上下方向姿勢となる画像の何れであるかによって異なる画像検出領域を設定することにより、撮影意図に沿わない他の顔画像の影響を確実に排除し、前記顔画像検出領域に存在する注目被写体の顔画像の面積比率に基づいて撮影シーンを適切に判定することで、撮影意図に沿った最適な補正処理を行なっている。   As described above, the photographic image processing apparatus determines whether the orientation of the face image of a person is along the vertical or horizontal direction of the original image, and the face image detection area based on the determined orientation of the face image. In other words, by setting different image detection areas depending on whether the vertical image of the frame image is in an up / down orientation or an image in which the landscape image is in an up / down orientation, the influence of other facial images that do not meet the shooting intention Is corrected, and an appropriate correction process in accordance with the shooting intention is performed by appropriately determining the shooting scene based on the area ratio of the face image of the subject of interest existing in the face image detection region.

以下、別の実施形態について説明する。上述の実施形態に加え、少なくとも原画像データに含まれる肌色領域に目が検出されるか否かに基づいて顔画像を検出する第二の顔画像検出手段を備え、前記顔画像検出手段51により顔画像が検出されなかったときに、前記第二の顔画像検出手段により顔画像を再検出する構成としてもよい。   Hereinafter, another embodiment will be described. In addition to the above-described embodiment, the image processing apparatus includes a second face image detection unit that detects a face image based on whether eyes are detected in at least a skin color region included in the original image data. The configuration may be such that when a face image is not detected, the face image is detected again by the second face image detection means.

詳述すると、前記第二の顔画像検出手段は、肌色の色相となっている所定サイズ以上の肌色閉鎖領域を抽出するとともに、前記抽出した肌色閉鎖領域中に、所定の形状の白色領域と黒色の領域の有無を判定し、それがあったときに、前記肌色閉鎖領域を顔画像として検出する。   More specifically, the second face image detecting means extracts a skin color closed area of a predetermined size or more which is a skin color hue, and a white area and a black color of a predetermined shape in the extracted skin color closed area. The presence or absence of the region is determined, and when there is, the skin color closed region is detected as a face image.

つまり、前記第二の顔画像検出手段を備えることで、顔画像がカメラに正対しない横向きの顔で、片方の目だけが撮影されている画像であっても、確実に顔画像として検出することができるようになる。   That is, by providing the second face image detecting means, even if the face image is a sideways face that does not face the camera and only one eye is photographed, it is reliably detected as a face image. Will be able to.

上述の実施形態に加えて、前記補正処理手段54は、前記撮影シーン判定手段53により判定された撮影シーンの他に、前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する構成としてもよい。撮影シーン判定手段53により判定された撮影シーンが同一であっても、その画像に含まれる判定基準顔画像の面積比率に基づいて原画像データがより適切に補正処理されるようになる。   In addition to the above-described embodiment, the correction processing unit 54 corrects the original image data based on the area ratio of the determination reference face image in addition to the shooting scene determined by the shooting scene determination unit 53. It is good also as a structure. Even if the shooting scenes determined by the shooting scene determination unit 53 are the same, the original image data is corrected more appropriately based on the area ratio of the determination reference face image included in the image.

上述の実施形態に加えて、前記補正処理手段54は、前記撮影シーン判定手段52により判定された撮影シーンに加えて、前記判定基準顔画像の面積比率に基づいて鮮鋭化強度を調整する構成としてもよい。例えば、撮影シーンが風景の場合には鮮鋭化強度を強め、ポートレートの場合にはその判定基準顔画像の面積比率に基づいて鮮鋭化強度を弱めることにより、一層見栄えのよい画像に補正することができる。   In addition to the above-described embodiment, the correction processing unit 54 adjusts the sharpening intensity based on the area ratio of the determination reference face image in addition to the shooting scene determined by the shooting scene determination unit 52. Also good. For example, when the shooting scene is a landscape, the sharpening strength is increased, and when the portrait is a portrait, the sharpening strength is reduced based on the area ratio of the judgment reference face image to correct the image to be more attractive. Can do.

上述の実施形態に加え、前記補正処理手段54は、前記撮影シーン判定手段52により判定された撮影シーンが、人物の顔画像を含むシーン、例えば、前記ポートレート写真や記念写真であったときに、前記画像データの取得条件である露出条件を判定し、前記露出条件に応じた補正処理を実行する構成としてもよい。   In addition to the above-described embodiment, the correction processing unit 54 is configured such that when the shooting scene determined by the shooting scene determination unit 52 is a scene including a human face image, for example, the portrait photograph or the commemorative photograph. The exposure condition that is the acquisition condition of the image data may be determined, and the correction process according to the exposure condition may be executed.

詳述すると、前記露出条件の判定は、例えば、図9(a)に示すように、前記画像データから抽出した顔画像における各画素データのR成分、G成分、B成分の平均値分布である濃度ヒストグラムを生成し、前記濃度ヒストグラムの偏り度合いによって判定する。つまり、前記濃度ヒストグラムが低濃度値(暗い)側に偏っているときには、アンダー露出と判定する。一方、前記濃度ヒストグラムが高濃度値(明るい)側に偏っているときには、オーバー露出と判定する。尚、前記濃度ヒストグラムが低濃度値(暗い)側にも、高濃度値(明るい)側にも偏っていないときには、適正露出と判定する。   Specifically, the determination of the exposure condition is, for example, an average value distribution of R component, G component, and B component of each pixel data in the face image extracted from the image data, as shown in FIG. A density histogram is generated and determined by the degree of bias of the density histogram. That is, when the density histogram is biased toward the low density value (dark) side, it is determined that the underexposure is performed. On the other hand, when the density histogram is biased toward the high density value (bright) side, it is determined that the exposure is overexposed. When the density histogram is not biased toward the low density value (dark) side or the high density value (bright) side, it is determined that the exposure is appropriate.

そして、前記補正処理手段54は、アンダー露出と判定したときに、前記鮮鋭化処理手段54aにより、前記判定された撮影シーンに応じた補正条件よりも、例えば、鮮鋭化強度を強めて補正処理する。また、オーバー露出と判定したときには、前記判定された撮影シーンに応じた補正条件よりも、例えば、鮮鋭化強度を弱めて補正処理する。   When the under-exposure is determined, the correction processing unit 54 performs correction processing with the sharpening processing unit 54a, for example, by increasing the sharpening intensity more than the correction condition according to the determined shooting scene. . When it is determined that the exposure is overexposed, the correction processing is performed with the sharpening intensity weakened, for example, in comparison with the correction condition corresponding to the determined shooting scene.

更に、適正露出と判定したときには、図9(b)に示すように、前記画像データから抽出した顔画像における各画素データのR成分、G成分、B成分毎に濃度ヒストグラムを生成し、各濃度ヒストグラムの不一致度(分散)に基づいてカラーフェリアの発生度合いを判定し、前記カラーフェリアの発生度合いに応じた補正処理を実行する。例えば、前記カラーフェリアの発生度合いが所定の発生度合い閾値以上あったときには、前記鮮鋭化処理手段54aにより、前記判定された撮影シーンに応じた補正条件よりも、鮮鋭化強度を弱めて補正処理する。   Further, when it is determined that the exposure is appropriate, as shown in FIG. 9B, a density histogram is generated for each of the R component, G component, and B component of each pixel data in the face image extracted from the image data. The degree of occurrence of color feria is determined based on the degree of mismatch (dispersion) of the histogram, and correction processing according to the degree of occurrence of color feria is executed. For example, when the degree of occurrence of the color feria is equal to or greater than a predetermined occurrence degree threshold, the sharpening processing unit 54a performs a correction process with a sharpening strength weaker than the correction condition according to the determined shooting scene. .

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。   Note that the above-described embodiment is merely an example of the present invention, and it is needless to say that the specific configuration and the like of each block can be changed and designed as appropriate within the scope of the effects of the present invention.

写真画像処理装置の外観説明図External view of photographic image processing device 画像データ処理部の機能ブロック構成図Functional block diagram of the image data processing unit システムコントローラ及び画像処理部の機能ブロック構成図Functional block diagram of system controller and image processing unit 撮影シーン判定処理の動作を説明するためのフローチャートFlowchart for explaining the operation of the shooting scene determination process 顔画像検出領域の説明図であり、(a)は縦幅領域を顔画像検出領域とした場合、(b)は横幅領域を顔画像検出領域とした場合It is explanatory drawing of a face image detection area, (a) is a case where a vertical width area is a face image detection area, (b) is a case where a horizontal width area is a face image detection area (a)顔画像検出領域に存在する顔画像の例、(b)顔画像検出領域に存在する顔画像の例、(c)顔画像検出領域に存在しない顔画像の例(A) Example of face image existing in face image detection area, (b) Example of face image existing in face image detection area, (c) Example of face image not existing in face image detection area 各撮影シーンに応じた補正量のイメージの説明図Illustration of the image of correction amount according to each shooting scene 鮮鋭化処理に用いられるフィルタの例であり、(a)は特に高周波成分を強調するフィルタ、(b)は特に低周波成分を強調するフィルタIt is an example of the filter used for a sharpening process, (a) is a filter which emphasizes especially a high frequency component, (b) is a filter which emphasizes especially a low frequency component. 濃度ヒストグラムの説明図であり、(a)は画像データがオーバー露出またはアンダー露出となっている例、(b)各色成分間の関係の例It is explanatory drawing of a density histogram, (a) is an example in which image data is overexposed or underexposed, (b) An example of the relationship between each color component

符号の説明Explanation of symbols

1:画像データ入力部
1a:フィルムスキャナ
1b:メディアドライバ
2:画像データ記憶部
3:モニタ
4:操作入力部
5:画像処理部
6:写真プリンタ
7:システムコントローラ
51:顔画像検出手段
52:姿勢判定手段
53:撮影シーン判定手段
54:補正処理手段
54a:鮮鋭化処理手段
54b:カラー補正手段
54c:階調補正手段
1: Image data input unit 1a: Film scanner 1b: Media driver 2: Image data storage unit 3: Monitor 4: Operation input unit 5: Image processing unit 6: Photo printer 7: System controller 51: Face image detection means 52: Posture Determination means 53: Shooting scene determination means 54: Correction processing means 54a: Sharpening processing means 54b: Color correction means 54c: Tone correction means

Claims (4)

入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法であって、前記顔画像検出工程で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定工程を備え、前記撮影シーン判定工程は、前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する写真画像処理方法。 A face image detection step for detecting a human face image from input original image data, and at least a portrait photo and a photo other than the portrait photo are determined based on the detection result of the face image detection step to determine a shooting scene. A photographic image processing method comprising: a photographic scene determination step; and a correction processing step for correcting the original image data based on a determination result obtained by the photographic scene determination step, wherein the person detected in the face image detection step A posture determination step of determining whether the posture of the face image is along the vertical or horizontal direction of the original image, wherein the shooting scene determination step is a face image based on the posture of the face image determined in the posture determination step A photographic image processing method for setting a detection area and determining a photographic scene based on an area ratio of face images existing in the face image detection area. 前記撮影シーン判定工程は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定する請求項1記載の写真画像処理方法。 In the shooting scene determination step, a shooting scene is determined using a face image having a maximum size as a determination reference face image among face images in which the area ratio of the face image existing in the face image detection region is larger than a preset reference area ratio. The photographic image processing method according to claim 1 for determination. 入力された原画像データから人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定手段と、前記撮影シーン判定手段による判定結果に基づいて前記原画像データを補正処理する補正処理手段を備えてなる写真画像処理装置であって、前記顔画像検出手段で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段を備え、前記撮影シーン判定手段は、前記姿勢判定手段で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する写真画像処理装置。 A face image detection unit that detects a human face image from input original image data, and at least a portrait photo and a photo other than the portrait photo are determined based on a detection result by the face image detection unit, and a shooting scene is determined. A photographic image processing apparatus comprising: a photographic scene determination unit; and a correction processing unit that corrects the original image data based on a determination result by the photographic scene determination unit, wherein the person detected by the face image detection unit Posture determining means for determining whether the posture of the face image is along the vertical or horizontal direction of the original image, and the photographing scene determining means is a face image based on the posture of the face image determined by the posture determining means. A photographic image processing apparatus that sets a detection area and determines a photographic scene based on an area ratio of face images existing in the face image detection area. 前記撮影シーン判定手段は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定し、前記補正処理手段は、前記撮影シーン判定手段により判定された撮影シーン及び前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する請求項3記載の写真画像処理装置。 The shooting scene determination unit is configured to determine a shooting scene using a face image having a maximum size as a determination reference face image among face images in which an area ratio of a face image existing in the face image detection region is larger than a preset reference area ratio. 4. The photographic image processing apparatus according to claim 3, wherein the correction processing unit corrects the original image data based on an area ratio of the shooting scene determined by the shooting scene determination unit and the determination reference face image.
JP2006018548A 2006-01-27 2006-01-27 Photographic image processing method and device thereof Withdrawn JP2007200069A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006018548A JP2007200069A (en) 2006-01-27 2006-01-27 Photographic image processing method and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006018548A JP2007200069A (en) 2006-01-27 2006-01-27 Photographic image processing method and device thereof

Publications (1)

Publication Number Publication Date
JP2007200069A true JP2007200069A (en) 2007-08-09

Family

ID=38454621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006018548A Withdrawn JP2007200069A (en) 2006-01-27 2006-01-27 Photographic image processing method and device thereof

Country Status (1)

Country Link
JP (1) JP2007200069A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013889A (en) * 2009-07-01 2011-01-20 Nikon Corp Image processor, image processing method, and electronic camera
JP2013235582A (en) * 2012-05-02 2013-11-21 Samsung Electronics Co Ltd Apparatus and method of controlling mobile terminal according to analysis of user's face
CN108447159A (en) * 2018-03-28 2018-08-24 百度在线网络技术(北京)有限公司 Man face image acquiring method, apparatus and access management system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013889A (en) * 2009-07-01 2011-01-20 Nikon Corp Image processor, image processing method, and electronic camera
US8502881B2 (en) 2009-07-01 2013-08-06 Nikon Corporation Image processing apparatus, image processing method, and electronic camera
JP2013235582A (en) * 2012-05-02 2013-11-21 Samsung Electronics Co Ltd Apparatus and method of controlling mobile terminal according to analysis of user's face
US10114458B2 (en) 2012-05-02 2018-10-30 Samsung Electronics Co., Ltd Apparatus and method of controlling mobile terminal based on analysis of user's face
CN108447159A (en) * 2018-03-28 2018-08-24 百度在线网络技术(北京)有限公司 Man face image acquiring method, apparatus and access management system
CN108447159B (en) * 2018-03-28 2020-12-18 百度在线网络技术(北京)有限公司 Face image acquisition method and device and entrance and exit management system

Similar Documents

Publication Publication Date Title
US20050286793A1 (en) Photographic image processing method and equipment
JP4880292B2 (en) Image processing method, image processing program, and image processing apparatus
US7397969B2 (en) Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
US7460707B2 (en) Image processing method and apparatus for red eye correction
JP2002152492A (en) Image processing device, its method, and recording medium
JP2001148780A (en) Method for setting red-eye correction area and red-eye correction method
JP2005141477A (en) Image sharpening process and image processor implementing this process
JP2007200069A (en) Photographic image processing method and device thereof
JP2004145287A (en) Red-eye effect compensating method, picture processing method, printing method and printer
JP2007200068A (en) Photographic image processing method and device thereof
JP2001155174A (en) Method and device for image processing
JP2005122287A (en) Image processing method
JP2006146646A (en) Method and apparatus for processing photographic image
JP4496856B2 (en) Photographic image processing method and apparatus
JP2001211315A (en) Output image area adjusting method
JP2005159387A (en) Method of determining density characteristic curve and density correction management apparatus for executing this method
JP2001197289A (en) Image processing method and image processor
JP2001103304A (en) Method and system for extracting specific object
JP2005148916A (en) Face selection method for density correction and apparatus for implementing the method
JP2006011618A (en) Photographic image processing method and its device
JP2006277044A (en) Image processing method
JP2006059162A (en) Tooth image correction method and device
JP2008160704A (en) Density correction curve generation method and density correction curve generation module
JP2003319298A (en) Image processing method, image processor, and program
JP2005159388A (en) Contrast adjusting method, and contrast adjusting apparatus for executing this method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081216

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110105