JP2001057630A - Image processing unit and image processing method - Google Patents

Image processing unit and image processing method

Info

Publication number
JP2001057630A
JP2001057630A JP11231166A JP23116699A JP2001057630A JP 2001057630 A JP2001057630 A JP 2001057630A JP 11231166 A JP11231166 A JP 11231166A JP 23116699 A JP23116699 A JP 23116699A JP 2001057630 A JP2001057630 A JP 2001057630A
Authority
JP
Japan
Prior art keywords
area
region
image
background
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11231166A
Other languages
Japanese (ja)
Other versions
JP3918141B2 (en
Inventor
Yoshihiro Yamaguchi
義弘 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP23116699A priority Critical patent/JP3918141B2/en
Publication of JP2001057630A publication Critical patent/JP2001057630A/en
Application granted granted Critical
Publication of JP3918141B2 publication Critical patent/JP3918141B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image processing unit that automatically separates an image into a major part and a background and applies blurring process only to the background area without the need for an operator to execute a troublesome work to designate a border line between the major part and the background. SOLUTION: An area division means 74 divides an image into areas, calculates each feature vector of each area, a connection extension means 76 estimates a background area on the basis of the calculated feature vector and a separate means 78 divides the image into two; a background area and a major part area. Then a mask generating means 80 overlaps a contour extract image resulting from extracting a contour of the original image by a contour extract means and an image of the major part area separated from the original image by the separation means 78 to generate a mask for the major part and a blur processing means 82 applies blur processing to the image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法に係り、特に、デジタルスチルカメラ等で
撮影された画像に対して画像処理を施してプリントを行
うデジタル写真プリントシステム等における画像処理装
置及び画像処理方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and the like for performing image processing on an image captured by a digital still camera or the like and printing the image. The present invention relates to a processing device and an image processing method.

【0002】[0002]

【従来の技術】一般にデジタルスチルカメラの撮像素子
であるCCDセンサの受光面の大きさは、銀塩写真用の
例えば35mmフィルムより小さく、デジタルスチルカ
メラのレンズ焦点距離は35mmカメラより短い。従っ
て同じ画角、同じ絞りで撮影しても、光学的にデジタル
スチルカメラの方が、35mmカメラより被写界深度が
深くなる。また、一般にデジタルスチルカメラの絞りは
可変範囲が狭く、開放Fナンバーも35mmカメラレン
ズより暗いことが多いため、絞りを開いて被写界深度を
浅くすることもできないことが多い。その結果、特にデ
ジタルスチルカメラで撮影したシーンは、パンフォーカ
ス的な、画像全体にピントがあったようなものになりが
ちである。
2. Description of the Related Art In general, the size of a light receiving surface of a CCD sensor, which is an image pickup device of a digital still camera, is smaller than a 35 mm film for silver halide photography, for example, and the lens focal length of a digital still camera is shorter than that of a 35 mm camera. Therefore, even if the image is photographed with the same angle of view and the same aperture, the digital still camera optically has a deeper depth of field than the 35 mm camera. In general, the aperture of a digital still camera has a narrow variable range and an open F number is often darker than that of a 35 mm camera lens. Therefore, it is often impossible to open the aperture to reduce the depth of field. As a result, in particular, a scene photographed by a digital still camera tends to be like a pan-focused image in which the entire image is in focus.

【0003】しかし、当然シーンによっては、主要被写
体だけを際立たせて、前後の背景はぼかしたい場合もあ
る。そこでカメラのレンズ焦点距離や絞りの調整で被写
界深度を浅くすることができないカメラで撮影した画像
であっても、画像処理によって容易にそのような効果を
もたらしたプリントを作成することが必要となってく
る。
[0003] However, depending on the scene, there is naturally a case where it is desired to make only the main subject stand out and blur the background before and after. Therefore, it is necessary to easily create a print that has such an effect by image processing, even for images taken with a camera that cannot reduce the depth of field by adjusting the lens focal length and aperture of the camera. It becomes.

【0004】そこで、特開平10−65923号公報に
は以下の技術が記載されている。まず、オペレータが主
要部と背景の仮の境界線を指定し、指定された仮の境界
線に基づいて画像データに膨張収縮処理を施し、主要部
を含む領域、背景だけを含む領域、及び主要部と背景と
の正確な境界線を含む領域からなる3つの領域に分離す
る。その後、主要部と背景との正確な境界線を含む領域
に含まれる各画素について、主要部だけを含む領域又は
背景だけを含む領域のどちらに属す画素であるかが、例
えば、色の連続性等に基づいて判定され、主要部と背景
との正確な境界線が検出される。そして、主要部の領域
及び主要部と背景との正確な境界線を含む領域のデジタ
ル画像データに対してシャープネス処理が施され、主要
部と背景との正確な境界線のエッジが違和感なく強調さ
れる。また、主要部と背景との正確な境界線を少し膨張
させた境界線が算出され、この膨張された境界線に基づ
いて、背景の領域のデジタル画像データに内挿処理が施
され、境界線に近接した部分ににじみが発生するのを防
止する。その後、背景の領域については、IIR型フィ
ルタ等を用いてぼかし処理を行う。このように特開平1
0−65923号公報記載の技術では、被写界深度を浅
くすることができないカメラで撮影した画像であって
も、画像処理によって容易に主要被写体だけを際立たせ
て、前後の背景をぼかすことができる。
[0004] Japanese Patent Application Laid-Open No. H10-65923 describes the following technology. First, the operator specifies a temporary boundary between the main part and the background, performs expansion and contraction processing on the image data based on the specified temporary boundary, and performs an area including the main part, an area including only the background, and a main part. It is divided into three regions consisting of a region including an accurate boundary between the part and the background. After that, for each pixel included in the area including the accurate boundary between the main part and the background, it is determined whether the pixel belongs to the area including only the main part or the area including only the background, for example, color continuity. And an accurate boundary line between the main part and the background is detected. Then, sharpness processing is performed on the digital image data of the area of the main part and the area including the accurate boundary between the main part and the background, and the edge of the accurate boundary between the main part and the background is emphasized without discomfort. You. In addition, a boundary line obtained by slightly expanding an accurate boundary line between the main part and the background is calculated. Based on the expanded boundary line, the digital image data of the background region is subjected to interpolation processing, and the boundary line is obtained. To prevent the occurrence of bleeding in a portion close to. Thereafter, the background area is subjected to a blurring process using an IIR filter or the like. As described above,
According to the technique described in Japanese Patent Application Laid-Open No. 0-65923, even if an image is captured by a camera that cannot reduce the depth of field, it is possible to easily emphasize only the main subject by image processing and blur the background before and after. it can.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、特開平
10−65923号公報記載の技術では、オペレータが
主要部と背景との仮の境界線を指定する必要があり、こ
の仮の境界線を指定する作業は、マウス等を使用して指
定するため煩雑な作業となる、という問題があった。
However, in the technique described in Japanese Patent Application Laid-Open No. H10-65923, it is necessary for an operator to specify a temporary boundary between the main part and the background, and to specify the temporary boundary. There is a problem that the work is complicated because the work is specified using a mouse or the like.

【0006】本発明は、上記問題を解決すべく成された
もので、オペレータが主要部と背景との境界線を指定す
る煩雑な作業を行うことなく、自動的に主要部と背景と
を分離し、背景領域だけにぼかし処理を行うことができ
る画像処理装置及び画像処理方法の提供を目的とする。
The present invention has been made to solve the above problem, and automatically separates the main part from the background without the operator having to perform a complicated operation to specify the boundary between the main part and the background. It is another object of the present invention to provide an image processing apparatus and an image processing method capable of performing a blurring process only on a background area.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するため
に本発明は、画素間のデータの差がしきい値以下の隣り
合う画素が同じ領域に含まるように画像を領域分割し、
各領域毎の特徴量を算出する算出手段と、前記算出手段
により算出された特徴量に基づいて、前記領域分割され
た分割領域の中から背景領域又は主要部領域を推定する
領域推定手段と、画像全体から前記領域推定手段により
推定された背景領域のみ選択的にぼかし処理行うか又は
主要部領域を除く領域のみ選択的にぼかし処理を行うぼ
かし処理手段と、を備えることを特徴としている。
In order to achieve the above object, the present invention divides an image into regions so that adjacent pixels having a data difference between pixels equal to or less than a threshold value are included in the same region,
Calculating means for calculating a characteristic amount for each area; and area estimating means for estimating a background area or a main part area from among the divided areas based on the characteristic amount calculated by the calculating means, And a blur processing means for selectively performing blur processing only on the background area estimated by the area estimating means from the entire image or selectively performing blur processing only on an area excluding the main part area.

【0008】請求項1に記載の発明によれば、算出手段
によって画素間のデータ(例えば、色情報、輝度情報や
色差情報など)がしきい値以下の隣り合う画素が同じ領
域に含まれるように画像が領域分割される。そして、各
領域毎の特徴量(例えば、平均輝度、平均色差や平均座
標位置など)が算出され、領域推定手段により、算出さ
れた特徴量に基づいて分割領域の中から背景領域又は主
要部領域が推定される。例えば、画像における所定の位
置を背景領域として、該背景領域の特徴量と背景領域に
隣り合う他の領域分割された領域の特徴量とを比較する
ことにより背景領域か否かを推定し、推定された背景領
域と隣り合う分割領域について順次特徴量を比較するこ
とにより背景領域を推定することが可能である。
According to the first aspect of the present invention, adjacent pixels whose data (for example, color information, luminance information, color difference information, etc.) between pixels are equal to or less than a threshold value are included in the same region by the calculating means. The image is divided into regions. Then, a feature amount (for example, an average luminance, an average color difference, an average coordinate position, and the like) for each region is calculated, and the background region or the main portion region is selected from the divided regions by the region estimation means based on the calculated feature amount. Is estimated. For example, a predetermined position in an image is set as a background region, and the feature amount of the background region is compared with the feature amount of another divided region adjacent to the background region to estimate whether or not the image is the background region. The background region can be estimated by sequentially comparing the feature amounts of the divided background region and the adjacent divided region.

【0009】また、領域推定手段により推定された背景
領域又は主要部領域に基づいて、ぼかし処理手段によ
り、推定された背景領域又は主要部領域を除く領域のみ
選択的にぼかし処理が行われる。すなわち、主要部領域
と背景領域の境界線を指定することなく、自動的に背景
領域にのみぼかし処理を行うことができる。
Further, based on the background area or the main part area estimated by the area estimating means, the blur processing means selectively performs the blur processing only on the area excluding the estimated background area or the main part area. That is, it is possible to automatically perform the blurring process only on the background area without specifying the boundary line between the main part area and the background area.

【0010】請求項2に記載の発明は、請求項1に記載
の発明において、前記ぼかし処理手段は、画像全体を背
景領域と背景領域を除く領域、又は主要部領域と主要部
領域を除く領域に分離する分離手段と、前記分離手段に
より分離された背景領域を除く領域又は主要部領域にマ
スクを生成するマスク生成手段と、前記マスク生成手段
により生成されたマスクの領域以外の領域に対してぼか
し処理を行う処理手段と、からなることを特徴としてい
る。
According to a second aspect of the present invention, in the first aspect of the present invention, the blur processing means includes a step of setting the entire image to be a region excluding a background region and a background region, or a region excluding a main region and a main region. Separating means, a mask generating means for generating a mask in a region other than the background region separated by the separating means or a main part region, and an area other than the mask area generated by the mask generating means. And a processing means for performing a blurring process.

【0011】請求項2に記載の発明によれば、請求項1
に記載の発明において、ぼかし処理手段が分離手段と、
マスク生成手段と、処理手段からなり、領域推定手段に
より推定された背景領域又は主要部領域が分離手段によ
り、背景領域と背景領域を除く領域、又は、主要部領域
と主要部を除く領域に2分される。そして、分離された
背景領域を除く領域又は主要部領域にマスク生成手段に
よりマスクが生成され、生成されたマスクに基づいて、
処理手段によりマスク以外の領域にぼかし処理を行うこ
とが可能となる。
According to the invention described in claim 2, according to claim 1,
In the invention described in 5, the blur processing means is a separation means,
The background area or main area estimated by the area estimating means is composed of a mask generating means and a processing means. Divided. Then, a mask is generated by a mask generation unit in an area or a main part area other than the separated background area, and based on the generated mask,
The blurring process can be performed on the area other than the mask by the processing means.

【0012】請求項3に記載の発明は、請求項1又は請
求項2に記載の発明において、前記領域推定手段は、前
記画像の4隅のうち少なくとも1つを背景領域とし、前
記背景領域の前記特徴量と隣接する領域の前記特徴量と
が所定のしきい値以下である場合に前記隣接する領域を
背景領域として統合することを特徴としている。
According to a third aspect of the present invention, in the first or second aspect of the invention, the area estimating means sets at least one of four corners of the image as a background area, When the feature amount and the feature amount of the adjacent region are equal to or smaller than a predetermined threshold, the adjacent region is integrated as a background region.

【0013】請求項3に記載の発明によれば、請求項1
又は請求項2に記載の発明において、通常の画像におい
て背景領域は、画像の4隅のうち少なくとも1つであ
る。そこで、領域推定手段は、該画像の4隅の領域のう
ち少なくとも1つの領域を背景領域として、背景領域の
特徴量と隣接する領域の特徴量が所定のしきい値以下で
ある場合に隣接する領域を背景領域とする。従って、所
定のしきい値に基づいて背景領域を推定することができ
る。
According to the third aspect of the present invention, the first aspect is provided.
Alternatively, in the invention described in claim 2, the background region in the normal image is at least one of the four corners of the image. Therefore, the area estimating means determines that at least one of the four corner areas of the image is a background area and is adjacent when the feature quantity of the area adjacent to the feature quantity of the background area is equal to or smaller than a predetermined threshold value. Let the area be the background area. Therefore, the background area can be estimated based on the predetermined threshold.

【0014】請求項4に記載の発明は、請求項1乃至請
求項3の何れか1項に記載の発明において、前記領域推
定手段は、前記領域分割された領域の面積が予め定めら
れた第1の値以上である場合、又は、予め定められた第
2の値以下である場合に該領域を背景領域とすることを
特徴としている。
According to a fourth aspect of the present invention, in the first aspect of the present invention, the area estimating means is configured to determine the area of the divided area in advance. When the value is equal to or more than 1, or when the value is equal to or less than a predetermined second value, the area is set as a background area.

【0015】請求項4に記載の発明によれば、請求項1
乃至請求項3の何れか1項に記載の発明において、算出
手段によりの面積が予め定められた第1の値以上である
場合、すなわち、領域分割された領域の大きさが非常に
大きい場合、又は、算出手段により領域分割された領域
の面積が予め定められた第2の値以上である場合、すな
わち、領域分割された領域の大きさが非常に小さい場
合、該領域を背景領域とすることによって背景領域を推
定することができる。
According to the invention described in claim 4, according to claim 1 of the present invention,
In the invention according to any one of claims 3 to 3, when the area calculated by the calculation means is equal to or larger than a predetermined first value, that is, when the size of the divided region is very large, Alternatively, when the area of the region divided by the calculation unit is equal to or larger than a predetermined second value, that is, when the size of the region divided is very small, the region is set as a background region. Thus, the background area can be estimated.

【0016】請求項5に記載の発明は、請求項1乃至請
求項4の何れか1項に記載の発明において、前記領域推
定手段は、前記領域分割された領域の画素の平均座標位
置が、画像の中心を基準とした画像より小さい円又は楕
円外の領域に位置する領域を背景領域とすることを特徴
としている。
According to a fifth aspect of the present invention, in the first aspect of the present invention, the area estimating means determines that an average coordinate position of a pixel in the divided area is It is characterized in that a region located in a region outside the circle or the ellipse smaller than the image based on the center of the image is set as the background region.

【0017】請求項5に記載の発明によれば、請求項1
乃至請求項4の何れか1項に記載の発明において、通常
の画像の場合には主要被写体は画像のほぼ中央部に位置
する。そこで、算出手段により領域分割された領域の画
素の平均座標位置が、画像の中心を基準とした画像より
小さい円又は楕円外の領域に位置する領域を背景領域と
することによって背景領域を推定することができる。
According to the invention described in claim 5, according to claim 1,
In the invention described in any one of the fourth to fourth aspects, in the case of a normal image, the main subject is located substantially at the center of the image. Therefore, the background area is estimated by setting, as a background area, an area in which the average coordinate position of the pixels of the area divided by the calculation means is located in an area outside a circle or an ellipse smaller than the image based on the center of the image. be able to.

【0018】請求項6に記載の発明は、請求項2乃至請
求項5の何れか1項に記載の発明において、前記マスク
生成手段は、前記画像における輪郭を抽出し、前記主要
部領域の輪郭に重ねることにより、前記マスクの輪郭を
整えることを特徴としている。
According to a sixth aspect of the present invention, in the second aspect of the present invention, the mask generating means extracts a contour in the image, and extracts a contour of the main portion area. , So that the contour of the mask is adjusted.

【0019】請求項6に記載の発明によれば、請求項2
乃至請求項5の何れか1項に記載の発明において、マス
ク生成手段によりぼかし処理を行うために主要部領域に
マスクが生成される際に、画像の輪郭を抽出した輪郭画
像と分離手段により分離された主要部領域とが重ねられ
ることにより、マスクを行う主要部の輪郭を整えること
ができ、背景領域にぼかし処理を行う際に確実に主要部
のマスクを行うことができる。
According to the invention of claim 6, according to claim 2,
In the invention according to any one of claims 5 to 5, when a mask is generated in a main part region for performing the blurring process by the mask generation unit, the outline of the image is separated from the extracted outline image by the separation unit. The superimposition of the main part region thus overlapped makes it possible to adjust the outline of the main part to be masked, and to reliably mask the main part when performing the blurring process on the background area.

【0020】請求項7に記載の発明は、請求項1乃至請
求項5の何れか1項に記載の発明において、前記算出手
段は、前記画像における輪郭を強調し、該強調された輪
郭に基づいて、前記領域分割を行うことを特徴としてい
る。
According to a seventh aspect of the present invention, in the first aspect of the present invention, the calculating means emphasizes a contour in the image, and calculates the contour based on the emphasized contour. And performing the area division.

【0021】請求項7に記載の発明によれば、請求項1
乃至請求項5の何れか1項に記載の発明において、画像
における輪郭を強調し、強調された輪郭画像に基づい
て、算出手段により領域分割が行われるため、各領域の
境界線が明確になる。従って、分離手段により背景領域
と背景領域を除く領域、又は、主要部領域と主要領域を
除く領域が分離される際の境界線も明確となり、背景領
域と主要部領域との境界線の精度を向上することができ
る。
According to the invention of claim 7, according to claim 1,
In the invention according to any one of claims 5 to 5, the outline in the image is emphasized, and the region is divided by the calculating unit based on the emphasized outline image, so that the boundary line of each region becomes clear. . Therefore, the boundary when the background region and the region other than the background region or the main region and the region other than the main region are separated by the separating means is also clear, and the accuracy of the boundary line between the background region and the main region is improved. Can be improved.

【0022】請求項8に記載の発明は、請求項1乃至請
求項7の何れか1項に記載の発明において、前記ぼかし
処理の強さを指定するぼかし処理強度指定手段を更に備
えることを特徴としている。
According to an eighth aspect of the present invention, there is provided any one of the first to seventh aspects of the present invention, further comprising a blur processing strength designating means for designating the strength of the blur processing. And

【0023】請求項8に記載の発明によれば、請求項1
乃至請求項7の何れか1項に記載の発明において、ぼか
し処理強度指定手段を更に備えることにより、ぼかし処
理手段により行われるぼかし処理の強さを設定すること
が可能となる。
According to the invention of claim 8, according to claim 1,
In the invention according to any one of claims 7 to 7, the image processing apparatus further includes a blur processing intensity designating unit, whereby it is possible to set the intensity of the blur processing performed by the blur processing unit.

【0024】請求項9に記載の発明は、請求項1乃至請
求項8の何れか1項に記載の発明において、前記ぼかし
処理を行うか否かを切り換える切換手段を更に備えるこ
とを特徴としている。
According to a ninth aspect of the present invention, in any one of the first to eighth aspects of the present invention, there is further provided switching means for switching whether or not to perform the blurring processing. .

【0025】請求項9に記載の発明によれば、請求項1
乃至請求項8の何れか1項に記載の発明において、切換
手段を更に備えることにより、ぼかし処理を行うか否か
を選択することが可能となる。
According to the ninth aspect of the present invention, the first aspect is provided.
In the invention according to any one of claims 8 to 10, further comprising a switching means makes it possible to select whether or not to perform a blurring process.

【0026】請求項10に記載の発明は、画素間のデー
タの差がしきい値以下の隣り合う画素が同じ領域に含ま
れるように画像を領域分割し、分割された各領域毎の特
徴量を算出し、算出された特徴量に基づいて、前記領域
分割された分割領域の中から背景領域又は主要部領域を
推定し、画像全体から推定された背景領域のみ選択的に
ぼかし処理を行うか又は主要部領域を除く領域のみ選択
的にぼかし処理を行うことを特徴としている。
According to a tenth aspect of the present invention, an image is divided into regions so that adjacent pixels having a data difference between pixels equal to or less than a threshold value are included in the same region, and a characteristic amount for each of the divided regions is provided. Based on the calculated feature amount, a background area or a main part area is estimated from the divided areas, and only the background area estimated from the entire image is subjected to selective blur processing. Alternatively, only the region other than the main region is selectively blurred.

【0027】請求項10に記載の発明によれば、画素の
データ(例えば、色情報、輝度情報や色差情報など)が
しきい値以下の隣り合う画素が同じ領域に含まれるよう
に画像を領域分割する。そして、各領域毎の特徴量(例
えば、平均輝度、平均色差や平均座標位置など)を算出
し、算出された特徴量に基づいて分割領域の中から背景
領域又は主要部領域を推定していく。例えば、画像にお
ける所定の位置を背景領域として、該背景領域の特徴量
と背景領域に隣り合う他の領域分割された領域の特徴量
とを比較することにより背景領域か否かを推定し、推定
された背景領域と隣り合う分割領域について順次特徴量
を比較することにより背景領域を推定することが可能で
ある。
According to the tenth aspect of the present invention, the image is area-divided such that adjacent pixels whose pixel data (for example, color information, luminance information, color difference information, etc.) are equal to or less than the threshold value are included in the same area. To divide. Then, a feature amount (for example, average luminance, average color difference, average coordinate position, etc.) for each region is calculated, and a background region or a main portion region is estimated from the divided regions based on the calculated feature amount. . For example, a predetermined position in an image is set as a background region, and the feature amount of the background region is compared with the feature amount of another divided region adjacent to the background region to estimate whether or not the image is the background region. The background region can be estimated by sequentially comparing the feature amounts of the divided background region and the adjacent divided region.

【0028】そして、推定された背景領域又は主要部領
域に基づいて、背景領域又は主要部領域を除く領域のみ
選択的にぼかし処理を行う。このようにぼかし処理を行
うことによって、主要部領域と背景領域の境界線を指定
することなく、自動的に背景領域にのみぼかし処理を行
うことが可能となる。
Then, based on the estimated background region or main region, only the region other than the background region or main region is subjected to selective blurring. By performing the blurring processing as described above, it is possible to automatically perform the blurring processing only on the background area without specifying the boundary line between the main part area and the background area.

【0029】[0029]

【発明の実施の形態】以下、図面を参照して多色感熱シ
ートに画像を記録する多色感熱プリンタに本発明を適用
した実施の形態について詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to a multicolor thermal printer for recording an image on a multicolor thermal sheet will be described in detail with reference to the drawings.

【0030】図1に示すように、プリンタ10は、略矩
形状の多色感熱記録シート12にカラー画像を熱記録
し、記録された画像を光によって定着させて画像を形成
する装置であり、ケーシング14内に収納されている。
As shown in FIG. 1, a printer 10 is a device for thermally recording a color image on a substantially rectangular multicolor thermal recording sheet 12 and fixing the recorded image with light to form an image. It is stored in the casing 14.

【0031】ケーシング14の一方の側面には、載置台
16が取り付けられた多色感熱記録シート12用挿入口
18が設けられ、また、ケーシング14の他方の側面に
は、載置台20が取り付けられた多色感熱記録シート1
2用排出口22が設けられている。そして、挿入口18
と排出口22との間には、多色感熱記録シート12を挿
入口18か排出口22方向に搬送する搬送装置が配置さ
れている。
On one side of the casing 14, an insertion opening 18 for the multicolor thermal recording sheet 12 to which the mounting table 16 is mounted is provided. On the other side of the casing 14, a mounting table 20 is mounted. Multicolor thermal recording sheet 1
A second outlet 22 is provided. And the insertion port 18
A transport device that transports the multicolor thermal recording sheet 12 in the direction of the insertion port 18 or the discharge port 22 is disposed between the discharge port 22 and the discharge port 22.

【0032】搬送装置は、挿入口18の近傍に設けられ
た一対の搬送ローラ24、及び排出口22の近傍に設け
られた一対の搬送ローラ32を含んで構成されている。
搬送ローラ24の搬送方向下流側には、ガイド板26が
設けられ、搬送ローラ32の搬送方向上流側には、ガイ
ド板38が設けられている。
The transport device includes a pair of transport rollers 24 provided near the insertion port 18 and a pair of transport rollers 32 provided near the discharge port 22.
A guide plate 26 is provided downstream of the transport roller 24 in the transport direction, and a guide plate 38 is provided upstream of the transport roller 32 in the transport direction.

【0033】ガイド板26、38の間には、熱記録手段
としてのサーマルヘッド28及びプラテンローラ30が
対向して設けられている。サーマルヘッド28の搬送ロ
ーラ24側には、多色感熱記録シート12の裏表を検知
するセンサ27及び光源34が配置されている。光源3
4としては、LEDを用いることができ、搬送される多
色感熱記録シート12に対して300〜450nm、好
ましくは420nmの波長の光を照射して多色感熱記録
シート12の検知用に使用されると共に、各発色層に対
して定着を行う定着用光源としても使用される。
A thermal head 28 as a thermal recording means and a platen roller 30 are provided between the guide plates 26 and 38 so as to face each other. On the side of the transport roller 24 of the thermal head 28, a sensor 27 for detecting the front and back of the multicolor thermal recording sheet 12 and a light source 34 are arranged. Light source 3
As 4, an LED can be used and is used for detecting the multicolor thermosensitive recording sheet 12 by irradiating the conveyed multicolor thermosensitive recording sheet 12 with light having a wavelength of 300 to 450 nm, preferably 420 nm. In addition, it is also used as a fixing light source for fixing each color forming layer.

【0034】また、ケーシング14内には、図2に示す
制御回路40が収納されている。制御回路40は、マイ
クロコンピュータで構成され、且つ信号処理部44が接
続されたメインコントローラ42を備えている。この信
号処理部には、RGB(レッド、グリーン、ブルー)色
信号からなる画像データを輝度信号Yと色差信号Cb,
Crとからなる画像データに変換する機能を備えた信号
変換器50、及び信号変換器50から出力された画像デ
ータを一旦記憶するためのRAM52が設けられてい
る。
A control circuit 40 shown in FIG. 2 is housed in the casing 14. The control circuit 40 includes a main controller 42 which is configured by a microcomputer and to which a signal processing unit 44 is connected. The signal processing unit converts image data consisting of RGB (red, green, blue) color signals into a luminance signal Y and a color difference signal Cb,
A signal converter 50 having a function of converting into image data composed of Cr and a RAM 52 for temporarily storing the image data output from the signal converter 50 are provided.

【0035】この信号処理部44には、デジタルカメラ
46、又はコンピュータ48が選択的に接続され、デジ
タルカメラ46からは輝度信号Yと色差信号Cb、Cr
とからなる自然画像のデジタル画像データが入力され、
コンピュータ48からはコンピュータで作成されたRG
B色信号からなるコンピュータグラフィックス(CG)
画像、CG画像と自然画像とが合成された複合画像、テ
キスト画像と自然画像とが合成された複合画像、及びテ
ンプレート画像と自然画像とが合成された複合画像の何
れかのデジタル画像データが入力される。なお、テキス
ト画像及びテンプレート画像は、CG画像で構成するこ
とができる。
A digital camera 46 or a computer 48 is selectively connected to the signal processing section 44. The digital camera 46 outputs a luminance signal Y and color difference signals Cb and Cr.
Digital image data of a natural image consisting of
Computer-generated RG from computer 48
Computer graphics (CG) consisting of B color signals
Digital image data of any one of an image, a composite image obtained by combining a CG image and a natural image, a composite image obtained by combining a text image and a natural image, and a composite image obtained by combining a template image and a natural image is input. Is done. Note that the text image and the template image can be configured by CG images.

【0036】信号処理部44はコンピュータ48からR
GB色信号からなる画像データが入力された場合には、
輝度信号Y,色差信号Cb、Crに変換する。なお、デ
ジタルカメラから入力されるCb、Cr、Y信号からな
る画像データを含む画像データが入力された場合には、
Cb、Cr、Y信号に変換することなく、RAM52に
一旦記憶する。
The signal processing unit 44 sends the R
When image data composed of GB color signals is input,
The signals are converted into a luminance signal Y and color difference signals Cb and Cr. When image data including image data composed of Cb, Cr, and Y signals input from a digital camera is input,
The data is temporarily stored in the RAM 52 without being converted into Cb, Cr, and Y signals.

【0037】メインコントローラ42には、プリンタ1
0の操作を行う操作部55が設けられ、操作部55にオ
ペレータが操作入力を行うことによって、プリンタ10
の動作を制御するように構成されている。また、メイン
コントローラ42の出力側には、メインコントローラか
らの信号に基づいてY、M、Cの各色データの何れか1
つのデータを選択するためのスイッチ58、及びライン
バッファ60を介してサーマルヘッド28を駆動するド
ライバ62が接続され、また光源34から照射された光
の反射光を受光するセンサ27が接続され、さらにプラ
テンローラ30を回転させるための回転駆動源64を駆
動するドライバ66と、光源34及び定着用光源36を
駆動するためのドライバ68とが接続されている。
The main controller 42 includes the printer 1
An operation unit 55 for performing the operation of the printer 10 is provided.
Is configured to control the operation. Any one of the Y, M, and C color data is output to the output side of the main controller 42 based on a signal from the main controller.
A driver 58 for driving the thermal head 28 is connected via a switch 58 for selecting one data and a line buffer 60, and a sensor 27 for receiving the reflected light of the light emitted from the light source 34 is further connected. A driver 66 for driving a rotation drive source 64 for rotating the platen roller 30 and a driver 68 for driving the light source 34 and the fixing light source 36 are connected.

【0038】サーマルヘッド28には、プラテンローラ
30に近接して、電源72に接続された発熱体70が設
けられている。
The thermal head 28 is provided with a heating element 70 connected to a power supply 72 near the platen roller 30.

【0039】更に、メインコントローラ42は、入力さ
れた画像に対して背景領域のみをぼかすぼかし処理を行
うことが可能なように構成されている(後述)。なお、
ぼかし処理を行うか否かの指示は、操作部55にオペレ
ータがぼかし処理を行うか否かを表す情報を入力するこ
とによりなされる。例えば、ぼかし処理切換スイッチを
操作部55に設け、該スイッチを切換操作することによ
ってぼかし処理を行うか否かを選択することが可能であ
る。
Further, the main controller 42 is configured to be capable of performing a blurring process on only the background region of the input image (described later). In addition,
The instruction as to whether or not to perform the blurring process is made when the operator inputs information indicating whether or not to perform the blurring process to the operation unit 55. For example, it is possible to provide a blurring processing changeover switch in the operation unit 55, and to select whether or not to perform the blurring processing by switching the switch.

【0040】続いて、上述した背景ぼかし処理について
説明する。
Next, the above-described background blurring processing will be described.

【0041】上述したぼかし処理は、後述するソフトウ
ェアによってメインコントローラ42により実行される
が、このぼかし処理を機能ブロックで表すと、図3に示
すように、領域分割手段74、連結拡張手段76、輪郭
抽出手段84、分離手段78、マスク生成手段80、及
びぼかし処理手段82によって表すことができる。な
お、領域分割手段74、連結拡張手段76は、それぞれ
本発明の算出手段、領域推定手段に相当する。
The above-described blurring process is executed by the main controller 42 by software, which will be described later. When this blurring process is represented by functional blocks, as shown in FIG. It can be represented by an extraction unit 84, a separation unit 78, a mask generation unit 80, and a blur processing unit 82. The area dividing means 74 and the connection expanding means 76 correspond to the calculating means and the area estimating means of the present invention, respectively.

【0042】領域分割手段74は、画像を表す画像デー
タが輝度信号Yと色差信号Cb、Crで与えられるとす
ると、輝度信号Yの2次元データをラスタースキャンし
ながら、隣接する画素間の輝度差が所定のしきい値(Δ
Y)以下で、かつ色相(Cb、Cr間距離(ΔC)もし
くはCb、Cr色相角度差(ΔH))が所定のしきい値
以下である場合に同一領域として統合し、この条件を満
たさない場合には新たな領域とすることにより領域分割
する。そして、順次このような処理を行い、各領域ごと
にラベル付けしながら領域分割を行う。なお、輝度信号
Y、色差信号Cb、Crの代わりにR、G、Bを用いる
ようにしてもよい。
Assuming that the image data representing the image is given by the luminance signal Y and the color difference signals Cb and Cr, the area dividing means 74 performs a raster scan of the two-dimensional data of the luminance signal Y while performing the luminance difference between adjacent pixels. Is a predetermined threshold (Δ
Y) or less and the hue (Cb / Cr distance (ΔC) or Cb / Cr hue angle difference (ΔH)) is equal to or less than a predetermined threshold, and are integrated as the same area, and this condition is not satisfied Is divided into a new area. Then, such processing is sequentially performed, and area division is performed while labeling each area. Note that R, G, and B may be used instead of the luminance signal Y and the color difference signals Cb and Cr.

【0043】さらに、領域分割手段74は、領域分割し
た後、ラベルによって区別される各領域毎に面積(画素
数)、平均濃度、平均Cb、平均Cr、及び平均座標位
置(平均X、平均Y)などを各領域毎の特徴量として算
出し、領域分割された画像データと共に、該特徴量を連
結拡張手段76に出力する。
Further, after the area is divided, the area dividing means 74 calculates an area (number of pixels), an average density, an average Cb, an average Cr, and an average coordinate position (average X, average Y) for each area distinguished by the label. ) Is calculated as a feature amount for each region, and the feature amount is output to the connection extending unit 76 together with the image data obtained by the region division.

【0044】連結拡張手段76は、領域分割手段74に
よって領域分割された画像において、画像の4隅又は4
隅のうち少なくとも1つを含む領域を背景領域の基準と
し、該4隅の領域又は4隅のうち少なくとも1つを含む
領域に隣接する領域が以下の何れかの条件を満たす場合
に、背景領域とする。なお、背景領域の基準は、原画像
の中心を重心として、画像より小さい楕円外にある領域
を背景領域の基準としてもよい。
In the image divided by the region dividing means 74, the connection expanding means 76
A region including at least one of the corners is set as a reference of the background region. If the four corner regions or the region adjacent to the region including at least one of the four corners satisfies any of the following conditions, the background region And The reference of the background region may be a region outside the ellipse smaller than the image with the center of the original image as the center of gravity.

【0045】1.背景領域と平均輝度、平均Cb、平均
Crの差がそれぞれ別に定める所定のしきい値以下であ
る場合 2.領域の面積(画素数)が別に定める所定の面積Sma
x以上の場合、あるいはSmin以下の場合 3.平均座標位置が画像の中心を基準にした別に定める
所定の大きさの円もしくは楕円領域外にある場合 そして、連結拡張手段76は、上述の条件を満たす領域
を背景領域として連結拡張し、分離手段へ出力する。
1. 1. When the difference between the background area and the average luminance, the average Cb, and the average Cr is equal to or less than a predetermined threshold value separately determined A predetermined area Sma separately determined by the area (number of pixels) of the region
2. If it is more than x, or if it is less than Smin. When the average coordinate position is outside a circle or an elliptical region of a predetermined size separately determined based on the center of the image, the connection expanding unit 76 connects and expands the region satisfying the above conditions as a background region, Output to

【0046】輪郭抽出手段84は、原画像を用いて原画
像の輪郭線の抽出を行って輪郭抽出画像を作成する。輪
郭抽出は、1次微分(グラディエント)、2次微分(ラ
プラシアン)などの一般的な微分フィルタによって輪郭
強調を行うことができ、ソーベル(Sobel)フィル
タと呼ばれる境界線抽出フィルタなどにより最終的に輪
郭が細線化された輪郭抽出画像を作成することができ
る。
The contour extracting means 84 extracts a contour line of the original image by using the original image to create a contour extracted image. In the contour extraction, the contour can be emphasized by a general differential filter such as a first derivative (gradient) and a second derivative (Laplacian), and finally the contour is extracted by a boundary line extracting filter called a Sobel filter. Can create a contour-extracted image with a thin line.

【0047】分離手段78は、連結拡張手段76により
背景領域に吸収されずに残った領域を主要部領域とする
ことによって、画像全体を背景領域と主要部領域に2分
する。
The separation means 78 divides the entire image into two parts, a background area and a main part area, by setting the area remaining unabsorbed in the background area by the connection expanding means 76 as the main part area.

【0048】マスク生成手段80は、分離手段78によ
り分離された主要部領域と輪郭抽出手段84により得ら
れる輪郭抽出画像を重ねて、主要部領域の輪郭を整え
る。そして、主要部領域と重なる画像マスクを生成す
る。
The mask generation unit 80 superimposes the main region separated by the separation unit 78 and the contour extraction image obtained by the outline extraction unit 84 to adjust the outline of the main region. Then, an image mask overlapping with the main area is generated.

【0049】ぼかし処理手段82は、上述のマスク以外
の領域に対して、ぼかし処理を行う。ぼかし処理として
は、ノイズ低減のためのローパスフィルタが適してお
り、最も簡単な平滑化フィルタとして、所定の画素の値
を周辺3×3個の画素の値に対するフィルタ行列を用い
た計算値で置き換える処理を用いることができる。例え
ば、
The blur processing means 82 performs a blur process on an area other than the above-mentioned mask. As the blurring process, a low-pass filter for noise reduction is suitable. As the simplest smoothing filter, the value of a predetermined pixel is replaced with a calculated value using a filter matrix for the values of 3 × 3 surrounding pixels. Processing can be used. For example,

【0050】[0050]

【数1】 (Equation 1)

【0051】のようなフィルタ行列を用いることができ
る。なお、シャープさを維持したまま雑音低減効果があ
り、わずかなぼかし処理として局所領域での中間値(メ
ディアン)を出力するメディアンフィルタを利用するよ
うにしてもよい。
The following filter matrix can be used. Note that a median filter that has a noise reduction effect while maintaining sharpness and outputs an intermediate value (median) in a local region may be used as slight blurring processing.

【0052】ぼかしの強さについては、フィルタ行列要
素の値を変えることで調節でき、数段階のぼかし強度に
応じたフィルタ行列を設定しておけば、ユーザ指定に対
応してぼかし強度を変えることができる。例えば、ぼけ
マスク領域内は、一様なボケ強度にしたり、主要部領域
中心からの画面内距離に応じて変化する(距離が遠くな
るほどぼかし強度が強くなる)ようにしてもよい。
The intensity of the blur can be adjusted by changing the value of the filter matrix element. If a filter matrix corresponding to several levels of the blur intensity is set, the blur intensity can be changed according to the user's specification. Can be. For example, the inside of the blur mask area may have a uniform blur intensity, or may change in accordance with the in-screen distance from the center of the main part area (the greater the distance, the greater the blur intensity).

【0053】なお、ぼかし処理のぼかし強度について
は、一定のぼかし強度であってもよいし、数段階のぼか
し強度が設定可能にしてもよい。数段階のぼかし強度が
設定可能とした場合、数段階のぼかし強度に応じたフィ
ルタ行列を設定しておき、数段階のぼかし強度のうち、
オペレータが選択して操作部55にぼかし強度変更を表
す情報を入力することによって、ぼかし強度を変更する
ことが可能である。例えば、ぼかし強度選択スイッチ等
を操作部55に設けることでぼかし強度の変更が可能で
ある。
It should be noted that the blur intensity of the blur process may be a constant blur intensity or a plurality of levels of blur intensity may be set. If it is possible to set several levels of blur intensity, a filter matrix corresponding to several levels of blur intensity is set, and among several levels of blur intensity,
The operator can change the blur intensity by inputting information indicating the change in the blur intensity to the operation unit 55. For example, it is possible to change the blur intensity by providing a blur intensity selection switch or the like on the operation unit 55.

【0054】次に本実施の形態における作用をぼかし処
理のソフトウェアについて説明する。
Next, a description will be given of software for processing for blurring the operation in the present embodiment.

【0055】オペレータが操作部55を操作し、ぼかし
処理を実行する情報を入力することによりぼかし処理が
行われる。
When the operator operates the operation unit 55 and inputs information for executing the blurring process, the blurring process is performed.

【0056】次に、RAM52に一旦記憶された画像デ
ータをメインコントローラ42に取り込み、取り込んだ
画像データに対して自動的にぼかし処理を行う。なお、
ぼかし処理が図4に示すフローチャートに従って行われ
る。以下、ぼかし処理について図4のフローチャート及
び図5を参照して説明する。
Next, the image data once stored in the RAM 52 is taken into the main controller 42, and the taken image data is automatically blurred. In addition,
The blurring process is performed according to the flowchart shown in FIG. Hereinafter, the blurring process will be described with reference to the flowchart of FIG. 4 and FIG.

【0057】図5(A)には、ぼかし処理を行う前のバ
ラの花を主要部領域の被写体としたオリジナル画像が示
されている。操作部55にぼかし処理を行う情報が入力
されると、ステップ100で領域分割手段74により、
図5(A)に示すオリジナル画像の領域分割処理が行わ
れ、図5(B)に示すような領域分割画像が作成され
る。
FIG. 5A shows an original image in which a rose flower before the blurring process is used as a subject in the main area. When information for performing the blurring process is input to the operation unit 55, the area dividing unit 74 in step 100
The region division processing of the original image shown in FIG. 5A is performed, and a region division image as shown in FIG. 5B is created.

【0058】ステップ102では、連結拡張手段76に
より図5(B)に示す画像の4隅の領域に隣接する領域
が上述した何れかの条件を満たす場合に背景領域とし、
背景領域を順次拡張連結することにより背景領域が推定
される。そして、分離手段78によって、連結拡張手段
76が背景領域として吸収せずに残った領域を主要部領
域とし、画像を背景領域と主要部領域に2分して、主要
部領域が抽出される(図5(C))。
In step 102, when the area adjacent to the four corner areas of the image shown in FIG.
The background region is estimated by sequentially expanding and connecting the background region. Then, the separation unit 78 sets the region left unabsorbed as the background region by the connection expansion unit 76 as the main region, divides the image into two regions, the background region and the main region, and extracts the main region ( (FIG. 5 (C)).

【0059】ステップ104では、輪郭抽出手段84に
より、図5(A)のオリジナル画像に対する輪郭抽出が
行われ、図5(D)に示す輪郭抽出画像が生成される。
In step 104, the contour extracting means 84 extracts a contour from the original image shown in FIG. 5A, and generates a contour extracted image shown in FIG. 5D.

【0060】続くステップ106では、分離手段78に
より抽出された主要部領域と輪郭抽出手段84により得
られる輪郭抽出画像を重ねて、主要部領域の輪郭に一番
近い輪郭線を輪郭抽出画像より選択することにより、主
要部領域の輪郭が整えられる。そして、輪郭の整えられ
た主要部領域をマスクとしてぼけマスクが生成される
(図5(E))。
In the following step 106, the main part area extracted by the separating means 78 and the contour extraction image obtained by the contour extracting means 84 are overlapped, and the contour closest to the contour of the main part area is selected from the contour extracted image. By doing so, the contour of the main area is adjusted. Then, a blur mask is generated using the main portion region whose contour has been adjusted as a mask (FIG. 5E).

【0061】ステップ108では、生成されたぼけマス
クを用いてぼかし処理手段82によりぼかし処理が行わ
れ、図5(F)に示すような背景領域のみがぼけた画像
を得ることができる。すなわち、ぼかし処理によりデジ
タルスチルカメラで撮影したパンフォーカス的に画面全
体にピントが合ったような画像から、35mm一眼レフ
カメラで絞り優先で被写体深度を浅くして撮影したよう
な、主要部のみがくっきりして背景はぼかしたプリント
を作成することができる。
In step 108, the blur processing is performed by the blur processing means 82 using the generated blur mask, and an image in which only the background region is blurred as shown in FIG. 5F can be obtained. In other words, only the main part, such as a picture taken with a 35 mm single-lens reflex camera with a priority given to the aperture and a shallower depth of field, is taken from an image in which the entire screen is focused in pan focus taken with a digital still camera by blurring You can create prints that are sharp and have a blurred background.

【0062】このように、オペレータが主要部領域と背
景領域との境界線を指定する煩雑な作業を行うことな
く、オペレータが操作部55にぼかし処理を行うか否か
表す情報を入力するだけで、自動的にぼかし処理を行う
ことができる。
As described above, the operator simply inputs information indicating whether or not to perform the blurring process on the operation unit 55 without performing a complicated operation of designating the boundary between the main part area and the background area. , Can automatically perform the blurring process.

【0063】続いて、上述のぼかし処理に対するその他
の構成について図6を参照して説明する。
Next, another configuration for the above-described blurring process will be described with reference to FIG.

【0064】図6に示すように、上述のぼかし処理と同
様に、領域分割手段74、連結拡張手段76、輪郭強調
手段86、分離手段78、マスク生成手段80及びぼか
し処理手段82によって構成されている。
As shown in FIG. 6, similarly to the above-described blurring processing, the image processing apparatus includes a region dividing means 74, a link expanding means 76, a contour emphasizing means 86, a separating means 78, a mask generating means 80, and a blurring processing means 82. I have.

【0065】上述のぼかし処理では、マスク生成手段に
よりぼかしマスクを生成する際にマスクの輪郭を整える
ために輪郭抽出手段84を設けたのに対して、領域分割
する際の領域分割線を整えるため輪郭強調手段86が設
けられている。すなわち、原画像の輪郭強調を行い、輪
郭強調された画像に対して領域分割を行う構成となって
いる。このようにすることにより、境界線が明確にな
り、領域分割した後の背景領域と主要部領域との境界線
の精度を向上することができる。
In the above-described blurring processing, the contour extracting means 84 is provided for adjusting the contour of the mask when the mask generating means generates the blurring mask, whereas the area dividing line for dividing the area is adjusted. An outline emphasis means 86 is provided. That is, the configuration is such that the outline of the original image is emphasized, and the area is divided for the image whose outline is enhanced. By doing so, the boundary line becomes clear, and the accuracy of the boundary line between the background region and the main region after the region division can be improved.

【0066】次にこのように構成されたぼかし処理につ
いて、図6、図7のフローチャート及び図8を参照して
説明する。
Next, the blur processing configured as described above will be described with reference to the flowcharts of FIGS. 6 and 7 and FIG.

【0067】図8(A)には、ぼかし処理を行う前の人
物を主要部領域の被写体としたオリジナル画像が示され
ている。本フローチャートでは、操作部55にぼかし処
理を行う指令が入力されると、ステップ200で輪郭強
調手段86により図8(A)に示すオリジナル画像に対
する輪郭強調が行われ、図8(B)に示す輪郭強調画像
が生成される。
FIG. 8A shows an original image in which a person before blurring processing is a subject in a main part area. In this flowchart, when an instruction to perform the blurring process is input to the operation unit 55, the outline emphasis unit 86 performs outline emphasis on the original image shown in FIG. An outline emphasized image is generated.

【0068】ステップ202では、輪郭強調手段86に
より輪郭強調された輪郭線に基づいて、領域分割手段7
4により行われる領域分割処理が行われ、図8(C)に
示す領域分割画像が作成される。このように輪郭強調が
行われた画像に対して領域分割処理が行われることによ
り、領域分割した後の背景領域と主要被写体領域との境
界線の精度を向上することができる。
In step 202, based on the contour line whose contour has been emphasized by the contour emphasizing means 86, the area dividing means 7
4 is performed, and a region-divided image shown in FIG. 8C is created. By performing the region division processing on the image on which the contour enhancement has been performed, the accuracy of the boundary between the background region after the region division and the main subject region can be improved.

【0069】ステップ204では、領域分割画像(図8
(C))に基づいて、4隅の領域に隣接する領域が上述
した何れかの条件を満たす場合に背景領域とし、背景領
域を順次連結拡張することにより背景領域が推定され
る。そして、背景領域として吸収されずに残った領域を
主要部領域とし、領域分割画像を背景領域と主要部領域
に2分することにより、主要部領域が抽出される(図8
(D))。
In step 204, the area divided image (FIG. 8)
Based on (C)), if the area adjacent to the four corner areas satisfies any of the above-described conditions, the area is set as a background area, and the background area is estimated by sequentially connecting and expanding the background areas. The main area is extracted by dividing the area that has not been absorbed as the background area into the main area and dividing the region-divided image into the background area and the main area (FIG. 8).
(D)).

【0070】ステップ206では、抽出された主要部領
域をマスクとしてぼけマスクが生成される(図8
(E))。
In step 206, a blur mask is generated using the extracted main area as a mask (FIG. 8).
(E)).

【0071】ステップ208では、生成されたぼけマス
クを用いてぼかし処理が行われ、図8(F)に示すよう
な背景領域のみがぼけた画像を得ることができる。
In step 208, a blur process is performed using the generated blur mask, and an image in which only the background region is blurred as shown in FIG. 8F can be obtained.

【0072】なお、上記では、背景領域を連結拡張して
画像データから背景領域を分離することによって主要領
域にマスクを生成するようにしたが、背景領域以外の主
要部領域を連結拡張して主要部領域を生成し、生成され
た主要部領域からマスクを生成するようにしてもよい。
In the above description, the mask is generated in the main area by connecting and expanding the background area and separating the background area from the image data. However, the main area other than the background area is connected and expanded to form the mask. A partial region may be generated, and a mask may be generated from the generated main region.

【0073】また、上記では、輝度信号Yと色差信号C
b、Crからなる信号を用いてぼかし処理を行う構成と
したが、RGB色信号を用いてぼかし処理を行う構成と
してもよい。
In the above description, the luminance signal Y and the color difference signal C
Although the blur processing is performed using the signal composed of b and Cr, the blur processing may be performed using the RGB color signals.

【0074】更に、本実施の形態では、本発明をプリン
タ10を例に説明したが、プリンタ10に限るものでは
なく、例えば、デジタルスチルカメラに本発明を適用し
てもよいし、写真感光材料などを処理してプリントを行
うデジタルラボシステムに本発明を適用するようにして
もよい。
Further, in the present embodiment, the present invention has been described by taking the printer 10 as an example. However, the present invention is not limited to the printer 10, and may be applied to, for example, a digital still camera, The present invention may be applied to a digital lab system that processes and prints.

【0075】[0075]

【発明の効果】以上説明したように本発明によれば、オ
ペレータが主要部と背景との境界線を指定する煩雑な作
業を行うことなく、自動的に主要部と背景とを分離し、
背景領域だけにぼかし処理を行うことができる画像処理
装置及び画像処理方法を提供することができるという効
果がある。
As described above, according to the present invention, the main part and the background can be automatically separated from each other without the operator having to perform a complicated operation for specifying the boundary between the main part and the background.
There is an effect that it is possible to provide an image processing apparatus and an image processing method capable of performing a blurring process only on a background region.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態に係るプリンタの概略図で
ある。
FIG. 1 is a schematic diagram of a printer according to an embodiment of the present invention.

【図2】本発明の実施の形態に係るプリンタの制御回路
を示すブロック図である。
FIG. 2 is a block diagram showing a control circuit of the printer according to the embodiment of the present invention.

【図3】特殊画像処理におけるぼかし処理の構成を示す
ブロック図である。
FIG. 3 is a block diagram illustrating a configuration of a blurring process in special image processing.

【図4】ぼかし処理の流れの一例を示すフローチャート
である。
FIG. 4 is a flowchart illustrating an example of the flow of a blurring process.

【図5】ぼかし処理の一例の処理過程を示す図である。FIG. 5 is a diagram illustrating a process of an example of a blurring process;

【図6】ぼかし処理のその他の構成を示すブロック図で
ある。
FIG. 6 is a block diagram showing another configuration of the blurring process.

【図7】ぼかし処理のその他の例を示すフローチャート
である。
FIG. 7 is a flowchart illustrating another example of the blurring process.

【図8】ぼかし処理のその他の例の処理過程を示す図で
ある。
FIG. 8 is a diagram showing a process of another example of the blurring process.

【符号の説明】[Explanation of symbols]

10 プリンタ 42 メインコントローラ 74 領域分割手段 76 連結拡張手段 78 分離手段 80 マスク生成手段 82 ぼかし処理手段 84 輪郭抽出手段 86 輪郭強調手段 DESCRIPTION OF SYMBOLS 10 Printer 42 Main controller 74 Area division means 76 Connection expansion means 78 Separation means 80 Mask generation means 82 Blur processing means 84 Outline extraction means 86 Outline enhancement means

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/262 H04N 1/40 101D 5C077 5/91 5/91 H Fターム(参考) 2H110 BA16 CB27 CB31 CD05 5B057 BA02 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE04 CE06 CE16 CH09 CH18 DA08 DA17 DB02 DB06 DB09 DC04 DC16 DC36 5C023 AA06 AA07 AA31 BA03 BA13 CA08 DA04 DA08 EA02 EA10 EA14 5C053 FA04 FA08 GA10 JA16 KA03 LA01 LA03 LA11 5C076 AA01 AA02 AA31 AA32 AA36 AA40 BA05 BA06 CA10 5C077 LL19 MP07 MP08 PP02 PP03 PP21 PP27 PP28 PP32 PP34 PP46 PP47 PP55 PP58 PP60 PP61 PP68 PQ08 PQ20 RR14 TT04 TT09 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI theme coat ゛ (Reference) H04N 5/262 H04N 1/40 101D 5C077 5/91 5/91 HF term (Reference) 2H110 BA16 CB27 CB31 CD05 5B057 BA02 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE04 CE06 CE16 CH09 CH18 DA08 DA17 DB02 DB06 DB09 DC04 DC16 DC36 5C023 AA06 AA07 AA31 BA03 BA13 CA08 DA04 DA08 EA02 EA10 EA14 5C05 LA03 A01 GA03 AA32 AA36 AA40 BA05 BA06 CA10 5C077 LL19 MP07 MP08 PP02 PP03 PP21 PP27 PP28 PP32 PP34 PP46 PP47 PP55 PP58 PP60 PP61 PP68 PQ08 PQ20 RR14 TT04 TT09

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 画素間のデータの差がしきい値以下の隣
り合う画素が同じ領域に含まるように画像を領域分割
し、各領域毎の特徴量を算出する算出手段と、 前記算出手段により算出された特徴量に基づいて、前記
領域分割された分割領域の中から背景領域又は主要部領
域を推定する領域推定手段と、 画像全体から前記領域推定手段により推定された背景領
域のみ選択的にぼかし処理行うか又は主要部領域を除く
領域のみ選択的にぼかし処理を行うぼかし処理手段と、 を備えることを特徴とする画像処理装置。
A calculating unit configured to divide an image into regions so that adjacent pixels having a data difference between pixels equal to or less than a threshold value are included in the same region, and calculate a feature amount for each region; Area estimating means for estimating a background area or a main part area from the divided areas based on the feature amount calculated by the above-described method; and selectively selecting only the background area estimated by the area estimating means from the entire image. An image processing apparatus comprising: a blur processing unit that performs a blur process or selectively performs a blur process only on an area excluding a main part area.
【請求項2】 前記ぼかし処理手段は、画像全体を背景
領域と背景領域を除く領域、又は主要部領域と主要部領
域を除く領域に分離する分離手段と、前記分離手段によ
り分離された背景領域を除く領域又は主要部領域にマス
クを生成するマスク生成手段と、前記マスク生成手段に
より生成されたマスクの領域以外の領域に対してぼかし
処理を行う処理手段と、からなることを特徴とする請求
項1に記載の画像処理装置。
2. The image processing apparatus according to claim 1, wherein the blur processing unit includes: a separating unit configured to separate the entire image into a background region and a region excluding the background region, or a main unit region and a region excluding the main unit region; and a background region separated by the separating unit. A mask generating means for generating a mask in an area or a main part area excluding the above, and a processing means for performing a blurring process on an area other than the area of the mask generated by the mask generating means. Item 2. The image processing device according to Item 1.
【請求項3】 前記領域推定手段は、前記画像の4隅の
うち少なくとも1つを背景領域とし、前記背景領域の前
記特徴量と隣接する領域の前記特徴量とが所定のしきい
値以下である場合に前記隣接する領域を背景領域として
統合することを特徴とする請求項1又は請求項2に記載
の画像処理装置。
3. The region estimating means sets at least one of the four corners of the image as a background region, and when the characteristic amount of the background region and the characteristic amount of an adjacent region are equal to or smaller than a predetermined threshold value. The image processing apparatus according to claim 1, wherein, in a certain case, the adjacent area is integrated as a background area.
【請求項4】 前記領域推定手段は、前記領域分割され
た領域の面積が予め定められた第1の値以上である場
合、又は、予め定められた第2の値以下である場合に該
領域を背景領域とすることを特徴とする請求項1乃至請
求項3の何れか1項に記載の画像処理装置。
4. The region estimating means, when the area of the divided region is equal to or larger than a predetermined first value or equal to or smaller than a predetermined second value. The image processing apparatus according to any one of claims 1 to 3, wherein is set as a background area.
【請求項5】 前記領域推定手段は、前記領域分割され
た領域の画素の平均座標位置が、画像の中心を基準とし
た画像より小さい円又は楕円外の領域に位置する領域を
背景領域とすることを特徴とする請求項1乃至請求項4
の何れか1項に記載の画像処理装置。
5. The area estimating means sets an area in which the average coordinate position of the pixels of the area-divided area is located in an area outside a circle or an ellipse smaller than the image based on the center of the image as a background area. 5. The method according to claim 1, wherein:
The image processing apparatus according to claim 1.
【請求項6】 前記マスク生成手段は、前記画像におけ
る輪郭を抽出し、前記主要部領域の輪郭に重ねることに
より、前記マスクの輪郭を整えることを特徴とする請求
項2乃至請求項5の何れか1項に記載の画像処理装置。
6. The mask generation unit according to claim 2, wherein the mask generation unit adjusts the outline of the mask by extracting an outline in the image and overlapping the outline with the outline of the main region. The image processing apparatus according to claim 1.
【請求項7】 前記算出手段は、前記画像における輪郭
を強調し、該強調された輪郭に基づいて、前記領域分割
を行うことを特徴とする請求項1乃至請求項5の何れか
1項に記載の画像処理装置。
7. The image processing apparatus according to claim 1, wherein the calculating unit emphasizes an outline in the image, and performs the area division based on the emphasized outline. The image processing apparatus according to any one of the preceding claims.
【請求項8】 前記ぼかし処理の強さを指定するぼかし
処理強度指定手段を更に備えることを特徴とする請求項
1乃至請求項7の何れか1項に記載の画像処理装置。
8. The image processing apparatus according to claim 1, further comprising: a blur processing strength designating unit for designating a strength of the blur processing.
【請求項9】 前記ぼかし処理を行うか否かを切り換え
る切換手段を更に備えることを特徴とする請求項1乃至
請求項8の何れか1項に記載の画像処理装置。
9. The image processing apparatus according to claim 1, further comprising a switching unit that switches whether or not to perform the blurring processing.
【請求項10】 画素間のデータの差がしきい値以下の
隣り合う画素が同じ領域に含まれるように画像を領域分
割し、分割された各領域毎の特徴量を算出し、 算出された特徴量に基づいて、前記領域分割された分割
領域の中から背景領域又は主要部領域を推定し、 画像全体から推定された背景領域のみ選択的にぼかし処
理を行うか又は主要部領域を除く領域のみ選択的にぼか
し処理を行うことを特徴とする画像処理方法。
10. An image is divided into regions so that adjacent pixels having a data difference between pixels equal to or less than a threshold value are included in the same region, and a feature amount of each of the divided regions is calculated. A background region or a main portion region is estimated from the divided regions based on the feature amount, and only the background region estimated from the entire image is selectively subjected to blur processing or a region excluding the main portion region. An image processing method characterized by selectively performing a blurring process only.
JP23116699A 1999-08-18 1999-08-18 Image processing apparatus and image processing method Expired - Fee Related JP3918141B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23116699A JP3918141B2 (en) 1999-08-18 1999-08-18 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23116699A JP3918141B2 (en) 1999-08-18 1999-08-18 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2001057630A true JP2001057630A (en) 2001-02-27
JP3918141B2 JP3918141B2 (en) 2007-05-23

Family

ID=16919359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23116699A Expired - Fee Related JP3918141B2 (en) 1999-08-18 1999-08-18 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP3918141B2 (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296144A (en) * 2001-03-30 2002-10-09 Seiko Epson Corp Method and apparatus for detecting mark
JP2003101858A (en) * 2001-09-20 2003-04-04 Pentax Corp Digital camera
JP2003233819A (en) * 2002-02-08 2003-08-22 Seiko Epson Corp Image processing method, image processor, its program and recording medium
KR20040035007A (en) * 2002-10-18 2004-04-29 (주) 임펙링크제너레이션 Face Detection and Background Blurring for Video Conference Application
WO2005064539A1 (en) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging, Inc. Image area extraction and image processing method, device, and program
JP2006011618A (en) * 2004-06-23 2006-01-12 Noritsu Koki Co Ltd Photographic image processing method and its device
JP2006345056A (en) * 2005-06-07 2006-12-21 Olympus Corp Image pickup apparatus
JP2006345054A (en) * 2005-06-07 2006-12-21 Olympus Corp Image pickup apparatus
JP2007124398A (en) * 2005-10-28 2007-05-17 Nikon Corp Photographing device
JP2007213083A (en) * 2007-03-15 2007-08-23 Seiko Epson Corp Image processing system, image processing method, image processing apparatus, image processing program
CN100364319C (en) * 2004-10-06 2008-01-23 索尼株式会社 Image processing method and image processing device
JP2008118348A (en) * 2006-11-02 2008-05-22 Nikon Corp Electronic camera and program
JP2009527059A (en) * 2006-02-14 2009-07-23 フォトネーション アイルランド リミテッド Image blur processing
JP2009206585A (en) * 2008-02-26 2009-09-10 Nikon Corp Image processing apparatus, image processing program and digital camera
JP2010039946A (en) * 2008-08-07 2010-02-18 Ricoh Co Ltd Image processor, imaging device, image processing method and program
US7768567B2 (en) 2005-06-07 2010-08-03 Olympus Corporation Image pickup device
CN101827215A (en) * 2009-03-06 2010-09-08 卡西欧计算机株式会社 From photographic images, extract the filming apparatus in subject zone
US7970207B2 (en) 2006-09-22 2011-06-28 Fujifilm Corporation Apparatus and program for evaluating images
JP2011175663A (en) * 2011-04-22 2011-09-08 Casio Computer Co Ltd Imaging device, image processing method, and program
JP2012021904A (en) * 2010-07-15 2012-02-02 Sony Corp Image processing device and image processing method
US8135228B2 (en) 2008-01-22 2012-03-13 Samsung Electronics Co., Ltd. Apparatus and method for immersion generation
US8170350B2 (en) 2004-08-16 2012-05-01 DigitalOptics Corporation Europe Limited Foreground/background segmentation in digital images
US8175385B2 (en) 2004-08-16 2012-05-08 DigitalOptics Corporation Europe Limited Foreground/background segmentation in digital images with differential exposure calculations
JP2012120747A (en) * 2010-12-09 2012-06-28 Fujifilm Corp Ultrasound diagnostic apparatus and ultrasound image generation method
JP2012133593A (en) * 2010-12-21 2012-07-12 Nikon Systems Inc Image processing apparatus, imaging apparatus and image processing program
JP2012173830A (en) * 2011-02-18 2012-09-10 Sharp Corp Image processing device, image processing method, and program
JP2012216179A (en) * 2011-03-31 2012-11-08 Casio Comput Co Ltd Image processing device, image processing method, and program
JP2013042201A (en) * 2011-08-11 2013-02-28 Nikon Corp Image processing apparatus, imaging apparatus, and program
JP2015060366A (en) * 2013-09-18 2015-03-30 カシオ計算機株式会社 Image processor, image processing method and program
JP2020515982A (en) * 2017-12-20 2020-05-28 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd Image processing method, apparatus, computer-readable storage medium, and electronic device

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296144A (en) * 2001-03-30 2002-10-09 Seiko Epson Corp Method and apparatus for detecting mark
JP2003101858A (en) * 2001-09-20 2003-04-04 Pentax Corp Digital camera
JP4565784B2 (en) * 2001-09-20 2010-10-20 Hoya株式会社 Digital camera
JP2003233819A (en) * 2002-02-08 2003-08-22 Seiko Epson Corp Image processing method, image processor, its program and recording medium
KR20040035007A (en) * 2002-10-18 2004-04-29 (주) 임펙링크제너레이션 Face Detection and Background Blurring for Video Conference Application
WO2005064539A1 (en) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging, Inc. Image area extraction and image processing method, device, and program
JP2006011618A (en) * 2004-06-23 2006-01-12 Noritsu Koki Co Ltd Photographic image processing method and its device
US8175385B2 (en) 2004-08-16 2012-05-08 DigitalOptics Corporation Europe Limited Foreground/background segmentation in digital images with differential exposure calculations
US8170350B2 (en) 2004-08-16 2012-05-01 DigitalOptics Corporation Europe Limited Foreground/background segmentation in digital images
CN100364319C (en) * 2004-10-06 2008-01-23 索尼株式会社 Image processing method and image processing device
US7800681B2 (en) 2005-06-07 2010-09-21 Olympus Corporation Image pickup device capturing a plurality of images that have different viewing angles
US7768567B2 (en) 2005-06-07 2010-08-03 Olympus Corporation Image pickup device
US7782387B2 (en) 2005-06-07 2010-08-24 Olympus Corporation Image pickup device utilizing optical distortion characteristic
JP2006345056A (en) * 2005-06-07 2006-12-21 Olympus Corp Image pickup apparatus
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596988B2 (en) * 2005-06-07 2010-12-15 オリンパス株式会社 Imaging device
JP2006345054A (en) * 2005-06-07 2006-12-21 Olympus Corp Image pickup apparatus
JP4596986B2 (en) * 2005-06-07 2010-12-15 オリンパス株式会社 Imaging device
JP4665718B2 (en) * 2005-10-28 2011-04-06 株式会社ニコン Imaging device
JP2007124398A (en) * 2005-10-28 2007-05-17 Nikon Corp Photographing device
JP2009527059A (en) * 2006-02-14 2009-07-23 フォトネーション アイルランド リミテッド Image blur processing
US7970207B2 (en) 2006-09-22 2011-06-28 Fujifilm Corporation Apparatus and program for evaluating images
JP2008118348A (en) * 2006-11-02 2008-05-22 Nikon Corp Electronic camera and program
JP2007213083A (en) * 2007-03-15 2007-08-23 Seiko Epson Corp Image processing system, image processing method, image processing apparatus, image processing program
US8135228B2 (en) 2008-01-22 2012-03-13 Samsung Electronics Co., Ltd. Apparatus and method for immersion generation
JP2009206585A (en) * 2008-02-26 2009-09-10 Nikon Corp Image processing apparatus, image processing program and digital camera
JP2010039946A (en) * 2008-08-07 2010-02-18 Ricoh Co Ltd Image processor, imaging device, image processing method and program
US20100225787A1 (en) * 2009-03-06 2010-09-09 Casio Computer Co., Ltd. Image capturing apparatus capable of extracting subject region from captured image
US8441554B2 (en) 2009-03-06 2013-05-14 Casio Computer Co., Ltd. Image capturing apparatus capable of extracting subject region from captured image
JP2010211255A (en) * 2009-03-06 2010-09-24 Casio Computer Co Ltd Imaging apparatus, image processing method, and program
CN101827215A (en) * 2009-03-06 2010-09-08 卡西欧计算机株式会社 From photographic images, extract the filming apparatus in subject zone
JP2012021904A (en) * 2010-07-15 2012-02-02 Sony Corp Image processing device and image processing method
JP2012120747A (en) * 2010-12-09 2012-06-28 Fujifilm Corp Ultrasound diagnostic apparatus and ultrasound image generation method
JP2012133593A (en) * 2010-12-21 2012-07-12 Nikon Systems Inc Image processing apparatus, imaging apparatus and image processing program
JP2012173830A (en) * 2011-02-18 2012-09-10 Sharp Corp Image processing device, image processing method, and program
JP2012216179A (en) * 2011-03-31 2012-11-08 Casio Comput Co Ltd Image processing device, image processing method, and program
CN102842140A (en) * 2011-03-31 2012-12-26 卡西欧计算机株式会社 Image processing apparatus and image processing method
US9020255B2 (en) 2011-03-31 2015-04-28 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and storage medium
JP2011175663A (en) * 2011-04-22 2011-09-08 Casio Computer Co Ltd Imaging device, image processing method, and program
JP2013042201A (en) * 2011-08-11 2013-02-28 Nikon Corp Image processing apparatus, imaging apparatus, and program
JP2015060366A (en) * 2013-09-18 2015-03-30 カシオ計算機株式会社 Image processor, image processing method and program
JP2020515982A (en) * 2017-12-20 2020-05-28 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd Image processing method, apparatus, computer-readable storage medium, and electronic device
US11132770B2 (en) 2017-12-20 2021-09-28 Shenzhen Sensetime Technology Co., Ltd Image processing methods and apparatuses, computer readable storage media and electronic devices

Also Published As

Publication number Publication date
JP3918141B2 (en) 2007-05-23

Similar Documents

Publication Publication Date Title
JP2001057630A (en) Image processing unit and image processing method
JP5547730B2 (en) Automatic facial and skin beautification using face detection
US8488896B2 (en) Image processing apparatus and image processing method
JP2907120B2 (en) Red-eye detection correction device
JP4718952B2 (en) Image correction method and image correction system
US10897558B1 (en) Shallow depth of field (SDOF) rendering
JP2001186323A (en) Identification photograph system and picture on processing method
CN106570838A (en) Image brightness optimization method and device
CA2455088A1 (en) Method and system for enhancing portrait images that are processed in a batch mode
JP2006011685A (en) Photographic image processing method and its device
JP2004510272A (en) Automatic 2D and 3D conversion method
JPH11261797A (en) Image processing method
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP3913356B2 (en) Image processing method
JP2004361989A (en) Image selection system, image selection program, and image selection method
JP2002271638A (en) White balance correction method and device, and recording medium recorded with program for executing the method
EP1530154A2 (en) Image processing method and apparatus for image sharpening
JP5545316B2 (en) Print production apparatus and print production method
JP2008059534A (en) Image trimming device, image trimming method, and program therefor
JP4467231B2 (en) Image processing device
JP2002368982A (en) Picture processor, picture processing method and recording medium
US7660479B2 (en) Image processing method, image processing apparatus and program for the same
JP2000224418A (en) Mask for changing lightness profile of photo copying
JP2005141523A (en) Image processing method
JP4508112B2 (en) Still image extraction system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070130

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070201

R150 Certificate of patent or registration of utility model

Ref document number: 3918141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140223

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees