JP2003248825A - Device and method for image processing, image processing program, and storage medium - Google Patents

Device and method for image processing, image processing program, and storage medium

Info

Publication number
JP2003248825A
JP2003248825A JP2002046541A JP2002046541A JP2003248825A JP 2003248825 A JP2003248825 A JP 2003248825A JP 2002046541 A JP2002046541 A JP 2002046541A JP 2002046541 A JP2002046541 A JP 2002046541A JP 2003248825 A JP2003248825 A JP 2003248825A
Authority
JP
Japan
Prior art keywords
object
image
image processing
objects
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002046541A
Other languages
Japanese (ja)
Inventor
Yoshiharu Hibi
Masaru Okutsu
優 奥津
吉晴 日比
Original Assignee
Fuji Xerox Co Ltd
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, 富士ゼロックス株式会社 filed Critical Fuji Xerox Co Ltd
Priority to JP2002046541A priority Critical patent/JP2003248825A/en
Publication of JP2003248825A publication Critical patent/JP2003248825A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a device and a method for image processing which can perform more precise image correction.
SOLUTION: A body/area recognition part 1 recognizes objects in an inputted image and a main/sub object determination part 2 determines a main object and a sub object among the recognized objects. According to the relation between the determined main object and sub object, a correcting method determination part 3 determines a correcting method for correcting a target object by using feature quantity of the object. A correction quantity calculation part 4 determines a correction quantity for the correction and a correction execution part 5 actually performs determined correction processing for the respective objects or the whole image. Consequently, different optimum corrections can be made for an image of a 'person' according to the scene, e.g. whether the background is the sea or mountains and the sky.
COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、デジタルカメラ等で撮影されたデジタル画像、ネガフィルムなどをフィルムスキャナ等で入力したデジタル画像、写真等を反射型スキャナで入力したデジタル画像、PDL(Page BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention is a digital image taken with a digital camera or the like, a digital image, the reflection type scanner photographs etc. input and a film scanner or the like negative film digital image input in, PDL (Page
Description Language:ページ記述言語)で記述された画像などを好ましく再現するために行うべき補正方法を決定する技術に関するものである。 The Description Language: relates determining technique a correction method to be performed in order to reproduce such a preferably an image described in a page description language). また、同様の技術を用いて画像を分類するための分類情報を決定する技術に関するものである。 Further, a technique for determining the classification information for classifying the images using similar techniques. 【0002】 【従来の技術】一般のデジタルカメラ等を利用して撮影を行う場合には、撮影の際にデジタルカメラに備えられている測光システムによって露光条件などの撮影条件が自動的に設定され、その撮影条件に従って撮影する場合が多い。 [0002] When performing the Related Art photography by utilizing a general digital camera or the like, shooting conditions such as exposure conditions by measurement system provided in the digital camera during photography is automatically set , in many cases it is taken in accordance with the shooting conditions. 自動的に設定された撮影条件は、被写体がごく平均的な条件であることを前提として決められるため、 To automatically set image capturing conditions is determined on the assumption that the subject is very average conditions,
撮影時の照明条件や、被写体への光の当たり具合、逆光条件など、平均的な条件とは異なる条件下では、所望の画像を得ることができない場合がある。 Lighting conditions and time of shooting, the degree of lighting on the subject, such as backlit conditions, in different conditions than the average conditions, it may be impossible to obtain a desired image. 例えば、逆光条件においては、シーン全体としては明るいため、主要被写体(例えば人物の顔など)が暗く写ってしまうことがある。 For example, in backlit conditions, because bright as a whole scene, which may main subject (e.g., a human face) will be reflected dark. また、被写体を照らす光源の違い(太陽光、蛍光灯など)や、屋外での太陽の条件(夕焼け、曇りなど) In addition, the difference of the light source illuminating the subject (sunlight, fluorescent light, etc.) and, the sun of the conditions of the outdoors (sunset, cloudy, etc.)
により、著しくカラーバランスがシフトして写りこんでしまう不具合が生じる場合があった。 Accordingly, there is a case where a defect which would elaborate-through significantly color balance shift occurs. もちろん、フィルムカメラなどにおいても同様であり、自動的に設定された撮影条件に従って撮影された場合には、フィルム上の画像において同様の問題が発生しており、フィルムスキャナなどで読み取ったデジタル画像においても同様である。 Of course, the same in such a film camera, when photographed in accordance automatically set image capturing conditions are generated the same problem in the image on the film, in a digital image read in such a film scanner the same is true. 【0003】このような不具合に対して、デジタル画像を補正処理することによって所望の画像を得ることが考えられる。 [0003] For such a problem, it is conceivable to obtain a desired image by correcting processing digital images. しかし、一般の不慣れなユーザが各種の補正処理を選択しながら、パラメータを調整して補正処理を行ってゆくことは非常に困難である。 However, while user unfamiliar with the general selects various correction processes, it is very difficult to Yuku performing the correction process by adjusting the parameters. そのため、自動的に最適な画像へ補正することが考えられている。 Therefore, it is considered to correct the automatic optimum image. 【0004】自動的に画像の補正処理を行うためには、 [0004] automatically in order to perform the correction processing of the image,
当該画像がどのようなシーンを撮影したものかを認識し、その撮影シーンに応じた補正処理を行う必要がある。 Recognize or not the image is photographed what scene, it is necessary to perform a correction process corresponding to the photographic scene. このような撮影シーンに応じた画像に対する補正処理を実現するために、従来よりいくつかの方法が提案されている。 To achieve a correction process for the image according to such photographic scenes, several methods have been proposed. その一つとして、例えば特開平5−4183 As one, for example, JP-A-5-4183
0号公報に記載されている装置では、被写体が人物か否かに応じて露出設定を切り替えて、画像取得時に補正を行っている。 In the device described in No. 0 publication, the object is to switch the exposure settings depending on whether or not a person has been corrected at the time of image acquisition. また例えば特開平5−336535号公報に記載されている装置では、画像中の人物とそれ以外の部分において輪郭補正のパラメータを切り替えている。 In the device described in Japanese Unexamined Patent Publication No. 5-336535 has switched the parameters of the contour correction in people and other parts of the image.
さらに、例えば特開2000−123164号公報に記載されている装置では、画像をブロックに分割し、ブロック毎に属性を判別して、その属性に応じた彩度変換を行っている。 Furthermore, for example, Japanese Unexamined apparatus described in 2000-123164 JP divides the image into blocks, to determine the attributes for each block is performed the saturation conversion according to the attribute. 【0005】図14は、従来の画像処理装置の一例を示すブロック図である。 [0005] Figure 14 is a block diagram showing an example of a conventional image processing apparatus. 図中、11は入力画像、12は主要オブジェクト/領域認識部、13は補正量算出部、1 In the figure, 11 is an input image, 12 the main object / area recognition unit, 13 correction amount calculating unit, 1
4は補正実行部、15は出力画像である。 4 the correction execution unit, 15 is an output image. 上述のような従来の各技術は、集約すると図14に示すような構成を取っている。 Each conventional art as described above, are taking the aggregate, as shown in FIG. 14 configuration. すなわち、主要オブジェクト/領域認識部12において、入力画像11中の人物などの主要なオブジェクトの有無や主要なオブジェクトの領域を検出し、 That is, in the main object / area recognition unit 12 detects the region of existence and major objects of the main object, such as a person in the input image 11,
補正量算出部13において、主要なオブジェクトとそれ以外を区別した補正方法や補正パラメータなどを決定し、その補正方法、補正パラメータを用いて補正実行部14において補正処理を実行し、出力画像15を得ている。 The correction amount calculating unit 13, such as to determine the main object and the correction method and correction parameters to distinguish otherwise performs the correction process in the correction execution unit 14 using the correction method, the correction parameter, the output image 15 It has gained. 【0006】このような従来技術によって、主要なオブジェクトに注目した補正処理が可能になり、確かに主要なオブジェクトについては良好な画像が得られる。 [0006] Such prior art enables focused on the main object correction process, good images are obtained for certainly the main object. しかし、主要オブジェクトの有無や各オブジェクトごとに補正が一意に定められてしまうという問題がある。 However, there is a problem that the correction for each presence and each object in the key objects would uniquely determined. 人間がもっとも注視する主要なオブジェクトを中心に補正することは効果的であるが、主要なオブジェクトだけに注目して補正してしまうと主要なオブジェクトだけが強調され、全体のバランスが崩れて違和感のある画像となってしまう場合がある。 It is effective to correct the major object that human beings are the most attention to the center, but the major only to only the main object and thus corrected by the object of interest is highlighted, of discomfort collapsed the entire balance there is a case in which becomes a certain image. 【0007】例えば逆光条件で「人物」を撮影した場合、「人物」は暗く写ってしまう。 [0007] If you take a "person" for example, backlit conditions, "person" would be reflected dark. これを補正するため「人物」が明るくなるように画像全体を補正すると、空などの背景の色が飛んでしまう。 When you correct the whole image as "person" becomes brighter order to correct this, it will fly the color of the background such as the sky. 例えばオブジェクト単位で補正方法を決定する場合でも、例えば「人物」は明るく、「空」は彩度を強調する、というように一律的な補正方法では、「人物+空」というシーンに対して適した補正にはならない場合があった。 For example, even in the case of determining a correction method on an object-by-object basis, for example, "person" is bright, in the "empty" emphasizes the saturation, indiscriminately correction method as that is, suitable for a scene of "person + empty" and there is a case that should not be in correction. 【0008】上述の例では画像を補正する場合について従来の技術を説明したが、例えば画像を保存する場合に、自動的に画像の内容を示す分類情報を付加して蓄積することが行われている。 [0008] Although the above example has been described a conventional technology for the case of correcting the image, for example, to save the image, automatically it been conducted to accumulate by adding classification information indicating the content of the image there. このような場合にも、従来より、画像中から主要なオブジェクトを抽出し、そのオブジェクトを示す分類情報を付加している。 In such a case, conventionally, to extract the main object from the image, appended to the classification information showing the object. しかし、例えば中央に人物が写っている画像に対して「人物」という分類情報を付加しても、その画像の内容を的確に把握することは困難である。 However, for example, be added to the classification information of "person" to the image that is reflected a person in the center, it is difficult to accurately grasp the contents of the image. 例えば、海で撮ったのか、山で撮ったのかということすら分からなかった。 For example, whether taken at sea, I did not even know that what was taken in the mountains. また、例えばオブジェクトを示す属性情報を単に羅列しただけでは、 Also, for example mere enumerated attribute information indicating an object,
例えば風景写真などでは「空」は必ず存在するなど、分類情報が役に立たないといった問題があった。 For example, in such as landscape photography "empty" is always present, there is a problem that classification information is useless. 【0009】 【発明が解決しようとする課題】本発明は、上述した事情に鑑みてなされたもので、シーンに応じてより好ましい補正を画像に対して施すことが可能な画像処理装置及び画像処理方法と、画像に対してより好ましい分類情報の付加が可能な画像処理装置及び画像処理方法を提供することを目的とするものである。 [0009] [0008] The present invention has been made in view of the above circumstances, a more preferred correction image processing apparatus capable of performing the image a and image processing in accordance with the scene and methods, it is an object to provide a more preferable capable image processing apparatus and image processing method additional classification information to the image. さらに、そのような画像処理方法をコンピュータに実行させる画像処理プログラム、及び、そのような画像処理プログラムを格納した記憶媒体を提供することを目的とするものである。 Further, the image processing program for executing such an image processing method on a computer, and, it is an object to provide a storage medium which stores such an image processing program. 【0010】 【課題を解決するための手段】本発明は、画像を補正する画像処理装置及び画像処理方法において、画像から複数のオブジェクトを認識し、それらのオブジェクトに対して画像のシーンの認識結果に基づいて補正方法を決定することを特徴するものである。 [0010] Means for Solving the Problems The present invention is an image processing apparatus and image processing method for correcting the image to recognize a plurality of objects from the image recognition result of the scene image to those objects it is to wherein determining a correction method based on. 特に、画像から複数のオブジェクトを認識した後、認識した複数のオブジェクトから主要オブジェクトと副オブジェクトを決定し、決定した主要オブジェクトと副オブジェクトとの関係から、画像の補正方法を決定するように構成したことを特徴とするものである。 In particular, after recognizing the plurality of objects from the image to determine the main objects and sub-objects from a plurality of objects recognized from the determined relationship between the main object and the sub-object, and configured to determine a correction method of the image it is characterized in. このように、画像のシーンの認識結果、特に、画像中の主要オブジェクトとともに副オブジェクトを用いてその関係から補正方法を決定するので、主要オブジェクトのみの認識結果に基づいて補正する場合に比べて、周囲の状況などに応じて補正処理を行うことができる。 Thus, the image of the scene recognition result, in particular, because it determines a correction method from the relationship with the sub-object with the main object in the image, as compared with the case of correcting, based on the main object only of the recognition result, it is possible to perform correction processing in accordance with the surrounding conditions. 従って、画像に対してバランスの取れた補正処理を行うことが可能となり、より好ましい補正処理を実現することができる。 Therefore, it is possible to perform a consistent correction of the balance for the image, it is possible to realize a more preferred correction process. 【0011】主要オブジェクトと副オブジェクトとの関係としては、主要オブジェクトの種類と副オブジェクトの種類の組み合わせや、2つのオブジェクトの位置、大きさ、重みの少なくともひとつの関係を用いることができる。 [0011] The relationship between the main object and the sub-object, the combination of and type of the main object types and sub-object, the position of the two objects, the size, it is possible to use at least one relationship of the weight. また補正方法を決定する際には、画像全体あるいはオブジェクトごとに行うことができる。 Also when determining the correction method can be performed for each entire image or object. あるいは、主要オブジェクト、副オブジェクト、認識対象外領域、画像全体の特徴量のうち少なくとも一つの特徴量をもとにしたり、主要オブジェクトの属性情報と副オブジェクトの属性情報との関係から補正方法を決定することができる。 Alternatively, determining the main object, sub-object, recognition target area outside, or based on at least one characteristic quantity of the feature quantity of the whole image, correcting the relationship between the attribute information and the attribute information of the sub-objects of the main object methods can do. また、補正方法には、色調および精細度の補正を含むことができる。 Further, the correction method may include correcting the color and definition. 【0012】認識するオブジェクトとしては、領域あるいは物あるいはそれらの集合体とすることができ、その中から主要オブジェクトを決定する際には、オブジェクトの大きさ、位置、向き、個数などの特徴や、オブジェクトごとに定められた重み係数を用いたり、ユーザの指示により決定することができる。 [0012] As recognized object may be a region or object, or their aggregates, in determining the main object from among them, the size of the object, position, orientation, and characteristics such as number, or using a weighting factor determined for each object can be determined by a user's instruction. なお、処理対象の画像は、ビットマップの画像以外にも例えばPDLによって記述された画像であってもよい。 Note that the image to be processed may be an image described by also e.g. PDL in addition to the image of the bitmap. 【0013】また本発明は、画像を分類する画像処理装置及び画像処理方法において、画像から複数のオブジェクトを認識し、認識した複数のオブジェクトから主要オブジェクトと副オブジェクトを決定し、決定した主要オブジェクトの属性情報と副オブジェクトの属性情報との関係から前記画像の分類情報を決定することを特徴とするものである。 [0013] The present invention is an image processing apparatus and image processing method for classifying an image, recognizing a plurality of objects from the image to determine the main objects and sub-objects from a plurality of objects recognized, determined main object it is characterized in determining the classification information of the images from the relationship between the attribute information and the attribute information of the sub-objects. このように主要オブジェクトの属性情報だけでなく副オブジェクトの属性情報も考慮して、それらの関係から分類情報を決定するので、例えば「人物」 Attribute information of the thus secondary object not only attribute information of the main object even in consideration, because it determines the classification information from their relationship, for example, "person"
が写っている画像であっても、「山」で撮ったのか、 Be an image is captured, whether taken in the "mountain",
「海」で撮ったのかなどが分類情報として抽出することができ、的確に画像の内容を示す分類情報を画像に付加して格納することが可能になる。 Can like what taken with "sea" is extracted as the classification information, it is possible to store by adding classification information indicating the content of the appropriately image the image. なおこの発明についても、上述のようなオブジェクトの認識及び主要オブジェクトの決定方法を利用することができる。 Note that although the present invention can also be utilized a method for determining recognition and major object of the above-described object. また処理対象の画像についても、ビットマップのほか、PDLで記述された画像などであってもよい。 As for the image to be processed may, in addition to the bitmap, it may be a picture written in PDL. 【0014】さらに本発明は、これらの画像処理方法をコンピュータに実行させる画像処理プログラム、および、そのような画像処理プログラムを記憶している記憶媒体を提供するものであり、例えばパソコンやワークステーション、さらにはこのような画像処理を提供するサーバなどにおいて実現することができる。 [0014] The present invention relates to an image processing program for executing these image processing method on a computer, and there is provided a storage medium storing such image processing program, such as a personal computer or a workstation, further it can be realized in a server that provides such image processing. 【0015】 【発明の実施の形態】図1は、本発明の実施の一形態を示すブロック図である。 DETAILED DESCRIPTION OF THE INVENTION Figure 1 is a block diagram showing an embodiment of the present invention. 図中、1は物体/領域認識部、 In the figure, 1 is the object / area recognition unit,
2は主副オブジェクト決定部、3は補正方法決定部、4 2 main and ancillary object determining unit, 3 correction method determining unit, 4
は補正量算出部、5は補正実行部、6は関係情報データベースである。 Correction amount calculating section 5 is the correction execution unit, 6 is a relationship information database. 物体/領域認識部1は、入力された画像から複数のオブジェクトを認識する。 Object / region recognition unit 1 recognizes the plurality of objects from the input image. 認識するオブジェクトは、領域、あるいは物、あるいは、それらの集合体とすることができる。 Recognizing objects, region or object, or may be those of the aggregate. オブジェクトの認識は、例えば「空領域」というオブジェクトの認識例では、周波数構造が低周波よりの特徴をもち、位置は画像上部にあり、 Recognition of objects, for example, in recognizing example of an object called "free area", the frequency structure has the features of more low frequency, position is in the upper part of the image,
色情報としては、青色相に含まれる閉じた領域を捕らえて認識することができる。 The color information can recognize captures a closed region contained in the blue phase. また、人物や人物の顔などのオブジェクトの認識は、肌色領域や顔構造の検出など、 Further, the recognition of an object such as the face of a person or persons, including the detection of the skin color area or face structure,
既知の手法を用いて行うことができる。 It can be performed using known techniques. なお、オブジェクトの認識手法は任意であり、種々の公知の手法を用いることができる。 Note that recognition method of the object is arbitrary, it is possible to use various known methods. 【0016】主副オブジェクト決定部2は、物体/領域認識部1で認識された複数のオブジェクトから、主要オブジェクトと副オブジェクトを決定する。 The main sub object determining section 2, a plurality of objects recognized by the object / area recognition unit 1, determines the main object and the sub-objects. 主要オブジェクトの決定方法としては、例えば認識されたオブジェクトが画像中に占める大きさや位置、あらかじめ定められているオブジェクトの重みなどから決定することができる。 As a method for determining the main object can be for example a recognized object sizes and positions occupied in the image is determined from such weights of objects are predetermined. あるいは、画像を表示してユーザが指示するように構成してもよい。 Alternatively, it may be configured such that the user instructs to display the image. 主要オブジェクト以外の認識されたオブジェクトは、副オブジェクトとみなされる。 Recognized object other than the main object are considered secondary object. 但し、副オブジェクトの数が多い場合など、すべてを副オブジェクトにしなくてもよい。 However, such as when the number of sub-objects is large, it may not be all the sub-objects. 【0017】補正方法決定部3は、基本的には画像のシーンを認識し、その認識結果に基づいてそれぞれのオブジェクトに対する補正方法を決定する。 The correction method determination unit 3 is basically recognizes a scene of the image, determining a correction method for each object based on the recognition result. その一例として、ここでは主副オブジェクト家底部2において決定された主要オブジェクト及び副オブジェクトを利用する。 As an example, here utilizes main objects and sub-objects determined in main and ancillary objects home base 2.
まず主要オブジェクトとそれ以外の副オブジェクトの関係を解析する。 First, to analyze the relationship between the main object and the rest of the sub-object. 解析の際には、例えば関係情報データベース6を参照して、主要オブジェクトと副オブジェクトの関係から補正個所、特徴量算出方法、補正処理方法等の情報を取得することができる。 During the analysis, for example by referring to the related information database 6, the correction point from the relationship between the main object and the sub-object, feature calculation methods, it is possible to obtain information such as correction processing method. 主要オブジェクトと副オブジェクトとの関係としては、主要オブジェクトの種類と副オブジェクトの種類の組み合わせを用いたり、2 The relationship between the main object and the sub-object, or with a combination of types and sub-types of objects main object, 2
つのオブジェクトの位置、大きさ、重み等の関係、それぞれの属性情報の関係などを用いることができる。 Position of One object size, the relationship of the weight, etc., can be used as the relationship between each attribute information. また、決定する補正箇所としては、画像全体、あるいは主要オブジェクト、副オブジェクトことなどとすることができ、各補正箇所毎に補正処理方法を決定することができる。 As the correction part of determining the entire image, or the main object, it can be such that the sub-object, it is possible to determine the correction processing method for each correction point. なお、補正処理方法は、上述の主要オブジェクトと副オブジェクトの関係から取得した特徴量算出方法に従って、主要オブジェクト、副オブジェクト認識対象外領域、画像全体などの特徴量を得て、それらの特徴量から決定することができる。 The correction processing method in accordance with the feature quantity calculation method obtained from the main object and the relationship between the sub-objects described above, the main object, sub-object recognition target area outside, with the feature quantity such as the entire image, from their characteristic quantity it can be determined. 【0018】補正量算出部4は、補正方法決定部3において決定した補正方法に従い、どの程度の補正を行うかを算出する。 The correction amount calculation unit 4 in accordance with the correction method determined by the correction method determination unit 3 calculates whether to how much correction. 例えば補正方法決定部3で取得した特徴量算出方法を基に特徴量を算出し(あるいは補正方法決定部3で算出した特徴量を用い)、各補正方法に対応する補正量の算出を行うことができる。 For example (using or feature amount calculated in the correction method determination unit 3) correction feature calculation method obtained by the method determining portion 3 calculates the feature amount based on, by performing the calculation of the correction amount corresponding to the correction method can. 特徴量算出方法には、従来のような一律な算出方法とは異なり、主要オブジェクトと副オブジェクトの組み合わせのパターンから、どのオブジェクトの特徴量を利用して補正量を算出するかといった定義がなされており、この定義を基に、 The feature calculation method, unlike the conventional uniform method for calculating such as, from the pattern of the combination of the main object and the sub-object, or such and is made defines the correction amount is calculated using the feature quantity of which object cage, on the basis of this definition,
それぞれの組み合わせのパターンにあった特徴量を得て、補正量の算出を行う。 Obtaining a feature quantity that matches the pattern of each combination, to calculate the correction amount. 【0019】補正実行部5は、入力された画像に対して、補正方法決定部3で決定された補正処理について、 The correction execution unit 5, the input image, the correction processing determined by the correction method determination unit 3,
補正量算出部4で算出した補正量だけ、実際に補正処理を行う。 By the correction amount calculated in the correction amount calculating unit 4 performs the actual compensation process. 補正処理としては、例えば色調補正や精細度補正などを行うことができる。 As the correction processing can be performed, for example, color correction and resolution correction. 【0020】このような構成によって、従来のようにそれぞれのオブジェクト毎に画一的な補正処理を行う技術に比べ、主要オブジェクトを決定することによって、画像を鑑賞するユーザーがもっとも関心を持つ、注視するオブジェクトを考慮した補正を行うことができる。 [0020] With such a configuration, for each of respective unlike the conventional object compared to a technique for uniform correction processing, by determining the principal object, the user is most interested to appreciate pictures, gaze correction in consideration of an object that can be carried out. さらに、主要オブジェクトだけでなく副オブジェクトを決定することによって、主要オブジェクトと副オブジェクトの関係において最適な補正処理をそれぞれのオブジェクトあるいは認識対象外領域または画像全体に施すことができる。 Moreover, by determining the sub-objects as well the main object, it is possible to perform an optimal correction processing in relation to the main object and the sub-objects throughout each object or recognizing non-target areas or image. 従って、従来のように主要オブジェクトだけに補正を施すことによる周囲との不整合を回避し、全体としてシーンの特性を考慮した最良の補正処理を行うことが可能になる。 Therefore, to avoid mismatch with the surrounding by applying only the correction conventional main object as, it becomes possible to perform the best correction processing in consideration of characteristics of the scene as a whole. 一例として人物の肌色を補正することを考えると、従来は人物の肌色に対してある目標色への補正しか行えないが、主要オブジェクトと副オブジェクトの関係から補正方法を決定することによって、「海」の副オブジェクトを持つ人物画の場合は健康的な小麦色に補正目標色を変更するなど、認識された副オブジェクトによって補正を変化させることができる。 Considering that to correct the skin color of a person as an example, by conventionally not performed only correction to the target color with respect to the skin color of a person, which determines the correction method from the relationship between the main object and the sub-object, "sea for portrait having the secondary object "can be changed corrected by the secondary object, such as that recognized changes the correction target color healthy tan. 【0021】以下、各部の動作の詳細について、具体例を用いながら説明してゆく。 [0021] Hereinafter, details of each part of the operation, slide into explained using a specific example. なお、以下に示す画像の具体例においては、色彩などを表現するためにハッチングを用いており、実際の色彩の補正(例えば鮮やかさの補正)を行った場合には例えばハッチングの間隔などを異ならせて示している。 In the specific example of the image shown below, is used to hatching to represent like color, when performing the actual color correction (e.g. vividness correction) it is different, for example, hatching intervals It is shown to. 【0022】図2は、物体/領域認識部1で認識されるオブジェクトの一例の説明図である。 [0022] Figure 2 is an illustration of an example of an object recognized by the object / area recognition unit 1. 上述のように物体/領域認識部1においては、オブジェクトとして、例えば人物の顔や、ある対象物品などを認識して定義したり、ある閉領域などを認識して定義することができる。 In the object / area recognition unit 1 as described above, as an object, for example, a person's face, and define it recognizes and certain target object, can be defined to recognize and is closed area.
一例として、図2に示すような人物を含めた風景画像においては、「人物」、「空領域」、「山領域」などのオブジェクトを認識することができる。 As an example, the landscape image including a person as shown in FIG. 2 can recognize an object such as "person", "Check region", "mountain area". 例えば「空領域」 For example, "free area"
オブジェクトは、周波数構造としては、低周波であり、 Objects, as the frequency structure, a low frequency,
位置情報は上部にあるもので、色情報は、青色相に含まれる閉じた領域を捕らえることができる。 Position information intended to the top, the color information can capture the closed area included in the blue phase. また、人物や人物の顔などのオブジェクトとしての認識は、既知の手法を用いて識別を行えばよい。 Also, recognized as an object such as the face of a person and the person may be performed identification using known techniques. なお、認識したオブジェクト以外は、この例では認識対象外領域としている。 Incidentally, other than the recognized object in this example is the recognition target area outside. 【0023】次に主副オブジェクト決定部2では、物体/領域認識部1で認識したオブジェクトの中から、主要オブジェクト及び副オブジェクトを決定する。 [0023] Next, in main and sub object determination unit 2, from the object recognized by the object / area recognition unit 1, determines the main object and the sub-objects. 図3は、 Fig. 3,
主要オブジェクトの決定方法の一例の説明図である。 Is an illustration of an example of a method of determining the principal object. 図3には山と空の風景画の例を示しており、領域の大きさにより主要オブジェクトが決定される過程を示している。 The Figure 3 shows an example of the mountain and the sky landscapes show a process in which the main object is determined by the size of the region. 例えば主要オブジェクトの決定方法として、大きいほうのオブジェクトを主要オブジェクト、他を副オブジェクトとすることができる。 For example, as a method of determining the main object, the main object of the object the larger the other may be a sub-object. この場合、図3(A)に示した例では、山のオブジェクトの占める割合が大きく、 In this case, in the example shown in FIG. 3 (A), the proportion of the pile of objects is large,
「山領域」のオブジェクトが主要オブジェクトとなり、 Object of "mountain area" becomes the main object,
「空領域」などの他のオブジェクトが副オブジェクトとなる。 Other objects, such as "free space" is a sub-object. また、図3(B)に示した例では、逆に広い空が広がっているので、「空領域」オブジェクトを主要オブジェクトとし、「山領域」などの他のオブジェクトが副オブジェクトとなる。 In the example shown in FIG. 3 (B), since the wide air Conversely has spread, the "free area" object and the main object, other objects, such as "mountain area" is sub-object. 【0024】図4は、主要オブジェクトの決定方法の別の例の説明図である。 FIG. 4 is an explanatory view of another example of a method for determining the main object. ここでは、各オブジェクトの大きさ、位置、向き、重み係数などをもとに主要オブジェクトを決定する例を示している。 Here, the size of each object, position, orientation, an example of determining a main object on the basis of such weighting factor. 図4(A)に入力された画像を示しており、認識された各オブジェクトにa〜e Figure 4 shows the image input to the (A), a to e on the recognized each object was
の符号を付してある。 It is denoted by the reference numerals. すなわち、aオブジェクトは「空領域」、bオブジェクトは「山領域」、c〜eオブジェクトは「人物」であり、右側の人物ほど大きい人物が存在している。 In other words, a object is "empty area", b object is "mountain area", c~e object is a "person", there is a large person as the right-hand side of the person. これらのオブジェクトについて、それぞれ、大きさ、位置、向きを調べ、重み付けをする。 These objects, respectively, the size, position, examine the orientation to weight. その結果を図4(B)に示している。 The results are shown in FIG. 4 (B). 位置スコアとしては、 The position score,
中央に近く、前景ほど重みを大きくしている。 Close to the center, it is to increase the weight as foreground. 従って中央の人物であるdオブジェクトの重みが最も大きくなっている。 Thus the weight of the d object is the largest is the center of the person. また大きさスコアとしては、大きいほど重み付けを大きくしている。 As the size score, and increasing the weighting larger. この例では「山領域」を示すbオブジェクトが最も大きな面積を占めているので、最も大きな重み付けがなされている。 Since in this example occupies the largest area b object indicating "mountain area", the greatest weight have been made. 向きスコアは、特に人物などにおいて正面を向いているのか、それとも他の方向を向いているのかによって重み付けするものである。 Orientation scores are weighted depending particularly whether facing forward in such a person, or the facing other directions. この例では、右側の「人物」を示すcオブジェクトが正面を向いているものとして大きな重み付けが行われている。 In this example, greater weight as c objects indicating "person" in the right side facing the front has been performed. なお、「空領域」や「山領域」については向きはないので0とされている。 In addition, there is a 0 because there is no orientation for the "free area" and "mountain region". 【0025】さらにこの例では、オブジェクトごとに定められた重み係数を設定している。 [0025] In addition this example, it is set a weighting coefficient defined for each object. 例えば人物が存在する場合、一般的には山や空のオブジェクトよりも主である場合が多い。 For example, if a person is present, in general, it is often the main than the mountains and the sky of the object. そのため、ここでも「空領域」のaオブジェクトや「山領域」のbオブジェクトよりも、「人物」のc〜eオブジェクトに対して大きな重み係数を割り当てている。 Therefore, than b object again a object or "mountain region" of the "free area", are assigned a greater weight factor to c~e object of "person". 【0026】そして、このようにしてそれぞれ設定した位置スコア、大きさスコア、向きスコア、重み係数を総合して総合スコアを算出している。 [0026] The position score respectively set in this manner, the size score, orientation score, and calculates the total score by integrating the weighting factor. この例では、 (位置スコア+大きさスコア+向きスコア)×重み係数によって総合スコアを算出している。 In this example, we calculate the total score by (position score + size score + orientation score) × weight coefficient. この総合スコアが最も大きい値となったオブジェクトを主要オブジェクトとすればよい。 The object to which this overall score has become the largest value may be used as the main object. この例では、右側の「人物」であるcオブジェクトが主要オブジェクトと決定される。 In this example, c object is a right of "person" is determined as the main object. また、その他のオブジェクトが副オブジェクトとなる。 In addition, other objects is a sub-object. なお、副オブジェクトはいくつかに限定することができる。 Incidentally, the sub-objects may be limited to some. 例えば総合スコアの大きい順に選択したり、あるいはオブジェクトの種別の異なるものを選択するなど、任意に選択することができる。 For example, to select in descending order of the overall score, or the like to select different ones of types of objects can be selected arbitrarily. 【0027】図4(B)に示した例では、オブジェクトの大きさ、位置、向きを数値化して使用したが、他の種々の特徴を使用することが可能である。 [0027] In the example shown in FIG. 4 (B), the size of the object, the position has been used to quantify the orientation, it is possible to use various other features. もちろん、総合スコアの算出方法についても任意である。 Of course, it is also arbitrary method for calculating the total score. 【0028】ここでは主要オブジェクトの決定方法として2つの方法を示したが、これ以外にもいろいろな手法を適用することができる。 [0028] Although two ways as a method of determining the primary object here can be applied to various methods other than the above. 例えば、ユーザが利用するパソコンなどのモニタ画面に画像を表示させながら、手動で主要オブジェクトを選択することも可能である。 For example, while displaying the image on the monitor screen of a personal computer used by the user, it is also possible to manually select the main object. 【0029】次に補正方法決定部3では、上述のようにして主副オブジェクト決定部2で決定された主要オブジェクトと副オブジェクトとの関係から、入力された画像に対して行う補正方法を決定する。 [0029] In the next correction method determining unit 3 determines a correction method of the relationship between the main object and the sub-object determined by the main sub-object determination unit 2 as described above, performed on the input image . このとき用いる主要オブジェクトと副オブジェクトとの関係として、主要オブジェクトの種類と前記副オブジェクトの種類の組み合わせを用いることができる。 As the relationship between the main object and the sub-objects used in this case, it is possible to use a combination of the sub-object types and kinds of key objects. 図5は、主要オブジェクトと副オブジェクトのオブジェクトの種類の関係による補正方法の決定の一例の説明図である。 Figure 5 is an illustration of an example of determination of the correction method according to the type of object relationships between the major object and sub-object. 図3においても説明したように、図5(A)では「山領域」が主要オブジェクト、「空領域」が副オブジェクトである「山」のシーンである。 Also as described in FIG. 3, a scene shown in FIG. 5 (A) In the "mountain area" key object, "Check area" a by-object "mountain". このような主要オブジェクトと副オブジェクトの種類の組み合わせを用い、この組み合わせの場合には例えば「空領域」に対して多少明るめにして「山領域」を鮮やかにする等といった補正方法を対応づけておくことができる。 Using a combination of such main object and the sub object type in advance in association with the correction methods such equal to vivid "mountain area" was somewhat lighter For example, "free area" in the case of this combination be able to. これによって、「空」と「山」のコントラストを大きくして、「山」をより強調した画像に補正することができる。 Thus, by increasing the contrast between "empty", "mountain", it is possible to correct the "mountain" more emphasized image. また図5(B)では逆に、「空領域」が主要オブジェクト、「山領域」が副オブジェクトである「空」のシーンである。 Conversely in FIG. 5 (B), the a scene of the "free area" is the main object, "mountain area" which is a by-object "empty". このような場合には、 In such a case,
「空領域」を鮮やかにする等といった補正方法を対応づけておくことができる。 The correction method such equal to vivid "Check region" can be stored in association. これによって、主要オブジェクトである「空領域」の色を、「山」の存在を考慮して、 As a result, the color of which is the main object "empty area", taking into account the existence of a "mountain",
より鮮やかになるように補正することができる。 It can be corrected to be more vivid. 【0030】このように、主要オブジェクトと副オブジェクトの種類の組み合わせは画像のシーンを表しており、主要オブジェクトと副オブジェクトの種類の組み合わせによって補正方法を決定することによって、より好ましい補正方法を適用することが可能である。 [0030] Thus, the combination of the main object and the sub-object type represents a scene of the image by determining a correction method by the combination of the main object and the sub-object type, applying a more preferred correction method It is possible. 例えば上述の例のように同じ「空領域」と「山領域」のオブジェクトが存在する場合でも、その主副の組み合わせの関係からそれぞれの画像に対して、より好ましい補正方法を適用することができる。 For example, even if the object of the same "free area" and "mountain area" as in the above example there may be for each of the image from the relationship between the main and sub combinations, to apply a more preferred correction method . 【0031】このように補正方法を決定する際に、主要オブジェクトと副オブジェクトの種類の組み合わせから、どこを補正するのか、及び、どのような特徴を利用してどのように補正するのかを、各組み合わせ毎に決定する必要がある。 [0031] In determining such correction process, a combination of the main object and the sub-object type, where to to correct, and, how to correct by using what features, each It must be determined for each combination. どこを補正するのかとは、主要オブジェクト、副オブジェクトのいずれかあるいはどのオブジェクトを補正対象とするのか、それとも画像全体を補正するのかということである。 The where to to correct the main object, one or any object sub object or to a correction target, or is whether to correct the entire image. また、どのような特徴とは、主要オブジェクト、副オブジェクト、認識対象外領域、画像全体のうちのどの部分について、例えば色相や濃淡、特定色などのどのような特徴量を利用するかということである。 Further, the what characteristic, the main object, sub-object, recognition target area outside, for any portion of the entire image, by for example color or gray-scale, of how to use what feature quantity such as a specific color is there. さらにそのような特徴を利用して、例えば色調補正や精細度補正、強調補正など、どのような補正処理を行えばよいかを決定する必要がある。 Further by using such characteristics, for example color correction and resolution correction, such enhancement correction, it is necessary to determine what correction processing may be performed. 【0032】このような、どこをどのような特徴を利用してどのように補正するのかを決定するために、この例では関係情報データベース6を利用している。 [0032] Such, where what features to determine how to correct by using the utilize the relationship information database 6 in this example. 図6は、 Figure 6,
関係情報データベースの内容の一例の説明図である。 Is an illustration of an example of the contents of related information database. 図6に示す関係情報データベースの例では、図6(A)に示すオブジェクト組み合わせテーブルと、図6(B)に示す主要オブジェクトテーブルと、図6(C)に示す副オブジェクト順位テーブルと、図6(D)に示す特徴量算出データと、図6(E)に示す補正データにより構成されている。 In the example of relationship information database shown in FIG. 6, an object combination table shown in FIG. 6 (A), a main object table shown in FIG. 6 (B), and the sub-object priority table shown in FIG. 6 (C), FIG. 6 a feature quantity calculation data shown in (D), is constructed by the correction data shown in FIG. 6 (E). 【0033】図6(A)に示すオブジェクト組み合わせテーブルは、画像中に存在するオブジェクトの組み合わせから主要オブジェクトテーブルを参照するためのテーブルであり、この例では、「人物」、「空」、「海」、 The object combination table shown in FIG. 6 (A) is a table for referring to the main object table from the combination of objects present in the image, in this example, "person", "sky", "sea "
「山」のオブジェクトが定義されている例を示している。 It shows an example in which the object of the "mountain" is defined. ここでは図2に示したように「人物」、「空」、 Here, as is shown in FIG. 2, "person", "empty",
「山」が存在する画像が入力されたものとして、主要オブジェクトテーブルへのポインタを示す矢線を図示している。 As "mountain" is input image present, it is illustrated arrows indicating a pointer to the main object table. 【0034】図6(B)に示す主要オブジェクトテーブルは、入力された画像中のオブジェクトのうち、いずれのオブジェクトが主要オブジェクトであるかにより副オブジェクト順位テーブルを参照するためのテーブルである。 The main object table shown in FIG. 6 (B), among the objects in the input image is a table for any object references a secondary object ranking table by either the main object. この例では「人物」オブジェクトが主要オブジェクトであった例を示し、副オブジェクト順位テーブルへのポインタを示す矢線を図示している。 This example shows an example "person" object is a primary object, illustrates the arrows indicating the pointer to the sub-object priority table. 【0035】図6(C)に示す副オブジェクト順位テーブルでは、副オブジェクト間の優先順位に応じて特徴量算出データ及び補正データを選択するためのテーブルである。 [0035] In the sub-object priority table shown in FIG. 6 (C), it is a table for selecting the feature calculation data and the correction data in accordance with the priority between the sub-objects. ここまでの参照によって、画像中にどのようなオブジェクトが存在し、それらのオブジェクトのうち主要オブジェクトが何であり、副オブジェクトの優先順位がどのようになっているかによって、特徴量算出データ及び補正データが選択されることになる。 By reference to where any object is present in the image, there what is the main object of these objects, depending on whether the priority of the sub-object is made how, the feature amount calculation data and the correction data It will be selected. 図6(C)に示す例では、「空」を「山」よりも優先する場合を示している。 In the example shown in FIG. 6 (C), it shows a case where priority than the "empty", "mountain". 【0036】図6(D)に示す特徴量算出データは、上述の各テーブルによって決定された画像中に存在するオブジェクト、主要オブジェクト、副オブジェクトの優先順位において、どのオブジェクトからどのような特徴量を抽出するかを定義している。 The feature calculation data shown in FIG. 6 (D), an object present in the image determined by the table above, the main object, the priority of the sub-object, what features from which object It has defined to be extracted. この例では、「人物」オブジェクトから濃淡情報を、「空」オブジェクトから平均色相情報と濃淡情報を、「山」オブジェクトから平均色相情報を、それぞれ取得する旨を示している。 In this example, the gray-scale information from the "People" object, the average color information and the shading information from the "empty" object, the average color information from the "mountain" object shows the effect that each acquisition. 【0037】また図6(E)に示す補正データは、上述の各テーブルによって決定された画像中に存在するオブジェクト、主要オブジェクト、副オブジェクトの優先順位において、どのオブジェクトに対してどのような特徴量を用いてどのような補正処理を行うかを定義している。 Further correction data shown in FIG. 6 (E), the object present in the image determined by the table above, in the main object, the priority of sub-objects, what feature amount for any object It defines whether to perform what the correction process with. 用いる特徴量は図6(D)に示す特徴量算出データに定義されているが、特徴量を抽出するオブジェクトと、その特徴量を用いて補正処理を施すオブジェクトは、必ずしも一致しない。 Although the feature amount is defined in the feature quantity calculation data shown in FIG. 6 (D) to be used, the object for extracting a feature value, the object subjected to the correction process using the feature amounts do not necessarily agree. 逆に、他のオブジェクトの特徴から補正処理を行うことが可能である。 Conversely, it is possible to perform the correction processing from the characteristics of other objects. 例えば図6 For example, FIG. 6
(E)に示す例では、主オブジェクトが「人物」、副オブジェクトが優先順位の順に「空」、「山」であるとき、「人物」には「空」の濃淡情報を基にして人肌を明るくする補正を行うことが定義されている。 In the example shown in (E), the main object is "person", "empty" sub object in order of priority, when a "mountain", the "person" based on the density information of "empty" skin It is defined to perform the bright corrected. また「空」 The "empty"
には、「山」の平均色相情報を基に、「空」の平均色相を補正することが定義されている。 The, based on the average color information of "mountain", by correcting the average hue of the "Check" is defined. さらに、「山」及び画像全体に対しては補正処理を行わないことが定義されている。 Furthermore, it does not perform the correction process for the entire "mountain", and the image is defined. このように他のオブジェクトの特徴を利用して補正処理を定義することによって、周囲の状況に応じた補正処理が可能となり、より好ましい補正を行うことができる。 By defining the correction processing thus uses the features of the other objects, it is possible to correct process depending on the circumstances, it is possible to perform a more preferred correction. 【0038】図7は、決定した補正方法の画像への適用の一例の説明図である。 [0038] Figure 7 is an illustration of an example of the application to the image of the determined correction method. 例えば図2に示したような画像の一例が入力され、図6に示したような関係情報データベース6を検索することによって図6(D)に示す特徴量算出データ及び図6(E)に示す補正データが得られた場合、定義に従って図7(A)に矢印で示すように「空」の濃淡情報が「人物」、特に顔などの人肌部分に反映され、また「山」の平均色相情報が「空」の色相に反映される。 For example an exemplary image as shown in FIG. 2 is input, shown in the feature quantity calculation data and FIG. 6 (E) shown in FIG. 6 (D) by searching the relation information database 6 as shown in FIG. 6 when the correction data is obtained, the average hue of 7 as indicated by an arrow in (a) "Check" shading information of "person", in particular reflected in the skin portion such as the face, also "mountain" as defined information is reflected in the hue of the "empty". これによって、例えば図7(B)に示すように補正されることになる。 This would be corrected as shown in example FIG. 7 (B). このようにして画像のシーンに応じてオブジェクト毎に補正を行うので、オブジェクトに単独で補正処理を行う場合に比べて、全体として調和の取れた補正処理を行うことができる。 Since this manner corrects for each object according to the scene of the image, as compared with the case where a single correction process to the object, it is possible to perform a consistent correction of harmony as a whole. 【0039】どのオブジェクトのどのような特徴量を用いてどのオブジェクトをどのように補正するかは、補正データの定義によって変更することが可能である。 [0039] How you correct any object with any feature of any object, it is possible to change the definition of the correction data. 図8 Figure 8
は、補正対象を異ならせた補正例の説明図である。 Is an explanatory diagram of a correction example in which different correction target. 図8 Figure 8
(A),(B)とも入力された画像は同じであり、 (A), image input with (B) are the same,
「空」が主要オブジェクト、「山」が副オブジェクトである。 "Empty" is the main object, "mountain" is a sub-object. このような場合に、主要オブジェクトに補正を行ってもよいし、あるいは副オブジェクトに補正を行ってもよい。 In such a case, it may be carried out may be corrected to the main object, or corrected sub-object. 例えば図8(A)に示すように主要オブジェクトである「空」の色を調整することによって、空を好ましく見せることができる。 For example by adjusting the color of which is the main object, as shown in FIG. 8 (A) "empty", it can show preferably the sky. また図8(B)に示すように、「空」を調整せず、副オブジェクトである「山」の色を調整して、逆に主要オブジェクトである「空」を好ましく見せるといった補正方法もある。 Further, as shown in FIG. 8 (B), without adjusting the "empty", to adjust the color of a sub-object "mountain", there is also a correction methods such show preferably the "empty" is the main object in the opposite . もちろん、画像全体を補正するといった場合もある。 Of course, there is a case such to correct the entire image. いずれの補正方法を適用するかは補正データの定義に従うことになる。 To apply one of the correction method will be according to the definition of the correction data. あるいは、後述するオブジェクトの種類や大きさ、属性などの他の様々な情報を利用したり、あるいは、特徴量算出データに従って抽出した各オブジェクトの特徴量によって補正データ自体を切り替えるような構成を用いることも可能である。 Alternatively, described later object type or size, or use various other information, such as attributes, or the use of configuration switches the correction data itself by the feature quantity of each object extracted according to the feature amount calculating data it is also possible. 【0040】このように関係情報データベース4を利用して、物体/領域認識部1で認識したオブジェクト、主副オブジェクト決定部2で決定した主要オブジェクト及び副オブジェクト(このとき副オブジェクトの順位も決定しておく)から、算出すべき特徴量と、その特徴量を利用した補正方法を決定することができる。 [0040] Using the relationship information database 4 Thus, object recognized by the object / area recognition unit 1, also the main sub object determining unit main object and sub objects determined in 2 (in this case sub-object rank determined after left), it can be determined and the feature quantity to be calculated, the correction method using the feature amount. 【0041】上述の例では主要オブジェクトと副オブジェクトの組み合わせのみから補正方法を決定する例を示したが、このほかにも種々の情報を加味して補正方法を決定することができる。 [0041] Although the above example shows an example of determining a correction method from only the combination of the main object and the sub-objects, it is possible to determine a correction method in consideration of various kinds of information in this addition. 図9は、主要オブジェクトと副オブジェクトのオブジェクトの種類及び大きさの関係による補正方法の決定の一例の説明図である。 Figure 9 is an illustration of an example of determination of the correction method according to the type and size of object relationships of the main objects and sub-objects. 図9では、 In FIG. 9,
主要オブジェクトと副オブジェクトとの組み合わせとともに、大きさの要素を加味する場合の例を示している。 With a combination of the main object and the sub-object, and shows how to adding the element size.
図9に示す2つの例において画像中に存在するオブジェクトはともに「空」と「山」と複数の「雲」である。 Objects present in the image in the two examples shown in FIG. 9 are both "empty" and "mountain" multiple "clouds". ここでは「空」が大きな面積を有しているため、「空」オブジェクトが主要オブジェクトであり、「山」と「雲」 At this point, because it has a large area is "empty", "empty" object is the primary object, the "mountain", "cloud"
オブジェクトが副オブジェクトである。 The object is a sub-object. しかし、図9 However, as shown in FIG. 9
(A)においては「雲」の存在が大きい。 The presence of "cloud" is large in (A). このような場合には、主要オブジェクトの「空」をやや鮮やかにするだけにとどめおく。 In such a case, it is held for only to be a little to "empty" the main object vivid. また図9(B)に示したように「雲」が小さく存在するのみであれば、それらの「雲」 Also if only the "cloud" exists small as shown in FIG. 9 (B), their "cloud"
は無視できると判断して、「空」をより鮮やかに調整するといったことができる。 Can be such, it is determined that can be ignored, to adjust the "empty" more vivid. 【0042】このように、存在するオブジェクトの大きさなどを加味して補正方法を決定することによって、小さなオブジェクトの存在に左右されることなく、画像のシーンを的確に把握することができ、画像全体として好ましい補正を行うことができる。 [0042] Thus, by determining the correction method in consideration of such as the size of the existing objects, without being influenced by the presence of small objects, the scene of the image can be accurately grasped, image it can be performed as a whole preferably corrected. 【0043】図10は、主要オブジェクトと副オブジェクトのオブジェクトの属性の関係による補正方法の決定の一例の説明図である。 [0043] Figure 10 is an illustration of an example of determination of the correction method according to the relationship of the attributes of the object of the main object and the sub-objects. この例では、オブジェクトの属性を利用することによって、さらに細かい調整を可能とした例を示している。 In this example, by utilizing the attributes of an object, it shows the possible and the examples finer adjustment. 例えば「空」、「山」というオブジェクトの組み合わせでも「空」が快晴の空であるか、 For example, "empty", a combination of object called "mountain", "sky" is either empty of fine weather,
夕焼けの空であるかの違いで、その再現方法を変更することが可能である。 In if it were empty of sunset difference, it is possible to change the reproduction method. 図10(A)に示した例では、主要オブジェクトである「空」オブジェクトに属性値として「快晴」が付加されている場合を示している。 In the example shown in FIG. 10 (A), it shows a case where "Sunny" is added which is the main object in the "empty" object as an attribute value. このような快晴のシーンの場合、例えば空を鮮やかに再現するため、「山」オブジェクトの特徴量を利用して「空」を鮮やかに再現することができる。 In the case of such a sunny scene, for example, to vividly reproduce the sky, it is possible to reproduce vividly the using the feature amount of "mountain" object "empty". 【0044】また図10(B)に示した例では、主要オブジェクトである「空」オブジェクトに属性値として「夕焼け」が付加されている場合を示している。 In the example shown [0044] Also in FIG. 10 (B), it shows a case where "sunset" is added which is the main object in the "empty" object as an attribute value. このような夕焼けのシーンの場合には、夕焼けの色を強調するため、山のディテールを犠牲にしてシルエット効果が出るように「空」オブジェクトの特徴量を利用して「山」 In the case of the scene of such a sunset, in order to emphasize the color of the sunset, to exit the silhouette effect at the expense of the mountain of detail by using the feature amount of "empty" object "mountain"
を暗く再現するように補正することができる。 It can be corrected so as to reproduce darker. 【0045】このように、オブジェクトの属性を利用することによって、それぞれの属性に応じた補正処理が可能になり、より細かい補正処理が可能となる。 [0045] Thus, by utilizing the attributes of the object, it enables the correction processing corresponding to each attribute, allowing finer correction process. なお、このような属性値による補正方法の切り換えは、例えば関係情報データベース6に属性値テーブルなどを設け、属性値による特徴量算出データ及び補正データを切り換え可能に構成しておけばよい。 Note that switching of the correction method of such an attribute value, for example related information and attribute value table provided in the database 6, it is sufficient to be able to configure switching the feature calculation data and the correction data according to the attribute values. 【0046】上述のようにして補正方法決定部3において補正方法を決定したら、その補正方法に関する情報を補正量算出部4に渡し、補正量算出部4で補正量を決定する。 [0046] After determining the correction method in the correction method determination unit 3 as described above, it passes information about the correction method in the correction amount calculating section 4 determines a correction amount in the correction amount calculation unit 4. 例えば上述の各例においても「明るく」、「暗く」、「鮮やかに」、などといった抽象的な表現を用いているが、どの程度「明るく」、「暗く」、「鮮やかに」するかを補正量算出部4で算出する。 For example, "bright" Also in the above example, "dark", "vivid", is used to abstract representation, such as, how "bright", "dark", corrected or "bright" calculating an amount calculation unit 4. このとき、補正方法決定部3で関係情報データベース6を検索して得られた特徴量算出データ及び補正データを基に、補正データにおける定義に従って、指定されたオブジェクトの特徴量から補正対象のオブジェクトの補正量を算出する。 At this time, based on the feature quantity calculation data and the correction data obtained by searching the related information database 6 by the correction method determination unit 3, as defined in the correction data, an object to be corrected from the feature quantity of the designated object to calculate the amount of correction. 特徴量は、補正方法決定部3で抽出して補正量算出部4に渡してもよいし、特徴量算出データを補正方法決定部3から補正量算出部4に渡して補正量算出部4で特徴量の抽出を行ってもよい。 Feature amount correction method extracted and a decision unit 3 may be passed to the correction amount calculating unit 4, the feature quantity calculation data correction method passing from the decision unit 3 in the correction amount calculating unit 4 a correction amount calculating section 4 it may be performed to extract feature amount. 【0047】補正方法決定部3と補正量算出部4によって、どのオブジェクト(あるいは画像全体)に対してどのような補正処理をどの程度行うかが決定される。 [0047] by the correction method determination unit 3 and the correction amount calculation unit 4, any how much performs correction processing for any object (or the entire image) is determined. 補正実行部5では、これらに基づいて、入力された画像に対して補正処理を行い、出力することになる。 The correction execution unit 5, based on these, performs correction processing on the input image, it outputs. 補正実行部5で行う補正処理としては、明るさ、彩度、コントラスト、記憶色、シャープネスといった画像要素の補正処理を行うことができる。 As the correction processing performed by the correction execution unit 5 can be carried out brightness, saturation, contrast, memory color, the correction processing of the image elements such sharpness. もちろん、他の種々の補正処理を行ってもよい。 Of course, it may perform other various correction processing. 【0048】上述の説明では入力される画像として特に限定はしていないが、例えばデジタルカメラで撮影したり、反射型スキャナで入力したり、あるいはフィルムカメラで撮影したフィルムをフィルムスキャナなどでスキャン入力した、いわゆるビットマップ画像を想定している。 [0048] Though not particularly limited as image input in the above description, for example, a scan input or a digital camera, and inputs the reflection type scanner, or the film taken with a film camera film scanner, etc. was, it is assumed that the so-called bit map image. しかし本発明はこれに限らず、例えばPDL等で記述された画像データであってもよい。 However, the present invention is not limited thereto and may be image data described, for example, PDL or the like. この場合は、物体/領域認識部1で認識されるオブジェクトとしては、1 In this case, as the object to be recognized by the object / area recognition unit 1, 1
ページ内に存在している、より広い意味でのオブジェクトとして、例えば文字オブジェクト、写真(イメージ) It is present in the page, as an object in a wider sense, for example, a character object, photograph (image)
オブジェクトなどが認識される。 Such as the object is recognized. そして、1ページの画像のシーンを認識して各オブジェクトの補正方法を決定することができる。 Then, it is possible to determine a correction method for each object to recognize a scene of an image of one page. 例えば、主副オブジェクト決定部2 For example, primary and secondary object determination unit 2
において主要オブジェクト及び副オブジェクトを決定し、これらの主要オブジェクト及び副オブジェクトの関係等から補正方法を決定することができる。 In determining the primary object and sub-object, it is possible to determine a correction method from relationships of these key objects and sub-objects. 【0049】図11は、PDLにより記述された画像データへの適用例の説明図である。 [0049] Figure 11 is an explanatory view of an application example of the image data described by PDL. 図11(A)に示す例では、見出し文字とともに大きな写真が配置されている。 In the example shown in FIG. 11 (A), a large photo with headline characters are arranged. この画像では、主要オブジェクトは「写真」であり、副オブジェクトは「文字」となる。 In this image, the main object is a "Photo", the sub-object is "character". このような画像は、例えばパンフレットなどに見られる画像であり、多くの場合、写真を好ましく再現することが望まれる。 Such image is an image seen in, for example, pamphlets, it is often desirable to reproduce preferred photos. そのため、「文字」の特徴量を利用して「写真」を鮮やかに好ましく補正すればよい。 Therefore, it is sufficient to vividly preferably corrected the "Photo" by using the feature amount of "character". 【0050】また図11(B)に示す例では、「写真」 [0050] In the example shown in FIG. 11 (B), "photograph"
とその写真を説明する「文字」が並べられている。 That the "character" is ordered to explain the photos. このような文書は例えば商品説明資料などに多く見られ、写真中の主要物を特にはっきりさせることが望まれる場合が多い。 Such documents are often seen in such products explanatory material for example, if in particular to clarify the main product in the photograph is desired in many cases. そのため、「文字」の特徴量を利用して「写真」中の背景をぼかして主要物を際立たせる補正処理を行うとよい。 For this reason, it may be performed to highlight correction processing the main product using the feature amount of blur the background in a "photo" of the "character". 【0051】このようにPDLで記述された画像データの場合でも、1ページ内の画像のシーン、例えば、主要オブジェクトである「写真」のレイアウトや、「文字」 [0051] Even in the case of image data that has been written in this way PDL, scene of the image in one page, for example, layout and which is the main object "photo", "character"
という副オブジェクトのレイアウトによって補正方法を切り替えることで、より好ましいい補正方法を1ページの文書(文書中の各オブジェクト)に適用することが可能である。 By switching the correction method by the layout of the sub-objects that can be applied to a more preferred it has correction method one page document (each object in the document). 【0052】図12は、本発明の別の実施の形態を示すブロック図である。 [0052] Figure 12 is a block diagram showing another embodiment of the present invention. 図中、図1と同様の部分には同じ符号を付して説明を省略する。 In the figure, the description thereof is omitted the same reference numerals are given to the same parts as FIG. 7は分類情報決定部、8は画像データベースである。 7 classification information determining unit, 8 is an image database. 上述の実施の形態では、オブジェクトの認識と、主要オブジェクト及び副オブジェクトの決定及びそれらの関係を、画像の補正に利用した例を示した。 In the above embodiment, the recognition of an object, determination and their relationship to the main object and the sub-objects, an example which utilizes the corrected image. しかし、主要オブジェクト及び副オブジェクトの関係は、他の用途にも利用することが可能である。 However, the relationship between the main object and the sub-objects can also be used for other purposes.
図12に示した例では、入力された画像を分類して格納する画像データベースシステムに本発明を適用した例を示している。 In the example shown in FIG. 12 shows an example of applying the present invention to an image database system for storing and classifying the input image. 【0053】分類情報決定部7は、主副オブジェクト決定部2で決定された主要オブジェクト及び副オブジェクトの関係に基づいて、入力された画像の分類情報を生成する。 [0053] classification information determining unit 7, the main based on the determined main object and relationship of the sub-objects in the sub-object determination unit 2 generates the classification information of the input image. そして、分類情報を入力された画像とともに画像データベース8に登録、格納させる。 Then, registered in the image database 8 along with the input image classification information, it is stored. これによって、画像の題材を考慮した分類が可能となり、例えば主要オブジェクトと副オブジェクトの関係に基づいて画像データベース8から画像を検索することが可能になる。 Thus, classification in consideration of the image of the subject becomes possible, for example, it is possible to retrieve an image from the image database 8 based on the relationship between the main object and the sub-objects. 【0054】図13は、画像と分類情報の関係の一例の説明図である。 [0054] Figure 13 is a diagram illustrating an example of a relationship between the image and classification information. 例えば、入力された画像が図13(A) For example, the input image is FIG 13 (A)
に示すように、山中で人物を写したものである場合、主要オブジェクトは「人物」であり、副オブジェクトは「山」や「空」である。 As shown in, the case in which the copy of a person in the mountains, is the main object is "person", the sub-object is a "mountain" and "empty". 図13(B)は、同じ人物を写した写真ではあるが、海で写したものである。 FIG. 13 (B) although the photograph taken of the same person, but in the burst in the sea. この場合には、主要オブジェクトは「人物」、副オブジェクトは「海」や「空」となる。 In this case, the main object is "person", the sub-object is "sea" or "empty". このような主要オブジェクト及び副オブジェクトの関係を分類情報として画像データベース8に格納しておくことができる。 Such key objects and relationships of the sub objects can be stored in the image database 8 as the classification information. 従って、図13 Accordingly, FIG. 13
(A)では山の中で人物を撮った写真、図13(B)では海で人物を撮った写真、といったように、画像のシーンを的確に示す分類を行うことが可能となる。 Photographs taken of a person in (A) in the mountains, as such photograph, taken a person in the sea in FIG. 13 (B), it is possible to perform a classification indicating a scene of the image accurately. 【0055】従来は、主要オブジェクトのみで画像の分類が行われていたため、図13に示すいずれの画像も分類情報として「人物」となっており、これらを区別して検索することができなかった。 [0055] Conventionally, since the classification of the image has been performed only with the main object, none of the image shown in FIG. 13 has a "person" as the classification information, it could not be searched by distinguishing them. しかし本発明では、主要オブジェクト及び副オブジェクトの関係が分類情報として画像データベース8に格納されているので、「人物」 In the present invention, however, since the relationship between the main object and the sub-object is stored in the image database 8 as the classification information, "person"
の写真ではあるが、「海」で写したもの、といった検索を行うことができる。 There is a photograph of it, it is possible to perform a search, such as, those copies in the "sea". 【0056】 【発明の効果】以上の説明から明らかなように、本発明によれば、画像中のオブジェクトによって一律的に補正方法を決めずに、画像のシーンの認識結果、例えば主要オブジェクトと周辺の副オブジェクトの関係等から補正方法を決定することができるため、画像のシーンに応じて、より好ましい補正処理を実現することが出来るという効果がある。 [0056] As apparent from the foregoing description, according to the present invention, without deciding the uniformly corrected method by the object in an image, the image of the scene recognition result, for example, the main object and the surrounding it is possible to determine the correct method from the secondary object of the relationships of, in accordance with the scene of the image, there is an effect that can be achieved a more favorable correction processing. 【0057】また、このような主要オブジェクト及び副オブジェクトの関係を分類情報として利用することによって、画像に対してより好ましい分類情報を付加することができ、画像全体を的確に示す分類付けと画像内容による的確な検索を実現することができる。 [0057] Further, by utilizing such a key object and relationship of the sub-object as a classification information, it is possible to add more preferred classification information to the image, classification with an image content representing the entire image accurately it is possible to realize an accurate search.

【図面の簡単な説明】 【図1】 本発明の実施の一形態を示すブロック図である。 BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of the present invention. 【図2】 物体/領域認識部1で認識されるオブジェクトの一例の説明図である。 FIG. 2 is an explanatory view of an example of an object recognized by the object / area recognition unit 1. 【図3】 主要オブジェクトの決定方法の一例の説明図である。 Figure 3 is an illustration of an example of a method of determining the principal object. 【図4】 主要オブジェクトの決定方法の別の例の説明図である。 4 is an explanatory diagram of another example of a method for determining the main object. 【図5】 主要オブジェクトと副オブジェクトのオブジェクトの種類の関係による補正方法の決定の一例の説明図である。 5 is an explanatory view of an example of determination of a main object and a correction method according to the type of object relationships secondary object. 【図6】 関係情報データベースの内容の一例の説明図である。 6 is an explanatory view of an example of the contents of related information database. 【図7】 決定した補正方法の画像への適用の一例の説明図である。 7 is an explanatory view of an example of application to the image of the determined correction method. 【図8】 補正対象を異ならせた補正例の説明図である。 8 is an explanatory diagram of a correction example in which different correction target. 【図9】 主要オブジェクトと副オブジェクトのオブジェクトの種類及び大きさの関係による補正方法の決定の一例の説明図である。 9 is an explanatory view of an example of determination of a main object and a correction method of the type and magnitude of the relationship between the sub-objects the object. 【図10】 主要オブジェクトと副オブジェクトのオブジェクトの属性の関係による補正方法の決定の一例の説明図である。 10 is an explanatory view of an example of determination of a main object and a correction method according to the relationship of the attributes of the object sub-object. 【図11】 PDLにより記述された画像データへの適用例の説明図である。 11 is an explanatory view of an application example of the image data described by PDL. 【図12】 本発明の別の実施の形態を示すブロック図である。 Is a block diagram showing another embodiment of the present invention; FIG. 【図13】 画像と分類情報の関係の一例の説明図である。 13 is an explanatory view of an example of a relationship between the image and classification information. 【図14】 従来の画像処理装置の一例を示すブロック図である。 14 is a block diagram showing an example of a conventional image processing apparatus. 【符号の説明】 1…物体/領域認識部、2…主副オブジェクト決定部、 [Description of Reference Numerals] 1 ... object / area recognition unit, 2 ... main sub object determination unit,
3…補正方法決定部、4…補正量算出部、5…補正実行部、6…関係情報データベース、7…分類情報決定部、 3 ... correction method determining unit, 4 ... correction amount calculating unit, 5 ... correction execution unit, 6 ... relationship information database, 7 ... classification information determining unit,
8…画像データベース、11…入力画像、12…主要オブジェクト/領域認識部、13…補正量算出部、14… 8 ... image database, 11 ... input image, 12 ... main object / area recognition unit, 13 ... correction amount calculating unit, 14 ...
補正実行部、15…出力画像。 Correction execution unit, 15 ... output image.

Claims (1)

  1. 【特許請求の範囲】 【請求項1】 画像を補正する画像処理装置において、 An image processing apparatus for correcting the Patent Claims 1 image,
    前記画像から複数のオブジェクトを認識する認識手段と、前記画像のシーンを認識して該認識結果に基づいてそれぞれの前記オブジェクトに対する補正方法を決定する補正方法決定手段を有することを特徴とする画像処理装置。 Image processing characterized by having a correction method determining means for determining a correction method for each of said objects based on said recognition means for recognizing a plurality of objects from an image, recognizes the scene of the image the recognition result apparatus. 【請求項2】 画像を補正する画像処理装置において、 2. An image processing apparatus for correcting an image,
    前記画像から複数のオブジェクトを認識する認識手段と、前記複数のオブジェクトから主要オブジェクトと副オブジェクトを決定するオブジェクト決定手段と、前記主要オブジェクトと前記副オブジェクトとの関係から前記画像の補正方法を決定する補正方法決定手段を有することを特徴とする画像処理装置。 Determining recognition means for recognizing a plurality of objects from the image, and the object determining means for determining a main object and a sub-object from the plurality of objects, the method for correcting the image from the relationship between the sub-objects and the primary object the image processing apparatus and a correction method determination unit. 【請求項3】 前記補正方法決定手段は、前記主要オブジェクトと前記副オブジェクトとの関係として、前記主要オブジェクトの種類と前記副オブジェクトの種類の組み合わせを用いることを特徴とする請求項2に記載の画像処理装置。 Wherein the correction method determination unit, wherein the relationship between the main object and the sub-object, according to claim 2 which comprises using a combination of types of the major object types and the sub-objects image processing apparatus. 【請求項4】 前記補正方法決定手段は、前記主要オブジェクトと前記副オブジェクトとの関係として、当該2 Wherein said correction method determining means, as the relationship between the sub-object and the main object, the 2
    つのオブジェクトの位置、大きさ、重みの少なくともひとつの関係を用いることを特徴とする請求項2に記載の画像処理装置。 One position of the object, the size, the image processing apparatus according to claim 2, characterized by using at least one relationship of the weight. 【請求項5】 前記補正方法決定手段は、画像全体あるいはオブジェクトごとに行う補正方法を決定することを特徴とする請求項2ないし請求項4のいずれか1項に記載の画像処理装置。 Wherein said correction method determining unit, an image processing apparatus according to any one of claims 2 to 4, characterized in that determining a correction method to be performed for each entire image or object. 【請求項6】 前記補正方法決定手段は、前記主要オブジェクト、副オブジェクト、認識対象外領域、画像全体の特徴量のうち少なくとも一つの特徴量をもとに補正方法を決定することを特徴とする請求項2ないし請求項4 Wherein said correction method determining means, characterized in that said determining a main object, sub-object, recognition target extracellular region, based on the correction method, at least one characteristic quantity of the feature quantity of the whole image claims 2 to 4
    のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of. 【請求項7】 前記補正方法決定手段は、前記主要オブジェクトの属性情報と副オブジェクトの属性情報との関係から補正方法を決定することを特徴とする請求項2ないし請求項4のいずれか1項に記載の画像処理装置。 Wherein said correction method determining means, any one of claims 2 to 4, characterized in that to determine the correction method from the relationship between the attribute information and the attribute information of the sub-objects of the main object the image processing apparatus according to. 【請求項8】 前記補正方法決定手段は、色調および精細度を含んだ補正方法を決定することを特徴とする請求項2ないし請求項7のいずれか1項に記載の画像処理装置。 Wherein said correction method determining unit, an image processing apparatus according to any one of claims 2 to 7, characterized in that to determine the color and correction method including the definition. 【請求項9】 画像を分類する画像処理装置において、 9. An image processing apparatus for classifying an image,
    前記画像から複数のオブジェクトを認識する認識手段と、前記複数のオブジェクトから主要オブジェクトと副オブジェクトを決定するオブジェクト決定手段と、前記主要オブジェクトの属性情報と前記副オブジェクトの属性情報との関係から前記画像の分類情報を決定する分類情報決定手段を有することを特徴とする画像処理装置。 Recognition means for recognizing a plurality of objects from the image, and the object determining means for determining a main object and a sub-object from the plurality of objects, the image from the relationship between the attribute information and the sub-object attribute information of the main object the image processing apparatus characterized by having a classification information determining means for determining the classification information. 【請求項10】 前記オブジェクトは、領域あるいは物あるいはそれらの集合体であることを特徴とする請求項2ないし請求項9に記載の画像処理装置。 Wherein said object is an image processing apparatus according to claims 2 to 9, characterized in that a region or object, or collection thereof. 【請求項11】 前記オブジェクト決定手段は、前記オブジェクトの大きさ、位置、向き、個数のうち少なくともひとつの特徴を用いて前記主要オブジェクトを決定することを特徴とする請求項2ないし請求項10のいずれか1項に記載の画像処理装置。 Wherein said object determining means, the size of the object, position, orientation, using at least one characteristic of the number of claims 2 to 10, characterized in that to determine the primary object the image processing apparatus according to any one. 【請求項12】 前記オブジェクト決定手段は、前記オブジェクトごとに定められた重み係数を用いて前記主要オブジェクトを決定することを特徴とする請求項2ないし請求項11のいずれか1項に記載の画像処理装置。 12. The method of claim 11, wherein the object determination unit, an image according to any one of claims 2 to 11, characterized in that to determine the main object using the weighting coefficients defined for each of the objects processing apparatus. 【請求項13】 前記オブジェクト決定手段は、ユーザの指示により前記主要オブジェクトを決定することを特徴とする請求項2ないし請求項10のいずれか1項に記載の画像処理装置。 Wherein said object determining means, the image processing apparatus according to any one of claims 2 to 10, characterized in that to determine the main object in accordance with a user instruction. 【請求項14】 前記画像はPDLで記述されたデータであり、前記認識手段は、PDLから複数のオブジェクトを認識することを特徴とする請求項1ないし請求項1 14. The image is data described in PDL, the recognition means, claim and recognizes a plurality of objects from PDL 1 to Claim 1
    3のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of 3. 【請求項15】 画像を補正する画像処理方法において、前記画像から複数のオブジェクトを認識し、また前記画像のシーンを認識し、シーンの認識結果に基づいてそれぞれの前記オブジェクトに対する補正方法を決定することを特徴とする画像処理方法。 15. The image processing method of correcting an image, recognizing a plurality of objects from the image and recognizes the scene of the image, determines a correction method for each of said objects based on the recognition result of the scene image processing method, characterized in that. 【請求項16】 画像を補正する画像処理方法において、前記画像から複数のオブジェクトを認識し、前記複数のオブジェクトから主要オブジェクトと副オブジェクトを決定し、前記主要オブジェクトと前記副オブジェクトとの関係から前記画像の補正方法を決定することを特徴とする画像処理方法。 16. The image processing method of correcting an image, recognizing a plurality of objects from the image, the plurality of determining the main object and the sub-object from the object, the from the relationship between the sub-objects and the primary object image processing method characterized by determining a correction method of the image. 【請求項17】 前記主要オブジェクトと前記副オブジェクトとの関係として、前記主要オブジェクトの種類と前記副オブジェクトの種類の組み合わせを用いることを特徴とする請求項16に記載の画像処理方法。 17. wherein said main object as a relationship between the sub-objects, an image processing method according to claim 16 which comprises using a combination of types of the major object types and the sub-object. 【請求項18】 前記主要オブジェクトと前記副オブジェクトとの関係として、当該2つのオブジェクトの位置、大きさ、重みの少なくともひとつの関係を用いることを特徴とする請求項16に記載の画像処理方法。 18. The method of claim 17, wherein said main object as a relationship between the sub-objects, the position of the two objects, the size, the image processing method according to claim 16, characterized by using at least one relationship of the weight. 【請求項19】 前記補正方法を決定する際には、画像全体あるいはオブジェクトごとに行うことを特徴とする請求項16ないし請求項18のいずれか1項に記載の画像処理方法。 19. when determining the correction method, image processing method according to any one of claims 16 to claim 18, characterized in that performed for each entire image or object. 【請求項20】 前記補正方法を決定する際には、前記主要オブジェクト、副オブジェクト、認識対象外領域、 20. When determining the correction method is the primary object, sub-object, recognition target area outside,
    画像全体の特徴量のうち少なくとも一つの特徴量をもとに補正方法を決定することを特徴とする請求項16ないし請求項18のいずれか1項に記載の画像処理方法。 The image processing method according to any one of claims 16 to claim 18, wherein the determining based on a correction method at least one characteristic quantity of the feature quantity of the whole image. 【請求項21】 前記補正方法を決定する際には、前記主要オブジェクトの属性情報と副オブジェクトの属性情報との関係から補正方法を決定することを特徴とする請求項16ないし請求項18のいずれか1項に記載の画像処理方法。 When 21. determines the correction method is one of the claim 16 to claim 18, characterized in that to determine the correction method from the relationship between the attribute information and the attribute information of the sub-objects of the main object the image processing method according to any one of claims. 【請求項22】 前記補正方法は、色調および精細度の補正を含むことを特徴とする請求項16ないし請求項2 22. The correction method according to claim 16 or claim 2, characterized in that it comprises a correction of the tone and resolution
    1のいずれか1項に記載の画像処理方法。 The image processing method according to any one of 1. 【請求項23】 画像を分類する画像処理方法において、前記画像から複数のオブジェクトを認識し、前記複数のオブジェクトから主要オブジェクトと副オブジェクトを決定し、前記主要オブジェクトの属性情報と前記副オブジェクトの属性情報との関係から前記画像の分類情報を決定することを特徴とする画像処理方法。 23. The image processing method of classifying an image, recognizing a plurality of objects from the image, the plurality of determining the main object and the sub-object from the object, the attribute information and the attribute of the sub-objects of the main object image processing method characterized by determining the classification information of the images from the relationship between the information. 【請求項24】 前記オブジェクトは、領域あるいは物あるいはそれらの集合体であることを特徴とする請求項16ないし請求項23に記載の画像処理方法。 24. The object, an image processing method according to claim 16 or claim 23, characterized in that a region or object, or collection thereof. 【請求項25】 前記主要オブジェクトの決定は、前記オブジェクトの大きさ、位置、向き、個数のうち少なくともひとつの特徴を用いて決定することを特徴とする請求項16ないし請求項24のいずれか1項に記載の画像処理方法。 25. The determination of the main object, the size of the object, position, orientation, claim 16 or claim 24, wherein the determining using at least one characteristic of the number 1 the image processing method according to claim. 【請求項26】 前記主要オブジェクトの決定は、前記オブジェクトごとに定められた重み係数を用いて決定することを特徴とする請求項16ないし請求項25のいずれか1項に記載の画像処理方法。 26. The method of claim 25, wherein the determination of the main object, an image processing method according to any one of claims 16 to claim 25, characterized in that determined using weighting coefficients determined for each said object. 【請求項27】 前記主要オブジェクトの決定は、ユーザの指示により決定することを特徴とする請求項16ないし請求項24のいずれか1項に記載の画像処理方法。 27. The method of claim 26, wherein the determination of the main object, an image processing method according to any one of claims 16 to claim 24, wherein the determining in accordance with a user instruction. 【請求項28】 前記画像はPDLで記述されたデータであり、PDLから複数のオブジェクトを認識することを特徴とする請求項15ないし請求項27のいずれか1 28. The image is data described in PDL, claim 15 or claim 27, characterized in that to recognize a plurality of objects from PDL 1
    項に記載の画像処理方法。 The image processing method according to claim. 【請求項29】 請求項15ないし請求項28のいずれか1項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。 29. An image processing program characterized by executing the image processing method according to the computer in any one of claims 15 to claim 28. 【請求項30】 請求項15ないし請求項28のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶していることを特徴とする前記コンピュータが読み取り可能な記憶媒体。 30. The computer-readable storage medium characterized by storing a program for executing the image processing method according to the computer in any one of claims 15 to claim 28.
JP2002046541A 2002-02-22 2002-02-22 Device and method for image processing, image processing program, and storage medium Pending JP2003248825A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002046541A JP2003248825A (en) 2002-02-22 2002-02-22 Device and method for image processing, image processing program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002046541A JP2003248825A (en) 2002-02-22 2002-02-22 Device and method for image processing, image processing program, and storage medium

Publications (1)

Publication Number Publication Date
JP2003248825A true JP2003248825A (en) 2003-09-05

Family

ID=28659915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002046541A Pending JP2003248825A (en) 2002-02-22 2002-02-22 Device and method for image processing, image processing program, and storage medium

Country Status (1)

Country Link
JP (1) JP2003248825A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293554A (en) * 2004-03-08 2005-10-20 Seiko Epson Corp Determination of main object in image
JP2009535683A (en) * 2006-04-28 2009-10-01 トムソン ライセンシングThomson Licensing Salience estimation of object-based visual attention model
JP2010256536A (en) * 2009-04-23 2010-11-11 Sharp Corp Image processing device and image display device
JP2012151856A (en) * 2012-02-16 2012-08-09 Konica Minolta Holdings Inc Imaging apparatus and imaging method
US8355574B2 (en) 2004-03-08 2013-01-15 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
WO2013089041A1 (en) * 2011-12-15 2013-06-20 日本電気株式会社 Video processing system, video processing method, video processing device for portable terminal or for server, and method for controlling and program for controlling same
US9678991B2 (en) 2014-02-24 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for processing image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293554A (en) * 2004-03-08 2005-10-20 Seiko Epson Corp Determination of main object in image
US8355574B2 (en) 2004-03-08 2013-01-15 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
JP2009535683A (en) * 2006-04-28 2009-10-01 トムソン ライセンシングThomson Licensing Salience estimation of object-based visual attention model
JP2010256536A (en) * 2009-04-23 2010-11-11 Sharp Corp Image processing device and image display device
WO2013089041A1 (en) * 2011-12-15 2013-06-20 日本電気株式会社 Video processing system, video processing method, video processing device for portable terminal or for server, and method for controlling and program for controlling same
JP2012151856A (en) * 2012-02-16 2012-08-09 Konica Minolta Holdings Inc Imaging apparatus and imaging method
US9678991B2 (en) 2014-02-24 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for processing image

Similar Documents

Publication Publication Date Title
Dhar et al. High level describable attributes for predicting aesthetics and interestingness
US9681040B2 (en) Face tracking for controlling imaging parameters
US6671405B1 (en) Method for automatic assessment of emphasis and appeal in consumer images
JP5397059B2 (en) An image processing apparatus and method, program, and recording medium
JP4472781B2 (en) Real-time Face detection in a digital image acquisition device
DE60116949T2 (en) Face detection method
JP4966021B2 (en) Method and apparatus for optimizing the performance of the redeye filter
EP1382017B1 (en) Image composition evaluation
US7933454B2 (en) Class-based image enhancement system
CN101350883B (en) Auto white balance correction value calculation device, method, and image pickup device
KR101431601B1 (en) Face tracking in a camera processor
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
JP4519708B2 (en) Imaging apparatus and method, and program
US20020093670A1 (en) Doubleprint photofinishing service with the second print having subject content-based modifications
US9053545B2 (en) Modification of viewing parameters for digital images using face detection information
EP1168245A2 (en) Method for varying the number, size and magnification of photographic prints based on image emphasis and appeal
US7675647B2 (en) Apparatus, method, and program for editing images
JP4287179B2 (en) The method for automatic white balance of the digital image
US20110025886A1 (en) Perfecting the Effect of Flash within an Image Acquisition Devices Using Face Detection
US8139826B2 (en) Device and method for creating photo album
US6845181B2 (en) Method for processing a digital image to adjust brightness
JP5150353B2 (en) Contrast enhancement method, apparatus, an imaging device and a storage medium
US8731325B2 (en) Automatic generation of a photo guide
CN102576461B (en) Assess the aesthetic quality of digital images
US20030161506A1 (en) Face detection computer program product for redeye correction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040924

A977 Report on retrieval

Effective date: 20070213

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20070228

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Effective date: 20070423

Free format text: JAPANESE INTERMEDIATE CODE: A523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070530