JP2014220793A - Image color adjustment method and image color adjustment system - Google Patents
Image color adjustment method and image color adjustment system Download PDFInfo
- Publication number
- JP2014220793A JP2014220793A JP2014069880A JP2014069880A JP2014220793A JP 2014220793 A JP2014220793 A JP 2014220793A JP 2014069880 A JP2014069880 A JP 2014069880A JP 2014069880 A JP2014069880 A JP 2014069880A JP 2014220793 A JP2014220793 A JP 2014220793A
- Authority
- JP
- Japan
- Prior art keywords
- information
- adjustment
- color
- color adjustment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
Landscapes
- Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
Description
本発明は、画像の色を調整する画像の色調整方法および画像の色調整システムに関する。 The present invention relates to an image color adjustment method and an image color adjustment system for adjusting the color of an image.
従来、映画の制作では、撮影後のポストプロダクションにおいて、撮影した画像の色を調整する、いわゆるカラーコレクション（色調整）が行われている。このカラーコレクションでは、撮影機材や映写機材等の特性の違いによる色味の差を調整したり、作品全体を監督の意図する雰囲気に合致させたりといったことが行われる。近年の映画撮影では、従来のフィルム撮影に代わってデジタル撮影が主流となっており、また、民生用のデジタルカメラ等も幅広く普及していることから、デジタル撮影した画像の色調整を効率的、効果的に行うための装置や方法等も種々提案されている（例えば、特許文献１または２参照）。 2. Description of the Related Art Conventionally, in the production of movies, so-called color correction (color adjustment) is performed for adjusting the color of a captured image in post-production after shooting. In this color collection, color differences due to differences in the characteristics of photography equipment and projection equipment, etc. are adjusted, and the entire work is matched to the atmosphere intended by the director. In recent movie shooting, digital shooting has become the mainstream instead of conventional film shooting, and since digital cameras for consumer use are also widely used, color adjustment of images shot digitally is efficient, Various apparatuses, methods, and the like for effectively performing have been proposed (see, for example, Patent Document 1 or 2).
しかしながら、従来の装置や方法では、例えば画像データのＲ値（Ｒｅｄ）、Ｇ値（Ｇｒｅｅｎ）およびＢ値（Ｂｌｕｅ）を各画素について一律に変更する等、画像の全体的な色味の調整や特定の色の調整のみを行うものがほとんどであり、例えば画像中の人物等、特定の領域についてのみ色調整を行うことが難しいという問題があった。 However, in the conventional apparatus and method, for example, the R value (Red), the G value (Green), and the B value (Blue) of the image data are uniformly changed for each pixel. In most cases, only a specific color is adjusted. For example, it is difficult to adjust a color only for a specific region such as a person in an image.
すなわち、特定の領域についてのみ色調整を行うには、上記特許文献２に示されるように、色調整を行う領域を指定する必要があるが、領域指定を適切に行わない限り、色調整を行いたくない領域にまで色調整の影響が少なからず及ぼされる結果となるため、領域指定に手間がかかるという問題があった。 That is, in order to perform color adjustment only for a specific area, it is necessary to specify an area for color adjustment as shown in Patent Document 2, but color adjustment is performed unless the area is specified appropriately. As a result, the influence of the color adjustment is exerted not only on the undesired region, but there is a problem that it takes time to specify the region.
また、領域指定を適切に行ったとしても、領域内に含まれる画素について一律に色調整が行われることから、領域内外の境界部分において色味の差が大きく出てしまい、看者に違和感を与える画像となってしまう場合があった。 In addition, even if the area is specified appropriately, color adjustment is performed uniformly for the pixels included in the area, resulting in a large color difference at the boundary between the inside and outside of the area, making the viewer feel uncomfortable. In some cases, the image was given.
本発明は、斯かる実情に鑑み、簡便且つ自由度の高い色調整を行うことが可能な色調整方法および色調整システムを提供しようとするものである。 In view of such circumstances, the present invention intends to provide a color adjustment method and a color adjustment system capable of performing color adjustment with ease and high flexibility.
（１）本発明は、画像を構成する各画素の奥行き情報を取得する奥行き情報取得ステップと、前記各画素の色情報を調整する調整情報を取得する調整情報取得ステップと、前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定ステップと、前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更ステップと、を有することを特徴とする、画像の色調整方法である。 (1) The present invention is based on the depth information acquisition step of acquiring depth information of each pixel constituting the image, the adjustment information acquisition step of acquiring adjustment information for adjusting the color information of each pixel, and the depth information. An individual adjustment information setting step for setting individual adjustment information obtained by correcting the adjustment information for each pixel, and a color information changing step for changing color information of each pixel based on the individual adjustment information. This is an image color adjustment method.
（２）本発明はまた、前記個別調整情報設定ステップは、前記奥行き情報の関数である補正情報を導出する補正情報導出ステップと、前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出ステップと、を有することを特徴とする、上記（１）に記載の画像の色調整方法である。 (2) In the present invention, the individual adjustment information setting step includes a correction information derivation step for deriving correction information that is a function of the depth information, and individual adjustment information for deriving the individual adjustment information based on the correction information. And a derivation step. The image color adjustment method according to (1) above, wherein
（３）本発明はまた、前記奥行き情報は、所定の範囲内の数値であり、前記補正情報は、前記所定の範囲内で極値をとる関数であることを特徴とする、上記（２）に記載の画像の色調整方法である。 (3) The present invention is also characterized in that the depth information is a numerical value within a predetermined range, and the correction information is a function that takes an extreme value within the predetermined range. The color adjustment method for an image described in 1.
（４）本発明はまた、色調整の基準とする前記奥行き情報である基準奥行き情報を取得する基準奥行き情報取得ステップを有し、前記補正情報は、前記基準奥行き情報において極値をとる関数であることを特徴とする、上記（３）に記載の画像の色調整方法である。 (4) The present invention also includes a reference depth information acquisition step for acquiring reference depth information that is the depth information used as a reference for color adjustment, and the correction information is a function that takes an extreme value in the reference depth information. The image color adjustment method according to (3) above, characterized in that it exists.
（５）本発明はまた、前記基準奥行き情報は、前記画像中の指定された前記画素の前記奥行き情報に基づいて取得されることを特徴とする、上記（４）に記載の画像の色調整方法である。 (5) In the color adjustment of the image according to (4), the reference depth information is acquired based on the depth information of the designated pixel in the image. Is the method.
（６）本発明はまた、前記画像中において色調整を行う領域を特定する領域特定ステップを有することを特徴とする、上記（１）乃至（５）のいずれかに記載の画像の色調整方法である。 (6) The image color adjustment method according to any one of (1) to (5), further including an area specifying step for specifying an area in which the color adjustment is performed in the image. It is.
（７）本発明はまた、前記調整情報は、所定の複数の前記画素の色情報に基づいて前記各画素の色情報を調整するフィルタであることを特徴とする、上記（１）乃至（６）のいずれかに記載の画像の色調整方法である。 (7) The present invention is also characterized in that the adjustment information is a filter that adjusts color information of each pixel based on color information of a plurality of predetermined pixels. The image color adjusting method according to any one of the above.
（８）本発明はまた、画像を構成する各画素の奥行き情報を取得する奥行き情報取得手段と、前記各画素の色情報を調整する調整情報を取得する調整情報取得手段と、前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定手段と、前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更手段と、を有することを特徴とする、画像の色調整システムである。 (8) The present invention also includes depth information acquisition means for acquiring depth information of each pixel constituting the image, adjustment information acquisition means for acquiring adjustment information for adjusting color information of each pixel, and the depth information. An individual adjustment information setting unit that sets individual adjustment information obtained by correcting the adjustment information based on the individual adjustment information, and a color information change unit that changes color information of each pixel based on the individual adjustment information. This is a color adjustment system for images.
（９）本発明はまた、前記個別調整情報設定手段は、前記奥行き情報の関数である補正情報を導出する補正情報導出手段と、前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出手段と、を有することを特徴とする、上記（８）に記載の画像の色調整システムである。 (9) In the present invention, the individual adjustment information setting unit includes a correction information deriving unit that derives correction information that is a function of the depth information, and individual adjustment information that derives the individual adjustment information based on the correction information. The image color adjustment system according to (8), further comprising: a deriving unit.
本発明に係る色調整方法および色調整システムによれば、簡便且つ自由度の高い色調整を行うことが可能という優れた効果を奏し得る。 According to the color adjustment method and the color adjustment system according to the present invention, it is possible to achieve an excellent effect that it is possible to perform simple and highly flexible color adjustment.
以下、本発明の実施の形態を添付図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the accompanying drawings.
図１は、本実施形態に係る色調整システム１を構成するコンピュータ１０の内部構成を示した概略図である。同図に示されるように、コンピュータ（電子計算機）１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２、入出力インタフェース２４およびバス２６を備えて構成されている。 FIG. 1 is a schematic diagram showing an internal configuration of a computer 10 constituting the color adjustment system 1 according to the present embodiment. As shown in the figure, the computer (electronic computer) 10 includes a CPU 12, a ROM 14, a RAM 16, an auxiliary storage device 18, an input device 20, a display device 22, an input / output interface 24, and a bus 26.
ＣＰＵ１２は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種プログラムを実行することによって色調整システム１の各種機能を実現する。ＲＯＭ１４は、リード・オンリー・メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶する。ＲＡＭ１６は、ランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ１２の作業領域として使用される。 The CPU 12 is a central processing unit and implements various functions of the color adjustment system 1 by executing various programs. The ROM 14 is a read only memory and stores a basic program executed by the CPU 12. The RAM 16 is a random access memory, and is used as a work area for the CPU 12.
補助記憶装置１８は、例えばハードディスクドライブ、光ディスクドライブ、フラッシュメモリまたはソリッド・ステート・ドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等から構成され、色調整システム１の全体的な基本動作を実現するＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）プログラム、および画像の色調整を行う際にＣＰＵ１２で実行される色調整プログラムを記憶すると共に、画像等の各種データを記憶する。 The auxiliary storage device 18 is composed of, for example, a hard disk drive, an optical disk drive, a flash memory, or a solid state drive, and an OS (Operation System) program that realizes the overall basic operation of the color adjustment system 1. In addition, a color adjustment program executed by the CPU 12 when performing color adjustment of an image is stored, and various data such as an image are stored.
入力装置２０は、例えばキーボードやマウス、タッチパネル等から構成され、ユーザからの各種情報の入力操作を受け付ける。表示装置２２は、例えば液晶ディスプレイから構成され、各種画像を表示すると共に、ユーザに対する視覚的なインタフェースを提供する。入出力インタフェース２４は、画像データ等の各種データを外部の機器とやり取りするためのインタフェースである。バス２６は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、補助記憶装置１８、入力装置２０、表示装置２２および入出力インタフェース２４等を一体的に接続して通信を行うための経路である。 The input device 20 includes, for example, a keyboard, a mouse, a touch panel, and the like, and accepts various information input operations from the user. The display device 22 is composed of a liquid crystal display, for example, and displays various images and provides a visual interface to the user. The input / output interface 24 is an interface for exchanging various data such as image data with an external device. The bus 26 is a path for integrally connecting the CPU 12, the ROM 14, the RAM 16, the auxiliary storage device 18, the input device 20, the display device 22, the input / output interface 24, and the like to perform communication.
図２は、補助記憶装置１８に記憶された色調整プログラムのプログラム構成、およびこの色調整プログラムをＣＰＵ１２が実行することによって実現される色調整システム１の機能構成を示した概略図である。同図に示されるように、色調整プログラムは、奥行き情報取得プログラム、調整情報取得プログラム、基準奥行き情報取得プログラム、個別調整情報設定プログラム、および色情報変更プログラムから構成されている。また、個別調整情報プログラムは、補正情報導出プログラムおよび個別調整情報導出プログラムから構成されている。 FIG. 2 is a schematic diagram showing the program configuration of the color adjustment program stored in the auxiliary storage device 18 and the functional configuration of the color adjustment system 1 realized by the CPU 12 executing this color adjustment program. As shown in the figure, the color adjustment program includes a depth information acquisition program, an adjustment information acquisition program, a reference depth information acquisition program, an individual adjustment information setting program, and a color information change program. The individual adjustment information program includes a correction information derivation program and an individual adjustment information derivation program.
従って、色調整システム１は、機能構成として、奥行き情報取得プログラムの実行によって実現される奥行き情報取得手段３０、調整情報取得プログラムの実行によって実現される調整情報取得手段３２、基準奥行き情報取得プログラムの実行によって実現される基準奥行き情報取得手段３４、個別調整情報設定プログラムの実行によって実現される個別調整情報設定手段３６、色情報変更プログラムの実行によって実現される色情報変更手段３８を備えている。また、個別調整情報設定手段３６は、補正情報導出プログラムの実行によって実現される補正情報導出手段３６ａ、および個別調整情報導出プログラムの実行によって実現される個別調整情報導出手段３６ｂを備えている。 Accordingly, the color adjustment system 1 includes, as functional configurations, a depth information acquisition unit 30 realized by executing the depth information acquisition program, an adjustment information acquisition unit 32 realized by execution of the adjustment information acquisition program, and a reference depth information acquisition program. Reference depth information acquisition means 34 realized by execution, individual adjustment information setting means 36 realized by execution of the individual adjustment information setting program, and color information change means 38 realized by execution of the color information change program. The individual adjustment information setting unit 36 includes a correction information deriving unit 36a realized by executing the correction information deriving program, and an individual adjustment information deriving unit 36b realized by executing the individual adjustment information deriving program.
なお、色調整システム１では、色調整プログラムの各構成と各機能構成とが１対１の対応関係にあることから、以下、色調整システム１の機能構成の説明のみを行い、プログラムの説明については省略する。 In the color adjustment system 1, since each configuration of the color adjustment program and each functional configuration have a one-to-one correspondence, only the functional configuration of the color adjustment system 1 will be described below, and the program will be described. Is omitted.
奥行き情報取得手段３０は、色調整を行う対象画像の各画素に設定された奥行き情報を取得するものである。この奥行き情報は、具体的には、画像において各画素が表している部分の前後方向（すなわち、画面に垂直な方向）の位置を設定するものであり、例えば通常の平面画像（二次元画像）から、右眼用画像および左眼用画像からなる立体視画像（三次元画像）を生成する際に、いわゆるデプスマップ等として作成されるものである。 The depth information acquisition unit 30 acquires depth information set for each pixel of the target image for color adjustment. Specifically, this depth information sets the position in the front-rear direction (that is, the direction perpendicular to the screen) of the portion represented by each pixel in the image. For example, a normal planar image (two-dimensional image) From this, when generating a stereoscopic image (three-dimensional image) made up of an image for the right eye and an image for the left eye, it is created as a so-called depth map or the like.
奥行き情報取得手段３０は、対象画像について予めデプスマップ等が作成されている場合には、このデプスマップ等を参照して奥行き情報を取得する。このデプスマップ等は、予め画像データと共に補助記憶装置１８に記憶されているものであってもよいし、入出力インタフェース２４を介して外部から取得されるものであってもよい。 The depth information acquisition means 30 acquires depth information with reference to this depth map etc., when the depth map etc. are produced beforehand about the object image. This depth map or the like may be stored in advance in the auxiliary storage device 18 together with the image data, or may be acquired from the outside via the input / output interface 24.
対象画像について予めデプスマップ等が作成されていない場合には、奥行き情報取得手段３０は、各画素について奥行き情報を新たに生成する。この奥行き情報の生成方法としては、例えば特開２００２−１２３８４２号公報に開示された方法や、本出願人に係る特開２０１２−２２７７９７号公報に開示された方法等、既知の各種方法を採用することができる。また、対象画像が三次元コンピュータグラフィックスである場合には、対象画像に含まれる各オブジェクトの仮想三次元空間上における配置情報に基づいて奥行き情報を生成するようにしてもよい。取得または生成した奥行き情報は、必要に応じてＲＡＭ１６または補助記憶装置１８に記憶される。 When a depth map or the like has not been created in advance for the target image, the depth information acquisition unit 30 newly generates depth information for each pixel. As a method for generating the depth information, various known methods such as the method disclosed in Japanese Patent Application Laid-Open No. 2002-123842 and the method disclosed in Japanese Patent Application Laid-Open No. 2012-227797 related to the present applicant are adopted. be able to. When the target image is three-dimensional computer graphics, depth information may be generated based on arrangement information of each object included in the target image in the virtual three-dimensional space. The acquired or generated depth information is stored in the RAM 16 or the auxiliary storage device 18 as necessary.
調整情報取得手段３２は、画像の色調整を行う際の色の調整量（修正量）、具体的には、画像を構成する各画素について設定された色情報の調整量（修正量）を示す調整情報を取得するものである。ここで、各画素について設定された色情報としては、例えばＲＧＢカラーモデルにおけるＲ値（Ｒｅｄ）、Ｇ値（Ｇｒｅｅｎ）およびＢ値（Ｂｌｕｅ）や、ＣＭＹカラーモデルにおけるＣ値（Ｃｙａｎ）、Ｍ値（Ｍａｇｅｎｔａ）、Ｙ値（Ｙｅｌｌｏｗ）等であってもよいし、色の三属性である色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）および明度（Ｖａｌｕｅ）であってもよい。すなわち、色情報は、各種色空間における座標値であればよく、色の修正を各種色空間内における移動とみなすならば、調整情報は各種色空間内における移動量を示すものであるということができる。なお、色情報は、グレースケールにおける階調値であってもよいことは言うまでもない。 The adjustment information acquisition unit 32 indicates a color adjustment amount (correction amount) when performing color adjustment of an image, specifically, an adjustment amount (correction amount) of color information set for each pixel constituting the image. Adjustment information is acquired. Here, as color information set for each pixel, for example, an R value (Red), a G value (Green), and a B value (Blue) in the RGB color model, and a C value (Cyan) and an M value in the CMY color model. It may be (Magenta), Y value (Yellow), or the like, or may be hue (Hue), saturation (Saturation) and lightness (Value), which are the three attributes of color. That is, the color information may be coordinate values in various color spaces, and if color correction is regarded as movement in various color spaces, the adjustment information indicates the amount of movement in various color spaces. it can. Needless to say, the color information may be a grayscale gradation value.
調整情報取得手段３２は、入力装置２０を介したユーザからの調整情報の入力により、調整情報を取得する。調整情報の入力は、例えば表示装置２２にスライダの画像を表示してこれをマウス等によってユーザにドラッグさせることで行ってもよいし、キーボード等によって直接調整情報の数値を入力させることで行ってもよい。また、予め補助記憶装置１８等に記憶されたデータを調整情報取得手段３２が参照することで、調整情報を取得するようにしてもよい。取得した調整情報は、ＲＡＭ１６または補助記憶装置１８に記憶される。 The adjustment information acquisition unit 32 acquires the adjustment information by inputting the adjustment information from the user via the input device 20. The adjustment information may be input by, for example, displaying a slider image on the display device 22 and allowing the user to drag it with a mouse or the like, or by directly inputting a numerical value of the adjustment information using a keyboard or the like. Also good. The adjustment information may be acquired by the adjustment information acquisition unit 32 referring to data stored in advance in the auxiliary storage device 18 or the like. The acquired adjustment information is stored in the RAM 16 or the auxiliary storage device 18.
基準奥行き情報取得手段３４は、色調整において基準とする奥行き情報である基準奥行き情報を取得するものである。基準奥行き情報取得手段３４は、入力装置２０を介したユーザからの基準奥行き情報の入力により、基準奥行き情報を取得する。基準奥行き情報の入力は、例えば表示装置２２に対象画像を表示し、マウスポインタ等によってユーザから指定された画素の奥行き情報を基準奥行き情報として取得するようにしてもよいし、キーボード等によって基準奥行き情報の数値を直接入力させるようにしてもよい。取得した基準奥行き情報は、ＲＡＭ１６または補助記憶装置１８に記憶される。 The reference depth information acquisition unit 34 acquires reference depth information which is depth information used as a reference in color adjustment. The reference depth information acquisition unit 34 acquires reference depth information by inputting reference depth information from the user via the input device 20. The reference depth information may be input, for example, by displaying a target image on the display device 22 and acquiring pixel depth information designated by the user with a mouse pointer or the like as reference depth information, or by using a keyboard or the like. You may make it input the numerical value of information directly. The acquired reference depth information is stored in the RAM 16 or the auxiliary storage device 18.
個別調整情報設定手段３６は、取得した調整情報を奥行き情報に基づいて補正し、画素ごとの色の調整量（修正量）を示す個別調整情報を各画素について設定するものである。個別調整情報設定手段３６は、上述のように、補正情報導出手段３６ａおよび個別調整情報導出手段３６ｂを備えている。補正情報導出手段３６ａは、取得した基準奥行き情報に基づいて、奥行き情報を変数とする関数である補正情報を導出するものである。導出した補正情報は、必要に応じてＲＡＭ１６または補助記憶装置１８に記憶される。また、個別調整情報導出手段３６ｂは、導出した補正情報および各画素に設定された奥行き情報に基づいて、画素ごとに補正された調整情報である個別調整情報を導出するものである。導出した個別調整情報は、各画素に対応付けてＲＡＭ１６または補助記憶装置１８に記憶され、これにより、各画素に個別調整情報が設定される。 The individual adjustment information setting unit 36 corrects the acquired adjustment information based on the depth information, and sets individual adjustment information indicating the color adjustment amount (correction amount) for each pixel for each pixel. As described above, the individual adjustment information setting unit 36 includes the correction information deriving unit 36a and the individual adjustment information deriving unit 36b. The correction information deriving unit 36a derives correction information that is a function using the depth information as a variable based on the acquired reference depth information. The derived correction information is stored in the RAM 16 or the auxiliary storage device 18 as necessary. The individual adjustment information deriving unit 36b derives individual adjustment information that is adjustment information corrected for each pixel based on the derived correction information and the depth information set for each pixel. The derived individual adjustment information is stored in the RAM 16 or the auxiliary storage device 18 in association with each pixel, whereby individual adjustment information is set for each pixel.
図３（ａ）および（ｂ）は、補正情報の一例を示した概略図であり、横軸を奥行き情報Ｄ、縦軸を補正情報Ｃとしたグラフを示ししている。上述のように、補正情報Ｃは奥行き情報Ｄの関数、すなわちＣ＝ｆ（Ｄ）であり、この例では、同図（ａ）に示されるように、基準奥行き情報ＳＤにおいて極大値をとる正規分布曲線に類似した曲線となるように補正情報Ｃを設定している。また、この例では、補正情報Ｃの最大値を１、最小値を０（または、略０）に設定している。従って、この例では、補正情報Ｃを調整情報に直接乗ずることで個別調整情報を導出することにより、基準奥行き情報ＳＤにおいて色の調整量が最大（取得した調整情報と同一の調整量）となり、基準奥行き情報ＳＤから離れるに従って色の調整量が減少するようになっている。 FIGS. 3A and 3B are schematic diagrams showing examples of correction information, and show graphs in which the horizontal axis indicates depth information D and the vertical axis indicates correction information C. FIG. As described above, the correction information C is a function of the depth information D, that is, C = f (D), and in this example, as shown in FIG. The correction information C is set to be a curve similar to the distribution curve. In this example, the maximum value of the correction information C is set to 1, and the minimum value is set to 0 (or substantially 0). Accordingly, in this example, the individual adjustment information is derived by directly multiplying the adjustment information by the correction information C, whereby the color adjustment amount in the reference depth information SD is maximized (the same adjustment amount as the acquired adjustment information). The color adjustment amount decreases as the distance from the reference depth information SD increases.
補正情報Ｃをこのような関数に設定することで、奥行き情報Ｄの値が基準奥行き情報ＳＤの値の近傍となる画素についてのみ色調整を行い、他の画素については色調整を行わない（または、殆ど行わない）ようにすることができる。これにより、色調整システム１では、複雑で手間のかかる領域指定等を行わずとも、色調整を行いたい領域に含まれる画素の奥行き情報Ｄを基準奥行き情報ＳＤに設定するだけで、所望の領域のみに色調整を行うことが可能となっている。 By setting the correction information C to such a function, color adjustment is performed only for pixels in which the value of depth information D is close to the value of reference depth information SD, and color adjustment is not performed for other pixels (or , Almost no). As a result, the color adjustment system 1 can set a desired area only by setting the depth information D of the pixel included in the area where color adjustment is to be performed as the reference depth information SD without performing complicated and troublesome area designation. It is possible to make color adjustments only.
さらに、色調整システム１では、同図（ｂ）に示されるように、画像中の奥行き情報Ｄの値の範囲内（ここでは、０〜１００の範囲内）で、基準奥行き情報ＳＤの値を変更することで、対象画像中のいずれの領域に色調整を行うかを選択することが可能となっている。また、色調整システム１では、補正情報Ｃの曲線形状、例えば尖度（尖り具合）や歪度（対称性）を変更することで、色調整を行う領域の範囲を適宜に調整することも可能となっている。 Further, in the color adjustment system 1, as shown in FIG. 4B, the value of the reference depth information SD is set within the range of the depth information D in the image (here, within the range of 0 to 100). By changing, it is possible to select which region in the target image to perform color adjustment. Further, in the color adjustment system 1, it is possible to appropriately adjust the range of the color adjustment region by changing the curve shape of the correction information C, for example, the kurtosis (sharpness) and the skewness (symmetry). It has become.
図４（ａ）は、色調整を行う対象画像１００の一例を示した概略図であり、同図（ｂ）は、対象画像１００の奥行き情報の分布を表すデプスマップ１１０の一例を示した概略図である。同図（ａ）に示されるように、例えば対象画像１００が人物１０１、丘１０２、木１０３、山１０４および空１０５が映し出された画像である場合、画像中の各被写体の前後方向の位置は、人物１０１が最も手前側となり、以下、丘１０２、木１０３、山１０４、空１０５の順で奥側に位置することとなる。 4A is a schematic diagram illustrating an example of the target image 100 on which color adjustment is performed, and FIG. 4B is a schematic diagram illustrating an example of the depth map 110 representing the distribution of depth information of the target image 100. FIG. As shown in FIG. 5A, for example, when the target image 100 is an image in which a person 101, a hill 102, a tree 103, a mountain 104, and a sky 105 are projected, the position of each subject in the image in the front-rear direction is The person 101 is on the front side, and is located on the back side in the order of the hill 102, the tree 103, the mountain 104, and the sky 105.
従って、対象画像１００のデプスマップ１１０においては、同図（ｂ）に示されるように、人物１０１が映し出された領域１１１内に最も手前側近傍を示す値の奥行き情報が分布することとなる。例えば、最も手前側を示す奥行き情報の値を０、最も奥側を示す奥行き情報の値を１００とした場合に、領域１１１内における奥行き情報の値は、例えば０〜２０の範囲内で分布することとなる。そして、人物１０１よりも奥側に位置する丘１０２が映し出された領域１１２内における奥行き情報は、領域１１１よりも奥側となる値、例えば３０〜６０の範囲内で分布することとなる。 Therefore, in the depth map 110 of the target image 100, as shown in FIG. 5B, depth information having a value indicating the vicinity of the front side is distributed in the area 111 where the person 101 is projected. For example, when the depth information value indicating the foremost side is 0 and the depth information value indicating the farthest side is 100, the depth information values in the region 111 are distributed within a range of 0 to 20, for example. It will be. Then, the depth information in the region 112 in which the hill 102 located on the back side of the person 101 is projected is distributed within a value on the back side of the region 111, for example, in the range of 30 to 60.
同様にして、木１０３が映し出された領域１１３内における奥行き情報の値は、領域１１２よりも奥側となる例えば７０〜８０の範囲内で分布し、山１０４が映し出された領域１１４内における奥行き情報の値は、領域１１３よりも奥側となる例えば８５〜９５の範囲内で分布し、空１０５が映し出された領域１１５内における奥行き情報の値は、９８〜１００の範囲内で分布することとなる。 Similarly, the depth information value in the region 113 where the tree 103 is projected is distributed within a range of, for example, 70 to 80 on the back side of the region 112, and the depth in the region 114 where the mountain 104 is projected. The value of the information is distributed within a range of, for example, 85 to 95 on the back side of the region 113, and the value of the depth information within the region 115 where the sky 105 is projected is distributed within a range of 98 to 100. It becomes.
このように、対象画像１００を構成する各画素に設定された奥行き情報は、一般に人物１０１や丘１０２等の被写体ごとに特有の範囲内で分布することとなるため、奥行き情報に基づいて色調整の度合いを変化させることにより、特定の領域についてのみ色調整を行うことができる。すなわち、対象画像１００について、例えば奥行き情報の値が０〜２０の範囲内の画素については調整情報を補正せず、奥行き情報の値が０〜２０の範囲外の画素については調整情報を０（色調整を行わない）に補正するように補正情報を設定することで、人物１０１が映し出された領域についてのみ色調整を行うことができる。 As described above, since the depth information set for each pixel constituting the target image 100 is generally distributed within a specific range for each subject such as the person 101 or the hill 102, color adjustment is performed based on the depth information. By changing the degree, the color adjustment can be performed only for a specific area. That is, for the target image 100, for example, the adjustment information is not corrected for pixels within the range of the depth information value of 0 to 20, and the adjustment information is set to 0 (zero) for the pixels outside the range of the depth information value of 0 to 20. By setting the correction information so that the correction is made so that color adjustment is not performed), color adjustment can be performed only for the area where the person 101 is projected.
図５（ａ）および（ｂ）は、対象画像１００に色調整を行う場合の補正情報Ｃの例を示した概略図である。上述のように、対象画像１００中の人物１０１を構成する画素の奥行き情報Ｄの値は０〜２０の範囲内となり、丘１０２を構成する画素の奥行き情報Ｄの値は３０〜６０の範囲内となり、木１０３を構成する画素の奥行き情報Ｄの値は７０〜８０の範囲内となり、山１０４を構成する画素の奥行き情報Ｄの値は８５〜９５となり、空１０５を構成する画素の奥行き情報Ｄの値は９８〜１００となっている。 FIGS. 5A and 5B are schematic diagrams illustrating examples of correction information C when color adjustment is performed on the target image 100. FIG. As described above, the depth information D of the pixels constituting the person 101 in the target image 100 is in the range of 0 to 20, and the depth information D of the pixels constituting the hill 102 is in the range of 30 to 60. The depth information D of the pixels constituting the tree 103 is in the range of 70 to 80, the depth information D of the pixels constituting the mountain 104 is 85 to 95, and the depth information of the pixels constituting the sky 105 is The value of D is 98-100.
従って、同図（ａ）に示されるように、基準奥行き情報ＳＤを０〜２０の範囲内の値に設定し、補正情報Ｃの曲線形状を適宜に調整することで、主に人物１０１に対してのみ色調整を行うことができる。これにより、例えば丘１０２や木１０３に同種の色が含まれている場合にも、これらの色に影響を与えることなく、人物１０１の肌色だけを調整することが可能となる。また、例えば人物１０１の黒髪の色合いを調整する場合においても、木１０３の影等、他の部分の黒色を維持したまま、黒髪のみの色合いを調整することが可能となる。 Accordingly, as shown in FIG. 6A, the reference depth information SD is set to a value within the range of 0 to 20, and the curve shape of the correction information C is adjusted appropriately, so that the person 101 is mainly adjusted. Color adjustments can only be made. Thereby, for example, even when the same kind of color is included in the hill 102 or the tree 103, only the skin color of the person 101 can be adjusted without affecting these colors. Further, for example, when adjusting the color of the black hair of the person 101, it is possible to adjust the color of only the black hair while maintaining the black color of other parts such as the shadow of the tree 103.
すなわち、色調整システム１によれば、対象画像１００中の所望の領域についてのみ色調整を行うことが可能であるため、色調整の自由度を飛躍的に高めることができる。また、複雑で手間のかかる領域指定を行う必要がないため、多彩な色調整をきわめて簡便に行うことができる。さらに、基準奥行き情報ＳＤの値および補正情報Ｃの曲線形状を微調整することで、人物１０１の周縁側（一般に、中心側よりも奥側に位置している）に向けて色の調整量を減少させることが可能であるため、人物１０１と丘１０２等の背景との境界における色味の不連続を適宜にぼかし、色調整後の画像を看者に違和感を与えない自然な画像に調整することが可能となっている。 That is, according to the color adjustment system 1, color adjustment can be performed only for a desired region in the target image 100, so that the degree of freedom of color adjustment can be dramatically increased. In addition, since it is not necessary to specify a complicated and troublesome area, various color adjustments can be performed very easily. Further, by finely adjusting the value of the reference depth information SD and the curve shape of the correction information C, the amount of color adjustment can be adjusted toward the peripheral side of the person 101 (generally, located farther from the center side). Since it is possible to reduce the color discontinuity at the boundary between the person 101 and the background such as the hill 102 as appropriate, the color-adjusted image is adjusted to a natural image that does not give the viewer a sense of incongruity. It is possible.
また、同図（ｂ）に示されるように、補正情報Ｃの曲線形状を丘１０２、木１０３および山１０４に跨がるように設定することで、主に丘１０２に対して色調整を行いつつ、木１０３および山１０４に対しても略グラデーション状に色調整を行うことができる。すなわち、補正情報Ｃの曲線形状を適宜に設定することにより、特定の領域に対してのみ色調整を行うだけではなく、複数の領域に対してそれぞれ異なる調整量の色調整を行うことも可能となっている。すなわち、補正情報Ｃの設定に応じて色調整を行う範囲および度合いを適宜に調整することができるため、色調整の自由度を飛躍的に高めることが可能となっている。 In addition, as shown in FIG. 5B, the curve shape of the correction information C is set so as to straddle the hill 102, the tree 103, and the mountain 104, thereby performing color adjustment mainly on the hill 102. On the other hand, color adjustment can be performed on the tree 103 and the mountain 104 in a substantially gradation. That is, by appropriately setting the curve shape of the correction information C, it is possible not only to perform color adjustment only for a specific area, but also to perform color adjustment with different adjustment amounts for a plurality of areas. It has become. That is, since the range and degree of color adjustment can be adjusted as appropriate according to the setting of the correction information C, the degree of freedom of color adjustment can be dramatically increased.
なお、補正情報Ｃの値の範囲は、０〜１に限定されるものではなく、その他の数値範囲であってもよい。また、個別調整情報の導出は、例えば加算、減算、除算または適宜の関数等、調整情報に補正情報を乗ずる以外の演算処理によって行うようにしてもよい。また、補正情報Ｃ＝ｆ（Ｄ）は、正規分布曲線に類似した形状の関数に限定されるものではなく、その他の形状の関数であってもよい。 Note that the range of the value of the correction information C is not limited to 0 to 1, and may be other numerical ranges. Further, the derivation of the individual adjustment information may be performed by a calculation process other than multiplying the adjustment information by the correction information, such as addition, subtraction, division, or an appropriate function. The correction information C = f (D) is not limited to a function having a shape similar to a normal distribution curve, and may be a function having another shape.
図６（ａ）〜（ｈ）は、その他の補正情報Ｃの例を示した概略図である。補正情報Ｃは、例えば同図（ａ）または（ｂ）に示されるように、直線的に値が変化するものであってもよいし、例えば同図（ｃ）または（ｄ）に示されるように、段状または階段状に値が変化するものであってもよい。また、これらを組み合わせた関数から補正情報Ｃを構成するようにしてもよい。 6A to 6H are schematic diagrams showing examples of other correction information C. FIG. The correction information C may be a value whose value changes linearly, for example, as shown in (a) or (b) of the figure, or, for example, as shown in (c) or (d) of the figure. In addition, the value may change stepwise or stepwise. Moreover, you may make it comprise the correction information C from the function which combined these.
また、補正情報Ｃは、例えば同図（ｅ）に示されるように、基準奥行き情報ＳＤにおいて極小値をとるものであってもよい。この場合、色調整から除外する領域を指定することができる。また、補正情報Ｃは、例えば同図（ｆ）に示されるように、複数の極大値または極小値を有するものであってもよい。この場合、色調整を行う領域または色調整から除外する領域を複数指定することができる。 Further, the correction information C may be a minimum value in the reference depth information SD as shown in FIG. In this case, an area to be excluded from color adjustment can be designated. The correction information C may have a plurality of maximum values or minimum values as shown in FIG. In this case, it is possible to specify a plurality of areas for color adjustment or areas to be excluded from color adjustment.
なお、補正情報Ｃが極小値を有するようにする場合、極小値は０（すなわち、色調整を行わないようにする値）であってもよいし、その他の値であってもよい。また、補正情報Ｃが複数の極大値または極小値を有するようにする場合、複数の極大値（極小値）は、それぞれ同じ値であってもよいし、異なる値であってもよい。 When the correction information C has a minimum value, the minimum value may be 0 (that is, a value at which color adjustment is not performed) or another value. When the correction information C has a plurality of maximum values or minimum values, the plurality of maximum values (minimum values) may be the same value or different values.
さらに、補正情報Ｃは、例えば同図（ｇ）または（ｈ）に示されるように、極大値または極小値を有さないものであってもよい。画像の構成によっては、補正情報Ｃをこのように設定した方が適切な色調整を行うことができる場合がある。この場合、補正情報Ｃを予め極大値または極小値を持たない関数に設定するようにしてもよいし、極大値または極小値を画像中の奥行き情報Ｄの範囲外に設定するようにしてもよい。なお、この場合において、補正情報の傾きの大きさが限定されないことは言うまでもない。 Furthermore, the correction information C may not have a maximum value or a minimum value, as shown in FIG. Depending on the configuration of the image, it may be possible to perform appropriate color adjustment by setting the correction information C in this way. In this case, the correction information C may be set in advance as a function having no local maximum value or local minimum value, or the local maximum value or local minimum value may be set outside the range of the depth information D in the image. . In this case, it goes without saying that the magnitude of the inclination of the correction information is not limited.
図２に戻って、色情報変更手段３８は、個別調整情報に基づいて各画素の色情報を変更するものである。色情報変更手段３８は、対象画像を構成する各画素の色情報を個別調整情報に基づいて変更した画像データを生成し、ＲＡＭ１６または補助記憶装置１８に記憶する。また、必要に応じて、色調整後の画像を表示装置２２に表示する。なお、色情報を変更した画像データは、元の対象画像の画像データとは別に記憶するようにしてもよいし、元の画像データに上書きして記憶するようにしてもよい。 Returning to FIG. 2, the color information changing unit 38 changes the color information of each pixel based on the individual adjustment information. The color information changing unit 38 generates image data in which the color information of each pixel constituting the target image is changed based on the individual adjustment information, and stores the image data in the RAM 16 or the auxiliary storage device 18. Further, the image after color adjustment is displayed on the display device 22 as necessary. Note that the image data whose color information has been changed may be stored separately from the image data of the original target image, or may be stored by overwriting the original image data.
このように、色調整システム１では、色調整を行う対象画像の構成に応じて適宜に補正情報Ｃを設定することにより、ユーザが所望する様々な色調整を行うことが可能となっている。補正情報Ｃの設定は、ユーザが入力装置２０を介して関数式を入力または選択することにより行ってもよいし、図５（ａ）または（ｂ）に示したようなグラフを表示装置２２に表示し、ユーザが入力装置２０を介して補正情報Ｃの曲線を描画（例えば、ベジエ曲線等により）することにより行ってもよい。なお、後者の場合、描画された曲線の近似式から奥行き情報Ｄの各値に対応する補正情報Ｃの値を導出するようにしてもよいし、描画された曲線の座標から直接奥行き情報Ｄの各値に対応する補正情報Ｃの値を導出するようにしてもよい。また、色調整後の画像を表示装置２２に表示し、ユーザがこれを参照しながら関数式の係数の値や基準奥行き情報ＳＤの値を変更したり、マウス操作等による描画でグラフの形状や位置を変更したりすることで、微調整を行うようにしてもよい。 As described above, the color adjustment system 1 can perform various color adjustments desired by the user by appropriately setting the correction information C according to the configuration of the target image to be color adjusted. The correction information C may be set by the user inputting or selecting a function expression via the input device 20, or a graph as shown in FIG. 5A or 5B may be displayed on the display device 22. It may be displayed and the user draws a curve of the correction information C via the input device 20 (for example, by a Bezier curve). In the latter case, the value of the correction information C corresponding to each value of the depth information D may be derived from the approximate expression of the drawn curve, or the depth information D directly from the coordinates of the drawn curve. A value of correction information C corresponding to each value may be derived. Further, the image after the color adjustment is displayed on the display device 22, and the user can change the value of the coefficient of the function formula and the value of the reference depth information SD while referring to the image. Fine adjustment may be performed by changing the position.
次に、色調整システム１による画像の色調整方法の手順を説明する。図７は、色調整システム１による色調整方法の手順を示したフローチャートである。また、図８は、色調整を行う際に表示装置２２に表示する色調整画面２００の一例を示した概略図である。 Next, the procedure of an image color adjustment method by the color adjustment system 1 will be described. FIG. 7 is a flowchart showing the procedure of the color adjustment method by the color adjustment system 1. FIG. 8 is a schematic diagram illustrating an example of a color adjustment screen 200 displayed on the display device 22 when performing color adjustment.
色調整システム１による色調整方法では、まずステップＳ１０において、色調整を行う対象画像１００を取得する（画像取得ステップ）。ここでは、例えば補助記憶装置１８に記憶した画像の中から、入力装置２０を介したユーザの選択により色調整を行う対象画像１００を特定して取得する。取得した対象画像１００は、必要に応じてＲＡＭ１６に記憶すると共に、図８に示されるように、色調整画面２００の画像表示領域２０２に表示する。 In the color adjustment method by the color adjustment system 1, first, in step S10, the target image 100 to be subjected to color adjustment is acquired (image acquisition step). Here, for example, the target image 100 to be color-adjusted is specified and acquired from the images stored in the auxiliary storage device 18 by the user's selection via the input device 20. The acquired target image 100 is stored in the RAM 16 as necessary, and is displayed in the image display area 202 of the color adjustment screen 200 as shown in FIG.
次に、ステップＳ１２では、対象画像１００を構成する各画素の奥行き情報Ｄを取得する（奥行き情報取得ステップ）。ここでは、対象画像１００について予めデプスマップ等により奥行き情報Ｄが設定されている場合には、これを参照して奥行き情報Ｄを取得する。また、対象画像１００について予め奥行き情報Ｄが設定されていない場合には、対象画像１００について新たに奥行き情報Ｄを生成して取得する。 Next, in step S12, depth information D of each pixel constituting the target image 100 is acquired (depth information acquisition step). Here, when the depth information D is set in advance for the target image 100 using a depth map or the like, the depth information D is acquired with reference to the depth information D. Further, when the depth information D is not set in advance for the target image 100, the depth information D is newly generated and acquired for the target image 100.
対象画像１００および奥行き情報Ｄを取得したならば、次に、ステップＳ１４において、表示装置２２に色調整画面２００を表示する（色調整画面表示ステップ）。この色調整画面２００は、例えば図８に示されるように、対象画像１００を表示する画像表示領域２０２と、調整情報を入力するための調整情報入力領域２０４と、補正情報Ｃをグラフ表示する補正情報表示領域２０６と、を有している。なお、この例では、調整情報入力領域２０４に色情報であるＲ値、Ｇ値およびＢ値の調整量を個別に入力するためのスライダを表示するようにしている。 If the target image 100 and the depth information D are acquired, next, in step S14, the color adjustment screen 200 is displayed on the display device 22 (color adjustment screen display step). For example, as shown in FIG. 8, the color adjustment screen 200 includes an image display area 202 for displaying the target image 100, an adjustment information input area 204 for inputting adjustment information, and a correction for displaying correction information C in a graph. And an information display area 206. In this example, a slider for individually inputting adjustment amounts of R value, G value, and B value, which are color information, is displayed in the adjustment information input area 204.
次に、ステップＳ１６では、調整情報を取得する（調整情報取得ステップ）。ここでは、例えば調整情報入力領域２０４に表示した各スライダを操作するようにユーザに促し、マウス等の入力装置２０を介して入力されたＲ値、Ｇ値およびＢ値の調整量を取得する。なお、調整情報入力領域２０４は、調整量の数値を直接入力するものであってもよい。また、表示の切り替え等により、色相Ｈ、彩度Ｓおよび明度Ｖ等、他の色空間における座標値の調整量を入力可能としてもよい。 Next, in step S16, adjustment information is acquired (adjustment information acquisition step). Here, for example, the user is prompted to operate each slider displayed in the adjustment information input area 204, and the adjustment amounts of the R value, the G value, and the B value input via the input device 20 such as a mouse are acquired. The adjustment information input area 204 may be a field for directly inputting a numerical value of the adjustment amount. Further, it is possible to input adjustment amounts of coordinate values in other color spaces such as hue H, saturation S, and brightness V by switching display.
次に、ステップＳ１８では、基準奥行き情報ＳＤを取得する（基準奥行き情報取得ステップ）。ここでは、例えば画像表示領域２０２に表示した対象画像１００中において、色調整を行いたい領域（または、色調整から除外したい領域）中の１点を指定するようにユーザに促し、マウス等の入力装置２０を介してユーザに指定された点の画素の奥行き情報Ｄを基準奥行き情報ＳＤとする。なお、ユーザに複数の画素を指定させ、指定された複数の画素の奥行き情報Ｄの平均値を基準奥行き情報とするようにしてもよい。また、補正情報Ｃが複数の極大値（極小値）を有するようにする場合には、極大値（極小値）ごとに基準奥行き情報ＳＤを取得する。 Next, in step S18, reference depth information SD is acquired (reference depth information acquisition step). Here, for example, in the target image 100 displayed in the image display area 202, the user is prompted to designate one point in the area where color adjustment is desired (or the area where the color adjustment is desired to be excluded), and the input from the mouse or the like is performed. The depth information D of the pixel at the point designated by the user via the device 20 is set as the reference depth information SD. Note that the user may designate a plurality of pixels, and the average value of the depth information D of the designated plurality of pixels may be used as the reference depth information. When the correction information C has a plurality of maximum values (minimum values), the reference depth information SD is acquired for each maximum value (minimum value).
次に、ステップＳ２０では、補正情報Ｃを導出する（補正情報導出ステップ）。ここでは、例えばまずユーザに補正情報Ｃのパターンをいくつか提示する等して、入力装置２０を介してユーザに補正情報Ｃのパターンを選択させ、選択されたパターンおよび基準奥行き情報ＳＤから補正情報Ｃを導出する。そして、導出した補正情報Ｃを補正情報表示領域２０６にグラフ表示する。その後、必要であれば補正情報Ｃを修正するようにユーザに促し、修正が入力されたならば、これに基づく新たな補正情報Ｃを導出する。 Next, in step S20, correction information C is derived (correction information deriving step). Here, for example, first, the user presents several patterns of the correction information C, and the user selects the pattern of the correction information C via the input device 20, and the correction information is selected from the selected pattern and the reference depth information SD. Derive C. The derived correction information C is displayed as a graph in the correction information display area 206. Thereafter, the user is prompted to correct the correction information C if necessary, and if correction is input, new correction information C based on the correction information C is derived.
なお、補正情報Ｃの修正は、補正情報表示領域２０６において補正情報Ｃの形状等を描画修正することにより行ってもよいし、補正情報Ｃの関数式を表示して関数式の数値（係数等）を変更することにより行ってもよい。補正情報Ｃを描画修正する場合には、例えば補正情報表示領域２０６に表示した補正情報Ｃの曲線にポイントやハンドルを設け、これらをマウス等でドラッグすることにより行う。また、基準奥行き情報ＳＤを変更する場合に、補正情報表示領域２０６に表示した基準奥行き情報ＳＤを示す直線をマウスでドラッグすることにより行うようにしてもよい。 The correction information C may be corrected by drawing and correcting the shape or the like of the correction information C in the correction information display area 206, or a function equation of the correction information C may be displayed to display a numerical value of the function equation (such as a coefficient). ) May be changed. When the correction information C is drawn and corrected, for example, points and handles are provided on the curve of the correction information C displayed in the correction information display area 206, and these are dragged with a mouse or the like. In addition, when the reference depth information SD is changed, a straight line indicating the reference depth information SD displayed in the correction information display area 206 may be dragged with a mouse.
次に、ステップＳ２２では、個別調整情報を導出して各画素に設定する（個別調整情報導出ステップ）。ここでは、対象画像を構成する各画素の奥行き情報Ｄ、および補正情報Ｃに基づいて個別調整情報を画素ごとに導出し、各画素に対応付けてＲＡＭ１６または補助記憶装置１８に記憶する。 Next, in step S22, individual adjustment information is derived and set for each pixel (individual adjustment information deriving step). Here, the individual adjustment information is derived for each pixel based on the depth information D and the correction information C of each pixel constituting the target image, and stored in the RAM 16 or the auxiliary storage device 18 in association with each pixel.
次に、ステップＳ２４では、色情報を変更する（色情報変更ステップ）。ここでは、対象画像１００を構成する各画素の色情報を個別調整情報に基づいて変更し、色調整後の対象画像１００を画像表示領域２０２に表示する。なお、個別調整情報を全画素について導出した後に色情報を変更するのではなく、個別調整情報の導出および色情報の変更を画素ごとに行うようにしてもよい。 Next, in step S24, the color information is changed (color information changing step). Here, the color information of each pixel constituting the target image 100 is changed based on the individual adjustment information, and the target image 100 after color adjustment is displayed in the image display area 202. Instead of changing the color information after deriving the individual adjustment information for all the pixels, the individual adjustment information may be derived and the color information may be changed for each pixel.
次に、ステップＳ２６では、色調整が完了したか否か、すなわちユーザの所望する色調整が達成されたか否かを判断する（完了判断ステップ）。ここでは、例えば色調整を完了するかどうかを色調整画面２００に表示する等してユーザに確認し、入力装置２０を介してユーザが色調整を完了する旨を入力した場合は、処理を終了する。また、入力装置２０を介してユーザが色調整を継続する旨を入力した場合は、ステップＳ１６に戻って、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃの微調整を行えるようにする。 Next, in step S26, it is determined whether or not color adjustment has been completed, that is, whether or not color adjustment desired by the user has been achieved (completion determination step). Here, for example, whether or not the color adjustment is completed is displayed on the color adjustment screen 200 to confirm with the user, and if the user inputs the completion of the color adjustment via the input device 20, the process is terminated. To do. If the user inputs that the color adjustment is to be continued via the input device 20, the process returns to step S16 so that the adjustment information, the reference depth information SD, and the correction information C can be finely adjusted.
従って、ユーザは、色調整後の対象画像１００の状態を確認しながら、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを微調整することができるので、所望の色調整を容易且つ迅速に行うことが可能となっている。なお、微調整においては、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを全て入力し直すのではなく、変更が必要なものだけを入力すればよいことは言うまでもない。 Therefore, the user can finely adjust the adjustment information, the reference depth information SD, and the correction information C while confirming the state of the target image 100 after color adjustment, so that desired color adjustment can be easily and quickly performed. Is possible. Needless to say, in the fine adjustment, it is not necessary to input all of the adjustment information, the reference depth information SD, and the correction information C, but only inputs that need to be changed.
以上の手順により、色調整システム１による画像の色調整が完了する。このように、色調整システム１によれば、ユーザは、選択した領域中の少なくとも１点を指定するだけで、複雑な領域指定を行うことなく特定の領域に対してのみ容易に色調整を行う、または特定の領域について色調整を除外することが可能となっている。また、奥行き情報Ｄと補正情報Ｃの関係をグラフ表示することにより、ユーザは、色調整を行う範囲および色調整の程度を視覚的に容易に把握することが可能となっている。さらに、補正情報Ｃの設定または修正をグラフ描画によって行うことで、ユーザは、より直感的な操作で色調整を行うことが可能となっている。 With the above procedure, the color adjustment of the image by the color adjustment system 1 is completed. As described above, according to the color adjustment system 1, the user can easily perform color adjustment only for a specific area without specifying a complicated area by only specifying at least one point in the selected area. Alternatively, it is possible to exclude color adjustment for a specific area. Further, by displaying the relationship between the depth information D and the correction information C in a graph, the user can easily visually grasp the range in which color adjustment is performed and the degree of color adjustment. Furthermore, by setting or correcting the correction information C by drawing a graph, the user can perform color adjustment with a more intuitive operation.
なお、調整情報の取得（ステップＳ１６）、基準奥行き情報ＳＤの取得（ステップＳ１８）および補正情報Ｃの導出（ステップＳ２０）は、必ずしもこの順番で行う必要はなく、その他の順番で行うようにしてもよい。また、色調整画面２００に、取得した奥行き情報Ｄに基づくデプスマップを表示するようにしてもよい。また、デプスマップを表示する場合には、等高線表示等によって各領域に含まれる奥行き情報Ｄの値の範囲が視覚的に把握できるようにしてもよい。また、色調整画面２００の画像表示領域２０２に色調整前の対象画像１００と色調整後の対象画像１００を並列表示することで、色調整前後の変化を比較できるようにしてもよい。 Note that the adjustment information acquisition (step S16), the reference depth information SD acquisition (step S18), and the correction information C derivation (step S20) are not necessarily performed in this order, and may be performed in other orders. Also good. Further, a depth map based on the acquired depth information D may be displayed on the color adjustment screen 200. Further, when displaying the depth map, the range of the value of the depth information D included in each region may be visually grasped by contour line display or the like. In addition, the target image 100 before color adjustment and the target image 100 after color adjustment may be displayed in parallel in the image display area 202 of the color adjustment screen 200 so that changes before and after color adjustment can be compared.
また、動画等、複数の対象画像１００について連続的に色調整を行う場合には、調整情報、基準奥行き情報ＳＤおよび補正情報Ｃとして、１つ前の画像（前フレームの画像）において設定した調整情報、基準奥行き情報ＳＤおよび補正情報Ｃを取得するようにしてもよい。また、１つ前の画像とのパターンマッチングにより一致した画素または領域における奥行き情報Ｄを基準奥行き情報ＳＤとして取得するようにしてもよい。 Further, when color adjustment is continuously performed on a plurality of target images 100 such as moving images, the adjustment set in the previous image (the image of the previous frame) as the adjustment information, the reference depth information SD, and the correction information C Information, reference depth information SD, and correction information C may be acquired. Further, the depth information D in the pixel or region that is matched by pattern matching with the previous image may be acquired as the reference depth information SD.
また、上述した色調整の手順において、例えばステップＳ１６の前に、対象画像１００中において色調整を行う領域を特定する領域特定ステップを設けるようにしてもよい。すなわち、色調整システム１に領域特定プログラムの実行によって実現される領域特定手段を設け、この領域特定手段によって色調整を行う領域を予備的に限定しておくようにしてもよい。図９は、対象画像１００において色調整を行う領域を特定する場合の一例を示した図である。 In the above-described color adjustment procedure, for example, an area specifying step for specifying an area for color adjustment in the target image 100 may be provided before step S16. That is, the color adjustment system 1 may be provided with area specifying means realized by executing the area specifying program, and the area for color adjustment by the area specifying means may be limited in advance. FIG. 9 is a diagram illustrating an example of specifying a region for color adjustment in the target image 100.
この場合、同図に示されるように、領域特定ステップでは、例えば色調整画面２００の画像表示領域２０２に表示した対象画像１００において、ユーザが操作したマウスポインタの軌跡１０６に囲まれた領域を、色調整を行う色調整領域１００ａとして特定する。そして、ステップＳ１８では、色調整領域１００ａ内に含まれる画素の奥行き情報Ｄの範囲内で基準奥行き情報ＳＤを取得し、ステップＳ２０では、色調整領域１００ａ内に含まれる画素の奥行き情報Ｄの範囲内で補正情報Ｃを導出する。また、ステップＳ２２では、色調整領域１００ａ内に含まれる画素についてのみ個別調整情報の導出および設定を行い、ステップＳ２４では、色調整領域１００ａ内に含まれる画素についてのみ色情報の変更を行う。 In this case, as shown in the figure, in the region specifying step, for example, in the target image 100 displayed in the image display region 202 of the color adjustment screen 200, the region surrounded by the locus 106 of the mouse pointer operated by the user is It is specified as a color adjustment area 100a for color adjustment. In step S18, the reference depth information SD is acquired within the range of the pixel depth information D included in the color adjustment region 100a. In step S20, the range of the pixel depth information D included in the color adjustment region 100a. The correction information C is derived. In step S22, the individual adjustment information is derived and set only for the pixels included in the color adjustment area 100a. In step S24, the color information is changed only for the pixels included in the color adjustment area 100a.
このようにすることで、色調整における演算処理量を低減することができるため、高精細画像や動画に対しても容易且つ迅速に色調整を行うことが可能となる。また、例えば対象画像１００における２つの木１０３のように、奥行き情報Ｄが略同一の範囲となる（すなわち、前後方向の位置が略同一である）２つの被写体の一方に対してのみ色調整を行うことが可能となる。すなわち、対象画像中に奥行き情報Ｄが略同一または近い範囲となる複数の被写体が存在している場合においても、これらの被写体のうちの一部を選択して色調整を行うことができる。さらに、実際に色調整を行う領域の範囲は補正情報Ｃの設定によって詳細に特定することが可能であるため、色調整領域１００ａの指定は、図９に示されるように、ラフに行うことができる。すなわち、複雑な領域指定を行う必要はない。 By doing so, it is possible to reduce the amount of calculation processing in color adjustment, so that it is possible to easily and quickly perform color adjustment for high-definition images and moving images. For example, as in the case of the two trees 103 in the target image 100, the color information is adjusted only for one of the two subjects in which the depth information D is in the substantially same range (that is, the position in the front-rear direction is substantially the same). Can be done. That is, even when there are a plurality of subjects whose depth information D is substantially the same or close to the target image, it is possible to select some of these subjects and perform color adjustment. Furthermore, since the range of the area where color adjustment is actually performed can be specified in detail by setting the correction information C, the color adjustment area 100a can be specified roughly as shown in FIG. it can. That is, it is not necessary to specify a complicated area.
なお、色調整領域１００ａの指定は、その他の方法により行ってもよい。例えば、動画等の複数の画像について色調整を行う場合には、１つ前の画像における色調整領域１００ａとのパターンマッチングにより一致した領域を色調整領域１００ａとするようにしてもよい。また、色調整領域１００ａは１つの連続した領域に限定されるものではなく、複数の領域を色調整領域１００ａとして指定するようにしてもよい。 The color adjustment area 100a may be specified by other methods. For example, when color adjustment is performed on a plurality of images such as moving images, an area that is matched by pattern matching with the color adjustment area 100a in the previous image may be set as the color adjustment area 100a. The color adjustment area 100a is not limited to one continuous area, and a plurality of areas may be designated as the color adjustment area 100a.
また、調整情報は、例えば移動平均フィルタ、加重平均フィルタ、ガウシアンフィルタ、メディアンフィルタ、バイラテラルフィルタ、ソーベルフィルタまたはラプラシアンフィルタ等、各種フィルタの形で取得されるものであってもよい。すなわち、調整情報は、所定の複数の画素、例えば注目画素およびその近傍の画素の色情報に基づいて注目画素の色情報を調整するものであってもよい。この場合、ステップＳ１６では、調整情報入力領域２０４に例えば複数種類のフィルタを提示する等して、フィルタの種類、カーネルのサイズ（例えば、３×３や７×７等）およびカーネルにおける各係数等をユーザに選択または入力させることで、調整情報を取得する。 The adjustment information may be acquired in the form of various filters such as a moving average filter, a weighted average filter, a Gaussian filter, a median filter, a bilateral filter, a Sobel filter, or a Laplacian filter. That is, the adjustment information may be information for adjusting the color information of the target pixel based on the color information of a predetermined plurality of pixels, for example, the target pixel and its neighboring pixels. In this case, in step S16, for example, a plurality of types of filters are presented in the adjustment information input area 204, and the filter type, kernel size (eg, 3 × 3, 7 × 7, etc.), each coefficient in the kernel, etc. The adjustment information is acquired by allowing the user to select or input the.
また、ステップＳ２２における個別調整情報の導出では、補正情報Ｃの値に応じてフィルタ処理の効果が変化するようにカーネルを補正または変更することで個別調整情報を導出する。具体的には、例えば加重平均フィルタやガウシアンフィルタ等のようにカーネルの中央および中央近傍の係数に重み付けをしている場合には、補正情報Ｃによってこの重み付けを変更することで、フィルタ処理の効果を変化させることができる。 In the derivation of the individual adjustment information in step S22, the individual adjustment information is derived by correcting or changing the kernel so that the effect of the filter process changes according to the value of the correction information C. Specifically, when weighting is applied to the coefficients in the center and the vicinity of the kernel, such as a weighted average filter and a Gaussian filter, the effect of the filter processing can be obtained by changing the weighting according to the correction information C. Can be changed.
また、例えば補正情報Ｃの値が０〜０．２５の場合はカーネルのサイズを３×３とし、補正情報Ｃの値が０．２５〜０．５の場合はカーネルのサイズを５×５とし、補正情報Ｃの値が０．５〜０．７５の場合はカーネルのサイズを７×７とし、補正情報Ｃの値が０．７５〜１の場合はカーネルのサイズを９×９とする等、補正情報Ｃの値に応じてカーネルのサイズを変更することで、フィルタ処理の効果を変化させるようにしてもよい。その他、例えば移動平均フィルタを加重平均フィルタやガウシアンフィルタに変更する等、補正情報Ｃの値に応じてフィルタの種類を変更するようにしてもよい。また、例えば補正情報Ｃの値が所定の閾値よりも小さい場合はフィルタ処理（すなわち、色調整）を行わないようにし、補正情報Ｃの値が所定の閾値以上の場合はフィルタ処理を行うようにしてもよい。 For example, when the value of the correction information C is 0 to 0.25, the kernel size is 3 × 3, and when the value of the correction information C is 0.25 to 0.5, the kernel size is 5 × 5. When the correction information C value is 0.5 to 0.75, the kernel size is 7 × 7. When the correction information C value is 0.75 to 1, the kernel size is 9 × 9. The effect of the filter processing may be changed by changing the kernel size according to the value of the correction information C. In addition, for example, the type of filter may be changed according to the value of the correction information C, such as changing the moving average filter to a weighted average filter or a Gaussian filter. Further, for example, when the value of the correction information C is smaller than a predetermined threshold value, the filtering process (that is, color adjustment) is not performed, and when the value of the correction information C is equal to or larger than the predetermined threshold value, the filtering process is performed. May be.
このように、調整情報を各種フィルタとした場合には、例えば画像中の特定の領域を選択的に平滑化（ぼかす）したり、鮮鋭化したりする色調整が可能となる。図１０（ａ）および（ｂ）は、調整情報を各種フィルタとした場合における色調整の例を示した図である。調整情報を各種フィルタとすることにより、例えば同図（ａ）に示されるように、人物１０１以外の丘１０２、木１０３、山１０４および空１０５、すなわち背景を適度にぼかして人物１０１を際立たせることが可能となる。 Thus, when the adjustment information is various filters, for example, color adjustment that selectively smoothes (blurs) or sharpens a specific area in an image can be performed. FIGS. 10A and 10B are diagrams showing examples of color adjustment when the adjustment information is various filters. By using various filters as the adjustment information, for example, as shown in FIG. 4A, the hill 102, the tree 103, the mountain 104, and the sky 105 other than the person 101, that is, the person 101 stands out by moderately blurring the background. It becomes possible.
そして、この場合においても補正情報Ｃの調整によってぼかす範囲やぼかしの程度を容易に設定することが可能であるため、人物１０１等の特定の被写体を際立たせた画像をきわめて簡便に得ることができる。さらに、補正情報Ｃを適宜に設定することにより、例えば同図（ｂ）に示されるように、背景中の木１０３をぼかす範囲から除外し、木１０３を人物１０１と共に際立たせるといったことも容易となっている。 Even in this case, the range to be blurred and the degree of blurring can be easily set by adjusting the correction information C, so that an image that highlights a specific subject such as the person 101 can be obtained very simply. . Furthermore, by appropriately setting the correction information C, it is possible to easily exclude the tree 103 in the background from the range to be blurred and make the tree 103 stand out with the person 101 as shown in FIG. It has become.
なお、同図（ａ）および（ｂ）に示す例において、人物１０１または木１０３をフィルタ処理によって選択的に鮮鋭化することで、際立たせるようにしてもよいことは言うまでもない。また、調整情報を各種フィルタとすることにより、画像中の特定の領域についてノイズ除去やエッジ抽出等の処理を行うようにしてもよい。また、調整情報であるフィルタのカーネルの大きさが、特に限定されないことは言うまでもない。 In the examples shown in FIGS. 4A and 4B, it goes without saying that the person 101 or the tree 103 may be made to stand out by selectively sharpening by the filter process. Further, by using various filters as the adjustment information, processing such as noise removal and edge extraction may be performed on a specific region in the image. Needless to say, the size of the filter kernel as adjustment information is not particularly limited.
以上説明したように、本実施形態に係る画像の色調整方法は、画像（対象画像１００）を構成する各画素の奥行き情報Ｄを取得する奥行き情報取得ステップＳ１２と、各画素の色情報を調整する調整情報を取得する調整情報取得ステップＳ１６と、奥行き情報Ｄに基づいて調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定ステップ（ステップＳ２０およびＳ２２）と、個別調整情報に基づいて各画素の色情報を変更する色情報変更ステップＳ２４と、を有している。 As described above, in the image color adjustment method according to the present embodiment, the depth information acquisition step S12 for acquiring the depth information D of each pixel constituting the image (target image 100) and the color information of each pixel are adjusted. Adjustment information acquisition step S16 for acquiring adjustment information to be performed, individual adjustment information setting step (steps S20 and S22) for setting individual adjustment information obtained by correcting the adjustment information based on the depth information D for each pixel, and individual adjustment information And a color information changing step S24 for changing the color information of each pixel based on the color information.
また、本実施形態に係る画像の色調整システム１は、画像（対象画像１００）を構成する各画素の奥行き情報Ｄを取得する奥行き情報取得手段３０と、各画素の色情報を調整する調整情報を取得する調整情報取得手段３２と、奥行き情報Ｄに基づいて調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定手段３６と、個別調整情報に基づいて各画素の色情報を変更する色情報変更手段３８と、を有している。 In addition, the image color adjustment system 1 according to the present embodiment includes a depth information acquisition unit 30 that acquires depth information D of each pixel constituting the image (target image 100), and adjustment information that adjusts color information of each pixel. Adjustment information acquiring means 32 for acquiring the individual adjustment information setting means 36 for setting the individual adjustment information obtained by correcting the adjustment information based on the depth information D for each pixel, and the color information of each pixel based on the individual adjustment information. Color information changing means 38 to be changed.
このような構成とすることで、簡便且つ自由度の高い色調整を行うことができる。すなわち、一般に画像中の被写体はそれぞれ異なる奥行き位置に配置されていることから、奥行き情報Ｄに基づいて色調整の度合いを変化させることにより、特定の領域を選択して色調整を行ったり、複数の領域ごとに異なる色調整を行ったりすることができる。 With such a configuration, simple and highly flexible color adjustment can be performed. That is, since the subjects in the image are generally arranged at different depth positions, by changing the degree of color adjustment based on the depth information D, color adjustment can be performed by selecting a specific region, Different color adjustments can be made for each area.
また、個別調整情報設定ステップは、奥行き情報Ｄの関数である補正情報Ｃを導出する補正情報導出ステップＳ２０と、補正情報に基づいて個別調整情報を導出する個別調整情報導出ステップＳ２２と、を有している。また、個別調整情報設定手段３６は、奥行き情報Ｄの関数である補正情報Ｃを導出する補正情報導出手段３６ａと、補正情報Ｃに基づいて個別調整情報を導出する個別調整情報導出手段３６ｂと、を有している。 The individual adjustment information setting step includes a correction information derivation step S20 for deriving correction information C that is a function of the depth information D, and an individual adjustment information derivation step S22 for deriving individual adjustment information based on the correction information. doing. The individual adjustment information setting unit 36 includes a correction information deriving unit 36a that derives correction information C that is a function of the depth information D, an individual adjustment information deriving unit 36b that derives individual adjustment information based on the correction information C, have.
このようにすることで、補正情報Ｃをどのような関数に設定するかによって様々な態様の色調整を行うことができると共に、色調整の具合を容易に微調整することが可能となる。また、奥行き情報Ｄと補正情報Ｃの関係をグラフ表示することが可能となるため、補正情報Ｃの設定及び修正を直感的な操作で行うことができる。 In this way, various types of color adjustment can be performed depending on what function the correction information C is set to, and the degree of color adjustment can be easily finely adjusted. Further, since the relationship between the depth information D and the correction information C can be displayed in a graph, the correction information C can be set and corrected by an intuitive operation.
また、奥行き情報Ｄは、所定の範囲内（例えば０〜１００）の数値であり、補正情報Ｃは、所定の範囲内で極値（極大値または極小値）をとる関数となっている。このようにすることで、画像中の特定の領域についてのみ色調整を行う、または色調整から除外することが可能となる。また、色調整を行う領域と色調整を行わない領域の境界における色味の不連続を適宜にぼかし、色調整後の画像を違和感のない画像に調整することができる。 The depth information D is a numerical value within a predetermined range (for example, 0 to 100), and the correction information C is a function that takes an extreme value (maximum value or minimum value) within the predetermined range. In this way, it is possible to perform color adjustment only for a specific area in the image or to exclude it from color adjustment. Further, it is possible to appropriately blur the discontinuity of the color at the boundary between the area where color adjustment is performed and the area where color adjustment is not performed, and adjust the image after color adjustment to an image without a sense of incongruity.
また、本実施形態に係る画像の色調整方法は、色調整の基準とする奥行き情報Ｄである基準奥行き情報ＳＤを取得する基準奥行き情報取得ステップＳ１８を有し、補正情報Ｃは、基準奥行き情報ＳＤにおいて極値をとる関数となっている。このようにすることで、色調整を行う領域または色調整を行わない領域を容易に指定することが可能になると共に、所望の色調整に適した補正情報Ｃを容易に設定することが可能となる。 In addition, the image color adjustment method according to the present embodiment includes a reference depth information acquisition step S18 for acquiring reference depth information SD that is depth information D as a reference for color adjustment, and the correction information C includes reference depth information. It is a function that takes an extreme value in SD. In this way, it is possible to easily specify a region where color adjustment is performed or a region where color adjustment is not performed, and it is possible to easily set correction information C suitable for desired color adjustment. Become.
また、基準奥行き情報ＳＤは、画像（対象画像１００）中の指定された画素の奥行き情報Ｄに基づいて取得される。このようにすることで、色調整を行う領域または色調整を行わない領域をきわめて容易に指定することが可能になると共に、所望の色調整に適した補正情報Ｃを容易に設定することが可能となる。 The reference depth information SD is acquired based on the depth information D of the designated pixel in the image (target image 100). In this way, it is possible to specify a region where color adjustment is performed or a region where color adjustment is not performed, and correction information C suitable for desired color adjustment can be easily set. It becomes.
また、本実施形態に係る画像の色調整方法は、画像（対象画像１００）中において色調整を行う領域を特定する領域特定ステップを有するものであってもよく、本実施形態に係る色調整システム１は、画像（対象画像１００）中において色調整を行う領域を特定する領域特定手段を有するものであってもよい。このようにすることで、色調整における演算処理量を低減するだけではなく、略同一の奥行き位置に位置する複数の被写体のうちの一部についてのみ色調整を行う等、さらに多彩な態様で色調整を行うことが可能となる。 The color adjustment method for an image according to the present embodiment may include an area specifying step for specifying an area for performing color adjustment in the image (target image 100), and the color adjustment system according to the present embodiment. 1 may have an area specifying means for specifying an area for color adjustment in the image (target image 100). By doing so, not only the amount of calculation processing in color adjustment is reduced, but also color adjustment is performed in various modes such as performing color adjustment only for a part of a plurality of subjects located at substantially the same depth position. Adjustments can be made.
また、調整情報は、所定の複数の画素の色情報に基づいて各画素の色情報を調整するフィルタであってもよい。このようにすることで、画像中の特定の領域に対してフィルタ処理を行うことが可能となるため、例えば平滑化、鮮鋭化、ノイズ除去またはエッジ抽出等、より多彩な態様で色調整を行うことが可能となる。 The adjustment information may be a filter that adjusts the color information of each pixel based on the color information of a plurality of predetermined pixels. In this way, it is possible to perform a filtering process on a specific region in the image, so that color adjustment is performed in more various modes such as smoothing, sharpening, noise removal, or edge extraction, for example. It becomes possible.
以上、本発明の実施の形態について説明したが、本発明の画像の色調整方法および画像の色調整システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 Although the embodiments of the present invention have been described above, the image color adjustment method and the image color adjustment system of the present invention are not limited to the above-described embodiments, and do not depart from the spirit of the present invention. Of course, various changes can be made.
例えば、色調整システム１は、単一のコンピュータ１０から構成されるものに限定されるものではなく、複数のコンピュータ１０から構成されるものであってもよい。さらにこの場合、複数のコンピュータ１０は、インターネットを介して互いに接続されるものであってもよい。また、奥行き情報Ｄを新たに生成する場合に、奥行き情報取得手段３０とは別に奥行き情報生成手段を設けるようにしてもよい。 For example, the color adjustment system 1 is not limited to one configured from a single computer 10, and may be configured from a plurality of computers 10. Further, in this case, the plurality of computers 10 may be connected to each other via the Internet. Further, when the depth information D is newly generated, depth information generation means may be provided separately from the depth information acquisition means 30.
また、上記実施形態では、奥行き情報Ｄに応じて色情報の調整量を変更するようにした場合の例を示したが、本発明はこれに限定されるものではなく、奥行き情報Ｄに応じて色調整を行う確率を変更するようにしてもよい。すなわち、例えば奥行き情報Ｄの値が１０における補正情報Ｃの値が０．７である場合に、奥行き情報Ｄの値が１０である画素のうち７割の個数だけ（例えば、１００個のうち７０個だけ）について色情報を変更するようにしてもよい。 In the above embodiment, an example in which the adjustment amount of the color information is changed according to the depth information D has been shown, but the present invention is not limited to this, and according to the depth information D. The probability of performing color adjustment may be changed. That is, for example, when the depth information D value is 10 and the correction information C value is 0.7, only 70% of the pixels whose depth information D value is 10 (for example, 70 out of 100 pixels). The color information may be changed for only one).
この場合、個別調整情報は、調整情報と同じ値、または０（色調整を行わない）のいずれかのみに設定されることとなる。色情報を調整するか否かの判定は、単純に例えば乱数値の発生確率に基づいて行ってもよいし、対象となる画素の位置や分布状態等を考慮して行ってもよい。また、奥行き情報Ｄに応じて色情報の調整量を変更するか、色調整を行う確率を変更するかをユーザに選択させるようにしてもよい。 In this case, the individual adjustment information is set to only the same value as the adjustment information or 0 (no color adjustment is performed). The determination as to whether or not to adjust the color information may be performed simply based on, for example, the probability of occurrence of a random value, or may be performed in consideration of the position or distribution state of the target pixel. Further, the user may be allowed to select whether to change the adjustment amount of the color information according to the depth information D or to change the probability of performing the color adjustment.
また、上記実施形態では、各種色空間における座標値を色情報として調整する場合の例を示したが、本発明はこれに限定されるものではなく、例えばガンマ値やアルファチャンネル等、その他の情報を色情報としてもよい。また、色情報の変更は、マスク処理により行うようにしてもよい。 In the above-described embodiment, an example in which coordinate values in various color spaces are adjusted as color information has been described. However, the present invention is not limited to this, and other information such as a gamma value and an alpha channel, for example. May be color information. The color information may be changed by mask processing.
また、上記実施形態において示した作用および効果は、本発明から生じる最も好適な作用および効果を列挙したものに過ぎず、本発明による作用および効果は、これらに限定されるものではない。 In addition, the functions and effects shown in the above embodiment are merely a list of the most preferable functions and effects resulting from the present invention, and the functions and effects of the present invention are not limited to these.
本発明に係る色調整方法および色調整システムは、映画やテレビ番組等の製作、および出版や印刷等の分野だけではなく、デジタルカメラ、テレビ、ディスプレイおよびプリンタ等の画像を扱う各種機器の分野においても利用することができる。 The color adjustment method and color adjustment system according to the present invention are not only used in the fields of production of movies and TV programs, and publication and printing, but also in the fields of various devices that handle images such as digital cameras, TVs, displays, and printers. Can also be used.
１ 色調整システム
３０ 奥行き情報取得手段
３２ 調整情報取得手段
３６ 個別調整情報設定手段
３６ａ 補正情報導出手段
３６ｂ 個別調整情報導出手段
３８ 色情報変更手段
Ｃ 補正情報
Ｄ 奥行き情報
ＳＤ 基準奥行き情報
Ｓ１２ 奥行き情報取得ステップ
Ｓ１６ 調整情報取得ステップ
Ｓ１８ 基準奥行き情報取得ステップ
Ｓ２０ 補正情報導出ステップ
Ｓ２２ 個別調整情報導出ステップ
Ｓ２４ 色情報変更ステップ
DESCRIPTION OF SYMBOLS 1 Color adjustment system 30 Depth information acquisition means 32 Adjustment information acquisition means 36 Individual adjustment information setting means 36a Correction information derivation means 36b Individual adjustment information derivation means 38 Color information change means C Correction information D Depth information SD Reference depth information S12 Depth information acquisition Step S16 Adjustment information acquisition step S18 Reference depth information acquisition step S20 Correction information derivation step S22 Individual adjustment information derivation step S24 Color information change step
Claims (9)
前記各画素の色情報を調整する調整情報を取得する調整情報取得ステップと、
前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定ステップと、
前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更ステップと、を有することを特徴とする、
画像の色調整方法。 A depth information acquisition step of acquiring depth information of each pixel constituting the image;
An adjustment information acquisition step of acquiring adjustment information for adjusting the color information of each pixel;
An individual adjustment information setting step for setting individual adjustment information obtained by correcting the adjustment information based on the depth information for each pixel;
A color information changing step of changing the color information of each pixel based on the individual adjustment information,
Image color adjustment method.
前記奥行き情報の関数である補正情報を導出する補正情報導出ステップと、
前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出ステップと、を有することを特徴とする、
請求項１に記載の画像の色調整方法。 The individual adjustment information setting step includes:
A correction information deriving step for deriving correction information that is a function of the depth information;
An individual adjustment information derivation step for deriving the individual adjustment information based on the correction information,
The image color adjustment method according to claim 1.
前記補正情報は、前記所定の範囲内で極値をとる関数であることを特徴とする、
請求項２に記載の画像の色調整方法。 The depth information is a numerical value within a predetermined range;
The correction information is a function that takes an extreme value within the predetermined range,
The image color adjustment method according to claim 2.
前記補正情報は、前記基準奥行き情報において極値をとる関数であることを特徴とする、
請求項３に記載の画像の色調整方法。 A reference depth information acquisition step of acquiring reference depth information that is the depth information used as a reference for color adjustment;
The correction information is a function that takes an extreme value in the reference depth information,
The image color adjustment method according to claim 3.
請求項４に記載の画像の色調整方法。 The reference depth information is acquired based on the depth information of the designated pixel in the image.
The image color adjustment method according to claim 4.
請求項１乃至５のいずれかに記載の画像の色調整方法。 An area specifying step for specifying an area for color adjustment in the image;
The image color adjustment method according to claim 1.
請求項１乃至６のいずれかに記載の画像の色調整方法。 The adjustment information is a filter that adjusts color information of each pixel based on color information of a plurality of predetermined pixels.
The image color adjustment method according to claim 1.
前記各画素の色情報を調整する調整情報を取得する調整情報取得手段と、
前記奥行き情報に基づいて前記調整情報を補正した個別調整情報を各画素に設定する個別調整情報設定手段と、
前記個別調整情報に基づいて前記各画素の色情報を変更する色情報変更手段と、を有することを特徴とする、
画像の色調整システム。 Depth information acquisition means for acquiring depth information of each pixel constituting the image;
Adjustment information acquisition means for acquiring adjustment information for adjusting the color information of each pixel;
Individual adjustment information setting means for setting individual adjustment information obtained by correcting the adjustment information based on the depth information for each pixel;
Color information changing means for changing the color information of each pixel based on the individual adjustment information,
Image color adjustment system.
前記奥行き情報の関数である補正情報を導出する補正情報導出手段と、
前記補正情報に基づいて前記個別調整情報を導出する個別調整情報導出手段と、を有することを特徴とする、
請求項８に記載の画像の色調整システム。 The individual adjustment information setting means includes
Correction information deriving means for deriving correction information that is a function of the depth information;
Individual adjustment information deriving means for deriving the individual adjustment information based on the correction information,
The image color adjustment system according to claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014069880A JP6387238B2 (en) | 2013-04-10 | 2014-03-28 | Movie color adjustment method and movie color adjustment system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013081810 | 2013-04-10 | ||
| JP2013081810 | 2013-04-10 | ||
| JP2014069880A JP6387238B2 (en) | 2013-04-10 | 2014-03-28 | Movie color adjustment method and movie color adjustment system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014220793A true JP2014220793A (en) | 2014-11-20 |
| JP6387238B2 JP6387238B2 (en) | 2018-09-05 |
Family
ID=51938828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014069880A Active JP6387238B2 (en) | 2013-04-10 | 2014-03-28 | Movie color adjustment method and movie color adjustment system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6387238B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000176167A (en) * | 1998-12-18 | 2000-06-27 | Square Co Ltd | Game machine, game control method and storage medium thereof |
| JP2007208673A (en) * | 2006-02-02 | 2007-08-16 | Fuji Xerox Co Ltd | Method and apparatus for color adjustment |
| JP2008067093A (en) * | 2006-09-07 | 2008-03-21 | Nikon Corp | Camera system, image processor, and image processing program |
| JP2009110137A (en) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | Image processor, image processing method, and image processing program |
| JP2010055029A (en) * | 2008-08-29 | 2010-03-11 | Sony Corp | Video converter, video conversion method and program |
-
2014
- 2014-03-28 JP JP2014069880A patent/JP6387238B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000176167A (en) * | 1998-12-18 | 2000-06-27 | Square Co Ltd | Game machine, game control method and storage medium thereof |
| JP2007208673A (en) * | 2006-02-02 | 2007-08-16 | Fuji Xerox Co Ltd | Method and apparatus for color adjustment |
| JP2008067093A (en) * | 2006-09-07 | 2008-03-21 | Nikon Corp | Camera system, image processor, and image processing program |
| JP2009110137A (en) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | Image processor, image processing method, and image processing program |
| JP2010055029A (en) * | 2008-08-29 | 2010-03-11 | Sony Corp | Video converter, video conversion method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6387238B2 (en) | 2018-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8654180B2 (en) | Method and a system for reducing artifacts | |
| JP5121294B2 (en) | Image processing method, image processing apparatus, program, recording medium, and integrated circuit | |
| JP2014072639A (en) | Image processing apparatus, image processing method, and image processing program | |
| US10547832B2 (en) | Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images | |
| US9025224B2 (en) | Image-color-correcting method using a multitouch screen | |
| KR20100129194A (en) | Image processing apparatus and image processing method | |
| CN105191277B (en) | Details enhancing based on guiding filter | |
| US9792695B2 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium | |
| KR20200043432A (en) | Technology for providing virtual lighting adjustments to image data | |
| US20150248221A1 (en) | Image processing device, image processing method, image processing system, and non-transitory computer readable medium | |
| JP2015165607A (en) | Image processing apparatus, image processing method, image processing system, and program | |
| US9659228B2 (en) | Image processing apparatus, image processing system, non-transitory computer readable medium, and image processing method | |
| JP2009038794A (en) | Image processor, image processing method, image processing system, program, recording medium, and integrated circuit | |
| CN110782400B (en) | Self-adaptive illumination uniformity realization method and device | |
| JP5968088B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6558365B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6711020B2 (en) | Image processing apparatus, image processing method, image processing system and program | |
| JP6387238B2 (en) | Movie color adjustment method and movie color adjustment system | |
| US9858654B2 (en) | Image manipulation | |
| US8086060B1 (en) | Systems and methods for three-dimensional enhancement of two-dimensional images | |
| JP5807569B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US10114447B2 (en) | Image processing method and apparatus for operating in low-power mode | |
| JP2006106976A (en) | Image processor, image processing method and program | |
| JP5887966B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN111247560B (en) | Method for preserving perceptual constancy of objects in an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6387238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |