【０００１】
【発明の属する技術分野】
この発明は，ニューラルネットワークを用いて単一、あるいは複数のモノクロ画像をカラー化する方法に関するものである。
【０００２】
【従来の技術】
モノクロ画像のカラー化は一つの成分で表された画素に多次元の値を与えることになるので、本質的に正しい解は存在しない。このため、作業者の経験や勘に依存したカラー化が行われている。代表的な方法としては、輝度値を適当に区分して用意したカラーマップを用いて段階的に色付けする方法（従来手法１）、作業者が任意の色を選びモノクロ画像の任意の場所に直接色を塗る方法（従来手法２）がある。
【０００３】
一方、カラー画像である参照画像と、モノクロ画像である目標画像を用いて、参照画像から目標画像に色を移行するという手法（従来手法３）が提案されている（Ｔ．Ｗｅｌｓｈ，Ｍ．Ａｓｈｉｋｈｍｉｎ ａｎｄ Ｋ．Ｍｕｅｌｌｅｒ「Ｔｒａｎｓｆｅｒｒｉｎｇ ｃｏｌｏｒ ｔｏｇｒａｙｓｃａｌｅ ｉｍａｇｅｓ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ ２００２，ｐｐ．２７７−２７９，２００２）。Ｗｅｌｓｈらはこの方法を用いて、いくつかのモノクロ画像の半自動的なカラー化に成功している。
【０００４】
【発明が解決しようとする課題】
上述した従来手法１では、輝度値とカラーマップの対応に物理的な意味がある場合等においては意図されたカラー画像を得ることができるが、一般のモノクロ画像を違和感のないカラー画像にすることは難しい。
【０００５】
従来手法２では、作業者が各々の領域に対して手作業で色付けしなければならず、その負担は大きなものになっている。
【０００６】
一方、従来手法３では、従来手法２に対して作業者の手作業を減らし、簡単なカラー化を行うものになっている。しかしながら、この手法では物体のエッジ部分や形状が入り組んでいる領域等でノイズ状の色分布になるという問題点がある。また、参照画像から抽出した色のみによってカラー化されるため、色の種類が制限される。自然な階調のカラー画像を得るためには、注意深く参照画像を選択し、参照画像から適切な画素を選択する必要がある。
【０００７】
本発明の目的は、モノクロ画像のカラー化において、前述した従来手法３の問題点を解決し、手作業が少なく、自然な階調のカラー画像を得ることにある。
【０００８】
【課題を解決するための手段】
カラー化されるモノクロ画像の一部分又は全領域を、単一又は複数の参照カラー画像の一部分又は全領域と対応させ、対応付けられた画像領域に対して学習用データを決定する。部分的な対応に対しては、Ｒｅｉｎｈａｒｄらの提案したｓｗａｔｃｈ（Ｅ．Ｒｅｉｎｈａｒｄ，Ｍ．Ａｓｈｉｋｈｍｉｎ，Ｍ．Ｇｏｏｃｈａｎｄ Ｐ．Ｓｈｉｒｌｙ「Ｃｏｌｏｒ Ｔｒａｎｓｆｅｒｂｅｔｗｅｅｎ Ｉｍａｇｅｓ」，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ，ｖｏｌ．２１，ｎｏ．５，ｐｐ．３４−４１，２００１）を用いる（図４）。
【０００９】
入力信号として、参照カラー画像の画素のモノクロ画像の画像成分と対応づけられた輝度等の画像成分（以下対応画像成分と呼ぶ）と、その成分の近傍の平均や標準偏差等の統計量を用いる。出力信号は参照カラー画像の色情報である。これらを教師信号とし、各々の対応領域に対して教師信号と出力信号の類似度が最も大きくなるようにニューラルネットワークを用いて所定の回数だけ学習ステップを進め、学習済みネットワーク群を得る。
【００１０】
学習結果にもとづいて、モノクロ画像の対応領域をカラー化する。参照カラー画像と対応付けられていないカラー化対象領域に関しては、学習済みネットワーク群を利用してカラー化する。
【００１１】
【発明の実施の形態】
本発明の実施形態を、図１及び図２を参照して説明する。はじめに、カラー化される単一又は複数のモノクロ画像とカラー画像群を用意する。次に非カラー化領域決定部１０においてモノクロ画像群に対してカラー化の対象としない領域を決める。
【００１２】
参照カラー画像群選択部１１において用意したカラー画像群から参照カラー画像群を選択し、カラー化領域の対応付け部１２においてカラー化されるモノクロ画像の領域と参照カラー画像の領域を対応させる。図３に参照カラー画像とモノクロ画像の全領域が対応付けられる例を、図４にＲｅｉｎｈａｒｄらの提案したｓｗａｔｃｈの利用例として、参照カラー画像の一部分がモノクロ画像の一部分に対応する例を示す。
【００１３】
次に図２を参照して、図１の対応領域の学習済みネットワーク生成部１３を説明する。対応領域の学習済みネットワーク生成部１３は、主として入力信号成分決定部２０、出力信号成分決定部２１、入力信号生成部２２、教師信号生成部２３、ニューラルネットワークによる学習部２４、学習終了判断部２５から構成され、各々の対応領域に対してニューラルネットワークを利用した学習を行う。
【００１４】
入力信号成分決定部２０においては、はじめに対応画像成分を決める。例えば、これを輝度とすれば、参照カラー画像の成分をＹＵＶ（Ｙは輝度信号、ＵとＶは色差信号を表す）に変換し輝度を対応画像成分とする。次に参照カラー画像のある画素における対応画像成分と、その画素の近傍の画素の対応画像成分を用いて、平均、標準偏差等の統計量を算出し、対応画像成分、及び統計量を用いて入力信号成分を決定する。出力信号成分決定部２１では、出力信号となる色情報の成分を決定する。例えば、Ｕ、Ｖを出力信号成分とする。
【００１５】
次に入力信号生成部２２において、参照カラー画像上のモノクロ画像に対応付けられた画像領域の中から適当な方法で複数の画素を抽出する。均等抽出の例を図５に示す。抽出された参照カラー画像の複数の画素における入力信号成分を用いて入力信号を生成する。
【００１６】
参照カラー画像から抽出した画素の色情報の成分を出力信号とし、教師信号生成部２３において前記入力信号と合わせて教師信号を生成する。この後、ニューラルネットワークによる学習部２４において、ニューラルネットワークによって学習を行う。例えば、入力信号として抽出された各々の画素の輝度、及び近傍画素の輝度の平均、標準偏差の３つのものを用い、出力信号として色差信号ＵＶを用いる。図６に一つの画素に対するニューラルネットワークの一部分を示す。ニューラルネットワークの構造としては階層型ネットワークを用い、参照カラー画像の色差信号ＵＶを教師信号とし、誤差逆伝播学習法により、実際の出力と教師信号の誤差が減少するようにニューロン間の重みを所定の回数だけ修正することによって学習する。なお、所定の回数以下の場合であっても、学習の途中で誤差が敷居値以下になった場合は学習終了判断部２５に進む。
【００１７】
学習の終了は、学習終了判断部２５において判断される。はじめに誤差が敷居値以下になっているか、学習ステップが所定の回数分進められたかによって判断される。誤差が敷居値以下の場合は、学習に成功したものとし学習済みフラグを１とし、１４に進む。所定回数の学習ステップが終了し、誤差が大きい場合は、入力信号成分決定部２０に戻るかどうかが問い合わされる。入力信号成分決定部２０に戻らない場合は、学習済みフラグを１（学習に成功）、又は０（学習に失敗）に設定することで１４に進む。
【００１８】
対応領域に対する学習終了判断部１４では、学習済みフラグの値によって学習に失敗した対応領域を判断し、失敗した領域がある場合はカラー化領域の対応付け部１２に戻る。すべての対応領域で学習に成功している場合は、カラー化が行われる。
【００１９】
カラー化は、はじめに対応領域のカラー化部１５において、モノクロ画像の各々の対応領域の画素に対して、各々の学習済みネットワークを利用して出力として色情報を得ることによって行われる。例えば、輝度、及び近傍画素の輝度の平均、標準偏差の３つのものを与え、色差信号ＵＶを得ることによってモノクロ画像の対応領域の画素のＹＵＶが決定する。
【００２０】
モノクロ画像において対応領域以外にカラー化対象領域が存在する場合は、非対応領域のカラー化部１６において学習済みネットワーク群を利用してカラー化する。例えば、カラー化されたモノクロ画像の対応領域上の画素群に対して、画素の輝度、及び近傍画素の輝度の平均、標準偏差を求め、それらの平均値を各々の対応領域の代表値とする。対応領域以外の画素に対して、画素の輝度、及び近傍画素の輝度の平均、標準偏差を求め、代表値と比べることによって最も類似度の大きい対応領域を求め、その領域の学習済みネットワークを用いてカラー化する。このようにして、モノクロ画像におけるカラー化対象領域がカラー化される。終了処理部１７において、カラー化に成功したと判断すれば、カラー化処理を終了し、そうでない場合は、参照カラー画像群選択部１１まで戻る。
【００２１】
【発明の効果】
本発明によって、従来手法３の欠点である物体のエッジ部分や形状が入り組んでいる領域等でノイズ状の色分布になるという問題を解決できる。また、自然な階調のカラー画像を得ることができる。
【図面の簡単な説明】
【図１】本発明のモノクロ画像のカラー化処理装置の構成を表すブロック図
【図２】対応領域の学習済みネットワーク生成部の構成を表すブロック図
【図３】参照カラー画像とモノクロ画像の全領域が対応付けられた例
【図４】参照カラー画像とモノクロ画像がｓｗａｔｃｈによって対応付けられた例
【図５】参照カラー画像からの画素の抽出例
【図６】一つの画素に対するニューラルネットワークの一部分
【符号の説明】
１０ 非カラー化領域決定部
１１ 参照カラー画像群選択部
１２ カラー化領域の対応付け部
１３ 対応領域の学習済みネットワーク生成部
１４ 対応領域に対する学習終了判断部
１５ 対応領域のカラー化部
１６ 非対応領域のカラー化部
１７ 終了処理部
２０ 入力信号成分決定部
２１ 出力信号成分決定部
２２ 入力信号生成部
２３ 教師信号生成部
２４ ニューラルネットワークによる学習部
３０ 参照カラー画像
３１ カラー化されるモノクロ画像
４０ 参照カラー画像
４１ 参照カラー画像
４２ カラー化されるモノクロ画像[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for colorizing a single or a plurality of monochrome images using a neural network.
[0002]
[Prior art]
Since the colorization of a monochrome image gives multi-dimensional values to pixels represented by one component, there is essentially no correct solution. For this reason, colorization is performed depending on the experience and intuition of the worker. As a typical method, a method in which luminance values are colored stepwise using a color map prepared by appropriately dividing luminance values (conventional method 1), an operator selects an arbitrary color and directly places it in an arbitrary position of a monochrome image There is a method of applying a color (conventional method 2).
[0003]
On the other hand, a technique (conventional technique 3) of shifting colors from the reference image to the target image using a reference image that is a color image and a target image that is a monochrome image has been proposed (T. Welsh, M. Ashikmin). and K. Mueller "Transferring color grayscale images" Proceedings of SIGGRAPH 2002, pp. 277-279, 2002). Welsh et al. Have successfully semi-automatically colorized some monochrome images using this method.
[0004]
[Problems to be solved by the invention]
According to the above-described conventional method 1, an intended color image can be obtained when the correspondence between the luminance value and the color map has a physical meaning, for example, but a general monochrome image can be obtained as a color image without a sense of incongruity. Is difficult.
[0005]
In the conventional method 2, the operator has to manually color each area, and the burden is heavy.
[0006]
On the other hand, in the conventional method 3, the manual operation of the operator is reduced compared to the conventional method 2, and simple colorization is performed. However, this method has a problem that a noise-like color distribution is formed in an edge portion of an object or a region where a shape is complicated. Further, since colorization is performed using only the color extracted from the reference image, the type of color is limited. In order to obtain a color image with a natural gradation, it is necessary to carefully select a reference image and select appropriate pixels from the reference image.
[0007]
An object of the present invention is to solve the above-described problem of the conventional method 3 in colorizing a monochrome image and to obtain a color image with a small number of manual operations and a natural gradation.
[0008]
[Means for Solving the Problems]
A part or the whole area of the monochrome image to be colorized is made to correspond to a part or the whole area of one or a plurality of reference color images, and learning data is determined for the associated image area. Regarding the partial correspondence, the switch proposed by Reinhard et al. (E. Reinhard, M. Ashikmin, M. Goochand P. Shirley, "Color Transferwetween Images", IEEE Computer Graphics, A.P. pp. 34-41, 2001) (FIG. 4).
[0009]
As an input signal, an image component such as luminance associated with an image component of a monochrome image of pixels of a reference color image (hereinafter referred to as a corresponding image component) and statistics such as an average and a standard deviation in the vicinity of the component are used. . The output signal is color information of the reference color image. Using these as teacher signals, the learning step is performed a predetermined number of times using a neural network so that the similarity between the teacher signal and the output signal is maximized for each corresponding area, and a group of learned networks is obtained.
[0010]
The corresponding area of the monochrome image is colored based on the learning result. The colorization target area not associated with the reference color image is colored using the learned network group.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to FIGS. First, a single or plural monochrome images and a group of color images to be colorized are prepared. Next, the non-colored area determination unit 10 determines an area that is not to be colored for the monochrome image group.
[0012]
The reference color image group is selected from the color image group prepared by the reference color image group selection unit 11, and the monochrome image region to be colorized and the reference color image region are made to correspond by the colorization region association unit 12. FIG. 3 shows an example in which the entire area of the reference color image and the entire area of the monochrome image are associated with each other. FIG.
[0013]
Next, the learned network generation unit 13 of the corresponding region in FIG. 1 will be described with reference to FIG. The learned network generator 13 of the corresponding area mainly includes an input signal component determiner 20, an output signal component determiner 21, an input signal generator 22, a teacher signal generator 23, a neural network learning unit 24, and a learning end determining unit 25. And performs learning using a neural network for each corresponding region.
[0014]
The input signal component determination unit 20 first determines a corresponding image component. For example, if this is luminance, the components of the reference color image are converted into YUV (Y represents a luminance signal, and U and V represent color difference signals), and the luminance is set as a corresponding image component. Next, using the corresponding image component at a certain pixel of the reference color image and the corresponding image component of a pixel near the pixel, calculate a statistic such as an average and a standard deviation, and use the corresponding image component and the statistic. Determine the input signal component. The output signal component determination unit 21 determines a color information component to be an output signal. For example, U and V are output signal components.
[0015]
Next, the input signal generation unit 22 extracts a plurality of pixels from the image area corresponding to the monochrome image on the reference color image by an appropriate method. FIG. 5 shows an example of the uniform extraction. An input signal is generated using input signal components of a plurality of pixels of the extracted reference color image.
[0016]
The component of the color information of the pixel extracted from the reference color image is used as an output signal, and a teacher signal generation unit 23 generates a teacher signal together with the input signal. Thereafter, learning is performed by the neural network in the learning unit 24 using the neural network. For example, the luminance of each pixel extracted as an input signal, the average of the luminance of neighboring pixels, and the standard deviation are used, and the color difference signal UV is used as an output signal. FIG. 6 shows a part of the neural network for one pixel. The structure of the neural network is a hierarchical network, the color difference signal UV of the reference color image is used as a teacher signal, and the weight between neurons is determined by the error back propagation learning method so that the error between the actual output and the teacher signal is reduced. Learn by modifying the number of times. In addition, even if the number of times is equal to or less than the predetermined number, if the error becomes equal to or less than the threshold value during the learning, the process proceeds to the learning end determination unit 25.
[0017]
The end of the learning is determined by the learning end determining unit 25. First, it is determined whether the error is equal to or less than the threshold value or whether the learning step has been advanced a predetermined number of times. If the error is equal to or less than the threshold value, it is determined that the learning has succeeded, the learned flag is set to 1, and the process proceeds to 14. If the learning step has been completed a predetermined number of times and the error is large, an inquiry is made as to whether or not to return to the input signal component determination unit 20. If the process does not return to the input signal component determination unit 20, the process proceeds to step 14 by setting the learned flag to 1 (success in learning) or 0 (failure in learning).
[0018]
The learning completion determination unit 14 for the corresponding region determines the corresponding region where the learning has failed based on the value of the learned flag, and if there is a failed region, returns to the colorizing region associating unit 12. If the learning is successful in all the corresponding areas, the colorization is performed.
[0019]
The colorization is performed by first obtaining the color information as an output for each pixel of the corresponding area of the monochrome image using the learned network in the corresponding area colorization unit 15. For example, the luminance, the average of the luminance of the neighboring pixels, and the standard deviation are given, and the YUV of the pixel in the corresponding area of the monochrome image is determined by obtaining the color difference signal UV.
[0020]
If there is a colorization target area other than the corresponding area in the monochrome image, the non-corresponding area colorization unit 16 performs colorization using the learned network group. For example, with respect to a pixel group on a corresponding region of a colorized monochrome image, an average and a standard deviation of the luminance of the pixel and the luminance of neighboring pixels are obtained, and the average value is set as a representative value of each corresponding region. . For the pixels other than the corresponding area, the average of the luminance of the pixel and the average and standard deviation of the luminance of the neighboring pixels are obtained, the corresponding area having the highest similarity is obtained by comparing with the representative value, and the learned network of the area is used. Colorize. In this way, the colorization target area in the monochrome image is colored. If the end processing unit 17 determines that the colorization has succeeded, the colorization process ends. Otherwise, the process returns to the reference color image group selection unit 11.
[0021]
【The invention's effect】
According to the present invention, it is possible to solve the drawback of the conventional method 3, that is, a problem that a noise-like color distribution is formed in an edge portion of an object or a region where a shape is complicated. Further, a color image having a natural gradation can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a monochrome image color processing apparatus according to the present invention. FIG. 2 is a block diagram illustrating a configuration of a learned network generation unit for a corresponding area. FIG. Example in which regions are associated FIG. 4 Example in which reference color image and monochrome image are associated by switch FIG. 5 Example of extraction of pixels from reference color image FIG. 6 Part of neural network for one pixel [Explanation of symbols]
10 Non-colored area determination section 11 Reference color image group selection section 12 Colorized area association section 13 Trained network generation section for corresponding area 14 Learning end determination section for corresponding area 15 Colorization section for corresponding area 16 Non-corresponding area Coloring unit 17 End processing unit 20 Input signal component determination unit 21 Output signal component determination unit 22 Input signal generation unit 23 Teacher signal generation unit 24 Learning unit 30 using neural network 30 Reference color image 31 Monochrome image 40 to be colorized Reference color Image 41 Reference color image 42 Monochrome image to be colored
