JP2019028888A - カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム - Google Patents

Abstract

【課題】高解像度のモノクロ画像から推定されるカラー情報のぼけを低減すること。【解決手段】カラー情報拡大器１０は、低解像度カラー情報１０５または低解像度カラー情報１０５から抽出した画像特徴量のいずれかである低解像度の画像特徴量から高解像度の画像特徴量を生成するサイズ拡大手段２１と、高解像度モノクロ画像１０１または高解像度モノクロ画像１０１から抽出した高解像度の画像特徴量と、サイズ拡大手段２１により生成された高解像度の画像特徴量とを合成する合成手段２２ａと、合成手段２２ａにより合成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出することにより高解像度カラー情報１０７を推定する高解像度カラー情報推定手段２３と、を備える。【選択図】図２

Description

本発明は、モノクロ画像へ付加するカラー情報を拡大するカラー情報拡大器、および、モノクロ画像へ付加するカラー情報を推定するカラー情報推定器、ならびに、それらのプログラムに関する。

近年、モノクロ画像をデジタルデータ化してカラー化する自動色付け技術が複数開発されている。このデジタルデータには、このモノクロ画像をカラー画像にするための画像特徴量となるカラー情報の手がかりがほとんどない。このため、このデジタルデータのカラー化は、フィルムなどの物理媒体に記録されたいわゆるアナログ画像のカラー化と比べて、難易度が高い。例えば、モノクロデータをカラーデータに変換する方法が知られている（特許文献１参照）。この方法は、モノクロデータに記録された特定の物体を仮定し、この特定の物体から色分布モデルを計算する。そして、計算した色分布モデルからカラー情報を推定する。この方法は、この特定の物体をカラー化する対象としているので、予め仮定した対象と、この特定の物体とが異なる場合には、モノクロ画像を自然なカラー画像にすることが難しいという問題がある。

これに対し、近年、いわゆる機械学習技術を用いることにより、白黒画像の中のカラー化対象の選択をより汎用的にしてカラー化するカラー情報の推定方法が提案されている（非特許文献１、非特許文献２参照）。しかしながら、このような機械学習技術を用いたカラー情報の推定方法は、多様な物体が写った膨大な量のカラー画像を用意することを前提としている。そして、このカラー情報の推定方法は、カラー情報推定器を作成するための学習の際に、例えば、ニューラルネットワーク等で構成された学習器に、膨大なカラー画像を入力する。そして、この学習により作成されたカラー情報推定器によれば、モノクロ画像とこのモノクロ画像に対応するカラー情報との対応関係を機械学習技術により学習させ、学習したカラー情報との対応関係に基づいて、入力として与えられる多様なモノクロ画像に対して、従来よりも精度よくカラー情報を推定し、これにより自然なカラー画像を生成できる。

特開２０１６−１４６５２９号公報

Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa., "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification," ACM Transaction on Graphics (Proc. Of SIGGRAPH), 35(4):110, 2016. Richard Zhang, Phillip Isola, and Alexei A. Efros. "Colorful Image Colorization." In ECCV 2016.

しかしながら、上述した機械学習技術による既存の自動色付け技術では、解像度が縦横２５６〜５１２ピクセル程度の低解像度画像を主な対象としており、４Ｋ画像や８Ｋ画像のような高解像度なモノクロ画像への自然な色付けを可能にする技術は存在しなかった。

上述したような従来の複数の技術は、高解像のモノクロ画像に対して、カラー画像化の元となるモノクロ画像を低解像度に圧縮してから低解像度なカラー情報を推定し、入力画像のサイズにまで拡大する。また、これらの技術は、その後、この拡大されたカラー情報を元のモノクロ画像と合成し、合成したカラー画像を、入力した高解像度のモノクロ画像に対応させる。しかしながら、この従来の方法は、推定したカラー画像にぼけなどが発生するという問題があった。特に、拡大率が大きくなればカラー情報にも大きなぼけが生じるという問題があった。

本発明は、以上のような問題点に鑑みてなされたものであり、高解像度のモノクロ画像から推定されるカラー情報に生じるぼけを低減できるカラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラムを提供することを目的とする。

前記課題を解決するため、本発明の第１の態様に係るカラー情報拡大器は、第１解像度のモノクロ画像の画像特徴量であるモノクロ情報と、前記第１解像度のモノクロ情報から推定された前記第１解像度よりも低い第２解像度の画像特徴量であるカラー情報と、を入力されて、所定の演算処理により前記カラー情報の画像サイズを拡大して高解像度カラー情報として出力するカラー情報拡大器であって、サイズ拡大手段と、合成手段と、高解像度カラー情報推定手段と、を備えることとした。

かかる構成によれば、カラー情報拡大器は、サイズ拡大手段によって、前記第２解像度のカラー情報または当該第２解像度のカラー情報から抽出した画像特徴量のいずれか一方である低解像度の画像特徴量から高解像度の画像特徴量を生成する。
そして、カラー情報拡大器は、合成手段によって、前記第１解像度のモノクロ情報または当該第１解像度のモノクロ情報から抽出した高解像度の画像特徴量と、前記サイズ拡大手段により生成された高解像度の画像特徴量とを合成する。
そして、カラー情報拡大器は、高解像度カラー情報推定手段によって、前記合成手段により合成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出することにより前記高解像度カラー情報を推定する。

また、本発明の第２の態様に係るカラー情報拡大器は、第１解像度のモノクロ画像の画像特徴量であるモノクロ情報と、前記第１解像度のモノクロ情報から推定された前記第１解像度よりも低い第２解像度の画像特徴量であるカラー情報と、を入力されて、所定の演算処理により前記カラー情報の画像サイズを拡大して高解像度カラー情報として出力するカラー情報拡大器であって、特徴抽出手段と、合成手段と、サイズ拡大手段と、高解像度カラー情報推定手段と、を備えることとした。

かかる構成によれば、カラー情報拡大器は、特徴抽出手段によって、前記第１解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出する。
そして、カラー情報拡大器は、合成手段によって、前記第２解像度のカラー情報または当該第２解像度のカラー情報から抽出した低解像度の画像特徴量と、前記特徴抽出手段により抽出された低解像度の画像特徴量と、を合成する。
そして、カラー情報拡大器は、サイズ拡大手段によって、前記合成手段により合成された低解像度の画像特徴量から高解像度の画像特徴量を生成する。
そして、カラー情報拡大器は、高解像度カラー情報推定手段によって、前記サイズ拡大手段により生成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出することにより前記高解像度カラー情報を推定する。

また、前記課題を解決するため、本発明の第１の態様に係るカラー情報推定器は、前記カラー情報拡大器と、前記第１解像度のモノクロ情報を縮小する処理を行って前記第２解像度のモノクロ情報を生成する縮小器と、前記縮小器により生成された前記第２解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出することにより前記第２解像度のカラー情報を推定する低解像度カラー情報推定器と、を備え、前記カラー情報拡大器が、前記低解像度カラー情報推定器で推定された前記第２解像度のカラー情報と、前記縮小器をバイパスして入力される前記第１解像度のモノクロ情報と、を用いて、前記高解像度カラー情報を推定する処理を行うこととした。

かかる構成によれば、本発明の第１の態様に係るカラー情報推定器は、第１解像度のモノクロ画像から縮小器と低解像度カラー情報推定器とを経て推定された第２解像度のカラー情報と、第１解像度のモノクロ画像とを、カラー情報拡大器の入力として与えることができる。

また、前記課題を解決するため、本発明の第２の態様に係るカラー情報推定器は、前記カラー情報拡大器と、前記第１解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出することにより前記第２解像度のカラー情報を推定する低解像度カラー情報推定器と、を備え、前記カラー情報拡大器が、前記低解像度カラー情報推定器で推定された前記第２解像度のカラー情報と、前記低解像度カラー情報推定器をバイパスして入力される前記第１解像度のモノクロ情報と、を用いて、前記高解像度カラー情報を推定する処理を行うこととした。

かかる構成によれば、本発明の第２の態様に係るカラー情報推定器は、第１解像度のモノクロ画像から低解像度カラー情報推定器によって推定された第２解像度のカラー情報と、第１解像度のモノクロ画像とを、カラー情報拡大器の入力として与えることができる。

また、本発明は、コンピュータを、前記カラー情報拡大器として機能させるためのカラー情報拡大プログラムで実現することもできる。
また、本発明は、コンピュータを、前記カラー情報推定器として機能させるためのカラー情報推定プログラムで実現することもできる。

本発明は、以下に示す優れた効果を奏するものである。
本発明に係るカラー情報拡大器によれば、高解像度のモノクロ画像から推定した低解像度のカラー情報を拡大する推定処理に際して、拡大されるカラー情報のぼけを低減できる。
また、本発明に係るカラー情報推定器によれば、入力される高解像度のモノクロ画像から推定するカラー情報のぼけを低減できる。

本発明の第１実施形態に係るカラー情報推定器を含む自動色付け装置の構成を模式的に示すブロック図である。 本発明の第１実施形態に係るカラー情報拡大器の構成を模式的に示すブロック図である。 従来の低解像度カラー情報推定器の学習の流れを模式的に示すブロック図である。 本発明の第１実施形態に係るカラー情報拡大器の学習の流れを模式的に示すブロック図である。 本発明の第２実施形態に係るカラー情報拡大器の構成を模式的に示すブロック図である。 本発明の第３実施形態に係るカラー情報拡大器の構成を模式的に示すブロック図である。 本発明の第４実施形態に係るカラー情報拡大器の構成を模式的に示すブロック図である。 本発明の第２実施形態に係るカラー情報推定器の構成を模式的に示すブロック図である。 本発明の第３実施形態に係るカラー情報推定器の構成を模式的に示すブロック図である。 実験に用いたカラー情報拡大器を模式的に示す説明図である。

以下、本発明の実施形態に係るカラー情報拡大器およびカラー情報推定器について、図面を参照しながら説明する。

［自動色付け装置］
図１は、本発明の第１実施形態に係るカラー情報推定器を含む自動色付け装置の構成を模式的に示すブロック図である。
自動色付け装置１は、モノクロ画像からカラー情報を推定することにより、モノクロ画像へ自動的に色付けするものであり、図１に示すように、主として、カラー情報推定器３と、情報合成器９と、を備えている。
この自動色付け装置１は、例えば一般的なコンピュータで構成され、ＧＰＵ（Graphics Processing Units）等の演算装置と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）や一般的な画像メモリと、入出力インタフェースと、を備えている。

カラー情報推定器３は、入力される高解像度モノクロ画像１０１から、低解像度モノクロ画像１０３および低解像度カラー情報１０５を生成して、これらの情報を用いて高解像度カラー情報１０７を推定するものである。
高解像度モノクロ画像１０１は、第１解像度のモノクロ画像である。この高解像度モノクロ画像１０１は、例えば、過去の白黒フィルムや写真からスキャンによりデジタル化したモノクロ画像である。
低解像度モノクロ画像１０３は、前記第１解像度よりも低い第２解像度のモノクロ画像である。
低解像度カラー情報１０５は、前記第２解像度のカラー情報である。
高解像度カラー情報１０７は、前記第１解像度のカラー情報である。

ここで、モノクロ画像とは、具体的には色空間における輝度チャンネル（ＨＳＶ色空間におけるＶチャンネルや、Ｌａｂ色空間におけるＬチャンネルなど）のみから成る画像である。なお、画素の情報が輝度である場合、画素値（輝度値）は、８ビットの情報で表すとき、０〜２５５の値を有する。モノクロ画像の画像特徴量であるモノクロ情報は、例えば輝度分布で表される。本明細書では、このモノクロ情報をモノクロ画像と同じ意味で用いている。
また、カラー情報とは、例えば、輝度チャンネル以外の２チャンネルについての画像特徴量とすることができる。ここで、画像特徴量とは、例えば、輝度、色度、彩度等の色空間を表す量である。また、画像特徴量は、例えば、色空間を表す量から抽出された平均値、分散、畳み込み積分値等であってもよい。また、画素ごとの画像特徴量の集合は、例えばモノクロ画像（モノクロ情報）やカラー情報である。また、画像特徴量は、高さ方向および幅方向（縦横）に要素が並べられた行列で取り扱ってもよいし、１次元の多変数ベクトルで取り扱ってもよい。

第１解像度の値（高解像度の値）は、第２解像度の値（低解像度の値）に比較して大きければ特に限定されない。例えば、第２解像度の画像の大きさを２５６×２５６ピクセル、第１解像度の画像の大きさを５１２×５１２ピクセルとしてもよい。また、例えば、第２解像度の画像の大きさを４８０×２７０ピクセル、第１解像度の画像の大きさを４Ｋ（３８４０×２１６０）としてもよい。さらには、第１解像度の画像の大きさを８Ｋ（７６８０×４３２０）としても構わない。

（カラー情報推定器の第１実施形態）
第１実施形態のカラー情報推定器３は、図１に示すように、縮小器５と、低解像度カラー情報推定器７と、カラー情報拡大器１０と、を備えている。
カラー情報拡大器１０は、低解像度カラー情報１０５または低解像度カラー情報１０５から抽出した画像特徴量のいずれかである低解像度の画像特徴量から高解像度の画像特徴量を生成し、高解像度モノクロ画像１０１または高解像度モノクロ画像１０１から抽出した高解像度の画像特徴量と、サイズ拡大手段２により生成された高解像度の画像特徴量とを合成し、合成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出する。
これにより、高解像度カラー情報１０７を推定する。

縮小器５は、入力される高解像度モノクロ画像１０１を縮小する処理を行って低解像度モノクロ画像１０３を生成するものである。ここで、縮小とは解像度を低減、つまり画素数を減少させることをいう。縮小における縮小率が例えば０．５である場合、縮小画像の水平方向、垂直方向の画素数は、原画像の水平方向、垂直方向の画素数のそれぞれ１／２となる。縮小器５は、生成した低解像度モノクロ画像１０３を低解像度カラー情報推定器７に出力する。

低解像度カラー情報推定器７は、推定を行うための学習により予め決定されたパラメータ群を用いて、縮小器５により生成された低解像度モノクロ画像１０３から、低解像度のカラー情報（画像特徴量）を抽出する。これにより、低解像度カラー情報推定器７は、低解像度カラー情報１０５を推定する。なお、低解像度カラー情報推定器７を作成するための学習の流れは、従来技術と同様であるが、簡単な説明を後記する。また、カラー情報の推定手法には、例えば非特許文献１に記載された従来公知の手法を用いることができる。この低解像度カラー情報推定器７は、従来公知のカラー情報推定器と同様に、輝度チャンネルを入力とし、２チャンネルの推定カラー情報を出力する。そして、低解像度カラー情報推定器７は、推定した低解像度カラー情報１０５をカラー情報拡大器１０に出力する。

カラー情報拡大器１０は、低解像度カラー情報推定器７により推定された低解像度カラー情報１０５と、縮小器５をバイパスして入力される高解像度モノクロ画像１０１と、を入力として、画像サイズが拡大されたカラー情報（高解像度カラー情報１０７）を推定する処理を行うものである。カラー情報拡大器１０は、低解像度カラー情報１０５を拡大する際に、高解像度モノクロ画像１０１（モノクロ情報）を用いて拡大する。そして、カラー情報拡大器１０は、推定した高解像度カラー情報１０７を情報合成器９に出力する。

情報合成器９は、カラー情報推定器３で推定された高解像度カラー情報１０７と、高解像度モノクロ画像１０１とを合成し、高解像度カラー画像１０９を作成する。情報合成器９は、１チャンネル（以下、１ｃｈと表記する場合もある）のモノクロ情報と、２チャンネル（２ｃｈ）のカラー情報とを単純に合成してカラー画像を生成する。

（カラー情報拡大器の詳細）
図２は、本発明の第１実施形態に係るカラー情報拡大器の構成を模式的に示すブロック図である。カラー情報拡大器１０は、図２に示すように、サイズ拡大手段２１と、合成手段２２ａと、高解像度カラー情報推定手段２３と、を備えている。なお、図２のカラー情報拡大器１０は、特徴抽出手段３１，３２，３３を備える形態で図示したが、例えば、すべての特徴抽出手段を省略した構成とすることもできる。なお、以下では、特徴抽出手段について、便宜的に第１の特徴抽出手段３１、第２の特徴抽出手段３２、および第３の特徴抽出手段３３のように呼称する場合もある。

カラー情報拡大器１０は、例えばニューラルネットワークにより構成できる。また、ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network）であってもよい。ＣＮＮでは、隠れ層（hidden layer）に、Convolution層（畳み込み層）や、Deconvolution層（逆畳み込み層、または、Transposed Convolution 層）を用いる。よって、ＣＮＮを採用した場合、カラー情報拡大器１０は、各構成要素を、Convolution層またはDeconvolution層を用いて実装可能であり、ＧＰＵを用いて高速に計算できる。

サイズ拡大手段２１は、入力される低解像度の画像特徴量を拡大する処理を行って高解像度の画像特徴量を生成するものである。ここで、低解像度の画像特徴量とは、例えば、低解像度カラー情報１０５のことをいう。なお、図２に示すように、カラー情報拡大器１０が第２の特徴抽出手段３２を備える場合には、第２の特徴抽出手段３２が低解像度カラー情報１０５から抽出した画像特徴量が低解像度の画像特徴量となる。サイズ拡大手段２１は、生成した高解像度の画像特徴量を合成手段２２ａに出力する。

サイズ拡大手段２１には、例えば、Deconvolution層（ニューラルネットワークを用いた画像拡大層）を用いてもよい。また、一般的な画像拡大アルゴリズムで用いられるパラメータを固定的に用いてもよい。なお、一般的な画像拡大アルゴリズムとしては、例えば、最近傍補間法やBilinear補間法などを用いてもよい。

合成手段２２ａは、例えば、入力される高解像度モノクロ画像１０１と、サイズ拡大手段２１によって生成された高解像度の画像特徴量とを合成するものである。なお、図２に示すように、カラー情報拡大器１０が第１の特徴抽出手段３１を備える場合には、合成手段２２ａは、高解像度モノクロ画像１０１から抽出された画像特徴量と、サイズ拡大手段２１によって生成された高解像度の画像特徴量とを合成する。合成手段２２ａは、合成した高解像度の画像特徴量を高解像度カラー情報推定手段２３に出力する。
合成手段２２ａは、１ｃｈのモノクロ情報と、このモノクロ情報と同じ大きさの２ｃｈのカラー情報とを単純に合成し、高解像度の画像特徴量を生成する。合成手段２２ａには、例えば、ニューラルネットワークのConvolution層を用いてもよい。

高解像度カラー情報推定手段２３は、合成手段２２ａにより合成された高解像度の画像特徴量から、高解像度カラー情報を推定するための学習により、予め決定されたパラメータ群を用いて画像特徴量を抽出し、高解像度カラー情報１０７を推定するものである。
ここで、学習とは、カラー情報拡大器１０を作成するための学習をいう。具体的には、高解像度カラー情報推定手段２３を含むカラー情報拡大器１０を作成するための学習により高解像度カラー情報推定手段２３等の内部パラメータ（パラメータ群）を適切に設定することにより、精度の良い推定器として、高解像度カラー情報推定手段２３を作成できる。なお、カラー情報拡大器１０を作成するための学習の流れについては後記する。

高解像度カラー情報１０７は、低解像度カラー情報１０５が拡大されたカラー情報に相当し、高解像度モノクロ画像１０１に対応した解像度を有する。この高解像度カラー情報１０７とは、色空間のチャンネルごとのカラー情報であって、例えば、輝度チャンネル以外の２チャンネルについての画像特徴量をいう。

高解像度カラー情報推定手段２３は、その前段からの複数（３以上）の出力（Output）に対応した複数（３以上）のアウトプットチャンネルについての画像特徴量を、色空間における２チャンネルについての画像特徴量に変換し、カラー情報を推定する。
高解像度カラー情報推定手段２３には、例えば、ニューラルネットワークのConvolution層を用いてもよい。また、Convolution層（隠れ層）が複数あってもよい。つまり、Convolutionを連続的に繰り返し行ってもよい。
高解像度カラー情報推定手段２３の前段からのアウトプットチャンネル数は所望の値に設定できる。例えば合成手段２２ａからのアウトプットチャンネル数は３ｃｈやそれ以上であってもよい。

カラー情報拡大器１０は、図２に示すように、第１の特徴抽出手段３１、第２の特徴抽出手段３２、および第３の特徴抽出手段３３のうちの少なくとも１つの特徴抽出手段を備えてもよい。

第１の特徴抽出手段３１は、高解像度モノクロ画像１０１から、学習により予め決定されたパラメータ群を用いて高解像度の画像特徴量を抽出し、抽出した高解像度の画像特徴量を合成手段２２ａに出力するものである。なお、学習とは、カラー情報拡大器１０を作成するための学習をいう。第１の特徴抽出手段３１は、第１の特徴抽出手段３１に入力される１ｃｈのモノクロ情報を、第１の特徴抽出手段３１のアウトプットチャンネルごとに高解像度の画像特徴量にそれぞれ変換する。

第２の特徴抽出手段３２は、低解像度カラー情報１０５から、学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出し、抽出した低解像度の画像特徴量をサイズ拡大手段２１に出力するものである。第２の特徴抽出手段３２は、第２の特徴抽出手段３２に入力される２ｃｈのカラー情報を、第２の特徴抽出手段３２のアウトプットチャンネルごとに低解像度の画像特徴量にそれぞれ変換する。

第３の特徴抽出手段３３は、合成手段２２ａで生成された高解像度の画像特徴量から、学習により予め決定されたパラメータ群を用いて高解像度の画像特徴量を抽出し、抽出した高解像度の画像特徴量を高解像度カラー情報推定手段２３に出力するものである。第３の特徴抽出手段３３は、合成手段２２ａからの複数の出力に対応した複数のアウトプットチャンネル（例えば３ｃｈ）についての画像特徴量を、第３の特徴抽出手段３３のアウトプットチャンネルごとに高解像度の画像特徴量にそれぞれ変換する。なお、第３の特徴抽出手段３３のアウトプットチャンネル数は、例えば６４ｃｈ、１２８ｃｈ、２５６ｃｈ等に設定される。

各特徴抽出手段３１〜３３には、例えば、ニューラルネットワークのConvolution層を用いてもよい。また、Convolution層（隠れ層）が複数あってもよい。各特徴抽出手段からのアウトプットチャンネル数は所望の値に設定できる。なお、本明細書では、特徴抽出手段等に入力した画像特徴量をアウトプットチャンネルごとにコンボリューションにかけて得られた画像特徴量のことを、入力から得た特徴という。また、本明細書では、特徴抽出手段等への複数チャンネルからなる入力情報をコンボリューションにかけて、入力した画像特徴量を変換することを、特徴を抽出するという。

図２では、高解像度カラー情報推定手段２３とは別に第３の特徴抽出手段３３を図示したが、高解像度カラー情報推定手段２３が内部に第３の特徴抽出手段３３を備えることとしてもよい。第３の特徴抽出手段３３は、高解像度カラー情報推定手段２３が色空間のチャンネルごとの画像特徴量を抽出する前に、色空間の２チャンネルについての画像特徴量を出力するためのパラメータ群とは異なるパラメータ群を用いて、サイズ拡大手段２１および合成手段２２ａの処理により生成された高解像度の画像特徴量から、複数チャンネル（例えば６４ｃｈ）について高解像度の画像特徴量をそれぞれ生成する。

（低解像度カラー情報推定器の学習の流れ）
次に、低解像度カラー情報推定器７の学習の流れについて図３を参照して説明する。低解像度カラー情報推定器７の学習の流れは、従来のカラー情報推定器の学習の流れと同様なので簡単に説明する。
低解像度カラー情報推定器７は、以下の手順により、予め用意した学習器から生成する。この学習器は、モノクロ画像を入力し、所定の計算処理を行うことによりカラー情報を推定して出力する。この学習器（図３では、学習が終わった状態の低解像度カラー情報推定器７として表記している）は、内部パラメータ（パラメータ群）を備え、このパラメータを変更することにより、学習器からの出力を調整する。そして、大量の学習用のカラー画像を用意し、以下のステップＳ１〜ステップＳ４を十分な回数繰り返す。この学習器がこのパラメータを学習し、適切にパラメータを設定することにより精度の良いカラー情報推定器を作成できる。

（ステップＳ１）
学習用のカラー画像として低解像度カラー画像２０２を用意し、それを低解像度モノクロ画像２０３と真のカラー情報２０４とに分離する。
ここで、低解像度モノクロ画像２０３は、低解像度の学習用モノクロ画像である。
また、真のカラー情報２０４は、低解像度の学習用モノクロ画像と同じサイズの正解カラー情報であって、推定されるカラー情報との誤差計算に用いる。

（ステップＳ２）
次に、学習器（低解像度カラー情報推定器７）は、低解像度モノクロ画像２０３を入力し、現在のパラメータを用いた推定結果のカラー情報として、低解像度カラー情報２０５を出力する。

（ステップＳ３）
次に、誤差計算器４０は、低解像度カラー情報２０５（推定カラー情報）と真のカラー情報２０４との誤差を計算する。この誤差としては、各画素値の平均二乗誤差などが用いられる。

（ステップＳ４）
また、誤差計算器４０は、計算して得られた誤差から、ＳＧＤなどの誤差勾配に基づく最適化手法を用いて、誤差が小さくなるように、学習器（低解像度カラー情報推定器７）のパラメータを調整し、調整されたパラメータを学習器に出力する。なお、ＳＧＤについては、次の参考文献に記載されているので説明を省略する。
（参考文献）L. Bottou., ”Stochastic Gradient Descent Tricks.,”Neural Networks: Tricks of the Trade: Springer, 2012.

上記学習により適切に設定されるパラメータとは、図１に示す低解像度カラー情報推定器７が、低解像度モノクロ画像１０３から画像特徴量を抽出し、低解像度カラー情報１０５を推定する際に用いるパラメータ群のことをいう。つまり、低解像度カラー情報１０５を推定する際に用いるパラメータ群は、学習器に入力される低解像度の学習用モノクロ画像から所定演算により推定される低解像度のカラー情報と、学習用モノクロ画像と同じサイズの正解カラー情報と、の対応付けを学習することにより決定する。

（カラー情報拡大器の学習の流れ）
次に、カラー情報拡大器１０の学習の流れについて図４を参照して説明する。
カラー情報拡大器１０は、以下の手順により、予め用意した学習器から生成する。この学習器は、高解像度モノクロ画像３０１および低解像度カラー情報３０５を入力し、所定の計算処理を行うことにより高解像度カラー情報３０７を推定して出力する。この学習器（図４では、学習が終わった状態のカラー情報拡大器１０として表記している）は、内部パラメータ（パラメータ群）を備え、このパラメータを変更することにより、学習器からの出力を調整する。そして、大量の学習用のカラー画像を用意し、以下のステップＳ１０〜ステップＳ１４を十分な回数繰り返す。この学習器がこのパラメータを学習し、適切にパラメータを設定することにより精度の良いカラー情報拡大器を作成できる。

（ステップＳ１０）
学習用のカラー画像として高解像度カラー画像３０９を用意し、それを縮小器５によって単純に縮小して低解像度カラー情報３０５とする。
ここで、高解像度カラー画像３０９としては、古い白黒フィルムをカラー化したものも使用する。この場合、例えば、過去の白黒フィルムや写真からスキャンによりデジタル化したモノクロ画像に対して、人手で色付けしたデジタルデータとする。また、学習用の高解像度カラー画像３０９を大量に準備するために、古い白黒フィルム以外に、カラー撮影された新しい４Ｋ等のカラー画像を用いてもよい。

（ステップＳ１１）
次に、高解像度カラー画像３０９を、高解像度モノクロ画像３０１と高解像度カラー情報（真のカラー情報）３０４とに分離する。
ここで、高解像度モノクロ画像３０１は、高解像度の学習用モノクロ画像である。
また、高解像度カラー情報３０４は、高解像度の学習用モノクロ画像と同じサイズの正解カラー情報であって、推定される高解像度カラー情報との誤差計算に用いる。

（ステップＳ１２）
次に、学習器（カラー情報拡大器１０）は、高解像度モノクロ画像３０１を入力し、現在のパラメータを用いた推定結果のカラー情報として、高解像度カラー情報３０７を出力する。

（ステップＳ１３）
次に、誤差計算器４０は、高解像度カラー情報３０７（推定カラー情報）と高解像度カラー情報（真のカラー情報）３０４との誤差を計算する。この誤差としては、前記した手法と同様の各画素値の平均二乗誤差や交差エントロピーなどを用いる。

（ステップＳ１４）
また、誤差計算器４０は、計算して得られた誤差から、ＳＧＤなどの誤差勾配に基づく最適化手法を用いて、誤差が小さくなるように、学習器（カラー情報拡大器１０）のパラメータを調整し、調整されたパラメータを学習器に出力する。なお、誤差計算器４０は、学習のときに付加されるが、学習後には接続を解除する。

上記学習により適切に設定されるパラメータは、図２に示すカラー情報拡大器１０が高解像度カラー情報１０７を推定する際に用いるパラメータ群のことをいう。例えば、高解像度カラー情報推定手段２３が、合成手段２２ａで生成された高解像度の画像特徴量から、色空間のチャンネルごとの画像特徴量を抽出する際にも用いる。
なお、合成手段２２ａで生成された高解像度の画像特徴量には、高解像度モノクロ画像１０１の情報（モノクロ情報）と低解像度カラー情報１０５とに起因した情報を含む。
つまり、高解像度カラー情報１０７を推定する際に用いるパラメータ群は、学習器にそれぞれ入力される低解像度の学習用カラー情報および高解像度の学習用モノクロ画像から所定演算により推定される拡大された高解像度のカラー情報と、学習用モノクロ画像と同じサイズの正解カラー情報と、の対応付けを学習することにより決定される。

なお、カラー情報拡大器を学習により作るとき、例えば図２の構成のカラー情報拡大器１０を作製したいのならば、図２と同じ構成のカラー情報拡大器１０を学習に用いる。また、カラー情報拡大器を学習により作るとき、少なくとも１つの特徴抽出手段を省略したカラー情報拡大器を作製したいのならば、特徴抽出手段を省略したカラー情報拡大器を学習に用いればよい。

本実施形態に係るカラー情報拡大器１０によれば、高解像度モノクロ画像１０１（モノクロ情報）を明示的に用いているので、推定されるカラー情報のぼけを低減し、低解像度カラー情報１０５を精度よく拡大できる。このカラー情報拡大器１０は、例えば４Ｋまたは８Ｋ等の高解像度モノクロ画像１０１への自動色付けをする際に用いるカラー情報を推定するカラー情報推定器３に組み込むことができる。また、本実施形態に係るカラー情報推定器３は、高解像度モノクロ画像１０１への自動色付けをする際に用いるカラー情報を推定する精度を向上させることができる。

また、高解像度のモノクロ画像のデジタルデータは、例えば物理的フィルムからスキャンすることにより得られるが、従来の色付け技術では、このような高解像度のモノクロ画像に直接色づけすることはできなかった。これに対して、カラー情報推定器３を備える自動色付け装置１は、４Ｋ等の高解像度のモノクロ画像に対する自然な色付けを可能とすることができる。

また、例えば、写真や物理的フィルムからスキャンしたモノクロ画像のデータは存在するが、写真や物理的フィルムが消失してデータしか残っていない状況においても、カラー情報推定器３を備える自動色付け装置１は、当時の色情報を推定して、モノクロ画像に色付けすることができる。

さらに、例えば、低解像度カラー情報１０５が由来するところのカラー撮影された画像では、モノクロ情報チャンネル（色空間における輝度チャンネル）上で境界がはっきりしている領域は、カラー情報チャンネル（例えば、輝度チャンネル以外の２チャンネル）上でも境界がはっきりしているケースが多い。ここで、境界とは、例えばオブジェクトの輪郭線（オブジェクトとその背景との境目）等の線で表される部分である。
そのため、カラー情報拡大器１０のように、高解像度モノクロ画像１０１を用いて、低解像度カラー情報１０５を拡大すると、特に、高解像度モノクロ情報チャンネル（高解像度モノクロ画像１０１）上で境界がはっきりしている領域におけるカラー情報のぼけが低減される効果を奏する。

（カラー情報拡大器の第２実施形態）
次に、カラー情報拡大器の第２実施形態について図５を参照（適宜図２参照）して説明する。図５に示すカラー情報拡大器１０Ａは、サイズ拡大手段２１の前段に合成手段２２ｂを備えている点が、図２に示すカラー情報拡大器１０と相違している。なお、カラー情報拡大器１０Ａにおいて、図２に示すカラー情報拡大器１０と同じ構成には同じ符号を付して説明を省略する。

カラー情報拡大器１０Ａは、特徴抽出手段３４と、合成手段２２ｂと、サイズ拡大手段２１と、高解像度カラー情報推定手段２３と、を備えている。なお、図５のカラー情報拡大器１０Ａは、特徴抽出手段３５，３６を備える形態で図示したが、例えば、特徴抽出手段３５，３６を省略した構成とすることもできる。以下では、便宜的に、特徴抽出手段について、第２の特徴抽出手段３５および第３の特徴抽出手段３６のように呼称する場合もある。このカラー情報拡大器１０Ａは、例えばニューラルネットワークで構成できる。

特徴抽出手段３４は、推定を行うための学習により予め決定されたパラメータ群を用いて、高解像度モノクロ画像１０１から低解像度の画像特徴量を抽出し、抽出した低解像度の画像特徴量を合成手段２２ｂに出力するものである。

合成手段２２ｂは、例えば、低解像度カラー情報１０５と、特徴抽出手段３４により抽出された低解像度の画像特徴量と、を合成し、低解像度の画像特徴量を生成するものである。なお、図５に示すように、カラー情報拡大器１０Ａが第２の特徴抽出手段３５を備える場合には、合成手段２２ｂは、低解像度カラー情報１０５から抽出された低解像度の画像特徴量と、特徴抽出手段３４により抽出された低解像度の画像特徴量とを合成する。合成手段２２ｂは、合成した低解像度の画像特徴量をサイズ拡大手段２１に出力する。
合成手段２２ｂは、２ｃｈの低解像度のカラー情報と、この低解像度のカラー情報と同じ大きさの１ｃｈのモノクロ情報と、を単純に合成し、低解像度の画像特徴量を生成する。合成手段２２ｂには、例えば、ニューラルネットワークのConvolution層を用いてもよい。

本実施形態では、サイズ拡大手段２１は、当該サイズ拡大手段２１により生成した高解像度の画像特徴量を、例えば高解像度カラー情報推定手段２３に出力する。
本実施形態では、高解像度カラー情報推定手段２３は、サイズ拡大手段２１で生成された高解像度の画像特徴量から高解像度カラー情報１０７を推定する。

カラー情報拡大器１０Ａは、図５に示すように、特徴抽出手段３４以外に、第２の特徴抽出手段３５と、第３の特徴抽出手段３６と、のうちの少なくとも１つの特徴抽出手段をさらに備えてもよい。

第２の特徴抽出手段３５は、低解像度カラー情報１０５から、学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出し、抽出した低解像度の画像特徴量を合成手段２２ｂに出力するものである。なお、この第２の特徴抽出手段３５は、抽出された低解像度の画像特徴量の出力先以外は、図２に示す第２の特徴抽出手段３２と同じである。

第３の特徴抽出手段３６は、サイズ拡大手段２１により生成された高解像度の画像特徴量から、学習により予め決定されたパラメータ群を用いて高解像度の画像特徴量を抽出し、抽出した高解像度の画像特徴量を高解像度カラー情報推定手段２３に出力するものである。なお、この第３の特徴抽出手段３６は、高解像度の画像特徴量を受け取るための入力先以外は、図２に示す第３の特徴抽出手段３３と同じである。

図５では、高解像度カラー情報推定手段２３とは別に第３の特徴抽出手段３６を図示したが、高解像度カラー情報推定手段２３が内部に第３の特徴抽出手段３６を備えることとしてもよい。例えば、各特徴抽出手段３４〜３６には、ニューラルネットワークのConvolution層を用いるようにしてもよい。

カラー情報拡大器１０Ａの学習の流れは、カラー情報拡大器１０の学習の流れと同様なので説明を省略する。なお、カラー情報拡大器を学習により作るとき、図５の構成のカラー情報拡大器１０Ａを作製したいのならば、図５の構成のカラー情報拡大器１０Ａを学習に用いればよい。また、カラー情報拡大器を学習により作るとき、少なくとも１つの特徴抽出手段を省略したカラー情報拡大器を作製したいのならば、特徴抽出手段を省略したカラー情報拡大器を学習に用いればよい。

第２実施形態に係るカラー情報拡大器１０Ａによれば、第１実施形態に係るカラー情報拡大器１０と同様に、高解像度モノクロ画像１０１（モノクロ情報）を明示的に用いているので、推定されるカラー情報のぼけを低減し、低解像度カラー情報１０５を精度よく拡大できる。

（カラー情報拡大器の第３実施形態）
次に、カラー情報拡大器の第３実施形態について図６を参照（適宜図２および図５参照）して説明する。なお、カラー情報拡大器１０Ｂにおいて、カラー情報拡大器１０，１０Ａと同じ構成には同じ符号を付して説明を省略する。

カラー情報拡大器１０Ｂは、特徴抽出手段３４と、合成手段２２ｂと、サイズ拡大手段２１と、合成手段２２ａと、高解像度カラー情報推定手段２３と、を備えている。なお、図６のカラー情報拡大器１０Ｂは、第１の特徴抽出手段３１と、第２の特徴抽出手段３５と、第３の特徴抽出手段３３と、を備える形態で図示したが、例えば、特徴抽出手段３１，３５，３３を省略した構成とすることもできる。このカラー情報拡大器１０Ｂは、例えばニューラルネットワークで構成できる。

図６に示すカラー情報拡大器１０Ｂは、カラー情報拡大器１０，１０Ａを混合して、サイズ拡大手段２１の前後に合成手段２２ｂ，２２ａを備えるようにしたものなので、これ以上の説明については省略する。なお、カラー情報拡大器１０Ｂの学習の流れも、カラー情報拡大器１０の学習の流れと同様なので説明を省略する。

第３実施形態に係るカラー情報拡大器１０Ｂによれば、第１実施形態に係るカラー情報拡大器１０と同様に、高解像度モノクロ画像１０１（モノクロ情報）を明示的に用いているので、推定されるカラー情報のぼけを低減し、低解像度カラー情報１０５を精度よく拡大できる。

（カラー情報拡大器の第４実施形態）
次に、カラー情報拡大器の第４実施形態について図７を参照（適宜図１および図２参照）して説明する。なお、カラー情報拡大器１０Ｃにおいて、カラー情報拡大器１０と同じ構成には同じ符号を付して説明を省略する。
ここでは、第１解像度の画像の大きさをＮ（＝３８４０×２１６０ピクセル）とすると共に、第２解像度の画像の大きさをＮ／８（＝４８０×２７０ピクセル）として説明する。つまり、カラー情報拡大器１０Ｃに入力する高解像度モノクロ画像１０１は、解像度＝Ｎのモノクロ画像であるものとする。また、カラー情報拡大器１０Ｃに入力する低解像度カラー情報１０５は、解像度＝Ｎ／８のカラー情報であるものとする。

カラー情報拡大器１０Ｃは、カラー情報拡大器１０を再帰的に連結する構造を用いた再帰的カラー情報拡大器である。ここでは、カラー情報拡大器１０は、拡大率が２であるものとし、３つのカラー情報拡大器１０を再帰的に連結する。

カラー情報拡大器１０Ｃは、サイズ縮小手段５０を備えている。
サイズ縮小手段５０は、高解像度モノクロ画像１０１を、所定の縮小率で縮小する処理を再帰的に行うことにより第１解像度よりも小さく第２解像度よりも大きな解像度を持った複数レベルの解像度のモノクロ画像を生成する。

サイズ縮小手段５０は、高解像度モノクロ画像１０１（解像度＝Ｎのモノクロ画像）を縮小してモノクロ画像１１１を生成する。このモノクロ画像１１１は、解像度＝Ｎ／２のモノクロ画像である。
さらに、サイズ縮小手段５０は、モノクロ画像１１１（解像度＝Ｎ／２のモノクロ画像）を縮小してモノクロ画像１２１を生成する。このモノクロ画像１２１は、解像度＝Ｎ／４のモノクロ画像である。また、モノクロ画像１２１は、この場合にサイズ縮小手段５０で生成される最小レベルの解像度のモノクロ画像である。

カラー情報拡大器１０Ｃに入力される低解像度カラー情報１０５と、サイズ縮小手段５０で生成される最小レベルの解像度のモノクロ画像１２１と、を入力とするカラー情報拡大器１０は、最終的に、色空間のチャンネルごとの推定カラー情報として、低解像度カラー情報１０５が拡大されたカラー情報１２７を出力する。ここでは、カラー情報拡大器１０は拡大率が２であるので、このカラー情報１２７は、解像度＝Ｎ／４のカラー情報となる。

このカラー情報１２７と、サイズ縮小手段５０で生成されたモノクロ画像１１１と、を入力とするカラー情報拡大器１０は、最終的に、色空間のチャンネルごとの推定カラー情報として、カラー情報１２７が拡大されたカラー情報１１７を出力する。ここでは、カラー情報拡大器１０は拡大率が２であるので、このカラー情報１１７は、解像度＝Ｎ／２のカラー情報となる。

このカラー情報１１７と、カラー情報拡大器１０Ｃに入力される高解像度モノクロ画像１０１と、を入力とするカラー情報拡大器１０は、最終的に、色空間のチャンネルごとの推定カラー情報として、カラー情報１１７が拡大された高解像度カラー情報１０７を出力する。ここでは、カラー情報拡大器１０は拡大率が２であるので、この高解像度カラー情報１０７は、解像度＝Ｎのカラー情報となる。こうして、カラー情報拡大器１０Ｃに入力される低解像度カラー情報１０５は、２³倍（＝８倍）に拡大されて、高解像度カラー情報１０７として出力されることになる。

前記したように、カラー情報拡大器１０Ｃは、低解像度カラー情報１０５と、生成される最小レベルの解像度のモノクロ画像１２１とを初期値として、推定されたカラー情報および当該カラー情報よりも大きな解像度を持ったモノクロ画像から当該モノクロ画像と同じ解像度を持ったカラー情報を推定する処理を再帰的に行うことにより第１解像度を持った高解像度カラー情報１０７を推定する処理を行う。

カラー情報拡大器１０Ｃは、カラー情報拡大器１０を再帰的に連結する構造を用いた再帰的カラー情報拡大器であるので、拡大率がＭ（例えばＭ＝２）であるカラー情報拡大器１０を１つ作るだけで、Ｍの累乗数倍の拡大器を作成できる。
例えば最終的な拡大率を２³倍（＝８倍）とするカラー情報拡大器１０Ｃを学習により作るときには、拡大率を２倍とするカラー情報拡大器１０を学習に用いればよい。これは、再帰的カラー情報拡大器としないで８倍の拡大を実現しようとするときに決定すべきパラメータ数を約１／３に低減させる効果を奏することができる。
よって、カラー情報拡大器１０Ｃによれば、予め推定した低解像度カラー情報１０５の解像度がＮ／８（４８０×２７０ピクセル）である場合に、解像度がＮ（＝３８４０×２１６０ピクセル）に拡大された高解像度カラー情報１０７を容易に取得することが可能となる。

なお、カラー情報拡大器１０Ｃは、カラー情報拡大器１０の代わりに、カラー情報拡大器１０Ａ，１０Ｂを再帰的に連結するようにしてもよい。また、カラー情報拡大器１０Ｃによる最終的な拡大率は、８倍に限らず、４倍や１６倍等であってもよい。

また、カラー情報拡大器１０Ｃにおいて、例えば３つのカラー情報拡大器１０を連結する代わりに、１つのカラー情報拡大器１０を異なるタイミングで作動させることにより、３つのカラー情報拡大器１０の働きをさせるようにしてもよい。
同様に、カラー情報拡大器１０Ｃにおいて、例えば２つのサイズ縮小手段５０を連結する代わりに、１つのサイズ縮小手段５０を異なるタイミングで作動させることにより、２つのサイズ縮小手段５０の働きをさせるようにしてもよい。

［カラー情報推定器の第２実施形態］
次に、本発明の第２実施形態に係るカラー情報推定器について図８を参照（適宜図１参照）して説明する。カラー情報推定器３Ｂは、図８に示すように、低解像度カラー情報推定器７Ｂと、カラー情報拡大器１０Ｄと、を備えている。

低解像度カラー情報推定器７Ｂは、図１に示す低解像度カラー情報推定器７と同様に低解像度カラー情報１０５を推定するものである。低解像度カラー情報推定器７Ｂは、推定した低解像度カラー情報１０５をカラー情報拡大器１０Ｄに出力する。この低解像度カラー情報推定器７Ｂは、高解像度モノクロ画像１０１を入力として用いる点が図１に示す低解像度カラー情報推定器７と異なっているが、従来公知のカラー情報推定器であるので、これ以上の説明を省略する。

カラー情報拡大器１０Ｄは、低解像度カラー情報推定器７Ｂにより推定された低解像度カラー情報１０５と、低解像度カラー情報推定器７Ｂをバイパスして入力される高解像度モノクロ画像１０１と、を用いて、高解像度カラー情報１０７を推定する処理を行うものである。カラー情報拡大器１０Ｄは、図８に示すように、サイズ拡大手段２１と、合成手段２２ａと、第３の特徴抽出手段３３と、高解像度カラー情報推定手段２３と、を備えている。なお、カラー情報拡大器１０Ｄにおいて、図２に示すカラー情報拡大器１０と同じ構成には同じ符号を付して説明を省略する。

合成手段２２ａは、低解像度カラー情報推定器７Ｂに入力される高解像度モノクロ画像１０１と同じモノクロ画像と、サイズ拡大手段２１により生成された高解像度の画像特徴量とを合成する。ここで、低解像度カラー情報推定器７Ｂに入力される高解像度モノクロ画像１０１と同じモノクロ画像は、バイパス経路４０１を介して、カラー情報拡大器１０Ｄの合成手段２２ａに入力される。これにより、カラー情報拡大器１０Ｄは、低解像度カラー情報１０５から高解像度カラー情報１０７を作成する際に、高解像度モノクロ画像１０１（モノクロ情報）を直接使用できる。

なお、仮にバイパス経路４０１からの高解像度モノクロ画像１０１の入力がない比較例のカラー情報推定器を想定した場合、このような比較例であっても、カラー情報の拡大機能を持たせることは可能と考えられる。その理由は、高解像度モノクロ画像１０１の持つ情報は、低解像度カラー情報推定器７Ｂを通過する過程で変形しているが、理論的には、バイパスがなくてもカラー情報拡大器１０Ｄに伝わっているからである。
これに対して、第２実施形態に係るカラー情報推定器３Ｂは、バイパス経路４０１からの高解像度モノクロ画像１０１の入力が存在することにより、カラー情報拡大器１０Ｄに相当する箇所の学習をする際に、高解像モノクロ情報が、このような比較例よりも強い影響を持つ。そのため、カラー情報推定器３Ｂは、高解像モノクロ情報チャンネル（色空間における輝度チャンネルの高解像の情報）上で境界がはっきりしている領域では、ぼけがないようなカラー情報の拡大をする学習が、上述した比較例よりも促進されることが実験的にも分かっている。

［カラー情報推定器の第３実施形態］
次に、本発明の第３実施形態に係るカラー情報推定器について図９を参照（適宜図７および図８参照）して説明する。カラー情報推定器３Ｃは、図９に示すように、低解像度カラー情報推定器７Ｂと、カラー情報拡大器１０Ｅと、サイズ縮小手段５０と、を備えている。ここでは、カラー情報推定器３Ｃに入力する高解像度モノクロ画像１０１は、解像度＝Ｎ（＝３８４０×２１６０ピクセル）のモノクロ画像であるものとする。また、低解像度カラー情報推定器７Ｂが出力するカラー情報は、解像度＝Ｎ／８のカラー情報であるものとする。

カラー情報推定器３Ｃにおいて、図７のカラー情報拡大器１０Ｃと同じ構成には同じ符号を付して説明を省略する。サイズ縮小手段５０は、図７のカラー情報拡大器１０Ｃにおけるサイズ縮小手段５０と同様に、モノクロ画像１１１と、このモノクロ画像１２１とを生成する。

カラー情報拡大器１０Ｅは、図９に示すように、サイズ拡大手段２１，２１ｂ，２１ｃと、合成手段２２ａ，２２ｂ，２２ｃと、第３の特徴抽出手段３３と、高解像度カラー情報推定手段２３と、を備えている。なお、カラー情報拡大器１０Ｅにおいて、図８に示すカラー情報拡大器１０Ｄと同じ構成には同じ符号を付して説明を省略する。

各サイズ拡大手段２１，２１ｂ，２１ｃは、同じ機能を有し、ここでは、入力される低解像度の画像特徴量を、一般的な画像拡大アルゴリズムで例えば２倍に拡大する処理を行うことにより高解像度の画像特徴量を生成する。
各合成手段２２ａ，２２ｂ，２２ｃは、同じ機能を有し、ここでは、別々の経路から入力される各画像特徴量を単純に合成し、アウトプットチャンネル数を増加させた画像特徴量を生成する。

このような構成のカラー情報推定器３Ｃは、サイズ縮小手段５０を備えることにより、推定された低解像度のカラー情報を拡大する拡大率を、比較的大きな値にすることができる。
具体的は、カラー情報推定器３Ｃにおいて、サイズ拡大手段２１ｃは、低解像度カラー情報推定器７Ｂが出力する２ｃｈのカラー情報（解像度＝Ｎ／８）を拡大することにより、２ｃｈのカラー情報（解像度＝Ｎ／４）を生成する。
そして、合成手段２２ｃは、モノクロ画像１２１（解像度＝Ｎ／４）と、サイズ拡大手段２１ｃによって生成されたカラー情報（解像度＝Ｎ／４）と、を合成することにより、３ｃｈの画像特徴量（解像度＝Ｎ／４）を生成する。ここで、合成手段２２ｃは、モノクロ画像１２１（解像度＝Ｎ／４）を、バイパス経路４０３を介して、合成手段２２ｃに入力する。

そして、サイズ拡大手段２１ｂは、合成手段２２ｃが生成した３ｃｈの画像特徴量（解像度＝Ｎ／４）を拡大し、３ｃｈの画像特徴量（解像度＝Ｎ／２）を生成する。そして、合成手段２２ｂは、モノクロ画像１１１（解像度＝Ｎ／２）と、サイズ拡大手段２１ｂが生成した３ｃｈの画像特徴量（解像度＝Ｎ／２）とを合成することにより、４ｃｈの画像特徴量（解像度＝Ｎ／２）を生成する。ここで、サイズ拡大手段２１ｂは、モノクロ画像１１１（解像度＝Ｎ／２）を、バイパス経路４０２を介して、合成手段２２ｂに入力する。

そして、サイズ拡大手段２１は、合成手段２２ｂが生成した４ｃｈの画像特徴量（解像度＝Ｎ／２）を拡大し、４ｃｈの画像特徴量（解像度＝Ｎ）を生成する。
そして、合成手段２２ａは、高解像度モノクロ画像１０１（解像度＝Ｎ）と、サイズ拡大手段２１が生成した４ｃｈの画像特徴量（解像度＝Ｎ）とを合成し、５ｃｈの画像特徴量（解像度＝Ｎ）を生成する。ここで、サイズ拡大手段２１は、高解像度モノクロ画像１０１（解像度＝Ｎ）を、バイパス経路４０１を介して、合成手段２２ａに入力する。

そして、第３の特徴抽出手段３３は、合成手段２２ａが生成した５ｃｈの画像特徴量（解像度＝Ｎ）を、例えば６４ｃｈの画像特徴量（解像度＝Ｎ）に変換する。
最後に、高解像度カラー情報推定手段２３は、例えば６４ｃｈの画像特徴量（解像度＝Ｎ）を、色空間における２チャンネルのカラー情報（解像度＝Ｎ）に変換する。これにより、高解像度カラー情報１０７が生成される。

以上、本発明の各実施形態について説明したが、本発明はこれらに限定されず、その趣旨を変えない範囲で実施することができる。例えば、本発明におけるカラー情報は、色空間における輝度チャンネル以外の２チャンネルとしたが、それ以外であっても取り扱うことが可能である。一例としては、ＲＧＢ色空間における３チャンネルすべてをカラー情報として用いてもよい。

また、カラー情報拡大器やカラー情報推定器に対して入力されるカラー情報の形式と、出力するカラー情報の形式とは一致していなくても構わない。一例としては、カラー情報拡大器１０に、高解像度モノクロ画像１０１としてＬａｂ色空間におけるＬチャンネルを入力すると共に、低解像度カラー情報１０５としてＬａｂ色空間におけるａｂチャンネルを入力した場合、高解像度カラー情報１０７としてＲＧＢ色空間におけるＲＧＢチャンネルを出力することもできる。

また、カラー情報拡大器１０のすべての構成要素をニューラルネットワークで構成する代わりに、サイズ拡大手段２１にBilinear補間法など一般的な画像拡大アルゴリズムで用いられるパラメータを固定的に用いると共に、その他の構成要素をニューラルネットワークで構成するようにしてもよい。この場合、カラー情報拡大器１０のすべての構成要素をニューラルネットワークで構成した場合と比べると、良好となることが、実験的に分かっている。
また、カラー情報拡大器１０は、ニューラルネットワークによる学習に限らず、他の機械学習技術を用いて構成することもできる。

また、前記各実施形態では、カラー情報拡大器１０，１０Ａ〜１０Ｄとして説明したが、各装置の構成の処理を可能にするように、汎用または特殊なコンピュータ言語で記述したカラー情報拡大プログラムとみなすことも可能である。
また、前記各実施形態では、カラー情報推定器３，３Ｂとして説明したが、各装置の構成の処理を可能にするように、汎用または特殊なコンピュータ言語で記述したカラー情報推定プログラムとみなすことも可能である。

実施形態に係るカラー情報拡大器の性能を確かめるために、実験を行った。図１０は、実験に用いたカラー情報拡大器を模式的に示す説明図である。図１０に示すように、実験に用いたカラー情報拡大器は、図８に示すカラー情報拡大器１０Ｄと同じ構成である。

高解像度モノクロ画像１０１は、Ｌａｂ色空間におけるＬチャンネルに相当する１ｃｈのモノクロ情報（画像特徴量）である。図１０では、１枚の画像として模式的に示した。
また、実験では、高解像度モノクロ画像１０１が９６０×５４０ピクセルの画像であるものとした。なお、高解像度モノクロ画像１０１における画素値をベクトルで表現すると、一般には次の式（１）で示される。式（１）で示すベクトルｘ₁は、高解像度モノクロ画像１０１の画素数と同様に５１８４００個の成分を持つ。

低解像度カラー情報１０５は、Ｌａｂ色空間におけるａｂチャンネルに相当する２ｃｈのカラー情報（画像特徴量）である。図１０では、２枚の小さな画像として模式的に示した。
また、実験では、低解像度カラー情報１０５の解像度が４８０×２７０ピクセルであるものとした。そして、実験では、サイズ拡大手段２１による拡大率を２（垂直方向２倍×水平方向２倍）とした。図１０では、２枚の拡大された画像として模式的に示した。

これら拡大された２ｃｈのカラー情報における画素値をそれぞれベクトルで表現すると、一般には次の式（２）および式（３）で示される。それぞれのベクトルｘ₂，ｘ₃は、前記した式（１）で示されるベクトルｘ₁と同数個の成分を持っている。

合成手段２２ａは、各ベクトルｘ₁、ｘ₂、ｘ₃を入力として、それらのベクトル成分を各画素に対応させて並べて、３ｃｈの情報とする。図１０では、３枚の画像として模式的に示した。なお、この時点では、例えば３×９６０×５４０個の画素ごとの特徴量に対応したメモリが必要である。

第３の特徴抽出手段３３は、コンボリューションを行うニューラルネットワークで構成されている。本実験では、２０層のConvolution層を構築した。
また、各Convolution層では、出力としてＮ個の特徴を抽出するものとした。つまり、アウトプットチャンネル数はＮである。この実験ではＮｃｈ＝６４ｃｈとした。
なお、図１０では、３層のConvolution層だけを示し、他は省略した。また、６４ｃｈのうち１２のチャンネルだけをＮｃｈとして図示し、他は省略した。

Convolution層の１層目（１回目）は、入力チャンネルが３ｃｈ（色空間における３チャンネル）であり、この１層目についての６４のアウトプットチャンネルごとに、次の式（４）で表されるコンボリューションを行った。

式（４）において、ω_iは重みベクトルである。重みベクトルω_iは、このカラー情報拡大器における学習の際に誤差を使ってω_iを更新する、という誤差計算で決定する学習パラメータである。重みベクトルω_iは、１次元の多数変数のベクトルであって、入力される高解像度モノクロ画像１０１の画素数と同数の成分を持つ。ｂはバイアスである。なお、ｉ＝１，２，３に対応したｘ₁、ｘ₂、ｘ₃は式（１）〜式（３）で定義されている。
なお、この時点では、例えば６４×９６０×５４０個の画素ごとの特徴量に対応したメモリが必要である。

Convolution層の２層目（２回目）は、入力チャンネルが６４ｃｈ（前段の１層目についてのアウトプットにおける６４チャンネル）であり、２層目についての６４のアウトプットチャンネルごとに、次の式（５）で表されるコンボリューションを行った。

式（５）は式（４）と同様の形式で表されている。なお、ｉ＝１〜６４に対応したｘ₁〜ｘ₆₄は、前段の１層目についてのアウトプットにおける６４チャンネルのそれぞれの情報を示しており、式（１）〜式（３）と同様に定義できるので、その詳細は省略する。

Convolution層の３〜１９層目（３〜１９回目）は、同様に、入力チャンネルが６４ｃｈ（前の層についてのアウトプットにおける６４チャンネル）であり、それぞれ、６４のアウトプットチャンネルごとに、前記した式（５）で表されるコンボリューションを行った。なお、３〜１９層目においても、ｉ＝１〜６４に対応したｘ₁〜ｘ₆₄は、同様に、それらの前の層についてのアウトプットにおける６４チャンネルについての画像特徴量を示している。

高解像度カラー情報推定手段２３もConvolution層で構成されている。この高解像度カラー情報推定手段２３は、出力として、色空間における２つのチャンネルに対応させた特徴をそれぞれ抽出した。つまり、アウトプットチャンネルは２ｃｈである。
このConvolution層（高解像度カラー情報推定手段２３）は、入力チャンネルが６４ｃｈ（前の層についてのアウトプットにおける６４チャンネル）であり、色空間における２つのチャンネルごとに、前記した式（５）で表されるコンボリューションを行った。

前記した式（４）におけるω_iと式（５）におけるω_iとはそれぞれ異なっている。また、アウトプットチャンネルごとにω_iはそれぞれ異なっている。さらに、前記した２０層のConvolution層には、それぞれ異なる重みベクトルω_iを用いた。

また、実験では、１２８２回（＝６４＋６４×１９＋２）のコンボリューションのすべてを、一例として、以下の同じ条件で、重みベクトルω_iを変えながら行った。
カーネル（kernel）：３
パディング（padding）：１
ストライド（stride）：１

よって、実験で用いた重みベクトルの各成分の個数を総計した個数は、次の式（６）を演算した結果の個数となる。
３×３×（３×６４＋６４×６４×１９＋６４×２） ・・・ 式（６）
また、バイアス項の個数の総計はコンボリューションの個数と同じく、１２８２個である。これらの合計が全パラメータ数である。
つまり、実験に用いたカラー情報拡大器において、学習によって予め決定されたパラメータ群の個数は、７０３２９６＋１２８２＝７０４５７８個となる。

以上の処理により得られた高解像度カラー情報１０７を、図１に示すように、元画像である高解像度モノクロ画像１０１と合成して、高解像度カラー画像１０９を作成した（以下、実施例１）。
また、従来技術の方法で拡大したカラー情報を、元画像である高解像度モノクロ画像１０１と合成して、高解像度カラー画像を作成した（以下、比較例１）。
実施例１は、比較例１と比べて色のぼけが低減されたことを目視で確認できた。
また、ランダムに選んだ画像１１０枚に適用した場合に、ＰＳＮＲ（Peak Signal-to-Noise Ratio）という、元画像に対する劣化具合を表す尺度の平均値において、３７．６６（比較例）から４１．３５（実施例）に改善したことを確認できた。

なお、高解像度モノクロ画像１０１として、より大きな４Ｋ画像を用いて同じ実験を行う場合には、特徴量の個数が飛躍的に増大するので、より多くのメモリ領域を持ったハードウェア資源が必要である。
さらに、図１０において破線で示す第１の特徴抽出手段３１や第２の特徴抽出手段３２を追加して図２のカラー情報拡大器１０と同様の構成とする場合、さらに多くのパラメータを決定する必要がある。

本実施形態に係るカラー情報拡大器は、４Ｋモノクロ映像データの自動色付け等に利用することができる。

１ 自動色付け装置
３，３Ｂ，３Ｃ カラー情報推定器
５ 縮小器
７，７Ｂ 低解像度カラー情報推定器
９ 情報合成器
１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ カラー情報拡大器
２１，２１ｂ，２１ｃ サイズ拡大手段
２２ａ，２２ｂ，２２ｃ 合成手段
２３ 高解像度カラー情報推定手段
３１〜３６ 特徴抽出手段
４０ 誤差計算器
５０ サイズ縮小手段

Claims (10)

1. 第１解像度のモノクロ画像の画像特徴量であるモノクロ情報と、前記第１解像度のモノクロ情報から推定された前記第１解像度よりも低い第２解像度の画像特徴量であるカラー情報と、を入力されて、所定の演算処理により前記カラー情報の画像サイズを拡大して高解像度カラー情報として出力するカラー情報拡大器であって、
   前記第２解像度のカラー情報または当該第２解像度のカラー情報から抽出した画像特徴量のいずれか一方である低解像度の画像特徴量から高解像度の画像特徴量を生成するサイズ拡大手段と、
   前記第１解像度のモノクロ情報または当該第１解像度のモノクロ情報から抽出した高解像度の画像特徴量と、前記サイズ拡大手段により生成された高解像度の画像特徴量とを合成する合成手段と、
   前記合成手段により合成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出することにより前記高解像度カラー情報を推定する高解像度カラー情報推定手段と、を備えるカラー情報拡大器。
2. 第１解像度のモノクロ画像の画像特徴量であるモノクロ情報と、前記第１解像度のモノクロ情報から推定された前記第１解像度よりも低い第２解像度の画像特徴量であるカラー情報と、を入力されて、所定の演算処理により前記カラー情報の画像サイズを拡大して高解像度カラー情報として出力するカラー情報拡大器であって、
   前記第１解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出する特徴抽出手段と、
   前記第２解像度のカラー情報または当該第２解像度のカラー情報から抽出した低解像度の画像特徴量と、前記特徴抽出手段により抽出された低解像度の画像特徴量と、を合成する合成手段と、
   前記合成手段により合成された低解像度の画像特徴量から高解像度の画像特徴量を生成するサイズ拡大手段と、
   前記サイズ拡大手段により生成された高解像度の画像特徴量から、色空間のチャンネルごとに、推定を行うための学習により予め決定されたパラメータ群を用いて画像特徴量を抽出することにより前記高解像度カラー情報を推定する高解像度カラー情報推定手段と、を備えるカラー情報拡大器。
3. 前記高解像度カラー情報推定手段は、
   前記合成手段および前記サイズ拡大手段の処理により生成された高解像度の画像特徴量から色空間のチャンネルごとの画像特徴量を抽出する前に、当該高解像度の画像特徴量から、推定を行うための学習により予め決定されたパラメータ群を用いて、さらに高解像度の画像特徴量を抽出する特徴抽出手段を備え、
   当該特徴抽出手段により抽出された高解像度の画像特徴量から色空間のチャンネルごとに画像特徴量を抽出する請求項１または請求項２に記載のカラー情報拡大器。
4. 前記第１解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて高解像度の画像特徴量を抽出し、抽出した高解像度の画像特徴量を前記合成手段に出力する第１の特徴抽出手段と、
   前記第２解像度のカラー情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出し、抽出した低解像度の画像特徴量を前記サイズ拡大手段に出力する第２の特徴抽出手段と、
   のうちの少なくとも１つの特徴抽出手段を備える請求項１に記載のカラー情報拡大器。
5. 前記第２解像度のカラー情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出し、抽出した低解像度の画像特徴量を前記合成手段に出力する第２の特徴抽出手段を備える請求項２に記載のカラー情報拡大器。
6. 前記第１解像度のモノクロ情報を、所定の縮小率で縮小する処理を再帰的に行うことにより前記第１解像度よりも小さく前記第２解像度よりも大きな解像度を持った複数レベルの解像度のモノクロ情報を生成するサイズ縮小手段を備え、
   前記第２解像度のカラー情報と、生成される最小レベルの解像度のモノクロ情報とを初期値として、推定されたカラー情報および当該カラー情報よりも大きな解像度を持ったモノクロ情報から当該モノクロ情報と同じ解像度を持ったカラー情報を推定する処理を再帰的に行うことにより前記第１解像度を持った前記高解像度カラー情報を推定する処理を行う請求項１から請求項５のいずれか一項に記載のカラー情報拡大器。
7. 請求項１から請求項６のいずれか一項に記載のカラー情報拡大器と、
   前記第１解像度のモノクロ情報を縮小する処理を行って前記第２解像度のモノクロ情報を生成する縮小器と、
   前記縮小器により生成された前記第２解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出することにより前記第２解像度のカラー情報を推定する低解像度カラー情報推定器と、を備え、
   前記カラー情報拡大器は、前記低解像度カラー情報推定器で推定された前記第２解像度のカラー情報と、前記縮小器をバイパスして入力される前記第１解像度のモノクロ情報と、を用いて、前記高解像度カラー情報を推定する処理を行うカラー情報推定器。
8. 請求項１から請求項６のいずれか一項に記載のカラー情報拡大器と、
   前記第１解像度のモノクロ情報から、推定を行うための学習により予め決定されたパラメータ群を用いて低解像度の画像特徴量を抽出することにより前記第２解像度のカラー情報を推定する低解像度カラー情報推定器と、を備え、
   前記カラー情報拡大器は、前記低解像度カラー情報推定器で推定された前記第２解像度のカラー情報と、前記低解像度カラー情報推定器をバイパスして入力される前記第１解像度のモノクロ情報と、を用いて、前記高解像度カラー情報を推定する処理を行うカラー情報推定器。
9. コンピュータを、請求項１から請求項６のいずれか一項に記載のカラー情報拡大器として機能させるためのカラー情報拡大プログラム。
10. コンピュータを、請求項７または請求項８に記載のカラー情報推定器として機能させるためのカラー情報推定プログラム。

Images