JP2019117559A - カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム - Google Patents
カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム Download PDFInfo
- Publication number
- JP2019117559A JP2019117559A JP2017251873A JP2017251873A JP2019117559A JP 2019117559 A JP2019117559 A JP 2019117559A JP 2017251873 A JP2017251873 A JP 2017251873A JP 2017251873 A JP2017251873 A JP 2017251873A JP 2019117559 A JP2019117559 A JP 2019117559A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color information
- color
- feature
- monochrome
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
この従来の推定方法を用いて、モノクロ動画像(白黒動画像)から静止画フレームを抽出し、フレーム単位のモノクロ画像ごとにカラー化を行い、動画像のフレームとすることで、カラー動画像を生成することができる。
従来の手法は、フレームごとに個別にカラー化を行うため、同一被写体であっても、被写体の形状、配置等の変化に伴い、カラー推定モデルの入出力が変化し、前フレームと次フレームとの間で色ぶれが発生してしまう。
そのため、従来の手法によりモノクロ動画像をカラー化した場合、不自然なカラー動画像となってしまうという問題がある。
また、このように生成された色の不自然なカラー動画像は人手により修正が必要となるが、すべてのフレームに対して修正を行うことは多大な時間と労力を要するという問題がある。
また、カラー情報推定モデル生成装置は、参照画像分離手段によって、参照カラー画像を参照モノクロ画像と参照カラー情報とに分離する。これによって、参照画像分離手段は、対象モノクロ画像との相関を学習するための学習データとなる参照モノクロ画像と参照カラー情報とを生成する。
ここで、参照画像特徴抽出器は、対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して特徴量である参照画像特徴を出力するニューラルネットワークのモデルである。また、特徴合成器は、複数の参照カラー画像に対応して参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する合成手段である。また、モノクロ画像特徴抽出器は、対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するニューラルネットワークのモデルである。また、カラー情報推定器は、合成特徴およびモノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するニューラルネットワークのモデルである。これによって、モデル学習手段は、カラー化対象の対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して、対象モノクロ画像に対応する推定カラー情報が正解カラー情報となるようにカラー情報推定モデルを学習する。
そして、動画像カラー化装置は、動画像入力手段によって、モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する。この対象モノクロ画像は、カラー情報推定モデルへの入力となる。
さらに、動画像カラー化装置は、参照画像特徴合成手段によって、参照画像特徴抽出手段で抽出された複数の参照画像特徴を、カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する。これによって、参照画像特徴合成手段は、複数の参照画像特徴を、固定長のデータ量に変換する。
また、動画像カラー化装置は、モノクロ画像特徴抽出手段によって、カラー情報推定モデルのモノクロ画像特徴抽出器により、対象モノクロ画像からモノクロ画像特徴を抽出する。
そして、動画像カラー化装置は、カラー情報合成手段によって、カラー情報推定手段で推定されたカラー情報と対象モノクロ画像とをフレーム単位で合成することで、カラー動画像を生成する。
また、本発明は、コンピュータを、前記動画像カラー化装置として機能させるための動画像カラー化プログラムで実現することもできる。
本発明に係るカラー情報推定モデル生成装置によれば、被写体が共通する基準カラー画像と複数の参照カラー画像とを対として、基準カラー画像の明度成分であるモノクロ画像と参照カラー画像とから、モノクロ画像のカラー情報を推定するカラー情報推定モデルを生成することができる。
また、本発明に係る動画像カラー化装置によれば、モノクロ動画像の各フレームをカラー化する際に、カラー情報推定モデルを用いて、参照カラー画像を参照して、近接する色のフレーム間特徴を保持するようにカラー化を行うため、フレーム間の色ぶれを抑えたカラー動画像を生成することができる。
<本発明の概要>
まず、図1,図2を参照して、本発明の概要について説明する。
本発明は、同一被写体が映った参照カラー画像Rから、カラー情報推定モデルMを学習により生成する。
図1に示すように、カラー情報推定モデルMは、ある基準カラー画像Bの明度成分であるモノクロ画像(モノクロ情報)と、複数の参照カラー画像Rの色成分であるカラー情報とから、基準カラー画像Bのカラー情報を推定するニューラルネットの学習モデルである。
例えば、本発明は、被写体(ここでは、車)が同じシーンのカラー動画像Vcから選択した任意の基準カラー画像B(ここでは、時刻T=t+1のフレーム画像Ft+1)と、近接する参照カラー画像R(ここでは、時刻T=2,t−1のフレーム画像F2,Ft−1)から、カラー情報推定モデルMを学習により生成する。
図2に示すよう、本発明は、カラー化対象であるモノクロ動画像Vmの一部のフレーム画像を予めカラー化し、参照カラー画像R1,R2,…として準備する。
そして、本発明は、カラー化対象のモノクロ動画像Vmを構成するフレーム(モノクロ画像)ごとに、モノクロ画像と複数の参照カラー画像Rの色成分であるカラー情報とから、モノクロ画像のカラー情報を推定し、カラー動画像Vcを生成する。
なお、参照カラー画像を1枚しか選べないモデルであれば、参照カラー画像を切り替えるタイミングで色ぶれが発生することがある。これを解決するためには、従来の手法は、人手により非常に短い間隔で厳密に参照カラー画像を選択しなければならない。
しかし、本発明は、複数の参照カラー画像を参照可能としたことで、厳密に参照カラー画像を選択する必要がなく、参照カラー画像を選択する手間や時間を削減することができる。
以下、本発明に係るカラー情報推定モデル生成装置および動画像カラー化装置について、より詳細に説明する。
まず、図3を参照して、カラー情報推定モデル生成装置1の構成について説明する。
図3に示すように、カラー情報推定モデル生成装置1は、基準画像分離手段10と、参照画像分離手段11と、モデル学習手段12と、モデル記憶手段13と、を備える。
基準カラー画像Bは、例えば、予めカラー動画像Vc(図1参照)から任意に選択した画像である。参照カラー画像R(R1,…,RN1)は、例えば、カラー動画像Vcにおいて基準カラー画像Bと近接する画像である。同一の基準カラー画像Bに対する参照カラー画像Rの数は特に制限するものではないが、例えば、1〜5の間のランダムな数で学習する。
また、基準カラー画像Bおよび参照カラー画像Rは、Lab色空間で表されたフレームで構成されたものとする。
具体的には、基準画像分離手段10は、Lab色空間の3チャンネルで構成された基準カラー画像を、Lチャンネル(明度成分)の対象モノクロ画像と、a,bチャンネル(明度成分以外の色成分)の正解カラー情報とに分離する。
基準画像分離手段10は、分離した対象モノクロ画像(Lチャンネル)および正解カラー情報(a,bチャンネル)を、モデル学習手段12に出力する。
参照画像分離手段11は、分離した参照モノクロ画像(Lチャンネル)および参照カラー情報(a,bチャンネル)を、モデル学習手段12に出力する。
そして、モデル学習手段12は、基準画像分離手段10で分離された2チャンネルの正解カラー情報(a,bチャンネル)を正解データとして、カラー情報推定モデルMの出力との誤差をなくす方向(誤差が予め定めた値以下になるよう)に、誤差逆伝播法を用いてカラー情報推定モデルM(具体的にはそのモデルパラメータ)を学習する。
モデル学習手段12は、学習したカラー情報推定モデルMをモデル記憶手段13に書き込み記憶する。
図4に示すように、カラー情報推定モデルMは、畳み込み層を含んだニューラルネットワークで構成することができる。なお、図4に示すカラー情報推定モデルMは、カラー情報推定モデル生成装置1の学習対象であって装置構成ではないため、カラー情報推定モデルMの各構成には、MRF,MBW,MCL等の記号を付している。
カラー情報推定モデルMは、入力層Iとして、複数の参照カラー画像Rの2チャンネルの参照カラー情報(a,bチャンネル)および1チャンネルの参照モノクロ画像(Lチャンネル)と、カラー化対象の1チャンネルの対象モノクロ画像P(Lチャンネル)と、を入力する。なお、対象モノクロ画像Pの入力層Iへの入力は2系統とする。
参照画像特徴抽出器MRFは、参照カラー画像Rと対象モノクロ画像Pとから、対象モノクロ画像Pに対応した参照カラー画像Rの画像特徴を抽出するモデルである。
なお、複数の参照画像特徴抽出器MRFは、入力する参照カラー画像の数に応じて、逐次、参照カラー画像の数だけ学習対象となる。ただし、モデル学習手段12は、学習したそれぞれの参照画像特徴抽出器MRFのパラメータの値を加算あるいは平均化することで、複数の参照画像特徴抽出器MRFであっても、同じ参照画像特徴抽出器MRFとして学習する。
コンボリューション層C1は、複数のカーネル(畳み込みフィルタ)により、参照カラー画像Rの2チャンネルの参照カラー情報(a,bチャンネル)を、予め定めたチャンネル数J(例えば、J=64)のデータに畳み込む。
コンボリューション層C2は、複数のカーネルにより、参照カラー画像Rの1チャンネルの参照モノクロ画像(Lチャンネル)を、コンボリューション層C1と同じチャンネル数Jのデータに畳み込む。
コンボリューション層C3は、複数のカーネルにより、1チャンネルの対象モノクロ画像P(Lチャンネル)を、コンボリューション層C1と同じチャンネル数Jのデータに畳み込む。
畳み込みニューラルネットワークNT1は、加算器Sで加算されたデータを、カーネルによる畳み込み処理、サンプリング処理等を行うことで、参照画像特徴RFFを生成する。この畳み込みニューラルネットワークNT1には、一般的な畳み込みニューラルネットワークの構造を用いればよく、例えば、VGG、ResNet等を用いることができる。
このように、参照画像特徴抽出器MRFは、参照カラー画像Rと対象モノクロ画像Pとから特徴を抽出するため、それぞれの関連性を含んだ参照画像特徴RFFを生成することができる。
なお、合成としてデータ配列の同一要素ごとに最小値を選択する手法は、データ配列の同一要素ごとに最大値を選択する手法と論理が逆になるだけで、参照画像特徴RFFとして大きな値がカラー推定を行うネットワークにまったく伝播されないように学習され、最大値を選択する場合と効果は同じである。
畳み込みニューラルネットワークNT2は、1チャンネルの対象モノクロ画像P(Lチャンネル)から、カーネルによる畳み込み処理、サンプリング処理等を行うことで、モノクロ画像特徴BWFを生成する。なお、畳み込みニューラルネットワークNT2も、VGG、ResNet等の一般的な畳み込みニューラルネットワークの構造を用いればよい。
このカラー情報推定器MCLは、非特許文献1、非特許文献2等で用いられるCNNの後半部分であるデコンボリューション層、アップサンプリング層を用いて構成することができる。
カラー情報推定器MCLは、出力層Oから、推定したカラー情報(推定カラー情報:a,bチャンネル)を出力する。
なお、モデル学習手段12は、複数のモデル(MRF,MBW,MCL)のカーネル、重み等をモデルパラメータとして学習する。特徴合成器Cは、固定の演算を行うもので、学習対象ではない。
モデル記憶手段13は、モデル学習手段12で学習するカラー情報推定モデルMを記憶するものである。このモデル記憶手段13は、半導体メモリ等の一般的な記憶媒体で構成することができる。学習後のカラー情報推定モデルMは、動画像カラー化装置2(図6参照)で用いられる。
なお、カラー情報推定モデル生成装置1は、コンピュータを、前記した各手段として機能させるためのカラー情報推定モデル生成プログラムで動作させることができる。
次に、図5を参照(構成については、適宜図3参照)して、カラー情報推定モデル生成装置1の動作について説明する。
ステップS1において、基準画像分離手段10は、入力したLab色空間の基準カラー画像Bを、a,bチャンネルの正解カラー情報と、Lチャンネルの対象モノクロ画像とに分離する。
ステップS2において、参照画像分離手段11は、入力したLab色空間の複数の参照カラー画像Rを、それぞれ、a,bチャンネルの参照カラー情報と、Lチャンネルの参照モノクロ画像とに分離する。
このステップS3では、カラー情報推定モデルMを構成する複数のモデル(参照画像特徴抽出器MRF,モノクロ画像特徴抽出器MBW,カラー情報推定器MCL)が学習される。
ここで、学習が終了していなければ(ステップS4でNo)、カラー情報推定モデル生成装置1は、ステップS1に戻って、他の基準カラー画像Bおよび他の複数の参照カラー画像Rを入力し、学習を継続する。
一方、学習が終了した場合(ステップS4でYes)、ステップS5において、モデル学習手段12は、学習したカラー情報推定モデルMをモデル記憶手段13に書き込み記憶する。
次に、図6を参照して、動画像カラー化装置2の構成について説明する。
図6に示すように、動画像カラー化装置2は、参照画像分離手段20と、動画像入力手段21と、モデル記憶手段22と、フレーム別カラー情報推定手段23と、カラー情報合成手段24と、を備える。
もちろん、参照カラー画像Rは、図示を省略した画像エディタ装置によって、モノクロ動画像Vmの中から選択したフレームを人手により個別に着色したものであっても構わない。
具体的には、参照画像分離手段20は、Lab色空間の3チャンネルで構成された参照カラー画像Rを、Lチャンネル(明度成分)の参照モノクロ画像と、a,bチャンネル(明度成分以外の色成分)の参照カラー情報とに分離する。
参照画像分離手段20は、分離した参照モノクロ画像(Lチャンネル)および参照カラー情報(a,bチャンネル)を、図示を省略したメモリ(記憶手段)に記憶し、後記するフレーム別カラー情報推定手段23が参照する。
カラー情報推定モデルMは、フレーム別カラー情報推定手段23によって参照される。
フレーム別カラー情報推定手段23は、モノクロ画像特徴抽出手段230と、参照画像特徴抽出手段231と、参照画像特徴合成手段232と、カラー情報推定手段233と、を備える。
モノクロ画像特徴抽出手段230は、生成したモノクロ画像特徴BWFをカラー情報推定手段233に出力する。
この参照画像特徴抽出手段231は、カラー情報推定モデルMの参照画像特徴抽出器MRFを参照し、図4に示すように、対象モノクロ画像と参照カラー画像Rの参照カラー情報(a,bチャンネル)および参照モノクロ画像(Lチャンネル)をそれぞれコンボリューション層(C1〜C3)で予め定めたチャンネル数のデータに畳み込み加算する。そして、参照画像特徴抽出手段231は、加算したデータに対して、畳み込みニューラルネットワークNT1による演算を行うことで、参照画像特徴RFFを生成する。
なお、参照画像特徴抽出手段231は、1つの対象モノクロ画像に対して、参照カラー画像RのN2枚分の参照画像特徴RFFを生成する。
参照画像特徴抽出手段231は、生成した参照カラー画像RのN2枚分の参照画像特徴RFFを参照画像特徴合成手段232に出力する。
この参照画像特徴合成手段232は、図4で説明した特徴合成器Cで説明した合成手法と同じ合成手法により、複数の参照画像特徴RFFに対して、データ配列の同一の要素ごとに最大値を選択する、最小値を選択する、あるいは要素ごとの値を加算することで、合成特徴MXFを生成する。これによって、参照画像特徴合成手段232は、参照カラー画像Rの枚数によらずに、固定長のデータ量の合成特徴MXFを生成することができる。
参照画像特徴合成手段232は、生成した合成特徴MXFをカラー情報推定手段233に出力する。
カラー情報推定手段233は、生成したカラー情報(a,bチャンネル)をカラー情報合成手段24に出力する。
以上説明したように、フレーム別カラー情報推定手段23は、カラー情報推定モデルMを参照して、対象モノクロ画像のカラー情報を推定する。
カラー情報合成手段24は、Lチャンネル、aチャンネルおよびbチャンネルの3チャンネルのデータを、順次、3チャンネルのデータ構造を有するLab色空間のカラー画像のフレームとすることで、カラー動画像Vcとして出力する。
なお、動画像カラー化装置2は、コンピュータを、前記した各手段として機能させるための動画像カラー化プログラムで動作させることができる。
次に、図7を参照(構成については、適宜図6参照)して、動画像カラー化装置2の動作について説明する。なお、モノクロ動画像Vmの一部を予めカラー化した参照カラー画像がN2枚準備されているものとする。
ステップS11において、動画像入力手段21は、モノクロ動画像Vmをフレーム(対象モノクロ画像)単位で入力する。対象モノクロ画像は、Lab色空間のモノクロ情報(Lチャンネル)に相当する。
一方、参照画像特徴RFFが参照カラー画像の数(N2枚)に達した場合(ステップS14でYes)、ステップS15において、フレーム別カラー情報推定手段23の参照画像特徴合成手段232は、参照カラー画像の枚数(N2枚)分の参照画像特徴RFFを合成し、合成特徴MXFを生成する。この合成は、カラー情報推定モデルMの特徴合成器C(図4参照)と同じ合成手法で、例えば、複数の参照画像特徴RFFに対して、データ配列の同一の要素ごとに最大値を選択する。
これによって、参照カラー画像の数によらずに、固定長のデータ量の合成特徴MXFが生成される。
ステップS18において、動画像入力手段21は、モノクロ動画像Vmの入力が終了したか否かを判定する。ここで、モノクロ動画像Vmの入力が終了していない場合(ステップS18でNo)、動画像カラー化装置2は、ステップS11に戻って、次フレーム(対象モノクロ画像)のカラー化を行う。
一方、モノクロ動画像Vmの入力が終了した場合(ステップS18でYes)、動画像カラー化装置2は、動作を終了する。
以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
(変形例1)
ここでは、図4に示すように、カラー情報推定モデルMにおける参照画像特徴抽出器MRFの入力を、参照カラー画像Rの2チャンネルの参照カラー情報(a,bチャンネル)および1チャンネルの参照モノクロ画像(Lチャンネル)と、カラー化対象の1チャンネルの対象モノクロ画像P(Lチャンネル)との3入力とした。
この場合、図3に示したカラー情報推定モデル生成装置1において、参照画像分離手段11を省略すればよい。また、図6に示した動画像カラー化装置2において、参照画像分離手段20を省略すればよい。
また、参照画像特徴抽出器MRFは、参照モノクロ画像(Lチャンネル)と、対象モノクロ画像P(Lチャンネル)とを連結して畳み込んでもよい。
このように、参照画像特徴抽出器MRFは、入力データを任意の組み合わせで連結し、畳み込みを行ってもよい。
また、ここでは、カラー画像をLab色空間の画像とした。しかし、カラー画像は、Lab色空間の画像に限定するものではなく、他の色空間(例えば、RGB色空間)の画像であっても構わない。
また、図6に示した動画像カラー化装置2において、参照画像分離手段20の前段にRGB色空間のカラー画像をLab色空間のカラー画像に変換する色空間変換手段を備えればよい。また、カラー情報合成手段24の後段に、Lab色空間のカラー画像をRGB色空間のカラー画像に変換する色空間変換手段を備えればよい。
10 基準画像分離手段
11 参照画像分離手段
12 モデル学習手段
13 モデル記憶手段
20 動画像入力手段
21 参照画像分離手段
22 モデル記憶手段
23 フレーム別カラー情報推定手段
230 モノクロ画像特徴抽出手段
231 参照画像特徴抽出手段
232 参照画像特徴合成手段
233 カラー情報推定手段
24 カラー情報合成手段
M カラー情報推定モデル
MBW モノクロ画像特徴抽出器
MRF 参照画像特徴抽出器
MCL カラー情報推定器
C 特徴合成器
Claims (7)
- 被写体が共通する基準カラー画像と複数の参照カラー画像とを対とした複数のカラー画像を用いて、モノクロ画像に対するカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、
前記基準カラー画像を明度成分であるカラー化対象の対象モノクロ画像と明度成分以外の色成分である正解データになる正解カラー情報とに分離する基準画像分離手段と、
前記参照カラー画像を参照モノクロ画像と参照カラー情報とに分離する参照画像分離手段と、
前記カラー情報推定モデルをニューラルネットワークにより学習するモデル学習手段と、を備え、
前記モデル学習手段は、
前記対象モノクロ画像、前記参照モノクロ画像および前記参照カラー情報を入力して特徴量である参照画像特徴を出力する参照画像特徴抽出器と、
前記複数の参照カラー画像に対応して前記参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する特徴合成器と、
前記対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するモノクロ画像特徴抽出器と、
前記合成特徴および前記モノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するカラー情報推定器と、
で構成された前記カラー情報推定モデルを、前記推定カラー情報が前記正解カラー情報となるように学習することを特徴とするカラー情報推定モデル生成装置。 - 被写体が共通する基準カラー画像と複数の参照カラー画像とを対とした複数のカラー画像を用いて、モノクロ画像に対するカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、
前記基準カラー画像を明度成分であるカラー化対象の対象モノクロ画像と明度成分以外の色成分である正解データになる正解カラー情報とに分離する基準画像分離手段と、
前記カラー情報推定モデルをニューラルネットワークにより学習するモデル学習手段と、を備え、
前記モデル学習手段は、
前記対象モノクロ画像および前記参照カラー画像を入力して特徴量である参照画像特徴を出力する参照画像特徴抽出器と、
前記複数の参照カラー画像に対応して前記参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する特徴合成器と、
前記対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するモノクロ画像特徴抽出器と、
前記合成特徴および前記モノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するカラー情報推定器と、
で構成された前記カラー情報推定モデルを、前記推定カラー情報が前記正解カラー情報となるように学習することを特徴とするカラー情報推定モデル生成装置。 - 前記特徴合成器は、前記参照画像特徴抽出器で抽出された複数の参照画像特徴において、データ配列の同一の要素ごとに最大値を選択、最小値を選択、または、加算することで前記合成特徴を生成することを特徴とする請求項1または請求項2に記載のカラー情報推定モデル生成装置。
- 請求項1に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ動画像と複数の参照カラー画像とからカラー動画像を生成する動画像カラー化装置であって、
前記複数の参照カラー画像を複数の参照モノクロ画像と複数の参照カラー情報とに分離する参照画像分離手段と、
前記モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する動画像入力手段と、
前記カラー情報推定モデルの参照画像特徴抽出器により、前記参照モノクロ画像および前記参照カラー情報ごとに、前記対象モノクロ画像との間の参照画像特徴を複数抽出する参照画像特徴抽出手段と、
前記参照画像特徴抽出手段で抽出された複数の参照画像特徴を、前記カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する参照画像特徴合成手段と、
前記カラー情報推定モデルのモノクロ画像特徴抽出器により、前記対象モノクロ画像からモノクロ画像特徴を抽出するモノクロ画像特徴抽出手段と、
前記カラー情報推定モデルのカラー情報推定器により、前記参照画像特徴合成手段で生成された複数の参照画像特徴の合成特徴と前記モノクロ画像特徴を連結した特徴量からカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記対象モノクロ画像とをフレーム単位で合成することで、前記カラー動画像を生成するカラー情報合成手段と、
を備えることを特徴とする動画像カラー化装置。 - 請求項2に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ動画像と複数の参照カラー画像とからカラー動画像を生成する動画像カラー化装置であって、
前記モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する動画像入力手段と、
前記カラー情報推定モデルの参照画像特徴抽出器により、前記参照カラー画像ごとに、前記対象モノクロ画像との間の参照画像特徴を複数抽出する参照画像特徴抽出手段と、
前記参照画像特徴抽出手段で抽出された複数の参照画像特徴を、前記カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する参照画像特徴合成手段と、
前記カラー情報推定モデルのモノクロ画像特徴抽出器により、前記対象モノクロ画像からモノクロ画像特徴を抽出するモノクロ画像特徴抽出手段と、
前記カラー情報推定モデルのカラー情報推定器により、前記参照画像特徴合成手段で生成された複数の参照画像特徴の合成特徴と前記モノクロ画像特徴を連結した特徴量からカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記対象モノクロ画像とをフレーム単位で合成することで、前記カラー動画像を生成するカラー情報合成手段と、
を備えることを特徴とする動画像カラー化装置。 - コンピュータを、請求項1から請求項3のいずれか一項に記載のカラー情報推定モデル生成装置として機能させるためのカラー情報推定モデル生成プログラム。
- コンピュータを、請求項4または請求項5に記載の動画像カラー化装置として機能させるための動画像カラー化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251873A JP6990580B2 (ja) | 2017-12-27 | 2017-12-27 | カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251873A JP6990580B2 (ja) | 2017-12-27 | 2017-12-27 | カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019117559A true JP2019117559A (ja) | 2019-07-18 |
JP6990580B2 JP6990580B2 (ja) | 2022-01-12 |
Family
ID=67304504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017251873A Active JP6990580B2 (ja) | 2017-12-27 | 2017-12-27 | カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6990580B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
WO2021070000A1 (ja) * | 2019-10-11 | 2021-04-15 | 株式会社半導体エネルギー研究所 | 撮像システム及び監視システム |
WO2021130593A1 (ja) * | 2019-12-27 | 2021-07-01 | 株式会社半導体エネルギー研究所 | 撮像システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334814A (ja) * | 2003-05-07 | 2004-11-25 | Susumu Shiroyama | モノクロ画像のカラー化手法、装置、プログラム |
JP2014044595A (ja) * | 2012-08-27 | 2014-03-13 | Utsunomiya Univ | 線画着色システム |
-
2017
- 2017-12-27 JP JP2017251873A patent/JP6990580B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334814A (ja) * | 2003-05-07 | 2004-11-25 | Susumu Shiroyama | モノクロ画像のカラー化手法、装置、プログラム |
JP2014044595A (ja) * | 2012-08-27 | 2014-03-13 | Utsunomiya Univ | 線画着色システム |
Non-Patent Citations (3)
Title |
---|
R. IRONY, D. COHEN-OR, D. LISCHINSKI: "Colorization by Example", EURGRAPHICS SYMPOSIUM ON RENDERING, JPN6021033408, 2005, ISSN: 0004582288 * |
SATOSHI IIZUKA, EDGAR SIMO-SERRA, AND HIROSHI ISHIKAWA: "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image", ACM TRANSACTION ON GRAPHICS (PROC. OF SIGGRAPH), vol. 35(4), JPN6021033405, 2016, pages 110, ISSN: 0004582286 * |
森田 千晶、増永 良文: "モノクロ画像のカラリゼーションのための色彩傾向を考慮したウェブ画像検索システム", 電子情報通信学会第17回データ工学ワークショップ(DEWS2006), JPN6021033406, March 2006 (2006-03-01), JP, pages 5 - 9, ISSN: 0004582287 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021070000A1 (ja) * | 2019-10-11 | 2021-04-15 | 株式会社半導体エネルギー研究所 | 撮像システム及び監視システム |
US11863728B2 (en) | 2019-10-11 | 2024-01-02 | Semiconductor Energy Laboratory Co., Ltd. | Imaging system and monitoring system with training data that includes a color picture image and a color animation image |
CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
WO2021130593A1 (ja) * | 2019-12-27 | 2021-07-01 | 株式会社半導体エネルギー研究所 | 撮像システム |
US11924589B2 (en) | 2019-12-27 | 2024-03-05 | Semiconductor Energy Laboratory Co., Ltd. | Imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP6990580B2 (ja) | 2022-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Deep image matting | |
US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
WO2022141819A1 (zh) | 视频插帧方法、装置、计算机设备及存储介质 | |
US8922628B2 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
US11871127B2 (en) | High-speed video from camera arrays | |
CN111489372A (zh) | 基于级联卷积神经网络的视频前背景分离方法 | |
JP6990580B2 (ja) | カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム | |
WO2014112291A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN111028150A (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
US7965339B2 (en) | Resolution enhancing method and apparatus of video | |
CN114007135B (zh) | 视频插帧方法及其装置、设备、介质、产品 | |
CN109903315B (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
JPWO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
Ni et al. | Color image demosaicing using progressive collaborative representation | |
JP6986438B2 (ja) | カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム | |
Conde et al. | Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report | |
CN114640885A (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
CN106296614B (zh) | 图像处理装置及图像处理方法 | |
KR101741699B1 (ko) | 끊김 현상을 감소시킨 파노라마 비디오 생성 방법 | |
Mahajan et al. | Image inpainting techniques for removal of object | |
CN113923493A (zh) | 一种视频处理方法、装置、电子设备以及存储介质 | |
KR102057395B1 (ko) | 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 | |
CN113538505A (zh) | 一种基于深度学习的单张图片的运动估计系统及方法 | |
JP2020144778A (ja) | 動画像カラー化装置、カラー情報推定モデル生成装置およびそれらのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6990580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |