JP2010118940A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2010118940A
JP2010118940A JP2008291227A JP2008291227A JP2010118940A JP 2010118940 A JP2010118940 A JP 2010118940A JP 2008291227 A JP2008291227 A JP 2008291227A JP 2008291227 A JP2008291227 A JP 2008291227A JP 2010118940 A JP2010118940 A JP 2010118940A
Authority
JP
Japan
Prior art keywords
prediction
pixel
motion
class
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008291227A
Other languages
English (en)
Inventor
Tetsujiro Kondo
哲二郎 近藤
Tsutomu Watanabe
勉 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008291227A priority Critical patent/JP2010118940A/ja
Publication of JP2010118940A publication Critical patent/JP2010118940A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】第１の動画像から、より高品質な第２の動画像を生成する。
【解決手段】関数生成部２３は、動き検出部２１により取得された被写体の動きを表す動き情報に基づいて、被写体の動きによる軌跡を表す回帰関数を生成し、予測位置検出部２４は、回帰関数に基づいて、第２の画像データにおける被写体の予測位置を検出し、注目画素設定部３０aは、予測位置に基づいて注目画素を設定し、予測タップ抽出部２５は、予測タップを抽出し、動きクラス分類部２８は、回帰関数に基づいて、予測タップを、複数の動きクラスのうちのいずれかにクラス分類し、係数メモリ２９は、動きクラスそれぞれに対応する予測係数の中から、予測タップの動きクラスに対応する予測係数を出力し、予測演算部３０は、出力された予測係数と、抽出された予測タップとを用いた予測演算により、注目画素を予測する。本発明は、例えばテレビジョン受像機に適用できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、入力された動画像から、より高品質な動画像を生成することができるようにした画像処理装置、画像処理方法、及びプログラムに関する。
本出願人は、例えば、歪みが生じている入力画像から、その歪みを除去させた出力画像を予測する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
このクラス分類適応処理では、例えば、予測すべき出力画像の画素（以下、注目画素という）が決定され、歪みが生じている入力画像と、すでに予測された出力画像とを用いて検出された動きベクトルに基づいて、注目画素が複数のクラスのうちのいずれかのクラスにクラス分類される。
また、クラス分類適応処理では、注目画素の位置に対応する、入力画像上の位置の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
なお、予測係数は、学習用の教師画像データ及び生徒画像データを用いた学習により予め求められている。
また、MPEG(moving picture experts group)等による予測符号化により符号化されて、送信されてくる複数のフレームのうち、欠落したフレームを生成（補間）するフレーム補間技術が存在する（例えば、特許文献２を参照）。
このフレーム補間技術では、予測符号化に用いられる動きベクトルを用いて、複数のフレーム内の移動物体の動きを非線形近似し、その非線形近似による結果に基づいて、欠落したフレーム内の移動物体の位置を検出することにより、欠落したフレームを生成する。
特開２０００−３４１６０９号公報 特開平０７−１７７５１４号公報
ところで、入力画像上には、被写体の動きや手振れ等により生じる動きボケ等が生じているが、上述した従来のクラス分類適応処理では、注目画素をクラス分類するに際し、それ等は考慮されていない。
また、従来のフレーム補間技術では、移動物体の動きを非線形近似することにより、欠落したフレーム内の移動物体の位置を検出し、欠落したフレームにおいて、検出した位置に、欠落したフレームの前後に存在する２つのフレーム内の移動物体（の画素値）を平均して得られる移動物体を配置しているに過ぎない。
したがって、欠落したフレーム内の移動物体の生成では、欠落したフレーム内の移動物体に生じている動きボケ等が考慮されていない。
本発明はこのような状況に鑑みてなされたものであり、入力された動画像の動きボケによるボケ量等を精度良く取得して、入力された動画像から、より高品質な動画像を予測することができるようにするものである。
本発明の一側面の画像処理装置、又はプログラムは、第１の画像データから、より高品質な第２の画像データを生成する画像処理装置、又は、第１の画像データから、より高品質な第２の画像データを生成する画像処理装置として、コンピュータを機能させるためのプログラムであって、前記第１の画像データ上の被写体の動きを表す動き情報を取得する取得手段と、前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数を生成する生成手段と、前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置を検出する検出手段と、前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかを、生成対象である注目画素に設定する設定手段と、前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップを、前記第１の画像データから抽出する予測タップ抽出手段と、前記回帰関数に基づいて、前記予測タップを、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類する動きクラス分類手段と、学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数を出力する予測係数出力手段と、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素を予測する予測演算手段とを含む画像処理装置、又は画像処理装置として、コンピュータを機能させるためのプログラムである。
前記設定手段では、前記第２の画像データにおける前記被写体の前記予測位置に基づいて、前記第２の画像データを構成する複数の画素からなるブロックを検出するとともに、前記ブロックを構成する画素を、順次、注目画素に設定し、前記予測演算手段では、出力された前記予測係数のうち、前記ブロックにおける前記注目画素の位置に対応する予測係数と、前記予測タップとを用いた前記予測演算により、前記注目画素を予測することができる。
複数回だけ予測された前記注目画素の画素値それぞれを加算する加算手段と、前記加算手段による加算結果を、前記注目画素が予測された回数で除算して正規化する正規化手段とをさらに設けることができる。
前記動きクラス分類手段では、前記予測タップを、前記第１の画像データにおける前記被写体の位置と、前記中心位置とのずれの程度を表す複数の画素以下クラスのうちのいずれかにクラス分類する画素以下クラス分類手段と、前記予測タップを、前記被写体の動きボケによるボケ量の増減の程度を表す複数の動きボケクラスのうちのいずれかにクラス分類する動きボケクラス分類手段と、前記予測タップを、前記被写体の移動方向を表す複数の方向クラスのうちのいずれかにクラス分類する方向クラス分類手段と、前記予測タップを、前記被写体の移動量を表す複数の移動量クラスのうちのいずれかにクラス分類する移動量クラス分類手段と、前記予測タップの前記画素以下クラス、前記予測タップの前記動きボケクラス、前記予測タップの前記方向クラス、及び前記予測タップの前記移動量クラスに基づいて、前記予測タップの前記動きクラスを決定する動きクラス決定手段とを含むことができる。
本発明の一側面の画像処理方法は、第１の画像データから、より高品質な第２の画像データを生成する画像処理装置の画像処理方法であって、前記画像処理装置は、取得手段と、生成手段と、検出手段と、設定手段と、予測タップ抽出手段と、動きクラス分類手段と、予測係数出力手段と、予測演算手段とを含み、前記取得手段が、前記第１の画像データ上の被写体の動きを表す動き情報を取得し、前記生成手段が、前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数を生成し、前記検出手段が、前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置を検出し、前記設定手段が、前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかを、生成対象である注目画素に設定し、前記予測タップ抽出手段が、前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップを、前記第１の画像データから抽出し、前記動きクラス分類手段が、前記回帰関数に基づいて、前記予測タップを、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類し、前記予測係数出力手段が、学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数を出力し、前記予測演算手段が、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素を予測するステップを含む画像処理方法である。
本発明の一側面によれば、前記第１の画像データ上の被写体の動きを表す動き情報が取得され、前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数が生成され、前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置が検出され、前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかが、生成対象である注目画素に設定され、前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップが、前記第１の画像データから抽出され、前記回帰関数に基づいて、前記予測タップが、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類され、学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数が出力され、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素が予測される。
本発明によれば、入力された動画像から、より高品質な動画像を予測（生成）することができる。
以下、発明を実施するための最良の形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．第１の実施の形態（画像処理装置：予測タップ毎に１つの画素を予測する例）
２．第２の実施の形態（画像処理装置：予測タップ毎に複数の画素を予測する例）
３．第１及び第２の実施の形態の変形例
＜１．第１の実施の形態＞
[画像処理装置の構成例]
図１は、本発明の第１の実施の形態である画像処理装置１の構成例を示している。
この画像処理装置１は、例えば、入力される第１の動画像から、新たにフレームを生成して、第１の動画像を、より高いフレームレートの高品質な第２の動画像に変換する画像変換処理を行う。
すなわち、例えば、画像処理装置１は、入力される第１の動画像を構成する、時間的に前後する２つのフレームの間に、新たなフレームを生成することにより、第１の動画像を構成するフレームと、新たに生成されるフレームとが交互に配列された、より高いフレームレートの第２の動画像を生成する画像変換処理を行う。
この画像処理装置１は、動き検出部２１、選別部２２、関数生成部２３、予測位置検出部２４、予測タップ抽出部２５、クラスタップ抽出部２６、波形クラス分類部２７、動きクラス分類部２８、係数メモリ２９、予測演算部３０、注目画素設定部３０a、予測フレームメモリ３１、予測ゲインメモリ３２、及び欠落画素生成部３３により構成されている。
以下の説明においては、画像処理装置１が、第１の動画像のフレームn-1、フレームn、及びフレームn+1の３フレームを用いて、フレームnとフレームn+1との間に、新たにフレームmを生成することを説明する。
なお、フレームnとは、第１の動画像のn番目のフレームを示しており、フレームmとは、フレームnとフレームn+1との間に新たに生成されるフレームをいう。
動き検出部２１は、フレームn-1を構成する複数の画素を、順次、着目画素とし、着目画素を中心とする３×３画素に表示される被写体の動きを表す動き情報として、例えば、フレームn-1の動きベクトル及びフレームnの動きベクトル（後述する）を検出して、選別部２２に供給する。
すなわち、例えば、動き検出部２１は、フレームn-1上の着目画素の中心位置を始点とし、対応するフレームn上の位置に最も近くに存在する画素の中心位置（最も近くに存在する画素の中心位置が複数存在する場合には、いずれかひとつ）を終点とする動きベクトルを検出する。また、動き検出部２１は、着目画素に隣接する８画素についても同様に、動きベクトルを検出する。そして、検出した９個の動きベクトルを、着目画素に対応するフレームn-1の動きベクトルとして、選別部２２に供給する。
さらに、動き検出部２１は、フレームn上における、フレームn-1の動きベクトルの終点それぞれを始点とし、対応するフレームn+1上の位置に最も近くに存在する画素の中心位置（最も近くに存在する画素の中心位置が複数存在する場合には、いずれかひとつ）を終点とする動きベクトルを検出する。そして、検出した９個の動きベクトルを、着目画素に対応するフレームnの動きベクトルとして、選別部２２に供給する。
なお、動きベクトルを検出する検出方法としては、例えば、反復勾配法やブロックマッチング法が用いられる。また、動きベクトルは、半画素等の１画素以下の単位で検出される。
選別部２２は、動き検出部２１からのフレームn-1の動きベクトルのうち、他の動きベクトルと大きく異なる動きベクトルを除外し、残りの動きベクトルを、被写体の動きによる軌跡を表す回帰関数を生成するための動きベクトルとして選別し、関数生成部２３に供給する。また、選別部２２は、動き検出部２１からのフレームnの動きベクトルについても同様に、選別を行い、その選別の結果得られた動きベクトルを、関数生成部２３に供給する。
これにより、他の動きベクトルと大きく異なる動きベクトルが除外されるため、後述する関数生成部２３により生成される回帰関数の、被写体の動きによる軌跡を表す精度が悪化することを防止することができる。
なお、説明の便宜のため、第１の実施の形態では、フレームn-1の動きベクトル、及びフレームnの動きベクトルは、すべて、回帰関数を生成するための動きベクトルとして選別されて、関数生成部２３に供給されるものとする。
関数生成部２３は、選別部２２からの、フレームn-1の動きベクトルの始点と終点、及びフレームnの動きベクトルの始点と終点に基づいて、線形回帰を行い、フレームn-1乃至フレームn+1上の被写体の動きを表す回帰関数を生成する。
すなわち、例えば、関数生成部２３は、フレームn-1乃至フレームn+1上の被写体のX軸方向の軌跡を表す回帰関数fX(t)を生成する。また、関数生成部２３は、フレームn-1乃至フレームn+1上の被写体のY軸方向の軌跡を表す回帰関数fY(t)を生成する。
そして、関数生成部２３は、生成した回帰関数fX(t)及びfY(t)を、予測位置検出部２４、予測タップ抽出部２５、クラスタップ抽出部２６、及び動きクラス分類部２８に供給する。
予測位置検出部２４は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、新たに生成されるフレームmにおける被写体の位置を予測した予測位置を検出し、予測演算部３０に供給する。
次に、図２を参照して、予測位置検出部２４が、被写体の予測位置を検出する検出方法を説明する。
図２に示すXT座標は、時刻t（第１の動画像を再生したときからの経過時間）を示すT軸と、フレーム内のX軸方向（図８で後述）の位置を示すX軸とで定義される直交座標を示している。
予測位置検出部２４は、図２に示すように、関数生成部２３からの関数fX(t)に基づいて、新たに生成されるフレームmにおける被写体のX軸方向の予測位置（X座標）４１m(x)（第２の動画像において、フレームmが再生されるときの時刻tにおける関数fX(t)の値）を検出する。
同様にして、予測位置検出部２４は、関数生成部２３からの関数fY(t)に基づいて、被写体のY軸方向の予測位置（Y座標）（第２の動画像において、フレームmが再生されるときの時刻tにおける関数fY(t)の値）を検出する。
予測位置検出部２４は、検出したX座標４１m(X)、及びY座標を、フレームmにおける被写体の予測位置４１m（x,y）（図１５）として、予測演算部３０に供給する。
予測タップ抽出部２５及びクラスタップ抽出部２６には、第１の動画像のフレームnが供給される。
予測タップ抽出部２５は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、フレームn上の被写体の位置４１n（x,y）を検出する。そして、検出したフレームn上の被写体の位置４１n（x,y）に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、フレームn上の被写体の位置４１n（x,y）に最も近い画素と、その画素に空間的に隣接する画素等）を、予測タップとして抽出し、予測演算部３０に供給する。
なお、予測タップ抽出部２５は、動き検出部２１により検出されたフレームn-1の動きベクトルに基づいて、着目画素を始点とするフレームn-1の動きベクトルの終点を、フレームn上の被写体の位置とし、その被写体の位置に基づいて、予測タップを抽出するようにしてもよい。このことは、後述するクラスタップ抽出部２６についても同様のことがいえる。
次に、図３及び図４を参照して、予測タップ抽出部２５が行う予測タップの抽出方法を説明する。
図３及び図４は、予測タップを構成する複数の画素の一例を示している。
図３及び図４において、３×３の各矩形は１画素を示している。また、画素の大きさは、横×縦が１×１であるとともに、画素の中心位置を表すX座標及びY座標は、それぞれ、整数により表されるものとする。
図３に示すように、フレームn上の被写体の位置４１n（x,y）が、フレームnを構成する所定の画素の中心位置と一致する場合、予測タップ抽出部２５は、フレームn上の被写体の位置４１n（x,y）を中心とする３×３画素を、予測タップとして抽出する。
図４に示すように、フレームn上の被写体の位置４１n（x,y）が、フレームnを構成する所定の画素の中心位置４１'n（x,y）と一致しない場合、予測タップ抽出部２５は、フレームn上の被写体の位置４１n（x,y）に最も近い画素の中心位置４１'n（x,y）（被写体の位置４１n（x,y）のX座標及びY座標それぞれを四捨五入して得られるX座標及びY座標が表す位置）を中心とする３×３画素を、予測タップとして抽出する。
クラスタップ抽出部２６は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、フレームn上の被写体の位置４１n（x,y）を検出する。そして、検出したフレームn上の被写体の位置４１n（x,y）に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素を、クラスタップとして抽出し、波形クラス分類部２７に供給する。
なお、予測タップは、新たに生成されるフレームmにおける被写体の予測位置４１m(x,y)に対応する、フレームm上の注目画素（の画素値）を予測する予測演算に用いられる。また、クラスタップは、予測タップを、クラスタップを構成する画素の画素値の変化を表す複数の波形クラスのうちのいずれかにクラス分類するために用いられる。
さらに、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有する（同一の画素から構成される）ものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
波形クラス分類部２７は、クラスタップ抽出部２６からのクラスタップに基づいて、予測タップを、クラスタップを構成する画素の画素値の変化を表す複数の波形クラスのうちのいずれかにクラス分類する波形クラス分類を行う。そして、その波形クラス分類処理により得られる予測タップの波形コードを係数メモリ２９に出力する。
すなわち、例えば、波形クラス分類部２７は、クラスタップを構成する複数の画素の画素値に対して、ADRC(adaptive dymamic ramge codimg、適応的ダイナミックレンジ符号化)処理を行い、その結果得られるADRCコードを、予測タップの波形クラスを表す波形コードとして、係数メモリ２９に出力する。
動きクラス分類部２８は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、予測タップを、フレームn-1上の着目画素を中心とする３×３画素のブロックに表示された被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類する動きクラス分類処理を行う。
そして、動きクラス分類部２８は、その動きクラス分類処理により得られる予測タップの動きクラスを表す動きコードを、係数メモリ２９に出力する。なお、動きクラス分類部２８が行う動きクラス分類処理の詳細は、図６乃至図８を参照して後述する。
係数メモリ２９は、後述する学習（図１１）によってあらかじめ求められている、波形クラス及び動きクラスの複数の組合せ毎の予測係数（のセット）を記憶している。すなわち、係数メモリ２９は、波形クラス分類部２７で予測タップがクラス分類され得る複数の波形クラスと、動きクラス分類部２８で予測タップがクラス分類され得る複数の動きクラスそれぞれとの組合せについて、予測係数を記憶している。
係数メモリ２９は、複数の組合せ毎の予測係数のうち、波形クラス分類部２７からの波形コードが表す予測タップの波形クラス、及び動きクラス分類部２８からの動きコードが表す予測タップの動きクラスの組合せに対応する予測係数を出力する。
なお、係数メモリ２９は、第１の動画像を撮像したときの1フレーム分のシャッタ時間に対応して、波形クラス及び動きクラスの複数の組合せ毎の予測係数を記憶している。しかし、説明を簡単にするために、係数メモリ２９では、例えばユーザ等により予め入力される、第１の動画像のシャッタ時間に対応する予測係数の中から、予測タップの波形クラス、及び予測タップの動きクラスに対応する予測係数を出力することとしている。
予測演算部３０は、注目画素設定部３０aを有している。注目画素設定部３０aは、予測位置検出部２４からの予測位置４１m(x,y)に最も近い、第２の画像データ上の画素の中心位置（予測位置４１m(x,y)が第２の画像データ上の画素の中心位置である場合には、予測位置４１m(x,y)）に存在する画素を、注目画素に設定する。
予測演算部３０は、予測タップ抽出部２５からの予測タップを構成する複数の画素と、係数メモリ２９が出力する予測係数とを用いて、注目画素設定部３０aにより設定された注目画素を予測するための所定の予測演算（例えば、線形１次演算）を行う。そして、所定の予測演算により得られた注目画素の画素値を、注目画素の中心位置に対応付けて、予測フレームメモリ３１に供給して、記憶させる。
また、予測演算部３０は、注目画素の中心位置を、予測ゲインメモリ３２に供給し、同一の中心位置として決定された決定回数に対応付けて記憶させる。
予測フレームメモリ３１は、注目画素の中心位置毎に、対応する注目画素の画素値を対応づけて記憶している。
予測ゲインメモリ３２は、予測演算部３０からの注目画素の中心位置を、同一の中心位置として決定された決定回数に対応づけて記憶している。
欠落画素生成部３３は、予測ゲインメモリ３２から、予測演算部３０により予測されたフレームmを構成する画素毎に対応付けられている決定回数を読み出し、その回数が０であるか否か、すなわち、フレームmを構成する画素について、予測されなかった画素（欠落画素）が存在するか否かを判定する。
また、欠落画素生成部３３は、フレームmを構成する画素毎に対応付けられている決定回数が、すべて０でないと判定した場合、すなわち、欠落画素が存在しないと判定した場合、フレームmを、予測フレームメモリ３１から読み出し、そのまま外部に出力する。
さらに、欠落画素生成部３３は、フレームmを構成する画素毎に対応付けられている決定回数の少なくとも１つが０であると判定した場合、すなわち、欠落画素が存在すると判定した場合、フレームmを構成する画素について、回数が０である欠落画素の予測を行わせる。
次に、図５を参照して、欠落画素が存在すると判定した場合に、欠落画素生成部３３の制御にしたがって行われる、欠落画素を生成する生成方法を説明する。
図５に示す回帰関数fX(t)は、欠落画素の右側に隣接する画素を予測するときに用いられた回帰関数fX(t)を示している。また、回帰関数fX(t)'は、回帰関数fX(t)が欠落画素の中心位置（のX座標）を通るように、回帰関数fX(t)を移動させた後の回帰関数を示している。
欠落画素生成部３３は、欠落画素が存在すると判定した場合、関数生成部２３を制御し、欠落画素に隣接する画素を生成するときに用いられた回帰関数fX(t)を、欠落画素の中心位置を通る回帰関数fX(t)'に変換させ、予測位置検出部２４乃至クラスタップ抽出部２６、及び動きクラス分類部２８に供給させる。
同様にして、欠落画素生成部３３は、関数生成部２３を制御し、欠落画素に隣接する画素を生成するときに用いられた回帰関数fY(t)を、欠落画素の中心位置を通る回帰関数fY(t)'に変換させ、予測位置検出部２４乃至クラスタップ抽出部２６、及び動きクラス分類部２８に供給させる。
そして、欠落画素生成部３３は、予測位置検出部２４乃至予測演算部３０に上述した処理を行わせて、欠落画素の画素値を予測させて、欠落画素生成部３３に供給させる。
欠落画素生成部３３は、欠落画素すべてを予測させると、フレームmを外部に出力する。
[動きクラス分類部２８の詳細な構成例]
次に、図６は、動きクラス分類部２８の詳細な構成例を示している。
この動きクラス分類部２８は、画素以下クラス分類部６１、動き量クラス分類部（動きボケクラス分類部）６２、角度クラス分類部（方向クラス分類部）６３、ノルムクラス分類部（移動量クラス分類部）６４、及び動きクラス決定部６５により構成される。
なお、画素以下クラス分類部６１及び動き量クラス分類部６２は、それぞれ、X軸方向及びY軸方向について、各種の処理を行うが、X軸方向についての処理と、Y軸方向についての処理とは、X軸とY軸とが異なるだけで同様の処理を行っている。したがって、以下の説明においては、X軸方向についての処理のみを説明し、Y軸方向についての処理は省略する。
画素以下クラス分類部６１は、X軸方向について、予測タップを、被写体の位置４１n(x,y)と、中心位置４１'n(x,y)とのずれの程度を表す複数の画素以下クラスのうちのいずれかにクラス分類する。
すなわち、例えば、画素以下クラス分類部６１は、関数生成部２３からの回帰関数fX(t)により算出される被写体の位置４１n(x,y)のX座標を四捨五入した値（中心位置４１'n(x,y)のX座標）から、被写体の位置４１n(x,y)のX座標を減算する。そして、その減算結果が正である場合には、中心位置４１'n(x,y)のX座標が、被写体の位置４１n(x,y)のX座標からプラス方向にずれていることを表す第１の画素以下クラスに、予測タップをクラス分類する。
また、減算結果が負である場合には、中心位置４１'n(x,y)のX座標が、被写体の位置４１n(x,y)のX座標からマイナス方向にずれていることを表す第２の画素以下クラスに、予測タップをクラス分類する。
さらに、減算結果が０である場合には、中心位置４１'n(x,y)のX座標から、被写体の位置４１n(x,y)のX座標がずれていない（と一致する）ことを表す第３の画素以下クラスに、予測タップをクラス分類する。
画素以下クラス分類部６１は、予測タップの画素以下クラスに対応する画素以下コードを、動きクラス決定部６５に供給する。
動き量クラス分類部６２は、X軸方向について、フレームn上の被写体の位置４１n(x,y)のx成分における被写体の動き量（動きによる生じる動きボケ量）と、フレームn+1上の被写体の位置４１n+1(x,y)のx成分における被写体の動き量とを算出する。そして、算出した動き量の変化に基づいて、予測タップを、動き量の変化の程度を表す複数の動き量クラスのうちのいずれかにクラス分類する。
次に、図７を参照して、動き量クラス分類部６２が行う詳細な処理を説明する。
図７において、シャッタ時間tn-1は、フレームn-1を撮像したときのシャッタ時間を示している。なお、シャッタ時間tn及びtn+1についても同様であるため、その説明は省略する。
また、動き量Mn-1は、シャッタ時間tn-1において、被写体の位置４１n-1(x)（被写体の位置４１n-1(x,y)のX座標を示す）に存在する被写体が動いたことにより、被写体に生じたX軸方向の動きによる動きボケ量を示している。なお、動き量Mn及びMn+1についても同様であるため、その説明は省略する。
動き量クラス分類部６２は、回帰関数fX(t)を用いて、シャッタ時間tnの開始時刻におけるfx(t)と終了時刻におけるfx(t)との差分絶対値を、フレームnにおける動き量Mnとして算出する。
また、動き量クラス分類部６２は、回帰関数fX(t)を用いて、シャッタ時間tn+1の開始時刻におけるfx(t)と終了時刻におけるfx(t)との差分絶対値を、フレームn+1における動き量Mn+1として算出する。
そして、動き量クラス分類部６２は、フレームnにおける動き量Mnから、フレームn+1における動き量Mn+1を減算し、その結果得られる減算値が正である場合、ボケ量が減少していることを表す第１の動き量クラスに、予測タップをクラス分類する。
また、動き量クラス分類部６２は、フレームnにおける動き量Mnから、フレームn+1における動き量Mn+1を減算した減算値が負である場合、ボケ量が増加していることを表す第２の動き量クラスに、予測タップをクラス分類する。
さらに、動き量クラス分類部６２は、フレームnにおける動き量Mnから、フレームn+1における動き量Mn+1を減算した減算値が０である場合、ボケ量が等しいことを表す第３の動き量クラスに、予測タップをクラス分類する。
動き量クラス分類部６２は、予測タップの動き量クラスに対応する動き量コードを、動きクラス決定部６５に供給する。
なお、動き量クラス分類部６２は、さらに、フレームn-1における動き量Mn-1から、フレームnにおける動き量Mnを減算し、その結果得られる減算値から、予測タップを、複数の動き量クラスのうちのいずれかにクラス分類するようにしてもよい。この場合、予測タップは、２つの動き量クラスにクラス分類される。
角度クラス分類部６３は、予測タップを、フレームn上の被写体の動きの方向（角度で表される）を表す複数の角度クラスのうちのいずれかにクラス分類し、その結果得られる予測タップの角度クラスに対応する角度コードを、動きクラス決定部６５に供給する。
ノルムクラス分類部６４は、フレームn上の被写体の位置４１n(x,y)から、フレームn+1上の被写体の位置４１n+1(x,y)に、被写体が移動したときの移動量（ノルムで表される）を表す複数のノルムクラスのうちのいずれかに、予測タップをクラス分類する。そして、その結果得られる予測タップのノルムクラスに対応するノルムコードを、動き決定部６５に供給する。
次に、図８を参照して、角度クラス分類部６３及びノルムクラス分類部６４が行うクラス分類処理を説明する。
図８は、第１の動画像を構成するフレーム内に定義されるXY座標を示している。このXY座標は、フレームの最も左下の位置を原点(0,0)として、互いに直交するX軸とY軸とで定義される直交座標を示している。
また、図８のXY座標には、回帰関数fX(t)及びfY(t)を、XY座標により表現した回帰関数f(x,y)が示されている。
角度クラス分類部６３は、フレームn上の被写体の位置４１n(x,y)における回帰関数f(x,y)の接線を算出し、算出した接線と、水平（X軸）方向に延びる水平線とからなる角度θ（角度θは、被写体の動きを表す方向と一意に対応）を、被写体の動きを表す方向（図８では、左下方向）に対応する角度として検出する。
そして、０度以上３０度未満、３０度以上６０度未満、…、３３０度以上３６０度未満の３０度毎に区切られた１２の範囲に対応する角度クラスのうち、算出された角度が含まれる範囲に対応する角度クラスに、予測タップをクラス分類し、その結果得られる予測タップの角度クラスに対応する角度コードを、動きクラス決定部６５に供給する。
なお、角度クラス分類部６３は、フレームn上の被写体の位置４１n(x,y)と、フレームn+1上の被写体の位置４１n+1(x,y)とを結ぶ線分と、フレームn上の被写体の位置４１n(x,y)から水平（X軸）方向に延びる水平線とからなる角度を、被写体の動きを表す方向に対応する角度として検出してもよい。
ノルムクラス分類部６４は、フレームn上の被写体の位置４１n(x,y)と、フレームn+1上の被写体の位置４１n+1(x,y)とを結ぶ線分の長さ（ノルム）（フレームnからフレームn+1における被写体の移動量が大きくなる程に、ノルムも大きくなる）を、被写体が移動したときの移動量を表すものとして算出する。
そして、０以上５未満、５以上１０未満、１０以上２０未満、２０以上に設定された範囲それぞれに対応する４つのノルムクラスのうち、算出されたノルムが含まれる範囲に対応するノルムクラスに、予測タップをクラス分類し、その結果得られる予測タップのノルムクラスに対応するノルムコードを、動きクラス決定部６５に供給する。
動きクラス決定部６５は、画素以下クラス分類部６１からの画素以下コードが表す予測タップの画素以下クラス、動き量クラス分類部６２からの動き量コードが表す予測タップの動き量クラス、角度クラス分類部６３からの角度コードが表す予測タップの角度クラス、及びノルムクラス分類部６４からのノルムコードが表す予測タップのノルムクラスの組合せに基づいて、その組合せに対応する予測タップの動きクラスを決定し、その動きクラスを表す動きコードを、係数メモリ２９に出力する。
なお、上述した画素以下クラス、動き量クラス、角度クラス、及びノルムクラスそれぞれの総数は、上述したクラス数に限定されない。
[画像処理装置１の動作説明]
次に、図９のフローチャートを参照して、画像処理装置１が行う画像変換処理の詳細を説明する。
ステップＳ１において、動き検出部２１は、フレームn-1を構成する複数の画素を、順次、着目画素とする。
ステップＳ２において、動き検出部２１は、フレームn-1上の着目画素の中心位置を始点とし、対応するフレームn上の位置に最も近くに存在する画素の中心位置（最も近くに存在する画素の中心位置が複数存在する場合には、いずれかひとつ）を終点とする動きベクトルを検出する。また、動き検出部２１は、着目画素に隣接する８画素についても同様に、動きベクトルを検出する。そして、検出した９個の動きベクトルを、着目画素に対応するフレームn-1の動きベクトルとして、選別部２２に供給する。
ステップＳ３において、フレームn上における、フレームn-1の動きベクトルの終点それぞれを始点とし、対応するフレームn+1上の位置に最も近くに存在する画素の中心位置（最も近くに存在する画素の中心位置が複数存在する場合には、いずれかひとつ）を終点とする動きベクトルを検出する。そして、検出した９個の動きベクトルを、着目画素に対応するフレームnの動きベクトルとして、選別部２２に供給する。
ステップＳ４において、選別部２２は、動き検出部２１からのフレームn-1の動きベクトルのうち、他の動きベクトルと大きく異なる動きベクトルを除外し、残りの動きベクトルを、回帰関数を生成するための動きベクトルとして選別し、関数生成部２３に供給する。また、選別部２２は、動き検出部２１からのフレームnの動きベクトルについても同様に、選別を行い、その選別の結果得られた動きベクトルを、関数生成部２３に供給する。
なお、上述したように、説明の便宜のため、第１の実施の形態では、フレームn-1の動きベクトル、及びフレームnの動きベクトルは、すべて、回帰関数を生成するための動きベクトルとして選別されて、関数生成部２３に供給されるものとする。
ステップＳ５において、関数生成部２３は、選別部２２からの、フレームn-1の動きベクトルの始点と終点、及びフレームnの動きベクトルの始点と終点に基づいて、回帰分析を行い、フレームn-1乃至フレームn+1上の被写体の動きによる軌跡を表す回帰関数を生成する。
すなわち、例えば、関数生成部２３は、フレームn-1乃至フレームn+1上の被写体のX軸方向の軌跡を表す回帰関数fX(t)を生成する。また、関数生成部２３は、フレームn-1乃至フレームn+1上の被写体のY軸方向の軌跡を表す回帰関数fY(t)を生成する。
そして、関数生成部２３は、生成した回帰関数fX(t)及びfY(t)を、予測位置検出部２４、予測タップ抽出部２５、クラスタップ抽出部２６、及び動きクラス分類部２８に供給する。
ステップＳ６において、予測位置検出部２４は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、新たに生成されるフレームmにおける被写体の予測位置４１m（x,y）を検出し、予測演算部３０に供給する。
ステップＳ７において、予測タップ抽出部２５は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、フレームn上の被写体の位置４１n（x,y）を検出する。そして、検出したフレームn上の被写体の位置４１n（x,y）に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、フレームn上の被写体の位置４１n（x,y）に最も近い画素と、その画素に空間的に隣接する画素等）を、予測タップとして抽出し、予測演算部３０に供給する。
ステップＳ８において、クラスタップ抽出部２６は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、フレームn上の被写体の位置４１n（x,y）を検出する。そして、検出したフレームn上の被写体の位置４１n（x,y）に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素を、クラスタップとして抽出し、波形クラス分類部２７に供給する。
ステップＳ９において、波形クラス分類部２７は、クラスタップ抽出部２６からのクラスタップに基づいて、予測タップを、クラスタップを構成する画素の画素値の変化を表す複数の波形クラスのうちのいずれかにクラス分類する波形クラス分類を行う。そして、その波形クラス分類処理により得られる予測タップの波形コードを係数メモリ２９に出力する。
ステップＳ１０において、動きクラス分類部２８は、関数生成部２３からの回帰関数fX(t)及びfY(t)に基づいて、予測タップを、フレームn上の着目画素を中心とする３×３画素のブロックに表示された被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類する動きクラス分類処理を行う。なお、動きクラス分類処理の詳細は、図１０のフローチャートを参照して後述する。
動きクラス分類部２８は、その動きクラス分類処理により得られる予測タップの動きクラスを表す動きコードを、係数メモリ２９に出力する。
ステップＳ１１において、係数メモリ２９は、複数の組合せ毎の予測係数のうち、波形クラス分類部２７からの波形コードが表す予測タップの波形クラス、及び動きクラス分類部２８からの動きコードが表す予測タップの動きクラスの組合せに対応する予測係数を、予測演算部３０に出力する。
ステップＳ１２において、注目画素設定部３０aは、予測位置検出部２４からの予測位置４１m(x,y)に最も近い、第２の画像データ上の画素の中心位置（予測位置４１m(x,y)が第２の画像データ上の画素の中心位置である場合には、予測位置４１m(x,y)）に存在する画素を、注目画素に設定する。
ステップＳ１３において、予測演算部３０は、予測タップ抽出部２５からの予測タップを構成する複数の画素と、係数メモリ２９が出力する予測係数とを用いて、注目画素設定部３０aにより設定された注目画素を予測するための所定の予測演算（例えば、線形１次演算）を行う。そして、所定の予測演算により得られた注目画素の画素値を、注目画素の中心位置に対応付けて、予測フレームメモリ３１に供給して、記憶させる。
また、予測演算部３０は、注目画素の中心位置を、予測ゲインメモリ３２に供給し、同一の中心位置として決定された決定回数に対応付けて記憶させる。
ステップＳ１４において、動き検出部２１は、フレームn-1を構成する複数の画素すべてを、着目画素としたか否かを判定する。そして、フレームn-1を構成する複数の画素すべてを、まだ着目画素としていないと判定した場合には、処理はステップＳ１に戻り、まだ着目画素としていない画素を、新たな着目画素にした後、処理は、ステップＳ２に進められ、以下同様の処理が繰り返される。
一方、ステップＳ１４において、動き検出部２１は、フレームn-1を構成する複数の画素すべてを、着目画素としたと判定した場合、処理は、ステップＳ１５に進められる。
ステップＳ１５において、欠落画素生成部３３は、予測ゲインメモリ３２から、予測演算部３０により予測されたフレームmを構成する画素毎に対応付けられている決定回数を読み出し、その回数が０であるか否か、すなわち、フレームmを構成する画素について、予測されなかった画素（欠落画素）が存在するか否かを判定する。
欠落画素生成部３３は、フレームmを構成する画素毎に対応付けられている決定回数が、すべて０でないと判定した場合、すなわち、欠落画素が存在しないと判定した場合、フレームmを、予測フレームメモリ３１から読み出し、そのまま外部に出力する。
一方、ステップＳ１５において、欠落画素生成部３３は、フレームmを構成する画素毎に対応付けられている決定回数の少なくとも１つが０であると判定した場合、すなわち、欠落画素が存在すると判定した場合、処理はステップＳ１６に進められる。そして、欠落画素生成部３３は、フレームmを構成する画素について、回数が０である欠落画素の予測を行わせる。
欠落画素生成部３３は、欠落画素すべてを予測させた後、欠落画素が予測されたフレームmを、外部に出力する。
以上のように、欠落画素が存在しないフレームmが、外部に出力された後、予測フレームメモリ３１、及び予測ゲインメモリ３２がリセットされて、新たなフレームm+1を生成するための図９の画像変換処理が行われる。そして、新たに生成されるフレームすべてを生成した後、図９の画像変換処理は終了される。
[動きクラス分類部２８の動作説明]
次に、図１０のフローチャートを参照して、図９のステップＳ１０における動きクラス分類処理の詳細を説明する。
ステップＳ２１において、画素以下クラス分類部６１は、X軸方向について、予測タップを、被写体の位置４１n(x,y)と、被写体の位置４１n(x,y)により決定される所定の画素の中心位置４１'n(x,y)とのずれの程度を表す複数の画素以下クラスのうちのいずれかにクラス分類する。また、画素以下クラス分類部６１は、Y軸方向についても同様に、画素以下クラスによるクラス分類を行う。
そして、画素以下クラス分類部６１は、予測タップの画素以下クラスに対応する画素以下コードを、動きクラス決定部６５に供給する。
ステップＳ２２において、動き量クラス分類部６２は、X軸方向について、フレームn上の被写体の位置４１n(x)における被写体の動き量Mnと、フレームn+1上の被写体の位置４１n+1(x)における被写体の動き量Mn+1とを算出する。そして、算出した動き量の変化に基づいて、予測タップを、動き量の変化の程度を表す複数の動き量クラスのうちのいずれかにクラス分類する。また、動き量クラス分類部６２は、Y軸方向についても同様に、動き量クラスによるクラス分類を行う。
そして、動き量クラス分類部６２は、予測タップの動き量クラスに対応する動き量コードを、動きクラス決定部６５に供給する。
ステップＳ２３において、角度クラス分類部６３は、予測タップを、被写体の動きの方向を表す複数の角度クラスのうちのいずれかにクラス分類し、その結果得られる予測タップの角度クラスに対応する角度コードを、動きクラス決定部６５に供給する。
ステップＳ２４において、ノルムクラス分類部６４は、フレームn上の被写体の位置４１n(x,y)から、フレームn+1上の被写体の位置４１n+1(x,y)に、被写体が移動したときの移動量を表す複数のノルムクラスのうちのいずれかに、予測タップをクラス分類する。そして、その結果得られる予測タップのノルムクラスに対応するノルムコードを、動き決定部６５に供給する。
ステップＳ２５において、動きクラス決定部６５は、画素以下クラス分類部６１からの画素以下コードが表す予測タップの画素以下クラス、動き量クラス分類部６２からの動き量コードが表す予測タップの動き量クラス、角度クラス分類部６３からの角度コードが表す予測タップの角度クラス、及びノルムクラス分類部６４からのノルムコードが表す予測タップのノルムクラスの組合せに基づいて、その組合せに対応する予測タップの動きクラスを決定する。
その後、処理は、図９のステップＳ１０にリターンされ、動きクラス決定部６５は、予測タップの動きクラスを表す動きコードを、係数メモリ２９に出力して、処理はステップＳ１１に進められる。
以上説明したように、図９の画像変換処理では、回帰関数に基づいて、被写体の動きを表す複数の動きクラスのうちのいずれかに、予測タップをクラス分類し、その結果得られた予測タップの動きクラスに対応する予測係数と、予測タップとを用いた予測演算により、注目画素を予測するようにしたので、第１の動画像から、被写体の動きにより生じる動きボケ等を考慮した第２の動画像を生成できる。
[予測係数の学習について]
次に、図１の予測演算部３０における予測演算と、係数メモリ２９に記憶された予測係数の学習について説明する。
いま、図９の画像変換処理として、例えば、高フレームレートの動画像を第２の動画像とするとともに、その第２の動画像を1フレーム間隔で間引く等して、フレームレートを低下させた低フレームレートの動画像を第１の動画像として、第１の動画像を構成するフレーム（低フレーム）から予測タップを抽出し、その予測タップと予測係数を用いて、第２の動画像を構成するフレームのうち、間引かれたフレームの画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、間引かれたフレームに対応する画素（間引き画素）の画素値ｙは、次の線形１次式によって求められることになる。
Figure 2010118940
 ・・・（１）
但し、式（１）において、ｘnは、間引き画素ｙについての予測タップを構成する、ｎ番目の低フレームの画素（低フレーム画素）の画素値を表し、ｗnは、ｎ番目の低フレーム画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低フレーム画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、間引き画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの間引き画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 2010118940
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 2010118940
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの間引き画素についての予測タップを構成するｎ番目の低フレーム画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、間引き画素（の画素値）を予測するのに最適なものとなるが、すべての間引き画素について、そのような予測係数ｗnを求めることは、一般には困難である。
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 2010118940
 ・・・（４）
但し、式（４）において、Ｋは、間引き画素ｙkと、その間引き画素ｙkについての予測タップを構成する低フレーム画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 2010118940
 ・・・（５）
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
Figure 2010118940
 ・・・（６）
式（５）と式（６）から、次式が得られる。
Figure 2010118940
 ・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 2010118940
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
式（８）の正規方程式を、波形クラス及び動きクラスの組合せ毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、波形クラス及び動きクラスの組合せ毎に求めることができる。
図１の画像処理装置１では、以上のような波形クラス及び動きクラスの組合せ毎の予測係数を用いて、式（１）の演算を行うことにより、フレームn（並びに、フレームn-1及びフレームn+1）から、新たなフレームmが生成される。
[学習装置８１の構成例]
次に、図１１は、式（８）の正規方程式を、波形クラス及び動きクラスの組合せ毎にたてて解くことにより予測係数ｗnを求める学習を行う学習装置８１の構成例を示している。
この学習装置８１は、動き検出部１０１、選別部１０２、関数生成部１０３、予測位置検出部１０４、予測タップ抽出部１０５、クラスタップ抽出部１０６、波形クラス分類部１０７、動きクラス分類部１０８、足し込み部１０９、注目画素設定部１０９a、及び予測係数算出部１１０により構成される。
なお、動き検出部１０１、予測タップ抽出部１０５、及びクラスタップ抽出部１０６には、第２の動画像に相当する動画像（以下、教師動画像という）のフレームレートを低下させた第１の動画像に相当する動画像であって、教師動画像と１フレーム分のシャッタ時間が同一の動画像（以下、生徒動画像という）が供給される。
動き検出部１０１は、生徒動画像を構成する複数のフレームのうち、n-1番目のフレームを表す生徒フレームn-1を構成する複数の画素を、順次、着目画素とする。そして、動き検出部２１と同様にして、着目画素を中心とする３×３画素に表示される被写体の動きを表す動き情報として、例えば、生徒フレームn-1の動きベクトル及び生徒フレームnの動きベクトルを検出して、選別部１０２に供給する。
選別部１０２は、選別部２２と同様にして、動き検出部１０１からの生徒フレームn-1の動きベクトルのうち、他の動きベクトルと大きく異なる動きベクトルを除外し、残りの動きベクトルを、回帰関数を生成するための動きベクトルとして選別し、関数生成部１０３に供給する。また、選別部１０２は、動き検出部１０１からの生徒フレームnの動きベクトルについても同様に、選別を行い、その選別の結果得られた動きベクトルを、関数生成部１０３に供給する。
なお、説明の便宜のため、第１の実施の形態では、生徒フレームn-1の動きベクトル、及び生徒フレームnの動きベクトルは、すべて、回帰関数を生成するための動きベクトルとして選別されて、関数生成部１０３に供給されるものとする。
関数生成部１０３は、関数生成部２３と同様にして、選別部１０２からの、生徒フレームn-1の動きベクトルの始点と終点、及び生徒フレームnの動きベクトルの始点と終点に基づいて、回帰分析を行い、生徒フレームn-1乃至生徒フレームn+1上の被写体の動きによる軌跡を表す回帰関数を生成する。
そして、関数生成部１０３は、生成した回帰関数を、予測位置検出部１０４、予測タップ抽出部１０５、クラスタップ抽出部１０６、及び動きクラス分類部１０８に供給する。
予測位置検出部１０４は、予測位置検出部２４と同様にして、関数生成部１０３からの回帰関数に基づいて、後述する足し込み部１０９による足し込みの対象とされる教師フレームm上の被写体の予測位置を検出し、足し込み部１０９に供給する。
ここで、教師フレームmとは、生徒フレームnと生徒フレームn+1との間の、間引かれたフレームに対応する、教師動画像を構成するフレームをいう。
予測タップ抽出部１０５及びクラスタップ抽出部１０６には、生徒フレームnが供給される。
予測タップ抽出部１０５は、関数生成部１０３からの回帰関数に基づいて、生徒フレームn上の被写体の位置に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素を抽出することにより、予測タップ抽出部２５と同一のタップ構造の予測タップを得て、足し込み部１０９に供給する。
クラスタップ抽出部１０６は、関数生成部１０３からの回帰関数に基づいて、生徒フレームn上の被写体の位置に最も近い画素の中心位置に対して、空間的または時間的に近い位置にある複数の画素を抽出することにより、クラスタップ抽出部２６と同一のタップ構造のクラスタップを得て、波形クラス分類部１０７に供給する。
波形クラス分類部１０７は、クラスタップ抽出部１０６からのクラスタップに基づいて、波形クラス分類部２７と同一の波形クラス分類処理を行い、その結果得られた予測タップの波形コードを、足し込み部１０９に出力する。
動きクラス分類部１０８は、関数生成部１０３からの回帰関数に基づいて、動きクラス分類部２８と同一の動きクラス分類処理を行い、その結果得られた予測タップの動きクラスを表す動きコードを、足し込み部１０９に出力する。
足し込み部１０９には、教師フレームmが供給される。
足し込み部１０９は、注目画素設定部１０９aを有している。注目画素設定部１０９aは、予測位置検出部１０４からの予測位置に最も近い、教師フレームm上の画素の中心位置（予測位置が教師フレームm上の画素の中心位置である場合には、予測位置）に存在する画素を、注目画素に設定する。
足し込み部１０９は、教師フレームm上の注目画素（の画素値）ｙkと、予測タップ抽出部１０５から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、波形クラス分類部１０７から供給される予測タップの波形コード、及び動きクラス分類部１０８から供給される予測タップの動きコードの組合せ毎に行う。
すなわち、足し込み部１０９は、予測タップの波形コード、及び予測タップの動きコードの組合せ毎に、予測タップ抽出部１０５から供給される注目画素についての予測タップを構成する画素（以下、適宜、予測タップ画素ともいう）ｘn,kを用い、式（８）の左辺の行列における予測タップ画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１０９は、やはり、予測タップの波形コード、及び予測タップの動きコードの組合せ毎に、予測タップ画素ｘn,kと教師フレームm上の注目画素（の画素値）ｙkを用い、式（８）の右辺のベクトルにおける、予測タップ画素ｘn,k及び注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
すなわち、足し込み部１０９は、前回、注目画素とされた教師フレームmの画素（以下、適宜、教師フレーム画素ともいう）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
そして、足し込み部１０９は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた教師フレーム画素についての予測タップを構成する予測タップ画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師フレーム画素について、その教師フレーム画素ｙk+1及び予測タップ画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
足し込み部１０９は、予測位置検出部１０４からの予測位置により設定される注目画素それぞれに対して、上述の足し込みを行うことにより、波形クラス及び動きクラス（波形コード及び動きコード）の組合せそれぞれについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１１０に供給する。
予測係数算出部１１０は、足し込み部１０９から供給される、波形クラス及び動きクラスの組合せそれぞれについての正規方程式を解くことにより、波形クラス及び動きクラスの組合せそれぞれについて、最適な予測係数（式（４）の自乗誤差の総和Ｅを最小にする予測係数）ｗnを求める。
そして、予測係数算出部１１０は、波形クラス及び動きクラスの組合せそれぞれについて求めた予測係数ｗnを、図１の係数メモリ２９に供給し、学習に用いた生徒動画像のシャッタ時間に対応させて、記憶させる。
なお、予測係数ｗnを生成する学習装置８１において、１フレーム分のシャッタ時間が同一の生徒動画像と教師動画像とを用いたが、シャッタ時間が異なる生徒動画像と教師動画像とを用いて、予測係数を学習するようにしてもよい。
すなわち、例えば、教師動画像のフレームレートを低下させるとともに、１フレーム分のシャッタ時間を長くさせることにより得られる動画像を、新たな生徒動画像として、教師動画像と新たな生徒動画像を用いた学習処理を行うようにしてもよい。
この場合、学習装置８１において、教師フレームmと、新たな生徒動画像の生徒フレームnとを用いた学習により、第２の動画像のフレームmを予測するための予測係数が学習される。
また、新たな生徒動画像の生徒フレームnに対応する教師フレーム（教師フレームmよりも1フレーム分だけ過去のフレーム）と、新たな生徒動画像の生徒フレームnとを用いた学習により、第１の動画像のフレームnに対応する、第２の動画像のフレームn'（フレームmよりも1フレーム分だけ過去のフレーム）を予測するための予測係数が学習される。
そして、画像処理装置１において、第２の動画像のフレームmを生成する場合には、第１の動画像のフレームnから抽出した予測タップと、フレームnから抽出したクラスタップに基づいて出力された、フレームmを予測するための予測係数とを用いた積和演算により、フレームmが予測される。
また、第２の動画像のフレームnに対応する、第１の動画像のフレームn'を生成する場合には、フレームnから抽出した予測タップと、フレームnから抽出したクラスタップに基づいて出力された、フレームn'を予測するための予測係数とを用いた積和演算により、フレームn'が予測される。
これにより、画像処理装置１では、入力された第１の動画像を、図１２に示すような第２の動画像に変換することが可能となる。
次に、図１２は、教師動画像と比較してシャッタ時間が長い新たな生徒動画像と、教師動画像とを用いた学習処理により得られる予測係数により、入力された第１の動画像を変換して得られた第２の動画像を示している。
図１２において、シャッタ時間tmは、新たに生成されたフレームmのシャッタ時間を示している。なお、シャッタ時間tm-1についても同様である。
また、シャッタ時間tn'は、第１の動画像のフレームnに対応して生成されるフレームn'のシャッタ時間を示している。
さらに、図１２において、点線で示す矩形は、画像処理装置１に入力される第１の動画像を構成するフレームを示している。
図１２に示すように、第２の動画像を構成するフレームm-1、フレームn'、フレームm-1等の複数のフレームは、いずれも、第１の動画像を構成するフレームのシャッタ時間が短縮されたものとなる。
ところで、第１の実施の形態では、１個の着目画素に対して、１個の画素のみを予測することとした。したがって、例えば、新たに生成されるフレームmにおいて、着目画素に対応する画素が存在しない場合には、着目画素に対応する画素を予測することができないため、多くの欠落画素を含むフレームmが生成されてしまう。
また、第１の実施の形態において、図１３に示すように、フレームn上の被写体の位置４１n（x,y）が、フレームn上の所定の画素の中心位置４１'n（x,y）に一致しない場合に、フレームn-1上の着目画素に表示される被写体が、フレームn上においては、点線で示す２×２画素にまたがって表示されることが生じる。この場合、被写体がまたがって表示されるフレームn上の２×２画素に対応する、新たなフレームm上の２×２画素を同時に予測した方が、予測精度が向上する。
したがって、１個の着目画素に対して、複数の画素を予測することが望ましい。
次に、図１４乃至図１８を参照して、１個の着目画素に対して、新たなフレームm上の複数の画素を予測する画像処理装置について説明する。
＜２．第２の実施の形態＞
[画像処理装置の構成例]
図１４は、第２の実施の形態である画像処理装置１２１の構成例を示している。
なお、図中、図１に示された第１の実施の形態に対応する部分については同一の符号を付しているため、以下、その説明は適宜省略する。
すなわち、第２の実施の形態である画像処理装置１２１は、第１の構成例（図１）に対して、係数メモリ２９、予測演算部３０、及び注目画素設定部３０aに代えて、係数メモリ１４１、予測演算部１４２、及び注目画素設定部１４２aが設けられているとともに、新たにゲイン正規化部１４３が設けられたものである。
係数メモリ１４１は、後述する学習（図１８）によってあらかじめ求められている、波形クラス及び動きクラスによる複数の組合せ毎に、注目画素の位置を表す画素位置モード（図１５で後述）それぞれに対応する複数の予測係数（のセット）を記憶している。
また、係数メモリ１４１は、複数の組合せ毎の予測係数のうち、波形クラス分類部２７からの波形コードが表す予測タップの波形クラス、及び動きクラス分類部２８からの動きコードが表す予測タップの動きクラスの組合せに対応する、画素位置モードそれぞれに対応する予測係数を出力する。
予測演算部１４２の注目画素設定部１４２aは、予測位置検出部２４からの予測位置４１m(x,y)により決定される所定の画素の中心位置４１'m(x,y)を中心とする３×３画素のブロックを構成する画素を、順次、注目画素に設定する。
予測演算部１４２は、係数メモリ１４１からの予測係数のうち、ブロックにおける注目画素の位置を表す画素位置モードに対応する予測係数と、予測タップ抽出部２５からの予測タップを構成する複数の画素との予測演算を行い、注目画素を予測する。その他、予測演算部１４２は、予測演算部３０と同様の処理を行う。
次に、図１５を参照して、予測演算部１４２及び注目画素設定部１４２aが行う詳細な処理を説明する。
図１５に示す３×３の矩形は、予測位置検出部２４から予測演算部１４２に供給される予測位置４１m(x,y)により決定される所定の画素の中心位置４１'m(x,y)を中心とするフレームm上の３×３画素を示している。
また、３×３の矩形内には、その矩形が示す画素の位置を表す画素位置モードとして、それぞれ、ブロック内の左上の位置を示すモード０、上の位置を示すモード１、右上の位置を示すモード２、左の位置を示すモード３、中央の位置を示すモード４、右の位置を示すモード５、左下の位置を示すモード６、下の位置を示すモード７、及び右下の位置を示すモード８が示されている。
注目画素設定部１４２aは、予測位置検出部２４からの予測位置４１m(x,y)に最も近い、第２の画像データ上の画素の中心位置４１'m(x,y)（予測位置４１m(x,y)が第２の画像データ上の画素の中心位置である場合には、予測位置４１m(x,y)）を中心とする３×３画素を、順次、注目画素に設定する。
また、予測演算部１４２は、係数メモリ１４１から出力された複数の予測係数から、注目画素の画素位置モード（例えば、モード０）に対応する予測係数を取得し、取得した予測係数と、予測タップ抽出部２５からの予測タップを構成する複数の画素との予測演算を行い、注目画素を予測する。
これにより、９個の画素位置モードにそれぞれ対応する９個の画素が、新たに生成されるフレームm上の画素として生成される。そして、図１６に示すように、注目画素における同一の中心位置で、複数の画素値が予測されることが生じ得る。
次に、図１６を参照して、注目画素における同一の中心位置で、複数の画素値が予測される場合を説明する。
図１６の実線で示す３×３の矩形は、中心位置１５１に基づいて、予測演算部１４２が予測した９画素を示している。また、図１６の点線で示す３×３の矩形は、中心位置１５２に基づいて、予測演算部１４２が予測した９画素を示している。
例えば、図１６に示すように、新たに生成されるフレームm上の４つの画素１５３乃至１５６の画素値は、２回だけ予測される。
ゲイン正規化部１４３は、例えば、フレームm上の４つの画素１５３乃至１５６の画素値に対して、画素値のゲインを調整するために、画素値を正規化する。
すなわち、ゲイン正規化部１４３は、新たに生成されたフレームm上の各画素の中心位置に順次注目し、注目している中心位置に対応する注目画素の画素値すべてを、予測フレームメモリ３１から読み出す。そして、読み出した注目画素の画素値すべてを、それぞれ加算し、その加算結果である加算値を取得する。
また、ゲイン正規化部１４３は、注目している中心位置に対応する決定回数を、予測ゲインメモリ３２から読み出し、読み出した決定回数で、取得した加算値を除算し、その除算結果を、注目している中心位置に対応する注目画素の最終的な画素値として、欠落画素生成部３３に供給する。
[画像処理装置１２１の動作説明]
次に、図１７のフローチャートを参照して、画像処理装置１２１が行う画像変換処理の詳細を説明する。
ステップＳ３１乃至ステップＳ４１において、図９のステップＳ１乃至１１と同様の処理が行われる。
ステップＳ４２において、注目画素設定部１４２aは、予測位置検出部２４からの予測位置４１m(x,y)に最も近い、第２の画像データ上の画素の中心位置４１'m(x,y)（予測位置４１m(x,y)が第２の画像データ上の画素の中心位置である場合には、予測位置４１m(x,y)）を中心とする３×３画素のブロック（図１５に示す）を構成する画素を、順次、注目画素に設定する。
ステップＳ４３において、予測演算部１４２は、係数メモリ１４１から出力された複数の予測係数から、注目画素の画素位置モード（例えば、モード０）に対応する予測係数を取得し、取得した予測係数と、予測タップ抽出部２５からの予測タップを構成する複数の画素との予測演算を行い、注目画素を予測する。
ステップＳ４４において、注目画素設定部１４２aは、３×３画素のブロックを構成する画素すべてを、注目画素に設定したか否かを判定する。そして、まだブロックを構成する画素すべてを、注目画素に設定していないと判定した場合、処理はステップＳ４２に戻る。ステップＳ４２において、注目画素設定部１４２aは、ブロックを構成する画素のうち、まだ注目画素とされていない画素を、新たな注目画素に設定して、処理はステップＳ４３に進められ、以下同様の処理が行われる。
一方、ステップＳ４４において、注目画素設定部１４２aは、３×３画素のブロックを構成する画素すべてを、注目画素に設定したと判定した場合、処理はステップＳ４５に進められる。
ステップＳ４５において、動き検出部２１は、図９のステップＳ１４と同様にして、フレームn-1を構成する複数の画素すべてを、着目画素としたか否かを判定する。そして、フレームn-1を構成する複数の画素すべてを、まだ着目画素としていないと判定した場合には、処理はステップＳ３１に戻り、まだ着目画素としていない画素を、新たな着目画素にした後、処理は、ステップＳ３２に進められ、以下同様の処理が行われる。
一方、ステップＳ４５において、動き検出部２１は、フレームn-1を構成する複数の画素すべてを、着目画素としたと判定した場合、処理は、ステップＳ４６に進められる。
ステップＳ４６において、ゲイン正規化部１４３は、新たに生成されたフレームm上の各画素の中心位置に順次注目し、注目している中心位置に対応する注目画素の画素値すべてを、予測フレームメモリ３１から読み出す。そして、読み出した注目画素の画素値すべてを、それぞれ加算し、その加算結果である加算値を取得する。
また、ゲイン正規化部１４３は、注目している中心位置に対応する決定回数を、予測ゲインメモリ３２から読み出し、読み出した決定回数で、取得した加算値を除算して正規化し、その除算結果を、注目している中心位置に対応する注目画素の最終的な画素値として、欠落画素生成部３３に供給する。
ステップＳ４６の処理の終了後、処理はステップＳ４７に進められ、ステップＳ４７及びステップＳ４８において、ゲイン正規化部１４３により正規化された後のフレームmに対して、図９のステップＳ１５及びステップＳ１６と同様の処理が行われる。以上で、図１７の画像変換処理は終了される。
以上説明したように、図１７の画像変換処理では、回帰関数に基づいて、被写体の動きを表す複数の動きクラスのうちのいずれかに、予測タップをクラス分類し、その結果得られた予測タップの動きクラスに対応する予測係数と、予測タップとを用いた予測演算により、注目画素を予測するようにしたので、第１の動画像から、被写体の動きにより生じる動きボケ等を考慮したより高品質な第２の動画像を生成できる。
また、１つの着目画素から、フレームm上の複数の画素を予測することとしたので、１つの着目画素から、１つの画素を予測した図９の画像変換処理と比較して、欠落画素の個数を少なくでき、より高品質な第２の動画像を生成することが可能となる。
[学習装置１６１の構成例]
次に、図１８は、図１４の係数メモリ１４１に予め記憶される予測係数を学習する学習装置１６１の構成例を示している。
なお、図中、第１の実施の形態において、図１１の学習装置８１に対応する部分については同一の符号を付しているため、以下、その説明は適宜省略する。
すなわち、第２の実施の形態において、学習装置１６１は、図１１の学習装置８１に対して、注目画素設定部１０９aに代えて、注目画素設定部１８１aが設けられたものである。
注目画素設定部１８１aは、予測位置検出部１０４からの予測位置に最も近い、教師フレームm上の画素の中心位置（予測位置が教師フレームm上の画素の中心位置である場合には、予測位置）を中心とする３×３画素のブロックを構成する画素を、順次、注目画素に設定する。
＜３、第１及び第２の実施の形態の変形例＞
[画素以下クラスを省略する変形例]
上述した第１及び第２の実施の形態において、画素以下クラス分類部６１は、X軸方向及びY軸方向それぞれについて、予測タップを、被写体の位置４１n(x,y)と、所定の画素の中心位置４１'n(x,y)とのずれの程度を表す複数の画素以下クラスのうちのいずれかにクラス分類することとした。
しかしながら、図１９に示すように、予測タップを抽出する前に、被写体の位置４１n(x,y)と、所定の画素の中心位置４１'n(x,y)とを一致させるアフィン変換を行うようにすれば、予測タップの画素以下クラスは、必ず、被写体の位置４１n(x,y)と、所定の画素の中心位置４１'n(x,y)とが一致するときにクラス分類される第３の画素以下クラスになる。
したがって、予測タップの画素以下クラスは、第３の画素以下クラスのみに限定されるため、画素以下クラスを省略することが可能となる。
なお、被写体の位置４１n(x,y)と、所定の画素の中心位置４１'n(x,y)とを一致させるアフィン変換では、例えば位相シフトフィルタ等が用いられる。
また、予測タップ抽出部２５は、図４に示したように、フレームn上の被写体の位置４１n（x,y）が、フレームnを構成する所定の画素の中心位置４１'n(x,y)と一致しない場合、被写体の位置４１n(x,y)を中心とする３×３画素を補間して、補間後の３×３画素を予測タップとして取得するようにしてもよい。
この場合、被写体の位置４１n(x,y)が、３×３画素の予測タップの中心に存在する画素の中心位置４１'n(x,y)となり、予測タップの画素以下クラスは、第３の画素以下クラスのみに限定されるため、画素以下クラスを省略することが可能となる。
[角度クラスを省略する変形例]
また、上述した第１及び第２の実施の形態において、角度クラス分類部６３は、予測タップを、被写体の動きの方向を表す複数の角度クラスのうちのいずれかにクラス分類することとした。
しかしながら、図２０に示すように、被写体の位置４１n（x,y）（中心位置４１'n(x,y)と一致する被写体の位置）を中心とする３×３画素からなる予測タップを抽出し、抽出した予測タップ（予測タップ上に表示される被写体）を回転させるアフィン変換を行うことにより、フレーム内の被写体の動きの方向を所定の一方向とすれば、予測タップの角度クラスは、必ず、所定の一方向を表す１つの角度クラスのみにクラス分類される。
したがって、予測タップの角度クラスは、１つの角度クラスのみに限定されるため、角度クラスを省略することが可能となる。
なお、アフィン変換を用いて、被写体の位置４１n(x,y)と、注目画素の中心位置４１'n(x,y)とを一致させるとともに、被写体の動きの方向を所定の一方向とすることにより、画素以下クラス及び角度クラスを省略するようにしてもよい。
[動きクラスの変形例]
第１及び第２の実施の形態では、動きクラス分類部２８により分類される動きクラスは、画素以下クラス、動き量クラス、ノルムクラス、及び角度クラスによる組合せにより決定されることとしたが、その組合せは、これに限定されない。
すなわち、動きクラスは、画素以下クラス、動き量クラス、ノルムクラス、及び角度クラスの少なくとも１つの組合せにより決定されるようにしてもよいし、その他、他のクラスをも考慮した組合せにより決定されるようにしてもよい。
なお、他のクラスとしては、フレームn上における、フレームn-1の動きベクトルの終点の空間的なばらつきを表す空間分散クラスや、前方予測と後方予測との差を表す類似予測クラス等を採用することが可能である。
ここで、予測タップを空間分散クラスにクラス分類する場合には、X軸方向について、フレームn上の、フレームn-1の動きベクトルの終点のX座標が、フレームn-1の動きベクトルの終点（のX座標）の標準偏差に所定の重みを乗算して得られる閾値よりも大きいか否かに基づいて、例えば２つの空間分散クラスのうちのいずれかに、予測タップがクラス分類される。Y軸方向についても同様に行われる。
なお、フレームn上における、フレームn-1の動きベクトルの終点とともに、フレームn+1上における、フレームnの動きベクトルの終点等をも、空間分散クラスによるクラス分類の対象とすることが可能である。
また、予測タップを類似予測クラスにクラス分類する場合には、フレームn上の、フレームn-1の動きベクトルの終点に最も近い画素の中心位置を始点とし、対応するフレームn-1上の位置を終点とする動きベクトルを検出させ、検出させた動きベクトルの大きさと、動き検出部２１により検出されたフレームn-1の動きベクトルの大きさとを比較し、その比較結果に基づいて、複数の類似予測クラスのうちのいずれかに、予測タップがクラス分類される。
[その他の変形例]
第１及び第２の実施の形態では、動き検出部２１は、入力されるフレームn-1乃至フレームn+1に基づき、動き情報として、動きベクトルを検出することとしたが、例えば、入力されるフレームに動き情報が含まれている場合には、入力されるフレームから動き情報を取得するようにしてもよい。
また、動き検出部２１が、フレームn-1乃至フレームn+1の３フレームに基づいて、動き情報として、例えば動きベクトルを検出したが、動きベクトルを生成するために用いるフレームの数は、３フレームに限定されず、例えば、フレームn-2乃至フレームn+2の５フレームに基づいて、フレームn-2、フレームn-1、フレームn、フレームn+1それぞれについての動きベクトルを検出するようにしてもよい。このとき、関数生成部２３では、フレームn-2、フレームn-1、フレームn、フレームn+1それぞれについての動きベクトルの始点及び終点に基づいて、回帰関数が生成される。
さらに、第１及び第２の実施の形態では、フレームnから抽出した予測タップ及びクラスタップ等に基づいて、未来方向に存在するフレームmを生成することとしたが、例えば、フレームn+1から抽出した予測タップ及びクラスタップ等に基づいて、過去方向に存在するフレームmを生成するようにしてもよい。
また、予測タップ抽出部２５は、例えば３×３画素等の矩形状に配置された複数の画素を予測タップとして抽出したが、これに限定されず、十字の形状、ひし形状等に配置された複数の画素を予測タップとして抽出するようにしてもよい。このことは、クラスタップ抽出部２６が抽出するクラスタップについても同様である。
さらに、選別部２２が、動きベクトルの選別結果を、予測タップ抽出部２５に供給するように構成すれば、予測タップ抽出部２５が、選別部２２からの選別結果に基づいて、抽出する予測タップの形状を変化させるようにすることが可能である。
すなわち、例えば、予測タップとして抽出しようとしている所定の画素についての動きベクトルが、他の動きベクトルと大きく異なる動きベクトルであるとの選別結果が、選別部２２から予測タップ抽出部２５に供給された場合、予測タップ抽出部２５は、他の動きベクトルと大きく異なる動きベクトル（の始点又は終点）に対応する所定の画素を、予測タップの一部として抽出しない形状のものを、予測タップとして抽出するようにしてもよい。
この場合、予測タップとして用いることが不適切な画素が除外されるように、予測タップが抽出されるため、より高品質な第２の動画像を生成することが可能となる。
なお、抽出される予測タップの形状が変化することに対応して、抽出されるクラスタップの形状、係数メモリ２９から予測演算部３０に出力される予測係数等も変化する。
また、第２の実施の形態において、予測演算部１４２が、所定の画素の中心位置を中心とする３×３画素のブロックを構成する画素（の画素値）それぞれを同時に予測し、予測フレームメモリ３１に供給して、そのまま記憶させることとしたが、予測した画素値を、所定の画素の中心位置からの距離に応じた所定の値を乗算した上で、予測フレームメモリ３１に記憶させるようにしてもよい。
なお、上述した図９及び図１７の画像変換処理では、フレームn等に基づいて、新たなフレームmを生成することにより、第１の動画像を、より高いフレームレートの第２の動画像に変換することとしたが、第１及び第２の動画像をどのように定義するかによって、画像処理装置１は、第１の動画像から、より高品質な第２の動画像を生成する様々な画像変換処理を実現することができる。
すなわち、例えば、第１の動画像を低解像度の動画像とするとともに、第２の動画像を、第１の画像データよりも解像度が高い高解像度の動画像とすれば、図９及び図１７の画像変換処理は、解像度を向上させて高品質化（高画質化）させる解像度向上処理ということができる。この場合、第１の動画像を構成するフレームnが、より解像度が向上した新たなフレームに変換される。
また、例えば、第１の動画像を低SNR(signal to noise ratio)の動画像とするとともに、第２の動画像を、第１の動画像よりもSNRが高い高SNRの動画像とすれば、図９及び図１７の画像変換処理は、ノイズを除去して高品質化させるノイズ除去処理ということができる。この場合、第１の動画像を構成するフレームnが、より高SNRの新たなフレームに変換される。
なお、解像度向上処理、及びノイズ除去処理では、それぞれ、対応する学習により予め求められた予測係数が用いられる。
また、第１及び第２の実施の形態では、第１の動画像を構成するフレームを対象として処理を行うこととしたが、第１の動画像が、複数のフィールドにより構成されている場合には、フィールドを対象として処理を行うことが可能である。
なお、本発明を適用した画像処理装置としては、例えば、テレビジョン受像機やハードディスクレコーダなどに適用することが可能である。
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
[コンピュータの構成例]
図２１は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に記録されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
第１の実施の形態である画像処理装置の構成例を示すブロック図である。 被写体の予測位置を検出する検出方法を説明する図である。 予測タップの抽出方法を説明する図である。 予測タップの抽出方法を説明する他の図である。 欠落画素を生成する生成方法を説明する図である。 動きクラス分類部の詳細な構成例を示すブロック図である。 動き量クラス分類部が行う処理を説明する図である。 角度クラス分類部及びノルムクラス分類部が行う処理を説明する図である。 画像変換処理を説明するフローチャートである。 動きクラス分類処理を説明するフローチャートである。 学習装置の構成例を示すブロック図である。 第２の動画像を構成するフレームの一例を示す図である。 フレームn上の予測タップを示す図である。 第２の実施の形態である画像処理装置の構成例を示すブロック図である。 予測演算部及び注目画素設定部が行う詳細な処理を説明する図である。 同一の中心位置で、複数の画素値が予測される場合を説明する図である。 他の画像変換処理を説明するフローチャートである。 他の学習装置の構成例を示すブロック図である。 画素以下クラスを省略する方法を説明する図である。 角度クラスを省略する方法を説明する図である。 コンピュータの構成例を示すブロック図である。
符号の説明
１ 画像処理装置， ２１ 動き検出部， ２２ 選別部， ２３ 関数生成部， ２４ 予測位置検出部， ２５ 予測タップ抽出部， ２６ クラスタップ抽出部， ２７ 波形クラス分類部， ２８ 動きクラス分類部， ２９ 係数メモリ， ３０ 予測演算部， ３０a 注目画素設定部， ３１ 予測フレームメモリ， ３２ 予測ゲインメモリ， ３３ 欠落画素生成部， ６１ 画素以下クラス分類部， ６２ 動き量クラス分類部， ６３ 角度クラス分類部， ６４ ノルムクラス分類部， ６５ 動きクラス決定部， １２１ 画像処理装置， １４１ 係数メモリ， １４２ 予測演算部， １４２a 注目画素設定部， １４３ ゲイン正規化部

Claims (6)

  1. 第１の画像データから、より高品質な第２の画像データを生成する画像処理装置において、
    前記第１の画像データ上の被写体の動きを表す動き情報を取得する取得手段と、
    前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数を生成する生成手段と、
    前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置を検出する検出手段と、
    前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかを、生成対象である注目画素に設定する設定手段と、
    前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップを、前記第１の画像データから抽出する予測タップ抽出手段と、
    前記回帰関数に基づいて、前記予測タップを、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類する動きクラス分類手段と、
    学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数を出力する予測係数出力手段と、
    出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素を予測する予測演算手段と
    を含む画像処理装置。
  2. 前記設定手段は、前記第２の画像データにおける前記被写体の前記予測位置に基づいて、前記第２の画像データを構成する複数の画素からなるブロックを検出するとともに、前記ブロックを構成する画素を、順次、注目画素に設定し、
    前記予測演算手段は、出力された前記予測係数のうち、前記ブロックにおける前記注目画素の位置に対応する予測係数と、前記予測タップとを用いた前記予測演算により、前記注目画素を予測する
    請求項１に記載の画像処理装置。
  3. 複数回だけ予測された前記注目画素の画素値それぞれを加算する加算手段と、
    前記加算手段による加算結果を、前記注目画素が予測された回数で除算して正規化する正規化手段と
    をさらに含む
    請求項２に記載の画像処理装置。
  4. 前記動きクラス分類手段は、
    前記予測タップを、前記第１の画像データにおける前記被写体の位置と、前記中心位置とのずれの程度を表す複数の画素以下クラスのうちのいずれかにクラス分類する画素以下クラス分類手段と、
    前記予測タップを、前記被写体の動きボケによるボケ量の増減の程度を表す複数の動きボケクラスのうちのいずれかにクラス分類する動きボケクラス分類手段と、
    前記予測タップを、前記被写体の移動方向を表す複数の方向クラスのうちのいずれかにクラス分類する方向クラス分類手段と、
    前記予測タップを、前記被写体の移動量を表す複数の移動量クラスのうちのいずれかにクラス分類する移動量クラス分類手段と、
    前記予測タップの前記画素以下クラス、前記予測タップの前記動きボケクラス、前記予測タップの前記方向クラス、及び前記予測タップの前記移動量クラスに基づいて、前記予測タップの前記動きクラスを決定する動きクラス決定手段と
    を含む
    請求項１，２、又は３に記載の画像処理装置。
  5. 第１の画像データから、より高品質な第２の画像データを生成する画像処理装置の画像処理方法において、
    前記画像処理装置は、
    取得手段と、
    生成手段と、
    検出手段と、
    設定手段と、
    予測タップ抽出手段と、
    動きクラス分類手段と、
    予測係数出力手段と、
    予測演算手段と
    を含み、
    前記取得手段が、前記第１の画像データ上の被写体の動きを表す動き情報を取得し、
    前記生成手段が、前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数を生成し、
    前記検出手段が、前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置を検出し、
    前記設定手段が、前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかを、生成対象である注目画素に設定し、
    前記予測タップ抽出手段が、前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップを、前記第１の画像データから抽出し、
    前記動きクラス分類手段が、前記回帰関数に基づいて、前記予測タップを、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類し、
    前記予測係数出力手段が、学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数を出力し、
    前記予測演算手段が、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素を予測する
    ステップを含む画像処理方法。
  6. 第１の画像データから、より高品質な第２の画像データを生成する画像処理装置のコンピュータを、
    前記第１の画像データ上の被写体の動きを表す動き情報を取得する取得手段と、
    前記動き情報に基づいて、前記被写体の動きによる軌跡を表す回帰関数を生成する生成手段と、
    前記回帰関数に基づいて、前記第２の画像データにおける前記被写体の位置を予測した予測位置を検出する検出手段と、
    前記予測位置に基づいて、前記第２の画像データを構成する複数の画素のうちのいずれかを、生成対象である注目画素に設定する設定手段と、
    前記第１の画像データにおける前記被写体の位置に最も近い画素の中心位置の周囲に存在する複数の画素からなる予測タップを、前記第１の画像データから抽出する予測タップ抽出手段と、
    前記回帰関数に基づいて、前記予測タップを、前記被写体の動きを表す複数の動きクラスのうちのいずれかにクラス分類する動きクラス分類手段と、
    学習用の前記第１の画像データを用いた予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記動きクラスそれぞれに対応する複数の予測係数の中から、前記予測タップの動きクラスに対応する予測係数を出力する予測係数出力手段と、
    出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記注目画素を予測する予測演算手段と
    して機能させるためのプログラム。
JP2008291227A 2008-11-13 2008-11-13 画像処理装置、画像処理方法、及びプログラム Withdrawn JP2010118940A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008291227A JP2010118940A (ja) 2008-11-13 2008-11-13 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008291227A JP2010118940A (ja) 2008-11-13 2008-11-13 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2010118940A true JP2010118940A (ja) 2010-05-27

Family

ID=42306294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008291227A Withdrawn JP2010118940A (ja) 2008-11-13 2008-11-13 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2010118940A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148957A1 (en) 2010-05-25 2011-12-01 Ricoh Company, Ltd. Surface-emitting laser device, surface-emitting laser array, optical scanner, and image forming apparatus
KR20160145615A (ko) 2014-04-23 2016-12-20 아이큐브드 연구소 주식회사 화상 출력 장치, 화상 출력 방법 및 기록 매체
KR20160146733A (ko) 2014-04-23 2016-12-21 아이큐브드 연구소 주식회사 화상 출력 장치, 화상 출력 방법 및 기록 매체
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148957A1 (en) 2010-05-25 2011-12-01 Ricoh Company, Ltd. Surface-emitting laser device, surface-emitting laser array, optical scanner, and image forming apparatus
KR20160145615A (ko) 2014-04-23 2016-12-20 아이큐브드 연구소 주식회사 화상 출력 장치, 화상 출력 방법 및 기록 매체
KR20160146733A (ko) 2014-04-23 2016-12-21 아이큐브드 연구소 주식회사 화상 출력 장치, 화상 출력 방법 및 기록 매체
US10638087B2 (en) 2014-04-23 2020-04-28 I-Cubed Research Center Inc. Image output apparatus, image output method, and storage medium
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法
CN113141475B (zh) * 2020-01-17 2024-02-02 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Similar Documents

Publication Publication Date Title
US8913822B2 (en) Learning apparatus and method, image processing apparatus and method, program, and recording medium
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
US8264600B2 (en) Image processing apparatus for converting a lower resolution image into a higher resolution image using cyclic coefficients
US20080013835A1 (en) Image processing apparatus and method, program recording medium, and program
US20130016920A1 (en) Image processing device, image processing method, program and recording medium
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP2004191856A5 (ja)
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP4277446B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006067541A (ja) 映像変換装置及び映像変換方法並びに記録媒体
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
US7672914B2 (en) Apparatus and method for generating coefficient data, apparatus and method for generating coefficient-seed data, information-signal processing apparatus, program, and medium having recorded the program thereon
KR100816593B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP6435560B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP5400655B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JP4470282B2 (ja) 画像処理装置および画像処理方法
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP2009253873A (ja) 画像処理装置及び方法、並びにプログラム
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP4182574B2 (ja) 画像情報変換装置および変換方法
JP4232430B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP5131534B2 (ja) 情報処理装置および方法、並びにプログラム
JP2009284207A (ja) 画像処理装置および方法、プログラム、並びに学習装置および方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120207