JP2013003892A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP2013003892A JP2013003892A JP2011135137A JP2011135137A JP2013003892A JP 2013003892 A JP2013003892 A JP 2013003892A JP 2011135137 A JP2011135137 A JP 2011135137A JP 2011135137 A JP2011135137 A JP 2011135137A JP 2013003892 A JP2013003892 A JP 2013003892A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- prediction
- target pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title description 110
- 238000004364 calculation method Methods 0.000 claims abstract description 86
- 230000002093 peripheral effect Effects 0.000 claims abstract description 63
- 230000010363 phase shift Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 3
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000006872 improvement Effects 0.000 abstract description 14
- 230000006870 function Effects 0.000 abstract description 10
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 100
- 238000002372 labelling Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Television Systems (AREA)
Abstract
【課題】より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができるようにする。
【解決手段】位相予測/鮮鋭感向上特徴量演算部は、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する。予測演算部は、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値を算出する。本技術は、例えば、アップコンバート機能を有する高画質化処理を行う画像処理装置に適用できる。
【選択図】図1
【解決手段】位相予測/鮮鋭感向上特徴量演算部は、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する。予測演算部は、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値を算出する。本技術は、例えば、アップコンバート機能を有する高画質化処理を行う画像処理装置に適用できる。
【選択図】図1
Description
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる画像処理装置および方法、プログラム、並びに記録媒体に関する。
近年、映像信号が多様化しており、映像信号には画像のフォーマットに関わらず様々な周波数帯域が混在している。例えば、HD (High Definition)サイズの画像でも、実はもともとSD (Standard Definition)サイズの画像がアップコンバートされている場合や、編集によりテロップや小窓画面が挿入された結果、1画面中に周波数帯域が著しくことなる箇所が混在している場合がある。また、ノイズもさまざまなレベルのものが混入している。特許文献1および特許文献2で提案されている技術は、このような多様な入力信号に対しても、その画質に応じて適応的に解像度感や鮮鋭感を向上させ、高画質化することを低コストで実現するものである。
しかしながら、特許文献1および2に記載の画像処理装置において、アップコンバートした画像の高画質化を行う場合には、入力画像に対してアップコンバートを行う処理ブロックを画像処理装置の前段に別途用意する必要があった。また、特許文献1および2に記載の画像処理装置にアップコンバート機能が含まれているとしても、どのような具体的処理によりアップコンバート機能を実現しているかは開示されていない。
本技術は、このような状況に鑑みてなされたものであり、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができるようにするものである。
本技術の一側面の画像処理装置は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部とを備える。
本技術の一側面の画像処理方法は、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む。
本技術の一側面のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する所定の画素を注目画素として、前記入力画像の前記注目画素に対応する画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
本技術の一側面の記録媒体のプログラムは、コンピュータに、入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出するステップを含む処理を実行させるためのものである。
本技術の一側面においては、入力画像を高画質化した画像を予測画像として出力する際の、予測画像を構成する画素を注目画素として、注目画素に対応する入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、注目画素と周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量が演算され、演算により得られた鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、注目画素の予測値が算出される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本技術の一側面によれば、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.本技術が適用される予測装置の構成例
2.予測装置で使用される予測係数等を学習する学習装置の構成例
1.本技術が適用される予測装置の構成例
2.予測装置で使用される予測係数等を学習する学習装置の構成例
<1.予測装置の構成例>
[予測装置のブロック図]
図1は、本技術が適用される画像処理装置としての予測装置の一実施の形態の構成例を示すブロック図である。
[予測装置のブロック図]
図1は、本技術が適用される画像処理装置としての予測装置の一実施の形態の構成例を示すブロック図である。
図1の予測装置1は、入力画像をアップコンバートした画像を生成し、出力する。即ち、予測装置1は、入力画像の画像サイズより大きい画像サイズの出力画像を予測処理により求めて出力する。
予測装置1の予測処理では、図6等を参照して後述する学習装置41で学習された予測係数などが用いられる。この学習装置41では、高画質の教師画像が入力され、その教師画像に対して、帯域制限およびノイズ付加が所定の強度で設定されて生成された画像を生徒画像として用いて、予測係数等が学習される。これにより、予測装置1では、帯域制限およびノイズ付加の観点から、入力画像を高画質化した画像を予測し、出力画像とすることができる。
予測装置1は、外部パラメータ取得部10、注目画素設定部11、及びタップ設定部12を有する。
外部パラメータ取得部10は、キーボード等の操作部(不図示)において、ユーザにより設定された外部パラメータを取得し、後述する位相予測/鮮鋭感向上特徴量演算部13などに供給する。ここで取得される外部パラメータは、学習時の帯域制限の強度に応じた外部パラメータvolr、学習時のノイズ付加の強度に応じた外部パラメータvolqなどである。
注目画素設定部11は、ユーザの指定などに基づく出力画像の画像サイズを決定するとともに、出力画像を構成する画素を、順次、注目画素として設定する。タップ設定部12は、注目画素に対応する入力画像の画素(注目対応画素)周辺の複数の画素を選択し、タップとして設定する。
本実施の形態では、タップ設定部12においてタップとして設定された画素がxijであるとする(i=1,2,・・・,N,N=入力画像の画素数,j=1,2,・・・,M,M=タップ数)。なお、出力画像は入力画像がアップコンバートされたものであるため、出力画像の画素数N'(i'=1,2,・・・,N')は入力画像の画素数Nより大となるが、以下では、入力画像と出力画像のいずれにも存在する画素で、入力画像の画素iに対応する画素が注目画素であるとして説明する。入力画像に存在しない出力画像の画素が注目画素である場合にも以下と同様に処理が可能である。
予測装置1は、位相予測/鮮鋭感向上特徴量演算部13、波形クラス分類部14、フィルタ係数DB15、画像特徴量演算部16、2分木クラス分類部17、判別係数DB18、予測係数DB19、および予測演算部20を有する。
位相予測/鮮鋭感向上特徴量演算部13(以下、鮮鋭感特徴量演算部13と称する。)は、注目画素iに対応する入力画像の周辺画素xijを用いて、次式(1)で表されるフィルタ演算(積和演算)を行い、注目画素iに対する位相予測/鮮鋭感向上特徴量parami,1およびparami,2を求める。位相予測/鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iの特徴量を表す2つのパラメータであり、以下では、第1のパラメータparami,1と第2のパラメータparami,2ともいう。第1のパラメータparami,1と第2のパラメータparami,2とでは、画像に含まれる周波数帯の適用領域が異なる。例えば、第1のパラメータparami,1は、画像の低域成分(ローパス)に対応するパラメータであり、第2のパラメータparami,2は、画像の高域成分(ハイパス)または全周波数帯に対応するパラメータである。
式(1)において、volrrは、学習時の帯域制限の強度r(r=0,・・・,R)に応じて外部から与えられる外部パラメータであり、volqqは、学習時のノイズ付加の強度q(q=0,・・・,Q-R)に応じて外部から与えられる外部パラメータである。また、volhhは、生成画素(注目画素)と周辺画素xijとの水平方向の位相h(h=0,・・・,H-(Q+R))に応じて定まるパラメータであり、volvvは、生成画素(注目画素)と周辺画素xijとの垂直方向の位相v(v=0,・・・,V-(H+Q+R))に応じて定まるパラメータである。さらに、vj,p,r,q,h,vは、フィルタ係数に相当し、波形クラス分類部14で分類された波形クラスに応じてフィルタ係数DB15から取得されるものである。
波形クラス分類部14は、注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する。具体的には、波形クラス分類部14は、注目画素iに対応する入力画像の周辺画素xijの波形パターンを所定の波形クラスにクラス分類することで、注目画素周辺の波形パターンをクラス分類する。
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、周辺画素xijの画素値がADRC処理され、その結果得られるADRCコードにしたがって、注目画素iの波形クラス番号が決定される。
例えば、KビットADRCにおいては、周辺画素xijを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素xijを構成する画素値がKビットに再量子化される。即ち、周辺画素xijを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、周辺画素xijを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
[ADRC処理によるクラス分類]
図2は、1ビットADRCにより注目画素iの波形クラス番号を求める例を示している。
図2は、1ビットADRCにより注目画素iの波形クラス番号を求める例を示している。
周辺画素xijを構成する画素が1ビットADRC処理された場合には、その周辺画素xijを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより、各画素の画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。このように周辺画素xijをADRC処理して得られるADRCコードを、波形クラス分類部14は、波形クラス番号としてフィルタ係数DB15に出力する。
図1に戻り、フィルタ係数DB15は、波形クラスごとのフィルタ係数vj,p,r,q,h,vを記憶し、波形クラス分類部14から供給される波形クラス番号に応じたフィルタ係数vj,p,r,q,h,vを鮮鋭感特徴量演算部13に供給する。これにより、注目画素iの周辺画素xijの波形パターンを詳細に分類して適応処理することが可能となり、高性能な任意位相での予測処理を行うことができる。
[フィルタ係数の学習について]
波形クラスごとのフィルタ係数vj,p,r,q,h,vは、後述する判別係数zp,r,qおよび予測係数wk,r,qの学習より前に、別途学習により求められて、フィルタ係数DB15に格納される。
波形クラスごとのフィルタ係数vj,p,r,q,h,vは、後述する判別係数zp,r,qおよび予測係数wk,r,qの学習より前に、別途学習により求められて、フィルタ係数DB15に格納される。
そこでまず、波形クラスごとのフィルタ係数vj,p,r,q,h,vの学習について説明する。
初めに、上述した式(1)の意味について説明する。上述した式(1)は、ボリュームvolが、帯域制限、ノイズ付加、水平方向の画素位相(画素位置)、垂直方向の画素位相(画素位置)についての4種類ある場合の式であり、説明を簡単にするため、ボリュームvolが1種類の場合について考える。ボリュームvolが1種類の場合には、式(1)に対応する式は、式(2)で表される。
式(2)の一番右側の項は、式(3)で表される置き換えを行ったものであり、フィルタ係数としてのwjがvolrのR次式で表すことができることを意味する。式(2)のvolr(0≦volr≦1)は、例えば、鮮鋭感のレベルを表すボリューム軸の値(ボリューム軸値)である。ボリューム軸値volrの役割は、その値を制御することにより、各タップのフィルタ係数wjを連続的に変化させ、フィルタ演算結果画像の鮮鋭感の強弱を調整することにある。
式(3)のフィルタ係数vj,rは、後述するフィルタ係数学習装置において、教師画像の各画素tsの画素値と、その画素tsに対応する生徒画像の周辺画素xs,i,jの画素値から求められる予測値との二乗誤差を最小化する値として求められる。即ち、フィルタ係数vj,rは、式(4)を解くことにより求めることができる。
式(4)において、ts及びxs,i,jは、画素ts及び周辺画素xs,i,jの画素値(輝度値)を表し、samplenumは、学習に用いられるサンプル数に対応する。実際に学習する際には、図3に示すように9点等の離散的なボリューム軸値volrが設定され、それぞれに対応する学習対(教師画像と生徒画像の対)が用意される。そして、学習対のサンプルデータを用いて、式(4)を解くことにより、フィルタ係数vj,rが求められる。
図4は、フィルタ係数vj,rを学習するフィルタ係数学習装置の構成例を示すブロック図である。
図4のフィルタ係数学習装置30は、学習対生成部31、タップ設定部32、タップ抽出部33、波形クラス分類部34、および正規方程式演算部35により構成される。
フィルタ係数学習装置30を構成する各部について、処理動作の順に説明する。
学習対生成部31には、学習対を生成するための入力画像と、外部パラメータであるボリューム軸値volrが入力され、学習対生成部31は、ボリューム軸値volrに対応する学習対(教師画像と生徒画像の対)のデータを生成する。なお、後述するように、生徒画像が入力画像として学習対生成部31に入力され、生徒画像から教師画像を生成して学習対を生成する場合と、教師画像が入力画像として学習対生成部31に入力され、教師画像から生徒画像を生成して学習対を生成する場合の両方があり得る。なお、教師画像と生徒画像の画像サイズは、後述するように同一にすることができる。
タップ設定部32は、教師画像を構成する各画素を順次、注目画素に設定し、注目画素の周辺画素をタップとして設定する。ここで設定される周辺画素が、式(4)のxs,i,jに相当する。
タップ抽出部33は、タップ設定部32の設定にしたがい、学習対生成部31から供給される生徒画像から、注目画素の周辺画素xs,i,j(の画素値)をタップとして抽出する。抽出されたタップは、波形クラス分類部34と正規方程式演算部35に供給される。
波形クラス分類部34は、図1の波形クラス分類部14と同様の処理を行う。即ち、波形クラス分類部34は、注目画素の周辺画素xs,i,j(の画素値)に基づいて、注目画素の波形パターンを所定の波形クラスに分類する。波形クラスに分類された結果である波形クラス番号が正規方程式演算部35に供給される。
正規方程式演算部35には、ボリューム軸値volrと波形クラス番号ごとに、注目画素の画素tsおよび周辺画素xs,i,jの画素値が、多数の学習対のサンプルデータについて集められる。正規方程式演算部35は、波形クラスごとに式(4)を解くことにより、フィルタ係数vj,rを求める。
そして、フィルタ係数vj,rが求まると、ボリューム軸値volrを与えると、上述の式(3)により、フィルタ係数wjを求めることができる。
フィルタ係数vj,p,r,q,h,vを求める場合には、学習対生成部31において生成される学習対のデータが、帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr,volq,volh,volvの様々な組み合わせによって生成される点が異なるだけで、基本的に同様に処理で求めることができる。帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相のボリュームvolr,volq,volh,volvを、様々な組み合わせにより求めた学習対のデータを用いてフィルタ係数vj,p,r,q,h,vを求めることにより、任意の帯域制限、ノイズ付加、水平方向の画素位相、及び、垂直方向の画素位相の画素値を求めるためのフィルタ係数vj,p,r,q,h,vを求めることができる。
なお、第1のパラメータparami,1を算出するためのフィルタ係数vj,p,r,q,h,vと、第2のパラメータparami,2を算出するためのフィルタ係数vj,p,r,q,h,vは、図4のフィルタ係数学習装置30を用いて、別々に学習される。
フィルタ係数学習装置30によるフィルタ係数学習処理において、教師画像と生徒画像との間の位相の関係は、第1のパラメータparami,1を算出する場合と、第2のパラメータparami,2を算出する場合とで合わせる必要がある。
一方、帯域制限については、第1のパラメータparami,1が画像の低域成分(ローパス)に対応するパラメータであり、第2のパラメータparami,2が画像の高域成分(ハイパス)または全周波数帯に対応するパラメータであるので、第1のパラメータparami,1を算出する場合と、第2のパラメータparami,2を算出する場合とで異なるようにする必要がある。
その際、第1のパラメータparami,1を算出するためのフィルタ係数vj,p,r,q,h,vは、ローパスの特徴を有する必要があるので、教師画像は生徒画像よりもボケた画像とする必要がある。そのため、学習対生成部31では、入力画像として生徒画像が入力され、生徒画像に対して、適宜、帯域制限、位相シフト、ノイズ付加を行って教師画像が生成される。
一方、第2のパラメータparami,2を算出するためのフィルタ係数vj,p,r,q,h,vは、ハイパスまたは全帯域パスの特徴を有する必要があるので、入力画像として教師画像が入力され、教師画像に対して、適宜、位相シフト、ノイズ付加、帯域制限を行って生徒画像が生成される。
ノイズの付加については、第1のパラメータparami,1を算出する場合と、第2のパラメータparami,2を算出する場合とで同一でもよいし、異なるようにしてもよい。
以上のようにして学習され、フィルタ係数DB15に記憶されているフィルタ係数vj,p,r,q,h,vは、波形クラス分類部14で分類された波形クラスに対応するものである。これにより、式(1)で得られる位相予測/鮮鋭感向上特徴量parami,1およびparami,2は、注目画素iに対応する入力画像の周辺画素xijの波形パターンに応じた適切なものとなる。
そして、式(1)で得られる位相予測/鮮鋭感向上特徴量parami,1およびparami,2には、ノイズや帯域を加味しながら、鮮鋭感を向上させる予測処理を任意位相で行うための情報が含まれる。
図1に戻って、画像特徴量演算部16は、注目画素iの画像特徴量を演算する。具体的には、画像特徴量演算部16は、以下の式(5)乃至式(7)で表される、注目画素iに対応する周辺画素xijの最大値xi (max)および最小値xi (min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。注目画素iに対応する周辺画素xijの最大値xi (max)および最小値xi (min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を、それぞれ、注目画素iの第3のパラメータparami,p=3および第4のパラメータparami,p=4、並びに第5のパラメータparami,p=5ともいう。
式(7)において、(h),(v),(s1),(s2)それぞれは、隣接差分を計算する方向が水平方向、垂直方向、右上斜め方向、右下斜め方向であることを表し、O,P.Qそれぞれは、水平方向、垂直方向、斜め方向(右上・右下)の隣接画素の算出個数に対応する。第5のパラメータparami,p=5は、水平方向、垂直方向、右上斜め方向、右下斜め方向の全ての差分絶対値の最大値のなかの、さらに最大値とされる。なお、入力画像と出力画像の画素位置(位相)が一致しない注目画素の画素値は、画素位置が一致する周辺の画素の加重平均等で求めることができ、その場合の計算に、第3乃至第5のパラメータparami,p=3乃至parami,p=5を使用することもできる。
本実施の形態において、第1乃至第5のパラメータparami,p=1乃至parami,p=5それぞれを計算する際に設定される周辺画素xij(j=1,2,・・・,M)は、説明を簡単にするため同一であるとするが、別々にしてもよい。即ち、周辺画素xij(j=1,2,・・・,M)のMの値は、第1乃至第5のパラメータparami,p=1乃至parami,p=5それぞれで異なっていてもよい。
2分木クラス分類部17は、鮮鋭感特徴量演算部13および画像特徴量演算部16から供給される第1乃至第5のパラメータparami,p=1乃至parami,p=5を用いて、2分木構造を用いたクラス分類を行う。そして、2分木クラス分類部17は、クラス分類した結果である予測クラス番号(予測クラスコード)Ckを予測係数DB19に出力する。
[2分木クラス分類部17のクラス分類]
図5は、2分木構造を用いたクラス分類を概念的に示した図である。なお、図5は、8つのクラスにクラス分類する場合の例である。
図5は、2分木構造を用いたクラス分類を概念的に示した図である。なお、図5は、8つのクラスにクラス分類する場合の例である。
2分木クラス分類部17は、分岐点番号1ないし7の各分岐点において、次式(8)の線形予測式を用いて判別予測値diを演算する。
式(8)において、volrrおよびvolqqは、式(1)と同様の外部パラメータであり、zp,r,qは、各分岐点において予め学習により求められた判別係数であり、判別係数DB18から取得される。なお、式(8)におけるR',Q'は、rおよびqの次数が式(1)のR,Qとは異なっていてもよいことを表す。
より具体的に説明すると、初めに、2分木クラス分類部17は、分岐点番号1の分岐点において、式(8)を演算し、得られた判別予測値diが0未満か、または、0以上であるかを判定する。分岐点番号1の分岐点における式(8)の演算では、予め学習により得られている分岐点番号1の分岐点用の判別係数zp,r,qが、判別係数DB18から取得されて代入される。
分岐点番号1の分岐点における式(8)の判別予測値diが0未満である場合、2分木クラス分類部17は、'0'をコードとして割り当て、分岐点番号2の分岐点へ降下する。一方、分岐点番号1の分岐点における式(8)の判別予測値diが0以上である場合、2分木クラス分類部17は、'1'をコードとして割り当て、分岐点番号3の分岐点へ降下する。
分岐点番号2の分岐点では、2分木クラス分類部17は、さらに、式(8)を演算し、得られた判別予測値diが0未満か、または、0以上であるかを判定する。分岐点番号2の分岐点における式(8)の演算では、予め学習により得られている分岐点番号2の分岐点用の判別係数zp,r,qが、判別係数DB18から取得されて代入される。
分岐点番号2の分岐点における式(8)の判別予測値diが0未満である場合、2分木クラス分類部17は、先に割り当てたコード'0'の下位のコードとして'0'を割り当て、分岐点番号4の分岐点へ降下する。一方、分岐点番号2の分岐点における式(8)の判別予測値diが0以上である場合、2分木クラス分類部17は、先に割り当てたコード'0'の下位のコードとして'1'を割り当て、分岐点番号5の分岐点へ降下する。
その他の分岐点番号3乃至7においても、同様の処理が行われる。これにより、図5の例では、式(8)の判別予測値diの演算が3回行われ、3桁のコードが割り当てられる。この割り当てられた3桁のコードが予測クラス番号Ckとなる。2分木クラス分類部17では、外部パラメータvolrrおよびvolqqを制御することにより、所望の帯域およびノイズ量に応じたクラス分類が可能となる。
図1に戻り、判別係数DB18は、上述した2分木構造を用いたクラス分類を行う際の各分岐点の判別係数zp,r,qを記憶する。
予測係数DB19は、2分木クラス分類部17で算出される予測クラス番号Ckごとに、後述する学習装置41(図7)で予め算出された予測係数wk,r,qを記憶する。
予測演算部20は、次式(9)で表される位相予測/鮮鋭感向上特徴量parami,1およびparami,2と予測係数wk,r,qの積和演算で定義される予測式を計算することにより、注目画素iの予測値(出力画素値)を算出する。
[予測処理のフローチャート]
次に、図6のフローチャートを参照して、入力画像をアップコンバートし、かつ、高画質化した画像を予測生成する予測処理について説明する。この処理は、例えば、入力画像が入力されたとき、開始される。なお、出力画像の画像サイズは、図6の処理開始前に設定されているものとする。
次に、図6のフローチャートを参照して、入力画像をアップコンバートし、かつ、高画質化した画像を予測生成する予測処理について説明する。この処理は、例えば、入力画像が入力されたとき、開始される。なお、出力画像の画像サイズは、図6の処理開始前に設定されているものとする。
初めに、ステップS1において、外部パラメータ取得部10は、ユーザにより設定された外部パラメータvolr及びvolqを取得し、鮮鋭感特徴量演算部13及び2分木クラス分類部17に供給する。
ステップS2において、注目画素設定部11とタップ設定部12は、注目画素とタップを設定する。即ち、注目画素設定部11が、生成する予測画像を構成する画素のうちの所定の画素を注目画素に設定する。そして、タップ設定部12が、注目画素に対応する入力画像の画素周辺の複数の画素を、タップとして設定する。
ステップS3において、画像特徴量演算部16は、注目画素iの第3乃至第5のパラメータparami,p=3,4,5を求める。具体的には、画像特徴量演算部16は、式(5)乃至式(7)で表される、周辺画素xijの最大値xi (max)および最小値xi (min)、並びに隣接画素の差分絶対値の最大値|xi'|(max)を求める。周辺画素xijの最大値xi (max)が第3のパラメータparami,3となり、周辺画素xijの最小値xi (min)が第4のパラメータparami,4となり、差分絶対値の最大値|xi'|(max)が第5のパラメータparami,5となる。
ステップS4において、波形クラス分類部14は、注目画素の波形パターンを所定の波形クラスにクラス分類する。例えば、波形クラス分類部14は、注目画素iに対応する入力画像の周辺画素xijの画素値を1ビットADRC処理し、その結果得られるADRCコードを、波形クラス番号として出力する。
ステップS5において、鮮鋭感特徴量演算部13は、注目画素iの第1と第2のパラメータparami,p=1,2を求める。具体的には、鮮鋭感特徴量演算部13は、波形クラス番号に基づいてフィルタ係数DB15から取得したフィルタ係数vj,p,r,q,h,v、外部パラメータ取得部10から供給された外部パラメータvolrr及びvolqq、並びに、注目画素と周辺画素xijとの水平方向及び垂直方向の位相(位置)に応じて定まるパラメータvolhh及びvolvvを用いて、式(1)で表されるフィルタ演算を行う。
ステップS6において、2分木クラス分類部17は、ステップS3およびステップS5で算出された第1乃至第5のパラメータparami,p=1乃至parami,p=5を用いて、2分木によるクラス分類を行う。そして、2分木クラス分類部17は、クラス分類した結果である予測クラス番号Ckを予測係数DB19に出力する。
ステップS7において、予測演算部20は、式(9)で表される予測式を計算することにより、注目画素iの予測値(出力画素値)を算出する。
ステップS8において、注目画素設定部11は、予測画像を構成する全ての画素を、注目画素に設定したかを判定する。
ステップS8で、まだ全ての画素を注目画素に設定していないと判定された場合、処理はステップS2に戻り、上述したステップS2乃至S8の処理が繰り返される。即ち、まだ注目画素に設定されていない予測画像の画素が次の注目画素に設定され、予測値が算出される。
一方、ステップS8で、全ての画素を注目画素に設定したと判定された場合、処理はステップS9に進み、予測演算部20は、生成した予測画像を出力して、処理を終了する。
以上のようにして、予測装置1では、入力画像をアップコンバートし、かつ、高画質化(鮮鋭化)した画像を予測画像として生成して、出力することができる。
<2.学習装置の構成例>
次に、上述した予測装置1で使用される予測係数wk,r,qなどを、学習により求める学習装置について説明する。
次に、上述した予測装置1で使用される予測係数wk,r,qなどを、学習により求める学習装置について説明する。
[学習装置のブロック図]
図7は、学習装置41の構成例を示すブロック図である。
図7は、学習装置41の構成例を示すブロック図である。
学習装置41には、学習の教師となる教師画像が入力画像として入力され、学習対生成部51に供給される。
学習対生成部51は、入力画像である教師画像から生徒画像を生成し、学習処理させるための教師画像と生徒画像の対のデータ(学習対)を生成する。学習対生成部51では、生成される生徒画像が、予測装置1に入力される画像を模擬したものとなるように、多種多様な学習対の画像を生成することが望ましい。従って、入力画像には、自然画だけでなく、人工画も含まるようにする。ここで、自然画とは、自然界に存在するものをそのまま撮像することにより得られる画像である。また、人工画とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報が自然画よりはっきりした、すなわち、平坦部分が多い人工的な画像である。テロップやCG (Computer Graphics)画像は、人工画に含まれる。
[学習対生成部51の詳細構成例]
図8は、学習対生成部51の詳細な構成例を示すブロック図である。
図8は、学習対生成部51の詳細な構成例を示すブロック図である。
学習対生成部51は、帯域制限/位相シフト部71、ノイズ付加部72、及び強度設定部73を少なくとも有する。ダウンサンプリング部74は、必要に応じて設けられる。
帯域制限/位相シフト部71は、入力画像に対して、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限(カット)する処理を行う帯域制限処理、及び、入力画像の各画素の位相(位置)をシフトする位相シフト処理を行う。帯域制限の強度(例えば、帯域幅)および位相シフトの強度(例えば、位相量)は、強度設定部73により設定される。
ノイズ付加部72は、帯域制限/位相シフト部71から供給される画像(入力画像)に対して、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加した画像を生成し、処理後の画像を生徒画像として出力する。ノイズの強度は、強度設定部73により設定される。
強度設定部73は、帯域制限/位相シフト部71に対して帯域制限および位相シフトの強度を設定するとともに、ノイズ付加部72に対してノイズの強度を設定する。
ダウンサンプリング部74は、入力画像の画像サイズを、所定の画像サイズにダウンサンプリング処理し、処理後の画像を、生徒画像として出力する。例えば、ダウンサンプリング部74は、HDサイズの入力画像を、SDサイズにダウンサンプリングして出力する。なお、詳細は後述するが、ダウンサンプリング部74は省略することができる。
また、学習対生成部51は、入力された入力画像を、そのまま教師画像として出力する。
図7の学習対生成部51より後段では、入力画像として入力された高画質の教師画像と、その教師画像に対して、帯域制限処理、位相シフト処理、およびノイズ付加処理が所定の強度で実行された後、必要に応じてダウンサンプリングされて得られる生徒画像を用いて、上述した予測係数wk,r,q等が学習される。
従って、予測装置1では、入力画像をアップコンバートし、かつ、高画質化(鮮鋭化)した画像を予測画像として出力することができる。また、入力画像をノイズ除去した画像を予測画像として出力することができる。
さらに、位相シフトのシフト量を様々な値とすることで、任意の位相の画素を予測することができるようになり、任意倍率ズームをした画像であって、高画質化(鮮鋭化)した画像を予測画像として出力することができる。
図7の説明に戻り、注目画素設定部52は、教師画像を構成する各画素を、順次、注目する注目画素として設定する。注目画素設定部52で設定された注目画素に対して、学習装置41の各部の処理が行われる。
タップ設定部53は、注目画素に対応する生徒画像の画素(注目対応画素)周辺の複数の画素を選択し、タップとして設定する。
図9は、タップの要素となる画素の例を示す図である。同図は、水平方向をx軸で表し、垂直方向をy軸で表した2次元の図である。
学習対生成部51においてダウンサンプリング部74が設けられ、学習対生成部51から出力される生徒画像の画像サイズが教師画像より小さいとし、図9において黒色が付された画素xi13が注目対応画素であるとする。この場合、タップ設定部53は、例えば、注目対応画素xi13の周辺の25個の画素xi1乃至xi25をタップとして設定する。ここで、iは、生徒画像を構成する画素を特定する変数(i=1,2,・・・,N,N=全サンプル数)である。
一方、学習対生成部51においてダウンサンプリング部74が省略され、学習対生成部51から出力される生徒画像の画像サイズが教師画像と同一であり、図9が、そのような生徒画像の注目対応画素周辺を示しているとする。この場合、タップ設定部53は、斜線を付して示される、注目対応画素xi13周辺の25個の画素xi2, xi3, xi4, xi5, xi9,xi11,xi15,xi17,・・・をタップとして設定する。
仮に、ダウンサンプリング部74が教師画像に対して1ライン(画素列/画素行)おきに間引き、生徒画像を生成したとすると、例えば、間引いた画像としての画素xi12と、間引かない画像としての画素xi11は同一となる。このように、学習対生成部51から出力される生徒画像の画像サイズが教師画像と同一である場合には、設定するタップの間隔を疎にすることで、ダウンサンプリング処理と等価となる(ダウンサンプリング処理をしていることになる)。従って、学習対生成部51においてダウンサンプリング部74は省略が可能である。以下では、タップの間隔を疎にするようにタップが設定されるものとし、教師画像と生徒画像の画像サイズは同一であるとする。
学習対生成部51で生成された生徒画像は、予測係数学習部61、予測演算部63、判別係数学習部65、および判別予測部67に供給される。
図7に戻って、フィルタ係数記憶部54は、図4のフィルタ係数学習装置30で学習され、予測装置1のフィルタ係数DB15に記憶されるものと同一の、波形クラスごとのフィルタ係数vj,p,r,q,h,vを記憶する。
フィルタ係数取得部55は、図1の波形クラス分類部14と同様に、注目画素の周辺画素xs,i,j(の画素値)に基づいて、注目画素の波形パターンを所定の波形クラスに分類し、分類結果である波形クラス(波形クラス番号)に対応するフィルタ係数vj,p,r,q,h,vを、予測係数学習部61や予測演算部63などに供給する。
予測係数学習部61は、生徒画像の注目対応画素とその周辺の画素xijの画素値から、注目画素の画素値を予測するための予測演算式の予測係数wk,r,qを学習する。ここで、予測係数学習部61には、後述するように、クラス分割部68から、2分木によるクラス分類を行った結果である予測クラス番号(予測クラスコード)Ckが供給される。よって、予測係数学習部61は、予測クラス番号Ckの予測係数wk,r,qを学習する。
式(9)のparami,1およびparami,2は、上述の式(1)で表され、式(1)のvolrr、volqq、volhh、及びvolvvは、学習対生成部51の強度設定部73で設定される強度r,qや、注目画素と周辺画素xijとの位相h,vに応じて決定されるパラメータ(固定値)である。従って、式(9)は、予測係数wk,r,qの線形予測式であるから、教師画像の画素値ti(すなわち真値ti)と注目画素の画素値yiとの誤差を最小とするような最小二乗法を解くことにより、予測係数wk,r,qを求めることができる。
予測係数記憶部62は、予測係数学習部61で求められた予測演算式の予測係数wk,r,qを記憶する。
予測演算部63は、予測係数記憶部62に記憶されている予測係数wk,r,qと、フィルタ係数取得部55から供給されるフィルタ係数vj,p,r,q,h,vを用いて、注目画素の画素値yiを予測する。予測演算部63は、予測装置1の予測演算部20と同様の、式(9)で表される予測式を用いて、注目画素の画素値yiを予測する。注目画素の画素値yiを予測値yiともいう。
ラベリング部64は、予測演算部63により演算された予測値yiを、教師画像の注目画素の画素値である真値tiと比較する。ラベリング部64は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスAとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスBとしてラベリングする。すなわち、ラベリング部64は、予測演算部63の演算結果に基づいて、注目画素を判別クラスAと判別クラスBに分類する。
図10は、ラベリング部64の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル(教師画像の画素と生徒画像の画素との組み合わせ)の相対頻度を表している。
同図に示されるように、予測演算部63の演算により、予測値yiから真値tiを引いた差分値が0となったサンプルの頻度が最も高くなっている。差分値が0である場合、予測演算部63により正確な予測値(=真値)が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、予測係数学習部61により予測係数wk,r,qが学習されたので、式(9)により正確な予測値が演算される可能性は高いといえる。
しかし、差分値が0以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な予測係数wk,r,qを学習する余地があると考えられる。
本技術では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として予測係数wk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数wk,r,qを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として予測係数wk,r,qを学習すれば、それらの注目画素に対してより適切な予測係数wk,r,qを学習することができると仮定する。このため、ラベリング部64は、予測演算部63の演算結果に基づいて、注目画素を判別クラスA(コード'0')と判別クラスB(コード'1')に分類する。なお、判別クラスAが、上述した2分木によるクラス分類のコード'0'に対応し、判別クラスBが、2分木によるクラス分類のコード'1'に対応する。
そして、この後、判別係数学習部65の処理によって、生徒画像の画素値に基づいて、注目画素を判別クラスA(コード'0')と判別クラスB(コード'1')に分類するための予測演算に用いられる判別係数zk,r,qが学習されるのである。すなわち、本技術においては、真値が不明であっても、入力画像の画素値に基づいて、教師画像の注目画素を判別クラスAと判別クラスBに分類できるようにするのである。
なお、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスAとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスBとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスAと判別クラスBにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
図7に戻って、判別係数学習部65は、注目対応画素周辺の周辺画素xijの画素値から、判別クラスA(コード'0')と判別クラスB(コード'1')を判定するための予測値の演算に用いられる判別係数zk,r,qを、例えば、最小二乗法を用いて学習する。
判別係数zk,r,qの学習においては、注目対応画素周辺の周辺画素xijから、判別クラスAと判別クラスBを判定するための判別予測値yi'が式(10)により求められるものとする。なお、式(10)の計算には、注目画素を複数の波形クラスのうちの所定の波形クラスに分類した結果の波形クラスに対応するフィルタ係数vj,p,r,q,h,vが、フィルタ係数取得部55から供給されて用いられる。
判別係数学習部65は、式(10)の判別予測値yi'を、真値tiとの関係式である次式(11)に代入し、式(11)の誤差項の全サンプル分の自乗和を式(12)により演算する。
式(13)のNAとNBは、それぞれ判別クラスAと判別クラスBに属するサンプルの総数である。また、式(13)のSjk (A)とSjk (B)は、それぞれ判別クラスAと判別クラスBに属するサンプル(タップ)を用いて求めた分散・共分散値であり、式(14)により求められる。
このようにして学習された判別係数zk,r,qは、タップの要素数と同じ要素数のベクトルとなる。学習された判別係数zk,r,qは、判別係数記憶部66に供給され、記憶される。
学習された判別係数zk,r,qを用いて判別予測部67により判別予測値yi'が演算されて、注目画素が判別クラスAに属するものであるか判別クラスBに属するものであるかを判定することができる。判別予測部67は、式(10)に注目対応画素の周辺画素xijの画素値と判別係数zk,r,qを代入して判別予測値yi'を演算する。
そして、判別予測部67による演算の結果、判別予測値yi'が0以上となった注目画素は、判別クラスAに属する画素であり、判別予測値yi'が0未満となった注目画素は、判別クラスBに属する画素であるものと推定できる。
しかしながら、判別予測部67による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式(10)により演算された判別予測値yi'は、教師画像の画素値(真値)に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスAに属する画素が判別クラスBに属する画素として推定されてしまったり、実際には判別クラスBに属する画素が判別クラスAに属する画素として推定されてしまうことがある。
そこで、本技術においては、反復して判別係数zk,r,qを学習させることにより、より精度の高い予測を可能とする。
すなわち、クラス分割部68が、判別予測部67の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスA(コード'0')に属する画素と判別クラスB(コード'1')に属する画素とに分割する。
そして、予測係数学習部61が、クラス分割部68により判別クラスAに属する画素のみを対象として、上述した場合と同様に予測係数wk,r,qを学習して予測係数記憶部62に記憶する。予測演算部63は、クラス分割部68により判別クラスAに属するとされた画素のみを対象として、上述した場合と同様に式(9)の予測式を用いて予測値yiを演算する。
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部64がクラス分割部68により判別クラスA(コード'0')に属するとされた画素を、さらに判別クラスA(コード'0')と判別クラスB(コード'1')にラベリングする。
また、予測係数学習部61が、クラス分割部68により判別クラスBに属するとされた画素のみを対象として、上述した場合と同様に予測係数wk,r,qを学習する。予測演算部63は、クラス分割部68により判別クラスBに属するとされた画素のみを対象として、上述した場合と同様に式(9)の予測式を用いて予測値yiを演算する。
このようにして、得られた予測値yiと真値tiとを比較して、ラベリング部64がクラス分割部68により判別クラスB(コード'1')に属するとされた画素を、さらに判別クラスA(コード'0')と判別クラスB(コード'1')にラベリングする。
つまり、生徒画像の画素が、4つの集合に分割されることになる。第1の集合は、クラス分割部68により判別クラスAに属するとされた画素であって、ラベリング部64により判別クラスAにラベリングされた画素の集合(コード'00')である。第2の集合は、クラス分割部68により判別クラスAに属するとされた画素であって、ラベリング部64により判別クラスBにラベリングされた画素の集合(コード'01')である。第3の集合は、クラス分割部68により判別クラスBに属するとされた画素であって、ラベリング部64により判別クラスAにラベリングされた画素の集合(コード'10')である。第4の集合は、クラス分割部68により判別クラスBに属するとされた画素であって、ラベリング部64により判別クラスBにラベリングされた画素の集合(コード'11')である。
このように、判別係数学習部65によって学習される、判別クラスA(コード'0')と判別クラスB(コード'1')に分類するための判別係数zk,r,qが、図5に示した、2分木によるクラス分類において、分岐点番号ごと取得される判別係数zp,r,qとなる。即ち、1回目に判別クラスA(コード'0')と判別クラスB(コード'1')に分類するための判別係数zk,r,qが、分岐点番号1の判別係数zp,r,qに相当する。また、1回目に判別クラスA(コード'0')に属するとされた画素に対して、判別クラスA(コード'0')と判別クラスB(コード'1')に分類するための判別係数zk,r,qが、分岐点番号2の判別係数zp,r,qに相当する。判別係数記憶部66に記憶された各分岐点の判別係数zp,r,qが、予測装置1に供給され、判別係数DB18に記憶される。
判別クラスAと判別クラスBに対応するコードを、反復回数順に、上位から下位ビットに繋げた値が予測クラス番号(予測クラスコード)Ckに対応している。従って、3回反復して判別を行った場合、図5に示したような、3ビットからなるコードが予測クラス番号Ckとされる。また、上述した反復処理では、予測クラス番号Ckに対応する予測係数wk,r,qも求められている。反復処理において求められ、予測係数記憶部62に記憶された予測クラス番号Ckごとの予測係数wk,r,qは、予測装置1に供給され、予測係数DB19に記憶される。
なお、予測装置1の2分木クラス分類部17における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には各分岐点において用いられた予測係数wk,r,qも必要になる。
ここでは、主として、判別係数zk,r,qの学習が3回反復して行われる例について説明したが、反復回数は、1回であってもよい。すなわち、第1回目の判別係数zk,r,qの学習が終了した後、判別係数学習部65による判別係数zk,r,qの演算、判別予測部67による判別予測が繰り返し実行されないようにしてもよい。
[学習対生成処理のフローチャート]
次に、フローチャートを参照して、分岐点ごとの判別係数zk,r,q、および、予測クラス番号Ckごとの予測係数wk,r,qを学習する処理について説明する。
次に、フローチャートを参照して、分岐点ごとの判別係数zk,r,q、および、予測クラス番号Ckごとの予測係数wk,r,qを学習する処理について説明する。
初めに、図11のフローチャートを参照して、学習装置41の学習対生成部51による学習対生成処理について説明する。この処理は、所定の入力画像が学習対生成部51に供給されたとき、開始される。
ステップS21において、強度設定部73は、帯域制限、位相シフト、及びノイズの強度を設定する。即ち、強度設定部73は、帯域制限/位相シフト部71に対して、帯域制限および位相シフトの強度を設定し、ノイズ付加部72に対して、ノイズの強度を設定する。例えば、帯域制限の強度に応じて帯域幅が決定され、位相シフトの強度に応じて位相量(シフト量)が決定され、ノイズの強度に応じて付加するノイズ量が決定される。
ステップS22において、帯域制限/位相シフト部71は、設定された強度に応じて、入力画像に含まれる周波数帯のうち所定の周波数帯域を制限する処理を行う帯域制限処理、及び、入力画像の各画素の位相をシフトする位相シフト処理を入力画像に対して行う。設定される強度の値によっては、帯域制限処理または位相シフト処理のいずれか一方が実質的に行われない場合もある。
ステップS23において、ノイズ付加部72は、帯域制限/位相シフト部71から供給される画像に、設定された強度に応じたノイズを付加した画像を生成する。
ステップS24において、ダウンサンプリング部74は、ノイズ付加後の画像を、所定の画像サイズにダウンサンプリングする。ステップS24の処理は、上述したように省略することができる。
ステップS25において、学習対生成部51は、生徒画像と教師画像の対を出力する。即ち、学習対生成部51は、ダウンサンプリング後の画像を、生徒画像として出力するとともに、入力されたままの入力画像を、教師画像として出力する。
ステップS26において、学習対生成部51は、学習対の生成を終了するか否かを判定する。例えば、学習対生成部51は、多種多様な学習対の画像を生成したと判定されるまで、入力画像に対して、帯域制限、位相シフト、及びノイズの強度を、予め決定した各種の値に設定し、学習対の画像を生成した場合、学習対の生成を終了すると判定する。
ステップS26で、学習対の生成をまだ終了しないと判定された場合、処理はステップS21に戻り、それ以降の処理が繰り返される。これにより、入力画像に対して、帯域制限、位相シフト、及びノイズの強度が、予め決定した次の値に設定された学習対が生成される。
一方、ステップS26で、学習対の生成を終了すると判定された場合、学習対生成処理は終了する。
学習対生成部51には、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として供給される。学習対生成部51に、入力画像が供給される都度、図11を参照して説明した処理を実行する。これにより、多数の入力画像それぞれに対して、帯域制限、位相シフト、及びノイズの強度が様々な値に設定されて、教師画像と生徒画像の対(学習対)のデータが、多数、生成される。
[係数学習処理のフローチャート]
次に、図12のフローチャートを参照して、生成された教師画像と生徒画像の対を用いて、予測係数wk,r,q等を学習する係数学習処理について説明する。
次に、図12のフローチャートを参照して、生成された教師画像と生徒画像の対を用いて、予測係数wk,r,q等を学習する係数学習処理について説明する。
ステップS101において、判別係数学習部65は、分岐点を特定する。いまの場合、第1回目の学習の処理であるから分岐点番号1の分岐点と特定される。
ステップS102において、予測係数学習部61乃至ラベリング部64は、ラベリング処理を実行する。
ここで、図13のフローチャートを参照して、ステップS102のラベリング処理の詳細について説明する。
ステップS131において、予測係数学習部61は、図14に示す予測係数演算処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる予測係数wk,r,qが求められる。
ステップS132において、予測演算部63は、ステップS131の処理により求められた予測係数wk,r,qを用いて予測値yiを演算する。即ち、予測演算部63は、式(9)で表される予測式を用いて、注目画素の画素値yiを予測する。
ステップS133において、ラベリング部64は、ステップS132の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
ステップS134において、ラベリング部64は、ステップS133の比較結果に基づいて、注目画素(実際には、注目画素に対応するタップ)を判別クラスAまたは判別クラスBにラベリングする。
なお、ステップS132乃至ステップS134の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
このようにしてラベリング処理が実行される。
続いて、図14のフローチャートを参照して、図13のステップS131の予測係数演算処理の詳細について説明する。
ステップS151において、予測係数学習部61は、ステップS101の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、その注目画素である教師画像の画素との組み合わせを意味する。例えば、分岐点番号1の分岐点であれば、第1回目の学習の処理なので、生徒画像の全画素がサンプルとして特定される。例えば、分岐点番号2の分岐点であれば、第2回目の学習の処理の一部なので、生徒画像の画素のうち、1回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号4の分岐点であれば、第3回目の学習の処理の一部なので、生徒画像の画素のうち、1回目の学習の処理でコード'0'が付与され、2回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
ステップS152において、フィルタ取得部55は、ステップS151の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス(波形クラス番号)に対応するフィルタ係数vj,p,r,q,h,vをフィルタ係数記憶部54から取得して予測演算部63に供給する。
ステップS153において、予測係数学習部61は、ステップS151の処理で特定されたサンプルの足しこみを行う。より具体的には、予測係数学習部61は、サンプルi=1,2,・・について、注目画素の真値tiと、注目対応画素の周辺画素xij(タップ)を用いた式(9)で表されるその予測値yiとを用いた次式(16)の計算を行う。
ステップS154において、予測係数学習部61は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップS153の処理が繰り返し実行される。
ステップS154で、全サンプルを足しこんだと判定された場合、処理はステップS155に進み、予測係数学習部61は、式(16)の二乗誤差を最小とするような予測係数wk,r,qを導出する。
以上により、図12のステップS102におけるラベリング処理が終了し、処理は図12のステップS103に進む。
ステップS103において、判別係数学習部65は、図15に示す判別係数演算処理を実行する。
図15のフローチャートを参照して、図12のステップS103の判別係数演算処理の詳細について説明する。
ステップS171において、判別係数学習部65は、ステップS101の処理で特定された分岐点に対応するサンプルを特定する。ここでのサンプルは、注目画素に対応する生徒画像のタップと、注目画素についての判別クラスAまたは判別クラスBのラベリングの結果との組み合わせを意味する。例えば、分岐点番号1の分岐点であれば、第1回目の学習の処理なので、生徒画像の全画素のそれぞれがサンプルとして特定される。例えば、分岐点番号2の分岐点であれば、第2回目の学習の処理の一部なので、生徒画像の画素のうち、1回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。例えば、分岐点番号4の分岐点であれば、第3回目の学習の処理の一部なので、生徒画像の画素のうち、1回目の学習の処理でコード'0'が付与され、2回目の学習の処理でコード'0'が付与された画素のそれぞれがサンプルとして特定される。
ステップS172において、フィルタ取得部55は、ステップS171の処理で特定されたサンプルの各注目画素について、注目画素の波形パターンを複数の波形クラスのいずれかに分類し、分類結果である波形クラス(波形クラス番号)に対応するフィルタ係数vj,p,r,q,h,vをフィルタ係数記憶部54から取得して判別係数学習部65に供給する。
ステップS173において、判別係数学習部65は、ステップS171の処理で特定されたサンプルの足しこみを行う。このとき、ラベリング処理によるラベリングの結果、即ち、判別結果が判別クラスAであるかまたは判別クラスBであるかに基づいて数値が、式(12)に足しこまれていく。
ステップS174において、判別係数学習部65は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップS173の処理が繰り返し実行される。
ステップS174で、全サンプルを足しこんだと判定された場合、処理はステップS175に進み、判別係数学習部65は、式(13)乃至式(15)の演算により、判別係数zk,r,qを導出する。
以上で、判別係数演算処理が終了し、図12に戻る。
そして、処理はステップS103からステップS104に進み、予測演算部63は、ステップS103の処理により求められた判別係数zk,r,qと、生徒画像から得られるタップを用いて、判別予測値を演算する。即ち、式(10)の演算が行われ、判別予測値yi'が求められる。
ステップS105において、クラス分割部68は、ステップS104の処理により求められた判別予測値yi'が0以上であるか否かを判定する。
ステップS105において、判別予測値yi'が0以上であると判定された場合、処理は、ステップS106に進み、クラス分割部68は、当該注目画素(実際にはタップ)にコード'1'を設定する。一方、ステップS105において、判別予測値yi'が0未満であると判定された場合、処理は、ステップS107に進み、クラス分割部68は、当該注目画素(実際にはタップ)にコード'0'を設定する。
なお、ステップS104乃至ステップS107の処理は、分岐点に対応して定まる処理対象の画素のそれぞれを対象として行われる。
ステップS106またはステップS107の処理の後、処理はステップS108に進み、判別係数記憶部66は、ステップS103の処理で求められた判別係数zk,r,qを、ステップS101で特定された分岐点に対応付けて記憶する。
ステップS109において、学習装置41は、反復が終了したか否かを判定する。例えば、所定回数の反復を行うことが予め設定されている場合、規定の反復回数に達したか否かにより反復が終了したかが判定される。
ステップS109で、反復が終了していないと判定された場合、処理はステップS101に戻る。そして、ステップS101において、あらためて分岐点が特定される。いまの場合、第2回目の学習の最初の処理であるから、分岐点番号2の分岐点と特定される。
そして、同様に、ステップS102乃至S108の処理が実行される。2回目のステップS102とステップS103の処理では、例えば、1回目の学習の処理でコード'0'が付与された画素に対応する生徒画像の画素がサンプルとして特定されることになる。そして、再度、ステップS109において、反復が終了したか否かが判定される。
このように、ステップS109において反復が終了したと判定されるまで、ステップS101乃至S109の処理が繰り返し実行される。3回反復して学習することが予め設定されている場合、ステップS101で分岐点番号7の分岐点であると特定された後、ステップS102乃至S108の処理が実行され、ステップS109において、反復は終了したと判定されることになる。
このように、ステップS101乃至S109の処理が繰り返し実行されたことにより、7種類の判別係数zk,r,qが、分岐点の位置を示す分岐点番号に対応付けられて判別係数記憶部66に記憶される。
ステップS109で、反復が終了したと判定された場合、処理は、ステップS110に進む。
ステップS110において、予測係数学習部61は、予測係数演算処理を実行する。この処理は、図14を参照して説明した処理と同様なので、詳細な説明は省略するが、ステップS110の処理としての図14のステップS151では、分岐点に対応するサンプルが特定されるのではなく、各予測クラス番号Ckに対応するサンプルがそれぞれ特定される。
すなわち、ステップS101乃至S109の処理が繰り返し実行されたことにより、生徒画像の各画素は、予測クラス番号C0乃至C7のいずれかのクラスに分類されたことになる。従って、予測クラス番号C0の生徒画像の画素がサンプルとして特定されて、第1の予測係数wk,r,qが導出される。また、予測クラス番号C1の生徒画像の画素がサンプルとして特定されて、第2の予測係数wk,r,qが導出され、予測クラス番号C2の生徒画像の画素がサンプルとして特定されて、第3の予測係数wk,r,qが導出され、・・・予測クラス番号C7の生徒画像の画素がサンプルとして特定されて、第8の予測係数wk,r,qが導出される。
つまり、ステップS110の予測係数演算処理においては、予測クラス番号C0乃至C7のそれぞれに対応する8種類の予測係数wk,r,qが求められることになる。
ステップS111において、予測係数記憶部62は、ステップS110の処理により求められた8種類の予測係数wk,r,qのそれぞれを、予測クラス番号Ckに対応付けて記憶する。
ステップS111の処理後、図12の係数学習処理は終了する。
以上のように、学習装置41では、様々な周波数帯域が含まれるものや、自然画、人工画などの様々な画像の種類のものなど、多種多様な画像が、入力画像として学習される。そして、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感/鮮鋭感を向上させた画素値を出力するような判別係数zk,r,qおよび予測係数wk,r,qが学習される。
これにより、予測装置1では、多種多様な入力画像に対して、画素ごとに、適応的にクラス分類し、画素の特徴に適した解像度感/鮮鋭感を向上させた画素値を生成することができ、高画質化した画像を予測画像として出力することができる。例えば、SD信号の画像に、HD信号の画像がはめ込まれている画像や、テロップが重畳されている画像などに対しても、劣化を生じさせることなく、アップコンバートした画像やズーム処理した画像を出力することができる。
また、学習装置41では、教師画像に、撮像時または信号伝送時に発生するノイズや符号化歪みに対応するノイズを付加して生徒画像を生成した学習対を用いて、学習処理が行われる。これにより、解像度感/鮮鋭感の向上に加え、予測装置1は、ノイズ除去機能も有し、ノイズを除去した画像を出力することができる。
従って、予測装置1では、より簡単な構成で、アップコンバート機能を有する高画質化処理を実現することができる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロホンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111を駆動する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
(2)
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
前記(1)に記載の画像処理装置。
(3)
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
前記(1)または(2)に記載の画像処理装置。
(4)
前記クラス分類部は、2分木構造を用いたクラス分類を行う
前記(3)に記載の画像処理装置。
(5)
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
前記(3)または(4)のいずれかに記載の画像処理装置。
(6)
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
(8)
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
(9)
前記(8)に記載のプログラムが記録されている記録媒体。
(1)
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。
(2)
前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
前記(1)に記載の画像処理装置。
(3)
前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
前記(1)または(2)に記載の画像処理装置。
(4)
前記クラス分類部は、2分木構造を用いたクラス分類を行う
前記(3)に記載の画像処理装置。
(5)
前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
前記(3)または(4)のいずれかに記載の画像処理装置。
(6)
前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。
(8)
コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。
(9)
前記(8)に記載のプログラムが記録されている記録媒体。
1 予測装置, 13 位相予測/鮮鋭感向上特徴量演算部, 14 波形クラス分類部, 15 フィルタ係数DB, 16 画像特徴量演算部, 17 2分木クラス分類部, 18 判別係数DB, 19 予測係数DB, 20 予測演算部, 41 学習装置
Claims (9)
- 入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算する鮮鋭感向上用特徴量演算部と、
前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する予測演算部と
を備える画像処理装置。 - 前記複数の周辺画素の画素値をADRC処理することにより、前記注目画素周辺の波形パターンを、複数の波形クラスのなかの所定の波形クラスにクラス分類する波形クラス分類部と、
前記波形クラスごとの前記フィルタ係数を記憶するフィルタ係数記憶部と
をさらに備え、
前記鮮鋭感向上用特徴量演算部は、前記注目画素が属する前記波形クラスの前記フィルタ係数と、前記注目画素に対応する前記複数の周辺画素の画素値との積和演算により、前記鮮鋭感向上特徴量を演算する
請求項1に記載の画像処理装置。 - 前記鮮鋭感向上特徴量を少なくとも用いて、前記注目画素を、複数のクラスのいずれかに分類するクラス分類部と、
複数のクラスそれぞれの前記予測係数を記憶する予測係数記憶部と
をさらに備え、
前記予測演算部は、前記注目画素が属するクラスの前記予測係数と、前記鮮鋭感向上特徴量との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
請求項1に記載の画像処理装置。 - 前記クラス分類部は、2分木構造を用いたクラス分類を行う
請求項3に記載の画像処理装置。 - 前記クラス分類部は、前記複数の周辺画素の画素値の最大値および最小値、並びに、前記複数の周辺画素の隣接する画素の差分絶対値も用いて、前記注目画素を、複数のクラスのいずれかに分類する
請求項3に記載の画像処理装置。 - 前記予測係数は、
教師画像に対して帯域制限、及び、位相シフトの強度を所定の値に設定して帯域制限処理及び位相シフト処理を行い、かつ、ノイズ付加の強度を所定の値に設定してノイズ付加処理を行った画像である生徒画像と、前記教師画像の対を用いて、前記教師画像に対して設定した注目画素に対応する前記生徒画像の画素周辺の複数の周辺画素の画素値を用いた前記鮮鋭感向上特徴量と前記予測係数との積和演算の前記予測式の結果と、前記注目画素の画素値との誤差が最小となるように、前記学習により予め求められたものである
請求項1に記載の画像処理装置。 - 入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む画像処理方法。 - コンピュータに、
入力画像を高画質化した画像を予測画像として出力する際の、前記予測画像を構成する画素を注目画素として、前記注目画素に対応する前記入力画像の画素周辺の複数の周辺画素の画素値と、帯域制限及びノイズ付加の強度、並びに、前記注目画素と前記周辺画素それぞれとの位相に応じたフィルタ係数との積和演算により、前記注目画素の鮮鋭感向上の特徴量である鮮鋭感向上特徴量を演算し、
演算により得られた前記鮮鋭感向上特徴量と、学習により予め求められた予測係数との積和演算で定義される予測式を演算することにより、前記注目画素の予測値を算出する
ステップを含む処理を実行させるためのプログラム。 - 請求項8に記載のプログラムが記録されている記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011135137A JP2013003892A (ja) | 2011-06-17 | 2011-06-17 | 画像処理装置および方法、プログラム、並びに記録媒体 |
US13/463,274 US20120321214A1 (en) | 2011-06-17 | 2012-05-03 | Image processing apparatus and method, program, and recording medium |
EP12170797A EP2535863A1 (en) | 2011-06-17 | 2012-06-05 | Image processing apparatus and method, program, and recording medium |
CN201210187757.7A CN102982508A (zh) | 2011-06-17 | 2012-06-08 | 图像处理设备和方法、程序和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011135137A JP2013003892A (ja) | 2011-06-17 | 2011-06-17 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013003892A true JP2013003892A (ja) | 2013-01-07 |
Family
ID=46598362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011135137A Withdrawn JP2013003892A (ja) | 2011-06-17 | 2011-06-17 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120321214A1 (ja) |
EP (1) | EP2535863A1 (ja) |
JP (1) | JP2013003892A (ja) |
CN (1) | CN102982508A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875523B2 (en) | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
JP2020506742A (ja) * | 2017-01-05 | 2020-03-05 | ゼネラル・エレクトリック・カンパニイ | 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244395A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
JP2013021636A (ja) * | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 |
JP2013021635A (ja) * | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
US8941780B2 (en) * | 2013-01-22 | 2015-01-27 | Silicon Image, Inc. | Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams |
JP5890816B2 (ja) * | 2013-09-30 | 2016-03-22 | 富士重工業株式会社 | フィルタリング装置および環境認識システム |
TWI692939B (zh) * | 2018-08-14 | 2020-05-01 | 鈺創科技股份有限公司 | 過濾訊號的數位濾波器 |
CN112767310B (zh) * | 2020-12-31 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种视频质量评价方法、装置及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4470899B2 (ja) * | 2006-03-16 | 2010-06-02 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP5476879B2 (ja) * | 2008-09-29 | 2014-04-23 | ソニー株式会社 | 画像処理装置および係数学習装置。 |
JP5347862B2 (ja) * | 2008-09-29 | 2013-11-20 | ソニー株式会社 | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
-
2011
- 2011-06-17 JP JP2011135137A patent/JP2013003892A/ja not_active Withdrawn
-
2012
- 2012-05-03 US US13/463,274 patent/US20120321214A1/en not_active Abandoned
- 2012-06-05 EP EP12170797A patent/EP2535863A1/en not_active Withdrawn
- 2012-06-08 CN CN201210187757.7A patent/CN102982508A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875523B2 (en) | 2013-12-03 | 2018-01-23 | Mitsubishi Electric Corporation | Image processing apparatus and image processing method |
JP2020506742A (ja) * | 2017-01-05 | 2020-03-05 | ゼネラル・エレクトリック・カンパニイ | 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定 |
Also Published As
Publication number | Publication date |
---|---|
EP2535863A1 (en) | 2012-12-19 |
US20120321214A1 (en) | 2012-12-20 |
CN102982508A (zh) | 2013-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013003892A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
Hashemi et al. | An image contrast enhancement method based on genetic algorithm | |
CN109472270B (zh) | 图像风格转换方法、装置及设备 | |
AU2019451948B2 (en) | Real-time video ultra resolution | |
CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
JP5476879B2 (ja) | 画像処理装置および係数学習装置。 | |
US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP2352121A1 (en) | Image processing apparatus and method | |
US20200210783A1 (en) | Learning Method, Computer Program, Classifier, And Generator | |
CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
US20080031315A1 (en) | Denoising signals containing impulse noise | |
CN101465943A (zh) | 图像处理设备、图像处理方法、程序和学习设备 | |
CN113052882B (zh) | 图像配准方法及相关装置、电子设备、存储介质 | |
JP5347862B2 (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
CN108921801B (zh) | 用于生成图像的方法和装置 | |
CN105979283A (zh) | 视频转码方法和装置 | |
JP2013239108A (ja) | 画像処理装置および方法、学習装置および方法、並びに、プログラム | |
JP7010783B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
US20220318950A1 (en) | Video enhancement method and apparatus, and electronic device and storage medium | |
JP2011217010A (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
CN113222843B (zh) | 一种图像修复方法及其相关设备 | |
JP2021179891A (ja) | 画像処理装置 | |
JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
US8311963B2 (en) | Signal processing apparatus, signal processing method, signal processing program and learning apparatus | |
JP2011217011A (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |