JP2014085892A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2014085892A JP2014085892A JP2012235168A JP2012235168A JP2014085892A JP 2014085892 A JP2014085892 A JP 2014085892A JP 2012235168 A JP2012235168 A JP 2012235168A JP 2012235168 A JP2012235168 A JP 2012235168A JP 2014085892 A JP2014085892 A JP 2014085892A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- edge gradient
- interpolation
- gradient direction
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 153
- 238000004364 calculation method Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 33
- 238000011156 evaluation Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 14
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 29
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能な画像処理装置を提供する。
【解決手段】テレビジョン受像機は、参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する平行四辺形の頂点となる4つの参照画素を設定する仮参照座標設定部(65)と、参照画素が参照ブロックの内か外かにかかわらず、参照ブロック内の入力画素を用いて、参照画素の濃度値である参照画素値を設定する参照画素値設定部(66)と、4つの参照画素における参照画素値を用いて、補間画素の濃度値を算出する補間画素値算出部(67)とを備える。
【選択図】図9
【解決手段】テレビジョン受像機は、参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する平行四辺形の頂点となる4つの参照画素を設定する仮参照座標設定部(65)と、参照画素が参照ブロックの内か外かにかかわらず、参照ブロック内の入力画素を用いて、参照画素の濃度値である参照画素値を設定する参照画素値設定部(66)と、4つの参照画素における参照画素値を用いて、補間画素の濃度値を算出する補間画素値算出部(67)とを備える。
【選択図】図9
Description
本発明は、高解像度処理を行う画像処理装置、プログラムおよび記録媒体に関する。
画像処理および映像処理において用いられる重要な技術としてアップスケーリング処理が知られている。例えば、近年のFHD(Full High Definition)解像度に対応したディスプレイの普及に伴い、SD(Standard Definition)解像度の映像コンテンツをFHD解像度ディスプレイで表示するにはアップスケーリング処理が必要である。また、FHD解像度を超えるQFHD(Quad Full High Definition)解像度に対応したディスプレイが開発されており、さらにはQFHDを超えるUHD(Ultra High Definition)解像度のディスプレイも研究されている。このように、ディスプレイの高解像度化が進むにつれ、高性能なアップスケーリング処理の重要性が高まっている。
アップスケーリング処理は、一般的な技術として最近傍補間(ニアレストネイバー)、双一次補間(バイリニア補間)、双三次補間(バイキュービック補間)の補間方法がある。最近傍補間は参照する位置に最も近い位置にある画素値を用いて補間を行うものであり、拡大率が高くなると同じ画素が何個か続くため階調再現が悪く、また、エッジ部がギザギザになってしまう。双一次補間は参照する位置の周辺の2×2画素(4画素)を用いて、画素値を直線的に補間して画素値を求めるものであり、最近傍補間より精度は良いものの、線形補間された画素値を用いるためぼやけてしまう。双三次補間は参照する位置の周辺の4×4画素(16画素)を用いて三次式で補間して画素値を求めるものであり、最近傍補間や双一次補間に比べ性能は良いものの、エッジ部にジャギーが発生する問題がある。
特許文献1は、複雑な処理を必要とすることなく画像、及び、映像を高品質にアップスケーリング処理する方法が記載されている。特許文献1に記載のアップスケーリング処理は、まず斜め方向に隣接する低解像度入力画素を用いて斜め高解像度(HR)画素を生成する。次に、水平方向に隣接する低解像度入力画素、及び、垂直方向に隣接する斜め高解像度(HR)画素を用いて水平高解像度(HR)画素を生成する。最後に、垂直方向に隣接する低解像度入力画素、及び、水平方向に隣接する斜め高解像度(HR)画素を用いて垂直高解像度(HR)画素を生成することにより、高解像度(HR)画像を生成する。また、各高解像度(HR)画素を生成する際に、エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが小さくなるよう制御する。これにより、オーバーシュートを発生させることなく、ジャギーアーティファクタを抑制させている。
しかしながら、特許文献1に記載のアップスケーリング処理は、入力される低解像度画素の中間に位置する補間画素を生成するためのものである。低解像度入力画素の右下画素値を算出し、次に、右下画素値の算出結果を用いて低解像度入力画素の右画素値、及び、下画素値を算出するものであり、常に1つの低解像度入力画素から、新たに3つの出力画素を生成するものであるため、2倍以外の任意倍率拡大処理を実現することが難しい。
また、従来技術として双一次補間や双三次補間の補間方法を併用することで任意倍率拡大処理をすることは可能であるが、結局、上記したこれらの補間方法の問題を発生させる結果となってしまう。
さらに、特許文献1において考慮されるエッジの方向は、水平方向、垂直方向、45°方向および−45°方向に限定されている。そのため、これらの間にあたる斜め方向のエッジが存在するとき、適切な方向の画素を参照しないため、不自然な補間結果になる場合がある。エッジの方向をより細かく分けるには、より幅広い範囲の画素を参照することが考えられる。しかしながら、この場合、特に垂直方向に離れた画素を参照するためには、より多くのラインバッファを実装する必要がある。参照可能な画素の範囲は実装可能なラインバッファの本数に依存するためである。また、幅広い範囲の画素を参照するために処理に時間がかかるという問題が生じる。
本発明は、上記課題を解決するためになされたものであり、この発明の目的は、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能な画像処理装置、プログラムおよび記録媒体を提供することである。
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記4つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。
また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記4つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第1補間値を算出する第1補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第2補間画素値を算出する第2補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第1補間値および第2補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第1補間値と上記第2補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。
本発明によれば、任意倍率拡大処理を実現するとともに、画質の低下および処理時間の増大を抑制させた画像処理が可能となる。
図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
〔実施形態1〕
(テレビジョン受像機の構成)
図1は、実施形態1におけるテレビジョン受像機の構成の概略を示すブロック図である。図1に示されるように、テレビジョン受像機(画像処理装置)1は、その全体を制御する中央演算装置(CPU)11、映像信号処理回路21、音声信号処理回路23およびパネルコントローラー25を含む集積回路(LSI)3と、電源ユニット5と、チューナー7と、インターフェース9と、表示部13と、操作部15と、スピーカー17とを備える。
(テレビジョン受像機の構成)
図1は、実施形態1におけるテレビジョン受像機の構成の概略を示すブロック図である。図1に示されるように、テレビジョン受像機(画像処理装置)1は、その全体を制御する中央演算装置(CPU)11、映像信号処理回路21、音声信号処理回路23およびパネルコントローラー25を含む集積回路(LSI)3と、電源ユニット5と、チューナー7と、インターフェース9と、表示部13と、操作部15と、スピーカー17とを備える。
インターフェース9は、TVアンテナ41と、TMDS(Transition Minimized Differential Signaling)方式でシリアル通信するためのDVI(Digital Visual Interface)端子43およびHDMI(High Definition Multimedia Interface)端子45と、TCP(Transmission Control Protocol)またはUDP(User Datagram Protocol)等の通信プロトコルで通信するためのLAN端子47とを含む。インターフェース9は、CPU11からの指示に従って、DVI端子43、HDMI端子45またはLAN端子47に接続された外部の機器との間でデータを送受信する。
操作部15は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビジョン受像機1の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビジョン受像機1で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部15は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示をCPU11に出力する。
なお、ここでは、テレビジョン受像機1が備える操作部15が操作される場合を例に説明したが、テレビジョン受像機1と無線で通信することが可能なリモートコントローラに操作部15を備えるようにして、各スイッチに対応する操作指示をテレビジョン受像機1に送信するようにしてもよい。この場合、リモートコントローラがテレビジョン受像機1と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
表示部13は、例えば、液晶ディスプレイ(LCD)パネル、プラズマディスプレイパネル等であり、テレビジョン番組を表示することが可能である。
電源ユニット5は、外部から供給される電力を制御する。CPU11は、電源スイッチから入力される操作指示に応じて、電源ユニット5に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビジョン受像機1の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビジョン受像機1に供給される電力が遮断される。
チューナー7は、例えば、地上波デジタルチューナーまたはBS/CSデジタルチューナーであり、TVアンテナ41と接続され、TVアンテナ41が受信する放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナー7は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号を生成する。チューナー7は、TVアンテナ41で受信された放送信号のうちからCPU11で指定されたチャンネルの放送信号を選択し、その放送信号に基づいて生成された可変長符号を映像信号処理回路21および音声信号処理回路23に出力する。
映像信号処理回路21は、チューナー7から入力される可変長符号に各種の処理を実行し、映像信号を生成する。
パネルコントローラー25は、表示部13を制御して、映像信号処理回路21が出力する映像信号の映像を表示部13に表示する。具体的には、パネルコントローラー25は、パネル駆動回路、バックライト制御回路を備え、CPU11からの指示に従って、パネル駆動回路の駆動を制御し、表示部13の背面に配置されたバックライトの点灯および消灯を制御する。
音声信号処理回路23は、オーディオデコーダを備えており、チューナー7から入力される可変長符号を復号して音声信号を生成し、音声信号をD/A(デジタル/アナログ)変換して、スピーカー17に出力する。
なお、ここでは、チューナー7がTVアンテナ41により受信された放送信号に基づいて、映像信号処理回路21が映像信号を生成する場合を例に説明したが、外部の機器がDVI端子43、HDMI端子45またはLAN端子47を介して送信した映像データに基づいて、映像信号処理回路21が映像信号を生成するようにしてもよい。また、チューナー7は、地上波デジタルチューナーとBS/CSデジタルチューナーとの両方を備えていてもよい。
(映像信号処理回路の構成)
図2は、映像信号処理回路の構成を示すブロック図である。図2に示されるように、映像信号処理回路21は、ビデオデコーダ51と、IP変換処理部53と、ノイズ低減処理部55と、シャープネス処理部57と、カラー調整処理部59と、スケーラー処理部61とを含む。
図2は、映像信号処理回路の構成を示すブロック図である。図2に示されるように、映像信号処理回路21は、ビデオデコーダ51と、IP変換処理部53と、ノイズ低減処理部55と、シャープネス処理部57と、カラー調整処理部59と、スケーラー処理部61とを含む。
ビデオデコーダ51は、チューナー7から入力される可変長符号を復号して映像信号を生成し、映像信号をD/A変換して、IP変換処理部53に出力する。IP変換処理部53は、必要に応じて、ビデオデコーダ51から入力される映像信号をインタレース方式からプログレッシブ方式に変換する。ノイズ低減処理部55は、IP変換処理部53が出力する映像信号に含まれるノイズ成分を軽減するためのノイズ低減処理を実行する。シャープネス処理部57は、ノイズ低減処理部55が出力する映像信号の映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部59は、シャープネス処理部57が出力する映像信号に対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部61は、カラー調整処理部59が出力する映像信号に対して、表示部13の画素数に応じたスケーリング処理を実行する。なお、CPU11は、図示しないフレームメモリに、映像信号処理回路21により各種の処理が実行される際の映像信号をフレーム単位で適宣記憶させる。
スケーリング処理は、表示部13の画素数に応じた倍率に、映像データに含まれるフレーム単位の画像データを拡大(または縮小)し、拡大(または縮小)により補間が必要な画素を補間画素として算出する処理を少なくとも含む。補間画素は、画像データが拡大(または縮小)された倍率により、位置が定まる。具体的には、画像データにおいて、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間の位置である。最も単純な例として整数倍拡大の例を用いて補間演算位置について説明する。倍率が2倍である場合、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間を2等分する位置に補間画素が設定される。
(スケーラー処理部の構成)
図3は、スケーラー処理部の構成を示すブロック図である。図3に示されるように、スケーラー処理部61は、参照ブロック設定部62と、エッジ勾配方向設定部63と、補間処理部64とを含む。
図3は、スケーラー処理部の構成を示すブロック図である。図3に示されるように、スケーラー処理部61は、参照ブロック設定部62と、エッジ勾配方向設定部63と、補間処理部64とを含む。
参照ブロック設定部62は、後段のエッジ勾配方向設定部63および補間処理部64において参照できる入力画素の集合である参照ブロックを設定する。参照ブロック設定部62は、補正画素の周辺に存在する入力画素のうち、垂直方向M画素、水平方向N画素からなる複数の画素集合を参照ブロックとして抽出する。ただし、M,Nはいずれも予め決められた4以上の自然数とする。
図4は、補間画素に対する参照ブロックの設定例であり、(a)はM=N=4の参照ブロック、(b)はM=N=6の参照ブロックを示す。図4において黒円で示される点は入力画素を示し、白円で示される点は入力画素のうち参照ブロックとして抽出された画素を示す。また、*で示される点は補間画素を示す。本実施形態では、複数のラインの入力画素から参照ブロックを構成するために複数のラインバッファを備え、垂直方向の画素数Mは、当該ラインバッファ数に応じて設定される。なお、水平方向の画素数NはMと一致させる必要は無く、必要に応じてN>Mとして、水平方向の補間精度を高めることができる。N>Mとする例として、IP変換処理部53においてIP変換処理が行われた場合が挙げられる。
参照ブロック設定部62は、参照ブロックとして抽出された入力画素について、画素座標および画素値(濃度値)をラインバッファから読み出し、エッジ勾配方向設定部63および補間処理部64がアクセスしやすいようにメモリに記憶させる。
エッジ勾配方向設定部63は、参照ブロックを構成する複数の入力画素のうち選択された1つの入力画素におけるエッジ勾配を求め、そのエッジ勾配に従って補間画素のエッジ勾配方向を設定する。
エッジ勾配方向設定部63は、参照ブロックの中から補間画素との相関の高い入力画素を、エッジ勾配を算出する入力画素として選択すればよい。相関の高い入力画素として、例えば、補間画素の座標を(x,y)とするとき(ただしx,yはゼロ以上の実数とする)、それぞれx,yを超えない最大の整数であるi,jを画素座標とする入力画素(i,j)(すなわち、補間画素に隣接する左上の入力画素)を選択すればよい。もしくは、(x,y)とのユークリッド距離が最も小さくなる入力画素を選択してもよい。また、画素値(濃度値)は、入力画像がグレースケール方式の場合は階調値とし、RGB方式である場合、R,G,Bの3成分から算出される値を用いてもよい。R,G,Bの3成分から算出される値の例として、3成分の平均値や最大値、また輝度成分に変換した値が挙げられる。
次に、エッジ勾配方向設定部63は、図5に示す1次微分フィルタを用いて、選択した入力画素(i,j)における水平方向の1次微分値Gx(i,j)および垂直方向の1次微分値Gy(i,j)を次式に従って算出する。
Gx(i,j)=IN(i+1,j−1)+IN(i+1,j)×a
+IN(i+1,j+1)−IN(i−1,j−1)
−IN(i−1,j)×a−IN(i−1,j+1)・・式(1−1)
Gy(i,j)=IN(i−1,j+1)+IN(i,j+1)×a
+IN(i+1,j+1)−IN(i−1,j−1)
−IN(i,j−1)×a−IN(i+1,j−1)・・式(1−2)
ただし、IN(i,j)は、座標(i,j)における入力画素値を表す。また、i,jは自然数である。そして、エッジ勾配方向設定部63は、水平方向の1次微分値Gxおよび垂直方向の1次微分値GyからなるベクトルG=(Gx,Gy)をエッジ勾配とする。
+IN(i+1,j+1)−IN(i−1,j−1)
−IN(i−1,j)×a−IN(i−1,j+1)・・式(1−1)
Gy(i,j)=IN(i−1,j+1)+IN(i,j+1)×a
+IN(i+1,j+1)−IN(i−1,j−1)
−IN(i,j−1)×a−IN(i+1,j−1)・・式(1−2)
ただし、IN(i,j)は、座標(i,j)における入力画素値を表す。また、i,jは自然数である。そして、エッジ勾配方向設定部63は、水平方向の1次微分値Gxおよび垂直方向の1次微分値GyからなるベクトルG=(Gx,Gy)をエッジ勾配とする。
なお、1次微分フィルタの係数aは任意の正の係数とし、a=1の場合、1次微分フィルタはPrewittフィルタ、a=2の場合、Sobelフィルタとして使用することができる。また、1次微分フィルタは図5に挙げるような3×3画素のサイズのフィルタに限定されるものではない。参照ブロックの大きさに応じて1次微分フィルタのサイズを設定すればよい。すなわち、1次微分フィルタは、参照ブロック内の画素のみを用いることを条件としてより大きいサイズが決定される。例えば、図4の(b)に示されるような参照ブロックの場合、5×5のサイズの1次微分フィルタを使用することができる。
続いて、エッジ勾配方向設定部63は、算出されたエッジ勾配を用いて、補間画素のエッジ勾配方向を設定する。
図6は、直交座標上におけるエッジ勾配G=(Gx,Gy)を示す図である。エッジ勾配Gの角度θは、GxとGyの逆正接θ=atan{Gy/Gx}より与えられるが、逆正接の演算は一般的に複雑な処理を必要とする。また、本実施形態では微小な角度差を考慮する必要はない。本実施形態では、エッジ勾配方向として、水平方向、垂直方向のほか、GxとGyの比が整数比となるようないくつかの方向のうちいずれかに分類されることが望ましい。そこで、全ての方向を複数区域に分割し、エッジ勾配方向設定部63は、エッジ勾配Gが属する区域をエッジ勾配方向として設定する。
図7は、全ての方向を複数区域に分割した例を示す。下記の規則に従い、全ての方向が分割されている。
・水平方向軸を中心とする区域を設ける。
・垂直方向軸を中心とする区域を設ける。
・Gx:Gy=1:±1となる方向を中心とする区域を設ける。
・Gx:Gy=1:±LVとなる方向を中心とする区域を設ける。
・水平方向軸を中心とする区域を設ける。
・垂直方向軸を中心とする区域を設ける。
・Gx:Gy=1:±1となる方向を中心とする区域を設ける。
・Gx:Gy=1:±LVとなる方向を中心とする区域を設ける。
(LV=2,…,LVMax)
・Gx:Gy=LH:±1となる方向を中心とする区域を設ける。
・Gx:Gy=LH:±1となる方向を中心とする区域を設ける。
(LH=2,…,LHMax)
ただし、LVMaxおよびLHMaxは2以上の任意の自然数とし、参照ブロックのサイズに応じて設定される。たとえば、M=N=4のときLVMax=LHMax=3、M=N=6のときLVMax=LHMax=5とするのが望ましい。
ただし、LVMaxおよびLHMaxは2以上の任意の自然数とし、参照ブロックのサイズに応じて設定される。たとえば、M=N=4のときLVMax=LHMax=3、M=N=6のときLVMax=LHMax=5とするのが望ましい。
上記の規則により、全方向は{8+4(LVMax+LHMax−2)}個に分割される。全方向を分割した数の半分の数をエッジ勾配方向の分割数NB=4+2(LVMax+LHMax−2)とするとき、垂直方向を中心とする区域をB0として、右回り順にB1,…,BNB−1と呼ぶことにする(すなわち、k=0,1,…,NB−1とするとき、Bkと表わされる区域はそれぞれ2個ずつ存在する)。なお、エッジ方向はエッジ勾配方向と直交する方向となるため、エッジ勾配方向がB0のときエッジ方向は水平方向となる。
図8は、エッジ勾配G=(Gx,Gy)を用いたエッジ勾配方向の設定処理の流れを示すフローチャートである。まず、エッジ勾配方向設定部63は、GxおよびGyを用いて下記判定式(2−1)で算出されるエッジ勾配が所定閾値τθ(例えば16)より小さいか否か判定する(S81)。
|Gx|+|Gy|<τθ ・・・(2−1)
エッジ勾配が所定閾値τθより小さいとき、エッジ勾配方向設定部63は、エッジ方向の推定が不可であると判定して、エッジ勾配方向φ=B0と設定する(S82)。
|Gx|+|Gy|<τθ ・・・(2−1)
エッジ勾配が所定閾値τθより小さいとき、エッジ勾配方向設定部63は、エッジ方向の推定が不可であると判定して、エッジ勾配方向φ=B0と設定する(S82)。
エッジ勾配が所定閾値τθより大きいとき、エッジ勾配方向設定部63は、下記判定式(2−2)を満たすか否かを判定する(S83)。
Gx×Gy≧0 ・・・(2−2)
なお、判定式(2−2)はGx、Gyの符号が同一であるか否かを判断している。
Gx×Gy≧0 ・・・(2−2)
なお、判定式(2−2)はGx、Gyの符号が同一であるか否かを判断している。
判定式2−2を満たすとき、エッジ勾配方向設定部63は、下記判定式(2−3)を満たすか否か判定する(S84)。
τ0×|Gx|≦|Gy| ・・・(2−3)
なお、判定式(2−3)における係数τ0は任意の定数で与えられ、たとえばτ0=13とする。判定式(2−3)を満たすとき、エッジ勾配方向設定部63は、エッジ勾配Gがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ=B0と設定する(S85)。
τ0×|Gx|≦|Gy| ・・・(2−3)
なお、判定式(2−3)における係数τ0は任意の定数で与えられ、たとえばτ0=13とする。判定式(2−3)を満たすとき、エッジ勾配方向設定部63は、エッジ勾配Gがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ=B0と設定する(S85)。
判定式(2−3)を満たさないとき、エッジ勾配方向設定部63は、下記判定式(2−4)を満たすか否か判定する(S86)。
τ1×|Gx|≦|Gy| ・・・(2−4)
なお、判定式(2−4)における係数τ1は任意の定数で与えられ、たとえばτ1=2.5とする。判定式(2−4)を満たすとき、エッジ勾配方向設定部63は、エッジ勾配GがほぼGx:Gy=1:LVMaxの向きにあると判定し、エッジ勾配方向φ=B1とする(S87)。
τ1×|Gx|≦|Gy| ・・・(2−4)
なお、判定式(2−4)における係数τ1は任意の定数で与えられ、たとえばτ1=2.5とする。判定式(2−4)を満たすとき、エッジ勾配方向設定部63は、エッジ勾配GがほぼGx:Gy=1:LVMaxの向きにあると判定し、エッジ勾配方向φ=B1とする(S87)。
以下、同様にして、エッジ勾配方向設定部63は、下記判定式(2−5)を用いた条件判定を行い(S88)、判定式(2−5)を満たすとき、エッジ勾配方向φ=Bkとする(S89)。
τk×|Gx|≦|Gy| ・・・(2−5)
判定式(2−5)を満たさないとき、k=k+1に更新し、判定式(2−5)による判定を反復する。エッジ勾配方向設定部63は、k=NB/2−1において判定式(2−5)を満たすか否かを判定し(S90、S91)、判定式(2−5)を満たさないとき、エッジ勾配方向φ=BNB/2とし(S92)、判定式(2−5)による判定を終了する。
τk×|Gx|≦|Gy| ・・・(2−5)
判定式(2−5)を満たさないとき、k=k+1に更新し、判定式(2−5)による判定を反復する。エッジ勾配方向設定部63は、k=NB/2−1において判定式(2−5)を満たすか否かを判定し(S90、S91)、判定式(2−5)を満たさないとき、エッジ勾配方向φ=BNB/2とし(S92)、判定式(2−5)による判定を終了する。
なお、上記に挙げた係数τ0,…,τNB/2−1は、以下の規則に従って設定される任意の係数である。
・τ0> LVMax
・k=1,…,LVMax−1について、LVMax−k<τk< LVMax−k+1
・k=LVMax,…,NB/2−1について、
1/(k−LVMax+2)<τk<1/(k−LVMax+1)
・0<τNB/2−1<1/LHMax
たとえば、LHMax=LVMax=3、すなわちNB=12のとき、τ0=13、τ1=5/2、τ2=3/2、τ3=2/3、τ2=2/5、τ5=1/13と設定することができる。係数τ0,…,τNB/2−1は、関係する2つの隣り合うエッジ勾配方向の境界となる角度のGxとGyの比を表わしており、たとえばτ2の場合、Gx:Gy=1:2の方向を示すB2と、Gx:Gy=1:1の方向を示すB3との境界に関係しており、たとえばτ2=3/2とすると、Gx:Gy=1:1.5の方向がB2とB3の境界の方向となる。
・τ0> LVMax
・k=1,…,LVMax−1について、LVMax−k<τk< LVMax−k+1
・k=LVMax,…,NB/2−1について、
1/(k−LVMax+2)<τk<1/(k−LVMax+1)
・0<τNB/2−1<1/LHMax
たとえば、LHMax=LVMax=3、すなわちNB=12のとき、τ0=13、τ1=5/2、τ2=3/2、τ3=2/3、τ2=2/5、τ5=1/13と設定することができる。係数τ0,…,τNB/2−1は、関係する2つの隣り合うエッジ勾配方向の境界となる角度のGxとGyの比を表わしており、たとえばτ2の場合、Gx:Gy=1:2の方向を示すB2と、Gx:Gy=1:1の方向を示すB3との境界に関係しており、たとえばτ2=3/2とすると、Gx:Gy=1:1.5の方向がB2とB3の境界の方向となる。
一方、判定式2−2を満たさない場合、エッジ勾配方向設定部63は、上記判定式(2−3)を満たすか否かを判定する(S93)。判定式2−3を満たすとき、エッジ勾配方向設定部63は、エッジ勾配ベクトルGがほぼ垂直方向の向きにあると判定し、エッジ勾配方向φ=B0とする(S94)。
上記判定式(2−3)を満たさないとき、上記判定式(2−4)を満たすか否かが判定される(S95)。判定式2−4を満たすとき、エッジ勾配GがほぼGx:Gy=1:−LVMaxの向きにあると判定され、エッジ勾配方向φ=BNB−1と設定される(S96)。
以下、同様にして上記判定式(2−5)を用いた条件判定を行い(S95、S97,S99)、エッジ勾配方向φが設定される。つまり、判定式(2−5)を満たすとき、エッジ勾配方向φ=BNB−kと設定される(S96、S98,S100)。判定式2−5を満たさないとき、k=k+1に更新し、判定式(2−5)による判定を反復する。k=NB/2−1において判定式2−5を満たさないとき、エッジ勾配方向φ=BNB/2とし(S101)、判定式(2−5)による判定を終了する。以上の処理により、補間画素のエッジ勾配方向φを設定することができる。
補間処理部64は、参照ブロック設定部62で設定された参照ブロックと、エッジ勾配方向設定部63で決定されたエッジ勾配方向を用いて、補間画素における画素値を算出する。
図9は、補間処理部64の構成を示すブロック図である。図示されるように、補間処理部64は、仮参照座標設定部65と、参照画素値設定部66と、補間画素値算出部67とを備えている。
仮参照座標設定部65は、補間画素を内包し、かつエッジ方向と平行な二辺(エッジ勾配方向に垂直な二辺)を持つ平行四辺形の頂点となる4点を設定し、その座標を仮参照座標として指定する。平行四辺形には正方形も含まれる。また、平行四辺形の頂点となる4点は、整数の座標値をとる点が設定される。
図10は、参照ブロックをM=N=4、LHMax=LVMax=3とし、エッジ勾配方向の分割数をNB=12とした場合における、補間画素のエッジ勾配方向φに対する平行四辺形の設定例を示す。前述の通り、エッジ勾配方向φとエッジ方向は直交することに注意する。仮参照座標設定部65は、このようにして設定した平行四辺形の4つの頂点の座標を、仮参照座標として指定する。なお、図10に示す通り、少なくとも2点は、参照ブロック内の入力画素の点が選択される。図10に示す例(M=N=4、LHMax=LVMax=3)では、一部のエッジ勾配方向(たとえばφ=B10など)において、平行四辺形を構成する4点のうち1点ないし2点が、参照ブロック外に位置する場合もあるが、この段階では参照ブロックの内部もしくは外側のどちらに所属するかは特に考慮する必要は無い。また、図10は、補間画素がグレーで示した範囲に存在する場合の例であり、たとえばφ=B2の場合、仮参照座標設定部65は、補間画素を内包する平行四辺形を設定するため、補間画素の位置に応じて図11のように平行四辺形の位置を変更し、4つの仮参照座標を指定する。φ=B1−B5,B7−B11も同様に、仮参照座標設定部65は、補間画素の位置が含まれるように平行四辺形の位置を変更して、4つの仮参照座標を指定する。
なお、図10に示す例では、仮参照座標設定部65は、いずれのエッジ勾配方向においても同じ面積となる平行四辺形を設定する。B0−B3,B10,B11では、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形が設定され、B4−B9では、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形が設定される。
仮参照座標の設定方法は前述の例に限定する必要は無く、参照ブロックのサイズやエッジ勾配方向の分割方法によって可変とすることができる。図12Aおよび図12Bは、参照ブロックをM=N=6、LHMax=LVMax=5、エッジ勾配方向の分割数をNB=20とした場合の仮参照座標4点の設定例である。
仮参照座標設定部65は、このように得られた4点の仮参照座標をそれぞれP1,P2,P3,P4とし、P1〜P4を参照画素値設定部に出力する。なお、P1は左上頂点,P2は右上頂点,P3は右下頂点,P4は左下頂点である。
参照画素値設定部66は、仮参照座標設定部65から受けた仮参照座標に対応する画素値をそれぞれ設定する。図13は、仮参照座標から対応する画素値を設定するための処理を示したフローチャートである。
まず、参照画素値設定部66は、仮参照座標Pk(ただし、k=1,2,3,4)が参照ブロックに含まれるかどうかを判定する(S131)。仮参照座標Pkが参照ブロックに含まれる場合、参照画素値設定部66は、仮参照座標Pkに対応する画素値fkとして、仮参照座標Pkに位置する入力画素の画素値INPkを設定する(S132)。
仮参照座標Pkが参照ブロックの外側に位置する場合、参照画素値設定部66は、図14に示すように、仮参照座標Pkを端とする平行四辺形の一辺と参照ブロックの境界との交点を点R、点Rを挟んで参照ブロックの境界上に位置する両側の入力画素をそれぞれ点S,点Tとする(S133)。そして、参照画素値設定部66は、SR:RT=α:1−αとするとき(ただし0≦α≦1とする)、仮参照座標Pkの画素値fkを次式(3)に従って算出する(S134)。
fk=(1−α)INS+αINT ・・・(3)
ただし、INSは入力画素Sにおける画素値、INTは入力画素Tにおける画素値を示す。
fk=(1−α)INS+αINT ・・・(3)
ただし、INSは入力画素Sにおける画素値、INTは入力画素Tにおける画素値を示す。
たとえば図14に示す例の場合、参照ブロック外に位置するP3に対して、参照ブロックの境界上に仮想的な画素Rが置かれ、SR:RT=2/3:1/3となる(すなわちα=2/3)。従って、仮参照座標P3における画素値f3は、式(3)よりf3=(1/3)INS+(2/3)INTより得られる。
参照画素値設定部66は、図13に示す処理をP1,P2,P3およびP4の4つの仮参照座標に対して実行し、それぞれに対応する画素値f1、f2、f3およびf4を算出する。
このように、参照画素値設定部66は、仮参照座標が参照ブロック外に位置していても、参照ブロックの境界上に点Rをとり、参照ブロック内の入力画素から内挿的に仮参照座標に対する画素値を与える。すなわち、参照ブロック設定部62により設定された参照ブロック内の入力画素のみを参照することで、各仮参照座標の画素値を設定することができる。
補間画素値算出部67は、前述の4つの仮参照座標および対応する画素値から、補間演算により補間画素の画素値を算出する。図15は、補間画素値算出部67が実行する処理のフローチャートを示す図である。なお、以下の説明では、補間画素上の点をP0とし、その座標を(px、py)とする。
まず、補間画素値算出部67は、補間画素のエッジ勾配方向φが、第1方向群および第2方向群のいずれに属するかを判定する(S151)。ここで、第1方向群は、エッジ勾配G=(Gx,Gy)について|Gx|<|Gy|となる方向およびGx=Gyとなる方向集合であり、第2方向群は、第1方向群に含まれない方向の集合である。たとえばNB=12の場合、第1および第2方向群は以下の通り分類される。
第1方向群:B0,B1,B2,B3,B10,B11
第2方向群:B4,B5,B6、B7,B8,B9
第1方向群は、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。また、第2方向群は、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。
第1方向群:B0,B1,B2,B3,B10,B11
第2方向群:B4,B5,B6、B7,B8,B9
第1方向群は、エッジ方向に平行な二辺と水平方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。また、第2方向群は、エッジ方向に平行な二辺と垂直方向に平行な二辺とを持つ平行四辺形の頂点が仮参照座標として設定される方向である。
φが第1方向群に属する場合、補間画素値算出部67は、P0を通り、辺P1P4(左辺)に平行な直線と辺P1P2(上辺)との交点Q12および当該直線と辺P3P4(下辺)との交点Q34を設定する(S152)。図16の(a)は、φが第1方向群に属する場合に、P0に対する交点Q12およびQ34の設定方法の例を示す図である。
次に、補間画素値算出部67は、下記の式(4)に従い、P1とQ12との距離dx、および辺P1P2とP0との距離dyを算出する(S153)。
dx=dist{P1,Q12} ,dy=py−[py] ・・・(4)
ただし、dist{A,B}は点A,B間の距離であり、[x]は、xを超えない最大の整数である。たとえば、M=N=4とし、図7のようにエッジ勾配方向を分割する場合、補間画素P0(i+5/6,j+1/2)の位置でエッジ勾配方向φ=B1のとき、図17に示されるように交点Q12およびQ34が設定される。このとき、Q12の座標は(i−2/3,j)となり、式(4)より以下のように距離dx,dyが算出される。
dx=dist{P1,Q12} ,dy=py−[py] ・・・(4)
ただし、dist{A,B}は点A,B間の距離であり、[x]は、xを超えない最大の整数である。たとえば、M=N=4とし、図7のようにエッジ勾配方向を分割する場合、補間画素P0(i+5/6,j+1/2)の位置でエッジ勾配方向φ=B1のとき、図17に示されるように交点Q12およびQ34が設定される。このとき、Q12の座標は(i−2/3,j)となり、式(4)より以下のように距離dx,dyが算出される。
続いて、補間画素値算出部67は、P1,P2,P3およびP4から、初めに水平方向の線形補間によりQ12およびQ34における画素値を算出し、続いてQ12およびQ34の画素値から垂直方向の線形補間によりP0の画素値を算出する(S154)。この水平補間および垂直補間は、次式のように1つの式にまとめることができる。
OUT=(1−dy)×{(1−dx)×f1+dx×f2}
+dy×{dx×f3+(1−dx)×f4} ・・・(5)
OUT=(1−dy)×{(1−dx)×f1+dx×f2}
+dy×{dx×f3+(1−dx)×f4} ・・・(5)
φが第2方向群に属する場合、補間画素値算出部67は、P0を通り、辺P1P2(上辺)に平行な直線と辺P1P4(左辺)との交点Q14および当該直線と辺P2P3(右辺)との交点Q23を設定する(S155)。図16の(b)は、φが第2方向群に属する場合に、P0に対する交点Q14およびQ23の設定方法の例を示す図である。
次に、補間画素値算出部67は、下記の式(6)に従い、辺P1P4とP0との距離dx、およびP1とQ14との距離dyを算出する(S156)。
dx=px−[px] ,dy=dist{P1,Q14} ・・・(6)
dx=px−[px] ,dy=dist{P1,Q14} ・・・(6)
続いて、補間画素値算出部67は、P1,P2,P3およびP4から、初めに垂直方向の線形補間によりQ14およびQ23における画素値を算出し、続いてQ14およびQ23の画素値から水平方向の線形補間によりP0の画素値を算出する(S157)。この垂直補間および水平補間は、次式のように1つの式にまとめることができる。
OUT=(1−dx)×{(1−dy)×f1+dy×f4}
+dx×{(1−dy)×f2+dy×f3} ・・・(7)
OUT=(1−dx)×{(1−dy)×f1+dy×f4}
+dx×{(1−dy)×f2+dy×f3} ・・・(7)
式(5)および式(7)はいずれも次式のように整理することができる。
OUT=(1−dx)×(1−dy)×f1+dx×(1−dy)×f2
+dx×dy×f3+(1−dx)×dy×f4 ・・・(8)
OUT=(1−dx)×(1−dy)×f1+dx×(1−dy)×f2
+dx×dy×f3+(1−dx)×dy×f4 ・・・(8)
このように、補間画素値算出部67は、エッジ方向に沿った平行四辺形の形状に従った線形補間により補間画素の画素値を算出するため、エッジ方向に依存した補間が可能となる。また、補間画素値算出部67は、仮参照画素が参照ブロックの内にあるか外にあるかにかかわらず、参照ブロック内の入力画素の画素値を用いて補間画素の画素値を算出することができる。
なお、入力される画像がグレースケール画像である場合、参照画素値設定部66および補間画素値算出部67は、階調値を用いて画素値を算出する。一方、入力される画像がRGB方式である場合、参照画素値設定部66および補間画素値算出部67は、R,G,Bの成分毎に画素値を求める。すなわち、参照画素値設定部は、仮参照座標Pk(k=1,2,3,4)における画素値のR成分fkR、G成分fkG、B成分fkBを算出する。そして、補間画素値算出部は、補間画素における画素値のR成分OUTR、G成分OUTGおよびB成分OUTBを算出する。
OUTR=(1−dx)×(1−dy)×f1R+dx×(1−dy)×f2R
+dx×dy×f3R+(1−dx)×dy×f4R
OUTG=(1−dx)×(1−dy)×f1G+dx×(1−dy)×f2G
+dx×dy×f3G+(1−dx)×dy×f4G
OUTB=(1−dx)×(1−dy)×f1B+dx×(1−dy)×f2B
+dx×dy×f3B+(1−dx)×dy×f4B ・・・(9)
OUTR=(1−dx)×(1−dy)×f1R+dx×(1−dy)×f2R
+dx×dy×f3R+(1−dx)×dy×f4R
OUTG=(1−dx)×(1−dy)×f1G+dx×(1−dy)×f2G
+dx×dy×f3G+(1−dx)×dy×f4G
OUTB=(1−dx)×(1−dy)×f1B+dx×(1−dy)×f2B
+dx×dy×f3B+(1−dx)×dy×f4B ・・・(9)
(エッジ勾配の算出に関する変形例1)
上記の説明では、図5に示すような水平方向および垂直方向1つずつの1次微分フィルタを用いてエッジ勾配を算出するものとした。しかしながら、文字画像のような1画素幅のエッジに対しては、図5に示す1次微分フィルタでは検出できない場合がある。例えば、0−100−0という画素値が並ぶとき、両端は0となっているため1次微分値も0となる。そこで、エッジ勾配方向設定部63は、複数の1次微分フィルタを適用し、対象画素のエッジ勾配を決定してもよい。
上記の説明では、図5に示すような水平方向および垂直方向1つずつの1次微分フィルタを用いてエッジ勾配を算出するものとした。しかしながら、文字画像のような1画素幅のエッジに対しては、図5に示す1次微分フィルタでは検出できない場合がある。例えば、0−100−0という画素値が並ぶとき、両端は0となっているため1次微分値も0となる。そこで、エッジ勾配方向設定部63は、複数の1次微分フィルタを適用し、対象画素のエッジ勾配を決定してもよい。
例えば、エッジ勾配方向設定部63は、図18に示されるように、水平方向および垂直方向3つずつの1次微分フィルタを用いて対象画素のエッジ勾配を算出してもよい。図18において、(a)は図5に示すフィルタと同じ第1の水平方向1次微分フィルタFH1であり、(b)は図5に示すフィルタと同じ第1の垂直方向1次微分フィルタFV1である。また、(c)は、第1の水平方向1次微分フィルタFH1に対して、中央列を左側の列で置き換え、さらに左側の列の値をゼロとした第2の水平方向1次微分フィルタFH2である。(e)は、第1の水平方向1次微分フィルタFH1に対して、中央列を右側の列で置き換え、さらに右側の列の値をゼロとした第3の水平方向1次微分フィルタFH3である。同様に、(d)は、第1の垂直方向1次微分フィルタFV1に対して、中央段を上段で置き換え、さらに上段の値をゼロとした第2の垂直方向1次微分フィルタFV2である。(f)は、第1の垂直方向1次微分フィルタFV1に対して、中央段を下段で置き換え、さらに下段の値をゼロとした第3の垂直方向1次微分フィルタFV3である。
エッジ勾配方向設定部63は、FH1およびFV1を適用して得られた1次微分値をGx1およびGy1、FH2およびFV2を適用して得られた1次微分値をGx2およびGy2、FH3およびFV3を適用して得られた1次微分値をGx3およびGy3とするとき、水平方向および垂直方向の1次微分値の絶対値和が最大となるフィルタの組の1次微分値をエッジ勾配として用いる。
本変形例によれば、第1の1次微分フィルタに加えて、第2,第3の1次微分フィルタを併用することで、1画素幅のエッジも検出できるようになる。
なお、第2、第3の1次微分フィルタは特に文字画像に有効であるが、実装するモニタ等が実写映像などの表示に限定する場合は第1の1次微分フィルタのみでも充分な効果を発揮できる。
(エッジ勾配の算出に関する変形例2)
上記の説明では、入力画像がRGB方式である場合に、3つの成分から算出される値(平均値や最大値など)を単一の画素値として用い、エッジ勾配を算出した。しかしながら、エッジ勾配方向設定部63は、複数の画素値を用いてエッジ勾配を算出してもよい。
上記の説明では、入力画像がRGB方式である場合に、3つの成分から算出される値(平均値や最大値など)を単一の画素値として用い、エッジ勾配を算出した。しかしながら、エッジ勾配方向設定部63は、複数の画素値を用いてエッジ勾配を算出してもよい。
エッジ勾配方向設定部63は、上述したエッジ勾配算出処理方法を用いて、R,G,Bの成分毎にエッジ勾配を算出する。算出されたR成分のエッジ勾配を(GRx,GRy)、G成分のエッジ勾配を(GGx,GGy)、B成分のエッジ勾配を(GBx,GBy)とする。そして、エッジ勾配方向算出処理部は、R,G,B成分毎に、エッジ勾配の垂直方向成分および水平方向成分の絶対値の和を算出し、絶対値の和が最大となる成分のエッジ勾配を対象画素のエッジ勾配(Gx,Gy)とする。
本変形例によれば、単一の画素値で算出する場合に比べ、各色成分の傾向を考慮したエッジ勾配を決定することができる。たとえばR,G,B成分が(0,0,100)と(100,0,0)の画素間では、R成分およびB成分において変化が見られるが、3成分の平均値や最大値による単一の画素値を用いると、両画素で同一の画素値となり、エッジ勾配を検出できない。そのため、色成分毎にエッジ勾配を算出し、そのうち最も大きなものを採用することで、色成分を考慮したエッジ勾配を設定することができる。
(エッジ勾配方向の設定に関する変形例)
上記の説明では、エッジ勾配方向設定部63は、参照ブロックを構成する入力画素のうち選択した一つの入力画素におけるエッジ勾配を基に、補間画素のエッジ勾配方向を設定した。しかしながら、エッジ勾配方向設定部63は、参照ブロックを構成する入力画素のうち2つ以上の入力画素の各々において得られたエッジ勾配から補間画素のエッジ勾配方向を設定してもよい。以下、この方法について述べる。
上記の説明では、エッジ勾配方向設定部63は、参照ブロックを構成する入力画素のうち選択した一つの入力画素におけるエッジ勾配を基に、補間画素のエッジ勾配方向を設定した。しかしながら、エッジ勾配方向設定部63は、参照ブロックを構成する入力画素のうち2つ以上の入力画素の各々において得られたエッジ勾配から補間画素のエッジ勾配方向を設定してもよい。以下、この方法について述べる。
エッジ勾配方向設定部63は、補間画素のエッジ勾配方向を決定するために、参照ブロックからND個の対象画素を選択する。ただし、NDは2以上の自然数とする。図19は、補間画素のエッジ勾配方向を決定するために選択されたND個の対象画素の例を示した図である。図19に示されるように、例えば、エッジ勾配方向算出処理部は、補間画素を取り囲む4つの入力画素を対象画素として選択する。
次に、エッジ勾配方向設定部63は、ND個の対象画素それぞれについてエッジ勾配の算出を行う。この算出方法は上述した方法を用いる。ここで、対象画素Qk(ただしk=1,…,NDとする)に関して算出されたエッジ勾配を(Gxk,Gyk)とする。
エッジ勾配方向設定部63は、ND個のエッジ勾配(Gxk,Gyk)を用いて、補間画素におけるエッジ勾配(Gx,Gy)を決定して、補間画素のエッジ勾配方向を算出する。初めに、エッジ勾配方向設定部63は、第1象限と第4象限における、すなわちGxkの値を正に固定したときのGxkの総和SGxposとGykの総和SGyfreeとを算出する。
ただし、sign(x)は、引数xが0以上のとき1を、xが負のとき−1を返す符号関数である。同様に、エッジ勾配方向設定部63は、第1象限と第2象限における、すなわちGykの値を正に固定したときのGykの総和SGyposとGxkの総和SGxfreeを算出する。
続いて、エッジ勾配方向設定部63は、SGxposとSGyfreeの絶対値の和Sxと、SGxfreeとSGyposの絶対値の和Syを求める。Sx≧Syとなるとき、エッジ勾配方向算出処理部は、補間画素のエッジ勾配(Gx,Gy)=(SGxpos,SGyfree)とし、Sx<Syとなるとき、補間画素のエッジ勾配(Gx,Gy)=(SGxfree,SGypos)とする。
続いて、エッジ勾配方向設定部63は、得られたエッジ勾配(Gx,Gy)を用いて補間画素のエッジ勾配方向を設定する。エッジ勾配方向については、上記説明の方法(図8に示す方法)と同様のため、ここでは説明を省略する。
たとえば、ND=4とし、(Gx1,Gy1)=(200,100)、(Gx2,Gy2)=(−100,200)、(Gx3,Gy3)=(100,−100)、(Gx4,Gy4)=(−100,−200)とするとき、
SGxpos=200+100+100+100=500
SGyfree=100+200×(−1)+(−100)+(−200)×(−1)=0
SGxfree=200+(−100)+100×(−1)+(−100)×(−1)
=100
SGypos=100+200+100+200=600
となり、
Sx=|SGxpos|+|SGyfree|=500,
Sy=|SGxfree|+|SGypos|=700
となる。そのため、エッジ勾配方向設定部63は、補間画素のエッジ勾配を(Gx,Gy)=(100,600)に設定する。
SGxpos=200+100+100+100=500
SGyfree=100+200×(−1)+(−100)+(−200)×(−1)=0
SGxfree=200+(−100)+100×(−1)+(−100)×(−1)
=100
SGypos=100+200+100+200=600
となり、
Sx=|SGxpos|+|SGyfree|=500,
Sy=|SGxfree|+|SGypos|=700
となる。そのため、エッジ勾配方向設定部63は、補間画素のエッジ勾配を(Gx,Gy)=(100,600)に設定する。
単一の入力画素のみからエッジ勾配方向を算出する場合、選択された入力画素がノイズ等により正しくエッジ勾配方向を算出できない場合もある。しかしながら、本変形例によれば、エッジ勾配方向設定部63は、周囲のエッジ勾配を上記のように統合して、垂直方向のバラつきおよび水平方向のバラつきを考慮することにより、ノイズに強いエッジ勾配方向を設定することができる。
(その他)
なお、上記の説明では、エッジ勾配方向を求めるために、1次微分フィルタを用いた方法を挙げたが、他の方法を用いてエッジ勾配方向を設定してもよい。エッジ勾配方向の他の算出方法として、たとえばテンプレートマッチングが挙げられる。図20に示すような特定の方向に対応したテンプレートのフィルタを用いて、エッジ勾配方向設定部63は、各画素においてフィルタ演算により算出した値をエッジ量とする。そして、エッジ勾配方向算出処理部は、テンプレート毎に算出されたエッジ量が最大となるテンプレートに対応する方向からエッジ勾配方向を求めればよい。エッジ勾配方向を求める方法は特に指定しない。例として、エッジ量が最大となる方向θ1の両隣の方向のエッジ量のうち、大きな値を取る方の方向をθ2とし、θ1とθ2におけるエッジ量を重みとしてθ1とθ2を加重平均して方向θ3を求め、予め決められたNB個の方向のうちθ3に最も近い方向をエッジ勾配方向としてもよい。
なお、上記の説明では、エッジ勾配方向を求めるために、1次微分フィルタを用いた方法を挙げたが、他の方法を用いてエッジ勾配方向を設定してもよい。エッジ勾配方向の他の算出方法として、たとえばテンプレートマッチングが挙げられる。図20に示すような特定の方向に対応したテンプレートのフィルタを用いて、エッジ勾配方向設定部63は、各画素においてフィルタ演算により算出した値をエッジ量とする。そして、エッジ勾配方向算出処理部は、テンプレート毎に算出されたエッジ量が最大となるテンプレートに対応する方向からエッジ勾配方向を求めればよい。エッジ勾配方向を求める方法は特に指定しない。例として、エッジ量が最大となる方向θ1の両隣の方向のエッジ量のうち、大きな値を取る方の方向をθ2とし、θ1とθ2におけるエッジ量を重みとしてθ1とθ2を加重平均して方向θ3を求め、予め決められたNB個の方向のうちθ3に最も近い方向をエッジ勾配方向としてもよい。
なお、図20はテンプレートの一例を示す図であり、テンプレートのサイズを大きくすることで方向のパターンを増加することもできる。
〔実施形態2〕
上記の実施形態1では、算出されたエッジ勾配方向に応じて補間処理を行う方法について説明した。しかしながら、例えば前景オブジェクトに対して背景領域がボケ気味の画像などでは、エッジ勾配方向が常に信頼できるものとは限らず、またノイズ等の影響により誤ったエッジ勾配方向を算出してしまう場合も考えられる。そこで、本実施形態では、算出したエッジ勾配方向に対してその信頼度を評価し、信頼度が低い場合にはエッジ勾配方向に依存しない補間に切り替える。
上記の実施形態1では、算出されたエッジ勾配方向に応じて補間処理を行う方法について説明した。しかしながら、例えば前景オブジェクトに対して背景領域がボケ気味の画像などでは、エッジ勾配方向が常に信頼できるものとは限らず、またノイズ等の影響により誤ったエッジ勾配方向を算出してしまう場合も考えられる。そこで、本実施形態では、算出したエッジ勾配方向に対してその信頼度を評価し、信頼度が低い場合にはエッジ勾配方向に依存しない補間に切り替える。
(スケーラー処理部の構成)
図21は、本実施形態に係るスケーラー処理部61’の構成を示すブロック図である。スケーラー処理部61’は、参照ブロック設定部62、エッジ勾配方向設定部73、信頼度算出部74、第1補間処理部75、第2補間処理部76、および混合処理部77を備えている。
図21は、本実施形態に係るスケーラー処理部61’の構成を示すブロック図である。スケーラー処理部61’は、参照ブロック設定部62、エッジ勾配方向設定部73、信頼度算出部74、第1補間処理部75、第2補間処理部76、および混合処理部77を備えている。
図22は、エッジ勾配方向設定部73の構成を示すブロック図である。エッジ勾配方向設定部73は、エッジ勾配算出部78と、第1設定部79と、第2設定部80とを備えている。
エッジ勾配算出部78は、後段の第1設定部79および第2設定部80においてエッジ勾配方向を設定するために必要となる、複数の選択画素におけるエッジ勾配を算出する。具体的には、エッジ勾配算出部78は、参照ブロック内のNDGRD個の画素を選択画素として選択する。但し、NDGRDは2以上の自然数とする。例えば、エッジ勾配算出部78は、補間画素を取り囲む4つの画素を選択画素として選択すればよい。そして、エッジ勾配算出部78は、各選択画素について、実施形態1におけるエッジ勾配方向設定部63のエッジ勾配の算出方法と同様の方法により、エッジ勾配を算出する。処理内容については前述のためここでは説明を省略する。
第1設定部79は、NDGRD個の選択画素からさらに選択したND個の選択画素の各々におけるエッジ勾配方向を設定する。ただし、NDは2以上NDGRD以下の自然数とする。例えば、第1設定部79は、NDGRD個全ての選択画素を選択してもよいし、補間画素に近い上位2つの選択画素を選択してもよい。ND個の選択画素の各々におけるエッジ勾配方向を設定するため、出力されるエッジ勾配方向もND個となる。各選択画素におけるエッジ勾配方向の設定方法については、実施形態1と同様である。すなわち、第1設定部79は、選択画素に対して算出されたエッジ勾配を基に図8に従ってエッジ勾配方向を設定すればよい。
第2設定部80は、NDGRD個の選択画素からさらに選択したNP個の選択画素のエッジ勾配を用いて、補間画素のエッジ勾配方向を算出する。ただし、NPは1以上NDGRD以下の自然数とする。第2設定部80におけるエッジ勾配方向の設定方法は、NP=1のときは図8に従った方法と同様であり、NPが2以上のときは実施形態1の(エッジ勾配方向の設定に関する変形例)と同様であるため、ここでは説明を省略する。
なお、エッジ勾配算出部78におけるNDGRD個の選択画素のエッジ勾配は、第1設定部79もしくは第2設定部80の少なくとも一方で必ず選択されるものとする。また、第1設定部79および第2設定部80で選択するエッジ勾配は重複していてもよい。
信頼度算出部74は、第2設定部80により設定された補間画素のエッジ勾配方向φpの信頼度Vpを、第1設定部79により設定されたND個のエッジ勾配方向φ1〜φNDを用いて算出する。信頼度算出部74は、k=1,…,NDとするとき、φpとφkとを比較し、両方の方向パターンが一致するかどうかを示す第1評価値VCを求め、ND個全てのエッジ勾配方向φ1〜φNDについて算出した第1評価値VCの総和を信頼度として算出する。
図23は、信頼度算出処理を実行するためのフローチャートを示した図である。また、図24は、方向φを入力とした場合にVCに加算する値を出力するルックアップテーブルの例である。
まず、信頼度算出部74は、k=1,VC=0を初期値とし(S231)、φpとφkとを比較する(S232)。Φpがφkと一致するとき、信頼度算出部74は、VCにLUT_C[φp]を加算する(S233)。なお、LUT_C[φ]は、図24に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。図24に示すLUT_C[φ]のルックアップテーブルは、NB=12とする場合における一例であり、これらに限定する必要はない。信頼度算出部74は、以上の処理をk=1,…,NDについて反復し(S234,S235)、第1評価値VCを更新し、信頼度Vp=VCとして出力する(S236)。
このように、ND個の周囲画素のエッジ勾配方向について、補間画素のエッジ勾配方向と一致する場合にのみVCが更新されることにより、補間画素のエッジ勾配方向の確からしさを評価することができる。すなわち、第2設定部80により設定された補間画素のエッジ勾配方向は、必ずしも周辺画素のエッジ勾配方向のバラつきを考慮できているとは限らない。そこで、信頼度算出部74は、第1設定部79によって設定された周辺画素それぞれのエッジ勾配方向のバラつき度合いから補間画素のエッジ勾配方向の信頼度を算出している。周辺のエッジ勾配方向がばらついている場合、信頼度は低い値になる。これにより、信頼度を確認することにより、ノイズ等により周囲でエッジ勾配方向がバラついているか否かを判断することができる。
第1補間処理部75は、参照ブロック設定部62で設定された参照ブロックと、第2設定部80により設定された補間画素のエッジ勾配方向を用いて、補間画素における画素値を算出する処理を行う。本実施形態における第1補間処理部75は、図9に示すような実施形態1における補間処理部64と同様の構成を有する。すなわち、仮参照座標設定部65が、補間画素を内包する平行四辺形を構成する4点の仮参照座標を指定する。次に、参照画素値設定部66が、各仮参照座標に対応した画素値を設定する。最後に、補間画素値算出部67が、4つの仮参照画素の画素値と重み付け係数とから、重み付き加算により補間画素の画素値を算出する。本実施形態では、第1補間処理部75は、算出した補間画素の画素値をスケーラー処理部61’の最終出力値とせず、第1補間値OUT1として後段の混合処理部77へ入力する。
第1補間処理部75の処理内容については、実施形態1における補間処理部64と同様のため、ここでは詳細な説明を省略する。
第2補間処理部76は、参照ブロックを基に、エッジ勾配方向に依存しない補間処理により補間画素における画素値を算出する。
第2補間処理部76で適用するエッジ勾配方向に依存しない補間処理方法は、よく知られた方法を使用することができ、たとえば、Lanczos(ランツォシュ)補間処理を用いることができる。Lanczos補間処理は、以下に示す式に基づいて定められる重み係数と補間に用いる画素との積和を算出することにより補間処理を行うものである。
ただし、nは、補間関数の性質を制御するための変数であり、nに応じて補間演算に用いる補間画素数が変化する。dは、補間画素周辺の4画素と補間画素との距離を表している。図25はn=2における重み係数の分布を示す図である。たとえば、参照ブロックのサイズがM=N=4のとき、第2補間処理部76は、n=2とし、下記の通り水平方向に補間演算を行ってV(k)を算出する。
V(k)=w(1+distX)×P(k,0)+w(distX)×P(k,1)
+w(1−distX)×P(k,2)+w(2−distX)×P(k,3)
・・・(10)
ただし、k=0,1,2,3であり、Pは補間処理に用いる入力画素の画素値を表す。次に、第2補間処理部は、V(k)を用いて下記の通り補間演算を行うことにより、補間画素の第2補間値OUT2を算出する。
OUT2=w(1+distY)×V(0)+w(distY)×V(1)
+w(1−distY)×V(2)+w(2−distY)×V(3)
・・・(11)
なお、上記は入力画像がグレースケール画像である場合であり、画素値Pは各画素の階調値とする。入力画像がRGB画像である場合、R,G,B成分毎に補間画素の第2補間値を算出する。R成分の第2補間値をOUT2R、G成分の第2補間値をOUT2G、B成分の第2補間値をOUT2Bとすると、OUT2は、補間画素の第2補間値の3成分のベクトル(OUT2R,OUT2G,OUT2B)として表わされる。
V(k)=w(1+distX)×P(k,0)+w(distX)×P(k,1)
+w(1−distX)×P(k,2)+w(2−distX)×P(k,3)
・・・(10)
ただし、k=0,1,2,3であり、Pは補間処理に用いる入力画素の画素値を表す。次に、第2補間処理部は、V(k)を用いて下記の通り補間演算を行うことにより、補間画素の第2補間値OUT2を算出する。
OUT2=w(1+distY)×V(0)+w(distY)×V(1)
+w(1−distY)×V(2)+w(2−distY)×V(3)
・・・(11)
なお、上記は入力画像がグレースケール画像である場合であり、画素値Pは各画素の階調値とする。入力画像がRGB画像である場合、R,G,B成分毎に補間画素の第2補間値を算出する。R成分の第2補間値をOUT2R、G成分の第2補間値をOUT2G、B成分の第2補間値をOUT2Bとすると、OUT2は、補間画素の第2補間値の3成分のベクトル(OUT2R,OUT2G,OUT2B)として表わされる。
第2補間処理部76における処理はLanczos補間処理を限定されるものではなく、他の方法を用いてもよい。例えば、下記に示す双三次補間(バイキュービック補間)を用いてもよい。
混合処理部77は、第1補間処理部75で得られた第1補間値OUT1と、第2補間処理部76で得られた第2補間値OUT2とを、信頼度算出部74で得られた信頼度Vpに応じて混合する。
第1および第2補間値の混合比率γは、信頼度Vpを、Vpが取り得る最大値VpMAXで除算した値を用いる(すなわちγ=Vp/VpMAX)。また最大値VpMAXは、たとえばルックアップテーブルを用いて信頼度を算出する場合、ルックアップテーブルで参照し得る最大値をDMAXとするとき、VpMAX=DMAX×NDで与えられる。混合処理部77は、この混合比率γを用いて、次式のようにOUT1およびOUT2の重み付き加算を行う。
OUT=γOUT1+(1−γ)OUT2 ・・・(12)
式(12)により得られた画素値OUTを、本実施形態が備えるスケーラー処理部61’の出力とする。たとえば、信頼度Vp=60、信頼度の最大値VpMAX=100とするとき、混合比率γ=60/100=0.6となり、画素値OUT=0.6OUT1+0.4OUT2として与えられる。
OUT=γOUT1+(1−γ)OUT2 ・・・(12)
式(12)により得られた画素値OUTを、本実施形態が備えるスケーラー処理部61’の出力とする。たとえば、信頼度Vp=60、信頼度の最大値VpMAX=100とするとき、混合比率γ=60/100=0.6となり、画素値OUT=0.6OUT1+0.4OUT2として与えられる。
入力画像がRGB方式である場合、混合処理部77は、R,G,B成分毎の画素値を式(12)に従って算出すればよい。混合比率γは、3つの成分間で共通である。
(信頼度算出方法の変形例1)
信頼度算出部74における信頼度の算出方法は上記の方法に限定する必要はなく、たとえば下記の方法を用いることができる。
信頼度算出部74における信頼度の算出方法は上記の方法に限定する必要はなく、たとえば下記の方法を用いることができる。
k=1,…,NDとするとき、信頼度算出部74は、φpとφkとを比較し、両方の方向パターンが一致するかどうかを示す第1評価値VCと、φkがφpの右回り方向に隣接するかどうかを示す第2評価値VRと、φkがφpの左回り方向に隣接するかどうかを示す第3評価値VLとを算出する。信頼度算出部74は、ND個の選択画素のエッジ勾配方向φ1〜φNDについて算出した値の総和をとった後、第1、第2および第3評価値を合成することにより信頼度を算出する。
図26は、本変形例における信頼度算出処理を実行するためのフローチャートを示した図である。また、図27は、方向φを入力とした場合にVC、VRおよびVLに加算する値を出力するルックアップテーブルの例である。
まず、信頼度算出部74は、k=1、VC=VR=VL=0を初期値に設定し(S261)、φpとφkとを比較する(S262)。φkがφpと一致するとき、信頼度算出部74は、VCにLUT_C[φp]を加算する(S263)。なお、LUT_C[φ]は、図27の(a)に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
φkがφpと一致しないとき、続いてφpの右隣φpRとφkとが比較される(S264)。φkがφpRと一致するとき、信頼度算出部74は、VRにLUT_R[φp]を加算する(S265)。なお、LUT_R[φ]は、図27の(b)に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
φkがφpRと一致しないとき、続いてφpの左隣φpLとφkとが比較される(S266)。φkがφpLと一致するとき、信頼度算出部74は、VLにLUT_L[φp]を加算する(S267)。なお、LUT_L[φ]は、図27の(c)に示すように方向φ毎にゼロ以上となる係数を与えるルックアップテーブルである。
図27に示すLUT_C、LUT_RおよびLUT_Lの参照テーブルは、NB=12とする場合における一例であり、これらに限定する必要はない。
信頼度算出部74は、以上の処理をk=1,…,NDについて反復し(S268,S269)、第1、第2および第3評価値VC、VRおよびVLを更新し、最後に次式の演算により信頼度Vpを算出する。
Vp=VC+max{VR,VL}
上式により、ND個の周囲画素のエッジ勾配方向について、右回り方向にずれている場合はVR、左回り方向にずれている場合はVLの一方のみを加算することにより、右回り方向と左回り方向のずれ方の集中度合いを評価している。VRとVLのうち大きい方をVCと加算することで、集中度合いの大きい方が優先されるようになるため、φpに対して右回り方向および左回り方向の両方に同様に周囲画素のエッジ勾配方向がバラついている場合、VR,VLともに大きな値になりにくいため、信頼度を小さくすることができる。
Vp=VC+max{VR,VL}
上式により、ND個の周囲画素のエッジ勾配方向について、右回り方向にずれている場合はVR、左回り方向にずれている場合はVLの一方のみを加算することにより、右回り方向と左回り方向のずれ方の集中度合いを評価している。VRとVLのうち大きい方をVCと加算することで、集中度合いの大きい方が優先されるようになるため、φpに対して右回り方向および左回り方向の両方に同様に周囲画素のエッジ勾配方向がバラついている場合、VR,VLともに大きな値になりにくいため、信頼度を小さくすることができる。
また、LUT_Cに比べ、LUT_R,LUT_Lの出力値を小さく設定することで、方向が一致する場合は信頼度への寄与率を高く、隣接する場合は信頼度への寄与率を小さく設定できる。
(信頼度算出方法の変形例2)
上記の説明では、補間画素のエッジ勾配方向を用いて信頼度を算出したが、これに限定する必要はない。たとえば、エッジ勾配方向を求めるために算出された補間画素のエッジ勾配を用いて信頼度を算出してもよい。
上記の説明では、補間画素のエッジ勾配方向を用いて信頼度を算出したが、これに限定する必要はない。たとえば、エッジ勾配方向を求めるために算出された補間画素のエッジ勾配を用いて信頼度を算出してもよい。
図28は、本変形例にかかるスケーラー処理部61’’の構成を示すブロック図である。また、図29は、図28におけるエッジ勾配方向設定部81の構成を示すブロック図である。
図29に示されるように、エッジ勾配方向設定部81は、第1設定部79を有さず、エッジ勾配算出部78および第2設定部83のみを備えている。第2設定部83は、上記の第2設定部80と同様の機能を有し、さらに補間画素のエッジ勾配を出力する機能を有する。
信頼度算出部82は、補間画素のエッジ勾配を用いて信頼度を算出する。この算出方法は特に限定されない。たとえば、補間画素のエッジ勾配(Gxp,Gyp)とするとき、絶対値和|Gxp|+|Gyp|を信頼度Vpとして用いることができる。
(信頼度算出方法の変形例3)
信頼度算出部74,82は、上記の何れかの方法により算出した信頼度に対して、更に所定のフィルタを適用することで補正してもよい。図30は、信頼度を補正するためのフィルタの例を示す。フィルタは、信頼度Vpを入力として非減少の関数として与えられる。たとえば、図30の左側のフィルタ例のように所定の閾値以下では急激に信頼度が下がるようにするようにしてもよい。あるいは、図30の中央のフィルタ例のように、オフセットを与えて常に信頼度がゼロにならないようにすることもできる。あるいは、図30の右側のフィルタ例のように、補正を行うフィルタの波形は連続関数である必要は無く、ステップ形状とすることもできる。なお、出力信頼度Vpの取り得る最大値が入力信頼度の取り得る最大値よりも小さくなる場合、混合処理部77における最大値VpMAXは出力信頼度Vpの取り得る最大値VpMAX’に更新する。
信頼度算出部74,82は、上記の何れかの方法により算出した信頼度に対して、更に所定のフィルタを適用することで補正してもよい。図30は、信頼度を補正するためのフィルタの例を示す。フィルタは、信頼度Vpを入力として非減少の関数として与えられる。たとえば、図30の左側のフィルタ例のように所定の閾値以下では急激に信頼度が下がるようにするようにしてもよい。あるいは、図30の中央のフィルタ例のように、オフセットを与えて常に信頼度がゼロにならないようにすることもできる。あるいは、図30の右側のフィルタ例のように、補正を行うフィルタの波形は連続関数である必要は無く、ステップ形状とすることもできる。なお、出力信頼度Vpの取り得る最大値が入力信頼度の取り得る最大値よりも小さくなる場合、混合処理部77における最大値VpMAXは出力信頼度Vpの取り得る最大値VpMAX’に更新する。
本変形例によれば、信頼度が高域・中域・低域それぞれの場合において混合処理の振る舞いを補正により変更することが可能となる。たとえば、ある程度信頼度が小さくなった場合は全てゼロに補正して、エッジ勾配方向に依存した補間処理をオフにしてしまうことも可能である。
(信頼度算出方法の変形例4)
図24に示すルックアップテーブルでは、全てのエッジ勾配方向に対して同じ出力値を割り当てていた。しかしながら、図31に示されるように、各エッジ勾配方向の取り得る角度範囲は不均一である。たとえば±45°方向(図31の場合、B3、B9)は角度範囲が広いのに対して、水平方向、垂直方向(図31の場合、B0、B6)は角度範囲が狭い。角度範囲の広い方向では、狭い方向に比べて、図31に示すように、実際のエッジ勾配方向G1と、エッジ勾配から推定されたエッジ勾配方向G2との間の差異が大きくなり易い。この場合、実際のエッジ勾配方向(G1)と推定されたエッジ勾配方向(G2)との誤差により、実際に補間演算に用いるべき画素と推定されたエッジ勾配方向に基づいて定められる補間演算に用いる画素との間にズレが生じ、補間演算の結果に誤差が生じるという不具合が考えられる。拡大処理では、特に変倍率が大きくなるにつれて、当該誤差が目立つようになる。そこで、変倍率が大きいときに角度範囲が狭い方向における信頼度を高め、角度範囲が広い方向における信頼度を低くすることが好ましい。
図24に示すルックアップテーブルでは、全てのエッジ勾配方向に対して同じ出力値を割り当てていた。しかしながら、図31に示されるように、各エッジ勾配方向の取り得る角度範囲は不均一である。たとえば±45°方向(図31の場合、B3、B9)は角度範囲が広いのに対して、水平方向、垂直方向(図31の場合、B0、B6)は角度範囲が狭い。角度範囲の広い方向では、狭い方向に比べて、図31に示すように、実際のエッジ勾配方向G1と、エッジ勾配から推定されたエッジ勾配方向G2との間の差異が大きくなり易い。この場合、実際のエッジ勾配方向(G1)と推定されたエッジ勾配方向(G2)との誤差により、実際に補間演算に用いるべき画素と推定されたエッジ勾配方向に基づいて定められる補間演算に用いる画素との間にズレが生じ、補間演算の結果に誤差が生じるという不具合が考えられる。拡大処理では、特に変倍率が大きくなるにつれて、当該誤差が目立つようになる。そこで、変倍率が大きいときに角度範囲が狭い方向における信頼度を高め、角度範囲が広い方向における信頼度を低くすることが好ましい。
そこで、信頼度算出部74は、複数のルックアップテーブルを予め記憶しておき、変倍率に応じてルックアップテーブルを選択してもよい。具体的には、信頼度算出部74は、図24に示すルックアップテーブルと、図32に示すルックアップテーブルとを備えている。図32に示すルックアップテーブルでは、角度範囲Δθφが大きくなるほど出力値が小さくなるように設定されている。そして、信頼度算出部74は、変倍率が小さいとき(たとえば、2倍以下)、図24のルックアップテーブルを利用し、変倍率が大きいとき(たとえば、2倍より大きいとき)、図32に示すルックアップテーブルを利用する。これにより、補間精度を向上させることができる。
また、同様にして、変倍率に応じてLUT_RおよびLUT_Lを設定してもよい。上記と同様に、エッジ勾配方向の角度範囲が広い程、その隣のエッジ勾配方向との差異が大きくなるため、信頼度を低くする事で上記不具合が生じることの抑制することができる。
LUT_C,LUT_RおよびLUT_Lは、以下のように設定すればよい。まず、LUT_Cについては、図32と同じように、角度範囲Δθφが大きくなるほど出力値が小さくなるように設定される。また、図33に示されるように、エッジ勾配方向φ(図ではφ=B3を例とする)が持つ角度範囲の中央を通る(すなわち、φの角度範囲を二等分する)直線Lφを引き、原点を中心にLφを±ΔθTだけ回転した直線LleftおよびLrightを引く(たとえばΔθT=π/8など)。このとき、φが持つ角度の範囲をΔθφとすると、両隣のエッジ勾配方向に含まれる角度はそれぞれΔθRESとなる。
そして、LUT_C[φ]と、これらの角度の情報を利用して、LUT_R[φ]およびLUT_L[φ]の値が設定される。設定方法の例として、以下のようなΔθRESとΔθTの比から求める方法を用いればよい。
図34は、LUT_C[φ]を図32と同じにした場合のLUT_R[φ]およびLUT_L[φ]の値の設定例を示す。なお、LUT_RおよびLUT_Lの設定方法は、ここで説明した方法に限定されるものではなく、他の方法により設定してもよい。
そして、信頼度算出部74は、変倍率が小さいとき(たとえば、2倍以下)は図27の組を利用し、変倍率が大きいとき(たとえば、2倍より大きいとき)は図34の組を用いるなど、変倍率に応じて3つのLUTの値を選択すればよい。
(第1設定部および第2設定部における選択画素の選択方法の変形例)
上述したように、第1設定部79は、NDGRD個の選択画素からND個を選択する。また、第2設定部80は、NDGRD個の選択画素からNP個を選択する。この選択方法は特に限定されるものではない。
上述したように、第1設定部79は、NDGRD個の選択画素からND個を選択する。また、第2設定部80は、NDGRD個の選択画素からNP個を選択する。この選択方法は特に限定されるものではない。
例えば、第1設定部79で選択したエッジ勾配の集合をU1、第2設定部80で選択したエッジ勾配の集合をU2としたとき、U1はU2に含まれる、もしくはU2はU1に含まれるように選択される。すなわち、数の少ない方の集合は、数の多い方の集合に完全に重複する。あるいは、第1設定部79および第2設定部80は、同じ数の選択画素を選択してもよい。
また、第1設定部79および第2設定部80は、補間画素に近い選択画素から順に設定された個数(ND個またはNP個)の選択画素を選択してもよい。ND=NP=4である場合、補間画素を囲む4つの選択画素が選択される。NDまたはNPが5以上である場合、既に選択済みの選択画素のうちのいずれかに隣接する選択画素から、補間画素との距離が近い選択画素を優先的に選択すればよい。
また、補間画素に近い順に選択画素を選択するのではなく、補間画素に対する位置関係に基づいて選択画素を選択してもよい。たとえば、補間画素の座標を(px,py)とするときに、画素([px],[py])(ただし[x]は、xを越えない最大の整数)、すなわち補間画素の左上に位置する画素を最初に選択してもよい。その後、補間画素の左下の画素、右上の画素、右下の画素、左上画素の左隣の画素、左下画素の左隣の画素、・・・と順に選択していく。この位置関係の選択順位とは予め設定されている。
ここで、M=N=4であり、補間画素に対して左上画素の左隣の画素および左下画素の左隣の画素が選択画素として選択されたとする。すなわち、図35の(a)における選択画素AおよびBである。このような選択画素A,Bについて、(a)に示す補間画素*に対して設定された参照ブロックだけではエッジ勾配を求めることができない。そこで、このような場合、(b)に示されるように、水平方向に1画素分だけ前に設定された参照ブロックを用いて算出された選択画素AおよびBに対応するエッジ勾配をバッファに一時的に保管しておく。これにより、(a)のように参照ブロックが設定されたときにも、選択画素AおよびBに対応するエッジ勾配を参照することが可能となる。
〔実施形態3〕
本発明の別の実施形態3について説明する。本実施形態に係る画像処理装置は、モニタ(インフォメーションディスプレイ)である。図36は、本実施形態に係るモニタ1’の構成を示すブロック図である。図36に示されるように、モニタ1’は、実施形態1のテレビジョン受像機1と比較して、チューナー7を備えていない点で相違し、それ以外はテレビジョン受像機1と同様の構成を有する。図36に示すモニタ1’でも、映像信号処理回路21を備えることにより、高品質に映像をアップスケーリングすることが出来る。
本発明の別の実施形態3について説明する。本実施形態に係る画像処理装置は、モニタ(インフォメーションディスプレイ)である。図36は、本実施形態に係るモニタ1’の構成を示すブロック図である。図36に示されるように、モニタ1’は、実施形態1のテレビジョン受像機1と比較して、チューナー7を備えていない点で相違し、それ以外はテレビジョン受像機1と同様の構成を有する。図36に示すモニタ1’でも、映像信号処理回路21を備えることにより、高品質に映像をアップスケーリングすることが出来る。
また、図37は、図36に記載のモニタ1’を複数台並べて構成されるマルチディスプレイを示す図である。それぞれ、水平方向、垂直方向に複数台のモニタ1’を並べて構成されるマルチディスプレイにFHD映像を再生するような場合においても、各モニタ1’が映像信号処理回路21を備えることにより、高品質に映像をアップスケーリングすることができる。
〔まとめ〕
以上のように、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置(テレビジョン受像機1,モニタ1’)において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部(仮参照座標設定部65)と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記4つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。
以上のように、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置(テレビジョン受像機1,モニタ1’)において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部(仮参照座標設定部65)と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記4つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備える。
上記の構成によれば、エッジ勾配方向に垂直な方向(つまり、エッジ方向)に沿って設定された画素を用いた補間演算により補間画素の濃度値(画素値)が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、仮参照座標が参照ブロック外に位置する場合であっても、参照ブロック内の入力画素から仮参照座標の濃度値が補間的に算出される。そのため、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。特に、参照ブロックの入力画素のデータを抽出するためのラインバッファを十分に確保できない場合でも、補間画素の濃度値を精度よく算出できる。
また、本発明の一態様に係る画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部と、上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、上記4つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第1補間値を算出する第1補間処理部と、上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第2補間画素値を算出する第2補間処理部と、上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、上記信頼度に基づいて、上記第1補間値および第2補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第1補間値と上記第2補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備える。
上記の構成によっても、エッジ勾配方向に垂直な方向(つまり、エッジ方向)に沿って設定された画素を考慮して、補間画素の濃度値(画素値)が算出される。これにより、滑らかさを保ちながら拡大縮小を行うことができる。さらに、参照ブロック内の入力画素のデータのみを確認することで補間画素の濃度値を求めることができ、補間画素の濃度値を演算するための処理速度を向上させることができる。
また、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を基に、第1補間値および第2補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第1補間値と上記第2補間値とを加算して、補間画素の濃度値を算出する。そのため、エッジ勾配方向の信頼度に応じて、第1補間値と上記第2補間値との重み係数を変化させることができる。例えば、エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度が低い場合には、第1補間値の重み係数を小さくすればよい。これにより、誤ったエッジ方向に依存した補間処理による画像品質低下を防止することができる。
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定してもよい。
上記の構成によれば、参照ブロック内の入力画素におけるばらつきを考慮することができ、ノイズに影響されにくいエッジ勾配方向を設定することができる。
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、少なくとも1つの水平方向1次微分フィルタと、少なくとも1つの垂直方向1次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定してもよい。
水平方向1次微分フィルタおよび垂直方向1次微分フィルタを用いてエッジ勾配を求めることにより、参照ブロックという限られた範囲の中で精度よくエッジ勾配方向を設定することができる。
また、複数の水平方向1次微分フィルタおよび複数の垂直方向1次微分フィルタを用いた場合、文字等の1画素幅で構成されるエッジを含めてエッジ勾配を求めることができ、精度よくエッジ勾配方向を設定することができる。
また、本発明の一態様に係る画像処理装置において、上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第1評価値を用いて上記信頼度を算出してもよい。
上記の構成によれば、補間画素のエッジ勾配方向と、周囲の入力画素のエッジ勾配方向との比較から信頼度を算出することで、エッジ勾配方向のバラつきを考慮することができる。例えば、ノイズ等により本来のエッジ勾配方向と異なるエッジ勾配方向が設定されている場合に、周辺にノイズなどで特異な画素がある可能性があるとして信頼度を下げることができる。
また、本発明の一態様に係る画像処理装置において、上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、(1)当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第2評価値を求めるとともに、(2)当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第3評価値を求め、第2評価値および第3評価値のうち大きい方の値を第1評価値に加算することにより上記信頼度を算出してもよい。
上記の構成によれば、第1評価値に加えて第2、第3評価値を更に考慮することで、補間画素のエッジ勾配方向について、右回り方向および左回り方向の両側にバラつきが出る場合にその偏りの大きい方のみを考慮することができる。これにより、例えばコーナー部分のように周囲に複数方向のエッジが存在する場合に信頼度を下げることができる。
また、本発明の一態様に係る画像処理装置は、さらに、表示部を備え、上記画像データを拡大縮小した後の画像を上記表示部に表示させてもよい。
これにより、エッジ勾配方向を考慮した補間演算による拡大縮小処理後の画像を表示させる画像表示装置を実現することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
最後に、テレビジョン受像機1またはモニタ1’の各ブロック、特にスケーラー処理部61,61’、61’’は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
上述した機能を実現するソフトウェアであるテレビジョン受像機1またはモニタ1’の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記テレビジョン受像機1またはモニタ1’に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、テレビジョン受像機1またはモニタ1’を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、例えばテレビジョンなどの画像処理に利用することができる。
1 テレビジョン受像機(画像処理装置)
1’ モニタ(画像処理装置)
13 表示部
21 映像信号処理回路
61,61’,61’’ スケーラー処理部
62 参照ブロック設定部
63,73,81 エッジ勾配方向設定部
64 補間処理部
65 仮参照座標設定部(参照画素設定部)
66 参照画素値設定部
67 補間画素値算出部
74,82 信頼度算出部
75 第1補間処理部
76 第2補間処理部
77 混合処理部
78 エッジ勾配算出部
79 第1設定部
80,83 第2設定部
1’ モニタ(画像処理装置)
13 表示部
21 映像信号処理回路
61,61’,61’’ スケーラー処理部
62 参照ブロック設定部
63,73,81 エッジ勾配方向設定部
64 補間処理部
65 仮参照座標設定部(参照画素設定部)
66 参照画素値設定部
67 補間画素値算出部
74,82 信頼度算出部
75 第1補間処理部
76 第2補間処理部
77 混合処理部
78 エッジ勾配算出部
79 第1設定部
80,83 第2設定部
Claims (6)
- 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部と、
上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
上記4つの参照画素における参照画素値を用いて、上記補間画素の濃度値を算出する補間画素値算出部とを備えることを特徴とする画像処理装置。 - 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
上記補間画素を含む参照ブロックを設定する参照ブロック設定部と、
上記参照ブロック内の入力画素を用いて、補間画素におけるエッジ勾配方向を設定するエッジ勾配方向設定部と、
上記エッジ勾配方向に垂直な方向に沿った2辺を有する四角形の頂点となる4つの参照画素を設定する参照画素設定部と、
上記参照画素が上記参照ブロック外に位置する場合、当該参照画素を一端とする上記四角形の一辺と上記参照ブロックの境界線との交点を求め、当該交点に隣接する参照ブロック内の入力画素を隣接入力画素として特定し、当該隣接入力画素と当該交点との距離および当該隣接入力画素における濃度値に基づいて、当該参照画素の濃度値である参照画素値を推定し、上記参照画素が上記参照ブロック内に位置する場合、参照画素と同じ位置の入力画素の濃度値を参照画素値とする参照画素値設定部と、
上記4つの参照画素における参照画素値を用いて、上記補間画素におけるエッジ勾配方向依存の濃度値である第1補間値を算出する第1補間処理部と、
上記エッジ勾配方向に依存しない補間処理を用いて、上記補間画素における非エッジ勾配方向依存の濃度値である第2補間画素値を算出する第2補間処理部と、
上記エッジ勾配方向設定部により設定されたエッジ勾配方向の信頼度を算出する信頼度算出部と、
上記信頼度に基づいて、上記第1補間値および第2補間値の各々に対する重み係数を決定し、決定した重み係数を用いて上記第1補間値と上記第2補間値とを加算して、上記補間画素の濃度値を算出する混合処理部とを備えることを特徴とする画像処理装置。 - 上記エッジ勾配方向設定部は、上記参照ブロック内における複数の入力画素の各々におけるエッジ勾配を求め、当該複数の入力画素におけるエッジ勾配に基づいて、補間画素におけるエッジ勾配方向を設定することを特徴とする請求項1または2に記載の画像処理装置。
- 上記エッジ勾配方向設定部は、少なくとも1つの水平方向1次微分フィルタと、少なくとも1つの垂直方向1次微分フィルタを用いて、上記参照ブロック内における入力画素におけるエッジ勾配を求め、当該エッジ勾配に基づいて補間画素におけるエッジ勾配方向を設定することを特徴とする請求項1から3の何れか1項に記載の画像処理装置。
- 上記エッジ勾配方向設定部は、補間画素のエッジ勾配方向として、予め定められた角度範囲を有する複数の角度領域から選択した一つの角度領域を設定し、
上記信頼度算出部は、上記参照ブロックに含まれる複数の入力画素の各々について、当該入力画素におけるエッジ勾配方向が上記補間画素に対して設定されたエッジ勾配方向と同じ角度領域に属するか否かを判定し、一致する入力画素の数を示す第1評価値を用いて上記信頼度を算出することを特徴とする請求項2に記載の画像処理装置。 - 上記信頼度算出部は、さらに、上記参照ブロックに含まれる複数の入力画素の各々について、(1)当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と右回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第2評価値を求めるとともに、(2)当該入力画素におけるエッジ勾配方向が、上記補間画素に対して設定されたエッジ勾配方向の角度領域と左回り方向に隣接する角度領域に属するか否かを判定し、一致する入力画素の数を示す第3評価値を求め、第2評価値および第3評価値のうち大きい方の値を第1評価値に加算することにより上記信頼度を算出することを特徴とする請求項5に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012235168A JP6009903B2 (ja) | 2012-10-24 | 2012-10-24 | 画像処理装置 |
CN201380055242.4A CN104737199B (zh) | 2012-10-24 | 2013-10-15 | 图像处理装置以及记录介质 |
US14/437,574 US9288363B2 (en) | 2012-10-24 | 2013-10-15 | Image-processing apparatus |
PCT/JP2013/077964 WO2014065160A1 (ja) | 2012-10-24 | 2013-10-15 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012235168A JP6009903B2 (ja) | 2012-10-24 | 2012-10-24 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014085892A true JP2014085892A (ja) | 2014-05-12 |
JP6009903B2 JP6009903B2 (ja) | 2016-10-19 |
Family
ID=50544540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012235168A Active JP6009903B2 (ja) | 2012-10-24 | 2012-10-24 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9288363B2 (ja) |
JP (1) | JP6009903B2 (ja) |
CN (1) | CN104737199B (ja) |
WO (1) | WO2014065160A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881843A (zh) * | 2015-06-10 | 2015-09-02 | 京东方科技集团股份有限公司 | 图像插值方法和图像插值装置 |
US9786035B2 (en) | 2014-11-10 | 2017-10-10 | Samsung Display Co., Ltd. | Image processing apparatus and image processing method for performing interlaced to progressive conversion |
WO2021158039A1 (ko) * | 2020-02-05 | 2021-08-12 | 삼성전자 주식회사 | 영상을 다운스케일링하는 방법 및 장치 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI546777B (zh) | 2015-03-12 | 2016-08-21 | 瑞昱半導體股份有限公司 | 影像處理裝置與方法 |
CN105096253B (zh) * | 2015-07-30 | 2019-03-01 | 青岛海信电器股份有限公司 | 一种图像插值方法及装置 |
US10679326B2 (en) * | 2015-11-24 | 2020-06-09 | Canon Kabushiki Kaisha | Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data |
JP6689656B2 (ja) * | 2016-04-18 | 2020-04-28 | ルネサスエレクトロニクス株式会社 | 画像処理システム、画像処理方法及び画像送信装置 |
CN109196579A (zh) * | 2016-06-08 | 2019-01-11 | 夏普株式会社 | 影像显示装置、影像显示装置的控制方法及影像显示装置的控制程序 |
JP2018088098A (ja) * | 2016-11-28 | 2018-06-07 | 富士通株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10861131B2 (en) * | 2017-12-28 | 2020-12-08 | Samsung Electronics Co., Ltd. | Image magnifying apparatus |
CN109784213B (zh) * | 2018-12-27 | 2022-10-11 | 合肥工业大学 | 一种低成本的非极大值抑制电路结构 |
CN117726557A (zh) * | 2023-05-17 | 2024-03-19 | 荣耀终端有限公司 | 图像处理方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07128017A (ja) * | 1993-11-08 | 1995-05-19 | Toyota Central Res & Dev Lab Inc | 距離測定装置 |
JP2009049562A (ja) * | 2007-08-15 | 2009-03-05 | Japan Science & Technology Agency | 画像処理装置、方法およびプログラム |
WO2009130820A1 (ja) * | 2008-04-21 | 2009-10-29 | シャープ株式会社 | 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体 |
JP2010283601A (ja) * | 2009-06-04 | 2010-12-16 | Canon Inc | 解像度変換装置及びその制御方法 |
JP2011028640A (ja) * | 2009-07-28 | 2011-02-10 | Canon Inc | 解像度変換装置および解像度変換方法 |
WO2012077395A1 (ja) * | 2010-12-06 | 2012-06-14 | 株式会社ナナオ | エッジ補間装置またはその方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100568105B1 (ko) * | 2003-10-02 | 2006-04-05 | 삼성전자주식회사 | 에지 기반의 영상 적응형 디인터레이싱 방법 |
US8165389B2 (en) * | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
US20100067818A1 (en) | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
KR101027323B1 (ko) * | 2010-01-20 | 2011-04-06 | 고려대학교 산학협력단 | 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 |
US8665367B2 (en) * | 2010-01-29 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Video resolution enhancement technique |
CN102638679B (zh) * | 2011-02-12 | 2014-07-02 | 澜起科技(上海)有限公司 | 基于矩阵对图像进行插值的方法及图像处理系统 |
-
2012
- 2012-10-24 JP JP2012235168A patent/JP6009903B2/ja active Active
-
2013
- 2013-10-15 US US14/437,574 patent/US9288363B2/en not_active Expired - Fee Related
- 2013-10-15 WO PCT/JP2013/077964 patent/WO2014065160A1/ja active Application Filing
- 2013-10-15 CN CN201380055242.4A patent/CN104737199B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07128017A (ja) * | 1993-11-08 | 1995-05-19 | Toyota Central Res & Dev Lab Inc | 距離測定装置 |
JP2009049562A (ja) * | 2007-08-15 | 2009-03-05 | Japan Science & Technology Agency | 画像処理装置、方法およびプログラム |
WO2009130820A1 (ja) * | 2008-04-21 | 2009-10-29 | シャープ株式会社 | 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体 |
JP2010283601A (ja) * | 2009-06-04 | 2010-12-16 | Canon Inc | 解像度変換装置及びその制御方法 |
JP2011028640A (ja) * | 2009-07-28 | 2011-02-10 | Canon Inc | 解像度変換装置および解像度変換方法 |
WO2012077395A1 (ja) * | 2010-12-06 | 2012-06-14 | 株式会社ナナオ | エッジ補間装置またはその方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9786035B2 (en) | 2014-11-10 | 2017-10-10 | Samsung Display Co., Ltd. | Image processing apparatus and image processing method for performing interlaced to progressive conversion |
CN104881843A (zh) * | 2015-06-10 | 2015-09-02 | 京东方科技集团股份有限公司 | 图像插值方法和图像插值装置 |
US10115180B2 (en) | 2015-06-10 | 2018-10-30 | Boe Technology Group Co., Ltd. | Image interpolation device and method thereof |
WO2021158039A1 (ko) * | 2020-02-05 | 2021-08-12 | 삼성전자 주식회사 | 영상을 다운스케일링하는 방법 및 장치 |
KR20210099867A (ko) * | 2020-02-05 | 2021-08-13 | 삼성전자주식회사 | 영상을 다운스케일링하는 방법 및 장치 |
KR102449250B1 (ko) | 2020-02-05 | 2022-09-29 | 삼성전자주식회사 | 영상을 다운스케일링하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6009903B2 (ja) | 2016-10-19 |
US20150288851A1 (en) | 2015-10-08 |
CN104737199A (zh) | 2015-06-24 |
CN104737199B (zh) | 2017-10-17 |
WO2014065160A1 (ja) | 2014-05-01 |
US9288363B2 (en) | 2016-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6009903B2 (ja) | 画像処理装置 | |
US8520009B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
JP5781370B2 (ja) | 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体 | |
JP2010520693A (ja) | 画像データの関心領域を考慮した映像伝送方法および装置 | |
WO2018171608A1 (en) | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout | |
TWI546777B (zh) | 影像處理裝置與方法 | |
CN105144681A (zh) | 用频率提高来创建图像中的细节 | |
JP2013041565A (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
US20010048771A1 (en) | Image processing method and system for interpolation of resolution | |
KR101339785B1 (ko) | 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치 | |
WO2013151163A1 (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体 | |
JP2013250946A (ja) | 画像処理装置、画像処理方法、および、プログラム | |
JP2004032484A (ja) | 投影型画像表示装置および画像変換方法 | |
KR100986607B1 (ko) | 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체 | |
US9589324B1 (en) | Overshoot protection of upscaled images | |
US20140010455A1 (en) | Imaging processing apparatus, image processing system and method for processing image | |
JP6661339B2 (ja) | 表示制御装置、マルチディスプレイシステム、およびマルチディスプレイシステムの表示方法 | |
EP1331815A2 (en) | Projection-type display device having distortion correcting function | |
US7590302B1 (en) | Image edge enhancement system and method | |
JP2005012407A (ja) | 画像投射装置および画像処理方法 | |
US20210112179A1 (en) | Image processing apparatus, imaging apparatus, image printing apparatus, method for controlling image processing apparatus, and image processing program | |
KR20210108027A (ko) | 전자 장치 및 그 제어 방법 | |
JP2010118753A (ja) | 再生装置、再生装置の制御プログラム、および再生装置の制御プログラムを記録した記録媒体 | |
JP2015106318A (ja) | 画像処理装置および画像処理方法 | |
JP2005123813A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6009903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |