JP2009017450A - 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム - Google Patents

Abstract

【課題】ブロック符号化を用いて圧縮符号化された動画データを復号した際に、ブロック歪を効果的に低減する。
【解決手段】ブロック符号化を用いて圧縮符号化された動画データが復号され、復号画像データに対して輪郭検出が行われる。検出された輪郭箇所数に基づき輪郭強調処理の負荷量Ｌが算出される。負荷量Ｌが閾値Ｌ_ｔｈより小さければ、係数α＝１として、ブロック歪低減処理を施す処理エリアをフレーム画枠全体に設定する。負荷量Ｌが閾値Ｌ_ｔｈより大きければ、処理量Ｌに基づき０＜α＜１として係数αが算出され、ブロック歪低減処理エリアがフレーム画枠に対して同心状に縮小されて設定される。輪郭強調処理の負荷量Ｌに応じてブロック歪低減処理エリアが可変的に設定され、ブロック歪低減処理を常時、実行することができる。
【選択図】図６

Description

この発明は、ブロック符号化を用いて圧縮符号化された動画データを復号する画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラムに関する。

従来から、動画データを効率よく圧縮符号化するための符号化方式として、ＤＣＴ(Discrete Cosine Transform)などを用いたブロック符号化が知られている。一例として、１フレームを例えば８×８画素のブロックに分割し、分割されたブロックのそれぞれにおいて、ＤＣＴを行う。ＤＣＴの結果得られた６４個のＤＣＴ係数を所定の量子化テーブルを用いて量子化し、さらにハフマン符号といったエントロピー符号を用いてデータ量を減らす。

このＤＣＴを用いたブロック符号化は、ブロック内の閉じた空間で変換を行っており、ブロックの境界を越えた相関を考慮していないため、ブロック境界においてデータ値が不連続となり、データ値に段差が生じる。これにより、ブロック符号化を用いて圧縮符号化したデータの復号化時に、隣接ブロックとの境界部において再生データ値の段差がブロック歪を引き起こし、このブロック歪がノイズとして知覚されてしまうことになる。規則性を持つブロック歪は、ランダムに発生するランダムノイズに比べて知覚され易く、画質劣化の大きな要因となっている。

このブロック歪を低減する方法として、動画データの復号後に、ブロック境界におけるデータ値の段差を減少させるようなスムージングフィルタをフレーム全体に適用することが一般的に行われている。この方法では、１フレームの総画素数や単位時間当たりの処理フレーム数が増加すると、単位時間内に１フレーム分のフィルタ処理が終了しきれないことになる可能性がある。この場合には、処理自体を実施することができず、画質の劣化を低減できないことになってしまう。

これを解決するために、例えば特許文献１では、ＣＰＵ(Central Processing Unit)の負荷量に応じてブロック歪の低減処理を行うか否かを選択するようにしている。すなわち、特許文献１によれば、ＣＰＵの負荷量が大きい場合に、ブロック歪の低減処理を省略して、単位時間内に処理が終了しきれない事態を回避している。
特開２００７−１３３１５号公報

しかしながら、この特許文献１の方法では、ＣＰＵの負荷量が大きい状態が続くとブロック歪の低減処理が行われなくなり、画質の劣化を引き起こしてしまうという問題点があった。例えば、動画データにおいてＣＰＵの負荷量が大きいフレームが連続するような場合、ブロック歪の低減処理を行わない状態が続いてしまう可能性があり、この場合、画質の劣化が避けられない。

したがって、この発明の目的は、ブロック符号化を用いて圧縮符号化された動画データを復号した際に、ブロック歪を効果的に低減することができるようにした画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラムを提供することにある。

第１の発明は、上述した課題を解決するために、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理部と、第１の画像処理部で第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理部と、第１の画像処理部および第２の画像処理部を制御する制御部とを有し、制御部は、第２の画像処理部による第２の画像処理を行うフレーム上の範囲を、第１の画像処理部による第１の画像処理の処理量に応じて可変的に設定することを特徴とする画像処理装置である。

また、第２の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、第１の画像処理のステップにより第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、第２の画像処理のステップによる第２の画像処理を行うフレーム上の範囲を、第１の画像処理のステップによる第１の画像処理の処理量に応じて可変的に設定するステップとを有することを特徴とする画像処理方法である。

また、第３の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、第１の画像処理のステップにより第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、第２の画像処理のステップによる第２の画像処理を行うフレーム上の範囲を、第１の画像処理のステップによる第１の画像処理の処理量に応じて可変的に設定するステップとを有する画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラムである。

また、第４の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生装置において、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力部と、入力部に入力された圧縮動画データを復号する復号部と、復号部で復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理部と、第１の画像処理部で第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理部と、第１の画像処理部および第２の画像処理部を制御する制御部とを有し、制御部は、第２の画像処理部による第２の画像処理を行うフレーム上の範囲を、第１の画像処理部による第１の画像処理の処理量に応じて可変的に設定することを特徴とする再生装置である。

また、第５の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法において、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、入力のステップにより入力された圧縮動画データを復号する復号のステップと、復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、第１の画像処理のステップで第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、第２の画像処理部による第２の画像処理を行うフレーム上の範囲を、第１の画像処理部による第１の画像処理の処理量に応じて可変的に設定するステップとを有することを特徴とする再生方法である。

また、第６の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法をコンピュータに実行させる再生プログラムにおいて、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、入力のステップにより入力された圧縮動画データを復号する復号のステップと、復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、第１の画像処理のステップで第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、第２の画像処理部による第２の画像処理を行うフレーム上の範囲を、第１の画像処理部による第１の画像処理の処理量に応じて可変的に設定するステップとを有する再生方法をコンピュータに実行させることを特徴とする再生プログラムである。

上述したように、第１、第２および第３の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行い、第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行うようにされ、第２の画像処理を行うフレーム上の範囲を、第１の画像処理の処理量に応じて可変的に設定するようにしているため、第２の画像処理を第１の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる。

また、第４、第５および第６の発明は、入力された、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号し、復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行い、第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行うようにされ、第２の画像処理を行うフレーム上の範囲を、第１の画像処理の処理量に応じて可変的に設定するようにしているため、第２の画像処理を第１の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる。

第１、第２および第３の発明は、上述したように、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行い、第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行うようにされ、第２の画像処理を行うフレーム上の範囲を、第１の画像処理の処理量に応じて可変的に設定するようにしているため、第２の画像処理を第１の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる効果がある。

また、第４、第５および第６の発明は、入力された、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号し、復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行い、第１の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第２の画像処理を行うようにされ、第２の画像処理を行うフレーム上の範囲を、第１の画像処理の処理量に応じて可変的に設定するようにしているため、第２の画像処理を第１の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる効果がある。

以下、この発明の実施の第１の形態について説明する。この発明では、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号化した復号動画データに対してブロック歪低減処理を行う際に、当該復号動画データに対するブロック歪低減処理以外の所定の画質改善処理の負荷量に基づき、ブロック歪低減処理を行う処理エリアを適応的に設定する。ブロック歪低減処理を行う処理エリアは、画面の中心から画面の周辺部へ向けて設定する。すなわち、ブロック歪低減処理以外の所定の画質改善処理の負荷量が多い場合には、ブロック歪低減処理を行う処理エリアを狭く設定し、当該負荷量が少ない場合には、当該処理エリアを広く設定する。

このように制御することで、常にブロック歪低減処理を施しつつ、ブロック歪低減処理を含めた画質改善処理全体の処理量を、所定以下に抑えることができる。また、ブロック歪低減処理の処理エリアを画面の中心から画面の周辺部に向けて設定することで、ユーザに注目され易いと考えられる画面の中心部分に対して優先的にブロック歪低減処理が施される。そのため、ブロック歪低減処理を行う処理エリアが狭く設定された場合でも、画質の劣化が目立たない。

図１は、この発明の実施の第１の形態に適用可能な画像処理装置の一例の構成を示す。端子１０に対して、ブロック符号化を用いた所定の圧縮符号化方式、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式で圧縮符号化された圧縮動画データが供給される。周知のように、ＭＰＥＧ２方式では、画面を所定サイズ、例えば８×８画素のブロックに分割し、このブロック単位でＤＣＴを行い動画データを圧縮符号化する。以下、このＤＣＴといったブロック符号化を行う単位ブロックを符号化ブロックと呼ぶ。

なお、この実施の第１の形態に適用可能な圧縮符号化方式は、ＭＰＥＧ２方式に限られず、ブロック符号化を用いて圧縮符号化を行うものであれば、他の符号化方式を適用させることも可能である。例えば、Ｈ．２６４｜ＡＶＣと略称される、例えばＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standarization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Codingに規定される符号化方式を、この実施の第１の形態に適用することができる。

端子１０に入力された圧縮動画データは、復号部１１に供給される。復号部１１は、供給された圧縮動画データを復号化してベースバンドの動画データとして出力する。既に説明したように、符号化ブロックは、それぞれ互いに独立してＤＣＴといったブロック符号化が行われる。そのため、復号後の動画データにおいて、符号化ブロックの境界部分で隣接する画素間の信号レベルに顕著な段差が生じてしまう可能性がある。この符号化ブロック境界部分に発生するレベル段差は、この復号動画データを表示デバイスなどに表示させた際に、画質の劣化となって現れる。

復号部１１から出力された復号動画データは、画質改善部１２に入力される。画質改善部１２は、復号動画データに対して画像処理を施す演算処理部２０と、演算処理部２０を制御するＣＰＵ(Central Processing Unit)２１と、演算処理部２０に対して所定の命令を与えるホストＣＰＵ２２とからなる。演算処理部２０は、例えば１個のＤＳＰ(Digital Signal Processor)からなり、ＣＰＵ２１の制御に基づき所定の演算処理を行うようにされている。

なお、ホストＣＰＵ２２は、この画像処理装置の全体を制御するためのものであるが、この図１においては、演算処理部２０の制御に関わる機能部分を抜き出して画質改善部１２の一部として記載してある。また、ＣＰＵ２１は、ホストＣＰＵ２２の機能により実現されてもよい。

画質改善部１２に入力された復号動画データは、演算処理部２０に供給される。演算処理部２０は、供給された復号動画データに対して、画面全体を対象とする第１の画像処理を施し、その後、符号化ブロックの境界付近を対象とする第２の画像処理を施す。第１の画像処理は、画面全体に亘って画質改善を図るような処理である。第１の画像処理としては、例えば輪郭強調処理やノイズ除去処理、レベル補正処理などの処理が考えられる。以下では、説明のため、第１の画像処理を輪郭強調処理であるものとして説明する。また、第２の画像処理は、符号化ブロックの境界部分に発生するレベル段差を修正するための処理である。以下では、この第２の画像処理を、ブロック歪低減処理と呼ぶ。

画質改善部１２から出力された動画データは、例えば表示部１３に供給され、表示デバイスに映出される。

図２は、画質改善部１２の一例の構成を機能的に示す。第１の画像処理として輪郭強調処理を行うこの例では、演算処理部２０は、輪郭検出部３０、輪郭強調処理部３１およびブロック歪低減処理部３２を有し、それぞれホストＣＰＵ２２の命令に基づきＣＰＵ２１により制御される。輪郭検出部３０は、供給された復号動画データに含まれる輪郭部分を検出する。輪郭強調処理部３１は、供給された復号動画データに対し、輪郭検出部３０に検出された輪郭部分を強調する処理を行う。

図３を用いて、一例の輪郭強調処理について、概略的に説明する。画質改善部１２に供給された復号動画データは、輪郭検出部３０に供給される。輪郭検出部３０は、例えばフレームメモリを有し、供給された復号動画データをフレーム単位で格納する。輪郭検出部３０は、フレームメモリに格納された１フレーム分の復号動画データに対し、図３Ａに例示されるように、各画素の信号レベル（例えば輝度レベル）に基づき画素位置に対する信号レベルの変化を調べ、変化の割合が所定範囲内である部分を輪郭部分であるとして検出する。図３Ａの例では、部分Ａ₁および部分Ａ₂が、画素位置に対する信号レベルの変化の割合が所定範囲内であるとして検出されている。輪郭検出部３０は、この処理を、フレームメモリに格納された１フレーム分の復号動画データの垂直方向および水平方向に対してそれぞれ行い、１フレーム内の輪郭部分を検出する。

輪郭強調処理部３１は、輪郭検出部３０で検出された輪郭部分に対して輪郭強調処理を施す。一例として、図３Ｂに例示されるように、輪郭検出部３０で検出された輪郭部分に含まれる各画素に対して、それぞれ所定に係数を乗じて、画素位置に対する信号レベルの変化の割合をより大きくする。図３Ｂの例では、輪郭部分であるとして検出された部分Ａ₁において、信号レベルの変化が部分Ｂ₁に例示されるように急峻化され、この部分の輪郭が強調される。部分Ａ₂についても、同様の処理がなされ、信号レベルの変化が部分Ｂ₂に例示されるように急峻化される。輪郭強調処理部３１は、この処理を、輪郭検出部３０で検出された全ての輪郭部分に対して行う。

輪郭強調処理部３１で輪郭強調処理された復号動画データに対し、当該動画データにおける符号化ブロックの境界付近の画素に対してフィルタ処理を施し、当該ブロック境界に発生するレベル段差を修正してブロック歪を低減する。一例として、ブロック歪低減処理部３２は、図４に例示されるように、フレームメモリに格納された１フレーム分の復号動画データについて、ＤＣＴブロック境界の両側に位置する所定数の画素（図中にて斜線を付して示す）に対して所定に重み付けを行い、境界位置の加重平均を求める。この加重平均値に基づき、境界に隣接する画素の値を求める。この処理を、１フレーム内のホストＣＰＵ２２に指定される処理エリアに対して行う。

上述したように、輪郭検出部３０および輪郭強調処理部３１で行われる輪郭強調処理は、１フレームの動画データに対する輪郭検出結果に基づき行われる。そのため、動画データに対する輪郭強調処理は、フレーム毎に固定ではなく、対象となるフレームの絵柄に依存することになる。すなわち、動画データに対する輪郭強調処理に要する処理量は、輪郭検出部３０による輪郭検出量が多くなるのに応じて増加し、それに伴い処理時間も長くなる。

一方、輪郭検出部３０および輪郭強調処理部３１の処理と、ブロック歪低減処理部３２の処理とを１個のＤＳＰを用いて行うことを考えた場合、輪郭強調処理およびブロック歪低減処理の処理量の合計に対して上限が存在することになる。したがって、輪郭部分が非常に多く検出されたフレームにおいて、輪郭強調処理行うと共に、ブロック歪低減処理を固定的に行うと、１フレーム期間の処理量がＤＳＰの１フレーム期間に処理可能な処理量の上限を超えてしまう事態が生じるおそれがある。この場合、１フレーム分の処理時間が目標単位時間を超えてしまい、システムが破綻してしまう可能性がある。

そこで、この発明では、輪郭検出部３０における輪郭部分の検出量に基づき、ブロック歪低減処理部３２によるブロック歪低減処理の処理量を制御する。より具体的には、１フレーム内においてブロック歪低減処理を行う処理エリアを、輪郭部分の検出量に応じて制御する。すなわち、輪郭検出部３０によって、より多くの輪郭部分が検出された場合には、図５Ａに例示されるように、その検出に応じた輪郭強調処理が行われるフレーム期間のブロック歪低減処理において、処理を行う処理エリア（図中にて斜線を付して示す）を狭くする。一方、輪郭検出部３０によって、より少ない輪郭部分が検出された場合には、図５Ｂに例示されるように、その検出に応じた輪郭強調処理が行われるフレーム期間のブロック歪低減処理において、ブロック歪低減処理を行う処理エリアを広くする。

ブロック歪低減処理を行う処理エリアは、輪郭検出量に応じて連続的に変化させることができる。また、処理エリアは、画面の中心から周辺に向けて、同心状に変化される。なお、ここでいう同心状の変化とは、変化の中心点を固定的とし、この中心点から周囲に向けて、中心点に対して対称的に変化させることをいう。処理エリアの変化は、視覚的に自然に感じられるようになされるのが好ましい。例えば、画枠に対する処理エリアの割合が、長辺側と短辺側とで同程度になるように変化させることが考えられる。また、図５の例では、ブロック歪低減処理の処理エリアの形状が矩形とされているが、これはこの例に限定されない。当該処理エリアは、矩形の四隅を丸めた形状でもよいし、楕円形またはそれに近似する形状とすることも考えられる。

次に、この実施の第１の形態による一例の画質改善処理について説明する。この実施の第１の形態では、あるフレーム（フレームＮとする）のフレーム時間内で復号動画データの輪郭検出処理を行い、次のフレームＮ＋１のフレーム時間内で、フレームＮのフレーム時間内に輪郭検出された復号動画データに対して輪郭強調処理と、ブロック歪低減処理とを行う。このとき、輪郭強調処理は、対象の復号動画データについて検出された全ての輪郭箇所に対して行われる。また、輪郭強調処理とブロック歪低減処理とを合計した処理量が所定の処理量を超えないように、ブロック歪低減部３２によるブロック歪低減処理を制御する。

図６は、この実施の第１の形態による、ホストＣＰＵ２２により制御される一例のブロック歪低減処理を示すフローチャートである。図６のフローチャートによる処理に先んじて、輪郭検出部３０において、復号動画データのあるフレームについて輪郭検出処理がなされ、輪郭強調処理が必要な箇所数（輪郭箇所数Ｎｕｍとする）が計数される。計数された輪郭箇所数Ｎｕｍは、例えばホストＣＰＵ２２のレジスタに保持される。

ホストＣＰＵ２２は、対象となるフレームの輪郭検出処理が終了すると、例えばレジスタに保持される輪郭箇所数Ｎｕｍを読み出し（ステップＳ１０）、読み出された輪郭箇所数Ｎｕｍに基づき当該フレームの輪郭強調処理に要する処理量を計算する。輪郭強調処理に要する処理量は、例えば、１の輪郭箇所に対する輪郭強調処理に要する輪郭強調処理部３１における処理サイクル数Ｃに、読み出された輪郭箇所数Ｎｕｍを乗じて求めることができる。処理サイクル数Ｃと輪郭箇所数Ｎｕｍを乗じた結果を、輪郭強調処理部３１における輪郭強調処理の負荷量Ｌとする。

ステップＳ１１で、輪郭強調処理の処理量すなわち負荷量Ｌが所定量より多いか否かが判断される。例えば、上述した、ステップＳ１０で読み出された輪郭箇所数Ｎｕｍと処理サイクル数Ｃとを乗じた負荷量Ｌが、閾値Ｌ_ｔｈ以上であるか否かを判断する。閾値Ｌ_ｔｈは、ホストＣＰＵ２２がレジスタなどに予め保持する。このステップＳ１１の判断結果に基づき、以下のステップＳ１２またはステップＳ１３において、処理エリアの設定がなされる。処理エリアは、例えば、復号動画データのフレームの画枠サイズＳｚに対して係数α（０≦α≦１）を乗じることで設定する。係数α＝１で、フレーム全体に対してブロック歪低減処理が施されることになる。

若し、ステップＳ１１で負荷量Ｌが閾値Ｌ_ｔｈより小さいと判断されれば、処理はステップＳ１２に移行され、係数α＝１として処理エリアを最大に設定する。すなわち、負荷量Ｌが閾値Ｌ_ｔｈより小さい場合、輪郭強調処理部３１が低負荷であると判断できる。この場合、演算処理部２０全体の演算量に関し、検出された全ての輪郭箇所に対して輪郭強調処理部３１において輪郭強調処理を施しても、ブロック歪低減処理部３２においてブロック歪低減処理を対象フレーム全体に対して実行可能な状態とされる。

すなわち、ブロック歪低減部３２におけるブロック歪低減処理は、図４を用いて既に説明したように、ブロック境界に対して施される。ブロック境界は、フレーム上の位置が固定的とされているため、ブロック歪低減処理の処理量は、ブロック歪低減処理を行う処理エリアの大きさに基づき容易に計算することができる。

したがって、演算処理部２０において輪郭強調処理とブロック歪低減処理とに割り当て可能な処理量と、処理エリアをフレーム全体に設定した場合のブロック歪低減処理部３２の処理量との差分よりも、輪郭強調処理部３１における処理量が少ない場合、ブロック歪低減処理部３２において、処理エリアをフレーム全体に設定することが可能とされる。また、上述の閾値Ｌ_ｔｈを、この差分に基づき設定することが考えられる。

なお、演算処理部２０では、輪郭検出部３０において輪郭検出処理がさらに行われるが、この処理はフレーム全体に亘って行われ、処理量が固定的であると考えられるため、ここでは考慮しないものとする。

一方、ステップＳ１１で、負荷量Ｌが閾値Ｌ_ｔｈより大きいと判断されれば、処理はステップＳ１３に移行される。この場合には、輪郭強調処理部３１が高負荷であると判断でき、負荷量Ｌに応じて係数αの値を決定し、処理エリアのサイズをフレームの画枠よりも小さくなるように設定する。

一例として、演算処理部２０において、輪郭強調処理部３１での輪郭強調処理と、ブロック歪低減処理部３２でのブロック歪低減処理とに割り当て可能なサイクル数をサイクル数Ｃ_ｓｕｍとし、復号動画データの１フレームに対するブロック歪低減処理に必要なサイクル数をサイクル数Ｃｄｒとし、また、上述の負荷量Ｌを輪郭強調処理部３１が輪郭強調処理に要するサイクル数としたとき、下記の式（１）により、係数αを決定する。
α＝(Ｃ_ｓｕｍ−Ｌ)／Ｃｄｒ ・・・（１）

式(１)に基づき、ブロック歪低減処理を施す処理エリアのサイズＳｄｒは、下記の式(２)のように算出される。
Ｓｄｒ＝Ｓｚ×α＝Ｓｚ×(Ｃ_ｓｕｍ−Ｌ)／Ｃｄｒ ・・・（２）

このとき、ブロック歪低減処理を行う処理エリアは、上述したように、フレーム画枠の中心点から周囲に向けて同心状に設定される。すなわち、処理エリアは、フレーム画枠の４辺から、係数αに応じて内側に向けて縮小されて設定されることになる。なお、処理エリアのサイズＳｄｒは、符号化ブロックの数で表すことが考えられる。これに限らず、例えば符号化ブロックの境界の数や、さらに詳細に画素単位で表すようにしてもよい。

ステップＳ１２またはステップＳ１３で上述のようにして処理エリアが決定されたら、処理はステップＳ１４に移行され、処理エリアを示す情報がホストＣＰＵ２２からブロック歪低減処理部３２に通知される。例えば、当該処理エリア情報を、ブロック歪低減処理部３２のレジスタに書き込んで通知する方法や、ホストＣＰＵ２２およびブロック歪低減処理部３２の共有メモリに書き込んで通知する方法などが考えられる。

図７は、演算処理部２０内のＣＰＵ２１による一例の制御を示すフローチャートである。最初のステップＳ２０で、輪郭検出部３０における復号動画データに対する輪郭検出処理が開始される。次のステップＳ２１で、輪郭強調処理部３１における復号動画データに対する輪郭強調処理が開始される。詳細は後述するが、ステップＳ２１の処理対象のフレームは、例えばステップＳ２０の処理対象のフレームに対して１フレーム分以前に供給されたフレームであって、既にステップＳ２０による輪郭検出処理が完了している。

ステップＳ２２で、上述のステップＳ１４でホストＣＰＵ２２から通知された処理エリア情報が読み出され、次のステップＳ２３で、読み出された処理エリア情報に基づきブロック歪低減処理部３２においてブロック歪低減処理が行われる。ここでは、上述のステップＳ２１で輪郭強調処理が完了したフレームに対して、ブロック歪低減処理が行われる。

ステップＳ２４では、上述のステップＳ２０で開始された輪郭検出処理の終了が検出される。例えば、輪郭検出部３０の演算処理を行う演算処理ハードウェアから、内部ＣＰＵ２１に対して割り込みをかけることで、輪郭検出処理の終了を検出することができるる。これに限らず、内部ＣＰＵ２１が輪郭検出部３０の演算処理を行う演算処理ハードウェアの処理ステータスをポーリングして、処理の終了を検出してもよい。

輪郭検出処理の終了が検出されたら、次のステップＳ２５で、検出された輪郭箇所数ＮｕｍがホストＣＰＵ２２に通知される。この通知は、例えば輪郭検出部３０のレジスタに箇所数Ｎｕｍを書き込み、ホストＣＰＵ２２がこのレジスタの内容を読み出すことで行うことができる。これに限らず、ホストＣＰＵ２２と輪郭検出部３０との共有メモリに箇所数Ｎｕｍを書き込むようにしてもよい。

図８は、図６および図７のフローチャートを用いて説明した各処理の一例のタイミングを示すタイミングチャートである。図８Ａは、演算処理部２０に入力される復号動画データのフレームをフレーム番号を付して示す。演算処理部２０では、１フレーム期間内にサイクル数Ｃ_ｓｕｍ（適宜、総サイクル数Ｃ_ｓｕｍと呼ぶ）の処理を、輪郭強調処理部３１による輪郭強調処理とブロック歪低減処理部３２によるブロック歪低減処理とに分配して実行可能であるものとする。

フレームＮ期間に、輪郭検出部３０によりフレームＮに対して輪郭検出がなされ、輪郭の箇所数Ｎｕｍ（Ｎ）が計数される(図８Ｂ参照）。輪郭検出処理は、例えばフレームＮ期間よりも短い時間で行われるものとする。そして、フレームＮ期間内に、フレームＮに対して計数された箇所数Ｎｕｍ（Ｎ）に基づき、輪郭強調処理に要する処理量Ｌ_Ｎおよび係数α_Ｎの算出がなされ、ブロック歪低減処理を行う処理エリアのサイズＳｄｒ_Ｎが算出される。

例えば、輪郭強調処理に要する処理量Ｌ_Ｎに基づき、サイクル数Ｃｃｏｎ_Ｎが求められる。総サイクル数Ｃ_ｓｕｍとこのサイクル数Ｃｃｏｎ_Ｎとの差分に基づき、ブロック歪低減処理に対して割り当て可能なサイクル数Ｃｄｒ_Ｎを求めることができる。このサイクル数Ｃｄｒ_Ｎから、処理エリアサイズＳｄｒ_Ｎを求めることが考えられる。

この例では、フレームＮに対して計数された箇所数Ｎｕｍ（Ｎ）に基づく処理量Ｌ_Ｎが、閾値Ｌ_ｔｈよりも小さいと判断され（図６のステップＳ１１、ならびに、図８Ｅ参照）、係数α_Ｎ＝１とされている。この係数α_Ｎに基づき、上述した式(２)に従いサイズＳｄｒ_Ｎが算出される（図６のステップＳ１２）。このサイズＳｄｒ_Ｎを示す情報が処理エリア情報としてホストＣＰＵ２２に渡される。また、輪郭検出が完了したフレームＮは、例えばフレームＮ期間の終端のタイミングで、図示されないフレームメモリに格納される。

次のフレームＮ＋１期間において、上述したようなフレームＮに対する輪郭検出処理の結果を受けて、フレームＮ＋１の先頭に対応したタイミングで、輪郭強調処理部３１によるフレームＮに対する輪郭強調処理Ｃｏｎ_Ｎが開始される（図８Ｃ参照）。例えば、輪郭強調処理部３１は、フレームメモリに格納されたフレームＮの復号動画データに対して、フレームＮ期間に輪郭検出部３０において検出された輪郭箇所の輪郭強調処理Ｃｏｎ_Ｎが開始される。

また、フレームＮ＋１の先頭のタイミングで、輪郭検出部３０におけるフレームＮ＋１に対する輪郭検出処理も開始される（図８Ｂ参照）。この輪郭検出により、フレームＮ＋１に対して輪郭が箇所数Ｎｕｍ（Ｎ＋１）だけ計数される。計数された箇所数Ｎｕｍ（Ｎ＋１）に基づき、輪郭強調処理Ｃｏｎ_Ｎ＋１に要する処理量Ｌ_Ｎ＋１および係数α_Ｎ＋１の算出がなされ、ブロック歪低減処理Ｒ_Ｎ＋１を行う処理エリアのサイズＳｄｒ_Ｎ＋１が算出される。

この例では、フレームＮ＋１に対して計数された箇所数Ｎｕｍ（Ｎ＋１）に基づく処理量Ｌ_Ｎ＋１が閾値Ｌ_ｔｈよりも大きいと判断され（図６のステップＳ１１、ならびに、図８Ｅ参照）、式（１）に基づき係数α_Ｎ＋１＜１とされている。この係数α_Ｎ＋１に基づき、上述した式（２）に従いサイズＳｄｒ_Ｎ＋１が算出される（図６のステップＳ１３）。このサイズＳｄｒ_Ｎ＋１を示す情報が処理エリア情報としてホストＣＰＵ２２に渡される。また、輪郭検出が完了したフレームＮ＋１は、例えばフレームＮ＋１期間の終端のタイミングで、図示されないフレームメモリに格納される。

フレームＮに対する輪郭強調処理Ｃｏｎ_Ｎが完了すると、ブロック歪低減処理部３２において、フレームメモリに格納される、輪郭強調処理が完了したフレームＮに対して、ホストＣＰＵ２２から通知された処理エリア情報（サイズＳｄｒ_Ｎ）に基づき、ブロック歪低減処理Ｒ_Ｎが開始される（図８Ｄ参照）。ブロック歪低減処理Ｒ_Ｎは、フレームＮ＋１期間内に完了される。

このブロック歪低減処理Ｒ_Ｎは、フレームＮの画枠全体に対して行われる。そのため、図９Ａに例示されるブロック歪低減処理前の画像に対して、図９Ｂに例示されるように、画面全体に亘ってブロック歪が除去された良好な画質の画像が得られる。なお、図９においては、便宜上、ブロック歪をブロック境界に対応させた白線で表現している。

次のフレームＮ＋２期間において、上述したようなフレームＮ＋１に対する輪郭検出処理の結果を受けて、フレームＮ＋２の先頭のタイミングで、輪郭強調処理部３１によるフレームＮ＋１に対する輪郭強調処理Ｃｏｎ_Ｎ＋１が開始される（図８Ｃ参照）。例えば、輪郭強調処理部３１は、フレームメモリに格納されたフレームＮ＋１の復号動画データに対して、フレームＮ＋１期間に輪郭検出部３０において検出された輪郭箇所の輪郭強調処理Ｃｏｎ_Ｎ＋１が開始される。

上述したように、フレームＮ＋１に対して計数された輪郭箇所数Ｎｕｍ（Ｎ＋１）に基づき、負荷量Ｌ_Ｎ＋１が多いとされ、輪郭強調処理部３１の負荷が大きいので、輪郭強調処理Ｃｏｎ_Ｎ＋１は、例えばフレームＮに対する輪郭強調処理Ｃｏｎ_Ｎに割り当てられたサイクル数Ｃｃｏｎ_Ｎよりも多くのサイクル数Ｃｃｏｎ_Ｎ＋１が割り当てられる。

また、上述と同様にして、フレームＮ＋２の先頭のタイミングで、輪郭検出部３０におけるフレームＮ＋２に対する輪郭検出処理も開始され（図８Ｂ参照）、検出結果の箇所数Ｎｕｍ（Ｎ＋２）に基づき、輪郭強調処理Ｃｏｎ_Ｎ＋２に要する処理量Ｌ_Ｎ＋２および係数α_Ｎ＋２の算出がなされ、ブロック歪低減処理Ｒ_Ｎ＋２を行う処理エリアのサイズＳｄｒ_Ｎ＋２が算出される。サイズＳｄｒ_Ｎ＋２を示す処理エリア情報がホストＣＰＵ２２に渡されると共に、輪郭検出が完了したフレームＮ＋２が、例えばフレームＮ＋２期間の終端のタイミングで、図示されないフレームメモリに格納される。

フレームＮ＋１に対する輪郭強調処理Ｃｏｎ_Ｎ＋１が完了すると、ブロック歪低減処理部３２において、フレームメモリに格納される、輪郭強調処理Ｃｏｎ_Ｎ＋１が完了したフレームＮに対して、ホストＣＰＵ２２から通知された処理エリア情報（サイズＳｄｒ_Ｎ）に基づき、ブロック歪低減処理Ｒ_Ｎ＋１が開始される（図８Ｄ参照）。ブロック歪低減処理Ｒ_Ｎ＋１は、フレームＮ＋２期間内に完了される。

フレームＮ＋１に対しては、係数α_Ｎ＋１＜１とされているので、上述の式(２)に基づき、処理エリアのサイズＳｄｒ_Ｎ＋１がフレームＮ＋１の画枠サイズに対して所定に縮小されたサイズとされる。したがって、ブロック歪低減処理Ｒ_Ｎ＋１に対して、例えばフレーム画枠の全体が処理エリアとされたフレームＮに割り当てられたサイクル数Ｃｄｒ_Ｎの場合に比べ、少ないサイクル数Ｃｄｒ_Ｎ＋１が割り当てられる。

また、このブロック歪低減処理Ｒ_Ｎ＋１による処理結果は、図９Ｃに例示されるように、処理エリアに対応し、画面の中心点から外側に向けた所定処理エリア内、換言すれば、画面の４辺から所定に縮小された所定処理エリア内でブロック歪が除去され、画面の周辺部においては、ブロック歪が残っている。しかしながら、特に動画像においては、画面の中央付近がより注目され、周辺部分の注目度は低いと考えられる。そのため、ユーザは、ブロック歪が除去された画面の中央付近の画質を評価すると考えられ、全体として良好な画質であると認識されることが期待される。

上述したように、この実施の第１の形態によれば、ブロック歪低減処理を行う処理エリアの大きさを、輪郭検出の結果に応じた輪郭強調処理の処理量に基づき設定するようにしている。そのため、輪郭強調処理を行いつつ、常にブロック歪低減処理を行うことができ、良好な画質が保たれる。

また、輪郭強調処理およびブロック歪低減処理の処理量を、１つ前のフレームの情報を用いて求めているため、追随性に優れ、急激な画面の変化にも追従できる。

次に、この発明の実施の第１の形態の第１、第２および第３の変形例について、図１０Ａ、図１０Ｂおよび図１０Ｃを用いて説明する。なお、図１０Ａ、図１０Ｂおよび図１０Ｃにおいて、上述の図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

図１０Ａは、この発明の実施の第１の形態の第１の変形例による画像処理装置の一例の構成を示す。この第１の変形例は、図１に示した実施の第１の形態による画質改善部１２において、演算処理部２０内のＣＰＵ２１を省略した構成としている。すなわち、図１０Ａに例示される画質改善部１２Ａにおける演算処理部２０Ａは、輪郭検出部３０、輪郭強調処理部３１およびブロック歪低減部３２に対する制御を、演算処理部２０Ａを構成するハードウェア上で実現するようにしている。

例えば、演算処理部２０Ａは、上述した図７のフローチャートに示される各処理を、所定のタイミング信号などに基づき、輪郭検出部３０、輪郭強調処理部３１およびブロック歪低減部３２で互いに協働的に動作することで行う。図６のフローチャートに示されるブロック歪低減処理の処理エリアを求める処理は、演算処理部２０Ａから供給される負荷情報に基づきホストＣＰＵ２２で実行される。処理エリア情報は、ホストＣＰＵ２２から演算処理部２０Ａに対して供給され、ブロック歪低減部３２に渡される。これに限らず、演算処理部２０Ａの各部をホストＣＰＵ２２が直接的に制御するようにもできる。

図１０Ｂは、この発明の実施の第１の形態の第２の変形例による画像処理装置の一例の構成を示す。この第２の変形例は、図１に示した実施の第１の形態による画質改善部１２において、演算処理部２０の制御を演算処理部２０が有するＣＰＵ２１のみで行うようにした例である。すなわち、図１０Ｂに例示される画質改善部１２Ｂにおける演算処理部２０Ｂは、輪郭検出部３０、輪郭強調処理部３１およびブロック歪低減部３２に対する制御を、内蔵されるＣＰＵ２１により行うと共に、上述した図６に示される、ブロック歪低減処理の処理エリアを求める処理も、ＣＰＵ２１により行うようにしている。

図１０Ｃは、この発明の実施の第１の形態の第３の変形例による画像処理装置の一例の構成を示す。この第３の変形例は、図１に示した実施の第１の形態による画質改善部１２において、演算処理部２０の制御およびブロック歪低減処理の処理エリアを求める処理を、演算処理部２０を構成するハードウェアで実現させる。例えば、図１０Ｃに例示される演算処理部２０Ｃは、上述した図７のフローチャートに示される各処理を、所定のタイミング信号などに基づき、輪郭検出部３０、輪郭強調処理部３１およびブロック歪低減部３２で互いに協働的に動作することで行う。また、図６のフローチャートに示されるブロック歪低減処理の処理エリアを求める処理は、演算処理部２０Ｃ内に構成される計算部（図示しない）により実行させることが考えられる。

次に、この発明の実施の第２の形態について説明する。この実施の第２の形態は、上述した実施の第１の形態による画像処理装置を、携帯型のビデオカメラ装置に適用した例である。図１１は、実施の第１の形態による画像処理装置が適用された携帯型ビデオカメラ装置１００の一例の構成を示す。なお、図１１において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

ホストＣＰＵ２２は、ＲＡＭ(Random Access Memory)１１７をワークメモリとして用いて、ＲＯＭ(Read Only Memory)１１８に予め記憶されたプログラムを実行し、この携帯型ビデオカメラ装置１００の全体を制御する。なお、ホストＣＰＵ２２と携帯型ビデオカメラ装置１００の各部との間でデータなどのやりとりを行うための経路は、繁雑さを避けるために記載を省略する。

光学系１１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、ホストＣＰＵ２２の制御やマニュアル操作に基づき絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光が光学系１１０を介して撮像部１１１に入射される。撮像部１１１は、照射された光を光電変換により電気信号に変換するための撮像素子を有し、撮像素子から出力される信号に対してノイズ抑圧処理、利得制御処理など所定の信号処理を施して出力する。撮像素子としては、ＣＣＤ(Charge Coupled Device)や、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャを適用することができる。

撮像信号処理部１１２は、撮像部１１１から出力された撮像信号に対してホワイトバランス処理、ガンマ補正処理など所定の画質補正処理を施すと共に、Ａ／Ｄ変換を施してディジタル動画データとする。撮像信号処理部１１２から出力された動画データは、ノイズ除去部１１３で所定にノイズ除去処理を施され、データ符号化部１１４に供給される。

データ符号化部１１４は、供給された動画データに対して、ブロック符号化を用いた圧縮符号化処理を施す。例えば、データ符号化部１１４は、ＭＰＥＧ２方式に準じた圧縮符号化方式で供給された動画データを圧縮符号化する。一例として、データ符号化部１１４は、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、データ符号化部１１４は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、可変長符号化によりさらに圧縮されて出力される。

データ符号化部１１４から出力された圧縮動画データは、記録再生部１１５に供給される。記録再生部１１５は、所定の記録媒体１１６に対するデータの記録および当該記録媒体１１６からのデータの再生を行う。記録再生部１１５は、供給された圧縮動画データに対して所定に記録符号化を施し、記録媒体１１６に記録する。

記録媒体１１６としては、記録可能なタイプのＤＶＤ(Digital Versatile Disc)やＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）といった光ディスクや、フラッシュメモリといった不揮発性の半導体メモリなどの、脱着可能な記録媒体を適用することができる。これに限らず、記録媒体１１６は、この携帯型ビデオカメラ装置１００に内蔵されるハードディスクであってもよい。さらに、携帯型ビデオカメラ装置１００に対し、インターネットなど外部のネットワークと通信可能な通信手段を設け、当該外部のネットワークを介して圧縮動画データを入力することも考えられる。

記録再生部１１５により、記録媒体１１６に記録されたデータが読み出され、読み出されたデータが入力される。記録再生部１１５では、記録媒体から読み出されて入力されたデータに対し、記録符号の復号処理を行う。記録符号が復号された再生圧縮動画データは、データ復号部１１に供給され、上述のデータ符号化部１１４と逆の処理により圧縮動画データを復号し、ベースバンドの動画データとして出力する。データ復号部１１から出力された復号動画データは、画質改善部１２に供給される。

画質改善部１２では、上述したようにして、供給された復号動画データのフレームについて、輪郭検出部３０により輪郭検出がなされ、輪郭の箇所数Ｎｕｍが計数される。ホストＣＰＵ２２により、箇所数Ｎｕｍに基づき輪郭強調処理の処理量Ｌが計算され、この処理量Ｌが閾値Ｌ_ｔｈより大きいか否かが判断される（図６のステップＳ１１参照）。この判断結果と処理量Ｌとに基づき係数αが求められ、係数αに基づきブロック歪低減部３２によりブロック歪低減処理が行われる処理エリアのサイズＳｄｒが設定される（図６のステップＳ１２およびステップＳ１３参照）。処理エリアのサイズＳｄｒを示す情報が処理エリア情報としてブロック歪低減部３２に渡される。

復号動画データの次のフレームが画質改善部１２に供給されると、当該フレームに対する輪郭検出処理が輪郭検出部３０で行われると共に、１つ前のフレームに対して輪郭強調処理部３１で輪郭強調処理が行われ、その後、ブロック歪低減部３２により処理エリア情報に基づきブロック歪低減処理が行われる。輪郭強調処理部３１での輪郭強調処理に要するサイクル数Ｃｃｏｎと、ブロック歪低減部３２でのブロック歪低減処理に要するサイクル数Ｃｄｒとの合計が、画質改善部１２において輪郭強調処理およびブロック歪低減処理に割り当て可能な合計サイクル数Ｃ_ｓｕｍ以内となるように、ブロック歪低減処理の処理エリアのサイズＳｄｒが決められているので、全てのフレームに対し、輪郭強調処理を行いつつブロック歪低減処理を施すことができ、画質の向上が見込める。

画質改善部１２から出力された復号動画データは、例えば表示部１３に供給され、所定の表示装置に表示される。また、画質改善部１２から出力された復号動画データを、出力端子１１９から外部に出力することも可能である。

なお、表示部１３を、この携帯型ビデオカメラ装置１００におけるビューファインダとし、撮影時の映像をモニタする際に、モニタ映像を行う動画データに対して画質改善部１２による輪郭強調処理およびブロック歪低減処理を施すようにできる。この場合には、例えばデータ符号化部１１４の出力を、記録再生部１１５に供給すると共に直接的にデータ復号部１１に供給するような構成（図示しない）とすることが考えられる。

また、上述では、この発明が、各部をハードウェア的に構成した画像処理装置や携帯型ビデオカメラ装置１００に適用されるように説明したが、これはこの例に限定されない。すなわち、この発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号する装置において、ＣＰＵ上で動作するプログラムで一部または全部が構成される場合についても適用することができる。一例として、コンピュータ上で動作する圧縮動画データ再生ソフトウェアに、この発明を適用することができる。

この場合、上述したような、画質改善部内において、ブロック歪低減処理と、輪郭強調処理など他の画質改善処理とで処理量を配分する例の他に、ブロック歪低減処理と、復号処理を含む他の処理との間で処理量を配分することが考えられる。一例として、ブロック歪低減処理の処理エリアを、復号処理を含む他の処理の負荷が所定以上であれば、負荷量に応じて小さくし、他の処理の負荷が所定以下であれば、画枠の全体を処理エリアとする。これに限らず、消費電力に応じてブロック歪低減処理を行う処理エリアを競ってすることも考えられる。

さらに、圧縮符号化処理において、ブロック符号化したデータを復号し、復号されたデータに対してブロック歪低減処理を行い、さらに用いるようにした構成に対してこの発明を適用することも可能である。この場合には、ブロック歪低減処理の処理エリアを、圧縮符号化処理におけるブロック歪低減処理に対する他の処理の負荷が所定以上であれば、負荷量に応じて小さくし、他の処理の負荷が所定以下であれば、画枠の全体を処理エリアとする。

また、上述では、輪郭強調処理の負荷量Ｌに応じてブロック歪低減処理を行う処理エリアを適応的に設定したが、これはこの例に限定されない。例えば、輪郭強調処理を行うフレーム上の範囲を可変とすることも考えられる。一例として、フレームＮに対する輪郭強調処理の負荷量Ｌ_Ｎに基づき次のフレームＮ＋１に対する輪郭強調処理の負荷量Ｌ_Ｎ＋１を予測し、輪郭強調処理を行う範囲を、この予測された負荷量Ｌ_Ｎ＋１に応じて適応的に設定することが考えられる。但しこの場合、輪郭が検出される箇所の予測精度が低いと考えられるため、制御を工夫する必要がある。

発明の実施の第１の形態に適用可能な画像処理装置の一例の構成を示すブロック図である。 画質改善部の一例の構成を機能的に示す機能ブロック図である。 輪郭強調処理の例について概略的に説明するための略線図である。 ブロック歪低減処理の例について概略的に説明するための略線図である。 ブロック歪低減処理を行う処理エリアを輪郭部分の検出量に応じて制御することについて説明するための略線図である。 ホストＣＰＵにより制御される一例のブロック歪低減処理を示すフローチャートである。 演算処理部内のＣＰＵによる一例の制御を示すフローチャートである。 輪郭検出および強調処理、ならびに、ブロック歪低減処理の一例のタイミングを示すタイミングチャートである。 ブロック歪低減処理の処理エリアのサイズを変化させた場合の効果を説明するための略線図である。 発明の実施の第１の形態の第１、第２および第３の変形例による画像処理装置の構成例を示すブロック図である。 発明の実施の第２の形態による携帯型ビデオカメラ装置の一例の構成を示すブロック図である。

符号の説明

１２ 画質改善部
２０ 演算処理部
２１ ＣＰＵ
２２ ホストＣＰＵ
３０ 輪郭検出部
３１ 輪郭強調処理部
３２ ブロック歪低減部
１００ 携帯型ビデオカメラ装置
１１４ データ符号化部

Claims (21)

1. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理部と、
   上記第１の画像処理部で上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理部と、
   上記第１の画像処理部および上記第２の画像処理部を制御する制御部と
   を有し、
   上記制御部は、
   上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理部による上記第１の画像処理の処理量に応じて可変的に設定する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   上記制御部は、
   上記第１の画像処理部による上記第１の画像処理の処理量と、上記第２の画像処理部による該第１の画像処理が行われたフレームに対して行われる上記第２の画像処理の処理量との合計が所定量以下となるように、上記第２の画像処理部による上記第２の画像処理を行うフレーム上の上記範囲を設定する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   上記第１の画像処理部および上記第２の画像処理部は、１の集積回路内に構成される
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   上記制御部は、
   上記第１の画像処理部による上記第１の画像処理の処理量が所定量より少ない場合に、上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、フレーム全体とする
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   上記第１の画像処理および上記第２の画像処理は、１フレーム期間内に行われる
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   上記第１の画像処理部による上記第１の画像処理の処理量をフレーム毎に検出する処理量検出部をさらに有し、
   上記処理検出部により上記処理量の検出が行われたフレーム期間の次のフレーム期間に、該処理量が検出されたフレームに対する上記第１の画像処理および上記第２の画像処理を行う
   ことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   上記制御部は、
   上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、フレームの中心点から該フレームの周辺に向けて同心状に可変させる
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   上記第１の画像処理部による上記第１の画像処理の処理量は、フレームの絵柄に応じて変化し、上記第２の画像処理部による上記第２の画像処理の処理量は、該絵柄に影響されない
   ことを特徴とする画像処理装置。
9. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、
   上記第１の画像処理のステップにより上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、
   上記第２の画像処理のステップによる上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理のステップによる上記第１の画像処理の処理量に応じて可変的に設定するステップと
   を有する
   ことを特徴とする画像処理方法。
10. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、
    上記第１の画像処理のステップにより上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、
    上記第２の画像処理のステップによる上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理のステップによる上記第１の画像処理の処理量に応じて可変的に設定するステップと
    を有する画像処理方法をコンピュータに実行させる
    ことを特徴とする画像処理プログラム。
11. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生装置において、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力部と、
    上記入力部に入力された上記圧縮動画データを復号する復号部と、
    上記復号部で復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理部と、
    上記第１の画像処理部で上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理部と、
    上記第１の画像処理部および上記第２の画像処理部を制御する制御部と
    を有し、
    上記制御部は、
    上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理部による上記第１の画像処理の処理量に応じて可変的に設定する
    ことを特徴とする再生装置。
12. 請求項１１に記載の再生装置において、
    上記制御部は、
    上記第１の画像処理部による上記第１の画像処理の処理量と、上記第２の画像処理部による該第１の画像処理が行われたフレームに対して行われる上記第２の画像処理の処理量との合計が所定量以下となるように、上記第２の画像処理部による上記第２の画像処理を行うフレーム上の上記範囲を設定する
    ことを特徴とする再生装置。
13. 請求項１２に記載の再生装置において、
    上記第１の画像処理部および上記第２の画像処理部は、１の集積回路内に構成される
    ことを特徴とする再生装置。
14. 請求項１１に記載の再生装置において、
    上記制御部は、
    上記第１の画像処理部による上記第１の画像処理の処理量が所定量より少ない場合に、上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、フレーム全体とする
    ことを特徴とする再生装置。
15. 請求項１１に記載の再生装置において、
    上記第１の画像処理および上記第２の画像処理は、１フレーム期間内に行われる
    ことを特徴とする再生装置。
16. 請求項１５に記載の再生装置において、
    上記第１の画像処理部による上記第１の画像処理の処理量をフレーム毎に検出する処理量検出部をさらに有し、
    上記処理検出部により上記処理量の検出が行われたフレーム期間の次のフレーム期間に、該処理量が検出されたフレームに対する上記第１の画像処理および上記第２の画像処理を行う
    ことを特徴とする再生装置。
17. 請求項１１に記載の再生装置において、
    上記制御部は、
    上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、フレームの中心点から該フレームの周辺に向けて同心状に可変させる
    ことを特徴とする再生装置。
18. 請求項１１に記載の再生装置において、
    上記第１の画像処理部による上記第１の画像処理の処理量は、フレームの絵柄に応じて変化し、上記第２の画像処理部による上記第２の画像処理の処理量は、該絵柄に影響されない
    ことを特徴とする再生装置。
19. 請求項１１に記載の再生装置において、
    上記入力部は、記録媒体から読み出した上記圧縮動画データが入力される
    ことを特徴とする再生装置。
20. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法において、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、
    上記入力のステップにより入力された上記圧縮動画データを復号する復号のステップと、
    上記復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、
    上記第１の画像処理のステップで上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、
    上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理部による上記第１の画像処理の処理量に応じて可変的に設定するステップと
    を有する
    ことを特徴とする再生方法。
21. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法をコンピュータに実行させる再生プログラムにおいて、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、
    上記入力のステップにより入力された上記圧縮動画データを復号する復号のステップと、
    上記復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第１の画像処理を行う第１の画像処理のステップと、
    上記第１の画像処理のステップで上記第１の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第２の画像処理を行う第２の画像処理のステップと、
    上記第２の画像処理部による上記第２の画像処理を行うフレーム上の範囲を、上記第１の画像処理部による上記第１の画像処理の処理量に応じて可変的に設定するステップと
    を有する再生方法をコンピュータに実行させる
    ことを特徴とする再生プログラム。

Images