JP2009017450A - 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム Download PDF

Info

Publication number
JP2009017450A
JP2009017450A JP2007179479A JP2007179479A JP2009017450A JP 2009017450 A JP2009017450 A JP 2009017450A JP 2007179479 A JP2007179479 A JP 2007179479A JP 2007179479 A JP2007179479 A JP 2007179479A JP 2009017450 A JP2009017450 A JP 2009017450A
Authority
JP
Japan
Prior art keywords
image processing
processing
unit
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007179479A
Other languages
English (en)
Inventor
Ryuichi Nakamura
隆一 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007179479A priority Critical patent/JP2009017450A/ja
Publication of JP2009017450A publication Critical patent/JP2009017450A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ブロック符号化を用いて圧縮符号化された動画データを復号した際に、ブロック歪を効果的に低減する。
【解決手段】ブロック符号化を用いて圧縮符号化された動画データが復号され、復号画像データに対して輪郭検出が行われる。検出された輪郭箇所数に基づき輪郭強調処理の負荷量Lが算出される。負荷量Lが閾値Lthより小さければ、係数α=1として、ブロック歪低減処理を施す処理エリアをフレーム画枠全体に設定する。負荷量Lが閾値Lthより大きければ、処理量Lに基づき0<α<1として係数αが算出され、ブロック歪低減処理エリアがフレーム画枠に対して同心状に縮小されて設定される。輪郭強調処理の負荷量Lに応じてブロック歪低減処理エリアが可変的に設定され、ブロック歪低減処理を常時、実行することができる。
【選択図】図6

Description

この発明は、ブロック符号化を用いて圧縮符号化された動画データを復号する画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラムに関する。
従来から、動画データを効率よく圧縮符号化するための符号化方式として、DCT(Discrete Cosine Transform)などを用いたブロック符号化が知られている。一例として、1フレームを例えば8×8画素のブロックに分割し、分割されたブロックのそれぞれにおいて、DCTを行う。DCTの結果得られた64個のDCT係数を所定の量子化テーブルを用いて量子化し、さらにハフマン符号といったエントロピー符号を用いてデータ量を減らす。
このDCTを用いたブロック符号化は、ブロック内の閉じた空間で変換を行っており、ブロックの境界を越えた相関を考慮していないため、ブロック境界においてデータ値が不連続となり、データ値に段差が生じる。これにより、ブロック符号化を用いて圧縮符号化したデータの復号化時に、隣接ブロックとの境界部において再生データ値の段差がブロック歪を引き起こし、このブロック歪がノイズとして知覚されてしまうことになる。規則性を持つブロック歪は、ランダムに発生するランダムノイズに比べて知覚され易く、画質劣化の大きな要因となっている。
このブロック歪を低減する方法として、動画データの復号後に、ブロック境界におけるデータ値の段差を減少させるようなスムージングフィルタをフレーム全体に適用することが一般的に行われている。この方法では、1フレームの総画素数や単位時間当たりの処理フレーム数が増加すると、単位時間内に1フレーム分のフィルタ処理が終了しきれないことになる可能性がある。この場合には、処理自体を実施することができず、画質の劣化を低減できないことになってしまう。
これを解決するために、例えば特許文献1では、CPU(Central Processing Unit)の負荷量に応じてブロック歪の低減処理を行うか否かを選択するようにしている。すなわち、特許文献1によれば、CPUの負荷量が大きい場合に、ブロック歪の低減処理を省略して、単位時間内に処理が終了しきれない事態を回避している。
特開2007−13315号公報
しかしながら、この特許文献1の方法では、CPUの負荷量が大きい状態が続くとブロック歪の低減処理が行われなくなり、画質の劣化を引き起こしてしまうという問題点があった。例えば、動画データにおいてCPUの負荷量が大きいフレームが連続するような場合、ブロック歪の低減処理を行わない状態が続いてしまう可能性があり、この場合、画質の劣化が避けられない。
したがって、この発明の目的は、ブロック符号化を用いて圧縮符号化された動画データを復号した際に、ブロック歪を効果的に低減することができるようにした画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラムを提供することにある。
第1の発明は、上述した課題を解決するために、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理部と、第1の画像処理部で第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理部と、第1の画像処理部および第2の画像処理部を制御する制御部とを有し、制御部は、第2の画像処理部による第2の画像処理を行うフレーム上の範囲を、第1の画像処理部による第1の画像処理の処理量に応じて可変的に設定することを特徴とする画像処理装置である。
また、第2の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、第1の画像処理のステップにより第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、第2の画像処理のステップによる第2の画像処理を行うフレーム上の範囲を、第1の画像処理のステップによる第1の画像処理の処理量に応じて可変的に設定するステップとを有することを特徴とする画像処理方法である。
また、第3の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、第1の画像処理のステップにより第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、第2の画像処理のステップによる第2の画像処理を行うフレーム上の範囲を、第1の画像処理のステップによる第1の画像処理の処理量に応じて可変的に設定するステップとを有する画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラムである。
また、第4の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生装置において、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力部と、入力部に入力された圧縮動画データを復号する復号部と、復号部で復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理部と、第1の画像処理部で第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理部と、第1の画像処理部および第2の画像処理部を制御する制御部とを有し、制御部は、第2の画像処理部による第2の画像処理を行うフレーム上の範囲を、第1の画像処理部による第1の画像処理の処理量に応じて可変的に設定することを特徴とする再生装置である。
また、第5の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法において、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、入力のステップにより入力された圧縮動画データを復号する復号のステップと、復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、第1の画像処理のステップで第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、第2の画像処理部による第2の画像処理を行うフレーム上の範囲を、第1の画像処理部による第1の画像処理の処理量に応じて可変的に設定するステップとを有することを特徴とする再生方法である。
また、第6の発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法をコンピュータに実行させる再生プログラムにおいて、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、入力のステップにより入力された圧縮動画データを復号する復号のステップと、復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、第1の画像処理のステップで第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、第2の画像処理部による第2の画像処理を行うフレーム上の範囲を、第1の画像処理部による第1の画像処理の処理量に応じて可変的に設定するステップとを有する再生方法をコンピュータに実行させることを特徴とする再生プログラムである。
上述したように、第1、第2および第3の発明は、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行い、第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行うようにされ、第2の画像処理を行うフレーム上の範囲を、第1の画像処理の処理量に応じて可変的に設定するようにしているため、第2の画像処理を第1の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる。
また、第4、第5および第6の発明は、入力された、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号し、復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行い、第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行うようにされ、第2の画像処理を行うフレーム上の範囲を、第1の画像処理の処理量に応じて可変的に設定するようにしているため、第2の画像処理を第1の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる。
第1、第2および第3の発明は、上述したように、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行い、第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行うようにされ、第2の画像処理を行うフレーム上の範囲を、第1の画像処理の処理量に応じて可変的に設定するようにしているため、第2の画像処理を第1の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる効果がある。
また、第4、第5および第6の発明は、入力された、単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号し、復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行い、第1の画像処理が行われた復号画像データに対して、単位ブロックの境界近傍を対象とした第2の画像処理を行うようにされ、第2の画像処理を行うフレーム上の範囲を、第1の画像処理の処理量に応じて可変的に設定するようにしているため、第2の画像処理を第1の画像処理の処理量に応じて適応的に、常時、行わせることが可能となる効果がある。
以下、この発明の実施の第1の形態について説明する。この発明では、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号化した復号動画データに対してブロック歪低減処理を行う際に、当該復号動画データに対するブロック歪低減処理以外の所定の画質改善処理の負荷量に基づき、ブロック歪低減処理を行う処理エリアを適応的に設定する。ブロック歪低減処理を行う処理エリアは、画面の中心から画面の周辺部へ向けて設定する。すなわち、ブロック歪低減処理以外の所定の画質改善処理の負荷量が多い場合には、ブロック歪低減処理を行う処理エリアを狭く設定し、当該負荷量が少ない場合には、当該処理エリアを広く設定する。
このように制御することで、常にブロック歪低減処理を施しつつ、ブロック歪低減処理を含めた画質改善処理全体の処理量を、所定以下に抑えることができる。また、ブロック歪低減処理の処理エリアを画面の中心から画面の周辺部に向けて設定することで、ユーザに注目され易いと考えられる画面の中心部分に対して優先的にブロック歪低減処理が施される。そのため、ブロック歪低減処理を行う処理エリアが狭く設定された場合でも、画質の劣化が目立たない。
図1は、この発明の実施の第1の形態に適用可能な画像処理装置の一例の構成を示す。端子10に対して、ブロック符号化を用いた所定の圧縮符号化方式、例えばMPEG2(Moving Pictures Experts Group 2)方式で圧縮符号化された圧縮動画データが供給される。周知のように、MPEG2方式では、画面を所定サイズ、例えば8×8画素のブロックに分割し、このブロック単位でDCTを行い動画データを圧縮符号化する。以下、このDCTといったブロック符号化を行う単位ブロックを符号化ブロックと呼ぶ。
なお、この実施の第1の形態に適用可能な圧縮符号化方式は、MPEG2方式に限られず、ブロック符号化を用いて圧縮符号化を行うものであれば、他の符号化方式を適用させることも可能である。例えば、H.264|AVCと略称される、例えばITU−T(International Telecommunication Union-Telecommunication Standarization Sector)勧告H.264あるいはISO(International Organization for Standarization)/IEC(International Electrotechnical Commission)国際標準14496−10(MPEG−4パート10)Advanced Video Codingに規定される符号化方式を、この実施の第1の形態に適用することができる。
端子10に入力された圧縮動画データは、復号部11に供給される。復号部11は、供給された圧縮動画データを復号化してベースバンドの動画データとして出力する。既に説明したように、符号化ブロックは、それぞれ互いに独立してDCTといったブロック符号化が行われる。そのため、復号後の動画データにおいて、符号化ブロックの境界部分で隣接する画素間の信号レベルに顕著な段差が生じてしまう可能性がある。この符号化ブロック境界部分に発生するレベル段差は、この復号動画データを表示デバイスなどに表示させた際に、画質の劣化となって現れる。
復号部11から出力された復号動画データは、画質改善部12に入力される。画質改善部12は、復号動画データに対して画像処理を施す演算処理部20と、演算処理部20を制御するCPU(Central Processing Unit)21と、演算処理部20に対して所定の命令を与えるホストCPU22とからなる。演算処理部20は、例えば1個のDSP(Digital Signal Processor)からなり、CPU21の制御に基づき所定の演算処理を行うようにされている。
なお、ホストCPU22は、この画像処理装置の全体を制御するためのものであるが、この図1においては、演算処理部20の制御に関わる機能部分を抜き出して画質改善部12の一部として記載してある。また、CPU21は、ホストCPU22の機能により実現されてもよい。
画質改善部12に入力された復号動画データは、演算処理部20に供給される。演算処理部20は、供給された復号動画データに対して、画面全体を対象とする第1の画像処理を施し、その後、符号化ブロックの境界付近を対象とする第2の画像処理を施す。第1の画像処理は、画面全体に亘って画質改善を図るような処理である。第1の画像処理としては、例えば輪郭強調処理やノイズ除去処理、レベル補正処理などの処理が考えられる。以下では、説明のため、第1の画像処理を輪郭強調処理であるものとして説明する。また、第2の画像処理は、符号化ブロックの境界部分に発生するレベル段差を修正するための処理である。以下では、この第2の画像処理を、ブロック歪低減処理と呼ぶ。
画質改善部12から出力された動画データは、例えば表示部13に供給され、表示デバイスに映出される。
図2は、画質改善部12の一例の構成を機能的に示す。第1の画像処理として輪郭強調処理を行うこの例では、演算処理部20は、輪郭検出部30、輪郭強調処理部31およびブロック歪低減処理部32を有し、それぞれホストCPU22の命令に基づきCPU21により制御される。輪郭検出部30は、供給された復号動画データに含まれる輪郭部分を検出する。輪郭強調処理部31は、供給された復号動画データに対し、輪郭検出部30に検出された輪郭部分を強調する処理を行う。
図3を用いて、一例の輪郭強調処理について、概略的に説明する。画質改善部12に供給された復号動画データは、輪郭検出部30に供給される。輪郭検出部30は、例えばフレームメモリを有し、供給された復号動画データをフレーム単位で格納する。輪郭検出部30は、フレームメモリに格納された1フレーム分の復号動画データに対し、図3Aに例示されるように、各画素の信号レベル(例えば輝度レベル)に基づき画素位置に対する信号レベルの変化を調べ、変化の割合が所定範囲内である部分を輪郭部分であるとして検出する。図3Aの例では、部分A1および部分A2が、画素位置に対する信号レベルの変化の割合が所定範囲内であるとして検出されている。輪郭検出部30は、この処理を、フレームメモリに格納された1フレーム分の復号動画データの垂直方向および水平方向に対してそれぞれ行い、1フレーム内の輪郭部分を検出する。
輪郭強調処理部31は、輪郭検出部30で検出された輪郭部分に対して輪郭強調処理を施す。一例として、図3Bに例示されるように、輪郭検出部30で検出された輪郭部分に含まれる各画素に対して、それぞれ所定に係数を乗じて、画素位置に対する信号レベルの変化の割合をより大きくする。図3Bの例では、輪郭部分であるとして検出された部分A1において、信号レベルの変化が部分B1に例示されるように急峻化され、この部分の輪郭が強調される。部分A2についても、同様の処理がなされ、信号レベルの変化が部分B2に例示されるように急峻化される。輪郭強調処理部31は、この処理を、輪郭検出部30で検出された全ての輪郭部分に対して行う。
輪郭強調処理部31で輪郭強調処理された復号動画データに対し、当該動画データにおける符号化ブロックの境界付近の画素に対してフィルタ処理を施し、当該ブロック境界に発生するレベル段差を修正してブロック歪を低減する。一例として、ブロック歪低減処理部32は、図4に例示されるように、フレームメモリに格納された1フレーム分の復号動画データについて、DCTブロック境界の両側に位置する所定数の画素(図中にて斜線を付して示す)に対して所定に重み付けを行い、境界位置の加重平均を求める。この加重平均値に基づき、境界に隣接する画素の値を求める。この処理を、1フレーム内のホストCPU22に指定される処理エリアに対して行う。
上述したように、輪郭検出部30および輪郭強調処理部31で行われる輪郭強調処理は、1フレームの動画データに対する輪郭検出結果に基づき行われる。そのため、動画データに対する輪郭強調処理は、フレーム毎に固定ではなく、対象となるフレームの絵柄に依存することになる。すなわち、動画データに対する輪郭強調処理に要する処理量は、輪郭検出部30による輪郭検出量が多くなるのに応じて増加し、それに伴い処理時間も長くなる。
一方、輪郭検出部30および輪郭強調処理部31の処理と、ブロック歪低減処理部32の処理とを1個のDSPを用いて行うことを考えた場合、輪郭強調処理およびブロック歪低減処理の処理量の合計に対して上限が存在することになる。したがって、輪郭部分が非常に多く検出されたフレームにおいて、輪郭強調処理行うと共に、ブロック歪低減処理を固定的に行うと、1フレーム期間の処理量がDSPの1フレーム期間に処理可能な処理量の上限を超えてしまう事態が生じるおそれがある。この場合、1フレーム分の処理時間が目標単位時間を超えてしまい、システムが破綻してしまう可能性がある。
そこで、この発明では、輪郭検出部30における輪郭部分の検出量に基づき、ブロック歪低減処理部32によるブロック歪低減処理の処理量を制御する。より具体的には、1フレーム内においてブロック歪低減処理を行う処理エリアを、輪郭部分の検出量に応じて制御する。すなわち、輪郭検出部30によって、より多くの輪郭部分が検出された場合には、図5Aに例示されるように、その検出に応じた輪郭強調処理が行われるフレーム期間のブロック歪低減処理において、処理を行う処理エリア(図中にて斜線を付して示す)を狭くする。一方、輪郭検出部30によって、より少ない輪郭部分が検出された場合には、図5Bに例示されるように、その検出に応じた輪郭強調処理が行われるフレーム期間のブロック歪低減処理において、ブロック歪低減処理を行う処理エリアを広くする。
ブロック歪低減処理を行う処理エリアは、輪郭検出量に応じて連続的に変化させることができる。また、処理エリアは、画面の中心から周辺に向けて、同心状に変化される。なお、ここでいう同心状の変化とは、変化の中心点を固定的とし、この中心点から周囲に向けて、中心点に対して対称的に変化させることをいう。処理エリアの変化は、視覚的に自然に感じられるようになされるのが好ましい。例えば、画枠に対する処理エリアの割合が、長辺側と短辺側とで同程度になるように変化させることが考えられる。また、図5の例では、ブロック歪低減処理の処理エリアの形状が矩形とされているが、これはこの例に限定されない。当該処理エリアは、矩形の四隅を丸めた形状でもよいし、楕円形またはそれに近似する形状とすることも考えられる。
次に、この実施の第1の形態による一例の画質改善処理について説明する。この実施の第1の形態では、あるフレーム(フレームNとする)のフレーム時間内で復号動画データの輪郭検出処理を行い、次のフレームN+1のフレーム時間内で、フレームNのフレーム時間内に輪郭検出された復号動画データに対して輪郭強調処理と、ブロック歪低減処理とを行う。このとき、輪郭強調処理は、対象の復号動画データについて検出された全ての輪郭箇所に対して行われる。また、輪郭強調処理とブロック歪低減処理とを合計した処理量が所定の処理量を超えないように、ブロック歪低減部32によるブロック歪低減処理を制御する。
図6は、この実施の第1の形態による、ホストCPU22により制御される一例のブロック歪低減処理を示すフローチャートである。図6のフローチャートによる処理に先んじて、輪郭検出部30において、復号動画データのあるフレームについて輪郭検出処理がなされ、輪郭強調処理が必要な箇所数(輪郭箇所数Numとする)が計数される。計数された輪郭箇所数Numは、例えばホストCPU22のレジスタに保持される。
ホストCPU22は、対象となるフレームの輪郭検出処理が終了すると、例えばレジスタに保持される輪郭箇所数Numを読み出し(ステップS10)、読み出された輪郭箇所数Numに基づき当該フレームの輪郭強調処理に要する処理量を計算する。輪郭強調処理に要する処理量は、例えば、1の輪郭箇所に対する輪郭強調処理に要する輪郭強調処理部31における処理サイクル数Cに、読み出された輪郭箇所数Numを乗じて求めることができる。処理サイクル数Cと輪郭箇所数Numを乗じた結果を、輪郭強調処理部31における輪郭強調処理の負荷量Lとする。
ステップS11で、輪郭強調処理の処理量すなわち負荷量Lが所定量より多いか否かが判断される。例えば、上述した、ステップS10で読み出された輪郭箇所数Numと処理サイクル数Cとを乗じた負荷量Lが、閾値Lth以上であるか否かを判断する。閾値Lthは、ホストCPU22がレジスタなどに予め保持する。このステップS11の判断結果に基づき、以下のステップS12またはステップS13において、処理エリアの設定がなされる。処理エリアは、例えば、復号動画データのフレームの画枠サイズSzに対して係数α(0≦α≦1)を乗じることで設定する。係数α=1で、フレーム全体に対してブロック歪低減処理が施されることになる。
若し、ステップS11で負荷量Lが閾値Lthより小さいと判断されれば、処理はステップS12に移行され、係数α=1として処理エリアを最大に設定する。すなわち、負荷量Lが閾値Lthより小さい場合、輪郭強調処理部31が低負荷であると判断できる。この場合、演算処理部20全体の演算量に関し、検出された全ての輪郭箇所に対して輪郭強調処理部31において輪郭強調処理を施しても、ブロック歪低減処理部32においてブロック歪低減処理を対象フレーム全体に対して実行可能な状態とされる。
すなわち、ブロック歪低減部32におけるブロック歪低減処理は、図4を用いて既に説明したように、ブロック境界に対して施される。ブロック境界は、フレーム上の位置が固定的とされているため、ブロック歪低減処理の処理量は、ブロック歪低減処理を行う処理エリアの大きさに基づき容易に計算することができる。
したがって、演算処理部20において輪郭強調処理とブロック歪低減処理とに割り当て可能な処理量と、処理エリアをフレーム全体に設定した場合のブロック歪低減処理部32の処理量との差分よりも、輪郭強調処理部31における処理量が少ない場合、ブロック歪低減処理部32において、処理エリアをフレーム全体に設定することが可能とされる。また、上述の閾値Lthを、この差分に基づき設定することが考えられる。
なお、演算処理部20では、輪郭検出部30において輪郭検出処理がさらに行われるが、この処理はフレーム全体に亘って行われ、処理量が固定的であると考えられるため、ここでは考慮しないものとする。
一方、ステップS11で、負荷量Lが閾値Lthより大きいと判断されれば、処理はステップS13に移行される。この場合には、輪郭強調処理部31が高負荷であると判断でき、負荷量Lに応じて係数αの値を決定し、処理エリアのサイズをフレームの画枠よりも小さくなるように設定する。
一例として、演算処理部20において、輪郭強調処理部31での輪郭強調処理と、ブロック歪低減処理部32でのブロック歪低減処理とに割り当て可能なサイクル数をサイクル数Csumとし、復号動画データの1フレームに対するブロック歪低減処理に必要なサイクル数をサイクル数Cdrとし、また、上述の負荷量Lを輪郭強調処理部31が輪郭強調処理に要するサイクル数としたとき、下記の式(1)により、係数αを決定する。
α=(Csum−L)/Cdr ・・・(1)
式(1)に基づき、ブロック歪低減処理を施す処理エリアのサイズSdrは、下記の式(2)のように算出される。
Sdr=Sz×α=Sz×(Csum−L)/Cdr ・・・(2)
このとき、ブロック歪低減処理を行う処理エリアは、上述したように、フレーム画枠の中心点から周囲に向けて同心状に設定される。すなわち、処理エリアは、フレーム画枠の4辺から、係数αに応じて内側に向けて縮小されて設定されることになる。なお、処理エリアのサイズSdrは、符号化ブロックの数で表すことが考えられる。これに限らず、例えば符号化ブロックの境界の数や、さらに詳細に画素単位で表すようにしてもよい。
ステップS12またはステップS13で上述のようにして処理エリアが決定されたら、処理はステップS14に移行され、処理エリアを示す情報がホストCPU22からブロック歪低減処理部32に通知される。例えば、当該処理エリア情報を、ブロック歪低減処理部32のレジスタに書き込んで通知する方法や、ホストCPU22およびブロック歪低減処理部32の共有メモリに書き込んで通知する方法などが考えられる。
図7は、演算処理部20内のCPU21による一例の制御を示すフローチャートである。最初のステップS20で、輪郭検出部30における復号動画データに対する輪郭検出処理が開始される。次のステップS21で、輪郭強調処理部31における復号動画データに対する輪郭強調処理が開始される。詳細は後述するが、ステップS21の処理対象のフレームは、例えばステップS20の処理対象のフレームに対して1フレーム分以前に供給されたフレームであって、既にステップS20による輪郭検出処理が完了している。
ステップS22で、上述のステップS14でホストCPU22から通知された処理エリア情報が読み出され、次のステップS23で、読み出された処理エリア情報に基づきブロック歪低減処理部32においてブロック歪低減処理が行われる。ここでは、上述のステップS21で輪郭強調処理が完了したフレームに対して、ブロック歪低減処理が行われる。
ステップS24では、上述のステップS20で開始された輪郭検出処理の終了が検出される。例えば、輪郭検出部30の演算処理を行う演算処理ハードウェアから、内部CPU21に対して割り込みをかけることで、輪郭検出処理の終了を検出することができるる。これに限らず、内部CPU21が輪郭検出部30の演算処理を行う演算処理ハードウェアの処理ステータスをポーリングして、処理の終了を検出してもよい。
輪郭検出処理の終了が検出されたら、次のステップS25で、検出された輪郭箇所数NumがホストCPU22に通知される。この通知は、例えば輪郭検出部30のレジスタに箇所数Numを書き込み、ホストCPU22がこのレジスタの内容を読み出すことで行うことができる。これに限らず、ホストCPU22と輪郭検出部30との共有メモリに箇所数Numを書き込むようにしてもよい。
図8は、図6および図7のフローチャートを用いて説明した各処理の一例のタイミングを示すタイミングチャートである。図8Aは、演算処理部20に入力される復号動画データのフレームをフレーム番号を付して示す。演算処理部20では、1フレーム期間内にサイクル数Csum(適宜、総サイクル数Csumと呼ぶ)の処理を、輪郭強調処理部31による輪郭強調処理とブロック歪低減処理部32によるブロック歪低減処理とに分配して実行可能であるものとする。
フレームN期間に、輪郭検出部30によりフレームNに対して輪郭検出がなされ、輪郭の箇所数Num(N)が計数される(図8B参照)。輪郭検出処理は、例えばフレームN期間よりも短い時間で行われるものとする。そして、フレームN期間内に、フレームNに対して計数された箇所数Num(N)に基づき、輪郭強調処理に要する処理量Lおよび係数αの算出がなされ、ブロック歪低減処理を行う処理エリアのサイズSdrが算出される。
例えば、輪郭強調処理に要する処理量Lに基づき、サイクル数Cconが求められる。総サイクル数Csumとこのサイクル数Cconとの差分に基づき、ブロック歪低減処理に対して割り当て可能なサイクル数Cdrを求めることができる。このサイクル数Cdrから、処理エリアサイズSdrを求めることが考えられる。
この例では、フレームNに対して計数された箇所数Num(N)に基づく処理量Lが、閾値Lthよりも小さいと判断され(図6のステップS11、ならびに、図8E参照)、係数α=1とされている。この係数αに基づき、上述した式(2)に従いサイズSdrが算出される(図6のステップS12)。このサイズSdrを示す情報が処理エリア情報としてホストCPU22に渡される。また、輪郭検出が完了したフレームNは、例えばフレームN期間の終端のタイミングで、図示されないフレームメモリに格納される。
次のフレームN+1期間において、上述したようなフレームNに対する輪郭検出処理の結果を受けて、フレームN+1の先頭に対応したタイミングで、輪郭強調処理部31によるフレームNに対する輪郭強調処理Conが開始される(図8C参照)。例えば、輪郭強調処理部31は、フレームメモリに格納されたフレームNの復号動画データに対して、フレームN期間に輪郭検出部30において検出された輪郭箇所の輪郭強調処理Conが開始される。
また、フレームN+1の先頭のタイミングで、輪郭検出部30におけるフレームN+1に対する輪郭検出処理も開始される(図8B参照)。この輪郭検出により、フレームN+1に対して輪郭が箇所数Num(N+1)だけ計数される。計数された箇所数Num(N+1)に基づき、輪郭強調処理ConN+1に要する処理量LN+1および係数αN+1の算出がなされ、ブロック歪低減処理RN+1を行う処理エリアのサイズSdrN+1が算出される。
この例では、フレームN+1に対して計数された箇所数Num(N+1)に基づく処理量LN+1が閾値Lthよりも大きいと判断され(図6のステップS11、ならびに、図8E参照)、式(1)に基づき係数αN+1<1とされている。この係数αN+1に基づき、上述した式(2)に従いサイズSdrN+1が算出される(図6のステップS13)。このサイズSdrN+1を示す情報が処理エリア情報としてホストCPU22に渡される。また、輪郭検出が完了したフレームN+1は、例えばフレームN+1期間の終端のタイミングで、図示されないフレームメモリに格納される。
フレームNに対する輪郭強調処理Conが完了すると、ブロック歪低減処理部32において、フレームメモリに格納される、輪郭強調処理が完了したフレームNに対して、ホストCPU22から通知された処理エリア情報(サイズSdr)に基づき、ブロック歪低減処理Rが開始される(図8D参照)。ブロック歪低減処理Rは、フレームN+1期間内に完了される。
このブロック歪低減処理Rは、フレームNの画枠全体に対して行われる。そのため、図9Aに例示されるブロック歪低減処理前の画像に対して、図9Bに例示されるように、画面全体に亘ってブロック歪が除去された良好な画質の画像が得られる。なお、図9においては、便宜上、ブロック歪をブロック境界に対応させた白線で表現している。
次のフレームN+2期間において、上述したようなフレームN+1に対する輪郭検出処理の結果を受けて、フレームN+2の先頭のタイミングで、輪郭強調処理部31によるフレームN+1に対する輪郭強調処理ConN+1が開始される(図8C参照)。例えば、輪郭強調処理部31は、フレームメモリに格納されたフレームN+1の復号動画データに対して、フレームN+1期間に輪郭検出部30において検出された輪郭箇所の輪郭強調処理ConN+1が開始される。
上述したように、フレームN+1に対して計数された輪郭箇所数Num(N+1)に基づき、負荷量LN+1が多いとされ、輪郭強調処理部31の負荷が大きいので、輪郭強調処理ConN+1は、例えばフレームNに対する輪郭強調処理Conに割り当てられたサイクル数Cconよりも多くのサイクル数CconN+1が割り当てられる。
また、上述と同様にして、フレームN+2の先頭のタイミングで、輪郭検出部30におけるフレームN+2に対する輪郭検出処理も開始され(図8B参照)、検出結果の箇所数Num(N+2)に基づき、輪郭強調処理ConN+2に要する処理量LN+2および係数αN+2の算出がなされ、ブロック歪低減処理RN+2を行う処理エリアのサイズSdrN+2が算出される。サイズSdrN+2を示す処理エリア情報がホストCPU22に渡されると共に、輪郭検出が完了したフレームN+2が、例えばフレームN+2期間の終端のタイミングで、図示されないフレームメモリに格納される。
フレームN+1に対する輪郭強調処理ConN+1が完了すると、ブロック歪低減処理部32において、フレームメモリに格納される、輪郭強調処理ConN+1が完了したフレームNに対して、ホストCPU22から通知された処理エリア情報(サイズSdr)に基づき、ブロック歪低減処理RN+1が開始される(図8D参照)。ブロック歪低減処理RN+1は、フレームN+2期間内に完了される。
フレームN+1に対しては、係数αN+1<1とされているので、上述の式(2)に基づき、処理エリアのサイズSdrN+1がフレームN+1の画枠サイズに対して所定に縮小されたサイズとされる。したがって、ブロック歪低減処理RN+1に対して、例えばフレーム画枠の全体が処理エリアとされたフレームNに割り当てられたサイクル数Cdrの場合に比べ、少ないサイクル数CdrN+1が割り当てられる。
また、このブロック歪低減処理RN+1による処理結果は、図9Cに例示されるように、処理エリアに対応し、画面の中心点から外側に向けた所定処理エリア内、換言すれば、画面の4辺から所定に縮小された所定処理エリア内でブロック歪が除去され、画面の周辺部においては、ブロック歪が残っている。しかしながら、特に動画像においては、画面の中央付近がより注目され、周辺部分の注目度は低いと考えられる。そのため、ユーザは、ブロック歪が除去された画面の中央付近の画質を評価すると考えられ、全体として良好な画質であると認識されることが期待される。
上述したように、この実施の第1の形態によれば、ブロック歪低減処理を行う処理エリアの大きさを、輪郭検出の結果に応じた輪郭強調処理の処理量に基づき設定するようにしている。そのため、輪郭強調処理を行いつつ、常にブロック歪低減処理を行うことができ、良好な画質が保たれる。
また、輪郭強調処理およびブロック歪低減処理の処理量を、1つ前のフレームの情報を用いて求めているため、追随性に優れ、急激な画面の変化にも追従できる。
次に、この発明の実施の第1の形態の第1、第2および第3の変形例について、図10A、図10Bおよび図10Cを用いて説明する。なお、図10A、図10Bおよび図10Cにおいて、上述の図1と共通する部分には同一の符号を付し、詳細な説明を省略する。
図10Aは、この発明の実施の第1の形態の第1の変形例による画像処理装置の一例の構成を示す。この第1の変形例は、図1に示した実施の第1の形態による画質改善部12において、演算処理部20内のCPU21を省略した構成としている。すなわち、図10Aに例示される画質改善部12Aにおける演算処理部20Aは、輪郭検出部30、輪郭強調処理部31およびブロック歪低減部32に対する制御を、演算処理部20Aを構成するハードウェア上で実現するようにしている。
例えば、演算処理部20Aは、上述した図7のフローチャートに示される各処理を、所定のタイミング信号などに基づき、輪郭検出部30、輪郭強調処理部31およびブロック歪低減部32で互いに協働的に動作することで行う。図6のフローチャートに示されるブロック歪低減処理の処理エリアを求める処理は、演算処理部20Aから供給される負荷情報に基づきホストCPU22で実行される。処理エリア情報は、ホストCPU22から演算処理部20Aに対して供給され、ブロック歪低減部32に渡される。これに限らず、演算処理部20Aの各部をホストCPU22が直接的に制御するようにもできる。
図10Bは、この発明の実施の第1の形態の第2の変形例による画像処理装置の一例の構成を示す。この第2の変形例は、図1に示した実施の第1の形態による画質改善部12において、演算処理部20の制御を演算処理部20が有するCPU21のみで行うようにした例である。すなわち、図10Bに例示される画質改善部12Bにおける演算処理部20Bは、輪郭検出部30、輪郭強調処理部31およびブロック歪低減部32に対する制御を、内蔵されるCPU21により行うと共に、上述した図6に示される、ブロック歪低減処理の処理エリアを求める処理も、CPU21により行うようにしている。
図10Cは、この発明の実施の第1の形態の第3の変形例による画像処理装置の一例の構成を示す。この第3の変形例は、図1に示した実施の第1の形態による画質改善部12において、演算処理部20の制御およびブロック歪低減処理の処理エリアを求める処理を、演算処理部20を構成するハードウェアで実現させる。例えば、図10Cに例示される演算処理部20Cは、上述した図7のフローチャートに示される各処理を、所定のタイミング信号などに基づき、輪郭検出部30、輪郭強調処理部31およびブロック歪低減部32で互いに協働的に動作することで行う。また、図6のフローチャートに示されるブロック歪低減処理の処理エリアを求める処理は、演算処理部20C内に構成される計算部(図示しない)により実行させることが考えられる。
次に、この発明の実施の第2の形態について説明する。この実施の第2の形態は、上述した実施の第1の形態による画像処理装置を、携帯型のビデオカメラ装置に適用した例である。図11は、実施の第1の形態による画像処理装置が適用された携帯型ビデオカメラ装置100の一例の構成を示す。なお、図11において、上述した図1と共通する部分には同一の符号を付し、詳細な説明を省略する。
ホストCPU22は、RAM(Random Access Memory)117をワークメモリとして用いて、ROM(Read Only Memory)118に予め記憶されたプログラムを実行し、この携帯型ビデオカメラ装置100の全体を制御する。なお、ホストCPU22と携帯型ビデオカメラ装置100の各部との間でデータなどのやりとりを行うための経路は、繁雑さを避けるために記載を省略する。
光学系110は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、ホストCPU22の制御やマニュアル操作に基づき絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光が光学系110を介して撮像部111に入射される。撮像部111は、照射された光を光電変換により電気信号に変換するための撮像素子を有し、撮像素子から出力される信号に対してノイズ抑圧処理、利得制御処理など所定の信号処理を施して出力する。撮像素子としては、CCD(Charge Coupled Device)や、CMOS(Complementary Metal-Oxide Semiconductor)イメージャを適用することができる。
撮像信号処理部112は、撮像部111から出力された撮像信号に対してホワイトバランス処理、ガンマ補正処理など所定の画質補正処理を施すと共に、A/D変換を施してディジタル動画データとする。撮像信号処理部112から出力された動画データは、ノイズ除去部113で所定にノイズ除去処理を施され、データ符号化部114に供給される。
データ符号化部114は、供給された動画データに対して、ブロック符号化を用いた圧縮符号化処理を施す。例えば、データ符号化部114は、MPEG2方式に準じた圧縮符号化方式で供給された動画データを圧縮符号化する。一例として、データ符号化部114は、供給された動画データのフレームを例えば8×8画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にDCTを行う。そして、DCTにより得られたDCT係数を所定の量子化スケールで量子化する。また、データ符号化部114は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、可変長符号化によりさらに圧縮されて出力される。
データ符号化部114から出力された圧縮動画データは、記録再生部115に供給される。記録再生部115は、所定の記録媒体116に対するデータの記録および当該記録媒体116からのデータの再生を行う。記録再生部115は、供給された圧縮動画データに対して所定に記録符号化を施し、記録媒体116に記録する。
記録媒体116としては、記録可能なタイプのDVD(Digital Versatile Disc)やBlu−ray Disc(登録商標)といった光ディスクや、フラッシュメモリといった不揮発性の半導体メモリなどの、脱着可能な記録媒体を適用することができる。これに限らず、記録媒体116は、この携帯型ビデオカメラ装置100に内蔵されるハードディスクであってもよい。さらに、携帯型ビデオカメラ装置100に対し、インターネットなど外部のネットワークと通信可能な通信手段を設け、当該外部のネットワークを介して圧縮動画データを入力することも考えられる。
記録再生部115により、記録媒体116に記録されたデータが読み出され、読み出されたデータが入力される。記録再生部115では、記録媒体から読み出されて入力されたデータに対し、記録符号の復号処理を行う。記録符号が復号された再生圧縮動画データは、データ復号部11に供給され、上述のデータ符号化部114と逆の処理により圧縮動画データを復号し、ベースバンドの動画データとして出力する。データ復号部11から出力された復号動画データは、画質改善部12に供給される。
画質改善部12では、上述したようにして、供給された復号動画データのフレームについて、輪郭検出部30により輪郭検出がなされ、輪郭の箇所数Numが計数される。ホストCPU22により、箇所数Numに基づき輪郭強調処理の処理量Lが計算され、この処理量Lが閾値Lthより大きいか否かが判断される(図6のステップS11参照)。この判断結果と処理量Lとに基づき係数αが求められ、係数αに基づきブロック歪低減部32によりブロック歪低減処理が行われる処理エリアのサイズSdrが設定される(図6のステップS12およびステップS13参照)。処理エリアのサイズSdrを示す情報が処理エリア情報としてブロック歪低減部32に渡される。
復号動画データの次のフレームが画質改善部12に供給されると、当該フレームに対する輪郭検出処理が輪郭検出部30で行われると共に、1つ前のフレームに対して輪郭強調処理部31で輪郭強調処理が行われ、その後、ブロック歪低減部32により処理エリア情報に基づきブロック歪低減処理が行われる。輪郭強調処理部31での輪郭強調処理に要するサイクル数Cconと、ブロック歪低減部32でのブロック歪低減処理に要するサイクル数Cdrとの合計が、画質改善部12において輪郭強調処理およびブロック歪低減処理に割り当て可能な合計サイクル数Csum以内となるように、ブロック歪低減処理の処理エリアのサイズSdrが決められているので、全てのフレームに対し、輪郭強調処理を行いつつブロック歪低減処理を施すことができ、画質の向上が見込める。
画質改善部12から出力された復号動画データは、例えば表示部13に供給され、所定の表示装置に表示される。また、画質改善部12から出力された復号動画データを、出力端子119から外部に出力することも可能である。
なお、表示部13を、この携帯型ビデオカメラ装置100におけるビューファインダとし、撮影時の映像をモニタする際に、モニタ映像を行う動画データに対して画質改善部12による輪郭強調処理およびブロック歪低減処理を施すようにできる。この場合には、例えばデータ符号化部114の出力を、記録再生部115に供給すると共に直接的にデータ復号部11に供給するような構成(図示しない)とすることが考えられる。
また、上述では、この発明が、各部をハードウェア的に構成した画像処理装置や携帯型ビデオカメラ装置100に適用されるように説明したが、これはこの例に限定されない。すなわち、この発明は、ブロック符号化を用いて圧縮符号化された圧縮動画データを復号する装置において、CPU上で動作するプログラムで一部または全部が構成される場合についても適用することができる。一例として、コンピュータ上で動作する圧縮動画データ再生ソフトウェアに、この発明を適用することができる。
この場合、上述したような、画質改善部内において、ブロック歪低減処理と、輪郭強調処理など他の画質改善処理とで処理量を配分する例の他に、ブロック歪低減処理と、復号処理を含む他の処理との間で処理量を配分することが考えられる。一例として、ブロック歪低減処理の処理エリアを、復号処理を含む他の処理の負荷が所定以上であれば、負荷量に応じて小さくし、他の処理の負荷が所定以下であれば、画枠の全体を処理エリアとする。これに限らず、消費電力に応じてブロック歪低減処理を行う処理エリアを競ってすることも考えられる。
さらに、圧縮符号化処理において、ブロック符号化したデータを復号し、復号されたデータに対してブロック歪低減処理を行い、さらに用いるようにした構成に対してこの発明を適用することも可能である。この場合には、ブロック歪低減処理の処理エリアを、圧縮符号化処理におけるブロック歪低減処理に対する他の処理の負荷が所定以上であれば、負荷量に応じて小さくし、他の処理の負荷が所定以下であれば、画枠の全体を処理エリアとする。
また、上述では、輪郭強調処理の負荷量Lに応じてブロック歪低減処理を行う処理エリアを適応的に設定したが、これはこの例に限定されない。例えば、輪郭強調処理を行うフレーム上の範囲を可変とすることも考えられる。一例として、フレームNに対する輪郭強調処理の負荷量Lに基づき次のフレームN+1に対する輪郭強調処理の負荷量LN+1を予測し、輪郭強調処理を行う範囲を、この予測された負荷量LN+1に応じて適応的に設定することが考えられる。但しこの場合、輪郭が検出される箇所の予測精度が低いと考えられるため、制御を工夫する必要がある。
発明の実施の第1の形態に適用可能な画像処理装置の一例の構成を示すブロック図である。 画質改善部の一例の構成を機能的に示す機能ブロック図である。 輪郭強調処理の例について概略的に説明するための略線図である。 ブロック歪低減処理の例について概略的に説明するための略線図である。 ブロック歪低減処理を行う処理エリアを輪郭部分の検出量に応じて制御することについて説明するための略線図である。 ホストCPUにより制御される一例のブロック歪低減処理を示すフローチャートである。 演算処理部内のCPUによる一例の制御を示すフローチャートである。 輪郭検出および強調処理、ならびに、ブロック歪低減処理の一例のタイミングを示すタイミングチャートである。 ブロック歪低減処理の処理エリアのサイズを変化させた場合の効果を説明するための略線図である。 発明の実施の第1の形態の第1、第2および第3の変形例による画像処理装置の構成例を示すブロック図である。 発明の実施の第2の形態による携帯型ビデオカメラ装置の一例の構成を示すブロック図である。
符号の説明
12 画質改善部
20 演算処理部
21 CPU
22 ホストCPU
30 輪郭検出部
31 輪郭強調処理部
32 ブロック歪低減部
100 携帯型ビデオカメラ装置
114 データ符号化部

Claims (21)

  1. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理部と、
    上記第1の画像処理部で上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理部と、
    上記第1の画像処理部および上記第2の画像処理部を制御する制御部と
    を有し、
    上記制御部は、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理部による上記第1の画像処理の処理量に応じて可変的に設定する
    ことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    上記制御部は、
    上記第1の画像処理部による上記第1の画像処理の処理量と、上記第2の画像処理部による該第1の画像処理が行われたフレームに対して行われる上記第2の画像処理の処理量との合計が所定量以下となるように、上記第2の画像処理部による上記第2の画像処理を行うフレーム上の上記範囲を設定する
    ことを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    上記第1の画像処理部および上記第2の画像処理部は、1の集積回路内に構成される
    ことを特徴とする画像処理装置。
  4. 請求項1に記載の画像処理装置において、
    上記制御部は、
    上記第1の画像処理部による上記第1の画像処理の処理量が所定量より少ない場合に、上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、フレーム全体とする
    ことを特徴とする画像処理装置。
  5. 請求項1に記載の画像処理装置において、
    上記第1の画像処理および上記第2の画像処理は、1フレーム期間内に行われる
    ことを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    上記第1の画像処理部による上記第1の画像処理の処理量をフレーム毎に検出する処理量検出部をさらに有し、
    上記処理検出部により上記処理量の検出が行われたフレーム期間の次のフレーム期間に、該処理量が検出されたフレームに対する上記第1の画像処理および上記第2の画像処理を行う
    ことを特徴とする画像処理装置。
  7. 請求項1に記載の画像処理装置において、
    上記制御部は、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、フレームの中心点から該フレームの周辺に向けて同心状に可変させる
    ことを特徴とする画像処理装置。
  8. 請求項1に記載の画像処理装置において、
    上記第1の画像処理部による上記第1の画像処理の処理量は、フレームの絵柄に応じて変化し、上記第2の画像処理部による上記第2の画像処理の処理量は、該絵柄に影響されない
    ことを特徴とする画像処理装置。
  9. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、
    上記第1の画像処理のステップにより上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、
    上記第2の画像処理のステップによる上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理のステップによる上記第1の画像処理の処理量に応じて可変的に設定するステップと
    を有する
    ことを特徴とする画像処理方法。
  10. 単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データを復号した復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、
    上記第1の画像処理のステップにより上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、
    上記第2の画像処理のステップによる上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理のステップによる上記第1の画像処理の処理量に応じて可変的に設定するステップと
    を有する画像処理方法をコンピュータに実行させる
    ことを特徴とする画像処理プログラム。
  11. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生装置において、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力部と、
    上記入力部に入力された上記圧縮動画データを復号する復号部と、
    上記復号部で復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理部と、
    上記第1の画像処理部で上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理部と、
    上記第1の画像処理部および上記第2の画像処理部を制御する制御部と
    を有し、
    上記制御部は、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理部による上記第1の画像処理の処理量に応じて可変的に設定する
    ことを特徴とする再生装置。
  12. 請求項11に記載の再生装置において、
    上記制御部は、
    上記第1の画像処理部による上記第1の画像処理の処理量と、上記第2の画像処理部による該第1の画像処理が行われたフレームに対して行われる上記第2の画像処理の処理量との合計が所定量以下となるように、上記第2の画像処理部による上記第2の画像処理を行うフレーム上の上記範囲を設定する
    ことを特徴とする再生装置。
  13. 請求項12に記載の再生装置において、
    上記第1の画像処理部および上記第2の画像処理部は、1の集積回路内に構成される
    ことを特徴とする再生装置。
  14. 請求項11に記載の再生装置において、
    上記制御部は、
    上記第1の画像処理部による上記第1の画像処理の処理量が所定量より少ない場合に、上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、フレーム全体とする
    ことを特徴とする再生装置。
  15. 請求項11に記載の再生装置において、
    上記第1の画像処理および上記第2の画像処理は、1フレーム期間内に行われる
    ことを特徴とする再生装置。
  16. 請求項15に記載の再生装置において、
    上記第1の画像処理部による上記第1の画像処理の処理量をフレーム毎に検出する処理量検出部をさらに有し、
    上記処理検出部により上記処理量の検出が行われたフレーム期間の次のフレーム期間に、該処理量が検出されたフレームに対する上記第1の画像処理および上記第2の画像処理を行う
    ことを特徴とする再生装置。
  17. 請求項11に記載の再生装置において、
    上記制御部は、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、フレームの中心点から該フレームの周辺に向けて同心状に可変させる
    ことを特徴とする再生装置。
  18. 請求項11に記載の再生装置において、
    上記第1の画像処理部による上記第1の画像処理の処理量は、フレームの絵柄に応じて変化し、上記第2の画像処理部による上記第2の画像処理の処理量は、該絵柄に影響されない
    ことを特徴とする再生装置。
  19. 請求項11に記載の再生装置において、
    上記入力部は、記録媒体から読み出した上記圧縮動画データが入力される
    ことを特徴とする再生装置。
  20. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法において、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、
    上記入力のステップにより入力された上記圧縮動画データを復号する復号のステップと、
    上記復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、
    上記第1の画像処理のステップで上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理部による上記第1の画像処理の処理量に応じて可変的に設定するステップと
    を有する
    ことを特徴とする再生方法。
  21. ブロック符号化を用いて圧縮符号化された圧縮動画データを復号して出力する再生方法をコンピュータに実行させる再生プログラムにおいて、
    単位ブロック毎に符号化を行うブロック符号化を用いて圧縮符号化された圧縮動画データが入力される入力のステップと、
    上記入力のステップにより入力された上記圧縮動画データを復号する復号のステップと、
    上記復号のステップで復号された復号動画データに対して、フレーム全体を処理対象とした第1の画像処理を行う第1の画像処理のステップと、
    上記第1の画像処理のステップで上記第1の画像処理が行われた上記復号画像データに対して、上記単位ブロックの境界近傍を対象とした第2の画像処理を行う第2の画像処理のステップと、
    上記第2の画像処理部による上記第2の画像処理を行うフレーム上の範囲を、上記第1の画像処理部による上記第1の画像処理の処理量に応じて可変的に設定するステップと
    を有する再生方法をコンピュータに実行させる
    ことを特徴とする再生プログラム。
JP2007179479A 2007-07-09 2007-07-09 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム Pending JP2009017450A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007179479A JP2009017450A (ja) 2007-07-09 2007-07-09 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007179479A JP2009017450A (ja) 2007-07-09 2007-07-09 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム

Publications (1)

Publication Number Publication Date
JP2009017450A true JP2009017450A (ja) 2009-01-22

Family

ID=40357742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007179479A Pending JP2009017450A (ja) 2007-07-09 2007-07-09 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム

Country Status (1)

Country Link
JP (1) JP2009017450A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200273A (ja) * 2009-02-27 2010-09-09 Oki Electric Ind Co Ltd ネットワーク制御システム、方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200273A (ja) * 2009-02-27 2010-09-09 Oki Electric Ind Co Ltd ネットワーク制御システム、方法及びプログラム

Similar Documents

Publication Publication Date Title
JP5360430B2 (ja) デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
JP4682102B2 (ja) 画像符号化装置及び画像符号化方法
JP4794987B2 (ja) 映像信号処理装置
US20130028322A1 (en) Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
JP2012034213A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2006157481A (ja) 画像符号化装置及びその方法
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
JP2014504115A (ja) デブロッキングフィルタリング
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
JP6512916B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US10484679B2 (en) Image capturing apparatus, image processing method, and non-transitory computer-readable storage medium
JP4643437B2 (ja) 情報処理装置
JP2012085001A5 (ja)
JP6253406B2 (ja) 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
JP5943733B2 (ja) 画像符号化装置およびその制御方法ならびにプログラム
JP2004128941A (ja) 画像符号化方法および画像符号化装置
JP4427713B2 (ja) 符号化装置および符号化方法、撮像装置および画像処理方法、並びに、プログラム
JP2009017450A (ja) 画像処理装置、画像処理方法および画像処理プログラム、ならびに、再生装置、再生方法および再生プログラム
JP2014110509A (ja) 画像符号化装置及び画像符号化方法
JP4209783B2 (ja) 画像圧縮装置、画像再生装置、画像圧縮方法、画像再生方法、画像圧縮プログラム、及び画像再生プログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP2023030585A (ja) 画像符号化装置及び方法及びプログラム
JP2008227876A (ja) 撮像装置
JP5943757B2 (ja) 画像符号化装置及びその方法