JP2007281542A - デジタル放送受信装置 - Google Patents

デジタル放送受信装置 Download PDF

Info

Publication number
JP2007281542A
JP2007281542A JP2006101400A JP2006101400A JP2007281542A JP 2007281542 A JP2007281542 A JP 2007281542A JP 2006101400 A JP2006101400 A JP 2006101400A JP 2006101400 A JP2006101400 A JP 2006101400A JP 2007281542 A JP2007281542 A JP 2007281542A
Authority
JP
Japan
Prior art keywords
image
block
digital broadcast
information
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006101400A
Other languages
English (en)
Other versions
JP4747917B2 (ja
Inventor
Yasuhiro Akiyama
靖浩 秋山
Koichi Hamada
宏一 浜田
Muneaki Yamaguchi
宗明 山口
Takashi Maruyama
隆 丸山
Koji Kamogawa
浩二 鴨川
Masahiro Kageyama
昌広 影山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006101400A priority Critical patent/JP4747917B2/ja
Priority to US11/620,820 priority patent/US20070250893A1/en
Priority to CNA2007100070822A priority patent/CN101052129A/zh
Publication of JP2007281542A publication Critical patent/JP2007281542A/ja
Application granted granted Critical
Publication of JP4747917B2 publication Critical patent/JP4747917B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】
デジタル放送を受信する装置において、符号化情報とブロック内の画像情報を用いて画質補正量を設定することによって、好適に画質補正をして高画質な映像を得ることを可能とする。
【解決手段】
本発明に係るデジタル放送受信装置は、デコードされた画像信号の画像処理を行う画像処理部(100)を備えており、該画像処理部は、デジタル放送信号に含まれる画像の符号化情報に基づいて、画素ブロック毎にノイズ情報を検出するノイズ検出部(101)と、該ノイズ検出部で検出したノイズ情報と、前記画像信号における画素ブロックの画像情報とに基づいて画質補正量を設定する設定部(102)と、該設定部によって設定された画質補正量に応じて前記画像信号をブロック単位で補正する画質補正部(103)を備える。
【選択図】 図2

Description

本発明は、デジタル放送信号を受信可能なデジタル放送受信装置における画質補正の技術に関する。
デジタル放送においては、MPEG-4 (Moving Picture coding Experts Group Phase 4)やH.264/AVC (Advanced Video Coding)等によりデジタル映像信号が符号化されるが、符号化の条件や状態によって復号後の再生画像にブロックノイズやモスキートノイズが生じる。例えば、符号化ビットレートを低く設定した場合、或いはスポーツ中継等のように動きの激しいシーンが多い映像等を符号化した場合は上記ノイズが発生し易い。このような符号化に係るノイズを低減するための技術としては、例えば下記特許文献1に記載のものが知られている。これは、画像の符号化時における量子化情報を用いて上記ノイズの出現を予測し、この予測に応じてブロック毎に輪郭強調等の画質補正を行うことを開示している。
特開2003-18600号公報
上記従来技術は、量子化パラメータなどの符号化情報のみを用いて画質補正を行っており、復号化された画像の情報については考慮されていない。このため、従来技術のものでは精度良く画質補正を行うことが困難となる。
本発明は、上記課題に鑑みて為されたものであって、その目的は、デジタル放送を受信する装置において、より好適に画質補正をして高画質な映像を得ることが可能な技術を提供することにある。
上記目的を達成するために、本発明では、デジタル放送信号に含まれる符号化情報と、復号化された画像信号から得られた画像情報とに基づいて、画像信号を画素ブロック単位で画質補正可能にしたことを特徴とするものである。上記符号化情報は、前記デジタル放送信号のビットレート情報、量子化ステップ情報、DCT係数情報、動きベクトル情報の少なくともいずれか一つを含む。各符号化情報を対応する閾値と比較してブロック毎に、例えばブロックノイズ等のノイズが含んでいるか否かを判定するようにしてもよい。
そして、ブロックノイズを含んでいると判別された画素ブロックに対しては、当該ブロックの画像情報、例えば当該ブロック内の隣接画素間のレベル差を用いて画質補正量(例えば輪郭強調量やノイズ低減量)を設定して画質補正を行う。
このような構成により、本発明は、制度よく画質補正を行うことが可能となる。上記画質補正量は、受信したデジタル放送の番組カテゴリに応じて変化させるようにしてもよい。また、本発明は、携帯電話などのモバイル端末向けに放送される、ビットレートが低い1セグメント放送を受信、表示するための装置に適用することが、より好適である。
本発明によればより好適に画質補正をして高画質な映像を得ることが可能になる。
以下、本発明の実施形態について図面を参照しつつ説明する。本実施形態は、デジタル放送を受信するデジタル放送受信装置に対して幅広く適用されるが、特に、携帯電話などのモバイル端末向け地上デジタル放送(1セグメント放送。以下、1セグ放送と称する)を受信する装置に適用することが好ましい。それは、1セグ放送は、送信側システムの周波数帯域幅の制限や、モバイル端末における処理能力の制限等の理由から、数百kbps〜数Mbpsと低ビットレートで映像を符号化して送信することが多いためである。すなわち、1セグ放送を受信して表示する装置においては、符号化の条件や状態に係るノイズ、すなわちブロックノイズやモスキートノイズが発生し易い状況にあり、また低ビットレートであるため画質が低く、特に先鋭感が乏しくなる。本実施形態では、このような装置において、ノイズを低減もしくはノイズが強調されることを抑制しつつ良好な画質補正、特に輪郭強調を行うことが可能となる。
まず、本発明の第1実施例を説明する。
〔全体構成の説明〕
本発明が適用され得るデジタル放送受信装置の一構成例について図1を参照して説明する。図1において、デジタル放送受信装置1は、例えば携帯電話やノートパソコン(ノートPC)、カーナビゲーションシステム等の携帯型もしくは可搬型のデジタル放送受信装置である。しかしながら、デジタル放送受信装置1は、PDP−TV、LCD−TV等の据え置き型テレビジョン表示装置にも同様に適用され、またDVDプレーヤHDDプレーヤにも適用できる。本実施例に係るデジタル放送受信装置1は、デジタル放送信号として例えば1セグ放送を受信するための外部アンテナ2と、この受信したデジタル放送信号を再生するための放送受信再生回路6と、この放送受信再生回路6から出力された画像信号を表示するための画像出力部7、及び放送受信再生回路6から出力された音声信号に基づき音声を出力するための音声出力部8を備えている。本実施例は、例えば1セグ放送の受信再生機能を標準的に搭載したノートPCに適用可能であるが、一般的なノートPCに拡張回路(ハードウエア)として上記放送受信再生回路6を装着させたものについても同様に適用できる。
上記放送受信再生回路6は、外部アンテナ2と接続され、デジタル放送信号を受信するデジタルチューナ部3と、このチューナ部3で受信した放送信号のうち符号化されたビデオ信号(例えばH.264で符号化されたビデオ信号)をデコードするためのビデオデコーダ部4と、符号化されたオーディオ信号(例えばAAC)をデコードするためのオーディオデコーダ部5と、ビデオデコーダ部4でデコードされたビデオ画像に対して画質補正を行う画像処理部100とを含んでいる。また制御部9は、例えばCPU等で構成されており、画質補正に係る各種制御信号を画像処理部100へ送信する。そして、画像処理部100で画質補正された画像データは、画像出力部7へ供給されて画像表示が行われる。また、オーディオデコーダ部5でデコードされオーディオデータは、音声出力部8へ出力された音声出力が行われる。
本実施例は、画像処理部100によって、デジタル放送信号に含まれる画像の符号化情報とデコードされた画像データから得られた画像情報を用いて画像データに対し画質補正を行うことを特徴とするものである。
〔画像処理部100の説明〕
本実施例に係るの画像処理部100の詳細について、図2及び図3を参照しつつ説明する。図2は、本実施例に係る画像処理部100の一構成例を示している。
画像処理部100は、ビデオデコーダ部4からの画像データが入力される画像入力端子104と、符号化情報が入力される情報入力端子105を有している。画像入力端子104から入力された画像データ107は、輝度成分のデータと色差成分のデータを含んでおり、画質補正部103に入力される。また画像データ107のうち輝度成分のデータは、ノイズ検出部101に入力される。一方、情報入力端子105から入力された符号化情報もノイズ検出部101に入力される。ここで、符号化情報は、デジタル放送信号に含まれるビットストリームのヘッダー部に格納されており、ビデオデコーダ部4で符号化画像を復号する際に分離され、情報入力端子105に入力される。また、本実施例では、符号化情報とは、ビデオビットレート情報、量子化ステップ情報、DCT係数(AC成分)情報、動きベクトル情報を含むものとするが、必要に応じて他の情報を用いてもよい。
ノイズ検出部101は、情報入力端子105から入力された符号化情報及び制御部9からの制御信号を用いて画像に出現するノイズの位置を検出する。本実施例では、ノイズとしてブロックノイズの発生位置を検出する。すなわち、本実施例に係るノイズ検出部101は、符号化情報であるビデオビットレート情報、量子化ステップ情報、DCT係数情報及び動きベクトル情報と、制御部9からの制御信号を用いてどの画素ブロック(以下では、単にブロックと呼ぶ)がブロックノイズを含んでいるかを特定する。ノイズ検出部101で検出されたブロックノイズの位置は、ブロックノイズ情報として設定部102に送る。設定部102は、制御部9から送信された制御信号に含まれるブロック毎の画像情報を参照して、画像のブロック毎に画質補正量を設定する。本実施例では、画質補正量として画像の輪郭を強調するための輪郭強調量を設定するものとする。ここで、本実施例に係る設定部102は、ノイズ検出部101で検出されたブロックノイズを含むブロックとブロックノイズを含まないブロックとに応じて、上記設定された輪郭強調量を変更もしくは修正して実際に用いられる輪郭強調量を決定する。例えば、ブロックノイズを含むブロックに対しては、輪郭強調を行わないか(すなわち輪郭強調量が0)、もしくは輪郭強調量を、ブロックノイズを含むブロックに対する輪郭強調量よりも小さくする。一方、ブロックノイズを含まないブロックに対しては、強い輪郭強調を施してもノイズは強調されないので、輪郭強調量を大きくする。画質補正部103は、画像データ107に対して、設定部102で設定された輪郭強調量に基づき輪郭強調を含む画質補正を行う。上記説明では、画質補正部103は、画質補正として輪郭強調処理を行うものとして説明したが、ノイズを低減するためのノイズ低減処理を行うようにしてもよい。例えば、ブロックノイズを含むブロックに対しては、ノイズ低減処理を行うか、もしくはノイズ低減量を、ブロックノイズを含まないブロックに対するノイズ低減量よりも大きくする。一方、ブロックノイズを含まないブロックに対しては、ノイズ低減処理を行わないか、ブロックノイズを含むブロックによりも小さいノイズ低減処理を行う。このようにして画質補正部103で画質補正された画像データは、画像出力端子106を介して画像出力部7に供給される。
このように構成された画像処理部100における画質補正処理の全体的な流れについて図3を参照しつつ説明する。まず、ステップ103において、1ピクチャ分のデコードされた画像データを画像入力端子104に入力するとともに、該デコード画像に対応する符号化情報を情報入力端子105に入力する)。次に、ステップ131において、上述した符号化情報と制御部9からの制御信号を用いて、画像を構成する全てのブロック毎のブロックノイズをノイズ検出部101にて検出する。続いて、ステップ132において、ノイズ検出部101からのノイズ検出結果を参照し、かつ制御部9から送信されたブロックの画像情報を用いて、設定部102でブロック毎の輪郭強調量を決定する。その後、ステップ133において、設定部102で決定された輪郭強調量を用いて、画質補正部103によって各ブロックの画像データ107に対して画質補正(輪郭強調処理)を行う。この画質補正された画像データは、ステップ134において画像出力端子106から出力されて画像出力部7に供給される。これら一連の処理は、デコード処理が終了するまで繰り返して実行される。すなわち、ステップ135では、デコード処理が終了したか否かを判定し、もし終了していなければステップ130に戻る。デコード処理が終了していれば、一連の処理を終了する。
本実施例に係る画像処理部100は、特に画像サイズによる制限は受けない。従って、多くの映像表示システムに適用可能である。例えば、携帯電話等のモバイル端末向けに実施される1セグ放送の画像サイズはQVGA(Quarter Video Graphics Array、320×240画素)である。画像処理部100は外部からQVGA画像を入力して画質補正処理を行い、補正後のQVGAを出力する。また、一般的にQVGA画像は、やや画像表示サイズが小さい印象を受けることが多い。このため、表示画像の見易さを向上させるために画質補正処理と同時にVGA(Video Graphics Array、640×480画素)に拡大処理(スケーリング処理)を行うようにしてもよい。尚、スケーリング後のサイズは任意のサイズを選択できるようにしてもよい。さらに、PDP−TVやLCD−TV等のデジタルテレビの場合は、処理画像サイズをハイビジョンサイズ(1920×1088画素)に変更してもよい。このように、本実施例に係る画像処理部100は、適用されるシステムに応じて、入力画像サイズ、出力画像サイズを任意に設定可能とするようにしてもよい。
〔ノイズ検出部101の説明〕
次に、画像処理部100の各部の詳細について説明する。まず、図4〜11を用いて、ノイズ検出部101の詳細について説明する。
図4は、ノイズ検出部101の一構成例を示すものである。ノイズ検出部101は、情報入力端子105を介して入力された、画像のブロックノイズ検出を行うために必要な符号化情報を取得するための符号化情報取得部201を備えている。上述したように、符号化情報は、ビデオビットレート情報、量子化ステップ情報、DCT係数(AC成分)情報、及び動きベクトル情報を含んでおり、符号化情報取得部201は、これらの情報を取得して4つの判定部のそれぞれに分配する。すなわち、符号化情報取得部201は、ビデオビットレート情報をビットレート判定部142に、量子化ステップ情報を量子化ステップ判定部163に、DCT係数情報をDCT係数判定部144に、動きベクトル情報を動きベクトル情報判定部145に供給する。
ビットレート判定部202は、上記ビットレート情報と制御部9から入力される第1閾値であるビットレート閾値BRthとを比較して当該ブロックにおけるブロックノイズの状況を判定する。すなわち、ビットレート情報から得られたビデオビットレートの値が、第1閾値BRthと等しい、またはそれ以下の場合はブロックノイズ有りと判定し、ブロックノイズ検出部146を動作させるための制御信号BRcntをON(制御する)に設定する。一方、ビデオビットレート値が第1閾値BRth以上の場合は、ブロックノイズ無しと判定し、制御信号BRcntをOFF(制御しない)に設定する。このようにして設定された制御信号BRcntは、ブロックノイズ検出部146に送信される。
ここで、第1閾値であるビットレート閾値BRthの設定について説明する。ビデオビットレートは、その値が高くなる程高画質になるが、低い場合は元の画像情報が失われて画質劣化が大きくなり、ブロックノイズが発生しやすくなる。このビデオビットレートとブロックノイズ発生傾向度の関係を図5に示す。同図の横軸はビデオビットレート、縦軸はブロックノイズ発生傾向度を示している。
この図から明らかなように、ビットレート値が低いほどブロックノイズが発生しやすくなる。この関係に基づいて、本発明者等の実験等で求めた経験値からブロックノイズが高い確率で知覚され始める閾値を、ビデオビットレート閾値BRthとして設定した。
このビデオビットレート閾値BRthは、デジタル放送受信装置1に入力されるデジタル放送の番組の種類(ジャンル)に応じて、変更されるようにしてもよい。ここで、番組の種類とは、例えばドラマ、スポーツ、ニュース、映画等の映像コンテンツのカテゴリのことである。例えば、ドラマに対応する閾値を基準であるビデオビットレート閾値BRthとして、動きの激しいスポーツ番組に対応する閾値を閾値BRthよりも小さくし、比較的動きの少ないニュースに対応する閾値を閾値BRthよりも大きくする。映画については、閾値BRthと同じかそれよりも小さくする。
量子化ステップ判定部143は、上記量子化ステップ情報と制御部9から入力される第2閾値である量子化ステップ閾値Qthとを比較して当該ブロックにおけるブロックノイズの状況を判定する。すなわち、量子化ステップ情報から得られた量子化ステップの値が第2閾値Qth以上の場合はブロックノイズ有りと判定し、ブロックノイズ検出部146を動作させるための制御信号QcntをON(制御する)に設定する。一方、量子化ステップが第2閾値Qth以下の場合は、ブロックノイズ無しと判定し、制御信号QcntをOFF(制御しない)に設定する。このようにして設定された制御信号Qcntは、ブロックノイズ検出部146に送信される。
ここで、第2閾値である量子化ステップ閾値Qthの設定について説明する。量子化ステップは、画像を符号化する際に、2次元DCT変換されたブロックの画像データを量子化するために使用される。量子化ステップ値を大きく設定すると圧縮率が上がり符号化効率を高めることが可能になる。しかしながら、量子化ステップ値が大きくなるほど、元の画像情報が失われて画質劣化が大きくなりブロックノイズが発生しやすくなる。この量子化ステップとブロックノイズ発生傾向度の関係を図6に示す。同図の横軸は量子化ステップ、縦軸はブロックノイズ発生傾向度を示している。
この図から明らかなように、量子化ステップ値が大きいほどブロックノイズが発生しやすくなる。この関係に基づいて、本発明者等の実験等で求めた経験値からブロックノイズが高い確率で知覚され始める閾値を、量子化ステップ閾値Qthとして設定した。この量子化ステップ閾値Qthも、番組のカテゴリに応じて変更してもよい。例えば、ドラマに対応する閾値を基準である量子化ステップ閾値Qthとして、スポーツ番組に対応する閾値を閾値Qthよりも大きくし、ニュースに対応する閾値を閾値Qthよりも小さくする。映画については、閾値Qthと同じかそれよりも大きくする。
DCT係数判定部144は、上記DCT係数情報と制御部9から入力される第3閾値であるDCT係数閾値Dthとを比較して当該ブロックにおけるブロックノイズの状況を判定する。すなわち、DCT係数情から得られた2次元DCT係数(AC成分)がゼロの個数が第3閾値Dth以上の場合はブロックノイズ有りと判定し、ブロックノイズ検出部146を動作させるための制御信号DcntをON(制御する)に設定する。一方、2次元DCT係数(AC成分)がゼロの個数が第3閾値Dth以下の場合は、ブロックノイズ無しと判定し、制御信号DcntをOFF(制御しない)に設定する。このようにして設定された制御信号Dcntは、ブロックノイズ検出部146に送信される。
図7は、DCT係数判定部144で参照されるDCT係数の構成の一例を示している。2次元DCT係数700は、ブロック内の空間周波数が最も低い画像成分(第一低周波項)を示すDC成分と、第一低周波項を除いた空間周波数が高い画像成分(高周波項)を示す複数個のAC成分で構成される。同図の例は、国際標準符号化方式H.264の符号化処理で用いられるブロック構成の中で、最も小さい構成となる4×4画素のブロック構成を示している。横軸は横方向空間周波数のDCT係数、縦軸は縦方向の空間周波数のDCT係数を表す。座標(0,0)は空間周波数が最も低い画像成分(第一低周波項)を示すDC成分701である。それ以外の部分は、空間周波数が高い画像成分(高周波項)を示すAC成分702である。座標(3,3)は最も空間周波数が高いAC成分703を表す。
ここで、第3閾値である量子化ステップ閾値Dthの設定について説明する。上述したように、2次元DCT係数は、ブロック内の空間周波数が最も低い画像成分(第一低周波項)を示すDC成分と、第一低周波項を除いた空間周波数が高い画像成分(高周波項)を示す複数個のAC成分で構成される。このうちDCT係数判定部144で参照するのはAC成分である。符号化時に量子化ステップ値を大きく設定し、DCT係数の高周波項を意図的に落とす(AC成分をゼロにする)ことで符号化効率を高めることできる。しかしながら、高周波項が欠落すると、画像の精細度が低下して先鋭度が低い画像になり、さらにブロックノイズが発生しやすくなる。このDCT係数(のAC成分が0の個数)とブロックノイズ発生傾向度の関係を図8に示す。同図の横軸は2次元DCT係数のAC成分がゼロの個数、縦軸はブロックノイズ発生傾向度を示している。
この図から明らかなように、2次元DCT係数のAC成分が0の個数が多いほどブロックノイズが発生しやすくなる。この関係に基づいて、本発明者等の実験等で求めた経験値からブロックノイズが高い確率で知覚され始める閾値を、DCT係数閾値Dthとして設定した。このDCT係数閾値Qthも、番組のカテゴリに応じて変更してもよい。例えば、ドラマに対応する閾値を基準であるDCT係数閾値Dthとして、スポーツ番組に対応する閾値を閾値Dthよりも大きくし、ニュースに対応する閾値を閾値Dthよりも小さくする。映画については、閾値Dthと同じかそれよりも大きくする。
動きベクトル判定部145は、上記動きベクトル情報と制御部9から入力される第4閾値である動きベクトル閾値MVthとを比較して当該ブロックにおけるブロックノイズの状況を判定する。すなわち、動きベクトル情報から得られた動きベクトルの値が第4閾値MVth以上の場合はブロックノイズ有りと判定し、ブロックノイズ検出部146を動作させるための制御信号MVcntをON(制御する)に設定する。一方、動きベクトルが第4閾値MVth以下の場合は、ブロックノイズ無しと判定し、制御信号MVcntをOFF(制御しない)に設定する。このようにして設定された制御信号MVcntは、ブロックノイズ検出部146に送信される。
ここで、第4閾値である量子化ステップ閾値MVthの設定について説明する。動きベクトルは、連続する画像は互いに相関度が高いことを利用した符号化パラメータの一つであり、符号化対象のブロックと参照対象のブロックの相対位置を示す情報である。動きが大きいシーンほど、符号化対象となるブロックが増加し、さらにブロックの動きベクトル量も大きくなるため、結果的に符号発生量も大きくなる。しかし、通常はシステムリソースの制約等から最大符号発生量は制限されることが一般的である。符号発生量が制限されたことによりブロックノイズが発生しやすくなる。この動きベクトルとブロックノイズ発生傾向度の関係を図9に示す。同図の横軸は動きベクトル量、縦軸はブロックノイズ発生傾向度を示している。
この図から明らかなように、動きベクトルが大きいほどブロックノイズが発生しやすくなる。この関係に基づいて、本発明者等の実験等で求めた経験値からブロックノイズが高い確率で知覚され始める閾値を、動きベクトル閾値MVthとして設定した。この動きベクトル閾値MVthも、番組のカテゴリに応じて変更してもよい。例えば、ドラマに対応する閾値を基準である動きベクトル閾値MVthとして、スポーツ番組に対応する閾値を閾値MVthよりも大きくし、ニュースに対応する閾値を閾値MVthよりも小さくする。映画については、閾値MVthと同じかそれよりも大きくする。
上記のように、各判定部142〜145にはそれぞれ符号化情報が入力され、この符号化情報とそれに対応する各閾値とを比較して参照ブロックがブロックノイズを含むか否かを判定する。そして、その判定結果を制御信号BRcnt、Qcnt、Dcnt、MVcntとしてブロックノイズ検出部146に送信する。
ブロックノイズ検出部146は、これら制御信号BRcnt、Qcnt、Dcnt、MVcntを用いて、参照ブロックがブロックノイズを含むか否かを決定する。換言すれば、ブロックノイズ検出部146は上記制御信号を用いてブロックノイズが発生しているブロックを特定する。例えば、ブロックノイズ検出部146は、制御信号BRcnt、Qcnt、Dcnt、MVcntのうち、いずれか1つが「ON」であるとの条件を満たせば、そのブロックはブロックノイズを含むと決定する。制御信号の全てが「OFF」であれば、そのブロックはブロックノイズを含まないと決定する。このようにしてブロックノイズ検出部146はブロック毎にブロックノイズの有無を決定し、その結果をブロックノイズ情報として出力端子147を介して設定部102へ出力する。
以上説明したノイズ検出部101におけるブロック毎のブロックノイズの有無を決定するための処理の流れを図10に示す。この図10に示されるフローチャートは、先に説明した図3のステップ131の詳細を示すものである。
まずステップ150において、ノイズ検出部101は、デコードされた画像データの輝度成分と、当該画像データの符号化情報を入力する。ここで符号化情報105とは、前述したようにビデオビットレート情報、量子化ステップ情報、DCT係数(AC成分)情報、動きベクトル情報である。次にステップ151において、ビットレート判定部142がビットレート情報と第1閾値である閾値BRthとを比較する。その結果、ビットレート情報がBRthと等しいまたはそれ以下の場合(yesの場合)は、制御信号BRcntをONに設定してステップ155に進む。
上記ステップ151における判定の結果「no」の場合は、制御信号BRcntをOFFに設定してステップ152に進む。そしてステップ152において、量子化ステップ判定部143で量子化ステップ情報と第2閾値である閾値Qthとを比較する。その結果、量子化ステップ情報がQthと等しいまたはそれ以上の場合(yesの場合)は、制御信号QcntをONに設定してステップ155に進む。
上記ステップ152における判定の結果「no」の場合は、制御信号QcntをOFFに設定してステップ153に進む。そしてステップ153において、DCT係数判定部144でDCT係数情報(前述したようにDCT係数におけるAC成分が0の個数)と第3閾値である閾値Dthとを比較する。その結果、DCT係数情報がDthと等しいまたはそれ以上の場合(yesの場合)は、制御信号DcntをONに設定してステップ155に進む。
上記ステップ153における判定の結果「no」の場合は、制御信号DcntをOFFに設定してステップ154に進む。そしてステップ154において、動きベクトル判定部145において動きベクトル情報と第4閾値である閾値MVthとを比較する。その結果、動きベクトル情報がMVthと等しいまたはそれ以上の場合(yesの場合)は、制御信号MVcntをONに設定してステップ155に進む。一方、ステップ154における判定の結果「no」の場合は、制御信号MVcntをOFFに設定してステップ156に進む。
ステップ155と156は、ブロックノイズ検出部146における動作である。すなわち、ステップ151〜154における判定の結果、いずれか一つが「yes」である場合、すなわち制御信号BRcnt、Qcnt、Dcnt及びMVcntのいずれか一つが「ON」の場合は、ステップ155において当該ブロックはブロックノイズ有りと判定して処理を終了する。一方、ステップ151〜154における判定の結果、全て「no」である場合、すなわち制御信号BRcnt、Qcnt、Dcnt及びMVcntの全てが「OFF」の場合は、ステップ156において当該ブロックはブロックノイズ無しと判定して処理を終了する。
上記の動作フローでは、ステップ151〜154における判定の結果、いずれか一つでも「yes」の場合はブロックノイズ有りと判定したが、これに限られるものではない。例えば、上記4つの条件のうち、任意もしくは所定の2つまたは3つを満たせばブロックノイズ有りと判定してもよい。
このようにして、本実施例ではブロックノイズが発生しているブロックを特定している。そして、ブロックノイズが発生しているブロックに対しては輪郭強調処理を行わないようにし、ブロックノイズが無いブロックに対して輪郭強調処理を行うようにしている。つまり、本実施例においては、ブロックノイズが無いブロックが画質補正の対象ブロックとなる。図11に、入力画像におけるブロックノイズの発生状態と画質補正の対象ブロックとの関係の一例を示している。
図11(a)は、入力画像160におけるブロックノイズ発生状態の一例である。入力画像160の中において波線で示したブロック(161)がブロックノイズ有り、空白で示したブロック(162)がブロックノイズ無しの状態であると仮定する。図11(b)は、入力画像160に対する画質補正対象となるブロック状態の一例である。斜線で示したブロック(163)が画質補正を実施するブロック、空白で示したブロック(1302)が画質補正を行わない、または補正レベルを下げて実施するブロックを示す。すなわち、ブロックノイズ有りと判定されたブロックは画質補正、本実施例では輪郭強調処理を行わないようにしている。一方、ブロックノイズ無しと判定されたブロックは、輪郭強調処理をしてもノイズが強調されないため、輪郭強調処理を実施する。ブロックノイズ有りと判定されたブロックに対しては、ブロックノイズ無しと判定されたブロックよりも小さい輪郭強調量で輪郭強調を行ってもよい。
〔設定部102の説明〕
続いて、設定部102の詳細について図12〜16を用いて説明する。設定部は、上記説明したノイズ検出部101によってブロックノイズ無しと判定されたブロックに対する輪郭補正量を、当該ブロックにおける画素情報を参照して設定するものである。図12は、ブロックノイズ無しとされたブロックに対する輪郭強調レベルを決定するための演算方法の一例を示している。すなわち、下記処理は、ブロックノイズ無しと判定されたブロックについてのみ行われる。
ここで言うブロックとは、画像の符号化における動き補償処理の対象となる画素サイズの単位のことである。例えば、MPEG-1またはMPEG-2では、ブロックの画素サイズは16×16画素に固定されている。MPEG-4では、16×16画素と8×8画素のブロックが使用できる。また、H.264では、16×16画素、16×8画素、8×16画素、8×8画素が使用できる。さらに8×8画素ブロックについては、8×8画素、8×4画素、4×8画素、4×4画素の4種類のサブブロック分割も指定できる。同図の説明では、参照ブロックの画素サイズが4×4画素であるとして説明する。当然ながら、他のサイズのブロックでも同様に下記の処理が適用できることは言うまでも無い。
本実施例では、図12に示されるように、入力画像(輝度成分)170のあるブロック(4×4画素と仮定)171に対して画質補正を実施する場合、このブロック171の外周の画素を除いた画素172〜175に含まれる高域周波数成分の有無を調べる。以下、高域周波数成分の有無を示すパラメータを、画素状態係数Xと称する。画素状態係数Xは、少なくとも2画素以上の値を参照した演算によって求められる。図12の例では、ブロック171中央の2×2画素の領域にある画素A172、画素B173、画素C174、画素D175の4つの画素を用いて画素状態係数を求める。輪郭強調処理は、画像の横(水平)方向と縦(垂直)方向の周波数特性を区別するために、一般的に画像の横方向および縦方向に対して独立して行われる。画像の横方向の輪郭強調処理において、画素状態係数Xhを求める演算式は、下記数1の通りである。
(数1) Xh=|A−B|+|C−D|
一方、画像の縦方向の輪郭強調処理において、画素状態係数Xvを求める演算式は、下記数2の通りである。
(数2) Xv=|A−C|+|B−D|
ここで、数1及び2におけるA、B、C、Dは、画素A172、画素B173、画素C174、画素D175のそれぞれにおける輝度信号のレベル、もしくは輝度信号における高周波成分のレベルを示すものとする。
上記の横方向の画素状態係数Xhまたは縦方向の画素状態係数Xvの演算は、例えば図1に示された制御部9により実行され、その演算により得られた係数Xh、Xvは設定部102に供給される。設定部102は、制御部9から与えられた係数Xh、Xvを参照して実際の輪郭補正量を設定する。この輪郭補正量の設定の詳細を、図13及び図14を参照しつつ説明する。
図13は、画素状態係数Xと輪郭強調量との関係の一例を示している。ここで、画素状態係数Xは、横方向の画素状態係数Xhまたは縦方向の画素状態係数Xvのいずれかであるものとする(すなわちX=Xh or Xv)。また同図の横軸は画素状態係数Xの値、縦軸は輪郭強調量を示している。上記画素状態係数Xが小さい場合は、隣接する画素値に大きな差が無いため、輪郭強調量を増加させても効果が小さい傾向となる。一方、画素状態係数Xが大きい場合は、隣接する画素値に大きな差があるため、輪郭強調レベルを増加させることで輪郭強調の効果を得やすい傾向となる。この関係から、画素状態係数Xが大きいほど、ブロックに対する輪郭強調量を大きく設定し、逆に画素状態係数Xが小さいほどブロックに対する輪郭強調量を小さくするように設定する。ここで、画素状態係数Xに対する輪郭強調量の特性は、図13の破線180で示されるように線形な特性としてもよいし、実線181で示されるように非線形な特性としてもよい。すなわち、本実施例に係る設定部102は、破線180もしくは実線181に示される輪郭強調量の特性を有しており、制御部9から与えられた画素状態係数Xに対応する輪郭補正量を破線180もしくは実線181に示される特性曲線(直線)を参照して設定する。
図13の破線180もしくは実線181で示される特性を実現するために、本実施例では、例えば図14に示されるような輪郭強調テーブルを用いる。すなわち、本実施例に係る設定部は、かかる輪郭強調テーブルを保持しており、これから画素状態係数Xに対応する実際の画像強調量を取得している。図14において、画素状態係数Xの項には、出現され得るXminからXmaxの、全ての係数の値が格納されている。一方、輪郭強調量の項には、画素状態係数Xnの各値に対応する輪郭強調量(EMmin〜EMmax)の値が格納されている。尚、画素状態係数Xnと輪郭強調量EMnの各組は、それぞれ個別のアドレス(Index=1〜n)が付されている。そして、設定部102は、制御部9から与えられた画素状態係数Xnに対応する輪郭強調量EMnを、輪郭強調テーブルから引き出してブロック毎の輪郭強調量を設定する。
更に、設定部102は、上記輪郭強調テーブルから引き出された輪郭強調量と、ノイズ検出部103(ブロックノイズ検出部146)から出力されたブロックノイズ情報とを用いて最終的なブロック毎の輪郭補正量を決定する。この最終的な輪郭補正量の決定の方法について、図15を参照しつつ説明する。
本実施例に係る設定部102は、ノイズ検出部103(ブロックノイズ検出部146)から送信されたブロックノイズ情報と、上記輪郭強調テーブルから引き出された輪郭強調量とを一時的に記憶するための図示しないメモリを備えている。このメモリは、図15(a)に示されるようなブロックノイズ情報を格納するための第1メモリ領域と、図15(b)に示されるような輪郭強調量を格納するための第2メモリ領域とを有している。第1及び第2のメモリ領域は、それぞれ、画像の1画面分(1フレーム分)の全てのブロック、つまりn個分のアドレス(Index=1〜n)が付されている。例えば、1フレームの画像の最も左上に位置するブロックのアドレスをIndex=1、最も右下に位置するブロックのアドレスをIndex=nとし、全てのブロックに対してそれぞれ個別のアドレスを与えるようにする。
そして、ノイズ検出部103(ブロックノイズ検出部146)からのブロックノイズ情報が設定部102に入力されると、そのブロックノイズ情報は、第1メモリ領域の、当該ノイズ情報に対応するブロックのアドレスに格納される。一方、輪郭強調テーブルから得られた輪郭強調量は、第2メモリ領域の、対応するブロックのアドレスに格納される。
ここで、第1メモリ領域のあるアドレスに格納されるブロックノイズ情報が「ブロックノイズ有り」の場合は、第2メモリ領域の対応するアドレスには「0」を格納する。例えば、図15(a)に示されるように、第1メモリ領域のIndex=1のアドレスにブロックノイズ情報として「ブロックノイズ有り」が格納された場合、それに対応する第2メモリ領域のIndex=1のアドレスの内容は、図15(b)に示されるように「0」とする。このようにして、ブロックノイズを有するブロックに対しては輪郭強調を行わないようにする。
一方、第1メモリ領域のあるアドレスに格納されるブロックノイズ情報が「ブロックノイズ無し」の場合は、輪郭強調テーブルから得られた第輪郭強調量を2メモリ領域の対応するアドレスに格納する。例えば、図15(a)に示されるように、第1メモリ領域のIndex=1のアドレスにブロックノイズ情報として「ブロックノイズ無し」が格納された場合、それに対応する第2メモリ領域のIndex=1のアドレスの内容は、上記テーブルから得られた輪郭強調量「EM1」が格納される。このようにして、ブロックノイズが無いブロックに対しては、上記テーブルから得られた輪郭強調量を用いて輪郭強調を行う。
上記の例では、「ブロックノイズ有り」に対応するアドレスの内容を「0」としたが、0よりも大きい所定の輪郭強調量を書き込むようにしてよい。ただし、このときの所定の輪郭強調量は、「ブロックノイズ無し」の時の平均的な輪郭強調量よりも小さくする。
以上説明した設定部102及び制御部9における輪郭強調量を決定するための処理の流れを図16に示す。この図16に示されるフローチャートは、先に説明した図3のステップ132の詳細を示すものである。
ここでは、入力画像の各ブロックは4×4画素構成であるとする。まず、ステップ190において、ノイズ検出部101からのブロックノイズ情報を参照し、参照ブロックがブロックノイズ無しか否かを判定する。この判定の結果、ブロックノイズ有りの場合はステップ197へ進み、輪郭強調量として「0」を前述したメモリ(第2メモリ領域)に格納してステップ196へ進む。これと同時に、当該ブロックが「ブロックノイズ有り」との情報を第1メモリ領域に格納する。
一方、ブロックノイズ無しと判定された場合は、ステップ191に進み、制御部9が参照ブロックの画素データ(4×4画素)を入力する。これと同時に、当該ブロックが「ブロックノイズ無し」との情報を第1メモリ領域に格納する。次に制御部9は、ステップ192において当該ブロック中心部の4画素の画素値を参照し、ステップ193において画素状態係数Xを求めて設定部102に送信する。続いて、ステップ194において、設定部102は、画素状態係数Xに基づいて上記画像強調量テーブルから当該ブロックに対する画像強調量EMを取得する。そしてステップ195では、取得された画像強調量EMを、第2メモリ領域の対応するブロックのアドレスに格納する。その後ステップ196へ進む。ステップ196では、次の参照ブロックが存在するか否かを判定し、存在しない場合は処理を終了する。存在する場合はステップ190に戻り、ブロックが無くなる(デコード終了)までこの処理を繰り返し実行する。
このようにして得られた画像強調量EM(もしくは0)は、画質補正部103に送信される。そして画質補正部103は、画像強調量EM(もしくは0)に応じた輪郭強調をブロック毎に行う。
以上説明したように、本実施例によれば、ブロック毎に、ブロックノイズ情報と当該ブロック内の画像情報とを用いて画質補正量を決定している。従って、より精度のよい画質補正を行うことができる。上述した実施例では、画質補正として輪郭強調処理を例にして説明したが、これに限られるものではない。例えば、ノイズ低減処理にも本実施例が適用され得る。ノイズ低減処理の場合は、輪郭強調処理とは逆に、ブロックノイズが有る場合はノイズ低減処理を実行し、ブロックノイズが無い場合はノイズ低減処理を実行しない。もしくはブロックノイズが有る場合よりもノイズ低減量を小さくする。この場合も、当然ながらブロック内の画像情報を参照できる。例えば、ブロックノイズが有る場合でも当該ブロック内の高周波成分が多い場合はノイズ低減量を小さくし、高周波成分が少ない場合はノイズ低減量を大きくしてもよい。
次に、本発明の第2実施例について説明する。上記第1実施例では、設定された輪郭強調量がブロック内の全ての画素に適用される。これに対し、第2実施例では、ブロック内の画素位置に応じて輪郭強調量を変化させている。具体的には、当該ブロックと隣接するブロックの輪郭強調量を参照して各画素に与える輪郭強調量を設定する。この詳細について図17及び図18を用いて説明する。
図17は、あるブロックと横方向に隣接するブロックの輪郭強調量を考慮して、当該あるブロックに対する輪郭強調量を設定する方法の一例を示している。本実施例では、入力画像200のブロックMBs1における各画素に対する輪郭強調量を、ブロックMBs1に対する輪郭強調量EMs1と、ブロックMBs1に隣接するブロックMBs0及びブロックMBs2に対する輪郭強調量EMs0、EMs2を用いて変更する。ここで、ブロックMBs1の横方向に配列された4つの画素にそれぞれ適用される画像強調量EMa、EMb、EMc、Emdは、次の通りである。
(数3)EMa=(1/4 × EMs0)+(3/4 × EMs1)
(数4)EMb=EMs1
(数5)EMc=EMs1
(数6)EMd=(1/4 × EMs2)+(3/4 × EMs1)
このようにして求められた画像符号量は、図17の符号201に示すようになる。すなわち、ブロックMBs1における左端の列の画素群に対しては輪郭強調量EMaが、左から2列目の画素群に対しては輪郭強調量EMbが、左から3列目の画素群に対しては輪郭強調量EMcが、右端の列の画素群に対しては輪郭強調量EMdがそれぞれ適用される。
また、縦方向に隣接するブロックの輪郭強調量を参照する場合は、図18に示されるようになる。すなわち、入力画像210のブロックMBs4における各画素に対する輪郭強調量を、ブロックMBs4に対する輪郭強調量EMs4と、ブロックMBs4に隣接するブロックMBs3及びブロックMBs5に対する輪郭強調量EMs3、EMs5を用いて変更する。ここで、ブロックMBs4の縦方向に配列された4つの画素にそれぞれ適用される画像強調量EMe、EMf、EMg、EMhは、次の通りである。
(数7)EMe=(1/4 × EMs3)+(3/4 × EMs4)
(数8)EMf=EMs4
(数9)EMg=EMs4
(数10)EMh=(1/4 × EMs5)+(3/4 × EMs4)
このようにして求められた画像符号量は、図18の符号211に示すようになる。すなわち、ブロックMBs4における上から1行目の画素群に対しては輪郭強調量EMeが、2行目の画素群に対しては輪郭強調量EMfが、3行目の画素群に対しては輪郭強調量EMgが、4行目の画素群に対しては輪郭強調量EMhがそれぞれ適用される。
本実施例によれば、ブロック全体ではなく、ブロック内の各画素に対してりんかく補正量を設定できるので、よりきめ細かな画質補正が可能となる。
また、上記画像処理部100は、符号化情報とブロック内の画像情報ではなく、符号化情報と番組のカテゴリ情報とに基づいて画質補正量を決定しても良い。すなわち、符号化情報を用いて例えば第1実施例のように決定された画質補正量を、番組のカテゴリ情報で修正するものである。例えば画質補正が輪郭補正の場合、番組がスポーツである場合は符号化情報で定めた輪郭強調よりも強くし、ニュース等の場合は符号化情報で定めた輪郭強調よりも弱くしてもよい。また、
本発明は、例えば、1セグメント放送等のデジタル放送の受信再生機能を備えたノートPCまたはデスクトップ型PC、およびデジタルテレビ、カーナビ、ポータブルDVDプレイヤー等の映像再生機能を備えた装置に対して適用される。
本発明ができ要されるデジタル放送受信装置の一構成例。 画像処理部100の一構成例。 第1実施例に係る画質補正処理の全体のフローを示す図。 ノイズ検出部101の一具体例を示す図。 第1閾値BRthの設定の一例を示す図。 第2閾値Qthの設定の一例を示す図。 DCT係数判定部で参照されるDCT係数の構成の一例を示す図。 第3閾値Dthの設定の一例を示す図。 第4閾値MVthの設定の一例を示す図。 ノイズ検出部101におけるノイズ判定処理の流れを示す図。 ブロックノイズ発生状態と画質補正対象ブロックとの関係の一例を示す図。 設定部102におけるブロック毎の輪郭補正量を決定するための演算方法の一例を示す図。 ブロックの画素状態係数Xと画像強調量の関係の一例を示す図。 設定部102に用いられる輪郭強調量テーブルの一例を示す図。 設定部102に用いられるメモリの一例を示す図。 設定部102における輪郭強調量を設定する処理の流れを示す図。 本発明の第2実施例を説明する図。 本発明の第2実施例を説明する図。
符号の説明
1…デジタル放送受信装置、3…デジタルチューナ、4…ビデオデコーダ、5…オーディオデコーダ、100…画像処理装置、101…ノイズ検出部、102…特性制御部、103…画質補正部。

Claims (17)

  1. デジタル放送受信装置において、
    デジタル放送信号を受信するチューナ部と、前記チューナ部により受信されたデジタル放送信号をデコードして画像信号を出力するデコーダと、前記デコーダから出力された画像信号に対して画像処理を行う画像処理部とを備え、
    前記画像処理部は、前記デジタル放送信号に含まれる符号化情報と、前記画像信号から得られた画像情報とに基づいて、前記画像信号を画素ブロック単位で画質補正可能に構成されることを特徴とするデジタル放送受信装置。
  2. 請求項1に記載のデジタル放送受信装置において、前記デジタル放送信号が1セグメント放送信号であることを特徴とするデジタル放送受信装置。
  3. 請求項1に記載のデジタル放送受信装置において、前記符号化情報は、前記デジタル放送信号のビットレート情報、量子化ステップ情報、DCT係数情報、動きベクトル情報の少なくともいずれか一つを含むことを特徴とするデジタル放送受信装置。
  4. 請求項1に記載のデジタル放送受信装置において、更に、前記画像処理部で画質補正された画像信号を表示するための表示部を備えることを特徴とするデジタル放送受信装置。
  5. デジタル放送受信装置において、
    デジタル放送信号を受信するチューナ部と、前記チューナ部により受信されたデジタル放送信号をデコードして画像信号を出力するデコーダと、前記デコーダから出力された画像信号に対して画像処理を行う画像処理部とを備え、
    前記画像処理部は、前記デジタル放送信号に含まれる画像の符号化情報に基づいて、画素ブロック毎にノイズ情報を検出するノイズ検出部と、
    前記ノイズ検出部で検出したノイズ情報と、前記画像信号における画素ブロックの画像情報とに基づいて画質補正量を設定する設定部と、
    該設定部によって設定された画質補正量に応じて前記画像信号を前記画素ブロック単位で補正可能な画質補正部と、を含むことを特徴とするデジタル放送受信装置。
  6. 請求項5に記載のデジタル放送受信装置において、前記ノイズ検出部は、前記符号化情報として、前記所定画素ブロック毎に、前記デジタル放送信号のビットレート情報、量子化ステップ情報、DCT係数情報、及び動きベクトル情報を取得し、
    前記ビットレート情報が第1閾値以下、前記量子化ステップ情報が第2閾値以上、前記DCT係数情報が第3閾値以上、及び前記動きベクトル情報が第4閾値以上の、少なくともいずれか一つの条件を満たす場合に、当該画素ブロックがブロックノイズを含むと判定することを特徴とするデジタル放送受信装置。
  7. 請求項6に記載のデジタル放送受信装置において、前記画質補正部による画質補正が輪郭強調処理であり、前記ノイズ検出部でブロックノイズを含まないと判定された画素ブロックに対して前記輪郭強調処理を実行、もしくはブロックノイズを含むと判定された画素ブロックよりも強く輪郭強調を行うことを特徴とするデジタル放送受信装置。
  8. 請求項6に記載のデジタル放送受信装置において、前記画質補正部による画質補正がノイズ低減処理であり、前記ノイズ検出部でブロックノイズを含むと判定された画素ブロックに対して前記ノイズ低減処理を行う、もしくブロックノイズを含まないと判定された画素ブロックよりも強くノイズ低減処理を行うことをことを特徴とするデジタル放送受信装置。
  9. 請求項6に記載のデジタル放送受信装置において、前記第1、第2、第3及び第4閾値が、受信されたデジタル放送信号の番組のカテゴリに応じて変更可能であることを特徴とするデジタル放送受信装置。
  10. 請求項5に記載のデジタル放送受信装置において、前記設定部は、前記画素ブロックの画像情報として当該画素ブロック内の隣接する画素間の差分を用いることを特徴とするデジタル放送受信装置。
  11. 請求項10に記載のデジタル放送受信装置において、前記隣接する画素間の差分は、当該画素ブロック内における画素のうち、画素ブロックの境界部に位置する画素以外の複数画素から得るようにしたことを特徴とするデジタル放送受信装置。
  12. 請求項5に記載のデジタル放送受信装置において、前記設定部は、ある画素ブロックに対応する画質補正量を、該ある画素ブロックの補正量と、該ある画素ブロックと垂直及び水平方向に隣接する画素ブロックの画質補正量とを用いて設定するようにしたことを特徴とする画像処理装置。
  13. 請求項5に記載のデジタル放送受信装置において、前記設定部は、前記画素ブロックの画像情報として、当該ブロック境界以外の少なくとも2つの画素に含まれる高域周波数成分の有無を判別する判別部を含むことを特徴とする画像処理装置。
  14. 請求項5に記載のデジタル放送受信装置において、前記設定部は、前記高周波成分の有無に対応する画質補正量のテーブルを含み、前記判別部の判別結果に応じて前記テーブルから対応する画質補正量を読み出して、当該画素ブロックの画質補正量として設定することを特徴とする画像処理装置。
  15. 請求項5に記載のデジタル放送受信装置において、前記ノイズ検出部は、前記デジタル放送信号のビットレート情報が第1閾値以下の場合にブロックノイズが発生していると判定するビットレート判定部と、量子化ステップが第2閾値以上の場合にブロックノイズが発生していると判定する量子化ステップ判定部と、所定の2次元DCT係数に含まれるAC成分のゼロの個数が第3閾値以上の場合はブロックノイズが発生していると判定するDCT係数判定部と、動きベクトルが第4閾値以上の場合はブロックノイズが発生している判定する動きベクトル判定部との、少なくとも一つを含むことを特徴とする画像処理装置。
  16. 請求項5に記載のデジタル放送受信装置において、前記ノイズ検出部は、前記デジタル放送信号のビットレート情報が第1閾値以下の場合にブロックノイズが発生していると判定するビットレート判定部と、量子化ステップが第2閾値以上の場合にブロックノイズが発生していると判定する量子化ステップ判定部と、所定の2次元DCT係数に含まれるAC成分のゼロの個数が第3閾値以上の場合はブロックノイズが発生していると判定するDCT係数判定部と、動きベクトルが第4閾値以上の場合はブロックノイズが発生している判定する動きベクトル判定部とを含み、前記ビットレート判定部、前記量子化ステップ判定部、前記DCT係数判定部、及び前記動きベクトル判定部のいずれか一つ以上がブロックノイズ有りと判定した場合は、当該画素ブロックがブロックノイズを含むと決定し、
    前記設定部は、前記決定結果に対応した画質補正量を設定して前記画質補正部に与えることを特徴とする画像処理装置。
  17. デジタル放送受信装置において、
    デジタル放送信号を受信するチューナ部と、前記チューナ部により受信されたデジタル放送信号をデコードして画像信号を出力するデコーダと、前記デコーダから出力された画像信号に対して画質補正を行う画像処理部とを備え、
    前記画像処理部は、前記デジタル放送信号に含まれる画像の符号化情報と、受信されたデジタル放送信号の番組のカテゴリに応じて画質補正量を設定し、該画質補正量を用いて画質補正を行うことを特徴とするデジタル放送受信装置。
JP2006101400A 2006-04-03 2006-04-03 デジタル放送受信装置 Active JP4747917B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006101400A JP4747917B2 (ja) 2006-04-03 2006-04-03 デジタル放送受信装置
US11/620,820 US20070250893A1 (en) 2006-04-03 2007-01-08 Digital broadcasting receiving apparatus
CNA2007100070822A CN101052129A (zh) 2006-04-03 2007-02-08 数字广播接收装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006101400A JP4747917B2 (ja) 2006-04-03 2006-04-03 デジタル放送受信装置

Publications (2)

Publication Number Publication Date
JP2007281542A true JP2007281542A (ja) 2007-10-25
JP4747917B2 JP4747917B2 (ja) 2011-08-17

Family

ID=38620958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006101400A Active JP4747917B2 (ja) 2006-04-03 2006-04-03 デジタル放送受信装置

Country Status (3)

Country Link
US (1) US20070250893A1 (ja)
JP (1) JP4747917B2 (ja)
CN (1) CN101052129A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101505A2 (en) 2008-03-11 2009-09-16 Sony Corporation Image processing device, method, and program
JP2009290608A (ja) * 2008-05-29 2009-12-10 Fujitsu Ten Ltd 動画出力装置および動画出力方法
JP2010239333A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd 圧縮画像ノイズ除去装置と再生装置
JP2010258760A (ja) * 2009-04-24 2010-11-11 Sharp Corp 映像表示装置、および映像表示装置の動作方法
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
JP2013240039A (ja) * 2012-04-11 2013-11-28 Sharp Corp 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US8615036B2 (en) 2008-09-09 2013-12-24 Fujitsu Limited Generating interpolated frame of video signal with enhancement filter
WO2018105195A1 (ja) * 2016-12-07 2018-06-14 三菱電機株式会社 映像障害検知装置、映像障害検知方法、及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100835560B1 (ko) * 2007-01-29 2008-06-05 삼성전자주식회사 모바일 디지털 방송 시스템에서 멀티캐스트 패킷을전송하는 장치 및 방법
US20090193482A1 (en) * 2008-01-25 2009-07-30 At&T Knowledge Ventures, L.P. System and Method of Scheduling Recording of Media Content
CN101321289B (zh) * 2008-06-13 2010-10-20 北京大学 手机电视中视频图像的处理方法、系统及装置
JP2010288080A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
US8711751B2 (en) * 2009-09-25 2014-04-29 Apple Inc. Methods and apparatus for dynamic identification (ID) assignment in wireless networks
US9271055B2 (en) * 2011-08-23 2016-02-23 Avaya Inc. System and method for variable video degradation counter-measures
US8244061B1 (en) * 2011-10-10 2012-08-14 Doug Carson & Associates, Inc. Automated detection of source-based artifacts in an information signal
US8433143B1 (en) 2012-01-04 2013-04-30 Doug Carson & Associates, Inc. Automated detection of video artifacts in an information signal
US9998750B2 (en) * 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
KR101897378B1 (ko) 2013-12-10 2018-09-10 캐논 가부시끼가이샤 팔레트 코딩 모드에서 팔레트를 인코딩 또는 디코딩하기 위한 방법 및 장치
US10419774B2 (en) 2013-12-10 2019-09-17 Canon Kabushiki Kaisha Palette mode in HEVC
US10003814B2 (en) * 2015-05-06 2018-06-19 Mediatek Inc. Image processor, display image processing method and associated electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229546A (ja) * 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法
JP2002199403A (ja) * 2000-10-20 2002-07-12 Matsushita Electric Ind Co Ltd ブロック歪み検出方法、ブロック歪み検出装置、ブロック歪み除去方法およびブロック歪み除去装置
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置
JP2005142891A (ja) * 2003-11-07 2005-06-02 Fujitsu Ltd 画像処理方法及び画像処理装置
JP2005348355A (ja) * 2004-06-07 2005-12-15 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5299233A (en) * 1992-05-22 1994-03-29 Advanced Micro Devices, Inc. Apparatus and method for attenuating a received signal in response to presence of noise
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
JP4915026B2 (ja) * 2000-05-17 2012-04-11 ソニー株式会社 映像処理装置および映像処理方法、並びに記録媒体
US20020021756A1 (en) * 2000-07-11 2002-02-21 Mediaflow, Llc. Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
KR100522938B1 (ko) * 2001-08-13 2005-10-24 삼성전자주식회사 블록화현상 제거장치 및 제거방법, 블록화현상 제거장치가 구비된 디스플레이장치
US7088399B2 (en) * 2001-10-09 2006-08-08 Sony Corporation Signal processing apparatus signal processing method program and recording medium for detecting a position in a pattern corresponding to noise
US7991054B2 (en) * 2002-07-19 2011-08-02 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program
US7319862B1 (en) * 2002-09-26 2008-01-15 Exphand, Inc. Block-based encoding and decoding information transference system and method
KR101018563B1 (ko) * 2003-06-10 2011-03-03 소니 주식회사 텔레비전 수상기 및 화상 처리 방법
US7653265B2 (en) * 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229546A (ja) * 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法
JP2002199403A (ja) * 2000-10-20 2002-07-12 Matsushita Electric Ind Co Ltd ブロック歪み検出方法、ブロック歪み検出装置、ブロック歪み除去方法およびブロック歪み除去装置
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置
JP2005142891A (ja) * 2003-11-07 2005-06-02 Fujitsu Ltd 画像処理方法及び画像処理装置
JP2005348355A (ja) * 2004-06-07 2005-12-15 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452120B2 (en) 2008-03-11 2013-05-28 Sony Corporation Image processing device and method
EP2228990A2 (en) 2008-03-11 2010-09-15 Sony Corporation Image processing device and method
EP2101505A2 (en) 2008-03-11 2009-09-16 Sony Corporation Image processing device, method, and program
US8401311B2 (en) 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
JP2009290608A (ja) * 2008-05-29 2009-12-10 Fujitsu Ten Ltd 動画出力装置および動画出力方法
US8615036B2 (en) 2008-09-09 2013-12-24 Fujitsu Limited Generating interpolated frame of video signal with enhancement filter
JP2010239333A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd 圧縮画像ノイズ除去装置と再生装置
JP2010258760A (ja) * 2009-04-24 2010-11-11 Sharp Corp 映像表示装置、および映像表示装置の動作方法
JP2012023683A (ja) * 2010-07-16 2012-02-02 Sharp Corp 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
US8737465B2 (en) 2010-07-16 2014-05-27 Sharp Kabushiki Kaisha Video processing device, video processing method, video processing program, and storage medium
JP2013240039A (ja) * 2012-04-11 2013-11-28 Sharp Corp 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
WO2018105195A1 (ja) * 2016-12-07 2018-06-14 三菱電機株式会社 映像障害検知装置、映像障害検知方法、及びプログラム
JPWO2018105195A1 (ja) * 2016-12-07 2019-03-28 三菱電機株式会社 映像障害検知装置、映像障害検知方法、及びプログラム

Also Published As

Publication number Publication date
CN101052129A (zh) 2007-10-10
US20070250893A1 (en) 2007-10-25
JP4747917B2 (ja) 2011-08-17

Similar Documents

Publication Publication Date Title
JP4747917B2 (ja) デジタル放送受信装置
US8265426B2 (en) Image processor and image processing method for increasing video resolution
US8923613B2 (en) Image compression device, image compression method, integrated circuit, program, and picture display apparatus
US7995146B2 (en) Image processing apparatus and image processing method
JP4712704B2 (ja) 放送受信装置、放送受信方法、放送受信プログラム及び放送受信回路
US9001272B2 (en) Image synthesizing device, coding device, program, and recording medium
US20100026685A1 (en) Image Processing Apparatus
US20100026695A1 (en) Image Processing Apparatus and Image Processing Method
US20100026885A1 (en) Image Processing Apparatus
JP2007053697A (ja) デジタルノイズ低減装置及び方法及び映像信号処理装置
US8446965B2 (en) Compression noise reduction apparatus, compression noise reduction method, and storage medium therefor
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US10659722B2 (en) Video signal receiving apparatus and video signal receiving method
US8559526B2 (en) Apparatus and method for processing decoded images
US7903126B2 (en) Image processing apparatus and image processing method thereof
US8432495B2 (en) Video processor and video processing method
JP2009284208A (ja) 動画像符号化装置及び動画像記録装置
US20100165205A1 (en) Video signal sharpening apparatus, image processing apparatus, and video signal sharpening method
JP4747681B2 (ja) デジタル放送受信機
US7388620B2 (en) Method and system for pan-scan using motion vectors presentation
US8284313B2 (en) Apparatus and method for determining noise
US8270773B2 (en) Image processing apparatus and image processing method
EP3541078A1 (en) Determining spatial resolution of coded video
US8345765B2 (en) Image coding distortion reduction apparatus and method
JP2011066602A (ja) 放送信号処理装置、放送信号処理方法、放送信号処理プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R151 Written notification of patent or utility model registration

Ref document number: 4747917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250