JP2011259248A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2011259248A
JP2011259248A JP2010132455A JP2010132455A JP2011259248A JP 2011259248 A JP2011259248 A JP 2011259248A JP 2010132455 A JP2010132455 A JP 2010132455A JP 2010132455 A JP2010132455 A JP 2010132455A JP 2011259248 A JP2011259248 A JP 2011259248A
Authority
JP
Japan
Prior art keywords
image
image quality
control signal
processing
quality control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010132455A
Other languages
English (en)
Inventor
Hiroshi Nishimura
浩志 西村
Yasunari Hatasawa
泰成 畠澤
Go Kobayashi
剛也 小林
Hiroshi Kobayashi
博 小林
Kensaku Ishizuka
健作 石塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Corp
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Computer Entertainment Inc filed Critical Sony Corp
Priority to JP2010132455A priority Critical patent/JP2011259248A/ja
Priority to US13/150,315 priority patent/US20110307923A1/en
Priority to CN201110154536.5A priority patent/CN102279972B/zh
Publication of JP2011259248A publication Critical patent/JP2011259248A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Abstract

【課題】番組のジャンルに基づいて、番組の画像を高画質化できるようにする。
【解決手段】画質制御情報生成部41は、解析部61を制御して、ジャンル判定部85により、タイトル情報から番組のジャンル情報を取得させる。画質制御情報生成部41は、解析部61により取得されたジャンル情報に基づいて、番組の画像の画質を制御する画質制御信号を生成する。画質処理部42は、生成された画質制御信号に基づいて、番組の画像の画質を制御する。本発明は、画像処理装置に適用することができる。
【選択図】図2

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、番組のジャンル情報に基づいて画像を適切に高画質化できるようにする画像処理装置および方法、並びにプログラムに関する。
近年、放送番組の画像を高画質化するに際して、EPG(電子番組表)の情報より番組のジャンル情報を取得し、取得したジャンル情報に基づいて、画像を高画質化する技術が提案されている(特許文献1参照)。
特開2008−295023号公報
ところで、複数のコンテンツを含む番組などの場合、EPGからは複数のジャンル情報が取得されることがある。このような場合、特許文献1を用いると、複数のジャンル情報のうち、先頭に記述されているジャンル情報や、予め優先度が設定されていたとしても、その優先度の最も高いジャンル情報が選択される。
すなわち、特許文献1の技術を用いた場合、いずれにおいても、そのうちの1ジャンル情報のみが選択される。従って、先頭のジャンル情報が選択される場合、例えば、前半がアニメーション番組のコンテンツであって、後半がスポーツ番組のコンテンツであるようなコンテンツのとき、アニメーション番組であることを示すジャンル情報が選択される。
例えば、高画質化処理の一例としてノイズ除去を考える場合、アニメーションは一般的に輪郭線が多い画像となるため、ノイズ除去効果の高いフィルタ処理が、コンテンツ全体に施されることになる。このため、前半のアニメーション番組においては、適切にノイズ除去がなされることとなる。
しかしながら、後半のスポーツ番組においては、動きの早い画像がノイズ除去効果の高いフィルタにより処理されてしまうので、一般に尾引きと呼ばれる処理エラーが発生しやすくなる。
このように、複数のジャンル情報を含むようなコンテンツの場合、いずれか1のジャンル情報に基づいて高画質化処理を施すようにすると、選択されなかったジャンル情報の番組において、高画質化処理による破綻が生じる恐れがあった。
本発明はこのような状況に鑑みてなされたものであり、特に、1のコンテンツにおいて、複数のジャンル情報が含まれるような場合でも、ジャンル情報により適切な高画質化処理を実現できるようにするものである。
本発明の一側面の画像処理装置は、番組のジャンル情報を取得するジャンル情報取得手段と、前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段とを含む。
前記ジャンル情報取得手段には、前記ジャンル情報に加えて、さらに、前記番組の画像の関連データを取得させ、前記画質制御信号生成手段には、前記ジャンル情報取得手段により取得されたジャンル情報に加えて、前記番組の画像の関連データに基づいて、前記番組の画像の画質を制御する画質制御信号を生成させるようにすることができる。
前記画質制御信号生成手段には、前記ジャンル情報に基づいて、ノイズを除去する処理の強度を示すノイズ除去処理制御信号を生成するノイズ除去処理制御信号生成手段を含ませるようにすることができ、前記画質制御手段には、前記ノイズ除去処理制御信号に基づいた強度で、前記番組の画像の画質のノイズを除去する処理を実行するノイズ除去処理手段を含ませるようにすることができる。
前記画質制御信号生成手段には、前記ジャンル情報に基づいて、前記番組の画像よりプルダウンパターンを検出する際、検出すべきプルダウンパターンを限定するプルダウン検出処理制御信号を生成するプルダウン検出処理制御信号生成手段と、前記ジャンル情報に基づいて、前記番組の画像のIP変換処理を実行する際、前記画像のプルダウンパターンで逆変換した後、IP変換するか、または、前記逆変換をせずにIP変換するかを示すパラメータをIP変換処理制御信号として生成するIP変換処理制御信号生成手段とを含ませるようにすることができ、前記画質制御手段には、前記プルダウン検出処理制御信号に基づいて限定されたプルダウンパターンより、前記番組の画像のプルダウンパターンを検出するプルダウン検出処理手段と、IP変換処理制御信号に基づいて、前記プルダウン検出処理手段により検出されたプルダウンパターンで前記画像を逆変換した後、または前記逆変換せずに、前記番組の画像をIP変換するIP変換処理手段とを含ませるようにすることができる。
前記画質制御信号生成手段には、前記ジャンル情報に基づいて、前記番組の画像の画素の補間生成に係るエッジ方向の信頼性評価に用いる閾値を制御するスケーリング処理制御信号を生成するスケーリング処理制御信号生成手段を含ませるようにすることができ、前記画質制御手段には、前記スケーリング処理制御信号に基づいて、前記番組の画像のエッジ方向のうち、前記信頼性評価が前記閾値よりも高いエッジ方向に存在する画素を用いて、注目する画素を補間生成するスケーリング処理手段を含ませるようにすることができる。
前記画質制御信号生成手段には、前記ジャンル情報に基づいて、前記番組の画像をエンハンス処理する際の強度を制御するエンハンス処理制御信号を生成するエンハンス処理制御信号生成手段を含ませるようにすることができ、前記画質制御手段には、前記エンハンス処理制御信号に基づいた強度で、前記番組の画像をエンハンス処理するエンハンス処理手段を含ませるようにすることができる。
本発明の一側面の画像処理方法は、番組のジャンル情報を取得するジャンル情報取得手段と、前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段とを含む画像処理装置の画像処理方法であって、前記ジャンル情報取得手段における、番組のジャンル情報を取得するジャンル情報取得ステップと、前記画質制御信号生成手段における、前記ジャンル情報取得ステップの処理により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成ステップと、前記画質制御手段における、前記画質制御信号生成ステップの処理により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御ステップとを含む。
本発明の一側面のプログラムは、番組のジャンル情報を取得するジャンル情報取得手段と、前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段とを含む画像処理装置を制御するコンピュータに、前記ジャンル情報取得手段における、番組のジャンル情報を取得するジャンル情報取得ステップと、前記画質制御信号生成手段における、前記ジャンル情報取得ステップの処理により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成ステップと、前記画質制御手段における、前記画質制御信号生成ステップの処理により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御ステップとを含む処理を実行させる。
本発明の一側面においては、番組のジャンル情報が取得され、取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号が生成され、生成された画質制御信号に基づいて、前記番組の画像の画質が制御される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本発明の一側面によれば、番組のジャンルに基づいて、番組の画像を高画質化することが可能となる。
本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 画像処理部の構成例を示す図である。 画像処理を説明するフローチャートである。 画質制御情報生成処理を説明するフローチャートである。 解析処理を説明するフローチャートである。 ホワイトリストおよびブラックリストを説明する図である。 高画質化処理を説明するフローチャートである。 高画質化処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
[画像処理装置の構成例]
図1は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図1の画像処理装置11は、ストリームデータとして取得されるコンテンツである番組の画像を、その中に含まれるコンテンツのジャンル情報に基づいて、適切に高画質化するものである。
画像処理装置11は、ストリーム取得部21、ストリーム保持部22、情報分離部23、デコード部24、画像処理部25、および画像出力部26を備えている。
ストリーム取得部21は、放送波として図示せぬチューナにより受信され、取得されたコンテンツたる番組のストリームデータを取得して、ストリーム保持部22に保持させる。ストリーム保持部22は、一時的に番組のストリームデータを保持して、情報分離部23に出力する。
情報分離部23は、ストリーム保持部22より出力されるストリームデータに含まれているEPG(電子番組表)等のタイトル情報と、コンテンツたる番組の画像データ(音声データを含む)とを分離し、それぞれ画像処理部25、およびデコード部24に供給する。タイトル情報は、例えば、ジャンル情報、および画像データの録画モードを含む情報である。
デコード部24は、画像データをデコードし、デコード結果であるベースバンドの画像データを画像処理部25に出力すると共に、その際、デコード結果である画像データのデコード情報を画像処理部25に供給する。デコード情報は、例えば、コーデック情報、および画像サイズの情報を含むものである。
画像処理部25は、情報分離部23より供給されてくるタイトル情報、およびデコード部24より供給されてくるデコード情報に基づいて、デコード部24からの画像データを高画質化して画像出力部26に出力する。尚、画像処理部25の詳細には構成については、図2を参照して、詳細を後述する。
画像出力部26は、画像処理部25より供給されてきた高画質化された画像を図示せぬLCD(Liquid Crystal Display)などからなる表示部に出力して表示する。
[画像処理部の構成例]
次に、図2を参照して、画像処理部25の詳細な構成例について説明する。
画像処理部25は、画質制御情報生成部41、および画質処理部42を備えている。画質制御情報生成部41は、画質処理部42によりベースバンドの画像データの画像を高画質化する際に必要とされる各種の画質制御情報を生成して、画質処理部42に供給する。画質処理部42は、この画質制御情報に基づいて、画像データの画像を高画質化する。
より詳細には、画質制御情報生成部41は、解析部61、ノイズ除去処理制御情報生成部62、プルダウン検出処理制御情報生成部63、IP変換処理制御情報生成部64、スケーリング処理制御情報生成部65、およびエンハンス処理制御情報生成部66を備える。また、画質処理部42は、ノイズ除去処理部101、プルダウン検出処理部102、IP変換処理部103、スケーリング処理部104、およびエンハンス処理部105を備える。
解析部61は、情報分離部23より供給されてくるタイトル情報、およびデコード部24より供給されてくるデコード情報に基づいて、処理対象となっている画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、および録画モードを解析する。そして、解析部61は、解析結果であるジャンル情報、コーデック情報、画像サイズ、および録画モードをノイズ除去処理制御情報生成部62乃至エンハンス処理制御情報生成部66に供給する。
より詳細には、解析部61は、ホワイトリスト比較部81、ホワイトリスト82、ブラックリスト比較部83、ブラックリスト84、ジャンル判定部85、画像サイズ認識部86、コーデック認識部87、および録画モード認識部88を含む。ジャンル判定部85は、タイトル情報よりジャンル情報を抽出する。この際、複数のジャンル情報が抽出できる場合、ジャンル判定部85は、タイトル情報に含まれる複数の全てのジャンル情報を抽出する。
ホワイトリスト比較部81は、抽出されたジャンル情報と、予めジャンル毎に、そのジャンルと特定してもよいジャンル情報が登録されているホワイトリスト82に登録されているジャンル情報とを比較し、一致するジャンル情報を検索する。ブラックリスト比較部83は、抽出されたジャンル情報と、予めジャンル毎に、そのジャンルと特定してはいけないジャンル情報が登録されているブラックリスト84に登録されているジャンル情報とを比較し、一致するジャンル情報を検索する。そして、ジャンル判定部85は、ホワイトリスト比較部81の比較検索結果、およびブラックリスト比較部83の比較検索結果から、処理対象となっている画像データの番組であるコンテンツのジャンル情報を判定する。
この際、ジャンル判定部85は、ホワイトリスト比較部81の比較検索結果と、ブラックリスト比較部83の比較検索結果が一致しない場合、ホワイトリスト比較検索結果となるジャンルを、処理対象のコンテンツである番組のジャンルとする。また、ジャンル判定部85は、ブラックリスト比較部83の比較検索結果に、ホワイトリスト比較部81の比較検索結果と一致するものを含む場合、処理対象のコンテンツである番組のジャンルが特定できないものとみなし、ジャンルが特定できないことを示す情報を、処理対象のコンテンツである番組のジャンルの情報とする。すなわち、ジャンル判定部85によりタイトル情報から抽出される番組のジャンルの情報は、特定されるジャンルの情報に加えて、ジャンルが特定できないことを示す情報を含むものとなる。
画像サイズ認識部86は、タイトル情報に含まれている画像サイズを示す情報を取得して、処理対象となるコンテンツの画像の画像サイズを認識する。コーデック認識部87は、デコード部24より供給されてくるデコード情報よりコーデックの種別を認識する。録画モード認識部88は、タイトル情報に含まれている録画モードを認識する。
ノイズ除去処理制御情報生成部62は、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートに基づいて、ノイズ除去処理部101におけるノイズ除去処理の強度を示すノイズ除去処理制御情報を生成する。そして、ノイズ除去処理制御情報生成部62は、生成したノイズ除去処理制御情報をノイズ除去処理部101に供給する。ノイズ除去処理部101は、このノイズ除去処理制御情報に基づいて、画像データの画像に対してノイズ除去処理を実行し、処理結果をプルダウン検出処理部102、およびIP変換処理部103に供給する。尚、ノイズ除去処理部101の詳細な構成については、例えば、特開2008−311951号公報を参照されたい。
プルダウン検出処理制御情報生成部63は、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートに基づいて、プルダウン検出処理部102の候補となりうるプルダウンパターンを示すプルダウン処理制御情報を生成する。そして、プルダウン検出処理制御情報生成部63は、生成したプルダウン検出処理制御情報をプルダウン検出処理部102に供給する。プルダウン検出処理部102は、このプルダウン検出処理制御情報に基づいて、画像データの画像に対してプルダウン検出処理を実行し、処理結果であるプルダウンパターンを示すプルダウン情報をIP変換処理部103に供給する。尚、プルダウン検出処理部102の詳細な構成については、例えば、特開2009−065630号公報を参照されたい。
IP変換処理制御情報生成部64は、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートに基づいて、IP変換処理部103において、プルダウン検出処理部102により検出されるプルダウンパターンによる逆変換をした後、IP変換させるか、または、逆変換なしでIP変換するかを示すパラメータからなるIP変換処理制御情報を生成する。そして、IP変換処理制御情報生成部64は、生成したIP変換処理制御情報をIP変換処理部103に供給する。IP変換処理部103は、IP変換処理制御情報に基づいて、画像データの画像に対してプルダウン情報を用いて逆変換した後、IP変換処理をするか、または、逆変換することなくIP変換処理を実行し、処理結果をスケーリング処理部104に供給する。
スケーリング処理制御情報生成部65は、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートに基づいて、スケーリング処理により注目画素を補間生成しようとする際に用いられる画素を設定する際に用いられる閾値を、スケーリング処理制御情報として生成する。より具体的には、スケーリング処理制御情報生成部65は、注目画素の補間生成に使用する画素の注目画素に対する隣接方向として注目画素におけるエッジ方向を検出する際、エッジ方向毎に設定される信頼性評価値の閾値を示すスケーリング処理制御情報を生成する。そして、スケーリング処理制御情報生成部65は、生成したスケーリング処理制御情報をスケーリング処理部104に供給する。スケーリング処理部104は、このスケーリング処理制御情報に基づいて、注目画素を保管生成する際、注目画素におけるエッジ方向毎の信頼性評価値を求めて、閾値よりも高いエッジ方向に隣接する画素の情報を利用して注目画素を補間生成する。そして、スケーリング処理部104は、このような画素の補間生成処理を繰り返すことで、スケーリング処理を実行し、処理結果をエンハンス処理部105に供給する。尚、スケーリング処理部104の詳細な構成については、例えば、特開2006−155179号公報を参照されたい。
エンハンス処理制御情報生成部66は、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートに基づいて、エンハンス処理部105におけるエンハンス処理の強度を示すエンハンス処理制御情報を生成する。そして、エンハンス処理制御情報生成部66は、生成したエンハンス処理制御情報をエンハンス処理部105に供給する。エンハンス処理部105は、このエンハンス処理制御情報に基づいて、画像データの画像に対してエンハンス処理を実行し、処理結果を画像出力部26に供給する。尚、エンハンス処理部105の詳細な構成については、例えば、特開2007−213125号公報を参照されたい。
[画像処理]
次に、図3のフローチャートを参照して、画像処理について説明する。
ステップS11において、ストリーム取得部21は、ストリームデータを取得し、ストリーム保持部22に供給する。
ステップS12において、ストリーム保持部22は、ストリーム取得部21より供給されてきたストリームデータを一時的に保持し、所定のタイミングにおいて、保持したストリームデータを情報分離部23に供給する。
ステップS13において、情報分離部23は、ストリーム保持部22より出力されるストリームデータに含まれているEPG(電子番組表)等のタイトル情報と、コンテンツたる番組の画像データ(音声データを含む)とを分離し、それぞれ画像処理部25、およびデコード部24に供給する。
ステップS14において、デコード部24は、画像データをデコードし、デコード結果であるベースバンドの画像データを画像処理部25に出力すると共に、その際、デコード結果である画像データのデコード情報を画像処理部25に供給する。デコード情報は、例えば、コーデック情報、および画像サイズの情報を含むものである。
ステップS15において、画像処理部25の画質制御情報生成部41は、画質制御情報生成処理を実行し、画質制御情報を生成して、画質処理部42に供給する。
[画質制御情報生成処理]
ここで、図4のフローチャートを参照して、画質制御情報生成処理について説明する。
ステップS31において、解析部61は、タイトル情報およびデコード情報に基づいて、解析処理を実行し、画像データのコンテンツのジャンル情報、コーデック情報、画像サイズ、およびビットレートを解析する。
[解析処理]
ここで、図5のフローチャートを参照して、解析処理について説明する。
ステップS51において、解析部61のジャンル判定部85は、タイトル情報に含まれている画像データを処理しようとするコンテンツのジャンル情報を抽出する。ジャンル情報は、ジャンルを識別するジャンルコードから構成されており、ジャンルコードには、ジャンルコードであることを識別する情報も含まれている。このため、ジャンル判定部85は、このジャンルコードであることを識別する情報を含むジャンルコードを順次検索して、抽出する。
ステップS52において、ジャンル判定部85は、抽出したジャンル情報をリスト化してジャンルリストを生成する。すなわち、ジャンル判定部85は、順次抽出されたジャンルコードからなるジャンルリストを生成する。
ステップS53において、ジャンル判定部85は、ジャンルリストに含まれるジャンル情報のうち、未処理のものを処理対象ジャンルに設定する。
ステップS54において、ホワイトリスト比較部81は、処理対象ジャンル情報をホワイトリスト82に予め登録されているジャンル情報とを比較して、一致するジャンルを検索する。すなわち、ホワイトリストとは、例えば、図6で示されるものであり、予め登録されているジャンルに分類されるジャンル情報をリスト化したものである。尚、図6においては、左からジャンル情報が項目として設定されており、中央部がそれぞれのジャンル情報に対応付けて予め登録されているホワイトリスト82の例であり、右部がブラックリスト84の例である。
より具体的には、図6のホワイトリスト82においては、ジャンルの例として、上から、「スポーツ」、「アニメーション」、「映画」、および「ドキュメンタリ」が示されている。図6のホワイトリスト82においては、「スポーツ」のジャンルとして「スポーツ」のジャンル情報が登録されている。すなわち、抽出されたジャンル情報が「スポーツ」である場合、そのコンテンツのジャンルは「スポーツ」であることが示されている。
また、図6のホワイトリスト82においては、「アニメーション」のジャンルとして「映画[アニメ映画]」、「アニメ/特撮[国内アニメ]」、および「アニメ/特撮[海外アニメ]」のジャンル情報が登録されている。すなわち、ジャンル情報が「映画[アニメ映画]」、「アニメ/特撮[国内アニメ]」、または「アニメ/特撮[海外アニメ]」である場合、そのコンテンツのジャンルは「アニメーション」であることが示されている。
さらに、図6のホワイトリスト82には、「映画」のジャンルとして「映画[邦画]」、「映画[洋画]」、および、「映画[アニメ映画]」のジャンル情報が登録されている。すなわち、ジャンル情報が、「映画[邦画]」、「映画[洋画]」、および、「映画[アニメ映画]」である場合、そのコンテンツのジャンルは「映画」であることが示されている。
また、図6のホワイトリスト82には、「ドキュメンタリ」のジャンルとして「ドキュメンタリ/教養」のジャンル情報が登録されている。すなわち、ジャンル情報が、「ドキュメンタリ/教養」である場合、そのコンテンツのジャンルは「ドキュメンタリ」であることが示されている。
ステップS55において、ブラックリスト比較部83は、処理対象ジャンル情報をブラックリスト84に予め登録されているジャンル情報とを比較して、一致するジャンルを検索する。すなわち、ブラックリスト84とは、例えば、図6で示されるものであり、予め登録されているジャンルに分類されることのないジャンル情報をリスト化したものである。より詳細には、ブラックリスト84とは、ジャンル毎にホワイトリスト82に登録されたジャンル情報以外のほぼ全てのジャンル情報である。
より具体的には、図6のブラックリスト84においては、「スポーツ」のジャンルとして「映画」、「アニメ/特撮」、および「ドキュメンタリ/教養」等の「スポーツ」を除くほぼ全てのジャンル情報が登録されている。すなわち、抽出されたジャンル情報が「映画」、「アニメ/特撮」、または「ドキュメンタリ/教養」等の「映画」、および「スポーツ」を除くほぼ全てのジャンル情報である場合、そのコンテンツのジャンルが「スポーツ」ではないことが示されている。
また、図6のブラックリスト84においては、「アニメーション」のジャンルとして「スポーツ」、および「ドキュメンタリ/教養」等の「アニメーション」を除くほぼ全てのジャンル情報が登録されている。すなわち、ジャンル情報が「スポーツ」、または「ドキュメンタリ/教養」等の「映画」、および「アニメ/特撮」を除くほぼ全てのジャンル情報である場合、そのコンテンツのジャンルは「アニメーション」ではないことが示されている。
さらに、図6のブラックリスト84には、「映画」のジャンルとして、「スポーツ」、「ドキュメンタリ/教養」等、「映画」、「アニメ/特撮」以外ほぼ全てのジャンル情報が登録されている。すなわち、ジャンル情報が、「スポーツ」、「ドキュメンタリ/教養」等、「映画」、「アニメ/特撮」以外ほぼ全てのジャンル情報である場合、そのコンテンツのジャンルは「映画」ではないことが示されている。
また、図6のブラックリスト84には、「ドキュメンタリ」のジャンルとして、「スポーツ」、「映画」、「アニメ/特撮」等、「ドキュメンタリ/教養」以外ほぼ全てのジャンル情報が登録されている。すなわち、ジャンル情報が、「スポーツ」、「映画」、「アニメ/特撮」等、「ドキュメンタリ/教養」以外ほぼ全てのジャンル情報である場合、そのコンテンツのジャンルは「ドキュメンタリ」ではないことが示されている。
ステップS56において、ジャンル判定部85は、ホワイトリスト比較部81、およびブラックリスト比較部83の比較検索結果を記憶する。
ステップS57において、ジャンル判定部85は、ジャンルリストに未処理のジャンル情報が記憶されているか否かを判定し、未処理のジャンル情報が存在する場合、処理は、ステップS53に戻る。すなわち、ジャンルリストに登録された全てのジャンル情報について、ホワイトリスト82、およびブラックリスト84に登録されたジャンル情報との比較検索がなされるまでステップS53乃至S57の処理が繰り返される。そして、ステップS57において、未処理のジャンル情報がないと判定された場合、処理は、ステップS58に進む。
ステップS58において、ジャンル判定部85は、記憶されているホワイトリスト比較部81、およびブラックリスト比較部83の比較検索結果に基づいて、ジャンル情報により特定されるコンテンツのジャンルを特定する。例えば、ジャンル情報が「スポーツ」である場合、ホワイトリスト82との比較検索結果は、ジャンルとして「スポーツ」が比較検索結果として記憶されていることになる。また、ブラックリスト84との比較検索結果においては、ジャンル情報が「スポーツ」であれば、ジャンルとしての比較検索結果は、「スポーツ」以外の全てとなる。このように、ジャンル判定部85は、ホワイトリスト82による比較検索結果のジャンルと、ブラックリスト84との比較検索結果のジャンルとが一致しない場合、ホワイトリスト82の検索結果であるジャンルをコンテンツのジャンルとして特定する。
一方、抽出されたジャンル情報が「スポーツ」と「映画[アニメ映画]」とである場合、ホワイトリスト82の比較検索結果のジャンルは、「スポーツ」、および「アニメーション」となる。また、ブラックリスト84との比較検索結果のジャンルは、ジャンル情報が「スポーツ」に対しては、「スポーツ」以外の全てが検索され、さらに、ジャンル情報が「映画[アニメ映画]」については、「アニメーション」以外のジャンルが全て検索される。すなわち、これらを組み合わせると、ブラックリスト84の比較検索結果のジャンルは、全てとなる。このため、ホワイトリスト82との比較検索結果のジャンルは、ブラックリスト84との比較検索結果のジャンルに含まれることとなる。従って、このような場合、ジャンル判定部85は、コンテンツのジャンルを特定することができない。
ステップS59において、ジャンル判定部85は、タイトル情報に基づいて、コンテンツである番組のジャンルを特定することができたか否かを判定する。すなわち、ジャンル判定部85は、上述したステップS58の処理により、コンテンツである番組のジャンルを特定することができたか否かを判定する。
ステップS59において、例えば、ジャンルを特定することができた場合、ステップS60において、ジャンル判定部85は、特定したジャンルをタイトル情報からの検索結果とする。
一方、ステップS59において、例えば、ジャンルを特定することができなかった場合、ステップS61において、ジャンル判定部85は、コンテンツのジャンルを特定することができなかったことを示す情報を、タイトル情報からの検索結果とする。
以上の処理により、ジャンル情報に基づいて、ホワイトリスト82、およびブラックリスト84との比較検索により、検索しようとするジャンルのみを検索するだけでなく、検索されるべきではないジャンルについても検索され、それらの検索結果を組み合わせてジャンルを特定するため、処理対象となる画像データのコンテンツである番組のジャンルを正確に検出することが可能となる。このため、1の番組について、1のジャンルに特定することができない場合、ジャンルが特定できなかったことを示す情報を検索結果とすることができ、複数のジャンルに分類されるような番組の画像に対して、不適切な高画質化処理を抑制することが可能となるため、高画質化処理により生じるエラーを抑制することが可能となる。
ここで、図4のフローチャートの説明に戻る。
ステップS31の処理により処理対象となる画像データを含むコンテンツである番組のジャンルが特定されると、処理は、ステップS32に進む。
ステップS32において、コーデック認識部87は、デコード情報に基づいて、デコードされたベースバンドの画像データにおける、例えば、AVC(Advanced Video Coding)、またはMPEG(Moving Picture Experts Group)等のコーデックの種別を認識する。
ステップS33において、画像サイズ認識部86は、デコード情報に基づいて、デコードされたベースバンドの画像データの画像サイズを認識する。
ステップS34において、録画モード認識部88は、タイトル情報に基づいて、画像データの録画モードを認識する。
ステップS35において、解析部61は、ジャンル判定部85により判定されたジャンル、画像サイズ認識部86により認識された画像サイズ、コーデック認識部87により認識されたコーデック種別、および録画モード認識部88により認識された録画モードの情報を出力する。これらのジャンル、画像サイズ、コーデック種別、および録画モードの情報は、ノイズ除去処理制御情報生成部62乃至エンハンス処理制御情報生成部66にそれぞれ供給される。
ステップS36において、ノイズ除去処理制御情報生成部62は、ジャンル、画像サイズ、コーデック種別、および録画モードの情報に基づいて、ノイズ除去処理部101で使用するフィルタ特性を制御するパラメータを、ノイズ除去処理制御情報として生成し、ノイズ除去処理部101に供給する。
すなわち、例えば、ジャンルが「アニメーション」の場合、輪郭線の多い画像となるため、ノイズ除去処理制御情報生成部62は、ノイズ除去処理部101におけるノイズ除去処理の強度を強く設定するようなフィルタ特性を示すパラメータをノイズ除去処理制御情報として生成する。このため、ジャンルが「アニメーション」に分類される番組の画像は、ノイズが可能な限り少ないより好ましい画質とすることが可能となる。また、ジャンルが「スポーツ」の場合、ノイズ除去処理制御情報生成部62は、ノイズ除去処理部101におけるノイズ除去処理の強度を弱くするようなフィルタ特定を示すパラメータを示すノイズ除去処理制御情報を生成する。このため、尾引き等の処理エラーの発生を低減することが可能となる。また、ノイズ除去処理制御情報生成部62は、コーデック種別、および録画モードなど、画像データに含まれるノイズレベルを推定し、推定されたノイズレベルに対応するノイズ除去処理の強度となるようなフィルタ特定を示すパラメータをノイズ除去処理制御情報として生成する。さらに、ノイズ除去処理制御情報生成部62は、ジャンルが特定できないことを示す情報である場合、ジャンルに影響しないノイズレベルに対応するノイズ除去処理の強度となるようなフィルタ特定を示すパラメータをノイズ除去処理制御情報として生成する。
ステップS37において、プルダウン検出処理制御情報生成部63は、ジャンル、画像サイズ、コーデック種別、および録画モードの情報に基づいて、プルダウン検出処理部102において、検出すべきプルダウンパターンを限定するプルダウン検出処理制御情報を生成して、プルダウン検出部102に供給する。すなわち、プルダウン検出処理部102は、プルダウン検出処理制御情報に基づいて制限される種別のプルダウンパターンについて、画像データよりプルダウンパターンを検出し、検出結果をプルダウン検出処理制御情報としてIP変換処理部103に供給する。
すなわち、プルダウン検出処理部102は、総当り的にプルダウンパターンをケーデンス検出することとなるが、ジャンルにより、使用されるプルダウンパターンはある程度特定されることになるため、プルダウンパターンの検出処理がフィルタリングされる。例えば、ジャンルが「アニメーション」の画像データの場合、プルダウンパターンとして、2:3、5:5、または8:7がプルダウンパターンとして使用されるものが多い。そこで、プルダウン検出処理制御情報生成部63は、ジャンルにより特定される、これらのプルダウンパターンを特定する情報をプルダウン検出処理制御情報として生成して、プルダウン検出処理部102に供給する。
ステップS38において、IP変換処理制御情報生成部64は、ジャンル、画像サイズ、コーデック種別、および録画モードの情報に基づいて、IP変換処理部103によりプルダウン検出処理部102より供給されてくるプルダウンパターンによる逆変換を行うか否かを示すIP変換処理制御情報を生成する。そして、IP変換処理制御情報生成部64は、生成したIP変換処理制御情報をIP変換処理部103に供給する。
このため、例えば、ジャンルが「スポーツ」の画像データなどのように、60Hzの画像でほとんど構成される番組の画像などでは、フレーム間の差分量に基づいて、プルダウンパターンを検出する際、偶発的に差分量が「アニメーション」の番組の画像データのプルダウンパターンと近い差分となっても、60Hzの画像として扱うようにすることができる。
例えば、ジャンルが「アニメーション」の場合、IP変換処理部103は、IP変換処理制御情報に基づいて、プルダウン検出処理部102により検出されたプルダウンパターンに基づいて、逆変換した後、IP変換処理を実行することで高画質化することが可能となる。また、ジャンルが「スポーツ」の場合、IP変換処理部103は、IP変換処理制御情報に基づいて、プルダウン検出処理部102によりプルダウンパターンが検出されても、そのプルダウンパターンによる逆変換を行わず、IP変換処理を実行することができる。また、ジャンルが特定できない場合、デフォルトとなる全てのプルダウンパターンについて検出処理を実行するべきことを示す情報が、IP変換処理制御情報とされる。これにより、IP変換処理部103は、プルダウン検出処理部102により検出されたプルダウンパターンに基づいて逆変換した後、IP変換処理を実行する。
結果として、ジャンルに応じて、適切にIP変換処理を実現することが可能となる。
ステップS39において、スケーリング処理制御情報生成部65は、ジャンル、画像サイズ、コーデック種別、および録画モードに基づいて、スケーリング処理部104により画像内のエッジ方向に基づいた補間処理がなされる際、エッジ方向性解析に用いられる信頼性評価のための閾値をスケーリング処理制御情報として生成する。そして、スケーリング処理制御情報生成部65は、生成したスケーリング処理制御情報をスケーリング処理部104に供給する。
すなわち、スケーリング処理部104は、画像内のエッジ方向を解析する際、エッジ方向毎に信頼性評価値を求める。この際、例えば、ジャンルが「アニメーション」の場合、ノイズ除去処理やIP変換処理により画質の劣化やノイズ量が少ない状態となっているので、エッジの方向性検出が比較的容易であり信頼性が高いと考えられる。そこで、スケーリング処理制御情報生成部65は、その信頼性評価値に用いる閾値を低く(弱く)設定するようなスケーリング制御情報を生成して、スケーリング処理部104に供給する。
また、例えば、ジャンルが「スポーツ」の場合、ノイズ除去処理やIP変換処理により画質の劣化やノイズ量は比較的多い状態となっているので、エッジの方向性検出が比較的容易ではなく信頼性が低いと考えられる。そこで、スケーリング処理制御情報生成部65は、その信頼性評価値に用いる閾値を高く(強く)設定するようなスケーリング制御情報を生成して、スケーリング処理部104に供給する。ジャンルが特定できない場合についても、エッジ方向毎の信頼性評価地の信頼性は低いこともあるため、このような場合、スケーリング処理制御情報生成部65は、その信頼性評価値に用いる閾値を高く(強く)設定するようなスケーリング制御情報を生成する。
結果として、エッジ方向を適切に求めることが可能となるため、補間生成される注目画素を適切なエッジ方向に隣接する画素を用いて適切に求めることが可能となる。
ステップS40において、エンハンス処理制御情報生成部66は、ジャンル、画像サイズ、コーデック種別、および録画モードに基づいて、エンハンス処理の強度を設定し、その設定情報をエンハンス処理制御情報としてエンハンス処理部105に供給する。すなわち、例えば、ジャンルが「アニメーション」の場合、ノイズ除去処理、およびIP変換処理によりノイズが除去され、また、画質劣化が抑制されているとき、ノイズや画質劣化が目立たないと考えられるので、エンハンス処理制御情報生成部66は、エンハンス処理の強度を強くするようにエンハンス処理制御情報を生成する。一方、例えば、ジャンルが「スポーツ」の場合、ノイズ除去やIP変換処理により十分にノイズ除去がされておらず、また、画質劣化が予想されるので、エンハンス処理制御情報生成部66は、エンハンス処理の強度を弱めにしてエンハンス処理制御情報を生成する。さらに、ジャンルが特定できない場合、ノイズが除去されていない画像を扱う恐れがあるため、エンハンス処理制御情報生成部66は、エンハンス処理の強度を弱めにしてエンハンス処理制御情報を生成する。
結果として、ノイズが除去され、画質劣化のない画像には、エンハンス処理を強くして高画質化することが可能になると共に、ノイズ除去がなされておらず、画質劣化が予想される画像に対してはエンハンス処理を弱くすることができるので、エンハンス処理によりノイズや画質劣化が目立ってしまうような処理を抑制することが可能となる。
以上の処理により、ノイズ除去処理部101のノイズ除去処理、プルダウン検出処理部102のプルダウン検出処理、IP変換処理部103のIP変換処理、スケーリング処理部104のスケーリング処理、およびエンハンス処理部105のエンハンス処理が、ジャンル、画像サイズ、コーデック種別、および録画モードに基づいて、適切な強度に設定される。結果として、処理対象となる番組の画像に最適な高画質化処理を実現することが可能となる。
ここで、図3のフローチャートの説明に戻る。
ステップS15における画質制御情報生成部41の処理により、ノイズ除去処理制御情報、プルダウン検出処理制御情報、IP変換処理制御情報、スケーリング処理制御情報、およびエンハンス処理制御情報からなる画質制御情報が生成されて、画質処理部42にそれぞれ供給される。
ステップS16において、画質処理部42は、画質制御情報生成部41からの画質制御情報に基づいて、高画質化処理を実行して、デコード部24より供給されてくる画像データの画像を高画質化して画像出力部26に供給する。
ステップS17において、画像出力部26は、画質処理部42より供給されてくる高画質化された画像を図示せぬ表示部などに出力して表示させる。
[高画質化処理]
ここで、図7のフローチャートを参照して、ステップS16の処理における高画質化処理について説明する。
ステップS81において、ノイズ除去処理部101は、ノイズ除去処理制御情報生成部62より供給されてくるノイズ除去処理制御情報に基づいたパラメータにより設定される特性のフィルタ処理によりノイズ除去処理を実行し、画像に含まれるノイズを除去する。そして、ノイズ除去処理部101は、ノイズを除去した画像データをプルダウン検出処理部102、およびIP変換処理部103に供給する。
ステップS82において、プルダウン検出処理部102は、プルダウン検出処理制御情報生成部63より供給されてくるプルダウン検出処理制御情報に基づいて、限定されるプルダウンパターンについて、ノイズが除去された画像よりプルダウンパターンを検出する。そして、プルダウン検出処理部102は、検出されたプルダウンパターンの情報からなるプルダウン検出処理制御信号を生成して、IP変換処理部103に供給する。
ステップS83において、IP変換処理部103は、IP変換処理制御情報生成部64より供給されてくるIP変換処理制御情報に基づいて、プルダウン検出処理部102より供給されてくるプルダウンパターンで逆変換するか否かを判断する。そして、IP変換処理部103は、IP変換処理制御情報がプルダウンパターンで逆変換することを示す場合、プルダウン検出処理部102より供給されてくるプルダウンパターンで、ノイズ除去された画像データを逆変換した後、IP変換処理を施して、スケーリング処理部104に供給する。一方、IP変換処理部103は、IP変換処理制御情報がプルダウンパターンで逆変換しないことを示す場合、プルダウンパターンによる逆変換をすることなく、ノイズ除去された画像データに、IP変換処理を施して、スケーリング処理部104に供給する。
ステップS84において、スケーリング処理部104は、スケーリング処理制御情報生成部65より供給されてくるスケーリング処理制御情報に基づいた強度の閾値を用いてエッジ方向の信頼度を評価し、評価結果に基づいてエッジ方向を検出する。そして、スケーリング処理部104は、検出したエッジ方向に隣接する画素を用いて補間画素を生成し、IP変換された画像データをスケーリング処理し、エンハンス処理部105に供給する。
ステップS85において、エンハンス処理部105は、エンハンス処理制御情報生成部66より供給されてくるエンハンス処理制御情報に基づいた強度で、スケーリング処理された画像にエンハンス処理を施して、画像出力部26に出力する。
以上の処理により、ジャンル、画像サイズ、コーデック種別、および録画モードに基づいて、ノイズ除去処理、プルダウン検出処理、IP変換処理、スケーリング処理、およびエンハンス処理を適切に施して画像データを高画質化することが可能となる。
これらを纏めると以下のような高画質化処理が可能となる。すなわち、例えば、処理対象となる画像データの番組のジャンルが「アニメーション」の場合、ノイズ除去処理を強めに、スケーリング処理を強めに、エンハンス処理を強めに設定する。このような設定により、ノイズが強調されることなく輪郭線をくっきりとした画像に画質が変換されるので、「アニメーション」の画像を適切に高画質化することが可能となる。
また、例えば、ジャンルが「映画」の場合、ノイズ除去処理を弱めに、スケーリング処理を弱めに、エンハンス処理を弱めに設定する。この結果、画像は、映画特有のノイズ(グレインノイズ)を残した画質に変換されることとなるため、映画そのものの持つ画質の味を残したまま適切な高画質化を実現することが可能となる。
さらに、例えば、ジャンルが「スポーツ」の場合、ノイズ除去処理を弱めに、スケーリング処理を弱めに、エンハンス処理を切る(エンハンス処理をしない状態)に設定する。これにより、ノイズ除去を強くすることがないため破綻がなく、また、エンハンス処理がなされないのでノイズが強調されない画質に変換することができる。結果として、動きの早い画像のノイズ除去を強くしないことで映像のボケを抑制しつつ、エンハンス処理によるノイズの強調をなくすことができ、適切に高画質化することが可能となる。
また、例えば、ジャンルが「ドキュメンタリ」の場合、ノイズ除去処理を中程度に、スケーリング処理を中程度に、エンハンス処理を中程度に設定するものとする。これにより、ノイズが適度に抑制され、また、スケーリング処理、およびエンハンス処理が適度になされる画質に変換されることで、ノイズを適度に低減させつつ、スケーリング処理とエンハンス処理とによる効果を加えて、自然画や風景画などを適切に高画質化することが可能となる。
さらに、ジャンルが「アニメーション」の場合、ノイズ除去処理の強度により、スケーリング処理、およびエンハンス処理を追従して制御するようにしても良い。すなわち、例えば、図8で示されるように、ノイズ除去処理の強度を中程度にした場合、スケーリング処理への影響は強くしたままとして、ノイズが残ることとなるので、エンハンス処理を中程度にするようにしてもよい。また、例えば、図8で示されるように、ノイズ除去処理の強度を弱くした場合、スケーリング処理への影響を考慮して中程度とし、ノイズがさらに残ることとなるので、エンハンス処理を中程度にするようにしてもよい。さらに、例えば、図8で示されるように、ノイズ除去処理の強度を切る(ノイズ除去処理をしない)場合、スケーリング処理への影響をさらに考慮して弱くして、ノイズがさらに残ることとなるので、エンハンス処理を弱くにするようにしてもよい。
また、ジャンルが「映画」の場合もまた、ノイズ除去処理の強度により、スケーリング処理、およびエンハンス処理を追従して制御するようにしても良い。すなわち、例えば、図8で示されるように、ノイズ除去処理の強度を強くした場合、スケーリング処理への影響は小さいので弱くし、ノイズが残ることとなるので、エンハンス処理を中程度にするようにしてもよい。また、例えば、図8で示されるように、ノイズ除去処理の強度を中程度とした場合、スケーリング処理への影響を考慮して弱くすると、ノイズがさらに残ることとなるので、エンハンス処理を弱くするようにしてもよい。さらに、例えば、図8で示されるように、ノイズ除去処理の強度を切る(ノイズ除去処理をしない)場合、スケーリング処理への影響を考慮して弱くし、ノイズがさらに残ることとなるので、エンハンス処理を弱くにするようにしてもよい。
さらに、ジャンルが「スポーツ」の場合もまた、ノイズ除去処理の強度により、スケーリング処理、およびエンハンス処理を追従して制御するようにしても良い。すなわち、例えば、図8で示されるように、ノイズ除去処理の強度を強くした場合、スケーリング処理への影響は小さいので弱くすると、ノイズが残ることとなるので、エンハンス処理を中程度にするようにしてもよい。また、例えば、図8で示されるように、ノイズ除去処理の強度を中程度とした場合、スケーリング処理への影響を考慮して弱くすると、ノイズがさらに残ることとなるので、エンハンス処理を弱くするようにしてもよい。さらに、例えば、図8で示されるように、ノイズ除去処理の強度を切る(ノイズ除去処理をしない)場合、スケーリング処理への影響を考慮して弱くすると、ノイズがさらに残ることとなるので、エンハンス処理を弱くにするようにしてもよい。
また、ジャンルが「ドキュメンタリ」の場合もまた、ノイズ除去処理の強度により、スケーリング処理、およびエンハンス処理を追従して制御するようにしても良い。すなわち、例えば、図8で示されるように、ノイズ除去処理の強度を強くした場合、スケーリング処理への影響は大きいので強くすると、ノイズは除去されるので、エンハンス処理を強くするようにしてもよい。また、例えば、図8で示されるように、ノイズ除去処理の強度を弱くした場合、スケーリング処理への影響を考慮して弱くすると、ノイズが残ることとなるので、エンハンス処理を弱くするようにしてもよい。さらに、例えば、図8で示されるように、ノイズ除去処理を切る(ノイズ除去処理をしない)場合、スケーリング処理への影響を考慮して処理を切るようにすると(スケーリング処理をしないようにすると)、ノイズがさらに残ることとなるので、エンハンス処理を切る(エンハンス処理をしない)ようにしてもよい。
さらに、ジャンルが特定できない場合、いずれか特定のジャンルに対応した高画質化処理を施すことにより、画像の破綻をきたす恐れがあるため、ノイズ除去処理、スケーリング処理、およびエンハンス処理のいずれをいずれも弱くする、または切るといった処理とすることで、画像の破綻を抑制するようにしてもよい。
以上の処理により、ジャンル、画像サイズ、コーデック種別、および録画モードに基づいて、画像の最適な高画質化処理を実現することが可能となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図9は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
11 画像処理装置, 21 ストリーム取得部, 22 ストリーム保持部, 23 情報分離部, 24 デコード部, 25 画像処理部, 26 画像出力部, 41 画質制御情報生成部, 42 画質処理部, 61 解析部, 62 ノイズ除去処理制御情報生成部, 63 プルダウン検出処理制御情報生成部, 64 IP変換処理制御情報生成部, 65 スケーリング処理制御情報生成部, 66 エンハンス処理制御情報生成部, 101 ノイズ除去処理部, 102 プルダウン検出処理部, 103 IP変換処理部, 104 スケーリング処理部, 105 エンハンス処理部, 81 ホワイトリスト比較部, 82 ホワイトリスト, 83 ブラックリスト比較部, 84 ブラックリスト, 85 ジャンル判定部, 86 画像サイズ認識部, 87 コーデック認識部, 88 録画モード認識部

Claims (8)

  1. 番組のジャンル情報を取得するジャンル情報取得手段と、
    前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、
    前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段と
    を含む画像処理装置。
  2. 前記ジャンル情報取得手段は、前記ジャンル情報に加えて、さらに、前記番組の画像の関連データを取得し、
    前記画質制御信号生成手段は、前記ジャンル情報取得手段により取得されたジャンル情報に加えて、前記番組の画像の関連データに基づいて、前記番組の画像の画質を制御する画質制御信号を生成する
    請求項1に記載の画像処理装置。
  3. 前記画質制御信号生成手段は、
    前記ジャンル情報に基づいて、ノイズを除去する処理の強度を示すノイズ除去処理制御信号を生成するノイズ除去処理制御信号生成手段を含み、
    前記画質制御手段は、
    前記ノイズ除去処理制御信号に基づいた強度で、前記番組の画像の画質のノイズを除去する処理を実行するノイズ除去処理手段を含む
    請求項1に記載の画像処理装置。
  4. 前記画質制御信号生成手段は、
    前記ジャンル情報に基づいて、前記番組の画像よりプルダウンパターンを検出する際、検出すべきプルダウンパターンを限定するプルダウン検出処理制御信号を生成するプルダウン検出処理制御信号生成手段と、
    前記ジャンル情報に基づいて、前記番組の画像のIP変換処理を実行する際、前記画像のプルダウンパターンで逆変換した後、IP変換するか、または、前記逆変換をせずにIP変換するかを示すパラメータをIP変換処理制御信号として生成するIP変換処理制御信号生成手段とを含み、
    前記画質制御手段は、
    前記プルダウン検出処理制御信号に基づいて限定されたプルダウンパターンより、前記番組の画像のプルダウンパターンを検出するプルダウン検出処理手段と、
    IP変換処理制御信号に基づいて、前記プルダウン検出処理手段により検出されたプルダウンパターンで前記画像を逆変換した後、または前記逆変換せずに、前記番組の画像をIP変換するIP変換処理手段とを含む
    請求項1に記載の画像処理装置。
  5. 前記画質制御信号生成手段は、
    前記ジャンル情報に基づいて、前記番組の画像の画素の補間生成に係るエッジ方向の信頼性評価に用いる閾値を制御するスケーリング処理制御信号を生成するスケーリング処理制御信号生成手段を含み、
    前記画質制御手段は、
    前記スケーリング処理制御信号に基づいて、前記番組の画像のエッジ方向のうち、前記信頼性評価が前記閾値よりも高いエッジ方向に存在する画素を用いて、注目する画素を補間生成するスケーリング処理手段を含む
    請求項1に記載の画像処理装置。
  6. 前記画質制御信号生成手段は、
    前記ジャンル情報に基づいて、前記番組の画像をエンハンス処理する際の強度を制御するエンハンス処理制御信号を生成するエンハンス処理制御信号生成手段を含み、
    前記画質制御手段は、
    前記エンハンス処理制御信号に基づいた強度で、前記番組の画像をエンハンス処理するエンハンス処理手段を含む
    請求項1に記載の画像処理装置。
  7. 番組のジャンル情報を取得するジャンル情報取得手段と、
    前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、
    前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段とを含む画像処理装置の画像処理方法であって、
    前記ジャンル情報取得手段における、番組のジャンル情報を取得するジャンル情報取得ステップと、
    前記画質制御信号生成手段における、前記ジャンル情報取得ステップの処理により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成ステップと、
    前記画質制御手段における、前記画質制御信号生成ステップの処理により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御ステップと
    を含む画像処理方法。
  8. 番組のジャンル情報を取得するジャンル情報取得手段と、
    前記ジャンル情報取得手段により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成手段と、
    前記画質制御信号生成手段により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御手段とを含む画像処理装置を制御するコンピュータに、
    前記ジャンル情報取得手段における、番組のジャンル情報を取得するジャンル情報取得ステップと、
    前記画質制御信号生成手段における、前記ジャンル情報取得ステップの処理により取得されたジャンル情報に基づいて、前記番組の画像の画質を制御する画質制御信号を生成する画質制御信号生成ステップと、
    前記画質制御手段における、前記画質制御信号生成ステップの処理により生成された画質制御信号に基づいて、前記番組の画像の画質を制御する画質制御ステップと
    を含む処理を実行させるプログラム。
JP2010132455A 2010-06-09 2010-06-09 画像処理装置および方法、並びにプログラム Pending JP2011259248A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010132455A JP2011259248A (ja) 2010-06-09 2010-06-09 画像処理装置および方法、並びにプログラム
US13/150,315 US20110307923A1 (en) 2010-06-09 2011-06-01 Image processing apparatus, method, and program
CN201110154536.5A CN102279972B (zh) 2010-06-09 2011-06-02 图像处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010132455A JP2011259248A (ja) 2010-06-09 2010-06-09 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2011259248A true JP2011259248A (ja) 2011-12-22

Family

ID=45097351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010132455A Pending JP2011259248A (ja) 2010-06-09 2010-06-09 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20110307923A1 (ja)
JP (1) JP2011259248A (ja)
CN (1) CN102279972B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5815940B2 (ja) * 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
CN109151574B (zh) 2018-10-15 2020-03-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060358A (ja) * 2004-08-18 2006-03-02 Matsushita Electric Ind Co Ltd デジタル放送受信機
JP2006155179A (ja) * 2004-11-29 2006-06-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007082040A (ja) * 2005-09-16 2007-03-29 Sony Corp 信号処理装置および方法、プログラム、並びに記録媒体
JP2007104652A (ja) * 2005-09-12 2007-04-19 Sony Corp 画像信号処理装置、画像信号処理方法、およびプログラム
JP2008193220A (ja) * 2007-02-01 2008-08-21 Sharp Corp 表示方法及び表示装置
JP2008295023A (ja) * 2007-04-27 2008-12-04 Sharp Corp 画像処理装置及び方法、画像表示装置及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3864461B2 (ja) * 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
JP3832567B2 (ja) * 2001-03-07 2006-10-11 日本電気株式会社 番組記録装置及び方法
JP4983423B2 (ja) * 2007-06-15 2012-07-25 ソニー株式会社 画像信号処理装置および画像信号処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060358A (ja) * 2004-08-18 2006-03-02 Matsushita Electric Ind Co Ltd デジタル放送受信機
JP2006155179A (ja) * 2004-11-29 2006-06-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007104652A (ja) * 2005-09-12 2007-04-19 Sony Corp 画像信号処理装置、画像信号処理方法、およびプログラム
JP2007082040A (ja) * 2005-09-16 2007-03-29 Sony Corp 信号処理装置および方法、プログラム、並びに記録媒体
JP2008193220A (ja) * 2007-02-01 2008-08-21 Sharp Corp 表示方法及び表示装置
JP2008295023A (ja) * 2007-04-27 2008-12-04 Sharp Corp 画像処理装置及び方法、画像表示装置及び方法

Also Published As

Publication number Publication date
US20110307923A1 (en) 2011-12-15
CN102279972B (zh) 2014-10-22
CN102279972A (zh) 2011-12-14

Similar Documents

Publication Publication Date Title
US7707485B2 (en) System and method for dynamic transrating based on content
US7932954B2 (en) Cross color and dot disturbance elimination apparatus and method
US20030137546A1 (en) Apparatus and method for generating thumbnail images
US20100208081A1 (en) Moving image output method and moving image output apparatus
US7940333B2 (en) Gradation control apparatus and gradation control method
JP2007281542A (ja) デジタル放送受信装置
US11704780B2 (en) Display apparatus and control method thereof
US20100254623A1 (en) Image correction apparatus and image correction method
US8145006B2 (en) Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening
US8411974B2 (en) Image processing apparatus, method, and program for detecting still-zone area
CN107886518B (zh) 图片检测方法、装置、电子设备及可读取存储介质
US20080278629A1 (en) Image quality adjustment device and image quality adjustment method
US7822569B2 (en) Specific-condition-section detection apparatus and method of detecting specific condition section
US7830284B2 (en) Entropy encoding apparatus, entropy encoding method, and computer program
JP2011259248A (ja) 画像処理装置および方法、並びにプログラム
JP4834776B2 (ja) 画像処理装置及び画像処理方法
US20070189631A1 (en) Methods and apparatuses for enhancing image quality
JP2008503828A (ja) ブロック型画像処理のための方法及び電子装置
JP2012019380A (ja) 画像処理装置及び画像処理方法
JP4298743B2 (ja) 画像表示装置
US20070256091A1 (en) Monochrome frame detection method
TWI664852B (zh) 影像處理裝置及影像處理方法
JP2009282556A (ja) 信号処理装置および画像表示装置
US20080151993A1 (en) Video signal processing apparatus, video signal processing method, and broadcasting receiving apparatus
JP2009118296A (ja) 情報処理装置及び方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140703