JP2010045607A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】画像処理の精度を高くすることができるようにする。
【解決手段】CPU５１は、未視聴時間帯にデコードされた録画コンテンツの１フレーム分の画像データを解析・計測し、その解析・計測の結果を、画像処理プロファイル情報として、RAM５２に記録する。その後、解析・計測が完了しているコンテンツが再生される場合、CPU５１は、RAM５２に格納されている画像処理プロファイル情報を、外部メモリ６２に格納する。そして、高画質化処理モジュール５８の各高画質化処理モジュールのそれぞれは、画像データのフレームカウントに応じて、外部メモリ６２に格納された画像処理プロファイル情報を読み出し、その結果に基づいて、画像データの画像処理を行う。本発明は、録画コンテンツの再生を行うテレビジョン受像機システムに適用できる。
【選択図】図５

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、画像処理の精度を高くすることができるようにした画像処理装置及び方法、並びにプログラムに関する。

従来より、テレビジョン受像機における高画質化処理は、専用のLSI（Large Scale Integration）（以下、高画質化処理LSIという）により実現されている。高画質化処理LSIは、複数の高画質化処理モジュールによって構成されており、それぞれの高画質化処理モジュールにより解析・計測が行われ、それらの結果に基づいた各種の画像処理が行われる。

また、色域変換処理やRGB/YUV変換処理など、画像処理モジュールによっては、画像データの解析・計測が行われないものもある。しかし、近年の高画質化処理では、入力画像データを１フレーム毎、あるいは、複数フレーム毎に解析・計測し、その結果を判断材料として、入力画像データに適した画像処理を行うのが一般的である。

高画質化処理専用LSI（SoC（System On a Chip））において、解析・計測及び画像処理は、ハードウェア回路として実装される。解析・計測の一部を内蔵CPU（Central Processing Unit）によりソフトウェア処理で判断するものはあるが、そのようなLSI（SoC）でも解析・計測部分はハードウェア回路により実現している。

これは、テレビジョン受像機等に搭載される高画質化処理LSI（SoC）の内蔵CPU性能では、表示フレームレート（たとえば50Hzや60Hz）以内にソフトウェアでの解析・計測の処理を実現することができないためである。

たとえば、高画質化処理LSIの内蔵CPUの動作クロックが100MHzの場合、表示１フレームあたり（16.6ms）に約1.6Ｍステップ分の命令しか実行できず、フルＨＤ（High Definition）サイズ1フレーム分のデータ領域５Ｍバイト（1920×1080ピクセルサイズのプログレシブフォーマット、10ビット YUV422データ形式の場合）を処理する性能はない。つまり、５Ｍバイトのデータ処理を、1.6ＭCPUステップで処理することは現実的に不可能である。

高画質化処理LSIの解析・計測フェーズでの検出精度が高くないと、誤った画像処理を行ってしまい、テレビ視聴者（ユーザ）にはエラーとして認識されてしまう。一般的に大部分が正しくきれいな画像処理であっても、一箇所あるいは一瞬エラーが混入してしまうと、その製品（たとえば、テレビジョン受像機）の性能評価は下がってしまう。このため、如何に正しく解析・計測を行うかが重要となり、その結果、解析・計測回路は複雑化、大規模化している。

しかし、コンテンツの表示時（オンタイム）に全てのコンテンツに対して100％の解析・計測が可能な回路は、テレビジョン受像機に搭載される高画質化処理LSIの限られたハードウェアリソースと処理速度（性能）で実現することは困難である。

ここで、より具体的に従来の高画質化処理について説明するために、高画質化処理を行う処理モジュールとして、表示画面上の黒帯を検出し、本表示領域にのみエンハンス処理を行うモジュールを一例に挙げて説明する。

図１には、従来の高画質化処理LSIの構成が示されている。

CPU（Central Processing Unit）１１、RAM（Random Access Memory）１２、及びROM（Read Only Memory）１３を含むように構成され、それらはメモリバス１４を介して相互に接続される。CPU１１は、ROM１３に記憶されているプログラムに従って各種の処理を実行する。

メモリバス１４には、バスブリッジ１５及びIO（Input Output）バス１６を介して、高画質化処理モジュールとしてのエンハンス処理モジュール１７が接続される。エンハンス処理モジュール１７は、専用メモリバス１８を介してメモリコントローラ１９と接続されており、外部メモリ２０に格納された情報にアクセスできる。このエンハンス処理モジュール１７においては、入力された画像データの解析・計測が行われ、その解析・計測結果に基づいて、各種の画像処理が行われる。

具体的には、エンハンス処理モジュール１７は、解析・計測部２１及び画像処理部２２から構成され、これらのブロックによって、図２のフローチャートに示すような、高画質化処理が行われる。ここでは、高画質化処理として、エンハンス処理が実行される。

ステップＳ１において、CPU１１及び解析・計測部２１は、画像データの解析・計測処理として、入力された画像データから黒帯の有無及び本表示領域を検出する処理を行い、その解析・計測結果を画像処理部２２に供給する。

なお、黒帯の有無の検出であるが、通常、解析・計測部２１によって画面上の任意の複数箇所の数ピクセルの輝度測定が行われ、その測定結果がCPU１１に供給される。そして、CPU１１によって、黒帯の有無の判定及び領域の検出が行われる。

ここで、黒帯とは、図３に示すように、テレビジョン受像機の表示画面上の本表示領域以外の領域を指す（図３では画面の上下の領域）。コンテンツの動画は本表示領域に表示し、黒帯領域には黒静止画、あるいは、ＣＧ（Computer Graphics）静止画等が表示される。この表示は、シネマスコープサイズのコンテンツをフルＨＤサイズのテレビ画面に表示する場合などに使用されるものである。

図３のように、上下に黒帯領域がある場合の他に、左右に黒帯領域がある場合もあり、また、黒帯領域と本表示領域との割合は一定ではない。さらに、図３の点線で囲まれた字幕領域で示すように、字幕が重畳して表示される場合もある。

このような表示画面全体にエンハンス処理を行うと、黒帯領域や字幕領域に対して適切な処理を施すことができないため、解析・計測部２１によって、黒帯領域と字幕領域が検出された後、後段の画像処理部２２によって、本表示領域のみにエンハンス処理が行われることになる。

なお、このような黒帯領域を検出して画像処理を行う技術としては、たとえば、特許文献１が知られている。

図２のフローチャートに戻り、ステップＳ２において、画像処理部２２は、解析・計測部２１から供給される解析・計測結果に基づいた画像処理として、入力画像データに対してエンハンス処理を行い、処理後の画像データを後段の回路に出力して、高画質化処理は終了する。

以上のようにして、従来の高画質化処理LSIにおいて、エンハンス処理モジュール１７によって、エンハンス処理が行われる。なお、このエンハンス処理モジュール１７は、高画質化処理モジュールの一例を示すものであって、他の高画質化処理モジュールに関しても基本的に同様の高画質化処理が行われる。

また、本出願人は、高画質化処理に関して、システムのリソースの空いた時間を利用して画質の向上を図る技術を先に提案している（たとえば、特許文献２参照）。
特開２００７−９６８０７号公報 特開２００６−３３６４６号公報

しかしながら、高画質化処理LSIの内蔵CPUでのソフトウェア処理性能は高くないので、従来の技術であると、この内蔵CPUによって、解析・計測処理を行うのは困難であり、たとえ、解析・計測処理を行ったとしても、その検出精度が高くないため、誤った画像処理が行われてしまうという問題があった。

たとえば、図１においては、解析・計測部２１によって、入力画像データのフレーム毎に検出が行われるために、黒帯領域の検出は１フレーム時間以内（たとえば、60Hzの場合に16.6ms以内）で処理が完了しなければならない。すなわち、高画質化処理LSIに内蔵されたCPU１１でのソフトウェア処理性能はそれほど高くないため、全画面のピクセルに対する計測を行うことは困難である。

また、ハードウェアのみで黒帯領域の検出回路を構成することも考えられるが、この場合、ゲート規模もメモリサイズもかなり必要となり、LSIサイズの増加、発熱量の増大、コストの増加につながるため、現実的ではない。

このように、高画質化処理LSIでのリソース、性能は限られているため、たとえば、特許文献１のように、単に、画面の一部分のみを計測し、黒帯領域の有無を検出する技術であると、正しく本表示領域を検出できない可能性がある。

なお、ここでは、従来技術の問題点を分かり易く説明するために、高画質化処理の一例としてのエンハンス処理の問題点について述べたが、他の高画質化処理に関しても同様の問題は存在するものである。

また、特許文献２には、画質の向上を空き時間を利用して行う技術について提案されているものの、画質向上の処理自体を空いた時間に行うため、コンテンツの視聴時においても高画質化処理LSIで行われる画像処理（画質向上処理）の精度を高くする要求が高まっている。

本発明はこのような状況に鑑みてなされたものであり、高画質化処理LSIで行われる画像処理の精度を高くすることができるようにするものである。

本発明の一側面の画像処理装置は、コンテンツの再生が行われていない時間帯であるとき、前記コンテンツを復号する復号手段と、前記コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、前記解析・計測処理を行う解析・計測手段と、前記解析・計測処理により得られる前記画像データに関する情報を、画像処理プロファイル情報として記録する記録手段と、前記解析・計測処理が施された前記コンテンツの再生を行う場合、記録されている前記画像処理プロファイル情報を読み出す読み出し手段と、読み出された前記画像処理プロファイル情報に基づいて、再生される前記コンテンツに対して、前記画像処理を行う画像処理手段とを備える。

前記解析・計測手段は、録画されたコンテンツの未視聴時間帯、又は前記コンテンツを録画しているとき、前記復号手段によって復号された前記画像データに対して、前記解析・計測処理を行う。

前記解析・計測手段は、再生中のコンテンツに対応する画像データに対して、前記解析・計測処理を行い、前記記録手段は、再生中の前記コンテンツの前記画像処理プロファイルを順次記録し、前記画像処理手段は、再生中の前記コンテンツを過去に再生している場合には、過去に再生したときに記録された前記画像処理プロファイル情報に基づいて、再生中の前記コンテンツに対して、前記画像処理を行う。

前記高画質化処理は、エンハンス処理であり、前記解析・計測手段は、少なくとも、黒帯表示領域の有無とそのフレームの番号、及び本表示領域の各座標に関する情報を求める前記解析・計測処理を行い、前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記黒帯表示領域の有無とそのフレームの番号、及び前記本表示領域の各座標に関する情報に基づいた前記エンハンス処理を行う。

前記高画質化処理は、ノイズリダクション処理であり、前記解析・計測手段は、少なくとも、前記コンテンツの１フレーム中の空間領域の種別、特徴点、及び、これらの情報のフレーム間の時間的な変動に関する情報を求める前記解析・計測処理を行い、前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記空間領域の種別、前記特徴点、及び前記時間的な変動に関する情報に基づいた前記ノイズリダクション処理を行う。

前記高画質化処理は、コントラスト処理であり、前記解析・計測手段は、少なくとも、黒帯を含む画面から本表示領域を検出して、その本表示領域内での輝度データの最大値、最小値、及びそれらの割合に関する情報を求める前記解析・計測処理を行い、前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記輝度データの最大値、最小値、及びそれらの割合に関する情報に基づいた前記コントラスト処理を行う。

前記高画質化処理は、IP変換処理であり、前記解析・計測処理は、少なくとも、前記コンテンツの中のシーンチェンジが起こるフレーム番号、及び前記コンテンツの各フレームにおける動きベクトルに関する情報を求める前記解析・計測処理を行い、前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記シーンチェンジのフレーム番号及び前記動きベクトルに関する情報に基づいて、プログレッシブ方式のフレームを生成する前記IP変換処理を行う。

前記高画質化処理は、フレーム補完処理であり、前記解析・計測処理は、少なくとも、前記コンテンツの中のシーンチェンジが起こるフレーム番号、及び前記コンテンツの各フレームにおける動きベクトルに関する情報を求める前記解析・計測処理を行い、前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記シーンチェンジのフレーム番号及び前記動きベクトルに関する情報に基づいて、中間フレームを生成する前記フレーム補完処理を行う。

本発明の一側面の画像処理方法は、コンテンツの再生が行われていない時間帯であるとき、前記コンテンツを復号し、前記コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、前記解析・計測処理をし、前記解析・計測処理により得られる前記画像データに関する情報を、画像処理プロファイル情報として記録し、前記解析・計測処理が施された前記コンテンツの再生を行う場合、記録されている前記画像処理プロファイル情報を読み出し、読み出された前記画像処理プロファイル情報に基づいて、再生される前記コンテンツに対して、前記画像処理をするステップを含む。

本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。

本発明の一側面の画像処理装置及び方法、並びにプログラムにおいては、コンテンツの再生が行われていない時間帯であるとき、コンテンツが復号され、コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、解析・計測処理が行われ、解析・計測処理により得られる画像データに関する情報が、画像処理プロファイル情報として記録され、解析・計測処理が施されたコンテンツの再生を行う場合、記録されている画像処理プロファイル情報が読み出され、読み出された画像処理プロファイル情報に基づいて、再生されるコンテンツに対して、画像処理が行われる。

以上のように、本発明の一側面によれば、画像処理の精度を高くすることができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図４は、本発明を適用したテレビジョン受像機システムの一実施の形態の構成を示す図である。

図４のテレビジョン受像機システム３１は、テレビジョン受像機としての機能の他に、コンテンツを録画・再生する録画機としての機能も有している。そのため、テレビジョン受像機システム３１は、図４に示すような構成を有している。

すなわち、テレビジョン受像機システム３１は、チューナ４１、符号化復号部４２、HDD（Hard Disk Drive）４３、外部メモリ４４、高画質化処理LSI４５、外部メモリ４６、及び表示パネル４７を含むようにして構成される。

チューナ４１は、テレビジョン受像機システム３１がテレビジョン受像機として動作する場合、図示せぬアンテナに受信された、たとえば地上波又は衛星波のテレビジョン放送等の放送電波を復調し、その結果得られる画像信号を、符号化復号部４２に供給する。なお、ここでは、チューナ４１から出力されるアナログの画像信号は、A/D(Analog/Digital)変換回路（図示せず）によって、デジタル信号に変換された後、符号化復号部４２に入力される。

そして、符号化復号部４２は、A/D変換回路から入力されたデジタルの画像信号に対してデコード処理を施し、復号された画像データを高画質化処理LSI４５に供給する。なお、符号化復号部４２は、必要に応じて各種のデータを外部メモリ４４に記憶させたり、読み出したりする。

また、符号化復号部４２は、コンテンツの録画を行う場合、A/D変換回路から入力されたデジタルの画像信号を、HDD４３に記録するのに適した方式でエンコードするなどの所定の処理を行った上で、HDD４３に記録する。すなわち、HDD４３には、所定の放送番組を構成するデジタルの画像データ（以下、録画コンテンツという）が、所定のファイル形式で記録される。

さらに、符号化復号部４２は、録画コンテンツの再生を行う場合、HDD４３から録画コンテンツを読み出し、表示パネル４７に表示するのに適した方式でデコードするなどの所定の処理を行った上で、高画質化処理LSI４５に供給する。

高画質化処理LSI４５は、符号化復号部４２から供給される画像データに対して高画質化処理を施し、それにより得られた画像データ（以下、高画質画像データという）を表示パネル４７に供給する。なお、高画質化処理LSI４５は、必要に応じて各種のデータを外部メモリ４６に記憶させたり、読み出したりする。

ここで、高画質化処理とは、たとえば、エンハンス処理、ノイズリダクション処理、又はフレーム補完処理などの画像データを高画質化するための処理である。この高画質化処理は、図５の高画質化処理LSI４５に示すように、複数の高画質化処理用のモジュールからなる高画質化処理モジュール５８によって実行される。

ここで、図５を参照して、図４の高画質化処理LSI４５の詳細について説明する。なお、図５に示す処理の順番は一例である。

図５に示すように、図４の高画質化処理LSI４５は、CPU（Central Processing Unit）５１、RAM（Random Access Memory）５２、及びROM（Read Only Memory）５３を含むように構成され、それらはメモリバス５４を介して相互に接続される。CPU５１は、ROM５３に記憶されているプログラムに従って各種の処理を実行する。RAM５２には、CPU５１によって実行されるプログラムやデータ等が適宜記憶される。

メモリバス５４にはまた、バスブリッジ５５及びIO（Input Output）バス５６を介して、入力部５７、高画質化処理モジュール５８、及び出力部５９が接続される。高画質化処理モジュール５８においては、まず、入力部５７から入力された画像データの解析・計測に関する処理が行われ、その後、それにより得られた解析・計測結果に基づいて、各種の画像処理が行われる。

なお、以下、高画質化処理における解析・計測と画像処理のうち、解析・計測が行われている状態を解析・計測フェーズと称し、画像処理が行われている状態を画像処理フェーズと称して説明する。

高画質化処理モジュール５８は、フレームレート変換モジュール７１、IP（Interlace Progressive）変換モジュール７２、解像度変換モジュール７３、ノイズリダクションモジュール７４、エンハンス処理モジュール７５、色変換モジュール７６、コントラスト処理モジュール７７、及びフレーム補完モジュール７８などの複数の高画質化処理モジュール群によって構成される。

高画質化処理モジュール５８を構成する高画質化処理モジュール群は、基本的にはその名称と処理の内容が一致しており、たとえば、フレームレート変換モジュール７１は、その名称の如く、フレームレート変換を行うものである。

同様にして、IP変換モジュール７２は、インターレース方式の画像データをプログレッシブ方式に変換し、解像度変換モジュール７３は解像度の変換を行い、ノイズリダクションモジュール７４は、画像データのノイズとみなされる成分の除去を行い、エンハンス処理モジュール７５は、画像データのエンハンスを行うものである。さらにまた、色変換モジュール７６は色の変換を行い、コントラスト処理モジュール７７は、コントラスト処理を行い、フレーム補完モジュール７８はフレームの補完を行うものである。

これらの高画質化処理モジュールでは、解析・計測フェーズと、画像処理フェーズのそれぞれにおいて、所定の高画質化処理が行われる。

なお、本実施の形態において、解析・計測フェーズは、録画コンテンツの再生時以外の録画コンテンツが未視聴となる時間帯（オフタイム）であり、画像処理フェーズは、録画コンテンツを再生している時間帯（プレイ）となるが、各高画質化処理モジュールの解析・計測フェーズ及び画像処理フェーズにおいて行われる処理の詳細については、後述する。

また、高画質化処理モジュール５８は、専用メモリバス６０を介して、メモリコントローラ６１と接続される。メモリコントローラ６１は、外部メモリ６２にデータを格納したり、格納されているデータを読み出したりする。また、図５に示すように、メモリコントローラ６１が接続される専用メモリバス６０には、バスブリッジ５５も接続されているので、CPU５１は、専用メモリバス６０等を介してメモリコントローラ６１に指示することで、外部メモリ６２に格納された情報にアクセスすることが可能となる。

高画質化処理モジュール５８によって高画質化処理が施された高画質画像データは、出力部５９に供給され、図４の表示パネル４７に出力される。

図４に戻り、表示パネル４７には、高画質化処理LSI４５（の出力部５９）から高画質画像データが供給される。これにより、表示パネル４７には、高画質化処理が施された高画質画像データに対応する画像が表示される。

なお、ここに、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。換言すると、図４のテレビジョン受像機システム３１は、テレビジョン受像機としての機能を有する装置と、録画機としての機能を有する装置からなるシステムであると捉えることもできる。すなわち、本発明が適用されるテレビジョン受像機システムは、上述した例に限定されず、様々な形態をとることが可能である。

また、HDD４３に記録される録画コンテンツは、テレビジョン放送局を通じて放送されるコンテンツに限らず、たとえば、他の機器から入力されるコンテンツやDVD（Digital Versatile Disk）などの記録媒体から読み出したコンテンツなどであってもよい。

上述したように、高画質化処理LSI４５においては、高画質化処理モジュール５８（フレームレート変換モジュール７１ないしフレーム補完モジュール７８）によって、各種の高画質化処理が行われるが、ここでは、その具体例として、エンハンス処理モジュール７５によって行われるエンハンス処理の詳細について説明する。

そのため、図６には、図５の高画質化処理モジュール５８を構成する高画質化処理モジュール群のうち、エンハンス処理モジュール７５のみが図示されている。なお、図６では、図５と同様の箇所には同一の符号が付してあり、同一の符号が付してある箇所の説明は繰り返しになるので適宜省略する。

図６に示すように、エンハンス処理モジュール７５は、データスイッチ部８１及び画像処理部８２から構成される。

データスイッチ部８１は、CPU５１の制御にしたがってスイッチング動作をすることで、符号化復号部４２から入力される画像データ（処理前）を、画像処理部８２又は専用メモリバス６０を介してメモリコントローラ６１に出力する。

具体的には、解析・計測フェーズである場合、データスイッチ部８１は、メモリコントローラ６１側に切り替わることで、入力画像データを、メモリコントローラ６１を介して外部メモリ６２に格納させる。そして、CPU５１は、外部メモリ６２に格納された１フレーム分の画像データを解析・計測し、本表示領域を検出する。CPU５１は、解析・計測の結果を、画像処理プロファイル情報として、RAM５２、ROM５３、外部メモリ６２、外部メモリ４６、又は符号化復号部４２に接続されたHDD４３等の記録手段に記録する。なお、以下の説明では、画像処理プロファイル情報は、RAM５２に記録されているものとして説明する。

一方、画像処理フェーズである場合、データスイッチ部８１は、あらかじめ画像処理部８２側に切り替えられており、入力画像データを画像処理部８２に供給する。また、このとき、CPU５１は、RAM５２に記録されている画像処理プロファイル情報を読み出して、外部メモリ６２に格納する。そして、画像処理部８２は、外部メモリ６２に格納されている画像処理プロファイル情報を読み出し、画像処理プロファイル情報に基づいて、入力画像データのエンハンス処理を行う。エンハンス処理が施された画像データ（処理後）は、表示パネル４７に出力される。

以上のように、高画質化処理LSI４５においては、高画質化処理を、解析・計測フェーズと画像処理フェーズに２分割し、録画コンテンツが未視聴となる時間帯（オフタイム）に解析・計測フェーズの処理を行っておくことで、精度の高い解析・計測結果を得ることが可能となる。たとえば、図６に示す構成の場合、本表示領域（黒帯領域）の検出処理が解析・計測フェーズの処理、エンハンス処理が画像処理フェーズの処理に相当する。すなわち、図６の高画質化処理LSI４５は、黒帯検出（図１の解析・計測部２１）とエンハンス処理（図１の画像処理部２２）とを並列的に処理していた従来の高画質化処理LSI（図１の高画質化処理LSI）と比べて、その点において明らかに構成が異なる。

次に、図７ないし図１０のフローチャートを参照して、テレビジョン受像機システム３１において行われる処理の流れについて説明する。

なお、ここでは、録画コンテンツを未視聴時間帯（オフタイム）で解析・計測するシステムの一例として、図６の高画質化処理LSI４５を有するテレビジョン受像機システム３１、すなわち、解析・計測フェーズで本表示領域（黒帯領域）を検出し、画像処理フェーズでエンハンス処理を行う例について説明する。

まず、図７のフローチャートを参照して、テレビジョン受像機システム３１において行われる解析・計測フェーズについて説明する。

符号化復号部４２は、ステップＳ１１において、ユーザが録画コンテンツの視聴を行っていない時間帯（未視聴時間帯）であるか否かを判定し、未視聴時間帯であると判定した場合、ステップＳ１２において、HDD４３に記録されている録画コンテンツをデコードする。録画コンテンツをデコードすることにより得られる画像データは、高画質化処理LSI４５に供給される。

なお、このとき、符号化復号部４２は、高画質化処理LSI４５で行われる解析・計測処理の性能に合わせて、表示速度以下のフレームレートで画像データを送出するようにしてもよい。たとえば、高画質化処理LSI４５側から符号化復号部４２に対して解析・計測の完了を通知することで、その通知を受けた符号化復号部４２は、次のフレームのデコードを行うなどの簡単なハンドシェイクを実装することで実現可能となる。

また、ステップＳ１１で行われる未視聴時間帯であるか否かの判定処理は、たとえば、ユーザの視聴パターンを記録することで、容易に判定することができるが、勿論、未視聴時間帯であるか否かを判定できる方法であれば、他の方法を採用することもできる。

一方、ステップＳ１１において、未視聴時間帯ではない、つまり、ユーザが録画コンテンツの視聴を行っている場合、未視聴時間帯となるまで、ステップＳ１１の判定処理が繰り返される。

ステップＳ１３において、高画質化処理LSI４５は、符号化復号部４２から供給される画像データに対して、解析・計測処理を行う。

ここで、図８のフローチャートを参照して、高画質化処理LSI４５で行われる解析・計測処理の詳細について説明する。

ステップＳ３１において、CPU５１は、高画質化処理モジュール５８に入力される入力画像データを１フレーム分取得したか否かを判定する。

ステップＳ３１において、１フレーム分の入力画像データを取得したと判定された場合、ステップＳ３２において、CPU５１は、データスイッチ部８１を専用メモリバス６０側に切り替えて、その１フレーム分の画像データを、専用メモリバス６０を介してメモリコントローラ６１に供給する。ステップＳ３３において、メモリコントローラ６１は、エンハンス処理モジュール７５からの１フレーム分の画像データを外部メモリ６２に一旦格納する。

ステップＳ３４において、CPU５１は、メモリバス５４等を介してメモリコントローラ６１に指示することで、外部メモリ６２に一時的に格納されている１フレーム分の画像データにアクセスし、その画像データを解析・計測して、テレビ表示画面上の本表示領域（黒帯領域）を検出する。なお、本表示領域を検出するための検出アルゴリズムであるが、如何なるアルゴリズムであってもよく、さらに、未視聴時間帯に処理を行っているため、CPU５１での処理時間がかかるものであっても構わない。

ステップＳ３５において、CPU５１は、解析・計測の結果から、画像処理プロファイル情報を生成する。この画像処理プロファイル情報は、たとえば、黒帯表示領域の有無とそのフレーム番号や、本表示領域の各座標データなど、画像処理フェーズにおいて、エンハンス処理を実行するために必要となる情報からなる。

ステップＳ３６において、CPU５１は、生成した画像処理プロファイル情報を、対応する録画コンテンツと関連付けて、RAM５２に記録する。

このようにして、１フレーム分の画像データの解析・計測処理が完了すると、処理は、図７のステップＳ１３の処理に戻り、ステップＳ１４以降の処理が実行される。

符号化復号部４２は、ステップＳ１４において、次のフレームの画像データが存在するか否かを判定し、次のフレームの画像データが存在すると判定した場合、処理は、ステップＳ１１に戻り、上述した、ステップＳ１１ないしＳ１４の処理が繰り返される。

その場合、かかる処理が繰り返されることで、上述したように、CPU５１によって、録画コンテンツのフレーム数分の画像データが解析・計測されて、本表示領域（黒帯領域）がそれぞれ検出される。そして、それにより得られるフレーム数分の画像処理プロファイル情報が、対応する録画コンテンツと関連付けられて、フレーム単位で記録されることになる。

その後、ステップＳ１４において、録画コンテンツの次のフレームの画像データが存在しないと判定された場合、解析・計測フェーズは終了する。

以上のようにして、テレビジョン受像機システム３１においては、未視聴時間帯に解析・計測フェーズとして、CPU５１による解析・計測処理が実行され、その解析・計測の結果が画像処理プロファイル情報として記録される。

このように、本実施の形態においては、未視聴時間帯（オフタイム）での録画コンテンツの解析・計測フェーズの実行は、再生時とは異なり、表示フレームレートでの実行が不要となるため、より少ないハードウェアリソースで、あるいは、CPU５１でのソフトウェア処理で実行することが可能となる。たとえば、テレビジョン受像機システム３１が、既存のフレームレート60Hz、画像サイズ1920×1080で処理可能なシステムであったとしても、未視聴時間帯であれば、数倍の処理時間をかけることで、より高いフレームレートのコンテンツ（たとえば120Hzかそれ以上）、あるいは、より画像サイズの大きなコンテンツ（たとえば、3840×2160かそれ以上）の解析・計測処理を実行することが可能となる。

なお、ここでは、高画質化処理として、エンハンス処理の例について説明しているので、CPU５１の設定によって、エンハンス処理モジュール７５以外の高画質化処理モジュールでは如何なる処理も行われず、画像データがエンハンス処理モジュール７５まで流されることになる。このとき、他の高画質化処理モジュールにおいて、解析・計測処理を同時に行うことも可能である。

次に、図９のフローチャートを参照して、テレビジョン受像機システム３１において行われる画像処理フェーズについて説明する。

CPU５１は、ステップＳ５１において、ユーザによって、解析・計測の完了しているコンテンツを視聴するか否かを判定し、コンテンツを視聴すると判定した場合、ステップＳ５２において、RAM５２に記録されている画像処理プロファイル情報を読み出す。すなわち、このとき読み出した画像処理プロファイル情報は、上記の解析・計測フェーズによってRAM５２に記録されたものであって、視聴するコンテンツに関連付けられたフレーム単位の画像処理プロファイル情報となる。

そして、CPU５１は、ステップＳ５３において、読み出した画像処理プロファイル情報を、外部メモリ６２に格納する。

なお、上記の解析・計測フェーズのところで説明したように、画像処理プロファイル情報は、符号化復号部４２に接続されたHDD４３に格納されている場合もあるが、この場合には、高画質化処理LSI４５に内蔵されたCPU５１と、符号化復号部４２とが通信を行って、必要な画像処理プロファイル情報を転送してもらい、エンハンス処理モジュール７５の外部メモリ６２に格納する。このとき、当該コンテンツに必要な画像処理プロファイル情報を一括で外部メモリ６２に転送してもよいし、あるいは、外部メモリ６２の容量に制限がある場合には分割して転送してもよく、各リソースに応じた転送処理が適宜実行される。

ステップＳ５４において、符号化復号部４２は、視聴する該当コンテンツをデコードし、それにより得られる画像データを、高画質化処理LSI４５に供給する。このとき、符号化復号部４２は、表示パネル４７の表示速度（たとえば、60Hz）に応じてコンテンツをデコードし、送出する。

ステップＳ５５において、高画質化処理LSI４５は、符号化復号部４２から供給される画像データに対して、画像処理を行う。

なお、高画質化処理LSI４５では、CPU５１によって、高画質化処理モジュール５８の中から、処理を実行する高画質化処理モジュールが適宜設定され、設定された各高画質化処理モジュールによって、符号化復号部４２から入力される画像データに対する画像処理が順次行われる。上述したように、ここでは、図１０のフローチャートを参照して、エンハンス処理モジュール７５によって実行されるエンハンス処理を、高画質化処理LSI４５で行われる画像処理の一例として説明する。

なお、CPU５１は、画像処理フェーズが開始される前に、データスイッチ部８１を画像処理部８２側に切り替えて、符号化復号部４２からの入力画像データが、画像処理部８２に供給されるようにする。

ステップＳ７１において、CPU５１は、符号化復号部４２からデータスイッチ部８１を介して画像処理部８２に入力される入力画像データのフレーム数をカウントする。

このフレームカウントは、CPU５１の代わりに、エンハンス処理モジュール７５が実行してもよい。CPU５１によってフレームカウントを実行する場合には、たとえば、エンハンス処理モジュール７５によって、入力画像データの垂直同期信号を割り込み信号にすることで、容易にカウントを実行することができる。

ステップＳ７２において、画像処理部８２は、CPU５１により求められたフレームカウントを参照し、メモリコントローラ６１に指示して、ステップＳ５３の処理によって外部メモリ６２にフレーム単位で格納されている画像処理プロファイル情報の中から、該当するフレーム番号の画像処理プロファイル情報を読み出す。

ステップＳ７３において、画像処理部８２は、読み出した画像処理プロファイル情報に基づいて、入力画像データの画像処理（エンハンス処理）をフレーム単位で行う。ここで、画像処理部８２によって行われるエンハンス処理は、たとえば、表示パネル４７の表示速度に応じた速度（たとえば、60Hz）で実行される。

なお、このエンハンス処理であるが、如何なるアルゴリズムや方式であってもよい。また、フレームカウントに該当するフレーム番号の画像処理プロファイル情報を参照するには、たとえば、画像処理プロファイル情報の格納されている外部メモリ６２の読み出しアドレスを、「フレームカウント×画像処理プロファイル情報のデータサイズ」分だけインクリメントすればよい。

また、通常、黒帯検出結果の本表示領域情報に基づいて、エンハンス処理を行うには、内蔵CPU５１からの指示でエンハンス処理モジュール７５での処理設定変更に１フレーム程度の遅延が必要となる。この場合には、画像データを一度外部メモリ４６に格納することで、１フレーム分の画像データが遅延される。この外部メモリ４６での１フレーム分の遅延は、エンハンス処理モジュール７５だけのためではなく、他の高画質化処理モジュールとの組み合わせで行われる。

入力画像データの画像処理（エンハンス処理）が完了すると、処理は、図９のステップＳ５５の処理に戻り、ステップＳ５６以降の処理が実行される。

符号化復号部４２は、ステップＳ５６において、次のフレームの画像データが存在するか否かを判定し、次のフレームの画像データが存在すると判定した場合、処理は、ステップＳ５５に戻り、上述した、ステップＳ５５及びＳ５６の処理が繰り返される。

その場合、かかる処理が繰り返されることで、高画質化処理LSI４５においては、上述したように、符号化復号部４２からデコードされた画像データが順次送出されてくるので、その画像データが入力される度に、該当するフレーム番号の画像処理プロファイル情報が読み出され、読み出した画像処理プロファイル情報に基づいたエンハンス処理がフレーム単位で実行される。

その後、ステップＳ５６において、視聴している録画コンテンツの次のフレームの画像データが存在しないと判定された場合、画像処理フェーズは終了する。

以上のようにして、テレビジョン受像機システム３１においては、解析・計測の完了しているコンテンツを視聴するとき、画像処理フェーズとして、解析・計測フェーズで求めた画像処理プロファイル情報を用いた画像処理が実行される。

言い換えれば、本実施の形態においては、解析・計測フェーズとして、画質向上に必要な情報（高画質化処理LSI４５に必要な情報）をあらかじめ求めておき、画像処理フェーズで、その求められた情報を用いて画質向上処理を実行しているとも言える。

ところで、上述した例においては、高画質化処理モジュール５８により実行される高画質化処理の一例として、エンハンス処理モジュール７５により実行されるエンハンス処理について説明したが、その他の高画質化処理モジュールでも同様に処理を行うことができる。すなわち、本実施の形態では、エンハンス処理モジュール７５以外の高画質化処理モジュールについても、エンハンス処理モジュール７５と同様に、解析・計測フェーズと画像処理フェーズとに分割することで、精度の高い（間違いの少ない）解析・計測結果を少ないハードウェアリソースで実現することが可能である。

そこで、次に、高画質化処理を実行する他の高画質化処理モジュールの例について説明する。

（ａ）ノイズリダクションモジュール７４，エンハンス処理モジュール７５
解析・計測フェーズでは、CPU５１によって、たとえば、録画コンテンツの１フレーム（１画面）中の空間領域の種別、特徴点、及びこれらの情報のフレーム間の時間的な変動に関する情報が求められ、それらの情報が画像処理プロファイル情報として、RAM５２に記録される。この特徴点としては、たとえば、フラット領域、テクスチャ領域、エッジ領域、人物顔領域などである。

また、解析・計測フェーズでは、CPU５１によって、たとえば、録画コンテンツの１フレームにおける黒帯領域（表示パネル４７の画面上において、左右又は上下の画像が表示されない領域）、字幕の有無及びその位置、並びにフレーム毎の黒帯領域と字幕の有無（たとえば、本編からＣＭに移り変わるときのフレーム番号）に関する情報も求められ、これらの情報も画像処理プロファイル情報として記録される。

そして、画像処理フェーズでは、ノイズリダクションモジュール７４とエンハンス処理モジュール７５によって、解析・計測フェーズで記録された画像処理プロファイル情報に基づいて、たとえば、特徴点にあったエンハンス処理やノイズリダクション処理が実行される。

（ｂ）コントラスト処理モジュール７７
解析・計測フェーズでは、CPU５１によって、たとえば、黒帯領域を含む画像から本表示領域を検出し、その本表示領域内での輝度データの最大値、最小値、及びそれらの割合に関する情報が求められ、それらの情報が画像処理プロファイル情報として、RAM５２に記録される。

そして、画像処理フェーズでは、コントラスト処理モジュール７７によって、解析・計測フェーズで記録された画像処理プロファイル情報に含まれる輝度データの最大値、最小値、及びそれらの割合に関する情報に基づいて、たとえば、黒つぶれのないコントラスト処理が実行される。

（ｃ）IP変換モジュール７２
解析・計測フェーズでは、CPU５１によって、たとえば、録画コンテンツの種類（たとえば、映画ソース（たとえば、２４Ｐを２−３プルダウンしたもの）であるのか、アニメーションであるのかなど）、録画コンテンツの中のシーンチェンジが起こるフレーム番号、及び録画コンテンツの各フレームにおける動きベクトル（ベクトルを用いた変換を行う場合のみ）などに関する情報が求められ、それらの情報が画像処理プロファイル情報として、RAM５２に記録される。

そして、画像処理フェーズでは、IP変換モジュール７２によって、解析・計測フェーズで記録された画像処理プロファイル情報に含まれる、録画コンテンツの種別、シーンチェンジのフレーム番号、及び動きベクトルに関する情報に基づいて、プログレッシブ方式のフレームを生成するIP変換処理が実行される。

（ｄ）フレーム補完モジュール７８
解析・計測フェーズでは、CPU５１によって、たとえば、録画コンテンツの中のシーンチェンジが起こるフレーム番号、及びコンテンツの各フレームにおける動きベクトルに関する情報が求められ、それらの情報が画像処理プロファイル情報として、RAM５２に記録される。

そして、画像処理フェーズでは、フレーム補完モジュール７８によって、解析・計測フェーズで記録された画像処理プロファイル情報に含まれる、シーンチェンジのフレーム番号及び動きベクトルに関する情報に基づいて、中間フレームを生成するフレーム補完処理（ハイフレームレート（High Frame Rate）変換）が実行される。

なお、上記の（ｃ）IP変換モジュール７２と、（ｄ）フレーム補完モジュール７８においては、解析・計測フェーズで動きベクトルを求めるが、この動きベクトルの画像処理プロファイル情報が大きい場合には、解析・計測フェーズでは、シーンチェンジのフレーム番号だけを画像処理プロファイル情報として記録してもよい。この場合、画像処理フェーズ側で動きベクトルの検出と、フレームの生成の両方を行うことになるが、シーンチェンジのフレーム番号を、記録された画像処理プロファイル情報から参照することができるため、連続していないフレームの画像データを用いたフレーム生成の間違いを回避することができる。

このように、エンハンス処理モジュール７５以外の高画質化処理モジュールであっても、解析・計測フェーズで記録された画像処理プロファイル情報に基づいて、画像処理フェーズで画像処理を実行することが可能である。従って、エンハンス処理モジュール７５以外の高画質化処理モジュールであっても、エンハンス処理モジュール７５と同様に、上記の従来の問題を解決することが可能である。

また、上述した、エンハンス処理モジュール７５の解析・計測フェーズだけでなく、他の高画質化処理モジュールの画像処理プロファイル情報を一括して解析・計測するようにしてもよい。

この際、各高画質化処理モジュールのハードウェアで解析・計測を実行することも可能であるが、一括して画像処理プロファイル情報を求めるには、内蔵のCPU５１でのソフトウェア処理のほうが適している。なお、内蔵CPU５１でのソフトウェア処理を実行する場合には、解析・計測フェーズでの処理がCPU負荷となるが、未視聴時間帯（オフタイム）に、かかる処理を完了しておけばよいので、テレビジョン受像機システム３１に搭載される高画質化処理LSI４５に内蔵されたCPU５１でも充分処理を行うことが可能である。

また、上述した例においては、解析・計測フェーズの処理は、未視聴時間帯（オフタイム）に実行されるとして説明したが、未視聴時間帯以外のタイミングで解析・計測フェーズの処理を実行してもよい。

そこで、次に、解析・計測フェーズの処理を実行する他のタイミングの例について説明する。

（ａ）コンテンツ録画時（レコード）
高画質化処理LSI４５は、コンテンツ録画時（レコード）に解析・計測フェーズの処理を実行して、解析・計測の結果を、画像処理プロファイル情報として記録してもよい。この場合、コンテンツが未視聴であれば、高画質化処理LSI４５側で、コンテンツ録画時の解析・計測処理を実行することが可能となる。たとえば、高画質化処理LSI４５は、録画コンテンツをMPEG（Moving Picture Experts Group）方式などの圧縮方式で圧縮録画中（レコード）に、録画情報（圧縮情報）から高画質化処理のための情報を求め、その情報を画像処理プロファイル情報として記録する。そして、高画質化処理LSI４５は、そのコンテンツの再生時に、記録された画像処理プロファイル情報を利用して、高画質化処理を行うことができる。

また、高画質化処理LSI４５の代わりに、符号化復号部４２側で解析・計測フェーズの処理を実行するようにしてもよい。たとえば、符号化復号部４２は、コンテンツ圧縮時には動きベクトルの算出をしており、容易に動きベクトルに関する画像処理プロファイル情報を記録することができる。同様に、符号化復号部４２では、シーンチェンジのフレーム番号を、画像処理プロファイル情報とすることも可能である。すなわち、これらの情報を、画像処理プロファイル情報として記録することで、符号化復号部４２によって解析・計測フェーズの処理が実行されることになる。なお、視聴中のコンテンツが録画されない場合には、そのコンテンツが再び視聴されることはないので、画像処理プロファイル情報の記録を行う必要はないこととなる。

（ｂ）コンテンツ表示時（プレイ）
高画質化処理LSI４５は、コンテンツ表示時（プレイ）に解析・計測を行い、画像処理プロファイル情報を得るようにしてもよい。すなわち、高画質化処理LSI４５は、従来からある高画質化処理LSIと同様に、コンテンツ表示時に解析・計測を実行することが可能であるため、その解析・計測の結果を画像処理プロファイル情報として記録することは容易である。

そして、高画質化処理LSI４５は、一度視聴したコンテンツの画像処理プロファイル情報を、次回同じコンテンツを視聴するときに使用することで、前回視聴したときよりも精度の高い解析・計測を行うことができる。

たとえば、高画質化処理LSI４５においては、コンテンツの初回視聴時に、エンハンス処理モジュール７５によって、黒帯領域の有無の検出が実行され、その検出結果が画像処理プロファイル情報として記録される。そして、初回の視聴で既に黒帯検出が実行されているコンテンツの２回目の視聴時において、高画質化処理LSI４５は、初回視聴時に記録しておいた画像処理プロファイル情報を利用して、黒帯領域が有りと検出されたフレームについて本表示領域を検出し、その領域のみに対してエンハンス処理を実行することが可能となる。

この場合、２回目の視聴時の解析・計測処理は、CPU５１でのソフトウェア処理で実行することで、１回目の視聴時とは異なる解析・計測アルゴリズムを適用することができるので、１回目の視聴時とは異なる解析・計測結果を得ることができる。また、高画質化処理LSI４５は、２回目の視聴時の画像処理プロファイル情報を記録し、それ以降の視聴時の画像処理に利用することもできる。これにより、高画質化処理LSI４５においては、コンテンツの視聴回数を重ねる度に、より性能の良い高画質化処理が実行されることになる。

このように、未視聴時間帯（オフタイム）、コンテンツ録画時（レコード）、又はコンテンツ表示時（プレイ）において、コンテンツの解析・計測処理を行い、画像処理プロファイル情報を得て記録しておくことで、解析・計測されたコンテンツを再生表示するとき、テレビジョン受像機に搭載される高画質化処理LSIでの画像処理を精度高く（正しくミスなく）実行することができる。

また、近年、地上デジタルテレビジョン放送などのテレビジョン放送を、ビデオレコーダなどの録画機に録画しておき、後日視聴するといったスタイルが定着しつつあるが、本実施の形態のテレビジョン受像機システム３１を使用することで、録画コンテンツをしばらく放置する（オフタイム又はレコード）だけ、あるいは繰り返し視聴する（プレイ）ことで、より高画質な映像で視聴できるという新たなユーザ体験を提供することが可能となる。

なお、本実施の形態においては、図４のテレビジョン受像機システム３１に搭載された高画質化処理LSI４５で行われる高画質化処理について説明したが、図４に示した構成以外の構成を採用することも可能である。

（ａ）解析・計測フェーズの処理を外部の機器で実行する
解析・計測フェーズの処理は、テレビジョン受像機システム３１内だけでなく、外部の機器で実行することも可能である。

たとえば、ネットワークに接続されたパーソナルコンピュータ、ゲーム機、家電機器（たとえば、ビデオレコーダやカムコーダ等）などの外部の機器に録画コンテンツを送ることで、それらの機器で解析・計測フェーズの処理を実行し、その解析・計測結果を画像処理プロファイル情報として、テレビジョン受像機システム３１に戻す、といった形態で実行することも可能である。この場合、テレビジョン受像機システム３１においては、画像処理フェーズとして、外部の機器から送られた画像処理プロファイル情報を用いた画像処理が実行される。

なお、かかる構成を採用した場合、ネットワークに接続された機器であれば、同一ネットワークのセグメント内、あるいはセグメント外のどちらであっても構わない。

（ｂ）録画機側で解析・計測フェーズの処理を実行する
本実施の形態においては、テレビジョン受像機システム３１側で、解析・計測処理を行う場合について述べたが、コンテンツの作成を行う機器側で画像処理プロファイル情報を求めて処理を行うこともできる。

このような機器としては、たとえば、カムコーダやビデオレコーダ等の録画機器を用いることができる。ここで、カムコーダを例にして説明すると、カムコーダによって、撮影中、あるいは未使用時間帯に、既に撮影されたコンテンツの解析・計測処理を実行し、その解析・計測結果を画像処理プロファイル情報として記録しておく。そして、テレビジョン受像機システム３１は、カムコーダ側から撮影したコンテンツを取り込む際には、コンテンツと一緒にカムコーダで生成された画像処理プロファイル情報も取得する。

このようにすることで、テレビジョン受像機システム３１においては、コンテンツの視聴時には、そのコンテンツに対して、カムコーダから取得した画像処理プロファイル情報を利用した高画質化処理を実行することが可能となる。

このように、コンテンツの解析・計測フェーズの処理は、必ずしも、再生機器（自システム）内で実行する必要はなく、ネットワーク等で接続された別機器（別システム）で実行するようにしてもよい。この場合、再生機器（自システム）では、画像処理フェーズの処理だけが実行されることになる。

以上のように、本発明によれば、未視聴時間帯（オフタイム）、コンテンツ録画時（レコード）、又はコンテンツ表示時（プレイ）に、録画コンテンツの解析・計測処理を行って、画像処理プロファイル情報を取得し、保持しておくことで、その録画コンテンツを再生表示するときには、高画質化処理LSIによって、保持しておいた画像処理プロファイル情報を用いた画像処理が行われるので、かかる高画質化処理LSIで行われる画像処理の精度を高くすることができる。

また、本発明によれば、高画質化処理における解析・計測フェーズと、画像処理フェーズのうち、解析・計測フェーズを未視聴時間帯（オフタイム）等に実行するために、より小さなハードウェア回路、リソースにより、高画質化処理における解析・計測フェーズを精度よく行うことができるので、画像変換処理のミスを軽減するシステムを構築することが可能となる。

ところで、従来からある既存のLSIのようにハードウェアで構成された高画質化処理LSIでは、テレビジョン受像機の表示画面の大型化（たとえば４ｋサイズ）、あるいは高速化（たとえば120Hz）にともない、高画質化処理LSIのハードウェア規模も比例して大規模化（必要ゲート数や必要メモリサイズの増加）が必要になっている。たとえば、表示画面の大型化では、フルＨＤサイズ（たとえば1920×1080ピクセル）から４ｋサイズ（たとえば3840×2160ピクセル）に表示画面サイズが大型化することで、高画質化処理LSIの規模も画面サイズ比（ピクセル比）で４倍分必要となる。ちなみにこれは、解析・計測処理回路も４倍、画像処理回路も４倍になることを意味する。このように、テレビジョン受像機等に搭載される高画質化処理LSIでは、たとえばテレビジョン受像機の表示画面の大型化、高速化にともない、回路規模の増大が必要となり、LSI部品コスト、発熱量も増加してしまう問題がある。

このように、テレビジョン受像機の表示画面の大型化（画面サイズの大型化及び表示速度の高速化）にともなって、テレビジョン受像機に搭載される高画質化処理LSIに求められる要求も高くなっているが、本発明を適用することで、高画質化処理LSIの規模の増加、及び、回路規模増加によるコストアップを軽減することが可能となる。また、テレビジョン受像機に搭載されている高画質化処理LSIが必要としているコンテンツ情報（本実施の形態では、画像処理プロファイル情報）を適切に解析・計測フェーズで抽出することで、コンテンツ表示時においてその高画質化処理LSIの画像処理特性を活かしきることができる。

なお、外部サーバで録画コンテンツの解像度変換、及び、高画質化処理を行うベンダサービスが存在する（たとえば、MotionDSP社（http://motiondsp.com）の提供するサービス）。これは、低解像度の圧縮画像コンテンツ（録画コンテンツ）をベンダにネットワーク経由で送信すると、ベンダサーバ側で、より高い解像度への変換処理及び高画質化処理を行って、再度圧縮画像コンテンツを作成し、ユーザに提供するものである。このようなサービスの場合、圧縮画像データ（録画コンテンツ）を再生し、表示する際において、テレビジョン受像機に搭載された高画質化処理LSIでは、通常のコンテンツと同じ処理を行うため、本発明のように、解析・計測フェーズでの解析・計測精度が向上するわけでも、テレビジョン受像機の表示画面の大型化にともなう高画質化処理LSIの大規模化の問題を根本的に解決するものではない。

また、本発明によれば、未視聴時間帯（オフタイム）で高画質化処理の解析・計測処理を行えばよいので、高画質化処理LSIの内蔵CPUでのソフトウェア処理でも実現可能となるため、たとえば、製品出荷後にインターネット経由あるいは衛星放送経由で、より効率のよい、より精度の高い解析アルゴリズムにアップデートすることも可能である。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD）を含む）、光磁気ディスク（MD（Mini-Disk）（商標）を含む）、若しくは半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記録手段等で構成される。

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の高画質化処理LSIの構成を示す図である。 従来の高画質化処理を説明するためのフローチャートである。 テレビ表示画面上の黒帯について説明する図である。 本発明を適用したテレビジョン受像機システムの一実施の形態の構成を示す図である。 図４の高画質化処理LSIの構成例を示す図である。 エンハンス処理を行う高画質化処理LSIの構成例を示す図である。 解析・計測フェーズを説明するフローチャートである。 解析・計測処理の詳細を説明するフローチャートである。 画像処理フェーズを説明するフローチャートである。 画像処理の詳細を説明するフローチャートである。

符号の説明

３１ テレビジョン受像機システム， ４１ チューナ， ４２ 符号化復号部， ４３ HDD， ４４ 外部メモリ， ４５ 高画質化処理LSI， ４６ 外部メモリ， ４７ 表示パネル， ５１ CPU， ５２ RAM， ５３ ROM， ５７ 入力部， ５８ 高画質化処理モジュール， ５９ 出力部， ６１ メモリコントローラ， ６２ 外部メモリ， ７１ フレームレート変換モジュール， ７２ IP変換モジュール， ７３ 解像度変換モジュール， ７４ ノイズリダクションモジュール， ７５ エンハンス処理モジュール， ７６ 色変換モジュール， ７７ コントラスト処理モジュール， ７８ フレーム補完モジュール， ８１ データスイッチ部， ８２ 画像処理部

Claims (10)

1. コンテンツの再生が行われていない時間帯であるとき、前記コンテンツを復号する復号手段と、
   前記コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、前記解析・計測処理を行う解析・計測手段と、
   前記解析・計測処理により得られる前記画像データに関する情報を、画像処理プロファイル情報として記録する記録手段と、
   前記解析・計測処理が施された前記コンテンツの再生を行う場合、記録されている前記画像処理プロファイル情報を読み出す読み出し手段と、
   読み出された前記画像処理プロファイル情報に基づいて、再生される前記コンテンツに対して、前記画像処理を行う画像処理手段と
   を備える画像処理装置。
2. 前記解析・計測手段は、録画されたコンテンツの未視聴時間帯、又は前記コンテンツを録画しているとき、前記復号手段によって復号された前記画像データに対して、前記解析・計測処理を行う
   請求項１に記載の画像処理装置。
3. 前記解析・計測手段は、再生中のコンテンツに対応する画像データに対して、前記解析・計測処理を行い、
   前記記録手段は、再生中の前記コンテンツの前記画像処理プロファイルを順次記録し、
   前記画像処理手段は、再生中の前記コンテンツを過去に再生している場合には、過去に再生したときに記録された前記画像処理プロファイル情報に基づいて、再生中の前記コンテンツに対して、前記画像処理を行う
   請求項１に記載の画像処理装置。
4. 前記高画質化処理は、エンハンス処理であり、
   前記解析・計測手段は、少なくとも、黒帯表示領域の有無とそのフレームの番号、及び本表示領域の各座標に関する情報を求める前記解析・計測処理を行い、
   前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記黒帯表示領域の有無とそのフレームの番号、及び前記本表示領域の各座標に関する情報に基づいた前記エンハンス処理を行う
   請求項１に記載の画像処理装置。
5. 前記高画質化処理は、ノイズリダクション処理であり、
   前記解析・計測手段は、少なくとも、前記コンテンツの１フレーム中の空間領域の種別、特徴点、及び、これらの情報のフレーム間の時間的な変動に関する情報を求める前記解析・計測処理を行い、
   前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記空間領域の種別、前記特徴点、及び前記時間的な変動に関する情報に基づいた前記ノイズリダクション処理を行う
   請求項１に記載の画像処理装置。
6. 前記高画質化処理は、コントラスト処理であり、
   前記解析・計測手段は、少なくとも、黒帯を含む画面から本表示領域を検出して、その本表示領域内での輝度データの最大値、最小値、及びそれらの割合に関する情報を求める前記解析・計測処理を行い、
   前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記輝度データの最大値、最小値、及びそれらの割合に関する情報に基づいた前記コントラスト処理を行う
   請求項１に記載の画像処理装置。
7. 前記高画質化処理は、IP（Interlace Progressive）変換処理であり、
   前記解析・計測処理は、少なくとも、前記コンテンツの中のシーンチェンジが起こるフレーム番号、及び前記コンテンツの各フレームにおける動きベクトルに関する情報を求める前記解析・計測処理を行い、
   前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記シーンチェンジのフレーム番号及び前記動きベクトルに関する情報に基づいて、プログレッシブ方式のフレームを生成する前記IP変換処理を行う
   請求項１に記載の画像処理装置。
8. 前記高画質化処理は、フレーム補完処理であり、
   前記解析・計測処理は、少なくとも、前記コンテンツの中のシーンチェンジが起こるフレーム番号、及び前記コンテンツの各フレームにおける動きベクトルに関する情報を求める前記解析・計測処理を行い、
   前記画像処理手段は、前記画像処理として、前記画像処理プロファイル情報に含まれる前記シーンチェンジのフレーム番号及び前記動きベクトルに関する情報に基づいて、中間フレームを生成する前記フレーム補完処理を行う
   請求項１に記載の画像処理装置。
9. コンテンツの再生が行われていない時間帯であるとき、前記コンテンツを復号し、
   前記コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、前記解析・計測処理をし、
   前記解析・計測処理により得られる前記画像データに関する情報を、画像処理プロファイル情報として記録し、
   前記解析・計測処理が施された前記コンテンツの再生を行う場合、記録されている前記画像処理プロファイル情報を読み出し、
   読み出された前記画像処理プロファイル情報に基づいて、再生される前記コンテンツに対して、前記画像処理をする
   ステップを含む画像処理方法。
10. コンテンツの再生が行われていない時間帯であるとき、前記コンテンツを復号し、
    前記コンテンツを復号して得られる所定のフレーム数分の画像データに対して行われる高画質化処理における解析・計測処理と画像処理のうち、前記解析・計測処理をし、
    前記解析・計測処理により得られる前記画像データに関する情報を、画像処理プロファイル情報として記録し、
    前記解析・計測処理が施された前記コンテンツの再生を行う場合、記録されている前記画像処理プロファイル情報を読み出し、
    読み出された前記画像処理プロファイル情報に基づいて、再生される前記コンテンツに対して、前記画像処理をする
    ステップを含む処理をコンピュータに実行させるプログラム。

Images