JP2007300542A - コンテンツ処理装置および方法、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】より高品位のコンテンツ信号を簡便にユーザに提供することができるようにする。
【解決手段】チューナ13により受信されたSDTV信号が記憶部32に記憶される。ユーザがそのコンテンツ信号を使用していないとき、再生部35は、記憶部32に記憶されているSDTV信号を再生する。ノンリアルタイム処理部36は、このSDTV信号をノンリアルタイム処理し、HDTV信号を生成するのに必要な動きパラメータを抽出する。この動きパラメータは、DVエンコード部37により記憶部32に記憶される。ユーザによりコンテンツの再生が指令されたとき、リアルタイムアップコンバータ34は、動きパラメータを利用してHDTV信号を生成する。
【選択図】図２

Description

本発明はコンテンツ処理装置および方法、プログラム並びに記録媒体に関し、特に、より高品位のコンテンツ信号を、簡便に、ユーザに提供することができるようにしたコンテンツ処理装置および方法、プログラム並びに記録媒体に関する。

本出願人は、低品位画像の画像信号であるSDTV(Standard Definition Television)信号を、高品位画像の画像信号であるHDTV(High Definition Television)信号に変換して、高品位画像を表示することを先に提案している(例えば、特許文献１)。

先の提案においては、予測係数が、多くの画像を学習することにより、画像の特徴としてのクラス毎に予め求められる。そして、その予測係数をSDTV信号に適用することで、HDTV信号が生成される。

特開２００３−１９５８４３号公報（図１と図２）

しかしながら、先の提案においては、予測係数を学習するのに長い時間がかかり、また多くの学習用の画像を用意しなければならず、予測係数を求めるための負担が大きかった。

本発明は、このような状況に鑑みてなされたものであり、より高品位のコンテンツ信号を、簡便に、ユーザに提供することができるようにするものである。

本発明の一側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段とを備えるコンテンツ処理装置である。

前記コンテンツ信号は画像信号であり、前記パラメータは、動きベクトル、明るさ、コントラスト、またはフレーム間差分情報とすることができる。

前記コンテンツ信号は画像信号であり、前記パラメータは、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータであるようにすることができる。

前記コンテンツ信号は音声信号であり、前記パラメータは、DSDストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータとすることができる。

また、本発明の一側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成するステップを備えるコンテンツ処理方法、プログラム、またはプログラムが記録された記録媒体である。

本発明の他の側面は、低品位のコンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するリアルタイム処理手段と、記憶部に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段と、前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段とを備えるコンテンツ処理装置である。

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段をさらに備えることができる。

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段をさらに備えることができる。

前記差分のデータ量を平準化する平準化手段をさらに備え、前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化することができる。

前記コンテンツ信号は画像信号であり、低品位の前記コンテンツ信号は、低解像度の画像信号であり、高品位の前記コンテンツ信号は、高解像度の画像信号であるようにすることができる。

前記ノンリアルタイム処理手段は、低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段と、高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段とを備えることができる。

前記リアルタイム処理手段は、低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段と、低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段と、低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段と、判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段と、低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段と、合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段とを備えることができる。

また、本発明の他の側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力するステップを備えるコンテンツ処理方法、プログラム、またはプログラムが記録された記録媒体である。

本発明の一側面においては、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号が読み出され、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータが抽出され、記憶部に記憶される。記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されたとき、記憶部に記憶されている低品位のコンテンツ信号とパラメータが読み出され、パラメータが低品位のコンテンツ信号に適用されて、高品位のコンテンツ信号がリアルタイムで生成される。

また、本発明の他の側面においては、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、記憶部に記憶されている低品位のコンテンツ信号からリアルタイムで生成された高品位のコンテンツ信号と、ノンリアルタイムで生成された高品位のコンテンツ信号との差分が演算され、記憶部に記憶される。記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されたとき、記憶部より低品位のコンテンツ信号と差分情報が読み出され、出力される。

以上のように、本発明の一側面によれば、より高品位のコンテンツ信号をユーザに提供することができる。特に、高品位のコンテンツ信号を、ユーザに負荷を与えることなく、簡便に、また記憶するデータ量の増加を抑制しつつ、効率的に、ユーザに提供することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面は、記憶部（例えば、図２の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号（例えば、HDTV信号）をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段（例えば、図２のノンリアルタイム処理部36）と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段（例えば、図２のリアルタイムアップコンバータ34）とを備えるコンテンツ処理装置（例えば、図２のサーバ12）である。

また本発明の一側面は、記憶部（例えば、図２の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号（例えば、HDTV信号）をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ（例えば、図７のステップS43,S46）、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する（例えば、図９のステップS81,S84）ステップを備えるコンテンツ処理方法またはプログラムである。

本発明の他の側面は、低品位のコンテンツ信号（例えば、SDTV信号）からリアルタイムで高品位のコンテンツ信号（例えば、HDTV信号）を生成するリアルタイム処理手段（例えば、図11または図19のリアルタイムアップコンバータ34）と、記憶部（例えば、図11または図19の記憶部32）に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段（例えば、図11または図19のノンリアルタイムアップコンバータ81）と、前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段（例えば、図11または図19の減算部82）と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段（例えば、図11または図19の再生部35）とを備えるコンテンツ処理装置（例えば、図11または図19のサーバ12）である。

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段（例えば、図11または図19の加算部83）をさらに備えることができる。

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段（例えば、図19のマルチプレクサ154）をさらに備えることができる。

前記差分のデータ量を平準化する平準化手段（例えば、図19の平準化部151）をさらに備え、前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化することができる。

前記ノンリアルタイム処理手段は、低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段（例えば、図12のスケーリング部101）と、高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段（例えば、図12の動きベクトル検出部102）と、検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段（例えば、図12の切り替え部106）とを備えることができる。

前記リアルタイム処理手段は、低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段（例えば、図３の動き判定部51）と、低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段（例えば、図３のフィールド間補間部52）と、低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段（例えば、図３のフィールド内補間部53）と、判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段（例えば、図３の切り替え部54）と、低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段（例えば、図３の線順次変換部55）と、合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段（例えば、図３の垂直補間部56、水平補間部57）とを備えることができる。

また、本発明の他の側面は、記憶部（例えば、図11または図19の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号（例えば、HDTV信号）を生成する（例えば、図13のステップS133）とともに、ノンリアルタイムで高品位の前記コンテンツ信号生成し（例えば、図13のステップS134）、リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ（例えば、図13のステップS138）、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する（例えば、図18のステップS171または図21のステップS231 ）ステップを備えるコンテンツ処理方法またはプログラムである。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用したホームネットワークシステムの構成を表すブロック図である。このホームネットワークシステム１は、ネットワーク11、サーバ12、チューナ13、モニタ14、通信装置15により構成されている。

ネットワーク11は、例えば、家庭用LAN(Local Area Network)などで構成される。もちろん、ネットワーク11は各装置を直接接続するコードなどで構成することもできる。

サーバ12は、チューナ13が受信したテレビジョン放送信号をネットワーク11を介して受信し、内蔵する記憶部に記憶する。チューナ13は、テレビジョン放送を受信し、受信したテレビジョン放送信号をネットワーク11を介してサーバ12に供給するとともに、モニタ14に出力し、表示させる。モニタ14は、LCD(Liquid Crystal Display)、あるいはCRT(Cathode Ray Tube)などにより構成され、画像を表示する。

通信装置15は、例えば、モデム（Modem）、ターミナルアダプタ(Terminal Adapter)などで構成され、インターネットに代表される外部のネットワーク16に接続されている。

図２は、サーバ12の具体的構成を表している。このサーバ12は、記録部31、記憶部32、MPEGデコード部33、リアルタイムアップコンバータ34、再生部35、ノンリアルタイム処理部36、DVエンコード部37、およびDVデコード部38により構成されている。

記録部31は、ネットワーク11を介してチューナ13より供給されるテレビジョン放送信号を構成する画像信号（SDTV信号）および音声信号を所定の方式で変調し、記憶部32に供給し、記憶させる。記憶部32は、例えば、ハードディスクドライブなどで構成される。MPEG(Moving Picture Experts Group)デコード部33は、ネットワーク11を介してチューナ13より供給された画像信号としてのSDTV信号をデコードして、リアルタイムアップコンバータ34とノンリアルタイム処理部36に出力する。リアルタイムアップコンバータ34は、MPEGデコード部33より供給されたSDTV信号をリアルタイムでアップコンバートして、HDTV信号を生成し、ネットワーク11を介してモニタ14に出力する。

ノンリアルタイム処理部36は、MPEGデコード部33が出力したSDTV信号をノンリアルタイムで処理し、SDTV信号からHDTV信号を生成するのに必要なパラメータを抽出する。DVエンコード部37は、ノンリアルタイム処理部36が出力するパラメータをDVフォーマットでエンコードし、記録部31を介して記憶部32に記憶させる。

再生部35は、記憶部32に記憶されているSDTV信号並びにパラメータを再生し記録部31における変調方式に対応する方式で復調し、SDTV信号をMPEGデコード部33に出力し、パラメータをDVデコード部38に出力する。DVデコード部38は入力されたパラメータをDVフォーマットでデコードし、リアルタイムアップコンバータ34に出力する。

図３は、リアルタイムアップコンバータ34の具体的構成を表している。このリアルタイムアップコンバータ34は、動き判定部51、フィールド間補間部52、フィールド内補間部53、切り替え部54、線順次変換部55、垂直補間部56、並びに水平補間部57により構成されている。

動き判定部51は、MPEGデコード部33より供給されるSDTV信号の動きを判定する。このSDTV信号は、具体的には、480i信号（有効部分の走査線数が480本のインターレース方式の画像信号）とされる。この480iの信号は、垂直ブランキング期間のラインの本数も数えて、525i信号と呼ばれることもある。この動き判定部51には、DVデコード部38の出力も供給されている。

フィールド間補間部52は、入力されるSDTV信号のうち、異なるフィールドの信号を利用して、すなわち、フィールド間補間により存在しないラインの画像信号を生成する。フィールド内補間部53は、入力されるSDTV信号のフィールド内のラインを利用して、そのフィールドに存在しないラインの画像信号を生成する。切り替え部54は、動き判定部51からの制御信号に基づいて、フィールド間補間部52が作成したラインの画像信号、またはフィールド内補間部53が作成したラインの画像信号の一方を選択し、線順次変換部55に出力する。

線順次変換部55は、MPEGデコード部33から供給されるSDTV信号に現存するラインの信号と、切り替え部54から供給されるフィールド間補間部52またはフィールド内補間部53により生成されたラインの信号とを受け取り、水平ラインの倍速処理を行い、480p（ラインの数が480本のプログレッシブ方式の信号）を生成（合成）する。

垂直補間部56は、線順次変換部55より供給された480pの信号を垂直方向に補間し、ラインの数を1080本にする。水平補間部57は垂直補間部56より供給された信号を水平方向に補間し、水平方向の画素数を増加し、最終的に1080pのHDTV信号を生成、出力する。

図２のノンリアルタイム処理部36は、例えば図４に示されるように、動きパラメータ抽出部61により構成される。この動きパラメータ抽出部61は、MPEGデコード部33より供給されたSDTV信号から動きパラメータを抽出し、DVエンコード部37に出力する。動きパラメータ抽出部61は、位相限定相関やフーリエメラン変換などで全体的な動き、回転、ズームを検出し、その後、局所的な異なる動きを検出するような手法で、画素単位以下の高精度の動きベクトルを抽出する。

次に、図５のフローチャートを参照して、ホームネットワークシステム１における受信処理について説明する。この処理は、例えばユーザが所定のチャンネルのテレビジョン放送信号の録画を指令したとき、開始される。

ステップS1において、チューナ13は、ユーザにより指定されたチャンネルのテレビジョン放送信号を受信し、その受信した信号をネットワーク11を介してサーバ12に出力する。ステップS2において、サーバ12の記録部31は、チューナ13によりネットワーク11を介して供給された受信信号を、予め設定されている所定の方式で変調する。ステップS3において、記憶部32は、記録部31により変調された信号を記憶する。

ステップS4において、MPEGデコード部33は、チューナ13より供給された受信信号をMPEGフォーマットでデコードし、リアルタイムアップコンバータ34に出力する。ステップS5において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理の詳細は図６のフローチャートを参照して後述するが、この処理によりMPEGデコード部33より入力された信号がリアルタイムでアップコンバートされ、HDTV信号とされる。ステップS6において、モニタ14は、ネットワーク11を介してサーバ12より供給された信号に対応する画像を表示する。

なお、例えば、いわゆる留守録画が指令された場合には、ステップS4乃至ステップS6の処理は省略される。

次に、図６のフローチャートを参照して、リアルタイムアップコンバート処理の詳細について説明する。

ステップS21において、フィールド間補間部52は、入力されたSDTV信号をフィールド間補間する。具体的には、SDTV信号で構成される異なるフィールドの信号を利用して、実際には存在しないラインの信号が生成される。ステップS22において、フィールド内補間部53は、フィールド内補間する。すなわち、フィールド内補間部53は、入力されたSDTV信号の同一のフィールド内のラインを利用して、そのフィールドに存在しないラインの信号を生成する。ステップS23において、動き判定部51は、入力されたSDTV信号の画像の動きを判定する。そして、ステップS24において、動き判定部51は検出した動きに基づいて切り替え部54を制御し、フィールド間補間部52が出力する信号またはフィールド内補間部53が出力する信号のいずれかを選択する。検出された動きが基準値より大きいときフィールド内補間部53が生成した信号が選択され、基準値より小さいときフィールド間補間部52が生成した信号が切り替え、選択される。

ステップS25において、線順次変換部55は線順次変換する。具体的には、線順次変換部55は、MPEGデコード部33より入力されたSDTV信号と、切り替え部54より入力されたフィールド間補間部52またはフィールド内補間部53により補間生成された信号を合成することで、480pの画像信号を生成する。ステップS26において、垂直補間部56は垂直補間する。そしてステップS27において、水平補間部57は水平補間する。すなわち具体的には、垂直補間部56は、線順次変換部55より入力された480pの信号を垂直方向に補間することで、ラインの数を1080本に変換する。水平補間部57は、1080本のラインの水平方向の画素数を生成、増加することで、1080pの画像信号を生成する。

以上のようにして、ユーザが指定したチャンネルのテレビジョン放送信号に基づくHDTV信号の画像がモニタ14に表示されつつ、対応する画像信号（SDTV信号）がサーバ12の記憶部32に記憶される。

以上のようにして録画処理が実行されると、ユーザがその録画した画像の読み出しを指令していないタイミングにおいて、すなわち、例えば録画処理が昼間行われたとして、深夜等、ユーザがその録画した画像を視聴していないタイミングにおいて、あるいは、録画終了後、ユーザによりそのコンテンツの読み出しが指令されていないことが確認されたタイミングにおいて、ユーザが積極的にその処理を禁止しない限り、図７のフローチャートに示される熟成処理がサーバ12により自動的に実行される。これにより、ユーザに余計な負荷がかかることが防止される。

ステップS41において、再生部35は、記憶部32に記憶されているSDTV信号を再生、復調する。このとき、まだ熟成処理が行われていないSDTV信号が選択される。ステップS42において、MPEGデコード部33は、再生部35により再生されたSDTV信号をMPEGフォーマットでデコードする。ステップS43において、ノンリアルタイム処理部36は、MPEGデコード部33より出力されたSDTV信号をノンリアルタイム処理する。このノンリアルタイム処理の詳細は、図８に示されている。

すなわち、この実施の形態においては、ステップS61において、ノンリアルタイム処理部36の動きパラメータ抽出部61が、MPEGデコード部33より供給されたSDTV信号の動きパラメータとして動きベクトルを抽出する。

具体的には、動きパラメータ抽出部61は、位相限定相関で全体的な動き、回転、ズームを検出し、その後、局所的な異なる動きを検出するような手法で、正確に動きを検出する。より詳細には、例えば６フレーム乃至12フレームの画像信号を観測することで、画素単位以下の高精度で動きベクトルが検出される。この検出には時間がかかるが、今、ユーザは処理対象の画像を再生（利用）していないので（画像を表示する必要がないので）、ノンリアルタイムで充分時間をかけて処理を行うことが可能である。

これに対して、図６のステップS23において動き判定部51が行う動き判定処理は、リアルタイムで行われるものであるため（画像を表示する必要があるので）、処理に時間をかけることができず、充分な精度の動きベクトルを検出することが困難である。例えば、フレーム間の輝度の差で動きベクトルを検出する場合、微小振幅のテクスチャの動きを検出することが困難である。また、ブロックマッチングにより動きベクトルを検出する場合には、計算量を軽減するためブロックサイズはあまり大きくすることができない。このため、境界での動き検出が不正確となる。

ステップS44において、DVエンコード部37はノンリアルタイム処理部36により生成された動きベクトルをDVフォーマットでエンコードする。

ステップS45において、記録部31は、DVエンコード部37によりエンコードされた動きベクトルを変調し、ステップS46において記憶部32は、記録部31により変調された動きベクトルを記憶する。この動きベクトルは、SDTV信号と対応付けて記憶される。

熟成処理の途中で処理対象のコンテンツの再生がユーザにより指示された場合には、その時点で熟成処理は中断され、コンテンツの再生処理が実行される。その再生が終了した後、中断された後の熟成処理が実行される。

次に、図９のフローチャートを参照して再生処理について説明する。この処理は、ユーザが記憶部32に記憶されているコンテンツを指定して、その再生を指示したとき開始される。

ステップS81において、再生部35は、記憶部32に記憶されており、ユーザにより指定されたコンテンツのSDTV信号と、それに対応付けられている動きパラメータ（いまの場合、動きベクトル）を再生、復調する。再生部35は、再生したSDTV信号をMPEGデコード部33に出力し、動きパラメータとしての動きベクトルをDVデコード部38に出力する。ステップS82において、MPEGデコード部33は、SDTV信号をMPEGフォーマットでデコードする。ステップS83において、DVデコード部38は、動きパラメータをDVフォーマットでデコードする。ステップS84において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理の詳細は、図10を参照して後述するが、これにより、動きパラメータとしての動きベクトルを利用してリアルタイムでアップコンバート処理が実行される。リアルタイムアップコンバータ34は、アップコンバートして生成したHDTV信号をネットワーク11を介してモニタ14に出力する。ステップS85において、モニタ14は、SDTV信号に対応する高品位の画像を表示する。

次に、図10のフローチャートを参照して、図９のステップS84におけるリアルタイムアップコンバート処理の詳細について説明する。

図10のステップS101乃至ステップS107の処理は、図６のステップS21乃至ステップS27の処理と基本的に同様の処理である。ただし、図６のステップS23における動き判定処理に対応する図10のステップS103の処理が、図６における場合と異なっている。すなわち、ステップS103においては、SDTV信号から動き判定する代わりに、動きパラメータを選択する処理が実行される。具体的には、動き判定部51は、動きパラメータが記憶されていない場合には、図６のステップS23における場合と同様にSDTV信号から動き判定を実行するが、動きパラメータが記憶されている場合には（DVデコード部38から動きパラメータが入力された場合には）、その動きパラメータに基づいて切り替え部54の切り替えを制御する。上述した場合と同様に、供給された動きベクトルが基準値より大きければフィールド内補間部53の出力が選択され、小さければ、フィールド間補間部52の出力が選択される。

図６のステップS23において行われる動き判定処理においては、動画像から動きが検出されるため、例えば、輝度のフレーム間差で動きベクトルを検出する場合、微小振幅のテクスチャの動きを検出することが困難である。また、動きベクトルをブロックマッチングで検出する場合、計算量を減少させるためブロックサイズをある程度大きくしなければならず、境界での動き検出が不正確となる。これに対して、図７のステップS43のノンリアルタイム処理において行われる動きパラメータの抽出処理は、充分な時間をかけて行われるため、画素単位以下の高精度の動きベクトルを検出することが可能となる。したがって、切り替え部54をこの動きベクトルに基づいて制御することで、より正確な制御が可能となる。その結果、より高品位のHDTV信号を生成することが可能となる。

図10のその他の処理は、図６における場合と同様であるので、その説明は省略する。

図11は、サーバ12の他の実施の形態の構成を表している。この実施の形態においては、図２におけるノンリアルタイム処理部36に代えて、ノンリアルタイムアップコンバータ81が設けられている。そして、ノンリアルタイムアップコンバータ81の出力と、リアルタイムアップコンバータ34の出力の差分が、差分演算手段としての減算部82により演算され、DVエンコード部37に供給されるように構成されている。また、リアルタイムアップコンバータ34の出力が加算部83に供給され、DVデコード部38より供給された差分と加算され、モニタ14に出力されるように構成されている。その他の構成は、図２における場合と同様である。

ノンリアルタイムアップコンバータ81は、例えば、図12に示されるように構成される。このノンリアルタイムアップコンバータ81は、スケーリング部101、動きベクトル検出部102、動きベクトル保存部103、位置合わせ部104、動き検出部105、並びに切り替え部106により構成されている。

スケーリング部101は、MPEGデコード部33より供給されたSDTV信号をHDTV信号の画素数にアップスケーリングする処理を実行する。動きベクトル検出部102は、スケーリング部101より供給されたHDTV信号から動きベクトルを検出する。動きベクトル保存部103は、動きベクトル検出部102により検出された動きベクトルを保存する。位置合わせ部104は、スケーリング部101より供給されたHDTV信号の画像の位置を、動きベクトル保存部103より供給された動きベクトルに基づいて調整し、その調整した後の画像と、スケーリング部101より供給されるHDTV信号の画像の対応する画素同志の平均値を演算し、それにより生成したHDTV信号を切り替え部106に出力する。

動き検出部105には、位置を調整した後の画像のHDTV信号と、スケーリング部101より出力された元画像のHDTV信号も、位置合わせ部104から供給されている。動き検出部105は、位置合わせした後の画像と、元画像の各画素の差分絶対値を演算することで画像の動きを検出し、その検出結果に基づいて切り替え部106を制御する。切り替え部106は、スケーリング部101より供給されたHDTV信号と、位置合わせ部104より供給されたHDTV信号のいずれかを動き検出部105の検出結果に基づいて切り替え、出力する。

図11のリアルタイムアップコンバータ34は、図３に示される場合と同様に構成される。ただし、動き判定部51には、DVデコード部38の出力が供給されておらず、動き判定部51は、MPEGデコード部33からのSDTV信号の動き判定のみを実行する。すなわち、上述した図６のリアルタイムアップコンバート処理を実行する。

図11の実施の形態における受信処理は、図５のフローチャートに示される場合と同様であるので、その説明は省略する。次に、図11の実施の形態における熟成処理について、図13のフローチャートを参照して説明する。この処理も、ユーザによりSDTV信号の読み出し処理が実行されていないタイミングにおいて、サーバ12により自動的に実行される。

ステップS131において、再生部35は、記憶部32に記憶されているまだ熟成処理していないSDTV信号を再生、復調する。再生されたSDTV信号は、MPEGデコード部33に供給される。ステップS132において、MPEGデコード部33は、再生部35より供給されたSDTV信号をMPEGフォーマットでデコードする。

ステップS133において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理は、図６に示される場合と同様の処理である。すなわち、これによりリアルタイムでHDTV信号が生成され、減算部82に供給される。なお、ここにおけるリアルタイムとは、今、ユーザがSDTV信号の再生を指示をしているわけではないので、必ずしもリアルタイムで画像を表示する必要がないのであるが、表示しようとすれば、その画像をリアルタイムで表示することができるという意味である。

次に、ステップS134において、ノンリアルタイムアップコンバータ81により、ノンリアルタイムアップコンバート処理が実行される。このノンリアルタイムアップコンバート処理の詳細は、図14のフローチャートを参照して後述するが、これにより、ノンリアルタイムでHDTV信号が生成され、減算部82に供給される。ステップS135において、減算部82は、ノンリアルタイムアップコンバータ81から供給されたHDTV信号を、リアルタイムアップコンバータ34より供給されたHDTV信号から減算することで、その差分を演算する。

ステップS136において、DVエンコード部37は、減算部82より供給された２つのHDTV信号の差分の信号をDVフォーマットでエンコードする。ステップS137において、記録部31は、DVエンコード部37より供給された信号を所定の変調方式で変調する。ステップS138において、記憶部32は、記録部31より供給されたDVエンコードされた差分信号をSDTV信号に対応付けて記憶する。

次に、図14を参照して、図13のステップS134におけるノンリアルタイムアップコンバート処理の詳細について説明する。

ステップS151において、スケーリング部101は、MPEGデコード部33より供給されたSDTV信号をスケーリングする。すなわち、これにより、画像数がSDTV信号の画素数からHDTV信号の画素数にアップスケーリングされる。ステップS152において、動きベクトル検出部102は、スケーリング部101より出力されたHDTV信号から動きベクトルを検出する。今、画像を表示する必要がないので、この動きベクトル検出処理は充分な時間をかけて行われる。これにより、極めて精度の高い画素単位以下の動きベクトルを検出することが可能となる。ステップS153において、動きベクトル保存部103は、動きベクトル検出部102により検出された動きベクトルを保存する。

ステップS154において、位置合わせ部104は、スケーリング部101より入力されたHDTV信号の画像の位置を合わせる処理を、動きベクトル保存部103より読み出された動きベクトルに基づいて行う。

例えば、図15に示されるように、スケーリング部101より出力される画像の第１のフレームF1（図15の上の図）に、木122と木122の方向（図中右方向）に移動しているボール121Aが存在するとする。そのフレームF1より時間的に後のフレームF2（図15の下の図）においては、ボール121Bが木122に、より近づいている。すなわち、ボール121Bは動き量Ｖで図中右方向に移動している。この動き量Ｖが、フレームF1とフレームF2の間におけるボール121Bの動きベクトルとして動きベクトル検出部102により検出されている。この場合、位置合わせ部104は、図16に示されるように、動きベクトルに基づいて、フレームF2を動き量Ｖ分だけその位置をずらしてフレームF1に位置合わせを行うことでフレームF2’を生成する。そして、位置合わせ部104は、フレームF1とフレームF2’を、対応する画素同志を加算することで合成する。その結果、各画素のレベルが枚数倍（今の場合、２倍）になるので、枚数で割り算をすることで画素値を元の値のスケールに戻す。すなわち、平均値が演算される。

このような合成処理を行うことで、フレーム相関のないランダムノイズを減衰させることができる。また、一般的に、垂直方向に画像が動くと、ラインとの合致に応じて周波数特性が変化する。しかし、変化している複数フレームを重ね合わせることで、インターレース画像特有のラインフリッカを軽減することができる。すなわち、この処理により、高画質化することが可能となる。

次に、ステップS155において、動き検出部105は動きを検出する。具体的には、動き検出部105は、位置合わせ部104より供給された元画像としてのフレームF1と、位置合わせした後の画像としてのフレームF2’の対応する画素の差分の絶対値を演算する。図17に示されるように、フレームF1とフレームF2’の差分の絶対値を演算すると、対応する画素が存在し、動きがほとんどない画素の差分の絶対値は、図中、白で示される領域のように、０かまたは充分小さな値となる。これに対して、ボール121A,121Bの画素のように、動きが存在する画素は、その差分絶対値は充分小さくはならない。同様に、対応する画素が存在しない領域（図17において、右端に示される領域）においても、差分の絶対値が充分小さくはならない。動き検出部105は、差分絶対値の値を予め設定されている所定の閾値と比較し、その比較結果を切り替え部106に出力する。

ステップS156において、切り替え部106は、動き検出部105からの信号に基づいて、元のHDTV信号または合成されたHDTV信号を切り替える。具体的には、切り替え部106は、動き検出部105が出力する信号が閾値より大きいことを示す場合、スケーリング部101より供給された元のHDTV信号（元画像）を選択する。これに対して、動き検出部105が出力する信号が閾値より小さいことを表している場合、切り替え部106は、位置合わせ部104より供給された、合成されたHDTV信号を選択する。これにより、動いている部分の画像が、画像を合成することでぼけてしまうようなことが抑制される。

以上のようにして、減算部82により、ノンリアルタイムアップコンバータ81により演算されたHDTV信号が、リアルタイムアップコンバータ34により生成されたHDTV信号から減算され、DVエンコード部37によりDVフォーマットでエンコードされて、記憶部32に記憶されることになる。

なお、以上の各実施の形態においては、音声データについてはその説明を省略したが、SDTV信号またはHDTV信号に対応する音声データは、SDTV信号またはHDTV信号と同様に処理される。

次に、図18のフローチャートを参照して、図11の実施の形態の再生処理について説明する。この処理は、ユーザが、所定のコンテンツの再生を指示したとき開始される。

ステップS171において、再生部35は、記憶部32に記憶されているユーザにより指定されたコンテンツのSDTV信号と差分信号を再生、復調する。再生部35は、再生したSDTV信号をMPEGデコード部33に出力し、差分信号をDVデコード部38に出力する。ステップS172において、MPEGデコード部33は、再生部35より供給されたSDTV信号をMPEGフォーマットでデコードする。ステップS173において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理は、図６のフローチャートに示される場合と同様の処理である。

ステップS174において、DVデコード部38は、再生部35より供給された差分信号をDVフォーマットでデコードし、加算部83に出力する。ステップS175において、加算部83は差分信号を加算する。すなわち、リアルタイムアップコンバータ34より出力されたリアルタイムで生成されたHDTV信号に、DVデコード部38より供給された差分信号が、加算部83において加算される。これにより、図５のフローチャートに示される受信時の処理のように、差分信号を使用しない場合に較べて、より高品位のHDTV信号が生成されることになる。加算部83は、このHDTV信号をネットワーク11を介してモニタ14に出力する。ステップS176において、モニタ14は、サーバ12よりネットワーク11を介して供給されてきたHDTV信号に対応する高品位の画像を表示する。

図19は、サーバ12のさらに他の実施の形態を表している。この実施の形態においては、サーバ12は、家庭内のネットワーク11だけではなく、外部のネットワーク16を介して、そこに接続されている他の装置（図示せず）にHDTV信号と差分信号を送信する機能を有している。このため、図19のサーバ12は、DVエンコード部37の出力を平準化する平準化部151を有している。また、サーバ12は、記憶部32に記憶されている画像信号と音声信号に対応するメタデータを記憶する記憶部152、再生部35により再生された音声信号とメタデータをDVエンコードするDVエンコード部153、DVエンコード部153によりDVフォーマットでエンコードされた音声信号とメタデータを、再生部35より出力されたHDTV信号と差分信号にマルチプレクスするマルチプレクサ154、並びにマルチプレクサ154の出力を通信装置15を介してネットワーク16に出力する送信部155とを備えている。

その他の構成は、図11における場合と同様であるので、その説明は繰り返しなので省略する。

次に、図19のサーバ12の処理について説明する。その受信処理と再生処理は、図５と図18に示した場合と同様であるので省略する。

図19のサーバ12の熟成処理は、図20のフローチャートに示されるようになる。

ステップS201乃至ステップS209の処理は、図13におけるステップS131乃至ステップS138の処理と基本的に同様の処理である。ただ、図13のステップS136,S137に対応する図20のステップS206,208の間に、ステップS207の処理が挿入されている点が異なっている。

すなわち、図20の熟成処理においては、ステップS206において、DVエンコード部37により減算部82が出力する差分信号が、DVフォーマットでエンコードされた後、ステップS207において、平準化部151は、エンコードされた差分信号を平準化する。すなわち、ネットワーク16を介して送信されるときに、データ量が均一となるような処理がここで実行される。そして、平準化された後の差分信号が、ステップS208において記憶部31により変調され、ステップS209において記憶部32に記憶される。

その他の処理は、図13における場合と同様である。

次に、図21のフローチャートを参照して、図19のサーバ12の送信処理について説明する。この処理は、ユーザによりサーバ12に対してコンテンツの送信が指令されたとき開始される。

ステップS231において、再生部35は、ユーザにより指定されたコンテンツのSDTV信号と差分信号を記憶部32から再生、復調する。ステップS232において、再生部35は、記憶部152から指定されたコンテンツのSDTV信号に対応するメタデータを再生する。再生部35は、再生した音声信号とメタデータをDVエンコード部153に出力する。ステップS233において、DVエンコード部153は、入力された音声信号とメタデータをDVフォーマットでエンコードする。ステップS234において、マルチプレクサ154は、再生部35より入力されたSDTV信号と差分信号、並びにDVエンコード部153より供給されたDVフォーマットでエンコードされている音声信号とメタデータをマルチプレクスする。ステップS235において、送信部155は、マルチプレクサ154より入力された信号を送信する。すなわち、この信号が通信装置15を介してネットワーク16に供給され、図示せぬ外部の装置に送信される。

なお、図19の実施の形態は、ホームネットワーク内で信号を送信する場合に用いるようにしてもよい。

なお、生成したHDTV信号そのものを記憶させることもできるが、そのようにすると、データ量が多くなるので、パラメータあるいは差分信号を記憶するようにした方が、データ量を少なくすることができ、記憶部を効率的に利用することができる。例えば、HDTV信号をDVフォーマットでエンコードして記憶すると、データ量は、SDTV信号を記憶する場合の約7.25倍となり、MPEG4-AVCフォーマットの場合、約2.5倍となるのに対して、パラメータあるいは差分信号を記憶する場合、約1.5倍となる。

以上においては、パラメータを動きベクトルとしたが、明るさ、コントラスト、またはフレーム間差分情報とすることができる。あるいは、パラメータを、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータとすることもできる。

さらに、処理対象とするコンテンツ信号は音声信号とすることができ、パラメータは、DSD(Direct Stream Digital)ストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータとすることができる。

図22は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成を示すブロック図である。CPU（Central Processing Unit）221は、ROM（Read Only Memory）222、または記憶部228に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）223には、CPU221が実行するプログラムやデータなどが適宜記憶される。これらのCPU221、ROM222、およびRAM223は、バス224により相互に接続されている。

CPU221にはまた、バス224を介して入出力インタフェース225が接続されている。入出力インタフェース225には、キーボード、マウス、マイクロホンなどよりなる入力部226、ディスプレイ、スピーカなどよりなる出力部227が接続されている。CPU221は、入力部226から入力される指令に対応して各種の処理を実行する。そして、CPU221は、処理の結果を出力部227に出力する。

入出力インタフェース225に接続されている記憶部228は、例えばハードディスクからなり、CPU221が実行するプログラムや各種のデータを記憶する。通信部229は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部229を介してプログラムを取得し、記憶部228に記憶してもよい。

入出力インタフェース225に接続されているドライブ230は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア231が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部228に転送され、記憶される。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図22に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア231、または、プログラムが一時的もしくは永続的に格納されるROM222や、記憶部228を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部229を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したホームネットワークシステムの構成を示すブロック図である。 サーバの一実施の形態の構成を示すブロック図である。 リアルタイムアップコンバータの構成を示すブロック図である。 ノンリアルタイム処理部の構成を示すブロック図である。 図２の実施の形態の受信処理を説明するフローチャートである。 図５のステップS5のリアルタイムアップコンバート処理を説明するフローチャートである。 熟成処理を説明するフローチャートである。 図７のステップS43のノンリアルタイム処理の詳細を説明するフローチャートである。 図２の実施の形態の再生処理を説明するフローチャートである。 図９のステップS84のリアルタイムアップコンバート処理を説明するフローチャートである。 本発明を適用したサーバの他の実施の形態の構成を示すブロック図である。 ノンリアルタイムアップコンバータの構成示すブロック図である。 図11のサーバの熟成処理を説明するフローチャートである。 図13のステップS134のノンリアルタイムアップコンバート処理の詳細を説明するフローチャートである。 図14のステップS154の位置合わせを説明する図である。 図14のステップS154の位置合わせを説明する図である。 図14のステップS155の動きを検出する処理を説明する図である。 図11の実施の形態の再生処理を説明するフローチャートである。 本発明を適用したサーバの他の実施の形態の構成を示すブロック図である。 図19の実施の形態の熟成処理を説明するフローチャートである。 図19の実施の形態の送信処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ ホームネットワークシステム， 11 ネットワーク， 12 サーバ， 13 チューナ， 14 モニタ， 15 通信装置， 16 ネットワーク， 31 記録部， 32 記憶部， 33 MPEGデコード部， 34 リアルタイムアップコンバータ， 35 再生部， 36 ノンリアルタイム処理部， 37 DVエンコード部， 38 DVデコード部

Claims (17)

1. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段と、
   前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段と
   を備えるコンテンツ処理装置。
2. 前記コンテンツ信号は画像信号であり、
   前記パラメータは、動きベクトル、明るさ、コントラスト、またはフレーム間差分情報である
   請求項１に記載のコンテンツ処理装置。
3. 前記コンテンツ信号は画像信号であり、
   前記パラメータは、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータである
   請求項１に記載のコンテンツ処理装置。
4. 前記コンテンツ信号は音声信号であり、
   前記パラメータは、DSDストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータである
   請求項１に記載のコンテンツ処理装置。
5. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、
   前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する
   ステップを備えるコンテンツ処理方法。
6. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、
   前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する
   ステップをコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムが記録されている記録媒体。
8. 低品位のコンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するリアルタイム処理手段と、
   記憶部に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段と、
   前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段と、
   前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段と
   を備えるコンテンツ処理装置。
9. 前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、
   前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段をさらに備える
   請求項８に記載のコンテンツ処理装置。
10. 前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段
    をさらに備える請求項８に記載のコンテンツ処理装置。
11. 前記差分のデータ量を平準化する平準化手段をさらに備え、
    前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化する
    請求項１０に記載のコンテンツ処理装置。
12. 前記コンテンツ信号は画像信号であり、
    低品位の前記コンテンツ信号は、低解像度の画像信号であり、
    高品位の前記コンテンツ信号は、高解像度の画像信号である
    請求項８に記載のコンテンツ処理装置。
13. 前記ノンリアルタイム処理手段は、
    低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段と、
    高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段と、
    検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段とを備える
    請求項８に記載のコンテンツ処理装置。
14. 前記リアルタイム処理手段は、
    低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段と、
    低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段と、
    低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段と、
    判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段と、
    低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段と、
    合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段とを備える
    請求項８に記載のコンテンツ処理装置。
15. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、
    前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、
    リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、
    前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する
    ステップを備えるコンテンツ処理方法。
16. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、
    前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、
    リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、
    前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する
    ステップをコンピュータに実行させるプログラム。
17. 請求項１６に記載のプログラムが記録されている記録媒体。

Images