JP2007067923A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】演算装置にかかる負荷を低減しつつ高画質な映像を生成できるようにする。
【解決手段】コンピュータは、インターレース映像信号に基づいてプログレッシブ映像信号を生成することが可能である。画素補完モジュール３０１および輝度伸長モジュール３０２は、インターレース-プログレッシブ変換処理（ＩＰ変換処理）を行う前に、インターレース映像信号中の時間的に前後する個々のフィールド情報に対して映像調整処理を施す。ＩＰ変換モジュール３０３は、上記映像調整処理が施された少なくとも３枚のフィールド情報を用いた補間処理を行うことによってプログレッシブ映像信号を構成する個々のフレームを形成する。
【選択図】 図３

Description

本発明はパーソナルコンピュータのような情報処理装置および同装置で用いられるプログラムに関する。

一般に、ＴＶ放送番組の放映等に使われている映像信号は、水平方向の走査を上から下へ１本おきに行うインターレース映像信号である。これに対し、コンピュータのディスプレイモニタ上の表示に使われる映像信号は、水平方向の走査を上から下へ順次行うプログレッシブ映像信号である。このため、ＴＶチューナ等を通じて得られたＴＶ放送番組などの映像データをコンピュータのディスプレイに表示させる場合、インターレース映像信号はプログレッシブ映像信号に変換する必要がある。この変換は、一般に、ＩＰ変換（もしくはプログレッシブ変換）と呼ばれる。例えば、特許文献１には、ＩＰ変換において、垂直方向の１／２間引き処理を行い、その際に同一フレーム内で時間的に後ろになるフィールドを選択することによって画質を劣化させないようにする技術が開示されている。

ＩＰ変換においては、プログレッシブ映像信号中の１枚のフレーム画像は、インターレース映像信号中の時間的に前後する複数のフィールド情報を用いた補間処理により形成される。１枚のフレーム画像を形成するに際し、使用するフィールド情報を２枚だけではなく、例えば３枚用いることにより、高いサンプリング周波数の映像信号を得ることができ、ディスプレイに映し出される映像をより一層滑らかに表現することができる。このようなＩＰ変換は、一般に、倍フレーム化と呼ばれる。倍フレーム化は、演算処理量を増加させるものの、映像の高画質化が要求されるコンピュータにおいては重要な処理となっている。

また、ＴＶ放送番組の放映等に使われている映像信号をコンピュータのディスプレイに適切に表示できるようにするには、上記ＩＰ変換のほかに、映像のアスペクト比を変換するスケーリング処理や、低い解像度を高める解像度変換処理や、黒伸長・白伸長を含む輝度伸長処理など（以下、映像調整処理と称す）を行う必要がある。
特開２００３−８７７９７号公報

しかし、このような映像調整処理を、倍フレーム化された高いサンプリング周波数の信号を構成する個々のフレームに対して施すと、演算処理量がさらに増加することとなり、ＣＰＵなどの演算装置に大きな負荷を与えてしまう結果となる。

本発明は上述の事情を考慮してなされたものであり、演算装置にかかる負荷を低減しつつ高画質な映像を生成することができる情報処理装置およびプログラムを提供することを目的とする。

本発明に係る情報処理装置は、インターレース映像信号に基づいてプログレッシブ映像信号を生成することが可能な情報処理装置であって、前記インターレース映像信号中の時間的に前後する個々のフィールド情報に対して映像調整処理を施す映像調整処理手段と、前記映像調整処理が施された少なくとも３枚のフィールド情報を用いた補間処理を行うことによって前記プログレッシブ映像信号を構成する個々のフレームを形成するインターレース-プログレッシブ変換処理手段とを具備することを特徴とする。

本発明に係るプログラムは、インターレース映像信号に基づいてプログレッシブ映像信号を生成するための処理をコンピュータに実行させるプログラムであって、前記インターレース映像信号中の時間的に前後する個々のフィールド情報に対して映像調整処理を施す手順と、前記映像調整処理が施された少なくとも３枚のフィールド情報を用いた補間処理を行うことによって前記プログレッシブ映像信号を構成する個々のフレームを形成する手順とを具備することを特徴とする。

本発明によれば、演算装置にかかる負荷を低減しつつ高画質な映像を生成することができる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

図１はノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における正面図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ／ＣＤ起動ボタン１５Ｂも含まれている。ＴＶ起動ボタン１５Ａは、ＴＶ放送番組データの再生、視聴及び記録を行うためのＴＶ機能を起動するためのボタンである。ＴＶ起動ボタン１５Ａがユーザによって押下された時、ＴＶ機能を実行するためのＴＶアプリケーションプログラムが自動的に起動される。

本コンピュータにおいては、汎用の主オペレーティングシステムの他に、ＡＶ（オーディオ・ビデオ）データを処理するための専用の副オペレーティングシステムがインストールされている。

電源がオフの状態でパワーボタン１４がユーザによって押下された時、主オペレーティングシステムが起動される。主オペレーティングシステム起動中にＴＶ起動ボタン１５Ａがユーザによって押下された時は、主オペレーティングシステム上のＴＶアプリケーションが起動する。一方、電源がオフの状態でＴＶ起動ボタン１５Ａがユーザによって押下された時は、主オペレーティングシステムではなく、副オペレーティングシステムが起動され、そしてＴＶアプリケーションプログラムが自動的に実行される。副オペレーティングシステムはＡＶ機能を実行するための最小限の機能のみを有している。このため、副オペレーティングシステムのブートアップに要する時間は、主オペレーティングシステムのブートアップに要する時間に比べて遙かに短い。よって、ユーザは、ＴＶ起動ボタン１５Ａを押すだけで、ＴＶ視聴／録画を即座に行うことが出来る。

ＤＶＤ／ＣＤ起動ボタン１５Ｂは、ＤＶＤまたはＣＤに記録されたビデオコンテンツを再生するためのボタンである。ＤＶＤ／ＣＤ起動ボタン１５Ｂがユーザによって押下された時、ビデオコンテンツを再生するためのビデオ再生アプリケーションプログラムが自動的に起動される。ＤＶＤ／ＣＤ起動ボタン１５Ｂがユーザによって押下された時は、主オペレーティングシステム起動中であれば主オペレーティングシステム上のビデオ再生アプリケーションが起動する。電源オフの状態であれば主オペレーティングシステムではなく、副オペレーティングシステムが起動され、そしてビデオ再生アプリケーションプログラムが自動的に実行される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、ＴＶチューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、主オペレーティングシステム／副オペレーティングシステム、およびＴＶアプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。このＣＰＵ１１１は複数のパイプラインを用いて、複数の処理を並列に実行することができる。

ＴＶアプリケーションプログラム２０１は、ＴＶチューナ１２３によって受信されたＴＶ放送番組データに含まれる映像データを高画質化するための機能を有している。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた映像データをＬＣＤ１７に表示する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、ＴＶチューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。

ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤ、ＣＤなどの記憶メディアを駆動するためのドライブユニットである。ＴＶチューナ１２３は、ＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。本コンピュータ１０の各コンポーネントに供給される動作電源は、本コンピュータ１０に内蔵されたバッテリ１２６、またはＡＣアダプタ１２７を介して外部から供給される外部電源から生成される。

さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ／ＣＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０をパワーオンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。

図３は、図２中のＴＶアプリケーションプログラム２０１の機能構成を示すブロック図である。

このＴＶアプリケーションプログラム２０１は、ストリームとして送られる映像を高画質化するための映像処理機能として、画素補完モジュール３０１、輝度伸長モジュール３０２、ＩＰ変換モジュール３０３などを備えている。ＴＶアプリケーションプログラム２０１は、これらのモジュールを用いて、図４に示されるような複数のフィールド情報が時系列で順次送られてくるインターレース映像信号に対して画素補完や輝度伸長などの映像調整処理を行った後に、インターレース-プログレッシブ変換（ＩＰ変換）を行うことにより、プログレッシブ映像信号を生成する。すなわち、本実施形態においては、画素補完や輝度伸長などの映像調整処理は、ＩＰ変換処理の前に行われる。

画素補完モジュール３０１は、インターレース映像信号中の時間的に前後する個々のフィールド情報に対して画素の補完を行う画素補完処理（画像調整処理のうちの一つ）を実行するものであり、図５に示されるように、ノンリニア（非線形）スケーリングモジュール３１１、解像度変更モジュール３１２などを含む。上記ノンリニアスケーリングモジュール３１１は、個々のフィールド情報に対し、中央の領域から端の領域へ向かうにつれて画素補完を行って領域幅の伸長率を増加させるノンリニアスケーリング処理を実行するものである。上記解像度変更モジュール３１２は、個々のフィールド情報に対して画素補完を行って解像度を高める解像度変更処理を実行するものである。

輝度伸長モジュール３０２は、画素補完モジュール３０１により画素補完処理が施された個々のフィールド情報に対して輝度の調整を画素単位で行う輝度伸長処理を実行するものであり、図６に示されるように、黒伸長モジュール３２１、白伸長モジュール３２２などを含む。上記黒伸長モジュール３２１は、個々のフィールド情報に対し、白飛び等の発生を回避すべく黒の色合いを強める階調補正処理を実行するものである。上記白伸長モジュール３２２は、個々のフィールド情報に対し、黒潰れ等の発生を回避すべく白の色合いを強める階調補正処理を実行するものである。これらのモジュールにより、映像のダイナミックレンジを広げることができる。

ＩＰ変換モジュール３０３は、インターレース映像信号からプログレッシブ映像信号への変換処理を実行するものであり、画素補完モジュール３０１や輝度伸長モジュール３０２を通じて映像調整処理が施された後の少なくとも３枚のフィールド情報を用いた補間処理を行うことによってプログレッシブ映像信号を構成する個々のフレームを形成する（倍フレーム化する）。

ＴＶアプリケーションプログラム２０１によって高画質化された映像データは、表示ドライバ２０２を介してグラフィクスコントローラ１１４のビデオメモリ１１４Ａに書き込まれる。表示ドライバ２０２はグラフィクスコントローラ１１４を制御するためのソフトウェアである。

図７は、画素補完モジュール３０１に含まれるノンリニアスケーリングモジュール３１１および解像度変更モジュール３１２による処理を説明するための図である。

ノンリニアスケーリングモジュール３１１において、例えば、アスペクト比が４：３の元映像信号Ｖ０をアスペクト比が１６：９の表示映像信号Ｖ１に変換するノンリニアスケーリングを実行する場合、特に水平方向への画像伸長を大きくする必要がある。この場合、図示のように、当該映像信号中の中央部分は伸長せず、端の領域へ向かうにつれて領域幅の伸長率を増加させることにより、視聴者に与える映像伸長の違和感を低減させることができる。具体的には、図８に示すように、元映像信号Ｖ０を複数のブロックに分け、個々のブロックを水平方向に伸長するに際し、それぞれを同じ比率で伸長するのではなく、当該映像信号中の中央のブロック幅の伸長率を抑えつつ端の領域へ向かうにつれてブロック幅の伸長率を増加させる。このようなブロック幅の伸長のためには、画素補完が行われる。

また、解像度変更モジュール３１２においては、比較的に低い解像度の元映像信号Ｖ０から、比較的高い解像度の表示映像信号Ｖ２への変換処理が行われる。このように解像度を高める処理においては、画素補完が行われる。

図９は、基本的なＩＰ変換の手法を示す図である。一方、図１０は、ＩＰ変換モジュール３０３におけるＩＰ変換（倍フレーム化）の手法を示す図である。各図においては、インターレース映像信号が、時間的に前後するフィールド情報（t），フィールド情報（t+1），フィールド情報（t+2），フィールド情報（t+3），…で構成され、これらのフィールド情報は１秒間に６０枚のレートで送られるものとする。この場合、隣接するフィールド情報の時間間隔は、１／６０秒である。

図９に示される基本的なＩＰ変換では、例えば、時刻tのフィールド情報（t）と時刻t+1のフィールド情報（t+1）とに基づき、時刻tにおけるフレーム（t）が得られる。同様に、時刻t+2のフィールド情報（t+2）と時刻t+3のフィールド情報（t+3）とに基づき、時刻t+2のフレーム（t+2）が得られる。この結果、サンプリング周波数が３０Ｈｚのプログレッシブ映像信号が得られることになる。

これに対し、図１０に示されるＩＰ変換では、例えば、時刻tのフィールド情報（t）と時刻t+1のフィールド情報（t+1）と時刻t+2のフィールド情報（t+2）とに基づき、時刻t+1におけるフレーム（t+1）が得られる。同様に、時刻t+1のフィールド情報（t+1）と時刻t+2のフィールド情報（t+2）と時刻t+3のフィールド情報（t+3）とに基づき、時刻t+1におけるフレーム（t+1）が得られる。この結果、サンプリング周波数が６０Ｈｚのプログレッシブ映像信号が得られることになる。

このように、ＩＰ変換モジュール３０３でのＩＰ変換によれば、基本的なＩＰ変換に比べ、サンプリング周波数を高めることができるため、表示装置に映し出される画像の滑らかさを向上させることができる。しかも、画素補完や輝度伸長などの映像調整処理は、ＩＰ変換を行う前に既に完了しているため、ＩＰ変換モジュール３０３から出力される映像信号に対してＣＰＵの負荷をさらに高めるような演算処理を施す必要がない。

次に、図１１を参照して、本実施形態における画像処理の動作を説明する。

ＴＶアプリケーションプログラム２０１は、インターレース映像信号を受け取ると（ステップＳ１）、まず、映像調整処理として、画素補完モジュール３０１においてインターレース映像信号中の時間的に前後する個々のフィールド情報に対する画素補完処理（ノンリニアスケーリング処理、解像度変更処理など）を行う（ステップＳ２）。また、同じく映像調整処理として、輝度伸長モジュール３０２において個々のフィールド情報に対する輝度伸長処理（黒伸長処理、白伸長処理などを含む）を行う（ステップＳ３）。

このような映像調整処理を施した後、ＴＶアプリケーションプログラム２０１は、ＩＰ変換モジュール３０３において、少なくとも３枚のフィールド情報を用いた補間処理を行うことによって個々のフレームを形成するインターレース-プログレッシブ変換処理（倍フレーム化）を行う（ステップＳ４）。

最後に、ＴＶアプリケーションプログラム２０１は、ＩＰ変換モジュール３０３により生成されたプログレッシブ映像信号を、ドライバ等を介してＬＣＤ１７などの表示装置へ向けて出力する。

このように本実施形態によれば、画素補完処理（ノンリニアスケーリング処理、解像度変更処理など）や輝度伸長処理（黒伸長処理、白伸長処理などを含む）を、インターレース-プログレッシブ変換処理（倍フレーム化）を行う前に実行しているため、当該処理における演算処理量を低下させることができ、ＣＰＵなどの演算装置にかかる負荷を低減しつつ高画質な映像を生成することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの概観を示す斜視図。 図１のコンピュータのシステム構成を示すブロック図。 図１のコンピュータで用いられるＴＶアプリケーションプログラムの機能構成を示すブロック図。 インターレース映像信号に含まれる複数のフィールド情報を示す概念図。 図３中の画素補完モジュールの機能構成を示す図。 図３中の輝度伸長モジュールの機能構成を示す図。 図５中のノンリニアスケーリングモジュールおよび解像度変更モジュールによる処理を説明するための図 ノンリニアスケーリングの具体例を示す図。 基本的なＩＰ変換の手法を示す図。 ＩＰ変換モジュールにおけるＩＰ変換（倍フレーム化）の手法を示す図。 画像処理の動作を示すフローチャート。

符号の説明

１０…コンピュータ、１１１…ＣＰＵ、１１４…グラフィクスコントローラ、１２３…ＴＶチューナ、２０１…ＴＶアプリケーションプログラム、２０２…表示ドライバ、３０１…画素補完モジュール、３０２…輝度伸長モジュール、３０３…ＩＰ変換モジュール、３１１…ノンリニアスケーリングモジュール、３１２…解像度変更モジュール、３２１…黒伸長モジュール、３２２…白伸長モジュール。

Claims (10)

1. インターレース映像信号に基づいてプログレッシブ映像信号を生成することが可能な情報処理装置であって、
   前記インターレース映像信号中の時間的に前後する個々のフィールド情報に対して映像調整処理を施す映像調整処理手段と、
   前記映像調整処理が施された少なくとも３枚のフィールド情報を用いた補間処理を行うことによって前記プログレッシブ映像信号を構成する個々のフレームを形成するインターレース-プログレッシブ変換処理手段と
   を具備することを特徴とする情報処理装置。
2. 前記映像調整処理は、個々のフィールド情報に対して画素の補完を行う画素補完処理を含むことを特徴とする請求項１記載の情報処理装置。
3. 前記映像調整処理は、個々のフィールド情報に対し、中央の領域から端の領域へ向かうにつれて領域幅の伸長率を増加させるノンリニアスケーリング処理を含むことを特徴とする請求項１又は２記載の情報処理装置。
4. 前記映像調整処理は、個々のフィールド情報に対して解像度を変更する解像度変更処理を含むことを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。
5. 前記映像調整処理は、個々のフィールド情報に対して輝度の調整を画素単位で行う輝度伸長処理を含むことを特徴とする請求項１乃至４のいずれかに記載の情報処理装置。
6. インターレース映像信号に基づいてプログレッシブ映像信号を生成するための処理をコンピュータに実行させるプログラムであって、
   前記インターレース映像信号中の時間的に前後する個々のフィールド情報に対して映像調整処理を施す手順と、
   前記映像調整処理が施された少なくとも３枚のフィールド情報を用いた補間処理を行うことによって前記プログレッシブ映像信号を構成する個々のフレームを形成する手順と
   を具備することを特徴とするプログラム。
7. 前記映像調整処理は、個々のフィールド情報に対して画素の補完を行う画素補完処理を含むことを特徴とする請求項６記載のプログラム。
8. 前記映像調整処理は、個々のフィールド情報に対し、中央の領域から端の領域へ向かうにつれて領域幅の伸長率を増加させるノンリニアスケーリング処理を含むことを特徴とする請求項６又は７記載のプログラム。
9. 前記映像調整処理は、個々のフィールド情報に対して解像度を変更する解像度変更処理を含むことを特徴とする請求項６乃至８のいずれかに記載のプログラム。
10. 前記映像調整処理は、個々のフィールド情報に対して輝度の調整を画素単位で行う輝度伸長処理を含むことを特徴とする請求項６乃至９のいずれかに記載のプログラム。

Images