JP2011234404A

JP2011234404A - 変換回路

Info

Publication number: JP2011234404A
Application number: JP2011149314A
Authority: JP
Inventors: Yoshihiro Kikuchi; 義浩菊池; Tatsuro Fujisawa; 達朗藤澤; Yuji Kawashima; 裕司川島; Akira Oshikiri; 亮押切
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-07-05
Filing date: 2011-07-05
Publication date: 2011-11-17

Abstract

【課題】動画像ストリーム信号の変換処理を軽減することを実現した変換回路を提供する。
【解決手段】実施形態によれば、符号化対象画面内の情報のみで符号化された第１のフレームへと符号化対象画面外の情報も用いて符号化された第２のフレームを変換する機能を有する動画像ストリーム信号の変換回路は、前記第１のフレームへの変換対象となった前記第２のフレームの画面を分割した各マクロブロックのうち、当該画面内の情報のみで符号化するイントラ予測モードが用いられたマクロブロックについては、前記第１のフレームへの変換に伴う当該マクロブロックの再符号化時に、予測するブロックサイズとして変換前に用いられていたブロックサイズを選択する選択手段を具備する。
【選択図】図２

Description

この発明は、例えばデジタルテレビジョン放送番組データを受信してディスクメディアに記録する録画機能を有するパーソナルコンピュータ等の情報処理装置に適用して好適な動画像ストリーム信号の変換技術に関する。

近年、動画像符号化技術の向上に伴い、デジタル信号として動画像を処理する情報処理装置が広く普及している。また、最近では、動画像を処理する機能を備えたソフトウェアを使って、パーソナルコンピュータでデジタルテレビジョン放送番組データを視聴・録画することも行われ始めている。

このような状況に応じて、例えばＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disk）等のディスクメディアに動画像ストリーム信号を効率的に記録するための手法がこれまで種々提案されている（例えば特許文献１等参照）。

特開平１０−３０４３７５号公報

ところで、デジタルテレビジョン放送番組データとして放送局から出力された動画像ストリーム信号と、録画データとしてディスクメディアに記録される動画像ストリーム信号とで、例えばＨ．２６４形式等の同一の動画像符号化方式が採用されていたとしても、各々で独自に定義される詳細規定が異なるために、再エンコードやトランスコード等が必要となる場合が生じることがある。この典型的な例として、入力側で定義される最大ＧＯＰ長が出力側で定義される最大ＧＯＰ長よりも大きい値である場合が存在する。

ＧＯＰ長とは、Ｈ．２６４形式のほか、種々の動画像符号化方式で規定される３種類のフレーム（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）のうちのＩピクチャ・フレームの間隔であり、Ｉピクチャ・フレームは、符号化対象画面内の情報のみで符号化されたピクチャ・フレームである。一方、非Ｉピクチャ、即ちＰ／Ｂピクチャ・フレームは、符号化対象画面外の情報（過去または未来の画面の情報）も用いて符号化されたピクチャ・フレームである。

いわゆる頭出し操作をあまり考慮する必要のないデジタルテレビジョン放送番組データとしての動画像ストリーム信号は、この最大ＧＯＰ長が比較的大きい値に定義されることが多い。一方、いわゆる頭出し操作を十分に考慮する必要のある録画データとしての動画像ストリーム信号は、この最大ＧＯＰ長が比較的小さい値に定義されることが多い。このような状況は、放送局から出力された動画像ストリーム信号をディスクメディアに記録する場合に限定されず、例えば、あるディスクメディアに記録された動画像ストリーム信号を別のディスクメディアに移動または複製する際にも、双方で同一の動画像符号化方式が採用されているにも関わらず、詳細規定が異なってしまっている場合（入力側の最大ＧＯＰ長＞出力側の最大ＧＯＰ長の場合）にも発生し得る。

そして、このような場合、これまでは、（双方で同一の動画像符号化方式が採用されているにも関わらず）入力された動画像ストリーム信号すべてを一旦デコードし、そのデコード結果を再度エンコードするという膨大な量の変換処理を行っていた。

この発明は、このような事情を考慮してなされたものであり、動画像ストリーム信号の変換処理を軽減することを実現した変換回路を提供することを目的とする。

実施形態によれば、符号化対象画面内の情報のみで符号化された第１のフレームへと符号化対象画面外の情報も用いて符号化された第２のフレームを変換する機能を有する動画像ストリーム信号の変換回路は、前記第１のフレームへの変換対象となった前記第２のフレームの画面を分割した各マクロブロックのうち、当該画面内の情報のみで符号化するイントラ予測モードが用いられたマクロブロックについては、前記第１のフレームへの変換に伴う当該マクロブロックの再符号化時に、予測するブロックサイズとして変換前に用いられていたブロックサイズを選択する選択手段を具備する。

この発明の一実施形態に係る情報処理装置における動画像ストリーム信号の変換機構の概略構成を示す図。図１に示すビデオ変換部の一構成例を示す図。図１のビデオ変換部が実行するビデオデータの変換処理の基本原理を説明するために動画像ストリーム信号をフレーム単位で時系列に表した概念図。図３に示すピクチャ変換処理部に固有の動作原理を説明するために処理対象フレームの画面をマクロブロック単位で表した概念図。同実施形態の情報処理装置が実行する動画像ストリーム信号の変換処理手順を示すフローチャート。図５中のピクチャ変換ステップの詳細な手順を示すフローチャート。

以下、図面を参照して、この発明の一実施形態を説明する。図１は、本実施形態に係る情報処理装置１における動画像ストリーム信号の変換機構の概略構成を示す図である。この情報処理装置１は、例えばＨＤ（High Definition）ＤＶＤ−Ｒ／ＲＷドライブ搭載のパーソナルコンピュータやＨＤＤＶＤレコーダとして実現される。

図１に示すように、この情報処理装置１は、放送受信部１１、逆多重化部１２、ビデオ変換部１３、多重化部１４およびメディア書込部１５を備えている。なお、本情報処理装置１は、Ｈ．２６４形式の動画像符号化方式で符号化された動画像ストリーム信号をデジタルテレビジョン放送番組データとして受信し、同じくＨ．２６４形式の動画像符号化方式で符号化された動画像ストリーム信号を録画データとしてディスクメディアに書き込むものであって、（デジタルテレビジョン放送番組データの最大ＧＯＰ長）＞（録画データの最大ＧＯＰ長）であるために、いわゆる録画時には、動画像ストリーム信号の変換処理を行う必要が生ずるものと想定する。

放送受信部１１によって受信された動画像ストリーム信号は、逆多重化部１２に導かれて、ビデオデータとオーティオデータとに分離される（逆多重化）。そして、この逆多重化部１２によって分離されたビデオデータが、ビデオ変換部１３に供給されて、出力側で定義された詳細規定を満足させるための変換処理が施される。図２には、このビデオ変換部１３の一構成例が示されている。

なお、このビデオ変換部１３によって変換処理が施されたビデオデータは、多重化部１４において、逆多重化部１２によって分離されたオーティデータと再び多重化され、メディア書込部１５に供給されて、ＨＤＤやＨＤＤＶＤ等に記録されることになる。

図２に示すように、ビデオ変換部１３は、変換判定部１３１、スイッチ１３２、ピクチャ変換処理部１３３およびスイッチ１３４を備えている。まず、図３を参照して、このビデオ変換部１３が実行するビデオデータの変換処理の基本原理を説明する。

図３中、（Ａ）は、放送受信部１１によって受信された動画像ストリーム信号（動画像ストリーム信号中のビデオデータ）をフレーム単位で時系列に表した概念図であり、図示のように、少なくとも１秒毎にＩピクチャ・フレームが設けられている（最大ＧＯＰ長１秒）。これに対して、メディア書込部１５によってディスクメディアに書き込む動画像ストリーム信号は、少なくとも０．６００６秒毎にＩピクチャ・フレームを設けられなければならない（最大ＧＯＰ長０．６００６秒）。そこで、ビデオ変換部１３は、（Ｂ）に示すように、直前のＩピクチャ・フレームからの間隔が変換先に求められる最大ＧＯＰ長を越えた時点に位置する非Ｉピクチャ（Ｐ／Ｂピクチャ）・フレームのみをＩピクチャ・フレームに変換する処理を実行する。さらに、ビデオ変換部１３は、非Ｉピクチャ（Ｐ／Ｂピクチャ）・フレームからＩピクチャ・フレームへの変換処理の軽減を図るための仕組みを備えるものであり、以下、この点について詳述する。

変換判定部１３１は、まず、第１に、スイッチ１３２およびスイッチ１３４の駆動制御を実行する。逆多重化部１２から供給されるビデオデータは、スイッチ１３２およびスイッチ１３４によって、ピクチャ変換処理部１３３を経て多重化部１４に向けて出力されるか、ピクチャ変換処理部１３３を経ずに多重化部１４に向けて出力されるか、のいずれかのルートを辿ることになる。その切り替え手法として、変換判定部１３１は、Ｉピクチャ・フレームか否かの判定と、非Ｉピクチャ・フレームであれば、直前のＩピクチャ・フレームからの経過時間が（出力先に求められる）最大ＧＯＰ長を越えているか否かの判定とを実行する。

もし、Ｉピクチャ・フレームであるか、または、非Ｉピクチャ・フレームであるが、直前のＩピクチャ・フレームからの経過時間が最大ＧＯＰ長を越えていない場合、変換判定部１３１は、そのフレームのピクチャデータを、ピクチャ変換処理部１３３を経ずに多重化部１４に向けて出力すべく、スイッチ１３２およびスイッチ１３４を駆動制御する。一方、非Ｉピクチャ・フレームであって、直前のＩピクチャ・フレームからの経過時間が最大ＧＯＰ長を越えていた場合、変換判定部１３１は、そのフレームのピクチャデータを、ピクチャ変換処理部１３３を経て多重化部１４に向けて出力すべく、スイッチ１３２およびスイッチ１３４を駆動制御する。即ち、ピクチャ変換処理部１３３は、非Ｉピクチャ・フレームをＩピクチャ・フレームに変換する処理を行うものである。

ここで、非Ｉピクチャ・フレームをＩピクチャ・フレームに変換する、このピクチャ変換処理部１３３に固有の動作原理を図４を参照して説明する。

図４中、（Ａ）は、変換前の非Ｉピクチャ・フレームの画面をマクロブロック単位で表した概念図である。マクロブロックは、符号化対象画面を例えば１６画素×１６画素単位に分割した部分画像であり、（Ａ）で示されるマクロブロックのうち、ａ１〜ａ４は、イントラ予測モードを用いて符号化されたマクロブロックである。

非Ｉピクチャ・フレームにおける各マクロブロックは、イントラ予測モードまたはインター予測モードのいずれかを用いて符号化される。イントラ予測モードは、符号化対象画面内の情報のみで符号化するモードであり、インター予測モードは、符号化対象画面外の情報（過去または未来の画面の情報）も用いて符号化するモードである。

また、イントラ予測モードは、ａ１，ａ２のように、処理対象マクロブロックの部分画像の予測を４画素×４画素のサイズで行うイントラ４×４モード、ａ３のように、８画素×８画素のサイズで行うイントラ８×８モード、ａ４のように、１６画素×１６画素のサイズで行うイントラ１６×１６モードの３種類のモードを有している。また、イントラ予測モードは、イントラ４×４モードおよびイントラ８×８モードの場合、その予測の方向を９種類の中から選択し、イントラ１６×１６モードの場合、その予測の方向を４種類の中から選択するようになっている。つまり、イントラ予測モードでは、９×２＋４＝２２通りの中から、符号量や符号化によって生じる歪みの大きさを考慮して、最も適した１通りを決定する処理が必要となる。

通常、２２通り全てを試行し、評価値が最も高いものを選択する。これに対して、本実施形態のピクチャ変換処理部１３３は、変換先のＩピクチャ・フレームが全マクロブロックがイントラ予測モードで符号化されるものである点に着目し、変換元の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについては、このようなモード判定の処理を省略し、その予測のサイズおよび方向の一方または両方をそのまま選択できるようにした。図４（Ｂ）は、変換後のＩピクチャ・フレームの画面をマクロブロック単位で表した概念図であり、図示のように、前述のａ１〜ａ４に対応する位置の各マクロブロックは、変換前のモードがそのまま選択されている。これにより、モード判定に費やされる処理量を削減することが実現される。

設定部１６は、変換前の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについて、その予測のサイズまたは方向をそのまま選択することを行うかどうか、および、予測のサイズのみそのまま選択するか、予測のサイズまたは方向の両方をそのまま選択するか、等をユーザが設定できるようにするためのインタフェースを提供するものである。そのまま選択するのではなく、改めて評価して選択する項目が多い程、符号化後の部分画像の品質は高まるが、反面、コスト的には上昇する。

設定部１６によって設定された内容は、ビデオ変換部１３に通知され、変換判定部１３１によって設定情報として保持される。そして、変換判定部１３１は、第２に、この設定情報に基づき、ユーザの設定内容に沿って動作させるべくピクチャ変換処理部１３３の駆動制御を実行する。

即ち、ピクチャ変換処理部１３３は、変換判定部１３１からの指示に従って、変換前の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについて、その予測のサイズまたは方向の一方または両方をそのまま選択しながら、当該非Ｉピクチャ・フレームのＩピクチャ・フレームへの変換を実行する。

次に、図５および図６を参照して、本情報処理装置１が実行する動画像ストリーム信号の変換処理手順を説明する。

まず、処理対象フレームがＧＯＰの先頭ピクチャ（即ちＩピクチャ）・フレームか否かを調べる（図５ステップＡ１）。もし、ＧＯＰの先頭ピクチャ・フレームであれば（図５ステップＡ１のＹＥＳ）、ＧＯＰの先頭時刻として現時刻を記憶しておく（図５ステップＡ２）。

一方、ＧＯＰの先頭ピクチャ・フレームでなければ（図５ステップＡ１のＮＯ）、続いて、現時刻から記憶しているＧＯＰの先頭時刻を差し引いた値が変換先に求められる最大ＧＯＰ長を越えていないかを調べる（図５ステップＡ３）。そして、越えていれば（図５ステップＡ３のＹＥＳ）、図６にその詳細を示す、当該処理対象フレーム（Ｐ／Ｂピクチャ・フレーム）をＩピクチャ・フレームに変換するピクチャ変換を実施する（図５ステップＡ４）。

ピクチャ変換は、まず、各マクロブロックについて、イントラモードで符号化されているか否かを調べる（図６ステップＢ１）。もし、インターモードで符号化、即ち、イントラモードで符号化されていなければ（図６ステップＢ１のＮＯ）、９×２＋４＝２２通りの試行および評価を行った上で、最適な予測サイズおよび予測方向を選択する（図６ステップＢ２）。

また、イントラモードで符号化されていた場合でも（図６ステップＢ１のＹＥＳ）、変換前のモードを利用する設定となっていなければ（図６ステップＢ３のＮＯ）、同じく９×２＋４＝２２通りの試行および評価を行った上で、最適な予測サイズおよび予測方向を選択する（図６ステップＢ２）。

一方、イントラモードで符号化されており（図６ステップＢ１のＹＥＳ）、かつ、変換前のモードを利用する設定となっている場合には（図６ステップＢ３のＹＥＳ）、その設定に基づき、予測サイズのみ、または予測サイズおよび予測方向の両方を変換前のモードから援用しつつ、予測サイズおよび予測方向を選択する（図６ステップＢ４）。

そして、以上のように選択した予測サイズおよび予測方向を用いて符号化を行い（図６ステップＢ５）、全てのマクロブロックについて終了したか否かを判断して（図６ステップＢ６）、終了していれば（図６ステップＢ６のＹＥＳ）、このフレームについての処理を終了する。

このように、本情報処理装置１によれば、動画像ストリーム信号の変換処理を軽減することが実現される。

なお、前述の実施形態では、放送局から出力された動画像ストリーム信号をディスクメディアに記録する例を説明したが、本発明の手法は、これに限定されず、例えば、あるディスクメディアに記録された動画像ストリーム信号を別のディスクメディアに移動または複製する場合においても当然に適用可能である。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…情報処理装置、１１…放送受信部、１２…逆多重化部、１３…ビデオ変換部、１４…多重化部、１５…メディア書込部、１６…設定部、１３１…変換判定部、１３２…スイッチ、１３３…ピクチャ変換処理部、１３４…スイッチ。

Claims

符号化対象画面内の情報のみで符号化された第１のフレームへと符号化対象画面外の情報も用いて符号化された第２のフレームを変換する機能を有する動画像ストリーム信号の変換回路であって、
前記第１のフレームへの変換対象となった前記第２のフレームの画面を分割した各マクロブロックのうち、当該画面内の情報のみで符号化するイントラ予測モードが用いられたマクロブロックについては、前記第１のフレームへの変換に伴う当該マクロブロックの再符号化時に、予測するブロックサイズとして変換前に用いられていたブロックサイズを選択する選択手段を具備する変換回路。
前記選択手段は、さらに、予測する方向として変換前に用いられていた方向を選択する手段を含む請求項１記載の変換回路。