JP2008236333A

JP2008236333A - 映像符号化装置及び映像符号化方法

Info

Publication number: JP2008236333A
Application number: JP2007072415A
Authority: JP
Inventors: Taro Asano; 太郎浅野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2008-10-02

Abstract

【課題】任意のフレームのスキップを禁止可能にして、重要な場面での映像破綻を回避する。
【解決手段】符号化制御部１２６は、出力ＥＳの符号量が適正量となるように符号化処理のビット使用量を制御し、符号量がバッファメモリ１２４の許容量を超える場合には、フレームスキップ制御部１２７に所定期間のフレームスキップを指示し、スイッチ回路１２２のオン・オフ制御によってフレームを所定期間スキップさせる。上記フレームスキップ制御部１２７は、外部から与えられるフレームスキップ禁止処理の制御信号を受けると、符号化制御部１２６に対し、この制御信号を受けた時点からフレームスキップ禁止期間までビット使用量を制限させ、デコーダ側のバッファ占有量を上限まで持っていくようにし、次に続くフレームスキップ禁止期間の使用のためにとっておき、これによって禁止期間でフレームスキップが起きないように制御する。
【選択図】図１

Description

本発明は、映像ベースバンドデータをエレメンタリ・ストリームに変換する映像符号化装置に係り、特にフレームスキップを抑制する技術に関する。

現在、地上デジタル放送では、放送信号を階層化し、１セグメントを移動受信向けに割り当て、低ビットレートで圧縮符号化された映像信号を伝送するようにしている。このような低ビットレートの映像信号に利用する映像符号化方式では、画質よりも映像が途切れないことが重要であることから、通常、フレームスキップが許容されている。

但し、従来の映像符号化装置では、画質劣化が少なくなるように、符号化のフレームスキップ数をフレーム間変化量と目標符号量に基づいて決定する（特許文献１参照）等、装置自身が判断してフレームをスキップしているのが現状である。そのため、映像の内容において大事なフレームに対してもスキップしてしまい、重要な場面で画像が破綻してしまうことがあった。
特開２００５−３４０８９６号公報

以上述べたように、従来の映像符号化装置では、フレームスキップが許容されている場合に、映像の内容において大事なフレームに対してもスキップしてしまい、重要な場面で画像が破綻してしまうことがあった。

本発明は上記の課題を解決すべく、任意のフレームのスキップを禁止可能にして、重要な場面での映像破綻を回避することのできる映像符号化装置及び映像符号化方法を提供することを目的とする。

上記問題を解決するために、本発明に係る映像符号化装置は、映像データをフレーム単位で符号化する符号化部と、前記符号化された映像データを取り込んで一定レートで出力するバッファメモリと、前記バッファメモリから出力される映像データの符号量を検出する符号量検出部と、前記映像データの符号量が前記バッファメモリの許容範囲に収まるように前記符号化を制御する符号化制御部と、前記映像データの符号量が前記バッファメモリの許容量を超えるとき、前記符号化部に入力するフレームをスキップさせるフレームスキップ処理部とを具備し、前記フレームスキップ処理部は、前記映像データのフレームスキップを禁止する期間を示す禁止期間情報を受け取り、前記符号化制御部に対し、前記禁止期間開始の一定期間に渡り前記符号化のビット使用量を制限させ、前記禁止期間では前記符号化制御部から与えられるフレームスキップ要求を拒否することを特徴とする。

また、本発明に係る映像符号化方法は、映像データをフレーム単位で符号化し、バッファメモリにいったん保持して一定レートで出力し、前記バッファメモリから出力される映像データの符号量を検出し、前記映像データの符号量が前記バッファメモリの許容範囲に収まるように前記符号化を制御し、前記映像データの符号量が前記バッファメモリの許容量を超えるとき、前記フレームをスキップさせるようにし、前記映像データのフレームスキップを禁止する期間を示す禁止期間情報を受け取った場合に、前記禁止期間開始の一定期間に渡り、前記符号化のビット使用量を制限させ、前記禁止期間では前記符号化制御部から与えられるフレームスキップ要求を拒否することを特徴とする。

上記構成による映像符号化装置及び映像符号化方法では、符号化制御において、出力符号量が適正量となるように符号化処理のビット使用量を制御し、符号量がバッファメモリの許容量を超える場合には、フレームスキップ制御によりフレームスキップを指示し、フレームをスキップさせる。上記フレームスキップ制御では、フレームスキップ禁止期間の情報を受けると、符号化制御に対し、フレームスキップ禁止期間前の一定期間ビット使用量を制限させ、デコーダ側のバッファ占有量を上限まで持っていくようにし、次に続くフレームスキップ禁止期間の使用のためにとっておき、これによって禁止期間でフレームスキップが起きないように制御する。

本発明によれば、任意のフレームのスキップを禁止可能にして、重要な場面での映像破綻を回避することのできる映像符号化装置及び映像符号化方法を提供することができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１は本発明に係る映像符号化部を備えるデジタル放送システムの番組データ符号化装置の構成を示すブロック図である。図１において、入力データ処理部１１は、映像ベースバンドデータ、音声ベースバンドデータ、字幕データを、それぞれ映像符号化部１２、音声符号化部１３、字幕処理部１４に振り分ける。映像符号化部１２及び音声符号化部１３は、それぞれ映像ベースバンドデータ、音声ベースバンドデータをＥＳ（Elementary Stream）に変換するもので、字幕処理部１４は字幕データからＴＳＰ（Transport Stream Packet）を取り出すものである。上記映像符号化部１２及び音声符号化部１３で得られた映像ＥＳ、音声ＥＳはそれぞれＰＥＳ化部１５，１６によってＰＥＳ（Packetized Elementary Stream）に変換され、ＴＳＰ（Transport Stream Packet：伝送パケット）化部１７，１８によってＴＳＰに分割される。このようにして生成された映像ＴＳＰ、音声ＴＳＰは字幕ＴＳＰと共に多重化部１９で多重化されて１つのストリームにまとめられる。

上記番組データ符号化装置における各処理ブロックは制御部２０によって総括的に制御される。この制御部２０は、さらに外部からフレームスキップ禁止期間を示す情報がリアルタイムにあるいは予めまとめられて与えられると、その禁止期間の開始タイミングの一定期間前に映像符号化部１２にスキップ禁止処理の制御信号を送る。

図２は上記映像符号化部１２の具体的な構成を示すブロック図である。図２において、入力映像データは、フレーム単位でフレームメモリ１２１にいったん保持され、スイッチ回路１２２を介して符号化部１２３に順次供給され、ＥＳに変換されてバッファメモリ１２４に保持され、所定のレートで順次出力される。バッファメモリ１２４から出力されるＥＳは符号量検出部１２５に送られ、ここでその符号量が検出されて符号化制御部１２６に通知される。この符号化制御部１２６は、出力ＥＳの符号量が適正量となるように符号化処理のビット使用量を制御する。この制御によっても符号量がバッファメモリ１２４の許容量を超える場合には、フレームスキップ制御部１２７に所定期間のフレームスキップを指示する。このフレームスキップ制御部１２７は、その指示を受けてスイッチ回路１２２のオン・オフ制御を行ってフレームを所定期間スキップさせる。

さらに、上記フレームスキップ制御部１２７は、外部から与えられるフレームスキップ禁止処理の制御信号を受けると、符号化制御部１２６に対し、この制御信号を受けた時点からフレームスキップ禁止期間までビット使用量を制限させ、デコーダ側のバッファ占有量を上限まで持っていくようにし、次に続くフレームスキップ禁止期間の使用のためにとっておき、これによってフレームスキップが起きないように制御する。また、フレームスキップ禁止期間では、符号化制御部１２６からフレームスキップの指示を受けても、これに応答しないものとする。

図３は上記フレームスキップ制御部１２７の具体的な制御手順を示すフローチャートである。まず、初期状態では、符号化制御部１２６からのフレームスキップ指示に基づく通常処理に設定される（ステップＳ１）。この状態で、外部からフレームスキップ禁止情報の入力があった場合（ステップＳ２）、符号化制御部１２６にビット使用量の制限を指示し（ステップＳ３）、フレームをカウントしてスキップ禁止期間に入ったか判断する（ステップＳ４）。禁止期間に入った場合には、符号化制御部１２６からのフレームスキップ指示を受け付けない（ステップＳ５）。さらにフレームをカウントしてスキップ禁止期間が終了したか判断し（ステップＳ６）、禁止期間が終了した場合には、ステップＳ１の通常処理に戻る。

図４（ａ）に上記フレームスキップの禁止処理を行わない場合のデコーダ側バッファメモリの占有量の変化を示し、図４（ｂ）に上記フレームスキップの禁止処理を行った場合のデコーダ側バッファメモリの占有量の変化を示す。これらの図から明らかなように、禁止処理を行わない場合に、禁止期間前にバッファ占有量が低下してフレームスキップ禁止が要求される期間にフレームスキップが発生してしまうような場合でも、本実施形態のフレームスキップ禁止処理を行った場合には、フレームスキップ回避準備としてバッファ占有量が上限まで達するため、スキップ禁止期間においてバッファ占有量が確保され、フレームスキップの発生を効果的に抑制することができる。たとえフレームスキップが要求されるような状況となっても、フレームスキップ制御部１２７ではその要求に応じないため、禁止期間におけるフレームスキップを確実に生じないようにすることができる。

したがって、上記構成による映像符号化部１２を備えた番組データ符号化装置によれば、映像符号化においてフレームスキップ禁止期間のフレームスキップを確実に回避しつつ、フレームスキップを適切に実行することができ、重要場面の映像破綻を回避しかつフレームスキップによる画質劣化を抑制することができる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る映像符号化部を備えるデジタル放送システムの番組データ符号化装置の構成を示すブロック図。図１に示す映像符号化部の具体的な構成を示すブロック図。図２に示すフレームスキップ制御部の具体的な制御手順を示すフローチャート。（ａ）はフレームスキップの禁止処理を行わない場合のデコーダ側バッファメモリの占有量の変化を示し、（ｂ）はフレームスキップの禁止処理を行った場合のデコーダ側バッファメモリの占有量の変化を示す図。

符号の説明

１１…入力データ処理部、１２…映像符号化部、１２１…フレームメモリ、１２２…スイッチ回路、１２３…符号化部、１２４…バッファメモリ、１２５…符号量検出部、１２６…符号化制御部、１２７…フレームスキップ制御部、１３…音声符号化部、１４…字幕処理部、１５，１６…ＰＥＳ化部、１７，１８…ＴＳＰ化部、１９…多重化部、２０…制御部。

Claims

映像データをフレーム単位で符号化する符号化部と、
前記符号化された映像データを取り込んで一定レートで出力するバッファメモリと、
前記バッファメモリから出力される映像データの符号量を検出する符号量検出部と、
前記映像データの符号量が前記バッファメモリの許容範囲に収まるように前記符号化を制御する符号化制御部と、
前記映像データの符号量が前記バッファメモリの許容量を超えるとき、前記符号化部に入力するフレームをスキップさせるフレームスキップ処理部とを具備し、
前記フレームスキップ処理部は、前記映像データのフレームスキップを禁止する期間を示す禁止期間情報を受け取り、前記符号化制御部に対し、前記禁止期間開始の一定期間に渡り前記符号化のビット使用量を制限させ、前記禁止期間では前記符号化制御部から与えられるフレームスキップ要求を拒否することを特徴とする映像符号化装置。
映像データをフレーム単位で符号化し、
バッファメモリにいったん保持して一定レートで出力し、
前記バッファメモリから出力される映像データの符号量を検出し、
前記映像データの符号量が前記バッファメモリの許容範囲に収まるように前記符号化を制御し、
前記映像データの符号量が前記バッファメモリの許容量を超えるとき、前記フレームをスキップさせるようにし、
前記映像データのフレームスキップを禁止する期間を示す禁止期間情報を受け取った場合に、前記禁止期間開始の一定期間に渡り、前記符号化のビット使用量を制限させ、前記禁止期間では前記符号化制御部から与えられるフレームスキップ要求を拒否することを特徴とする映像符号化方法。