JP2005210426A - 画像符号化装置および符号化データ再生装置 - Google Patents

Abstract

【課題】 複数の映像方式の信号が入力される画像符号化装置において、異なる映像方式の信号を符号化するときにも、画像の符号化部を複雑化することなく、同一の画像符号化部が利用できるようにする。
【解決手段】 画像符号化装置に入力された映像信号は、映像方式判定部１においてその映像方式が判定される。画像キャプチャ部２は入力される垂直同期信号に同期して、画像のキャプチャを行うが、その際、映像方式判定部１から渡される、画像サイズ（画素アスペクト比）変換パラメータにもとづき画像サイズの変換を行う。変換後の画像のデータフォーマットは、符号化部３がサポートする画像のデータフォーマットとなる。画像キャプチャ部２にてキャプチャされ必要に応じて画像サイズが変換された画像データは符号化部３に送られ、符号化が行われる。
【選択図】 図１

Description

本発明は、テレビジョン放送あるいはＶＴＲ等の出力する映像信号を符号化して記録媒体へ記録する際、符号化する映像信号の方式に応じて、符号量制御パラメータを変更したり、また、映像信号の画素アスペクト比を変換して符号化する画像符号化装置に関するものである。同時に、前記画像符号化装置により符号化された符号化データを再生する符号化データ再生装置に関する。

テレビの映像信号方式（映像方式）の代表的なものとして、日本と米国で用いられるＮＴＳＣ（National Television System Committee）と呼ばれる方式と、ドイツ、イタリア、中国などで用いられるＰＡＬ（Phase Alternating Line）と呼ばれる方式がある。映像方式として、他にフランスで開発されたＳＥＣＡＭ（SEquential Couleur A Memoire）と呼ばれる方式もある。このような異なる映像方式の映像信号を符号化して扱う従来例として、テレビ会議システムにおける、映像信号の相互変換に関する処理がある。（例えば、特許文献１ 参照）
また、従来の映像表示装置では、異なる映像方式の映像信号を再生する際、その映像信号に合わせてフレームレート変換等の処理が行われている。（例えば、特許文献２ 参照）

図９は従来の映像記録装置の主要部を示す図である。映像受信部１８で受信された映像信号は、符号化部１９で符号化される。符号化された映像信号（符号化データ）は、図示しない記録媒体に記録されるものとする。図１０は従来の映像表示装置の主要部を示す図である。

図示しない記録媒体に記録された符号化データは符号化データ復号部２０にて復号され、復号画像が生成される。復号画像は画面サイズ変換・フレーム間引き／補間フレーム生成部２１において表示用の画像（再生画像）に変換される。再生画像は図示しない表示装置にて表示される。復号画像は、表示装置の入力信号フォーマットに合わせて、画面サイズ変換、フレームレート変換などのフォーマット変換を受ける。一般に復号画像のサイズと表示装置が表示できる画像サイズが異なるために、画面サイズ変換が必要となる。また、フレームレート変換には、フレーム間引き及び補間フレームの生成処理が含まれる。すなわち、表示装置が表示できるフレームレートが、復号画像のフレームレートよりも大きい場合には、フレーム間引きが必要となり、その逆の場合には補間フレーム生成が必要となる。
特開平５−３０５３５号公報 特開２００３−３３３５４０号公報

従来、異なる映像方式の信号を扱うテレビ会議システムにおいては、映像の処理部に合わせてカメラの出力フォーマットを変換することはあったが、図９に示すような従来のＶＴＲ等の映像記録装置では映像受信部１８で受信されたＮＴＳＣの映像信号はＮＴＳＣ信号のまま記録され、あるいはＰＡＬの映像信号はＰＡＬ信号のまま記録されており、記録時に映像方式の変換は行われていない。ここで、符号化部１９で生成された符号化データは図示しない記録媒体に記録されるものとする。

つまり、符号化部１９は、動的に映像方式が切り替わる場合には、それぞれの映像方式の符号化に対応している必要がある。このため符号化部１９が複雑になる。あるいは、符号化部に入力される信号を変換するための前処理部を設け、ＮＴＳＣからＰＡＬへの変換（もしくはＰＡＬからＮＴＳＣへの変換）を行う必要がある。この場合、前処理部は画像サイズ(画素アスペクト比)の変換やフレームレート(画面表示タイミング)の変換処理が必要になる。

また図１０に示すように従来の再生装置で複数の映像方式の符号化データを再生する際には、表示装置の入力信号フォーマットに合わせて、復号部２０で復号された画像のフォーマットを変換する必要があった。再生装置は、再生画像のサイズや再生画像のフレームレートを符号化データ復号後に変換しなければならず、再生装置はそのための機能を装備している必要があった。

そこで本発明では、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の複数の映像方式の信号が入力される画像符号化装置において、異なる映像方式の信号を符号化するときにも、画像の符号化部を複雑化することなく、同一の画像符号化部が利用できる画像符号化装置を提供することを目的とする。また符号化データを復号し再生する場合にも、再生装置においてフレームレート変換処理等の後処理を行わなくても済む符号化データ再生装置を提供することを目的とする。

本発明にかかる画像符号化装置は、異なる映像方式の入力信号に対応した映像入力手段と、前記入力信号を符号化対象の画像に変換すると共に符号化する画像処理手段とを備え、前記画像処理手段は、処理の途中で前記映像方式が切り替わったことを検知し、映像方式に応じて前記画像処理手段の処理を切り替えることを特徴とする。

また、本発明にかかる画像符号化装置は、異なる映像方式の入力信号に対応した映像入力手段と、前記入力信号を符号化対象の画像に変換する変換手段と、前記画像を符号化する符号化手段とを備え、前記変換手段は、前記映像方式が切り替わったことを検知し、映像方式に応じて前記画像の画素アスペクト比を切り替えることを特徴とする。

また、本発明にかかる画像符号化装置は、異なる映像方式の入力信号に対応した映像入力手段と、前記信号を符号化対象の画像に変換する変換手段と、前記画像を符号化する符号化手段とを備え、前記符号化手段は、前記映像方式が切り替わったことを検知し、映像方式に応じて符号化パラメータの制御を行うことを特徴とする。

前記画像符号化装置において、符号化によって得られた符号化データに対応する映像信号のフレームレートを、前記符号化データに関連付けて符号化することを特徴とする。

前記画像符号化装置において、符号化によって得られた符号化データに対応する映像信号のフレームレートの最大値を、前記符号化データに関連付けて符号化することを特徴とする。

また本発明にかかる符号化データ再生装置は、画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、符号化データに対応する映像信号のフレームレートが、符号化データに関連付けて符号化されており、前記生成手段は、前記フレームレートに基づいて前記垂直同期信号を生成することを特徴とする。

また、本発明にかかる符号化データ再生装置は、画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、符号化データに対応する映像信号のフレームレートの最大値が、符号化データに関連付けて符号化されており、前記生成手段は、前記フレームレートの最大値に基づいて前記垂直同期信号を生成することを特徴とする。

また、本発明にかかる符号化データ再生装置は、画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、前記生成手段は、符号化データの各フレームに対応付けて符号化された時間情報に基づいて前記垂直同期信号を生成することを特徴とする。

本発明によれば、複数の異なる映像方式の画像信号を符号化して記録する際に、符号化部に入力される画像サイズが同一フォーマットの画像に変換されるため、同じ符号化部を使用して画像の符号化が行える。つまり、符号化部で複数の映像方式の符号化に対応する必要がなく、符号化部の構成を簡単にすることが可能となる。

また、記録時に映像方式の違いによるフレームレート変換処理は行うことなく、それぞれの映像方式に関連したフレームレートの情報を符号化データに関連付けて記録するため、記録処理を簡略化することができる。すなわち、再生時に記録されているフレームレート情報を利用することにより、表示装置側の画像の表示タイミングを制御することが可能となるため、記録時のフレームレート変換処理が不要となる。さらに、再生時にも従来のようにフレームレート変換を行わなくてもよくなり、より自然な再生画像が得られる。

図３に本発明による画像符号化装置、映像信号再生装置の概略を示す。
録画時には、受信した映像信号は画像符号化部６に入力される。画像符号化部６に入力された映像信号には画像信号、同期信号が含まれる。画像符号化部６において、画像データは符号化され、符号化された画像データ（符号化データ）はデータ記録部・データ読み出し部７に送られた後、図示しない記録媒体に記録される。

再生時には、データ記録部・データ読み出し部７によって図示しない記録媒体から読み出された符号化データが符号化データ復号部８に入力される。符号化データ復号部８では符号化データから画像を復号するとともに、符号化データから画像を表示するために必要な同期情報を取り出す。符号化データ復号部８で得られた復号画像、同期情報は画像表示部９に送られ、復号画像が同期情報に基づき表示される。

なお、図３では画像符号化装置と映像再生装置が一体となったものを示したが、それぞれ分離した構成であっても良い。すなわち本発明を、画像符号化部６とデータ記録・読み出し部７のうちデータ記録に関する部分までを備えた画像符号化装置と、データ記録・読み出し部７のうち読み出し部に関する部分から画像表示部９までを備えた映像表示装置のそれぞれにおいて実現しても良い。

以下、画像符号化部６、符号化データ復号部８について、図面を参照しながら説明する。

図１に本発明による画像符号化装置の画像符号化部を示す。図１において、１は画像符号化装置に入力される映像信号が、どの映像方式の信号かを判定する映像方式判定部、２は外部から入力される映像信号を符号化対象の画像に変換してメモリに蓄える変換手段である画像キャプチャ部、３はキャプチャされた画像を符号化するための符号化部である。ここで、画像キャプチャ部２と符号化部３は、前記入力信号を符号化対象の画像に変換すると共に符号化する画像処理部である。なお、以下の説明では入力される映像方式はＮＴＳＣとＰＡＬの２種類とするが、３種類以上の映像方式が入力された場合にも本発明を適用することは可能である。

また、図４に示したものは一般的な動画像信号を図示したものである。１０、１１、１２はそれぞれ時刻ｔ−１、ｔ、ｔ＋１における１フレームの画像を表している。各画像は垂直同期信号と呼ばれる同期信号によって切り替わる。この同期信号の間隔は映像方式により異なっており、日本で使われているＮＴＳＣの映像方式では６０Ｈｚであり、欧州などで使われているＰＡＬの映像方式では５０Ｈｚである。さらに、ＮＴＳＣ方式とＰＡＬ方式とでは各フレームの垂直方向の解像度も異なっており、ＮＴＳＣ方式では２４０ライン、ＰＡＬ方式では２８８ラインとなっている。

まず本発明による画像符号化装置の画像符号化部の動作について、図１及び図７を用いて説明する。画像符号化部に入力された映像信号は、画像サイズ、水平、垂直同期信号間隔等から、映像方式判定部１においてその映像方式が判定される（Ｓ７０２）。例えば、垂直同期間隔が１／６０秒であれば映像方式はＮＴＳＣ方式であり、１／５０秒であればＰＡＬ方式の信号ということになる。映像方式判定後、映像方式判定部１は画像キャプチャ部２に対して画像サイズ(画素アスペクト比)変換パラメータを、符号化部３に対して、画像符号化時に発生する符号量を制御する符号量制御パラメータを通知する。

画像キャプチャ部２は映像信号に含まれる垂直同期信号に同期して、画像のキャプチャを行うが、その際、映像方式判定部１から渡される、画像サイズ（画素アスペクト比）変換パラメータにもとづき画像サイズの変換を行う（Ｓ７０３）。例えば、後段の符号化部３がＮＴＳＣ方式のような正方画素の画像の符号化をサポートしている場合、入力される映像信号がＮＴＳＣ方式であれば、画像サイズの変更を行わずにキャプチャを行う。これに対し、入力される映像信号がＰＡＬ方式のものであれば、キャプチャの際に垂直方向に２４０／２８８倍の縮小を行うことで、ＮＴＳＣ方式の画像サイズへの変換を行う。このように画像キャプチャ部２において画像サイズの変換を行うため、符号化部３では、入力される画像データの映像方式の違いによる画像サイズの違いを考慮する必要がなくなる。

画像キャプチャ部２にてキャプチャされ必要に応じて画像サイズが変換された画像データは、符号化部３に送られ、符号化が行われる（Ｓ７０４）。符号化部３で発生する符号量を制御するためのパラメータは、映像方式判定部１にて決定されたものが使用される。

符号化部３にて符号化されたデータは、記録部へと送られメディアへ記録されるが、その際、入力された映像信号のフレームレート情報も符号化データと関連付けられて記録される（Ｓ７０５）。記録されるフレームレート情報は、映像方式が切り替わる都度、そのフレームレートを記録しても構わないし、あるいは、映像を記録中に切り替わったフレームレートの中から、最もフレームレートの高いものを代表として記録する等の方法がある。このフレームレート情報は、後述するように符号化データの再生時に利用される。

次に本発明の映像信号再生装置の符号化データ復号部について説明する。図２において、４は符号化データに記録されているフレームレート情報をもとに、復号画像を表示させるための垂直同期信号を発生させる垂直同期信号生成部、５は符号化データの復号を行うデータ復号部である。

符号化データ復号部に入力された符号化データは、垂直同期信号生成部４およびデータ復号部５に送られる。垂直同期信号生成部４では、符号化データに関連して記録されている画像データのフレームレート情報を読み出し、その情報にもとづき、垂直同期信号を発生させるタイミング（表示フレームレート）を決定する。そして、表示フレームレートに従って、データ復号部５に対して垂直同期信号を発生する。データ復号部５は入力された符号化データを復号し、垂直同期信号生成部４からの垂直同期信号に同期して復号画像を出力する。

垂直同期信号生成部４で生成された垂直同期信号は復号画像を表示する表示装置側にも伝えられ、表示装置側はこの垂直同期信号に従って画像データの更新を行う。従来技術では、表示装置側が対応可能な入力信号のフレームレートは固定であり、そのため、復号画像のフレームレートが表示装置側で対応可能なフレームレートと異なる場合は、同一フレームの繰り返しや、フレームの間引きを行う等して、フレームレート変換を行う必要がある。本発明による符号化データ再生装置では、複数のフレームレートに対応する表示装置を用いている。すなわち、垂直同期信号のタイミング（表示フレームレート）が切り替えられたとき、垂直同期信号生成部４は表示フレームレートに応じた垂直同期信号を発生し、表示装置側もその垂直同期信号に合わせて再生画像を表示する。従って、従来のような再生画像のフレームレート変換は必要なくなる。このことにより、フレームレート変換、つまり補間フレームの挿入やフレーム間引きが行われないので、再生時の映像の不自然さが軽減される。

ここまでの説明で、垂直同期信号生成部４は、フレームレート情報として画像符号化時に記録されたフレームレート情報を用いることとしたが、別の方法を採ることも可能である。例えば、符号化データの個々のフレームに記録された、各フレームが表示されるべき時間情報（プレゼンテーションタイム）の間隔から独自にフレームレート情報を生成することもできる。その場合は、画像符号化時に記録されたフレームレート情報は不要となる。前者の方法では、簡単にフレームレート情報を読み出すことができる反面、符号化データとは別にフレームレート情報も記録する必要があるのに対し、後者の方法では、別途フレームレート情報を記録必要がない。ただし、後者ではプレゼンテーションタイムから独自にフレームレート情報を生成するため、前者に比べて映像再生装置側の処理が複雑になる。従って、いずれの方法を採るかは実際の用途に応じて選択する必要がある。

次に、垂直同期信号生成部４における表示フレームレートの決定の仕方について説明する。ひとつの符号化データ中に複数の映像方式の信号が混在して符号化されている場合は、映像方式が変わるたびに、表示フレームレートを映像方式に合わせて随時変更する。例えば、図８のように符号化データの先頭部分から２５ｆｐｓの映像信号の符号化データ、３０ｆｐｓの映像信号の符号化データ、２５ｆｐｓの映像信号の符号化データ、…となっている場合、垂直同期信号生成部４にて、２５ｆｐｓ、３０ｆｐｓ、２５ｆｐｓ、２４ｆｐｓ、３０ｆｐｓと順次符号化データに応じて表示フレームレートを変更する。

本発明をより簡易に実現したい場合には、符号化データ中に含まれる、映像信号の中から最も高いフレームレート（最高フレームレート）を求め、表示フレームレートを最高フレームレートで代表してしまう方法としても良い。この場合は、データ復号部にて復号画像のフレームレートを補間して、最高フレームレートに変換する。従って、前述した再生時の映像の不自然さが発生するが、垂直同期信号生成部の構成が簡易になるというメリットがある。例えば図１０の場合、最初から最後まで３０ｆｐｓで垂直同期信号を生成することになる。

逆に、低いフレームレートで再生してしまうと次のような問題が生じる。通常、復号された画像は先頭のフレームから順次表示されていくが、復号画像が実際に表示されるタイミングは垂直同期信号による割り込みが発生したときである。この場合、図５に示すように、符号化データの元々のフレームレートの方が高く、プレゼンテーションタイム間隔１３が垂直同期信号の間隔１４より短い場合に問題が発生する。すなわち復号画像が表示される毎に、実際に表示されるべき時間と、実際に表示を行ったときの時間のずれ１５、１６、１７が段々と広がっていく。このままでは、画像と音声の同期が取れなくなってしまうため、通常、プレゼンテーションタイムと実際に復号画像の表示が行われた時間との差が一定値以上になると、復号処理をスキップすることにより同期を回復しようとする。ところが、動画像符号化のように予測符号化を行っている場合、このスキップ処理は問題となることがある。図６のように予測符号化では直前のフレームに依存しないＩフレームと直前のフレームとの差分データを符号化したＰフレームとがある。ここで、図６の矢印は予測の方向を示している。このような符号化データを復号する際にフレームスキップを行うと、直前のフレームに依存しているようなフレームは正常に再生できなくなる。そのため、フレームスキップ処理を行うと、一般に、次のＩフレームまで復号が行えなくなってしまう。このため、フレームスキップ処理の後は次のＩフレームまで動画の表示が止まってしまい、視覚的に問題となる。

よって、符号化データを再生する際の表示フレームレートは、可能であれば符号化データに合わせて随時切り替えるか、もしくは、再生装置をより簡易にしたい場合には、符号化データ中に含まれる映像信号の中から、最もフレームレートが高いものを選択する必要がある。そうすれば、常に
(プレゼンテーション間隔) ≧ (垂直同期信号間隔)
となるので、前記したような、視覚的な問題は発生しなくなる。

本発明の画像符号化装置の画像の符号化部を示すブロック図である。 本発明の符号化データ再生装置の符号化データ復号部を示すブロック図である。 本発明の画像符号化、符号化データ再生装置の全体を示すブロック図である。 画像符号化部に入力される各フレームの画像データとタイミングを表す図である。 復号された画像データの表示タイミングを示す図である。 予測符号化された画像データの各フレームの依存関係を示す図である。 画像符号化時のフローを示す図である。 異なる映像方式の映像信号を符号化したときの符号化データの例を示す図である。 従来の画像符号化装置を示す図である。 従来の符号化データ再生装置を示す図である。

符号の説明

１ 映像方式判定部
２ 画像キャプチャ部
３ 符号化部
４ 垂直同期信号生成部
５ データ復号部
６ 画像符号化部
７ データ記録・読み出し部
８ 符号化データ復号部
９ 画像表示部
１０，１１，１２ 入力画像
１３ 符号化データの各フレームに付加されたプレゼンテーションタイム間隔
１４ 復号画像を表示するための垂直同期信号間隔
１５，１６，１７ プレゼンテーションタイムと実際に表示が行われた時刻との差
１８ 映像受信部
１９ 符号化部
２０ 符号化データ復号部
２１ 画像サイズ・フレームレート変換部

Claims (8)

1. 異なる映像方式の入力信号に対応した映像入力手段と、
   前記入力信号を符号化対象の画像に変換すると共に符号化する画像処理手段とを備え、
   前記画像処理手段は、処理の途中で前記映像方式が切り替わったことを検知し、映像方式に応じて前記画像処理手段の処理を切り替えることを特徴とする画像符号化装置。
2. 異なる映像方式の入力信号に対応した映像入力手段と、
   前記入力信号を符号化対象の画像に変換する変換手段と、
   前記画像を符号化する符号化手段とを備え、
   前記変換手段は、前記映像方式が切り替わったことを検知し、映像方式に応じて前記画像の画素アスペクト比を切り替えることを特徴とする画像符号化装置。
3. 異なる映像方式の入力信号に対応した映像入力手段と、
   前記入力信号を符号化対象の画像に変換する変換手段と、
   前記画像を符号化する符号化手段とを備え、
   前記符号化手段は、前記映像方式が切り替わったことを検知し、映像方式に応じて符号化パラメータの制御を行うことを特徴とする画像符号化装置。
4. 請求項１乃至請求項３のいずれかに記載の画像符号化装置において、
   符号化によって得られた符号化データに対応する映像信号のフレームレートを、前記符号化データに関連付けて符号化することを特徴とする画像符号化装置。
5. 請求項１乃至請求項３のいずれかに記載の画像符号化装置において、
   符号化によって得られた符号化データに対応する映像信号のフレームレートの最大値を、前記符号化データに関連付けて符号化することを特徴とする画像符号化装置。
6. 画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、
   前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、
   符号化データに対応する映像信号のフレームレートが、符号化データに関連付けて符号化されており、
   前記生成手段は、前記フレームレートに基づいて前記垂直同期信号を生成することを特徴とする符号化データ再生装置。
7. 画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、
   前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、
   符号化データに対応する映像信号のフレームレートの最大値が、符号化データに関連付けて符号化されており、
   前記生成手段は、前記フレームレートの最大値に基づいて前記垂直同期信号を生成することを特徴とする符号化データ再生装置。
8. 画像を符号化した符号化データを復号して映像信号を得ると共に、映像信号を再生する再生手段と、
   前記映像信号を再生するために用いる垂直同期信号を生成する生成手段を備え、
   前記生成手段は、符号化データの各フレームに対応付けて符号化された時間情報に基づいて前記垂直同期信号を生成することを特徴とする符号化データ再生装置。

Images