JP2005236386A - 画像処理装置 - Google Patents

Abstract

【課題】 符号化された動画像データ中に挿入した静止画像のぶれを無くし、復号結果として良好な静止画像を得る。
【解決手段】 本発明の画像処理装置は、それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、ＭＰＥＧ符号化された動画像データ中、静止画再生の指示に対応したフレームの一方のフィールドの画像データを参照画像とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成し、静止画再生の指示に応じて、生成した静止画データを動画像データ中に挿入して送信する。
【選択図】 図２

Description

本発明は画像処理装置に関し、特に符号化された画像データの処理に関する。

近年、動画像データをＭＰＥＧなどの符号化方式に従って光ディスクなどの記録媒体に対して記録再生する装置が知られている。

また、この様に符号化された画像データを記録媒体から再生し、ＩＥＥＥ１３９４インターフェイスなどのデジタル伝送路を介して送信することも行われている。

この様に再生された画像データを送信する際、静止画再生の指示があった場合に、参照画像との予測誤差データを全てゼロとした、スキップトマクロブロックにより生成した静止画像データを動画像データに挿入して送信する技術も知られている（例えば、特許文献１参照）。
特開平１１−２２０６９４号公報

前述の従来技術では、静止画像データとして、参照フレームとの差分がゼロであるデータを挿入して送信しているが、ＮＴＳＣに代表されるように一般的な画像データは互いにインターレースした二つのフィールドの画像から１フレームの画像が構成されているため、静止画として挿入される参照画像フレームの二つのフィールド間の動きが大きい場合、これを復号した際に、画像がぶれてしまうという問題がある。

本発明はこの様な問題を解決し、符号化された動画像データ中に挿入した静止画像のぶれを無くし、復号結果として良好な静止画像を得ることを目的とする。

前記目的を達成するため、本発明においては、それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、静止画出力を指示する指示手段と、前記動画像データ中前記指示手段の指示に対応したフレームの一方のフィールドの画像データを参照画像とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、前記指示手段による指示に応じて前記静止画データ生成手段により生成された静止画データを選択するよう前記多重手段を制御する制御手段と、前記多重手段から出力されたデータを送信する送信手段とを備える。

本発明によれば、挿入された静止画像の動きが大きい場合にも復号して得られる画像のぶれを防止して、良好な静止画像を得ることができる。

図１は本発明が適用された再生装置を含む画像送信システム１００の構成を示す図である。図１のシステムは、再生装置１０１と受信装置１２０とから構成されている。

再生装置１０１において、１０２は光ディスクなどの記録媒体、１０３はＭＰＥＧ方式にて符号化され記録媒体１０２に記録された動画像データを読み出す読み出し部、１０４は制御部１０７の指示に従い後述の如く静止画データを生成する静止画データ生成部、１０５は読み出し部１０３からのＭＰＥＧデータと静止画データ生成部１０４からの静止画データの一方を選択して出力する多重部、１０６は多重部１０５から出力された符号化データを、ＩＥＥＥ１３９４フォーマットに従って送信する送信部、１０７は操作部１０８からの指示に従って各部を制御する制御部、１０８は再生開始や停止、静止画再生やスロー再生などを指示する操作部、１０９は読み出し部１０９から出力されたＭＰＥＧデータを復号するデコーダ、１１０はデコーダ１０９により復号された画像を表示する表示部である。

また、受信装置１２０において、１２１は送信部１０６から送信された符号化データを受信する受信部、１２２は受信部１２１により受信されたＭＰＥＧデータを復号するデコーダ、１２３はデコーダ１２２により復号された画像を表示するモニタである。

この様な構成において、操作部１０８により再生開始の指示があると、制御部１０７は読み出し部１０３を制御して、記録媒体１０２よりＭＰＥＧ符号化データを読み出してデコーダ１０９及び多重部１０５に出力する。デコーダ１０９は読み出されたＭＰＥＧデータをデコードし、表示部１１０に出力する。

また、制御部１０７は、通常再生時においては、読み出し部１０３から出力されたＭＰＥＧデータをそのまま出力するよう多重部１０５を制御する。送信部１０６は多重部１０５から出力されたＭＰＥＧデータを、伝送路を介して受信装置１２０に出力する。

受信装置１２０においては、この様に送信されたＭＰＥＧデータを受信し、デコーダ１２２により復号してモニタ１２３に画像を表示する。

次に、通常再生中に静止画再生の指示があった場合の処理について説明する。

図２は静止画再生の指示に伴う静止画データ生成部１０４の処理を示すフローチャートである。

制御部１０７より静止画データ生成の指示があると、まず、挿入する静止画データのピクチャタイプを前方向予測とする（Ｓ２０１）。公知の通り、ＭＰＥＧ２符号化では、フレーム内符号化を行うＩピクチャ、過去のフレームとの予測誤差を符号化するＰピクチャ、及び、過去及び未来のフレームとの予測誤差を符号化するＢピクチャの三つのピクチャタイプをフレーム毎に切り替えて符号化を行う。

ここでは、これら三つのピクチャタイプのうち、前方向予測のピクチャ（Ｐピクチャ）に設定する。

次に、生成する静止画像データの各マクロブロック（ＭＢ）の予測タイプをフィールド予測タイプとする（Ｓ２０２）。

ＭＰＥＧ２では、動き補償予測符号化を行う際に、１フレームを単位としてフレーム間で予測符号化を行うフレーム予測と、１フレームを構成する第１、第２フィールドを単位として、参照フレームの各フィールドの画像データを用いて動き補償予測を行うフィールド予測とが容易されており、本形態では、静止画データの予測タイプをフィールド予測とする。

そして、これから生成するＭＢのデータが画面端のＭＢであるか否かを判別し（Ｓ２０３）、画面端のＭＢでない場合には、更に、第１フィールドのＭＢであるか否かを判別する（Ｓ２０４）。

第１フィールドのＭＢであった場合、参照フレーム、即ち、ここでは静止画再生指示の際に読み出し部１０３より出力されていたフレームの第１フィールドに対する動きベクトルを（０，０）としたものをこのＭＢの動きベクトルとして生成する（Ｓ２０５）。一方、第２フィールドのＭＢであった場合、参照フレームの第１フィールドに対する動きベクトルを（０，０．５）としたものをこのＭＢの動きベクトルとして生成する（Ｓ２０６）。

そして、全てのＭＢのデータとして、参照画像との予測誤差（差分）が０であるデータを生成する（Ｓ２０７）。

また、Ｓ２０３で画面端のＭＢであった場合、動きベクトルとして（０，０．５）を選択することができないので、画面端のＭＢについては第１フィールド、第２フィールドのいずれの場合にも、参照フレームの第１フィールドに対する動きベクトル（０，０）を動きベクトルとして出力する。

そして、この１フレーム分の静止画像データの全てのＭＢについてデータを生成するまで同様の処理を続ける（Ｓ２０８）。

次に、この様に生成された静止画像データの挿入処理について説明する。

図３は静止画再生指示に伴う制御部１０７による静止画データの挿入処理を示すフローチャートである。

図３において、静止画再生の指示があると、制御部１０７は読み出し部１０３を制御して記録媒体１０２からのＭＰＥＧデータの読み出しを一時停止する（Ｓ３０１）。このとき、読み出し部１０３は読み出しを停止したフレームのデータが記録されていた記録媒体上のアドレスを記憶しておく。

次に、多重部１０５を制御して、静止画再生指示の際に読み出し部１０３から出力されていたフレームの次のフレームのタイミングから、静止画データ生成部１０４により前述の如く生成された静止画像データの挿入を開始する（Ｓ３０２）。

この様に静止画再生の指示に応じて静止画データを挿入後、操作部１０８により、通常再生の指示があると（Ｓ３０３）、読み出し部１０３を制御し、Ｓ３０１にて読み出しを停止したアドレスよりＭＰＥＧデータの読み出しを開始し（Ｓ３０４）、読み出されたフレームのデータがＩピクチャであるか否かを判別する（Ｓ３０５）。

ＭＰＥＧ２では、前述の様にＩ，Ｐ，Ｂの三つのピクチャタイプを選択して符号化を行っているが、このうち、一つのフレームだけでデコードできるのはＩピクチャのみである。また、ＭＰＥＧ２では、二つのＩピクチャの間に、所定数のＰピクチャとＢピクチャを周期的に挿入したＧＯＰと呼ばれる単位で符号化を行っており、Ｓ３０５では、この様なＧＯＰの先頭となるＩピクチャが再生されるのを待つ。その間、引き続き静止画データの挿入を続ける（Ｓ３０６）。

そして、Ｉピクチャが再生されたタイミングで多重部１０５を制御して、読み出し部１０３からのＭＰＥＧデータに切り替えて出力する（Ｓ３０７）。

この様に挿入された静止画像データについて、図４を用いて説明する。

図４において、４０１は挿入した静止画データが参照する参照画像のマクロブロックの一部である。４０２は、参照画像のマクロブロックの第１フィールドにおけるｎ番目のライン、４０３は第一フィールドにおける（ｎ＋１）番目のラインである。４０４は挿入した静止画データを復号したデータのマクロブロックの一部である。４０５は静止画データを復号したデータの第１フィールドｎ番目のライン、４０６は第２フィールドｎ番目のラインである。

前述の様に生成された静止画データを復号する際、静止画データの第１フィールドのＭＢの動きベクトルは（０，０）であり、また、差分が０であるので、第１フィールドのデータは参照フレーム画像の第１フィールドのデータをそのまま復号結果として出力する。そのため、参照画像の第１フィールドのｎ番目のライン４０２と復号した静止画データの第１フィールドのｎ番目のライン４０５は同じデータとなる。

一方、第二のフィールドのＭＢの動きベクトルは、参照画像の第一フィールドに対して（０，０．５）である。動きベクトルとして０．５が設定されている場合、参照画像、ここでは参照フレームの第１フィールドにおける上下２ラインの平均値をこのＭＢの参照画像データとする。そして、差分０であるため、参照画像の第１フィールドのｎ番目のライン４０２と、第１フィールドの（ｎ＋１）番目のライン４０４の二つのラインの平均値が静止画データの第２フィールドのｎ番目のライン４０６の復号結果として得られる。

従って、例えば、図５の５０１の如くフィールド間で動きのあるＭＢのデータを参照データとする静止画データを挿入し、これを復号した場合には、５０２の様に動きによるぶれの無い静止画像が得られる。

次に、スロー再生時の処理について説明する。

スロー再生時においては、再生速度に応じた所定数のフレーム毎に参照画像を変更し、その間、前述の様に静止画データを挿入する。

ここで、ＭＰＥＧにおいては、ＰピクチャはＩピクチャを参照画像として符号化し、Ｂピクチャはその前後のＩあるいはＰピクチャを参照画像として符号化しているため、例えば、記録媒体１０２から再生されたＭＰＥＧデータは以下のような順序となる。
Ｉ１、Ｐ１、Ｂ１、Ｂ２、Ｐ２、Ｂ３、Ｂ４・・・
これを復号すると、Ｉ１、Ｂ１、Ｂ２、Ｐ１、Ｂ３、Ｂ４・・・となる。

そのため、１／２倍速のスロー再生時には、例えばＩ１の画像が再生された時点でスロー再生を開始した場合、Ｉ１を参照画像とする静止画像を１フレーム挿入した後、Ｐ１、Ｂ１のデータを再生して送信後、このＢ１を参照画像として前述の様に生成した静止画像データを１フレーム挿入し、引き続きＢ２ピクチャのデータを送信する。以下、Ｂピクチャを参照画像とする静止画像を送信する前に、そのＢピクチャを復号するために必要なＩピクチャあるいはＰピクチャを送信した後に、そのＢピクチャを参照画像とする静止画像データを挿入して送信する。

この様に、スロー再生時においても、挿入される各静止画像の復号結果として、ぶれの無い画像を得ることが可能となる。

本発明が適用される画像処理システムの構成を示す図である。 静止画像データの生成処理を示すフローチャートである。 静止画像データの挿入処理を示すフローチャートである。 静止画像データの復号結果を示す図である。 静止画像データの復号結果を示す図である。

Claims (13)

1. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、
   静止画出力を指示する指示手段と、
   前記動画像データ中前記指示手段の指示に対応したフレームの一方のフィールドの画像データを参照画像とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
   前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
   前記指示手段による指示に応じて前記静止画データ生成手段により生成された静止画データを選択するよう前記多重手段を制御する制御手段と、
   前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
2. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、
   静止画出力を指示する指示手段と、
   前記動画像データ中前記指示手段の指示に対応したフレームの一方のフィールドの画像データを参照画像とし、この参照画像と同一の画像を復号結果として得る第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像と同一の画像を復号結果として得る第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
   前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
   前記指示手段による指示に応じて前記静止画データ生成手段により生成された静止画データを選択するよう前記多重手段を制御する制御手段と、
   前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
3. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及び動き補償予測符号化により符号化された動画像データを入力する入力手段と、
   静止画出力を指示する指示手段と、
   前記指示手段の指示に応じて、前記動画像データ中前記指示手段の指示に対応したフレームの一方のフィールドの画像データに対する動きベクトルを（０，０）とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドの画像データに対する動きベクトルを（０，０．５）とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
   前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
   前記指示手段による指示に応じて前記静止画データ生成手段により生成された静止画データを選択するよう前記多重手段を制御する制御手段と、
   前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
4. 前記静止画データ生成手段は、所定数の画素からなるブロック毎に前記動きベクトルを生成し、前記第２の符号化データにおいて、画面端部の前記ブロックに対する動きベクトルを（０，０）とすることを特徴とする請求項３記載の画像処理装置。
5. 前記制御手段は、前記指示手段による静止画出力の指示の後の通常再生開始の指示に応じて、前記動画像データ中前記指示手段の指示に対応したフレームの画像データの次に入力された画像データから再び送信を開始するよう前記送信手段を制御することを特徴とする請求項１から３の何れかに記載の画像処理装置。
6. 前記入力手段は前記動画像データを記録媒体から再生する再生手段を有し、前記制御手段は、前記指示手段の指示に応じて前記動画像データの再生を停止し、前記通常再生開始の指示に応じて再び前記動画像データの再生を開始するよう前記再生手段を制御することを特徴とする請求項５記載の画像処理装置。
7. 前記静止画データ生成手段は前記静止画像データを前方予測符号化フレームとすることを特徴とする請求項１から３の何れかに記載の画像処理装置。
8. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、
   スロー再生を指示する指示手段と、
   前記動画像データ中の所定のフレームの一方のフィールドの画像データを参照画像とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
   前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
   前記指示手段による指示に応じて、前記スロー再生の再生速度に応じたタイミングで周期的に前記静止画像データの参照画像を変更するよう前記静止画データ生成手段を制御すると共に、前記スロー再生の再生速度に応じたフレーム数の前記静止画像データを前記スロー再生の再生速度に応じたタイミングで選択するよう前記多重手段を制御する制御手段と、
   前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
9. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、
   スロー再生を指示する指示手段と、
   前記動画像データ中の所定のフレームの一方のフィールドの画像データを参照画像とし、この参照画像と同一の画像を復号結果として得る第１の符号化データと、前記一方のフィールドにおける上下２ラインの合成データを参照画像とし、この参照画像と同一の画像を復号結果として得る第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
   前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
   前記指示手段による指示に応じて、前記スロー再生の再生速度に応じたタイミングで周期的に前記静止画像データの参照画像を変更するよう前記静止画データ生成手段を制御すると共に、前記スロー再生の再生速度に応じたフレーム数の前記静止画像データを前記スロー再生の再生速度に応じたタイミングで選択するよう前記多重手段を制御する制御手段と、
   前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
10. それぞれ第１及び第２のフィールドからなる多数のフレームから構成され、フレーム内符号化及びフレーム間予測符号化により符号化された動画像データを入力する入力手段と、
    スロー再生を指示する指示手段と、
    前記動画像データ中の所定のフレームの一方のフィールドの画像データに対する動きベクトルを（０，０）とし、この参照画像との予測誤差を０とした第１の符号化データと、前記一方のフィールドの画像データに対する動きベクトルを（０，０．５）とし、この参照画像との予測誤差を０とした第２の符号化データとからなる静止画データを生成する静止画データ生成手段と、
    前記静止画データ生成手段により生成された静止画データと前記入力手段により入力された動画像データの一方を選択して出力する多重手段と、
    前記指示手段による指示に応じて、前記スロー再生の再生速度に応じたタイミングで周期的に前記静止画像データの参照画像を変更するよう前記静止画データ生成手段を制御すると共に、前記スロー再生の再生速度に応じたフレーム数の前記静止画像データを前記スロー再生の再生速度に応じたタイミングで選択するよう前記多重手段を制御する制御手段と、
    前記多重手段から出力されたデータを送信する送信手段とを備える画像処理装置。
11. 前記送信手段は、伝送路を介して符号化された状態で前記多重手段からのデータを送信することを特徴とする請求項１から１０の何れかに記載の画像処理装置。
12. 請求項１から１１の何れかに記載の画像処理装置から送信されたデータを受信して復号する受信装置。
13. 請求項１から１１の何れかに記載の画像処理装置と請求項１２に記載の受信装置とからなる画像処理システム。

Images