JP2005236443A - 動画像圧縮データの逆再生方法及びその装置 - Google Patents

Abstract

【課題】 記憶容量の削減等を図る。
【解決手段】 通常再生時に、入力制御部２６が符号化フレームをメモリ２２から読み出し、復号化部２８で復号化する。その復号化フレームデータをメモリ３０に保存する。選択制御部４０は、再符号化フレーム間隔でメモリ３０から復号化フレームを読み出し、フレーム内符号化部４２でフレーム内符号化し、そのイントラフレームをメモリ４４に保存すると共に、フレーム番号及びアドレス情報をメモリ４６に記憶する。逆再生時に、入力制御部２６は、メモリ４６の情報を参照してフレーム番号の大きい順にイントラフレームを読み出し、復号化部２８で復号化する。その復号化フレームデータはメモリ３０に保存する。表示タイミング制御部３４は、各フレームの逆再生タイミング時にメモリ３０から復号化フレームを読み出し、表示部３６に供給して表示する。
【選択図】図１

Description

この発明は、動画像圧縮データの逆再生方法及びその装置に関し、詳しくは復号した動画像の復号化フレームのうちの所定順序の復号化フレームを選択して逆再生する動画像圧縮データの逆再生方法及びその装置に関する。

ディジタル動画像信号を圧縮する符号化方式として、ＭＰＥＧ（Ｍoving Ｐicture Ｅxpert Ｇroup）やＩＴＵ−Ｔ（Ｉnternational Ｔelecomunication Ｕnion）規格等で提案されている。
これらの規格では、動画像圧縮データを構成するフレームは、フレーム内符号化画像又はフレーム間予測符号化画像として圧縮される。

フレーム内符号化のみを用いて符号化されたフレームはＩフレームと呼び、Ｉフレームは、参照フレームを有さず独立して復号化することができるフレームである。
フレーム間予測符号化を用いて符号化されたフレームにＰフレームがある。Ｐフレームは、隣接フレーム間の差分信号が符号化されているため、参照フレームとなる直前のフレームが復号化されていなければ復号できないという特徴を持つ。

このようなフレーム間予測符号化方式が適用された動画像圧縮データに関して問題となるのは、本来符号化されて記録されている時系列とは逆方向にフレームを再生する、いわゆる逆再生の実現方法である。
従来、逆再生の実現方法として主に次に挙げる方法がある。
第1の方法は、動画像圧縮データを一旦全て復号化し、復号化された非圧縮フレームデータをメモリに蓄積し、逆再生時に蓄積した順番とは逆順に表示するという方法である。
第2の方法は、動画像圧縮データに含まれるフレーム内符号化データのみを、蓄積されている時系列とは逆方向に選択して復号化し、順次表示するという方法である。

特許文献１には、記録媒体に記録された圧縮符号化データを、メモリを使用しながら復号化手段で復号化し、復号化された動画像データを表示する圧縮動画像再生装置に、上記動画像データを逆順再生の順序で圧縮符号化する逆順符号化手段と、圧縮符号化された画像データを記憶するバッファメモリと、記録媒体に記録された圧縮符号化データとバッファメモリに記憶された画像データとを上記復号化手段へ択一的に入力させる入力データ選択手段とを設けて上記画像データの逆順再生を行う技術が記載されている。

特許文献２には、通信相手に対して複数フレームよりなる画像データを送信可能とする移動無線端末に、通信相手より送られた無線信号に基づいて通信環境の劣化レベルを検出する通信環境検出手段と、検出された劣化レベルに応じた数のフレームを上記通信相手に送信される上記複数フレームから間引く画像処理手段と、該画像処理手段から出力される画像データを通信相手に無線送信する送信手段とを設けて動画像を送信可能にする技術が記載されている。
特開平６−３３９１１１号公報 特開２００１−１０３５６５号公報

上述の第１の方法は、復号化された非圧縮フレームデータを全て保存しているので、大容量のメモリを必要とする。
また、第2の方法は、動画像圧縮データに含まれるフレーム内符号化データのみを復号化するものであるから、様々な動画像圧縮データに対して同質な逆再生を行うことができない。
それは、フレーム内符号化方法で動画像フレームデータを符号化するか否かは、符号化装置側に依存しており、復号化装置側で受信される動画像圧縮データにフレーム内符号化画像が定期的に挿入されている保証はないからである。

このような例は、テレビ電話等に見られる。テレビ電話等に実装されている低ビットレートの動画像圧縮方法では、一般に先頭フレームのみをフレーム内符号化方法で符号化し、後続のフレームに関しては、シーンチェンジ等で予測効率が低下した場合や、相手端末からリフレッシュ指示が来た場合を除いては、フレーム間符号化で圧縮する場合が多い。
すなわち、等間隔でフレーム内符号化画像が挿入されていない動画像圧縮データに関しては、適切な逆再生を行うことはできない。

また、特許文献1に記載される技術では、復号化した動画像フレームの全てに対して、元の動画像圧縮データを生成した符号化方法で再符号化をしている。
したがって、回路及び制御が複雑化する上、動作処理量も多くなるので、消費電力の低減を図り難い。
また、特許文献2は、通信環境の劣化に応じて送信される画像フレームを間引くことのみが参考になるに過ぎない。

この発明は、上述の事情に鑑みてなされたもので、逆再生に必要な記憶容量の低減、滑らかな逆再生等を達成し得る動画像圧縮データの逆再生方法及びその装置を提供することを目的としている。

上記課題を解決するために、請求項１記載の発明は、動画像圧縮データの逆再生方法に係り、入力される動画像の圧縮符号化フレームを復号化し、復号化される復号化フレームの中の所定順序の上記復号化フレームを順次選択し、選択される上記復号化フレームを圧縮符号化して出力し、出力される逆再生用符号化フレームを保存し、保存されている上記逆再生用符号化フレームを上記圧縮符号化フレームの圧縮符号化順とは逆順で読み出し、読み出される上記逆再生用符号化フレームを復号化して表示することを特徴としている。

請求項２記載の発明は、動画像圧縮データの逆再生方法に係り、入力される動画像の圧縮符号化フレームを復号化し、復号化される復号化フレームの中の所定順序の上記復号化フレームを順次選択し、選択される上記復号化フレームを圧縮符号化して出力し、出力される逆再生用符号化フレームを保存し、保存されている上記逆再生用符号化フレームを上記圧縮符号化フレームの圧縮符号化順とは逆順で読み出し、読み出される上記逆再生用符号化フレーム間に、上記選択により間引かれている上記圧縮符号化フレームを挿入し、挿入されて上記逆順で連続している上記符号化フレームを復号化して表示することを特徴としている。

請求項３記載の発明は、請求項１又は２記載の動画像圧縮データの逆再生方法に係り、上記圧縮符号化は、フレーム内符号化であることを特徴としている。

請求項４記載の発明は、請求項１又は２記載の動画像圧縮データの逆再生方法に係り、上記圧縮符号化は、フレーム間符号化であることを特徴としている。

請求項５記載の発明は、請求項１、２、３又は４記載の動画像圧縮データの逆再生方法に係り、上記逆再生用符号化フレームの保持は、上記選択順であることを特徴としている。

請求項６記載の発明は、入力される圧縮符号化フレームを保存する第１の記憶手段と、圧縮符号化フレームを復号化する復号化手段と、該復号化手段で復号化される復号化フレームを記憶する第２の記憶手段と、該第２の記憶手段の上記復号化フレームを圧縮符号化する符号化手段と、該符号化手段によって圧縮符号化される逆再生用符号化フレームを保存する第３の記憶手段と、上記第１の記憶手段の圧縮符号化フレームを圧縮符号化順で又は上記第３の記憶手段の上記逆再生用符号化フレームを上記圧縮符号化順とは逆順で上記復号化手段に入力させる制御手段と、上記第２の記憶手段の上記復号化フレームを表示する表示手段とを備えた動画像圧縮データの逆再生装置に係り、上記第２の記憶手段の上記復号化フレームの中の所定順序の上記復号化フレームを順次選択して上記符号化手段に供給する選択手段を備えると共に、上記制御手段を、選択される上記復号化フレームの上記逆再生用符号化フレームを上記逆順で上記第３の記憶手段から上記復号化手段に入力させるように構成したことを特徴としている。

請求項７記載の発明は、入力される圧縮符号化フレームを保存する第１の記憶手段と、圧縮符号化フレームを復号化する復号化手段と、該復号化手段で復号化される復号化フレームを記憶する第２の記憶手段と、該第２の記憶手段の上記復号化フレームを圧縮符号化する符号化手段と、該符号化手段によって圧縮符号化される逆再生用符号化フレームを保存する第３の記憶手段と、上記第１の記憶手段の圧縮符号化フレームを圧縮符号化順で又は上記第３の記憶手段の上記逆再生用符号化フレームを上記圧縮符号化順とは逆順で上記復号化手段に入力させる制御手段と、上記第２の記憶手段の上記復号化フレームを表示する表示手段とを備えた動画像圧縮データの逆再生装置に係り、上記第２の記憶手段の上記復号化フレームの中の所定順序の上記復号化フレームを順次選択して上記符号化手段に供給する選択手段を備えると共に、上記制御手段を、上記選択手段によって選択される上記復号化フレームの上記逆再生用符号化フレームを上記逆順で上記第３の記憶手段から上記復号化手段に入力させ、かつ、上記復号化手段に入力される上記逆再生用符号化フレームの間に、上記選択で間引かれている上記第１の記憶手段の圧縮符号化フレームを挿入させるように構成したことを特徴としている。

請求項８記載の発明は、請求項６又は７記載の動画像圧縮データの逆再生装置に係り、上記符号化手段の上記圧縮符号化は、フレーム内符号化であることを特徴としている。

請求項９記載の発明は、請求項６又は７記載の動画像圧縮データの逆再生装置に係り、上記符号化手段の上記圧縮符号化は、フレーム間符号化であることを特徴としている。

請求項１０記載の発明は、請求項６、７、８又は９記載の動画像圧縮データの逆再生装置に係り、上記第２の記憶手段は、上記選択順に上記逆再生用符号化フレームを保持することを特徴としている。

請求項１１記載の発明は、請求項６、８、９又は１０記載の動画像圧縮データの逆再生装置に係り、上記制御手段は、上記第３の記憶手段に記憶される上記逆再生用符号化フレームへのアクセス情報を記憶するメモリと、該メモリから上記アクセス情報を読み出して上記第３の記憶手段をアクセスするアクセス制御手段とから成ることを特徴としている。

請求項物１２記載の発明は、請求項７、8、９又は１０記載の動画像圧縮データの逆再生装置に係り、上記制御手段は、上記第１の記憶手段に記憶される上記圧縮符号化フレームへのアクセス情報を記憶する第１のメモリと、上記第３の記憶手段に記憶される上記逆再生用符号化フレームへのアクセス情報を記憶する第2のメモリと、該第2のメモリの上記アクセス情報に基づいて上記第３の記憶手段から上記逆順で読み出される上記逆再生用符号化フレームの間に、上記第１の記憶手段の上記圧縮符号化フレームのうちの上記選択で間引かれている上記圧縮符号化フレームを上記第１のメモリのアクセス情報に基づいて上記逆順で挿入させるアクセス制御手段とから成ることを特徴としている。

原動画像圧縮データの通常再生において復号化される復号化フレームのうちの所定順序の復号化フレームを選択して逆再生に用いる構成により、動画像圧縮データの逆再生に要する記憶容量を格段に低減させることができる。
また、原動画像圧縮データを復号化してその復号化フレームを用いて逆再生用符号化フレームを作成しているので、原動画像圧縮データにフレーム内符号化画像等がどのように含まれているかには依存しなくなり、様々な動画像圧縮データの同質な逆再生が可能になる。

また、原動画像圧縮データの復号化フレームをフレーム内符号化で符号化する構成にすれば、回路及び制御の簡素化及び動作処理量の低減化が得られ、これによる消費電力の低減化も得られる。
さらに、上記逆再生用符号化フレームの間に、上記選択で間引かれている上記原動画像圧縮データのフレームを上記逆順で挿入して復号化し、表示するようにすれば、滑らかな逆再生を行うことができる。

原動画像圧縮データの通常再生において復号化される復号化フレームのうちの所定順序の復号化フレームを選択し、選択された復号化フレームを圧縮符号化して保存する。保存されている逆再生用符号化フレームを上記原動画像圧縮データの圧縮符号化順とは逆順で読み出して復号化し、表示するようにして構成される。
また、上記逆順で読み出される逆再生用符号化フレームの間に、上記選択で間引かれている上記原動画像圧縮データのフレームを上記逆順で挿入して復号化し、表示するようにして構成される。

図１は、この発明の実施例１である動画像再生／逆再生装置の構成図、図２は、同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの一部を示す図、図３は、同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの一部を示す図、図４は、同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの残部を示す図、図５は、同動画像再生/逆再生装置の逆再生時の動作を説明するフローチャートの一部を示す図、また、図６は、同動画像再生/逆再生装置の逆再生時の動作を説明するフローチャートの残部を示す図である。
この実施例の動画像再生/逆再生装置１０は、動画像の圧縮符号化フレームデータを復号化した復号化フレームのうちの所定順序の復号化フレームを選択し、選択された復号化フレームを圧縮符号化し、その逆再生用符号化フレームを圧縮符号化順とは逆順で復号化して表示する装置に係り、図１に示すように、大別して動画像再生部１２と逆再生用イントラフレーム作成部１４とから成る。

動画像再生部１２は、符号化フレーム保存メモリ２２、符号化フレームインデックスメモリ２４、符号化フレーム入力制御部２６、復号化部２８、復号化フレーム出力メモリ３０、復号化フレームインデックスメモリ３２、表示タイミング制御部３４及び表示部３６から成る。
符号化フレーム保存メモリ２２は、再生すべき動画像圧縮データ（圧縮符号化フレームデータ）を保存するメモリであり、例えば、ＭＰＥＧ―４ビデオ形式などで圧縮された圧縮符号化フレームデータ（単に、圧縮符号化フレームともいう）を保存する。
復号化フレームインデックスメモリ２４は、符号化フレーム保存メモリ２２に保存されている圧縮符号化フレームデータの情報を保持するメモリであり、その情報は、例えば、各圧縮符号化フレームのフレーム番号と、符号化フレーム保存メモリ２２に保存されている圧縮符号化フレームのアドレス情報とを対にして保存されている。

符号化フレーム入力制御部２６は、符号化フレームインデックスメモリ２４に保存されている情報を参照して符号化フレーム保存メモリ２２に保存されている任意の圧縮符号化フレームデータをアクセスしてそのデータを復号化部２８に引き渡す。
また、符号化フレーム入力制御部２６は、再符号化フレームインデックスメモリ４６に保存されている情報を参照して再符号化フレーム保存メモリ４４に保存されている該情報対応のイントラフレームデータ（圧縮符号化フレームデータ）をアクセスしてそのデータを復号化部２８に引き渡す。

復号化部２8は、圧縮符号化フレームデータを復号化し、復号化した非圧縮形式のフレームデータ（復号化フレームデータ、また、単に復号化フレームともいう）を復号化フレーム出力メモリ３０に出力する。
復号化フレームインデックスメモリ３２は、復号化フレーム出力メモリ３０に保存される復号化フレームデータの情報を予め保存するメモリであり、その情報は、例えば、復号化フレーム出力メモリ３０が複数の復号化フレームデータを同時に保存し得る複数面から構成される場合には、その面番号と、当該面に保存される復号化フレームデータのフレーム番号及び上書き不可フラグ等の情報である。

表示タイミング制御部３４は、表示タイミングが予め設定されており、その表示タイミングを参照して復号化フレーム出力メモリ３０に保存されているフレームデータをアクセスして表示部３６に渡す制御部である。

逆再生用イントラフレーム作成部１４は、再符号化フレーム選択制御部４０と、フレーム内符号化部４２と、再符号化フレーム保存メモリ４４と、再符号化フレームインデックスメモリ４６とから構成される。

再符号化フレーム選択制御部４０は、再符号化対象のフレーム番号を算出し、復号化フレームインデックスメモリ３２に保存されている情報を参照して復号化フレーム出力メモリ３０の復号化フレームデータをアクセスし、該復号化フレームデータをフレーム内符号化部４２に渡す制御部である。例えば、４フレームにつき１フレームの割合で再符号化する場合には、フレーム番号１、５、９、…のフレーム番号を持つ復号化フレームデータが再符号化対象となる。
フレーム内符号化部４２は、再復号化フレーム選択制御部４０から引き渡された復号化フレームデータのフレーム内符号化を行う符号化部である。

再符号化フレーム保存メモリ４４は、フレーム内符号化部４２でフレーム内符号化された圧縮符号化フレームデータ、すなわち、イントラフレームデータ(逆再生用符号化フレームデータ)を入力順に保存するメモリである。
再符号化フレームインデックスメモリ４６は、再符号化フレーム保存メモリ４４に保存されて行くイントラフレームデータの情報を保持するメモリであり、その情報は、例えば、イントラフレームデータのフレーム番号と、再符号化フレーム保存メモリ４４にイントラフレームデータが保存されるアドレス情報を対にしたものである。

次に、図１乃至図６を参照して、この実施例の動作について説明する。
図２乃至図６のフローチャートで示す動画像再生装置１０の通常再生の動作は、１つのフレームについてのものである。
動画像再生装置１０での通常再生を行う場合、符号化フレーム入力制御部２６は、符号化フレームインデックスメモリ２４へのアクセスを行うように設定される。
符号化フレーム入力制御部２６は、符号化フレームインデックスメモリ２４に保存されている情報を参照して該情報に基づいて符号化フレーム保存メモリ２２をアクセスし、上記情報対応の圧縮符号化フレームデータを復号化部２８に渡す（図２のＳ１）。上記アクセスは、上記情報のフレーム番号が小さいフレーム番号から行う。例えば、符号化フレーム保存メモリ２２にフレーム番号1、２、３、…の動画像圧縮データが保存されている場合は、フレーム番号1、２、３、…の順に圧縮符号化フレームデータが符号化フレーム保存メモリ２２から読み出される。

復号化部２８は、入力される圧縮符号化フレームデータの復号化処理を行う（図２のＳ２）。そのフレームについての復号化処理が完了すると、復号化部２８は、復号化フレームインデックスメモリ３２を参照して復号化フレーム出力メモリ３０の空き面を確認する（図２のＳ３）。空き面がなければ（図２のＳ３のＮＯ）、当該復号化フレームデータを保存すべき面が空き面となるまで待機する。

上記復号化により復号化された復号化フレームデータを保存すべき面が空きである、すなわち、上書き不可フラグがクリアされているならば（図2のＳ３のＹＥＳ）、復号化部２８は、その空き面に復号化フレームデータを出力する、すなわち、保存する（図2のＳ４）。
この保存と同時に、復号化フレームインデックスメモリ３２の上記保存を行った面対応のフレーム番号を、保存した復号化フレームデータのフレーム番号に更新し、上記保存を行った面対応の上書き不可フラグをリセット状態からセット状態に切り替える（図2のＳ５）。

表示タイミング制御部３４は、復号化部２８の動作と一定のタイミング関係、すなわち、復号化フレームデータの復号化フレーム出力メモリ３０への保存及び表示との関係において、自身に予め設定されている各フレームの表示タイミングが来ると（図４のＳ１１のＹＥＳ）、当該復号化フレームデータを復号化フレーム出力メモリ３０から読み出し（Ｓ１２）、表示部３６で表示処理を行う（Ｓ１３）。この表示処理と同時に、表示タイミング制御部３４は、復号化フレームインデックスメモリ３２の該当する上書き不可フラグをクリアする（Ｓ１４）。

動画像再生部１２において上述した通常の再生動作が行われるのと並行して、逆再生用イントラフレーム作成部１４では逆再生用のイントラフレームデータを作成する。
再符号化フレーム選択制御部４０は、復号化部２８の動作と一定のタイミング関係、すなわち、イントラフレームデータの作成タイミングで、復号化フレームインデックスメモリ３２のフレーム番号情報を参照して（図３のＳ６）そのフレーム番号が再符号化対象となるフレーム番号でないならば（Ｓ６のＮＯ）、そのフレームについては再符号化処理は行わない。

再符号化対象となる復号化フレームデータの読み出しタイミングとなっているならば（Ｓ６のＹＥＳ）、その復号化フレームデータを復号化フレーム出力メモリ３０から読み出して（Ｓ７）フレーム内符号化部４２でフレーム内符号化を行ってイントラフレームデータの作成を行う（Ｓ８）。
このようにして作成されたイントラフレームデータは、再符号化フレーム保存メモリ４４に保存される（Ｓ９）。
この保存と同時に、保存したイントラフレームデータのフレーム番号等が再符号化フレームインデックスメモリ４６に保存される（Ｓ１０）。

次に、図５及び図６を参照して動画像再生／逆再生装置１０における逆再生動作を説明する。
図５及び図６のフローチャートに示す逆再生動作の説明も、１つのフレームについてのものである。
逆再生動作においても、動画像再生部１２を起動して再生処理を行う点については、上述した通常再生の場合と同じであるが、復号化フレーム入力制御部２６の動作に相違がある。

動画像再生装置１０で逆再生を行う場合、符号化フレーム入力制御部２６は、再符号化フレームインデックスメモリ４６へのアクセスを行うように設定される。
符号化フレーム入力制御部２６は、再符号化フレームインデックスメモリ４６に保存されている情報を参照して該情報に基づいて再符号化フレーム保存メモリ４４をアクセスし、上記情報対応のイントラフレームデータを復号化部２８に渡す（図５のＳ１Ａ）。上記アクセスは、上記情報のフレーム番号が大きいフレーム番号から行う。

例えば、再符号化フレーム保存メモリ４４にフレーム番号1、５、９、…のイントラフレームデータが保存されている場合は、フレーム番号…、９、５、１の順に再符号化フレーム保存メモリ４４から読み出される。

復号化部２８は、入力されるイントラフレームについての復号化処理を行う（Ｓ２Ａ）。例えば、フレーム番号…、９、５、１の順に復号化処理が行われる。
この実施例では、すべてのフレームが参照フレームを必要とせずに独立に復号化できるイントラフレームデータであるので、上述のような不連続な復号化が可能になる。
そのイントラフレームデータについての復号化処理が完了すると、復号化部２８は、復号化フレームインデックスメモリ３２を参照して復号化フレーム出力メモリ３０の空き面を確認する（Ｓ３Ａ）。空き面がなければ（Ｓ３ＡのＮＯ）、当該復号化フレームデータを保存すべき面が空き面となるまで待機する。

上記復号化により復号化された復号化フレームデータを保存すべき面が空きである、すなわち、上書き不可フラグがクリアされているならば（Ｓ３ＡのＹＥＳ）、復号化部２８は、その空き面に復号化フレームデータを出力する、すなわち、保存する（Ｓ４Ａ）。
この保存と同時に、復号化フレームインデックスメモリ３２の上記保存を行った面対応のフレーム番号を、保存した復号化フレームデータのフレーム番号に更新し、上記保存を行った面対応の上書き不可フラグをリセット状態からセット状態に切り替える（Ｓ５Ａ）。

表示タイミング制御部３４は、上述と同様にして逆再生について自身に予め設定されている各フレームの逆再生表示タイミングが来ると（図６のＳ１１Ａ）、当該復号化フレームデータを復号化フレーム出力メモリ３０から読み出し（Ｓ１２Ａ）、表示部３６で表示処理を行う（Ｓ１３Ａ）。
このようにして、フレーム番号…、９、５、1のフレームがこの順に表示部３６の画面に表示される、すなわち、逆再生を行うことができる。
この表示処理と同時に、表示タイミング制御部３４は、復号化フレームインデックスメモリ３２の該当する上書き不可フラグをクリアする（Ｓ１４Ａ）。

このように、この実施例の構成によれば、原動画像圧縮データを一旦復号化し、その復号化フレームのうちから一定数のフレーム置きに選択した復号化フレームについてフレーム内符号化を行い、その符号化フレームを逆再生に用いるようにしたので、逆再生に必要な記憶容量を格段に削減することが可能になる。
また、原動画像圧縮データ内のフレーム内符号化データの含まれ方の如何を問わず、原動画像圧縮データを一旦復号化してその復号化フレームデータを逆再生に用いるようにしているので、原動画像圧縮データにフレーム内符号化データがどのように含まれているかは依存しなくなり、様様な動画像圧縮データの同質な逆再生を行うことができる。
また、上記効果と共に、回路及び制御の簡略化及び動作処理量の低減化が得られ、これにより消費電力を低減させることができる。

図７は、この発明の実施例２である動画像再生／逆再生装置の電気的構成を示す図、図８は、この発明の実施例２である動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの一部を示す図、図９は、この発明の実施例２である動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの他の一部を示す図、図１０は、この発明の実施例２である動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの残部を示す図、また、図１１は、同動画像再生／逆再生装置の逆再生時の動作タイミング例を示す図である。
この実施例の構成が、実施例1のそれと異なるところは、逆再生時の動作に原動画像圧縮データを加入させようにした点である。

すなわち、この実施例の動画像再生／逆再生装置１０Ａ（図７）における符号化フレーム入力制御部２６Ａは、再符号化フレーム保存メモリ４４からのイントラフレームデータの読み出しと次のイントラフレームデータの読み出しとの間に、これら２つのイントラフレームデータの間を埋め合わせるフレームデータ、すなわち、選択により間引かれている圧縮符号化フレームを符号化フレーム保存メモリ２２から逆再生可能に読み出すように構成した点に特徴がある。
したがって、動画像再生部に参照番号１２Ａを付してある。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。

次に、図７乃至図１１を参照して、この実施例の動作について説明する。
この実施例においても、通常再生時の動作は、実施例１と同じで、逆再生動作については装置が図１１に示す動作タイミング例で動作するように構成されているものとして説明する。
したがって、再生時に再生されるイントラフレームは、１２フレームから構成される動画像圧縮データのうちの４フレームに１フレームの割合であり、再生されるイントラフレームデータをＩ１、Ｉ５、Ｉ９とし、これらのイントラフレームデータは、再符号化フレーム保存メモリ４４に保存されている（書き込まれている）とする。Ｉはイントラフレームであることを示し、数字は原動画像圧縮データにおけるフレーム番号を示している。また、図１１中に示すPは、インターフレーム、すなわち、先行するフレームを参照してのみ復号化可能なフレームであることを示す。

また、復号化処理に要する時間は十分短いものとし、復号化フレーム出力メモリ３０は、４面から構成されているものとする。
この設例の下では、再符号化フレームインデックスメモリ４６には、符号化フレームＩ１、Ｉ５、Ｉ９のフレーム番号及びアドレス情報が保存されている。
また、この実施例においては、上述したように、再符号化対象フレーム、すなわち、イントラフレームの間に原動画像圧縮データ（圧縮符号化フレームデータ）を挿入するようにしている点を除き、実施例１と同様であるので、図８乃至図１０に示す逆再生時の動作手順のうちのステップＳ１５Ｂ乃至ステップＳ２４Ｂに相違があり、他のステップＳ１Ｂ乃至Ｓ５Ｂ及びステップＳ１１Ｂ乃至Ｓ１４Ｂは、図５のステップＳ１Ａ乃至Ｓ５Ａ及び図６のステップＳ１１Ａ乃至Ｓ１４Ａと同じである。

逆再生の動作が開始されると、符号化フレーム入力制御部２６Ａは、先ず、読み出す圧縮符号化フレームのカウント数を0にリセットする(図８のＳ１５Ｂ)。
そして、読み出し終了フラグをオフにする（Ｓ１６Ｂ）。再符号化対象フレームの読み出しタイミングが来るまで、アイドリング状態となる（Ｓ１７ＢのＮＯ）。
再符号化対象フレームの読み出しタイミングが来たときに（Ｓ１７ＢのＹＥＳ）逆再生の終了であるならば（Ｓ１８ＢのＹＥＳ）、処理は終了となるが、逆再生の終了となっていないならば（Ｓ１８ＢのＮＯ）、以下に説明する処理に入る。

符号化フレーム入力制御部２６Ａは、再符号化対象フレームか否かの判定、すなわち、再符号化フレーム保存メモリ４４にイントラフレームデータが保存されているか否かの判定を行う（図９のＳ１９Ｂ）。
この設例におけるここまでの処理で、再符号化対象フレームであるイントラフレームに来ているので（Ｓ１９ＢのＹＥＳ）、再符号化フレームインデックスメモリ４６を参照して再符号化フレーム保存メモリ４４からフレーム番号の一番大きいイントラフレームデータを読み出す（Ｓ１Ｂ）。この例では、イントラフレームデータＩ９が読み出される。
そして、カウント数を１だけ増計数する（Ｓ２２Ｂ）。イントラフレームデータＩ９は、復号化部２８に入力されて復号化される（Ｓ２Ｂ）。

その復号化部２８での復号化処理が完了すると、復号化フレームデータＤＩ９は、復号化フレーム出力メモリ３０の１面に書き込まれる（Ｓ３Ｂ、Ｓ４Ｂ、図１１の１面）。
この書き込みと同時に、復号化フレームインデックスメモリ３２の１面の情報は、フレーム番号9に更新され、上書き不可フラグがセットされる（Ｓ５Ｂ）。
ここまでの動作が完了したときの復号化フレームインデックスメモリ３２の１面の上記情報、すなわち、面番号、フレーム番号及び上書き付加フラグは、（１、９、１）となる。

この時刻に、符号化フレーム入力制御部２６Ａは、４つのフレームを読み出しているか否かの判定を行うと（Ｓ２３Ｂ）、その判定は否定となり（Ｓ２３ＢのＮＯ）、再符号化対象フレームの読み出しにはなく（Ｓ１９ＢのＮＯ）、読み出し終了フラグのオンにもないから（Ｓ２０ＢのＮＯ）、符号化フレーム入力制御部２６Ａは、符号化フレーム保存メモリ２２からの圧縮符号化フレームデータＰ１０の読み出しを行う（Ｓ２１Ｂ）。

そして、この圧縮符号化フレームデータＰ１０についても、イントラフレームデータＩ９と動作の処理、すなわち、カウントの増計数（２となる）（Ｓ２２Ｂ）、その復号化（Ｓ２Ｂ）、復号化フレームデータの復号化フレーム出力メモリへの保存（Ｓ３Ｂ、Ｓ４Ｂ）及びフレーム番号及び上書き不可フラグの復号化フレームインデックスメモリ３２への保存（Ｓ５Ｂ）を行う。この場合の復号化フレームデータＤＰ１０の復号化フレーム出力メモリ３０への保存は、その２面に行われる（図１１の２面）。また、復号化フレームインデックスメモリ３２の１面及び２面の上記情報、すなわち、面番号、フレーム番号及び上書き付加フラグは、それぞれ、（１、９、１）及び（２、１０、１）となる。

これらの処理後に、符号化フレーム入力制御部２６Ａが、４つのフレームを読み出しているか否かの判定を行うと（Ｓ２３Ｂ）、その判定は否定となり（Ｓ２３ＢのＮＯ）、再符号化対象フレームの読み出しにはなく（Ｓ１９ＢのＮＯ）、読み出し終了フラグのオンにもないから（Ｓ２０ＢのＮＯ）、符号化フレーム入力制御部２６Ａは、符号化フレーム保存メモリ２２からの圧縮符号化フレームデータＰ１１の読み出しを行う（Ｓ２１Ｂ）。
そして、圧縮符号化フレームデータＰ１１についても、圧縮符号化フレームデータＰ１０と同様の処理を行う（Ｓ２２Ｂ、Ｓ２Ｂ、Ｓ３Ｂ、Ｓ４Ｂ、Ｓ５Ｂ）。この場合の復号化フレームデータＤＰ１１の復号化フレーム出力メモリ３０への保存は、その３面に行われる（図１１の３面）。また、復号化フレームインデックスメモリ３２の１面、２面及び３面の上記情報、すなわち、面番号、フレーム番号及び上書き付加フラグは、それぞれ、（１、９、１）、（２、１０、１）及び（３、１１、１）となる。

この時刻には、まだ、４つのフレームを読み出していないから（Ｓ２３ＢのＮＯ）、上記と同様の処理に入り、圧縮符号化フレームデータＰ１２を読み出し、このフレームについても、フレームＰ１０、フレームＰ１１と同様の処理を行う（Ｓ２２Ｂ、Ｓ２Ｂ、Ｓ３Ｂ、Ｓ４Ｂ、Ｓ５Ｂ）。この場合の復号化フレームデータＤＰ１２の復号化フレーム出力メモリ３０への保存は、その４面に行われる（図１１の４面）。また、復号化フレームインデックスメモリ３２の１面、２面、３面及び４面の上記情報、すなわち、面番号、フレーム番号及び上書き付加フラグは、それぞれ、（１、９、１）、（２、１０、１）、（３、１１、１）及び（４、１２、１）となる。

圧縮符号化フレームデータＰ１２についてのステップＳ５Ｂまでの処理が終了した後に、表示タイミング制御部３４において復号化フレームデータＤＰ１２の表示タイミングとなっているか否かの判定を行う（図１０のＳ１１Ｂ）。
この時刻には、この設例では図１１に示すように、復号化フレームデータＤＰ１２の表示タイミングが来ているから（Ｓ１１ＢのＹＥＳ、図１１の表示の中のＤＰ１２）、表示タイミング制御部３４によって復号化フレーム出力メモリ３０の復号化フレームデータＤＰ１２が読み出され（Ｓ１２Ｂ）、表示部３６に供給されて表示される（Ｓ１３Ｂ）。

この表示に供された復号化フレームデータＤＰ１２に対応する復号化フレームインデックスメモリ３２の上書き不可フラグをリセットし（Ｓ１４Ｂ）、再び、次の復号化フレームデータの表示タイミングが来ているか否かを見る（Ｓ１１Ｂ）。
次の表示タイミング、すなわち、復号化フレームデータＤＰ１１の表示タイミングになると（Ｓ１１ＢのＹＥＳ、図１１の表示の中のＤＰ１１）、表示タイミング制御部３４は、上述のところと同様に、その復号化フレームデータＤＰ１１を復号化フレーム出力メモリ３０から読み出して（Ｓ１２Ｂ）表示部３６で表示する（Ｓ１３Ｂ）。

復号化フレーム出力メモリ３０の復号化フレームデータＤＰ１０についても、同様の処理を行う。
この復号化フレームデータＤＰ１０についての表示処理が行われている最中に、上述したアイドリング状態にある符号化フレーム入力制御部２６Ａは、アイドリング状態は解除され（図８のＳ１７ＢのＹＥＳ）、イントラフレームデータＩ９及び圧縮符号化フレームデータＰ１０、Ｐ１１、Ｐ１２について上述した説明と同様の処理が、次の４つのフレーム、すなわち、イントラフレームデータＩ５及び圧縮符号化フレームデータＰ６、Ｐ７、Ｐ８について順次行われる。但し、復号化フレームデータＤＩ５、ＤＰ６、ＤＰ７は、それぞれ、復号化フレーム出力メモリ３０の４面、３面、２面に、それぞれ、保存される（図１１の４面、３面、２面）。

そして、復号化フレームデータＤＰ１０についての表示処理に続いて、復号化フレームデータＤＩ９についても、同様の表示処理が行われ、復号化フレームデータＤＩ９についての表示処理と同時に、復号化フレームインデックスメモリ３２の１面についての上書き不可フラグはリセットされ、その１面に上述の復号化フレームデータＤＰ８は保存される（図１１の１面）。

以降同様に、次の４つのフレーム、すなわち、イントラフレームデータＩ１並びに圧縮符号化フレームデータＰ２、Ｐ３、Ｐ４についても、上述した処理手順が続行される。

上述した処理手順のうちの復号化処理は、再符号化フレーム保存メモリ４４に保存されているイントラフレーム（再符号化フレーム）と符号化フレーム保存メモリ２２に保存されている圧縮符号化フレームとの間の保存順序関係を考慮に入れてＩ９→Ｐ１０→Ｐ１１→Ｐ１２→Ｉ５→Ｐ６→Ｐ７→Ｐ８→Ｉ１→Ｐ２→Ｐ３→Ｐ４の順で行われるのに対して、表示処理は、Ｐ１２→Ｐ１１→Ｐ１０→Ｉ９→Ｐ８→Ｐ７→Ｐ６→Ｉ５→ Ｐ４→Ｐ３→Ｐ２→Ｉ１の逆順で行われる。
したがって、滑らかな逆再生を行うことができる。

このように、この実施例の構成によれば、実施例１と同様、逆再生に必要な記憶容量の格段の削減、様様な動画像圧縮データの同質な逆再生、回路及び制御の簡略化及び動作処理量の低減化、消費電力の低減が得られる上、滑らかな逆再生を達成することができる。

以上、この発明の実施例を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上記実施例２では、復号化フレームデータＤＰ１０の表示完了時刻及び復号化フレームデータＤＩ９の表示開始時刻と復号化フレームデータＤＰ８の１面への保存時刻とを一致させる例を示しているが、これに限られるものではない。例えば、イントラフレームデータＩ５及び圧縮符号化フレームデータＰ６、Ｐ７、Ｐ８の読み出し時刻を遅らせて復号化フレームデータＤＰ８の１面への保存時刻を実施例２より遅い時刻としてもよい。

また、上記実施例では、動画像を圧縮符号化してなる圧縮符号化フレームデータを復号化し、復号化した復号化フレームデータのうちの所定順序の復号化フレームデータを選択してその復号化フレームデータをフレーム内符号化する。そして、そのフレーム内符号化されたイントラフレームデータを保存する。保存されているイントラフレームデータを上記圧縮符号化フレームデータの符号化順とは逆順に読み出し、そのイントラフレームデータを復号化して動画像を逆順で表示するようにしている。

この発明におけるフレーム内符号化をフレーム間符号化で行うようにして実施し得る。例えば、再符号化対象の最終フレーム（フレーム番号が最も大きいフレーム）は、フレーム内符号化を行い、その他の再符号化対象フレームはフレーム間符号化を行う。上記実施例で挙げた、１２フレームから構成される動画像圧縮データのうちの４フレームに１フレームの割合で逆再生用に再符号化を行う例の場合、９番目のフレームをフレーム内符号化し、５番目のフレームはＩ９を参照フレームデータとして用いてフレーム間符号化を行う。１番目のフレームは、５番目のフレームを参照フレームデータとしてフレーム間符号化を行う。

この発明は、例えば、ＭＰＥＧ−４Ｓimple Ｐlofile又はＩＴＵ−ＴＨ．263プロトコル準拠の動画像圧縮データを再生する機能を有した携帯電話機、ＰＨＳ（Ｐersonal Ｈandhone Ｓystem）、ＰＤＡ（Ｐersonal Ｄata Ａssistance；Ｐersonal Ｄigital Ａssistants：個人向け携帯型情報通信機器）等、メモリ資源が限定されており、しかも低消費電力が求められている装置において実施可能である。

この発明の実施例１である動画像再生／逆再生装置の構成図である。 同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの一部を示す図である。 同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの一部を示す図である。 同動画像再生/逆再生装置の通常再生時の動作を説明するフローチャートの残部を示す図である。 同動画像再生/逆再生装置の逆再生時の動作を説明するフローチャートの一部を示す図である。 同動画像再生/逆再生装置の逆再生時の動作を説明するフローチャートの残部を示す図である。 この発明の実施例２である動画像再生／逆再生装置の電気的構成を示す図である。 同動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの一部を示す図である。 同動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの他の一部を示す図である。 同動画像再生／逆再生装置の逆再生時の動作を説明するフローチャートの残部を示す図である。 同動画像再生／逆再生装置の逆再生時の動作タイミング例を示す図である。

符号の説明

１０、１０Ａ 動画像再生／逆再生装置
２２ 符号化フレーム保存メモリ（第３の記憶手段）
２４ 符号化フレームインデックスメモリ（制御手段の一部）
２６ 符号化フレーム入力制御部（制御手段の一部）
２８ 復号化部（復号化手段）
３０ 復号化フレーム出力メモリ（第１の記憶手段）
３２ 復号化フレームインデックスメモリ（選択手段の一部）
３４ 表示タイミング制御部（表示手段の一部）
３６ 表示部（表示手段の残部）
４０ 再符号化フレーム選択制御部（選択手段の残部）
４２ フレーム内符号化部（符号化手段）
４４ 再符号化フレーム保存メモリ（第２の記憶手段）
４６ 再符号化フレームインデックスメモリ（制御手段の残部）

Claims (12)

1. 入力される動画像の圧縮符号化フレームを復号化し、
   復号化される復号化フレームの中の所定順序の前記復号化フレームを順次選択し、
   選択される前記復号化フレームを圧縮符号化して出力し、
   出力される逆再生用符号化フレームを保存し、
   保存されている前記逆再生用符号化フレームを前記圧縮符号化フレームの圧縮符号化順とは逆順で読み出し、
   読み出される前記逆再生用符号化フレームを復号化して表示することを特徴とする動画像圧縮データの逆再生方法。
2. 入力される動画像の圧縮符号化フレームを復号化し
   復号化される復号化フレームの中の所定順序の前記復号化フレームを順次選択し、
   選択される前記復号化フレームを圧縮符号化して出力し、
   出力される逆再生用符号化フレームを保存し、
   保存されている前記逆再生用符号化フレームを前記圧縮符号化フレームの圧縮符号化順とは逆順で読み出し、
   読み出される前記逆再生用符号化フレーム間に、前記選択により間引かれている前記圧縮符号化フレームを挿入し、
   挿入されて前記逆順で連続している前記符号化フレームを復号化して表示することを特徴とする動画像圧縮データの逆再生方法。
3. 前記圧縮符号化は、フレーム内符号化であることを特徴とする請求項１又は２記載の動画像圧縮データの逆再生方法。
4. 前記圧縮符号化は、フレーム間符号化であることを特徴とする請求項１又は２記載の動画像圧縮データの逆再生方法。
5. 前記逆再生用符号化フレームの保持は、前記選択順であることを特徴とする請求項１、２、３又は４記載の動画像圧縮データの逆再生方法。
6. 入力される圧縮符号化フレームを保存する第１の記憶手段と、圧縮符号化フレームを復号化する復号化手段と、該復号化手段で復号化される復号化フレームを記憶する第２の記憶手段と、該第２の記憶手段の前記復号化フレームを圧縮符号化する符号化手段と、該符号化手段によって圧縮符号化される逆再生用符号化フレームを保存する第３の記憶手段と、前記第１の記憶手段の圧縮符号化フレームを圧縮符号化順で又は前記第３の記憶手段の前記逆再生用符号化フレームを前記圧縮符号化順とは逆順で前記復号化手段に入力させる制御手段と、前記第２の記憶手段の前記復号化フレームを表示する表示手段とを備えた動画像圧縮データの逆再生装置であって、
   前記第２の記憶手段の前記復号化フレームの中の所定順序の前記復号化フレームを順次選択して前記符号化手段に供給する選択手段を備えると共に、
   前記制御手段を、選択される前記復号化フレームの前記逆再生用符号化フレームを前記逆順で前記第３の記憶手段から前記復号化手段に入力させるように構成したことを特徴とする動画像圧縮データの逆再生装置。
7. 入力される圧縮符号化フレームを保存する第１の記憶手段と、圧縮符号化フレームを復号化する復号化手段と、該復号化手段で復号化される復号化フレームを記憶する第２の記憶手段と、該第２の記憶手段の前記復号化フレームを圧縮符号化する符号化手段と、該符号化手段によって圧縮符号化される逆再生用符号化フレームを保存する第３の記憶手段と、前記第１の記憶手段の圧縮符号化フレームを圧縮符号化順で又は前記第３の記憶手段の前記逆再生用符号化フレームを前記圧縮符号化順とは逆順で前記復号化手段に入力させる制御手段と、前記第２の記憶手段の前記復号化フレームを表示する表示手段とを備えた動画像圧縮データの逆再生装置であって、
   前記第２の記憶手段の前記復号化フレームの中の所定順序の前記復号化フレームを順次選択して前記符号化手段に供給する選択手段を備えると共に、
   前記制御手段を、前記選択手段によって選択される前記復号化フレームの前記逆再生用符号化フレームを前記逆順で前記第３の記憶手段から前記復号化手段に入力させ、かつ、前記復号化手段に入力される前記逆再生用符号化フレームの間に、前記選択で間引かれている前記第１の記憶手段の圧縮符号化フレームを挿入させるように構成したことを特徴とする動画像圧縮データの逆再生装置。
8. 前記符号化手段の前記圧縮符号化は、フレーム内符号化であることを特徴とする請求項６又は７記載の動画像圧縮データの逆再生装置。
9. 前記符号化手段の前記圧縮符号化は、フレーム間符号化であることを特徴とする請求項６又は７記載の動画像圧縮データの逆再生装置。
10. 前記第２の記憶手段は、前記選択順に前記逆再生用符号化フレームを保持することを特徴とする請求項６、７、８又は９記載の動画像圧縮データの逆再生装置。
11. 前記制御手段は、前記第３の記憶手段に記憶される前記逆再生用符号化フレームへのアクセス情報を記憶するメモリと、該メモリから前記アクセス情報を読み出して前記第３の記憶手段をアクセスするアクセス制御手段とから成ることを特徴とする請求項６、８、９又は１０記載の動画像圧縮データの逆再生装置。
12. 前記制御手段は、前記第１の記憶手段に記憶される前記圧縮符号化フレームへのアクセス情報を記憶する第１のメモリと、前記第３の記憶手段に記憶される前記逆再生用符号化フレームへのアクセス情報を記憶する第2のメモリと、該第2のメモリの前記アクセス情報に基づいて前記第３の記憶手段から前記逆順で読み出される前記逆再生用符号化フレームの間に、前記第１の記憶手段の前記圧縮符号化フレームのうちの前記選択で間引かれている前記圧縮符号化フレームを前記第１のメモリのアクセス情報に基づいて前記逆順で挿入させるアクセス制御手段とから成ることを特徴とする請求項７、8、９又は１０記載の動画像圧縮データの逆再生装置。
    

Images