JP2004274216A

JP2004274216A - Moving image data dividing apparatus

Info

Publication number: JP2004274216A
Application number: JP2003059831A
Authority: JP
Inventors: Naoki Ishihara; 直樹石原; Motohiro Ito; 元浩伊藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-03-06
Filing date: 2003-03-06
Publication date: 2004-09-30

Abstract

<P>PROBLEM TO BE SOLVED: To immediately reproduce moving image data from received partial data when dividing large-sized encoded image data into a plurality of partial data and transmitting the data. <P>SOLUTION: On the basis of the frame type of each encoded frame in the encoded image data identified by a frame type identifying part 104, a dividing processing part 105 divides an intra-frame encoded I picture into small-capacity partial data 101a, and inter-frame encoded P, B pictures into large-capacity partial data 101b. A charging processing part 102 or an encryption processing part 103 applies charging processing or encryption processing to the small-capacity partial data 101a and transmits the resultant data. Besides, a frame type converting part 107 converts the P, B pictures wherein a change of data contents is detected by a content change detecting part 106 into the I picture and the I picture in which the data contents are not changed into a P or B picture. The change in the data contents is discriminated from the amount of code of each encoded frame or from the number of intra-frame encoded macro blocks. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像データ分割装置に関し、特に、通信回線や記録メディアを伝送媒体として、符号化された符号化画像データを複数の部分データに分割してそれぞれ適合する伝送媒体を介して別々に送信を行なう際に用いる動画像データ分割装置に関する。
【０００２】
【従来の技術】
近年、様々な動画像圧縮技術の進歩により、動画像を介してコミュニケーションを行なうテレビ電話やテレビ会議などの映像通信サービスや、ＰＣや携帯端末などに動符号化画像データを配信するコンテンツ配信サービスなどが提供されている。動画像圧縮技術としては、国際標準化機関により、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの符号化方式が規格化されている。一般に、動画像を送信する場合、これらのいずれかの符号化方式を用いて動画像データを符号化圧縮し、符号化画像データとして受信端末側に送信する。
【０００３】
例えば、非特許文献１に示すＭＰＥＧ−４規格に準拠する従来の符号化方式においては、動画像データの各フレームは１６×１６画素で構成されるマクロブロック単位で符号化され、符号化対象のフレーム内の情報だけを用いて符号化するフレーム内符号化と、符号化対象のフレームと時間的に隣接する別のフレームの情報から符号化対象のフレームの情報を予測符号化するフレーム間符号化とを組み合わせて符合化が行なわれる。また、フレーム内符号化されたマクロブロックのみで構成される符号化フレームのフレームタイプをＩピクチャと、フレーム内符号化されたマクロブロックと過去の符号化フレームの情報からフレーム間符号化されたマクロブロックとで構成される符号化フレームのフレームタイプをＰピクチャと、フレーム内符号化されたマクロブロックと過去の符号化フレームの情報と未来の符号化フレームの情報との片方または両方からフレーム間符号化されたマクロブロックで構成される符号化画像フレームのフレームタイプをＢピクチャと称している。
【０００４】
図１８に、従来の動画像符号化装置の全体のブロック構成例を示す。
まず、図１８に示す動画像符号化装置２００におけるフレーム内符号化の動作を説明する。フレーム内符号化の場合、スイッチ２０３とスイッチ２０４とが共に上側にセットされて符号化が開始される。動画像符号化装置２００に入力された入力画像フレーム２００ａは、スイッチ２０３を通った後に画像符号化部２０５に入力される。画像符号化部２０５は、入力画像フレーム２００ａに対して離散コサイン変換（ＤＣＴ）を施した後に量子化を行なう。量子化されたＤＣＴ係数及び量子化幅は可変長符号化部２０９で可変長符号化され、符号化画像データ２００ｂとして出力される。同時に、量子化されたＤＣＴ係数及び量子化幅は画像復号化部２０７でローカルに復号され、加算部２０８に出力される。フレーム内符号化の場合、スイッチ２０４は上側にセットされているので、加算部２０８は加算処理を行なわずに、ローカルに復号された画像情報がそのままフレームメモリ部２０６に出力され、フレーム間符号化の際に用いられる参照画像フレームとして記憶される。
【０００５】
次に、フレーム間符号化の動作について説明する。フレーム間符号化の場合、スイッチ２０３とスイッチ２０４とが下側にセットされて符号化が開始される。ここで、フレーム間符号化が行なわれている場合の定常状態として、フレームメモリ部２０６には予測画像フレームを作成する際に使用される参照画像フレームが記憶されているものとする。入力画像フレーム２００ａが、動画像符号化装置２００の減算部２０１及び動き補償フレーム間予測部２０２に入力される。動き補償フレーム間予測部２０２は、入力画像フレーム２００ａとフレームメモリ部２０６に記憶されている参照画像フレームとから動き予測を行ない、予測画像フレームとして減算部２０１に出力する。また、動き予測を行なった際に計算される動きベクトルを可変長符号化部２０９に出力する。減算部２０１は、入力画像フレームから動き補償フレーム間予測部２０２より入力される予測画像フレームを減算し、減算した結果の予測誤差情報をスイッチ２０３を介して画像符号化部２０５に出力する。
【０００６】
画像符号化部２０５は、入力された予測誤差情報に対して離散コサイン変換（ＤＣＴ）を施した後に量子化を行なう。画像符号化部２０５から出力された量子化されたＤＣＴ係数及び量子化幅と、動き補償フレーム間予測部２０２から出力された動きベクトルとは、可変長符号化部２０９で可変長符号化され、符号化画像データ２００ｂとして出力される。同時に、量子化されたＤＣＴ係数及び量子化幅は画像復号化部２０７でローカルに復号され、加算部２０８に出力される。加算部２０８では、動き補償フレーム間予測部２０２から出力された予測画像フレームと画像復号化部２０７から出力された予測誤差情報とを加算し、新たな参照画像フレームを生成し、フレームメモリ部２０６に出力する。
【０００７】
図１９は、図１８に示す動画像符号化装置２００を用いた動画像データの符号化例を示す模式図である。入力画像フレーム２００ａが動画像符号化装置２００に入力されると、動画像符号化装置２００はフレームごとに符号化を行ない、前述したＩピクチャ、Ｐピクチャ、Ｂピクチャからなる符号化画像データ２００ｂに符号化して出力する。ここで、動画像符号化装置２００が入力画像フレーム２００ａをＩピクチャ、Ｐピクチャ、Ｂピクチャにそれぞれ符号化する周期は、符号化を行なう際のパラメータとして動画像符号化装置２００に予め与えられて設定されている。
このように、動画像符号化装置２００により符号化された符号化画像データ２００ｂは、送信端末から伝送回線を介して受信端末側に送信される。
【０００８】
【非特許文献１】
ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ３４４４；
「ＯｖｅｒｖｉｅｗｏｆｔｈｅＭＰＥＧ−４Ｓｔａｎｄａｒｄ」（Ｍａｙ／Ｊｕｎｅ２０００）
【０００９】
【発明が解決しようとする課題】
しかしながら、データサイズが大きい動画像データ即ち符号化画像データを送信する場合、伝送回線の伝送速度が遅いと、符号化画像データの送信に長時間を要するという問題がある。
また、符号化画像データをいくつかの部分データに分割し、複数の伝送回線を介して送信する方法もあるが、分割された全ての部分データが受信側で揃わない限り、符号化画像データから動画像データを再生することができないという問題もある。
【００１０】
本発明に係る動画像データ分割装置の目的は、データサイズが大きい符号化画像データを複数の部分データに分割して送信する場合に、分割された全ての部分データが受信側で揃わなくても、受信された一部の部分データから動画像データを再生することができ、受信された一部の部分データだけでも、動画像データの内容が識別できるようなデータ分割方法を備えた動画像データ分割装置を提供することにある。
【００１１】
【課題を解決するための手段】
前述したような課題を解決するために、本発明に係る動画像データ分割装置は、以下に示す各技術手段のいずれかから構成されるものである。
第１の技術手段は、動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して課金処理を行なうための課金処理手段とを備えることを特徴とする動画像データ分割装置とすることを特徴とするものである。
【００１２】
第２の技術手段は、動画像データを符号化して送信を行なう動画像符号化送信装置に備えられて、符号化された符号化画像データを分割する動画像データ分割装置において、前記符号化画像データを複数の部分データに分割するデータ分割手段と、分割した複数の前記部分データのうち、少なくとも１つの前記部分データに対して暗号化処理を行なうための暗号化処理手段とを備える動画像データ分割装置とすることを特徴とするものである。
【００１３】
第３の技術手段は、前記第１又は第２の技術手段に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段を備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプに基づいて、前記符号化画像データを複数の前記部分データに分割する動画像データ分割装置とすることを特徴とするものである。
【００１４】
第４の技術手段は、前記第３の技術手段に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００１５】
第５の技術手段は、前記第３の技術手段に記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められた所定フレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００１６】
第６の技術手段は、前記第４又は第５の技術手段に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なう動画像データ分割装置とすることを特徴とするものである。
【００１７】
第７の技術手段は、前記第１又は第２の技術手段に記載の動画像データ分割装置において、前記符号化画像データに含まれる符号化フレームのフレームタイプを検出するフレームタイプ識別手段と、前記フレームタイプ識別手段により検出された各前記符号化フレームのフレームタイプに応じて当該符号化フレームのデータ内容の変化の有無を検出する内容変化検出手段と、前記内容変化検出手段により検出された検出結果に基づいて当該符号化フレームのフレームタイプを変換するフレームタイプ変換手段とを備え、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、前記符号化画像データを複数の部分データに分割する動画像データ分割装置とすることを特徴とするものである。
【００１８】
第８の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのフレーム内符号化されたマクロブロックの個数が予め定められた所定個数以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００１９】
第９の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームのコード量が予め定められた所定コード量以上か否かに基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２０】
第１０の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、オブジェクト符号化された各前記符号化フレームのオブジェクトの個数又は種類の変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２１】
第１１の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームを示すビデオ符号化データそれぞれに対して同期しているオーディオ符号化データの音声が無音から有音に変化しているか否かを検出することにより、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２２】
第１２の技術手段は、前記第７の技術手段に記載の動画像データ分割装置において、前記内容変化検出手段が、各前記符号化フレームの中の字幕データの変化の有無に基づいて、当該符号化フレームのデータ内容の変化の有無を検出する動画像データ分割装置とすることを特徴とするものである。
【００２３】
第１３の技術手段は、前記第７乃至１２の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム間符号化が用いられた符号化フレームにデータ内容の変化が検出された場合、当該符号化フレームのフレームタイプを、フレーム内符号化が用いられる符号化フレームに変換する動画像データ分割装置とすることを特徴とするものである。
【００２４】
第１４の技術手段は、前記第７乃至１２の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段によりフレーム内符号化が用いられた符号化フレームにデータ内容の変化が検出されなかった場合、当該符号化フレームのフレームタイプを、フレーム間符号化が用いられる符号化フレームに変換する動画像データ分割装置とすることを特徴とするものである。
【００２５】
第１５の技術手段は、前記第７乃至１４の技術手段のいずれかに記載の動画像データ分割装置において、前記フレームタイプ変換手段が、前記内容変化検出手段により検出された検出結果に基づいて前記符号化フレームのフレームタイプを変換した場合、動画像データを符号化した際の符号化ビットレートが予め定められた所定符号化ビットレートよりも遅い場合には、フレームタイプを変換した当該符号化フレームと後続するフレーム内符号化が用いられた符号化フレームとの間に存在しているフレーム間符号化が用いられた前記符号化フレームを再符号化する動画像データ分割装置とすることを特徴とするものである。
【００２６】
第１６の技術手段は、前記第７乃至１５の技術手段のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームを第１の部分データとし、フレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００２７】
第１７の技術手段は、前記第７乃至１５の技術手段のいずれかに記載の動画像データ分割装置において、前記データ分割手段が、前記フレームタイプ識別手段により検出されたフレームタイプ及び／又は前記フレームタイプ変換手段により変換されたフレームタイプに基づいて、フレーム内符号化のみが用いられた符号化フレームと該符号化フレームに続く予め定められたフレーム数分のフレーム間符号化が用いられた符号化フレームとを同一のグループに属する第１の部分データとし、残りのフレーム間符号化が用いられた符号化フレームを第２の部分データとして分割する動画像データ分割装置とすることを特徴とするものである。
【００２８】
第１８の技術手段は、前記第１６又は第１７の技術手段に記載の動画像データ分割装置において、少なくとも前記第１の部分データに対して、前記第１の部分データに対して、前記課金処理手段により課金処理を行なう、及び／又は、前記暗号化処理手段により暗号化処理を行なう動画像データ分割装置とすることを特徴とするものである。
【００２９】
【発明の実施の形態】
以下、本発明に係る画像データ分割装置の実施形態について、図面を参照しながらその一例を詳細に説明する。なお、本発明に係る動画像データ分割装置は、動画像データを符号化して送信する動画像符号化装置に備えられていて、伝送回線又は記憶メディアなどの複数の伝送媒体を介して送信して、受信側で動画像として迅速に再生することを可能とするために、符号化された符号化画像データを複数の部分データに分割するものである。
＜第１の実施形態＞
まず、本発明に係る動画像データ分割装置の第１の実施形態であるブロック構成例を、図１に示す。
本実施形態における動画像データ分割装置１００は、データ分割部１０１と課金処理部１０２とを備えている。入力された符号化画像データ１００ａは、データ分割部１０１に入力されて１つの小容量部分データ１０１ａと１つ又は複数の大容量部分データ１０１ｂとに分割される。分割された小容量部分データ１０１ａは課金処理部１０２から低速回線を介して受信端末側に伝送され、大容量部分データ１０１ｂは、高速回線又は記録媒体を介して小容量部分データ１０１ａとは別に伝送される。
【００３０】
ここで、受信端末においては、受信された小容量部分データ１０１ａ単独でも動画像データに再生可能であるが、大容量部分データ１０１ｂについては単独では動画像データに再生不可能である。即ち、大容量部分データ１０１ｂはデータ分割部１０１で分割された小容量部分データ１０１ａと併合することにより初めて動画像データに再生可能となる。また、符号化画像データ１００ａを動画像データに再生するためには、小容量部分データ１０１ａを最低限必要としているので、小容量部分データ１０１ａは課金処理部１０１に送られて、課金処理部１０１において小容量部分データ１０１ａに対して課金処理が施されて、課金処理小容量部分データ１０２ａとして低速回線に出力される。
【００３１】
＜第２の実施形態＞
次に、本発明に係る動画像データ分割装置の第２の実施形態であるブロック構成例を、図２に示す。本実施形態の動画像データ分割装置１００′は、図１に示すデータ分割部１０１と、課金処理部１０２の代わりに暗号化処理部１０３とを備えている。図２に示す動画像データ分割装置１００′においては、データ分割部１０１で分割された小容量部分データ１０１ａは、暗号化処理部１０３から低速回線を介して受信端末側に暗号化小容量部分データ１０３ａとして伝送され、大容量部分データ１０１ｂは、高速回線又は記録媒体を介して小容量部分データ１０１ａとは別に伝送される。即ち、小容量部分データ１０１ａは、暗号化処理部１０３において、厳重な暗号化処理が施されて、暗号化された暗号化小容量部分データ１０３ａに変換されて、低速回線に出力される。ここで、本実施形態において、暗号化小容量部分データ１０３ａに対して更に図１に示す課金処理部１０２により課金処理を施して低速回線に出力することももちろん可能である。
【００３２】
＜第３の実施形態＞
次に、本発明に係る動画像データ分割装置の第３の実施形態について、図３と図４とを用いて説明する。ここに、図３は、本発明に係る動画像データ分割装置の第３の実施形態として、図１又は図２に示した動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図であり、図４は、図３に示す動画像データ分割装置のデータ分割部１０１′を用いた符号化画像データの部分データへの分割例を示す模式図である。本実施形態の動画像データ分割装置のデータ分割部１０１′は、図１又は図２に示す動画像データ分割装置１００，１００′のデータ分割部１０１を拡張したものであり、図１又は図２に示す動画像データ分割装置１００，１００′に用いるデータ分割部１０１として、フレームタイプ識別部１０４と分割処理部１０５とを備えている場合を示している。
【００３３】
フレームタイプ識別部１０４は、入力されてきた符号化画像データ１００ａに含まれている各符号化フレームが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれの符号化フレームであるかを検出して、検出されたフレームタイプを符号化画像データ１００ａに付してフレームタイプ付き符号化画像データ１０４ａとして分割処理部１０５に出力する。
【００３４】
ここに、フレームタイプは、入力されてきた符号化画像データ１００ａの各符号化フレームのヘッダに記載されているので、容易に検出することができる。分割処理部１０５は、フレームタイプ識別部１０４からのフレームタイプ付き符号化画像データ１０４ａに付されているフレームタイプに基づいて、フレームタイプ付き符号化画像データ１０４ａを小容量部分データ１０１ａと大容量部分データ１０１ｂとに分割する。図４に、本実施形態におけるデータ分割部１０１′の分割処理部１０５により、入力されてくるフレームタイプ付き符号化画像データ１０４ａを小容量部分データ１０１ａと大容量部分データ１０１ｂとに分割する場合の一例を示している。
【００３５】
即ち、図３に示す分割処理部１０５は、図４に一例を示すように、入力された符号化画像データ１００ａの各符号化フレーム毎にフレームタイプ識別部１０４によりフレームタイプが付与されて渡されてくるフレームタイプ付き符号化画像データ１０４ａをＩピクチャとＰピクチャとＢピクチャとに分割し、フレーム内符号化のみを用いているＩピクチャを小容量部分データ１０１ａの部分データとして分割し、フレーム間符号化を用いているＰピクチャ、Ｂピクチャを大容量部分データ１０２ｂの部分データとして分割している。ここで、フレーム内符号化のＩピクチャのみで構成される小容量部分データ１０１ａは単独でも元の動画像データに再生可能であるが、フレーム間符号化のＰピクチャ、Ｂピクチャで構成される大容量部分データ１０１ｂは単独では元の動画像データに再生することができず、フレーム内符号化のＩピクチャからなる小容量部分データ１０１ａと併合することで初めて再生することが可能となる。
【００３６】
＜第４の実施形態＞
次に、本発明に係る動画像データ分割装置の第４の実施形態について、図５を用いて説明する。ここに、図５は、図３に示す動画像データ分割装置のデータ分割部１０１′を用いた符号化画像データの部分データへの分割の他の例を実施形態４として示す模式図である。即ち、本実施形態の動画像データ分割装置のデータ分割部１０１′においても、図１又は図２に示す動画像データ分割装置１００，１００′に用いるデータ分割部１０１′として、フレームタイプ識別部１０４と分割処理部１０５とを備えているが、本実施形態のデータ分割部１０１′の分割処理部１０５は、前記第３の実施形態に示す図４の模式図とは異なる別の方法により部分データに分割している。
【００３７】
即ち、図５の模式図に示すように、分割処理部１０５は、フレームタイプ識別部１０４から渡されてくるフレームタイプ付き符号化画像データ１０４ａをＩピクチャ及び該Ｉピクチャに続く予め定められた所定フレーム数（図５に示す例では３フレーム）分のＰピクチャ、Ｂピクチャと、残りのＰピクチャ、Ｂピクチャとに分割し、Ｉピクチャ及び該Ｉピクチャに続く前記所定フレーム数分のＰピクチャ、Ｂピクチャを小容量部分データ１０１ａとして分割し、残りのＰピクチャ、Ｂピクチャを大容量部分データ１０１ｂとして分割している。Ｉピクチャ及び該Ｉピクチャに続く前記所定フレーム数分のＰピクチャ、Ｂピクチャで構成される小容量部分データ１０１ａは単独でも元の動画像データに再生可能であるが、残りのＰピクチャ、Ｂピクチャで構成される大容量部分データ１０１ｂは単独では元の動画像データに再生することができず、小容量部分データ１０１ａと併合することにより初めて元の動画像データに再生することが可能となる。
【００３８】
＜第５の実施形態＞
次に、本発明に係る動画像データ分割装置の第５の実施形態について、図６乃至図９を用いて説明する。ここに、図６は、本発明に係る動画像データ分割装置の第５の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図であり、図７は、図６に示す動画像データ分割装置のデータ分割部１０１″を用いた符号化画像データの部分データへの分割例を示す模式図である。図８及び図９に示す動作フローチャートについては後述する。図６に示した本実施形態の動画像データ分割装置のデータ分割部１０１″は、第３の実施形態及び第４の実施形態における図３に示す動画像データ分割装置に用いるデータ分割部１００′を更に拡張したものであり、図６に示すように、動画像データ分割装置１００，１００′に用いるデータ分割部１０１″として、フレームタイプ識別部１０４と分割処理部１０５とに加えて、更に、内容変化検出部１０６とフレームタイプ変換部１０７とを備えている場合を示している。
【００３９】
内容変化検出部１０６とフレームタイプ変換部１０７との動作を、図７の模式図を用いて説明する。
内容変化検出部１０６は、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａの各符号化フレームの中で、シーンチェンジや字幕の変化などのような動画像の内容が変化したシーンを含むＰピクチャやＢピクチャの符号化フレームや、逆に、変化があるシーンを含んでいないＩピクチャの符号化フレームを検出して、変化有無情報が付された変化有無情報付き符号化画像データ１０６ａとして出力する。なお、内容変化検出部１０６においては、フレームタイプ付き符号化画像データ１０４ａの中から、画像を示す符号化ビデオデータあるいは音声を示す符号化オーディオデータのうちの少なくとも一方を用いるものとする。図７に示す例の場合には、第７番目の符号化フレームであるＰピクチャには変化があるシーンが含まれていることを検出し、第１３番目の符号化フレームであるＩピクチャには変化があるシーンが含まれていないことを検出している場合を例示している。
【００４０】
フレームタイプ変換部１０７は、内容変化検出部１０６により検出されたシーンの変化の有無情報に基づいて、内容変化検出部１０６から入力されてくる変化有無情報付き符号化画像データ１０６ａの符号化フレームのフレームタイプを変換する。ここで、小容量部分データ１０１ａのみを用いて元の動画像データを再生する場合には、小容量部分データ１０１ａに動画像の内容が変化した符号化フレームを含んでいる方がより自然に見える。
【００４１】
よって、動画像の内容が変化した符号化フレームは、小容量部分データ１０１ａには必ず含まれることになるＩピクチャとすることが望ましいので、内容変化検出部１０６により検出された動画像の内容が変化したシーンを含む符号化フレームのフレームタイプが、Ｐピクチャ又はＢピクチャの符号化フレームであった場合には、フレームタイプ変換部１０７において、動画像の内容が変化したシーンを含むＰピクチャ又はＢピクチャの符号化フレームをＩピクチャに変換する。図７に示す例においては、フレームタイプ変換部１０７に入力されてくる変化有無情報付き符号化画像データ１０６ａの第７番目にあるＰピクチャの符号化フレームをＩピクチャの符号化フレームにフレームタイプを変換して、フレームタイプ変換符号化画像データ１０７ａとして分割処理部１０５に出力している。
【００４２】
しかし、一般的にＩピクチャの１符号化フレーム当たりのコード量（即ちデータ量）は、Ｐピクチャ又はＢピクチャの１符号化フレーム当たりのコード量よりも大きいので、Ｐピクチャ又はＢピクチャをＩピクチャの符号化フレームに変換するだけでは、送信する符号化画像データ全体のコード量が増加してしまう。そこで、動画像の内容が変化しなかった符号化フレームで、フレームタイプがＩピクチャの符号化フレームが内容変化検出部１０６により検出されていた場合は、フレームタイプ変換部１０７において、逆に、Ｐピクチャ又はＢピクチャに変換する。
【００４３】
これにより、フレームタイプ変換部１０７におけるフレームタイプ変換処理後の符号化画像データ全体のコード量をフレームタイプ変換処理前の符号化画像データ全体のコード量とほぼ同じ程度になるように調整することが可能となる。図７に示す例においては、フレームタイプ変換部１０７に入力されてくる変化有無情報付き符号化画像データ１０６ａの７番目の符号化フレームのＩピクチャへの変換に対応して、第１３番目にあるＩピクチャ（変化のシーンを含んでいないＩピクチャ）の符号化フレームを、Ｐピクチャの符号化フレームにフレームタイプを変換して、フレームタイプ変換符号化画像データ１０７ａとして分割処理部１０５に出力している。
【００４４】
次に、内容変化検出部１０６とフレームタイプ変換部１０７との動作の一例について更に説明する。図６に示す内容変化検出部１０６においては、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａの各符号化フレーム中のフレーム内符号化されたマクロブロックの個数を基にして、シーンチェンジを含む符号化フレームか否かを検出する。Ｐピクチャ及びＢピクチャに関しては、シーンチェンジを含まない符号化フレーム中のフレーム間符号化されたマクロブロックは、フレーム内符号化されたマクロブロックよりもコード量が小さくなるが、逆に、シーンチェンジを含む符号化フレーム中のフレーム間符号化されたマクロブロックは、フレーム内符号化されたマクロブロックよりもコード量が大きくなってしまう。
【００４５】
従って、動画像符号化装置においては、シーンチェンジを含む符号化フレームをＰピクチャに符号化する際には、符号化フレームのコード量を小さく抑えるために、符号化フレームのコード量がより少ないフレーム内符号化されたマクロブロックの数を多くなるように符号化を行なっている。よって、Ｐピクチャの符号化フレーム中でフレーム内符号化されたマクロブロックの個数が多ければ、当該Ｐピクチャはシーンチェンジを含んでいる符号化フレームであると考えることができる。ここで、マクロブロックがフレーム内符号化されているかどうかは、各マクロブロックのヘッダに記載されているので、符号化フレーム中のフレーム内符号化されたマクロブロックの個数は容易に検出することができる。
【００４６】
また、フレームタイプ変換部１０７においては、前述のごとく、シーンチェンジを含むＰピクチャ又はＢピクチャをＩピクチャに変換し、逆に、シーンチェンジを含まないＩピクチャをＰピクチャまたはＢピクチャに変換する。フレームタイプ変換部１０７のフレームタイプ変換処理は、符号化されている符号化フレームを一旦復号し、復号したフレームを再び所望のフレームタイプに符号化し直すことによって容易に行なうことができる。
【００４７】
しかしながら、例えば、Ｐピクチャ又はＢピクチャをＩピクチャにフレームタイプを変換した場合、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャは、最初に符号化した時に参照していた参照画像フレームの内容から変化してしまい、結果として、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャをそのまま復号すると、画像の劣化が起こってしまう。よって、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャについては再符号化することが必要である。
【００４８】
符号化ビットレートが低い場合であれば、前述のごとく、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャとＢピクチャについては再符号化する必要がある。しかしながら、動画像データを符号化した際の符号化ビットレートが高い場合であれば、Ｉピクチャへのフレームタイプ変換処理をした場合であっても、Ｉピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャが参照する参照画像フレームの内容が余り変化しておらず、当該ＰピクチャやＢピクチャをそのまま復号したとしても画像劣化は目立たないので、再符号化する必要性は少ない。逆に、ＩピクチャをＰピクチャ又はＢピクチャに変換する場合でも、Ｐピクチャ又はＢピクチャへのフレームタイプ変換後の符号化フレームから次のＩピクチャまでの間に存在しているＰピクチャやＢピクチャに対して前述と同様の処理を行なうこととしても、符号化ビットレートが高い場合であれば、画質の劣化は目立たない。
【００４９】
次に、ＰピクチャからＩピクチャへの変換処理を図８に示す動作フローチャートを用いて説明する。ここに、図８は、本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＰピクチャを１フレームだけ読み込む（ステップＳ１）。ここで、Ｐピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ２のＹＥＳ）、本変換処理を終了する。
【００５０】
ステップＳ１で読み込んだＰピクチャに含まれているフレーム内符号化されたマクロブロックの個数を計算し（ステップＳ３）、フレーム内符号化されたマクロブロックの個数が、予め定められた所定個数（閾値）よりも少なければ（ステップＳ４のＮＯ）、該Ｐピクチャのフレームにはシーンチェンジは含まれていないものとして、現在読み込んでいる該Ｐピクチャのフレームに対しては、何ら変換処理は行なわず、次のＰピクチャを読み込むためにステップＳ１に戻る。一方、フレーム内符号化されたマクロブロックの個数が、前記所定個数以上であれば（ステップＳ４のＹＥＳ）、シーンチェンジを含むＰピクチャのフレームであるものとみなして、当該ＰピクチャをＩピクチャに変換する（ステップＳ５）。
【００５１】
次に、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ６のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ６のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＰピクチャを読み込むためにステップＳ１に戻る。
【００５２】
次に、逆にＩピクチャからＰピクチャへの変換処理を図９に示す動作フローチャートを用いて説明する。ここに、図９は、本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、変化が含まれていないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＩピクチャを１フレームだけ読み込む（ステップＳ１１）。ここで、Ｉピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ１２）、本変換処理を終了する。
【００５３】
ステップＳ１１で読み込んだＩピクチャをＰピクチャに変換した時に符号化フレームに含まれているフレーム内符号化されたマクロブロックの個数を計算し（ステップＳ１３）、フレーム内符号化されたマクロブロックの個数が、予め定められた所定個数（閾値）以上であれば（ステップＳ１４のＹＥＳ）、元の該Ｉピクチャのフレームにはシーンチェンジを含んでいるフレームであるものとして、現在読み込んでいる該Ｉピクチャのフレームに対しては、何ら変換処理は行なわず、次のＩピクチャを読み込むためにステップＳ１１に戻る。一方、フレーム内符号化されたマクロブロックの個数が、前記所定個数未満であれば（ステップＳ１４のＮＯ）、該Ｉピクチャのフレームにはシーンチェンジは含まれていないものとして、当該ＩピクチャをＰピクチャに変換する（ステップＳ１５）。
【００５４】
次に、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ１６のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ１７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ１６のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＩピクチャを読み込むためにステップＳ１１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図８及び図９に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００５５】
＜第６の実施形態＞
次に、本発明に係る動画像データ分割装置の第６の実施形態について、図１０及び図１１の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、動画像データの符号化時において符号化ビットレートの変更制御がなされていない場合に有効となるものであり、内容変化検出部１０６においては、符号化フレームのコード量（即ち、データ量）の大きさに基づいてシーンチェンジを含む符号化フレームを検出する。即ち、符号化ビットレートの変更制御がなされていない場合であれば、シーンチェンジを含むフレームをＰピクチャ又はＢピクチャに符号化すると、符号化フレームのコード量が大きくなってしまう特徴がある。よって、Ｐピクチャ又はＢピクチャの符号化フレームのコード量が大きければ、当該符号化フレームはシーンチェンジを含んでいるものと考えられる。なお、符号化フレームのコード量は、各符号化フレームのヘッダには記載されていないが、各符号化フレームのコード量を直接計数することにより、容易に計算することができる。
【００５６】
最初に、ＰピクチャからＩピクチャへの変換処理を図１０のフローチャートを用いて説明する。ここに、図１０は、本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、コード量が大きいＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、ステップＳ２１、Ｓ２２はそれぞれ図８のステップＳ１、Ｓ２と同様の処理を行なう。即ち、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＰピクチャを１フレームだけ読み込む（ステップＳ２１）。ここで、Ｐピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ２２のＹＥＳ）、本変換処理を終了する。
【００５７】
ステップＳ２１で読み込んだＰピクチャのコード量を計算し（ステップＳ２３）、Ｐピクチャのコード量が、予め定められた所定コード量（閾値）よりも少なければ（ステップＳ２４のＮＯ）、該Ｐピクチャのフレームにはシーンチェンジは含まれていないものとして、現在読み込んでいる該Ｐピクチャのフレームに対しては、何ら変換処理は行なわず、次のＰピクチャを読み込むためにステップＳ２１に戻る。一方、Ｐピクチャのコード量が、前記所定コード量以上であれば（ステップＳ２４のＹＥＳ）、シーンチェンジを含むＰピクチャのフレームであるものとして、当該ＰピクチャをＩピクチャに変換する（ステップＳ２５）。
【００５８】
次のＳ２６、Ｓ２７はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ２６のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ２７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ２６のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＰピクチャを読み込むためにステップＳ２１に戻る。
【００５９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１１に示す動作フローチャートを用いて説明する。ここに、図１１は、本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、コード量が少ないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、ステップＳ３１、Ｓ３２はそれぞれ図９のステップＳ１１、Ｓ１２と同様の処理を行なう。即ち、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａからＩピクチャを１フレームだけ読み込む（ステップＳ３１）。ここで、Ｉピクチャが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ３２のＹＥＳ）、本変換処理を終了する。
【００６０】
ステップＳ３１で読み込んだＩピクチャをＰピクチャに変換した時のＰピクチャのコード量を計算し（ステップＳ３３）、Ｐピクチャのコード量が、予め定められた所定コード量（閾値）以上であれば（ステップＳ３４のＹＥＳ）、元の該Ｉピクチャのフレームにはシーンチェンジを含んでいるフレームであるものとして、現在読み込んでいる該Ｉピクチャのフレームに対しては、何ら変換処理は行なわず、次のＩピクチャを読み込むためにステップＳ３１に戻る。一方、Ｐピクチャのコード量が、前記所定コード量未満であれば（ステップＳ３４のＮＯ）、該Ｉピクチャのフレームにはシーンチェンジは含まれていないものとして、当該ＩピクチャをＰピクチャに変換する（ステップＳ３５）。
【００６１】
次のステップＳ３６、Ｓ３７はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ３６のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ３７）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ３６のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次のＩピクチャを読み込むためにステップＳ３１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１０及び図１１に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００６２】
＜第７の実施形態＞
次に、本発明に係る動画像データ分割装置の第７の実施形態について、図１２及び図１３の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、オブジェクト符号化された符号化画像データを前提としており、内容変化検出部１０６においては、符号化画像データ中のオブジェクトの個数又は種類に変化がある符号化フレームを検出する。即ち、例えば、符号化画像データが映画コンテンツである場合、オブジェクトの１つである登場人物が増えたり、減ったり、登場人物が変わったりする場面は映画コンテンツの内容が変化した場面であり、登場人物がオブジェクト符号化されていれば、かくのごときオブジェクトの個数や種類が変化している場面を検出することが可能である。ここで、符号化画像データの各符号化フレーム中に登場するオブジェクトの個数と種類とは、オブジェクト符号化の際に作成されるオブジェクト符号化サイド情報に記載されており、該オブジェクト符号化サイド情報を参照することによりオブジェクトの個数又は種類に変化がある符号化フレームを検出することができる。
【００６３】
最初に、ＰピクチャからＩピクチャへの変換処理を図１２のフローチャートを用いて説明する。ここに、図１２は、本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、オブジェクトの個数又は種類に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分の符号化フレームのオブジェクト符号化サイド情報を読み込む（ステップＳ４１）。ここで、オブジェクト符号化サイド情報が存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ４２のＹＥＳ）、本変換処理を終了する。
【００６４】
ステップＳ４１で読み込んだオブジェクト符号化サイド情報がＰピクチャのものか否かを判定し（ステップＳ４３）、Ｐピクチャでなければ（ステップＳ４３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。一方、Ｐピクチャであれば（ステップＳ４３のＹＥＳ）、次に、１つ前の符号化フレームと現在読み込んでいる符号化フレームとの間でオブジェクトの個数と種類が同じかどうかを判定する（ステップＳ４５）。
【００６５】
両者が同じであれば（ステップＳ４５のＹＥＳ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化がないので、現在読み込んでいる符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。一方、両者が同じでなければ（ステップＳ４５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化があるので、当該Ｐピクチャの符号化フレームをＩピクチャに変換する（ステップＳ４６）。
【００６６】
次のステップＳ４７、Ｓ４８はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ４７のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ４８）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ４７のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ４４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ４１に戻る。
【００６７】
ステップＳ４４に示すように、各符号化フレームのオブジェクト符号化サイド情報が読み込まれる都度、次に読み込まれる符号化フレームのオブジェクト符号化サイド情報と比較するために、オブジェクト符号化サイド情報にあるオブジェクトの個数と種類とが記憶されている。
【００６８】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１３に示す動作フローチャートを用いて説明する。ここに、図１３は、本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、オブジェクトの個数又は種類に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分の符号化フレームのオブジェクト符号化サイド情報を読み込む（ステップＳ５１）。ここで、オブジェクト符号化サイド情報が存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ５２のＹＥＳ）、本変換処理を終了する。
【００６９】
ステップＳ５１で読み込んだオブジェクト符号化サイド情報がＩピクチャのものか否かを判定し（ステップＳ５３）、Ｉピクチャでなければ（ステップＳ５３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。一方、Ｉピクチャであれば（ステップＳ５３のＹＥＳ）、次に、１つ前の符号化フレームと現在読み込んでいる符号化フレームとの間でオブジェクトの個数と種類が同じかどうかを判定する（ステップＳ５５）。
【００７０】
両者が同じでなければ（ステップＳ５５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化があるので、現在読み込んでいる符号化フレームに対しては、何ら変換処理は行なわず、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。一方、両者が同じであれば（ステップＳ５５のＮＯ）、現在読み込んでいる符号化フレーム中のオブジェクトは、１つ前の符号化フレームから変化がないので、当該Ｉピクチャの符号化フレームをＰピクチャに変換する（ステップＳ５６）。
【００７１】
次のステップＳ５７、Ｓ５８はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ５７のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ５８）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ５７のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームのオブジェクト符号化サイド情報にあるオブジェクトの個数と種類とを記憶した（ステップＳ５４）後、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ５１に戻る。
【００７２】
ステップＳ５４に示すように、各符号化フレームのオブジェクト符号化サイド情報が読み込まれる都度、次に読み込まれる符号化フレームのオブジェクト符号化サイド情報と比較するために、オブジェクト符号化サイド情報にあるオブジェクトの個数と種類とが記憶されている。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１２及び図１３に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００７３】
＜第８の実施形態＞
次に、本発明に係る動画像データ分割装置の第８の実施形態について、図１４及び図１５の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、符号化画像データのビデオ符号化フレームにオーディオ符号化フレームを伴っている場合を前提としており、内容変化検出部１０６においては、該オーディオ符号化データの情報の変化を基にして、該オーディオ符号化データに同期しているビデオ符号化データの内容が変化した符号化フレームとみなして検出している。即ち、符号化画像データが、例えば、スポーツ番組コンテンツの場合、実況をしているアナウンサーが声を出す発声部分は動画像の内容に変化がある場面である。
【００７４】
而して、音声が無音から有音に変化する部分を見つけ出すことにより、動画像の内容が変化している場面を検出することができる。本実施形態の内容変化検出部１０６においては、符号化画像データの各符号化フレームのヘッダに記載されているタイムコードを参照して、ビデオ符号化フレームと同期しているオーディオ符号化フレームを見つけ出し、該オーディオ符号化フレームの中で音声が無音から有音に変化しているオーディオ符号化フレームがあれば、該オーディオ符号化フレームに同期しているビデオ符号化フレームを動画像の内容が変化している場面を含むビデオ符号化フレームであるものとみなしている。
【００７５】
最初に、ＰピクチャからＩピクチャへの変換処理を図１４のフローチャートを用いて説明する。ここに、図１４は、本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、無音から有音に変化しているオーディオ符号化フレームに同期しているＰピクチャのビデオ符号化フレームをＩピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化データを読み込む（ステップＳ６１）。ここで、ビデオ符号化データが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ６２のＹＥＳ）、本変換処理を終了する。
【００７６】
ステップＳ６１で読み込んだオブジェクト符号化サイド情報がＰピクチャのものか否かを判定し（ステップＳ６３）、Ｐピクチャでなければ（ステップＳ４３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ６１に戻る。一方、Ｐピクチャであれば（ステップＳ６３のＹＥＳ）、次に、現在読み込んでいる符号化フレームと次に読み込む符号化フレームとのタイムコードをそれぞれ取得し（ステップＳ６４）、取得した２つのタイムコードの間にあるオーディオ符号化データを取得する（ステップＳ６５）。
【００７７】
取得したオーディオ符号化データ中で無音から有音に変化している部分があるか否かを検出し（ステップＳ６６）、無音から有音に変化している部分がなければ（ステップＳ６７のＮＯ）、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ６１に戻る。一方、無音から有音に変化している部分があれば（ステップＳ６７のＹＥＳ）、ＰピクチャをＩピクチャに変換する（ステップＳ６８）。
【００７８】
次のステップＳ６９、Ｓ７０はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ６９のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ７０）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ６９のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ６１に戻る。
【００７９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１５に示す動作フローチャートを用いて説明する。ここに、図１５は、本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、無音から有音に変化していないオーディオ符号化フレームに同期しているＩピクチャのビデオ符号化フレームをＰピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化データを読み込む（ステップＳ７１）。ここで、ビデオ符号化データが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ７２のＹＥＳ）、本変換処理を終了する。
【００８０】
ステップＳ７１で読み込んだオブジェクト符号化サイド情報がＩピクチャのものか否かを判定し（ステップＳ７３）、Ｉピクチャでなければ（ステップＳ７３のＮＯ）、現在読み込んでいる当該符号化フレームに対しては、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ７１に戻る。一方、Ｉピクチャであれば（ステップＳ７３のＹＥＳ）、次に、現在読み込んでいる符号化フレームと次に読み込む符号化フレームとのタイムコードをそれぞれ取得し（ステップＳ７４）、取得した２つのタイムコードの間にあるオーディオ符号化データを取得する（ステップＳ７５）。
【００８１】
取得したオーディオ符号化データ中で無音から有音に変化している部分があるか否かを検出し（ステップＳ７６）、無音から有音に変化している部分があれば（ステップＳ７７のＹＥＳ）、何ら変換処理は行なわず、次のビデオ符号化フレームを読み込むためにステップＳ７１に戻る。一方、無音から有音に変化している部分がなければ（ステップＳ７７のＮＯ）、ＩピクチャをＰピクチャに変換する（ステップＳ７８）。
【００８２】
次のステップＳ７９、Ｓ８０はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ７９のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ８０）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ７９のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、次の符号化フレームのオブジェクト符号化サイド情報を読み込むためにステップＳ７１に戻る。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１４及び図１５に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００８３】
＜第９の実施形態＞
次に、本発明に係る動画像データ分割装置の第９の実施形態について、図１６及び図１７の動作フローチャートを用いて説明する。ここに、本実施形態は、第５の実施形態に示した内容変化検出部１０６の更に異なる動作を示すものである。
本実施形態は、符号化画像データに字幕を伴っている場合を前提としており、内容変化検出部１０６においては、符号化画像データの字幕の変化の有無を基にして、動画像の内容が変化しているビデオ符号化フレームを検出している。即ち、符号化画像データが、例えば、文字放送コンテンツの場合、字幕が変化する場面は動画像の内容に変化がある場面である。
【００８４】
ここで、字幕が変化したかどうかを示す字幕情報は、字幕だけ個別に符号化されている場合であれば、字幕符号化データのヘッダより容易に検出することができるが、字幕が動画像データに埋め込まれて符号化されている場合は、動画像データの中の字幕部分を抜き取って、別途、字幕情報を予め作成しなければならない。
最初に、ＰピクチャからＩピクチャへの変換処理を図１６のフローチャートを用いて説明する。ここに、図１６は、本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、字幕に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化フレームを読み込む（ステップＳ８１）。ここで、ビデオ符号化フレームが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ８２のＹＥＳ）、本変換処理を終了する。
【００８５】
ステップＳ８１で読み込んだビデオ符号化フレームの字幕情報を取得する（ステップＳ８３）。次に、読み込んだビデオ符号化フレームがＰピクチャか否かを判定し（ステップＳ８４）、Ｐピクチャでなければ（ステップＳ８４のＮＯ）、現在読み込んでいる当該ビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。一方、Ｐピクチャであれば（ステップＳ８４のＹＥＳ）、次に、１つ前のビデオ符号化フレームと現在読み込んでいるビデオ符号化フレームとの間で字幕情報が同じかどうかを判定する（ステップＳ８６）。
【００８６】
両者が同じであれば（ステップＳ８６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化がないものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化がないものとみなして、現在読み込んでいるビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。一方、両者が同じでなければ（ステップＳ８６のＮＯ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化があるものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化があるものとみなして、Ｐピクチャの当該ビデオ符号化フレームをＩピクチャに変換する（ステップＳ８７）。
【００８７】
次のステップＳ８８、Ｓ８９はそれぞれ図８のステップＳ６、Ｓ７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ８８のＮＯ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ８９）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ８８のＹＥＳ）、ＰピクチャをＩピクチャに変換後のＩピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ８５）後、次のビデオ符号化フレームを読み込むためにステップＳ８１に戻る。
【００８８】
ステップＳ８５に示すように、各ビデオ符号化フレームの字幕情報が読み込まれる都度、次に読み込まれるビデオ符号化フレームの字幕情報と比較するために、読み込まれた字幕情報が記憶されている。
【００８９】
次に、逆にＩピクチャからＰピクチャへの変換処理を図１７に示す動作フローチャートを用いて説明する。ここに、図１７は、本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部１０６とフレームタイプ変換部１０７とが、字幕に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
まず、最初に、フレームタイプ識別部１０４から入力されてくるフレームタイプ付き符号化画像データ１０４ａから１フレーム分のビデオ符号化フレームを読み込む（ステップＳ９１）。ここで、ビデオ符号化フレームが存在していなく、フレームタイプ付き符号化画像データ１０４ａの全てのフレームが終了していれば（ステップＳ９２のＹＥＳ）、本変換処理を終了する。
【００９０】
ステップＳ９１で読み込んだビデオ符号化フレームの字幕情報を取得する（ステップＳ９３）。次に、読み込んだビデオ符号化フレームがＩピクチャか否かを判定し（ステップＳ９４）、Ｉピクチャでなければ（ステップＳ９４のＮＯ）、現在読み込んでいる当該ビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。一方、Ｉピクチャであれば（ステップＳ９４のＹＥＳ）、次に、１つ前のビデオ符号化フレームと現在読み込んでいるビデオ符号化フレームとの間で字幕情報が同じかどうかを判定する（ステップＳ９６）。
【００９１】
両者が同じでなければ（ステップＳ９６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化があるものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化があるものとみなして、現在読み込んでいるビデオ符号化フレームに対しては、何ら変換処理は行なわず、当該ビデオ符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。一方、両者が同じであれば（ステップＳ９６のＹＥＳ）、現在読み込んでいるビデオ符号化フレームの字幕は、１つ前のビデオ符号化フレームから変化がないものであり、現在のビデオ符号化フレームが１つ前のビデオ符号化フレームから変化がないものとみなして、Ｉピクチャの当該ビデオ符号化フレームをＰピクチャに変換する（ステップＳ９７）。
【００９２】
次のステップＳ９８、Ｓ９９はそれぞれ図９のステップＳ１６、Ｓ１７と同様の処理を行なう。即ち、フレームタイプ付き符号化画像データ１０４ａのヘッダから符号化ビットレートを取得し、符号化ビットレートが予め定められた所定符号化ビットレート（閾値）未満であれば（ステップＳ９８のＮＯ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行ない（ステップＳ９９）、一方、符号化ビットレートが予め定められた前記所定符号化ビットレート以上であれば（ステップＳ９８のＹＥＳ）、ＩピクチャをＰピクチャに変換後のＰピクチャから次のＩピクチャに至るまでの間に存在しているＰピクチャやＢピクチャの再符号化を行なうことなく、当該符号化フレームの字幕情報を記憶した（ステップＳ９５）後、次のビデオ符号化フレームを読み込むためにステップＳ９１に戻る。
【００９３】
ステップＳ９５に示すように、各ビデオ符号化フレームの字幕情報が読み込まれる都度、次に読み込まれるビデオ符号化フレームの字幕情報と比較するために、読み込まれた字幕情報が記憶されている。
なお、ＢピクチャからＩピクチャへの変換処理、逆に、ＩピクチャからＢピクチャへの変換処理も、図１６及び図１７に示すＰピクチャの場合の動作と全く同様に行なうことになる。
【００９４】
【発明の効果】
以上説明したように、本発明に係る動画像データ分割装置によれば、データ圧縮をしても低速回線では伝送するのに時間がかかってしまうような符号化画像データの場合にも、受信側で再生に時間を要しないように、送信すべき符号化画像データを、受信側で単独でも再生することができる１つの小容量部分データと単独では再生することができない１つまたは複数の大容量部分データとの２種類の部分データに分割し、低速回線であっても小容量からなる小容量部分データを受信側に送信することによって、当該符号化画像データに関する大容量部分データも含む全ての部分データが受信側で揃わなくても、迅速に動画像データを再生することができ、また、１つの小容量部分データを送信した後に、１つ又は複数の大容量部分データを高速回線又は記録媒体を介して別途送信して、先に低速回線を介して送信してある小容量部分データと併合することによって、分割した全ての部分データに基づいた、より精細な動画像データを再生することが可能である。
【００９５】
また、本発明に係る動画像データ分割装置によれば、符号化画像データを複数の部分データに分割する単位を符号化フレーム単位とし、小容量部分データをＩピクチャとし、大容量部分データをＰピクチャ及びＢピクチャとするか、あるいは、小容量データ部をＩピクチャと該Ｉピクチャに続く予め定められた所定フレーム数分のＰピクチャ及び／又はＢピクチャとし、大容量部分データを残りのＰピクチャ及び／又はＢピクチャとすることによって、データ分割を容易に行なうことができる。
【００９６】
また、本発明に係る動画像データ分割装置によれば、シーンチェンジや字幕の変化などのように、動画像の内容が変化したＰピクチャ又はＢピクチャの符号化フレームを検出して、該符号化フレームをＩピクチャにフレームタイプを変換し、逆に、動画像の内容が変化していないＩピクチャの符号化フレームを検出して、該符号化フレームをＰピクチャ又はＢピクチャにフレームタイプを変換し、動画像符号化装置から入力されてきた各符号化フレームのフレームタイプのみではなく、前述のごとく変換されたフレームタイプをも用いて、小容量部分データと大容量部分データとに分割することにより、低速回線を介して送信される小容量部分データの動画像データだけでも受信すれば、動画像データ全体の内容がより容易に識別することできるようなデータ分割を行なうことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る動画像データ分割装置の第１の実施形態であるブロック構成例を示すブロック構成図である。
【図２】本発明に係る動画像データ分割装置の第２の実施形態であるブロック構成例を示すブロック構成図である。
【図３】本発明に係る動画像データ分割装置の第３の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図である。
【図４】図３に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割例を示す模式図である。
【図５】図３に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割の他の例を実施形態４として示す模式図である。
【図６】本発明に係る動画像データ分割装置の第５の実施形態として動画像データ分割装置のデータ分割部のブロック構成例を示すブロック構成図である。
【図７】図６に示す動画像データ分割装置のデータ分割部を用いた符号化画像データの部分データへの分割例を示す模式図である。
【図８】本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部とフレームタイプ変換部とが、変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図９】本発明に係る動画像データ分割装置の第５の実施形態として、内容変化検出部とフレームタイプ変換部とが、変化が含まれていないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１０】本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部とフレームタイプ変換部とが、コード量が大きいＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１１】本発明に係る動画像データ分割装置の第６の実施形態として、内容変化検出部とフレームタイプ変換部とが、コード量が少ないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１２】本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部とフレームタイプ変換部とが、オブジェクトの個数又は種類に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１３】本発明に係る動画像データ分割装置の第７の実施形態として、内容変化検出部とフレームタイプ変換部とが、オブジェクトの個数又は種類に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１４】本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部とフレームタイプ変換部とが、無音から有音に変化しているオーディオ符号化フレームに同期しているＰピクチャのビデオ符号化フレームをＩピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１５】本発明に係る動画像データ分割装置の第８の実施形態として、内容変化検出部とフレームタイプ変換部とが、無音から有音に変化していないオーディオ符号化フレームに同期しているＩピクチャのビデオ符号化フレームをＰピクチャのビデオ符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１６】本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部とフレームタイプ変換部とが、字幕に変化があるＰピクチャをＩピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１７】本発明に係る動画像データ分割装置の第９の実施形態として、内容変化検出部とフレームタイプ変換部とが、字幕に変化がないＩピクチャをＰピクチャの符号化フレームに変換する動作の流れを示す動作フローチャートである。
【図１８】従来の動画像符号化装置の全体のブロック構成例を示すブロック構成図である。
【図１９】
図１８に示す動画像符号化装置を用いた動画像データの符号化例を示す模式図である。
【符号の説明】
１００，１００′…動画像データ分割装置、１０１，１０１′，１０１″…データ分割部、１０１ａ…小容量部分データ、１０１ｂ…大容量部分データ、１０２…課金処理部、１０２ａ…課金処理小容量部分データ、１０３…暗号化処理部、１０３ａ…暗号化小容量部分データ、１０４…フレームタイプ識別部、１０４ａ…フレームタイプ付き符号化画像データ、１０５…分割処理部、１０６…内容変化検出部、１０６ａ…変化有無情報付き符号化画像データ、１０７…フレームタイプ変換部、１０７ａ…フレームタイプ変換符号化画像データ、２００…動画像符号化装置、２００ａ…入力画像フレーム、２００ｂ…符号化画像データ、２０１…減算部、２０２…動き補償フレーム間予測部、２０３…スイッチ、２０４…スイッチ、２０５…画像符号化部、２０６…フレームメモリ部、２０７…画像復号化部、２０８…加算部、２０９…可変長符号化部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving image data dividing apparatus, and in particular, divides encoded encoded image data into a plurality of partial data using a communication line or a recording medium as a transmission medium and separately transmits the divided data through a suitable transmission medium. The present invention relates to a moving image data dividing device used for transmission.
[0002]
[Prior art]
In recent years, with the development of various moving image compression technologies, video communication services such as videophone and video conference that communicate via moving images, and content distribution services that distribute moving coded image data to PCs and mobile terminals, etc. Is provided. As a moving image compression technique, encoding standards such as MPEG-1, MPEG-2, and MPEG-4 have been standardized by an international standardization organization. In general, when transmitting a moving image, the moving image data is encoded and compressed using any of these encoding methods, and is transmitted to the receiving terminal side as encoded image data.
[0003]
For example, in a conventional encoding method based on the MPEG-4 standard shown in Non-Patent Document 1, each frame of moving image data is encoded in units of macroblocks composed of 16 × 16 pixels, and Intra-frame encoding in which encoding is performed using only information in a frame, and inter-frame encoding in which information on the encoding target frame is predictively encoded from information on another frame temporally adjacent to the encoding target frame. The encoding is performed by combining Also, the frame type of an encoded frame composed of only intra-coded macroblocks is defined as an I-picture, an intra-coded macroblock and an inter-coded macro based on past encoded frame information. The frame type of an encoded frame composed of blocks is a P-picture, and an inter-frame code is obtained from one or both of an intra-coded macro block, information of a past encoded frame, and information of a future encoded frame. The frame type of the coded image frame composed of the converted macro blocks is called a B picture.
[0004]
FIG. 18 shows an example of the overall block configuration of a conventional video encoding device.
First, the operation of intra-frame encoding in the video encoding device 200 shown in FIG. 18 will be described. In the case of intra-frame encoding, both the switch 203 and the switch 204 are set to the upper side, and encoding is started. The input image frame 200a input to the moving image encoding device 200 is input to the image encoding unit 205 after passing through the switch 203. The image encoding unit 205 performs quantization after performing discrete cosine transform (DCT) on the input image frame 200a. The quantized DCT coefficient and quantization width are variable-length coded by the variable-length coding unit 209, and are output as coded image data 200b. At the same time, the quantized DCT coefficient and quantization width are locally decoded by the image decoding unit 207 and output to the adding unit 208. In the case of intra-frame encoding, since the switch 204 is set to the upper side, the addition unit 208 does not perform the addition process, and the locally decoded image information is output to the frame memory unit 206 as it is, and the inter-frame encoding is performed. Is stored as a reference image frame used at the time of.
[0005]
Next, the operation of inter-frame coding will be described. In the case of inter-frame coding, the switches 203 and 204 are set to the lower side, and coding is started. Here, it is assumed that a reference image frame used when creating a predicted image frame is stored in the frame memory unit 206 as a steady state when inter-frame encoding is performed. The input image frame 200a is input to the subtraction unit 201 and the motion compensation inter-frame prediction unit 202 of the video encoding device 200. The motion compensation inter-frame prediction unit 202 performs motion prediction from the input image frame 200a and the reference image frame stored in the frame memory unit 206, and outputs the result to the subtraction unit 201 as a predicted image frame. Further, a motion vector calculated at the time of performing motion prediction is output to variable length coding section 209. The subtraction unit 201 subtracts the predicted image frame input from the motion-compensated inter-frame prediction unit 202 from the input image frame, and outputs prediction error information resulting from the subtraction to the image encoding unit 205 via the switch 203.
[0006]
The image coding unit 205 performs quantization after performing discrete cosine transform (DCT) on the input prediction error information. The quantized DCT coefficient and quantization width output from the image encoding unit 205 and the motion vector output from the motion compensation inter-frame prediction unit 202 are subjected to variable length encoding in a variable length encoding unit 209, It is output as encoded image data 200b. At the same time, the quantized DCT coefficient and quantization width are locally decoded by the image decoding unit 207 and output to the adding unit 208. The addition unit 208 adds the prediction image frame output from the motion compensation inter-frame prediction unit 202 and the prediction error information output from the image decoding unit 207 to generate a new reference image frame, and generates a new reference image frame. Output to
[0007]
FIG. 19 is a schematic diagram illustrating an example of encoding moving image data using the moving image encoding device 200 illustrated in FIG. When the input image frame 200a is input to the moving image encoding device 200, the moving image encoding device 200 performs encoding for each frame, and converts the encoded image data 200b including the I picture, the P picture, and the B picture described above. Encode and output. Here, the cycle at which the video encoding apparatus 200 encodes the input image frame 200a into an I picture, a P picture, and a B picture is given to the video encoding apparatus 200 in advance as a parameter for performing encoding. Is set.
As described above, the encoded image data 200b encoded by the moving image encoding device 200 is transmitted from the transmitting terminal to the receiving terminal via the transmission line.
[0008]
[Non-patent document 1]
ISO / IEC JTC1 / SC29 / WG11 N3444;
"Overview of the MPEG-4 Standard" (May / June 2000)
[0009]
[Problems to be solved by the invention]
However, when transmitting moving image data having a large data size, that is, encoded image data, if the transmission speed of the transmission line is low, there is a problem that it takes a long time to transmit the encoded image data.
There is also a method of dividing the encoded image data into some partial data and transmitting the divided data through a plurality of transmission lines.However, unless all the divided partial data are prepared at the receiving side, the encoded image data is There is also a problem that moving image data cannot be reproduced.
[0010]
An object of the moving image data dividing device according to the present invention is to divide encoded image data having a large data size into a plurality of partial data and transmit the divided data, even if all the divided partial data are not aligned on the receiving side. Moving image data with a data division method that can reproduce moving image data from the received partial data, and can identify the content of the moving image data by only the received partial data. An object of the present invention is to provide a dividing device.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problems, a moving image data dividing device according to the present invention is configured by any of the following technical means.
The first technical means is provided in a moving image encoding and transmitting apparatus for encoding and transmitting moving image data, and in a moving image data dividing apparatus for dividing encoded encoded image data, Data dividing means for dividing data into a plurality of partial data; and billing processing means for performing a billing process on at least one of the plurality of divided partial data. A moving image data dividing device is characterized.
[0012]
The second technical means is provided in a moving image encoding and transmitting apparatus that encodes and transmits moving image data, wherein the moving image data dividing apparatus divides the encoded image data. Moving image data comprising: data dividing means for dividing data into a plurality of partial data; and encryption processing means for performing an encryption process on at least one of the plurality of divided partial data. It is characterized in that it is a dividing device.
[0013]
A third technical means is the moving image data dividing device according to the first or second technical means, wherein the moving image data dividing device further comprises a frame type identification means for detecting a frame type of an encoded frame included in the encoded image data, The moving image data dividing device is characterized in that the data dividing unit divides the encoded image data into a plurality of the partial data based on a frame type detected by the frame type identifying unit. .
[0014]
A fourth technical means is the moving image data dividing device according to the third technical means, wherein the data dividing means is configured based on a frame type of each of the encoded frames detected by the frame type identifying means. A moving image data dividing apparatus for dividing an encoded frame using only intra-frame encoding as first partial data and dividing an encoded frame using inter-frame encoding as second partial data. It is assumed that.
[0015]
A fifth technical means is the moving image data dividing device according to the third technical means, wherein the data dividing means is configured to perform the processing based on a frame type of each of the encoded frames detected by the frame type identifying means. A first part belonging to the same group as an encoded frame using only intra-frame encoding and an encoded frame using inter-frame encoding for a predetermined number of frames following the encoded frame. The moving image data dividing apparatus is characterized in that the moving image data dividing apparatus divides, as data, the remaining encoded frames using inter-frame encoding as second partial data.
[0016]
A sixth technical means is the moving image data dividing device according to the fourth or fifth technical means, wherein at least the first partial data is charged by the charging processing means, and / or A moving image data dividing apparatus for performing an encryption process by the encryption processing means.
[0017]
A seventh technical means is the moving image data dividing device according to the first or second technical means, wherein the frame type identifying means for detecting a frame type of an encoded frame included in the encoded image data; Content change detection means for detecting the presence or absence of a change in the data content of the encoded frame according to the frame type of each of the encoded frames detected by the frame type identification means, and a detection result detected by the content change detection means Frame type conversion means for converting the frame type of the encoded frame based on the frame type, wherein the data division means is converted by the frame type detected by the frame type identification means and / or the frame type conversion means. Dividing the encoded image data into a plurality of partial data based on a frame type Is characterized in that the that the moving image data dividing apparatus.
[0018]
An eighth technical means is the video data dividing device according to the seventh technical means, wherein the content change detecting means determines in advance the number of intra-coded macroblocks of each of the encoded frames. The moving image data dividing apparatus detects whether there is a change in the data content of the coded frame based on whether the number is equal to or more than the predetermined number.
[0019]
A ninth technical means is the video data dividing apparatus according to the seventh technical means, wherein the content change detecting means determines whether or not the code amount of each of the encoded frames is equal to or greater than a predetermined code amount. , A moving image data dividing apparatus that detects whether or not the data content of the encoded frame has changed.
[0020]
A tenth technical means is the moving image data dividing device according to the seventh technical means, wherein the content change detecting means determines whether or not the number or type of objects of each of the object-encoded frames is changed. , A moving image data dividing apparatus that detects whether or not the data content of the encoded frame has changed.
[0021]
An eleventh technical means is the video data dividing device according to the seventh technical means, wherein the content change detecting means is synchronized with video encoded data indicating each of the encoded frames. A moving image data dividing apparatus for detecting whether or not the data content of the encoded frame has changed by detecting whether or not the voice of the encoded data has changed from silence to speech. It is.
[0022]
A twelfth technical means is the video data dividing device according to the seventh technical means, wherein the content change detecting means determines the code based on the presence or absence of a change in subtitle data in each of the encoded frames. A moving image data dividing apparatus for detecting whether or not there is a change in the data content of a structured frame.
[0023]
A thirteenth technical means is the video data dividing device according to any one of the seventh to twelfth technical means, wherein the frame type conversion means uses a code whose inter-frame coding is used by the content change detection means. Moving image data dividing apparatus for converting the frame type of the coded frame into a coded frame using intra-frame coding when a change in data content is detected in the coded frame. .
[0024]
A fourteenth technical means is the moving picture data dividing device according to any one of the seventh to twelfth technical means, wherein the frame type conversion means uses an intra-frame encoding by the content change detection means. Moving image data dividing apparatus for converting the frame type of the coded frame into a coded frame using inter-frame coding when a change in data content is not detected in the coded frame. is there.
[0025]
A fifteenth technical means is the video data dividing device according to any one of the seventh to fourteenth technical means, wherein the frame type conversion means is configured to perform the processing based on a detection result detected by the content change detection means. When the frame type of the coded frame is converted, when the coding bit rate when the moving image data is coded is lower than a predetermined coding bit rate, the coded frame obtained by converting the frame type. And a moving image data dividing apparatus that re-encodes the coded frame using inter-frame coding that exists between the coded frame and the subsequent intra-frame coding used. To do.
[0026]
A sixteenth technical means is the moving picture data dividing device according to any one of the seventh to fifteenth technical means, wherein the data dividing means detects the frame type detected by the frame type identifying means and / or the frame type. Based on the frame type converted by the type conversion means, an encoded frame using only intra-frame encoding is defined as first partial data, and an encoded frame using inter-frame encoding is defined as second partial data. A moving image data dividing apparatus for dividing the moving image data.
[0027]
A seventeenth technical means is the moving picture data dividing device according to any one of the seventh to fifteenth technical means, wherein the data dividing means detects a frame type detected by the frame type identifying means and / or the frame. On the basis of the frame type converted by the type conversion means, an encoded frame using only intra-frame encoding and an encoding using inter-frame encoding for a predetermined number of frames following the encoded frame A moving image data dividing apparatus for dividing a frame into first partial data belonging to the same group and dividing an encoded frame using the remaining inter-frame encoding as second partial data. It is.
[0028]
An eighteenth technical means is the moving image data dividing device according to the sixteenth or seventeenth technical means, wherein at least the first partial data and the first partial data are subjected to the charging process. The moving image data dividing apparatus may perform billing processing by means and / or perform encryption processing by the encryption processing means.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an example of an embodiment of an image data dividing device according to the present invention will be described in detail with reference to the drawings. The moving image data dividing device according to the present invention is provided in a moving image encoding device that encodes and transmits moving image data, and transmits the moving image data via a plurality of transmission media such as a transmission line or a storage medium. In order to enable the receiving side to quickly reproduce a moving image, the encoded image data is divided into a plurality of partial data.
<First embodiment>
First, FIG. 1 shows a block configuration example as a first embodiment of a moving image data dividing device according to the present invention.
The moving image data dividing device 100 according to the present embodiment includes a data dividing unit 101 and a billing processing unit 102. The input coded image data 100a is input to the data dividing unit 101 and divided into one small-capacity partial data 101a and one or more large-capacity partial data 101b. The divided small-capacity partial data 101a is transmitted from the charging processing unit 102 to the receiving terminal side via a low-speed line, and the large-capacity partial data 101b is transmitted separately from the small-capacity partial data 101a via a high-speed line or a recording medium. Is done.
[0030]
Here, in the receiving terminal, the received small-capacity partial data 101a can be reproduced alone as moving image data, but the large-capacity partial data 101b cannot be reproduced alone as moving image data. That is, the large-capacity partial data 101b can be reproduced as moving image data only by being combined with the small-capacity partial data 101a divided by the data dividing unit 101. Further, in order to reproduce the coded image data 100a into moving image data, the small-capacity partial data 101a is required at a minimum. Therefore, the small-capacity partial data 101a is sent to the accounting processing unit 101, and the accounting processing unit 101 In, the accounting process is performed on the small-capacity partial data 101a, and is output to the low-speed line as the accounting small-capacity partial data 102a.
[0031]
<Second embodiment>
Next, FIG. 2 shows an example of a block configuration according to a second embodiment of the moving image data dividing device according to the present invention. The moving image data dividing apparatus 100 ′ according to the present embodiment includes a data dividing unit 101 shown in FIG. 1 and an encryption processing unit 103 instead of the charging processing unit 102. In the moving image data dividing apparatus 100 'shown in FIG. 2, the small-capacity partial data 101a divided by the data dividing unit 101 is transmitted from the encryption processing unit 103 to the receiving terminal via the low-speed line. The large-capacity partial data 101b is transmitted separately from the small-capacity partial data 101a via a high-speed line or a recording medium. That is, the small-capacity partial data 101a is subjected to strict encryption processing in the encryption processing unit 103, converted into encrypted small-capacity partial data 103a, and output to the low-speed line. Here, in the present embodiment, it is of course possible to further perform a charging process on the encrypted small-capacity partial data 103a by the charging processing unit 102 shown in FIG. 1 and output the data to the low-speed line.
[0032]
<Third embodiment>
Next, a third embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to FIGS. FIG. 3 is a block diagram showing an example of a block configuration of a data dividing unit of the moving image data dividing device shown in FIG. 1 or 2 as a third embodiment of the moving image data dividing device according to the present invention. FIG. 4 is a schematic diagram showing an example of dividing encoded image data into partial data using the data dividing unit 101 'of the moving image data dividing apparatus shown in FIG. The data dividing unit 101 'of the moving image data dividing device of the present embodiment is obtained by expanding the data dividing unit 101 of the moving image data dividing devices 100 and 100' shown in FIG. 1 or FIG. 2 shows a case where a frame type identification unit 104 and a division processing unit 105 are provided as a data division unit 101 used in the moving image data division devices 100 and 100 'shown in FIG.
[0033]
The frame type identification unit 104 detects whether each of the encoded frames included in the input encoded image data 100a is an I-picture, a P-picture, or a B-picture. The obtained frame type is added to the encoded image data 100a, and output to the division processing unit 105 as encoded image data with frame type 104a.
[0034]
Here, since the frame type is described in the header of each encoded frame of the input encoded image data 100a, it can be easily detected. The division processing unit 105 converts the encoded image data with frame type 104a into the small-capacity part data 101a and the large-capacity part based on the frame type attached to the encoded image data with frame type 104a from the frame type identification unit 104. And data 101b. FIG. 4 shows a case in which the division processing unit 105 of the data division unit 101 'in this embodiment divides the input encoded image data with frame type 104a into small-capacity partial data 101a and large-capacity partial data 101b. An example is shown.
[0035]
That is, as shown in an example in FIG. 4, the division processing unit 105 shown in FIG. 3 is given a frame type by the frame type identification unit 104 for each coded frame of the input coded image data 100a and transferred. The coded image data with frame type 104a is divided into I pictures, P pictures, and B pictures, and I pictures using only intra-frame coding are divided as partial data of the small-capacity partial data 101a. P pictures and B pictures using coding are divided as partial data of the large-capacity partial data 102b. Here, the small-capacity partial data 101a composed of only I-pictures of intra-frame encoding can be reproduced alone as original video data, but large-capacity data composed of P-pictures and B-pictures of inter-frame encoding. The capacity partial data 101b alone cannot be reproduced as the original moving image data, but can be reproduced only by being combined with the small capacity partial data 101a composed of intra-coded I pictures.
[0036]
<Fourth embodiment>
Next, a fourth embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to FIG. FIG. 5 is a schematic diagram showing another example of the division of the encoded image data into partial data using the data division unit 101 'of the moving image data division device shown in FIG. 3 as a fourth embodiment. That is, also in the data dividing unit 101 'of the moving image data dividing device of the present embodiment, the frame type identifying unit 104 is used as the data dividing unit 101' used in the moving image data dividing devices 100 and 100 'shown in FIG. And a division processing unit 105. The division processing unit 105 of the data division unit 101 'according to the present embodiment is configured so that the partial data is divided by another method different from the schematic diagram of FIG. 4 shown in the third embodiment. Is divided into
[0037]
That is, as shown in the schematic diagram of FIG. 5, the division processing unit 105 converts the encoded image data with frame type 104a passed from the frame type identification unit 104 into an I picture and a predetermined predetermined picture following the I picture. P pictures and B pictures for the number of frames (three frames in the example shown in FIG. 5) and the remaining P pictures and B pictures are divided into I pictures and P pictures for the predetermined number of frames following the I picture; A B picture is divided as small-capacity partial data 101a, and the remaining P pictures and B pictures are divided as large-capacity partial data 101b. Although the small-capacity partial data 101a composed of an I picture and P pictures and B pictures for the predetermined number of frames following the I picture can be reproduced alone as the original moving picture data, the remaining P pictures and B pictures Cannot be reproduced alone as the original moving image data, but can be reproduced as the original moving image data only by being combined with the small-capacity partial data 101a.
[0038]
<Fifth embodiment>
Next, a fifth embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to FIGS. Here, FIG. 6 is a block diagram showing an example of a block configuration of a data dividing unit of the moving image data dividing device as a fifth embodiment of the moving image data dividing device according to the present invention, and FIG. 10 is a schematic diagram showing an example of dividing encoded image data into partial data using the data dividing unit 101 ″ of the moving image data dividing device shown in FIG. 6. Operation flowcharts shown in FIGS. 8 and 9 will be described later. The data dividing unit 101 ″ of the moving image data dividing device according to the present embodiment shown in FIG. 3 further includes a data dividing unit 100 ′ used in the moving image data dividing device shown in FIG. 3 in the third embodiment and the fourth embodiment. As shown in FIG. 6, as a data dividing unit 101 ″ used in the moving image data dividing apparatuses 100 and 100 ′, in addition to a frame type identifying unit 104 and a dividing processing unit 105, Further illustrates a case in which a content change detection unit 106 and the frame type converting unit 107.
[0039]
The operation of the content change detection unit 106 and the frame type conversion unit 107 will be described with reference to the schematic diagram of FIG.
The content change detection unit 106 changes the content of a moving image such as a scene change or a change in subtitles in each encoded frame of the encoded image data with frame type 104a input from the frame type identification unit 104. Coded frames of P-pictures and B-pictures containing changed scenes, and conversely, coded frames of I-pictures containing no changed scenes, and coding with change presence / absence information attached with change presence / absence information Output as image data 106a. Note that the content change detection unit 106 uses at least one of encoded video data indicating an image and encoded audio data indicating audio from the encoded image data with frame type 104a. In the case of the example shown in FIG. 7, it is detected that the P picture which is the seventh coded frame includes a scene having a change, and the I picture which is the 13th coded frame is An example is shown in which it is detected that a scene with a change is not included.
[0040]
The frame type conversion unit 107 converts the encoded frame of the coded image data 106 a with change presence / absence information input from the content change detection unit 106 based on the presence / absence information of the scene change detected by the content change detection unit 106. Convert frame type. Here, when the original moving image data is reproduced using only the small-capacity partial data 101a, it looks more natural if the small-capacity partial data 101a includes an encoded frame in which the content of the moving image has changed. .
[0041]
Therefore, it is desirable that the coded frame in which the content of the moving image has changed be an I picture that is always included in the small-capacity partial data 101a. If the frame type of the coded frame including the changed scene is a coded frame of a P picture or a B picture, the frame type conversion unit 107 sets the P frame or the B picture including the scene whose content of the moving image has changed. Convert the coded frame of the picture into an I picture. In the example illustrated in FIG. 7, the coded frame of the seventh P-picture in the coded image data with change presence / absence information 106 a input to the frame type conversion unit 107 is changed to the coded frame of the I-picture. The image data is converted and output to the division processing unit 105 as the frame type conversion encoded image data 107a.
[0042]
However, in general, the code amount (that is, the data amount) of one I picture per coded frame is larger than the code amount of one P picture or B picture per coded frame. , The amount of code of the entire encoded image data to be transmitted increases. Therefore, if an encoded frame whose frame type is an I-picture has been detected by the content change detection unit 106 in an encoded frame in which the content of the moving image has not changed, the frame type conversion unit 107 Convert to a picture or B picture.
[0043]
Thereby, the code amount of the entire encoded image data after the frame type conversion processing in the frame type conversion unit 107 can be adjusted to be substantially the same as the code amount of the entire encoded image data before the frame type conversion processing. It becomes possible. In the example shown in FIG. 7, there is a thirteenth frame corresponding to the conversion of the seventh encoded frame of the encoded image data with change presence / absence information 106 a input to the frame type converter 107 into an I picture. The coded frame of the I picture (I picture not including the changing scene) is converted into a coded frame of a P picture by frame type conversion, and output to the division processing unit 105 as frame type conversion coded image data 107a. I have.
[0044]
Next, an example of the operation of the content change detection unit 106 and the frame type conversion unit 107 will be further described. The content change detection unit 106 shown in FIG. 6 is based on the number of intra-frame coded macroblocks in each coded frame of the coded image data with frame type 104a input from the frame type identification unit 104. Then, whether or not the frame is a coded frame including a scene change is detected. Regarding P-pictures and B-pictures, the inter-frame coded macroblocks in the coded frame not including the scene change have a smaller code amount than the intra-frame coded macroblocks. The inter-frame coded macroblock in the coded frame including the macroblock has a larger code amount than the intraframe coded macroblock.
[0045]
Therefore, in the moving picture coding apparatus, when coding a coded frame including a scene change into a P picture, the code amount of the coded frame is reduced in order to reduce the code amount of the coded frame. Encoding is performed to increase the number of inner-coded macroblocks. Therefore, if the number of intra-frame coded macroblocks in a coded frame of a P picture is large, the P picture can be considered to be a coded frame including a scene change. Here, whether or not a macroblock is intra-coded is described in the header of each macroblock, so that the number of intra-coded macroblocks in an encoded frame can be easily detected. it can.
[0046]
Also, as described above, the frame type conversion unit 107 converts a P picture or B picture including a scene change into an I picture, and conversely converts an I picture including no scene change into a P picture or a B picture. The frame type conversion process of the frame type conversion unit 107 can be easily performed by temporarily decoding the encoded frame that has been encoded, and re-encoding the decoded frame into a desired frame type again.
[0047]
However, for example, when the frame type is converted from a P picture or a B picture to an I picture, the P picture or the B picture existing between the encoded frame after the frame type conversion to the I picture and the next I picture Changes from the content of the reference image frame referred to when the image was first coded, and as a result, exists between the coded frame after the frame type conversion to the I picture and the next I picture. If the existing P-picture and B-picture are decoded as they are, image degradation will occur. Therefore, it is necessary to re-encode the P picture and the B picture existing between the encoded frame after the frame type conversion into the I picture and the next I picture.
[0048]
If the encoding bit rate is low, as described above, the P picture and the B picture existing between the encoded frame after the frame type conversion to the I picture and the next I picture are re-encoded. There is a need to. However, if the encoding bit rate at the time of encoding the moving image data is high, even if the frame type conversion processing to the I picture is performed, the encoded frame after the frame type conversion to the I picture is processed. The content of the reference image frame referred to by the P picture or B picture existing from the first I picture to the next I picture has not changed much, and even if the P picture or B picture is decoded as it is, the image deterioration is conspicuous. There is no need to re-encode. Conversely, even when an I picture is converted to a P picture or a B picture, the P picture or the B picture existing between the encoded frame after the frame type conversion to the P picture or the B picture and the next I picture is performed. Even if the same processing as described above is performed, if the encoding bit rate is high, the deterioration of the image quality is not noticeable.
[0049]
Next, a conversion process from a P picture to an I picture will be described with reference to an operation flowchart shown in FIG. Here, FIG. 8 shows a fifth embodiment of the moving picture data dividing apparatus according to the present invention, in which the content change detecting section 106 and the frame type converting section 107 convert a P picture having a change into an encoded frame of an I picture. 5 is an operation flowchart showing a flow of an operation of converting the data into a.
First, only one frame of a P picture is read from the coded image data with frame type 104a input from the frame type identification unit 104 (step S1). Here, if there is no P picture and all the frames of the coded image data with frame type 104a have been completed (YES in step S2), the present conversion processing is completed.
[0050]
The number of intra-coded macroblocks included in the P picture read in step S1 is calculated (step S3), and the number of intra-coded macroblocks is set to a predetermined number (threshold value). ) (NO in step S4), it is determined that no scene change is included in the P picture frame, and no conversion process is performed on the currently read P picture frame. The process returns to step S1 to read the next P picture. On the other hand, if the number of intra-coded macroblocks is equal to or greater than the predetermined number (YES in step S4), the macroblock is regarded as a P-picture frame including a scene change, and the P-picture is converted to an I-picture. Conversion is performed (step S5).
[0051]
Next, an encoding bit rate is obtained from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S6), P-pictures and B-pictures existing between the I-picture after the P-picture is converted to the I-picture and the next I-picture are re-encoded (step S7). If the predetermined coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S6), the P picture or the B picture existing between the I picture after converting the P picture into the I picture and the next I picture is obtained. The process returns to step S1 to read the next P picture without re-encoding the picture.
[0052]
Next, a process of converting an I picture into a P picture will be described with reference to an operation flowchart shown in FIG. Here, FIG. 9 shows a fifth embodiment of the moving picture data dividing apparatus according to the present invention, in which the content change detecting section 106 and the frame type converting section 107 convert the I picture containing no change into the P picture. 9 is an operation flowchart illustrating a flow of an operation of converting an encoded frame.
First, only one I-picture is read from the coded image data with frame type 104a input from the frame type identification unit 104 (step S11). Here, if there is no I picture and all the frames of the coded image data with frame type 104a have been completed (step S12), the present conversion processing ends.
[0053]
When the I picture read in step S11 is converted to a P picture, the number of intra-frame coded macro blocks included in the coded frame is calculated (step S13), and the number of intra-frame coded macro blocks is calculated. Is greater than or equal to a predetermined number (threshold) (YES in step S14), the frame of the original I picture is determined to be a frame containing a scene change, No conversion processing is performed on the frame of, and the process returns to step S11 to read the next I picture. On the other hand, if the number of intra-coded macroblocks is less than the predetermined number (NO in step S14), it is determined that the I picture frame does not include a scene change, and the I picture is It is converted into a picture (step S15).
[0054]
Next, the encoding bit rate is acquired from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S16), Re-encoding of P-pictures and B-pictures existing between the P-picture after the I-picture is converted to the P-picture and the next I-picture is performed (step S17). If the predetermined coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S16), the P picture or B picture existing from the P picture after converting the I picture to the P picture to the next I picture is obtained. The process returns to step S11 to read the next I picture without re-encoding the picture.
The conversion process from a B picture to an I picture, and conversely, the conversion process from an I picture to a B picture, are performed in exactly the same way as the operation for the P picture shown in FIGS.
[0055]
<Sixth embodiment>
Next, a sixth embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to the operation flowcharts of FIGS. Here, this embodiment shows still another operation of the content change detection unit 106 shown in the fifth embodiment.
This embodiment is effective when encoding bit rate change control is not performed during encoding of moving image data. In the content change detection unit 106, the code amount of an encoded frame (that is, An encoded frame including a scene change is detected based on the magnitude of the data amount. That is, if the encoding bit rate change control is not performed, encoding a frame including a scene change into a P picture or a B picture has a feature that the code amount of the encoded frame increases. Therefore, if the code amount of the coded frame of the P picture or the B picture is large, it is considered that the coded frame includes a scene change. Although the code amount of the encoded frame is not described in the header of each encoded frame, it can be easily calculated by directly counting the code amount of each encoded frame.
[0056]
First, a conversion process from a P picture to an I picture will be described with reference to the flowchart in FIG. Here, FIG. 10 shows a sixth embodiment of the moving image data dividing apparatus according to the present invention, in which the content change detecting unit 106 and the frame type converting unit 107 encode a P picture having a large code amount into an I picture. 9 is an operation flowchart illustrating a flow of an operation of converting a frame.
First, steps S21 and S22 perform the same processing as steps S1 and S2 in FIG. 8, respectively. That is, only one P-picture is read from the coded image data with frame type 104a input from the frame type identification unit 104 (step S21). Here, if there is no P picture and all the frames of the coded image data with frame type 104a have been completed (YES in step S22), the present conversion processing ends.
[0057]
The code amount of the P picture read in step S21 is calculated (step S23). If the code amount of the P picture is smaller than a predetermined code amount (threshold) (NO in step S24), the P picture Assuming that the frame does not include a scene change, no conversion process is performed on the currently read P-picture frame, and the process returns to step S21 to read the next P-picture. On the other hand, if the code amount of the P picture is equal to or larger than the predetermined code amount (YES in step S24), the P picture is converted to an I picture assuming that the frame is a P picture frame including a scene change (step S25). .
[0058]
In the next S26 and S27, the same processes as those in steps S6 and S7 in FIG. 8 are performed. That is, the encoding bit rate is acquired from the header of the encoded image data with frame type 104a, and if the encoding bit rate is lower than a predetermined encoding bit rate (threshold) (NO in step S26), P P-pictures and B-pictures existing between the I-picture after the picture is converted to the I-picture and the next I-picture are re-encoded (step S27), while the encoding bit rate is predetermined. If the predetermined coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S26), the P picture or the B picture existing between the I picture after converting the P picture into the I picture and the next I picture is obtained. Without performing the re-encoding, the process returns to step S21 to read the next P picture.
[0059]
Next, conversely, the conversion process from an I picture to a P picture will be described with reference to an operation flowchart shown in FIG. Here, FIG. 11 shows a sixth embodiment of the moving picture data dividing apparatus according to the present invention, in which the content change detecting unit 106 and the frame type converting unit 107 encode an I picture with a small code amount into a P picture. 9 is an operation flowchart illustrating a flow of an operation of converting a frame.
First, steps S31 and S32 perform the same processing as steps S11 and S12 in FIG. 9, respectively. That is, only one I-picture is read from the encoded image data with frame type 104a input from the frame type identification unit 104 (step S31). Here, if there is no I picture and all the frames of the encoded image data with frame type 104a have been completed (YES in step S32), the present conversion processing is completed.
[0060]
The code amount of the P picture when the I picture read in step S31 is converted into the P picture is calculated (step S33), and if the code amount of the P picture is equal to or more than a predetermined code amount (threshold) ( (YES in step S34), assuming that the original frame of the I picture is a frame including a scene change, no conversion process is performed on the frame of the currently read I picture, and the next frame is not processed. The process returns to step S31 to read the I picture. On the other hand, if the code amount of the P picture is less than the predetermined code amount (NO in step S34), it is determined that the I picture frame does not include a scene change, and the I picture is converted to a P picture. (Step S35).
[0061]
In the next steps S36 and S37, the same processes as those in steps S16 and S17 in FIG. 9 are performed. That is, the encoding bit rate is obtained from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S36), The P-picture or the B-picture existing between the P-picture after the picture is converted into the P-picture and the next I-picture is re-encoded (step S37), while the encoding bit rate is predetermined. If the predetermined coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S36), the P picture or the B picture existing from the P picture after converting the I picture to the P picture to the next I picture is obtained. Without re-encoding, the process returns to step S31 to read the next I picture.
The conversion process from a B picture to an I picture, and conversely, the conversion process from an I picture to a B picture, are performed in exactly the same way as the operation for the P picture shown in FIGS.
[0062]
<Seventh embodiment>
Next, a seventh embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to the operation flowcharts of FIGS. Here, this embodiment shows still another operation of the content change detection unit 106 shown in the fifth embodiment.
In the present embodiment, it is assumed that encoded image data is object-encoded, and the content change detection unit 106 detects an encoded frame in which the number or type of objects in the encoded image data changes. That is, for example, when the encoded image data is movie content, scenes in which the number of characters, which are one of the objects, increases or decreases, or the characters change, are scenes in which the contents of the movie content change. If the person is object-encoded, it is possible to detect a scene in which the number and type of objects are changing. Here, the number and type of objects appearing in each encoded frame of the encoded image data are described in the object encoding side information created at the time of object encoding, and the object encoding side information , It is possible to detect an encoded frame having a change in the number or type of objects.
[0063]
First, a conversion process from a P picture to an I picture will be described with reference to the flowchart in FIG. Here, FIG. 12 shows a seventh embodiment of the moving image data dividing apparatus according to the present invention, in which the content change detecting unit 106 and the frame type converting unit 107 determine whether a P-picture having a change in the number or type of objects is changed. 9 is an operation flowchart illustrating a flow of an operation of converting an I-picture into an encoded frame.
First, object encoded side information of one encoded frame is read from the encoded image data with frame type 104a input from the frame type identification unit 104 (step S41). Here, if the object encoded side information does not exist and all the frames of the encoded image data with frame type 104a have been completed (YES in step S42), the present conversion processing ends.
[0064]
It is determined whether or not the object coding side information read in step S41 is that of a P picture (step S43). If the object coding side information is not a P picture (NO in step S43), the current read coding frame is not processed. In order to read the object encoding side information of the next encoding frame after storing the number and type of objects in the object encoding side information of the encoding frame without performing any conversion processing (step S44). It returns to step S41. On the other hand, if the picture is a P picture (YES in step S43), it is next determined whether the number and type of objects are the same between the immediately preceding encoded frame and the currently read encoded frame (step S43). S45).
[0065]
If both are the same (YES in step S45), the object in the currently read encoded frame does not change from the immediately preceding encoded frame. After performing no conversion processing, storing the number and type of objects in the object encoding side information of the encoded frame (step S44), a step for reading the object encoding side information of the next encoded frame is performed. It returns to S41. On the other hand, if they are not the same (NO in step S45), since the object in the currently read encoded frame has changed from the immediately preceding encoded frame, the encoded frame of the P picture is changed to the I picture. (Step S46).
[0066]
In the next steps S47 and S48, the same processes as those in steps S6 and S7 in FIG. 8 are performed. That is, the encoding bit rate is acquired from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S47), P P-pictures and B-pictures existing between the I-picture after the picture is converted to the I-picture and the next I-picture are re-encoded (step S48), while the encoding bit rate is predetermined. If the predetermined encoding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S47), the P picture or B picture existing from the I picture after converting the P picture to the I picture to the next I picture is obtained. Without re-encoding the object, the number and type of objects in the object encoding side information of the encoded frame are recorded. After the (step S44), the flow returns to step S41 to read the object coding side information for the next encoded frame.
[0067]
As shown in step S44, every time the object coding side information of each coding frame is read, the object coding side information of the object coding side information is compared with the object coding side information of the next reading coding frame. The number and type are stored.
[0068]
Next, a process for converting an I picture into a P picture will be described with reference to an operation flowchart shown in FIG. Here, FIG. 13 is a diagram illustrating a moving image data dividing apparatus according to a seventh embodiment of the present invention, in which the content change detecting unit 106 and the frame type converting unit 107 convert I-pictures having no change in the number or type of objects. 5 is an operation flowchart illustrating a flow of an operation of converting an encoded frame into a P-picture.
First, object encoded side information of one encoded frame is read from the encoded image data with frame type 104a input from the frame type identification unit 104 (step S51). Here, if the object encoding side information does not exist and all the frames of the encoded image data with frame type 104a have been completed (YES in step S52), the present conversion processing ends.
[0069]
It is determined whether or not the object encoding side information read in step S51 is that of an I picture (step S53). If the object encoding side information is not an I picture (NO in step S53), the current encoded frame is read. In order to read the object encoding side information of the next encoding frame after storing the number and type of objects in the object encoding side information of the encoding frame without performing any conversion processing (step S54). It returns to step S51. On the other hand, if it is an I picture (YES in step S53), it is next determined whether the number and type of objects are the same between the immediately preceding encoded frame and the currently read encoded frame (step S53). S55).
[0070]
If they are not the same (NO in step S55), the object in the currently read encoded frame has a change from the immediately preceding encoded frame. After performing no conversion processing and storing the number and type of objects in the object encoding side information of the encoded frame (step S54), a step for reading the object encoding side information of the next encoded frame is performed. It returns to S51. On the other hand, if they are the same (NO in step S55), since the object in the currently read encoded frame does not change from the immediately preceding encoded frame, the encoded frame of the I picture is (Step S56).
[0071]
In the next steps S57 and S58, the same processes as those in steps S16 and S17 in FIG. 9 are performed. That is, the encoding bit rate is acquired from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S57), I The P-picture and the B-picture existing between the P-picture after the picture is converted into the P-picture and the next I-picture are re-encoded (step S58), while the encoding bit rate is predetermined. If the coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S57), the P picture or B picture existing between the P picture after converting the I picture into the P picture and the next I picture is obtained. Without re-encoding the object, the number and type of objects in the object encoding side information of the encoded frame are recorded. After the (step S54), the flow returns to step S51 to read the object coding side information for the next encoded frame.
[0072]
As shown in step S54, every time the object coding side information of each coding frame is read, the object coding side information of the object coding side information is compared with the object coding side information of the next reading coding frame. The number and type are stored.
The conversion process from a B picture to an I picture, and conversely, the conversion process from an I picture to a B picture, are performed in exactly the same way as the operation for a P picture shown in FIGS.
[0073]
<Eighth embodiment>
Next, an eighth embodiment of the moving image data dividing apparatus according to the present invention will be described with reference to the operation flowcharts of FIGS. Here, this embodiment shows still another operation of the content change detection unit 106 shown in the fifth embodiment.
The present embodiment is based on the premise that a video coded frame of coded image data is accompanied by an audio coded frame, and the content change detection unit 106 uses a change in information of the audio coded data as a basis. , The video encoded data synchronized with the audio encoded data is detected as a changed encoded frame. That is, when the encoded image data is, for example, sports program content, the utterance part where the announcer who is playing live speaks is a scene where the content of the moving image changes.
[0074]
Thus, a scene in which the content of the moving image is changing can be detected by finding a portion where the sound changes from silence to sound. The content change detection unit 106 of the present embodiment refers to the time code described in the header of each encoded frame of the encoded image data, and finds an audio encoded frame synchronized with the video encoded frame. If there is an audio coded frame in which the audio has changed from silence to voice in the audio coded frame, the video coded frame synchronized with the audio coded frame changes the content of the moving image. It is considered to be a video coded frame that includes the scene in question.
[0075]
First, a conversion process from a P picture to an I picture will be described with reference to the flowchart in FIG. FIG. 14 shows an eighth embodiment of the moving image data dividing apparatus according to the present invention, in which the content change detecting section 106 and the frame type converting section 107 perform audio coding in which the state changes from silence to speech. It is an operation | movement flowchart which shows the flow of operation | movement which converts the video coding frame of a P picture synchronized with a frame into the video coding frame of an I picture.
First, one frame of video encoded data is read from the frame type-added encoded image data 104a input from the frame type identification unit 104 (step S61). Here, if the video encoded data does not exist and all the frames of the encoded image data with frame type 104a have been completed (YES in step S62), the present conversion processing ends.
[0076]
It is determined whether or not the object encoding side information read in step S61 is that of a P picture (step S63). If the object encoding side information is not a P picture (NO in step S43), the current encoded frame is read. The process returns to step S61 to read the next video encoded frame without performing any conversion processing. On the other hand, if it is a P picture (YES in step S63), the time code of the currently read encoded frame and the time code of the next encoded frame to be read next are obtained (step S64). Then, the audio encoded data between the two is obtained (step S65).
[0077]
It is detected whether or not there is a portion in the acquired audio coded data that changes from silence to speech (step S66). If there is no portion that changes from silence to speech (NO in step S67). The process returns to step S61 to read the next video encoded frame without performing any conversion processing. On the other hand, if there is a portion that changes from silence to speech (YES in step S67), the P picture is converted to an I picture (step S68).
[0078]
In the next steps S69 and S70, the same processes as those in steps S6 and S7 in FIG. 8 are performed. That is, the encoding bit rate is obtained from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S69), P P-pictures and B-pictures existing between the I-picture after the picture is converted to the I-picture and the next I-picture are re-encoded (step S70), while the encoding bit rate is predetermined. If the predetermined coding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S69), the P picture or the B picture existing between the I picture after converting the P picture into the I picture and the next I picture is obtained. Without performing re-encoding, returns to step S61 in order to read the object encoding side information of the next encoded frame.
[0079]
Next, the process of converting an I picture into a P picture will be described with reference to the operation flowchart shown in FIG. Here, FIG. 15 shows an eighth embodiment of the moving image data dividing apparatus according to the present invention, wherein the content change detection unit 106 and the frame type conversion unit 107 perform audio coding that does not change from silence to speech. 9 is an operation flowchart showing a flow of an operation of converting a video coded frame of an I picture synchronized with a frame into a video coded frame of a P picture.
First, one frame of video encoded data is read from the frame type-added encoded image data 104a input from the frame type identification unit 104 (step S71). Here, if the video encoded data does not exist and all the frames of the encoded image data with frame type 104a have been completed (YES in step S72), the present conversion processing ends.
[0080]
It is determined whether or not the object encoding side information read in step S71 is that of an I picture (step S73). If the object encoding side information is not an I picture (NO in step S73), the current encoded frame is read. Then, the process returns to step S71 to read the next encoded video frame without performing any conversion processing. On the other hand, if the picture is an I picture (YES in step S73), the time code of the currently read encoded frame and the time code of the next encoded frame to be read next are obtained (step S74). Then, audio encoded data located between the two is obtained (step S75).
[0081]
It is detected whether or not there is a portion where the acquired audio encoded data changes from silence to speech (step S76). If there is a portion which changes from silence to speech (YES in step S77). Then, the process returns to step S71 to read the next encoded video frame without performing any conversion processing. On the other hand, if there is no part that changes from silence to speech (NO in step S77), the I picture is converted to a P picture (step S78).
[0082]
In the next steps S79 and S80, the same processes as those in steps S16 and S17 in FIG. 9 are performed. That is, the encoding bit rate is acquired from the header of the encoded image data with frame type 104a, and if the encoding bit rate is less than a predetermined encoding bit rate (threshold) (NO in step S79), I The P-picture and the B-picture existing between the P-picture after the picture is converted to the P-picture and the next I-picture are re-encoded (step S80), while the encoding bit rate is predetermined. If it is equal to or higher than the predetermined coding bit rate (YES in step S79), the P picture or B picture existing from the P picture after converting the I picture to the P picture to the next I picture is obtained. Without performing re-encoding, returns to step S71 to read the object encoding side information of the next encoded frame.
The conversion process from a B picture to an I picture, and conversely, the conversion process from an I picture to a B picture, are performed in exactly the same way as the operation for a P picture shown in FIGS.
[0083]
<Ninth embodiment>
Next, a ninth embodiment of the moving image data dividing device according to the present invention will be described with reference to the operation flowcharts of FIGS. Here, this embodiment shows still another operation of the content change detection unit 106 shown in the fifth embodiment.
The present embodiment is based on the premise that the encoded image data is accompanied by subtitles, and the content change detection unit 106 changes the content of the moving image based on whether or not the subtitles of the encoded image data have changed. Video coded frame is detected. That is, when the encoded image data is, for example, teletext content, the scene in which the caption changes is a scene in which the content of the moving image changes.
[0084]
Here, the caption information indicating whether or not the caption has changed can be easily detected from the header of the caption coded data if only the caption is individually coded. In this case, the caption portion must be extracted from the moving image data and separately prepared in advance.
First, a conversion process from a P picture to an I picture will be described with reference to the flowchart in FIG. Here, FIG. 16 shows a ninth embodiment of the moving picture data dividing apparatus according to the present invention, in which the content change detecting section 106 and the frame type converting section 107 convert a P picture having a change in caption into an I picture code. 5 is an operation flowchart showing a flow of an operation of converting into a converted frame.
First, a video encoded frame for one frame is read from the encoded image data with frame type 104a input from the frame type identifying unit 104 (step S81). Here, if there is no video encoded frame and all the frames of the encoded image data with frame type 104a have been completed (YES in step S82), the conversion process ends.
[0085]
The subtitle information of the video encoded frame read in step S81 is obtained (step S83). Next, it is determined whether the read video coded frame is a P picture (step S84). If the read video coded frame is not a P picture (NO in step S84), no determination is made for the currently read video coded frame. After the conversion processing is not performed and the subtitle information of the video encoded frame is stored (step S85), the process returns to step S81 to read the next video encoded frame. On the other hand, if the picture is a P picture (YES in step S84), it is next determined whether or not the subtitle information is the same between the immediately preceding video coded frame and the currently read video coded frame (step S86). ).
[0086]
If the two are the same (YES in step S86), the caption of the currently coded video frame does not change from the immediately preceding video coded frame, and the current video coded frame has one subtitle. Assuming that there is no change from the previous video encoded frame, no conversion process is performed on the currently read video encoded frame, and the subtitle information of the video encoded frame is stored (step S85). Thereafter, the process returns to step S81 to read the next video encoded frame. On the other hand, if they are not the same (NO in step S86), the subtitles of the currently read video encoded frame have a change from the immediately preceding video encoded frame, and the current video encoded frame is Assuming that there is a change from the immediately preceding video coded frame, the video coded frame of the P picture is converted into an I picture (step S87).
[0087]
In the next steps S88 and S89, the same processes as those in steps S6 and S7 in FIG. 8 are performed. That is, the encoding bit rate is obtained from the header of the encoded image data with frame type 104a, and if the encoding bit rate is lower than a predetermined encoding bit rate (threshold) (NO in step S88), P The P-picture and the B-picture existing between the I-picture after the picture is converted to the I-picture and the next I-picture are re-encoded (step S89), while the encoding bit rate is predetermined. If the predetermined encoding bit rate is equal to or higher than the predetermined coding bit rate (YES in step S88), the P picture or the B picture existing between the I picture after converting the P picture into the I picture and the next I picture is obtained. After the subtitle information of the video coded frame is stored (step S85) without re-encoding the next video coded frame, Returns to the step S81 in order to read the over-time.
[0088]
As shown in step S85, each time the subtitle information of each encoded video frame is read, the read subtitle information is stored for comparison with the subtitle information of the next encoded video frame.
[0089]
Next, a process of converting an I picture into a P picture will be described with reference to an operation flowchart shown in FIG. Here, FIG. 17 shows a ninth embodiment of the moving image data dividing apparatus according to the present invention, in which the content change detecting section 106 and the frame type converting section 107 convert I-pictures having no change in subtitles into P-picture codes. 9 is an operation flowchart showing a flow of an operation of converting into a converted frame.
First, a video encoded frame for one frame is read from the encoded image data with frame type 104a input from the frame type identification unit 104 (step S91). Here, if there is no video encoded frame and all the frames of the encoded image data with frame type 104a have been completed (YES in step S92), the present conversion processing ends.
[0090]
The subtitle information of the video encoded frame read in step S91 is obtained (step S93). Next, it is determined whether or not the read video coded frame is an I picture (step S94). If the read video coded frame is not an I picture (NO in step S94), no determination is made for the currently read video coded frame. After the conversion process is not performed and the subtitle information of the video encoded frame is stored (step S95), the process returns to step S91 to read the next video encoded frame. On the other hand, if it is an I picture (YES in step S94), it is next determined whether or not the subtitle information is the same between the immediately preceding video coded frame and the currently read video coded frame (step S96). ).
[0091]
If the two are not the same (YES in step S96), the subtitle of the currently read video encoded frame has a change from the immediately preceding video encoded frame, and the current video encoded frame has one subtitle. Assuming that there is a change from the previous video encoded frame, no conversion process is performed on the currently read video encoded frame, and the subtitle information of the video encoded frame is stored (step S95). Thereafter, the process returns to step S91 to read the next video encoded frame. On the other hand, if they are the same (YES in step S96), the subtitles of the currently coded video frame are unchanged from the immediately preceding video coded frame, and the current video coded frame is Assuming that there is no change from the immediately preceding video encoded frame, the video encoded frame of the I picture is converted into a P picture (step S97).
[0092]
In the next steps S98 and S99, the same processes as those in steps S16 and S17 in FIG. 9 are performed. That is, the encoding bit rate is obtained from the header of the encoded image data with frame type 104a, and if the encoding bit rate is lower than a predetermined encoding bit rate (threshold) (NO in step S98), The P-picture and the B-picture existing between the P-picture after the picture is converted to the P-picture and the next I-picture are re-encoded (step S99), while the encoding bit rate is predetermined. If the bit rate is equal to or higher than the predetermined coding bit rate (YES in step S98), the P picture or B picture existing from the P picture after the conversion of the I picture to the P picture to the next I picture is obtained. After the subtitle information of the coded frame is stored (step S95) without re-encoding the next video coded frame, Returns to the step S91 in order to read.
[0093]
As shown in step S95, each time the subtitle information of each encoded video frame is read, the read subtitle information is stored for comparison with the subtitle information of the next encoded video frame.
Note that the conversion processing from a B picture to an I picture, and conversely, the conversion processing from an I picture to a B picture, are performed in exactly the same way as the operation for the P picture shown in FIGS.
[0094]
【The invention's effect】
As described above, according to the moving image data dividing apparatus according to the present invention, even in the case of coded image data that takes time to transmit on a low-speed line even if the data is compressed, the receiving side In order to prevent time-consuming reproduction, the coded image data to be transmitted is composed of one small-capacity partial data which can be reproduced alone on the receiving side and one or more large-capacity data which cannot be reproduced alone. By dividing the data into two types of partial data, i.e., the partial data, and transmitting the small-capacity partial data having a small capacity to the receiving side even on a low-speed line, all the data including the large-capacity partial data relating to the encoded image data can be obtained. Even if the partial data is not aligned on the receiving side, the moving image data can be quickly reproduced, and after transmitting one small-capacity partial data, one or a plurality of large-capacity partial data is transmitted. By transmitting separately via a line or a recording medium and merging with the small-capacity partial data previously transmitted via the low-speed line, more detailed moving image data based on all the divided partial data can be obtained. It is possible to play.
[0095]
Further, according to the moving image data dividing apparatus of the present invention, the unit for dividing the encoded image data into a plurality of partial data is defined as an encoded frame unit, the small capacity partial data is defined as an I picture, and the large capacity partial data is defined as a P. A small-capacity data portion is an I-picture and a P-picture and / or a B-picture of a predetermined number of frames following the I-picture, and the large-capacity partial data is a remaining P-picture. And / or B pictures, data division can be easily performed.
[0096]
Further, according to the moving picture data dividing apparatus of the present invention, a coded frame of a P picture or a B picture in which the content of a moving picture has changed, such as a scene change or a change of subtitles, is detected and the coding is performed. The frame type is converted to an I picture, and conversely, an encoded frame of an I picture in which the content of a moving image has not changed is detected, and the encoded frame is converted to a P picture or a B picture. By dividing not only the frame type of each encoded frame input from the video encoding device but also the frame type converted as described above into small-capacity partial data and large-capacity partial data, By receiving only the moving image data of the small-volume partial data transmitted through the low-speed line, the entire contents of the moving image data can be identified more easily. It is possible to perform so that data division.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a block configuration according to a first embodiment of a moving image data dividing device according to the present invention.
FIG. 2 is a block diagram illustrating an example of a block configuration according to a second embodiment of the moving image data dividing device according to the present invention.
FIG. 3 is a block diagram showing an example of a block configuration of a data dividing unit of a moving image data dividing device as a third embodiment of the moving image data dividing device according to the present invention.
FIG. 4 is a schematic diagram showing an example of dividing encoded image data into partial data using a data dividing unit of the moving image data dividing device shown in FIG.
FIG. 5 is a schematic diagram showing another example of the division of the encoded image data into partial data using the data division unit of the moving image data division device shown in FIG. 3 as a fourth embodiment.
FIG. 6 is a block diagram showing an example of a block configuration of a data dividing unit of a moving image data dividing device as a fifth embodiment of the moving image data dividing device according to the present invention.
7 is a schematic diagram showing an example of dividing encoded image data into partial data using a data dividing unit of the moving image data dividing device shown in FIG.
FIG. 8 shows a fifth embodiment of the moving image data dividing apparatus according to the present invention, in which the content change detecting section and the frame type converting section convert an P picture having a change into an I-picture coded frame. It is an operation flowchart showing a flow.
FIG. 9 shows a fifth embodiment of the moving image data dividing apparatus according to the present invention, wherein the content change detecting section and the frame type converting section convert an I picture containing no change into a P picture coded frame. 5 is an operation flowchart illustrating a flow of an operation performed.
FIG. 10 illustrates an operation of the sixth embodiment of the moving image data dividing device according to the present invention, in which the content change detecting unit and the frame type converting unit convert a P picture having a large code amount into an I-picture coded frame. 5 is an operation flowchart showing the flow of the operation.
FIG. 11 shows an operation in which a content change detection unit and a frame type conversion unit convert an I picture with a small code amount into a P-picture coded frame as a sixth embodiment of the moving image data division device according to the present invention. 5 is an operation flowchart showing the flow of the operation.
FIG. 12 shows a seventh embodiment of the moving picture data dividing apparatus according to the present invention, wherein the content change detecting section and the frame type converting section encode P-pictures having a change in the number or type of objects into I-pictures. 6 is an operation flowchart illustrating a flow of an operation of converting a frame.
FIG. 13 shows a seventh embodiment of the moving image data dividing apparatus according to the present invention, wherein the content change detecting section and the frame type converting section encode I pictures having no change in the number or type of objects into P pictures. 6 is an operation flowchart illustrating a flow of an operation of converting a frame.
FIG. 14 is a diagram illustrating an eighth embodiment of the moving image data dividing apparatus according to the present invention, wherein the content change detecting unit and the frame type converting unit synchronize with an audio encoded frame changing from silence to speech; 6 is an operation flowchart showing a flow of an operation for converting a video coded frame of a P picture into a video coded frame of an I picture.
FIG. 15 shows an eighth embodiment of the moving picture data dividing apparatus according to the present invention, wherein the content change detecting section and the frame type converting section are synchronized with an audio encoded frame which has not changed from silent to voice. 5 is an operation flowchart showing a flow of an operation of converting a video coded frame of an existing I picture into a video coded frame of a P picture.
FIG. 16 shows a ninth embodiment of the moving image data dividing apparatus according to the present invention, wherein a content change detecting unit and a frame type converting unit convert a P picture having a change in caption into an encoded frame of an I picture. 5 is an operation flowchart illustrating an operation flow.
FIG. 17 shows a ninth embodiment of the moving image data dividing apparatus according to the present invention, in which a content change detecting unit and a frame type converting unit convert an I picture having no change in subtitles into an encoded frame of a P picture. 5 is an operation flowchart illustrating an operation flow.
FIG. 18 is a block diagram showing an example of an overall block configuration of a conventional video encoding device.
FIG.
FIG. 19 is a schematic diagram illustrating an example of encoding moving image data using the moving image encoding device illustrated in FIG. 18.
[Explanation of symbols]
100, 100 '... moving image data dividing apparatus, 101, 101', 101 "... data dividing section, 101a ... small capacity partial data, 101b ... large capacity partial data, 102 ... billing processing section, 102a ... billing processing small capacity section Data: 103: encryption processing unit, 103a: encrypted small-capacity partial data, 104: frame type identification unit, 104a: encoded image data with frame type, 105: division processing unit, 106: content change detection unit, 106a: Encoded image data with change presence / absence information, 107: frame type conversion unit, 107a: frame type conversion encoded image data, 200: moving image encoding device, 200a: input image frame, 200b: encoded image data, 201: subtraction Unit, 202: motion-compensated inter-frame prediction unit, 203: switch, 204: switch, 205 ... Image encoding unit, 206 ... frame memory, 207 ... image decoding unit, 208 ... adding unit, 209 ... variable-length coding unit.

Claims

A moving image data dividing device that is provided in a moving image encoding and transmitting device that encodes and transmits moving image data and divides encoded encoded image data, wherein the encoded image data is divided into a plurality of partial data. A moving image data dividing apparatus, comprising: a data dividing means for dividing; and a billing processing means for performing a billing process on at least one of the plurality of divided partial data.

A moving image data dividing device that is provided in a moving image encoding and transmitting device that encodes and transmits moving image data and divides encoded encoded image data, wherein the encoded image data is divided into a plurality of partial data. A moving image data dividing apparatus, comprising: a data dividing means for dividing; and an encryption processing means for performing an encryption process on at least one of the plurality of divided partial data. .

3. The moving image data dividing device according to claim 1, further comprising: a frame type identifying unit configured to detect a frame type of an encoded frame included in the encoded image data, wherein the data dividing unit includes the frame type identifying unit. A moving image data dividing apparatus that divides the encoded image data into a plurality of partial data based on a frame type detected by the method.

4. The moving image data dividing apparatus according to claim 3, wherein the data dividing unit uses only intra-frame encoding based on a frame type of each of the encoded frames detected by the frame type identifying unit. A moving image data dividing apparatus, wherein an encoded frame is used as first partial data, and an encoded frame in which inter-frame encoding is used is divided as second partial data.

4. The moving image data dividing apparatus according to claim 3, wherein the data dividing unit uses only intra-frame encoding based on a frame type of each of the encoded frames detected by the frame type identifying unit. Frame and an encoded frame that uses a predetermined number of frames between frames following the encoded frame are used as first partial data belonging to the same group, and the remaining interframe encoding is A moving image data dividing apparatus, which divides a used coded frame as second partial data.

6. The moving image data dividing apparatus according to claim 4, wherein the accounting processing unit performs accounting processing on at least the first partial data, and / or performs encryption processing by the encryption processing unit. A moving image data dividing apparatus characterized by performing the following.

3. The moving image data dividing device according to claim 1, wherein a frame type identifying unit that detects a frame type of an encoded frame included in the encoded image data, and each of the codes detected by the frame type identifying unit. Content change detecting means for detecting the presence or absence of a change in the data content of the coded frame according to the frame type of the coded frame, and changing the frame type of the coded frame based on the detection result detected by the content change detecting means. A frame type conversion unit for converting the encoded image data based on the frame type detected by the frame type identification unit and / or the frame type converted by the frame type conversion unit. Moving image data, which is divided into a plurality of partial data. Dividing apparatus.

8. The moving image data dividing device according to claim 7, wherein the content change detecting unit is configured to determine whether or not the number of intra-coded macroblocks of each of the encoded frames is equal to or greater than a predetermined number. A moving image data dividing apparatus for detecting whether or not the data content of the encoded frame has changed.

8. The moving image data dividing device according to claim 7, wherein the content change detection unit determines whether or not the code amount of each of the encoded frames is equal to or greater than a predetermined code amount. A moving image data dividing apparatus for detecting whether or not the content has changed.

8. The moving image data dividing device according to claim 7, wherein the content change detecting unit determines whether the data of the encoded frame is changed based on whether the number or type of objects of each of the encoded frames is changed. A moving image data dividing apparatus for detecting whether or not the content has changed.

8. The moving image data dividing apparatus according to claim 7, wherein the content change detecting means is configured to synchronize the audio of the encoded audio data, which is synchronized with the encoded video data indicating each encoded frame, from silence to speech. A moving image data dividing apparatus for detecting whether or not the data content of the encoded frame has changed by detecting whether or not the moving image data has changed.

8. The moving image data dividing device according to claim 7, wherein the content change detection unit determines whether or not the data content of the encoded frame has changed based on whether or not the caption data in each of the encoded frames has changed. A moving image data dividing device characterized by detecting.

13. The moving image data dividing apparatus according to claim 7, wherein the frame type conversion unit detects a change in data content in an encoded frame using inter-frame encoding by the content change detection unit. A moving image data dividing apparatus for converting a frame type of the encoded frame into an encoded frame using intra-frame encoding.

13. The moving image data dividing device according to claim 7, wherein the frame type conversion unit detects a change in data content in an encoded frame using intra-frame encoding by the content change detection unit. A moving image data dividing apparatus characterized by converting the frame type of the coded frame into a coded frame using inter-frame coding when there is no such frame.

15. The moving image data dividing device according to claim 7, wherein the frame type conversion unit converts a frame type of the encoded frame based on a detection result detected by the content change detection unit. If the encoding bit rate at the time of encoding the moving image data is lower than a predetermined encoding bit rate, the encoded frame obtained by converting the frame type and the subsequent intra-frame encoding are used. A moving image data dividing apparatus that re-encodes the coded frame using inter-frame coding existing between the coded frame and the coded frame.

16. The moving image data dividing device according to claim 7, wherein the data dividing unit converts the data into a frame type detected by the frame type identifying unit and / or a frame type converted by the frame type converting unit. A moving image obtained by dividing an encoded frame using only intra-frame encoding as first partial data and dividing an encoded frame using inter-frame encoding as second partial data on the basis of the first partial data; Data division device.

16. The moving image data dividing device according to claim 7, wherein the data dividing unit converts the data into a frame type detected by the frame type identifying unit and / or a frame type converted by the frame type converting unit. Based on the first group, a coded frame using only intra-frame coding and a coded frame using inter-frame coding for a predetermined number of frames following the coded frame belong to the same group. A moving image data dividing apparatus for dividing a coded frame in which the remaining inter-frame coding is used as second partial data.

18. The moving image data dividing device according to claim 16, wherein the accounting processing means performs accounting processing on at least the first partial data with respect to the first partial data, and / or A moving image data dividing apparatus, wherein the encryption processing means performs encryption processing.