JP2002335530A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム

Info

Publication number
JP2002335530A
JP2002335530A JP2001140217A JP2001140217A JP2002335530A JP 2002335530 A JP2002335530 A JP 2002335530A JP 2001140217 A JP2001140217 A JP 2001140217A JP 2001140217 A JP2001140217 A JP 2001140217A JP 2002335530 A JP2002335530 A JP 2002335530A
Authority
JP
Japan
Prior art keywords
image data
data
motion vector
frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001140217A
Other languages
English (en)
Other versions
JP4765194B2 (ja
Inventor
Takefumi Nagumo
武文 名雲
Hiroyuki Yasuda
弘幸 安田
Satoshi Mihashi
聡 三橋
Yuji Ando
裕司 安藤
Takashi Kojima
尚 小嶋
Iiwen Zuu
イーウェン ズー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001140217A priority Critical patent/JP4765194B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CNB2005100739936A priority patent/CN100338958C/zh
Priority to CNB028016041A priority patent/CN1258924C/zh
Priority to EP02769556A priority patent/EP1387586A4/en
Priority to KR1020037000253A priority patent/KR100901173B1/ko
Priority to PCT/JP2002/004530 priority patent/WO2002093936A1/ja
Priority to US10/312,555 priority patent/US7158570B2/en
Publication of JP2002335530A publication Critical patent/JP2002335530A/ja
Application granted granted Critical
Publication of JP4765194B2 publication Critical patent/JP4765194B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】本発明は、所望の画質の動画像を適確に提供し
得るようにする。 【解決手段】本発明は、圧縮符号化部３７により動画像
データＤ１を順次第１及び第２のフレーム画像データ単
位で圧縮符号化し、得られた符号化データＤ１０及びＤ
１４をバッファ４２に一旦蓄積して出力しながら、フレ
ーム構造変換器３３により当該バッファ４２のデータ蓄
積量ＤＲに応じて動画像データＤ１のフレームレートを
変更するようにしたことにより、動画像データＤ１に基
づく動画像の絵柄の変化に応じて単位時間当りに圧縮符
号化すべき第２のフレーム画像データの数を適確に変更
して圧縮率を安定させ、この結果、動画像の画質を安定
させることができ、かくして所望の画質の動画像を適確
に提供することができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分の】本発明は動画像符号化装置、
動画像符号化方法、動画像符号化プログラム格納媒体及
び動画像符号化プログラムに関し、例えばインターネッ
トを利用して動画像データを配信する際に当該動画像デ
ータを圧縮符号化する動画像符号化装置に適用して好適
なものである。
【０００２】
【従来の技術】近年、インターネットを利用した動画像
データの配信方法として、ビデオカメラ等で被写体を撮
像しながら得られる動画像データをインターネットを介
してユーザのパーソナルコンピュータ等に送信すること
により当該動画像データに基づく動画像をリアルタイム
で見せるようにした、いわゆるストリーミングと呼ばれ
る配信方法が普及し始めている。
【０００３】このようなストリーミングによる配信方法
においては、インターネットのデータ転送速度が比較的
低いために、送信側に例えばＭＰＥＧ２（Moving Pictu
re Experts Group phase 2）と呼ばれる圧縮符号化方式
を適用した動画像符号化装置が設けられている。
【０００４】ここで、ＭＰＥＧ２方式は、ＩＳＯ／ＩＥ
Ｃ ＪＴＣ１／ＳＣ２／ＷＧ１１（International Orga
nization for Standardization/International Electro
technical Commission Joint Technical Committee/Sub
Committee 2/Working Group11）等の機関によって標準
化され、動き補償予測符号化と離散コサイン変換（DCT:
Discrete Cosine Transform ）とを組み合わせたハイブ
リット符号化方式を採用して規格化されている。
【０００５】そして、このＭＰＥＧ２方式では、Ｉ（In
tra ）ピクチャと呼ばれるフレーム内符号化画像（イン
トラ符号化画像）と、Ｐ（Predictive）ピクチャと呼ば
れるフレーム間順方向予測符号化画像と、Ｂ（Bidirect
ionally predictive）ピクチャと呼ばれる双方向予測符
号化画像との３種類のピクチャタイプが規定されてお
り、これらＩピクチャ、Ｐピクチャ及びＢピクチャのう
ちいずれかを動画像データを構成するフレーム画像デー
タに順次所定の順番で割り当てて圧縮符号化するように
規定されている。
【０００６】実際にこのＭＰＥＧ２方式では、フレーム
内符号化、順方向予測符号化、逆方向予測符号化及び双
方向予測符号化の４種類の予測モードが規定されてお
り、Ｉピクチャを割り当てたフレーム画像については16
画素×16ラインのマクロブロックと呼ばれる単位でフレ
ーム内符号化により圧縮符号化し、Ｐピクチャを割り当
てたフレーム画像についてはマクロブロック単位でフレ
ーム内符号化又は順方向予測符号化のいずれかにより圧
縮符号化し、さらにＢピクチャを割り当てたフレーム画
像についてはマクロブロック単位でフレーム内符号化、
順方向予測符号化、逆方向予測符号化及び双方向予測符
号化のいずれかにより圧縮符号化するように規定されて
いる。
【０００７】
【発明が解決しようとする課題】ところで、図２６に示
すように、ＭＰＥＧ２方式が適用された動画像符号化装
置１においては、外部から供給される動画像データをフ
レーム画像データ単位で複数フレーム分の記録容量を有
する入力用フレームメモリ２に取り込み、当該入力用フ
レームメモリ２に取り込んだフレーム画像データにＩピ
クチャ、Ｐピクチャ及びＢピクチャのうちいずれかを所
定の順番で割り当てると共に、その割り当てたＩピクチ
ャ、Ｐピクチャ及びＢピクチャを表すピクチャタイプ情
報をフレーム画像データに対応付けて記録する。
【０００８】ここで、演算器３は、入力用フレームメモ
リ２内でＩピクチャが割り当てられたフレーム画像デー
タ（以下、これを第１のフレーム画像データと呼ぶ）に
ついては、順次マクロブロック単位のデータ（以下、こ
れを第１のマクロブロックデータと呼ぶ）として読み出
す。
【０００９】このとき、動きベクトル検出器４は、演算
器３により入力用フレームメモリ２から第１のマクロブ
ロックデータが読み出される毎に当該第１のマクロブロ
ックデータに対応するピクチャタイプ情報（すなわち、
Ｉピクチャを表す）を読み出しており、そのピクチャタ
イプ情報に基づいて第１のマクロブロックデータをフレ
ーム内符号化により圧縮符号化することを表す予測モー
ドデータを生成してこれを動き補償器５及び可変長符号
化器６に送出する。
【００１０】これにより動き補償器５は、動きベクトル
検出器４から与えられた予測モードデータ（フレーム内
符号化を表す）に基づいて、対応する第１のマクロブロ
ックデータに対する動き補償処理を停止する。
【００１１】従って、演算器３は、入力用フレームメモ
リ２から第１のマクロブロックデータを読み出すと、こ
のとき動き補償器５からは何らデータが与えられないこ
とにより当該第１マクロブロックデータをそのまま離散
コサイン変換器７に送出する。
【００１２】離散コサイン変換器７は、演算器３から与
えられた第１のマクロブロックデータを離散コサイン変
換し、得られた離散コサイン変換係数を量子化器８に送
出する。
【００１３】量子化器８は、出力段に設けられたバッフ
ァ９における符号化データの蓄積量（以下、これをデー
タ蓄積量と呼ぶ）を所定周期で検出し、当該検出したデ
ータ蓄積量に応じて量子化ステップを選定する。
【００１４】これにより量子化器８は、離散コサイン変
換器７から与えられた離散コサイン変換係数を対応する
量子化ステップに基づいて量子化し、得られた量子化係
数をその量子化ステップと共に可変長符号化器６及び逆
量子化器１０に送出する。
【００１５】可変長符号化器６は、量子化器８から与え
られた量子化係数をハフマン符号等により可変長符号化
（VLC:Variable Length Code）すると共に、当該量子化
器８から与えられた量子化ステップ及び動きベクトル検
出器４から与えられた予測モードデータも可変長符号化
し、得られた符号化データをバッファ９を介して外部に
出力する。
【００１６】このようにして画像符号化装置１において
は、入力用フレームメモリ２内の第１のフレーム画像デ
ータを順次第１のマクロブロックデータ単位でフレーム
内符号化により圧縮符号化し、得られた符号化データを
外部に出力する。
【００１７】また、逆量子化器１０は、量子化器８から
与えられた量子化係数を同様に量子化器８から与えられ
た量子化ステップに基づいて逆量子化し、得られた離散
コサイン変換係数を逆離散コサイン変換器１１に送出す
る。
【００１８】逆離散コサイン変換器１１は、逆量子化器
１０から与えられた離散コサイン変換係数を逆離散コサ
イン変換（IDCT:Inverse Discrete Cosine Transform）
し、得られた第１のマクロブロックデータを加算器１２
に送出する。
【００１９】加算器１２は、逆離散コサイン変換器１１
から第１のマクロブロックデータが与えられると、この
とき動き補償器５からは何らデータが与えられないこと
により当該第１のマクロブロックデータをそのまま複数
フレーム分の記録容量を有する参照用フレームメモリ１
３に送出して格納し、かくして参照用フレームメモリ１
３内に第１のフレーム画像データを再構築する。
【００２０】一方、演算器３は、入力用フレームメモリ
２内でＰピクチャが割り当てられたフレーム画像データ
（以下、これを第２のフレーム画像データと呼ぶ）につ
いては、順次マクロブロック単位のデータ（以下、これ
を第２のマクロブロックデータと呼ぶ）として読み出
す。
【００２１】この場合、動きベクトル検出器４は、演算
器３により入力用フレームメモリ２から第２のマクロブ
ロックデータが読み出される毎に、当該入力用フレーム
メモリ２から同じ第２のマクロブロックデータとこれに
対応するピクチャタイプ情報（すなわち、Ｐピクチャを
表す）とを読み出すと共に、そのピクチャタイプ情報に
基づいて第２のマクロブロックデータよりも順方向側
（時間的に過去）の第１又は第２のフレーム画像データ
を順方向予測の参照用として読み出す。
【００２２】そして、動きベクトル検出器４は、ブロッ
クマッチング法により参照用の第１又は第２のフレーム
画像データ内で第２のマクロブロックデータを複数の比
較用ブロックデータと順次対応付けながら当該第２のマ
クロブロックデータ内の各画素の画素値と比較用ブロッ
クデータのそれぞれ対応する画素の画素値との差分の絶
対値の総和（以下、これを予測誤差と呼ぶ）を算出す
る。
【００２３】これにより動きベクトル検出器４は、第２
のマクロブロックデータと各比較用ブロックデータとの
間で順次算出した予測誤差のうち最も値の小さい予測誤
差（以下、これを特に最小予測誤差）を選定すると共
に、その最小予測誤差を算出したときに用いた比較用ブ
ロックデータ（以下、これを順方向近似ブロックデータ
と呼ぶ）を第２のマクロブロックデータと最も一致する
ものとして検出し、当該検出した順方向近似ブロックデ
ータと第２のマクロブロックデータとの動き量により当
該第２のマクロブロックデータの順方向の動きベクトル
を検出する。
【００２４】これに加えて、動きベクトル検出器４は、
第２のマクロブロックデータ内の各画素の画素値の平均
値を算出した後にその算出した平均値と各画素値との差
分の絶対値の総和（以下、これを分散値と呼ぶ）を算出
し、当該算出した分散値を最小予測誤差と比較する。
【００２５】この結果、動きベクトル検出器４は、分散
値が最小予測誤差よりも小さければ、第２のマクロブロ
ックデータに対して各画素の分散（画素値のばらつき）
が小さいために当該第２のマクロブロックデータをその
まま圧縮符号化しても符号化データのデータ量（以下、
これを符号化データ量と呼ぶ）を比較的少なくし得ると
判断し、その第２のマクロブロックデータをフレーム内
符号化により圧縮符号化することを表す予測モードデー
タを生成してこれを動き補償器５及び可変長符号化器６
に送出する。
【００２６】これに対して、動きベクトル検出器４は、
分散値が最小予測誤差よりも大きければ、第２のマクロ
ブロックデータに対して各画素の分散（画素値のばらつ
き）が大きいために当該第２のマクロブロックデータを
順方向予測符号化により圧縮符号化しなければ符号化デ
ータ量を少なくし難いと判断し、その第２のマクロブロ
ックデータを順方向予測符号化により圧縮符号化するこ
とを表す予測モードデータを生成してこれを当該第２の
マクロブロックデータの動きベクトルと共に動き補償器
５及び可変長符号化器６に送出する。
【００２７】これにより動き補償器５は、動きベクトル
検出器４から第２のマクロブロックデータに対してフレ
ーム内符号化を表す予測モードデータが与えられると、
当該第２のマクロブロックデータに対する動き補償処理
を停止する。
【００２８】また、動き補償器５は、動きベクトル検出
器４から第２のマクロブロックデータに対する動きベク
トルと、順方向予測符号化を表す予測モードデータとが
与えられると、動き補償処理を実行して参照用フレーム
メモリ１３から第２のマクロブロックデータよりも順方
向側（時間的に過去）の第１又は第２のフレーム画像デ
ータを参照用として読み出す。
【００２９】そして、動き補償器５は、その第１又は第
２のフレーム画像データ内から動きベクトルに基づいて
第２のマクロブロックデータと最も一致する演算用ブロ
ックデータを抽出してこれを演算器３及び加算器１２に
送出する。
【００３０】演算器３は、入力用フレームメモリ２から
読み出した第２のマクロブロックデータに対する予測モ
ードとしてフレーム内符号化が選択されたときには、動
き補償器５から演算用ブロックデータが与えられないこ
とにより当該第２のマクロブロックデータをそのまま離
散コサイン変換器７に送出する。
【００３１】これにより動画像符号化装置１において
は、第２のマクロブロックデータに対する予測モードと
してフレーム内符号化が選択されたときには、離散コサ
イン変換器７、量子化器８、可変長符号化器６、バッフ
ァ９、逆量子化器１０、逆離散コサイン変換器１１、加
算器１２及び参照用フレームメモリ１３をそれぞれ上述
した第１のマクロブロックデータを圧縮符号化するとき
と同様に動作させ、かくして第２のマクロブロックデー
タを量子化ステップ及び予測モードデータと共に可変長
符号化し、得られた符号化データを外部に出力すると共
に、圧縮した第２のマクロブロックデータを復号化して
参照用フレームメモリ１３に格納するようになされてい
る。
【００３２】また演算器３は、入力用フレームメモリ２
から読み出した第２のマクロブロックデータに対する予
測モードとして順方向予測符号化が選択されたときに
は、動き補償器５から与えられた演算用ブロックデータ
を当該第２のマクロブロックデータから減算し、得られ
た差分データを離散コサイン変換器７に送出する。
【００３３】この場合、離散コサイン変換器７は、演算
器３から与えられた差分データを離散コサイン変換し、
得られた離散コサイン変換係数を量子化器８に送出す
る。
【００３４】また、量子化器８は、その離散コサイン変
換係数を上述した第１のマクロブロックデータを処理し
たときと同様に選定した対応する量子化ステップに基づ
いて量子化し、得られた量子化係数をその量子化ステッ
プと共に可変長符号化器６及び逆量子化器１０に送出す
る。
【００３５】そして、可変長符号化器６は、その量子化
係数をハフマン符号等により可変長符号化すると共に、
対応する量子化ステップ及び予測モード（順方向予測符
号化を表す）並びに動きベクトルも可変長符号化し、こ
のようにして得られた符号化データをバッファ９を介し
て外部に出力する。
【００３６】このとき、逆量子化器１０は、量子化器８
から与えられた量子化係数を同様に量子化器８から与え
られた量子化ステップに基づいて逆量子化し、得られた
離散コサイン変換係数を逆離散コサイン変換器１１に送
出する。
【００３７】また、逆離散コサイン変換器１１は、逆量
子化器１０から与えられた離散コサイン変換係数を逆離
散コサイン変換し、得られた差分データを加算器１２に
送出する。
【００３８】加算器１２は、逆離散コサイン変換器１１
から与えられた差分データをこのとき動き補償器５から
与えられた演算用ブロックデータと加算し、得られた第
２のマクロブロックデータを参照用フレームメモリ１３
に送出して格納する。
【００３９】このようにして動画像符号化装置１におい
ては、第２のフレーム画像データを順次第２のマクロブ
ロックデータ単位で圧縮符号化したときにも参照用フレ
ームメモリ１３内に第２のフレーム画像データを再構築
する。
【００４０】これに加えて、演算器３は、入力用フレー
ムメモリ２内でＢピクチャが割り当てられたフレーム画
像データ（以下、これを第３のフレーム画像データと呼
ぶ）については、順次マクロブロック単位のデータ（以
下、これを第３のマクロブロックデータと呼ぶ）として
読み出す。
【００４１】この場合、動きベクトル検出器４は、演算
器３により入力用フレームメモリ２から第３のマクロブ
ロックデータが読み出される毎に、当該入力用フレーム
メモリ２から同じ第３のマクロブロックデータとこれに
対応するピクチャタイプ情報（すなわち、Ｂピクチャを
表す）とを読み出すと共に、そのピクチャタイプ情報に
基づいて第３のマクロブロックデータよりも順方向側
（時間的に過去）の第１又は第２のフレーム画像データ
及び逆方向側（時間的に未来）の第１又は第２のフレー
ム画像データを順方向予測、逆方向予測及び双方向予測
の参照用として読み出す。
【００４２】そして、動きベクトル検出器４は、上述し
た第２のマクロブロックデータのときと同様にブロック
マッチング法により順方向側の第１又は第２のフレーム
画像データ内で最小予測誤差（以下、これを特に順方向
最小予測誤差と呼ぶ）となる順方向近似ブロックデータ
を検出するようにして第３のマクロブロックデータに対
する順方向の動きベクトルを検出する。
【００４３】同様に動きベクトル検出器４は、ブロック
マッチング法により逆方向側の第１又は第２のフレーム
画像データ内で最小予測誤差（以下、これを特に逆方向
最小予測誤差と呼ぶ）となる比較用ブロックデータ（以
下、これを逆方向近似ブロックデータと呼ぶ）を検出す
るようにして第３のマクロブロックデータに対する逆方
向の動きベクトルを検出する。
【００４４】さらに、動きベクトル検出器４は、このよ
うに検出した順方向近似ブロックデータ及び逆方向近似
ブロックデータを平均化して平均近似ブロックデータを
生成し、当該生成した平均近似ブロックデータと第３の
マクロブロックデータとの予測誤差（以下、これを双方
向予測誤差と呼ぶ）を算出する。
【００４５】これにより動きベクトル検出器４は、順方
向最小予測誤差、逆方向最小予測誤差及び双方向予測誤
差のうち最も値の小さい１つの順方向最小予測誤差、逆
方向最小予測誤差又は双方向予測誤差を選定すると共
に、第３のマクロブロックデータに対しても上述した第
２のマクロブロックデータのときと同様にして分散値を
算出し、当該算出した分散値をその選定した１つの順方
向最小予測誤差、逆方向最小予測誤差又は双方向予測誤
差（以下、これを特に選定予測誤差と呼ぶ）と比較す
る。
【００４６】この結果、動きベクトル検出器４は、分散
値が選定予測誤差よりも小さければ、第３のマクロブロ
ックデータに対して各画素の分散（ばらつき）が小さい
ために当該第３のマクロブロックデータをそのまま圧縮
符号化しても符号化データ量を比較的少なくし得ると判
断し、その第３のマクロブロックデータをフレーム内符
号化により圧縮符号化することを表す予測モードデータ
を生成してこれを動き補償器５及び可変長符号化器６に
送出する。
【００４７】これに対して、動きベクトル検出器４は、
分散値が選定予測誤差よりも大きければ、第３のマクロ
ブロックデータに対して各画素の分散（ばらつき）が大
きいために当該第３のマクロブロックデータをフレーム
内符号化以外の予測モードで圧縮符号化しなければ符号
化データ量を少なくし難いと判断する。
【００４８】このとき、動きベクトル検出器４は、選定
予測誤差が順方向最小予測誤差であれば、第３のマクロ
ブロックデータを順方向予測符号化により圧縮符号化す
ることを表す予測モードデータを生成してこれを当該第
３のマクロブロックデータの順方向の動きベクトルと共
に動き補償器５及び可変長符号化器６に送出する。
【００４９】また、動きベクトル検出器４は、その選定
予測誤差が逆方向最小予測誤差であれば、第３のマクロ
ブロックデータを逆方向予測符号化により圧縮符号化す
ることを表す予測モードデータを生成してこれを当該第
３のマクロブロックデータの逆方向の動きベクトルと共
に動き補償器５及び可変長符号化器６に送出する。
【００５０】さらに、動きベクトル検出器４は、その選
定予測誤差が双方向予測誤差であれば、第３のマクロブ
ロックデータを双方向予測符号化により圧縮符号化する
ことを表す予測モードデータを生成してこれを当該第３
のマクロブロックデータの順方向及び逆方向の双方の動
きベクトルと共に動き補償器５及び可変長符号化器６に
送出する。
【００５１】動き補償器５は、動きベクトル検出器４か
ら第３のマクロブロックデータに対してフレーム内符号
化を表す予測モードデータが与えられると、当該第３の
マクロブロックデータに対する動き補償処理を停止す
る。
【００５２】また、動き補償器５は、動きベクトル検出
器４から第３のマクロブロックデータに対する順方向の
動きベクトルと順方向予測符号化を表す予測モードデー
タとが与えられると、動き補償処理を実行して参照用フ
レームメモリ１３から第３のマクロブロックデータより
も順方向側（時間的に過去）の第１又は第２のフレーム
画像データを参照用として読み出し、当該読み出した第
１又は第２のフレーム画像データ内からその順方向の動
きベクトルに基づいて第３のマクロブロックデータと最
も一致する演算用ブロックデータを抽出してこれを演算
器３及び加算器１２に送出する。
【００５３】さらに、動き補償器５は、動きベクトル検
出器４から第３のマクロブロックデータに対する逆方向
の動きベクトルと逆方向予測符号化を表す予測モードデ
ータとが与えられると、このときにも動き補償処理を実
行して参照用フレームメモリ１３から第３のマクロブロ
ックデータよりも逆方向側（時間的に未来）の第１又は
第２のフレーム画像データを参照用として読み出し、当
該読み出した第１又は第２のフレーム画像データ内から
その逆方向の動きベクトルに基づいて第３のマクロブロ
ックデータと最も一致する演算用ブロックデータを抽出
してこれを演算器３及び加算器１２に送出する。
【００５４】これに加えて、動き補償器５は、動きベク
トル検出器４から第３のマクロブロックデータに対する
順方向及び逆方向の双方の動きベクトルと双方向予測符
号化を表す予測モードデータとが与えられたときにも動
き補償処理を実行して参照用フレームメモリ１３から第
３のマクロブロックデータよりも順方向側（時間的に過
去）の第１又は第２のフレーム画像データと逆方向側
（時間的に未来）の第１又は第２のフレーム画像データ
を参照用として読み出す。
【００５５】そして、動き補償器５は、順方向側の第１
又は第２のフレーム画像データ内から順方向の動きベク
トルに基づいて第３のマクロブロックデータと最も一致
する演算用ブロックデータを抽出すると共に、逆方向側
の第１又は第２のフレーム画像データ内から逆方向の動
きベクトルに基づいて第３のマクロブロックデータと最
も一致する演算用ブロックデータを抽出し、これら抽出
した２つの演算用ブロックデータを平均化して平均演算
用ブロックデータを生成してこれを演算器３及び加算器
１２に送出する。
【００５６】演算器３は、入力用フレームメモリ２から
読み出した第３のマクロブロックデータに対する予測モ
ードとしてフレーム内符号化が選択されたときには、動
き補償器５からは何らデータが与えられないことにより
当該第３のマクロブロックデータをそのまま離散コサイ
ン変換器７に送出する。
【００５７】これにより動画像符号化装置１において
は、第３のマクロブロックデータに対する予測モードと
してフレーム内符号化が選択されたときには、離散コサ
イン変換器７、量子化器８、可変長符号化器６、バッフ
ァ９、逆量子化器１０、逆離散コサイン変換器１１、加
算器１２及び参照用フレームメモリ１３をそれぞれ上述
した第１のマクロブロックデータを圧縮符号化するとき
と同様に動作させ、かくして第３のマクロブロックデー
タを量子化ステップ及び予測モードデータと共に可変長
符号化し、得られた符号化データを外部に出力すると共
に、圧縮した第３のマクロブロックデータを復号化して
参照用フレームメモリ１３に格納する。
【００５８】また、演算器３は、入力用フレームメモリ
２から読み出した第３のマクロブロックデータに対する
予測モードとして順方向予測符号化、逆方向予測符号化
及び双方向予測符号化が選択されたときには、動き補償
器５から与えられた演算用ブロックデータ又は平均演算
用ブロックデータを当該第３のマクロブロックデータか
ら減算し、得られた差分データを離散コサイン変換器７
に送出する。
【００５９】この場合、離散コサイン変換器７は、演算
器３から与えられる差分データを離散コサイン変換し、
得られた離散コサイン変換係数を量子化器８に送出す
る。
【００６０】量子化器８は、その離散コサイン変換係数
を上述した第１のマクロブロックデータを処理したとき
と同様に選定した対応する量子化ステップに基づいて量
子化し、得られた量子化係数をその量子化ステップと共
に可変長符号化器６及び逆量子化器１０に送出する。
【００６１】そして、可変長符号化器６は、量子化係数
の元になる第３のマクロブロックデータに対する予測モ
ードとして順方向予測符号化が選定されたときには、当
該量子化係数をハフマン符号等により可変長符号化する
と共に、対応する量子化ステップ及び予測モードデータ
（順方向予測符号化を表す）並びに順方向の動きベクト
ルも可変長符号化し、このようにして得られた符号化デ
ータをバッファ９を介して外部に出力する。
【００６２】また、可変長符号化器６は、量子化係数の
元になる第３のマクロブロックデータに対する予測モー
ドとして逆方向予測符号化が選定されたときには、当該
量子化係数をハフマン符号等により可変長符号化すると
共に、対応する量子化ステップ及び予測モードデータ
（逆方向予測符号化を表す）並びに逆方向の動きベクト
ルも可変長符号化し、このようにして得られた符号化デ
ータをバッファ９を介して外部に出力する。
【００６３】さらに、可変長符号化器６は、量子化係数
の元になる第３のマクロブロックデータに対する予測モ
ードとして双方向予測符号化が選定されたときには、当
該量子化係数をハフマン符号等により可変長符号化する
と共に、対応する量子化ステップ及び予測モードデータ
（双方向予測符号化を表す）並びに順方向及び逆方向の
双方の動きベクトルも可変長符号化し、このようにして
得られた符号化データをバッファ９を介して外部に出力
する。
【００６４】このとき、逆量子化器１０は、量子化器８
から与えられた量子化係数を同様に量子化器８から与え
られた量子化ステップに基づいて逆量子化し、得られた
離散コサイン変換係数を逆離散コサイン変換器１１に送
出する。
【００６５】また、逆離散コサイン変換器１１は、逆量
子化器１０から与えられた離散コサイン変換係数を逆離
散コサイン変換し、得られた差分データを加算器１２に
送出する。
【００６６】そして、加算器１２は、逆離散コサイン変
換器１１から与えられた差分データをこのとき動き補償
器５から与えられた演算用ブロックデータ又は平均演算
用ブロックデータと加算し、得られた第３のマクロブロ
ックデータを参照用フレームメモリ１３に送出して格納
する。
【００６７】このようにして動画像符号化装置１におい
ては、第３のフレーム画像データを順次第３のマクロブ
ロックデータ単位で圧縮符号化したときにも、参照用フ
レームメモリ１３内に第３のフレーム画像データを再構
築する。
【００６８】かくしてこの動画像符号化装置１において
は、動画像データを順次フレーム画像データ単位でＩピ
クチャ、Ｐピクチャ、当該Ｉピクチャ及びＰピクチャ
間、又は２つのＰピクチャ間に位置するＢピクチャの順
番を繰り返すようにして圧縮符号化し、得られた符号化
データを外部に出力し得るようになされている。
【００６９】ところでこのような動画像符号化装置１を
用いた動画像データの配信においては、インターネット
のデータ転送速度に合わせて動画像符号化装置１により
動画像データを比較的高い圧縮率で圧縮符号化する分、
ユーザに提供する動画像の画質（ノイズ等の有無を表す
度合い）が劣化しており、配信する動画像に対して高画
質化の要望が高まり始めている。
【００７０】このため、かかる動画像データの配信にお
いては、動画像符号化装置１に供給する動画像データか
ら予めフレーム画像データを所定間隔で間引いてフレー
ムレート（すなわち、動画像における単位時間当りのフ
レーム画像数）を変更した後に圧縮符号化する方法が提
案されている。
【００７１】かかる方法によれば、動画像データのフレ
ームレートを下げて単位時間当りに圧縮符号化すべきフ
レーム画像データの数を少なくする分、残りのフレーム
画像データを順次比較的低い圧縮率で圧縮符号化するこ
とによりユーザに提供する動画像を高画質化し得ると考
えられている。
【００７２】ところがこの方法によれば、動画像の絵柄
の変化に係わらずに動画像データから単に所定間隔でフ
レーム画像データを間引いていることにより、その間引
きによって残ったフレーム画像データ間において動画像
の絵柄が著しく変化したときにはこれに応じて圧縮率が
変化し、この結果、ユーザに提供する動画像の画質が変
動する問題があった。
【００７３】本発明は以上の点を考慮してなされたもの
で、所望の画質の動画像を適確に提供し得る動画像符号
化装置、動画像符号化方法、動画像符号化プログラム格
納媒体及び動画像符号化プログラムを提案しようとする
ものである。
【００７４】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、圧縮符号化手段により動画像デー
タを順次フレーム画像データ単位で圧縮符号化し、得ら
れた符号化データをバッファに一旦蓄積して出力しなが
ら、フレームレート変更手段により当該バッファのデー
タ蓄積量に応じて動画像データのフレームレートを変更
するようにした。
【００７５】従って、動画像データに基づく動画像の絵
柄の変化に応じて単位時間当りに圧縮符号化すべきフレ
ーム画像データの数を適確に変更して圧縮率を安定させ
ることができ、この結果、動画像の画質を安定させるこ
とができる。
【００７６】
【発明の実施の形態】以下、図面について、本発明の一
実施の形態を詳述する。
【００７７】（１）動画像データ配信システムにおける
動画像データの配信形態 図１に示すように、動画像データ配信システム２０にお
いては、送信側にＩＳＯ／ＩＥＣ（International Orga
nization for Standardization/InternationalElectrot
echnical Commission）等の機関によって規格化された
ＭＰＥＧ４（Moving Picture Experts Group phase 4）
と呼ばれる圧縮符号化方式を適用した動画像符号化装置
２１が設けられている。
【００７８】このＭＰＥＧ４方式では、ＭＰＥＧ２方式
とほぼ同様に動画像データを順次フレーム画像データ単
位で圧縮符号化するように規定されると共に、これに加
えて動画像データのフレームレート（すなわち、動画像
における単位時間当りのフレーム画像数）を変更し得る
ように規定されている。
【００７９】また、このＭＰＥＧ４方式では、動画像の
連続するフレーム画像から任意形状の画像を追跡しなが
ら抽出し、当該抽出した画像（以下、これを抽出画像と
呼ぶ）のデータ（以下、これを抽出画像データと呼ぶ）
を順次圧縮符号化し得るように規定されている。
【００８０】従って、この動画像データ配信システム２
０においては、送信側でビデオカメラ２２を用いて被写
体を撮像することにより得られた動画像データを動画像
符号化装置２１に取り込み、当該動画像符号化装置２１
においてその動画像データをフレームレートを適宜変更
しながら圧縮符号化し、又は当該フレームレートを適宜
変更しながら動画像データから抽出画像データを抽出し
て圧縮符号化し、得られた符号化ビットストリームをネ
ットワーク送信装置２３からインターネット２４を介し
て受信側のパーソナルコンピュータ２５に送信する。
【００８１】パーソナルコンピュータ２５は、ネットワ
ーク送信装置２３からインターネット２４を介して送信
された符号化ビットストリームを受信すると、当該受信
した符号化ビットストリームを復号化して表示部に送出
することにより当該表示部にフレームレートを変更した
動画像又は当該フレームレートを変更した動画像内の抽
出画像を表示する。
【００８２】かくしてこの動画像データ配信システム２
０においては、フレームレートを適宜変更しながら動画
像データを配信し、又は当該フレームレートを適宜変更
した動画像データから抽出画像データを抽出して配信す
ることによりパーソナルコンピュータ２５を介してユー
ザに高画質化した動画像又は同様に高画質化した抽出画
像を見せることができるようになされている。
【００８３】（２）第１の実施の形態 図２において、３０は全体として第１の実施の形態によ
る動画像符号化装置を示し、被写体（図示せず）を撮像
している外部のビデオカメラ（図示せず）から供給され
る動画像データＤ１を順次フレーム画像データ単位で、
フレームレート変更処理部３１に設けられた複数フレー
ム分の記録容量を有する入力用フレームメモリ３２に取
り込む。
【００８４】この場合、フレームレート変更処理部３１
のフレーム構造変換器３３は、図３に示すように、入力
用フレームメモリ３２にフレーム画像データを取り込む
毎に当該取り込んだフレーム画像データに例えばＩピク
チャ及びＰピクチャのピクチャタイプを１つのＩピクチ
ャと所定数のＰピクチャとが順次交互に連続するような
順番で割り当てると共に、そのＩピクチャ及びＰピクチ
ャを表すピクチャタイプとこれらを割り当てたフレーム
画像データ固有のフレーム識別情報とをピクチャ情報と
して入力用フレームメモリ３２に記録する。
【００８５】動きベクトル検出処理部３４の動きベクト
ル検出器３５は、入力用フレームメモリ３２内でフレー
ム画像データにＩピクチャが割り当てられたときには、
当該Ｉピクチャの割り当てられたフレーム画像データ
（以下、これを第１のフレーム画像データと呼ぶ）のピ
クチャ情報を読み出す。
【００８６】そして、動きベクトル検出器３５は、その
ピクチャ情報に基づいて第１のフレーム画像データのフ
レーム識別情報を符号化対象フレーム識別情報として表
し、かつ当該第１のフレーム画像データを順次マクロブ
ロック単位のデータ（以下、これを第１のマクロブロッ
クデータと呼ぶ）Ｄ２としてフレーム内符号化により圧
縮符号化することを表す予測モードデータＤ３を生成
し、当該生成した予測モードデータＤ３を動きベクトル
バッファ３６に送出して蓄積する。
【００８７】また、動きベクトル検出器３５は、入力用
フレームメモリ３２内でフレーム画像データにＰピクチ
ャが割り当てられたときには、当該Ｐピクチャの割り当
てられたフレーム画像データ（以下、これを第２のフレ
ーム画像データと呼ぶ）のピクチャ情報を読み出す。
【００８８】そして、動きベクトル検出器３５は、その
ピクチャ情報に基づいて対応する第２のフレーム画像デ
ータのフレーム識別情報を符号化対象フレーム識別情報
として表し、かつ当該第２のフレーム画像データを順次
マクロブロック単位のデータ（以下、これを第２のマク
ロブロックデータと呼ぶ）Ｄ４として順方向予測符号化
により圧縮符号化することを表す予測モードデータＤ５
を生成する。
【００８９】これに加えて動きベクトル検出器３５は、
このとき入力用フレームメモリ３２から第２のフレーム
画像データを順次第２のマクロブロックデータＤ４単位
で読み出すと共に、当該第２のフレーム画像データと順
方向側（時間的に過去）で隣接する第１又は第２のフレ
ーム画像データＤ６を参照用として読み出す。
【００９０】そして、動きベクトル検出器３５は、ブロ
ックマッチング法により第２のマクロブロックデータＤ
４を参照用の第１又は第２のフレーム画像データＤ６の
所定のサーチ範囲内で複数の比較用ブロックデータと順
次対応付けながら、当該第２のマクロブロックデータＤ
４内の各画素の画素値と比較用ブロックデータのそれぞ
れ対応する画素の画素値との差分の絶対値の総和（以
下、これを予測誤差と呼ぶ）を算出する。
【００９１】これにより動きベクトル検出器３５は、第
２のマクロブロックデータＤ４と各比較用ブロックデー
タとの間で順次算出した予測誤差のうち最も値の小さい
予測誤差（以下、これを特に最小予測誤差）を選定す
る。
【００９２】動きベクトル検出器３５は、その最小予測
誤差を算出したときに用いた比較用ブロックデータ（以
下、これを近似ブロックデータと呼ぶ）を第２のマクロ
ブロックデータＤ４と最も一致するものとして検出し、
当該検出した近似ブロックデータと第２のマクロブロッ
クデータＤ４との動き量によりその第２のマクロブロッ
クデータＤ４の動きベクトルＤ７を検出する。
【００９３】かくして動きベクトル検出器３５は、入力
用フレームメモリ３２内の第２のフレーム画像データに
対して予測モードデータＤ５を生成すると共に、当該第
２のフレーム画像データ内における各第２のマクロブロ
ックデータＤ４の動きベクトルＤ７を検出すると、これ
ら予測モードデータＤ５及び各動きベクトルＤ７を対応
付けて動きベクトルバッファ３６に送出して蓄積する。
【００９４】このようにして動きベクトル検出器３５
は、入力用フレームメモリ３２にフレーム画像データが
順次取り込まれてＩピクチャ及びＰピクチャが割り当て
られると、その都度同様にして予測モードデータＤ３、
Ｄ５を生成し、又は各第２のマクロブロックデータＤ４
の動きベクトルＤ７を検出してこれらを動きベクトルバ
ッファ３６に送出して蓄積する。
【００９５】圧縮符号化部３７は、動きベクトル検出器
３５により入力用フレームメモリ３２内の先頭の第１の
フレーム画像データから順番に所定フレーム数分のフレ
ーム画像データに対する予測モードデータＤ３、Ｄ５が
生成され、又は各第２のマクロブロックデータＤ４の動
きベクトルＤ７が検出されると第１及び第２のフレーム
画像データに対する圧縮符号化を開始する。
【００９６】実際上、圧縮符号化部３７において第１及
び第２のフレーム画像データの圧縮符号化を開始する
と、演算器３８は入力用フレームメモリ３２から先頭の
第１のフレーム画像データを順次第１のマクロブロック
データＤ２単位で読み出す。
【００９７】動き補償器３９は、第１及び第２のフレー
ム画像データに対する圧縮符号化を開始すると、動きベ
クトルバッファ３６から予測モードデータＤ３と、予測
モードデータＤ５及び動きベクトルＤ７とを当該第１及
び第２のフレーム画像データに対する圧縮符号化の順番
に従って読み出し始め、演算器３８により入力用フレー
ムメモリ３２から第１のマクロブロックデータＤ２が読
み出されたときには、動きベクトルバッファ３６から読
み出した対応する予測モードデータＤ３（フレーム内符
号化を表す）に基づいて当該第１のマクロブロックデー
タＤ２に対する動き補償処理を停止する。
【００９８】従って、演算器３８は、入力用フレームメ
モリ３２から第１のマクロブロックデータＤ２を読み出
すと、このとき動き補償器３９からは何らデータが与え
られないことにより当該第１のマクロブロックデータＤ
２をそのまま離散コサイン変換器４０に送出する。
【００９９】離散コサイン変換器４０は、演算器３８か
ら与えられた第１のマクロブロックデータＤ２を離散コ
サイン変換し、得られた離散コサイン変換係数Ｋ１を量
子化器４１に送出する。
【０１００】量子化器４１は、出力段に設けられたバッ
ファ４２における符号化データの蓄積量（以下、これを
データ蓄積量と呼ぶ）ＤＲを所定周期で検出し、当該検
出したデータ蓄積量ＤＲに応じて量子化ステップＳＴを
選定する。
【０１０１】これにより量子化器４１は、離散コサイン
変換器４０から与えられた離散コサイン変換係数Ｋ１を
対応する量子化ステップＳＴに基づいて量子化し、得ら
れた量子化係数Ｋ２をその量子化に用いた量子化ステッ
プＳＴと共に可変長符号化器４３及び逆量子化器４４に
送出する。
【０１０２】可変長符号化器４３は、第１及び第２のフ
レーム画像データに対する圧縮符号化を開始すると、動
きベクトルバッファ３６から予測モードデータＤ３と、
予測モードデータＤ５及び動きベクトルＤ７とを当該第
１及び第２のフレーム画像データに対する圧縮符号化の
順番に従って読み出し始めており、量子化器４１から与
えられた量子化係数Ｋ２をハフマン符号等により可変長
符号化すると共に、当該量子化器４１から与えられた量
子化ステップＳＴ及び動きベクトルバッファ３６から読
み出した対応する予測モードデータＤ３を可変長符号化
し、得られた符号化データＤ１０をバッファ４２に一旦
蓄積することにより符号化データ量を平滑化した符号化
ビットストリームＢＳ１として外部に出力する。
【０１０３】このようにして画像符号化装置３０におい
ては、入力用フレームメモリ３２内の第１のフレーム画
像データを順次第１のマクロブロックデータＤ２単位で
フレーム内符号化により圧縮符号化し得るようになされ
ている。
【０１０４】また、逆量子化器４４は、量子化器４１か
ら与えられた量子化係数Ｋ２を同様に量子化器４１から
与えられた量子化ステップＳＴに基づいて逆量子化し、
得られた離散コサイン変換係数Ｋ３を逆離散コサイン変
換器４５に送出する。
【０１０５】逆離散コサイン変換器４５は、逆量子化器
４４から与えられた離散コサイン変換係数Ｋ３を逆離散
コサイン変換し、得られた第１のマクロブロックデータ
Ｄ１１を加算器４６に送出する。
【０１０６】加算器４６は、逆離散コサイン変換器４５
から第１のマクロブロックデータＤ１１が与えられる
と、このとき動き補償器３９からは何らデータが与えら
れていないことにより当該第１のマクロブロックデータ
Ｄ１１をそのまま複数フレーム分の記録容量を有する参
照用フレームメモリ４７に送出して格納する。
【０１０７】このようにして加算器４６は、第１のフレ
ーム画像データの圧縮符号化により逆離散コサイン変換
器４５から第１のマクロブロックデータＤ１１が順次与
えられる毎に当該第１のマクロブロックデータＤ１１を
そのまま参照用フレームメモリ４７に送出して格納する
ことにより、参照用フレームメモリ４７内にこれら第１
のマクロブロックデータＤ１１によって動き補償処理の
参照用となる第１のフレーム画像データを再構築する。
【０１０８】また、演算器３８は、入力用フレームメモ
リ３２から第１のフレーム画像データ内の全ての第１の
マクロブロックデータＤ２を読み出すと、当該入力用フ
レームメモリ３２内の第２のフレーム画像データを符号
化対象として順次第２のマクロブロックデータＤ４単位
で読み出す。
【０１０９】このとき動き補償器３９は、動きベクトル
バッファ３６から読み出した対応する予測モードデータ
Ｄ５（順方向予測符号化を表す）に基づいて動き補償処
理を実行して参照用フレームメモリ４７からこの時点に
符号化対象となっている第２のフレーム画像データと順
方向側（時間的に過去）で隣接する第１又は第２のフレ
ーム画像データを参照用として読み出す。
【０１１０】そして、動き補償器３９は、動きベクトル
バッファ３６から与えられた対応する第２のマクロブロ
ックデータＤ４の動きベクトルＤ７に基づいて参照用の
第１又は第２のフレーム画像データ内から当該第２のマ
クロブロックデータＤ４と最も一致する演算用ブロック
データＤ１２を抽出してこれを演算器３８及び加算器４
６に送出する。
【０１１１】従って、演算器３８は、入力用フレームメ
モリ３２から第２のマクロブロックデータＤ４を読み出
すと、このとき動き補償器３９から与えられた演算用マ
クロブロックデータＤ１２を当該第２のマクロブロック
データＤ４から減算し、得られた差分データＤ１３を離
散コサイン変換器４０に送出する。
【０１１２】この場合、離散コサイン変換器４０は、演
算器３８から与えられた差分データＤ１３を離散コサイ
ン変換し、得られた離散コサイン変換係数Ｋ４を量子化
器４１に送出する。
【０１１３】また、量子化器４１は、離散コサイン変換
器４０から与えられた離散コサイン変換係数Ｋ４を上述
した第１のマクロブロックデータを処理したときと同様
に選定した対応する量子化ステップＳＴに基づいて量子
化し、得られた量子化係数Ｋ５をその量子化ステップＳ
Ｔと共に可変長符号化器４３及び逆量子化器４４に送出
する。
【０１１４】これにより可変長符号化器４３は、量子化
器４１から与えられた量子化係数Ｋ５をハフマン符号等
により可変長符号化すると共に、当該量子化器４１から
与えられた量子化ステップＳＴと動きベクトルバッファ
３６から読み出した対応する予測モードデータＤ５及び
動きベクトルＤ７も可変長符号化し、得られた符号化デ
ータＤ１４をバッファ４２に一旦蓄積することにより符
号化データ量を平滑化した符号化ビットストリームＢＳ
１として外部に出力する。
【０１１５】このようにして画像符号化装置３０におい
ては、入力用フレームメモリ３２内の第２のフレーム画
像データを順次第２のマクロブロックデータＤ４単位で
順方向予測符号化により圧縮符号化し得るようになされ
ている。
【０１１６】このとき、逆量子化器４４は、量子化器４
１から与えられた量子化係数Ｋ５を同様に量子化器４１
から与えられた量子化ステップＳＴに基づいて逆量子化
し、得られた離散コサイン変換係数Ｋ６を逆離散コサイ
ン変換器４５に送出する。
【０１１７】また、逆離散コサイン変換器４５は、逆量
子化器４４から与えられた離散コサイン変換係数Ｋ６を
逆離散コサイン変換し、得られた差分データＤ１５を加
算器４６に送出する。
【０１１８】加算器４６は、逆離散コサイン変換器４５
から差分データＤ１５が与えられると、このとき動き補
償器３９から演算用ブロックデータＤ１３が与えられて
いることにより当該差分データＤ１５と演算用ブロック
データＤ１３とを加算し、得られた第２のマクロブロッ
クデータＤ１６を参照用フレームメモリ４７に送出して
格納する。
【０１１９】このようにして加算器４６は、第２のフレ
ーム画像データの圧縮符号化により逆離散コサイン変換
器４５から差分データＤ１５が与えられる毎に当該差分
データＤ１５と、これに対応する演算用ブロックデータ
Ｄ１３とを加算して第２のマクロブロックデータＤ１６
を生成し、当該生成した第２のマクロブロックデータＤ
１６を参照用フレームメモリ４７に送出して格納するこ
とによりその参照用フレームメモリ４７内にこれら第２
のマクロブロックデータＤ１６によって動き補償処理の
参照用となる第２のフレーム画像データを再構築する。
【０１２０】かくしてこの動画像符号化装置３０におい
ては、図４に示すように、動画像データＤ１を順次フレ
ーム画像データ単位でＩピクチャについてはフレーム内
予測符号化により圧縮符号化すると共に、Ｐピクチャに
ついては時間的に１フレーム分過去のＩピクチャ又はＰ
ピクチャを用いた順方向予測符号化により圧縮符号化
し、得られた符号化ビットストリームＢＳ１を外部に出
力し得るようになされている。
【０１２１】かかる構成に加えて、この動画像符号化装
置３０（図２）の場合、動きベクトル検出器３５は、１
フレーム分の各第２のマクロブロックデータＤ４に対す
る動きベクトルＤ７を検出する毎に、これら各第２のマ
クロブロックデータＤ４と参照用の第１又は第２のフレ
ーム画像データＤ６との間で算出した予測誤差を利用し
て、符号化対象の第２のフレーム画像データの各画素の
画素値と参照用の第１又は第２のフレーム画像データＤ
６の対応する画素の画素値との差分の絶対値の総和（以
下、これをフレーム間相関値と呼ぶ）ＳＨ１を算出し、
当該算出したフレーム間相関値ＳＨ１をフレーム構造変
換器３３に送出する。
【０１２２】これによりフレーム構造変換器３３は、動
きベクトル検出器３５から与えられたフレーム間相関値
ＳＨ１に基づいて、符号化対象の第１及び第２のフレー
ム画像データを、それぞれ配信先で動画像が所望の画質
となるように選定された圧縮率（以下、これを選定圧縮
率と呼ぶ）で圧縮符号化することにより得られる符号化
データＤ１０及びＤ１４のデータ量（以下、これを符号
化予測データ量と呼ぶ）を予測する。
【０１２３】そして、フレーム構造変換器３３は、符号
化対象の第１及び第２のフレーム画像データに対する圧
縮符号化を開始すると、バッファ４２におけるデータ蓄
積量ＤＲを例えば１フレーム分の第１及び第２のフレー
ム画像データを圧縮符号化する毎の所定周期で検出する
と共に、当該検出したデータ蓄積量ＤＲを順次予め設定
された所定の第１の閾値及び当該第１の閾値よりも小さ
い第２の閾値と比較する。
【０１２４】この結果、フレーム構造変換器３３は、デ
ータ蓄積量ＤＲが第１の閾値から第２の閾値までの範囲
内の値であれば、当該データ蓄積量ＤＲを検出した時点
で圧縮符号化している第１又は第２のフレーム画像デー
タに続いて符号化対象となる第１又は第２のフレーム画
像データをほぼ選定圧縮率で圧縮符号化し得ると判断
し、動画像データＤ１のフレームレートをそのまま変更
しないようにする。
【０１２５】これに対してフレーム構造変換器３３は、
データ蓄積量ＤＲが第１の閾値よりも大きいときには、
当該データ蓄積量ＤＲを検出した時点で圧縮符号化して
いる第１又は第２のフレーム画像データに続いて符号化
対象となる第１又は第２のフレーム画像データを選定圧
縮率よりも高い圧縮率で圧縮符号化して符号化データ量
を低減させることにより配信先で動画像の画質が低下す
ると判断する。
【０１２６】このとき、フレーム構造変換器３３は、こ
の時点で圧縮符号化している第１又は第２のフレーム画
像データに続いて符号化対象となる所定フレーム数分の
第１及び第２のフレーム画像データに対する符号化予測
データ量と、バッファ４２から出力される符号化ビット
ストリームＢＳ１のビットレートとに基づいて当該所定
フレーム数分の第１及び第２のフレーム画像データを選
定圧縮率で圧縮符号化するときのデータ蓄積量ＤＲを推
定する。
【０１２７】そして、フレーム構造変換器３３は、その
推定したデータ蓄積量ＤＲと、第１及び第２の閾値とに
基づいて所定フレーム数分の第１及び第２のフレーム画
像データから１又は複数の第２のフレーム画像データを
選定し、当該選定した第２のフレーム画像データを入力
フレームメモリ３２内から読出不可能な状態にして間引
くことにより動画像データＤ１のフレームレートを下げ
て変更する。
【０１２８】従って、フレーム構造変換器３２は、動画
像データＤ１に基づく動画像の絵柄が急激に変化する等
して第１又は第２のフレーム画像データから得られる符
号化データ量と共にデータ蓄積量ＤＲが増加したときで
も、当該増加したデータ蓄積量ＤＲに基づいて動画像デ
ータＤ１のフレームレートを下げることにより単位時間
当りに圧縮符号化すべき第１及び第２のフレーム画像デ
ータの数を減らしてデータ蓄積量ＤＲが急激に増加する
ことを防止し、この結果、圧縮率が急激に高くなること
を未然に防止して動画像の画質が急激に劣化することを
防止し得るようになされている。
【０１２９】これに加えて、フレーム構造変換器３３
は、このように動画像データＤ１のフレームレートを下
げるときに所定フレーム数分の第１及び第２のフレーム
画像データの符号化予測データ量を用いることにより、
当該動画像データＤ１に基づく動画像において絵柄が複
数フレームに渡って比較的激しく動くようなとき（すな
わち、連続する第１及び第２のフレーム画像データ間の
フレーム間相関値ＳＨ１が比較的低いとき）でも、予め
単位時間当りに圧縮符号化すべき第１及び第２のフレー
ム画像データの数を低減させる分、圧縮率が複数フレー
ムに渡って比較的高くなることを未然に防止して動画像
の画質が複数フレームに渡って劣化することを防止し得
るようになされている。
【０１３０】またフレーム構造変換器３３は、このよう
に動画像データＤ１のフレームレートを低下させても、
バッファ４２のデータ蓄積量ＤＲを検出しており、当該
検出したデータ蓄積量ＤＲが第２の閾値よりも小さいと
きには、符号化対象の第１及び第２のフレーム画像デー
タを増やして圧縮符号化しても配信先で動画像に対する
所望の画質を維持し得ると判断する。
【０１３１】このとき、フレーム構造変換器３３は、現
時点で圧縮符号化している第１又は第２のフレーム画像
データに続いて符号化対象となる所定フレーム数分の第
１及び第２のフレーム画像データ（間引きによって残っ
ている第１及び第２のフレーム画像データ）及び当該所
定フレーム数分の第１及び第２のフレーム画像データ間
からすでに間引いている１又は複数の第２のフレーム画
像データの符号化予測データ量と、バッファ４２から出
力される符号化ビットストリームＢＳ１のビットレート
とに基づいてこれら所定フレーム数分の第１及び第２の
フレーム画像データ及びすでに間引いている第２のフレ
ーム画像データを選定圧縮率で圧縮符号化するときのデ
ータ蓄積量ＤＲを推定する。
【０１３２】そして、フレーム構造変換器３３は、その
推定したデータ蓄積量ＤＲと、第１及び第２の閾値とに
基づいて、所定フレーム数分の第１及び第２のフレーム
画像データ間からですでに間引いている第２のフレーム
画像データのうち間引きを取り消す１又は複数の第２の
フレーム画像データを選定し、当該選定した第２のフレ
ーム画像データを入力フレームメモリ３２内から読出可
能な状態にして間引きを取り消すことにより動画像デー
タＤ１の低下させていたフレームレートを予め規定され
ているフレームレートを上回らないように上げて変更す
る。
【０１３３】従って、フレーム構造変換器３３は、動画
像データＤ１に基づく動画像の絵柄の変化が急激に減少
する等して第１又は第２のフレーム画像データから得ら
れる符号化データ量と共にデータ蓄積量ＤＲが低下した
ときでも、当該低下したデータ蓄積量ＤＲに基づいて動
画像データＤ１のフレームレートを上げて単位時間当り
に圧縮符号化すべき第１及び第２のフレーム画像データ
の数を増加させることによりデータ蓄積量ＤＲを第１及
び第２の閾値の範囲内で増加させることができ、かくし
て動画像データＤ１のフレーム画像データを必要以上に
間引いて動画像の画質が所望の画質よりも高くなって変
動することを防止し得るようになされている。
【０１３４】これに加えて、フレーム構造変換器３３
は、このように動画像データＤ１のフレームレートを上
げるときに所定フレーム数分の第１及び第２のフレーム
画像データ及び当該所定フレーム数分の第１及び第２の
フレーム画像データ間からすでに間引いている第２のフ
レーム画像データの符号化予測データ量を用いることに
より、当該動画像データＤ１に基づく動画像において絵
柄の変化が複数フレームに渡って比較的安定しているよ
うなとき（すなわち、連続するフレーム画像データ間の
フレーム間相関値ＳＨ１が比較的高いとき）でも、予め
単位時間当りに圧縮符号化すべき第１及び第２のフレー
ム画像データの数を増やして動画像データＤ１を複数フ
レーム画像データに渡って必要以上に間引くことを防止
し得るようになされている。
【０１３５】実際上、フレーム構造変換器３３は、図５
（Ａ）乃至（Ｃ）に示すように、動画像データＤ１のフ
レームレートを下げるときには、第１のフレーム画像デ
ータを残すことにより符号化ビットストリームＢＳ１の
復号化時に動画像データＤ１を適確に復号化させ得るよ
うになされている。
【０１３６】また、フレーム構造変換器３３は、フレー
ムレートの変更に伴い動画像データＤ１から複数のフレ
ーム画像データを間引くときには、例えば第２のフレー
ム画像データを１フレームおきに間引くことにより動画
像データＤ１に基づく動画像の連続性が著しく損なわれ
ることを防止し得るようになされている。
【０１３７】ところで、動画像データＤ１から第２のフ
レーム画像データを間引くと、当該間引いた第２のフレ
ーム画像データと逆方向側（時間的に未来）で隣接して
いた残りの第２のフレーム画像データについては、その
間引いた第２のフレーム画像データを参照用として用い
て各マクロブロックデータＤ４の動きベクトルを検出し
ていることにより動きベクトルの再検出が必要となる。
【０１３８】このため、フレーム構造変換器３３は、動
画像データＤ１の連続する第１及び第２のフレーム画像
データから１フレームおきに１又は複数の第２のフレー
ム画像データを間引くと、当該間引いた第２のフレーム
画像データ（以下、これを特に間引きフレーム画像デー
タと呼ぶ）のフレーム識別情報（以下、これを特に間引
きフレーム識別情報と呼ぶ）と、この間引きにより各マ
クロブロックデータＤ４の動きベクトルの再検出が必要
となる第２のフレーム画像データ（以下、これを特に再
検出フレーム画像データと呼ぶ）のフレーム識別情報
（以下、これを特に再検出フレーム識別情報と呼ぶ）と
を表すと共に、間引きによる動きベクトルの再検出が必
要となることを表す動きベクトル再検出フラグＦＧ１を
生成してこれを動きベクトル再検出器４８に送出する。
【０１３９】これにより動きベクトル再検出器４８は、
図５（Ｃ）に示すように、フレーム構造変換器３３から
動きベクトル再検出フラグＦＧ１が与えられると、入力
用フレームメモリ３２から当該動きベクトル再検出フラ
グＦＧ１によって指定された再検出フレーム識別情報の
示す再検出フレーム画像データのピクチャ情報を読み出
すことにより、当該読み出したピクチャ情報に基づいて
再検出フレーム画像データのフレーム識別情報を表し、
かつ当該再検出フレーム画像データを順次第２のマクロ
ブロックデータＤ４単位で順方向予測符号化により圧縮
符号化することを表す予測モードデータＤ５を生成す
る。
【０１４０】また、動きベクトル再検出器４８は、この
とき入力用フレームメモリ３２から動きベクトル再検出
フラグＦＧ１によって指定された再検出フレーム識別情
報の示す再検出フレーム画像データを順次第２のマクロ
ブロックデータＤ４単位で読み出すと共に、当該再検出
フレーム画像データと間引きにより順方向側で新たに隣
接する第１又は第２のフレーム画像データＤ６を参照用
として読み出す。
【０１４１】そして、動きベクトル再検出器４８は、上
述した動きベクトル検出器３５と同様にブロックマッチ
ング法により第２のマクロブロックデータＤ４を参照用
の第１又は第２のフレーム画像データＤ６の所定のサー
チ範囲内で複数の比較用ブロックデータと順次対応付け
ながら最小予測誤差となる近似ブロックデータを検出
し、当該検出した近似ブロックデータと第２のマクロブ
ロックデータＤ４との動き量によりその第２のマクロブ
ロックデータＤ４の動きベクトルＤ１７を検出する。
【０１４２】このようにして動きベクトル再検出器４８
は、再検出フレーム画像データに対して予測モードデー
タＤ５を生成すると共に、当該再検出フレーム画像デー
タ内における各第２のマクロブロックデータＤ４の動き
ベクトルＤ１７を検出すると、これら予測モードデータ
Ｄ５及び各動きベクトルＤ１７を対応付けて動きベクト
ルバッファ３６に送出して蓄積することにより、この後
動きベクトルバッファ３６からこれら予測モードデータ
Ｄ５及び各動きベクトルＤ１７を動き補償器３９及び可
変長符号化器４３によって読出可能な状態にする。
【０１４３】これに加えて、動きベクトル再検出器４８
は、動きベクトルバッファ３６に予測モードデータＤ５
及び各動きベクトルＤ１７を蓄積すると、動きベクトル
再検出フラグＦＧによって指定された再検出フレーム識
別情報及び間引きフレーム識別情報に基づいて、動きベ
クトルバッファ３６内から再検出フレーム画像データに
対する再検出前の予測モードデータＤ５及び動きベクト
ルＤ７と、間引きフレーム画像データの予測モードデー
タＤ５及び動きベクトルＤ７とを読出不可能な状態にす
る。
【０１４４】また、フレーム構造変換器３３は、動画像
データＤ１のフレームレートを上げることにより、間引
きフレーム画像データの間引きを取り消すときには、当
該間引きフレーム画像データの間引きによって動きベク
トルを再検出した再検出フレーム画像データの再検出フ
レーム識別情報と、その間引きを取り消す間引きフレー
ム画像データの間引きフレーム識別情報とを表すと共
に、間引きの取り消しを表す動きベクトル再検出フラグ
ＦＧ２を生成してこれを動きベクトル再検出器４８に送
出する。
【０１４５】これにより動きベクトル再検出器４８は、
フレーム構造変換器３３から動きベクトル再検出フラグ
ＦＧ２が与えられると、当該動きベクトル再検出フラグ
ＦＧ２によって指定された再検出フレーム識別情報及び
間引き取消フレーム識別情報に基づいて、動きベクトル
バッファ３６内から再検出フレーム画像データに対して
再検出した予測モードデータＤ５及び動きベクトルＤ１
７を読出不可能な状態とし、かつ再検出フレーム画像デ
ータに対する再検出前の予測モードデータＤ５及び動き
ベクトルＤ７と間引きフレーム画像データの予測モード
データＤ５及び動きベクトルＤ７とを読出可能な状態に
する。
【０１４６】このようにして動きベクトル再検出器４８
は、動画像データＤ１のフレームレートを変更したとき
でも各第１及び第２のフレーム画像データを動きベクト
ルＤ７、Ｄ１７を用いて適確に圧縮符号化させ得るよう
になされている。
【０１４７】ここで、この動画像符号化装置３０のフレ
ームレート変更処理部３１と動きベクトル検出処理部３
４と符号化部３７とによる動画像データＤ１の圧縮符号
化処理手順についてまとめてみると、図６（Ａ）及び図
７（Ａ）に示すように、まず動きベクトル検出処理部３
４においては、ルーチンＲＴ１の開始ステップから入っ
てステップＳＰ１に移る。
【０１４８】ステップＳＰ１において動きベクトル検出
処理部３４は、動きベクトル検出回路３５により入力用
フレームメモリ３２から第２のフレーム画像データを順
次第２のマクロブロックデータＤ４単位で読み出すと共
に、当該第２のフレーム画像データに対する参照用の第
１又は第２のフレーム画像データＤ６を読み出し、ブロ
ックマッチング法により参照用の第１又は第２のフレー
ム画像データを用いてこれら各第２のマクロブロックデ
ータＤ４の動きベクトルＤ７を検出し、当該検出した動
きベクトルＤ７を動きベクトルバッファ３６に蓄積する
ようにして１フレーム分の各第２のマクロブロックデー
タＤ４の動きベクトルＤ７を検出すると、ステップＳＰ
２に移る。
【０１４９】ステップＳＰ２において動きベクトル検出
処理部３４は、動きベクトル検出器３５により、各第２
のマクロブロックデータＤ４の動きベクトルＤ７を検出
する際に算出した予測誤差を用いてこれら各第２のマク
ロブロックデータＤ４を切り出した第２のフレーム画像
データと参照用の第１又は第２のフレーム画像データＤ
６との間のフレーム間相関値ＳＨ１を算出し、当該算出
したフレーム間相関値ＳＨ１をフレーム構造変換器３３
に送出してステップＳＰ３に移る。
【０１５０】ステップＳＰ３において動きベクトル検出
処理部３４は、動きベクトル再検出器４８により動画像
データＤ１のフレームレートが変更されたか否かを判断
する。
【０１５１】このステップＳＰ３において否定結果を得
ることは、未だ動画像データＤ１の第１及び第２のフレ
ーム画像データに対する圧縮符号化が開始されていな
い、又は当該第１及び第２のフレーム画像データを順次
選定圧縮率で圧縮符号化していることを意味し、このと
き動きベクトル検出処理部３４は、動きベクトル再検出
器４８による動きベクトルの再検出処理を実行せずにス
テップＳＰ１に戻り、この後動画像データＤ１のフレー
ムレートが変更されるまでの間はステップＳＰ１−ＳＰ
２−ＳＰ３の処理ループを繰り返すことにより順次第２
のフレーム画像データにおける各第２のマクロブロック
データＤ４の動きベクトルＤ７を検出すると共に、その
第２のフレーム画像データと参照用の第１又は第２のフ
レーム画像データＤ６との間におけるフレーム間相関値
ＳＨ１を算出する。
【０１５２】このとき、図６（Ｂ）に示すように、圧縮
符号化部３７は、ルーチンＲＴ２の開始ステップから入
ってステップＳＰ１１に移り、例えば演算器３８により
動きベクトル検出処理部３４（実際には動きベクトル検
出器３５）において所定フレーム数分の第２のフレーム
画像データに対する各第２マクロブロックデータＤ４の
動きベクトルＤ７が検出されることを待ち受けており、
当該所定フレーム数分の第２のフレーム画像データに対
する各マクロブロックデータＤ４の動きベクトルＤ７が
検出されると、ステップＳＰ１２に移る。
【０１５３】ステップＳＰ１２において圧縮符号化部４
０は、入力用フレームメモリ３２内の第１及び第２のフ
レーム画像データに対する圧縮符号化を開始し、演算器
３８、離散コサイン変換器４０、量子化器４１及び可変
長符号化器４３により第１のフレーム画像データをフレ
ーム内符号化により圧縮符号化して得られた符号化デー
タＤ１０をバッファ４２に一旦蓄積し、又は第２のフレ
ーム画像データを動きベクトルバッファ３６から読み出
した動きベクトルＤ７を用いて順方向予測符号化により
圧縮符号化して得られた符号化データＤ１４をバッファ
４２に一旦蓄積すると共に、圧縮符号化した第１又は第
２のフレーム画像データを逆量子化器４４、逆離散コサ
イン変換器４５、加算器４６及び動き補償器３９により
参照用フレームメモリ４７内に動き補償処理の参照用と
して再構築してステップＳＰ１３に移る。
【０１５４】ステップＳＰ１３において圧縮符号化部３
７は、バッファ４２に一旦蓄積した符号化データＤ１０
及びＤ１４の符号化データ量を平滑化することによりこ
れら符号化データＤ１０及びＤ１４を符号化ビットスト
リームＢＳ１として外部に出力してステップＳＰ１４に
移る。
【０１５５】ステップＳＰ１４において圧縮符号化部３
７は、演算器３８による入力用フレームメモリ３２から
の第１及び第２のフレーム画像データの読み出し状況に
応じて符号化対象の第１及び第２のフレーム画像データ
を全て圧縮符号化したか否かを判断し、未だ符号化対象
の第１及び第２のフレーム画像データを全て圧縮符号化
していなければ、ステップＳＰ１２に戻ってこの後符号
化対象の第１及び第２のフレーム画像データを全て圧縮
符号化するまでの間はステップＳＰ１２−ＳＰ１３−Ｓ
Ｐ１４の処理ループを繰り返すことにより当該符号化対
象の第１のフレーム画像データをフレーム内符号化によ
り圧縮符号化すると共に、符号化対象の第２のフレーム
画像データを動きベクトルバッファ３６から読み出した
動きベクトルＤ７を用いて順方向予測符号化により圧縮
符号化し、得られた符号化データＤ１０及びＤ１４を符
号化ビットストリームＢＳ１として出力する。
【０１５６】一方、図６（Ｃ）及び図７（Ｃ）に示すよ
うにに、フレームレート変更処理部３１は、ルーチンＲ
Ｔ３の開始ステップから入ってステップＳＰ２１に移
り、フレーム構造変換器３３により動きベクトル検出器
３５から与えられるフレーム間相関値ＳＨ１に基づいて
第１又は第２のフレーム画像データの符号化予測データ
量を予測してステップＳＰ２２に移る。
【０１５７】ステップＳＰ２２においてフレームレート
変更処理部３１は、フレーム構造変換器３３により第１
及び第２のフレーム画像データに対する圧縮符号化が開
始されたか否かを判断し、当該第１及び第２のフレーム
画像データの圧縮符号化が開始されるまでの間はステッ
プＳＰ２１−ＳＰ２２の処理ループを繰り返すことによ
り順次第１及び第２のフレーム画像データの符号化予測
データ量を予測する。
【０１５８】そして、フレームレート変更処理部３１
は、演算器３８により入力用フレームメモリ３２から第
１及び第２のフレーム画像データが順次第１及び第２の
マクロブロックデータＤ２及びＤ４単位で読み出される
ことにより圧縮符号化部３７において第１及び第２のフ
レーム画像データに対する圧縮符号化が開始されると、
ステップＳＰ２３に移る。
【０１５９】ステップＳＰ２３においてフレームレート
変更処理部３１は、フレーム構造変換器３３によりバッ
ファ４２のデータ蓄積量ＤＲを検出し、当該検出したデ
ータ蓄積量ＤＲを第１の閾値及び第２の閾値と比較する
ことによりそのデータ蓄積量ＤＲが第１の閾値から第２
の閾値までの範囲内の値であるか否かを判断する。
【０１６０】このステップＳＰ２３において肯定結果を
得ることは、この時点で圧縮符号化している第１又は第
２のフレーム画像データに続く第１又は第２のフレーム
画像データをほぼ選定圧縮率で圧縮符号化し得ることを
意味し、このときフレームレート変更処理部３１は、フ
レーム構造変換器３３により動画像データＤ１のフレー
ムレートをそのまま変更せずにステップＳＰ２１に戻
り、この後動画像データＤ１のフレームレートの変更が
必要となるまでの間はステップＳＰ２１−ＳＰ２２−Ｓ
Ｐ２３の処理ループを繰り返す。
【０１６１】またステップＳＰ２３において否定結果を
得ることは、データ蓄積量ＤＲが第１の閾値から第２の
閾値までの範囲外の値となって動画像データＤ１のフレ
ームレートを変更する必要があることを意味し、このと
きフレームレート変更処理部３１はステップＳＰ２４に
移る。
【０１６２】ステップＳＰ２４においてフレームレート
変更処理部３１は、フレーム構造変換器３３によりデー
タ蓄積量ＤＲが第１の閾値よりも大きい値であるか否か
を判断する。
【０１６３】このステップＳＰ２４において肯定結果を
得ることは、データ蓄積量ＤＲが第１の閾値よりも大き
い値であるためにこの時点で圧縮符号化している第１又
は第２のフレーム画像データに続く第１又は第２のフレ
ーム画像データを選定圧縮率よりも高圧縮率で圧縮符号
化することにより動画像の画質が低下する可能性がある
ことを意味し、このときフレームレート変更処理部３１
はステップＳＰ２５に移る。
【０１６４】ステップＳＰ２５においてフレームレート
変更処理部３１は、フレーム構造変換器３３により、こ
の時点で圧縮符号化しているフレーム画像データに続く
所定フレーム数分のフレーム画像データの符号化予測デ
ータ量と符号化ビットストリームＢＳ１のビットレート
とに基づいてデータ蓄積量ＤＲの変化を推定し、当該推
定したデータ蓄積量ＤＲと第１及び第２の閾値とに基づ
いてフレーム画像データを間引いて動画像データＤ１の
フレームレートを下げると共に、動きベクトル再検出フ
ラグＦＧ１を動きベクトル再検出器４８に送出してステ
ップＳＰ２６に移る。
【０１６５】これに対してステップＳＰ２４において否
定結果を得ることは、動画像データＤ１から第２のフレ
ーム画像データを間引いてフレームレートを下げるもの
の、データ蓄積量ＤＲが第２の閾値よりも小さい値であ
るために第２のフレーム画像データを増やしても動画像
に対する所望の画質を維持し得ることを意味し、このと
きフレームレート変更処理部３１はステップＳＰ２７に
移る。
【０１６６】ステップＳＰ２７においてフレームレート
変更処理部３１は、フレーム構造変換器３３により、こ
の時点で圧縮符号化しているフレーム画像データに続く
所定フレーム数分のフレーム画像データ及び当該所定フ
レーム数分のフレーム画像データ間からすでに間引いて
いるフレーム画像データの符号化予測データ量と符号化
ビットストリームＢＳ１のビットレートとに基づいてこ
れら間引いているフレーム画像データの間引きを取り消
したときのデータ蓄積量ＤＲの変化を推定し、当該推定
したデータ蓄積量ＤＲと第１及び第２の閾値とに基づい
てすでに間引いているフレーム画像データの間引きを取
り消すことにより動画像データＤ１の低下させていたフ
レームレートを規定のフレームレートを上回らないよう
に上げると共に、動きベクトル再検出フラグＦＧ２を動
きベクトル再検出器４８に送出してステップＳＰ２６に
移る。
【０１６７】ステップＳＰ２６においてフレームレート
変更処理部３１は、フレーム構造変換器３３により、演
算器３８による入力用フレームメモリ３２からの第１及
び第２のフレーム画像データの読み出し状況に応じて符
号化対象の第１及び第２のフレーム画像データが全て圧
縮符号化されたか否かを判断し、未だ符号化対象の第１
及び第２のフレーム画像データが全て圧縮符号化されて
いなければ、ステップＳＰ２１に戻ってこの後符号化対
象の第１及び第２のフレーム画像データが全て圧縮符号
化されるまでの間はステップＳＰ２１−ＳＰ２２−２３
−ＳＰ２４−ＳＰ２５−ＳＰ２６の処理ループを繰り返
すことにより順次第１及び第２のフレーム画像データの
符号化予測データ量を予測しながら動画像データＤ１の
フレームレートを適宜変更する。
【０１６８】このときステップＳＰ３において動きベク
トル検出処理部３４は、動きベクトル再検出器４８によ
りフレーム構造変換器３３から与えられる動きベクトル
再検出フラグＦＧ１及びＦＧ２に基づいて動画像データ
Ｄ１のフレームレートが変更されたと判断してステップ
ＳＰ４に移る。
【０１６９】ステップＳＰ４において動きベクトル検出
処理部３４は、動きベクトル再検出器４８により動画像
データＤ１のフレームレートの変更に伴い動きベクトル
Ｄ１７の再検出が必要であるか否かを判断する。
【０１７０】このステップＳＰ４において肯定結果を得
ることは、動画像データＤ１のフレームレートが下げら
れたことによりフレーム構造変換器３から与えられた動
きベクトル再検出フラグＦＧ１に基づいて、間引かれた
第２のフレーム画像データと隣接する再検出フレーム画
像データの各第２のマクロブロックデータＤ４の動きベ
クトルＤ１７を再検出することを意味し、このとき動き
ベクトル検出処理部３４はステップＳＰ５に移り、動き
ベクトル再検出器４８により再検出フレーム画像データ
に対する各第２のマクロブロックデータＤ４の動きベク
トルＤ１７を検出してステップＳＰ６に移る。
【０１７１】そしてステップＳＰ６において動きベクト
ル検出処理部３４は、動きベクトル再検出器４８により
動きベクトル再検出フラグＦＧ１に基づいて動きベクト
ルバッファ３６を制御することにより再検出した動きベ
クトルＤ１７を一旦蓄積すると共に、再検出フレーム画
像データに対する再検出前の動きベクトルＤ７と間引き
フレーム画像データの動きベクトルＤ７とを読出不可能
な状態にしてステップＳＰ７に移る。
【０１７２】これに対してステップＳＰ４において否定
結果を得ることは、動画像データＤ１のフレームレート
が上げられたことにより動きベクトルＤ１７の再検出が
必要ないことを意味し、このとき動きベクトル検出処理
部３４はステップＳＰ６に移る。
【０１７３】そしてステップＳＰ６において動きベクト
ル検出処理部３４は、動きベクトル再検出器４８により
フレーム構造変換器３から与えられた動きベクトル再検
出フラグＦＧ２に基づいて動きベクトルバッファ３６を
制御することにより再検出フレーム画像データに対して
再検出していた動きベクトルＤ１７を読出不可能な状態
とし、かつ再検出フレーム画像データに対する再検出前
の動きベクトルＤ７と間引きを取り消した間引きフレー
ム画像データの動きベクトルＤ７とを読出可能な状態に
してステップＳＰ７に移る。
【０１７４】ステップＳＰ７において動きベクトル検出
処理部３４は、動きベクトル検出器３５により入力用フ
レームメモリ３２内の全ての第１及び第２のフレーム画
像データにおける各第１及び第２のマクロブロックデー
タＤ２及びＤ４の動きベクトルを検出したか否を判断
し、当該入力用フレームメモリ３２内に第１及び第２の
マクロブロックデータＤ２及びＤ４の動きベクトルを検
出すべき第１及び第２のフレーム画像データが取り込ま
れている間はステップＳＰ１に戻り当該ステップＳＰ１
―ＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７の
処理ループを繰り返すことにより入力用フレームメモリ
３２内の第１及び第２のフレーム画像データにおける各
第１及び第２のマクロブロックデータＤ２及びＤ４の動
きベクトルＤ７を順次検出すると共に、再検出フレーム
画像データにおける各第２のマクロブロックデータＤ４
の動きベクトルＤ１７を適宜再検出する。
【０１７５】そして、ステップＳＰ７において動きベク
トル検出処理部３４は、入力用フレームメモリ３２内の
全ての第１及び第２のフレーム画像データにおける各第
１及び第２のマクロブロックデータＤ２及びＤ４の動き
ベクトルＤ７を検出すると、ステップＳＰ８に移る。
【０１７６】ステップＳＰ８において動きベクトル検出
処理部３４は、動き補償器３９による動きベクトルバッ
ファ３６からの動きベクトルＤ７及びＤ１７の読み出し
状況に応じて符号化対象の第１及び第２のフレーム画像
データが全て圧縮符号化されたか否かを判断し、未だ第
１及び第２のフレーム画像データの圧縮符号化が終了し
ていなければ、ステップＳＰ３に戻ってこの後符号化対
象の第１及び第２のフレーム画像データが全て圧縮符号
化されるまでの間はステップＳＰ３−ＳＰ４−ＳＰ５−
ＳＰ６−ＳＰ７−ＳＰ８の処理ループを繰り返すことに
より再検出フレーム画像データにおける各第２のマクロ
ブロックデータＤ４の動きベクトルＤ１７を適宜再検出
する。
【０１７７】かくしてステップＳＰ１４において圧縮符
号化部３７は、符号化対象の第１及び第２のフレーム画
像データを全て圧縮符号化するまでの間はステップＳＰ
１２−ＳＰ１３−ＳＰ１４の処理ループを繰り返すもの
の、動画像データＤ１のフレームレートが下げられるこ
とにより再検出フレーム画像データに対して動きベクト
ルＤ１７が再検出されると、符号化対象の第２のフレー
ム画像データを動きベクトルバッファ３６から読み出し
たその動きベクトルＤ１７を用いて順方向予測符号化に
より圧縮符号化する。
【０１７８】そして、圧縮符号化部３７は、このステッ
プＳＰ１４において符号化対象の第１及び第２のフレー
ム画像データを全て圧縮符号化したと判断すると、ステ
ップＳＰ１５に移って当該圧縮符号化部３７における処
理手順を終了する。
【０１７９】また、圧縮符号化部３７がこのように処理
手順を終了すると、フレームレート変更処理部３１はス
テップＳＰ２６において符号化対象の第１及び第２のフ
レーム画像データが全て圧縮符号化されたと判断してス
テップＳＰ２８に移ることにより当該フレームレート変
更処理部３１の処理手順を終了すると共に、動きベクト
ル検出処理部３４もステップＳＰ８において符号化対象
の第１及び第２のフレーム画像データが全て圧縮符号化
されたと判断してステップＳＰ９に移ることにより当該
動きベクトル検出処理部３４の処理手順を終了し、かく
して動画像符号化装置３０における動画像データＤ１の
圧縮符号化処理手順を全て終了する。
【０１８０】以上の構成において、この動画像符号化装
置３０では、外部から供給される動画像データＤ１を順
次フレーム画像データ単位で入力用フレームメモリ３２
に取り込み、当該入力用フレームメモリ３２に取り込ん
だフレーム画像データにＩピクチャ及びＰピクチャを所
定の順番で割り当てる。
【０１８１】そして、この動画像符号化装置３０では、
動きベクトル検出器３５により入力用フレームメモリ３
２内の第２のフレーム画像データを順次第２のマクロブ
ロックデータＤ４単位で読み出して当該読み出した各第
２のマクロブロックデータＤ４の動きベクトルＤ７を検
出する。
【０１８２】この状態で動画像符号化装置３０では、圧
縮符号化部３７により入力用フレームメモリ３２から第
１のフレーム画像データを順次第１のマクロブロックデ
ータＤ２単位で読み出してフレーム内符号化により圧縮
符号化し、得られた符号化データＤ１０をバッファ４２
に一旦蓄積すると共に、当該入力用フレームメモリ３２
から第２のフレーム画像データを順次第２のマクロブロ
ックデータＤ４単位で読み出して対応する動きベクトル
を用いた順方向予測符号化により圧縮符号化し、得られ
た符号化データＤ１４をバッファ４２に一旦蓄積し、当
該バッファ４２から符号化データＤ１０及びＤ１４を符
号化ビットストリームＢＳ１として外部に出力する。
【０１８３】このようにして動画像符号化装置３０で
は、動画像データＤ１を構成する第１及び第２のフレー
ム画像データの圧縮符号化を開始すると、フレーム構造
変換器３３によりバッファ４２のデータ蓄積量ＤＲを定
期的に検出して第１及び第２の閾値と比較し、当該デー
タ蓄積量ＤＲが第１の閾値よりも大きい値のときには動
画像データＤ１のフレームレートを下げ、このようにフ
レームレートを下げた状態でバッファ４２のデータ蓄積
量ＤＲが第２の閾値よりも小さい値になったときには動
画像データＤ１のフレームレートを上げるようにして当
該動画像データＤ１のフレームレートをデータ蓄積量Ｄ
Ｒに応じて変更するようにした。
【０１８４】従って、この動画像符号化装置３０では、
配信対象の動画像データＤ１に基づく動画像の絵柄が急
激に変化する等して第１及び第２のフレーム画像データ
から得られる符号化データ量が増加しても、これに適確
に対応して動画像データＤ１のフレームレートを下げて
単位時間当りに圧縮符号化すべき第２のフレーム画像デ
ータの数を減らすため、データ蓄積量ＤＲが増加したま
まとなり圧縮率が急激に高くなることを未然に防止する
ことができ、かくして動画像の画質の急激な劣化を防止
することができる。
【０１８５】また、この動画像符号化装置３０では、配
信対象の動画像データＤ１のフレームレートを下げた状
態で当該動画像データＤ１に基づく動画像の絵柄の変化
が急激に減少する等して第１及び第２のフレーム画像デ
ータから得られる符号化データ量が低下しても、動画像
データＤ１のフレームレートを上げて単位時間当りに圧
縮符号化すべき第２のフレーム画像データの数を増加さ
せるため、動画像データＤ１の第２のフレーム画像デー
タを必要以上に間引いてデータ蓄積量ＤＲが低下したま
まとなって圧縮率が比較的低くなることを防止すること
ができ、かくして動画像の画質が一時的に所望の画質以
上になって変動することを適確に防止することができ
る。
【０１８６】このように動画像符号化装置３０では、動
画像データＤ１を圧縮符号化しながら各符号化データＤ
１０及びＤ１４の符号化データ量を表すバッファ４２の
データ蓄積量ＤＲに応じて適宜フレームレートを変更す
るため、ユーザに提供する動画像の画質を安定させるこ
とができる。
【０１８７】これに加えて、この動画像符号化装置３０
では、データ蓄積量ＤＲが第１の閾値よりも高い値のと
きにはこの時点から符号化対象となる所定フレーム数分
の第１及び又は第２のフレーム画像データの符号化予測
データ量を用いて当該所定フレーム数分の第１及び又は
第２のフレーム画像データから１又は複数の第２のフレ
ーム画像データを間引いて動画像データＤ１のフレーム
レートを下げるため、当該動画像データＤ１に基づく動
画像の絵柄が複数フレームに渡って比較的激しく動くよ
うなときでも、複数フレームに渡って圧縮率が比較的高
くなることを未然に防止することかでき、かくして動画
像の画質が複数フレームに渡って劣化することを未然に
防止することができる。
【０１８８】また、この動画像符号化装置３０では、デ
ータ蓄積量ＤＲが第２の閾値よりも小さい値のときにも
この時点から符号化対象となる所定フレーム数分の第１
及び又は第２のフレーム画像データと当該所定フレーム
数分の第１及び又は第２のフレーム画像データ間からす
でに間引いている１又は複数の第２のフレーム画像デー
タとの符号化予測データ量を用いて動画像データＤ１の
フレームレートを上げるため、動画像データＤ１に基づ
く動画像の絵柄の変化が複数フレームに渡って比較的安
定しているようなときでも、複数フレームに渡って圧縮
率が比較的低くなることを未然に防止することができ、
かくして動画像の画質が複数フレームに渡って所望の画
質以上になって急激に変動することを未然に防止するこ
とができる。
【０１８９】そして、この動画像符号化装置３０では、
このように動画像データＤ１のフレームレートの変更に
所定フレーム数分の第１及び第２のフレーム画像データ
の符号化データ量を用いて複数フレームに渡る動画像の
画質の変化を未然に防止するものの、このようにフレー
ムレートを変更した状態で第１及び第２のフレーム画像
データを圧縮符号化している間も順次データ蓄積量ＤＲ
を検出して圧縮符号化の状況を監視しているため、例え
ば符号化予測データ量の予測精度が比較的低いために当
該符号化予測データ量と実際に圧縮符号化したときの符
号化データ量とが異なるようなときでも、一度変更した
フレームレートを動画像に対する所望の画質に合わせて
容易かつ適確に補正することができる。
【０１９０】以上の構成によれば、外部から供給される
動画像データＤ１を順次第１及び第２のフレーム画像デ
ータ単位で圧縮符号化し、得られた符号化データＤ１０
及びＤ１４をバッファ４２に一旦蓄積して符号化データ
量を平滑化した符号化ビットストリームＢＳ１として外
部に出力しながら、当該バッファ４２のデータ蓄積量Ｄ
Ｒを定期的に検出し、そのデータ蓄積量ＤＲの変化に応
じて動画像データＤ１のフレームレートを変更するよう
にしたことにより、配信対象の動画像データＤ１に基づ
く動画像の絵柄の変化に応じて単位時間当りに圧縮符号
化すべき第１及び第２のフレーム画像データの数を適確
に変更して圧縮率を安定させ、当該動画像の画質を安定
させることができ、かくして所望の画質の動画像を適確
に提供し得る動画像符号化装置を実現することができ
る。
【０１９１】なお、上述した第１の実施の形態において
は、図３について上述したように外部から供給された動
画像データＤ１を順次フレーム画像データ単位で入力用
フレームメモリ３２に取り込み、当該入力用フレームメ
モリ３２に取り込んだフレーム画像データにＩピクチャ
及びＰピクチャを所定の順番で割り当てるようにした場
合について述べたが、本発明はこれに限らず、図８
（Ａ）及び（Ｂ）に示すように、入力用フレームメモリ
３２に順次取り込んだフレーム画像データにＩピクチ
ャ、Ｐピクチャ及びＢピクチャを割り当てるようにして
も良い。
【０１９２】因みに、ピクチャタイプとしてＩピクチ
ャ、Ｐピクチャ及びＢピクチャを用いるときに、例えば
先頭のフレーム画像データから順次Ｂピクチャ、Ｉピク
チャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャ、Ｐピクチ
ャ、Ｂピクチャ、Ｐピクチャ、……、を割り当てると、
先頭のＢピクチャを割り当てたフレーム画像データ（以
下、これを第３のフレーム画像データと呼ぶ）について
は２フレーム目の第１のフレーム画像データを参照用に
用いて逆方向予測符号化により圧縮符号化し、当該２フ
レーム目以降の第３のフレーム画像データについては順
方向側で隣接する第１又は第２のフレーム画像データを
参照用として用いると共に逆方向側で隣接する第１又は
第２のフレーム画像データを参照用として用いる両方向
予測符号化により圧縮符号化することができる。
【０１９３】また、第２のフレーム画像データについて
は、順方向側で最も近い第１又は第２のフレーム画像デ
ータを参照用として用いる順方向予測符号化により圧縮
符号化することができる。
【０１９４】そして、図９（Ａ）乃至（Ｃ）に示すよう
に、このように入力用フレームメモリ３２内のフレーム
画像データにＩピクチャ、Ｐピクチャ及びＢピクチャを
割り当てた状態で例えば３フレーム目の第３のフレーム
画像データ及び５フレーム目の第２のフレーム画像デー
タを間引いて動画像データＤ１のフレームレートを変更
すると、その間引きに応じて当該３フレーム目の第３の
フレーム画像データについては順方向側及び逆方向側の
第１及び第２のフレーム画像データの参照用としては用
いられていないことによりこれら順方向側及び逆方向側
の第１及び第２のフレーム画像データの各第１及び第２
のマクロブロックデータの動きベクトルを再検出する必
要はない。
【０１９５】これに対して５フレーム目の第２のフレー
ム画像データについては、順方向側第３のフレーム画像
データ（４フレーム目）と、逆方向側の第３及び第２の
フレーム画像データ（６フレーム目及び７フレーム目）
との参照用として用いられている。
【０１９６】従って、間引きに応じて４フレーム目の第
３のフレーム画像データについては、逆方向側７フレー
ム目の第２のフレーム画像データを参照用として用いて
各マクロブロックデータの逆方向側の動きベクトルを再
検出し、６フレーム目の第３のフレーム画像データにつ
いては、順方向側３フレーム目の第２のフレーム画像デ
ータを参照用として用いて各マクロブロックデータの順
方向側の動きベクトルを検出し、さらに７フレーム目の
第２のフレーム画像データについては順方向側３フレー
ム目の第２のフレーム画像データを用いて各第２のマク
ロブロックデータの順方向側の動きベクトルを検出すれ
ば良い。
【０１９７】また、上述した第１の実施の形態において
は、動画像データＤ１のフレームレートを下げるために
第２のフレーム画像データを間引いたときに動きベクト
ル再検出器４８により再検出フレーム画像データの各第
２のマクロブロックデータＤ４の動きベクトルをブロッ
クマッチング法によって検出するようにした場合につい
て述べたが、本発明はこれに限らず、再検出フレーム画
像データに対する各第２のマクロブロックデータＤ４の
予め検出している動きベクトルＤ７を当該再検出フレー
ム画像データに隣接していた間引きフレーム画像データ
の各第２のマクロブロックデータＤ４の動きベクトルと
合成することによりその再検出フレーム画像データに対
する各第２のマクロブロックデータＤ４の動きベクトル
を再検出し、又はテレスコピックサーチ法等の簡易動き
ベクトル検出法を用いて動きベクトルを再検出すれば、
動きベクトル再検出器における動きベクトルの再検出処
理の演算量を大幅に低減させて当該再検出処理を高速化
することができる。
【０１９８】さらに、上述した第１の実施の形態におい
ては、第２のフレーム画像データの各マクロブロックデ
ータＤ４を順方向予測符号化により圧縮符号化するよう
にした場合について述べたが、各第２のマクロブロック
データＤ４の分散値を用いてフレーム内符号化及び順方
向予測符号化のいずれで圧縮符号化するようにしても良
い。
【０１９９】さらに、上述した第１の実施の形態におい
ては、動きベクトル再検出器４８により入力用フレーム
メモリ３２から読み出した参照用の第１及び第２のフレ
ーム画像データＤ６を用いて各第２のマクロブロックデ
ータＤ４の動きベクトルＤ１７を再検出するようにした
場合について述べたが、本発明はこれに限らず、動きベ
クトル再検出器により参照用フレームメモリ４７から参
照用の第１及び第２のフレーム画像データを読み出して
各第２のマクロブロックデータＤ４の動きベクトルＤ１
７を再検出するようにしても良い。このようにすれば動
きベクトルＤ１７の再検出に一旦圧縮符号化した後に復
号化して再構築することにより圧縮符号化によって発生
したブロックノイズ等を持つ第１及び第２のフレーム画
像データを用いることができ、当該動きベクトルＤ１７
の検出精度を向上させることができる。
【０２００】さらに、上述した第１の実施の形態におい
ては、バッファ４２のデータ蓄積量ＤＲ及び符号化予測
データ量に応じて動画像データＤ１のフレームレートを
変更するようにした場合について述べたが、本発明はこ
れに限らず、バッファ４２のデータ蓄積量ＤＲに応じて
動画像データＤ１のフレームレートを変更するようにし
ても良い。このようにしてフレームレートを変更しても
データ蓄積量ＤＲの急激な増減に適確に対処して動画像
の画質を安定化させることができる。
【０２０１】（３）第２の実施の形態 図２との対応部分に同一符号を付して示す図１０は第２
の実施の形態による動画像符号化装置６０を示し、フレ
ームレート変更処理部６１のフレーム構造変換器６２及
び動きベクトル検出処理部６３の構成を除いて第１の実
施の形態による動画像符号化装置３０と同様に構成され
ている。
【０２０２】フレームレート変更処理部６１のフレーム
構造変換器６２は、図３について上述した場合と同様に
入力用フレームメモリ３２にフレーム画像データを取り
込む毎に当該取り込んだフレーム画像データにＩピクチ
ャ及びＰピクチャのピクチャタイプを割り当てると共
に、そのＩピクチャ及びＰピクチャを表すピクチャタイ
プとこれらを割り当てたフレーム画像データ固有のフレ
ーム識別情報とをピクチャ情報として入力用フレームメ
モリ３２に記録する。
【０２０３】そして、動きベクトル検出処理部６３にお
いて簡易動きベクトル検出器６４は、入力用フレームメ
モリ３２内でフレーム画像データにＩピクチャが割り当
てられたときには、当該Ｉピクチャの割り当てられた第
１のフレーム画像データのピクチャ情報を読み出し、当
該読み出したピクチャ情報に基づいて予測モードデータ
Ｄ３を生成し、当該生成した予測モードデータＤ３を簡
易動きベクトルバッファ６５に送出して蓄積する。
【０２０４】また、簡易動きベクトル検出器６４は、入
力用フレームメモリ３２内でフレーム画像データにＰピ
クチャが割り当てられたときには、当該Ｐピクチャの割
り当てられた第２のフレーム画像データのピクチャ情報
を読み出すと共に、当該第２のフレーム画像データと順
方向側で隣接する参照用の第１又は第２のフレーム画像
データＤ６のピクチャ情報を読み出す。
【０２０５】簡易動きベクトル検出器６４は、これらピ
クチャ情報に基づいて対応する符号化対象の第２のフレ
ーム画像データのフレーム識別情報を符号化対象フレー
ム識別情報として表すと共に参照用の第１又は第２のフ
レーム画像データＤ６のフレーム識別情報を参照用フレ
ーム識別情報として表し、さらに符号化対象の第２のフ
レーム画像データを順次第２のマクロブロックデータＤ
４単位で順方向予測符号化により圧縮符号化することを
表す予測モードデータＤ２０を生成する。
【０２０６】これに加えて簡易動きベクトル検出器６４
は、このとき入力用フレームメモリ３２からピクチャ情
報に基づいて符号化対象の第２のフレーム画像データを
順次第２のマクロブロックデータＤ４単位で読み出すと
共に、参照用の第１又は第２のフレーム画像データＤ６
を読み出す。
【０２０７】簡易動きベクトル検出器６４は、図１１
（Ａ）及び（Ｂ）に示すように、階層サーチ動きベクト
ル検出方式による原画像レベルの第１階層よりも下層の
第２階層において、第２のマクロブロックデータＤ４を
例えば１／４程度に縮小して解像度を下げることにより
階層的な第２のマクロブロックデータ（以下、これを階
層マクロブロックデータと呼ぶ）Ｄ２１を生成すると共
に、同様に参照用の第１又は第２のフレーム画像データ
Ｄ６を例えば１／４程度に縮小して解像度を下げること
により階層的な参照用の第１又は第２のフレーム画像デ
ータ（以下、これを階層フレーム画像データと呼ぶ）Ｄ
２２を生成する。
【０２０８】また、簡易動きベクトル検出器６４は、図
１２に示すように、ブロックマッチング法により階層マ
クロブロックデータＤ２１を階層フレーム画像データＤ
２２の比較的広いサーチ範囲内で複数の比較用ブロック
データと順次対応付けながら予測誤差を算出するように
して当該算出した予測誤差のうち最小予測誤差を算出し
たときに用いた比較用ブロックデータと階層マクロブロ
ックデータＤ２１との動き量によりその階層マクロブロ
ックデータＤ２１の動きベクトル（以下、これを低解像
度動きベクトルと呼ぶ）Ｄ２３を検出し、当該低解像度
動きベクトルＤ２３を第２のマクロブロックデータＤ４
の解像度（すなわち、原画像の解像度）に合わせて例え
ば４倍にすることによりその第２のマクロブロックデー
タＤ４に対する第２階層の簡易動きベクトルＤ２４を検
出する。
【０２０９】そして、簡易動きベクトル検出器６４は、
入力用フレームメモリ３２内の符号化対象の第２のフレ
ーム画像データに対する予測モードデータＤ２０及び各
第２のマクロブロックデータＤ４の簡易動きベクトルＤ
２４を対応付けて簡易動きベクトルバッファ６５に送出
して蓄積する。
【０２１０】このようにして簡易動きベクトル検出器６
４は、入力用フレームメモリ３２にフレーム画像データ
が順次取り込まれてＩピクチャ及びＰピクチャが割り当
てられると、その都度同様にして予測モードデータＤ
３、Ｄ２０を生成すると共に各第２のマクロブロックデ
ータＤ４の簡易動きベクトルＤ２４を検出し、これらを
簡易動きベクトルバッファ６５に蓄積する。
【０２１１】また、簡易動きベクトル検出器６４は、こ
のように１フレーム分の各第２のマクロブロックデータ
Ｄ４に対する簡易動きベクトルＤ２４を検出する毎に、
階層マクロブロックデータＤ２１と階層フレーム画像デ
ータＤ２２との間で算出した予測誤差を利用して階層的
な符号化対象の第２のフレーム画像データと参照用の階
層フレーム画像データとのフレーム間相関値ＳＨ２を算
出し、当該算出したフレーム間相関値ＳＨ２をフレーム
構造変換器６２に送出する。
【０２１２】これによりフレーム構造変換器６２は、簡
易動きベクトル検出器６４から与えられたフレーム間相
関値ＳＨ２に基づいて、符号化対象の第１及び第２のフ
レーム画像データをそれぞれ選定圧縮率で圧縮符号化す
ることにより得られる符号化データＤ１０及びＤ１４の
符号化予測データ量を予測する。
【０２１３】かくして簡易動きベクトル検出器６４は、
原画像に比べて画素数を減らした階層マクロブロックデ
ータＤ２１及び階層フレーム画像データ提供サーバデー
タＤ２２間の予測誤差を利用してフレーム間相関値ＳＨ
２を算出することにより当該フレーム間相関値ＳＨ２に
対する演算量を格段的に低減させ得るようになされてい
る。
【０２１４】また、フレーム構造変換器６２も原画像レ
ベルのフレーム間相関値ＳＨ１（図２）に比べて情報量
の少ないフレーム間相関値ＳＨ２に基づいて符号化予測
データ量を算出するため、当該符号化予測データ量を算
出する際の演算量を格段的に低減させ得るようになされ
ている。
【０２１５】そして、フレーム構造変換器６２は、符号
化対象の第１及び第２のフレーム画像データに対する圧
縮符号化が開始されると、図２について上述した場合と
同様にバッファ４２のデータ蓄積量ＤＲを所定周期で検
出し、当該検出したデータ蓄積量ＤＲに応じて動画像デ
ータＤ１のフレームレートを変更する。
【０２１６】また、フレーム構造変換器６２は、このよ
うに符号化対象の第１及び第２のフレーム画像データに
対する圧縮符号化が開始されると、演算器３８により入
力用フレームメモリ３２から符号化対象の第１のフレー
ム画像データが第１のマクロブロックデータＤ２単位で
読み出されるときに、当該入力用フレームメモリ３２内
の対応するピクチャ情報に基づいてその第１のフレーム
画像データのフレーム識別情報を符号化対象フレーム識
別情報として表すコントロールフラグＣＦ１を生成して
これを動きベクトル検出器６６に送出する。
【０２１７】さらに、フレーム構造変換器６２は、演算
器３８により入力用フレームメモリ３２から符号化対象
の第２のフレーム画像データが第２のマクロブロックデ
ータＤ４単位で読み出されるときには、入力用フレーム
メモリ３２内の対応するピクチャ情報及びその第２のフ
レーム画像データに対して参照用となる第１又は第２の
フレーム画像データＤ６のピクチャ情報に基づいて当該
符号化対象の第２のフレーム画像データのフレーム識別
情報を符号化対象フレーム識別情報として表し、かつ参
照用の第１又は第２のフレーム画像データＤ６のフレー
ム識別情報を参照用フレーム識別情報として表すコント
ロールフラグＣＦ２を生成してこれを動きベクトル検出
器６６に送出する。
【０２１８】ここで、フレーム構造変換器６２は、符号
化対象の第２のフレーム画像データに対して簡易動きベ
クトルＤ２４の検出時に用いた参照用の第１又は第２の
フレーム画像データをフレームレートの変更用に間引い
ていなければ（間引きの取り消しも含む）、当該符号化
対象の第２のフレーム画像データとその参照用の第１又
は第２のフレーム画像データＤ６をそのまま対応付けて
コントロールフラグＣＦ２を生成する。
【０２１９】また、フレーム構造変換器６２は、符号化
対象の第２のフレーム画像データに対して簡易動きベク
トルＤ２４の検出時に用いた参照用の第１又は第２のフ
レーム画像データＤ６をフレームレートの変更用に間引
いたときには、当該符号化対象の第２のフレーム画像デ
ータに対してその間引いた第１又は第２のフレーム画像
データに代えて新たな第１又は第２のフレーム画像デー
タＤ６を参照用として対応付けてコントロールフラグＣ
Ｆ２を生成する。
【０２２０】さらに、フレーム構造変換器６２は、動画
像データＤ１のフレームレートの変更に伴って符号化対
象の第２のフレーム画像データを間引くことにより演算
器３８が入力用フレームメモリ３２からの読み出しを見
送るときには、当該第２のフレーム画像データのフレー
ム識別情報を間引きフレーム識別情報として表し、その
第２のフレーム画像データを間引いたことを表すコント
ロールフラグＣＦ３を生成してこれを動きベクトル検出
器６６に送出する。
【０２２１】このようにしてフレーム構造変換器６２
は、符号化対象の第１及び第２のフレーム画像データに
対する圧縮符号化の順番に従って順次コントロールフラ
グＣＦ１及びＣＦ２並びにＣＦ３を生成して動きベクト
ル検出器６６に送出する。
【０２２２】動きベクトル検出器６６は、符号化対象の
第１及び第２のフレーム画像データに対する圧縮符号化
が開始されると、符号化対象の第１及び第２のフレーム
画像データに対する圧縮符号化の順番に従って簡易動き
ベクトルバッファ６５から予測モードデータＤ３及びＤ
２０を順次読み出す。
【０２２３】そして、動きベクトル検出器６６は、簡易
動きベクトルバッファ６５から予測モードデータＤ３及
びＤ２０を読み出す毎に、当該予測モードデータＤ３及
びＤ２０に基づいて得られる符号化対象フレーム識別情
報及び参照用フレーム識別情報を、このときフレーム構
造変換器６２から与えられた対応するコントロールフラ
グＣＦ１及びＣＦ２並びにＣＦ３に基づいて得られた符
号化対象フレーム識別情報及び参照用フレーム識別情報
並びに間引きフレーム識別情報と比較する。
【０２２４】この場合、動きベクトル検出器６６は、簡
易動きベクトルバッファ６５から第１のフレーム画像デ
ータに対する予測モードデータＤ３を読み出したときに
は、図５（Ａ）乃至（Ｃ）について上述したように第１
のフレーム画像データが間引きの対象から除外されてお
り、予測モードデータＤ３及びコントロールフラグＣＦ
１に基づいて得られる符号化対象フレーム識別情報同士
が一致することにより当該第１のフレーム画像データが
間引かれていないと判断して予測モードデータＤ３を動
き補償器３９及び可変長符号化器４３に送出する。
【０２２５】また、動きベクトル検出器６６は、簡易動
きベクトルバッファ６５から第２のフレーム画像データ
に対する予測モードデータＤ２０を読み出したとき、そ
の予測モードデータＤ２０及び対応するコントロールフ
ラグＣＦ２に基づいて得られる符号化対象フレーム識別
情報同士及び参照用フレーム識別情報同士が一致すれ
ば、当該第２のフレーム画像データとこれに簡易動きベ
クトルＤ２４の検出時に対応付けた参照用の第１又は第
２のフレーム画像データＤ６とが間引かれていないと判
断して簡易動きベクトルバッファ６５から予測モードデ
ータＤ２０に対応付けられている簡易動きベクトルＤ２
４を読み出す。
【０２２６】このとき動きベクトル検出器６６は、コン
トロールフラグＣＦ２に基づいて入力用フレームメモリ
３２から符号化対象の第２のフレーム画像データを順次
第２のマクロブロックデータＤ４単位で読み出すと共に
参照用の第１又は第２のフレーム画像データＤ６も読み
出す。
【０２２７】そして、動きベクトル検出器６６は、図１
２に示すように、階層サーチ動きベクトル検出方式によ
る第１階層において、ブロックマッチング法により参照
用の第１又は第２のフレーム画像データＤ６に対して簡
易動きベクトルＤ２４の終点周辺に格段的に狭いサーチ
範囲を設定し、当該サーチ範囲内で複数の比較用ブロッ
クデータと第２のマクロブロックデータＤ４とを順次対
応付けながら予測誤差を算出する。
【０２２８】この結果、動きベクトル検出器６６は、算
出した予測誤差のうち最小予測誤差を算出したときに用
いた比較用ブロックデータと第２のマクロブロックデー
タＤ４との動き量により原画像レベルで簡易動きベクト
ルＤ２４を補正する動きベクトル（以下、これを補正用
動きベクトルと呼ぶ）Ｄ２５を検出し、当該検出した補
正用動きベクトルＤ２５を簡易動きベクトルＤ２４と加
算することにより第２のマクロブロックデータＤ４に対
する最終的な第１階層の動きベクトルＤ２６を生成し、
これを予測モードデータＤ２０と共に動き補償器３９及
び可変長符号化器４３に送出する。
【０２２９】また、動きベクトル検出器６６は、簡易動
きベクトルバッファ６５から第２のフレーム画像データ
に対する予測モードデータＤ２０を読み出したとき、そ
の予測モードデータＤ２０及びコントロールフラグＣＦ
２に基づいて得られる符号化対象フレーム識別情報同士
は一致するものの、参照用フレーム識別情報同士が一致
しなければ、当該第２のフレーム画像データに対して簡
易動きベクトルＤ２４の検出時に対応付けた参照用の第
１又は第２のフレーム画像データのみが間引かれている
と判断して簡易動きベクトルバッファ６５から当該予測
モードデータＤ２０に対応付けられている簡易動きベク
トルＤ２４を読み出さずに符号化対象の第２のフレーム
画像データに対する動きベクトルＤ２６の再検出処理を
開始する。
【０２３０】実際上、動きベクトル検出器６６は、コン
トロールフラグＣＦ２に基づいて入力用フレームメモリ
３２から符号化対象の第２のフレーム画像データを順次
第２のマクロブロックデータＤ４単位で読み出すと共
に、フレーム構造変換器６２において新たに対応付けた
参照用の第１又は第２のフレーム画像データＤ６を読み
出す。
【０２３１】そして、動きベクトル検出器６６は、図１
２について上述した場合と同様に階層サーチ動きベクト
ル検出方式による第２階層において第２のマクロブロッ
クデータＤ４の簡易動きベクトルＤ２４を検出した後に
第１階層において第２のマクロブロックデータＤ４に対
する最終的な動きベクトルＤ２６を生成する。
【０２３２】また、動きベクトル検出器６６は、予測モ
ードデータＤ２０に、予め格納されている参照用フレー
ム識別情報に代えてコントロールフラグＣＦ２に基づい
て得られた新たな参照用フレーム識別情報を格納するこ
とにより動きベクトルＤ２６の再検出に合わせて内容を
修正した予測モードデータＤ２７を生成し、当該生成し
た予測モードデータＤ２７を動きベクトルＤ２６と共に
動き補償器３９及び可変長符号化器４３に送出する。
【０２３３】これに加えて動きベクトル検出器６６は、
簡易動きベクトルバッファ６５から第２のフレーム画像
データに対する予測モードデータＤ２０を読み出したと
き、その第２のフレーム画像データが間引かれていれ
ば、予測モードデータＤ２０及びコントロールフラグＣ
Ｆ３に基づいて得られる符号化対象フレーム識別情報及
び間引きフレーム識別情報同士は一致するものの、当該
コントロールフラグＣＦ３に基づいて第２のフレーム画
像データが間引かれたことを検出することにより簡易動
きベクトルバッファ６５から予測モードデータＤ２０に
対応付けられている簡易動きベクトルＤ２４を読み出さ
ずにその第２のフレーム画像データに対する動きベクト
ルの検出処理を見送るようにする。
【０２３４】このようにして動きベクトル検出器６６
は、フレーム構造変換器６２による動画像データＤ１の
フレームレートの変更に応じて符号化対象の第２のフレ
ーム画像データに対する動きベクトルＤ２６を適確に検
出（再検出を含む）し得るようになされている。
【０２３５】ここで、動画像符号化装置６０のフレーム
レート変更処理部６１と動きベクトル検出処理部６３と
圧縮符号化部３７とによる動画像データＤ１の圧縮符号
化処理手順についてまとめてみると、図６（Ａ）及び図
７（Ａ）との対応部分に同一符号を付した図１３（Ａ）
及び図１４（Ａ）に示すように、まず動きベクトル検出
処理部６３は、ルーチンＲＴ４の開始ステップから入っ
てステップＳＰ３１に移る。
【０２３６】ステップＳＰ３１において動きベクトル検
出処理部６３は、簡易動きベクトル検出回路６４により
入力用フレームメモリ３２から第２のフレーム画像デー
タを順次第２のマクロブロックデータＤ４単位で読み出
すと共に、当該第２のフレーム画像データに対する参照
用の第１又は第２のフレーム画像データＤ６を読み出
し、階層サーチ動きベクトル検出方式による第２階層に
おいて１フレーム分の各第２のマクロブロックデータＤ
４の簡易動きベクトルＤ２４を検出してステップＳＰ３
２に移る。
【０２３７】ステップＳＰ３２において動きベクトル検
出処理部６３は、簡易動きベクトル検出器６４により各
第２のマクロブロックデータＤ４の簡易動きベクトルＤ
２４を検出する際に算出した予測誤差を用いて階層的な
符号化対象の第２のフレーム画像データと参照用の階層
フレーム画像データとのフレーム間相関値ＳＨ２を算出
し、当該算出したフレーム間相関値ＳＨ２をフレーム構
造変換器６２に送出してステップＳＰ３３に移る。
【０２３８】このとき図６（Ｃ）及び図７（Ｃ）との対
応部分に同一符号を付した図１３（Ｃ）及び図１４
（Ｃ）に示すように、フレームレート変更処理部６１
は、ルーチンＲＴ５の開始ステップから入ってステップ
ＳＰ２１に移り、当該ステップＳＰ２１の処理に続いて
ステップＳＰ２２の処理を実行した後にステップＳＰ４
１に移る。
【０２３９】ステップＳＰ４１においてフレームレート
変更処理部６１は、フレーム構造変換器６２により符号
化対象の第１及び第２のフレーム画像データに対するコ
ントロールフラグＣＦ１及びＣＦ２並びにＣＦ３を生成
し、当該生成したコントロールフラグＣＦ１及びＣＦ２
並びにＣＦ３を動きベクトル検出器６６に送出してステ
ップＳＰ２３に移る。
【０２４０】このようにしてフレームレート変更処理部
６１は、第１及び第２のフレーム画像データが圧縮符号
化されている間は、ステップＳＰ２１−ＳＰ２２−ＳＰ
２３−ＳＰ２４−ＳＰ２５−ＳＰ２６−ＳＰ２７の処理
ループを繰り返すことにより動きベクトル検出器６６に
コントロールフラグＣＦ１及びＣＦ２並びにＣＦ３を順
次送出しながら動画像データＤ１のフレームレートを適
宜変更し、この後ステップＳＰ２６において符号化対象
の第１及び第２のフレーム画像データが全て圧縮符号化
されたと判断すると、ステップＳＰ４２に移って当該フ
レームレート変更処理部６１の処理手順を終了する。
【０２４１】これに対してステップＳＰ３３において動
きベクトル検出処理部６３は、例えば動きベクトル検出
器６６により入力用フレームメモリ３２に対する演算器
３８のアクセスの有無を監視することにより第１及び第
２のフレーム画像データの圧縮符号化が開始されたか否
かを判断し、当該第１及び第２のフレーム画像データの
圧縮符号化が開始されるまでの間はステップＳＰ３１−
ＳＰ３２−ＳＰ３３の処理ループを繰り返すことにより
順次第２のフレーム画像データにおける各第２のマクロ
ブロックデータＤ４の簡易動きベクトルＤ２４を検出す
ると共に、フレーム間相関値ＳＨ２を算出する。
【０２４２】そして、動きベクトル検出処理部６３は、
ステップＳＰ３３において動きベクトル検出器６６によ
り第１及び第２のフレーム画像データに対する圧縮符号
化が開始されたことを検出すると、ステップＳＰ３４に
移る。
【０２４３】ステップＳＰ３４において動きベクトル検
出処理部６３は、動きベクトル検出器６６によりフレー
ム構造変換器６２から与えられたコントロールフラグＣ
Ｆ１及びＣＦ２並びにＣＦ３に基づいて符号化対象の第
２のフレーム画像データがフレームレートの変更により
間引かれたか否かを判断する。
【０２４４】このステップＳＰ３４において否定結果を
得ることは、符号化対象の第２のフレーム画像データが
間引かれていないことを意味し、このとき動きベクトル
検出処理部６３は、ステップＳＰ３５に移って符号化対
象の第２のフレーム画像データに対する各第２のマクロ
ブロックデータＤ４の動きベクトルの再検出が必要であ
るか否かを判断する。
【０２４５】このステップＳＰ３５において肯定結果を
得ることは、動画像データＤ１のフレームレートの変更
に伴い符号化対象の第２のフレーム画像データに簡易動
きベクトルＤ２４の検出時とは異なる参照用の第１又は
第２のフレーム画像データＤ６が割り当てられたことを
意味し、このとき動きベクトル検出処理部６３はステッ
プＳＰ３６に移って動きベクトル検出器６６により符号
化対象の第２のフレーム画像データと新たな参照用の第
１又は第２のフレーム画像データＤ６とを用いて階層サ
ーチ動きベクトル検出方式による第２階層において各マ
クロブロックデータＤ４の簡易動きベクトルＤ２４を再
検出してステップＳＰ３７に移る。
【０２４６】ステップＳＰ３７において動きベクトル検
出処理部６３は、動きベクトル検出器６６により階層サ
ーチ動きベクトル検出方式による第１階層において符号
化対象の第２のフレーム画像データ及び参照用の第１又
は第２のフレーム画像データ並びに簡易動きベクトルＤ
２４を用いて原画像レベルで各第２のマクロブロックデ
ータＤ４の動きベクトルＤ２６を検出してステップＳＰ
３８に移る。
【０２４７】因みに、ステップＳＰ３４において肯定結
果を得ることは、符号化対象の第２のフレーム画像デー
タがフレームレートの変換により間引かれたことを意味
し、このとき動きベクトル検出処理部６３は、ステップ
ＳＰ３８に移る。
【０２４８】また、ステップＳＰ３５において否定結果
を得ることは、符号化対象の第２のフレーム画像データ
に簡易動きベクトルＤ２４の検出時と同じ参照用の第１
又は第２のフレーム画像データＤ６が割り当てられてい
ることを意味し、このとき動きベクトル検出処理部６３
はステップＳＰ３７に移って動きベクトル検出器６６に
より階層サーチ動きベクトル検出方式による第１階層に
おいて当該符号化対象の第２のフレーム画像データ及び
参照用の第１又は第２のフレーム画像データＤ６並びに
簡易動きベクトルバッファ６５から読み出した対応する
簡易動きベクトルＤ２４を用いた原画像レベルで各第２
のマクロブロックデータＤ４の動きベクトルＤ２６を検
出してステップＳＰ３８に移る。
【０２４９】ステップＳＰ３８において動きベクトル検
出処理部６３は、動きベクトル検出器６６により入力用
フレームメモリ３２内の全ての第２のフレーム画像デー
タに対する各第２のマクロブロックデータＤ４の簡易動
きベクトルＤ２４を検出したか否を判断し、当該入力用
フレームメモリ３２内に第２のマクロブロックデータＤ
４の簡易動きベクトルＤ２４を検出すべき第２のフレー
ム画像データが取り込まれている間はステップＳＰ３１
に戻り当該ステップＳＰ３１―ＳＰ３２−ＳＰ３３−Ｓ
Ｐ３４−ＳＰ３５−ＳＰ３６−ＳＰ３７−ＳＰ３８の処
理ループを繰り返すことにより入力用フレームメモリ３
２内の第２のフレーム画像データに対する各第２のマク
ロブロックデータＤ４の簡易動きベクトルＤ２４を順次
検出し、かつフレーム間相関値ＳＨ２を順次算出しなが
ら当該第２のマクロブロックデータＤ４の動きベクトル
Ｄ２６を順次検出する。
【０２５０】そして、ステップＳＰ３８において動きベ
クトル検出処理部６３は、入力用フレームメモリ３２内
の全ての第２のフレーム画像データにおける各第２のマ
クロブロックデータＤ４の簡易動きベクトルＤ２４を検
出すると、ステップＳＰ８に移る。
【０２５１】ステップＳＰ８において動きベクトル検出
処理部６３は、動きベクトル検出器６６により入力用フ
レームメモリ３２に対する演算器３８のアクセスの有無
を監視することにより符号化対象の第１及び第２のフレ
ーム画像データが全て圧縮符号化されたか否かを判断
し、未だ第１及び第２のフレーム画像データの圧縮符号
化が終了していなければ、ステップＳＰ３４に戻ってこ
の後符号化対象の第１及び第２のフレーム画像データが
全て圧縮符号化されるまでの間はステップＳＰ３４−Ｓ
Ｐ３５−ＳＰ３６−ＳＰ３７−ＳＰ３８−ＳＰ８の処理
ループを繰り返すことにより符号化対象の第２のフレー
ム画像データに対する各第２のマクロブロックデータＤ
４の動きベクトルＤ２６を順次検出する。
【０２５２】このようにして動きベクトル検出処理部６
３は、ステップＳＰ８において符号化対象の第１及び第
２のフレーム画像データが全て圧縮符号化されたと判断
すると、ステップＳＰ３９に移って当該動きベクトル検
出処理部６３の処理手順を終了し、かくして動画像符号
化装置３０における動画像データＤ１の圧縮符号化処理
手順を全て終了する。
【０２５３】以上の構成において、この動画像符号化装
置６０では、配信対象の動画像データＤ１を構成する第
１及び第２のフレーム画像データを圧縮符号化する場
合、簡易動きベクトル検出器６４により予め階層サーチ
動きベクトル検出方式による第２階層において参照用の
第１又は第２のフレーム画像データＤ６の画素を減らし
て解像度を下げた階層フレーム画像データＤ２２の比較
的狭いサーチ範囲内を同様に各第２のマクロブロックデ
ータＤ４の画素を減らして解像度を下げた階層マクロブ
ロックデータＤ２１によってサーチして当該階層マクロ
ブロックデータＤ２１の低解像度動きベクトルＤ２３を
検出し、その低解像度動きベクトルＤ２３を原画像の解
像度に合わせるように拡大して第２のマクロブロックデ
ータＤ４の簡易動きベクトルＤ２４を検出する。
【０２５４】そして、この動画像符号化装置６０では、
第２のフレーム画像データを各第２のマクロブロックデ
ータＤ４単位で実際に圧縮符号化するときに動きベクト
ル検出器６６により階層サーチ動きベクトル検出方式に
よる第１階層において参照用の第１又は第２のフレーム
画像データＤ６に対して簡易動きベクトルＤ２４の終点
周辺に設定した格段的に狭いサーチ範囲を第２のマクロ
ブロックデータＤ４によってサーチして簡易動きベクト
ルＤ２４の終点部分を補正する補正用動きベクトルＤ２
５を検出し、当該検出した補正用動きベクトルＤ２５を
簡易動きベクトルＤ２４と加算して第２のマクロブロッ
クデータＤ４に対する第１階層の動きベクトルＤ２６を
検出するようにした。
【０２５５】従って、この動画像符号化装置６０では、
階層サーチ動きベクトル検出方式による第２階層におい
て解像度を下げた（すなわちデータ量を減少させた）階
層フレーム画像データＤ２２及び階層ブロックデータＤ
２１を用いて簡易動きベクトルＤ２４を検出すると共
に、当該階層サーチ動きベクトル検出方式による第１階
層において原画像レベルの参照用の第１又は第２のフレ
ーム画像データＤ６及び第２のマクロブロックデータＤ
４を用いるものの、簡易動きベクトルＤ２４の終点部分
のみを補正する補正用動きベクトルＤ２５を検出するよ
うにして第２のマクロブロックデータＤ４に対する第１
階層の動きベクトルＤ２６を検出するため、上述した第
１の実施の形態による動画像符号化装置３０（図２）に
比べて第２のマクロブロックデータＤ４の動きベクトル
検出時の演算量を格段的に低減させることができる。
【０２５６】また、動画像符号化装置６０では、入力用
フレームメモリ３２内の全ての第２のフレーム画像デー
タに対しては各第２のマクロブロックデータＤ４の簡易
動きベクトルＤ２４を検出するものの、当該第２のフレ
ーム画像データを動画像データＤ１のフレームレートの
変更に伴って間引いたときにはこれら各第２のマクロブ
ロックデータＤ４の原画像レベルの動きベクトルＤ２６
を検出しないため、動きベクトル検出処理部６３におけ
る処理負荷を低減させることができる。
【０２５７】以上の構成によれば、配信対象の動画像デ
ータＤ１を構成する第１及び第２のフレーム画像データ
を圧縮符号化する場合、階層サーチ動きベクトル検出方
式により符号化対象の第２のフレーム画像データに対す
る各第２のマクロブロックデータＤ４の動きベクトルＤ
２６を階層的に検出するようにしたことにより、上述し
た第１の実施の形態によって得られる効果に加えて、こ
れら各第２のマクロブロックデータＤ４に対する動きベ
クトル検出時の演算量を格段的に低減させることがで
き、かくして動きベクトル検出処理を高速化し得る動画
像符号化装置を実現することができる。
【０２５８】なお、上述した第２の実施の形態において
は、図３について上述したように外部から供給された動
画像データＤ１を順次フレーム画像データ単位で入力用
フレームメモリ３２に取り込み、当該入力用フレームメ
モリ３２に取り込んだフレーム画像データにＩピクチャ
及びＰピクチャを所定の順番で割り当てるようにした場
合について述べたが、本発明はこれに限らず、図８
（Ａ）及び（Ｂ）並びに図９（Ａ）乃至（Ｃ）について
上述したように、入力用フレームメモリ３２に取り込ん
だフレーム画像データにＩピクチャ、Ｐピクチャ及びＢ
ピクチャを割り当てるようにしても良い。
【０２５９】また、上述した第２の実施の形態において
は、動画像データＤ１のフレームレートの変更に伴い符
号化対象の第２のフレーム画像データに新たな参照用の
第１又は第２のフレーム画像データＤ６を割り当てたと
きに動きベクトル検出器６６により階層サーチ動きベク
トル検出方式による第１階層及び第２階層おいて、各マ
クロブロックデータのＤ４の簡易動きベクトルＤ２４及
び原画像レベルの動きベクトルＤ２６を順次検出するよ
うにした場合について述べたが、本発明はこれに限ら
ず、動画像データＤ１のフレームレートの変更に伴い符
号化対象の第２のフレーム画像データに新たな参照用の
第１又は第２のフレーム画像データＤ６を割り当てたと
きに、簡易動きベクトル検出器６４により階層サーチ動
きベクトル検出方式による第２階層において符号化対象
の第２のフレーム画像データ及び新たな参照用の第１又
は第２のフレーム画像データＤ６を用いて各第２のマク
ロブロックデータＤ４の簡易動きベクトルＤ２４を検出
すると共に、動きベクトル検出器６６により階層サーチ
動きベクトル検出方式による第１階層において当該第２
のマクロブロックデータＤ４の原画像レベルの動きベク
トルＤ２６を検出するようにしても良い。このようにす
れば、フレームレートの変更に伴う動きベクトルの再検
出時に動きベクトル検出器６６の処理負荷を大幅に低減
させることができる。
【０２６０】これに加えて、動画像データＤ１のフレー
ムレートの変更に伴い符号化対象の第２のフレーム画像
データに新たな参照用の第１又は第２のフレーム画像デ
ータＤ６を割り当てたときには、当該符号化対象の第２
のフレーム画像データに対して簡易動きベクトルＤ２４
の検出時に参照用として第２のフレーム画像データＤ６
（すなわち、符号化対象の第２のフレーム画像データに
順方向側で隣接する第２フレーム画像データ）が割り当
てられていれば、動きベクトル検出器６６によりその符
号化対象の第２のフレーム画像データに対する各第２の
マクロブロックデータＤ４の予め検出している簡易動き
ベクトルＤ２４を当該簡易動きベクトルＤ２４の検出時
に参照用となっていた第２のフレーム画像データＤ６に
対する各マクロブロックデータＤ４の簡易動きベクトル
Ｄ２４と合成し、得られた合成簡易動きベクトルを用い
て階層サーチ動きベクトル検出方式による第１階層にお
いて例えばテレスコピックサーチ法を用いて当該符号化
対象の第２のフレーム画像データに対する各第２のマク
ロブロックデータＤ４の原画像レベルの動きベクトルＤ
２６を検出するようにしても良い。このようにしてもフ
レームレートの変更に伴う動きベクトルの再検出時に動
きベクトル検出器６６の処理負荷を大幅に低減させるこ
とができる。
【０２６１】因みに、このような簡易動きベクトルＤ２
４の合成を簡易動きベクトル検出器６４によって実行す
れば、動きベクトル検出器６６の処理負荷を低減させる
こともできる。
【０２６２】さらに、上述した第２の実施の形態におい
ては、第２のフレーム画像データの各マクロブロックデ
ータＤ４を順方向予測符号化により圧縮符号化するよう
にした場合について述べたが、各第２のマクロブロック
データＤ４の分散値を用いてフレーム内符号化及び順方
向予測符号化のいずれで圧縮符号化するようにしても良
い。
【０２６３】さらに、上述した第２の実施の形態におい
ては、動きベクトル検出器６６により入力用フレームメ
モリ３２から読み出した参照用の第１及び第２のフレー
ム画像データＤ６を用いて各第２のマクロブロックデー
タＤ４の動きベクトルＤ２６を検出するようにした場合
について述べたが、本発明はこれに限らず、動きベクト
ル検出器６６により参照用フレームメモリ４７から参照
用の第１及び第２のフレーム画像データを読み出して各
第２のマクロブロックデータＤ４の動きベクトルＤ２６
を検出するようにしても良い。このようにすれば動きベ
クトルＤ２６の検出に一旦圧縮符号化した後に復号化し
て再構築することにより圧縮符号化によって発生したブ
ロックノイズ等を持つ第１及び第２のフレーム画像デー
タを用いることができ、当該動きベクトルＤ２６の検出
精度を向上させることができる。
【０２６４】さらに、上述した第２の実施の形態におい
ては、第２のマクロブロックデータＤ４の動きベクトル
Ｄ２６の検出に第１階層及び第２階層の２階層からなる
階層サーチ動きベクトル検出方式を用いるようにした場
合について述べたが、本発明はこれに限らず、第２のマ
クロブロックデータＤ４の動きベクトルの検出に３階層
以上の階層サーチ動きベクトル検出方式を用いるように
しても良い。
【０２６５】さらに、上述した第２の実施の形態におい
ては、バッファ４２のデータ蓄積量ＤＲ及び符号化予測
データ量に応じて動画像データＤ１のフレームレートを
変更するようにした場合について述べたが、本発明はこ
れに限らず、バッファ４２のデータ蓄積量ＤＲに応じて
動画像データＤ１のフレームレートを変更するようにし
ても良い。このようにしてフレームレートを変更しても
データ蓄積量ＤＲの急激な増減に適確に対処して動画像
の画質を安定化させることができる。
【０２６６】（４）第３の実施の形態 図１０との対応部分に同一符号を付して示す図１５は第
３の実施の形態による動画像符号化装置７０を示し、動
きベクトル検出処理部７１及び圧縮符号化部７２並びに
マスク画像処理部７３の構成を除いて第２の実施の形態
による動画像符号化装置６０と同様に構成されている。
【０２６７】動きベクトル検出処理部７１において簡易
動きベクトル検出器７４は、入力用フレームメモリ３２
内で動画像データＤ１を構成する先頭のフレーム画像デ
ータにＩピクチャが割り当てられたとき、当該Ｉピクチ
ャの割り当てられた第１のフレーム画像データのピクチ
ャ情報を読み出すことによりそのピクチャ情報に基づい
て予測モードデータＤ３を生成し、当該生成した予測モ
ードデータＤ３を簡易動きベクトルバッファ７５に送出
して蓄積する。
【０２６８】また、簡易動きベクトル検出器７４は、入
力用フレームメモリ３２内でフレーム画像データにＰピ
クチャが割り当てられたとき、図１０について上述した
動画像符号化装置６０の簡易動きベクトル検出器６４と
同様に当該Ｐピクチャの割り当てられた第２のフレーム
画像データ及び参照用の第１又は第２のフレーム画像デ
ータのピクチャ情報に基づいて予測モードデータＤ２０
を生成する。
【０２６９】そして、簡易動きベクトル検出器７４は、
図１１（Ａ）及び（Ｂ）並びに図１２について上述した
場合と同様に階層サーチ動きベクトル検出方式による第
２階層において、Ｐピクチャの割り当てられた第２のフ
レーム画像データに対する各第２のマクロブロックデー
タＤ４の簡易動きベクトルＤ２４を検出し、当該検出し
た各簡易動きベクトルＤ２４を予測モードデータＤ２０
に対応付けて簡易動きベクトルバッファ７５に送出して
蓄積する。
【０２７０】これに加えて簡易動きベクトル検出器７４
は、入力用フレームメモリ３２内で動画像データＤ１を
構成する各フレーム画像データのうち先頭以外のフレー
ム画像データにＩピクチャが割り当てられたときには、
当該Ｉピクチャの割り当てられた第１のフレーム画像デ
ータのピクチャ情報を読み出すと共に、その第１のフレ
ーム画像データと順方向側で隣接する参照用の第２のフ
レーム画像データＤ６のピクチャ情報を読み出す。
【０２７１】簡易動きベクトル検出器７４は、これらピ
クチャ情報に基づいて符号化対象の第１のフレーム画像
データのフレーム識別情報を符号化対象フレーム識別情
報として表すと共に参照用の第２のフレーム画像データ
Ｄ６のフレーム識別情報を参照用フレーム識別情報とし
て表し、さらに符号化対象の第１のフレーム画像データ
を順次第１のマクロブロックデータＤ２単位でフレーム
内符号化により圧縮符号化することを表す予測モードデ
ータＤ３０を生成する。
【０２７２】また、簡易動きベクトル検出器７４は、こ
のとき入力用フレームメモリ３２からその符号化対象の
第１のフレーム画像データを順次第１のマクロブロック
データＤ２単位で読み出すと共に参照用の第２のフレー
ム画像データＤ６を読み出し、図１１（Ａ）及び（Ｂ）
並びに図１２について上述した場合と同様に階層サーチ
動きベクトル検出方式による第２階層において当該第１
のフレーム画像データに対する各第１のマクロブロック
データＤ２の簡易動きベクトルＤ３１を検出する。
【０２７３】そして、簡易動きベクトル検出器７４は、
第１のフレーム画像データに対する予測モードデータＤ
３０及び各第１のマクロブロックデータＤ２の簡易動き
ベクトルＤ３１を対応付けて簡易動きベクトルバッファ
７５に送出して蓄積する。
【０２７４】このようにして簡易動きベクトル検出器７
４は、入力用フレームメモリ３２にフレーム画像データ
が順次取り込まれてＩピクチャ及びＰピクチャが割り当
てられると、その都度同様にして予測モードデータＤ
３、Ｄ２０、Ｄ３０を生成すると共に簡易動きベクトル
Ｄ２４、Ｄ３１を検出し、これらを簡易動きベクトルバ
ッファ７５に蓄積する。
【０２７５】ここで、動画像符号化装置７０において
は、外部から供給される動画像データＤ１を順次フレー
ム画像データ単位で入力用フレームメモリ３２と共にマ
スク画像処理部７３のマスク画像生成器７７にも取り込
んでいる。
【０２７６】そして、マスク画像生成器７７には、図１
６に示すように、外部からフレーム画像データに基づく
フレーム画像８０から抽出する人物等の抽出画像の初期
位置を指定すると共に枠８１により当該抽出画像の任意
形状を指定する形状指定データＤ３５が与えられてい
る。
【０２７７】この場合、マスク画像生成器７７は、動画
像データＤ１を構成する各フレーム画像データのうち先
頭のフレーム画像データを取り込むと、当該取り込んだ
フレーム画像データをマクロブロックデータに分割し、
形状指定データＤ３５に基づいて図１７に示すようにそ
の先頭のフレーム画像データに基づくフレーム画像８３
内で抽出画像の枠８１を囲む矩形状の追跡領域８４Ａを
設定することにより当該設定した追跡領域８４Ａ内のマ
クロブロックデータを検出する。
【０２７８】また、マスク画像生成器７７は、２フレー
ム目のフレーム画像データを取り込むと、当該２フレー
ム目のフレーム画像データをマクロブロックデータに分
割し、簡易動きベクトルバッファ７５から２フレーム目
のフレーム画像データ（すなわち、第２のフレーム画像
データ）に対する各マクロブロックデータ（すなわち、
第２のマクロブロックデータＤ４）の簡易動きベクトル
Ｄ２４を読み出す。
【０２７９】そして、マスク画像生成器７７は、各簡易
動きベクトルＤ２４を用いて先頭のフレーム画像データ
に基づくフレーム画像８３の追跡領域８４Ａ内の各マク
ロブロックデータが２フレーム目のフレーム画像データ
に基づくフレーム画像８５内で移動した位置をおおまか
に検出した後、当該フレーム画像８３及び８５間で追跡
領域８４Ａ及び８４Ｂ同士を例えばラインマッチング法
によって比較することによりその追跡領域８４Ａ内の各
マクロブロックデータの移動した位置を高精度に検出す
る。
【０２８０】これによりマスク画像生成器７７は、２フ
レーム目のフレーム画像データに基づくフレーム画像８
５内で各マクロブロックデータを含む追跡領域８４Ｂを
特定すると、当該特定した追跡領域８４Ｂ内で抽出画像
の枠８１を特定する。
【０２８１】このようにしてマスク画像生成器７７は、
外部から順次フレーム画像データを取り込む毎に、簡易
動きベクトルバッファ７５から読み出した対応する簡易
動きベクトルＤ２４及びＤ３１を用いると共にラインマ
ッチング法を用いて順次隣接するフレーム画像データ間
で追跡領域８４Ａ内の各マクロブロックデータの移動し
た位置を検出して追跡領域８４Ｂと共に抽出画像の枠８
１を特定することにより複数のフレーム画像データに渡
って順次抽出画像を追跡する。
【０２８２】これに加えて、マスク画像生成器７７は、
このように順次隣接するフレーム画像データ間で抽出画
像を追跡すると、図１８に示すように、まず先頭のフレ
ーム画像データについては形状指定データＤ３５に基づ
いて各マクロブロックデータの各画素の画素値を変更す
ることによりフレーム画像８３（図１７）において抽出
画像の枠８１よりも内側を例えば白色とし、かつ当該枠
８１よりも外側を黒色として抽出画像の初期位置及び任
意形状を表すマスク画像８６を生成し、当該生成したマ
スク画像８６のデータ（以下、これをマスク画像データ
と呼ぶ）Ｄ３６を複数フレーム分の記憶容量を有するマ
スク用フレームメモリ９０に送出して蓄積する。
【０２８３】また、マスク画像生成器７７は、２フレー
ム目以降のフレーム画像データについては、追跡した抽
出画像の枠８１に基づいて各マクロブロックデータの画
素の画素値を変更することにより先頭のフレーム画像デ
ータの場合と同様に処理して抽出画像の移動位置及び任
意形状を表すマスク画像データＤ３６を生成し、当該生
成したマスク画像データＤ３６をマスク用フレームメモ
リ９０に送出して蓄積する。
【０２８４】このようにしてマスク画像生成器７７は、
フレーム画像データを取り込む毎に抽出画像を追跡しな
がら当該フレーム画像データから抽出画像の移動位置及
び任意形状を表すマスク画像データＤ３６を生成してマ
スク用フレームメモリ９０に蓄積する。
【０２８５】ところで、動きベクトル検出器９１は、簡
易動きベクトル検出器７４により所定フレーム数分の簡
易動きベクトルＤ２４及びＤ３１が簡易動きベクトルバ
ッファ７５に蓄積されると共に、マスク画像生成器７７
により所定フレーム数分のマスク画像データＤ３６がマ
スク用フレームメモリ９０に蓄積されることにより圧縮
符号化部７２が符号化対象の第１及び第２のフレーム画
像データに対して圧縮符号化を開始すると、当該符号化
対象の第１及び第２のフレーム画像データに対する圧縮
符号化の順番に従って簡易動きベクトルバッファ７５か
ら順次対応する予測モードデータＤ３及びＤ２０並びに
Ｄ３０を読み出す。
【０２８６】動きベクトル検出器９１は、簡易動きベク
トルバッファ７５から予測モードデータＤ３及びＤ２０
並びにＤ３０を読み出す毎に、当該予測モードデータＤ
３及びＤ２０並びにＤ３０に基づいて得られる符号化対
象フレーム識別情報及び参照用フレーム識別情報を、こ
のときフレーム構造変換器６２から与えられた対応する
コントロールフラグＣＦ１及びＣＦ２並びにＣＦ３に基
づいて得られた符号化対象フレーム識別情報及び参照用
フレーム識別情報並びに間引きフレーム識別情報と比較
する。
【０２８７】この場合、動きベクトル検出器９１は、簡
易動きベクトルバッファ７５から第１のフレーム画像デ
ータに対する予測モードデータＤ３、Ｄ３０を読み出し
たときには、図５（Ａ）乃至（Ｃ）について上述したよ
うに第１のフレーム画像データが間引きの対象から除外
されており、予測モードデータＤ３、Ｄ３０及び対応す
るコントロールフラグＣＦ１に基づいて得られる符号化
対象フレーム識別情報同士が一致することにより当該第
１のフレーム画像データが間引かれていないと判断して
予測モードデータＤ３、Ｄ３０を動き補償器９２及び可
変長符号化器９３に送出する。
【０２８８】また、動きベクトル検出器９１は、簡易動
きベクトルバッファ７５から第２のフレーム画像データ
に対する予測モードデータＤ２０を読み出したとき、そ
の予測モードデータＤ２０及び対応するコントロールフ
ラグＣＦ２に基づいて当該第２のフレーム画像データ
と、これに簡易動きベクトルＤ２４の検出時に対応付け
た参照用の第１又は第２のフレーム画像データＤ６とが
間引かれていないことを検出すると、簡易動きベクトル
バッファ７５からその予測モードデータＤ２０に対応付
けられている簡易動きベクトルＤ２４を読み出す。
【０２８９】このとき動きベクトル検出器９１は、コン
トロールフラグＣＦ２に基づいて入力用フレームメモリ
３２から符号化対象の第２のフレーム画像データを順次
第２のマクロブロックデータＤ４単位で読み出すと共に
簡易動きベクトルＤ２４の検出時に対応付けた参照用の
第１又は第２のフレーム画像データＤ６を読み出し、さ
らにマスク用フレームメモリ９０から当該符号化対象の
第２のフレーム画像データに対応するマスク画像データ
Ｄ３６も読み出す。
【０２９０】そして、動きベクトル検出器９１は、図１
９に示すように、マスク画像データＤ３６を用いて各第
２のマクロブロックデータＤ４うち任意形状の抽出画像
のエッジ部分８１Ａよりも外側及び内側に位置するもの
と当該エッジ部分８１Ａにかかるものとを判別する。
【０２９１】この結果、動きベクトル検出器９１は、各
第２のマクロブロックデータＤ４のうち抽出画像のエッ
ジ部分８１Ａよりも外側に位置する第２のマクロブロッ
クデータＤ４に対しては、原画像レベルの動きベクトル
の検出を実行せずに予測モードデータＤ２０のみを動き
補償器９２及び可変長符号化器９３に送出する。
【０２９２】また、動きベクトル検出器９１は、各第２
のマクロブロックデータＤ４のうち抽出画像のエッジ部
分８１Ａよりも内側に位置する第２のマクロブロックデ
ータＤ４に対しては、簡易動きベクトルバッファ７５か
ら対応する簡易動きベクトルＤ２４を読み出し、図１２
について上述した場合と同様に階層サーチ動きベクトル
検出方式による第１階層において原画像レベルの動きベ
クトルＤ２６を検出し、当該検出した動きベクトルＤ２
６を予測モードデータＤ２０と共に動き補償器９２及び
可変長符号化器９３に送出する。
【０２９３】さらに、動きベクトル検出器９１は、図２
０に示すように、各第２のマクロブロックデータＤ４の
うち抽出画像のエッジ部分８１Ａにかかる第２のマクロ
ブロックデータＤ４に対しては、特にマスク画像データ
Ｄ３６を用いて当該第２のマクロブロックデータＤ４内
の全ての画素のうちエッジ部分８１Ａの内側に位置する
画素を判別する。
【０２９４】そして、動きベクトル検出器９１は、図１
２について上述した場合と同様な階層サーチ動きベクト
ル検出方式による第１階層においてブロックマッチング
法により第２のマクロブロックデータＤ４の各画素のう
ちエッジ部分８１Ａの内側に位置する画素のみを選択的
に用いて予測誤差を算出することにより原画像レベルの
動きベクトルＤ３７を検出し、当該検出した動きベクト
ルＤ３７を予測モードデータＤ２０と共に動き補償器９
２及び可変長符号化器９３に送出する。
【０２９５】また、動きベクトル検出器９１は、簡易動
きベクトルバッファ７５から第２のフレーム画像データ
に対する予測モードデータＤ２０を読み出したとき、動
画像データＤ１のフレームレートの変更に伴い符号化対
象の第２のフレーム画像データに対して新たな第１又は
第２のフレーム画像データＤ６が参照用として対応付け
られていれば、コントロールフラグＣＦ２に基づいて入
力用フレームメモリ３２からその符号化対象の第２のフ
レーム画像データを順次第２のマクロブロックデータＤ
４単位で読み出すと共に新たに対応付けられた参照用の
第１又は第２のフレーム画像データＤ６を読み出し、さ
らにマスク用フレームメモリ９０から当該符号化対象の
第２のフレーム画像データに対応するマスク画像データ
Ｄ３６を読み出す。
【０２９６】このとき動きベクトル検出器９１は、予測
モードデータＤ２０に、予め格納されている参照用フレ
ーム識別情報に代えてコントロールフラグＣＦ２に基づ
いて得られた新たな参照用フレーム識別情報を格納する
ことにより第２のマクロブロックデータＤ４に対して内
容を修正した予測モードデータＤ２７を生成する。
【０２９７】また、動きベクトル検出器９１は、符号化
対象の第２のフレーム画像データの各第２のマクロブロ
ックデータＤ４及び新たに対応付けられた参照用の第１
又は第２のフレーム画像データＤ６を用いて図１２につ
いて上述した場合と同様に階層サーチ動きベクトル検出
方式による第２階層においてこれら各第２のマクロブロ
ックデータＤ４の簡易動きベクトルＤ２４を検出する。
【０２９８】そして、動きベクトル検出器９１は、検出
した各第２のマクロブロックデータＤ４の簡易動きベク
トルＤ２４を用いて図１９及び図２０について上述した
場合と同様に第１階層においてマスク画像データＤ３６
によって指定された抽出画像のエッジ部分８１Ａよりも
内側及び当該エッジ部分８１Ａにかかる第２のマクロブ
ロックデータＤ４に対してのみ原画像レベルの動きベク
トルＤ２６及びＤ３７を生成する。
【０２９９】これにより動きベクトル検出器９１は、抽
出画像のエッジ部分８１Ａよりも外側に位置する第２の
マクロブロックデータＤ４に対しては予測モードデータ
Ｄ２７のみを動き補償器９２及び可変長符号化器９３に
送出し、当該エッジ部分８１Ａよりも内側及びそのエッ
ジ部分８１Ａにかかる第２のマクロブロックデータＤ４
に対しては原画像レベルの動きベクトルＤ２６及びＤ３
７を予測モードデータＤ２７と共に動き補償器９２及び
可変長符号化器９３に送出する。
【０３００】さらに、動きベクトル検出器９１は、簡易
動きベクトルバッファ７５から符号化対象の第２のフレ
ーム画像データに対する予測モードデータＤ２０を読み
出したときにフレーム構造変換器６２から与えられたコ
ントロールフラグＣＦ３に基づいて当該第２のフレーム
画像データが間引かれていることを検出すると、その第
２のフレーム画像データに対する原画像レベルでの動き
ベクトルの検出を見送ると共に、このときマスク用フレ
ームメモリ９０に対して当該符号化対象の第２のフレー
ム画像データに対応するマスク画像データＤ３６を読出
不可能な状態にする。
【０３０１】このようにして動きベクトル検出器９１
は、フレーム構造変換器６２による動画像データＤ１の
フレームレートの変更に適確に応じながら符号化対象の
第２のフレーム画像データに対して抽出画像に対応する
第２のマクロブロックデータＤ４の動きベクトルＤ２６
及びＤ３７を順次適確に検出（再検出を含む）し得るよ
うになされている。
【０３０２】一方、マスク画像処理部７３においてマス
ク画像符号化器９４は、圧縮符号化部７２により符号化
対象の第１又は第２のフレーム画像データに対する圧縮
符号化が開始されると、当該第１及び第２のフレーム画
像データに対する圧縮符号化の順番に従ってマスク用フ
レームメモリ９０から順次対応するマスク画像データＤ
３６を読み出すと共に、当該読み出したマスク画像デー
タＤ３６をＭＰＥＧ４方式によって規定されているマス
ク画像データ符号化方法により圧縮符号化し、得られた
符号化データＤ４０を局所復号器９５及びバッファ９６
に送出する。
【０３０３】因みに、マスク画像符号化器９４は、動き
ベクトル検出器９１によりマスク用フレームメモリ９０
内において読出不可能な状態にされたマーク画像データ
Ｄ３６については読み出しを見送るようにする。
【０３０４】局所復号器９５は、マスク画像符号化器９
４から与えられた符号化データＤ４０をＭＰＥＧ４方式
の規定に従って復号化し、得られたマスク画像データＤ
４１を複数フレーム分の記録容量を有する参照用フレー
ムメモリ９７に送出して蓄積する。
【０３０５】また、圧縮符号化部７２において演算器３
８は、符号化対象の第１及び第２のフレーム画像データ
に対して圧縮符号化を開始すると、入力用フレームメモ
リ３２から第１のフレーム画像データについては順次第
１のマクロブロックデータＤ２単位で読み出す。
【０３０６】動き補償器９２は、このとき動きベクトル
検出器９１から与えられた対応する予測モードデータＤ
３及びＤ３０に基づいて第１のマクロブロックデータＤ
２に対する動き補償処理を停止する。
【０３０７】これにより演算器３８は、入力用フレーム
メモリ３２から第１のフレーム画像データの第１のマク
ロブロックデータＤ２を読み出すと、このとき動き補償
器９２からは何らデータが与えられないことにより当該
第１のマクロブロックデータＤ２をそのまま離散コサイ
ン変換器９８に送出する。
【０３０８】離散コサイン変換器９８は、符号化対象の
第１及び第２のフレーム画像データに対する圧縮符号化
が開始されると、当該符号化対象の第１及び第２のフレ
ーム画像データに対する圧縮符号化の順番に従って参照
用フレームメモリ９７から順次対応するマスク画像デー
タＤ４１を読み出しており、演算器３８から第１のマク
ロブロックデータＤ２が与えられると、対応するマスク
画像データＤ４１に基づいて当該第１のマクロブロック
データＤ２が抽出画像のエッジ部分８１Ａよりも外側及
び内側並びに当該エッジ部分８１Ａのどこに位置するか
を判別する。
【０３０９】そして、離散コサイン変換器９８は、第１
のマクロブロックデータＤ２がエッジ部分８１Ａよりも
外側に位置するときにはＭＰＥＧ４方式の規定に従い当
該第１のマクロブロックデータＤ２の各画素の画素値を
圧縮符号化の際にデータ量を大幅に低減させる例えば黒
色を表す画素値に変更する。
【０３１０】また、離散コサイン変換器９８は、第１の
マクロブロックデータＤ２がエッジ部分８１Ａよりも内
側に位置するときにはＭＰＥＧ４方式の規定に従い当該
第１のマクロブロックデータＤ２をそのまま変更しない
ようにする。
【０３１１】さらに、離散コサイン変換器９８は、第１
のマクロブロックデータＤ２がエッジ部分８１Ａにかか
るときにはＭＰＥＧ４方式の規定に従い当該第１のマク
ロブロックデータＤ２の各画素のうちエッジ部分８１Ａ
よりも外側の画素の画素値を黒色を表す画素値に変更
し、かつ当該エッジ部分８１Ａよりも内側の画素の画素
値はそのまま変更しないようにする。
【０３１２】かくして離散コサイン変換器９８は、マス
ク画像データＤ４１に基づいて各第１のマクロブロック
データＤ２に画素値の変更処理を施すことにより第１の
フレーム画像データに基づくフレーム画像において任意
形状の抽出画像を見かけ上抽出した状態としてこれら各
第１のマクロブロックデータＤ２を離散コサイン変換
し、得られた離散コサイン変換係数Ｋ１０を量子化器４
１に送出する。
【０３１３】量子化器４１は、離散コサイン変換器９８
から与えられた離散コサイン変換係数Ｋ１０を対応する
量子化ステップＳＴに基づいて量子化し、得られた量子
化係数Ｋ１１をその量子化に用いた量子化ステップＳＴ
と共に可変長符号化器９３及び逆量子化器４４に送出す
る。
【０３１４】可変長符号化器９３は、量子化器４１から
与えられた量子化係数Ｋ１１をハフマン符号等により可
変長符号化すると共に、当該量子化器４１から与えられ
た量子化ステップＳＴ及び動きベクトル検出器９１から
与えられた対応する予測モードデータＤ３を可変長符号
化し、得られた符号化データＤ４５をバッファ９６に送
出して一旦蓄積する。
【０３１５】これによりバッファ９６は、可変長符号化
器９３から与えられた符号化データＤ４５及びマスク画
像符号化器９４から与えられた符号化データＤ４０を符
号化データ量を平滑化した符号化ビットストリームＢＳ
２として外部に出力する。
【０３１６】このようにして画像符号化装置７０におい
ては、入力用フレームメモリ３２内の第１のフレーム画
像データについては見かけ上抽出画像データを抽出した
状態にして順次第１のマクロブロックデータＤ２単位で
フレーム内符号化により圧縮符号化し得るようになされ
ている。
【０３１７】また、逆量子化器４４は、量子化器４１か
ら与えられた量子化係数Ｋ１１を同様に量子化器４１か
ら与えられた量子化ステップＳＴに基づいて逆量子化
し、得られた離散コサイン変換係数Ｋ１２を逆離散コサ
イン変換器４５に送出する。
【０３１８】逆離散コサイン変換器４５は、逆量子化器
４４から与えられた離散コサイン変換係数Ｋ１２を逆離
散コサイン変換し、得られた第１のマクロブロックデー
タＤ４６を加算器４６に送出する。
【０３１９】加算器４６は、逆離散コサイン変換器４５
から第１のマクロブロックデータＤ４６が与えられる
と、このとき動き補償器９２からは何らデータが与えら
れていないことにより当該第１のマクロブロックデータ
Ｄ４６をそのまま参照用フレームメモリ９７に送出して
格納する。
【０３２０】このようにして加算器４６は、第１のフレ
ーム画像データに対する圧縮符号化により逆離散コサイ
ン変換器４５から第１のマクロブロックデータＤ４６が
順次与えられる毎に当該第１のマクロブロックデータＤ
４６をそのまま参照用フレームメモリ９７に送出して格
納することにより、参照用フレームメモリ９７内にこれ
ら第１のマクロブロックデータＤ４６によって見かけ上
抽出画像データを抽出した第１のフレーム画像データを
動き補償処理の参照用として再構築する。
【０３２１】また、演算器３８は、入力用フレームメモ
リ３２から第１のフレーム画像データを読み出すと、こ
れに続いて符号化対象の第２のフレーム画像データを順
次第２のマクロブロックデータＤ４単位で読み出す。
【０３２２】このとき動き補償器９２は、動きベクトル
検出器９１から与えられた対応する予測モードデータＤ
２０及びＤ２７に基づいて動き補償処理を実行すること
により参照用フレームメモリ９７から符号化対象の第２
のフレーム画像データに参照用として対応付けられ、か
つ見かけ上抽出画像データが抽出された第１又は第２の
フレーム画像データを読み出すと共に当該符号化対象の
第２のフレーム画像データに対応するマスク画像データ
Ｄ４１を読み出す。
【０３２３】そして、動き補償器９２は、ＭＰＥＧ４方
式の規定に従い動きベクトル検出器９１から与えられた
第２のマクロブロックデータＤ４の動きベクトルＤ２
６、Ｄ３７及びマスク画像データＤ４１に基づいて参照
用の第１又は第２のフレーム画像データ内から当該第２
のマクロブロックデータＤ４と最も一致する演算用ブロ
ックデータＤ４７を抽出し、当該抽出した演算用ブロッ
クデータＤ４７を演算器３８及び加算器４６に送出す
る。
【０３２４】従って、演算器３８は、入力用フレームメ
モリ３２から第２のマクロブロックデータＤ４を読み出
すと、このとき動き補償器９２から与えられた演算用マ
クロブロックデータＤ４７を当該第２のマクロブロック
データＤ４から減算し、得られた差分データＤ４８を離
散コサイン変換器９８に送出する。
【０３２５】離散コサイン変換器９８は、演算器３８か
ら差分データＤ４８が与えられると、ＭＰＥＧ４方式の
規定に従い対応するマスク画像データＤ４１に基づいて
当該差分データＤ４８に見かけ上抽出画像データを抽出
するための画素値の変更処理を施した後に離散コサイン
変換し、得られた離散コサイン変換係数Ｋ１３を量子化
器４１に送出する。
【０３２６】量子化器４１は、離散コサイン変換器９８
から与えられた離散コサイン変換係数Ｋ１３を対応する
量子化ステップＳＴに基づいて量子化し、得られた量子
化係数Ｋ１４をその量子化ステップＳＴと共に可変長符
号化器９３及び逆量子化器４４に送出する。
【０３２７】可変長符号化器９３は、量子化器４１から
与えられた量子化係数Ｋ１４をハフマン符号等により可
変長符号化すると共に、当該量子化器４１から与えられ
た量子化ステップＳＴと動きベクトル検出器９１から与
えられた対応する予測モードデータＤ２０、Ｄ２７及び
動きベクトルＤ２６、Ｄ３７も可変長符号化し、得られ
た符号化データＤ４８をバッファ９６に送出して一旦蓄
積する。
【０３２８】これによりバッファ９６は、可変長符号化
器９３から与えられた符号化データＤ４８及びマスク画
像符号化器９４から与えられた符号化データＤ４０を符
号化データ量を平滑化した符号化ビットストリームＢＳ
２として外部に出力する。
【０３２９】このようにして画像符号化装置７０におい
ては、入力用フレームメモリ３２内の第２のフレーム画
像データについても見かけ上抽出画像データを抽出した
状態にして順次第２のマクロブロックデータＤ４単位で
順方向予測符号化により圧縮符号化し得るようになされ
ている。
【０３３０】このとき、逆量子化器４４は、量子化器４
１から与えられた量子化係数Ｋ１４を同様に量子化器４
１から与えられた量子化ステップＳＴに基づいて逆量子
化し、得られた離散コサイン変換係数Ｋ１５を逆離散コ
サイン変換器４５に送出する。
【０３３１】また、逆離散コサイン変換器４５は、逆量
子化器４４から与えられた離散コサイン変換係数Ｋ１５
を逆離散コサイン変換し、得られた差分データＤ５０を
加算器４６に送出する。
【０３３２】加算器４６は、逆離散コサイン変換器４５
から差分データＤ５０が与えられると、このとき動き補
償器９２から演算用ブロックデータＤ４７が与えられる
ことにより当該差分データＤ５０と演算用ブロックデー
タＤ４７とを加算し、得られた第２のマクロブロックデ
ータＤ５１を参照用フレームメモリ９７に送出して格納
する。
【０３３３】このようにして加算器４６は、第２のフレ
ーム画像データに対する圧縮符号化により逆離散コサイ
ン変換器４５から差分データＤ５０が与えられる毎に当
該差分データＤ５０と対応する演算用ブロックデータＤ
４７とを加算して第２のマクロブロックデータＤ５１を
生成し、当該生成した第２のマクロブロックデータＤ５
１を参照用フレームメモリ９７に送出して格納すること
によりその参照用フレームメモリ９７内にこれら第２の
マクロブロックデータＤ５１によって見かけ上抽出画像
データを抽出した第２のフレーム画像データを動き補償
処理の参照用として再構築する。
【０３３４】因みに、可変長符号化器９３は、第１及び
第２のフレーム画像データから得られた量子化係数Ｋ１
１及びＫ１４に対して抽出画像データの部分を選択的に
可変長符号化するようになされており、これにより可変
長符号化の処理負荷を低減させると共に符号化ビットス
トリームＢＳ２の符号化データ量を低減し得るようにな
されている。
【０３３５】かくしてこの動画像符号化装置７０におい
ては、動画像データＤ１に対するフレームレートを適宜
変更しながら第１及び第２のフレーム画像データから見
かけ上抽出画像データを抽出して圧縮符号化し、得られ
た符号化ビットストリームＢＳ２を外部に出力し得るよ
うになされている。
【０３３６】ここで、この動画像符号化装置７０のフレ
ームレート変更処理部６１と動きベクトル検出処理部７
１と圧縮符号化部７２とマスク画像処理部７３とによる
動画像データＤ１の圧縮符号化処理手順についてまとめ
てみると、図１３（Ａ）及び図１４（Ａ）との対応部分
に同一符号を付した図２１（Ａ）及び図２２（Ａ）に示
すように、まず動きベクトル検出処理部７１は、ルーチ
ンＲＴ６の開始ステップから入ってステップＳＰ５１に
移る。
【０３３７】ステップＳＰ５１において動きベクトル検
出処理部７１は、簡易動きベクトル検出回路７４により
入力用フレームメモリ３２から先頭の第１のフレーム画
像データ以外の第１及び第２のフレーム画像データを順
次第１及び第２のマクロブロックデータＤ２及びＤ４単
位で読み出すと共に、当該第１及び第２のフレーム画像
データに対する参照用の第１又は第２のフレーム画像デ
ータＤ６を読み出し、階層サーチ動きベクトル検出方式
による第２階層において１フレーム分の各第１及び第２
のマクロブロックデータＤ２及びＤ４の簡易動きベクト
ルＤ２４及びＤ３１を検出して簡易動きベクトルバッフ
ァ７５に蓄積してステップＳＰ３２に移る。
【０３３８】ステップＳＰ３２において動きベクトル検
出処理部７１は、簡易動きベクトル検出器７４によりフ
レーム間相関値ＳＨ２を算出してフレーム構造変換器６
２に送出した後にステップＳＰ３３に移る。
【０３３９】ステップＳＰ３３において動きベクトル検
出処理部７１は、動きベクトル検出器９１により入力用
フレームメモリ３２に対する演算器３８のアクセスの有
無を監視して第１及び第２のフレーム画像データの圧縮
符号化が開始されたか否かを判断し、当該第１及び第２
のフレーム画像データの圧縮符号化が開始されるまでの
間はステップＳＰ５１−ＳＰ３２−ＳＰ３３の処理ルー
プを繰り返すことにより順次第１及び第２のフレーム画
像データにおける各第１及び第２のマクロブロックデー
タＤ２及びＤ４の簡易動きベクトルＤ２４及びＤ３１を
検出すると共に、フレーム間相関値ＳＨ２を算出する。
【０３４０】このとき図２１（Ｂ）及び図２２（Ｂ）に
示すように、マスク画像処理部７３は、ルーチンＲＴ７
の開始ステップから入ってステップＳＰ６１に移り、外
部から供給される動画像データＤ１を順次フレーム画像
データ単位で取り込み、形状指定データＤ３５に基づい
て先頭のフレーム画像データに対して抽出画像の初期位
置及び任意形状を特定したマスク画像データＤ３６を生
成してマスク用フレームメモリ９０に蓄積してステップ
ＳＰ６２に移る。
【０３４１】ステップＳＰ６２においてマスク画像処理
部７３は、例えばマスク用フレームメモリ９０に対する
動きベクトル検出器９１のアクセスの有無を監視して第
１及び第２のフレーム画像データの圧縮符号化が開始さ
れたか否かを判断し、当該第１及び第２のフレーム画像
データの圧縮符号化が開始されるまでの間はステップＳ
Ｐ６１−ＳＰ６２の処理ループを繰り返すことにより２
フレーム目以降のフレーム画像データに対して簡易動き
ベクトルバッファ７５から読み出した第１及び第２のマ
クロブロックデータの簡易動きベクトルＤ２４及びＤ３
１を用いて順次抽出画像を追跡しながらこれら各フレー
ム画像データに対して抽出画像の移動位置及び任意形状
を表すマスク画像データＤ３６を生成してマスク用フレ
ームメモリ９０に蓄積する。
【０３４２】この後圧縮符号化部７２により符号化対象
の第１及び第２のフレーム画像データに対する圧縮符号
化が開始されると、動きベクトル検出処理部７１はステ
ップＳＰ３３からステップＳＰ３４に移り、図１３
（Ａ）及び図１４（Ａ）について上述した場合と同様に
ステップＳＰ３４−ＳＰ３５−ＳＰ３６の処理を順次実
行してステップＳＰ５２に移る。
【０３４３】ステップＳＰ５２において動きベクトル検
出処理部７１は、動きベクトル検出器９１により入力用
フレームメモリ３２から符号化対象の第２のフレーム画
像データを順次第２のマクロブロックデータＤ４単位で
読み出すと共に参照用の第１又は第２のフレーム画像デ
ータＤ６を読み出し、さらにマスク用フレームメモリ９
０から対応するマスク画像データＤ３６を読み出すこと
により当該読み出したマスク画像データＤ３６に基づい
て各第２のマクロブロックデータＤ４うち任意形状の抽
出画像のエッジ部分８１Ａよりも外側及び内側並びに当
該エッジ部分８１Ａにかかるものをそれぞれ判別した後
に階層サーチ動きベクトル検出方式による第１階層にお
いてその判別結果に応じて各第２のマクロブロックデー
タＤ４の原画像レベルの動きベクトルＤ２６及びＤ３７
を検出してステップＳＰ３８に移る。
【０３４４】ステップＳＰ３８において動きベクトル検
出処理部７１は、簡易動きベクトル検出器７４により２
フレーム以降の全ての第１及び第２のフレーム画像デー
タに対する各第１及び第２のマクロブロックデータＤ２
及びＤ４の簡易動きベクトルＤ２４及びＤ３１を検出し
たか否を判断し、入力用フレームメモリ３２に簡易動き
ベクトルＤ２４及びＤ３１を検出すべき第１及び第２の
フレーム画像データが取り込まれている間はステップＳ
Ｐ５１に戻り当該ステップＳＰ５１―ＳＰ３２−ＳＰ３
３−ＳＰ３４−ＳＰ３５−ＳＰ３６−ＳＰ５２−ＳＰ３
８の処理ループを繰り返すことにより入力用フレームメ
モリ３２に取り込まれている２フレーム目以降の第１及
び第２のフレーム画像データに対して順次第１及び第２
のマクロブロックデータＤ２及びＤ４の簡易動きベクト
ルＤ２４及びＤ３１を検出し、かつフレーム間相関値Ｓ
Ｈ２を順次算出しながら、当該第２のマクロブロックデ
ータＤ４の動きベクトルＤ２６、Ｄ３７を検出する。
【０３４５】一方、圧縮符号化部７２により符号化対象
の第１及び第２のフレーム画像データに対する圧縮符号
化が開始されると、マスク画像処理部７３は、ステップ
ＳＰ６２からステップＳＰ６３に移り、マスク画像符号
化器９４によりマスク用フレームメモリ９０からマスク
画像データＤ３６を読み出して圧縮符号化し、得られた
符号化データＤ４０を局所復号器９５及びバッファ９６
に送出してステップＳＰ６４に移る。
【０３４６】ステップＳＰ６４においてマスク画像処理
部７３は、局所復号器９５により符号化データＤ４０を
復号化し、得られたマスク画像データＤ４１を参照用フ
レームメモリ９７に蓄積してステップＳＰ６５に移る。
【０３４７】ステップＳＰ６５においてマスク画像処理
部７３は、マスク画像生成器７７により外部から供給さ
れた全てのフレーム画像データから抽出画像を追跡しな
がらマスク画像データＤ３６を生成したか否かを判断
し、全てのフレーム画像データから抽出画像の移動位置
及び任意形状を表すマスク画像データＤ３６を生成する
までの間はステップＳＰ６１−ＳＰ６２−ＳＰ６３−Ｓ
Ｐ６４−ＳＰ６５の処理ループを繰り返すことによりフ
レーム画像データから順次追跡した抽出画像に基づいて
マスク画像データＤ３６を生成してマスク用フレームメ
モリ９０に蓄積しながら、当該蓄積したマスク画像デー
タＤ３６を順次圧縮符号化する。
【０３４８】また、図１３（Ｂ）との対応部分に同一符
号を付した図２３（Ｃ）に示すように、圧縮符号化部７
２は、ルーチンＲＴ８の開始ステップから入ってステッ
プＳＰ１１に移り、符号化対象の第１及び第２のフレー
ム画像データに対して圧縮符号化を開始することにより
ステップＳＰ７１に移る。
【０３４９】ステップＳＰ７１において圧縮符号化部７
２は、演算器３８により入力用フレームメモリ３２から
第１及び第２のフレーム画像データを順次第１及び第２
のマクロブロックデータＤ２及びＤ４単位で読み出し、
当該読み出した第１及び第２のマクロブロックデータＤ
２及びＤ４に対して離散コサイン変換器９８によりマス
ク画像データＤ４１に基づいて画素値の変更処理を施す
ることにより見かけ上抽出画像データを抽出した後にフ
レーム内符号化又は動きベクトルＤ２６及びＤ３７を用
いた順方向予測符号化により圧縮符号化し、得られた符
号化データＤ４５及びＤ４８をバッファ９６に蓄積して
ステップＳＰ７２に移る。
【０３５０】ステップＳＰ７２において圧縮符号化部７
２は、バッファ９６により第１及び第２のフレーム画像
データの圧縮符号化して得られた符号化データＤ４５及
びＤ４８をマスク画像処理部７３からマスク画像データ
Ｄ３６を圧縮符号化して与えられた符号化データＤ４０
と共に符号化ビットストリームＢＳ２として外部に出力
してステップＳＰ１４に移る。
【０３５１】ステップＳＰ１４において圧縮符号化部７
２は、演算器３８による入力用フレームメモリ３２から
の第１及び第２のフレーム画像データの読み出し状況に
応じて符号化対象の第１及び第２のフレーム画像データ
を全て圧縮符号化したか否かを判断し、符号化対象の第
１及び第２のフレーム画像データを全て圧縮符号化する
までの間はステップＳＰ７１−ＳＰ７２−ＳＰ１４の処
理ループを繰り返すことにより当該符号化対象の第１の
フレーム画像データを見かけ上抽出画像データを抽出し
てフレーム内符号化により圧縮符号化すると共に、符号
化対象の第２のフレーム画像データを見かけ上抽出画像
データを抽出して動きベクトルＤ２６及びＤ３７を用い
た順方向予測符号化により圧縮符号化し、得られた符号
化データＤ４５及びＤ４８をマスク画像データＤ３６の
符号化データＤ４０と共に符号化ビットストリームＢＳ
２として出力する。
【０３５２】そして、ステップＳＰ３８において動きベ
クトル検出処理部７１は、簡易動きベクトル検出器７４
により２フレーム以降の全ての第１及び第２のフレーム
画像データに対する各第１及び第２のマクロブロックデ
ータＤ２及びＤ４の簡易動きベクトルＤ２４及びＤ３１
が検出されると、ステップＳＰ８に移る。
【０３５３】ステップＳＰ８において動きベクトル検出
処理部７１は、動きベクトル検出器９１により入力用フ
レームメモリ３２に対する演算器３８のアクセスの有無
を監視することにより符号化対象の第１及び第２のフレ
ーム画像データが全て圧縮符号化されたか否かを判断
し、符号化対象の第１及び第２のフレーム画像データが
全て圧縮符号化されるまでの間はステップＳＰ３４−Ｓ
Ｐ３５−ＳＰ３６−ＳＰ５２−ＳＰ３８−ＳＰ８の処理
ループを繰り返すことにより符号化対象の第２のフレー
ム画像データに対する各第２のマクロブロックデータＤ
４の動きベクトルＤ２６及びＤ３７を順次検出する。
【０３５４】このようにして動きベクトル検出処理部７
１は、ステップＳＰ８において符号化対象の第１及び第
２のフレーム画像データが全て圧縮符号化されたと判断
すると、ステップＳＰ５３に移って当該動きベクトル検
出処理部７１の処理手順を終了する。
【０３５５】また、ステップＳＰ６５においてマスク画
像処理部７３は、マスク画像生成器７７により全てのフ
レーム画像データから順次抽出画像を追跡しながらマス
ク画像データＤ３６を生成すると、ステップＳＰ６６に
移る。
【０３５６】ステップＳＰ６６においてマスク画像処理
部７３は、マスク画像符号化部９４によりマスク用フレ
ームメモリ９０内の全てのマスク画像データＤ３６を圧
縮符号化したか否かを判断し、当該マスク用フレームメ
モリ９０内の全てのマスク画像データＤ３６を圧縮符号
化するまでの間はステップＳＰ６２−ＳＰ６３−ＳＰ６
４−ＳＰ６５−ＳＰ６６の処理ループを繰り返すことに
よりマスク用フレームメモリ９０内のマスク画像データ
Ｄ３６を順次圧縮符号化し、得られた符号化データＤ４
０を局所復号器９５及びバッファ９６に送出する。
【０３５７】そして、ステップＳＰ６６においてマスク
画像処理部７３は、マスク用フレームメモリ９０内の全
てのマスク画像データＤ３６を圧縮符号化したと判断す
ると、ステップＳＰ６７に移り当該マスク画像処理部７
３の処理手順を終了する。
【０３５８】さらに、ステップＳＰ１４において圧縮符
号化部７２は、符号化対象の第１及び第２のフレーム画
像データを全て圧縮符号化したと判断すると、ステップ
ＳＰ７３に移って当該圧縮符号化部７２の処理手順を終
了し、かくして動画像符号化装置７０における動画像デ
ータＤ１の圧縮符号化処理手順を全て終了する。
【０３５９】以上の構成において、この動画像符号化装
置７０では、外部から供給される動画像データＤ１を順
次フレーム画像データ単位で入力用フレームメモリ３２
に取り込み、簡易動きベクトル検出器７４により階層サ
ーチ動きベクトル検出方式による第２階層において第１
及び第２のフレーム画像データに対する各第１及び第２
のマクロブロックデータＤ２及びＤ４の簡易動きベクト
ルＤ２４及びＤ３１を検出する。
【０３６０】また、この動画像符号化装置７０では、外
部から供給される動画像データＤ１を順次フレーム画像
データ単位でマスク画像生成器７７にも取り込み、当該
マスク画像生成器７７により先頭のフレーム画像データ
に対して初期位置及び任意形状が指定された抽出画像デ
ータを各第１及び第２のマクロブロックデータＤ２及び
Ｄ４の簡易動きベクトルＤ２４及びＤ３１を用いて２フ
レーム目以降のフレーム画像データについて順次追跡し
ながら当該フレーム画像データ毎に抽出画像データの移
動位置及び任意形状を表すマスク画像データＤ３６を生
成する。
【０３６１】そして、この動画像符号化装置７０では、
圧縮符号化部７２により符号化対象の第１及び第２のフ
レーム画像データを圧縮符号化する際に動きベクトル検
出器９１により階層サーチ動きベクトル検出方式による
第１階層において簡易動きベクトルＤ２４及びマスク画
像データＤ３６に基づいて抽出画像データの内部及びエ
ッジ部分８１Ａにかかる第２のマクロブロックデータＤ
４のみの原画像レベルの動きベクトルＤ２６及びＤ３７
を検出する。
【０３６２】このようにして動画像符号化装置７０で
は、フレームレート変更処理部６１により動画像データ
Ｄ１のフレームレート適宜変更しながら圧縮符号化部７
２によりマスク画像データＤ４１に基づいて第１のフレ
ーム画像データを見かけ上抽出画像データを抽出してフ
レーム内符号化により圧縮符号化すると共に、原画像レ
ベルの動きベクトルＤ２６及びＤ３７並びにマスク画像
データＤ４１に基づいて第２のフレーム画像データも見
かけ上抽出画像データを抽出して順方向予測符号化によ
り圧縮符号化し、さらにマスク画像符号化器９４により
マスク画像データＤ３６を順次圧縮符号化し、得られた
符号化データＤ４５及びＤ４８並びにＤ４０をバッファ
９６に一旦蓄積して符号化ビットストリームＢＳ２とし
て外部に出力するようにした。
【０３６３】従って、この動画像符号化装置７０では、
動画像データＤ１のフレームレートの変更に加えて、当
該動画像データＤ１をフレーム画像データから順次抽出
画像データを抽出して圧縮符号化するため、上述した第
１及び第２の実施の形態によって得られる効果に加え
て、上述した第１及び第２の実施の形態による動画像符
号化装置３０及び６０（図２及び図１０）に比べて単位
時間当りに圧縮符号化すべき符号化対象のデータ量を大
幅に減らすことができ、かくして抽出画像データに対す
る圧縮率を格段的に低減させてユーザに提供する抽出画
像を高画質化することができる。
【０３６４】これに加えて、この動画像符号化装置７０
では、簡易動きベクトル検出器７４及び動きベクトル検
出器９１により第１及び第２のマクロブロックデータＤ
２及びＤ４の動きベクトルを階層的に検出し、下層側の
第２階層において検出した簡易動きベクトルＤ２４及び
Ｄ３１を第１及び第２のフレーム画像データに対する抽
出画像データの追跡と、当該抽出画像データの圧縮符号
化に用いる上層側の第１階層（原画像レベル）における
第２のマクロブロックデータＤ４の動きベクトルＤ２６
及びＤ３７の検出に共有化して用いるため、抽出画像デ
ータの追跡及び圧縮符号化に対してそれぞれ個別に動き
ベクトルを１階層で直接検出する場合に比べて動きベク
トル検出時の演算量を格段的に低減させることができ
る。
【０３６５】因みに、この動画像符号化装置７０では、
動きベクトルの検出に階層サーチ動きベクトル検出方式
を用いるため、上述した第２の実施の形態からも明らか
なように、動きベクトルを１階層で直接検出する場合に
比べても動きベクトル検出時の演算量を格段的に低減さ
せることができる。
【０３６６】また、この動画像符号化装置７０では、動
きベクトル検出器９１によりマスク画像データＤ３６に
基づいて第２のフレーム画像データの各第２のマクロブ
ロックデータＤ４のうち抽出画像データのエッジ部分８
１Ａ及びこれよりも内側に位置する第２のマクロブロッ
クデータＤ４についてのみ動きベクトルＤ２６及びＤ３
７を検出するため、動きベクトル検出時の演算量をさら
に低減させることができる。
【０３６７】そして、この動画像符号化装置７０では、
動きベクトル検出器９１により抽出画像データのエッジ
部分８１Ａにかかる第２のマクロブロックデータＤ４に
ついては特に当該エッジ部分８１Ａよりも内側の画素の
みを用いて動きベクトルＤ３７を検出するため、抽出画
像データの圧縮符号化に用いる当該動きベクトルＤ３７
の検出精度を格段的に向上させることができる。
【０３６８】さらに、この動画像符号化装置７０では、
第１及び第２のフレーム画像データに対する抽出画像デ
ータの追跡に簡易動きベクトルＤ２４及びＤ３１を用い
るものの、この際ラインマッチング法も合わせて用いる
ため追跡画像データの追跡精度を向上させることができ
る。
【０３６９】以上の構成によれば、簡易動きベクトル検
出器７４により第１及び第２のマクロブロックデータＤ
２及びＤ４に対する下層の簡易動きベクトルをＤ２４及
びＤ３１を検出し、当該検出した簡易動きベクトルＤ２
４及びＤ３１を共有化してマスク画像生成器７７により
第１及び第２のフレーム画像データに対して抽出画像デ
ータを追跡してマスク画像データＤ３６を生成すると共
に、動きベクトル検出器９１により抽出画像データの圧
縮符号化用に第２のマクロブロックデータＤ４の上層の
動きベクトルＤ２６及びＤ３７を検出するようにしたこ
とにより、動きベクトル検出時の演算量を格段的に低減
させることができ、かくして任意形状の抽出画像データ
に対する圧縮符号化処理を高速化し得る動画像符号化装
置を実現することができる。
【０３７０】なお、上述した第３の実施の形態において
は、図１５について上述したように外部から供給された
動画像データＤ１を順次フレーム画像データ単位で入力
用フレームメモリ３２に取り込み、当該入力用フレーム
メモリ３２に取り込んだフレーム画像データにＩピクチ
ャ及びＰピクチャを所定の順番で割り当てるようにした
場合について述べたが、本発明はこれに限らず、図８
（Ａ）及び（Ｂ）並びに図９（Ａ）乃至（Ｃ）について
上述したように、入力用フレームメモリ３２に取り込ん
だフレーム画像データにＩピクチャ、Ｐピクチャ及びＢ
ピクチャを割り当てるようにしても良い。
【０３７１】また、上述した第３の実施の形態において
は、動画像データＤ１のフレームレートの変更に伴い符
号化対象の第２のフレーム画像データに新たな参照用の
第１又は第２のフレーム画像データＤ６を割り当てたと
きに動きベクトル検出器９１により階層サーチ動きベク
トル検出方式による第１階層及び第２階層おいて、各マ
クロブロックデータのＤ４の簡易動きベクトルＤ２４及
び原画像レベルの動きベクトルＤ２６及びＤ３７を順次
検出するようにした場合について述べたが、本発明はこ
れに限らず、動画像データＤ１のフレームレートの変更
に伴い符号化対象の第２のフレーム画像データに新たな
参照用の第１又は第２のフレーム画像データＤ６を割り
当てたときに、簡易動きベクトル検出器７５により階層
サーチ動きベクトル検出方式による第２階層において符
号化対象の第２のフレーム画像データ及び新たな参照用
の第１又は第２のフレーム画像データＤ６を用いて各第
２のマクロブロックデータＤ４の簡易動きベクトルＤ２
４を検出すると共に、動きベクトル検出器９１により階
層サーチ動きベクトル検出方式による第１階層において
当該第２のマクロブロックデータＤ４の原画像レベルの
動きベクトルＤ２６及びＤ３７を検出するようにしても
良い。このようにすれば、フレームレートの変更に伴う
動きベクトルの再検出時に動きベクトル検出器９１の処
理負荷を大幅に低減させることができる。
【０３７２】これに加えて、動画像データＤ１のフレー
ムレートの変更に伴い符号化対象の第２のフレーム画像
データに新たな参照用の第１又は第２のフレーム画像デ
ータＤ６を割り当てたときには、当該符号化対象の第２
のフレーム画像データに対して簡易動きベクトルＤ２４
の検出時に参照用として第２のフレーム画像データＤ６
（すなわち、符号化対象の第２のフレーム画像データに
順方向側で隣接する第２フレーム画像データ）が割り当
てられていれば、動きベクトル検出器９１によりその符
号化対象の第２のフレーム画像データに対する各第２の
マクロブロックデータＤ４の予め検出している簡易動き
ベクトルＤ２４を当該簡易動きベクトルＤ２４の検出時
に参照用となっていた第２のフレーム画像データＤ６に
対する各マクロブロックデータＤ４の簡易動きベクトル
Ｄ２４と合成し、得られた合成簡易動きベクトルを用い
て階層サーチ動きベクトル検出方式による第１階層にお
いて例えばテレスコピックサーチ法を用いて当該符号化
対象の第２のフレーム画像データに対する各第２のマク
ロブロックデータＤ４の原画像レベルの動きベクトルＤ
２６及びＤ３７を検出するようにしても良い。このよう
にしてもフレームレートの変更に伴う動きベクトルの再
検出時に動きベクトル検出器９１の処理負荷を大幅に低
減させることができる。
【０３７３】因みに、このような簡易動きベクトルＤ２
４の合成を簡易動きベクトル検出器７４によって実行す
れば、動きベクトル検出器９１の処理負荷を低減させる
こともできる。
【０３７４】さらに、上述した第３の実施の形態におい
ては、第２のフレーム画像データの各マクロブロックデ
ータＤ４を順方向予測符号化により圧縮符号化するよう
にした場合について述べたが、各第２のマクロブロック
データＤ４の分散値を用いてフレーム内符号化及び順方
向予測符号化のいずれで圧縮符号化するようにしても良
い。
【０３７５】さらに、上述した第３の実施の形態におい
ては、動きベクトル検出器９１により入力用フレームメ
モリ３２から読み出した参照用の第１及び第２のフレー
ム画像データＤ６を用いて各第２のマクロブロックデー
タＤ４の動きベクトルＤ２６及びＤ３７を検出するよう
にした場合について述べたが、本発明はこれに限らず、
動きベクトル検出器９１により参照用フレームメモリ９
７から参照用の第１及び第２のフレーム画像データを読
み出して各第２のマクロブロックデータＤ４の動きベク
トルＤ２６及びＤ３７を検出するようにしても良い。こ
のようにすれば動きベクトルＤ２６及びＤ３７の検出に
一旦圧縮符号化した後に復号化して再構築することによ
り圧縮符号化によって発生したブロックノイズ等を持つ
第１及び第２のフレーム画像データを用いることがで
き、当該動きベクトルＤ２６及びＤ３７の検出精度を向
上させることができる。
【０３７６】さらに、上述した第３の実施の形態におい
ては、第２のマクロブロックデータＤ４の動きベクトル
Ｄ２６及びＤ３７の検出に第１階層及び第２階層の２階
層からなる階層サーチ動きベクトル検出方式を用いるよ
うにした場合について述べたが、本発明はこれに限ら
ず、第２のマクロブロックデータＤ４の動きベクトルの
検出に３階層以上の階層サーチ動きベクトル検出方式を
用いるようにしても良い。
【０３７７】さらに、上述した第３の実施の形態におい
ては、簡易動きベクトル検出器７４により簡易動きベク
トルバッファ７５に簡易動きベクトルＤ２４及びＤ３１
と、予測モードデータＤ３、Ｄ２０及びＤ３０とを蓄積
するようにした場合について述べたが、本発明はこれに
限らず、簡易動きベクトル検出器７４により簡易動きベ
クトルバッファ７５に簡易動きベクトルＤ２４及びＤ３
１と、予測モードデータＤ３、Ｄ２０及びＤ３０とに加
えて、簡易動きベクトルＤ２４及びＤ３１の検出時に算
出した予測誤差も蓄積するようにしても良い。このよう
にすれば、簡易動きベクトル検出器７４により第１及び
第２のマクロブロックデータＤ２及びＤ４の簡易動きベ
クトルＤ２４及びＤ３１の再検出を実行する際にその予
測誤差を用いてサーチ範囲を適確に選定し、又はマスク
画像生成器７７により隣接するフレーム画像データ間で
追跡領域８４Ａ及び８４Ｂ同士をラインマッチング法に
よって比較する際のサーチ範囲も適確に選定することが
でき、かくして簡易動きベクトルＤ２４及びＤ３１の再
検出及び抽出画像の追跡の精度を向上させることができ
る。
【０３７８】さらに、上述した第３の実施の形態におい
ては、マスク画像生成器７７に対して形状指定データＤ
３５により抽出画像の初期位置及び任意形状を指定する
ようにした場合について述べたが、本発明はこれに限ら
ず、図２５に示すように、マスク画像生成器７７に対し
てフレーム画像１００内で人物等の抽出画像１０１の任
意の点を指定することにより当該抽出画像１０１のエッ
ジ１０２を自動で検出して任意形状を特定し、又はマス
ク画像生成器７７によりフレーム画像内で自動で種々の
絵柄のエッジを検出して抽出画像及びその任意形状を特
定するようにしても良い。
【０３７９】さらに、上述した第３の実施の形態におい
ては、上述した図１６からも明らかなように抽出画像の
任意形状として三日月型の形状を指定するようにした場
合について述べたが、本発明はこれに限らず、絵柄のエ
ッジでなる任意形状や、楕円形、星形及び丸形等のよう
に、この他種々の形状を抽出画像の任意形状として指定
するようにしも良い。
【０３８０】さらに、上述した第３の実施の形態におい
ては、バッファ９６のデータ蓄積量ＤＲ及び符号化予測
データ量に応じて動画像データＤ１のフレームレートを
変更するようにした場合について述べたが、本発明はこ
れに限らず、バッファ９６のデータ蓄積量ＤＲに応じて
動画像データＤ１のフレームレートを変更するようにし
ても良い。このようにしてフレームレートを変更しても
データ蓄積量ＤＲの急激な増減に適確に対処して動画像
の画質を安定化させることができる。
【０３８１】（５）他の実施の形態 なお、上述した第１乃至第３の実施の形態においては、
本発明による動画像符号化装置として、図２乃至図２５
について上述した動画像符号化装置３０、６０及び７０
を適用するようにした場合について述べたが、本発明は
これに限らず、ＭＰＥＧ２方式等の圧縮符号化方式が適
用された動画像符号化装置やビデオカメラから供給され
る動画像データＤ１に代えて外部又は内部に予め記憶し
ている動画像データを圧縮符号化処理する動画像符号化
装置、さらには動画像データを圧縮符号化処理し得るも
のであれば、パーソナルコンピュータや携帯電話機、Ｐ
ＤＡ（Personal Digital Assistance ）等の電子機器の
ように、この他種々の動画像符号化装置に広く適用する
ことができる。
【０３８２】因みに、本発明による動画像符号化装置を
パーソナルコンピュータや携帯電話機、ＰＤＡ等の電子
機器に適用する場合には、当該電子機器に図２及び図１
０について上述した各回路ブロックをハードウェアとし
て設けるようにしても良いし、その電子機器にハードウ
ェアに代えて図６（Ａ）乃至（Ｃ）、図７（Ａ）及び
（Ｃ）と、図１３（Ａ）乃至（Ｃ）、図１４（Ａ）及び
（Ｃ）と、図２１（Ａ）及び（Ｂ）、図２２（Ａ）及び
（Ｂ）、図２３（Ｃ）及び（Ｄ）、図２４（Ｄ）につい
て上述した動画像データＤ１の圧縮符号化処理手順を実
行するためのプログラムをインストールし、当該プログ
ラムに従ってソフトウェア処理として動画像データＤ１
の圧縮符号化処理手順を実行しても本発明を実現するこ
とができる。
【０３８３】そして、このように電子機器に図６（Ａ）
乃至（Ｃ）、図７（Ａ）及び（Ｃ）と、図１３（Ａ）乃
至（Ｃ）、図１４（Ａ）及び（Ｃ）と、図２１（Ａ）及
び（Ｂ）、図２２（Ａ）及び（Ｂ）、図２３（Ｃ）及び
（Ｄ）、図２４（Ｄ）について上述した動画像データＤ
１の圧縮符号化処理手順を実行するためのプログラムを
インストールするには、当該プログラムが格納されたプ
ログラム格納媒体を用いても良いし、ローカルエリアネ
ットワークやインターネット、ディジタル衛星放送等の
有線及び無線通信媒体を利用しても良く、さらにはルー
タやモデム等の各種通信インターフェイスを介してイン
ストールするようにしても良い。
【０３８４】因みに、電子機器にプログラムをインスト
ールして実行可能な状態にするためのプログラム格納媒
体としては、例えばフロッピー（登録商標）ディスク、
ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、Ｄ
ＶＤ（Digital Versatile Disc）等のパッケージメディ
アのみならず、配信処理プログラムが一時的もしくは永
続的に格納される半導体メモリや磁気ディスク等で実現
しても良い。また、これらプログラム格納媒体に配信処
理プログラムを格納する手段としては、ローカルエリア
ネットワークやインターネット、ディジタル衛星放送等
の有線及び無線通信媒体を利用してもよく、ルータやモ
デム等の各種通信インターフェイスを介して格納するよ
うにしても良い。
【０３８５】さらに、上述した第１乃至第３の実施の形
態においては、動画像データを順次フレーム画像データ
単位で圧縮符号化して符号化データを生成する圧縮符号
化手段として、図２及び図１０並びに図１５について上
述した圧縮符号化部３７及び７２を適用するようにした
場合について述べたが、本発明はこれに限らず、動画像
データを順次フレーム画像データ単位で圧縮符号化して
符号化データを生成することができれば、この他種々の
構成の圧縮符号化手段を広く適用することができる。
【０３８６】さらに、上述した第１乃至第３の実施の形
態においては、バッファのデータ蓄積量に応じて動画像
データのフレームレートを変更するフレームレート変更
手段として、図２及び図１０並びに図１５について上述
したフレーム構造変換器３３及び６２を適用するように
した場合について述べたが、本発明はこれに限らず、バ
ッファのデータ蓄積量に応じて動画像データのフレーム
レートを変更することができれば、この他種々のフレー
ムレート変更手段を広く適用することができる。
【０３８７】さらに、上述した第１乃至第３の実施の形
態においては、フレーム画像データ間の動きベクトルを
検出すると共に、当該動きベクトルの検出に伴ってフレ
ーム画像データ間の相関値を算出する動きベクトル検出
手段として、図２について上述したブロックマッチング
法により動きベクトルＤ２４を検出する動きベクトル検
出器３５を適用するようにした場合について述べたが、
本発明はこれに限らず、フレーム画像データ間の動きベ
クトルを検出すると共に、当該動きベクトルの検出に伴
ってフレーム画像データ間の相関値を算出することがで
きれば、オプティカルフローにより動きベクトルを検出
する動きベクトル検出手段等のように、この他種々の動
きベクトル検出手段を広く適用することができる。
【０３８８】さらに、上述した第１乃至第３の実施の形
態においては、所定階層よりも下層の１又は複数の下階
層でフレーム画像データ間の簡易動きベクトルを検出す
る下層動きベクトル検出手段として、図１０及び図１５
について上述した階層サーチ動きベクトル検出方式によ
る第２階層において簡易動きベクトルＤ２４及びＤ３１
を検出する簡易動きベクトル検出器６４及び７４を適用
するようにした場合について述べたが、本発明はこれに
限らず、所定階層よりも下層の１又は複数の下階層でフ
レーム画像データ間の簡易動きベクトルを検出すること
ができれば、所定階層よりも下層の複数階層で順次動き
ベクトルを検出して最終的に簡易動きベクトルを検出す
る下層動きベクトル検出手段等のように、この他種々の
下層動きベクトル検出手段を広く適用することができ
る。
【０３８９】さらに、上述した第１乃至第３の実施の形
態においては、所定階層以上の１又は複数の上階層で簡
易動きベクトルを用いて動きベクトルを検出する上層動
きベクトル検出手段として、図１０及び図１５について
上述した階層サーチ動きベクトル検出方式による第１階
層において原画像レベルの動きベクトルＤ２６及びＤ３
７を検出する動きベクトル検出器６６及び９１を適用す
るようにした場合について述べたが、本発明はこれに限
らず、所定階層以上の１又は複数の上階層で簡易動きベ
クトルを用いて動きベクトルを検出することができれ
ば、簡易動きベクトルを用いて複数階層の動きベクトル
を順次検出して最終的に原画像レベルの動きベクトルを
検出する上層動きベクトル検出手段のように、この他種
々の上層動きベクトル検出手段を広く適用することがで
きる。
【０３９０】さらに、上述した第１乃至第３の実施の形
態においては、動画像データの各フレーム画像データか
ら順次任意形状の抽出画像データを抽出するためのマス
ク画像データを生成するマスク画像データ生成手段とし
て、図１５について上述した第１及び第２のフレーム画
像データに対して抽出画像データを追跡しながらマスク
画像データＤ３６を生成するマスク画像生成器７７を適
用するようにした場合について述べたが、本発明はこれ
に限らず、動画像データの各フレーム画像データから順
次任意形状の抽出画像データを抽出するためのマスク画
像データを生成することができれば、抽出画像データの
追跡処理を行わずに他の回路ブロックで実行された抽出
画像データの追跡結果、又は外部から与えられる抽出画
像データの指定に基づいてマスク画像データを生成する
マスク画像データ生成手段等のように、この他種々のマ
スク画像データ生成手段を広く適用することができる。
【０３９１】
【発明の効果】上述のように本発明によれば、圧縮符号
化手段により動画像データを順次フレーム画像データ単
位で圧縮符号化し、得られた符号化データをバッファに
一旦蓄積して出力しながら、フレームレート変更手段に
より当該バッファのデータ蓄積量に応じて動画像データ
のフレームレートを変更するようにしたことにより、動
画像データに基づく動画像の絵柄の変化に応じて単位時
間当りに圧縮符号化すべきフレーム画像データの数を適
確に変更して圧縮率を安定させ、この結果、動画像の画
質を安定させることができ、かくして所望の画質の動画
像を適確に提供することができる。
【図面の簡単な説明】
【図１】動画像データ配信システムにおける動画像デー
タの配信形態を示す概念図である。
【図２】本発明による動画像符号化装置の回路構成の第
１の実施の形態を示すブロック図である。
【図３】動画像データのフレーム画像データに割り当て
たピクチャタイプの説明に供する略線図である。
【図４】動画像データの圧縮符号化の説明に供する略線
図である。
【図５】動画像データのフレームレートの変更の説明に
供する略線図である。
【図６】動画像データの圧縮符号化処理手順を示すフロ
ーチャートである。
【図７】動画像データの圧縮符号化処理手順を示すフロ
ーチャートである。
【図８】動画像データのフレーム画像データに割り当て
たＩピクチャ、Ｐピクチャ及びＢピクチャを示す略線図
である。
【図９】動画像データのフレームレートを変更したとき
の動きベクトルの再検出の説明に供する略線図である。
【図１０】第２の実施の形態による動画像符号化装置の
回路構成を示すブロック図である。
【図１１】階層マクロブロックデータ及び階層フレーム
画像データの生成の説明に供する略線図である。
【図１２】階層サーチ動きベクトル検出方式の説明に供
する略線図である。
【図１３】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図１４】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図１５】第３の実施の形態による動画像符号化装置の
回路構成を示すブロック図である。
【図１６】フレーム画像に対する抽出画像の初期位置及
び任意形状の指定の説明に供する略線図である。
【図１７】フレーム画像間における抽出画像の追跡の説
明に供する略線図である。
【図１８】マスク画像の構成を示す略線図である。
【図１９】マスク画像データを用いた第２のマクロブロ
ックデータの判別の説明に供する略線図である。
【図２０】エッジ部分にかかる第２のマクロブロックデ
ータの動きベクトルの検出の説明に供する略線図であ
る。
【図２１】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図２２】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図２３】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図２４】動画像データの圧縮符号化処理手順を示すフ
ローチャートである。
【図２５】フレーム画像に対する抽出画像の任意形状の
特定方法の説明に供する略線図である。
【図２６】従来の動画像符号化装置の回路構成を示すブ
ロック図である。
【符号の説明】 ３０、６０，７０……動画像符号化装置、３１、６１…
…フレームレート変更処理部、３２……入力用フレーム
メモリ、３３、６２……フレーム構造変換器、３４、６
３、７１……動きベクトル検出処理部、３５……動きベ
クトル検出器、４２、９６……バッファ、４８……動き
ベクトル再検出器、６４……簡易動きベクトル検出器、
Ｄ１……動画像データ、Ｄ２……第１のマクロブロック
データ、Ｄ４……第２のマクロブロックデータ、Ｄ７、
Ｄ１７、Ｄ２６、Ｄ３７……動きベクトル、Ｄ１０、Ｄ
１４……符号化データ、Ｄ２４……簡易動きベクトル、
ＤＲ……データ蓄積量、ＳＨ１、ＳＨ２……フレーム間
相関値、ＦＧ１、ＦＧ２……動きベクトル再検出フラ
グ、ＣＦ１、ＣＦ２、ＣＦ３……コントロールフラグ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 三橋 聡 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 安藤 裕司 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 小嶋 尚 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 ズー イーウェン 東京都品川区北品川６丁目７番35号ソニー 株式会社内 Ｆターム(参考） 5C059 KK01 LB07 MA04 MA05 MA23 MC11 ME02 NN02 NN28 NN38 PP05 PP06 PP07 SS08 SS14 SS20 TA07 TB04 TC03 TC12 TC39 TD05 TD11 UA02 UA34 UA39 5J064 AA01 BA09 BA16 BC01 BC02 BC08 BC16 BC27 BD02

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】動画像データを順次フレーム画像データ単
    位で圧縮符号化して符号化データを生成する圧縮符号化
    手段と、 上記符号化データを一旦蓄積して出力するバッファと、 上記バッファのデータ蓄積量に応じて上記動画像データ
    のフレームレートを変更するフレームレート変更手段と
    を具えることを特徴とする動画像符号化装置。
  2. 【請求項２】上記フレーム画像データ間の動きベクトル
    を検出すると共に、当該動きベクトルの検出に伴って上
    記フレーム画像データ間の相関値を算出する動きベクト
    ル検出手段を具え、 上記圧縮符号化手段は、 上記動画像データを順次上記フレーム画像データ単位で
    上記動きベクトルを用いた動き補償予測符号化により圧
    縮符号化し上記フレームレート変更手段は、 上記フレーム画像データ間の上記相関値に基づいて上記
    符号化データの符号化データ量を予測し、当該予測した
    符号化データ量と上記データ蓄積量とに応じて上記動画
    像データの上記フレームレートを変更することを特徴と
    する請求項１に記載の動画像符号化装置。
  3. 【請求項３】上記動きベクトル検出手段は、 上記フレームレートの変更により上記動画像データから
    上記フレーム画像データが間引かれると、当該間引かれ
    たフレーム画像データを参照用として上記動きベクトル
    を検出した他の上記フレーム画像データに対し、新たな
    上記フレーム画像データを参照用に割り当てて上記動き
    ベクトルを再検出することを特徴とする請求項２に記載
    の動画像符号化装置。
  4. 【請求項４】上記動きベクトル検出手段は、 上記フレームレートの変更により間引かれた上記フレー
    ム画像データの上記動きベクトルと、当該間引かれたフ
    レーム画像データを参照用とした上記他のフレーム画像
    データの上記動きベクトルとを用いて当該他のフレーム
    画像データ及び上記新たな参照用のフレーム画像データ
    間の上記動きベクトルを再検出することを特徴とする請
    求項３に記載の動画像符号化装置。
  5. 【請求項５】上記動きベクトル検出手段は、 所定階層よりも下層の１又は複数の下階層で上記フレー
    ム画像データ間の簡易動きベクトルを検出する下層動き
    ベクトル検出手段と、 上記所定階層以上の１又は複数の上階層で上記簡易動き
    ベクトルを用いて上記動きベクトルを検出する上層動き
    ベクトル検出手段とを具えることを特徴とする請求項２
    に記載の動画像符号化装置。
  6. 【請求項６】上記下層動きベクトル検出手段は、 上記フレームレートの変更前の上記動画像データに対し
    て上記動きベクトルの検出対象となる全ての上記フレー
    ム画像データ間で上記簡易動きベクトルを検出し、 上記上層動きベクトル検出手段は、 上記フレームレートの変更に伴い符号化対象として残さ
    れた上記フレーム画像データ間でのみ上記簡易動きベク
    トルを用いて上記動きベクトルを検出することを特徴と
    する請求項５に記載の動画像符号化装置。
  7. 【請求項７】上記下層動きベクトル検出手段は、 上記簡易動きベクトルの検出に伴って上記相関値を算出
    することを特徴とする請求項６に記載の動画像符号化装
    置。
  8. 【請求項８】上記動画像データの各上記フレーム画像デ
    ータから順次任意形状の抽出画像データを抽出するため
    のマスク画像データを生成するマスク画像データ生成手
    段を具え、 上記圧縮符号化手段は、 上記マスク画像データに基づいて上記フレーム画像デー
    タから上記抽出画像データを抽出し、当該抽出した上記
    抽出画像データを上記動きベクトルを用いた動き補償予
    測符号化により圧縮符号化して上記符号化データを生成
    することを特徴とする請求項７に記載の動画像符号化装
    置。
  9. 【請求項９】動画像データを順次フレーム画像データ単
    位で圧縮符号化して符号化データを生成する圧縮符号化
    ステップと、 上記符号化データをバッファに一旦蓄積して出力する出
    力ステップと、 上記バッファのデータ蓄積量に応じて上記動画像データ
    のフレームレートを変更するフレームレート変更ステッ
    プとを具えることを特徴とする動画像符号化方法。
  10. 【請求項１０】上記フレーム画像データ間の動きベクト
    ルを検出すると共に、当該動きベクトルの検出に伴って
    上記フレーム画像データ間の相関値を算出する動きベク
    トル検出ステップを具え、 上記圧縮符号化ステップは、 上記動画像データを順次上記フレーム画像データ単位で
    上記動きベクトルを用いた動き補償予測符号化により圧
    縮符号化し上記フレームレート変更ステップは、 上記フレーム画像データ間の上記相関値に基づいて上記
    符号化データの符号化データ量を予測し、当該予測した
    符号化データ量と上記データ蓄積量とに応じて上記動画
    像データの上記フレームレートを変更することを特徴と
    する請求項９に記載の動画像符号化方法。
  11. 【請求項１１】動画像データを順次フレーム画像データ
    単位で圧縮符号化して符号化データを生成する圧縮符号
    化ステップと、 上記符号化データをバッファに一旦蓄積して出力する出
    力ステップと、 上記バッファのデータ蓄積量に応じて上記動画像データ
    のフレームレートを変更するフレームレート変更ステッ
    プとを具えることを特徴とする動画像符号化プログラム
    を動画像符号化装置に実行させる動画像符号化プログラ
    ム格納媒体。
  12. 【請求項１２】動画像符号化装置に対して、 動画像データを順次フレーム画像データ単位で圧縮符号
    化して符号化データを生成する圧縮符号化ステップと、 上記符号化データをバッファに一旦蓄積して出力する出
    力ステップと、 上記バッファのデータ蓄積量に応じて上記動画像データ
    のフレームレートを変更するフレームレート変更ステッ
    プとを実行させるための動画像符号化プログラム。
JP2001140217A 2001-05-10 2001-05-10 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム Expired - Fee Related JP4765194B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001140217A JP4765194B2 (ja) 2001-05-10 2001-05-10 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
CNB028016041A CN1258924C (zh) 2001-05-10 2002-05-09 运动图像编码设备及其方法
EP02769556A EP1387586A4 (en) 2001-05-10 2002-05-09 DEVICE FOR CODING MOVING IMAGES
KR1020037000253A KR100901173B1 (ko) 2001-05-10 2002-05-09 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램 기록 매체
CNB2005100739936A CN100338958C (zh) 2001-05-10 2002-05-09 运动图像编码设备
PCT/JP2002/004530 WO2002093936A1 (en) 2001-05-10 2002-05-09 Moving picture encoding apparatus
US10/312,555 US7158570B2 (en) 2001-05-10 2002-05-09 Motion picture encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001140217A JP4765194B2 (ja) 2001-05-10 2001-05-10 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2002335530A true JP2002335530A (ja) 2002-11-22
JP4765194B2 JP4765194B2 (ja) 2011-09-07

Family

ID=18986858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001140217A Expired - Fee Related JP4765194B2 (ja) 2001-05-10 2001-05-10 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム

Country Status (6)

Country Link
US (1) US7158570B2 (ja)
EP (1) EP1387586A4 (ja)
JP (1) JP4765194B2 (ja)
KR (1) KR100901173B1 (ja)
CN (2) CN100338958C (ja)
WO (1) WO2002093936A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517940A (ja) * 2014-05-02 2017-06-29 サムスン エレクトロニクス カンパニー リミテッド 適応的映像データ圧縮方法及びその装置
JP7435208B2 (ja) 2020-04-24 2024-02-21 サクサ株式会社 画像処理装置及びプログラム

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0300361D0 (en) * 2003-01-07 2003-02-05 Koninkl Philips Electronics Nv Audio-visual content transmission
US7433524B2 (en) * 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
GB2407227B (en) * 2003-09-08 2006-11-08 Deluxe Lab Inc Program encoding and counterfeit tracking system and method
US7818257B2 (en) * 2004-07-16 2010-10-19 Deluxe Laboratories, Inc. Program encoding and counterfeit tracking system and method
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
TWI238651B (en) * 2004-04-30 2005-08-21 Benq Corp Method and apparatus for determining frame status of video data
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
US8355434B2 (en) * 2005-01-10 2013-01-15 Qualcomm Incorporated Digital video line-by-line dynamic rate adaptation
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
US7676105B2 (en) * 2005-05-31 2010-03-09 Intel Corporation Method, apparatus, article and system for use in association with images
US7783781B1 (en) * 2005-08-05 2010-08-24 F5 Networks, Inc. Adaptive compression
JP2007134755A (ja) * 2005-11-08 2007-05-31 Hitachi Ltd 動画像符号化装置及び画像記録再生装置
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8275909B1 (en) 2005-12-07 2012-09-25 F5 Networks, Inc. Adaptive compression
JP4235209B2 (ja) * 2006-02-10 2009-03-11 Ｎｔｔエレクトロニクス株式会社 動きベクトル検出装置および動きベクトル検出方法
EP1994756A2 (en) * 2006-03-03 2008-11-26 Koninklijke Philips Electronics N.V. Differential coding with lossy embedded compression
JP4822952B2 (ja) * 2006-06-26 2011-11-24 富士通セミコンダクター株式会社 符号化データ転送装置および符号化データ転送方法
KR20080022614A (ko) * 2006-09-07 2008-03-12 삼성전자주식회사 글로벌 영상 검출 방법과, 표시 장치 및 이의 구동 방법
US20080198923A1 (en) * 2007-01-05 2008-08-21 Gramelspacher Michael S Content signal modulation and decoding
JP2008187222A (ja) * 2007-01-26 2008-08-14 Hitachi Ltd 動きベクトル検出装置、動きベクトル検出方法、映像表示装置
CN101222604B (zh) * 2007-04-04 2010-06-09 晨星半导体股份有限公司 运算移动估计值与估算图像的移动向量的方法
JP5217270B2 (ja) * 2007-06-26 2013-06-19 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
JP4375452B2 (ja) * 2007-07-18 2009-12-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム、並びに表示装置
EP2048890A1 (en) * 2007-10-11 2009-04-15 Thomson Licensing System and method for an early start of audio-video rendering
US20090161978A1 (en) * 2007-12-20 2009-06-25 Marinko Karanovic Halo Artifact Removal Method
US8804044B2 (en) * 2008-03-06 2014-08-12 Entropic Communications, Inc. Temporal fallback for high frame rate picture rate conversion
US8150211B2 (en) * 2008-03-12 2012-04-03 Intel Corporation Identifying patterns in data
JP4742324B2 (ja) * 2009-02-17 2011-08-10 カシオ計算機株式会社 動画像を記録する記録装置、記録方法及びプログラム
TWI433131B (zh) * 2009-09-01 2014-04-01 Chunghwa Picture Tubes Ltd 顯示器驅動裝置及方法
CN101742221B (zh) * 2009-11-09 2012-06-13 中兴通讯股份有限公司 一种会议电视系统中的多画面合成方法及装置
FR2955007B1 (fr) * 2010-01-04 2012-02-17 Sagem Defense Securite Estimation de mouvement global et dense
JP5707745B2 (ja) * 2010-06-08 2015-04-30 ソニー株式会社 画像安定化装置、画像安定化方法、及びプログラム
JP6057165B2 (ja) 2011-01-25 2017-01-11 サン パテント トラスト 動画像復号化方法
US8745158B2 (en) * 2011-09-30 2014-06-03 Avid Technology, Inc. Application-guided bandwidth-managed caching
US9471833B1 (en) * 2012-04-03 2016-10-18 Intuit Inc. Character recognition using images at different angles
US9445058B2 (en) * 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
JP6120667B2 (ja) * 2013-05-02 2017-04-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
US9609338B2 (en) * 2013-10-25 2017-03-28 Microsoft Technology Licensing, Llc Layered video encoding and decoding
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
US10147158B2 (en) * 2014-12-13 2018-12-04 Microsoft Technology Licensing, Llc Frame invalidation control with causality attribution
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
US10764530B2 (en) * 2018-10-04 2020-09-01 Samsung Electronics Co., Ltd. Method and system for recording a super slow motion video in a portable electronic device
CN110568983B (zh) * 2019-07-16 2022-08-12 西安万像电子科技有限公司 图像处理方法及装置
EP4029249A4 (en) * 2019-09-29 2022-10-26 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR GENERATING WEIGHTING MASK FOR ENTIRE SLOPE DIVISION DIRECTIONS IN INTERPREDICTION
CN113596450B (zh) * 2021-06-28 2022-11-11 展讯通信（上海）有限公司 视频图像压缩方法、解压缩方法、处理方法及装置、设备
CN114051142B (zh) * 2022-01-13 2022-04-29 深圳市麦谷科技有限公司 硬件多路编码防抖方法、装置、智能终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795584A (ja) * 1993-07-30 1995-04-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH07203456A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd 符号化装置と復号化装置と映像記録装置
JPH09261638A (ja) * 1996-03-25 1997-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH1132301A (ja) * 1997-07-10 1999-02-02 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2000102015A (ja) * 1998-09-22 2000-04-07 Sharp Corp 動きベクトル検出装置及び動きベクトル検出方法
JP2000175202A (ja) * 1998-12-09 2000-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2000184379A (ja) * 1998-12-18 2000-06-30 Nippon Telegr & Teleph Corp <Ntt> 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
JP3980666B2 (ja) * 1995-06-07 2007-09-26 ソニー株式会社 動きベクトル推定方法及び画像処理装置
JPH08336140A (ja) * 1995-06-07 1996-12-17 Sony Corp 動きベクトル推定方法
US5812200A (en) * 1996-09-03 1998-09-22 Lg Electronics, Inc. Method and apparatus for constant data rate output of encoders
US6243497B1 (en) * 1997-02-12 2001-06-05 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6028965A (en) * 1997-05-13 2000-02-22 Lg Electronics, Inc Method and apparatus for intelligent codec system
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6535530B1 (en) * 1997-07-23 2003-03-18 Matsushita Electric Industrial Co., Ltd. Apparatus and method for demultiplexing multiplexed data
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
JPH11215502A (ja) * 1998-01-27 1999-08-06 Sanyo Electric Co Ltd 動きベクトル検出装置及び方法
KR100275694B1 (ko) * 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6421466B1 (en) * 1999-09-29 2002-07-16 Neomagic Corp. Hierarchical motion estimation with levels of varying bit width for digital video compression
KR100677082B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 움직임 추정기
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
US7082163B2 (en) * 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
DE60218928D1 (de) * 2001-04-30 2007-05-03 St Microelectronics Pvt Ltd Effiziente Niedrigleistungsbewegungsschätzung für eine Video-Vollbildsequenz
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795584A (ja) * 1993-07-30 1995-04-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH07203456A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd 符号化装置と復号化装置と映像記録装置
JPH09261638A (ja) * 1996-03-25 1997-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH1132301A (ja) * 1997-07-10 1999-02-02 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP2000102015A (ja) * 1998-09-22 2000-04-07 Sharp Corp 動きベクトル検出装置及び動きベクトル検出方法
JP2000175202A (ja) * 1998-12-09 2000-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2000184379A (ja) * 1998-12-18 2000-06-30 Nippon Telegr & Teleph Corp <Ntt> 符号化ビットレート変更方法および符号化ビット変更プログラムを記録した記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517940A (ja) * 2014-05-02 2017-06-29 サムスン エレクトロニクス カンパニー リミテッド 適応的映像データ圧縮方法及びその装置
US10757416B2 (en) 2014-05-02 2020-08-25 Samsung Electronics Co., Ltd. Method and device for adaptively compressing image data
JP7435208B2 (ja) 2020-04-24 2024-02-21 サクサ株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
KR20030018042A (ko) 2003-03-04
CN1462556A (zh) 2003-12-17
CN1258924C (zh) 2006-06-07
EP1387586A4 (en) 2009-01-07
CN1684521A (zh) 2005-10-19
EP1387586A1 (en) 2004-02-04
US20030174769A1 (en) 2003-09-18
CN100338958C (zh) 2007-09-19
WO2002093936A1 (en) 2002-11-21
US7158570B2 (en) 2007-01-02
KR100901173B1 (ko) 2009-06-04
JP4765194B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
JP2002335530A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP3072035B2 (ja) ２ステージビデオフィルム圧縮方法及びシステム
US6628711B1 (en) Method and apparatus for compensating for jitter in a digital video image
JP4662636B2 (ja) 動き推定とブロックマッチング・パターンの改良
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
US7903731B2 (en) Methods and transcoders that estimate an output macroblock and motion vector for video transcoding
JP4557752B2 (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
JP2007036888A (ja) 符号化方法
US7864859B2 (en) Method and circuit for coding mode determinations recognizing auto exposure control of input image
KR100950525B1 (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
JP5130245B2 (ja) 撮影解像度予測型動画像符号化装置および復号装置
JP2007036889A (ja) 符号化方法
JP2005295215A (ja) 動画像符号化装置
JP2001309384A (ja) 画像圧縮装置
JP2002335531A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP4779230B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JPH11308618A (ja) 画像信号処理装置及び方法並びに画像信号再生装置
JP4243286B2 (ja) 符号化方法
JP4169767B2 (ja) 符号化方法
JPH0951538A (ja) 画像信号の符号化方法
JP2007036887A (ja) 符号化方法
JPH1066092A (ja) 映像データ圧縮装置およびその方法
US20110096831A1 (en) Image encoding device, image encoding method, and imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110530

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees