JP2007166416A

JP2007166416A - 動画像符号化装置

Info

Publication number: JP2007166416A
Application number: JP2005362140A
Authority: JP
Inventors: Noriaki Tsukuda; 紀昭佃
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2007-06-28
Anticipated expiration: 2025-12-15
Also published as: US20070140340A1; JP4616765B2; US7782942B2

Abstract

【課題】符号化器の性能によらず高能率符号化を実現する動画像符号化装置を提供する。
【解決手段】複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、順次入力される画像フレームを符号化対象フレームとして順次出力する前処理手段と、当該順次出力される符号化対象フレームに対し、その符号化対象フレームに応じた符号化計画に基づいて、その符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、前処理手段から符号化対象フレームが出力されていないフレーム間隔を検出すると、所定の画像フレームを符号化するよう符号化手段を制御する制御手段と、制御手段により制御されて符号化された符号化データから符号化情報を取得し、この符号化情報から当該符号化対象フレームに応じた符号化計画を修正する修正手段とを備える。
【選択図】図１

Description

本発明は、動画像の予測符号化を行う動画像符号化装置に関する。

動画像データは、一般に、データ量が大きいため、送信装置から受信装置へ伝送される際、或いは記憶装置に格納される際などには、動画像データの高能率符号化が行われる。この高能率符号化とは、あるデータ列を他のデータ列に変換する符号化であって、対象となるデータ量を圧縮する技術をいう。

このような動画符号化の標準規格としてＭＰＥＧ（Moving Picture Expert Group）が
ある。ＭＰＥＧでは３種類の予測符号化タイプが用いられる。よって、ＭＰＥＧのフレームは、この予測符号化タイプに応じた３種類のピクチャにより構成される。図８は、ＭＰＥＧにおけるフレーム構成を示す図である。図８に示すように、ＭＰＥＧのフレームは、Ｉピクチャ（Intra coded picture）（図８のＩ０）、Ｐピクチャ（Predictive coded picture）（図８のＰ３及び６）、Ｂピクチャ（Bidirectionally coded picture）（図８のＢ１、２、４及び５）から構成される。

Ｉピクチャは、処理の起点となるフレームであり、フレーム内予測により符号化される。Ｐピクチャは、過去のＩピクチャ若しくはＰピクチャからの片方向の動き補償フレーム間予測により符号化される。Ｂピクチャは、過去のＩピクチャ若しくはＰピクチャと未来のＩピクチャ若しくはＰピクチャとからの両方向の動き補償フレーム間予測により符号化される。この動き補償フレーム間予測符号化方法は、動画像を構成するフレームのうち、あるタイミングにおけるフレームデータと次のタイミングにおけるフレームデータとの類似度が高いことが多いという動画像一般の性質を利用した符号化方法である。

また、このような動画像の高能率符号化を用いた動画像符号化方法として、まず、所定の符号化計画（符号化パラメータ等）を用いた符号化の結果として得られる発生符号化量（データ量）、及びその画像の性質を示す統計データ等を予測し、次に、予測された発生符号化量及び統計データ等に基づいて当該符号化計画を再調整して実際に対象フレームの符号化を行う方法がある。このような方法は、２パス符号化方式と呼ばれることもある。

一方、このような２パス符号化方式を用いず、一系統の符号化器を用いる符号化方法では、動画像を実時間で符号化する場合、所定の画像の符号化開始時にはその画像を符号化した結果どのくらい符合量が発生するかといった情報が一般には得られない。よって、このような一系統の符号化器を用いる符号化方法では、画質への影響を考慮しつつ、指定されたビットレートに合わせるための符号量制御を行うことが難しく、結果としてピクチャ内で画質の偏りが発生していた。

このような問題点を解決すべく、一系統の符号化器を用いる動画像符号化装置において、２パス符号化方式相当の効果を出す手法が提案されている（下記特許文献１）。この符号化手法では、まず、本来符号化すべき画像の解像度を低下させた縮小画像が生成され、その縮小された画像が符号化される。そして、その符号化の結果に基づいて符号化パラメータが調整され、遅延バッファに蓄積されていた本来符号化すべき画像がその調整された符号化パラメータで符号化されることで１つの符号化器で２パス符号化相当の効果を得るというものである。

なお、上記の他、本願発明に係る先行技術文献として以下の開示された文献がある。
特開２００２−１６９１２号公報特開平１１−２９８９０４号公報特開２００１−２９８７３４号公報

しかしながら、上述の従来技術では、縮小画像を用いて先行して符号化が行われ、その結果を利用して実際の縮小されていない画像が符号化されるため、実際の画像の実符号化時間に加えて、縮小された画像の符号化時間も１ピクチャ時間内に処理する必要がある。

従って、符号化すべき実際の画像を符号化するのに要することができる時間が１フレーム時間よりも短くなるため、上述の従来技術を用いた手法では、一系統の符号化器の処理性能を通常の符号化器のそれよりも高くする必要がある。

また、上述の動き補償フレーム間予測を用いた動画像符号化方式では、Ｂピクチャのような両方向の動き補償フレーム間予測を行う画像について、その画像よりも先に未来の画像フレームを符号化する必要があるため、実際に入力されるフレーム順を符号化するための順番に入れ替える必要がある（リオーダリング処理）。このような入力画像フレームに対するリオーダリング処理の概要を図９に示す。図９は、リオーダリングを用いた従来の符号化方法を示す図である。

しかしながら、このような符号化方法では、リオーダリングによって最初のフレーム（Ｂ０及びＢ１）が入力されてから最初の符号化処理（Ｉ２の符号化）が始まるまではタイムラグが発生する（図９のアイドリング時間）。このアイドリング時間中、符号化処理を行う符号化器は何も処理をしないアイドリング状態となる。

同様に、動画像符号化方式には、入力映像を間引いてコマ落としをして符号化する方法がある（図１０参照）。このような符号化方法においても、コマ落としされたフレーム時間については、符号化器は何も処理せずアイドリング状態となる。

このように、従来技術では、２パス符号化方式相当の高能率符号化を実現するために、ハードウェア規模を拡大し符号化器の処理性能を上げたとしても、その符号化方法によっては、符号化器の性能を十分に利用していないような場合があった。

本発明の目的は、上述のような問題点に鑑みてなされたものであり、符号化器の性能によらず高能率符号化を実現する動画像符号化装置を提供することである。

本発明は、上述した課題を解決するために以下の構成を採用する。即ち、本発明は、複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、順次入力される画像フレームを符号化対象フレームとして順次出力する前処理手段と、当該順次出力される符号化対象フレームに対し、その符号化対象フレームに応じた符号化計画に基づいて、その符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、前処理手段から符号化対象フレームが出力されていないフレーム間隔を検出すると、所定の画像フレームを符号化するよう符号化手段を制御する制御手段と、制御手段により制御されて符号化された符号化データから符号化情報を取得し、この符号化情報から当該符号化対象フレームに応じた符号化計画を修正する修正手段とを備える動画像符号化装置についてのものである。

本発明では、前処理手段からの符号化対象フレームが出力されていないフレーム間隔、すなわち、符号化がされていない符号化手段のアイドリング時間が検出され、このアイドリング時間が利用されて所定の画像フレームが符号化される。そして、この符号化により取得される符号化情報が、その後の各符号化対象フレームの符号化時に利用される。

このように、本発明では、符号化手段のアイドリング時間が利用され、１パス目の符号化がなされるため、符号化手段自体の性能によらず、２パス相当の符号化を実現することができる。本発明では、符号化手段の動作効率を上げることになる。

また、本発明は、上述の動画像符号化装置について、リオーダリングを用いた符号化方式を実現する動画像符号化装置についてのものである。この場合には、上記前処理手段は、順次入力される画像フレームを符号化対象フレームとしてその画像フレームのピクチャ種別に応じた順番で順次出力する。上記制御手段は、上記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、上記前処理手段に既に入力された画像フレームであって出力の順番待ちとなっている画像フレームと同様の先行画像フレームを出力するよう指示する指示手段を更に有し、この先行画像フレームが出力された場合に、所定の予測符号化方法により該先行画像フレームを符号化するよう上記符号化手段を制御する。また、上記修正手段は、符号化された先行画像フレームの符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する。

本発明では、前処理手段によりリオーダリングが行われ、符号化されるべき順番で符号化対象フレームが出力される。これにより、制御手段による符号化手段のアイドリング時間の検出は、前処理手段で画像フレームが出力の順番待ちとなり出力されないタイミングとして検出される。そして、この符号化手段のアイドリング時間に出力の順番待ちとなっている画像フレームと同様の先行画像フレームが符号化手段に渡され、所定の予測符号化方法により符号化される。そして、この先行画像フレームの符号化データから取得された符号化情報に基づいて、符号化計画が修正される。

このように、本発明では、リオーダリングを用いた符号化方法を実現する場合でも、実際の符号化対象フレームの符号化がなされる前の符号化手段のアイドリング時間が利用され、１パス目の符号化がなされるため、符号化手段の性能を上げることなく、符号化手段の動作効率を上げることにより、２パス相当の符号化を実現することができる。

また、本発明における１パス目の符号化では、縮小された画像データが用いられることなく実際の画像データが用いられ、その符号化されたデータから符号化情報が生成されるため、正確な符号化計画による符号化を実現することが可能となる。

リオーダリングを用いた符号化方式を実現する動画像符号化装置についての上記制御手段は、上記所定の予測符号化方法を、上記符号化手段において以前に他の先行画像フレームが符号化されている場合には当該他の先行画像フレームを参照する前方向フレーム間予測による符号化と決定し、以前に他の先行画像フレームが符号化されていない場合にはフレーム内予測による符号化と決定するようにしてもよい。

本発明では、１パス目の符号化時には、当該先行画像フレームの有するピクチャ種別によらず、当該先行画像フレームの予測符号化方法が決定される。また、この予測符号化方法の決定にあたって、先に他の先行画像フレームの符号化がなされている場合には、前方向フレーム間予測による符号化が選定される。

これにより、１パス目の符号化時に取得される符号化情報が符号化対象フレームの符号化時のものとより近似することになると考えられるため、正確な符号化計画を立てること
に貢献する。

また、本発明は、上述の動画像符号化装置について、コマ落としをする符号化方式を実現する動画像符号化装置についてのものである。この場合には、上記前処理手段は、順次入力される画像フレームを所定の間引き率で間引き、取り除かれなかった画像フレームを符号化対象フレームとして順次出力する。前記制御手段は、上記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、上記符号化手段により既に符号化された符号化対象フレームを再符号化するよう上記符号化手段を制御する。上記修正手段は、上記符号化及び又は再符号化された符号化対象フレームの符号化データから符号化情報を取得し、該符号化情報から上記符号化対象フレームに応じた符号化計画を修正する。

本発明では、前処理手段によりコマ落としがされ、コマ落としされなかった画像フレームが符号化対象フレームとして出力される。これにより、制御手段による符号化手段のアイドリング時間の検出は、前処理手段で画像フレームが間引きされ、取り除かれた画像フレームが本来出力されるべきタイミングとして検出される。そして、この符号化手段のアイドリング時間に既に符号化された画像フレームが再符号化される。そして、この再符号化された符号化対象フレームの符号化データから取得された符号化情報に基づいて、符号化計画が修正される。

再符号化される度に、符号化計画が修正されるために、通常、符号化計画の精度は向上していくはずである。よって、本発明では、符号化手段のアイドリング時間を利用して、より符号化効率及び又は符号化品質を向上させるよう再符号化をすることができるため、符号化手段の性能を上げることなく、符号化手段の動作効率を上げることにより、高性能の符号化装置を実現することができる。

また、上述のコマ落としをする符号化を実現する動画像符号化装置は、上記符号化手段により符号化された符号化データ及び上記制御手段の制御により再符号化された符号化データをそれぞれ記憶する記憶手段と、上記記憶手段に記憶された同一符号化対象フレームに関する符号化データのうち、いずれか１つを選出する選出手段とを更に備える。

本発明では、上記前処理手段で間引きされたフレーム間隔の間中、再符号化がなされるが、その再符号化された結果の符号化データから所望の符号化データを選出することができる。

そして、上記選出手段は、上記符号化情報に基づき、符号化効率及び又は符号化品質のよい符号化データを選出するようにしてもよい。

これにより、上記前処理手段で間引きされたフレーム間隔の間中に実行される再符号化の対象フレームを既に符号化された画像フレームのうちから所望のものを選ぶことができるため、仮に以前の符号化計画が精密なものでなかったとしても、符号化のやりなおしをすることができるようになる。この場合においても、符号化手段の性能によらず実現することができる。

なお、本発明は、上述の本発明に係る動画像符号化装置と同様の特徴を有する動画像符号化方法、情報処理装置（コンピュータ）を本発明に係る動画像符号化装置として機能させるプログラム、或いは、当該プログラムを記録した記録媒体として実現可能である。

本発明によれば、符号化器の性能によらず高能率符号化を実現する動画像符号化装置を提供することができる。

以下、図面を参照して、それぞれ本発明の実施形態における動画像符号化装置について説明する。なお、以下に述べる実施形態の構成は例示であり、本発明は以下の実施形態の構成に限定されない。

［第一実施形態］
本発明の第一実施形態における動画像符号化装置について、以下に説明する。

〔装置構成〕
まず、第一実施形態における動画像符号化装置の構成について、図１を用いて説明する。図１は、第一実施形態における動画像符号化装置の構成を示すブロック図である。本動画像符号化装置は、ＣＰＵ（Central Processing Unit）、各種メモリ、入出力インタフ
ェース等を備える。本動画像符号化装置は、ＣＰＵによりメモリに記憶される制御プログラムが実行されることで、以下に述べる各機能部が実現される。また、以下に示す各機能部はそれぞれハードウェアとして実現されるようにしてもよい。

また、本実施形態における動画像符号化装置では、符号化方式として、ＧＯＰ（Group Of Picture）構造がＩＢＢＰの場合のＭＰＥＧ２（Moving Picture Experts Group phase
2）方式を採用する場合を例に挙げるものとする。従って、本動画像符号化装置には、図９に示すようなフレーム構成（Ｉピクチャ、Ｐピクチャ及びＢピクチャ）を有する画像信号が入力される。このＩピクチャ、Ｐピクチャ及びＢピクチャについては、背景技術の項で説明したとおりである。なお、本発明は、この符号化方式を限定するものではない。

図１に示すように、本実施形態における動画像符号化装置は、画像記憶部１０１、画像順序入れ替え部１０２、符号化部１０３、先行符号化制御部１０４、符号化情報変換部１０５等を有する。以下、これら各機能部の詳細について説明する。

<画像記憶部>
画像記憶部１０１は、例えば、図９に示すような入力画像信号（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５）を受けると、この画像信号をフレーム毎に記憶する。また、画像記憶部１０１は、記憶されたフレームを順次、画像順序入れ替え部１０２に渡す。

画像順序入れ替え部１０２は、画像記憶部１０１から渡された画像フレームを符号化される順に並び替え、並び替えられた順で画像フレームを符号化部１０３に渡す。具体的には、画像順序入れ替え部１０２は、画像記憶部１０１から図９の上段に示すような順序（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５）でフレームを受け、これらフレームを図９の下段に示すような順序（Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４）で並び替える。画像順序入れ替え部１０２は、並び替えが確定されたフレームから順に符号化部１０３に渡す。

<先行符号化制御部>
先行符号化制御部１０４は、先行して符号化を行う（以降、この処理を先行符号化とも表記する）際の制御を行う。この先行符号化処理が、１パス目の符号化に相当する処理である。先行符号化制御部１０４は、符号化部１０３のアイドリング時間、すなわち、符号化部１０３が符号化処理をしていないフレーム時間を検知する。具体的には、先行符号化制御部１０４は、フレームＢ０が画像順序入れ替え部１０２に入力されたこと、及び、当該フレームＢ０が本来そのまま符号化部１０３に入力されず、かつ符号化部１０３に入力される他のフレームもないことを検知すると、符号化部１０３がアイドリング状態であると判断する。ここで、フレーム時間とは、個々のフレームが本動画像符号化装置で処理される時間（タイミング）をいい、例えば、いずれかのフレームが画像順序入れ替え部１０
２に入力されるタイミングでもある。

先行符号化制御部１０４は、符号化部１０３のアイドリング時間を検知すると、入力されたフレームの複製を符号化部１０３に渡すよう画像順序入れ替え部１０２に指示すると共に、符号化部１０３に先行符号化を指示する。例えば、フレームＢ０が画像順序入れ替え部１０２に入力された際には、先行符号化制御部１０４は、当該フレームＢ０を画像順序入れ替えのために保持しながらその複製を符号化部１０３に渡すよう画像順序入れ替え部１０２に指示すると共に、符号化部１０３に先行符号化を指示する。次に画像順序入れ替え部１０２にフレームＢ１が入力された場合も同様に、先行符号化制御部１０４は、符号化部１０３がアイドリング状態となると判断し、画像順序入れ替え部１０２及び符号化部１０３に先行符号化を指示する。なお、画像順序入れ替え部１０２への先行符号化時に出力される画像フレームは、必ずしも入力されたフレームの複製である必要はなく、入力されたフレームに何れかの処理を施した画像フレームであってもよい。

従来、これらフレームＢ０及びＢ１が画像順序入れ替え部１０２に入力された場合には、次のフレームＩ２が入力されるまで並べ替えのために符号化部１０３に渡されることはなかった。この先行符号化制御部１０４からの指示により符号化部１０３に渡されたフレームＢ０及びＢ１は、別途、実際の符号化の並べ替えのために画像順序入れ替え部１０２に保持される。

<符号化部>
符号化部１０３は、画像順序入れ替え部１０２から渡された順に、フレームを符号化する。符号化部１０３による符号化は大きく２つの場面に分けられる。１つは、先行符号化制御部１０４からの指示により先行符号化をする場面であり、１パス目の符号化処理にあたる。もう１つは、入力フレームを符号化データとして出力するための実際の符号化の場面（実符号化の場面）であり、２パス目の符号化処理にあたる。実符号化処理によって符号化された画像データは、本動画像符号化装置から他の機能部に出力される。

ここで、符号化部１０３の実符号化処理について説明する。符号化部１０３は、実符号化処理にあたり、符号化対象フレームのピクチャ種別によって符号化方法を決定する。Ｉピクチャの場合には、フレーム内予測により符号化されるため、その符号化対象フレームのみで符号化が可能である。一方、Ｐピクチャは、過去のＩピクチャ若しくはＰピクチャからの片方向の動き補償フレーム間予測（以降、単に片方向予測又は前方向予測とも表記する）により符号化されるため、符号化の際には、符号化に必要な過去のピクチャが参照される。符号化部１０３は、このようにフレーム間予測するピクチャのために、以前の符号化時に入力されたフレームを所定の間保持する。

Ｂピクチャは、過去のＩピクチャ若しくはＰピクチャと未来のＩピクチャ若しくはＰピクチャとからの両方向の動き補償フレーム間予測（以降、単に両方向予測とも表記する）により符号化されるため、符号化の際には、符号化に必要な過去と未来の両方のピクチャが参照される。しかし、符号化部１０３は、通常、符号化順に並べ替えられたフレームを受けるため、そのＢピクチャの符号化に必要なＩピクチャ若しくはＰピクチャは既に符号化済みのはずである。従って、符号化部１０３は、常に以前の符号化時に入力されたフレームを保持していればよい。なお、Ｂピクチャについては通常両方向予測による符号化が行われるが、図９のようなフレーム順で入力される場合には、フレームＢ０及びＢ１の符号化時にはそれ以前のフレームがないため両方向予測ができない。このような場合には、フレームＩ２のみを参照する後方向予測による符号化が用いられる。

また、符号化部１０３は、フレームの符号化により得られる符号化データからその符号化についての発生符号量、平均量子化値等の符号化情報を取得する。この取得された符号
化情報は、符号化情報記憶部１０６に記憶される。符号化部１０３は、この符号化情報記憶部１０６に記憶された符号化情報（予測符号化情報を含む）を用いて符号化計画を立てる。符号化部１０３は、この符号化計画に基づき、符号量制御、量子化制御等を行うことで、対象フレームを符号化する。この符号化計画により、例えば、発生符合量予測値、平均量子化予測値等の計画値が決定される。なお、この符号化計画自体は一般的に公知となっている技術を用いればよく、本発明は、この符号化計画自体について、先行符号化により取得された符号化情報が利用されるものであれば特に限定するものではない。

次に、符号化部１０３の先行符号化時の処理について説明する。符号化部１０３は、所定のフレームが入力された際に、先行符号化制御部１０４から先行符号化の指示を受けると、入力されたフレームをフレーム内予測若しくは前方向予測により先行符号化する。このとき、符号化部１０３は、以前に先行符号化されたフレームが存在する場合には、そのときの入力フレームを参照する前方向予測により先行符号化し、最初の先行符号化の際には、フレーム内予測により先行符号化をする。

図９の例では、符号化部１０３は、フレームＢ０が入力されると、先行符号化制御部１０４から先行符号化の指示を受ける。これにより、符号化部１０３は、本来、フレームＢ０のピクチャ種別がＢピクチャであることから両方向若しくは後方向のフレーム間予測による符号化を行うところ、当該フレームＢ０をフレーム内予測により符号化する。

また、符号化部１０３は、次にフレームＢ１が入力された場合にも、先行符号化制御部１０４から先行符号化の指示を受ける。これにより、符号化部１０３は、本来、フレームＢ１のピクチャ種別がＢピクチャであることから両方向若しくは後方向のフレーム間予測による符号化を行うところ、当該フレームＢ１を先に入力されたフレームＢ０との前方向フレーム間予測により符号化する。

符号化部１０３は、先行符号化された符号化データから符号化情報を取得する。符号化部１０３は、取得された符号化情報を符号化情報変換部１０５に渡す。この符号化情報は、符号化情報変換部１０５により所定の変換がされ、再度、符号化部１０３に戻される。符号化部１０３は、符号化情報変換部１０５から渡された予測符号化情報を符号化情報記憶部１０６に記憶する。このとき、この符号化情報変換部１０５から渡される予測符号化情報は、フレームＩ２、Ｂ０、Ｂ１、Ｐ５及びＢ３に関する実際の符号化時の符号化計画の立案に用いられる。

<符号化情報変換部>
符号化情報変換部１０５は、先行符号化された符号化データについての符号化情報を受けると、その符号化情報を各対象フレームの実符号化に利用される予測符号化情報に変換する。変換された予測符号化情報は、再度、符号化部１０３に戻される。この予測符号化情報とは、符号化部１０３から受けた先行符号化により取得された符号化情報が、対象フレームの実符号化後の符号化情報相当に変換された情報である。この変換処理では、先行符号化方法に応じた符号化難易度を基準として、各対象フレームの実符号化方法に応じた符号化難易度の相対値がそれぞれ決定され、各符号化難易度の相対値に基づき、各対象フレームの実符号化後の符号化情報相当がそれぞれ予測される。

上述の符号化難易度は以下のような指針に基づき決定される。以下、図９を例にフレームＢ０及びＢ１がそれぞれ先行符号化される場合について説明する。フレームＢ０についての先行符号化は、フレーム内予測による符号化であり、Ｉ２フレームの実符号化方法と同様となる。従って、フレームＢ０についての先行符号化とＩ２フレームの実符号化とは略同様の符号化難易度とされる。

また、フレームＢ１についての先行符号化は、直前のフレームＢ０を参照した前方向予測による符号化である。一方、フレームＰ５の実符号化は、前方向予測による符号化であっても３フレーム時間前のＩピクチャ若しくはＰピクチャを参照して符号化されるものである。これにより、画像フレームの性質上フレーム時間が近いフレーム程その画像は近似する場合が多いため、同じ前方向予測符号化であってもフレーム時間の近いフレームを参照するフレームＢ１の先行符号化のほうがＰピクチャの実符号化より符号化難易度が低いと考えられる。

また、両方向予測によるＢピクチャの実符号化（フレームＢ３）は、過去のＩピクチャ若しくはＰピクチャと未来のＩピクチャ若しくはＰピクチャを参照して符号化されるため、片方向予測によるフレームＢ１の先行符号化より、Ｂピクチャの実符号化のほうが符号化難易度は高いと考えられる。

但し、ＢピクチャであってもフレームＢ０の実符号化は、２フレーム時間分の後予測による符号化であるため、フレームＢ１についての先行符号化と同じ片方向予測による符号化であると考えられる。よって、フレームＢ０の実符号化の符号化難易度は、フレーム時間の差から、フレームＢ１の先行符号化より高いと考えられる。また、フレームＢ１の実符号化は、直後のフレームを参照した後予測による符号化であるため、フレームＢ１についての先行符号化と略同等の符号化難易度となると考えられる。

以上のような指針によりフレームＢ１の先行符号化を基準とした符号化難易度の関係は、図２のように示すことができる。図２は、フレームＢ１の先行符号化を基準とした符号化難易度を示す図である。

このような符号化難易度に基づき、先行符号化されたフレームＢ０に関する符号化情報は、Ｉ２フレームの実符号化用の予測符号化情報としてそのまま符号化部１０３に渡される。なお、このフレームＢ０についての符号化情報がＩ２フレームの実符号化用の予測符号化情報として渡される場合に、多少の変換処理が施されるようにしてもよい。

また、先行符号化されたフレームＢ１についての符号化情報は、フレームＰ５、Ｂ０、Ｂ１、及びＢ３の実符号化用の予測符号化情報に変換される。具体的には、符号化情報変換部１０５は、符号化難易度に対応する変換係数をフレームＢ１の先行符号化による符号化情報に掛け合わせることにより、予測符号化情報を得る。

例えば、符号化情報に含まれるフレームの発生符合量に関しては以下のように変換されるようにしてもよい。フレームＢ３の実符号化後の予測される発生符合量は、対応する符号化難易度に基づいた変換係数（０．８）をフレームＢ１の先行符号化による発生符合量に乗算して得られた値とする。また、フレームＰ５の実符号化後の予測発生符合量は、フレームＢ１の先行符号化による発生符合量に変換係数（１．２）を乗算して得られた値とする。フレームＢ０の実符号化後の予測発生符合量は、フレームＢ１の先行符号化による発生符合量に変換係数（１．１）を乗算して得られた値とする。フレームＢ１の実符号化後の予測発生符合量は、フレームＢ１の先行符号化による発生符合量に変換係数（１．０）を乗算して得られた値とする。

なお、上述の説明において、フレームＢ４の実符号化用の予測符号化情報については言及していないが、これは、フレームＢ４は直前のフレームＢ３についての符号化情報を予測符号化情報として用いればよいと考えられるためであり、先行符号化から取得された予測符号化情報を用いる必要がないと考えるからである。また、上述の変換係数（０．８、１．０、１．１及び１．２）は、例としてあげた値であり、本発明はこのような値に限定されるものではない。これら変換係数は、都度所定のアルゴリズムにより出力される値で
あってもよいし、予めメモリ等に記憶される定数であってもよいし、外部から調整可能な値として記憶されるようにしてもよい。

同様に符号化情報に含まれる平均量子化値等についても同様に変換される。

なお、上述の各機能部は、先行符号化及び先行符号化後の数フレーム時間の実符号化について上述のような処理をするが、それ以降のフレーム（フレームＢ６以降）の符号化については、ピクチャ種別に応じた符号化が行われればよく、本発明はこれらを限定するものではない。

〔動作例〕
次に、第一実施形態における動画像符号化装置の動作例について、図３を用いて説明する。図３は、第一実施形態における動画像符号化装置の動作例を示すフローチャートであり、図９に示す画像信号が入力された場合の動作例である。

画像記憶部１０１に入力された画像信号は、順次、フレーム毎に画像順序入れ替え部１０２に入力される。これにより、画像順序入れ替え部１０２には、以下の順序で画像フレームが入力される。

まず、フレームＢ０が画像順序入れ替え部１０２に入力される。このとき、先行符号化制御部１０４は、当該フレームＢ０がそのまま符号化部１０３に入力されず、符号化部１０３がアイドリング状態となると判断する。先行符号化制御部１０４は、この判断により、画像順序入れ替え部１０２に当該フレームＢ０を符号化部１０３に渡すよう指示し、更に、符号化部１０３に先行符号化を指示する。これにより、フレームＢ０が符号化部１０３に入力される（Ｓ３０１）。

符号化部１０３は、当該フレームＢ０をフレーム内予測により先行符号化する（Ｓ３０２）。符号化部１０３は続けて先行符号化されたフレームＢ０の符号化データから符号化情報を取得する。この先行符号化されたフレームＢ０に関する符号化情報は、符号化情報変換部１０５に渡される（Ｓ３０３）。

渡されたフレームＢ０に関する符号化情報がフレーム内予測による符号化に関する符号化情報であるため、符号化情報変換部１０５は、当該符号化情報をフレームＩ２の実符号化後の符号化情報相当に変換する。このとき、符号化情報変換部１０５は、フレームＩ２の実符号化がフレーム内予測による符号化であり、フレームＢ０の先行符号化もフレーム内予測による符号化であるため、変換せず、そのままフレームＢ０に関する符号化情報が符号化部１０３に渡されるようにしてもよい（Ｓ３０４）。符号化部１０３に渡された予測符号化情報は、符号化情報記憶部１０６に記憶される。

フレームＢ０に続き、次のフレーム時間にフレームＢ１が画像順序入れ替え部１０２に入力される。このときも、先行符号化制御部１０４は、符号化部１０３がアイドリング状態となると判断し、画像順序入れ替え部１０２に当該フレームＢ１を符号化部１０３に渡すよう指示し、更に、符号化部１０３に先行符号化を指示する。これにより、フレームＢ１が符号化部１０３に入力される（Ｓ３０５）。

符号化部１０３は、当該フレームＢ１について先のフレームＢ０を参照し前方向予測により先行符号化する（Ｓ３０６）。符号化部１０３は続けて先行符号化されたフレームＢ１の符号化データから符号化情報を取得する。この先行符号化されたフレームＢ１に関する符号化情報は、符号化情報変換部１０５に渡される（Ｓ３０７）。

渡されたフレームＢ１に関する符号化情報が直前のフレームＢ０の前方向予測による符号化に関する符号化情報であるため、符号化情報変換部１０５は、当該符号化情報をフレームＢ０、Ｂ１、Ｐ５及びＢ３以降のＢピクチャの実符号化後の符号化情報相当に変換する。このとき、符号化情報変換部１０５は、フレームＢ１の先行符号化と各対象フレームそれぞれの実符号化との各符号化難易度に応じた変換係数を用い、先行符号化によるフレームＢ１に関する符号化情報を変換する。変換された各予測符号化情報は、それぞれ符号化部１０３に渡され（Ｓ３０８）、符号化情報記憶部１０６に記憶される。これにより、符号化情報記憶部１０６には、この時点で、フレームＩ２、Ｂ０、Ｂ１、Ｐ５及びＢ３の実符号化用の予測符号化情報が符号化情報記憶部１０６に記憶される。

フレームＢ１に続き、次のフレーム時間にフレームＩ２が画像順序入れ替え部１０２に入力される。このとき、画像順序入れ替え部１０２には既にフレームＢ０及びＢ１が保持されている。画像順序入れ替え部１０２は、当該フレームＩ２が最初に実符号化されるべきフレームと判断すると、そのまま符号化部１０３に当該フレームＩ２を渡す（Ｓ３０９）。

符号化部１０３は、渡されたフレームＩ２をそのピクチャ種別に応じてフレーム内予測により実符号化する（Ｓ３１０）。このとき、符号化部１０３は、符号化情報記憶部１０６に記憶されている予測符号化情報のうちフレームＩ２符号化用の予測符号化情報に基づき符号化計画を立て、当該フレームＩ２を実符号化する。

フレームＩ２に続き、次のフレーム時間にフレームＢ３が画像順序入れ替え部１０２に入力される。このとき、画像順序入れ替え部１０２には既にフレームＢ０及びＢ１が保持されている。画像順序入れ替え部１０２は、このフレーム時間において、保持されているフレームＢ０が実符号化されるべきフレームと判断すると、符号化部１０３に当該フレームＢ０を渡す（Ｓ３１１）。

符号化部１０３は、渡されたフレームＢ０を実符号化する。この場合、フレームＢ０は、過去の参照フレームが存在しないためフレームＩ２のみを参照する後方向予測により実符号化される（Ｓ３１２）。このとき、符号化部１０３は、符号化情報記憶部１０６に記憶されている予測符号化情報のうちフレームＢ０符号化用の予測符号化情報に基づき符号化計画を立て、当該フレームＢ０を実符号化する。

フレームＢ３に続き、次のフレーム時間にフレームＢ４が画像順序入れ替え部１０２に入力される。このとき、画像順序入れ替え部１０２には既にフレームＢ１及びＢ３が保持されている。画像順序入れ替え部１０２は、このフレーム時間において、保持されているフレームＢ１が実符号化されるべきフレームと判断すると、符号化部１０３に当該フレームＢ１を渡す（Ｓ３１３）。

符号化部１０３は、渡されたフレームＢ１を過去の参照フレームが存在しないためフレームＩ２のみを参照する後方向予測により実符号化を行う（Ｓ３１４）。このとき、符号化部１０３は、符号化情報記憶部１０６に記憶されているフレームＢ１符号化用の予測符号化情報に基づき符号化計画を立て、当該フレームＢ１を実符号化する。

フレームＢ４に続き、次のフレーム時間にフレームＰ５が画像順序入れ替え部１０２に入力される。このとき、画像順序入れ替え部１０２には既にフレームＢ３及びＢ４が保持されている。画像順序入れ替え部１０２は、このフレーム時間において、当該フレームＰ５が実符号化されるべきフレームと判断すると、符号化部１０３に当該フレームＰ５を渡す（Ｓ３１５）。

符号化部１０３は、渡されたフレームＰ５をそのピクチャ種別に応じてフレームＩ２を参照する前方向予測により実符号化を行う（Ｓ３１６）。このとき、符号化部１０３は、符号化情報記憶部１０６に記憶されているフレームＰ５符号化用の予測符号化情報に基づき符号化計画を立て、当該フレームＰ５を実符号化する。

フレームＰ５に続き、次のフレーム時間にフレームＢ６が画像順序入れ替え部１０２に入力される。このとき、画像順序入れ替え部１０２には既にフレームＢ３及びＢ４が保持されている。画像順序入れ替え部１０２は、このフレーム時間において、保持されているフレームＢ３が実符号化されるべきフレームと判断すると、符号化部１０３に当該フレームＢ３を渡す（Ｓ３１７）。

符号化部１０３は、渡されたフレームＢ３をそのピクチャ種別に応じてフレームＩ２及びフレームＰ５を参照する両方向予測により実符号化を行う（Ｓ３１８）。このとき、符号化部１０３は、符号化情報記憶部１０６に記憶されているＢピクチャ符号化用の予測符号化情報に基づき符号化計画を立て、当該フレームＢ３を実符号化する。

以降、画像順序入れ替え部１０２により並べ替えられた符号化順で符号化部１０３にフレームが入力され、実符号化がなされる。

〔作用／効果〕
ここで、上述した第一実施形態における動画像符号化装置の作用及び効果について述べる。

本実施形態による動画像符号化装置では、符号化部１０３のアイドリング時間が利用され、先行符号化が行われる。この先行符号化により取得された符号化情報から予測符号化情報が生成される。この予測符号化情報は、その後の各フレームの実符号化時に利用される。

先行符号化では、画像順序入れ替え部１０２にそのまま符号化部１０３に渡されず画像順序入れ替え待ちとなるフレームが入力されると、当該フレームの複製が符号化部１０３に入力される。符号化部１０３では、先行符号化制御部１０４からの先行符号化指示により、当該フレームが先行符号化される。この先行符号化では、その入力フレームのピクチャ種別によらず、フレーム内予測若しくは前方向予測により符号化がなされる。これは、符号化部１０３に保持されている以前の入力フレームの存在に応じて、その符号化方法が決定される。すなわち、符号化部１０３に以前に先行符号化のためのフレームが入力されている場合には、そのフレームを参照する前方向予測による符号化方法が採られ、未だ符号化部１０３に先行符号化のためのフレームが入力されていない場合には、フレーム内予測による符号化方法が採られる。

続いて、この先行符号化されたフレームの符号化データから符号化情報が取得され、この符号化情報がその後の各フレームの実符号化時の符号化計画に用いられる予測符号化情報としてそれぞれ変換される。

このように、本実施形態では、実符号化がなされる前の符号化部１０３のアイドリング時間が利用され先行符号化がなされるため、符号化部自体の性能を上げることなく、符号化部の動作効率を上げることにより、２パス相当の符号化を実現することができる。

また、本実施形態における先行符号化では、縮小された画像データが用いられることなく実際の画像データが用いられ、その符号化されたデータから予測符号化情報が生成されるため、正確な符号化計画による符号化を実現することが可能となる。

〔その他〕
上述の第一実施形態では、図９に示す画像信号が入力された場合を例に説明していた。以下、本動画像符号化装置は、図９以外のフレーム順序で画像信号が入力された場合にも同様に動作可能であることを簡単に説明する。図４は、図９と異なるフレーム順序で画像信号が入力された場合の本動画像符号化装置の動作の概要を示す図である。

図４の上段に示す画像信号が入力された場合（Ｉ０、Ｂ１、Ｂ２、Ｐ３、・・）、本動画像符号化装置では、フレームＢ１及びＢ２のフレーム時間中、符号化部１０３はアイドリング状態となる。従って、このような場合には、本動画像符号化装置は、この２フレーム時間にフレームＢ１及びＢ２を利用して先行符号化を行う。

すなわち、フレームＩ０が画像順序入れ替え部１０２に入力されると、当該フレームＩ０はそのまま符号化部１０３に渡され、実符号化される。その後、フレームＢ１が画像順序入れ替え部１０２に入力されると、先行符号化制御部１０４は、当該フレームＢ１がそのまま符号化部１０３に入力されず、符号化部１０３がアイドリング状態となると判断する。先行符号化制御部１０４は、この判断により、画像順序入れ替え部１０２に当該フレームＢ１を符号化部１０３に渡すよう指示し、更に、符号化部１０３に先行符号化を指示する。これにより、フレームＢ１が符号化部１０３に入力される。

符号化部１０３は、当該フレームＢ１をフレーム内予測により先行符号化する。符号化部１０３は続けて先行符号化されたフレームＢ１の符号化データから符号化情報を取得する。この先行符号化されたフレームＢ１に関する符号化情報は、符号化情報変換部１０５によりフレームＰ３符号化用の符号化情報相当に変換され、符号化情報記憶部１０６に記憶される。

フレームＢ１に続き、次のフレーム時間にフレームＢ２が画像順序入れ替え部１０２に入力されると、先行符号化制御部１０４は、符号化部１０３がアイドリング状態となると判断し、画像順序入れ替え部１０２に当該フレームＢ２を符号化部１０３に渡すよう指示し、更に、符号化部１０３に先行符号化を指示する。

符号化部１０３は、当該フレームＢ２について先のフレームＢ１を参照し前方向予測により先行符号化する。符号化部１０３は続けて先行符号化されたフレームＢ１の符号化データから符号化情報を取得する。この先行符号化されたフレームＢ１に関する符号化情報は、符号化情報変換部１０５に渡され、所定の変換係数により変換される。変換された各予測符号化情報は、符号化情報記憶部１０６に記憶される。

このように、図４に示すフレーム順であっても、本動画像符号化装置は、符号化部１０３のアイドリング期間を検知することにより、そのアイドリング期間を使って先行符号化を行う。以降、本動画像符号化装置は、先行符号化により取得された符号化情報を用いて符号化計画を立て、その後に入力されるフレームに関し実符号化を行う。

［第二実施形態］
本発明の第二実施形態における動画像符号化装置について以下に説明する。先に説明した第一実施形態における動画像符号化装置は、リオーダリングを用いた符号化方式を実現していた。第二実施形態における動画像符号化装置は、コマ落としをして符号化する方式を用いた場合の例である。本動画像符号化装置のハードウェア構成については、第一実施形態と同様であるため説明を省略する。以下、本動画像符号化装置の各機能部について図５を用いて説明する。図５は、第二実施形態における動画像符号化装置の機能構成を示す図である。

第二実施形態における動画像符号化装置は、符号化方式としてＧＯＰ構造がＩＰＰＰの場合のＭＰＥＧ２方式を採用し、コマ落とし（１／３）制御によりフレームレート１０ｆｐｓ（frame per second）を実現する場合の例である。本動画像符号化装置には、図１０に示すようなフレーム構成（Ｉピクチャ及びＰピクチャ）を有する画像信号が入力される。このＩピクチャ及びＰピクチャについては、背景技術の項で説明したとおりである。なお、本発明は、この符号化方式を限定するものではない。

図５に示すように、第二実施形態における動画像符号化装置は、画像記憶部３０１、画像コマ落とし部３０２、符号化部３０３、コマ落とし符号化管理部３０４、符号化情報記憶部３０５、符号化データ遅延バッファ３０６等を有する。以下、これら各機能部の詳細について説明する。

<画像記憶部>
画像記憶部３０１は、例えば、図１０の上段に示すような入力画像信号（Ｉ０、Ｐ１〜Ｐ９）を受けると、この画像信号をフレーム毎に記憶する。画像記憶部３０１は、画像信号を構成するフレームのうち画像コマ落とし部３０２にコマ落としされなかったフレームのみを記憶し、その記憶されたフレームを順次符号化部３０３に渡す。

<画像コマ落とし部>
画像コマ落とし部３０２は、画像記憶部３０１に画像信号が入力されたことを検知すると、入力された画像信号を所定のフレームレートにコマ落としする。本実施形態では、画像コマ落とし部３０２は、図１０の下段に示すように１／３へのコマ落とし制御を行う。これにより、入力画像信号は、画像記憶部３０１に３フレームに１フレームの割合で記憶されることになる。本発明は、このフレームレートを限定するものではない。このフレームレートは外部から調整可能な値として装置内に記憶されるようにしてもよいし、固定値としてメモリ等に記憶されるようにしてもよい。画像コマ落とし部３０２は、このコマ落としに関する情報（１／３へのコマ落とし）をコマ落とし符号化管理部３０４に通知する。

<コマ落とし符号化管理部>
コマ落とし符号化管理部３０４は、画像コマ落とし部３０２から通知されたコマ落とし情報により符号化部３０３が符号化処理を行わないアイドリング状態となるフレーム時間を検知する。コマ落とし符号化管理部３０４は、コマ落としされることにより画像記憶部３０１から符号化部３０３へのフレーム入力がないアイドリング期間中、コマ落とし符号化を行うべく符号化部３０３及び符号化データ遅延バッファ３０６を制御する。

従来、図１０に示すように、コマ落としされたフレームＰ１、Ｐ２、Ｐ４、Ｐ５、Ｐ７及びＰ８のフレーム時間中は、画像記憶部３０１から符号化部３０３へのフレーム入力はないため、当該フレーム時間中符号化部３０３はアイドリング状態となっていた。そこで、コマ落とし符号化管理部３０４は、このフレーム時間を利用した符号化済みフレームの再符号化を検討し、符号化済みフレームの再符号化（以降、この処理をコマ落とし符号化とも表記する）を符号化部３０３に指示する。

コマ落とし符号化管理部３０４は、符号化部３０３のアイドリング時間の終わりを検知すると、出力すべき符号化データを特定し、符号化データ遅延バッファ３０６に特定された符号化データを出力するよう指示する。このとき、コマ落とし符号化管理部３０４は、符号化情報記憶部３０５に記憶されている符号化情報及び再符号化計画情報に基づき、符号化データ遅延バッファ３０６に記憶された対象フレームに関する符号化データのうち最も符号化性能がよい符号化データをその対象フレームの符号化データとして選択する。

具体的には、コマ落とし符号化管理部３０４は、図１０の例において、フレームＰ３が入力されると、符号化部３０３のアイドリング時間の終わりを検知する。このとき、符号化データ遅延バッファ３０６には、フレームＩ０のフレーム時間に符号化されたフレームＩ０の符号化データ、フレームＰ１及びＰ２のフレーム時間に再符号化されたフレームＩ０の符号化データがそれぞれ記憶されている。コマ落とし符号化管理部３０４は、それら符号化データに関する符号化情報記憶部３０５に記憶されている符号化情報及び再符号化計画情報に基づき、符号化データ遅延バッファ３０６に記憶されているフレームＩ０の符号化データのうち、最も符号化性能がよい符号化データをそのフレームＩ０の符号化データとして特定する。

このように、コマ落とし符号化管理部３０４は、符号化部３０３のアイドリング時間の終了を検知するたびに、直前のアイドリング時間にコマ落とし符号化されていた符号化対象フレームに関する符号化データのうちのいずれか１つを出力するよう、符号化部３０３及び符号化データ遅延バッファ３０６を制御する。具体的には、コマ落とし符号化管理部３０４は、図１０の例において、フレームＩ０からフレームＰ３のフレーム時間を利用して、フレームＩ０の符号化データを１つ出力し、フレームＰ３からフレームＰ６のフレーム時間を利用して、フレームＰ３の符号化データを１つ出力し、フレームＰ６からフレームＰ９のフレーム時間を利用して、フレームＰ６の符号化データを１つ出力するよう制御する。

<符号化部>
符号化部３０３は、通常、画像記憶部３０１から渡された順にフレームを符号化する。符号化部３０３は、符号化された画像データを符号化データ遅延バッファ３０６に渡す。符号化部３０３は、符号化対象フレームのピクチャ種別によって符号化方法を決定する。本実施形態では、Ｉピクチャ及びＰピクチャのみを持つフレーム構成を対象としているため、符号化部３０３は、フレーム内予測による符号化、若しくは前方向予測による符号化を行う。よって、符号化部３０３は、Ｐピクチャのために、以前の符号化時に入力されたフレームを所定の間保持する。

また、符号化部３０３は、符号化済みの符号化データからそのフレームに関する発生符合量、平均量子化値等の符号化情報を取得する。この取得された符号化情報は、符号化情報記憶部３０５に記憶される。なお、この符号化情報には、発生符合量、平均量子化値の他、符号化の指標となる他の情報を含めるようにしてもよい。

符号化部３０３は、コマ落とし符号化管理部３０４から再符号化の指示を受けた場合には、指示されたフレームに関し、以前の符号化時に保持されているものを再符号化する。この再符号化にあたり、符号化部３０３は、符号化情報記憶部３０５に記憶されたその対象フレームに関する符号化情報を用いて再度符号化計画を立て直す。符号化部１０３は、この立て直された符号化計画に基づき、符号量制御、量子化制御等を行うことで、対象フレームを再度符号化する。この符号化計画により、発生符合量予測値、平均量子化予測値等の計画値が決定される。再決定された発生符合量予測値、平均量子化予測値等の再符号化計画情報は、符号化情報記憶部３０５に符号化情報と共に記憶される。なお、この符号化計画自体は一般的に公知となっている技術を用いればよく、本発明はこの符号化計画手法を限定するものではない。符号化部３０３は、再符号化された画像データを符号化データ遅延バッファ３０６に渡す。

<符号化データ遅延バッファ>
符号化データ遅延バッファ３０６は、通常、符号化部３０３から渡された符号化データをそのまま本動画像符号化装置から他の機能部に出力する。コマ落とし符号化管理部３０
４から出力を指示された場合には、符号化データ遅延バッファ３０６は、その指示に応じた符号化データを出力する。

〔動作例〕
次に、第二実施形態における動画像符号化装置の動作例について、図６を用いて説明する。図６は、第二実施形態における動画像符号化装置の動作例を示すフローチャートであり、図１０に示す画像信号が入力された場合の動作例である。

画像記憶部３０１に入力された画像信号は、都度、画像コマ落とし部３０２により所定のフレームレートにコマ落としされる。コマ落としされなかったフレームは、順次、符号化部３０３に渡される。まず、画像記憶部３０１にはフレームＩ０が入力される（Ｓ５０１）。当該フレームＩ０は画像コマ落とし部３０２によりコマ落としされないのでそのまま符号化部３０３に渡される。

符号化部３０３は、フレームＩ０を受けると、そのピクチャ種別に応じてフレーム内予測により符号化を行う（Ｓ５０２）。符号化部３０３は、フレームＩ０の符号化データから符号化情報を取得する。このフレームＩ０の符号化に関する符号化情報は、符号化情報記憶部３０５に記憶される。フレームＩ０の符号化データは、符号化データ遅延バッファ３０６に渡され（Ｓ５０３）、記憶される。

フレームＩ０に続き、次のフレーム時間にフレームＰ１が画像記憶部３０１に入力される（Ｓ５０４）。しかし、当該フレームＰ１は、画像コマ落とし部３０２によりコマ落としされる。コマ落とし符号化管理部３０４は、画像コマ落とし部３０２から通知されたコマ落とし情報により、このフレームＰ１のフレーム時間が符号化部３０３のアイドリング時間であると判断すると、符号化部３０３にコマ落とし符号化を行うよう指示する。

符号化部３０３はコマ落とし符号化管理部３０４からのコマ落とし符号化指示により、フレームＩ０を再度符号化する（Ｓ５０５）。このとき、符号化部３０３は、符号化情報記憶部３０５に前回の符号化時に記憶されたフレームＩ０の符号化情報を用いて符号化計画を立て直す。この再符号化計画により、符号化部３０３は、発生符合量予測値、平均量子化予測値等の再計画情報を生成する。これら再計画情報は、符号化情報記憶部３０５に記憶される。符号化部３０３は、この再計画情報に基づき、フレームＩ０を再符号化する。

符号化部３０３は、フレームＩ０の再符号化されたデータから符号化情報を取得し、再度、符号化情報記憶部３０５にその符号化情報を記憶する。フレームＩ０の再符号化されたデータは、符号化データ遅延バッファ３０６に渡される（Ｓ５０６）。

フレームＰ１に続き、次のフレーム時間にフレームＰ２が画像記憶部３０１に入力される（Ｓ５０７）。しかし、当該フレームＰ２は、画像コマ落とし部３０２によりコマ落としされる。コマ落とし符号化管理部３０４は、このフレームＰ２のフレーム時間が符号化部３０３のアイドリング時間であると判断すると、符号化部３０３にコマ落とし符号化を行うよう指示する。

符号化部３０３はコマ落とし符号化指示により、フレームＩ０を再度符号化する（Ｓ５０８）。この再符号化処理は、先の再符号化時（Ｓ５０５）の処理と同様である。この再符号化では再度符号化計画が修正されるため、通常、先の再符号化時（Ｓ５０５）よりも性能のよい符号化が行われることが予想される。この再度の符号化計画により生成された再計画情報もまた符号化情報記憶部３０５に蓄積される。

ここで、コマ落とし符号化管理部３０４は、符号化部３０３のアイドリング期間の終了を検知すると、符号化データ遅延バッファ３０６に記憶されたフレームＩ０に関する符号化データのうち最も性能のよいと判断される符号化データを出力するよう、符号化データ遅延バッファ３０６に指示する。これにより、指示されたフレームＩ０に関する符号化データが他の機能部に出力される（Ｓ５１０）。

フレームＰ２に続き、次のフレーム時間にフレームＰ３が画像記憶部３０１に入力される（Ｓ５１１）。当該フレームＰ３は画像コマ落とし部３０２によりコマ落としされないのでそのまま符号化部３０３に渡される。符号化部３０３は、フレームＰ３を符号化する（Ｓ５１２）。この符号化処理は、先のフレームＩ０における符号化（Ｓ５０２）と同様の処理となる。符号化されたフレームＰ３に関する符号化データは符号化データ遅延バッファ３０６に記憶される（Ｓ５１３）。

次にフレームＰ４が画像記憶部３０１に入力された場合（Ｓ５１４）の各機能部の動作は、先のコマ落とし符号化（再符号化）処理（Ｓ５０５からＳ５１０）と同様である。すなわち、フレームＰ４が入力されるフレーム時間は符号化部３０３のアイドリング時間であると判断され、コマ落とし符号化が行われる。

〔作用／効果〕
ここで、上述した第二実施形態における動画像符号化装置の作用及び効果について述べる。

本実施形態による動画像符号化装置では、コマ落とし制御による符号化部３０３のアイドリング時間が利用され、以前に既に符号化されたフレームについて再符号化される（コマ落とし符号化）。このコマ落とし符号化においては、以前の符号化時に符号化データから取得された符号化情報に基づき、再符号化計画が立てられ、この立て直された符号化計画に基づき対象フレームが再度符号化される。

この符号化計画により、発生符合量予測値、平均量子化予測値等の再符号化計画情報が生成され、符号化情報と共に記憶される。再符号化された画像データは、都度符号化データ遅延バッファ３０６に記憶される。

コマ落とし符号化管理部３０４は、コマ落とし制御による符号化部３０３のアイドリング時間が終了したことを検知すると、符号化データ遅延バッファ３０６に記憶された符号化データのうち対象フレームの最も性能のよいと判断される符号化データが出力される。このとき、コマ落とし符号化管理部３０４は、記憶されている再符号化計画と実符号化後の符号化情報との比較により、最も性能よく符号化されたフレームを判断する。

このように、本実施形態では、コマ落とし制御によるコマ落としされたフレーム時間が利用され、既に符号化されたフレームについて再度符号化が行われる。符号化後には、その符号化データの符号化情報がその都度記憶され、再符号化時には、その記憶された符号化情報に基づき符号化計画が立てなおされる。

従って、コマ落としをして符号化する方式においても符号化部のアイドリング時間が利用され、符号化効率が上がるように符号化計画が都度修正されながら符号化が繰り返されるため、符号化部自体の性能を上げることなく、符号化部の動作効率を上げることにより、高能率の符号化を実現することができる。

〔変形例〕
上述の第二実施形態における動画像符号化装置では、符号化部３０３のアイドリング時
間の終了が検知されるたびに、直前のアイドリング時間にコマ落とし符号化されていた符号化対象フレームに関する符号化データのうちのいずれか１つが出力されていた。このような制御について、コマ落とし符号化管理部３０４は、符号化部３０３のアイドリング時間の終了を検知した際に、一度アイドリング時間が終了した以前のアイドリング時間にコマ落とし符号化されていた符号化対象フレームに関する符号化データを更に再度符号化するように、符号化部３０３及び符号化データ遅延バッファ３０６を制御するようにしてもよい。

以下、図７を用いて、このコマ落とし符号化の変形例について説明する。図７は、第二実施形態における動画像符号化装置の変形例を示す図である。

コマ落とし符号化管理部３０４は、フレームＰ３が入力され、符号化部３０３のアイドリング時間の終わりを検知しても、符号化データ遅延バッファ３０６に符号化データ出力指示を出さない。結局、フレームＰ３が符号化され、符号化データ遅延バッファ３０６に記憶される。よって、このとき、符号化データ遅延バッファ３０６には、フレームＩ０のフレーム時間に符号化されたフレームＩ０の符号化データ、フレームＰ１及びＰ２のフレーム時間に再符号化されたフレームＩ０の符号化データ、フレームＰ３の符号化データがそれぞれ記憶されている。

コマ落とし符号化管理部３０４は、フレームＰ４が入力され、符号化部３０３のアイドリング時間を検知すると、再符号化すべきフレームを検討する。すなわち、コマ落とし符号化管理部３０４は、符号化データ遅延バッファ３０６に記憶されているフレームＰ３の符号化データが所望の符号化品質を有していないと判断すると、再度、フレームＩ０の符号化をすべきと判断する。これにより、符号化データ遅延バッファ３０６には、更に、フレームＩ０の再符号化されたデータが記憶されることになる。続いて、コマ落とし符号化管理部３０４は、フレームＰ５が入力され、符号化部３０３のアイドリング時間を検知すると、フレームＰ３の再符号化をするよう符号化部３０３に指示する。

最終的に、フレームＰ６が入力され、符号化部３０３のアイドリング時間の終わりを検知した場合に、コマ落とし符号化管理部３０４は、そのとき、符号化データ遅延バッファ３０６に記憶されているフレームＩ０及びＰ３の符号化データのうち所望の符号化品質を有する符号化データを各フレームにつき1つずつ出力するよう符号化データ遅延バッファ
３０６に指示する。

このように、フレームＰ３はそのピクチャ種別から前方向予測による符号化がなされるため、過去のフレームの符号化情報により、フレームＰ３の符号化の結果が異なる場合がある。このような場合においても、本動画像符号化装置では、符号化部３０３のアイドリング時間を利用して、再符号化されるため、符号化部３０３自体の性能を上げることなく、高能率符号化を実現することができる。

[その他]
本実施形態は次の発明を開示する。各項に開示される発明は、必要に応じて可能な限り組み合わせることができる。

（付記１）
複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを符号化対象フレームとして順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符
号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されていないフレーム間隔を検出すると、所定の画像フレームを符号化するよう前記符号化手段を制御する制御手段と、
前記制御手段により制御されて符号化された符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正手段と、
を備える動画像符号化装置。

（付記２）
複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを符号化対象フレームとして該画像フレームのピクチャ種別に応じた順番で順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、前記前処理手段に既に入力された画像フレームであって出力の順番待ちとなっている画像フレームと同様の先行画像フレームを出力するよう前記前処理手段に指示する指示手段と、
前記先行画像フレームが出力された場合に、所定の予測符号化方法により該先行画像フレームを符号化するよう前記符号化手段を制御する制御手段と、
前記符号化された先行画像フレームの符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正手段と、
を備える動画像符号化装置。

（付記３）
前記制御手段は、前記所定の予測符号化方法を、前記符号化手段において以前に他の先行画像フレームが符号化されている場合には該他の先行画像フレームを参照する前方向フレーム間予測による符号化と決定し、以前に他の先行画像フレームが符号化されていない場合にはフレーム内予測による符号化と決定する、
付記２に記載の動画像符号化装置。

（付記４）
前記修正手段は、前記符号化情報に基づき、前記符号化対象フレームの符号化データから取得されると予測される予測符号化情報を生成し、生成された予測符号化情報に基づき前記符号化計画を修正する、
付記２又は３に記載の動画像符号化装置。

（付記５）
複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを所定の間引き率で間引き、取り除かれなかった画像フレームを符号化対象フレームとして順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、前記符号化手段により既に符号化された符号化対象フレームを再符号化するよう前記符号化手段を制御する制御手段と、
前記符号化及び又は再符号化された符号化対象フレームの符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正
手段と、
を備える動画像符号化装置。

（付記６）
前記制御手段は、前記間引き率に基づき再符号化の回数を算出し、算出された回数分再符号化を行うよう前記符号化手段を制御する、
付記５に記載の動画像符号化装置。

（付記７）
前記符号化手段により符号化された符号化データ及び前記制御手段の制御により再符号化された符号化データをそれぞれ記憶する記憶手段と、
前記記憶手段に記憶された同一符号化対象フレームに関する符号化データのうち、いずれか１つを選出する選出手段と、
を更に備える付記５又は６に記載の動画像符号化装置。

（付記８）
前記選出手段は、前記符号化情報に基づき、符号化効率及び又は符号化品質のよい符号化データを選出する、
付記７に記載の動画像符号化装置。

（付記９）
前記制御手段は、前記符号化情報に基づき、前記符号化手段により既に符号化された符号化対象フレームのうち再符号化すべき画像フレームを決定する、
付記５から８のいずれか１項に記載の動画像符号化装置。

第一実施形態における動画像符号化装置の構成を示す図である。フレームＢ１の先行符号化を基準とした符号化難易度を示す図である。第一実施形態における動画像符号化装置の動作例を示す図である。第一実施形態における他の画像信号ケースの動作概略を示す図である。第二実施形態における動画像符号化装置の構成を示す図である。第二実施形態における動画像符号化装置の動作例を示す図である。第二実施形態における変形例を示す図である。ＭＰＥＧのフレーム構成を示す図である。リオーダリングを用いた従来の符号化方法を示す図である。コマ落としを用いた従来の符号化方法を示す図である。

符号の説明

１０１、３０１画像記憶部
１０２画像順序入れ替え部
１０３、３０３符号化部
１０４先行符号化制御部
１０５符号化情報変換部
１０６、３０５符号化情報記憶部
３０２画像コマ落とし部
３０４コマ落とし符号化管理部
３０６符号化データ遅延バッファ

Claims

複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを符号化対象フレームとして順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されていないフレーム間隔を検出すると、所定の画像フレームを符号化するよう前記符号化手段を制御する制御手段と、
前記制御手段により制御されて符号化された符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正手段と、
を備える動画像符号化装置。
複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを符号化対象フレームとして該画像フレームのピクチャ種別に応じた順番で順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、前記前処理手段に既に入力された画像フレームであって出力の順番待ちとなっている画像フレームと同様の先行画像フレームを出力するよう前記前処理手段に指示する指示手段と、
前記先行画像フレームが出力された場合に、所定の予測符号化方法により該先行画像フレームを符号化するよう前記符号化手段を制御する制御手段と、
前記符号化された先行画像フレームの符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正手段と、
を備える動画像符号化装置。
前記制御手段は、前記所定の予測符号化方法を、前記符号化手段において以前に他の先行画像フレームが符号化されている場合には該他の先行画像フレームを参照する前方向フレーム間予測による符号化と決定し、以前に他の先行画像フレームが符号化されていない場合にはフレーム内予測による符号化と決定する、
請求項２に記載の動画像符号化装置。
複数のピクチャ種別のいずれか１つを有し所定のフレーム間隔で順次入力される画像フレームを符号化する動画像符号化装置において、
順次入力される画像フレームを所定の間引き率で間引き、取り除かれなかった画像フレームを符号化対象フレームとして順次出力する前処理手段と、
前記順次出力される符号化対象フレームに対し、該符号化対象フレームに応じた符号化計画に基づいて、該符号化対象フレームのピクチャ種別に応じた予測符号化方法により符号化を行う符号化手段と、
前記前処理手段から符号化対象フレームが出力されないフレーム間隔を検出すると、前記符号化手段により既に符号化された符号化対象フレームを再符号化するよう前記符号化手段を制御する制御手段と、
前記符号化及び又は再符号化された符号化対象フレームの符号化データから符号化情報を取得し、該符号化情報から前記符号化対象フレームに応じた符号化計画を修正する修正手段と、
を備える動画像符号化装置。
前記符号化手段により符号化された符号化データ及び前記制御手段の制御により再符号化された符号化データをそれぞれ記憶する記憶手段と、
前記記憶手段に記憶された同一符号化対象フレームに関する符号化データのうち、いずれか１つを選出する選出手段と、
を更に備える請求項４に記載の動画像符号化装置。