JP2016184894A - 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法 - Google Patents

Abstract

【課題】静止画符号化と動画像符号化とを併用する符号化方式において、静止画符号化から動画符号化への切り替えによる情報量の増加を抑制する。【解決手段】記憶部３１１は、静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶する。動画像符号化部３１２は、符号化対象画像よりも１枚前の画像に対して静止画符号化が適用され、符号化対象画像に対して動画像符号化が適用される場合、復号画像を参照画像として用いるインター予測符号化により符号化対象画像を符号化する。【選択図】図３

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法に関する。

動画像データは、非常に大きなデータ量を有することが多い。このため、送信装置から受信装置へ動画像データを送信する場合や、動画像データを記憶装置に格納する場合には、動画像データの圧縮符号化が行われる。

代表的な動画像符号化標準としては、Moving Picture Experts Group phase 2（ＭＰＥＧ−２）、ＭＰＥＧ−４、又はMPEG-4 Advanced Video Coding（ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４）が知られている。これらの動画像符号化標準は、International Organization for Standardization/International Electrotechnical Commission（ＩＳＯ／ＩＥＣ）により策定されている。

また、新たな動画像符号化標準として、High Efficiency Video Coding（ＨＥＶＣ，ＭＰＥＧ−Ｈ／Ｈ．２６５）が策定されている（例えば、非特許文献１を参照）。

上述した動画像符号化標準は、インター予測符号化とイントラ予測符号化の２つの符号化方式を採用している。インター予測符号化は、符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。符号化対象画像は、フレーム又はピクチャと呼ばれることがある。

これらの動画像符号化標準が対象とする動画像は、主に各種カメラで撮影された自然画像である。ところが、近年の情報技術の進歩に伴い、自然画像に加えて、パーソナルコンピュータ（ＰＣ）のデスクトップ等のスクリーンコンテンツ画像にも動画像符号化を適用する流れが生じている。

スクリーンコンテンツ画像の動画像符号化の具体例としては、ＰＣやゲーム機器の表示映像をフラットパネルディスプレイへ無線伝送するWireless displayが挙げられる。また、別の具体例としては、仮想オペレーティングシステムのユーザ画面をインターネットプロトコルによりモバイル機器に伝送する仮想デスクトップ（Virtual Display Infrastructure，ＶＤＩ）が挙げられる。

スクリーンコンテンツ画像は、コンピュータグラフィックス等により生成される人工画像であり、自然画像とは異なる特徴を持っている。スクリーンコンテンツ画像の第１の特徴として、画素の低相関性が挙げられる。自然画像では、注目画素の画素値と隣接画素の画素値との間には、高い相関性が存在する。すべての動画像符号化標準が採用する離散コサイン変換（Discrete Cosine Transform，ＤＣＴ）は、この高い相関性を利用する符号化処理であり、高い圧縮効率を実現することができる。

一方、スクリーンコンテンツ画像では、画素値の相関性が低い領域が多く存在する。例えば、文書編集画面での文字の輪郭部分、Computer Aided Design（ＣＡＤ）データ編集画面での１画素単位の細線等である。このような領域にＤＣＴを適用すると、特に低ビットレート条件において、モスキート歪と呼ばれる高周波成分の歪が、視覚的に顕著に知覚される。

２０１３年に国際標準化されたＨＥＶＣ標準の第１版では、スクリーンコンテンツ画像を高能率に圧縮符号化するための技術が部分的に導入されている。具体的には、イントラ予測符号化及びインター予測符号化における予測誤差に適用されるＤＣＴをスキップする、Transform Skip（ＴＳ）等である。

さらに、標準化が進められているＨＥＶＣ次期版には、スクリーンコンテンツ画像の圧縮効率をさらに高める技術が導入されようとしている（例えば、非特許文献２を参照）。

回路規模の増加を抑えつつ、高画質な静止画を生成することが可能な撮像装置も知られている（例えば、特許文献１を参照）。この撮像装置は、動画像を圧縮して圧縮後の動画像を出力するとともに、圧縮後の動画像を伸張して伸張後の動画像を出力し、伸張後の動画像と、その伸張後の動画像に対応する動画像との差分動画像を生成し、差分動画像を圧縮して圧縮後の差分動画像を出力する。そして、撮像装置は、圧縮後の差分動画像を伸張して伸張後の差分動画像を出力し、伸張後の動画像と、伸張後の差分動画像とを加算して加算動画像を生成し、加算動画像を用いて静止画を生成する。

特開２０１１−２３９２４０号公報

ITU-T H.265 | ISO/IEC 23008-2, "High efficiency video coding", 2013 D. Flynn et al., "High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 6", JCTVC-P1005, 16th JCT-VC Meeting, San Jose, US, 9-17 January 2014

上述した従来の動画像符号化には、以下のような問題がある。
スクリーンコンテンツ画像を含む動画像に対して静止画符号化及び動画像符号化の両方を適用する場合、静止画符号化から動画符号化への切り替えにより、符号化後の情報量がバースト的に増加することがある。

１つの側面において、本発明の目的は、静止画符号化と動画像符号化とを併用する符号化方式において、静止画符号化から動画符号化への切り替えによる情報量の増加を抑制することである。

１つの案では、動画像符号化装置は、記憶部及び動画像符号化部を含む。
記憶部は、静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶する。動画像符号化部は、符号化対象画像よりも１枚前の画像に対して静止画符号化が適用され、符号化対象画像に対して動画像符号化が適用される場合、復号画像を参照画像として用いるインター予測符号化により符号化対象画像を符号化する。

実施形態の動画像符号化装置によれば、静止画符号化と動画像符号化とを併用する符号化方式において、静止画符号化から動画符号化への切り替えによる情報量の増加を抑制することができる。

画像の劣化を示す図である。 発生情報量の変化を示す図である。 動画像符号化装置の構成図である。 動画像復号装置の構成図である。 動画像符号化装置の具体例を示す図である。 符号化部の構成図である。 符号化動画像を示す図である。 静動混合符号化処理のフローチャートである。 動画像復号装置の具体例を示す図である。 復号部の構成図である。 静動混合復号処理のフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
スクリーンコンテンツ画像の符号化では、符号化方式に加えて、符号化前の画素値のフィルタリングが問題となる。

ＭＰＥＧ等の動画像符号化標準では、画素値がＹＣｂＣｒ ４：２：０形式で符号化されることが多いが、スクリーンコンテンツ画像はＲＧＢ ４：４：４形式でキャプチャリングされることが多い。ＲＧＢ ４：４：４形式のスクリーンコンテンツ画像に対して動画像符号化を適用する場合は、まず、ＲＧＢ ４：４：４形式の画像がＹＣｂＣｒ ４：４：４形式の画像に変換される。その後、ＹＣｂＣｒ ４：４：４形式の画像に対してダウンサンプリングフィルタを適用することで、ＹＣｂＣｒ ４：２：０形式の画像が生成される。

ＹＣｂＣｒ ４：２：０形式の画像では、ＹＣｂＣｒ ４：４：４形式の画像と比較して、２つの色差成分Ｃｂ及びＣｒがともに、縦方向及び横方向に１／２にダウンサンプリングされている。動画像符号化においてＹＣｂＣｒ ４：２：０形式を使用する理由は、符号化における情報量の削減のためである。

人間の目は、輝度成分Ｙと比較して、色差成分Ｃｂ及びＣｒに対する空間方向解像度の知覚特性が劣っているが、自然画像においては、ダウンサンプリングによって失われる、空間周波数が高い色差成分は、ほとんど存在しない。このため、結果として、ＹＣｂＣｒ ４：４：４形式とＹＣｂＣｒ ４：２：０形式との差はほとんど知覚されない。

一方、スクリーンコンテンツ画像では、ＹＣｂＣｒ ４：４：４形式とＹＣｂＣｒ ４：２：０形式との差が明確に知覚されてしまう。例えば、ＣＡＤ画像の配線のような、１画素単位の細線は、空間周波数が高い色差成分を含み、スクリーンコンテンツ画像に多く見られる平坦な背景においては、細線の劣化が顕著に認知されてしまう。

図１は、ダウンサンプリングによる画像の劣化の例を示している。変換前のＹＣｂＣｒ ４：４：４形式の画像１０１において、中央の縦線１１１の画素値（Ｙ，Ｃｂ，Ｃｒ）は（１２８，０，０）であり、縦線１１１以外の領域１１２の画素値は（０，１２８，１２８）である。

この画像１０１の色差成分Ｃｂ及びＣｒに対して、横方向（及び縦方向）に２：１ダウンサンプリングフィルタを適用して４：２：０形式に変換した後、１：２アップサンプリングフィルタを適用して元の４：４：４形式に戻すと、画像１０２が得られる。画像１０２において、縦線１１３の画素値は（１２４，６４，６４）に変化しており、縦線１１３に隣接する領域１１４の画素値は（０，９６，９６）に変化している。

このように、ダウンサンプリングフィルタ及びアップサンプリングフィルタの適用により、縦線及び縦線に隣接する領域の色差成分が変化する。この画素値の変化は、背景が一様な場合には人間の目により明確に知覚される。

１画素単位の細線の劣化を防止するためには、動画像符号化においてＹＣｂＣｒ ４：４：４形式又はＲＧＢ ４：４：４形式を適用することが望ましい。しかし、この場合、符号化される色差成分の画素数が４：２：０形式と比較して多くなるため、符号化後の情報量が増加する。

そこで、ＹＣｂＣｒ ４：４：４形式で符号化する静止画符号化と、ＹＣｂＣｒ ４：２：０形式又はＹＣｂＣｒ ４：２：２形式で符号化する動画像符号化とを併用する静動混合符号化が考えられる。静止画符号化としては、例えば、Joint Photographic Experts Group（ＪＰＥＧ）方式が用いられ、動画像符号化としては、例えば、ＭＰＥＧ方式が用いられる。

静動混合符号化では、画面の全体又は部分に対応する画像が静止しているか又は動いているかによって、符号化方式が動的に切り替えられる。動画像符号化装置は、画面が静止している場合、具体的には２枚の連続するフレーム間の差分が０の場合には、静止後最初のフレームに対して静止画符号化を適用し、後続のフレームは符号化しない。動画像復号装置は、静止画符号化されたフレームを復号した後、次の符号化データを受信するまで同じ復号画像を繰り返し表示する。一方、画面が動いている場合には、動画像符号化装置は、フレームに対して動画像符号化を適用する。

人間の目は、静止領域と比較して、動領域における画像劣化に対する知覚が低下する特性を持つ。このため、静動混合符号化により、人間が知覚する画像劣化を最小限に抑えながら、発生情報量を削減することが可能になる。

なお、自然画像では、撮影時に複数の要因によりノイズが生じ、静止時でも画素値が微妙に変動するため、フレーム間の差分が０になることはない。一方、スクリーンコンテンツ画像では、そのようなノイズは発生せず、静止時にはフレーム間の差分が０になる。

図２は、このような静動混合符号化における発生情報量の変化の例を示している。静動混合符号化において、静止画符号化データ及び動画像符号化データはそれぞれの中で閉じている。

例えば、静止した画面から動きのある画面に移行する場合、動画像符号化装置は、まず、フレームに対して静止画符号化を適用した後、静止画符号化から動画像符号化に切り替える。ＭＰＥＧ等の動画像符号化において、動画像符号化装置は、動画像符号化に切り替えた直後の最初のフレームをイントラ予測符号化により符号化し、後続するフレームをインター予測符号化により符号化する。

イントラ予測符号化では多くの情報が発生するため、ピーク２０１が示すように、静止画符号化から動画像符号化への切り替え時にはバースト的に情報が発生し、通信ネットワークの輻輳を引き起こす可能性がある。

また、動きのある画面から静止した画面に移行する場合、動画像符号化装置は、インター予測符号化から静止画符号化に切り替える。ＪＰＥＧ等の静止画符号化では、ピーク２０２が示すように、インター予測符号化と比較して静止画符号による多くの情報が発生する。

静止画符号化から動画像符号化への切り替えによる過剰な情報の発生を抑制するために、静止画符号化された符号化フレームの復号フレームと切り替え後の最初のフレームとの差分を求め、この差分をイントラ予測符号化により符号化する方法が考えられる。しかし、この方法では、最初のフレームの符号化後の情報量を削減することができるが、以降のフレームの情報量は削減されない。

その理由は、以降のフレームのインター予測符号化において、過去に符号化されたフレームと符号化対象フレームとの差分が符号化されるためである。切り替え後の最初のフレームの復号フレームが通常のフレームではなく、２つのフレームの差分である場合、その次の符号化対象フレームである通常のフレームとの差分が非常に大きくなり、インター予測の効率が極端に低下する。

なお、かかる問題は、スクリーンコンテンツ画像を含む動画像を符号化する場合に限らず、画像の劣化が顕著に認知される他の画像を含む動画像を符号化する場合においても生ずるものである。

そこで、静止画符号化された符号化フレームの復号フレームを、切り替え後の最初のフレームよりも前に符号化されたフレームとみなし、参照フレームとして用いて、切り替え後の最初のフレームにインター予測符号化を適用する方法も考えられる。この方法では、切り替え後の最初のフレームがインター予測符号化により符号化されるため、イントラ予測符号化と比較して、発生する符号の情報量が減少する。

図３は、実施形態の動画像符号化装置の構成例を示している。図３の動画像符号化装置３０１は、記憶部３１１及び動画像符号化部３１２を含む。記憶部３１１は、静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶する。動画像符号化部３１２は、符号化対象画像よりも１枚前の画像に対して静止画符号化が適用され、符号化対象画像に対して動画像符号化が適用される場合、復号画像を参照画像として用いるインター予測符号化により符号化対象画像を符号化する。

図４は、実施形態の動画像復号装置の構成例を示している。図４の動画像復号装置４０１は、記憶部４１１及び動画像復号部４１２を含む。記憶部４１１は、静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶する。動画像復号部４１２は、復号対象画像よりも１枚前の符号化画像に対して静止画復号が適用され、復号対象画像に対して動画像復号が適用される場合、復号画像を参照画像として用いるインター予測復号により復号対象画像を復号する。

図３の動画像符号化装置３０１又は図４の動画像復号装置４０１によれば、静止画符号化と動画像符号化とを併用する符号化方式において、静止画符号化から動画符号化への切り替えによる情報量の増加を抑制することができる。

動画像符号化装置３０１及び動画像復号装置４０１は、様々な用途に利用される。例えば、動画像符号化装置３０１又は動画像復号装置４０１を、ビデオカメラ、動画像送信装置、動画像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。

図５は、図３の動画像符号化装置３０１の具体例を示している。図３の動画像符号化装置３０１は、モード判定部５０１、フレーム変換部５０２〜フレーム変換部５０５、差分計算部５０６、加算部５０７、符号化部５０８、静止画符号化部５０９、静止画復号部５１０、及び多重化部５１１を含む。

動画像符号化装置３０１は、例えば、ハードウェア回路として実装することができる。この場合、動画像符号化装置３０１は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。

動画像符号化装置３０１は、入力される符号化対象動画像を符号化し、符号化動画像を出力する。符号化対象動画像は、複数のフレームを含む。各フレームは、符号化対象画像（符号化対象フレーム）に対応し、カラー画像であってもよく、モノクロ画像であってもよい。フレームがカラー画像の場合、画素値はＲＧＢ信号であってもよく、色差信号であってもよい。以下では、画素値が色差信号の場合について説明する。

モード判定部５０１は、フレームバッファを含み、符号化対象動画像のフレームレート間隔にて、符号化対象フレームの画素値と、符号化対象フレームよりも１枚前の直前フレームの画素値との差分を計算する。そして、モード判定部５０１は、２つのフレームの差分に基づいて、符号化対象フレームが静止しているか否かを判定する。

モード判定部５０１は、符号化対象フレームに動きがある場合、符号化モードとして動画像符号化を選択し、符号化対象フレームが静止している場合、符号化モードとして静止画符号化を選択する。そして、モード判定部５０１は、選択した符号化モードを示す制御信号を動画像符号化装置３０１内の各部へ出力する。

フレーム変換部５０２は、符号化対象フレームの色差形式を、静止画符号化の色差形式に変換し、変換後のフレームを差分計算部５０６へ出力する。フレーム変換部５０３は、符号化部５０８から出力される復号フレームの色差形式（動画像符号化の色差形式）を、静止画符号化の色差形式に変換し、変換後の復号フレームを差分計算部５０６及び加算部５０７へ出力する。

符号化対象フレームの色差形式は、ＹＣｂＣｒ ４：４：４形式であってもよく、静止画符号化の色差形式は、ＹＣｂＣｒ ４：２：２形式であってもよく、動画像符号化の色差形式は、ＹＣｂＣｒ ４：２：０形式であってもよい。

差分計算部５０６は、直前フレームの符号化モードが動画像符号化である場合、フレーム変換部５０２から出力されるフレームの画素値と、フレーム変換部５０３から出力されるフレームの画素値との差分を計算する。そして、差分計算部５０６は、２つのフレームの差分を静止画符号化部５０９へ出力する。一方、直前フレームの符号化モードが静止画符号化である場合、差分計算部５０６は、フレーム変換部５０２から出力されるフレームをそのまま静止画符号化部５０９へ出力する。

静止画符号化部５０９は、差分計算部５０６から出力される差分又はフレームに対して静止画符号化を行って、静止画符号化フレームを生成し、静止画復号部５１０及び多重化部５１１へ出力する。静止画復号部５１０は、静止画符号化部５０９から出力される静止画符号化フレームを復号し、２つのフレームの差分又は復号フレームを加算部５０７へ出力する。

加算部５０７は、静止画復号部５１０から差分が出力された場合、フレーム変換部５０３から出力される復号フレームに差分を加算して、加算結果の復号フレームをフレーム変換部５０４へ出力する。一方、静止画復号部５１０から復号フレームが出力された場合、加算部５０７は、その復号フレームをそのままフレーム変換部５０４へ出力する。

フレーム変換部５０４は、加算部５０７から出力される復号フレームの色差形式を、動画像符号化の色差形式に変換し、変換後の復号フレームを符号化部５０８へ出力する。フレーム変換部５０５は、符号化対象フレームの色差形式を、動画像符号化の色差形式に変換し、変換後のフレームを符号化部５０８へ出力する。

符号化部５０８は、フレーム変換部５０４から出力される復号フレームを用いて、フレーム変換部５０５から出力されるフレームを動画像符号化により符号化し、動画像符号化フレームを生成して多重化部５１１へ出力する。また、符号化部５０８は、生成した動画像符号化フレームを局所復号して復号フレームを生成し、フレーム変換部５０３へ出力する。

多重化部５１１は、静止画符号化部５０９から出力される静止画符号化フレームと、符号化部５０８から出力される動画像符号化フレームとを多重化し、符号化動画像として出力する。符号化動画像には、各符号化フレームの符号化モードの情報、各符号化モードにおける色差形式の情報等が付加される。動画像符号化装置３０１は、通信ネットワークを介して符号化動画像を動画像復号装置４０１へ送信してもよい。

図６は、図５の符号化部５０８の構成例を示している。図６の符号化部５０８は、動画像符号化部３１２、入力フレームバッファ６０１、及び参照フレームバッファ６０２を含む。入力フレームバッファ６０１及び参照フレームバッファ６０２は、記憶部３１１に対応する。動画像符号化部３１２は、ソース符号化部６０３及びエントロピー符号化部６０４を含む。

入力フレームバッファ６０１は、フレーム変換部５０５から出力されるフレームを処理対象フレームとして格納し、ソース符号化部６０３へ出力する。参照フレームバッファ６０２は、フレーム変換部５０４から出力される復号フレームを参照フレームとして格納する。この参照フレームは、静止画符号化から動画像符号化への切り替え後の最初のフレームに対してインター予測符号化が適用される際に、ソース符号化部６０３へ出力される。

ソース符号化部６０３は、入力フレームバッファ６０１に格納された処理対象フレームに対してソース符号化を適用して、符号化結果をエントロピー符号化部６０４へ出力する。ソース符号化は、インター予測符号化又はイントラ予測符号化に対応し、インター予測又はイントラ予測、予測誤差の周波数変換及び量子化、逆量子化及び逆周波数変換の変換結果と予測画素値との加算、及びループ内フィルタによるフィルタリングを含む。

インター予測符号化において、ソース符号化部６０３は、入力フレームバッファ６０１に格納された処理対象フレームの画素値と、参照フレームバッファ６０２に格納された参照フレームの画素値とから予測誤差を計算する。そして、ソース符号化部６０３は、予測誤差を周波数変換した変換結果を量子化して、量子化結果をエントロピー符号化部６０４へ出力する。また、ソース符号化部６０３は、量子化結果を局所復号して復号フレームを生成し、生成した復号フレームを参照フレームとして参照フレームバッファ６０２に格納する。

エントロピー符号化部６０４は、ソース符号化部６０３から出力される量子化結果を、予測符号化パラメータ等とともにエントロピー符号化により符号化して動画像符号化フレームを生成し、多重化部５１１へ出力する。予測符号化パラメータには、例えば、量子化ステップ、動きベクトル等の情報が含まれる。

図７は、多重化部５１１が出力する符号化動画像の例を示している。図７の符号化動画像は、伝送順序に従って出力される複数の符号化フレーム７０１を含む。各符号化フレーム７０１は、静止画符号化フレーム又は動画像符号化フレームであり、ヘッダ７１１及び符号化データ７１２を含む。

ヘッダ７１１は、符号化フレーム７０１の符号化モード、符号化対象フレームの色差形式、及び符号化フレーム７０１の色差形式を示す情報を含む。符号化データ７１２は、符号化対象フレームの符号化結果に対応する。

図８は、図５の動画像符号化装置３０１が行う静動混合符号化処理の例を示すフローチャートである。まず、モード判定部５０１は、符号化対象フレームと直前フレームとの差分を計算し（ステップ８０１）、差分を閾値と比較する（ステップ８０２）。

差分が閾値以上である場合（ステップ８０２，ＹＥＳ）、モード判定部５０１は、符号化モードを動画像符号化に決定し（ステップ８０３）、フレーム変換部５０５は、符号化対象フレームの色差形式を、動画像符号化の色差形式に変換する。

次に、フレーム変換部５０４は、符号化モードが動画像符号化へ切り替えられた直後であるか否かをチェックする（ステップ８０４）。直前フレームの符号化モードが静止画符号化である場合、切り替えの直後であると判定され、直前フレームの符号化モードが動画像符号化である場合、切り替えの直後ではないと判定される。

動画像符号化への切り替えの直後である場合（ステップ８０４，ＹＥＳ）、フレーム変換部５０４は、静止画符号化された直前フレームの復号フレームの色差形式を、動画像符号化の色差形式に変換する（ステップ８０５）。そして、符号化部５０８は、変換後の復号フレームを参照フレームバッファ６０２内の参照フレームリストに格納する（ステップ８０６）。

次に、符号化部５０８は、変換後の復号フレームを参照フレームとして用いて、インター予測符号化により符号化対象フレームを符号化し、動画像符号化フレームを生成する（ステップ８０７）。このとき、符号化部５０８は、動画像符号化フレームの復号フレームを生成し、参照フレームバッファ６０２内の参照フレームリストに追加する。また、フレーム変換部５０３は、その復号フレームの色差形式を、静止画符号化の色差形式に変換する。

このように、静止画符号化から動画像符号化への切り替え後の最初の符号化対象フレームをインター予測符号化により符号化することで、イントラ予測符号化の場合と比較して、切り替えによる符号量の過剰な増加を抑制することができる。

一方、動画像符号化への切り替えの直後ではない場合（ステップ８０４，ＮＯ）、符号化部５０８は、参照フレームリスト内のいずれかの参照フレームを用いて、インター予測符号化により符号化対象フレームを符号化する（ステップ８０７）。

次に、モード判定部５０１は、未処理のフレームが残っているか否かチェックし（ステップ８１５）、未処理のフレームが残っている場合（ステップ８１５，ＹＥＳ）、次のフレームを符号化対象フレームとしてステップ８０１以降の処理を繰り返す。

差分が閾値未満である場合（ステップ８０２，ＮＯ）、モード判定部５０１は、符号化モードを静止画符号化に決定し（ステップ８０８）、フレーム変換部５０２は、符号化対象フレームの色差形式を、静止画符号化の色差形式に変換する。

次に、フレーム変換部５０３は、符号化モードが静止画符号化へ切り替えられた直後であるか否かをチェックする（ステップ８０９）。直前フレームの符号化モードが動画像符号化である場合、切り替えの直後であると判定され、直前フレームの符号化モードが静止画符号化である場合、切り替えの直後ではないと判定される。

静止画符号化への切り替えの直後である場合（ステップ８０９，ＹＥＳ）、フレーム変換部５０３は、動画像符号化された直前フレームの復号フレームの色差形式を、静止画符号化の色差形式に変換する（ステップ８１０）。そして、差分計算部５０６は、変換後の符号化対象フレームと変換後の復号フレームとの差分を計算する（ステップ８１１）。

次に、静止画符号化部５０９は、静止画符号化により差分を符号化し、静止画符号化フレームを生成する（ステップＳ８１２）。そして、静止画復号部５１０は、静止画符号化フレームを復号して差分を生成する。

このように、動画像符号化から静止画符号化への切り替え後の最初の符号化対象フレームは、動画像符号化された直前フレームの復号フレームに対する差分を用いて符号化される。これにより、ＪＰＥＧ等の静止画符号化の場合と比較して、切り替えによる符号量の過剰な増加を抑制することができる。

一方、静止画符号化への切り替えの直後ではない場合（ステップ８０９，ＮＯ）、静止画符号化部５０９は、変換後の符号化対象フレームを静止画符号化により符号化し、静止画符号化フレームを生成する（ステップＳ８１２）。そして、静止画復号部５１０は、静止画符号化フレームを復号して復号フレームを生成する。

次に、加算部５０７は、符号化モードが静止画符号化へ切り替えられた直後であるか否かをチェックする（ステップ８１３）。動画像符号化への切り替えの直後である場合（ステップ８１３，ＹＥＳ）、加算部５０７は、変換後の復号フレームに静止画復号部５１０が生成した差分を加算して、加算結果の復号フレームを生成する（ステップ８１４）。一方、静止画符号化への切り替えの直後ではない場合（ステップ８１３，ＮＯ）、加算部５０７は、静止画復号部５１０が生成した復号フレームをそのまま出力する。

次に、モード判定部５０１は、ステップ８１５以降の処理を行う。そして、すべてのフレームが符号化された場合（ステップ８１５，ＮＯ）、モード判定部５０１は、処理を終了する。

図９は、図４の動画像復号装置４０１の具体例を示している。図９の動画像復号装置４０１は、復号制御部９０１、逆多重化部９０２、静止画復号部９０３、復号部９０４、フレーム変換部９０５〜フレーム変換部９０８、加算部９０９、及びフレームバッファ９１０を含む。

動画像復号装置４０１は、例えば、ハードウェア回路として実装することができる。この場合、動画像復号装置４０１は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。

動画像復号装置４０１は、入力される符号化動画像を復号し、復号結果である動画像を出力する。符号化動画像は、複数の符号化フレームを含み、各符号化フレームは、復号対象画像（復号対象フレーム）に対応する。

逆多重化部９０２は、符号化動画像を逆多重化して、静止画符号化フレーム、動画像符号化フレーム、各符号化フレームの符号化モードの情報、及び各符号化モードにおける色差形式の情報を抽出する。そして、逆多重化部９０２は、静止画符号化フレームを静止画復号部９０３へ出力し、動画像符号化フレームを復号部９０４へ出力し、符号化モードの情報及び色差形式の情報を復号制御部９０１へ出力する。

復号制御部９０１は、逆多重化部９０２から出力される符号化モードの情報及び色差形式の情報から、復号対象フレームの符号化モードと、静止画符号化の色差形式、及び動画像符号化の色差形式を取得する。そして、復号制御部９０１は、符号化モード及び色差形式を示す制御信号を動画像復号装置４０１内の各部へ出力する。

静止画復号部９０３は、逆多重化部９０２から出力される静止画符号化フレームを静止画復号により復号して復号結果を生成し、加算部９０９へ出力する。復号対象フレームよりも１枚前の直前フレームの符号化モードが動画像符号化である場合、復号結果は２つのフレームの差分を表し、直前フレームの符号化モードが静止画符号化である場合、復号結果は静止画復号フレームを表す。

加算部９０９は、直前フレームの符号化モードが動画像符号化である場合、静止画復号部９０３から出力される差分と、フレーム変換部９０７から出力される変換後の復号フレームとを加算して、加算結果の復号フレームを生成する。そして、加算部９０９は、加算結果の復号フレームをフレーム変換部９０５及びフレーム変換部９０６へ出力する。一方、直前フレームの符号化モードが静止画符号化である場合、加算部９０９は、静止画復号部９０３から出力される静止画復号フレームをそのままフレーム変換部９０６へ出力する。

フレーム変換部９０６は、加算部９０９から出力される加算結果の復号フレーム又は静止画復号フレームの色差形式（静止画符号化の色差形式）を、動画像復号装置４０１が出力する動画像の色差形式に変換する。そして、フレーム変換部９０６は、変換後の復号フレームをフレームバッファ９１０へ出力する。フレーム変換部９０５は、加算部９０９から出力される加算結果の復号フレームの色差形式を、動画像符号化の色差形式に変換し、変換後の復号フレームを復号部９０４へ出力する。

静止画符号化の色差形式は、ＹＣｂＣｒ ４：２：２形式であってもよく、動画像符号化の色差形式は、ＹＣｂＣｒ ４：２：０形式であってもよく、動画像復号装置４０１が出力する動画像の色差形式は、ＹＣｂＣｒ ４：４：４形式であってもよい。

復号部９０４は、フレーム変換部９０５から出力される変換後の復号フレームを用いて、逆多重化部９０２から出力される動画像符号化フレームを動画像復号により復号して、動画像復号フレームを生成する。そして、復号部９０４は、動画像復号フレームをフレーム変換部９０７及びフレーム変換部９０８へ出力する。

フレーム変換部９０８は、復号部９０４から出力される動画像復号フレームの色差形式（動画像符号化の色差形式）を、動画像復号装置４０１が出力する動画像の色差形式に変換し、変換後の復号フレームをフレームバッファ９１０へ出力する。フレーム変換部９０７は、復号部９０４から出力される動画像復号フレームの色差形式を、静止画符号化の色差形式に変換し、変換後の復号フレームを加算部９０９へ出力する。

フレームバッファ９１０は、フレーム変換部９０６及びフレーム変換部９０８から出力される変換後の復号フレームをバッファリングし、表示タイミングに従って表示装置へ出力する。これにより、動画像が画面上に表示される。

図１０は、図９の復号部９０４の構成例を示している。図１０の復号部９０４は、動画像復号部４１２及び参照フレームバッファ１００１を含む。参照フレームバッファ１００１は、記憶部４１１に対応する。動画像復号部４１２は、エントロピー復号部１０１１及びソース復号部１０１２を含む。

参照フレームバッファ１００１は、フレーム変換部９０５から出力される復号フレームを参照フレームとして格納する。この参照フレームは、静止画符号化から動画像符号化への切り替え後の最初の動画像符号化フレームに対してインター予測復号が適用される際に、ソース復号部１０１２へ出力される。

エントロピー復号部１０１１は、逆多重化部９０２から出力される動画像符号化フレームをエントロピー復号により復号して、復号結果をソース復号部１０１２へ出力する。復号結果には、予測符号化パラメータ等が含まれる。

ソース復号部１０１２は、エントロピー復号部１０１１から出力される復号結果に対してソース復号を適用して動画像復号フレームを生成し、生成した動画像復号フレームを参照フレームとして参照フレームバッファ１００１に格納する。ソース復号は、インター予測復号又はイントラ予測復号に対応し、逆量子化及び逆周波数変換、インター予測又はイントラ予測、逆量子化及び逆周波数変換の変換結果と予測画素値との加算、及びループ内フィルタによるフィルタリングを含む。

インター予測復号において、ソース復号部１０１２は、エントロピー復号部１０１１から出力される復号結果を逆量子化し、逆量子化結果を逆周波数変換して、予測誤差を生成する。そして、ソース復号部１０１２は、生成した予測誤差と、参照フレームバッファ１００１に格納された参照フレームの画素値とから、動画像復号フレームを生成して、参照フレームバッファ１００１に格納する。

参照フレームバッファ１００１に格納された動画像復号フレームは、フレーム変換部９０７及びフレーム変換部９０８へ出力されるとともに、後続する動画像符号化フレームに対する参照フレームとして用いられる。

図１１は、図９の動画像復号装置４０１が行う静動混合復号処理の例を示すフローチャートである。まず、復号制御部９０１は、逆多重化部９０２から符号化モードの情報を取得し（ステップ１１０１）、復号対象フレームの符号化モードが動画像符号化又は静止画符号化のいずれであるかをチェックする（ステップ１１０２）。

復号対象フレームの符号化モードが動画像符号化である場合（ステップ１１０２，ＹＥＳ）、フレーム変換部９０５は、符号化モードが動画像符号化へ切り替えられた直後であるか否かをチェックする（ステップ１１０３）。直前フレームの符号化モードが静止画符号化である場合、切り替えの直後であると判定され、直前フレームの符号化モードが動画像符号化である場合、切り替えの直後ではないと判定される。

動画像符号化への切り替えの直後である場合（ステップ１１０３，ＹＥＳ）、フレーム変換部９０５は、直前の静止画復号フレームの色差形式を、動画像符号化の色差形式に変換する（ステップ１１０４）。そして、復号部９０４は、変換後の復号フレームを参照フレームバッファ１００１内の参照フレームリストに格納する（ステップ１１０５）。

次に、復号部９０４は、変換後の復号フレームを参照フレームとして用いて、インター予測復号により復号対象フレームを復号し、動画像復号フレームを生成する（ステップ１１０６）。そして、復号部９０４は、生成した動画像符号化フレームを参照フレームバッファ１００１内の参照フレームリストに追加する。

一方、動画像符号化への切り替えの直後ではない場合（ステップ１１０３，ＮＯ）、復号部９０４は、参照フレームリスト内のいずれかの参照フレームを用いて、インター予測復号により復号対象フレームを復号する（ステップ１１０６）。

次に、フレーム変換部９０８は、動画像復号フレームの色差形式を、動画像復号装置４０１が出力する動画像の色差形式に変換し、フレームバッファ９１０は、変換後の復号フレームを表示装置へ出力する（ステップ１１１１）。

次に、復号制御部９０１は、未処理のフレームが残っているか否かチェックし（ステップ１１１２）、未処理のフレームが残っている場合（ステップ１１１２，ＹＥＳ）、次のフレームを復号対象フレームとしてステップ１１０１以降の処理を繰り返す。

復号対象フレームの符号化モードが静止画符号化である場合（ステップ１１０２，ＮＯ）、静止画復号部９０３は、復号対象フレームを静止画復号により復号して復号結果を生成する（ステップ１１０７）。

次に、フレーム変換部９０７は、符号化モードが静止画符号化へ切り替えられた直後であるか否かをチェックする（ステップ１１０８）。直前フレームの符号化モードが動画像符号化である場合、切り替えの直後であると判定され、直前フレームの符号化モードが静止画符号化である場合、切り替えの直後ではないと判定される。

静止画符号化への切り替えの直後である場合（ステップ１１０８，ＹＥＳ）、フレーム変換部９０７は、直前の動画像符号化フレームを復号した動画像復号フレームの色差形式を、静止画符号化の色差形式に変換する（ステップ１１０９）。そして、加算部９０９は、変換後の復号フレームと、復号対象フレームの復号結果が表す２つのフレームの差分とを加算して、加算結果の復号フレームを生成する（ステップ１１１０）。

一方、静止画符号化への切り替えの直後ではない場合（ステップ１１０８，ＮＯ）、加算部９０９は、復号対象フレームを復号した静止画復号フレームをフレーム変換部９０６へ出力する。

次に、フレーム変換部９０６は、加算結果の復号フレーム又は静止画復号フレームの色差形式を、動画像復号装置４０１が出力する動画像の色差形式に変換する（ステップ１１１１）。そして、フレームバッファ９１０は、変換後の復号フレームを表示装置へ出力する。

次に、復号制御部９０１は、ステップ１１１２以降の処理を行う。そして、すべてのフレームが復号された場合（ステップ１１１２，ＮＯ）、復号制御部９０１は、処理を終了する。

図３及び図５の動画像符号化装置３０１と図６の符号化部５０８の構成は一例に過ぎず、動画像符号化装置３０１の用途や条件に応じて一部の構成要素を省略又は変更してもよい。

例えば、符号化対象フレームの色差形式、静止画符号化の色差形式、及び動画像符号化の色差形式が同じである場合、図５のフレーム変換部５０２〜フレーム変換部５０５を省略することができる。動画像符号化から静止画符号化への切り替え後の最初の符号化対象フレームをＪＰＥＧ等の静止画符号化により符号化する場合、図５の差分計算部５０６及び加算部５０７を省略することができる。エントロピー符号化を行わない場合、図６のエントロピー符号化部６０４を省略することができる。

図４及び図９の動画像復号装置４０１と図１０の復号部９０４の構成は一例に過ぎず、動画像復号装置４０１の用途や条件に応じて一部の構成要素を省略又は変更してもよい。

例えば、動画像復号装置４０１が出力する動画像の色差形式、静止画符号化の色差形式、及び動画像符号化の色差形式が同じである場合、図９のフレーム変換部９０５〜フレーム変換部９０８を省略することができる。動画像符号化から静止画符号化への切り替え後の最初の符号化対象フレームをＪＰＥＧ等の静止画符号化により符号化する場合、図９の加算部９０９を省略することができる。エントロピー符号化を行わない場合、図１０のエントロピー復号部１０１１を省略することができる。

図８及び図１１に示したフローチャートは一例に過ぎず、動画像符号化装置３０１及び動画像復号装置４０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、符号化対象フレームの色差形式、静止画符号化の色差形式、及び動画像符号化の色差形式が同じである場合、図８のステップ８０５及びステップ８１０の処理を省略することができる。この場合、ステップ８０３及びステップ８０８における色差形式変換処理も不要である。

動画像復号装置４０１が出力する動画像の色差形式、静止画符号化の色差形式、及び動画像符号化の色差形式が同じである場合、図１１のステップ１１０４及びステップ１１０９の処理を省略することができる。この場合、ステップ１１１１における色差形式変換処理も不要である。

動画像符号化から静止画符号化への切り替え後の最初の符号化対象フレームをＪＰＥＧ等の静止画符号化により符号化する場合、図８のステップ８０９〜ステップ８１１、ステップ８１３、及びステップ８１４の処理を省略することができる。この場合、図１１のステップ１１０８〜ステップ１１１０の処理も省略することができる。

図８のステップ８０７において、動画像符号化への切り替えの直後である場合、符号化部５０８は、符号化対象フレームよりも１枚前の直前フレームの代わりに、Ｎ枚前（Ｎは２以上の整数）のフレームの復号フレームを参照フレームとして用いてもよい。これにより、参照フレームの選択候補が増加する。この場合、ステップ８０５において、フレーム変換部５０４は、符号化対象フレームよりもＮ枚前のフレームの復号フレームの色差形式を、動画像符号化の色差形式に変換する。

また、図１１のステップ１１０４において、フレーム変換部９０５は、復号対象フレームよりもＮ枚前の静止画復号フレームの色差形式を、動画像符号化の色差形式に変換する。そして、ステップ１１０６において、復号部９０４は、Ｎ枚前の静止画復号フレームに対応する変換後の復号フレームを参照フレームとして用いる。

図８のステップ８０７において参照フレームとして用いられるＮ枚前のフレームは、動画像符号化により符号化されたフレームであっても構わない。

図８のステップ８１１において、静止画符号化への切り替えの直後である場合、差分計算部５０６は、符号化対象フレームよりも１枚前の直前フレームの代わりに、Ｎ枚前のフレームの復号フレームを用いて差分を計算してもよい。これにより、差分の計算に用いられるフレームの選択候補が増加する。この場合、ステップ８１０において、フレーム変換部５０３は、符号化対象フレームよりもＮ枚前のフレームの復号フレームの色差形式を、静止画符号化の色差形式に変換する。

また、図１１のステップ１１０９において、フレーム変換部９０５は、復号対象フレームよりもＮ枚前の動画像符号化フレームを復号した動画像復号フレームの色差形式を、静止画符号化の色差形式に変換する。そして、ステップ１１１０において、加算部９０９は、Ｎ枚前の動画像復号フレームに対応する変換後の復号フレームと、復号対象フレームの復号結果が表す２つのフレームの差分とを加算する。

図８のステップ８１１において差分の計算に用いられるＮ枚前のフレームは、静止画符号化により符号化されたフレームであっても構わない。

符号化対象画像は、スクリーンコンテンツ画像を含む動画像に限定されるものではなく、画像の劣化が顕著に認知される他の画像を含む動画像であってもよい。

図３及び図５の動画像符号化装置３０１と図４及び図９の動画像復号装置４０１は、ハードウェア回路として実装することもでき、図１２に示すような情報処理装置（コンピュータ）を用いて実現することもできる。

図１２の情報処理装置は、Central Processing Unit（ＣＰＵ）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を備える。これらの構成要素はバス１２０８により互いに接続されている。

メモリ１２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、静動混合符号化処理又は静動混合復号処理に用いられるプログラム及びデータを格納する。メモリ１２０２は、図３の記憶部３１１、図４の記憶部４１１、図６の入力フレームバッファ６０１及び参照フレームバッファ６０２、図９のフレームバッファ９１０、又は図１０の参照フレームバッファ１００１として用いることができる。

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図３及び図６の動画像符号化部３１２、又は図４及び図１０の動画像復号部４１２として動作する。

ＣＰＵ１２０１は、図５のモード判定部５０１、フレーム変換部５０２〜フレーム変換部５０５、差分計算部５０６、加算部５０７、符号化部５０８、静止画符号化部５０９、静止画復号部５１０、及び多重化部５１１としても動作する。ＣＰＵ１２０１は、図６のソース符号化部６０３及びエントロピー符号化部６０４としても動作する。

ＣＰＵ１２０１は、図９の復号制御部９０１、逆多重化部９０２、静止画復号部９０３、復号部９０４、フレーム変換部９０５〜フレーム変換部９０８、及び加算部９０９としても動作する。ＣＰＵ１２０１は、図１０のエントロピー復号部１０１１及びソース復号部１０１２としても動作する。

入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果は、図９のフレームバッファ９１０から出力される動画像であってもよい。

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、及び可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１２０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置１２０７は、符号化動画像を動画像復号装置４０１へ送信することもでき、動画像符号化装置３０１から符号化動画像を受信することもできる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受け取り、それらをメモリ１２０２にロードして使用することもできる。

なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。また、情報処理装置が可搬型記録媒体１２０９にアクセスしない場合は、媒体駆動装置１２０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図６乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶する記憶部と、
前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する動画像符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記符号化対象画像よりも１枚前の前記画像、又は前記符号化対象画像よりも２枚以上前の画像を前記静止画符号化により符号化して、前記符号化画像を生成する静止画符号化部をさらに備えることを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記符号化対象画像よりも後の第１の画像に対して前記動画像符号化が適用され、前記第１の画像よりも１枚後の第２の画像に対して前記静止画符号化が適用される場合、前記動画像符号化により符号化された前記第１の画像の復号画像と前記第２の画像との差分を前記静止画符号化により符号化する静止画符号化部をさらに備えることを特徴とする付記１記載の動画像符号化装置。
（付記４）
前記符号化対象画像と前記符号化対象画像よりも１枚前の前記画像との差分が閾値よりも大きい場合、前記符号化対象画像に対して前記動画像符号化を適用すると判定する判定部をさらに備えることを特徴とする付記１乃至３のいずれか１項に記載の動画像符号化装置。
（付記５）
静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶部に格納し、
前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する、
処理をコンピュータに実行させる動画像符号化プログラム。
（付記６）
前記コンピュータは、前記符号化対象画像よりも１枚前の前記画像、又は前記符号化対象画像よりも２枚以上前の画像を前記静止画符号化により符号化して、前記符号化画像を生成することを特徴とする付記５記載の動画像符号化プログラム。
（付記７）
前記コンピュータは、前記符号化対象画像よりも後の第１の画像に対して前記動画像符号化が適用され、前記第１の画像よりも１枚後の第２の画像に対して前記静止画符号化が適用される場合、前記動画像符号化により符号化された前記第１の画像の復号画像と前記第２の画像との差分を前記静止画符号化により符号化することを特徴とする付記５記載の動画像符号化プログラム。
（付記８）
前記コンピュータは、前記符号化対象画像と前記符号化対象画像よりも１枚前の前記画像との差分が閾値よりも大きい場合、前記符号化対象画像に対して前記動画像符号化を適用すると判定することを特徴とする付記５乃至７のいずれか１項に記載の動画像符号化プログラム。
（付記９）
静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶部に格納し、
前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する、
ことを特徴とする動画像符号化方法。
（付記１０）
前記符号化対象画像よりも１枚前の前記画像、又は前記符号化対象画像よりも２枚以上前の画像を前記静止画符号化により符号化して、前記符号化画像を生成することを特徴とする付記９記載の動画像符号化方法。
（付記１１）
前記符号化対象画像よりも後の第１の画像に対して前記動画像符号化が適用され、前記第１の画像よりも１枚後の第２の画像に対して前記静止画符号化が適用される場合、前記動画像符号化により符号化された前記第１の画像の復号画像と前記第２の画像との差分を前記静止画符号化により符号化することを特徴とする付記９記載の動画像符号化方法。
（付記１２）
前記符号化対象画像と前記符号化対象画像よりも１枚前の前記画像との差分が閾値よりも大きい場合、前記符号化対象画像に対して前記動画像符号化を適用すると判定することを特徴とする付記９乃至１１のいずれか１項に記載の動画像符号化方法。
（付記１３）
静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶する記憶部と、
前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する動画像復号部と、
を備えることを特徴とする動画像復号装置。
（付記１４）
静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶部に格納し、
前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する、
処理をコンピュータに実行させる動画像復号プログラム。
（付記１５）
静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶部に格納し、
前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する、
ことを特徴とする動画像復号方法。

１０１、１０２ 画像
１１１、１１３ 縦線
１１２、１１４ 領域
２０１、２０２ ピーク
３０１ 動画像符号化装置
３１１、４１１ 記憶部
３１２ 動画像符号化部
４０１ 動画像復号装置
４１２ 動画像復号部
５０１ モード判定部
５０２〜５０５、９０５〜９０８ フレーム変換部
５０６ 差分計算部
５０７ 加算部
５０８ 符号化部
５０９ 静止画符号化部
５１０ 静止画復号部
５１１ 多重化部
６０１ 入力フレームバッファ
６０２、１００１ 参照フレームバッファ
６０３ ソース符号化部
６０４ エントロピー符号化部
７０１ 符号化フレーム
７１１ ヘッダ
７１２ 符号化データ
９０１ 復号制御部
９０２ 逆多重化部
９０３ 静止画復号部
９０４ 復号部
９０９ 加算部
９１０ フレームバッファ
１０１１ エントロピー復号部
１０１２ ソース復号部
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７ ネットワーク接続装置
１２０８ バス
１２０９ 可搬型記録媒体

Claims (8)

1. 静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶する記憶部と、
   前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する動画像符号化部と、
   を備えることを特徴とする動画像符号化装置。
2. 前記符号化対象画像よりも１枚前の前記画像、又は前記符号化対象画像よりも２枚以上前の画像を前記静止画符号化により符号化して、前記符号化画像を生成する静止画符号化部をさらに備えることを特徴とする請求項１記載の動画像符号化装置。
3. 前記符号化対象画像よりも後の第１の画像に対して前記動画像符号化が適用され、前記第１の画像よりも１枚後の第２の画像に対して前記静止画符号化が適用される場合、前記動画像符号化により符号化された前記第１の画像の復号画像と前記第２の画像との差分を前記静止画符号化により符号化する静止画符号化部をさらに備えることを特徴とする請求項１記載の動画像符号化装置。
4. 静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶部に格納し、
   前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する、
   処理をコンピュータに実行させる動画像符号化プログラム。
5. 静止画符号化と動画像符号化とが適用される動画像に含まれる符号化対象画像よりも前に符号化された符号化画像の復号画像を記憶部に格納し、
   前記符号化対象画像よりも１枚前の画像に対して前記静止画符号化が適用され、前記符号化対象画像に対して前記動画像符号化が適用される場合、前記復号画像を参照画像として用いるインター予測符号化により前記符号化対象画像を符号化する、
   ことを特徴とする動画像符号化方法。
6. 静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶する記憶部と、
   前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する動画像復号部と、
   を備えることを特徴とする動画像復号装置。
7. 静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶部に格納し、
   前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する、
   処理をコンピュータに実行させる動画像復号プログラム。
8. 静止画復号と動画像復号とが適用される符号化動画像に含まれる復号対象画像よりも前に復号された復号画像を記憶部に格納し、
   前記復号対象画像よりも１枚前の符号化画像に対して前記静止画復号が適用され、前記復号対象画像に対して前記動画像復号が適用される場合、前記復号画像を参照画像として用いるインター予測復号により前記復号対象画像を復号する、
   ことを特徴とする動画像復号方法。