JP2006211228A - 動画像符号化方法および動画像符号化装置 - Google Patents

Abstract

【課題】 動画像符号化記録装置に適した動画像の符号化方法および動画像符号化装置に関し、不必要な符号量の増大を防ぎ、画質劣化を抑えた効率的な符号化を行うことができる。
【解決手段】 フレームメモリ１０２に記憶した画像データから、対象フレームと直前フレーム間の相関を算出し、第１の連続情報を出力する第１の画像変化検出手段１０３と、フレームメモリ１０２に記憶した画像データから、対象フレームとフレーム間符号化を行う際に対象フレームが参照する被参照フレーム間の相関を算出し、第２の連続情報を出力する第２の画像変化検出手段１０４と、第１の連続情報と前記第２の連続情報を入力とし、符号化形式の配置を選択するフレーム配置決定手段１０５とを備えたものである。
【選択図】 図１

Description

本発明は、動画像の符号化方式に関するものであり、動画像符号化記録装置に適した動画像の符号化方法、およびその符号化方法を適用した動画像符号化装置に関するものである。

映像信号を符号化して記録あるいは伝送する手法として、時間的に近接する画像間の時間相関を利用するフレーム間符号化を用いたものが知られている。フレーム間符号化を用いたフレームが連続する間にデータに誤りが発生した場合、そのフレームを参照画像とするフレームに誤りが伝搬し、さらにそれ以降のフレームにも影響が発生するため、所定周期でフレーム内符号化を行うリフレッシュが必要となる。フレーム間符号化を用いた処理を行っている際に連続する画像中にシーンチェンジがあった場合、シーンチェンジの前後では画像間の時間相関が低く、効率的な符号化を行うことができず、画像に乱れを生じてしまうといった問題が発生する。

この課題に対して、シーンチェンジを検出し、そのシーンチェンジ後のフレームにフレーム内符号化処理を適応するよう符号化形式を変更することで、相関の低いフレームを参照することを回避し、予測誤差による画質劣化を防ぐ技術が提案されている（例えば、特許文献１参照）。

図１０に従来例の動画像符号化装置のブロック図を示す。図１０において、３０１は画像入力端子、３０２はフレームメモリ、３０３はシーンチェンジ検出手段、３０４はフレーム配置決定手段、３０５はフレーム配置記憶手段、３０６はフレーム処理順変更手段、３０７は符号化手段、３０８は符号化データ出力端子である。

まず、画像入力端子３０１より入力されたフレームデータをフレームメモリ３０２に記憶する。シーンチェンジ検出手段３０３は、フレームメモリ３０２に記憶したフレームデータのフレーム間相関を算出し、フレーム間相関の低いフレームをシーンチェンジとして検出する。フレーム配置決定手段３０４は、シーンチェンジ検出手段３０３で検出されたシーンチェンジ情報により、フレーム間符号化を行う際に相関の低いフレームを参照することがないように、各フレーム処理の再配置を行う。フレーム配置決定手段３０４で決定された各フレームの符号化形式は、フレーム配置記憶手段３０５に一時記憶される。次に、フレーム処理順変更手段３０６では、フレーム配置記憶手段３０５のフレーム配置情報に従い、フレームメモリ３０２よりフレームデータを読み出し、符号化手段３０７に出力する。符号化手段３０７は所定の符号化を行い、符号化データ出力端子３０８に符号化データの出力を行う。

以下、図１１を用いて、フレーム配置決定手段３０４、フレーム処理順変更手段３０６の動作について説明する。

図１１は各フレームの処理の符号化形式の順序を表示順に示す図で、（Ａ）はあらかじめ設定した符号化形式の順序を示しており、（Ｂ）、（Ｃ）および（Ｄ）はそれぞれ第５フレーム、第６フレームおよび第７フレームよりシーンチェンジがあった場合に、符号化形式を変更した様子を表示順に示している。図中において、Ｉはフレーム内符号化を行うＩピクチャ、Ｐは前方フレームのみを参照してフレーム間符号化を行うとともに、被参照フレームとなるＰピクチャ、Ｂは前方と後方の双方のフレームを参照してフレーム間符号化を行うとともに、被参照フレームとはならないＢピクチャを表しており、数字は同シーケンスにおける表示順を示す。

フレーム配置決定手段３０４では、シーンチェンジ検出手段３０３の検出する第５フレームよりシーンが切り替わったことを示す情報により、図１１（Ａ）に示す符号化形式の順所で行う予定となっていたフレーム配置を図１１（Ｂ）に示す符号化形式の順所に変更する。また、図１１（Ａ）の配置のままでは、第６フレーム（Ｐ−６）がＰピクチャであることから、Ｉ−３フレームを参照するため異なるシーン間の参照を行うことにより画質劣化を生じてしまうが、図１１（Ｂ）に示すように第６フレーム（Ｉ−６フレーム）をＩピクチャとしてフレーム内符号化となるように符号化形式の変更を行うことで、異なるシーン間の参照をなくし、シーンチェンジによる画質劣化の発生を回避している。また、図１１（Ｂ）では、シーンの切り替え前後のＢ−４フレーム、Ｂ―５フレームが、Ｐ―３フレームとＩ―６フレームを参照フレームとして符号化を行うため、それぞれＢ−４フレームはＰ−３フレームを、Ｂ−５フレームはＩ−６フレームを参照することができ、図示する符号化形式順に変更することで予測誤差を抑えることができる。

図１１（Ｃ）は第６フレームよりシーンチェンジがあった場合を示しており、シーンチェンジ後のＰピクチャとして符号化する順序となっていた第６フレームをＩピクチャとしてフレーム内符号化となるよう符号化形式を変更する。この場合もシーン間の参照を回避するとともに、Ｂ−４フレームとＢ−５フレームは同一シーンのＰ−３フレームを参照することができる。また、図１１（Ｄ）は第７フレームよりシーンチェンジがあった場合を示しており、図に示すように第１０フレームをフレーム内符号化することで、同様の効果を発揮する。

このように、シーンチェンジを検出し、そのシーンチェンジ以降に入力されたフレーム間符号化すべき最初のフレームをフレーム内符号化に変更し、シーンチェンジより前に入力されたフレーム内符号化すべき最後のフレームをフレーム間符号化に変更することで、予測誤差による画質劣化の改善を図っている。
特許第３１７３２５７号公報

しかし、例えば特許文献１に記載されているように、シーンチェンジを検出した際にシーンチェンジ後のフレームを強制的にフレーム内符号化するという方法では、フラッシュ画像のような一時的な画像変化が発生した際に、符号化方法の切り替えが複数回発生することとなる。その結果、フレーム内符号化の増加による符号量の増大を招くとともに、符号量制御の破綻あるいは画質が劣化するといった問題が発生する。

本発明は、フレーム内符号化およびフレーム間符号化を行う動画像符号化方法において、入力画像データを複数フレーム記憶する記憶ステップと、前記記憶ステップにて記憶した画像データから、対象フレームと直前フレーム間の相関を算出し、第１の連続情報を出力する第１の画像変化検出ステップと、前記記憶ステップにて記憶した画像データから、前記対象フレームとフレーム間符号化を行う際に前記対象フレームが参照する被参照フレーム間の相関を算出し、第２の連続情報を出力する第２の画像変化検出ステップと、前記第１の連続情報と前記第２の連続情報を入力し、符号化形式の配置を選択するフレーム配置決定ステップとを含むことを特徴とするものである。

本発明は、入力画像データを所定周期で抜き出すことでフレーム周期変換を行った後に動画像を符号化する動画像符号化方法において、入力画像データを複数フレーム記憶する記憶ステップと、前記記憶ステップにて記憶した画像データを読み出し、前記所定周期に該当する符号化候補フレームとその前後のフレームの相関から前記符号化候補のフレームのみの一時的な画像変化の有無を検出する画像変化検出ステップと、前記画像変化検出ステップの出力する画像変化情報が一時的な画像変化ありを示す際に、前記符号化候補フレームの前後するフレームを符号化の対象フレームに変更するフレーム選択ステップとを含むことを特徴とするものである。

本発明は、フレーム内符号化およびフレーム間符号化を行う動画像符号化装置において、入力画像データを複数フレーム記憶するフレームメモリと、前記フレームメモリに記憶した画像データから、対象フレームと直前フレーム間の相関を算出し、第１の連続情報を出力する第１の画像変化検出手段と、前記フレームメモリに記憶した画像データから、前記対象フレームとフレーム間符号化を行う際に前記対象フレームが参照する被参照フレーム間の相関を算出し、第２の連続情報を出力する第２の画像変化検出手段と、前記第１の連続情報と前記第２の連続情報を入力とし、符号化形式の配置を選択するフレーム配置決定手段とを備えたことを特徴とするものである。

本発明は、入力画像データを所定周期で抜き出すことでフレーム周期変換を行った後に動画像を符号化する動画像符号化装置において、入力画像データを複数フレーム記憶するフレームメモリと、前記フレームメモリに記憶した画像データを読み出し、前記所定周期に該当する符号化候補フレームとその前後のフレームの相関から前記符号化候補のフレームのみの一時的な画像変化の有無を検出する画像変化検出手段と、前記画像変化検出手段の出力する画像変化情報が一時的な画像変化ありを示す際に、前記符号化候補フレームの前後するフレームを符号化の対象フレームに変更するフレーム選択手段とを備えたことを特徴とするものである。

本発明の動画像符号化方法および動画像符号化装置によると、直前のフレームデータとのフレーム間相関を算出して第１の連続情報を検出するとともに、さらに前のフレームデータとのフレーム間相関を算出して第２の連続情報を検出することで、画像の変化がシーンチェンジによるものか、フラッシュ等の一時的な画像変化によるものかを識別する。この情報を用いて、シーンチェンジの場合にはシーンチェンジ後にフレーム内符号化が発生するように符号化形式の順所を変更し、一時的な画像変化の場合には、被参照フレーム候補のフレームがその変化点となることを回避する処理のみを行い、強制的なフレーム内符号化処理への切り替えを行わないことで、不必要なフレーム内符号化処理の増加を防ぐことができる。

本発明の動画像符号化方法および動画像符号化装置によると、一時的な画像変化を検出した場合に、該当するフレームを符号化対象外とすることをフレーム選択手段にて判断することで、フレーム相関の低い画像の符号化処理を排除することができる。

本発明の動画像符号化方法および動画像符号化装置によると、不必要な符号量の増大を防ぎ、画質劣化を抑えた効率的な符号化を行うことができる。

（実施の形態１）
本発明の実施の形態１における動画像符号化方法および動画像符号化装置を、図１ないし図７に基づいて説明する。

図１は動画像符号化装置のブロック図、図２はシーンチェンジがある場合の符号化形式の過程を示したタイミング図、図３はシーンチェンジがある場合の符号化形式を表示順に示した説明図、図４は一時的な画像変化がある場合の符号化形式の過程を示したタイミング図、図５は一時的な画像変化がある場合の符号化形式を表示順に示した説明図、図６はシーンチェンジのタイミングが異なる場合の符号化形式を表示順に示した説明図、図７は一時的な画像変化のタイミングが異なる場合の符号化形式を表示順に示した説明図を示している。

図１において、１０１は画像入力端子、１０２はフレームメモリ、１０３は第１の画像変化検出手段、１０４は第２の画像変化検出手段、１０５はフレーム配置決定手段、１０６はフレーム配置記憶手段、１０７はフレーム処理順変更手段、１０８は符号化手段、１０９は符号化データ出力端子である。

まず、画像入力端子１０１より入力されたフレームデータをフレームメモリ１０２に記憶する。第１の画像変化検出手段１０３は、フレームメモリ１０２に記憶した対象フレームデータと、表示順の直前のフレームデータとのフレーム間相関を算出し、第１の連続情報を検出する。また、第２の画像変化検出手段１０４は、フレームメモリ１０２に記憶した対象フレームデータと、あらかじめ設定した符号化形式で対照フレームデータが参照することとなっている被参照フレームデータとのフレーム間相関を算出し、第２の連続情報を検出する。フレーム配置決定手段１０５は、第１の連続情報と第２の連続情報により、フレーム間符号化を行う際に相関の低いフレームを参照フレームとしないように、各フレーム処理の符号化形式の再配置を行う。フレーム配置決定手段１０５で決定された、各フレームの符号化形式は、フレーム配置記憶手段１０６に一時記憶される。次に、フレーム処理順変更手段１０７では、フレーム配置記憶手段１０６のフレーム配置情報に従い、フレームメモリ１０２よりフレームデータを読み出し、符号化手段１０８に出力する。符号化手段１０８は所定の符号化を行い、符号化データ出力端子１０９に符号化データの出力を行う。

以下、フレーム配置決定手段１０５にて行う符号化形式の再配置について説明する。

図２（Ａ）はあらかじめ設定した符号化形式を表示順に示した図で、図２（Ｂ）は第８フレームよりシーンチェンジがあった場合に符号化形式を変更する様子を符号化順に示したものである。

時刻Ｔ０から入力される第８フレームのデータは、図２（Ａ）に示すように前方フレームのみを参照してフレーム間符号化を行うＰピクチャ候補であり、時刻Ｔ１のタイミングでフレーム配置決定手段１０５にて符号化形式の変更を行うか否かの判断を行う。第８フレームは前方フレームとのフレーム間相関が低いため、第１の画像変化検出手段１０３において検出する第１の連続情報と、第２の画像変化検出手段１０４において検出する第２の連続情報は不連続を示す。シーンの連続性がないことから、フレーム配置決定手段１０５は第８フレームをＰピクチャ候補から除外し、第７フレームがＰピクチャとなるように符号化形式の変更を行う。第７フレームはＢピクチャ候補であったため時刻Ｔ１ではまだ符号化は行われておらず、符号化形式の変更を行うことが可能である。第７フレームの前方フレームとのフレーム間相関の検出は、この時刻Ｔ１で行っても、あらかじめ第７フレームのフレームデータが揃った時刻Ｔ０のタイミングで行っていてもよい。今回の説明では、第８フレームからシーンが切り替わっていることを前提としているため、第７フレームは前方フレームとのフレーム間相関が強く、第１の連続情報および第２の連続情報ともシーンが連続していることを示す。こうして、フレーム配置決定手段１０５は、この第７フレームをＰピクチャとなるように符号化形式の変更を行い、Ｐ−７フレームの符号化を行う。続く時刻Ｔ２では、Ｐ−５フレームとＰ−７フレームを参照フレームとして第６フレーム（Ｂ−６フレーム）の符号化を行う。時刻Ｔ３では第１０フレームをＰピクチャ候補とし、フレーム配置決定手段１０５にて符号化形式の変更を行うか否かの判断を行う。第１の画像変化検出手段１０３の出力する第１の連続情報は連続を示すが、被参照フレームとなるＰ−７フレームとのフレーム間相関がないため、第２の画像変化検出手段１０４の出力する第２の連続情報は不連続を示す。この第１の連続情報と第２の連続情報から、Ｐ−７フレームとの間にシーンチェンジがあったものと判断し、Ｐ−７フレームを被参照フレームとすることによる符号化効率の低下を回避するために、第１０フレームをフレーム内符号化を行うＩピクチャに符号化形式を変更する。第８フレーム（Ｂ−８フレーム）および第９フレーム（Ｂ−９フレーム）は前方の参照フレーム（Ｐ−７フレーム）との相関は低いが、後方の参照フレーム（Ｉ−１０フレーム）とのフレーム間相関が強いため、符号化効率の低下および画質劣化を招かない。

図３は、図２（Ｂ）を表示順に並べた状態を示したものである。図２（Ａ）と比較して、第７フレーム以降の符号化形式が変更されている様子がわかる。シーンチェンジ後には、第１０フレームをＩピクチャとすることで、異なるシーン間のフレームを参照することによる画質劣化の伝搬を回避している。

次に、図４に第８フレームに一時的な画像変化が生じた場合を示す。図４（Ａ）はあらかじめ設定した符号化形式を表示順に示した図で、図４（Ｂ）は第８フレームに一時的な画像変化があった場合に符号化形式を変更した様子を符号化順に示したものである。

第６フレームをＢピクチャとして符号化するまでの動作は図２を用いて行った説明と同様である。これも同様に、時刻Ｔ３で、第１０フレームをＰピクチャ候補とし、フレーム配置決定手段１０５にて符号化形式の変更を行うか否かの判断を行う。このとき、第６フレームのみが特殊映像であることから、第１の画像変化検出手段１０３の出力する第１の連続情報は不連続を示すが、被参照フレーム（Ｐ−７フレーム）とのフレーム間相関は強いため、第２の画像変化検出手段１０４の出力する第２の連続情報は連続であることを示す。この第１の連続情報と第２の連続情報から、Ｐ−７フレームとの間にはシーンチェンジではなく、一時的な画像変化があったものと判断し、第１０フレームはＰ−７フレームを被参照フレームとしてフレーム間符号化を行うＰピクチャと判断し符号化を行う。第８フレーム（Ｂ−８フレーム）は、前方の参照フレーム（Ｐ−７フレーム）および後方の参照フレーム（Ｐ−１０フレーム）とのフレーム間相関が低いが、他フレームの符号化を行う際の被参照フレームの対象外となったため、以降のフレームに画質劣化が伝播することを防止できる。また、瞬間的に変化のある画像であることから、画質劣化を生じても視覚的な影響は少なく、フィルタ処理により帯域を落とすといった別の手段により符号量の発生を抑える手段をとることも可能である。第９フレーム（Ｂ−９フレーム）は、後方の参照フレーム（Ｉ−１０フレーム）とのフレーム間相関が強いため、符号化効率の低下および画質劣化を招かない。

図５は、図４（Ｂ）を表示順に並べた状態を示したものである。図４（Ａ）と比較して、第７フレーム以降の符号化形式が変更されている様子が分かる。一時的な画像変化のある第８フレームをＢピクチャとし、シーンチェンジの場合の図３でＩピクチャとしていた第１０フレームをＰピクチャとしてフレーム間符号化を行うことで、必要以上にフレーム内符号化を行うＩピクチャを増加させることなく、かつ一時的な画像変化のあるフレームの影響が以降のフレームに伝搬することを回避できる。

このように、シーンチェンジの場合とフラッシュ等の一時的な変化画像の場合とで、時系列に同様の手順で第１の画像変化検出手段１０３において検出する第１の連続情報と第２の画像変化検出手段１０４において検出する第２の連続情報を用いて、フレーム配置決定手段１０５で適応的な符号化形式の選択を行うことができる。

図６にシーンチェンジの発生タイミングの異なる場合についての例を、各フレームの処理の符号化形式の表示順に示す。図６（Ａ）はあらかじめ設定した符号化形式の順序を示しており、（Ｂ）、（Ｃ）および（Ｄ）はそれぞれ第５フレーム、第６フレームおよび第７フレームよりシーンチェンジがあった場合の符号化形式を表示順にて示している。図６（Ｂ）は、図３の場合と同様にＰピクチャ候補のフレームからシーンが切り替わっているため、直前の第４フレームをＰピクチャに符号化形式を変更するとともに、第７フレームをＩピクチャとする。図６の（Ｃ）と（Ｄ）の場合はシーンの切り替わりが、被参照フレームとならないＢピクチャとなっていることから、直前フレームの符号化形式の変更は行わず、シーンチェンジ後のＰピクチャ候補をＩピクチャに符号化形式変更する。

また、図７に一時的な画像変化の発生タイミングが異なる場合の例を、各フレームの処理の符号化形式の表示順に示す。図７（Ａ）はあらかじめ設定した符号化形式の順序を示しており、（Ｂ）、（Ｃ）および（Ｄ）はそれぞれ第５フレーム、第６フレームおよび第７フレームに一時的な画像変化があった場合の符号化形式を表示順に示している。図７（Ｂ）は、図５の場合と同様にＰピクチャ候補のフレームに一時的な画像変化が発生しているため、直前の第４フレームをＰピクチャに符号化形式を変更し、次に続くＰピクチャ候補のフレームをＩピクチャには変更せずＰピクチャのまま符号化処理を行う。図７の（Ｃ）と（Ｄ）の場合は一時的な画像変化が、被参照フレームとならないＢピクチャとなっていることから、直前フレームの符号化形式の変更も行わない。

以上のように、シーンチェンジの場合とフラッシュ等の一時的な変化画像の場合とで、第１の画像変化検出手段１０３において検出する第１の連続情報と、第２の画像変化検出手段１０４において検出する第２の連続情報とを用いて、フレーム配置決定手段１０５で適応的な符号化形式の選択を行うことができ、何らかの画像変化があった場合に、以降のフレームに強制的にフレーム内符号化を行う場合に比べて、符号化効率を高めるとともに画質劣化を防ぐことができる。

本実施の形態では、単純化のために画像変化検出タイミングは、符号化を行う前に一括して行う場合について説明したが、フレームメモリ１０２にフレームデータが格納されたタイミング、もしくは、フレームメモリ１０２にデータを書き込むタイミングにて検出してもよい。また、フレームデータの入力と実際に符号化を行うタイミングについても図示したタイミングに限定するものではなく、フレームメモリ１０２に記憶するフレーム数によって異なるタイミングで符号化することも可能である。

さらに、図４（Ｂ）の説明では、一時的な画像変化のあるＢ−８フレームを符号化する場合について述べたが、フレーム配置決定手段１０５に該当フレームを符号化対象外とするフレーム選択手段を設けてることで、視覚的に重要な連続シーンの画質劣化を更に抑制することができる。

（実施の形態２）
本発明の実施の形態２における動画像符号化方法および動画像符号化装置を、図８および図９に基づいて説明する。

図８は動画像符号化装置のブロック図、図９はフレーム周期変換の抽出画像を示す説明図を示している。

図８において、２０１は画像入力端子、２０２はフレームメモリ、２０３は画像変化検出手段、２０４はフレーム選択手段、２０５は画像抽出手段、２０６は符号化手段、２０７は符号化データ出力端子である。

まず、画像入力端子２０１より入力されたフレームデータをフレームメモリ２０２に記憶する。画像変化検出手段２０３は、フレームメモリ２０２に記憶した対象フレームデータの前後のフレームデータとのフレーム間相関を算出し、フラッシュ等の一時的な画像変化の検出を行う。フレーム選択手段２０４は、所定周期で符号化の対象フレームを決定するとともに、一時的な画像変化が検出された際に、所定周期とは異なるフレームデータを符号化の対象フレームに変更する。画像抽出手段２０５は、フレーム選択手段２０４の指示に従ってフレームメモリ２０２よりフレームデータの抜き出しを行い、符号化手段２０６で符号化した後に、符号化データ出力端子２０７より出力する。

図９に、一時的な画像変化が検出された際に、画像抽出位置を変更する様子を示す。図９において、（Ａ）はフレーム周期の変換を行う前の状態を示しており、（Ｂ）は均等に抜き出しを行った場合、（Ｃ）は抽出対象候補の第６フレームに一時的な画像変化がある場合について示したものである。

図９（Ｂ）に示すように、均等に抜き出しを行った際には、抜き出す画像が一時的な画像変化のあることに関わらず選択を行うため、符号化の対象フレームとして、この第６フレームが選択されてしまう。

これに対し、フレームデータの抽出位置の変更を行う図９（Ｃ）について説明する。

まず、画像変化検出手段２０３は、第６フレームにて一時的な画像変化が発生していることを検出する。この情報に基づき、フレーム選択手段２０４は、この第６フレームを抽出フレームの対象外とし、続く第７フレームを抽出フレームとして選択する。ここでは第７フレームを変更後の抽出フレームとしたが、第５フレームを選択してもよいことは言うまでもない。

フレーム周期が高い場合と比較して、フレーム周期が低い場合には同一フレームを表示する期間が長いため、符号化を行う抽出フレームが前後しても視覚的な不自然さは軽減される。

このように、変化画像の抽出を避けてフレーム周期変換を行うことで、フレーム間相関の低下による画質劣化を回避し、フレーム周期変換後のフレーム間の相関を保つことで効率的な画質劣化のない符号化を行うことができる。

以上のように、本発明にかかる動画像符号化方法および動画像符号化装置は、画像変化があった場合に、その画像変化がシーンチェンジによるものか、フラッシュ等の一時的な画像変化によるものかを識別して適応的に符号化形式の再配置を制御すること、また、一時的な画像変化がある場合に該当するフレームを符号化対象外とすることで、フレーム間相関の低い画像の符号化処理を回避することで、不必要な符号量の増大、画質劣化を防ぐことを必要とするフレーム間相関を用いた符号化に適応できる。

本発明の実施の形態１における動画像符号化装置のブロック図 本発明の実施の形態１におけるシーンチェンジがある場合の符号化形式の過程を示したタイミング図 本発明の実施の形態１におけるシーンチェンジがある場合の符号化形式を表示順に示した説明図 本発明の実施の形態１における一時的な画像変化がある場合の符号化形式の過程を示したタイミング図 本発明の実施の形態１における一時的な画像変化がある場合の符号化形式を表示順に示した説明図 本発明の実施の形態１におけるシーンチェンジのタイミングが異なる場合の符号化形式を表示順に示した説明図 本発明の実施の形態１における一時的な画像変化のタイミングが異なる場合の符号化形式を表示順に示した説明図 本発明の実施の形態２における動画像符号化装置のブロック図 本発明の実施の形態２におけるフレーム周期変換の抽出画像を示す説明図 従来例の動画像符号化装置のブロック図 従来例の各フレーム処理の符号化形式の順序を示した説明図

符号の説明

１０１ 画像入力端子
１０２ フレームメモリ
１０３ 第１の画像変化検出手段
１０４ 第２の画像変化検出手段
１０５ フレーム配置決定手段
１０６ フレーム配置記憶手段
１０７ フレーム処理順変更手段
１０８ 符号化手段
１０９ 符号化データ出力端子
２０１ 画像入力端子
２０２ フレームメモリ
２０３ 画像変化検出手段
２０４ フレーム選択手段
２０５ 画像抽出手段
２０６ 符号化手段
２０７ 符号化データ出力端子

Claims (8)

1. フレーム内符号化およびフレーム間符号化を行う動画像符号化方法において、
   入力画像データを複数フレーム記憶する記憶ステップと、
   前記記憶ステップにて記憶した画像データから、対象フレームと直前フレーム間の相関を算出し、第１の連続情報を出力する第１の画像変化検出ステップと、
   前記記憶ステップにて記憶した画像データから、前記対象フレームとフレーム間符号化を行う際に前記対象フレームが参照する被参照フレーム間の相関を算出し、第２の連続情報を出力する第２の画像変化検出ステップと、
   前記第１の連続情報と前記第２の連続情報を入力し、符号化形式の配置を選択するフレーム配置決定ステップと、
   を含むことを特徴とする動画像符号化方法。
2. 前記フレーム配置決定ステップは、前記対象フレームが他フレームを符号化する際の被参照フレーム候補である際に、前記第２の連続情報が不連続を示す場合にのみ符号化形式の変更を行い、前記第２の連続情報が不連続を示し、かつ前記第１の連続情報が連続を示す場合に、当該フレームをフレーム内符号化へ符号化形式の変換を行う、ことを特徴とする請求項１記載の動画像符号化方法。
3. 前記フレーム配置決定ステップは、前記対象フレームが他フレームを符号化する際の被参照フレーム候補である際に、前記第２の連続情報が不連続を示す場合にのみ符号化形式の変更を行い、前記第２の連続情報が不連続を示し、かつ前記第１の連続情報も不連続を示す場合に、当該フレームを他フレームを符号化する際の被参照フレームとならないように符号化形式の変換を行う、ことを特徴とする請求項１または請求項２記載の動画像符号化方法。
4. 入力画像データを所定周期で抜き出すことでフレーム周期変換を行った後に動画像を符号化する動画像符号化方法において、
   入力画像データを複数フレーム記憶する記憶ステップと、
   前記記憶ステップにて記憶した画像データを読み出し、前記所定周期に該当する符号化候補フレームとその前後のフレームの相関から前記符号化候補のフレームのみの一時的な画像変化の有無を検出する画像変化検出ステップと、
   前記画像変化検出ステップの出力する画像変化情報が一時的な画像変化ありを示す際に、前記符号化候補フレームの前後するフレームを符号化の対象フレームに変更するフレーム選択ステップと、
   を含むことを特徴とする動画像符号化方法。
5. フレーム内符号化およびフレーム間符号化を行う動画像符号化装置において、
   入力画像データを複数フレーム記憶するフレームメモリと、
   前記フレームメモリに記憶した画像データから、対象フレームと直前フレーム間の相関を算出し、第１の連続情報を出力する第１の画像変化検出手段と、
   前記フレームメモリに記憶した画像データから、前記対象フレームとフレーム間符号化を行う際に前記対象フレームが参照する被参照フレーム間の相関を算出し、第２の連続情報を出力する第２の画像変化検出手段と、
   前記第１の連続情報と前記第２の連続情報を入力とし、符号化形式の配置を選択するフレーム配置決定手段と、
   を備えたことを特徴とする動画像符号化装置。
6. 前記フレーム配置決定手段は、前記対象フレームが他フレームを符号化する際の被参照フレーム候補である際に、前記第２の連続情報が不連続を示す場合にのみ符号化形式の変更を行い、前記第２の連続情報が不連続を示し、かつ前記第１の連続情報が連続を示す場合に、当該フレームをフレーム内符号化へ符号化形式の変換を行う、ことを特徴とする請求項５記載の動画像符号化装置。
7. 前記フレーム配置決定手段は、前記対象フレームが他フレームを符号化する際の被参照フレーム候補である際に、前記第２の連続情報が不連続を示す場合にのみ符号化形式の変更を行い、前記第２の連続情報が不連続を示し、かつ前記第１の連続情報も不連続を示す場合に、当該フレームを他フレームを符号化する際の被参照フレームとならないように符号化形式の変換を行う、ことを特徴とする請求項５または請求項６記載の動画像符号化装置。
8. 入力画像データを所定周期で抜き出すことでフレーム周期変換を行った後に動画像を符号化する動画像符号化装置において、
   入力画像データを複数フレーム記憶するフレームメモリと、
   前記フレームメモリに記憶した画像データを読み出し、前記所定周期に該当する符号化候補フレームとその前後のフレームの相関から前記符号化候補のフレームのみの一時的な画像変化の有無を検出する画像変化検出手段と、
   前記画像変化検出手段の出力する画像変化情報が一時的な画像変化ありを示す際に、前記符号化候補フレームの前後するフレームを符号化の対象フレームに変更するフレーム選択手段と、
   を備えたことを特徴とする動画像符号化装置。
   

Images