JP3593929B2 - 動画像符号化方法及び動画像符号化装置 - Google Patents
動画像符号化方法及び動画像符号化装置 Download PDFInfo
- Publication number
- JP3593929B2 JP3593929B2 JP24972299A JP24972299A JP3593929B2 JP 3593929 B2 JP3593929 B2 JP 3593929B2 JP 24972299 A JP24972299 A JP 24972299A JP 24972299 A JP24972299 A JP 24972299A JP 3593929 B2 JP3593929 B2 JP 3593929B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- average value
- scene
- value
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮符号化する動画像符号化方法及び動画像符号化装置に関し、特にシーンの変わるフレームを検出して符号化効率のよい圧縮を行う動画像符号化方法及び動画像符号化装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル技術の進展に伴い、動画像を記録・再生したり、通信網を用いて動画像を伝送したりすることが可能になってきた。動画像のディジタル信号は、音声信号に比べて非常に情報量が多いため、これを効率よく記録および伝送するために動画像の高能率符号化技術が不可欠となっている。
【０００３】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式の動画像符号化装置は、Ｉフレーム、Ｐフレーム又はＢフレームの何れかの予測モードで各フレームの画像を予測し、予測誤差を符号化して伝送するようにしている。基本的に予測誤差のみが伝送されるため、各フレームの画像データをそのまま伝送する場合に比べて、データ量を圧縮することができる。
【０００４】
【発明が解決しようとする課題】
ところで、従来の動画像符号化装置では、複数のシーンからなるシーケンスを圧縮する際に、不連続なシーンを跨いで予測符号化を行わないようにする必要がある。シーンチェンジを跨いで予測符号化を行うと、相関性の低いフレーム間で予測を行うことになるので、符号化効率が悪くなり、画質が劣化する。
このような問題を解決するには、シーンの切り替わる場所を正確に検出して、相関性の低いフレーム間では予測符号化を行わないようにすればよい。
【０００５】
シーンチェンジを検出する方法としては、例えば特開平０７−１１１６３１号公報に開示されたように、連続する２フレーム間で画素データ毎に差分を求め、その絶対値の総和が所定のしきい値を超えたときシーンチェンジが発生したと判定する方法が一般的である。
この検出方法では、静止状態あるいは僅かな動きしかない第１のシーンと第１のシーンに比べるとやや動きの大きい第２のシーンが交互に発生したとき、シーンチェンジが発生したと検出する。しかし、このような場合には、フレーム間にある程度の相関性があるので、フレーム間予測符号化を行った方が符号化効率が高い場合がある。しかし、従来の方法では、シーンチェンジを検出すると、フレーム間予測符号化を行わないようにするので、符号化効率が悪化するという問題点があった。
また、従来の方法では、前フレームとの相関性からシーンチェンジを検出しているため、同一のフレームが連続して入力されるフレーム補間が行われると、誤検出が発生するという問題点があった。
【０００６】
また、特開平０７−１９３８１８号公報に開示された検出方法では、入力画像の動き予測を行い、その予測誤差の絶対値の和を求めて、各フレーム毎の予測誤差の絶対値和を複数フレームにわたって平均化した平均値と、個々の予測誤差の絶対値和を比較することにより、シーンチェンジを検出している。しかし、この検出方法でも、フレーム補間された入力に対応できないという問題点があった。本発明は、上記課題を解決するためになされたもので、シーンチェンジを適切に検出し、符号化効率の良い圧縮を行うことができる動画像符号化方法及び動画像符号化装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動画像符号化方法は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する処理と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する処理とを有し、上記シーンチェンジを検出した場合、上記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記シーンチェンジの検出処理を行わないようにするようにしたものである。このように、フレーム平均値が０の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が０の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の１構成例は、上記フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。このように、フレーム平均値を算出するときに下限値を設定することにより、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の１構成例は、上記差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するようにしたものである。このように、画素データ毎の差分絶対値を算出するときに上限値を設定することにより、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【０００８】
また、上述の動画像符号化方法の１構成例は、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記シーンチェンジを検出した場合は、フレーム間予測符号化を行わないようにしたものである。このように、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、不連続なシーンを跨いで予測符号化を行うことがなくなるので、符号化効率の良い圧縮を行うことができる。
また、上述の動画像符号化方法の１構成例は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するようにしたものである。
また、上述の動画像符号化方法の１構成例は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するようにしたものである。
【０００９】
また、本発明の動画像符号化装置は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する算出手段（１３）と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する判定手段（１４）とを有し、上記算出手段は、上記シーンチェンジが検出された場合、上記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記判定手段によるシーンチェンジ検出処理を行わないようにしたものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、上記フレーム平均値が所定の下限値より小さい場合、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、上記差分絶対値が所定の上限値より大きい場合、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するものである。
【００１０】
また、上述の動画像符号化装置の１構成例として、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記判定手段によってシーンチェンジが検出された場合は、フレーム間予測符号化を行わないようにする手段（１５）を有するものである。
また、上述の動画像符号化装置の１構成例として、上記判定手段は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するものである。
【００１１】
【発明の実施の形態】
［実施の形態の１］
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態となる動画像符号化装置の構成を示すブロック図である。本発明は、シーンの変わるフレームを検出して符号化効率のよい圧縮を行う構成を提供するものである。
本発明の動画像符号化装置の一実施例は、画像入力手段１１と、入力バッファ１２と、フレーム間差分算出手段１３と、シーンチェンジ判定手段１４と、フレームタイプ変更手段１５と、動き検索手段１６と、周波数変換手段１７と、量子化手段１８と、逆量子化手段１９と、逆周波数変換手段２０と、動き補償手段２１と、可変長符号化手段２２と、出力手段２３とから構成されている。
【００１２】
これらの手段は、それぞれ概略つぎのように動作する。画像入力手段１１は、カメラ等から１フレーム単位で画像を取り込む。取り込んだ画像は、一定のフレーム数が溜まるまで入力バッファ１２に蓄積される。
フレーム間差分算出手段１３は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出する。
【００１３】
シーンチェンジ判定手段１４は、差分絶対値の１フレーム当たりの平均値と１シーン当たりの平均値を比較してシーンの相関性を求め、シーンチェンジが発生したかどうかを判定する。
フレームタイプ変更手段１５は、シーンチェンジ判定手段１４によりシーンチェンジが発生したと判定されると、相関性の低いフレーム間で予測符号化が行われないように最適なフレーム構成に変更し、フレーム内符号化が行われるようにする。
【００１４】
動き検索手段１６は、フレーム間予測符号化を行う際、参照フレームとして記憶しているフレームと現在の処理対象フレームとの相関性を求め、処理対象フレームのマクロブロックとこれと相関性の高い参照フレームのマクロブロックとの間で差分データを求める。
【００１５】
周波数変換手段１７は、フレーム内符号化を行う場合、画像データをＤＣＴ（Ｄｉｓｃｒｅａｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）演算等により周波数成分に変換し、フレーム間予測符号化を行う場合、動き検索手段１６から入力された差分データを周波数成分に変換する。
量子化手段１８は、周波数変換手段１７の出力を量子化する。
【００１６】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
また、次のフレーム圧縮用の参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する。
そして、動き補償手段２１は、逆周波数変換手段２０から入力されたデータに対して動き補償を行い、参照フレームのデータを作成する。
【００１７】
次に、図２を参照して図１の動画像符号化装置の動作をより詳細に説明する。図２は、図１の動画像符号化装置の動作を説明するためのフローチャート図である。本実施の形態では、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮符号化する動画像符号化方法の１例として、ＭＰＥＧ１を例にとって説明する。
【００１８】
まず、画像入力手段１１と入力バッファ１２を介して画像データが入力されると、フレーム間差分算出手段１３は、連続する２フレーム間、すなわち現在の処理対象フレームと１つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に差分絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出する。
【００１９】
シーンチェンジ判定手段１４は、フレーム間差分算出手段１３で得られた差分絶対値の１フレーム当たりの平均値と１シーン当たりの平均値を比較してフレーム間の相関性を求め、シーンチェンジが発生したかどうかを判定する（図２ステップＳ１１）。
【００２０】
圧縮に必要な最小フレーム数を読み込むまでにシーンチェンジが発生したと判定された場合（ステップＳ１２においてＹＥＳ）、フレームタイプ変更手段１５は、入力バッファ１２に格納されたＰフレームをＩフレームに変更する（ステップＳ１３）。
【００２１】
ここで、ＭＰＥＧ１のフレーム構成について説明する。図３は、ＭＰＥＧ１のフレーム構成を示す図、図４は、従来の動画像符号化装置による各フレームの参照関係を示す図、図５は、本実施の形態の動画像符号化装置による各フレームの参照関係を示す図である。
なお、図３〜図５における矢印は、終点のフレームを符号化する際に、始点のフレームを参照することを示している。
【００２２】
ＭＰＥＧ１のフレームタイプには、予測を行わずにフレーム内処理で符号化されるＩフレーム、時間的に前に位置する参照フレームから予測されるＰフレーム、時間的に前後に位置する参照フレームから予測されるＢフレームの３種類がある。
【００２３】
図３の例において、圧縮に必要な最小フレーム数は、参照フレームとなるフレームから次の参照フレームまでの４フレームであり、最小フレームは、Ｉ，Ｂ，Ｂ，Ｐフレーム若しくはＰ，Ｂ，Ｂ，Ｐフレームから構成される。
【００２４】
Ｉフレーム、Ｐフレームは予測のための参照フレームになるため、図１の逆量子化手段１９、逆周波数変換手段２０及び動き補償手段２１による処理で参照フレームを作成しなくてはならない。予測は「連続したフレーム間では相関性が高い」という原理を基にしているため、シーンチェンジを跨いで時間的に前あるいは後のフレームを参照すると、フレーム間の相関性が低くなり、符号化効率が低下する。よって、不連続なシーンを跨いでの参照が行われないようにフレーム構成を変更することで符号化効率を改善することができる。
【００２５】
従来の動画像符号化装置において、図４に示す位置でシーンチェンジが発生したとすると、シーンチェンジ直後のＰフレームは、時間的に前の異なるシーンのＰフレームを参照して予測符号化を行うことにより生成される。このため、符号化効率が悪化し、予期しない符号量が発生することになる。
【００２６】
そこで、本発明では、図５のようにシーンチェンジ直後のＰフレームをＩフレームに変更することにより、シーンチェンジを跨いで時間的に前あるいは後のフレームが参照されることをなくす。これにより、発生符号量はフレーム内符号化の予想発生量となるので、符号化効率の悪化による画質の劣化を抑えることができる。
【００２７】
このように、シーンチェンジが発生したときには符号化効率が良くなるようにフレームタイプが変更され（ステップＳ１３）、処理対象フレームのフレームタイプ毎に圧縮が行われる（ステップＳ１４）。
【００２８】
現在の処理対象フレームがＩフレームの場合、後述する動き検索手段１６による動き予測は行われない。このため、入力バッファ１２に格納されたＩフレームの画像データがそのまま周波数変換手段１７に入力される。
周波数変換手段１７は、Ｉフレームの画像データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ１５）、量子化手段１８は、周波数変換手段１７の出力（変換係数）を量子化する（ステップＳ１６）。
【００２９】
また、参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し（ステップＳ１７）、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する（ステップＳ１８）。
こうして、復号されたＩフレームのデータは、動き検索手段１６に送られ、以降の処理において参照フレームとして参照される。
【００３０】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
【００３１】
現在の処理対象フレームがＰフレームの場合、動き検索手段１６は、記憶している参照フレームと入力バッファ１２に格納された処理対象フレームとの間でマクロブロック（１６×１６画素）毎に動きベクトルを検出する。そして、動き検索手段１６は、動きベクトルに応じて参照フレームのマクロブロックを動き補償、すなわち動きベクトルに応じて参照フレームのマクロブロックの位置をずらし、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める（ステップＳ２０）。
【００３２】
周波数変換手段１７は、動き検索手段１６から入力された差分データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ２１）、量子化手段１８は、周波数変換手段１７の出力を量子化する（ステップＳ２２）。
また、参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し（ステップＳ２３）、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する（ステップＳ２４）。
【００３３】
処理対象フレームがＰフレームの場合、逆周波数変換手段２０によって得られるのは、差分データである。このため、動き補償手段２１は、逆周波数変換手段２０から入力された差分データと上記動き補償された参照フレームとを加算する（ステップＳ２５）。これにより、元のＰフレームが復号される。このＰフレームのデータは、動き検索手段１６に送られ、以降の処理において参照フレームとして参照される。
【００３４】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
【００３５】
現在の処理対象フレームがＢフレームの場合、動き検索手段１６は、記憶している参照フレームと入力バッファ１２に格納された処理対象フレームとの間でマクロブロック毎に動きベクトルを検出する。そして、動き検索手段１６は、動きベクトルに応じて参照フレームのマクロブロックを動き補償し、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める（ステップＳ２６）。
【００３６】
周波数変換手段１７は、動き検索手段１６から入力された差分データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ２７）、量子化手段１８は、周波数変換手段１７の出力を量子化する（ステップＳ２８）。
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
なお、Ｂフレームは参照フレームとはならないので、逆量子化手段１９、逆周波数変換手段２０および動き補償手段２１による参照フレームの作成は行われない。
【００３７】
次に、具体例を用いて説明する。図６は、シーンチェンジ検出の処理フローを説明した図である。図６は、図２のステップＳ１１に示すシーンチェンジ検出処理を説明するためのフローチャート図である。この図６の処理は、処理対象フレームごとに繰り返される。
【００３８】
最初に、フレーム間差分算出手段１３は、現在の処理対象フレームと１つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に、輝度、色差のそれぞれについて差分値を求め、これら差分値を絶対値に変換する。続いて、フレーム間差分算出手段１３は、１フレーム分の差分絶対値の総和を求め、この差分絶対値和から、画像サイズに依存しないような１マクロブロック当たりの平均値を求める（図６ステップＳ３１）。
ここで、マクロブロックとは、１６×１６画素の輝度成分と８×８画素の二種類の色差成分とからなる領域をさす。
【００３９】
処理対象フレームの画像サイズが７２０×４８０画素で、処理対象フレームの差分絶対値和が８２００だとすると、このフレームにおける１マクロブロック当たりの差分絶対値平均は、８２００×（１６×１６／（７２０×４８０））＝６となる。
【００４０】
フレーム間差分算出手段１３は、処理対象フレームの１マクロブロック当たりの差分絶対値平均（以下、フレーム平均値と呼ぶ）が０である場合（ステップＳ３２においてＹＥＳ）、直前のフレームと同じフレームが入力されたものと判断して、０の代わりに直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする（ステップＳ３３）。
【００４１】
続いて、フレーム間差分算出手段１３は、算出したフレーム平均値を所定のしきい値Ａと比較する（ステップＳ３４）。
予め定められた固定値であるしきい値Ａは、フレーム平均値の下限値を表している。このしきい値Ａは、例えばカメラが緩やかにパーニング（Ｐａｎｎｉｎｇ）したときのフレーム平均値を求めることにより決定される。
【００４２】
フレーム間差分算出手段１３は、フレーム平均値がしきい値Ａより小さい場合、フレーム平均値をしきい値Ａに更新する（ステップＳ３５）。
また、フレーム間差分算出手段１３は、後述する処理により、シーン毎に各フレーム平均値の平均を求め、同一の１シーン当たりの差分絶対値平均（以下、シーン平均値と呼ぶ）を算出する。
【００４３】
後述のようにシーンチェンジを検出した直後にシーン平均値を０にするので、フレーム間差分算出手段１３は、シーン平均値が０である場合（ステップＳ３６においてＹＥＳ）、算出したフレーム平均値をシーン平均値とすると共に、現在のフレーム平均値を保存しておく（ステップＳ３７）。
【００４４】
次に、シーンチェンジが発生した直後は、シーン平均値が安定しない。そこで、フレーム間差分算出手段１３は、いったんシーンチェンジを検出した後にフレームカウンタが一定のフレーム数しきい値Ｂ（例えばＢ＝５）に達するまでは、次のシーンチェンジ検出を行わない。
【００４５】
つまり、フレーム間差分算出手段１３は、フレームカウンタの値がフレーム数しきい値Ｂより小さい場合（ステップＳ３８においてＹＥＳ）、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とすると共に、処理済みのフレーム数を示すフレームカウンタの値を１カウントアップする（ステップＳ３９）。
【００４６】
以上のような処理を処理対象フレーム毎に繰り返し、ステップＳ３８においてフレームカウンタの値がフレーム数しきい値Ｂ以上となった場合、フレーム間差分算出手段１３は、シーンチェンジ検出処理の実行をシーンチェンジ判定手段１４に指示する。この指示に応じて、シーンチェンジ判定手段１４は、シーン平均値とフレーム平均値とを比較する（ステップＳ４０）。
【００４７】
シーンの切り替わりでフレーム平均値を求めると、相関性のないフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が急激に大きくなる。シーンチェンジ判定手段１４は、フレーム平均値がシーン平均値のＮ（例えばＮ＝２）倍より小さい場合、シーンチェンジ無しと判定する。
【００４８】
シーンチェンジ判定手段１４によってシーンチェンジ無しと判定された場合、フレーム間差分算出手段１３は、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とする（ステップＳ４１）。
【００４９】
一方、フレーム平均値がシーン平均値のＮ倍以上の場合、シーンチェンジ判定手段１４は、シーンチェンジが発生したと判定する。
シーンチェンジ判定手段１４によってシーンチェンジが発生したと判定された場合、フレーム間差分算出手段１３は、現在のシーン平均値とフレーム平均値を０に初期化し、さらにフレームカウンタの値を０に初期化する（ステップＳ４２）。以上のようにして、シーンチェンジを検出することができる。
【００５０】
図７〜図１１は、フレーム平均値及びシーン平均値の１例を示す図である。図７〜図１１において、横軸はフレーム番号を示し、縦軸はフレーム平均値を示す。また、下線付きの数値は、直前（図７〜図１１では左隣）のフレーム平均値を含めて算出されたシーン平均値である。
【００５１】
図７の例では、１０フレーム目からのフレーム平均値とシーン平均値を図示している。１０フレーム目の処理が終了した時点でのシーン平均値が４０だとすると、１１フレーム目のフレーム平均値が４２なので、１１フレーム目の処理においてフレーム平均値がシーン平均値のＮ（ここではＮ＝２）倍より小さくなり、シーンチェンジ判定手段１４は、シーンチェンジ無しと判定する。
１１フレーム目の処理が終了した時点でのシーン平均値は、図６のステップＳ４１の処理により、（４０＋４２）／２＝４１に更新される。
【００５２】
次に、１４フレーム目の処理が終了した時点でのシーン平均値が３６で、１５フレーム目のフレーム平均値が８０なので、１５フレーム目の処理においてフレーム平均値がシーン平均値のＮ（Ｎ＝２）倍以上となり、シーンチェンジ判定手段１４は、シーンチェンジが発生したと判定する。
【００５３】
この場合、１５フレーム目の処理が終了した時点でのシーン平均値（図７において１５フレーム目のフレーム平均値８０の右隣に記載したシーン平均値）は、図６のステップＳ４２の処理により、いったん０に初期化された後、次の１６フレーム目の処理においてステップＳ３７の処理により、１６フレーム目のフレーム平均値４２に更新される。
【００５４】
図８、図９は、全面が黒の画像から徐々に明るい画像が浮き出てくるフェードイン時のフレーム平均値及びシーン平均値を示している。
そして、図８は、本実施の形態の動画像符号化装置において、フレーム平均値に下限値を設定しない場合を示している。
【００５５】
図８の３０，３１フレームで示すように、黒画像の部分では、フレーム平均値が０になる。これに対して、３２フレーム目以降のように明るい画像が現れてくると、フレーム平均値が急激に大きくなる。したがって、３２フレーム目や３３フレーム目などでシーンチェンジが発生したと誤検出する恐れがある。
【００５６】
そこで、本実施の形態の動画像符号化装置では、フェード効果などで画面全体が緩やかに変化するときの誤検出を防止するために、図６のステップＳ３４，Ｓ３５で説明した処理を行っている。
【００５７】
これにより、フレーム平均値がしきい値Ａ（ここでは２０）を下回る３０〜３２，３７〜３９フレームでは、図９に示すようにフレーム平均値がしきい値Ａに更新されるので、３２フレーム目や３３フレーム目などでシーンチェンジが発生したと誤検出することがなくなり、３５フレーム目の処理においてシーンチェンジを正しく検出することができる。
【００５８】
図１０、図１１は、フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値を示している。図１０、図１１は、１秒間当たりのフレーム数が１５枚の画像データを３０枚に変換して圧縮するときの動作を示している。
【００５９】
単位時間あたりのフレーム数がＭＰＥＧの規格より少ない場合は同じフレームをコピーして補間する手法が一般的である。動画編集用のアプリケーションでも同じで、補間された画像データが入力されると、同一のフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が０となり、シーンチェンジが発生したと誤検出する恐れがある。
【００６０】
図１０は、本実施の形態の動画像符号化装置において、図６のステップＳ３２，Ｓ３３で説明した処理を行わない場合を示している。
図１０では、１フレーム毎に画像データが補間されているので、１フレームおきにフレーム平均値が０となる。このため、シーン平均値が小さな値となり、６４フレーム目でシーンチェンジが発生したと誤検出する。
【００６１】
これに対して、本実施の形態の動画像符号化装置のように、ステップＳ３２，Ｓ３３の処理を行うと、フレーム平均値が０の場合、直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする。
例えば、６０フレーム目のフレーム平均値が２４なので、６１フレーム目の処理においてフレーム平均値が０になった時点で、６１フレーム目のフレーム平均値は、図１１のように６０フレーム目のフレーム平均値２４に更新される。
こうして、シーン平均値が不正な値になることを防ぐので、シーンチェンジの誤検出を回避することができる。
【００６２】
［実施の形態の２］
図１２は、本発明の第２の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
本実施の形態のフレーム間差分算出手段１３は、局所的な激しい動きをシーンチェンジと誤検出しないために、図６のステップＳ３１の処理に図１２に示すような処理を加えたものである。
【００６３】
まず、フレーム間差分算出手段１３は、フレーム間の差分絶対値を累積する変数ｓｕｍを０にリセットする（図１２ステップＳ５１）。
続いて、フレーム間差分算出手段１３は、現在の処理対象フレームと１つ前に入力されたフレームにおいて同じ位置にある対応画素データ間で差分値を求め（ステップＳ５２）、この差分値を絶対値に変換する（ステップＳ５３）。
【００６４】
フレーム間差分算出手段１３は、算出した差分絶対値を所定のしきい値Ｘと比較する（ステップＳ５４）。そして、フレーム間差分算出手段１３は、差分絶対値がしきい値Ｘより大きい場合（ステップＳ５４においてＹＥＳ）、差分絶対値をしきい値Ｘに更新する（ステップＳ５５）。ここで、しきい値Ｘは、あらかじめ定められる上限値であり、差分絶対値がとり得る最大値の例えば７０％に設定される。
【００６５】
差分絶対値がしきい値Ｘ以下の場合、フレーム間差分算出手段１３は、差分絶対値を所定のしきい値Ｙと比較する（ステップＳ５６）。そして、フレーム間差分算出手段１３は、差分絶対値がしきい値Ｙ以下の場合（ステップＳ５６においてＮＯ）、差分絶対値をしきい値Ｙに更新する（ステップＳ５７）。ここで、しきい値Ｙは、あらかじめ定められる下限値であり、差分絶対値がとり得る最大値の例えば５％に設定される。
【００６６】
次に、フレーム間差分算出手段１３は、しきい値Ｙとしきい値Ｘの間の値に補正した差分絶対値を変数ｓｕｍに加算する（ステップＳ５８）。
そして、フレーム間差分算出手段１３は、ステップＳ５２〜Ｓ５８の処理を処理対象フレームの全画素について終えるまで（ステップＳ５９）、画素毎に繰り返す。
【００６７】
図１２の処理終了後、フレーム間差分算出手段１３は、ステップＳ３１で説明したように、１フレーム分の差分絶対値の総和を求め、フレーム平均値を算出する。
以上のように、本実施の形態によれば、入力画像に局所的に変化量の大きい部分があったときにフレーム平均値に与える影響を抑えることができ、シーンチェンジの誤検出を抑えることができる。
【００６８】
【発明の効果】
本発明によれば、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出し、フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する。本発明では、シーンチェンジの検出にシーン平均値を用いることにより、静止状態あるいは僅かな動きしかない第１のシーンと第１のシーンに比べるとやや動きの大きい第２のシーンが交互に発生したとき、シーンチェンジが発生したと判断しない。これにより、フレーム間予測符号化を行うことができるので、シーンチェンジの検出にフレーム間の差分のみを用いる従来の方法と比べて、符号化効率の良い圧縮を行うことができる。
【００６９】
また、フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新することにより、フレーム平均値に下限値を設定するので、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。その結果、入力画像データにフェード処理が入っても誤検出を回避することができる。
【００７０】
また、差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新することにより、差分絶対値に上限値を設定するので、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【００７１】
また、フレーム平均値が０の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が０の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
【００７２】
また、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、シーンの変わり目毎に最適なフレーム構成に変更するので、不連続なシーンを跨いで予測符号化を行うことがなくなり、符号化効率の良い圧縮を行うことができる。
【００７３】
また、フレーム平均値がシーン平均値の所定数倍以上のとき、シーンチェンジが発生したと判断することにより、シーンチェンジの発生を正確、かつ容易に検出することができる。
【００７４】
また、輝度成分と色差成分のそれぞれについて差分絶対値を算出することにより、全体的に明るさが変わるようなシーンでも誤検出を回避することができ、明るさがあまり変わらずに色成分だけが大きく変わるようなシーンでもシーンチェンジを正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となる動画像符号化装置の構成を示すブロック図である。
【図２】図１の動画像符号化装置の動作を説明するためのフローチャート図である。
【図３】ＭＰＥＧ１のフレーム構成を示す図である。
【図４】従来の動画像符号化装置による各フレームの参照関係を示す図である。
【図５】図１の動画像符号化装置による各フレームの参照関係を示す図である。
【図６】シーンチェンジ検出処理を説明するためのフローチャート図である。
【図７】シーンチェンジ検出時のフレーム平均値及びシーン平均値の１例を示す図である。
【図８】フェードイン時のフレーム平均値及びシーン平均値の１例を示す図である。
【図９】フェードイン時のフレーム平均値及びシーン平均値の１例を示す図である。
【図１０】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の１例を示す図である。
【図１１】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の１例を示す図である。
【図１２】本発明の第２の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
【符号の説明】
１１…画像入力手段、１２…入力バッファ、１３…フレーム間差分算出手段、１４…シーンチェンジ判定手段、１５…フレームタイプ変更手段、１６…動き検索手段、１７…周波数変換手段、１８…量子化手段、１９…逆量子化手段、２０…逆周波数変換手段、２１…動き補償手段、２２…可変長符号化手段、２３…出力手段。
【発明の属する技術分野】
本発明は、動画像を圧縮符号化する動画像符号化方法及び動画像符号化装置に関し、特にシーンの変わるフレームを検出して符号化効率のよい圧縮を行う動画像符号化方法及び動画像符号化装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル技術の進展に伴い、動画像を記録・再生したり、通信網を用いて動画像を伝送したりすることが可能になってきた。動画像のディジタル信号は、音声信号に比べて非常に情報量が多いため、これを効率よく記録および伝送するために動画像の高能率符号化技術が不可欠となっている。
【０００３】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式の動画像符号化装置は、Ｉフレーム、Ｐフレーム又はＢフレームの何れかの予測モードで各フレームの画像を予測し、予測誤差を符号化して伝送するようにしている。基本的に予測誤差のみが伝送されるため、各フレームの画像データをそのまま伝送する場合に比べて、データ量を圧縮することができる。
【０００４】
【発明が解決しようとする課題】
ところで、従来の動画像符号化装置では、複数のシーンからなるシーケンスを圧縮する際に、不連続なシーンを跨いで予測符号化を行わないようにする必要がある。シーンチェンジを跨いで予測符号化を行うと、相関性の低いフレーム間で予測を行うことになるので、符号化効率が悪くなり、画質が劣化する。
このような問題を解決するには、シーンの切り替わる場所を正確に検出して、相関性の低いフレーム間では予測符号化を行わないようにすればよい。
【０００５】
シーンチェンジを検出する方法としては、例えば特開平０７−１１１６３１号公報に開示されたように、連続する２フレーム間で画素データ毎に差分を求め、その絶対値の総和が所定のしきい値を超えたときシーンチェンジが発生したと判定する方法が一般的である。
この検出方法では、静止状態あるいは僅かな動きしかない第１のシーンと第１のシーンに比べるとやや動きの大きい第２のシーンが交互に発生したとき、シーンチェンジが発生したと検出する。しかし、このような場合には、フレーム間にある程度の相関性があるので、フレーム間予測符号化を行った方が符号化効率が高い場合がある。しかし、従来の方法では、シーンチェンジを検出すると、フレーム間予測符号化を行わないようにするので、符号化効率が悪化するという問題点があった。
また、従来の方法では、前フレームとの相関性からシーンチェンジを検出しているため、同一のフレームが連続して入力されるフレーム補間が行われると、誤検出が発生するという問題点があった。
【０００６】
また、特開平０７−１９３８１８号公報に開示された検出方法では、入力画像の動き予測を行い、その予測誤差の絶対値の和を求めて、各フレーム毎の予測誤差の絶対値和を複数フレームにわたって平均化した平均値と、個々の予測誤差の絶対値和を比較することにより、シーンチェンジを検出している。しかし、この検出方法でも、フレーム補間された入力に対応できないという問題点があった。本発明は、上記課題を解決するためになされたもので、シーンチェンジを適切に検出し、符号化効率の良い圧縮を行うことができる動画像符号化方法及び動画像符号化装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動画像符号化方法は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する処理と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する処理とを有し、上記シーンチェンジを検出した場合、上記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記シーンチェンジの検出処理を行わないようにするようにしたものである。このように、フレーム平均値が０の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が０の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の１構成例は、上記フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。このように、フレーム平均値を算出するときに下限値を設定することにより、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。
また、上述の動画像符号化方法の１構成例は、上記差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するようにしたものである。このように、画素データ毎の差分絶対値を算出するときに上限値を設定することにより、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【０００８】
また、上述の動画像符号化方法の１構成例は、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記シーンチェンジを検出した場合は、フレーム間予測符号化を行わないようにしたものである。このように、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、不連続なシーンを跨いで予測符号化を行うことがなくなるので、符号化効率の良い圧縮を行うことができる。
また、上述の動画像符号化方法の１構成例は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するようにしたものである。
また、上述の動画像符号化方法の１構成例は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するようにしたものである。
【０００９】
また、本発明の動画像符号化装置は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、上記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、上記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により上記シーン平均値を算出する算出手段（１３）と、上記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する判定手段（１４）とを有し、上記算出手段は、上記シーンチェンジが検出された場合、上記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは上記判定手段によるシーンチェンジ検出処理を行わないようにしたものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、上記フレーム平均値が所定の下限値より小さい場合、このフレーム平均値を下限値に更新した値により上記シーン平均値を算出するようにしたものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、上記差分絶対値が所定の上限値より大きい場合、この差分絶対値を上限値に更新した後に、上記フレーム平均値及びシーン平均値を算出するものである。
【００１０】
また、上述の動画像符号化装置の１構成例として、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、上記判定手段によってシーンチェンジが検出された場合は、フレーム間予測符号化を行わないようにする手段（１５）を有するものである。
また、上述の動画像符号化装置の１構成例として、上記判定手段は、上記フレーム平均値がシーン平均値の所定数倍以上のとき、上記シーンチェンジが発生したと判断するものである。
また、上述の動画像符号化装置の１構成例として、上記算出手段は、輝度成分と色差成分のそれぞれについて差分絶対値を算出するものである。
【００１１】
【発明の実施の形態】
［実施の形態の１］
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態となる動画像符号化装置の構成を示すブロック図である。本発明は、シーンの変わるフレームを検出して符号化効率のよい圧縮を行う構成を提供するものである。
本発明の動画像符号化装置の一実施例は、画像入力手段１１と、入力バッファ１２と、フレーム間差分算出手段１３と、シーンチェンジ判定手段１４と、フレームタイプ変更手段１５と、動き検索手段１６と、周波数変換手段１７と、量子化手段１８と、逆量子化手段１９と、逆周波数変換手段２０と、動き補償手段２１と、可変長符号化手段２２と、出力手段２３とから構成されている。
【００１２】
これらの手段は、それぞれ概略つぎのように動作する。画像入力手段１１は、カメラ等から１フレーム単位で画像を取り込む。取り込んだ画像は、一定のフレーム数が溜まるまで入力バッファ１２に蓄積される。
フレーム間差分算出手段１３は、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出する。
【００１３】
シーンチェンジ判定手段１４は、差分絶対値の１フレーム当たりの平均値と１シーン当たりの平均値を比較してシーンの相関性を求め、シーンチェンジが発生したかどうかを判定する。
フレームタイプ変更手段１５は、シーンチェンジ判定手段１４によりシーンチェンジが発生したと判定されると、相関性の低いフレーム間で予測符号化が行われないように最適なフレーム構成に変更し、フレーム内符号化が行われるようにする。
【００１４】
動き検索手段１６は、フレーム間予測符号化を行う際、参照フレームとして記憶しているフレームと現在の処理対象フレームとの相関性を求め、処理対象フレームのマクロブロックとこれと相関性の高い参照フレームのマクロブロックとの間で差分データを求める。
【００１５】
周波数変換手段１７は、フレーム内符号化を行う場合、画像データをＤＣＴ（Ｄｉｓｃｒｅａｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）演算等により周波数成分に変換し、フレーム間予測符号化を行う場合、動き検索手段１６から入力された差分データを周波数成分に変換する。
量子化手段１８は、周波数変換手段１７の出力を量子化する。
【００１６】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
また、次のフレーム圧縮用の参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する。
そして、動き補償手段２１は、逆周波数変換手段２０から入力されたデータに対して動き補償を行い、参照フレームのデータを作成する。
【００１７】
次に、図２を参照して図１の動画像符号化装置の動作をより詳細に説明する。図２は、図１の動画像符号化装置の動作を説明するためのフローチャート図である。本実施の形態では、フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮符号化する動画像符号化方法の１例として、ＭＰＥＧ１を例にとって説明する。
【００１８】
まず、画像入力手段１１と入力バッファ１２を介して画像データが入力されると、フレーム間差分算出手段１３は、連続する２フレーム間、すなわち現在の処理対象フレームと１つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に差分絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出する。
【００１９】
シーンチェンジ判定手段１４は、フレーム間差分算出手段１３で得られた差分絶対値の１フレーム当たりの平均値と１シーン当たりの平均値を比較してフレーム間の相関性を求め、シーンチェンジが発生したかどうかを判定する（図２ステップＳ１１）。
【００２０】
圧縮に必要な最小フレーム数を読み込むまでにシーンチェンジが発生したと判定された場合（ステップＳ１２においてＹＥＳ）、フレームタイプ変更手段１５は、入力バッファ１２に格納されたＰフレームをＩフレームに変更する（ステップＳ１３）。
【００２１】
ここで、ＭＰＥＧ１のフレーム構成について説明する。図３は、ＭＰＥＧ１のフレーム構成を示す図、図４は、従来の動画像符号化装置による各フレームの参照関係を示す図、図５は、本実施の形態の動画像符号化装置による各フレームの参照関係を示す図である。
なお、図３〜図５における矢印は、終点のフレームを符号化する際に、始点のフレームを参照することを示している。
【００２２】
ＭＰＥＧ１のフレームタイプには、予測を行わずにフレーム内処理で符号化されるＩフレーム、時間的に前に位置する参照フレームから予測されるＰフレーム、時間的に前後に位置する参照フレームから予測されるＢフレームの３種類がある。
【００２３】
図３の例において、圧縮に必要な最小フレーム数は、参照フレームとなるフレームから次の参照フレームまでの４フレームであり、最小フレームは、Ｉ，Ｂ，Ｂ，Ｐフレーム若しくはＰ，Ｂ，Ｂ，Ｐフレームから構成される。
【００２４】
Ｉフレーム、Ｐフレームは予測のための参照フレームになるため、図１の逆量子化手段１９、逆周波数変換手段２０及び動き補償手段２１による処理で参照フレームを作成しなくてはならない。予測は「連続したフレーム間では相関性が高い」という原理を基にしているため、シーンチェンジを跨いで時間的に前あるいは後のフレームを参照すると、フレーム間の相関性が低くなり、符号化効率が低下する。よって、不連続なシーンを跨いでの参照が行われないようにフレーム構成を変更することで符号化効率を改善することができる。
【００２５】
従来の動画像符号化装置において、図４に示す位置でシーンチェンジが発生したとすると、シーンチェンジ直後のＰフレームは、時間的に前の異なるシーンのＰフレームを参照して予測符号化を行うことにより生成される。このため、符号化効率が悪化し、予期しない符号量が発生することになる。
【００２６】
そこで、本発明では、図５のようにシーンチェンジ直後のＰフレームをＩフレームに変更することにより、シーンチェンジを跨いで時間的に前あるいは後のフレームが参照されることをなくす。これにより、発生符号量はフレーム内符号化の予想発生量となるので、符号化効率の悪化による画質の劣化を抑えることができる。
【００２７】
このように、シーンチェンジが発生したときには符号化効率が良くなるようにフレームタイプが変更され（ステップＳ１３）、処理対象フレームのフレームタイプ毎に圧縮が行われる（ステップＳ１４）。
【００２８】
現在の処理対象フレームがＩフレームの場合、後述する動き検索手段１６による動き予測は行われない。このため、入力バッファ１２に格納されたＩフレームの画像データがそのまま周波数変換手段１７に入力される。
周波数変換手段１７は、Ｉフレームの画像データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ１５）、量子化手段１８は、周波数変換手段１７の出力（変換係数）を量子化する（ステップＳ１６）。
【００２９】
また、参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し（ステップＳ１７）、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する（ステップＳ１８）。
こうして、復号されたＩフレームのデータは、動き検索手段１６に送られ、以降の処理において参照フレームとして参照される。
【００３０】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
【００３１】
現在の処理対象フレームがＰフレームの場合、動き検索手段１６は、記憶している参照フレームと入力バッファ１２に格納された処理対象フレームとの間でマクロブロック（１６×１６画素）毎に動きベクトルを検出する。そして、動き検索手段１６は、動きベクトルに応じて参照フレームのマクロブロックを動き補償、すなわち動きベクトルに応じて参照フレームのマクロブロックの位置をずらし、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める（ステップＳ２０）。
【００３２】
周波数変換手段１７は、動き検索手段１６から入力された差分データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ２１）、量子化手段１８は、周波数変換手段１７の出力を量子化する（ステップＳ２２）。
また、参照フレーム作成のため、逆量子化手段１９は、量子化手段１８の出力を逆量子化し（ステップＳ２３）、逆周波数変換手段２０は、逆量子化手段１９の出力を逆周波数変換する（ステップＳ２４）。
【００３３】
処理対象フレームがＰフレームの場合、逆周波数変換手段２０によって得られるのは、差分データである。このため、動き補償手段２１は、逆周波数変換手段２０から入力された差分データと上記動き補償された参照フレームとを加算する（ステップＳ２５）。これにより、元のＰフレームが復号される。このＰフレームのデータは、動き検索手段１６に送られ、以降の処理において参照フレームとして参照される。
【００３４】
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
【００３５】
現在の処理対象フレームがＢフレームの場合、動き検索手段１６は、記憶している参照フレームと入力バッファ１２に格納された処理対象フレームとの間でマクロブロック毎に動きベクトルを検出する。そして、動き検索手段１６は、動きベクトルに応じて参照フレームのマクロブロックを動き補償し、処理対象フレームのマクロブロックとこれと相関性の高い動き補償された参照フレームのマクロブロックとの間で差分データを求める（ステップＳ２６）。
【００３６】
周波数変換手段１７は、動き検索手段１６から入力された差分データを８×８画素のブロック毎に周波数成分に変換し（ステップＳ２７）、量子化手段１８は、周波数変換手段１７の出力を量子化する（ステップＳ２８）。
可変長符号化手段２２は、量子化手段１８の出力を可変長符号化する（ステップＳ１９）。可変長符号化によって得られた圧縮符号は、出力手段２３から出力される。
なお、Ｂフレームは参照フレームとはならないので、逆量子化手段１９、逆周波数変換手段２０および動き補償手段２１による参照フレームの作成は行われない。
【００３７】
次に、具体例を用いて説明する。図６は、シーンチェンジ検出の処理フローを説明した図である。図６は、図２のステップＳ１１に示すシーンチェンジ検出処理を説明するためのフローチャート図である。この図６の処理は、処理対象フレームごとに繰り返される。
【００３８】
最初に、フレーム間差分算出手段１３は、現在の処理対象フレームと１つ前に入力されたフレームとの間で同じ位置にある対応画素データ毎に、輝度、色差のそれぞれについて差分値を求め、これら差分値を絶対値に変換する。続いて、フレーム間差分算出手段１３は、１フレーム分の差分絶対値の総和を求め、この差分絶対値和から、画像サイズに依存しないような１マクロブロック当たりの平均値を求める（図６ステップＳ３１）。
ここで、マクロブロックとは、１６×１６画素の輝度成分と８×８画素の二種類の色差成分とからなる領域をさす。
【００３９】
処理対象フレームの画像サイズが７２０×４８０画素で、処理対象フレームの差分絶対値和が８２００だとすると、このフレームにおける１マクロブロック当たりの差分絶対値平均は、８２００×（１６×１６／（７２０×４８０））＝６となる。
【００４０】
フレーム間差分算出手段１３は、処理対象フレームの１マクロブロック当たりの差分絶対値平均（以下、フレーム平均値と呼ぶ）が０である場合（ステップＳ３２においてＹＥＳ）、直前のフレームと同じフレームが入力されたものと判断して、０の代わりに直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする（ステップＳ３３）。
【００４１】
続いて、フレーム間差分算出手段１３は、算出したフレーム平均値を所定のしきい値Ａと比較する（ステップＳ３４）。
予め定められた固定値であるしきい値Ａは、フレーム平均値の下限値を表している。このしきい値Ａは、例えばカメラが緩やかにパーニング（Ｐａｎｎｉｎｇ）したときのフレーム平均値を求めることにより決定される。
【００４２】
フレーム間差分算出手段１３は、フレーム平均値がしきい値Ａより小さい場合、フレーム平均値をしきい値Ａに更新する（ステップＳ３５）。
また、フレーム間差分算出手段１３は、後述する処理により、シーン毎に各フレーム平均値の平均を求め、同一の１シーン当たりの差分絶対値平均（以下、シーン平均値と呼ぶ）を算出する。
【００４３】
後述のようにシーンチェンジを検出した直後にシーン平均値を０にするので、フレーム間差分算出手段１３は、シーン平均値が０である場合（ステップＳ３６においてＹＥＳ）、算出したフレーム平均値をシーン平均値とすると共に、現在のフレーム平均値を保存しておく（ステップＳ３７）。
【００４４】
次に、シーンチェンジが発生した直後は、シーン平均値が安定しない。そこで、フレーム間差分算出手段１３は、いったんシーンチェンジを検出した後にフレームカウンタが一定のフレーム数しきい値Ｂ（例えばＢ＝５）に達するまでは、次のシーンチェンジ検出を行わない。
【００４５】
つまり、フレーム間差分算出手段１３は、フレームカウンタの値がフレーム数しきい値Ｂより小さい場合（ステップＳ３８においてＹＥＳ）、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とすると共に、処理済みのフレーム数を示すフレームカウンタの値を１カウントアップする（ステップＳ３９）。
【００４６】
以上のような処理を処理対象フレーム毎に繰り返し、ステップＳ３８においてフレームカウンタの値がフレーム数しきい値Ｂ以上となった場合、フレーム間差分算出手段１３は、シーンチェンジ検出処理の実行をシーンチェンジ判定手段１４に指示する。この指示に応じて、シーンチェンジ判定手段１４は、シーン平均値とフレーム平均値とを比較する（ステップＳ４０）。
【００４７】
シーンの切り替わりでフレーム平均値を求めると、相関性のないフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が急激に大きくなる。シーンチェンジ判定手段１４は、フレーム平均値がシーン平均値のＮ（例えばＮ＝２）倍より小さい場合、シーンチェンジ無しと判定する。
【００４８】
シーンチェンジ判定手段１４によってシーンチェンジ無しと判定された場合、フレーム間差分算出手段１３は、現在のシーン平均値とフレーム平均値の平均を求め、これを新たなシーン平均値とする（ステップＳ４１）。
【００４９】
一方、フレーム平均値がシーン平均値のＮ倍以上の場合、シーンチェンジ判定手段１４は、シーンチェンジが発生したと判定する。
シーンチェンジ判定手段１４によってシーンチェンジが発生したと判定された場合、フレーム間差分算出手段１３は、現在のシーン平均値とフレーム平均値を０に初期化し、さらにフレームカウンタの値を０に初期化する（ステップＳ４２）。以上のようにして、シーンチェンジを検出することができる。
【００５０】
図７〜図１１は、フレーム平均値及びシーン平均値の１例を示す図である。図７〜図１１において、横軸はフレーム番号を示し、縦軸はフレーム平均値を示す。また、下線付きの数値は、直前（図７〜図１１では左隣）のフレーム平均値を含めて算出されたシーン平均値である。
【００５１】
図７の例では、１０フレーム目からのフレーム平均値とシーン平均値を図示している。１０フレーム目の処理が終了した時点でのシーン平均値が４０だとすると、１１フレーム目のフレーム平均値が４２なので、１１フレーム目の処理においてフレーム平均値がシーン平均値のＮ（ここではＮ＝２）倍より小さくなり、シーンチェンジ判定手段１４は、シーンチェンジ無しと判定する。
１１フレーム目の処理が終了した時点でのシーン平均値は、図６のステップＳ４１の処理により、（４０＋４２）／２＝４１に更新される。
【００５２】
次に、１４フレーム目の処理が終了した時点でのシーン平均値が３６で、１５フレーム目のフレーム平均値が８０なので、１５フレーム目の処理においてフレーム平均値がシーン平均値のＮ（Ｎ＝２）倍以上となり、シーンチェンジ判定手段１４は、シーンチェンジが発生したと判定する。
【００５３】
この場合、１５フレーム目の処理が終了した時点でのシーン平均値（図７において１５フレーム目のフレーム平均値８０の右隣に記載したシーン平均値）は、図６のステップＳ４２の処理により、いったん０に初期化された後、次の１６フレーム目の処理においてステップＳ３７の処理により、１６フレーム目のフレーム平均値４２に更新される。
【００５４】
図８、図９は、全面が黒の画像から徐々に明るい画像が浮き出てくるフェードイン時のフレーム平均値及びシーン平均値を示している。
そして、図８は、本実施の形態の動画像符号化装置において、フレーム平均値に下限値を設定しない場合を示している。
【００５５】
図８の３０，３１フレームで示すように、黒画像の部分では、フレーム平均値が０になる。これに対して、３２フレーム目以降のように明るい画像が現れてくると、フレーム平均値が急激に大きくなる。したがって、３２フレーム目や３３フレーム目などでシーンチェンジが発生したと誤検出する恐れがある。
【００５６】
そこで、本実施の形態の動画像符号化装置では、フェード効果などで画面全体が緩やかに変化するときの誤検出を防止するために、図６のステップＳ３４，Ｓ３５で説明した処理を行っている。
【００５７】
これにより、フレーム平均値がしきい値Ａ（ここでは２０）を下回る３０〜３２，３７〜３９フレームでは、図９に示すようにフレーム平均値がしきい値Ａに更新されるので、３２フレーム目や３３フレーム目などでシーンチェンジが発生したと誤検出することがなくなり、３５フレーム目の処理においてシーンチェンジを正しく検出することができる。
【００５８】
図１０、図１１は、フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値を示している。図１０、図１１は、１秒間当たりのフレーム数が１５枚の画像データを３０枚に変換して圧縮するときの動作を示している。
【００５９】
単位時間あたりのフレーム数がＭＰＥＧの規格より少ない場合は同じフレームをコピーして補間する手法が一般的である。動画編集用のアプリケーションでも同じで、補間された画像データが入力されると、同一のフレーム間で差分絶対値平均を求めることになるため、フレーム平均値が０となり、シーンチェンジが発生したと誤検出する恐れがある。
【００６０】
図１０は、本実施の形態の動画像符号化装置において、図６のステップＳ３２，Ｓ３３で説明した処理を行わない場合を示している。
図１０では、１フレーム毎に画像データが補間されているので、１フレームおきにフレーム平均値が０となる。このため、シーン平均値が小さな値となり、６４フレーム目でシーンチェンジが発生したと誤検出する。
【００６１】
これに対して、本実施の形態の動画像符号化装置のように、ステップＳ３２，Ｓ３３の処理を行うと、フレーム平均値が０の場合、直前のフレームで得られたフレーム平均値を現フレームのフレーム平均値とする。
例えば、６０フレーム目のフレーム平均値が２４なので、６１フレーム目の処理においてフレーム平均値が０になった時点で、６１フレーム目のフレーム平均値は、図１１のように６０フレーム目のフレーム平均値２４に更新される。
こうして、シーン平均値が不正な値になることを防ぐので、シーンチェンジの誤検出を回避することができる。
【００６２】
［実施の形態の２］
図１２は、本発明の第２の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
本実施の形態のフレーム間差分算出手段１３は、局所的な激しい動きをシーンチェンジと誤検出しないために、図６のステップＳ３１の処理に図１２に示すような処理を加えたものである。
【００６３】
まず、フレーム間差分算出手段１３は、フレーム間の差分絶対値を累積する変数ｓｕｍを０にリセットする（図１２ステップＳ５１）。
続いて、フレーム間差分算出手段１３は、現在の処理対象フレームと１つ前に入力されたフレームにおいて同じ位置にある対応画素データ間で差分値を求め（ステップＳ５２）、この差分値を絶対値に変換する（ステップＳ５３）。
【００６４】
フレーム間差分算出手段１３は、算出した差分絶対値を所定のしきい値Ｘと比較する（ステップＳ５４）。そして、フレーム間差分算出手段１３は、差分絶対値がしきい値Ｘより大きい場合（ステップＳ５４においてＹＥＳ）、差分絶対値をしきい値Ｘに更新する（ステップＳ５５）。ここで、しきい値Ｘは、あらかじめ定められる上限値であり、差分絶対値がとり得る最大値の例えば７０％に設定される。
【００６５】
差分絶対値がしきい値Ｘ以下の場合、フレーム間差分算出手段１３は、差分絶対値を所定のしきい値Ｙと比較する（ステップＳ５６）。そして、フレーム間差分算出手段１３は、差分絶対値がしきい値Ｙ以下の場合（ステップＳ５６においてＮＯ）、差分絶対値をしきい値Ｙに更新する（ステップＳ５７）。ここで、しきい値Ｙは、あらかじめ定められる下限値であり、差分絶対値がとり得る最大値の例えば５％に設定される。
【００６６】
次に、フレーム間差分算出手段１３は、しきい値Ｙとしきい値Ｘの間の値に補正した差分絶対値を変数ｓｕｍに加算する（ステップＳ５８）。
そして、フレーム間差分算出手段１３は、ステップＳ５２〜Ｓ５８の処理を処理対象フレームの全画素について終えるまで（ステップＳ５９）、画素毎に繰り返す。
【００６７】
図１２の処理終了後、フレーム間差分算出手段１３は、ステップＳ３１で説明したように、１フレーム分の差分絶対値の総和を求め、フレーム平均値を算出する。
以上のように、本実施の形態によれば、入力画像に局所的に変化量の大きい部分があったときにフレーム平均値に与える影響を抑えることができ、シーンチェンジの誤検出を抑えることができる。
【００６８】
【発明の効果】
本発明によれば、連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値及び１シーン当たりの平均値を算出し、フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する。本発明では、シーンチェンジの検出にシーン平均値を用いることにより、静止状態あるいは僅かな動きしかない第１のシーンと第１のシーンに比べるとやや動きの大きい第２のシーンが交互に発生したとき、シーンチェンジが発生したと判断しない。これにより、フレーム間予測符号化を行うことができるので、シーンチェンジの検出にフレーム間の差分のみを用いる従来の方法と比べて、符号化効率の良い圧縮を行うことができる。
【００６９】
また、フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新することにより、フレーム平均値に下限値を設定するので、画面の僅かな変化を誤検出しないようにでき、シーンチェンジを正確に検出することができる。その結果、入力画像データにフェード処理が入っても誤検出を回避することができる。
【００７０】
また、差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新することにより、差分絶対値に上限値を設定するので、画面の一部に局所的に大きな変化があるようなシーンでもフレーム全体の平均値が大きくなるのを防ぐので、誤検出を回避し、シーンチェンジを正確に検出することができる。
【００７１】
また、フレーム平均値が０の場合には直前に算出したフレーム平均値を使用することにより、フレーム平均値が０の場合を除外してシーン平均値が狂うのを防ぐので、入力フレームレートが出力フレームレートより低く、フレーム補間が必要なために、同一のフレームが連続して入力されるような場合でも、誤検出を回避し、シーンチェンジを正確に検出することができる。
【００７２】
また、動画像を圧縮する際に、シーンチェンジを検出した場合は、相関性の低いフレーム間で予測符号化を行わずにフレーム内符号化を行うようフレームタイプを変更することにより、シーンの変わり目毎に最適なフレーム構成に変更するので、不連続なシーンを跨いで予測符号化を行うことがなくなり、符号化効率の良い圧縮を行うことができる。
【００７３】
また、フレーム平均値がシーン平均値の所定数倍以上のとき、シーンチェンジが発生したと判断することにより、シーンチェンジの発生を正確、かつ容易に検出することができる。
【００７４】
また、輝度成分と色差成分のそれぞれについて差分絶対値を算出することにより、全体的に明るさが変わるようなシーンでも誤検出を回避することができ、明るさがあまり変わらずに色成分だけが大きく変わるようなシーンでもシーンチェンジを正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となる動画像符号化装置の構成を示すブロック図である。
【図２】図１の動画像符号化装置の動作を説明するためのフローチャート図である。
【図３】ＭＰＥＧ１のフレーム構成を示す図である。
【図４】従来の動画像符号化装置による各フレームの参照関係を示す図である。
【図５】図１の動画像符号化装置による各フレームの参照関係を示す図である。
【図６】シーンチェンジ検出処理を説明するためのフローチャート図である。
【図７】シーンチェンジ検出時のフレーム平均値及びシーン平均値の１例を示す図である。
【図８】フェードイン時のフレーム平均値及びシーン平均値の１例を示す図である。
【図９】フェードイン時のフレーム平均値及びシーン平均値の１例を示す図である。
【図１０】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の１例を示す図である。
【図１１】フレーム補間された画像データが入力されたときのフレーム平均値及びシーン平均値の１例を示す図である。
【図１２】本発明の第２の実施の形態となるフレーム間差分算出手段の動作を示すフローチャート図である。
【符号の説明】
１１…画像入力手段、１２…入力バッファ、１３…フレーム間差分算出手段、１４…シーンチェンジ判定手段、１５…フレームタイプ変更手段、１６…動き検索手段、１７…周波数変換手段、１８…量子化手段、１９…逆量子化手段、２０…逆周波数変換手段、２１…動き補償手段、２２…可変長符号化手段、２３…出力手段。
Claims (12)
- 連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、前記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、前記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により前記シーン平均値を算出する処理と、
前記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する処理とを有し、
前記シーンチェンジを検出した場合、前記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは前記シーンチェンジの検出処理を行わないようにすることを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において、
前記フレーム平均値が所定の下限値より小さい場合は、このフレーム平均値を下限値に更新した値により前記シーン平均値を算出することを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において、
前記差分絶対値が所定の上限値より大きい場合は、この差分絶対値を上限値に更新した後に、前記フレーム平均値及びシーン平均値を算出することを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において、
フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、前記シーンチェンジを検出した場合は、フレーム間予測符号化を行わないようにすることを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において、
前記フレーム平均値がシーン平均値の所定数倍以上のとき、前記シーンチェンジが発生したと判断することを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において、
輝度成分と色差成分のそれぞれについて前記差分絶対値を算出することを特徴とする動画像符号化方法。 - 連続する２フレーム間で対応する画素データ毎に差分の絶対値を算出した後に、この差分絶対値の１フレーム当たりの平均値であるフレーム平均値を算出し、前記差分絶対値の１シーン当たりの平均値であるシーン平均値を算出し、前記フレーム平均値が０の場合は、このフレーム平均値を直前に算出したフレーム平均値に更新した値により前記シーン平均値を算出する算出手段と、
前記フレーム平均値とシーン平均値とを比較して、動画像のシーンチェンジを検出する判定手段とを有し、
前記算出手段は、前記シーンチェンジが検出された場合、前記シーン平均値とフレーム平均値を０に初期化し、処理済みのフレーム数が一定のフレーム数しきい値に達するまでは前記判定手段によるシーンチェンジ検出処理を行わないようにすることを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置において、
前記算出手段は、前記フレーム平均値が所定の下限値より小さい場合、このフレーム平均値を下限値に更新した値により前記シーン平均値を算出することを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置において、
前記算出手段は、前記差分絶対値が所定の上限値より大きい場合、この差分絶対値を上限値に更新した後に、前記フレーム平均値及びシーン平均値を算出することを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置において、
フレーム内処理で符号化するフレーム内符号化と、時間的に前又は後の参照フレームを用いたフレーム間予測符号化とを組合わせて動画像を圧縮する際に、前記判定手段によってシーンチェンジが検出された場合は、フレーム間予測符号化を行わないようにする手段を有することを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置において、
前記判定手段は、前記フレーム平均値がシーン平均値の所定数倍以上のとき、前記シーンチェンジが発生したと判断することを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置において、
前記算出手段は、輝度成分と色差成分のそれぞれについて前記差分絶対値を算出することを特徴とする動画像符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24972299A JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
| US09/653,892 US6748114B1 (en) | 1999-09-03 | 2000-09-01 | Moving picture encoding method and moving picture encoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24972299A JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001078196A JP2001078196A (ja) | 2001-03-23 |
| JP3593929B2 true JP3593929B2 (ja) | 2004-11-24 |
Family
ID=17197235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24972299A Expired - Fee Related JP3593929B2 (ja) | 1999-09-03 | 1999-09-03 | 動画像符号化方法及び動画像符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6748114B1 (ja) |
| JP (1) | JP3593929B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
| US7116374B2 (en) * | 2003-08-26 | 2006-10-03 | Koplar Interactive Systems International, L.L.C. | Method and system for enhanced modulation of video signals |
| US7664175B1 (en) * | 2004-06-16 | 2010-02-16 | Koplar Interactive Systems International, L.L.C. | Mark-based content modulation and detection |
| KR101200924B1 (ko) * | 2004-08-31 | 2012-11-14 | 톰슨 라이센싱 | 다수의 기준 화상에 대한 고속 움직임 추정 |
| US20100070409A1 (en) * | 2004-11-19 | 2010-03-18 | Harrison Sarah E | Healthcare Card Incentive Program for Multiple Users |
| GB2436654A (en) * | 2006-02-03 | 2007-10-03 | Snell & Wilcox Ltd | Detection of a cross-fade in a video sequence |
| JP4700557B2 (ja) * | 2006-05-10 | 2011-06-15 | オリンパスイメージング株式会社 | 撮像装置 |
| JP2009010831A (ja) * | 2007-06-29 | 2009-01-15 | Toshiba Corp | 画像解析装置および画像解析方法 |
| US8798133B2 (en) * | 2007-11-29 | 2014-08-05 | Koplar Interactive Systems International L.L.C. | Dual channel encoding and detection |
| JP5881136B2 (ja) * | 2010-09-27 | 2016-03-09 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
| KR101187530B1 (ko) * | 2011-03-02 | 2012-10-02 | 한국과학기술원 | 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 |
| US9300871B2 (en) * | 2012-06-08 | 2016-03-29 | Apple Inc. | Stationary camera detection and virtual tripod transition for video stabilization |
| KR102264591B1 (ko) * | 2015-02-27 | 2021-06-15 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
| WO2018146793A1 (ja) * | 2017-02-10 | 2018-08-16 | 日産自動車株式会社 | インバータ制御装置及び車両駆動システム |
| US11188756B2 (en) * | 2019-10-16 | 2021-11-30 | Realtek Singapore Private Limited | Object localization and classification system and method thereof |
| JP7451152B2 (ja) | 2019-11-26 | 2024-03-18 | キヤノン株式会社 | 撮像装置、制御方法及びコンピュータプログラム |
| CN112351278B (zh) * | 2020-11-04 | 2023-07-07 | 北京金山云网络技术有限公司 | 一种视频的编码方法和装置，视频的解码方法和装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4677466A (en) * | 1985-07-29 | 1987-06-30 | A. C. Nielsen Company | Broadcast program identification method and apparatus |
| JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| JP3440512B2 (ja) | 1993-10-08 | 2003-08-25 | ソニー株式会社 | ビデオ信号処理装置および方法 |
| JP3240024B2 (ja) | 1993-12-27 | 2001-12-17 | ソニー株式会社 | 画像処理方法 |
| US5617149A (en) * | 1994-11-22 | 1997-04-01 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting scene changes using the difference of mad between image frames |
| JP3353604B2 (ja) * | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
| US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
| US6181382B1 (en) * | 1998-04-03 | 2001-01-30 | Miranda Technologies Inc. | HDTV up converter |
| US6449392B1 (en) * | 1999-01-14 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene change detection and fade detection for indexing of video sequences |
-
1999
- 1999-09-03 JP JP24972299A patent/JP3593929B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-01 US US09/653,892 patent/US6748114B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6748114B1 (en) | 2004-06-08 |
| JP2001078196A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6603815B2 (en) | Video data processing apparatus, video data encoding apparatus, and methods thereof | |
| JP3593929B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP3933718B2 (ja) | 画像を表す信号を処理するシステム | |
| KR20040069210A (ko) | 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 | |
| KR20040069208A (ko) | 비디오 선명도 강화의 시간적인 일관성 개선 | |
| JP3592025B2 (ja) | 撮影画像記録装置 | |
| JPH09298753A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP3895414B2 (ja) | 映像復号化装置 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP2005295215A (ja) | 動画像符号化装置 | |
| JP2001309384A (ja) | 画像圧縮装置 | |
| JP2008005183A (ja) | 映画素材に適した映像符号化方法および符号化装置 | |
| JPH08275049A (ja) | 撮像装置 | |
| JPH09130748A (ja) | 画像信号処理装置および記録／再生装置 | |
| JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| JPH1013836A (ja) | 動きベクトル検出装置 | |
| KR100584537B1 (ko) | Ｍｐｅｇ4를 이용한 감시용 카메라 정보 저장 방법 | |
| JP2003032685A (ja) | ノイズ低減方法および映像処理装置 | |
| JPH0646411A (ja) | 画像符号化装置 | |
| JP3507042B2 (ja) | 動画像圧縮装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |